testing extension xml parser for producer.xml
[mir.git] / source / mir / storage / Database.java
1 /*
2  * Copyright (C) 2001, 2002 The Mir-coders group
3  *
4  * This file is part of Mir.
5  *
6  * Mir is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; either version 2 of the License, or
9  * (at your option) any later version.
10  *
11  * Mir is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with Mir; if not, write to the Free Software
18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
19  *
20  * In addition, as a special exception, The Mir-coders gives permission to link
21  * the code of this program with  any library licensed under the Apache Software License,
22  * The Sun (tm) Java Advanced Imaging library (JAI), The Sun JIMI library
23  * (or with modified versions of the above that use the same license as the above),
24  * and distribute linked combinations including the two.  You must obey the
25  * GNU General Public License in all respects for all of the code used other than
26  * the above mentioned libraries.  If you modify this file, you may extend this
27  * exception to your version of the file, but you are not obligated to do so.
28  * If you do not wish to do so, delete this exception statement from your version.
29  */
30 package mir.storage;
31
32 import java.io.IOException;
33 import java.io.InputStreamReader;
34 import java.sql.Connection;
35 import java.sql.PreparedStatement;
36 import java.sql.ResultSet;
37 import java.sql.ResultSetMetaData;
38 import java.sql.SQLException;
39 import java.sql.Statement;
40 import java.sql.Timestamp;
41 import java.text.ParseException;
42 import java.text.SimpleDateFormat;
43 import java.util.ArrayList;
44 import java.util.Calendar;
45 import java.util.GregorianCalendar;
46 import java.util.HashMap;
47 import java.util.Iterator;
48 import java.util.List;
49 import java.util.Map;
50 import java.util.TimeZone;
51 import java.util.Vector;
52
53 import mir.config.MirPropertiesConfiguration;
54 import mir.config.MirPropertiesConfiguration.PropertiesConfigExc;
55 import mir.entity.Entity;
56 import mir.entity.EntityList;
57 import mir.entity.StorableObjectEntity;
58 import mir.log.LoggerWrapper;
59 import mir.misc.StringUtil;
60 import mir.storage.store.ObjectStore;
61 import mir.storage.store.StorableObject;
62 import mir.storage.store.StoreContainerType;
63 import mir.storage.store.StoreIdentifier;
64 import mir.storage.store.StoreUtil;
65 import mir.util.JDBCStringRoutines;
66
67 import com.codestudio.util.SQLManager;
68
69
70 /**
71  * Diese Klasse implementiert die Zugriffsschicht auf die Datenbank.
72  * Alle Projektspezifischen Datenbankklassen erben von dieser Klasse.
73  * In den Unterklassen wird im Minimalfall nur die Tabelle angegeben.
74  * Im Konfigurationsfile findet sich eine Verweis auf den verwendeten
75  * Treiber, Host, User und Passwort, ueber den der Zugriff auf die
76  * Datenbank erfolgt.
77  *
78  * @version $Id: Database.java,v 1.44.2.12 2003/11/24 23:54:06 rk Exp $
79  * @author rk
80  *
81  */
82 public class Database implements StorageObject {
83   private static Class GENERIC_ENTITY_CLASS = mir.entity.StorableObjectEntity.class;
84   private static Class STORABLE_OBJECT_ENTITY_CLASS = mir.entity.StorableObjectEntity.class;
85
86
87   private static Map POPUP_EMPTYLINE = new HashMap();
88   protected static final ObjectStore o_store = ObjectStore.getInstance();
89   private static final int _millisPerHour = 60 * 60 * 1000;
90   private static final int _millisPerMinute = 60 * 1000;
91
92   static {
93     // always same object saves a little space
94     POPUP_EMPTYLINE.put("key", "");
95     POPUP_EMPTYLINE.put("value", "--");
96   }
97
98   protected LoggerWrapper logger;
99   protected MirPropertiesConfiguration configuration;
100   protected String theTable;
101   protected String theCoreTable = null;
102   protected String thePKeyName = "id";
103   protected int thePKeyType;
104   protected int thePKeyIndex;
105   protected boolean evaluatedMetaData = false;
106   protected ArrayList metadataFields;
107   protected ArrayList metadataLabels;
108   protected ArrayList metadataNotNullFields;
109   protected int[] metadataTypes;
110   protected Class theEntityClass;
111   protected List popupCache = null;
112   protected boolean hasPopupCache = false;
113   protected Map hashCache = null;
114   protected boolean hasTimestamp = true;
115   private String database_driver;
116   private String database_url;
117   private int defaultLimit;
118
119   TimeZone timezone;
120   SimpleDateFormat internalDateFormat;
121   SimpleDateFormat userInputDateFormat;
122 /*
123   private SimpleDateFormat _dateFormatterOut;
124   private SimpleDateFormat _dateFormatterIn;
125   _dateFormatterOut = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
126   _dateFormatterIn = new SimpleDateFormat("yyyy-MM-dd HH:mm");
127 */
128
129   /**
130    * Kontruktor bekommt den Filenamen des Konfigurationsfiles ?bergeben.
131    * Aus diesem file werden <code>Database.Logfile</code>,
132    * <code>Database.Username</code>,<code>Database.Password</code>,
133    * <code>Database.Host</code> und <code>Database.Adaptor</code>
134    * ausgelesen und ein Broker f?r die Verbindugen zur Datenbank
135    * erzeugt.
136    *
137    * @param   String confFilename Dateiname der Konfigurationsdatei
138    */
139   public Database() throws StorageObjectFailure {
140     try {
141       configuration = MirPropertiesConfiguration.instance();
142     }
143     catch (PropertiesConfigExc e) {
144       throw new StorageObjectFailure(e);
145     }
146     logger = new LoggerWrapper("Database");
147     timezone = TimeZone.getTimeZone(configuration.getString("Mir.DefaultTimezone"));
148     internalDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
149     internalDateFormat.setTimeZone(timezone);
150
151     userInputDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm");
152     userInputDateFormat.setTimeZone(timezone);
153
154
155     String theAdaptorName = configuration.getString("Database.Adaptor");
156     defaultLimit = Integer.parseInt(configuration.getString("Database.Limit"));
157
158     try {
159       theEntityClass = GENERIC_ENTITY_CLASS;
160     }
161     catch (Throwable e) {
162       logger.error("Error in Database() constructor with " + theAdaptorName + " -- " + e.getMessage());
163       throw new StorageObjectFailure("Error in Database() constructor.", e);
164     }
165   }
166
167   /**
168    * Liefert die Entity-Klasse zur?ck, in der eine Datenbankzeile gewrappt
169    * wird. Wird die Entity-Klasse durch die erbende Klasse nicht ?berschrieben,
170    * wird eine mir.entity.GenericEntity erzeugt.
171    *
172    * @return Class-Objekt der Entity
173    */
174   public java.lang.Class getEntityClass() {
175     return theEntityClass;
176   }
177
178   /**
179    * Liefert die Standardbeschr?nkung von select-Statements zur?ck, also
180    * wieviel Datens?tze per Default selektiert werden.
181    *
182    * @return Standard-Anzahl der Datens?tze
183    */
184   public int getLimit() {
185     return defaultLimit;
186   }
187
188   /**
189    * Liefert den Namen des Primary-Keys zur?ck. Wird die Variable nicht von
190    * der erbenden Klasse ?berschrieben, so ist der Wert <code>PKEY</code>
191    * @return Name des Primary-Keys
192    */
193   public String getIdName() {
194     return thePKeyName;
195   }
196
197   /**
198    * Liefert den Namen der Tabelle, auf das sich das Datenbankobjekt bezieht.
199    *
200    * @return Name der Tabelle
201    */
202   public String getTableName() {
203     return theTable;
204   }
205
206   /*
207   *   Dient dazu vererbte Tabellen bei objectrelationalen DBMS
208   *   zu speichern, wenn die id einer Tabelle in der parenttabelle verwaltet
209   *   wird.
210   *   @return liefert theCoreTabel als String zurueck, wenn gesetzt, sonst
211   *    the Table
212    */
213   public String getCoreTable() {
214     if (theCoreTable != null) {
215       return theCoreTable;
216     }
217     else {
218       return theTable;
219     }
220   }
221
222   /**
223    * Liefert Feldtypen der Felder der Tabelle zurueck (s.a. java.sql.Types)
224    * @return int-Array mit den Typen der Felder
225    * @exception StorageObjectException
226    */
227   public int[] getTypes() throws StorageObjectFailure {
228     if (metadataTypes == null) {
229       get_meta_data();
230     }
231
232     return metadataTypes;
233   }
234
235   /**
236    * Liefert eine Liste der Labels der Tabellenfelder
237    * @return ArrayListe mit Labeln
238    * @exception StorageObjectException
239    */
240   public List getLabels() throws StorageObjectFailure {
241     if (metadataLabels == null) {
242       get_meta_data();
243     }
244
245     return metadataLabels;
246   }
247
248   /**
249    * Liefert eine Liste der Felder der Tabelle
250    * @return ArrayList mit Feldern
251    * @exception StorageObjectException
252    */
253   public List getFields() throws StorageObjectFailure {
254     if (metadataFields == null) {
255       get_meta_data();
256     }
257
258     return metadataFields;
259   }
260
261   /**
262    *   Gets value out of ResultSet according to type and converts to String
263    *   @param rs  ResultSet.
264    *   @param aType  a type from java.sql.Types.*
265    *   @param index  index in ResultSet
266    *   @return returns the value as String. If no conversion is possible
267    *                             /unsupported value/ is returned
268    */
269   private String getValueAsString(ResultSet rs, int valueIndex, int aType)
270     throws StorageObjectFailure {
271     String outValue = null;
272
273     if (rs != null) {
274       try {
275         switch (aType) {
276           case java.sql.Types.BIT:
277             outValue = (rs.getBoolean(valueIndex) == true) ? "1" : "0";
278
279             break;
280
281           case java.sql.Types.INTEGER:
282           case java.sql.Types.SMALLINT:
283           case java.sql.Types.TINYINT:
284           case java.sql.Types.BIGINT:
285
286             int out = rs.getInt(valueIndex);
287
288             if (!rs.wasNull()) {
289               outValue = new Integer(out).toString();
290             }
291
292             break;
293
294           case java.sql.Types.NUMERIC:
295
296             /** @todo Numeric can be float or double depending upon
297              *  metadata.getScale() / especially with oracle */
298             long outl = rs.getLong(valueIndex);
299
300             if (!rs.wasNull()) {
301               outValue = new Long(outl).toString();
302             }
303
304             break;
305
306           case java.sql.Types.REAL:
307
308             float tempf = rs.getFloat(valueIndex);
309
310             if (!rs.wasNull()) {
311               tempf *= 10;
312               tempf += 0.5;
313
314               int tempf_int = (int) tempf;
315               tempf = (float) tempf_int;
316               tempf /= 10;
317               outValue = "" + tempf;
318               outValue = outValue.replace('.', ',');
319             }
320
321             break;
322
323           case java.sql.Types.DOUBLE:
324
325             double tempd = rs.getDouble(valueIndex);
326
327             if (!rs.wasNull()) {
328               tempd *= 10;
329               tempd += 0.5;
330
331               int tempd_int = (int) tempd;
332               tempd = (double) tempd_int;
333               tempd /= 10;
334               outValue = "" + tempd;
335               outValue = outValue.replace('.', ',');
336             }
337
338             break;
339
340           case java.sql.Types.CHAR:
341           case java.sql.Types.VARCHAR:
342           case java.sql.Types.LONGVARCHAR:
343             outValue = rs.getString(valueIndex);
344
345             break;
346
347           case java.sql.Types.LONGVARBINARY:
348             outValue = rs.getString(valueIndex);
349
350             break;
351
352           case java.sql.Types.TIMESTAMP:
353
354             // it's important to use Timestamp here as getting it
355             // as a string is undefined and is only there for debugging
356             // according to the API. we can make it a string through formatting.
357             // -mh
358             Timestamp timestamp = (rs.getTimestamp(valueIndex));
359
360             if (!rs.wasNull()) {
361               java.util.Date date = new java.util.Date(timestamp.getTime());
362
363               Calendar calendar = new GregorianCalendar();
364               calendar.setTime(date);
365               calendar.setTimeZone(timezone);
366               outValue = internalDateFormat.format(date);
367
368               int offset = calendar.get(Calendar.ZONE_OFFSET) + calendar.get(Calendar.DST_OFFSET);
369               String tzOffset = StringUtil.zeroPaddingNumber(Math.abs(offset) / _millisPerHour, 2, 2);
370
371               if (offset<0)
372                 outValue = outValue + "-";
373               else
374                 outValue = outValue + "+";
375               outValue = outValue + tzOffset;
376             }
377
378             break;
379
380           default:
381             outValue = "<unsupported value>";
382             logger.warn("Unsupported Datatype: at " + valueIndex + " (" + aType + ")");
383         }
384       } catch (SQLException e) {
385         throw new StorageObjectFailure("Could not get Value out of Resultset -- ",
386           e);
387       }
388     }
389
390     return outValue;
391   }
392
393   /**
394    *   select-Operator um einen Datensatz zu bekommen.
395    *   @param id Primaerschluessel des Datensatzes.
396    *   @return liefert EntityObject des gefundenen Datensatzes oder null.
397    */
398   public Entity selectById(String id) throws StorageObjectExc {
399     if ((id == null) || id.equals("")) {
400       throw new StorageObjectExc("Database.selectById: Missing id");
401     }
402
403     // ask object store for object
404     if (StoreUtil.implementsStorableObject(theEntityClass)) {
405       String uniqueId = id;
406
407       if (theEntityClass.equals(StorableObjectEntity.class)) {
408         uniqueId += ("@" + theTable);
409       }
410
411       StoreIdentifier search_sid = new StoreIdentifier(theEntityClass, uniqueId);
412       logger.debug("CACHE: (dbg) looking for sid " + search_sid.toString());
413
414       Entity hit = (Entity) o_store.use(search_sid);
415
416       if (hit != null) {
417         return hit;
418       }
419     }
420
421     Statement stmt = null;
422     Connection con = getPooledCon();
423     Entity returnEntity = null;
424
425     try {
426       ResultSet rs;
427
428       /** @todo better prepared statement */
429       String selectSql =
430         "select * from " + theTable + " where " + thePKeyName + "=" + id;
431       stmt = con.createStatement();
432       rs = executeSql(stmt, selectSql);
433
434       if (rs != null) {
435         if (evaluatedMetaData == false) {
436           evalMetaData(rs.getMetaData());
437         }
438
439         if (rs.next()) {
440           returnEntity = makeEntityFromResultSet(rs);
441         }
442         else {
443           logger.debug("No data for id: " + id + " in table " + theTable);
444         }
445
446         rs.close();
447       }
448       else {
449         logger.debug("No Data for Id " + id + " in Table " + theTable);
450       }
451     }
452     catch (SQLException sqe) {
453       throwSQLException(sqe, "selectById");
454       return null;
455     }
456     catch (NumberFormatException e) {
457       logger.error("ID is no number: " + id);
458     }
459     finally {
460       freeConnection(con, stmt);
461     }
462
463     return returnEntity;
464   }
465
466   /**
467    * This method makes it possible to make selects across multiple tables
468    * 
469    * @param mainTablePrefix prefix for the mainTable
470    * @param extraTables a vector of tables for relational select
471    * @param aWhereClause whereClause
472    * @return EntityList of selected Objects
473    * @throws StorageObjectFailure
474    */
475
476   public EntityList selectByWhereClauseWithExtraTables(String mainTablePrefix, 
477                                                 List extraTables, String aWhereClause )
478    throws StorageObjectFailure {
479         return selectByWhereClause( mainTablePrefix, extraTables, aWhereClause, "", 0, -1);
480   }
481
482   /**
483    *   select-Operator um Datensaetze zu bekommen, die key = value erfuellen.
484    *   @param key  Datenbankfeld der Bedingung.
485    *   @param value  Wert die der key anehmen muss.
486    *   @return EntityList mit den gematchten Entities
487    */
488   public EntityList selectByFieldValue(String aField, String aValue) throws StorageObjectFailure {
489     return selectByFieldValue(aField, aValue, 0);
490   }
491
492   /**
493    *   select-Operator um Datensaetze zu bekommen, die key = value erfuellen.
494    *   @param key  Datenbankfeld der Bedingung.
495    *   @param value  Wert die der key anehmen muss.
496    *   @param offset  Gibt an ab welchem Datensatz angezeigt werden soll.
497    *   @return EntityList mit den gematchten Entities
498    */
499   public EntityList selectByFieldValue(String aField, String aValue, int offset) throws StorageObjectFailure {
500     return selectByWhereClause(aField + "=" + aValue, offset);
501   }
502
503   /**
504    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
505    * Also offset wird der erste Datensatz genommen.
506    *
507    * @param wc where-Clause
508    * @return EntityList mit den gematchten Entities
509    * @exception StorageObjectException
510    */
511   public EntityList selectByWhereClause(String where) throws StorageObjectFailure {
512     return selectByWhereClause(where, 0);
513   }
514
515   /**
516    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
517    * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
518    *
519    * @param wc where-Clause
520    * @param offset ab welchem Datensatz.
521    * @return EntityList mit den gematchten Entities
522    * @exception StorageObjectException
523    */
524   public EntityList selectByWhereClause(String whereClause, int offset) throws StorageObjectFailure {
525     return selectByWhereClause(whereClause, null, offset);
526   }
527
528   /**
529    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
530    * Also offset wird der erste Datensatz genommen.
531    * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
532    *
533    * @param wc where-Clause
534    * @param ob orderBy-Clause
535    * @return EntityList mit den gematchten Entities
536    * @exception StorageObjectException
537    */
538   public EntityList selectByWhereClause(String where, String order) throws StorageObjectFailure {
539     return selectByWhereClause(where, order, 0);
540   }
541
542   /**
543    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
544    * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
545    *
546    * @param wc where-Clause
547    * @param ob orderBy-Clause
548    * @param offset ab welchem Datensatz
549    * @return EntityList mit den gematchten Entities
550    * @exception StorageObjectException
551    */
552   public EntityList selectByWhereClause(String whereClause, String orderBy, int offset) throws StorageObjectFailure {
553     return selectByWhereClause(whereClause, orderBy, offset, defaultLimit);
554   }
555
556   /**
557    * select-Operator returns EntityList with matching rows in Database.
558    * @param aWhereClause where-Clause
559    * @param anOrderByClause orderBy-Clause
560    * @param offset ab welchem Datensatz
561    * @param limit wieviele Datens?tze
562    * @return EntityList mit den gematchten Entities
563    * @exception StorageObjectException
564    */
565   public EntityList selectByWhereClause(String aWhereClause, String anOrderByClause,
566             int offset, int limit) throws StorageObjectFailure {
567     return selectByWhereClause("", null, aWhereClause, anOrderByClause, offset, limit);              
568   }
569
570   /**
571    * select-Operator returns EntityList with matching rows in Database.
572    * @param aWhereClause where-Clause
573    * @param anOrderByClause orderBy-Clause
574    * @param offset ab welchem Datensatz
575    * @param limit wieviele Datens?tze
576    * @return EntityList mit den gematchten Entities
577    * @exception StorageObjectException
578    */
579   public EntityList selectByWhereClause(String mainTablePrefix, List extraTables,
580       String aWhereClause, String anOrderByClause,
581                         int offset, int limit) throws StorageObjectFailure {
582     
583     
584     String useTable = theTable;
585     String selectStar = "*";
586     if (mainTablePrefix!=null && mainTablePrefix.trim().length()>0) {
587       useTable+=" "+mainTablePrefix;
588       selectStar=mainTablePrefix.trim() + ".*";
589     }
590     
591     // check o_store for entitylist
592     // only if no relational select
593     if (extraTables==null) {
594       if (StoreUtil.implementsStorableObject(theEntityClass)) {
595         StoreIdentifier search_sid =
596             new StoreIdentifier(
597               theEntityClass, StoreContainerType.STOC_TYPE_ENTITYLIST,
598               StoreUtil.getEntityListUniqueIdentifierFor(useTable, aWhereClause, anOrderByClause, offset, limit));
599         EntityList hit = (EntityList) o_store.use(search_sid);
600   
601         if (hit != null) {
602           logger.debug("CACHE (hit): " + search_sid.toString());
603   
604           return hit;
605         }
606       }
607     }
608
609     // local
610     EntityList theReturnList = null;
611     Connection con = null;
612     Statement stmt = null;
613     ResultSet rs;
614     int offsetCount = 0;
615     int count = 0;
616
617     // build sql-statement
618
619     if ((aWhereClause != null) && (aWhereClause.trim().length() == 0)) {
620       aWhereClause = null;
621     }
622
623     StringBuffer countSql =
624       new StringBuffer("select count(*) from ").append(useTable);
625     StringBuffer selectSql =
626       new StringBuffer("select "+selectStar+" from ").append(useTable);
627  
628     // append extratables, if necessary
629     if (extraTables!=null) {
630       for (int i=0;i < extraTables.size();i++) {
631         if (!extraTables.get(i).equals("")) {        
632           countSql.append( ", " + extraTables.get(i));
633           selectSql.append( ", " + extraTables.get(i));
634         }
635       }
636     }
637     
638     if (aWhereClause != null) {
639       selectSql.append(" where ").append(aWhereClause);
640       countSql.append(" where ").append(aWhereClause);
641     }
642
643     if ((anOrderByClause != null) && !(anOrderByClause.trim().length() == 0)) {
644       selectSql.append(" order by ").append(anOrderByClause);
645     }
646
647     if ((limit > -1) && (offset > -1)) {
648       selectSql.append(" LIMIT ").append(limit).append(" OFFSET ").append(offset);
649     }
650
651     // execute sql
652     try {
653       con = getPooledCon();
654       stmt = con.createStatement();
655
656       // selecting...
657       rs = executeSql(stmt, selectSql.toString());
658
659       if (rs != null) {
660         if (!evaluatedMetaData) {
661           evalMetaData(rs.getMetaData());
662         }
663
664         theReturnList = new EntityList();
665         Entity theResultEntity;
666         while (rs.next()) {
667           theResultEntity = makeEntityFromResultSet(rs);
668           theReturnList.add(theResultEntity);
669           offsetCount++;
670         }
671         rs.close();
672       }
673
674       // making entitylist infos
675       count = offsetCount;
676
677       if (theReturnList != null) {
678         // now we decide if we have to know an overall count...
679         count = offsetCount;
680
681         if ((limit > -1) && (offset > -1)) {
682           if (offsetCount == limit) {
683             rs = executeSql(stmt, countSql.toString());
684
685             if (rs != null) {
686               if (rs.next()) {
687                 count = rs.getInt(1);
688               }
689
690               rs.close();
691             }
692             else {
693               logger.error("Could not count: " + countSql);
694             }
695           }
696         }
697
698         theReturnList.setCount(count);
699         theReturnList.setOffset(offset);
700         theReturnList.setWhere(aWhereClause);
701         theReturnList.setOrder(anOrderByClause);
702         theReturnList.setStorage(this);
703         theReturnList.setLimit(limit);
704
705         if (offset >= limit) {
706           theReturnList.setPrevBatch(offset - limit);
707         }
708
709         if ((offset + offsetCount) < count) {
710           theReturnList.setNextBatch(offset + limit);
711         }
712
713         if (extraTables==null && StoreUtil.implementsStorableObject(theEntityClass)) {
714           StoreIdentifier sid = theReturnList.getStoreIdentifier();
715           logger.debug("CACHE (add): " + sid.toString());
716           o_store.add(sid);
717         }
718       }
719     }
720     catch (SQLException sqe) {
721       throwSQLException(sqe, "selectByWhereClause");
722     }
723     finally {
724       try {
725         if (con != null) {
726           freeConnection(con, stmt);
727         }
728       } catch (Throwable t) {
729       }
730     }
731
732     return theReturnList;
733   }
734
735   /**
736    *  Bastelt aus einer Zeile der Datenbank ein EntityObjekt.
737    *
738    *  @param rs Das ResultSetObjekt.
739    *  @return Entity Die Entity.
740    */
741   private Entity makeEntityFromResultSet(ResultSet rs)
742     throws StorageObjectFailure {
743     /** @todo OS: get Pkey from ResultSet and consult ObjectStore */
744     Map theResultHash = new HashMap();
745     String theResult = null;
746     int theType;
747     Entity returnEntity = null;
748
749     try {
750       int size = metadataFields.size();
751
752       for (int i = 0; i < size; i++) {
753         // alle durchlaufen bis nix mehr da
754         theType = metadataTypes[i];
755
756         if (theType == java.sql.Types.LONGVARBINARY) {
757           InputStreamReader is =
758             (InputStreamReader) rs.getCharacterStream(i + 1);
759
760           if (is != null) {
761             char[] data = new char[32768];
762             StringBuffer theResultString = new StringBuffer();
763             int len;
764
765             while ((len = is.read(data)) > 0) {
766               theResultString.append(data, 0, len);
767             }
768
769             is.close();
770             theResult = theResultString.toString();
771           } else {
772             theResult = null;
773           }
774         } else {
775           theResult = getValueAsString(rs, (i + 1), theType);
776         }
777
778         if (theResult != null) {
779           theResultHash.put(metadataFields.get(i), theResult);
780         }
781       }
782
783       if (theEntityClass != null) {
784         returnEntity = (Entity) theEntityClass.newInstance();
785         returnEntity.setStorage(this);
786         returnEntity.setValues(theResultHash);
787
788         if (returnEntity instanceof StorableObject) {
789           logger.debug("CACHE: ( in) " + returnEntity.getId() + " :" + theTable);
790           o_store.add(((StorableObject) returnEntity).getStoreIdentifier());
791         }
792       } else {
793         throwStorageObjectException("Internal Error: theEntityClass not set!");
794       }
795     }
796     catch (IllegalAccessException e) {
797       throwStorageObjectException("No access! -- " + e.getMessage());
798     }
799     catch (IOException e) {
800       throwStorageObjectException("IOException! -- " + e.getMessage());
801     }
802     catch (InstantiationException e) {
803       throwStorageObjectException("No Instatiation! -- " + e.getMessage());
804     }
805     catch (SQLException sqe) {
806       throwSQLException(sqe, "makeEntityFromResultSet");
807
808       return null;
809     }
810
811     return returnEntity;
812   }
813
814   /**
815    * Inserts an entity into the database.
816    *
817    * @param theEntity
818    * @return der Wert des Primary-keys der eingef?gten Entity
819    */
820   public String insert(Entity theEntity) throws StorageObjectFailure {
821     //cache
822     invalidatePopupCache();
823
824     // invalidating all EntityLists corresponding with theEntityClass
825     if (StoreUtil.implementsStorableObject(theEntityClass)) {
826       StoreContainerType stoc_type =
827         StoreContainerType.valueOf(theEntityClass,
828           StoreContainerType.STOC_TYPE_ENTITYLIST);
829       o_store.invalidate(stoc_type);
830     }
831
832     String returnId = null;
833     Connection con = null;
834     PreparedStatement pstmt = null;
835
836     try {
837       List streamedInput = theEntity.streamedInput();
838       StringBuffer f = new StringBuffer();
839       StringBuffer v = new StringBuffer();
840       String aField;
841       String aValue;
842       boolean firstField = true;
843
844       // make sql-string
845       for (int i = 0; i < getFields().size(); i++) {
846         aField = (String) getFields().get(i);
847
848         if (!aField.equals(thePKeyName)) {
849           aValue = null;
850
851           // exceptions
852           if (!theEntity.hasValueForField(aField) && (
853               aField.equals("webdb_create") ||
854               aField.equals("webdb_lastchange"))) {
855             aValue = "NOW()";
856           }
857           else {
858             if ((streamedInput != null) && streamedInput.contains(aField)) {
859               aValue = "?";
860             }
861             else {
862               if (theEntity.hasValueForField(aField)) {
863                 aValue =
864                   "'" +
865                    JDBCStringRoutines.escapeStringLiteral((String) theEntity.getValue(aField)) + "'";
866               }
867             }
868           }
869
870           // wenn Wert gegeben, dann einbauen
871           if (aValue != null) {
872             if (firstField == false) {
873               f.append(",");
874               v.append(",");
875             }
876             else {
877               firstField = false;
878             }
879
880             f.append(aField);
881             v.append(aValue);
882           }
883         }
884       }
885        // end for
886
887       // insert into db
888       StringBuffer sqlBuf =
889         new StringBuffer("insert into ").append(theTable).append("(").append(f)
890                                         .append(") values (").append(v).append(")");
891       String sql = sqlBuf.toString();
892
893       logger.debug("INSERT: " + sql);
894       con = getPooledCon();
895       con.setAutoCommit(false);
896       pstmt = con.prepareStatement(sql);
897
898       if (streamedInput != null) {
899         for (int i = 0; i < streamedInput.size(); i++) {
900           String inputString =
901             (String) theEntity.getValue((String) streamedInput.get(i));
902           pstmt.setBytes(i + 1, inputString.getBytes());
903         }
904       }
905
906       int ret = pstmt.executeUpdate();
907
908       if (ret == 0) {
909         //insert failed
910         return null;
911       }
912
913       pstmt = con.prepareStatement("select currval('" + getCoreTable() + "_id_seq')");
914
915       ResultSet rs = pstmt.executeQuery();
916       rs.next();
917       returnId = rs.getString(1);
918       theEntity.setId(returnId);
919     }
920     catch (SQLException sqe) {
921       throwSQLException(sqe, "insert");
922     }
923     finally {
924       try {
925         con.setAutoCommit(true);
926       }
927       catch (Exception e) {
928       }
929
930       freeConnection(con, pstmt);
931     }
932
933     /** @todo store entity in o_store */
934     return returnId;
935   }
936
937   /**
938    * Updates an entity in the database
939    *
940    * @param theEntity
941    */
942   public void update(Entity theEntity) throws StorageObjectFailure {
943     Connection con = null;
944     PreparedStatement pstmt = null;
945
946     /** @todo this is stupid: why do we prepare statement, when we
947      *  throw it away afterwards. should be regular statement
948      *  update/insert could better be one routine called save()
949      *  that chooses to either insert or update depending if we
950      *  have a primary key in the entity. i don't know if we
951      *  still need the streamed input fields. // rk  */
952     /** @todo extension: check if Entity did change, otherwise we don't need
953      *  the roundtrip to the database */
954     /** invalidating corresponding entitylists in o_store*/
955     if (StoreUtil.implementsStorableObject(theEntityClass)) {
956       StoreContainerType stoc_type =
957         StoreContainerType.valueOf(theEntityClass,
958           StoreContainerType.STOC_TYPE_ENTITYLIST);
959       o_store.invalidate(stoc_type);
960     }
961
962     List streamedInput = theEntity.streamedInput();
963     String id = theEntity.getId();
964     String aField;
965     StringBuffer fv = new StringBuffer();
966     boolean firstField = true;
967
968     //cache
969     invalidatePopupCache();
970
971     // build sql statement
972     for (int i = 0; i < getFields().size(); i++) {
973       aField = (String) metadataFields.get(i);
974
975       // only normal cases
976       if (  !(aField.equals(thePKeyName) ||
977             aField.equals("webdb_create") ||
978             aField.equals("webdb_lastchange") ||
979             ((streamedInput != null) && streamedInput.contains(aField)))) {
980         if (theEntity.hasValueForField(aField)) {
981           if (firstField == false) {
982             fv.append(", ");
983           }
984           else {
985             firstField = false;
986           }
987
988           fv.append(aField).append("='").append(JDBCStringRoutines.escapeStringLiteral((String) theEntity.getValue(aField))).append("'");
989
990           //              fv.append(aField).append("='").append(StringUtil.quote((String)theEntity.getValue(aField))).append("'");
991         }
992       }
993     }
994
995     StringBuffer sql =
996       new StringBuffer("update ").append(theTable).append(" set ").append(fv);
997
998     // exceptions
999     if (metadataFields.contains("webdb_lastchange")) {
1000       sql.append(",webdb_lastchange=NOW()");
1001     }
1002
1003     // special case: the webdb_create requires the field in yyyy-mm-dd HH:mm
1004     // format so anything extra will be ignored. -mh
1005     if (metadataFields.contains("webdb_create") &&
1006         theEntity.hasValueForField("webdb_create")) {
1007       // minimum of 10 (yyyy-mm-dd)...
1008       if (theEntity.getValue("webdb_create").length() >= 10) {
1009         String dateString = theEntity.getValue("webdb_create");
1010
1011         // if only 10, then add 00:00 so it doesn't throw a ParseException
1012         if (dateString.length() == 10) {
1013           dateString = dateString + " 00:00";
1014         }
1015
1016         // TimeStamp stuff
1017         try {
1018           java.util.Date d = userInputDateFormat.parse(dateString);
1019 //          Timestamp tStamp = new Timestamp(d.getTime());
1020           sql.append(",webdb_create='" + JDBCStringRoutines.formatDate(d) + "'");
1021         }
1022         catch (ParseException e) {
1023           throw new StorageObjectFailure(e);
1024         }
1025       }
1026     }
1027
1028     if (streamedInput != null) {
1029       for (int i = 0; i < streamedInput.size(); i++) {
1030         sql.append(",").append(streamedInput.get(i)).append("=?");
1031       }
1032     }
1033
1034     sql.append(" where id=").append(id);
1035     logger.debug("UPDATE: " + sql);
1036
1037     try {
1038       con = getPooledCon();
1039       con.setAutoCommit(false);
1040       pstmt = con.prepareStatement(sql.toString());
1041
1042       if (streamedInput != null) {
1043         for (int i = 0; i < streamedInput.size(); i++) {
1044           String inputString =
1045             theEntity.getValue((String) streamedInput.get(i));
1046           pstmt.setBytes(i + 1, inputString.getBytes());
1047         }
1048       }
1049
1050       pstmt.executeUpdate();
1051     }
1052     catch (SQLException sqe) {
1053       throwSQLException(sqe, "update");
1054     }
1055     finally {
1056       try {
1057         con.setAutoCommit(true);
1058       }
1059       catch (Exception e) {
1060         ;
1061       }
1062
1063       freeConnection(con, pstmt);
1064     }
1065   }
1066
1067   /*
1068   *   delete-Operator
1069   *   @param id des zu loeschenden Datensatzes
1070   *   @return boolean liefert true zurueck, wenn loeschen erfolgreich war.
1071    */
1072   public boolean delete(String id) throws StorageObjectFailure {
1073     invalidatePopupCache();
1074
1075     // ostore send notification
1076     if (StoreUtil.implementsStorableObject(theEntityClass)) {
1077       String uniqueId = id;
1078
1079       if (theEntityClass.equals(StorableObjectEntity.class)) {
1080         uniqueId += ("@" + theTable);
1081       }
1082
1083       logger.debug("CACHE: (del) " + id);
1084
1085       StoreIdentifier search_sid =
1086         new StoreIdentifier(theEntityClass,
1087           StoreContainerType.STOC_TYPE_ENTITY, uniqueId);
1088       o_store.invalidate(search_sid);
1089     }
1090
1091     /** @todo could be prepared Statement */
1092     Statement stmt = null;
1093     Connection con = null;
1094     int res = 0;
1095     String sql =
1096       "delete from " + theTable + " where " + thePKeyName + "='" + id + "'";
1097
1098     //theLog.printInfo("DELETE " + sql);
1099     try {
1100       con = getPooledCon();
1101       stmt = con.createStatement();
1102       res = stmt.executeUpdate(sql);
1103     } catch (SQLException sqe) {
1104       throwSQLException(sqe, "delete");
1105     } finally {
1106       freeConnection(con, stmt);
1107     }
1108
1109     return (res > 0) ? true : false;
1110   }
1111
1112   /**
1113    * Deletes entities based on a where clause
1114    *
1115    * @param aWhereClause
1116    * @return
1117    * @throws StorageObjectFailure
1118    */
1119   public int deleteByWhereClause(String aWhereClause) throws StorageObjectFailure {
1120     invalidatePopupCache();
1121     if (StoreUtil.implementsStorableObject(theEntityClass)) {
1122       StoreContainerType stoc_type = StoreContainerType.valueOf(theEntityClass, StoreContainerType.STOC_TYPE_ENTITYLIST);
1123       o_store.invalidate(stoc_type);
1124     }
1125
1126     Statement stmt = null;
1127     Connection con = null;
1128     int res = 0;
1129     String sql =
1130       "delete from " + theTable + " where " + aWhereClause;
1131
1132     //theLog.printInfo("DELETE " + sql);
1133     try {
1134       con = getPooledCon();
1135       stmt = con.createStatement();
1136       res = stmt.executeUpdate(sql);
1137     }
1138     catch (SQLException sqe) {
1139       throwSQLException(sqe, "delete");
1140     }
1141     finally {
1142       freeConnection(con, stmt);
1143     }
1144
1145     return res;
1146   }
1147
1148   /* noch nicht implementiert.
1149   * @return immer false
1150    */
1151   public boolean delete(EntityList theEntityList) {
1152     invalidatePopupCache();
1153
1154     return false;
1155   }
1156
1157   /* invalidates the popupCache
1158    */
1159   protected void invalidatePopupCache() {
1160     /** @todo  invalidates toooo much */
1161     popupCache = null;
1162     hashCache = null;
1163   }
1164
1165   /**
1166    * Diese Methode fuehrt den Sqlstring <i>sql</i> aus und timed im Logfile.
1167    * @param stmt Statemnt
1168    * @param sql Sql-String
1169    * @return ResultSet
1170    * @exception StorageObjectException
1171    */
1172   public ResultSet executeSql(Statement stmt, String sql)
1173                             throws StorageObjectFailure, SQLException {
1174     ResultSet rs;
1175     long startTime = System.currentTimeMillis();
1176
1177     try {
1178       rs = stmt.executeQuery(sql);
1179
1180       logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1181     }
1182     catch (SQLException e) {
1183       logger.error(e.getMessage() +"\n" + (System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1184       throw e;
1185     }
1186
1187     return rs;
1188   }
1189 /*
1190   public ResultSet executeSql(String sql) throws StorageObjectFailure, SQLException {
1191     long startTime = System.currentTimeMillis();
1192     Connection connection = null;
1193     Statement statement = null;
1194
1195     try {
1196       connection = getPooledCon();
1197       statement = connection.createStatement();
1198       ResultSet result;
1199
1200       result = statement.executeQuery(sql);
1201
1202       logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1203       return result;
1204     }
1205     catch (Throwable e) {
1206       logger.error(e.getMessage() +"\n" + (System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1207       throw new StorageObjectFailure(e);
1208     }
1209     finally {
1210       if (connection!=null) {
1211         freeConnection(connection, statement);
1212       }
1213     }
1214   }
1215 */
1216   private Map processRow(ResultSet aResultSet) throws StorageObjectFailure, StorageObjectExc {
1217     try {
1218       Map result = new HashMap();
1219       ResultSetMetaData metaData = aResultSet.getMetaData();
1220       int nrColumns = metaData.getColumnCount();
1221       for (int i=0; i<nrColumns; i++) {
1222         result.put(metaData.getColumnName(i+1), getValueAsString(aResultSet, i+1, metaData.getColumnType(i+1)));
1223       }
1224
1225       return result;
1226     }
1227     catch (Throwable e) {
1228       throw new StorageObjectFailure(e);
1229     }
1230   }
1231
1232   public List executeFreeSql(String sql, int aLimit) throws StorageObjectFailure, StorageObjectExc {
1233     Connection connection = null;
1234     Statement statement = null;
1235     try {
1236       List result = new Vector();
1237       connection = getPooledCon();
1238       statement = connection.createStatement();
1239       ResultSet resultset = executeSql(statement, sql);
1240       try {
1241         while (resultset.next() && result.size() < aLimit) {
1242           result.add(processRow(resultset));
1243         }
1244       }
1245       finally {
1246         resultset.close();
1247       }
1248
1249       return result;
1250     }
1251     catch (Throwable e) {
1252       throw new StorageObjectFailure(e);
1253     }
1254     finally {
1255       if (connection!=null) {
1256         freeConnection(connection, statement);
1257       }
1258     }
1259   };
1260
1261   public Map executeFreeSingleRowSql(String anSqlStatement) throws StorageObjectFailure, StorageObjectExc {
1262     try {
1263       List resultList = executeFreeSql(anSqlStatement, 1);
1264       try {
1265         if (resultList.size()>0)
1266           return (Map) resultList.get(0);
1267         else
1268           return null;
1269       }
1270       finally {
1271       }
1272     }
1273     catch (Throwable t) {
1274       throw new StorageObjectFailure(t);
1275     }
1276   };
1277
1278   public String executeFreeSingleValueSql(String sql) throws StorageObjectFailure, StorageObjectExc {
1279     Map row = executeFreeSingleRowSql(sql);
1280
1281     if (row==null)
1282       return null;
1283
1284     Iterator i = row.values().iterator();
1285     if (i.hasNext())
1286       return (String) i.next();
1287     else
1288       return null;
1289   };
1290
1291   /**
1292    * returns the number of rows in the table
1293    */
1294   public int getSize(String where) throws SQLException, StorageObjectFailure {
1295     long startTime = System.currentTimeMillis();
1296     String sql = "SELECT Count(*) FROM " + theTable;
1297
1298     if ((where != null) && (where.length() != 0)) {
1299       sql = sql + " where " + where;
1300     }
1301
1302     Connection con = null;
1303     Statement stmt = null;
1304     int result = 0;
1305
1306     try {
1307       con = getPooledCon();
1308       stmt = con.createStatement();
1309
1310       ResultSet rs = executeSql(stmt, sql);
1311
1312       while (rs.next()) {
1313         result = rs.getInt(1);
1314       }
1315     }
1316     catch (SQLException e) {
1317       logger.error("Database.getSize: " + e.getMessage());
1318     }
1319     finally {
1320       freeConnection(con, stmt);
1321     }
1322
1323     //theLog.printInfo(theTable + " has "+ result +" rows where " + where);
1324     logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1325
1326     return result;
1327   }
1328
1329   public int executeUpdate(Statement stmt, String sql)
1330     throws StorageObjectFailure, SQLException {
1331     int rs;
1332     long startTime = System.currentTimeMillis();
1333
1334     try {
1335       rs = stmt.executeUpdate(sql);
1336
1337       logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1338     }
1339     catch (SQLException e) {
1340       logger.error("Failed: " + (System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1341       throw e;
1342     }
1343
1344     return rs;
1345   }
1346
1347   public int executeUpdate(String sql)
1348     throws StorageObjectFailure, SQLException {
1349     int result = -1;
1350     long startTime = System.currentTimeMillis();
1351     Connection con = null;
1352     PreparedStatement pstmt = null;
1353
1354     try {
1355       con = getPooledCon();
1356       pstmt = con.prepareStatement(sql);
1357       result = pstmt.executeUpdate();
1358     }
1359     catch (Throwable e) {
1360       logger.error("Database.executeUpdate(" + sql + "): " + e.getMessage());
1361       throw new StorageObjectFailure("Database.executeUpdate(" + sql + "): " + e.getMessage(), e);
1362     }
1363     finally {
1364       freeConnection(con, pstmt);
1365     }
1366
1367     logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1368     return result;
1369   }
1370
1371   /**
1372    * Wertet ResultSetMetaData aus und setzt interne Daten entsprechend
1373    * @param md ResultSetMetaData
1374    * @exception StorageObjectException
1375    */
1376   private void evalMetaData(ResultSetMetaData md) throws StorageObjectFailure {
1377     this.evaluatedMetaData = true;
1378     this.metadataFields = new ArrayList();
1379     this.metadataLabels = new ArrayList();
1380     this.metadataNotNullFields = new ArrayList();
1381
1382     try {
1383       int numFields = md.getColumnCount();
1384       this.metadataTypes = new int[numFields];
1385
1386       String aField;
1387       int aType;
1388
1389       for (int i = 1; i <= numFields; i++) {
1390         aField = md.getColumnName(i);
1391         metadataFields.add(aField);
1392         metadataLabels.add(md.getColumnLabel(i));
1393         aType = md.getColumnType(i);
1394         metadataTypes[i - 1] = aType;
1395
1396         if (aField.equals(thePKeyName)) {
1397           thePKeyType = aType;
1398           thePKeyIndex = i;
1399         }
1400
1401         if (md.isNullable(i) == ResultSetMetaData.columnNullable) {
1402           metadataNotNullFields.add(aField);
1403         }
1404       }
1405     }
1406     catch (SQLException e) {
1407       throwSQLException(e, "evalMetaData");
1408     }
1409   }
1410
1411   /**
1412    *  Wertet die Metadaten eines Resultsets fuer eine Tabelle aus,
1413    *  um die alle Columns und Typen einer Tabelle zu ermitteln.
1414    */
1415   private void get_meta_data() throws StorageObjectFailure {
1416     Connection con = null;
1417     PreparedStatement pstmt = null;
1418     String sql = "select * from " + theTable + " where 0=1";
1419
1420     try {
1421       con = getPooledCon();
1422       pstmt = con.prepareStatement(sql);
1423
1424       logger.debug("METADATA: " + sql);
1425       ResultSet rs = pstmt.executeQuery();
1426       evalMetaData(rs.getMetaData());
1427       rs.close();
1428     }
1429     catch (SQLException e) {
1430       throwSQLException(e, "get_meta_data");
1431     }
1432     finally {
1433       freeConnection(con, pstmt);
1434     }
1435   }
1436
1437   public Connection getPooledCon() throws StorageObjectFailure {
1438     Connection con = null;
1439
1440     try {
1441       con = SQLManager.getInstance().requestConnection();
1442     }
1443     catch (SQLException e) {
1444       logger.error("could not connect to the database " + e.getMessage());
1445
1446       throw new StorageObjectFailure("Could not connect to the database", e);
1447     }
1448
1449     return con;
1450   }
1451
1452   public void freeConnection(Connection con, Statement stmt)
1453     throws StorageObjectFailure {
1454     SQLManager.closeStatement(stmt);
1455     SQLManager.getInstance().returnConnection(con);
1456   }
1457
1458   /**
1459    * Wertet SQLException aus und wirft dannach eine StorageObjectException
1460    * @param sqe SQLException
1461    * @param wo Funktonsname, in der die SQLException geworfen wurde
1462    * @exception StorageObjectException
1463    */
1464   protected void throwSQLException(SQLException sqe, String aFunction) throws StorageObjectFailure {
1465     String state = "";
1466     String message = "";
1467     int vendor = 0;
1468
1469     if (sqe != null) {
1470       state = sqe.getSQLState();
1471       message = sqe.getMessage();
1472       vendor = sqe.getErrorCode();
1473     }
1474
1475     String information =
1476         "SQL Error: " +
1477         "state= " + state +
1478         ", vendor= " + vendor +
1479         ", message=" + message +
1480         ", function= " + aFunction;
1481
1482     logger.error(information);
1483
1484     throw new StorageObjectFailure(information, sqe);
1485   }
1486
1487   protected void _throwStorageObjectException(Exception e, String aFunction)
1488     throws StorageObjectFailure {
1489
1490     if (e != null) {
1491       logger.error(e.getMessage() + aFunction);
1492       throw new StorageObjectFailure(aFunction, e);
1493     }
1494   }
1495
1496   /**
1497    * Loggt Fehlermeldung mit dem Parameter Message und wirft dannach
1498    * eine StorageObjectException
1499    * @param message Nachricht mit dem Fehler
1500    * @exception StorageObjectException
1501    */
1502   void throwStorageObjectException(String aMessage) throws StorageObjectFailure {
1503     logger.error(aMessage);
1504     throw new StorageObjectFailure(aMessage, null);
1505   }
1506 }