*** empty log message ***
[mir.git] / source / mir / storage / Database.java
1 /*
2  * Copyright (C) 2001, 2002 The Mir-coders group
3  *
4  * This file is part of Mir.
5  *
6  * Mir is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; either version 2 of the License, or
9  * (at your option) any later version.
10  *
11  * Mir is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with Mir; if not, write to the Free Software
18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
19  *
20  * In addition, as a special exception, The Mir-coders gives permission to link
21  * the code of this program with  any library licensed under the Apache Software License,
22  * The Sun (tm) Java Advanced Imaging library (JAI), The Sun JIMI library
23  * (or with modified versions of the above that use the same license as the above),
24  * and distribute linked combinations including the two.  You must obey the
25  * GNU General Public License in all respects for all of the code used other than
26  * the above mentioned libraries.  If you modify this file, you may extend this
27  * exception to your version of the file, but you are not obligated to do so.
28  * If you do not wish to do so, delete this exception statement from your version.
29  */
30 package mir.storage;
31
32 import java.io.IOException;
33 import java.io.InputStreamReader;
34 import java.sql.Connection;
35 import java.sql.PreparedStatement;
36 import java.sql.ResultSet;
37 import java.sql.ResultSetMetaData;
38 import java.sql.SQLException;
39 import java.sql.Statement;
40 import java.sql.Timestamp;
41 import java.text.ParseException;
42 import java.text.SimpleDateFormat;
43 import java.util.ArrayList;
44 import java.util.Calendar;
45 import java.util.GregorianCalendar;
46 import java.util.HashMap;
47 import java.util.Iterator;
48 import java.util.List;
49 import java.util.Map;
50 import java.util.TimeZone;
51 import java.util.Vector;
52
53 import mir.config.MirPropertiesConfiguration;
54 import mir.config.MirPropertiesConfiguration.PropertiesConfigExc;
55 import mir.entity.Entity;
56 import mir.entity.EntityList;
57 import mir.entity.StorableObjectEntity;
58 import mir.log.LoggerWrapper;
59 import mir.misc.StringUtil;
60 import mir.storage.store.ObjectStore;
61 import mir.storage.store.StorableObject;
62 import mir.storage.store.StoreContainerType;
63 import mir.storage.store.StoreIdentifier;
64 import mir.storage.store.StoreUtil;
65 import mir.util.JDBCStringRoutines;
66
67 import com.codestudio.util.SQLManager;
68
69
70 /**
71  * Diese Klasse implementiert die Zugriffsschicht auf die Datenbank.
72  * Alle Projektspezifischen Datenbankklassen erben von dieser Klasse.
73  * In den Unterklassen wird im Minimalfall nur die Tabelle angegeben.
74  * Im Konfigurationsfile findet sich eine Verweis auf den verwendeten
75  * Treiber, Host, User und Passwort, ueber den der Zugriff auf die
76  * Datenbank erfolgt.
77  *
78  * @version $Id: Database.java,v 1.44.2.10 2003/11/24 22:02:52 rk Exp $
79  * @author rk
80  *
81  */
82 public class Database implements StorageObject {
83   private static Class GENERIC_ENTITY_CLASS = mir.entity.StorableObjectEntity.class;
84   private static Class STORABLE_OBJECT_ENTITY_CLASS = mir.entity.StorableObjectEntity.class;
85
86
87   private static Map POPUP_EMPTYLINE = new HashMap();
88   protected static final ObjectStore o_store = ObjectStore.getInstance();
89   private static final int _millisPerHour = 60 * 60 * 1000;
90   private static final int _millisPerMinute = 60 * 1000;
91
92   static {
93     // always same object saves a little space
94     POPUP_EMPTYLINE.put("key", "");
95     POPUP_EMPTYLINE.put("value", "--");
96   }
97
98   protected LoggerWrapper logger;
99   protected MirPropertiesConfiguration configuration;
100   protected String theTable;
101   protected String theCoreTable = null;
102   protected String thePKeyName = "id";
103   protected int thePKeyType;
104   protected int thePKeyIndex;
105   protected boolean evaluatedMetaData = false;
106   protected ArrayList metadataFields;
107   protected ArrayList metadataLabels;
108   protected ArrayList metadataNotNullFields;
109   protected int[] metadataTypes;
110   protected Class theEntityClass;
111   protected List popupCache = null;
112   protected boolean hasPopupCache = false;
113   protected Map hashCache = null;
114   protected boolean hasTimestamp = true;
115   private String database_driver;
116   private String database_url;
117   private int defaultLimit;
118
119   TimeZone timezone;
120   SimpleDateFormat internalDateFormat;
121   SimpleDateFormat userInputDateFormat;
122 /*
123   private SimpleDateFormat _dateFormatterOut;
124   private SimpleDateFormat _dateFormatterIn;
125   _dateFormatterOut = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
126   _dateFormatterIn = new SimpleDateFormat("yyyy-MM-dd HH:mm");
127 */
128
129   /**
130    * Kontruktor bekommt den Filenamen des Konfigurationsfiles ?bergeben.
131    * Aus diesem file werden <code>Database.Logfile</code>,
132    * <code>Database.Username</code>,<code>Database.Password</code>,
133    * <code>Database.Host</code> und <code>Database.Adaptor</code>
134    * ausgelesen und ein Broker f?r die Verbindugen zur Datenbank
135    * erzeugt.
136    *
137    * @param   String confFilename Dateiname der Konfigurationsdatei
138    */
139   public Database() throws StorageObjectFailure {
140     try {
141       configuration = MirPropertiesConfiguration.instance();
142     }
143     catch (PropertiesConfigExc e) {
144       throw new StorageObjectFailure(e);
145     }
146     logger = new LoggerWrapper("Database");
147     timezone = TimeZone.getTimeZone(configuration.getString("Mir.DefaultTimezone"));
148     internalDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
149     internalDateFormat.setTimeZone(timezone);
150
151     userInputDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm");
152     userInputDateFormat.setTimeZone(timezone);
153
154
155     String theAdaptorName = configuration.getString("Database.Adaptor");
156     defaultLimit = Integer.parseInt(configuration.getString("Database.Limit"));
157
158     try {
159       theEntityClass = GENERIC_ENTITY_CLASS;
160     }
161     catch (Throwable e) {
162       logger.error("Error in Database() constructor with " + theAdaptorName + " -- " + e.getMessage());
163       throw new StorageObjectFailure("Error in Database() constructor.", e);
164     }
165   }
166
167   /**
168    * Liefert die Entity-Klasse zur?ck, in der eine Datenbankzeile gewrappt
169    * wird. Wird die Entity-Klasse durch die erbende Klasse nicht ?berschrieben,
170    * wird eine mir.entity.GenericEntity erzeugt.
171    *
172    * @return Class-Objekt der Entity
173    */
174   public java.lang.Class getEntityClass() {
175     return theEntityClass;
176   }
177
178   /**
179    * Liefert die Standardbeschr?nkung von select-Statements zur?ck, also
180    * wieviel Datens?tze per Default selektiert werden.
181    *
182    * @return Standard-Anzahl der Datens?tze
183    */
184   public int getLimit() {
185     return defaultLimit;
186   }
187
188   /**
189    * Liefert den Namen des Primary-Keys zur?ck. Wird die Variable nicht von
190    * der erbenden Klasse ?berschrieben, so ist der Wert <code>PKEY</code>
191    * @return Name des Primary-Keys
192    */
193   public String getIdName() {
194     return thePKeyName;
195   }
196
197   /**
198    * Liefert den Namen der Tabelle, auf das sich das Datenbankobjekt bezieht.
199    *
200    * @return Name der Tabelle
201    */
202   public String getTableName() {
203     return theTable;
204   }
205
206   /*
207   *   Dient dazu vererbte Tabellen bei objectrelationalen DBMS
208   *   zu speichern, wenn die id einer Tabelle in der parenttabelle verwaltet
209   *   wird.
210   *   @return liefert theCoreTabel als String zurueck, wenn gesetzt, sonst
211   *    the Table
212    */
213   public String getCoreTable() {
214     if (theCoreTable != null) {
215       return theCoreTable;
216     }
217     else {
218       return theTable;
219     }
220   }
221
222   /**
223    * Liefert Feldtypen der Felder der Tabelle zurueck (s.a. java.sql.Types)
224    * @return int-Array mit den Typen der Felder
225    * @exception StorageObjectException
226    */
227   public int[] getTypes() throws StorageObjectFailure {
228     if (metadataTypes == null) {
229       get_meta_data();
230     }
231
232     return metadataTypes;
233   }
234
235   /**
236    * Liefert eine Liste der Labels der Tabellenfelder
237    * @return ArrayListe mit Labeln
238    * @exception StorageObjectException
239    */
240   public List getLabels() throws StorageObjectFailure {
241     if (metadataLabels == null) {
242       get_meta_data();
243     }
244
245     return metadataLabels;
246   }
247
248   /**
249    * Liefert eine Liste der Felder der Tabelle
250    * @return ArrayList mit Feldern
251    * @exception StorageObjectException
252    */
253   public List getFields() throws StorageObjectFailure {
254     if (metadataFields == null) {
255       get_meta_data();
256     }
257
258     return metadataFields;
259   }
260
261   /**
262    *   Gets value out of ResultSet according to type and converts to String
263    *   @param rs  ResultSet.
264    *   @param aType  a type from java.sql.Types.*
265    *   @param index  index in ResultSet
266    *   @return returns the value as String. If no conversion is possible
267    *                             /unsupported value/ is returned
268    */
269   private String getValueAsString(ResultSet rs, int valueIndex, int aType)
270     throws StorageObjectFailure {
271     String outValue = null;
272
273     if (rs != null) {
274       try {
275         switch (aType) {
276           case java.sql.Types.BIT:
277             outValue = (rs.getBoolean(valueIndex) == true) ? "1" : "0";
278
279             break;
280
281           case java.sql.Types.INTEGER:
282           case java.sql.Types.SMALLINT:
283           case java.sql.Types.TINYINT:
284           case java.sql.Types.BIGINT:
285
286             int out = rs.getInt(valueIndex);
287
288             if (!rs.wasNull()) {
289               outValue = new Integer(out).toString();
290             }
291
292             break;
293
294           case java.sql.Types.NUMERIC:
295
296             /** @todo Numeric can be float or double depending upon
297              *  metadata.getScale() / especially with oracle */
298             long outl = rs.getLong(valueIndex);
299
300             if (!rs.wasNull()) {
301               outValue = new Long(outl).toString();
302             }
303
304             break;
305
306           case java.sql.Types.REAL:
307
308             float tempf = rs.getFloat(valueIndex);
309
310             if (!rs.wasNull()) {
311               tempf *= 10;
312               tempf += 0.5;
313
314               int tempf_int = (int) tempf;
315               tempf = (float) tempf_int;
316               tempf /= 10;
317               outValue = "" + tempf;
318               outValue = outValue.replace('.', ',');
319             }
320
321             break;
322
323           case java.sql.Types.DOUBLE:
324
325             double tempd = rs.getDouble(valueIndex);
326
327             if (!rs.wasNull()) {
328               tempd *= 10;
329               tempd += 0.5;
330
331               int tempd_int = (int) tempd;
332               tempd = (double) tempd_int;
333               tempd /= 10;
334               outValue = "" + tempd;
335               outValue = outValue.replace('.', ',');
336             }
337
338             break;
339
340           case java.sql.Types.CHAR:
341           case java.sql.Types.VARCHAR:
342           case java.sql.Types.LONGVARCHAR:
343             outValue = rs.getString(valueIndex);
344
345             break;
346
347           case java.sql.Types.LONGVARBINARY:
348             outValue = rs.getString(valueIndex);
349
350             break;
351
352           case java.sql.Types.TIMESTAMP:
353
354             // it's important to use Timestamp here as getting it
355             // as a string is undefined and is only there for debugging
356             // according to the API. we can make it a string through formatting.
357             // -mh
358             Timestamp timestamp = (rs.getTimestamp(valueIndex));
359
360             if (!rs.wasNull()) {
361               java.util.Date date = new java.util.Date(timestamp.getTime());
362
363               Calendar calendar = new GregorianCalendar();
364               calendar.setTime(date);
365               calendar.setTimeZone(timezone);
366               outValue = internalDateFormat.format(date);
367
368               int offset = calendar.get(Calendar.ZONE_OFFSET) + calendar.get(Calendar.DST_OFFSET);
369               String tzOffset = StringUtil.zeroPaddingNumber(Math.abs(offset) / _millisPerHour, 2, 2);
370
371               if (offset<0)
372                 outValue = outValue + "-";
373               else
374                 outValue = outValue + "+";
375               outValue = outValue + tzOffset;
376             }
377
378             break;
379
380           default:
381             outValue = "<unsupported value>";
382             logger.warn("Unsupported Datatype: at " + valueIndex + " (" + aType + ")");
383         }
384       } catch (SQLException e) {
385         throw new StorageObjectFailure("Could not get Value out of Resultset -- ",
386           e);
387       }
388     }
389
390     return outValue;
391   }
392
393   /**
394    *   select-Operator um einen Datensatz zu bekommen.
395    *   @param id Primaerschluessel des Datensatzes.
396    *   @return liefert EntityObject des gefundenen Datensatzes oder null.
397    */
398   public Entity selectById(String id) throws StorageObjectExc {
399     if ((id == null) || id.equals("")) {
400       throw new StorageObjectExc("Database.selectById: Missing id");
401     }
402
403     // ask object store for object
404     if (StoreUtil.implementsStorableObject(theEntityClass)) {
405       String uniqueId = id;
406
407       if (theEntityClass.equals(StorableObjectEntity.class)) {
408         uniqueId += ("@" + theTable);
409       }
410
411       StoreIdentifier search_sid = new StoreIdentifier(theEntityClass, uniqueId);
412       logger.debug("CACHE: (dbg) looking for sid " + search_sid.toString());
413
414       Entity hit = (Entity) o_store.use(search_sid);
415
416       if (hit != null) {
417         return hit;
418       }
419     }
420
421     Statement stmt = null;
422     Connection con = getPooledCon();
423     Entity returnEntity = null;
424
425     try {
426       ResultSet rs;
427
428       /** @todo better prepared statement */
429       String selectSql =
430         "select * from " + theTable + " where " + thePKeyName + "=" + id;
431       stmt = con.createStatement();
432       rs = executeSql(stmt, selectSql);
433
434       if (rs != null) {
435         if (evaluatedMetaData == false) {
436           evalMetaData(rs.getMetaData());
437         }
438
439         if (rs.next()) {
440           returnEntity = makeEntityFromResultSet(rs);
441         }
442         else {
443           logger.debug("No data for id: " + id + " in table " + theTable);
444         }
445
446         rs.close();
447       }
448       else {
449         logger.debug("No Data for Id " + id + " in Table " + theTable);
450       }
451     }
452     catch (SQLException sqe) {
453       throwSQLException(sqe, "selectById");
454       return null;
455     }
456     catch (NumberFormatException e) {
457       logger.error("ID is no number: " + id);
458     }
459     finally {
460       freeConnection(con, stmt);
461     }
462
463     return returnEntity;
464   }
465
466   /**
467    * This method makes it possible to make selects across multiple tables
468    * 
469    * @param mainTablePrefix prefix for the mainTable
470    * @param extraTables a vector of tables for relational select
471    * @param aWhereClause whereClause
472    * @return EntityList of selected Objects
473    * @throws StorageObjectFailure
474    */
475
476   public EntityList selectByWhereClauseWithExtraTables(String mainTablePrefix, 
477                                                 List extraTables, String aWhereClause )
478    throws StorageObjectFailure {
479         return selectByWhereClause( mainTablePrefix, extraTables, aWhereClause, "", 0, -1);
480   }
481
482   /**
483    *   select-Operator um Datensaetze zu bekommen, die key = value erfuellen.
484    *   @param key  Datenbankfeld der Bedingung.
485    *   @param value  Wert die der key anehmen muss.
486    *   @return EntityList mit den gematchten Entities
487    */
488   public EntityList selectByFieldValue(String aField, String aValue) throws StorageObjectFailure {
489     return selectByFieldValue(aField, aValue, 0);
490   }
491
492   /**
493    *   select-Operator um Datensaetze zu bekommen, die key = value erfuellen.
494    *   @param key  Datenbankfeld der Bedingung.
495    *   @param value  Wert die der key anehmen muss.
496    *   @param offset  Gibt an ab welchem Datensatz angezeigt werden soll.
497    *   @return EntityList mit den gematchten Entities
498    */
499   public EntityList selectByFieldValue(String aField, String aValue, int offset) throws StorageObjectFailure {
500     return selectByWhereClause(aField + "=" + aValue, offset);
501   }
502
503   /**
504    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
505    * Also offset wird der erste Datensatz genommen.
506    *
507    * @param wc where-Clause
508    * @return EntityList mit den gematchten Entities
509    * @exception StorageObjectException
510    */
511   public EntityList selectByWhereClause(String where) throws StorageObjectFailure {
512     return selectByWhereClause(where, 0);
513   }
514
515   /**
516    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
517    * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
518    *
519    * @param wc where-Clause
520    * @param offset ab welchem Datensatz.
521    * @return EntityList mit den gematchten Entities
522    * @exception StorageObjectException
523    */
524   public EntityList selectByWhereClause(String whereClause, int offset) throws StorageObjectFailure {
525     return selectByWhereClause(whereClause, null, offset);
526   }
527
528   /**
529    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
530    * Also offset wird der erste Datensatz genommen.
531    * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
532    *
533    * @param wc where-Clause
534    * @param ob orderBy-Clause
535    * @return EntityList mit den gematchten Entities
536    * @exception StorageObjectException
537    */
538   public EntityList selectByWhereClause(String where, String order) throws StorageObjectFailure {
539     return selectByWhereClause(where, order, 0);
540   }
541
542   /**
543    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
544    * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
545    *
546    * @param wc where-Clause
547    * @param ob orderBy-Clause
548    * @param offset ab welchem Datensatz
549    * @return EntityList mit den gematchten Entities
550    * @exception StorageObjectException
551    */
552   public EntityList selectByWhereClause(String whereClause, String orderBy, int offset) throws StorageObjectFailure {
553     return selectByWhereClause(whereClause, orderBy, offset, defaultLimit);
554   }
555
556   /**
557    * select-Operator returns EntityList with matching rows in Database.
558    * @param aWhereClause where-Clause
559    * @param anOrderByClause orderBy-Clause
560    * @param offset ab welchem Datensatz
561    * @param limit wieviele Datens?tze
562    * @return EntityList mit den gematchten Entities
563    * @exception StorageObjectException
564    */
565   public EntityList selectByWhereClause(String aWhereClause, String anOrderByClause,
566             int offset, int limit) throws StorageObjectFailure {
567     return selectByWhereClause("", null, aWhereClause, anOrderByClause, offset, limit);              
568   }
569
570   /**
571    * select-Operator returns EntityList with matching rows in Database.
572    * @param aWhereClause where-Clause
573    * @param anOrderByClause orderBy-Clause
574    * @param offset ab welchem Datensatz
575    * @param limit wieviele Datens?tze
576    * @return EntityList mit den gematchten Entities
577    * @exception StorageObjectException
578    */
579   public EntityList selectByWhereClause(String mainTablePrefix, List extraTables,
580       String aWhereClause, String anOrderByClause,
581                         int offset, int limit) throws StorageObjectFailure {
582     
583     String useTable = theTable;
584     String selectStar = "*";
585     if (mainTablePrefix!=null && mainTablePrefix.trim().length()>0) {
586       useTable+=" "+mainTablePrefix;
587       selectStar=mainTablePrefix.trim() + ".*";
588     }
589     
590     // check o_store for entitylist
591     // only if no relational select
592     if (extraTables==null) {
593       if (StoreUtil.implementsStorableObject(theEntityClass)) {
594         StoreIdentifier search_sid =
595             new StoreIdentifier(
596               theEntityClass, StoreContainerType.STOC_TYPE_ENTITYLIST,
597               StoreUtil.getEntityListUniqueIdentifierFor(useTable, aWhereClause, anOrderByClause, offset, limit));
598         EntityList hit = (EntityList) o_store.use(search_sid);
599   
600         if (hit != null) {
601           logger.debug("CACHE (hit): " + search_sid.toString());
602   
603           return hit;
604         }
605       }
606     }
607
608     // local
609     EntityList theReturnList = null;
610     Connection con = null;
611     Statement stmt = null;
612     ResultSet rs;
613     int offsetCount = 0;
614     int count = 0;
615
616     // build sql-statement
617
618     if ((aWhereClause != null) && (aWhereClause.trim().length() == 0)) {
619       aWhereClause = null;
620     }
621
622     StringBuffer countSql =
623       new StringBuffer("select count(*) from ").append(useTable);
624     StringBuffer selectSql =
625       new StringBuffer("select "+selectStar+" from ").append(useTable);
626  
627     // append extratables, if necessary
628     if (extraTables!=null) {
629       for (int i=0;i < extraTables.size();i++) {
630         countSql.append( ", " + extraTables.get(i));
631         selectSql.append( ", " + extraTables.get(i));
632       }
633     }
634     
635     if (aWhereClause != null) {
636       selectSql.append(" where ").append(aWhereClause);
637       countSql.append(" where ").append(aWhereClause);
638     }
639
640     if ((anOrderByClause != null) && !(anOrderByClause.trim().length() == 0)) {
641       selectSql.append(" order by ").append(anOrderByClause);
642     }
643
644     if ((limit > -1) && (offset > -1)) {
645       selectSql.append(" LIMIT ").append(limit).append(" OFFSET ").append(offset);
646     }
647
648     // execute sql
649     try {
650       con = getPooledCon();
651       stmt = con.createStatement();
652
653       // selecting...
654       rs = executeSql(stmt, selectSql.toString());
655
656       if (rs != null) {
657         if (!evaluatedMetaData) {
658           evalMetaData(rs.getMetaData());
659         }
660
661         theReturnList = new EntityList();
662         Entity theResultEntity;
663         while (rs.next()) {
664           theResultEntity = makeEntityFromResultSet(rs);
665           theReturnList.add(theResultEntity);
666           offsetCount++;
667         }
668         rs.close();
669       }
670
671       // making entitylist infos
672       count = offsetCount;
673
674       if (theReturnList != null) {
675         // now we decide if we have to know an overall count...
676         count = offsetCount;
677
678         if ((limit > -1) && (offset > -1)) {
679           if (offsetCount == limit) {
680             rs = executeSql(stmt, countSql.toString());
681
682             if (rs != null) {
683               if (rs.next()) {
684                 count = rs.getInt(1);
685               }
686
687               rs.close();
688             }
689             else {
690               logger.error("Could not count: " + countSql);
691             }
692           }
693         }
694
695         theReturnList.setCount(count);
696         theReturnList.setOffset(offset);
697         theReturnList.setWhere(aWhereClause);
698         theReturnList.setOrder(anOrderByClause);
699         theReturnList.setStorage(this);
700         theReturnList.setLimit(limit);
701
702         if (offset >= limit) {
703           theReturnList.setPrevBatch(offset - limit);
704         }
705
706         if ((offset + offsetCount) < count) {
707           theReturnList.setNextBatch(offset + limit);
708         }
709
710         if (extraTables==null && StoreUtil.implementsStorableObject(theEntityClass)) {
711           StoreIdentifier sid = theReturnList.getStoreIdentifier();
712           logger.debug("CACHE (add): " + sid.toString());
713           o_store.add(sid);
714         }
715       }
716     }
717     catch (SQLException sqe) {
718       throwSQLException(sqe, "selectByWhereClause");
719     }
720     finally {
721       try {
722         if (con != null) {
723           freeConnection(con, stmt);
724         }
725       } catch (Throwable t) {
726       }
727     }
728
729     return theReturnList;
730   }
731
732   /**
733    *  Bastelt aus einer Zeile der Datenbank ein EntityObjekt.
734    *
735    *  @param rs Das ResultSetObjekt.
736    *  @return Entity Die Entity.
737    */
738   private Entity makeEntityFromResultSet(ResultSet rs)
739     throws StorageObjectFailure {
740     /** @todo OS: get Pkey from ResultSet and consult ObjectStore */
741     Map theResultHash = new HashMap();
742     String theResult = null;
743     int theType;
744     Entity returnEntity = null;
745
746     try {
747       int size = metadataFields.size();
748
749       for (int i = 0; i < size; i++) {
750         // alle durchlaufen bis nix mehr da
751         theType = metadataTypes[i];
752
753         if (theType == java.sql.Types.LONGVARBINARY) {
754           InputStreamReader is =
755             (InputStreamReader) rs.getCharacterStream(i + 1);
756
757           if (is != null) {
758             char[] data = new char[32768];
759             StringBuffer theResultString = new StringBuffer();
760             int len;
761
762             while ((len = is.read(data)) > 0) {
763               theResultString.append(data, 0, len);
764             }
765
766             is.close();
767             theResult = theResultString.toString();
768           } else {
769             theResult = null;
770           }
771         } else {
772           theResult = getValueAsString(rs, (i + 1), theType);
773         }
774
775         if (theResult != null) {
776           theResultHash.put(metadataFields.get(i), theResult);
777         }
778       }
779
780       if (theEntityClass != null) {
781         returnEntity = (Entity) theEntityClass.newInstance();
782         returnEntity.setStorage(this);
783         returnEntity.setValues(theResultHash);
784
785         if (returnEntity instanceof StorableObject) {
786           logger.debug("CACHE: ( in) " + returnEntity.getId() + " :" + theTable);
787           o_store.add(((StorableObject) returnEntity).getStoreIdentifier());
788         }
789       } else {
790         throwStorageObjectException("Internal Error: theEntityClass not set!");
791       }
792     }
793     catch (IllegalAccessException e) {
794       throwStorageObjectException("No access! -- " + e.getMessage());
795     }
796     catch (IOException e) {
797       throwStorageObjectException("IOException! -- " + e.getMessage());
798     }
799     catch (InstantiationException e) {
800       throwStorageObjectException("No Instatiation! -- " + e.getMessage());
801     }
802     catch (SQLException sqe) {
803       throwSQLException(sqe, "makeEntityFromResultSet");
804
805       return null;
806     }
807
808     return returnEntity;
809   }
810
811   /**
812    * Inserts an entity into the database.
813    *
814    * @param theEntity
815    * @return der Wert des Primary-keys der eingef?gten Entity
816    */
817   public String insert(Entity theEntity) throws StorageObjectFailure {
818     //cache
819     invalidatePopupCache();
820
821     // invalidating all EntityLists corresponding with theEntityClass
822     if (StoreUtil.implementsStorableObject(theEntityClass)) {
823       StoreContainerType stoc_type =
824         StoreContainerType.valueOf(theEntityClass,
825           StoreContainerType.STOC_TYPE_ENTITYLIST);
826       o_store.invalidate(stoc_type);
827     }
828
829     String returnId = null;
830     Connection con = null;
831     PreparedStatement pstmt = null;
832
833     try {
834       List streamedInput = theEntity.streamedInput();
835       StringBuffer f = new StringBuffer();
836       StringBuffer v = new StringBuffer();
837       String aField;
838       String aValue;
839       boolean firstField = true;
840
841       // make sql-string
842       for (int i = 0; i < getFields().size(); i++) {
843         aField = (String) getFields().get(i);
844
845         if (!aField.equals(thePKeyName)) {
846           aValue = null;
847
848           // exceptions
849           if (!theEntity.hasValueForField(aField) && (
850               aField.equals("webdb_create") ||
851               aField.equals("webdb_lastchange"))) {
852             aValue = "NOW()";
853           }
854           else {
855             if ((streamedInput != null) && streamedInput.contains(aField)) {
856               aValue = "?";
857             }
858             else {
859               if (theEntity.hasValueForField(aField)) {
860                 aValue =
861                   "'" +
862                    JDBCStringRoutines.escapeStringLiteral((String) theEntity.getValue(aField)) + "'";
863               }
864             }
865           }
866
867           // wenn Wert gegeben, dann einbauen
868           if (aValue != null) {
869             if (firstField == false) {
870               f.append(",");
871               v.append(",");
872             }
873             else {
874               firstField = false;
875             }
876
877             f.append(aField);
878             v.append(aValue);
879           }
880         }
881       }
882        // end for
883
884       // insert into db
885       StringBuffer sqlBuf =
886         new StringBuffer("insert into ").append(theTable).append("(").append(f)
887                                         .append(") values (").append(v).append(")");
888       String sql = sqlBuf.toString();
889
890       logger.debug("INSERT: " + sql);
891       con = getPooledCon();
892       con.setAutoCommit(false);
893       pstmt = con.prepareStatement(sql);
894
895       if (streamedInput != null) {
896         for (int i = 0; i < streamedInput.size(); i++) {
897           String inputString =
898             (String) theEntity.getValue((String) streamedInput.get(i));
899           pstmt.setBytes(i + 1, inputString.getBytes());
900         }
901       }
902
903       int ret = pstmt.executeUpdate();
904
905       if (ret == 0) {
906         //insert failed
907         return null;
908       }
909
910       pstmt = con.prepareStatement("select currval('" + getCoreTable() + "_id_seq')");
911
912       ResultSet rs = pstmt.executeQuery();
913       rs.next();
914       returnId = rs.getString(1);
915       theEntity.setId(returnId);
916     }
917     catch (SQLException sqe) {
918       throwSQLException(sqe, "insert");
919     }
920     finally {
921       try {
922         con.setAutoCommit(true);
923       }
924       catch (Exception e) {
925       }
926
927       freeConnection(con, pstmt);
928     }
929
930     /** @todo store entity in o_store */
931     return returnId;
932   }
933
934   /**
935    * Updates an entity in the database
936    *
937    * @param theEntity
938    */
939   public void update(Entity theEntity) throws StorageObjectFailure {
940     Connection con = null;
941     PreparedStatement pstmt = null;
942
943     /** @todo this is stupid: why do we prepare statement, when we
944      *  throw it away afterwards. should be regular statement
945      *  update/insert could better be one routine called save()
946      *  that chooses to either insert or update depending if we
947      *  have a primary key in the entity. i don't know if we
948      *  still need the streamed input fields. // rk  */
949     /** @todo extension: check if Entity did change, otherwise we don't need
950      *  the roundtrip to the database */
951     /** invalidating corresponding entitylists in o_store*/
952     if (StoreUtil.implementsStorableObject(theEntityClass)) {
953       StoreContainerType stoc_type =
954         StoreContainerType.valueOf(theEntityClass,
955           StoreContainerType.STOC_TYPE_ENTITYLIST);
956       o_store.invalidate(stoc_type);
957     }
958
959     List streamedInput = theEntity.streamedInput();
960     String id = theEntity.getId();
961     String aField;
962     StringBuffer fv = new StringBuffer();
963     boolean firstField = true;
964
965     //cache
966     invalidatePopupCache();
967
968     // build sql statement
969     for (int i = 0; i < getFields().size(); i++) {
970       aField = (String) metadataFields.get(i);
971
972       // only normal cases
973       if (  !(aField.equals(thePKeyName) ||
974             aField.equals("webdb_create") ||
975             aField.equals("webdb_lastchange") ||
976             ((streamedInput != null) && streamedInput.contains(aField)))) {
977         if (theEntity.hasValueForField(aField)) {
978           if (firstField == false) {
979             fv.append(", ");
980           }
981           else {
982             firstField = false;
983           }
984
985           fv.append(aField).append("='").append(JDBCStringRoutines.escapeStringLiteral((String) theEntity.getValue(aField))).append("'");
986
987           //              fv.append(aField).append("='").append(StringUtil.quote((String)theEntity.getValue(aField))).append("'");
988         }
989       }
990     }
991
992     StringBuffer sql =
993       new StringBuffer("update ").append(theTable).append(" set ").append(fv);
994
995     // exceptions
996     if (metadataFields.contains("webdb_lastchange")) {
997       sql.append(",webdb_lastchange=NOW()");
998     }
999
1000     // special case: the webdb_create requires the field in yyyy-mm-dd HH:mm
1001     // format so anything extra will be ignored. -mh
1002     if (metadataFields.contains("webdb_create") &&
1003         theEntity.hasValueForField("webdb_create")) {
1004       // minimum of 10 (yyyy-mm-dd)...
1005       if (theEntity.getValue("webdb_create").length() >= 10) {
1006         String dateString = theEntity.getValue("webdb_create");
1007
1008         // if only 10, then add 00:00 so it doesn't throw a ParseException
1009         if (dateString.length() == 10) {
1010           dateString = dateString + " 00:00";
1011         }
1012
1013         // TimeStamp stuff
1014         try {
1015           java.util.Date d = userInputDateFormat.parse(dateString);
1016 //          Timestamp tStamp = new Timestamp(d.getTime());
1017           sql.append(",webdb_create='" + JDBCStringRoutines.formatDate(d) + "'");
1018         }
1019         catch (ParseException e) {
1020           throw new StorageObjectFailure(e);
1021         }
1022       }
1023     }
1024
1025     if (streamedInput != null) {
1026       for (int i = 0; i < streamedInput.size(); i++) {
1027         sql.append(",").append(streamedInput.get(i)).append("=?");
1028       }
1029     }
1030
1031     sql.append(" where id=").append(id);
1032     logger.debug("UPDATE: " + sql);
1033
1034     try {
1035       con = getPooledCon();
1036       con.setAutoCommit(false);
1037       pstmt = con.prepareStatement(sql.toString());
1038
1039       if (streamedInput != null) {
1040         for (int i = 0; i < streamedInput.size(); i++) {
1041           String inputString =
1042             theEntity.getValue((String) streamedInput.get(i));
1043           pstmt.setBytes(i + 1, inputString.getBytes());
1044         }
1045       }
1046
1047       pstmt.executeUpdate();
1048     }
1049     catch (SQLException sqe) {
1050       throwSQLException(sqe, "update");
1051     }
1052     finally {
1053       try {
1054         con.setAutoCommit(true);
1055       }
1056       catch (Exception e) {
1057         ;
1058       }
1059
1060       freeConnection(con, pstmt);
1061     }
1062   }
1063
1064   /*
1065   *   delete-Operator
1066   *   @param id des zu loeschenden Datensatzes
1067   *   @return boolean liefert true zurueck, wenn loeschen erfolgreich war.
1068    */
1069   public boolean delete(String id) throws StorageObjectFailure {
1070     invalidatePopupCache();
1071
1072     // ostore send notification
1073     if (StoreUtil.implementsStorableObject(theEntityClass)) {
1074       String uniqueId = id;
1075
1076       if (theEntityClass.equals(StorableObjectEntity.class)) {
1077         uniqueId += ("@" + theTable);
1078       }
1079
1080       logger.debug("CACHE: (del) " + id);
1081
1082       StoreIdentifier search_sid =
1083         new StoreIdentifier(theEntityClass,
1084           StoreContainerType.STOC_TYPE_ENTITY, uniqueId);
1085       o_store.invalidate(search_sid);
1086     }
1087
1088     /** @todo could be prepared Statement */
1089     Statement stmt = null;
1090     Connection con = null;
1091     int res = 0;
1092     String sql =
1093       "delete from " + theTable + " where " + thePKeyName + "='" + id + "'";
1094
1095     //theLog.printInfo("DELETE " + sql);
1096     try {
1097       con = getPooledCon();
1098       stmt = con.createStatement();
1099       res = stmt.executeUpdate(sql);
1100     } catch (SQLException sqe) {
1101       throwSQLException(sqe, "delete");
1102     } finally {
1103       freeConnection(con, stmt);
1104     }
1105
1106     return (res > 0) ? true : false;
1107   }
1108
1109   /**
1110    * Deletes entities based on a where clause
1111    *
1112    * @param aWhereClause
1113    * @return
1114    * @throws StorageObjectFailure
1115    */
1116   public int deleteByWhereClause(String aWhereClause) throws StorageObjectFailure {
1117     invalidatePopupCache();
1118     if (StoreUtil.implementsStorableObject(theEntityClass)) {
1119       StoreContainerType stoc_type = StoreContainerType.valueOf(theEntityClass, StoreContainerType.STOC_TYPE_ENTITYLIST);
1120       o_store.invalidate(stoc_type);
1121     }
1122
1123     Statement stmt = null;
1124     Connection con = null;
1125     int res = 0;
1126     String sql =
1127       "delete from " + theTable + " where " + aWhereClause;
1128
1129     //theLog.printInfo("DELETE " + sql);
1130     try {
1131       con = getPooledCon();
1132       stmt = con.createStatement();
1133       res = stmt.executeUpdate(sql);
1134     }
1135     catch (SQLException sqe) {
1136       throwSQLException(sqe, "delete");
1137     }
1138     finally {
1139       freeConnection(con, stmt);
1140     }
1141
1142     return res;
1143   }
1144
1145   /* noch nicht implementiert.
1146   * @return immer false
1147    */
1148   public boolean delete(EntityList theEntityList) {
1149     invalidatePopupCache();
1150
1151     return false;
1152   }
1153
1154   /* invalidates the popupCache
1155    */
1156   protected void invalidatePopupCache() {
1157     /** @todo  invalidates toooo much */
1158     popupCache = null;
1159     hashCache = null;
1160   }
1161
1162   /**
1163    * Diese Methode fuehrt den Sqlstring <i>sql</i> aus und timed im Logfile.
1164    * @param stmt Statemnt
1165    * @param sql Sql-String
1166    * @return ResultSet
1167    * @exception StorageObjectException
1168    */
1169   public ResultSet executeSql(Statement stmt, String sql)
1170                             throws StorageObjectFailure, SQLException {
1171     ResultSet rs;
1172     long startTime = System.currentTimeMillis();
1173
1174     try {
1175       rs = stmt.executeQuery(sql);
1176
1177       logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1178     }
1179     catch (SQLException e) {
1180       logger.error(e.getMessage() +"\n" + (System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1181       throw e;
1182     }
1183
1184     return rs;
1185   }
1186 /*
1187   public ResultSet executeSql(String sql) throws StorageObjectFailure, SQLException {
1188     long startTime = System.currentTimeMillis();
1189     Connection connection = null;
1190     Statement statement = null;
1191
1192     try {
1193       connection = getPooledCon();
1194       statement = connection.createStatement();
1195       ResultSet result;
1196
1197       result = statement.executeQuery(sql);
1198
1199       logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1200       return result;
1201     }
1202     catch (Throwable e) {
1203       logger.error(e.getMessage() +"\n" + (System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1204       throw new StorageObjectFailure(e);
1205     }
1206     finally {
1207       if (connection!=null) {
1208         freeConnection(connection, statement);
1209       }
1210     }
1211   }
1212 */
1213   private Map processRow(ResultSet aResultSet) throws StorageObjectFailure, StorageObjectExc {
1214     try {
1215       Map result = new HashMap();
1216       ResultSetMetaData metaData = aResultSet.getMetaData();
1217       int nrColumns = metaData.getColumnCount();
1218       for (int i=0; i<nrColumns; i++) {
1219         result.put(metaData.getColumnName(i+1), getValueAsString(aResultSet, i+1, metaData.getColumnType(i+1)));
1220       }
1221
1222       return result;
1223     }
1224     catch (Throwable e) {
1225       throw new StorageObjectFailure(e);
1226     }
1227   }
1228
1229   public List executeFreeSql(String sql, int aLimit) throws StorageObjectFailure, StorageObjectExc {
1230     Connection connection = null;
1231     Statement statement = null;
1232     try {
1233       List result = new Vector();
1234       connection = getPooledCon();
1235       statement = connection.createStatement();
1236       ResultSet resultset = executeSql(statement, sql);
1237       try {
1238         while (resultset.next() && result.size() < aLimit) {
1239           result.add(processRow(resultset));
1240         }
1241       }
1242       finally {
1243         resultset.close();
1244       }
1245
1246       return result;
1247     }
1248     catch (Throwable e) {
1249       throw new StorageObjectFailure(e);
1250     }
1251     finally {
1252       if (connection!=null) {
1253         freeConnection(connection, statement);
1254       }
1255     }
1256   };
1257
1258   public Map executeFreeSingleRowSql(String anSqlStatement) throws StorageObjectFailure, StorageObjectExc {
1259     try {
1260       List resultList = executeFreeSql(anSqlStatement, 1);
1261       try {
1262         if (resultList.size()>0)
1263           return (Map) resultList.get(0);
1264         else
1265           return null;
1266       }
1267       finally {
1268       }
1269     }
1270     catch (Throwable t) {
1271       throw new StorageObjectFailure(t);
1272     }
1273   };
1274
1275   public String executeFreeSingleValueSql(String sql) throws StorageObjectFailure, StorageObjectExc {
1276     Map row = executeFreeSingleRowSql(sql);
1277
1278     if (row==null)
1279       return null;
1280
1281     Iterator i = row.values().iterator();
1282     if (i.hasNext())
1283       return (String) i.next();
1284     else
1285       return null;
1286   };
1287
1288   /**
1289    * returns the number of rows in the table
1290    */
1291   public int getSize(String where) throws SQLException, StorageObjectFailure {
1292     long startTime = System.currentTimeMillis();
1293     String sql = "SELECT Count(*) FROM " + theTable;
1294
1295     if ((where != null) && (where.length() != 0)) {
1296       sql = sql + " where " + where;
1297     }
1298
1299     Connection con = null;
1300     Statement stmt = null;
1301     int result = 0;
1302
1303     try {
1304       con = getPooledCon();
1305       stmt = con.createStatement();
1306
1307       ResultSet rs = executeSql(stmt, sql);
1308
1309       while (rs.next()) {
1310         result = rs.getInt(1);
1311       }
1312     }
1313     catch (SQLException e) {
1314       logger.error("Database.getSize: " + e.getMessage());
1315     }
1316     finally {
1317       freeConnection(con, stmt);
1318     }
1319
1320     //theLog.printInfo(theTable + " has "+ result +" rows where " + where);
1321     logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1322
1323     return result;
1324   }
1325
1326   public int executeUpdate(Statement stmt, String sql)
1327     throws StorageObjectFailure, SQLException {
1328     int rs;
1329     long startTime = System.currentTimeMillis();
1330
1331     try {
1332       rs = stmt.executeUpdate(sql);
1333
1334       logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1335     }
1336     catch (SQLException e) {
1337       logger.error("Failed: " + (System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1338       throw e;
1339     }
1340
1341     return rs;
1342   }
1343
1344   public int executeUpdate(String sql)
1345     throws StorageObjectFailure, SQLException {
1346     int result = -1;
1347     long startTime = System.currentTimeMillis();
1348     Connection con = null;
1349     PreparedStatement pstmt = null;
1350
1351     try {
1352       con = getPooledCon();
1353       pstmt = con.prepareStatement(sql);
1354       result = pstmt.executeUpdate();
1355     }
1356     catch (Throwable e) {
1357       logger.error("Database.executeUpdate(" + sql + "): " + e.getMessage());
1358       throw new StorageObjectFailure("Database.executeUpdate(" + sql + "): " + e.getMessage(), e);
1359     }
1360     finally {
1361       freeConnection(con, pstmt);
1362     }
1363
1364     logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1365     return result;
1366   }
1367
1368   /**
1369    * Wertet ResultSetMetaData aus und setzt interne Daten entsprechend
1370    * @param md ResultSetMetaData
1371    * @exception StorageObjectException
1372    */
1373   private void evalMetaData(ResultSetMetaData md) throws StorageObjectFailure {
1374     this.evaluatedMetaData = true;
1375     this.metadataFields = new ArrayList();
1376     this.metadataLabels = new ArrayList();
1377     this.metadataNotNullFields = new ArrayList();
1378
1379     try {
1380       int numFields = md.getColumnCount();
1381       this.metadataTypes = new int[numFields];
1382
1383       String aField;
1384       int aType;
1385
1386       for (int i = 1; i <= numFields; i++) {
1387         aField = md.getColumnName(i);
1388         metadataFields.add(aField);
1389         metadataLabels.add(md.getColumnLabel(i));
1390         aType = md.getColumnType(i);
1391         metadataTypes[i - 1] = aType;
1392
1393         if (aField.equals(thePKeyName)) {
1394           thePKeyType = aType;
1395           thePKeyIndex = i;
1396         }
1397
1398         if (md.isNullable(i) == ResultSetMetaData.columnNullable) {
1399           metadataNotNullFields.add(aField);
1400         }
1401       }
1402     }
1403     catch (SQLException e) {
1404       throwSQLException(e, "evalMetaData");
1405     }
1406   }
1407
1408   /**
1409    *  Wertet die Metadaten eines Resultsets fuer eine Tabelle aus,
1410    *  um die alle Columns und Typen einer Tabelle zu ermitteln.
1411    */
1412   private void get_meta_data() throws StorageObjectFailure {
1413     Connection con = null;
1414     PreparedStatement pstmt = null;
1415     String sql = "select * from " + theTable + " where 0=1";
1416
1417     try {
1418       con = getPooledCon();
1419       pstmt = con.prepareStatement(sql);
1420
1421       logger.debug("METADATA: " + sql);
1422       ResultSet rs = pstmt.executeQuery();
1423       evalMetaData(rs.getMetaData());
1424       rs.close();
1425     }
1426     catch (SQLException e) {
1427       throwSQLException(e, "get_meta_data");
1428     }
1429     finally {
1430       freeConnection(con, pstmt);
1431     }
1432   }
1433
1434   public Connection getPooledCon() throws StorageObjectFailure {
1435     Connection con = null;
1436
1437     try {
1438       con = SQLManager.getInstance().requestConnection();
1439     }
1440     catch (SQLException e) {
1441       logger.error("could not connect to the database " + e.getMessage());
1442
1443       throw new StorageObjectFailure("Could not connect to the database", e);
1444     }
1445
1446     return con;
1447   }
1448
1449   public void freeConnection(Connection con, Statement stmt)
1450     throws StorageObjectFailure {
1451     SQLManager.closeStatement(stmt);
1452     SQLManager.getInstance().returnConnection(con);
1453   }
1454
1455   /**
1456    * Wertet SQLException aus und wirft dannach eine StorageObjectException
1457    * @param sqe SQLException
1458    * @param wo Funktonsname, in der die SQLException geworfen wurde
1459    * @exception StorageObjectException
1460    */
1461   protected void throwSQLException(SQLException sqe, String aFunction) throws StorageObjectFailure {
1462     String state = "";
1463     String message = "";
1464     int vendor = 0;
1465
1466     if (sqe != null) {
1467       state = sqe.getSQLState();
1468       message = sqe.getMessage();
1469       vendor = sqe.getErrorCode();
1470     }
1471
1472     String information =
1473         "SQL Error: " +
1474         "state= " + state +
1475         ", vendor= " + vendor +
1476         ", message=" + message +
1477         ", function= " + aFunction;
1478
1479     logger.error(information);
1480
1481     throw new StorageObjectFailure(information, sqe);
1482   }
1483
1484   protected void _throwStorageObjectException(Exception e, String aFunction)
1485     throws StorageObjectFailure {
1486
1487     if (e != null) {
1488       logger.error(e.getMessage() + aFunction);
1489       throw new StorageObjectFailure(aFunction, e);
1490     }
1491   }
1492
1493   /**
1494    * Loggt Fehlermeldung mit dem Parameter Message und wirft dannach
1495    * eine StorageObjectException
1496    * @param message Nachricht mit dem Fehler
1497    * @exception StorageObjectException
1498    */
1499   void throwStorageObjectException(String aMessage) throws StorageObjectFailure {
1500     logger.error(aMessage);
1501     throw new StorageObjectFailure(aMessage, null);
1502   }
1503 }