Topic now Storable Entity, Database knows of empty extraTables
[mir.git] / source / mir / storage / Database.java
1 /*
2  * Copyright (C) 2001, 2002 The Mir-coders group
3  *
4  * This file is part of Mir.
5  *
6  * Mir is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; either version 2 of the License, or
9  * (at your option) any later version.
10  *
11  * Mir is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with Mir; if not, write to the Free Software
18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
19  *
20  * In addition, as a special exception, The Mir-coders gives permission to link
21  * the code of this program with  any library licensed under the Apache Software License,
22  * The Sun (tm) Java Advanced Imaging library (JAI), The Sun JIMI library
23  * (or with modified versions of the above that use the same license as the above),
24  * and distribute linked combinations including the two.  You must obey the
25  * GNU General Public License in all respects for all of the code used other than
26  * the above mentioned libraries.  If you modify this file, you may extend this
27  * exception to your version of the file, but you are not obligated to do so.
28  * If you do not wish to do so, delete this exception statement from your version.
29  */
30 package mir.storage;
31
32 import java.io.IOException;
33 import java.io.InputStreamReader;
34 import java.sql.Connection;
35 import java.sql.PreparedStatement;
36 import java.sql.ResultSet;
37 import java.sql.ResultSetMetaData;
38 import java.sql.SQLException;
39 import java.sql.Statement;
40 import java.sql.Timestamp;
41 import java.text.ParseException;
42 import java.text.SimpleDateFormat;
43 import java.util.ArrayList;
44 import java.util.Calendar;
45 import java.util.GregorianCalendar;
46 import java.util.HashMap;
47 import java.util.Iterator;
48 import java.util.List;
49 import java.util.Map;
50 import java.util.TimeZone;
51 import java.util.Vector;
52
53 import mir.config.MirPropertiesConfiguration;
54 import mir.config.MirPropertiesConfiguration.PropertiesConfigExc;
55 import mir.entity.Entity;
56 import mir.entity.EntityList;
57 import mir.entity.StorableObjectEntity;
58 import mir.log.LoggerWrapper;
59 import mir.misc.StringUtil;
60 import mir.storage.store.ObjectStore;
61 import mir.storage.store.StorableObject;
62 import mir.storage.store.StoreContainerType;
63 import mir.storage.store.StoreIdentifier;
64 import mir.storage.store.StoreUtil;
65 import mir.util.JDBCStringRoutines;
66
67 import com.codestudio.util.SQLManager;
68
69
70 /**
71  * Diese Klasse implementiert die Zugriffsschicht auf die Datenbank.
72  * Alle Projektspezifischen Datenbankklassen erben von dieser Klasse.
73  * In den Unterklassen wird im Minimalfall nur die Tabelle angegeben.
74  * Im Konfigurationsfile findet sich eine Verweis auf den verwendeten
75  * Treiber, Host, User und Passwort, ueber den der Zugriff auf die
76  * Datenbank erfolgt.
77  *
78  * @version $Id: Database.java,v 1.44.2.13 2003/11/25 00:19:39 rk Exp $
79  * @author rk
80  *
81  */
82 public class Database implements StorageObject {
83   private static Class GENERIC_ENTITY_CLASS = mir.entity.StorableObjectEntity.class;
84   private static Class STORABLE_OBJECT_ENTITY_CLASS = mir.entity.StorableObjectEntity.class;
85
86
87   private static Map POPUP_EMPTYLINE = new HashMap();
88   protected static final ObjectStore o_store = ObjectStore.getInstance();
89   private static final int _millisPerHour = 60 * 60 * 1000;
90   private static final int _millisPerMinute = 60 * 1000;
91
92   static {
93     // always same object saves a little space
94     POPUP_EMPTYLINE.put("key", "");
95     POPUP_EMPTYLINE.put("value", "--");
96   }
97
98   protected LoggerWrapper logger;
99   protected MirPropertiesConfiguration configuration;
100   protected String theTable;
101   protected String theCoreTable = null;
102   protected String thePKeyName = "id";
103   protected int thePKeyType;
104   protected int thePKeyIndex;
105   protected boolean evaluatedMetaData = false;
106   protected ArrayList metadataFields;
107   protected ArrayList metadataLabels;
108   protected ArrayList metadataNotNullFields;
109   protected int[] metadataTypes;
110   protected Class theEntityClass;
111   protected List popupCache = null;
112   protected boolean hasPopupCache = false;
113   protected Map hashCache = null;
114   protected boolean hasTimestamp = true;
115   private String database_driver;
116   private String database_url;
117   private int defaultLimit;
118
119   TimeZone timezone;
120   SimpleDateFormat internalDateFormat;
121   SimpleDateFormat userInputDateFormat;
122 /*
123   private SimpleDateFormat _dateFormatterOut;
124   private SimpleDateFormat _dateFormatterIn;
125   _dateFormatterOut = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
126   _dateFormatterIn = new SimpleDateFormat("yyyy-MM-dd HH:mm");
127 */
128
129   /**
130    * Kontruktor bekommt den Filenamen des Konfigurationsfiles ?bergeben.
131    * Aus diesem file werden <code>Database.Logfile</code>,
132    * <code>Database.Username</code>,<code>Database.Password</code>,
133    * <code>Database.Host</code> und <code>Database.Adaptor</code>
134    * ausgelesen und ein Broker f?r die Verbindugen zur Datenbank
135    * erzeugt.
136    *
137    * @param   String confFilename Dateiname der Konfigurationsdatei
138    */
139   public Database() throws StorageObjectFailure {
140     try {
141       configuration = MirPropertiesConfiguration.instance();
142     }
143     catch (PropertiesConfigExc e) {
144       throw new StorageObjectFailure(e);
145     }
146     logger = new LoggerWrapper("Database");
147     timezone = TimeZone.getTimeZone(configuration.getString("Mir.DefaultTimezone"));
148     internalDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
149     internalDateFormat.setTimeZone(timezone);
150
151     userInputDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm");
152     userInputDateFormat.setTimeZone(timezone);
153
154
155     String theAdaptorName = configuration.getString("Database.Adaptor");
156     defaultLimit = Integer.parseInt(configuration.getString("Database.Limit"));
157
158     try {
159       theEntityClass = GENERIC_ENTITY_CLASS;
160     }
161     catch (Throwable e) {
162       logger.error("Error in Database() constructor with " + theAdaptorName + " -- " + e.getMessage());
163       throw new StorageObjectFailure("Error in Database() constructor.", e);
164     }
165   }
166
167   /**
168    * Liefert die Entity-Klasse zur?ck, in der eine Datenbankzeile gewrappt
169    * wird. Wird die Entity-Klasse durch die erbende Klasse nicht ?berschrieben,
170    * wird eine mir.entity.GenericEntity erzeugt.
171    *
172    * @return Class-Objekt der Entity
173    */
174   public java.lang.Class getEntityClass() {
175     return theEntityClass;
176   }
177
178   /**
179    * Liefert die Standardbeschr?nkung von select-Statements zur?ck, also
180    * wieviel Datens?tze per Default selektiert werden.
181    *
182    * @return Standard-Anzahl der Datens?tze
183    */
184   public int getLimit() {
185     return defaultLimit;
186   }
187
188   /**
189    * Liefert den Namen des Primary-Keys zur?ck. Wird die Variable nicht von
190    * der erbenden Klasse ?berschrieben, so ist der Wert <code>PKEY</code>
191    * @return Name des Primary-Keys
192    */
193   public String getIdName() {
194     return thePKeyName;
195   }
196
197   /**
198    * Liefert den Namen der Tabelle, auf das sich das Datenbankobjekt bezieht.
199    *
200    * @return Name der Tabelle
201    */
202   public String getTableName() {
203     return theTable;
204   }
205
206   /*
207   *   Dient dazu vererbte Tabellen bei objectrelationalen DBMS
208   *   zu speichern, wenn die id einer Tabelle in der parenttabelle verwaltet
209   *   wird.
210   *   @return liefert theCoreTabel als String zurueck, wenn gesetzt, sonst
211   *    the Table
212    */
213   public String getCoreTable() {
214     if (theCoreTable != null) {
215       return theCoreTable;
216     }
217     else {
218       return theTable;
219     }
220   }
221
222   /**
223    * Liefert Feldtypen der Felder der Tabelle zurueck (s.a. java.sql.Types)
224    * @return int-Array mit den Typen der Felder
225    * @exception StorageObjectException
226    */
227   public int[] getTypes() throws StorageObjectFailure {
228     if (metadataTypes == null) {
229       get_meta_data();
230     }
231
232     return metadataTypes;
233   }
234
235   /**
236    * Liefert eine Liste der Labels der Tabellenfelder
237    * @return ArrayListe mit Labeln
238    * @exception StorageObjectException
239    */
240   public List getLabels() throws StorageObjectFailure {
241     if (metadataLabels == null) {
242       get_meta_data();
243     }
244
245     return metadataLabels;
246   }
247
248   /**
249    * Liefert eine Liste der Felder der Tabelle
250    * @return ArrayList mit Feldern
251    * @exception StorageObjectException
252    */
253   public List getFields() throws StorageObjectFailure {
254     if (metadataFields == null) {
255       get_meta_data();
256     }
257
258     return metadataFields;
259   }
260
261   /**
262    *   Gets value out of ResultSet according to type and converts to String
263    *   @param rs  ResultSet.
264    *   @param aType  a type from java.sql.Types.*
265    *   @param index  index in ResultSet
266    *   @return returns the value as String. If no conversion is possible
267    *                             /unsupported value/ is returned
268    */
269   private String getValueAsString(ResultSet rs, int valueIndex, int aType)
270     throws StorageObjectFailure {
271     String outValue = null;
272
273     if (rs != null) {
274       try {
275         switch (aType) {
276           case java.sql.Types.BIT:
277             outValue = (rs.getBoolean(valueIndex) == true) ? "1" : "0";
278
279             break;
280
281           case java.sql.Types.INTEGER:
282           case java.sql.Types.SMALLINT:
283           case java.sql.Types.TINYINT:
284           case java.sql.Types.BIGINT:
285
286             int out = rs.getInt(valueIndex);
287
288             if (!rs.wasNull()) {
289               outValue = new Integer(out).toString();
290             }
291
292             break;
293
294           case java.sql.Types.NUMERIC:
295
296             /** @todo Numeric can be float or double depending upon
297              *  metadata.getScale() / especially with oracle */
298             long outl = rs.getLong(valueIndex);
299
300             if (!rs.wasNull()) {
301               outValue = new Long(outl).toString();
302             }
303
304             break;
305
306           case java.sql.Types.REAL:
307
308             float tempf = rs.getFloat(valueIndex);
309
310             if (!rs.wasNull()) {
311               tempf *= 10;
312               tempf += 0.5;
313
314               int tempf_int = (int) tempf;
315               tempf = (float) tempf_int;
316               tempf /= 10;
317               outValue = "" + tempf;
318               outValue = outValue.replace('.', ',');
319             }
320
321             break;
322
323           case java.sql.Types.DOUBLE:
324
325             double tempd = rs.getDouble(valueIndex);
326
327             if (!rs.wasNull()) {
328               tempd *= 10;
329               tempd += 0.5;
330
331               int tempd_int = (int) tempd;
332               tempd = (double) tempd_int;
333               tempd /= 10;
334               outValue = "" + tempd;
335               outValue = outValue.replace('.', ',');
336             }
337
338             break;
339
340           case java.sql.Types.CHAR:
341           case java.sql.Types.VARCHAR:
342           case java.sql.Types.LONGVARCHAR:
343             outValue = rs.getString(valueIndex);
344
345             break;
346
347           case java.sql.Types.LONGVARBINARY:
348             outValue = rs.getString(valueIndex);
349
350             break;
351
352           case java.sql.Types.TIMESTAMP:
353
354             // it's important to use Timestamp here as getting it
355             // as a string is undefined and is only there for debugging
356             // according to the API. we can make it a string through formatting.
357             // -mh
358             Timestamp timestamp = (rs.getTimestamp(valueIndex));
359
360             if (!rs.wasNull()) {
361               java.util.Date date = new java.util.Date(timestamp.getTime());
362
363               Calendar calendar = new GregorianCalendar();
364               calendar.setTime(date);
365               calendar.setTimeZone(timezone);
366               outValue = internalDateFormat.format(date);
367
368               int offset = calendar.get(Calendar.ZONE_OFFSET) + calendar.get(Calendar.DST_OFFSET);
369               String tzOffset = StringUtil.zeroPaddingNumber(Math.abs(offset) / _millisPerHour, 2, 2);
370
371               if (offset<0)
372                 outValue = outValue + "-";
373               else
374                 outValue = outValue + "+";
375               outValue = outValue + tzOffset;
376             }
377
378             break;
379
380           default:
381             outValue = "<unsupported value>";
382             logger.warn("Unsupported Datatype: at " + valueIndex + " (" + aType + ")");
383         }
384       } catch (SQLException e) {
385         throw new StorageObjectFailure("Could not get Value out of Resultset -- ",
386           e);
387       }
388     }
389
390     return outValue;
391   }
392
393   /**
394    *   select-Operator um einen Datensatz zu bekommen.
395    *   @param id Primaerschluessel des Datensatzes.
396    *   @return liefert EntityObject des gefundenen Datensatzes oder null.
397    */
398   public Entity selectById(String id) throws StorageObjectExc {
399     if ((id == null) || id.equals("")) {
400       throw new StorageObjectExc("Database.selectById: Missing id");
401     }
402
403     // ask object store for object
404     if (StoreUtil.implementsStorableObject(theEntityClass)) {
405       String uniqueId = id;
406
407       if (theEntityClass.equals(StorableObjectEntity.class)) {
408         uniqueId += ("@" + theTable);
409       }
410
411       StoreIdentifier search_sid = new StoreIdentifier(theEntityClass, uniqueId);
412       logger.debug("CACHE: (dbg) looking for sid " + search_sid.toString());
413
414       Entity hit = (Entity) o_store.use(search_sid);
415
416       if (hit != null) {
417         return hit;
418       }
419     }
420
421     Statement stmt = null;
422     Connection con = getPooledCon();
423     Entity returnEntity = null;
424
425     try {
426       ResultSet rs;
427
428       /** @todo better prepared statement */
429       String selectSql =
430         "select * from " + theTable + " where " + thePKeyName + "=" + id;
431       stmt = con.createStatement();
432       rs = executeSql(stmt, selectSql);
433
434       if (rs != null) {
435         if (evaluatedMetaData == false) {
436           evalMetaData(rs.getMetaData());
437         }
438
439         if (rs.next()) {
440           returnEntity = makeEntityFromResultSet(rs);
441         }
442         else {
443           logger.debug("No data for id: " + id + " in table " + theTable);
444         }
445
446         rs.close();
447       }
448       else {
449         logger.debug("No Data for Id " + id + " in Table " + theTable);
450       }
451     }
452     catch (SQLException sqe) {
453       throwSQLException(sqe, "selectById");
454       return null;
455     }
456     catch (NumberFormatException e) {
457       logger.error("ID is no number: " + id);
458     }
459     finally {
460       freeConnection(con, stmt);
461     }
462
463     return returnEntity;
464   }
465
466   /**
467    * This method makes it possible to make selects across multiple tables
468    * 
469    * @param mainTablePrefix prefix for the mainTable
470    * @param extraTables a vector of tables for relational select
471    * @param aWhereClause whereClause
472    * @return EntityList of selected Objects
473    * @throws StorageObjectFailure
474    */
475
476   public EntityList selectByWhereClauseWithExtraTables(String mainTablePrefix, 
477                                                 List extraTables, String aWhereClause )
478    throws StorageObjectFailure {
479         return selectByWhereClause( mainTablePrefix, extraTables, aWhereClause, "", 0, -1);
480   }
481
482   /**
483    *   select-Operator um Datensaetze zu bekommen, die key = value erfuellen.
484    *   @param key  Datenbankfeld der Bedingung.
485    *   @param value  Wert die der key anehmen muss.
486    *   @return EntityList mit den gematchten Entities
487    */
488   public EntityList selectByFieldValue(String aField, String aValue) throws StorageObjectFailure {
489     return selectByFieldValue(aField, aValue, 0);
490   }
491
492   /**
493    *   select-Operator um Datensaetze zu bekommen, die key = value erfuellen.
494    *   @param key  Datenbankfeld der Bedingung.
495    *   @param value  Wert die der key anehmen muss.
496    *   @param offset  Gibt an ab welchem Datensatz angezeigt werden soll.
497    *   @return EntityList mit den gematchten Entities
498    */
499   public EntityList selectByFieldValue(String aField, String aValue, int offset) throws StorageObjectFailure {
500     return selectByWhereClause(aField + "=" + aValue, offset);
501   }
502
503   /**
504    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
505    * Also offset wird der erste Datensatz genommen.
506    *
507    * @param wc where-Clause
508    * @return EntityList mit den gematchten Entities
509    * @exception StorageObjectException
510    */
511   public EntityList selectByWhereClause(String where) throws StorageObjectFailure {
512     return selectByWhereClause(where, 0);
513   }
514
515   /**
516    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
517    * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
518    *
519    * @param wc where-Clause
520    * @param offset ab welchem Datensatz.
521    * @return EntityList mit den gematchten Entities
522    * @exception StorageObjectException
523    */
524   public EntityList selectByWhereClause(String whereClause, int offset) throws StorageObjectFailure {
525     return selectByWhereClause(whereClause, null, offset);
526   }
527
528   /**
529    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
530    * Also offset wird der erste Datensatz genommen.
531    * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
532    *
533    * @param wc where-Clause
534    * @param ob orderBy-Clause
535    * @return EntityList mit den gematchten Entities
536    * @exception StorageObjectException
537    */
538   public EntityList selectByWhereClause(String where, String order) throws StorageObjectFailure {
539     return selectByWhereClause(where, order, 0);
540   }
541
542   /**
543    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
544    * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
545    *
546    * @param wc where-Clause
547    * @param ob orderBy-Clause
548    * @param offset ab welchem Datensatz
549    * @return EntityList mit den gematchten Entities
550    * @exception StorageObjectException
551    */
552   public EntityList selectByWhereClause(String whereClause, String orderBy, int offset) throws StorageObjectFailure {
553     return selectByWhereClause(whereClause, orderBy, offset, defaultLimit);
554   }
555
556   /**
557    * select-Operator returns EntityList with matching rows in Database.
558    * @param aWhereClause where-Clause
559    * @param anOrderByClause orderBy-Clause
560    * @param offset ab welchem Datensatz
561    * @param limit wieviele Datens?tze
562    * @return EntityList mit den gematchten Entities
563    * @exception StorageObjectException
564    */
565   public EntityList selectByWhereClause(String aWhereClause, String anOrderByClause,
566             int offset, int limit) throws StorageObjectFailure {
567     return selectByWhereClause("", null, aWhereClause, anOrderByClause, offset, limit);              
568   }
569
570   /**
571    * select-Operator returns EntityList with matching rows in Database.
572    * @param aWhereClause where-Clause
573    * @param anOrderByClause orderBy-Clause
574    * @param offset ab welchem Datensatz
575    * @param limit wieviele Datens?tze
576    * @return EntityList mit den gematchten Entities
577    * @exception StorageObjectException
578    */
579   public EntityList selectByWhereClause(String mainTablePrefix, List extraTables,
580       String aWhereClause, String anOrderByClause,
581                         int offset, int limit) throws StorageObjectFailure {
582     
583     // make extraTables null, if single empty String in it
584     if (extraTables != null && ((String)extraTables.get(0)).trim().equals(""))
585       {
586         logger.debug("+++ made extraTables to null!");
587         extraTables=null;
588       }
589     
590     String useTable = theTable;
591     String selectStar = "*";
592     if (mainTablePrefix!=null && mainTablePrefix.trim().length()>0) {
593       useTable+=" "+mainTablePrefix;
594       selectStar=mainTablePrefix.trim() + ".*";
595     }
596     
597     // check o_store for entitylist
598     // only if no relational select
599     if (extraTables==null) {
600       if (StoreUtil.implementsStorableObject(theEntityClass)) {
601         StoreIdentifier search_sid =
602             new StoreIdentifier(
603               theEntityClass, StoreContainerType.STOC_TYPE_ENTITYLIST,
604               StoreUtil.getEntityListUniqueIdentifierFor(useTable, aWhereClause, anOrderByClause, offset, limit));
605         EntityList hit = (EntityList) o_store.use(search_sid);
606   
607         if (hit != null) {
608           logger.debug("CACHE (hit): " + search_sid.toString());
609   
610           return hit;
611         }
612       }
613     }
614
615     // local
616     EntityList theReturnList = null;
617     Connection con = null;
618     Statement stmt = null;
619     ResultSet rs;
620     int offsetCount = 0;
621     int count = 0;
622
623     // build sql-statement
624
625     if ((aWhereClause != null) && (aWhereClause.trim().length() == 0)) {
626       aWhereClause = null;
627     }
628
629     StringBuffer countSql =
630       new StringBuffer("select count(*) from ").append(useTable);
631     StringBuffer selectSql =
632       new StringBuffer("select "+selectStar+" from ").append(useTable);
633  
634     // append extratables, if necessary
635     if (extraTables!=null) {
636       for (int i=0;i < extraTables.size();i++) {
637         if (!extraTables.get(i).equals("")) {        
638           countSql.append( ", " + extraTables.get(i));
639           selectSql.append( ", " + extraTables.get(i));
640         }
641       }
642     }
643     
644     if (aWhereClause != null) {
645       selectSql.append(" where ").append(aWhereClause);
646       countSql.append(" where ").append(aWhereClause);
647     }
648
649     if ((anOrderByClause != null) && !(anOrderByClause.trim().length() == 0)) {
650       selectSql.append(" order by ").append(anOrderByClause);
651     }
652
653     if ((limit > -1) && (offset > -1)) {
654       selectSql.append(" LIMIT ").append(limit).append(" OFFSET ").append(offset);
655     }
656
657     // execute sql
658     try {
659       con = getPooledCon();
660       stmt = con.createStatement();
661
662       // selecting...
663       rs = executeSql(stmt, selectSql.toString());
664
665       if (rs != null) {
666         if (!evaluatedMetaData) {
667           evalMetaData(rs.getMetaData());
668         }
669
670         theReturnList = new EntityList();
671         Entity theResultEntity;
672         while (rs.next()) {
673           theResultEntity = makeEntityFromResultSet(rs);
674           theReturnList.add(theResultEntity);
675           offsetCount++;
676         }
677         rs.close();
678       }
679
680       // making entitylist infos
681       count = offsetCount;
682
683       if (theReturnList != null) {
684         // now we decide if we have to know an overall count...
685         count = offsetCount;
686
687         if ((limit > -1) && (offset > -1)) {
688           if (offsetCount == limit) {
689             rs = executeSql(stmt, countSql.toString());
690
691             if (rs != null) {
692               if (rs.next()) {
693                 count = rs.getInt(1);
694               }
695
696               rs.close();
697             }
698             else {
699               logger.error("Could not count: " + countSql);
700             }
701           }
702         }
703
704         theReturnList.setCount(count);
705         theReturnList.setOffset(offset);
706         theReturnList.setWhere(aWhereClause);
707         theReturnList.setOrder(anOrderByClause);
708         theReturnList.setStorage(this);
709         theReturnList.setLimit(limit);
710
711         if (offset >= limit) {
712           theReturnList.setPrevBatch(offset - limit);
713         }
714
715         if ((offset + offsetCount) < count) {
716           theReturnList.setNextBatch(offset + limit);
717         }
718
719         if (extraTables==null && StoreUtil.implementsStorableObject(theEntityClass)) {
720           StoreIdentifier sid = theReturnList.getStoreIdentifier();
721           logger.debug("CACHE (add): " + sid.toString());
722           o_store.add(sid);
723         }
724       }
725     }
726     catch (SQLException sqe) {
727       throwSQLException(sqe, "selectByWhereClause");
728     }
729     finally {
730       try {
731         if (con != null) {
732           freeConnection(con, stmt);
733         }
734       } catch (Throwable t) {
735       }
736     }
737
738     return theReturnList;
739   }
740
741   /**
742    *  Bastelt aus einer Zeile der Datenbank ein EntityObjekt.
743    *
744    *  @param rs Das ResultSetObjekt.
745    *  @return Entity Die Entity.
746    */
747   private Entity makeEntityFromResultSet(ResultSet rs)
748     throws StorageObjectFailure {
749     /** @todo OS: get Pkey from ResultSet and consult ObjectStore */
750     Map theResultHash = new HashMap();
751     String theResult = null;
752     int theType;
753     Entity returnEntity = null;
754
755     try {
756       int size = metadataFields.size();
757
758       for (int i = 0; i < size; i++) {
759         // alle durchlaufen bis nix mehr da
760         theType = metadataTypes[i];
761
762         if (theType == java.sql.Types.LONGVARBINARY) {
763           InputStreamReader is =
764             (InputStreamReader) rs.getCharacterStream(i + 1);
765
766           if (is != null) {
767             char[] data = new char[32768];
768             StringBuffer theResultString = new StringBuffer();
769             int len;
770
771             while ((len = is.read(data)) > 0) {
772               theResultString.append(data, 0, len);
773             }
774
775             is.close();
776             theResult = theResultString.toString();
777           } else {
778             theResult = null;
779           }
780         } else {
781           theResult = getValueAsString(rs, (i + 1), theType);
782         }
783
784         if (theResult != null) {
785           theResultHash.put(metadataFields.get(i), theResult);
786         }
787       }
788
789       if (theEntityClass != null) {
790         returnEntity = (Entity) theEntityClass.newInstance();
791         returnEntity.setStorage(this);
792         returnEntity.setValues(theResultHash);
793
794         if (returnEntity instanceof StorableObject) {
795           logger.debug("CACHE: ( in) " + returnEntity.getId() + " :" + theTable);
796           o_store.add(((StorableObject) returnEntity).getStoreIdentifier());
797         }
798       } else {
799         throwStorageObjectException("Internal Error: theEntityClass not set!");
800       }
801     }
802     catch (IllegalAccessException e) {
803       throwStorageObjectException("No access! -- " + e.getMessage());
804     }
805     catch (IOException e) {
806       throwStorageObjectException("IOException! -- " + e.getMessage());
807     }
808     catch (InstantiationException e) {
809       throwStorageObjectException("No Instatiation! -- " + e.getMessage());
810     }
811     catch (SQLException sqe) {
812       throwSQLException(sqe, "makeEntityFromResultSet");
813
814       return null;
815     }
816
817     return returnEntity;
818   }
819
820   /**
821    * Inserts an entity into the database.
822    *
823    * @param theEntity
824    * @return der Wert des Primary-keys der eingef?gten Entity
825    */
826   public String insert(Entity theEntity) throws StorageObjectFailure {
827     //cache
828     invalidatePopupCache();
829
830     // invalidating all EntityLists corresponding with theEntityClass
831     if (StoreUtil.implementsStorableObject(theEntityClass)) {
832       StoreContainerType stoc_type =
833         StoreContainerType.valueOf(theEntityClass,
834           StoreContainerType.STOC_TYPE_ENTITYLIST);
835       o_store.invalidate(stoc_type);
836     }
837
838     String returnId = null;
839     Connection con = null;
840     PreparedStatement pstmt = null;
841
842     try {
843       List streamedInput = theEntity.streamedInput();
844       StringBuffer f = new StringBuffer();
845       StringBuffer v = new StringBuffer();
846       String aField;
847       String aValue;
848       boolean firstField = true;
849
850       // make sql-string
851       for (int i = 0; i < getFields().size(); i++) {
852         aField = (String) getFields().get(i);
853
854         if (!aField.equals(thePKeyName)) {
855           aValue = null;
856
857           // exceptions
858           if (!theEntity.hasValueForField(aField) && (
859               aField.equals("webdb_create") ||
860               aField.equals("webdb_lastchange"))) {
861             aValue = "NOW()";
862           }
863           else {
864             if ((streamedInput != null) && streamedInput.contains(aField)) {
865               aValue = "?";
866             }
867             else {
868               if (theEntity.hasValueForField(aField)) {
869                 aValue =
870                   "'" +
871                    JDBCStringRoutines.escapeStringLiteral((String) theEntity.getValue(aField)) + "'";
872               }
873             }
874           }
875
876           // wenn Wert gegeben, dann einbauen
877           if (aValue != null) {
878             if (firstField == false) {
879               f.append(",");
880               v.append(",");
881             }
882             else {
883               firstField = false;
884             }
885
886             f.append(aField);
887             v.append(aValue);
888           }
889         }
890       }
891        // end for
892
893       // insert into db
894       StringBuffer sqlBuf =
895         new StringBuffer("insert into ").append(theTable).append("(").append(f)
896                                         .append(") values (").append(v).append(")");
897       String sql = sqlBuf.toString();
898
899       logger.debug("INSERT: " + sql);
900       con = getPooledCon();
901       con.setAutoCommit(false);
902       pstmt = con.prepareStatement(sql);
903
904       if (streamedInput != null) {
905         for (int i = 0; i < streamedInput.size(); i++) {
906           String inputString =
907             (String) theEntity.getValue((String) streamedInput.get(i));
908           pstmt.setBytes(i + 1, inputString.getBytes());
909         }
910       }
911
912       int ret = pstmt.executeUpdate();
913
914       if (ret == 0) {
915         //insert failed
916         return null;
917       }
918
919       pstmt = con.prepareStatement("select currval('" + getCoreTable() + "_id_seq')");
920
921       ResultSet rs = pstmt.executeQuery();
922       rs.next();
923       returnId = rs.getString(1);
924       theEntity.setId(returnId);
925     }
926     catch (SQLException sqe) {
927       throwSQLException(sqe, "insert");
928     }
929     finally {
930       try {
931         con.setAutoCommit(true);
932       }
933       catch (Exception e) {
934       }
935
936       freeConnection(con, pstmt);
937     }
938
939     /** @todo store entity in o_store */
940     return returnId;
941   }
942
943   /**
944    * Updates an entity in the database
945    *
946    * @param theEntity
947    */
948   public void update(Entity theEntity) throws StorageObjectFailure {
949     Connection con = null;
950     PreparedStatement pstmt = null;
951
952     /** @todo this is stupid: why do we prepare statement, when we
953      *  throw it away afterwards. should be regular statement
954      *  update/insert could better be one routine called save()
955      *  that chooses to either insert or update depending if we
956      *  have a primary key in the entity. i don't know if we
957      *  still need the streamed input fields. // rk  */
958     /** @todo extension: check if Entity did change, otherwise we don't need
959      *  the roundtrip to the database */
960     /** invalidating corresponding entitylists in o_store*/
961     if (StoreUtil.implementsStorableObject(theEntityClass)) {
962       StoreContainerType stoc_type =
963         StoreContainerType.valueOf(theEntityClass,
964           StoreContainerType.STOC_TYPE_ENTITYLIST);
965       o_store.invalidate(stoc_type);
966     }
967
968     List streamedInput = theEntity.streamedInput();
969     String id = theEntity.getId();
970     String aField;
971     StringBuffer fv = new StringBuffer();
972     boolean firstField = true;
973
974     //cache
975     invalidatePopupCache();
976
977     // build sql statement
978     for (int i = 0; i < getFields().size(); i++) {
979       aField = (String) metadataFields.get(i);
980
981       // only normal cases
982       if (  !(aField.equals(thePKeyName) ||
983             aField.equals("webdb_create") ||
984             aField.equals("webdb_lastchange") ||
985             ((streamedInput != null) && streamedInput.contains(aField)))) {
986         if (theEntity.hasValueForField(aField)) {
987           if (firstField == false) {
988             fv.append(", ");
989           }
990           else {
991             firstField = false;
992           }
993
994           fv.append(aField).append("='").append(JDBCStringRoutines.escapeStringLiteral((String) theEntity.getValue(aField))).append("'");
995
996           //              fv.append(aField).append("='").append(StringUtil.quote((String)theEntity.getValue(aField))).append("'");
997         }
998       }
999     }
1000
1001     StringBuffer sql =
1002       new StringBuffer("update ").append(theTable).append(" set ").append(fv);
1003
1004     // exceptions
1005     if (metadataFields.contains("webdb_lastchange")) {
1006       sql.append(",webdb_lastchange=NOW()");
1007     }
1008
1009     // special case: the webdb_create requires the field in yyyy-mm-dd HH:mm
1010     // format so anything extra will be ignored. -mh
1011     if (metadataFields.contains("webdb_create") &&
1012         theEntity.hasValueForField("webdb_create")) {
1013       // minimum of 10 (yyyy-mm-dd)...
1014       if (theEntity.getValue("webdb_create").length() >= 10) {
1015         String dateString = theEntity.getValue("webdb_create");
1016
1017         // if only 10, then add 00:00 so it doesn't throw a ParseException
1018         if (dateString.length() == 10) {
1019           dateString = dateString + " 00:00";
1020         }
1021
1022         // TimeStamp stuff
1023         try {
1024           java.util.Date d = userInputDateFormat.parse(dateString);
1025 //          Timestamp tStamp = new Timestamp(d.getTime());
1026           sql.append(",webdb_create='" + JDBCStringRoutines.formatDate(d) + "'");
1027         }
1028         catch (ParseException e) {
1029           throw new StorageObjectFailure(e);
1030         }
1031       }
1032     }
1033
1034     if (streamedInput != null) {
1035       for (int i = 0; i < streamedInput.size(); i++) {
1036         sql.append(",").append(streamedInput.get(i)).append("=?");
1037       }
1038     }
1039
1040     sql.append(" where id=").append(id);
1041     logger.debug("UPDATE: " + sql);
1042
1043     try {
1044       con = getPooledCon();
1045       con.setAutoCommit(false);
1046       pstmt = con.prepareStatement(sql.toString());
1047
1048       if (streamedInput != null) {
1049         for (int i = 0; i < streamedInput.size(); i++) {
1050           String inputString =
1051             theEntity.getValue((String) streamedInput.get(i));
1052           pstmt.setBytes(i + 1, inputString.getBytes());
1053         }
1054       }
1055
1056       pstmt.executeUpdate();
1057     }
1058     catch (SQLException sqe) {
1059       throwSQLException(sqe, "update");
1060     }
1061     finally {
1062       try {
1063         con.setAutoCommit(true);
1064       }
1065       catch (Exception e) {
1066         ;
1067       }
1068
1069       freeConnection(con, pstmt);
1070     }
1071   }
1072
1073   /*
1074   *   delete-Operator
1075   *   @param id des zu loeschenden Datensatzes
1076   *   @return boolean liefert true zurueck, wenn loeschen erfolgreich war.
1077    */
1078   public boolean delete(String id) throws StorageObjectFailure {
1079     invalidatePopupCache();
1080
1081     // ostore send notification
1082     if (StoreUtil.implementsStorableObject(theEntityClass)) {
1083       String uniqueId = id;
1084
1085       if (theEntityClass.equals(StorableObjectEntity.class)) {
1086         uniqueId += ("@" + theTable);
1087       }
1088
1089       logger.debug("CACHE: (del) " + id);
1090
1091       StoreIdentifier search_sid =
1092         new StoreIdentifier(theEntityClass,
1093           StoreContainerType.STOC_TYPE_ENTITY, uniqueId);
1094       o_store.invalidate(search_sid);
1095     }
1096
1097     /** @todo could be prepared Statement */
1098     Statement stmt = null;
1099     Connection con = null;
1100     int res = 0;
1101     String sql =
1102       "delete from " + theTable + " where " + thePKeyName + "='" + id + "'";
1103
1104     //theLog.printInfo("DELETE " + sql);
1105     try {
1106       con = getPooledCon();
1107       stmt = con.createStatement();
1108       res = stmt.executeUpdate(sql);
1109     } catch (SQLException sqe) {
1110       throwSQLException(sqe, "delete");
1111     } finally {
1112       freeConnection(con, stmt);
1113     }
1114
1115     return (res > 0) ? true : false;
1116   }
1117
1118   /**
1119    * Deletes entities based on a where clause
1120    *
1121    * @param aWhereClause
1122    * @return
1123    * @throws StorageObjectFailure
1124    */
1125   public int deleteByWhereClause(String aWhereClause) throws StorageObjectFailure {
1126     invalidatePopupCache();
1127     if (StoreUtil.implementsStorableObject(theEntityClass)) {
1128       StoreContainerType stoc_type = StoreContainerType.valueOf(theEntityClass, StoreContainerType.STOC_TYPE_ENTITYLIST);
1129       o_store.invalidate(stoc_type);
1130     }
1131
1132     Statement stmt = null;
1133     Connection con = null;
1134     int res = 0;
1135     String sql =
1136       "delete from " + theTable + " where " + aWhereClause;
1137
1138     //theLog.printInfo("DELETE " + sql);
1139     try {
1140       con = getPooledCon();
1141       stmt = con.createStatement();
1142       res = stmt.executeUpdate(sql);
1143     }
1144     catch (SQLException sqe) {
1145       throwSQLException(sqe, "delete");
1146     }
1147     finally {
1148       freeConnection(con, stmt);
1149     }
1150
1151     return res;
1152   }
1153
1154   /* noch nicht implementiert.
1155   * @return immer false
1156    */
1157   public boolean delete(EntityList theEntityList) {
1158     invalidatePopupCache();
1159
1160     return false;
1161   }
1162
1163   /* invalidates the popupCache
1164    */
1165   protected void invalidatePopupCache() {
1166     /** @todo  invalidates toooo much */
1167     popupCache = null;
1168     hashCache = null;
1169   }
1170
1171   /**
1172    * Diese Methode fuehrt den Sqlstring <i>sql</i> aus und timed im Logfile.
1173    * @param stmt Statemnt
1174    * @param sql Sql-String
1175    * @return ResultSet
1176    * @exception StorageObjectException
1177    */
1178   public ResultSet executeSql(Statement stmt, String sql)
1179                             throws StorageObjectFailure, SQLException {
1180     ResultSet rs;
1181     long startTime = System.currentTimeMillis();
1182
1183     try {
1184       rs = stmt.executeQuery(sql);
1185
1186       logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1187     }
1188     catch (SQLException e) {
1189       logger.error(e.getMessage() +"\n" + (System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1190       throw e;
1191     }
1192
1193     return rs;
1194   }
1195 /*
1196   public ResultSet executeSql(String sql) throws StorageObjectFailure, SQLException {
1197     long startTime = System.currentTimeMillis();
1198     Connection connection = null;
1199     Statement statement = null;
1200
1201     try {
1202       connection = getPooledCon();
1203       statement = connection.createStatement();
1204       ResultSet result;
1205
1206       result = statement.executeQuery(sql);
1207
1208       logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1209       return result;
1210     }
1211     catch (Throwable e) {
1212       logger.error(e.getMessage() +"\n" + (System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1213       throw new StorageObjectFailure(e);
1214     }
1215     finally {
1216       if (connection!=null) {
1217         freeConnection(connection, statement);
1218       }
1219     }
1220   }
1221 */
1222   private Map processRow(ResultSet aResultSet) throws StorageObjectFailure, StorageObjectExc {
1223     try {
1224       Map result = new HashMap();
1225       ResultSetMetaData metaData = aResultSet.getMetaData();
1226       int nrColumns = metaData.getColumnCount();
1227       for (int i=0; i<nrColumns; i++) {
1228         result.put(metaData.getColumnName(i+1), getValueAsString(aResultSet, i+1, metaData.getColumnType(i+1)));
1229       }
1230
1231       return result;
1232     }
1233     catch (Throwable e) {
1234       throw new StorageObjectFailure(e);
1235     }
1236   }
1237
1238   public List executeFreeSql(String sql, int aLimit) throws StorageObjectFailure, StorageObjectExc {
1239     Connection connection = null;
1240     Statement statement = null;
1241     try {
1242       List result = new Vector();
1243       connection = getPooledCon();
1244       statement = connection.createStatement();
1245       ResultSet resultset = executeSql(statement, sql);
1246       try {
1247         while (resultset.next() && result.size() < aLimit) {
1248           result.add(processRow(resultset));
1249         }
1250       }
1251       finally {
1252         resultset.close();
1253       }
1254
1255       return result;
1256     }
1257     catch (Throwable e) {
1258       throw new StorageObjectFailure(e);
1259     }
1260     finally {
1261       if (connection!=null) {
1262         freeConnection(connection, statement);
1263       }
1264     }
1265   };
1266
1267   public Map executeFreeSingleRowSql(String anSqlStatement) throws StorageObjectFailure, StorageObjectExc {
1268     try {
1269       List resultList = executeFreeSql(anSqlStatement, 1);
1270       try {
1271         if (resultList.size()>0)
1272           return (Map) resultList.get(0);
1273         else
1274           return null;
1275       }
1276       finally {
1277       }
1278     }
1279     catch (Throwable t) {
1280       throw new StorageObjectFailure(t);
1281     }
1282   };
1283
1284   public String executeFreeSingleValueSql(String sql) throws StorageObjectFailure, StorageObjectExc {
1285     Map row = executeFreeSingleRowSql(sql);
1286
1287     if (row==null)
1288       return null;
1289
1290     Iterator i = row.values().iterator();
1291     if (i.hasNext())
1292       return (String) i.next();
1293     else
1294       return null;
1295   };
1296
1297   /**
1298    * returns the number of rows in the table
1299    */
1300   public int getSize(String where) throws SQLException, StorageObjectFailure {
1301     long startTime = System.currentTimeMillis();
1302     String sql = "SELECT Count(*) FROM " + theTable;
1303
1304     if ((where != null) && (where.length() != 0)) {
1305       sql = sql + " where " + where;
1306     }
1307
1308     Connection con = null;
1309     Statement stmt = null;
1310     int result = 0;
1311
1312     try {
1313       con = getPooledCon();
1314       stmt = con.createStatement();
1315
1316       ResultSet rs = executeSql(stmt, sql);
1317
1318       while (rs.next()) {
1319         result = rs.getInt(1);
1320       }
1321     }
1322     catch (SQLException e) {
1323       logger.error("Database.getSize: " + e.getMessage());
1324     }
1325     finally {
1326       freeConnection(con, stmt);
1327     }
1328
1329     //theLog.printInfo(theTable + " has "+ result +" rows where " + where);
1330     logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1331
1332     return result;
1333   }
1334
1335   public int executeUpdate(Statement stmt, String sql)
1336     throws StorageObjectFailure, SQLException {
1337     int rs;
1338     long startTime = System.currentTimeMillis();
1339
1340     try {
1341       rs = stmt.executeUpdate(sql);
1342
1343       logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1344     }
1345     catch (SQLException e) {
1346       logger.error("Failed: " + (System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1347       throw e;
1348     }
1349
1350     return rs;
1351   }
1352
1353   public int executeUpdate(String sql)
1354     throws StorageObjectFailure, SQLException {
1355     int result = -1;
1356     long startTime = System.currentTimeMillis();
1357     Connection con = null;
1358     PreparedStatement pstmt = null;
1359
1360     try {
1361       con = getPooledCon();
1362       pstmt = con.prepareStatement(sql);
1363       result = pstmt.executeUpdate();
1364     }
1365     catch (Throwable e) {
1366       logger.error("Database.executeUpdate(" + sql + "): " + e.getMessage());
1367       throw new StorageObjectFailure("Database.executeUpdate(" + sql + "): " + e.getMessage(), e);
1368     }
1369     finally {
1370       freeConnection(con, pstmt);
1371     }
1372
1373     logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
1374     return result;
1375   }
1376
1377   /**
1378    * Wertet ResultSetMetaData aus und setzt interne Daten entsprechend
1379    * @param md ResultSetMetaData
1380    * @exception StorageObjectException
1381    */
1382   private void evalMetaData(ResultSetMetaData md) throws StorageObjectFailure {
1383     this.evaluatedMetaData = true;
1384     this.metadataFields = new ArrayList();
1385     this.metadataLabels = new ArrayList();
1386     this.metadataNotNullFields = new ArrayList();
1387
1388     try {
1389       int numFields = md.getColumnCount();
1390       this.metadataTypes = new int[numFields];
1391
1392       String aField;
1393       int aType;
1394
1395       for (int i = 1; i <= numFields; i++) {
1396         aField = md.getColumnName(i);
1397         metadataFields.add(aField);
1398         metadataLabels.add(md.getColumnLabel(i));
1399         aType = md.getColumnType(i);
1400         metadataTypes[i - 1] = aType;
1401
1402         if (aField.equals(thePKeyName)) {
1403           thePKeyType = aType;
1404           thePKeyIndex = i;
1405         }
1406
1407         if (md.isNullable(i) == ResultSetMetaData.columnNullable) {
1408           metadataNotNullFields.add(aField);
1409         }
1410       }
1411     }
1412     catch (SQLException e) {
1413       throwSQLException(e, "evalMetaData");
1414     }
1415   }
1416
1417   /**
1418    *  Wertet die Metadaten eines Resultsets fuer eine Tabelle aus,
1419    *  um die alle Columns und Typen einer Tabelle zu ermitteln.
1420    */
1421   private void get_meta_data() throws StorageObjectFailure {
1422     Connection con = null;
1423     PreparedStatement pstmt = null;
1424     String sql = "select * from " + theTable + " where 0=1";
1425
1426     try {
1427       con = getPooledCon();
1428       pstmt = con.prepareStatement(sql);
1429
1430       logger.debug("METADATA: " + sql);
1431       ResultSet rs = pstmt.executeQuery();
1432       evalMetaData(rs.getMetaData());
1433       rs.close();
1434     }
1435     catch (SQLException e) {
1436       throwSQLException(e, "get_meta_data");
1437     }
1438     finally {
1439       freeConnection(con, pstmt);
1440     }
1441   }
1442
1443   public Connection getPooledCon() throws StorageObjectFailure {
1444     Connection con = null;
1445
1446     try {
1447       con = SQLManager.getInstance().requestConnection();
1448     }
1449     catch (SQLException e) {
1450       logger.error("could not connect to the database " + e.getMessage());
1451
1452       throw new StorageObjectFailure("Could not connect to the database", e);
1453     }
1454
1455     return con;
1456   }
1457
1458   public void freeConnection(Connection con, Statement stmt)
1459     throws StorageObjectFailure {
1460     SQLManager.closeStatement(stmt);
1461     SQLManager.getInstance().returnConnection(con);
1462   }
1463
1464   /**
1465    * Wertet SQLException aus und wirft dannach eine StorageObjectException
1466    * @param sqe SQLException
1467    * @param wo Funktonsname, in der die SQLException geworfen wurde
1468    * @exception StorageObjectException
1469    */
1470   protected void throwSQLException(SQLException sqe, String aFunction) throws StorageObjectFailure {
1471     String state = "";
1472     String message = "";
1473     int vendor = 0;
1474
1475     if (sqe != null) {
1476       state = sqe.getSQLState();
1477       message = sqe.getMessage();
1478       vendor = sqe.getErrorCode();
1479     }
1480
1481     String information =
1482         "SQL Error: " +
1483         "state= " + state +
1484         ", vendor= " + vendor +
1485         ", message=" + message +
1486         ", function= " + aFunction;
1487
1488     logger.error(information);
1489
1490     throw new StorageObjectFailure(information, sqe);
1491   }
1492
1493   protected void _throwStorageObjectException(Exception e, String aFunction)
1494     throws StorageObjectFailure {
1495
1496     if (e != null) {
1497       logger.error(e.getMessage() + aFunction);
1498       throw new StorageObjectFailure(aFunction, e);
1499     }
1500   }
1501
1502   /**
1503    * Loggt Fehlermeldung mit dem Parameter Message und wirft dannach
1504    * eine StorageObjectException
1505    * @param message Nachricht mit dem Fehler
1506    * @exception StorageObjectException
1507    */
1508   void throwStorageObjectException(String aMessage) throws StorageObjectFailure {
1509     logger.error(aMessage);
1510     throw new StorageObjectFailure(aMessage, null);
1511   }
1512 }