rebuilding head
[mir.git] / source / mir / storage / Database.java
index 2774c11..5317cea 100755 (executable)
@@ -1,5 +1,5 @@
 /*
- * Copyright (C) 2001, 2002  The Mir-coders group
+ * Copyright (C) 2001, 2002 The Mir-coders group
  *
  * This file is part of Mir.
  *
  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  *
  * In addition, as a special exception, The Mir-coders gives permission to link
- * the code of this program with the com.oreilly.servlet library, any library
- * licensed under the Apache Software License, The Sun (tm) Java Advanced
- * Imaging library (JAI), The Sun JIMI library (or with modified versions of
- * the above that use the same license as the above), and distribute linked
- * combinations including the two.  You must obey the GNU General Public
- * License in all respects for all of the code used other than the above
- * mentioned libraries.  If you modify this file, you may extend this exception
- * to your version of the file, but you are not obligated to do so.  If you do
- * not wish to do so, delete this exception statement from your version.
+ * the code of this program with  any library licensed under the Apache Software License,
+ * The Sun (tm) Java Advanced Imaging library (JAI), The Sun JIMI library
+ * (or with modified versions of the above that use the same license as the above),
+ * and distribute linked combinations including the two.  You must obey the
+ * GNU General Public License in all respects for all of the code used other than
+ * the above mentioned libraries.  If you modify this file, you may extend this
+ * exception to your version of the file, but you are not obligated to do so.
+ * If you do not wish to do so, delete this exception statement from your version.
  */
 package mir.storage;
 
-import java.io.IOException;
-import java.io.InputStreamReader;
-import java.sql.Connection;
-import java.sql.PreparedStatement;
-import java.sql.ResultSet;
-import java.sql.ResultSetMetaData;
-import java.sql.SQLException;
-import java.sql.Statement;
-import java.sql.Timestamp;
-import java.text.ParseException;
-import java.text.SimpleDateFormat;
-import java.util.ArrayList;
-import java.util.Calendar;
-import java.util.GregorianCalendar;
-import java.util.HashMap;
-import java.util.List;
-import java.util.Map;
-
 import mir.config.MirPropertiesConfiguration;
-import mir.config.MirPropertiesConfiguration.PropertiesConfigExc;
 import mir.entity.Entity;
 import mir.entity.EntityList;
 import mir.entity.StorableObjectEntity;
 import mir.log.LoggerWrapper;
-import mir.misc.HTMLTemplateProcessor;
 import mir.misc.StringUtil;
-import mir.storage.store.ObjectStore;
-import mir.storage.store.StorableObject;
-import mir.storage.store.StoreContainerType;
-import mir.storage.store.StoreIdentifier;
-import mir.storage.store.StoreUtil;
+import mir.storage.store.*;
 import mir.util.JDBCStringRoutines;
+import mircoders.global.MirGlobal;
 
-import com.codestudio.util.SQLManager;
-
-import freemarker.template.SimpleHash;
-import freemarker.template.SimpleList;
-
+import java.io.ByteArrayInputStream;
+import java.io.IOException;
+import java.io.InputStream;
+import java.io.InputStreamReader;
+import java.sql.*;
+import java.text.ParseException;
+import java.text.SimpleDateFormat;
+import java.util.*;
 
 /**
- * Diese Klasse implementiert die Zugriffsschicht auf die Datenbank.
- * Alle Projektspezifischen Datenbankklassen erben von dieser Klasse.
- * In den Unterklassen wird im Minimalfall nur die Tabelle angegeben.
- * Im Konfigurationsfile findet sich eine Verweis auf den verwendeten
- * Treiber, Host, User und Passwort, ueber den der Zugriff auf die
- * Datenbank erfolgt.
+ * Implements database access.
  *
- * @version $Id: Database.java,v 1.38 2003/04/16 03:26:45 zapata Exp $
  * @author rk
  *
  */
 public class Database implements StorageObject {
   private static Class GENERIC_ENTITY_CLASS = mir.entity.StorableObjectEntity.class;
-  private static Class STORABLE_OBJECT_ENTITY_CLASS = mir.entity.StorableObjectEntity.class;
-
-
-  private static SimpleHash POPUP_EMPTYLINE = new SimpleHash();
   protected static final ObjectStore o_store = ObjectStore.getInstance();
   private static final int _millisPerHour = 60 * 60 * 1000;
-  private static final int _millisPerMinute = 60 * 1000;
-
-  static {
-    // always same object saves a little space
-    POPUP_EMPTYLINE.put("key", "");
-    POPUP_EMPTYLINE.put("value", "--");
-  }
 
   protected LoggerWrapper logger;
+
   protected MirPropertiesConfiguration configuration;
-  protected String theTable;
-  protected String theCoreTable = null;
-  protected String thePKeyName = "id";
-  protected int thePKeyType;
-  protected int thePKeyIndex;
+  protected String mainTable;
+  protected String primaryKeySequence = null;
+  protected String primaryKeyField = "id";
+
   protected boolean evaluatedMetaData = false;
   protected ArrayList metadataFields;
   protected ArrayList metadataLabels;
   protected ArrayList metadataNotNullFields;
   protected int[] metadataTypes;
   protected Class theEntityClass;
-  protected StorageObject myselfDatabase;
-  protected SimpleList popupCache = null;
-  protected boolean hasPopupCache = false;
-  protected SimpleHash hashCache = null;
   protected boolean hasTimestamp = true;
-  private String database_driver;
-  private String database_url;
   private int defaultLimit;
-  protected DatabaseAdaptor theAdaptor;
-  private SimpleDateFormat _dateFormatterOut =
-    new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
-  private SimpleDateFormat _dateFormatterIn =
-    new SimpleDateFormat("yyyy-MM-dd HH:mm");
-  private Calendar _cal = new GregorianCalendar();
+
+  TimeZone timezone;
+  SimpleDateFormat internalDateFormat;
+  SimpleDateFormat userInputDateFormat;
 
   /**
    * Kontruktor bekommt den Filenamen des Konfigurationsfiles ?bergeben.
@@ -132,24 +86,22 @@ public class Database implements StorageObject {
    * <code>Database.Host</code> und <code>Database.Adaptor</code>
    * ausgelesen und ein Broker f?r die Verbindugen zur Datenbank
    * erzeugt.
-   *
-   * @param   String confFilename Dateiname der Konfigurationsdatei
    */
   public Database() throws StorageObjectFailure {
-    try {
-      configuration = MirPropertiesConfiguration.instance();
-    }
-    catch (PropertiesConfigExc e) {
-      throw new StorageObjectFailure(e);
-    }
+    configuration = MirPropertiesConfiguration.instance();
     logger = new LoggerWrapper("Database");
+    timezone = TimeZone.getTimeZone(configuration.getString("Mir.DefaultTimezone"));
+    internalDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
+    internalDateFormat.setTimeZone(timezone);
+
+    userInputDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm");
+    userInputDateFormat.setTimeZone(timezone);
 
     String theAdaptorName = configuration.getString("Database.Adaptor");
     defaultLimit = Integer.parseInt(configuration.getString("Database.Limit"));
 
     try {
       theEntityClass = GENERIC_ENTITY_CLASS;
-      theAdaptor = (DatabaseAdaptor) Class.forName(theAdaptorName).newInstance();
     }
     catch (Throwable e) {
       logger.error("Error in Database() constructor with " + theAdaptorName + " -- " + e.getMessage());
@@ -184,7 +136,7 @@ public class Database implements StorageObject {
    * @return Name des Primary-Keys
    */
   public String getIdName() {
-    return thePKeyName;
+    return primaryKeyField;
   }
 
   /**
@@ -193,54 +145,26 @@ public class Database implements StorageObject {
    * @return Name der Tabelle
    */
   public String getTableName() {
-    return theTable;
-  }
-
-  /*
-  *   Dient dazu vererbte Tabellen bei objectrelationalen DBMS
-  *   zu speichern, wenn die id einer Tabelle in der parenttabelle verwaltet
-  *   wird.
-  *   @return liefert theCoreTabel als String zurueck, wenn gesetzt, sonst
-  *    the Table
-   */
-  public String getCoreTable() {
-    if (theCoreTable != null) {
-      return theCoreTable;
-    } else {
-      return theTable;
-    }
+    return mainTable;
   }
 
   /**
-   * Liefert Feldtypen der Felder der Tabelle zurueck (s.a. java.sql.Types)
-   * @return int-Array mit den Typen der Felder
-   * @exception StorageObjectException
+   * Returns the id that was most recently added to the database
    */
-  public int[] getTypes() throws StorageObjectFailure {
-    if (metadataTypes == null) {
-      get_meta_data();
-    }
+  private String getLatestInsertedId(Connection aConnection) throws SQLException {
+    if (primaryKeySequence==null)
+      primaryKeySequence = mainTable+"_id_seq";
 
-    return metadataTypes;
-  }
+    PreparedStatement statement = aConnection.prepareStatement("select currval('" + primaryKeySequence + "')");
 
-  /**
-   * Liefert eine Liste der Labels der Tabellenfelder
-   * @return ArrayListe mit Labeln
-   * @exception StorageObjectException
-   */
-  public List getLabels() throws StorageObjectFailure {
-    if (metadataLabels == null) {
-      get_meta_data();
-    }
-
-    return metadataLabels;
+    ResultSet rs = statement.executeQuery();
+    rs.next();
+    return rs.getString(1);
   }
 
   /**
    * Liefert eine Liste der Felder der Tabelle
    * @return ArrayList mit Feldern
-   * @exception StorageObjectException
    */
   public List getFields() throws StorageObjectFailure {
     if (metadataFields == null) {
@@ -250,12 +174,13 @@ public class Database implements StorageObject {
     return metadataFields;
   }
 
-  /*
-  *   Gets value out of ResultSet according to type and converts to String
-  *   @param inValue  Wert aus ResultSet.
-  *   @param aType  Datenbanktyp.
-  *   @return liefert den Wert als String zurueck. Wenn keine Umwandlung moeglich
-  *           dann /unsupported value/
+  /**
+   *   Gets value out of ResultSet according to type and converts to String
+   *   @param rs  ResultSet.
+   *   @param aType  a type from java.sql.Types.*
+   *   @param valueIndex  index in ResultSet
+   *   @return returns the value as String. If no conversion is possible
+   *                            /unsupported value/ is returned
    */
   private String getValueAsString(ResultSet rs, int valueIndex, int aType)
     throws StorageObjectFailure {
@@ -264,107 +189,113 @@ public class Database implements StorageObject {
     if (rs != null) {
       try {
         switch (aType) {
-        case java.sql.Types.BIT:
-          outValue = (rs.getBoolean(valueIndex) == true) ? "1" : "0";
+          case java.sql.Types.BIT:
+            outValue = (rs.getBoolean(valueIndex) == true) ? "1" : "0";
 
-          break;
+            break;
 
-        case java.sql.Types.INTEGER:
-        case java.sql.Types.SMALLINT:
-        case java.sql.Types.TINYINT:
-        case java.sql.Types.BIGINT:
+          case java.sql.Types.INTEGER:
+          case java.sql.Types.SMALLINT:
+          case java.sql.Types.TINYINT:
+          case java.sql.Types.BIGINT:
 
-          int out = rs.getInt(valueIndex);
+            int out = rs.getInt(valueIndex);
 
-          if (!rs.wasNull()) {
-            outValue = new Integer(out).toString();
-          }
+            if (!rs.wasNull()) {
+              outValue = new Integer(out).toString();
+            }
 
-          break;
+            break;
 
-        case java.sql.Types.NUMERIC:
+          case java.sql.Types.NUMERIC:
 
-          /** @todo Numeric can be float or double depending upon
-           *  metadata.getScale() / especially with oracle */
-          long outl = rs.getLong(valueIndex);
+            /** todo Numeric can be float or double depending upon
+             *  metadata.getScale() / especially with oracle */
+            long outl = rs.getLong(valueIndex);
 
-          if (!rs.wasNull()) {
-            outValue = new Long(outl).toString();
-          }
+            if (!rs.wasNull()) {
+              outValue = new Long(outl).toString();
+            }
 
-          break;
+            break;
 
-        case java.sql.Types.REAL:
+          case java.sql.Types.REAL:
 
-          float tempf = rs.getFloat(valueIndex);
+            float tempf = rs.getFloat(valueIndex);
 
-          if (!rs.wasNull()) {
-            tempf *= 10;
-            tempf += 0.5;
+            if (!rs.wasNull()) {
+              tempf *= 10;
+              tempf += 0.5;
 
-            int tempf_int = (int) tempf;
-            tempf = (float) tempf_int;
-            tempf /= 10;
-            outValue = "" + tempf;
-            outValue = outValue.replace('.', ',');
-          }
+              int tempf_int = (int) tempf;
+              tempf = (float) tempf_int;
+              tempf /= 10;
+              outValue = "" + tempf;
+              outValue = outValue.replace('.', ',');
+            }
 
-          break;
+            break;
 
-        case java.sql.Types.DOUBLE:
+          case java.sql.Types.DOUBLE:
 
-          double tempd = rs.getDouble(valueIndex);
+            double tempd = rs.getDouble(valueIndex);
 
-          if (!rs.wasNull()) {
-            tempd *= 10;
-            tempd += 0.5;
+            if (!rs.wasNull()) {
+              tempd *= 10;
+              tempd += 0.5;
 
-            int tempd_int = (int) tempd;
-            tempd = (double) tempd_int;
-            tempd /= 10;
-            outValue = "" + tempd;
-            outValue = outValue.replace('.', ',');
-          }
+              int tempd_int = (int) tempd;
+              tempd = (double) tempd_int;
+              tempd /= 10;
+              outValue = "" + tempd;
+              outValue = outValue.replace('.', ',');
+            }
 
-          break;
+            break;
 
-        case java.sql.Types.CHAR:
-        case java.sql.Types.VARCHAR:
-        case java.sql.Types.LONGVARCHAR:
-          outValue = rs.getString(valueIndex);
+          case java.sql.Types.CHAR:
+          case java.sql.Types.VARCHAR:
+          case java.sql.Types.LONGVARCHAR:
+            outValue = rs.getString(valueIndex);
 
-          break;
+            break;
 
-        case java.sql.Types.LONGVARBINARY:
-          outValue = rs.getString(valueIndex);
+          case java.sql.Types.LONGVARBINARY:
+            outValue = rs.getString(valueIndex);
 
-          break;
+            break;
 
-        case java.sql.Types.TIMESTAMP:
+          case java.sql.Types.TIMESTAMP:
 
-          // it's important to use Timestamp here as getting it
-          // as a string is undefined and is only there for debugging
-          // according to the API. we can make it a string through formatting.
-          // -mh
-          Timestamp timestamp = (rs.getTimestamp(valueIndex));
+            // it's important to use Timestamp here as getting it
+            // as a string is undefined and is only there for debugging
+            // according to the API. we can make it a string through formatting.
+            // -mh
+            Timestamp timestamp = (rs.getTimestamp(valueIndex));
 
-          if (!rs.wasNull()) {
-            java.util.Date date = new java.util.Date(timestamp.getTime());
-            outValue = _dateFormatterOut.format(date);
-            _cal.setTime(date);
+            if (!rs.wasNull()) {
+              java.util.Date date = new java.util.Date(timestamp.getTime());
 
-            int offset =
-              _cal.get(Calendar.ZONE_OFFSET) + _cal.get(Calendar.DST_OFFSET);
-            String tzOffset =
-              StringUtil.zeroPaddingNumber(offset / _millisPerHour, 2, 2);
-            outValue = outValue + "+" + tzOffset;
-          }
+              Calendar calendar = new GregorianCalendar();
+              calendar.setTime(date);
+              calendar.setTimeZone(timezone);
+              outValue = internalDateFormat.format(date);
 
-          break;
+              int offset = calendar.get(Calendar.ZONE_OFFSET) + calendar.get(Calendar.DST_OFFSET);
+              String tzOffset = StringUtil.zeroPaddingNumber(Math.abs(offset) / _millisPerHour, 2, 2);
 
-        default:
-          outValue = "<unsupported value>";
-          logger.warn( "Unsupported Datatype: at " + valueIndex + " (" + aType + ")");
+              if (offset<0)
+                outValue = outValue + "-";
+              else
+                outValue = outValue + "+";
+              outValue = outValue + tzOffset;
+            }
+
+            break;
+
+          default:
+            outValue = "<unsupported value>";
+            logger.warn("Unsupported Datatype: at " + valueIndex + " (" + aType + ")");
         }
       } catch (SQLException e) {
         throw new StorageObjectFailure("Could not get Value out of Resultset -- ",
@@ -375,10 +306,10 @@ public class Database implements StorageObject {
     return outValue;
   }
 
-  /*
-  *   select-Operator um einen Datensatz zu bekommen.
-  *   @param id Primaerschluessel des Datensatzes.
-  *   @return liefert EntityObject des gefundenen Datensatzes oder null.
+  /**
+   *   select-Operator um einen Datensatz zu bekommen.
+   *   @param id Primaerschluessel des Datensatzes.
+   *   @return liefert EntityObject des gefundenen Datensatzes oder null.
    */
   public Entity selectById(String id) throws StorageObjectExc {
     if ((id == null) || id.equals("")) {
@@ -386,11 +317,11 @@ public class Database implements StorageObject {
     }
 
     // ask object store for object
-    if (StoreUtil.implementsStorableObject(theEntityClass)) {
+    if (StoreUtil.extendsStorableEntity(theEntityClass)) {
       String uniqueId = id;
 
       if (theEntityClass.equals(StorableObjectEntity.class)) {
-        uniqueId += ("@" + theTable);
+        uniqueId += ("@" + mainTable);
       }
 
       StoreIdentifier search_sid = new StoreIdentifier(theEntityClass, uniqueId);
@@ -404,15 +335,15 @@ public class Database implements StorageObject {
     }
 
     Statement stmt = null;
-    Connection con = getPooledCon();
+    Connection con = obtainConnection();
     Entity returnEntity = null;
 
     try {
       ResultSet rs;
 
-      /** @todo better prepared statement */
+      /** todo better prepared statement */
       String selectSql =
-        "select * from " + theTable + " where " + thePKeyName + "=" + id;
+        "select * from " + mainTable + " where " + primaryKeyField + "=" + id;
       stmt = con.createStatement();
       rs = executeSql(stmt, selectSql);
 
@@ -425,13 +356,13 @@ public class Database implements StorageObject {
           returnEntity = makeEntityFromResultSet(rs);
         }
         else {
-          logger.debug("No data for id: " + id + " in table " + theTable);
+          logger.warn("No data for id: " + id + " in table " + mainTable);
         }
 
         rs.close();
       }
       else {
-        logger.debug("No Data for Id " + id + " in Table " + theTable);
+        logger.warn("No Data for Id " + id + " in Table " + mainTable);
       }
     }
     catch (SQLException sqe) {
@@ -449,36 +380,38 @@ public class Database implements StorageObject {
   }
 
   /**
-   *   select-Operator um Datensaetze zu bekommen, die key = value erfuellen.
-   *   @param key  Datenbankfeld der Bedingung.
-   *   @param value  Wert die der key anehmen muss.
-   *   @return EntityList mit den gematchten Entities
+   * This method makes it possible to make selects across multiple tables
+   *
+   * @param mainTablePrefix prefix for the mainTable
+   * @param extraTables a vector of tables for relational select
+   * @param aWhereClause whereClause
+   * @return EntityList of selected Objects
+   * @throws StorageObjectFailure
    */
+
+  public EntityList selectByWhereClauseWithExtraTables(String mainTablePrefix,
+                                               List extraTables, String aWhereClause )
+   throws StorageObjectFailure {
+       return selectByWhereClause( mainTablePrefix, extraTables, aWhereClause, "", 0, defaultLimit);
+  }
+
   public EntityList selectByFieldValue(String aField, String aValue) throws StorageObjectFailure {
     return selectByFieldValue(aField, aValue, 0);
   }
 
-  /**
-   *   select-Operator um Datensaetze zu bekommen, die key = value erfuellen.
-   *   @param key  Datenbankfeld der Bedingung.
-   *   @param value  Wert die der key anehmen muss.
-   *   @param offset  Gibt an ab welchem Datensatz angezeigt werden soll.
-   *   @return EntityList mit den gematchten Entities
-   */
   public EntityList selectByFieldValue(String aField, String aValue, int offset) throws StorageObjectFailure {
-    return selectByWhereClause(aField + "=" + aValue, offset);
+    return selectByWhereClause(aField + "='" + JDBCStringRoutines.escapeStringLiteral(aValue)+"'", offset);
   }
 
   /**
    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
    * Also offset wird der erste Datensatz genommen.
    *
-   * @param wc where-Clause
+   * @param where where-Clause
    * @return EntityList mit den gematchten Entities
-   * @exception StorageObjectException
+   * @exception StorageObjectFailure
    */
-  public EntityList selectByWhereClause(String where)
-    throws StorageObjectFailure {
+  public EntityList selectByWhereClause(String where) throws StorageObjectFailure {
     return selectByWhereClause(where, 0);
   }
 
@@ -486,13 +419,12 @@ public class Database implements StorageObject {
    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
    * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
    *
-   * @param wc where-Clause
+   * @param whereClause where-Clause
    * @param offset ab welchem Datensatz.
    * @return EntityList mit den gematchten Entities
-   * @exception StorageObjectException
+   * @exception StorageObjectFailure
    */
-  public EntityList selectByWhereClause(String whereClause, int offset)
-    throws StorageObjectFailure {
+  public EntityList selectByWhereClause(String whereClause, int offset) throws StorageObjectFailure {
     return selectByWhereClause(whereClause, null, offset);
   }
 
@@ -501,55 +433,90 @@ public class Database implements StorageObject {
    * Also offset wird der erste Datensatz genommen.
    * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
    *
-   * @param wc where-Clause
-   * @param ob orderBy-Clause
+   * @param where where-Clause
+   * @param order orderBy-Clause
    * @return EntityList mit den gematchten Entities
-   * @exception StorageObjectException
+   * @exception StorageObjectFailure
    */
-  public EntityList selectByWhereClause(String where, String order)
-    throws StorageObjectFailure {
+  public EntityList selectByWhereClause(String where, String order) throws StorageObjectFailure {
     return selectByWhereClause(where, order, 0);
   }
 
+  public EntityList selectByWhereClause(String mainTablePrefix, List extraTables, String where, String order) throws StorageObjectFailure {
+    return selectByWhereClause(mainTablePrefix, extraTables, where, order, 0, defaultLimit);
+  }
+
   /**
    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
    * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
    *
-   * @param wc where-Clause
-   * @param ob orderBy-Clause
+   * @param whereClause where-Clause
+   * @param orderBy orderBy-Clause
    * @param offset ab welchem Datensatz
    * @return EntityList mit den gematchten Entities
-   * @exception StorageObjectException
+   * @exception StorageObjectFailure
    */
-  public EntityList selectByWhereClause(String whereClause, String orderBy,
-    int offset) throws StorageObjectFailure {
+  public EntityList selectByWhereClause(String whereClause, String orderBy, int offset) throws StorageObjectFailure {
     return selectByWhereClause(whereClause, orderBy, offset, defaultLimit);
   }
 
   /**
-   * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
-   * @param wc where-Clause
-   * @param ob orderBy-Clause
+   * select-Operator returns EntityList with matching rows in Database.
+   * @param aWhereClause where-Clause
+   * @param anOrderByClause orderBy-Clause
    * @param offset ab welchem Datensatz
    * @param limit wieviele Datens?tze
    * @return EntityList mit den gematchten Entities
-   * @exception StorageObjectException
+   * @exception StorageObjectFailure
    */
-  public EntityList selectByWhereClause(String wc, String ob, int offset,
-    int limit) throws StorageObjectFailure {
-    // check o_store for entitylist
-    if (StoreUtil.implementsStorableObject(theEntityClass)) {
-      StoreIdentifier search_sid =
-        new StoreIdentifier(theEntityClass,
-          StoreContainerType.STOC_TYPE_ENTITYLIST,
-          StoreUtil.getEntityListUniqueIdentifierFor(theTable, wc, ob, offset,
-            limit));
-      EntityList hit = (EntityList) o_store.use(search_sid);
+  public EntityList selectByWhereClause(String aWhereClause, String anOrderByClause,
+            int offset, int limit) throws StorageObjectFailure {
+    return selectByWhereClause("", null, aWhereClause, anOrderByClause, offset, limit);
+  }
 
-      if (hit != null) {
-        logger.debug("CACHE (hit): " + search_sid.toString());
 
-        return hit;
+  /**
+   * select-Operator returns EntityList with matching rows in Database.
+   * @param aWhereClause where-Clause
+   * @param anOrderByClause orderBy-Clause
+   * @param offset ab welchem Datensatz
+   * @param limit wieviele Datens?tze
+   * @return EntityList mit den gematchten Entities
+   * @exception StorageObjectFailure
+   */
+  public EntityList selectByWhereClause(String mainTablePrefix, List extraTables,
+      String aWhereClause, String anOrderByClause,
+                       int offset, int limit) throws StorageObjectFailure {
+
+    // TODO get rid of emtpy Strings in extraTables
+    // make extraTables null, if single empty String in it
+    // cause StringUtil.splitString puts in emptyString
+    if (extraTables != null && ((String)extraTables.get(0)).trim().equals(""))
+      {
+        logger.debug("+++ made extraTables to null!");
+        extraTables=null;
+      }
+
+      String useTable = mainTable;
+          String selectStar = "*";
+          if (mainTablePrefix!=null && mainTablePrefix.trim().length()>0) {
+            useTable+=" "+mainTablePrefix;
+            selectStar=mainTablePrefix.trim() + ".*";
+          }
+
+    // check o_store for entitylist
+    // only if no relational select
+    if (extraTables==null) {
+      if (StoreUtil.extendsStorableEntity(theEntityClass)) {
+         StoreIdentifier searchSid = new StoreIdentifier(theEntityClass,
+               StoreContainerType.STOC_TYPE_ENTITYLIST,
+               StoreUtil.getEntityListUniqueIdentifierFor(mainTable,
+                aWhereClause, anOrderByClause, offset, limit));
+         EntityList hit = (EntityList) o_store.use(searchSid);
+
+         if (hit != null) {
+            return hit;
+         }
       }
     }
 
@@ -563,35 +530,41 @@ public class Database implements StorageObject {
 
     // build sql-statement
 
-    /** @todo count sql string should only be assembled if we really count
-     *  see below at the end of method //rk */
-    if ((wc != null) && (wc.trim().length() == 0)) {
-      wc = null;
+    if ((aWhereClause != null) && (aWhereClause.trim().length() == 0)) {
+      aWhereClause = null;
     }
 
     StringBuffer countSql =
-      new StringBuffer("select count(*) from ").append(theTable);
+      new StringBuffer("select count(*) from ").append(useTable);
     StringBuffer selectSql =
-      new StringBuffer("select * from ").append(theTable);
+      new StringBuffer("select "+selectStar+" from ").append(useTable);
+
+    // append extratables, if necessary
+    if (extraTables!=null) {
+      for (int i=0;i < extraTables.size();i++) {
+        if (!extraTables.get(i).equals("")) {
+          countSql.append( ", " + extraTables.get(i));
+          selectSql.append( ", " + extraTables.get(i));
+        }
+      }
+    }
 
-    if (wc != null) {
-      selectSql.append(" where ").append(wc);
-      countSql.append(" where ").append(wc);
+    if (aWhereClause != null) {
+      selectSql.append(" where ").append(aWhereClause);
+      countSql.append(" where ").append(aWhereClause);
     }
 
-    if ((ob != null) && !(ob.trim().length() == 0)) {
-      selectSql.append(" order by ").append(ob);
+    if ((anOrderByClause != null) && !(anOrderByClause.trim().length() == 0)) {
+      selectSql.append(" order by ").append(anOrderByClause);
     }
 
-    if (theAdaptor.hasLimit()) {
-      if ((limit > -1) && (offset > -1)) {
-        selectSql.append(" LIMIT ").append(limit).append(" OFFSET ").append(offset);
-      }
+    if ((limit > -1) && (offset > -1)) {
+      selectSql.append(" LIMIT ").append(limit).append(" OFFSET ").append(offset);
     }
 
     // execute sql
     try {
-      con = getPooledCon();
+      con = obtainConnection();
       stmt = con.createStatement();
 
       // selecting...
@@ -603,22 +576,17 @@ public class Database implements StorageObject {
         }
 
         theReturnList = new EntityList();
-
         Entity theResultEntity;
-
         while (rs.next()) {
           theResultEntity = makeEntityFromResultSet(rs);
           theReturnList.add(theResultEntity);
           offsetCount++;
         }
-
         rs.close();
       }
 
       // making entitylist infos
-      if (!(theAdaptor.hasLimit())) {
-        count = offsetCount;
-      }
+      count = offsetCount;
 
       if (theReturnList != null) {
         // now we decide if we have to know an overall count...
@@ -626,8 +594,6 @@ public class Database implements StorageObject {
 
         if ((limit > -1) && (offset > -1)) {
           if (offsetCount == limit) {
-            /** @todo counting should be deffered to entitylist
-             *  getSize() should be used */
             rs = executeSql(stmt, countSql.toString());
 
             if (rs != null) {
@@ -645,8 +611,8 @@ public class Database implements StorageObject {
 
         theReturnList.setCount(count);
         theReturnList.setOffset(offset);
-        theReturnList.setWhere(wc);
-        theReturnList.setOrder(ob);
+        theReturnList.setWhere(aWhereClause);
+        theReturnList.setOrder(anOrderByClause);
         theReturnList.setStorage(this);
         theReturnList.setLimit(limit);
 
@@ -658,15 +624,17 @@ public class Database implements StorageObject {
           theReturnList.setNextBatch(offset + limit);
         }
 
-        if (StoreUtil.implementsStorableObject(theEntityClass)) {
+        if (extraTables==null && StoreUtil.extendsStorableEntity(theEntityClass)) {
           StoreIdentifier sid = theReturnList.getStoreIdentifier();
           logger.debug("CACHE (add): " + sid.toString());
           o_store.add(sid);
         }
       }
-    } catch (SQLException sqe) {
+    }
+    catch (SQLException sqe) {
       throwSQLException(sqe, "selectByWhereClause");
-    } finally {
+    }
+    finally {
       try {
         if (con != null) {
           freeConnection(con, stmt);
@@ -686,13 +654,20 @@ public class Database implements StorageObject {
    */
   private Entity makeEntityFromResultSet(ResultSet rs)
     throws StorageObjectFailure {
-    /** @todo OS: get Pkey from ResultSet and consult ObjectStore */
     Map theResultHash = new HashMap();
     String theResult = null;
     int theType;
     Entity returnEntity = null;
 
     try {
+      if (StoreUtil.extendsStorableEntity(theEntityClass)) {
+         StoreIdentifier searchSid = StorableObjectEntity.getStoreIdentifier(this,
+               theEntityClass, rs);
+         Entity hit = (Entity) o_store.use(searchSid);
+         if (hit != null) return hit;
+      }
+
+
       int size = metadataFields.size();
 
       for (int i = 0; i < size; i++) {
@@ -728,23 +703,27 @@ public class Database implements StorageObject {
 
       if (theEntityClass != null) {
         returnEntity = (Entity) theEntityClass.newInstance();
-        returnEntity.setValues(theResultHash);
-        returnEntity.setStorage(myselfDatabase);
+        returnEntity.setStorage(this);
+        returnEntity.setFieldValues(theResultHash);
 
         if (returnEntity instanceof StorableObject) {
-          logger.debug("CACHE: ( in) " + returnEntity.getId() + " :" + theTable);
+          logger.debug("CACHE: ( in) " + returnEntity.getId() + " :" + mainTable);
           o_store.add(((StorableObject) returnEntity).getStoreIdentifier());
         }
       } else {
         throwStorageObjectException("Internal Error: theEntityClass not set!");
       }
-    } catch (IllegalAccessException e) {
+    }
+    catch (IllegalAccessException e) {
       throwStorageObjectException("No access! -- " + e.getMessage());
-    } catch (IOException e) {
+    }
+    catch (IOException e) {
       throwStorageObjectException("IOException! -- " + e.getMessage());
-    } catch (InstantiationException e) {
+    }
+    catch (InstantiationException e) {
       throwStorageObjectException("No Instatiation! -- " + e.getMessage());
-    } catch (SQLException sqe) {
+    }
+    catch (SQLException sqe) {
       throwSQLException(sqe, "makeEntityFromResultSet");
 
       return null;
@@ -754,30 +733,19 @@ public class Database implements StorageObject {
   }
 
   /**
-   * insert-Operator: f?gt eine Entity in die Tabelle ein. Eine Spalte WEBDB_CREATE
-   * wird automatisch mit dem aktuellen Datum gefuellt.
+   * Inserts an entity into the database.
    *
    * @param theEntity
    * @return der Wert des Primary-keys der eingef?gten Entity
    */
   public String insert(Entity theEntity) throws StorageObjectFailure {
-    //cache
-    invalidatePopupCache();
-
-    // invalidating all EntityLists corresponding with theEntityClass
-    if (StoreUtil.implementsStorableObject(theEntityClass)) {
-      StoreContainerType stoc_type =
-        StoreContainerType.valueOf(theEntityClass,
-          StoreContainerType.STOC_TYPE_ENTITYLIST);
-      o_store.invalidate(stoc_type);
-    }
+    invalidateStore();
 
     String returnId = null;
     Connection con = null;
     PreparedStatement pstmt = null;
 
     try {
-      List streamedInput = theEntity.streamedInput();
       StringBuffer f = new StringBuffer();
       StringBuffer v = new StringBuffer();
       String aField;
@@ -788,24 +756,21 @@ public class Database implements StorageObject {
       for (int i = 0; i < getFields().size(); i++) {
         aField = (String) getFields().get(i);
 
-        if (!aField.equals(thePKeyName)) {
+        if (!aField.equals(primaryKeyField)) {
           aValue = null;
 
           // exceptions
-          if (aField.equals("webdb_create") ||
-              aField.equals("webdb_lastchange")) {
+          if (!theEntity.hasFieldValue(aField) && (
+              aField.equals("webdb_create") ||
+              aField.equals("webdb_lastchange"))) {
             aValue = "NOW()";
-          } else {
-            if ((streamedInput != null) && streamedInput.contains(aField)) {
-              aValue = "?";
-            } else {
-              if (theEntity.hasValueForField(aField)) {
+          }
+          else {
+              if (theEntity.hasFieldValue(aField)) {
                 aValue =
                   "'" +
-                  JDBCStringRoutines.escapeStringLiteral((String) theEntity.getValue(
-                      aField)) + "'";
+                   JDBCStringRoutines.escapeStringLiteral(theEntity.getFieldValue(aField)) + "'";
               }
-            }
           }
 
           // wenn Wert gegeben, dann einbauen
@@ -827,23 +792,15 @@ public class Database implements StorageObject {
 
       // insert into db
       StringBuffer sqlBuf =
-        new StringBuffer("insert into ").append(theTable).append("(").append(f)
+        new StringBuffer("insert into ").append(mainTable).append("(").append(f)
                                         .append(") values (").append(v).append(")");
       String sql = sqlBuf.toString();
 
-      logger.debug("INSERT: " + sql);
-      con = getPooledCon();
+      logger.info("INSERT: " + sql);
+      con = obtainConnection();
       con.setAutoCommit(false);
       pstmt = con.prepareStatement(sql);
 
-      if (streamedInput != null) {
-        for (int i = 0; i < streamedInput.size(); i++) {
-          String inputString =
-            (String) theEntity.getValue((String) streamedInput.get(i));
-          pstmt.setBytes(i + 1, inputString.getBytes());
-        }
-      }
-
       int ret = pstmt.executeUpdate();
 
       if (ret == 0) {
@@ -851,13 +808,9 @@ public class Database implements StorageObject {
         return null;
       }
 
-      pstmt =
-        con.prepareStatement(theAdaptor.getLastInsertSQL(
-            (Database) myselfDatabase));
+//      pstmt = con.prepareStatement("select currval('" +  + "_id_seq')");
 
-      ResultSet rs = pstmt.executeQuery();
-      rs.next();
-      returnId = rs.getString(1);
+      returnId = getLatestInsertedId(con);
       theEntity.setId(returnId);
     }
     catch (SQLException sqe) {
@@ -873,13 +826,12 @@ public class Database implements StorageObject {
       freeConnection(con, pstmt);
     }
 
-    /** @todo store entity in o_store */
+    /** todo store entity in o_store */
     return returnId;
   }
 
   /**
-   * update-Operator: aktualisiert eine Entity. Eine Spalte WEBDB_LASTCHANGE
-   * wird automatisch mit dem aktuellen Datum gefuellt.
+   * Updates an entity in the database
    *
    * @param theEntity
    */
@@ -887,41 +839,34 @@ public class Database implements StorageObject {
     Connection con = null;
     PreparedStatement pstmt = null;
 
-    /** @todo this is stupid: why do we prepare statement, when we
+    /** todo this is stupid: why do we prepare statement, when we
      *  throw it away afterwards. should be regular statement
      *  update/insert could better be one routine called save()
      *  that chooses to either insert or update depending if we
      *  have a primary key in the entity. i don't know if we
      *  still need the streamed input fields. // rk  */
-    /** @todo extension: check if Entity did change, otherwise we don't need
+
+    /** todo extension: check if Entity did change, otherwise we don't need
      *  the roundtrip to the database */
     /** invalidating corresponding entitylists in o_store*/
-    if (StoreUtil.implementsStorableObject(theEntityClass)) {
-      StoreContainerType stoc_type =
-        StoreContainerType.valueOf(theEntityClass,
-          StoreContainerType.STOC_TYPE_ENTITYLIST);
-      o_store.invalidate(stoc_type);
-    }
 
-    List streamedInput = theEntity.streamedInput();
+    invalidateStore();
+
     String id = theEntity.getId();
     String aField;
     StringBuffer fv = new StringBuffer();
     boolean firstField = true;
 
-    //cache
-    invalidatePopupCache();
-
     // build sql statement
     for (int i = 0; i < getFields().size(); i++) {
       aField = (String) metadataFields.get(i);
 
       // only normal cases
-      if (  !(aField.equals(thePKeyName) ||
+      // todo if entity.hasFieldValue returns false, then the value should be stored as null
+      if (!(aField.equals(primaryKeyField) ||
             aField.equals("webdb_create") ||
-            aField.equals("webdb_lastchange") ||
-            ((streamedInput != null) && streamedInput.contains(aField)))) {
-        if (theEntity.hasValueForField(aField)) {
+            aField.equals("webdb_lastchange"))) {
+        if (theEntity.hasFieldValue(aField)) {
           if (firstField == false) {
             fv.append(", ");
           }
@@ -929,15 +874,15 @@ public class Database implements StorageObject {
             firstField = false;
           }
 
-          fv.append(aField).append("='").append(JDBCStringRoutines.escapeStringLiteral((String) theEntity.getValue(aField))).append("'");
+          fv.append(aField).append("='").append(JDBCStringRoutines.escapeStringLiteral(theEntity.getFieldValue(aField))).append("'");
 
-          //              fv.append(aField).append("='").append(StringUtil.quote((String)theEntity.getValue(aField))).append("'");
+          //              fv.append(aField).append("='").append(StringUtil.quote((String)theEntity.getFieldValue(aField))).append("'");
         }
       }
     }
 
     StringBuffer sql =
-      new StringBuffer("update ").append(theTable).append(" set ").append(fv);
+      new StringBuffer("update ").append(mainTable).append(" set ").append(fv);
 
     // exceptions
     if (metadataFields.contains("webdb_lastchange")) {
@@ -947,10 +892,10 @@ public class Database implements StorageObject {
     // special case: the webdb_create requires the field in yyyy-mm-dd HH:mm
     // format so anything extra will be ignored. -mh
     if (metadataFields.contains("webdb_create") &&
-        theEntity.hasValueForField("webdb_create")) {
+        theEntity.hasFieldValue("webdb_create")) {
       // minimum of 10 (yyyy-mm-dd)...
-      if (theEntity.getValue("webdb_create").length() >= 10) {
-        String dateString = theEntity.getValue("webdb_create");
+      if (theEntity.getFieldValue("webdb_create").length() >= 10) {
+        String dateString = theEntity.getFieldValue("webdb_create");
 
         // if only 10, then add 00:00 so it doesn't throw a ParseException
         if (dateString.length() == 10) {
@@ -959,45 +904,34 @@ public class Database implements StorageObject {
 
         // TimeStamp stuff
         try {
-          java.util.Date d = _dateFormatterIn.parse(dateString);
-          Timestamp tStamp = new Timestamp(d.getTime());
-          sql.append(",webdb_create='" + tStamp.toString() + "'");
-        } catch (ParseException e) {
+          java.util.Date d = userInputDateFormat.parse(dateString);
+//          Timestamp tStamp = new Timestamp(d.getTime());
+          sql.append(",webdb_create='" + JDBCStringRoutines.formatDate(d) + "'");
+        }
+        catch (ParseException e) {
           throw new StorageObjectFailure(e);
         }
       }
     }
 
-    if (streamedInput != null) {
-      for (int i = 0; i < streamedInput.size(); i++) {
-        sql.append(",").append(streamedInput.get(i)).append("=?");
-      }
-    }
-
     sql.append(" where id=").append(id);
+    logger.info("UPDATE: " + sql);
 
-    //theLog.printInfo("UPDATE: " + sql);
-    // execute sql
     try {
-      con = getPooledCon();
+      con = obtainConnection();
       con.setAutoCommit(false);
       pstmt = con.prepareStatement(sql.toString());
 
-      if (streamedInput != null) {
-        for (int i = 0; i < streamedInput.size(); i++) {
-          String inputString =
-            theEntity.getValue((String) streamedInput.get(i));
-          pstmt.setBytes(i + 1, inputString.getBytes());
-        }
-      }
-
       pstmt.executeUpdate();
-    } catch (SQLException sqe) {
+    }
+    catch (SQLException sqe) {
       throwSQLException(sqe, "update");
-    } finally {
+    }
+    finally {
       try {
         con.setAutoCommit(true);
-      } catch (Exception e) {
+      }
+      catch (Exception e) {
         ;
       }
 
@@ -1011,14 +945,12 @@ public class Database implements StorageObject {
   *   @return boolean liefert true zurueck, wenn loeschen erfolgreich war.
    */
   public boolean delete(String id) throws StorageObjectFailure {
-    invalidatePopupCache();
-
     // ostore send notification
-    if (StoreUtil.implementsStorableObject(theEntityClass)) {
+    if (StoreUtil.extendsStorableEntity(theEntityClass)) {
       String uniqueId = id;
 
       if (theEntityClass.equals(StorableObjectEntity.class)) {
-        uniqueId += ("@" + theTable);
+        uniqueId += ("@" + mainTable);
       }
 
       logger.debug("CACHE: (del) " + id);
@@ -1029,190 +961,74 @@ public class Database implements StorageObject {
       o_store.invalidate(search_sid);
     }
 
-    /** @todo could be prepared Statement */
+    /** todo could be prepared Statement */
     Statement stmt = null;
     Connection con = null;
     int res = 0;
     String sql =
-      "delete from " + theTable + " where " + thePKeyName + "='" + id + "'";
+      "delete from " + mainTable + " where " + primaryKeyField + "='" + id + "'";
 
-    //theLog.printInfo("DELETE " + sql);
+    logger.debug("DELETE " + sql);
     try {
-      con = getPooledCon();
+      con = obtainConnection();
       stmt = con.createStatement();
       res = stmt.executeUpdate(sql);
-    } catch (SQLException sqe) {
+    }
+    catch (SQLException sqe) {
       throwSQLException(sqe, "delete");
-    } finally {
+    }
+    finally {
       freeConnection(con, stmt);
     }
 
-    return (res > 0) ? true : false;
-  }
-
-  /* noch nicht implementiert.
-  * @return immer false
-   */
-  public boolean delete(EntityList theEntityList) {
-    invalidatePopupCache();
-
-    return false;
-  }
+    invalidateStore();
 
-  /**
-   * Diese Methode sollte ueberschrieben werden, wenn fuer die abgeleitete Database-Klasse
-   * eine SimpleList mit Standard-Popupdaten erzeugt werden koennen soll.
-   * @return null
-   */
-  public SimpleList getPopupData() throws StorageObjectFailure {
-    return null;
-  }
-
-  /**
-   *  Holt Daten fuer Popups.
-   *  @param name  Name des Feldes.
-   *  @param hasNullValue  Wenn true wird eine leerer  Eintrag fuer die Popups erzeugt.
-   *  @return SimpleList Gibt freemarker.template.SimpleList zurueck.
-   */
-  public SimpleList getPopupData(String name, boolean hasNullValue)
-    throws StorageObjectFailure {
-    return getPopupData(name, hasNullValue, null);
-  }
-
-  /**
-   *  Holt Daten fuer Popups.
-   *  @param name  Name des Feldes.
-   *  @param hasNullValue  Wenn true wird eine leerer  Eintrag fuer die Popups erzeugt.
-   *  @param where  Schraenkt die Selektion der Datensaetze ein.
-   *  @return SimpleList Gibt freemarker.template.SimpleList zurueck.
-   */
-  public SimpleList getPopupData(String name, boolean hasNullValue, String where)
-    throws StorageObjectFailure {
-    return getPopupData(name, hasNullValue, where, null);
+    return (res > 0) ? true : false;
   }
 
   /**
-   *  Holt Daten fuer Popups.
-   *  @param name  Name des Feldes.
-   *  @param hasNullValue  Wenn true wird eine leerer  Eintrag fuer die Popups erzeugt.
-   *  @param where  Schraenkt die Selektion der Datensaetze ein.
-   *  @param order  Gibt ein Feld als Sortierkriterium an.
-   *  @return SimpleList Gibt freemarker.template.SimpleList zurueck.
+   * Deletes entities based on a where clause
+   *
+   * @param aWhereClause
+   * @return
+   * @throws StorageObjectFailure
    */
-  public SimpleList getPopupData(String name, boolean hasNullValue,
-    String where, String order) throws StorageObjectFailure {
-    // caching
-    if (hasPopupCache && (popupCache != null)) {
-      return popupCache;
-    }
+  public int deleteByWhereClause(String aWhereClause) throws StorageObjectFailure {
+    invalidateStore();
 
-    SimpleList simpleList = null;
-    Connection con = null;
     Statement stmt = null;
+    Connection con = null;
+    int res = 0;
+    String sql =
+      "delete from " + mainTable + " where " + aWhereClause;
 
-    // build sql
-    StringBuffer sql =
-      new StringBuffer("select ").append(thePKeyName).append(",").append(name)
-                                 .append(" from ").append(theTable);
-
-    if ((where != null) && !(where.length() == 0)) {
-      sql.append(" where ").append(where);
-    }
-
-    sql.append(" order by ");
-
-    if ((order != null) && !(order.length() == 0)) {
-      sql.append(order);
-    } else {
-      sql.append(name);
-    }
-
-    // execute sql
-    try {
-      con = getPooledCon();
-    } catch (Exception e) {
-      throw new StorageObjectFailure(e);
-    }
-
+    //theLog.printInfo("DELETE " + sql);
     try {
+      con = obtainConnection();
       stmt = con.createStatement();
-
-      ResultSet rs = executeSql(stmt, sql.toString());
-
-      if (rs != null) {
-        if (!evaluatedMetaData) {
-          get_meta_data();
-        }
-
-        simpleList = new SimpleList();
-
-        // if popup has null-selector
-        if (hasNullValue) {
-          simpleList.add(POPUP_EMPTYLINE);
-        }
-
-        SimpleHash popupDict;
-
-        while (rs.next()) {
-          popupDict = new SimpleHash();
-          popupDict.put("key", getValueAsString(rs, 1, thePKeyType));
-          popupDict.put("value", rs.getString(2));
-          simpleList.add(popupDict);
-        }
-
-        rs.close();
-      }
-    }
-    catch (Exception e) {
-      logger.error("getPopupData: " + e.getMessage());
-      throw new StorageObjectFailure(e);
-    } finally {
-      freeConnection(con, stmt);
+      res = stmt.executeUpdate(sql);
     }
-
-    if (hasPopupCache) {
-      popupCache = simpleList;
+    catch (SQLException sqe) {
+      throwSQLException(sqe, "delete");
     }
-
-    return simpleList;
-  }
-
-  /**
-   * Liefert alle Daten der Tabelle als SimpleHash zurueck. Dies wird verwandt,
-   * wenn in den Templates ein Lookup-Table benoetigt wird. Sollte nur bei kleinen
-   * Tabellen Verwendung finden.
-   * @return SimpleHash mit den Tabellezeilen.
-   */
-  public SimpleHash getHashData() {
-    /** @todo dangerous! this should have a flag to be enabled, otherwise
-     *  very big Hashes could be returned */
-    if (hashCache == null) {
-      try {
-        hashCache =
-          HTMLTemplateProcessor.makeSimpleHash(selectByWhereClause("", -1));
-      }
-      catch (StorageObjectFailure e) {
-        logger.debug(e.getMessage());
-      }
+    finally {
+      freeConnection(con, stmt);
     }
 
-    return hashCache;
+    return res;
   }
 
-  /* invalidates the popupCache
+  /* noch nicht implementiert.
+  * @return immer false
    */
-  protected void invalidatePopupCache() {
-    /** @todo  invalidates toooo much */
-    popupCache = null;
-    hashCache = null;
+  public boolean delete(EntityList theEntityList) {
+    return false;
   }
 
   /**
    * Diese Methode fuehrt den Sqlstring <i>sql</i> aus und timed im Logfile.
    * @param stmt Statemnt
    * @param sql Sql-String
-   * @return ResultSet
-   * @exception StorageObjectException
    */
   public ResultSet executeSql(Statement stmt, String sql)
                             throws StorageObjectFailure, SQLException {
@@ -1222,7 +1038,7 @@ public class Database implements StorageObject {
     try {
       rs = stmt.executeQuery(sql);
 
-      logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
+      logger.info((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
     }
     catch (SQLException e) {
       logger.error(e.getMessage() +"\n" + (System.currentTimeMillis() - startTime) + "ms. for: " + sql);
@@ -1232,15 +1048,108 @@ public class Database implements StorageObject {
     return rs;
   }
 
+  private Map processRow(ResultSet aResultSet) throws StorageObjectFailure {
+    try {
+      Map result = new HashMap();
+      ResultSetMetaData metaData = aResultSet.getMetaData();
+      int nrColumns = metaData.getColumnCount();
+      for (int i=0; i<nrColumns; i++) {
+        result.put(metaData.getColumnName(i+1), getValueAsString(aResultSet, i+1, metaData.getColumnType(i+1)));
+      }
+
+      return result;
+    }
+    catch (Throwable e) {
+      throw new StorageObjectFailure(e);
+    }
+  }
+
+  public List executeFreeSql(String sql, int aLimit) throws StorageObjectFailure, StorageObjectExc {
+    Connection connection = null;
+    Statement statement = null;
+    try {
+      List result = new ArrayList();
+      connection = obtainConnection();
+      statement = connection.createStatement();
+      ResultSet resultset = executeSql(statement, sql);
+      try {
+        while (resultset.next() && result.size() < aLimit) {
+          result.add(processRow(resultset));
+        }
+      }
+      finally {
+        resultset.close();
+      }
+
+      return result;
+    }
+    catch (Throwable e) {
+      throw new StorageObjectFailure(e);
+    }
+    finally {
+      if (connection!=null) {
+        freeConnection(connection, statement);
+      }
+    }
+  };
+
+  public Map executeFreeSingleRowSql(String anSqlStatement) throws StorageObjectFailure, StorageObjectExc {
+    try {
+      List resultList = executeFreeSql(anSqlStatement, 1);
+      try {
+        if (resultList.size()>0)
+          return (Map) resultList.get(0);
+        else
+          return null;
+      }
+      finally {
+      }
+    }
+    catch (Throwable t) {
+      throw new StorageObjectFailure(t);
+    }
+  };
+
+  public String executeFreeSingleValueSql(String sql) throws StorageObjectFailure, StorageObjectExc {
+    Map row = executeFreeSingleRowSql(sql);
+
+    if (row==null)
+      return null;
+
+    Iterator i = row.values().iterator();
+    if (i.hasNext())
+      return (String) i.next();
+    else
+      return null;
+  };
+
+  public int getSize(String where) throws SQLException, StorageObjectFailure {
+    return getSize("", null, where);
+  }
   /**
    * returns the number of rows in the table
    */
-  public int getSize(String where) throws SQLException, StorageObjectFailure {
+  public int getSize(String mainTablePrefix, List extraTables, String where) throws SQLException, StorageObjectFailure {
+
     long startTime = System.currentTimeMillis();
-    String sql = "SELECT Count(*) FROM " + theTable;
 
-    if ((where != null) && !(where.length() == 0)) {
-      sql = sql + " where " + where;
+    String useTable = mainTable;
+    if (mainTablePrefix!=null && mainTablePrefix.trim().length()>0) {
+          useTable+=" "+mainTablePrefix;
+    }
+    StringBuffer countSql =
+      new StringBuffer("select count(*) from ").append(useTable);
+        // append extratables, if necessary
+      if (extraTables!=null) {
+        for (int i=0;i < extraTables.size();i++) {
+          if (!extraTables.get(i).equals("")) {
+            countSql.append( ", " + extraTables.get(i));
+          }
+        }
+      }
+
+    if ((where != null) && (where.length() != 0)) {
+      countSql.append( " where " + where);
     }
 
     Connection con = null;
@@ -1248,10 +1157,10 @@ public class Database implements StorageObject {
     int result = 0;
 
     try {
-      con = getPooledCon();
+      con = obtainConnection();
       stmt = con.createStatement();
 
-      ResultSet rs = executeSql(stmt, sql);
+      ResultSet rs = executeSql(stmt, countSql.toString());
 
       while (rs.next()) {
         result = rs.getInt(1);
@@ -1263,9 +1172,7 @@ public class Database implements StorageObject {
     finally {
       freeConnection(con, stmt);
     }
-
-    //theLog.printInfo(theTable + " has "+ result +" rows where " + where);
-    logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
+    logger.info((System.currentTimeMillis() - startTime) + "ms. for: " + countSql);
 
     return result;
   }
@@ -1278,10 +1185,10 @@ public class Database implements StorageObject {
     try {
       rs = stmt.executeUpdate(sql);
 
-      logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
+      logger.info((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
     }
     catch (SQLException e) {
-      logger.debug("Failed: " + (System.currentTimeMillis() - startTime) + "ms. for: " + sql);
+      logger.error("Failed: " + (System.currentTimeMillis() - startTime) + "ms. for: " + sql);
       throw e;
     }
 
@@ -1296,7 +1203,7 @@ public class Database implements StorageObject {
     PreparedStatement pstmt = null;
 
     try {
-      con = getPooledCon();
+      con = obtainConnection();
       pstmt = con.prepareStatement(sql);
       result = pstmt.executeUpdate();
     }
@@ -1308,14 +1215,13 @@ public class Database implements StorageObject {
       freeConnection(con, pstmt);
     }
 
-    logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
+    logger.info((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
     return result;
   }
 
   /**
    * Wertet ResultSetMetaData aus und setzt interne Daten entsprechend
    * @param md ResultSetMetaData
-   * @exception StorageObjectException
    */
   private void evalMetaData(ResultSetMetaData md) throws StorageObjectFailure {
     this.evaluatedMetaData = true;
@@ -1337,9 +1243,7 @@ public class Database implements StorageObject {
         aType = md.getColumnType(i);
         metadataTypes[i - 1] = aType;
 
-        if (aField.equals(thePKeyName)) {
-          thePKeyType = aType;
-          thePKeyIndex = i;
+        if (aField.equals(primaryKeyField)) {
         }
 
         if (md.isNullable(i) == ResultSetMetaData.columnNullable) {
@@ -1359,10 +1263,10 @@ public class Database implements StorageObject {
   private void get_meta_data() throws StorageObjectFailure {
     Connection con = null;
     PreparedStatement pstmt = null;
-    String sql = "select * from " + theTable + " where 0=1";
+    String sql = "select * from " + mainTable + " where 0=1";
 
     try {
-      con = getPooledCon();
+      con = obtainConnection();
       pstmt = con.prepareStatement(sql);
 
       logger.debug("METADATA: " + sql);
@@ -1378,35 +1282,37 @@ public class Database implements StorageObject {
     }
   }
 
-  public Connection getPooledCon() throws StorageObjectFailure {
-    Connection con = null;
-
+  public Connection obtainConnection() throws StorageObjectFailure {
     try {
-      con = SQLManager.getInstance().requestConnection();
+      return MirGlobal.getDatabaseEngine().obtainConnection();
     }
-    catch (SQLException e) {
-      logger.error("could not connect to the database " + e.getMessage());
-
-      throw new StorageObjectFailure("Could not connect to the database", e);
+    catch (Exception e) {
+      throw new StorageObjectFailure(e);
     }
-
-    return con;
   }
 
-  public void freeConnection(Connection con, Statement stmt)
-    throws StorageObjectFailure {
-    SQLManager.closeStatement(stmt);
-    SQLManager.getInstance().returnConnection(con);
+  public void freeConnection(Connection aConnection, Statement aStatement) throws StorageObjectFailure {
+    try {
+      aStatement.close();
+    }
+    catch (Throwable t) {
+      logger.warn("Can't close statemnet: " + t.toString());
+    }
+
+    try {
+      MirGlobal.getDatabaseEngine().releaseConnection(aConnection);
+    }
+    catch (Throwable t) {
+      logger.warn("Can't release connection: " + t.toString());
+    }
   }
 
   /**
    * Wertet SQLException aus und wirft dannach eine StorageObjectException
    * @param sqe SQLException
-   * @param wo Funktonsname, in der die SQLException geworfen wurde
-   * @exception StorageObjectException
+   * @param aFunction Funktonsname, in der die SQLException geworfen wurde
    */
-  protected void throwSQLException(SQLException sqe, String aFunction)
-    throws StorageObjectFailure {
+  protected void throwSQLException(SQLException sqe, String aFunction) throws StorageObjectFailure {
     String state = "";
     String message = "";
     int vendor = 0;
@@ -1441,11 +1347,132 @@ public class Database implements StorageObject {
   /**
    * Loggt Fehlermeldung mit dem Parameter Message und wirft dannach
    * eine StorageObjectException
-   * @param message Nachricht mit dem Fehler
-   * @exception StorageObjectException
+   * @param aMessage Nachricht mit dem Fehler
+   * @exception StorageObjectFailure
    */
   void throwStorageObjectException(String aMessage) throws StorageObjectFailure {
     logger.error(aMessage);
     throw new StorageObjectFailure(aMessage, null);
   }
+
+  /**
+   * Invalidates any cached entity list
+   */
+  private void invalidateStore() {
+    // invalidating all EntityLists corresponding with theEntityClass
+    if (StoreUtil.extendsStorableEntity(theEntityClass)) {
+      StoreContainerType stoc_type =
+        StoreContainerType.valueOf(theEntityClass, StoreContainerType.STOC_TYPE_ENTITYLIST);
+      o_store.invalidate(stoc_type);
+    }
+  }
+
+  /**
+   * Retrieves a binary value
+   */
+  public InputStream getBinaryField(String aQuery) throws StorageObjectFailure, SQLException {
+    Connection connection=null;
+    Statement statement=null;
+    InputStream inputStream;
+    InputStream imageInputStream = null;
+
+    try {
+      connection = obtainConnection();
+      try {
+        connection.setAutoCommit(false);
+        statement = connection.createStatement();
+        ResultSet resultSet = executeSql(statement, aQuery);
+
+        if(resultSet!=null) {
+          if (resultSet.next()) {
+            inputStream = resultSet.getBlob(1).getBinaryStream();
+            imageInputStream = new BinaryFieldInputStream(inputStream, connection, statement);
+          }
+          resultSet.close();
+        }
+      }
+      finally {
+      }
+    }
+    catch (Throwable t) {
+      logger.error("EntityImages.getImage failed: " + t.toString());
+      t.printStackTrace(logger.asPrintWriter(LoggerWrapper.DEBUG_MESSAGE));
+
+      try {
+        connection.setAutoCommit(true);
+      }
+      catch (Throwable e) {
+        logger.error("EntityImages.getImage resetting transaction mode failed: " + e.toString());
+        e.printStackTrace(logger.asPrintWriter(LoggerWrapper.DEBUG_MESSAGE));
+      }
+
+      try {
+        freeConnection(connection, statement);
+      }
+      catch (Throwable e) {
+        logger.error("EntityImages.getImage freeing connection failed: " +e.toString());
+      }
+
+      throw new StorageObjectFailure(t);
+    }
+
+    return imageInputStream;
+  }
+
+  /**
+   * Sets a binary value. The query is supposed to contain 1 ? denoting where the
+   * binary value should be inserted.
+   *
+   * e.g. <code>update images set image_data = ? where id= 22</code>
+   */
+  public void setBinaryField(String aQuery, byte aData[]) throws StorageObjectFailure, SQLException {
+    PreparedStatement statement = null;
+    Connection connection = obtainConnection();
+    try {
+      connection.setAutoCommit(false);
+      try {
+        statement = connection.prepareStatement(aQuery);
+        statement.setBinaryStream(1, new ByteArrayInputStream(aData), aData.length);
+        statement.execute();
+        connection.commit();
+      }
+      finally {
+        connection.setAutoCommit(true);
+      }
+    }
+    finally {
+      freeConnection(connection, statement);
+    }
+  }
+
+  /**
+   * a small wrapper class that allows us to store the DB connection resources
+   * that the BlobInputStream is using and free them upon closing of the stream
+   */
+  private class BinaryFieldInputStream extends InputStream {
+    InputStream inputStream;
+    Connection connection;
+    Statement statement;
+
+    public BinaryFieldInputStream(InputStream aBlobInputStream, Connection aConnection, Statement aStatement ) {
+      inputStream = aBlobInputStream;
+      connection = aConnection;
+      statement = aStatement;
+    }
+
+    public void close () throws IOException {
+      inputStream.close();
+      try {
+        connection.setAutoCommit(true);
+        freeConnection(connection, statement);
+      }
+      catch (Exception e) {
+        throw new IOException("close(): "+e.toString());
+      }
+    }
+
+    public int read() throws IOException {
+      return inputStream.read();
+    }
+  }
 }