added:
[mir.git] / source / mir / storage / Database.java
index 973850a..f86f043 100755 (executable)
 /*
- * put your module comment here
+ * Copyright (C) 2001-2006 The Mir-coders group
+ *
+ * This file is part of Mir.
+ *
+ * Mir is free software; you can redistribute it and/or modify
+ * it under the terms of the GNU General Public License as published by
+ * the Free Software Foundation; either version 2 of the License, or
+ * (at your option) any later version.
+ *
+ * Mir is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+ * GNU General Public License for more details.
+ *
+ * You should have received a copy of the GNU General Public License
+ * along with Mir; if not, write to the Free Software
+ * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
+ *
+ * In addition, as a special exception, The Mir-coders gives permission to link
+ * the code of this program with  any library licensed under the Apache Software License,
+ * and distribute linked combinations including the two.  You must obey the
+ * GNU General Public License in all respects for all of the code used other than
+ * the above mentioned libraries.  If you modify this file, you may extend this
+ * exception to your version of the file, but you are not obligated to do so.
+ * If you do not wish to do so, delete this exception statement from your version.
  */
 package mir.storage;
 
-import  java.sql.*;
-import  java.lang.*;
-import  java.io.*;
-import  java.util.*;
-import  freemarker.template.*;
-import  com.javaexchange.dbConnectionBroker.*;
-import  mir.storage.StorageObject;
-import  mir.entity.*;
-import  mir.misc.*;
-
+import mir.config.MirPropertiesConfiguration;
+import mir.entity.AbstractEntity;
+import mir.entity.Entity;
+import mir.entity.EntityList;
+import mir.entity.StorableObjectEntity;
+import mir.log.LoggerWrapper;
+import mir.storage.store.*;
+import mir.util.JDBCStringRoutines;
+import mir.util.StreamCopier;
+import mircoders.global.MirGlobal;
+import org.apache.commons.dbcp.DelegatingConnection;
+import org.postgresql.PGConnection;
+import org.postgresql.largeobject.LargeObject;
+import org.postgresql.largeobject.LargeObjectManager;
+
+import java.io.ByteArrayOutputStream;
+import java.io.InputStream;
+import java.io.InputStreamReader;
+import java.sql.*;
+import java.text.ParseException;
+import java.text.SimpleDateFormat;
+import java.util.*;
 
 /**
- * Diese Klasse implementiert die Zugriffsschicht auf die Datenbank.
- * Alle Projektspezifischen Datenbankklassen erben von dieser Klasse.
- * In den Unterklassen wird im Minimalfall nur die Tabelle angegeben.
- * Im Konfigurationsfile findet sich eine Verweis auf den verwendeten
- * Treiber, Host, User und Passwort, ueber den der Zugriff auf die
- * Datenbank erfolgt.
+ * Implements database access.
+ *
+ * @version $Id: Database.java,v 1.44.2.37 2006/12/25 20:10:22 zapata Exp $
+ * @author rk
+ * @author Zapata
  *
- * @author RK
- * @version 16.7.1999
  */
-public class Database implements StorageObject {
-
-  protected DbConnectionBroker        myBroker;
-  protected String                    theTable;
-  protected String                    theCoreTable=null;
-  protected String                    thePKeyName="id";
-  protected int                       thePKeyType;
-  protected boolean                   evaluatedMetaData=false;
-  protected ArrayList                 metadataFields,metadataLabels,metadataNotNullFields;
-  protected int[]                     metadataTypes;
-  protected Class                     theEntityClass;
-  protected StorageObject             myselfDatabase;
-  protected HashMap                   cache;
-  protected SimpleList                popupCache=null;
-  protected boolean                   hasPopupCache = false;
-  protected SimpleHash                hashCache=null;
-  protected boolean                   hasTimestamp=true;
-  private       String                database_driver;
-  private       String                database_url;
-  private int                         defaultLimit;
-  protected DatabaseAdaptor             theAdaptor;
-  protected Logfile                   theLog;
-  protected Connection                con;
+public class Database {
+       private static final int DEFAULT_LIMIT = 20;
+  private static final Class GENERIC_ENTITY_CLASS = StorableObjectEntity.class;
+  protected static final ObjectStore o_store = ObjectStore.getInstance();
+
+  protected LoggerWrapper logger;
+
+  protected String mainTable;
+  protected String primaryKeyField = "id";
+
+  private List fieldNames;
+  private int[] fieldTypes;
+  private Map fieldNameToType;
+
+  protected Class entityClass;
+
+  //
+  private Set binaryFields;
+
+  private TimeZone timezone;
+  private SimpleDateFormat userInputDateFormat;
+
+  public Database() throws DatabaseFailure {
+    MirPropertiesConfiguration configuration = MirPropertiesConfiguration.instance();
+    logger = new LoggerWrapper("Database");
+    timezone = TimeZone.getTimeZone(configuration.getString("Mir.DefaultTimezone"));
+
+    userInputDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm");
+    userInputDateFormat.setTimeZone(timezone);
+
+    binaryFields = new HashSet();
+
+    String adapterName = configuration.getString("Database.Adaptor");
 
-  /**
-   * Kontruktor bekommt den Filenamen des Konfigurationsfiles übergeben.
-   * Aus diesem file werden <code>Database.Logfile</code>,
-   * <code>Database.Username</code>,<code>Database.Password</code>,
-   * <code>Database.Host</code> und <code>Database.Adaptor</code>
-   * ausgelesen und ein Broker für die Verbindugen zur Datenbank
-   * erzeugt.
-   *
-   * @param   String confFilename Dateiname der Konfigurationsdatei
-   */
-  public Database() {
-    theLog = Logfile.getInstance(MirConfig.getProp("Home") + MirConfig.getProp("Database.Logfile"));
-    String database_username=MirConfig.getProp("Database.Username");
-    String database_password=MirConfig.getProp("Database.Password");
-    String database_host=MirConfig.getProp("Database.Host");
-    String theAdaptorName=MirConfig.getProp("Database.Adaptor");
     try {
-      theEntityClass = Class.forName("mir.entity.GenericEntity");
-      theAdaptor = (DatabaseAdaptor)Class.forName(theAdaptorName).newInstance();
-      defaultLimit = Integer.parseInt(MirConfig.getProp("Database.Limit"));
-      database_driver=theAdaptor.getDriver();
-      database_url=theAdaptor.getURL(database_username,database_password,database_host);
-      theLog.printDebugInfo("adding Broker with: " +database_driver+":"+database_url  );
-      MirConfig.addBroker(database_driver,database_url);
-      myBroker=MirConfig.getBroker();
-    }
-    catch (Exception e){
-      theLog.printError("Bei Konstruktion von Database() with " + theAdaptorName + " -- " +e.toString());
+      entityClass = GENERIC_ENTITY_CLASS;
+    }
+    catch (Throwable e) {
+      logger.error("Error in Database() constructor with " + adapterName + " -- " + e.getMessage());
+      throw new DatabaseFailure("Error in Database() constructor.", e);
     }
   }
 
-  /**
-   * Liefert die Entity-Klasse zurück, in der eine Datenbankzeile gewrappt
-   * wird. Wird die Entity-Klasse durch die erbende Klasse nicht überschrieben,
-   * wird eine mir.entity.GenericEntity erzeugt.
-   *
-   * @return Class-Objekt der Entity
-   */
-  public java.lang.Class getEntityClass () {
-    return  theEntityClass;
+  public Class getEntityClass() {
+    return entityClass;
   }
 
-  /**
-   * Liefert die Standardbeschränkung von select-Statements zurück, also
-   * wieviel Datensätze per Default selektiert werden.
-   *
-   * @return Standard-Anzahl der Datensätze
-   */
-  public int getLimit () {
-    return  defaultLimit;
-  }
+  public Entity createNewEntity() throws DatabaseFailure {
+    try {
+      AbstractEntity result = (AbstractEntity) entityClass.newInstance();
+      result.setStorage(this);
 
-  /**
-   * Liefert den Namen des Primary-Keys zurück. Wird die Variable nicht von
-   * der erbenden Klasse überschrieben, so ist der Wert <code>PKEY</code>
-   * @return Name des Primary-Keys
-   */
-  public String getIdName () {
-    return  thePKeyName;
+      return result;
+    }
+    catch (Throwable t) {
+      throw new DatabaseFailure(t);
+    }
   }
 
-  /**
-   * Liefert den Namen der Tabelle, auf das sich das Datenbankobjekt bezieht.
-   *
-   * @return Name der Tabelle
-   */
-  public String getTableName () {
-    return  theTable;
+  public String getIdFieldName() {
+    return primaryKeyField;
   }
 
-  /*
-   *   Dient dazu vererbte Tabellen bei objectrelationalen DBMS
-   *   zu speichern, wenn die id einer Tabelle in der parenttabelle verwaltet wird.
-   *   @return liefert theCoreTabel als String zurueck, wenn gesetzt, sonst
-   *    the Table
-   */
-
-  public String getCoreTable(){
-    if (theCoreTable!=null) return theCoreTable;
-    else return theTable;
+  public String getTableName() {
+    return mainTable;
   }
 
   /**
-   * Liefert Feldtypen der Felder der Tabelle zurueck (s.a. java.sql.Types)
-   * @return int-Array mit den Typen der Felder
-   * @exception StorageObjectException
+   * Returns a list of field names for this <code>Database</code>
    */
-  public int[] getTypes () throws StorageObjectException {
-    if (metadataTypes == null)
-      get_meta_data();
-    return  metadataTypes;
-  }
+  public List getFieldNames() throws DatabaseFailure {
+    if (fieldNames == null) {
+      acquireMetaData();
+    }
 
-  /**
-   * Liefert eine Liste der Labels der Tabellenfelder
-   * @return ArrayListe mit Labeln
-   * @exception StorageObjectException
-   */
-  public ArrayList getLabels () throws StorageObjectException {
-    if (metadataLabels == null)
-      get_meta_data();
-    return  metadataLabels;
+    return fieldNames;
   }
 
-  /**
-   * Liefert eine Liste der Felder der Tabelle
-   * @return ArrayList mit Feldern
-   * @exception StorageObjectException
-   */
-  public ArrayList getFields () throws StorageObjectException {
-    if (metadataFields == null)
-      get_meta_data();
-    return  metadataFields;
+  public boolean hasField(String aFieldName) {
+    return getFieldNames().contains(aFieldName);
   }
 
-
-  /*
+  /**
    *   Gets value out of ResultSet according to type and converts to String
-   *   @param inValue  Wert aus ResultSet.
-   *   @param aType  Datenbanktyp.
-   *   @return liefert den Wert als String zurueck. Wenn keine Umwandlung moeglich
-   *           dann /unsupported value/
+   *
+   *   @param aResultSet  ResultSet.
+   *   @param aType  a type from java.sql.Types.*
+   *   @param aFieldIndex  index in ResultSet
+   *   @return returns the value as String. If no conversion is possible
+   *                            /unsupported value/ is returned
    */
-  private String getValueAsString (ResultSet rs, int valueIndex, int aType) throws StorageObjectException {
+  private String getValueAsString(ResultSet aResultSet, int aFieldIndex, int aType)
+    throws DatabaseFailure {
     String outValue = null;
-    if (rs != null) {
+
+    if (aResultSet != null) {
       try {
         switch (aType) {
           case java.sql.Types.BIT:
-            outValue = (rs.getBoolean(valueIndex) == true) ? "1" : "0";
+            outValue = (aResultSet.getBoolean(aFieldIndex) == true) ? "1" : "0";
+
             break;
-          case java.sql.Types.INTEGER:case java.sql.Types.SMALLINT:case java.sql.Types.TINYINT:case java.sql.Types.BIGINT:
-            int out = rs.getInt(valueIndex);
-            if (!rs.wasNull())
+
+          case java.sql.Types.INTEGER:
+          case java.sql.Types.SMALLINT:
+          case java.sql.Types.TINYINT:
+          case java.sql.Types.BIGINT:
+
+            int out = aResultSet.getInt(aFieldIndex);
+
+            if (!aResultSet.wasNull()) {
               outValue = new Integer(out).toString();
+            }
+
             break;
+
           case java.sql.Types.NUMERIC:
-            long outl = rs.getLong(valueIndex);
-            if (!rs.wasNull())
+            long outl = aResultSet.getLong(aFieldIndex);
+
+            if (!aResultSet.wasNull()) {
               outValue = new Long(outl).toString();
+            }
+
             break;
+
           case java.sql.Types.REAL:
-            float tempf = rs.getFloat(valueIndex);
-            if (!rs.wasNull()) {
+
+            float tempf = aResultSet.getFloat(aFieldIndex);
+
+            if (!aResultSet.wasNull()) {
               tempf *= 10;
               tempf += 0.5;
-              int tempf_int = (int)tempf;
-              tempf = (float)tempf_int;
+
+              int tempf_int = (int) tempf;
+              tempf = (float) tempf_int;
               tempf /= 10;
               outValue = "" + tempf;
               outValue = outValue.replace('.', ',');
             }
+
             break;
+
           case java.sql.Types.DOUBLE:
-            double tempd = rs.getDouble(valueIndex);
-            if (!rs.wasNull()) {
+
+            double tempd = aResultSet.getDouble(aFieldIndex);
+
+            if (!aResultSet.wasNull()) {
               tempd *= 10;
               tempd += 0.5;
-              int tempd_int = (int)tempd;
-              tempd = (double)tempd_int;
+
+              int tempd_int = (int) tempd;
+              tempd = (double) tempd_int;
               tempd /= 10;
               outValue = "" + tempd;
               outValue = outValue.replace('.', ',');
             }
+
             break;
-          case java.sql.Types.CHAR:case java.sql.Types.VARCHAR:case java.sql.Types.LONGVARCHAR:
-            outValue = rs.getString(valueIndex);
-            if (outValue != null)
-              outValue = StringUtil.encodeHtml(StringUtil.unquote(outValue));
+
+          case java.sql.Types.CHAR:
+          case java.sql.Types.VARCHAR:
+          case java.sql.Types.LONGVARCHAR:
+            outValue = aResultSet.getString(aFieldIndex);
+
             break;
+
           case java.sql.Types.LONGVARBINARY:
-            outValue = rs.getString(valueIndex);
-            if (outValue != null)
-              outValue = StringUtil.encodeHtml(StringUtil.unquote(outValue));
+            outValue = aResultSet.getString(aFieldIndex);
+
             break;
+
           case java.sql.Types.TIMESTAMP:
-            Timestamp timestamp = (rs.getTimestamp(valueIndex));
-            if (!rs.wasNull()) {
-              outValue = timestamp.toString();
+
+            // it's important to use Timestamp here as getting it
+            // as a string is undefined and is only there for debugging
+            // according to the API. we can make it a string through formatting.
+            // -mh
+            Timestamp timestamp = (aResultSet.getTimestamp(aFieldIndex));
+
+            if (!aResultSet.wasNull()) {
+              java.util.Date date = new java.util.Date(timestamp.getTime());
+              outValue = DatabaseHelper.convertDateToInternalRepresenation(date);
             }
+
             break;
+
           default:
             outValue = "<unsupported value>";
-            theLog.printWarning("Unsupported Datatype: at " + valueIndex +
-                " (" + aType + ")");
+            logger.warn("Unsupported Datatype: at " + aFieldIndex + " (" + aType + ")");
         }
-      } catch (SQLException e) {
-        throw  new StorageObjectException("Could not get Value out of Resultset -- "
-            + e.toString());
+      }
+      catch (SQLException e) {
+        throw new DatabaseFailure("Could not get Value out of Resultset -- ",
+          e);
       }
     }
-    return  outValue;
+
+    return outValue;
   }
 
-  /*
-   *   select-Operator um einen Datensatz zu bekommen.
-   *   @param id Primaerschluessel des Datensatzes.
-   *   @return liefert EntityObject des gefundenen Datensatzes oder null.
+  /**
+   * Return an entity specified by id, or <code>null</code> if no such
+   * entity exists.
    */
-  public Entity selectById(String id)
-    throws StorageObjectException {
+  public Entity selectById(String anId) throws DatabaseExc {
+    if ((anId == null) || anId.equals("")) {
+      throw new DatabaseExc("Database.selectById: Missing id");
+    }
+
+    // ask object store for object
+    if (StoreUtil.extendsStorableEntity(entityClass)) {
+      String uniqueId = anId;
+
+      if (entityClass.equals(StorableObjectEntity.class)) {
+        uniqueId += ("@" + mainTable);
+      }
+
+      StoreIdentifier search_sid = new StoreIdentifier(entityClass, uniqueId);
+      logger.debug("CACHE: (dbg) looking for sid " + search_sid.toString());
 
-    if (id==null||id.equals(""))
-      throw new StorageObjectException("id war null");
-    if (cache != null && cache.containsKey(id))
-      return (Entity)cache.get(id);  // wenn cache gesetzt, evtl. kein roundtrip zur Datenbank
+      Entity hit = (Entity) o_store.use(search_sid);
+
+      if (hit != null) {
+        return hit;
+      }
+    }
+
+    Connection con = obtainConnection();
+    Entity returnEntity = null;
+    PreparedStatement statement = null;
 
-    Statement stmt=null;Connection con=getPooledCon();
-    Entity returnEntity=null;
     try {
       ResultSet rs;
-      String selectSql = "select * from " + theTable + " where " + thePKeyName + "=" + id;
-      stmt = con.createStatement();
-      rs = executeSql(stmt, selectSql);
+      String query = "select * from " + mainTable + " where " + primaryKeyField + " = ?";
+
+      statement = con.prepareStatement(query);
+      statement.setString(1, anId);
+
+      logQueryBefore(query);
+
+      long startTime = System.currentTimeMillis();
+      try {
+        rs = statement.executeQuery();
+
+        logQueryAfter(query, (System.currentTimeMillis() - startTime));
+      }
+      catch (SQLException e) {
+        logQueryError(query, (System.currentTimeMillis() - startTime), e);
+        throw e;
+      }
+
       if (rs != null) {
-        if (evaluatedMetaData==false) evalMetaData(rs.getMetaData());
-        if (rs.next())
+        if (rs.next()) {
           returnEntity = makeEntityFromResultSet(rs);
-        else theLog.printDebugInfo("Keine daten fuer id: " + id + "in Tabelle" + theTable);
+        }
+        else {
+          logger.warn("No data for id: " + anId + " in table " + mainTable);
+        }
+
         rs.close();
-      } else {
-        theLog.printDebugInfo("No Data for Id " + id + " in Table " + theTable);
       }
-    } catch (SQLException sqe){
-      throwSQLException(sqe,"selectById"); return null;
-    } catch (NumberFormatException e) {
-      theLog.printError("ID ist keine Zahl: " + id);
-    } finally {
-      freeConnection(con,stmt);
+      else {
+        logger.warn("No Data for Id " + anId + " in Table " + mainTable);
+      }
+    }
+    catch (Throwable e) {
+      throw new DatabaseFailure(e);
+    }
+    finally {
+      freeConnection(con, statement);
     }
 
     return returnEntity;
   }
 
-  /**
-   *   select-Operator um Datensaetze zu bekommen, die key = value erfuellen.
-   *   @param key  Datenbankfeld der Bedingung.
-   *   @param value  Wert die der key anehmen muss.
-   *   @return EntityList mit den gematchten Entities
-   */
-
-  public EntityList selectByFieldValue(String aField, String aValue)
-    throws StorageObjectException {
+  public EntityList selectByWhereClauseWithExtraTables(String mainTablePrefix, List extraTables, String aWhereClause) throws DatabaseExc, DatabaseFailure {
+       return selectByWhereClause( mainTablePrefix, extraTables, aWhereClause, "", 0, DEFAULT_LIMIT);
+  }
 
+  public EntityList selectByFieldValue(String aField, String aValue) throws DatabaseExc, DatabaseFailure {
     return selectByFieldValue(aField, aValue, 0);
   }
 
-  /**
-   *   select-Operator um Datensaetze zu bekommen, die key = value erfuellen.
-   *   @param key  Datenbankfeld der Bedingung.
-   *   @param value  Wert die der key anehmen muss.
-   *   @param offset  Gibt an ab welchem Datensatz angezeigt werden soll.
-   *   @return EntityList mit den gematchten Entities
-   */
-
-  public EntityList selectByFieldValue(String aField, String aValue, int offset)
-    throws StorageObjectException {
-
-    return selectByWhereClause(aField + "=" + aValue, offset);
+  public EntityList selectByFieldValue(String aField, String aValue, int offset) throws DatabaseExc, DatabaseFailure {
+    return selectByWhereClause(aField + "='" + JDBCStringRoutines.escapeStringLiteral(aValue)+"'", offset);
   }
 
-
-  /**
-   * select-Operator liefert eine EntityListe mit den gematchten Datensätzen zurück.
-   * Also offset wird der erste Datensatz genommen.
-   *
-   * @param wc where-Clause
-   * @return EntityList mit den gematchten Entities
-   * @exception StorageObjectException
-   */
-  public EntityList selectByWhereClause(String where)
-    throws StorageObjectException {
-
+  public EntityList selectByWhereClause(String where) throws DatabaseExc, DatabaseFailure {
     return selectByWhereClause(where, 0);
   }
 
-
-  /**
-   * select-Operator liefert eine EntityListe mit den gematchten Datensätzen zurück.
-   * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
-   *
-   * @param wc where-Clause
-   * @param offset ab welchem Datensatz.
-   * @return EntityList mit den gematchten Entities
-   * @exception StorageObjectException
-   */
-  public EntityList selectByWhereClause(String whereClause, int offset)
-    throws StorageObjectException {
-
+  public EntityList selectByWhereClause(String whereClause, int offset) throws DatabaseExc, DatabaseFailure {
     return selectByWhereClause(whereClause, null, offset);
   }
 
-  /**
-   * select-Operator liefert eine EntityListe mit den gematchten Datensätzen zurück.
-   * Also offset wird der erste Datensatz genommen.
-   * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
-   *
-   * @param wc where-Clause
-   * @param ob orderBy-Clause
-   * @return EntityList mit den gematchten Entities
-   * @exception StorageObjectException
-   */
-
-  public EntityList selectByWhereClause(String where, String order)
-    throws StorageObjectException {
-
-    return selectByWhereClause(where, order, 0);
+  public EntityList selectByWhereClause(String mainTablePrefix, List extraTables, String where, String order) throws DatabaseExc, DatabaseFailure {
+    return selectByWhereClause(mainTablePrefix, extraTables, where, order, 0, DEFAULT_LIMIT);
   }
-  /**
-   * select-Operator liefert eine EntityListe mit den gematchten Datensätzen zurück.
-   * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
-   *
-   * @param wc where-Clause
-   * @param ob orderBy-Clause
-   * @param offset ab welchem Datensatz
-   * @return EntityList mit den gematchten Entities
-   * @exception StorageObjectException
-   */
 
-  public EntityList selectByWhereClause(String whereClause, String orderBy, int offset)
-    throws StorageObjectException {
+  public EntityList selectByWhereClause(String whereClause, String orderBy, int offset) throws DatabaseExc, DatabaseFailure {
+    return selectByWhereClause(whereClause, orderBy, offset, DEFAULT_LIMIT);
+  }
 
-    return selectByWhereClause(whereClause, orderBy, offset, defaultLimit);
+  public EntityList selectByWhereClause(String aWhereClause, String anOrderByClause,
+            int offset, int limit) throws DatabaseExc, DatabaseFailure {
+    return selectByWhereClause("", null, aWhereClause, anOrderByClause, offset, limit);
   }
 
+  public EntityList selectByWhereClause(
+      String aMainTablePrefix, List anExtraTables,
+      String aWhereClause, String anOrderByClause,
+                       int anOffset, int aLimit) throws DatabaseExc, DatabaseFailure {
 
-  /**
-   * select-Operator liefert eine EntityListe mit den gematchten Datensätzen zurück.
-   * @param wc where-Clause
-   * @param ob orderBy-Clause
-   * @param offset ab welchem Datensatz
-   * @param limit wieviele Datensätze
-   * @return EntityList mit den gematchten Entities
-   * @exception StorageObjectException
-   */
+    if (anExtraTables!=null && ((String) anExtraTables.get(0)).trim().equals("")){
+      anExtraTables=null;
+    }
 
-  public EntityList selectByWhereClause(String wc, String ob, int offset, int limit)
-    throws StorageObjectException   {
+    // check o_store for entitylist
+    // only if no relational select
+    if (anExtraTables==null) {
+      if (StoreUtil.extendsStorableEntity(entityClass)) {
+         StoreIdentifier searchSid = new StoreIdentifier(entityClass,
+               StoreContainerType.STOC_TYPE_ENTITYLIST,
+               StoreUtil.getEntityListUniqueIdentifierFor(mainTable,
+                aWhereClause, anOrderByClause, anOffset, aLimit));
+         EntityList hit = (EntityList) o_store.use(searchSid);
+
+         if (hit != null) {
+            return hit;
+         }
+      }
+    }
 
-    // local
-    EntityList    theReturnList=null;
-    Connection    con=null;
-    Statement     stmt=null;
-    ResultSet     rs;
-    int       offsetCount = 0;
-    int           count=0;
+    RecordRetriever retriever = new RecordRetriever(mainTable, aMainTablePrefix);
 
+    EntityList result = null;
+    Connection connection = null;
 
-    // build sql-statement
-    if (wc != null && wc.length() == 0) {
-      wc = null;
+    if (anExtraTables!=null) {
+      Iterator i = anExtraTables.iterator();
+      while (i.hasNext()) {
+        String table = (String) i.next();
+        if (!"".equals(table)) {
+          retriever.addExtraTable(table);
+        }
+      }
     }
-    StringBuffer countSql = new StringBuffer("select count(*) from ").append(theTable);
-    StringBuffer selectSql = new StringBuffer("select * from ").append(theTable);
-    if (wc != null) {
-      selectSql.append(" where ").append(wc);
-      countSql.append(" where ").append(wc);
+
+    if (aWhereClause != null) {
+      retriever.appendWhereClause(aWhereClause);
     }
-    if (ob != null && !(ob.length() == 0)) {
-      selectSql.append(" order by ").append(ob);
+
+    if ((anOrderByClause != null) && !(anOrderByClause.trim().length() == 0)) {
+      retriever.appendOrderByClause(anOrderByClause);
     }
-    if (theAdaptor.hasLimit()) {
-      if (limit > -1 && offset > -1) {
-        selectSql.append(" limit ");
-        if (theAdaptor.reverseLimit()) {
-          selectSql.append(limit).append(",").append(offset);
-        }
-        else {
-          selectSql.append(offset).append(",").append(limit);
-        }
-      }
+
+    if (anOffset>-1 && aLimit>-1) {
+      retriever.setLimit(aLimit+1);
+      retriever.setOffset(anOffset);
     }
 
-      // execute sql
+    Iterator i = getFieldNames().iterator();
+    while (i.hasNext()) {
+      retriever.addField((String) i.next());
+    }
+
+    // execute sql
     try {
-      con = getPooledCon();
-      stmt = con.createStatement();
-      // counting rows
-      if (theAdaptor.hasLimit()) {
-        rs = executeSql(stmt, countSql.toString());
-        if (rs != null) {
-          if (rs.next())
-            count = rs.getInt(1);
-          rs.close();
+      connection = obtainConnection();
+      ResultSet resultSet = retriever.execute(connection);
+
+      boolean hasMore = false;
+
+      if (resultSet != null) {
+        result = new EntityList();
+        Entity entity;
+        int position = 0;
+
+        while (((aLimit == -1) || (position<aLimit)) && resultSet.next()) {
+          entity = makeEntityFromResultSet(resultSet);
+          result.add(entity);
+          position++;
         }
-        else
-          theLog.printError("Mh. Konnte nicht zaehlen: " + countSql);
+
+        hasMore = resultSet.next();
+        resultSet.close();
       }
-      // hier select
-      rs = executeSql(stmt, selectSql.toString());
-      if (rs != null) {
-        theReturnList = new EntityList();
-        if (evaluatedMetaData == false) {
-          evalMetaData(rs.getMetaData());
+
+      if (result != null) {
+        result.setOffset(anOffset);
+        result.setWhere(aWhereClause);
+        result.setOrder(anOrderByClause);
+        result.setStorage(this);
+        result.setLimit(aLimit);
+
+        if (hasMore) {
+          result.setNextBatch(anOffset + aLimit);
         }
-        Entity theResultEntity;
-        while (rs.next()) {
-          theResultEntity = makeEntityFromResultSet(rs);
-          theReturnList.add(theResultEntity);
-          offsetCount++;
+
+        if (anExtraTables==null && StoreUtil.extendsStorableEntity(entityClass)) {
+          StoreIdentifier sid = result.getStoreIdentifier();
+          logger.debug("CACHE (add): " + sid.toString());
+          o_store.add(sid);
         }
-        rs.close();
       }
-      // making entitylist
-      if (!(theAdaptor.hasLimit()))
-        count = offsetCount;
-      if (theReturnList != null) {
-        theReturnList.setCount(count);
-        theReturnList.setOffset(offset);
-        theReturnList.setWhere(wc);
-        theReturnList.setOrder(ob);
-        if (offset >= limit) {
-          theReturnList.setPrevBatch(offset - limit);
-        }
-        if (offset + offsetCount < count) {
-          theReturnList.setNextBatch(offset + limit);
+    }
+    catch (Throwable e) {
+      throw new DatabaseFailure(e);
+    }
+    finally {
+      try {
+        if (connection != null) {
+          freeConnection(connection);
         }
+      } catch (Throwable t) {
       }
-    } catch (SQLException sqe) {
-      throwSQLException(sqe, "selectByWhereClause");
-    } finally {
-      freeConnection(con, stmt);
     }
-    return  theReturnList;
-  }
 
-  /**
-   *  Bastelt aus einer Zeile der Datenbank ein EntityObjekt.
-   *
-   *  @param rs Das ResultSetObjekt.
-   *  @return Entity Die Entity.
-   */
+    return result;
+  }
 
-  public Entity makeEntityFromResultSet (ResultSet rs) throws StorageObjectException {
-    HashMap theResultHash = new HashMap();
+  private Entity makeEntityFromResultSet(ResultSet rs) {
+    Map fields = new HashMap();
     String theResult = null;
-    int theType;
+    int type;
     Entity returnEntity = null;
+
     try {
-      int size = metadataFields.size();
-      for (int i = 0; i < size; i++) {
-        // alle durchlaufen bis nix mehr da
-        theType = metadataTypes[i];
-        if (theType == java.sql.Types.LONGVARBINARY) {
-          InputStream us = rs.getAsciiStream(i + 1);
-          if (us != null) {
-            InputStreamReader is = new InputStreamReader(us);
+      if (StoreUtil.extendsStorableEntity(entityClass)) {
+         StoreIdentifier searchSid = StorableObjectEntity.getStoreIdentifier(this,
+               entityClass, rs);
+         Entity hit = (Entity) o_store.use(searchSid);
+         if (hit != null) return hit;
+      }
+
+      for (int i = 0; i < getFieldNames().size(); i++) {
+        type = fieldTypes[i];
+
+        if (type == java.sql.Types.LONGVARBINARY) {
+          InputStreamReader is =
+            (InputStreamReader) rs.getCharacterStream(i + 1);
+
+          if (is != null) {
             char[] data = new char[32768];
             StringBuffer theResultString = new StringBuffer();
             int len;
+
             while ((len = is.read(data)) > 0) {
               theResultString.append(data, 0, len);
             }
+
             is.close();
             theResult = theResultString.toString();
           }
@@ -510,578 +517,669 @@ public class Database implements StorageObject {
           }
         }
         else {
-          theResult = getValueAsString(rs, (i + 1), theType);
+          theResult = getValueAsString(rs, (i + 1), type);
         }
+
         if (theResult != null) {
-          theResultHash.put(metadataFields.get(i), theResult);
+          fields.put(getFieldNames().get(i), theResult);
         }
       }
-      if (cache != null && theResultHash.containsKey(thePKeyName) && cache.containsKey((String)theResultHash.get(thePKeyName))) {
-        //theLog.printDebugInfo("CACHE: (out) "+ theResultHash.get(thePKeyName)+ " :"+theTable);
-        returnEntity = (Entity)cache.get((String)theResultHash.get(thePKeyName));
+
+      if (entityClass != null) {
+        returnEntity = createNewEntity();
+        returnEntity.setFieldValues(fields);
+
+        if (returnEntity instanceof StorableObject) {
+          logger.debug("CACHE: ( in) " + returnEntity.getId() + " :" + mainTable);
+          o_store.add(((StorableObject) returnEntity).getStoreIdentifier());
+        }
       }
       else {
-        if (theEntityClass != null) {
-          returnEntity = (Entity)theEntityClass.newInstance();
-          returnEntity.setValues(theResultHash);
-          returnEntity.setStorage(myselfDatabase);
-          if (cache != null) {
-            //theLog.printDebugInfo("CACHE: ( in) " + returnEntity.getId() + " :"+theTable);
-            cache.put(returnEntity.getId(), returnEntity);
-          }
-        }
-        else {
-          throwStorageObjectException("Interner Fehler theEntityClass nicht gesetzt!");
-        }
+        throw new DatabaseExc("Internal Error: entityClass not set!");
       }
-    }           // try
-    catch (IllegalAccessException e) {
-      throwStorageObjectException("Kein Zugriff! -- " + e.toString());
-    } catch (IOException e) {
-      throwStorageObjectException("IOException! -- " + e.toString());
-    } catch (InstantiationException e) {
-      throwStorageObjectException("Keine Instantiiierung! -- " + e.toString());
-    } catch (SQLException sqe) {
-      throwSQLException(sqe, "makeEntityFromResultSet");
-      return  null;
-    }
-    return  returnEntity;
+    }
+    catch (Throwable e) {
+      throw new DatabaseFailure(e);
+    }
+
+    return returnEntity;
   }
 
   /**
-   * insert-Operator: fügt eine Entity in die Tabelle ein. Eine Spalte WEBDB_CREATE
-   * wird automatisch mit dem aktuellen Datum gefuellt.
+   * Inserts an entity into the database.
    *
-   * @param theEntity
-   * @return der Wert des Primary-keys der eingefügten Entity
+   * @param anEntity
+   * @return the value of the primary key of the inserted record
    */
-  public String insert (Entity theEntity) throws StorageObjectException {
+  public String insert(Entity anEntity) throws DatabaseFailure {
+    invalidateStore();
+
+    RecordInserter inserter =
+        new RecordInserter(mainTable, getPrimaryKeySequence());
+
     String returnId = null;
     Connection con = null;
-    PreparedStatement pstmt = null;
-    //cache
-    invalidatePopupCache();
+
     try {
-      HashMap theEntityValues = theEntity.getValues();
-      ArrayList streamedInput = theEntity.streamedInput();
-      StringBuffer f = new StringBuffer();
-      StringBuffer v = new StringBuffer();
-      String aField, aValue;
-      boolean firstField = true;
+      String fieldName;
+
       // make sql-string
-      for (int i = 0; i < getFields().size(); i++) {
-        aField = (String)getFields().get(i);
-        if (!aField.equals(thePKeyName)) {
-          aValue = null;
-          // sonderfaelle
-          if (aField.equals("webdb_create")) {
-            aValue = "NOW()";
+      for (int i = 0; i < getFieldNames().size(); i++) {
+        fieldName = (String) getFieldNames().get(i);
+
+        if (!fieldName.equals(primaryKeyField)) {
+          // exceptions
+          if (!anEntity.hasFieldValue(fieldName) && (
+              fieldName.equals("webdb_create") ||
+              fieldName.equals("webdb_lastchange"))) {
+            inserter.assignVerbatim(fieldName, "now()");
           }
           else {
-            if (streamedInput != null && streamedInput.contains(aField)) {
-              aValue = "?";
-            }
-            else {
-              if (theEntityValues.containsKey(aField)) {
-                aValue = "'" + StringUtil.quote((String)theEntityValues.get(aField))
-                    + "'";
-              }
+            if (anEntity.hasFieldValue(fieldName)) {
+              inserter.assignString(fieldName, anEntity.getFieldValue(fieldName));
             }
           }
-          // wenn Wert gegeben, dann einbauen
-          if (aValue != null) {
-            if (firstField == false) {
-              f.append(",");
-              v.append(",");
-            }
-            else {
-              firstField = false;
-            }
-            f.append(aField);
-            v.append(aValue);
-          }
         }
-      }         // end for
-      // insert into db
-      StringBuffer sqlBuf = new StringBuffer("insert into ").append(theTable).append("(").append(f).append(") values (").append(v).append(")");
-      String sql = sqlBuf.toString();
-      theLog.printInfo("INSERT: " + sql);
-      con = getPooledCon();
-      con.setAutoCommit(false);
-      pstmt = con.prepareStatement(sql);
-      if (streamedInput != null) {
-        for (int i = 0; i < streamedInput.size(); i++) {
-          String inputString = (String)theEntityValues.get(streamedInput.get(i));
-          pstmt.setBytes(i + 1, inputString.getBytes());
-        }
-      }
-      int ret = pstmt.executeUpdate();
-      if(ret == 0){
-        //insert failed
-        return null;
       }
-      pstmt = con.prepareStatement(theAdaptor.getLastInsertSQL((Database)myselfDatabase));
-      ResultSet rs = pstmt.executeQuery();
-      rs.next();
-      returnId = rs.getString(1);
-      theEntity.setId(returnId);
-    } catch (SQLException sqe) {
-      throwSQLException(sqe, "insert");
-    } finally {
-      try {
-        con.setAutoCommit(true);
-      } catch (Exception e) {
-        ;
-      }
-      freeConnection(con, pstmt);
+
+      con = obtainConnection();
+      returnId = inserter.execute(con);
+
+      anEntity.setId(returnId);
+    }
+    finally {
+      freeConnection(con);
     }
-    return  returnId;
+
+    return returnId;
   }
 
   /**
-   * update-Operator: aktualisiert eine Entity. Eine Spalte WEBDB_LASTCHANGE
-   * wird automatisch mit dem aktuellen Datum gefuellt.
+   * Updates an entity in the database
    *
    * @param theEntity
    */
-  public void update (Entity theEntity) throws StorageObjectException {
-    Connection con = null;
-    PreparedStatement pstmt = null;
-    ArrayList streamedInput = theEntity.streamedInput();
-    HashMap theEntityValues = theEntity.getValues();
-    String id = theEntity.getId();
-    String aField;
-    StringBuffer fv = new StringBuffer();
-    boolean firstField = true;
-    //cache
-    invalidatePopupCache();
+  public void update(Entity theEntity) throws DatabaseFailure {
+    invalidateStore();
+
+    RecordUpdater generator = new RecordUpdater(getTableName(), theEntity.getId());
+
     // build sql statement
-    for (int i = 0; i < getFields().size(); i++) {
-      aField = (String)metadataFields.get(i);
-      // only normal cases
-      if (!(aField.equals(thePKeyName) || aField.equals("webdb_create") ||
-          aField.equals("webdb_lastchange") || (streamedInput != null && streamedInput.contains(aField)))) {
-        if (theEntityValues.containsKey(aField)) {
-          if (firstField == false) {
-            fv.append(", ");
-          }
-          else {
-            firstField = false;
-          }
-          fv.append(aField).append("='").append(StringUtil.quote((String)theEntityValues.get(aField))).append("'");
+    for (int i = 0; i < getFieldNames().size(); i++) {
+      String field = (String) getFieldNames().get(i);
+
+      if (!(field.equals(primaryKeyField) ||
+            "webdb_create".equals(field) ||
+            "webdb_lastchange".equals(field) ||
+            binaryFields.contains(field))) {
+
+        if (theEntity.hasFieldValue(field)) {
+          generator.assignString(field, theEntity.getFieldValue(field));
         }
       }
     }
-    StringBuffer sql = new StringBuffer("update ").append(theTable).append(" set ").append(fv);
+
     // exceptions
-    if (metadataFields.contains("webdb_lastchange")) {
-      sql.append(",webdb_lastchange=NOW()");
+    if (hasField("webdb_lastchange")) {
+      generator.assignVerbatim("webdb_lastchange", "now()");
     }
-    if (streamedInput != null) {
-      for (int i = 0; i < streamedInput.size(); i++) {
-        sql.append(",").append(streamedInput.get(i)).append("=?");
+
+    // special case: the webdb_create requires the field in yyyy-mm-dd HH:mm
+    // format so anything extra will be ignored. -mh
+    if (hasField("webdb_create") &&
+        theEntity.hasFieldValue("webdb_create")) {
+      // minimum of 10 (yyyy-mm-dd)...
+      if (theEntity.getFieldValue("webdb_create").length() >= 10) {
+        String dateString = theEntity.getFieldValue("webdb_create");
+
+        // if only 10, then add 00:00 so it doesn't throw a ParseException
+        if (dateString.length() == 10) {
+          dateString = dateString + " 00:00";
+        }
+
+        // TimeStamp stuff
+        try {
+          java.util.Date d = userInputDateFormat.parse(dateString);
+          generator.assignDateTime("webdb_create", d);
+        }
+        catch (ParseException e) {
+          throw new DatabaseFailure(e);
+        }
       }
     }
-    sql.append(" where id=").append(id);
-    theLog.printInfo("UPDATE: " + sql);
-    // execute sql
+    Connection connection = null;
+
     try {
-      con = getPooledCon();
-      con.setAutoCommit(false);
-      pstmt = con.prepareStatement(sql.toString());
-      if (streamedInput != null) {
-        for (int i = 0; i < streamedInput.size(); i++) {
-          String inputString = (String)theEntityValues.get(streamedInput.get(i));
-          pstmt.setBytes(i + 1, inputString.getBytes());
-        }
-      }
-      pstmt.executeUpdate();
-    } catch (SQLException sqe) {
-      throwSQLException(sqe, "update");
-    } finally {
-      try {
-        con.setAutoCommit(true);
-      } catch (Exception e) {
-        ;
+      connection = obtainConnection();
+      generator.execute(connection);
+    }
+    finally {
+      freeConnection(connection);
+    }
+  }
+  
+  private void invalidateObject(String anId) {
+    // ostore send notification
+    if (StoreUtil.extendsStorableEntity(entityClass)) {
+      String uniqueId = anId;
+
+      if (entityClass.equals(StorableObjectEntity.class)) {
+        uniqueId += ("@" + mainTable);
       }
-      freeConnection(con, pstmt);
+
+      logger.debug("CACHE: (del) " + anId);
+
+      StoreIdentifier search_sid =
+        new StoreIdentifier(entityClass,
+          StoreContainerType.STOC_TYPE_ENTITY, uniqueId);
+      o_store.invalidate(search_sid);
     }
   }
 
   /*
-   *   delete-Operator
-   *   @param id des zu loeschenden Datensatzes
-   *   @return boolean liefert true zurueck, wenn loeschen erfolgreich war.
+  *   delete-Operator
+  *   @param id des zu loeschenden Datensatzes
+  *   @return boolean liefert true zurueck, wenn loeschen erfolgreich war.
+   */
+  public boolean delete(String id) throws DatabaseFailure {
+       invalidateObject(id);
+       
+    int resultCode = 0;
+    Connection connection = obtainConnection();
+    PreparedStatement statement = null;
+
+    try {
+       statement = connection.prepareStatement("delete from " + mainTable + " where " + primaryKeyField + "=?");
+           statement.setInt(1, Integer.parseInt(id));
+           logQueryBefore("delete from " + mainTable + " where " + primaryKeyField + "=" + id + "");
+           resultCode = statement.executeUpdate();
+    }
+    catch (SQLException e) {
+       logger.warn("Can't delete record", e);
+    }
+    finally {
+      freeConnection(connection, statement);
+    }
+
+    invalidateStore();
+
+    return (resultCode > 0) ? true : false;
+  }
+
+  /**
+   * Deletes entities based on a where clause
    */
-  public boolean delete (String id) throws StorageObjectException {
+  public int deleteByWhereClause(String aWhereClause) throws DatabaseFailure {
+    invalidateStore();
+
     Statement stmt = null;
     Connection con = null;
-    String sql;
     int res = 0;
-    // loeschen des caches
-    invalidatePopupCache();
-    sql = "delete from " + theTable + " where " + thePKeyName + "='" + id +
-        "'";
-    theLog.printInfo("DELETE " + sql);
+    String sql =
+      "delete from " + mainTable + " where " + aWhereClause;
+
+    //theLog.printInfo("DELETE " + sql);
     try {
-      con = getPooledCon();
+      con = obtainConnection();
       stmt = con.createStatement();
       res = stmt.executeUpdate(sql);
-    } catch (SQLException sqe) {
-      throwSQLException(sqe, "delete");
-    } finally {
-      freeConnection(con, stmt);
     }
-    if (cache != null) {
-      theLog.printInfo("CACHE: deleted " + id);
-      cache.remove(id);
+    catch (Throwable e) {
+      throw new DatabaseFailure(e);
     }
-    return  (res > 0) ? true : false;
+    finally {
+      freeConnection(con, stmt);
+    }
+
+    return res;
   }
 
   /* noch nicht implementiert.
-   * @return immer false
+  * @return immer false
    */
-  public boolean delete (EntityList theEntityList) {
-    invalidatePopupCache();
-    return  false;
+  public boolean delete(EntityList theEntityList) {
+    return false;
   }
 
-  /**
-   * Diese Methode sollte ueberschrieben werden, wenn fuer die abgeleitete Database-Klasse
-   * eine SimpleList mit Standard-Popupdaten erzeugt werden koennen soll.
-   * @return null
-   */
-  public SimpleList getPopupData () {
-    return  null;
-  }
+  public ResultSet executeSql(Statement stmt, String sql)
+                            throws DatabaseFailure, SQLException {
+    ResultSet rs;
+    logQueryBefore(sql);
+    long startTime = System.currentTimeMillis();
+    try {
+      rs = stmt.executeQuery(sql);
 
-  /**
-   *  Holt Daten fuer Popups.
-   *  @param name  Name des Feldes.
-   *  @param hasNullValue  Wenn true wird eine leerer  Eintrag fuer die Popups erzeugt.
-   *  @return SimpleList Gibt freemarker.template.SimpleList zurueck.
-   */
-  public SimpleList getPopupData (String name, boolean hasNullValue) {
-    return  getPopupData(name, hasNullValue, null);
+      logQueryAfter(sql, (System.currentTimeMillis() - startTime));
+    }
+    catch (SQLException e) {
+      logQueryError(sql, (System.currentTimeMillis() - startTime), e);
+      throw e;
+    }
+
+    return rs;
   }
 
-  /**
-   *  Holt Daten fuer Popups.
-   *  @param name  Name des Feldes.
-   *  @param hasNullValue  Wenn true wird eine leerer  Eintrag fuer die Popups erzeugt.
-   *  @param where  Schraenkt die Selektion der Datensaetze ein.
-   *  @return SimpleList Gibt freemarker.template.SimpleList zurueck.
-   */
-  public SimpleList getPopupData (String name, boolean hasNullValue, String where) {
-    return  getPopupData(name, hasNullValue, where, null);
+  private Map processRow(ResultSet aResultSet) throws DatabaseFailure {
+    try {
+      Map result = new HashMap();
+      ResultSetMetaData metaData = aResultSet.getMetaData();
+      int nrColumns = metaData.getColumnCount();
+      for (int i=0; i<nrColumns; i++) {
+        result.put(metaData.getColumnName(i+1), getValueAsString(aResultSet, i+1, metaData.getColumnType(i+1)));
+      }
+
+      return result;
+    }
+    catch (Throwable e) {
+      throw new DatabaseFailure(e);
+    }
   }
 
   /**
-   *  Holt Daten fuer Popups.
-   *  @param name  Name des Feldes.
-   *  @param hasNullValue  Wenn true wird eine leerer  Eintrag fuer die Popups erzeugt.
-   *  @param where  Schraenkt die Selektion der Datensaetze ein.
-   *  @param order  Gibt ein Feld als Sortierkriterium an.
-   *  @return SimpleList Gibt freemarker.template.SimpleList zurueck.
+   * Executes 1 sql statement and returns the results as a <code>List</code> of
+   * <code>Map</code>s
    */
-  public SimpleList getPopupData (String name, boolean hasNullValue, String where,
-      String order) {
-    // caching
-    if (hasPopupCache && popupCache != null)
-      return  popupCache;
-    SimpleList simpleList = null;
-    Connection con = null;
-    Statement stmt = null;
-    // build sql
-    StringBuffer sql = new StringBuffer("select ").append(thePKeyName).append(",").append(name).append(" from ").append(theTable);
-    if (where != null && !(where.length() == 0))
-      sql.append(" where ").append(where);
-    sql.append(" order by ");
-    if (order != null && !(order.length() == 0))
-      sql.append(order);
-    else
-      sql.append(name);
-    // execute sql
+  public List executeFreeSql(String sql, int aLimit) throws DatabaseFailure, DatabaseExc {
+    Connection connection = null;
+    Statement statement = null;
     try {
-      con = getPooledCon();
-      stmt = con.createStatement();
-      ResultSet rs = executeSql(stmt, sql.toString());
-      if (rs != null) {
-        if (evaluatedMetaData == false)
-          get_meta_data();
-        simpleList = new SimpleList();
-        SimpleHash popupDict;
-        if (hasNullValue) {
-          popupDict = new SimpleHash();
-          popupDict.put("key", "");
-          popupDict.put("value", "--");
-          simpleList.add(popupDict);
-        }
-        while (rs.next()) {
-          popupDict = new SimpleHash();
-          popupDict.put("key", getValueAsString(rs, 1, thePKeyType));
-          popupDict.put("value", rs.getString(2));
-          simpleList.add(popupDict);
+      List result = new ArrayList();
+      connection = obtainConnection();
+      statement = connection.createStatement();
+      ResultSet resultset = executeSql(statement, sql);
+      try {
+        while (resultset.next() && result.size() < aLimit) {
+          result.add(processRow(resultset));
         }
-        rs.close();
       }
-    } catch (Exception e) {
-      theLog.printDebugInfo(e.toString());
-    } finally {
-      freeConnection(con, stmt);
+      finally {
+        resultset.close();
+      }
+
+      return result;
+    }
+    catch (Throwable e) {
+      throw new DatabaseFailure(e);
     }
-    if (hasPopupCache) {
-      popupCache = simpleList;
+    finally {
+      if (connection!=null) {
+        freeConnection(connection, statement);
+      }
     }
-    return  simpleList;
   }
 
   /**
-   * Liefert alle Daten der Tabelle als SimpleHash zurueck. Dies wird verwandt,
-   * wenn in den Templates ein Lookup-Table benoetigt wird. Sollte nur bei kleinen
-   * Tabellen Verwendung finden.
-   * @return SimpleHash mit den Tabellezeilen.
+   * Executes 1 sql statement and returns the first result row as a <code>Map</code>s
+   * (<code>null</code> if there wasn't any row)
    */
-  public SimpleHash getHashData () {
-    if (hashCache == null) {
+  public Map executeFreeSingleRowSql(String anSqlStatement) throws DatabaseFailure, DatabaseExc {
+    try {
+      List resultList = executeFreeSql(anSqlStatement, 1);
       try {
-        hashCache = HTMLTemplateProcessor.makeSimpleHash(selectByWhereClause("",
-            -1));
-      } catch (StorageObjectException e) {
-        theLog.printDebugInfo(e.toString());
+        if (resultList.size()>0)
+          return (Map) resultList.get(0);
+                               return null;
+      }
+      finally {
       }
     }
-    return  hashCache;
+    catch (Throwable t) {
+      throw new DatabaseFailure(t);
+    }
   }
 
-  /* invalidates the popupCache
+  /**
+   * Executes 1 sql statement and returns the first column of the first result row as a <code>String</code>s
+   * (<code>null</code> if there wasn't any row)
    */
-  protected void invalidatePopupCache () {
+  public String executeFreeSingleValueSql(String sql) throws DatabaseFailure, DatabaseExc {
+    Map row = executeFreeSingleRowSql(sql);
 
-    /** @todo  invalidates toooo much */
-    popupCache = null;
-    hashCache = null;
-  }
+    if (row==null)
+      return null;
 
-  /**
-   * Diese Methode fuehrt den Sqlstring <i>sql</i> aus und timed im Logfile.
-   * @param stmt Statemnt
-   * @param sql Sql-String
-   * @return ResultSet
-   * @exception StorageObjectException, SQLException
-   */
-  public ResultSet executeSql (Statement stmt, String sql) throws StorageObjectException,
-      SQLException {
-    long startTime = (new java.util.Date()).getTime();
-    ResultSet rs = stmt.executeQuery(sql);
-    theLog.printInfo((new java.util.Date().getTime() - startTime) + "ms. for: "
-        + sql);
-    return  rs;
+    Iterator i = row.values().iterator();
+    if (i.hasNext())
+      return (String) i.next();
+               return null;
   }
 
-  /**
-   * Fuehrt Statement stmt aus und liefert Resultset zurueck. Das SQL-Statment wird
-   * getimed und geloggt.
-   * @param stmt PreparedStatement mit der SQL-Anweisung
-   * @return Liefert ResultSet des Statements zurueck.
-   * @exception StorageObjectException, SQLException
-   */
-  public ResultSet executeSql (PreparedStatement stmt) throws StorageObjectException,
-      SQLException {
-    long startTime = (new java.util.Date()).getTime();
-    ResultSet rs = stmt.executeQuery();
-    theLog.printInfo((new java.util.Date().getTime() - startTime) + "ms.");
-    return  rs;
+  public int getSize(String where) throws SQLException, DatabaseFailure {
+    return getSize("", null, where);
   }
-
-    /**
+  /**
    * returns the number of rows in the table
    */
-  public int getSize(String where)
-    throws SQLException,StorageObjectException
-  {
-    long  startTime = (new java.util.Date()).getTime();
-    String sql = "SELECT count(*) FROM "+ theTable + " where " + where;
-    //theLog.printDebugInfo("trying: "+ sql);
+  public int getSize(String mainTablePrefix, List extraTables, String where) throws SQLException, DatabaseFailure {
+
+    String useTable = mainTable;
+    if (mainTablePrefix!=null && mainTablePrefix.trim().length()>0) {
+      useTable+=" "+mainTablePrefix;
+    }
+    StringBuffer countSql =
+      new StringBuffer("select count(*) from ").append(useTable);
+        // append extratables, if necessary
+      if (extraTables!=null) {
+        for (int i=0;i < extraTables.size();i++) {
+          if (!extraTables.get(i).equals("")) {
+            countSql.append( ", " + extraTables.get(i));
+          }
+        }
+      }
+
+    if ((where != null) && (where.length() != 0)) {
+      countSql.append( " where " + where);
+    }
+
     Connection con = null;
     Statement stmt = null;
     int result = 0;
+    logQueryBefore(countSql.toString());
+    long startTime = System.currentTimeMillis();
 
     try {
-      con = getPooledCon();
+      con = obtainConnection();
       stmt = con.createStatement();
-      ResultSet rs = executeSql(stmt,sql);
-      while(rs.next()){
+
+      ResultSet rs = executeSql(stmt, countSql.toString());
+
+      while (rs.next()) {
         result = rs.getInt(1);
       }
-    } catch (SQLException e) {
-      theLog.printError(e.toString());
-    } finally {
-      freeConnection(con,stmt);
     }
-    theLog.printInfo(theTable + " has "+ result +" rows where " + where);
-    theLog.printInfo((new java.util.Date().getTime() - startTime) + "ms. for: " + sql);
+    catch (SQLException e) {
+      logger.error("Database.getSize: " + e.getMessage());
+    }
+    finally {
+      freeConnection(con, stmt);
+    }
+    logQueryAfter(countSql.toString(), (System.currentTimeMillis() - startTime));
+
     return result;
   }
 
   public int executeUpdate(Statement stmt, String sql)
-    throws StorageObjectException, SQLException
-  {
-    long  startTime = (new java.util.Date()).getTime();
-    //theLog.printDebugInfo("trying: "+ sql);
-    int rs = stmt.executeUpdate(sql);
-    theLog.printInfo((new java.util.Date().getTime() - startTime) + "ms. for: " + sql);
+    throws DatabaseFailure, SQLException {
+    int rs;
+
+    logQueryBefore(sql);
+    long startTime = System.currentTimeMillis();
+
+    try {
+      rs = stmt.executeUpdate(sql);
+
+      logQueryAfter(sql, (System.currentTimeMillis() - startTime));
+    }
+    catch (SQLException e) {
+      logQueryError(sql, (System.currentTimeMillis() - startTime), e);
+      throw e;
+    }
+
     return rs;
   }
 
   public int executeUpdate(String sql)
-    throws StorageObjectException, SQLException
-  {
-    int result=-1;
-    long  startTime = (new java.util.Date()).getTime();
-    Connection con=null;PreparedStatement pstmt=null;
+    throws DatabaseFailure, SQLException {
+    int result = -1;
+    Connection con = null;
+    PreparedStatement pstmt = null;
+
+    logQueryBefore(sql);
+    long startTime = System.currentTimeMillis();
     try {
-      con=getPooledCon();
+      con = obtainConnection();
       pstmt = con.prepareStatement(sql);
       result = pstmt.executeUpdate();
+      logQueryAfter(sql, System.currentTimeMillis() - startTime);
+    }
+    catch (Throwable e) {
+      logQueryError(sql, System.currentTimeMillis() - startTime, e);
+      throw new DatabaseFailure("Database.executeUpdate(" + sql + "): " + e.getMessage(), e);
+    }
+    finally {
+      freeConnection(con, pstmt);
     }
-    catch (Exception e) {theLog.printDebugInfo("settimage :: setImage gescheitert: "+e.toString());}
-    finally { freeConnection(con,pstmt); }
-    theLog.printInfo((new java.util.Date().getTime() - startTime) + "ms. for: " + sql);
     return result;
   }
 
   /**
-   * Wertet ResultSetMetaData aus und setzt interne Daten entsprechend
-   * @param md ResultSetMetaData
-   * @exception StorageObjectException
+   * Processes the metadata for the table this Database object is responsible for.
    */
-  private void evalMetaData (ResultSetMetaData md) throws StorageObjectException {
-    this.evaluatedMetaData = true;
-    this.metadataFields = new ArrayList();
-    this.metadataLabels = new ArrayList();
-    this.metadataNotNullFields = new ArrayList();
+  private void processMetaData(ResultSetMetaData aMetaData) throws DatabaseFailure {
+    fieldNames = new ArrayList();
+    fieldNameToType = new HashMap();
+
     try {
-      int numFields = md.getColumnCount();
-      this.metadataTypes = new int[numFields];
-      String aField;
-      int aType;
+      int numFields = aMetaData.getColumnCount();
+      fieldTypes = new int[numFields];
+
       for (int i = 1; i <= numFields; i++) {
-        aField = md.getColumnName(i);
-        metadataFields.add(aField);
-        metadataLabels.add(md.getColumnLabel(i));
-        aType = md.getColumnType(i);
-        metadataTypes[i - 1] = aType;
-        if (aField.equals(thePKeyName)) {
-          thePKeyType = aType;
-        }
-        if (md.isNullable(i) == md.columnNullable) {
-          metadataNotNullFields.add(aField);
-        }
+        fieldNames.add(aMetaData.getColumnName(i));
+        fieldTypes[i - 1] = aMetaData.getColumnType(i);
+        fieldNameToType.put(aMetaData.getColumnName(i), new Integer(aMetaData.getColumnType(i)));
       }
-    } catch (SQLException e) {
-      throwSQLException(e, "evalMetaData");
+    }
+    catch (Throwable e) {
+      throw new DatabaseFailure(e);
     }
   }
 
   /**
-   *  Wertet die Metadaten eines Resultsets fuer eine Tabelle aus,
-   *  um die alle Columns und Typen einer Tabelle zu ermitteln.
+   * Retrieves metadata from the table this Database object represents
    */
-  private void get_meta_data () throws StorageObjectException {
-    Connection con = null;
-    PreparedStatement pstmt = null;
-    String sql = "select * from " + theTable + " where 0=1";
+  private void acquireMetaData() throws DatabaseFailure {
+    Connection connection = null;
+    PreparedStatement statement = null;
+    String sql = "select * from " + mainTable + " where 0=1";
+
     try {
-      con = getPooledCon();
-      pstmt = con.prepareStatement(sql);
-      theLog.printInfo("METADATA: " + sql);
-      ResultSet rs = pstmt.executeQuery();
-      evalMetaData(rs.getMetaData());
-      rs.close();
-    } catch (SQLException e) {
-      throwSQLException(e, "get_meta_data");
-    } finally {
-      freeConnection(con, pstmt);
+      connection = obtainConnection();
+      statement = connection.prepareStatement(sql);
+
+      logger.debug("METADATA: " + sql);
+      ResultSet resultSet = statement.executeQuery();
+      try {
+        processMetaData(resultSet.getMetaData());
+      }
+      finally {
+        resultSet.close();
+      }
+    }
+    catch (Throwable e) {
+      throw new DatabaseFailure(e);
+    }
+    finally {
+      freeConnection(connection, statement);
+    }
+  }
+
+  public Connection obtainConnection() throws DatabaseFailure {
+    try {
+      return MirGlobal.getDatabaseEngine().obtainConnection();
+    }
+    catch (Exception e) {
+      throw new DatabaseFailure(e);
     }
   }
 
+  public void freeConnection(Connection aConnection) throws DatabaseFailure {
+    try {
+      MirGlobal.getDatabaseEngine().releaseConnection(aConnection);
+    }
+    catch (Throwable t) {
+      logger.warn("Can't release connection: " + t.toString());
+    }
+  }
+
+  public void freeConnection(Connection aConnection, Statement aStatement) throws DatabaseFailure {
+    try {
+      aStatement.close();
+    }
+    catch (Throwable t) {
+      logger.warn("Can't close statement", t);
+    }
+
+    freeConnection(aConnection);
+  }
+
+  protected void _throwStorageObjectException(Exception e, String aFunction)
+    throws DatabaseFailure {
+
+    if (e != null) {
+      logger.error(e.getMessage() + aFunction);
+      throw new DatabaseFailure(aFunction, e);
+    }
+  }
+
+
   /**
-   * Datenbankverbindung wird geschlossen
+   * Invalidates any cached entity list
    */
-  public void disconnectPool () {
-    try {
-      myBroker.destroy(100);
-    } catch (SQLException sqe) {
-      ;
+  private void invalidateStore() {
+    // invalidating all EntityLists corresponding with entityClass
+    if (StoreUtil.extendsStorableEntity(entityClass)) {
+      StoreContainerType stoc_type =
+        StoreContainerType.valueOf(entityClass, StoreContainerType.STOC_TYPE_ENTITYLIST);
+      o_store.invalidate(stoc_type);
     }
   }
 
   /**
-   * Returns Connection-Object out of the PoolBroker.
-   *
-   * @return Connection Object.
+   * Retrieves a binary value
    */
-  public Connection getPooledCon () throws StorageObjectException {
-    if (myBroker != null) {
-      Connection con = myBroker.getConnection();
-      if (con != null)
-        return  con;
+  public byte[] getBinaryField(String aQuery) throws DatabaseFailure, SQLException {
+    Connection connection=null;
+    Statement statement=null;
+    InputStream inputStream;
+
+    try {
+      connection = obtainConnection();
+      try {
+        connection.setAutoCommit(false);
+        statement = connection.createStatement();
+        ResultSet resultSet = executeSql(statement, aQuery);
+
+        if(resultSet!=null) {
+          if (resultSet.next()) {
+            if (resultSet.getMetaData().getColumnType(1) == java.sql.Types.BINARY) {
+              return resultSet.getBytes(1);
+            }
+            else {
+              inputStream = resultSet.getBlob(1).getBinaryStream();
+              ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
+              StreamCopier.copy(inputStream, outputStream);
+              return outputStream.toByteArray();
+            }
+          }
+          resultSet.close();
+        }
+      }
+      finally {
+        try {
+          connection.setAutoCommit(true);
+        }
+        catch (Throwable e) {
+          logger.error("EntityImages.getImage resetting transaction mode failed: " + e.toString());
+          e.printStackTrace(logger.asPrintWriter(LoggerWrapper.DEBUG_MESSAGE));
+        }
+
+        try {
+          freeConnection(connection, statement);
+        }
+        catch (Throwable e) {
+          logger.error("EntityImages.getImage freeing connection failed: " +e.toString());
+        }
+
+      }
     }
-    throw  new StorageObjectException("No connection to database!");
+    catch (Throwable t) {
+      logger.error("EntityImages.getImage failed: " + t.toString());
+      t.printStackTrace(logger.asPrintWriter(LoggerWrapper.DEBUG_MESSAGE));
+
+      throw new DatabaseFailure(t);
+    }
+
+    return new byte[0];
   }
 
   /**
-   * Connection und StatementObjekt werden geschlossen und an den Connectionpool
-   * zurückgeben
-   * @param con Connection zur Datenbank
-   * @param stmt Statement-Objekt
+   * Sets a binary value for a particular field in a record specified by its identifier
    */
-  public void freeConnection (Connection con, Statement stmt) {
+  public void setBinaryField(String aFieldName, String anObjectId, byte aData[]) throws DatabaseFailure, SQLException {
+    PreparedStatement statement = null;
+    Connection connection = obtainConnection();
+
     try {
-      if (stmt != null)
-        stmt.close();
-    } catch (SQLException e1) {
-      theLog.printDebugInfo(e1.toString());
-    }
-    if (con != null)
-      myBroker.freeConnection(con);
-    else
-      theLog.printDebugInfo("Con was null!");
+      connection.setAutoCommit(false);
+      try {
+        // are we using bytea ?
+        if (getFieldType(aFieldName) == java.sql.Types.BINARY) {
+          statement = connection.prepareStatement(
+                "update " + mainTable + " set " + aFieldName + " = ? where " + getIdFieldName() + "=" + Integer.parseInt(anObjectId));
+          statement.setBytes(1, aData);
+          statement.execute();
+          connection.commit();
+        }
+        // or the old oid's
+        else {
+          PGConnection postgresqlConnection = (org.postgresql.PGConnection) ((DelegatingConnection) connection).getDelegate();
+          LargeObjectManager lobManager = postgresqlConnection.getLargeObjectAPI();
+          int oid = lobManager.create(LargeObjectManager.READ | LargeObjectManager.WRITE);
+          LargeObject obj = lobManager.open(oid, LargeObjectManager.WRITE);  // Now open the file File file =
+          obj.write(aData);
+          obj.close();
+          statement = connection.prepareStatement(
+                "update " + mainTable + " set " + aFieldName + " = ? where " + getIdFieldName() + "=" + Integer.parseInt(anObjectId));
+          statement.setInt(1, oid);
+          statement.execute();
+          connection.commit();
+        }
+      }
+      finally {
+        connection.setAutoCommit(true);
+      }
+    }
+    finally {
+      freeConnection(connection, statement);
+    }
   }
 
   /**
-   * Wertet SQLException aus und wirft dannach eine StorageObjectException
-   * @param sqe SQLException
-   * @param wo Funktonsname, in der die SQLException geworfen wurde
-   * @exception StorageObjectException
+   * Can be overridden to specify a primary key sequence name not named according to
+   * the convention (tablename _id_seq)
    */
-  protected void throwSQLException (SQLException sqe, String wo) throws StorageObjectException {
-    String state = "";
-    String message = "";
-    int vendor = 0;
-    if (sqe != null) {
-      state = sqe.getSQLState();
-      message = sqe.getMessage();
-      vendor = sqe.getErrorCode();
-    }
-    theLog.printError(state + ": " + vendor + " : " + message + " Funktion: "
-        + wo);
-    throw  new StorageObjectException((sqe == null) ? "undefined sql exception" :
-        sqe.toString());
+  protected String getPrimaryKeySequence() {
+    return mainTable+"_id_seq";
   }
 
   /**
-   * Loggt Fehlermeldung mit dem Parameter Message und wirft dannach eine StorageObjectException
-   * @param message Nachricht mit dem Fehler
-   * @exception StorageObjectException
+   * Can be called by subclasses to specify fields that are binary, and that shouldn't
+   * be updated outside of {@link #setBinaryField}
+   *
+   * @param aBinaryField The field name of the binary field
    */
-  void throwStorageObjectException (String message) throws StorageObjectException {
-    theLog.printError(message);
-    throw  new StorageObjectException(message);
+  protected void markBinaryField(String aBinaryField) {
+    binaryFields.add(aBinaryField);
+  }
+
+  private void logQueryBefore(String aQuery) {
+    logger.debug("about to perform QUERY " + aQuery);
+//    (new Throwable()).printStackTrace(logger.asPrintWriter(LoggerWrapper.DEBUG_MESSAGE));
   }
-}
 
+  private void logQueryAfter(String aQuery, long aTime) {
+    logger.info("QUERY " + aQuery + " took " + aTime + "ms.");
+  }
+
+  private void logQueryError(String aQuery, long aTime, Throwable anException) {
+    logger.error("QUERY " + aQuery + " took " + aTime + "ms, but threw exception " + anException.toString());
+  }
 
+  private int getFieldType(String aFieldName) {
+    if (fieldNameToType == null) {
+      acquireMetaData();
+    }
 
+    return ((Integer) fieldNameToType.get(aFieldName)).intValue();
+  }
+}