small fixes here and there
[mir.git] / source / mir / storage / Database.java
index d11554b..a236a48 100755 (executable)
@@ -44,13 +44,11 @@ import java.util.ArrayList;
 import java.util.Calendar;
 import java.util.GregorianCalendar;
 import java.util.HashMap;
-import java.util.*;
+import java.util.Iterator;
+import java.util.List;
 import java.util.Map;
-
-import com.codestudio.util.SQLManager;
-
-import freemarker.template.SimpleHash;
-import freemarker.template.SimpleList;
+import java.util.TimeZone;
+import java.util.Vector;
 
 import mir.config.MirPropertiesConfiguration;
 import mir.config.MirPropertiesConfiguration.PropertiesConfigExc;
@@ -58,7 +56,6 @@ import mir.entity.Entity;
 import mir.entity.EntityList;
 import mir.entity.StorableObjectEntity;
 import mir.log.LoggerWrapper;
-import mir.misc.HTMLTemplateProcessor;
 import mir.misc.StringUtil;
 import mir.storage.store.ObjectStore;
 import mir.storage.store.StorableObject;
@@ -67,6 +64,8 @@ import mir.storage.store.StoreIdentifier;
 import mir.storage.store.StoreUtil;
 import mir.util.JDBCStringRoutines;
 
+import com.codestudio.util.SQLManager;
+
 
 /**
  * Diese Klasse implementiert die Zugriffsschicht auf die Datenbank.
@@ -76,52 +75,33 @@ import mir.util.JDBCStringRoutines;
  * Treiber, Host, User und Passwort, ueber den der Zugriff auf die
  * Datenbank erfolgt.
  *
- * @version $Id: Database.java,v 1.44 2003/05/06 18:08:05 zapata Exp $
+ * @version $Id: Database.java,v 1.44.2.22 2004/02/08 21:05:01 zapata Exp $
  * @author rk
  *
  */
 public class Database implements StorageObject {
   private static Class GENERIC_ENTITY_CLASS = mir.entity.StorableObjectEntity.class;
-  private static Class STORABLE_OBJECT_ENTITY_CLASS = mir.entity.StorableObjectEntity.class;
-
-
-  private static SimpleHash POPUP_EMPTYLINE = new SimpleHash();
   protected static final ObjectStore o_store = ObjectStore.getInstance();
   private static final int _millisPerHour = 60 * 60 * 1000;
-  private static final int _millisPerMinute = 60 * 1000;
-
-  static {
-    // always same object saves a little space
-    POPUP_EMPTYLINE.put("key", "");
-    POPUP_EMPTYLINE.put("value", "--");
-  }
 
   protected LoggerWrapper logger;
   protected MirPropertiesConfiguration configuration;
-  protected String theTable;
-  protected String theCoreTable = null;
-  protected String thePKeyName = "id";
-  protected int thePKeyType;
-  protected int thePKeyIndex;
+  protected String mainTable;
+  protected String primaryKeySequence = null;
+  protected String primaryKeyField = "id";
+
   protected boolean evaluatedMetaData = false;
   protected ArrayList metadataFields;
   protected ArrayList metadataLabels;
   protected ArrayList metadataNotNullFields;
   protected int[] metadataTypes;
   protected Class theEntityClass;
-  protected SimpleList popupCache = null;
-  protected boolean hasPopupCache = false;
-  protected SimpleHash hashCache = null;
   protected boolean hasTimestamp = true;
-  private String database_driver;
-  private String database_url;
   private int defaultLimit;
-  protected DatabaseAdaptor theAdaptor;
-  private SimpleDateFormat _dateFormatterOut =
-    new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
-  private SimpleDateFormat _dateFormatterIn =
-    new SimpleDateFormat("yyyy-MM-dd HH:mm");
-  private Calendar _cal = new GregorianCalendar();
+
+  TimeZone timezone;
+  SimpleDateFormat internalDateFormat;
+  SimpleDateFormat userInputDateFormat;
 
   /**
    * Kontruktor bekommt den Filenamen des Konfigurationsfiles ?bergeben.
@@ -130,8 +110,6 @@ public class Database implements StorageObject {
    * <code>Database.Host</code> und <code>Database.Adaptor</code>
    * ausgelesen und ein Broker f?r die Verbindugen zur Datenbank
    * erzeugt.
-   *
-   * @param   String confFilename Dateiname der Konfigurationsdatei
    */
   public Database() throws StorageObjectFailure {
     try {
@@ -141,13 +119,18 @@ public class Database implements StorageObject {
       throw new StorageObjectFailure(e);
     }
     logger = new LoggerWrapper("Database");
+    timezone = TimeZone.getTimeZone(configuration.getString("Mir.DefaultTimezone"));
+    internalDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
+    internalDateFormat.setTimeZone(timezone);
+
+    userInputDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm");
+    userInputDateFormat.setTimeZone(timezone);
 
     String theAdaptorName = configuration.getString("Database.Adaptor");
     defaultLimit = Integer.parseInt(configuration.getString("Database.Limit"));
 
     try {
       theEntityClass = GENERIC_ENTITY_CLASS;
-      theAdaptor = (DatabaseAdaptor) Class.forName(theAdaptorName).newInstance();
     }
     catch (Throwable e) {
       logger.error("Error in Database() constructor with " + theAdaptorName + " -- " + e.getMessage());
@@ -182,7 +165,7 @@ public class Database implements StorageObject {
    * @return Name des Primary-Keys
    */
   public String getIdName() {
-    return thePKeyName;
+    return primaryKeyField;
   }
 
   /**
@@ -191,29 +174,27 @@ public class Database implements StorageObject {
    * @return Name der Tabelle
    */
   public String getTableName() {
-    return theTable;
+    return mainTable;
   }
 
-  /*
-  *   Dient dazu vererbte Tabellen bei objectrelationalen DBMS
-  *   zu speichern, wenn die id einer Tabelle in der parenttabelle verwaltet
-  *   wird.
-  *   @return liefert theCoreTabel als String zurueck, wenn gesetzt, sonst
-  *    the Table
+  /**
+   * Returns the id that was most recently added to the database
    */
-  public String getCoreTable() {
-    if (theCoreTable != null) {
-      return theCoreTable;
-    }
-    else {
-      return theTable;
-    }
+  private String getLatestInsertedId(Connection aConnection) throws SQLException {
+    if (primaryKeySequence==null)
+      primaryKeySequence = mainTable+"_id_seq";
+
+    PreparedStatement statement = aConnection.prepareStatement("select currval('" + primaryKeySequence + "')");
+
+    ResultSet rs = statement.executeQuery();
+    rs.next();
+    return rs.getString(1);
   }
 
   /**
    * Liefert Feldtypen der Felder der Tabelle zurueck (s.a. java.sql.Types)
    * @return int-Array mit den Typen der Felder
-   * @exception StorageObjectException
+   * @exception StorageObjectFailure
    */
   public int[] getTypes() throws StorageObjectFailure {
     if (metadataTypes == null) {
@@ -225,8 +206,6 @@ public class Database implements StorageObject {
 
   /**
    * Liefert eine Liste der Labels der Tabellenfelder
-   * @return ArrayListe mit Labeln
-   * @exception StorageObjectException
    */
   public List getLabels() throws StorageObjectFailure {
     if (metadataLabels == null) {
@@ -239,7 +218,6 @@ public class Database implements StorageObject {
   /**
    * Liefert eine Liste der Felder der Tabelle
    * @return ArrayList mit Feldern
-   * @exception StorageObjectException
    */
   public List getFields() throws StorageObjectFailure {
     if (metadataFields == null) {
@@ -249,12 +227,13 @@ public class Database implements StorageObject {
     return metadataFields;
   }
 
-  /*
-  *   Gets value out of ResultSet according to type and converts to String
-  *   @param inValue  Wert aus ResultSet.
-  *   @param aType  Datenbanktyp.
-  *   @return liefert den Wert als String zurueck. Wenn keine Umwandlung moeglich
-  *           dann /unsupported value/
+  /**
+   *   Gets value out of ResultSet according to type and converts to String
+   *   @param rs  ResultSet.
+   *   @param aType  a type from java.sql.Types.*
+   *   @param valueIndex  index in ResultSet
+   *   @return returns the value as String. If no conversion is possible
+   *                            /unsupported value/ is returned
    */
   private String getValueAsString(ResultSet rs, int valueIndex, int aType)
     throws StorageObjectFailure {
@@ -283,7 +262,7 @@ public class Database implements StorageObject {
 
           case java.sql.Types.NUMERIC:
 
-            /** @todo Numeric can be float or double depending upon
+            /** todo Numeric can be float or double depending upon
              *  metadata.getScale() / especially with oracle */
             long outl = rs.getLong(valueIndex);
 
@@ -349,14 +328,20 @@ public class Database implements StorageObject {
 
             if (!rs.wasNull()) {
               java.util.Date date = new java.util.Date(timestamp.getTime());
-              outValue = _dateFormatterOut.format(date);
-              _cal.setTime(date);
-
-              int offset =
-                  _cal.get(Calendar.ZONE_OFFSET) + _cal.get(Calendar.DST_OFFSET);
-              String tzOffset =
-                  StringUtil.zeroPaddingNumber(offset / _millisPerHour, 2, 2);
-              outValue = outValue + "+" + tzOffset;
+
+              Calendar calendar = new GregorianCalendar();
+              calendar.setTime(date);
+              calendar.setTimeZone(timezone);
+              outValue = internalDateFormat.format(date);
+
+              int offset = calendar.get(Calendar.ZONE_OFFSET) + calendar.get(Calendar.DST_OFFSET);
+              String tzOffset = StringUtil.zeroPaddingNumber(Math.abs(offset) / _millisPerHour, 2, 2);
+
+              if (offset<0)
+                outValue = outValue + "-";
+              else
+                outValue = outValue + "+";
+              outValue = outValue + tzOffset;
             }
 
             break;
@@ -374,10 +359,10 @@ public class Database implements StorageObject {
     return outValue;
   }
 
-  /*
-  *   select-Operator um einen Datensatz zu bekommen.
-  *   @param id Primaerschluessel des Datensatzes.
-  *   @return liefert EntityObject des gefundenen Datensatzes oder null.
+  /**
+   *   select-Operator um einen Datensatz zu bekommen.
+   *   @param id Primaerschluessel des Datensatzes.
+   *   @return liefert EntityObject des gefundenen Datensatzes oder null.
    */
   public Entity selectById(String id) throws StorageObjectExc {
     if ((id == null) || id.equals("")) {
@@ -385,11 +370,11 @@ public class Database implements StorageObject {
     }
 
     // ask object store for object
-    if (StoreUtil.implementsStorableObject(theEntityClass)) {
+    if (StoreUtil.extendsStorableEntity(theEntityClass)) {
       String uniqueId = id;
 
       if (theEntityClass.equals(StorableObjectEntity.class)) {
-        uniqueId += ("@" + theTable);
+        uniqueId += ("@" + mainTable);
       }
 
       StoreIdentifier search_sid = new StoreIdentifier(theEntityClass, uniqueId);
@@ -409,9 +394,9 @@ public class Database implements StorageObject {
     try {
       ResultSet rs;
 
-      /** @todo better prepared statement */
+      /** todo better prepared statement */
       String selectSql =
-        "select * from " + theTable + " where " + thePKeyName + "=" + id;
+        "select * from " + mainTable + " where " + primaryKeyField + "=" + id;
       stmt = con.createStatement();
       rs = executeSql(stmt, selectSql);
 
@@ -424,13 +409,13 @@ public class Database implements StorageObject {
           returnEntity = makeEntityFromResultSet(rs);
         }
         else {
-          logger.debug("No data for id: " + id + " in table " + theTable);
+          logger.warn("No data for id: " + id + " in table " + mainTable);
         }
 
         rs.close();
       }
       else {
-        logger.debug("No Data for Id " + id + " in Table " + theTable);
+        logger.warn("No Data for Id " + id + " in Table " + mainTable);
       }
     }
     catch (SQLException sqe) {
@@ -448,9 +433,25 @@ public class Database implements StorageObject {
   }
 
   /**
+   * This method makes it possible to make selects across multiple tables
+   *
+   * @param mainTablePrefix prefix for the mainTable
+   * @param extraTables a vector of tables for relational select
+   * @param aWhereClause whereClause
+   * @return EntityList of selected Objects
+   * @throws StorageObjectFailure
+   */
+
+  public EntityList selectByWhereClauseWithExtraTables(String mainTablePrefix,
+                                               List extraTables, String aWhereClause )
+   throws StorageObjectFailure {
+       return selectByWhereClause( mainTablePrefix, extraTables, aWhereClause, "", 0, defaultLimit);
+  }
+
+  /**
    *   select-Operator um Datensaetze zu bekommen, die key = value erfuellen.
-   *   @param key  Datenbankfeld der Bedingung.
-   *   @param value  Wert die der key anehmen muss.
+   *   @param aField  Datenbankfeld der Bedingung.
+   *   @param aValue  Wert die der key anehmen muss.
    *   @return EntityList mit den gematchten Entities
    */
   public EntityList selectByFieldValue(String aField, String aValue) throws StorageObjectFailure {
@@ -459,8 +460,8 @@ public class Database implements StorageObject {
 
   /**
    *   select-Operator um Datensaetze zu bekommen, die key = value erfuellen.
-   *   @param key  Datenbankfeld der Bedingung.
-   *   @param value  Wert die der key anehmen muss.
+   *   @param aField  Datenbankfeld der Bedingung.
+   *   @param aValue  Wert die der key anehmen muss.
    *   @param offset  Gibt an ab welchem Datensatz angezeigt werden soll.
    *   @return EntityList mit den gematchten Entities
    */
@@ -472,9 +473,9 @@ public class Database implements StorageObject {
    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
    * Also offset wird der erste Datensatz genommen.
    *
-   * @param wc where-Clause
+   * @param where where-Clause
    * @return EntityList mit den gematchten Entities
-   * @exception StorageObjectException
+   * @exception StorageObjectFailure
    */
   public EntityList selectByWhereClause(String where) throws StorageObjectFailure {
     return selectByWhereClause(where, 0);
@@ -484,10 +485,10 @@ public class Database implements StorageObject {
    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
    * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
    *
-   * @param wc where-Clause
+   * @param whereClause where-Clause
    * @param offset ab welchem Datensatz.
    * @return EntityList mit den gematchten Entities
-   * @exception StorageObjectException
+   * @exception StorageObjectFailure
    */
   public EntityList selectByWhereClause(String whereClause, int offset) throws StorageObjectFailure {
     return selectByWhereClause(whereClause, null, offset);
@@ -498,53 +499,90 @@ public class Database implements StorageObject {
    * Also offset wird der erste Datensatz genommen.
    * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
    *
-   * @param wc where-Clause
-   * @param ob orderBy-Clause
+   * @param where where-Clause
+   * @param order orderBy-Clause
    * @return EntityList mit den gematchten Entities
-   * @exception StorageObjectException
+   * @exception StorageObjectFailure
    */
   public EntityList selectByWhereClause(String where, String order) throws StorageObjectFailure {
     return selectByWhereClause(where, order, 0);
   }
 
+  public EntityList selectByWhereClause(String mainTablePrefix, List extraTables, String where, String order) throws StorageObjectFailure {
+    return selectByWhereClause(mainTablePrefix, extraTables, where, order, 0, defaultLimit);
+  }
+
   /**
    * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
    * Als maximale Anzahl wird das Limit auf der Konfiguration genommen.
    *
-   * @param wc where-Clause
-   * @param ob orderBy-Clause
+   * @param whereClause where-Clause
+   * @param orderBy orderBy-Clause
    * @param offset ab welchem Datensatz
    * @return EntityList mit den gematchten Entities
-   * @exception StorageObjectException
+   * @exception StorageObjectFailure
    */
   public EntityList selectByWhereClause(String whereClause, String orderBy, int offset) throws StorageObjectFailure {
     return selectByWhereClause(whereClause, orderBy, offset, defaultLimit);
   }
 
   /**
-   * select-Operator liefert eine EntityListe mit den gematchten Datens?tzen zur?ck.
+   * select-Operator returns EntityList with matching rows in Database.
    * @param aWhereClause where-Clause
    * @param anOrderByClause orderBy-Clause
    * @param offset ab welchem Datensatz
    * @param limit wieviele Datens?tze
    * @return EntityList mit den gematchten Entities
-   * @exception StorageObjectException
+   * @exception StorageObjectFailure
    */
   public EntityList selectByWhereClause(String aWhereClause, String anOrderByClause,
             int offset, int limit) throws StorageObjectFailure {
+    return selectByWhereClause("", null, aWhereClause, anOrderByClause, offset, limit);
+  }
 
-    // check o_store for entitylist
-    if (StoreUtil.implementsStorableObject(theEntityClass)) {
-      StoreIdentifier search_sid =
-          new StoreIdentifier(
-            theEntityClass, StoreContainerType.STOC_TYPE_ENTITYLIST,
-            StoreUtil.getEntityListUniqueIdentifierFor(theTable, aWhereClause, anOrderByClause, offset, limit));
-      EntityList hit = (EntityList) o_store.use(search_sid);
 
-      if (hit != null) {
-        logger.debug("CACHE (hit): " + search_sid.toString());
+  /**
+   * select-Operator returns EntityList with matching rows in Database.
+   * @param aWhereClause where-Clause
+   * @param anOrderByClause orderBy-Clause
+   * @param offset ab welchem Datensatz
+   * @param limit wieviele Datens?tze
+   * @return EntityList mit den gematchten Entities
+   * @exception StorageObjectFailure
+   */
+  public EntityList selectByWhereClause(String mainTablePrefix, List extraTables,
+      String aWhereClause, String anOrderByClause,
+                       int offset, int limit) throws StorageObjectFailure {
+
+    // TODO get rid of emtpy Strings in extraTables
+    // make extraTables null, if single empty String in it
+    // cause StringUtil.splitString puts in emptyString
+    if (extraTables != null && ((String)extraTables.get(0)).trim().equals(""))
+      {
+        logger.debug("+++ made extraTables to null!");
+        extraTables=null;
+      }
 
-        return hit;
+      String useTable = mainTable;
+          String selectStar = "*";
+          if (mainTablePrefix!=null && mainTablePrefix.trim().length()>0) {
+            useTable+=" "+mainTablePrefix;
+            selectStar=mainTablePrefix.trim() + ".*";
+          }
+
+    // check o_store for entitylist
+    // only if no relational select
+    if (extraTables==null) {
+      if (StoreUtil.extendsStorableEntity(theEntityClass)) {
+         StoreIdentifier searchSid = new StoreIdentifier(theEntityClass,
+               StoreContainerType.STOC_TYPE_ENTITYLIST,
+               StoreUtil.getEntityListUniqueIdentifierFor(mainTable,
+                aWhereClause, anOrderByClause, offset, limit));
+         EntityList hit = (EntityList) o_store.use(searchSid);
+
+         if (hit != null) {
+            return hit;
+         }
       }
     }
 
@@ -558,16 +596,24 @@ public class Database implements StorageObject {
 
     // build sql-statement
 
-    /** @todo count sql string should only be assembled if we really count
-     *  see below at the end of method //rk */
     if ((aWhereClause != null) && (aWhereClause.trim().length() == 0)) {
       aWhereClause = null;
     }
 
     StringBuffer countSql =
-      new StringBuffer("select count(*) from ").append(theTable);
+      new StringBuffer("select count(*) from ").append(useTable);
     StringBuffer selectSql =
-      new StringBuffer("select * from ").append(theTable);
+      new StringBuffer("select "+selectStar+" from ").append(useTable);
+
+    // append extratables, if necessary
+    if (extraTables!=null) {
+      for (int i=0;i < extraTables.size();i++) {
+        if (!extraTables.get(i).equals("")) {
+          countSql.append( ", " + extraTables.get(i));
+          selectSql.append( ", " + extraTables.get(i));
+        }
+      }
+    }
 
     if (aWhereClause != null) {
       selectSql.append(" where ").append(aWhereClause);
@@ -578,10 +624,8 @@ public class Database implements StorageObject {
       selectSql.append(" order by ").append(anOrderByClause);
     }
 
-    if (theAdaptor.hasLimit()) {
-      if ((limit > -1) && (offset > -1)) {
-        selectSql.append(" LIMIT ").append(limit).append(" OFFSET ").append(offset);
-      }
+    if ((limit > -1) && (offset > -1)) {
+      selectSql.append(" LIMIT ").append(limit).append(" OFFSET ").append(offset);
     }
 
     // execute sql
@@ -598,22 +642,17 @@ public class Database implements StorageObject {
         }
 
         theReturnList = new EntityList();
-
         Entity theResultEntity;
-
         while (rs.next()) {
           theResultEntity = makeEntityFromResultSet(rs);
           theReturnList.add(theResultEntity);
           offsetCount++;
         }
-
         rs.close();
       }
 
       // making entitylist infos
-      if (!(theAdaptor.hasLimit())) {
-        count = offsetCount;
-      }
+      count = offsetCount;
 
       if (theReturnList != null) {
         // now we decide if we have to know an overall count...
@@ -621,8 +660,6 @@ public class Database implements StorageObject {
 
         if ((limit > -1) && (offset > -1)) {
           if (offsetCount == limit) {
-            /** @todo counting should be deffered to entitylist
-             *  getSize() should be used */
             rs = executeSql(stmt, countSql.toString());
 
             if (rs != null) {
@@ -653,7 +690,7 @@ public class Database implements StorageObject {
           theReturnList.setNextBatch(offset + limit);
         }
 
-        if (StoreUtil.implementsStorableObject(theEntityClass)) {
+        if (extraTables==null && StoreUtil.extendsStorableEntity(theEntityClass)) {
           StoreIdentifier sid = theReturnList.getStoreIdentifier();
           logger.debug("CACHE (add): " + sid.toString());
           o_store.add(sid);
@@ -683,13 +720,20 @@ public class Database implements StorageObject {
    */
   private Entity makeEntityFromResultSet(ResultSet rs)
     throws StorageObjectFailure {
-    /** @todo OS: get Pkey from ResultSet and consult ObjectStore */
     Map theResultHash = new HashMap();
     String theResult = null;
     int theType;
     Entity returnEntity = null;
 
     try {
+      if (StoreUtil.extendsStorableEntity(theEntityClass)) {
+         StoreIdentifier searchSid = StorableObjectEntity.getStoreIdentifier(this,
+               theEntityClass, rs);
+         Entity hit = (Entity) o_store.use(searchSid);
+         if (hit != null) return hit;
+      }
+
+
       int size = metadataFields.size();
 
       for (int i = 0; i < size; i++) {
@@ -725,11 +769,11 @@ public class Database implements StorageObject {
 
       if (theEntityClass != null) {
         returnEntity = (Entity) theEntityClass.newInstance();
-        returnEntity.setValues(theResultHash);
         returnEntity.setStorage(this);
+        returnEntity.setFieldValues(theResultHash);
 
         if (returnEntity instanceof StorableObject) {
-          logger.debug("CACHE: ( in) " + returnEntity.getId() + " :" + theTable);
+          logger.debug("CACHE: ( in) " + returnEntity.getId() + " :" + mainTable);
           o_store.add(((StorableObject) returnEntity).getStoreIdentifier());
         }
       } else {
@@ -765,7 +809,7 @@ public class Database implements StorageObject {
     invalidatePopupCache();
 
     // invalidating all EntityLists corresponding with theEntityClass
-    if (StoreUtil.implementsStorableObject(theEntityClass)) {
+    if (StoreUtil.extendsStorableEntity(theEntityClass)) {
       StoreContainerType stoc_type =
         StoreContainerType.valueOf(theEntityClass,
           StoreContainerType.STOC_TYPE_ENTITYLIST);
@@ -777,7 +821,6 @@ public class Database implements StorageObject {
     PreparedStatement pstmt = null;
 
     try {
-      List streamedInput = theEntity.streamedInput();
       StringBuffer f = new StringBuffer();
       StringBuffer v = new StringBuffer();
       String aField;
@@ -788,25 +831,21 @@ public class Database implements StorageObject {
       for (int i = 0; i < getFields().size(); i++) {
         aField = (String) getFields().get(i);
 
-        if (!aField.equals(thePKeyName)) {
+        if (!aField.equals(primaryKeyField)) {
           aValue = null;
 
           // exceptions
-          if (aField.equals("webdb_create") ||
-              aField.equals("webdb_lastchange")) {
+          if (!theEntity.hasFieldValue(aField) && (
+              aField.equals("webdb_create") ||
+              aField.equals("webdb_lastchange"))) {
             aValue = "NOW()";
           }
           else {
-            if ((streamedInput != null) && streamedInput.contains(aField)) {
-              aValue = "?";
-            } else {
-              if (theEntity.hasValueForField(aField)) {
+              if (theEntity.hasFieldValue(aField)) {
                 aValue =
                   "'" +
-                  JDBCStringRoutines.escapeStringLiteral((String) theEntity.getValue(
-                      aField)) + "'";
+                   JDBCStringRoutines.escapeStringLiteral(theEntity.getFieldValue(aField)) + "'";
               }
-            }
           }
 
           // wenn Wert gegeben, dann einbauen
@@ -828,23 +867,15 @@ public class Database implements StorageObject {
 
       // insert into db
       StringBuffer sqlBuf =
-        new StringBuffer("insert into ").append(theTable).append("(").append(f)
+        new StringBuffer("insert into ").append(mainTable).append("(").append(f)
                                         .append(") values (").append(v).append(")");
       String sql = sqlBuf.toString();
 
-      logger.debug("INSERT: " + sql);
+      logger.info("INSERT: " + sql);
       con = getPooledCon();
       con.setAutoCommit(false);
       pstmt = con.prepareStatement(sql);
 
-      if (streamedInput != null) {
-        for (int i = 0; i < streamedInput.size(); i++) {
-          String inputString =
-            (String) theEntity.getValue((String) streamedInput.get(i));
-          pstmt.setBytes(i + 1, inputString.getBytes());
-        }
-      }
-
       int ret = pstmt.executeUpdate();
 
       if (ret == 0) {
@@ -852,11 +883,9 @@ public class Database implements StorageObject {
         return null;
       }
 
-      pstmt = con.prepareStatement(theAdaptor.getLastInsertSQL(this));
+//      pstmt = con.prepareStatement("select currval('" +  + "_id_seq')");
 
-      ResultSet rs = pstmt.executeQuery();
-      rs.next();
-      returnId = rs.getString(1);
+      returnId = getLatestInsertedId(con);
       theEntity.setId(returnId);
     }
     catch (SQLException sqe) {
@@ -872,7 +901,7 @@ public class Database implements StorageObject {
       freeConnection(con, pstmt);
     }
 
-    /** @todo store entity in o_store */
+    /** todo store entity in o_store */
     return returnId;
   }
 
@@ -885,23 +914,22 @@ public class Database implements StorageObject {
     Connection con = null;
     PreparedStatement pstmt = null;
 
-    /** @todo this is stupid: why do we prepare statement, when we
+    /** todo this is stupid: why do we prepare statement, when we
      *  throw it away afterwards. should be regular statement
      *  update/insert could better be one routine called save()
      *  that chooses to either insert or update depending if we
      *  have a primary key in the entity. i don't know if we
      *  still need the streamed input fields. // rk  */
-    /** @todo extension: check if Entity did change, otherwise we don't need
+    /** todo extension: check if Entity did change, otherwise we don't need
      *  the roundtrip to the database */
     /** invalidating corresponding entitylists in o_store*/
-    if (StoreUtil.implementsStorableObject(theEntityClass)) {
+    if (StoreUtil.extendsStorableEntity(theEntityClass)) {
       StoreContainerType stoc_type =
         StoreContainerType.valueOf(theEntityClass,
           StoreContainerType.STOC_TYPE_ENTITYLIST);
       o_store.invalidate(stoc_type);
     }
 
-    List streamedInput = theEntity.streamedInput();
     String id = theEntity.getId();
     String aField;
     StringBuffer fv = new StringBuffer();
@@ -915,11 +943,11 @@ public class Database implements StorageObject {
       aField = (String) metadataFields.get(i);
 
       // only normal cases
-      if (  !(aField.equals(thePKeyName) ||
+      // todo if entity.hasFieldValue returns false, then the value should be stored as null
+      if (!(aField.equals(primaryKeyField) ||
             aField.equals("webdb_create") ||
-            aField.equals("webdb_lastchange") ||
-            ((streamedInput != null) && streamedInput.contains(aField)))) {
-        if (theEntity.hasValueForField(aField)) {
+            aField.equals("webdb_lastchange"))) {
+        if (theEntity.hasFieldValue(aField)) {
           if (firstField == false) {
             fv.append(", ");
           }
@@ -927,15 +955,15 @@ public class Database implements StorageObject {
             firstField = false;
           }
 
-          fv.append(aField).append("='").append(JDBCStringRoutines.escapeStringLiteral((String) theEntity.getValue(aField))).append("'");
+          fv.append(aField).append("='").append(JDBCStringRoutines.escapeStringLiteral(theEntity.getFieldValue(aField))).append("'");
 
-          //              fv.append(aField).append("='").append(StringUtil.quote((String)theEntity.getValue(aField))).append("'");
+          //              fv.append(aField).append("='").append(StringUtil.quote((String)theEntity.getFieldValue(aField))).append("'");
         }
       }
     }
 
     StringBuffer sql =
-      new StringBuffer("update ").append(theTable).append(" set ").append(fv);
+      new StringBuffer("update ").append(mainTable).append(" set ").append(fv);
 
     // exceptions
     if (metadataFields.contains("webdb_lastchange")) {
@@ -945,10 +973,10 @@ public class Database implements StorageObject {
     // special case: the webdb_create requires the field in yyyy-mm-dd HH:mm
     // format so anything extra will be ignored. -mh
     if (metadataFields.contains("webdb_create") &&
-        theEntity.hasValueForField("webdb_create")) {
+        theEntity.hasFieldValue("webdb_create")) {
       // minimum of 10 (yyyy-mm-dd)...
-      if (theEntity.getValue("webdb_create").length() >= 10) {
-        String dateString = theEntity.getValue("webdb_create");
+      if (theEntity.getFieldValue("webdb_create").length() >= 10) {
+        String dateString = theEntity.getFieldValue("webdb_create");
 
         // if only 10, then add 00:00 so it doesn't throw a ParseException
         if (dateString.length() == 10) {
@@ -957,37 +985,24 @@ public class Database implements StorageObject {
 
         // TimeStamp stuff
         try {
-          java.util.Date d = _dateFormatterIn.parse(dateString);
-          Timestamp tStamp = new Timestamp(d.getTime());
-          sql.append(",webdb_create='" + tStamp.toString() + "'");
-        } catch (ParseException e) {
+          java.util.Date d = userInputDateFormat.parse(dateString);
+//          Timestamp tStamp = new Timestamp(d.getTime());
+          sql.append(",webdb_create='" + JDBCStringRoutines.formatDate(d) + "'");
+        }
+        catch (ParseException e) {
           throw new StorageObjectFailure(e);
         }
       }
     }
 
-    if (streamedInput != null) {
-      for (int i = 0; i < streamedInput.size(); i++) {
-        sql.append(",").append(streamedInput.get(i)).append("=?");
-      }
-    }
-
     sql.append(" where id=").append(id);
-    logger.debug("UPDATE: " + sql);
+    logger.info("UPDATE: " + sql);
 
     try {
       con = getPooledCon();
       con.setAutoCommit(false);
       pstmt = con.prepareStatement(sql.toString());
 
-      if (streamedInput != null) {
-        for (int i = 0; i < streamedInput.size(); i++) {
-          String inputString =
-            theEntity.getValue((String) streamedInput.get(i));
-          pstmt.setBytes(i + 1, inputString.getBytes());
-        }
-      }
-
       pstmt.executeUpdate();
     }
     catch (SQLException sqe) {
@@ -1014,11 +1029,11 @@ public class Database implements StorageObject {
     invalidatePopupCache();
 
     // ostore send notification
-    if (StoreUtil.implementsStorableObject(theEntityClass)) {
+    if (StoreUtil.extendsStorableEntity(theEntityClass)) {
       String uniqueId = id;
 
       if (theEntityClass.equals(StorableObjectEntity.class)) {
-        uniqueId += ("@" + theTable);
+        uniqueId += ("@" + mainTable);
       }
 
       logger.debug("CACHE: (del) " + id);
@@ -1029,12 +1044,12 @@ public class Database implements StorageObject {
       o_store.invalidate(search_sid);
     }
 
-    /** @todo could be prepared Statement */
+    /** todo could be prepared Statement */
     Statement stmt = null;
     Connection con = null;
     int res = 0;
     String sql =
-      "delete from " + theTable + " where " + thePKeyName + "='" + id + "'";
+      "delete from " + mainTable + " where " + primaryKeyField + "='" + id + "'";
 
     //theLog.printInfo("DELETE " + sql);
     try {
@@ -1050,169 +1065,59 @@ public class Database implements StorageObject {
     return (res > 0) ? true : false;
   }
 
-  /* noch nicht implementiert.
-  * @return immer false
-   */
-  public boolean delete(EntityList theEntityList) {
-    invalidatePopupCache();
-
-    return false;
-  }
-
-  /**
-   * Diese Methode sollte ueberschrieben werden, wenn fuer die abgeleitete Database-Klasse
-   * eine SimpleList mit Standard-Popupdaten erzeugt werden koennen soll.
-   * @return null
-   */
-  public SimpleList getPopupData() throws StorageObjectFailure {
-    return null;
-  }
-
-  /**
-   *  Holt Daten fuer Popups.
-   *  @param name  Name des Feldes.
-   *  @param hasNullValue  Wenn true wird eine leerer  Eintrag fuer die Popups erzeugt.
-   *  @return SimpleList Gibt freemarker.template.SimpleList zurueck.
-   */
-  public SimpleList getPopupData(String name, boolean hasNullValue)
-    throws StorageObjectFailure {
-    return getPopupData(name, hasNullValue, null);
-  }
-
   /**
-   *  Holt Daten fuer Popups.
-   *  @param name  Name des Feldes.
-   *  @param hasNullValue  Wenn true wird eine leerer  Eintrag fuer die Popups erzeugt.
-   *  @param where  Schraenkt die Selektion der Datensaetze ein.
-   *  @return SimpleList Gibt freemarker.template.SimpleList zurueck.
-   */
-  public SimpleList getPopupData(String name, boolean hasNullValue, String where)
-    throws StorageObjectFailure {
-    return getPopupData(name, hasNullValue, where, null);
-  }
-
-  /**
-   *  Holt Daten fuer Popups.
-   *  @param name  Name des Feldes.
-   *  @param hasNullValue  Wenn true wird eine leerer  Eintrag fuer die Popups erzeugt.
-   *  @param where  Schraenkt die Selektion der Datensaetze ein.
-   *  @param order  Gibt ein Feld als Sortierkriterium an.
-   *  @return SimpleList Gibt freemarker.template.SimpleList zurueck.
+   * Deletes entities based on a where clause
+   *
+   * @param aWhereClause
+   * @return
+   * @throws StorageObjectFailure
    */
-  public SimpleList getPopupData(String name, boolean hasNullValue,
-    String where, String order) throws StorageObjectFailure {
-    // caching
-    if (hasPopupCache && (popupCache != null)) {
-      return popupCache;
+  public int deleteByWhereClause(String aWhereClause) throws StorageObjectFailure {
+    invalidatePopupCache();
+    if (StoreUtil.extendsStorableEntity(theEntityClass)) {
+      StoreContainerType stoc_type = StoreContainerType.valueOf(theEntityClass, StoreContainerType.STOC_TYPE_ENTITYLIST);
+      o_store.invalidate(stoc_type);
     }
 
-    SimpleList simpleList = null;
-    Connection con = null;
     Statement stmt = null;
+    Connection con = null;
+    int res = 0;
+    String sql =
+      "delete from " + mainTable + " where " + aWhereClause;
 
-    // build sql
-    StringBuffer sql =
-      new StringBuffer("select ").append(thePKeyName).append(",").append(name)
-                                 .append(" from ").append(theTable);
-
-    if ((where != null) && !(where.length() == 0)) {
-      sql.append(" where ").append(where);
-    }
-
-    sql.append(" order by ");
-
-    if ((order != null) && !(order.length() == 0)) {
-      sql.append(order);
-    } else {
-      sql.append(name);
-    }
-
-    // execute sql
+    //theLog.printInfo("DELETE " + sql);
     try {
       con = getPooledCon();
-    } catch (Exception e) {
-      throw new StorageObjectFailure(e);
-    }
-
-    try {
       stmt = con.createStatement();
-
-      ResultSet rs = executeSql(stmt, sql.toString());
-
-      if (rs != null) {
-        if (!evaluatedMetaData) {
-          get_meta_data();
-        }
-
-        simpleList = new SimpleList();
-
-        // if popup has null-selector
-        if (hasNullValue) {
-          simpleList.add(POPUP_EMPTYLINE);
-        }
-
-        SimpleHash popupDict;
-
-        while (rs.next()) {
-          popupDict = new SimpleHash();
-          popupDict.put("key", getValueAsString(rs, 1, thePKeyType));
-          popupDict.put("value", rs.getString(2));
-          simpleList.add(popupDict);
-        }
-
-        rs.close();
-      }
+      res = stmt.executeUpdate(sql);
     }
-    catch (Exception e) {
-      logger.error("getPopupData: " + e.getMessage());
-      throw new StorageObjectFailure(e);
-    } finally {
-      freeConnection(con, stmt);
+    catch (SQLException sqe) {
+      throwSQLException(sqe, "delete");
     }
-
-    if (hasPopupCache) {
-      popupCache = simpleList;
+    finally {
+      freeConnection(con, stmt);
     }
 
-    return simpleList;
+    return res;
   }
 
-  /**
-   * Liefert alle Daten der Tabelle als SimpleHash zurueck. Dies wird verwandt,
-   * wenn in den Templates ein Lookup-Table benoetigt wird. Sollte nur bei kleinen
-   * Tabellen Verwendung finden.
-   * @return SimpleHash mit den Tabellezeilen.
+  /* noch nicht implementiert.
+  * @return immer false
    */
-  public SimpleHash getHashData() {
-    /** @todo dangerous! this should have a flag to be enabled, otherwise
-     *  very big Hashes could be returned */
-    if (hashCache == null) {
-      try {
-        hashCache =
-          HTMLTemplateProcessor.makeSimpleHash(selectByWhereClause("", -1));
-      }
-      catch (StorageObjectFailure e) {
-        logger.debug(e.getMessage());
-      }
-    }
+  public boolean delete(EntityList theEntityList) {
+    invalidatePopupCache();
 
-    return hashCache;
+    return false;
   }
 
-  /* invalidates the popupCache
-   */
   protected void invalidatePopupCache() {
-    /** @todo  invalidates toooo much */
-    popupCache = null;
-    hashCache = null;
+    /** todo  invalidates toooo much */
   }
 
   /**
    * Diese Methode fuehrt den Sqlstring <i>sql</i> aus und timed im Logfile.
    * @param stmt Statemnt
    * @param sql Sql-String
-   * @return ResultSet
-   * @exception StorageObjectException
    */
   public ResultSet executeSql(Statement stmt, String sql)
                             throws StorageObjectFailure, SQLException {
@@ -1222,7 +1127,7 @@ public class Database implements StorageObject {
     try {
       rs = stmt.executeQuery(sql);
 
-      logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
+      logger.info((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
     }
     catch (SQLException e) {
       logger.error(e.getMessage() +"\n" + (System.currentTimeMillis() - startTime) + "ms. for: " + sql);
@@ -1231,34 +1136,8 @@ public class Database implements StorageObject {
 
     return rs;
   }
-/*
-  public ResultSet executeSql(String sql) throws StorageObjectFailure, SQLException {
-    long startTime = System.currentTimeMillis();
-    Connection connection = null;
-    Statement statement = null;
-
-    try {
-      connection = getPooledCon();
-      statement = connection.createStatement();
-      ResultSet result;
-
-      result = statement.executeQuery(sql);
 
-      logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
-      return result;
-    }
-    catch (Throwable e) {
-      logger.error(e.getMessage() +"\n" + (System.currentTimeMillis() - startTime) + "ms. for: " + sql);
-      throw new StorageObjectFailure(e);
-    }
-    finally {
-      if (connection!=null) {
-        freeConnection(connection, statement);
-      }
-    }
-  }
-*/
-  private Map processRow(ResultSet aResultSet) throws StorageObjectFailure, StorageObjectExc {
+  private Map processRow(ResultSet aResultSet) throws StorageObjectFailure {
     try {
       Map result = new HashMap();
       ResultSetMetaData metaData = aResultSet.getMetaData();
@@ -1333,15 +1212,33 @@ public class Database implements StorageObject {
       return null;
   };
 
+  public int getSize(String where) throws SQLException, StorageObjectFailure {
+    return getSize("", null, where);
+  }
   /**
    * returns the number of rows in the table
    */
-  public int getSize(String where) throws SQLException, StorageObjectFailure {
+  public int getSize(String mainTablePrefix, List extraTables, String where) throws SQLException, StorageObjectFailure {
+
     long startTime = System.currentTimeMillis();
-    String sql = "SELECT Count(*) FROM " + theTable;
+
+    String useTable = mainTable;
+    if (mainTablePrefix!=null && mainTablePrefix.trim().length()>0) {
+          useTable+=" "+mainTablePrefix;
+    }
+    StringBuffer countSql =
+      new StringBuffer("select count(*) from ").append(useTable);
+        // append extratables, if necessary
+      if (extraTables!=null) {
+        for (int i=0;i < extraTables.size();i++) {
+          if (!extraTables.get(i).equals("")) {
+            countSql.append( ", " + extraTables.get(i));
+          }
+        }
+      }
 
     if ((where != null) && (where.length() != 0)) {
-      sql = sql + " where " + where;
+      countSql.append( " where " + where);
     }
 
     Connection con = null;
@@ -1352,7 +1249,7 @@ public class Database implements StorageObject {
       con = getPooledCon();
       stmt = con.createStatement();
 
-      ResultSet rs = executeSql(stmt, sql);
+      ResultSet rs = executeSql(stmt, countSql.toString());
 
       while (rs.next()) {
         result = rs.getInt(1);
@@ -1364,9 +1261,7 @@ public class Database implements StorageObject {
     finally {
       freeConnection(con, stmt);
     }
-
-    //theLog.printInfo(theTable + " has "+ result +" rows where " + where);
-    logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
+    logger.info((System.currentTimeMillis() - startTime) + "ms. for: " + countSql);
 
     return result;
   }
@@ -1379,7 +1274,7 @@ public class Database implements StorageObject {
     try {
       rs = stmt.executeUpdate(sql);
 
-      logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
+      logger.info((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
     }
     catch (SQLException e) {
       logger.error("Failed: " + (System.currentTimeMillis() - startTime) + "ms. for: " + sql);
@@ -1409,14 +1304,13 @@ public class Database implements StorageObject {
       freeConnection(con, pstmt);
     }
 
-    logger.debug((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
+    logger.info((System.currentTimeMillis() - startTime) + "ms. for: " + sql);
     return result;
   }
 
   /**
    * Wertet ResultSetMetaData aus und setzt interne Daten entsprechend
    * @param md ResultSetMetaData
-   * @exception StorageObjectException
    */
   private void evalMetaData(ResultSetMetaData md) throws StorageObjectFailure {
     this.evaluatedMetaData = true;
@@ -1438,9 +1332,7 @@ public class Database implements StorageObject {
         aType = md.getColumnType(i);
         metadataTypes[i - 1] = aType;
 
-        if (aField.equals(thePKeyName)) {
-          thePKeyType = aType;
-          thePKeyIndex = i;
+        if (aField.equals(primaryKeyField)) {
         }
 
         if (md.isNullable(i) == ResultSetMetaData.columnNullable) {
@@ -1460,7 +1352,7 @@ public class Database implements StorageObject {
   private void get_meta_data() throws StorageObjectFailure {
     Connection con = null;
     PreparedStatement pstmt = null;
-    String sql = "select * from " + theTable + " where 0=1";
+    String sql = "select * from " + mainTable + " where 0=1";
 
     try {
       con = getPooledCon();
@@ -1503,8 +1395,7 @@ public class Database implements StorageObject {
   /**
    * Wertet SQLException aus und wirft dannach eine StorageObjectException
    * @param sqe SQLException
-   * @param wo Funktonsname, in der die SQLException geworfen wurde
-   * @exception StorageObjectException
+   * @param aFunction Funktonsname, in der die SQLException geworfen wurde
    */
   protected void throwSQLException(SQLException sqe, String aFunction) throws StorageObjectFailure {
     String state = "";
@@ -1541,8 +1432,8 @@ public class Database implements StorageObject {
   /**
    * Loggt Fehlermeldung mit dem Parameter Message und wirft dannach
    * eine StorageObjectException
-   * @param message Nachricht mit dem Fehler
-   * @exception StorageObjectException
+   * @param aMessage Nachricht mit dem Fehler
+   * @exception StorageObjectFailure
    */
   void throwStorageObjectException(String aMessage) throws StorageObjectFailure {
     logger.error(aMessage);