select count optimization...
[mir.git] / source / mir / storage / Database.java
index aeb5cb6..5c40ac2 100755 (executable)
@@ -7,12 +7,12 @@ import  java.sql.*;
 import  java.lang.*;
 import  java.io.*;
 import  java.util.*;
-import  freemarker.template.SimpleList;
-import  freemarker.template.SimpleHash;
-import  com.javaexchange.dbConnectionBroker.*;
+import  freemarker.template.*;
 import  mir.storage.StorageObject;
 import  mir.entity.*;
 import  mir.misc.*;
+import com.codestudio.sql.*;
+import com.codestudio.util.*;
 
 
 /**
@@ -28,17 +28,17 @@ import  mir.misc.*;
  */
 public class Database implements StorageObject {
 
-  protected DbConnectionBroker        myBroker;
   protected String                    theTable;
   protected String                    theCoreTable=null;
   protected String                    thePKeyName="id";
   protected int                       thePKeyType;
   protected boolean                   evaluatedMetaData=false;
-  protected ArrayList                 metadataFields,metadataLabels,metadataNotNullFields;
+  protected ArrayList                 metadataFields,metadataLabels,
+                                      metadataNotNullFields;
   protected int[]                     metadataTypes;
   protected Class                     theEntityClass;
   protected StorageObject             myselfDatabase;
-  protected HashMap                   cache;
+  protected DatabaseCache             cache;
   protected SimpleList                popupCache=null;
   protected boolean                   hasPopupCache = false;
   protected SimpleHash                hashCache=null;
@@ -48,7 +48,6 @@ public class Database implements StorageObject {
   private int                         defaultLimit;
   protected DatabaseAdaptor             theAdaptor;
   protected Logfile                   theLog;
-  protected Connection                con;
 
   /**
    * Kontruktor bekommt den Filenamen des Konfigurationsfiles übergeben.
@@ -61,25 +60,31 @@ public class Database implements StorageObject {
    * @param   String confFilename Dateiname der Konfigurationsdatei
    */
   public Database() throws StorageObjectException {
-    theLog = Logfile.getInstance(MirConfig.getProp("Home") + MirConfig.getProp("Database.Logfile"));
-    String database_username=MirConfig.getProp("Database.Username");
-    String database_password=MirConfig.getProp("Database.Password");
-    String database_host=MirConfig.getProp("Database.Host");
+    theLog = Logfile.getInstance(MirConfig.getProp("Home")+
+                                MirConfig.getProp("Database.Logfile"));
     String theAdaptorName=MirConfig.getProp("Database.Adaptor");
+    defaultLimit = Integer.parseInt(MirConfig.getProp("Database.Limit"));
     try {
       theEntityClass = Class.forName("mir.entity.GenericEntity");
       theAdaptor = (DatabaseAdaptor)Class.forName(theAdaptorName).newInstance();
-      defaultLimit = Integer.parseInt(MirConfig.getProp("Database.Limit"));
+    } catch (Exception e){
+      theLog.printError("Error in Database() constructor with "+
+                        theAdaptorName + " -- " +e.toString());
+      throw new StorageObjectException("Error in Database() constructor with "
+                                       +e.toString());
+    }
+    /*String database_username=MirConfig.getProp("Database.Username");
+    String database_password=MirConfig.getProp("Database.Password");
+    String database_host=MirConfig.getProp("Database.Host");
+    try {
       database_driver=theAdaptor.getDriver();
-      database_url=theAdaptor.getURL(database_username,database_password,database_host);
-      theLog.printDebugInfo("adding Broker with: " +database_driver+":"+database_url  );
+      database_url=theAdaptor.getURL(database_username,database_password,
+                                    database_host);
+      theLog.printDebugInfo("adding Broker with: " +database_driver+":"+
+                            database_url  );
       MirConfig.addBroker(database_driver,database_url);
-      myBroker=MirConfig.getBroker();
-    }
-    catch (Exception e){
-      theLog.printError("Bei Konstruktion von Database() with " + theAdaptorName + " -- " +e.toString());
-      throw new StorageObjectException(e.toString());
-    }
+      //myBroker=MirConfig.getBroker();
+    }*/
   }
 
   /**
@@ -123,7 +128,8 @@ public class Database implements StorageObject {
 
   /*
    *   Dient dazu vererbte Tabellen bei objectrelationalen DBMS
-   *   zu speichern, wenn die id einer Tabelle in der parenttabelle verwaltet wird.
+   *   zu speichern, wenn die id einer Tabelle in der parenttabelle verwaltet
+   *   wird.
    *   @return liefert theCoreTabel als String zurueck, wenn gesetzt, sonst
    *    the Table
    */
@@ -218,13 +224,13 @@ public class Database implements StorageObject {
             break;
           case java.sql.Types.CHAR:case java.sql.Types.VARCHAR:case java.sql.Types.LONGVARCHAR:
             outValue = rs.getString(valueIndex);
-            if (outValue != null)
-              outValue = StringUtil.encodeHtml(StringUtil.unquote(outValue));
+            //if (outValue != null)
+              //outValue = StringUtil.encodeHtml(StringUtil.unquote(outValue));
             break;
           case java.sql.Types.LONGVARBINARY:
             outValue = rs.getString(valueIndex);
-            if (outValue != null)
-              outValue = StringUtil.encodeHtml(StringUtil.unquote(outValue));
+            //if (outValue != null)
+              //outValue = StringUtil.encodeHtml(StringUtil.unquote(outValue));
             break;
           case java.sql.Types.TIMESTAMP:
             Timestamp timestamp = (rs.getTimestamp(valueIndex));
@@ -255,7 +261,7 @@ public class Database implements StorageObject {
 
     if (id==null||id.equals(""))
       throw new StorageObjectException("id war null");
-    if (cache != null && cache.containsKey(id))
+    if (cache != null && (cache.containsKey(id) > -1))
       return (Entity)cache.get(id);  // wenn cache gesetzt, evtl. kein roundtrip zur Datenbank
 
     Statement stmt=null;Connection con=getPooledCon();
@@ -429,16 +435,22 @@ public class Database implements StorageObject {
       con = getPooledCon();
       stmt = con.createStatement();
       // counting rows
-      if (theAdaptor.hasLimit()) {
-        rs = executeSql(stmt, countSql.toString());
-        if (rs != null) {
-          if (rs.next())
-            count = rs.getInt(1);
-          rs.close();
-        }
-        else
-          theLog.printError("Mh. Konnte nicht zaehlen: " + countSql);
-      }
+
+      /** @todo select count(*) should be optimized:
+       *  1. it should take place after select statement because in some
+       *     cases it is not necessary anymore.
+       *  2. it is only needed if entitylist needs information about how
+       *     many datasets there are overall
+       *
+       *  optimization:
+       *
+       *  if we manage to have the full information about allData already
+       *  with the select statement, then we set it in entitylist, other
+       *  wise we fetch it.  /rk
+       *  */
+
+
+
       // hier select
       rs = executeSql(stmt, selectSql.toString());
       if (rs != null) {
@@ -454,11 +466,26 @@ public class Database implements StorageObject {
         }
         rs.close();
       }
-      // making entitylist
-      if (!(theAdaptor.hasLimit()))
-        count = offsetCount;
+
+      // making entitylist infos
+      if (!(theAdaptor.hasLimit())) count = offsetCount;
+
       if (theReturnList != null) {
+        // now we decide if we have to know an overall count...
+        count=offsetCount;
+        if (limit > -1 && offset > -1) {
+          if (offsetCount==limit) {
+            rs = executeSql(stmt, countSql.toString());
+            if (rs != null) {
+              if ( rs.next() ) count = rs.getInt(1);
+              rs.close();
+            }
+            else theLog.printError("Could not count: " + countSql);
+          }
+        }
+
         theReturnList.setCount(count);
+
         theReturnList.setOffset(offset);
         theReturnList.setWhere(wc);
         theReturnList.setOrder(ob);
@@ -468,6 +495,9 @@ public class Database implements StorageObject {
         if (offset + offsetCount < count) {
           theReturnList.setNextBatch(offset + limit);
         }
+
+
+
       }
     } catch (SQLException sqe) {
       throwSQLException(sqe, "selectByWhereClause");
@@ -477,6 +507,7 @@ public class Database implements StorageObject {
     return  theReturnList;
   }
 
+
   /**
    *  Bastelt aus einer Zeile der Datenbank ein EntityObjekt.
    *
@@ -484,7 +515,7 @@ public class Database implements StorageObject {
    *  @return Entity Die Entity.
    */
 
-  public Entity makeEntityFromResultSet (ResultSet rs) throws StorageObjectException {
+  private Entity makeEntityFromResultSet (ResultSet rs) throws StorageObjectException {
     HashMap theResultHash = new HashMap();
     String theResult = null;
     int theType;
@@ -518,11 +549,10 @@ public class Database implements StorageObject {
           theResultHash.put(metadataFields.get(i), theResult);
         }
       }
-      if (cache != null && theResultHash.containsKey(thePKeyName) && cache.containsKey((String)theResultHash.get(thePKeyName))) {
-        //theLog.printDebugInfo("CACHE: (out) "+ theResultHash.get(thePKeyName)+ " :"+theTable);
+      if (cache != null && theResultHash.containsKey(thePKeyName) &&
+          (cache.containsKey((String)theResultHash.get(thePKeyName)) > -1)) {
         returnEntity = (Entity)cache.get((String)theResultHash.get(thePKeyName));
-      }
-      else {
+      } else {
         if (theEntityClass != null) {
           returnEntity = (Entity)theEntityClass.newInstance();
           returnEntity.setValues(theResultHash);
@@ -531,13 +561,11 @@ public class Database implements StorageObject {
             //theLog.printDebugInfo("CACHE: ( in) " + returnEntity.getId() + " :"+theTable);
             cache.put(returnEntity.getId(), returnEntity);
           }
-        }
-        else {
+        } else {
           throwStorageObjectException("Interner Fehler theEntityClass nicht gesetzt!");
         }
       }
-    }           // try
-    catch (IllegalAccessException e) {
+    } catch (IllegalAccessException e) {
       throwStorageObjectException("Kein Zugriff! -- " + e.toString());
     } catch (IOException e) {
       throwStorageObjectException("IOException! -- " + e.toString());
@@ -564,7 +592,6 @@ public class Database implements StorageObject {
     //cache
     invalidatePopupCache();
     try {
-      HashMap theEntityValues = theEntity.getValues();
       ArrayList streamedInput = theEntity.streamedInput();
       StringBuffer f = new StringBuffer();
       StringBuffer v = new StringBuffer();
@@ -584,8 +611,8 @@ public class Database implements StorageObject {
               aValue = "?";
             }
             else {
-              if (theEntityValues.containsKey(aField)) {
-                aValue = "'" + StringUtil.quote((String)theEntityValues.get(aField))
+              if (theEntity.hasValueForField(aField)) {
+                aValue = "'" + StringUtil.quote((String)theEntity.getValue(aField))
                     + "'";
               }
             }
@@ -613,7 +640,7 @@ public class Database implements StorageObject {
       pstmt = con.prepareStatement(sql);
       if (streamedInput != null) {
         for (int i = 0; i < streamedInput.size(); i++) {
-          String inputString = (String)theEntityValues.get(streamedInput.get(i));
+          String inputString = (String)theEntity.getValue((String)streamedInput.get(i));
           pstmt.setBytes(i + 1, inputString.getBytes());
         }
       }
@@ -650,7 +677,6 @@ public class Database implements StorageObject {
     Connection con = null;
     PreparedStatement pstmt = null;
     ArrayList streamedInput = theEntity.streamedInput();
-    HashMap theEntityValues = theEntity.getValues();
     String id = theEntity.getId();
     String aField;
     StringBuffer fv = new StringBuffer();
@@ -663,14 +689,14 @@ public class Database implements StorageObject {
       // only normal cases
       if (!(aField.equals(thePKeyName) || aField.equals("webdb_create") ||
           aField.equals("webdb_lastchange") || (streamedInput != null && streamedInput.contains(aField)))) {
-        if (theEntityValues.containsKey(aField)) {
+        if (theEntity.hasValueForField(aField)) {
           if (firstField == false) {
             fv.append(", ");
           }
           else {
             firstField = false;
           }
-          fv.append(aField).append("='").append(StringUtil.quote((String)theEntityValues.get(aField))).append("'");
+          fv.append(aField).append("='").append(StringUtil.quote((String)theEntity.getValue(aField))).append("'");
         }
       }
     }
@@ -693,7 +719,7 @@ public class Database implements StorageObject {
       pstmt = con.prepareStatement(sql.toString());
       if (streamedInput != null) {
         for (int i = 0; i < streamedInput.size(); i++) {
-          String inputString = (String)theEntityValues.get(streamedInput.get(i));
+          String inputString = theEntity.getValue((String)streamedInput.get(i));
           pstmt.setBytes(i + 1, inputString.getBytes());
         }
       }
@@ -764,7 +790,7 @@ public class Database implements StorageObject {
    *  @param hasNullValue  Wenn true wird eine leerer  Eintrag fuer die Popups erzeugt.
    *  @return SimpleList Gibt freemarker.template.SimpleList zurueck.
    */
-  public SimpleList getPopupData (String name, boolean hasNullValue) 
+  public SimpleList getPopupData (String name, boolean hasNullValue)
     throws StorageObjectException {
     return  getPopupData(name, hasNullValue, null);
   }
@@ -796,7 +822,9 @@ public class Database implements StorageObject {
     Connection con = null;
     Statement stmt = null;
     // build sql
-    StringBuffer sql = new StringBuffer("select ").append(thePKeyName).append(",").append(name).append(" from ").append(theTable);
+    StringBuffer sql = new StringBuffer("select ").append(thePKeyName)
+                                        .append(",").append(name).append(" from ")
+                                        .append(theTable);
     if (where != null && !(where.length() == 0))
       sql.append(" where ").append(where);
     sql.append(" order by ");
@@ -807,6 +835,10 @@ public class Database implements StorageObject {
     // execute sql
     try {
       con = getPooledCon();
+    } catch (Exception e) {
+      throw new StorageObjectException(e.toString());
+    }
+    try {
       stmt = con.createStatement();
       ResultSet rs = executeSql(stmt, sql.toString());
       if (rs != null) {
@@ -829,7 +861,7 @@ public class Database implements StorageObject {
         rs.close();
       }
     } catch (Exception e) {
-      theLog.printDebugInfo(e.toString());
+      theLog.printError("getPopupData: "+e.toString());
       throw new StorageObjectException(e.toString());
     } finally {
       freeConnection(con, stmt);
@@ -886,8 +918,8 @@ public class Database implements StorageObject {
     }
     catch (SQLException e)
     {
-      theLog.printDebugInfo("Failed: " + (new java.util.Date().getTime() - startTime) + "ms. for: "
-        + sql);
+      theLog.printDebugInfo("Failed: " + (new java.util.Date().getTime()
+                            - startTime) + "ms. for: "+ sql);
       throw e;
     }
 
@@ -901,8 +933,8 @@ public class Database implements StorageObject {
    * @return Liefert ResultSet des Statements zurueck.
    * @exception StorageObjectException, SQLException
    */
-  public ResultSet executeSql (PreparedStatement stmt) throws StorageObjectException,
-      SQLException {
+  public ResultSet executeSql (PreparedStatement stmt)
+    throws StorageObjectException, SQLException {
 
     long startTime = (new java.util.Date()).getTime();
     ResultSet rs = stmt.executeQuery();
@@ -936,7 +968,8 @@ public class Database implements StorageObject {
       freeConnection(con,stmt);
     }
     theLog.printInfo(theTable + " has "+ result +" rows where " + where);
-    theLog.printInfo((new java.util.Date().getTime() - startTime) + "ms. for: " + sql);
+    theLog.printInfo((new java.util.Date().getTime() - startTime) + "ms. for: "
+                    + sql);
     return result;
   }
 
@@ -948,12 +981,13 @@ public class Database implements StorageObject {
     try
     {
       rs = stmt.executeUpdate(sql);
-      theLog.printInfo((new java.util.Date().getTime() - startTime) + "ms. for: " + sql);
+      theLog.printInfo((new java.util.Date().getTime() - startTime) + "ms. for: "
+                        + sql);
     }
     catch (SQLException e)
     {
-      theLog.printDebugInfo("Failed: " + (new java.util.Date().getTime() - startTime) + "ms. for: "
-        + sql);
+      theLog.printDebugInfo("Failed: " + (new java.util.Date().getTime()
+                            - startTime) + "ms. for: "+ sql);
       throw e;
     }
     return rs;
@@ -975,7 +1009,8 @@ public class Database implements StorageObject {
       throw new StorageObjectException("executeUpdate failed: "+e.toString());
     }
     finally { freeConnection(con,pstmt); }
-    theLog.printInfo((new java.util.Date().getTime() - startTime) + "ms. for: " + sql);
+    theLog.printInfo((new java.util.Date().getTime() - startTime) + "ms. for: "
+                    + sql);
     return result;
   }
 
@@ -984,7 +1019,9 @@ public class Database implements StorageObject {
    * @param md ResultSetMetaData
    * @exception StorageObjectException
    */
-  private void evalMetaData (ResultSetMetaData md) throws StorageObjectException {
+  private void evalMetaData (ResultSetMetaData md)
+    throws StorageObjectException {
+
     this.evaluatedMetaData = true;
     this.metadataFields = new ArrayList();
     this.metadataLabels = new ArrayList();
@@ -1034,52 +1071,31 @@ public class Database implements StorageObject {
     }
   }
 
-  /**
-   * Datenbankverbindung wird geschlossen
-   */
-  public void disconnectPool () throws StorageObjectException {
-    try {
-      myBroker.destroy(100);
-    } catch (SQLException sqe) {
-      throwSQLException(sqe, "disconnectPool");
-    }
-  }
 
-  /**
-   * Returns Connection-Object out of the PoolBroker.
-   *
-   * @return Connection Object.
-   */
-  public Connection getPooledCon () throws StorageObjectException {
-    if (myBroker != null) {
-      Connection con = myBroker.getConnection();
-      if (con != null)
-        return  con;
+  public Connection getPooledCon() throws StorageObjectException {
+    /* @todo , doublecheck but I'm pretty sure that this is unnecessary. -mh
+      try{
+      Class.forName("com.codestudio.sql.PoolMan").newInstance();
+    } catch (Exception e){
+      throw new StorageObjectException("Could not find the PoolMan Driver"
+                                        +e.toString());
+    }*/
+    Connection con = null;
+    try{
+      con = SQLManager.getInstance().requestConnection();
+    } catch(SQLException e){
+      theLog.printError("could not connect to the database "+e.toString());
+      System.err.println("could not connect to the database "+e.toString());
+      throw new StorageObjectException("Could not connect to the database"+
+                                        e.toString());
     }
-    throw  new StorageObjectException("No connection to database!");
+    return con;
   }
 
-  /**
-   * Connection und StatementObjekt werden geschlossen und an den Connectionpool
-   * zurückgeben
-   * @param con Connection zur Datenbank
-   * @param stmt Statement-Objekt
-   */
   public void freeConnection (Connection con, Statement stmt)
     throws StorageObjectException {
-    try {
-      if (stmt != null)
-        stmt.close();
-    } catch (SQLException e1) {
-      theLog.printDebugInfo(e1.toString());
-      throw new StorageObjectException("DB, in freeConnection: "+e1.toString());
-    }
-    if (con != null)
-      myBroker.freeConnection(con);
-    else {
-      theLog.printDebugInfo("Con was null!");
-      throw new StorageObjectException("Con was null!");
-    }
+    SQLManager.getInstance().closeStatement(stmt);
+    SQLManager.getInstance().returnConnection(con);
   }
 
   /**
@@ -1088,7 +1104,8 @@ public class Database implements StorageObject {
    * @param wo Funktonsname, in der die SQLException geworfen wurde
    * @exception StorageObjectException
    */
-  protected void throwSQLException (SQLException sqe, String wo) throws StorageObjectException {
+  protected void throwSQLException (SQLException sqe, String wo)
+    throws StorageObjectException {
     String state = "";
     String message = "";
     int vendor = 0;
@@ -1103,7 +1120,8 @@ public class Database implements StorageObject {
         sqe.toString());
   }
 
-  protected void _throwStorageObjectException (Exception e, String wo) throws StorageObjectException {
+  protected void _throwStorageObjectException (Exception e, String wo)
+    throws StorageObjectException {
     if (e != null) {
         theLog.printError(e.toString()+ wo);
         throw  new StorageObjectException(wo + e.toString());
@@ -1111,17 +1129,20 @@ public class Database implements StorageObject {
         theLog.printError(wo);
         throw  new StorageObjectException(wo);
     }
-        
+
   }
 
   /**
-   * Loggt Fehlermeldung mit dem Parameter Message und wirft dannach eine StorageObjectException
+   * Loggt Fehlermeldung mit dem Parameter Message und wirft dannach
+   * eine StorageObjectException
    * @param message Nachricht mit dem Fehler
    * @exception StorageObjectException
    */
-  void throwStorageObjectException (String message) throws StorageObjectException {
+  void throwStorageObjectException (String message)
+    throws StorageObjectException {
     _throwStorageObjectException(null, message);
   }
+
 }