added better support for article urls in PDF files
[mir.git] / source / mircoders / servlet / ServletModuleOpenIndy.java
index dac1b8e..6769e42 100755 (executable)
@@ -1,5 +1,5 @@
 /*
- * Copyright (C) 2001, 2002  The Mir-coders group
+ * Copyright (C) 2001, 2002 The Mir-coders group
  *
  * This file is part of Mir.
  *
  * Mir is distributed in the hope that it will be useful,
  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
- * GNU General Public License for more details.
+ * GNU General Public License for more details.f
  *
  * You should have received a copy of the GNU General Public License
  * along with Mir; if not, write to the Free Software
  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  *
  * In addition, as a special exception, The Mir-coders gives permission to link
- * the code of this program with the com.oreilly.servlet library, any library
- * licensed under the Apache Software License, The Sun (tm) Java Advanced
- * Imaging library (JAI), The Sun JIMI library (or with modified versions of
- * the above that use the same license as the above), and distribute linked
- * combinations including the two.  You must obey the GNU General Public
- * License in all respects for all of the code used other than the above
- * mentioned libraries.  If you modify this file, you may extend this exception
- * to your version of the file, but you are not obligated to do so.  If you do
- * not wish to do so, delete this exception statement from your version.
+ * the code of this program with  any library licensed under the Apache Software License,
+ * The Sun (tm) Java Advanced Imaging library (JAI), The Sun JIMI library
+ * (or with modified versions of the above that use the same license as the above),
+ * and distribute linked combinations including the two.  You must obey the
+ * GNU General Public License in all respects for all of the code used other than
+ * the above mentioned libraries.  If you modify this file, you may extend this
+ * exception to your version of the file, but you are not obligated to do so.
+ * If you do not wish to do so, delete this exception statement from your version.
  */
 
 package mircoders.servlet;
 
-import java.io.ByteArrayOutputStream;
-import java.io.File;
-import java.io.FileNotFoundException;
-import java.io.FileReader;
-import java.io.IOException;
-import java.io.PrintWriter;
-import java.io.StringWriter;
-import java.util.ArrayList;
-import java.util.Arrays;
-import java.util.Collections;
-import java.util.Date;
-import java.util.Enumeration;
-import java.util.GregorianCalendar;
-import java.util.HashMap;
-import java.util.Iterator;
-import java.util.List;
-import java.util.ListIterator;
-import java.util.Map;
-import java.util.Random;
-import java.util.Set;
-import java.util.Vector;
-import java.util.Locale;
-import javax.servlet.http.HttpServletRequest;
-import javax.servlet.http.HttpServletResponse;
-import javax.servlet.http.HttpSession;
-
 import gnu.regexp.RE;
 import gnu.regexp.REMatch;
-import gnu.regexp.REMatchEnumeration;
-import gnu.regexp.REException;
-
-
-import org.apache.commons.net.smtp.SMTPClient;
-import org.apache.commons.net.smtp.SMTPReply;
-//import org.apache.fop.apps.Driver;
-//import org.apache.fop.apps.XSLTInputHandler;
-import org.apache.log.Hierarchy;
-import org.apache.log.Priority;
-import org.apache.lucene.analysis.standard.StandardAnalyzer;
-import org.apache.lucene.document.Document;
-import org.apache.lucene.queryParser.QueryParser;
-import org.apache.lucene.search.Hits;
-import org.apache.lucene.search.IndexSearcher;
-import org.apache.lucene.search.Query;
-import org.apache.lucene.search.Searcher;
-import org.apache.struts.util.MessageResources;
-import mir.entity.Entity;
-import mir.entity.EntityList;
+import mir.bundle.Bundle;
 import mir.generator.Generator;
-import mir.log.LoggerWrapper;
-import mir.misc.FileHandler;
 import mir.misc.StringUtil;
-import mir.misc.WebdbMultipartRequest;
 import mir.servlet.ServletModule;
 import mir.servlet.ServletModuleExc;
 import mir.servlet.ServletModuleFailure;
 import mir.servlet.ServletModuleUserExc;
-import mir.storage.StorageObjectFailure;
-import mir.util.ExceptionFunctions;
+import mir.session.HTTPAdapters;
+import mir.session.Request;
+import mir.session.Session;
+import mir.session.SessionHandler;
+import mir.session.SimpleResponse;
+import mir.util.FileRoutines;
+import mir.util.HTTPParsedRequest;
 import mir.util.HTTPRequestParser;
 import mir.util.StringRoutines;
-import mircoders.entity.EntityComment;
+import mir.module.ModuleExc;
 import mircoders.entity.EntityContent;
+import mircoders.global.CacheKey;
 import mircoders.global.MirGlobal;
-import mircoders.media.MediaRequest;
-import mircoders.media.UnsupportedMediaFormatExc;
-import mircoders.module.ModuleComment;
 import mircoders.module.ModuleContent;
-import mircoders.module.ModuleImages;
-import mircoders.module.ModuleTopics;
 import mircoders.pdf.PDFGenerator;
 import mircoders.search.AudioSearchTerm;
 import mircoders.search.ContentSearchTerm;
 import mircoders.search.ImagesSearchTerm;
 import mircoders.search.KeywordSearchTerm;
 import mircoders.search.TextSearchTerm;
+import mircoders.search.TopicMatrixSearchTerm;
 import mircoders.search.TopicSearchTerm;
 import mircoders.search.UnIndexedSearchTerm;
 import mircoders.search.VideoSearchTerm;
-import mircoders.storage.DatabaseComment;
-import mircoders.storage.DatabaseContent;
-import mircoders.storage.DatabaseContentToMedia;
-import mircoders.storage.DatabaseContentToTopics;
-import mircoders.storage.DatabaseImages;
-import mircoders.storage.DatabaseLanguage;
 import mircoders.storage.DatabaseTopics;
+import mircoders.localizer.MirLocalizerExc;
+import org.apache.commons.net.smtp.SMTPClient;
+import org.apache.commons.net.smtp.SMTPReply;
+import org.apache.lucene.analysis.standard.StandardAnalyzer;
+import org.apache.lucene.document.Document;
+import org.apache.lucene.queryParser.QueryParser;
+import org.apache.lucene.search.Hits;
+import org.apache.lucene.search.IndexSearcher;
+import org.apache.lucene.search.Query;
+import org.apache.lucene.search.Searcher;
+import org.apache.lucene.store.FSDirectory;
+
+import javax.servlet.http.HttpServletRequest;
+import javax.servlet.http.HttpServletResponse;
+import javax.servlet.http.HttpSession;
+import java.io.ByteArrayOutputStream;
+import java.io.File;
+import java.io.IOException;
+import java.io.PrintWriter;
+import java.io.StringWriter;
+import java.util.ArrayList;
+import java.util.Arrays;
+import java.util.Collections;
+import java.util.GregorianCalendar;
+import java.util.HashMap;
+import java.util.Iterator;
+import java.util.List;
+import java.util.ListIterator;
+import java.util.Locale;
+import java.util.Map;
+import java.util.Random;
+import java.util.Set;
 
 /*
- *  ServletModuleOpenIndy -
- *   is the open-access-servlet, which is responsible for
- *    adding comments to articles &
- *    open-postings to the newswire
- *
- * @author mir-coders group
- * @version $Id: ServletModuleOpenIndy.java,v 1.73 2003/04/14 19:19:16 john Exp $
- *
  */
 
-public class ServletModuleOpenIndy extends ServletModule
-{
-
-  private String        commentFormTemplate, commentFormDoneTemplate, commentFormDupeTemplate;
-  private String        postingFormTemplate, postingFormDoneTemplate, postingFormDupeTemplate;
+public class ServletModuleOpenIndy extends ServletModule {
   private String        searchResultsTemplate;
-  private String        prepareMailTemplate,sentMailTemplate;
+  private String        prepareMailTemplate,sentMailTemplate,emailAnArticleTemplate;
   private ModuleContent contentModule;
-  private ModuleComment commentModule;
-  private ModuleImages  imageModule;
-  private ModuleTopics  topicsModule;
-  private String        directOp ="yes";
-  // Singelton / Kontruktor
-  private static ServletModuleOpenIndy instance = new ServletModuleOpenIndy();
-  public static ServletModule getInstance() { return instance; }
-
-  private ServletModuleOpenIndy() {
-    super();
-    try {
-      logger = new LoggerWrapper("ServletModule.OpenIndy");
-
-      commentFormTemplate = configuration.getString("ServletModule.OpenIndy.CommentTemplate");
-      commentFormDoneTemplate = configuration.getString("ServletModule.OpenIndy.CommentDoneTemplate");
-      commentFormDupeTemplate = configuration.getString("ServletModule.OpenIndy.CommentDupeTemplate");
-      postingFormTemplate = configuration.getString("ServletModule.OpenIndy.PostingTemplate");
-      postingFormDoneTemplate = configuration.getString("ServletModule.OpenIndy.PostingDoneTemplate");
-      postingFormDupeTemplate = configuration.getString("ServletModule.OpenIndy.PostingDupeTemplate");
-      searchResultsTemplate = configuration.getString("ServletModule.OpenIndy.SearchResultsTemplate");
-      prepareMailTemplate = configuration.getString("ServletModule.OpenIndy.PrepareMailTemplate");
-      sentMailTemplate = configuration.getString("ServletModule.OpenIndy.SentMailTemplate");
-      directOp = configuration.getString("DirectOpenposting").toLowerCase();
-      mainModule = new ModuleComment(DatabaseComment.getInstance());
-      contentModule = new ModuleContent(DatabaseContent.getInstance());
-      topicsModule = new ModuleTopics(DatabaseTopics.getInstance());
-      imageModule = new ModuleImages(DatabaseImages.getInstance());
-      defaultAction="addposting";
-    }
-    catch (StorageObjectFailure e) {
-      logger.error("servletmoduleopenindy could not be initialized: " + e.getMessage());
-    }
+
+  public ServletModuleOpenIndy() {
+    searchResultsTemplate = getConfiguration().getString("ServletModule.OpenIndy.SearchResultsTemplate");
+    prepareMailTemplate = getConfiguration().getString("ServletModule.OpenIndy.PrepareMailTemplate");
+    emailAnArticleTemplate = getConfiguration().getString("ServletModule.OpenIndy.MailableArticleTemplate");
+    sentMailTemplate = getConfiguration().getString("ServletModule.OpenIndy.SentMailTemplate");
+
+    contentModule = new ModuleContent();
   }
 
   /**
-   * Method to return an "apology" when open postings are disabled
+   * Perform the default open posting action
+   */
+  public void defaultAction(HttpServletRequest aRequest, HttpServletResponse aResponse) throws ServletModuleExc, ServletModuleUserExc, ServletModuleFailure {
+    opensession(aRequest, aResponse);
+  }
+
+  /**
+   * Method to return an out of service notice when open postings are disabled
    *
    * @param aRequest
    * @param aResponse
@@ -181,376 +131,121 @@ public class ServletModuleOpenIndy extends ServletModule
    * @throws ServletModuleFailure
    */
   public void openPostingDisabled(HttpServletRequest aRequest, HttpServletResponse aResponse) throws ServletModuleExc, ServletModuleUserExc, ServletModuleFailure {
-    deliver(aRequest, aResponse, (Map) null, null,
-       configuration.getString("ServletModule.OpenIndy.PostingDisabledTemplate"));
+    deliver(aRequest, aResponse, null, null, getConfiguration().getString("ServletModule.OpenIndy.PostingDisabledTemplate"));
   }
 
-
   /**
-   *  Method for making a comment
+   * Due to a serious shortcoming of Tomcat 3.3, an extra sessionid parameter is
+   *   generated into open session urls. Tomcat 3.3 makes it impossible to
+   *   distinguish between sessions that are identified using a url and those
+   *   that are identified using cookies: if both a sessionid cookie and a sessionid
+   *   url are available, tomcat 3.3 pretends the url wasn't there...
    */
-
-  public void addcomment(HttpServletRequest req, HttpServletResponse res) throws ServletModuleExc, ServletModuleUserExc, ServletModuleFailure
-  {
-    if (MirGlobal.abuse().getOpenPostingDisabled()) {
-      openPostingDisabled(req, res);
-
-      return;
-    }
-
-    String aid = req.getParameter("aid"); // the article id the comment will belong to
-/*
-    String language = req.getParameter("language");
- */
-
-    if (aid!=null && !aid.equals("")) {
-      try {
-        Map mergeData = new HashMap();
-
-        // onetimepasswd
-        if (MirGlobal.abuse().getOpenPostingPassword()) {
-          String passwd = this.createOneTimePasswd();
-          HttpSession session = req.getSession(false);
-          session.setAttribute("passwd", passwd);
-          mergeData.put("passwd", passwd);
-        }
-        else {
-          mergeData.put("passwd", (String) null);
-        }
-/*
-        if (language != null) {
-          HttpSession session = req.getSession(false);
-          session.setAttribute("Locale", new Locale(language, ""));
-          session.setAttribute("language", language);
-        }
-*/
-        mergeData.put("aid", aid);
-
-        Map extraInfo = new HashMap();
-        extraInfo.put("languagePopUpData", DatabaseLanguage.getInstance().getPopupData());
-
-        deliver(req, res, mergeData, extraInfo, commentFormTemplate);
-      }
-      catch (Throwable t) {
-        throw new ServletModuleFailure("ServletModuleOpenIndy.addcomment: " + t.getMessage(), t);
-      }
-    }
-    else throw new ServletModuleExc("aid not set!");
-  }
+  private static final String SESSION_REQUEST_KEY="sessionid";
 
   /**
-   *  Method for inserting a comment into the Database and delivering
-   *  the commentDone Page
+   * Determines the Locale to be used for the current session
    */
+  protected Locale getResponseLocale(HttpSession aSession, HttpServletRequest aRequest) {
+    String requestLanguage = aRequest.getParameter("language");
+    String sessionLanguage = (String) aSession.getAttribute("language");
+    String acceptLanguage = aRequest.getLocale().getLanguage();
+    String defaultLanguage = getConfiguration().getString("Mir.Login.DefaultLanguage", "en");
 
-  public void inscomment(HttpServletRequest req, HttpServletResponse res)
-    throws ServletModuleExc, ServletModuleUserExc, ServletModuleFailure
-  {
-    if (MirGlobal.abuse().getOpenPostingDisabled()) {
-      openPostingDisabled(req, res);
-
-      return;
-    }
-
-    String aid = req.getParameter("to_media"); // the article id the comment will belong to
-    if (aid!=null && !aid.equals(""))
-      {
-        // ok, collecting data from form
-        try {
-          Map withValues = getIntersectingValues(req, DatabaseComment.getInstance());
+    String language = requestLanguage;
 
-          //no html in comments(for now)
-          for (Iterator i=withValues.keySet().iterator(); i.hasNext(); ){
-            String k=(String)i.next();
-            String v=(String)withValues.get(k);
-
-            withValues.put(k,StringUtil.removeHTMLTags(v));
-          }
-          withValues.put("is_published","1");
-          withValues.put("to_comment_status","1");
-
-          //checking the onetimepasswd
-          HttpSession session = req.getSession(false);
-          String sessionPasswd = (String) session.getAttribute("passwd");
-          if ( sessionPasswd != null){
-            String passwd = req.getParameter("passwd");
-            if ( passwd == null || passwd.length()==0) {
-              throw new ServletModuleUserExc("comment.error.missingpassword", new String[] {});
-            }
-            if (!sessionPasswd.equals(passwd)) {
-              throw new ServletModuleUserExc("comment.error.invalidpassword", new String[] {});
-            }
-            session.invalidate();
-          }
-
-          String id = mainModule.add(withValues);
-
-          if(id==null){
-            deliver(req, res, (Map) null, null, commentFormDupeTemplate);
-          }
-          else {
-            MirGlobal.abuse().logComment(req.getRemoteAddr(), id, new Date(), (String) req.getHeader("User-Agent"));
+    if (language==null)
+      language = sessionLanguage;
 
-            DatabaseContent.getInstance().setUnproduced("id="+aid);
+    if (language==null)
+      language = acceptLanguage;
 
-            try {
-              EntityComment comment = (EntityComment) DatabaseComment.getInstance().selectById(id);
-              MirGlobal.abuse().checkComment(comment, req, res);
-              MirGlobal.localizer().openPostings().afterCommentPosting(comment);
-            }
-            catch (Throwable t) {
-              throw new ServletModuleExc(t.getMessage());
-            }
-          }
+    if (language==null)
+      language = defaultLanguage;
 
-          // redirecting to url
-          // should implement back to article
-          Map mergeData = new HashMap();
-          deliver(req, res, mergeData, null, commentFormDoneTemplate);
-        }
-        catch (Throwable e) {
-          throw new ServletModuleFailure(e);
-        }
-      }
-    else throw new ServletModuleExc("aid not set!");
+    aSession.setAttribute("language", language);
 
+    return new Locale(language, "");
   }
 
   /**
-   *  Method for delivering the form-Page for open posting
+   * Dispatch method for open sessions: a flexible extensible and customizable way
+   *   for open access. Can be used for postings, but also for lots of other stuff.
+   *
+   * @param aRequest
+   * @param aResponse
+   * @throws ServletModuleExc
+   * @throws ServletModuleUserExc
+   * @throws ServletModuleFailure
    */
+  public void opensession(HttpServletRequest aRequest, HttpServletResponse aResponse)
+      throws ServletModuleExc, ServletModuleUserExc, ServletModuleFailure {
 
-  public void addposting(HttpServletRequest req, HttpServletResponse res)
-      throws ServletModuleExc, ServletModuleUserExc, ServletModuleFailure
-  {
     try {
-      if (MirGlobal.abuse().getOpenPostingDisabled()) {
-        openPostingDisabled(req, res);
+      Request request =
+          new HTTPAdapters.HTTPParsedRequestAdapter(new HTTPParsedRequest(aRequest,
+              getConfiguration().getString("Mir.DefaultEncoding"),
+              getConfiguration().getInt("MaxMediaUploadSize")*1024,
+              getConfiguration().getString("TempDir")));
 
-        return;
+      if (aRequest.isRequestedSessionIdValid() && !aRequest.isRequestedSessionIdFromURL() &&
+          !aRequest.getRequestedSessionId().equals(aRequest.getParameter(SESSION_REQUEST_KEY))) {
+        aRequest.getSession().invalidate();
       }
 
-      Map mergeData = new HashMap();
+      Session session = new HTTPAdapters.HTTPSessionAdapter(aRequest.getSession());
 
-      // onetimepasswd
-      if (MirGlobal.abuse().getOpenPostingPassword()) {
-        String passwd = this.createOneTimePasswd();
-        HttpSession session = req.getSession(false);
-        session.setAttribute("passwd", passwd);
-        mergeData.put("passwd", passwd);
-      }
-      else {
-        mergeData.put("passwd", (String)null);
-      }
+      SimpleResponse response = new SimpleResponse(
+          ServletHelper.makeGenerationData(aRequest, aResponse,
+              new Locale[] {
+                  getResponseLocale(aRequest.getSession(), aRequest),
+                  getFallbackLocale(aRequest)
+              },
+             "etc/bundles/open"));
 
-      String maxMedia = configuration.getString("ServletModule.OpenIndy.MaxMediaUploadItems");
-      String defaultMedia = configuration.getString("ServletModule.OpenIndy.DefaultMediaUploadItems");
-      String numOfMedia = req.getParameter("medianum");
+      response.setResponseValue("actionURL", aResponse.encodeURL(MirGlobal.config().getString("RootUri") + "/servlet/OpenMir")+"?"+SESSION_REQUEST_KEY+"="+aRequest.getSession().getId());
 
-      if (numOfMedia == null || numOfMedia.equals("")) {
-        numOfMedia = defaultMedia;
-      }
-      else if (Integer.parseInt(numOfMedia) > Integer.parseInt(maxMedia)) {
-        numOfMedia = maxMedia;
-      }
-
-      int mediaNum = Integer.parseInt(numOfMedia);
-      List mediaFields = new Vector();
-      for (int i = 0; i < mediaNum; i++) {
-        Integer mNum = new Integer(i + 1);
-        mediaFields.add(mNum.toString());
-      }
-      mergeData.put("medianum", numOfMedia);
-      mergeData.put("mediafields", mediaFields);
-      mergeData.put("to_topic", null);
+      SessionHandler handler = MirGlobal.localizer().openPostings().getOpenSessionHandler(request, session);
 
-      Map extraInfo = new HashMap();
-      extraInfo.put("languagePopUpData", DatabaseLanguage.getInstance().getPopupData());
-      extraInfo.put("themenPopupData", topicsModule.getTopicsAsSimpleList());
-
-      extraInfo.put("topics", topicsModule.getTopicsList());
-      deliver(req, res, mergeData, extraInfo, postingFormTemplate);
+      handler.processRequest(request, session, response);
+      ServletHelper.generateOpenPostingResponse(aResponse.getWriter(), response.getResponseValues(), response.getResponseGenerator());
     }
     catch (Throwable t) {
-      throw new ServletModuleFailure(t);
-    }
-  }
-
-  /**
-   *  Method for inserting an open posting into the Database and delivering
-   *  the postingDone Page
-   */
-
-  public void insposting(HttpServletRequest req, HttpServletResponse res) throws ServletModuleExc, ServletModuleUserExc, ServletModuleFailure
-  {
-    if (MirGlobal.abuse().getOpenPostingDisabled()) {
-      openPostingDisabled(req, res);
-
-      return;
-    }
-
-    Map mergeData = new HashMap();
-    boolean setMedia=false;
-    boolean setTopic = false;
+      getLogger().error(t.toString(), t);
 
-    try {
-
-      WebdbMultipartRequest mp = null;
-      EntityList mediaList = null;
-      try {
-        // new MediaRequest, "1" is the id for the openPosting user
-        MediaRequest mediaReq = new MediaRequest("1", true);
-        mp = new WebdbMultipartRequest(req, (FileHandler)mediaReq);
-        mediaList = mediaReq.getEntityList();
-      }
-      catch (Throwable e) {
-        throw new ServletModuleFailure(e);
-      }
-
-      Map withValues = mp.getParameters();
-
-      //checking the onetimepasswd
-      HttpSession session = req.getSession(false);
-      String sessionPasswd = (String) session.getAttribute("passwd");
-      if (sessionPasswd != null){
-        String passwd = (String) withValues.get("passwd");
-
-        logger.debug("session password = " + sessionPasswd + ", form password = " + passwd);
-
-        if ( passwd == null || passwd.length()==0) {
-          throw new ServletModuleUserExc("posting.error.missingpassword", new String[] {});
-        }
-        if (!sessionPasswd.equals(passwd)) {
-          throw new ServletModuleUserExc("posting.error.invalidpassword", new String[] {});
-        }
-        session.invalidate();
-      }
-
-      if ((((String)withValues.get("title")).length() == 0) ||
-          (((String)withValues.get("description")).length() == 0) ||
-          (((String)withValues.get("content_data")).length() == 0))
-        throw new ServletModuleUserExc("posting.error.missingfield", new String[] {});
-
-      // call the routines that escape html
-
-      for (Iterator i=withValues.keySet().iterator(); i.hasNext(); ){
-        String k=(String)i.next();
-        String v=(String)withValues.get(k);
-
-        if (k.equals("content_data")){
-          //this doesn't quite work yet, so for now, all html goes
-          //withValues.put(k,StringUtil.approveHTMLTags(v));
-          withValues.put(k,StringUtil.deleteForbiddenTags(v));
-        }
-        else if (k.equals("description")) {
-          String tmp = StringUtil.deleteForbiddenTags(v);
-          withValues.put(k,StringUtil.deleteHTMLTableTags(tmp));
-        }
-        else {
-          withValues.put(k,StringUtil.removeHTMLTags(v));
-        }
-
-      }
-
-      withValues.put("date", StringUtil.date2webdbDate(new GregorianCalendar()));
-      withValues.put("publish_path", StringUtil.webdbDate2path((String)withValues.get("date")));
-      withValues.put("is_produced", "0");
-      withValues.put("is_published","1");
-      if (directOp.equals("yes"))
-        withValues.put("to_article_type","1");
-
-      withValues.put("to_publisher","1");
-
-      // inserting  content into database
-      String cid = contentModule.add(withValues);
-      logger.debug("id: "+cid);
-      //insert was not successfull
-      if(cid==null){
-
-        //How do we know that it was not succesful cause of a
-        //dupe, what if it failed cause of "No space left on device"?
-        //Or is there something I am missing? Wouldn't it be better
-        //to have an explicit dupe check and then insert? I have no
-        //idea what I am talking about. this comment is in case
-        //I forget to explicitely ask. -mh
-        deliver(req, res, mergeData, null, postingFormDupeTemplate);
-        return;
-      }
-
-      MirGlobal.abuse().logArticle(req.getRemoteAddr(), cid, new Date(), (String) req.getHeader("User-Agent"));
-
-      String[] to_topicsArr = mp.getParameterValues("to_topic");
-
-      if (to_topicsArr != null && to_topicsArr.length > 0) {
-        try{
-          DatabaseContentToTopics.getInstance().setTopics(cid,to_topicsArr);
-          setTopic = true;
-        }
-        catch (Throwable e) {
-          logger.error("setting content_x_topic failed");
-          contentModule.deleteById(cid);
-          throw new ServletModuleFailure("smod - openindy :: insposting: setting content_x_topic failed: "+e.toString(), e);
-        } //end try
-      } //end if
-
-      //if we're here all is ok... associate the media to the article
-      for(int i=0;i<mediaList.size();i++) {
-        Entity mediaEnt = (Entity)mediaList.elementAt(i);
-        DatabaseContentToMedia.getInstance().addMedia(cid,mediaEnt.getId());
-      }
-
-      EntityContent article = (EntityContent) contentModule.getById(cid);
-
-      try {
-        MirGlobal.abuse().checkArticle(article, req, res);
-        MirGlobal.localizer().openPostings().afterContentPosting(article);
-      }
-      catch (Throwable t) {
-        logger.error("Error while post-processing article: " + t.getMessage());
-      }
-    }
-    catch (Throwable e) {
-      Throwable cause = ExceptionFunctions.traceCauseException(e);
-
-      if (cause instanceof UnsupportedMediaFormatExc) {
-        throw new ServletModuleUserExc("media.unsupportedformat", new String[] {} );
-      }
-      throw new ServletModuleFailure(e);
+      throw new ServletModuleFailure(t);
     }
-
-    deliver(req, res, mergeData, null, postingFormDoneTemplate);
   }
 
   /**
    * Method for preparing and sending a content as an email message
    */
-
-  public void mail(HttpServletRequest req, HttpServletResponse res)
-      throws ServletModuleExc, ServletModuleUserExc, ServletModuleFailure
-  {
-    String aid = req.getParameter("mail_aid");
+  public void mail(HttpServletRequest aRequest, HttpServletResponse aResponse)
+      throws ServletModuleExc, ServletModuleUserExc, ServletModuleFailure {
+    String aid = aRequest.getParameter("mail_aid");
     if (aid == null){
-      throw new ServletModuleExc("An article id must be specified in requests to email an article.  Something therefore went badly wrong....");
+      throw new ServletModuleExc("An article id must be specified in requests " +
+          "to email an article.  Something therefore went badly wrong....");
     }
 
-    String to = req.getParameter("mail_to");
-    String from = req.getParameter("mail_from");
-    String from_name = req.getParameter("mail_from_name");
-    String comment = req.getParameter("mail_comment");
-    String mail_language = req.getParameter("mail_language");
+    String to = aRequest.getParameter("mail_to");
+    String from = aRequest.getParameter("mail_from");
+    String from_name = aRequest.getParameter("mail_from_name");
+    String from_ip = aRequest.getRemoteAddr();
+    String comment = aRequest.getParameter("mail_comment");
+    String mail_language = aRequest.getParameter("mail_language");
 
     Map mergeData = new HashMap();
+    mergeData.put("mail_to",to);
+    mergeData.put("mail_from",from);
+    mergeData.put("mail_from_name",from_name);
+    mergeData.put("mail_comment",comment);
+    mergeData.put("mail_aid",aid);
+    mergeData.put("mail_language",mail_language);
 
-    if (to == null || from == null || from_name == null|| to.equals("") || from.equals("") || from_name.equals("") || mail_language == null || mail_language.equals("")){
-
-      for (Enumeration theParams = req.getParameterNames(); theParams.hasMoreElements() ;) {
-        String pName=(String)theParams.nextElement();
-        if (pName.startsWith("mail_")){
-          mergeData.put( pName,req.getParameter(pName) );
-        }
-      }
 
-      deliver(req, res, mergeData, null, prepareMailTemplate);
+    if (to == null || from == null || from_name == null|| to.equals("") || from.equals("") || from_name.equals("") || mail_language == null || mail_language.equals("")){
+      deliver(aRequest, aResponse, mergeData, null, prepareMailTemplate);
     }
     else {
       //run checks on to and from and mail_language to make sure no monkey business occurring
@@ -566,41 +261,51 @@ public class ServletModuleOpenIndy extends ServletModule
         throw new ServletModuleUserExc("email.error.invalidfromaddress", new String[] {from});
       }
 
+      CacheKey theCacheKey=new CacheKey("email",aid+mail_language);
+      String theEmailText;
 
-      EntityContent contentEnt;
-      try{
-        contentEnt = (EntityContent)contentModule.getById(aid);
+      EntityContent article;
+      try {
+        article = (EntityContent) contentModule.getById(aid);
       }
-      catch (Throwable e){
-        throw new ServletModuleFailure("Couldn't get content for article "+aid + ": " + e.getMessage(), e);
+      catch (ModuleExc e) {
+        throw new ServletModuleExc("Couldn't retrieve article " + aid);
       }
-      String producerStorageRoot=configuration.getString("Producer.StorageRoot");
-      String producerDocRoot=configuration.getString("Producer.DocRoot");
-      String publishPath = contentEnt.getValue("publish_path");
-      String txtFilePath = producerStorageRoot + producerDocRoot + "/" + mail_language +
-                                                                                                         publishPath + "/" + aid + ".txt";
-
-
-      File inputFile = new File(txtFilePath);
-      String content;
-
-      try{
-        FileReader in = new FileReader(inputFile);
-        StringWriter out = new StringWriter();
-        int c;
-        while ((c = in.read()) != -1)
-          out.write(c);
-        in.close();
-        content= out.toString();
+
+      if (!MirGlobal.localizer().openPostings().allowArticlePublication(article)) {
+        throw new ServletModuleExc("Illegal article");
       }
-      catch (FileNotFoundException e){
-        throw new ServletModuleFailure("No text file found in " + txtFilePath, e);
+
+      if (MirGlobal.mruCache().hasObject(theCacheKey)){
+        getLogger().info("fetching email text for article "+aid+" from cache");
+        theEmailText = (String) MirGlobal.mruCache().getObject(theCacheKey);
       }
-      catch (IOException e){
-        throw new ServletModuleFailure("Problem reading file in " + txtFilePath, e);
+      else {
+        StringWriter theEMailTextWriter = new StringWriter();
+        PrintWriter dest = new PrintWriter(theEMailTextWriter);
+        try {
+          Map articleData = new HashMap();
+          try {
+            articleData.put("article",
+                MirGlobal.localizer().dataModel().adapterModel().makeEntityAdapter("content", article));
+          }
+          catch (MirLocalizerExc e) {
+            throw new ServletModuleExc("Can't retrieve article " + aid, e);
+          }
+          articleData.put("languagecode", mail_language);
+          deliver(dest, aRequest, aResponse, articleData, null, emailAnArticleTemplate, mail_language);
+        }
+        finally {
+          dest.close();
+        }
+        theEmailText = theEMailTextWriter.toString();
+        MirGlobal.mruCache().storeObject(theCacheKey, theEmailText);
       }
+
+      String content = theEmailText;
+
       // add some headers
-      content = "To: " + to + "\nReply-To: "+ from + "\n" + content;
+      content = "To: " + to + "\nReply-To: "+ from + "\nX-Originating-IP: "+ from_ip + "\n" + content;
       // put in the comment where it should go
       if (comment != null) {
         String commentTextToInsert = "\n\nAttached comment from " + from_name + ":\n" + comment;
@@ -623,7 +328,7 @@ public class ServletModuleOpenIndy extends ServletModule
       SMTPClient client=new SMTPClient();
       try {
         int reply;
-        client.connect(configuration.getString("ServletModule.OpenIndy.SMTPServer"));
+        client.connect(getConfiguration().getString("ServletModule.OpenIndy.SMTPServer"));
 
         reply = client.getReplyCode();
 
@@ -632,11 +337,11 @@ public class ServletModuleOpenIndy extends ServletModule
           throw new ServletModuleExc("SMTP server refused connection.");
         }
 
-        client.sendSimpleMessage(configuration.getString("ServletModule.OpenIndy.EmailIsFrom"), to, content);
+        client.sendSimpleMessage(getConfiguration().getString("ServletModule.OpenIndy.EmailIsFrom"), to, content);
 
         client.disconnect();
         //mission accomplished
-        deliver(req, res, mergeData, null, sentMailTemplate);
+        deliver(aRequest, aResponse, mergeData, null, sentMailTemplate);
       }
       catch(IOException e) {
         if(client.isConnected()) {
@@ -651,6 +356,8 @@ public class ServletModuleOpenIndy extends ServletModule
     }
   }
 
+
+
   /**
    * Method for querying a lucene index
    *
@@ -661,29 +368,30 @@ public class ServletModuleOpenIndy extends ServletModule
    * @throws ServletModuleFailure
    */
 
-  public void search(HttpServletRequest req, HttpServletResponse res)
-      throws ServletModuleExc, ServletModuleUserExc, ServletModuleFailure {
+  public void search(HttpServletRequest req, HttpServletResponse res) throws ServletModuleExc, ServletModuleUserExc, ServletModuleFailure {
     try {
-      final String[] search_variables = { "search_content", "search_boolean", "search_creator",
+      final String[] search_variables = {
+          "search_content", "search_boolean", "search_creator",
           "search_topic", "search_hasImages", "search_hasAudio", "search_hasVideo", "search_sort",
-          "search_submit", "search_back", "search_forward" };
+          "search_submit", "search_back", "search_forward"};
       HTTPRequestParser requestParser = new HTTPRequestParser(req);
 
-      int increment=10;
+      int increment = 10;
 
       HttpSession session = req.getSession(false);
 
-      String queryString="";
+      String queryString = "";
 
       Map mergeData = new HashMap();
 
-      KeywordSearchTerm dateTerm = new KeywordSearchTerm("date_formatted","search_date","webdb_create_formatted","webdb_create_formatted","webdb_create_formatted");
-      UnIndexedSearchTerm whereTerm = new UnIndexedSearchTerm("","","","where","where");
-      TextSearchTerm creatorTerm = new TextSearchTerm("creator","search_creator","creator","creator","creator");
-      TextSearchTerm titleTerm = new TextSearchTerm("title","search_content","title","title","title");
-      TextSearchTerm descriptionTerm =  new TextSearchTerm("description","search_content","description","description","description");
-      ContentSearchTerm contentTerm = new ContentSearchTerm("content_data","search_content","content","","");
+      KeywordSearchTerm dateTerm = new KeywordSearchTerm("date_formatted", "search_date", "webdb_create_formatted", "webdb_create_formatted", "webdb_create_formatted");
+      UnIndexedSearchTerm whereTerm = new UnIndexedSearchTerm("", "", "", "where", "where");
+      TextSearchTerm creatorTerm = new TextSearchTerm("creator", "search_creator", "creator", "creator", "creator");
+      TextSearchTerm titleTerm = new TextSearchTerm("title", "search_content", "title", "title", "title");
+      TextSearchTerm descriptionTerm = new TextSearchTerm("description", "search_content", "description", "description", "description");
+      ContentSearchTerm contentTerm = new ContentSearchTerm("content_data", "search_content", "content", "", "");
       TopicSearchTerm topicTerm = new TopicSearchTerm();
+      TopicMatrixSearchTerm topicMatrixTerm = new TopicMatrixSearchTerm();
       ImagesSearchTerm imagesTerm = new ImagesSearchTerm();
       AudioSearchTerm audioTerm = new AudioSearchTerm();
       VideoSearchTerm videoTerm = new VideoSearchTerm();
@@ -697,179 +405,183 @@ public class ServletModuleOpenIndy extends ServletModule
         mergeData.put(variable, requestParser.getParameter(variable));
       }
 
-      try{
-        mergeData.put("topics", topicsModule.getTopicsAsSimpleList());
+      try {
+        mergeData.put("topics", DatabaseTopics.getInstance().getPopupData());
       }
-      catch(Throwable e) {
-        logger.debug("Can't get topics: " + e.toString());
+      catch (Throwable e) {
+        getLogger().debug("Can't get topics: " + e.toString());
       }
 
       String searchBackValue = req.getParameter("search_back");
       String searchForwardValue = req.getParameter("search_forward");
 
-      if (searchBackValue != null){
-        int totalHits = ((Integer) session.getAttribute("numberOfHits")).intValue();
-        int newPosition=((Integer)session.getAttribute("positionInResults")).intValue()-increment;
-        if (newPosition<0)
-          newPosition=0;
+      if (searchBackValue != null) {
+        int totalHits = ( (Integer) session.getAttribute("numberOfHits")).intValue();
+        int newPosition = ( (Integer) session.getAttribute("positionInResults")).intValue() - increment;
+        if (newPosition < 0)
+          newPosition = 0;
         if (newPosition >= totalHits)
-          newPosition=totalHits-1;
-        session.setAttribute("positionInResults",new Integer(newPosition));
+          newPosition = totalHits - 1;
+        session.setAttribute("positionInResults", new Integer(newPosition));
       }
       else {
-        if (searchForwardValue != null){
-          int totalHits = ((Integer) session.getAttribute("numberOfHits")).intValue();
-          int newPosition=((Integer)session.getAttribute("positionInResults")).intValue()+increment;
-          if (newPosition<0)
-            newPosition=0;
+        if (searchForwardValue != null) {
+          int totalHits = ( (Integer) session.getAttribute("numberOfHits")).intValue();
+          int newPosition = ( (Integer) session.getAttribute("positionInResults")).intValue() + increment;
+          if (newPosition < 0)
+            newPosition = 0;
           if (newPosition >= totalHits)
-            newPosition=totalHits-1;
+            newPosition = totalHits - 1;
 
-          session.setAttribute("positionInResults",new Integer(newPosition));
+          session.setAttribute("positionInResults", new Integer(newPosition));
         }
         else {
-          String indexPath=configuration.getString("IndexPath");
-
+          File indexFile = FileRoutines.getAbsoluteOrRelativeFile(getConfiguration().getHome(), getConfiguration().getString("IndexPath"));
 
           String creatorFragment = creatorTerm.makeTerm(req);
-          if (creatorFragment != null){
+          if (creatorFragment != null) {
             queryString = queryString + " +" + creatorFragment;
           }
 
           // search title, description, and content for something
           // the contentTerm uses param "search_boolean" to combine its terms
           String contentFragment = contentTerm.makeTerm(req);
-          if (contentFragment != null){
-            logger.debug("contentFragment: " + contentFragment);
+          if (contentFragment != null) {
+            getLogger().debug("contentFragment: " + contentFragment);
             queryString = queryString + " +" + contentFragment;
           }
 
           String topicFragment = topicTerm.makeTerm(req);
-          if (topicFragment != null){
+          if (topicFragment != null) {
             queryString = queryString + " +" + topicFragment;
           }
 
+          String topicMatrixFragment = topicMatrixTerm.makeTerm(req);
+          if (topicMatrixFragment != null) {
+            queryString = queryString + " +" + topicMatrixFragment;
+          }
+
           String imagesFragment = imagesTerm.makeTerm(req);
-          if (imagesFragment != null){
+          if (imagesFragment != null) {
             queryString = queryString + " +" + imagesFragment;
           }
 
           String audioFragment = audioTerm.makeTerm(req);
-          if (audioFragment != null){
+          if (audioFragment != null) {
             queryString = queryString + " +" + audioFragment;
           }
 
           String videoFragment = videoTerm.makeTerm(req);
-          if (videoFragment != null){
+          if (videoFragment != null) {
             queryString = queryString + " +" + videoFragment;
           }
 
-          if (queryString == null || queryString == ""){
+          if (queryString == null || queryString.length()==0) {
             queryString = "";
           }
-          else{
-            try{
+          else {
+            try {
               Searcher searcher = null;
+
               try {
-                searcher = new IndexSearcher(indexPath);
+                searcher = new IndexSearcher(FSDirectory.getDirectory(indexFile,false));
               }
-              catch(IOException e) {
-                logger.debug("Can't open indexPath: " + indexPath);
-                throw new ServletModuleExc("Problem with Search Index! : "+ e.toString());
+              catch (IOException e) {
+                getLogger().debug("Can't open indexPath: " + indexFile.getAbsolutePath());
+                throw new ServletModuleExc("Problem with Search Index! : " + e.toString());
               }
 
-              Query query = null;
+              Query query;
               try {
                 query = QueryParser.parse(queryString, "content", new StandardAnalyzer());
               }
-              catch(Exception e) {
+              catch (Exception e) {
                 searcher.close();
-                logger.debug("Query don't parse: " + queryString);
-                throw new ServletModuleExc("Problem with Query String! (was '"+queryString+"')");
+                getLogger().debug("Query don't parse: " + queryString);
+                throw new ServletModuleExc("Problem with Query String! (was '" + queryString + "')");
               }
 
               Hits hits = null;
               try {
                 hits = searcher.search(query);
               }
-              catch(IOException e) {
+              catch (IOException e) {
                 searcher.close();
-                logger.debug("Can't get hits: " + e.toString());
+                getLogger().debug("Can't get hits: " + e.toString());
                 throw new ServletModuleExc("Problem getting hits!");
               }
 
               int start = 0;
               int end = hits.length();
 
-              String sortBy=req.getParameter("search_sort");
-              if (sortBy == null || sortBy.equals("")){
+              String sortBy = req.getParameter("search_sort");
+              if (sortBy == null || sortBy.equals("")) {
                 throw new ServletModuleExc("Please let me sort by something!(missing search_sort)");
               }
 
-              // here is where the documents will go for storage across sessions
+              // here is where the documents will go for database across sessions
               ArrayList theDocumentsSorted = new ArrayList();
 
-              if (sortBy.equals("score")){
-                for(int i = start; i < end; i++) {
+              if (sortBy.equals("score")) {
+                for (int i = start; i < end; i++) {
                   theDocumentsSorted.add(hits.doc(i));
                 }
               }
-              else{
+              else {
                 // then we'll sort by date!
-                Map dateToPosition = new HashMap(end,1.0F); //we know how big it will be
-                for(int i = start; i < end; i++) {
-                  String creationDate=(hits.doc(i)).get("creationDate");
+                Map dateToPosition = new HashMap(end, 1.0F); //we know how big it will be
+                for (int i = start; i < end; i++) {
+                  String creationDate = (hits.doc(i)).get("creationDate");
                   // do a little dance in case two contents created at the same second!
-                  if (dateToPosition.containsKey(creationDate)){
-                    ((ArrayList) (dateToPosition.get(creationDate))).add(new Integer(i));
+                  if (dateToPosition.containsKey(creationDate)) {
+                    ( (ArrayList) (dateToPosition.get(creationDate))).add(new Integer(i));
                   }
-                  else{
+                  else {
                     ArrayList thePositions = new ArrayList();
                     thePositions.add(new Integer(i));
-                    dateToPosition.put(creationDate,thePositions);
+                    dateToPosition.put(creationDate, thePositions);
                   }
                 }
                 Set keys = dateToPosition.keySet();
-                ArrayList keyList= new ArrayList(keys);
+                ArrayList keyList = new ArrayList(keys);
                 Collections.sort(keyList);
-                if (sortBy.equals("date_desc")){
+                if (sortBy.equals("date_desc")) {
                   Collections.reverse(keyList);
                 }
-                else{
-                  if (!sortBy.equals("date_asc")){
-                    throw new ServletModuleExc("don't know how to sort by: "+ sortBy);
+                else {
+                  if (!sortBy.equals("date_asc")) {
+                    throw new ServletModuleExc("don't know how to sort by: " + sortBy);
                   }
                 }
                 ListIterator keyTraverser = keyList.listIterator();
-                while (keyTraverser.hasNext()){
-                  ArrayList positions = (ArrayList)dateToPosition.get((keyTraverser.next()));
-                  ListIterator positionsTraverser=positions.listIterator();
-                  while (positionsTraverser.hasNext()){
-                    theDocumentsSorted.add(hits.doc(((Integer)(positionsTraverser.next())).intValue()));
+                while (keyTraverser.hasNext()) {
+                  ArrayList positions = (ArrayList) dateToPosition.get( (keyTraverser.next()));
+                  ListIterator positionsTraverser = positions.listIterator();
+                  while (positionsTraverser.hasNext()) {
+                    theDocumentsSorted.add(hits.doc( ( (Integer) (positionsTraverser.next())).intValue()));
                   }
                 }
               }
 
-              try{
+              try {
                 searcher.close();
               }
-              catch (IOException e){
-                logger.debug("Can't close searcher: " + e.toString());
+              catch (IOException e) {
+                getLogger().debug("Can't close searcher: " + e.toString());
                 throw new ServletModuleFailure("Problem closing searcher(normal):" + e.getMessage(), e);
               }
 
-
               session.removeAttribute("numberOfHits");
               session.removeAttribute("theDocumentsSorted");
               session.removeAttribute("positionInResults");
 
-              session.setAttribute("numberOfHits",new Integer(end));
-              session.setAttribute("theDocumentsSorted",theDocumentsSorted);
-              session.setAttribute("positionInResults",new Integer(0));
+              session.setAttribute("numberOfHits", new Integer(end));
+              session.setAttribute("theDocumentsSorted", theDocumentsSorted);
+              session.setAttribute("positionInResults", new Integer(0));
 
             }
-            catch (IOException e){
-              logger.debug("Can't close searcher: " + e.toString());
+            catch (IOException e) {
+              getLogger().debug("Can't close searcher: " + e.toString());
               throw new ServletModuleFailure("Problem closing searcher: " + e.getMessage(), e);
             }
           }
@@ -877,62 +589,62 @@ public class ServletModuleOpenIndy extends ServletModule
       }
 
       try {
-        ArrayList theDocs = (ArrayList)session.getAttribute("theDocumentsSorted");
-        if (theDocs != null){
+        ArrayList theDocs = (ArrayList) session.getAttribute("theDocumentsSorted");
+        if (theDocs != null) {
 
-          mergeData.put("numberOfHits", ((Integer)session.getAttribute("numberOfHits")).toString());
-          List theHits = new Vector();
-          int pIR=((Integer)session.getAttribute("positionInResults")).intValue();
+          mergeData.put("numberOfHits", (session.getAttribute("numberOfHits")).toString());
+          List theHits = new ArrayList();
+          int pIR = ( (Integer) session.getAttribute("positionInResults")).intValue();
           int terminus;
-          int numHits=((Integer)session.getAttribute("numberOfHits")).intValue();
+          int numHits = ( (Integer) session.getAttribute("numberOfHits")).intValue();
 
-          if (!(pIR+increment>=numHits)){
-            mergeData.put("hasNext","y");
+          if (! (pIR + increment >= numHits)) {
+            mergeData.put("hasNext", "y");
           }
           else {
             mergeData.put("hasNext", null);
           }
-          if (pIR>0){
-            mergeData.put("hasPrevious","y");
+          if (pIR > 0) {
+            mergeData.put("hasPrevious", "y");
           }
           else {
             mergeData.put("hasPrevious", null);
           }
 
-          if ((pIR+increment)>numHits){
-            terminus=numHits;
+          if ( (pIR + increment) > numHits) {
+            terminus = numHits;
           }
           else {
-            terminus=pIR+increment;
+            terminus = pIR + increment;
           }
-          for(int i = pIR; i < terminus; i++) {
+          for (int i = pIR; i < terminus; i++) {
             Map h = new HashMap();
-            Document theHit = (Document)theDocs.get(i);
-            whereTerm.returnMeta(h,theHit);
-            creatorTerm.returnMeta(h,theHit);
-            titleTerm.returnMeta(h,theHit);
-            descriptionTerm.returnMeta(h,theHit);
-            dateTerm.returnMeta(h,theHit);
-            imagesTerm.returnMeta(h,theHit);
-            audioTerm.returnMeta(h,theHit);
-            videoTerm.returnMeta(h,theHit);
+            Document theHit = (Document) theDocs.get(i);
+            whereTerm.returnMeta(h, theHit);
+            creatorTerm.returnMeta(h, theHit);
+            titleTerm.returnMeta(h, theHit);
+            descriptionTerm.returnMeta(h, theHit);
+            dateTerm.returnMeta(h, theHit);
+            imagesTerm.returnMeta(h, theHit);
+            audioTerm.returnMeta(h, theHit);
+            videoTerm.returnMeta(h, theHit);
             theHits.add(h);
           }
-          mergeData.put("hits",theHits);
+          mergeData.put("hits", theHits);
         }
       }
       catch (Throwable e) {
-        logger.error("Can't iterate over hits: " + e.toString());
+        getLogger().error("Can't iterate over hits: " + e.toString());
 
         throw new ServletModuleFailure("Problem getting hits: " + e.getMessage(), e);
       }
 
-      mergeData.put("queryString",queryString);
+      mergeData.put("queryString", queryString);
 
       deliver(req, res, mergeData, null, searchResultsTemplate);
     }
-    catch (NullPointerException n){
-      throw new ServletModuleFailure("Null Pointer: "+n.toString(), n);
+    catch (NullPointerException n) {
+      throw new ServletModuleFailure("Null Pointer: " + n.toString(), n);
     }
   }
 
@@ -940,160 +652,107 @@ public class ServletModuleOpenIndy extends ServletModule
    * Method for dynamically generating a pdf using iText
    */
 
-
-  public void getpdf(HttpServletRequest req, HttpServletResponse res)
+  public void getpdf(HttpServletRequest aRequest, HttpServletResponse aResponse)
       throws ServletModuleExc, ServletModuleUserExc, ServletModuleFailure {
+
+    long starttime = System.currentTimeMillis();
+
     String ID_REQUEST_PARAM = "id";
+    int maxArticlesInNewsleter = 15; // it is nice not to be dos'ed
     try {
-        String idParam = req.getParameter(ID_REQUEST_PARAM);
-        if (idParam != null) {
-         ByteArrayOutputStream out = new ByteArrayOutputStream();
-          PDFGenerator pdfMaker = new PDFGenerator(out);
-         
-         RE re = new RE("[0-9]+");
-         
-         
-         REMatch[] idMatches=re.getAllMatches(idParam);
-         
-         if (idMatches.length > 1){
-           pdfMaker.addLine();
-           for (int i = 0; i < idMatches.length; i++){
-             REMatch aMatch = idMatches[i];
-             String id=aMatch.toString();
-             EntityContent contentEnt = (EntityContent)contentModule.getById(id);
-             pdfMaker.addIndexItem(contentEnt);
-             
-           }
-         }
-
-         for (int i = 0; i < idMatches.length; i++){
-           REMatch aMatch = idMatches[i];
-           
-           String id=aMatch.toString();
-           
-           EntityContent contentEnt = (EntityContent)contentModule.getById(id);
-           pdfMaker.add(contentEnt);
-           
-         }
-         
-         pdfMaker.stop();
-         res.setContentType("application/pdf");
-         byte[] content = out.toByteArray();
-          res.setContentLength(content.length);
-         res.getOutputStream().write(content);
-          res.getOutputStream().flush();
-
-       }
-       else {
-          throw new ServletModuleExc("Missing id.");
+      String idParam = aRequest.getParameter(ID_REQUEST_PARAM);
+      if (idParam != null) {
+        RE re = new RE("[0-9]+");
+
+        REMatch[] idMatches = re.getAllMatches(idParam);
+        String cacheSelector = "";
+
+        for (int i = 0; i < idMatches.length; i++) {
+          cacheSelector = cacheSelector + "," + idMatches[i].toString();
         }
-    }
-    catch (Throwable t) {
-      logger.error(t.toString());
-      throw new ServletModuleFailure(t);
-    }
 
-  }
+        String cacheType = "pdf";
 
+        CacheKey theCacheKey = new CacheKey(cacheType, cacheSelector);
 
-  /*
-   * Method for dynamically generating a pdf from a fo file
-   * (deprecated until fop gets its act together regarding floats)
-   */
+        byte[] thePDF;
 
-  /*
-  public void getpdf(HttpServletRequest req, HttpServletResponse res)
-      throws ServletModuleExc, ServletModuleUserExc, ServletModuleFailure {
-    String ID_REQUEST_PARAM = "id";
-    String language = req.getParameter("language");
-    String generateFO=configuration.getString("GenerateFO");
-    String generatePDF=configuration.getString("GeneratePDF");
-
-
-    //don't do anything if we are not making FO files, or if we are
-    //pregenerating PDF's
-    if (generateFO.equals("yes") && generatePDF.equals("no")){
-      //fop complains unless you do the logging this way
-      org.apache.log.Logger log = null;
-      Hierarchy hierarchy = Hierarchy.getDefaultHierarchy();
-      log = hierarchy.getLoggerFor("fop");
-      log.setPriority(Priority.WARN);
-
-      String producerStorageRoot=configuration.getString("Producer.StorageRoot");
-      String producerDocRoot=configuration.getString("Producer.DocRoot");
-      //      String templateDir=MirConfig.getPropWithHome("HTMLTemplateProcessor.Dir");
-      String xslSheet=configuration.getString("Producer.HTML2FOStyleSheet");
-      try {
-        String idParam = req.getParameter(ID_REQUEST_PARAM);
-        if (idParam != null) {
-          EntityContent contentEnt =
-            (EntityContent)contentModule.getById(idParam);
-          String publishPath = StringUtil.webdbDate2path(contentEnt.getValue("date"));
-          String foFile;
-
-          if (language == null){
-            foFile = producerStorageRoot + producerDocRoot + "/"
-              + publishPath  + idParam + ".fo";
+        if (MirGlobal.mruCache().hasObject(theCacheKey)) {
+          getLogger().debug("fetching pdf from cache");
+          thePDF = (byte[]) MirGlobal.mruCache().getObject(theCacheKey);
+        }
+        else {
+          getLogger().debug("generating pdf and caching it");
+          ByteArrayOutputStream out = new ByteArrayOutputStream();
+          PDFGenerator pdfMaker = new PDFGenerator(out);
+
+          if (idMatches.length > 1) {
+            pdfMaker.addLine();
+            for (int i = 0; i < idMatches.length && i < maxArticlesInNewsleter; i++) {
+              REMatch aMatch = idMatches[i];
+              String id = aMatch.toString();
+              EntityContent contentEnt = (EntityContent) contentModule.getById(id);
+
+
+              pdfMaker.addIndexItem(contentEnt);
+            }
           }
-          else{
-            foFile = producerStorageRoot + producerDocRoot + "/"
-              + language + publishPath  + idParam + ".fo";
+
+          for (int i = 0; i < idMatches.length; i++) {
+            REMatch aMatch = idMatches[i];
+            String id = aMatch.toString();
+            EntityContent article = (EntityContent) contentModule.getById(id);
+
+            if (!MirGlobal.localizer().openPostings().allowArticlePublication(article)) {
+              throw new ServletModuleExc("Illegal article");
+            }
+
+            pdfMaker.add(article, getLocale(aRequest));
           }
-          logger.debug("USING FILES" + foFile + " and " + xslSheet);
-          XSLTInputHandler input = new XSLTInputHandler(new File(foFile),
-                                                        new File(xslSheet));
 
-          ByteArrayOutputStream out = new ByteArrayOutputStream();
-          res.setContentType("application/pdf");
-
-          Driver driver = new Driver();
-          driver.setLogger(log);
-          driver.setRenderer(Driver.RENDER_PDF);
-          driver.setOutputStream(out);
-          driver.render(input.getParser(), input.getInputSource());
-
-          byte[] content = out.toByteArray();
-          res.setContentLength(content.length);
-          res.getOutputStream().write(content);
-          res.getOutputStream().flush();
-        }
-        else {
-          throw new ServletModuleExc("Missing id.");
+          pdfMaker.stop();
+          thePDF = out.toByteArray();
+
+          //and save all our hard work!
+          MirGlobal.mruCache().storeObject(theCacheKey, thePDF);
         }
-      }
-      catch (Throwable t) {
-        logger.error(t.toString());
 
-        throw new ServletModuleFailure(t);
+        aResponse.setContentType("application/pdf");
+        aResponse.setContentLength(thePDF.length);
+        aResponse.getOutputStream().write(thePDF);
+        aResponse.getOutputStream().flush();
+        String elapsedtime = (new Long(System.currentTimeMillis() - starttime)).toString();
+        getLogger().info("pdf retireval took " + elapsedtime + " milliseconds");
+
+      }
+      else {
+        throw new ServletModuleExc("Missing id.");
       }
     }
-    else {
-      throw new ServletModuleExc("Can't generate a PDF because the config tells me not to.");
+    catch (Throwable t) {
+      getLogger().error(t.toString());
+
+      throw new ServletModuleFailure(t);
     }
   }
-  */
-  protected String createOneTimePasswd(){
+
+
+  public String generateOnetimePassword() {
     Random r = new Random();
     int random = r.nextInt();
+
     long l = System.currentTimeMillis();
-    l = (l*l*l*l)/random;
-    if(l<0) l = l * -1;
-    String returnString = ""+l;
 
-    return returnString.substring(5);
-  }
+    l = (l * l * l * l) / random;
+    if (l < 0)
+      l = l * -1;
 
+    String returnString = "" + l;
 
-  /* this is an overwritten method of ServletModule in order
-     to use different bundles for open and admin */
-/*  public void deliver(HttpServletRequest req, HttpServletResponse res,
-                      TemplateModelRoot rtm, TemplateModelRoot popups,
-                      String templateFilename) throws ServletModuleFailure
-  {
+    return returnString.substring(5);
   }
-*/
-  public void deliver(HttpServletRequest aRequest, HttpServletResponse aResponse, Map aData, Map anExtra, String aGenerator)
-      throws ServletModuleFailure {
+
+  public void deliver(HttpServletRequest aRequest, HttpServletResponse aResponse, Map aData, Map anExtra, String aGenerator) throws ServletModuleFailure {
     try {
       deliver(aResponse.getWriter(), aRequest, aResponse, aData, anExtra, aGenerator);
     }
@@ -1105,33 +764,56 @@ public class ServletModuleOpenIndy extends ServletModule
   public void deliver(PrintWriter anOutputWriter, HttpServletRequest aRequest, HttpServletResponse aResponse, Map aData, Map anExtra, String aGenerator)
       throws ServletModuleFailure {
     try {
-      Map responseData = ServletHelper.makeGenerationData(new Locale[] { getLocale(aRequest), getFallbackLocale(aRequest)}, "bundles.open");
+      Map responseData = ServletHelper.makeGenerationData(aRequest, aResponse, new Locale[] { getLocale(aRequest), getFallbackLocale(aRequest)}, "etc/bundles/open");
       responseData.put("data", aData);
       responseData.put("extra", anExtra);
 
 
-      Generator generator = MirGlobal.localizer().generators().makeOpenPostingGeneratorLibrary().makeGenerator(aGenerator);
-      generator.generate(anOutputWriter, responseData, logger.asPrintWriter(logger.INFO_MESSAGE));
+      Generator generator =
+          MirGlobal.localizer().generators().makeOpenPostingGeneratorLibrary().makeGenerator(aGenerator, null);
+      generator.generate(anOutputWriter, responseData, getLogger());
 
       anOutputWriter.close();
     }
     catch (Throwable e) {
-      logger.error("Error while generating " + aGenerator + ": " + e.getMessage());
+      getLogger().error("Error while generating " + aGenerator + ": " + e.getMessage());
 
       throw new ServletModuleFailure(e);
     }
   }
 
+  public void deliver(PrintWriter anOutputWriter, HttpServletRequest aRequest, HttpServletResponse aResponse, Map aData, Map anExtra, String aGenerator,String aLocaleString)
+      throws ServletModuleFailure {
+    try {
+      Map responseData = ServletHelper.makeGenerationData(aRequest, aResponse, new Locale[] { new Locale(aLocaleString,""), getFallbackLocale(aRequest)}, "etc/bundles/open");
+      responseData.put("data", aData);
+      responseData.put("extra", anExtra);
+
+
+      Generator generator =
+          MirGlobal.localizer().generators().
+              makeOpenPostingGeneratorLibrary().makeGenerator(aGenerator, null);
+      generator.generate(anOutputWriter, responseData, getLogger());
+
+      anOutputWriter.close();
+    }
+    catch (Throwable e) {
+      getLogger().error("Error while generating " + aGenerator + ": " + e.getMessage());
+
+      throw new ServletModuleFailure(e);
+    }
+  }
+
+
   public void handleError(HttpServletRequest aRequest, HttpServletResponse aResponse,PrintWriter out, Throwable anException) {
     try {
-      logger.error("error: " + anException);
-      anException.printStackTrace();
+      getLogger().error("Error during open action", anException);
       Map data = new HashMap();
 
       data.put("errorstring", anException.getMessage());
       data.put("date", StringUtil.date2readableDateTime(new GregorianCalendar()));
 
-      deliver(out, aRequest, aResponse, data, null, configuration.getString("ServletModule.OpenIndy.ErrorTemplate"));
+      deliver(out, aRequest, aResponse, data, null, getConfiguration().getString("ServletModule.OpenIndy.ErrorTemplate"));
     }
     catch (Throwable e) {
       throw new ServletModuleFailure(e);
@@ -1141,16 +823,16 @@ public class ServletModuleOpenIndy extends ServletModule
   public void handleUserError(HttpServletRequest aRequest, HttpServletResponse aResponse,
                                PrintWriter out, ServletModuleUserExc anException) {
     try {
-      logger.warn("user error: " + anException.getMessage());
+      getLogger().warn("user error: " + anException.getMessage());
       Map data = new HashMap();
 
-      MessageResources messages = MessageResources.getMessageResources("bundles.open");
-      data.put("errorstring",
-              messages.getMessage(getLocale(aRequest), anException.getMessage(), anException.getParameters())
-          );
+      Bundle bundle =
+          MirGlobal.getBundleFactory().getBundle("etc/bundles/open", new
+              String[] { getLocale(aRequest).getLanguage() });
+      data.put("errorstring", bundle.getValue(anException.getMessage(), Arrays.asList(anException.getParameters())));
       data.put("date", StringUtil.date2readableDateTime(new GregorianCalendar()));
 
-      deliver(out, aRequest, aResponse, data, null, configuration.getString("ServletModule.OpenIndy.UserErrorTemplate"));
+      deliver(out, aRequest, aResponse, data, null, getConfiguration().getString("ServletModule.OpenIndy.UserErrorTemplate"));
     }
     catch (Throwable e) {
       throw new ServletModuleFailure(e);