source/mircoders/producer/IndexingProducerNode.java

   1 package mircoders.producer;
   2
   3 import java.util.*;
   4 import java.io.*;
   5
   6 import org.apache.lucene.analysis.standard.StandardAnalyzer;
   7 import org.apache.lucene.index.*;
   8 import org.apache.lucene.document.Document;
   9 import org.apache.lucene.document.Field;
  10
  11 import freemarker.template.*;
  12
  13
  14 import mir.util.*;
  15 import mir.producer.*;
  16 //import mir.generator.*;
  17 import mircoders.global.*;
  18 import mircoders.localizer.*;
  19 import mir.entity.*;
  20 import mir.entity.adapter.*;
  21 import mircoders.entity.*;
  22 import mircoders.storage.*;
  23
  24
  25 public class IndexingProducerNode implements ProducerNode {
  26   private String contentKey;
  27   private String indexPath;
  28
  29
  30   public IndexingProducerNode(String aContentKey, String pathToIndex) {
  31     contentKey = aContentKey;
  32     indexPath=pathToIndex;
  33   }
  34
  35   public void produce(Map aValueMap, String aVerb, PrintWriter aLogger) throws ProducerFailure {
  36     IndexWriter indexWriter;
  37     Object data;
  38     Entity entity;
  39
  40     long startTime;
  41     long endTime;
  42
  43     startTime = System.currentTimeMillis();
  44
  45     try {
  46       data = ParameterExpander.findValueForKey( aValueMap, contentKey );
  47
  48       if (! (data instanceof EntityAdapter)) {
  49         throw new ProducerFailure("IndexingProducerNode: value of '"+contentKey+"' is not an EntityAdapter, but an " + data.getClass().getName(), null);
  50       }
  51
  52       entity = ((EntityAdapter) data).getEntity();
  53       if (! (entity instanceof EntityContent)) {
  54         throw new ProducerFailure("IndexingProducerNode: value of '"+contentKey+"' is not a content EntityAdapter, but a " + entity.getClass().getName() + " adapter", null);
  55       }
  56       aLogger.println("Indexing " + (String) entity.getValue("id") + " into " + indexPath);
  57       aLogger.flush();
  58
  59       IndexReader indexReader = IndexReader.open(indexPath);
  60       indexReader.delete(new Term("id",entity.getValue("id")));
  61       indexReader.close();
  62
  63       indexWriter = new IndexWriter(indexPath, new StandardAnalyzer(), false);
  64       Document theDoc =  new Document();
  65
  66       // Keyword is stored and indexed, but not tokenized
  67       // Text is tokenized,stored, indexed
  68       // Unindexed is not tokenized or indexed, only stored
  69       // Unstored is tokenized and indexed, but not stored
  70
  71       theDoc.add(Field.Keyword("id",entity.getValue("id")));
  72       theDoc.add(Field.Keyword("where",entity.getValue("publish_path")+entity.getValue("id")+".shtml"));
  73       theDoc.add(Field.Text("creator",entity.getValue("creator")));
  74       theDoc.add(Field.Text("title",entity.getValue("title")));
  75       theDoc.add(Field.Keyword("webdb_create",entity.getValue("webdb_create_formatted")));
  76       theDoc.add(Field.UnStored("content_and_description",entity.getValue("description")+entity.getValue("content_data")));
  77
  78       //topics
  79       TemplateModel topics=entity.get("to_topics");
  80       aLogger.println("THE CLASS NAME WAS: "+entity.get("to_topics").getClass().getName());
  81       while (((TemplateListModel)topics).hasNext()){
  82           theDoc.add(Field.UnStored("topic",((TemplateHashModel)((TemplateListModel)topics).next()).get("title").toString()));
  83       }
  84
  85
  86       //media
  87
  88       //images
  89       TemplateModel images=entity.get("to_media_images");
  90       if (images != null){
  91           theDoc.add(Field.UnStored("media","images"));
  92       }
  93       //audio
  94       TemplateModel audio=entity.get("to_media_audio");
  95       if (audio != null){
  96           theDoc.add(Field.UnStored("media","audio"));
  97       }
  98       //video
  99       TemplateModel video=entity.get("to_media_video");
 100       if (video != null){
 101           theDoc.add(Field.UnStored("media","video"));
 102       }
 103
 104       //comments-just aggregate all relevant fields
 105       String commentsAggregate = "";
 106       TemplateModel comments=entity.get("to_comments");
 107       if (comments != null){
 108         while (((TemplateListModel)comments).hasNext()){
 109           TemplateModel aComment = ((TemplateListModel)comments).next();
 110           commentsAggregate = commentsAggregate + " " + ((TemplateHashModel)aComment).get("title").toString()
 111             + " " + ((TemplateHashModel)aComment).get("creator").toString()
 112             + " " + ((TemplateHashModel)aComment).get("text").toString();
 113         }
 114       }
 115       theDoc.add(Field.UnStored("comments",commentsAggregate));
 116
 117       indexWriter.addDocument(theDoc);
 118       indexWriter.close();
 119
 120     }
 121     catch (Throwable t) {
 122       aLogger.println("Error while indexing content: " + t.getMessage());
 123       t.printStackTrace(aLogger);
 124       //should remove index lock here.....jd
 125       throw new ProducerFailure(t.getMessage(), t);
 126     }
 127
 128
 129
 130
 131     endTime = System.currentTimeMillis();
 132
 133     aLogger.println("  IndexTime: " + (endTime-startTime) + " ms<br>");
 134     aLogger.flush();
 135   }
 136
 137   public Set buildVerbSet() {
 138     return new HashSet();
 139   }
 140 }
 141
 142
 143