source/mircoders/abuse/FilterEngine.java

   1 /*
   2  * Copyright (C) 2001, 2002 The Mir-coders group
   3  *
   4  * This file is part of Mir.
   5  *
   6  * Mir is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License as published by
   8  * the Free Software Foundation; either version 2 of the License, or
   9  * (at your option) any later version.
  10  *
  11  * Mir is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with Mir; if not, write to the Free Software
  18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19  *
  20  * In addition, as a special exception, The Mir-coders gives permission to link
  21  * the code of this program with  any library licensed under the Apache Software License,
  22  * The Sun (tm) Java Advanced Imaging library (JAI), The Sun JIMI library
  23  * (or with modified versions of the above that use the same license as the above),
  24  * and distribute linked combinations including the two.  You must obey the
  25  * GNU General Public License in all respects for all of the code used other than
  26  * the above mentioned libraries.  If you modify this file, you may extend this
  27  * exception to your version of the file, but you are not obligated to do so.
  28  * If you do not wish to do so, delete this exception statement from your version.
  29  */
  30
  31 package mircoders.abuse;
  32
  33 import mir.entity.Entity;
  34 import mir.entity.adapter.EntityAdapter;
  35 import mir.entity.adapter.EntityAdapterModel;
  36 import mir.entity.adapter.EntityIteratorAdapter;
  37 import mir.log.LoggerWrapper;
  38 import mir.session.Request;
  39 import mir.storage.DatabaseExc;
  40 import mir.storage.DatabaseHelper;
  41 import mircoders.global.MirGlobal;
  42 import mircoders.storage.DatabaseFilter;
  43 import mircoders.storage.DatabaseFilterGroup;
  44
  45 import java.util.ArrayList;
  46 import java.util.Collections;
  47 import java.util.Date;
  48 import java.util.HashMap;
  49 import java.util.Iterator;
  50 import java.util.List;
  51 import java.util.Map;
  52 /** The FilterEngine manages a list of all filters and filter groups.
  53  *  Use the testPosting() method to apply all filters on an
  54  *  Entity (for ex. an article or a comment)
  55  */
  56 public class FilterEngine {
  57   private final Map filterTypes = new HashMap();
  58   private final List filterTypeIds = new ArrayList();
  59
  60   private final List filterGroups = new ArrayList();
  61   private final Map idToFilterGroup = new HashMap();
  62   private final LoggerWrapper logger = new LoggerWrapper("Global.Abuse.FilterEngine");
  63   private EntityAdapterModel model;
  64
  65   public FilterEngine(EntityAdapterModel aModel) {
  66     try {
  67       Iterator i = MirGlobal.localizer().openPostings().getAntiAbuseFilterTypes().iterator();
  68       while (i.hasNext()) {
  69         FilterType filterType = (FilterType) i.next();
  70
  71         filterTypes.put(filterType.getName(), filterType);
  72         filterTypeIds.add(filterType.getName());
  73       }
  74     }
  75     catch (Throwable t) {
  76       throw new RuntimeException(t.getMessage());
  77     }
  78
  79     model = aModel;
  80
  81     reload();
  82   }
  83
  84   /** applies all filters from all filter groups to an Entity.
  85    *  The entity may be, for example, an article, or a comment.
  86    *  It returns a filter that matches if it finds one, null otherwise
  87    */
  88   public synchronized Filter testPosting(Entity anEntity, Request aRequest) {
  89     Iterator i = filterGroups.iterator();
  90     while (i.hasNext()) {
  91       FilterGroup group = (FilterGroup) i.next();
  92
  93       Iterator j = group.getFilters().iterator();
  94       while (j.hasNext()) {
  95         Filter filter = (Filter) j.next();
  96         try {
  97           if (filter.test(anEntity, aRequest)) {
  98             return filter;
  99           }
 100         }
 101         catch (Throwable t) {
 102           logger.warn("Exception thrown while testing filter " + filter.getType() + " ( " + filter.getExpression() + ") " + t.toString());
 103         }
 104       }
 105     }
 106
 107     return null;
 108   }
 109
 110   public List getFilterTypes() {
 111     try {
 112       List result = new ArrayList();
 113
 114       Iterator i = filterTypeIds.iterator();
 115       while (i.hasNext()) {
 116         String id = (String) i.next();
 117
 118         Map action = new HashMap();
 119         action.put("resource", id);
 120         action.put("identifier", id);
 121
 122         result.add(action);
 123       }
 124
 125       return result;
 126     }
 127     catch (Throwable t) {
 128       throw new RuntimeException("can't get article actions: " + t.getMessage());
 129     }
 130   }
 131   /** This class reflects a row of the filter_group
 132    * database table. Filters groups allow you to organize
 133    * your filters. For example: group1=spammer ,
 134    * group2=nazis etc.
 135    */
 136   public class FilterGroup {
 137     private List filters;
 138     private Entity entity;
 139     private Map idToFilter;
 140
 141     public FilterGroup(Entity anEntity) {
 142       this (anEntity, Collections.EMPTY_LIST);
 143     }
 144
 145     public FilterGroup(Entity anEntity, List aFilters) {
 146       entity = anEntity;
 147       filters = new ArrayList();
 148       idToFilter = new HashMap();
 149       Iterator i = aFilters.iterator();
 150
 151       while (i.hasNext()) {
 152         Entity entity = (Entity) i.next();
 153         try {
 154           Filter filter = new Filter(entity);
 155           introduceFilter(filter);
 156         }
 157         catch (Throwable e) {
 158           logger.debug("Misbehaving filer: " + entity.toString() + ": " + e);
 159         }
 160       }
 161     }
 162
 163     public Entity getEntity() {
 164       return entity;
 165     }
 166
 167     public EntityAdapter getEntityAdapter() {
 168       return model.makeEntityAdapter("filterGroup",  entity);
 169     }
 170
 171     public List getFilterEntityAdapterList() {
 172       List result = new ArrayList();
 173
 174       Iterator i = filters.iterator();
 175       while (i.hasNext()) {
 176         Filter filter = (Filter) i.next();
 177         result.add(filter.getEntityAdapter());
 178       }
 179
 180       return result;
 181     }
 182
 183     public List getFilters() {
 184       return filters;
 185     }
 186
 187     public Filter getFilterForId(String anId) {
 188       Filter result = (Filter) idToFilter.get(anId);
 189       if (result==null) {
 190         throw new NullPointerException("No such filter");
 191       }
 192
 193       return result;
 194     }
 195
 196     private void introduceFilter(Filter aFilter) {
 197       filters.add(aFilter);
 198       idToFilter.put(aFilter.getEntity().getId(), aFilter);
 199     }
 200
 201     private void removeFilter(Filter aFilter) {
 202       filters.remove(aFilter);
 203       idToFilter.remove(aFilter.getEntity().getId());
 204     }
 205
 206     private void deleteFilter(String anId) {
 207       Filter filter = getFilterForId(anId);
 208       removeFilter(filter);
 209       DatabaseFilter.getInstance().delete(anId);
 210     }
 211
 212     public void populateFilterEntity(Entity anEntity, String aType, String anExpression,
 213                              String aComments, String aTag, String anArticleAction,
 214                              String aCommentAction) {
 215
 216       anEntity.setFieldValue("type", aType);
 217       anEntity.setFieldValue("expression", anExpression);
 218       anEntity.setFieldValue("comment", aComments);
 219       anEntity.setFieldValue("tag", aTag);
 220       anEntity.setFieldValue("articleaction", anArticleAction);
 221       anEntity.setFieldValue("commentaction", aCommentAction);
 222     }
 223
 224     public String updateFilter(String anId, String aType, String anExpression,
 225                              String aComments, String aTag, String anArticleAction,
 226                              String aCommentAction) {
 227
 228       try {
 229         getFilterForId(anId).update(aType, anExpression, aComments, aTag,
 230             anArticleAction, aCommentAction);
 231       }
 232       catch (AbuseExc e) {
 233         return e.getMessage();
 234       }
 235
 236       return "";
 237     }
 238
 239     public String createFilter(String aType, String anExpression,
 240                              String aComments, String aTag, String anArticleAction,
 241                              String aCommentAction) throws DatabaseExc {
 242       FilterInstance instance;
 243
 244       try {
 245         instance = getFilterTypeForId(aType).constructFilterInstance(anExpression);
 246       }
 247       catch (AbuseExc e) {
 248         return e.getMessage();
 249       }
 250
 251       Entity entity = DatabaseFilter.getInstance().createNewEntity();
 252       populateFilterEntity(entity, aType, anExpression, aComments, aTag,
 253           anArticleAction, aCommentAction);
 254
 255
 256       String priority = "1";
 257
 258       if (filters.size() > 0) {
 259         try {
 260           String lastPriorityString = ((Filter) filters.get(filters.size()-1)).getEntity().getFieldValue("priority");
 261           int lastPriority = Integer.parseInt(lastPriorityString);
 262           priority = Integer.toString(lastPriority + 1);
 263         }
 264         catch (Throwable e) {
 265         }
 266       }
 267
 268       entity.setFieldValue("priority", priority);
 269       entity.setFieldValue("filter_group_id", getEntity().getId());
 270       entity.insert();
 271
 272       Filter filter = new Filter(entity, instance);
 273       introduceFilter(filter);
 274
 275       return "";
 276     }
 277
 278     public String moveFilterUp(String anId) {
 279       Filter filter = getFilterForId(anId);
 280       String priority = filter.getEntity().getFieldValue("priority");
 281       int index = filters.indexOf(filter);
 282       if (index>=1) {
 283         Filter filterBefore= (Filter) filters.remove(index-1);
 284         filters.add(index, filterBefore);
 285         filter.getEntity().setFieldValue("priority", filterBefore.getEntity().getFieldValue("priority"));
 286         filterBefore.getEntity().setFieldValue("priority", priority);
 287         filter.getEntity().update();
 288         filterBefore.getEntity().update();
 289       }
 290
 291       return "";
 292     }
 293
 294     public String moveFilterToTop(String anId) {
 295       Filter filter = getFilterForId(anId);
 296       String priority = filter.getEntity().getFieldValue("priority");
 297       int index = filters.indexOf(filter);
 298       if (index>0) {
 299         filters.remove(index);
 300         Filter filterBefore= (Filter) filters.get(0);
 301         filters.add(0, filter);
 302         filter.getEntity().setFieldValue("priority", filterBefore.getEntity().getFieldValue("priority"));
 303         filterBefore.getEntity().setFieldValue("priority", priority);
 304         filter.getEntity().update();
 305         filterBefore.getEntity().update();
 306       }
 307
 308       return "";
 309     }
 310
 311     public String moveFilterDown(String anId) {
 312       Filter filter = getFilterForId(anId);
 313       String priority = filter.getEntity().getFieldValue("priority");
 314       int index = filters.indexOf(filter);
 315       if (index<filters.size()-1) {
 316         Filter filterAfter = (Filter) filters.remove(index+1);
 317         filters.add(index, filterAfter);
 318         filter.getEntity().setFieldValue("priority", filterAfter.getEntity().getFieldValue("priority"));
 319         filterAfter.getEntity().setFieldValue("priority", priority);
 320         filter.getEntity().update();
 321         filterAfter.getEntity().update();
 322       }
 323
 324       return "";
 325     }
 326
 327     public String moveFilterToBottom(String anId) {
 328       Filter filter = getFilterForId(anId);
 329       String priority = filter.getEntity().getFieldValue("priority");
 330       int index = filters.indexOf(filter);
 331       if (index>=0 && index<filters.size()-1) {
 332         filters.remove(index);
 333         Filter filterBefore= (Filter) filters.get(filters.size()-1);
 334         filters.add(filters.size(), filter);
 335         filter.getEntity().setFieldValue("priority", filterBefore.getEntity().getFieldValue("priority"));
 336         filterBefore.getEntity().setFieldValue("priority", priority);
 337         filter.getEntity().update();
 338         filterBefore.getEntity().update();
 339       }
 340
 341       return "";
 342     }
 343
 344
 345     public String getName() {
 346       return entity.getFieldValue("name");
 347     }
 348   }
 349
 350   /** This class reflects a row of the filter database table.
 351    * To actually run a filter on data, use the test() method.
 352    * This class will automatically retreive and use the correct
 353    * filter type.
 354    */
 355   public class Filter {
 356     private Entity entity;
 357     private FilterInstance instance;
 358
 359     public Filter(Entity anEntity) throws AbuseExc {
 360       this(anEntity, getFilterTypeForId(anEntity.getFieldValue("type")).constructFilterInstance(anEntity.getFieldValue("expression")));
 361     }
 362
 363     public Filter(Entity anEntity, FilterInstance anInstance) {
 364       entity = anEntity;
 365       instance = anInstance;
 366     }
 367
 368     public Entity getEntity() {
 369       return entity;
 370     }
 371
 372     public EntityAdapter getEntityAdapter() {
 373       return model.makeEntityAdapter("filter", entity);
 374     }
 375
 376     public void update(String aType, String anExpression, String aComments, String aTag,
 377                        String anArticleAction, String aCommentAction) throws AbuseExc {
 378
 379       instance = getFilterTypeForId(aType).constructFilterInstance(anExpression);
 380
 381       entity.setFieldValue("type", aType);
 382       entity.setFieldValue("expression", anExpression);
 383       entity.setFieldValue("tag", aType);
 384       entity.setFieldValue("comment", aComments);
 385       entity.setFieldValue("articleaction", anArticleAction);
 386       entity.setFieldValue("commentaction", aCommentAction);
 387       entity.setFieldValue("last_hit", null);
 388       entity.update();
 389    }
 390
 391     public void updateLastHit(Date aDate) {
 392       entity.setFieldValue("last_hit",
 393           DatabaseHelper.convertDateToInternalRepresenation(
 394               new Date(System.currentTimeMillis())));
 395       entity.update();
 396     }
 397
 398     public String getType() {
 399       return entity.getFieldValue("type");
 400     }
 401
 402     public String getExpression() {
 403       return entity.getFieldValue("expression");
 404     }
 405
 406     public String getTag() {
 407       return entity.getFieldValue("tag");
 408     }
 409
 410     public String getComment() {
 411       return entity.getFieldValue("comment");
 412     }
 413
 414     public String getArticleAction() {
 415       return entity.getFieldValue("articleaction");
 416     }
 417
 418     public String getCommentAction() {
 419       return entity.getFieldValue("commentaction");
 420     }
 421
 422     public FilterInstance getInstance() {
 423       return instance;
 424     }
 425
 426     public boolean test(Entity anEntity, Request aRequest) {
 427       return instance.test(anEntity, aRequest);
 428     }
 429   }
 430
 431   public synchronized void reload() {
 432     filterGroups.clear();
 433     idToFilterGroup.clear();
 434
 435     try {
 436       Iterator i = new EntityIteratorAdapter("", "priority asc", 100, model, "filterGroup");
 437       while (i.hasNext()) {
 438         EntityAdapter entityAdapter = (EntityAdapter) i.next();
 439         List filters = new ArrayList();
 440         Iterator j = (Iterator) entityAdapter.getIterator("to_filters");
 441         while (j.hasNext()) {
 442           filters.add(((EntityAdapter) j.next()).getEntity());
 443         }
 444
 445         FilterGroup filterGroup = new FilterGroup(entityAdapter.getEntity(), filters);
 446         introduceFilterGroup(filterGroup);
 447       }
 448     }
 449     catch (Throwable e) {
 450       logger.error("Can't load filters: " + e.getMessage(), e);
 451     }
 452   }
 453
 454   public synchronized List getFilterGroups() {
 455     List result = new ArrayList();
 456     Iterator i = filterGroups.iterator();
 457     while (i.hasNext()) {
 458       result.add(((FilterGroup) i.next()).getEntityAdapter());
 459     }
 460
 461     return result;
 462   }
 463
 464   public synchronized void updateFilterGroup(String anId, String aName) {
 465     FilterGroup filterGroup = getFilterGroupForId(anId);
 466     filterGroup.getEntity().setFieldValue("name", aName);
 467     filterGroup.getEntity().update();
 468   }
 469
 470   public synchronized void addFilterGroup(String aName) throws DatabaseExc {
 471     Entity entity = DatabaseFilterGroup.getInstance().createNewEntity();
 472     entity.setFieldValue("name", aName);
 473
 474     String priority = "1";
 475
 476     if (filterGroups.size() > 0) {
 477       try {
 478         String lastPriorityString = ((FilterGroup) filterGroups.get(filterGroups.size()-1)).getEntity().getFieldValue("priority");
 479         int lastPriority = Integer.parseInt(lastPriorityString);
 480         priority = Integer.toString(lastPriority + 1);
 481       }
 482       catch (Exception e) {
 483       }
 484     }
 485     entity.setFieldValue("priority", priority);
 486     entity.insert();
 487
 488     FilterGroup filterGroup = new FilterGroup(entity);
 489     introduceFilterGroup(filterGroup);
 490   }
 491
 492   public synchronized void moveFilterGroupUp(String anId) {
 493     FilterGroup group = (FilterGroup) idToFilterGroup.get(anId);
 494     String priority = group.getEntity().getFieldValue("priority");
 495     int index = filterGroups.indexOf(group);
 496     if (index>=1) {
 497       FilterGroup groupBefore = (FilterGroup) filterGroups.remove(index-1);
 498       filterGroups.add(index, groupBefore);
 499       group.getEntity().setFieldValue("priority", groupBefore.getEntity().getFieldValue("priority"));
 500       groupBefore.getEntity().setFieldValue("priority", priority);
 501       group.getEntity().update();
 502       groupBefore.getEntity().update();
 503     }
 504   }
 505
 506   public synchronized void moveFilterGroupDown(String anId) {
 507     FilterGroup group = (FilterGroup) idToFilterGroup.get(anId);
 508     String priority = group.getEntity().getFieldValue("priority");
 509     int index = filterGroups.indexOf(group);
 510     if (index<filterGroups.size()-1) {
 511       FilterGroup groupAfter = (FilterGroup) filterGroups.remove(index+1);
 512       filterGroups.add(index, groupAfter);
 513       group.getEntity().setFieldValue("priority", groupAfter.getEntity().getFieldValue("priority"));
 514       groupAfter.getEntity().setFieldValue("priority", priority);
 515       group.getEntity().update();
 516       groupAfter.getEntity().update();
 517     }
 518   }
 519
 520   public synchronized void deleteFilterGroup(String anId) {
 521
 522     FilterGroup filterGroup = getFilterGroupForId(anId);
 523     removeFilterGroup(filterGroup);
 524     DatabaseFilter.getInstance().deleteByWhereClause("filter_group_id = " + anId);
 525     DatabaseFilterGroup.getInstance().delete(anId);
 526   }
 527
 528   public synchronized void deleteFilter(String aGroupId, String anId) {
 529     getFilterGroupForId(aGroupId).deleteFilter(anId);
 530   }
 531
 532
 533   public synchronized String updateFilter(String aGroupId, String anId,
 534                                         String aType, String anExpression,
 535                                         String aComments,
 536                                         String aTag,
 537                                         String anArticleAction,
 538                                         String aCommentAction) {
 539     return getFilterGroupForId(aGroupId).updateFilter(anId, aType,
 540         anExpression, aComments, aTag, anArticleAction, aCommentAction);
 541   }
 542
 543   public synchronized String addFilter(String aGroupId,
 544                                        String aType, String anExpression,
 545                                        String aComments,
 546                                        String aTag,
 547                                        String anArticleAction,
 548                                        String aCommentAction) throws DatabaseExc {
 549     return getFilterGroupForId(aGroupId).createFilter(aType, anExpression,
 550         aComments, aTag, anArticleAction, aCommentAction);
 551   }
 552
 553   public synchronized String moveFilterUp(String aGroupId, String anId) {
 554     return getFilterGroupForId(aGroupId).moveFilterUp(anId);
 555   }
 556
 557   public synchronized String moveFilterDown(String aGroupId, String anId) {
 558     return getFilterGroupForId(aGroupId).moveFilterDown(anId);
 559   }
 560
 561   public synchronized String moveFilterToTop(String aGroupId, String anId) {
 562     return getFilterGroupForId(aGroupId).moveFilterToTop(anId);
 563   }
 564
 565   public synchronized String moveFilterToBottom(String aGroupId, String anId) {
 566     return getFilterGroupForId(aGroupId).moveFilterToBottom(anId);
 567   }
 568
 569
 570
 571   public FilterGroup getFilterGroupForId(String anId) {
 572     FilterGroup result = (FilterGroup) idToFilterGroup.get(anId);
 573     if (result == null) {
 574       throw new NullPointerException("No such filter group");
 575     }
 576
 577     return result;
 578   }
 579
 580   public Filter getFilterForId(String aGroupId, String anId) {
 581     return getFilterGroupForId(aGroupId).getFilterForId(anId);
 582   }
 583
 584
 585   public List getFilters(String aFilterGroupId) {
 586     return getFilterGroupForId(aFilterGroupId).getFilterEntityAdapterList();
 587   }
 588
 589   private synchronized void introduceFilterGroup(FilterGroup aFilterGroup) {
 590     filterGroups.add(aFilterGroup);
 591     idToFilterGroup.put(aFilterGroup.getEntity().getId(), aFilterGroup);
 592   }
 593
 594   private synchronized void removeFilterGroup(FilterGroup aFilterGroup) {
 595     filterGroups.remove(aFilterGroup);
 596     idToFilterGroup.remove(aFilterGroup.getEntity().getId());
 597   }
 598
 599   private FilterType getFilterTypeForId(String anId) {
 600     return (FilterType) filterTypes.get(anId);
 601   }
 602 }