1.可以去除网页广告及其它没有用的链接及代码，准确的抽取文章的正文和标题。

 

        2.系统既支持URL去重,还支持基于网页内容的去重,方法是文章主题意思80%相同的视为相同的文章。
 

         内容抽取
         系统可对网页进行内容分析和过滤，自动去除广告、版权、栏目等无用信息，精确获取目标内容主体。

 

        自动去重
        通过内容相关识别技术自动判别分类中文章的关系，如果发现描述相同事件的文章自动去除重复部分。