首页 >>系统介绍
 
系统涉及到的主要技术内容

(1)启发式过滤技术
该技术基于数学统计而非经典的关键词方法,根据邮件的内容进行过滤。所以无论是正文格式的邮件还是图象格式或是压缩格式的邮件都在处理范围之内。
该技术根据邮件的内容提取特征,采用数字指纹提取(digital signature)算法,对每一封邮件的信体和附件联合进行指纹提取,进而产生邮件特征库。由此系统可以根据特征库来对后续的邮件进行分类和统计,再通过一定的判定条件确定后续的邮件是否属于垃圾邮件。如果是则打入黑名单,这意味着有着相同指纹的邮件进而相似指纹的邮件将来永远也无法在安装了垃圾邮件过滤系统的网络中投递。因为运用了数字指纹技术,根据现有的数学计算而知,一旦一封邮件被定为垃圾邮件而打入黑名单,以后过滤过程中出错误判(术语为冲突)的概率可以小到忽略不计。
为了使得获得的特征更加有效,系统设计还可以专门设定了所谓“诱饵邮箱”,诱饵信箱所取的名字多半是容易猜和网络上发布的邮箱而从来不对外作工作使用,例如webmaster等。只要有邮件进入这个邮箱,就会和别的邮件一样被提取数字指纹而加入特征库,只要收到第二封相同或者类似的信,就立刻打入黑名单。
(2)分布式过滤技术
该技术主要通过分布在网络中各个的垃圾邮件过滤系统协同工作,各个垃圾邮件过滤系统采用了分布式,相同的垃圾邮件特征数据库,任何一个垃圾邮件过滤系统发现了垃圾邮件,就立刻实时分发给网络中所有其他的垃圾邮件过滤系统,实现全网一致的垃圾邮件过滤的效果。这对于单位小邮件量不大而统计特征不明显的单位特别有意义。可以想象,当全球互联网上的垃圾邮件过滤系统都连成一个整体的时候,就是垃圾邮件消亡之时。
(3)海量信息的处理和分析技术
为整个分布式系统设置了一个基于最新高性能计算技术的垃圾邮件处理中心。主要采用的技术是称为新一代的Internet的网络技术的网格计算(Grid Computing)技术。之所以采用最新高速计算技术,是因为垃圾邮件具有很强的实时效应,转瞬即逝,和以前的邮件相比后来者已经面目全非了。对海量垃圾邮件进行数据挖掘和分析处理,产生新的特征值实时发布到网络中的各个特征数据库中,大大提高对垃圾邮件的防范能力。使全网能对垃圾邮件进行快速响应过滤。
(4)网络层拦截技术。
网络层拦截技术,也就是将邮件处理系统安装在邮件服务器之前形成一个过滤网关,全部邮件必须通过该网关。同时,通过设置网络层的屏蔽规则可以拦截对邮件服务器的有害访问和攻击,最明显的例子是恶意的长时间连接并连续向邮件服务器发垃圾邮件,强行占用带宽和系统资源,阻碍其他正常发信者。很明显,对于这种恶意的攻击,常规的基于关键词的过滤方法将无能为力。而基于网络层的屏蔽技术可以有效地拦截这种攻击。为此,系统也设置了一个恶意IP黑名单。为了避免伤及无辜,系统还特别设定了一个IP黑名单清理规则。
(5)垃圾邮件识别技术
本系统采用了统计学最新理论技术和模糊算法,为的是提高垃圾邮件甄别的有效性和准确率。现在主要采用的是数字指纹模糊算法和基于人工智能理论的机器学习算法。
(6)嵌入式技术
采用嵌入式技术,使得邮件处理系统的工作不仅更加可靠而且对于外界攻击的防范有所提高。这种应用程序和操作系统结合考虑和设计的方法有别那些纯软件的解决方案。系统对于攻击的防范方式包括,自我休眠,重新启动网络端口,从而保护系统不会崩溃。即在敌人攻击的时候,用户的感觉只是系统服务受到影响,而系统本身不会停止工作。关闭和重起一些服务会打断敌对的连接。
(7)实时系统的数据库技术
在数据库的处理上有一定的突破。传统的数据库处理效率低不适合在线实时系统。本产品的设计在数据库的选用、数据库的配置和自动管理上有独到之处。例如数据库的自动清理,目的是提高系统的长期运行和抗干扰能力。在长期的系统运行中,特征库会越来越大。如果不定时清理就会加重系统负担,不仅导致速度慢,而且系统资源逐渐会消耗殆尽。我们采用了基于LRU算法的自动清理策略。




 
公司简介 | 工作机会 | 联系我们 | 公司信息
广州数园网络有限公司(华南理工大学信息网络工程研究中心)2002版权所有
地址:广州五山华南理工大学信息网络工程研究中心逸夫科学馆一楼 邮编:510640
电话:87110018传真:87110019电子邮件:marketing@dcampus.com 网页设计:黑蜻蜓数码设计