第九章 反垃圾邮件与过滤
垃圾邮件是邮件系统长期面临的问题,据统计全球超过50%的邮件是垃圾邮件。本章讲解反垃圾邮件的各种技术和实践。
垃圾邮件的现状
- 全球垃圾邮件占比:约50%-70%
- 垃圾邮件的类型:广告、钓鱼、恶意软件、诈骗
- 垃圾邮件带来的问题:浪费带宽、存储、用户时间,传播恶意软件
- 反垃圾邮件是邮件系统运营的重要工作
反垃圾邮件技术体系
基于IP的过滤
- 黑名单:知名垃圾邮件发送者IP黑名单(DNSBL)
- 灰名单:临时拒绝陌生IP发送的邮件,几分钟后重试再接受
- IP信誉:基于历史发送行为评估IP信誉分数
- 反向DNS验证:验证IP有正确的反向DNS解析
基于内容的过滤
- 关键词过滤:匹配垃圾邮件常用关键词
- 贝叶斯过滤:基于统计的机器学习方法,自动学习垃圾邮件特征
- 基于规则的评分:SpamAssassin使用的方法,每条规则给出分数,超过阈值判定为垃圾邮件
- 深度学习:使用神经网络识别复杂垃圾邮件特征
基于认证的过滤
- SPF验证:验证发送IP是否被域名允许
- DKIM验证:验证邮件内容是否被篡改
- DMARC:基于SPF和DKIM结果处理
- 基于域名信誉:发件域名的历史信誉评估
其他技术
- 蜜罐:收集垃圾邮件样本,训练过滤模型
- 陷阱地址:不公开的邮箱,专门用于收集垃圾邮件
- SPF、DKIM、DMARC详见邮件安全与隐私章节
主流反垃圾邮件软件
| 软件 | 说明 |
|---|---|
| SpamAssassin | 最流行的开源反垃圾邮件系统,基于规则评分,支持贝叶斯过滤 |
| Rspamd | 高性能的反垃圾邮件系统,比SpamAssassin速度快,功能丰富 |
| ClamAV | 开源杀毒引擎,用于检测邮件附件中的病毒 |
| 梭子鱼 | 商业反垃圾网关,适合企业级部署 |
| 美讯智、奇安信 | 国内商业反垃圾邮件产品 |
反垃圾邮件最佳实践
- 多层防护:IP过滤 → 认证检查 → 内容过滤,多层递进
- 使用DNSBL:配置一到两个可靠的DNSBL服务
- 正确配置SPF、DKIM、DMARC:这是现代反垃圾邮件的基础
- 定期更新规则和模型:垃圾邮件特征在不断变化,需要及时更新
- 用户反馈:允许用户举报垃圾邮件,用于训练模型
- 合理设置阈值:避免误判,误判(将正常邮件判定为垃圾)比放过垃圾邮件更糟糕
本章小结
反垃圾邮件是邮件系统运营中的持续性工作,需要技术和运营结合。没有一种技术可以100%解决垃圾邮件问题,多层防护体系结合持续运营才能取得好的效果。
下一章我们进入实践部分,讲解如何自建邮件服务器。