SSブログ

スパムフィルタの話 [科学・技術]

spam_mail.png数年前に職場のメールがそっくりマイクロソフトのシステムに移行した。体感として大きく変わったことは、スパムフィルタの性能が劣化したことだ。正確に言えば、スパム検出精度はむしろ上がっているかもしれないが、過剰判定が後を絶たないのである。当初は職場内の業務連絡まで迷惑フォルダに振り分けられたりしていた。一つ一つ「迷惑メールでない」とフィルタを教育し、改善しつつあるものの、今でもときおり仕事関連の重要メールがスパムの烙印を押され見失いそうになる。

スパムフィルタのアルゴリズムに詳しくはないが、日進月歩の進化を遂げているのは明らかだ。送信IPのブラックリストのような従来の手法も残っていると思うが、今はメール本文の「スパムっぽさ」を自動判定するベイジアンフィルタが普及している。しかし100%完璧な判定は不可能なので、いくらか見逃しがあったり、逆に過剰検出が起こったりする。

時々フィルタに取りこぼされたスパムメールが受信メールに紛れ込むくらいは、手動削除で対応しても大した手間ではない。しかし、大事なメールがたとえ一通でもスパムに振り分けられ視界から消えてしまうのは、大変困る。結果として、定期的に迷惑メールフォルダを自分の目で精査するルーチンが欠かせない。その労力を考えると、そもそも何のためのスパムフィルタなのかよくわからない。

スパムかどうか判断に迷ったら、フィルタは受信者の判断に委ねるべくとりあえず通常メールに振り分けてほしい。見逃しはある程度許容しても良いから、スパムでないメールをスパムと判断する過検出は絶対に避ける、そんなふうに判定誤差を非対称に処理してほしい。しかし、ベイジアンフィルタはたぶん見逃しと過判定を原理的に区別できない。AI技術の潜在的な脅威は先日の広島サミットでも話題に挙がったようだが、所詮はツールなので今のところまだ得意不得意にかなりムラがあるようである。

共通テーマ:日記・雑感