参考URLは忘れてしまいましたが、見てて納得したのが
ウイルスは、大抵の場合IPアタックしてきます。
ですのでログ設定を変更するのではなくバーチャル設定にして
ダミーを仕込みます。

NameVirtualHost *
<VirtualHost *>
DocumentRoot /ダミーサイトのPATH/
Servername host.domain.tld
CustomLog /usr/local/apache2/logs/worm_log combined
</VirtualHost>
<VirtualHost *>
　実際の公開用設定
</VirtualHost>

これで、IPでアクセスしてきた物は
全てworm_logに書き込まれてログがすっきり～。
通常のユーザがIPでアクセスする事も考えられるので
ダミーサイト「ドメイン名でアクセスしてください」とかおいてあげた方が
親切かもね。商用サイトならしない方がいい気がしなくもない・・・

設定した後はapacheの再起動を忘れずに。