自分のサーバに組み込んでいるWebセキュリティシステム(と言ってもスクリプトと設定の組み合わせ) 『ONE OUTS』システム。こちらの弱点を見越した追加設定が効力を発揮しました。
何が起きたか？
「自分のvpsがDDoSを喰らったので、カーネルレベルで対処して沈静化」した時のメモです。
状況確認
Redmine サービスダウン
話は2025年12月25日7:40JST。筆者が管理しているサーバにて、サービスダウンを確認。
- SSH接続：OK
- Growi：OK
- BookStack：OK
- Redmine：アクセスしようとして「too much connections」
そこで、状況を調べます。
自作ツール「top-procs」にて
--- CPU Consumers (Top 10) ---
%CPU %MEM PID USER UNIT COMMAND
------------------------------------------------------------------------------------------
85.5 5.1 45114 www-data apache2.service Passenger RubyApp: /home/www-data/app (production)と、CPU利用率85%以上を確認。
確定：DDoS
netstat -tan を実行すると、以下のようなコネクションが大量に表示されました。
tcp6 0 34498 192.0.2.1:443 198.51.100.15:29862 LAST_ACK
tcp6 0 0 192.0.2.1:443 203.0.113.84:47044 TIME_WAIT
tcp6 0 0 192.0.2.1:443 192.0.2.55:38844 TIME_WAIT
tcp6 0 0 192.0.2.1:443 198.51.100.200:57934 ESTABLISHED
...（中略）...
tcp6 0 34081 192.0.2.1:443 203.0.113.120:27327 LAST_ACK 総計700行にも及ぶコネクション。これは確実に「DDoS」攻撃です。
- Mod_Security
- シェルスクリプト
- Apache設定
で構成されたONE_OUTSシステムはアクセスログを主体としてL7層(アプリケーション層)での防御を行うもの。なので
- SYNフラッド攻撃
- アクセスログに残らないレベルの低レイヤー攻撃
と言った「そもそもログに残らない」「ページの閲覧など関係ない」相手には無意味です。（実際、上記をONE OUTSシステムに組み込んでもアクセスログ(という名の執拗なRedmineへのアクセス)が止まりません。
しかも、DDoSというものは実に厄介です。
- 超・大量のIPから同時にアクセスしてくるためufw/iptablesで制御したとしても遅延が大きい
- それでマシンパワーを喰う
という、「物理の力でごり押しする破壊行為」です。
漫画『ドリフターズ』にもある
「こりゃ堕とせんと思ったら
その時から目的は変わるのよ
占領からいやがらせに変わる」
この、いやがらせ目的のため、自分のサーバのリソースが奪われるという状況は見過ごせません。
防衛機構：piertotum locomotor
「こんなこともあろうかと」前もって用意していた「ipset」の設定をフルに使いました。
- ルールを「集合（set）」として管理。
- 「このIP群をブロック」というリストを一つのルールとしてまとめられる。
- 内部的にはハッシュテーブル等を利用しており、検索がほぼ定数時間で完了するため非常に高速。
第2オクテット（/16）どころか、悪質なレンジに対しては「第1オクテット（/8）」すら一括でブロックする運用です。
上記リンクの通り
- ipsetコマンドをインストールします。
- ブロックリストの設定を行います。
- ipsetコマンドでSYNフラッド攻撃を行う攻撃者をレンジごとブロックします。
が事前準備です。
このipsetが有効であるかを確認
実はこれがハマった点でした。
sudo iptables -L ufw-before-input -n --line-numbers | head -n 5として、
Chain ufw-before-input (1 references)
num target prot opt source destination
1 DROP 0 -- 0.0.0.0/0 0.0.0.0/0 match-set ufw-blocklist src
2 ACCEPT 0 -- 0.0.0.0/0 0.0.0.0/0
3 ACCEPT 0 -- 0.0.0.0/0 0.0.0.0/0 ctstate RELATED,ESTABLISHEDと、match-set ufw-blocklist srcが記されていることを確認します。（私はこれに記述違いがあり、後で修正する羽目になりました）
執拗に攻撃してくるIP/NWの正規表現化
これにはAIの力を借りました。netstat -tanの結果やアクセスログを元に
- 執拗にアクセスを試みるIP群
- それが属するASN
を第1オクテット/第2オクテットで抜き出してもらいます。
シェルスクリプトで一括登録
#!/bin/bash
# 1. ターゲットのipset名
SET_NAME="ufw-blocklist"
# 2. DDoS主犯格リスト (CIDR表記)
BAN_LIST=(
"xx.0.0.0/8"
"yy.0.0.0/8"
"zzz.0.0.0/8"
# 執拗な個体 (CIDRではなく単一IPも登録可能)
"abc.def.0.0/16"
)
echo "Hogwarts is threatened!: ${SET_NAME}..."
# 3. ループ処理で注入
for ip_range in "${BAN_LIST[@]}"; do
# -exist オプションをつけることで、既に登録済みでもエラーにせずスキップさせる
sudo ipset add ${SET_NAME} ${ip_range} -exist
if [ $? -eq 0 ]; then
echo " Checking... ${ip_range} -> Loaded."
else
echo " Error adding ${ip_range}"
fi
done
echo "Man the boundaries, protest us, do your duty to our school!"
sudo ipset save ${SET_NAME} -f /etc/ufw/ipsets.save
echo "I've always wanted to use that spell!"というシェルスクリプトで一気に登録しました。（処理中のechoは『ハリー・ポッターと死の秘宝 part2』屈指の名シーンです）
そもそも、私のvpsは
- 広告を置いていません
- アフィリエイトもありません
大嫌いだからです。 主目的は
「私が後で閲覧するときのメモ帳」です。なので、私がアクセスしてこないようなアクセス元のブロックは一切の躊躇を行いません。そのため、\/8で切ることに躊躇はしません。
確認
cat /etc/ufw/ipsets.saveで、
cat /etc/ufw/ipsets.save
create ufw-blocklist hash:net family inet hashsize 1024 maxelem 65536 bucketsize 12 initval 0xcce80b68
add ufw-blocklist xxx.0.0.0/8などと表示されればブロック成功です。
沈静化
効果は覿面でした。見られなかったRedmineサイトは無事に表示され、
--- CPU Consumers (Top 10) ---
%CPU %MEM PID USER UNIT COMMAND
------------------------------------------------------------------------------------------
19.3 5.1 45114 www-data apache2.service Passenger RubyApp: /home/www-data/app (production)CPU利用率も正常に用いました。
まとめ
今回、迅速に対処できたのは、以下の確信があったからです。
- 「アプリケーション層の防御を突破できない攻撃者は、より原始的なレイヤーでの攻撃に切り替えてくる」
- 「そして、運用側の注意が散漫になるタイミングを狙ってくる」
事前に「OSの負荷を抑えつつ高速にブロックできる仕組み」を構築していたことが功を奏しました。クリスマスというタイミングを狙ったのは、ホリデーシーズンによる対応の遅れを期待した計画的なものだったのでしょう。
連合艦隊解散の辞にある、
古人曰ク勝ツテ兜ノ緒ヲ締メヨト。
という言葉の重みを再認識する出来事でした。
コメントを残す