カテゴリー: PC Page 1 of 57

不審なアクセスの解析スクリプト、運用終了。 

  • Apacheのアクセスログから不審なエラーを選び
  • アクセス元を調べ
  • ログに出力する

というスクリプト。新サーバでも使っていましたが、終了の運びとなりました。

スクリプト内容

#!/bin/bash

# 変数定義
LOG_DIR="/var/log/bookstack"
ERROR_LOG="$LOG_DIR/bs_error.log"
COUNTRY_LIST="//home/hoge/script/config/country_list.csv"
OUTPUT_DIR="/home/hoge/script/log/blocked_list"
DATE=$(date +%Y%m%d)
LIST_FILE="$OUTPUT_DIR/ip.$DATE.csv"
RESULT_FILE="$OUTPUT_DIR/ip_list.$DATE.csv"
CRON_MODE=true  # cron処理の場合はtrue、標準出力に残す場合はfalse

cd $LOG_DIR

# error.logからIPアドレスだけを抜き出します
awk 'match($0,/[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+/) { print  substr($0, RSTART, RLENGTH) }' $ERROR_LOG | sort > $LIST_FILE

# ip.YYYYMMDD.csvファイルがない場合にエラーを返します
if [ ! -f $LIST_FILE ]; then
echo "ファイル $LIST_FILE が存在しないので終了します。"
exit 1
fi

# 国コード,国の名前が書かれたcountry_list.csvがない場合にエラーを返します
if [ ! -f $COUNTRY_LIST ]; then
echo "ファイル $COUNTRY_LIST が存在しないので終了します。"
exit 1
fi

# IPアドレスに国名を付与したファイルを定義します。(ip_list.YYYYMMDD.csv)
> $RESULT_FILE

while read -r line; do
# IPアドレスを逆順に並び替えます。(例: 1.2.3.4 → 4.3.2.1)
ip_revers=$(echo "$line" | awk -F'.' '{print $4"."$3"."$2"."$1}')
# 並び替えたIPアドレスをcc.wariate.jpに並び替えて、国コードを抜き出します。(JP,CH,ESなど)
country_code=$(nslookup -type=TXT ${ip_revers}.cc.wariate.jp | grep '"' | awk -F'"' '{print $2}')
# 国コードをcountry_list.csvから参照して国名を抜き出します。
country_name=$(grep "$country_code" $COUNTRY_LIST | cut -d"," -f2)

# 標準出力に返す処理を行います。cron処理する場合はコメントアウトします。
if [ "$CRON_MODE" = false ]; then
echo "${line},${country_name}"
fi

# IPアドレス,国名の形式にして同ディレクトリのip_list.YYYYMMDD.csvに保存します
echo "${line},${country_name}" >> $RESULT_FILE
sleep 1
done < $LIST_FILE

# ip_list.csv.YYYYMMDDを読み込んで、IPアドレスをキー、国を値とする連想配列を作成します
declare -A countries
while read -r line; do
# CSVの1列目をIPアドレス、2列目を国とします
ip=$(echo $line | cut -d',' -f1)
country=$(echo $line | cut -d',' -f2)
# 連想配列に格納します
countries[$ip]=$country
done < $RESULT_FILE

# 結果を格納するための変数を定義します
result=""

# 連想配列を反復処理します
for ip in "${!countries[@]}"; do
# 各IPアドレスの件数を数えます
count=$(grep -c $ip $RESULT_FILE)
# 件数、IPアドレス、国をカンマ区切りで結合します
line="$count,$ip,${countries[$ip]}"
# 結果に追加します
result="$result\n$line"
done

# カウントした結果をcounted_ip.YYYYMMDD.csvに出力します
COUNTED_FILE="$OUTPUT_DIR/counted_ip.$DATE.csv"
echo -e $result > $COUNTED_FILE

# 最終結果をsorted_ip.$DATE.csvに出力します
SORTED_FILE="$OUTPUT_DIR/sorted_ip.$DATE.csv"
cat $COUNTED_FILE | LC_ALL=C sort -n -r > $SORTED_FILE

# 最終結果以外のログファイルを削除します
rm $LIST_FILE
rm $RESULT_FILE
rm $COUNTED_FILE

exit 0

このスクリプト、最初、それこそ日に10件もあればいい時代の頃に作ったモノで、Cron処理を行っていました。

しかし、アクセス数が(特にクローラーで)圧倒的になった今、このスクリプトは

  • for / whileの多様
  • 逐次nslookup
  • さらに連想配列による処理 

が重なり、ただのスワップ喰い虫となっていたのです。

  • 今は別手段により不審なアクセスを弾いていること
  • サーバの容量節約

のため、こちらは停止の運び。

2年以上にわたってよくぞここまで運用してくれたという感じです。

Growiのリポジトリ変更に伴う対応。

Growiのリポジトリが

https://github.com/weseek/growi

から

https://github.com/growilabs/growi

に移行したというTwitter(現X)の投稿がありました。今後のサポートなどを踏まえ、今利用しているGrowiのリポジトリの大本を変えます。

環境

  • Ubuntu 24.04
  • Growi v7.2.10
    • Growiの実行ユーザはroot

さっくりとした手順

  1. 現在のリポジトリを確認します。
  2. リポジトリのURLをgitコマンドで変更します。
  3. リポジトリの変更を確認します。

Growiのディレクトリに移動

cd /path/to/growi && pwd

自分の環境に合わせます。(筆者環境/home/www-data/growi)

gitの参照リポジトリを確認

  • gitコマンドによる確認
sudo  git remote -v
  • 参照結果
origin  https://github.com/weseek/growi (fetch)
origin  https://github.com/weseek/growi (push)

上記を確認。

gitコマンドによるリポジトリ変更

  • リポジトリ変更
sudo git remote set-url origin https://github.com/growilabs/growi.git

gitの参照リポジトリの変更確認

  • gitコマンドによる確認
sudo  git remote -v
  • 参照結果
origin  https://github.com/growilabs/growi.git (fetch)
origin  https://github.com/growilabs/growi.git (push)
  • 最新の履歴確認
sudo git fetch origin
  • ローカルとリモートの差分確認
sudo git status

Your branch is behind 'origin/main' by X commits...
(あなたのブランチは、リモートよりX個のコミット分遅れています)
のように表示されれば、新しいgrowilabsリポジトリへの接続は成功しており、そこに新しい更新が存在することを確認できます。

なお、筆者は別環境で「リポジトリ変更後、新しいバージョン(v7.2.9→v7.2.10)へのバージョンアップを、新しいリポジトリを介して行えたことを補足しておきます。

Growiでテンプレートを作る。(サーバ直接編集)

VPSをXServerに変えたことによる極めて大きな収穫は「安定してGrowiが稼働すること」です。

それを更に便利に使うため、日々のテンプレートを作成しました。

ビルトインのテンプレートではなく、下部のエディタメニューから挿入できるようにしています。

環境

  • Ubuntu 24.04
  • Growi 27.1.0
    • アプリ実行権限はroot
  • Apache2.4によるリバースプロキシ
  • その他必要な環境(MongoDB、Node等)

さっくりとした手順

  1. テンプレートが格納されているディレクトリに移動します。
  2. 備わっているテンプレートをコピーし、それをひな形として新たなテンプレートを作成します。

ディレクトリ移動

  • Growiルートディレクトリに移動
cd /path/to/growi/directory && pwd

自分の環境に合わせます。(筆者環境:/home/www-data/growi)

  • テンプレート格納ディレクトリに移動
cd packages/preset-templates/dist && pwd
  • ファイルの内容確認
ls -l

以下のようなディレクトリが表示されます。

drwxr-xr-x 8 root root 4096  9月  9 13:11 ./
drwxr-xr-x 5 root root 4096  8月  4 14:48 ../
drwxr-xr-x 5 root root 4096  8月  4 14:46 daily-report/
drwxr-xr-x 5 root root 4096  8月  4 14:46 displaying-child-pages/
drwxr-xr-x 5 root root 4096  8月  4 14:46 marp-example/
drwxr-xr-x 5 root root 4096  8月  4 14:46 minutes/
drwxr-xr-x 5 root root 4096  8月  4 14:46 project-proposal/

ディレクトリ一式のコピー

  • 日報テンプレートをコピー(一番使いやすいため)
sudo cp -pir daily-report my_template

名前は自分の環境などに合わせます。

  • コピーしたテンプレートのディレクトリに移動
cd my_template/ja_JP
  • ファイルの内容確認
ls -l

以下の2ファイルがあります。これを編集していきます。

meta.json
template.md

テンプレートの編集

以下の2つのファイルを編集します。

  • meta.json
{
  "title": "日報(ここをテンプレートタイトルとして編集)"
}
  • template.md
# {{yyyy}}/{{MM}}/{{dd}} 日報

## 今日の目標
- 目標1
    - 〇〇の完了
- 目標2
    - 〇〇を〇件達成


## 内容
- 10:00 ~ 10:20 今日のタスク確認
- 10:20 ~ 11:00 全体会議

ここを自分の運用に合わせて修正していきます。このとき、{{yyyy}}/{{MM}}/{{dd}}をそのまま残しておくと、日付がそのまま自動挿入されます。 (2025/09/11等)

内容確認

任意のWiki編集ページを開きます。

エディタメニューの下部のテンプレートの選択をクリックし、

  • 冒頭の画像で示したテンプレートが選ぶことができる
  • それをWikiページに挿入できる

の2つが確認できれば設定完了です。

Ubuntu24.04にPiwigoインストール。(PHP-FPM対応版)

概要

画像管理に特化したオープンソースのフォトギャラリー「Piwigo」。Ubuntu24.04での構築メモです。

前提/環境

  • Ubuntu 24.04の基本的な設定が完了している。
  • Apache, MySQL, PHP-FPMがインストール済みである。
    • PHP及びPHP-FPMは8.3
    • Apacheの実行ユーザはwww-data
  • Piwigoを公開するドメイン名と、対応するSSL証明書が用意されている。

さっくりとした手順

  1. データベースの作成: Piwigoが使用するMySQLデータベースとユーザーを作成します。
  2. PHP拡張機能の確認: Piwigoの動作に必要なPHP拡張機能がインストールされているか確認します。
  3. Piwigoの配置: プログラム本体をサーバーに配置します。
  4. Apacheの設定: ApacheがPiwigoを正しく表示できるように設定します。
  5. Webインストーラーの実行: ブラウザから初期設定を完了させます。

データベースの作成

  • MySQLログイン
sudo mysql -u root -p
  • DB作成
CREATE DATABASE piwigo CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
  • ユーザー作成と権限付与(【】内は強固なパスワードに置き換えてください)
CREATE USER 'piwigo'@'localhost' IDENTIFIED BY '【YOUR_STRONG_PASSWORD】';
GRANT ALL PRIVILEGES ON piwigo.* TO 'piwigo'@'localhost';
FLUSH PRIVILEGES;
EXIT;
  • DB作成確認
mysql -u piwigo -p

先ほど作成したDBユーザです。

SHOW DATABASES;

作成したDBが表示されることを確認します。

EXIT

確認後、MySQLコンソールから抜けます。

PHP拡張機能の確認・インストール

Piwigoは、画像の処理のためにgdimagemagickといったPHPの拡張機能を必要とします。
これらがインストールされているか確認します。(ない場合は以下の手順でインストール)

  • 既存のPHP拡張機能で不足しているものをインストールする例
sudo aptitude install php8.3-gd php8.3-imagick php8.3-mysql

筆者の好みに合わせてaptitudeを用いています。必要に応じてaptに読み替えます。

Piwigoの配置

  • Web公開用ディレクトリに移動
cd /var/www/html && pwd

自分の環境に合わせます。(筆者環境/home/www-data)

  • git cloneによる配置
sudo -u www-data git clone https://github.com/Piwigo/Piwigo.git piwigo

piwigoは自分の環境に合わせます。

Apacheの設定

  • ログディレクトリの作成
sudo mkdir -p /var/log/piwigo

自分の環境に合わせます。

  • ディレクトリの権限変更
sudo chown -R www-data:www-data /var/log/piwigo

Piwigo用のApache設定ファイル(例: /etc/apache2/sites-available/piwigo.conf)を以下の内容で作成します。

<VirtualHost *:80>
    # ドメイン名を指定します
    servername photo.example.com
    # HTTPアクセスを強制的にHTTPSにリダイレクトします
    RewriteEngine On
        RewriteCond %{HTTPS} off
        RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]
</VirtualHost>

<VirtualHost *:443>
    ServerName photo.example.com
    # アクセスログ
    CustomLog /var/log/piwigo/piwigo_access.log combined
    # エラーログ
    ErrorLog /var/log/piwigo/piwigo_error.log

    # PHP-FPMと連携するための設定
    <FilesMatch \.php$>
        SetHandler "proxy:unix:/var/run/php/php8.3-fpm.sock|fcgi://localhost/"
    </FilesMatch>
    DocumentRoot /home/www-data/piwigo
    <Directory /home/www-data/piwigo>
        AllowOverride All
        Require all granted
    </Directory>

    #SSL設定
      SSLEngine on
    Protocols h2 http/1.1

    # 推奨されるSSL/TLS設定 (Mozilla Intermediate Compatibility)
    SSLProtocol             all -SSLv3 -TLSv1 -TLSv1.1
    SSLCipherSuite          ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384
    SSLHonorCipherOrder     on
    SSLCompression          off
    SSLSessionTickets       off # PFSを強化する場合

    # SSL証明書を指定します
    SSLCertificateFile 【SSL証明書のパスを絶対パスで指定】
    # 秘密鍵を指定します
    SSLCertificateKeyFile 【SSL証明書に対応した秘密鍵のパスを絶対パスで指定】

    #セキュリティヘッダー付与
        Header always set Strict-Transport-Security "max-age=63072000"
        Header always set X-Content-Type-Options "nosniff"
        Header always set X-Frame-Options "SAMEORIGIN"
        Header always set X-XSS-Protection "1; mode=block"
</VirtualHost>
  • 設定ファイルの有効化
sudo a2ensite piwigo.conf
  • 設定ファイルの整合性確認
sudo apache2ctl configtest

Syntax OKを確認します。

  • apacheリスタート
sudo systemctl restart apache2.service
  • apacheリスタート確認
systemctl status apache2.service

active(running)を確認します。

Webインストーラーの実行

  1. ブラウザで、設定したドメイン(https://【photo.example.com】)にアクセスします。
  2. Piwigoの初期設定ウィザードが表示されます。
  3. 画面の指示に従い、データベース情報(ステップ1で作成したもの)や、管理者アカウントの情報を入力します。

インストーラーが完了すれば、Piwigoのフォトギャラリーが利用可能になります。

“布教用”ThinkPad。

カウントダウンとなったWindows10のEOL。それに備えて、知り合いより「何かいい出物のPCがないか」という依頼があり探してきました。

Thinkpad X390。2019年ほどのモデルでありますがヘビーな使用感はなく、スペックも

  • Core i5-8365U
  • 16GB Memory
  • 256GB SSD
  • Win 11Pro

と必要十分。これでいて3万円でおつりが来るスペックというのはそうそう見つかるものではありません。

先行して用いているPCは

  • Core i7
  • 16GB Memory
  • 500GB SSD
  • Win 11 Home

と若干のスペックアップ。何よりも指紋認証付きであるため、こちらはそのまま自分が使います。

実行中のプロセスのメモリ量を昇順で表示するワンライナー。

概要

LinuxでWebサーバを運用していく中で気になるメモリの使用量。

「どのプロセスが一番メモリを消費しているのか?」

を調査してみます。

ワンライナーの設定

通例、メモリの使用量を見るのは

ps aux

とするのですが、

  • 全ての情報が見えてしまうので探しにくい
  • 単位が分からない

等の問題が発生します。そこで、

現在利用中のプロセスから、一番メモリを使用しているサービスを昇順で5つ抜き出し、そのメモリ量を見やすい形で成形するワンライナー

を生成AIにて作ってもらいます。(Gemini 2.5 Proを利用)

物理メモリ使用量(RSS: Resident Set Size)を基準にして、MB単位で表示するワンライナー

ps aux | tail -n +2 | sort -k 6 -rn | head -n 5 | sort -k 6 -n | awk '{cmd=""; for(i=11;i<=NF;i++){cmd=cmd" "$i}; printf "%10.2f MB   %s\n", $6/1024, cmd}'

コマンドの解説

ps aux
  • 現在実行中の全ユーザーのプロセスを詳細な情報付きで表示します。
tail -n +2
  • ps コマンドが出力する結果の1行目(ヘッダー行)を除外し、2行目以降のプロセス情報のみを次のコマンドに渡します。
sort -k 6 -rn
  • 6列目にある RSS(物理メモリ使用量) を基準に、数値を大きい順(降順)に並べ替えます。
  • -k 6: 6列目をソートキーに指定します。
  • -r: 逆順(降順)でソートします。
  • -n: 文字列ではなく数値としてソートします。
head -n 5
  • 降順にソートされた結果から、上位5つのプロセス(最もメモリを使用している5つ)を抽出します。
sort -k 6 -n
  • 抽出された5つのプロセスを、再度6列目のRSSを基準に、今度は小さい順(昇順)に並べ替えます。
awk '{ ... }'
  • 最終的な出力を見やすい形式に整形します。
  • cmd=""; for(i=11;i<=NF;i++){cmd=cmd" "$i}: 11列目以降の文字列をすべて連結し、スペースを含む完全なコマンド名を変数 cmd に格納します。
  • printf "%10.2f MB %s\n", $6/1024, cmd}: 6列目のRSS(KB単位)を1024で割ってMB単位に変換し、小数点以下2桁までの浮動小数点数としてフォーマットします。メモリ量を右寄せ10桁で表示した後、コマンド名を表示します。

表示例

ps aux | tail -n +2 | sort -k 6 -rn | head -n 5 | sort -k 6 -n | awk '{cmd=""; for(i=11;i<=NF;i++){cmd=cmd" "$i}; printf "%10.2f MB   %s\n", $6/1024, cmd}'
    236.36 MB    node -r dotenv-flow/config dist/server/app.js
    288.86 MB    Passenger RubyApp: /home/www-data/redmine1 (production)
    379.55 MB    Passenger RubyApp: /home/www-data/redmine2 (production)
    543.54 MB    /usr/sbin/mysqld
    654.73 MB    /usr/share/elasticsearch/jdk/bin/java -Des.networkaddress.cache.ttl=60 -Des.networkaddress.cache.negative.ttl=10 -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Dlog4j2.formatMsgNoLookups=true -Djava.locale.providers=CLDR -Dorg.apache.lucene.vectorization.upperJavaFeatureVersion=24 -Des.distribution.type=deb -Des.java.type=bundled JDK --enable-native-access=org.elasticsearch.nativeaccess,org.apache.lucene.core --enable-native-access=ALL-UNNAMED --illegal-native-access=deny -XX:ReplayDataFile=/var/log/elasticsearch/replay_pid%p.log -Des.entitlements.enabled=true -XX:+EnableDynamicAgentLoading -Djdk.attach.allowAttachSelf=true --patch-module=java.base=lib/entitlement-bridge/elasticsearch-entitlement-bridge-8.19.2.jar --add-exports=java.base/org.elasticsearch.entitlement.bridge=org.elasticsearch.entitlement,java.logging,java.net.http,java.naming,jdk.net -XX:+UseG1GC -Djava.io.tmpdir=/tmp/elasticsearch-10892987525338221374 --add-modules=jdk.incubator.vector -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError -XX:HeapDumpPath=/var/lib/elasticsearch -XX:ErrorFile=/var/log/elasticsearch/hs_err_pid%p.log -Xlog:gc*,gc+age=trace,safepoint:file=/var/log/elasticsearch/gc.log:utctime,level,pid,tags:filecount=32,filesize=64m -Xms256m -Xmx256m -XX:MaxDirectMemorySize=134217728 -XX:G1HeapRegionSize=4m -XX:InitiatingHeapOccupancyPercent=30 -XX:G1ReservePercent=15 --module-path /usr/share/elasticsearch/lib --add-modules=jdk.net --add-modules=jdk.management.agent --add-modules=ALL-MODULE-PATH -m org.elasticsearch.server/org.elasticsearch.bootstrap.Elasticsearch

と、一番はElasticsearch(Growiで利用)。次いでMySQL、Redmineと続きます。nodeはGrowi関係です。

メモリ使用率(%MEM)を基準にして、MB単位で表示するワンライナー

続いて、システム全体のメモリ使用率を基準にする場合。

ps aux | tail -n +2 | sort -k 4 -rn | head -n 5 | sort -k 4 -n | awk '{cmd=""; for(i=11;i<=NF;i++){cmd=cmd" "$i}; printf "%5s%%   %s\n", $4, cmd}'

ソートの基準をRSS(6列目)から %MEM(4列目) に変更している点が主な違いです。

  4.3%    node -r dotenv-flow/config dist/server/app.js
  4.8%    Passenger RubyApp: /home/www-data/redmine1 (production)
  6.4%    Passenger RubyApp: /home/www-data/redmine2 (production)
  9.1%    /usr/sbin/mysqld
 11.0%    /usr/share/elasticsearch/jdk/bin/java -Des.networkaddress.cache.ttl=60 -Des.networkaddress.cache.negative.ttl=10 -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Dlog4j2.formatMsgNoLookups=true -Djava.locale.providers=CLDR -Dorg.apache.lucene.vectorization.upperJavaFeatureVersion=24 -Des.distribution.type=deb -Des.java.type=bundled JDK --enable-native-access=org.elasticsearch.nativeaccess,org.apache.lucene.core --enable-native-access=ALL-UNNAMED --illegal-native-access=deny -XX:ReplayDataFile=/var/log/elasticsearch/replay_pid%p.log -Des.entitlements.enabled=true -XX:+EnableDynamicAgentLoading -Djdk.attach.allowAttachSelf=true --patch-module=java.base=lib/entitlement-bridge/elasticsearch-entitlement-bridge-8.19.2.jar --add-exports=java.base/org.elasticsearch.entitlement.bridge=org.elasticsearch.entitlement,java.logging,java.net.http,java.naming,jdk.net -XX:+UseG1GC -Djava.io.tmpdir=/tmp/elasticsearch-10892987525338221374 --add-modules=jdk.incubator.vector -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError -XX:HeapDumpPath=/var/lib/elasticsearch -XX:ErrorFile=/var/log/elasticsearch/hs_err_pid%p.log -Xlog:gc*,gc+age=trace,safepoint:file=/var/log/elasticsearch/gc.log:utctime,level,pid,tags:filecount=32,filesize=64m -Xms256m -Xmx256m -XX:MaxDirectMemorySize=134217728 -XX:G1HeapRegionSize=4m -XX:InitiatingHeapOccupancyPercent=30 -XX:G1ReservePercent=15 --module-path /usr/share/elasticsearch/lib --add-modules=jdk.net --add-modules=jdk.management.agent --add-modules=ALL-MODULE-PATH -m org.elasticsearch.server/org.elasticsearch.bootstrap.Elasticsearch

と、実メモリ6GB中の11%をElasticsearchが占めていることが明らかになりました。

Apache & PHP-FPM 管理スクリプト (引数対応版)。

Webサーバを運用する上で役立ている

  1. Apacheで有効になっているサイトの設定情報を表示
  2. 構文を確認
  3. 問題が無ければApache再起動
  4. 再起動後にステータスを表示する

スクリプト。非常に便利なものでしたが、VPS新調に際してPHP-FPMを導入。

そこで、

  1. PHP-FPMも構文チェックを行う
  2. 他、引数による処理

を改訂しました。(元ネタ:ChatGPT、リファクタリングはdeepseekとGemini)

スクリプト内容

  • apache2-check.sh
#!/bin/bash

#================================================================
# Apache & PHP-FPM 管理スクリプト (引数対応版)
#================================================================
#
# 機能:
# 1. Apacheで有効になっているサイトの設定情報を表示します。
# 2. ApacheとPHP-FPMの設定ファイルの構文をチェックします。
# 3. ApacheとPHP-FPMの再起動を個別に確認し、実行します。
# 4. 再起動後に各サービスのステータスを表示します。
#
# 引数:
#  -y : 確認プロンプトをすべてスキップし、自動で'yes'と応答します。
#  -a : Apacheのみを対象とします。
#  -p : PHP-FPMのみを対象とします。
#  -h : このヘルプを表示します。
#
#================================================================

# --- 設定項目 ---

# Apacheのサイト設定が格納されているディレクトリ
SITES_DIR="/etc/apache2/sites-enabled"

# 操作対象のPHPバージョン (例: "8.3", "8.2", "7.4")
PHP_VERSION="8.3"

# --- 設定ここまで ---


# --- スクリプトの動作を制御するフラグ ---
AUTO_YES=false
RESTART_APACHE=true  # デフォルトでは両方実行
RESTART_PHP=true     # デフォルトでは両方実行
EXCLUSIVE_MODE=false # -a または -p が指定されたかを判定するフラグ

# --- ヘルプ表示関数 ---
usage() {
    echo "Usage: $(basename "$0") [-y] [-a] [-p] [-h]"
    echo "  -y : 確認プロンプトをすべてスキップし、自動で'yes'と応答します。"
    echo "  -a : Apacheのみを対象とします。"
    echo "  -p : PHP-FPMのみを対象とします。"
    echo "  -h : ヘルプを表示します。"
    echo "引数なしの場合は、ApacheとPHP-FPMの両方が対象となります。"
    exit 0
}

# --- 引数解析 ---
while getopts "yaph" opt; do
  case $opt in
    y)
      AUTO_YES=true
      ;;
    a)
      if ! $EXCLUSIVE_MODE; then
          # -a or -p が初めて指定された場合、排他モードにしてデフォルトをリセット
          RESTART_APACHE=false
          RESTART_PHP=false
          EXCLUSIVE_MODE=true
      fi
      RESTART_APACHE=true
      ;;
    p)
      if ! $EXCLUSIVE_MODE; then
          # -a or -p が初めて指定された場合、排他モードにしてデフォルトをリセット
          RESTART_APACHE=false
          RESTART_PHP=false
          EXCLUSIVE_MODE=true
      fi
      RESTART_PHP=true
      ;;
    h)
      usage
      ;;
    \?)
      # 不正なオプション
      usage
      ;;
  esac
done

# PHP-FPMのサービス名とコマンド名を変数から生成
PHP_FPM_SERVICE="php${PHP_VERSION}-fpm"
PHP_FPM_COMMAND="php-fpm${PHP_VERSION}"

#
# サービスを再起動し、ステータスを表示する関数
#
restart_and_check_service() {
    local service_name="$1"
    local service_label="$2" # 表示用の名前
    local confirm_action="n"

    if [ "$AUTO_YES" = true ]; then
        confirm_action="y"
        echo "${service_label} を再起動します... (-yオプションにより自動確認)"
    else
        read -p "${service_label} を再起動しますか? (y/n): " confirm_action
    fi

    if [[ "$confirm_action" =~ ^[Yy]$ ]]; then
        if [ "$AUTO_YES" = false ]; then
          echo "--- ${service_label} を再起動します... ---"
        fi
        if ! systemctl restart "$service_name"; then
            echo "エラー: ${service_label} の再起動に失敗しました。"
        else
            echo "${service_label} が正常に再起動されました。"
            echo
            echo "==== ${service_label} ステータス ===="
            systemctl status "$service_name" --no-pager
            echo "=================================="
        fi
    else
        echo "${service_label} の再起動はキャンセルされました。"
    fi
    echo
}

# スクリプトを root ユーザーで実行しているかチェック
if [ "$EUID" -ne 0 ]; then
    echo "エラー: このスクリプトは root 権限で実行する必要があります。"
    exit 1
fi

# 1. 有効なサイト設定とドメインを表示
# このセクションは引数に関わらず常に表示される情報として実行します
echo "==== 有効なサイト設定ファイル ===="
if [ -z "$(ls -A "$SITES_DIR" 2>/dev/null)" ]; then
    echo "サイト設定が存在しません。"
else
    shopt -s nullglob
    for site in "$SITES_DIR"/*; do
        echo "設定ファイル: $(basename "$site")"
        entries=$(grep -hi -E "^\s*(ServerName|ServerAlias)\s+" "$site" | sed -E 's/^[[:blank:]]+//;s/[[:blank:]]*#.*//' | awk '{
            original_directive = $1
            directive = tolower(original_directive)
            proper_directive = (directive == "servername") ? "ServerName" : \
                               (directive == "serveralias") ? "ServerAlias" : original_directive
            for (i=2; i<=NF; i++) {
                domain = tolower($i)
                sub(/[;,]*$/, "", domain)
                gsub(/^[[:blank:]]+|[[:blank:]]+$/, "", domain)
                if (domain) {
                    printf "%s %s\n", proper_directive, domain
                }
            }
        }' | sort -u)
        if [ -z "$entries" ]; then
            echo "  ※ ServerName/ServerAliasが定義されていません"
        else
            echo "$entries" | sed 's/^/  /'
        fi
        echo
    done
    shopt -u nullglob
fi
echo "=================================="
echo

# 2. 構文チェック
echo "--- 構文チェック ---"
SYNTAX_OK=true

# Apache構文チェック
if [ "$RESTART_APACHE" = true ]; then
    echo "Apache の構文をチェックしています..."
    if ! apachectl configtest 2>&1 | grep -q "Syntax OK"; then
        echo "エラー: Apacheの構文エラーが検出されました。"
        apachectl configtest # エラー詳細を再表示
        SYNTAX_OK=false
    else
        echo "Apacheの構文は正常です。"
    fi
    echo
fi

# PHP-FPMの存在確認と構文チェック
PHP_FPM_ENABLED=false
if [ "$RESTART_PHP" = true ]; then
    if systemctl list-units --type=service --all | grep -q "${PHP_FPM_SERVICE}.service"; then
        if command -v "$PHP_FPM_COMMAND" &>/dev/null; then
            PHP_FPM_ENABLED=true
            echo "${PHP_FPM_SERVICE} の構文をチェックしています..."
            if ! "$PHP_FPM_COMMAND" -t 2>&1 | grep -q "test is successful"; then
                echo "エラー: ${PHP_FPM_SERVICE} の構文エラーが検出されました。"
                "$PHP_FPM_COMMAND" -t # エラー詳細を再表示
                SYNTAX_OK=false
            else
                echo "${PHP_FPM_SERVICE} の構文は正常です。"
            fi
        else
            echo "警告: ${PHP_FPM_SERVICE} サービスは存在しますが、${PHP_FPM_COMMAND} コマンドが見つかりませ
ん。PHP-FPMのチェックはスキップします。"
            RESTART_PHP=false # 実行フラグをオフにする
        fi
    else
        echo "情報: ${PHP_FPM_SERVICE} サービスが見つかりません。PHP-FPM関連の処理はスキップします。"
        RESTART_PHP=false # 実行フラグをオフにする
    fi
    echo
fi

# 構文エラーがあれば処理を中断
if [ "$SYNTAX_OK" = false ]; then
    echo "構文エラーが検出されたため、処理を中断します。"
    exit 1
fi
echo "--------------------"
echo

# 3. サービスの再起動
if [ "$RESTART_APACHE" = false ] && [ "$RESTART_PHP" = false ]; then
    echo "再起動対象のサービスがありません。"
    exit 0
fi

# Apacheの再起動
if [ "$RESTART_APACHE" = true ]; then
    restart_and_check_service "apache2" "Apache"
fi

# PHP-FPMの再起動
if [ "$RESTART_PHP" = true ] && [ "$PHP_FPM_ENABLED" = true ]; then
    restart_and_check_service "$PHP_FPM_SERVICE" "$PHP_FPM_SERVICE"
fi

スクリプトの動き

  1. sudo bash apache2-check.shとすることで
  2. A@acheを起動するか、PHP-FPMを起動するかの2択が生まれます。
  3. -yオプションの場合は全てyにしてプロンプトを省略します。
  4. -aでApacheのみの再起動-pはPHP-FPMのみの再起動

と、柔軟かつやりやすいスタイルへと仕上がりました。

ケーススタディ・ModSecurity影響下でファイルアップロードできない事象に対応

概要

Redmineでファイルをアップロードしようとした際、ModSecurity (WAF) によってブロックされ、エラーになる事象が発生しました。
その原因と事象解決のメモです。

環境

  • Ubuntu 24.04
  • Apache 2.4
    • RedmineをApacheのMod_Passangerで稼働
  • Redmine 5.1
  • ModSecurity v2 / OWASP Core Rule Set (CRS)

事象の確認

環境をWebArenaからXServerに移行した直後。
Redmineのチケットでファイルをアップロードしようとすると、ファイルアップロードのプログレスバーが完了せず、アップロードできません。

原因の特定

こういうときの答えはたいがい、エラーログに書かれているのでそれを確認します。

見つけたログ(IPアドレスやホスト名は改変済み):

[Wed Aug 13 12:47:21.713637 2025] [security2:error] [pid 11190] [client AAA.BBB.CCC.DDD:40404] ModSecurity: Request body no files data length is larger than the configured limit (131072). [hostname "hoge.example.com"] [uri "/uploads.js"] [unique_id "aJwKye92u8EKc4H_FxCb5QAAABQ"], referer: https://hoge.example.com/issues/123

Request body no files data length is larger than the configured limit (131072)

これは、「ファイル以外のリクエストデータ(no files data)のサイズが、設定された上限値(131072バイト = 128KB)を超えています」という意味です。

Redmineは、ファイルをアップロードする際、ファイルそのものとは別に、チケットの題名や説明といったテキスト情報も同時にサーバーへ送信します。このテキスト情報の合計サイズが、ModSecurityのデフォルトの上限値である128KBを超えてしまったため、攻撃と誤認され、ブロックされる。

というのがAI(Gemini)の回答。

既にApacheのバーチャルサイトの.confファイルには

SecRequestBodyInMemoryLimit 524288000
SecRequestBodyLimit 524288000

と記述していますが、サーバの入れ替えと同時にModSecurityのCRSをアップデートしたことで設定が足りなかったようです。

ここまで分かれば、解決まであと少し。

対処手順

設定ファイルのバックアップ

ModSecurityのメイン設定ファイルで、SecRequestBodyNoFilesLimitの上限値を設定で上書きしていきます。

  • エラーを起こしているバーチャルサイトの.confファイルのバックアップ
sudo cp -pi /etc/apache2/site-available/redmine.conf /path/to/backup/directory/redmine.conf.$(date +%Y%m%d)

.confの名前やバックアップディレクトリは自分の環境に合わせます。

  • バックアップ確認
diff -u /path/to/backup/directory/redmine.conf.$(date +%Y%m%d) /etc/apache2/site-available/redmine.conf

差分がなければ(エラーがなければ)バックアップ成功。

上限値を修正する

上述した設定ファイルを以下のように修正。

修正前(例):

SecRequestBodyInMemoryLimit 524288000
SecRequestBodyLimit 524288000

修正後(例):

SecRequestBodyInMemoryLimit 524288000
SecRequestBodyLimit 524288000
SecRequestBodyNoFilesLimit 524288000

両方の値を同じにしておくと、管理が分かりやすくなります。

なお、500MBとしているのは一時的に大きなファイルを置くこともあるからです。上限値は自分の運用方針やストレージ量に合わせましょう。

修正確認

  • ファイル修正後の差分
diff -u /path/to/backup/directory/redmine.conf.$(date +%Y%m%d) /etc/apache2/site-available/redmine.conf
  • 差分例
SecRequestBodyInMemoryLimit 524288000
SecRequestBodyLimit 524288000
+SecRequestBodyNoFilesLimit 524288000

と、追記した行が出てくることを確認します。

設定反映&動作確認

  • confファイルの構文確認
sudo apache2ctl configtest

Syntax OKを確認します。

  • Webサービス(Apache)再起動
sudo systemctl restart apache2.service
  • Webサービス(Apache)再起動確認
systemctl status apache2.service

Running(active)を確認します。

  • 動作確認

Redmineのチケット作成/編集画面でファイルが正常にアップロードできるようになれば対処完了です。

まとめ

新環境の構築時、最新のCRSを導入したため、旧環境をそのまま引き継いだというのが直接的な原因でした。
こういう罠があちこちに潜んでいるので、何かあったらログを見て事象を確かめるのが事象解消の近道です。

confファイルのチューニングでPassangerのメモリ量を節約。

WebArenaからXServerに移行し、メモリを6GBまで増強したものの、スワップの使用量増加が止まらず。

これをチューニングによりなんとか抑えられたというメモ書きです。

経緯

  1. スペックの負荷状況を調べるためにGrowiを導入
  2. 十分な性能が見込めたためにNextcloudやBookStackなどを入れていく
  3. それでも稼働していったのでRedmineの移行を終える。
  4. Redmineを入れた途端、スワップ使用率が高くなった。

環境

  • Ubuntu / Debian系OS
  • Apache 2.4
  • libapache2-mod-passengerがインストール済み
  • Redmineを複数稼働

チューニングの目的

上記環境のmod_passengerは、筆者のように複数のアプリケーションを、リソースが限られたVPSで運用する場合(いわゆる逸般的な使い方)は、メモリを過剰に消費し、サーバー全体のパフォーマンスを低下させる可能性があります。

事実、free -hコマンドで、Swapの使用量が放置しているのに高まってきたという状況でした。

そこで、リクエストがあれば都度、プロセスを増やしてしまうpassengerの機能をチューニングで抑制します。

さっくりとした手順

  1. passengerの設定ファイルのバックアップを行います。
  2. ファイルの修正によるチューニングを行います。
  3. 設定を反映させ、状況を確認します。

Passengerの設定ファイルをのバックアップ

※この設定は、バーチャルサイト個別設定ではなく、一括で設定を行います。

なぜなら、Passenger関連のディレクティブが、<VirtualHost>ブロックの中に書くことができないからです。

  • ファイルのバックアップ
sudo cp -pi /etc/apache2/mods-available/passenger.conf /path/to/backup/direcotry/passenger.conf.$(date +%Y%m%d)

バックアップディレクトリは自分の環境に合わせます。(筆者環境:/etc/conf/backup)

  • ファイルのバックアップ確認
diff -u -pi /path/to/backup/direcotry/passenger.conf.$(date +%Y%m%d) /etc/apache2/mods-available/passenger.conf 

差分がなく、エラーがなければバックアップはできています。

メモリ管理ディレクティブを追記

上記passenger.confファイルを開き、<IfModule mod_passenger.c>...</IfModule>ブロックの中に、以下の設定を追記します。

<IfModule mod_passenger.c>
  PassengerRoot /usr/lib/ruby/vendor_ruby/phusion_passenger/locations.ini
  PassengerDefaultRuby /usr/bin/ruby

  # --- ▼ここから追記▼ ---
  # Passengerが起動するRubyプロセスの最大数を4に制限
  PassengerMaxPoolSize 4
  # 各アプリケーションごとに起動する最大プロセス数を1に制限
  PassengerMaxInstancesPerApp 1
  # プロセスが300秒(5分)アイドルだったら停止させる
  PassengerPoolIdleTime 300
  # --- ▲ここまで追記▲ ---
</IfModule>

各ディレクティブの解説

ディレクティブ説明
PassengerMaxPoolSizePassengerがサーバー全体で起動するRubyプロセスの最大総数です。サーバーのメモリ上限を超えないよう、搭載メモリ量に応じて設定します。
PassengerMaxInstancesPerApp各アプリケーションごとに起動できるプロセスの最大数です。例えば1に設定すると、一つのRedmineサイトは同時に1つのプロセスしか使えなくなります。
PassengerPoolIdleTimeプロセスがここで指定した秒数以上アクセスがない場合、Passengerはそのプロセスを停止させ、メモリを解放します。

設定の反映

ファイルを保存した後、Apacheを再起動して設定を反映させます。

  • 構文確認
sudo apache2ctl configtest

Syntax Okを確認します。エラーが出たらその箇所を確認し、Syntax OKが出るまで修正します。

  • Apache再起動
sudo systemctl restart apache2.service
  • Apache再起動確認
systemctl status apache2.service

Running(Active)を確認します。

動作確認

この状態で一晩ほど様子を見ました。

free -h
               total        used        free      shared  buff/cache   available
Mem:           5.8Gi       3.3Gi       551Mi       141Mi       2.3Gi       2.4Gi
Swap:          2.0Gi       1.5Mi       2.0Gi

のまま。チューニング前はSwapを100~500MBも使用していたことから、動作は安定。設定は有効のようです。

PHP8.3をPHP-FPMで動かすための設定

概要

Nextcloud等のLAMP環境で利用するPHPを、PHP-FPM (FastCGI Process Manager) を使ってApacheと連携させる形でインストール・設定します。
php-fpmを利用すると、PHPの処理がApacheのプロセスから分離されるため、パフォーマンスの向上や、より柔軟なリソース管理が期待できます。

※筆者の好みでaptitudeを用いています。適宜、aptに読み替えてください。

実施した環境

  • Ubuntu 24.04
  • Apache 2.4
  • MySQL 8

さっくりとした手順

  1. レポジトリを追加します。
  2. PHPおよびPHP-FPMパッケージをインストールします。
  3. Apacheの連携用モジュールを設定します。
  4. PHPのパフォーマンス設定(OPcache等)を行います。
  5. 各Webサイト(バーチャルホスト)でPHP-FPMを有効化します。
  6. サービスを再起動し、動作を確認します。

手順詳細

レポジトリ追加とアップデート

最新のPHPバージョンを利用するため、ondrej/phpリポジトリを追加します。

  • PHPレポジトリの追加
sudo add-apt-repository ppa:ondrej/php
  • パッケージ全体のアップデート
sudo aptitude update

PHPパッケージのインストール

PHP本体と、php-fpm、そしてWebアプリケーションで一般的に必要とされる拡張機能をインストールします。

  • PHP本体とFPM
sudo aptitude install php8.3 php8.3-fpm
  • 周辺モジュール (APCuとMemcached)
sudo aptitude install memcached php8.3-apcu
  • Webアプリに必要な周辺モジュール (MySQLを使う場合)
sudo aptitude install php8.3-{opcache,pdo,bcmath,calendar,ctype,fileinfo,ftp,gd,intl,json,ldap,mbstring,mysql,posix,readline,sockets,bz2,tokenizer,zip,curl,iconv,phar,xml,imagick,gmp,redis-server}
  • インストール確認
php -v

PHP 8.3.xのように、インストールしたバージョンが表示されることを確認します。

Apache連携モジュールの設定

php-fpmでPHPを動かすため、従来のmod_phpを無効化し、代わりにphp-fpmと通信するためのproxy_fcgiモジュールを有効化します。

  • mod_phpを無効化
sudo a2dismod php8.3
  • 必要なモジュールを有効化
sudo a2enmod proxy_fcgi setenvif

OPcacheとAPCuの有効化

Nextcloudなどのアプリケーションでは、パフォーマンス向上のためこれらのキャッシュ設定が推奨(あるいは必須)となります。

  • 設定ファイル待避
sudo mv /etc/php/8.3/mods-available/opcache.ini /path/to/backup/directory/opcache.ini.$(date +%Y%m%d)
sudo mv /etc/php/8.3/mods-available/apcu.ini /path/to/backup/directory/apcu.ini.$(date +%Y%m%d)

任意のバックアップディレクトリを指定します。(筆者環境/etc/conf_backup)

  • 設定ファイル差し替え
cat <<- __EOF__ | sudo tee /etc/php/8.3/mods-available/opcache.ini > /dev/null
; configuration for php opcache module
; priority=10
zend_extension=opcache.so
opcache.enable=1
opcache.enable_cli=1
opcache.interned_strings_buffer=16
opcache.max_accelerated_files=10000
opcache.memory_consumption=256
opcache.save_comments=1
opcache.revalidate_freq=1
__EOF__
cat <<- __EOF__ | sudo tee /etc/php/8.3/mods-available/apcu.ini > /dev/null
extension=apcu.so
[apcu]
apc.enabled=1 apc.shm_size=32M apc.ttl=7200 apc.enable_cli=1 apc.serializer=php
__EOF__

※ メモリ量などは環境に合わせます。

各WebサイトでのPHP-FPM連携設定

各WebサイトのApache設定ファイル(.conf)で、PHPへのリクエストをphp-fpmに渡すように設定します。この設定がなければPHPスクリプトをサーバが解釈せず、動きません。

  • 設定例 (/etc/apache2/sites-available/hoge.confなど)
    <VirtualHost>ブロックの中に、以下の<FilesMatch>ブロックを追記します。
    <VirtualHost *:443>
        ServerName hoge.example.com
        # ...

        <FilesMatch \.php$>
            # SetHandlerで、phpファイルのリクエストをFastCGIプロキシに渡す
            SetHandler "proxy:unix:/var/run/php/php8.3-fpm.sock|fcgi://localhost/"
        </FilesMatch>

        # ...
    </VirtualHost>

このSetHandlerディレクティブが、Apacheに来たPHPへのリクエストを、バックグラウンドで動いているphp-fpmのプロセスに転送する役割を担います。

サービスの再起動と動作確認

設定を反映させるため、Apacheとphp-fpmの両方を再起動します。

  • サービス再起動
sudo systemctl restart php8.3-fpm.service
sudo systemctl restart apache2.service
  • 動作確認
    mod_phpは無効化されているため、a2queryではdisabledと表示されるのが正しい状態です。代わりに、php-fpmサービスが稼働していることを確認します。
systemctl status php8.3-fpm.service
`active (running)`と表示されていれば、PHP-FPMの導入と設定は完了です。

Page 1 of 57

Powered by WordPress & Theme by Anders Norén