大規模サイトの為のLinuxカーネルチューニング
(Linux kernel tuning for large site)

このコンテンツはもう古いです。考え方はそのままつかえるとおもいますが、よく吟味して、その時点の流儀で行ってください。
参考: [サーバー運用編]カーネル・チューニングをしてはいけない - ITエンジニアの「やってはいけない」：ITpro

文責: もりかわひろかず * **

大規模なサービスを行うサーバOSとしておこなうべき
チューニングの定石について記述します
kernelのバージョンは2.4.31を対象にしています
(もう2.6でしょう)
(2.4版のメンテやめます)

OSのデフォルト設定は一般的な規模を想定しています
それを逸脱するような大規模な用途(大規模なwebサーバ、
web cache(squid)サーバ、バーチャルドメインサーバ[仮想サーバ])に使用するには、
やはりそれなりのチューニングが必要になってきます
以下で、そのチューニングの定石を列挙します
(なぜチューニングが必要なのか)
(個々の値については各サイトで調節してください)
(以下のパラメータは Intel(IA32)+PC/ATアーキテクチャ + 100Mbps Ethernet の場合を想定しています)

下記のようなチューニングをあらかじめ施してある kernel を提供しているディストリビューションが
最近は増えて来ましたので、良く注意して作業する事
(サーバ用と称しているものはそのままでよいのでは? 最近は楽になってますね)
(そろそろこのWebも店仕舞いかしらと思う今日この頃、如何お過ごしでしょうか?)
[自身で vanilla source から kernel を再構築する場合、下記にあるような patch を吟味して、必要な物を適用してください]

カーネルのあつかえるファイルディスクリプタ(File Descriptors)をふやす
```
fs.file-max=32768
```
を sysctl.conf に追加します
プロセス毎の FD のデフォルト値を増す /usr/src/linux/include/linux/fs.h で
(デフォルトは1024)
```
#define INR_OPEN 4096
```
/usr/src/linux/include/linux/limits.h で
(デフォルトは1024)
```
#define NR_OPEN  4096
```
してカーネルを再コンパイルします
(単純にユーザ毎に変更するには ulimit -HSn 4096 という方法もあります)
FD_SETSIZE のデフォルト値を増す /usr/src/linux/include/linux/posix_types.h で
(デフォルトは1024)
```
#define __FD_SETSIZE 4096
```
これを先にかえてから、もろもろのプログラムをコンパイルします
(個々のアプリケーションでコンパイル時に与えるのもOK)
(kernel自体はfdsetを自動拡張しています)
SOMAXCONN のデフォルト値を増す /usr/src/linux/include/linux/socket.h で
(デフォルトは128)
```
#define SOMAXCONN       1024
```
これを先にかえてから、もろもろのプログラムをコンパイルします
(個々のアプリケーションでコンパイル時に与えるのもOK)
(__FD_SETSIZEの1/8から1/4ぐらいが適当)

関連項目: listen(2), tcp(7)

TCP buffer sizeをふやす


net.core.rmem_max=1048576
net.core.wmem_max=1048576
net.core.rmem_default=65535
net.core.wmem_default=65535
net.core.optmem_max=20480
net.ipv4.tcp_rmem=4096 87380 1048576
net.ipv4.tcp_wmem=4096 16384 1048576
net.ipv4.tcp_mem=1048576 1048576 1048576

を sysctl.conf に追加します
(GbEでないなら自動調節するので基本的にはdefaultのままでよい)
関連項目: socket(7), tcp(7)

メモリの割り当てについてのチューニング重要な点は、十分な物理メモリを塔載する事です
大規模サーバの場合 swap 張ったら負けです

大量に DISK I/O を行う大規模サーバの場合、安定性の為にバッファのフラッシュを頻繁に行う方がベターです
```
vm.bdflush=30 500 0 0 60 300 60 0 0
```
を sysctl.conf に追加します

関連項目: /usr/src/linux/Documentation/sysctl/vm.txt
(頻繁に仕様が変更されるので上記のドキュメントを必ず参照する事)

上記 bdflush の変更しても、激しいメモリ消費で free 領域が瞬間に*窒息*して、
予期せぬ OOM Kill が発生するような場合は、zone_balance_max 辺りをゴソゴソさわります
(2.4.x から vm.freepages が廃止された)

diff -urN linux-2.4.23-orig/mm/page_alloc.c linux-2.4.23/mm/page_alloc.c
--- linux-2.4.23-orig/mm/page_alloc.c 2003-11-29 03:26:21.000000000 +0900
+++ linux-2.4.23/mm/page_alloc.c 2003-12-12 21:05:42.000000000 +0900
@@ -41,7 +41,7 @@
static char *zone_names[MAX_NR_ZONES] = { "DMA", "Normal", "HighMem" };
static int zone_balance_ratio[MAX_NR_ZONES] __initdata = { 128, 128, 128, };
static int zone_balance_min[MAX_NR_ZONES] __initdata = { 20 , 20, 20, };
-static int zone_balance_max[MAX_NR_ZONES] __initdata = { 255 , 255, 255, };
+static int zone_balance_max[MAX_NR_ZONES] __initdata = { 255 , 1023, 255, };
static int lower_zone_reserve_ratio[MAX_NR_ZONES-1] = { 256, 32 };

int vm_gfp_debug = 0;

kernel parameter memfrac= で zone_balance_ratio を調整
(本格的にヤルには -aa patch や -rmap VM patch あてるのもいいかもしれませんが、この程度の patch で十分機能します)
(-ac patch も rmap が組み込まれています)
(rmap VM patch は 2.4 系でのメンテナンスを終了しています。もう 2.6 ですなぁ)
(HighMem 周りでうんぬんの場合は kernel parameter lower_zone_reserve= で lower_zone_reserve_ratio を調整)
不要なデバイスドライバはlinkしない使用するハードウェアの最低限のデバイスドライバのみを組み込む
Kernel Loadable module は使わない
/dev/random パンク問題 /proc/sys/kernel/random/entropy_avail が 0 のままで停止

echo "2048" > /proc/sys/kernel/random/poolsize
(netdev-random 導入か...)
セマフォを増やす echo "250 32000 128 1024" > /proc/sys/kernel/sem
echo "256" > /proc/sys/kernel/msgmni
参考文献/kernel patch /usr/src/linux/Documentation/ 以下を見る事
あとは /usr/src/linux/net/TUNABLE も参考の事
http://www.linux.or.jp/JF/JFdocs/kernel-docs-2.4/networking/ip-sysctl.txt.html
http://www.kernel.org/pub/linux/kernel/people/alan/(-ac patch) 旅に出ますた!
Alan's Diary 旅に出ますた!
http://www.kernel.org/pub/linux/kernel/people/akpm/(-mm patch)
http://www.kernel.org/pub/linux/kernel/people/andrea/(-aa patch)
the home page of Linux-MM
Rik van Riel's Linux kernel patches(-rmap VM patch)
TCP Tuning Guide
Linux appears to have broken flock() again. 2.4.25でマージされた模様
Quota mini-HOWTO
Quota patch 2.4.22からマージされた模様
Debian kernel source patch
I2C and LM sensors (hardware monitoring I2C)
lm_sensors config file collection
netdev-random Allow net devices to contribute to the kernel entropy pool
KernelTrap.org
WOLK - Working Overloaded Linux Kernel
2.4-hf hotfix Branch of the 2.4 tree
Web100 Project
BIC TCP - a TCP variant for High-speed Long Distance Networks

カーネルパッチ (2.4.31版) + {FIN/ACK quick patch}
sysctl.conf な環境なら単純に sysctl.confを /etc/sysctl.conf にマージしてください

大規模サイトの為のLinuxカーネルチューニング (Linux kernel tuning for large site)

大規模サイトの為のLinuxカーネルチューニング
(Linux kernel tuning for large site)