Kubernetesクラスターが崩壊したので作りなおした
#technology #Kubernetes #Flatcar_Container_Linux 我が家では自宅サーバー上でKubernetesクラスターを運用しています。 先日、クラスターでCNIとして使っているCiliumを更新したところ盛大にクラスターがおかしくなり、Kubernetes自体の設定をいじってどうにかしていたのですが、コントロールプレーンのホストが再起動したところ完全におかしくなって崩壊しました。 ログを眺めたところ、APIサーバーに繋がらないというエラーが出まくっていてめちゃくちゃになってました。しかもログが大量に出て様々なリソースがめちゃくちゃになったせいでetcdの代わりに使っているkineが暴走してしまい、ホスト自体の挙動が不安定な状態になっていて、手のつけようがなくなっていました。 結局土日を丸々使ってクラスターの再構築をするはめになりました。
