Atsushi Nukariya
99 lines
8.2 KiB
Markdown
99 lines
8.2 KiB
Markdown
---
|
|
title: 大規模クラスターの構築
|
|
weight: 20
|
|
---
|
|
|
|
|
|
クラスターはKubernetesのエージェントが動作する(物理もしくは仮想の){{< glossary_tooltip text="ノード" term_id="node" >}}の集合で、{{< glossary_tooltip text="コントロールプレーン" term_id="control-plane" >}}によって管理されます。
|
|
Kubernetes {{< param "version" >}} では、最大5000ノードから構成されるクラスターをサポートします。
|
|
具体的には、Kubernetesは次の基準を *全て* 満たす構成に対して適用できるように設計されています。
|
|
|
|
* 1ノードにつきPodが110個以上存在しない
|
|
* 5000ノード以上存在しない
|
|
* Podの総数が150000個以上存在しない
|
|
* コンテナの総数が300000個以上存在しない
|
|
|
|
ノードを追加したり削除したりすることによって、クラスターをスケールできます。
|
|
これを行う方法は、クラスターがどのようにデプロイされたかに依存します。
|
|
|
|
|
|
## クラウドプロバイダーのリソースクォータ {#クォータの問題}
|
|
|
|
クラウドプロバイダーのクォータの問題に遭遇することを避けるため、多数のノードを使ったクラスターを作成するときには次のようなことを考慮してください。
|
|
|
|
* 次のようなクラウドリソースの増加をリクエストする
|
|
* コンピューターインスタンス
|
|
* CPU
|
|
* ストレージボリューム
|
|
* 使用中のIPアドレス
|
|
* パケットフィルタリングのルールセット
|
|
* ロードバランサーの数
|
|
* ネットワークサブネット
|
|
* ログストリーム
|
|
* クラウドプロバイダーによる新しいインスタンスの作成に対するレート制限のため、バッチで新しいノードを立ち上げるようなクラスターのスケーリング操作を通すためには、バッチ間ですこし休止を入れます。
|
|
|
|
|
|
## コントロールプレーンのコンポーネント
|
|
|
|
大きなクラスターでは、十分な計算とその他のリソースを持ったコントロールプレーンが必要になります。
|
|
|
|
特に故障ゾーンあたり1つまたは2つのコントロールプレーンインスタンスを動かす場合、最初に垂直方向にインスタンスをスケールし、垂直方向のスケーリングの効果が低下するポイントに達したら水平方向にスケールします。
|
|
|
|
フォールトトレランスを備えるために、1つの故障ゾーンに対して最低1インスタンスを動かすべきです。
|
|
Kubernetesノードは、同一故障ゾーン内のコントロールプレーンエンドポイントに対して自動的にトラフィックが向かないようにします。
|
|
しかし、クラウドプロバイダーはこれを実現するための独自の機構を持っているかもしれません。
|
|
|
|
例えばマネージドなロードバランサーを使うと、故障ゾーン _A_ にあるkubeletやPodから発生したトラフィックを、同じく故障ゾーン _A_ にあるコントロールプレーンホストに対してのみ送るように設定します。もし1つのコントロールプレーンホストまたは故障ゾーン _A_ のエンドポイントがオフラインになった場合、ゾーン _A_ にあるノードについてすべてのコントロールプレーンのトラフィックはゾーンを跨いで送信されます。それぞれのゾーンで複数のコントロールプレーンホストを動作させることは、結果としてほとんどありません。
|
|
|
|
|
|
## etcdストレージ
|
|
|
|
大きなクラスターの性能を向上させるために、他の専用のetcdインスタンスにイベントオブジェクトを保存できます。
|
|
|
|
クラスターを作るときに、(カスタムツールを使って)以下のようなことができます。
|
|
|
|
* 追加のetcdインスタンスを起動または設定する
|
|
* イベントを保存するために{{< glossary_tooltip term_id="kube-apiserver" text="APIサーバ" >}}を設定する
|
|
|
|
大きなクラスターのためにetcdを設定・管理する詳細については、[Operating etcd clusters for Kubernetes](/docs/tasks/administer-cluster/configure-upgrade-etcd/)または[kubeadmを使用した高可用性etcdクラスターの作成](/ja/docs/setup/production-environment/tools/kubeadm/setup-ha-etcd-with-kubeadm/)を見てください。
|
|
|
|
|
|
## アドオンのリソース
|
|
|
|
Kubernetesの[リソース制限](/ja/docs/concepts/configuration/manage-resources-containers/)は、メモリリークの影響やPodやコンテナが他のコンポーネントに与える他の影響を最小化することに役立ちます。
|
|
これらのリソース制限は、アプリケーションのワークロードに適用するのと同様に、{{< glossary_tooltip text="アドオン" term_id="addons" >}}のリソースにも適用されます。
|
|
|
|
例えば、ロギングコンポーネントに対してCPUやメモリ制限を設定できます。
|
|
|
|
```yaml
|
|
...
|
|
containers:
|
|
- name: fluentd-cloud-logging
|
|
image: fluent/fluentd-kubernetes-daemonset:v1
|
|
resources:
|
|
limits:
|
|
cpu: 100m
|
|
memory: 200Mi
|
|
```
|
|
|
|
アドオンのデフォルト制限は、アドオンを小～中規模のKubernetesクラスターで動作させたときの経験から得られたデータに基づきます。
|
|
大規模のクラスターで動作させる場合は、アドオンはデフォルト制限よりも多くのリソースを消費することが多いです。
|
|
これらの値を調整せずに大規模のクラスターをデプロイした場合、メモリー制限に達し続けるため、アドオンが継続的に停止されるかもしれません。
|
|
あるいは、CPUのタイムスライス制限により性能がでない状態で動作するかもしれません。
|
|
|
|
クラスターのアドオンのリソース制限に遭遇しないために、多くのノードで構成されるクラスターを構築する場合は次のことを考慮します。
|
|
|
|
* いくつかのアドオンは垂直方向にスケールします - クラスターに1つのレプリカ、もしくは故障ゾーン全体にサービングされるものがあります。このようなアドオンでは、クラスターをスケールアウトしたときにリクエストと制限を増やす必要があります。
|
|
* 数多くのアドオンは、水平方向にスケールします - より多くのPod数を動作させることで性能を向上できます - ただし、とても大きなクラスターではCPUやメモリの制限も少し引き上げる必要があるかもしれません。VerticalPodAutoscalerは、提案されたリクエストや制限の数値を提供する `_recommender_` モードで動作可能です。
|
|
* いくつかのアドオンは{{< glossary_tooltip text="DaemonSet" term_id="daemonset" >}}によって制御され、1ノードに1つ複製される形で動作します: 例えばノードレベルのログアグリゲーターです。水平方向にスケールするアドオンの場合と同様に、CPUやメモリ制限を少し引き上げる必要があるかもしれません。
|
|
|
|
|
|
## {{% heading "whatsnext" %}}
|
|
|
|
`VerticalPodAutoscaler` は、リソースのリクエストやPodの制限についての管理を手助けするためにクラスターへデプロイ可能なカスタムリソースです。
|
|
`VerticalPodAutoscaler` やクラスターで致命的なアドオンを含むクラスターコンポーネントをスケールする方法についてさらに知りたい場合は[Vertical Pod Autoscaler](https://github.com/kubernetes/autoscaler/tree/master/vertical-pod-autoscaler#readme)をご覧ください。
|
|
|
|
[cluster autoscaler](https://github.com/kubernetes/autoscaler/tree/master/cluster-autoscaler#readme)は、クラスターで要求されるリソース水準を満たす正確なノード数で動作できるよう、いくつかのクラウドプロバイダーと統合されています。
|
|
|
|
[addon resizer](https://github.com/kubernetes/autoscaler/tree/master/addon-resizer#readme)は、クラスターのスケールが変化したときにアドオンの自動的なリサイズをお手伝いします。
|