|
|
|
@@ -2,22 +2,22 @@
|
|
|
|
|
title: kubeadm 클러스터 업그레이드
|
|
|
|
|
content_type: task
|
|
|
|
|
weight: 20
|
|
|
|
|
min-kubernetes-server-version: 1.19
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
<!-- overview -->
|
|
|
|
|
|
|
|
|
|
이 페이지는 kubeadm으로 생성된 쿠버네티스 클러스터를
|
|
|
|
|
1.18.x 버전에서 1.19.x 버전으로, 1.19.x 버전에서 1.19.y(여기서 `y > x`) 버전으로 업그레이드하는 방법을 설명한다.
|
|
|
|
|
{{< skew latestVersionAddMinor -1 >}}.x 버전에서 {{< skew latestVersion >}}.x 버전으로,
|
|
|
|
|
{{< skew latestVersion >}}.x 버전에서 {{< skew latestVersion >}}.y(여기서 `y > x`) 버전으로 업그레이드하는 방법을 설명한다. 업그레이드가 지원되지 않는 경우
|
|
|
|
|
마이너 버전을 건너뛴다.
|
|
|
|
|
|
|
|
|
|
이전 버전의 kubeadm을 사용하여 생성된 클러스터 업그레이드에 대한 정보를 보려면,
|
|
|
|
|
이 페이지 대신 다음의 페이지들을 참고한다.
|
|
|
|
|
|
|
|
|
|
- [kubeadm 클러스터를 1.17에서 1.18로 업그레이드](https://v1-18.docs.kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade/)
|
|
|
|
|
- [kubeadm 클러스터를 1.16에서 1.17로 업그레이드](https://v1-17.docs.kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade/)
|
|
|
|
|
- [kubeadm 클러스터를 1.15에서 1.16으로 업그레이드](https://v1-16.docs.kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade/)
|
|
|
|
|
- [kubeadm 클러스터를 1.14에서 1.15로 업그레이드](https://v1-15.docs.kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade-1-15/)
|
|
|
|
|
- [kubeadm 클러스터를 1.13에서 1.14로 업그레이드](https://v1-15.docs.kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade-1-14/)
|
|
|
|
|
- [kubeadm 클러스터를 {{< skew latestVersionAddMinor -2 >}}에서 {{< skew latestVersionAddMinor -1 >}}로 업그레이드](https://v{{< skew latestVersionAddMinor -1 "-" >}}.docs.kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade/)
|
|
|
|
|
- [kubeadm 클러스터를 {{< skew latestVersionAddMinor -3 >}}에서 {{< skew latestVersionAddMinor -2 >}}로 업그레이드](https://v{{< skew latestVersionAddMinor -2 "-" >}}.docs.kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade/)
|
|
|
|
|
- [kubeadm 클러스터를 {{< skew latestVersionAddMinor -4 >}}에서 {{< skew latestVersionAddMinor -3 >}}로 업그레이드](https://v{{< skew latestVersionAddMinor -3 "-" >}}.docs.kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade/)
|
|
|
|
|
- [kubeadm 클러스터를 {{< skew latestVersionAddMinor -5 >}}에서 {{< skew latestVersionAddMinor -4 >}}으로 업그레이드](https://v{{< skew latestVersionAddMinor -4 "-" >}}.docs.kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade/)
|
|
|
|
|
|
|
|
|
|
추상적인 업그레이드 작업 절차는 다음과 같다.
|
|
|
|
|
|
|
|
|
@@ -27,60 +27,63 @@ min-kubernetes-server-version: 1.19
|
|
|
|
|
|
|
|
|
|
## {{% heading "prerequisites" %}}
|
|
|
|
|
|
|
|
|
|
- 1.18.0 버전 이상을 실행하는 kubeadm 쿠버네티스 클러스터가 있어야 한다.
|
|
|
|
|
- [스왑을 비활성화해야 한다](https://serverfault.com/questions/684771/best-way-to-disable-swap-in-linux).
|
|
|
|
|
- 클러스터는 정적 컨트롤 플레인 및 etcd 파드 또는 외부 etcd를 사용해야 한다.
|
|
|
|
|
- [릴리스 노트]({{< latest-release-notes >}})를 주의 깊게 읽어야 한다.
|
|
|
|
|
- 클러스터는 정적 컨트롤 플레인 및 etcd 파드 또는 외부 etcd를 사용해야 한다.
|
|
|
|
|
- 데이터베이스에 저장된 앱-레벨 상태와 같은 중요한 컴포넌트를 반드시 백업한다.
|
|
|
|
|
`kubeadm upgrade` 는 워크로드에 영향을 미치지 않고, 쿠버네티스 내부의 컴포넌트만 다루지만, 백업은 항상 모범 사례일 정도로 중요하다.
|
|
|
|
|
- [스왑을 비활성화해야 한다](https://serverfault.com/questions/684771/best-way-to-disable-swap-in-linux).
|
|
|
|
|
|
|
|
|
|
### 추가 정보
|
|
|
|
|
|
|
|
|
|
- kubelet 마이너 버전을 업그레이드하기 전에 [노드 드레이닝(draining)](https://kubernetes.io/docs/tasks/administer-cluster/safely-drain-node/)이
|
|
|
|
|
필요하다. 컨트롤 플레인 노드의 경우 CoreNDS 파드 또는 기타 중요한 워크로드를 실행할 수 있다.
|
|
|
|
|
- 컨테이너 사양 해시 값이 변경되므로, 업그레이드 후 모든 컨테이너가 다시 시작된다.
|
|
|
|
|
- 하나의 MINOR 버전에서 다음 MINOR 버전으로,
|
|
|
|
|
또는 동일한 MINOR의 PATCH 버전 사이에서만 업그레이드할 수 있다. 즉, 업그레이드할 때 MINOR 버전을 건너 뛸 수 없다.
|
|
|
|
|
예를 들어, 1.y에서 1.y+1로 업그레이드할 수 있지만, 1.y에서 1.y+2로 업그레이드할 수는 없다.
|
|
|
|
|
|
|
|
|
|
<!-- steps -->
|
|
|
|
|
|
|
|
|
|
## 업그레이드할 버전 결정
|
|
|
|
|
|
|
|
|
|
최신의 안정 버전인 1.19를 찾는다.
|
|
|
|
|
OS 패키지 관리자를 사용하여 최신의 안정 버전({{< skew latestVersion >}})을 찾는다.
|
|
|
|
|
|
|
|
|
|
{{< tabs name="k8s_install_versions" >}}
|
|
|
|
|
{{% tab name="Ubuntu, Debian 또는 HypriotOS" %}}
|
|
|
|
|
apt update
|
|
|
|
|
apt-cache madison kubeadm
|
|
|
|
|
# 목록에서 최신 버전 1.19를 찾는다
|
|
|
|
|
# 1.19.x-00과 같아야 한다. 여기서 x는 최신 패치이다.
|
|
|
|
|
# 목록에서 최신 버전({{< skew latestVersion >}})을 찾는다
|
|
|
|
|
# {{< skew latestVersion >}}.x-00과 같아야 한다. 여기서 x는 최신 패치이다.
|
|
|
|
|
{{% /tab %}}
|
|
|
|
|
{{% tab name="CentOS, RHEL 또는 Fedora" %}}
|
|
|
|
|
yum list --showduplicates kubeadm --disableexcludes=kubernetes
|
|
|
|
|
# 목록에서 최신 버전 1.19를 찾는다
|
|
|
|
|
# 1.19.x-0과 같아야 한다. 여기서 x는 최신 패치이다.
|
|
|
|
|
# 목록에서 최신 버전({{< skew latestVersion >}})을 찾는다
|
|
|
|
|
# {{< skew latestVersion >}}.x-0과 같아야 한다. 여기서 x는 최신 패치이다.
|
|
|
|
|
{{% /tab %}}
|
|
|
|
|
{{< /tabs >}}
|
|
|
|
|
|
|
|
|
|
## 컨트롤 플레인 노드 업그레이드
|
|
|
|
|
|
|
|
|
|
### 첫 번째 컨트롤 플레인 노드 업그레이드
|
|
|
|
|
컨트롤 플레인 노드의 업그레이드 절차는 한 번에 한 노드씩 실행해야 한다.
|
|
|
|
|
먼저 업그레이드할 컨트롤 플레인 노드를 선택한다. `/etc/kubernetes/admin.conf` 파일이 있어야 한다.
|
|
|
|
|
|
|
|
|
|
- 첫 번째 컨트롤 플레인 노드에서 kubeadm을 업그레이드한다.
|
|
|
|
|
### "kubeadm upgrade" 호출
|
|
|
|
|
|
|
|
|
|
**첫 번째 컨트롤 플레인 노드의 경우**
|
|
|
|
|
|
|
|
|
|
- kubeadm 업그레이드
|
|
|
|
|
|
|
|
|
|
{{< tabs name="k8s_install_kubeadm_first_cp" >}}
|
|
|
|
|
{{% tab name="Ubuntu, Debian 또는 HypriotOS" %}}
|
|
|
|
|
# 1.19.x-00에서 x를 최신 패치 버전으로 바꾼다.
|
|
|
|
|
# {{< skew latestVersion >}}.x-00에서 x를 최신 패치 버전으로 바꾼다.
|
|
|
|
|
apt-mark unhold kubeadm && \
|
|
|
|
|
apt-get update && apt-get install -y kubeadm=1.19.x-00 && \
|
|
|
|
|
apt-get update && apt-get install -y kubeadm={{< skew latestVersion >}}.x-00 && \
|
|
|
|
|
apt-mark hold kubeadm
|
|
|
|
|
-
|
|
|
|
|
# apt-get 버전 1.1부터 다음 방법을 사용할 수도 있다
|
|
|
|
|
apt-get update && \
|
|
|
|
|
apt-get install -y --allow-change-held-packages kubeadm=1.19.x-00
|
|
|
|
|
apt-get install -y --allow-change-held-packages kubeadm={{< skew latestVersion >}}.x-00
|
|
|
|
|
{{% /tab %}}
|
|
|
|
|
{{% tab name="CentOS, RHEL 또는 Fedora" %}}
|
|
|
|
|
# 1.19.x-0에서 x를 최신 패치 버전으로 바꾼다.
|
|
|
|
|
yum install -y kubeadm-1.19.x-0 --disableexcludes=kubernetes
|
|
|
|
|
# {{< skew latestVersion >}}.x-0에서 x를 최신 패치 버전으로 바꾼다.
|
|
|
|
|
yum install -y kubeadm-{{< skew latestVersion >}}.x-0 --disableexcludes=kubernetes
|
|
|
|
|
{{% /tab %}}
|
|
|
|
|
{{< /tabs >}}
|
|
|
|
|
|
|
|
|
@@ -90,63 +93,10 @@ min-kubernetes-server-version: 1.19
|
|
|
|
|
kubeadm version
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
- 컨트롤 플레인 노드를 드레인(drain)한다.
|
|
|
|
|
- 업그레이드 계획을 확인한다.
|
|
|
|
|
|
|
|
|
|
```shell
|
|
|
|
|
# <cp-node-name>을 컨트롤 플레인 노드 이름으로 바꾼다.
|
|
|
|
|
kubectl drain <cp-node-name> --ignore-daemonsets
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
- 컨트롤 플레인 노드에서 다음을 실행한다.
|
|
|
|
|
|
|
|
|
|
```shell
|
|
|
|
|
sudo kubeadm upgrade plan
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
다음과 비슷한 출력이 표시되어야 한다.
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
[upgrade/config] Making sure the configuration is correct:
|
|
|
|
|
[upgrade/config] Reading configuration from the cluster...
|
|
|
|
|
[upgrade/config] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
|
|
|
|
|
[preflight] Running pre-flight checks.
|
|
|
|
|
[upgrade] Running cluster health checks
|
|
|
|
|
[upgrade] Fetching available versions to upgrade to
|
|
|
|
|
[upgrade/versions] Cluster version: v1.18.4
|
|
|
|
|
[upgrade/versions] kubeadm version: v1.19.0
|
|
|
|
|
[upgrade/versions] Latest stable version: v1.19.0
|
|
|
|
|
[upgrade/versions] Latest version in the v1.18 series: v1.19.0
|
|
|
|
|
|
|
|
|
|
Components that must be upgraded manually after you have upgraded the control plane with 'kubeadm upgrade apply':
|
|
|
|
|
COMPONENT CURRENT AVAILABLE
|
|
|
|
|
Kubelet 1 x v1.18.4 v1.19.0
|
|
|
|
|
|
|
|
|
|
Upgrade to the latest version in the v1.18 series:
|
|
|
|
|
|
|
|
|
|
COMPONENT CURRENT AVAILABLE
|
|
|
|
|
API Server v1.18.4 v1.19.0
|
|
|
|
|
Controller Manager v1.18.4 v1.19.0
|
|
|
|
|
Scheduler v1.18.4 v1.19.0
|
|
|
|
|
Kube Proxy v1.18.4 v1.19.0
|
|
|
|
|
CoreDNS 1.6.7 1.7.0
|
|
|
|
|
Etcd 3.4.3-0 3.4.7-0
|
|
|
|
|
|
|
|
|
|
You can now apply the upgrade by executing the following command:
|
|
|
|
|
|
|
|
|
|
kubeadm upgrade apply v1.19.0
|
|
|
|
|
|
|
|
|
|
_____________________________________________________________________
|
|
|
|
|
|
|
|
|
|
아래 표는 이 버전의 kubeadm에서 이해하는 컴포넌트 구성의 현재 상태를 보여준다.
|
|
|
|
|
"MANUAL UPGRADE REQUIRED" 열에 "yes" 표시가 있는 구성은 성공적인 업그레이드를
|
|
|
|
|
수행하기 전에 수동 구성 업그레이드 또는 kubeadm 기본값으로 재설정이 필요하다. 수동으로
|
|
|
|
|
업그레이드할 버전은 "PREFERRED VERSION" 열에 표시된다.
|
|
|
|
|
|
|
|
|
|
API GROUP CURRENT VERSION PREFERRED VERSION MANUAL UPGRADE REQUIRED
|
|
|
|
|
kubeproxy.config.k8s.io v1alpha1 v1alpha1 no
|
|
|
|
|
kubelet.config.k8s.io v1beta1 v1beta1 no
|
|
|
|
|
_____________________________________________________________________
|
|
|
|
|
|
|
|
|
|
kubeadm upgrade plan
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
이 명령은 클러스터를 업그레이드할 수 있는지를 확인하고, 업그레이드할 수 있는 버전을 가져온다.
|
|
|
|
@@ -168,90 +118,13 @@ min-kubernetes-server-version: 1.19
|
|
|
|
|
|
|
|
|
|
```shell
|
|
|
|
|
# 이 업그레이드를 위해 선택한 패치 버전으로 x를 바꾼다.
|
|
|
|
|
sudo kubeadm upgrade apply v1.19.x
|
|
|
|
|
sudo kubeadm upgrade apply v{{< skew latestVersion >}}.x
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
다음과 비슷한 출력이 표시되어야 한다.
|
|
|
|
|
명령이 완료되면 다음을 확인해야 한다.
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
[upgrade/config] Making sure the configuration is correct:
|
|
|
|
|
[upgrade/config] Reading configuration from the cluster...
|
|
|
|
|
[upgrade/config] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
|
|
|
|
|
[preflight] Running pre-flight checks.
|
|
|
|
|
[upgrade] Running cluster health checks
|
|
|
|
|
[upgrade/version] You have chosen to change the cluster version to "v1.19.0"
|
|
|
|
|
[upgrade/versions] Cluster version: v1.18.4
|
|
|
|
|
[upgrade/versions] kubeadm version: v1.19.0
|
|
|
|
|
[upgrade/confirm] Are you sure you want to proceed with the upgrade? [y/N]: y
|
|
|
|
|
[upgrade/prepull] Pulling images required for setting up a Kubernetes cluster
|
|
|
|
|
[upgrade/prepull] This might take a minute or two, depending on the speed of your internet connection
|
|
|
|
|
[upgrade/prepull] You can also perform this action in beforehand using 'kubeadm config images pull'
|
|
|
|
|
[upgrade/apply] Upgrading your Static Pod-hosted control plane to version "v1.19.0"...
|
|
|
|
|
Static pod: kube-apiserver-kind-control-plane hash: b4c8effe84b4a70031f9a49a20c8b003
|
|
|
|
|
Static pod: kube-controller-manager-kind-control-plane hash: 9ac092f0ca813f648c61c4d5fcbf39f2
|
|
|
|
|
Static pod: kube-scheduler-kind-control-plane hash: 7da02f2c78da17af7c2bf1533ecf8c9a
|
|
|
|
|
[upgrade/etcd] Upgrading to TLS for etcd
|
|
|
|
|
Static pod: etcd-kind-control-plane hash: 171c56cd0e81c0db85e65d70361ceddf
|
|
|
|
|
[upgrade/staticpods] Preparing for "etcd" upgrade
|
|
|
|
|
[upgrade/staticpods] Renewing etcd-server certificate
|
|
|
|
|
[upgrade/staticpods] Renewing etcd-peer certificate
|
|
|
|
|
[upgrade/staticpods] Renewing etcd-healthcheck-client certificate
|
|
|
|
|
[upgrade/staticpods] Moved new manifest to "/etc/kubernetes/manifests/etcd.yaml" and backed up old manifest to "/etc/kubernetes/tmp/kubeadm-backup-manifests-2020-07-13-16-24-16/etcd.yaml"
|
|
|
|
|
[upgrade/staticpods] Waiting for the kubelet to restart the component
|
|
|
|
|
[upgrade/staticpods] This might take a minute or longer depending on the component/version gap (timeout 5m0s)
|
|
|
|
|
Static pod: etcd-kind-control-plane hash: 171c56cd0e81c0db85e65d70361ceddf
|
|
|
|
|
Static pod: etcd-kind-control-plane hash: 171c56cd0e81c0db85e65d70361ceddf
|
|
|
|
|
Static pod: etcd-kind-control-plane hash: 59e40b2aab1cd7055e64450b5ee438f0
|
|
|
|
|
[apiclient] Found 1 Pods for label selector component=etcd
|
|
|
|
|
[upgrade/staticpods] Component "etcd" upgraded successfully!
|
|
|
|
|
[upgrade/etcd] Waiting for etcd to become available
|
|
|
|
|
[upgrade/staticpods] Writing new Static Pod manifests to "/etc/kubernetes/tmp/kubeadm-upgraded-manifests999800980"
|
|
|
|
|
[upgrade/staticpods] Preparing for "kube-apiserver" upgrade
|
|
|
|
|
[upgrade/staticpods] Renewing apiserver certificate
|
|
|
|
|
[upgrade/staticpods] Renewing apiserver-kubelet-client certificate
|
|
|
|
|
[upgrade/staticpods] Renewing front-proxy-client certificate
|
|
|
|
|
[upgrade/staticpods] Renewing apiserver-etcd-client certificate
|
|
|
|
|
[upgrade/staticpods] Moved new manifest to "/etc/kubernetes/manifests/kube-apiserver.yaml" and backed up old manifest to "/etc/kubernetes/tmp/kubeadm-backup-manifests-2020-07-13-16-24-16/kube-apiserver.yaml"
|
|
|
|
|
[upgrade/staticpods] Waiting for the kubelet to restart the component
|
|
|
|
|
[upgrade/staticpods] This might take a minute or longer depending on the component/version gap (timeout 5m0s)
|
|
|
|
|
Static pod: kube-apiserver-kind-control-plane hash: b4c8effe84b4a70031f9a49a20c8b003
|
|
|
|
|
Static pod: kube-apiserver-kind-control-plane hash: b4c8effe84b4a70031f9a49a20c8b003
|
|
|
|
|
Static pod: kube-apiserver-kind-control-plane hash: b4c8effe84b4a70031f9a49a20c8b003
|
|
|
|
|
Static pod: kube-apiserver-kind-control-plane hash: b4c8effe84b4a70031f9a49a20c8b003
|
|
|
|
|
Static pod: kube-apiserver-kind-control-plane hash: f717874150ba572f020dcd89db8480fc
|
|
|
|
|
[apiclient] Found 1 Pods for label selector component=kube-apiserver
|
|
|
|
|
[upgrade/staticpods] Component "kube-apiserver" upgraded successfully!
|
|
|
|
|
[upgrade/staticpods] Preparing for "kube-controller-manager" upgrade
|
|
|
|
|
[upgrade/staticpods] Renewing controller-manager.conf certificate
|
|
|
|
|
[upgrade/staticpods] Moved new manifest to "/etc/kubernetes/manifests/kube-controller-manager.yaml" and backed up old manifest to "/etc/kubernetes/tmp/kubeadm-backup-manifests-2020-07-13-16-24-16/kube-controller-manager.yaml"
|
|
|
|
|
[upgrade/staticpods] Waiting for the kubelet to restart the component
|
|
|
|
|
[upgrade/staticpods] This might take a minute or longer depending on the component/version gap (timeout 5m0s)
|
|
|
|
|
Static pod: kube-controller-manager-kind-control-plane hash: 9ac092f0ca813f648c61c4d5fcbf39f2
|
|
|
|
|
Static pod: kube-controller-manager-kind-control-plane hash: b155b63c70e798b806e64a866e297dd0
|
|
|
|
|
[apiclient] Found 1 Pods for label selector component=kube-controller-manager
|
|
|
|
|
[upgrade/staticpods] Component "kube-controller-manager" upgraded successfully!
|
|
|
|
|
[upgrade/staticpods] Preparing for "kube-scheduler" upgrade
|
|
|
|
|
[upgrade/staticpods] Renewing scheduler.conf certificate
|
|
|
|
|
[upgrade/staticpods] Moved new manifest to "/etc/kubernetes/manifests/kube-scheduler.yaml" and backed up old manifest to "/etc/kubernetes/tmp/kubeadm-backup-manifests-2020-07-13-16-24-16/kube-scheduler.yaml"
|
|
|
|
|
[upgrade/staticpods] Waiting for the kubelet to restart the component
|
|
|
|
|
[upgrade/staticpods] This might take a minute or longer depending on the component/version gap (timeout 5m0s)
|
|
|
|
|
Static pod: kube-scheduler-kind-control-plane hash: 7da02f2c78da17af7c2bf1533ecf8c9a
|
|
|
|
|
Static pod: kube-scheduler-kind-control-plane hash: 260018ac854dbf1c9fe82493e88aec31
|
|
|
|
|
[apiclient] Found 1 Pods for label selector component=kube-scheduler
|
|
|
|
|
[upgrade/staticpods] Component "kube-scheduler" upgraded successfully!
|
|
|
|
|
[upload-config] Storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
|
|
|
|
|
[kubelet] Creating a ConfigMap "kubelet-config-1.19" in namespace kube-system with the configuration for the kubelets in the cluster
|
|
|
|
|
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
|
|
|
|
|
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to get nodes
|
|
|
|
|
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
|
|
|
|
|
[bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
|
|
|
|
|
[bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
|
|
|
|
|
W0713 16:26:14.074656 2986 dns.go:282] the CoreDNS Configuration will not be migrated due to unsupported version of CoreDNS. The existing CoreDNS Corefile configuration and deployment has been retained.
|
|
|
|
|
[addons] Applied essential addon: CoreDNS
|
|
|
|
|
[addons] Applied essential addon: kube-proxy
|
|
|
|
|
|
|
|
|
|
[upgrade/successful] SUCCESS! Your cluster was upgraded to "v1.19.0". Enjoy!
|
|
|
|
|
[upgrade/successful] SUCCESS! Your cluster was upgraded to "v{{< skew latestVersion >}}.x". Enjoy!
|
|
|
|
|
|
|
|
|
|
[upgrade/kubelet] Now that your control plane is upgraded, please proceed with upgrading your kubelets if you haven't already done so.
|
|
|
|
|
```
|
|
|
|
@@ -264,14 +137,7 @@ min-kubernetes-server-version: 1.19
|
|
|
|
|
|
|
|
|
|
CNI 제공자가 데몬셋(DaemonSet)으로 실행되는 경우 추가 컨트롤 플레인 노드에는 이 단계가 필요하지 않다.
|
|
|
|
|
|
|
|
|
|
- 컨트롤 플레인 노드에 적용된 cordon을 해제한다.
|
|
|
|
|
|
|
|
|
|
```shell
|
|
|
|
|
# <cp-node-name>을 컨트롤 플레인 노드 이름으로 바꾼다.
|
|
|
|
|
kubectl uncordon <cp-node-name>
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
### 추가 컨트롤 플레인 노드 업그레이드
|
|
|
|
|
**다른 컨트롤 플레인 노드의 경우**
|
|
|
|
|
|
|
|
|
|
첫 번째 컨트롤 플레인 노드와 동일하지만 다음을 사용한다.
|
|
|
|
|
|
|
|
|
@@ -285,36 +151,58 @@ sudo kubeadm upgrade node
|
|
|
|
|
sudo kubeadm upgrade apply
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
또한 `sudo kubeadm upgrade plan` 은 필요하지 않다.
|
|
|
|
|
`kubeadm upgrade plan` 을 호출하고 CNI 공급자 플러그인을 업그레이드할 필요가 없다.
|
|
|
|
|
|
|
|
|
|
### 노드 드레인
|
|
|
|
|
|
|
|
|
|
- Prepare the node for maintenance by marking it unschedulable and evicting the workloads:
|
|
|
|
|
|
|
|
|
|
```shell
|
|
|
|
|
# <node-to-drain>을 드레인하는 노드의 이름으로 바꾼다.
|
|
|
|
|
kubectl drain <node-to-drain> --ignore-daemonsets
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
### kubelet과 kubectl 업그레이드
|
|
|
|
|
|
|
|
|
|
모든 컨트롤 플레인 노드에서 kubelet 및 kubectl을 업그레이드한다.
|
|
|
|
|
- 모든 컨트롤 플레인 노드에서 kubelet 및 kubectl을 업그레이드한다.
|
|
|
|
|
|
|
|
|
|
{{< tabs name="k8s_install_kubelet" >}}
|
|
|
|
|
{{% tab name="Ubuntu, Debian 또는 HypriotOS" %}}
|
|
|
|
|
# 1.19.x-00의 x를 최신 패치 버전으로 바꾼다
|
|
|
|
|
{{< tab name="Ubuntu, Debian 또는 HypriotOS" >}}
|
|
|
|
|
<pre>>
|
|
|
|
|
# {{< skew latestVersion >}}.x-00의 x를 최신 패치 버전으로 바꾼다
|
|
|
|
|
apt-mark unhold kubelet kubectl && \
|
|
|
|
|
apt-get update && apt-get install -y kubelet=1.19.x-00 kubectl=1.19.x-00 && \
|
|
|
|
|
apt-get update && apt-get install -y kubelet={{< skew latestVersion >}}.x-00 kubectl={{< skew latestVersion >}}.x-00 && \
|
|
|
|
|
apt-mark hold kubelet kubectl
|
|
|
|
|
-
|
|
|
|
|
# apt-get 버전 1.1부터 다음 방법을 사용할 수도 있다
|
|
|
|
|
apt-get update && \
|
|
|
|
|
apt-get install -y --allow-change-held-packages kubelet=1.19.x-00 kubectl=1.19.x-00
|
|
|
|
|
{{% /tab %}}
|
|
|
|
|
{{% tab name="CentOS, RHEL 또는 Fedora" %}}
|
|
|
|
|
# 1.19.x-0에서 x를 최신 패치 버전으로 바꾼다
|
|
|
|
|
yum install -y kubelet-1.19.x-0 kubectl-1.19.x-0 --disableexcludes=kubernetes
|
|
|
|
|
{{% /tab %}}
|
|
|
|
|
apt-get install -y --allow-change-held-packages kubelet={{< skew latestVersion >}}.x-00 kubectl={{< skew latestVersion >}}.x-00
|
|
|
|
|
</pre>
|
|
|
|
|
{{< /tab >}}
|
|
|
|
|
{{< tab name="CentOS, RHEL 또는 Fedora" >}}
|
|
|
|
|
<pre>
|
|
|
|
|
# {{< skew latestVersion >}}.x-0에서 x를 최신 패치 버전으로 바꾼다
|
|
|
|
|
yum install -y kubelet-{{< skew latestVersion >}}.x-0 kubectl-{{< skew latestVersion >}}.x-0 --disableexcludes=kubernetes
|
|
|
|
|
</pre>
|
|
|
|
|
{{< /tab >}}
|
|
|
|
|
{{< /tabs >}}
|
|
|
|
|
|
|
|
|
|
kubelet을 다시 시작한다.
|
|
|
|
|
- kubelet을 다시 시작한다.
|
|
|
|
|
|
|
|
|
|
```shell
|
|
|
|
|
sudo systemctl daemon-reload
|
|
|
|
|
sudo systemctl restart kubelet
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
### 노드 uncordon
|
|
|
|
|
|
|
|
|
|
- 노드를 스케줄 가능으로 표시하여 노드를 다시 온라인 상태로 전환한다.
|
|
|
|
|
|
|
|
|
|
```shell
|
|
|
|
|
# <node-to-drain>을 드레인하는 노드의 이름으로 바꾼다.
|
|
|
|
|
kubectl uncordon <node-to-drain>
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
## 워커 노드 업그레이드
|
|
|
|
|
|
|
|
|
|
워커 노드의 업그레이드 절차는 워크로드를 실행하는 데 필요한 최소 용량을 보장하면서,
|
|
|
|
@@ -326,18 +214,18 @@ sudo systemctl restart kubelet
|
|
|
|
|
|
|
|
|
|
{{< tabs name="k8s_install_kubeadm_worker_nodes" >}}
|
|
|
|
|
{{% tab name="Ubuntu, Debian 또는 HypriotOS" %}}
|
|
|
|
|
# 1.19.x-00의 x를 최신 패치 버전으로 바꾼다
|
|
|
|
|
# {{< skew latestVersion >}}.x-00의 x를 최신 패치 버전으로 바꾼다
|
|
|
|
|
apt-mark unhold kubeadm && \
|
|
|
|
|
apt-get update && apt-get install -y kubeadm=1.19.x-00 && \
|
|
|
|
|
apt-get update && apt-get install -y kubeadm={{< skew latestVersion >}}.x-00 && \
|
|
|
|
|
apt-mark hold kubeadm
|
|
|
|
|
-
|
|
|
|
|
# apt-get 버전 1.1부터 다음 방법을 사용할 수도 있다
|
|
|
|
|
apt-get update && \
|
|
|
|
|
apt-get install -y --allow-change-held-packages kubeadm=1.19.x-00
|
|
|
|
|
apt-get install -y --allow-change-held-packages kubeadm={{< skew latestVersion >}}.x-00
|
|
|
|
|
{{% /tab %}}
|
|
|
|
|
{{% tab name="CentOS, RHEL 또는 Fedora" %}}
|
|
|
|
|
# 1.19.x-0에서 x를 최신 패치 버전으로 바꾼다
|
|
|
|
|
yum install -y kubeadm-1.19.x-0 --disableexcludes=kubernetes
|
|
|
|
|
# {{< skew latestVersion >}}.x-0에서 x를 최신 패치 버전으로 바꾼다
|
|
|
|
|
yum install -y kubeadm-{{< skew latestVersion >}}.x-0 --disableexcludes=kubernetes
|
|
|
|
|
{{% /tab %}}
|
|
|
|
|
{{< /tabs >}}
|
|
|
|
|
|
|
|
|
@@ -350,17 +238,9 @@ sudo systemctl restart kubelet
|
|
|
|
|
kubectl drain <node-to-drain> --ignore-daemonsets
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
다음과 비슷한 출력이 표시되어야 한다.
|
|
|
|
|
### kubeadm 업그레이드 호출
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
node/ip-172-31-85-18 cordoned
|
|
|
|
|
WARNING: ignoring DaemonSet-managed Pods: kube-system/kube-proxy-dj7d7, kube-system/weave-net-z65qx
|
|
|
|
|
node/ip-172-31-85-18 drained
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
### kubelet 구성 업그레이드
|
|
|
|
|
|
|
|
|
|
1. 다음의 명령을 호출한다.
|
|
|
|
|
- 워커 노드의 경우 로컬 kubelet 구성을 업그레이드한다.
|
|
|
|
|
|
|
|
|
|
```shell
|
|
|
|
|
sudo kubeadm upgrade node
|
|
|
|
@@ -368,22 +248,22 @@ sudo systemctl restart kubelet
|
|
|
|
|
|
|
|
|
|
### kubelet과 kubectl 업그레이드
|
|
|
|
|
|
|
|
|
|
- 모든 워커 노드에서 kubelet 및 kubectl을 업그레이드한다.
|
|
|
|
|
- kubelet 및 kubectl을 업그레이드한다.
|
|
|
|
|
|
|
|
|
|
{{< tabs name="k8s_kubelet_and_kubectl" >}}
|
|
|
|
|
{{% tab name="Ubuntu, Debian 또는 HypriotOS" %}}
|
|
|
|
|
# 1.19.x-00의 x를 최신 패치 버전으로 바꾼다
|
|
|
|
|
# {{< skew latestVersion >}}.x-00의 x를 최신 패치 버전으로 바꾼다
|
|
|
|
|
apt-mark unhold kubelet kubectl && \
|
|
|
|
|
apt-get update && apt-get install -y kubelet=1.19.x-00 kubectl=1.19.x-00 && \
|
|
|
|
|
apt-get update && apt-get install -y kubelet={{< skew latestVersion >}}.x-00 kubectl={{< skew latestVersion >}}.x-00 && \
|
|
|
|
|
apt-mark hold kubelet kubectl
|
|
|
|
|
-
|
|
|
|
|
# apt-get 버전 1.1부터 다음 방법을 사용할 수도 있다
|
|
|
|
|
apt-get update && \
|
|
|
|
|
apt-get install -y --allow-change-held-packages kubelet=1.19.x-00 kubectl=1.19.x-00
|
|
|
|
|
apt-get install -y --allow-change-held-packages kubelet={{< skew latestVersion >}}.x-00 kubectl={{< skew latestVersion >}}.x-00
|
|
|
|
|
{{% /tab %}}
|
|
|
|
|
{{% tab name="CentOS, RHEL 또는 Fedora" %}}
|
|
|
|
|
# 1.19.x-0에서 x를 최신 패치 버전으로 바꾼다
|
|
|
|
|
yum install -y kubelet-1.19.x-0 kubectl-1.19.x-0 --disableexcludes=kubernetes
|
|
|
|
|
# {{< skew latestVersion >}}.x-0에서 x를 최신 패치 버전으로 바꾼다
|
|
|
|
|
yum install -y kubelet-{{< skew latestVersion >}}.x-0 kubectl-{{< skew latestVersion >}}.x-0 --disableexcludes=kubernetes
|
|
|
|
|
{{% /tab %}}
|
|
|
|
|
{{< /tabs >}}
|
|
|
|
|
|
|
|
|
@@ -405,7 +285,8 @@ sudo systemctl restart kubelet
|
|
|
|
|
|
|
|
|
|
## 클러스터 상태 확인
|
|
|
|
|
|
|
|
|
|
모든 노드에서 kubelet을 업그레이드 한 후 kubectl이 클러스터에 접근할 수 있는 곳에서 다음의 명령을 실행하여 모든 노드를 다시 사용할 수 있는지 확인한다.
|
|
|
|
|
모든 노드에서 kubelet을 업그레이드한 후 kubectl이 클러스터에 접근할 수 있는 곳에서 다음의 명령을 실행하여
|
|
|
|
|
모든 노드를 다시 사용할 수 있는지 확인한다.
|
|
|
|
|
|
|
|
|
|
```shell
|
|
|
|
|
kubectl get nodes
|
|
|
|
@@ -413,8 +294,6 @@ kubectl get nodes
|
|
|
|
|
|
|
|
|
|
모든 노드에 대해 `STATUS` 열에 `Ready` 가 표시되어야 하고, 버전 번호가 업데이트되어 있어야 한다.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 장애 상태에서의 복구
|
|
|
|
|
|
|
|
|
|
예를 들어 `kubeadm upgrade` 를 실행하는 중에 예기치 못한 종료로 인해 업그레이드가 실패하고 롤백하지 않는다면, `kubeadm upgrade` 를 다시 실행할 수 있다.
|
|
|
|
@@ -423,7 +302,6 @@ kubectl get nodes
|
|
|
|
|
잘못된 상태에서 복구하기 위해, 클러스터가 실행 중인 버전을 변경하지 않고 `kubeadm upgrade apply --force` 를 실행할 수도 있다.
|
|
|
|
|
|
|
|
|
|
업그레이드하는 동안 kubeadm은 `/etc/kubernetes/tmp` 아래에 다음과 같은 백업 폴더를 작성한다.
|
|
|
|
|
|
|
|
|
|
- `kubeadm-backup-etcd-<date>-<time>`
|
|
|
|
|
- `kubeadm-backup-manifests-<date>-<time>`
|
|
|
|
|
|
|
|
|
|
Jerry Park