本文發表於一年多前。舊文章可能包含過時內容。請檢查頁面中的資訊自發布以來是否已變得不正確。
使用 Kubeadm 部署外部 OpenStack Cloud Provider
本文件介紹瞭如何在 CentOS 上使用 kubeadm 安裝單控制平面 Kubernetes v1.15 叢集，然後部署外部 OpenStack 雲提供商和 Cinder CSI 外掛，以將 Cinder 卷用作 Kubernetes 中的持久卷。
在 OpenStack 中的準備工作
此叢集執行在 OpenStack 虛擬機器上，因此我們首先在 OpenStack 中建立一些資源。
- 此 Kubernetes 叢集的專案/租戶
- 此專案中用於 Kubernetes 的使用者，以查詢節點資訊並掛載卷等
- 私有網路和子網
- 此私有網路的路由器，並將其連線到公共網路以獲取浮動 IP
- 所有 Kubernetes 虛擬機器的安全組
- 一個虛擬機器作為控制平面節點，以及一些虛擬機器作為工作節點
安全組將包含以下規則，以開啟 Kubernetes 所需的埠。
控制平面節點
| 協議 | 埠號 | 描述 |
|---|---|---|
| TCP | 6443 | Kubernetes API 伺服器 |
| TCP | 2379-2380 | etcd 伺服器客戶端 API |
| TCP | 10250 | Kubelet API |
| TCP | 10251 | kube-scheduler |
| TCP | 10252 | kube-controller-manager |
| TCP | 10255 | 只讀 Kubelet API |
工作節點
| 協議 | 埠號 | 描述 |
|---|---|---|
| TCP | 10250 | Kubelet API |
| TCP | 10255 | 只讀 Kubelet API |
| TCP | 30000-32767 | NodePort 服務 |
控制平面節點和工作節點上的 CNI 埠
| 協議 | 埠號 | 描述 |
|---|---|---|
| TCP | 179 | Calico BGP 網路 |
| TCP | 9099 | Calico felix (健康檢查) |
| UDP | 8285 | Flannel |
| UDP | 8472 | Flannel |
| TCP | 6781-6784 | Weave Net |
| UDP | 6783-6784 | Weave Net |
CNI 特定埠僅在使用該特定 CNI 外掛時才需要開啟。在本指南中，我們將使用 Weave Net。只有 Weave Net 埠 (TCP 6781-6784 和 UDP 6783-6784) 需要在安全組中開啟。
控制平面節點至少需要 2 核和 4GB 記憶體。虛擬機器啟動後，驗證其主機名並確保它與 Nova 中的節點名稱相同。如果主機名無法解析，請將其新增到 /etc/hosts 中。
例如，如果虛擬機器名為 master1，其內部 IP 為 192.168.1.4。將其新增到 /etc/hosts 並將主機名設定為 master1。
echo "192.168.1.4 master1" >> /etc/hosts
hostnamectl set-hostname master1
安裝 Docker 和 Kubernetes
接下來，我們將按照官方文件使用 kubeadm 安裝 Docker 和 Kubernetes。
按照容器執行時文件中的步驟安裝 Docker。
請注意，將 systemd 用作 Kubernetes 的 cgroup 驅動程式是一種最佳實踐。如果您使用內部容器登錄檔，請將其新增到 Docker 配置中。
# Install Docker CE
## Set up the repository
### Install required packages.
yum install yum-utils device-mapper-persistent-data lvm2
### Add Docker repository.
yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
## Install Docker CE.
yum update && yum install docker-ce-18.06.2.ce
## Create /etc/docker directory.
mkdir /etc/docker
# Configure the Docker daemon
cat > /etc/docker/daemon.json <<EOF
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2",
"storage-opts": [
"overlay2.override_kernel_check=true"
]
}
EOF
mkdir -p /etc/systemd/system/docker.service.d
# Restart Docker
systemctl daemon-reload
systemctl restart docker
systemctl enable docker
按照安裝 Kubeadm 文件中的步驟安裝 kubeadm。
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF
# Set SELinux in permissive mode (effectively disabling it)
# Caveat: In a production environment you may not want to disable SELinux, please refer to Kubernetes documents about SELinux
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
systemctl enable --now kubelet
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system
# check if br_netfilter module is loaded
lsmod | grep br_netfilter
# if not, load it explicitly with
modprobe br_netfilter
有關如何使用 kubeadm 建立單控制平面叢集的官方文件，請參閱使用 kubeadm 建立單控制平面叢集文件。
我們將主要遵循該文件，但也會為雲提供商新增額外內容。為了更清楚，我們將為控制平面節點使用 kubeadm-config.yml。在此配置中，我們指定使用外部 OpenStack 雲提供商，以及在哪裡找到其配置。我們還在 API 伺服器的執行時配置中啟用了儲存 API，以便我們可以在 Kubernetes 中將 OpenStack 卷用作持久卷。
apiVersion: kubeadm.k8s.io/v1beta1
kind: InitConfiguration
nodeRegistration:
kubeletExtraArgs:
cloud-provider: "external"
---
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: "v1.15.1"
apiServer:
extraArgs:
enable-admission-plugins: NodeRestriction
runtime-config: "storage.k8s.io/v1=true"
controllerManager:
extraArgs:
external-cloud-volume-plugin: openstack
extraVolumes:
- name: "cloud-config"
hostPath: "/etc/kubernetes/cloud-config"
mountPath: "/etc/kubernetes/cloud-config"
readOnly: true
pathType: File
networking:
serviceSubnet: "10.96.0.0/12"
podSubnet: "10.224.0.0/16"
dnsDomain: "cluster.local"
現在我們將為 OpenStack 建立雲配置檔案 /etc/kubernetes/cloud-config。請注意，這裡的租戶是我們一開始為所有 Kubernetes 虛擬機器建立的租戶。所有虛擬機器都應該在此專案/租戶中啟動。此外，您需要在此租戶中為 Kubernetes 建立一個使用者以執行查詢。ca-file 是 OpenStack API 端點的 CA 根證書，例如 https://openstack.cloud:5000/v3。在撰寫本文時，雲提供商不允許不安全的連線（跳過 CA 檢查）。
[Global]
region=RegionOne
username=username
password=password
auth-url=https://openstack.cloud:5000/v3
tenant-id=14ba698c0aec4fd6b7dc8c310f664009
domain-id=default
ca-file=/etc/kubernetes/ca.pem
[LoadBalancer]
subnet-id=b4a9a292-ea48-4125-9fb2-8be2628cb7a1
floating-network-id=bc8a590a-5d65-4525-98f3-f7ef29c727d5
[BlockStorage]
bs-version=v2
[Networking]
public-network-name=public
ipv6-support-disabled=false
接下來執行 kubeadm 初始化控制平面節點
kubeadm init --config=kubeadm-config.yml
初始化完成後，將管理配置複製到 .kube
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
在此階段，控制平面節點已建立但未就緒。所有節點都帶有汙點 node.cloudprovider.kubernetes.io/uninitialized=true:NoSchedule，並等待雲控制器管理器初始化。
# kubectl describe no master1
Name: master1
Roles: master
......
Taints: node-role.kubernetes.io/master:NoSchedule
node.cloudprovider.kubernetes.io/uninitialized=true:NoSchedule
node.kubernetes.io/not-ready:NoSchedule
......
現在按照使用 kubeadm 的控制器管理器部署 OpenStack 雲控制器管理器到叢集中。
使用 OpenStack 雲提供商的雲配置檔案建立一個 secret。
kubectl create secret -n kube-system generic cloud-config --from-literal=cloud.conf="$(cat /etc/kubernetes/cloud-config)" --dry-run -o yaml > cloud-config-secret.yaml
kubectl apply -f cloud-config-secret.yaml
獲取 OpenStack API 端點的 CA 證書，並將其放入 /etc/kubernetes/ca.pem 中。
建立 RBAC 資源。
kubectl apply -f https://github.com/kubernetes/cloud-provider-openstack/raw/release-1.15/cluster/addons/rbac/cloud-controller-manager-roles.yaml
kubectl apply -f https://github.com/kubernetes/cloud-provider-openstack/raw/release-1.15/cluster/addons/rbac/cloud-controller-manager-role-bindings.yaml
我們將把 OpenStack 雲控制器管理器作為 DaemonSet 而不是 Pod 執行。管理器將只在控制平面節點上執行，因此如果有多個控制平面節點，將執行多個 Pod 以實現高可用性。建立包含以下清單的 openstack-cloud-controller-manager-ds.yaml，然後應用它。
---
apiVersion: v1
kind: ServiceAccount
metadata:
name: cloud-controller-manager
namespace: kube-system
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: openstack-cloud-controller-manager
namespace: kube-system
labels:
k8s-app: openstack-cloud-controller-manager
spec:
selector:
matchLabels:
k8s-app: openstack-cloud-controller-manager
updateStrategy:
type: RollingUpdate
template:
metadata:
labels:
k8s-app: openstack-cloud-controller-manager
spec:
nodeSelector:
node-role.kubernetes.io/master: ""
securityContext:
runAsUser: 1001
tolerations:
- key: node.cloudprovider.kubernetes.io/uninitialized
value: "true"
effect: NoSchedule
- key: node-role.kubernetes.io/master
effect: NoSchedule
- effect: NoSchedule
key: node.kubernetes.io/not-ready
serviceAccountName: cloud-controller-manager
containers:
- name: openstack-cloud-controller-manager
image: docker.io/k8scloudprovider/openstack-cloud-controller-manager:v1.15.0
args:
- /bin/openstack-cloud-controller-manager
- --v=1
- --cloud-config=$(CLOUD_CONFIG)
- --cloud-provider=openstack
- --use-service-account-credentials=true
- --address=127.0.0.1
volumeMounts:
- mountPath: /etc/kubernetes/pki
name: k8s-certs
readOnly: true
- mountPath: /etc/ssl/certs
name: ca-certs
readOnly: true
- mountPath: /etc/config
name: cloud-config-volume
readOnly: true
- mountPath: /usr/libexec/kubernetes/kubelet-plugins/volume/exec
name: flexvolume-dir
- mountPath: /etc/kubernetes
name: ca-cert
readOnly: true
resources:
requests:
cpu: 200m
env:
- name: CLOUD_CONFIG
value: /etc/config/cloud.conf
hostNetwork: true
volumes:
- hostPath:
path: /usr/libexec/kubernetes/kubelet-plugins/volume/exec
type: DirectoryOrCreate
name: flexvolume-dir
- hostPath:
path: /etc/kubernetes/pki
type: DirectoryOrCreate
name: k8s-certs
- hostPath:
path: /etc/ssl/certs
type: DirectoryOrCreate
name: ca-certs
- name: cloud-config-volume
secret:
secretName: cloud-config
- name: ca-cert
secret:
secretName: openstack-ca-cert
當控制器管理器執行時，它將查詢 OpenStack 以獲取有關節點的資訊並移除汙點。在節點資訊中，您將看到 OpenStack 中虛擬機器的 UUID。
# kubectl describe no master1
Name: master1
Roles: master
......
Taints: node-role.kubernetes.io/master:NoSchedule
node.kubernetes.io/not-ready:NoSchedule
......
sage:docker: network plugin is not ready: cni config uninitialized
......
PodCIDR: 10.224.0.0/24
ProviderID: openstack:///548e3c46-2477-4ce2-968b-3de1314560a5
現在安裝您喜歡的 CNI，控制平面節點將變為就緒狀態。
例如，要安裝 Weave Net，請執行此命令
kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"
接下來我們將設定工作節點。
首先，以與控制平面節點相同的方式安裝 Docker 和 Kubeadm。要將它們加入叢集，我們需要從控制平面節點安裝的輸出中獲取令牌和 CA 證書雜湊。如果它已過期或丟失，我們可以使用這些命令重新建立它。
# check if token is expired
kubeadm token list
# re-create token and show join command
kubeadm token create --print-join-command
使用上述令牌和 CA 證書雜湊為工作節點建立 kubeadm-config.yml。
apiVersion: kubeadm.k8s.io/v1beta2
discovery:
bootstrapToken:
apiServerEndpoint: 192.168.1.7:6443
token: 0c0z4p.dnafh6vnmouus569
caCertHashes: ["sha256:fcb3e956a6880c05fc9d09714424b827f57a6fdc8afc44497180905946527adf"]
kind: JoinConfiguration
nodeRegistration:
kubeletExtraArgs:
cloud-provider: "external"
apiServerEndpoint 是控制平面節點，令牌和 caCertHashes 可以從“kubeadm token create”命令的輸出中打印出的加入命令中獲取。
執行 kubeadm，工作節點將加入叢集。
kubeadm join --config kubeadm-config.yml
在此階段，我們將擁有一個帶有外部 OpenStack 雲提供商的正常執行的 Kubernetes 叢集。該提供商會告知 Kubernetes 節點和 OpenStack 虛擬機器之間的對映關係。如果 Kubernetes 想要將持久卷附加到 Pod，它可以透過對映找到 Pod 執行在哪個 OpenStack 虛擬機器上，並相應地將底層的 OpenStack 卷附加到該虛擬機器。
部署 Cinder CSI
與 Cinder 的整合由外部 Cinder CSI 外掛提供，如 Cinder CSI 文件所述。
我們將執行以下步驟來安裝 Cinder CSI 外掛。首先，使用 OpenStack API 端點的 CA 證書建立 secret。它與我們上面在雲提供商中使用的證書檔案相同。
kubectl create secret -n kube-system generic openstack-ca-cert --from-literal=ca.pem="$(cat /etc/kubernetes/ca.pem)" --dry-run -o yaml > openstack-ca-cert.yaml
kubectl apply -f openstack-ca-cert.yaml
然後建立 RBAC 資源。
kubectl apply -f https://raw.githubusercontent.com/kubernetes/cloud-provider-openstack/release-1.15/manifests/cinder-csi-plugin/cinder-csi-controllerplugin-rbac.yaml
kubectl apply -f https://github.com/kubernetes/cloud-provider-openstack/raw/release-1.15/manifests/cinder-csi-plugin/cinder-csi-nodeplugin-rbac.yaml
Cinder CSI 外掛包括一個控制器外掛和一個節點外掛。控制器與 Kubernetes API 和 Cinder API 通訊以建立/附加/分離/刪除 Cinder 卷。節點外掛反過來在每個工作節點上執行，將儲存裝置（已附加捲）繫結到 Pod，並在刪除時將其解綁。建立 cinder-csi-controllerplugin.yaml 並應用它以建立 CSI 控制器。
kind: Service
apiVersion: v1
metadata:
name: csi-cinder-controller-service
namespace: kube-system
labels:
app: csi-cinder-controllerplugin
spec:
selector:
app: csi-cinder-controllerplugin
ports:
- name: dummy
port: 12345
---
kind: StatefulSet
apiVersion: apps/v1
metadata:
name: csi-cinder-controllerplugin
namespace: kube-system
spec:
serviceName: "csi-cinder-controller-service"
replicas: 1
selector:
matchLabels:
app: csi-cinder-controllerplugin
template:
metadata:
labels:
app: csi-cinder-controllerplugin
spec:
serviceAccount: csi-cinder-controller-sa
containers:
- name: csi-attacher
image: quay.io/k8scsi/csi-attacher:v1.0.1
args:
- "--v=5"
- "--csi-address=$(ADDRESS)"
env:
- name: ADDRESS
value: /var/lib/csi/sockets/pluginproxy/csi.sock
imagePullPolicy: "IfNotPresent"
volumeMounts:
- name: socket-dir
mountPath: /var/lib/csi/sockets/pluginproxy/
- name: csi-provisioner
image: quay.io/k8scsi/csi-provisioner:v1.0.1
args:
- "--provisioner=csi-cinderplugin"
- "--csi-address=$(ADDRESS)"
env:
- name: ADDRESS
value: /var/lib/csi/sockets/pluginproxy/csi.sock
imagePullPolicy: "IfNotPresent"
volumeMounts:
- name: socket-dir
mountPath: /var/lib/csi/sockets/pluginproxy/
- name: csi-snapshotter
image: quay.io/k8scsi/csi-snapshotter:v1.0.1
args:
- "--connection-timeout=15s"
- "--csi-address=$(ADDRESS)"
env:
- name: ADDRESS
value: /var/lib/csi/sockets/pluginproxy/csi.sock
imagePullPolicy: Always
volumeMounts:
- mountPath: /var/lib/csi/sockets/pluginproxy/
name: socket-dir
- name: cinder-csi-plugin
image: docker.io/k8scloudprovider/cinder-csi-plugin:v1.15.0
args :
- /bin/cinder-csi-plugin
- "--v=5"
- "--nodeid=$(NODE_ID)"
- "--endpoint=$(CSI_ENDPOINT)"
- "--cloud-config=$(CLOUD_CONFIG)"
- "--cluster=$(CLUSTER_NAME)"
env:
- name: NODE_ID
valueFrom:
fieldRef:
fieldPath: spec.nodeName
- name: CSI_ENDPOINT
value: unix://csi/csi.sock
- name: CLOUD_CONFIG
value: /etc/config/cloud.conf
- name: CLUSTER_NAME
value: kubernetes
imagePullPolicy: "IfNotPresent"
volumeMounts:
- name: socket-dir
mountPath: /csi
- name: secret-cinderplugin
mountPath: /etc/config
readOnly: true
- mountPath: /etc/kubernetes
name: ca-cert
readOnly: true
volumes:
- name: socket-dir
hostPath:
path: /var/lib/csi/sockets/pluginproxy/
type: DirectoryOrCreate
- name: secret-cinderplugin
secret:
secretName: cloud-config
- name: ca-cert
secret:
secretName: openstack-ca-cert
建立 cinder-csi-nodeplugin.yaml 並應用它以建立 csi 節點。
kind: DaemonSet
apiVersion: apps/v1
metadata:
name: csi-cinder-nodeplugin
namespace: kube-system
spec:
selector:
matchLabels:
app: csi-cinder-nodeplugin
template:
metadata:
labels:
app: csi-cinder-nodeplugin
spec:
serviceAccount: csi-cinder-node-sa
hostNetwork: true
containers:
- name: node-driver-registrar
image: quay.io/k8scsi/csi-node-driver-registrar:v1.1.0
args:
- "--v=5"
- "--csi-address=$(ADDRESS)"
- "--kubelet-registration-path=$(DRIVER_REG_SOCK_PATH)"
lifecycle:
preStop:
exec:
command: ["/bin/sh", "-c", "rm -rf /registration/cinder.csi.openstack.org /registration/cinder.csi.openstack.org-reg.sock"]
env:
- name: ADDRESS
value: /csi/csi.sock
- name: DRIVER_REG_SOCK_PATH
value: /var/lib/kubelet/plugins/cinder.csi.openstack.org/csi.sock
- name: KUBE_NODE_NAME
valueFrom:
fieldRef:
fieldPath: spec.nodeName
imagePullPolicy: "IfNotPresent"
volumeMounts:
- name: socket-dir
mountPath: /csi
- name: registration-dir
mountPath: /registration
- name: cinder-csi-plugin
securityContext:
privileged: true
capabilities:
add: ["SYS_ADMIN"]
allowPrivilegeEscalation: true
image: docker.io/k8scloudprovider/cinder-csi-plugin:v1.15.0
args :
- /bin/cinder-csi-plugin
- "--nodeid=$(NODE_ID)"
- "--endpoint=$(CSI_ENDPOINT)"
- "--cloud-config=$(CLOUD_CONFIG)"
env:
- name: NODE_ID
valueFrom:
fieldRef:
fieldPath: spec.nodeName
- name: CSI_ENDPOINT
value: unix://csi/csi.sock
- name: CLOUD_CONFIG
value: /etc/config/cloud.conf
imagePullPolicy: "IfNotPresent"
volumeMounts:
- name: socket-dir
mountPath: /csi
- name: pods-mount-dir
mountPath: /var/lib/kubelet/pods
mountPropagation: "Bidirectional"
- name: kubelet-dir
mountPath: /var/lib/kubelet
mountPropagation: "Bidirectional"
- name: pods-cloud-data
mountPath: /var/lib/cloud/data
readOnly: true
- name: pods-probe-dir
mountPath: /dev
mountPropagation: "HostToContainer"
- name: secret-cinderplugin
mountPath: /etc/config
readOnly: true
- mountPath: /etc/kubernetes
name: ca-cert
readOnly: true
volumes:
- name: socket-dir
hostPath:
path: /var/lib/kubelet/plugins/cinder.csi.openstack.org
type: DirectoryOrCreate
- name: registration-dir
hostPath:
path: /var/lib/kubelet/plugins_registry/
type: Directory
- name: kubelet-dir
hostPath:
path: /var/lib/kubelet
type: Directory
- name: pods-mount-dir
hostPath:
path: /var/lib/kubelet/pods
type: Directory
- name: pods-cloud-data
hostPath:
path: /var/lib/cloud/data
type: Directory
- name: pods-probe-dir
hostPath:
path: /dev
type: Directory
- name: secret-cinderplugin
secret:
secretName: cloud-config
- name: ca-cert
secret:
secretName: openstack-ca-cert
當它們都執行時，為 Cinder 建立一個儲存類。
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: csi-sc-cinderplugin
provisioner: csi-cinderplugin
然後我們可以使用此類建立一個 PVC。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: myvol
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
storageClassName: csi-sc-cinderplugin
建立 PVC 後，會相應地建立一個 Cinder 卷。
# kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
myvol Bound pvc-14b8bc68-6c4c-4dc6-ad79-4cb29a81faad 1Gi RWO csi-sc-cinderplugin 3s
在 OpenStack 中，卷名稱將與 Kubernetes 持久卷生成的名稱匹配。在此示例中，它將是：pvc-14b8bc68-6c4c-4dc6-ad79-4cb29a81faad
現在我們可以使用 PVC 建立一個 Pod。
apiVersion: v1
kind: Pod
metadata:
name: web
spec:
containers:
- name: web
image: nginx
ports:
- name: web
containerPort: 80
hostPort: 8081
protocol: TCP
volumeMounts:
- mountPath: "/usr/share/nginx/html"
name: mypd
volumes:
- name: mypd
persistentVolumeClaim:
claimName: myvol
當 Pod 執行時，該卷將被附加到 Pod。如果我們回到 OpenStack，我們可以看到 Cinder 卷已掛載到 Pod 執行的工作節點上。
# openstack volume show 6b5f3296-b0eb-40cd-bd4f-2067a0d6287f
+--------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Field | Value |
+--------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| attachments | [{u'server_id': u'1c5e1439-edfa-40ed-91fe-2a0e12bc7eb4', u'attachment_id': u'11a15b30-5c24-41d4-86d9-d92823983a32', u'attached_at': u'2019-07-24T05:02:34.000000', u'host_name': u'compute-6', u'volume_id': u'6b5f3296-b0eb-40cd-bd4f-2067a0d6287f', u'device': u'/dev/vdb', u'id': u'6b5f3296-b0eb-40cd-bd4f-2067a0d6287f'}] |
| availability_zone | nova |
| bootable | false |
| consistencygroup_id | None |
| created_at | 2019-07-24T05:02:18.000000 |
| description | Created by OpenStack Cinder CSI driver |
| encrypted | False |
| id | 6b5f3296-b0eb-40cd-bd4f-2067a0d6287f |
| migration_status | None |
| multiattach | False |
| name | pvc-14b8bc68-6c4c-4dc6-ad79-4cb29a81faad |
| os-vol-host-attr:host | rbd:volumes@rbd#rbd |
| os-vol-mig-status-attr:migstat | None |
| os-vol-mig-status-attr:name_id | None |
| os-vol-tenant-attr:tenant_id | 14ba698c0aec4fd6b7dc8c310f664009 |
| properties | attached_mode='rw', cinder.csi.openstack.org/cluster='kubernetes' |
| replication_status | None |
| size | 1 |
| snapshot_id | None |
| source_volid | None |
| status | in-use |
| type | rbd |
| updated_at | 2019-07-24T05:02:35.000000 |
| user_id | 5f6a7a06f4e3456c890130d56babf591 |
+--------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
總結
在本演練中，我們在 OpenStack 虛擬機器上部署了一個 Kubernetes 叢集，並使用外部 OpenStack 雲提供商將其與 OpenStack 整合。然後，在這個 Kubernetes 叢集上，我們部署了 Cinder CSI 外掛，它可以建立 Cinder 卷並在 Kubernetes 中將其公開為持久卷。