{"id":923,"date":"2021-01-06T20:16:14","date_gmt":"2021-01-06T19:16:14","guid":{"rendered":"https:\/\/loeilduse.fr\/?p=923"},"modified":"2021-01-07T10:46:48","modified_gmt":"2021-01-07T09:46:48","slug":"deployer-kubeapps-pour-un-usage-multi-clusters","status":"publish","type":"post","link":"https:\/\/loeilduse.fr\/?p=923&lang=fr","title":{"rendered":"D\u00e9ployer Kubeapps pour un usage multi-clusters"},"content":{"rendered":"

\"\"<\/p>\n

 <\/p>\n

Dans cet article nous allons voir comment d\u00e9ployer Kubeapps en environnement multi-cluster. Habituellement il se d\u00e9ployait cluster par cluster, ici, l’objectif est d’avoir une seule instance Kubeapps capable de d\u00e9ployer et de g\u00e9rer les applications sur plusieurs clusters. Pour cela, il faut que chaque cluster soit capable de s’authentifier \u00e0 une source IdP (Identity Provider).<\/span><\/p>\n

Dans mon exemple je vais utiliser des clusters TKG 1.2.1 avec l’extension incluse Dex<\/a>. Dex\u00a0va permettre l\u2019authentification avec un provider OpenID Connect (OIDC).\u00a0 Pour info, dans notre exemple l\u2019extension Gangway<\/a> qui normalement va de pair avec Dex n’est pas utile. Elle sert \u00e0 g\u00e9n\u00e9rer un Kubeconfig une fois que l’utilisateur s’est authentifi\u00e9 via la page web du cluster. Kubeapps n’a pas besoin de cette extension car il utilise un proxy Oauth2. Sur mon environnement, je vais utiliser des clusters existant qui sont d\u00e9j\u00e0 configur\u00e9s avec l’extension Gangway et 1 que je vais cr\u00e9er sans installer Gangway (2 clusters auraient pu suffire mais c’est tellement simple \u00e0 d\u00e9ployer avec TKG qu’on ne va pas se priver).<\/span><\/p>\n

\"\"<\/p>\n

\u00c9tape primordiale, c’est d’ avoir l’extension Dex d’install\u00e9e sur le cluster de management et le configurer pour qu’il puisse faire des requ\u00eates sur une source IdP : https:\/\/docs.vmware.com\/en\/VMware-Tanzu-Kubernetes-Grid\/1.2\/vmware-tanzu-kubernetes-grid-12\/GUID-extensions-dex.html<\/a>. Une fois Dex install\u00e9, il faut cr\u00e9er des clusters de workload compatibles OIDC et d\u00e9ployer Kubeapps sur un cluster de pr\u00e9f\u00e9rence distinct (ou commencer par installer Kubeapps et le mettre \u00e0 jour pour qu’il prenne en compte les nouveaux clusters).<\/span><\/p>\n

Exporter les variables sur l’environnement du cluster DEX :<\/span><\/p>\n

export AUTH_MGMT_CLUSTER=”auth-mgmt-cluster-admin@auth-mgmt-cluster”<\/strong> # nom de mon cluster de management
\n<\/span>export OIDC_ISSUER_URL=https:\/\/172.20.7.10:30167<\/strong> #IP et Port de mon cluster de management o\u00f9 est install\u00e9 DEX<\/span>
\nexport OIDC_USERNAME_CLAIM=email<\/strong><\/span>
\nexport OIDC_GROUPS_CLAIM=groups<\/strong><\/span>
\nexport OIDC_DEX_CA=$(kubectl get secret dex-cert-tls -n tanzu-system-auth -o ‘go-template={{ index .data “ca.crt” }}’ –context $AUTH_MGMT_CLUSTER| base64 -d | gzip | base64)<\/strong> # certificat du cluster de management<\/span><\/p>\n

Cr\u00e9er ensuite les clusters de workloads :<\/span><\/p>\n

tkg create cluster usine-32 –enable-cluster-options oidc<\/span> –plan dev –vsphere-controlplane-endpoint 172.20.7.17<\/strong><\/span><\/p>\n

Logs of the command execution can also be found at: \/tmp\/tkg-20210106T094128013610360.log<\/span>
\nValidating configuration…<\/span>
\nCreating workload cluster ‘usine-32’…<\/span>
\nWaiting for cluster to be initialized…<\/span>
\nWaiting for cluster nodes to be available…<\/span>
\nWaiting for addons installation…<\/span>
\nWorkload cluster ‘usine-32’ created<\/span><\/p>\n

 <\/p>\n

R\u00e9cup\u00e9rer le context du cluster pour qu\u2019il soit int\u00e9gr\u00e9 dans le kubeconfig et ainsi r\u00e9cup\u00e9rer l’url de l’API server:<\/span> et le certificat certificateAuthorityData:<\/span>
\n<\/span><\/p>\n

tkg get credentials usine-32<\/strong><\/span>
\nCredentials of workload cluster ‘usine-32’ have been saved<\/span>
\nYou can now access the cluster by running ‘kubectl config use-context usine-32-admin@usine-32’<\/span><\/p>\n

 <\/p>\n

Se connecter au cluster afin d’autoriser les utilisateurs \u00e0 s’y connecter et de d\u00e9ployer des applications :
\n<\/span><\/p>\n

kubectl config use-context usine-32-admin@usine-32<\/span><\/p>\n

cat << EOF | kubectl apply –<\/span>
\nkind: ClusterRoleBinding<\/span>
\napiVersion: rbac.authorization.k8s.io\/v1<\/span>
\nmetadata:<\/span>
\n\u00a0 name: tkg-users<\/span>
\nsubjects:<\/span>
\n\u00a0 – kind: Group<\/span> \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 # Donner le r\u00f4le au groupe, mettre User si vous souhaitez cibler un user en particulier<\/span>
\n\u00a0\u00a0\u00a0 name: tkg-users # Mettre le nom du groupe, tous les utilisateurs du groupe seront pris en compte<\/span>
\n\u00a0\u00a0\u00a0 apiGroup: “”<\/span>
\nroleRef:<\/span>
\n\u00a0 kind: ClusterRole #this must be Role or ClusterRole<\/span>
\n\u00a0 name: cluster-admin # ClusterRole \u00e0 avoir<\/span>
\n\u00a0 apiGroup: rbac.authorization.k8s.io<\/span>
\nEOF<\/span><\/p>\n

 <\/p>\n

Une fois le cluster cr\u00e9\u00e9, les droits d’acc\u00e8s positionn\u00e9s, l’url et le certificat r\u00e9cup\u00e9r\u00e9s (si besoin, reproduire les m\u00eames \u00e9tapes pour d’autres clusters de workload), il reste deux fichiers \u00e0 modifier, l’un concerne le fichier de valeurs de l\u2019installation de Kubeapps et l’autre le fichier de configuration DEX.<\/span><\/p>\n

Modification du fichier de valeurs pour l’installation de Kubeapps (Exemple provenant de mon coll\u00e8gue Michael Nelson : https:\/\/liveandletlearn.net\/post\/kubeapps-on-tkg-management-cluster\/<\/a>) :<\/span><\/p>\n

# Dans mon exemple Kubeapps est accessible au travers d’un LoadBalancer<\/span>
\nfrontend:<\/span>
\n\u00a0 service:<\/span>
\n\u00a0\u00a0\u00a0 port: 80<\/span>
\n\u00a0\u00a0\u00a0 type: LoadBalancer
\n<\/span># Setup the oauth2-proxy running on the frontend to handle the OIDC authentication<\/span>
\nauthProxy:<\/span>
\n\u00a0 enabled: true<\/span>
\n\u00a0 provider: oidc<\/span>
\n\u00a0 clientID: auth-tools<\/span>
\n\u00a0 ## les deux Secrets ci-dessous sont \u00e0 g\u00e9n\u00e9rer par vous-m\u00eame (32 octets max)<\/span>
\n\u00a0 clientSecret: wPmp8+IrTxbGZbVF\/yqPPeP4XZzw5mLt<\/span>
\n\u00a0 cookieSecret: fiUrXyEBQx7uWlcw55CxQkbYwZ4a\/cC7<\/span>
\n\u00a0 additionalFlags:
\n<\/span>\u00a0 \u00a0 # C’est l’adresse IP et le port de DEX qui est install\u00e9 sur le cluster de management
\n<\/span>\u00a0 \u00a0 – –oidc-issuer-url=https:\/\/172.20.7.10:30167<\/span>
\n\u00a0 \u00a0 # les clusters derri\u00e8res le mot audience sont les clusters sur lesquels les d\u00e9ploiements seront autoris\u00e9s, ils doivent aussi figurer en bas de ce fichier et dans le fichier de configuration Dex<\/span>
\n\u00a0\u00a0\u00a0 – –scope=openid email groups audience:server:client_id:workload-01 audience:server:client_id:workload-02 audience:server:client_id:usine-01 audience:server:client_id:usine-32<\/span>
\n\u00a0\u00a0 \u00a0# Comme j’ai des certificats autosign\u00e9s, il ne faut pas les v\u00e9rifier aupr\u00e8s d\u2019une autorit\u00e9<\/span>
\n\u00a0\u00a0\u00a0 – –ssl-insecure-skip-verify=true<\/span>
\n\u00a0\u00a0 \u00a0# Since Kubeapps is running without TLS, can’t use secure cookies<\/span>
\n\u00a0\u00a0\u00a0 – –cookie-secure=false<\/span>
\n\u00a0\u00a0\u00a0 # If you need to access the actual token in the frontend for testing, uncomment the following.<\/span>
\n\u00a0\u00a0\u00a0 # – –set-authorization-header=true
\n<\/span># Liste des clusters sur lesquels les d\u00e9ploiements seront autoris\u00e9s, les m\u00eames renseign\u00e9s un peu plus haut
\n<\/span># L’apiServiceURL et le certificateAuthorityData sont ceux r\u00e9cup\u00e9r\u00e9s dans le fichier kubeconfig un peu plus haut
\n<\/span># dans mon exemple j’ai 4 clusters de workload
\n<\/span>clusters:<\/span>
\n\u00a0 – name: workload-01<\/span>
\n\u00a0 apiServiceURL: https:\/\/172.20.7.14:6443<\/span>
\n\u00a0 certificateAuthorityData: USUZJQ0FURS0tQkFRc0ZBREFWTVJNd0……..E9KOFhFQUI1aVBqVDQxWXZzeEE9Ci0tLS0tRU5EIENFUlRJRklDQVRFLS0tLS0K<\/span>
\n\u00a0 – name: workload-02<\/span>
\n\u00a0 apiServiceURL: https:\/\/172.20.7.15:6443<\/span>
\n\u00a0 certificateAuthorityData: LS0tLS1CRUdJTiBDRVJUSUZJQ0FBREFWTVJNd0…….wS1V1UUgvcCtjMWkvYW89Ci0tLS0tRU5EIENFUlRJRklDQVRFLS0tLS0K<\/span>
\n\u00a0 – name: usine-01<\/span>
\n\u00a0 apiServiceURL: https:\/\/172.20.7.16:6443<\/span>
\n\u00a0 certificateAuthorityData: LS0TkJna3Foa2lHOXcwQkFRc0ZBREFWTVJNd0….Es2RWpSNys2NkNlT2dpeHcxVUk9Ci0tLS0tRU5EIENFUlRJRklDQVRFLS0tLS0K<\/span>
\n\u00a0 – name: usine-32<\/span>
\n\u00a0 apiServiceURL: https:\/\/172.20.7.17:6443<\/span>
\n\u00a0 certificateAuthorityData: BTkJna3Foa2lHOXcwQkFRc0ZBREFWTVJNd0…cldORUNGb3FJelZkdXdKRGNFMTA9Ci0tLS0tRU5EIENFUlRJRklDQVRFLS0tLS0K<\/span><\/p>\n

 <\/p>\n

Maintenant, on peut installer Kubeapps dans un namespace avec comme param\u00e8tre ce fichier de valeurs (ici, je l’ai appel\u00e9<\/span> kubeapps-dex.yaml<\/span>)<\/span> :<\/p>\n

kubectl create namespace kubeapps-system
\n<\/span>helm install kubeapps bitnami\/kubeapps –namespace kubeapps-system –values kubeapps-dex.yaml<\/span><\/p>\n

Si vous \u00eates amen\u00e9 \u00e0 modifier le fichier de configuration comme par exemple pour ajouter un autre cluster, vous pouvez utiliser cette commande :<\/p>\n

helm upgrade kubeapps bitnami\/kubeapps –namespace kubeapps-system –values kubeapps-dex.yaml<\/span><\/p>\n

 <\/p>\n

Maintenant, il faut dire \u00e0 Dex qu’il y a de nouveaux clusters cr\u00e9\u00e9s<\/span><\/p>\n

cat ~\/tkg\/tkg-extensions-v1.2.0+vmware.1\/\/extensions\/authentication\/dex\/vsphere\/ldap\/dex-data-values.yaml<\/span><\/p>\n

# Partie \u00e0 modifier extraite du fichier de configuration utilisait par Dex : ~\/tkg\/tkg-extensions-v1.2.0+vmware.1\/\/extensions\/authentication\/dex\/vsphere\/ldap\/dex-data-values.yaml
\n<\/span>\u00a0 #@overlay\/replace<\/span>
\n\u00a0 staticClients:<\/span>
\n\u00a0 – id: usine-01 # nom de mon cluster de workload, attention \u00e0 garder le m\u00eame nom que dans le fichier de valeurs utilis\u00e9 par Kubeapps<\/span>
\n\u00a0 \u00a0\u00a0redirectURIs:<\/span>
\n\u00a0 \u00a0\u00a0– https:\/\/172.20.7.16:30166\/callback # Adress IP de l’API du cluster de workload et le port normalement utilis\u00e9 par Gangway<\/span>
\n\u00a0 \u00a0\u00a0name: usine-01<\/span>
\n\u00a0 \u00a0\u00a0secret: a1094138692761b8bd653e7af36c3d57 # Secret normalement utilisait par Gangway \u00e0 mettre m\u00eame si Gangway n’est pas install\u00e9, dans ce cas mettez ce que vous voulez<\/span>
\n\u00a0 \u00a0\u00a0trustedPeers:<\/span>
\n\u00a0 \u00a0\u00a0– auth-tools # nom du cluster Kubeapps<\/span>
\n\u00a0 – id: usine-32<\/span>
\n\u00a0\u00a0 \u00a0redirectURIs:<\/span>
\n\u00a0\u00a0\u00a0 – https:\/\/172.20.7.17:30166\/callback<\/span>
\n\u00a0\u00a0\u00a0 name: usine-32<\/span>
\n\u00a0\u00a0\u00a0 secret: a1094138692721b8bd653e7af36c3d57<\/span>
\n\u00a0\u00a0\u00a0 trustedPeers:<\/span>
\n\u00a0\u00a0\u00a0 – auth-tools<\/span>
\n\u00a0 – id: workload-01<\/span>
\n\u00a0 \u00a0\u00a0redirectURIs:<\/span>
\n\u00a0\u00a0\u00a0 – https:\/\/172.20.7.14:30166\/callback<\/span>
\n\u00a0\u00a0\u00a0 name: workload-01<\/span>
\n\u00a0\u00a0\u00a0 secret: e36a415d615ccbf37b4c4b8316be9740<\/span>
\n\u00a0\u00a0\u00a0 trustedPeers:<\/span>
\n\u00a0\u00a0\u00a0 – auth-tools<\/span>
\n\u00a0 – id: workload-02<\/span>
\n\u00a0\u00a0\u00a0 redirectURIs:<\/span>
\n\u00a0\u00a0\u00a0 – https:\/\/172.20.7.15:30166\/callback<\/span>
\n\u00a0\u00a0\u00a0 name: workload-02<\/span>
\n\u00a0\u00a0\u00a0 secret: 85507bc84d6d26899aa9bf1c87600f81<\/span>
\n\u00a0\u00a0 \u00a0trustedPeers:<\/span>
\n\u00a0\u00a0\u00a0 – auth-tools<\/span>
\n\u00a0 – id: auth-tools<\/span>
\n\u00a0\u00a0\u00a0 redirectURIs:<\/span>
\n\u00a0\u00a0\u00a0 – http:\/\/172.20.7.130\/oauth2\/callback # Adresse IP de ma VIP qui pointe vers Kubeapps<\/span>
\n\u00a0\u00a0\u00a0 name: auth-tools # nom du cluster o\u00f9 j’ai install\u00e9 Kubeapps, j’ai choisi de l’installer sur un cluster \u00e0 part<\/span>
\n\u00a0\u00a0\u00a0 secret: wPmp8+IrTxbGZbVF\/yqPPeP4XZzw5mLt #cl\u00e9 renseign\u00e9e dans le fichier Kubeapps \u00ab clientSecret \u00bb<\/span><\/p>\n

Une fois modifier, il faut dire \u00e0 Dex de prendre en compte la nouvelle configuration, \u00e0 faire \u00e0 partir du cluster de management o\u00f9 Dex est install\u00e9 :<\/span><\/p>\n

kubectl create secret generic dex-data-values –from-file ~\/tkg\/tkg-extensions-v1.2.0+vmware.1\/extensions\/authentication\/dex\/vsphere\/ldap\/dex-data-values.yaml -n tanzu-system-auth -o yaml –dry-run | kubectl replace -f-<\/span><\/p>\n

Voil\u00e0, maintenant Kubeapps est pr\u00eat \u00e0 \u00eatre utilis\u00e9 sur les 4 clusters configur\u00e9s :<\/span><\/p>\n

A partir d’un navigateur entrez l’adresse o\u00f9 le nom de la VIP kubeapps obtenue et cliquez sur “LOGIN VIA OIDC PROVIDER:”\"\"<\/span><\/p>\n

 <\/p>\n

Vous \u00eates ensuite redirig\u00e9 vers la page d’authentification DEX, vous remarquerez que l’IP et le port sont ceux renseign\u00e9s dans le fichier de configuration DEX, entrez votre compte et votre mot de passe :<\/span><\/p>\n

\"\"<\/p>\n

Vous arrivez ensuite sur la page du cluster et namespace par d\u00e9faut, l’\u00e9cran est vide car il n’y a pas eu de d\u00e9ployement via HELM ou via un Operator sur le namespace et cluster d\u00e9fault :<\/span><\/p>\n

\"\"<\/p>\n

Vous pouvez changer de cluster et de namespace en cliquant sur “Current Context” en haut \u00e0 droite :<\/span><\/p>\n

\"\"<\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n","protected":false},"excerpt":{"rendered":"

  Dans cet article nous allons voir comment d\u00e9ployer Kubeapps en environnement multi-cluster. Habituellement il se d\u00e9ployait cluster par cluster, ici, l’objectif est d’avoir une seule instance Kubeapps capable de d\u00e9ployer et de g\u00e9rer les applications sur plusieurs clusters. Pour cela, il faut que chaque cluster soit capable de s’authentifier \u00e0 une source IdP (Identity<\/p><\/div>\n

Lire la suite<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[147],"tags":[194,157,195,193,149,150,6],"post_mailing_queue_ids":[],"_links":{"self":[{"href":"https:\/\/loeilduse.fr\/index.php?rest_route=\/wp\/v2\/posts\/923"}],"collection":[{"href":"https:\/\/loeilduse.fr\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/loeilduse.fr\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/loeilduse.fr\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/loeilduse.fr\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=923"}],"version-history":[{"count":24,"href":"https:\/\/loeilduse.fr\/index.php?rest_route=\/wp\/v2\/posts\/923\/revisions"}],"predecessor-version":[{"id":955,"href":"https:\/\/loeilduse.fr\/index.php?rest_route=\/wp\/v2\/posts\/923\/revisions\/955"}],"wp:attachment":[{"href":"https:\/\/loeilduse.fr\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=923"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/loeilduse.fr\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=923"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/loeilduse.fr\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=923"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}