2023-12-20 22:00-13:45: Manteniment planificat bbb 2.4 a 2.7

eXO estat de servei
1

Avís de manteniment planificat

@evilham diu:

S’ha estat treballant per preparar les actualitzacions de BigBlueButton 2.4 a 2.7, això afecta per exemple el que fem servir a bbb.eXO.cat.

Ha sigut una actualització complicada perquè, entre altres, hi ha un canvi de versió de sistema operatiu, i el canvi de la versió de Greenlight (la interfície per administrar les sales) té forces canvis interns.

A nivell pràctic això vol dir que:

  • El servei no estarà disponible començant el 2023-12-20 a les 22:00, i possiblement fins 2023-12-21 pel matí tampoc [1]
  • Com que la migració d’usuaris és farragosa [2], no la farem i caldrà crear els comptes de nou
  • Habilitem el formulari de sol·licitud de compte pel BBB: eXO - LiberaForms!
  • Aprofitem per demanar una mica més d’informació sobre l’ús que se’n fa del BBB

Aquestes actualitzacions fan part d’un esforç conjunt amb Pangea, on posarem un scalelite que ens doni una certa redundància, afegint-hi també una instància pròpia de Pangea que ens ajudi a mantenir el servei amb menys afectació.

Resum del manteniment

Durant l’intervenció, hem canviat la configuració de nginx per habilitar ssh passthrough, i hi havia un error que ha fet fallar durant uns moments del matí del 2023-12-21 per ipv6 webs gestionades pel reverse proxy nginx service tals com: exo.cat, nuvol.exo.cat, media.exo.cat, etc.

Hem comprovat que ja funciona la nova versió del bbb 2.7, en següents passos post-intervenció seria en donar accés a aquells usuaris que ho han sol·licitat.

  1. Intentarem finalitzar el 20 mateix abans de mitja nit, si no fos possible continuaríem l’endemà. ↩︎

  2. Els dos serveis han d’estar actius simultàniament, no hi ha una migració a nivell de base de dades senzilla, etc. Ens suposa més feina de la que val la pena; així també aprofitem per deixar de tenir dades personals (correus) de persones que no el fan servir. ↩︎

1 'M'agrada'
2

Per transparència i si ens pot fer servir de plantilla/inspiració, el pla i protocol d’actuació:

Migració a BBB 2.7

Participants: evilham, pedro (consens, suport i configuració proxy)

  • Comunicació d’actuació (2023-12-18)
    • a eXO-membres
    • a Pangea
    • a status.eXO.cat
    • a agora.eXO.cat
  • Previ a actuació (2023-12-18)
    • Comporvar TTLs de DNS (actualment: 48h)
    • Abaixar-los si s’escau (abaixat a: 5mins)
    • Crear VM (IPv6-only) per Greenlight (bbb.eXO.cat)
    • Configurar proxy v4 → v6 (fet el 2023-12-21)
      • INCIDÈNCIA: en configurar el proxy, no hem configurat el “listen” per IPv6, així que el proxy no ha servit webs durant ~ 10 minuts
      • Atrapat ràpid gràcies a status.eXO.cat
  • Actuació 2023-12-20 (–> 2023-12-21 08:00)
    • Moure disc antic per fer rollback si tot surt malament
      • (!) Hi ha dos discos, sda 20G (OS), sdb (16G) dades
    • Copiar disc Ubuntu 20, fer-hi resize
      • Cal afegir mountpoint per sdb a /var/bigbluebutton
    • Aplicar canvis de DNS (afegir 0.b3.eXO.cat)
    • Reinstal·lar BBB 2.7 sense Greenlight (0.b3.eXO.cat)
    • Aplicar canvis de DNS (reemplaçar bbb.eXO.cat AAAA VM ipv6-only + A proxy v4)
    • Instal·lar Greenlight sota bbb.eXO.cat, configurat contra 0.b3.eXO.cat
    • Executar comprovacions de sessió BBB amb diversos dispositius
  • Comunicació post-migració
    • Enviar API Keys i URL a Pangea

Finalitzat: 2023-12-21 13.55

Tasques posteriors

  • Configurar ~ 45 dies de validesa per la invitació temporalment
    - Així la gent te temps de reacció tenint en compte festes i etc.
  • Comunicació post-migració
    • Enviar invitacions de Greenlight
    • Enviar comunicació a sòcies
  • Revisar monitorizació i alertes: ara hi han més hosts/ips/endpoints que cal afegir en monitorització
  • Revisar diff de cdist-exo
  • Publicar canvis en els tipus de cdist / tipus nous
1 'M'agrada'