Configuración | fratava.dev

Configuración inicial

Thu, 31 Dec 2020 03:00:00 +0100

Configuración inicial

Para la priumer parte, necesitamos instalar el sistema operatico en los nodos y en el nodo maestro. Pra ello ingresaremos a https://www.raspberrypi.org/software/ y descargamos Raspberry Pi Imager para nuestro OS y así, poder copiar el sistema operativo en la tarjeta micro SD. Hay que seguir los pasos que se especifican en el siguiente video.

Después de instalar Raspian en la memoria SD, la expulsamos del equipo y la volvemos a conectar. Debemos seguir las siguientes instrucciones.

Linux (Ubuntu)

Abrimos una terminal ++ctrl+alt+t++ y tecleamos lo siguiente:

cd /mnt/boot
touch ssh
exit

Después de eso, desmontamos la memoria SD de la computadora.

MacOS

Abrimos una terminal y tecleamos lo siguiente:

cd /Volumes/boot/
touch ssh
exit

Después de eso, desmontamos la memoria SD de la computadora.

Configurando el nodo maestro

Una vez que completamos el paso anterior, colacamos la memoria SD en el el slot de la placa, conectamos el eliminador de corriente y el cable ethernet tanto en la placa como en el switch. Esperamos un par de minutos mientras se inicia el sistema operativo y abrimos la terminal de nuestro sistema operativo y tecleamos:

ssh pi@192.168.0.xx

la contraseña es raspberry. Una vez que nos permite logearnos, veremos algo como esto

 The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.
Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Tue Dec 22 23:34:38 2020 from 192.168.0.xx
Wi-Fi is currently blocked by rfkill.
Use raspi-config to set the country before use.
pi@raspberrypi:~ $

Para obtener la ip de tu Raspberry, la conectamos al switch y después al router. Entramos a la página de gestión de nuestro router, generalmente la dirección del router es 192.168.0.1 la contraseña en la mayoría de los casos, se encuentra en el router. Una vez que nos logeamos, buscamos los dispotivos activos en nuestra red. Nuestro nodo maestro aparecerá como raspberry.

y vamos a seguir el siguiente tutotrial.

Cambiando el hostname y contraseña

El nombre del hostname será “master”, pero podemos usar este tutorial para todos los nodos.

Instalando los paquetes necesarios

Cuando reiniciamos la Raspberry Pi 4, vamos a actualizar los paquetes e instalar otro. Primero vamos actualizarlos

sudo apt update

Después vamos a instalar los paquetes necesarios para la mayoría de pruebas que vamos a realizar.

sudo apt-get install build-essential
sudo apt-get install manpages-dev
sudo apt-get install gfortran
sudo apt-get install nfs-common
sudo apt-get install nfs-kernel-server
sudo apt-get install emacs
sudo apt-get install openmpi-bin
sudo apt-get install libopenmpi-dev
sudo apt-get install openmpi-doc
sudo apt-get install keychain
sudo apt-get install nmap
sudo apt-get install htop
sudo apt-get install git

CPU (overclock)

La CPU del Raspeberry Pi 4 está basada en un arquitectura ARM. Cuenta con un procesador quad-core Cortex-A72 de 64 bits. Por defecto, tiene una frecuencia de reloj de 1.5GHz para proteger al procesador de las altas temperaturas. En nuestro caso, buscamos obtener la mejor relación entre la frecuencia del reloj, voltaje y temperatura. Es necesario aclarar que no en todos los procesadores se puede elevar la frecuencia de reloj más allá de los 2.0 GHz. Esto se debe principalmente a que cuando se fabrican los procesadores, el silicio puede tener algunas imperfecciones, las cuales afectan directamente la velocidad del reloj. Tras un serie de pruebas, hemos observado que todos los Raspberry Pi 4 pueden alcanzar 2.0 GHz sin aumento drástico de temperatura (utilizando disipadores), y sólo algunos pudieron alcanzar los 2.14 GHz sin fallas por parte del sistema operativo. Por lo tanto, podemos hacer un overclock al procesador y llevarlo de manera segura hasta los 2.0 GHz.

Para poder realizar overclock, encendemos nuestro dispositivo y editamos el archivo config.txt. Es necesario contar con privilegios de super usuario para esto. Entonces tecleamos

sudo nano /boot/config.txt

Ahora, dentro del editor de texto tendremos que buscar la sección marcada como [pi4], bajo la cual están los ajustes específicos para este modelo de Raspberry Pi. Esto es muy bueno porque significa que si utilizáis la misma tarjeta SD con el sistema operativo en otra Raspberry Pi de generación anterior, no se aplicarán los parámetros de overclock.

Hay que ir al final del bloque de ajustes bajo [pi4] y añadir las siguientes líneas:

over_voltage=6
arm_freq=2000

El primer ajuste, “over_voltage=6”, incrementa el voltaje de funcionamiento en aproximadamente 0.15V. Esto es necesario ya que la mayoría de Raspberry Pi 4 no arrancarán a 2.0 GHz sin este extra. Más tarde, si se quiere, se puede cambiar el valor 4 por un 2, lo que supondría un incremento de voltaje de 0.05V para reducir el calor generado, pero no hay garantías de que funcione correctamente.

Es altamente recomendable no poner más de 6 al valor de over_voltage, ya que podría ser peligroso para la integridad del procesador.

Si la pantalla se queda en blanco o el dispositivo comienza un ciclo infinito de reinicios, tendríamos que meter la tarjeta SD en otro equipo y volver a editar el fichero fichero config.txt y esta vez edita el parámetro arm_freq, reduciendo su valor de 50 en 50 MHz. Si tienes que hacer esto, significa que tu procesador no es candidato a hacer overclock. En este caso sería mejor establecer una frecuencia de reloj de referencia para todos los nodos, por ejemplo 1800 (1.8 GHz).

El segundo ajuste, “arm_freq=2000”, establece la frecuencia de funcionamiento de los cuatro cores ARM a 2.0 GHz. Te recomendamos no elevar más este valor, ya que este es el máximo establecido por el firmware (que, por cierto, hasta hace poco era 1.75 GHz).

Una vez que añadimos estas líneas pulsamos ++ctrl+o++ y ponemos ++enter++, después tecleamos ++ctrl+x++.

El siguiente paso, muy importante antes de reiniciar, es actualizar a la última versión del firmware, la que nos asegura que será compatible con la velocidad de 2.0 GHz. Para ello, hay que introducir el siguiente comando:

sudo rpi-update

Esto cargará el actualizador de Raspberry Pi, que se encargará de manera automática de actualizar el firmware a la última versión. Cuando termine, reiniciamos el sistema con el comando

sudo reboot

Cuando vuelva a iniciar, podemos hacer un seguimiento de la frecuancia del reloj con el comando

watch -n 1 vcgencmd measure_clock arm

Y listo, hemos configurado nuestro dispositivo para obtener velocidades más altas de procesamiento.

Configurando los demás nodos

Configuración inicial

Para cada uno de los nodos, cambiamos el hostname por nodox y cambiamos la frecuencia del procesador como lo vimos en la sección overclock.

Es recomendable ir conectando y configurando un raspberry a la vez para no tener conflicto con las direcciones ip.

La contraseña debe ser la misma para cada nodo que conectemos. Esto es para facilitar su manejo.

Instalando los paquetes

Para instalar los paquetes necesarios, podemos iniciar sesión en cada nodo de la siguiente manera:

ssh pi@192.168.0.xx

e instalarlos como lo vimos anteriormente.

Otra manera de instalarlos es utilizar el paquete fabric en python. Para ello, lo instalamos en el nodo maestro de la siguiente manera

sudo apt install fabric

Una vez instalado, creamos un archivo llamado fabfile.py y escribimos:

from fabric.api import *
env.hosts = [
'pi@192.168.0.27',
'pi@192.168.0.28',
'pi@192.168.0.29',
]
env.password = 'tupassword'
@parallel
def cmd(command):
sudo(command)

En el comando env.hosts ponemos la dirección de cada uno de los nodos. Para este ejemplo, estamos utilizando un maestro y tres nodos de computación. Los nodos los hemos configurado para que sigan una secuencia de direcciones ip, pero puede ser cualquier orden de ip’s.

La forma en que instalamos los paquetes es la siguiente:

fab cmd:"apt-get install -y update"
fab cmd:"apt-get install -y build-essential"
fab cmd:"apt-get install -y manpages-dev"
fab cmd:"apt-get install -y gfortran"
fab cmd:"apt-get install -y nfs-common"
fab cmd:"apt-get install -y nfs-kernel-server"
fab cmd:"apt-get install -y emacs"
fab cmd:"apt-get install -y openmpi-bin"
fab cmd:"apt-get install -y libopenmpi-dev"
fab cmd:"apt-get install -y openmpi-doc"
fab cmd:"apt-get install -y keychain"
fab cmd:"apt-get install -y nmap"
fab cmd:"apt-get install -y htop"
fab cmd:"apt-get install -y git"

Hemos terminado la segunda parte de nuestro proceso. En esta parte, hemos configurado el master y los nodos con la paquetería necesaria. Ahora, nuestro objetivo será que se comuniquen entre ellos y que trabajen coordinadamente.

Configuranción de los nodos

Thu, 31 Dec 2020 03:00:00 +0100

Creando un usuario común

Para lograr que todos los nodos del clúster se puedan comunicar entre ellos, es necesario que cuenten con un usuario único.

Agregar un nuevo usuario

Para agregar un nuevo usuario, debemos teclear los siguientes comandos en el nodo maestro.

cd /home
sudo useradd -m -u 1960 alpha
ls -la /home

El parámetro -m especifica el directorio /home, -u es el argumento para un nueevo usuario, 1960 es el ID del usuario y alpha es el nombre del nuevo usuario. Podemos modificar el nombre por otro. Al teclear ls -la /home aparecerá el nuevo usuario creado junto con pi y root. El próximo paso, es crear un contraseña para este usuario. Teclamos entonces

sudo passwd alpha

e introduciomos la contraseña. Para verfificar que sea ha creado correctamente el usuario y que todo está en orden, vamos a iniciar sesión con el nuevo usuario coon el siguiente comando

su - alpha

introducimos la contraseña y estamos dentro del usuario. Si tecleamos

exit

regresamos al usuario pi. Ahora nos conectaremos mediante ssh al nodox y repetimos los pasos anteriores. Podemos acceder mediante

ssh nodox

y ponemos la contraseña del nodo.

Es bueno utilizar la misma contraseña para todos los nodos.

Generar el ID key

Ahora que ya configuramos el usuario en común, el nodox va a correr todos los programas MPI. Vamos a generar un llave especial que permitirá conectarnos mediante ssh sin contraseña de un nodo a otro, o del nodo maestro a un nodo las veces que lo necesitemos. Para hacer esto nos situamos en el nodo maestro y después, nos conectamos al usuario alpha mediante

su - alpha

y una vez adentro, teclamos los siguiente

ssh-keygen -t rsa

en donde -t es el argumento y rsa es el tipo de encriptación. Para generar la clave necesitamos ingresar

El nombre del archivo donde vamos a guardar la clave
Ingresar la passphrase (escogeremos la frase de nuestra elección)
Reingresamos la passphrase

y tendremos que ver una imagen como la siguiente

+--[ RSA 2048]----+
| o=. |
| o o++E |
| + . Ooo. |
| + O B.. |
| = *S. |
| o |
| |
| |
| |
+-----------------+

Copiar la clave a los demás nodos

Ya que generamos la clave, la vamos a transferir al nodox con el siguiente comando

ssh-copy-id alpha@nodox; alpha

y teclamos el passphrase. Para verificar que se tranfirió bien la clave, nos conectaremos al nodo de la siguiente manera

ssh nodox

e introducimos el passphrase nuevamente e ingresaremos al nodox. Ahora regresamos al nodo maestro mediante exit y listamos los archivos en el usuario alpha utilizando ls -la. Indentificamos la carpeta .ssh y vemos lo que está adentro con ls -la .ssh. Ahí vamos a ver estos tres archivos

id_rsa
id_rsa.pub
known_hosts

Si nos intentamos conectar nuevamente al nodox, nos va a solicitar la passphrase. Esto no es lo que estamos buscando, por lo que aún debemos realizar algunos cambios en nuestro nodo maestro. Regresamos al nodo maestro mediante exit o cerrando la ventana de la terminal y conectandonos al modo maestro. Nos percatamos que nos encontramos en el usurio alpha, si no es así ingresamos mediante su - alpha. Vamos a editar el archivo llamado .bashrc dentro de nuestro directorio de inicio. Abrimos el archivo con nuestro editor favorito, puede ser emacs, vim, nano o pico. Nano viene instalado por defecto, entonces lo utilizaremos en esta guía. Entonces teclamos

nano .bash

nos vamos hasta el final del archivo y agregamos el siguiente texto

#Logic for keychain
/usr/bin/keychain $HOME/.ssh/id_rsa
source $HOME/.keychain/$HOSTNAME-sh

y tecleamos ctrl + o para guardar y ctrl + x para salir. Entonces recompilamos el archivo .bashrc mediante

source .bashrc

volvemos a ingresar el passphrase. Ahora nos volvemos a conectar al nodox con

ssh nodox

y ¡listo!, nos hemos conectado al nodox. Vamos a repetir este proceso para cada nodo del clúster.

Creando una carpeta compartida

Para que los datos puedan ser accesibles para todos los nodos, es necesario crear un repositorio. Vamos a montarlo en el nodo maestro de la siguiente manera. Primero, vamos a crear la carpeta que va a ser compartida.

sudo mkdir /beta

en este caso la montanmos en el directorio raíz / y la llamaremos beta. Le cederemos la propiedad al usuario alpha, ya que es el usuario común. Entonces tecleamos

sudo chown alpha:alpha /beta/

el directorio /beta ahora puede ser accedido por el usuario y grupo alpha. El siguiente paso es modificar el servicio rpcbind para poder exportar el directorio a los demás nodos. tecleamos

sudo rpcbind start
sudo update-rc.d rpcbind enable

la segunda línea es para especificar que el servicio se ejecute cada vez que se inicia el sistema. Tenemos ahora que especificar que directorio en el nodo maestro va a estar disponible para ser montado por los demás nodos. Para ellos vamos a modificar el archivo exports abriendolo con sudo emacs /etc/exports ya añadiendo al final del archivo la siguiente línea

#beta
/beta 192.168.0.0/24(rw,sync)

Salvamos con ctrl+x+ctrl+s y salimos con ctrl+x+ctrl+c.

En este caso /betaes la carpeta en el nodo maestro que vamos a exportar. 192.168.0.0/24 significa que las direcciones IP pueden en un rango entre 192.168.0.0 y 192.168.0.255 pueden montar el directorio /beta. rw significa que se puede leer y escribir en ella. Para que tenga efecto el cambio que realizamos, necesitamos reiniciar el servicio nfs-kernel-servercon sudo service nfs-kernel-server restart. Se puede automatizar este proceso cada vez que inicie el sistema. Para ello necesitamos mofdificar el archivo sudo emacs /etc/rc.local y poner en la penúltima línea, antes de exit 0 lo sigueinte

sudo service nfs-kernel-server restart

guardamos y cerramos el archivo. Vamos a hacer un test. Nos conectamos al nodox con ssh nodox y una vez dentro, teclamos los siguiente

sudo mkdir /beta
sudo chown alpha:alpha /beta
sudo mount master:/beta /beta

hemos creado un directorio llamado \beta que ahora le pertenece al usuario y al grupo alpha. Después, le indicamos que monte el directorio /beta del master en /beta. Para probar que todo ha sido ejecutado de manera correcta, vamos a cambiar al usuario alpha con su - alpha. Para ver los directorio que se encuentran en la carpeta raíz hacemos la -la / y debe aparecer /beta, nos cambiamos a ese directorio con cd /beta y creamos un archivo echo "Hola mundo" -> hola.txt. Regresamos al usuario picon exit y ahora nos conectamos de vuelta al nodo maestro ssh master. Una vez en el nodo maestro podemos ver si el archivo se ha guardado en el directorio compartido con ls -la /beta. Ahí debe aparecer el archivo hola.txty si hacemos cat /beta/hola.txt nos debe aparecer la frase Hola mundo.

Hemos configuirado nuestro clúster de manera correcta. En la siguiente sección, vamos a hacer algunas pruebas.