marzo 2023

Codificando información con MD5 y SHA256 en PostgreSQL

MD5

Es un algoritmo de reducción criptográfico de 128 bits ampliamente usado. Uno de sus usos es el de comprobar que algún archivo no haya sido modificado.

La función PostgreSQL MD5()calcula el hash MD5  de una cadena y devuelve el resultado en hexadecimal. Utilizar el hash MD5 para almacenar contraseñas no es lo más seguro, pero es importante conocerlo pues es el se ha utilizado en forma tradicional por un par de décadas o más.

A continuación veamos la sintaxis de la MD5()función:

MD5(string)

Para crear una tabla en PostgreSQL que almacene información de usuario con el password codificado con MD5, puedes seguir los siguientes pasos:

  1. Abre una conexión con tu base de datos PostgreSQL utilizando una herramienta como pgAdmin o la línea de comandos de PostgreSQL.
  2. Crea una nueva tabla utilizando el comando CREATE TABLE, especificando los nombres de las columnas y sus tipos de datos.

Por ejemplo:

CREATE TABLE usuarios (
   id SERIAL PRIMARY KEY,
   nombre VARCHAR(50),
   email VARCHAR(50),
   password VARCHAR(32)
);

En este ejemplo, estamos creando una tabla llamada «usuarios» con cuatro columnas: id (un número de serie generado automáticamente), nombre, email y password.

  1. Para almacenar el password codificado con MD5, debes utilizar una función de PostgreSQL llamada «md5». Esta función toma una cadena de texto como argumento y devuelve su hash MD5 en formato de texto. Puedes utilizar esta función en una instrucción INSERT para almacenar el password codificado en la tabla.

El ejemplo para esto:

INSERT INTO usuarios (nombre, email, password) VALUES ('Juan', 'juan@example.com', md5('contraseña123'));

En este ejemplo, estamos insertando un nuevo usuario en la tabla «usuarios» con el nombre «Juan», el email «juan@example.com» y el password «contraseña123» codificado con MD5.

Cuando quieras verificar si un usuario ha ingresado la contraseña correcta, debes comparar el hash MD5 del password ingresado con el hash almacenado en la base de datos. Puedes hacer esto utilizando la función md5 nuevamente en la consulta SELECT.

SELECT * FROM usuarios WHERE email='juan@example.com' AND password=md5('contraseña123');

En este ejemplo, estamos seleccionando todos los usuarios que tienen el email «juan@example.com» y el password «contraseña123» codificado con MD5.

Recuerda que utilizar el hash MD5 para almacenar contraseñas no es lo más seguro. Siempre es mejor utilizar algoritmos más seguros y modernos como bcrypt o scrypt.

Cómo hacer el mismo procedimiento con sha256?

Para almacenar contraseñas codificadas con SHA256 en una tabla de PostgreSQL, puedes seguir los mismos pasos para crear la tabla que contendrá la información:

  1. Abre una conexión con tu base de datos PostgreSQL utilizando una herramienta como pgAdmin o la línea de comandos de PostgreSQL.
  2. Crea una nueva tabla utilizando el comando CREATE TABLE, especificando los nombres de las columnas y sus tipos de datos.
CREATE TABLE usuarios (
   id SERIAL PRIMARY KEY,
   nombre VARCHAR(50),
   email VARCHAR(50),
   password VARCHAR(64)
);

Para almacenar el password codificado con SHA256, debes utilizar la función de PostgreSQL llamada «encode». Esta función toma dos argumentos: el primero es el resultado de la función hash, en este caso, la función «sha256», y el segundo es el formato de salida que queremos, en este caso, ‘hex’.

INSERT INTO usuarios (nombre, email, password) VALUES ('Juan', 'juan@example.com', encode(digest('contraseña123', 'sha256'), 'hex'));

En este ejemplo, estamos insertando un nuevo usuario en la tabla «usuarios» con el nombre «Juan», el email «juan@example.com» y el password «contraseña123» codificado con SHA256.

Cuando quieras verificar si un usuario ha ingresado la contraseña correcta, debes comparar el hash SHA256 del password ingresado con el hash almacenado en la base de datos. Puedes hacer esto utilizando la función digest y encode nuevamente en la consulta SELECT.

SELECT * FROM usuarios WHERE email='juan@example.com' AND password=encode(digest('contraseña123', 'sha256'), 'hex');

En este ejemplo, estamos seleccionando todos los usuarios que tienen el email «juan@example.com» y el password «contraseña123» codificado con SHA256.

Recuerda que SHA256 es un algoritmo de hash más seguro que MD5, pero todavía se recomienda utilizar técnicas adicionales como agregar una «sal» aleatoria a la contraseña y utilizar un algoritmo de hash más seguro y moderno como bcrypt o scrypt.

Es posible que PostgreSQL te devuelva un mensaje como el siguiente: «SQL Error [42883]: ERROR: function digest(unknown, unknown) does not exist». Esto no quiere decir que la consulta sea incorrecta, sino que debes habilitar el módulo «pgcrypto«.

Modulos adicionales: pgcrypto.

El módulo pgcrypto proporciona funciones criptográficas para PostgreSQL .

Este módulo se considera » de confianza » , es decir, puede ser instalado por personas que no sean superusuarios y que tengan privilegios CREATE sobre la base de datos actual.

Para instalar el módulo «pgcrypto», puedes utilizar el siguiente comando SQL en la línea de comandos de PostgreSQL:

CREATE EXTENSION pgcrypto;

Este comando creará el módulo «pgcrypto» en la base de datos actual.

Una vez instalado el módulo «pgcrypto», deberías ser capaz de utilizar la función «digest» sin errores.

Sed, el editor de secuencias, y un poco de expresiones regulares. Sys Admin y DevOps.

El comando SED en UNIX significa editor de flujo y puede realizar muchas funciones en el archivo, como buscar, encontrar y reemplazar, insertar o eliminar. Aunque el uso más común del comando SED en UNIX es para sustitución o para buscar y reemplazar. Al usar SED, puede editar archivos incluso sin abrirlos, que es una forma mucho más rápida de encontrar y reemplazar algo en el archivo, que primero abrir ese archivo en VI Editor y luego cambiarlo.

  • SED es un potente editor de secuencias de texto. Puede hacer inserción, eliminación, búsqueda y reemplazo (sustitución).
  • El comando SED en Unix admite la expresión regular, lo que le permite realizar coincidencias de patrones complejos.

Sintaxis

OPCIONES sed... [GUIÓN] [ARCHIVO DE ENTRADA...] 

Ejemplo:
considere el siguiente archivo de texto como una entrada.

$cat > file.txt
Unix es un gran sistema operativo. Unix es de código abierto. Unix es un sistema operativo libre.
aprender sistema operativo.
unix linux cuál eliges.
unix es fácil de aprender.unix es un sistema operativo multiusuario.Aprender unix .unix es un poderoso.

Reemplazar o sustituir una cadena: el comando Sed se usa principalmente para reemplazar el texto en un archivo. El siguiente comando sed simple reemplaza la palabra «unix» con «linux» en el archivo.

$sed 's/unix/linux/' file.txt
linux es un gran sistema operativo. Unix es de código abierto. Unix es un sistema operativo libre.
aprender sistema operativo.
linux linux cuál eliges.
linux es fácil de aprender.unix es un sistema operativo multiusuario.Aprender unix .unix es poderoso.
Aquí la “s” especifica la operación de sustitución. Los “/” son delimitadores. El "unix" es el patrón de búsqueda y el "linux" es la cadena de reemplazo.

De forma predeterminada, el comando sed reemplaza la primera ocurrencia del patrón en cada línea y no reemplazará la segunda, tercera... ocurrencia en la línea.

Reemplazo de la enésima ocurrencia de un patrón en una línea: Use las banderas /1, /2, etc. para reemplazar la primera, segunda ocurrencia de un patrón en una línea. El siguiente comando reemplaza la segunda aparición de la palabra «unix» con «linux» en una línea.

$sed 's/unix/linux/2' file.txt
Unix es un gran sistema operativo. Linux es de código abierto. Unix es un sistema operativo libre.
aprender sistema operativo.
unix linux cuál eliges.
Unix es fácil de aprender. Linux es un sistema operativo multiusuario. Aprenda Unix. Unix es un poderoso.

Reemplazo de todas las ocurrencias del patrón en una línea: el indicador de sustitución /g (reemplazo global) especifica el comando sed para reemplazar todas las ocurrencias de la cadena en la línea.

$sed 's/unix/linux/g' file.txt
linux es un gran sistema operativo. Linux es de código abierto. linux es un sistema operativo libre.
aprender sistema operativo.
linux linux cuál eliges.
linux es fácil de aprender. linux es un sistema operativo multiusuario. Aprenda linux. linux es un poderoso.

Reemplazar desde la enésima aparición a todas las apariciones en una línea: use la combinación de /1, /2, etc. y /g para reemplazar todos los patrones desde la enésima aparición de un patrón en una línea. El siguiente comando sed reemplaza la tercera, cuarta, quinta… palabra «unix» con la palabra «linux» en una línea.

$sed 's/unix/linux/3g' file.txt
Unix es un gran sistema operativo. Unix es de código abierto. linux es un sistema operativo libre.
aprender sistema operativo.
unix linux cuál eliges.
unix es fácil de aprender.unix es un sistema operativo multiusuario.Aprender linux .linux es un poderoso.

Como vemos, el comando Sed es muy útil para realizar operaciones de búsqueda y reemplazo de patrones de texto.

Expresiones Regulares (RE)

Veamos ahora un ejemplo de cómo utilizar Espresiones Regulares con el comando Sed.

Colocar entre paréntesis el primer carácter de cada palabra: este ejemplo de sed imprime el primer carácter de cada palabra entre paréntesis.

$ echo "Bienvenido al mundo de Linux" | sed 's/\b\([a-zA-Z]\)/(\1)/g'

La expresión regular ‘s/\b([a-zA-Z])/(\1)/g’ se puede interpretar de la siguiente manera:

  • La letra ‘s’ al principio indica que se trata de una operación de reemplazo (substitución).
  • El primer conjunto de caracteres dentro de las barras inclinadas (‘/’) representa el patrón de búsqueda a ser reemplazado. En este caso, el patrón de búsqueda es ‘\b\([a-zA-Z]\)’, que busca un carácter de palabra que sea una letra mayúscula o mayúscula al inicio de una palabra.
  • El segundo conjunto de caracteres dentro de las barras inclinadas (‘/’) representa el texto de reemplazo. En este caso, el texto de reemplazo es ‘(\1)’, que reemplaza el patrón de búsqueda con la misma letra mayúscula que se encontró, pero esta vez entre paréntesis.
  • La letra ‘g’ al final indica que se debe realizar la operación de reemplazo en todas las instancias encontradas en el texto, no sólo en la primera.

Entonces, esta expresión regular busca todas las letras mayúsculas que comienzan una palabra y las reemplaza por la misma letra entre paréntesis.

Con el comando Sed puedes realizar un gran número de modificaciones y sustituciones de texto, incluso también se puede usar para eliminar líneas de un archivo en particular. 

Para que conozcas más sobre la sintaxis de este comando y su uso con expresiones regulares tanto básicas (BRE) como extendidas (ERE) te recomendamos que visites la documentación de GNU al respecto.

Base de datos de Pistas Musicales mas artistas en PostgreSQL. Normalización de datos, parte 2.

En este ejercicio leeremos una biblioteca de iTunes en valores separados por comas (CSV) y produciremos tablas correctamente normalizadas como se especifica a continuación.

iTunes

Haremos algunas cosas de manera diferente en esta tarea. No usaremos una tabla «en bruto» separada, solo usaremos declaraciones ALTER TABLE para eliminar columnas después de que no las necesitemos (es decir, las convertimos en claves foráneas).

Utilizaremos este CSV que contiene la información de las pistas musicales. No usaremos una tabla «en bruto» separada, solo usaremos declaraciones ALTER TABLE para eliminar columnas después de que no las necesitemos (es decir, las convertimos en claves foráneas).

Esta vez construiremos una relación de muchos a muchos usando una tabla de junction/through/join entre pistas y artistas.

El script para construir las tablas que vamos a utilizar:

CREATE TABLE album (
    id SERIAL,
    title VARCHAR(128) UNIQUE,
    PRIMARY KEY(id)
);

CREATE TABLE track (
    id SERIAL,
    title TEXT, 
    artist TEXT, 
    album TEXT, 
    album_id INTEGER REFERENCES album(id) ON DELETE CASCADE,
    count INTEGER, 
    rating INTEGER, 
    len INTEGER,
    PRIMARY KEY(id)
);

CREATE TABLE artist (
    id SERIAL,
    name VARCHAR(128) UNIQUE,
    PRIMARY KEY(id)
);

CREATE TABLE tracktoartist (
    id SERIAL,
    track VARCHAR(128),
    track_id INTEGER REFERENCES track(id) ON DELETE CASCADE,
    artist VARCHAR(128),
    artist_id INTEGER REFERENCES artist(id) ON DELETE CASCADE,
   

Luego procedemos a copiar los datos contenidos en el CSV a la tabla track (recuerda ingresar a la línea de comandos con la instrucción psql):

\copy track(title,artist,album,count,rating,len) FROM 'library.csv' WITH DELIMITER ',' CSV;

Seguidamente actualizamos las tablas album y artist con los datos únicos (SELECT DISTINCT) de los campos album y artists de la tabla track. De igual forma los campos track y artist de la tabla tracktoartist desde los campos title y artist de la tabla track.

INSERT INTO album (title) SELECT DISTINCT album FROM track;

INSERT INTO artist (name) SELECT DISTINCT artist FROM track;

UPDATE track SET album_id = (SELECT album.id FROM album WHERE album.title = track.album);

INSERT INTO tracktoartist (track, artist) SELECT DISTINCT title, artist FROM track; 

Una vez hecho esto actualizamos los campos track_id y artist_id de la tabla tracktoartist con los respectivos «id’s» de las tablas track y artist.

UPDATE tracktoartist SET track_id = (SELECT track.id FROM track WHERE track.title = tracktoartist.tracK);

UPDATE tracktoartist SET artist_id = (SELECT artist.id FROM artist WHERE artist.name = tracktoartist.artist);

De esta forma habremos normalizado esta información de Pistas Musicales creando las respectivas relaciones de modo que ahora podemos ejecutar una consulkat como la siguiente:

SELECT track.title, album.title, artist.name
FROM track
JOIN album ON track.album_id = album.id
JOIN tracktoartist ON track.id = tracktoartist.track_id
JOIN artist ON tracktoartist.artist_id = artist.id
LIMIT 3;

Obtendremos un resultado como el siguiente:

Para finalizar podemos eliminar los datos que nos sobran, las columnas album y artist de la tabla track y los campos track y artist de la tabla tracktoartist, a traves de la instrucción ALTER TABLEDROP COLUMN.

 

Unesco Heritage Sites dataset en PostgreSQL y normalización de datos.

En esta entrega leeremos algunos datos del Patrimonio de la Humanidad de la Unesco en formato de valores separados por comas (CSV), los cargaremos en una base de datos PostgreSQL mediante el comando COPY y crearemos tablas correctamente normalizadas.

Precolumbian Chiefdom settlements with stone spheres of the Diquís © Ko Hon Chiu Vincent

Acerca del conjunto de datos

Un sitio del Patrimonio Mundial es un hito o área protegida legalmente por una convención internacional administrada por la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO). Los sitios del Patrimonio Mundial son designados por la UNESCO por tener importancia cultural, histórica, científica o de otro tipo. Se considera que los sitios contienen «patrimonio cultural y natural en todo el mundo considerado de valor excepcional para la humanidad».

Para ser seleccionado, un Sitio del Patrimonio Mundial debe ser un hito único que sea identificable geográfica e históricamente y que tenga un significado cultural o físico especial. Por ejemplo, los sitios del Patrimonio Mundial pueden ser ruinas antiguas o estructuras históricas, edificios, ciudades,[a] desiertos, bosques, islas, lagos, monumentos, montañas o áreas silvestres. Un Sitio del Patrimonio Mundial puede significar un logro notable de la humanidad y servir como evidencia de nuestra historia intelectual en el planeta, o puede ser un lugar de gran belleza natural.

El dataset puede descargarse en desde el siguiente link: Unesco Heritage Sites dataset. Los datos corresponden al año 2018. Sin embargo si desea contar con datos más actualizados puede descargarlos desde los siguientes sitios (dataset 2021 a la fecha de hoy):

Procedimiento

Una vez descargado el dataset procedemos a crear las tablas parea la carga de datos. Puedes nombrar la base de datos como gustes y los nombre de las tablas también puedes modificarlos, aunque esta nomenclatura permite una mejor comprensión de su contenido.

DROP TABLE unesco_raw;
CREATE TABLE unesco_raw (
  name TEXT,
  description TEXT,
  justification TEXT,
  year INTEGER,
  longitude FLOAT,
  latitude FLOAT,
  area_hectares FLOAT,
  category TEXT,
  category_id INTEGER,
  state TEXT,
  state_id INTEGER,
  region TEXT,
  region_id INTEGER,
  iso TEXT,
  iso_id INTEGER
);

Para cargar los datos CSV para esta asignación, use el siguiente comando COPY desde la lonea de comando de PpostgreSQL (psql) . Agregar HEADER hace que el cargador CSV omita la primera línea en el archivo CSV. El comando \copy debe ser una línea larga.

\copy unesco_raw(nombre,descripción,justificación,año,longitud,latitud,área_hectáreas,categoría,estado,región,iso) FROM 'whc-sites-2018-small.csv' WITH DELIMITER ',' CSV HEADER;

Revisamos los datos.

Consulta SQL en DBeaver

Ahora procedemos a normalizar los datos con la ayuda de tablas adicionales que podemos llamar «look up tables».

La normalización es el proceso de seguir una serie de reglas (formas normales), para asegurar que nuestras relaciones estén ordenadas y regularizadas con el fin de mejorar dichas relaciones. Están enfocadas en evitar la redundancia de datos e inconsistencias en el diseño de nuestras tablas.

Lo primero que determinamos es que existe redundancia de datos en campos como «categoría» donde encontramos «Sitio cultural», «Sitio natural » y «Sitio mixto». Estos datos los podemos trasladar a otra tabla y crear una relación con la tabla «unesco_raw» para eliminar esta réplica de datos.

Caso similar podemos apreciar en los campos «state», «region» e «iso».

Entonces procedemos a crear tablas para estos datos que contendrán los datos respectivos de «category», «state», «region» e «iso» de forma única (campos UNIQUE) con su respentido identificados (id SERIAL).

CREATE TABLE category (
  id SERIAL,
  name VARCHAR(128) UNIQUE,
  PRIMARY KEY(id)
);
CREATE TABLE state (
  id SERIAL,
  name VARCHAR(128) UNIQUE,
  PRIMARY KEY(id)
);
CREATE TABLE region (
  id SERIAL,
  name VARCHAR(128) UNIQUE,
  PRIMARY KEY(id)
);
CREATE TABLE iso (
  id SERIAL,
  name VARCHAR(128) UNIQUE,
  PRIMARY KEY(id)
);

Cargamos los datos de «unesco_raw» a las tablas que hemos creado, seleccionando los valores únicos (SELECT DISTINCT).

INSERT INTO category(name) SELECT DISTINCT category FROM 
unesco_raw;
INSERT INTO state(name) SELECT DISTINCT state FROM unesco_raw;
INSERT INTO region(name) SELECT DISTINCT region FROM 
 unesco_raw;
INSERT INTO iso(name) SELECT DISTINCT iso FROM unesco_raw;

Ahora actualizamos la tabla «unesco_raw» con los datos de las tablas que hemos creado, agregarndo la categoría de sitio por su identificador (id) para crear la relación. En este caso utilizaremos una consulta compuesta para obtener primero el identificador de categoría de la tabla «category» para luego actualizar el campo «category_id» en «unesco_raw».

Igual procedemos con los datos de las tablas «state», «regiosn» e «iso».

UPDATE unesco_raw SET category_id = (
  SELECT category.id FROM category WHERE category.name = unesco_raw.category);
UPDATE unesco_raw SET state_id = ( 
  SELECT state.id FROM state WHERE state.name = unesco_raw.state );
UPDATE unesco_raw SET region_id = (
    SELECT region.id FROM region WHERE region.name = unesco_raw.region);
UPDATE unesco_raw SET iso_id = (
    SELECT iso.id FROM iso WHERE iso.name = unesco_raw.iso);

De esta forma ya contamos con los identificadores para las categoría, los estados, las regiones y las nomenclaturas ISO.

Consulta SQL en DBeaver

Para poder descartar la información redundante procedemos a crear una tabla final, definitiva que llamaremos simplemente «unesco» de la siguiente forma:

CREATE TABLE unesco (
    name TEXT,
    description TEXT,
    justification TEXT,
    year INTEGER,
    longitude FLOAT,
    latitude FLOAT,
    area_hectares FLOAT,
    category_id INTEGER,
    state_id INTEGER,
    region_id INTEGER,
    iso_id INTEGER
);

Copiamos toda la información exceptuando los datos de las columnas categoría, los estados, las regiones y las nomenclaturas ISO, e incluyendo los identificadores de las demás tablas creadas para establecer las respectivas relaciones.

INSERT INTO
  unesco(
    name,
    description,
    justification,
    year,
    longitude,
    latitude,
    area_hectares,
    category_id,
    state_id,
    region_id,
    iso_id
  ) select
  name,
  description,
  justification,
  year,
  longitude,
  latitude,
  area_hectares,
  category_id,
  state_id,
  region_id,
  iso_id from unesco_raw;

De esta forma obtendremos la información del dataset World Heritage List de una forma mejor estructurada, sin redundancia de datos, aprovechando las ventajas que nos ofrece una base de datos relacional como PostgreSQL.

Ahpora podemos eliminar la tabla «unesco_raw» usando DROP TABLE, y revisar la información obtenida con una consulta como la siguiente:

SELECT unesco.name, year, category.name, state.name, region.name, iso.name
  FROM unesco
  JOIN category ON unesco.category_id = category.id
  JOIN iso ON unesco.iso_id = iso.id
  JOIN state ON unesco.state_id = state.id
  JOIN region ON unesco.region_id = region.id
  ORDER BY state.name, unesco.name
  LIMIT 3;

El resultado sería el siguiente:

Consulta SQL en DBeaver

En una siguiente entrega utilizaremos estos datos almacenados en PostgreSQL para general un mapa interactivo con geolocalización de cada sitio de la Unesco.

World Heritage List, UNESCO

¿Qué sucedió con CentOS?

En diciembre de 2020, el desarrollador principal de CentOS anunció un cambio en la dirección del proyecto. En lugar de seguir centrándose en CentOS Linux, se centrarían en CentOS Stream, una distribución de nivel intermedio que se centra en proporcionar una vista previa de lo que estará en la próxima versión de Red Hat Enterprise Linux (RHEL).

Este cambio significó que CentOS 8, que estaba programado para recibir actualizaciones hasta 2029, tendría un ciclo de vida acortado hasta finales de 2021. Además, CentOS 7, que se esperaba que recibiera actualizaciones hasta 2024, también se vio afectado por este cambio.

Este cambio fue recibido con críticas por parte de muchos usuarios y empresas que dependían de CentOS Linux como una distribución estable y de largo plazo. Como resultado, algunos proyectos de la comunidad, como AlmaLinux y Rocky Linux, surgieron para llenar el vacío dejado por CentOS Linux.

Alma Linux

AlmaLinux es una distribución de Linux basada en RHEL (Red Hat Enterprise Linux) y creada como una alternativa de código abierto a CentOS Linux, que dejó de ser una distribución de Linux de largo plazo después de que Red Hat anunciara cambios en su modelo de negocio en diciembre de 2020.

AlmaLinux es mantenida por CloudLinux, una empresa que se especializa en sistemas operativos para servidores web y hosting. Se creó como una respuesta a la demanda de una alternativa estable y de largo plazo a CentOS Linux, para que las empresas y usuarios que dependían de ella pudieran continuar utilizando un sistema operativo basado en RHEL sin tener que pagar por una suscripción de Red Hat Enterprise Linux.

La primera versión estable de AlmaLinux se lanzó en marzo de 2021, y se espera que tenga un ciclo de vida similar al de CentOS Linux. Además, AlmaLinux ha anunciado que seguirá siendo compatible con las herramientas y aplicaciones de RHEL, lo que significa que los usuarios de RHEL pueden migrar fácilmente a AlmaLinux sin experimentar problemas de compatibilidad.

En resumen, AlmaLinux es una distribución de Linux estable y de largo plazo, basada en RHEL, que se creó para satisfacer la necesidad de una alternativa de código abierto a CentOS Linux después de que este proyecto dejara de ser una distribución de Linux de largo plazo.

Rocky Linux

Rocky Linux es una distribución de Linux de código abierto basada en RHEL (Red Hat Enterprise Linux) y creada como una alternativa a CentOS Linux después de que Red Hat anunciara cambios en su modelo de negocio en diciembre de 2020, lo que llevó a que CentOS Linux dejara de ser una distribución de Linux de largo plazo.

Rocky Linux fue fundada por Gregory Kurtzer, el fundador original de CentOS Linux, y fue desarrollada por la comunidad. Kurtzer inició el proyecto poco después de que Red Hat anunciara el cambio en la dirección de CentOS Linux.

Rocky Linux se ha comprometido a seguir siendo una distribución de Linux de largo plazo y estable, con un ciclo de vida similar al de CentOS Linux. La distribución tiene como objetivo ofrecer una alternativa de código abierto a Red Hat Enterprise Linux para los usuarios que deseen una distribución de Linux estable y de largo plazo, pero que no quieren pagar por una suscripción de RHEL.

La primera versión estable de Rocky Linux se lanzó en junio de 2021, y desde entonces ha habido varias actualizaciones. Además, Rocky Linux ha anunciado que seguirá siendo compatible con las herramientas y aplicaciones de RHEL, lo que significa que los usuarios de RHEL pueden migrar fácilmente a Rocky Linux sin experimentar problemas de compatibilidad.

En resumen, Rocky Linux es una distribución de Linux de código abierto estable y de largo plazo, basada en RHEL, que se creó para ofrecer una alternativa a CentOS Linux después de que Red Hat anunciara cambios en su modelo de negocio.

PostgreSQL, parte 3: Funciones y Procedimientos

Introducción

El lenguaje de procedimientos PL/pgSQL agrega muchos elementos de procedimientos, por ejemplo, estructuras de control, bucles y cálculos complejos, para ampliar el SQL estándar. Le permite desarrollar funciones complejas y procedimientos almacenados en PostgreSQL que pueden no ser posibles usando SQL simple.

El lenguaje de procedimiento PL/pgSQL es similar a Oracle PL/SQL . Las siguientes son algunas de las razones para aprender PL/pgSQL:

  • PL/pgSQL es fácil de aprender y fácil de usar.
  • PL/pgSQL viene con PostgreSQL por defecto. Las funciones definidas por el usuario y los procedimientos almacenados desarrollados en PL/pgSQL se pueden utilizar como cualquier función integrada y procedimiento almacenado.
  • PL/pgSQL hereda todos los tipos, funciones y operadores definidos por el usuario.
  • PL/pgSQL tiene muchas características que le permiten desarrollar funciones complejas y procedimientos almacenados.
  • PL/pgSQL se puede definir para que el servidor de base de datos de PostgreSQL confíe en él.

Las funciones creadas con PL/pgSQL se pueden usar en cualquier lugar donde se puedan usar las funciones integradas. Por ejemplo, es posible crear funciones de cálculo condicional complejas y luego usarlas para definir operadores o usarlas en expresiones de índice.

En PostgreSQL 9.0 y versiones posteriores, PL/pgSQL está instalado de forma predeterminada. Sin embargo, sigue siendo un módulo cargable, por lo que los administradores especialmente conscientes de la seguridad podrían optar por eliminarlo.

Cómo crear un campo updated_at que automaticamente registre la fecha cuando el registro se modifica con PostgreSQL?

Función para actualizar campo de fecha «updated_at»

Para crear un campo updated_at que se actualice automáticamente cuando se modifica un registro por ejemplo en una base de datos MySQL, puedes utilizar la función CURRENT_TIMESTAMP junto con el atributo ON UPDATE.

Aquí está el código para crear una tabla con un campo updated_at:

CREATE TABLE ejemplo (
   id INT PRIMARY KEY,
   nombre VARCHAR(50),
   descripcion VARCHAR(255),
   updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
);

En este ejemplo, el campo updated_at se establece con un valor predeterminado de la fecha y hora actual utilizando la función CURRENT_TIMESTAMP, y también se agrega el atributo ON UPDATE CURRENT_TIMESTAMP, lo que significa que se actualizará automáticamente con la fecha y hora actual cada vez que se modifique el registro.

Sin embargo, para crear un campo updated_at que se actualice automáticamente cuando se modifica un registro en PostgreSQL, se debe utilizar una función llamada trigger.

Aquí está el código para crear una tabla con un campo updated_at:

CREATE TABLE ejemplo (
   id SERIAL PRIMARY KEY,
   nombre VARCHAR(50),
   descripcion VARCHAR(255),
   updated_at TIMESTAMP
);

En este ejemplo, el campo updated_at se deja sin valor predeterminado ya que será actualizado automáticamente a través de la función trigger.

A continuación, puedes crear una función trigger que se active cada vez que se modifique un registro en la tabla ejemplo, y actualizará automáticamente el valor del campo updated_at con la fecha y hora actual.

CREATE OR REPLACE FUNCTION actualizar_updated_at()
RETURNS TRIGGER AS $$
BEGIN
   NEW.updated_at = NOW();
   RETURN NEW;
END;
$$ LANGUAGE plpgsql;

Esta función trigger utiliza la función NOW() para obtener la fecha y hora actuales y actualizar el campo updated_at del registro modificado.

Por último, puedes crear el trigger que se activará cada vez que se realice una operación UPDATE en la tabla ejemplo, y ejecutará la función trigger actualizar_updated_at().

CREATE TRIGGER trigger_actualizar_updated_at
BEFORE UPDATE ON ejemplo
FOR EACH ROW
EXECUTE FUNCTION actualizar_updated_at();

Este trigger se activará antes de que se actualice cualquier registro en la tabla ejemplo, y ejecutará la función trigger actualizar_updated_at(), que actualizará el campo updated_at con la fecha y hora actuales.

Con estos pasos, el campo updated_at se actualizará automáticamente cada vez que se modifique un registro en la tabla ejemplo. Puedes ajustar los nombres de la tabla y los campos para que se adapten a tus necesidades específicas.

Artículos previos:

PostgreSQL conn, parte 2 técnicas avanzadas, en ChatGPT (OpenAI)

PostgreSQL conn en ChatGPT (OpenAI), Psycopg v2 o v3?

Headless Browsing: Screenshot de sitio web con Python y pyppeteer.

La automatización del navegador es usar Python para ejecutar pasos e integrar información de un navegador web en nuestro flujo de datos, como parte de los procesos DevOps y Build Automation con Python.

En este caso concreto realizaremos la apertura de la página web «https://learnsql.com/«, tomaremos una captura de pantalla y la guardaremos en el directorio de nuestro proyecto. Su nivel de dificultad es mínimo pero su integración a un flijo de datos requerirá configuraciones adicionales.

Como sabemos, para realizar esto por ejemplo en Windows se requiere presionar la tecla del logotipo de Windows + Mayús + S. El escritorio se oscurecerá mientras seleccionas un área para la captura de pantalla. Sin embargo, podemos utilizar un código que automatiza esta función en Python. Lo primero es instalar las librerías necesarias, pyppeteer y asyncio:

pip install pyppeteer
pip install asyncio

Luego escribimos un código abreviado para abrir la página web y tomar una captura de pantalla, al cual nombraremos «web_screenshot.py»:

import asyncio
from pyppeteer import launch

async def main():
    browser = await launch(options={'args': ['--no-sandbox']})
    page = await browser.newPage()
    await page.goto('https://learnsql.com/')
    await page.screenshot({'path': 'example.png'})
    await browser.close()

asyncio.get_event_loop().run_until_complete(main())

Nota : cuando ejecuta pyppeteer por primera vez, descarga la última versión de Chromium (~150 MB) si no se encuentra en su sistema. Si no prefiere este comportamiento, asegúrese de tener instalado un binario de Chrome adecuado. Una forma de hacer esto es ejecutar pyppeteer-installel comando antes de usar esta biblioteca.

[INFO] Starting Chromium download.

Una vez terminada la ejecución del script podrá encontrar el screenshot de la página web «learnsql.com» en el directorio de su proyecto que se ha guardado con el nombre de «example.png».

Proyect Files

Puede abrir la imagen para ver su contenido.

example.png

Este script puede configurarlo para una lista de URLs y obtener los screenshots de cada una, guardando las respectivas imágenes obtenidas en un directorio particular el cual podrá servidor como directorio «images», «assets», o «static» en su sitio web o aplicación.

Muchas proveedores de SaaS, y paneles de control web, han integrado en sus procesos el despliege de screenshot como parte de la información que ofrecen a sus osuarios, respecto de webs o aplicaciones que hospedan o administran.

El caso de Vercel, que automatiza la este proceso una vez que se ha hecho el deploy satisfactorio de la aplicación, y subsiguientes deploys.

Automatización en AirFlow

Para ejecutar automáticamente este script «web_screenshot.py» de Python con Apache Airflow, primero debe definir un DAG (Grafo Acíclico Dirigido) en un archivo Python que indique cómo y cuándo se debe ejecutar el archivo de Python. Luego, puede usar el programador de tareas incorporado de Airflow para planificar y ejecutar la DAG según lo programado.

Crea un DAG simple para ejecutar el código escrito en el archivo de Python llamado «web_screenshot.py» todos los días a las 3 a.m.

from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.python_operator import PythonOperator

# definir la función que se ejecutará
def mi_funcion():
    exec(open('/ruta/a/web_screenshot.py').read())

# definir el DAG
default_args = {
    'owner': 'yo',
    'depends_on_past': False,
    'start_date': datetime(2023, 3, 11, 3, 0),
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
}

dag = DAG(
    'demo',
    default_args=default_args,
    description='Ejecución de web_screenshot.py todos los días a las 3 a.m.',
    schedule_interval=timedelta(days=1),
)

# definir el operador PythonOperator que ejecutará mi_funcion
mi_operador = PythonOperator(
    task_id='mi_tarea',
    python_callable=mi_funcion,
    dag=dag,
)

# definir la dependencia del operador
mi_operador

En este ejemplo, la función mi_funcion() simplemente ejecuta el archivo «web_screenshot.py». Luego, se define un DAG llamado «demo» con un operador PythonOperator llamado «mi_tarea» que ejecutará mi_funcion().

El DAG está programado para comenzar a las 3 a.m. el día en que se defina y se repetirá diariamente (schedule_interval=timedelta(days=1)). Si desea programar la ejecución en un intervalo de tiempo diferente, simplemente modifique el argumento start_date y schedule_interval según sea necesario.

Una vez que haya definido su DAG, puede guardar el archivo Python y agregarlo al directorio «dags» en su instalación de Airflow. Airflow automáticamente detectará y cargará el DAG en su sistema, y se ejecutará según lo programado. Puede monitorear el progreso del DAG en la interfaz web de Airflow.

Utilidades avanzadas

La automatización dentro de un pipeline o flujo de datos entre procesos es parte del fundamento del DevOps. Con AirFlow puedes crear DAGs que analizen y verifiquen la integridad de procesos, reporten fallas mediante envio de correo electrónico, realizar labores de mantenimiento o respaldo en Bases de Datos, e incluso ejecutar trabajos de entrenamiento y predicción en sistemas de Inteligencia Artificial sobre nuevos datasets.

Para conocer más sobre la automatización con AirFlow puedes visitar su centro de documentación.

Cloud Composer

Servicio totalmente gestionado de orquestación de flujos de trabajo integrado en Apache Airflow sobre Google Cloud.

Capacitación recomendada

Para ahondar más en el tema de la automatización DevOps con Python te recomiendo seguir el programa especializado Python Scripting for DevOps Specialization en Coursera.

Lea también Tutorial ¿Cómo configurar Airflow en un servidor Ubuntu? Parte 1

PostgreSQL conn, parte 2 técnicas avanzadas, en ChatGPT (OpenAI)

Hoy he interactuado con Inteligencia Artificial ChatGPT sobre algunas técnicas de SQL, que van más allá de las operaciones CRUD (Crear, Leer, Actualizar y Eliminar) básicas en PostgreSQL. Así que analizaremos la Agregación, daremos un vistazo a las Transacciones que se ampliarán en otro tutorial, y finalmente entraremos a dos ejemplos de lectura y tregistro de datos desde un archivo CSV usando Insert y Copy.

SQL (imagen; Freepik)

Que es la técnica de bases de datos aggregation?

La técnica de agregación de bases de datos es una forma de resumir y analizar grandes conjuntos de datos. Se utiliza comúnmente en bases de datos relacionales y se refiere a la aplicación de una función de agregación a un conjunto de datos para producir un resultado consolidado.

La agregación se puede hacer sobre una o varias columnas de datos y puede involucrar diferentes funciones de agregación, como sumas, promedios, valores máximos y mínimos, entre otras. El resultado de la agregación es una tabla con una sola fila que resume el conjunto de datos en función de las columnas y la función de agregación seleccionada.

Esta técnica se utiliza para generar informes y análisis de datos que permitan a los usuarios ver rápidamente la información importante en una base de datos sin tener que examinar todos los registros individuales. Las consultas de agregación también pueden utilizarse para identificar patrones y tendencias en los datos, lo que puede ayudar a los analistas a tomar decisiones informadas.

tion?

Un ejemplo de la técnica de bases de datos aggregation.

La técnica de agregación de bases de datos se utiliza para realizar cálculos y resúmenes de datos en una tabla de base de datos. Un ejemplo común de la técnica de agregación es el cálculo de la suma, el promedio o la cuenta de los valores en una columna.

Por ejemplo, supongamos que tenemos una tabla de ventas que contiene información sobre los productos vendidos en una tienda en línea. La tabla podría tener las siguientes columnas:

  • id_venta: identificador único de la venta
  • id_producto: identificador único del producto
  • cantidad: cantidad vendida del producto
  • precio_unitario: precio unitario del producto
  • fecha_venta: fecha en que se realizó la venta

Para calcular el total de ventas por día, podríamos utilizar la técnica de agregación. El siguiente ejemplo utiliza SQL para calcular la suma de las ventas por día:

SELECT fecha_venta, SUM(cantidad * precio_unitario) AS total_ventas
FROM ventas
GROUP BY fecha_venta;

Este código SQL utiliza la función SUM() para sumar el producto de la cantidad y el precio unitario para cada venta y agrupar los resultados por fecha de venta utilizando la cláusula GROUP BY. El resultado de esta consulta sería una tabla que muestra el total de ventas por día:

Este es un ejemplo de cómo se puede utilizar la técnica de agregación para resumir y analizar grandes cantidades de datos en una tabla de base de datos de manera eficiente y efectiva.

Qué son las transactions en la base de datos postgresql?

En PostgreSQL, una transacción es un conjunto de operaciones de base de datos que se ejecutan como una única unidad lógica y atómica de trabajo. Una transacción garantiza que todas las operaciones realizadas en la base de datos se completen con éxito, o que se reviertan a su estado anterior si alguna operación falla.

En una transacción, se pueden realizar una o varias operaciones de base de datos, como inserciones, actualizaciones o eliminaciones. Estas operaciones se agrupan y se ejecutan en una secuencia lógica. Si todas las operaciones se completan con éxito, se confirman y se hacen permanentes en la base de datos. Si alguna operación falla, se deshacen todas las operaciones realizadas en la transacción y se revierten a su estado anterior.

El uso de transacciones es importante para garantizar la integridad y consistencia de los datos en la base de datos, especialmente en entornos de base de datos con múltiples usuarios concurrentes. Si varias transacciones intentan acceder a los mismos datos al mismo tiempo, pueden producirse conflictos que afecten la integridad de los datos. Las transacciones permiten a los desarrolladores manejar estos conflictos de manera efectiva y garantizar que la base de datos siempre esté en un estado coherente y correcto.

¿Cómo se realiza el leer y analizar archivos CSV e insertar datos en postgresql utilizando INSERT?

Para leer y analizar archivos CSV y luego insertar los datos en una tabla de PostgreSQL, se puede seguir los siguientes pasos utilizando el lenguaje de programación Python y las librerías Pandas y Psycopg2:

Importar las librerías necesarias:

import pandas as pd
import psycopg2

Leer el archivo CSV en un DataFrame de Pandas:

data = pd.read_csv(‘file.csv’)

Conectarse a la base de datos de PostgreSQL utilizando Psycopg2:

conn = psycopg2.connect(host="localhost", database="mydatabase", user="myusername", password="mypassword")
cur = conn.cursor()

Crear una tabla en PostgreSQL para almacenar los datos del archivo CSV (si aún no existe):

cur.execute("CREATE TABLE IF NOT EXISTS mytable (column1 datatype1, column2 datatype2, ...)")

Recorrer el DataFrame de Pandas y, por cada fila, insertar los datos en la tabla de PostgreSQL:

for index, row in data.iterrows():
    cur.execute("INSERT INTO mytable (column1, column2, ...) VALUES (%s, %s, ...)", (row['column1'], row['column2'], ...))

Confirmar los cambios en la base de datos y cerrar la conexión:

conn.commit()
cur.close()
conn.close()

Con estos pasos, se puede leer y analizar un archivo CSV y luego insertar los datos en una tabla de PostgreSQL de manera eficiente utilizando Python, Pandas y Psycopg2. Es importante asegurarse de que los datos del archivo CSV se correspondan con los tipos de datos de las columnas de la tabla de PostgreSQL para evitar errores de inserción.

¿Cómo se realiza el leer y analizar archivos CSV e insertar datos en postgresql usando COPY?

Para leer y analizar archivos CSV y luego insertar los datos en una tabla de PostgreSQL usando el comando COPY, se pueden seguir los siguientes pasos:

  1. Crear una tabla en PostgreSQL que tenga la misma estructura que el archivo CSV que se va a cargar:
CREATE TABLE mytable (
  column1 datatype1,
  column2 datatype2,
  ...
);
  1. Preparar un archivo CSV que tenga el mismo formato que la tabla en PostgreSQL y que contenga los datos que se van a cargar.
  2. Abrir una conexión a la base de datos de PostgreSQL usando un objeto psycopg2 y crear un cursor:
import psycopg2

conn = psycopg2.connect(database="mydatabase", user="myusername", password="mypassword", host="localhost", port="5432")
cur = conn.cursor()

4. Usar el comando COPY para cargar los datos del archivo CSV en la tabla de PostgreSQL:

with open('file.csv', 'r') as f:
    next(f) # Omitir la primera fila si es un encabezado
    cur.copy_from(f, 'mytable', sep=',')

El primer argumento de la función copy_from() es el objeto de archivo CSV que se va a cargar. El segundo argumento es el nombre de la tabla de PostgreSQL en la que se van a cargar los datos. El tercer argumento es el separador de campo utilizado en el archivo CSV (en este ejemplo, una coma).

5. Confirmar los cambios en la base de datos y cerrar la conexión:

conn.commit()
cur.close()
conn.close()

Con estos pasos, se pueden leer y analizar archivos CSV y luego insertar los datos en una tabla de PostgreSQL utilizando el comando COPY de manera eficiente y sin tener que recorrer los datos fila por fila. Es importante asegurarse de que los datos del archivo CSV se correspondan con los tipos de datos de las columnas de la tabla de PostgreSQL para evitar errores de carga.

Recursos

OpenAI API link

Curso recomendado link

Tutorial ¿Cómo configurar Airflow en un servidor Ubuntu? Parte 1

AirFlow corriendo en localhost:8080

Para configurar Airflow en un servidor Ubuntu, sigue estos pasos:

Instala Python en el servidor Ubuntu si aún no lo has hecho. Puedes hacerlo ejecutando el siguiente comando:

Por lo general las distribuciones de Linux ya traen por defecto Python instalado, así que sin problema puedes saltar el paso anterior.

Instala Apache Airflow y sus dependencias usando pip. Puedes hacerlo ejecutando el siguiente comando:

Configura la base de datos de Airflow. Puedes hacerlo ejecutando los siguientes comandos incorporando tus credenciales:

airflow db init
airflow users create --username admin --password admin --firstname FIRST_NAME --lastname LAST_NAME --role Admin --email admin@example.com

El primer comando inicializa la base de datos de Airflow y el segundo comando crea un usuario administrador para Airflow. Toma en consideración que esta configuración se realiza por defecto sobre SQLite así que tendrás un entorno configurado para desarrollo no para ´producción, para lo cual deberás configurar otro motor de base de datos que utilice AirFlow.

Inicia el servidor web de Airflow ejecutando el siguiente comando:

airflow webserver -p 8080

Esto iniciará el servidor web de Airflow en el puerto 8080.

Inicia el scheduler de Airflow ejecutando el siguiente comando en otra ventana de terminal:

El scheduler es responsable de programar y ejecutar las tareas en Airflow.

Accede a la interfaz web de Airflow en tu navegador web navegando a http://<IP del servidor Ubuntu>:8080. Ingresa con las credenciales de usuario que creaste anteriormente.

Crea un archivo DAG (directed acyclic graph) para definir y programar tus tareas en Airflow. Puedes crear el archivo DAG en un directorio específico que hayas configurado en el archivo de configuración de Airflow.

A partir de aca te recomendamos leer y seguir la documentación oficial de AirFlow en How-to Guides

Verifica que tus tareas se ejecuten correctamente en Airflow y realiza cualquier ajuste necesario en el archivo DAG. Siguiendo estos pasos, deberías poder configurar Airflow en un servidor Ubuntu y comenzar a programar y ejecutar tareas. Ten en cuenta que es importante seguir las mejores prácticas de seguridad al configurar tu servidor y Airflow.

En el siguiente tutorial mostraremos como cambiar la base de datos default que utiliza Airflow de SQLite a Postgresql.

ETL pipeline Comprendiendo a Elon Musk por sus tweets Parte 1

Creación de un conjunto de datos de Twitter con Pandas en Python utilizando la biblioteca Snscrape. Persistencia de datos en MySQL. Este código busca tweets de Elon Musk desde el 1 de enero de 2021 hasta el 1 de enero de 2022 y guarda los resultados en un archivo CSV llamado «tweets.csv».

Instalar Snscrape y Pandas utilizando pip en tu entorno virtual de Python:

pip install snscrape pandas

Importar las bibliotecas necesarias:

import snscrape.modules.twitter as sntwitter import pandas as pd

Definir una consulta de búsqueda utilizando el formato de consulta de búsqueda de Twitter:

query = «from:elonmusk since:2021-01-01 until:2022-01-01»

image

Opcionalmente, puedes guardar el dataframe en un archivo CSV para su posterior uso:

Captura de pantalla dataset

Para limpiar los datos obtenidos del archivo «tweets.csv» creado anteriormente, podemos utilizar Pandas para cargar el archivo CSV en un dataframe y luego realizar diversas operaciones de limpieza y preprocesamiento de datos.

image

Este es solo un ejemplo básico de algunas de las operaciones de limpieza que se pueden realizar en los datos de los tweets. Dependiendo de los datos específicos que se estén utilizando, puede ser necesario realizar otras operaciones de limpieza y preprocesamiento de datos.

Para guardar el dataset de tweets limpios en un nuevo archivo CSV llamado «tweets_limpios.csv», podemos utilizar el método to_csv() del dataframe de Pandas.

Aquí te dejo un ejemplo de cómo podrías hacerlo:

image

Para guardar los datos del archivo «tweets_limpios.csv» en una base de datos MySQL, necesitaremos instalar la librería de Python mysql-connector-python. También necesitaremos crear una base de datos y una tabla en MySQL para almacenar los datos.

A continuación te dejo un ejemplo de cómo podrías hacerlo:

Primero, instala la librería mysql-connector-python utilizando el siguiente comando en la terminal o en el símbolo del sistema (si estás utilizando Windows):

pip install mysql-connector-python

A continuación, crea una base de datos y una tabla en MySQL utilizando los siguientes scripts SQL:

image

Este script creará una base de datos llamada tweets_db y una tabla llamada tweets con dos columnas: id (un número de identificación único para cada tweet) y tweet_text (el texto del tweet).

Ahora, puedes utilizar el siguiente script de Python para leer los datos del archivo «tweets_limpios.csv» y guardarlos en la base de datos:

image

Asegúrate de cambiar los valores de host, user y password en la función mysql.connector.connect() para que coincidan con tu configuración de MySQL.

Este script carga los datos del archivo CSV en un dataframe de Pandas y luego se conecta a la base de datos MySQL utilizando la librería mysql-connector-python. A continuación, se crea un cursor para ejecutar comandos SQL y se inserta cada tweet en la tabla de la base de datos utilizando un bucle for y la función cursor.execute(). Finalmente, se cierra la conexión con la base de datos y se imprime un mensaje para confirmar que los datos se han guardado correctamente.

Espero que esto te ayude a guardar los datos del archivo «tweets_limpios.csv» en una base de datos MySQL.

Código en GitHub >> https://github.com/DaveSV/ETL-pipeline-Elon-Musk-1

En la Parte 2 de este tutorial avanzaremos a programar, monitorear y administrar todo el flujo de trabajo de estos datos con Airflow.