En este ejercicio leeremos una biblioteca de iTunes en valores separados por comas (CSV) y produciremos tablas correctamente normalizadas como se especifica a continuación.
iTunes
Haremos algunas cosas de manera diferente en esta tarea. No usaremos una tabla «en bruto» separada, solo usaremos declaraciones ALTER TABLE para eliminar columnas después de que no las necesitemos (es decir, las convertimos en claves foráneas).
Utilizaremos este CSV que contiene la información de las pistas musicales. No usaremos una tabla «en bruto» separada, solo usaremos declaraciones ALTER TABLE para eliminar columnas después de que no las necesitemos (es decir, las convertimos en claves foráneas).
Esta vez construiremos una relación de muchos a muchos usando una tabla de junction/through/join entre pistas y artistas.
El script para construir las tablas que vamos a utilizar:
CREATE TABLE album (
id SERIAL,
title VARCHAR(128) UNIQUE,
PRIMARY KEY(id)
);
CREATE TABLE track (
id SERIAL,
title TEXT,
artist TEXT,
album TEXT,
album_id INTEGER REFERENCES album(id) ON DELETE CASCADE,
count INTEGER,
rating INTEGER,
len INTEGER,
PRIMARY KEY(id)
);
CREATE TABLE artist (
id SERIAL,
name VARCHAR(128) UNIQUE,
PRIMARY KEY(id)
);
CREATE TABLE tracktoartist (
id SERIAL,
track VARCHAR(128),
track_id INTEGER REFERENCES track(id) ON DELETE CASCADE,
artist VARCHAR(128),
artist_id INTEGER REFERENCES artist(id) ON DELETE CASCADE,
Luego procedemos a copiar los datos contenidos en el CSV a la tabla track (recuerda ingresar a la línea de comandos con la instrucción psql):
\copy track(title,artist,album,count,rating,len) FROM 'library.csv' WITH DELIMITER ',' CSV;
Seguidamente actualizamos las tablas album y artist con los datos únicos (SELECT DISTINCT) de los campos album y artists de la tabla track. De igual forma los campos track y artist de la tabla tracktoartist desde los campos title y artist de la tabla track.
INSERT INTO album (title) SELECT DISTINCT album FROM track;
INSERT INTO artist (name) SELECT DISTINCT artist FROM track;
UPDATE track SET album_id = (SELECT album.id FROM album WHERE album.title = track.album);
INSERT INTO tracktoartist (track, artist) SELECT DISTINCT title, artist FROM track;
Una vez hecho esto actualizamos los campos track_id y artist_id de la tabla tracktoartist con los respectivos «id’s» de las tablas track y artist.
UPDATE tracktoartist SET track_id = (SELECT track.id FROM track WHERE track.title = tracktoartist.tracK);
UPDATE tracktoartist SET artist_id = (SELECT artist.id FROM artist WHERE artist.name = tracktoartist.artist);
De esta forma habremos normalizado esta información de Pistas Musicales creando las respectivas relaciones de modo que ahora podemos ejecutar una consulkat como la siguiente:
SELECT track.title, album.title, artist.name
FROM track
JOIN album ON track.album_id = album.id
JOIN tracktoartist ON track.id = tracktoartist.track_id
JOIN artist ON tracktoartist.artist_id = artist.id
LIMIT 3;
Obtendremos un resultado como el siguiente:
Para finalizar podemos eliminar los datos que nos sobran, las columnas album y artist de la tabla track y los campos track y artist de la tabla tracktoartist, a traves de la instrucción ALTER TABLE … DROP COLUMN.
En esta entrega leeremos algunos datos del Patrimonio de la Humanidad de la Unesco en formato de valores separados por comas (CSV), los cargaremos en una base de datos PostgreSQL mediante el comando COPY y crearemos tablas correctamente normalizadas.
Un sitio del Patrimonio Mundial es un hito o área protegida legalmente por una convención internacional administrada por la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO). Los sitios del Patrimonio Mundial son designados por la UNESCO por tener importancia cultural, histórica, científica o de otro tipo. Se considera que los sitios contienen «patrimonio cultural y natural en todo el mundo considerado de valor excepcional para la humanidad».
Para ser seleccionado, un Sitio del Patrimonio Mundial debe ser un hito único que sea identificable geográfica e históricamente y que tenga un significado cultural o físico especial. Por ejemplo, los sitios del Patrimonio Mundial pueden ser ruinas antiguas o estructuras históricas, edificios, ciudades,[a] desiertos, bosques, islas, lagos, monumentos, montañas o áreas silvestres. Un Sitio del Patrimonio Mundial puede significar un logro notable de la humanidad y servir como evidencia de nuestra historia intelectual en el planeta, o puede ser un lugar de gran belleza natural.
El dataset puede descargarse en desde el siguiente link: Unesco Heritage Sites dataset. Los datos corresponden al año 2018. Sin embargo si desea contar con datos más actualizados puede descargarlos desde los siguientes sitios (dataset 2021 a la fecha de hoy):
Una vez descargado el dataset procedemos a crear las tablas parea la carga de datos. Puedes nombrar la base de datos como gustes y los nombre de las tablas también puedes modificarlos, aunque esta nomenclatura permite una mejor comprensión de su contenido.
DROP TABLE unesco_raw;
CREATE TABLE unesco_raw (
name TEXT,
description TEXT,
justification TEXT,
year INTEGER,
longitude FLOAT,
latitude FLOAT,
area_hectares FLOAT,
category TEXT,
category_id INTEGER,
state TEXT,
state_id INTEGER,
region TEXT,
region_id INTEGER,
iso TEXT,
iso_id INTEGER
);
Para cargar los datos CSV para esta asignación, use el siguiente comando COPY desde la lonea de comando de PpostgreSQL (psql) . Agregar HEADER hace que el cargador CSV omita la primera línea en el archivo CSV. El comando \copy debe ser una línea larga.
\copy unesco_raw(nombre,descripción,justificación,año,longitud,latitud,área_hectáreas,categoría,estado,región,iso) FROM 'whc-sites-2018-small.csv' WITH DELIMITER ',' CSV HEADER;
Revisamos los datos.
Consulta SQL en DBeaver
Ahora procedemos a normalizar los datos con la ayuda de tablas adicionales que podemos llamar «look up tables».
La normalización es el proceso de seguir una serie de reglas (formas normales), para asegurar que nuestras relaciones estén ordenadas y regularizadas con el fin de mejorar dichas relaciones. Están enfocadas en evitar la redundancia de datos e inconsistencias en el diseño de nuestras tablas.
Lo primero que determinamos es que existe redundancia de datos en campos como «categoría» donde encontramos «Sitio cultural», «Sitio natural » y «Sitio mixto». Estos datos los podemos trasladar a otra tabla y crear una relación con la tabla «unesco_raw» para eliminar esta réplica de datos.
Caso similar podemos apreciar en los campos «state», «region» e «iso».
Entonces procedemos a crear tablas para estos datos que contendrán los datos respectivos de «category», «state», «region» e «iso» de forma única (campos UNIQUE) con su respentido identificados (id SERIAL).
CREATE TABLE category (
id SERIAL,
name VARCHAR(128) UNIQUE,
PRIMARY KEY(id)
);
CREATE TABLE state (
id SERIAL,
name VARCHAR(128) UNIQUE,
PRIMARY KEY(id)
);
CREATE TABLE region (
id SERIAL,
name VARCHAR(128) UNIQUE,
PRIMARY KEY(id)
);
CREATE TABLE iso (
id SERIAL,
name VARCHAR(128) UNIQUE,
PRIMARY KEY(id)
);
Cargamos los datos de «unesco_raw» a las tablas que hemos creado, seleccionando los valores únicos (SELECT DISTINCT).
INSERT INTO category(name) SELECT DISTINCT category FROM
unesco_raw;
INSERT INTO state(name) SELECT DISTINCT state FROM unesco_raw;
INSERT INTO region(name) SELECT DISTINCT region FROM
unesco_raw;
INSERT INTO iso(name) SELECT DISTINCT iso FROM unesco_raw;
Ahora actualizamos la tabla «unesco_raw» con los datos de las tablas que hemos creado, agregarndo la categoría de sitio por su identificador (id) para crear la relación. En este caso utilizaremos una consulta compuesta para obtener primero el identificador de categoría de la tabla «category» para luego actualizar el campo «category_id» en «unesco_raw».
Igual procedemos con los datos de las tablas «state», «regiosn» e «iso».
UPDATE unesco_raw SET category_id = (
SELECT category.id FROM category WHERE category.name = unesco_raw.category);
UPDATE unesco_raw SET state_id = (
SELECT state.id FROM state WHERE state.name = unesco_raw.state );
UPDATE unesco_raw SET region_id = (
SELECT region.id FROM region WHERE region.name = unesco_raw.region);
UPDATE unesco_raw SET iso_id = (
SELECT iso.id FROM iso WHERE iso.name = unesco_raw.iso);
De esta forma ya contamos con los identificadores para las categoría, los estados, las regiones y las nomenclaturas ISO.
Consulta SQL en DBeaver
Para poder descartar la información redundante procedemos a crear una tabla final, definitiva que llamaremos simplemente «unesco» de la siguiente forma:
CREATE TABLE unesco (
name TEXT,
description TEXT,
justification TEXT,
year INTEGER,
longitude FLOAT,
latitude FLOAT,
area_hectares FLOAT,
category_id INTEGER,
state_id INTEGER,
region_id INTEGER,
iso_id INTEGER
);
Copiamos toda la información exceptuando los datos de las columnas categoría, los estados, las regiones y las nomenclaturas ISO, e incluyendo los identificadores de las demás tablas creadas para establecer las respectivas relaciones.
De esta forma obtendremos la información del dataset World Heritage List de una forma mejor estructurada, sin redundancia de datos, aprovechando las ventajas que nos ofrece una base de datos relacional como PostgreSQL.
Ahpora podemos eliminar la tabla «unesco_raw» usando DROP TABLE, y revisar la información obtenida con una consulta como la siguiente:
SELECT unesco.name, year, category.name, state.name, region.name, iso.name
FROM unesco
JOIN category ON unesco.category_id = category.id
JOIN iso ON unesco.iso_id = iso.id
JOIN state ON unesco.state_id = state.id
JOIN region ON unesco.region_id = region.id
ORDER BY state.name, unesco.name
LIMIT 3;
El resultado sería el siguiente:
Consulta SQL en DBeaver
En una siguiente entrega utilizaremos estos datos almacenados en PostgreSQL para general un mapa interactivo con geolocalización de cada sitio de la Unesco.
En diciembre de 2020, el desarrollador principal de CentOS anunció un cambio en la dirección del proyecto. En lugar de seguir centrándose en CentOS Linux, se centrarían en CentOS Stream, una distribución de nivel intermedio que se centra en proporcionar una vista previa de lo que estará en la próxima versión de Red Hat Enterprise Linux (RHEL).
Este cambio significó que CentOS 8, que estaba programado para recibir actualizaciones hasta 2029, tendría un ciclo de vida acortado hasta finales de 2021. Además, CentOS 7, que se esperaba que recibiera actualizaciones hasta 2024, también se vio afectado por este cambio.
Este cambio fue recibido con críticas por parte de muchos usuarios y empresas que dependían de CentOS Linux como una distribución estable y de largo plazo. Como resultado, algunos proyectos de la comunidad, como AlmaLinux y Rocky Linux, surgieron para llenar el vacío dejado por CentOS Linux.
AlmaLinux es una distribución de Linux basada en RHEL (Red Hat Enterprise Linux) y creada como una alternativa de código abierto a CentOS Linux, que dejó de ser una distribución de Linux de largo plazo después de que Red Hat anunciara cambios en su modelo de negocio en diciembre de 2020.
AlmaLinux es mantenida por CloudLinux, una empresa que se especializa en sistemas operativos para servidores web y hosting. Se creó como una respuesta a la demanda de una alternativa estable y de largo plazo a CentOS Linux, para que las empresas y usuarios que dependían de ella pudieran continuar utilizando un sistema operativo basado en RHEL sin tener que pagar por una suscripción de Red Hat Enterprise Linux.
La primera versión estable de AlmaLinux se lanzó en marzo de 2021, y se espera que tenga un ciclo de vida similar al de CentOS Linux. Además, AlmaLinux ha anunciado que seguirá siendo compatible con las herramientas y aplicaciones de RHEL, lo que significa que los usuarios de RHEL pueden migrar fácilmente a AlmaLinux sin experimentar problemas de compatibilidad.
En resumen, AlmaLinux es una distribución de Linux estable y de largo plazo, basada en RHEL, que se creó para satisfacer la necesidad de una alternativa de código abierto a CentOS Linux después de que este proyecto dejara de ser una distribución de Linux de largo plazo.
Rocky Linux es una distribución de Linux de código abierto basada en RHEL (Red Hat Enterprise Linux) y creada como una alternativa a CentOS Linux después de que Red Hat anunciara cambios en su modelo de negocio en diciembre de 2020, lo que llevó a que CentOS Linux dejara de ser una distribución de Linux de largo plazo.
Rocky Linux fue fundada por Gregory Kurtzer, el fundador original de CentOS Linux, y fue desarrollada por la comunidad. Kurtzer inició el proyecto poco después de que Red Hat anunciara el cambio en la dirección de CentOS Linux.
Rocky Linux se ha comprometido a seguir siendo una distribución de Linux de largo plazo y estable, con un ciclo de vida similar al de CentOS Linux. La distribución tiene como objetivo ofrecer una alternativa de código abierto a Red Hat Enterprise Linux para los usuarios que deseen una distribución de Linux estable y de largo plazo, pero que no quieren pagar por una suscripción de RHEL.
La primera versión estable de Rocky Linux se lanzó en junio de 2021, y desde entonces ha habido varias actualizaciones. Además, Rocky Linux ha anunciado que seguirá siendo compatible con las herramientas y aplicaciones de RHEL, lo que significa que los usuarios de RHEL pueden migrar fácilmente a Rocky Linux sin experimentar problemas de compatibilidad.
En resumen, Rocky Linux es una distribución de Linux de código abierto estable y de largo plazo, basada en RHEL, que se creó para ofrecer una alternativa a CentOS Linux después de que Red Hat anunciara cambios en su modelo de negocio.
El lenguaje de procedimientos PL/pgSQL agrega muchos elementos de procedimientos, por ejemplo, estructuras de control, bucles y cálculos complejos, para ampliar el SQL estándar. Le permite desarrollar funciones complejas y procedimientos almacenados en PostgreSQL que pueden no ser posibles usando SQL simple.
El lenguaje de procedimiento PL/pgSQL es similar a Oracle PL/SQL . Las siguientes son algunas de las razones para aprender PL/pgSQL:
PL/pgSQL es fácil de aprender y fácil de usar.
PL/pgSQL viene con PostgreSQL por defecto. Las funciones definidas por el usuario y los procedimientos almacenados desarrollados en PL/pgSQL se pueden utilizar como cualquier función integrada y procedimiento almacenado.
PL/pgSQL hereda todos los tipos, funciones y operadores definidos por el usuario.
PL/pgSQL tiene muchas características que le permiten desarrollar funciones complejas y procedimientos almacenados.
PL/pgSQL se puede definir para que el servidor de base de datos de PostgreSQL confíe en él.
Las funciones creadas con PL/pgSQL se pueden usar en cualquier lugar donde se puedan usar las funciones integradas. Por ejemplo, es posible crear funciones de cálculo condicional complejas y luego usarlas para definir operadores o usarlas en expresiones de índice.
En PostgreSQL 9.0 y versiones posteriores, PL/pgSQL está instalado de forma predeterminada. Sin embargo, sigue siendo un módulo cargable, por lo que los administradores especialmente conscientes de la seguridad podrían optar por eliminarlo.
Cómo crear un campo updated_at que automaticamente registre la fecha cuando el registro se modifica con PostgreSQL?
Función para actualizar campo de fecha «updated_at»
Para crear un campo updated_at que se actualice automáticamente cuando se modifica un registro por ejemplo en una base de datos MySQL, puedes utilizar la función CURRENT_TIMESTAMP junto con el atributo ON UPDATE.
Aquí está el código para crear una tabla con un campo updated_at:
CREATE TABLE ejemplo (
id INT PRIMARY KEY,
nombre VARCHAR(50),
descripcion VARCHAR(255),
updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
);
En este ejemplo, el campo updated_at se establece con un valor predeterminado de la fecha y hora actual utilizando la función CURRENT_TIMESTAMP, y también se agrega el atributo ON UPDATE CURRENT_TIMESTAMP, lo que significa que se actualizará automáticamente con la fecha y hora actual cada vez que se modifique el registro.
Sin embargo, para crear un campo updated_at que se actualice automáticamente cuando se modifica un registro en PostgreSQL, se debe utilizar una función llamada trigger.
Aquí está el código para crear una tabla con un campo updated_at:
CREATE TABLE ejemplo (
id SERIAL PRIMARY KEY,
nombre VARCHAR(50),
descripcion VARCHAR(255),
updated_at TIMESTAMP
);
En este ejemplo, el campo updated_at se deja sin valor predeterminado ya que será actualizado automáticamente a través de la función trigger.
A continuación, puedes crear una función trigger que se active cada vez que se modifique un registro en la tabla ejemplo, y actualizará automáticamente el valor del campo updated_at con la fecha y hora actual.
CREATE OR REPLACE FUNCTION actualizar_updated_at()
RETURNS TRIGGER AS $$
BEGIN
NEW.updated_at = NOW();
RETURN NEW;
END;
$$ LANGUAGE plpgsql;
Esta función trigger utiliza la función NOW() para obtener la fecha y hora actuales y actualizar el campo updated_at del registro modificado.
Por último, puedes crear el trigger que se activará cada vez que se realice una operación UPDATE en la tabla ejemplo, y ejecutará la función trigger actualizar_updated_at().
CREATE TRIGGER trigger_actualizar_updated_at
BEFORE UPDATE ON ejemplo
FOR EACH ROW
EXECUTE FUNCTION actualizar_updated_at();
Este trigger se activará antes de que se actualice cualquier registro en la tabla ejemplo, y ejecutará la función trigger actualizar_updated_at(), que actualizará el campo updated_at con la fecha y hora actuales.
Con estos pasos, el campo updated_at se actualizará automáticamente cada vez que se modifique un registro en la tabla ejemplo. Puedes ajustar los nombres de la tabla y los campos para que se adapten a tus necesidades específicas.
Hoy he interactuado con Inteligencia Artificial ChatGPT sobre algunas técnicas de SQL, que van más allá de las operaciones CRUD (Crear, Leer, Actualizar y Eliminar) básicas en PostgreSQL. Así que analizaremos la Agregación, daremos un vistazo a las Transacciones que se ampliarán en otro tutorial, y finalmente entraremos a dos ejemplos de lectura y tregistro de datos desde un archivo CSV usando Insert y Copy.
SQL (imagen; Freepik)
Que es la técnica de bases de datos aggregation?
La técnica de agregación de bases de datos es una forma de resumir y analizar grandes conjuntos de datos. Se utiliza comúnmente en bases de datos relacionales y se refiere a la aplicación de una función de agregación a un conjunto de datos para producir un resultado consolidado.
La agregación se puede hacer sobre una o varias columnas de datos y puede involucrar diferentes funciones de agregación, como sumas, promedios, valores máximos y mínimos, entre otras. El resultado de la agregación es una tabla con una sola fila que resume el conjunto de datos en función de las columnas y la función de agregación seleccionada.
Esta técnica se utiliza para generar informes y análisis de datos que permitan a los usuarios ver rápidamente la información importante en una base de datos sin tener que examinar todos los registros individuales. Las consultas de agregación también pueden utilizarse para identificar patrones y tendencias en los datos, lo que puede ayudar a los analistas a tomar decisiones informadas.
tion?
Un ejemplo de la técnica de bases de datos aggregation.
La técnica de agregación de bases de datos se utiliza para realizar cálculos y resúmenes de datos en una tabla de base de datos. Un ejemplo común de la técnica de agregación es el cálculo de la suma, el promedio o la cuenta de los valores en una columna.
Por ejemplo, supongamos que tenemos una tabla de ventas que contiene información sobre los productos vendidos en una tienda en línea. La tabla podría tener las siguientes columnas:
id_venta: identificador único de la venta
id_producto: identificador único del producto
cantidad: cantidad vendida del producto
precio_unitario: precio unitario del producto
fecha_venta: fecha en que se realizó la venta
Para calcular el total de ventas por día, podríamos utilizar la técnica de agregación. El siguiente ejemplo utiliza SQL para calcular la suma de las ventas por día:
SELECT fecha_venta, SUM(cantidad * precio_unitario) AS total_ventas
FROM ventas
GROUP BY fecha_venta;
Este código SQL utiliza la función SUM() para sumar el producto de la cantidad y el precio unitario para cada venta y agrupar los resultados por fecha de venta utilizando la cláusula GROUP BY. El resultado de esta consulta sería una tabla que muestra el total de ventas por día:
Este es un ejemplo de cómo se puede utilizar la técnica de agregación para resumir y analizar grandes cantidades de datos en una tabla de base de datos de manera eficiente y efectiva.
Qué son las transactions en la base de datos postgresql?
En PostgreSQL, una transacción es un conjunto de operaciones de base de datos que se ejecutan como una única unidad lógica y atómica de trabajo. Una transacción garantiza que todas las operaciones realizadas en la base de datos se completen con éxito, o que se reviertan a su estado anterior si alguna operación falla.
En una transacción, se pueden realizar una o varias operaciones de base de datos, como inserciones, actualizaciones o eliminaciones. Estas operaciones se agrupan y se ejecutan en una secuencia lógica. Si todas las operaciones se completan con éxito, se confirman y se hacen permanentes en la base de datos. Si alguna operación falla, se deshacen todas las operaciones realizadas en la transacción y se revierten a su estado anterior.
El uso de transacciones es importante para garantizar la integridad y consistencia de los datos en la base de datos, especialmente en entornos de base de datos con múltiples usuarios concurrentes. Si varias transacciones intentan acceder a los mismos datos al mismo tiempo, pueden producirse conflictos que afecten la integridad de los datos. Las transacciones permiten a los desarrolladores manejar estos conflictos de manera efectiva y garantizar que la base de datos siempre esté en un estado coherente y correcto.
¿Cómo se realiza el leer y analizar archivos CSV e insertar datos en postgresql utilizando INSERT?
Para leer y analizar archivos CSV y luego insertar los datos en una tabla de PostgreSQL, se puede seguir los siguientes pasos utilizando el lenguaje de programación Python y las librerías Pandas y Psycopg2:
Importar las librerías necesarias:
import pandas as pd
import psycopg2
Leer el archivo CSV en un DataFrame de Pandas:
data = pd.read_csv(‘file.csv’)
Conectarse a la base de datos de PostgreSQL utilizando Psycopg2:
conn = psycopg2.connect(host="localhost", database="mydatabase", user="myusername", password="mypassword")
cur = conn.cursor()
Crear una tabla en PostgreSQL para almacenar los datos del archivo CSV (si aún no existe):
cur.execute("CREATE TABLE IF NOT EXISTS mytable (column1 datatype1, column2 datatype2, ...)")
Recorrer el DataFrame de Pandas y, por cada fila, insertar los datos en la tabla de PostgreSQL:
for index, row in data.iterrows():
cur.execute("INSERT INTO mytable (column1, column2, ...) VALUES (%s, %s, ...)", (row['column1'], row['column2'], ...))
Confirmar los cambios en la base de datos y cerrar la conexión:
conn.commit()
cur.close()
conn.close()
Con estos pasos, se puede leer y analizar un archivo CSV y luego insertar los datos en una tabla de PostgreSQL de manera eficiente utilizando Python, Pandas y Psycopg2. Es importante asegurarse de que los datos del archivo CSV se correspondan con los tipos de datos de las columnas de la tabla de PostgreSQL para evitar errores de inserción.
¿Cómo se realiza el leer y analizar archivos CSV e insertar datos en postgresql usando COPY?
Para leer y analizar archivos CSV y luego insertar los datos en una tabla de PostgreSQL usando el comando COPY, se pueden seguir los siguientes pasos:
Crear una tabla en PostgreSQL que tenga la misma estructura que el archivo CSV que se va a cargar:
4. Usar el comando COPY para cargar los datos del archivo CSV en la tabla de PostgreSQL:
with open('file.csv', 'r') as f:
next(f) # Omitir la primera fila si es un encabezado
cur.copy_from(f, 'mytable', sep=',')
El primer argumento de la función copy_from() es el objeto de archivo CSV que se va a cargar. El segundo argumento es el nombre de la tabla de PostgreSQL en la que se van a cargar los datos. El tercer argumento es el separador de campo utilizado en el archivo CSV (en este ejemplo, una coma).
5. Confirmar los cambios en la base de datos y cerrar la conexión:
conn.commit()
cur.close()
conn.close()
Con estos pasos, se pueden leer y analizar archivos CSV y luego insertar los datos en una tabla de PostgreSQL utilizando el comando COPY de manera eficiente y sin tener que recorrer los datos fila por fila. Es importante asegurarse de que los datos del archivo CSV se correspondan con los tipos de datos de las columnas de la tabla de PostgreSQL para evitar errores de carga.
Creación de un conjunto de datos de Twitter con Pandas en Python utilizando la biblioteca Snscrape. Persistencia de datos en MySQL. Este código busca tweets de Elon Musk desde el 1 de enero de 2021 hasta el 1 de enero de 2022 y guarda los resultados en un archivo CSV llamado «tweets.csv».
Instalar Snscrape y Pandas utilizando pip en tu entorno virtual de Python:
pip install snscrape pandas
Importar las bibliotecas necesarias:
import snscrape.modules.twitter as sntwitter import pandas as pd
Definir una consulta de búsqueda utilizando el formato de consulta de búsqueda de Twitter:
Opcionalmente, puedes guardar el dataframe en un archivo CSV para su posterior uso:
Para limpiar los datos obtenidos del archivo «tweets.csv» creado anteriormente, podemos utilizar Pandas para cargar el archivo CSV en un dataframe y luego realizar diversas operaciones de limpieza y preprocesamiento de datos.
Este es solo un ejemplo básico de algunas de las operaciones de limpieza que se pueden realizar en los datos de los tweets. Dependiendo de los datos específicos que se estén utilizando, puede ser necesario realizar otras operaciones de limpieza y preprocesamiento de datos.
Para guardar el dataset de tweets limpios en un nuevo archivo CSV llamado «tweets_limpios.csv», podemos utilizar el método to_csv() del dataframe de Pandas.
Aquí te dejo un ejemplo de cómo podrías hacerlo:
Para guardar los datos del archivo «tweets_limpios.csv» en una base de datos MySQL, necesitaremos instalar la librería de Python mysql-connector-python. También necesitaremos crear una base de datos y una tabla en MySQL para almacenar los datos.
A continuación te dejo un ejemplo de cómo podrías hacerlo:
Primero, instala la librería mysql-connector-python utilizando el siguiente comando en la terminal o en el símbolo del sistema (si estás utilizando Windows):
pip install mysql-connector-python
A continuación, crea una base de datos y una tabla en MySQL utilizando los siguientes scripts SQL:
Este script creará una base de datos llamada tweets_db y una tabla llamada tweets con dos columnas: id (un número de identificación único para cada tweet) y tweet_text (el texto del tweet).
Ahora, puedes utilizar el siguiente script de Python para leer los datos del archivo «tweets_limpios.csv» y guardarlos en la base de datos:
Asegúrate de cambiar los valores de host, user y password en la función mysql.connector.connect() para que coincidan con tu configuración de MySQL.
Este script carga los datos del archivo CSV en un dataframe de Pandas y luego se conecta a la base de datos MySQL utilizando la librería mysql-connector-python. A continuación, se crea un cursor para ejecutar comandos SQL y se inserta cada tweet en la tabla de la base de datos utilizando un bucle for y la función cursor.execute(). Finalmente, se cierra la conexión con la base de datos y se imprime un mensaje para confirmar que los datos se han guardado correctamente.
Espero que esto te ayude a guardar los datos del archivo «tweets_limpios.csv» en una base de datos MySQL.
Código Python: Cada archivo .pdf va a transformarse en un archivo .txt.
PDF a TXT
Para esto se pueden utilizar los módulos PyPDF2 y os de Python para convertir varios archivos .pdf en archivos .txt. Aquí te proporciono un ejemplo de código:
import os
import PyPDF2
# Establecer el directorio que contiene los archivos PDF
pdf_dir = "ruta/al/directorio/con/pdf"
# Iterar a través de todos los archivos PDF en el directorio
for filename in os.listdir(pdf_dir):
if filename.endswith('.pdf'):
# Abrir el archivo PDF
pdf_file = open(os.path.join(pdf_dir, filename), 'rb')
# Crear un nuevo archivo de texto con el mismo nombre
txt_file = open(os.path.join(pdf_dir, os.path.splitext(filename)[0] + '.txt'), 'w')
# Crear un objeto lector de PDF
pdf_reader = PyPDF2.PdfFileReader(pdf_file)
# Iterar a través de todas las páginas en el archivo PDF
for page_num in range(pdf_reader.numPages):
# Extraer el texto de cada página
page = pdf_reader.getPage(page_num)
text = page.extractText()
# Escribir el texto en el archivo de texto
txt_file.write(text)
# Cerrar los archivos
pdf_file.close()
txt_file.close()
Asegúrate de tener PyPDF2 instalado. Puedes instalarlo a través de pip:
pip install PyPDF2
Este código iterará a través de todos los archivos PDF en el directorio especificado, creará un nuevo archivo de texto con el mismo nombre que el archivo PDF, extraerá el texto de cada página del archivo PDF y lo escribirá en el archivo de texto. Los archivos de texto se guardarán en el mismo directorio que los archivos PDF.
Si quieres conocer más de la libreria PyPDF2 puedes visitar este link.
Nos encanta el diseño web, y es nuestra pasión. El diseño web es parte de nuestra vida. Desde el año 2000, hemos observado lo que sucede en el mundo del diseño web todos los días. Estamos involucrados en el proceso de diseño web, y se han diseñado millones de páginas web con nuestra participación activa. Y ahora, nos gustaría compartir algunas de nuestras interesantes ideas con usted.
Ccompartimos el secreto sobre cómo crear los diseños web más modernos del mundo. Aprenderá las reglas básicas del diseño web moderno para crear sitios web, blogs y temas de clase mundial. Descubrirá cómo volverse único, cómo destacarse de la competencia y cómo atraer la atención de sus clientes.
Este artículo consta de varios capítulos:
En el Capítulo 1 , descubriremos cómo está cambiando el diseño web. Además, aprenderá sobre el nacimiento de la nueva generación de diseñadores web, que están diseñando páginas web en Diseño Web 3.0.
En el Capítulo 2 , hablaremos sobre los creadores de sitios web que se están quedando atrás de las tendencias y frenando la evolución del diseño web.
En el Capítulo 3 , aprenderá a crear diseños web modernos de una forma nueva, rápida y fácilmente.
Capítulo 1. El diseño web está cambiando
Lo primero de lo que hablaremos es del diseño web . Está cambiando rápidamente. Para comprender esto, debe revisar la evolución del diseño web: desde los primeros sitios hasta los sitios web de moda de hoy. Intentaremos predecir qué tipo de diseños web serán populares en un futuro próximo.
Hay tres etapas en la evolución del diseño web. En la imagen a continuación, hemos coloreado cada etapa y agregado años a la línea de tiempo.
Evolución del diseño web
Primeros sitios web
Los primeros sitios web estaban basados en texto. Y es difícil decir que tenían algún diseño web.
Transición al Diseño Web 1.0
Más tarde, se produjo la transición al Diseño Web 1.0. Aparecieron algunos elementos gráficos en los sitios web, que se volvieron más atractivos. Las páginas web tienen tablas. Luego, las tablas se transformaron en Layouts y Grids. Las tablas brindaban cierta flexibilidad, pero no eran compatibles con dispositivos móviles y no era necesario en ese momento.
Muchas personas crearon sus propios sistemas de gestión de contenido (CMS). Por lo tanto, los webmasters no tuvieron que editar los archivos HTML ni subirlos a los servidores. Pero era posible modificar el contenido en línea en tiempo real.
La evolución del diseño web y la difusión de los teléfonos móviles llevaron a nuevos cambios.
Transición al Diseño Web 2.0
La siguiente transición fue al Diseño Web 2.0. Las páginas web tenían cuadrículas y los diseñadores web podían organizar elementos con diseños.
Bootstrap aceleró la velocidad del desarrollo web. Simplificó el proceso y lo hizo más conveniente. Bootstrap admitió dispositivos móviles desde el principio con Grids.
Bootstrap’s Grid se estiró automáticamente al ancho completo de las pantallas. Redujo significativamente el tiempo que el desarrollador dedicaba a la codificación para admitir computadoras de escritorio, portátiles, tabletas y teléfonos.
Sitio web moderno en varios dispositivos
WordPress, Joomla y Drupal se convirtieron en los sistemas de gestión de contenido más populares. Reemplazaron los sistemas autoescritos, que eran imperfectos y costosos de escribir y mantener y que también tenían una funcionalidad limitada. Gracias a WordPress y Joomla, cualquiera puede crear un blog o sitio web. Y hoy, más del 20 % de los sitios se construyen con esos sistemas.
WordPress y Joomla siempre admitieron temas y plantillas, lo que hizo posible modificar el diseño sin cambiar el contenido. Era posible crear temas manualmente o comprar temas ya hechos. Además, los webmasters podrían usar Theme Builder. Hay una gran cantidad de temas y plantillas disponibles.
En 2008, llegó Artisteer. Se convirtió en el generador de temas más popular en ese momento. Con Artisteer, cualquiera puede crear temas y plantillas de sitios web en minutos. Millones de sitios web usan temas diseñados en Artisteer.
¿Está muerto el diseño web?
Parecería que todos deberían estar contentos: diseñadores web, desarrolladores web y usuarios. Sin embargo, había un nuevo problema. Los diseñadores web comenzaron a hacer una pregunta: «¿Está muerto el diseño web?». Puede encontrar artículos que hacen la misma pregunta en todas las plataformas conocidas, como Medium, Mashable, SmashingMagazine, Quora y Reddit. Desde 2015, los diseñadores web se han hecho la misma pregunta.
En la imagen de abajo puedes ver los resultados de búsqueda de Google para esta frase.
Resultados de búsqueda en Google
¿Por qué está pasando esto? Bootstrap alcanzó el apogeo de su popularidad en 2015-2016. Puedes ver esto en el gráfico a continuación.
Bootstrap en Tendencias de Google
La causa principal de este problema estaba en Bootstrap y análogos. Los diseños web de Bootstrap se parecían tanto entre sí que era como si estuvieran hechos con una plantilla. Muchos creadores de sitios web empeoran la situación al tener Bootstrap como el núcleo de sus sistemas. El diseño de un sitio web de Bootstrap comienza con una imagen general, y otras partes encajan en la estructura de dos, tres y cuatro celdas. Muchos temas y plantillas en Bootstrap impulsaron la distribución de este problema.
Ver en la imagen de abajo.
Resultados de Pinterest para «diseño web bootstrap»
En 2015, Ben Hunt publicó el libro titulado “Web Design Is Dead”. La idea principal del libro es que la popularidad de los temas y plantillas de 50 dólares casi acabó con la demanda del trabajo del diseñador web. Un diseño web personalizado cuesta mucho más porque requiere tiempo, conocimientos y habilidades. Además del diseño, requiere codificación HTML y CSS personalizada.
¿Sigue siendo un problema hoy en día? Sí, lo es. Después de cuatro años, el problema sigue sin resolverse. En la imagen a continuación, puede ver las sugerencias de búsqueda de Google. La gente sigue haciéndose esta pregunta hoy.
Consejos de búsqueda en Google
Los diseñadores web comenzaron a encontrar soluciones. No podían mantenerse alejados y ver cómo el diseño web , la pasión de sus vidas, se atascaba en el progreso. Siempre hay diseñadores que quieren hacer de la Web un lugar mejor. Steve Jobs dijo una vez: «Piensa diferente» sobre este tipo de personas. Estas personas siempre buscan nuevas ideas.
Diseño de impresión
El diseño web es muy joven. Tiene unas dos décadas. El diseño de impresión llegó mucho antes que el diseño web y tiene cientos de años de historia.
Evolución del diseño de impresión. Copyright de onlinedesignteacher.com
Las herramientas de diseño de impresión siempre permitieron a los creativos colocar elementos libremente. Los diseñadores no estaban limitados en su creatividad. Y los editores siempre fueron libres en sus ideas. No tenían que pensar en HTML, CSS o dispositivos móviles.
La fórmula del diseño de impresión:
POSICIONAMIENTO LIBRE + CREATIVIDAD = DISEÑO DE IMPRESIÓN MODERNO
Diseño de impresión en Pinterest
Hoy en día, muchos editores han reducido significativamente las tiradas de impresión y se han puesto en línea. Las páginas impresas se han convertido en páginas web en la Web. Pero esas páginas web perdieron la creatividad y la libertad del diseño impreso. Los diseñadores no querían perder las ideas impresas que habían recopilado durante años. Comenzaron a diseñar con ideas impresas en línea.
El nacimiento del diseño web 3.0
A partir de 2016, comenzamos a notar que las ideas de Print Design aparecían regularmente en diseños de páginas web en Pinterest, Behance y Dribbble. Esos nuevos diseños web diferían con:
Posicionamiento libre.
Superposición de elementos.
Rompiendo las limitaciones de las Grids tipo Bootstrap.
Resumen: Reconocimiento automático de voz (ASR) usando el transformador wav2vec2 con la ayuda de la biblioteca de transformadores Huggingface en Python
El reconocimiento automático de voz (ASR) es la tecnología que nos permite convertir el habla humana en texto digital. Este tutorial se sumergirá en el modelo de vanguardia actual llamado Wav2vec2 utilizando la biblioteca de transformadores Huggingface en Python.
Wav2Vec2 es un modelo preentrenado que se entrenó solo en el audio del habla (autosupervisado) y luego siguió un ajuste fino en los datos del habla transcritos ( conjunto de datos LibriSpeech ). Ha superado a los modelos semisupervisados anteriores.
Al igual que en el modelado de lenguaje enmascarado, Wav2Vec2 codifica el audio del habla a través de una red neuronal convolucional de múltiples capas y luego enmascara tramos de las representaciones del habla latente resultantes. Estas representaciones luego se alimentan a una red de transformadores para construir representaciones contextualizadas; Consulte el documento Wav2Vec2 para obtener más información.
Para comenzar, instalemos las bibliotecas requeridas:
Usaremos torchaudio para cargar archivos de audio. Tenga en cuenta que necesita instalar PyAudio si va a usar el código en su entorno y PyDub si está en un entorno Colab. Los vamos a usar para grabar desde el micrófono en Python.
Empezando
Importemos nuestras bibliotecas:
from transformers import *
import torch
import soundfile as sf
# import librosa
import os
import torchaudio
A continuación, cargando el procesador y los pesos del modelo de wav2vec2:
Hay dos arquitecturas de modelo y pesos más utilizados para wav2vec. wav2vec2-base-960hes una arquitectura base con aproximadamente 360 MB de tamaño, logró una tasa de error de palabra (WER) del 3,4 % en el conjunto de prueba limpio y se entrenó en 960 horas del conjunto de datos LibriSpeech en audio de voz muestreado de 16 kHz.
Por otro lado, wav2vec2-large-960h-lv60-selfes un modelo más grande con aproximadamente 1,18 GB de tamaño (probablemente no se ajuste a la memoria RAM de su computadora portátil) pero logró un 1,9 % de WER (cuanto más bajo, mejor) en el conjunto de prueba limpio. Entonces, este es mucho mejor para el reconocimiento, pero más pesado y toma más tiempo para la inferencia. Siéntase libre de elegir cuál se adapta mejor a usted.
Siéntase libre de elegir cualquiera de los archivos de audio anteriores. A continuación, la celda carga el archivo de audio:
# load our wav file
speech, sr = torchaudio.load(audio_url)
speech = speech.squeeze()
# or using librosa
# speech, sr = librosa.load(audio_file, sr=16000)
sr, speech.shape
(16000, torch.Size([274000]))
La torchaudio.load()función carga el archivo de audio y devuelve el audio como un vector y la frecuencia de muestreo. También descarga automáticamente el archivo si es una URL. Si es una ruta en el disco, también lo cargará.Tenga en cuenta que también usamos el squeeze()método, es para eliminar las dimensiones con el tamaño de 1. es decir, convertir el tensor de (1, 274000)a (274000,).
A continuación, debemos asegurarnos de que el archivo de audio de entrada al modelo tenga una frecuencia de muestreo de 16000 Hz porque wav2vec2 está entrenado para eso:
# resample from whatever the audio sampling rate to 16000
resampler = torchaudio.transforms.Resample(sr, 16000)
speech = resampler(speech)
speech.shape
torch.Size([274000])
Usamos Resamplede torchaudio.transforms , que nos ayuda a convertir el archivo de audio cargado sobre la marcha de una frecuencia de muestreo a otra.
Antes de hacer la inferencia, pasamos el vector de audio al procesador wav2vec2:
Pasando los logits a torch.argmax()para obtener la predicción probable:
# use argmax to get the predicted IDs
predicted_ids = torch.argmax(logits, dim=-1)
predicted_ids.shape
torch.Size([1, 856, 32])
Al decodificarlos de nuevo a texto, también bajamos el texto, ya que está en mayúsculas:
# decode the IDs to text
transcription = processor.decode(predicted_ids[0])
transcription.lower()
and missus goddard three ladies almost always at the service of an invitation from hartfield and who were fetched and carried home so often that mister woodhouse thought it no hardship for either james or the horses had it taken place only once a year it would have been a grievance
Terminando el código
Ahora recopilemos todo nuestro código anterior en una sola función, que acepta la ruta de audio y devuelve la transcripción:
def get_transcription(audio_path):
# load our wav file
speech, sr = torchaudio.load(audio_path)
speech = speech.squeeze()
# or using librosa
# speech, sr = librosa.load(audio_file, sr=16000)
# resample from whatever the audio sampling rate to 16000
resampler = torchaudio.transforms.Resample(sr, 16000)
speech = resampler(speech)
# tokenize our wav
input_values = processor(speech, return_tensors="pt", sampling_rate=16000)["input_values"]
# perform inference
logits = model(input_values)["logits"]
# use argmax to get the predicted IDs
predicted_ids = torch.argmax(logits, dim=-1)
# decode the IDs to text
transcription = processor.decode(predicted_ids[0])
return transcription.lower()
CopiarImpresionante, puede pasar cualquier ruta de archivo de voz de audio:
Este modelo funciona muy bien, pero con audios y modelos pre-entrenados en idioma inglés. Lo hemos adecuado a que funcione con audios en español, tanto de archivos como grabados en directo, utilizando en este caso modelos de Hugging Face entrenados en idioma español.
Puedes acceder al link de Hugging Face y mirar los demas modelos filtrando por idioma.
Conclusión
Impresionante, ahora si quieres usar tu voz, he preparado un fragmento de código en los cuadernos para grabar con tu micrófono. Siéntase libre de elegir el entorno que está utilizando:
Como indiqué, tenga en cuenta que hay otros pesos wav2vec2 entrenados por otras personas en idiomas diferentes al inglés. Consulte la página de modelos y filtre en el idioma de su deseo para obtener el modelo deseado, por ejemplo los desarrollados por Open AI.
Los Hackers, Scammers, y gente de dudosa reputación e intención están haciendo uso intensivo de herramientas tecnológicas como Drives, Chats y Calendarios, y en general también de Redes Sociales.
Sea acucioso, sospeche de lo que se vea extraño, y sobre todo no acepte invitaciones de extraños si no tiene una referencia de ellos, ni etiquetas, ni mucho menos archivos compartidos por estas plataformas.
Qué es la suplantación de identidad
La suplantación de identidad (phishing) es un intento de robo de información personal o acceso a cuentas en línea mediante correos electrónicos, mensajes, anuncios o sitios engañosos que se parecen a los que usas. Por ejemplo, un correo electrónico de suplantación de identidad puede ser similar a uno procedente de tu banco y puede solicitar información privada sobre tu cuenta bancaria.
Es posible que los mensajes o el contenido de suplantación de identidad (phishing) realicen lo siguiente:
Solicitar que proporciones información personal o financiera
Solicitar que hagas clic en vínculos o descargues software
Robar la identidad de una organización respetada, como tu banco, un sitio de redes sociales que uses o tu lugar de trabajo
Robar la identidad de alguien que conoces, como un miembro de la familia, amigo o compañero de trabajo
Tener el aspecto exacto de un mensaje de una organización o persona de confianza
Evita los mensajes y el contenido de suplantación de identidad (phishing)
Para evitar las solicitudes y los mensajes engañosos, sigue estas sugerencias.
Presta atención a las advertencias de Google
Nunca respondas a solicitudes de información privada
No ingreses tu contraseña después de hacer clic en un vínculo de un mensaje
Ten cuidado con los mensajes que suenan urgentes o demasiado buenos para ser ciertos
Detente y piensa antes de hacer clic
Goodle, Apple ha desarrollado herramientas adicionales para denunciar estas acciones. Haga uso de ellas.
