Requerimientos

• El deberá leer las informaciones de un scrapper creado por el Backend
• Las noticias obtenidas deberá ser clasificadas por categoría

Ficha

Scrapper

El proyecto tiene como objetivo el realizar web scrapping sobre ciertas paginas de noticias. Se escogieron en total 5 paginas de noticias que principalmente abordan temas de ciencia, las escogidas fueron:

https://www.howstuffworks.com

https://www.muyinteresante.es

https://www.nature.com

https://noticiasdelaciencia.com

https://www.sciencenews.org

Se realizo el web scrapping mediante el framework de Python Scrapy, que os permite realizar las consultas de manera asíncrona, mediante selectores CSS o mediante XPATH (se escogió realizar las consultas mediante XPATH debido a que se posee un mayor dominio y este permite realizar consultas mas precisas.)

Scrapy 2.5 documentation - Scrapy 2.5.0 documentation

El flujo de trabajo que se realizo con Scrapy es el siguiente:

• Obtener la data por medio de Spiders (concepto propio de la librería)
• Limpieza de datos (limpiar espacios de strings, algunos caracteres, y guardar según la estructura de datos asociada)
• Guardar en items (objetos propios de la librería, que permiten ser utilizados en el pipeline para guardar en archivos o en una base de datos)
• Almacenar información en una base de datos