Actualmente la información que requerimos esta en distintas páginas web, o incluso se actualiza en distintos enlaces. Algunas veces nuestros trabajo requiere la visita, búsqueda y recolección manual de datos web. Para automatizar esas tareas se puede utilizar una plataforma como Scrapy.
Que es Scrapy?
Scrapy es una plataforma colaborativa de código libre que corre en Python para extraer datos de páginas web usado para una serie de aplicaciones como minería de datos, procesamiento de información o registro histórico.
Scrapy tiene las siguientes características:
- Rápida y poderosa: Escribes las reglas para extraer los datos y scrapy hace el resto.
- Fácilmente extensible: Dada su configuración, puede generara nueva funcionalidad sin tener que modificar el código fuente.
- Portable y Pythonico: Esta escrito en Python y puede correr en Linux, Windows, Mac y BSD.
Que comprende Scrapy?
Dado que es un framework, Scrapy tiene una serie de herramientas poderosas para hacer el "scraping" o extraer información de webs de manera fácil y eficiente. Estas herramientas comprenden:
- Soporte para extraer y seleccionar datos de fuentes HTML/XML usando selectores CSS y expresiones XPath, con métodos de ayuda para extraer usando expresiones regulares.
- Una consola interactiva en IPython para ensayar los CSS y expresiones XPath para extraer datos, muy útil cuando se construyen métodos propios.
- Soporte para exportar los registros en formatos múltiples como JSON, CSV y XML.
- Soporte para manejar declaraciones foráneas, no estándares y códigos rotos.
- Fuerte extensibilidad, ya que te permite conectar tu propia funcionabilidad usando señales, extensions y pipelines.
Como aprender Scrapy?
Para iniciarte en Scrapy te recomendamos instalar Scrapy de esta Guia de Instalación. Seguidamente puedes hacer este Tutorial.
Visita la página de Scrapy en scrapy.org para más información.
Conoces nuestras soluciones en programación y desarrollo de plataformas web?
Visita nuestro link de Soluciones en Programación
FloPy es la librerìa de Python que construye y ejecuta modelos MODFLOW; esta librería se ha mejorado para proporcionar un soporte completo de MODFLOW 6 y la mayor parte de su desarrollo está relacionado con la funcionalidad de MODFLOW 6, herramientas para usar datos espaciales vectoriales, rasters y funcionalidades comunes de ploteo y exportación.
Python es un lenguaje de programación sencillo y potente; su simplicidad es notable en comparación con otros lenguajes de programación y su potencia se basa en la cantidad de herramientas disponibles para las diferentes áreas de estudio.
Hemos desarrollado un programa completo en modelamiento de aguas subterráneas con MODFLOW y FloPy que abarca desde los temas esenciales en Python hasta casos aplicados de modelamiento regional e intrusión marina. El programa está diseñado para brindarle al estudiante un enfoque metodológico para aprender FloPy basado en una serie de ejemplos aplicados junto con las opiniones/experiencias del profesor y la revisión del software.