El periodista Dan Nguyen de ProPublica comparte 5 herramientas muy útiles para la recolección de datos (o ‘raspado’) de páginas web. Si bien estas herramientas requieren la capacidad de programar, también pueden ser usadas por periodistas que están aprendiendo a programar y saben lo básico.
Google Refine: (Anteriormente conocida como base libre GridWorks) Una aplicación sofisticada que hace la limpieza de datos en un instante.
Firebug: Un plug-in para Firefox que añade una serie de herramientas de desarrollo útiles, incluyendo el seguimiento de parámetros y archivos recibidos de los sitios web que quiere ‘raspar’.
Ruby: El lenguaje de programación más utilizado en ProPublica.
Nokogiri: Una colección de Ruby esencial para raspar las páginas web.
Tesseract: Reconocimiento de caracteres ópticos de Google ( OCR ) herramienta útil para convertir el texto escaneado en «real», texto interpretable.
Adobe Acrobat: Puede (a veces) convertir archivos PDF a HTML bien estructurados.
Además, Nguyen agrega guías para usar mejor estas herramientas.
Usar Google Refine para limpiar datos desordenados.
Lectura de datos desde sitios Flash usando Firebug.
Análisis de PDF.
Raspado de HTML.
Obtener el texto de una imagen escaneada (solo en PDF).
