Rascador web Java

Web Scraping también se denomina raspado de datos, recolección web o rastreo web, que se utiliza para extraer datos de las páginas web. Un web scraper puede usar diferentes enfoques para extraer información. Por ejemplo, XPath, selectores CSS, filtros personalizados, navegación HTML, etc. De acuerdo con tales escenarios, este artículo cubre cómo crear un raspador web mediante programación en Java.

Configuración de la biblioteca de raspado web de Java

Aspose.HTML for Java La API admite funciones de web scraping que utilizan diferentes técnicas. Simplemente puede acceder a la API descargando los archivos JAR desde la página Descargas o usar las siguientes configuraciones de Maven en el archivo pom.xml de su proyecto:

Repositorio:

 <repositories>
     <repository>
         <id>snapshots</id>
         <name>repo</name>
         <url>http://repository.aspose.com/repo/</url>
     </repository>
</repositories>

Dependencia:

 <dependencies>
    <dependency>
        <groupId>com.aspose</groupId>
        <artifactId>aspose-html</artifactId>
        <version>21.12</version>
        <classifier>jdk17</classifier>
    </dependency>
</dependencies>

Web Scraping con navegación HTML en Java

Puede trabajar con la clase Nodo para navegar por páginas HTML. El fragmento de código siguiente muestra cómo navegar por un documento HTML en Java:

// Preparar un código HTML
String html_code = "<span>Hello</span> <span>World!</span>";

// Inicializar un documento a partir del código preparado
com.aspose.html.HTMLDocument document = new com.aspose.html.HTMLDocument(html_code, ".");
try {
    // Obtenga la referencia al primer hijo (primer SPAN) del CUERPO
    com.aspose.html.dom.Element element = document.getBody().getFirstElementChild();
    System.out.println(element.getTextContent()); // output: Hello

    // Obtener la referencia al segundo elemento SPAN
    element = element.getNextElementSibling();
    System.out.println(element.getTextContent()); // output: World!
} finally {
    if (document != null) {
        document.dispose();
    }
}

Inspección del Documento HTML y sus Elementos en Java

Puede trabajar con el método transversal de elementos para navegar por las páginas HTML. El ejemplo de código a continuación explica cómo inspeccionar documentos HTML en Java.

Uso de filtros personalizados para Web Scraper en Java

Puede configurar un filtro personalizado para omitir o aceptar filtros específicos para trabajar con el web scraper en Java. El ejemplo de código a continuación explica cómo trabajar con los filtros personalizados o definidos por el usuario en un web scraper usando Java:

public class OnlyImageFilter extends com.aspose.html.dom.traversal.filters.NodeFilter {

    @Override
    public short acceptNode(com.aspose.html.dom.Node n) {
        // El filtro actual omite todos los elementos, excepto los elementos IMG.
        return "img".equals(n.getLocalName()) ? FILTER_ACCEPT : FILTER_SKIP;
    }

}

Posteriormente, después de configurar un filtro personalizado, puede navegar fácilmente por una página HTML usando el fragmento de código a continuación:

Web Scraping usando XPath Query en Java

Puede seleccionar diferentes nodos de un documento HTML por diferentes criterios utilizando XPath. El siguiente código demuestra cómo realizar web scraping usando XPath Query en Java:

Web Scraping con CSS Selector en Java

Puede buscar los elementos necesarios en un raspador web utilizando el selector de CSS. Puede especificar un parámetro como selector de consulta y luego se devuelve una lista de coincidencias con el selector al raspador web. El siguiente ejemplo de código muestra cómo usar el selector de CSS en un web scraper usando Java:

Conclusión

En este artículo, ha explorado diferentes métodos que se pueden usar para crear un web scraper en Java. Solo necesita realizar algunas llamadas a la API utilizando la biblioteca Aspose.HTML for Java para crear un web scraper en Java. Puede explorar las técnicas de navegación HTML, selector de CSS, filtro personalizado y consulta XPath en este artículo. Además, no dude en ponerse en contacto con nosotros a través del foro si necesita más información o ayuda.

Ver también

Convertir EPUB a XPS en Java