以下是一个Java网络爬虫的完整教程，结合了基础实现与高级技巧，帮助你从入门到进阶掌握爬虫开发。

### 一、基础概念与工具准备

**核心模块**

爬虫主要分为三个模块：

- **HTTP请求模块** ：发送请求获取网页内容（如使用`HttpURLConnection`或第三方库`HttpClient`）；

- **HTML解析模块** ：解析网页内容并提取所需数据（推荐使用`Jsoup`）；

- **数据存储模块** ：将提取的数据保存到文件或数据库中。

**必备工具**

- **开发环境** ：JDK 8+，IDE（如IntelliJ IDEA）；

- **依赖管理** ：Maven或Gradle（用于引入`Jsoup`、`HttpClient`等库）。

### 二、基础爬虫实现

**发送HTTP请求**

使用`HttpURLConnection`发送GET请求：

```java

URL url = new URL("https://example.com");

HttpURLConnection conn = (HttpURLConnection) url.openConnection();

conn.setRequestMethod("GET");

conn.setRequestProperty("User-Agent", "Mozilla/5.0");

BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream()));

String line;

StringBuilder response = new StringBuilder();

while ((line = reader.readLine()) != null) {

response.append(line);

}

conn.disconnect();

```

*注意：部分网站需添加更多请求头（如`Accept`、`Referer`）模拟浏览器行为。

**解析HTML内容**

使用`Jsoup`提取数据：

```java

Document doc = Jsoup.connect(url).userAgent("Mozilla/5.0").get();

Elements elements = doc.select("div.content");

for (Element element : elements) {

String title = element.select("h2").text();

String content = element.select("p").text();

System.out.println("标题: " + title);

System.out.println("内容: " + content);

}

```

*推荐使用CSS选择器快速定位目标元素。

### 三、进阶技巧与优化

**多线程与并发**

使用`ExecutorService`实现多线程爬取，提高效率：

```java

public class ConcurrentCrawler {

private ExecutorService executorService = Executors.newFixedThreadPool(10);

private Queue urlQueue = new LinkedBlockingQueue<>();

private Set visitedUrls = Collections.synchronizedSet(new HashSet<>());

public void addUrl(String url) {

if (!visitedUrls.contains(url)) {

urlQueue.offer(url);

}

}

public void crawl() {

while (!urlQueue.isEmpty()) {

String url = urlQueue.poll();

executorService.submit(() -> processUrl(url));

visitedUrls.add(url);

}

executorService.shutdown();

}

private void processUrl(String url) {

// 发送请求、解析、存储逻辑

}

}

```

**数据存储**

将提取的数据保存为CSV或数据库：

```java

// 保存为CSV

try (BufferedWriter writer = new BufferedWriter(new FileWriter("output.csv"))) {

writer.write("标题,内容");

for (Element element : elements) {

writer.write(element.select("h2").text() + "," + element.select("p").text());

writer.newLine();

}

} catch (IOException e) {

e.printStackTrace();

}

```

**反爬虫策略**

- **模拟浏览器** ：设置`User-Agent`、`Accept`等请求头；

- **限制频率** ：使用`Thread.sleep`控制请求间隔；

- **IP代理** ：通过代理服务器发送请求。

### 四、注意事项

**法律与伦理**

遵守目标网站的`robots.txt`协议，避免爬取敏感信息或导致IP封禁；

**性能优化**

- 使用连接池管理HTTP连接；

- 异步处理请求以提高吞吐量。

通过以上步骤，你可以构建一个基础到进阶的Java爬虫。建议从简单网页抓取开始，逐步引入多线程、分布式架构等高级特性。