如何下载这个做了反爬处理的网页？

Question

人工智能吹嘘的神乎其神了，下面有个网页，做了反爬处理，如何获得数据呢？
https://stockanalysis.com/stocks/tsla/financials/balance-sheet/
我要提取特斯拉的资产负债表。
AI得到的代码：

from playwright.sync_api import sync_playwright
import csv

def download_tsla_balance_sheet():
    # 初始化 Playwright 并启动浏览器（无头模式，不显示界面）
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()        
        # 访问目标网页，设置较长超时应对网络延迟
        target_url = "https://stockanalysis.com/stocks/tsla/financials/balance-sheet/"
        page.goto(target_url, timeout=60000)  # 超时时间60秒        
        # 关键：等待表格数据完全加载（通过定位表格核心元素确认）
        # 页面表格的CSS选择器为"table#financials-table"，等待其出现且内容加载
        table_selector = "table#financials-table"
        page.wait_for_selector(
            selector=table_selector,
            state="visible",  # 确保元素可见
            timeout=30000     # 等待超时30秒
        )        
        # 提取表格数据
        table = page.query_selector(table_selector)
        rows = table.query_selector_all("tr")  # 获取所有行
        sheet_data = []        
        for row in rows:
            # 提取每行的表头（th）和单元格（td）文本，去除多余空格
            cells = row.query_selector_all("th, td")
            row_text = [cell.text_content().strip() for cell in cells]
            if row_text:  # 过滤空行
                sheet_data.append(row_text)
        # 保存数据到CSV文件
        with open("/tmp/TSLA_Balance_Sheet.csv", "w", newline="", encoding="utf-8") as f:
            csv_writer = csv.writer(f)
            csv_writer.writerows(sheet_data)        
        print("数据下载完成！文件已保存为：TSLA_Balance_Sheet.csv")
        browser.close()  # 关闭浏览器

还是无法获得数据，请问，如何战胜AI，用人脑来完成工作？

Answer 1

看上去获取到了，但是完全不知道从哪里获取的。这是一个黑盒魔法

但是咋说呢，他能直接打开浏览器，然后做 OCR，也可以拿到 dom 之后再解析处理

这种不需要登录的公开数据，看上去 ai 是可以搞定的

如果你擅长爬虫，有可能你还能提供给 ai 更多的利器，比我更顺畅

---

如果你和我一样是小白，那有可能你需要反复的把你的环境，代码等上下文抛给 ai 来处理

那我要开始了，看看我的 AI 能否帮我这个小白

看上去也毫无问题，代码甚至都是使用 requests.get 来实现的，看上去没有反爬啊

---

补充代码，及注释

#!/usr/bin/env python3  # 指定使用Python 3解释器执行此脚本
"""
特斯拉资产负债表数据获取脚本
从 StockAnalysis.com 获取特斯拉的资产负债表数据
"""

import requests  # 导入requests库，用于发送HTTP请求获取网页内容
from bs4 import BeautifulSoup  # 导入BeautifulSoup库，用于解析HTML文档
import json  # 导入json库，用于处理JSON格式的数据
import re  # 导入re库，用于正则表达式匹配和提取
from typing import Dict, List, Optional  # 导入类型提示相关的类型，用于函数参数和返回值的类型标注


def fetch_balance_sheet_data(url: str) -> Dict:  # 定义函数：从网页获取资产负债表数据，参数为URL字符串，返回字典类型
    """
    从网页获取资产负债表数据
    
    Args:
        url: 目标网页URL
        
    Returns:
        包含资产负债表数据的字典
    """
    headers = {  # 定义HTTP请求头字典，模拟浏览器访问
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',  # 设置用户代理，伪装成Chrome浏览器
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',  # 设置可接受的内容类型
        'Accept-Language': 'en-US,en;q=0.5',  # 设置可接受的语言为英语
    }
    
    try:  # 开始异常处理块，捕获可能的请求错误
        print(f"正在访问: {url}")  # 打印正在访问的URL信息
        response = requests.get(url, headers=headers, timeout=30)  # 发送GET请求获取网页内容，设置超时时间为30秒
        response.raise_for_status()  # 检查HTTP响应状态码，如果状态码表示错误则抛出异常
        print(f"✓ 成功获取网页 (状态码: {response.status_code})")  # 打印成功信息，包含HTTP状态码
        
        soup = BeautifulSoup(response.content, 'html.parser')  # 使用BeautifulSoup解析HTML内容，使用html.parser解析器
        
        # 查找包含财务数据的表格
        balance_sheet_data = extract_balance_sheet_from_html(soup)  # 调用函数从解析后的HTML中提取资产负债表数据
        
        return balance_sheet_data  # 返回提取到的资产负债表数据
        
    except requests.exceptions.RequestException as e:  # 捕获requests库的请求异常
        print(f"✗ 请求失败: {e}")  # 打印请求失败的错误信息
        return {}  # 返回空字典表示获取失败
    except Exception as e:  # 捕获其他所有异常
        print(f"✗ 处理失败: {e}")  # 打印处理失败的错误信息
        return {}  # 返回空字典表示处理失败


def extract_balance_sheet_from_html(soup: BeautifulSoup) -> Dict:  # 定义函数：从HTML中提取资产负债表数据，参数为BeautifulSoup对象，返回字典
    """
    从HTML中提取资产负债表数据
    
    Args:
        soup: BeautifulSoup对象
        
    Returns:
        包含提取数据的字典
    """
    data = {  # 初始化数据字典，用于存储提取的财务数据
        'metadata': {},  # 元数据字典，用于存储额外的元信息
        'assets': {},  # 资产字典，用于存储资产相关的财务项目
        'liabilities': {},  # 负债字典，用于存储负债相关的财务项目
        'equity': {},  # 权益字典，用于存储股东权益相关的财务项目
        'key_metrics': {}  # 关键指标字典，用于存储重要的财务指标
    }
    
    # 查找所有表格
    tables = soup.find_all('table')  # 在HTML中查找所有的table标签
    print(f"找到 {len(tables)} 个表格")  # 打印找到的表格数量
    
    # 查找包含财务数据的表格
    for table in tables:  # 遍历找到的每个表格
        # 检查表格是否包含资产负债表相关关键词
        table_text = table.get_text().lower()  # 获取表格的文本内容并转换为小写，用于关键词匹配
        if any(keyword in table_text for keyword in ['cash', 'assets', 'liabilities', 'equity', 'balance sheet']):  # 检查表格文本中是否包含资产负债表相关的关键词
            print("找到资产负债表相关表格")  # 如果找到相关表格，打印提示信息
            
            # 提取表头（年份）
            headers = []  # 初始化表头列表，用于存储年份或期间信息
            header_row = table.find('thead')  # 查找表格的thead标签（表头行）
            if header_row:  # 如果找到了表头行
                th_elements = header_row.find_all(['th', 'td'])  # 在表头行中查找所有的th和td标签
                for th in th_elements:  # 遍历每个表头元素
                    text = th.get_text(strip=True)  # 获取元素的文本内容并去除首尾空白
                    if text and text not in ['', 'Fiscal Year', 'Period Ending']:  # 如果文本不为空且不是特定的表头标识
                        headers.append(text)  # 将文本添加到表头列表中
            
            # 如果没有找到表头，尝试从第一行获取
            if not headers:  # 如果表头列表为空
                first_row = table.find('tr')  # 查找表格的第一行tr标签
                if first_row:  # 如果找到了第一行
                    th_elements = first_row.find_all(['th', 'td'])  # 在第一行中查找所有的th和td标签
                    for th in th_elements:  # 遍历每个元素
                        text = th.get_text(strip=True)  # 获取元素的文本内容并去除首尾空白
                        if text and text not in ['', 'Fiscal Year', 'Period Ending']:  # 如果文本不为空且不是特定的表头标识
                            headers.append(text)  # 将文本添加到表头列表中
            
            print(f"找到列标题: {headers}")  # 打印找到的列标题信息
            
            # 提取数据行
            rows = table.find_all('tr')  # 查找表格中所有的tr标签（行）
            for row in rows[1:]:  # 遍历除第一行外的所有行（跳过表头行）
                cells = row.find_all(['td', 'th'])  # 在当前行中查找所有的td和th标签（单元格）
                if len(cells) < 2:  # 如果单元格数量少于2个（至少需要项目名和至少一个数据值）
                    continue  # 跳过这一行，继续处理下一行
                
                # 第一列是项目名称
                item_name = cells[0].get_text(strip=True)  # 获取第一列的文本内容作为财务项目名称
                if not item_name:  # 如果项目名称为空
                    continue  # 跳过这一行，继续处理下一行
                
                # 后续列是各年份的数据
                values = []  # 初始化数值列表，用于存储该财务项目各年份的数值
                for cell in cells[1:]:  # 遍历除第一列外的所有单元格
                    cell_text = cell.get_text(strip=True)  # 获取单元格的文本内容并去除首尾空白
                    # 尝试提取数字
                    value = parse_financial_value(cell_text)  # 调用函数解析单元格文本中的数值
                    values.append(value)  # 将解析后的数值添加到数值列表中
                
                # 根据项目名称分类存储
                if item_name:  # 如果项目名称不为空
                    category = categorize_item(item_name)  # 调用函数根据项目名称确定其所属类别
                    if category:  # 如果成功确定了类别
                        if item_name not in data[category]:  # 如果该类别中还没有这个项目
                            data[category][item_name] = {}  # 为该类别创建该项目的空字典
                        # 使用zip安全地配对表头和数值，取两者中较短的长度，避免数据丢失
                        # 如果表头多于数值，多余的表头会被忽略；如果数值多于表头，多余的数值会被忽略
                        for header, value in zip(headers, values):  # 使用zip函数将表头和数值配对
                            data[category][item_name][header] = value  # 将表头作为键，对应的数值作为值存储到字典中
                        # 如果数值数量与表头数量不匹配，发出警告
                        if len(headers) != len(values):  # 如果表头数量与数值数量不一致
                            print(f"⚠️  警告: '{item_name}' 的表头数量({len(headers)})与数值数量({len(values)})不匹配")  # 打印警告信息
    
    return data  # 返回提取到的所有数据


def parse_financial_value(text: str) -> Optional[float]:  # 定义函数：解析财务数值，参数为文本字符串，返回可选的浮点数
    """
    解析财务数值
    
    Args:
        text: 包含数值的文本
        
    Returns:
        解析后的数值，如果无法解析则返回None
    """
    if not text or text == '-':  # 如果文本为空或者是单个减号（表示无数据）
        return None  # 返回None表示无法解析
    
    # 移除逗号和百分号
    text = text.replace(',', '').replace('%', '')  # 移除文本中的逗号（千位分隔符）和百分号
    
    # 尝试提取数字（包括负数）
    match = re.search(r'-?\d+\.?\d*', text)  # 使用正则表达式搜索文本中的数字（支持负数和小数）
    if match:  # 如果找到了匹配的数字
        try:  # 开始异常处理块
            return float(match.group())  # 将匹配到的数字字符串转换为浮点数并返回
        except ValueError:  # 如果转换失败（捕获值错误异常）
            return None  # 返回None表示转换失败
    
    return None  # 如果没有找到匹配的数字，返回None


def categorize_item(item_name: str) -> Optional[str]:  # 定义函数：根据项目名称分类，参数为项目名称字符串，返回可选的类别字符串
    """
    根据项目名称分类
    
    Args:
        item_name: 财务项目名称
        
    Returns:
        类别名称 ('assets', 'liabilities', 'equity', 'key_metrics')
    """
    item_lower = item_name.lower()  # 将项目名称转换为小写，便于关键词匹配
    
    # 关键指标 - 优先检查，避免与负债类中的'debt'冲突
    # 检查是否包含 "total" 或特定的关键指标关键词
    # 例如 "Total Debt" 会被分类为 key_metrics（因为包含 'total'），而 "Long-Term Debt" 会被分类为 liabilities
    if any(keyword in item_lower for keyword in [  # 检查项目名称中是否包含以下任一关键词
        'total', 'working capital', 'book value', 'net cash'  # 总计、营运资本、账面价值、净现金
    ]):
        return 'key_metrics'  # 如果匹配到关键指标关键词，返回'key_metrics'
    
    # 资产类
    if any(keyword in item_lower for keyword in [  # 检查项目名称中是否包含以下任一关键词
        'cash', 'receivable', 'inventory', 'prepaid', 'property',  # 现金、应收账款、存货、预付、不动产
        'plant', 'equipment', 'goodwill', 'intangible', 'asset'  # 厂房、设备、商誉、无形资产、资产
    ]):
        return 'assets'  # 如果匹配到资产类关键词，返回'assets'
    
    # 负债类
    # 注意：'debt' 现在只在负债类中检查，因为 key_metrics 已经处理了 "Total Debt" 的情况
    # 其他包含 'debt' 的项目（如 "Long-Term Debt", "Short-Term Debt"）会被分类为 liabilities
    if any(keyword in item_lower for keyword in [  # 检查项目名称中是否包含以下任一关键词
        'payable', 'debt', 'lease', 'liability', 'accrued', 'unearned'  # 应付、债务、租赁、负债、应计、未实现收入
    ]):
        return 'liabilities'  # 如果匹配到负债类关键词，返回'liabilities'
    
    # 权益类
    if any(keyword in item_lower for keyword in [  # 检查项目名称中是否包含以下任一关键词
        'equity', 'stock', 'retained', 'earnings', 'capital', 'comprehensive'  # 权益、股票、留存、收益、资本、综合
    ]):
        return 'equity'  # 如果匹配到权益类关键词，返回'equity'
    
    return None  # 如果没有匹配到任何类别，返回None


def save_to_json(data: Dict, filename: str):  # 定义函数：将数据保存为JSON文件，参数为数据字典和文件名
    """
    将数据保存为JSON文件
    
    Args:
        data: 要保存的数据
        filename: 输出文件名
    """
    with open(filename, 'w', encoding='utf-8') as f:  # 以写入模式打开文件，使用UTF-8编码
        json.dump(data, f, indent=2, ensure_ascii=False)  # 将数据字典写入JSON文件，设置缩进为2，允许非ASCII字符
    print(f"✓ 数据已保存到: {filename}")  # 打印保存成功的提示信息


def save_to_markdown(data: Dict, filename: str):  # 定义函数：将数据保存为Markdown格式，参数为数据字典和文件名
    """
    将数据保存为Markdown格式
    
    Args:
        data: 要保存的数据
        filename: 输出文件名
    """
    with open(filename, 'w', encoding='utf-8') as f:  # 以写入模式打开文件，使用UTF-8编码
        f.write("# 特斯拉资产负债表数据 (Python获取)\n\n")  # 写入Markdown标题
        f.write("**数据来源**: StockAnalysis.com\n")  # 写入数据来源信息
        f.write("**获取方式**: Python脚本自动抓取\n\n")  # 写入获取方式信息
        f.write("---\n\n")  # 写入分隔线
        
        # 输出资产数据
        if data.get('assets'):  # 如果数据字典中存在资产数据
            f.write("## 资产 (Assets)\n\n")  # 写入资产部分的二级标题
            for item, values in data['assets'].items():  # 遍历资产字典中的每个项目和对应的数值
                f.write(f"### {item}\n\n")  # 写入项目名称作为三级标题
                f.write("| 年份 | 数值 (百万美元) |\n")  # 写入表格表头
                f.write("|------|----------------|\n")  # 写入表格分隔线
                for year, value in values.items():  # 遍历该项目的各年份数值
                    if value is not None:  # 如果数值不为None
                        f.write(f"| {year} | {value:,.2f} |\n")  # 写入表格行，数值格式化为带千位分隔符的两位小数
                    else:  # 如果数值为None
                        f.write(f"| {year} | - |\n")  # 写入表格行，显示为减号
                f.write("\n")  # 写入空行分隔
        
        # 输出负债数据
        if data.get('liabilities'):  # 如果数据字典中存在负债数据
            f.write("## 负债 (Liabilities)\n\n")  # 写入负债部分的二级标题
            for item, values in data['liabilities'].items():  # 遍历负债字典中的每个项目和对应的数值
                f.write(f"### {item}\n\n")  # 写入项目名称作为三级标题
                f.write("| 年份 | 数值 (百万美元) |\n")  # 写入表格表头
                f.write("|------|----------------|\n")  # 写入表格分隔线
                for year, value in values.items():  # 遍历该项目的各年份数值
                    if value is not None:  # 如果数值不为None
                        f.write(f"| {year} | {value:,.2f} |\n")  # 写入表格行，数值格式化为带千位分隔符的两位小数
                    else:  # 如果数值为None
                        f.write(f"| {year} | - |\n")  # 写入表格行，显示为减号
                f.write("\n")  # 写入空行分隔
        
        # 输出权益数据
        if data.get('equity'):  # 如果数据字典中存在权益数据
            f.write("## 股东权益 (Equity)\n\n")  # 写入权益部分的二级标题
            for item, values in data['equity'].items():  # 遍历权益字典中的每个项目和对应的数值
                f.write(f"### {item}\n\n")  # 写入项目名称作为三级标题
                f.write("| 年份 | 数值 (百万美元) |\n")  # 写入表格表头
                f.write("|------|----------------|\n")  # 写入表格分隔线
                for year, value in values.items():  # 遍历该项目的各年份数值
                    if value is not None:  # 如果数值不为None
                        f.write(f"| {year} | {value:,.2f} |\n")  # 写入表格行，数值格式化为带千位分隔符的两位小数
                    else:  # 如果数值为None
                        f.write(f"| {year} | - |\n")  # 写入表格行，显示为减号
                f.write("\n")  # 写入空行分隔
    
    print(f"✓ Markdown文件已保存到: {filename}")  # 打印保存成功的提示信息


def main():  # 定义主函数，程序的入口点
    """主函数"""
    url = "https://stockanalysis.com/stocks/tsla/financials/balance-sheet/"  # 定义目标网页的URL地址
    
    print("=" * 60)  # 打印60个等号作为分隔线
    print("特斯拉资产负债表数据获取工具")  # 打印工具名称
    print("=" * 60)  # 打印60个等号作为分隔线
    print()  # 打印空行
    
    # 获取数据
    data = fetch_balance_sheet_data(url)  # 调用函数获取资产负债表数据
    
    if not data or (not data.get('assets') and not data.get('liabilities')):  # 如果数据为空或者既没有资产数据也没有负债数据
        print("\n⚠️  警告: 未能提取到完整的资产负债表数据")  # 打印警告信息
        print("可能原因:")  # 打印可能原因标题
        print("1. 网页结构发生变化")  # 打印原因1
        print("2. 需要JavaScript渲染（考虑使用Selenium）")  # 打印原因2
        print("3. 网页有反爬虫保护")  # 打印原因3
        print("\n建议: 检查网页源代码或使用浏览器自动化工具")  # 打印建议信息
        
        # 保存原始HTML用于调试
        try:  # 开始异常处理块
            response = requests.get(url, headers={  # 重新发送请求获取网页内容
                'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36'  # 设置简化的用户代理
            })
            with open('tesla_balance_sheet_raw.html', 'w', encoding='utf-8') as f:  # 以写入模式打开HTML文件
                f.write(response.text)  # 将网页的HTML内容写入文件
            print("✓ 原始HTML已保存到: tesla_balance_sheet_raw.html (用于调试)")  # 打印保存成功的提示信息
        except:  # 捕获所有异常
            pass  # 如果保存失败，静默处理（不执行任何操作）
    else:  # 如果成功获取到数据
        # 保存数据
        save_to_json(data, 'tesla_balance_sheet_data.json')  # 调用函数将数据保存为JSON格式
        save_to_markdown(data, 'tesla_balance_sheet_python.md')  # 调用函数将数据保存为Markdown格式
        
        print("\n" + "=" * 60)  # 打印换行和60个等号作为分隔线
        print("数据提取完成!")  # 打印完成提示信息
        print("=" * 60)  # 打印60个等号作为分隔线
        print(f"\n提取到的数据项:")  # 打印数据项统计标题
        print(f"  - 资产项目: {len(data.get('assets', {}))}")  # 打印资产项目的数量
        print(f"  - 负债项目: {len(data.get('liabilities', {}))}")  # 打印负债项目的数量
        print(f"  - 权益项目: {len(data.get('equity', {}))}")  # 打印权益项目的数量
        print(f"  - 关键指标: {len(data.get('key_metrics', {}))}")  # 打印关键指标的数量


if __name__ == "__main__":  # 如果当前脚本被直接运行（而不是被导入）
    main()  # 调用主函数开始执行程序