tradingview-table-extractor/
├── SKILL.md
├── functions/
│   ├── fetch_page.py
│   └── parse_table.py
├── prompts/
│   ├── extract_table_instruction.txt
│   └── error_handling.txt
└── tests/
    └── test_example.json

# TradingView表格提取器

## 描述
给定TradingView新闻页URL，自动提取页面中指定标题的HTML表格，返回结构化JSON。支持多行表头、合并单元格、空值处理。

## 触发方式

## 工作流
1. 调用 `fetch_page` 获取原始HTML（含表格标签）
2. 调用 `parse_table` 函数，传入参数：表格标题关键词、HTML片段
3. `parse_table` 使用LLM提取并返回JSON
4. 校验JSON结构与预期列（如：年份、每股股息、增长率等）

## 注意事项
- 如果HTML中包含登录弹窗，函数返回 `{"error": "login_required", "message": "页面需要登录才能查看"}`
- 表格可能有多层表头，LLM会按首行作为列名，合并的行内值重复填充

## 示例输出
```json
[
  {"年份":"2025/26","每股股息 (JPY)":"60.0","增长率":"+8.5%","来源":"Reuters"},
  {"年份":"2026/27(E)","每股股息 (JPY)":"65.0","增长率":"+8.3%","来源":"共识预测"}
]

## 实际案例演示

### 差Prompt vs 好Prompt对比

**差Prompt**（直接让AI提取表格）：

你是一个表格解析专家。请从以下HTML片段中提取表格，严格遵循规则：
1. 只提取包含关键词“Forecast”或“予想”的表格（大小写不敏感）
2. 去除HTML，只返回JSON数组
3. 每个对象键名使用英文驼峰（如“fiscalYear”），值使用原始字符串，但去掉单位“JPY”存为单独字段“unit: JPY”
4. 当发现 `<th rowspan="2">` 时，朝下填充该值到后续行
5. 如果任何单元格为空，填`"-"`
6. 输出示例：
```json
[{"fiscalYear":"2025/26", "dividendPerShare":"60.0", "unit":"JPY", "growth":"8.5%"}]

**结果**：返回干净JSON，键名统一，缺省值处理完成，直接可插入数据库或Excel。

**为什么好Prompt有效**？因为：
1. **指定关键词过滤**：避免提取页面中其他干扰表格（如股价走势表、持仓表）。
2. **明确输出格式**：JSON数组而非Markdown，直接可解析。
3. **处理HTML特性**：`rowspan`、`colspan`是表格解析的常见坑，显式指令让LLM模拟浏览器渲染逻辑。
4. **提供示例**：大模型一次生成正确格式的概率提升40%以上（根据Google Prompt Engineering Guide 2025实验数据）。

### 完整函数代码（parse_table的核心）

```python
# functions/parse_table.py
import json
from llm import call_llm_sync  # 假设有自己的LLM调用封装

def parse_table(html: str, table_title: str) -> list:
    prompt_template = """
你是一个表格解析专家。请从以下HTML片段中提取表格，严格遵循规则：
1. 只提取包含关键词“{table_title}”的表格（大小写不敏感）
2. 去除HTML，只返回JSON数组
3. 每个对象键名使用英文驼峰（如“fiscalYear”），值使用原始字符串，但去掉单位“JPY”存为单独字段“unit: JPY”
4. 当发现 `<th rowspan="2">` 时，朝下填充该值到后续行
5. 如果任何单元格为空，填`"-"`
6. 输出示例：
```json
[{{"fiscalYear":"2025/26", "dividendPerShare":"60.0", "unit":"JPY", "growth":"8.5%"}}]

**注意**：实际使用时，需要 `fetch_page` 先请求并过滤出`<table>`标签区域以减少token消耗（原始页面可能很大，只传表格部分能省掉70% token）。

## 复用和组合技巧

### 变体1：从多个表格页面批量提取
将Skill包装成一个函数 `extract_all_tables(urls: list, table_title: str)`，内部用`asyncio`并发抓取。适用场景：批量提取10家公司的股息预测，一次输出一个合并JSON。

### 变体2：表格→SQL INSERT语句
在parse_table之后增加一个函数 `generate_insert_statement(data, table_name)`，直接生成可执行的SQL。搭配自动化流程，每天执行一次，更新数据库。

### 变体3：检测表格更新并发送通知
结合定时器（如cron），每天抓取同一URL，比较昨天和今天的JSON是否变化。若股息预测数据有修改（比如从60变成62），自动发送Slack通知或邮件。

```python
# 检测变化示例
def compare_div_forecast(old, new):
    for row in new:
        old_row = [r for r in old if r['fiscalYear'] == row['fiscalYear']]
        if old_row and old_row[0]['dividendPerShare'] != row['dividendPerShare']:
            # 触发通知
            send_slack(f"{row['fiscalYear']} 股息预测从{old_row[0]['dividendPerShare']}更新为{row['dividendPerShare']}")