Mapping-Skill: Поиск AI/ML специалистов и анализ

--- name: Mapping-Skill description: AI/ML 人才搜索、论文作者发现、实验室成员爬取、GitHub 研究者挖掘与个性化招聘邮件生成 skill。只要用户提到查找 AI/ML PhD、研究员、工程师，抓取实验室成员、OpenReview/CVF 会议作者、GitHub 网络研究者，提取主页/Scholar/GitHub/邮箱/研究方向，识别华人、分类去重，或把结果导入飞书多维表格并批量生成邮件，就应该优先使用这个 skill；即使用户没有明确说“使用 Mapping-Skill”，只要任务属于这些复合工作流，也应触发。 --- # Mapping-Skill 面向 Claude Code 与 OpenClaw 的 AI/ML 人才搜索与触达执行手册。 ## 项目链接 - GitHub: https://github.com/16Miku/Mapping-Skill - ClawHub: https://clawhub.ai/16Miku/mapping-skill ## 这个 skill 具备的能力 当用户提出以下任务时，应优先启用本 skill： 1. 搜索 AI/ML PhD、研究员、工程师 2. 抓取实验室成员主页并提取结构化信息 3. 抓取 OpenReview / CVF 论文作者信息 4. 从 GitHub following/followers 网络中发现研究者 5. 对给定 URL 执行全量学者信息抽取 6. 识别华人候选人、分类、去重、标准化研究方向 7. 基于候选人信息生成个性化招聘邮件 8. 将 CSV 或爬取结果导入飞书多维表格 9. 在飞书表格中批量生成并回写推荐邮件 ## 执行原则 1. **先判定任务类型，再选方法** - Topic search - Lab search - Conference author search - GitHub network discovery - Given-URL extraction - Feishu email workflow 2. **优先复用已有 references 与 scripts** 不要从零发明流程。先检查 `references/` 与 `scripts/` 是否已有成熟模式。 3. **优先选择最稳定的数据入口** - OpenReview 会议优先 API - CVF 会议优先 HTML + PDF - Hugo Academic 页面优先模板化解析 - 页面结构混乱但邮箱明显时，使用邮箱反向定位法 4. **抽取与清洗并重** 结果必须尽量结构化，并在输出前做分类、去重与字段标准化。 5. **邮件必须基于真实信息个性化** `technical_hook` 和 `talk_track_paragraph` 不能空泛，必须和候选人论文、研究方向或主页内容关联。 6. **如用户涉及 OpenClaw / 飞书场景，要显式考虑导表和字段回写** 对此类需求，结果不应只停留在本地 CSV。 ## 平台使用说明 ### Claude Code 适用于： - 本地脚本执行 - MCP 工具调用 - CSV 导出 - 以本地文件和结构化结果为主要交付物 安装方式通常是把 skill 放到 `~/.claude/skills/` 目录。 ### OpenClaw 适用于： - skill 目录托管与刷新 - slash commands 调用 - ClawHub 分发 - 飞书、多工具联动工作流 OpenClaw 常见技能加载位置： - `<workspace>/skills` - `~/.openclaw/skills` - 内置 skills 也可通过 ClawHub 安装，并通过“刷新 skills”或重启网关重新索引。 ## 工作流 ### Step 1：识别输入任务与目标输出 先明确： - 搜索范围是 topic、lab、conference、GitHub network 还是给定 URL - 输出要求是候选人列表、CSV、飞书入表、邮件生成，还是全流程都要 - 是否需要识别华人、是否需要邮箱、是否需要导入飞书 ### Step 2：选择数据源与抓取方式 #### 方法选择矩阵 | 场景 | 首选方案 | 备用方案 | |------|----------|----------| | OpenReview 会议 | `scripts/openreview_scraper.py` + API | 搜索 + 主页回补 | | CVF 会议 | `scripts/cvf_paper_scraper.py` | 补抓 PDF / 页面回退 | | Hugo Academic 单页卡片 | `lab_member_scraper.py` 的 card 模式 | BrightData | | 实验室列表页 + 个人页 | `lab_member_scraper.py` 的两阶段模式 | BrightData | | 无固定结构但含邮箱 | 邮箱反向定位法 | BrightData / 手工规则 | | GitHub 研究者网络 | `scripts/github_network_scraper.py` | 网页搜索辅助 | | LinkedIn / 强反爬站点 | BrightData MCP | 降级到公开网页信息 | | 给定任意 URL | BrightData MCP 或定制脚本 | 多源补充 | ### Step 3：执行抽取 根据场景读取相应脚本或 reference： - 搜索模板：`references/search-templates.md` - Python 爬取：`references/python-scraping-guide.md` - 反爬处理：`references/anti-scraping-solutions.md` - URL 优先级：`references/url-priority-rules.md` - 会议抓取：`references/conference-paper-scraping.md` ### Step 4：结构化与标准化 至少尽量抽取这些字段： - 中文名 / 英文名 - title / role - affiliation - research_interests / research_field - education / experience - publications - homepage / Google Scholar / GitHub / LinkedIn / Zhihu / Bilibili - email 然后继续做： - 华人识别：`references/chinese-surnames.md` - 候选人分类：`references/candidate-classifier.md` - 去重：`references/deduplication-rules.md` - 研究方向标准化：`references/field-mappings.md` ### Step 5：邮件生成 读取： - `references/email-templates.md` - `references/talk-tracks.md` 生成邮件时必须填充： - `researcher_name` - `context_affiliation` - `research_field` - `technical_hook` - `talk_track_paragraph` ### Step 6：结果交付 根据用户要求输出为： - Markdown 结构化表格 - CSV 文件 - 飞书多维表格 - 飞书表格中的“推荐邮件”字段 ## OpenClaw / 飞书工作流要点 如果用户明确提到 OpenClaw、飞书、多维表格、导表或批量写邮件，应把这些步骤视为本 skill 的标准能力，而不是额外加分项。 ### 标准能力 1. 解析飞书多维表格链接 2. 提取 `app_token` / `table_id` 3. 批量读取记录 4. 依据论文标题或候选人关键词映射研究方向 5. 批量生成个性化邮件 6. 创建新字段并批量更新记录 7. 返回飞书链接、成功/失败统计与原因 ## 最佳实践提示词 后续如果有新的实践文档，应继续沉淀到 `references/prompt-best-practices.md`。当前优先复用下面几类高价值提示词模式。 ### 1. OpenReview 论文爬取 + 飞书入表 ```text 请执行 OpenReview 论文爬取任务： 1. 使用 Mapping-Skill skill 根目录下的 `scripts/openreview_scraper.py` 脚本 2. 初始化爬虫时使用 api2.openreview.net 端点： scraper = OpenReviewScraper( username='XXXXXXX', password='XXXXXXX', baseurl='https://api2.openreview.net' ) 3. 爬取 ICLR2025 的 5 篇论文（测试）+ https://openreview.net/group?id=ICLR.cc/2025/Conference#tab-accept-oral（记着替换链接） 4. 保存 CSV 到 /tmp/ 目录 5. 创建新的飞书多维表格，按照 Mapping-Skill skill 根目录下的 `scripts/openreview_scraper.py` 脚本中爬取的数据来创建相应字段 6. 批量导入数据到多维表格 7. 返回多维表格链接和统计信息 ``` ### 2. CVF 论文爬取 + 邮箱提取 + 飞书入表 ```text 请执行 CVF 论文爬取任务： 1. 使用 Mapping-Skill skill 根目录下的 `scripts/cvf_paper_scraper.py` 脚本 2. 严格按照脚本中的 extract_emails_from_text() 函数提取邮箱 3. 爬取 ICCV2025 的 5 篇论文（测试）+ https://openaccess.thecvf.com/ICCV2025?day=all（记着替换链接） 4. 保存 CSV 到 /tmp/ 目录 5. 创建新的飞书多维表格，按照 Mapping-Skill skill 根目录下的 `scripts/cvf_paper_scraper.py` 脚本中爬取的数据来创建相应字段 6. 批量导入数据到多维表格 7. 返回多维表格链接和邮箱提取统计 ``` ### 3. 飞书表格批量写邮件 ```text 请执行论文作者邮件生成任务： 【数据源】 表格链接： 【第一步：解析表格链接】 1. 从链接中提取 app_token（格式：/base/{app_token}） 2. 调用 feishu_bitable_app_table 的 list 接口获取 table_id 3. 验证表格可访问性 【第二步：分批读取论文数据】 1. 使用 feishu_bitable_app_table_record 的 list 操作 2. 分批读取（每批50条），使用 page_token 分页 3. 只提取必要字段：记录ID、论文标题、作者、邮箱、机构 4. 过滤条件：只处理有邮箱的记录 【第三步：确定研究领域】 1. 读取 Mapping-Skill skill 根目录下的 `references/field-mappings.md` 2. 根据论文标题和关键词，使用映射规则确定研究领域 3. 示例： - "Symmetry Understanding of 3D Shapes" → Computer Vision - "Efficient Adaptation of Vision Transformer" → NLP 【第四步：生成个性化邮件】 1. 读取 Mapping-Skill skill 根目录下的 `references/email-templates.md` 2. 根据研究领域选择对应模板（共22个领域） 3. 填充占位符： - {{researcher_name}} → 第一作者姓名 - {{context_affiliation}} → 机构 - {{research_field}} → 研究领域 - {{technical_hook}} → 基于论文标题生成 - {{talk_track_paragraph}} → 从 talk-tracks.md 选择 【第五步：批量更新多维表格】 1. 在多维表格中创建新字段："推荐邮件"（多行文本） 2. 使用 batch_update 批量更新每条记录 3. 每批最多 500 条 【第六步：验证和统计】 1. 验证邮件内容个性化 2. 返回统计：总计 X 条 / 成功 Y 条 / 失败 Z 条 3. 列出失败原因 【输出】 - 多维表格链接 - 生成统计 - 失败原因列表 ``` ### 4. 给定某 URL 全量抽取并入表 ```text 1、请你调用BrightData-MCP工具，或者编写爬虫脚本，爬取 <某网站URL> 页面中的所有人员信息。 2、提取信息包括中文名，英文名，个人介绍信息、学术方向、学校和专业信息、工作经历、近期论文著作信息（包含论文名和论文链接）、github链接、个人主页链接、谷歌学术链接、领英链接、知乎链接、B站链接、邮箱等。 3、当前页面缺少邮箱的话，需要进入学者主页或论文链接页面，从里面提取作者们的邮箱。 4、保存到csv文件，然后将csv导入飞书多维表格。 ``` ## 输出格式 ### 候选人摘要表 | Name | Type | Affiliation | Field | Chinese? | Email | |------|------|-------------|-------|----------|-------| | Wei Zhang | PhD | Tsinghua | RL | Yes (0.92) | wei@tsinghua.edu | ### 单个候选人详细输出 ```markdown ## Candidate: Wei Zhang (张伟) - Type: PhD Student - Affiliation: Tsinghua University - Research Field: Reinforcement Learning - Chinese: Yes (0.92) - Email: wei.zhang@tsinghua.edu.cn - Homepage: ... - Scholar: ... - GitHub: ... ### Research Summary - RLHF - Reward modeling - Policy optimization ### Publications 1. ... 2. ... ### Outreach Email ... ``` ### 飞书工作流输出 至少返回： - 飞书多维表格链接 - 总记录数 / 成功数 / 失败数 - 邮箱提取统计（如有） - 失败原因摘要 ## References guide 按场景加载： - 通用搜索：`references/search-templates.md` - 候选人字段：`references/profile-schema.md` - 分类：`references/candidate-classifier.md` - 华人识别：`references/chinese-surnames.md` - 去重：`references/deduplication-rules.md` - 邮件模板：`references/email-templates.md` - talk tracks：`references/talk-tracks.md` - Python 抓取：`references/python-scraping-guide.md` - 反爬处理：`references/anti-scraping-solutions.md` - 会议抓取：`references/conference-paper-scraping.md` - 后续实践复盘：`references/practice-cases.md` - 后续最佳提示词：`references/prompt-best-practices.md` - 后续用户反馈：`references/user-feedback-notes.md` ## Scripts guide - `scripts/openreview_scraper.py`：OpenReview 会议论文与作者抓取 - `scripts/cvf_paper_scraper.py`：CVF 论文页面 + PDF 邮箱提取 - `scripts/lab_member_scraper.py`：实验室成员抓取（两阶段 / Hugo Academic / 邮箱反向定位） - `scripts/github_network_scraper.py`：GitHub 研究者网络抽取 - `scripts/cloudflare_email_decoder.py`：Cloudflare XOR 邮箱解密 - `scripts/httpx_scraper.py`：通用异步 HTTP 抓取 - `scripts/serper_search.py`：搜索入口模板 ## 不要遗漏的经验 1. OpenReview 优先 API，不要一上来就网页搜索 2. CVF 邮箱提取优先 PDF 首页文本 3. Hugo Academic 要先判断是 card 模式还是两阶段模式 4. 中国高校站点要考虑 `[at]` 混淆和 SSL 问题 5. 页面结构混乱时，优先尝试邮箱反向定位法 6. GitHub README 往往能补齐 Scholar / Homepage / LinkedIn 7. 若用户要求飞书结果，必须考虑表字段创建与批量更新 ## 后续迭代入口 后续收到新的实践文档后： 1. 把高价值提示词加入 `references/prompt-best-practices.md` 2. 在本 `SKILL.md` 的“最佳实践提示词”部分补充该功能已支持的明确说明 3. 将踩坑与修复沉淀到 `references/user-feedback-notes.md` 4. 必要时补充 `evals/evals.json` 做后续测试