436
NLP · Topic Modeling · Risk Framework

基于深度表示学习的
重大工程生态风险
主题建模研究

已被《广州大学学报》接收

融合深度语义嵌入、无监督聚类与人机协同标注,从 436 篇学术文献中自动提取并构建生态风险主题框架——实现从非结构化文本到结构化风险知识的智能转化。

重大工程生态风险技术路线图
Input
0
学术文献输入
Screened
0
核心文献筛出
Topics
0
候选主题识别
Categories
0
风险主题识别
01
Technical Pipeline

六阶段智能分析流水线

PDF 提取

批量解析学术文献全文

PyPDF2

关键词筛选

7模块优先级加权轮次

K1–K7

语义嵌入

BGE-M3 · 1024维向量

SBERT

主题建模

UMAP + KMeans 聚类

BERTopic

人机标注

c-TF-IDF 辅助判断

Expert

语义扩展

Word2Vec 风险网络

Skip-gram
02
Core Algorithms

核心技术亮点

Screening

优先级加权随机轮次筛选

构建 7 大模块关键词词典(K1–K7),通过优先级加权与 10 轮随机采样,从 436 篇文献中精准筛出 243 篇核心文献,筛选精度 55.7%。

7模块词典加权采样10轮随机55.7%
Topic Modeling

BERTopic 主题建模

BGE-M3 生成 1024 维文档嵌入,UMAP 降维至 5 维后 KMeans 聚类,c-TF-IDF 提取关键词,余弦相似度 0.72 合并相近主题。

BGE-M3UMAPKMeansc-TF-IDF
Framework

生态风险框架构建

通过 LDA 对比、HDBSCAN 敏感性分析与人工复核,识别 8 类风险主题并构建 24 条可追溯证据链,支持风险识别、溯源与响应。

专家标注层次分类8类风险主题24条证据链
Expansion

Word2Vec 语义扩展

训练 Skip-gram 模型捕获风险术语语义关联,自动扩展每个风险类别的关键词集合,构建完整的生态风险语义网络。

Skip-gram语义相似度词汇扩展风险网络
04
My Role

个人贡献

  • 01

    系统架构设计

    设计六阶段流水线架构,实现从 PDF 输入到风险框架输出的端到端自动化

  • 02

    核心算法开发

    独立实现优先级加权随机轮次筛选、BERTopic 主题建模、Word2Vec 语义扩展

  • 03

    7 模块关键词词典

    系统梳理生态风险领域术语,构建覆盖水环境、土壤、生物多样性等 7 大模块的专业词典

  • 04

    人机协同标注工作流

    设计 c-TF-IDF 辅助的专家标注流程,平衡自动化效率与人工判断质量

  • 05

    全部可视化方案

    设计并实现语义空间图、桑基图、综合面板等全套可视化

技术栈

PythonBERTopicBGE-M3UMAP KMeansWord2Vecc-TF-IDFPlotly Matplotlibscikit-learnPyPDF2jieba
← 返回个人主页