【知识图谱学习】哈工大ltp工具包的安装和使用

LTP(Language Technology Platform) 提供了一系列中文自然语言处理工具,用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。官方教程:https://github.com/HIT-SCIR/ltp/blob/master/docs/quickstart.rst官方文档:http://ltp.ai/docs/appendix.html 安装 与pyltp不同,ltp4无需安装繁琐的vc环境,也不用考虑python版本对轮子兼容的问题。pip install ltp 在github源代...

【知识图谱学习】知识图谱搭建医疗问答系统

通过知识图谱我们可以构建一个简单的医疗问答系统。在问答过程中可以方便的检索问题。GitHub:https://github.com/cshmzin/zstp-project/tree/main/%E5%8C%BB%E7%96%97%E6%9C%BA%E5%99%A8%E4%BA%BA 实验环境 neo4j数据库py_aho_corasick模块 简介 数据提取模块(从互联网获取数据)知识图谱数据库构建模块(将数据清洗构建知识图谱)节点匹配模块(匹配节点获取关系)问题匹配模块(匹配问题...

【知识图谱学习】Neo4j与python实验测试

安装py2neo 为了让python与Neo4j相连,需要安装python中的py2neo库: pip3 install py2neo 开始实验测试 本次实验测试主要建立一个有关(购买方,价格,销售方)3元关系的数据库,数据库存储在表格之中。 如图所示: 提取数据 首先我们需要将表格中的数据提取出来: class Datas(): def __init__(self): self.path = 'Invoice_data_Demo.xls' ...

【知识图谱学习】Neo4j数据库实战

Neo4j简介: Neo4j是一个高性能的NOSQL图形数据库,它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎,但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎,该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下,而不是严格、静态的表中。但是他们可以享受到...

【知识图谱学习】知识图谱相关技术

文本数据分析 在文本数据中我们要将非结构化文本数据转化成结构化文本数据,所以需要运用自然语言处理的大量技术: 基础的nlp技术: 实体识别语义标签抽取二元关系抽取多元关系抽取 进阶nlp技术: 实体统一指代消解graph embedding 知识融合 将特征进行融合,得到最终的向量。 (文本,图片,视频,声音) 图数据库 neo4j:与python交互容易,上手...

【知识图谱学习】知识图谱介绍及其应用

知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。 知识图谱,是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心...

【云服务器】笔记

登录篇 软件使用 Xshell 单终端操作web网页可视化vm station可视化 网络配置篇 ip掩码网关172.18.65.190255.255.255.128172.18.65.129ip配置 dns:114.114.114.114 文件传输篇 scp命令: 文件夹传输例子 : scp -r AlienValut node@172.18.65.190:/home/node/文档/ 终端操作篇 1. Linux中的screen命令使用 * 简介 Screen是一款由GNU计划开发的用于命令行...

Nlp 资源收集

知识解读 命名实体识别与知识抽取 高能NLP:NER任务与关系抽取的知乎专栏NLP中的命名实体识别关系抽取,一步到位!语义分割损失函数 Transformer相关 Transformer模型原理详解NLP中的Attention原理和源码解析BERT:预训练的深度双向 Transformer 语言模型 实战代码 命名实体识别实战(使用了多个模型测试) 数据集 命名实体识别中文数据集

[pipline]simple for Relation Extraction

关系抽取是自然语言处理中的知识图谱构建的关键任务,主要目的是获取实体之间的关系。参考文章:https://www.cnblogs.com/sandwichnlp/p/12020066.html 关系抽取的2种流行方法: pipelined:先进行实体抽取(NER),在进行关系判断,将实体识别与关系抽取分为2步完成。joint:联合抽取,实体关系通过一个EndtoEnd模型抽取。 两种方法的优缺点: pipeline 误差累积:实体抽取的误差会严重影...

[知识图谱项目--实体识别模块]推特威胁情报实体识别

本项目基于推特威胁情报为数据集构建实体识别测试。测试目的:构建一个威胁情报自动化实体识别模型,实现知识图谱的第一步。实验数据:推特获取。实验模型:bert,bert-crf,bert-bilstm-crf实验环境:python-3.7 ,torch-1.7.1 , transformers 4.2.1 知识准备: 预备知识: bert,bilstm,crf模型知识的掌握威胁情报stix2相关实体的掌握自然语言处理Ner任务的掌握 相关论文: Cyberthrea...