自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(11)
  • 论坛 (1)
  • 收藏
  • 关注

原创 torchtext进行文本预处理

torchtext文本预处理学习链接

2020-02-26 17:24:07 338

原创 torch使用lstm进行文本分类

文本分类学习链接

2020-02-26 17:15:52 1189 1

原创 贪心学院从BERT到XLNET

在b站看贪心学院最后一节课从BERT到XLNET的分享上面PPT可以看到1.XLNET是Autoregressive模型而BERT是Auto-encoding模型,两种模型的对比解释见https://blog.csdn.net/qq_33876194/article/details/989433832.XLNET不同于BERT中的self Attention而使用Two-strea...

2020-02-24 19:49:18 321

原创 文本分类之多标签分类

多标签分类综述意义网络新闻往往含有丰富的语义,一篇文章既可以属于“经济”也可以属于“文化”。给网络新闻打多标签可以更好地反应文章的真实意义,方便日后的分类和使用。难点类标数量不确定,有些样本可能只有一个类标,有些样本的类标可能高达几十甚至上百个。  类标之间相互依赖,例如包含蓝天类标的样本很大概率上包含白云,如何解决类标之间的依赖性问题也是一大难点。 多标签的训练集比较难以获取。...

2020-02-19 11:30:12 2358

原创 贪心学院ELmo模型讲解记录

1.应该是(v晚上)是用(h2(3) + h2(2) + h2(1))加权平均获得,权值根据下游的任务进行训练获取

2020-02-18 18:12:55 184

原创 贪心学院transformer模型讲解记录

1.FFN层和z1和z2层是不同的,FFN层是隔开的,权重不共享的,而Z1和Z2不是隔开的2.Q,K,V是借鉴了搜索的思维在里面,Q是query的意思,<K,V>是<key,value>的意思,Q值就是word应该映射一会进行搜索的值,K是搜索的目标,V是目标值,类似K是文档的主题,V是文档的向量,Q是搜索文档的文本。这样就能训练得到word与word之间的关系,不...

2020-02-18 15:05:10 219

原创 达摩院NLPer分享soft-lexicon

实体识别使用GCN+soft-Lexicon1.lattice-lstm只能用在RNN中,而soft-Lexicon只是词的embedding有改动啊,后面可以接入各种模型2.lattice-lstm 里面可以看出做各种attention的输入3.Lexicon 还考虑了就是字在词中的作用,而lattice-lstm只考虑了词的开头和结尾4.lattice 中词的头部输入是整个...

2020-02-14 17:45:05 504

原创 梯度消失和梯度爆炸以及batch normalization

梯度消失和梯度爆炸的详细讲解莫烦的视频讲解BNgithub代码地址 for i in range(N_HIDDEN): # build hidden layers and BN layers input_size = 1 if i == 0 else 10 fc = nn.Linear(inpu...

2020-02-14 17:27:45 245

原创 项目管理流程

1.弄清楚项目的目标,也就是对应的业务指标,做一个项目要对业务有什么帮助?2.弄清楚功能有哪些,通过哪些技术可以实现,实现效果怎么样,判断是否有替代方案来解决这个问题,或者对功能进行修改。3.整理好具体技术方案以后,形成工程流程图4.分析需要做什么工作,对工作进行划分,切割,开是否能并行做,并进行排期设置时间节点(尽可能的拆分比较细)5.制定契约,内部进行开发,一阶段先mock开发...

2020-02-14 16:27:13 170

原创 莫烦Pytorch学习笔记

学习笔记整理连接莫烦Pytorch的github代码CNN章节:讲解CNN的时候padding的值等于 (kernel_size-1)/2 还有每一个层的参数的shape计算很重要 还有卷积核的作用(过滤信息) 池化层的作用降维并且抓住主要特征(为什么要用池化,池化mean和max方法的不同) padding的作用见https://blog.csdn.net/ningyangg...

2020-02-10 18:03:51 162

原创 torch中的tensor可以跟numpy中的array进行转化

转化学习连接import numpy as npimport torchnumpy_data = np.arange(6).reshape([2, 3])torch_data = torch.from_numpy(numpy_data)tensor2array = torch_data.numpy()print(numpy_data)print(torch_data)p...

2020-02-09 13:01:23 228

空空如也

勿在浮沙筑高台LS的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除