自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(11)
  • 论坛 (1)
  • 收藏
  • 关注

原创 BERT进行文本分类和文本匹配的不同

def convert_single_example(ex_index, example, label_list, max_seq_length, tokenizer): """Converts a single `InputExample` into a single `InputFeatures`.""" if isinstan...

2019-11-27 15:27:48 912

原创 ELECTRA模型跟BERT的区别

综合分析ELECTRA跟BERT模型的对比思考:1.类似GAN模型,但是由于梯度不能从判别模型到生成模型,所以只能综合两者的损失值对生成模型进行损失传递。2.生成损失 对生成模型进行传导 生成损失+判别损失 对判别模型进行传导...

2019-11-24 16:32:13 845

原创 roberta跟bert的对比

roberta到底改进了什么?三个训练改进:去掉下一句预测(NSP)任务 动态掩码。BERT 依赖随机掩码和预测 token。原版的 BERT 实现在数据预处理期间执行一次掩码,得到一个静态掩码。 而 RoBERTa 使用了动态掩码:每次向模型输入一个序列时都会生成新的掩码模式。这样,在大量数据不断输入的过程中,模型会逐渐适应不同的掩码策略,学习不同的语言表征。 文本编码。Byte-P...

2019-11-24 16:13:52 3336

原创 NLP比赛模型融合的思路

比赛模型融合思路1.就是先训练第一个模型然后冻结第一个模型然后训练两个模型,这种方法两个模型最好属于两个体系,一个CNN一个RNNtensorflow模型冻结方法2.训练多个模型,然后用模型的预测结果[0.1,0.9]表示第二类,多个模型的相加选取最高的作为结果。等权重融合,也可以根据准确率进行加权融合,也可以在结果上面再加一个GBDT再次进行分类。别人总结思考总结学习...

2019-11-22 14:00:46 693

原创 文本匹配算法总结

文本相似度计算总结孪生神经网络算法思考:1.孪生神经网络算法什么时候进行权重共享?2.是否可以加attention+cnn进行增强。3.孪生神经网络算法可以通过网络计算出句向量,新的句子出来的时候可以直接跟句向量进行计算相似度,提高速度。4.可以使用孪生神经网络算法进行粗排序,然后使用bert模型进行精排序。5.孪生神经网络算法里面的lstm能不能换成BERT?孪生...

2019-11-22 11:09:58 606 1

原创 远程监督的关系抽取方法

关系抽取学习链接BERT进行关系抽取github关系抽取代码讲解

2019-11-19 13:37:36 364

原创 深度学习数据集样本不均衡问题

不均衡处理方法

2019-11-11 09:46:39 343

原创 python json.dumps()出现\xe4\xb8\xad\xe6\x96\x87

学习链接

2019-11-08 11:12:30 160

原创 docker 把本地文件拷贝到镜像中

docker cp userDictAll.dic ee3cc69d4ddf:/ll/

2019-11-07 16:30:04 2412

原创 tensorflow dense的用法

学习链接在不使用dense的时候可以使用下面的方法生成全连接 attention_w = tf.Variable(tf.truncated_normal([hidden_size, attention_size], stddev=0.1), name='attention_w') attention_b = tf.Variable(tf.constant(0.1,...

2019-11-05 19:42:08 438

原创 albert和bert的不同

1.参数因式分解run_pretrainingbert:def get_masked_lm_output(bert_config, input_tensor, output_weights, positions, label_ids, label_weights): """Get loss and log probs for t...

2019-11-05 19:29:34 2288 1

空空如也

勿在浮沙筑高台LS的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除