情感分析(Sentiment Analysis)是指对带有情感色彩的主观性文本进行分析、处理和抽取的过程。
全网数据文本长短差异大,清博通过NLP技术针对长文本和短文本分别开发两种通用舆情模型,基于人工交叉验证的百万全网数据以及Bert预训练模型,实时添加当前热点话题数据(例如疫情、中美贸易等等),在长文本上达到了0.88的整体正率和0.88的整体F1-Score,在短文本上达到了0.88的整体正率和0.89的整体F1-Score。同时,通过蒸馏、剪枝、混合精度等方式保证了模型的线上推理速度。
微博以其强大影响力已经深深的融入每个人的生活,而对微博的情感分析,不仅可以获取网民的此时的心情,对某个事件或事物的看法,还可以获取其潜在的商业价值,还能对社会的稳定做出一定的贡献。
微博以其强大影响力已经深深的融入每个人的生活,而对微博的情感分析,不仅可以获取网民的此时的心情,对某个事件或事物的看法,还可以获取其潜在的商业价值,还能对社会的稳定做出一定的贡献。 因此,针对微博的简短、实时性特点,以百万微博文本作为训练语料,经专业小组标注,基于bert预训练模型,结合半监督技术,实时添加热点话题、事件,开发出针对微博文本的情绪分类模型,最终达到了0.89的整体准确率。
提交验证