点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

3月17日晚7:30-9:00

AI TIME特别邀请了三位优秀的讲者跟大家共同开启AAAI 专场五！

哔哩哔哩直播通道

扫码关注AITIME哔哩哔哩官方账号

观看直播

链接：https://live.bilibili.com/21813994

★ 邀请嘉宾 ★

武楚涵：清华大学电子工程系博士生，主要研究方向为自然语言处理，用户建模和推荐系统，目前已在ACL、IJCAI、KDD、AAAI、EMNLP、WSDM、NAACL和CIKM等学术会议上发表或录用论文若干。

报告题目：

基于分解对抗学习的公平新闻推荐

摘要：

新闻推荐对于在线新闻服务很重要。现有的新闻推荐模型通常是从用户的新闻点击行为学习的。通常，具有相同敏感属性（如性别）的用户的行为具有相似的模式，新闻推荐模型很可能会建模这些模式。这可能导致推荐结果中存在与敏感用户属性有关的一些偏见，例如始终向男性用户推荐体育新闻。这使得用户可能难以收到多样化的新闻信息，存在不公平性。在本文中，我们提出了一种基于分解对抗学习和正交正则化的公平新闻推荐方法，可以缓解敏感用户属性所带来的新闻推荐中的不公平现象。在我们的方法中，我们提出将用户兴趣模型分解为两个部分。一个部分用于学习一个偏差感知的用户向量，另一部分用于挖掘与敏感属性无关的用户兴趣信息，以学习一个消除偏差的用户向量。此外，我们提出用一个属性预测任务作用于偏差感知的用户向量，以增强其偏差建模的能力，并且我们将对抗学习应用于消除偏差的用户向量，以减少其中的偏差信息。此外，我们提出一种正交性正则化方法，使得消除偏差的用户向量与偏差感知的用户向量正交，以更好地区分二者。在进行公平新闻推荐的时候，我们仅使用消除偏差的用户向量进行新闻排序。在基准数据集上进行的大量实验表明，我们的方法可以用较小的性能代价，有效地提高新闻推荐的公平性。

论文标题：

FairRec: Fairness-aware News Recommendation with Decomposed Adversarial Learning

论文链接：

https://arxiv.org/pdf/2006.16742v1.pdf

白赫：滑铁卢大学计算机专业二年级博士研究生，导师李明。主要研究方向是语言模型、文本表示学习、自监督学习，相关研究成果在ACL、EMNLP、AAAI等学术会议上发表。此前在中科院自动化研究所、哈尔滨工业大学完成硕士、本科的学习。个人主页：https://richardbaihe.github.io

报告题目：

面向自然语言理解与建模的

Transformer改进

摘要：

Transformer自2017年提出以来就成为NLP领域被广泛应用的模型结构，近年来更是成为预训练语言模型的标配。然而，Transformer的提出主要针对的是机器翻译等输入序列较短的自然语言任务（单句翻译），而训练语言模型的文本序列通常是篇章级别的长度。对于这种较长的自然语言序列而言，原始的Transformer的位置编码很难学习到显著的位置关系。为此，我们提出了新模型Segatron，在Transformer原始位置编码的基础上，对段落、句子、词语三者间的位置关系联合建模，更符合语言逻辑习惯，也更益于模型学习。在实验中，我们在语言建模任务上取得了最好的效果，且相比其他模型无需任何额外的参数、计算和数据。此外，我们还进行了预训练语言模型的实验，采用Segatron预训练的BERT模型，不单在GLUE上超越了我们复现的基于Transformer的BERT、谷歌原本的BERT、whole-word-masking BERT和无NSP的BERT，同时在句子表示学习STS系列任务上超越了RoBERTa，而我们所使用的数据和GPU计算量仅为RoBERTa的10%和7%。这些实验结果充分表明我们所提出方法的有效性。

论文标题：

Segatron: Segment-Aware Transformer for Language Modeling and Understanding

论文链接：

https://arxiv.org/abs/2004.14996

李冰聪：明尼苏达大学博士四年级学生，师从 Georgios B. Ginnakis。目前研究方向为数值优化算法及其在机器学习中的应用，相关成果发表于ICML，AAAI， AIStats等会议，并担任多个会议和期刊审稿人。个人主页：https://bingcongli.github.io/。

报告题目：

加速Frank Wolfe算法

摘要：

Aiming at convex optimization under structural constraints, this work introduces and analyzes a variant of the Frank Wolfe (FW) algorithm termed ExtraFW. The distinct feature of ExtraFW is the pair of gradients leveraged per iteration, thanks to which the decision variable is updated in a prediction-correction (PC) format. Relying on no problem dependent parameters in the step sizes, the convergence rate of ExtraFW for general convex problems is shown to be ${\cal O}(\frac{1}{k})$, which is optimal in the sense of matching the lower bound on the number of solved FW subproblems. However, the merit of ExtraFW is its faster rate ${\cal O}\big(\frac{1}{k^2} \big)$ on a class of machine learning problems. Compared with other parameter-free FW variants that have faster rates on the same problems, ExtraFW has improved rates and fine-grained analysis thanks to its PC update. Numerical tests on binary classification with different sparsity-promoting constraints demonstrate that the empirical performance of ExtraFW is significantly better than FW, and even faster than Nesterov's accelerated gradient on certain datasets. For matrix completion, ExtraFW enjoys smaller optimality gap, and lower rank than FW.

论文标题：

Enhancing parameter-free FW with an extra gradient

论文链接：

https://arxiv.org/abs/2012.05284

直播结束后我们会邀请讲者在微信群中与大家答疑交流，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“aaai”，将拉您进“AAAI 会议交流群”！

AI TIME微信小助手

主         办：AI TIME 、AMiner

合作伙伴：智谱·AI、中国工程院知领直播、学堂在线、CSDN、学术头条、biendata、大数据文摘、数据派、 Ever链动、机器学习算法与自然语言处理

AMiner是学术搜索和社会网络挖掘研究的重要数据和实验平台，由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万。        

1）AMiner平台：https://www.aminer.cn

2）会议专题页面：https://www.aminer.cn/conf/aaai2021

AI TIME欢迎AI领域学者投稿，期待大家剖析学科历史发展和前沿技术。针对热门话题，我们将邀请专家一起论道。同时，我们也长期招募优质的撰稿人，顶级的平台需要顶级的你，

请将简历等信息发至yun.he@aminer.cn！

微信联系:AITIME_HY

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，打造一个知识分享的聚集地。

更多资讯请扫码关注

 

我知道你在看哟