全国服务QQ:3447249690

OPE体育机器学习顶会 ICML 2018 斯德哥尔摩开幕,公平性研究戴上光环

发布时间:2019-02-07 作者:OPE体育智能系统

OPE体育机器学习顶会 ICML 2018 斯德哥尔摩开幕,公正性研讨戴上光环

雷锋网 AI 科技谈论按:通过 7 月 10 日的三个 Tutorial Session 和 Opening Reception 晚宴之后,在瑞典斯德哥尔摩举行的OPE体育机器学习顶会 ICML 2018 正式进入第一天的正会。

开幕致辞 Opening Remarks

当地时刻 7 月 11 日早上 8:45,北京时刻 7 月 11 日下午 2:45 开端的 Opening Remarks 上先呈现了点小意外,会议大厅两块幕布、两台投影仪装备里的靠前的一台坏了,在大会主席 Francis Bach 的讲演途中才亮起来 —— 当然,投影仪好起来的一会儿,现场响起了火热的掌声。

主席泄漏,下一年 ICML 方案和 CVPR 相同在美国加州长滩举行,2020 年在奥地利维也纳,2021 年在夏威夷火奴鲁鲁。

OPE体育机器学习顶会 ICML 2018 斯德哥尔摩开幕,公正性研讨戴上光环

因为参会者很多,加粗提示 Do not enter a room when full

OPE体育机器学习顶会 ICML 2018 斯德哥尔摩开幕,公正性研讨戴上光环

本年 ICML 的四个约请讲演分别为:来自 UC 伯克利大学电子工程与核算机系 Dawn Song 教授的《AI and Security: Lessons, Challenges and Future Directions》(AI 与安全:经历、应战以及未来的方向),来自阿姆斯特丹大学OPE体育机器学习学院研讨主席、高通副总裁 Max Welling 教授的《Intelligence per Kilowatthour》(用千瓦时衡量的才智),来自密歇根州立大学核算机科学与工程学院 Joyce Chai 教授的《Language to Action: towards Interactive Task Learning with Physical Agents》(从言语到举动:向着与实在机器人的交互式使命学习),以及来自 MIT 认知科学与核算学院 Joshua Brett Tenenbaum 教授的《Building Machines that Learn and Think Like People》(构建像人类相同学习和考虑的机器)。

雷锋网(大众号:雷锋网) AI 科技谈论了解到,本年的 ICML (OPE体育机器学习国际会议)是与自主智能体与多智能体体系国际会议(AAMAS)以及人工智能国际联合大会(IJCAI)在同一地址举行的,在议程组织上有联合的大会陈述 session 和联合的 workshop。后两个约请讲演就是在联合的大会陈述 session 中的。

OPE体育机器学习顶会 ICML 2018 斯德哥尔摩开幕,公正性研讨戴上光环

OPE体育机器学习顶会 ICML 2018 斯德哥尔摩开幕,公正性研讨戴上光环

与其他OPE体育机器学习会议相同,本年 ICML 的投稿数量也是持续暴升。ICML 2017 的数字是 1676 篇投稿、434 篇承受论文,本年则是 2473 / 621,投稿数添加了 45%。对一切论文核算要害词做成词云,毫不意外地看到 learning、Deep、Network、Model、reinforcement learning、optimization 等词汇。

OPE体育机器学习顶会 ICML 2018 斯德哥尔摩开幕,公正性研讨戴上光环

最抢手的投稿范畴是神经网络架构,有超越 200 篇投稿。这今后的大类依次是强化学习、深度学习理论研讨、对抗性深度学习、凸优化、非凸优化、监督学习、在线学习、生成式模型、核算学习理论、无监督学习、搬迁与多使命学习等。

OPE体育机器学习顶会 ICML 2018 斯德哥尔摩开幕,公正性研讨戴上光环

之前 NIPS 因为投稿数量多、审稿人水平良莠不齐,论文初审和 AC 审常常截然不同而引发谈论,ICML 组委会此次也核算了 Rebuttal 前后的分数差异,给咱们供给一个谈论评定进程公正性的参阅依据。通过 Rebuttal 后,审稿定见更新的份额有 45.7%,分数得到更新的论文有 9.2%。而在接纳分数边界线邻近的论文有 16%。

OPE体育机器学习顶会 ICML 2018 斯德哥尔摩开幕,公正性研讨戴上光环

OPE体育机器学习顶会 ICML 2018 斯德哥尔摩开幕,公正性研讨戴上光环

最佳论文奖、最佳论文提名奖、时刻查验将获奖论文名单也在现场再次发布。

最佳论文奖(Best Paper Awards)获奖论文两篇

Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

含糊梯度防护带来的仅仅安全的假象:绕过对抗性样本的防护

论文摘要:作者们提出,含糊梯度(obfuscated gradients)这种梯度遮盖办法,关于对抗性样本的防护并不是实在的安全。尽管引发含糊梯度的防护办法好像可以抵挡依据迭代优化办法的进犯,可是作者们发现依托这种含糊梯度作用的防护办法其实可以被绕过。作者们描绘了形成含糊梯度作用的防护办法的特色,把它们分为了三类,然后针对每一类防护办法规划了可以绕过它们的进犯办法。作者们取 ICLR 2018 论文中的白盒防护办法作为事例研讨方针,他们发现梯度含糊是一种遍及的做法,那篇论文中研讨的 9 种防护办法中有 7 种都依托的是含糊梯度办法。作者们提出的新的进犯办法发可以彻底绕过其间的 6 种办法,部分绕过 1 种。

论文地址:https://arxiv.org/abs/1802.00420

Delayed Impact of Fair Machine Learning

研讨公正的OPE体育机器学习的推迟影响

论文摘要:之前的研讨者们主要是在静态分类的场景下进行OPE体育机器学习中的公正性问题研讨,并没有研讨这些决定会怎么跟着时刻消逝而影响其间深层的人群散布改变。传统观念一般以为给OPE体育机器学习模型施加公正性的约束今后可以更好地维护遭到不公正待遇的人群的长时刻利益。

这篇论文中,作者们研讨了静态的公正性约束与会随时刻改变的利益方针之间的相互作用,这些利益方针包含一系列研讨变量的长时刻规范中的上升、阻滞或许下降。作者们标明即使仅仅关于一阶的反应模型,往常的公正性约束总的来说都并不会进步利益;实际上,当一个彻底无约束的方针可以带来正常的效果时,公正性约束施加今后在某些状况下反倒有或许形成损伤。

作者们彻底剖析了三种规范的公正性约束带来的推迟的影响,三种环境中体现出了可以量化的不同行为。出自之外,作者们还发现了一种天然方法的丈量差错,它可以拓宽环境,让公正性约束的体现比较契合人意。

作者们的效果显着体现出了公正性约束的点评中丈量方针的挑选以及依据时刻建模的重要性,这一起也提醒了一组新的应战和新的取舍。

论文地址:https://arxiv.org/abs/1803.04383

最佳论文提名奖(Best Paper Runner Up Awards)获奖论文三篇

The Mechanics of n-Player Differentiable Games

可微分多玩家博弈的机制研讨

论文摘要:深度学习最底子的柱石是一个方针的梯度下降终究可以确保收敛到某个部分最小值。但是不幸的是,这种确保在某些设定下会失效,比方对抗性生成网络,其间有多个相互影响的丢失函数。依据梯度的办法在博弈中的行为并没有得到很好的研讨,而跟着对抗性以及多方针的模型架构的开展,这方面的研讨也越来越重要。在这篇论文中,作者们开发了一种新的办法以便了解与操控一般博弈中的动态体现。其间的要害效果是把二阶动态特性分化为两个项。第一项与或许的博弈有关,它可以依据隐式的函数梯度下降而减小;第二项与哈密顿博弈有关,这是一类新的遵从守恒定律的博弈,和经典机械体系中的守恒定律很相似。这种分化手法也带来了辛梯度调理(Symplectic Gradient Adjustment)算法,这是一种可以在一般博弈中寻觅安稳固定点的新算法。基础性的试验标明 SGA 与近期提出的在 GANs 中寻觅安稳固定点的算法有相等的体现,一起也可以运用于更多一般的博弈中,而且还有求解的确保。

论文地址:https://arxiv.org/abs/1802.05642

Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices

用于密布、稀少矩阵的挨近最优的频频方向算法

这篇论文的仅有作者是复旦大学大数据学院副教授黄增峰

论文摘要:关于一个大矩阵OPE体育机器学习顶会 ICML 2018 斯德哥尔摩开幕,公正性研讨戴上光环,咱们考虑核算这个矩阵的梗概矩阵(sketch matrix)OPE体育机器学习顶会 ICML 2018 斯德哥尔摩开幕,公正性研讨戴上光环的问题。这个矩阵应当显着更小,但一起也与 A 满足挨近。咱们考虑最小化如下的协方差差错

OPE体育机器学习顶会 ICML 2018 斯德哥尔摩开幕,公正性研讨戴上光环

咱们在流模型中考虑这个问题,在这里算法只要有限的作业空间,而且只能对输入进行一次核算得到效果。盛行的频频方向算法(Frequent Directions)和它的各种变体在空间和差错之间取得了最佳取舍。但是,算法的运转时刻是否可以得到改善仍是一个没有研讨的问题。

在这篇论文中,咱们简直处理了这个问题的时刻复杂性。尤其是,咱们提出了新的空间最优的算法,它具有更快的运转时刻。而且,咱们展现了咱们算法的运转时刻是挨近最优的,除非现在最优的矩阵乘法的运转时刻可以得到大幅度的提高。

论文地址:http://www.cse.ust.hk/~huangzf/ICML18.pdf

Fairness Without Demographics in Repeated Loss Minimization

在重复的丢失最小化中,无需人口特征核算完成相等

斯坦福大学教授 Percy Liang 是这篇论文的作者之一

论文摘要:OPE体育机器学习模型(比方语音辨认模型)在练习时一般都是要让均匀丢失最小化,这样会带来表征悬殊的问题 —— 少量集体(比方非母语的说话者)因为对练习方针的奉献较少,这些样本的丢失值也就更高。更糟糕的是,跟着模型的准确率下降而影响到用户留存的话,运用模型的少量集领会越来越少。在这篇论文中,作者们首要展现了经历危险最小化(ERM)的办法会让表征悬殊的问题变得越来越严峻的状况,这甚至会让开始还相等的模型变得不相等。为了减缓这种问题,作者们开发了一种依据散布鲁棒优化(DRO)的新办法,它会把一切数据散布中的最糟糕的状况危险都最小化到挨近经历散布。作者们证明了这种办法在每一个时刻步中都操控了少量集体的危险,依据罗尔斯的分配正义思维点评的话,一起也可以疏忽不同组之间的身份差异。作者们展现了 DRO 可以在 ERM 不能阻挠表征悬殊增大的状况下阻挠它发作,一起也在实在国际的文本主动完成使命中成功添加了少量集体的用户满足程度。

论文地址:https://arxiv.org/abs/1806.08010 

时刻查验论文奖获奖论文

A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning

一个天然言语处理的一致架构:多使命学习深度神经网络

这篇论文来自 ICML 2008

作者们描绘了一种卷积神经网络架构,只靠一个言语模型网络就可以依据给定的语句输出一系列言语处理猜测效果,包含语句的一部分的标签、语料段、可命名的实体标签、语义人物、语义相似的词,以及语句有意义的似然值(语法视点以及语义视点)。整个网络是在一切这些使命上以权重同享的方法联合练习的,这样也成为了多使命学习的一个实例。一切使命都运用了标示数据,除了言语模型是从无标示文本学习的,而且它也为这些同享的使命供给了一种新的半监督学习方法。作者们展现了多使命学习和半监督学习都可以添加这些同享的使命的泛化性,终究带来了尖端的体现。

材料地址:http://videolectures.net/icml08_collobert_uanl/(带视频和 PPT)

现在 ICML 2018 还在如火如荼地进行中,正会会进行到 7 月 13 日。雷锋网 AI 科技谈论会持续宣布相关报导,请持续重视。前方相片感谢吴立伟。

雷锋网原创文章,未经授权制止转载。概况见转载须知。

OPE体育机器学习顶会 ICML 2018 斯德哥尔摩开幕,公平性研究戴上光环


易优CMS 素材58 区块链是什么 微信小程序开发教程
地址:武汉东湖新技术开发区  电话:0898-08980898  QQ:3447249690
Copyright © 2012-2018 OPE体育|app下载官网 版权所有  ICP备案编号:鄂ICP备19002934号-1