IJCAI 2020 近半投稿遭summary reject

UFO爱好者

IJCAI 2020 近半投稿遭summary reject是怎么回事，是真的吗？2020年02月25日是本文发布时间是这个时间。下面一起来看看到底怎么回事吧。
                                IJCAI 2020 近半投稿遭summary reject
                               
                                IJCAI 2020 大会将于年中在日本横滨召开。研究者应该陆陆续续会收到评审结果的邮件了，本次大会的评审可以说是腥风血雨。不少作者还未等 Rebuttle 和终审结果，就已经收到的拒稿信。
                               
                               
IJCAI 2020 大会将于年中在日本横滨召开。研究者应该陆陆续续会收到评审结果的邮件了，本次大会的评审可以说是腥风血雨。不少作者还未等 Rebuttle 和终审结果，就已经收到的拒稿信。


拒稿信内容显示，有近半论文在 summary reject 阶段就被拒绝了。

根据这些拒稿信的内容，很多研究者的工作在评审第一阶段：summary reject 阶段就被拒稿了，甚至没能进入正式的审稿过程。在知乎网友贴出的拒稿信截图可以看出，在大会的 5147 篇提交论文中有 2191 篇论文被拒稿，拒稿率达到了史无前例的 42%。

一时间，Reddit、知乎、推特等传来阵阵哀嚎。


Summary Reject：控制投稿虽好，却失了力道

据悉，本次大量的拒稿情况集中在 summary reject 阶段。summary reject 是一种快速审稿的流程，放在正式的评审阶段之前。在这一阶段，论文一般会被发送给几位 Senior PC（SPC）。这些 PC 会根据论文的摘要、总结等部分，对论文情况有一个大概的估计，所花时间 10 分钟左右。如果他们认为这篇论文不能进入下一阶段，则由领域主席做最终的决定。

这种评审方式无疑和 NeurlPS 2020 的政策类似。在今年的 NeurlPS 2020 大会审稿上，评审将会引入 early reject 的机制。总之，所有投稿论文都会先粗略地被看一遍，过滤掉明显不符合要求的，再进入正式的评审。

无论是 summary reject，还是 early reject，这种提前过滤论文的机制的确发挥着重要的作用。当下，顶级的人工智能会议要面对动辄 5000 甚至上万的投稿量。如果不提前过滤论文，每个审稿人都有着巨大的压力。


知乎匿名网友的评价

同时，不得不承认的是，随着人工智能的兴起和技术门槛的逐渐降低，人工智能研究「灌水」的情况也开始增加。有知乎网友表示，很多投稿者堪称「民科」，他们缺乏系统的学术训练，更遑论足够的科技领域研究水平和学术写作能力。这种明眼人一看就该拒的论文，确实不值得审稿人花时间写意见。这时候引入 summary reject 是有必要的意义的。

但是，本次 IJCAI 2020 的拒稿方式是否合理？很多人可能并不赞同。诚然，过滤低质量论文是 summary reject 环节的功能，但是这种过滤应当仅限于：语法、写作水平明显不足，或论文明显和主题无关，有致命硬伤的。

但是 IJCAI 2020 大会的 summary reject 明显过火了。

首先，直接在第一阶段过滤掉了将近一半的论文。从常理上来说，一个人工智能顶会居然有一半的民科、灌水、或明显不符合主题的论文？这基本上是不可能的。唯一的解释就是：误杀太多本应该进入下一阶段的论文。


一位 IJCAI SPC 认为，summary reject 最多应该拒掉 10% 的论文。对于 SPC 们不熟悉的领域，不应当拒稿。当然，仅去掉 10% 论文还是太少，没什么意义。

其次，由多位 SPC 只花 10 分钟看看论文，是否能够全面的了解论文？有 SPC 指出，他们只有 5 到 10 分钟，而且 SPC 从事的领域和论文的领域有可能不相关。这是否意味着 summary reject 阶段实际上是 SPC 们的随机选择？



纽约大学坦登工程学院的副教授 Julian Togelius 就此发表了自己的看法，他是 IJCAI 2020 的一位 SPC。他参与了今年 summary reject 的决策过程，发现很难决定哪些论文值得 review，特别是那些非自身领域的论文。因此，选择 reject 哪些论文也几乎是随机的（almost random）。

此外，Julian Togelius 还推测大多数 SPC 会遇到 summary reject 决策困难的情况，并且很多 SPC 只是简单地拒绝了那些看起来与他们熟悉的研究不太一样的论文。显然这种做法会对一些小的子领域和新兴的研究主题造成重大打击。

更重要的是，论文投稿的一个重要意义在于：即使没有中，也可以通过同行评审来获得反馈，从而促进研究者进一步提升能力，完善研究。但是，对于那些因 summary reject 没能进入正式评审的论文来说，一点拒稿理由都没有，无疑没能为他们带来实际的反馈。这样也无助于他们提升自身的能力，下次做出更好更有水平的成果。

最后一点，如果一篇论文被 IJCAI 2020 拒了，作者是否还有重投其他的大会的可能？如果有的话，像 NeurlPS 2020 那样的大会，要求提供上一次被拒的原因和改进意见。那么，对于今天这些被拒的稿件来说，重投时仅写一个「summary reject」显得有些尴尬。


积怨已久？那些对顶会审稿的吐槽

在 Reddit 的评论中，众网友对顶会审稿进行了批判。

「虽然我理解审稿人会偏好对第一眼看着不错的论文，但是最近趋势发展有点问题了。

这已经不是：『如果对论文有怀疑，拒稿。』而是：『如果超时，拒稿』。」



有网友表示，现在的大会评审本身不是看「论文是否有趣」，而是「我为什么要拒它」。这也是和大会收到太多论文有关。为了抓住审稿人的注意力，论文的摘要和引言必须能够「一击必杀」。他/她认为，这有点像是销售，而非科研。



当然，拒稿也是常事。有网友说，看淡一点，继续努力。科研毕竟就是如此。