🗞NEWS
Geoffrey Hinton 坦诚想法有缺陷，取消了所有演讲
被誉为 The Researcher 的 Geoffery Hinton 表示曾有一个关于 perceptual learning 的绝佳 idea💡，并在下周安排了多场演讲。然而，他突然意识到，其中存在着一个致命的缺陷。于是取消了所有的演讲，并为此在推特上道歉。
Hinton 的这一举动受到了诸多赞誉。DeepMind 的研究员 Andrew Trask 评价道，“这不仅是学术诚信问题，还展现了透明的领导力。……这是我可以仰慕的人，不仅仅因为他的学术才华。”，并发起了 #BeLikeGeoff 运动。
deeplearning.ai 的 NLP 专项课程上线了
地址: https://www.coursera.org/specializations/natural-language-processing
推荐人: @吴恩达
deeplearning.ai 的全新课程——自然语言处理专项课程上线 Coursera，已有两门课程可学，分别是：
- Natural Language Processing with Classification and Vector Spaces
- Natural Language Processing with Probabilistic Models
吴恩达出品，必输精品🎁（授课老师非吴恩达本人）。想要学习 NLP 的同学可以关注一下。
📑BLOGS
Denny Britz 的最新博客，探讨了 AI 研究的可复制问题（Replicability）
地址: https://dennybritz.com/blog/ai-replication-incentives/
作者: @Denny Britz (前 Google Brain 研究员)
标签: AI
在这篇文章中，Denny Britz 讨论了人工智能的研究中的可复制问题。他所谓的可复制是 replicability，并非使用相同的代码在相同的数据集上取得相同的结果，而是根据原文的描述复现代码并取得相似的结果。他分析了复制难的多个因素，包括祖传的随机种子🌱、超参数与数据处理、路径依赖与 winning tickets 🎫等等。
此外，他还指出开源代码可能被误解了，学术圈的激励系统要为可复制难问题负部分责任。
Distill 团队的新作：借曲线检测器来理解神经元的行为
地址: https://distill.pub/2020/circuits/curve-detectors/
推荐人: @Chris Olah (现 OpenAI 研究员)
标签: interpretability
了解 Distill 的同学可能知道，他们是一个致力于清晰地解释机器学习和神经网络的团队。他们的可视化工作和交互式论文，做得让人叹为观止。
神经网络通常被认为是一个黑盒，是不可解释的。但是 Chris Olah 相信，神经网络也许是由有意义的、可解释的特征组成的。这也是他们在可解释性方面做了大量工作的原因所在。
这是他们的 Circuits thread 系列的第三篇文章，也是深入理解曲线检测器（Curve Detectors）的第一篇文章。在这篇文章中，他们尝试借助曲线检测器来理解神经元的行为。
对可解释性感兴趣的同学，强烈建议阅读 Distill 的文章。
OpenAI 又搞事情了，这次他们整了个 Image-GPT
地址: https://openai.com/blog/image-gpt/
出品人: @OpenAI (著名人工智能实验室)
标签: GPT-2
受 GPT 模型在生成 1-D 的文本数据上出色性能的启发，OpenAI 萌生了将其用于生成 2-D 的图片🖼的想法。具体地，他们以图片补全作为任务，给定半张图片，力图恢复原图。然后，他们将 2-D 的图片变形成 1-D 的像素序列，并使用与 NLP 中结构完全相同的 GPT-2 来生成后续像素。
以这种方式预训练得到的 Image-GPT (iGPT)，不做 fine-tune，在 CIFAR-10 上其取得了 96.3% 的准确率，超过 Wide ResNet；若 fine-tune，准确率将高达 99%，与 SOTA 模型相同。
📻PODCASTS
Sebastian Rduer 做客 Underrated ML，录了一期关于语言独立性的播客
地址: https://www.underratedml.com/episodes/episode-05-language-independence-and-material-properties
嘉宾: @Sebastian Ruder (现 DeepMind 研究员、NLP 网红)
标签: NLP
Underrated ML 邀请 Sebastian Ruder 录了一期播客，讨论了 NLP 中语言的独立性与多样性问题，并尝试探讨了如何从图片中识别材料属性。
🛠PROJECTS
AllenNLP 1.0 正式发布
地址: https://medium.com/ai2-blog/allennlp-1-0-df0327445509
出品人: @AI2 (The Allen Institute for AI，微软联合创始人保罗・艾伦创立的研究机构)
标签: NLP
AllenNLP 是 AI2 开源的、基于 PyTorch 的自然语言处理工具包，同时也是一个平台。作为工具包，AllenNLP 的特点是模块化、简单易配置、对研究非常友好。我个人非常喜欢，是它的忠实粉丝！我印象中，AllenNLP 是最早使用简单易用的模块化设计的高级工具包。微软的 NeuronBlocks 和复旦大学的 fastNLP 都深度借鉴了 AllenNLP 的设计模式。
NAACL 2018 的 Best Paper——ELMo 就是 AllenNLP 团队的研究成果。
spaCy 2.3 正式分布
地址: https://explosion.ai/blog/spacy-v2-3
推荐人: @spaCy (一个工业级的自然语言工具包，特点是超级快⚡)
标签: NLP
等了一年，spaCy 2.3 终于支持🀄文了。
spaCy 2.2 添加了 jieba 作为中文分词器，在新版中又添加了 pkuseg (北大出品) 作为另一个可选的分词器。更重要的是，它终于提供了预训练的中文模型。模型结构均采用了 CNN，使用多任务学习的方式训练得到。
📄PAPERS
Language (Technology) is Power: A Critical Survey of "Bias" in NLP
地址: https://arxiv.org/abs/2005.14050
标签: NLP
摘要: We survey 146 papers analyzing "bias" in NLP systems, finding that their motivations are often vague, inconsistent, and lacking in normative reasoning, despite the fact that analyzing "bias" is an inherently normative process. We further find that these papers' proposed quantitative techniques for measuring or mitigating "bias" are poorly matched to their motivations and do not engage with the relevant literature outside of NLP. Based on these findings, we describe the beginnings of a path forward by proposing three recommendations that should guide work analyzing "bias" in NLP systems. These recommendations rest on a greater recognition of the relationships between language and social hierarchies, encouraging researchers and practitioners to articulate their conceptualizations of "bias"---i.e., what kinds of system behaviors are harmful, in what ways, to whom, and why, as well as the normative reasoning underlying these statements---and to center work around the lived experiences of members of communities affected by NLP systems, while interrogating and reimagining the power relations between technologists and such communities.