AI大佬教你如何中顶会：写论文也要关注「叙事」

NeurIPS投稿数量破纪录了！Deadline还有不到一个月，如何让论文更容易中？

大佬的论文撰写指南它来了。

来自Google DeepMind的Neel Nanda在指导了20多篇论文之后，发布了一则关于如何写好机器学习论文的指南。

旨在帮助研究者将研究成果转化为高质量、科学诚信的论文，解决在表达上“晦涩难懂”的痛点。

让我们一起来看看一篇优秀的论文该怎么写吧。

论文写作关键要素

构建叙事从研究中提炼出令人感兴趣、重要且独特的结果作为核心主张（1-3个具体新颖的主张），构成一个连贯主题，形成有价值的结论。

把握写作时机列出研究收获，审视其能否为结果提供有力证据，深入思考他人关注该研究的原因，聚焦难点和亮点。在准备进入写作阶段前，必须要认真检查关键实验。

突出新颖性成果要能拓展知识边界。通过明确阐述与前人工作的差异来展现新颖性，可借助LLMs了解前人研究。

提供严谨证据通过实验提供证据，实验需要能区分假设，具备可靠性、低噪声和统计严谨性。进行消融研究，考虑未知因素，避免误导性证据，注重证据质量和多样性，选好基线并提供详细实验细节。

论文结构解析

摘要：激发阅读兴趣，简洁呈现核心主张、研究影响，解释关键主张及依据，给出研究的重要结论和意义。作者以《Refusal in Language Models Is Mediated by a Single Direction》这篇文章为例，对其摘要进行了逐行解析。

引言：介绍研究背景、技术背景，阐述关键贡献、核心证据和研究意义，以列表形式呈现主要贡献。

正文：涵盖背景、方法和结果，解释相关术语和技术，说明实验方法、应用过程和结果，依实验情况合理组织内容。

讨论：阐述研究局限性，探讨研究的更广泛影响、启示和未来方向。

相关工作：说明与前人研究的差异，解释自身工作的价值，可后置，除非对论文动机有重要作用。

附录：放置不适合在正文呈现的信息，对正文起补充作用，写作标准相对较低。

写作流程建议

先压缩研究内容，明确核心主张、动机和关键证据，批判性评估；再迭代扩展，从要点叙事开始，逐步完成引言、全文大纲、初稿，不断修改完善。

常见问题及应对策略

针对过度关注发表、内容复杂冗长、忽视写作过程等问题，作者建议先专注科研再优化投稿，使用简洁语言，重视写作过程，合理安排时间。

细心的网友还发现，Neel Nanda的这份论文写作指南与《Nature》的带注释的指南在理解上趋于一致。

关于Neel Nanda

Neel Nanda是谷歌DeepMind的一名资深研究科学家，领导着机械可解释性团队。

他在剑桥大学读了纯数学本科（2020 年毕业），并在量化金融领域实习过（Jane Street和Jump Trading），毕业后花了一年时间探索人工智能安全，在人类未来研究所、DeepMind和人类兼容人工智能中心实习。

之后，他在Anthropic（OpenAI前高层创立的一家人工智能安全和研究公司，主要产品有Claude系列）担任语言模型可解释性研究员。目前在谷歌DeepMind负责机械可解释性团队。

主要研究成果 ：

Neel Nanda在相关领域发表了多篇论文，如 《Progress measures for grokking via mechanistic interpretability》、《A toy model of universality: reverse engineering how networks learn group operations》等。

他还开发了一些工具和资源，包括用于语言模型机械可解释性的Transformer Lens库、全面的机械可解释性解释器和术语表，以及一个关于机械可解释性的 YouTube 频道，上面有许多论文讲解和实时研究讲解。

想知道更多关于论文写作的细节，可以到原文查看～

文章链接：

https://www.alignmentforum.org/posts/eJGptPbbFPZGLpjsp/highly-opinionated-advice-on-how-to-write-ml-papers

作者博客：

https://www.neelnanda.io/mechanistic-interpretability

参考链接：

[1]https://x.com/NeelNanda5/status/1921928364790833651

[2]https://x.com/SharonYixuanLi/status/1921744333511802993