转型 GenAI 的经验分享 🌟

最近有很多朋友表达了对进入 GenAI 领域的兴趣，特别是那些来自某大厂 SDE/DS 背景的朋友们。他们普遍感到一些焦虑，但实际上，他们的能力是相当强的。今天，我想分享一些个人的经验与理解，希望能为大家的转型之路提供参考。

理解 AI 角色的重要性 🎯

首先，必须注意到当前阶段，大部分 AI 公司的 SDE 仍然是核心角色。尽管 AI 能力非常重要，但开源生态已经非常成熟。即使想要从事模型或者研究方向的工作，我也建议大家不要急于求成。可以逐步过渡，从 SDE 转向 ML，是一个更加稳妥的路径。

确定转型的目的 ❓

接下来，要理清你从事 GenAI 的目的。是想了解未来的趋势，还是对技术本身感兴趣？如果你只是想了解一些高层次的信息，那么社交媒体就是最简单的方式。可以在 X 上关注一些干货满满的账号，培养你的信息来源。我个人不太推荐参加付费峰会，门票通常与收获不成比例，大牌演讲者分享的内容往往较为泛泛。

如果你确实对技术感兴趣，不妨参加一些免费的 AI 活动，如各类 AI hackathon 或开源项目的聚会。这类活动不仅能够让你与行业的实现者面对面交流，还能更真实地理解行业生态和现状。

探索 ML 推理基础设施 🔍

对于技术感兴趣的朋友，我非常推荐探索 ML inference 的基础设施。这一领域聚焦于如何高效地进行模型推理和部署，不需要很多 ML 知识。同时，它与 SDE 背景紧密相关，需求也非常高。

我推荐从 vllm 开始，简单搜索即可找到其 GitHub 资源库。vllm 是由伯克利开源的 LLM 推理框架，集成了丰富的功能，代码质量极高，生态活跃。可以尝试运行一些代码并部署自己的 LLM，逐步理解如何优化 LLM，包括 kv cache、page attention 的使用，注意力机制的工作原理，pre-fill 和 decode 的过程，以及 autoregressive 生成的各种采样方法，如 topK 和 temperature。

如果你想更深入地了解，还可以探索 Ray 的多卡并行、Triton 等工具。总的来说，我从 vllm 学到了很多。如果你对这个框架非常熟悉，甚至能够提出 PR（例如增加新模型），这将帮助你顺利通过一些简历筛选！

此外，sglang 是另一个类似的项目，运行速度更快，且许多模块复用了 vllm。之后，你可以尝试实际部署自己的 LLM，搭建一个小型服务。如果对模型本身感兴趣，深入学习注意力机制、位置嵌入等各个部分也是很有意义的，因为都有相应的代码和论文可供参考。

总结 📝

转型到 GenAI 领域并不需要一种突兀的改变，而是可以通过明确目标和逐步学习来实现。无论是关注高层次的技术趋势，还是深入到具体的实施细节，正确的方法和资源都能帮助你在这个迅速发展的领域中站稳脚跟。加油！你可以做到！