Koala OSS Club

最后是⼀个视频分享，在两⼩时的时间内从头开发 GPT 模型。视频的作者 AndrejKarpathy 此前是 OpenAI 的研究科学家，之后加⼊特斯拉，执掌⾃动驾驶系统中的计算机视觉团队。视频中，他带领观众⼀起根据论⽂“Attention is All You Need”和OpenAI 的 GPT-2 、GPT-3 开发⼀个 GPT 模型，对应的代码 nanoGPT 也在GitHub 上开源。