ChatGPT50点思考
- GPT-4的发布还没有确定，但据传其能力可能包括图表和代码等方面的增强。
- 视频生成可能会稍有困难，但对于图片生成和多模态的能力应该不会有太大问题。
- 后派可能更加重视AI安全问题，并将其放在更高的优先级。
- 如果AI的安全性无法得到保障，将来可能会变得难以控制。
- GPT-4的交互能力可能比较有意思，例如能够用更小、更高效的模型进行交互。
- 希望GPT-4在结构化数据交互、推理等方面的能力得到提升。
- 国内和OpenAI在整体计算能力等方面差别并不大，但在优化目标和探索兴趣方面存在不同。
- 国内更习惯于针对给定的问题进行更好的优化，而不是从好奇心出发探索新的研究方向。
- 国内在新的应用模式和研究方向方面可能还需要与国际同行学习。
- 真正的成果需要长时间的积累和坚持，不是一朝一夕可以完成的。
- 国内在资源投入方面并不缺乏资源，但可能缺少长时间的投资和不求回报的态度。
- 欧洲早期和中期的投资人有五六年的无限投入态度。
- 研究的长期主义方面可能存在差距。
- 可能需要更加注重优化目标和好奇心方面的投资。
- 企业同行致力于开发更大的模型，但是越来越多的公司开始转向更注重交互模式的研究，而不是更大的模型。
- 微软的RDM-A网络和阿里的飞天计算集群等基于HPC的异构计算等高性能计算方案已经在全球得到广泛应用。
- 开源框架如DeepSpeed等使得大家在分布式训练等能力上大同小异。
- 在技术能力方面，比较有意思的是GPT-4是否能够提供更高效的交互能力。
- 国际同行的探索新的研究方向可能需要被国内更多地借鉴。
- 长时间的积累和坚持是取得真正成果的必要条件。
- 团队希望在国内复刻一个中国版的爱到底，但感性角度上缺少长期积累和团队内部对AGI信仰的高度。
- 高度信仰AGI的团队能够创新出像Transformer和GPT这样的产品，突破计算能力的边界。
- 微软和NVIDIA的支持对团队来说非常重要，因为大良支持和适合的场景和身体也是必不可少的。
- 团队的工程实现能力是其优势之一，因为实现大模型需要非常多的技术工艺细节。
- 团队对技术路线和愿景的信仰非常重要，这种信仰能够使他们在追求AGI的道路上坚定不移。
- OpenAI随着GPT-2到3到3.5到前4的能力提升，背后有很多在层面的提升。
- OpenAI和DeepMind在早期的研究探索中可能会投入大量资源，但这些探索对于科学研究的发展非常重要。
- 从中国追赶者的角度来看，我们可能可以通过复现别人已经研究过的东西来节省资源。
- 在试错中积累经验和经验教训的机会也非常重要。
- 灵法团队在框架结构方面可能很少使用开源的框架，他们应该有一套自己的框架结构，无论是在训练之前还是之后。
- 中国团队在人才密度和学术方向方面可能与美国存在巨大差距。
- 多元化的知识背景可以为团队的思考提供更多角度。
- 多元化的团队可以带来相互挑战和成就感，从而将产品推向更高的水平。
- 在商业应用中，闭源软件的可控性更高，可以减少不必要的担忧和想法。
- 开源系统对于新兴事物的了解和适用来说是非常有益的。
- 平衡开源和闭源之间的利弊非常重要。
- 贾扬清认为语言和开源之间的一个tradeoff可能是哲学化的。
- 团队希望将更多的东西开源，让更多人了解和使用，减少因不了解而产生的恐惧心理。
- 不少研究生写的开源框架非常流行，但一些企业认为他们自
- 企业认为自己有一个非常强大的框架，可以横扫那些开源的研究生写的东西，但是贾扬清认为，开源框架的优势在于它们可以被更多的人了解和使用，从而使得整个社区更加活跃。
- AI领域一直在试图解决A.S.Safety问题，例如谷歌五年前的图像识别失误。
- 中国各大公司都在紧锣密鼓地研究中文模型，但是否应该立足于全球多语言模型的研究？
- 不同公司做大模型的动机不同，例如颠覆商业模型或防止被颠覆。
- 在大模型领域，人才密度是非常重要的。
- ChatGPT只是一个产品，更核心的是它的底座。
- 未来的通用计算机格局可能有多种形式，例如芯片、公有云、SaaS产业、搜索业务、手机业务。
- 美国通用计算机格局是一超多强，长期可能是50%以上的市场份额。
- 在国内，行业壁垒更高，可能会有多个版本。
- 巨头会做大模型，同时也要做大应用。
- 垂直行业也有很多机会，如电商搜索、旅游产品、本地生活的搜索、内容等。
