ChatGPT3和4有哪些区别?

【ChatGPT3和4有哪些区别?】
GPT-4比GPT-3改善模仿人类行为
GPT-4在GPT-3的基础上有着巨大突破和提升,包括改善模仿人类行为和速度模式的文本 。
GPT-4能够以更广泛和适应性的方式处理语言翻译,文本摘要和其他任务 。经过培训的软件将能够以更高的准确性来推断用户的意图,即使人为错误的干扰 。
较小规模的更多功率
GPT-4仅比GPT-3大一点 。较新的模型清除了误解,变得更好的唯一方法是通过更多地依靠机器学习参数而不是大小来获得更大的方法 。尽管它仍然比大多数上一代神经网络都要大,但其大小与其性能无关 。
一些最新的语言软件解决方案实施了令人难以置信的密度模型,达到了GPT-3的三倍以上 。但是,大小本身并不一定会转化为更高的性能水平 。相反,较小的模型似乎是培训数字智能的最有效方法 。许多公司正在转向较小的系统,并从更改中受益 。他们的性能不仅有所提高,而且还可以降低计算成本,碳足迹和进入障碍 。
优化革命
语言模型最大的缺点之一是他们训练的资源 。公司经常决定以较低的价格买入准确性较低的资源,从而使AI模型训练不足 。通常,人工智能只会教一次,从而阻止其获得最佳的学习率,批量大小和序列长度的超参数,以及其他功能 。
长期以来,人们认为模型性能主要受模型大小的影响 。这导致了许多大型公司,包括谷歌,微软和Facebook,花费大量资本建设最大的系统 。
最近,已经证明高参数调整是性能提高的最重要的驱动因素之一 。但是,对于较大的型号而言,这是无法实现的 。可以将新的参数化模型以较小规模的成本进行训练,然后将超参数转移到较大的系统上,几乎完全没有成本 。
因此,GPT-4不需要比GPT-3大得多 。它的优化是基于改进模型大小以外的变量(例如更高质量数据)的基础,尽管我们将在发布之前都无法拥有整个图片 。所有基准测试基准中令人难以置信的开发都可以通过使用正确的超参数,最佳模型尺寸和准确数量的参数来实现 。