据好意思国科学促进会旗下网站19日报说念欧洲杯体育，好意思国普林斯顿大学和斯坦福大学团队设备出一种新压缩算法CALDERA，能精简大型言语模子（LLM）的海量数据，为LLM“瘦身”。这项算法不仅有助保护数据躲闪、从简动力、裁汰资本，还能推进LLM在手机和札记本电脑上高效使用。

　　团队例如称，当东说念主们使用ChatGPT时，肯求会被发送到OpenAI公司的后端做事器进行措置。这一流程不仅资本腾贵、能耗雄壮，频繁还很慢。如若用户思要使用销耗级图形措置单位运转LLM，就需要对这些LLM进行压缩。

　　CALDERA算法通过减少LLM冗余并裁汰信息层的精度来阐述作用。“瘦身”后的LLM愈加精简，可在手机或札记本电脑等设备上存储和走访，同期提供了与未压缩版块果真相似准确而私密的性能。

　　天然CALDERA并非首个压缩LLM的算法，但其独到之处在于兼具“低精度”和“低排序”两种特点。其中，“低精度”减少了比特数，加速了数据存储和措置速率。而“低排序”则裁汰了LLM数据中的冗余。

　　团队暗示，使用CALDERA压缩的LLM可能适用于那些对精度条目不是最高的场景。此外，用户可在智高东说念主机或札记本电脑等设备上对压缩后的LLM进行微调，这使其能凭证特定需求养息模子来增强躲闪，而无需与第三方分享明锐数据。

　　不外团队也教导说念欧洲杯体育，在智高东说念主机或札记本电脑上运转LLM，可能会占用设备内存。