讲个真实的故事：就在上周，我在处理一个延迟的货物运输时，花了不少时间与我的专属客服代表Johnny发消息。Johnny人很好，他礼貌且反应迅速，以至于有时我都不好意思已读不回。但随着对话的深入，他不断重复着同样的问题，那些千篇一律的建议毫无帮助。嗯，我暗自思忖，也许这根本不是Johnny本人。我虽不是侦探，但很明显Johnny实际上是个LLM聊天机器人。尽管我很欣赏Johnny的态度，但他总是
手动评测LLM系统既繁琐又耗时，令人沮丧。如果你曾不得不循环遍历一组提示来逐一检查对应的LLM输出，那么你会很高兴了解到，本文将教你关于LLM评测的一切必要知识，以确保你和你的LLM应用的长久发展。LLM评测指的是确保LLM输出符合人类期望的过程，这些期望可能涉及伦理和安全考量，也可能包括更实际的准则，如LLM输出的正确性和相关性。从工程角度看，这些LLM输出常以单元测试用例的形式出现，而评测
就在前几天，我还在尝试基于对话的LLM越狱，多次成功破解了GPT-4和GPT-4o，引发了一系列混乱而幽默的回应。但当你的系统被黑、数据泄露，并面临难以想象的法律和财务后果时，这些乐趣和游戏就戛然而止了。随着LLMs的发展，尤其是能够访问和管理数据的代理式RAG系统，我们必须确保其安全性，以防出现任何破坏性后果。在本文中，我将向你介绍LLM安全的支柱、涉及的不同风险与漏洞，以及保护这些模型及你
如今，你可能已经在社交动态中见识过不少令人惊叹的AI生成图像，心里想着：“人们是怎么创作出这些惊艳画面的？”于是你满怀期待地登录Midjourney，准备大展身手，却发现产出效果与预期相去甚远。不甘心的你再次尝试，结果依然令人失望。这场景是否似曾相识？要想生成理想的作品，你必须掌握如何正确地向Midjourney的LLM输入提示词。说实话，为了给Confident每周的博客文章制作封面图（比如
ChatGPT：领先的代码生成工具凭借近乎全知的GPT-4模型，ChatGPT在过去一年中人气飙升。它能够针对未曾见过的上下文生成连贯且富有诗意的回答，这一能力推动了其他基础大型语言模型（LLM）的发展，例如Anthropic的Claude、谷歌的Bard和Meta的开源LLaMA模型。由此，机器学习工程师得以围绕专有数据构建基于检索的LLM应用，其效率远超以往。然而，此类应用仍面临三大挑战：
如果你曾听说过LLM红队演练，那么你可能已经遇到过几种著名的攻击方式：提示注入、数据投毒、拒绝服务（DoS）攻击等。然而，在利用LLM生成不良或有害输出方面，没有什么比LLM深度破解更强大的了。事实上，这项研究表明，像GPT-4这样的先进模型仅通过几次深度破解查询就被成功攻破。尽管如此，虽然LLM深度破解已成为广泛讨论的话题，但其定义在不同情境下可能有所差异，导致人们对其真正含义产生困惑。别担
假设一个场景：当我正准备第44次修改我的提示模板时，收到了经理的消息：“嘿Jeff，希望你今天一切顺利。你看到新开源的Mistral模型了吗？听说它比你现在用的LLaMA-2效果更好，我想让你试试看。”哦不，我心里想，又来这一套。这种令人沮丧的打断（我指的是新模型的不断发布）正是为什么，我作为DeepEval的创建者，今天要教你如何构建一个LLM评测框架，来系统性地为你的LLM系统找出最佳超参
经过数月紧张的评测、红队测试以及对你LLM应用程序数百条提示的反复迭代，发布日终于到来。然而，随着最后倒计时的滴答声，那些熟悉的疑虑依然挥之不去：你真的考虑周全了吗？会有人发现漏洞吗？你的模型真的准备好面对现实世界了吗？不，说真的，它真的准备好了吗？事实是，无论准备多么充分，都无法测试部署后可能出现的每一个潜在问题。但好消息是——你并不孤单。借助正确的LLM监控、监督和可观测性工具，你可以有效
最近，我听到“LLMasaJudge”这个术语的频率比以往任何时候都高。虽然这可能是因为我从事LLM评测领域的工作，但LLM评委正在接管，因为很明显，与速度慢、成本高且劳动密集型的人类评测者相比，它是LLM评测的更好替代方案。然而，LLM评委确实存在局限，不加谨慎地使用只会带来挫败。本文将分享我目前所知的关于利用LLM评委进行LLM（系统）评测的一切要点，包括：什么是作为评委的LLM，以及它为
当你想象一篇10页研究论文的优秀摘要应该是什么样子时，脑海中很可能会浮现出一份简洁全面、准确捕捉原文所有关键发现和数据，并以清晰易懂形式呈现的概述。这对我们来说可能极其显而易见（毕竟，谁不知道好摘要长什么样呢？），但对于像GPT-4这样的大型语言模型(LLMs)而言，要准确可靠地把握这一简单概念来评测文本摘要任务，仍是一个重大挑战。本文将分享我们如何构建自己的LLM评测体系（使用LLMs评测的
热门文章