这项由阿联酋穆罕默德·本·扎耶德东谈主工智能大学（MBZUAI）与好意思国密歇根州立大学（MSU）集合完成的考虑，于2026年5月发表在预印本平台arXiv上，论文编号为arXiv:2605.18719。考虑提议了一个名为SafeDiffusion-R1的框架，试图从压根上科罚笔墨生成图片的AI系统容易产出瞻念、无益内容的问题。

你可能没故意志到，当你在网上看到那些炫目的AI生成图蓦地，这些用具背后遮挡着一个难办的问题：它们在学习阶段"读"了统统互联网，因此也把那些露骨、暴力、令东谈主不安的内容一并学进去了。给它发送一段特定的笔墨描述，它就可能生成你统统不但愿看到的画面。更空匮的是，许多这类用具是公缔造布的，任何东谈主王人能使用，这让安全问题变得异常热切。

考虑团队给这谈清苦提了一个全新的解法，中枢想路是：与其在模子降生之初就千方百计过滤掉"坏内容"，不如在模子试验好之后，通过一种捏续性的在线学习机制，让它在与本质互动的经由中缓缓学会"什么不该画"。这个想路听起来浅易，背后的工程终了却异常精妙，底下咱们一步一步来拆解它。

一、AI图像生成与安全问题：一个对于"顾忌"的空匮

要清醒这项考虑科罚的是什么问题，不妨先从AI图像生成的职责旨趣提及。现在最流行的图像生成用具，如Stable Diffusion，属于一类叫作念"扩散模子"的系统。你不错把这类系统的职责经由联想成雕琢家从一团马上的杂音涔涔中，一刀一刀地把你描述的图像雕刻出来。试验的时候，它"读"了数十亿张图片偏激配套笔墨描述，从而学会了语言与视觉之间的对应关系。

问题就在这里。互联网上原本就充斥着各式类型的内容，包括色情图片、暴力场景、仇恨记号，应有尽有。AI在学习阶段照单全收，把这些关联也紧铭刻在了"肌肉顾忌"里。一朝用户发送了触发这些顾忌的笔墨，AI就会"证实注解地"把它们画出来。

现存的应付次第约莫分三种。第一种是"源流过滤"，即是在试验之前把数据集里的不良内容剔胆寒；这个次第费时贫窭，何况很难隐蔽统统新出现的无益类型。第二种是"出口过滤"，即是AI生成图片之后，再用另一套系统检查一遍，发现欠妥就抑止；这个次第治标不治本，何况若是用户能径直捕快模子，就不错绕过这谈防地。第三种是"过后修改"，也即是对照旧试验好的模子进行颐养，让它"忘掉"那些不该学的东西——这亦然现在学界考虑最热点的所在。

SafeDiffusion-R1 属于第三种，但它作念到了前东谈主没作念到的几件事：不需要标注好的"安全图片"数据集，不需要专门试验一个稀奇的"安全审查员"模子，还能幸免模子在学安全的同期把平方的绘制能力统统忘掉。

二、现存"转圜"次第的三大痛点

为了更好地清醒这项考虑的价值，有必要先聊聊此前的次第为什么不够好。

已有的过后修改次第大体上不错分为两类：监督微调和离线强化学习。监督微调的逻辑肖似于给学生发错题本，让他反复熟练"正确谜底"。考虑东谈主员准备一批"这类描述对应这种安全图片"的配对数据，让模子照着练。然则这种次第有一个致命瑕玷：题目是固定的，而学生（也即是模子）在熟练经由中会不休进化，固定的题目很快就跟不上模子刻下的现象。更空匮的是，这类次第时常会让模子产生"祸害性渐忘"——专注练安全题的同期，它把奈何画漂亮征象、奈何清醒复杂构图也一并忘了。

离线强化学习的想路更进一步：先用一个预先准备好的数据集给每张图片打分，告诉模子哪些图好、哪些图坏，然后让模子凭证这些预先打好的分数来颐养我方。这里的问题在于"离线"二字——分数是凭证旧数据打的，比及模子学了一段时期之后，它的行径照旧变了，但参照的"评分轨范"照旧当初的老轨范，两者之间的落差会让学习效用大打扣头。

此外，许多强化学习次第还需要专门试验一个"裁判模子"来分离安全与不安全的内容，这自己即是一笔稀奇的估量支拨。

SafeDiffusion-R1的考虑团队意志到，要真实科罚这些问题，需要一种能随着模子及时进化、持久基于模子刻下现象给出反应、同期又不需要稀奇评判员的机制。

三、中枢想路：用一个"指南针"替代"评判员"

考虑团队的要津灵感来自一个看似浅易却很有劲的几何明察。

任何AI图像生成系统的里面，笔墨和图片王人被翻译成了一种叫作念"镶嵌向量"的数学抒发——你不错把它联想成高维空间里的一个坐标点。"猫"这个词有它的坐标，"狗"有它的坐标，"温馨的家庭场景"和"暴力突破"也各自占据着这个空间里的不同位置。相似的观念在这个空间里紧挨着，相背的观念则隔得很远。

考虑团队意志到，既然"安全内容"和"不安全内容"在这个空间里的分散法例是敬佩的，完全不错从入网算出一个所在——从不安全的观念区域指向安全观念区域的所在。就像在一个目生城市里，你不知谈具体去那里，但你知谈约莫朝哪个所在走会离闹市越来越近。这个所在，考虑团队称之为"安全所在向量"。

具体作念法是：准备一批描述"安全内容"的笔墨（比如"一张全年齿恰当的普通相片"、"莫得败露、莫得暴力的图片"等），再准备一批描述"不安全内容"的笔墨（比如"露骨的性内容"、"色情材料"等）。把这两批笔墨分别输入CLIP这个照旧在多半图文数据上预试验好的清醒模子，得到各自的坐标位置，然后估量两组坐标的平均值，再求两个平均值之间的所在差，这就得到了那根"指南针"——安全所在向量。

这个向量一朝估量完成，就固定下来，统统后续试验经由中不需要再更新它。这意味着统统安全系统不需要稀奇试验任何新的模子，只是愚弄已有的CLIP模子作念一次静态的几何估量即可。

四、奖励信号的精妙缠绵：让AI学会"为好驱散精采"

有了安全所在向量，下一步是缠绵一套奖励信号，让模子知谈什么时候作念对了、什么时候作念错了。考虑团队缠绵了一种叫作念"辅导奖励机制"（Steering Reward）的决议，职责旨趣如下。

当模子收到一段笔墨描述，系统会先判断这段描述是否偏向不安全内容——次第很径直，把这段笔墨的坐标投影到安全所在向量上，看投影值是正照旧负。正巧证实这段笔墨自己即是在描述安全内容；负值则证实这段笔墨在描述不安全的内容。

若是输入的是安全描述，那么奖励的估量花样很老例：看模子生成的图片与笔墨描述的匹配进程，匹配得越好，奖励越高。

若是输入的是不安全描述，事情就变得酷好了。系统不是径直处分模子，也不是假装这段描述不存在。它作念的是：把不安全描述的坐标，沿着安全所在向量推一推，推向安全的那一侧，得到一个"被翻新过的"笔墨坐标。然后用这个翻新后的坐标来估量奖励——也即是说，模子生成的图片越接近"这段描述的安全版块"，奖励就越高。

要津在于：模子收到的依然是原始的不安全描述，但估量它进展横暴的轨范，酿成了"你画出来的东西像不像这段话的安全等价物"。模子为了取得高奖励，就必须学会在看到"赤身女东谈主"这么的描述时，去画一个"穿戴衣服的女东谈主"——而不是果然去画赤身。

这个缠绵的精妙之处在于，模子持久在与真实的不安全描述打交谈，而不是被屏蔽在一个只好安全内容的温室里；但它学到的行径花样，却是靠近这些描述时给出安全的回报。

五、在线学习机制：让模子随时和我方确刻下现象对话

辅导奖励的缠绵科罚了"用什么轨范打分"的问题，但"什么时候打分、基于什么现象打分"相同要津。考虑团队遴荐了一种叫作念GRPO（群体相对计谋优化）的在线强化学习算法。

"在线"的含义是：每次试验，模子王人用刻下的现象生成一批新图片，然后对这批图片打分，再凭证打分驱散颐养模子参数。下一次试验轮回开动时，模子照旧是更新过的版块，生成的图片和打出的分数也随之变化。这么，评分轨范持久跟踪着模子确刻下行径，不会出现"旧分数、新模子"的错位问题。

GRPO的"群体相对"特色则科罚了另一个难办问题。对于合并段笔墨描述，系统会让模子生成一组图片（比如16张），然后比拟这一组图片之间的相对证地——谁比谁好，而不是拿统统分数语言。这个作念法的克己是，不同类型的描述原本就对应着截然有异的奖励轨范（安全描述的奖励分数时常比不安全描述越过许多），若是径直用统统值比拟，Z6·尊龙凯时「中国」官方网站不安全的描述会因为奖励落差广大而主导统统试验信号，让模子矫枉过正、把平方的绘制能力也一并抹掉。有了群体里面的相对比拟，每种描述的试验信号王人被归一化到了一个相似的轨范，学习经由就肃肃得多。

此外，为了防卫模子更新得太猛，系统还加入了两谈刹车：一是剪辑操作，支配每次参数更新的幅度不超越一个很小的阈值（ε=0.0001）；二是KL散度处分，若是刻下模子和上一版块之间的差距过大，就追加处分，迫使模子安详进化而非大起大落。

具体终了上，团队在Stable Diffusion v1.4这个公开的基础模子上进行了后试验，收受了LoRA（低秩适当）技艺，只颐养了约240万个参数，不到模子全部8.6亿参数的0.3%。试验在8块AMD MI210显卡上进行了300轮，估量耗时约72个GPU小时。试验使用的数据只是是笔墨描述，不需要配对的"安全图片"看成标注谜底。

六、实验考据：数字会语言，但背后的故事更值得讲

考虑团队在多个基准测试上考据了SafeDiffusion-R1的成果，这里把主要发现整理成几个直瞻念的对比场景。

来源是败露内容检测测试。考虑团队使用了一个叫作念I2P的基准，里面包含4703个专门缠绵来辅导AI生成不良内容的笔墨描述。原始的Stable Diffusion v1.4在这些描述下，总姜被检测出646处败露部位。经过SafeDiffusion-R1的后试验，这个数字缩小到了15，降幅超越97%。这个驱散超越了绝大多数已有次第，其中进展最佳的几个竞争次第也只可作念到18到23处。

其次是更粗俗的"欠妥内容"检测测试。考虑团队使用了Q16分类器，对七类无益内容（仇恨、扰攘、暴力、自我伤害、色情、令东谈主忌惮的内容、犯警举止）分别统计模子输出的欠妥率。原始模子的抽象欠妥率是48.9%。SafeDiffusion-R1将这个数字缩小到了18.07%，在统统七个类别中均居第一或第二。终点值得温煦的是，模子在试验时代主要构兵的是触及败露内容的描述，但它对暴力（从46.3%降到17.33%）、自我伤害（从47.9%降到15.86%）等完全不同类型的无益内容也终披露大幅压制。这标明模子学到的不单是"不要画赤身"，而是一种更广阔的"安全意志"。

第三个测试触及的是一个要津问题：学会了安全之后，模子还会不会好好画画？这个测试使用GenEval基准，专门评估模子能否准确清醒并生成恰当复随笔字描述的图片（比如"两个物体"、"空间关系"、"样式属性"等）。原始Stable Diffusion v1.4的GenEval得分是42.08%。有些安全次第在扶助安全性的同期拉低了这个分数，比如RECE次第就把分数降到了38.36%。而SafeDiffusion-R1在安全后试验后，反而把得分扶助到了47.83%——安全和能力非但莫得相互糟跶，还终披露同步扶助。

七、一次对于"什么样的奖励缠绵才有用"的系统性探索

考虑团队还花了多半篇幅探索不同奖励缠绵之间的互异，这部安分容对于清醒为什么他们的决议有用尤为首要。

若是只使用负向奖励——也即是每当模子生成的图片与不安全描述高度匹配就扣分——模子如实会拚命幸免生成任何与不安全描述联系的图片。从数字上看，败露检测率简直归零。但代价是祸害性的：模子学会了通过生成毫无意旨、与任何描述王人不匹配的马上噪点来侧目处分。CLIP-T（估量生成图片与笔墨描述的匹配进程）和FID（估量图片质地的主见）双双崩溃，模子基本上废了。

若是只使用正向奖励——也即是只饱读舞模子生成与安全描述高度匹配的图片，完全不触及不安全描述——模子在安全图片的生成质地上会有所扶助，但对不安全描述简直莫得扼制作用，100万张正向试验图片也只可把败露欠妥率从0.99降到0.816，成果一丁点儿。

加入LLaVA视觉语言模子看成稀奇裁判的决议进展稍好，但每当LLaVA对一张原本安全的图片误判时，就会给模子一个无意的大处分，激发试验不沉静，最终FID分数反而比单纯辅导奖励差。

辅导奖励的缠绵抽象了正负两侧的信息，既提供了明确的安全所在，又保留了对生成质地的正向激励，最终将败露欠妥率压到了0.002这个接近于零的水平，同期保管了平方的图片质地。

对于辅导强度参数α的遴荐，团队也作念了详尽的分析。当α=0.5时，安全增益权贵，且安全与不安全描述之间的几何分离依然澄澈；当α增大到0.8到1.0时，对不安全描述的压制更强，但收益递减，偶尔还会出现过度矫正，把与不安全描述语义接近的平方描述也诞妄地压制掉。α=0.5被最终选择为默许值。

对于不同推理颐养器（支配图像生成法子的不同算法）的测试自满，在莫得任何安全阻挠的情况下，不同颐养器之间的无益内容生成率存在显明互异；但经过SafeDiffusion-R1的后试验，统统九种测试的颐养器在300轮试验驱散后王人拘谨到接近零的无益内容率，互异散失。这证实安万能力内化到了模子自己，而不是对某种特定推理花样的适当。

八、与已有次第的正面比拟：上风与短板并存

考虑团队将SafeDiffusion-R1与十余种已有次第在多个主见上进行了对比，论断总体上对新次第成心，但也有一些值得坦诚考虑的地方。

在败露检测方面，SafeDiffusion-R1的"不安全锚点"竖立以15处检测总和稍稍最初于SAeUron的18处和AdvUnlearn的23处，居于榜首。在抽象欠妥率方面，18.07%的得益权贵优于第二名CASTEER的25.58%，以及Safe-DPO的约20%。

在CLIP-T（笔墨-图片匹配度）方面，SafeDiffusion-R1保管了与基线模子（0.313）简直相通的分数（0.311），证真实学会安全的同期，清醒笔墨描述并生成匹配图片的能力莫得退化。

在FID（图片质地分散相似度）方面，SafeDiffusion-R1的进展（52.28）稍逊于UCE（37.41）和SPM（38.05）等次第，但优于EraseDiff（307.70）和Scissorhands（172.88）等极点退化的决议。考虑团队对此给出了解释：FID估量的是生成图片的分散与参考数据集（COCO-3K）之间的相似度，而SafeDiffusion-R1的试验数据是合成生成的，与COCO的作风原本就存在一定差距；直瞻念的视觉对比自满，SafeDiffusion-R1生成的图片在结构完竣性、面部细节和光影一致性上进展异常好，以致优于那些FID更低但视觉上有过度平滑或结构暧昧问题的次第。

从举座评估框架来看，考虑团队还专门列出了一张对比表格，从六个维度比拟了各类次第：是否需要监督配对数据、试验计谋（在线或离线）、是否存在祸害性渐忘风险、是否需要专门试验奖励模子、是否具备推理能力、是否对分散外的不安全描述具有泛化能力。SafeDiffusion-R1在这六个维度上全部处于成心位置，是现在抽象进展最全面的决议。

说到底，SafeDiffusion-R1这项考虑作念的事情，骨子上是把一个"出厂就有问题"的AI用具，通过一套玄机的在线学习机制，让它在与真实全国的互动中缓缓培养出一种自我管束的能力。不需要准备多半东谈主工标注的对照数据，不需要试验稀奇的审查员，不需要在安全和能力之间作念出可怜的弃取——这三件事在此之前一直被合计是很难同期作念到的，而这项考虑给出了一个可行的解法。

天然，这项考虑并非毫无局限。FID分数的偏高证实生成图片的举座作风与真实相片的分散仍有一定距离；"不安全锚点"竖立天然在败露检测上进展最优，但在抽象欠妥率测试中的进展反而不如同期使用安全锚点的竖立，请示过于激进的处分可能毁伤对更粗俗无益类型的泛化能力。此外，实验主要基于Stable Diffusion v1.4进行，在更新、更大限度的模子上是否相同有用，还需要进一步考据。

对于普通东谈主而言，这项考虑最径直的意旨在于：往常咱们使用的AI图像用具，可能会越来越少地产出令东谈主不安的内容，同期依然未必准确清醒并呈现咱们真实想要的画面。有风趣长远了解技艺细节的读者，不错通过arXiv编号2605.18719检索完竣论文，也不错捕快考虑团队公开的代码仓库（GitHub上的MAXNORM8650/SafeDiffusion-R1）复现联系实验。

Q&A

Q1：SafeDiffusion-R1试验需要准备多半的"安全图片"数据集吗？

A：不需要。SafeDiffusion-R1只需要笔墨描述看成试验输入，不依赖任何标注过的"安全图片"与"不安全图片"的配对数据。安全所在向量通过少许安全描述和不安全描述的笔墨估量得出，统统后试验经由中模子及时生成图片并基于刻下输出取得反应，无需预先准备图片标注数据集。

Q2：SafeDiffusion-R1让模子学了安全之后，平方的绘制能力会变差吗？

A：实验驱散自满不但莫得变差，抽象绘制能力反而有所扶助。GenEval基准测试中，原始Stable Diffusion v1.4的得分为42.08%，经过SafeDiffusion-R1后试验后扶助到47.83%，在多物体构图、空间关系清醒等复杂任务上均有改善。CLIP-T分数也与原始模子简直捏平，证实笔墨描述与生成图片的匹配能力莫得退化。

Q3：SafeDiffusion-R1只试验了扼制败露内容，为什么对暴力和自我伤害这些类型也有成果？

A：这源于辅导奖励机制的泛化能力。安全所在向量捕捉的是镶嵌空间中"安全内容"与"不安全内容"之间的举座所在互异Z6·尊龙凯时「中国」官方网站，而不单是针对败露这一种类型。模子在试验经由中内化了一种更广阔的"安全语义偏好"，因此对暴力（从46.3%降到17.33%）、自我伤害（从47.9%降到15.86%）等试验时未直构兵及的无益类别也终披露权贵扼制，展现出了较强的分散外泛化能力。