【研究速递】西安交通大学团队针对大型视觉语言模型(LVLMs)普遍存在的物体幻觉现象,创新性地提出Nullu解决方案。该方法通过提取「幻觉子空间」并运用零空间投影技术,在不增加推理成本的前提下有效抑制模型生成虚假物体描述的问题。
物体幻觉问题已成为制约LVLMs发展的主要瓶颈之一,表现为模型会生成图像中根本不存在的物体描述。西安交通大学AI-SEC实验室的最新研究成果Nullu,通过定位特征空间中的关键差异维度,为这一难题提供了高效解决方案。
技术原理方面,研究团队首先构建包含真实描述与幻觉描述的对比样本对,通过分析二者在模型内部嵌入特征的差异,运用主成分分析技术提取出关键的「幻觉子空间」(HalluSpace)。实验证实,该子空间承载了大语言模型(LLMs)中过强的偏好先验知识——这正是诱发幻觉的重要因素。
Nullu的核心创新在于:将模型权重向HalluSpace的零空间进行正交化投影,从而消除特征中的潜在幻觉信息。整个处理流程包含三个关键步骤:数据对构建、HalluSpace抽取和权重编辑。值得注意的是,该方法无需额外训练,编辑后的模型参数可直接加载使用,保持了原始模型的推理效率。
在验证实验中,研究人员采用CHAIR测试集证实了HalluSpace的存在性——真实与幻觉样本的特征差异向量在该子空间的投影分量比随机向量高出10倍以上。当部署在LLaVA-1.5等主流模型时,Nullu在POPE等基准测试中展现出卓越的幻觉抑制能力,同时保持MME等通用性能基准的稳定表现。
理论分析揭示了该方法与直接偏好优化(DPO)的内在关联,其通过调整模型参数有效减少了语言偏差。案例研究显示,经过Nullu处理的模型成功消除了原输出中"person"等虚假对象,准确识别出"mountain"等真实内容。
该成果已入选CVPR 2025,论文及代码均已开源。研究团队由西安交通大学杨乐研究员、郑子维博士生和沈超教授领衔,相关技术有望推动LVLMs在医疗诊断、自动驾驶等关键领域的可靠应用。
参考文献:[1] Zhou Y, et al. ICLR 2024[2] Leng S, et al. CVPR 2024
几度夕阳红40集全免观看
《几度夕阳红》是一部深情的影视作品,以其写实的叙事手法,引领观众穿越了历史的长河,沉浸在跨越二十年的爱情故事中。影片讲述了一段因误会而分离的上一代人物的遗憾与失落,然而,这种情感在年轻一代的身上得到了温暖的慰藉,实现了情感的圆满。1966年,影片的上映即刻引起了轰动,创下了多项票房佳绩...。
几度夕阳红 txt全集小说附件已上传到百度网盘,点击免费下载:内容预览:晚霞正在天边燃烧,一层又一层的红云重重堆积,落日圆而大,迅速的从半空向地平线坠落。何慕天用手支着下巴,静静的凝视着窗外的景致,凝视着那晚霞由鲜红变为绛紫,凝视着那落日一分一厘的被地平线所吞噬,直至完全隐没。天色...。
《至尊红颜》,贾静雯、保剑锋、赵文卓主演。上面这些都是我看过的,都很不错。这些我没看过,不过网上点击率很高的,应该会好看。《珠光宝气》《溏心风暴之家好月圆》《烈火雄心3》《终极三国》《痞子英雄》《搜神传》《我的青春谁做主》《封神榜之武王伐纣》《封神榜之凤鸣岐山》《少林寺传奇2》...。
展开全部 三国演义的好词好句和我的感受1、吾弟张翼德,于百万军中取上将之头,如探囊取物耳。2、第068回甘宁百骑劫魏营左慈掷杯戏曹操3、是非成败转头空,青山依旧在,几度夕阳红。白发渔樵江渚上,惯看秋月春风。4、七擒七纵;5、第074回庞令明抬榇决死战关云长放水淹七军6、鞠躬尽瘁,死而后已:形容为了...。
青山依旧在,几度夕阳红。白发渔樵江渚上,惯看秋月春风。一壶浊酒喜相逢。古今多少事,都付笑谈中。 2、《水浒传》作者简介及内容简介 《水浒传》作者施耐庵简介 :施耐庵(1296年—1371年)是元末明初的文学家今江苏兴化人。博古通今,才气横溢,相传是孔子七十二弟子之一施之常的后裔。 《水浒传》内容简介:《...。