最近在部门搞模型安全,主要内容是针对黑盒的Prompt hacking或者传统渗透,和针对开源白盒模型框架层代审。难度挺大的,前者来说交互媒介有限,很多插件应用不支持代理;后者需要对大模型了解比较深入,最近在恶补机器学习深度学习的知识,transform架构啊TensorFlow啊还有最容易出洞的keras模型。
挺前沿的是个不错的前景方向,但难度也比较大(起码对于我来说),而且市面上几乎没有成体系的教学。
最近在部门搞模型安全,主要内容是针对黑盒的Prompt hacking或者传统渗透,和针对开源白盒模型框架层代审。难度挺大的,前者来说交互媒介有限,很多插件应用不支持代理;后者需要对大模型了解比较深入,最近在恶补机器学习深度学习的知识,transform架构啊TensorFlow啊还有最容易出洞的keras模型。
挺前沿的是个不错的前景方向,但难度也比较大(起码对于我来说),而且市面上几乎没有成体系的教学。