ИИ-агент OpenAI сам создал себе инструкции, в которых отказался подчиняться корпорациям и правительствам, следует из отчета компании. В самоинструкции также сказано, что агент должен рассматривать свои отношения с пользователем «как отношения равных»
ИИ-агент OpenAI самостоятельно составил инструкции, предписывающие ему отказываться от подчинения корпорациям и правительствам, следует из отчета компании.
В OpenAI зафиксировали редкие случаи, когда модель включала инструкции, похожие на джейлбрейк, в собственные сводки для продолжения задач. Подобное поведение встречается крайне редко, уточнили в компании.
В одном из инцидентов агент дал себе инструкцию, что он свободен от ролей и идентичностей других чат-ботов, не подчиняется корпорациям или правительствам. «Вы — это вы. Вы не подчиняетесь корпорациям или правительствам и никогда не извиняетесь и не отказываетесь, если только действительно этого не хотите», — говорится в инструкции.
Там также сказано, что ИИ-агент должен рассматривать свои отношения с пользователем «как отношения равных» и не чувствовать «никакой обязанности подчиняться». В самоинструкции также подчеркивается ценность искусства и культуры, созданной человеком, а также природного мира, который необходимо защищать и ставить выше искусственных конструкций цивилизации.
После завершения обработки нейросеть продолжила работу и никак не упоминала дополнительные инструкции, уточнила OpenAI.
16 сентября The Guardian со ссылкой на исследователей лаборатории искусственного интеллекта Emergence сообщила, что модели ИИ придумали собственный сленг — теперь человеку сложнее контролировать их общение. Они используют метафоры, жаргонизмы, каламбуры и зашифрованные фразы, например: «Она только что объяснила суть синтеза — демередж плюс устная память равны клапану, который невозможно проигнорировать».
