AI 보안

AI 시스템에서 실패 사용 사례 식별 및 노출

대규모 언어 모델(LLM) 및 고급 다중 에이전트 프레임워크를 포함한 AI 시스템이 다양한 조건에서 어떻게 실패하는지 조사합니다. 입력 변화, 적대적 공격 또는 예상치 못한 사용자 조작에 대한 취약성을 조사합니다. AI 에이전트 소프트웨어의 입력 스크리닝 메커니즘이 이러한 취약성을 효과적으로 완화하는지 알아봅니다. 다양한 시나리오에서 이러한 시스템을 스트레스 테스트하는 실험을 설계하여 신뢰성이나 안전성을 손상시킬 수 있는 약점을 드러냅니다. 학생들은 실패 패턴을 분석하고 시스템 회복력을 향상시키기 위한 강력한 솔루션을 제안합니다.

미래 AI 시스템에서 악의적인 행동 방지

AI 시스템이 컴퓨터 소프트웨어, 실험 장치 또는 자율 프로세스에 연결되어 실제 세계에 상당한 영향을 미치는 시나리오를 상상해 보세요. 이러한 시스템이 유해 물질을 생성하거나 안전 제약을 우회하는 것과 같이 기능을 오용하는 방식을 평가해 보세요. 윤리적 보호 장치, 강력한 액세스 제어 및 AI 동작의 이상 탐지를 위한 프레임워크를 포함하여 악의적인 행동을 탐지하고 방지하는 프로토콜을 개발하고 테스트해 보세요. 학생들은 AI 자율성을 활성화하고 엄격한 안전 경계를 유지하는 것 사이의 균형을 평가할 것입니다.

미래 지향적 테스트 프로토콜 설계

점점 더 강력하고 상호 연결된 환경에서 AI 시스템의 오용을 예상하는 포괄적인 테스트 프로토콜을 만듭니다. 프로토콜이 약물 개발이나 자율적 의사 결정과 같은 실험적 응용 프로그램을 포함하여 극단적이지만 그럴듯한 위험을 해결하도록 하는 데 중점을 둡니다. 프로토콜은 잠재적 위험을 식별하고 완화하기 위해 윤리적 감독, 예측적 실패 분석 및 시스템 수준 감사를 통합해야 합니다. 학생들은 미래 AI 시스템의 무결성을 확보하기 위한 혁신적인 방법론을 기여할 것입니다.

요구 사항

다음 AI 혁신의 물결을 형성하고자 하는 학생들을 위해 이 프로젝트는 다음 분야 중 하나 이상에 대한 심층적인 기초가 필요합니다. i) 머신 러닝 및 AI, ii) 프로그래밍 또는 iii) 통계. 참가자는 기술적 전문성과 창의성을 결합하여 새로운 AI 방법을 개발하고, 혁신적인 AI 기술의 미래에 기여하는 사람으로 자리매김합니다.