[스토리텔링으로 이해하는 AI 보안-12] 인공지능과 데이터셋 (보안뉴스 20-09-07)

1. 요약
    1. 인공지능 시스템 활성화 위해선 풍부한 테스트베드와 데이터셋 구축 필요
    2. 보안 시나리오는 해당 분야에 특화된 데이터셋 바탕으로 마련해야

2. 문제점
    1. 인공지능 시스템을 자율주행자동차·에너지·헬스케어 등과 같은 분야와 연계해 제품 개발·사업화를 하는 과정에서 보안 설계를 잘못하거나 운용상의 취약점 때문에 더 큰 손실이 발생할 수 있다
    2. 해커가 인공지능 시스템의 약점을 파악한 뒤 조용히, 그리고 지속적으로 접근한다면 결국 인공지능 시스템은 이상 현상을 ‘정상’이라고 판단할 것이고, 결국 시스템 전체가 마비될 것이다.
    3. 저렴한 부품은 CPU의 성능과 메모리 등 자체 리소스가 부족해 다양한 조건과 예외사항에 대처할 수 있도록 프로그래밍 할 수 없다.
    4. 인공지능 설계자들 중 대부분은 인공지능 시스템 자체의 내부 알고리즘에 대한 사이버공격에 대비할 뿐이다.

3. 인공지능 시스템 4단계 프로세스
    1. 인식(perception)
    2. 학습(learning)
    3. 판단(decisions)
    4. 행동(action)

4. 인공지능 시스템에 의한 의사 결정의 핵심은 계획(Planning), 추론(Reasoning), 지식 표현(Knowledge Representation) 등의 과정에서 신뢰를 얻는 것
    1. 인공지능 시스템의 의사 결정은 결국 하나의 알고리즘으로 이루어진다. 이 알고리즘은 관련 분야 전문가들이 “공정하고 객관적이며, 검증이 가능하다”고 인정해야 하는 것이다

5. 대응방안
    1. 자율주행 자동차·헬스케어·에너지 등 인공지능 시스템이 활용될 분야에서는 반드시 보안 위협을 측정하고, 이를 완화할 수 있는 실험을 실시․평가해야 한다.
        1. 이를 위해 관련 진단 도구를 개발하고 보안 시나리오도 마련해야 한다.
            1. 이러한 보안 시나리오는 해당 분야에 특화된 데이터셋으로 마련해야 하는 바, 그렇다면 실제와 유사한 샌드박스 환경을 구축·운영해야 한다.
                1. 이로써 인공지능 시스템의 능력을 평가하고, 해당 시스템이 위협으로부터 얼마나 유연하고 강건하게 유지될 수 있는지를 분석해야 한다.
    2. 결국 인공지능 시스템이 신뢰를 얻게 하려면 의사결정에 필요한 데이터셋을 안전하게 관리·운용하는 것을 우선해야 할 것이다.

6. 이 글을 읽고 나서.
    1. 보안 대상을 정의하고, 그 대상을 보호할 수 있는 방법론을 정의해야 하는데 명확히 잘 보이지 않는다
    2. 크게 3가지로 보이는데, 설계, 알고리즘 그리고 정상 데이터셋인가?
    3. 나중에 생각해야 겠다.....

7. 원본 URL

    1. www.boannews.com/media/view.asp?idx=90978&kind=0](www.boannews.com/media/view.asp?idx=90978&kind=0