보도일시	2020. 9. 23.(수) 조간(온라인 9. 22. 10:00)부터 보도해주시기 바랍니다.
배포일시	2020. 9. 22.(화) 09:00	담당부서	인공지능데이터팀
담당과장	송규철(044-202-6156)	담 당 자	최동원 사무관(044-202-6285)
담당기관	한국정보화진흥원(NIA) 오현목 AI데이터사업팀장(053-230-3051), 한국정보통신기술협회(TTA) 신준호 AI품질팀장(031-780-9137)
디지털 뉴딜 「디지털 댐」의 핵심, 인공지능(AI) 학습용 데이터 품질관리 대폭 강화 - 세계 수준의 품질관리 및 유지보수 체계 마련 - - 분야별 전문가 및 활용기업이 참여하는‘품질 자문위’운영 -

□ 과학기술정보통신부(장관 최기영, 이하 ‘과기정통부’)는 디지털 뉴딜 「디지털 댐」의 기초이자 핵심인 인공지능(AI) 학습용 데이터 구축사업의 성공적 추진을 위한 핵심관건인 데이터 품질관리 체계를 글로벌 수준으로 대폭 강화한다고 밝혔다.

ㅇ 인공지능(AI) 서비스 개발에 필수적인 인공지능(AI) 학습용 데이터를 대규모로 구축·개방하는 이번 사업은 추경(2,925억원)으로 10대 분야 150종의 데이터를 구축할 계획이며, 지난 8월말 수행기업·기관(총 584개) 선정을 완료하였다.

□ 과기정통부는 활용도 높은 양질의 데이터를 구축하기 위해 품질관리 전담기관(한국정보통신기술협회)을 운영하고 있으며, 자연어·자율주행차 등 분야별로 전문적인 품질검증 지원체계를 마련하기 위해 이번에 전문가들이 참여하는 ‘품질 자문위’를 구성하고 첫 킥오프 회의를 9월 22일 10시 한국정보화진흥원 서울사무소(광화문)에서 개최했다.

ㅇ 자문위는 8개 분과*로 운영되며, 분과별로 산·학·연 전문가, 데이터를 활용할 활용기업 등 10명 내외, 전체적으로 총 80여명이 참여한다.

* 자연어처리, 헬스케어, 자율주행, 농축수산, 국토환경, 미디어, 안전, 기타 등 8개 분과

ㅇ 자문위는 △데이터 구축계획 타당성, △구축단계별 품질절차 준수, △원시 데이터 및 라벨링 데이터의 품질·활용도 검증 등에 대한 전문적인 자문 역할을 담당할 예정이다.

□ 이날 회의는 위원장으로 선임된 인공지능 분야에 명망이 높은 서울대학교 전기정보공학부 이경무 교수와 분야별 위원장 등이 참석하여 품질관리를 강화하기 위한 다양한 방안을 논의하였다.

□ 한편, 과기정통부는 데이터 품질관리 강화를 위해 △세계 수준의 품질검증 및 유지보수 체계 확립, △사업 수행기관의 품질 역량 및 책임성 대폭 강화를 기본방향으로 ‘품질 자문위 운영’을 포함한 세부적인 방안을 마련하였다.

ㅇ 먼저, 기 개발된 ‘인공지능 학습용 데이터 구축 및 품질관리 공통기준(’19년)‘을 해외사례 분석, 인공지능 및 품질관리 전문가 자문 등을 거쳐 보완·구체화하여 데이터의 다양성, 정확성, 유효성 등을 종합적으로 평가할 수 있는 품질기준 및 검증방법을 확립하였다.(붙임 3)

ㅇ 아울러 대량의 데이터를 전과정 대부분 수작업으로 구축하여 구축단계에서 완벽한 품질검증이 어려운 구조적 한계를 고려하여, 사후 활용단계에서의 지속적인 유지보수 체계를 마련하기 위해 무상 유지보수기간(1년간)을 설정하고, 기 구축된 데이터(’17~‘19년)에 대해서도 조사를 거쳐 필요시 내년에 유지보수 및 업데이트할 계획이다.

ㅇ 또한, 수행기관의 책임감을 제고하기 위해 △데이터별 구축기업 실명제(과제책임자 포함) 도입, △품질평가 결과 공개 및 내년 사업선정 시 반영(가점·감점), △하자 보증금 납부 등의 방안도 마련하였다.

□ 강도현 인공지능기반정책관은 “’품질 자문위‘에 참여하는 각 분야 전문가들의 지혜를 모아서 ’디지털 댐‘의 핵심인 활용도 높은 양질의 인공지능 학습용 데이터 구축에 최선을 다하겠다”고 밝혔다.

붙임 1. 인공지능 학습용 데이터 구축 ’품질 자문위‘ 운영계획

붙임 2. 인공지능 학습용 데이터 구축 품질관리 강화방안

붙임 3. 인공지능 학습용 데이터 구축사업 품질 공통기준.  끝.

	이 자료에 대하여 더욱 자세한 내용을 원하시면 과학기술정보통신부 최동원 사무관(☎ 044-202-6285)에게 연락주시기 바랍니다.

붙임1		AI 학습용 데이터 구축「품질 자문위」운영계획

□ 추진배경

ㅇ 디지털 뉴딜 ‘디지털 댐’의 핵심인 AI 학습용 데이터 구축사업의 성공적 추진을 위한 핵심관건인 품질관리를 위해,

- 자연어, 헬스케어, 자율차 등 분야별로 전문가 및 활용기업 등이 참여하는 전문적 품질검증 자문체계 마련 필요

※ TTA(데이터 품질검증 중심), NIA(품질절차 검증 중심)를 자문

□ 운영방안

ㅇ (구성) 8개 분야별로 활용기업, 산·학·연 전문가, 부처 전문기관(농업-농업과학원 등) 등 10명 내외, 총 80여명

* 자연어, 헬스케어, 자율주행, 농축수산, 국토환경, 미디어, 안전, 기타 등 8개 분야

- 자문위 위원장과 분야별 분과위원장을 선임

ㅇ (역할) 데이터 구축계획 타당성, 구축단계별 품질절차 준수, 원시 데이터 및 라벨링 데이터의 품질·활용도 검증 등 전반적인 자문

ㅇ (운영) 자문위 위원장, 분과위원장이 참여하는 정기회의를 격주로 개최해(온·오프라인) TTA/NIA의 품질검증 진행상항 보고·자문

- 분야별 분과위는 품질검증 단계별로 수시 개최

⇨ 킥오프 회의 개최: 9.22(화) 10:00~12:00 / NIA 서울사무소(광화문)

* 자문위 위원장 + 분야별 분과위원장 참석 / 과학기술정보통신부, NIA, TTA

* ‘공통기준’ 등 설명 후 품질관리 강화를 위한 다양한 방안 논의

붙임2		AI 학습용 데이터 품질관리 강화방안

⇨ 기 개발된 ‘AI 학습용 데이터 구축 및 품질관리 공통기준(’19)’을 해외사례 분석, AI 및 품질관리 전문가 자문 등을 거쳐 보완·구체화

□ 기본 방향

ㅇ 글로벌 수준의 품질검증 및 유지보수 체계를 확립하고,

사업 수행기관(업체)의 품질관리 역량 및 책임성을 대폭 강화

□ 주요 내용

ㅇ (품질기준 확립) 원시데이터 및 리벨링 데이터 관련 다양성, 정확성, 유효성 등에 대한 종합적인 평가기준* 및 검증방법 마련

* 통계적 다양성, 품질(해상도 등), 정확도(정답 라벨링 비율), AI모델 탐지성능 등

- 사업초기 사전교육 및 컨설팅을 통해 수행기관의 품질역량 제고

ㅇ (품질자문위 운영) TTA, NIA 외에 헬스케어‧자율차 등 분야별 전문가, 데이터를 활용한 활용기업 등이 참여하는 ’품질자문위‘ 운영

- 분야별 전문적인 품질검증을 위한 자문 역할 수행

ㅇ (사후 유지보수) 대량 데이터(수만~수백만건)를 全과정 대부분 수작업 처리, 구축단계에서 완벽한 품질 어려움 → 활용단계의 지속적 유지보수 체계 마련

※ 해외 오픈데이터셋 라벨링 정확도: MS COCO(’14～) 83%, Google Open Images(’16～) 43%

- 무상 유지보수기간(1년간) 설정, 무상기간 이후 별도 유지보수 예산 반영 추진, 해커톤 개최 등 품질개선 및 데이터 지속 추가

ㅇ (수행기관 책임성) 수행기관의 품질관리 책임감 제고를 위해 2인 교차검증 의무화 및 데이터별 구축기업 실명제 도입(과제책임자 포함)

- 품질평가 결과를 공개하고 내년 사업 선정평가 시 반영(가점·감점), 하자보수 보증금(2%) 납부

붙임3		AI 학습용 데이터 구축사업 품질 공통기준

AI 학습용 데이터 구축사업

품질 공통기준

한국정보화진흥원(NIA)

한국정보통신기술협회(TTA)

1 적용범위

인공지능 학습용 데이터 구축사업 공통기준(이하“공통기준”이라 한다)은 인공지능 학습용 데이터 구축사업(주관: NIA)의 공모과제 수행 시 인공지능 학습용 데이터 구축과정 전반에 필요한 일반 요구사항을 규정하고 있으며, 공모과제 수행컨소시엄 등에 적용한다.

2	관련 규격

관련 규격은 해당 최신본 상태로 유지한다.

2.1	TTAK.KO-10.1208, 자율주행 자동차의 객체 인식기술에 필요한 도로상 데이터의 객체 분류체계

2.2	ETRI 전사규칙, 2019년 5월 8일, 버전 1.0, 음성지능연구그룹

2.3	IITP 간판 글자 인식 이미지 어노테이션 가이드라인, 2020년 5월 18일, 버전 0.8

2.4	TTAK.KO-10.0010/R1, 형태소 태깅 말뭉치 작성용 품사 태그세트

2.5	TTAK.KO-10.0852, 개체명 태그세트 및 태깅 말뭉치

2.6	TTAK.KO-10.0853, 의존 구문분석 말뭉치 구축을 위한 의존관계 태그세트 및 의존관계 설정 방법

2.7	TTAK.KO-10.1098, 오픈 도메인 자연어 질의 응답을 위한 질문 분석 메타데이터

2.8 TTAK.KO-10.0904/R1, 지능형 CCTV 영상분석 시스템 경보 기록 방법

2.9 공공데이터 공통 표준용어(행정안전부)

3	용어 정리

3.1	인공지능(Artificial Intelligence)

추론과 학습 등의 인간 지능과 관련된 기능들을 수행하는 기능요소

※ 참조 : ISO/IEC 2382-28:1995

3.2	머신러닝(Machine Learning)

기능요소가 기존의 지식과 기술을 재구성하거나 새로운 지식과 기술을 습득하여 성능을 향상시키는 프로세스

※ 참조 : ISO/IEC 2382-28:1995

3.3	인공지능 학습용 데이터

인공지능이 학습을 통해 성능을 향상시키는데 활용되는 데이터로 해당 기능목적에 알맞은 형태와 내용으로 구성된 데이터임

3.4	원시데이터(raw data)

원천데이터(source data)가 정제 과정을 거쳐 데이터 라벨링 용도로 사전 작업이 완료된 데이터를 지칭하며 데이터 라벨링 작업에 직접적으로 투입되는 데이터임

※ 일반적으로 원시데이터는 원천데이터와 동일한 의미로 사용되는 용어이나 인공지능 학습용 데이터 구축사업에서는 데이터 라벨링 이전과 이후 단계의 데이터를 구분하고자 상기와 같은 의미로 사용

3.5	데이터 라벨링(data labeling)

인공지능이 학습에 활용할 수 있도록 기능목적에 적합한 설명정보 데이터를 원시데이터에 추가 부착하는 과정을 총칭

※ 용어사용 예 : 텍스트 데이터 라벨링, 이미지 데이터 라벨링, 동영상 데이터 라벨링 등

3.6 어노테이션(annotation)

데이터 라벨링 시 원시데이터에 추가 부착되는 설명정보 데이터는 기능목적에 따라 다양한 형태로 표현될 수 있으며 이러한 설명정보 표현방식을 지칭

※ 용어사용 예 : 사물 바운딩박스 어노테이션, 클래스 라벨 어노테이션 등

4	일반 요구사항

4.1 원시데이터 적합성

4.1.1 다양성(diversity)

활용목적을 달성할 수 있도록 인공지능이 처리해야 하는 실제 세상의 데이터와 유사한 특성과 변동성을 가진 데이터로 구성하도록 한다. 이때 아래의 요소를 반드시 고려한다.

1) 포괄성(coverage)

사물, 사람, 장소, 시간, 환경, 언어 특성 등 학습에 유용한 모든 특성정보를 포함할 수 있도록 한다.

□	[예시] 자율주행 데이터는 위치정보(GPS), 촬영시간, 도로종류, 차량 속도 등 포함

□	[예시] 어류행동 데이터는 동영상 외에 생육단계, 수질정보 등 포함

□	[예시] 음성 데이터는 발화자의 연령, 성별, 지역정보 등 포함

2) 변동성(variation)

사물, 사람, 장소, 시간, 환경, 언어 등 데이터 특성정보가 학습에 유용한 범위에서 다양하게 변화하여야 한다.

□	[예시] 자율주행 동영상은 넓은 범위의 지역을 대상으로 낮, 밤, 우천, 눈 등 조건하에서 도심도로, 고속도로, 외곽/시골도로를 중심으로 저속, 중속, 고속 주행 환경에서 촬영

4.1.2	신뢰성(trustworthiness)

원시데이터는 반드시 신뢰할 수 있는 출처로 부터 획득해야 한다.

4.1.3	충분성(sufficiency)

카테고리와 인스턴스는 학습에 유용한 수량이어야 한다.

□	[예시] MS COCO 데이터셋은 객체 당 5,000개 이상 인스턴스 수집

4.1.4	균일성(uniformity)

분류/탐지/인식/이해/예측 카테고리 별 인스턴스 수량의 균일성 및 비율을 고려해야 한다.

4.1.6	사실성(reality)

원시데이터를 인위적인 환경과 조건하에 획득해야 하는 경우 반드시 실제 환경과 상황 특성을 반영할 수 있도록 한다.

4.1.7	편향성(bias)

지역적 편견, 사회적 편견, 인종적 편견 등 의도가 없을지라도 데이터 속에 포함될 수 있는 편향된 데이터를 제거해야 한다.

4.2 원시데이터 속성

4.2.1	파일 포맷

대중적으로 널리 사용되는 대표적인 파일 포맷을 사용한다.

□	[예시] 데이터 유형 별 권장 파일 포맷

데이터 유형	파일 포맷	비고
이미지	JPG, PNG	의료 등 전문분야의 경우 해당분야 표준 준수
동영상	MP4	무압축 방식으로 프레임 이미지 시퀀스의 묶음형태
오디오	WAV
텍스트	-	UTF-8 엔코딩 준수
정량수치	CSV	산업용 센서의 경우 해당분야 표준 준수
로그	JSON	웹표준 준수

4.2.2	동영상/이미지 해상도

동영상 데이터의 경우 가로, 세로 픽셀수로 이미지 데이터는 가로, 세로 픽셀수 및 인치당 픽셀수 밀도로 표시한다.

□ [예시] 동영상 (1080p Full HD)1920x1080, 이미지 60x60@144PPI

4.2.3	동영상 프레임 레이트(frame rate)

동영상 데이터의 경우 1초당 사용되는 이미지가 몇 장인지 초당 프레임 수를 표시한다.

□ [예시] 30 fps(frame per second), 60 fps(frame per second)

4.2.4	동영상/이미지 컬러심도

동영상 및 이미지의 색 깊이는 픽셀 당 비트수로 표시한다.

□	[예시] 픽셀당 16,777,216색(24bit), 256색(8bit), 2색(1bit) 등으로 표현 가능

4.2.5	텍스트/음성 문장 어절 수

기본 단위가 되는 문장의 어절 개수가 너무 짧거나 길지 않아야 하며, 문어체의 경우 평균 15어절, 구어체(대화)의 경우 평균 5어절 범위에서 설정한다.

4.3 원시데이터 품질 관리

4.3.1	적합성

다양성, 신뢰성, 충분성 등 원시데이터 적합성 기준에 부합할 수 있도록 데이터 획득 및 정제 계획을 마련해야 한다.

□	[예시] 충분성 기준: 클래스 별 최소 1,000개 인스턴스 획득

4.3.2	기술 규격

파일 포맷, 해상도 등 사전에 정한 원시데이터 속성 기준을 준수하여야 한다.

4.4 데이터 라벨링 품질 관리

4.4.1	구문정확성 품질기준 수립

구문정확성 측정지표 및 목표치를 설정하고 주기적인 자체평가를 통해 점검하고 그 결과를 품질개선 활동에 반영하여야 한다.

□	[예시] 라벨링 데이터 구조(형식/값)의 오류율 0.1% 미만

4.4.2	의미정확성 품질기준 수립

의미정확성 측정지표 및 목표치를 설정하고 주기적인 자체평가를 통해 점검하고 그 결과를 품질개선 활동에 반영하여야 한다.

□	[예시] 바운딩박스 정밀도(95%), 재현율(85%), 근거 - MS COCO, 구글 오픈 이미지셋

4.4.3	자체 검증

정확성 자체평가를 위한 어노테이션 상세방법 및 예시를 포함되어 있는 지침을 마련하고 검증계획을 수립하여야 한다.

□	[예시] 자율주행 영상에서 객체 바운딩박스 작업 지침

4.5 인공지능 활용 품질 관리

4.5.1	유효성

1) 기계학습 유효성 달성 목표를 수립하고 관리하여야 한다.

2) 잘 알려진 최신의 기계학습 알고리즘 또는 자체 알고리즘을 활용한다.

3) 유효성 측정지표 및 목표치를 설정해야 한다.

□	[예시] 질의응답 F1-score(90점), 근거 – SQuAD2의 리더보드는 2019년 11월 말 이후 최저 성능이 F1-score 90.037임

4) 데이터셋은 train/validation/test로 분할하되 분할된 각각의 데이터셋이 전체 데이터셋과 유사한 분포를 갖도록 해야 한다.

□	[예시] 총 데이터셋 100만개 중 train 70만개, validation 10만개, test 20만개

□	[예시] 자율주행 데이터의 경우 획득한 날짜별로 구분하여 서로 다른 날짜에 촬영한 데이터를 각각 train과 validation으로 구분

4.6 데이터 보안 및 관리

4.6.1	데이터라벨링을 크라우드소싱 방식으로 작업하는 경우 개인정보유출 및 데이터 도용을 방지하기 위한 보안정책을 수립하고 자체 보안점검을 실시하여야 한다.

4.6.2	데이터셋 정보 검색 제공을 위해 메타데이터를 관리하여야 한다.

4.6.3	데이터셋에 대한 버전을 관리하여야 한다.

5	데이터 구축 요구사항

5.1 데이터 획득

5.1.1	아래 사항을 포함하여 법·제도적 규정 등을 준수하여야 한다.

1) 개인정보가 포함된 데이터 수집 시 반드시 수집에 대한 동의 뿐 만 아니라 활용 및 제 3자 제공 등에 대한 동의를 받아야 한다.

2) 보안시설, 공공시설 등 출입 허가가 필요한 구역에서는 해당 관공서의 사전허가를 득해야 한다.

3) 데이터 획득 장비 설치 및 이용 시 사전 허가가 필요한 경우 반드시 사전허가를 득해야 한다.

4) 데이터 획득 과정 중 발생할 수 있는 각종 안전 및 사고위험을 사전에 충분히 인지하고 해당 업무인원에게 사전 안전교육을 실시해야 한다.

5) 의료 데이터의 경우 IRB(의학연구윤리심의위원회)와 데이터 공개에 대한 해당 기관의 동의를 득해야 한다.

6) 지적재산권 이슈가 있는 경우 반드시 해결방안을 마련해야 한다.

5.1.2	획득환경의 사실성

원시데이터를 인위적인 환경과 조건하에 획득해야 하는 경우 반드시 실제 환경과 상황 특성을 최대한 반영할 수 있도록 데이터 획득용 수집 장치 선정 및 수집 환경구성 시 해당 분야의 최신의 실제적인 설치·운용·활용 사례 및 참조 방법을 벤치마킹하여야 한다. 이때  획득 장비와 환경 구성에 대한 내용을 반드시 명시해야 한다.

□	[예시] 자율주행 동영상 촬영 시 차량전용 ADAS 카메라를 실제 운용되고 있는 자율주행차와 최대한 동일한 방식으로 카메라 배열, 해상도 조정, 촬영 각도 설정

□	[예시] CCTV 영상 촬영 시 CCTV 카메라를 해당 지역 실제 CCTV 카메라와 동일한 구도(설치위치(높이), 화각)로 촬영

5.1.3	획득대상의 사실성

원시데이터를 인위적인 환경과 조건하에 획득해야 하는 경우 반드시 실제 환경과 상황 특성을 최대한 반영할 수 있도록 데이터 획득용 수집 장치 선정 및 수집 환경구성 시 해당 분야의 최신의 실제적인 설치·운용·활용 사례 및 참조 방법을 벤치마킹하여야 한다.

□	[예시] 스튜디오에서 사물 촬영 시 해당 사물이 가질 수 있는 다양한 형태 고려

5.1.4	일관성

원시데이터를 인위적인 환경과 조건하에 획득해야 하는 경우 그 환경과 조건은 일관성을 가져야함

5.1.5	동기화

다중 소스 원시데이터의 경우 소스 동기화가 반드시 필요하다.

□ [예시] 자율주행 또는 CCTV 동영상의 멀티카메라 촬영 영상은 시간동기를 맞추어야 함

□ [예시] 오디오와 영상을 동시에 획득하는 경우에 소스 동기화

5.1.6	편향성 방지

데이터 획득 계획 수립 시 의도하지 않은 데이터 편향성 발생을 방지하기 위한 방안을 마련하여야 한다. 단 특수상황에서 데이터의 집중 수집이 필요한 경우는 편향성 고려대상이 아니다.

□ [예시] 자율주행 영상이 일부 지역에서 반복 촬영되어 지역적 편향성이 발생할 수 있음

□ [예시] 자율주행의 경우, 사고다발지역인 교차로 인근 등에서 예외적으로 많은 데이터를 수집할 수 있음

5.2 데이터 정제

5.2.1	정제기준

데이터 구축 목적에 알맞은 데이터를 선별하기 위한 명확한 기준을 수립하고 기준미달 또는 불량 데이터를 효과적으로 제거할 수 있는 방법을 수립해야 한다.

□ [예시] MS COCO 데이터셋은 사물 이미지를 ①하나의 사물 등장 ②배경으로서의 사물 ③복수개 사물이 등장하는 3개 그룹으로 분류하고 3번 복수개 사물이 등장하는 이미지만 선별

□ [예시] 음성 대화 내에 두 화자의 발성 외에 오디오 신호가 녹음된 경우 삭제

5.2.2	중복성 방지

유사한 데이터를 제거하거나 특성이 드러나지 않는 데이터를 제거하는 등의 적절한 정제 과정을 거쳐야 한다.

□ [예시] 사물 이미지의 경우, 동일한 사물을 조명, 각도 등을 달리하여 과도하게 반복 촬영된 경우에는 중복 제거

□ [예시] 자연어 데이터 수집시 동일 단어가 일정 비율을 넘지 않도록 제한

5.2.3	비식별화

개인정보 및 민감정보를 포함하는 경우 적절한 방법으로 비식별화 처리하되, 비식별화로 인한 정보의 손실이 발생하여 데이터의 활용 목적을 달성할 수 없는 경우가 생기지 않도록 주의한다.

□ [예시] 자율주행 동영상 속 동의 받지 않은 차량 번호, 사람얼굴은 비식별 처리하고 성적 차별 발언 등 민감 정보는 제거

5.3 데이터 라벨링

5.3.1	어노테이션 유형 선택 시 아래 사항을 고려해야 한다.

1) 기계학습 목적에 부합하는 단일 또는 복수 어노테이션 방식을 적용해야 한다.

□	[예시] 세그멘테이션, 키포인트 어노테이션이 필요한 임무에 단순 바운딩박스 어노테이션 적용 지양

2) 이미지/동영상 어노테이션 데이터 포맷은 참조할 수 있는 사실상 표준 데이터 포맷이 있는 경우 하위호환성 확보가 가능하도록 해당 포맷을 준용한다.

□ [예시] PASCAL VOC 데이터셋의 XML 포맷, MS COCO 데이터셋의 JSON 포맷

3) 어노테이션 데이터 포맷은 JSON을 사용하고 필요 시 XML을 사용할수 있다.

4) 카테고리 라벨링, 바운딩박스, 세그멘테이션, 키포인트 작업 시 MS COCO 데이터셋의 어노테이션 포맷 권고

5.3.2	분류체계

라벨링 대상 객체들의 종류는 향후 다양한 데이터셋들과 통합하여 재처리 가능하도록 객체에 대한 분류체계를 제공해야 하며 이때 분류기준은 연관성 있는 각종 법령과 표준을 참조하도록 한다.

5.3.3	데이터 라벨링 작업에 필요한 라벨링 규격은 다음의 사항을 반드시 포함해야 한다.

1) 라벨 정의 : 라벨 유형, 라벨 구성 항목, 속성값, 타입 등

2) 라벨링 작업방법 : 라벨을 부여하는 기준(Ground Truth) 및 방법

3) 라벨링 예시 : 정답 라벨링, 오류 라벨링, 모호한 라벨링 처리, 예외처리 라벨링 등

5.3.4	라벨링 플랫폼/도구

라벨링 작업에 사용하는 플랫폼 및 SW도구의 기능 및 사용방법을 기술해야 하며 플랫폼 또는 SW도구 선택 시 데이터 보안 준수 여부를 확인해야 한다.

5.3.5	작업방식

데이터 특성 및 활용목적을 고려하여 크라우드소싱, 전문업체 아웃소싱, 내부조직 활용 등 데이터 라벨링 작업방식을 선택 및 활용하여야 한다.

1) 내부조직 : 머신러닝 훈련에 대한 높은 수준의 이해가 필요한 작업, 라벨링 결과에 대한 매우 긴밀한 피드백을 요하는 경우에 적합

2) 아웃소싱 : 머신러닝에 대한 이해도는 낮아도 되지만 전문적인 지식과 숙련도를 요구하기 때문에 내부직원이 수행하기에는 어려운 라벨링 작업에 적합

3) 크라우드소싱 : 단기간에 대량의 라벨링을 처리해야 하고, 다수의 사용자로부터 데이터 수집 및 라벨링 작업을 요하는 개인정보보호 및 기밀성 수준이 낮은 작업에 적합

5.3.6	이미지/동영상 라벨링 시 아래 사항을 준수해야 한다.

1) 카테고리 라벨은 반드시 분류체계에 따라 명확하게 정의된 라벨을 사용해야 하고 카테고리 간 모호성이 없어야 한다.

2) 바운딩박스는 이미지 내에서 특정객체의 위치정보를 추출하는 것으로 대상 객체 전체를 감싸는 형태로 공백을 최소화 해야 한다.

3) 시맨틱 세그멘테이션(semantic segmentation)은 객체 영역을 픽셀 단위로 표시하는 작업으로 동일 카테고리의 객체가 중첩되어 있는 경우를 구별하지 않는다.

4) 인스턴스 세그멘테이션(instance segmentation)은 각 객체 영역을 픽셀 단위로 구분 표시한다.

5.3.7	음성 데이터 라벨링 시 아래 사항을 준수해야 한다.

1) 음성 전사는 ‘ETRI 전사규칙’을 준수할 것을 권고한다.

5.4 데이터 검수

5.4.1	검수작업에 필요한 검수규격은 다음의 사항을 반드시 포함해야 한다.

1) 검수유형 : 일반 데이터 작업 숙련자가 검수가능한 일반분야, 해당분야 전문가의 검수가 필요한 전문분야로 구분

2) 검수기준 : 적합/부적합 판정을 위한 기준 및 예시 (라벨링 규격참조)

3) 검수방법 : 2인 이상 교차검증 및 전수조사 필수