KR20210138311A - 언어 및 수어의 병렬 말뭉치 데이터의 생성 장치 및 방법 - Google Patents

Abstract

언어 및 수어의 병렬 말뭉치 데이터의 생성 장치가 개시된다.
본 개시의 일 실시 예에 따른 언어 및 수어의 병렬 말뭉치 데이터의 생성 장치는 수어 영상의 모션 특징점을 추출하여 분리하고, 수어 모션 특징점 데이터베이스를 참조하여 분리된 모션 특징점 별로 소정의 유사도를 갖는 수어 표제어를 선택함과 아울러서 수어 모션 리스트를 생성하는 수어 모션 분석부와, 상기 수어 영상과 함께 제공되는 자막을 형태소 및 구문 분석하여 분리하며, 수어 표제어 데이터베이스를 참조하여 상기 분리된 자막 별로 소정의 유사도를 갖는 수어 표제어를 선택함과 아울러서 매핑 테이블을 생성하는 자막 분석부와, 상기 매핑 테이블에 포함된 상기 수어 표제어들의 유사도를 분석하여, 소정의 유사도로 선정된 최종 수어 표제어, 상기 분리된 모션 특징점 및 상기 분리된 자막이 상호 대응하도록 최종 수어 표제어 리스트를 생성하는 수어 태깅부, 및 상기 최종 수어 표제어 리스트에 기초하여 수어 말뭉치 데이터를 생성하는 수어 말뭉치 데이터 생성부를 포함한다.

Description

언어 및 수어의 병렬 말뭉치 데이터의 생성 장치 및 방법{APPARATUS FOR GENERATING PARALLEL CORPUS DATA BETWEEN TEXT LANGUAGE AND SIGN LANGUAGE AND METHOD THEREFOR}

본 개시는 언어 및 수어의 병렬 말뭉치 데이터의 생성 장치 및 방법에 대한 것이며, 보다 구체적으로는 단시간에 수어 및 언어 간의 말뭉치 데이터를 대량으로 생성하는 언어 및 수어의 병렬 말뭉치 데이터의 생성 장치 및 방법에 대한 것이다.

한국 방송통신위원회가 장애인방송 고시 의무사업자 선정기준을 축소하고 자막, 화면해설, 수화통역 등의 편성 비율 목표 달성 시점을 2~3년 연기했다. 현실 방송환경이 열악함을 고려하여 방송채널 사용사업자의 대상과 범위를 축소하고, 권고 편성시점도 2~3년 연기하였다. 즉, 지상파는 올해까지 자막 100%, 수화통역 5%, 2014년까지는 화면해설 10%를 달성해야 했으나 이 또한 연기되었다. 위성방송, 종편 등의 유료방송은 2016년까지 자막 70%~100%, 화면해설 5~7%, 수화통역 3~5% 편성해야 했으나 이 시점도 수 년 후로 수정되었다.

방송통신위원회는 장애인방송 제작 인프라 환경이 열악하고 방송 광고 침체로 어려움을 겪는 방송사업자의 재정상황을 고려하여, 장애인방송 편성비율 목표치 달성 시점을 일정 기간 연기하였다.

한편, 한국어에 대한 문법와 사전은 많은 연구를 통해서 체계적으로 정리 및 구축되고 있다. 이와는 달리, '한국 수어'에 대한 연구는 이제 걸음마 단계이다. 국립국어원에서는 최근들어 한국어-한국 수어 사전과 용례 수집을 진행중에 있다. 이와 더불어 방송환경에서도 한국 수어 서비스에 대한 요구가 증대되고 있다. 수화방송 서비스 확대를 위해서는 방송사마다 수어 통역사를 활용도를 높이는 방법이 필요하나, 이는 매우 많은 비용이 필요할 뿐만 아니라 단기적으로 검증된 수어 통역사 수급도 함께 고려되어야 하므로, 수어 통역사의 서비스 확대가 어려운 상황이다.

이에 대한 대안으로, 비전문 방송프로그램 대상 한정으로 아바타 수어 서비스에 대한 관심과 필요성이 증대되고 있다.

아바타 수어 서비스를 위해서 한국어-한국 수어 번역 기술 연구가 필수적이고, 이러한 번역 품질을 높이기 위해서는 학습용으로 대량의 말뭉치 데이터가 필요하다. 그러나, 한국 수어 말뭉치 데이터 구축 사업을 진행하고 있는 국립국어원에서도 한국어-한국 수어 말뭉치 데이터는 극히 제한된 장르(일상대화, 문화유물)로 수집 및 관리되고 있으며, 말뭉치 데이터 확보에 어려움을 겪고 있다.

이에 한국어-한국 수어 번역을 위한 대량의 학습용 말뭉치 데이터 확보를 위해서는 기존의 수어 영상 자료들로부터 쉽게 말뭉치 데이터를 획득, 생성할 수 있는 방법 절실히 필요하다.

본 개시의 기술적 과제는 단시간에 수어 및 언어 간의 말뭉치 데이터를 대량으로 생성하는 언어 및 수어의 병렬 말뭉치 데이터의 생성 장치 및 방법을 제공하는 것이다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면, 언어 및 수어의 병렬 말뭉치 데이터의 생성 장치가 제공될 수 있다. 상기 언어 및 수어의 병렬 말뭉치 데이터의 생성 장치는 수어 영상의 모션 특징점을 추출하며, 기 설정된 구분 단위 별로 모션 특징점을 분리하고, 상기 모션 특징점에 대응하는 수어 표제부를 저장하는 수어 모션 특징점 데이터베이스를 참조하여 분리된 모션 특징점 별로 소정의 유사도를 갖는 수어 표제어를 선택함과 아울러서 상기 분리된 모션 특징점과 상기 수어 표제어를 대응시킨 수어 모션 리스트를 생성하는 수어 모션 분석부와, 상기 수어 영상과 함께 제공되는 자막을 형태소 및 구문 분석하여 분리하며, 수어 표제어를 저장하는 수어 표제어 데이터베이스를 참조하여 상기 분리된 자막 별로 소정의 유사도를 갖는 수어 표제어를 선택함과 아울러서 상기 분리된 자막과 상기 수어 표제어를 대응시킨 매핑 테이블을 생성하는 자막 분석부와, 상기 수어 모션 리스트와 상기 매핑 테이블에 포함된 상기 수어 표제어들의 유사도를 분석하여, 소정의 유사도로 선정된 최종 수어 표제어, 상기 분리된 모션 특징점 및 상기 분리된 자막이 상호 대응하도록 최종 수어 표제어 리스트를 생성하는 수어 태깅부, 및 상기 최종 수어 표제어 리스트에 기초하여 수어 말뭉치 데이터를 생성하는 수어 말뭉치 데이터 생성부를 포함한다.

본 개시의 다른 실시예에 따르면, 상기 구분 단위는 신체 부위별 객체 모션과 관련된 주요 오브젝트 단위 및 모션에 대한 라벨(label)과 관련된 수어 글로스(gloss) 단위 중 적어도 어느 하나이며, 상기 수어 모션 특징점 데이터베이스는 상기 모션 특징점과 대응하는 상기 수어 글로스 단위의 수어 표제부를 저장할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 수어 모션 특징점 데이터베이스 및 상기 수어 표제어 데이터베이스는 장르 별로 수어 표제어를 저장하여 관리할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 수어 모션 분석부는 상기 분리된 모션 특징점에서 손과 팔이 아닌 다른 신체 부위의 객체 모션과 관련된 비수지 모션 특징점을 분석하여 비수지 모션 속성을 기록할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 수어 말뭉치 데이터 생성부는 사용자가 수어 표제어 및 의미를 선택 혹은 수정하도록, 상기 최종 수어 표제어, 대응 수어 모션 및 대응 자막을 사용자에게 화면으로 제공할 수 있다.

본 개시의 다른 양상에 따르면, 언어 및 수어의 병렬 말뭉치 데이터의 생성 방법이 제공될 수 있다. 상기 언어 및 수어의 병렬 말뭉치 데이터의 생성 방법은 수어 영상의 모션 특징점을 추출하며, 기 설정된 구분 단위 별로 모션 특징점을 분리하고, 상기 모션 특징점에 대응하는 수어 표제부를 저장하는 수어 모션 특징점 데이터베이스를 참조하여 분리된 모션 특징점 별로 소정의 유사도를 갖는 수어 표제어를 선택함과 아울러서 상기 분리된 모션 특징점과 상기 수어 표제어를 대응시킨 수어 모션 리스트를 생성하는 단계와, 상기 수어 영상과 함께 제공되는 자막을 형태소 및 구문 분석하여 분리하며, 수어 표제어를 저장하는 수어 표제어 데이터베이스를 참조하여 상기 분리된 자막 별로 소정의 유사도를 갖는 수어 표제어를 선택함과 아울러서 상기 분리된 자막과 상기 수어 표제어를 대응시킨 매핑 테이블을 생성하는 단계와, 상기 수어 모션 리스트와 상기 매핑 테이블에 포함된 상기 수어 표제어들의 유사도를 분석하여, 소정의 유사도로 선정된 최종 수어 표제어, 상기 분리된 모션 특징점 및 상기 분리된 자막이 상호 대응하도록 최종 수어 표제어 리스트를 생성하는 단계, 및 상기 최종 수어 표제어 리스트에 기초하여 수어 말뭉치 데이터를 생성하는 단계를 포함한다.

본 개시의 다른 실시예에 따르면, 상기 수어 모션 리스트를 생성하는 단계는 상기 구분 단위 별로 모션 특징점을 분리한 후에, 상기 분리된 모션 특징점에서 손과 팔이 아닌 다른 신체 부위의 객체 모션과 관련된 비수지 모션 특징점을 분석하여 비수지 모션 속성을 기록하는 것을 더 포함할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 수어 말뭉치 데이터를 생성하는 단계는 사용자가 수어 표제어 및 의미를 선택 혹은 수정하도록, 상기 최종 수어 표제어, 대응 수어 모션 및 대응 자막을 사용자에게 화면으로 제공하는 것을 포함할 수 있다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 단시간에 수어 및 언어 간의 말뭉치 데이터를 대량으로 생성하는 언어 및 수어의 병렬 말뭉치 데이터의 생성 장치 및 방법이 제공될 수 있다.

또한, 본 개시에 따르면, 언어 자막을 수어로 번역하는 아바타 기반의 수어 서비스에 필요한 기반 정보로서 말뭉치 데이터를 용이하게 획득할 수 있어 아바타 기반 서비스에 기여하는 언어 및 수어의 병렬 말뭉치 데이터의 생성 장치 및 방법이 제공될 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 언어 및 수어의 병렬 말뭉치 데이터의 생성 장치를 나타내는 블록도이다.
도 2는 최종 수어 표제어, 대응 수어 모션 및 대응 자막을 사용자에게 화면으로 제공하는 것을 예시한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 언어 및 수어의 병렬 말뭉치 데이터의 생성 방법에 있어서, 수어 모션 분석부의 동작을 설명하기 위한 순서도이다.
도 4는 본 발명의 다른 실시예에 따른 언어 및 수어의 병렬 말뭉치 데이터의 생성 방법에 있어서, 자막 분석부의 동작을 설명하기 위한 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 언어 및 수어의 병렬 말뭉치 데이터의 생성 방법에 있어서, 수어 태깅부 및 수어 말뭉치 데이터 생성부의 동작을 설명하기 위한 순서도이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.

도 1은 본 발명의 일 실시예에 따른 언어 및 수어의 병렬 말뭉치 데이터의 생성 장치를 나타내는 블록도이다.

본 실시예는 기술적으로 제한되지 않는 한 한국어 뿐만 아니라 다른 국가의 언어 및 수어에도 적용가능하므로, 특정 국가의 언어 및 수어로 국한하지 않고 설명한다.

언어 및 수어의 병렬 말뭉치 데이터의 생성 장치(100; 이하, '생성 장치'라 함)는 수어 모션 분석부(102), 수어 모션 특징점 데이터베이스(104), 자막 분석부(106), 수어 표제어 데이터베이스(108), 수어 태깅부(110) 및 수어 말뭉치 데이터 생성부(112)를 포함한다.

수어 모션 분석부(102)는 수어 영상의 모션 특징점을 추출하며, 기 설정된 구분 단위 별로 모션 특징점을 분리한다. 구분 단위는 신체 부위별 객체 모션과 관련된 주요 오브젝트 단위 및 모션에 대한 라벨(label)과 관련된 수어 글로스(gloss) 단위 중 적어도 어느 하나일 수 있다. 신체 부위별 객체 모션은 오른손/왼손, 팔 등과 같은 수지 모션과 머리, 얼굴, 그 외 신체 부위의 제스처 등과 관련된 비수지 모션을 포함할 수 있다. 수어 글로스 단위로 모션 특징점을 분리하는 경우에, 수어 모션 분석부(102)는 수어 모션 특징점 데이터베이스(104)에 수어 글로스 단위로 저장된 모션 특징점 중 주요 특징점들을 이용하여 모션 특징점을 분리할 수 있다.

수어 글로스는 수어에 붙이는 이름(label)으로서, 숫자나 알파벳 등이 다양하게 부기될 수도 있으나 수어를 용이하게 상기할 수 있는 이름으로 생성되는 경우가 많다. 이에 따라, 특정 국가의 수어의 경우에는 해당 국의 언어를 사용하는 것이 일반적이나, 수어 글로스에 부기된 해당 국가의 단어는 실제 의미의 번역과는 상이할 수 있다.

수어 모션 분석부(102)는 모션 특징점에 대응하는 수어 표제부를 저장하는 수어 모션 특징점 데이터베이스(104)를 참조하여 분리된 모션 특징점 별로 소정의 유사도를 갖는 수어 표제어를 선택함과 아울러서 분리된 모션 특징점과 수어 표제어를 대응시킨 수어 모션 리스트를 생성한다. 소정의 유사도는 분리된 모션 특징점과 저장된 모션 특징점 간의 기 지정된 유사도이며, 수어 모션 리스트는 모션 특징점과 기준값 이상의 유사도를 갖는 저장 모션 특징점들과 관련된 수어 표제어들을 포함할 수 있다. 수어 모션 리스트는 분리된 모션 특징점이 분석된 구간의 시간 정보, 예컨대 시작 및 종료 시간을 저장할 수 있다. 분리 및 저장 모션 특징점들 간의 유사도 분석은 머신 러닝, 딥러닝 등의 기법으로 수행될 수 있다.

수어 모션 특징점 데이터베이스(104)는 모션 특징점과 대응하는 수어 글로스 단위의 수어 표제부를 저장하며, 분리된 모션 특징점과 연관되는 수어 표제어는 수어 글로스 단위의 수어 표제부일 수 있다. 또한, 수어 모션 특징점 데이터베이스(104)는 일상 대화, 문화 유물 등과 같은 다양한 장르마다의 수어 모션 특징점들에 대해 수어 표제어를 저장하고 있으므로, 동일한 모션 특징점이라도 수어 상황에 따른 장르를 고려하여 보다 많은 수어 표제부가 분리 모션 특징점에 매칭되어 이후에 보다 정확한 태깅 및 말뭉치 데이터를 생성할 수 있다.

수어 모션 분석부(102)는 분리된 모션 특징점에서 손과 팔이 아닌 다른 신체 부위의 객체 모션과 관련된 비수지 모션 특징점을 분석하면, 비수지 모션 속성을 수어 모션 리스트에 기록한다. 이에 따라, 동일한 수어 모션이지만, 의미적으로 상이하게 정의되는 모션의 의미를 확인하여 수어 모션의 진정한 의미를 파악할 수 있다. 얼굴 표정, 입모양, 머리 움직임, 몸 움직임 등의 분석을 통해 동형이의어 처리가 가능하다.

자막 분석부(106)는 수어 영상과 함께 제공되는 자막을 형태소 및 구문 분석하여 분리한다. 자막 분석부(106)는 수어 표제어를 저장하는 수어 표제어 데이터베이스(108)를 참조하여 분리된 자막 별로 소정의 유사도를 갖는 수어 표제어를 선택함과 아울러서 분리된 자막과 수어 표제어를 대응시킨 매핑 테이블을 생성한다.

소정의 유사도는 분리된 자막과 저장된 텍스트 간의 기 지정된 유사도이며, 매핑 테이블은 자막과 기준값 이상의 유사도를 갖는 텍스트들과 관련된 수어 표제어들을 포함할 수 있다. 매핑 테이블은 자막이 분석된 구간의 시간 정보, 예컨대 시작 및 종료 시간을 저장할 수 있다. 자막 및 텍스트들 간의 유사도 분석은 머신 러닝, 딥러닝 등의 기법으로 수행될 수 있다.

수어 표제어 데이터베이스(108)는 장르 별로 수어 표제어를 저장하여 관리할 수 있다. 다양한 장르마다의 텍스트들에 대해 수어 표제어를 저장하고 있으므로, 동일한 텍스트일지라도 자막을 포함하는 전체 문장에 따른 장르를 고려하여 자막과 장르에 따른 수어 표제어를 매칭한다. 이는 보다 정확한 태깅 및 말뭉치 데이터를 생성할 수 있는데 기여한다.

수어 태깅부(110)는 수어 모션 리스트와 매핑 테이블에 포함된 수어 표제어들의 유사도를 분석하여, 소정의 유사도로 선정된 최종 수어 표제어, 분리된 모션 특징점 및 분리된 자막이 상호 대응하도록 최종 수어 표제어 리스트를 생성한다.

수어 태깅부(110)는 각 리스트 간의 시간 정보들 및 소정의 유사도를 갖는 수어 표제어들에 기초하여, 분리 모션 특징점과 소정의 유사도를 갖는다고 판정된 자막의 언어를 서로 연관시킨다. 이에 의해, 분리된 모션 특징점에 따른 수어에 적합한 자막 및 수어 표제어가 태깅된다.

수어 말뭉치 데이터 생성부(112)는 최종 수어 표제어 리스트에 기초하여 수어 말뭉치 데이터를 생성한다.

수어 말뭉치 데이터 생성부(112)는 도 5에 도시된 바와 같이, 사용자가 수어 표제어 및 의미를 선택 혹은 수정하도록, 최종 수어 표제어(118), 대응 수어 모션 (114), 시간 구간(116) 및 대응 자막 등을 사용자에게 화면으로 제공할 수 있다. 도 2는 최종 수어 표제어, 대응 수어 모션 및 대응 자막을 사용자에게 화면으로 제공하는 것을 예시한 도면이다.

이하에서는, 도 1 내지 도 5를 참조하여, 본 발명의 다른 실시예에 따른 언어 및 수어의 병렬 말뭉치 데이터의 생성 방법을 설명하기로 한다.

도 3은 본 발명의 다른 실시예에 따른 언어 및 수어의 병렬 말뭉치 데이터의 생성 방법에 있어서, 수어 모션 분석부의 동작을 설명하기 위한 순서도이며, 도 4는 자막 분석부의 동작을 설명하기 위한 순서도이고, 도 5는 수어 태깅부 및 수어 말뭉치 데이터 생성부의 동작을 설명하기 위한 순서도이다. 본 실시예에 따른 방법에서, 도 3 및 도 4의 단계들은 동시에 또는 이시에 수행될 수 있으며, 도 5의 단계들은 도 3 및 도 4의 단계들이 완료된 후에 진행된다.

먼저 도 3을 참조하면, 수어 모션 분석부(102)는 수어 영상의 모션 특징점을 추출한다(S305). 모션 특징점의 추출은 공지된 기법으로 수행될 수 있다.

수어 모션 분석부(102)는 기 설정된 구분 단위 별로 모션 특징점을 분리한다(S310).

다음으로, 구분 단위는 신체 부위별 객체 모션과 관련된 주요 오브젝트 단위 및 모션에 대한 라벨과 관련된 수어 글로스 단위 중 적어도 어느 하나일 수 있다. 신체 부위별 객체 모션은 수지 모션과 비수지 모션을 포함할 수 있다.

이어서, 수어 모션 분석부(102)는 분리된 모션 특징점에서 손과 팔이 아닌 다른 신체 부위의 객체 모션과 관련된 비수지 모션 특징점을 분석하여 비수지 모션 의미 및 속성을 기록한다(S315). 이러한 기록은 다음 단계에서 생성되는 수어 모션 리스트에 기록될 수 있다.

계속해서, 수어 모션 분석부(102)는 수어 모션 특징점 데이터베이스(104)를 참조하여 분리된 모션 특징점 별로 소정의 유사도를 갖는 수어 표제어를 선택함과 분리된 모션 특징점과 수어 표제어를 대응시킨 수어 모션 리스트를 생성한다(S320).

수어 모션 리스트는 분리된 모션 특징점이 분석된 구간의 시간 정보, 예컨대 시작 및 종료 시간을 저장한다. 분리 및 저장 모션 특징점들 간의 유사도 분석은 머신 러닝, 딥러닝 등의 기법으로 수행될 수 있다.

수어 모션 특징점 데이터베이스(104)는 모션 특징점과 대응하는 수어 글로스 단위의 수어 표제부를 저장하며, 분리된 모션 특징점과 연관되는 수어 표제어는 수어 글로스 단위의 수어 표제부이다. 또한, 수어 모션 특징점 데이터베이스(104)는 다양한 장르마다의 수어 모션 특징점들에 대해 수어 표제어를 저장하며, 수어 상황에 따른 장르를 고려하여 보다 많은 수어 표제부가 분리 모션 특징점에 매칭된다. 수어 표제어는 정확히 설명하면, 의미 단위의 수어 동작을 의미한다. 따라서 수어 표제어는 수어 동작을 의미하고, 수어 대응 한국어 표제어는 수어 동작을 의미하는 한국어 표제어를 의미한다. 여기서, 수어 표제어는 본 명세서를 통해 수어 대응 한국어 표제어라고 칭할 수 있다.

도 4를 참조하면, 자막 분석부(106)는 수어 영상과 함께 입력되는 자막을 형태소 및 구문 분석하여 분리한다(S405).

형태소 및 구문 분석에 의한 자막 분리는 기 공지된 텍스트 분리 기법에 의해 수행될 수 있다.

다음으로, 자막 분석부(106)는 자막을 포함한 전체 문장에 따른 장르 및 각 문장의 전체 뉘앙스 등을 고려하여, 분리된 자막에 대한 의미를 분석하고 기록한다(S410). 이러한 기록은 다음 단계에서 생성되는 매핑 테이블에 기록될 수 있다.

이어서, 자막 분석부(106)는 수어 표제어 데이터베이스(108)를 참조하여 분리된 자막 별로 소정의 유사도를 갖는 수어 표제어를 선택함과 아울러서 분리된 자막과 수어 표제어를 대응시킨 매핑 테이블을 생성한다(S415).

소정의 유사도는 분리된 자막과 저장된 텍스트 간의 기 지정된 유사도이며, 매핑 테이블은 자막과 기준값 이상의 유사도를 갖는 텍스트들과 관련된 수어 표제어들을 포함할 수 있다. 매핑 테이블은 자막이 분석된 구간의 시간 정보, 예컨대 시작 및 종료 시간을 저장할 수 있다. 자막 및 텍스트들 간의 유사도 분석은 머신 러닝, 딥러닝 등의 기법으로 수행될 수 있다.

도 4의 단계들에 후속하는 도 5를 참조하면, 수어 태깅부(110)는 수어 모션 리스트와 매핑 테이블에 포함된 수어 표제어들의 유사도를 분석한다(S505).

수어 태깅부(110)는 각 리스트와 매핑 테이블 간의 시간 정보들 및 소정의 유사도를 갖는 수어 표제어들에 기초하여, 각 리스트와 매핑 테이블에 열거된 각 분리 모션 특징점의 수어 표제어들과 대응 자막들의 수어 표제어 간의 유사도를 판정한다. 유사도 판정은 각 수어 표제어마다 진행되어 정량 평가된다.

수어 태깅부(110)는 소정의 유사도로 선정된 최종 수어 표제어, 분리된 모션 특징점 및 분리된 자막이 상호 대응하도록 최종 수어 표제어 리스트를 생성한다(S510).

이에 의해, 분리된 모션 특징점에 따른 수어에 적합한 자막 및 수어 표제어가 태깅된다.

다음으로, 수어 말뭉치 데이터 생성부(112)는 최종 수어 표제어 리스트에 기초하여 수어 말뭉치 데이터를 생성한다(S515).

말뭉치 데이터의 생성은 장르 및 전체 문장의 뉘앙스, 수어 표제어로부터 도출가능한 다양한 변형 단어 등을 고려하여 수행된다. 예컨대 특정 분리 모션 특징점 및 자막에서의 최종 수어 표제어가 '꼼꼼하다'이나, 자막의 수어 표제어의 다양한 변형 단어가'자세하다' 또는 '구체적이다' 등인 경우에, 수어 말뭉치 데이터 생성부(112)는 다양한 변형 단어들과 관련된 단어를 말뭉치 데이터로 포함할 수 있다. 최종 수어 표제어 리스트는 말뭉치 데이터를 생성하는데 기반 정보으로 작용한다.

본 실시예에 따르면, 아바타 수어 서비스의 핵심 기술로 자막을 수어로 번역하는 기술이 필요하며, 이를 위한 로우 데이터로 언어-수어 말뭉치 데이터가 요구되고 있는 상황에서, 단시간에 다량의 말뭉치 데이터를 생성할 수 있다. 또한, 본 실시예를 고도화하는 경우에, 실시간 언어-수어 번역 서비스에도 활용될 수 있다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

100: 언어 및 수어의 병렬 말뭉치 데이터의 생성 장치
102: 수어 모션 분석부 104: 수어 모션 특징점 DB
106: 자막 분석부 108: 수어 표제어 DB
110: 수어 태깅부 112: 수어 말뭉치 데이터 생성부

Claims (1)

1. 수어 영상의 모션 특징점을 추출하며, 기 설정된 구분 단위 별로 모션 특징점을 분리하고, 상기 모션 특징점에 대응하는 수어 표제부를 저장하는 수어 모션 특징점 데이터베이스를 참조하여 분리된 모션 특징점 별로 소정의 유사도를 갖는 수어 표제어를 선택함과 아울러서 상기 분리된 모션 특징점과 상기 수어 표제어를 대응시킨 수어 모션 리스트를 생성하는 수어 모션 분석부;
   상기 수어 영상과 함께 제공되는 자막을 형태소 및 구문 분석하여 분리하며, 수어 표제어를 저장하는 수어 표제어 데이터베이스를 참조하여 상기 분리된 자막 별로 소정의 유사도를 갖는 수어 표제어를 선택함과 아울러서 상기 분리된 자막과 상기 수어 표제어를 대응시킨 매핑 테이블을 생성하는 자막 분석부;
   상기 수어 모션 리스트와 상기 매핑 테이블에 포함된 상기 수어 표제어들의 유사도를 분석하여, 소정의 유사도로 선정된 최종 수어 표제어, 상기 분리된 모션 특징점 및 상기 분리된 자막이 상호 대응하도록 최종 수어 표제어 리스트를 생성하는 수어 태깅부; 및
   상기 최종 수어 표제어 리스트에 기초하여 수어 말뭉치 데이터를 생성하는 수어 말뭉치 데이터 생성부를 포함하는 언어 및 수어의 병렬 말뭉치 데이터의 생성 장치.

Images