KR101104777B1 - 수화 애니메이션 생성을 위한 시스템 및 방법 - Google Patents

수화 애니메이션 생성을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR101104777B1
KR101104777B1 KR1020100010604A KR20100010604A KR101104777B1 KR 101104777 B1 KR101104777 B1 KR 101104777B1 KR 1020100010604 A KR1020100010604 A KR 1020100010604A KR 20100010604 A KR20100010604 A KR 20100010604A KR 101104777 B1 KR101104777 B1 KR 101104777B1
Authority
KR
South Korea
Prior art keywords
vocabulary
sign language
resin signal
resin
signal
Prior art date
Application number
KR1020100010604A
Other languages
English (en)
Other versions
KR20110090675A (ko
Inventor
박종철
정상윤
장은영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020100010604A priority Critical patent/KR101104777B1/ko
Publication of KR20110090675A publication Critical patent/KR20110090675A/ko
Application granted granted Critical
Publication of KR101104777B1 publication Critical patent/KR101104777B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2213/00—Indexing scheme for animation
    • G06T2213/04—Animation description language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065—Aids for the handicapped in understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 입력된 문장의 구문 분석을 통해 수지 신호와 비수지 신호를 결정한 후, 상기 구문 분석 결과를 근거로 각 어휘를 수화 표현을 위한 어휘로 변경하고, 상기 비수지 신호를 해당 문맥에 상응하도록 변환하며, 수지 신호와 비수지 신호가 동기화된 수화 애니메이션을 생성하는 것으로서, 입력으로 들어온 어휘를 주어진 상황에 따라 실제 수화에서 사용하는 어휘로 변환하므로 청각장애인에게 적합한 수화 애니메이션을 생성할 수 있다.

Description

수화 애니메이션 생성을 위한 시스템 및 방법{System and Method for generating sign language animation}
본 발명은 수화 애니메이션 생성을 위한 시스템 및 방법에 관한 것으로, 더욱 상세하게는 입력된 문장의 구문 분석을 통해 수지 신호와 비수지 신호를 결정한 후, 각 어휘를 실제 수화에서 사용하는 어휘로 변환하고 상기 비수지 신호를 생성할 수화의 의미와 상응하도록 변환하며, 수지 신호와 비수지 신호를 동기화시켜 해당 수화 동작을 생성하는 수화 애니메이션 생성을 위한 시스템 및 방법에 관한 것이다.
수화(수어)는 음성이 아닌 손동작, 표정 등의 시각적 정보를 활용하여 뜻을 전달하는 언어의 일종으로, 주로 농인(청각장애인)들에 의해 사용된다. 이러한 수화는 크게 수지 신호와 비수지 신호로 구성된다.
수지 신호는 우리가 보통 수화로 알고 있는 손동작으로서 수화의 의미를 결정하는 주된 역할을 한다. 그리고 비수지 신호는 수지 신호와 함께 사용됨으로써 수화의 의미를 명확하게 해주는 역할을 하는 것으로서, 손 이외의 다른 모든 신체 부위를 조합하여 표현할 수 있도록 하는 수화 표현을 말한다.
상기 비수지 신호는 표정, 시선, 머리 움직임, 눈동자의 움직임, 상체의 움직임, 혀의 움직임, 발의 움직임 등으로 나타난다. 예를 들어, '당신을 만나서 반갑습니다.'를 의미하는 수화 표현을 할 때는 '당신', '만나다', '반갑다'를 의미하는 수지 신호를 순서대로 사용하며 웃는 표정의 비수지 신호를 이와 동시에 사용한다.
만약 웃는 표정의 비수지 신호가 나타나지 않는다면 이는 농인(청각장애인)들에게 상당히 어색한 표현일뿐만 아니라 실제로는 반갑지 않은데 수화로만 반갑다는 표현을 한다는 오해를 살 수 있다.
다른 예로, 수지 신호 '아버지', '오다'를 특별한 표정 없이 사용하면 이는 '아버지께서 오신다'라는 의미의 수화 동작이 되지만, 같은 수지 신호를 의문 표정의 비수지 신호와 함께 사용하면 이는 '아버지께서 오십니까?'라는 의미의 수화 동작이 된다.
이와 같이 비수지 신호는 수화의 의미를 정확히 나타내는데 있어서 반드시 고려해야 하는 요소이며, 따라서 수화를 생성할 때 주어진 문맥에 맞게 이를 적절히 표현해 주어야 한다.
농인(청각장애인)을 위한 번역 서비스가 부족한 시점에서 수화 번역을 자동으로 하려는 시도는 그동안 많이 이루어졌고, 주어진 한국어 어휘에 일대일 대응하는 동영상이나 애니메이션을 조합하여 번역을 하는 기술이 주를 이루어 왔다.
그 예로 먼저, 입력으로 들어온 문장의 패턴에 대응되는 수화 동영상 또는 수화 애니메이션을 미리 저장한 뒤 필요할 때마다 재생하는 기술이 있다. 이러한 기술은 입력으로 들어온 문장과 패턴이 같은 수화 데이터가 데이터베이스에 있을 경우 자연스러운 수화 생성이 가능하다.
그러나 입력으로 들어올 문장의 패턴은 매우 다양하므로, 상당히 많은 정보를 가지는 데이터를 데이터베이스에 구축해야 하기 때문에 비효율적이라는 단점이 있다.
또한, 주어진 문장의 각 어휘에 대해 일대일 방식으로 손동작(수지 신호)을 결정함으로써 같은 어휘라도 주어진 문맥(상황)에 따라 다른 손동작(수지 신호)을 써야 하는 수화의 특성을 전혀 반영하지 않고 있으며, 표정 및 고개 움직임(비수지 신호)도 손동작(수지 신호)과 함께 단순하게 일대일 대응시킴으로써 그들 간의 동기화에 따른 의미 차이에 대한 고려를 하지 않은 단점이 있다.
본 발명의 목적은 입력으로 들어온 어휘를 주어진 상황에 따라 실제 수화에서 사용하는 어휘로 변환하여 청각장애인에게 적합한 수화 애니메이션을 생성하는 수화 애니메이션 생성을 위한 시스템 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 비수지 신호(표정 및 고개 움직임)를 생성할 수화의 의미에 맞게 변환하여 전하고자 하는 내용의 수화 동작을 정확하게 생성할 수 있는 수화 애니메이션 생성을 위한 시스템 및 방법을 제공하는데 있다.
상기한 바와 같은 목적들을 달성하기 위하여 본 발명에 따른 수화 애니메이션 생성을 위한 시스템은 입력된 문장의 구문 분석을 통해 수지 신호 및 비수지 신호를 결정하는 구문 분석기, 상기 구문 분석기로부터의 구문 분석 결과를 근거로, 각 어휘를 수화 표현을 위한 어휘로 변경하고, 상기 비수지 신호를 해당 문맥에 상응하도록 변환하는 변환 처리기, 상기 변환 처리기로부터의 결과를 바탕으로 수지 신호 및 비수지 신호의 공간 정보 및 프레임 수를 결정하여 액션 스크립트를 생성하는 스크립트 생성기, 상기 생성된 액션 스크립트에 해당하는 수화 동작을 기 저장된 동작 데이터베이스로부터 불러와 재생하는 애니메이션 재생기로 구성된다.
상기 수화 애니메이션 생성을 위한 시스템은 어휘별 품사 정보, 의미, 수화 동작을 위한 손의 수, 서술어의 유형, 수지 신호 또는 비수지 신호 여부가 표시된 어휘 사전 데이터베이스, 어휘별로 문맥에 맞는 수화 표현을 위하여 관계어에 따른 대체어가 매핑된 수화 어휘 변환 데이터베이스, 의미에 따른 수지 신호의 위치 정보가 저장된 공간 정보 데이터베이스, 프레임별 프레임 수가 저장된 프레임 데이터베이스를 더 포함할 수 있다.
상기 구문 분석기는 결합범주문법을 이용한 구문 분석을 통해 각 서술어의 주어와 목적어를 구분하고, 각 어휘에 맞는 수지 및 비수지 신호의 종류를 결정할 수 있다.
또한, 상기 구문 분석기는 상기 입력된 문장이 관형절 내포문 또는 병렬문인 경우, 필요에 따라 어휘의 수화 표현 순서를 바꿀 수 있다.
상기 변환 처리기는, 상기 구문 분석기에서 분석된 각 어휘에 대해 그 어휘가 속하는 카테고리를 판단하고, 상기 수화 어휘 변환 데이터베이스를 검색하여 상기 판단된 카테고리에 매핑된 대체어로 어휘를 변환하는 수화 어휘 변환부, 상기 구문 분석기로부터의 구문 분석 결과를 근거로 문맥을 파악한 후, 그 문맥에 맞도록 상기 비수지 신호를 변환하는 비수지 신호 동기화부를 포함한다.
상기 스크립트 생성기는, 상기 공간 정보 데이터베이스를 이용하여 수지 신호의 방향 및 위치를 결정하는 공간 정보 설정부, 상기 프레임 데이터베이스를 검색하여 각 프레임별 프레임 수를 결정하는 프레임 수 결정부, 상기 공간 정보 데이터베이스에서 설정된 수지 신호의 위치 및 방향, 상기 프레임 수 결정부에서 결정된 프레임 수를 표시하여 액션 스크립트를 생성하는 액션 스크립트 생성부를 포함한다.
여기서, 상기 액션 스크립트는 재생 프레임 수, 수지신호, 수지 신호 동작에 필요한 손의 수, 수지 신호의 방향, 수지 신호의 위치, 비수지 신호, 비수지 신호의 방향으로 구성된다.
상기 애니메이션 생성기는 상기 수지 신호와 비수지 신호의 프레임 수를 동일하게 하여 재생 시간의 동기화를 수행한다.
상기 동작 데이터베이스에는 액션 스크립트별 수화 동작이 저장되어 있다.
본 발명에 따른 수화 애니메이션 생성을 위한 구문 분석 장치는 어휘별 품사 정보, 수지 또는 비수지 신호 여부가 표시된 어휘 사전 데이터베이스, 어휘별로 관계어에 따른 대체어가 매핑된 수화 어휘 변환 데이터베이스, 입력된 문장의 형태소를 분석하고, 각 어휘의 결합에 따른 의미를 분석하여 수지 신호 및 비수지 신호를 결정하는 구문 분석기, 상기 구문 분석기에서 분석된 각 어휘에 대해 그 어휘가 속하는 카테고리를 판단하고, 상기 수화 어휘 변환 데이터베이스를 검색하여 상기 판단된 카테고리에서 사용하는 어휘로 변환하는 변환 처리기를 포함하여 구성된다.
상기 변환 처리기는 상기 구문 분석기로부터의 구문 분석 결과를 근거로 문맥을 파악하여, 그 문맥에 맞도록 상기 비수지 신호를 변환한다.
상기 구문 분석기는 상기 입력된 문장이 관형절 내포문 또는 병렬문인 경우, 필요에 따라 어휘의 수화 표현 순서를 바꾼다.
본 발명에 따른 수화 애니메이션 생성을 위한 방법은, (a)입력된 문장에서 수지 신호 또는 비수지 신호를 결정하기 위하여 구문 분석을 수행하는 단계, (b)상기 구문 분석 결과를 근거로 각 어휘에 대해 수화 표현을 위한 어휘로의 변경 필요 여부를 판단하고, 그 판단결과에 따라 해당 어휘를 변경하며, 상기 비수지 신호를 해당 문맥에 상응하도록 변환하는 단계, (c)상기 (b)단계가 수행된 문장에서 수지 신호와 비수지 신호의 공간 정보 및 프레임 수를 결정하여 액션 스크립트를 생성하는 단계, (d)상기 생성된 액션 스크립트에 해당하는 수화 동작을 기 저장된 데이터베이스로부터 불러와 재생하는 단계를 포함한다.
상기 (d)단계는, 수지 신호와 비수지 신호의 프레임 수를 일치시켜 해당 수화 동작을 재생한다.
본 발명에 따른 수화 애니메이션 생성을 위한 구문 분석 방법은, 입력된 문장에서 수지 신호 또는 비수지 신호를 결정하기 위하여 구문 분석을 수행하는 단계, 상기 구문 분석 결과를 근거로 각 어휘에 대해 수화 표현을 위한 어휘로의 변경 필요 여부를 판단하는 단계, 상기 판단결과 해당 어휘의 변경이 필요하면, 기 저장된 수화 어휘 변환 데이터베이스를 검색하여 해당 어휘가 속하는 카테고리와 매핑된 대체어로 어휘를 변환하는 단계를 포함하는 수화 애니메이션 생성을 위해 구문을 분석하는 방법이 제공된다.
상기 방법은 상기 구문 분석 결과를 근거로 문맥을 파악한 후, 그 문맥에 맞도록 상기 비수지 신호를 변환하는 단계를 더 포함할 수 있다.
상술한 바와 같이 본 발명에 따르면, 입력으로 들어온 어휘를 주어진 상황에 따라 실제 수화에서 사용하는 어휘로 변환하므로 청각장애인에게 적합한 수화 애니메이션을 생성할 수 있다.
또한, 비수지 신호(표정 및 고개 움직임)를 생성할 수화의 뜻에 맞게 변환하므로, 전하고자 하는 내용의 수화 동작을 정확하게 생성할 수 있다.
또한, E-mail, 인터넷 웹 페이지를 수화로 번역함으로써 농인(청각장애인)들에게 균등한 정보 공유의 기회를 줄 수 있다.
또한, 지하철, 시내버스 등에 설치된 TV 같은 매체를 통해 다양한 정보의 수화애니메이션을 보여줌으로써 음성 정보를 활용하지 못하는 농인(청각장애인)들의 안내 도우미로서의 역할 등을 제공할 수 있다.
도 1은 본 발명에 따른 수화 애니메이션 생성을 위한 시스템의 구성을 개략적으로 나타낸 블럭도.
도 2는 본 발명에 따른 결합범주문법을 활용하여 구문을 분석하는 방법을 나타낸 도면.
도 3은 도 1에 도시된 변환 처리기의 구성을 구체적으로 나타낸 도면.
도 4는 도 1에 도시된 스크립트 생성기의 구성을 구체적으로 나타낸 도면.
도 5는 본 발명에 따른 수화 애니메이션 생성을 위한 방법을 나타낸 흐름도.
도 6은 본 발명에 따른 수화 애니메이션 생성을 위한 구문 분석 장치의 구성을 개략적으로 나타낸 블럭도.
도 7은 본 발명에 따른 구문 분석 장치가 수화 애니메이션 생성을 위해 문장을 분석하는 방법을 나타낸 흐름도.
본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.
도 1은 본 발명에 따른 수화 애니메이션 생성을 위한 시스템의 구성을 개략적으로 나타낸 블럭도, 도 2는 본 발명에 따른 결합범주문법을 활용하여 구문을 분석하는 방법을 나타낸 도면, 도 3은 도 1에 도시된 변환 처리기의 구성을 구체적으로 나타낸 도면, 도 4는 도 1에 도시된 스크립트 생성기의 구성을 구체적으로 나타낸 도면이다.
도 1을 참조하면, 수화 애니메이션 생성을 위한 시스템은 입력된 문장의 구문을 분석하는 구문 분석기(100), 상기 구문 분석기(100)로부터의 구문 분석 결과를 근거로 어휘 및 비수지 신호를 변환하는 변환 처리기(110), 상기 변환 처리기(110)로부터의 결과를 바탕으로 액션 스크립트를 생성하는 스크립트 생성기(120), 상기 스크립트 생성기(120)에서 생성된 액션 스크립트에 해당하는 수화 동작을 애니메이션으로 재생하는 애니메이션 생성기(130)를 포함한다.
또한, 수화 애니메이션 생성을 위한 시스템은 어휘별 품사 정보, 수지 신호 또는 비수지 신호 여부가 표시된 어휘 사전 데이터베이스(140), 어휘별로 관계어(카테고리)에 따른 대체어가 온톨로지로 구성된 수화 어휘 변환 데이터베이스(150), 의미에 따른 수지 신호의 공간 정보가 저장된 공간 정보 데이터베이스(160), 프레임 수에 따른 프레임 정보가 저장된 프레임 데이터베이스(170), 액션 스크립트별 수화 동작이 저장된 동작 데이터베이스(180)를 포함한다.
상기 어휘 사전 데이터베이스(140)에는 각 어휘에 대한 기본 범주가 아래의 표시와 같이 np 또는 s로 정해져 있다.
np(Case):Name#H_num
s:[pred(Type)^Name#H_num*Relation, Case1^Name#H_num, Case2^… ]
여기서, 콜론(:)의 왼쪽은 구문 정보를, 오른쪽은 의미 정보를 가리키고 각 어휘에는 기본적으로 np 또는 s로 어휘 범주가 결정된다. 이 때 np와 s는 각각 명사구와 문장을 의미하고 이들은 case, ms, h_num, nms, type, num->num 등으로 구성되어 있다.
Case는 한국어 조사 '은(는)', '을(를)'등으로부터 얻어지는 격 정보로 주격, 목적격을 나타낼 뿐만 아니라 각 격의 인칭 정보 또한 가지고 있어서 주어, 목적어의 인칭에 따른 수화 표현의 공간 배치 및 이와 관련한 수화 표현의 방향을 결정하는데 사용된다. Name은 해당 수화 어휘의 의미를 나타내는데, 사람 이름, 신종 외래어, 전문 용어와 같이 그 의미를 나타내는 특별한 수화 표현이 없을 경우에는 이를 지화로 표현한다. H_num은 수화 동작을 하는데 필요한 손의 수를 의미하고, 이를 통해 오른손과 왼손이 서로 다른 의미를 동시에 나타내야 하는 경우에 이것이 가능한지 알 수 있을 뿐만 아니라 수화 애니메이션 생성 시 필요한 손의 수만큼 동작 클립을 처리함으로써 불필요한 동작의 생성을 막고 클립 처리 시간 또한 줄일 수 있어 시스템의 성능 향상에 도움을 준다. Type은 서술어의 유형을 의미하는데, 이를 통해 비수지 신호 처리의 유무, 수화 표현의 방향성 유무에 따른 서술어를 구분하여 처리할 수 있고, 서술어 수화 표현의 방향성 유무에 따라 그 표현이 가능한지 판단되는 접속문에서의 수화 표현 또한 처리할 수 있다. Relation은 서술어에만 해당하는 요소로서 해당 서술어의 주어와 목적어의 Name을 가지고 있어 수화 표현의 방향성을 결정하는데 도움이 되고, 이는 구문 분석 시 그 규칙에 따라 결정된다.
상기 수화 어휘 변환 데이터베이스(150)는 각 어휘가 관계어(카테고리)에 따른 대체어가 매핑된 온톨로지 형태로 구성되어 있다.
예를 들어, '구한다'의 경우, '구한다'에 대한 관계어는 사람 또는 물건으로 분류되어 사람인 경우는 '뽑는다', 물건인 경우는 '산다'가 '구한다'의 대체어로 각각 매핑되어 있다.
상기 공간 정보 데이터베이스(160)에는 각 수지 신호가 의미에 따라 표 1과 같이 상, 하, 좌, 우, 전, 후 등 공간 및 방향이 설정되어 있다.
위치 의미
상 비교 대상의 상대적 우위에 있거나 인간의 거주지보다 위쪽에 위치함을 의미
Ex) 우주, 하늘, 비, 신, 왕, 정부
하 비교 대상의 상대적 하위에 있거나 인간의 거주지보다 아래쪽에 위치함을 의미
Ex) 땅, 들판, 강, 바다, 아이, 동생, 신하
좌 비교 대상에 상대적으로 열약하거나 대조상의 좋지 못한 것들을 의미
Ex) 아내, 여자, 야당, 악, 더러움, 마귀
우 비교 대상에 상대적으로 강하거나 대조상의 좋은 것들을 의미
Ex) 남편, 남자, 여당, 선, 깨끗, 신
전 미래, 먼 거리를 의미
Ex) 앞으로, 내일, 내년, 계속, 영원, 멀다
후 과거, 가까운 거리를 의미
Ex) 후로, 과거, 어제, 작년, 가깝다
상기 구문 분석기(100)는 입력된 문장의 구문 분석을 통해 각 서술어의 주어와 목적어를 구분하고, 각 어휘에 맞는 수지 및 비수지 신호의 종류를 결정하며 병렬문, 관형절 내포문과 같은 문장의 수화 표현을 위해 문장의 종류에 따라 수화의 표현 순서를 바꾼다.
즉, 상기 구문 분석기(100)는 입력된 문장의 형태소를 분석하고, 각 어휘의 결합에 따른 의미를 분석하여 수지 신호 및 비수지 신호를 결정한다.
또한, 상기 구문 분석기(100)는 한국어 문장을 수화로 생성할 때 비수지 신호가 문장의 특정 부분에 나타나는 현상이 구문 분석 과정에서 자유롭게 결합 가능한 특징을 가지는 결합범주문법(CCG)을 이용하여 구문을 분석한다.
상기 결합범주문법은 소수의 축약 규칙에 의해 구문 분석이 이루어지는 문법체계로서 병렬 구조 등의 복잡한 문형을 별도의 제약 조건 없이 처리하고, 어휘 범주에 통사 정보 외에 의미 정보, 담화 정보 등을 추가하여 여러 단계의 분석을 한 단계로 해결 가능하다는 장점이 있다.
상기 구문 분석기(100)가 결합범주문법을 활용하여 구문을 분석하는 방법에 대하여 도 2를 참조하여 설명하기로 한다.
도 2를 참조하면, 구문 분석기(100)는 '당신을 만나서 반갑지 않습니다'에 대해, 형태소 분석을 통해 '당신', '을', '만나', '서', '반갑', '지 않습니다'로 분류한다. 그런 다음 상기 구문 분석기(100)는 어휘 사전 데이터베이스(140)를 이용하여 ①과 같이 '당신', '을', '만나', '서', '반갑', '지 않습니다'의 각 어휘에 대해 범주를 결정한다. '당신'의 경우, 상기 어휘 사전 데이터베이스(140)를 검색한 결과 명사구이므로 np이고, 손의 수 1개 필요, 비수지 신호 아니므로, 'np(-):you#one*non'으로 어휘의 범위를 결정한다. 상기 '을', '만나', '서', '반갑', '지 않습니다'도 마찬가지의 방법에 의해 ①과 같이 어휘의 범위를 결정한다.
그런 다음 상기 구문 분석기(100)는 결합범주문법의 규칙에 따라 ②와 같이 각 어휘들을 결합한다. 즉, '당신'과 '을'을 결합하고, '반갑'과 '지 않습니다'를 결합한다. 이때, '반갑'은 긍정의 의미이고, '지 않습니다'는 부정의 의미로, 두 어휘의 결합으로 부정의 의미가 되어, 비수지 신호가 부정의 의미로 변환된다.
마찬가지의 방법에 의해 ③에서는 '당신을'과 '만나'를 결합하고, ④에서는 '당신을 만나'와 '서'를 결합하고, ⑤에서는 '당신을 만나서'와 '반갑지 않습니다'를 결합한다.
상기와 같은 결합범주문법의 규칙에 따라 어휘들이 결합하면서 최종 구문 분석 결과가 나오게 된다. 상기 결합범주문법의 규칙은 표 2와 같다.
규칙 명칭 축약기호
X/Y Y -> X Forward Application >
Y X＼Y -> X Backward Application <
X/Y Y/Z -> X/Z Forward Composition >B
Y＼Z X＼Y -> X＼Z Backward Composition <B
X -> T/(T＼X) Forward Raising >T
X -> T＼(T/X) Backward Raising <T
X conj X -> X Coordination <∮n>
예를 들어, '나는 그녀를 쳐다봤다'를 결합범주문법을 통해 구문 분석을 하면, 최종적으로 's:[pred(perc)^lookup#one*i-she, acc^she#one, nom^i#one]'의 구문 분석 결과가 출력된다.
이 과정에서 지각동사 '쳐다봤다'에 해당하는 주어(나)와 목적어(그녀)가 결정되고, '쳐다봤다'를 의미하는 수화 표현의 방향은 (나 -> 그녀)가 된다. 여기서는 결합범주문법 중 Backward Application이라는 하나의 규칙만 사용하였다.
또한, 구문 분석기(100)는 입력된 문장이 관형절 내포문 또는 병렬인 경우, 명확한 수화 생성을 위해 수화 표현의 순서를 바꾼다.
예를 들어, '나는 철수가 쳐다보는 영희를 살펴봤다'를 수화로 표현하는 경우, 수화의 의미를 명확하게 나타내기 위하여 '철수가 쳐다보는 영희를 나는 살펴봤다'와 같은 어휘의 순서를 바꾸어 수화 표현을 한다.
즉, 문장 안에 관형절이 있어 주어와 서술어가 멀리 떨어져 있을 경우, 각 어휘의 순서대로 수화를 생성하면 주어와 서술어에 대한 수화 표현 사이의 시간 차이가 커져 해당 수화의 의미를 이해하기 어려워진다. 이와 같은 문제를 해결하기 위해 관형절이 내포된 문장의 경우 명확한 수화 표현을 위해 수화 표현의 순서를 바꾼다.
또한, '나는 영희는 살펴보고, 철수는 노려봤다.'를 수화로 표현하는 경우, 영희와 철수를 서로 다른 방식으로 쳐다봤다는 대조의 의미를 나타내기 위하여 '영희'와 '철수'를 의미하는 수지 신호를 먼저 사용한 후 영희에게는 '살펴보다'를 의미하는 수화 표현을, 철수에게는 '노려보다'를 의미하는 수화 표현을 한다.
이와 같이 대조의 의미가 있는 문장을 수화 표현으로 하는 경우에는 그 대조되는 수화 표현을 연속적으로 함으로써 그 의미를 나타낼 수 있다. 따라서, '나는 영희는 살펴보고, 철수는 노려봤다'의 어휘 순서와 다르게 목적어인 '영희'와 '철수'의 수화 표현이 먼저 나오게 하고, 그 다음 '살펴보다', '노려보다'를 의미하는 수화 표현이 연속적으로 사용되어 대조적 의미를 나타내도록 구문 분석 결과를 출력한다.
여기에서는 결합범주문법을 이용하여 구문을 분석하는 방법에 대하여 설명하였으나, 다른 알고리즘 및 방법을 이용하여 구문을 분석할 수도 있다.
상기 변환 처리기(110)는 상기 구문 분석기(100)로부터의 구문 분석 결과를 바탕으로 각 어휘의 정확한 수화 표현을 위하여 상기 수화 어휘 변환 데이터베이스(150)를 활용하여 문맥에 맞게 어휘를 변경한다.
상기 변환 처리기(110)에 대하여 도 3을 참조하여 좀더 상세히 살펴보면, 변환 처리기(110)는 수화 어휘 변환부(112)와 비수지 신호 동기화부(114)로 구성된다.
상기 수화 어휘 변환부(112)는 상기 구문 분석기(100)에서 분석된 어휘의 정확한 수화 표현을 위하여 상기 수화 어휘 변환 데이터베이스(150)를 활용하여 문맥에 맞는 어휘로 변경한다.
즉, 상기 수화 어휘 변환부(112)는 상기 구문 분석기(100)에서 분석된 각 어휘에 대해 그 어휘가 속하는 카테고리를 판단하고, 상기 수화 어휘 변환 데이터베이스(150)를 검색하여 상기 판단된 카테고리에서 사용하는 어휘가 맞는지를 확인한다. 그런 다음 상기 수화 어휘 변환부(112)는 상기 확인한 어휘가 맞으면 그 어휘를 그대로 사용하고, 맞지 않으면 그 카테고리에 매핑된 대체어로 어휘를 변환한다.
예를 들어, '직원을 구한다'와 '차표를 구한다'의 경우, 상기 수화 어휘 변환부(112)는 어휘 사전 데이터베이스(140)의 의미 분류 체계를 이용하여 '직원'은 '사람', '차표'는 '물건'의 카테고리에 속한다는 것을 확인한다. 그런 다음 상기 수화 어휘 변환부(112)는 상기 수화 어휘 변환 데이터베이스(150)를 검색하여 '구한다'에 대해, 카테고리가가 '사람'인 경우의 대체어가 있는지를 확인한다. 그 확인결과 '뽑는다'로 문맥에 맞게 해당 어휘를 정확하게 수화로 표현가능하다면, 상기 수화 어휘 변환부(112)는 '직원을 구한다'를 '직원을 뽑는다'로 변환한다.
마찬가지로 상기 수화 어휘 변환부(112)는 '차표를 구한다'를 '차표를 산다'로 어휘를 변환한다.
즉, '구한다'라는 단어를 수화로 표현할 때 순서대로 각각 '뽑는다'와 '산다'를 뜻하는 수화를 사용한다. 즉, 같은 어휘라도 해당 손 동작을 문맥에 맞게 바꾸어줘야 보다 정확한 수화 표현이 된다. 그러므로, 상기 수화 어휘 변환부(112)는 수화 어휘 변환 데이터베이스(150)를 활용하여 문맥에 맞게 해당 어휘를 적절한 손동작으로 변환해 준다.
상기 비수지 신호 동기화부(114)는 상기 구문 분석기(100)로부터의 구문 분석 결과를 근거로 문맥을 파악하여, 그 문맥에 맞도록 상기 비수지 신호를 변환한다. 즉, 상기 비수지 신호 동기화부(114)는, 비수지 신호를 수지 신호와 어떤 방식으로 동기화시키는지에 따라 수화의 뜻이 달라지므로, 상기 구문 분석기(100)에서 분석된 문맥의 의미 또는 관계에 따라 비수지 신호를 변환한다.
예를 들어, '돈을 주고 서명을 하면 차를 빌려주겠다.'를 수화 애니메이션으로 생성하는 경우 조건(~면)에 해당하는 비수지 신호인 고개 숙임의 동작을 '하면'에만 표현하게 되면 '돈은 받았으니 이제 서명을 하면 차를 빌려주겠다.'로 오역된다. 따라서 이때에는 '하면'뿐만 아니라 앞의 '주고'에도 같은 비수지 신호(고개 숙임)를 표시해야 한다.
다시 도 1을 참조하면, 스크립트 생성기(120)는 상기 변환 처리기(100)로부터 얻은 결과를 바탕으로 액션 스크립트를 생성하는 역할을 수행한다.
즉, 상기 스크립트 생성기(120)는 공간 정보 데이터베이스(160)를 이용하여 수지 신호와 비수지 신호의 방향 및 위치를 결정하고, 프레임 데이터베이스(170)로부터 각 프레임별 프레임 수를 결정하여 액션 스크립트를 생성한다.
이때, 액션 스크립트는 재생 프레임 수(Frame), 수지신호(MS), 수지 신호 동작에 필요한 손의 수(H_num), 수지 신호의 방향(Ms_dir), 수지 신호의 위치(Ms_loc), 비수지 신호(Nms), 비수지 신호의 방향(Nms_dir)으로 구성되어, 'Act(Frame, Ms, H_num, Ms_dir, Ms_loc, Nms, Nms_dir)'의 형식으로 표시된다.
여기서, Frame은 해당 수화 동작이 애니메이션으로 재생되는 실제 프레임의 수를 의미하는데, 수지 신호와 비수지 신호의 동기화를 위해 필요한 정보이다. Ms는 manual-signal의 약자로 수지 신호를 의미하고, H_num은 수지 신호를 표현하는데 필요한 손의 수를 의미한다. Ms_dir과 Ms_loc는 각각 수지 신호의 방향과 위치를 나타내는데, 서술어의 방향을 결정하는데 Ms_dir이 사용되고 주어와 목적어 등을 공간에 배치하는데 Ms_loc이 사용된다. Nms와 Nms_dir은 비수지 신호와 이의 방향을 나타내고 이는 지각 동사와 같이 비수지 신호가 함께 나타나는 수화 표현을 위한 정보이다.
상기와 같은 역할을 수행하는 스크립트 생성기(120)에 대하여 도 4를 참조하여 좀더 상세히 설명하기로 한다.
상기 스크립트 생성기(120)는 공간 정보 설정부(122), 프레임수 결정부(124), 액션 스크립트 생성부(126)를 포함한다.
상기 공간 정보 설정부(122)는 공간 정보 데이터베이스(160)를 검색하여 수지 신호의 위치와 방향을 결정하고, 상기 구문 분석기(100)로부터의 구문 분석 결과에서 type과 relation 등의 구성 요소를 이용하여 비수지 신호의 방향을 결정한다.
상기 비수지 신호의 방향은 지각 동사의 의미, 목적어의 형태와 의미, 동사를 수식하는 부사어, 문장의 유형 등에 따라 결정되는데, 상기 구문 분석 결과에는 서술어의 유형, 주어-목적어 관계 등이 표시되어 있다. 따라서, 상기 공간 정보 설정부(122)는 상기 서술어의 유형(type), 주어-목적의 관계(relation) 등을 이용하여 비수지 신호의 방향을 결정한다.
예를 들어, relation에 해당 지각동사의 주어 및 목적어가 함께 표현되는 경우, 상기 공간 정보 설정부(122)는 지각동사에 해당하는 수화 표현의 방향을 (주어 -> 목적어)로 향하도록 결정한다.
한국어 문장을 수화로 표현함에 있어서 모든 어휘를 공간에 배치하는 것은 아니다. 서술어의 종류에 따라 참조되는 어휘가 다르며 이에 따라 공간상에 배치되는 어휘도 결정된다.
예를 들어, '나는 그녀를 살펴봤다.'와 '철수는 영희를 훑어봤다.'를 이용하여 설명하기로 한다.
'나는 그녀를 살펴봤다.'의 경우, '그녀'와 '살펴보다'를 뜻하는 수지 신호만 공간상에 배치하면 되는데, '나'를 의미하는 수지 신호에 대한 수화 표현에서는 이를 배치하는 공간이 고정되어 있기 때문에 이를 별도로 고려할 필요가 없다.
다음으로, '철수는 영희를 훑어봤다'의 경우 '철수'와 '영희', '훑어보다'를 의미하는 수지 신호 모두 공간상에 배치되는데, 이때 철수와 영희는 이름을 나타내는 고유명사로, 이들의 성별에 대한 정보가 필요한데, 이는 수화 표현에서 남자와 여자를 다른 수형의 수지 신호로 표현하기 때문이다.
따라서, '나는 그녀를 살펴봤다'를 수화로 표현할 때는 공간 정보 데이터베이스(160)의 검색 결과에 따라 '그'에 해당하는 수지 신호는 오른쪽에 사용하고 '그녀'에 해당하는 수지 신호는 왼쪽에 사용하며, 이에 따라 '쳐다보다'에 해당하는 수지 신호 및 비수지 신호의 방향은 자연스럽게 오른쪽에서 왼쪽을 향하게 된다.
'철수는 영희를 훑어봤다'도 마찬가지로 '철수'에 해당하는 수지 신호는 오른쪽에 사용하고, '영희'를 의미하는 수지 신호는 왼쪽에 사용한 후 '훑어보다'를 의미하는 수지 신호 및 비수지 신호의 방향을 오른쪽에서 왼쪽을 향하게 함으로써 그 의미를 나타낸다. 본 발명에서는 상하좌우의 네 가지 공간을 기본적으로 사용하고, 만약 한 공간에 여러 대상을 표현해야 하는 경우에는 해당 공간에 여러 대상을 순서대로 표현한 후 '함께'를 의미하는 수지 신호를 사용함으로써 이들을 같은 공간에 표현할 수 있다.
상기 프레임 수 결정부(124)는 각 어휘에 대해 프레임 데이터베이스(124)를 검색하여 해당 수화 동작이 애니메이션으로 재생되는 실제 프레임 수를 추출한다.
상기 액션 스크립트 생성부(126)는 상기 공간정보 설정부(122)에서 설정된 수지 신호의 위치 및 방향, 비수지 신호의 방향을 표시하고, 상기 프레임수 결정부(124)에서 결정된 프레임수를 표시하여 액션 스크립트를 생성한다.
다시 도 1을 참조하면, 애니메이션 생성기(130)는 상기 스크립트 생성기(120)로부터 생성된 액션 스크립트에 해당하는 수화 동작을 상기 동작 데이터베이스(180)로부터 불러와 재생시키는 역할을 수행한다.
이때, 상기 애니메이션 생성기(130)는 상기 스크립트 생성기(120)로부터 생성된 액션 스크립트를 바탕으로 특정 동작을 하는 애니메이션 클립을 연결하고 이들을 순서대로 재생하는 방식으로 수화 애니메이션을 생성한다. .
이 과정에서 상기 애니메이션 생성기(130)는 수지 신호와 비수지 신호와의 동기화 및 각 동작들 사이의 자연스러운 연결을 위하여 Blending 처리 작업을 수행한다.
또한, 상기 애니메이션 생성기(130)는 해당 수지 신호의 프레임 수와 비수지 신호의 프레임 수를 일치시켜 수화 동작이 재생되도록 한다.
예를 들어, '살펴보다'를 의미하는 수지 신호의 프레임 수가 '4'라면, 고개를 돌리는 비수지 신호의 프레임 수도 '4'가 되어야 한다. 만약 비수지 신호의 프레임 수가 수지 신호의 프레임 수보다 작거나 크다면 이는 동기화 문제를 발생시키고 따라서 서로 다른 의미를 갖는 수지 신호와 비수지 신호가 동시에 나타날 수 있다.
도 5는 본 발명에 따른 수화 애니메이션 생성을 위한 방법을 나타낸 흐름도이다.
도 5를 참조하면, 수화 애니메이션 생성 시스템은 입력된 문장의 구문 분석을 통해 각 어휘의 수지 신호 또는 비수지 신호를 결정한다(S500). 즉, 상기 수화 애니메이션 생성 시스템은 구문 분석을 통해 품사, 수지신호, 비수지 신호, 서술어의 유형, 이동성 등을 결정한다. 이때, 상기 수화 애니메이션 생성 시스템은 결합범주문법을 이용하여 구문 분석을 수행할 수 있다.
상기 S500의 수행 후, 상기 수화 애니메이션 생성 시스템은 상기 구문 분석된 문장의 각 어휘에 대해 수화 표현을 위한 어휘로의 변경 필요 여부를 판단한다(S502). 즉, 상기 수화 애니메이션 생성 시스템은 상기 구문 분석된 각 어휘에 대해 그 어휘가 속하는 카테고리를 확인한다. 상기 확인결과 상기 카테고리에서 사용하는 어휘가 아닌 경우(즉, 상기 카테고리에 매핑된 대체어가 해당 어휘와 같지 않은 경우임), 상기 수화 애니메이션 생성 시스템은 해당 어휘의 변경이 필요하다고 판단하다.
상기 S502의 판단결과 해당 어휘의 변경이 필요하면, 상기 수화 애니메이션 생성 시스템은 상기 확인한 카테고리에 매핑된 대체어로 해당 어휘를 변경한다(S504).
그런 다음 상기 수화 애니메이션 생성 시스템은 상기 결정한 비수지 신호의 종류가 해당 문맥에 상응하는지의 여부를 판단한다(S506). 즉, 상기 수화 애니메이션 생성 시스템은 상기 비수지 신호가 생성할 수화의 뜻에 맞는 비수지 신호인지의 여부를 판단한다.
상기 판단결과 상기 비수지 신호가 해당 문장의 문맥에 맞지 않으면, 상기 수화 애니메이션 생성 시스템은 상기 비수지 신호를 생성할 수화의 뜻에 맞는 비수지 신호로 변환한다(S508).
그런 다음 상기 수화 애니메이션 생성 시스템은 수지 신호의 방향과 위치, 비수지 신호의 방향 및 프레임 수를 결정하여 액션 스크립트를 생성한다(S510).
이때, 상기 수화 애니메이션 생성 시스템은 공간 정보 데이터베이스를 이용하여 수지 신호의 방향 및 위치를 결정하고, 프레임 정보 데이터베이스를 이용하여 수지 신호와 비수지 신호의 프레임 수를 결정한다. 이때 결정한 수지 신호와 비수지 신호의 프레임 수는 동일하다.
그런 후, 상기 수화 애니메이션 생성 시스템은 상기 생성된 액션 스크립트에 해당하는 수화 동작을 기 저장된 동작 데이터베이스로부터 불러와(S512), 수지 신호와 비수지 신호의 재생 시간을 동기화하여 재생한다(S514).
상기와 같은 방법에 의해 생성되는 수화 애니메이션은 뉴스, 국가 행사 등 모든 국민이 알아야 할 정보에 대해 수화 통역 서비스에 이용할 수 있고, E-mail, 인터넷 웹 페이지를 수화로 번역함으로써 농인(청각장애인)들에게 균등한 정보 공유의 기회를 준다.
또한, 본 발명은 수화 애니메이션을 활용 가능한 TV 수화 번역 서비스, 수화 교육 서비스, 회의 시스템과 연동되어 사용될 수 있다.
도 6은 본 발명에 따른 수화 애니메이션 생성을 위한 구문 분석 장치의 구성을 개략적으로 나타낸 블럭도이다.
도 6을 참조하면, 수화 애니메이션 생성을 위한 구문 분석 장치(600)는 어휘별 품사 정보, 수지 또는 비수지 신호 여부가 표시된 어휘 사전 데이터베이스(630), 각 어휘의 카테고리(관계어)에 따른 대체어가 매핑된 수화 어휘 변환 데이터베이스(640), 입력된 문장의 구문 분석을 통해 수지 신호 및 비수지 신호를 결정하는 구문 분석기(610), 상기 구문 분석기(610)로부터의 구문 분석 결과를 근거로 어휘 및 비수지 신호를 변환하는 변환 처리기(620)를 포함한다.
상기 어휘 사전 데이터베이스, 수화 어휘 변환 데이터베이스, 구문 분석기, 변환 처리기에 대한 설명은 도 1과 상응하므로 그 설명은 생략하기로 한다.
도 7은 본 발명에 따른 구문 분석 장치가 수화 애니메이션 생성을 위해 문장을 분석하는 방법을 나타낸 흐름도이다.
도 7을 참조하면, 구문 분석 장치는 입력된 문장의 구문 분석을 통해 각 어휘의 수지 신호 또는 비수지 신호를 결정한다(S700).
상기 S700의 수행 후, 상기 구문 분석 장치는 상기 구문 분석된 문장의 각 어휘에 대해 수화 표현을 위한 어휘로의 변경 필요 여부를 판단한다(S702). 즉, 상기 구문 분석 장치는 상기 구문 분석된 각 어휘에 대해 그 어휘가 속하는 카테고리를 확인한다. 상기 확인결과 상기 카테고리에서 사용하는 어휘가 아닌 경우(즉, 상기 카테고리에 매핑된 대체어가 해당 어휘와 같지 않은 경우임), 상기 수화 애니메이션 생성 시스템은 해당 어휘의 변경이 필요하다고 판단하다.
상기 S702의 판단결과 해당 어휘의 변경이 필요하면, 상기 구문 분석 장치는 상기 확인한 카테고리에 매핑된 대체어로 해당 어휘를 변경한다(S704).
그런 다음 상기 구문 분석 장치는 상기 결정한 비수지 신호의 종류가 해당 문맥에 상응하는지의 여부를 판단한다(S706). 즉, 상기 구문 분석 장치는 상기 비수지 신호가 생성할 수화의 뜻에 맞는 비수지 신호인지의 여부를 판단한다.
상기 판단결과 상기 비수지 신호가 해당 문장의 문맥에 맞지 않으면, 상기 구문 분석 장치는 상기 비수지 신호를 생성할 수화의 뜻에 맞는 비수지 신호로 변환한다(S708).
상기와 같은 방법에 의해 상기 구문 분석 장치는 입력으로 들어온 어휘를 주어진 상황에 따라 실제 수화에서 사용하는 어휘로 변환할 수 있고, 비수지 신호(표정 및 고개 움직임)를 생성할 수화의 뜻에 맞게 변환할 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100, 610: 구문 분석기 110, 620 : 변환 처리기
112 : 수화 어휘 변환부 114 : 비수지 신호 동기화부
120 : 스크립트 생성부 122 : 공간 정보 설정부
124 : 프레임수 결정부 126 : 액션 스크립트 생성부
130 : 애니메이션 생성기 140, 640 : 어휘 사전 데이터베이스
150, 640 : 수화 어휘 변환 데이터베이스 160 : 공간 정보 데이터베이스
170 : 프레임 데이터베이스 180 : 동작 데이터베이스
600 : 구문 분석 장치

Claims (16)

  1. 입력된 문장의 구문 분석을 통해 수지 신호 및 비수지 신호를 결정하는 구문 분석기;
    상기 구문 분석기로부터의 구문 분석 결과를 근거로, 각 어휘를 수화 표현을 위한 어휘로 변경하고, 상기 비수지 신호를 해당 문맥에 상응하도록 변환하는 변환 처리기;
    상기 변환 처리기로부터의 결과를 바탕으로 수지 신호 및 비수지 신호의 공간 정보 및 프레임 수를 결정하여 액션 스크립트를 생성하는 스크립트 생성기;
    상기 생성된 액션 스크립트에 해당하는 수화 동작을 기 저장된 동작 데이터베이스로부터 불러와 재생하는 애니메이션 생성기;
    어휘별 품사 정보, 의미, 수화 동작을 위한 손의 수, 서술어의 유형, 수지 신호 또는 비수지 신호 여부가 표시된 어휘 사전 데이터베이스;
    각 어휘의 카테고리(관계어)에 따른 대체어가 매핑된 수화 어휘 변환 데이터베이스;
    의미에 따른 수지 신호의 위치 정보가 저장된 공간 정보 데이터베이스;및
    프레임별 프레임 수가 저장된 프레임 데이터베이스;를 더 포함하는 수화 애니메이션 생성을 위한 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 구문 분석기는 결합범주문법을 이용한 구문 분석을 통해 각 서술어의 주어와 목적어를 구분하고, 각 어휘에 맞는 수지 및 비수지 신호의 종류를 결정하는 것을 특징으로 하는 수화 애니메이션 생성을 위한 시스템.
  4. 제1항에 있어서,
    상기 구문 분석기는 상기 입력된 문장이 관형절 내포문 또는 병렬문인지를 분석하고, 분석결과에 따라 어휘의 수화 표현 순서를 바꾸는 것을 특징으로 하는 수화 애니메이션 생성을 위한 시스템.
  5. 제1항에 있어서,
    상기 변환 처리기는, 상기 구문 분석기에서 분석된 각 어휘에 대해 그 어휘가 속하는 카테고리를 판단하고, 상기 수화 어휘 변환 데이터베이스를 검색하여 상기 판단된 카테고리에 매핑된 대체어로 어휘를 변환하는 수화 어휘 변환부;
    상기 구문 분석기로부터의 구문 분석 결과를 근거로 문맥을 파악한 후, 그 문맥에 맞도록 상기 비수지 신호를 변환하는 비수지 신호 동기화부;를 포함하는 것을 특징으로 하는 수화 애니메이션 생성을 위한 시스템.
  6. 제1항에 있어서,
    상기 스크립트 생성기는, 상기 공간 정보 데이터베이스를 이용하여 수지 신호의 방향 및 위치를 결정하는 공간 정보 설정부;
    상기 프레임 데이터베이스를 검색하여 각 프레임별 프레임 수를 결정하는 프레임 수 결정부;및
    상기 공간 정보 데이터베이스에서 설정된 수지 신호의 위치 및 방향, 상기 프레임 수 결정부에서 결정된 프레임 수를 표시하여 액션 스크립트를 생성하는 액션 스크립트 생성부;를 포함하는 것을 특징으로 하는 수화 애니메이션 생성을 위한 시스템.
  7. 제1항에 있어서,
    상기 액션 스크립트는 재생 프레임 수, 수지신호, 수지 신호 동작에 필요한 손의 수, 수지 신호의 방향, 수지 신호의 위치, 비수지 신호, 비수지 신호의 방향으로 구성되는 것을 특징으로 하는 수화 애니메이션 생성을 위한 시스템.
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    상기 애니메이션 생성기는 상기 수지 신호와 비수지 신호의 프레임 수를 동일하게 하여 재생 시간의 동기화를 수행하는 것을 특징으로 하는 수화 애니메이션 생성을 위한 시스템.
  9. 청구항 9은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    상기 동작 데이터베이스에는 액션 스크립트별 수화 동작이 저장되어 있는 것을 특징으로 하는 수화 애니메이션 생성을 위한 시스템.
  10. 어휘별 품사 정보, 수지 또는 비수지 신호 여부가 표시된 어휘 사전 데이터베이스;
    각 어휘의 카테고리(관계어)에 따른 대체어가 매핑된 수화 어휘 변환 데이터베이스;
    입력된 문장의 구문 분석을 통해 수지 신호 및 비수지 신호를 결정하는 구문 분석기;및
    상기 구문 분석기에서 분석된 각 어휘에 대해 그 어휘가 속하는 카테고리를 판단하고, 상기 수화 어휘 변환 데이터베이스를 검색하여 상기 판단된 카테고리와 매핑된 대체어로 어휘를 변환하는 변환 처리기;를 포함하되,
    상기 구문 분석기는 상기 입력된 문장이 관형절 내포문 또는 병렬문인지를 분석하고, 분석결과에 따라 어휘의 수화 표현 순서를 바꾸는 것을 특징으로 하는 수화 애니메이션 생성을 위한 구문 분석 장치.
  11. 제10항에 있어서,
    상기 변환 처리기는 상기 구문 분석기로부터의 구문 분석 결과를 근거로 문맥을 파악하고, 그 문맥에 상응하도록 상기 비수지 신호를 변환하는 것을 특징으로 하는 수화 애니메이션 생성을 위한 구문 분석 장치.
  12. 삭제
  13. (a)입력된 문장에서 수지 신호 또는 비수지 신호를 결정하기 위하여 구문 분석을 수행하는 단계;
    (b)상기 구문 분석 결과를 근거로 각 어휘에 대해 수화 표현을 위한 어휘로의 변경 필요 여부를 판단하고, 그 판단결과에 따라 해당 어휘를 변경하며, 상기 비수지 신호를 해당 문맥에 상응하도록 변환하는 단계;
    (c)상기 (b)단계가 수행된 문장에서 수지 신호와 비수지 신호의 공간 정보 및 프레임 수를 결정하여 액션 스크립트를 생성하는 단계;및
    (d)상기 생성된 액션 스크립트에 해당하는 수화 동작을 기 저장된 데이터베이스로부터 불러와 재생하는 단계;를 포함하되,
    상기 (d)단계는, 수지 신호와 비수지 신호의 프레임 수를 일치시켜 해당 수화 동작을 재생하는 것을 특징으로 하는 수화 애니메이션 생성을 위한 방법.
  14. 삭제
  15. 입력된 문장에서 수지 신호 또는 비수지 신호를 결정하기 위하여 구문 분석을 수행하는 단계;
    상기 구문 분석 결과를 근거로 각 어휘에 대해 수화 표현을 위한 어휘로의 변경 필요 여부를 판단하는 단계;및
    상기 판단결과 해당 어휘의 변경이 필요하면, 기 저장된 수화 어휘 변환 데이터베이스를 검색하여 해당 어휘가 속하는 카테고리와 매핑된 대체어로 어휘를 변환하는 단계;를 포함하되,
    상기 구문 분석을 수행하는 단계에서, 상기 입력된 문장이 관형절 내포문 또는 병렬문을 포함하는 것으로 분석되면 어휘의 수화 표현 순서를 바꾸는 것을 특징으로 하는 수화 애니메이션 생성을 위한 구문 분석 방법.
  16. 제15항에 있어서,
    상기 구문 분석 결과를 근거로 문맥을 파악한 후, 그 문맥에 맞도록 상기 비수지 신호를 변환하는 단계를 더 포함하는 수화 애니메이션 생성을 위한 구문 분석 방법.
KR1020100010604A 2010-02-04 2010-02-04 수화 애니메이션 생성을 위한 시스템 및 방법 KR101104777B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100010604A KR101104777B1 (ko) 2010-02-04 2010-02-04 수화 애니메이션 생성을 위한 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100010604A KR101104777B1 (ko) 2010-02-04 2010-02-04 수화 애니메이션 생성을 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110090675A KR20110090675A (ko) 2011-08-10
KR101104777B1 true KR101104777B1 (ko) 2012-01-17

Family

ID=44928412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100010604A KR101104777B1 (ko) 2010-02-04 2010-02-04 수화 애니메이션 생성을 위한 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101104777B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101612873B1 (ko) * 2014-02-27 2016-04-18 김조웅 3ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템 및 방법
KR20200046665A (ko) 2018-10-25 2020-05-07 주식회사 멀틱스 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템
US11610356B2 (en) 2020-07-28 2023-03-21 Samsung Electronics Co., Ltd. Method and electronic device for providing sign language

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015116014A1 (en) 2014-02-03 2015-08-06 IPEKKAN, Ahmet Ziyaeddin A method of managing the presentation of sign language by an animated character
CN111369652B (zh) * 2020-02-28 2024-04-05 长沙千博信息技术有限公司 一种基于多个单独手语动作产生连续手语动作的方法
KR102374599B1 (ko) * 2021-04-26 2022-03-16 (주)멀틱스 청각장애인을 위한 수어 영상 애니메이션 생성 방법
KR102524337B1 (ko) * 2022-08-09 2023-04-21 (주)멀틱스 인공지능을 이용한 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060133190A (ko) * 2005-06-20 2006-12-26 한국과학기술원 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템
KR100691287B1 (ko) 2005-10-26 2007-03-12 한국전자통신연구원 수화 서비스 제공 기능을 가지는 디지털 방송시스템의송／수신 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060133190A (ko) * 2005-06-20 2006-12-26 한국과학기술원 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템
KR100691287B1 (ko) 2005-10-26 2007-03-12 한국전자통신연구원 수화 서비스 제공 기능을 가지는 디지털 방송시스템의송／수신 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101612873B1 (ko) * 2014-02-27 2016-04-18 김조웅 3ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템 및 방법
KR20200046665A (ko) 2018-10-25 2020-05-07 주식회사 멀틱스 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템
US11610356B2 (en) 2020-07-28 2023-03-21 Samsung Electronics Co., Ltd. Method and electronic device for providing sign language

Also Published As

Publication number Publication date
KR20110090675A (ko) 2011-08-10

Similar Documents

Publication Publication Date Title
KR101104777B1 (ko) 수화 애니메이션 생성을 위한 시스템 및 방법
US9282377B2 (en) Apparatuses, methods and systems to provide translations of information into sign language or other formats
TW200416567A (en) Multimodal speech-to-speech language translation and display
Othman et al. English-asl gloss parallel corpus 2012: Aslg-pc12
Vinnarasu et al. Speech to text conversion and summarization for effective understanding and documentation
Otoom et al. Ambient intelligence framework for real-time speech-to-sign translation
Kang Spoken language to sign language translation system based on HamNoSys
Chrupała Putting natural in natural language processing
Knight A multi-modal corpus approach to the analysis of backchanneling behaviour
Karoui et al. Automatic detection of irony: opinion mining in microblogs and social media
Alm The role of affect in the computational modeling of natural language
Monga et al. Speech to Indian Sign Language Translator
Reddy et al. Indian sign language generation from live audio or text for tamil
Istiqomah et al. Discursive creation technique of English to Indonesian subtitle in Harry Potter: The chamber of secrets movie
SILALAHI et al. Linguistics Realization Analysis on Slang Word; Social Media Whatsapp
Shimohata Acquiring paraphrases from corpora and its application to machine translation
Qian et al. Intersemiotic shifts in the translation of Chinese costume drama subtitles: A multimodal analysis approach
Sa'aida Deixis in Spontaneous Speech of Jordanian Urban Arabic Native Speakers.
Zhao Computer Corpus-based Study of Film and Television Translation
Kalantzi et al. Subtitling for the deaf and hard of hearing: A corpus-based methodology for the analysis of subtitles with a focus on segmentation and deletion
Xu Data Fusion Algorithm in Subtitle Translation of English VR Video Course
Zanuttini North American English
Yaumi Beginning Verb: An Analysis of Omitting Verb “Watching” in Comparison between Bima and English Language
WO2021161908A1 (ja) 情報処理装置及び情報処理方法
Crible et al. Coherence relations across speech and sign language: A comparable corpus study of additive connectives

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee