KR20100078040A

KR20100078040A - 멀티모달 시스템 및 그 입력처리방법

Info

Publication number: KR20100078040A
Application number: KR1020080136179A
Authority: KR
Inventors: 장준원; 하태신
Original assignee: 삼성전자주식회사
Priority date: 2008-12-30
Filing date: 2008-12-30
Publication date: 2010-07-08
Also published as: US20100169246A1

Abstract

입력조합이 미리 구축된 입력조합 구축부와, 사용자 또는 센서의 입력에 대응하여 입력조합을 선택하는 입력조합 선택부를 포함하는 멀티모달 시스템 및 입력처리방법을 개시한다. 본 발명은 미리 구축된 입력조합에서 입력 조합을 선별하는 학습을 한다. 학습을 통하여 효용성 있는 입력 조합을 제공할 수 있으므로 처리 결과의 만족도가 높다.

지능, 로봇, 멀티모달, 학습

Description

멀티모달 시스템 및 그 입력처리방법{multimodal system and input process method thereof}

본 발명은 멀티모달 시스템 및 그 입력처리방법에 관한 것으로, 더욱 상세하게는 사용자 또는 센서로부터 제공되는 입력에 따라 주어진 임무를 수행하는 멀티모달 시스템 및 그 입력처리방법에 관한 것이다.

인간형 로봇(humanoid robot)과 홈 오토메이션(home automation)과 빌딩 자동화(building automation) 등과 같이 복잡하고 다양한 특성의 임무들을 지능적으로 처리하는 분야에서 멀티모달 시스템을 도입한다.

그 하나의 예로서, 인간형 로봇을 실현하는데 있어서 걷기, 매니퓰레이션, 모션 등의 행위를 실행하는 기능 뿐만 아니라 인간처럼 생각하고 판단할 수 있는 지능을 구현하는 것이 무엇보다 중요하다.

멀티모달 시스템은 주어진 목적을 완수하기 위하여 일련의 판단 및 행위를 실행한다. 이를 위해서 멀티모달 시스템에서 적절한 지식의 습득과 처리가 요구되는데, 임무 수행에 관련된 지식을 바탕으로 만든 지식 베이스 기술을 활용한다. 여 기서 멀티모달 시스템은 단일한 입력에만 의존하는 것은 아니며, 단일한 입력 또는 다양한 입력들을 종합적으로 이해하고 추론하여 처리한다.

멀티모달 시스템에서 입력 처리하는 방법의 하나로서, 사용자와 각종 센서로부터 제공받은 입력들을 조합하여 만든 입력 조합을 이용한다.

기존 멀티모달 시스템에서 사용자와 각종 센서로부터 입력이 발생한 이후 입력 조합을 구성하고, 구성된 입력 조합을 처리한다. 이러한 처리 방법은 극히 제한된 상황과 조건에서 추론이 들어맞기 때문에 그 처리 결과에 대한 만족도가 낮았다.

본 발명의 일 측면은, 효용성 있는 입력 조합을 제공하기 위한 멀티모달 시스템 및 그 입력처리방법을 제시하는데 있다.

본 발명의 일 측면은, 미리 구축된 입력 조합을 사용하여 만족도를 높이는 멀티모달 시스템 및 그 입력처리방법을 제시하는데 있다.

이를 위해 본 발명의 실시 예에 따른 멀티모달 시스템은, 적어도 하나의 입력을 제공하는 멀티모달 입력부와; 상기 입력에 대응한 어떤 행위를 실행시키는 입력 조합이 미리 구축된 입력조합 구축부와; 상기 제공받은 입력에 따라 입력 조합을 선택하는 입력조합 선택부;를 포함한다.

상기 멀티모달 입력부는 음성 또는 센서의 입력을 제공한다.

상기 입력조합 선택부는 상기 입력조합 구축부에서 어느 한 입력조합을 선택한다.

상기 입력조합 선택부는 상기 멀티모달 입력부에서 제공받은 입력만으로 입력 조합을 선택한다.

상기 입력조합 구축부는 사용자가 뽑은 입력조합으로 만든다.

상기 입력조합 구축부는 처음 무작위로 뽑은 입력 조합에서 학습하여 입력조합을 선별한다.

상기 입력조합 구축부는 처음 사용자가 뽑은 입력 조합에서 학습하여 입력조합을 선별한다.

상기 학습은 이전 입력 조합으로 처리한 결과에 대한 만족도가 높아지도록 입력 조합을 선별한다.

상기 학습은 입력 조합의 제거와, 입력 조합의 생성과, 입력조합의 분할과, 입력조합의 융합과, 입력조합의 개선 중 어느 하나이다.

이를 위해 본 발명의 실시 예에 따른 멀티모달 시스템의 입력처리방법은, 어떤 행위를 실행시키는 입력 조합을 미리 구축하며; 사용자 또는 센서로부터 제공받은 입력에 따라 입력 조합을 선택하며; 상기 선택된 입력조합에 대응하여 행위를 실행하는 것;을 특징으로 한다.

상기 입력 조합의 선택은 구축된 입력 조합에서 어느 하나를 선택한다.

상기 입력 조합의 선택은 상기 사용자 또는 센서로부터 제공된 입력만으로 어느 하나를 선택한다.

상기 입력 조합의 구축은 사용자가 뽑은 입력 조합으로 만든다.

상기 입력 조합의 구축은 처음 무작위로 뽑은 입력조합에서 학습을 통하여 선별한 입력 조합으로 만든다.

상기 입력 조합의 구축은 처음 사용자가 뽑은 입력 조합에서 학습을 통해 선별한 입력조합으로 만든다.

상기 학습은 입력 조합의 제거와, 입력 조합의 생성과, 입력조합의 분할과, 입력조합의 융합과, 입력조합의 개선 중 어느 하나를 적용한다.

이상과 같은 본 발명은 효용성이 있는 입력 조합을 미리 구축해 두고, 사용자 또는 센서에서 제공되는 입력에 따라 입력 조합을 적절히 선택하므로 만족도가 높은 처리 결과를 얻을 수 있다.

이하에서는 본 발명에 따른 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 멀티모달 시스템(1)은 멀티모달 입력부(10)와, 입력조합 구축부(20)와, 입력조합 선택부(30)와, 융합부(40)와, 행위 선택부(50)와, 멀티모달 출력부(60)를 포함한다.

멀티모달 입력부(10)는 사용자 또는 센서로부터 다양한 입력을 제공받는다. 사용자가 제공하는 입력은 사용자의 음성이고 그 이외 사용자 조작으로 제공되는 어떠한 입력도 될 수 있다. 여기서 멀티모달 입력부(10)에는 사용자 음성을 분석하여 음성 인식하는 음성인식엔진이 구비된다.

입력조합 구축부(20)와, 입력조합 선택부(30)와, 융합부(40)와, 행위 선택부(50)는 멀티모달 입력에 대응하여 일련의 처리를 실행하며, 그 처리 결과에 따라 멀티모달 출력부(60)가 음성 또는 실행 명령을 사용자 또는 제어대상에게 출력한다.

본 발명의 일 실시예에 따른 멀티모달 시스템은 사용자 또는 센서로부터 다양한 입력을 제공받고, 그 제공받은 입력에 대응하여 처리한 결과를 사용자 또는 제어대상에게 제공하는 것인데, 이런 멀티모달 시스템에서 주어진 임무를 완수하기까지 어떻게 입력 조합을 구축하고 입력 조합들 중 어떤 입력 조합을 선택하는지가 처리 결과의 만족도에 상당한 영향을 미친다. 다시 말해 복잡하고 다양한 특성의 임무들을 지능적으로 처리하는데 있어, 멀티모달 입력에 대응하여 적절한 입력 조합을 선택하여야만 그 처리 결과 역시 만족스럽게 된다.

본 발명에 따른 입력조합 구축부(20)에는 효용성을 가진 입력조합들을 미리 구축하고, 이런 입력 조합의 구축에 관련한 여러 실시예에 대해서 설명한다. 여기서 입력 조합은 사용자 또는 센서로부터 제공되는 적어도 하나의 입력이 구성원이다.

도 2a를 참고하여, 제1입력조합 구축부(20A)는 사용자에 의해 구축된 입력조합 세트(20-1)를 포함한다.

입력조합 세트(20-1)에 속하는 입력 조합들은 사용자의 경험이나 사용 환경을 고려하여 사용자에 의해 직접 선택되는 것으로 이들을 하나로 묶어 만든다. 세트(20-1)에 속하는 입력 조합을 선택하면 그 처리 결과가 사용자의 의도와 잘 맞는다.

도 2b를 참고하여 다른 실시예에 따른 입력 조합의 구축 방법에 대하여 설명한다.

제2입력조합 구축부(21Aa)는 멀티모달 시스템(1)에 의해 스스로 만들어진다. 제2입력조합 구축부(21Aa)는 처음 만든 입력조합 세트(21-1)를 포함한다. 입력조합 세트(21-1)에 속하는 입력 조합들은 일반적으로 예측 가능한 입력 후보 중에서 무작위로 입력들을 뽑아서 만든다.

그런 다음 멀티모달 시스템을 사용 시 그 처리 결과를 바탕으로 학습하여 처음 만든 입력조합 세트(21-1)를 변경한다. 변경된 입력조합 세트(21-2)에는 처음에 없던 입력 조합이 있고, 처음에 있던 입력 조합이 없다. 또 멀티모달 시스템의 사용으로 2차 변경된 입력조합 세트(21-3)에는 새로운 입력 조합은 없으나 처음에 있던 입력 조합들 중 어느 한 입력 조합이 없다.

시스템이 무작위로 입력 조합을 처음 만든 이후부터 처리 결과를 학습하여 제2입력조합 구축부(21Ab)(21Ac)를 만든다. 이렇게 학습하여 입력 조합을 만들면 처리 결과가 좋은 입력 조합이 남고 처리 결과가 나쁜 입력 조합이 배제된다. 이렇게 학습하여 변경된 입력조합 세트(21-2)(21-3)에 속하는 입력 조합을 선택하면 그 처리 결과의 만족도가 높다.

도 2c에 도시된 또 다른 실시예에 따른 입력 조합의 구축 방법은 앞서 설명한 실시예들과 부분적으로 유사하다.

제3입력조합 구축부(22Aa)는 사용자에 의해 구축된 입력조합 세트(22-1)를 가진다. 입력조합 세트(22-1)에 속하는 입력 조합들은 사용자의 경험이나 사용 환경을 고려하여 사용자에 의해 직접 선택된다.

그런 다음 멀티모달 시스템을 사용 시 그 처리 결과를 바탕으로 학습하여 처음 만든 입력조합 세트(22-1)를 변경한다. 변경된 입력조합 세트(22-1)에는 처음에 없던 입력 조합이 있고, 처음에 있던 입력 조합이 없다. 또 멀티모달 시스템의 사용으로 2차 변경된 입력조합 세트(22-3)에도 새로운 입력 조합이 있고 처음에 있던 입력 조합들 중 어느 한 입력 조합이 없다. 학습을 통하여 사용자에 의해 미리 구축된 입력 조합들이 변경되며, 변경된 입력조합 세트에 속하는 입력 조합을 선택하면 그 처리 결과의 만족도가 높다.

앞선 실시예들에서 설명하고 있지 않으나, 여기서 학습을 통하여 입력조합의 세트를 변경하는 과정은 입력조합의 제거, 새로운 입력조합의 생성, 입력조합의 분할, 입력조합의 융합, 및 입력조합의 개선하는 것을 포함한다.

지금까지 설명한 제1 내지 제3입력조합 구축부 중 시스템을 사용하는 환경을 고려하여 어느 하나를 적용하여 입력조합 구축부(20)를 구성한다.

다시 도 1을 참고하여, 입력조합 선택부(30)는 멀티모달 입력부(10)에서 적어도 하나의 입력을 제공받고, 제공받은 입력에 대응하여 적절한 입력 조합을 입력조합 구축부(20)에서 선택한다. 여기서 입력조합의 선택은 이전의 처리 결과에 따른 만족도가 높을수록 우선 선택하도록 하지만, 이에 한정하는 것은 아니며 선택 기준을 미리 정하여 입력조합 구축부(20)에 구축된 입력조합을 선택할 수 있음은 물론이다. 예를 들어 입력조합 선택부(30)는 현재 제공받은 입력으로는 입력조합 구축부(20)에서 적절한 입력 조합을 선택할 수 없으면, 예를 들어 하나의 입력만을 받았거나 등, 이 때 현재의 입력만으로 입력조합을 선택한다. 즉 입력조합 선택부(30)는 입력조합 구축부(20)에 없는 입력조합을 선택할 수도 있다.

융합부(40)는 입력조합 선택부(30)에 의해 선택된 입력 조합을 제공받고, 입력 조합을 구성하는 각각의 입력을 융합하여 실행을 위한 심볼을 인식하며, 인식된 심볼을 행위선택부(50)에 제공한다. 행위 선택부(50)는 인식된 심볼에 대응하는 행위를 실행시키기 위한 명령을 멀티모달 출력부(60)에 제공한다. 여기서 융합부(40)와 행위선택부(50)는, 도 3에 도시한 바와 같이, 입력조합과 심불 및 행위를 서로 대응시킨 정보를 저장해둔다.

그러면 멀티모달 출력부(60)가 심볼에 대응하는 행위를 실행하기 위한 명령에 따라 음성 출력하거나 제어대상을 구동시킨다.

예를 들어 사용자의 음성 또는 환경인식에 따라 공기조화기를 운전시키는 임무가 멀티모달 시스템에 부여된 경우, 사용자 또는 센서에서 제공되는 입력에 따라 입력조합이 선택되고, 선택된 입력 조합에 대응하여 심볼이 결정되며, 그 심볼에 대응하는 행위가 실행된다. 예를 들어 도 3에서 심볼 2로 결정되면, 사용자로부터 명령이 입력되어야 공기조화기를 운전한다. 만약 사용자의 명령이 없으면 공기조화기의 운전은 실행되지 않는다.

이하에서는 본 발명의 일 실시예에 따른 멀티모달 시스템의 입력처리방법을 설명한다.

본 발명에 따른 멀티모달 시스템은 인간형 로봇과 홈 오토메이션과 빌딩 자동화 등의 분야에 적용할 수 있으며, 이하에서는 공기조화기를 운전시키는 임무가 시스템에 부여된 경우의 예를 설명한다.

입력부(10)에는 환경 인식을 위한 온도센서(11)와, 운전키(12), 마이크로폰(13) 등을 구비한다.

온도센서(11)에서 측정된 온도와 운전키(12)의 운전 명령, 및 마이크로폰(13)에서 측정된 음성 등의 멀티모달 입력들 중 적어도 한 입력이 발생하면 입력부(10)에 의해 입력조합 선택부(20)에 제공된다(101).

입력조합 선택부(30)는 입력부(10)로부터 적어도 하나의 입력을 제공받으면 그 입력으로부터 입력조합 구축부(20)에서 어느 한 입력조합을 선택한 다(1030(105). 여기서 제공된 입력으로부터 원하는 입력조합을 선택하는 것이 가능하지 않으면 현재 입력만으로 입력조합을 선택한다(104).

입력조합이 선택되면, 입력조합 선택부(30)는 선택된 입력조합을 융합부(40)에 제공한다. 융합부(40)는 선택된 입력조합에 속하는 입력들을 융합하여 그에 대응하는 심볼을 결정한다(107). 여기서 심볼의 결정은 도 3과 같은 상호 관계가 대응된 정보를 이용한다.

행위 선택부(50)는 결정된 심볼에 따라 적절한 행위를 실행하기 위한 명령을 멀티모달 출력부(60)에 제공한다. 이에 따라 멀티모달 출력부(60)가 공기조화기를 운전시킨다. 예를 들어 도 3과 같이 심볼 2가 결정된 경우, 행위선택부(50)는 사용자로부터 명령이 입력되어야 공기조화기를 운전하기 위한 운전 명령을 멀티모달 출력부(60)에 제공된다. 만약 사용자의 명령이 없으면 운전 명령이 제공되지 않는다.

도 1은 본 발명에 따른 멀티모달 시스템의 블록도이다.

도 2a는 본 발명의 일실시예에 따른 입력조합 구축부를 개념적으로 나타낸 도면이다.

도 2b는 본 발명의 다른 실시예에 따른 입력조합 구축부를 개념적으로 나타낸 도면이다.

도 2c는 본 발명의 또 다른 실시예에 따른 입력조합 구축부를 개념적으로 나타낸 도면이다.

도 3는 본 발명의 실시예에 따른 입력조합에 대응하는 심볼과 행위를 설명하기 위한 표이다.

도 4은 본 발명의 일실시예에 따른 멀티모달 시스템의 입력처리방법을 설명하기 위한 흐름도이다.

도 5는 도 4의 멀티모달 시스템의 입력처리방법에 따라 공기조화기의 운전을 실행하는 과정을 개념적으로 나타낸 도면이다.

*도면의 주요부분에 대한 부호 설명*

1 : 멀티모달 시스템

10 : 멀티모달 입력부

20 : 입력조합 구축부

30 : 입력조합 선택부

Claims

적어도 하나의 입력을 제공하는 멀티모달 입력부와;

상기 입력에 대응한 어떤 행위를 실행시키는 입력 조합이 미리 구축된 입력조합 구축부와;

상기 제공받은 입력에 따라 입력 조합을 선택하는 입력조합 선택부;를

포함하는 멀티모달 시스템.
제1항에 있어서,

상기 멀티모달 입력부는 음성 또는 센서의 입력을 제공하는 멀티모달 시스템.
제1항에 있어서,

상기 입력조합 선택부는 상기 입력조합 구축부에서 어느 한 입력조합을 선택하는 멀티모달 시스템.
제3항에 있어서,

상기 입력조합 선택부는 상기 멀티모달 입력부에서 제공받은 입력만으로 입력 조합을 선택하는 멀티모달 시스템.
제1항에 있어서,

상기 입력조합 구축부는 사용자가 뽑은 입력조합으로 만드는 멀티모달 시스템.
제1항에 있어서,

상기 입력조합 구축부는 처음 무작위로 뽑은 입력 조합에서 학습하여 입력조합을 선별하는 멀티모달 시스템.
제1항에 있어서,

상기 입력조합 구축부는 처음 사용자가 뽑은 입력 조합에서 학습하여 입력조합을 선별하는 멀티모달 시스템.
제6항 또는 제7항에 있어서,

상기 학습은 이전 입력 조합으로 처리한 결과에 대한 만족도가 높아지도록 입력 조합을 선별하는 멀티모달 시스템.
제6항 또는 제7항에 있어서,

상기 학습은 입력 조합의 제거와, 입력 조합의 생성과, 입력조합의 분할과, 입력조합의 융합과, 입력조합의 개선 중 어느 하나인 멀티모달 시스템.
어떤 행위를 실행시키는 입력 조합을 미리 구축하며;

사용자 또는 센서로부터 제공받은 입력에 따라 입력 조합을 선택하며;

상기 선택된 입력조합에 대응하여 행위를 실행하는 것;을 특징으로 하는 멀티모달 시스템의 입력처리방법.
제10항에 있어서,

상기 입력 조합의 선택은 구축된 입력 조합에서 어느 하나를 선택하는 멀티모달 시스템의 입력처리방법.
제10항에 있어서,

상기 입력 조합의 선택은 상기 사용자 또는 센서로부터 제공된 입력만으로 어느 하나를 선택하는 멀티모달 시스템의 입력처리방법.
제10항에 있어서,

상기 입력 조합의 구축은 사용자가 뽑은 입력 조합으로 만드는 멀티모달 시스템의 입력처리방법.
제10항에 있어서,

상기 입력 조합의 구축은 처음 무작위로 뽑은 입력조합에서 학습을 통하여 선별한 입력 조합으로 만드는 멀티모달 시스템의 입력처리방법.
제10항에 있어서,

상기 입력 조합의 구축은 처음 사용자가 뽑은 입력 조합에서 학습을 통해 선별한 입력조합으로 만드는 멀티모달 시스템의 입력처리방법.
제14항 또는 제15항에 있어서,

상기 학습은 입력 조합의 제거와, 입력 조합의 생성과, 입력조합의 분할과, 입력조합의 융합과, 입력조합의 개선 중 어느 하나를 적용하는 멀티모달 시스템의 입력처리방법.