KR20120051211A - 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치 - Google Patents

Abstract

본 발명은, 멀티미디어 장치에서 사용자 제스쳐를 인식하는 경우, 사용자에게 소정의 메시지를 출력하여, 원활한 사용자 제스쳐 인식을 도모할 수 있는 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치에 관한 것으로, 멀티미디어 장치의 이미지 센싱부를 동작하여 사용자 영상을 입력받고, 상기 이미지 센싱부를 통해 입력된 영상에서, 사용자 제스쳐를 인식하며, 상기 이미지 센싱부를 통해 입력된 영상에서 사용자 제스쳐가 인식되지 않는 경우, 상기 이미지 센싱부를 통해 입력된 영상 및 에러메시지를 디스플레이하고 상기 사용자 영상을 입력받는 단계로 복귀함으로써 멀티미디어 장치에서 사용자 제스쳐가 인식되지 않는 경우, 사용자가 용이하게 사용자 제스쳐가 인식되지 않는 원인을 인식하고, 해결할 수 있도록 하는 멀티미디어 장치의 사용자 제스쳐 인식방법 및 그에 따른 멀티미디어 장치에 관한 것이다.

Description

멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치{Method for recognizing user gesture in multimedia device and multimedia device thereof}

본 발명은 멀티미디어 장치 및 그 동작 방법에 관한 것이며, 더욱 상세하게는 사용자의 이용 편의성을 향상시킬 수 있는 동작 방법 및 그에 따른 멀티미디어 장치에 관한 것이다.

특히, 본 발명은, 멀티미디어 장치에서 사용자 제스쳐를 인식하는 경우, 사용자에게 소정의 메시지를 출력하여, 원활한 사용자 제스쳐 인식을 도모할 수 있는 멀티미디어 장치의 동작 방법 및 그에 따른 멀티미디어 장치에 관한 것이다.

멀티미디어 장치는 예를 들어, 사용자가 시청할 수 있는 방송영상을 수신하여 처리하는 기능을 갖춘 장치이다. 멀티미디어 장치는 예를 들어, 방송국에서 송출되는 방송신호 중 사용자가 선택한 방송을 디스플레이에 표시한다. 현재 방송은 전 세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다.

디지털 방송은 디지털 영상 및 음성 신호를 송출하는 방송을 의미한다. 디지털 방송은 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송은 아날로그 방송과 달리 양방향 서비스가 가능하다.

또한, 상기 디지털 방송을 이용하기 위하여, 오늘날 멀티미디어 장치는 기존의 멀티미디어 장치에 비하여 고성능화, 다기능되었고, 인터넷 서비스, VOD(Video On Demand), 및 전자앨범 서비스 등 상기 멀티미디어 장치에서 이용가능한 서비스도 다양화 되었다.

다만, 상기와 같이 다양한 기능 및 서비스가 멀티미디어 장치에서 이용가능하게 됨에 따라, 종래 멀티미디어 장치는 사용자가 복잡한 조작을 통하여야 원하는 기능을 이용할 수 있게 되는 불편함이 있었다. 또한, 상기 사용자 인터페이스의 개선을 위하여 사용자의 제스쳐를 명령의 입력의 일 수단으로 이용하는 방법이 시도되었으나, 종래기술에 의할 경우, 주변 환경에 따라, 상기 제스쳐의 인식률이 영향을 받게 되는 문제점, 복수의 사용자가 존재하는 경우, 특정 사용자의 제스쳐를 인식하기 어려운 문제점이 있었다.

따라서, 이러한 종래 기술의 문제점을 해결하여, 멀티미디어 장치에서 사용자의 제스쳐를 정확하게 인식하기 위한 멀티미디어 장치의 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치가 개발될 필요성이 절실한 실정이다.

본 발명의 일 목적은, 멀티미디어 장치의 주변 환경에 대한 정보를 획득하고, 상기 주변 환경에 따른 메시지 또는 메뉴를 디스플레이하여, 사용자 제스쳐를 정확하게 인식할 수 있도록 함으로써 사용자 이용 편의성을 향상시킬 수 있는 멀티미디어 장치의 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치를 제공함에 있다.

또한, 본 발명의 다른 일 목적은, 다양한 사용자 인터페이스 화면을 디스플레이함으로써, 멀티미디어 장치의 오동작을 감소시킬 수 있도록 하는 멀티미디어 장치의 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치를 제공함에 있다..

상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 멀티미디어 장치의 사용자 제스쳐 인식방법은, 이미지 센싱부를 동작하여 사용자 영상을 입력받는 단계; 상기 이미지 센싱부를 통해 입력된 영상에서, 사용자 제스쳐를 인식하는 단계; 상기 사용자 제스쳐가 인식되지 않는 경우, 상기 이미지 센싱부를 통해 입력된 영상 및 에러메시지를 디스플레이하는 단계; 및 상기 사용자 영상을 입력받는 단계로 복귀하는 단계를 포함한다.

또한, 상기 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 멀티미디어 장치의 사용자 제스쳐 인식방법은, 이미지 센싱부를 동작하여 사용자 영상을 입력받는 단계; 상기 이미지 센싱부를 통하여 입력된 영상에서, 상기 이미지 센싱부의 촬영환경에 대한 환경정보를 인식하는 단계; 상기 인식된 환경정보가 상기 사용자 인식을 위한 최적환경에 일치하는지 비교하는 단계; 및 상기 비교 결과, 상기 최적 환경에 일치하지 않는 경우, 상기 촬영환경을 조정하기 위한 가이드 메시지를 출력하거나, 디스플레이화면을 조정하는 단계를 포함한다.

또한, 상기 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 멀티미디어 장치는, 사용자 영상을 입력받는 이미지 센싱부; 상기 이미지 센싱부를 통하여 입력된 영상에서 사용자 제스쳐를 인식하는 인식부; 상기 인식부에서 상기 사용자 제스쳐를 인식하지 못한 경우, 에러 메시지를 생성하는 메시지 생성부; 및 상기 이미지 센싱부를 통하여 입력된 영상 및 상기 메시지 생성부에서 생성된 에러 메시지를 디스플레이하고, 상기 이미지 센싱부에서 다시 사용자 영상을 입력받도록 제어하는 제어부를 포함한다.

또한, 상기 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 멀티미디어 장치는, 사용자 영상을 입력받는 이미지 센싱부; 상기 이미지 센싱부를 통하여 입력된 영상에서, 상기 멀티미디어 장치의 촬영환경에 대한 환경정보를 인식하는 인식부; 상기 사용자 인식을 위한 최적 환경에 대한 정보를 저장하는 저장부; 및 상기 인식부에서 인식된 환경정보가, 상기 저장된 최적 환경에 대한 정보와 일치하지 않는 경우, 상기 촬영환경을 조정하기 위한 가이드 메시지를 디스플레이하거나, 디스플레이화면을 조정하도록 제어하는 제어부를 포함한다.

본 발명의 실시 예에 따르면, 멀티미디어 장치에서 사용자 제스쳐가 인식되지 않는 경우, 멀티미디어 장치는 상기 사용자 제스쳐가 인식되지 않는 원인에 관한 메시지를 디스플레이하므로, 사용자는 용이하게 사용자 제스쳐를 입력할 수 있다.

또한, 본 발명의 다른 일실시 예에 따르면, 복수의 사용자가 동시에 하나의 멀티미디어 장치를 이용 중인 경우에도, 특정 사용자의 제스쳐만 인식할 수 있으므로, 사용자 제스쳐 인식과정에 있어서 오동작을 감소시킬 수 있다.

한편, 본 발명의 다른 일실시 예에 따르면, 멀티미디어 장치 내에서 다양한 사용자 인터페이스를 제공할 수 있어, 편리하게 멀티미디어 장치를 조작할 수 있다.

도 1은 본 발명의 일실시예에 따른 멀티미디어 장치를 포함한 전체 시스템의 일예를 개략적으로 나타낸 도면이다.
도 2는 도 1에 도시된 멀티미디어 장치의 일예를 보다 상세히 도시한 도면이다.
도 3은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 이용하는 멀티미디어 장치 및 촬영 화면을 동시에 보여 주는 도면이다.
도 4는 본 발명의 일실시예에 의한 복수개의 이종 이미지 센서 및 멀티미디어 장치에서 검출 데이터(detection data) 및 인식 데이터(recognition data) 를 이용하는 과정을 설명하기 위한 도면이다.
도 5는 도 4에 도시된 데이터 베이스에 저장된 face vector 를 예시하여 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른, 멀티미디어 디바이스와 연결된 복수개의 이종 이미지 센서의 동작을, 하드웨어 영역 및 소프트웨어 영역으로 나누어 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 도시한 도면이다.
도 8은 본 발명의 다른 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 도시한 도면이다.
도 9는 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 보다 상세히 도시한 도면이다.
도 10은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서의 일예를 도시한 도면이다.
도 11은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지센서의 다른 일예를 도시한 도면이다.
도 12는 도 11에 도시된 제1 이미지 센서를 이용하여 거리를 계산하는 방법을 설명하기 위한 도면이다.
도 13은 도 1 및 도 2 에 도시된 멀티미디어 장치의 일례를 더욱 상세히 도시한 도면이다.
도 14는 본 발명의 일 실시 예에 따른 사용자 및 멀티미디어 장치를 도시한 도면이다.
도 15는 본 발명의 일 실시 예에 따른 멀티미디어 장치의 이미지 센싱부를 상세히 도시한 도면이다.
도 16은 본 발명의 일 실시 예에 따른 사용자 신체 각 부분의 좌표를 인식하는 깊이이미지 센서의 영상을 도시한 도면이다.
도 17은 본 발명의 일 실시 예에 따른 멀티미디어 장치의 사용자 제스쳐 인식 과정을 도시한 순서도 이다.
도 18은 도 8의 인식영상을 디스플레이하는 과정을 상세히 도시한 순서도이다.
도 19는 본 발명의 일 실시 예에 따른 멀티미디어 장치의 사용자의 위치 이동을 검색하는 사용자 제스쳐 인식 과정을 도시한 순서도 이다.
도 20은 본 발명의 일 실시 예에 따른 멀티미디어 장치의 촬영 환경을 검색하는 사용자 제스쳐 인식 과정을 도시한 순서도 이다.
도 21은 본 발명의 다른 일 실시 예에 따른 멀티미디어 장치의 사용자가 복수인 경우의 사용자 제스쳐 인식 과정을 도시한 순서도 이다.
도 22는 본 발명의 일 실시 예에 따른 사용자 제스쳐 인식 에러 메시지를 포함하는 디스플레이화면을 도시한 도면이다.
도 23은 본 발명의 일 실시 예에 따른 크롭핑(cropping)영상을 포함하는 에러메시지를 포함하는 디스플레이화면을 도시한 도면이다.
도 24는 본 발명의 일 실시 예에 따른 사용자 위치 변경에 대한 에러 메시지를 포함하는 디스플레이화면을 도시한 도면이다.
도 25는 본 발명의 일 실시 예에 따른 사용자 위치 가이드 메시지를 포함하는 디스플레이화면을 도시한 도면이다.
도 26은 본 발명의 일 실시 예에 따른 촬영환경 조정 메시지를 포함하는 디스플레이화면을 도시한 도면이다.
도 27은 본 발명의 일 실시 예에 따른 촬영환경 가이드 메시지를 포함하는 디스플레이화면을 도시한 도면이다.
도 28은 본 발명의 일 실시 예에 따른 사용자 선택 메뉴를 포함하는 디스플레이화면을 도시한 도면이다.

이하에서는 첨부된 도면을 참조하여 본 발명의 여러가지 실시예들을 보다 상세히 설명하도록 하겠다. 나아가, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수 있으며, 하드웨어 또는 소프트웨어로 설계 가능하다.

한편, 본 명세서에서 기술되는 멀티미디어 장치는, 예컨대 방송 데이터를 수신하여 처리하는 여러가지 타입의 디바이스들에 해당한다. 나아가 상기 멀티미디어 장치는 Connected TV에 대응할 수도 있으며, 상기 Connected TV는 방송 수신 기능 뿐만 아니라 유무선 통신 장치 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 모션(motion) 인식 리모콘 등 보다 사용에 편리한 인터페이스를 가질 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수도 있다.

따라서, 상기 Connected TV는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 상기 Connected TV는, 보다 구체적으로 예를 들면, 웹 TV, 인터넷 TV, HBBTV(Hybrid Broad-Band TV), 스마트 TV, DTV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.

나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

도 1은 본 발명의 일실시예에 따른 멀티미디어 장치를 포함한 전체 방송 시스템의 일예를 개략적으로 나타낸 도면이다. 도 1의 멀티미디어 장치는 예컨대 Connected TV에 대응할 수도 있으나, 본 발명의 권리범위가 Connected TV 만으로 한정되는 것은 아니며 본 발명의 권리범위는 원칙적으로 특허청구범위에 의해 정해져야 한다.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 멀티미디어 장치를 포함한 전체 시스템은, 컨텐츠 제공자(Content Provider;CP)(10), 서비스 제공자(Service Provider;SP)(20), 네트워크 제공자(Network Provider; NP)(30) 및 HNED(40)로 구분될 수 있다. 상기 HNED(40) 는, 예를 들어 본 발명의 실시예에 따른 멀티미디어 장치인 클라이언트(100)에 대응한다.

컨텐츠 제공자(10)는, 각종 컨텐츠를 제작하여 제공한다. 컨텐츠 제공자(10)에는 도 1에서와 같이 지상파 방송 송출자(terrestrial broadcaster), 케이블 방송 사업자(cable SO(System Operator) 또는 MSO(Multiple System Operator), 위성 방송 송출자(satellite broadcaster), 인터넷 방송 송출자(Internet broadcaster) 등이 예시될 수 있다. 또한, 컨텐츠 제공자(10)는, 방송 컨텐츠 외에, 다양한 애플리케이션 등을 제공할 수도 있다.

서비스 제공자(20)는, 컨텐츠 제공자(10)가 제공하는 컨텐츠들을 서비스 패키지화하여 제공할 수 있다. 예를 들어, 도 1의 서비스 제공자(20)는, 제1 지상파 방송, 제2 지상파 방송, 케이블 MSO, 위성 방송, 다양한 인터넷 방송, 애플리케이션 등을 패키지화하여 사용자에게 제공할 수 있다.

네트워크 제공자(30)는, 서비스를 클라이언트(100)에게 제공하기 위한 네트워크 망을 제공할 수 있다. 클라이언트(100)는 홈 네트워크(Home Network End User;HNED)를 구축하여 서비스를 제공받을 수도 있다.

한편, 클라이언트(100)도 네트워크를 통해, 컨텐츠를 제공하는 것이 가능하다. 이러한 경우, 상술한 바와 달리, 역으로, 클라이언트(100)가 컨텐츠 제공자가 될 수 있으며, 컨텐츠 제공자(10)가 클라이언트(100)로부터 컨텐츠를 수신할 수도 있다. 이와 같이 설계된 경우, 양방향 컨텐츠 서비스 또는 데이터 서비스가 가능한 장점이 있다.

도 2는 도 1에 도시된 멀티미디어 장치의 일예를 보다 상세히 도시한 도면이다.

본 발명의 일실시예에 의한 멀티미디어 장치(200)는, 네트워크 인터페이스부(Network Interface)(201), TCP/IP 매니저(TCP/IP Manager)(202), 서비스 전달 매니저(Service Delivery Manager)(203), 디멀티플렉서(Demux)(205), PSI&(PSIP and/or SI) 디코더(204), 오디오 디코더(Audio Decoder)(206), 비디오 디코더(Video Decoder)(207), 디스플레이부(Display A/V and OSD Module)(208), 서비스 제어 매니저(Service Control Manager)(209), 서비스 디스커버리 매니저(Service Discovery Manager)(210), 메타데이터 매니저(Metadata Manager)(212), SI&Metadata DB(211), UI 매니저(214), 그리고 서비스 매니저(213) 등을 포함하여 이루어 진다. 나아가, 복수개의 이종 이미지 센서(260)가 상기 멀티미디어 장치(200)와 연결되어 있으며, 예를 들어 USB 방식의 커넥션으로 연결되어 있다. 또한, 도 2에서는 상기 복수개의 이종 이미지 센서(260)가 별도의 모듈로 구성되도록 설계하였으나, 상기 복수개의 이종 이미지 센서(260)가 상기 멀티미디어 장치(200)에 하우징(housing) 된 형태로 설계할 수도 있다.

네트워크 인터페이스부(201)는 네트워크 망으로부터 수신되는 패킷(packet)들을 수신하고, 네트워크 망으로 패킷을 전송한다. 즉 네트워크 인터페이스부(201)는 네트워크 망을 통해 서비스 제공자로부터 서비스, 컨텐츠 등을 수신한다.

TCP/IP 매니저(202)는, 멀티미디어 장치(200)로 수신되는 패킷과 멀티미디어 장치(200)가 전송하는 패킷에 대하여, 즉 소스로부터 목적지까지의 패킷 전달에 관여한다. 서비스 전달 매니저(203)는 수신되는 서비스 데이터의 제어를 담당한다. 예를 들어, 실시간 스트리밍(real-time streaming) 데이터를 제어하는 경우 RTP/RTCP를 사용할 수 있다. 상기 실시간 스트리밍 데이터를 RTP를 사용하여 전송하는 경우, 상기 서비스 전달 매니저(203)는 상기 수신된 데이터 패킷을 RTP에 따라 파싱(parsing)하여 디멀티플렉서(205)에 전송하거나 서비스 매니저(213)의 제어에 따라 SI&Metadata DB(711)에 저장한다. 그리고 RTCP를 이용하여 상기 네트워크 수신 정보를 서비스를 제공하는 서버측에 피드백(feedback)한다.

디멀티플렉서(205)는 수신된 패킷을 오디오, 비디오, PSI(Program Specific Information) 데이터 등으로 역다중화하여 각각 오디오/비디오 디코더(206, 207), PSI&(PSIP and/or SI) Decoder(204)에 전송한다.

PSI&(PSIP and/or SI) Decoder(204)는 상기 디멀티플렉서(205)에서 역다중화된 PSI 섹션, PSIP(Program and Service Information Protocol) 섹션 또는 SI(Service Information) 섹션 등을 수신하여 디코딩한다.

또한 상기 PSI&(PSIP and/or SI) Decoder(204)는 상기 수신된 섹션들을 디코딩하여 서비스 정보에 관한 데이터베이스를 만들고, 상기 서비스 정보에 관한 데이터베이스는 SI&Metadata DB(211)에 저장한다.

오디오/비디오 디코더(206/207)는, 상기 디멀티플렉서(205)에서 수신된 비디오 데이터와 오디오 데이터를 디코딩한다.

UI 매니저(214)는 사용자를 위한 GUI(Graphic User Interface)를 OSD(On Screen Display) 등을 이용하여 제공하며, 사용자로부터 키 입력을 받아 상기 입력에 따른 수신기 동작을 수행한다. 예를 들어, 사용자로부터 채널선택에 관한 키 입력을 받으면 상기 키 입력신호를 서비스 매니저(213)에 전송한다.

서비스 매니저(213)는 서비스 전달 매니저(203), 서비스 디스커버리 매니저(210), 서비스 제어 매니저(209) 및 메타데이터 매니저(212) 등 서비스와 연관된 매니저를 제어한다.

또한 서비스 매니저(213)는 채널 맵(Channel Map)을 만들고 상기 유저 인터페이스 매니저(214)로부터 수신한 키 입력에 따라 상기 채널 맵을 이용하여 채널을 선택하다. 서비스 디스커버리 매니저(210)는 서비스를 제공하는 서비스 제공자를 선택하는데 필요한 정보를 제공한다. 상기 서비스 매니저(213)로부터 채널선택에 관한 신호를 수신하면, 서비스 디스커버리 매니저(210)는 상기 정보를 이용하여 서비스를 찾는다.

서비스 제어 매니저(209)는 서비스의 선택과 제어를 담당한다. 예를 들어, 사용자가 기존의 방송방식과 같은 Live Broadcasting 서비스를 선택하는 경우 IGMP 또는 RTSP 등을 사용하고, VOD(Video On Demand)와 같은 서비스를 선택하는 경우에는 RTSP를 사용하여 서비스의 선택, 제어를 수행한다. 메타데이터 매니저(212)는 서비스와 연관된 메타데이터를 관리하고 상기 메타데이터를 SI&Metadata DB(211)에 저장한다.

SI&Metadata DB(211)는 PSI&(PSIP and/or SI) Decoder(204)가 디코딩한 서비스 정보, 메타데이터 매니저(212)가 관리하는 메타데이터 및 서비스 디스커버리 매니저(210)가 제공하는 서비스 제공자를 선택하는데 필요한 정보를 저장한다. 또한 SI&Metadata DB(211)는 시스템에 대한 셋업 데이터 등을 저장할 수 있다.

한편, 상기 IG(250)는, IMS 기반의 IPTV 서비스에 접근하기 위해 필요한 기능들을 모아 놓은 게이트웨이 이다.

그리고, 도 2에 도시된 복수개의 이종 이미지 센서(260)는 상기 멀티미디어 장치(200) 주변에 위치한 사람 또는 사물에 대한 단수의 이미지 또는 복수의 이미지들을 촬영하도록 설계된다. 보다 구체적으로 예를 들면, 상기 복수개의 이종 이미지 센서(260)는 단수의 이미지 또는 복수의 이미지들을 연속적으로, 주기적으로, 선택된 시간에, 또는 특정 컨디션에서만 동작하도록 설계된다. 이에 대한 구체적인 설명은 이하에서 설명하도록 하겠다.

도 3은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 이용하는 멀티미디어 장치 및 촬영 화면을 동시에 보여 주는 도면이다. 이하, 도 3을 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 이용하는 멀티미디어 장치 및 촬영 화면을 동시에 설명하면 다음과 같다.

일반적으로, depth data 처리와 관련된 제1 이미지 센서들은 제한된 해상도(예를 들어, 최대 VGA 급)와 인식 거리(예를 들어, 3.5m) 문제로 인하여, 원거리 안면 인식에 적합하지 않은 면이 존재한다. 또한, color data 처리와 관련된 제2 이미지 센서들은 인식 속도가 느리며 광조건(light condition)에 강인하지 못한 단점을 가지고 있다. 따라서, 이와 같은 각 이미지 센서들의 단점을 보완하기 위하여, 본 발명의 일실시예에 의한 멀티미디어 장치는 제1 이미지 센서와 제2 이미지 센서가 결합된 하이브리드 형태의 이미지 센서 모듈과 연동되도록 설계한다.

전술한 제1 이미지 센서로, 예를 들어 IR 이미지 센서 또는 depth 이미지 센서가 사용된다. 보다 구체적으로 예를 들면, 상기 IR 이미지 센서 또는 depth 이미지 센서로 TOF(Time Of Flight) 방식과 structured light 방식이 논의되고 있다. 상기 TOF 방식은, 적외선을 방사하여 돌아오는 시간차를 이용하여 거리 정보를 계산하고, 상기 structured light 방식은, 특정 패턴으로 적외선을 방사하고 변형되는 패턴을 분석하여 거리를 계산한다. 다만, 제1 이미지 센서의 경우, depth data 인식 및 처리 속도면에서 장점이 있고 어두운 곳에서도 사물, 사람 등을 용이하게 센싱 가능하다. 그러나, 먼거리에서는 해상도가 떨어지는 단점을 가지고 있다.

나아가, 전술한 제2이미지 센서로, 예를 들어 color 이미지 센서 또는 RGB 이미지 센서가 사용된다. 보다 구체적으로 예를 들면, 상기 color 이미지 센서 또는 RGB 이미지 센서로, stereo 이미지 센서 방식과 mono 이미지 센서 방식이 논의되고 있다. 상기 stereo 이미지 센서 방식은, 두개의 이미지 센서를 통해 촬영된 각각의 이미지 시차 비교 정보에 기초하여, 손 또는 얼굴 등을 검출하고 추적한다. 상기 mono 이미지 센서 방식은, 한 개의 이미지 센서를 통해 촬영된 shape, color 정보를 바탕으로 손 또는 얼굴 등을 검출하고 추적한다. 다만, 제2 이미지 센서의 경우, 제1 이미지 센서에 비해 해상도가 개선된 장점이 있으나, 주위 조명에 취약하고, 어두운 곳에서 인식이 어려운 한계가 있다. 특히, 정확한 depth 인식이 어려운 문제점이 존재한다.

이와 같은 종래 문제점들을 해결하기 위하여, 도 3에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 장치는 제1 이미지 센서와 제2 이미지 센서를 모두 구비하도록 설계된다. 다만, 상기 이미지 센서들은 상기 멀티미디어 장치에 embedded 형태로 설계될 수도 있고, 또는 별도의 하드웨어 모듈로 설계하는 것도 가능하다. 우선, 도 3의 (b) 영역에 도시된 바와 같이, 제1 이미지 센서는 상기 멀티미디어 장치 주변에 위치한 사용자들을 포함한 영상을 촬영한다. 구체적인 촬영 영상은 도 3의 (1), (2), (3), (4)에 순차적으로 도시되어 있다.

한편, 제1 이미지 센서의 촬영 및 데이터 분석이 완료되면, 도 3의 (a) 영역에 도시된 바와 같이, 제2 이미지 센서는 특정 사용자의 얼굴에 대한 영상을 촬영한다. 구체적인 촬영 영상은 도 3의 (5), (6), (7)에 순차적으로 도시되어 있다.

본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서는 상기 멀티미디어 장치의 주변에 위치한 제1영상을 촬영하고 상기 촬영된 제1영상으로부터 depth data 를 추출한다. 이는 도 3의 (1)에 도시된 바와 같이, 거리에 따라 각 사물의 영역이 다른 명암으로 표시되도록 설계 가능하다.

나아가, 상기 제1 이미지 센서는, 상기 추출된 depth data 를 이용하여 적어도 하나의 사용자의 얼굴을 인지 및 인식할 수 있다.. 즉, 기저장된 데이터베이스 등을 이용하여, 도 3의 (2)에 도시된 바와 같이 사용자의 신체 정보(예를 들어, 얼굴, 손, 발, 관절, 기타 등등)를 추출하고, 나아가 도 3의 (3)에 도시된 바와 같이 특정 사용자의 안면에 대한 좌표정보 및 거리 정보를 획득한다. 보다 구체적으로 설명하면, 상기 사용자의 얼굴에 대한 거리정보인 x, y, z 값들을 계산하도록 설계되며, 상기 x 는 상기 촬영된 제1영상에서 상기 얼굴의 가로축에 대한 위치, 상기 y는 상기 촬영된 제1영상에서 상기 얼굴의 세로축에 대한 위치, 그리고 상기 z는 상기 사용자의 얼굴과 제1 이미지 센서 사이의 거리를 의미한다.

또한, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 color 이미지를 추출하기 위한 제2 이미지 센서는 상기 인지된 사용자의 얼굴에 대한 제2영상을 촬영하며, 이는 도 3의 (5)에 도시되어 있다.

한편, 도 3에 도시된 제1 이미지 센서)와 제2 이미지 센서()를 인접하여 설계할 경우, physical 위치 차이로 인한 에러는 무시할 만한 수준일 수도 있다. 다만, 본 발명의 또 다른 일실시예에 의하면, 전술한 physical 위치 차이에 대한 정보를 이용하여, 제1 이미지 센서에서 획득한 좌표정보나 거리정보를 보정하고, 제2 이미지 센서가 상기 보정된 좌표정보나 거리정보를 이용하여 사용자를 촬영할 수 있도록 설계된다. 또한, 상기 제1 이미지 센서와 상기 제2 이미지 센서가 지면으로부터 수평한 상태로 설계되어 있다면, 전술한 phisycal 위치 차이에 대한 정보는 수평 프레임을 기준으로 설정될 수가 있다.상기 제2 이미지 센서는, 도 3의 (7)에 도시된 바와 같이 상기 촬영된 제2영상으로부터 특징 정보를 추출한다. 상기 특징 정보는, 예컨대 상기 멀티미디어 장치를 사용하는 복수의 사용자들을 식별하기 위한 특정 부위(예를 들어, 입, 코, 눈 등)에 대응하는 데이터 이다. 나아가, 상기 제2 이미지 센서는, 상기 제1 이미지 센서의 촬영을 통해 얻어진 좌표값(상기 x, y, z 값들)에 기초하여, 상기 사용자의 얼굴에 대한 영역을 줌인할 수도 있다. 이는, 도 3의 (5)에서 (6)으로 전환되는 과정을 의미한다.

상기 제1 이미지 센서 및 상기 제2 이미지 센서의 촬영 및 분석이 완료된 경우, 본 발명의 일실시예에 의한 멀티미디어 장치는, 상기 추출된 특징 정보에 대응하는 데이터를 저장하고 있는 메모리에 액세스 하고, 상기 메모리에 저장된 특정 사용자를 식별하는 정보를 추출한다.

만약, 상기 특정 사용자를 식별하는 정보가 상기 메모리에 존재하는 경우, 상기 멀티미디어 장치는 상기 특정 사용자를 위하여 기설정된 서비스를 제공한다.

반면, 상기 특정 사용자를 식별하는 정보가 상기 메모리에 존재하지 않는 경우, 상기 멀티미디어 장치는 상기 인식된 사용자를 상기 메모리에 저장하기 위한 가이드 메시지를 디스플레이 하도록 설계된다.

전술하여 설명한 바와 같이, 본 발명의 일실시예에 의하면, 제1 이미지 센서가 사용자 거리정보나 얼굴의 좌표 정보를 디텍트 하고, 제2 이미지 센서는 제1 이미지 센서에서 획득된 데이터를 이용하여 얼굴을 인식하도록 설계된다.

나아가, 본 발명의 다른 일실시예에 의하면, 무조건적으로 제2 이미지 센서를 이용하는 것이 아니라 특정 컨디션에서만 제2 이미지 센서가 동작하도록 설계된다. 예를 들어, 상기 제1 이미지 센서의 동작으로 획득한 사용자와의 거리 정보가 제1기준값 이하인 경우 또는 상기 제1 이미지 센서의 동작으로 획득한 사용자의 얼굴에 대한 인식율이 제2기준값 이상인 경우에는, 상기 제1 이미지 센서만으로 멀티미디어 장치 주변에 위치한 사용자 얼굴을 디텍트(detect) 하고 인식(recoginization)한다. 반면, 상기 제1 이미지 센서의 동작으로 획득한 사용자와의 거리 정보가 제1기준값 초과하는 경우 또는 상기 제1 이미지 센서의 동작으로 획득한 사용자의 얼굴에 대한 인식율이 제2기준값 미만인 경우에는, 상기 제2 이미지 센서를 추가적으로 이용하여 사용자의 얼굴을 인식하도록 설계된다.

그리고, 본 발명의 또 다른 일실시예에 의하면, 상기 제2 이미지 센서가 사용자의 얼굴을 인식하는 과정에서, 상기 제1 이미지 센서를 통해 획득한 거리 정보를 이용하여 줌인을 하고, 상기 제1 이미지 센서를 통해 획득한 얼굴 좌표 정보를 이용하여 얼굴 부분만을 촬영하도록 설계된다.

따라서, 이와 같이 전혀 다른 타입의 복수개의 이종 이미지 센서들을 이용할 경우, 원거리 안면 인식이 가능하고 데이터 처리 속도도 기존 보다 향상되는 본 발명 특유의 효과가 있다.

도 4는 본 발명의 일실시예에 의한 복수개의 이종 이미지 센서 및 멀티미디어 장치에서 검출 데이터(detection data) 및 인식 데이터(recognition data) 를 이용하는 과정을 설명하기 위한 도면이다.

얼굴 검출(face detection)과 얼굴 인식(face recognition)은 다른 프로세스 이다. 상기 얼굴 검출은, 하나의 이미지내 얼굴 영역을 디텍트 하는 프로세스를 포함한다. 반면, 상기 얼굴 인식은, 디텍트된 얼굴이 어떤 특정 사용자에 대응하는지 여부를 인식하는 프로세스이다. 특히, 본 발명의 일실시예에 따라, 제1이미지 센서를 이용하여 얼굴 검출 프로세스를 실행하고, 또한 제2이미지 센서를 이용하여 얼굴 인식 프로세스를 실행하는 과정을 도 4를 참조하여 설명하도록 하겠다.

도 4에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 디바이스는 디텍션 모듈(301), 인식 모듈(302), 데이터베이스(303), 제1이미지 센서(304), 제2이미지 센서(305) 등을 포함하며, 필요에 따라 디텍션 데이터(306) 및 인식 데이터(307)를 이용하게 된다. 상기 디텍션 데이터(306)는 예를 들어, 정보 기반(knowledge-based) 검출 기술(detection techniques), 특징 기반(feature-based) 검출 기술(detection techniques), 템플레이트 매칭 기술(template matching techniques), 외관 기반(appearance-based) 검출 기술(detection techniques)에 기초하여 생성될 수도 있다. 또한, 상기 인식 데이터(307)는 예를 들어, 특정 사용자를 식별하기 위한 눈, 코, 입, 턱, 영역, 거리, 모양, 각도 등의 데이터를 포함한다.

나아가, 상기 디텍션 모듈(301)은, 상기 제1이미지 센서(304)로부터 수신된 이미지 데이터를 이용하여사용자 얼굴의 존재를 판단한다. 또한, 사용자의 얼굴이 위치한 영역을 추정하는 과정에서, 전술하여 설명한 정보 기반(knowledge-based) 검출 기술(detection techniques), 특징 기반(feature-based) 검출 기술(detection techniques), 템플레이트 매칭 기술(template matching techniques), 외관 기반(appearance-based) 검출 기술(detection techniques)과 관련된 데이터가 사용된다.

그리고, 상기 인식 모듈(302)은, 상기 제2이미지 센서(305)로부터 수신된 이미지 데이터를 이용하여, 특정 사용자인지 여부를 식별한다. 이 때, 전술하여 설명한 인식 데이터(307)에 기초하여, 상기 수신된 이미지 데이터 및 상기 DB(303)에 저장된 face vector 정보를 비교하게 된다. 이는 도 5를 참조하여 보다 상세히 설명하도록 하겠다.

도 5는 도 4에 도시된 데이터 베이스에 저장된 face vector 를 예시하여 설명하기 위한 도면이다.

도 5에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 디바이스를 사용하는 각 유저들에 대한 face vector 들이 저장되어 있다. 상기 face vector 는, 예를 들어 유저들의 얼굴에서 나타나는 특징 정보들에 대한 데이터 집합으로, 특정 유저들 각각을 식별하기 위한 용도로 사용된다.

도 6은 본 발명의 일실시예에 따른, 멀티미디어 디바이스와 연결된 복수개의 이종 이미지 센서의 동작을, 하드웨어 영역 및 소프트웨어 영역으로 나누어 설명하기 위한 도면이다.

도 6에 도시된 바와 같이, 멀티미디어 디바이스가 복수개의 이종 이미지 센서를 통해 영상을 입력 받아 동작을 수행하는 구성은, 이미지 센서의 하드웨어 영역(360) 및 이미지 센서로부터 수신된 데이터를 처리하는 멀티미디어 디바이스의 소프트웨어 영역(350)으로 나누어 설명하도록 하겠다.

도 6에서는, 상기 하드웨어 영역(360)을 별도의 모듈로 도시하였으나, 상기 소프트웨어 영역(350)을 처리하는 멀티미디어 디바이스에 임베디드된 일체형으로 구성할 수도 있다.

먼저, 하드웨어 영역은, 데이터 수집 영역(340) 및 펌웨어 영역(330)을 포함할 수 있다.

상기 데이터 수집 영역(340)은, 이미지 센서를 통하여 멀티미디어 디바이스에서 인식되기 위한 원본 데이터를 입력 받는 영역으로, 적외선 광원(IR light projector), 깊이 이미지센서(depth image sensor), 컬러 이미지 센서(RGB image sensor), 마이크로폰, 및 이미지 센서칩을 포함하여 구성될 수 있다.

또한, 펌웨어 영역(330)은, 하드웨어 영역에 존재하여 동작함으로써, 하드웨어 영역과 소프트웨어 영역의 연결을 구성하는 영역이다. 또한, 특정한 애플리케이션이 필요로 하는 호스트 애플리케이션으로 구성될 수 있고, 다운 샘플링(downsampling) 및 미러링(mirroring)동작 등을 수행할 수 있다.

따라서, 데이터 수집 영역(340) 및 펌웨어 영역(330)은 상호 연동하여 동작하며, 이를 통하여 하드웨어 영역(360)을 컨트롤 할 수 있으다. 또한, 상기 펌웨어 영역은 이미지 센서칩에서 구동될 수 있다.

또한, 소프트웨어 영역(350)은, API(application programming interface)영역(320) 및 미들웨어(middleware) 영역(310)을 포함할 수 있다.

API영역(320)은, 멀티미디어 디바이스의 제어부에서 실행될 수 있다. 또한, 이미지 센싱부가 멀티미디어 디바이스와 별도의 외부기기로써 구성되는 경우, 상기 API 영역은, 퍼스널 컴퓨터, 게임콘솔, 및 셋탑박스 등에서 실행될 수 있다.

또한, API영역(320)은 상기 멀티미디어 디바이스가 하드웨어 영역의 센서를 구동시킬 수 있도록 하는 간단한 API일 수 있다.

미들웨어 영역(310)은, 인식 알고리즘 영역으로써, 깊이 프로세싱(depth processiong) 미들웨어를 포함할 수 있다. 또한, 상기 미들웨어는, 사용자가 손을 통하여 제스쳐를 입력하는 경우, 또는 신체 전 영역을 통하여 제스쳐를 입력하는 경우에도 명확한 사용자 컨트롤 API와 함께 애플리케이션을 제공할 수 있다. 또한, 상기 미들웨어 영역은 사용자의 손의 위치 검색하는 동작, 사용자의 위치 추적하는 동작, 사용자 골격의 특징을 추출하는 동작 및, 입력된 영상에서 사용자와 배경을 분리하여 인식하는 동작 등을 수행하기 위한 알고리즘을 포함할 수 있다. 또한, 상기 알고리즘은 하드웨어 영역에서 획득된 깊이(depth) 정보, 색상 정보, 적외선 정보, 및 음성 정보를 활용하여 동작될 수 있다.

도 7은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 도시한 도면이다. 이하, 도 7을 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 설명하면 다음과 같다. 다만, 도 7에서는 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서와 멀티미디어 장치를 별개로 도시하였으나, 상기 멀티플 이미지 센서가 상기 멀티미디어 장치에 임베디드(embedded)된 형태로 설계하는 것도 가능하다.

도 7에 도시된 바와 같이 본 발명의 일실시예에 의한 멀티미디어 장치(400)는 CPU(Central Processing Unit)(401) 및 GPU(Graphic Processing Unit)(404)의 모듈로 설계되며, 상기 CPU(401)는 어플리케이션(402) 및 얼굴인식처리 모듈(403)을 포함하고 있다. 한편, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서(420)는 ASIC(Application Specific Intergrated Circuit)(421), 이미터(422), 제1 이미지 센서(423), 그리고 제2 이미지 센서(424)의 모듈로 설계된다. 그리고, 멀티미디어 장치(400) 및 복수 개의 이종 이미지 센서(420)는 유선 또는 무선의 인터페이스(410)로 연결되어 있으며, 예를 들어 USB (Universal Serial Bus) 인터페이스를 사용할 수도 있다. 다만, 도 7의 모듈들은 일실시예에 불과하며, 본 발명의 권리범위는 원칙적으로 특허청구범위에 의해 정해져야 한다.

상기 이미터(422)는, 상기 멀티미디어 장치(400) 주변에 위치한 적어도 하나 이상의 사용자에게 빛을 발산한다. 나아가, 상기 제1 이미지 센서(423)는, 상기 발산된 빛을 이용하여 제1영상을 촬영하고, 상기 촬영된 제1영상으로부터 depth data 를 추출하고, 상기 추출된 depth data 를 이용하여 상기 적어도 하나 이상의 사용자의 얼굴을 디텍트한다. 또한, 상기 제2 이미지 센서(424)는, 상기 디텍트된 사용자의 얼굴에 대한 제2영상을 촬영하고, 상기 촬영된 제2영상으로부터 특징 정보를 추출한다.

그리고, 상기 추출된 특징 정보는, 상기 인터페이스(410)를 통해 상기 멀티미디어 장치의 얼굴인식처리 모듈(403)로 전송된다. 도 7에 도시하지는 않았지만, 상기 얼굴인식처리 모듈(403)은 예컨대, 수신부, 메모리, 추출부, 제어부 등을 포함하도록 설계된다.

상기 얼굴인식처리 모듈(403)의 수신부는 상기 복수 개의 이종 이미지 센서(420) 및 인터페이스(410)를 통해 전송된 특징 정보를 수신한다. 나아가, 상기 얼굴인식처리 모듈(403)의 메모리는 적어도 하나 이상의 사용자에 대한 특징 정보 및 대응하는 ID를 저장하고 있다.

따라서, 상기 얼굴인식처리 모듈(403)의 추출부는, 상기 수신된 특징 정보에 대응하는 ID 를 상기 메모리로부터 추출하고, 상기 얼굴인식처리 모듈(403)의 제어부는 상기 ID에 해당하는 기설정된 기능들을 자동으로 수행하도록 설계된다.

한편, 얼굴인식처리 모듈을 도 7에 도시된 바와 같이, 멀티미디어 장치의 CPU에서 수행하도록 설계하는 경우, 이미지 센서 설계 비용을 낮추고 다양한 얼굴인식 및 기능 추가 등의 확장성 면에서 유리한 효과가 있다.

도 8은 본 발명의 다른 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 도시한 도면이다. 이하, 도 8을 참조하여, 본 발명의 다른 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 설명하면 다음과 같다. 다만, 도 8에서는 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서와 멀티미디어 장치를 별개로 도시하였으나, 상기 멀티플 이미지 센서를 상기 멀티미디어 장치에 임베디드(embedded)된 형태로 설계하는 것도 가능하다.

도 8에 도시된 바와 같이 본 발명의 일실시예에 의한 멀티미디어 장치(500)는 CPU(Central Processing Unit)(501) 및 GPU(Graphic Processing Unit)(503)의 모듈로 설계되며, 상기 CPU(501)는 어플리케이션(502)을 포함하고 있다. 한편, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서(520)는 얼굴인식처리 모듈(521), ASIC(Application Specific Intergrated Circuit)(522), 이미터(523), 제1 이미지 센서(524), 그리고 제2 이미지 센서(525)의 모듈로 설계된다. 그리고, 멀티미디어 장치(500) 및 복수 개의 이종 이미지 센서(520)는 유선 또는 무선의 인터페이스(510)로 연결되어 있으며, 예를 들어 USB (Universal Serial Bus) 인터페이스를 사용할 수도 있다. 다만, 도 8의 모듈들은 일실시예에 불과하며, 본 발명의 권리범위는 원칙적으로 특허청구범위에 의해 정해져야 한다.

도 8은 도 7과 비교하여, 얼굴인식처리 모듈(521)이 복수 개의 이종 이미지 센서(520)에 탑재된다는 점에서 차이가 있으며, 나머지 동일한 설명은 생략하도록 하겠다.

한편, 얼굴인식처리 모듈을 도 8에 도시된 바와 같이, 복수 개의 이종 이미지 센서(520)단에서 수행하도록 설계하는 경우, 독립된 플랫폼을 통하여 보다 다양한 형태의 이미지 센서를 설계하는 것이 가능하다.

도 9는 본 발명의 일 실시예에 의한 복수 개의 이종 이미지 센서를 보다 상세히 도시한 도면이다. 이하, 도 9를 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 보다 상세히 설명하면 다음과 같다.

도 9에 도시된 바와 같이, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서는, 제1 이미지 센서 그룹(610)과 제2 이미지 센서(620), 컨트롤러(630), 메모리(640), 인터페이스(650) 등을 포함하며, 상기 컨트롤러(630)의 제어에 따라 마이크로폰(670) 및 외부 오디오 소스(660)로부터 오디오 데이터를 수신하도록 설계된다.

실시 예에 따라, 상기 제1 이미지센서는 깊이 이미지 센서(depth image sensor)일 수 있다.

깊이 이미지 센서는, 상기 깊이 이미지 센서를 통하여 촬영되는 영상에서 인식되는 픽셀(Pixel)값이 상기 깊이 이미지 센서로부터의 거리인 것을 특징으로 하는 이미지 센서이다.

상기 제1 이미지 센서 그룹(610)은 이미터(emitter)(680) 및 제1 이미지 센서(690)를 포함할 수 있고, 상기 이미터는 예를 들어, IR(Infra-Red) 이미터로 설계 가능하다.

상기 제1 이미지 센서 그룹(610)을 통하여 이미지를 획득하기 위해서, 이미터(emitter)(680)에서 적외선을 방출하고, 상기 방출된 적외선과 피사체로부터 반사되어 돌아오는 적외선과의 위상차로부터 피사체와 깊이이미지 센서 사이의 거리 정보를 획득하는 방식(TOF; Time Of Flight)과, 이미터(emitter)(680)에서 적외선 패턴(수많은 적외선 점)을 방출하고, 그 패턴들이 물체에 반사된 것을 필터가 구비된 이미지센서(690)로 촬영하여 상기 패턴들이 왜곡되는 패턴에 기초하여 피사체와 깊이이미지 센서 사이의 거리 정보를 획득하는 방식(Structured Light)이 존재한다.

즉, 멀티미디어 장치는, 상기 깊이이미지 센서를 통하여, 피사체의 거리정보를 파악할 수 있다. 특히, 상기 피사체가 사람인 경우에는, 골격 정보 및 신체 각 부분의 좌표정보를 획득하고, 상기 신체 각 부분 이동을 검색하여, 상기 신체의 구체적인 동작에 대한 정보를 획득할 수 있다.

나아가, 상기 컨트롤러(630)의 제어에 따라, 상기 이미터(680)의 라이트 프로젝터(682)는 렌즈(681)를 투사하여, 멀티미디어 장치 주변에 위치한 적어도 하나 이상의 사용자에게 빛을 발산한다.

또한, 상기 컨트롤러(630)의 제어에 따라, 상기 제1 이미지 센서(690)는 렌즈(691)을 통해 수신된 빛을 이용하여 제1영상을 촬영하고, 상기 촬영된 제1영상으로부터 depth data를 추출하고, 이를 상기 컨트롤러(630)에 전송한다.

실시 예에 따라, 제2 이미지 센서(620)는 RGB이미지센서(RGB image sensor)일 수 있다.RGB이미지 센서는, 색상 정보를 픽셀(Pixel)값으로 획득하는 이미지 센서이다.

제2 이미지 센서(620)는, R(Red), G(Green), 및 B(Blue) 각 색상에 대한 정보를 획득하는 세 개의 이미지 센서(CMOS)를 포함할 수 있다.

또한, 상기 제2 이미지 센서(620)는 상기 깊이이미지 센서에 비하여, 비교적 고해상도의 이미지를 획득할 수 있다.

상기 제2 이미지 센서(620)는, 상기 컨트롤러(630)의 제어에 따라, 렌즈(621)를 통해 인가되는 상기 피사체에 대한 제2영상을 촬영한다. 나아가, 상기 제2 이미지 센서(620)는, 상기 촬영된 제2영상으로부터 추출된 특징 정보를, 상기 컨트롤러(620)에 전송할 수 있다.

또한, 제1 이미지 센서 그룹(610)과 제2 이미지 센서(620)는, 사용자의 거리정보를 획득한 경우, 상기 사용자의 거리정보를 계속하여 획득함으로써, 사용자의 위치 이동을 트래킹(tracking)할 수 있고, 상기 트래킹된 정보를 통하여 사용자가 어떠한 동작을 하는지 인식할 수 있다.

컨트롤러(630)는, 상기 각 모듈의 동작을 제어한다. 즉, 컨트롤러(630)는 이미지 센싱부를 이용한 촬영시작 신호가 수신되면, 상기 제1 이미지 센서 그룹(610)과 제2 이미지 센서(620)를 통하여 피사체를 촬영하도록 제어하고, 상기 촬영된 영상을 분석하여 메모리(640)에서 설정 정보를 로드하여 상기 제1 이미지 센서 그룹(610)과 제2 이미지 센서(620)를 제어할 수 있다.

또한, 상기 컨트롤러(630)는, 상기 인터페이스(650)를 이용하여, 상기 추출된 특징 정보를, 멀티미디어 장치에 전송하도록 설계된다. 따라서, 이를 수신한 멀티미디어 장치는, 촬영된 영상에 따른 특징 정보를 획득할 수 있다.

메모리(640)는, 상기 제1 이미지 센서 그룹(610)과 제2 이미지 센서(620)의 설정값을 저장할 수 있다. 즉, 사용자로부터 상기 이미지 센싱부를 이용하여 피사체를 촬영하고자 하는 신호가 입력되면, 상기 이미지 센싱부는 상기 이미지 센싱부에서 입력된 영상을 컨트롤러(630)를 통하여 분석하고, 상기 메모리(640)에서 상기 분석 결과에 따라 이미지 센서 설정 값을 로드하여서 상기 상기 제1 이미지 센서 그룹(610)과 제2 이미지 센서(620)의 촬영환경을 설정할 수 있다.

상기 메모리(640)는, 예를 들어, 플래쉬 메모리 등으로 설계할 수도 있고, 상기 인터페이스(650)는 예를 들어 USB 인터페이스로 설계되어 외부 멀티미디어 장치와 연결된다.

상기와 같은 구성을 통하여, 사용자는 멀티미디어 장치에 소정의 영상 및 음성을 입력할 수 있고, 상기 입력된 영상 또는 음성을 통하여 멀티미디어 장치를 제어할 수 있다.

도 10은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서의 일예를 도시한 도면이다. 이하, 도 10을 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서의 일예를 설명하면 다음과 같다. 도 10에 도시된 IR 소스(710)는 도 9의 이미터(680)에 대응할 수 있고, 도 10에 도시된 depth 이미지 프로세서(720)는 도 9의 제1 이미지 센서(690)에 대응할 수도 있는 바, 도 9 및 도 10의 설명은 보충적으로 적용될 수도 있다. 또한, 도 10에 도시된 이미지 센서는, 예컨대 전술한 structured light 방식을 차용하여 설계하는 것도 가능하다.

도 10에 도시된 바와 같이, 상기 IR 소스(710)는 코드화된 패턴 영상을 타겟 사용자(730)에게 연속적으로 투영하도록 설계된다. 그리고, 상기 depth 이미지 프로세서(720)는 상기 타겟 사용자(730)에 의해 최초 패턴 영상이 왜곡된 정보를 이용하여, 상기 사용자의 위치를 추정한다.

도 11은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지센서의 다른 일예를 도시한 도면이다. 이하, 도 11을 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서의 다른 일예를 설명하면 다음과 같다. 도 11에 도시된 LED(810)는 도 9의 이미터(680)에 대응할 수 있고, 도 11에 도시된 depth 이미지 프로세서(820)는 도 9의 제1 이미지 센서(690)에 대응할 수도 있는 바, 도 9 및 도 11의 설명은 보충적으로 적용될 수도 있다. 또한, 도 11에 도시된 이미지 센서는, 예컨대 전술한 TOF 방식을 차용하여 설계하는 것도 가능하다.

도 11에 도시된 바와 같이, 상기 LED(810)에 의해 발산된 빛은 타겟 사용자(830)에게 전송된다. 그리고, 상기 타겟 사용자(830)에 의해 반사된 빛(reflected light)은 상기 depth 이미지 프로세서(820)에 전송된다. 도 11에 도시된 모듈들은, 도 10과 달리 시간 차이에 대한 정보를 이용하여 상기 타겟 사용자(830)의 위치를 계산한다. 이는 도 12를 참조하여 보다 상세히 설명하도록 하겠다.

도 12는 도 11에 도시된 제1 이미지 센서를 이용하여 거리를 계산하는 방법을 설명하기 위한 도면이다. 이하, 도 12를 참조하여, 도 11에 도시된 제1 이미지 센서를 이용하여 거리를 계산하는 방법을 설명하면 다음과 같다.

도 12의 왼쪽 그래프에 도시된 바와 같이, 발산된 빛(emitted light)과 반사된 빛(reflected light) 사이의 시간 차이를 통해, 도착 시간인 t 값을 얻을 수가 있다.

또한, 도 12의 오른쪽에 수식에 도시된 바와 같이, 상기 LED(810)와 상기 타겟 사용자(830)까지의 거리 및 상기 타겟 사용자(830)와 상기 depth 이미지 프로세서(820)까지의 총거리는, 광속과 상기 t 값의 곱셈으로 계산된다. 따라서, 결과적으로 상기 LED(830) 또는 상기 depth 이미지 프로세서(820)와 상기 타겟 사용자(830)까지의 거리는 1/d 로 추정된다.

도 13은 도 1 및 도 2에 도시된 멀티미디어 장치의 일례를 더욱 상세히 도시한 도면이다.

도 13에 도시된 멀티미디어 장치(100)는 방송 네트워크 및 인터넷 네트워크와 연결될 수 있다. 상기 멀티미디어 장치(100)는 예를 들어, connected TV, 지능형TV, HBBTV(Hybrid Broad-Band TV), 셋탑 박스, DVD 플레이어, 블루레이 플레이어, 게임기기, 컴퓨터 등을 포함할 수 있다.

도 13을 참조하면, 본 발명의 일실시 예에 의한 멀티미디어 장치(100)는, 방송 수신부(105), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190), 및 이미지 센싱부(190)를 포함할 수 있다. 방송 수신부(105)는, 튜너(110), 복조부(120), 및 네트워크 인터페이스부(130)를 포함할 수 있다. 물론, 필요에 따라, 튜너(110)와 복조부(120)를 구비하면서 네트워크 인터페이스부(130)는 포함하지 않도록 설계하는 것도 가능하며, 반대로 네트워크 인터페이스부(130)를 구비하면서 튜너(110)와 복조부(120)는 포함하지 않도록 설계하는 것도 가능하다.

튜너(110)는, 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환한다.

튜너(110)는, ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다.

복조부(120)는, 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때, 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일례로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일수 있다.

복조부(120)에서 출력한 스트림 신호는 제어부(170)로 입력될 수 있다. 제어부(170)는 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이부(180)에 영상을 출력하고, 오디오 출력부(185)로 음성을 출력한다.

외부장치 인터페이스부(135)는 외부 장치와 멀티미디어 장치(100)를 접속할 수 있다.

외부장치 인터페이스부(135)는, DVD(Digital Versatile Disk), 블루레이(Blu-ray), 게임기기, 이미지 센서, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 유/무선으로 접속될 수 있다. 외부장치 인터페이스부(135)는 연결된 외부 장치를 통하여 외부에서 입력되는 영상, 음성 또는 데이터 신호를 멀티미디어 장치(100)의 제어부(170)로 전달한다. 또한, 제어부(170)에서 처리된 영상, 음성 또는 데이터 신호를 연결된 외부 장치로 출력할 수 있다. 이를 위해, 외부장치 인터페이스부(135)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.

A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 멀티미디어 장치(100)로 입력할 수 있도록, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트

단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자 등을 포함할 수 있다.

무선 통신부는, 다른 전자기기와 근거리 무선 통신을 수행할 수 있다. 영상표시기기(100)는 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA (Digital Living Network Alliance) 등의 통신 규격에 따라 다른 전자기기와 네트워크 연결될 수 있다.

또한, 외부장치 인터페이스부(135)는, 다양한 셋탑 박스와 상술한 각종 단자 중 적어도 하나를 통해 접속되어, 셋탑 박스와 입력/출력 동작을 수행할 수도 있다.

네트워크 인터페이스부(130)는, 멀티미디어 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다. 네트워크 인터페이스부(130)는, 유선 네트워크와의 접속을 위해, 예를 들어 이더넷(Ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해, 예를 들어 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등이 이용될 수 있다.

네트워크 인터페이스부(130)는, 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.

저장부(140)는, 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수도 있다.

또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(130)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 저장부(140)는, 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다.

또한, 저장부(140)는, 멀티미디어 장치의 사용자 제스쳐 인식을 위한 컨트롤정보 및 명령어 데이터베이스를 저장할 수 있다.

상기 컨트롤정보는, 멀티미디어 장치의 이미지 센싱부(190)를 통하여 소정의 영상이 입력된 경우, 상기 영상에서 획득된 복수의 정보들을 조합하기 위해 필요한 정보이다.

즉, 상기 컨트롤 정보는, 상기 이미지 센싱부(190)에 서로 상이한 정보를 획득할 수 있는 복수의 이미지 센서가 포함되고, 상기 각 이미지 센서에서 획득된 정보를 조합하는 경우, 사용자와 멀티미디어 장치 사이의 거리에 따라, 사용자가 제스쳐를 입력하는 제스쳐 인식 객체(손, 발, 머리) 등에 따라 상기 각 이미지 센서를 통하여 획득된 정보의 가중치에 대한 정보를 포함할 수 있다.

또한, 상기 명령어 데이터베이스는, 사용자 제스쳐에 대응하는 특정 명령에 대한 맵핑(mapping)데이터를 저장한다.

즉, 상기 명령어 데이터베이스는, 각 사용자 제스쳐의 특징 정보를 저장하고, 멀티미디어 장치에서 각 특징 정보에 연관되어 실행 가능한 동작의 목록을 저장한다. 따라서, 상기 이미지 센싱부(190)를 통하여 사용자 제스쳐 영상이 입력되고, 상기 입력된 영상에서 특징 정보가 추출된 경우, 멀티미디어 장치는 상기 저장부(140)에 저장된 데이터베이스에서 상기 특징 정보에 대응하는 특정 명령을 검색하여 실행할 수 있다.

또한, 저장부(140)는, 멀티미디어 장치에서 사용자 및 사용자 제스쳐를 인식함에 있어 필요한 데이터를 포함하는 데이터베이스(141)를 저장할 수 있다.

즉, 사용자 인식 정보에 대한 데이터, 사용자 제스쳐 인식 정보에 대한 데이터들을 데이터베이스(141)에 저장할 수 있고, 이미지 센싱부(190)를 통하여 입력된 영상에서 소정의 정보가 획득되면, 상기 획득된 정보를 기초로 상기 데이터베이스(141)를 검색하여, 상기 사용자 제스쳐에 대응하는 명령을 특정할 수 있다.

또한, 데이터베이스(141)를 통하여 각 사물의 형태정보 및 색상정보를 저장하여 둘 수 있다. 즉, 예를 들어, 이미지 센싱부(190)를 통하여 입력된 영상에서 추출된 크기 정보 및 형태 정보에 기초하여, 데이터베이스(141)를 검색하여, 상기 입력된 영상에 포함된 사물 또는 사용자를 인식할 수 있다. 즉, 데이터베이스(141)는 각 사용자의 안면에 대한 크기, 형태, 벡터, 및 색상 정보 등을 저장할 수 있다.

또한, 데이터베이스(141)는, 멀티미디어 장치에서 사용자 제스쳐 인식이 완료되지 않은 경우, 예상되는 인식장애물의 특징정보를 저장할 수 있다. 상기 예상되는 인식 장애물은, 사용자와 멀티미디어 장치의 이미지 센싱부 사이에 위치하여, 상기 사용자가 사용자 제스쳐를 입력하는 부분을 상기 멀티미디어 장치의 이미지 센싱부로부터 가림으로써, 상기 멀티미디어 장치의 사용자 제스쳐 인식을 방해하는 사물을 포함한다.

즉, 사물의 크기가 일정 범위 이내이고, 위치가 쉽게 변경될 수 있는 사물로써, 예를 들어, 그릇, 휴지통, 컵, 물통 등의 사물이 상기 예상되는 인식장애물에 포함될 수 있다.

따라서, 멀티미디어 장치는, 상기 예상되는 인식장애물들에 대한 특징 정보를 데이터베이스(141)에 저장하고, 상기 멀티미디어 장치에서 입력된 영상의 분석에 따라 피사체가 인식되면, 상기 인식된 피사체의 인식정보와 상기 데이터베이스의 예상되는 인식장애물들에 대한 특징정보를 비교하여, 매칭(matching)되는 사물이 존재하는지 여부를 검색할 수 있다.

또한, 데이터베이스(141)는, 멀티미디어 장치의 사용자 제스쳐 인식에 있어서 최적 환경에 대한 환경 정보를 저장할 수 있다. 상기 최적 환경은, 멀티미디어 장치에서 이용가능한 컨텐츠 또는 서비스별로 상이하게 정해질 수 있다. 예를 들어, 멀티미디어 장치에서 지상파 방송의 채널을 조정하는 사용자 제스쳐를 입력하기 위한 최적 환경의 사용자와 멀티미디어 장치 사이의 거리는, 멀티미디어 장치에서 이용가능한 게임 컨텐츠의 게임 캐릭터를 조종하기 위한 최적 환경의 사용자와 멀티미디어 장치 사이의 거리보다 가까울 수 있다.

저장부(140)는, 예를 들어 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

도 13은 저장부(140)가 제어부(170)와 별도로 구비된 실시 예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않는다. 저장부(140)는 제어부(170) 내에 포함될 수도 있다.

사용자 인터페이스부(150)는, 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달한다.

예를 들어, 사용자인터페이스부(150)는, RF(Radio Frequency) 통신 방식, 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.

또한, 예를 들어, 사용자인터페이스부(150)는, 사용자의 제스처를 센싱하는 센싱부(미도시)로부터 입력되는 제어 신호를 제어부(170)에 전달하거나, 제어부(170)로부터의 신호를 센싱부(미도시)로 송신할 수 있다. 여기서, 센싱부(미도시)는, 터치 센서, 음성 센서, 위치 센서, 동작 센서 등을 포함할 수 있다.

제어부(170)는, 튜너(110) 또는 복조부(120) 또는 외부장치 인터페이스부(135)를 통하여, 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.

제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어, 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.

제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.

디스플레이부(180)는, 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 구동 신호를 생성한다.

한편, 사용자의 제스처를 감지하기 위해, 터치 센서, 음성 센서, 위치 센서, 동작 센서 중 적어도 하나를 구비하는 센싱부(미도시)가 영상표시기기(100)에 더 구비될 수 있다. 센싱부(미도시)에서 감지된 신호는 사용자 인터페이스부(150)를 통해 제어부(170)로 전달될 수 있다.

한편, 사용자를 촬영하는 이미지 센싱부(190)가 더 구비될 수 있다. 이미지 센싱부(190)에서 촬영된 영상 정보는 제어부(170)에 입력될 수 있다.

상기 이미지 센싱부(190)는, 서로 상이한 정보를 획득할 수 있는 복수의 카메라를 포함하여 구성될 수 있으며, 이에 관하여는 이하 도 9에서 상세히 설명한다.

또한, 이미지 센싱부(190)는, 상기 사용자가 인식된 경우, 상기 인식된 사용자의 거리정보를 계속하여 획득함으로써, 상기 사용자의 위치를 트래킹(tracking)할 수 있다. 즉, 사용자가 이동하는 경우, 이동 경로, 이동 방향 및 이동 정도에 대한 정보를 획득할 수 있다.

제어부(170)는, 이미지 센싱부(190)로부터 촬영된 영상, 또는 센싱부(미도시)로부터의 감지된 신호를 각각 또는 조합하여 사용자의 제스처를 감지할 수 있다.

따라서, 제어부(170)는, 상기 이미지 센싱부를 통하여 입력된 영상에서 사용자 및 사용자 제스쳐를 인식하기 위한 인식부(171), 및 상기 사용자 및 사용자 제스쳐에 관련한 메시지를 생성하는 메시지 생성부(172)를 포함할 수 있다.

인식부(171)는, 사용자 인식 정보에 대한 데이터, 사용자 제스쳐 인식 정보에 대한 데이터들을 데이터베이스에 저장할 수 있고, 상기 이미지 센싱부(190)를 통하여 입력된 영상에서 소정의 정보가 획득되면, 상기 획득된 정보를 기초로 상기 데이터베이스를 검색하여, 사용자 및 사용자 제스쳐를 인식할 수 있다.

또한, 인식부(171)는, 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에서, 상기 멀티미디어 장치의 촬영환경에 대한 환경 정보를 인식할 수 있다. 즉, 멀티미디어 장치는 상기 입력된 영상을 분석하여, 상기 촬영환경에 있어서, 사용자와 멀티미디어 장치 사이의 거리, 사용자 위치, 및 광원의 위치, 밝기 및 세기 등에 관한 정보를 획득할 수 있다.

메시지 생성부(172)는, 멀티미디어 장치의 사용자 및 사용자 제스쳐 인식과정에 있어서, 관련 메시지를 생성할 수 있다. 상기 메시지는, 멀티미디어 장치에서 사용자 및 사용자 제스쳐를 인식하지 못한 경우에 디스플레이되는 에러 메시지를 포함할 수 있다.

또한, 메시지 생성부(172)는, 상기 사용자 및 사용자 제스쳐가 인식되지 않는 경우, 이미지 센싱부(190)를 통하여 입력된 영상에 포함된 사물을 인식하고, 저장부(140)를 통하여, 상기 인식된 사물 중, 예상되는 인식장애물을 검색하여, 상기 검색된 인식장애물에 대한 정보를 포함하는 에러메시지를 생성할 수 있다.

상기 사물인식 및 인식장애물 검색을 위하여, 상기 이미지 센싱부(190)를 통하여 입력된 영상에 포함된 각 피사체의 형태 정보, 크기 정보, 벡터 정보 및 색상 정보를 추출하여 이용할 수 있다.

즉, 상기 추출된 정보에 기초하여, 저장부(140)에 저장된, 사물에 대한 정보 및 예상되는 인식장애물에 대한 정보를 저장하는 데이터베이스(141)를 검색하여 상기 에러메시지를 생성할 수 있다.

또한, 상기 메시지 생성부(172)는, 상기 사용자 및 사용자 제스쳐가 인식되지 않는 경우, 상기 이미지 센싱부(190)의 사용자 위치를 트래킹 정보를 포함하여 에러메시지를 생성할 수 있다.

즉, 상기 트래킹 정보에 따라, 사용자가 이미지 센싱부(190)의 인식 가능 영역을 벗어난 경우, 현재 사용자 위치에 대한 정보, 사용자를 상기 인식 가능 영역으로 이동하게 하는 가이드 메시지 등을 포함하여 에러메시지를 생성할 수 있다. 즉, 상기 가이드 메시지는, 사용자가 이동하여야할 방향, 거리 등에 대한 정보를 포함할 수 있다.

또한, 메시지 생성부(172)는, 저장부(140)에 저장된 멀티미디어 장치의 사용자 제스쳐 인식 또는 멀티미디어 장치의 사용자 인식을 위한 최적 거리정보와 상기 이미지 센싱부(190)를 통하여 획득된 사용자 거리정보를 비교하여, 상기 비교 결과에 따른 가이드 메시지를 포함하는 에러메시지를 생성할 수 있다. 즉, 상기 가이드 메시지는 사용자가 이동하여야할 방향, 거리 등에 대한 정보를 포함할 수 있다.

또한, 메시지 생성부(172)는, 상기 인식부(171)에서 인식된 상기 멀티미디어 장치의 촬영환경에 대한 환경 정보와, 저장부(140)에 저장된 사용자 제스쳐 인식을 위한 최적 환경에 대한 환경 정보를 비교하여, 상기 환경 정보가 일치하지 않는 경우, 상기 멀티미디어 장치의 촬영환경을 조정하기 위한 가이드 메시지를 포함할 수 있다. 즉, 상기 가이드 메시지는, 사용자에게 멀티미디어 장치 주변의 조명을 밝게 할 것을 요청하는 메시지 등을 포함할 수 있다.

또한, 제어부(170)는, 이미지 센싱부(190)를 통하여 입력된 영상 및 상기 메시지 생성부(172)에서 생성된 에러메시지를 디스플레이부(180)를 통하여 디스플레이하도록 제어할 수 있고, 상기 입력된 영상 및 상기 에러메시지가 디스플레이된 후, 다시 이미지 센싱부(190)를 통하여 사용자 제스쳐 인식을 위한 영상을 촬영하도록 제어할 수 있다.

또한, 제어부(170)는, 상기 이미지 센싱부(190)를 통하여 입력된 영상에 있어서, 메시지 생성부(172)를 통하여 검색된 인식장애물이 위치하는 부분의 영상을 크롭핑(cropping)하고, 상기 크롭핑된 영상과 상기 에러메시지를 함께 디스플레이하도록 제어할 수 있다.

또한, 제어부(170)는, 이미지 센싱부(190)를 통하여 입력된 영상에서, 사용자의 안면을 검색하여, 복수의 사용자 안면이 검색되면 상기 인식된 각각의 사용자 안면을 포함하는 부분의 영상을 크롭핑(cropping)하고, 상기 크롭핑된 각 안면 영상을 디스플레이부(180)를 통하여 디스플레이하고, 어느 하나의 안면 영상 선택 신호를 수신하여, 상기 선택된 안면 영상에 대응하는 사용자의 사용자 제스쳐를 인식하도록 제어할 수 있다.

또한, 제어부(170)는, 인식부(171)에서 인식된 상기 멀티미디어 장치의 촬영환경에 대한 환경 정보와, 저장부(140)에 저장된 사용자 제스쳐 인식을 위한 최적 환경에 대한 환경 정보를 비교하여, 상기 환경 정보가 일치하지 않는 경우, 상기 멀티미디어 장치의 촬영환경을 조정하기 위해 필요한 동작을 제어할 수 있다. 즉, 상기 환경 정보의 비교 결과, 멀티미디어 장치의 촬영환경이 어두운 경우, 멀티미디어 장치의 디스플레이부에 밝은 화면을 디스플레이하여, 멀티미디어 장치에서 촬영되는 영역의 밝기를 밝게 할 수 있다.

원격제어장치(200)는, 사용자 입력을 사용자 인터페이스부(150)로 송신한다. 이를 위해, 원격제어장치(200)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다.

또한, 원격제어장치(200)는, 사용자 인터페이스부(150)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(200)에서 표시하거나 음성 또는 진동을 출력할 수 있다.

도 14는 본 발명의 일 실시 예에 따른 사용자 및 멀티미디어 장치를 도시한 도면이다.

실시 예에 따라, 멀티미디어 장치(1900)는, 사용자(1903)를 인식하기 위하여, 멀티미디어 장치의 이미지 센싱부(1901, 1902)를 통하여 사용자 영상을 획득할 수 있다.

또한, 상기 이미지 센싱부는, 사용자를 정확하게 인식하기 위해, 서로 상이한 정보를 획득하는 두 개의 이미지 센서 모듈(1901, 1902)로 구성될 수 있다. 즉, 실시 예에 따라, 상기 이미지 센싱부는 깊이 이미지 센서(depth cam), 및 RGB이미지 센서(RGB cam)를 포함할 수 있다. 이에 관하여는, 상기 도 9에서 상세히 설명한바와 같다.

또한, 도시한 바와 같이, 멀티미디어 장치(1900)의 이미지 센싱부(1901, 1902)는, 멀티미디어 장치의 하단부에 위치하여, 사용자의 신체 중심을 디텍션(detection)하기 용이하며, 조도 환경에서 상대적으로 영향을 적게 받는바, 원활한 사용자 및 사용자 제스쳐의 인식이 가능하다.

상기와 같은 구성을 통하여, 멀티미디어 장치는 사용자 및 사용자 위치에 관한 정보를 획득하여, 상기 획득된 정보에 기초하여, 사용자에게 적합한 시청환경을 제공할 수 있다.

도 15는 본 발명의 일 실시 예에 따른 사용자 신체 각 부분의 좌표를 인식하는 깊이이미지 센서의 영상을 도시한 도면이다.

도 15를 참고하면, 멀티미디어 장치는 깊이이미지 센서를 통하여 촬영된 영상을 통하여, 사용자의 신체 각 부분에 대한 좌표정보를 획득할 수 있다.

즉, 상기 깊이이미지 센서를 통하여 사용자(2401)를 촬영하는 경우, 상기 깊이이미지 센서는 사용자의 신체 각 부분의 거리정보를 이미지 정보로써 획득할 수 있다.

예를 들어, 사용자의 신체 중 오른쪽 팔꿈치(2402)만의 대한 좌표정보를 획득할 수 있다. 또한, 상기 획득된 사용자의 신체 각 부분의 거리정보를 통하여, 사용자의 머리 크기, 어깨 넓이, 팔 길이 등 다양한 수치 정보를 획득할 수 있고, 이를 통하여 사용자를 인식할 수 있다.

또한, 사용자의 안면을 인식하고자 하는 경우, 상기 획득된 거리정보 중, 머리 부분에 대한 좌표를 이미지 센싱부의 RGB이미지 센서로 전송하여, 상기 RGB이미지 센서가 상기 머리 부분의 좌표에 따른 사용자의 머리 부분에 대한 확대(zooming) 이미지를 획득하도록 할 수 있다.

또한, 사용자가 신체를 움직여서 특정한 행동을 하는 경우, 상기 신체 각 부분의 거리정보의 이동을 감지하여, 어떠한 행동을 하는지 인식할 수 있다.

도 16은 본 발명의 일 실시 예에 따른 멀티미디어 장치의 사용자 제스쳐 인식 과정을 도시한 순서도 이다.

실시 예에 따라, 멀티미디어 장치는, 멀티미디어 장치의 이미지 센싱부를 통하여, 사용자 제스쳐 영상을 입력받는다(S2001).

사용자로부터 사용자 제스쳐 인식과정을 시작하는 메뉴항목의 선택신호 또는 핫키(Hot-key)입력신호가 수신되면, 멀티미디어 장치는 이미지 센싱부를 통하여 사용자 제스쳐를 입력받기 위한 영상의 촬영을 시작한다.

또한, 상기 이미지 센싱부는, 정확한 사용자 제스쳐 인식을 위하여, 서로 상이한 정보를 획득하는 복수의 이미지 센서를 포함할 수 있다. 즉, 예를 들어, 깊이이미지 센서 및 RGB이미지 센서를 포함하여, 상기 깊이이미지 센서를 통하여 사용자에 대한 거리정보 및 거리정보를 획득할 수 있고, 상기 RGB이미지 센서를 통하여 사용자에 대한 색상정보를 획득할 수 있다.

즉, 사용자는, 상기 멀티미디어 장치에서 영상의 촬영이 시작되면, 멀티미디어 장치를 제어하기 위한 소정의 사용자 제스쳐를 입력할 수 있다.

다음으로, 멀티미디어 장치는 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에서, 사용자 제스쳐를 인식한다(S2002).

멀티미디어 장치는, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 사용자 제스쳐 영상이 입력되면, 상기 영상에 포함된 사용자 제스쳐의 특징정보를 추출하고, 상기 추출된 특징정보에 대응하는 특정 명령이 존재하는지 검색한다. 상기 특정 명령은, 멀티미디어 장치에서 임의의 기능을 실행하거나, 임의의 서비스 또는 컨텐츠를 제공받기 위한 명령을 포함한다.

또한, 상기 특정 명령이 검색된 경우, 멀티미디어 장치는 상기 검색된 특정 명령을 실행한다(S2004). 이를 통하여, 사용자는 사용자 제스쳐를 입력함으로써, 멀티미디어 장치에서 원하는 동작을 수행하도록 할 수 있다.

반면에, 상기 인식 단계(S2002)에서 상기 사용자 제스쳐의 특징정보가 추출되지 않거나, 상기 추출된 특징정보에 대응하는 특정 명령이 존재하지 않는 경우, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상과 에러메시지를 디스플레이한다(S2003).

즉, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에 있어서, 다른 장애물이 위치하여 사용자가 사용자 제스쳐를 입력하는 부분의 영상이 입력되지 않거나, 상기 영상의 촬영환경이 어두워 상기 이미지 센싱부를 통하여 입력된 영상에서 사용자를 원활하게 인식할 수 없는 경우에, 사용자가 입력한 사용자 제스쳐에 대응하는 명령을 실행할 수 없으므로, 사용자 제스쳐를 인식하지 못하였음을 알리는 에러메시지를 출력할 수 있다.

또한, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상을 상기 에러메시지와 함께 출력할 수 있다. 이에 관하여는 이하 도 13에서 상세히 설명한다.

또한, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상은, 상기 이미지 센싱부를 통하여 입력된 영상의 일부분을 크롭핑(cropping)하여 디스플레이할 수 있다. 이에 관하여는 이하 도 17 및 도 22에서 상세히 설명한다.

이를 통하여, 사용자는, 멀티미디어 장치에 사용자 제스쳐를 입력함에 있어서, 사용자 제스쳐 인식이 진행되지 않는 경우, 에러메시지와 함께 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상을 함께 확인할 수 있어, 사용자 제스쳐를 재인식하기 위해 필요한 동작을 용이하게 실시할 수 있다.

도 17은 도 15의 인식 영상을 디스플레이하는 과정을 상세히 도시한 순서도이다.

실시 예에 따라, 멀티미디어 장치는, 상기 도 15의 인식 단계(S2002)에서 사용자 제스쳐가 인식되지 않은 경우, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된, 사용자 제스쳐를 인식하기 위한 영상을 분석한다(S2101).

멀티미디어 장치는, 상기 사용자 제스쳐를 인식하기 위한 영상에 포함된 각 피사체에 대한 정보를 검색할 수 있다. 이를 위하여, 멀티미디어 장치는, 상기 영상에 어떠한 사물 또는 사용자가 포함되었는지 인식하기 위해, 상기 영상에서 각 피사체의 크기 정보, 형태 정보 및 색상 정보를 추출하고, 상기 추출된 정보에 기초하여, 상기 각 피사체가 각각 어떠한 사물 또는 사용자인지 검색할 수 있다.

즉, 예를 들어, 상기 영상에서, 추출된 크기 정보 및 형태 정보에 따라, 사람의 안면과 크기 및 형태가 일치하는 피사체가 검색된 경우, 상기 피사체가 사람임을 인식할 수 있다. 또한, 이를 위하여, 멀티미디어 장치는, 데이터베이스를 통하여, 각 물체의 형태정보 및 색상정보를 저장하여 둘 수 있다.

다음으로, 상기 영상에 포함된 각 피사체가 어떠한 사물 또는 사용자인지 인식이 완료되면, 멀티미디어 장치는, 상기 인식된 사물을 기초로, 데이터베이스를 통하여, 예상되는 인식장애물을 검색한다(S2102).

멀티미디어 장치는 데이터베이스를 통하여, 멀티미디어 장치에서 사용자 제스쳐인식이 완료되지 않은 경우의 예상되는 인식장애물의 특징정보를 저장할 수 있다.

상기 예상되는 인식 장애물은, 사용자와 멀티미디어 장치의 이미지 센싱부 사이에 위치하여, 상기 사용자가 사용자 제스쳐를 입력하는 부분을 상기 멀티미디어 장치의 이미지 센싱부로부터 가림으로써, 상기 멀티미디어 장치의 사용자 제스쳐 인식을 방해하는 사물을 포함한다.

즉, 사물의 크기가 일정 범위 이내이고, 위치가 쉽게 변경될 수 있는 사물로써, 예를 들어, 그릇, 휴지통, 컵, 물통 등의 사물이 상기 예상되는 인식장애물에 포함될 수 있다.

따라서, 멀티미디어 장치는, 상기 예상되는 인식장애물들에 대한 특징 정보를 데이터베이스에 저장하고, 상기 멀티미디어 장치에서 입력된 영상의 분석에 따라 피사체가 인식되면, 상기 인식된 피사체의 인식정보와 상기 데이터베이스의 예상되는 인식장애물들에 대한 특징정보를 비교하여, 매칭(matching)되는 사물이 존재하는지 여루블 검색한다.

즉, 예를 들어, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상을 분석한 결과, 상기 영상에 포함된 피사체로써, 사용자 제스쳐를 입력하는 사용자, 테이블, 액자, 및 그릇 등이 인식되는 경우, 상기 인식된 피사체들 중 그릇이 사용자와 멀티미디어 장치의 이미지 센싱부 사이에 존재하는 경우, 상기 그릇을 예상되는 인식 장애물로써 검색할 수 있다.

다음으로, 상기 예상되는 인식 장애물이 검색되면, 멀티미디어 장치는 상기 예상되는 인식 장애물이 존재하는 부분의 영상을 크롭핑(cropping)하여, 에러메시지와 함께 디스플레이할 수 있다(S2103).

즉, 멀티미디어 장치는, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에서, 예상되는 인식장애물이 검색되면, 상기 영상에서 상기 예상되는 인식장애물이 위치하는 영상의 일 부분을 검색하고, 상기 검색된 일 부분의 영상을 크롭핑(cropping)하여 메모리에 임시적으로 저장한다.

또한, 상기 임시 저장된 크롭핑 영상에 기초하여, 상기 크롭핑 영상에 포함된 예상되는 인식장애물에 대한 정보를 포함하는 에러메시지를 생성하여, 상기 크롭핑 영상과 함께 디스플레이할 수 있다.

이에 관한 디스플레이화면에 대해서는 이하 도 21에서 상세히 설명한다.

상기 단계들이 완료되면, 멀티미디어 장치는 다시 멀티미디어 장치의 이미지 센싱부를 통하여 사용자 제스쳐 영상을 입력받는 단계로 복귀하여, 사용자 제스쳐 인식을 위한 동작을 수행할 수 있다.

이를 통하여, 사용자는, 상기 예상되는 인식장애물에 대한 정보 및 영상을 에러메시지와 함께 확인할 수 있는 바, 더욱 용이하게 원활한 사용자 제스쳐 입력을 위한 동작을 수행할 수 있다.

도 18은 본 발명의 일 실시 예에 따른 멀티미디어 장치의 사용자의 위치 이동을 검색하는 사용자 제스쳐 인식 과정을 도시한 순서도 이다.

실시 예에 따라, 멀티미디어 장치는, 멀티미디어 장치의 이미지 센싱부를 통하여, 사용자 제스쳐 영상을 입력받는다(S2201).

상기 사용자 제스쳐 영상을 입력받는 단계(S2201)는, 상기 도 8의 사용자 제스쳐 영상을 입력받는 단계(S2001)과 동일한바, 상세한 설명은 생략한다.

다음으로, 멀티미디어 장치는, 상기 사용자 제스쳐를 입력하는 사용자의 위치를 트래킹(tracking)한다(S2202).

즉, 상기 영상 입력 단계(S2201)에서 사용자의 거리정보가 인식되면, 멀티미디어 장치는, 멀티미디어 장치의 이미지 센싱부를 통하여 사용자의 거리정보를 계속하여 획득함으로써, 사용자의 위치를 트래킹(tracking)한다.

예를 들어, 상기 이미지 센싱부의 깊이이미지 센서(depth camera)를 통하여 사용자의 거리정보를 포함하는 영상을 계속하여 촬영함으로써 사용자 위치를 트래킹할 수 있고, 상기 사용자의 거리정보, 이동 경로 및 이동 거리 등에 대한 정보를 저장한다.

다음으로, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상을 통하여 사용자 제스쳐를 인식한다(S2203).

상기 사용자 제스쳐를 인식하는 단계(S2203) 및, 사용자 제스쳐가 인식되는 경우, 대응하는 명령을 실행하는 단계(S2206)는, 상기 도 16의 단계(2002) 및 단계(S2004)와 동일하다.

반면에, 상기 단계(S2203)에서 사용자 제스쳐가 인식되지 않는 경우, 상기 트랙킹한 사용자 위치가, 멀티미디어 장치의 이미지 센싱부를 통해 인식 가능한 영역에 위치하는지 여부를 검색한다(S2204).

멀티미디어 장치는, 멀티미디어 장치의 이미지 센싱부를 통하여 촬영 가능한 영역이 제한되어 있다. 즉, 상기 이미지 센싱부에 포함된 이미지 센서의 촬영각 범위 이내의 영상만을 촬영 가능하므로, 상기 촬영각 이외의 범위로 사용자가 이동하는 경우, 상기 사용자에 대한 영상을 촬영할 수 없다.

따라서, 멀티미디어 장치는, 상기 트래킹한 사용자 위치에 기초하여, 현재 사용자가 위치한 지점이, 상기 멀티미디어 장치의 이미지 센싱부의 촬영각 범위 이내인지 여부를 검색한다. 또한, 상기 현재 사용자가 위치한 지점이, 상기 촬영각 범위 이외인 경우, 상기 현재 사용자가 위치한 지점이, 상기 촬영각 범위로부터 어느 방향으로, 어느 정도 벗어났는지 여부를 구체적으로 검색할 수 있다.

다음으로, 멀티미디어 장치는 상기 검색된 사용자위치에 대한 정보를 포함하는 에러메시지를 디스플레이한다(S2205). 또한, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상을 상기 에러메시지와 함께 디스플레이할 수 있다.

즉, 상기 에러메시지는, 단순히 상기 사용자 위치가 상기 멀티미디어 장치의 이미지 센싱부에서 인식가능한 영역을 벗어났음을 알리는 에러메시지를 포함할 수 있고, 상기 사용자 위치가, 상기 멀티미디어 장치의 이미지 센싱부의 촬영각 범위로부터 어느 방향으로, 어느 정도 벗어났는지 여부에 대한 정보를 포함하는 에러메시지를 포함할 수 있다. 이에 관하여는 이하 도 23 및 도 24에서 상세히 설명한다.

따라서, 멀티미디어 장치는 상기와 같은 에러메시지를 디스플레이할 수 있는 바, 사용자는 자신의 위치가 멀티미디어 장치의 이미지 센싱부를 통하여 사용자 제스쳐를 인식가능한 영역을 벗어났음을 쉽게 인지하고, 상기 인식가능한 영역으로 이동하여 사용자 제스쳐를 입력하기 위한 동작을 수행할 수 있다.

도 19는 본 발명의 일 실시 예에 따른 멀티미디어 장치의 촬영 환경을 검색하는 사용자 제스쳐 인식 과정을 도시한 순서도 이다.

실시 예에 따라, 멀티미디어 장치는, 멀티미디어 장치의 이미지 센싱부를 통하여, 사용자 제스쳐 영상을 입력받는다(S2301).

상기 사용자 제스쳐 영상을 입력받는 단계(S2301)는, 상기 도 8의 사용자 제스쳐 영상을 입력받는 단계(S2001)와 동일한바, 상세한 설명은 생략한다.

다음으로, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에서, 상기 멀티미디어 장치의 촬영환경에 대한 환경 정보를 검색한다(S2302).

상기 환경 정보는 상기 멀티미디어 장치의 이미지 센싱부를 이용한 촬영환경에 대한 정보를 모두 포함하며, 멀티미디어 장치의 이미지 센싱부와 사용자 사이의 거리, 사용자 위치, 촬영 영상에 있어서 광원의 위치, 종류, 및 세기 등에 대한 정보를 포함할 수 있다.

따라서, 멀티미디어 장치는, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상을 분석하여, 상기 환경 정보들을 획득할 수 있다.

다음으로, 상기 획득된 환경 정보에 기초하여, 상기 촬영환경이 사용자 제스쳐를 포함하는 영상인식에 적합한 환경인지 여부를 판단한다(S2303).

상기 멀티미디어 장치는 데이터베이스를 통하여, 멀티미디어 장치에서 사용자 제스쳐 인식에 있어서 최적 환경에 대한 환경 정보를 저장할 수 있다. 또한, 상기 최적 환경은, 멀티미디어 장치에서 이용가능한 컨텐츠 또는 서비스별로 상이하게 정해질 수 있다. 예를 들어, 멀티미디어 장치에서 지상파 방송의 채널을 조정하는 사용자 제스쳐를 입력하기 위한 최적 환경의 사용자와 멀티미디어 장치 사이의 거리는, 멀티미디어 장치에서 이용가능한 게임 컨텐츠의 게임 캐릭터를 조종하기 위한 최적 환경의 사용자와 멀티미디어 장치 사이의 거리보다 가까울 수 있다.

따라서, 멀티미디어 장치는 상기 환경정보 검색단계(S2302)에서 획득된 환경정보와 상기 최적환경에 대한 환경정보를 비교하여, 현재 멀티미디어 장치의 촬영환경이, 멀티미디어 장치에서 사용자 제스쳐를 인식하기 위한 최적환경과 일치하는지 여부를 판단할 수 있다.

또한, 상기 멀티미디어 장치의 촬영환경의 환경 정보와 상기 최적환경의 환경정보가 일치하는 경우, 멀티미디어 장치는, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에서 사용자 제스쳐를 인식하기 위한 동작을 계속한다(S2305).

상기 사용자 제스쳐를 인식하기 위한 동작을 계속하는 단계(S2305)는, 도 8의, 사용자 제스쳐를 인식하는 단계(S2002) 이후의 동작과 동일하다.

따라서, 멀티미디어 장치는 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에서 사용자 제스쳐의 특징 정보를 추출하고, 상기 추출된 특징 정보에 대응하는 특정 명령을 검색하여, 상기 검색된 특정 명령을 실행할 수 있다.

반면에, 상기 환경 정보를 비교하는 단계(S2303)에서, 상기 멀티미디어 장치의 촬영환경이 사용자 제스쳐를 인식하기에 적합한 환경으로 인식되지 않는 경우, 멀티미디어 장치는 알림 메시지를 출력할 수 있다(S2304).

상기 알림 메시지는, 상기 멀티미디어 장치의 촬영환경에 대한 정보, 멀티미디어 장치의 사용자 제스쳐 인식에 있어서 최적 환경에 대한 정보, 및 상기 멀티미디어 장치의 촬영환경과 상기 최적환경의 비교결과에 대한 정보 등을 포함할 수 있다. 상기 알림 메시지에 관하여는 이하 도 24내지 도 26에서 상세히 설명한다.

또한, 실시 예에 따라, 멀티미디어 장치는 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상을, 상기 알림 메시지와 함께 디스플레이할 수 있다.

또한, 실시 예에 따라, 멀티미디어 장치는, 상기 멀티미디어 장치의 촬영환경을 보정하기 위하여, 멀티미디어 장치의 디스플레이화면에 하나 이사의 색상을 디스플레이할 수 있다. 즉, 예를 들어, 상기 촬영환경 및 상기 최적 환경의 환경 정보를 비교한 결과, 상기 촬영환경의 밝기가 어두운 경우, 멀티미디어 장치는, 멀티미디어 장치의 디스플레이부에 백색 화면을 디스플레이함으로써 상기 멀티미디어 장치의 촬영환경을 보정할 수 있다.

다음으로, 멀티미디어 장치는 상기 멀티미디어 장치의 이미지 센싱부를 통하여 사용자 제스쳐를 포함하는 영상을 다시 촬영할 수 있다.

이를 통하여, 사용자는 멀티미디어 장치에서 사용자 제스쳐를 인식하기 이전 단계에서 미리 현재 멀티미디어 장치의 촬영환경이 적합한지 여부에 대한 정보를 인지할 수 있으므로, 정확한 사용자 제스쳐 인식을 위한 동작을 수행할 수 있다.

도 20은 본 발명의 다른 일 실시 예에 따른 멀티미디어 장치의 사용자가 복수인 경우의 사용자 제스쳐 인식 과정을 도시한 순서도 이다.

실시 예에 따라, 동시에 복수의 사용자가 멀티미디어 장치를 이용하여 컨텐츠 또는 서비스를 제공받을 수 있다. 다만, 사용자 제스쳐를 이용하여, 상기 멀티미디어 장치에 소정의 명령을 입력하는 경우, 원활한 명령의 입력을 위하여, 상기 멀티미디어 장치에 대한 제어권을 가진 사용자를 특정할 수 있다.

따라서, 멀티미디어 장치의 이미지 센싱부를 통하여 영상을 입력받고(S2401), 상기 입력된 영상에서 사용자의 안면을 인식한다(S2402).

상기 영상을 입력받는 단계(S2401)는, 상기 도 16의 사용자 제스쳐 영상을 입력받는 단계(S2001)와 동일한바, 상세한 설명은 생략한다.

또한, 멀티미디어 장치는, 상기 입력된 영상에 포함된 오브젝트들의 특징 정보를 추출하고, 상기 추출된 특징 정보가 사람의 안면에 대한 특징 정보와 비교하여, 상기 특징 정보가 일치하는 오브젝트를 사용자의 안면으로 인식한다. 상기 특징 정보는 오브젝트의 크기, 형태에 관한 정보를 포함할 수 있다.

따라서, 멀티미디어 장치는, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에서 상기 특징 정보에 기초하여, 사용자의 안면이 위치하는 부분의 영상을 추출하고, 상기 추출된 안면 영상에 해당하는 사용자를 인식한다.

즉, 상기 추출된 안면 영상에서, 안면의 각 부분에 대한 거리정보 및 벡터 정보를 획득하고, 상기 획득된 정보를 기초로 각 사용자의 안면 정보를 저장한 데이터베이스를 검색함으로써 상기 추출된 안면에 대한 사용자를 인식할 수 있다.

다음으로, 상기 인식된 사용자 안면이 복수인지 여부를 판단한다(S2403).

즉, 하나의 멀티미디어 장치를 통하여 동시에 여러 명의 사용자가 컨텐츠 또는 서비스를 이용할 수 있으므로, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에 복수의 사용자가 존재할 수 있다.

따라서, 상기 판단 결과, 복수의 사용자가 존재하면, 상기 인식된 각 사용자의 안면 영상을 포함하는 사용자 목록을 디스플레이한다(S2404).

멀티미디어 장치는, 멀티미디어 장치를 통하여 소정의 컨텐츠 또는 서비스를 이용 중인 복수의 사용자 중 사용자 제스쳐를 입력하는 제어권을 가진 사용자의 선택신호를 수신하기 위하여, 상기 사용자 목록을 포함하는 사용자 선택 메뉴를 디스플레이할 수 있다. 이에 관하여는, 이하 도 27에서 상세히 설명한다.

다음으로, 멀티미디어 장치는, 상기 사용자 목록에 포함된 사용자 중 어느 하나 이상의 사용자 선택신호를 수신한다(S2405).

사용자는, 소정의 리모트 콘트롤러 또는 멀티미디어 장치의 로컬키 입력을 통하여, 사용자 제스쳐를 입력할, 제어권을 가진 사용자를 선택할 수 있다.

또한, 멀티미디어 장치는, 상기 선택신호가 수신되면, 상기 복수의 사용자 중 제어권을 가진 사용자를 특정하고, 상기 선택된 사용자로부터 입력되는 사용자 제스쳐만을 상기 멀티미디어 장치의 제어신호로써 인식한다.

반면에, 상기 판단 단계(S2403)에서 하나의 사용자 안면만 인식되는 경우, 제어권을 가진 사용자를 특정할 필요가 없는 바, 상기 인식된 하나의 사용자의 사용자 제스쳐를 상기 멀티미디어 장치의 제어신호로써 인식한다.

즉, 멀티미디어 장치는, 도 20에 도시한 단계들을 통하여, 하나의 멀티미디어 장치를 동시에 복수의 사용자가 이용하는 경우에도, 사용자 제스쳐를 입력하는 사용자를 특정할 수 있어, 사용자 제스쳐 인식에 있어서 인식률, 신뢰성을 향상시킬 수 있는 효과가 있다.

도 21은 본 발명의 일 실시 예에 따른 사용자 제스쳐 인식 에러 메시지를 포함하는 디스플레이화면(2501)을 도시한 도면이다.

실시 예에 따라, 멀티미디어 장치는, 사용자로부터 사용자 제스쳐 인식과정을 시작하는 메뉴항목의 선택신호 또는 핫키(Hot-key)입력신호가 수신되면, 이미지 센싱부를 통하여 사용자 제스쳐를 입력받기 위한 영상을 촬영하고, 이를 통하여 사용자의 제스쳐를 인식하는 바, 상기 사용자 제스쳐를 포함하는 영상이 입력되었으나, 상기 입력된 영상에서 사용자 제스쳐를 인식할 수 없는 경우, 상기 에러메시지(2502)를 디스플레이할 수 있다.

또한, 상기 에러메시지(2502)는, 멀티미디어 장치의 이미지 센싱부를 통하여 촬영한 영상(2603)을 포함할 수 있다.

즉, 도 21과 같은 디스플레이화면을 통하여, 사용자는, 멀티미디어 장치의 이미지 센싱부를 통하여 촬영한 영상(2503)을 에러메시지와 함께 확인할 수 있으므로, 상기 에러메시지를 단지 텍스트 형태로 확인하는 경우에 비하여, 상기 에러메시지가 발생하게 된 원인을 정확하게 인지할 수 있다.

또한, 사용자는, 상기 에러메시지(2502)에 기초하여, 상기 멀티미디어 장치가 사용자 제스쳐를 인식하지 못한 원인을 제거하고, 확인 메뉴항목(2504)의 선택신호를 입력하여, 멀티미디어 장치가 상기 사용자 제스쳐를 재인식하도록 할 수 있다.

도 22는 본 발명의 일 실시 예에 따른 크롭핑(cropping)영상을 포함하는 에러메시지를 포함하는 디스플레이화면(2601)을 도시한 도면이다.

실시 예에 따라, 멀티미디어 장치는, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에서, 사용자 제스쳐가 인식되지 않는 경우, 멀티미디어 장치의 이미지 센싱부에서 촬영한 영상 중 인식장애물이 존재하는 부분을 크롭핑(cropping)한 영상(2603)을 포함하여 사용자 제스쳐 인식에 대한 에러메시지(2602)를 디스플레이할 수 있다.

즉, 멀티미디어 장치는, 상기 도 17에서 도시한 바와 같이, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에서 사용자 제스쳐가 인식되지 않은 경우, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에 포함된 각 피사체에 대한 정보를 검색하여, 상기 각 피사체를 인식하고, 상기 인식된 피사체 중 예상되는 인식장애물을 특정할 수 있다. 또한, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에서 상기 예상되는 인식장애물이 위치하는 부분의 영상만을 크롭핑(cropping)하여, 상기 크롭핑 영상을 상기 에러메시지에 포함하여 디스플레이할 수 있다.

즉, 멀티미디어 장치는 도 22와 같은 디스플레이화면을 제공할 수 있으므로, 사용자는 상기 에러메시지(2602)를 통하여, 멀티미디어 장치의 이미지 센싱부를 통하여 촬영한 영상 중 예상되는 인식장애물에 대한 크롭핑 영상(2603)을 함께 확인할 수 있으므로, 상기 에러메시지가 발생하게 된 원인을 더욱 정확하게 인지할 수 있다.

또한, 사용자는, 상기 에러메시지(2602)에 기초하여, 상기 멀티미디어 장치가 사용자 제스쳐를 인식하지 못한 원인을 제거하고, 확인 메뉴항목(2604)의 선택신호를 입력하여, 멀티미디어 장치가 상기 사용자 제스쳐를 재인식하도록 할 수 있다.

도 23은 본 발명의 일 실시 예에 따른 사용자 위치 변경에 대한 에러 메시지를 포함하는 디스플레이화면(2701)을 도시한 도면이다.

실시 예에 따라, 멀티미디어 장치는, 멀티미디어 장치의 이미지 센싱부를 통하여 사용자위치를 트래킹(tracking)하고, 상기 사용자 위치가 상기 이미지 센싱부에서 인식가능한 영역을 벗어난 경우, 경고 메시지(2702)를 디스플레이할 수 있다.

사용자는 상기 경고 메시지(2702)를 통하여, 현재 자신의 위치가 상기 이미지 센싱부의 인식영역을 벗어났음을 인지할 수 있고, 상기 이미지 센싱부의 인식영역으로 다시 이동하기 위한 동작을 수행할 수 있다.

또한, 사용자로부터 상기 경고메시지(2702)에 포함된 확인 메뉴항목(2703)의 선택신호가 수신되면, 다시 사용자 제스쳐를 입력받기 위한 영상을 이미지 센싱부를 통하여 촬영하고, 취소 메뉴항목(2704)의 선택신호가 수신되면, 상기 사용자 제스쳐 입력을 위한 동작을 취소할 수 있다.

이를 통하여, 사용자는 사용자 제스쳐를 입력 중, 멀티미디어 장치의 이미지 센싱부에서 인식가능한 영역을 벗어난 경우, 상기 위치가 벗어났음을 인지할 수 있고, 다시 사용자 제스쳐를 입력 가능한 위치로 돌아갈 수 있다.

도 24는 본 발명의 일 실시 예에 따른 사용자 위치 가이드 메시지를 포함하는 디스플레이화면(2701)을 도시한 도면이다.

실시 예에 따라, 멀티미디어 장치는, 멀티미디어 장치의 이미지 센싱부를 통하여, 사용자 제스쳐를 입력하는 사용자의 사용자 위치에 대한 정보를 획득할 수 있고, 상기 획득된 사용자 거리정보가 상기 사용자 제스쳐를 인식하기 위한 최적 사용자 위치와 일치하지 않는 경우, 상기 사용자 위치를 최적 위치로 조정하기 위한 가이드 메시지(2702)를 디스플레이할 수 있다.

상기 가이드 메시지는, 사용자가 상기 최적 사용자 위치로부터 어느 정도 벗어났는지 여부를 인지할 수 있는 정보를 포함할 수 있다.

또한, 사용자는 상기 가이드 메시지(2802)를 통하여 현재 사용자 위치를 상기 최적 위치로 이동시키기 위한 이동 경로 및 이동 거리를 인지할 수 있다.

또한, 사용자로부터 상기 확인 메뉴 항목(2803)이 선택되면, 멀티미디어 장치는 상기 멀티미디어 장치의 이미지 센싱부를 통하여 재촬영을 시작하여, 사용자 제스쳐를 인식하기 위한 동작을 계속할 수 있다.

이를 통하여, 사용자는, 현재 사용자의 위치가 적합한지 여부를 인지하고, 사용자 제스쳐를 입력하기에 적합한 위치로 이동하여 원활한 사용자 제스쳐 입력을 수행할 수 있다.

도 25는 본 발명의 일 실시 예에 따른 촬영환경 조정 메시지를 포함하는 디스플레이화면(2901)을 도시한 도면이다.

실시 예에 따라, 멀티미디어 장치는, 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에서, 멀티미디어 장치의 촬영환경에 대한 환경정보를 검색하고, 상기 검색된 환경 정보와, 사용자 제스쳐 인식을 위한 최적 환경정보를 비교하여, 촬영환경을 조정할 수 있고, 상기 촬영환경을 조정함에 있어서 확인 메뉴(2902)를 포함할 수 있다.

또한, 상기 환경정보는, 촬영된 영상의 밝기에 대한 정보를 포함할 수 있다.

즉, 예를 들어, 멀티미디어 장치는, 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상의 촬영환경에 대한 환경정보를 검색한 결과, 영상의 밝기가 어두운 경우, 상기 멀티미디어 장치의 조명부를 온(ON)하거나, 상기 멀티미디어 장치의 디스플레이부에 밝은 색상을 포함하는 디스플레이화면을 디스플레이하여, 상기 촬영환경의 밝기를 향상시킬 수 있다.

다만, 상기 촬영환경을 조정하는 동작을 수행하기 이전에 확인 메뉴(2902)를 통하여, 사용자의 확인 명령을 입력받을 수 있다. 따라서, 사용자로부터 상기 확인 메뉴(2902)의 확인 메뉴항목(2903)이 선택되는 경우, 멀티미디어 장치는, 상기 촬영환경을 조정하기 위한 동작을 수행한다. 반면에, 사용자로부터 상기 확인 메뉴(2902)의 취소 메뉴항목(2904)이 선택되는 경우, 상기 촬영환경을 조정하기 위한 동작을 수행하지 않고, 현재 상태에서 사용자 제스쳐를 인식하기 위한 동작을 수행한다.

따라서, 사용자는, 상기 확인 메뉴(2902)를 통하여, 상기 멀티미디어 장치에 입력되는 영상이 어떠한 점에서 문제가 있는지 인지할 수 있고, 상기 차이점을 극복하기 위해 멀티미디어 장치가 어떠한 동작을 수행할 것인지에 대한 정보를 인지할 수 있다.

도 26은 본 발명의 일 실시 예에 따른 촬영환경 가이드 메시지를 포함하는 디스플레이화면(3001)을 도시한 도면이다.

실시 예에 따라, 멀티미디어 장치는, 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에서 멀티미디어 장치의 촬영환경에 대한 환경정보를 검색하고, 상기 검색된 환경정보와, 사용자 제스쳐 인식을 위한 최적 환경정보를 비교하여, 사용자에게 촬영환경에 대한 가이드 메시지(3002)를 디스플레이할 수 있다

또한, 상기 환경정보는, 촬영된 영상의 밝기에 대한 정보를 포함할 수 있다.

즉, 예를 들어, 멀티미디어 장치는, 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상의 촬영환경에 대한 환경정보를 검색한 결과, 영상의 밝기가 어두운 경우, 상기 촬영환경의 밝기 조절을 유도하기 위한 가이드 메시지(3002)를 디스플레이할 수 있다. 또한, 사용자는 상기 가이드 메시지(3002)를 통하여, 촬영환경의 밝기가 어두운 점을 인지하고, 별도의 조명을 온(ON)하는 등 소정의 동작을 통하여 상기 촬영환경의 문제점을 개선할 수 있다.

또한, 사용자는 확인 메뉴 항목(3003)을 선택하여 상기 개선된 촬영환경에서 멀티미디어 장치가 재촬영을 수행하도록 할 수 있다.

즉, 상기와 같은 가이드 메시지(3002)를 통하여, 현재 멀티미디어 장치의 촬영환경에 대한 문제점을 사용자에게 인지시킴으로써, 원활한 사용자 제스쳐 영상을 획득하도록 도모할 수 있다.

도 27은 본 발명의 일 실시 예에 따른 사용자 선택 메뉴를 포함하는 디스플레이화면(3101)을 도시한 도면이다.

실시 예에 따라, 멀티미디어 장치는, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력되는 영상에서 사용자를 인식하고, 상기 인식되는 사용자가 복수인 경우, 사용자 제스쳐를 입력하는 특정 사용자를 선택받기 위한 사용자 선택 메뉴(3102)를 디스플레이할 수 있다.

즉, 다수의 사용자가 동시에 멀티미디어 장치를 통하여 소정의 컨텐츠를 이용하거나 서비스를 제공받을 수 있으므로, 상기 다수의 사용자 중, 상기 멀티미디어 장치에 대한 제어권을 가지고, 상기 멀티미디어 장치를 제어하기 위한 사용자 제스쳐를 입력하는 사용자를 특정하기 위한 사용자 선택 메뉴(3102)를 디스플레이할 수 있다.

상기 사용자 선택 메뉴(3102)는, 상기 멀티미디어 장치에서 인식된 사용자 각각에 대한 사용자 정보(3103, 3104)를 포함할 수 있다.

상기 사용자 정보는 도 27에 도시한 바와 같이, 상기 멀티미디어 장치의 이미지 센싱부를 통하여 입력된 영상에서, 각 사용자의 안면부를 검색하고, 상기 검색된 안면부가 위치하는 부분의 영상을 크롭핑(cropping)한 크롭핑 영상(3103, 3104)을 포함할 수 있다.

또한, 상기 각 사용자의 안면부를 포함하는 영상 정보와 함께, 상기 각 사용자의 안면부에 대한 정보에 기초하여, 사용자 이름 또는 사용자 ID(Identification)을 검색하고, 상기 검색된 이름 또는 ID에 관한 정보를 포함하여 디스플레이할 수 있다.

사용자는, 상기 사용자 선택메뉴(3102)가 디스플레이되면, 포인터(3105)를 이동시켜, 상기 각 사용자에 대한 사용자 정보(3103, 3104) 중, 어느 하나의 사용자 정보를 선택할 수 있고, 멀티미디어 장치는 상기 선택신호가 수신되면, 상기 선택된 사용자 정보에 대응하는 사용자가 입력하는 사용자 제스쳐만을 멀티미디어 장치의 제어신호로써 인식할 수 있다.

또한, 사용자는 상기 사용자 선택메뉴(3102)의 취소 메뉴 항목(3106)의 선택신호를 멀티미디어 장치에 입력하여, 상기 사용자 선택메뉴(3102)를 디스플레이화면상에서 제거할 수 있다.

즉, 상기 사용자 정보(3103, 3104)가 디스플레이된 각 사용자 중, 제어권을 가진 사용자가 포함되어 있지 않거나, 멀티미디어 장치에 사용자 제스쳐를 입력하기 위한 단계를 종료하고자 하는 경우, 사용자는 상기 취소 메뉴항목(3105)을 선택하여, 상기 사용자 선택메뉴(3102)가 디스플레이되기 이전의 상태로 복귀할 수 있다.

따라서, 사용자는, 멀티미디어 장치를 동시에 복수의 사용자가 이용하는 경우에도, 상기 사용자 선택메뉴(3102)를 통하여, 사용자 제스쳐를 입력하여 멀티미디어 장치를 제어할 특정 사용자를 선택하여 원활한 사용자 제스쳐 입력이 가능하다.

본 발명에 따른 멀티미디어 장치 및 그 동작 방법은 상기한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

한편, 본 발명의 멀티미디어 장치의 동작방법은 멀티미디어 장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.

100: 멀티미디어 장치
105: 방송 수신부
110: 튜너
120: 복조부
130: 네트워크 인터페이스부
135: 외부장치 인터페이스부
140: 저장부
150: 사용자입력 인터페이스부
170: 제어부
180: 디스플레이부
185: 오디오 출력부
190: 전원 공급부
200: 원격 제어장치

Claims (14)

1. 멀티미디어 장치의 사용자 제스쳐 인식 방법에 있어서,
   이미지 센싱부를 동작하여 사용자 영상을 입력받는 단계;
   상기 이미지 센싱부를 통해 입력된 영상에서, 사용자 제스쳐를 인식하는 단계;
   상기 사용자 제스쳐가 인식되지 않는 경우, 상기 이미지 센싱부를 통해 입력된 영상 및 에러메시지를 디스플레이하는 단계; 및
   상기 사용자 영상을 입력받는 단계로 복귀하는 단계
   를 포함하는 멀티미디어 장치의 사용자 제스쳐 인식 방법.
2. 제1항에 있어서,
   상기 에러메시지를 디스플레이하는 단계는,
   상기 입력된 영상에 포함된 사물을 인식하는 단계;
   상기 인식된 사물 중, 예상되는 인식장애물을 검색하는 단계;
   상기 입력된 영상에서, 상기 검색된 인식장애물이 위치하는 부분의 영상을 크롭핑(cropping)하는 단계; 및
   상기 크롭핑된 영상과 에러메시지를 디스플레이하는 단계
   를 포함하는 멀티미디어 장치의 사용자 제스쳐 인식 방법.
3. 제1항에 있어서,
   상기 사용자 제스쳐를 인식하는 단계는,
   상기 사용자의 위치를 트래킹(tracking)하는 단계;
   상기 트래킹된 사용자 위치가 상기 이미지 센싱부의 인식 가능 영역을 벗어났는지 검색하는 단계; 및
   상기 검색 결과, 상기 인식 가능 영역을 벗어난 경우, 현재 사용자 위치에 대한 정보를 포함하는 에러메시지를 디스플레이하는 단계
   를 포함하는 멀티미디어 장치의 사용자 제스쳐 인식 방법.
4. 제1항에 있어서,
   상기 사용자 제스쳐를 인식하는 단계는,
   상기 사용자의 거리정보를 획득하는 단계;
   멀티미디어 장치에서 현재 이용중인 컨텐츠에 기초하여, 사용자 제스쳐 인식을 위한 최적 거리정보를 검색하는 단계;
   상기 검색된 최적 거리정보와 상기 획득된 사용자 거리정보를 비교하는 단계; 및
   상기 비교 결과에 기초하여, 가이드 메시지를 디스플레이하는 단계
   를 포함하는 멀티미디어 장치의 사용자 제스쳐 인식 방법.
5. 제1항에 있어서,
   상기 사용자 제스쳐를 인식하는 단계는,
   상기 이미지 센싱부를 통해 입력된 영상에서, 사용자의 안면을 인식하는 단계;
   상기 인식된 안면이 복수인 경우, 상기 입력된 영상에서 상기 인식된 각 안면이 위치하는 부분의 영상을 크롭핑(cropping)하는 단계;
   상기 크롭핑된 각 안면 영상을 디스플레이하는 단계;
   상기 디스플레이된 각 안면 영상 중 어느 하나 이상의 안면 영상 선택신호를 수신하는 단계; 및
   상기 선택된 안면 영상에 대응하는 사용자의 사용자 제스쳐를 인식하는 단계
   를 포함하는 멀티미디어 장치의 사용자 제스쳐 인식 방법.
6. 멀티미디어 장치의 사용자 인식방법에 있어서,
   이미지 센싱부를 동작하여 사용자 영상을 입력받는 단계;
   상기 이미지 센싱부를 통하여 입력된 영상에서, 상기 이미지 센싱부의 촬영환경에 대한 환경정보를 인식하는 단계;
   상기 인식된 환경정보가 상기 사용자 인식을 위한 최적환경에 일치하는지 비교하는 단계; 및
   상기 비교 결과, 상기 최적 환경에 일치하지 않는 경우, 상기 촬영환경을 조정하기 위한 가이드 메시지를 출력하거나, 디스플레이화면을 조정하는 단계
   를 포함하는 멀티미디어 장치의 사용자 인식방법.
7. 제6항에 있어서,
   상기 디스플레이화면을 조정하는 단계는,
   상기 비교 결과에 기초하여, 상기 디스플레이화면에 하나 이상의 색상을 디스플레이하는 단계
   를 포함하는 멀티미디어 장치의 사용자 인식방법.
8. 사용자 제스쳐 인식이 가능한 멀티미디어 장치에 있어서,
   사용자 영상을 입력받는 이미지 센싱부;
   상기 이미지 센싱부를 통하여 입력된 영상에서 사용자 제스쳐를 인식하는 인식부;
   상기 인식부에서 상기 사용자 제스쳐를 인식하지 못한 경우, 에러 메시지를 생성하는 메시지 생성부; 및
   상기 이미지 센싱부를 통하여 입력된 영상 및 상기 메시지 생성부에서 생성된 에러 메시지를 디스플레이하고, 상기 이미지 센싱부에서 다시 사용자 영상을 입력받도록 제어하는 제어부
   를 포함하는 사용자 제스쳐 인식이 가능한 멀티미디어 장치.
9. 제8항에 있어서,
   상기 멀티미디어 장치는,
   사용자 제스쳐를 인식하지 못한 경우에 있어서, 예상되는 인식장애물에 대한 정보를 저장하는 저장부
   를 더 포함하고,
   상기 메시지 생성부는,
   상기 이미지 센싱부를 통하여 입력된 영상에 포함된 사물을 인식하고, 상기 저장부를 통하여 상기 인식된 사물 중, 예상되는 인식장애물을 검색하여, 상기 검색된 인식장애물에 대한 에러메시지를 생성하고,
   상기 제어부는,
   상기 이미지 센싱부를 통하여 입력된 영상에서, 상기 검색된 인식장애물이 위치하는 부분의 영상을 크롭핑(cropping)하고, 상기 크롭핑된 영상과 상기 에러메시지를 디스플레이하도록 제어하는
   사용자 제스쳐 인식이 가능한 멀티미디어 장치.
10. 제8항에 있어서,
    상기 이미지 센싱부는,
    상기 사용자의 위치를 트래킹(tracking)하고,
    상기 메시지 생성부는,
    상기 트래킹된 사용자 위치가 상기 이미지 센싱부의 인식 가능 영역을 벗어난 경우, 현재 사용자 위치에 대한 정보를 포함하는 에러메시지를 생성하는,
    사용자 제스쳐 인식이 가능한 멀티미디어 장치.
11. 제8항에 있어서,
    상기 멀티미디어 장치는,
    멀티미디어 장치에서 이용중인 컨텐츠에 기초하는, 사용자 제스쳐 인식을 위한 사용자의 최적 거리정보를 저장하는 저장부
    를 더 포함하고,
    상기 이미지 센싱부는,
    상기 사용자의 거리정보를 획득하고,
    상기 메시지 생성부는,
    상기 저장부에 저장된 최적 거리정보와 상기 사용자의 거리정보를 비교하여, 상기 비교 결과에 따른 가이드 메시지를 포함하는 에러메시지를 생성하는
    사용자 제스쳐 인식이 가능한 멀티미디어 장치.
12. 제8항에 있어서,
    상기 제어부는,
    상기 이미지 센싱부를 통하여 입력된 영상에서 사용자의 안면을 검색하고, 상기 검색된 안면이 복수인 경우, 상기 입력된 영상에서 상기 인식된 각 안면을 포함하는 부분의 영상을 크롭핑(cropping)하고, 상기 크롭핑된 각 안면 영상을 디스플레이하여, 어느 하나의 안면 영상 선택 신호를 수신하고, 상기 선택된 안면 영상에 대응하는 사용자의 사용자 제스쳐를 인식하도록 제어하는
    사용자 제스쳐 인식이 가능한 멀티미디어 장치.
13. 사용자 인식이 가능한 멀티미디어 장치에 있어서,
    사용자 영상을 입력받는 이미지 센싱부;
    상기 이미지 센싱부를 통하여 입력된 영상에서, 상기 멀티미디어 장치의 촬영환경에 대한 환경정보를 인식하는 인식부;
    상기 사용자 인식을 위한 최적 환경에 대한 정보를 저장하는 저장부; 및
    상기 인식부에서 인식된 환경정보가, 상기 저장된 최적 환경에 대한 정보와 일치하지 않는 경우, 상기 촬영환경을 조정하기 위한 가이드 메시지를 디스플레이하거나, 디스플레이화면을 조정하도록 제어하는 제어부
    를 포함하는 사용자 인식이 가능한 멀티미디어 장치.
14. 제13항에 있어서,
    상기 제어부는,
    상기 저장된 최적 환경 정보에 따라, 하나 이상의 색상을 포함하는 디스플레이화면을 디스플레이하도록 제어하는
    사용자 인식이 가능한 멀티미디어 장치.

Images