KR20130078494A - 디스플레이 장치 및 그의 제어 방법 - Google Patents

디스플레이 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR20130078494A
KR20130078494A KR1020110147471A KR20110147471A KR20130078494A KR 20130078494 A KR20130078494 A KR 20130078494A KR 1020110147471 A KR1020110147471 A KR 1020110147471A KR 20110147471 A KR20110147471 A KR 20110147471A KR 20130078494 A KR20130078494 A KR 20130078494A
Authority
KR
South Korea
Prior art keywords
user
voice
mode
display apparatus
facial expression
Prior art date
Application number
KR1020110147471A
Other languages
English (en)
Inventor
강근석
나문성
서제환
양근삼
이승복
이천성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110147471A priority Critical patent/KR20130078494A/ko
Publication of KR20130078494A publication Critical patent/KR20130078494A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders

Abstract

디스플레이 장치 및 그의 제어 방법이 제공된다. 본 디스플레이 장치의 제어 방법은 촬영을 수행하여, 촬영된 이미지상에서 사용자 얼굴 부분을 검출하고, 사용자 얼굴 부분에서 기 설정된 표정이 인식되면, 디스플레이 장치의 모드를 음성 제어 모드 또는 모션 제어 모드로 전환한다. 이에 의해, 사용자는 보다 직관적이고 간편하게 디스플레이 장치의 모드를 음성 제어 모드 또는 모션 제어 모드로 전환할 수 있게 된다.

Description

디스플레이 장치 및 그의 제어 방법{Display apparatus and Method for controlling display apparatus thereof}
본 발명은 디스플레이 장치 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는 사용자의 음성 또는 사용자의 모션을 이용하여 제어되는 디스플레이 장치 및 그의 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 종류의 디스플레이 장치가 개발되어 보급되고 있다. 특히, 최근에는 TV를 비롯한 다양한 유형의 디스플레이 장치들이 일반 가정에서 사용되고 있다. 이들 디스플레이 장치들은 사용자의 요구에 따라 점차 다양한 기능을 구비하게 되었다. 특히, TV의 경우, 최근에는 인터넷과 연결되어 인터넷 서비스까지 지원하고 있다. 또한, 사용자는 TV를 통해 많은 수의 디지털 방송 채널까지 시청할 수 있게 되었다.
이에 따라, 디스플레이 장치의 다양한 기능들을 효율적으로 사용하기 위한 다양한 입력 방법이 요구되고 있다. 예를 들어, 리모컨을 이용한 입력 방법, 마우스를 이용한 입력 방법 및 터치 패드를 이용한 입력 방법 등이 디스플레이 장치에 적용되고 있다. 특히, 근래에는 디스플레이 장치를 더욱 효율적이고 직관적으로 제어하기 위해, 음성 인식 및 모션 인식을 이용한 입력 방법이 각광을 받고 있다.
음성 인식 및 모션 인식을 이용하여 디스플레이 장치를 제어하기 위해서는 음성 인식 및 모션 인식을 이용하여 디스플레이 장치를 제어하기 위한 각각의 모드로 진입해야 한다. 예를 들어, 음성 인식을 이용하여 디스플레이 장치를 제어하기 위해서는 음성 제어 모드로 진입해야 하고, 모션 인식을 이용하여 디스플레이 장치를 제어하기 위해서는 모션 제어 모드로 진입해야 한다.
종래에는 음성 인식 및 모션 인식을 수행하기 위한 모드로 진입하기 위해서는 디스플레이 장치의 설정 메뉴에 진입하여 모드를 전환하거나 리모컨 버튼을 이용하여 모드를 전환하였다. 이러한 모드 전환 방법은 리모컨이 주위에 있는 경우에만 적용될 수 있는 문제점이 존재한다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자의 얼굴을 인식하여 기 설정된 표정이 검출된 경우, 음성 제어 모드 또는 모션 제어 모드로 전환되는 디스플레이 장치 및 그의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 디스플레이 장치의 제어 방법은, 촬영을 수행하는 단계; 촬영된 이미지상에서 사용자 얼굴 부분을 검출하는 단계; 및 상기 사용자 얼굴 부분에서 기 설정된 표정이 인식되면, 상기 디스플레이 장치의 모드를 음성 제어 모드로 전환하는 단계;를 포함한다.
그리고, 상기 사용자 얼굴 부분의 특징부를 검출하는 단계; 및 상기 특징부가 기 설정된 형태로 변경되면 상기 기 설정된 표정이 발생한 것으로 인식하는 단계;를 더 포함할 수 있다.
또한, 상기 기 설정된 표정은, 스마일 표정일 수 있다.
그리고, 상기 기 설정된 표정을 등록하기 위해 상기 디스플레이 장치에서 사용자의 얼굴을 촬영하는 단계; 상기 촬영된 사용자의 얼굴 표정과 대응되는 디스플레이 장치의 모드를 설정하는 단계; 및 상기 촬영된 사용자의 얼굴 표정과 상기 디스플레이 장치의 모드를 매핑하여 저장하는 단계;를 포함할 수 있다.
또한, 상기 음성 제어 모드로 전환되면, 디스플레이 화면에 상기 음성 제어 모드로 전환되었음을 안내하는 메시지를 디스플레이하는 단계;를 더 포함할 수 있다.
그리고, 상기 음성 제어 모드로 전환되면, 디스플레이 화면에 상기 음성 제어 모드를 수행하기 위한 음성 가이드 정보를 디스플레이하는 단계;를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 디스플레이 장치는 촬영을 수행하는 촬영부; 촬영된 이미지상에서 사용자 얼굴 부분을 검출하고, 상기 검출된 사용자 얼굴 부분에서 기 설정된 표정이 인식되면, 상기 디스플레이 장치의 모드를 음성 제어 모드로 전환하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 사용자 얼굴 부분의 특징부를 검출하고, 상기 특징부가 기 설정된 형태로 변경되면 상기 기 설정된 표정이 발생한 것으로 인식할 수 있다.
또한, 상기 기 설정된 표정은, 스마일 표정일 수 있다.
그리고, 저장부;를 더 포함하고, 상기 제어부는, 상기 기 설정된 표정을 등록하기 위해 상기 디스플레이 장치에서 사용자의 얼굴이 촬영되면, 상기 촬영된 사용자의 얼굴 표정과 대응되는 디스플레이 장치의 모드를 설정하고, 상기 촬영된 사용자의 얼굴 표정과 상기 디스플레이 장치의 모드를 매핑하여 상기 저장부에 저장할 수 있다.
또한, 디스플레이부;를 더 포함하고, 상기 제어부는, 상기 음성 제어 모드로 전환되면, 상기 디스플레이부를 제어하여 상기 음성 제어 모드로 전환되었음을 안내하는 메시지를 디스플레이할 수 있다.
그리고, 디스플레이부;를 더 포함하고, 상기 제어부는, 상기 음성 제어 모드로 전환되면, 상기 디스플레이부를 제어하여 상기 음성 제어 모드를 수행하기 위한 음성 가이드 정보를 디스플레이할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 디스플레이 장치의 제어 방법은, 촬영을 수행하는 단계; 촬영된 이미지상에서 사용자 얼굴 부분을 검출하는 단계; 및 상기 사용자 얼굴 부분에서 기 설정된 표정이 인식되면, 상기 디스플레이 장치의 모드를 모션 제어 모드로 전환하는 단계;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 디스플레이 장치는, 촬영을 수행하는 촬영부; 촬영된 이미지상에서 사용자 얼굴 부분을 검출하고, 상기 검출된 사용자 얼굴 부분에서 기 설정된 표정이 인식되면, 상기 디스플레이 장치의 모드를 모션 제어 모드로 전환하는 제어부;를 포함한다.
상술한 바와 같은 본 발명의 다양한 실시 예에 의하면, 사용자는 보다 직관적이고 간편하게 디스플레이 장치의 모드를 음성 제어 모드 또는 모션 제어 모드로 전환할 수 있게 된다.
도 1 및 도 2는 본 발명의 일 실시 예에 따른, 디스플레이 장치의 구성을 나타내는 블럭도,
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른, 사용자 얼굴의 스마일 표정을 인식하는 방법을 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른, 음성 제어 모드 진입 시 생성되는 음성 태스크 정보를 도시한 도면,
도 5 및 도 6은 본 발명의 다양한 실시 예에 따른, 사용자 얼굴의 표정을 이용하여 디스플레이 장치의 모드를 전환하는 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하기로 한다.도 1은 본 발명의 일 실시예에 따른, 디스플레이 장치(100)의 구성을 나타내는 블럭도이다. 도 1에 도시된 바와 같이, 디스플레이 장치(100)는 촬영부(110) 및 제어부(150)를 포함한다.
촬영부(110)는 사용자의 얼굴을 촬상한 영상 신호(예를 들어, 프레임)를 입력받아 제어부(150)로 전송한다. 특히, 촬영부(110)는 렌즈 및 이미지 센서로 구성되는 카메라 유닛으로 구현될 수 있다.
제어부(150)는 촬영부(110)에서 촬영된 사용자 얼굴을 분석하여 사용자의 기설정된 표정을 검출한다. 이때, 제어부(150)는 사용자 얼굴 부분의 특징부(예를 들어, 눈, 치아, 입술 등)를 검출하여 사용자의 기설정된 표정을 검출한다. 여기서, 사용자의 기설정된 표정은 스마일 표정일 수 있다. 또는 사용자의 기설정된 표정은 사용자가 기등록한 표정일 수 있다.
기설정된 표정이 검출되면, 제어부(150)는 디스플레이 장치(100)의 모드를 음성 태스크 모드 및 모션 태스크 모드 중 하나로 전환한다. 예를 들어, 사용자의 스마일 표정 또는 제1 기 등록된 표정이 검출되면, 제어부(150)는 디스플레이 장치(100)의 모드를 음성 태스크 모드로 전환할 수 있다. 또는 사용자의 제2 기 등록된 표정이 검출되면, 제어부(150)는 디스플레이 장치(100)의 모드를 모션 태스크 모드로 전환할 수 있다.
음성 태스크 모드로 전환하는 실시예에 대해서는 도 2 내지 도 4를 참조하여 더욱 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른, 디스플레이 장치(100)의 구성을 나타내는 블럭도이다. 도 2에 도시된 바와 같이, 디스플레이 장치(100)는 촬영부(110), 음성 입력부(120), 저장부(130), 디스플레이부(140) 및 제어부(150)를 포함한다. 이때, 디스플레이 장치(100)는 TV, PC, 휴대폰 등과 같은 장치로 구현될 수 있으나 이에 한정되는 것은 아니다.
촬영부(110)는 사용자의 모션 또는 사용자의 얼굴을 촬상한 영상 신호(예를 들어, 프레임)를 입력받아 제어부(150)로 전송한다. 특히, 촬영부(110)는 렌즈 및 이미지 센서로 구성되는 카메라 유닛으로 구현될 수 있다. 또한, 촬영부(110)는 디스플레이 장치(100)와 일체형으로 구현될 수 있을 뿐만 아니라 분리된 형태로 구현될 수 있다. 분리된 촬영부(110)는 리모컨 등의 별도의 입력 장치에 포함될 수 있다. 또한, 분리된 촬영부(110)는 디스플레이 장치(100)와 유선 또는 무선 네트워크로 연결될 수 있다.
음성 입력부(120)는 사용자가 발화(utterance)한 음성을 입력받는다. 음성 입력부(120)는 입력된 음성 신호를 전기 신호로 변환하여 제어부(150)로 출력한다. 이때, 음성 입력부(120)는 마이크로 구현될 수 있다. 또한, 음성 입력부(120)는 디스플레이 장치(100)와 일체형(all-in-one)으로 구현될 수 있을 뿐만 아니라 분리된 형태로 구현될 수 있다. 분리된 음성 입력부(120)는 리모컨 등의 별도의 입력 장치에 포함될 수 있다. 또한, 분리된 음성 입력부(120)는 디스플레이 장치(100)와 유선 또는 무선 네트워크를 통하여 연결될 수 있다.
저장부(130)는 디스플레이 장치(100)를 구동하고 제어하기 위한 다양한 데이터 및 프로그램을 저장한다. 저장부(130)는 촬영부(110)를 통해 입력된 모션 및 음성 입력부(120)를 통해 입력된 음성을 인식하기 위한 모션 인식 모듈 및 음성 인식 모듈을 저장한다.
또한, 저장부(130)는 음성 데이터베이스 및 모션 데이터베이스를 포함할 수 있다. 음성 데이터베이스는 기 설정된 음성 및 기 설정된 음성에 매칭되는 음성 태스크가 기록된 데이터베이스를 의미한다. 모션 데이터베이스는 기 설정된 모션 및 기 설정된 모션에 매칭되는 모션 태스크가 기록된 데이터베이스를 의미한다.
또한, 저장부(130)는 사용자의 기 설정된 얼굴을 인식하기 위한 얼굴 인식 모듈을 저장할 수 있다. 또한, 저장부(130)는 사용자에 의해 저장된 사용자의 기 설정된 표정과 디스플레이 장치의 모드(예를 들어, 음성 제어 모드, 모션 제어 모드)를 맵핑하여 저장할 수 있다.
디스플레이부(140)는 방송 수신부(미도시)를 통해 수신된 방송 신호에 대응되는 영상을 표시한다. 디스플레이부(140)는 외부 단자 입력부(미도시)를 통해 입력되는 컨텐츠 영상을 표시할 수 있다. 또한, 디스플레이부(140)는 제어부(150)의 제어에 의해 음성 태스크를 수행하기 위한 음성 가이드 정보 및 모션 태스크를 수행하기 위한 모션 가이드 정보를 표시할 수 있다.
제어부(150)는 사용자의 명령에 따라 촬영부(110), 음성 입력부(120), 저장부(130) 및 디스플레이부(140)를 제어한다. 제어부(150)는 CPU(central processing unit) 및 디스플레이 장치(100)를 제어하기 위한 모듈 및 데이터를 저장하는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
특히, 제어부(150)는 촬영부(110)에서 촬영되는 사용자의 얼굴을 이용하여 기 설정된 표정을 인식할 수 있다. 구체적으로, 제어부(150)는 촬영부(110)에서 촬영되는 이미지를 분석하여 사용자의 얼굴 부분을 검출한다. 그리고, 제어부(150)는 사용자 얼굴 부분의 특징부를 검출한다. 이때, 사용자 얼굴의 특징부는 사용자의 눈, 입술, 치아 등이 포함될 수 있다. 그리고, 특징부가 기 설정된 형태로 변경되면, 제어부(150)는 기 설정된 표정이 발생한 것으로 인식할 수 있다.
특히, 도 3a에 도시된 바와 같이, 제어부(150)는 촬영부(110)를 통해 촬영된 이미지에 포함된 인물(310)로부터 얼굴 부분을 검출한다. 그리고, 도 3b에 도시된 바와 같이, 촬영된 이미지에 포함된 인물(310)로부터 얼굴의 특징부가 스마일 형태(예를 들어, 눈이 작아지고, 입술이 벌어지며, 치아가 보이는 형태)로 변경되면, 제어부(150)는 기 설정된 표정으로 스마일 표정을 인식할 수 있다.
한편, 상술한 실시 예에서는 기 설정된 표정이 스마일 표정인 것으로 상정하였으나, 이는 일 실시 예에 불과할 뿐, 사용자에 의해 기 등록된 표정일 수 있다. 기설정된 표정이 사용자에 의해 기 등록된 표정인 경우, 디스플레이 장치(100)는 사용자의 표정과 모드를 매칭하여 저장하는 과정을 포함할 수 있다. 즉, 표정 설정 모드에 진입되면, 촬영부(110)는 기 설정된 표정을 등록하기 위해 디스플레이 장치(100)에서 사용자의 얼굴을 촬영한다. 그리고, 사용자의 조작에 의해 촬영된 사용자의 얼굴 표정과 대응되는 디스플레이 장치의 모드가 설정되면, 제어부(150)는 촬영된 사용자의 얼굴 표정과 디스플레이 장치(100)의 모드를 매핑하여 저장부(130)에 저장할 수 있다. 예를 들어, 사용자의 제1 표정이 음성 제어 모드와 매핑되어 저장될 수 있고, 사용자의 제2 표정이 모션 제어 모드와 매핑되어 저장될 수 있다.
기 설정된 표정이 인식되면, 제어부(150)는 디스플레이 장치(100)의 모드를 리모컨 제어 모드에서 음성 제어 모드로 전환한다. 이때, 음성 제어 모드라 함은, 음성 입력부(120)를 통해 입력된 사용자 음성에 의해 디스플레이 장치(100)가 제어되는 모드이다.
음성 제어 모드로 전환되면, 제어부(150)는 도 4에 도시된 바와 같이, 디스플레이부(140)에 음성 제어 모드로 전환되었음을 안내하는 메시지(410) 및 음성 제어 모드를 수행하기 위한 음성 가이드 정보(420)를 디스플레이할 수 있다.
이때, 안내 메시지(410)에는 음성 제어 모드에 진입하였음을 사용자에게 피드백 해주는 별도의 문구로 구성될 수 있다. 예를 들어, 안내 메시지(410)에는 "음성 제어 모드에 진입하였습니다. 말만 하세요."라는 문구가 포함될 수 있다. 따라서, 사용자는 디스플레이 장치의 현재 모드가 음성 제어 모드임을 알 수 있다.
그리고, 안내 메시지(410)는 기설정된 시간(예를 들어, 2초) 이후에 디스플레이 화면에서 제거될 수 있다. 또는 안내 메시지(410)는 음성 입력부(120)를 통해 사용자 음성이 입력되면, 디스플레이 화면에서 제거될 수 있다.
또한, 음성 가이드 정보(420)는 방송 영상이 디스플레이되는 화면 하단에 디스플레이 된다. 이때, 음성 가이드 정보(420)의 위치는 시청에 제한을 받지 않는 어떤 위치의 경우도 포함될 수 있다. 또한, 음성 가이드 정보(420)는 현재 디스플레이 장치의 모드가 음성 제어 모드임을 알리는 아이콘(421) 및 사용자의 음성을 안내하는 복수의 음성 아이템(422 내지 428)이 포함된다. 복수의 음성 아이템에는 도 4에 도시된 바와 같이, 전원끄기 음성 아이템(422), 외부입력 음성 아이템(423), 채널 바로가기 음성 아이템(424), 채널 올려/내려(UP/DOWN) 음성 아이템(425), 볼륨 올려/내려(UP/DOWN) 음성 아이템(426), 소리끄기 음성 아이템(427) 및 MORE 음성 아이템(428)이 포함될 수 있다. MORE 음성 아이템(428)은 디스플레이된 음성 아이템 이외의 음성 아이템을 더 보기 위한 아이템이다. 그러나, 상술한 바와 같은 음성 가이드 정보(420)에 포함된 음성 아이템은 일 실시 예에 불과할 뿐, 다른 음성 아이템(예를 들어, 채널 리스트 음성 아이템 등)이 포함될 수 있다. 또한, 안내 메시지(410) 및 음성 가이드 정보(420)는 단순 명령 처리가 아니라 다양한 사용자 시나리오로 동작 가능한 가이드(예를 들어, 자연어 검색 기반의 처리 등)가 포함될 수 있다.
한편, 도 4에서는 안내 메시지(410) 및 음성 가이드 정보(420)가 함께 디스플레이되는 것으로 설명하였으나, 안내 메시지(410) 및 음성 가이드 정보(420) 중 하나만 디스플레이될 수 있다.
그리고, 음성 입력부(120)를 통해 사용자 음성이 입력되면, 제어부(150)는 사용자 음성을 인식한다. 구체적으로, 제어부(150)는 음성 입력부(120)를 통해 음성이 입력되는 경우, 음성 인식 모듈 및 음성 데이터베이스를 이용하여 음성을 인식한다. 음성 인식(voice recognition)은 입력되는 음성의 형태에 따라, 각각의 단어를 구분하여 발화한 음성을 인식하는 고립단어 인식(isolated word recognition), 연속단어, 연속문장 및 대화체 음성을 인식하는 연속 음성 인식(continuous speech recognition) 및 고립단어 인식과 연속음성 인식의 중간형태로, 미리 정해진 핵심어를 검출하여 인식하는 핵심어 검출(keyword spotting)으로 구분될 수 있다.
특히, 사용자 음성이 입력되는 경우, 제어부(150)는 입력된 음성 신호 내에서 사용자가 발화한 음성의 시작과 끝을 검출하여 음성 구간을 판단한다. 제어부(150)는 입력된 음성 신호의 에너지를 계산하고, 계산된 에너지에 따라 음성 신호의 에너지 레벨을 분류하여, 동적 프로그래밍을 통해 음성 구간을 검출할 수 있다. 제어부(150)는 검출된 음성 구간 내의 음성 신호에서 음향 모델(Acoustic Model)을 기초로 음성의 최소 단위인 음소를 검출하여 음소 데이터를 생성한다. 제어부(150)는 생성된 음소 데이터에 HMM(Hidden Markov Model) 확률 모델을 적용하여 텍스트 정보를 생성한다. 그러나, 상술한 바와 같이, 사용자의 음성을 인식하는 방법은 일 실시 예에 불과할 뿐, 다른 방법을 이용하여 사용자 음성을 인식할 수 있다.
그리고, 제어부(150)는 인식된 사용자 음성이 포함된 음성 아이템에 대응되는 디스플레이 장치(100)의 기능을 수행한다. 예를 들어, 인식된 사용자 음성이 "소리끄기"인 경우, 제어부(150)는 소리끄기 음성 아이템(327)에 대응되는 소리끄기 기능을 수행할 수 있다.
상술한 바와 같은 디스플레이 장치(100)에 의해, 사용자는 보다 직관적이고 간편하게 디스플레이 장치의 모드를 음성 제어 모드로 전환하여, 디스플레이 장치(100)를 제어할 수 있다.
이하에서는 도 5를 참조하여, 기 설정된 표정을 인식하여 디스플레이 장치(100)의 모드를 전환하는 방법에 대해 설명하기로 한다.
우선, 디스플레이 장치(100)는 촬영부(110)를 이용하여 사용자를 촬영한다(S510).
그리고, 디스플레이 장치(100)는 촬영된 이미지상에서 사용자의 얼굴을 검출한다(S520). 이때, 디스플레이 장치(100)는 사용자의 얼굴을 검출하고, 검출된 사용자 얼굴의 특징부에 대한 변화를 검출한다.
그리고, 디스플레이 장치(100)는 사용자 얼굴에서 기설정된 표정이 인식되었는지 여부를 판단한다(S530). 구체적으로, 디스플레이 장치(100)는 검출된 사용자 얼굴의 특징부에 대한 변화를 검출하고, 특징부가 기 설정된 형태로 변경되면, 기 설정된 표정(예를 들어, 스마일 표정 또는 제1 기등록된 표정)이 발생된 것으로 인식할 수 있다.
기설정된 표정이 인식된 것으로 판단되면(S530-Y), 디스플레이 장치(100)는 디스플레이 장치(100)의 모드를 음성 제어 모드로 전환한다(S540). 이때, 음성 제어 모드는 디스플레이 장치(100)를 음성 입력부(120)를 통해 입력된 사용자의 음성에 의해 제어되는 모드이다. 그리고, 음성 제어 모드로 전환되면, 디스플레이 장치(100)는 디스플레이 장치(100)가 음성 제어 모드로 전환되었다는 안내 메시지를 디스플레이할 수 있다.
그리고, 디스플레이 장치(100)는 음성 가이드 정보를 디스플레이할 수 있다(S550). 이때, 음성 가이드 정보에는 현재 디스플레이 장치(100)의 모드가 음성 제어 모드임을 알리는 아이콘 및 사용자의 음성을 안내하는 복수의 음성 아이템이 포함될 수 있다.
그리고, 디스플레이 장치(100)는 음성 가이드 정보를 이용하여 음성 태스크를 실행한다(S560). 구체적으로, 음성 입력부(120)를 통해 사용자 음성이 입력되면, 디스플레이 장치(100)는 사용자의 음성을 인식하여, 사용자의 음성이 포함된 음성 아이템에 대응되는 음성 태스크를 실행할 수 있다.
한편, 도 2 내지 도 4에서 설명한 실시 예는 기설정된 표정이 인식된 경우, 디스플레이 장치(100)의 모드가 음성 제어 모드로 전환되는 것으로 상정하였으나, 이는 일 실시 예에 불과할 뿐, 디스플레이 장치(100)의 모드가 모션 제어 모드로 전환되는 실시 예 역시 본 발명의 기술적 사상이 적용될 수 있다.
이하에서는 도 6을 참조하여, 모션 태스크 모드로 전환하는 방법에 대해 더욱 상세히 설명하기로 한다.
우선, 디스플레이 장치(100)는 촬영부(110)를 이용하여 사용자를 촬영한다(S610).
그리고, 디스플레이 장치(100)는 촬영된 이미지상에서 사용자의 얼굴을 검출한다(S620). 이때, 디스플레이 장치(100)는 사용자의 얼굴을 검출하고, 검출된 사용자 얼굴의 특징부에 대한 변화를 검출한다.
그리고, 디스플레이 장치(100)는 사용자 얼굴에서 기설정된 표정이 인식되었는지 여부를 판단한다(S630). 구체적으로, 디스플레이 장치(100)는 검출된 사용자 얼굴의 특징부에 대한 변화를 검출하고, 특징부가 기 설정된 형태로 변경되면, 기 설정된 표정(예를 들어, 제2 기등록된 표정)이 발생된 것으로 인식할 수 있다.
기설정된 표정이 인식된 것으로 판단되면(S630-Y), 디스플레이 장치(100)는 디스플레이 장치(100)의 모드를 모션 제어 모드로 전환한다(S640). 이때, 모션 제어 모드는 디스플레이 장치(100)를 촬영부(110)를 통해 입력된 사용자의 모션에 의해 제어되는 모드이다. 그리고, 모션 제어 모드로 전환되면, 디스플레이 장치(100)는 디스플레이 장치(100)가 모션 제어 모드로 전환되었다는 안내 메시지를 디스플레이할 수 있다.
그리고, 디스플레이 장치(100)는 모션 가이드 정보를 디스플레이할 수 있다(S650). 이때, 모션 가이드 정보에는 현재 디스플레이 장치(100)의 모드가 모션 제어 모드임을 알리는 아이콘 및 사용자의 모션을 안내하는 복수의 모션 아이템이 포함될 수 있다.
그리고, 디스플레이 장치(100)는 모션 가이드 정보를 이용하여 모션 태스크를 실행한다(S560). 구체적으로, 촬영부(110)를 통해 사용자 모션이 입력되면, 디스플레이 장치(100)는 사용자의 모션을 인식하여, 사용자의 모션이 포함된 모션 아이템에 대응되는 모션 태스크를 실행할 수 있다.
구체적으로, 디스플레이 장치(100)는 촬영부(110)에 의해 촬영된 사용자의 모션, 모션 인식 모듈 및 모션 데이터베이스를 이용하여 사용자의 모션을 감지할 수 있다. 구체적으로, 모션 인식(motion recognition)은 촬영부(110)를 통해 입력되는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 모션 인식 모듈을 이용하여 주위 배경과 손(예를 들어, 손가락을 펴거나 손가락을 오므려 주먹을 쥐는) 영역으로 분리하고, 연속되는 손의 움직임을 인식할 수 있다. 사용자 모션이 입력되는 경우, 디스플레이 장치(100)는 수신된 영상을 프레임 단위로 저장하고, 저장된 프레임을 이용하여 사용자 모션의 대상인 오브젝트(예를 들어, 사용자의 손)를 감지한다. 디스플레이 장치(100)는 프레임에 포함된 오브젝트의 형태, 색깔, 움직임 중 적어도 하나를 감지하여 오브젝트를 검출한다. 디스플레이 장치(100)는 복수 개의 프레임에 포함된 각각의 오브젝트의 위치를 이용하여 검출된 오브젝트의 움직임을 추적할 수 있다.
그리고, 디스플레이 장치(100)는 추적된 오브젝트의 형태 및 움직임에 따라 모션을 판단한다. 예를 들어, 디스플레이 장치(100)는 오브젝트의 형태의 변화, 속도, 위치, 방향 중 적어도 하나를 이용하여 사용자의 모션을 판단한다. 사용자의 모션은 손을 쥐는 모션인 그랩(grab), 표시된 커서를 손으로 이동시키는 모션인 포인팅 이동(pointing move), 손을 일정 속도 이상으로 한쪽 방향으로 움직이는 모션인 슬랩(slap), 손을 좌/우 또는 상/하로 흔드는 모션인 쉐이크(shake) 및 손을 회전하는 모션인 회전을 포함한다. 상술한 실시 예에 이외의 다른 모션에도 본 발명의 기술적 사상이 적용될 수 있다. 예를 들어, 쥐어진 손을 펴는 스프레드(spread) 모션 등이 더 포함될 수 있다.
또한, 디스플레이 장치(100)의 모션 제어 모드는 리모컨 등 별도 입력 장치에서 입력받은 모션 제어 모드를 포함할 수 있다. 이때, 모션 제어 모드는 모션 기반의 센서인 가속도 센서, 자이로스코프 센서 및 지자계 센서 중 적어도 하나가 장착된 리모컨에서 발생하는 모션 입력에 의해 디스플레이 장치(100)가 제어되는 모드일 수 있다.
디스플레이 장치(100)는 상술한 바와 같이 인식된 사용자의 모션을 이용하여 디스플레이 장치(100)의 기능을 수행할 수 있다. 예를 들어, 사용자의 손이 이동되는 포인팅 이동 모션인 경우, 디스플레이 장치(100)는 디스플레이부(140)에 디스플레이 된 포인터를 이동시킬 수 있다. 또한, 사용자의 모션이 좌측 방향의 슬랩 모션인 경우, 디스플레이 장치(100)는 현재 디스플레이 장치(100)에 설정된 볼륨 레벨을 감소시킬 수 있다. 그러나, 상술한 바와 같은 사용자 모션에 따른 디스플레이 장치(100)의 제어는 일 실시 예에 불과할 뿐, 다른 모션에 의해 디스플레이 장치(100)가 제어될 수 있다.
상술한 바와 같은 디스플레이 장치(100)의 제어 방법에 의해, 사용자는 보다 직관적이고 간편하게 디스플레이 장치의 모드를 음성 제어 모드 또는 모션 제어 모드로 전환하여, 디스플레이 장치(100)를 제어할 수 있다.
이상과 같은 다양한 실시 예에 따른 제어 방법을 수행하기 위한 프로그램 코드는 다양한 유형의 기록 매체에 저장될 수 있다. 구체적으로는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 촬영부 120: 음성 입력부
130: 저장부 140: 디스플레이부
150: 제어부

Claims (14)

  1. 디스플레이 장치의 제어 방법에 있어서,
    촬영을 수행하는 단계;
    촬영된 이미지상에서 사용자 얼굴 부분을 검출하는 단계;
    상기 사용자 얼굴 부분에서 기 설정된 표정이 인식되면, 상기 디스플레이 장치의 모드를 음성 제어 모드로 전환하는 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 사용자 얼굴 부분의 특징부를 검출하는 단계;
    상기 특징부가 기 설정된 형태로 변경되면 상기 기 설정된 표정이 발생한 것으로 인식하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  3. 제2항에 있어서,
    상기 기 설정된 표정은,
    스마일 표정인 것을 특징으로 하는 제어 방법.
  4. 제1항에 있어서,
    상기 기 설정된 표정을 등록하기 위해 상기 디스플레이 장치에서 사용자의 얼굴을 촬영하는 단계;
    상기 촬영된 사용자의 얼굴 표정과 대응되는 디스플레이 장치의 모드를 설정하는 단계; 및
    상기 촬영된 사용자의 얼굴 표정과 상기 디스플레이 장치의 모드를 매핑하여 저장하는 단계;를 포함하는 제어 방법.
  5. 제1항에 있어서
    상기 음성 제어 모드로 전환되면, 디스플레이 화면에 상기 음성 제어 모드로 전환되었음을 안내하는 메시지를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  6. 제1항에 있어서,
    상기 음성 제어 모드로 전환되면, 디스플레이 화면에 상기 음성 제어 모드를 수행하기 위한 음성 가이드 정보를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  7. 디스플레이 장치에 있어서,
    촬영을 수행하는 촬영부;
    촬영된 이미지상에서 사용자 얼굴 부분을 검출하고, 상기 검출된 사용자 얼굴 부분에서 기 설정된 표정이 인식되면, 상기 디스플레이 장치의 모드를 음성 제어 모드로 전환하는 제어부;를 포함하는 디스플레이 장치.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 사용자 얼굴 부분의 특징부를 검출하고, 상기 특징부가 기 설정된 형태로 변경되면 상기 기 설정된 표정이 발생한 것으로 인식하는 것을 특징으로 하는 디스플레이 장치.
  9. 제8항에 있어서,
    상기 기 설정된 표정은,
    스마일 표정인 것을 특징으로 하는 디스플레이 장치.
  10. 제7항에 있어서,
    저장부;를 더 포함하고,
    상기 제어부는,
    상기 기 설정된 표정을 등록하기 위해 상기 디스플레이 장치에서 사용자의 얼굴이 촬영되면, 상기 촬영된 사용자의 얼굴 표정과 대응되는 디스플레이 장치의 모드를 설정하고, 상기 촬영된 사용자의 얼굴 표정과 상기 디스플레이 장치의 모드를 매핑하여 상기 저장부에 저장하는 것을 특징으로 하는 디스플레이 장치.
  11. 제7항에 있어서
    디스플레이부;를 더 포함하고,
    상기 제어부는,
    상기 음성 제어 모드로 전환되면, 상기 디스플레이부를 제어하여 상기 음성 제어 모드로 전환되었음을 안내하는 메시지를 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  12. 제7항에 있어서,
    디스플레이부;를 더 포함하고,
    상기 제어부는,
    상기 음성 제어 모드로 전환되면, 상기 디스플레이부를 제어하여 상기 음성 제어 모드를 수행하기 위한 음성 가이드 정보를 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  13. 디스플레이 장치의 제어 방법에 있어서,
    촬영을 수행하는 단계;
    촬영된 이미지상에서 사용자 얼굴 부분을 검출하는 단계;
    상기 사용자 얼굴 부분에서 기 설정된 표정이 인식되면, 상기 디스플레이 장치의 모드를 모션 제어 모드로 전환하는 단계;를 포함하는 제어 방법.
  14. 디스플레이 장치에 있어서,
    촬영을 수행하는 촬영부;
    촬영된 이미지상에서 사용자 얼굴 부분을 검출하고, 상기 검출된 사용자 얼굴 부분에서 기 설정된 표정이 인식되면, 상기 디스플레이 장치의 모드를 모션 제어 모드로 전환하는 제어부;를 포함하는 디스플레이 장치.
KR1020110147471A 2011-12-30 2011-12-30 디스플레이 장치 및 그의 제어 방법 KR20130078494A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110147471A KR20130078494A (ko) 2011-12-30 2011-12-30 디스플레이 장치 및 그의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110147471A KR20130078494A (ko) 2011-12-30 2011-12-30 디스플레이 장치 및 그의 제어 방법

Publications (1)

Publication Number Publication Date
KR20130078494A true KR20130078494A (ko) 2013-07-10

Family

ID=48991431

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110147471A KR20130078494A (ko) 2011-12-30 2011-12-30 디스플레이 장치 및 그의 제어 방법

Country Status (1)

Country Link
KR (1) KR20130078494A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2572317A (en) * 2018-03-06 2019-10-02 Skoogmusic Ltd Control apparatus and method
KR102091788B1 (ko) * 2019-01-22 2020-03-20 주식회사 아테크넷 영상 디스플레이 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2572317A (en) * 2018-03-06 2019-10-02 Skoogmusic Ltd Control apparatus and method
KR102091788B1 (ko) * 2019-01-22 2020-03-20 주식회사 아테크넷 영상 디스플레이 장치

Similar Documents

Publication Publication Date Title
JP6635049B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5746111B2 (ja) 電子装置及びその制御方法
ES2958183T3 (es) Procedimiento de control de aparatos electrónicos basado en el reconocimiento de voz y de movimiento, y aparato electrónico que aplica el mismo
KR102003267B1 (ko) 전자 장치 및 그의 제어 방법
US20180024985A1 (en) Information processing device, information processing method, and program
KR20130078486A (ko) 전자 장치 및 그의 제어 방법
US11449307B2 (en) Remote controller for controlling an external device using voice recognition and method thereof
CN106105247B (zh) 显示装置及其控制方法
KR101457116B1 (ko) 음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법
CN107430856B (zh) 信息处理系统和信息处理方法
KR20160133305A (ko) 제스쳐 인식 방법, 컴퓨팅 장치 및 제어 장치
KR101237472B1 (ko) 전자 장치 및 그의 제어 방법
US20140189737A1 (en) Electronic apparatus, and method of controlling an electronic apparatus through motion input
JP2013106315A (ja) 情報端末、家電機器、情報処理方法および情報処理プログラム
KR20130078494A (ko) 디스플레이 장치 및 그의 제어 방법
KR20180043627A (ko) 디스플레이 장치 및 디스플레이 장치를 제어하는 방법
KR20130080380A (ko) 전자 장치 및 그의 제어 방법
KR20130078483A (ko) 전자 장치 및 그의 제어 방법
JPWO2018105373A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
US20130174101A1 (en) Electronic apparatus and method of controlling the same
KR101324232B1 (ko) 전자 장치 및 그의 제어 방법
US11461068B2 (en) Display device
KR20150066156A (ko) 디스플레이 장치 및 이의 제어 방법
KR20130078489A (ko) 전자 장치 및 이의 화각 설정 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid