KR20130053739A - 제스처모드 전환방법 및 이를 이용한 멀티미디어 기기 - Google Patents

제스처모드 전환방법 및 이를 이용한 멀티미디어 기기 Download PDF

Info

Publication number
KR20130053739A
KR20130053739A KR1020110119350A KR20110119350A KR20130053739A KR 20130053739 A KR20130053739 A KR 20130053739A KR 1020110119350 A KR1020110119350 A KR 1020110119350A KR 20110119350 A KR20110119350 A KR 20110119350A KR 20130053739 A KR20130053739 A KR 20130053739A
Authority
KR
South Korea
Prior art keywords
face
touch
gesture
camera module
mode
Prior art date
Application number
KR1020110119350A
Other languages
English (en)
Inventor
조영진
Original Assignee
조영진
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조영진 filed Critical 조영진
Priority to KR1020110119350A priority Critical patent/KR20130053739A/ko
Publication of KR20130053739A publication Critical patent/KR20130053739A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제스처 모드 전환방법 및 이를 이용한 멀티미디어가 개시된다. 본 제스처 모드 전환방법은, 기설정된 조건을 만족하는 터치가 입력된 경우, 터치 입력모드를 제스처 입력모드로 전환하는 단계, 카메라 모듈을 구동시켜 피사체를 촬영하는 단계, 상기 피사체에서 얼굴 부분을 분석하는 단계 및 상기 얼굴의 각 부위와 관련된 액션이 감지된 경우, 상기 액션에 대응되는 커맨드를 실행하는 단계를 포함한다. 이에 의해, 사용자가 제스처 모드로 진입하기 위해 메뉴를 찾아들어갈 필요없이 간편하고 쉽게 제스처 모드로 전환시킬 수 있게 되며, 얼굴 표정이나 손가락 하나만으로 간편하게 제스처 모드에서 다양한 제스처에 의한 커맨드들을 입력시킬 수 있게 된다.

Description

제스처모드 전환방법 및 이를 이용한 멀티미디어 기기{Gesture mode conversion method and multimedia apparatus using the same}
본 발명은 제스처모드 전환방법 및 이를 이용한 멀티미디어 기기에 관한 것으로, 보다 상세하게는 터치모드나 리모콘모드에서 제스처모드로 전환하기 위한 방법 및 이를 이용한 멀티미디어 기기에 관한 것이다.
정보통신 기술의 비약적인 발전으로 말미암아 카메라 모듈을 구비하는 스마트 폰의 보급이 널리 확산되고 있다. 스마트 폰은 카메라 모듈을 이용해 사진을 촬영하고 촬영된 사진을 블로그에 게시하거나 꾸밀 수 있게 한다.
한편, 기존에는 화면에 표시된 아이콘, 메뉴나 앵커와 같은 GUI 아이템을 선택하기 위해 리모콘 방식을 사용하거나 터치 스크린 방식을 사용했었으나, 근자에는 카메라 모듈을 이용해 스마트 폰과 같은 멀티미디어 기기를 제어할 수 있는 기술들에 대한 연구가 도처에서 진행되고 있다.
리모콘 방식이나 터치 스크린 방식을 이용해 메뉴로부터 커맨드를 실행시키기 위해서는, 메뉴 화면을 호출할 수 있는 상태로 만들기 위한 조작, 메뉴 화면을 호출하는 조작, 메뉴 화면에서 원하는 커맨드가 표시된 화면으로 이동시키기 위한 조작, 커맨드를 선택하는 조작 등이 필요하다. 또한, 자주 쓰이지 않는 커맨드의 경우, 상세 메뉴로 진입하는 등 추가적인 조작을 통해 실행시켜야 한다.
이와 같이 하나의 커맨드를 실행시키기 위해 다수의 조작을 요하기 때문에, 터치 스크린은, 화면을 직접 터치하여 조작한다는 편리함과 함께, 불편함도 공존하는 것이 사실이며 리모콘 모드에서의 조작도 이와 다르지 않다.
이에 따라, 사진 촬영 목적으로 마련된 카메라 모듈을 이용해 보다 쉽고 간편한 방식으로 커맨드를 실행시키기 위한 방안에 대한 모색의 결과 중 하나가 바로 제스처를 이용한 커맨드 실행이다.
제스처모드에서 사용자는 팔짓, 몸짓 만으로 원하는 커맨드를 실행시킬 수 있게 된다.
그러나 기존에는 리모콘 모드나 터치 모드에서 제스처 모드로 진입하기 위한 과정 자체가 불편하여 제스처 모드에서 멀티미디어 기기를 활용하는 정도가 미미한 것이 사실이다. 특히, 터치 모드에서는 터치 스크린 상의 메뉴 화면 조작을 통해 제스처 모드로 진입하기 위한 아이콘을 서치하고 서치된 아이콘을 선택하는 과정이 사용자에게 상당한 번거로움이었다. 이에 따라 보다 쉽고 간편하게 제스처 모드로 진입할 수 있는 방안의 모색이 요청된다.
뿐만 아니라, 기존에는 팔짓이나 몸짓으로 커맨드를 실행시킬 수 있었기 때문에, 제스처를 이용한 커맨드 실행이 기존의 리모콘이나 터치 스크린을 이용하는 것보다 더 번거롭고 불편하였던 것이 사실이다. 예를 들어, 사용자가 누워서 멀티미디어 기기를 조작하거나 공공장소에서 멀티미디어 기기를 조작하는 경우, 팔짓이나 몸짓을 하는 행위 자체가 상당히 불편하거나 어색한 행위가 되기 때문에, 제스처 모드의 활용은 사실상 극히 제한된 것이 사실이었다. 이에 따라, 제스처 모드 하에서 보다 쉽고 간편하게 제스처를 입력시킬 수 있는 방안의 모색이 요청된다.
본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 보다 쉽고 간편하게 멀티미디어 기기를 제스처 모드로 진입시킬 수 있는 제스처 모드 전환방법 및 이를 이용한 멀티미디어 기기를 제공함에 목적이 있다.
또한, 본 발명은 제스처 모드 하에서 몸짓과 팔짓을 이용하는 등 번거로운 동작 없이 제스처를 입력시킬 수 있는 제스처모드 전환방법 및 이를 이용한 멀티미디어 기기를 제공함에 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 제스처 모드 전환방법은, 기설정된 조건을 만족하는 터치가 입력된 경우, 터치 입력모드를 제스처 입력모드로 전환하는 단계; 카메라 모듈을 구동시켜 피사체를 촬영하는 단계; 상기 피사체에서 얼굴 부분을 분석하는 단계; 및 상기 얼굴의 각 부위와 관련된 액션이 감지된 경우, 상기 액션에 대응되는 커맨드를 실행하는 단계;를 포함한다.
여기서, 상기 기설정된 조건은, 화면에 적어도 세 지점에 대한 터치가 동시에 입력되는 조건일 수 있다.
또한, 상기 얼굴 부분 분석 단계는, 상기 촬영된 피사체에 얼굴 부분이 포함되었는지 여부를 판단하는 단계; 상기 얼굴 부분이 포함되지 않은 경우 줌-아웃하는 단계; 상기 줌-아웃하여 재촬영된 피사체에서 얼굴 부분이 포함되었는지 여부를 판단하는 단계; 및 상기 얼굴 부분이 포함된 경우, 상기 얼굴 부분으로 상기 카메라 모듈의 초점을 맞추어 줌-인하는 단계;를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 멀티미디어 기기는, 사용자의 터치 조작을 입력받기 위한 터치 스크린; 피사체를 촬영하기 위한 카메라 모듈; 상기 촬영된 피사체에서 얼굴 부분을 분석하는 얼굴 검출부; 상기 터치 스크린을 통해 기설정된 조건을 만족하는 터치가 입력된 경우, 터치 입력모드를 제스처 입력모드로 전환시키고, 상기 얼굴 검출부를 통해 상기 얼굴의 각 부위와 관련된 액션이 감지된 경우, 상기 액션에 대응되는 커맨드가 실행되도록 하는 제어부;를 포함한다.
본 발명에 의하면, 사용자가 제스처 모드로 진입하기 위해 메뉴를 찾아들어갈 필요없이 간편하고 쉽게 제스처 모드로 전환시킬 수 있게 된다.
또한, 본 발명에 의하면, 얼굴 표정이나 손가락 하나만으로 간편하게 제스처 모드에서 다양한 제스처에 의한 커맨드들을 입력시킬 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 멀티미디어 기기에 대한 블록도,
도 2 및 도 3은 본 발명에 따른 제스처 모드 전환방법이 적용가능한 환경을 도시한 예,
도 4는 본 발명의 일 실시예에 따른 제스처 모드 전환방법을 설명하기 위한 흐름도,
도 5는 얼굴 표정의 변화에 따른 커맨드 및 얼굴 부위의 포인팅에 따른 커맨드를 실행시키기 위해 얼굴을 검출하는 과정을 도시한 도면, 그리고,
도 6은 얼굴 표정에 따라 커맨드가 실행되는 구체적인 예를 도시한 도면이다.
도 7은 얼굴 부위에 대한 포인팅에 따라 커맨드가 실행되는 구체적인 예를 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명에 대해 보다 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 멀티미디어 기기에 대한 블록도이다.
본 실시예에 따른 멀티미디어 기기는 멀티미디어 기능블럭(110), 제어부(120), 저장부(130), 전면 터치 스크린(140), 좌측 터치 인터페이스부(150) 및 우측 터치 인터페이스부(160)를 구비한다.
멀티미디어 기능블럭(110)은 동영상, 정지영상, 음악, 텍스트 등의 컨텐츠를 재생하는 기능 등 본 멀티미디어 기기의 본연의 기능을 수행한다. 멀티미디어 기능블럭(110)이 수행할 수 있는 기능의 종류는 멀티미디어 기기가 무엇인가에 따라 결정된다. 예를 들어, 멀티미디어 기기가 스마트 폰인 경우, 멀티미디어 기기는 전화 기능, 동영상 재생 기능, 메세지 전달 기능, 게임 기능 등 다양한 기능을 구비할 수 있으며 기능블럭(110)은 이러한 기능들 발현할 수 있도록 동작되게 된다.
제어부(120)는 후술할 조작수단을 통해 입력되는 사용자의 조작에 따라 멀티미디어 기능블럭(110)의 기능수행 동작을 제어한다. 예를 들어, 조작수단을 통해 동영상 재생을 위한 요청명령이 입력되면, 제어부(120)는 멀티미디어 기능블럭(110)을 제어하여 요청된 동영상이 재생되도록 한다.
또한, 제어부(120)는 저장부(130)를 제어하여 운영체제, 어플리케이션 프로그램 및 컨텐츠들이 저장되고 또한 저장된 것들이 호출되도록 한다.
그리고, 제어부(120)는 터치 스크린(140)을 제어하여 사용자의 터치 조작에 따라 멀티미디어 기능블럭(110)의 기능수행 동작들이 이루어지도록 하고, 사용자의 터치 조작에 따라 터치 스크린(140)을 통한 터치 조작이 비활성화되거나 후술할 카메라 모듈(150)을 통한 제스처 입력 조작이 활성화되도록 한다. 이에 대한 설명은 보다 상세히 후술하기로 한다.
뿐만 아니라, 제어부(120)는 카메라 모듈(150) 및 얼굴 검출부(160)를 제어하여, 피사체가 촬영되도록 하고 촬영된 피사체에서 얼굴이 검출되지 않은 경우 줌-아웃하여 얼굴이 포착되도록 하며, 얼굴이 포착되면 카메라 모듈(150)의 포커싱을 변경시켜 얼굴 부분이 촬영되면서 줌-인되도록 한다. 이에 대한 설명도 보다 상세히 후술하기로 한다.
저장부(130)는 멀티미디어 기능블럭(110)에서 수행할 수 있는 기능과 관련된 프로그램들과 컨텐츠들을 저장한다. 또한, 저장부(130)는 카메라 모듈(150)을 통해 촬영된 장면들을 저장한다.
터치 스크린(140)은 사용자의 터치 조작을 입력받는 수단으로 동작하며 이와 동시에 사용자에 의해 입력되는 터치 조작에 따라 메뉴 또는 컨텐츠를 화면에 표시하는 수단으로 동작한다. 터치 스크린(140)을 통해 사용자의 터치 조작이 입력되면, 터치 스크린(140)은 터치 조작에 대응되는 신호를 제어부(120)로 전달하고, 제어부(120)는 수신된 신호에 따른 화면이 터치 스크린(140)에 표시되도록 신호를 가공하여 터치 스크린(140)으로 재전달한다.
카메라 모듈(150)은 제어부(120)의 제어 하에, 피사체를 촬영한다. 특히, 카메라 모듈(150)은 제스처 모드로 진입했다는 제어부(120)의 신호를 기초로 촬영을 시작하고, 피사체에서 얼굴이 검출되지 않았다는 얼굴 검출부(160)의 신호를 기초로 줌-아웃하며, 얼굴 검출부(160)에서 검출된 얼굴의 위치에 맞게 포커싱을 바꾸어 촬영을 진행한다.
얼굴 검출부(160)는 카메라 모듈(150)에서 촬영된 피사체 영상에서 얼굴을 검출하고 얼굴이 검출되지 않는 경우, 카메라 모듈(150)이 줌-아웃되도록 하며, 줌-아웃된 화면에서 얼굴이 검출되면 검출된 얼굴이 위치한 방향으로 카메라 모듈(150)이 포커싱되어 줌-인되도록 한다.
뿐만 아니라 얼굴 검출부(160)는 검출된 얼굴에서의 표정 변화와 검출된 얼굴 각 부위 중 손가락 등으로 포인팅된 부위를 검출하여 그 결과를 제어부(120)로 전달한다.
이에 따라 제어부(120)는 얼굴 검출부(160)로부터 수신된 결과에 따라 멀티미디어 기기가 제어되도록 한다.
도 2 및 도 3은 본 발명에 따른 제스처 모드 전환방법이 적용가능한 환경을 도시한 예이다.
우선, 도 2는 터치 모드로 동작되는 스마트 폰(100)을 도시한 것으로서, 스마트 폰(100)에 탑재된 카메라 모듈(150)을 통해 사용자의 얼굴을 촬영하고, 스마트 폰(100)이 촬영된 피사체에서 얼굴의 표정 변화에 따른 제스처 또는 얼굴의 각 부위에 손가락 등이 포인팅되는 제스처를 인식하여 커맨드를 실행하게 된다.
이러한 스마트 폰(100)에서의 카메라 모듈(150)은 기존의 카메라 모듈(150)과 달리 피사체에서 얼굴 부분이 촬영 가능하도록 스스로 포커싱 방향을 변경할 수 있게 된다.
다음으로, 도 3은 리모콘(300)을 통해 리모콘 모드로 동작되는 스마트 TV(200)를 도시한 것으로서, 스마트 TV(200)에 탑재된 카메라 모듈(250)을 통해 사용자의 얼굴을 촬영하고, 스마트 TV(200)이 촬영된 피사체에서 얼굴의 표정 변화에 따른 제스처 또는 얼굴의 각 부위에 손가락 등이 포인팅되는 제스처를 인식하여 커맨드를 실행하게 된다.
이러한 스마트 TV(200)에서의 카메라 모듈(250)은 스마트 TV(200)의 내부에 마련되어 피사체에서 얼굴 부분이 촬영 가능하도록 스스로 포커싱 방향을 변경할 수 있거나, 스마트 TV(200)의 외부에 캠코더와 유사한 형태로 마련되어 피사체에서 얼굴 부분이 촬영 가능하도록 포커싱 방향을 변경할 수 있을 것이다.
도 4는 본 발명의 일 실시예에 따른 제스처 모드 전환방법을 설명하기 위한 흐름도이다.
멀티미디어 기기가 터치 모드로 동작하는 중(S405), 멀티미디어 기기는 사용자로부터 화면의 세 지점이 동시에 터치되었는지 여부를 판단하게 된다(S410).
화면의 세 지점에 대한 터치가 동시에 이루어지면(S410-Y), 멀티미디어 기기는 터치 모드를 제스처 모드로 전환한다(S415). 즉, 제스처 모드로 변경하기 위해, 메뉴를 일일이 찾아서 진입할 필요없이, 간단히 화면의 세 지점에 대해 동시에 터치하는 행위만으로 터치 모드를 제스처 모드로 전환할 수 있게 되는 것이다.
제스처 모드로 진입하였기 때문에, 멀티미디어 기기는 카메라 모듈(150)을 활성화시킨다(S420).
카메라 모듈(150)에서 촬영된 피사체 영상은 얼굴 검출부(160)로 전달되고, 얼굴 검출부(160)에 의해 피사체 영상에서 얼굴이 인식되었는지 여부가 판단된다(S425).
얼굴이 인식되지 않은 경우(S430), 얼굴 검출부(160)는 카메라 모듈(150)이 줌-아웃 되도록 하고(S430), 줌-아웃된 상태에서 촬영된 피사체에서 얼굴 부분이 검출되면(S435), 카메라 모듈(150)은 얼굴 부분에 포커싱하여 줌-인하게 된다(S440).
S425 단계에서 얼굴이 인식되거나, S440 단계를 통해 얼굴 부분으로 줌-인되면, 얼굴 검출부(160)는 인식된 얼굴에서 표정 변화가 있는지 여부를 판단한다(S445).
만약 표정 변화가 있다면(S445-Y), 얼굴 검출부(160)는 표정 변화를 검출하여(S450), 검출된 표정 변화에 대응되는 커맨드를 실행시키게 된다(S465). 물론 이러한 표정 변화는 얼굴 부위 중 하나의 표정 변화일 수도 있고, 얼굴 부위 중 여러 부위의 표정 변화에 의한 조합일 수도 있을 것이다.
만약 표정 변화가 없다면(S445-N), 얼굴 중 특정 부위에 손가락이 포인팅되고 있는지 여부를 판단한다(S455).
얼굴 중 특정 부위에 손가락이 포인팅되었다면(S445-Y), 얼굴 검출부(160)는 손가락이 포인팅된 부위를 검출하고(S460), 해당 부위에 대응되는 커맨드를 실행시키게 된다(S465). 물론 이러한 얼굴 부위에 대한 포인팅은 하나의 손가락을 이용한 포인팅일 수도 있고, 둘 이상의 손가락에 의한 포인팅의 조합일 수도 있을 것이다.
도 5는 얼굴 표정의 변화에 따른 커맨드 및 얼굴 부위의 포인팅에 따른 커맨드를 실행시키기 위해 얼굴을 검출하는 과정을 도시한 도면이다.
제스처 모드로 진입하여 카메라 모듈(150)이 피사체를 촬영하여 도 5의 상단에 위치한 영상을 획득한 경우, 얼굴 검출부(160)는 영상에서 얼굴이 검출되는지 판단하게 된다.
얼굴이 검출되지 않은 경우 얼굴 검출부(160)는 카메라 모듈(150)이 줌-아웃되도록 하고, 카메라 모듈(150)은 얼굴 검출부(160)의 명령에 따라 줌-아웃하여 도 5의 중앙에 위치한 영상을 획득하게 되며, 얼굴 검출부(160)는 다시 줌-아웃된 영상에서 얼굴이 검출되는지 판단하게 된다.
얼굴이 검출된 경우, 얼굴 검출부(160)는 카메라 모듈(150)이 줌-인되도록 하고, 카메라 모듈(150)은 얼굴 검출부(160)의 명령에 따라 줌-인되어 도 5의 하단에 위치한 영상을 획득하게 된다.
이후, 얼굴 검출부(160)는 도 5의 하단에 위치한 영상으로부터 표정 변화 또는 얼굴 부위에 대한 포인팅을 감시하게 된다.
도 6은 얼굴 표정에 따라 커맨드가 실행되는 구체적인 예를 도시한 도면이다.
카메라 모듈(150)에 의해 촬영된 얼굴 영상은 계속적으로 얼굴 검출부(160)로 전달되게 되며, 얼굴 검출부(160)는 계속적으로 수신되는 얼굴 영상으로부터 표정의 변화가 있는지 여부를 감시하게 된다.
또한, 감시한 결과 얼굴 영상으로부터 표정의 변화가 있는 것으로 감지되면 감지된 결과를 신호화하여 제어부(120)로 전달하며, 제어부(120)는 수신된 신호에 대응되도록 멀티미디어 기기를 제어한다.
도시된 예와 같이, 얼굴 부위 중 오른쪽 눈이 감기는 표정의 변화가 감지되면, 얼굴 검출부(160)는 오른쪽 눈이 감겼다는 결과를 신호화하여 제어부(120)로 전달하고, 제어부(120)는 이러한 신호가 채널을 UP하라는 신호로 인식하여 멀티미디어 기기에서 방송되는 방송의 채널을 UP하게 되는 것이다.
마찬가지로, 얼굴 부위 중 왼쪽 눈이 감기는 표정의 변화가 감지되면, 얼굴 검출부(160)는 왼쪽 눈이 감겼다는 결과를 신호화하여 제어부(120)로 전달하고, 제어부(120)는 이러한 신호가 채널을 DOWN하라는 신호로 인식하여 멀티미디어 기기에서 방송되는 방송의 채널을 DOWN하게 되는 것이다.
도 7은 얼굴 부위에 대한 포인팅에 따라 커맨드가 실행되는 구체적인 예를 도시한 도면이다.
카메라 모듈(150)에 의해 촬영된 얼굴 영상은 계속적으로 얼굴 검출부(160)로 전달되게 되며, 얼굴 검출부(160)는 계속적으로 수신되는 얼굴 영상으로부터 특정 부위에 대한 포인팅이 존재하는지 여부를 감시하게 된다.
또한, 감시한 결과 얼굴 영상으로부터 특정 부위에 대한 포인팅이 존재하는 것으로 감지되면 감지된 결과를 신호화하여 제어부(120)로 전달하며, 제어부(120)는 수신된 신호에 대응되도록 멀티미디어 기기를 제어한다.
도시된 예와 같이, 얼굴 부위 중 오른쪽 눈에 손가락이 포인팅되는 것이 감지되면, 얼굴 검출부(160)는 오른쪽 눈에 손가락이 포인팅되었다는 결과를 신호화하여 제어부(120)로 전달하고, 제어부(120)는 이러한 신호가 볼륨을 UP하라는 신호로 인식하여 멀티미디어 기기에서 재생되는 컨텐츠의 볼륨을 UP하게 되는 것이다.
마찬가지로, 얼굴 부위 중 왼쪽 눈에 손가락이 포인팅되는 것이 감지되면, 얼굴 검출부(160)는 왼쪽 눈에 손가락이 포인팅되었다는 결과를 신호화하여 제어부(120)로 전달하고, 제어부(120)는 이러한 신호가 볼륨을 DOWN하라는 신호로 인식하여 멀티미디어 기기에서 재생되는 컨텐츠의 볼륨을 DOWN하게 되는 것이다.
이에 의해, 사용자가 제스처 모드로 진입하기 위해 메뉴를 찾아 들어갈 필요없이 간편하고 쉽게 제스처 모드로 전환시킬 수 있게 되며, 얼굴 표정이나 손가락 하나만으로 간편하게 제스처 모드에서 다양한 제스처에 의한 커맨드들을 입력시킬 수 있게 된다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 멀티미디어 기능블럭 120 : 제어부
130 : 저장부 140 : 터치 스크린
150 : 카메라 모듈 160 : 얼굴 검출부

Claims (4)

  1. 기설정된 조건을 만족하는 터치가 입력된 경우, 터치 입력모드를 제스처 입력모드로 전환하는 단계;
    카메라 모듈을 구동시켜 피사체를 촬영하는 단계;
    상기 피사체에서 얼굴 부분을 분석하는 단계; 및
    상기 얼굴의 각 부위와 관련된 액션이 감지된 경우, 상기 액션에 대응되는 커맨드를 실행하는 단계;를 포함하는 제스처 모드 전환방법.
  2. 제 1항에 있어서,
    상기 기설정된 조건은, 화면에 적어도 세 지점에 대한 터치가 동시에 입력되는 조건인 것을 특징으로 하는 제스처 모드 전환방법.
  3. 제 1항에 있어서,
    상기 얼굴 부분 분석 단계는,
    상기 촬영된 피사체에 얼굴 부분이 포함되었는지 여부를 판단하는 단계;
    상기 얼굴 부분이 포함되지 않은 경우 줌-아웃하는 단계;
    상기 줌-아웃하여 재촬영된 피사체에서 얼굴 부분이 포함되었는지 여부를 판단하는 단계;
    상기 얼굴 부분이 포함된 경우, 상기 얼굴 부분으로 상기 카메라 모듈의 초점을 맞추어 줌-인하는 단계;를 포함하는 것을 특징으로 하는 제스처 모드 전환방법.
  4. 사용자의 터치 조작을 입력받기 위한 터치 스크린;
    피사체를 촬영하기 위한 카메라 모듈;
    상기 촬영된 피사체에서 얼굴 부분을 분석하는 얼굴 검출부;
    상기 터치 스크린을 통해 기설정된 조건을 만족하는 터치가 입력된 경우, 터치 입력모드를 제스처 입력모드로 전환시키고, 상기 얼굴 검출부를 통해 상기 얼굴의 각 부위와 관련된 액션이 감지된 경우, 상기 액션에 대응되는 커맨드가 실행되도록 하는 제어부;를 포함하는 멀티미디어 기기.
KR1020110119350A 2011-11-16 2011-11-16 제스처모드 전환방법 및 이를 이용한 멀티미디어 기기 KR20130053739A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110119350A KR20130053739A (ko) 2011-11-16 2011-11-16 제스처모드 전환방법 및 이를 이용한 멀티미디어 기기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110119350A KR20130053739A (ko) 2011-11-16 2011-11-16 제스처모드 전환방법 및 이를 이용한 멀티미디어 기기

Publications (1)

Publication Number Publication Date
KR20130053739A true KR20130053739A (ko) 2013-05-24

Family

ID=48662895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110119350A KR20130053739A (ko) 2011-11-16 2011-11-16 제스처모드 전환방법 및 이를 이용한 멀티미디어 기기

Country Status (1)

Country Link
KR (1) KR20130053739A (ko)

Similar Documents

Publication Publication Date Title
JP6553719B2 (ja) 画面分割表示方法および装置
JP6328859B2 (ja) アプリケーションプログラム切替え方法、装置及び機器
KR102091028B1 (ko) 사용자 기기의 오브젝트 운용 방법 및 장치
US7222307B2 (en) Multipurpose navigation keys for an electronic imaging device
US9338359B2 (en) Method of capturing an image in a device and the device thereof
US10191554B2 (en) Display apparatus and controlling method thereof
EP3242204B1 (en) Method and device for multi-task management
KR20130016026A (ko) 모션 인식을 이용한 전자 장치 및 이의 제어 방법
KR20120096047A (ko) 터치 스크린 사용자 인터페이스 상의 커맨드들을 변경하는 방법
US20110199387A1 (en) Activating Features on an Imaging Device Based on Manipulations
KR20090076173A (ko) 디스플레이 장치에 표시된 화면의 일부분을 전자장치를통해 ｇｕｉ로 제공하는 방법 및 이를 적용한 전자장치
KR20090066368A (ko) 터치 스크린을 갖는 휴대 단말기 및 그의 기능 제어 방법
US11284161B2 (en) Method and device for loading electronic program guide, and non-transitory storage medium
KR20110069526A (ko) 휴대단말의 외부 출력 제어 방법 및 장치
KR20110107143A (ko) 멀티 입력을 이용한 휴대단말의 기능 제어 방법 및 장치
US20140036128A1 (en) Method and apparatus for manual focusing in portable terminal
CN103324394A (zh) 用于移动终端的输入控制方法和移动终端
KR101530546B1 (ko) 휴대 단말기의 입력 장치 및 방법
JP6700775B2 (ja) 電子機器及びその制御方法
CN106406535A (zh) 一种移动设备操作方法、装置及移动设备
CN102880413A (zh) 用于具有触控屏的移动终端控制显示的方法和移动终端
CN106325712A (zh) 终端显示控制方法、装置及终端
JP2013161181A (ja) 表示制御装置および表示制御装置の制御方法
CN105278753A (zh) 触控响应方法及装置
US20160091986A1 (en) Handheld device, motion operation method, and computer readable medium

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid