KR102289497B1 - 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체 - Google Patents

입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체 Download PDF

Info

Publication number
KR102289497B1
KR102289497B1 KR1020200129427A KR20200129427A KR102289497B1 KR 102289497 B1 KR102289497 B1 KR 102289497B1 KR 1020200129427 A KR1020200129427 A KR 1020200129427A KR 20200129427 A KR20200129427 A KR 20200129427A KR 102289497 B1 KR102289497 B1 KR 102289497B1
Authority
KR
South Korea
Prior art keywords
electronic device
shape
pointing
image
gesture shape
Prior art date
Application number
KR1020200129427A
Other languages
English (en)
Other versions
KR20200121261A (ko
Inventor
강지영
김진용
김대성
김석태
이보영
임승경
전진영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130108697A external-priority patent/KR102165818B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200129427A priority Critical patent/KR102289497B1/ko
Publication of KR20200121261A publication Critical patent/KR20200121261A/ko
Priority to KR1020210104132A priority patent/KR102369621B1/ko
Application granted granted Critical
Publication of KR102289497B1 publication Critical patent/KR102289497B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G06K9/00355—
    • G06K9/4652—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

입력 영상을 이용한 사용자 인터페이스 제어 방법에 있어서, 다수의 기능별로 각각 하나 이상의 제스처 형상별 동작 실행 정보를 저장해 두는 과정과; 입력된 영상에서 상기 제스처 형상을 검출하는 과정과; 현재 구동되는 기능에 따라 상기 검출된 제스처 형상에 맵핑된 동작 실행 정보를 확인하여 동작을 실행하는 과정을 포함함을 특징으로 한다.

Description

입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체{METHOD, APPARATUS AND RECOVERING MEDIUM FOR CONTROLLING USER INTERFACE USING A INPUT IMAGE}
본 발명은 전자기기의 사용자 인터페이스(User Interface; UI)를 제어하기 위해 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체에 관한 것이다.
최근 컴퓨터, 노트북, 태블릿(Tablet) PC, 스마트폰, 휴대폰 등의 전자 기기는 카메라 기능이 구비되어 있어서 어디서나 편리하게 영상을 촬영할 수 있게 되었다. 또한, 전자 기술의 발전에 따라 전자기기는 기능이 다양화되고 있으며 사용자 편의를 위해 다양한 사용자 인터페이스를 제공하고 있다. 상기 사용자 인터페이스는 간편한 조작을 통해 빠르고 직관적인 정보 전달을 할 수 있는 이점을 가지고 있다. 이에 따라 최근에는 사용자가 전자기기를 편리하게 사용할 수 있도록, 상기 사용자 인터페이스 관련 기술의 개발이 활발하게 이루어지고 있다.
본 발명은 사용자가 좀 더 간편하게 전자기기의 다양한 동작을 실행할 수 있도록 하기 위한 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록 매체를 제공할 수 있도록 한다. 즉, 사용자가 전자기기의 사용 중에 특정 제스처를 취했을 때, 특정 제스처 형상을 인식하도록 하여 미리 설정된 동작을 실행할 수 있도록 한다.
본 발명의 일 견지에 따르면, 입력 영상을 이용한 사용자 인터페이스 제어 방법에 있어서, 다수의 기능별로 각각 하나 이상의 제스처 형상별 동작 실행 정보를 저장해 두는 과정과; 입력된 영상에서 상기 제스처 형상을 검출하는 과정과; 현재 구동되는 기능에 따라 상기 검출된 제스처 형상에 맵핑된 동작 실행 정보를 확인하여 동작을 실행하는 과정을 포함함을 특징으로 한다.
본 발명의 다른 견지에 따르면, 입력 영상을 이용한 사용자 인터페이스 제어 장치에 있어서, 영상을 입력받는 영상 입력부와; 저장부와; 다수의 기능별로 각각 적어도 하나의 제스처 형상별 동작 실행 정보를 상기 저장부에 저장해 두며, 상기 영상 입력부를 통해 입력된 영상에서 상기 제스처 형상을 검출하며, 현재 구동되는 기능에 따라 상기 검출된 제스처 형상에 맵핑된 동작 실행 정보를 확인하여 실행하는 제어부를 포함함을 특징으로 한다.
본 발명의 또다른 견지에 따르면, 입력 영상을 이용한 사용자 인터페이스 제어 기록매체에 있어서, 영상을 입력받는 영상 입력부와; 저장부와; 다수의 기능별로 각각 적어도 하나의 제스처 형상별 동작 실행 정보를 상기 저장부에 저장해 두며, 상기 영상 입력부를 통해 입력된 영상에서 상기 제스처 형상을 검출하며, 현재 구동되는 기능에 따라 상기 검출된 제스처 형상에 맵핑된 동작 실행 정보를 확인하여 실행하는 제어부를 기능시키기 위한 프로그램이 기록된 것임을 특징으로 한다.
상기한 바와 같이, 본 발명의 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록 매체를 사용함으로서, 사용자가 간편한 조작으로 전자기기의 다양한 동작을 실행할 수 있도록 한다. 즉, 사용자가 전자기기의 사용 중 특정 제스처를 취하면, 영상 입력부를 통해 특정 제스처 형상을 인식하여 특정 제스처에 대응하는 미리 설정된 동작을 실행 할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 입력 영상을 이용한 사용자 인터페이스 제어를 실행하는 전자기기의 블록 구성도
도 2는 본 발명의 일 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 예시도
도 3은 본 발명의 제1 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 흐름도
도 4는 본 발명의 일 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어를 위한 다양한 제스처들의 예시도
도 5는 도 2의 제1 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작 중 획득된 영상에서 제스처 형상을 검출하는 동작을 나타내는 흐름도
도 6은 본 발명의 제2 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 흐름도
도 7은 도 6의 제2 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 위한 다양한 제스처들 및 각 제스처의 메타데이터를 나타내는 예시도
도 8은 본 발명의 제3 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 흐름도
도 9는 도 8의 제3 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 예시도
도 10은 본 발명의 제4 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 흐름도
도 11은 도 10의 제4 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 예시도
도 12는 본 발명의 제5 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 흐름도
도 13은 본 발명의 일 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어를 위한 다양한 포인팅 제스처들의 예시도
도 14는 도 12의 제5 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 예시도
도 15는 본 발명의 제6 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 흐름도
도 16은 도 15의 제6 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작이 적용되는 기능을 나타내는 예시도
도 17은 도 15의 제6 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 예시도
도 18은 본 발명의 제7 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 흐름도
도 19는 도 18의 제7 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 제1 예시도
도 20은 도 18의 제7 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 제2 예시도
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 동작 실행 정보, 구동되는 기능 등의 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 1은 본 발명의 일 실시예에 따른 입력 영상을 이용한 사용자 인터페이스 제어를 실행하는 전자기기의 블록 구성도이다. 도 1을 참조하면, 전자기기(100)는 영상 입력부(120), 저장부(130), 입/출력 모듈(140), 통신 모듈(150), 디스플레이 컨트롤러(160), 표시부(170), 제어부(110)를 포함할 수 있다. 저장부(130)는 제스처 형상 DB(132)를 포함할 수 있고, 제어부(110)는 영상 처리 모듈(112)과 기능 제어 모듈(114)을 포함할 수 있다. 이하에서는 상기 디스플레이 컨트롤러(160) 및 표시부(170)를 터치스크린 컨트롤러 및 터치스크린인 경우를 예로 들어 설명한다.
영상 입력부(120)는 동영상 또는 정지 영상 등의 다양한 영상을 입력 받는다. 이하에서는 상기 영상 입력부(120)를 카메라 모듈인 경우를 예로 들어 설명하며, 카메라 모듈(120)은 제1 카메라(122)와 제2 카메라(124) 중 적어도 하나의 카메라를 포함할 수 있는 것으로 설명한다. 또한, 영상 입력부(120)를 통해 입력된 영상을 상기 적어도 하나의 카메라를 통해 획득된 영상인 경우를 예로 들어 설명한다.
카메라 모듈(120)은 제1 카메라(122) 및 제2 카메라(124) 중 적어도 하나를 포함할 수 있으며, 카메라 모듈(120)은 제어부(110)의 제어에 따라 정지이미지 또는 동영상 촬영과 같은 일반적인 디지털 카메라 기능을 수행할 수 있다. 또한, 제1 카메라(122) 또는 제2 카메라(124)를 구동하여 해당 카메라에 포함된 이미지센서(도시되지 아니함)를 통해 영상을 획득하는 기능을 수행할 수 있다.
입/출력 모듈(140)은 복수의 버튼(도시되지 아니함), 마이크(도시되지 아니함), 스피커(도시되지 아니함), 진동모터(도시되지 아니함), 커넥터(도시되지 아니함), 및 키패드(도시되지 아니함) 중 적어도 하나를 포함할 수 있다.
버튼(도시되지 아니함)은 전자기기(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼, 볼륨버튼, 메뉴 버튼, 홈 버튼, 및 돌아가기 버튼(back button) 중 적어도 하나를 포함할 수 있다.
마이크(도시되지 아니함)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다.
스피커(도시되지 아니함)는 제어부(110)의 제어에 따라 통신 모듈(150) 또는 카메라 모듈(120)의 다양한 신호(예, 무선신호 또는 사진 촬영 등)에 대응되는 사운드를 전자기기(100) 외부로 출력할 수 있다. 스피커(도시되지 아니함)는 전자기기(100)가 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(도시되지 아니함)는 전자기기(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
진동모터(도시되지 아니함)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 전자기기(100)는 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(도시되지 아니함)가 동작한다. 진동모터(도시되지 아니함)는 전자기기(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동모터(도시되지 아니함)는 터치스크린(170) 상을 터치하는 사용자의 터치 동작 및 터치스크린(170) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.
커넥터(도시되지 아니함)는 전자기기(100)와 외부 장치(도시되지 아니함) 또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 전자기기(100)는 제어부(110)의 제어에 따라 커넥터(도시되지 아니함)에 연결된 유선 케이블을 통해 전자기기(100)의 저장부(130)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)로부터 데이터를 수신할 수 있다. 또한 전자기기(100)는 커넥터(도시되지 아니함)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)로부터 전원을 입력받거나, 상기 전원소스를 이용하여 배터리(도시되지 아니함)를 충전할 수 있다.
키패드(도시되지 아니함)는 전자기기(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(도시되지 아니함)는 전자기기(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치스크린(170)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 전자기기(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 전자기기(100)의 성능 또는 구조에 따라 제외될 수 있다.
통신 모듈(150)은 이동통신 모듈(도시되지 아니함)과 무선랜 모듈(도시되지 아니함)과 근거리통신 모듈(도시되지 아니함)을 포함할 수 있다.
이동통신 모듈(도시되지 아니함)은 제어부(110)의 제어에 따라 적어도 하나 또는 복수의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 전자기기(100)가 외부 단말과 연결되도록 한다. 이동통신 모듈(도시되지 아니함)은 전자기기(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 기기(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.
무선랜 모듈(도시되지 아니함)은 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(도시되지 아니함)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(도시되지 아니함)은 블루투스 등일 수 있으며, 제어부(210)의 제어에 따라 단말들 간에 무선으로 근거리 통신을 할 수 있다.
전자기기(100)의 통신 모듈(150)은 성능에 따라 이동통신 모듈(도시되지 아니함), 무선랜 모듈(도시되지 아니함), 및 근거리통신 모듈(도시되지 아니함) 중 적어도 하나를 포함할 수 있다. 예를 들어, 통신 모듈(190)은 성능에 따라 이동통신 모듈(도시되지 아니함), 무선랜 모듈(도시되지 아니함), 및 근거리통신 모듈(도시되지 아니함)들의 조합을 포함할 수 있다.
터치스크린(170)은 사용자의 조작을 입력 받으며, 응용 프로그램의 실행 영상과 동작 상태 및 메뉴 상태를 디스플레이 할 수 있다. 즉, 터치스크린(170)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공할 수 있다. 터치스크린(170)은 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 터치스크린 컨트롤러(160)로 전송할 수 있다. 터치스크린(170)은 손 터치 또는 전자펜과 같은 터치 가능한 입력 수단(예, 스타일러스 펜, 이하에서는 전자펜이라 함)을 통해 적어도 하나의 터치를 입력 받을 수 있다. 또한, 터치스크린(170)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력 받을 수 있다. 터치스크린(170)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치스크린 컨트롤러(160)로 전송할 수 있다.
또한, 터치스크린(170)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 전자기 유도(EMR; Electro Magnetic Resonance) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
또한, 본 발명의 터치는 터치스크린(170)과 손 터치 또는 전자펜과의 직접적인 접촉에 한정되지 않고, 비접촉을 포함할 수 있다. 터치스크린(170)에서 검출 가능한 간격은 전자기기(100)의 성능 또는 구조에 따라 변경될 수 있으며, 특히 터치스크린(170)은 손 터치 또는 전자펜과의 접촉에 의한 터치 이벤트와, 비접촉 상태로의 입력(예컨대, 호버링(Hovering)) 이벤트를 구분하여 인식 가능하도록, 상기 터치 이벤트와 호버링 이벤트에 의해 인식되는 값(예컨대, 전류값 등)이 다르게 출력될 수 있도록 구성된다. 또한, 터치스크린(170)은 호버링 이벤트가 발생되는 공간과 터치스크린(170) 사이의 거리에 따라, 인식되는 값(예컨대, 전류값 등)을 다르게 출력하는 것이 바람직하다.
한편, 터치스크린 컨트롤러(160)는 터치스크린(170)에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치스크린 컨트롤러(160)로부터 수신된 디지털 신호를 이용하여 터치스크린(170)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치 이벤트 또는 호버링 이벤트에 응답하여 터치스크린(170)에 표시된 단축 아이콘(도시되지 아니함)이 선택되게 하거나 또는 단축 아이콘(도시되지 아니함)을 실행할 수 있다. 또한, 터치스크린 컨트롤러(160)는 제어부(110)에 포함될 수도 있다.
또한, 터치스크린 컨트롤러(160)는 터치스크린(170)을 통해 출력되는 값(예컨대, 전류값 등)을 인식하여 호버링 이벤트가 발생되는 공간과 터치스크린(170) 사이의 거리를 확인할 수 있고, 확인된 거리 값을 디지털 신호(예컨대, Z좌표)로 변환하여 제어부(110)로 제공할 수 있다.
또한, 터치스크린(170)은 손 터치 및 전자펜에 의한 입력을 동시에 입력 받을 수 있도록, 손 터치 및 전자펜의 터치나 근접을 각각 인식할 수 있는 적어도 두 개의 터치스크린 패널을 포함할 수 있다. 상기 적어도 두 개의 터치스크린 패널은 서로 다른 출력값을 터치스크린 컨트롤러(160)에 제공하고, 터치스크린 컨트롤러(160)는 상기 적어도 두 개의 터치스크린 패널에서 입력되는 값을 서로 다르게 인식하여, 터치스크린(170)으로부터의 입력이 손 터치에 의한 입력인지, 전자펜에 의한 입력인지를 구분할 수 있다.
저장부(130)는 제어부(110)의 제어에 따라 카메라 모듈(120), 입/출력 모듈(140), 통신 모듈(150), 터치스크린(170)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(130)는 전자기기(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.
"저장부"라는 용어는 저장부(130), 제어부(110)내 롬(도시되지 아니함), 램(도시되지 아니함) 또는 전자기기(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부(130)는 비휘발성메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
또한 저장부(130)는 본 발명의 특징에 따라, 제스처 형상 DB(132)를 포함할 수 있다. 제스처 형상 DB(132)는 미리 설정되어 있는 하나 이상의 제스처 형상 또는 사용자에 의해 입력된 하나 이상의 제스처 형상을 저장할 수 있다. 또한, 각각의 제스처 형상 데이터를 구성하는 누적된 인식 로그 데이터(log data)와 각각의 제스처 형상에 맵핑된 동작 실행 정보를 저장할 수 있다. 또한, 각각의 제스처 형상에 맵핑된 동작 실행 정보는 전자기기(100)의 후술하는 기능 별로 구분되어 저장되어 있을 수 있다.
제어부(110)는 CPU(도시되지 아니함), 전자기기(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 도시되지 아니함) 및 전자기기(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 전자기기(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 도시되지 아니함)을 포함할 수 있다. CPU(도시되지 아니함)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(도시되지 아니함), 롬(도시되지 아니함) 및 램(도시되지 아니함)은 내부버스(bus)를 통해 상호 연결될 수 있다.
제어부(110)는 카메라 모듈(120), 저장부(130), 입/출력 모듈(140), 통신 모듈(150), 터치스크린 컨트롤러(160), 터치스크린(170)을 제어할 수 있다.
또한 제어부(110)는 본 발명의 특징에 따라, 영상 처리 모듈(112) 및 기능 제어 모듈(114)을 포함할 수 있다. 영상 처리 모듈(112)은 카메라 모듈(120)로부터 전달받은 영상에서 제스처 형상을 인식할 수 있는 외곽선을 추출하여 제스처 형상을 검출할 수 있다. 기능 제어 모듈(114)은 검출된 제스처 형상을 기반으로 현재 구동되는 기능에 따라 상기 검출된 제스처 형상에 맵핑된 동작 실행 정보를 확인하여 동작을 실행하도록 할 수 있다. 또한, 기능 제어 모듈(114)은 상기 제스처 형상 DB(132)에서 획득한 인덱스 값을 가지고, 현재 전자기기가 구동되고 있는 상황적 요소, 즉 기능에 맞게 적절한 동작을 실행할 수 있도록 할 수 있다. 예를 들어, 다른 두 개의 애플리케이션들의 실행 중에 각각 검출된 동일한 제스처 형상은 애플리케이션의 컨텍스트 데이터(context data)에 따라서 각각 별도의 동작(제스처 형상에 대응하는 동작)이 실행되도록 할 수 있다.
또한, 제어부(110)는 전자기기(100)의 성능에 따라 영상 처리 모듈(112)과 영상 처리 모듈(112)의 조합에 따른 동작을 제어할 수 있다. 이에 따라, 제어부(110)는 카메라 모듈(120)을 통해 획득된 영상에서 제스처 형상을 검출하며, 현재 구동되는 기능에 따라 상기 검출된 제스처 형상에 맵핑된 동작 실행 정보를 확인하여 동작을 실행하도록 할 수 있다. 이때, 제어부(110)는 다수의 기능별로 각각 적어도 하나의 제스처 형상별 동작 실행 정보를 제스처 형상 DB(132), 즉 저장부(130)에 저장해 두도록 할 수 있다.
도 2는 본 발명의 일 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 예시도이다. 본 발명의 동작이 적용되도록 설정된 전자기기(100)는 전자기기(100)에 구비된 적어도 하나의 카메라(122, 124)가 실시간으로 영상을 획득하여, 획득된 영상을 분석할 수 있다. 또한, 본 발명의 동작이 적용되도록 설정된 전자기기(100)에는 다수의 기능별로 각각 하나 이상의 제스처 형상별 동작 실행 정보가 저장되어 있다. 또한, 사용자의 설정에 따라, 다수의 기능별로 각각 하나 이상의 제스처 형상별 동작 실행 정보를 저장할 수도 있다. 상기 기능은 애플리케이션, 잠금 화면, 배경 화면 등 전자기기(100)의 성능에 따라 다양할 수 있으며, 제스처 형상은 손짓과 발짓과 같은 사람의 신체의 일부 또는 신체의 전체의 형태에 따라 다양할 수 있다. 또한, 동작 실행 정보는 시각 효과의 표시, 화면 전환, 일시 정지, 화면 종료 등과 같이 전자기기(100)의 다양한 동작일 수 있다. 상기와 같은 설정 조건에서 전자기기(100)의 사용 중 사용자가 도 2와 같이 특정 제스처를 취한 경우, 전자기기(100)는 특정 제스처를 취한 영상을 획득할 수 있으며, 획득된 영상에서 상기 특정 제스처 형상을 검출할 수 있다. 이후 검출된 제스처 형상에 맵핑된 동작 실행 정보를 확인하여 동작을 실행할 수 있다.
도 3은 본 발명의 제1 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 흐름도이다. 도 3을 참조하면, 210 단계에서는 카메라를 통해 영상을 획득한다. 210 단계 이후 230 단계에서는 획득된 영상에서 제스처 형상을 검출한다. 이때의 제스처 형상은 도 4와 같은 손 제스처들에 의해 검출되는 형상들일 수 있으며, 이외에도 다양한 제스처들의 형태에 따라 다양한 제스처 형상들이 있을 수 있다. 도 5를 참조하여, 230 단계의 획득된 영상에서 제스처 형상을 검출하는 동작을 상세히 설명하면 다음과 같다. 먼저 2300 단계에서는 획득된 영상에서 외곽선을 추출한다. 2300 단계 이후 2320 단계에서는 추출된 외곽선에 미리 설정된 하나 이상의 제스처 형상과 매칭되는 형상이 있는지를 판단한다. 2320 단계에서 추출된 외곽선에 미리 설정된 하나 이상의 제스처 형상과 매칭되는 형상이 있는 것으로 판단되면 2340 단계로 진행하고, 2320 단계에서 추출된 외곽선에 미리 설정된 하나 이상의 제스처 형상과 매칭되는 형상이 없는 것으로 판단되면 본 발명의 동작을 종료한다. 2320 단계 이후 2340 단계에서는 매칭되는 형상을 제스처 형상으로 인식한다. 상기 230 단계 이후 250 단계에서는 현재 구동되는 기능에 따라 검출된 제스처 형상에 맵핑된 동작 실행 정보를 확인한다. 예를 들어 제1 애플리케이션의 실행 중에 제1 제스처 형상이 검출되고, 제2 애플리케이션의 실행 중에 상기 제1 제스처 형상이 검출되었다고 가정하면, 애플리케이션 별로 동일한 제스처 형상에 대해 각기 다르게 저장된 동작 실행 정보에 따라, 제1 애플리케이션에서 실행되는 동작과 제2 애플리케이션에서 실행되는 동작은 다른 동작일 수 있다. 250 단계 이후 270 단계에서는 확인된 동작 실행 정보에 따라 동작을 실행한다.
도 6은 본 발명의 제2 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 흐름도이다. 도 6을 참조하면, 먼저 310 단계에서는 카메라를 통해 영상을 촬영한다. 310 단계 이후 330 단계에서는 촬영된 영상에 미리 설정된 제스처 형상이 있는지를 판단한다. 이때의 미리 설정된 제스처 형상들 각각에는 메타데이터(예를 들어, 명칭 등)가 할당되어 있다. 도 7을 참조하면, 제스처 형상들 별로 각각의 명칭이 할당되어 있을 수 있다. 예를 들어, 도 7의 (a)와 같은 제스처 형상에는 오!(Oh!), 도 7의 (b)와 같은 제스처 형상에는 하이파이브(Hi-Five), 도 7의 (c)와 같은 제스처 형상에는 피스(peace), 도 7의 (d)와 같은 제스처 형상에는 클립(Clip)이라는 명칭이 각각 할당되어 있을 수 있다. 이는 전자기기(100)의 제조 시에 설정된 것을 수 있으며, 또한 전자기기(100)를 사용하는 사용자가 임의의 선호하는 손 형태를 입력하여 별도 명칭을 지정함으로써 설정한 것일 수 있다. 330 단계에서 촬영된 영상에 미리 설정된 제스처 형상이 있는 것으로 판단되면 350 단계로 진행하고, 330 단계에서 촬영된 영상에 미리 설정된 제스처 형상이 없는 것으로 판단되면 본 발명의 동작을 종료한다. 330 단계 이후 350 단계에서는 촬영된 영상에서 제스처 형상을 검출한다. 350 단계에서 검출된 제스처 형상에 대응하는 메타데이터가 있는지를 판단한다. 350 단계에서 검출된 제스처 형상에 대응하는 메타데이터가 있는 것으로 판단되면 390 단계로 진행하고, 350 단계에서 검출된 제스처 형상에 대응하는 메타데이터가 없는 것으로 판단되면 본 발명의 동작을 종료한다.
상기 제2 실시예의 동작에 따라, 카메라를 통해 촬영된 이미지 혹은 동영상에서 상기 미리 설정된 제스처 형상들 중 하나의 제스처 형상이 검출되면, 해당 영상에 검출된 제스처 형상에 할당된 메타데이터를 태그할 수 있다. 상기 본 발명의 제2 실시예에 따른 동작에 따라, 태그로 지정된 명칭 등과 같은 메타데이터 정보는 추후 사용자가 전체 이미지 또는 동영상 목록에서 원하는 항목들을 별도로 분류하거나 검색하고자 할 때 유용한 기준으로 활용될 수 있다. 또한 개인 클라우드 스토리지(Cloud storage)나 소셜 네트워크(Social network)에 상기 이미지 또는 동영상 파일을 업로드하는 경우에도 태그 속성 정보를 유지하여 전자기기의 종류에 제한 없이 지속적인 경험을 제공할 수도 있다.
도 8은 본 발명의 제3 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 흐름도이다. 도 8을 참조하면, 먼저 410 단계에서는 카메라를 통해 영상을 획득한다. 410 단계 이후 430 단계에서는 획득된 영상에 미리 설정된 제스처 형상이 있는지를 판단한다. 이때의 미리 설정된 제스처 형상들 각각에는 색상 변경, 특정 이미지의 표시 등 설정에 따라 다양한 시각 효과가 지정되어 있다. 또한, 사용자의 조작에 따라 시각 효과를 설정 할 수 있다. 또한 사용자 조작(예를 들어, 음성 명령 등)에 따라 시각 효과의 유형, 색상, 형태 등을 변경할 수 있다. 430 단계에서 획득된 영상에 미리 설정된 제스처 형상이 있는 것으로 판단되면 450 단계로 진행하고, 430 단계에서 획득된 영상에 미리 설정된 제스처 형상이 없는 것으로 판단되면 본 발명의 동작을 종료한다. 430 단계 이후 450 단계에서는 획득된 영상에서 제스처 형상을 검출한다. 450 단계 이후 470 단계에서는 검출된 제스처 형상에 대응하는 시각 효과가 있는지를 판단한다. 470 단계에서 검출된 제스처 형상에 대응하는 시각 효과가 있는 것으로 판단되면 490 단계로 진행하고 470 단계에서 검출된 제스처 형상에 대응하는 시각 효과가 없는 것으로 판단되면 본 발명의 동작을 종료한다. 도 9를 참조하면, 도 9의 (a)와 같은 제스처 형상이 하트 모양의 시각 효과를 표시하도록 설정된 것이면, 카메라를 통해 획득된 영상에서 도 9의 (a)와 같은 제스처 형상의 검출되면 도 9의 (b)와 같이 획득된 영상에 하트 모양의 시각 효과를 미리 설정된 지점에 표시할 수 있다. 이때 표시된 시각 효과는 사용자의 조작(예를 들어 시각 효과를 터치하여 드래그하는 조작, 음성 명령 입력 등)에 따라 위치 변경이 가능하며, 일정 시간이 경과되거나 사용자의 조작에 따라 시각 효과의 표시가 중지될 수 있다.
즉, 상기 제3 실시예의 동작에 따라 카메라를 통해 획득된 영상에서 상기 미리 설정된 제스처 형상들 중 하나의 제스처 형상이 검출되면, 해당 영상에 검출된 제스처 형상에 대응하는 시각 효과를 실시간으로 표시할 수 있다.
도 10은 본 발명의 제4 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 흐름도이다. 도 10을 참조하면, 먼저 510 단계는 카메라를 통해 영상을 획득한다. 510 단계 이후 520 단계에서는 획득된 영상에 미리 설정된 제스처 형상이 있는지를 판단한다. 이때의 미리 설정된 제스처 형상들 각각에는 시각 효과가 지정되어 있을 수 있으며, 시각 효과가 표시되는 지점은 얼굴 인식 기능과 연계되어 시각 효과 별 얼굴의 특정 부위가 지정될 수 있다. 또한, 사용자의 조작에 따라 시각 효과 및 각각의 시각 효과가 표시되는 지점을 설정(또는 변경) 할 수 있다. 520 단계에서 획득된 영상에 미리 설정된 제스처 형상이 있는 것으로 판단되면 530 단계로 진행하고 520 단계에서 획득된 영상에 미리 설정된 제스처 형상이 없는 것으로 판단되면 본 발명의 동작을 종료한다. 520 단계 이후 530 단계에서는 획득된 영상에서 제스처 형상을 검출한다. 530 단계 이후 540 단계에서는 얼굴 인식 기능을 실행한다. 540 단계 이후 550 단계에서는 얼굴 인식의 성공 유무를 확인한다. 550 단계에서 얼굴 인식이 성공된 것으로 판단되면 560 단계로 진행하고, 550 단계에서 얼굴 인식이 성공되지 않은 것으로 판단되면 580 단계로 진행한다. 550 단계 이후 580 단계에서는 제스처 형상에 대응하는 시각 효과를 확인한다. 580 단계 이후 590 단계에서는 획득된 영상의 미리 설정된 영역에 시각 효과를 표시한다. 상기 550 단계 이후 560 단계에서는 획득된 영상에서 얼굴 부위를 검출한다. 560 단계 이후 570 단계에서는 검출된 제스처 형상에 대응하여 미리 설정된 얼굴 부위에 해당하는 상기 검출된 얼굴 부위에 미리 설정된 시각 효과를 표시한다. 도 11을 참조하면, 도 11의 (a)와 같이 검출된 제스처 형상과 검출된 얼굴 부위에 따라, 검출된 제스처 형상에 대응하는 시각 효과가 선글라스이며, 검출된 제스처 형상에 대응하는 시각 효과가 표시되는 지점은 얼굴의 눈 부위일 경우, 상기 본 발명의 제 4 실시예의 동작에 따라, 눈에 선글라스 시각 효과가 표시될 수 있다. 이후 카메라를 통해 획득된 영상에 제스처 형상이 검출되지 않고 사람의 움직임에 의해 눈 부위가 이동하더라도 미리 설정된 시간이나 사용자에 의해 시각 효과 표시의 종료 조작이 없으면, 눈 부위에 계속해서 선글라스 시각 효과가 표시될 수 있다. 또한, 사람의 눈에 선글라스 시각 효과가 표시된 상태에서 영상 촬영을 실행하면, 사람의 눈에 선글라스 시각 효과가 표시된 상태 그대로 영상이 저장될 수 있다.
즉, 상기 제4 실시예의 동작에 따라, 카메라를 통해 획득된 영상에서 미리 설정된 제스처 형상들 중 하나의 제스처 형상이 검출되면 해당 영상에 검출된 제스처 형상에 대응하는 시각 효과를 표시할 수 있다. 또한, 얼굴 인식 기능으로 얼굴 부위를 검출함으로써, 상기 시각 효과에 대응하는 얼굴 부위에 해당하는 상기 검출된 얼굴 부위에 상기 시각 효과를 표시할 수 있다.
도 12는 본 발명의 제5 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 흐름도이다. 도 12를 참조하면, 먼저 610 단계에서는 카메라를 통해 영상을 획득하여 프리뷰 화면에 표시한다. 610 단계 이후 630 단계에서는 획득된 영상에 미리 설정된 포인팅 제스처 형상이 있는지를 판단한다. 이때, 미리 설정된 포인팅 제스처 형상에는 카메라의 오토 포커싱 동작 실행 정보가 저장되어 있다. 보다 상세하게는 포인팅 제스처 형상의 미리 설정된 포인팅 지점을 기준으로 오토 포커싱 동작이 실행되도록 하는 정보가 저장되어 있다. 이때의 포인팅 제스처 형상은 도 13과 같은 다양한 손 제스처들에 의해 검출되는 제스처 형상들일 수 있으며, 이외에도 다양한 포인팅 제스처들에 따라 다양한 포인팅 제스처 형상들이 있을 수 있다. 630 단계에서 획득된 영상에 미리 설정된 포인팅 제스처 형상이 있는 것으로 판단되면 650 단계로 진행하고, 630 단계에서 획득된 영상에 미리 설정된 포인팅 제스처 형상이 없는 것으로 판단되면 본 발명의 동작을 종료한다. 630 단계 이후 650 단계에서는 포인팅 제스처 형상을 검출한다. 650 단계 이후 670 단계에서는 검출된 포인팅 제스처 형상의 미리 설정된 포인팅 지점을 검출한다. 670 단계 이후 690 단계에서는 검출된 포인팅 지점을 기준으로 오토 포커스 동작을 실행한다. 도 14를 참조하면, 도 14의 (a)와 같이 카메라를 이용하여 사람이 포인팅 제스처를 취한 영상을 획득한 경우, 상기 본 발명의 제5 실시예에 따른 동작에 따라 도 14의 (b)와 같이 포인팅 제스처 형상을 검출하고 이후 도 14의 (c)와 같이 포인팅 제스처 형상이 가리키는 지점 즉, 포인팅 제스처의 미리 설정된 지점을 중심으로 오토 포커스 동작을 실행한다. 이후 영상 촬영을 실행하면 영상이 촬영되어 도 14의 (d)와 같은 영상을 저장할 수 있다.
즉, 상기 제5 실시예의 동작에 따라, 카메라 기능에서 카메라를 통해 획득된 영상에서 미리 설정된 포인팅 제스처 형상이 검출되면, 미리 설정된 포인팅 제스처 형상의 미리 설정된 포인팅 지점을 검출하여, 검출된 포인팅 지점을 기준으로 오토 포커스(Auto Focus; AF) 동작을 실행할 수 있다.
도 15는 본 발명의 제6 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 흐름도이다. 도 15를 참조하면, 먼저 710 단계에서는 영상 통화를 실행하기 위해, 영상 호를 연결한다. 710 단계 이후 730 단계에서는 카메라를 통해 영상을 획득한다. 730 단계 이후 750 단계에서는 획득된 영상에 미리 설정된 제스처 형상이 있는지를 판단한다. 이때의 미리 설정된 제스처 형상들 각각에는 대응하는 동작 실행 정보가 저장되어 있다. 또한, 사용자의 조작에 따라 동작 실행 정보를 설정(또는 변경) 할 수 있다. 동작 실행 정보는 예를 들어, 영상을 사진으로 대체, 전면과 후면 카메라의 전환, 녹화, 시각 효과 전송 등 다양할 수 있다. 750 단계에서 획득된 영상에 미리 설정된 제스처 형상이 있는 것으로 판단되면 770 단계로 진행하고, 750 단계에서 획득된 영상에 미리 설정된 제스처 형상이 없는 것으로 판단되면 본 발명의 동작을 종료한다. 750 단계 이후 770 단계에서는 미리 설정된 제스처 형상에 대응하는 동작 실행 정보를 확인한다. 770 단계 이후 790 단계에서는 확인된 동작 실행 정보에 따라 동작을 실행한다. 도 17을 참조하면, 영상 통화 중 도 17의 (a)와 같이 카메라를 이용하여 사람이 제스처를 취한 영상을 획득한 경우, 상기 본 발명의 제6 실시예에 따른 동작에 따라 도 17의 (b)와 같이 제스처 형상을 검출하고 이후 도 17의 (c)와 같이 제스처 형상에 대응하는 동작 실행 정보인 시각 효과 표시 동작을 실행한다. 이때 표시된 시각 효과는 자신의 전자기기(100)뿐 아니라 통화하는 상대방의 전자기기에도 표시될 수 있도록 할 수 있다.
즉, 상기 제6 실시예의 동작에 따라, 도 16과 같이 영상 통화 기능의 실행 도중 카메라를 통해 획득된 영상에서 상기 미리 설정된 제스처 형상들 중 하나의 제스처 형상이 검출되면, 검출된 제스처 형상에 대응하는 동작을 실행할 수 있다.
도 18은 본 발명의 제7 실시예에 따른 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스 제어 동작을 나타내는 흐름도이다. 도 18을 참조하면, 먼저 810 단계에서는 증강 현실(Augmented Reality; AR) 기능을 실행한다. 상기 증강 현실 기능의 실행에 따라, 카메라를 통해 획득된 영상은 프리뷰 화면에 예를 들면, 도 19와 같이 실제로 보여지는 영상과 상이하게 표시되게 된다. 810 단계 이후 830 단계에서는 카메라를 통해 영상을 획득하여 증강 현실 기능의 실행에 따라 상기 획득된 영상의 변형 영상을 프리뷰 화면에 표시한다. 830 단계 이후 850 단계에서는 획득된 영상에 미리 설정된 포인팅 제스처 형상이 있는지를 판단한다. 이때의 미리 설정된 포인팅 제스처 형상들에 각각의 텍스처(texture) 정보가 지정되어 있을 수 있다. 또한, 사용자의 조작에 따라 텍스처 정보를 설정(또는 변경) 할 수 있다. 850 단계에서 획득된 영상에 미리 설정된 포인팅 제스처 형상이 있는 것으로 판단되면 870 단계로 진행하고, 850 단계에서 획득된 영상에 미리 설정된 포인팅 제스처 형상이 없는 것으로 판단되면 본 발명의 동작을 종료한다. 850 단계 이후 870 단계에서는 상기 획득된 영상에서 포인팅 제스처 형상의 미리 설정된 포인팅 방향을 확인한다. 870 단계 이후 880 단계에서는 확인된 포인팅 방향에 위치한 객체를 검출한다. 이때의 객체 검출은 다양한 인식 기능들을 이용하여 실행 할 수 있다. 880 단계 이후 890 단계에서는 검출된 객체에 상기 검출된 포인팅 제스처 형상에 대응하는 미리 설정된 텍스처를 적용한다. 도 20을 참조하면 증강 현실 기능의 실행에 따라, 카메라를 이용하여 도 20과 같이 포인팅 제스처를 취한 영상을 획득한 경우, 상기 본 발명의 제7 실시예에 따른 동작에 따라 포인팅 제스처 형상을 검출하여 포인팅 제스처 형상에 대응하는 텍스처를 상기 검출된 포인팅 제스처 형상의 미리 설정된 포인팅 방향에 위치한 객체에 적용할 수 있다.
즉, 상기 제7 실시예의 동작에 따라, 증강 현실 기능을 실행하였을 때, 카메라를 통해 획득된 영상에 미리 설정된 포인팅 제스처 형상들 중 하나의 포인팅 제스처 형상이 검출되면, 검출된 포인팅 제스처의 미리 설정된 포인팅 방향에 위치한 객체를 검출하여, 검출된 객체에 상기 검출된 포인팅 제스처 형상에 대응하는 미리 설정된 텍스처를 적용하도록 할 수 있다.
상기와 같이 일 실시예에 따른 본 발명의 카메라를 통해 획득된 영상을 이용한 사용자 인터페이스를 제어하는 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 이외에도 본 발명의 다양한 실시예들이나, 여러 가지 변형 및 변경이 있을 수 있다. 본 명세서에서 기재된 각각의 동작들은 그 전체 또는 일부가 병력적으로 동시에 수행되거나, 일부가 생략되거나, 다른 추가적인 동작들을 포함할 수 있다.
추가로, 전자기기(100)에는 모든 기능에 대해서 하나 이상의 제스처 형상별로 동일한 동작 실행 정보를 저장되어 있을 수 있으며, 또는 사용자에 의해 모든 기능에 대해서 하나 이상의 제스처 형상별로 동일한 동작 실행 정보가 저장되도록 설정할 수 있다.
또한, 상기 제3 실시예의 동작에 따라, 카메라를 통해 획득된 영상에 시각 효과가 표시된 상태에서 사용자의 조작에 따라 영상 촬영을 실행하면, 상기 획득된 영상을 촬영하며 시각 효과가 표시된 상태의 영상을 저장하도록 할 수 있다.
또한, 상기 제4 실시예에서는, 얼굴 인식 기능의 실행에 따라 검출된 얼굴부위에 검출된 제스처 형상에 대응되는 미리 설정된 시각 효과를 표시하는 동작에 관해 설명했지만, 얼굴 인식 기능 이외의 다양한 인식 기능을 적용하여, 다양한 피사체를 인식하여 인식된 피사체의 미리 설정된 부위에 검출된 제스처 형상에 대응되는 미리 설정된 시각 효과를 표시하도록 할 수도 있다.
또한, 상기 제7 실시예의 증강 현실 기능에서 포인팅 제스처 형상의 포인팅 방향에 위치한 객체에 대해서만 텍스처가 적용되는 것으로 설명했지만, 전체화면에 텍스처가 적용되도록 할 수 있다.
또한, 상기 제7 실시예의 증강 현실 기능에서 포인팅 제스처 형상 및 포인팅 제스처 형상에 대응하여 미리 설정된 텍스처의 적용에 관해 설명했지만, 상기 증강 현실 기능에서 사용자의 설정 또는 전자기기(100)의 제작 시의 설정에 따라 다양한 제스처 형상이 가능하며, 또한 제스처 형상에 대응하는 다양한 동작 실행이 적용될 수도 있다.
또한 본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 휴대 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

Claims (16)

  1. 전자 장치의 제어 방법에 있어서,
    전자 장치의 카메라에 의하여 획득된 프리뷰 이미지를 표시하는 동작;
    상기 프리뷰 이미지로부터 포인팅 제스처 형상을 검출하는 동작;
    상기 프리뷰 이미지 내에서, 상기 검출된 포인팅 제스처 형상의 포인팅 방향에 위치한 객체를 확인하는 동작; 및
    상기 확인된 객체에 시각 효과를 적용하여 상기 프리뷰 이미지와 함께 표시하는 동작을 포함함을 특징으로 하는, 전자 장치의 제어 방법.
  2. 제1 항에 있어서, 상기 프리뷰 이미지로부터 상기 포인팅 제스처 형상을 검출하는 동작은,
    상기 프리뷰 이미지로부터 외곽선을 추출하는 동작,
    상기 추출된 외곽선이 하나 이상의 미리 결정된 포인팅 제스처 형상 중 하나와 매칭되는지 판단하는 동작,
    상기 추출된 외곽선이 상기 하나 이상의 미리 결정된 포인팅 제스처 형상 중 하나와 매칭되는 것으로 판단되면, 매칭되는 형상을 상기 포인팅 제스처 형상으로 확인하는 동작을 포함함을 특징으로 하는, 전자 장치의 제어 방법.
  3. 제1 항에 있어서,
    상기 확인된 객체에 시각 효과를 적용하여 상기 프리뷰 이미지와 함께 표시하는 동작은 상기 확인된 객체에 대응하는 메타데이터를 표시하는 동작을 포함하는 것을 특징으로 하는, 전자 장치의 제어 방법.
  4. 제1 항에 있어서,
    상기 객체는 적어도 하나의 얼굴 부위인,
    전자 장치의 제어 방법.
  5. 제1 항에 있어서,
    미리 설정된 음성 명령의 인식에 따라, 상기 시각 효과의 유형, 색상, 형태 중 적어도 하나를 변경하는 동작을 더 포함함을 특징으로 하는, 전자 장치의 제어 방법.
  6. 제1 항에 있어서,
    상기 방법은, 상기 검출된 제스처 형상의 포인팅 지점을 확인하는 동작, 및
    상기 포인팅 지점을 기준으로 카메라 기능의 오토 포커스(Auto Focus; AF) 동작을 실행하는 동작을 더 포함함을 특징으로 하는, 전자 장치의 제어 방법.
  7. 제1 항에 있어서,
    상기 확인된 시각 효과는 미리 설정된 텍스처 효과인, 전자 장치의 제어 방법.
  8. 전자 장치에 있어서,
    카메라;
    디스플레이; 및
    제어부를 포함하고,
    상기 제어부는,
    상기 카메라에 의하여 획득된 프리뷰 이미지를 상기 디스플레이 상에 표시하고,
    상기 프리뷰 이미지로부터 포인팅 제스처 형상을 검출하고,
    상기 프리뷰 이미지 내에서, 상기 검출된 포인팅 제스처 형상의 포인팅 방향에 위치한 객체를 확인하고,
    상기 확인된 객체에 시각 효과를 적용하여 상기 프리뷰 이미지와 함께 상기 디스플레이 상에 표시하도록 설정되는, 전자 장치.
  9. 제8 항에 있어서, 상기 제어부는, 상기 프리뷰 이미지로부터 포인팅 제스처 형상을 검출하기 위하여,
    상기 프리뷰 이미지로부터 외곽선을 추출하며, 상기 추출된 외곽선이 하나 이상의 미리 결정된 포인팅 제스처 형상 중 하나와 매칭되는지 판단하고, 상기 추출된 외곽선이 상기 하나 이상의 미리 결정된 포인팅 제스처 형상 중 하나와 매칭되는 것으로 판단되면, 매칭되는 형상을 상기 포인팅 제스처 형상으로 확인하는 것을 특징으로 하는, 전자 장치.
  10. 제8 항에 있어서,
    상기 제어부는,
    상기 확인된 객체에 대응하는 메타데이터를 표시하도록 더 설정되는 것을 특징으로 하는, 전자 장치.
  11. 제8 항에 있어서,
    상기 객체는 적어도 하나의 얼굴 부위인, 전자 장치.
  12. 제8 항에 있어서,
    상기 전자 장치는 마이크를 더 포함하며,
    상기 제어부는,
    상기 마이크를 통해 입력된 미리 설정된 음성 명령의 인식에 따라, 상기 시각 효과의 유형, 색상, 형태 중 적어도 하나를 변경하는 것을 특징으로 하는, 전자 장치.
  13. 제8 항에 있어서,
    상기 제어부는,
    상기 포인팅 제스처 형상의 포인팅 지점을 확인하고,
    상기 포인팅 지점을 기준으로 카메라 기능의 오토 포커스(Auto Focus; AF) 동작을 실행하는 것을 특징으로 하는, 전자 장치.
  14. 삭제
  15. 제8 항에 있어서,
    상기 확인된 시각 효과는 미리 설정된 텍스처 효과인, 전자 장치.
  16. 삭제
KR1020200129427A 2013-09-10 2020-10-07 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체 KR102289497B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200129427A KR102289497B1 (ko) 2013-09-10 2020-10-07 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
KR1020210104132A KR102369621B1 (ko) 2020-10-07 2021-08-06 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130108697A KR102165818B1 (ko) 2013-09-10 2013-09-10 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
KR1020200129427A KR102289497B1 (ko) 2013-09-10 2020-10-07 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130108697A Division KR102165818B1 (ko) 2013-09-10 2013-09-10 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210104132A Division KR102369621B1 (ko) 2020-10-07 2021-08-06 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체

Publications (2)

Publication Number Publication Date
KR20200121261A KR20200121261A (ko) 2020-10-23
KR102289497B1 true KR102289497B1 (ko) 2021-08-13

Family

ID=73039386

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200129427A KR102289497B1 (ko) 2013-09-10 2020-10-07 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체

Country Status (1)

Country Link
KR (1) KR102289497B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120075168A1 (en) * 2010-09-14 2012-03-29 Osterhout Group, Inc. Eyepiece with uniformly illuminated reflective display
US20130222369A1 (en) * 2012-02-23 2013-08-29 Charles D. Huston System and Method for Creating an Environment and for Sharing a Location Based Experience in an Environment

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100457928B1 (ko) * 2002-11-12 2004-11-18 한국과학기술원 소그룹 기반 분류에 의한 수신호 인식 방법 및 이를기록한 기록매체
KR101752496B1 (ko) * 2010-11-05 2017-07-03 육상조 플레이어의 전체 움직임을 주시하면서 분할된 특정부위의 움직임을 확인하는 비디오 게임시스템.

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120075168A1 (en) * 2010-09-14 2012-03-29 Osterhout Group, Inc. Eyepiece with uniformly illuminated reflective display
US20130222369A1 (en) * 2012-02-23 2013-08-29 Charles D. Huston System and Method for Creating an Environment and for Sharing a Location Based Experience in an Environment

Also Published As

Publication number Publication date
KR20200121261A (ko) 2020-10-23

Similar Documents

Publication Publication Date Title
US11513608B2 (en) Apparatus, method and recording medium for controlling user interface using input image
KR102080183B1 (ko) 전자 장치 및 전자 장치에서 잠금 해제 방법
KR102041984B1 (ko) 추가 구성 요소를 이용한 얼굴 인식 기능을 가지는 모바일 장치 및 그 제어 방법
KR102031142B1 (ko) 영상 디스플레이를 제어하는 전자 장치 및 방법
KR102141155B1 (ko) 모바일 장치의 상태에 대응하는 변경된 숏컷 아이콘을 제공하는 모바일 장치 및 그 제어 방법
KR102022444B1 (ko) 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말
KR102051418B1 (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
KR102158098B1 (ko) 이미지 인식을 이용한 이미지 레이아웃 방법 및 장치
US10860857B2 (en) Method for generating video thumbnail on electronic device, and electronic device
KR102015534B1 (ko) 복수의 단말들간의 메시지 싱크 방법, 기계로 읽을 수 있는 저장 매체 및 서버
KR102072509B1 (ko) 그룹 리코딩 방법, 저장 매체 및 전자 장치
KR20180133743A (ko) 이동 단말기 및 그 제어 방법
KR102090948B1 (ko) 대화 기록 장치 및 그 방법
KR102155133B1 (ko) 이미지 표시 방법 및 장치
KR102186815B1 (ko) 컨텐츠 스크랩 방법, 장치 및 기록매체
JP6433923B2 (ja) デバイスへの特定のオブジェクト位置の提供
KR20150126192A (ko) 전자 장치 및 전자 장치에서 촬영 방법
CN104615457B (zh) 显示控件的方法及装置
KR102076629B1 (ko) 휴대 장치에 의해 촬영된 이미지들을 편집하는 방법 및 이를 위한 휴대 장치
KR102289497B1 (ko) 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
KR102369621B1 (ko) 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
KR20150024009A (ko) 사용자 입력 피드백 제공 방법 및 장치
KR102160954B1 (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
KR102112226B1 (ko) 디스플레이 장치 및 그 제어 방법
CN111813486A (zh) 页面显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right