KR20120046973A - 움직임 정보 생성 방법 및 장치 - Google Patents

움직임 정보 생성 방법 및 장치 Download PDF

Info

Publication number
KR20120046973A
KR20120046973A KR1020100108557A KR20100108557A KR20120046973A KR 20120046973 A KR20120046973 A KR 20120046973A KR 1020100108557 A KR1020100108557 A KR 1020100108557A KR 20100108557 A KR20100108557 A KR 20100108557A KR 20120046973 A KR20120046973 A KR 20120046973A
Authority
KR
South Korea
Prior art keywords
movement
image frame
motion
motion information
magnitude
Prior art date
Application number
KR1020100108557A
Other languages
English (en)
Inventor
정기준
류희섭
박승권
서영광
미키야스 테시오메
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100108557A priority Critical patent/KR20120046973A/ko
Priority to US13/244,310 priority patent/US20120105326A1/en
Priority to EP11184602.8A priority patent/EP2450772A3/en
Publication of KR20120046973A publication Critical patent/KR20120046973A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Abstract

오브젝트의 움직임으로부터 사용자 인터페이스의 반응을 제공하기 위해 오브젝트의 움직임에 관한 움직임 정보를 생성하는 방법 및 장치가 제공된다.
움직임 정보 생성 장치는 오브젝트의 위치를 획득하고, 위치를 이용하여 오브젝트의 움직임을 보상함으로써 움직임 정보를 생성한다.

Description

움직임 정보 생성 방법 및 장치{Method and Apparatus for Generating Motion Information}
움직임 정보를 생성하는 기술이 개시된다. 더욱 상세하게는, 오브젝트의 움직임으로부터 사용자 인터페이스의 반응을 제공하기 위해 보다 신뢰성 있는 움직임 정보를 생성하는 기술이 개시된다.
사용자 인터페이스(user interface)는 사용자와 사물, 시스템, 장치, 또는 프로그램 등 사이의 의사소통이 가능하도록 일시적 또는 지속적인 접근을 제공할 수 있다. 사용자 인터페이스는 물리적 매개체 또는 가상적 매개체를 포함할 수 있다. 일반적으로 사용자 인터페이스는 사용자가 시스템을 조작하는 입력과 시스템의 입력에 대한 반응 또는 결과를 보이는 출력으로 나눌 수 있다.
입력은 스크린상에서 커서를 이동시키거나, 특정 대상을 선택하기 위한 사용자의 조작을 획득하는 입력 장치를 필요로 한다. 출력은 입력에 대한 반응을 사용자의 시각, 청각 또는 촉각 등으로 확인될 수 있도록 하는 출력 장치를 필요로 한다.
최근에는 텔레비전 및 게임기 등의 기기에서 사용자에게 편리를 제공하기 위해 원격으로 사용자의 움직임을 입력으로 인식하여 사용자의 움직임에 상응하는 사용자 인터페이스의 반응을 제공하기 위한 기술이 연구 중이다.
예시적인 실시예의 일측에 따르면, 오브젝트의 움직임(motion)으로부터 사용자 인터페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 방법은, 센서를 통해 상기 오브젝트를 촬상하여 획득된 이미지 프레임을 이용하여 상기 오브젝트의 깊이 정보를 검출하는 단계, 상기 깊이 정보를 기초로 상기 이미지 프레임상 상기 오브젝트의 상기 움직임의 크기를 보상함으로써 상기 움직임 정보를 생성하는 단계, 및 상기 움직임 정보에 상응하는 이벤트를 발생시키는 단계를 포함할 수 있다.
일측에 따르면, 상기 움직임 정보를 생성하는 단계는 상기 센서의 시야각(field of view)내에서 서로 다른 깊이 정보를 갖는 위치들에서 상기 오브젝트가 동일한 크기의 움직임을 갖는 경우, 상기 위치들에서 상기 오브젝트의 상기 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 상기 깊이 정보를 기초로 상기 움직임의 상기 크기를 보상하는 단계를 포함할 수 있다.
일측에 따르면, 상기 움직임 정보를 생성하는 단계는 상기 이미지 프레임상 상기 오브젝트의 상기 움직임의 상기 크기를 상기 깊이 정보가 나타내는 값에 비례하는 값으로 보상함으로써 보정된 움직임의 크기를 획득하는 단계를 포함할 수 있다.
일측에 따르면, 상기 보정된 움직임을 획득하는 단계는 하기 수학식을 이용하여 상기 보정된 움직임의 상기 크기를 획득할 수 있다.
[수학식]
Figure pat00001
여기서,
Figure pat00002
는 상기 보정된 움직임에 대한 수평방향 크기이고,
Figure pat00003
는 상기 보정된 움직임에 대한 수직방향 크기이고,
Figure pat00004
는 상기 이미지 프레임상 상기 오브젝트의 상기 움직임에 대한 수평방향 크기이고,
Figure pat00005
는 상기 이미지 프레임상 상기 오브젝트의 상기 움직임에 대한 수직방향 크기이고,
Figure pat00006
는 상기 깊이 정보가 나타내는 값이고,
Figure pat00007
는 상기 센서의 수평방향 시야각의 1/2 이고,
Figure pat00008
는 상기 센서의 수직방향 시야각의 1/2 이며,
Figure pat00009
및
Figure pat00010
각각은 상수를 나타냄.
일측에 따르면, 상기 이벤트는 상기 사용자 인터페이스의 상기 반응으로서 디스플레이 전원 켜짐, 디스플레이 전원 꺼짐, 메뉴의 디스플레이, 커서의 이동, 활성화된 아이템의 변경, 아이템의 선택, 아이템에 상응하는 동작 수행, 디스플레이 채널의 변경 및 음량의 변경 중 적어도 하나를 포함할 수 있다.
예시적인 실시예의 일측에 따르면, 오브젝트의 움직임(motion)으로부터 사용자 인터페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 장치는, 상기 오브젝트를 촬상하여 상기 오브젝트의 깊이 정보를 포함하는 이미지 프레임을 획득하는 센서, 및 상기 깊이 정보를 검출하고, 상기 깊이 정보를 기초로 상기 이미지 프레임상 상기 오브젝트의 상기 움직임의 크기를 보상함으로써 상기 움직임 정보를 생성하고, 상기 움직임 정보에 상응하는 이벤트를 발생시키는 제어부를 포함할 수 있다.
일측에 따르면, 상기 제어부는 상기 센서의 시야각(field of view)내에서 서로 다른 깊이 정보를 갖는 위치들에서 상기 오브젝트가 동일한 크기의 움직임을 갖는 경우, 상기 위치들에서 상기 오브젝트의 상기 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 상기 깊이 정보를 이용하여 상기 움직임을 보상함으로써 상기 움직임 정보를 생성하는 생성부를 포함할 수 있다.
일측에 따르면, 상기 제어부는 상기 이미지 프레임상 상기 오브젝트의 상기 움직임의 상기 크기를 상기 깊이 정보가 나타내는 값에 비례하는 값으로 보상함으로써 보정된 움직임의 크기를 획득하는 생성부를 포함할 수 있다.
일측에 따르면, 상기 생성부는 하기 수학식을 이용하여 상기 보정된 움직임의 상기 크기를 획득할 수 있다.
[수학식]
Figure pat00011
여기서,
Figure pat00012
는 상기 보정된 움직임에 대한 수평방향 크기이고,
Figure pat00013
는 상기 보정된 움직임에 대한 수직방향 크기이고,
Figure pat00014
는 상기 이미지 프레임상 상기 오브젝트의 상기 움직임에 대한 수평방향 크기이고,
Figure pat00015
는 상기 이미지 프레임상 상기 오브젝트의 상기 움직임에 대한 수직방향 크기이고,
Figure pat00016
는 상기 깊이 정보가 나타내는 값이고,
Figure pat00017
는 상기 센서의 수평방향 시야각의 1/2 이고,
Figure pat00018
는 상기 센서의 수직방향 시야각의 1/2 이며,
Figure pat00019
및
Figure pat00020
각각은 상수를 나타냄.
일측에 따르면, 상기 이벤트는 상기 사용자 인터페이스의 상기 반응으로서 디스플레이 전원 켜짐, 디스플레이 전원 꺼짐, 메뉴의 디스플레이, 커서의 이동, 활성화된 아이템의 변경, 아이템의 선택, 아이템에 상응하는 동작 수행, 디스플레이 채널의 변경 및 음량의 변경 중 적어도 하나를 포함할 수 있다.
예시적인 실시예의 일측에 따르면, 오브젝트의 움직임으로부터 사용자 인테페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 방법은, 센서를 통해 상기 오브젝트를 촬상하여 획득된 이미지 프레임(image frame) - 상기 이미지 프레임은 복수의 영역들로 구분되고, 상기 복수의 영역들 중 적어도 두 개의 영역들은 서로 다른 임계값들(thresholds)을 가짐 ?이용하여 상기 오브젝트의 상기 움직임의 크기를 산출하는 단계, 및 상기 오브젝트의 상기 움직임이 속하는 영역에 상응하는 임계값(threshold)과 상기 움직임의 크기를 비교하여 상기 움직임 정보(motion information)를 생성하는 단계를 포함할 수 있다.
일측에 따르면, 상기 임계값들(thresholds) 각각은, 상기 이미지 프레임상 수평방향에 대한 임계값(Tx), 수직방향에 대한 임계값(Ty) 및 상기 이미지 프레임과 수직하는 방향에 대한 임계값(Tz) 중 적어도 하나를 포함할 수 있다.
일측에 따르면, 상기 Tx 및 상기 Ty 각각은 상기 복수의 영역들 중 상기 이미지 프레임의 중앙에 위치한 영역에서의 값이 상기 이미지 프레임의 가장자리에 위치한 영역에서의 값보다 더 작을 수 있다.
일측에 따르면, 상기 Tz는 상기 복수의 영역들 중 상기 이미지 프레임의 중앙에 위치한 영역에서의 값이 상기 이미지 프레임의 가장자리에 위치한 영역에서의 값보다 더 클 수 있다.
일측에 따르면, 상기 임계값들 각각은 상기 센서의 시야각(field of view)내에서 상기 적어도 두 개의 영역들 각각에서 상기 오브젝트가 동일한 크기의 움직임을 갖는 경우, 상기 적어도 두 개의 영역들에서 상기 오브젝트의 상기 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 상기 적어도 두 개의 영역들 각각에 상응하는 미리 설정된 값을 갖을 수 있다.
일측에 따르면, 상기 움직임 정보를 생성하는 단계는 상기 복수의 영역들 중 상기 오브젝트가 어느 영역에 속하는지 판단하는 단계를 포함할 수 있다.
일측에 따르면, 상기 움직임 정보를 생성하는 단계는 상기 센서를 통해 상기 오브젝트의 깊이 정보를 검출하는 단계, 및 상기 오브젝트의 상기 움직임의 상기 크기를 상기 깊이 정보를 이용하여 보상함으로써 보정된 움직임의 크기를 획득하는 단계를 포함할 수 있다.
일측에 따르면, 상기 움직임 정보에 상응하는 이벤트를 발생시키는 단계를 더 포함하고, 상기 이벤트는 상기 사용자 인터페이스의 상기 반응으로서 디스플레이 전원 켜짐, 디스플레이 전원 꺼짐, 메뉴의 디스플레이, 커서의 이동, 활성화된 아이템의 변경, 아이템의 선택, 아이템에 상응하는 동작 수행, 디스플레이 채널의 변경 및 음량의 변경 중 적어도 하나를 포함할 수 있다.
예시적인 실시예의 일측에 따르면, 오브젝트의 움직임으로부터 사용자 인터페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 장치는, 상기 오브젝트를 촬상하여 이미지 프레임(image frame) - 상기 이미지 프레임은 복수의 영역들로 구분되고, 상기 복수의 영역들 중 적어도 두 개의 영역들은 서로 다른 임계값들(thresholds)을 가짐 ?획득하는 센서, 및 상기 이미지 프레임을 이용하여 상기 오브젝트의 상기 움직임의 크기를 산출하고, 상기 오브젝트의 상기 움직임이 속하는 영역에 상응하는 임계값(threshold)과 상기 움직임의 크기를 비교하여 상기 움직임 정보(motion information)를 생성하는 제어부를 포함할 수 있다.
일측에 따르면, 상기 임계값들(thresholds) 각각은, 상기 이미지 프레임상 수평방향에 대한 임계 값(Tx), 수직방향에 대한 임계 값(Ty) 및 상기 이미지 프레임과 수직하는 방향에 대한 임계 값(Tz) 중 적어도 하나를 포함할 수 있다.
일측에 따르면, 상기 Tx 및 상기 Ty 각각은 상기 복수의 영역들 중 상기 이미지 프레임의 중앙에 위치한 영역에서의 값이 상기 이미지 프레임의 가장자리에 위치한 영역에서의 값보다 더 작을 수 있다.
일측에 따르면, 상기 Tz는 상기 복수의 영역들 중 상기 이미지 프레임의 중앙에 위치한 영역에서의 값이 상기 이미지 프레임의 가장자리에 위치한 영역에서의 값보다 더 클 수 있다.
일측에 따르면, 상기 임계값들 각각은 상기 센서의 시야각(field of view)내에서 상기 적어도 두 개의 영역들 각각에서 상기 오브젝트가 동일한 크기의 움직임을 갖는 경우, 상기 적어도 두 개의 영역들에서 상기 오브젝트의 상기 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 상기 적어도 두 개의 영역들 각각에 상응하는 미리 설정된 값을 갖을 수 있다.
일측에 따르면, 상기 제어부는 상기 복수의 영역들 중 상기 오브젝트가 어느 영역에 속하는지 판단하는 생성부를 포함할 수 있다.
일측에 따르면, 상기 제어부는 상기 센서를 통해 상기 오브젝트의 깊이 정보를 검출하는 검출부; 및 상기 오브젝트의 상기 움직임의 상기 크기를 상기 깊이 정보를 이용하여 보상함으로써 보정된 움직임의 크기를 획득하는 생성부를 포함할 수 있다.
일측에 따르면, 상기 제어부는 상기 움직임 정보에 상응하는 이벤트를 발생시키는 생성부를 포함하고, 상기 이벤트는 상기 사용자 인터페이스의 상기 반응으로서 디스플레이 전원 켜짐, 디스플레이 전원 꺼짐, 메뉴의 디스플레이, 커서의 이동, 활성화된 아이템의 변경, 아이템의 선택, 아이템에 상응하는 동작 수행, 디스플레이 채널의 변경 및 음량의 변경 중 적어도 하나를 포함할 수 있다.
예시적인 실시예의 일측에 따르면, 오브젝트의 움직임으로부터 사용자 인터페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 방법은, 상기 오브젝트의 깊이 정보를 검출하는 단계, 및 상기 오브젝트의 상기 움직임(motion)을 상기 깊이 정보(depth information)를 이용하여 보상(compensation)함으로써 상기 움직임 정보를 생성하는 단계를 포함할 수 있다.
예시적인 실시예의 일측에 따르면, 오브젝트의 움직임으로부터 사용자 인터페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 장치는, 상기 오브젝트의 깊이 정보를 획득하는 센서, 및 상기 오브젝트의 상기 움직임(motion)을 상기 깊이 정보(depth information)를 이용하여 보상(compensation)함으로써 상기 움직임 정보를 생성하는 제어부를 포함할 수 있다.
예시적인 실시예의 일측에 따르면, 오브젝트의 움직임(motion)으로부터 사용자 인터페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 장치는, 상기 오브젝트를 촬상하여 이미지 프레임을 획득하는 센서, 및 상기 이미지 프레임을 이용하여 상기 오브젝트의 위치를 검출하고, 상기 검출된 위치를 기초로 상기 오브젝트의 상기 움직임에 상응하는 움직임 정보를 생성하는 제어부를 포함하고, 상기 검출된 위치는 제1 위치 및 제2 위치-상기 제1 위치 및 상기 제2 위치는 서로 다른 깊이 정보를 가짐-를 포함하고, 상기 제어부는 상기 제1 위치 및 상기 제2 위치 각각에서 상기 오브젝트가 동일한 상기 움직임을 가지는 경우, 상기 움직임에 대응하여 동일한 이벤트가 발생되도록 상기 이미지 프레임에서 상기 오브젝트의 상기 움직임을 보상하여 상기 움직임 정보를 생성할 수 있다.
예시적인 실시예의 일측에 따르면, 오브젝트의 움직임(motion)으로부터 사용자 인터페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 장치는, 상기 오브젝트를 촬상하여 이미지 프레임을 획득하는 센서, 및 상기 이미지 프레임상에서 상기 오브젝트의 위치를 검출하고, 상기 검출된 위치를 이용하여 상기 오브젝트의 상기 움직임에 상응하는 움직임 정보를 생성하는 제어부를 포함하고, 상기 검출된 위치는 제1 위치 및 제2 위치-상기 제1 위치 및 상기 제2 위치는 동일한 깊이 정보를 갖고, 상기 이미지 프레임의 중심으로부터 수평 거리 및 수직 거리 중 적어도 하나가 서로 다른 값을 가짐-를 포함하고, 상기 제어부는 상기 제1 위치 및 상기 제2 위치 각각에서 상기 오브젝트의 상기 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 상기 이미지 프레임에서 상기 오브젝트의 상기 움직임을 보상하여 상기 움직임 정보를 생성할 수 있다.
이미지 프레임을 이용하여 산출된 오브젝트의 움직임을 오브젝트의 위치를 기초로 보상하여, 오브젝트의 위치에 관계없이 오브젝트의 동일한 움직임에 대응하여 동일한 이벤트가 발생되도록 제어함으로써, 사용자에게 사용자 경험의 일관성을 제공할 수 있는 움직임 정보 생성 방법 및 장치가 제공된다.
센서의 시야각(field of view)내에서 서로 다른 깊이 정보를 갖는 위치들에서 오브젝트가 동일한 크기의 움직임을 갖는 경우, 상기 위치들에서 오브젝트의 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 움직임의 크기를 보상함으로써, 오브젝트의 움직임으로부터 보다 정확한 사용자 인터페이스의 반응을 제공할 수 있는 움직임 정보 생성 방법 및 장치가 제공된다.
또한, 동일한 깊이 정보를 갖고, 이미지 프레임의 중심으로부터 수평 거리 및 수직 거리 중 적어도 하나가 서로 다른 적어도 두 개의 위치들 각각에서 오브젝트의 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 이미지 프레임상에서의 오브젝트의 움직임을 보상함으로써, 보다 신뢰성 있는 사용자 인터페이스의 반응을 제공할 수 있는 움직임 정보 생성 방법 및 장치가 제공된다.
도 1은 일실시예에 따른 움직임 정보 생성 장치를 나타내는 예시도이다.
도 2는 일실시예에 따른 오브젝트의 움직임으로부터 사용자 인터페이스의 반응을 제공하는 예시도이다.
도 3은 일실시예에 따른 센서를 나타내는 예시도이다.
도 4는 일실시예에 따른 이미지 프레임 및 이미지 프레임상에서 오브젝트를 나타내는 예시도이다.
도 5는 일실시예에 따른 센서 및 촬상되는 위치의 개념을 나타내는 예시도이다.
도 6은 일실시예의 일 측에 따른 움직임 정보 생성 방법을 나타내는 순서도이다.
도 7은 일실시예에 따른 동일한 오브젝트의 움직임에 대한 깊이가 다른 위치들에서의 이미지 프레임상 오브젝트의 움직임들을 나타내는 예시도이다.
도 8은 일실시예에 따른 오브젝트의 움직임에 대한 이미지 프레임상 보정된 움직임의 크기를 나타내는 예시도이다.
도 9는 일실시예의 다른 측에 따른 움직임 정보 생성 방법을 나타내는 순서도이다.
도 10은 일실시예에 따른 이미지 프레임상 오브젝트의 위치 및/또는 오브젝트의 움직임을 나타내는 예시도이다.
도 11은 일실시예에 따른 서로 다른 임계 값을 갖는 영역들을 포함하는 이미지 프레임을 나타내는 예시도이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 움직임 정보 생성 장치를 나타내는 예시도이다.
움직임 정보 생성 장치(100)는 센서(110) 및 제어부(130)를 포함할 수 있다. 또한, 움직임 정보 생성 장치(100)는 저장부(120) 및 이벤트 처리부(170)를 더 포함할 수 있다. 제어부(130)는 산출부(140), 검출부(150) 및 생성부(160)를 포함할 수 있다.
움직임 정보 생성 장치(100)는 오브젝트의 움직임을 입력으로서 획득하여 오브젝트의 움직임 정보를 생성하고, 사용자 인터페이스의 반응으로서 오브젝트의 움직임 정보에 상응하는 이벤트를 발생시킬 수 있다. 또한, 움직임 정보 생성 장치(100)는 발생된 이벤트를 처리하여 사용자 인터페이스의 반응을 출력할 수 있다.
센서(110)는 오브젝트의 위치를 획득할 수 있다. 오브젝트의 위치는 이미지 프레임상 수직방향에 대한 좌표, 이미지 프레임상 수평방향에 대한 좌표 및 오브젝트와 센서(110)간 거리를 나타내는 오브젝트의 깊이 정보 중 적어도 하나를 포함할 수 있다. 여기서 오브젝트의 깊이 정보는 이미지 프레임과 수직하는 방향에 대한 좌표의 값으로 나타낼 수 있다. 예를 들어, 센서(110)는 오브젝트를 촬상하여 오브젝트의 깊이 정보를 포함하는 이미지 프레임을 획득할 수 있다. 여기서, 이미지 프레임은 복수의 영역들로 구분되고, 복수의 영역들 중 적어도 두 개의 영역들은 서로 다른 임계값들(thresholds)을 가질 수 있다. 센서(110)는 오브젝트의 위치로서 이미지 프레임상 수직방향에 대한 좌표 및 이미지 프레임상 수평방향에 대한 좌표를 획득할 수 있다. 또한 센서(110)는 오브젝트의 위치로서 오브젝트와 센서(110)간 거리를 나타내는 오브젝트의 깊이 정보를 획득할 수 있다. 깊이 센서(depth sensor), 2차원 카메라, 또는 스테레오스코픽(stereoscopic) 카메라를 포함하는 3차원 카메라 등이 센서(110)로서 사용될 수 있다. 또한, 센서(110)로서 초음파 또는 전파를 송수신하여 오브젝트의 위치를 획득하는 장치가 사용될 수도 있다.
저장부(120)는 획득된 이미지 프레임 또는 오브젝트의 위치를 저장할 수 있다. 저장부(120)는 센서로부터 임의 시구간에서 연속적으로 또는 주기적으로 획득되는 이미지 프레임들을 미리 설정된 개수만큼 또는 미리 설정된 시간 동안 저장할 수 있다. 또한, 저장부(120)는 이미지 프레임에서 구분되는 복수의 영역들 중 적어도 두 개의 영역들이 가지는 서로 다른 임계값들을 저장할 수 있다. 이때, 임계값은 오브젝트의 움직임의 크기와 비교되는 대상으로서, 이벤트의 발생여부 또는 미리 설정된 이벤트의 발생량 등을 결정하기 위해 사용될 수 있다.
제어부(130)는 이미지 프레임을 이용하여 오브젝트의 움직임의 크기를 산출할 수 있다. 제어부(130)는 오브젝트의 위치(또는 오브젝트의 움직임이 속하는 영역)를 검출하고, 검출된 위치를 이용하여 오브젝트의 움직임에 상응하는 움직임 정보를 생성할 수 있다. 즉, 제어부(130)는 각 위치에서 오브젝트의 움직임에 상응하는 이벤트가 발생되도록, 위치를 기초로 이미지 프레임에서 오브젝트의 움직임을 보상하여 움직임 정보를 생성할 수 있다. 움직임을 보상하는 방식은 위치를 기초로 임계값을 동적으로 선택하는 임계값 동적 선택 방식 및 산출된 움직임의 크기를 보상하는 움직임의 크기 보상 방식 중 적어도 하나일 수 있다.
예를 들어, 제어부(130)는 저장부(120)로부터 깊이 정보를 검출하고, 깊이 정보를 기초로 이미지 프레임상 오브젝트의 움직임의 크기를 보상함으로써 움직임 정보를 생성할 수 있다. 또한, 제어부(130)는 복수의 영역들 중 오브젝트의 움직임이 속하는 영역에 상응하는 임계값(threshold)과 움직임의 크기를 비교하여 움직임 정보를 생성할 수 있다. 또한, 제어부(130)는 움직임 정보에 상응하는 이벤트를 발생시킬 수 있다.
제어부(130)는 산출부(140), 검출부(150) 및 생성부(160)를 포함할 수 있다.
산출부(140)는 저장부(120)에 저장된 적어도 하나의 이미지 프레임을 이용하거나, 오브젝트의 위치들에 대한 데이터를 이용하여 오브젝트의 움직임을 검출할 수 있다. 또한, 산출부(140)는 검출된 오브젝트에 대한 움직임의 크기를 산출할 수 있다. 예를 들어, 산출부(140)는 오브젝트의 움직임의 시작 및 끝 위치를 잇는 직선 길이를 움직임의 크기로 산출하거나, 또는 오브젝트의 움직임의 평균적인 위치를 기준으로 가상의 직선을 그려서 가상의 직선의 길이를 움직임의 크기로 산출할 수도 있다.
검출부(150)는 저장부(120)로부터 오브젝트의 위치 또는 복수의 영역들 중 오브젝트의 움직임이 포함된 영역을 검출할 수 있다. 오브젝트의 위치는 이미지 프레임상 수직방향에 대한 좌표, 이미지 프레임상 수평방향에 대한 좌표 및 오브젝트와 센서(110)간 거리를 나타내는 오브젝트의 깊이 정보 중 적어도 하나를 포함할 수 있다. 복수의 이미지 프레임을 통해 오브젝트의 움직임이 획득되는 경우, 오브젝트의 위치는 오브젝트의 움직임에 상응하는 복수의 이미지 프레임 중 적어도 하나의 위치이거나, 복수의 이미지 프레임 적어도 하나의 위치를 이용하여 획득된 중심점 위치이거나, 또는 움직임의 구간별 이동 시간 등을 고려하여 산출된 위치일 수 있다. 예를 들어, 오브젝트의 움직임의 첫 이미지 프레임에서 오브젝트의 위치, 오브젝트의 움직임의 마지막 이미지 프레임에서 오브젝트의 위치, 또는 상기 두 위치의 중심점이 오브젝트의 위치가 될 수 있다. 또한, 이미지 프레임이 복수의 영역들로 구분되고, 복수의 영역들 중 적어도 두 개의 영역들이 서로 다른 임계값들을 갖는 경우, 검출부(150)는 이미지 프레임상 오브젝트의 움직임이 속하는 영역을 검출할 수 있다.
생성부(160)는 오브젝트의 움직임에 상응하는 이벤트가 발생되도록, 검출부(150)로부터 수신한 오브젝트의 위치를 기초로 산출부(140)로부터 수신한 오브젝트의 움직임을 보상하여 움직임 정보를 생성할 수 있다. 또한, 생성부(160)는 움직임 정보에 상응하는 인터럽트 신호를 발생시킬 수 있다. 또한, 오브젝트의 움직임에 대한 사용자 인터페이스의 반응 또는 그 결과로서, 움직임 정보 또는 발생된 인터럽트 신호 등이 저장부(120)에 저장될 수 있다.
이벤트 처리부(170)는 생성부(160)로부터 움직임 정보 또는 인터럽트 신호를 수신하여, 움직임 정보 또는 인터럽트 신호에 상응하는 이벤트를 처리할 수 있다. 예를 들어, 이벤트 처리부(170)는 도 2의 메뉴(220)를 디스플레이하는 스크린을 통해 오브젝트의 움직임에 대한 반응을 표시할 수 있다.
움직임 정보 생성 장치(100)는 이미지 프레임을 이용하여 산출된 오브젝트의 움직임을 오브젝트의 위치를 기초로 보상하여, 오브젝트의 위치에 관계없이 오브젝트의 동일한 움직임에 대응하여 동일한 이벤트가 발생되도록 제어함으로써, 사용자에게 사용자 경험의 일관성을 제공할 수 있다.
이하에서 도 2내지 도 5를 참조하여, 각 구성요소의 동작을 상세히 설명하도록 한다.
도 2의 기기(210)는 움직임 정보 생성 장치(100)를 포함하거나, 또는 움직임 정보 생성 장치(100)와 함께 연동 가능하다. 기기(210)는 미디어 시스템 또는 전자 기기일 수 있다. 상기 미디어 시스템은 텔레비전, 게임기 및/또는 오디오 등을 포함할 수 있다. 오브젝트는 사용자(260)의 신체, 사용자(260)의 신체 일부, 또는 사용자(260)가 다룰 수 있는 도구일 수 있다.
센서(110)는 사용자(260)의 손(270)을 포함하는 도 4의 이미지 프레임(410)을 획득할 수 있다. 이미지 프레임(410)은 등고선과 유사하게 일정 범위의 깊이를 갖는 대상들에 대한 윤곽 및 해당 윤곽에 상응하는 깊이 정보를 포함할 수 있다. 윤곽(412)은 이미지 프레임(410)상 사용자(260)의 손(270)에 상응하고, 손(270)과 센서(110)간 거리를 나타내는 깊이 정보를 가질 수 있다. 윤곽(414)은 사용자(260) 팔의 일부에 상응하고, 윤곽(416)은 사용자(260)의 머리 및 상반신에 상응할 수 있다. 윤곽(418)은 사용자(260)의 뒤에 위치한 배경에 상응할 수 있다. 윤곽(412)내지 윤곽(418)은 서로 다른 깊이 정보를 가질 수 있다.
제어부(130)는 이미지 프레임(410)을 이용하여 오브젝트 및 오브젝트의 위치를 검출할 수 있다. 제어부(130)는 이미지 프레임(410)으로부터 이미지 프레임(410)상 오브젝트(412)를 검출하고, 이미지 프레임(420)이 검출된 오브젝트(422)만을 포함하도록 제어할 수 있다. 또한, 제어부(130)는 이미지 프레임(410)에서 오브젝트(412)를 다른 형태를 갖도록 표시하여 제어할 수 있다. 예를 들면, 제어부(130)는 이미지 프레임(430)상의 오브젝트(432)를 적어도 하나의 점 또는 선, 면 등으로 나타내도록 제어할 수 있다.
또한, 제어부(130)는 이미지 프레임(430)상 오브젝트(432)를 점으로 나타내고, 오브젝트(432)의 위치를 3차원 좌표로 표시할 수 있다. 3차원 좌표는 x축, y축 및/또는 z축 성분을 포함하고, x축은 이미지 프레임상 수평방향에 대응하고, y축은 이미지 프레임상 수직방향에 대응할 수 있다. z축은 이미지 프레임과 수직하는 방향, 즉 깊이 정보가 나타내는 값에 대응할 수 있다.
제어부(130)는 적어도 둘의 이미지 프레임들을 이용하여 오브젝트의 위치를 추적하고, 움직임의 크기를 산출할 수 있다. 또한, 오브젝트의 움직임의 크기는 x축, y축 및/또는 z축 성분으로 나누어 나타낼 수 있다.
저장부(120)는 센서(110)로부터 획득된 이미지 프레임(410)을 저장할 수 있다. 이때, 저장부(120)는 적어도 둘의 이미지 프레임들을 연속적으로 또는 주기적으로 저장할 수 있다. 또한, 저장부(120)는 제어부(130)에 의해 처리된 이미지 프레임(422) 또는 이미지 프레임(430)을 저장할 수 있다. 여기서, 오브젝트(432)의 깊이 정보를 포함하는 이미지 프레임(430)을 대신하여, 오브젝트(432)의 3차원 좌표를 저장할 수도 있다.
또한, 이미지 프레임(435)이 격자(grid)로 구분된 가상의 복수의 영역들을 포함하는 경우, 오브젝트(432)의 좌표는 오브젝트(432)가 속한 영역 또는 해당 영역의 좌표로 나타내질 수 있다. 구현에 따라, 격자로 구분된 영역들 각각은 센서(110)에서 이미지 프레임을 획득하여 윤곽을 형성하는 최소 단위이거나, 제어부(130)에 의해 구획된 영역일 수 있다. 또한, 이미지 프레임상 영역이 격자로 구분되는 방식과 동일하게, 깊이에 대한 정보가 미리 설정된 단위 크기로 구분될 수도 있다. 이미지 프레임이 영역들 또는 단위 크기의 깊이들로 구획됨으로써, 오브젝트의 위치 및 오브젝트의 움직임의 크기에 대한 데이터 량이 줄어 들 수 있다.
또한, 이미지 프레임(435)상 복수의 영역들 중 일부 영역에 오브젝트(432)가 속하는 경우, 오브젝트(432)의 위치 또는 오브젝트(432)의 움직임이 산출될 때 해당 이미지 프레임(435)이 사용되지 않을 수 있다. 즉, 복수의 영역들 중 일부 영역에 오브젝트(432)가 속할 때, 이미지 프레임(435)상 오브젝트(432)의 움직임이 실제 촬상되는 오브젝트의 움직임과 비교하여 일정 수준이상 다르게 산출되는 경우, 해당 일부 영역에 포함된 오브젝트(432)의 위치가 사용되지 않을 수 있다. 여기서, 일부 영역은 이미지 프레임(434)상의 모서리에 해당하는 영역들을 포함할 수 있다. 예를 들어, 이미지 프레임상의 모서리에 해당하는 영역들에 오브젝트가 속하는 경우, 오브젝트의 위치 또는 오브젝트의 움직임을 산출할 때 해당 이미지 프레임이 사용되지 않도록 미리 설정될 수 있다.
도 5는 깊이에 따른 센서(110)에 의해 촬상되는 면(520, 530)과 촬상되는 면(520, 530)에 상응하는 이미지 프레임상 가상으로 구획된 영역들을 나타낸다. 또한, 도 2 및 도 5에서 3차원 축(250)은 센서(110)로부터 떨어진 손(270), 즉 오브젝트(270)의 위치를 표시하기 위한 x축, y축 및 z축에 대한 방향을 나타낸다.
저장부(120)는 이미지 프레임에서 구분되는 복수의 영역들 중 적어도 두 개의 영역들이 가지는 서로 다른 임계값들을 저장할 수 있다. 이때, 임계값은 오브젝트의 움직임의 크기와 비교되는 대상으로서, 이벤트의 발생여부 또는 미리 설정된 이벤트의 발생량 등을 결정하기 위해 사용될 수 있다. 또한, 오브젝트의 움직임의 크기를 나타내는 3차원 성분과 대응하여 임계값은 x축, y축, 또는 z축에 대한 값을 가질 수 있다. 여기서, 이벤트는 사용자 인터페이스의 반응으로서 디스플레이 전원 켜짐, 디스플레이 전원 꺼짐, 메뉴의 디스플레이, 커서의 이동, 활성화된 아이템의 변경, 아이템의 선택, 아이템에 상응하는 동작 수행, 디스플레이 채널의 변경 및 음량의 변경 중 적어도 하나를 포함할 수 있다.
예를 들어, 방향(275)으로 사용자(260)의 손(270)의 움직임에 대한 반응에 상응하는 이벤트로서, 기기(210)의 디스플레이된 메뉴(220)의 활성화된 아이템이 아이템(240)에서 아이템(245)으로 변경될 수 있다. 제어부(130)는 사용자(260)의 오브젝트(270)의 움직임에 상응하게 커서(230)의 이동이 표시되도록 하고, 아이템(240) 및 아이템(245)의 영역내에 커서(230)가 포함되는지를 판단하여 아이템의 활성화 여부가 표시되도록 제어할 수 있다.
또한, 제어부(130)는 커서(230)의 표시여부와 관계없이, 활성화된 아이템의 변경을 불연속적으로 표시할 수 있다. 이때, 센서(110)를 통해 획득된 이미지 프레임에서 오브젝트의 움직임의 크기와 활성화된 아이템의 변경에 대해 미리 설정된 임계값과 비교함으로써, 인접한 아이템으로 활성화된 아이템을 변경할 지 여부를 판단할 수 있다. 예를 들어, 활성화된 아이템을 1 칸 이동하여 변경 시킬 때 비교되는 임계값이 5cm 라고 가정할 수 있다. 산출된 움직임의 크기가 3cm 인 경우, 임계값과 비교하여 활성화된 아이템을 변경하지 않을 수 있다. 이때, 생성된 움직임 정보는 활성화된 아이템을 이동하지 않음, 인터럽트 신호를 발생시키지 않음, 또는 현재 상태의 유지를 나타낼 수 있다. 또한, 움직임 정보가 생성되지 않을 수도 있다. 산출된 움직임의 크기가 12cm 인 경우, 생성부(160)는 이벤트 발생량으로서 2 칸만큼 인접한 아이템을 활성화된 아이템으로 변경할 것으로 판단할 수 있다. 이때, 생성된 움직임 정보는 활성화된 아이템의 2 칸 이동을 나타낼 수 있다. 또한, 생성부(160)는 활성화된 아이템의 2 칸 이동에 대한 인터럽트 신호를 발생시킬 수 있다.
또한, 방향(280)으로 사용자(260)의 손(270)의 움직임(즉, 푸시(push))에 대한 반응에 상응하는 이벤트로서 기기(210)의 디스플레이된 메뉴(220)에서 활성화된 아이템(240)에 대한 선택 동작이 수행될 수 있다. 이때, 아이템의 선택에 대한 임계값은 오브젝트의 움직임의 z축 방향 크기를 비교하기 위한 값일 수 있다.
센서(110)는 오브젝트의 위치로서 이미지 프레임상 수직방향에 대한 좌표 및 이미지 프레임상 수평방향에 대한 좌표를 획득할 수 있다. 또한 센서(110)는 오브젝트의 위치로서 오브젝트와 센서(110)간 거리를 나타내는 오브젝트의 깊이 정보를 획득할 수 있다. 깊이 센서(depth sensor), 2차원 카메라, 또는 스테레오스코픽(stereoscopic) 카메라를 포함하는 3차원 카메라 등이 센서(110)로서 사용될 수 있다. 또한, 센서(110)로서 초음파 또는 전파를 송수신하여 오브젝트의 위치를 획득하는 장치가 사용될 수도 있다.
예를 들면, 2차원 카메라로서 일반적인 광학 카메라를 사용하는 경우, 제어부(130)는 획득된 이미지 프레임으로부터 연산 처리하여 오브젝트를 검출할 수 있다. 제어부(130)는 이미지 프레임상 오브젝트의 위치를 획득할 수 있고, 이미지 프레임상에서 오브젝트의 크기 또는 사용자의 크기를 검출할 수 있다. 제어부(130)는 검출된 크기에 따른 깊이 정보의 매핑 테이블을 이용하여, 깊이 정보를 획득할 수 있다. 스테레오스코픽 카메라가 센서(110)로서 사용되는 경우, 제어부(130)는 시차 또는 초점거리 등을 이용하여 오브젝트의 깊이 정보를 획득할 수 있다.
깊이 센서가 센서(110)로서 사용되는 경우는 도 3을 참조하여 설명한다. 도 3의 센서(110)는 깊이 센서일 수 있다. 센서(110)는 적외선(Infrared) 송신부(310) 및 광학 수신부(320)를 포함할 수 있다. 광학 수신부(320)는 렌즈(322), 적외선 필터(324) 및 이미지 센서(326)를 포함할 수 있다. 적외선 송신부(310)와 광학 수신부(320)는 동일하거나 또는 근접한 거리에 위치되도록 구현될 수 있다. 센서(110)는 광학 수신부(320)에 따라 고유 값으로 시야각(field of view)을 가질 수 있다. 적외선 송신부(310)를 통해 전송된 적외선은 전방에 위치한 오브젝트를 포함한 실체들에 도달한 후 반사되고, 반사된 적외선은 광학 수신부(320)에 수신될 수 있다. 렌즈(322)는 실체들의 광 성분을 수신하고, 적외선 필터(324)는 수신된 광 성분 중에서 적외선을 통과시킬 수 있다. 이미지 센서(326)는 통과된 적외선을 전기 신호로 변환하여, 이미지 프레임을 획득할 수 있다. 예를 들어, 이미지 센서(326)는 CCD (Charge Coupled Device) 또는 CMOS (Complementary metal Oxide Semiconductor) 등이 될 수 있다. 이미지 센서(326)에 의해 획득된 이미지 프레임은 도 4의 이미지 프레임(410)일 수 있다. 이때, 실체들의 깊이에 따라 윤곽을 나타내고 각 윤곽이 깊이 정보를 포함하도록 신호 처리될 수 있다. 깊이 정보는 적외선 송신부(310)으로부터 전송된 적외선이 광학 수신부(320)에 도달하기까지의 비행 시간(time of flight) 등을 이용하여 획득될 수 있다. 또한, 초음파 또는 전파를 송수신하여 오브젝트의 위치를 획득하는 장치도 초음파 또는 전파의 비행 시간을 이용하여 깊이 정보를 획득할 수 있다.
도 6은 일실시예의 일 측에 따른 움직임 정보 생성 방법을 나타내는 순서도이다.
단계(610)에서, 센서는 오브젝트를 촬상하여 이미지 프레임을 획득할 수 있다. 센서로는 깊이 센서, 2차원 카메라, 또는 스테레오스코픽 카메라를 포함하는 3차원 카메라 등이 사용될 수 있다. 또한, 초음파 또는 전파를 송수신하여 오브젝트의 위치를 획득하는 장치가 상기 센서로 사용될 수도 있다. 또한, 센서는 오브젝트와 센서간 거리를 측정하여 상기 오브젝트의 깊이 정보를 제공할 수 있다.
단계(615)에서, 제어부는 이미지 프레임을 이용하여 오브젝트의 움직임의 크기를 산출하고, 오브젝트의 깊이 정보를 검출할 수 있다. 또한, 제어부는 오브젝트의 위치들에 대한 데이터를 이용하여 오브젝트의 움직임의 크기를 검출할 수 있다. 예를 들어, 제어부는 오브젝트의 움직임의 시작 및 끝 위치를 잇는 직선 길이를 움직임의 크기로 산출하거나, 또는 오브젝트의 움직임의 평균적인 위치에 대한 가상의 직선을 생성하고, 생성된 가상의 직선의 길이를 움직임의 크기로 산출할 수도 있다. 또한, 제어부는 센서로부터 획득된 이미지 프레임으로부터 오브젝트를 식별하고, 식별된 오브젝트의 깊이 정보를 검출할 수 있다.
단계(620)에서, 제어부는 깊이 정보를 기초로 이미지 프레임상 오브젝트의 움직임의 크기를 보상하여, 보정된 움직임을 획득할 수 있다. 제어부는 오브젝트의 위치 또는 오브젝트의 움직임이 속하는 영역에서 오브젝트의 움직임에 상응하는 이벤트가 발생되도록, 오브젝트의 위치 또는 오브젝트의 움직임이 속하는 영역을 기초로 이미지 프레임에서 오브젝트의 움직임을 보상할 수 있다. 움직임을 보상하는 방식은 위치를 기초로 임계값을 동적으로 선택하는 임계값 동적 선택 방식 및 산출된 움직임의 크기를 보상하는 움직임의 크기 보상 방식 중 적어도 하나일 수 있다.
단계(625)에서 제어부는 보정된 움직임을 이용하여 움직임 정보를 생성할 수 있다. 이때, 제어부는 보정된 움직임과 임계값을 비교하여 움직임 정보를 생성하거나, 움직임 정보에 상응하는 인터럽트 신호를 발생시킬 수 있다. 또한, 제어부는 보정된 움직임과 임계값을 비교하는 단계를 생략하고 보정된 움직임을 통해 바로 이벤트를 발생시키도록 인터럽트 신호를 발생시킬 수 있다. 예를 들어, 움직임 정보는 활성화된 아이템의 이동을 나타내거나, 아이템의 선택 여부를 나타내는 정보일 수 있다.
단계(630)에서 이벤트 처리부는 움직임 정보 또는 인터럽트 신호에 상응하는 이벤트가 수행되도록 처리할 수 있다. 예를 들어, 이벤트 처리부는 도 2의 메뉴(220)를 디스플레이하는 스크린을 통해 오브젝트의 움직임에 대한 반응을 표시할 수 있다.
이처럼, 움직임 정보 생성 장치(100)는 오브젝트의 움직임의 크기를 보상함으로써, 오브젝트의 움직임으로부터 보다 정확한 사용자 인터페이스의 반응을 제공할 수 있다.
이하에서 도 7 내지 도 8을 참조하여, 일 실시예의 일 측에 따라 단계(620) 및 단계(625)를 상세히 설명한다.
도 7의 센서(110)로부터 깊이 정보가 다른 촬상되는 면들(720, 730, 740)상에 위치한 오브젝트의 움직임들(750)과 이미지 프레임들(725, 735, 745)상에서 오브젝트의 움직임들(752, 754, 756)이 다를 수 있다. 예를 들어, 촬상되는 면들(720, 730, 740)은 서로 다른 깊이 정보를 갖고, 촬상되는 면들(720, 730, 740) 각각에서 오브젝트가 동일한 움직임들(750)을 갖는 경우에도, 이미지 프레임들(725, 735, 745)상에서 오브젝트의 움직임들(752, 754, 756)-예를 들어, 오브젝트의 움직임들(752, 754, 756)은 도 1의 산출부(140)에 의해 산출됨-은 깊이 정보에 따라 서로 다른 움직임의 크기를 가질 수 있다. 즉, 산출부에 의해 산출되는 오브젝트의 움직임의 크기는 센서(170)와 오브젝트간 거리가 클 수록 상대적으로 작다. 여기서, 동일한 움직임들(750)은 각 움직임을 평행 이동하여 다른 움직임과 일치되는 것일 수 있다. 즉, 동일한 움직임들(750)은 움직임의 형태 및 움직임의 시작과 끝의 방향이 서로 일치하는 조건을 만족하는 것일 수 있다. 또한, 사용자 인터페이스의 구현에 따라, 동일한 움직임(750)은 움직임의 속도가 일치하는 조건을 더 만족하는 것일 수 있다. 도 1의 생성부(160)가 오브젝트의 움직임들(752, 754, 756)의 크기를 보상하지 않는 경우, 오브젝트의 움직임들(752, 754, 756) 각각에 대한 사용자 인터페이스의 반응으로서 서로 다른 이벤트가 발생될 수 있다.
단계(620)에서, 제어부는 센서의 시야각내에서 서로 다른 깊이 정보를 갖는 위치들에서 오브젝트가 동일한 크기의 움직임을 갖는 경우, 상기 위치들에서 오브젝트의 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 깊이 정보를 이용하여 움직임을 보상함으로써, 예를 들어 도 1의 생성부(160)에 의하여, 움직임 정보가 생성될 수 있다. 단계(620)에서, 생성부는 이미지 프레임상 오브젝트의 움직임의 크기-예를 들어, 오브젝트의 움직임의 크기는 도 1의 산출부(140)에 의해 산출됨-를 깊이 정보가 나타내는 값에 비례하는 값으로 보상함으로써 보정된 움직임의 크기를 획득할 수 있다. 즉, 생성부는 하기 수학식을 이용하여 보정된 움직임의 크기를 획득할 수 있다. 하기 수학식은 움직임의 크기 보상 방식의 일례를 나타낸다.
[수학식]
Figure pat00021
여기서,
Figure pat00022
는 보정된 움직임에 대한 수평방향 크기이고,
Figure pat00023
는 보정된 움직임에 대한 수직방향 크기이고,
Figure pat00024
는 이미지 프레임상 오브젝트의 움직임에 대한 수평방향 크기이고,
Figure pat00025
는 이미지 프레임상 오브젝트의 움직임에 대한 수직방향 크기이다.
Figure pat00026
는 깊이 정보가 나타내는 값이고,
Figure pat00027
는 센서의 수평방향 시야각의 1/2 이고,
Figure pat00028
는 센서의 수직방향 시야각의 1/2 이며,
Figure pat00029
및
Figure pat00030
각각은 상수를 나타낸다.
도 8의 촬상되는 면(820)은 센서(110)로부터 깊이 정보가 나타내는 값, 즉 거리 d1 만큼 떨어져 위치하고, 촬상되는 면(830)은 센서(110)로부터 거리 d2 만큼 떨어져 있을 수 있다. 이때, 촬상되는 면(820)의 가로 길이는 2*r1 이며, r1은 d1*tan
Figure pat00031
로서 나타낼 수 있고, 촬상되는 면(830)의 가로 길이는 2*r2 이며, r2는 d2*tan
Figure pat00032
로 나타낼 수 있다. 단계(620)에서, 생성부는 산출부에 의해 산출된 이미지 프레임상 오브젝트의 움직임의 크기를 깊이 정보가 나타내는 값(d1 또는 d2)에 비례하는 값으로 보상함으로써 보정된 움직임(855)의 크기를 획득할 수 있다. 즉, 단계(620)에서, 생성부는 서로 다른 깊이 정보를 갖는 위치 각각에서 동일한 오브젝트의 움직임(850)에 대한 반응으로서 동일한 이벤트가 발생되도록 이미지 프레임에서 오브젝트의 움직임을 보상하여 보정된 움직임(855)의 크기를 획득할 수 있다. 단계(625)에서 생성부는 보정된 움직임(855)에 상응하는 움직임 정보를 생성할 수 있다. 여기서, 움직임 정보는 움직임 정보에 상응하는 이벤트의 발생여부, 미리 설정된 이벤트의 발생량 또는 인터럽트 신호일 수 있다. 예를 들어, 움직임 정보는 활성화된 아이템의 이동을 나타내거나, 아이템의 선택 여부를 나타내는 정보일 수 있다.
또한, 상기 수학식처럼 움직임의 크기 보상 방식을 대신하여 임계값 동적 선택 방식이 사용될 수도 있다. 예를 들어, 임계값 동적 선택 방식은 생성부(160)가 임계값으로서 깊이 정보가 나타내는 값에 반비례하는 값으로 선택 또는 결정하는 것일 수 있다.
도 9는 일실시예의 다른 측에 따른 움직임 정보 생성 방법을 나타내는 순서도이다.
단계(910)에서, 센서는 오브젝트를 촬상하여 이미지 프레임을 획득할 수 있다. 여기서, 이미지 프레임은 복수의 영역들로 구분되고, 복수의 영역들 중 적어도 두 개의 영역들은 서로 다른 임계값들(thresholds)을 가질 수 있다. 임계값은 오브젝트의 움직임의 크기와 비교되는 대상으로서, 이벤트의 발생여부 또는 미리 설정된 이벤트의 발생량 등을 결정하기 위해 사용될 수 있다. 또한, 센서는 상기 오브젝트의 위치로서 이미지 프레임상 수직방향에 대한 좌표, 이미지 프레임상 수평방향에 대한 좌표를 제공할 수 있다.
단계(915)에서, 제어부는 이미지 프레임을 이용하여 오브젝트의 움직임의 크기를 산출하고, 이미지 프레임상 오브젝트의 위치를 검출할 수 있다. 또한, 제어부는 오브젝트의 위치들에 대한 데이터를 이용하여 오브젝트의 움직임의 크기를 검출할 수 있다. 또한, 제어부는 센서로부터 획득된 이미지 프레임으로부터 오브젝트를 식별하고, 식별된 오브젝트의 이미지 프레임상 x축 및/또는 y축 방향의 좌표를 검출할 수 있다.
단계(920)에서, 제어부는 오브젝트 또는 오브젝트의 움직임이 복수의 영역들 중 어느 영역에 속하는지 판단할 수 있다. 예를 들어, 복수의 영역들은 도 4의 이미지 프레임(435)에 구획된 영역들일 수 있다. 복수의 영역들 중 적어도 둘의 영역들은 서로 다른 임계값들을 가질 수 있다. 오브젝트 또는 오브젝트의 움직임이 속하는 영역은 상기 복수의 영역들 중 적어도 하나의 영역일 수 있다. 예를 들어, 오브젝트의 움직임이 속하는 영역이 복수의 영역이고, 복수의 영역이 서로 다른 임계값을 갖는 경우, 오브젝트의 움직임의 중심점을 오브젝트의 움직임의 위치로 결정할 수 있다.
단계(925)에서, 제어부는 오브젝트 또는 오브젝트의 움직임이 속하는 영역에 상응하는 임계값을 제공할 수 있다. 예를 들어, 임계값은 오브젝트의 움직임의 크기를 나타내는 3차원 성분과 대응하여 x축, y축, 및/또는 z축에 대한 값을 가질 수 있다. 임계값은 저장부에 저장될 수 있고, 저장된 임계값은 제어부에 의해 검출되어 오브젝트 또는 오브젝트의 움직임이 속하는 영역에 상응하는 임계값으로 선택될 수 있다.
단계(930)에서, 제어부는 제공된 임계값과 움직임의 크기를 비교할 수 있다. 예를 들어, 오브젝트의 움직임이 푸시(push)인 경우, 제어부는 푸시에 대한 이벤트로서 아이템의 선택 여부를 결정하기 위해 오브젝트의 움직임의 z축 방향 크기와 제공된 임계값을 비교할 수 있다.
단계(935)에서, 제어부는 제공된 임계값과 움직임의 크기의 비교를 통해 움직임 정보를 생성하거나, 또는 상응하는 이벤트를 발생시키도록 인터럽트 신호를 발생시킬 수 있다. 예를 들어, 아이템의 선택 여부를 결정하기 위해 제공된 임계값이 z축 방향 5cm이고, 산출된 움직임의 z축 방향 크기가 6cm인 경우, 제어부는 임계값과 움직임의 크기의 비교를 통해 오브젝트의 움직임에 대한 이벤트로서 아이템의 선택에 대한 정보를 나타내는 움직임 정보를 생성할 수 있다.
또한, 단계(935)에서, 제어부는 보정된 움직임의 크기와 제공된 임계값을 비교하여 움직임 정보를 생성할 수 있다. 제어부는 센서를 통해 오브젝트의 깊이 정보를 검출하고, 오브젝트의 움직임의 크기를 깊이 정보를 이용하여 보상함으로써, 보정된 움직임의 크기를 획득할 수 있다. 제어부가 깊이 정보를 이용하여 오브젝트의 움직임의 크기를 보상하는 동작은, 예를 들어 도 6 내지 도 8을 통해 상술하였으므로, 생략한다. 제어부는 보정된 움직임의 크기와 제공된 임계값을 비교하여 움직임 정보를 생성할 수 있다. 또한, 제어부는 보정된 움직임의 크기에 상응하는 이벤트를 발생시키도록 인터럽트 신호를 발생시킬 수 있다.
단계(940)에서, 이벤트 처리부는 움직임 정보 또는 인터럽트 신호에 상응하는 이벤트가 수행되도록 처리할 수 있다. 예를 들어, 이벤트 처리부는 도 2의 메뉴(220)를 디스플레이하는 스크린을 통해 오브젝트의 움직임에 대한 반응을 표시할 수 있다.
이하에서 도 10 내지 도 11을 참조하여, 일 실시예의 다른 측에 따라 단계(925), 단계(930) 및 단계(935)를 상세히 설명한다.
센서(110)의 시야각내에서 동일한 깊이 정보를 갖는 위치들(1020, 1030, 1040)에서 오브젝트가 동일한 움직임을 갖는 경우, 산출되는 이미지 프레임상 오브젝트의 움직임들(1025, 1035, 1045)은 이미지 프레임(1050)상 위치에 따라 서로 다른 움직임을 가질 수 있다. 예를 들어, 동일한 오브젝트의 움직임에 대해서, 이미지 프레임(1050)상 중심 위치(1035)에서 오브젝트의 움직임에 대한 x축 또는 y축 크기는 이미지 프레임(1050)상 가장자리 위치(1025 또는 1045)에서 오브젝트의 움직임에 대한 x축 또는 y축 크기보다 상대적으로 작을 수 있다. 또한, 동일한 오브젝트의 움직임에 대해서, 이미지 프레임(1050)상 중심 위치(1035)에서 오브젝트의 움직임에 대한 y축 크기는 이미지 프레임(1050)상 가장자리 위치(1025 또는 1045)에서 오브젝트의 움직임의 y축 크기보다 상대적으로 클 수 있다. 이때, 오브젝트의 움직임들(1025, 1035, 1045)이, 예를 들어 도 1의 생성부(160)에 의해, 보상되지 않는 경우, 오브젝트의 움직임들(1025, 1035, 1045) 각각에 대한 사용자 인터페이스의 반응으로서 서로 다른 이벤트가 발생될 수 있다.
제어부는 이미지 프레임(1050)상 서로 다른 위치들 각각에서 오브젝트의 동일한 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 이미지 프레임(1050)을 이용하여 산출된 오브젝트의 움직임을 보상하여 움직임 정보를 생성할 수 있다. 이처럼, 움직임 정보 생성 장치는 이미지 프레임상에서의 오브젝트의 움직임을 보상함으로써, 보다 신뢰성 있는 사용자 인터페이스의 반응을 제공할 수 있다.
예를 들어, 제어부는 임계값 동적 선택 방식을 사용하여 오브젝트의 움직임을 보상할 수 있다. 도 11의 이미지 프레임(1150)은 영역(1110) 및 영역(1120)으로 구분되고, 영역(1110) 및 영역(1120)은 서로 다른 임계값들을 가질 수 있다. 임계값들은 하기 테이블과 같이 저장부에 저장될 수 있다.
[테이블]
Figure pat00033
여기서, Tx는 이미지 프레임상 수평방향에 대한 임계 값, Ty는 이미지 프레임상 수직방향에 대한 임계 값(Ty), Tz는 이미지 프레임과 수직하는 방향에 대한 임계 값이다. 임계값들 각각은 Tx, Ty 및 Tz 중 적어도 하나를 포함할 수 있다. 임계값들 각각은 센서(110)의 시야각내에서 적어도 두 개의 영역들 각각에서 오브젝트가 동일한 크기의 움직임을 갖는 경우, 적어도 두 개의 영역들에서 오브젝트의 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 적어도 두 개의 영역들 각각에 상응하는 미리 설정된 값을 갖을 수 있다. 예를 들어, 오브젝트의 움직임을 보상하기 위한 임계값들의 Tx 및 Ty 각각은 복수의 영역들 중 이미지 프레임(1150)의 중앙에 위치한 영역(1110)에서의 값이 이미지 프레임(1150)의 가장자리에 위치한 영역(1120)에서의 값보다 더 작을 수 있다. 또한, 오브젝트의 움직임을 보상하기 위한 임계값들의 Tz는 복수의 영역들 중 이미지 프레임(1150)의 중앙에 위치한 영역(1110)에서의 값이 이미지 프레임(1150)의 가장자리에 위치한 영역(1120)에서의 값보다 더 클 수 있다.
또한, 제어부는 움직임의 크기 보상 방식을 사용하여 오브젝트의 움직임을 보상할 수도 있다. 이때, 예를 들어 도 1의 생성부(160)는 산출부(140)에 의해 산출된 움직임의 x축 또는 y축 크기를 이미지 프레임의 중심으로부터 떨어진 이미지 프레임상 오브젝트의 거리와 반비례하는 값으로 보상함으로써 보정된 움직임의 크기를 획득할 수 있다. 또한, 생성부는 산출부에 의해 산출된 움직임의 z축 크기를 이미지 프레임의 중심으로부터 떨어진 이미지 프레임상 오브젝트의 거리와 비례하는 값으로 보상함으로써 보정된 움직임의 크기를 획득할 수 있다.
또한, 실시예에 따르면, 도 1의 제어부(130)는 이미지 프레임을 이용하여 오브젝트의 위치를 검출하고, 검출된 위치를 기초로 오브젝트의 움직임에 상응하는 움직임 정보를 생성할 수 있다. 상기 검출된 위치는 제1 위치 및 제2 위치-제1 위치 및 제2 위치는 서로 다른 깊이 정보를 가짐-를 포함할 수 있다. 이때, 제어부(130)는 제1 위치 및 제2 위치 각각에서 오브젝트가 동일한 움직임을 가지는 경우, 상기 움직임에 대응하여 동일한 이벤트가 발생되도록 이미지 프레임에서 오브젝트의 움직임을 보상하여 움직임 정보를 생성할 수 있다.
예를 들어, 도 8을 참조하면, 제1 위치 및 제2 위치는 촬상되는 면(820) 및 촬상되는 면(830)일 수 있다. 제1 위치 및 제2 위치 각각에서 오브젝트의 동일한 움직임은 촬상되는 면(820, 830)에서의 오브젝트의 움직임(850)일 수 있다. 제어부(130)는 오브젝트의 동일한 움직임에 대응하여 동일한 이벤트가 발생되도록 이미지 프레임에서 오브젝트의 움직임을 보상하여 움직임 정보를 생성할 수 있다.
또한, 실시예에 따르면, 도 1의 제어부(130)는 이미지 프레임상에서 오브젝트의 위치를 검출하고, 검출된 위치를 이용하여 오브젝트의 움직임에 상응하는 움직임 정보를 생성할 수 있다. 상기 검출된 위치는 제1 위치 및 제2 위치-제1 위치 및 제2 위치는 동일한 깊이 정보를 갖고, 이미지 프레임의 중심으로부터 수평 거리 및 수직 거리 중 적어도 하나가 서로 다른 값을 가짐-를 포함할 수 있다. 이때, 제어부(130)는 제1 위치 및 제2 위치 각각에서 오브젝트의 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 이미지 프레임에서 오브젝트의 움직임을 보상하여 움직임 정보를 생성할 수 있다.
예를 들어, 제1 위치 및 제2 위치 각각은 오브젝트의 움직임의 시작 위치일 수 있다. 도 10을 참조하면, 제1 위치는 이미지 프레임(1050)상 오브젝트의 움직임(1035)의 시작 위치이고, 제2 위치는 이미지 프레임(1050)상 오브젝트의 움직임(1045)의 시작 위치일 수 있다. 제1 위치 및 제2 위치는 동일한 깊이 정보를 갖고, 이미지 프레임(1050)의 중심으로부터 수평 거리 및 수직 거리 중 적어도 하나가 서로 다른 값을 가질 수 있다. 이때, 제어부(130)는 제1 위치 및 제2 위치 각각에서 동일한 오브젝트의 움직임(1030, 1040)에 대한 반응으로 동일한 이벤트가 발생되도록 이미지 프레임에서 오브젝트의 움직임을 보상하여 움직임 정보를 생성할 수 있다.
상술한 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 움직임 정보 생성 장치
110: 센서
120: 저장부
130: 제어부
140: 산출부
150: 검출부
160: 생성부
170: 이벤트 처리부

Claims (30)

  1. 오브젝트의 움직임(motion)으로부터 사용자 인터페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 방법에 있어서,
    센서를 통해 상기 오브젝트를 촬상하여 획득된 이미지 프레임을 이용하여 상기 오브젝트의 깊이 정보를 검출하는 단계;
    상기 깊이 정보를 기초로 상기 이미지 프레임상 상기 오브젝트의 상기 움직임의 크기를 보상함으로써 상기 움직임 정보를 생성하는 단계; 및
    상기 움직임 정보에 상응하는 이벤트를 발생시키는 단계를 포함하는
    움직임 정보 생성 방법.
  2. 제1항에 있어서,
    상기 움직임 정보를 생성하는 단계는
    상기 센서의 시야각(field of view)내에서 서로 다른 깊이 정보를 갖는 위치들에서 상기 오브젝트가 동일한 크기의 움직임을 갖는 경우, 상기 위치들에서 상기 오브젝트의 상기 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 상기 깊이 정보를 기초로 상기 움직임의 상기 크기를 보상하는 단계를 포함하는 움직임 정보 생성 방법.
  3. 제1항에 있어서,
    상기 움직임 정보를 생성하는 단계는
    상기 이미지 프레임상 상기 오브젝트의 상기 움직임의 상기 크기를 상기 깊이 정보가 나타내는 값에 비례하는 값으로 보상함으로써 보정된 움직임의 크기를 획득하는 단계를 포함하는 움직임 정보 생성 방법
  4. 제3항에 있어서,
    상기 보정된 움직임을 획득하는 단계는
    하기 수학식을 이용하여 상기 보정된 움직임의 상기 크기를 획득하는 움직임 정보 생성 방법.
    [수학식]
    Figure pat00034

    여기서,
    Figure pat00035
    는 상기 보정된 움직임에 대한 수평방향 크기이고,
    Figure pat00036
    는 상기 보정된 움직임에 대한 수직방향 크기이고,
    Figure pat00037
    는 상기 이미지 프레임상 상기 오브젝트의 상기 움직임에 대한 수평방향 크기이고,
    Figure pat00038
    는 상기 이미지 프레임상 상기 오브젝트의 상기 움직임에 대한 수직방향 크기이고,
    Figure pat00039
    는 상기 깊이 정보가 나타내는 값이고,
    Figure pat00040
    는 상기 센서의 수평방향 시야각의 1/2 이고,
    Figure pat00041
    는 상기 센서의 수직방향 시야각의 1/2 이며,
    Figure pat00042
    및
    Figure pat00043
    각각은 상수를 나타냄.
  5. 제1항에 있어서,
    상기 이벤트는
    상기 사용자 인터페이스의 상기 반응으로서 디스플레이 전원 켜짐, 디스플레이 전원 꺼짐, 메뉴의 디스플레이, 커서의 이동, 활성화된 아이템의 변경, 아이템의 선택, 아이템에 상응하는 동작 수행, 디스플레이 채널의 변경 및 음량의 변경 중 적어도 하나를 포함하는 움직임 정보 생성 방법.
  6. 오브젝트의 움직임(motion)으로부터 사용자 인터페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 장치에 있어서,
    상기 오브젝트를 촬상하여 상기 오브젝트의 깊이 정보를 포함하는 이미지 프레임을 획득하는 센서; 및
    상기 깊이 정보를 검출하고, 상기 깊이 정보를 기초로 상기 이미지 프레임상 상기 오브젝트의 상기 움직임의 크기를 보상함으로써 상기 움직임 정보를 생성하고, 상기 움직임 정보에 상응하는 이벤트를 발생시키는 제어부를 포함하는
    움직임 정보 생성 장치.
  7. 제6항에 있어서,
    상기 제어부는
    상기 센서의 시야각(field of view)내에서 서로 다른 깊이 정보를 갖는 위치들에서 상기 오브젝트가 동일한 크기의 움직임을 갖는 경우, 상기 위치들에서 상기 오브젝트의 상기 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 상기 깊이 정보를 이용하여 상기 움직임을 보상함으로써 상기 움직임 정보를 생성하는 생성부를 포함하는 움직임 정보 생성 장치.
  8. 제6항에 있어서,
    상기 제어부는
    상기 이미지 프레임상 상기 오브젝트의 상기 움직임의 상기 크기를 상기 깊이 정보가 나타내는 값에 비례하는 값으로 보상함으로써 보정된 움직임의 크기를 획득하는 생성부를 포함하는 움직임 정보 생성 장치.
  9. 제8항에 있어서,
    상기 생성부는
    하기 수학식을 이용하여 상기 보정된 움직임의 상기 크기를 획득하는 움직임 정보 생성 장치.
    [수학식]
    Figure pat00044

    여기서,
    Figure pat00045
    는 상기 보정된 움직임에 대한 수평방향 크기이고,
    Figure pat00046
    는 상기 보정된 움직임에 대한 수직방향 크기이고,
    Figure pat00047
    는 상기 이미지 프레임상 상기 오브젝트의 상기 움직임에 대한 수평방향 크기이고,
    Figure pat00048
    는 상기 이미지 프레임상 상기 오브젝트의 상기 움직임에 대한 수직방향 크기이고,
    Figure pat00049
    는 상기 깊이 정보가 나타내는 값이고,
    Figure pat00050
    는 상기 센서의 수평방향 시야각의 1/2 이고,
    Figure pat00051
    는 상기 센서의 수직방향 시야각의 1/2 이며,
    Figure pat00052
    및
    Figure pat00053
    각각은 상수를 나타냄.
  10. 제6항에 있어서,
    상기 이벤트는 상기 사용자 인터페이스의 상기 반응으로서 디스플레이 전원 켜짐, 디스플레이 전원 꺼짐, 메뉴의 디스플레이, 커서의 이동, 활성화된 아이템의 변경, 아이템의 선택, 아이템에 상응하는 동작 수행, 디스플레이 채널의 변경 및 음량의 변경 중 적어도 하나를 포함하는 움직임 정보 생성 장치.
  11. 오브젝트의 움직임으로부터 사용자 인테페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 방법에 있어서,
    센서를 통해 상기 오브젝트를 촬상하여 획득된 이미지 프레임(image frame) - 상기 이미지 프레임은 복수의 영역들로 구분되고, 상기 복수의 영역들 중 적어도 두 개의 영역들은 서로 다른 임계값들(thresholds)을 가짐 ?이용하여 상기 오브젝트의 상기 움직임의 크기를 산출하는 단계; 및
    상기 오브젝트의 상기 움직임이 속하는 영역에 상응하는 임계값(threshold)과 상기 움직임의 크기를 비교하여 상기 움직임 정보(motion information)를 생성하는 단계
    를 포함하는 움직임 정보 생성 방법.
  12. 제11항에 있어서,
    상기 임계값들(thresholds) 각각은,
    상기 이미지 프레임상 수평방향에 대한 임계값(Tx), 수직방향에 대한 임계값(Ty) 및 상기 이미지 프레임과 수직하는 방향에 대한 임계값(Tz) 중 적어도 하나를 포함하는 움직임 정보 생성 방법
  13. 제12항에 있어서,
    상기 Tx 및 상기 Ty 각각은
    상기 복수의 영역들 중 상기 이미지 프레임의 중앙에 위치한 영역에서의 값이 상기 이미지 프레임의 가장자리에 위치한 영역에서의 값보다 더 작은 움직임 정보 생성 방법.
  14. 제12항 또는 제13항에 있어서,
    상기 Tz는 상기 복수의 영역들 중 상기 이미지 프레임의 중앙에 위치한 영역에서의 값이 상기 이미지 프레임의 가장자리에 위치한 영역에서의 값보다 더 큰 움직임 정보 생성 방법.
  15. 제11항에 있어서,
    상기 임계값들 각각은
    상기 센서의 시야각(field of view)내에서 상기 적어도 두 개의 영역들 각각에서 상기 오브젝트가 동일한 크기의 움직임을 갖는 경우, 상기 적어도 두 개의 영역들에서 상기 오브젝트의 상기 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 상기 적어도 두 개의 영역들 각각에 상응하는 미리 설정된 값을 갖는 움직임 정보 생성 방법.
  16. 제11항에 있어서,
    상기 움직임 정보를 생성하는 단계는
    상기 복수의 영역들 중 상기 오브젝트가 어느 영역에 속하는지 판단하는 단계를 포함하는 움직임 정보 생성 방법.
  17. 제11항에 있어서,
    상기 움직임 정보를 생성하는 단계는
    상기 센서를 통해 상기 오브젝트의 깊이 정보를 검출하는 단계; 및
    상기 오브젝트의 상기 움직임의 상기 크기를 상기 깊이 정보를 이용하여 보상함으로써 보정된 움직임의 크기를 획득하는 단계를 포함하는 움직임 정보 생성 방법.
  18. 제11항은
    상기 움직임 정보에 상응하는 이벤트를 발생시키는 단계를 더 포함하고,
    상기 이벤트는 상기 사용자 인터페이스의 상기 반응으로서 디스플레이 전원 켜짐, 디스플레이 전원 꺼짐, 메뉴의 디스플레이, 커서의 이동, 활성화된 아이템의 변경, 아이템의 선택, 아이템에 상응하는 동작 수행, 디스플레이 채널의 변경 및 음량의 변경 중 적어도 하나를 포함하는 움직임 정보 생성 방법.
  19. 오브젝트의 움직임으로부터 사용자 인터페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 장치에 있어서,
    상기 오브젝트를 촬상하여 이미지 프레임(image frame) - 상기 이미지 프레임은 복수의 영역들로 구분되고, 상기 복수의 영역들 중 적어도 두 개의 영역들은 서로 다른 임계값들(thresholds)을 가짐 ?획득하는 센서; 및
    상기 이미지 프레임을 이용하여 상기 오브젝트의 상기 움직임의 크기를 산출하고, 상기 오브젝트의 상기 움직임이 속하는 영역에 상응하는 임계값(threshold)과 상기 움직임의 크기를 비교하여 상기 움직임 정보(motion information)를 생성하는 제어부를 포함하는 움직임 정보 생성 장치.
  20. 제19항에 있어서,
    상기 임계값들(thresholds) 각각은,
    상기 이미지 프레임상 수평방향에 대한 임계 값(Tx), 수직방향에 대한 임계 값(Ty) 및 상기 이미지 프레임과 수직하는 방향에 대한 임계 값(Tz) 중 적어도 하나를 포함하는 움직임 정보 생성 장치.
  21. 제20항에 있어서,
    상기 Tx 및 상기 Ty 각각은
    상기 복수의 영역들 중 상기 이미지 프레임의 중앙에 위치한 영역에서의 값이 상기 이미지 프레임의 가장자리에 위치한 영역에서의 값보다 더 작은 움직임 정보 생성 장치.
  22. 제20항 또는 제21항에 있어서,
    상기 Tz는 상기 복수의 영역들 중 상기 이미지 프레임의 중앙에 위치한 영역에서의 값이 상기 이미지 프레임의 가장자리에 위치한 영역에서의 값보다 더 큰 움직임 정보 생성 장치.
  23. 제19항에 있어서,
    상기 임계값들 각각은
    상기 센서의 시야각(field of view)내에서 상기 적어도 두 개의 영역들 각각에서 상기 오브젝트가 동일한 크기의 움직임을 갖는 경우, 상기 적어도 두 개의 영역들에서 상기 오브젝트의 상기 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 상기 적어도 두 개의 영역들 각각에 상응하는 미리 설정된 값을 갖는 움직임 정보 생성 장치.
  24. 제19항에 있어서,
    상기 제어부는
    상기 복수의 영역들 중 상기 오브젝트가 어느 영역에 속하는지 판단하는 생성부를 포함하는 움직임 정보 생성 장치.
  25. 제19항에 있어서,
    상기 제어부는
    상기 센서를 통해 상기 오브젝트의 깊이 정보를 검출하는 검출부; 및
    상기 오브젝트의 상기 움직임의 상기 크기를 상기 깊이 정보를 이용하여 보상함으로써 보정된 움직임의 크기를 획득하는 생성부를 포함하는 움직임 정보 생성 장치.
  26. 제19항에 있어서,
    상기 제어부는
    상기 움직임 정보에 상응하는 이벤트를 발생시키는 생성부를 포함하고,
    상기 이벤트는 상기 사용자 인터페이스의 상기 반응으로서 디스플레이 전원 켜짐, 디스플레이 전원 꺼짐, 메뉴의 디스플레이, 커서의 이동, 활성화된 아이템의 변경, 아이템의 선택, 아이템에 상응하는 동작 수행, 디스플레이 채널의 변경 및 음량의 변경 중 적어도 하나를 포함하는 움직임 정보 생성 장치.
  27. 오브젝트의 움직임으로부터 사용자 인터페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 방법에 있어서,
    상기 오브젝트의 깊이 정보를 검출하는 단계; 및
    상기 오브젝트의 상기 움직임(motion)을 상기 깊이 정보(depth information)를 이용하여 보상(compensation)함으로써 상기 움직임 정보를 생성하는 단계
    를 포함하는 움직임 정보 생성 방법.
  28. 오브젝트의 움직임으로부터 사용자 인터페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 장치에 있어서,
    상기 오브젝트의 깊이 정보를 획득하는 센서; 및
    상기 오브젝트의 상기 움직임(motion)을 상기 깊이 정보(depth information)를 이용하여 보상(compensation)함으로써 상기 움직임 정보를 생성하는 제어부
    를 포함하는 움직임 정보 생성 장치.
  29. 오브젝트의 움직임(motion)으로부터 사용자 인터페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 장치에 있어서,
    상기 오브젝트를 촬상하여 이미지 프레임을 획득하는 센서; 및
    상기 이미지 프레임을 이용하여 상기 오브젝트의 위치를 검출하고, 상기 검출된 위치를 기초로 상기 오브젝트의 상기 움직임에 상응하는 움직임 정보를 생성하는 제어부를 포함하고,
    상기 검출된 위치는 제1 위치 및 제2 위치-상기 제1 위치 및 상기 제2 위치는 서로 다른 깊이 정보를 가짐-를 포함하고,
    상기 제어부는
    상기 제1 위치 및 상기 제2 위치 각각에서 상기 오브젝트가 동일한 상기 움직임을 가지는 경우, 상기 움직임에 대응하여 동일한 이벤트가 발생되도록 상기 이미지 프레임에서 상기 오브젝트의 상기 움직임을 보상하여 상기 움직임 정보를 생성하는
    움직임 정보 생성 장치.

  30. 오브젝트의 움직임(motion)으로부터 사용자 인터페이스의 반응을 제공하기 위해 상기 오브젝트의 상기 움직임에 관한 움직임 정보를 생성하는 장치에 있어서,
    상기 오브젝트를 촬상하여 이미지 프레임을 획득하는 센서; 및
    상기 이미지 프레임상에서 상기 오브젝트의 위치를 검출하고, 상기 검출된 위치를 이용하여 상기 오브젝트의 상기 움직임에 상응하는 움직임 정보를 생성하는 제어부를 포함하고,
    상기 검출된 위치는 제1 위치 및 제2 위치-상기 제1 위치 및 상기 제2 위치는 동일한 깊이 정보를 갖고, 상기 이미지 프레임의 중심으로부터 수평 거리 및 수직 거리 중 적어도 하나가 서로 다른 값을 가짐-를 포함하고,
    상기 제어부는
    상기 제1 위치 및 상기 제2 위치 각각에서 상기 오브젝트의 상기 움직임에 대한 반응으로 동일한 이벤트가 발생되도록 상기 이미지 프레임에서 상기 오브젝트의 상기 움직임을 보상하여 상기 움직임 정보를 생성하는
    움직임 정보 생성 장치.
KR1020100108557A 2010-11-03 2010-11-03 움직임 정보 생성 방법 및 장치 KR20120046973A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100108557A KR20120046973A (ko) 2010-11-03 2010-11-03 움직임 정보 생성 방법 및 장치
US13/244,310 US20120105326A1 (en) 2010-11-03 2011-09-24 Method and apparatus for generating motion information
EP11184602.8A EP2450772A3 (en) 2010-11-03 2011-10-11 Method and apparatus for generating motion information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100108557A KR20120046973A (ko) 2010-11-03 2010-11-03 움직임 정보 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20120046973A true KR20120046973A (ko) 2012-05-11

Family

ID=44946967

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100108557A KR20120046973A (ko) 2010-11-03 2010-11-03 움직임 정보 생성 방법 및 장치

Country Status (3)

Country Link
US (1) US20120105326A1 (ko)
EP (1) EP2450772A3 (ko)
KR (1) KR20120046973A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150097984A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 비전 센서를 이용한 사용자 입력 처리 장치 및 사용자 입력 처리 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130125066A1 (en) * 2011-11-14 2013-05-16 Microsoft Corporation Adaptive Area Cursor
KR20140056986A (ko) * 2012-11-02 2014-05-12 삼성전자주식회사 모션 센서 어레이 장치, 상기 모선 센서 어레이를 이용한 거리 센싱 시스템, 및 거리 센싱 방법
US20140173524A1 (en) * 2012-12-14 2014-06-19 Microsoft Corporation Target and press natural user input
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
WO2015038128A1 (en) * 2013-09-12 2015-03-19 Intel Corporation System to account for irregular display surface physics
US9588343B2 (en) * 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
KR20150137452A (ko) * 2014-05-29 2015-12-09 삼성전자주식회사 디스플레이 장치 제어 방법 및 이를 위한 원격 제어 장치
US9958946B2 (en) * 2014-06-06 2018-05-01 Microsoft Technology Licensing, Llc Switching input rails without a release command in a natural user interface
KR102249479B1 (ko) 2014-10-28 2021-05-12 엘지전자 주식회사 단말기 및 그 동작 방법
JP6617417B2 (ja) * 2015-03-05 2019-12-11 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
US9984519B2 (en) 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
US20170115737A1 (en) * 2015-10-26 2017-04-27 Lenovo (Singapore) Pte. Ltd. Gesture control using depth data
US10610133B2 (en) 2015-11-05 2020-04-07 Google Llc Using active IR sensor to monitor sleep
KR20180074400A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
WO1996034332A1 (fr) * 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'interface
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
JP4708581B2 (ja) * 2000-04-07 2011-06-22 キヤノン株式会社 座標入力装置、座標入力指示具及びコンピュータプログラム
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP3903968B2 (ja) * 2003-07-30 2007-04-11 日産自動車株式会社 非接触式情報入力装置
US7852317B2 (en) * 2005-01-12 2010-12-14 Thinkoptics, Inc. Handheld device for handheld vision based absolute pointing system
JP4569555B2 (ja) * 2005-12-14 2010-10-27 日本ビクター株式会社 電子機器
KR101331543B1 (ko) * 2006-03-14 2013-11-20 프라임센스 엘티디. 스페클 패턴을 이용한 3차원 센싱
US8310656B2 (en) * 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8144121B2 (en) * 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
JP4720738B2 (ja) * 2006-12-20 2011-07-13 日本ビクター株式会社 電子機器
US8269822B2 (en) * 2007-04-03 2012-09-18 Sony Computer Entertainment America, LLC Display viewing system and methods for optimizing display view based on active tracking
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
KR20110039318A (ko) * 2008-07-01 2011-04-15 힐크레스트 래보래토리스, 인크. 3ｄ 포인터 매핑
US20100199228A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US8649554B2 (en) * 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US8487871B2 (en) * 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US8284157B2 (en) * 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
US8334842B2 (en) * 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8933884B2 (en) * 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
WO2011096976A1 (en) * 2010-02-05 2011-08-11 Sony Computer Entertainment Inc. Controller for interfacing with a computing program using position, orientation, or motion
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8351651B2 (en) * 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US20110296352A1 (en) * 2010-05-27 2011-12-01 Microsoft Corporation Active calibration of a natural user interface
US9008355B2 (en) * 2010-06-04 2015-04-14 Microsoft Technology Licensing, Llc Automatic depth camera aiming
US8578299B2 (en) * 2010-10-08 2013-11-05 Industrial Technology Research Institute Method and computing device in a system for motion detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150097984A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 비전 센서를 이용한 사용자 입력 처리 장치 및 사용자 입력 처리 방법

Also Published As

Publication number Publication date
EP2450772A3 (en) 2015-04-01
US20120105326A1 (en) 2012-05-03
EP2450772A2 (en) 2012-05-09

Similar Documents

Publication Publication Date Title
KR20120046973A (ko) 움직임 정보 생성 방법 및 장치
EP3414742B1 (en) Optimized object scanning using sensor fusion
KR101730737B1 (ko) 안구추적을 기반으로 한 상이한 거리 자동적응 홀로그램 디스플레이 방법 및 장치
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
EP3395066B1 (en) Depth map generation apparatus, method and non-transitory computer-readable medium therefor
JP6548518B2 (ja) 情報処理装置および情報処理方法
US9607439B2 (en) Information processing apparatus and information processing method
CN104380338B (zh) 信息处理器以及信息处理方法
WO2013146269A1 (ja) 画像撮像装置、画像処理方法およびプログラム
US9086742B2 (en) Three-dimensional display device, three-dimensional image capturing device, and pointing determination method
TWI701941B (zh) 圖像處理方法及裝置、電子設備及儲存介質
CN110035218B (zh) 一种图像处理方法、图像处理装置及拍照设备
JP2013258614A (ja) 画像生成装置および画像生成方法
US20140200080A1 (en) 3d device and 3d game device using a virtual touch
EP3391647B1 (en) Method, apparatus, and non-transitory computer readable medium for generating depth maps
KR101441882B1 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
US9727229B2 (en) Stereoscopic display device, method for accepting instruction, and non-transitory computer-readable medium for recording program
US9041776B2 (en) 3-dimensional depth image generating system and method thereof
WO2015110852A1 (en) Face tracking for a mobile device
KR20160094190A (ko) 시선 추적 장치 및 방법
JPWO2011114564A1 (ja) 立体画像表示装置およびその制御方法
US20160259402A1 (en) Contact detection apparatus, projector apparatus, electronic board apparatus, digital signage apparatus, projector system, and contact detection method
JP2013217662A (ja) 測長装置、測長方法、プログラム
CN102508548A (zh) 一种电子信息设备的操作方法及系统
CN107884930B (zh) 头戴式装置及控制方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application