KR20130071080A - 모션 인식 인터페이스 장치 및 동작 방법 - Google Patents

모션 인식 인터페이스 장치 및 동작 방법 Download PDF

Info

Publication number
KR20130071080A
KR20130071080A KR1020110138397A KR20110138397A KR20130071080A KR 20130071080 A KR20130071080 A KR 20130071080A KR 1020110138397 A KR1020110138397 A KR 1020110138397A KR 20110138397 A KR20110138397 A KR 20110138397A KR 20130071080 A KR20130071080 A KR 20130071080A
Authority
KR
South Korea
Prior art keywords
motion
basic
content
user
detected
Prior art date
Application number
KR1020110138397A
Other languages
English (en)
Inventor
김기홍
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020110138397A priority Critical patent/KR20130071080A/ko
Publication of KR20130071080A publication Critical patent/KR20130071080A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 모션 인식 인터페이스 장치 및 동작 방법에 관한 것이다. 본 발명의 하나의 실시예에 따라, 사용자의 모션 이미지를 획득하는 카메라모듈; 획득된 이미지가 포함된 공간 영역을 설정에 따라 분할하여 분할된 구역별로 사용자의 모션에 따른 미리 설정된 기본 동작을 검출하는 모션 검출부; 검출된 기본 동작을 조합하여 전체 모션을 해석하고 해석 결과에 따라 컨텐츠의 내용을 제어하는 제어부; 및 제어된 컨텐츠의 내용이 표시되는 디스플레이부; 를 포함하여 이루어지는 모션 인식 인터페이스 장치가 제안된다. 또한, 모션 인식 인터페이스 동작 방법이 제안된다.

Description

모션 인식 인터페이스 장치 및 동작 방법{MOTION CAPTURE INTERFACE APPARATUS AND OPERATION METHOD OF MOTION CAPTURE INTERFACE}
본 발명은 모션 인식 인터페이스 장치 및 동작 방법에 관한 것이다. 구체적으로는 분할 영역별로 기본 동작을 판단하고 조합하여 효율적으로 모션을 인식하기 위한 모션 인식 인터페이스 장치 및 동작 방법에 관한 것이다.
스마트 TV, 스마트 패드 등의 도래에 따라 사용자와 디스플레이 간 효율적인 휴먼 인터페이스에 대한 수요가 증대하고 있다. 기존의 휴먼인터페이스는 일정한 도구를 사용하여 사용자의 동작을 기기 내의 센서를 이용하여 측정하고 이를 데이타로 전송하여 디스플레이장치에 표현되는 컨텐츠에 반영하였다.
현재에는 영상신호처리기술의 발달로 인하여 별도의 기기없이 사용자의 모션을 검출하여 사용자가 의도하는 휴먼인터페이스를 지원하는 방법에 대한 수요가 증대하고 있다.
종래 방식을 살펴보면, 하나의 예로, 사용자의 시선 인식을 통한 휴먼 인터페이스가 있다. 이 방식은 별도의 기기 없이 카메라 입력 영상신호 내의 사용자 시선을 포착하여 시선의 이동에 따라 콘텐츠를 제어하는 방식이다. 이러한 방식은 시선의 이동을 포착하기 위하여 안면인식과 눈동자 검출 등 매우 높은 수준의 영상신호처리 기술을 필요로 한다. 그에 따라, 시스템의 복잡도가 높아지는 동시에, 사용자가 의도와 달리 다른 곳으로 시선을 돌리는 경우 비정상적인 컨텐츠 제어가 발생할 개연성이 있다.
또 다른 방식으로는 현실공간에 존재하는 사용자의 모션을 유형별로 분석하여 이에 해당하는 각각의 패턴에 따라 모션의 정형화 과정을 통하여 분석하여 이에 해당하는 컨텐츠 제어를 제공하는 방식이다. 이러한 방식은 실제 공간상의 사용자의 모션을 가상 공간상의 캐릭터에 체현하는 측면에서 높은 완성도를 보일 수 있으나, 이러한 방식 또한 신호처리에 필요한 높은 컴퓨팅 성능이 요구되어 경제적인 보급형 휴먼 인터페이스를 제공하는데 어려움이 있다.
본 발명은 전술한 문제를 해결하기 위한 것으로, 분할 영역별로 기본 동작을 판단하고 조합하여 효율적으로 모션을 인식할 수 있는 기술을 제공하고자 한다.
전술한 문제를 해결하기 위하여, 본 발명의 제1 실시예에 따라, 사용자의 모션 이미지를 획득하는 카메라모듈; 획득된 이미지가 포함된 공간 영역을 설정에 따라 분할하여 분할된 구역별로 사용자의 모션에 따른 미리 설정된 기본 동작을 검출하는 모션 검출부; 검출된 기본 동작을 조합하여 전체 모션을 해석하고 해석 결과에 따라 컨텐츠의 내용을 제어하는 제어부; 및 제어된 컨텐츠의 내용이 표시되는 디스플레이부; 를 포함하여 이루어지는 모션 인식 인터페이스 장치가 제안된다.
또한, 하나의 예에서, 모션 검출부는 획득된 이미지 영역 내에서 사용자 또는 사용자의 일부를 중심으로 공간 영역의 사이즈를 설정하고 설정된 공간 영역을 분할할 수 있다.
또한, 하나의 예에 따르면, 모션 검출부는 공간 영역을 콘텐츠의 성격에 따라 미리 설정된 매트릭스 크기로 분할할 수 있다.
이때, 하나의 예에서, 모션 검출부는 구역별로 모션에 상응하는 기본 동작을 검출하지 못하는 경우 또는 제어부에서 해석 결과 컨텐츠의 내용을 제어하기 부적절하다는 판단에 따라 매트릭스 크기를 가변하도록 제어하는 경우 매트릭스 크기를 가변시켜 공간 영역을 분할할 수 있다.
또 하나의 예에 따르면, 모션 검출부에서 검출하는 기본 동작은 좌우 이동, 상하 이동, 좌상 사선 이동 및 우상 사선 이동 동작을 포함할 수 있다.
또한, 하나의 예에서, 제어부는 컨텐츠의 시작 또는 사용자의 설정에 따라 카메라모듈 및 모션 검출부의 작동을 제어하고, 모션 검출부에서 설정된 시간 동안 기본 동작이 검출되지 않는 경우, 제어부는 직전까지의 기본 동작들의 조합을 하나의 전체 모션으로 판단하여 해석할 수 있다.
이때, 하나의 예에서, 설정된 시간은 콘텐츠의 성격 또는 사용자의 설정에 따라 미리 설정되거나 모션 검출부에서 검출되는 기본 동작의 속력 또는 소정 기간 평균 속력에 따라 가변적으로 설정될 수 있다.
또한, 하나의 예에 따르면, 모션 검출부는 획득된 이미지로부터 또는 별도의 기기를 이용하여 획득된 사용자와의 거리 데이터로부터 사용자의 모션의 깊이 변화를 판단하여 원근 동작을 검출하는 모션 깊이 판단부를 구비하고, 제어부는 검출된 원근 동작 및 전체 모션을 해석하여 컨텐츠의 내용을 제어할 수 있다.
게다가, 또 하나의 예에 따르면, 모션 검출부는 각 구역 내에서 별개로 움직이는 다수의 부분 객체의 모션을 검출한 경우 최대 움직임을 나타내는 부분 객체의 모션으로부터 기본 동작을 검출할 수 있다.
이때, 하나의 예에서, 제어부는 각 구역별로 검출된 기본 동작들이 연결되지 않는 경우 최대로 연결된 제1의 기본 동작 조합과 차순위로 연결된 제2 기본 동작 조합이 연결되도록 조합하여 전체 모션을 해석할 수 있다.
다음으로, 전술한 문제를 해결하기 위하여, 본 발명의 제2 실시예에 따라, 사용자의 모션 이미지를 획득하는 이미지획득 단계; 획득된 이미지가 포함된 공간 영역을 설정에 따라 분할하여 분할된 구역별로 사용자의 모션에 따른 미리 설정된 기본 동작을 검출하는 모션 검출 단계; 검출된 기본 동작을 조합하여 전체 모션을 해석하고 해석 결과에 따라 컨텐츠의 내용을 제어하는 제어 단계; 및 제어된 컨텐츠의 내용이 표시되는 디스플레이 단계; 를 포함하여 이루어지는 모션 인식 인터페이스 동작 방법이 제안된다.
이때, 하나의 예에서, 모션 검출 단계에서는 획득된 이미지 영역 내에서 사용자 또는 사용자의 일부를 중심으로 공간 영역의 사이즈를 설정하고 설정된 공간 영역을 분할할 수 있다.
또한, 하나의 예에 따르면, 모션 검출 단계에서는 공간 영역을 콘텐츠의 성격에 따라 미리 설정된 매트릭스 크기로 분할할 수 있다.
이때, 또 하나의 예에서, 모션 검출 단계에서는 구역별로 모션에 상응하는 기본 동작을 검출하지 못하는 경우 또는 제어 단계에서 해석 결과 컨텐츠의 내용을 제어하기 부적절하다는 판단에 따라 매트릭스 크기를 가변하도록 피드백 제어하는 경우 매트릭스 크기를 가변시켜 공간 영역을 분할할 수 있다.
또 하나의 예에 따르면, 모션 검출 단계에서 검출되는 기본 동작은 좌우 이동, 상하 이동, 좌상 사선 이동 및 우상 사선 이동 동작을 포함할 수 있다.
또한, 하나의 예에서, 모션 검출 단계에서 설정된 시간 동안 기본 동작이 검출되지 않는 경우, 제어 단계에서는 직전까지의 기본 동작들의 조합을 하나의 전체 모션으로 판단하여 해석할 수 있다.
이때, 하나의 예에 따르면, 설정된 시간은 콘텐츠의 성격 또는 사용자의 설정에 따라 미리 설정되거나 모션 검출 단계에서 검출되는 기본 동작의 속력 또는 소정 기간 평균 속력에 따라 가변적으로 설정될 수 있다.
게다가, 하나의 예에서, 모션 검출 단계에서는 획득된 이미지로부터 또는 별도의 기기를 이용하여 획득된 사용자와의 거리 데이터로부터 사용자의 모션의 깊이 변화를 판단하여 원근 동작을 검출하고, 제어 단계에서는 검출된 원근 동작 및 전체 모션을 해석하여 컨텐츠의 내용을 제어할 수 있다.
또한, 하나의 예에 따르면, 모션 검출 단계에서는 각 구역 내에서 별개로 움직이는 다수의 부분 객체의 모션을 검출한 경우 최대 움직임을 나타내는 부분 객체의 모션으로부터 기본 동작을 검출할 수 있다.
이때, 또 하나의 예에서, 제어 단계에서는 각 구역별로 검출된 기본 동작들이 연결되지 않는 경우 최대로 연결된 제1의 기본 동작 조합과 차순위로 연결된 제2 기본 동작 조합이 연결되도록 조합하여 전체 모션을 해석할 수 있다.
본 발명의 실시예에 따라, 분할 영역별로 기본 동작을 판단하고 조합하여 효율적으로 모션을 인식할 수 있다.
본 발명의 하나의 실시예에 따라 공간 상에서 사용자 동작 추정시 알고리즘을 간소화할 수 있다.
또한, 본 발명의 하나의 실시예에 따라, 해상도에 무관하게 동일한 알고리즘을 적용할 수 있다.
본 발명의 하나의 실시예에 따라 응용프로그램에 따라 알고리즘에 소요되는 계산량을 조절하여 경제적인 시스템 구현이 가능하게 된다.
본 발명의 다양한 실시예에 따라 직접적으로 언급되지 않은 다양한 효과들이 본 발명의 실시예들에 따른 다양한 구성들로부터 당해 기술분야에서 통상의 지식을 지닌 자에 의해 도출될 수 있음은 자명하다.
도 1은 본 발명의 하나의 실시예에 따른 모션 인식 인터페이스 장치를 개략적으로 나타낸 블럭도이다.
도 2는 본 발명의 또 하나의 실시예에 따른 모션 인식 인터페이스 장치를 개략적으로 나타내는 블럭도이다.
도 3은 본 발명의 하나의 실시예에 따라 사용자의 이미지를 포함하는 공간 영역을 다양한 매트릭스 크기로 분할하는 것을 나타내는 도면이다.
도 4는 본 발명의 하나의 실시예에서 검출되는 기본 동작들과 그들의 전체 조합을 나타내는 개략적으로 도면이다.
도 5는 본 발명의 하나의 실시예에 따른 모션 인식 인터페이스 동작 방법을 개략적으로 나타내는 흐름도이다.
도 6은 본 발명의 또 하나의 실시예에 따른 모션 인식 인터페이스 동작 방법을 개략적으로 나타내는 흐름도이다.
전술한 과제를 달성하기 위한 본 발명의 실시예들이 첨부된 도면을 참조하여 설명될 것이다. 본 설명에 있어서, 동일부호는 동일한 구성을 의미하고, 당해 분야의 통상의 지식을 가진 자에게 본 발명의 이해를 도모하기 위하여 부차적인 설명은 생략될 수도 있다.
본 명세서에서 하나의 구성요소가 다른 구성요소와 연결, 결합 또는 배치 관계에서 '직접'이라는 한정이 없는 이상, '직접 연결, 결합 또는 배치'되는 형태뿐만 아니라 그들 사이에 또 다른 구성요소가 개재됨으로써 연결, 결합 또는 배치되는 형태로도 존재할 수 있다. 또한, '상에', '위에', '하부에', '아래에' 등의 '접촉'의 의미를 내포할 수 있는 용어들이 포함된 경우도 마찬가지이다. 방향을 나타내는 용어들은 기준이 되는 요소가 뒤집어지거나 그의 방향이 바뀌는 경우 그에 따른 대응되는 상대적인 방향 개념을 내포하는 것으로 해석될 수 있다.
본 명세서에 비록 단수적 표현이 기재되어 있을지라도, 발명의 개념에 반하거나 명백히 다르거나 모순되게 해석되지 않는 이상 복수의 구성 전체를 대표하는 개념으로 사용될 수 있음에 유의하여야 한다. 본 명세서에서 '포함하는', '갖는', '구비하는', '포함하여 이루어지는' 등의 기재는 하나 또는 그 이상의 다른 구성요소 또는 그들의 조합의 존재 또는 부가 가능성이 있는 것으로 이해되어야 한다.
우선, 본 발명의 제1 실시예에 따른 모션 인식 인터페이스 장치를 도면을 참조하여 구체적으로 살펴본다. 이때, 참조되는 도면에 기재되지 않은 도면부호는 동일한 구성을 나타내는 다른 도면에서의 도면부호일 수 있다.
도 1은 본 발명의 하나의 실시예에 따른 모션 인식 인터페이스 장치를 개략적으로 나타낸 블럭도이고, 도 2는 본 발명의 또 하나의 실시예에 따른 모션 인식 인터페이스 장치를 개략적으로 나타내는 블럭도이고, 도 3은 본 발명의 하나의 실시예에 따라 사용자의 이미지를 포함하는 공간 영역을 다양한 매트릭스 크기로 분할하는 것을 나타내는 도면이고, 도 4는 본 발명의 하나의 실시예에서 검출되는 기본 동작들과 그들의 전체 조합을 나타내는 개략적으로 도면이다.
도 1 및 2를 참조하면, 하나의 예에서, 모션 인식 인터페이스 장치(100)는 카메라모듈(110), 모션 검출부(120), 제어부(130) 및 디스플레이부(140)를 포함하여 이루어진다.
먼저, 카메라모듈(110)은 사용자의 모션 이미지를 획득한다.
도시되지 않았으나, 하나의 예에서, 카메라모듈(110)과 별도로 기기, 예컨대 적외선 카메라를 이용하여 사용자와의 거리를 측정하거나 다른 거리 측정 가능한 센서를 이용하여 사용자와의 거리를 판단할 수도 있다. 이때, 측정된 거리를 판단하여 모션의 깊이를 판단하는데 이용할 수 있다.
다음, 도 1 및 2의 모션 검출부(120)는 획득된 이미지가 포함된 공간 영역을 설정에 따라 분할한다. 도 3은 분할된 공간 영역을 도시하고 있다.
하나의 예에 따르면, 모션 검출부(120)는 획득된 이미지 영역 내에서 사용자 또는 사용자의 일부를 중심으로 공간 영역의 사이즈를 설정하고 설정된 공간 영역을 분할할 수 있다. 예컨대, 사람을 중심으로 하는 경우 좌우측으로는 팔을 벌리거나 다리를 벋칠 수 있는 거리를 넘는 정도로 공간 영역의 사이즈를 설정할 수 있다. 이때, 공간 영역의 사이즈를 사용자나 사용자의 신체 일부 등을 중심으로 일정 범위 내로 줄임으로써 카메라모듈(110)에 의해 획득되는 전체 영역이 아닌 사용자의 모션 동작이 미치는 범위 내에서 효율적으로 모션을 검출할 수 있게 된다.
또한, 도 3을 참조하여, 하나의 예를 살펴보면, 모션 검출부(120)는 공간 영역을 콘텐츠의 성격에 따라 미리 설정된 매트릭스 크기로 분할할 수 있다. 도 3의 (a), (b), (c)는 공간 영역이 각각 2×2, 4×4, 8×8 같은 매트릭스 크기로 분할된 것을 도시하고 있다.
도 3을 참조하면, 예컨대 빠른 모션 검출을 위하여 컨텐츠의 내용, 프레임간 변화속도, 목표 사용자의 연령대의 행동특성 등을 반영하여 각 컨텐츠별 모션 검출을 위한 공간 영역의 분할 정도를 달리할 수 있다. 예를 들어, 유아를 대상으로 하는 공간지각 능력 개발을 돕는 프로그램의 경우 구르기, 걷기, 앉기, 서기, 팔 들기 등 유아들의 기본동작을 검출하는 것으로 충분하므로 공간 영역을 2×2 매트릭스 형태(11) 또는 4×4 매트릭스 형태의 구역(12)으로 분할하는 것으로도 컨텐츠의 내용 등에 따라 전체 공간 내에서의 사용자의 움직임을 검출하는 데 충분할 수 있다. 보다 복잡한 모션을 검출하는 경우에는 도 3의 (c)에 도시된 바와 같이 8×8 매트릭스 형태로 공간 분할(13)하거나 도시되지 않았으나 그 이상의 매트릭스 형태로 공간 영역을 분할할 수 있다.
또한, 하나의 예에서, 컨텐츠의 내용의 변화와 사용자의 움직임의 변화에 따라 실시간으로 공간 영역의 매트릭스 분할 해상도를 가변할 수 있다.
예컨대, 하나의 예에서, 모션 검출부(120)는 구역별로 모션에 상응하는 기본 동작을 검출하지 못하는 경우 매트릭스 크기를 가변시켜 공간 영역을 분할할 수 있다. 또는 모션 검출부(120)는 제어부(130)에서 해석 결과 컨텐츠의 내용을 제어하기 부적절하다는 판단에 따라 매트릭스 크기를 가변하도록 제어하는 경우 매트릭스 크기를 가변시켜 공간 영역을 분할할 수 있다.
계속하여, 도 1 및 2의 모션 검출부(120)는 분할된 구역별로 사용자의 모션에 따른 미리 설정된 기본 동작을 검출한다. 도 4는 기본 동작들의 유형과 분할된 구역별 기본 동작을 도시하고 있다.
도 4를 참조하여, 또 하나의 예를 살펴보면, 모션 검출부(120)에서 검출하는 기본 동작은 좌우 이동, 상하 이동, 좌상 사선 이동 및 우상 사선 이동 동작을 포함할 수 있다. 도 4의 (a)는 각 구역별로 검출되는 기본 동작으로 좌우 이동, 상하 이동, 좌상 사선 이동 및 우상 사선 이동 동작을 나타내고 있다.
또한, 하나의 예에서, 모션 검출부(120)에서 설정된 시간 동안 기본 동작이 검출되지 않는 경우, 제어부(130)는 직전까지의 기본 동작들의 조합을 하나의 전체 모션으로 판단하여 해석할 수 있다.
나아가, 이때, 설정된 시간은 콘텐츠의 성격 또는 사용자의 설정에 따라 미리 설정되거나 모션 검출부(120)에서 검출되는 기본 동작의 속력 또는 소정 기간 평균 속력에 따라 가변적으로 설정될 수 있다.
도 2를 참조하여, 하나의 예를 살펴보면, 모션 검출부(120)는 모션 깊이 판단부(125)를 구비할 수 있다. 이때, 모션 깊이 판단부(125)는 획득된 이미지로부터 또는 별도의 기기를 이용하여 획득된 사용자와의 거리 데이터로부터 사용자의 모션의 깊이 변화를 판단하여 원근 동작을 검출할 수 있다.
게다가, 또 하나의 예에 따르면, 모션 검출부(120)는 각 구역 내에서 별개로 움직이는 다수의 부분 객체의 모션을 검출한 경우 최대 움직임을 나타내는 부분 객체의 모션으로부터 기본 동작을 검출할 수 있다.
다음, 도 1 및 2의 제어부(130)는 모션 검출부(120)에서 검출된 기본 동작을 조합하여 전체 모션을 해석한다. 이때, 제어부(130)는 해석 결과에 따라 컨텐츠의 내용을 제어한다.
하나의 예에서, 제어부(130)는 컨텐츠의 시작 또는 사용자의 설정에 따라 카메라모듈(110) 및 모션 검출부(120)의 작동을 제어할 수 있다.
도 2를 참조하여 하나의 예를 살펴보면, 제어부(130)는 모션 깊이 판단부(125)에서 검출된 원근 동작 및 전체 모션을 해석하여 컨텐츠의 내용을 제어할 수 있다.
또한, 하나의 예에서, 제어부(130)는 각 구역별로 검출된 기본 동작들이 연결되지 않는 경우 최대로 연결된 제1의 기본 동작 조합과 차순위로 연결된 제2 기본 동작 조합이 연결되도록 조합하여 전체 모션을 해석할 수 있다.
그리고 도 1 및 2의 디스플레이부(140)는 제어부(130)에 의해 제어된 컨텐츠의 내용을 표시한다.
다음으로, 본 발명의 제2 실시예에 따른 모션 인식 인터페이스 동작 방법을 도면을 참조하여 구체적으로 살펴본다. 이때, 다음의 도 5 및 6뿐만 아니라 전술한 제1 실시예에 따른 모션 인식 인터페이스 장치들 및 도 1 내지 4가 참조될 것이고, 그에 따라 중복되는 설명들은 생략될 수 있다.
도 5는 본 발명의 하나의 실시예에 따른 모션 인식 인터페이스 동작 방법을 개략적으로 나타내는 흐름도이고, 도 6은 본 발명의 또 하나의 실시예에 따른 모션 인식 인터페이스 동작 방법을 개략적으로 나타내는 흐름도이다.
도 5를 참조하여, 본 발명의 제2 실시예에 따른 모션 인식 인터페이스 동작 방법을 살펴보면, 모션 인식 인터페이스 동작 방법은 이미지획득 단계(S100), 모션 검출 단계(S200), 제어 단계(S300) 및 디스플레이 단계(S400)를 포함하여 이루어진다.
도 5의 이미지획득 단계(S100)에서는 사용자의 모션 이미지를 획득한다.
도 5의 모션 검출 단계(S200)에서는 획득된 이미지가 포함된 공간 영역을 설정에 따라 분할하여 분할된 구역별로 사용자의 모션에 따른 미리 설정된 기본 동작을 검출한다.
하나의 예에서, 모션 검출 단계(S200)에서는 획득된 이미지 영역 내에서 사용자 또는 사용자의 일부를 중심으로 공간 영역의 사이즈를 설정하고 설정된 공간 영역을 분할할 수 있다.
또한, 도 3을 참조하면, 하나의 예에서, 모션 검출 단계(S200)에서는 공간 영역을 콘텐츠의 성격에 따라 미리 설정된 매트릭스 크기로 분할할 수 있다.
또한, 하나의 예에서, 모션 검출 단계(S200)에서는 구역별로 모션에 상응하는 기본 동작을 검출하지 못하는 경우 매트릭스 크기를 가변시켜 공간 영역을 분할할 수 있다. 또는 하나의 예에서, 모션 검출 단계(S200)에서는 제어 단계(S300)에서 해석 결과 컨텐츠의 내용을 제어하기 부적절하다는 판단에 따라 매트릭스 크기를 가변하도록 피드백 제어하는 경우 매트릭스 크기를 가변시켜 공간 영역을 분할할 수 있다.
게다가, 도 6을 참조하면, 하나의 예에서, 모션 검출 단계(S200)에서는 획득된 이미지로부터 또는 별도의 기기를 이용하여 획득된 사용자와의 거리 데이터로부터 사용자의 모션의 깊이 변화를 판단하여 원근 동작을 검출할 수 있다.
도 4를 참조하면, 하나의 예에서, 모션 검출 단계(S200)에서 검출되는 기본 동작은 좌우 이동, 상하 이동, 좌상 사선 이동 및 우상 사선 이동 동작을 포함할 수 있다.
또한, 하나의 예에 따르면, 모션 검출 단계(S200)에서는 각 구역 내에서 별개로 움직이는 다수의 부분 객체의 모션을 검출한 경우 최대 움직임을 나타내는 부분 객체의 모션으로부터 기본 동작을 검출할 수 있다.
다음, 도 5의 제어 단계(S300)에서는 검출된 기본 동작을 조합하여 전체 모션을 해석하고 해석 결과에 따라 컨텐츠의 내용을 제어한다.
또한, 하나의 예에서, 모션 검출 단계(S200)에서 설정된 시간 동안 기본 동작이 검출되지 않는 경우, 제어 단계(S300)에서는 직전까지의 기본 동작들의 조합을 하나의 전체 모션으로 판단하여 해석할 수 있다.
나아가, 하나의 예에 따르면, 설정된 시간은 콘텐츠의 성격 또는 사용자의 설정에 따라 미리 설정되거나 모션 검출 단계(S200)에서 검출되는 기본 동작의 속력 또는 소정 기간 평균 속력에 따라 가변적으로 설정될 수 있다.
도 6을 참조하면, 하나의 예에서, 제어 단계(S1300)에서는 검출된 원근 동작 및 전체 모션을 해석하여 컨텐츠의 내용을 제어할 수 있다.
또 하나의 예에서, 제어 단계(S300)에서는 각 구역별로 검출된 기본 동작들이 연결되지 않는 경우 최대로 연결된 제1의 기본 동작 조합과 차순위로 연결된 제2 기본 동작 조합이 연결되도록 조합하여 전체 모션을 해석할 수 있다.
다음으로, 도 5의 디스플레이 단계(S400)에서는 제어 단계에서 제어된 컨텐츠의 내용이 표시된다.
이상에서, 전술한 실시예 및 첨부된 도면들은 본 발명의 범주를 제한하는 것이 아니라 본 발명에 대한 당해 기술분야에서 통상의 지식을 가진 자의 이해를 돕기 위해 예시적으로 설명된 것이다. 또한, 전술한 구성들의 다양한 조합에 따른 실시예들이 앞선 구체적인 설명들로부터 당업자에게 자명하게 구현될 수 있다. 따라서, 본 발명의 다양한 실시예는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있고, 본 발명의 범위는 특허청구범위에 기재된 발명에 따라 해석되어야 하며, 당해 기술분야에서 통상의 지식을 가진 자에 의한 다양한 변경, 대안, 균등물들을 포함하고 있다.
11, 12, 13 : 매트릭스 크기로 분할된 공간 영역
21, 22, 23, 24 : 기본 동작 유형들
100 : 모션 인식 인터페이스 장치
110 : 카메라모듈 120 : 모션 검출부
125 : 모션 깊이 판단부 130 : 제어부
140 : 디스플레이부

Claims (20)

  1. 사용자의 모션 이미지를 획득하는 카메라모듈;
    상기 획득된 이미지가 포함된 공간 영역을 설정에 따라 분할하여 분할된 구역별로 상기 사용자의 모션에 따른 미리 설정된 기본 동작을 검출하는 모션 검출부;
    상기 검출된 상기 기본 동작을 조합하여 전체 모션을 해석하고 해석 결과에 따라 컨텐츠의 내용을 제어하는 제어부; 및
    상기 제어된 컨텐츠의 내용이 표시되는 디스플레이부; 를 포함하여 이루어지는 모션 인식 인터페이스 장치.
  2. 청구항 1에 있어서,
    상기 모션 검출부는 상기 획득된 이미지 영역 내에서 상기 사용자 또는 사용자의 일부를 중심으로 상기 공간 영역의 사이즈를 설정하고 상기 설정된 공간 영역을 분할하는,
    모션 인식 인터페이스 장치.
  3. 청구항 1에 있어서,
    상기 모션 검출부는 상기 공간 영역을 상기 콘텐츠의 성격에 따라 미리 설정된 매트릭스 크기로 분할하는,
    모션 인식 인터페이스 장치.
  4. 청구항 3에 있어서,
    상기 모션 검출부는 상기 구역별로 상기 모션에 상응하는 상기 기본 동작을 검출하지 못하는 경우 또는 상기 제어부에서 상기 해석 결과 상기 컨텐츠의 내용을 제어하기 부적절하다는 판단에 따라 상기 매트릭스 크기를 가변하도록 제어하는 경우 상기 매트릭스 크기를 가변시켜 상기 공간 영역을 분할하는,
    모션 인식 인터페이스 장치.
  5. 청구항 1에 있어서,
    상기 모션 검출부에서 검출하는 상기 기본 동작은 좌우 이동, 상하 이동, 좌상 사선 이동 및 우상 사선 이동 동작을 포함하는,
    모션 인식 인터페이스 장치.
  6. 청구항 1에 있어서,
    상기 제어부는 상기 컨텐츠의 시작 또는 사용자의 설정에 따라 상기 카메라모듈 및 모션 검출부의 작동을 제어하고,
    상기 모션 검출부에서 설정된 시간 동안 상기 기본 동작이 검출되지 않는 경우, 상기 제어부는 직전까지의 상기 기본 동작들의 조합을 하나의 전체 모션으로 판단하여 해석하는,
    모션 인식 인터페이스 장치.
  7. 청구항 6에 있어서,
    상기 설정된 시간은 상기 콘텐츠의 성격 또는 사용자의 설정에 따라 미리 설정되거나 상기 모션 검출부에서 검출되는 상기 기본 동작의 속력 또는 소정 기간 평균 속력에 따라 가변적으로 설정되는,
    모션 인식 인터페이스 장치.
  8. 청구항 1에 있어서,
    상기 모션 검출부는 상기 획득된 이미지로부터 또는 별도의 기기를 이용하여 획득된 상기 사용자와의 거리 데이터로부터 상기 사용자의 모션의 깊이 변화를 판단하여 원근 동작을 검출하는 모션 깊이 판단부를 구비하고,
    상기 제어부는 상기 검출된 원근 동작 및 상기 전체 모션을 해석하여 상기 컨텐츠의 내용을 제어하는,
    모션 인식 인터페이스 장치.
  9. 청구항 1 내지 8 중 어느 하나에 있어서,
    상기 모션 검출부는 상기 각 구역 내에서 별개로 움직이는 다수의 부분 객체의 모션을 검출한 경우 최대 움직임을 나타내는 상기 부분 객체의 모션으로부터 상기 기본 동작을 검출하는,
    모션 인식 인터페이스 장치.
  10. 청구항 9에 있어서,
    상기 제어부는 상기 각 구역별로 검출된 기본 동작들이 연결되지 않는 경우 최대로 연결된 제1의 기본 동작 조합과 차순위로 연결된 제2 기본 동작 조합이 연결되도록 조합하여 상기 전체 모션을 해석하는,
    모션 인식 인터페이스 장치.
  11. 사용자의 모션 이미지를 획득하는 이미지획득 단계;
    상기 획득된 이미지가 포함된 공간 영역을 설정에 따라 분할하여 분할된 구역별로 상기 사용자의 모션에 따른 미리 설정된 기본 동작을 검출하는 모션 검출 단계;
    상기 검출된 상기 기본 동작을 조합하여 전체 모션을 해석하고 해석 결과에 따라 컨텐츠의 내용을 제어하는 제어 단계; 및
    상기 제어된 컨텐츠의 내용이 표시되는 디스플레이 단계; 를 포함하여 이루어지는 모션 인식 인터페이스 동작 방법.
  12. 청구항 11에 있어서,
    상기 모션 검출 단계에서는 상기 획득된 이미지 영역 내에서 상기 사용자 또는 사용자의 일부를 중심으로 상기 공간 영역의 사이즈를 설정하고 상기 설정된 공간 영역을 분할하는,
    모션 인식 인터페이스 동작 방법.
  13. 청구항 11에 있어서,
    상기 모션 검출 단계에서는 상기 공간 영역을 상기 콘텐츠의 성격에 따라 미리 설정된 매트릭스 크기로 분할하는,
    모션 인식 인터페이스 동작 방법.
  14. 청구항 13에 있어서,
    상기 모션 검출 단계에서는 상기 구역별로 상기 모션에 상응하는 상기 기본 동작을 검출하지 못하는 경우 또는 상기 제어 단계에서 상기 해석 결과 상기 컨텐츠의 내용을 제어하기 부적절하다는 판단에 따라 상기 매트릭스 크기를 가변하도록 피드백 제어하는 경우 상기 매트릭스 크기를 가변시켜 상기 공간 영역을 분할하는,
    모션 인식 인터페이스 동작 방법.
  15. 청구항 11에 있어서,
    상기 모션 검출 단계에서 검출되는 상기 기본 동작은 좌우 이동, 상하 이동, 좌상 사선 이동 및 우상 사선 이동 동작을 포함하는,
    모션 인식 인터페이스 동작 방법.
  16. 청구항 11에 있어서,
    상기 모션 검출 단계에서 설정된 시간 동안 상기 기본 동작이 검출되지 않는 경우, 상기 제어 단계에서는 직전까지의 상기 기본 동작들의 조합을 하나의 전체 모션으로 판단하여 해석하는,
    모션 인식 인터페이스 동작 방법.
  17. 청구항 16에 있어서,
    상기 설정된 시간은 상기 콘텐츠의 성격 또는 사용자의 설정에 따라 미리 설정되거나 상기 모션 검출 단계에서 검출되는 상기 기본 동작의 속력 또는 소정 기간 평균 속력에 따라 가변적으로 설정되는,
    모션 인식 인터페이스 동작 방법.
  18. 청구항 11에 있어서,
    상기 모션 검출 단계에서는 상기 획득된 이미지로부터 또는 별도의 기기를 이용하여 획득된 상기 사용자와의 거리 데이터로부터 상기 사용자의 모션의 깊이 변화를 판단하여 원근 동작을 검출하고,
    상기 제어 단계에서는 상기 검출된 원근 동작 및 상기 전체 모션을 해석하여 상기 컨텐츠의 내용을 제어하는,
    모션 인식 인터페이스 동작 방법.
  19. 청구항 11 내지 18 중 어느 하나에 있어서,
    상기 모션 검출 단계에서는 상기 각 구역 내에서 별개로 움직이는 다수의 부분 객체의 모션을 검출한 경우 최대 움직임을 나타내는 상기 부분 객체의 모션으로부터 상기 기본 동작을 검출하는,
    모션 인식 인터페이스 동작 방법.
  20. 청구항 19에 있어서,
    상기 제어 단계에서는 상기 각 구역별로 검출된 기본 동작들이 연결되지 않는 경우 최대로 연결된 제1의 기본 동작 조합과 차순위로 연결된 제2 기본 동작 조합이 연결되도록 조합하여 상기 전체 모션을 해석하는,
    모션 인식 인터페이스 동작 방법.
KR1020110138397A 2011-12-20 2011-12-20 모션 인식 인터페이스 장치 및 동작 방법 KR20130071080A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110138397A KR20130071080A (ko) 2011-12-20 2011-12-20 모션 인식 인터페이스 장치 및 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110138397A KR20130071080A (ko) 2011-12-20 2011-12-20 모션 인식 인터페이스 장치 및 동작 방법

Publications (1)

Publication Number Publication Date
KR20130071080A true KR20130071080A (ko) 2013-06-28

Family

ID=48865682

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110138397A KR20130071080A (ko) 2011-12-20 2011-12-20 모션 인식 인터페이스 장치 및 동작 방법

Country Status (1)

Country Link
KR (1) KR20130071080A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014108474A1 (de) 2013-06-20 2014-12-24 Electronics And Telecommunications Research Institute Verfahren und vorrichtung für eine signalgabe zum bereitstellen eins hybriden digitalen multimedia-rundfunkübertragungs-(dmb = digital multimedia broadcasting)dienstes
US11977677B2 (en) 2013-06-20 2024-05-07 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014108474A1 (de) 2013-06-20 2014-12-24 Electronics And Telecommunications Research Institute Verfahren und vorrichtung für eine signalgabe zum bereitstellen eins hybriden digitalen multimedia-rundfunkübertragungs-(dmb = digital multimedia broadcasting)dienstes
US11977677B2 (en) 2013-06-20 2024-05-07 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions

Similar Documents

Publication Publication Date Title
US10855938B2 (en) Gaze tracking variations using selective illumination
US11099645B2 (en) Apparatus and method for dynamic graphics rendering based on saccade detection
CN108700933B (zh) 能够进行眼睛追踪的可穿戴设备
US10534526B2 (en) Automatic scrolling based on gaze detection
US9367951B1 (en) Creating realistic three-dimensional effects
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
EP3293620B1 (en) Multi-screen control method and system for display screen based on eyeball tracing technology
US9030425B2 (en) Detection of interaction with virtual object from finger color change
US9274597B1 (en) Tracking head position for rendering content
EP3079042B1 (en) Device and method for displaying screen based on event
US20140037135A1 (en) Context-driven adjustment of camera parameters
US10768689B2 (en) System and method for providing virtual reality contents based on body information obtained from user
KR101272811B1 (ko) 인터페이스 시스템 및 방법
KR102099223B1 (ko) 사시 진단 시스템 및 방법, 시선 영상 획득 시스템, 컴퓨터 프로그램
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
KR20130071080A (ko) 모션 인식 인터페이스 장치 및 동작 방법
KR101492832B1 (ko) 영상 제어 방법 및 이를 이용한 영상 표시 장치
JP2015207908A (ja) 情報処理装置

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination