KR101394604B1 - 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치 - Google Patents

모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치 Download PDF

Info

Publication number
KR101394604B1
KR101394604B1 KR1020120053884A KR20120053884A KR101394604B1 KR 101394604 B1 KR101394604 B1 KR 101394604B1 KR 1020120053884 A KR1020120053884 A KR 1020120053884A KR 20120053884 A KR20120053884 A KR 20120053884A KR 101394604 B1 KR101394604 B1 KR 101394604B1
Authority
KR
South Korea
Prior art keywords
virtual space
recognition
motion
recognition object
motion information
Prior art date
Application number
KR1020120053884A
Other languages
English (en)
Other versions
KR20130129775A (ko
Inventor
김윤중
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020120053884A priority Critical patent/KR101394604B1/ko
Publication of KR20130129775A publication Critical patent/KR20130129775A/ko
Application granted granted Critical
Publication of KR101394604B1 publication Critical patent/KR101394604B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

컴퓨터 장치와 연결된 인터페이스 장치는 사용자에 대한 영상을 획득하고, 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정한다. 그리고 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하고, 모션 정보에 대응하여 미리 설정된 동작 명령을 출력한다.

Description

모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치{method for implementing user interface based on motion detection and apparatus thereof}
본 발명은 모션 감지를 통한 사용자 인터페이스를 구현하는 방법 및 그 장치에 관한 것이다.
일반적으로 컴퓨터 시스템에 사용되는 사용자 인터페이스 장치로는 키보드, 마우스, 조이스틱 등의 기계적인 장치들이 주로 사용되며, 최근에는 사용자 입력의 편의성을 위하여 화면 터치를 통하여 입력 인터페이스 장치가 개발되어 사용되고 있다. 화면 터치를 통한 입력 방법은 어플리케이션의 버튼을 클릭하는 등의 초기 단계에서 정밀한 포인팅, 좌표 이동, 멀티 터치 등의 높은 단계로 진화하고 있다. 이러한 화면 터치를 통한 입력 방법보다도 사용자에게 보다 친화적이고 직관적인 입력 인터페이스 방법이 요구됨에 따라, 영상 인식을 통한 모션 인식 기술이 개발되어 사용되고 있다.
영상 인식을 통한 모션 인식 기술은 주로 게임 및 텔레비전 등의 엔터테인먼트 장치에 적용되고 있는데, 일반적으로 사용되는 어플리케이션에 따라 각기 서로 다른 모션을 토대로 하는 입력 인터페이스를 수행한다. 더욱이 버튼 클릭이나 확인 등의 동작을 하기 위해서는 특정 위치에 손과 같은 신체 부분을 계속 위치시키거나 일정 회수 이상 손을 흔드는 동작을 하여야 하는데, 이러한 동작을 사용자가 수행하는데 있어서 불편함이 야기되고 특히 정확한 위치로 손을 위치시키지 않는 경우에는 인식이 되지 않아서 해당 동작을 반복적으로 수행하고 특정 동작을 유지해야 하는 등의 불편함이 야기된다. 그러므로 이러한 모션 인식을 통한 사용자 인터페이스 방법은 엔터테인먼트 장치의 이외의 다른 목적을 가지는 컴퓨터 장치에 적용하는 것이 용이하지 않다.
일반적인 컴퓨터 장치에서 마우스를 대신하여 손동작을 인식하여 사용자 인터페이스를 제공하는 방법이 개발되고 있는데, 이러한 방법들은 복잡한 제스쳐나 손동작 또는 모양 등을 요구하기 때문에 이러한 움직임을 인식하는데 있어서의 정확도가 떨어진다. 예를 들어 특정 손가락을 위아래로 움직이는 동작을 마우스의 버튼 클릭에 대응하는 동작으로 인식하는데, 영상으로부터 특정 손가락의 움직임을 인식하는 정밀도가 떨어져서 사용자가 원하는 동작이 이루어지지 않는 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는 보다 용이하고 쉬운 모션을 통하여 컴퓨터 장치에 대한 사용자 인터페이스 동작이 이루어지도록 하는 방법 및 그 장치를 제공하는 것이다.
본 발명의 과제를 달성하기 위한 본 발명의 특징에 따른 방법은 컴퓨터 장치와 연결된 인터페이스 장치에서 사용자 인터페이스를 구현하는 방법이며, 사용자에 대한 영상을 획득하는 단계; 상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 단계; 상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하는지를 확인하는 단계; 상기 가상 공간에 상기 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 단계; 및 상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 단계를 포함한다.
여기서 상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며, 상기 동작 명령을 출력하는 단계는 상기 가상 공간에서 상기 제1 인식 대상만이 검출되는 모션 정보가 생성되면, 상기 제1 인식 대상의 움직임에 따라 마우스 포인팅 동작에 따른 명령을 출력할 수 있다.
또한 상기 동작 명령을 출력하는 단계는 상기 가상 공간에 하나의 인식 대상이 위치되어 있는 상태에서 다른 하나의 인식 대상의 움직임이 검출되는 모션 정보가 생성되면, 마우스의 버튼을 동작시키는 것에 대응하는 명령을 출력할 수 있다.
여기서 상기 동작 명령을 출력하는 단계는, 상기 가상 공간에 상기 제1 인식 대상이 위치되어 있는 상태에서, 상기 제2 인식 대상이 상기 가상 공간으로 진입하면서 상기 제1 인식 대상의 위치를 토대로 하는 기준선을 지나치지 않고 위치되는 모션 정보가 생성되면, 마우스 좌측 버튼을 누르는 것에 해당하는 동작 명령을 출력할 수 있다. 또한 상기 제2 인식 대상이 상기 기준선을 지나치지 않고 위치된 상태에서, 상기 제2 인식 대상이 상기 가상 공간을 벗어나는 움직임이 검출되는 모션 정보가 생성되면, 마우스 좌측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 동작 명령을 출력할 수 있다.
또한 상기 동작 명령을 출력하는 단계는 상기 가상 공간에 상기 제1 인식 대상이 위치되어 있는 상태에서, 상기 제2 인식 대상이 상기 가상 공간으로 진입하면서 상기 제1 인식 대상의 위치를 토대로 하는 기준선을 지나쳐서 위치되는 모션 정보가 생성되면, 마우스 우측 버튼을 누르는 것에 해당하는 동작 명령을 출력할 수 있다. 또한 상기 제2 인식 대상이 상기 기준선을 지나쳐서 위치된 상태에서, 상기 제2 인식 대상이 상기 가상 공간을 벗어나는 움직임이 검출되는 모션 정보가 생성되면, 마우스 우측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 동작 명령을 출력할 수 있다.
또한 상기 동작 명령을 출력하는 단계는 상기 가상 공간에서 상기 제1 인식 대상이 검출되고 제2 인식 대상의 움직임에 의하여 마우스 좌측 버튼이 눌려진 상태로 판단된 경우에, 상기 제1 인식 대상이 상하좌우로 이동하는 움직임이 검출되는 모션 정보가 생성되면, 마우스 드래그 동작 명령을 출력하고, 상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제2 인식 대상이 수직방향으로 이동하는 움직임이 검출되는 모션 정보가 생성되면, 마우스 휠의 업/다운 동작 명령을 출력할 수 있다.
또한 상기 동작 명령을 출력하는 단계는 상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 어느 하나의 인식 대상이 회전하는 움직임이 검출되는 모션 정보가 생성되면, 줌 인/아웃(In/Out) 동작 명령을 출력할 수 있다.
또한 상기 동작 명령을 출력하는 단계는 상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제1 및 제2 인식 대상이 수평적으로 서로 반대 방향으로 각각 움직이는 모션 정보가 생성되면, 모드 인/아웃(In/Out) 동작 명령을 출력할 수 있다.
본 발명의 다른 특징에 따른 장치는, 컴퓨터 장치와 연결된 사용자 인터페이스 장치이며, 사용자에 대한 영상을 획득하는 영상 획득부; 상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 가상 공간 설정부; 상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 모션 인식부; 및 상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 동작 명령 출력부를 포함한다.
상기 가상 공간은 동작을 수행하기 위한 예비 동작이 이루어지는 제1 영역, 동작을 수행하기 위한 명령을 입력하는 공간인 제2 영역, 그리고 미리 설정된 화면상의 위치로 이동하는 명령을 수행하는 공간인 제3 영역으로 나뉘어질 수 있다.
상기 모션 인식부는 상기 인식 대상이 상기 제1 영역에 위치하는 경우에는 상기 모션 정보를 생성하지 않을 수 있다.
또한 상기 동작 명령 출력부는 상기 인식 대상이 상기 가상 공간의 제1 내지 제3 영역 중 어느 영역에 위치되는지를 나타내는 정보를 상기 컴퓨터 장치로 제공할 수 있다.
본 발명의 실시 예에 따르면, 컴퓨터 장치에서 사용되는 어플리케이션을 동작시키는데 있어서 필요한 사용자 인터페이스를 보다 간단하고 쉬운 모션 동작을 인식하는 것에 의하여 구현할 수 있다. 특히 상업적으로 업무에 필요하거나 일반적으로 사용되는 어플리케이션을 사용하는데 있어서 모션 인식을 통한 사용자 인터페이스를 구현할 때, 보다 쉬운 모션으로 직관적이고 명확한 명령을 컴퓨터 장치로 제공할 수 있으므로, 사용자 편의성을 제공할 수 있다. 또한 엔터테인먼트　용으로만　사용되었던　모션 인식　사용자　인터페이스　방식에서　변모하여,　일반적인　PC 작업을　포함해서 예를 들어, 대형　스크린을　이용하는 작업, 스크린과　일정　거리　이상 떨어져서　하는　작업,　대규모　관제　시스템의　중앙관제 업무나, 상황실　등의　발표자 컴퓨터　조작　등의　편의성과　효율성을　높일 수 있다.
또한 어플리케이션 개발 과정에서도 모션 입력 장치를 따로 고려하지 않아도 되는 개발 편의성을 제공할 수 있다. 따라서 모션 입력 인터페이스를 위해 개발된 애플리케이션뿐 아니라, 사용자가 원하는 모든 어플리케이션에서 본 발명의 실시 예에 따른 모션 인식을 통하여 사용자 인터페이스를 용이하게 구현할 수 있다.
도 1은 본 발명의 실시 예에 따른 모션 감지를 통한 사용자 인터페이스 장치의 구조를 나타낸 도이다.
도 2는 본 발명의 실시 예에 따른 가상 공간을 나타낸 예시도이다.
도 3은 본 발명의 실시 예에 따른 가상 공간의 제3 영역에 사용자 모션이 인식되는 상태를 나타낸 도이다.
도 4는 본 발명의 실시 예에 따른 제3 영역에서 인식된 사용자 모션에 따라 화면상에 포인터가 위치되는 것을 나타낸 예시도이다.
도 5 내지 도 14는 본 발명의 실시 예에 따른 동작 명령에 대응하는 인식 대상의 모션들을 나타낸 도이다.
도 15는 본 발명의 실시 예에 따른 가상 공간에서의 사용자 손의 위치를 표시하는 지시자를 나타낸 예시도이다.
도 16은 본 발명의 실시 예에 따른 사용자 인터페이스 구현 방법의 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명의 실시 예에 따른 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치에 대하여 설명한다.
도 1은 본 발명의 실시 예에 따른 모션 감지를 통한 사용자 인터페이스 장치의 구조를 나타낸 도이다.
첨부한 도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 모션 감지를 통한 사용자 인터페이스 장치(1)는 영상 획득부(10), 영상 처리부(20), 가상 공간 설정부(30), 모션 인식부(40), 동작 명령 출력부(50)를 포함한다.
영상 획득부(10)는 오브젝트(object)의 영상을 촬영한다. 이를 위하여 적어도 하나의 카메라를 포함할 수 있다. 예를 들어, 카메라는 모니터의 상단이나 하단에 설치되어 촬영 가능한 범위내에 위치한 오브젝트(예: 사용자)의 영상을 촬영한다.
영상 처리부(20)는 영상 획득부(10)로부터 제공되는 영상을 인식 가능하게 처리하여 영상 신호로 출력한다. 카메라로부터 획득한 영상을 처리하는 기술은 공지되어 있으므로 여기서는 상세한 설명을 생략한다.
가상 공간 설정부(30)는 영상 신호로부터 가상 공간을 설정한다. 여기서 가상 공간은 본 발명의 실시 예에 따른 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 공간이다.
도 2는 본 발명의 실시 예에 따른 가상 공간을 나타낸 예시도이다.
본 발명의 실시 예에 따른 가상 공간은 영상 신호로부터 추출되는 오브젝트의 특정 범위일 수 있는데, 도 2에 예시된 바와 같이, 오브젝트 즉, 사용자의 신체　부위의　일부분　또는　신체 모든　부분에　비례하여　적용되는　공간일 수 있다. 예를 들어, 사용자의　어깨로부터 손까지의 거리를 기준으로 가상 공간을 설정할 수 있다. 즉, 사용자의 어깨로부터 손까지의 거리를 기준 거리로 하고, 각각 기준 거리만큼의 길이를 가지는 4개의 면으로 이루어지는 사각형을 형성하고 이러한 사각형을 하나의 면으로 가지는 육면체로 이루어지는 입체 튜브를 형성하여 이를 가상 공간(virtual region, VR)으로 설정한다. 이러한 입체 튜브 형상의 가상 공간(VR)는 도 2에 예시된 바와 같이, 사용자의 정면 가슴에 평행하게 위치되어 사용자의 손의 움직임에 따른 손의 모션을 촬영할 수 있도록 형성될 수 있다.
한편 이러한 가상 공간(VR)을 복수의 영역으로 나눌 수 있다. 예를 들어 가상 공간을 3개의 영역으로 나누고 제1 영역은 동작을 수행하기 위한 예비 동작이 이루어지는 영역으로 하고, 제2 영역은 동작을 수행하기 위한 명령을 입력하는 공간으로 지정하고, 제3 영역은 특정 목적의 명령을 수행하기 위한 공간으로 지정할 수 있다.
예를 들어, 도 2에서와 같이, 가상 공간을 제1 영역(VR1)과 제2 영역(VR2), 그리고 제3 영역(VR3)으로 나눈다. 제1 영역(VR1)에서 사용자의 손의 모션이 인식되어도 예비 동작이 이루어지는 것으로 판단한다. 제2 영역(VR2)에서 사용자의 손의 모션이 인식되는 경우에는 해당 모션을 소정 동작을 수행하기 위한 명령으로 처리한다. 특히 제2 영역(VR2)에서는 사용자의 손의 움직임 거리에 대응하여 화면상에서 포인터의 위치를 이동시킨다. 제3 영역(VR3)에서 사용자의 손의 모션이 인식되는 경우에도 해당 모션을 특정 동작을 수행하기 위한 명령으로 처리한다. 구체적으로 제3 영역에서 사용자의 손의 모션이 검출되면 손의 움직임 거리와는 상관없이 화면상의 지정 위치로 포인터의 위치를 이동시키는 동작을 수행하는 명령으로 처리한다.
도 3은 본 발명의 실시 예에 따른 가상 공간의 제3 영역에 사용자 모션이 인식되는 상태를 나타낸 도이고, 도 4는 본 발명의 실시 예에 따른 제3 영역에서 인식된 사용자 모션에 따라 화면상에 포인터가 위치되는 것을 나타낸 예시도이다.
예를 들어, 도 3에서와 같이, 가상 공간의 제3 영역(VR3)에서 사용자의 손이 검출되고 사용자의 손이 도 4의 (A)에 도시된 바와 같이, 제3 영역(VR3)의 우측으로 손이 이동하면, 도 4의 (B)에 도시되어 바와 같이 화면상의 최우측에 포인터(P1)를 표시한다. 즉, 제3 영역(VR3)에서는 실질적으로 손이 움직인 거리가 화면상의 최우측에 대응하지 않아도 포인터를 화면상의 지정된 위치(예를 들어, 최우측 위치)로 이동시킨다.
이와 같이 제3 영역(VR3)에서 인식 대상인 사용자의 손이 검출되면 검출된 위치에 대응하여 화면상의 미리 설정된 특정 위치로 포인터를 이동시키는 동작을 수행한다. 한편 제2 영역(VR3)에서는 인식 대상인 사용자의 손의 움직임 거리에 대응하여 화면상의 포인터가 이동함으로, 제2 영역(VR3)에서 사용자의 손이 최우측에 위치하여도 화면상의 포인터가 최우측으로 이동하지 않고, 사용자의 손이 움직임 거리에 대응하는 거리만큼만 화면상에서 이동하게 된다. 따라서 사용자는 화면상에서 포인터를 특정 위치(예를 들어, 화면상의 최우측 또는 최좌측 위치 등)으로 이동시키고자 하는 경우에는 손이 가상 공간의 제3 영역(VR3)에 위치시킬 수 있다.
이외에도, 가상 공간에서 일부 영역에 대해서는 인식되는 모션을 컴퓨팅하여 명령으로 인식하는 영역으로 설정하고, 나머지 영역을 모션이 검출되어도 명령으로 인식하지 않는 영역으로 설정할 수 있다. 예를 들어, 제1 영역은 모션이 검출되어도 명령으로 인식하지 않는 영역으로 설정되고, 제2 영역 및 제3 영역이 모션 인식에 따른 명령을 인식하는 영역으로 설정될 수 있다.
가상 공간 설정부(20)는 영상 처리부(20)의 영상 신호를 토대로 해당 영상에 대한 깊이 정보를 획득하고, 깊이 정보를 토대로 입체 튜브와 같은 형상을 가지는 가상 공간을 설정할 수 있다.
모션 인식부(40)는 영상 신호에 대응하는 영상에 대하여 설정된 가상 공간에서 이루어지는 사용자의 모션을 인식한다. 이를 위하여 모션 인식부(40)는 가상 공간에 위치하는 사용자의 미리 설정된 신체 부위에 대응하는 인식 대상을 추출하는 추출 모듈(41), 추출된 인식 대상의 움직임을 추적하는 움직임 추적 모듈(42), 인식 대상의 움직임을 토대로 모션을 인식하는 인식 모듈(43)을 포함한다.
추출 모듈(41)은 영상으로부터 가상 공간에 위치하는 사용자의 미리 설정된 신체 부위인 인식 대상을 추출하는데, 여기서 인식 대상은 사용자의 손일 수 있다.
움직임 추적 모듈(42)은 인식 대상인 사용자의 손의 움직임을 추적하며, 인식 모듈(43)은 손의 움직임을 토대로 어떠한 모션이 이루어졌는지를 확인한다. 그리고 확인된 모션에 대한 정보를 동작 명령 출력부(50)로 제공한다.
동작 명령 출력부(50)는 모션 인식부(40)로부터 제공되는 인식 대상의 모션 정보를 토대로 사용자 인터페이스에 대응하는 동작 명령을 출력한다. 본 발명의 실시 예에 따른 동작 명령은 다음과 같다.
제1 동작 명령 마우스 포인팅(mouse pointing) 동작
제2 동작 명령 마우스 좌측 버튼 다운(mouse left button down) 동작
제3 동작 명령 마우스 좌측 버튼 릴리즈(mouse left button release) 동작
제4 동작 명령 마우스 우측 버튼 다운(mouse right button down) 동작
제5 동작 명령 마우스 우측 버튼 릴리즈(mouse right button release) 동작
제6 동작 명령 마우스 드래그(mouse drag) 동작
제7 동작 명령 마우스 휠 업/다운(wheal up/down) 동작
제8 동작 명령 줌 인/아웃(zoom In/Out) 동작
제9 동작 명령 모드 인/아웃(mode In/Out) 동작
본 발명의 실시 예에서는 인식 대상의 모션 정보를 토대로 위의 표 1과 같이 제1 동작 명령 내지 제9 동작 명령 중 어느 하나에 대응하는지를 판단하고, 판단된 동작 명령을 출력한다. 각각의 동작 명령은 위에 기술된 바와 같이 컴퓨터 장치의 마우스의 동작에 대응한다.
보다 구체적으로 인식 대상의 어떠한 모션이 제1 내지 제9 동작 명령 중 어느 하나에 대응하는지를 판단하는 방법에 대하여 설명한다.
도 5 내지 도 14는 본 발명의 실시 예에 따른 동작 명령에 대응하는 인식 대상의 모션들을 나타낸 도이다.
여기서는 인식 대상을 제1 인식 대상과 제2 인식 대상으로 나누고, 제1 인식 대상과 제2 인식 대상의 각각의 움직임에 따른 모션을 토대로 어떠한 동작 명령에 해당하는지를 판단한다. 예를 들어 사용자의 하나의 손을 제1 인식 대상으로 하고 사용자의 나머지 손을 제2 인식 대상으로 설정한다. 그리고 제1 인식 대상을 메인 인식 대상으로 하면서 제2 인식 대상을 서브 인식 대상으로 하여, 메인 인식 대상의 움직임을 기준으로 서브 인식 대상이 어떻게 움직이느냐에 따라 어떠한 동작 명령에 해당하는지를 판단할 수 있다. 본 발명은 제1 인식 대상이 메인 인식 대상으로 사용되는 것에 한정되지는 않는다.
예를 들어, 도 5에 도시되어 있듯이, 가상 공간(VR)에서 하나의 인식 대상이 검출되면 이것은 제1 동작 명령에 대응하는 것으로 판단한다. 즉, 가상 공간(VR)에서 제1 인식 대상(H1)만이 검출되면 제1 동작 명령에 대응하는 것으로 판단하고, 제1 인식 대상(H1)의 움직임에 따라 마우스 포인팅 동작에 따른 명령을 출력한다. 따라서, 제1 인식 대상(H1)의 움직임에 따라 컴퓨터 장치(도시하지 않음)의 화면상에서 포인터가 이동하는 마우스 포인팅 동작이 수행된다.
또한 예를 들어 가상 공간(VR)에서 제1 및 제2 인식 대상이 검출되고 어느 하나의 인식 대상이 가상 공간(VR)(예를 들어, 가상 공간(VR)의 제2 영역(VR2))에 머물러 있는 상태에서 다른 하나의 인식 대상의 움직임이 검출되면, 이것은 마우스의 버튼을 동작시키는 것으로 판단한다.
예를 들어, 도 6의 (A)에 도시되어 있듯이, 제2 영역(VR2)에서 제1 인식 대상(H1) 또는 제2 인식 대상(H2)이 검출된 상태 예를 들어, 제2 영역(VR2)에서 제1 인식 대상(H1)이 가상 공간의 제2 영역(VR2)에 머물러 있는 상태(마우스 포인팅되는 상태)에서 제2 인식 대상(H2)이 가상 공간으로 진입하여 가상 공간의 제2 영역(VR2)에 위치하는 움직임이 검출되면, 해당 모션이 제2 동작 명령에 대응하는 것으로 판단한다. 이 때 제2 인식 대상(H2)이 도 6의 (B)와 같이, 가상 공간의 제2 영역(VR2)에 위치한 제1 인식 대상(H1)을 지나치지 않고 위치되었을 때, 즉, 제2 인식 대상(H2)이 제1 인식 대상(H1)의 위치를 토대로 하는 기준선(도 6의 (B)에서 점선으로 표시됨)을 지나치지 않고 위치된 경우, 해당 모션이 제2 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 좌측 버튼을 누르는 것에 해당하는 마우스 좌측 버튼다운 동작이 수행된다.
한편 도 7의 (A)에서와 같이, 제2 인식 대상(H2)이 가상 공간의 제2 영역(VR2)에서 제1 인식 대상(H1)을 지나치지 않고 위치된 상태에서, 제2 인식 대상(H2)이 제2 영역(VR2)을 벗어나는 움직임이 검출되면서, 도 7의 (B)에서와 같이, 제2 영역(VR2)을 완전히 벗어나면, 해당 모션이 제3 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 좌측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 마우스 좌측 버튼 릴리즈 동작이 수행된다.
또한 예를 들어, 도 8의 (A)에 도시되어 있듯이, 제1 인식 대상(H1) 또는 제2 인식 대상(H2)이 검출된 상태 예를 들어, 제2 영역(VR2)에서 제1 인식 대상(H1)이 가상 공간의 제2 영역(VR2)에 머물러 있는 상태(마우스 포인팅되는 상태)에서, 제2 인식 대상(H2)이 가상 공간으로 진입하는 움직임이 검출되면서 도 8의 (B)와 같이, 가상 공간의 제2 영역(VR2)에 위치한 제1 인식 대상(H1)을 지나쳐서 위치되었을 때, 해당 모션이 제4 동작 명령에 대응하는 것으로 판단한다. 구체적으로, 제2 인식 대상(H2)이 제1 인식 대상(H1)의 위치를 토대로 하는 기준선(도 8의 (B)에서 점선으로 표시됨)을 지나쳐서 제1 인식 대상(H1)보다 제3 영역(VR3)에 더 가까이 위치된 경우, 해당 모션이 제4 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 우측 버튼을 누르는 것에 해당하는 마우스 우측 버튼다운 동작이 수행된다.
한편 도 9의 (A)에서와 같이, 제2 인식 대상(H2)이 가상 공간의 제2 영역(VR2)에서 제1 인식 대상(H1)을 지나쳐서 위치된 상태에서, 제2 인식 대상(H2)이 제2 영역(VR2)을 벗어나는 움직임이 검출되면서, 도 9의 (B)에서와 같이, 제2 영역(VR2)을 완전히 벗어나면, 해당 모션이 제5 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 우측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 마우스 우측 버튼 릴리즈 동작이 수행된다.
위와 같은 제3 또는 제5 명령을 수행하는 경우, 제2 인식 대상(H2)이 제2 가상 영역(VR2)을 벗어나는 것 이외에도, 가상 공간(VR)을 완전히 벗어날 때 제3 또는 제5 명령에 대응하는 모션이 검출된 것으로 판단하여 해당 명령에 따른 동작이 수행될 수도 있다.
또한 예를 들어, 도 10에 도시되어 있듯이, 제2 영역(VR2)에서 제1 인식 대상(H1) 및 제2 인식 대상(H2)이 검출되고 제1 인식 대상(H1)이 상하좌우로 이동하는 움직임이 검출되면, 해당 모션이 제6 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 드래그 동작이 수행된다. 특히, 제1 인식 대상(H1)이 검출되고 도 6의 (B)에서와 같이, 제2 인식 대상(H2)의 움직임에 의하여 마우스 좌측 버튼이 눌러진 상태로 판단된 경우에, 제1 인식 대상(H1)이 상하좌우로 이동하는 움직임이 검출되면 마우스 드래그 동작이 수행될 수 있다.
또한 예를 들어, 도 11에 도시되어 있듯이, 제2 영역(VR2)에서 제1 인식 대상(H1) 및 제2 인식 대상(H2)이 검출되고 제2 인식 대상(H2)이 수직방향(예를 들어, 상하 방향)으로 이동하는 움직임이 검출되면, 해당 모션이 제7 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 휠 업/다운 동작이 수행된다.
또한 예를 들어, 도 12에 도시되어 있듯이, 제2 영역(VR2)에서 제1 인식 대상(H1) 및 제2 인식 대상(H2)이 검출되고 제2 인식 대상(H2)이 회전하는 움직임이 검출되면, 해당 모션이 제8 동작 명령에 대응하는 것으로 판단한다. 이때, 제2 인식 대상(H2)이 반시계 방향으로 회전하면 제8 동작 명령 중 줌인(zoom IN) 동작이 수행되고, 제2 인식 대상(H2)이 시계 방향으로 회전하면 제8 동작 명령 중 줌아웃(zoom OUT) 동작이 수행된다. 여기서는 제2 인식 대상(H2)이 회전하는 경우를 예로 들었지만, 제1 인식 대상(H1)이 회전하는 것을 토대로 줌 인/아웃 동작이 수행될 수도 있다.
또한 예를 들어, 도 13 및 도 14에 도시되어 있듯이, 제2 영역(VR2)에서 제1 인식 대상(H1) 및 제2 인식 대상(H2)이 검출되고, 제1 및 제2 인식 대상(H1, H2)이 수평 방향에서 서로 반대 방향으로 이동하면, 해당 모션이 제9 동작 명령에 대응하는 것으로 판단한다. 이때, 제1 및 제2 인식 대상(H1, H2)이 도 13에서와 같이 수평 방향에서 중심을 기준으로 바깥쪽 방향 즉, 제1 인식 대상(H1)은 우측 방향으로 이동하고 제2 인식 대상(H2)은 좌측 방향으로 이동하면, 제9 동작 명령 중에서 모드 인(mode IN) 동작이 수행된다. 또한 제1 및 제2 인식 대상(H1, H2)이 도 14에서와 같이 수평 방향에서 중심을 기준으로 안쪽 방향 즉, 제1 인식 대상(H1)은 좌측 방향으로 이동하고 제2 인식 대상(H2)은 우측 방향으로 이동하면, 제9 동작 명령 중 모드 아웃(mode OUT) 동작이 수행된다. 예를 들어 모드인 동작에 따라 팝업 창이 표시되고, 모드 아웃 동작에 따라 팝업창이 닫혀지는 동작이 이루어질 수 있다.
위에 기술된 바와 같은 인식 대상인 사용자의 손의 움직임을 토대로 컴퓨터 장치에 대한 사용자 인터페이스를 구현할 수 있다.
한편, 사용자는 가상 공간에서 자신의 손이 어느 영역에 위치하는지를 알 수 없으므로, 본 발명의 실시 예에 따른 사용자 인터페이스 장치(1)는 인식 대상이 가상 공간의 어느 영역에 위치하는지를 화면상에 표시할 수 있다.
도 15는 본 발명의 실시 예에 따른 가상 공간에서의 사용자 손의 위치를 표시하는 지시자를 나타낸 예시도이다.
예를 들어, 도 15에서와 같이, 화면상에 가상 공간의 제1 영역에 대응하는 제1 지시자(S1), 제2 영역에 대응하는 제2 지시자(S2), 그리고 제3 영역에 대응하는 제3 지시자(S3)를 이용하여, 가상 공간에서 검출되는 인식 대상 즉, 사용자 손의 위치가 어느 영역에 위치하는지를 표시한다.
인식 대상이 어느 영역에 위치하는지를 확인하고 확인 결과에 따라 대응하는 지시자를 다른 지시자들과 구별되게 표시할 수 있다. 예를 들어 사용자 손이 가상 공간의 제3 영역에 위치하는 경우에는 제3 지시자(S3)를 다른 지시자들(S1, S2)과 구별되게 표시하여, 사용자가 자신의 손이 현재 가상 공간의 제3 영역에 위치함을 인식할 수 있도록 한다. 이에 따라 사용자는 제1 내지 제3 지시자들을 토대로 자신의 손을 원하는 영역으로 자유로이 움직이면서 원하는 동작이 이루어지도록 할 수 있다. 예를 들어, 사용자가 가상 공간의 제2 영역에서 손을 움직이고 있는 상태에서 화면상의 특정 위치 예를 들어 최좌측 위치로 포인터를 이동시키고자 하는 경우에는 제3 영역으로 손을 이동시키며, 이러한 이동이 정확하게 이루어지는지를 지시자들을 토대로 용이하게 알 수 있다. 이러한 지시자 표시를 위하여, 동작 명령 출력부(50)는 인식 대상이 가상 공간의 제1 내지 제3 영역 중 어느 영역에 위치되는지를 나타내는 정보를 컴퓨터 장치로 제공하며, 이에 따라 컴퓨터 장치가 제1 내지 제3 지시자를 화면상에 표시한다.
또한 이러한 지시자들로 마우스 포인터를 사용할 수 있다. 마우스 포인터 이미지를 사용자 손이 가상 공간의 어느 영역에 위치하는지에 따라 표시되는 상태(예를 들어, 제1 영역에서 제3 영역으로 갈수록 마우스 포인터 이미지의 색상을 진하게 표시함)를 다르게 할 수 있다.
다음에는 본 발명의 실시 예에 따른 사용자 인터페이스 구현 방법에 대하여 설명한다.
도 16은 본 발명의 실시 예에 따른 사용자 인터페이스 구현 방법의 흐름도이다.
사용자 인터페이스 장치(1)는 컴퓨터 장치를 사용하고자 하는 사용자에 대한 영상을 획득한다(S100). 획득된 영상은 영상 처리되어 영상 신호로 출력되며, 영상 신호를 토대로 가상 공간이 설정된다(S120). 사용자 인터페이스 장치(1)는 영상 신호로부터 해당하는 영상 정보 및 해당 영상의 깊이 정보를 획득하며, 영상 정보로부터 사용자 영상을 추출한다. 그리고 추출된 사용자 영상으로부터 깊이 정보를 이용하여 가상 공간을 설정한다. 그리고 가상 공간을 제1 내지 제2 가상 영역으로 나눈다.
이와 같이 획득된 영상으로부터 사용자의 모션을 인식하기 위한 가상 공간을 설정한 다음, 사용자 인터페이스 장치(1)는 인식 대상 즉, 사용자의 손이 가상 공간에 진입하는지를 검출한다(S130). 가상 공간으로의 인식 대상의 진입이 검출되면 사용자 인터페이스 장치(1)는 가상 공간에서 움직이는 인식 대상의 종류 그리고 인식 대상의 움직임을 검출하여 모션 정보를 생성한다(S140). 위에서 살펴본 바와 같이, 인식 대상이 가상 공간의 제1 내지 제3 영역에 위치하는지를 판단하고, 제1 및 제2 인식 대상 중에서 어떠한 인식 대상이 움직이는지를 판단하며, 움직이는 인식 대상이 어떠한 방향으로 이동하는지를 판단하고, 이러한 판단 결과들을 종합적으로 고려하여 모션 정보를 생성한다.
이후 사용자 인터페이스 장치(1)는 생성된 모션 정보가 미리 설정된 복수의 동작 명령 중 어느 명령에 해당하는지를 판단하고, 판단 결과에 해당하는 동작 명령을 출력한다(S150).
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (16)

  1. 컴퓨터 장치와 연결된 인터페이스 장치에서 사용자 인터페이스를 구현하는 방법에서
    사용자에 대한 영상을 획득하는 단계;
    상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 단계;
    상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하는지를 확인하는 단계;
    상기 가상 공간에 상기 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 단계; 및
    상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 단계
    를 포함하며,
    상기 가상 공간은
    동작을 수행하기 위한 예비 동작이 이루어지는 제1 영역, 동작을 수행하기 위한 명령을 입력하는 공간인 제2 영역, 그리고 미리 설정된 화면상의 위치로 이동하는 명령을 수행하는 공간인 제3 영역으로 나뉘어지는, 사용자 인터페이스 구현 방법.
  2. 제1항에 있어서
    상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며,
    상기 동작 명령을 출력하는 단계는
    상기 가상 공간에서 상기 제1 인식 대상만이 검출되는 모션 정보가 생성되면, 상기 제1 인식 대상의 움직임에 따라 마우스 포인팅 동작에 따른 명령을 출력하는, 사용자 인터페이스 구현 방법.
  3. 제1항에 있어서
    상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며,
    상기 동작 명령을 출력하는 단계는
    상기 가상 공간에 하나의 인식 대상이 위치되어 있는 상태에서 다른 하나의 인식 대상의 움직임이 검출되는 모션 정보가 생성되면, 마우스의 버튼을 동작시키는 것에 대응하는 명령을 출력하는, 사용자 인터페이스 구현 방법.
  4. 제3항에 있어서
    상기 동작 명령을 출력하는 단계는
    상기 가상 공간에 상기 제1 인식 대상이 위치되어 있는 상태에서, 상기 제2 인식 대상이 상기 가상 공간으로 진입하면서 상기 제1 인식 대상의 위치를 토대로 하는 기준선을 지나치지 않고 위치되는 모션 정보가 생성되면, 마우스 좌측 버튼을 누르는 것에 해당하는 동작 명령을 출력하고,
    상기 제2 인식 대상이 상기 기준선을 지나치지 않고 위치된 상태에서, 상기 제2 인식 대상이 상기 가상 공간을 벗어나는 움직임이 검출되는 모션 정보가 생성되면, 마우스 좌측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.
  5. 제4항에 있어서
    상기 동작 명령을 출력하는 단계는
    상기 가상 공간에 상기 제1 인식 대상이 위치되어 있는 상태에서, 상기 제2 인식 대상이 상기 가상 공간으로 진입하면서 상기 제1 인식 대상의 위치를 토대로 하는 기준선을 지나쳐서 위치되는 모션 정보가 생성되면, 마우스 우측 버튼을 누르는 것에 해당하는 동작 명령을 출력하고,
    상기 제2 인식 대상이 상기 기준선을 지나쳐서 위치된 상태에서, 상기 제2 인식 대상이 상기 가상 공간을 벗어나는 움직임이 검출되는 모션 정보가 생성되면, 마우스 우측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.
  6. 컴퓨터 장치와 연결된 인터페이스 장치에서 사용자 인터페이스를 구현하는 방법에서
    사용자에 대한 영상을 획득하는 단계;
    상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 단계;
    상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하는지를 확인하는 단계;
    상기 가상 공간에 상기 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 단계; 및
    상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 단계
    를 포함하며,
    상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며,
    상기 동작 명령을 출력하는 단계는
    상기 가상 공간에서 상기 제1 인식 대상이 검출되고 제2 인식 대상의 움직임에 의하여 마우스 좌측 버튼이 눌려진 상태로 판단된 경우에, 상기 제1 인식 대상이 상하 좌우로 이동하는 움직임이 검출되는 모션 정보가 생성되면, 마우스 드래그 동작 명령을 출력하고,
    상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제2 인식 대상이 수직방향으로 이동하는 움직임이 검출되는 모션 정보가 생성되면, 마우스 휠의 업/다운 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.
  7. 컴퓨터 장치와 연결된 인터페이스 장치에서 사용자 인터페이스를 구현하는 방법에서
    사용자에 대한 영상을 획득하는 단계;
    상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 단계;
    상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하는지를 확인하는 단계;
    상기 가상 공간에 상기 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 단계; 및
    상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 단계
    를 포함하며,
    상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며,
    상기 동작 명령을 출력하는 단계는
    상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 어느 하나의 인식 대상이 회전하는 움직임이 검출되는 모션 정보가 생성되면, 줌 인/아웃(In/Out) 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.
  8. 제7항에 있어서
    상기 동작 명령을 출력하는 단계는
    상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제2 인식 대상이 반시계 방향으로 회전하는 움직임이 검출되는 모션 정보가 생성되면, 줌 인 동작 명령을 출력하고,
    상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제2 인식 대상이 시계 방향으로 회전하는 움직임이 검출되는 모션 정보가 생성되면, 줌 아웃 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.
  9. 컴퓨터 장치와 연결된 인터페이스 장치에서 사용자 인터페이스를 구현하는 방법에서
    사용자에 대한 영상을 획득하는 단계;
    상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 단계;
    상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하는지를 확인하는 단계;
    상기 가상 공간에 상기 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 단계; 및
    상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 단계
    를 포함하며,
    상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며,
    상기 동작 명령을 출력하는 단계는
    상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제1 및 제2 인식 대상이 수평적으로 서로 반대 방향으로 각각 움직이는 모션 정보가 생성되면, 모드 인/아웃(In/Out) 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.
  10. 제9항에 있어서
    상기 동작 명령을 출력하는 단계는
    상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제1 및 제2 인식 대상이 중심과 멀어지는 바깥 방향으로 수평적으로 각각 이동하는 모션 정보가 생성되면, 모드 인 동작 명령을 출력하고,
    상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제1 및 제2 인식 대상이 중심과 가까워지는 안쪽 방향으로 수평적으로 각각 이동하는 모션 정보가 생성되면, 모드 아웃 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.
  11. 제6항 내지 제10항 중 어느 한 항에 있어서
    상기 가상 공간은
    동작을 수행하기 위한 예비 동작이 이루어지는 제1 영역, 동작을 수행하기 위한 명령을 입력하는 공간인 제2 영역, 그리고 미리 설정된 화면상의 위치로 이동하는 명령을 수행하는 공간인 제3 영역으로 나뉘어지며,
    상기 모션 정보를 생성하는 단계는 상기 인식 대상이 상기 제1 영역에 위치하는 경우에는 상기 모션 정보를 생성하지 않는, 사용자 인터페이스 구현 방법.
  12. 제11항에 있어서
    상기 모션 정보를 생성하는 단계는 상기 인식 대상이 상기 가상 공간의 제2 영역에서 검출되는 경우에 모션 정보를 생성하는, 사용자 인터페이스 구현 방법.
  13. 삭제
  14. 컴퓨터 장치와 연결된 사용자 인터페이스 장치에서,
    사용자에 대한 영상을 획득하는 영상 획득부;
    상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 가상 공간 설정부;
    상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 모션 인식부; 및
    상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 동작 명령 출력부
    를 포함하며,
    상기 가상 공간은
    동작을 수행하기 위한 예비 동작이 이루어지는 제1 영역, 동작을 수행하기 위한 명령을 입력하는 공간인 제2 영역, 그리고 미리 설정된 화면상의 위치로 이동하는 명령을 수행하는 공간인 제3 영역으로 나뉘어지는, 사용자 인터페이스 장치.
  15. 제14항에 있어서
    상기 모션 인식부는 상기 인식 대상이 상기 제1 영역에 위치하는 경우에는 상기 모션 정보를 생성하지 않는, 사용자 인터페이스 장치.
  16. 제15항에 있어서
    상기 동작 명령 출력부는
    상기 인식 대상이 상기 가상 공간의 제1 내지 제3 영역 중 어느 영역에 위치되는지를 나타내는 정보를 상기 컴퓨터 장치로 제공하는, 사용자 인터페이스 장치.



KR1020120053884A 2012-05-21 2012-05-21 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치 KR101394604B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120053884A KR101394604B1 (ko) 2012-05-21 2012-05-21 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120053884A KR101394604B1 (ko) 2012-05-21 2012-05-21 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20130129775A KR20130129775A (ko) 2013-11-29
KR101394604B1 true KR101394604B1 (ko) 2014-05-13

Family

ID=49856306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120053884A KR101394604B1 (ko) 2012-05-21 2012-05-21 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101394604B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102391965B1 (ko) 2017-02-23 2022-04-28 삼성전자주식회사 가상현실 서비스를 위한 화면 제어 방법 및 장치
KR102610690B1 (ko) * 2017-02-24 2023-12-07 한국전자통신연구원 외곽선과 궤적 표현을 활용한 사용자 입력 표현 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120020045A (ko) * 2010-08-26 2012-03-07 삼성전자주식회사 인터페이스 제어 장치 및 방법
JP2012068854A (ja) * 2010-09-22 2012-04-05 Shimane Prefecture 操作入力装置および操作判定方法並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120020045A (ko) * 2010-08-26 2012-03-07 삼성전자주식회사 인터페이스 제어 장치 및 방법
JP2012068854A (ja) * 2010-09-22 2012-04-05 Shimane Prefecture 操作入力装置および操作判定方法並びにプログラム

Also Published As

Publication number Publication date
KR20130129775A (ko) 2013-11-29

Similar Documents

Publication Publication Date Title
US9329691B2 (en) Operation input apparatus and method using distinct determination and control areas
JP5167523B2 (ja) 操作入力装置および操作判定方法並びにプログラム
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
JP5921835B2 (ja) 入力装置
US20130257736A1 (en) Gesture sensing apparatus, electronic system having gesture input function, and gesture determining method
JP2006209563A (ja) インターフェース装置
EP3021206B1 (en) Method and device for refocusing multiple depth intervals, and electronic device
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
JP2014219938A (ja) 入力支援装置、入力支援方法、および、プログラム
JP2011028366A (ja) 操作制御装置および操作制御方法
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
JP2013016060A (ja) 操作入力装置および操作判定方法並びにプログラム
WO2017145423A1 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
JP2012027515A (ja) 入力方法及び入力装置
JP2014026355A (ja) 映像表示装置および映像表示方法
US9201519B2 (en) Three-dimensional pointing using one camera and three aligned lights
US9310851B2 (en) Three-dimensional (3D) human-computer interaction system using computer mouse as a 3D pointing device and an operation method thereof
TWI486815B (zh) 顯示設備及其控制系統和方法
KR101394604B1 (ko) 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치
TWI499938B (zh) 觸控系統
JP2010086367A (ja) 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
JP6008904B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
JP2013109538A (ja) 入力方法及び入力装置
JP2013257830A (ja) 情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170502

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180502

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 6