KR101369938B1 - 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치 - Google Patents

공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치 Download PDF

Info

Publication number
KR101369938B1
KR101369938B1 KR1020120153310A KR20120153310A KR101369938B1 KR 101369938 B1 KR101369938 B1 KR 101369938B1 KR 1020120153310 A KR1020120153310 A KR 1020120153310A KR 20120153310 A KR20120153310 A KR 20120153310A KR 101369938 B1 KR101369938 B1 KR 101369938B1
Authority
KR
South Korea
Prior art keywords
target object
space
user interface
location
value
Prior art date
Application number
KR1020120153310A
Other languages
English (en)
Inventor
정문진
Original Assignee
주식회사 케이엠티글로벌
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이엠티글로벌 filed Critical 주식회사 케이엠티글로벌
Priority to KR1020120153310A priority Critical patent/KR101369938B1/ko
Priority to EP13800120.1A priority patent/EP2860611A4/en
Priority to PCT/KR2013/004964 priority patent/WO2013183938A1/ko
Priority to US14/405,403 priority patent/US20150185857A1/en
Priority to CN201380029984.XA priority patent/CN104335145A/zh
Application granted granted Critical
Publication of KR101369938B1 publication Critical patent/KR101369938B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 공간상의 위치인식을 통한 사용자인터페이스 장치에 관한 것이다. 상기 장치는 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 하기 위한 영상획득부, 상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산하기 위한 위치연산부, 상기 대상객체의 위치값과 기준위치데이터베이스와 비교하여, 상기 대상객체의 위치값이 상기 복수의 분할영역 중 하나의 위치영역에 포함되는지 판단하기 위한 위치비교처리부, 및 상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 상기 하나의 분할영역에 대응하는 이벤트의 실행을 위한 이벤트실행신호를 발생시키기 위한 이벤트신호처리부를 포함하고, 상기 기준위치데이터베이스는 상기 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산하고, 상기 연산된 위치값을 기초로 상기 복수의 분할영역 각각에 대하여 소정의 표준편차 이내의 3차원 분포도를 갖도록 구성된다.

Description

공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치{APPARATUS AND METHOD FOR USER INTERFACE BY USING RECOGNIZING LOCATION IN A SPACE}
본 발명은 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치에 관한 것으로, 상세하게는 공간상에서 사용자의 동작을 인식하고, 동작에 대응하는 기능이 실행되도록 하기 위한 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치에 관한 것이다.
최근 사용자의 편의성을 높이기 위해서 사용자의 접촉 없이 3차원 공간 상에서 사용자의 동작(예를 들어, 손가락의 움직임)을 인식하여 사용자가 동작에 대응하는 이벤트가 발생하도록 하는 다양한 사용자인터페이스가 개발되고 있다.
하지만, 3차원 공간 상의 사용자의 동작을 인식하여 이벤트를 발생시키기 위한 사용자인터페이스 기술은 터치식 사용자 인터페이스와 달리 서로 다른 이벤트를 발생시킬 수 있는 공간 상의 영역을 정확하게 인식하도록 구성되지 않는 경우에 사용자가 원하는 이벤트와는 전혀 다른 이벤트가 발생할 수 있기 때문에 오히려 사용자의 편의성이 약화될 수 있다.
한편, 3차원 공간 사용자의 동작을 인식하여 이벤트를 발생시키기 위한 사용자인터페이스는 사용자의 동작을 인식하는 연산으로 인하여 터치식 사용자 인터페이스에 비하여 이벤트의 응답속도가 느려질 수 있는데, 최대한 빠른 응답속도를 가능하게 하기 위한 기술이 요구된다.
본 발명은 3차원 공간상의 위치의 인식 성능과 이벤트 발생 처리 속도를 향상시켜, 사용자의 입력에 정확하게 반응할 뿐만 아니라 빠르게 이벤트를 처리할 수 있는 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일 양상에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법은 영상획득부가 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 단계, 위치연산부가 상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산하는 단계, 위치비교처리부가 상기 대상객체의 위치값과 기준위치데이터베이스와 비교하여, 상기 대상객체의 위치값이 상기 복수의 분할영역 중 하나의 위치영역에 포함되는지 판단하는 단계, 상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 이벤트신호처리부가 상기 하나의 분할영역에 대응하는 이벤트의 실행을 위한 이벤트실행신호를 발생시키는 단계를 포함하고, 상기 기준위치데이터베이스는 상기 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산하고, 상기 연산된 위치값을 기초로 상기 복수의 분할영역 각각에 대하여 소정의 표준편차 이내의 3차원 분포도를 갖도록 구성된다.
상기 영상획득부는 적어도 하나의 심도감지카메라(depth-sensing camera)를 포함하고, 상기 영상획득부는 상기 적어도 하나의 심도감지카메라를 통해 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성할 수 있다.
상기 위치값은 상기 대상객체의 움직임에 기초하여 연산된 3차원 공간상의 벡터값일 수 있다.
상기 벡터값은 X-Y-Z 축의 영역으로 구분된 가상의 매트릭스 형태 내에서 상기 대상객체의 움직임의 이미지변화를 데이터화하여 연산처리될 수 있다.
상기 영상획득부가 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 단계 이전에, 기능활성화처리부가 상기 대상객체가 미리 설정된 공간 이내에 위치하는지 판단하여, 상기 영상획득부가 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 단계의 수행여부를 결정하는 단계를 더 포함할 수 있다.
상기 기능활성화처리부는 상기 대상객체가 상기 미리 설정된 공간 내에 위치하는 지 식별하기 위한 적외선영상센서를 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 다른 양상에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치는 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 하기 위한 영상획득부, 상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산하기 위한 위치연산부, 상기 대상객체의 위치값과 기준위치데이터베이스와 비교하여, 상기 대상객체의 위치값이 상기 복수의 분할영역 중 하나의 위치영역에 포함되는지 판단하기 위한 위치비교처리부, 및 상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 상기 하나의 분할영역에 대응하는 이벤트의 실행을 위한 이벤트실행신호를 발생시키기 위한 이벤트신호처리부를 포함하고, 상기 기준위치데이터베이스는 상기 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산하고, 상기 연산된 위치값을 기초로 상기 복수의 분할영역 각각에 대하여 소정의 표준편차 이내의 3차원 분포도를 갖도록 구성된다.
상기 영상획득부는 적어도 하나의 심도감지카메라(depth-sensing camera)를 포함하고, 상기 영상획득부는 상기 적어도 하나의 심도감지카메라를 통해 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성할 수 있다.
상기 위치값은 상기 대상객체의 움직임에 기초하여 연산된 3차원 공간상의 벡터값일 수 있다.
상기 벡터값은 X-Y-Z 축의 영역으로 구분된 가상의 매트릭스 형태 내에서 상기 대상객체의 움직임의 이미지변화를 데이터화하여 연산처리될 수 있다.
상기 대상객체가 미리 설정된 공간 이내에 위치하는지 판단하여, 상기 영상획득부의 기능활성화 여부를 결정하는 기능활성화처리부를 더 포함할 수 있다.
상기 기능활성화처리부는 상기 대상객체가 미리 설정된 공간 이내에 위치하는 경우에만, 상기 영상획득부의 기능을 활성화시킬 수 있다.
상기 기능활성화처리부는 상기 대상객체가 상기 미리 설정된 공간 내에 위치하는지 식별하기 위한 적외선영상센서를 포함할 수 있다.
본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치에 따르면 3차원 공간 상의 위치인식 성능을 향상시켜 공간상의 위치인식을 통한 사용자인터페이스의 정확도를 높일 수 있다.
또한, 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치에 따르면, 사용자의 동작에 따른 이벤트가 신속하게 처리되도록 함으로써 응답속도를 빠르게 개선시킬 수 있다.
본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법의 순서도이다.
도 3은 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법에 있어서, 가상 메트릭스의 예를 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법에 있어서, 기준위치데이터베이스를 구성하는 방법을 설명하기 위한 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 뒤에 설명이 되는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐를 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 뒤에 설명되는 용어들은 본 발명에서의 구조, 역할 및 기능 등을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 오로지 특허청구범위에 기재된 청구항의 범주에 의하여 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "..부", "..유닛"등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
한편, 본 발명의 실시 예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
또한, 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하다.
컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하며, 프로그램 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이하에서, 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치에 대해서 설명하기로 한다.
본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치는 전자기기와의 접촉 없이 3차원 공간 상에서의 대상객체의 위치를 인식하여 입력을 받고, 해당 입력에 대응하는 이벤트를 처리하기 위한 신호를 발생시키기 위한 기술에 해당하는 것으로, 사용자의 입력을 필요로 하는 다양한 분야에서 적용 가능하다.
본 발명에서 "공간상의 위치인식"이란 3차원 공간상에서 사용자의 입력을 받기 위하여 3차원 공간에서 대상객체의 위치 또는 이동에 따른 위치를 파악하는 것을 의미한다.
상기 대상객체는 위치인식의 대상으로서 특정 대상으로 한정하지 않고, 소정 물체, 사람 또는 동물 등 다양한 대상이 될 수 있으며, 이하의 설명에서는 설명의 편의를 위해 사람의 손이 대상객체인 경우를 가정하여 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치의 구성도이다.
상기 도 1에 도시된 바와 같이, 상기 사용자인터페이스 장치(100)는 대상객체가 미리 설정된 공간 이내에 위치하는지 판단하여, 영상획득부(120)의 기능활성화 여부를 결정하는 기능활성화처리부(110), 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 하기 위한 영상획득부(120), 상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산하기 위한 위치연산부(130), 상기 대상객체의 위치값과 기준위치데이터베이스(150)와 비교하여, 상기 대상객체의 위치값이 상기 복수의 분할영역 중 하나의 위치영역에 포함되는지 판단하기 위한 위치비교처리부(140) 및 상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 상기 하나의 분할영역에 대응하는 이벤트의 실행을 위한 이벤트실행신호를 발생시키기 위한 이벤트신호처리부(160)를 포함한다.
도 2는 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법의 순서도이다.
상기 도 1 및 도 2를 참조하여 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법을 보다 상세하게 설명하기로 한다.
우선, 기능활성화처리부(110)는 대상객체가 미리 설정된 공간 영역 내에 위치하는 지 판단하여(S100), 대상객체가 미리 설정된 공간 영역 내에 위치하지 않는 경우에는 다시 대상객체가 미리 설정된 공간 영역 내에 위치하는지 판단하고, 대상객체가 미리 설정된 공간 영역 내에 위치하는 경우에는 영상획득부(120)를 활성화시킨다(S110).
상기 기능활성화처리부(110)는 적외선 영상센서 또는 초전센서를 통해 미리 설정된 공간 내에서 각 방위(동, 서, 남, 북)로부터 들어오는 대상객체(예를 들어, 사용자의 손가락)를 인식하여, 상기 공간 내로 들어온 대상객체가 인식되면 1의 값을 인식되지 않으면 0의 값을 출력하고, 해당 출력값에 따라, 영상획득부(120)의 기능의 활성 여부를 결정한다. 이때, 상기 값이 1인 경우에만, 영상획득부(120)의 기능을 활성화한다.
그리고 나서, 영상획득부(120)가 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성한다(S120). 이때, 상기 영상획득부(120)는 적어도 하나의 심도감지카메라(depth-sensing camera)를 포함할 수 있으며, 상기 영상획득부(120)는 상기 적어도 하나의 심도감지카메라를 통해 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성할 수 있다. 상기 영상획득부(120)는 3차원 공간상에서의 대상객체의 동작의 인식 시에 발생하는 오차를 최소화하기 위하여 바람직하게 2개 이상의 심도감지카메라를 포함할 수 있다.
그리고 나서, 위치연산부(130)가 상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산한다(S130). 상기 위치연산부(130)는 상기 촬영정보를 기초로 3차원 공간상의 정보를 처리하게 된다. 이때, 상기 위치연한부(130)가 상기 촬영정보를 기초로 3차원 공간상의 정보를 처리하는 방법은 3차원 벡터의 연산으로 2차원의 X,Y축 위치로의 손가락의 좌우 이동의 움직임과 Z축의 깊이로 실행을 위한 누르는 위치를 인지하도록 3축 벡터 연산을 이용할 수 있다.
벡터 연산의 여러 가지 방법 중에서 벡터 내적을 이용한 X,Y 좌표의 분해와 외적 연산으로의 X,Y 2개의 벡터와 직교하는 Z의 벡터값으로 나온 공간과 공간의 일면으로 생성된 법선 벡터를 이용하여 그 값의 결과를 가지도록 할 수 있다.
도 3은 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법에 있어서, 가상 메트릭스의 예를 도시한 도면이다.
상기 도 3에 도시된 바와 같이, 대상객체의 위치를 인식하기 위한 정사각형 모향의 가상의 매트릭스의 이미지는 X축을 분할한 영역수, Y축을 분할한 영역수 및 Z축을 분할한 영역수를 곱하여 형성된 복수의 분할영역을 구분하여 구성된다. 상기 위치연산부(130)는 상기 분할영역 내에서 대상객체의 움직임의 변화에 대한 벡터 연산 처리를 수행한다.
상기 벡터값은 X, Y, Z 각 축별 3차원 데이터로 이루어질 수 있다.
따라서, 본 발명의 실시예에 따른 상기 벡터값은 X,Y,Z 축의 영역으로 구분된 가상의 메트릭스 형태 내에서 대상객체의 움직임의 변화를 데이터화하여 연산 처리될 수 있다.
특히, 3차원 공간상에서 임의의 가장최소 단위의 정사각형 모형체를 가정하여 특정 모서리를 중심으로 위쪽, 아래쪽, 왼쪽, 오른쪽을 각각 X축 및 Y축으로 구분하고, Z축은 심도감지카메라의 방향으로의 거리로 인지되어 근접 및 원위 등을 Z 축으로 하고, 최대값과 최소값으로 각각 정하여 표현할 수 있다. 예를 들어, 왼쪽은 X축의 최소값이고, 오른쪽은 X축의최대값, 윗쪽은 Y축의 최대값이고, 아래쪽은 Y축의 최소값이다. 카메라 방향의 근접의 경우는 Z축은 최소값으로 원위는 최대값으로 설정하여 값을 표현하도록 정할 수 있다.
대상객체의 움직임을 하나의 인지점으로 예시하고, 이동할 때의 이동 궤적을 연산 처리하고, 그 이동하는 위치를 나타내는 벡터 V(X, Y, Z)는 이동시간 t의 함수로서 변환을 하고, 벡터 연산 함수 V의 스칼라 변수 t의 미분은 스칼라 함수의 경우와 같이, 다음의 수학식 1과 같이 이루어질 수 있다.
Figure 112012107814266-pat00001
대상객체의 움직임이 2차원 평면에서 이루어지는 것이 아닌 3차원 공간상이므로 임의적으로 변할 수 있기 때문에, 대상객체의 인식에 있어서 오차의 보정을 위한 필터링 및 스케일링 과정을 추가로 수행하여 대상객체, 예를 들어 손의 떨림을 보정하는 등의 방법을 고려할 수 있다.
위치연산부(130)의 대상객체의 위치값의 연산이 완료되면, 상기 위치비교처리부(140)는 기 대상객체의 위치값과 기준위치데이터베이스와 비교하여, 상기 대상객체의 위치값이 상기 복수의 분할영역 중 하나의 위치영역에 포함되는지 판단한다(S140).
상기 기준위치데이터베이스(150)는 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 메트릭스에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산하고, 상기 연산된 위치값을 기초로 상기 복수의 분할영역 각각에 대하여 소정의 표준편차 이내의 3차원 분포도를 갖는 데이터로 구성될 수 있다.
상기 영상획득부(120)가 초기 인지점을 기준으로 미리 구분되어 설정된 복수의 분할영역에 대하여 대상객체의 움직임을 복수회 반복하여 촬영하여 촬영정보를 생성하고, 위치연산부(130)는 상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산하게 된다. 이때 연산된 값들을 비교 분석하여 상기 기준위치데이터베이스(150)를 구축하게 된다. 이때, 소정의 프로그램을 이용하여 연산된 값의 중복 유무를 확인하고, 일정 이상 반복된 부분은 제거하도록 제어하고, 영상획득부(120)의 특성을 살려 기준데이터베이스(150)를 구축한다.
도 4는 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법에 있어서, 기준위치데이터베이스(150)를 구성하는 방법을 설명하기 위한 도면이다.
미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 메트릭스에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산하여 표시하면 3차원 공간상의 분포를 형성하여 상기 도 4에 도시된 바와 같이 3차원 공간 상에 분포도를 형성하게 된다. 이때, 상기 분할영역별로 분포도를 가질 수 있는데, 기준위치데이터베이스(150)는 이와 같은 분포도를 데이터로 포함할 수 있다.
이때, 복수의 분할영역을 포함하는 가상 메트릭스에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산처리함으로써, 분포도 상의 위치값의 표준편차를 미리 설정된 소정 범위 이내로 할 수 있으며, 대상객체의 위치인식의 정확도를 높이기 위하여 상기 분포도의 분포영역을 작게 설정할 수 있다.
이와 같이 구해진 분포도가 데이터로 기준위치데이터베이스(150)에 저장된다.
상기 위치비교처리부(140)는 상기 대상객체의 위치값이 특정 분할영역의 분포도에 포함되는지 기준위치데이터베이스(150)에 미리 저장되어 있는 분포도의 데이터와 비교하게 된다. 위치비교처리부(140)가 대상객체의 위치값과 기준위치데이터베이스(150)에 미리 저장되어 있는 분포도의 데이터와 비교하여, 상기 대상객체의 위치값이 특정 분할영역의 분포도의 데이터에 포함되는지 판단하게 된다. 판단 결과, 대상객체의 위치값이 특정 분할영역의 분포도의 데이터에 포함된다고 판단되는 경우, 상기 대상객체는 상기 특정 분할영역상의 공간에 위치하는 것으로 판단할 수 있다. 이와 같이, 높은 정확도를 갖는 기준위치데이터베이스(150)와 비교함으로써, 대상객체의 위치인식의 정확도를 높일 수 있다. 이때, 상기 대상객체의 위치값이 특정 분할영역의 분포도가 나타내는 영역 내에 상기 대상객체의 위치값이 포함되는지 판단하여 상기 대상객체가 특정 분할영역 상의 공간에 위치하는 지 판단하는 것도 가능하다.
그리고 나서, 상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 이벤트신호처리부(160)는 상기 하나의 분할영역에 대응하는 이벤트의 실행을 위한 이벤트실행신호를 발생한다. 상기 하나의 분할영역에 대응하는 이벤트가 미리 정의될 수 있는데, 이벤트발생신호는 해당 이벤트의 실행을 지시하는 신호일 수 있다.
본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치는 다양한 기기에 장착될 수 있는데, 상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 이벤트신호처리부(160)는 상기 기기에서 정의된 이벤트를 실행하기 위한 이벤트실행신호를 발생한다.
해당 이벤트실행신호는 상기 기기에 전달되고 상기 기기는 상기 이벤트실행신호에 대응하는 이벤트를 실행하게 된다. 예를 들어, 상기 기기에 설치된 특정 디스플레이 상에서 상기 이벤트실행신호에 대응하는 특정 메뉴가 실행되되도록 할 수 있다.
예를 들어, 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치는 사용자로부터 입력을 받아 처리를 수행하기 위한 다양한 기기에 장착될 수 있으며, 예를 들어, PC, 스마트폰, 엘리베이터, ATM 또는 자판기 등 다양한 기기에 장착될 수 있으며, 이는 일례에 불과한 것으로 상기 예에 국한되는 것은 아니다.
상기 이벤트신호처리부(160)가 생성하는 이벤트발생신호는 통신을 통해 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치가 설치된 기기에 전송될 수 있는데, 예를 들어, RS-233의 직렬 통신을 기본으로 하고, 경우에 따라 통신속도를 높이거나 거리에 제약을 받는 경우에 노이즈에 강하고, 최대한 신호를 멀리 보낼 수 있는 환경적인 제약을 받는 경우 RS-244 또는 RS-485를 사용할 수 있으며, 용도에 따라서는 10/100 Base의 Ethernet 이나, 자유롭게 사용 가능한 주파수 대역으로 ISM 밴드의 무선 LAN을 활용하는 것도 가능하다.
상기에서 설명한 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치는 사용자의 입력을 받아 처리하기 위한 다양한 기기 및 장비에 적용가능하며, 위치인식 성능 및 이벤트 응답 속도가 빨라 사용자의 편의성을 향상시킬 수 있다.
이상에서는 첨부된 도면들을 참조하면서 본 발명의 실시 예를 설명하였지만, 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 안되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 사용자인터페이스 장치 110: 기능활성화처리부
120: 영상획득부 130: 위치연산부
140: 위치비교처리부 150: 기준위치데이터베이스
160: 이벤트신호처리부

Claims (13)

  1. 영상획득부가 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 단계;
    위치연산부가 상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산하는 단계;
    위치비교처리부가 상기 대상객체의 위치값과 기준위치데이터베이스와 비교하여, 상기 대상객체의 위치값이 상기 복수의 분할영역 중 하나의 위치영역에 포함되는지 판단하는 단계;
    상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 이벤트신호처리부가 상기 하나의 분할영역에 대응하는 이벤트의 실행을 위한 이벤트실행신호를 발생시키는 단계를 포함하고,
    상기 기준위치데이터베이스는 상기 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산하고, 상기 연산된 위치값을 기초로 상기 복수의 분할영역 각각에 대하여 소정의 표준편차 이내의 3차원 분포도를 갖도록 구성되는,
    공간상의 위치인식을 통한 사용자인터페이스 방법.
  2. 제1항에 있어서,
    상기 영상획득부는 적어도 하나의 심도감지카메라(depth-sensing camera)를 포함하고, 상기 영상획득부는 상기 적어도 하나의 심도감지카메라를 통해 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는,
    공간상의 위치인식을 통한 사용자인터페이스 방법.
  3. 제1항에 있어서,
    상기 위치값은 상기 대상객체의 움직임에 기초하여 연산된 3차원 공간상의 벡터값인,
    공간상의 위치인식을 통한 사용자인터페이스 방법.
  4. 제3항에 있어서,
    상기 벡터값은 X-Y-Z 축의 영역으로 구분된 가상의 매트릭스 형태 내에서 상기 대상객체의 움직임의 이미지변화를 데이터화하여 연산처리되는
    공간상의 위치인식을 통한 사용자인터페이스 방법.
  5. 제1항에 있어서, 상기 방법은
    상기 영상획득부가 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 단계 이전에,
    기능활성화처리부가 상기 대상객체가 미리 설정된 공간 이내에 위치하는지 판단하여, 상기 영상획득부가 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 단계의 수행여부를 결정하는 단계를 더 포함하는,
    공간상의 위치인식을 통한 사용자인터페이스 방법.
  6. 제5항에 있어서,
    상기 기능활성화처리부는 상기 대상객체가 상기 미리 설정된 공간 내에 위치하는지 식별하기 위한 적외선영상센서를 포함하는,
    공간상의 위치인식을 통한 사용자인터페이스 방법.
  7. 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 하기 위한 영상획득부;
    상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산하기 위한 위치연산부;
    상기 대상객체의 위치값과 기준위치데이터베이스와 비교하여, 상기 대상객체의 위치값이 상기 복수의 분할영역 중 하나의 위치영역에 포함되는지 판단하기 위한 위치비교처리부; 및
    상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 상기 하나의 분할영역에 대응하는 이벤트의 실행을 위한 이벤트실행신호를 발생시키기 위한 이벤트신호처리부를 포함하고,
    상기 기준위치데이터베이스는 상기 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산하고, 상기 연산된 위치값을 기초로 상기 복수의 분할영역 각각에 대하여 소정의 표준편차 이내의 3차원 분포도를 갖도록 구성되는,
    공간상의 위치인식을 통한 사용자인터페이스 장치.
  8. 제7항에 있어서,
    상기 영상획득부는 적어도 하나의 심도감지카메라(depth-sensing camera)를 포함하고, 상기 영상획득부는 상기 적어도 하나의 심도감지카메라를 통해 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는,
    공간상의 위치인식을 통한 사용자인터페이스 장치.
  9. 제7항에 있어서,
    상기 위치값은 상기 대상객체의 움직임에 기초하여 연산된 3차원 공간상의 벡터값인,
    공간상의 위치인식을 통한 사용자인터페이스 장치.
  10. 제9항에 있어서,
    상기 벡터값은 X-Y-Z 축의 영역으로 구분된 가상의 매트릭스 형태 내에서 상기 대상객체의 움직임의 이미지변화를 데이터화하여 연산처리되는
    공간상의 위치인식을 통한 사용자인터페이스 장치.
  11. 제7항에 있어서, 상기 장치는
    상기 대상객체가 미리 설정된 공간 이내에 위치하는지 판단하여, 상기 영상획득부의 기능활성화 여부를 결정하는 기능활성화처리부를 더 포함하는,
    공간상의 위치인식을 통한 사용자인터페이스 장치.
  12. 제11항에 있어서,
    상기 기능활성화처리부는 상기 대상객체가 미리 설정된 공간 이내에 위치하는 경우에만, 상기 영상획득부의 기능을 활성화시키는,
    공간상의 위치인식을 통한 사용자인터페이스 장치.
  13. 제11항에 있어서,
    상기 기능활성화처리부는 상기 대상객체가 상기 미리 설정된 공간 내에 위치하는 지 식별하기 위한 적외선영상센서를 포함하는,
    공간상의 위치인식을 통한 사용자인터페이스 장치.
KR1020120153310A 2012-06-08 2012-12-26 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치 KR101369938B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120153310A KR101369938B1 (ko) 2012-12-26 2012-12-26 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
EP13800120.1A EP2860611A4 (en) 2012-06-08 2013-06-05 USER INTERFACE PROCESS AND DEVICE BASED ON SPATIAL LOCATION IDENTIFICATION
PCT/KR2013/004964 WO2013183938A1 (ko) 2012-06-08 2013-06-05 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
US14/405,403 US20150185857A1 (en) 2012-06-08 2013-06-05 User interface method and apparatus based on spatial location recognition
CN201380029984.XA CN104335145A (zh) 2012-06-08 2013-06-05 基于空间位置识别的用户界面装置以及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120153310A KR101369938B1 (ko) 2012-12-26 2012-12-26 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101369938B1 true KR101369938B1 (ko) 2014-03-04

Family

ID=50647457

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120153310A KR101369938B1 (ko) 2012-06-08 2012-12-26 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101369938B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156548A (ja) 2005-11-30 2007-06-21 Toshiba Corp 情報処理装置および切り替え方法
KR20090090983A (ko) * 2008-02-22 2009-08-26 이병국 복수의 카메라 영상을 이용한 공간좌표 추출방법
KR20110084748A (ko) * 2010-01-18 2011-07-26 (주)엔시드코프 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156548A (ja) 2005-11-30 2007-06-21 Toshiba Corp 情報処理装置および切り替え方法
KR20090090983A (ko) * 2008-02-22 2009-08-26 이병국 복수의 카메라 영상을 이용한 공간좌표 추출방법
KR20110084748A (ko) * 2010-01-18 2011-07-26 (주)엔시드코프 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법

Similar Documents

Publication Publication Date Title
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
WO2018089163A1 (en) Methods and systems of performing object pose estimation
CN112258567B (zh) 物体抓取点的视觉定位方法、装置、存储介质及电子设备
CN106020436A (zh) 图像分析装置及图像分析方法
US10453235B2 (en) Image processing apparatus displaying image of virtual object and method of displaying the same
CN110909580B (zh) 数据处理方法及装置、电子设备及存储介质
CN112652016A (zh) 点云预测模型的生成方法、位姿估计方法及其装置
JP6487642B2 (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
JP6927937B2 (ja) 三次元骨格表現を生成するためのシステム及び方法
CN111027407B (zh) 针对遮挡情况的彩色图像手部姿态估计方法
JP2018119833A (ja) 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
JP2014235634A (ja) 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム
US20150339859A1 (en) Apparatus and method for navigating through volume image
KR20140060604A (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
US11758100B2 (en) Portable projection mapping device and projection mapping system
Deldjoo et al. A low-cost infrared-optical head tracking solution for virtual 3d audio environment using the nintendo wii-remote
US20210042576A1 (en) Image processing system
KR102063408B1 (ko) 가상 객체와의 상호 작용을 위한 방법 및 장치
KR102333768B1 (ko) 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법
CN106406507B (zh) 图像处理方法以及电子设备
KR101369938B1 (ko) 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
EP2357605A1 (en) Stabilisation method and computer system
KR20200073031A (ko) 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법
EP3971683A1 (en) Human body portion tracking method and human body portion tracking system
CN111742349B (zh) 信息处理装置、信息处理方法以及信息处理存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170223

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180326

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee