KR20100107976A - 3차원 사용자 인터페이스 장치 및 그 방법 - Google Patents

3차원 사용자 인터페이스 장치 및 그 방법 Download PDF

Info

Publication number
KR20100107976A
KR20100107976A KR1020090026385A KR20090026385A KR20100107976A KR 20100107976 A KR20100107976 A KR 20100107976A KR 1020090026385 A KR1020090026385 A KR 1020090026385A KR 20090026385 A KR20090026385 A KR 20090026385A KR 20100107976 A KR20100107976 A KR 20100107976A
Authority
KR
South Korea
Prior art keywords
light emitting
emitting diodes
dimensional
coordinates
user interface
Prior art date
Application number
KR1020090026385A
Other languages
English (en)
Other versions
KR101021015B1 (ko
Inventor
최유주
문남미
Original Assignee
호서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호서대학교 산학협력단 filed Critical 호서대학교 산학협력단
Priority to KR1020090026385A priority Critical patent/KR101021015B1/ko
Publication of KR20100107976A publication Critical patent/KR20100107976A/ko
Application granted granted Critical
Publication of KR101021015B1 publication Critical patent/KR101021015B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 3차원 사용자 인터페이스 장치 및 방법에 관한 것으로서 3차원 마우스에 적어도 3개의 발광 다이오드와 상기 발광 다이오드를 점등 및 발광 색상을 조절하는 복수의 기능 키를 구비하고, 3차원 마우스에 구비되어 있는 발광 다이오드들을 스테레오 카메라로 촬영하며, 스테레오 카메라가 촬영한 두 영상에서 중앙처리장치가 복수의 발광 다이오드들의 3차원 좌표 및 회전각도를 인식하고, 인식한 3차원 좌표 및 회전각도에 따라 상기 3차원 마우스의 포인터를 이동 및 회전시키며, 복수의 발광 다이오드들의 색상 변화로 이벤트의 발생을 판단하여 이벤트 매핑을 수행한다.
3차원 마우스, 사용자 인터페이스, 스테레오 카메라, 발광 다이오드

Description

3차원 사용자 인터페이스 장치 및 그 방법{Three dimension user interface apparatus and thereof method}
본 발명은 3차원 사용자 인터페이스 장치 및 그 방법에 관한 것이다. 보다 상세하게는 데스크탑의 환경에서 사용자의 조작에 따라 3차원으로 포인터를 이동시키고, 포인터가 위치하는 폴더 또는 아이콘 등을 드래그하며, 선택할 수 있는 3차원 사용자 인터페이스 장치 및 그 방법에 관한 것이다.
컴퓨터 그래픽스, 가상현실(Virtual Reality) 및 증강현실 기술(Augmented Reality Technologies) 등이 발전됨에 따라 이들 기술을 기반으로 하는 다양한 응용 분야에서 3차원 가상공간에서의 객체 선택 및 조작 등의 3차원 사용자 인터페이스 장치가 요구되고 있다.
상기 3차원 가상공간은 2차원적 평면의 개념에서 깊이 정보가 추가된 입체 공간이다.
현재 널리 사용되고 있는 사용하고 있는 2차원 마우스 등과 같은 사용자 인 터페이스 장치는 3 자유도(Degree of Freedom)의 인터랙션(interaction)에 의한 제한적인 정보만을 제공하고 있다. 그러므로 2차원 마우스를 사용하여, 6 자유도를 갖는 3차원 가상공간을 네비게이션 한다거나 3차원 가상공간상의 입체객체에 대한 조작을 수행하는 데에는 많은 어려움이 따르고 있다.
이에 따라 3차원 가상공간에 적합한 편리한 3차원 사용자 인터페이스 장치에 대한 관심이 높아지고 있다.
3차원 가상공간 및 입체 모델에 대한 조작을 위하여 제작된 3차원 사용자 인터페이스 장치들은 사용자 전신 움직임이 추적되는 대형 작업 공간을 기반으로 하는 형태와 데스크 탑 어플리케이션에 적합한 소형 작업 공간을 기반으로 하는 형태로 구분할 수 있다.
데스크 탑 소형 작업 공간에 적합한 3차원 사용자 인터페이스 장치는 전자기적 기법을 기반으로 하는 것이 대부분이다. 전자기적 3차원 입력 장비는 응용 어플리케이션이 쉽게 사용할 수 있도록 편리한 개발 라이브러리 등을 함께 제공하고 있으나, 이들 대부분은 일반 2차원 입력장비(2차원 마우스, 키보드 등)에 비해 고가의 장비로서 구입 부담이 크다. 또한, 3차원 입력장치에 친숙하지 않은 사용자는 자유롭게 입력 장비를 다루기 위해서 사용법에 대한 학습과 훈련의 시간이 필요하다. 이는 3차원 입력 장비의 사용기법이 직관적이지 않기 때문이다.
그러므로 본 발명이 해결하고자 하는 과제는 3차원 가상공간에서의 객체 선택 및 조작 등을 수행할 수 있는 간단한 구성의 3차원 사용자 인터페이스 장치 및 방법을 제공한다.
본 발명이 이루고자 하는 기술적 과제들은 상기에서 언급한 기술적 과제들로 제한되지 않고, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 명확하게 이해될 수 있을 것이다.
본 발명의 3차원 사용자 인터페이스 장치는, 적어도 3개의 발광 다이오드와 상기 발광 다이오드를 점등시키기 위한 복수의 기능 키를 구비하고 있는 3차원 마우스와, 상기 3차원 마우스에 구비되어 있는 발광 다이오드들을 촬영하는 스테레오 카메라와, 상기 스테레오 카메라가 촬영한 두 영상에서 상기 복수의 발광 다이오드들의 3차원 좌표 및 회전각도를 인식하고, 인식한 3차원 좌표 및 회전각도에 따라 상기 3차원 마우스의 포인터를 이동 및 회전시키며, 상기 복수의 발광 다이오드들의 색상 변화로 이벤트의 발생을 판단하여 이벤트 매핑을 수행하는 중앙처리장치를 포함하여 구성됨을 특징으로 한다.
상기 3차원 마우스는, 복수의 기능 키가 설치되어 있는 손잡이와, 상기 손잡이의 전방에 고정되는 지지대를 구비하고, 상기 지지대에는 상기 적어도 3개의 발 광 다이오드가 상호간의 간격이 각기 상이한 직각 삼각형을 이루도록 고정되는 것을 특징으로 한다.
상기 발광 다이오드들은 상기 기능 키의 누름에 따라 발광 색상이 가변되면서 이벤트를 발생하는 것을 특징으로 한다.
또한 본 발명은 상기 스테레오 카메라의 렌즈 전방에 구비되는 광 필터를 더 포함하는 것을 특징으로 한다.
그리고 본 발명의 3차원 사용자 인터페이스 방법은 중앙처리장치가 스테레오 카메라의 캘리브레이션을 수행하는 단계와, 상기 캘리브레이션을 수행한 이후에 상기 스테레오 카메라가 촬영하는 영상에서 3차원 마우스에 구비되어 있는 복수의 발광 다이오드의 영역을 추출하여 3차원 좌표 및 회전 각도를 인식하는 단계와, 상기 복수의 발광 다이오드의 색상으로 이벤트 발생을 판단하고, 판단한 이벤트를 응용 어플리케이션에 매핑시키는 단계를 포함하는 것을 특징으로 한다.
상기 캘리브레이션의 수행 단계는, 미리 설정된 간격으로 격자 무늬의 캘리브레이션 패턴이 부착된 박스를 상기 스테레오 카메라가 촬영하는 단계와, 상기 촬영한 영상에서 상기 격자 무늬들이 상호간에 만나는 격자점들에 대한 영상 좌표를 추출하는 단계와, 상기 추출한 격자점들의 영상 좌표와 대응되는 사계 좌표계를 입력으로 캘리브레이션을 수행하여 상기 스테레오 카메라의 내부 및 외부 파라미터를 계산하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
상기 캘리브레이션의 수행은 'Tsai'의 방법으로 캘리브레이션을 수행하는 것 을 특징으로 한다.
상기 3차원 좌표 및 회전각도의 인식 단계는 상기 스테레오 카메라의 촬영 영상에서 상기 복수의 발광 다이오드들의 영역을 추출하는 단계와, 상기 영역을 추출한 복수의 발광 다이오드들의 ID를 판별하는 단계와, 상기 ID를 판별한 복수의 발광 다이오드들의 3차원 좌표를 추정하는 단계와, 상기 복수의 발광 다이오드들 중에서 영역이 추출되지 않은 발광 다이오드들의 좌표를 추정하는 단계와, 상기 복수의 발광 다이오드의 영역이 이루는 평면을 이용하여 회전 각도를 인식하는 단계와, 상기 추정한 복수의 발광 다이오드의 3차원 좌표를 보정하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
상기 복수의 발광 다이오드들의 영역을 추출하는 단계는, 상기 스테레오 카메라의 촬영 영상을 흑백 영상으로 변환하는 단계와, 상기 변환한 흑백 영상을 이진화하는 단계와, 상기 이진화한 영상에서 상기 복수의 발광 다이오드들의 중심점을 추적하는 단계를 포함하여 구성됨을 특징으로 한다.
상기 복수의 발광 다이오드들의 ID를 판별하는 단계는, 상기 추출한 복수의 발광 다이오드들의 영역들 사이의 거리를 판별하는 단계와, 상기 판별한 거리로 상기 복수의 발광 다이오드들을 구분하여 ID를 판별하는 단계를 포함하여 구성됨을 특징으로 한다.
상기 복수의 발광 다이오드들의 3차원 좌표를 추정하는 단계는 삼각화 기법으로 추정하는 것을 구성됨을 특징으로 한다.
상기 영역이 추출되지 않은 발광 다이오드들의 좌표를 추정하는 단계는, 이 전 시간의 프레임에서의 3차원 위치 값을 미리 설정한 수학식에 대입하여 추정하는 것을 특징으로 한다.
상기 회전각도의 인식 단계는, 이전 시간 및 현재 시간에 상기 복수의 발광 다이오드의 영역이 이루는 평면의 각도를 각기 계산하고, 계산한 두 평면 사이의 각도로 상기 회전각도를 인식하는 것을 특징으로 한다.
상기 3차원 좌표의 보정단계는 칼만필터로 3차원 좌표를 보정하는 것을 특징으로 한다.
본 발명의 3차원 인터페이스 장치 및 방법은 복수의 기능 키 및 적어도 3개의 발광 다이오드를 구비하는 3차원 마우스를 스테레오 카메라로 촬영하고, 촬영한 영상에서 상기 발광 다이오드들 각각의 영역을 추출하며, 추출한 발광 다이오드의 영역들 사이의 간격 변화로 3차원 이동 및 회전각도를 인식하며, 발광 다이오드들의 색상 변화로 이벤트의 발생을 판별하여 응용 어플리케이션에 이벤트 매핑을 수행한다.
그러므로 사용자는 간단히 3차원 마우스만을 조작하여 응용 어플리케이션의 소정 객체를 드래그 및 회전 등의 조작을 수행할 수 있다.
이하의 상세한 설명은 예시에 지나지 않으며, 본 발명의 실시 예를 도시한 것에 불과하다. 또한 본 발명의 원리와 개념은 가장 유용하고, 쉽게 설명할 목적으로 제공된다.
따라서, 본 발명의 기본 이해를 위한 필요 이상의 자세한 구조를 제공하고자 하지 않았음은 물론 통상의 지식을 가진 자가 본 발명의 실체에서 실시될 수 있는 여러 가지의 형태들을 도면을 통해 예시한다.
도 1은 본 발명의 3차원 사용자 인터페이스 장치의 바람직한 실시 예의 구성을 보인 도면이다.
여기서, 부호 100은 본 발명에 따른 3차원 마우스이다. 상기 3차원 마우스(100)는 도 2에 도시된 바와 같이 손잡이(200)에 3개의 기능 키(210, 212, 214)를 구비한다. 예를 들면, 상기 3개의 기능 키(210, 212, 214)들 각각은 마우스 포인터의 이동을 명령하는 키, 드래그를 명령하는 키 및 선택을 명령하는 키이다.
상기 손잡이(200)의 전방에는 지지대(220)가 구비되고, 그 지지대(220)에 상호간의 간격이 서로 상이하고, 직각 삼각형을 이루도록 3개의 발광 다이오드(230, 232, 234)가 배치된다.
상기 3개의 발광 다이오드(230, 232, 234)는 상기 3개의 기능 키(210, 212, 214)를 선택적으로 누름에 따라 색상이 가변된다. 예를 들면, 기능 키(210)를 누를 경우에 상기 3개의 발광 다이오드(230, 232, 234)는 모두 적색으로 발광되고, 기능 키(212)를 누를 경우에 발광 다이오드(230)는 적색으로 발광되고, 나머지 2개의 발광 다이오드(232, 234)는 녹색으로 발광되며, 기능 키(214)를 누를 경우에 발광 다 이오드(230)는 적색으로 발광되고, 나머지 2개의 발광 다이오드(232, 234)는 청색으로 발광된다.
부호 110 및 112는 스테레오 카메라이다. 상기 스테레오 카메라(110, 112)는 상호간에 소정의 간격을 두고 배치되고, 사용자가 조작하는 상기 3차원 마우스(100)를 촬영한다.
부호 120 및 122는 광 필터이다. 상기 광 필터(120, 122)는 상기 스테레오 카메라(110, 112) 각각에 구비되어 있는 렌즈의 전방에 위치되어 광을 필터링하는 것으로서 상기 3차원 마우스(100)에 구비되어 있는 3개의 발광 다이오드(230, 232, 234)에서 출력되는 광이 상기 필터(120, 122)를 통해 상기 스테레오 카메라(110, 112)가 촬영하고, 나머지 영상은 촬영되지 않도록 차단한다.
부호 130은 중앙처리장치이다. 상기 중앙처리장치(130)는 상기 스테레오 카메라(110, 112)의 촬영 영상을 이용하여 포인터의 이동, 드래그 및 선택 동작을 판단한다. 예를 들면, 사용자가 기능 키(210)를 조작하여 3개의 발광 다이오드(230, 232, 234)가 모두 적색으로 발광될 경우에 포인터의 이동을 판단하고, 기능 키(212)를 눌러 발광 다이오드(230)는 적색으로 발광되고, 발광 다이오드(232, 234)는 녹색으로 발광될 경우에 드래그를 판단하며, 기능 키(214)를 눌러 발광 다이오드(230)는 적색으로 발광되고, 발광 다이오드(232, 234)는 청색으로 발광될 경우에 선택을 판단한다.
부호 140은 저장부이다. 상기 저장부(140)에는 상기 3차원 마우스(100)의 이동 및 회전과, 드래그 및 선택 등을 판단하기 위한 각종 데이터가 저장된다.
부호 150은 표시부이다. 상기 표시부(150)에는 상기 중앙처리장치(130)의 제어에 따라 소정의 3차원 영상이 표시됨과 아울러 상기 3차원 마우스(100)의 포인터가 표시된다.
이러한 구성을 가지는 본 발명의 3차원 사용자 인터페이스 장치는 스테레오 카메라(110, 112)가 촬영하는 2개의 영상을 이용하여 목표 물체의 3차원 공간상에서의 위치 및 방향을 추정하기 위하여 상기 중앙처리장치(130)는 먼저 도 3에 도시된 바와 같이 스테레오 카메라(110, 112)의 캘리브레이션을 수행한다(S300).
그리고 상기 스테레오 카메라(110, 112)의 캘리브레이션을 수행한 후에는 3차원 마우스(100)에 구비되어 있는 3개의 발광 다이오드(230, 232, 234)의 3차원 좌표와, 회전 각도를 인식하고(S320), 3개의 발광 다이오드(230, 232, 234)의 색상 변화를 검출하여 이벤트의 발생을 판단하고, 판단한 이벤트를 매핑시킨다(S340).
상기 3개의 발광 다이오드(230, 232, 234)의 3차원 좌표와 회전 각도를 인식(S320)은 먼저 3개의 발광 다이오드(230, 232, 234)의 영역을 추출하고(S322), 3개의 발광 다이오드(230, 232, 234)들의 ID를 각기 판별(S324)한 후 3차원 좌표를 추정하고(S326), 소실된 발광 다이오드(230, 232, 234)들에 대한 좌표를 추정하며(S328), 회전 각도를 인지하고(S330), 3차원 좌표를 보정한다(S332).
그리고 상기 이벤트의 발생을 판단하고, 판단한 이벤트의 매핑(S340)은 먼저 3개의 발광 다이오드(230, 232, 234)의 색상 변화를 검출하여 발생된 이벤트를 판단하고(S342), 판단한 이벤트를 매핑시킨다(S344).
이러한 본 발명의 동작을 각 항목별로 구분하여 설명한다.
1. 스테레오 카메라의 캘리브레이션 수행(S300).
캘리브레이션은 스테레오 카메라(110, 112)의 자체 특성을 나타내는 내부 정보(intrinsic parameter)와 세계 좌표계(world coordinate)와 카메라 좌표계(camera coordinate) 간의 상관관계를 추출하기 위해 필요한 카메라 위치 및 방위로 구성된 외부 정보(extrinsic parameter)를 찾는 과정으로서 여러 가지의 캘리브레이션 방법이 알려져 있다.
본 발명에서는 예를 들면, 'Tsai'가 제안한 캘리브레이션 방법을 사용하여 스테레오 카메라(110, 112)에 대한 캘리브레이션을 수행한다.
'Tsai'가 제안한 캘리브레이션 방법에 따라 본 발명은 사전에 정의된 기준점들에 대한 세계 좌표계의 좌표 P(Xw, Yw, Zw)와 이 기준점들에 대한 영상에서의 좌표 pi(xi, yi)를 이용하여 세계 좌표계, 카메라 좌표계 및 이미지 좌표계로의 변환 행렬을 계산함으로써 스테레오 카메라(110, 112)의 내부 및 외부 파라미터를 추출한다.
본 발명에서는 하기의 3단계를 수행하여 스테레오 카메라(110, 112)의 내부 및 외부 파라미터를 추출한다.
제 1 단계 : 캘리브레이션 패턴 제작 및 영상 획득
도 4a 및 도 4b에 도시된 바와 같이 미리 설정된 소정의 간격 예를 들면, 5㎝의 간격으로 격자 무늬가 그려진 평면 캘리브레이션 패턴을 수직으로 연결하여 공간적인 패턴을 형성한다. 그리고 필터(120, 122)를 제거한 상태에서 스테레오 카메라(110, 112)가 도 4a 및 도 4b와 같이 촬영하는 두 영상의 중앙 위치에 상기 캘리브레이션 패턴이 부착된 박스가 위치되도록 박스의 위치 및 방향을 조정하여 스테레오 영상을 획득한다.
제 2 단계 : 캘리브레이션 패턴 내의 격자점에 대한 영상 좌표 추출
상기 중앙처리장치(130)는 캘리브레이션 패턴 내에서 격자와 격자가 만나는 각각의 격자점에 대한 좌표를 추출한다. 이 때, 격자점 중에서 하나를 세계좌표계 상에서의 원점으로 지정하고 나머지 격자점에 대하여 상기 설정한 간격(예를 들면, 5㎝)을 이용하여 세계좌표계에서의 좌표 값을 부여한다. 이 때, 오른손 좌표계를 사용하였다.
그리고 각각의 격자점에 대하여 이차원 영상에서의 좌표 값을 추출하고 이를 이용하여 입력 파일을 생성한다.
제 3 단계 : 캘리브레이션 수행
상기 중앙처리장치(130)는 상기 스테레오 카메라(110, 112)가 촬영한 도 4a 및 도 4b의 영상에서 추출된 격자점의 2차원 영상 좌표와 대응되는 세계 좌표계의 좌표를 입력으로 하고, 'Tsai'의 제안 방법에 따라 캘리브레이션을 수행하여 카메라 내부 및 외부 파라미터를 계산한다.
계산한 내부 및 외부 파라미터의 정확성을 검증하기 위하여 한 영상 내 격자점에 대한 에피폴라 라인을 계산하여 도 4a 및 도 4b의 영상에 표시하여 도 5a 및 도 5b에 도시된 바와 같은 결과를 얻었다.
에피폴라 라인이 해당 격자점에 대한 다른 영상에서의 대응점을 정확하게 통과하는 경우에 스테레오 카메라(110, 112)의 캘리브레이션이 정상적으로 수행되었음을 알 수 있다.
도 5a 및 도 5b에서와 같이 에피폴라 라인이 각각 스테레오 카메라(110, 112)의 촬영 영상에서의 대응점을 지나가고 있음을 알 수 있다.
그리고 도 6은 캘리브레이션에 의해 추출된 스테레오 카메라(110, 112)의 내부 및 외부 파라미터의 예를 보여주고 있다.
2. 발광 다이오드(230, 232, 234)의 3차원 좌표 및 회전각도 인식(S320)
중앙처리장치(130)는 실시간으로 연속 입력되는 스테레오 카메라(110, 112)의 촬영 영상을 기반으로 하여 3차원 마우스(100)에 구비되어 있는 3개의 발광 다이오드(230, 232, 234)들 각각의 영역을 추출한다.
이 때, 외부 조명의 영향을 최소화하면서 3개의 발광 다이오드(230, 232, 234)들 각각의 영역을 정확하게 인지할 수 있도록 하기 위하여, 스테레오 카메라(110, 112)가 높은 밝기를 가지는 영상만을 촬영할 수 있도록 스테레오 카메라(110, 112)의 렌즈의 전방에 광 필터(120, 122)를 부착한다.
상기 광 필터(120, 122)가 부착된 스테레오 카메라(110, 112)는 높은 밝기를 가지는 3개의 발광 다이오드(230, 232, 234)에서 출력되는 광은 색상을 그대로 유지하면서 촬영하게 되고, 나머지 주변 영상은 낮은 밝기 값에 의해 제거된 형태로 촬영된다.
2.1 발광 다이오드(230, 232, 234)의 영역 추출(S322)
발광 다이오드(230, 232, 234)의 위치를 추적하기 위해서는 광 필터(120, 122)에 의해 필터링되고, 스테레오 카메라(110, 112)에 의해 촬영된 칼라 영상을 흑백 영상으로 변환하고, 변환된 흑백영상에 대하여 임계값에 의한 이진화를 수행한 후 라벨링한다.
이진화된 영상을 라벨링하는 방법은 다양하게 알려져 있는 것으로서 대표적으로는 'Glassfire' 알고리즘이 있다.
상기 'Glassfire' 알고리즘은 재귀적인 연산을 하기 때문에 구동 시에 계산비용이 크다는 단점이 있다. 동영상 기반의 이진화된 영상에서 특정 영역을 추출하기 위해서 연산시간 비용이 적은 CCL(Connected Component Labeling)기법을 적용한다. 상기 CCL 기법은 기존의 알고리즘들과 달리 이웃한 픽셀을 비교하여 라벨링하기 때문에 연산시간이 기존의 알고리즘보다 빠르다는 장점이 있다.
본 발명에서는 CCL 알고리즘을 적용하여 이진화 결과영상에 대하여 각각의 발광 다이오드(230, 232, 234)들의 중심점을 추적한다.
도 7a, 도 7b 및 도 7c는 입력 영상에 대한 임계값에 의한 이진화 처리결과 및 레이블링 알고리즘 수행 후 추적된 발광 다이오드(230, 232, 234)들의 관심영역(Regions of interest, ROI)을 보여주고 있다. 여기서, 상기 관심 영역은 흰색 사각형으로 표시되었다.
2.2 발광 다이오드(230, 232, 234)의 ID 판별(S324)
스테레오 카메라(110, 112)가 촬영한 영상들 각각에서 발광 다이오드(230, 232, 234)들의 ID를 판별하기 위하여 중앙처리장치(130)는 발광 다이오드(230, 232, 234)들 각각의 관심영역의 중심 P1, P2 및 P3을 구한다.
그리고 스테레오 카메라(110, 112)가 촬영한 각각의 영상에서 추적된 3개의 발광 다이오드(230, 232, 234)들 각각의 관심영역의 중심 P1, P2 및 P3들 사이의 거리를 계산하여 가장 짧은 거리를 가지는 관심영역의 중심의 집합 Pmin과 가장 긴 거리를 가지는 관심영역의 중심의 집합 Pmax를 예를 들면, 하기의 수학식 1 및 수학식 2를 사용하여 찾는다.
Figure 112009018587811-PAT00001
Figure 112009018587811-PAT00002
상기 집합 Pmin 및 Pmax가 구해지면, 집합 Pmin 및 Pmax에 모두 포함되어 있는 하나의 발광 다이오드의 ID는 P1로 판단하고, 집합 Pmin에만 포함되어 있는 하나의 발광 다이오드의 ID는 P2로 판단하며, 집합 Pmax에만 포함되어 있는 하나의 발광 다이오드의 ID는 P3으로 판단한다.
상기 발광 다이오드(230, 232, 234)들의 ID를 판별하는 방법은 하기의 수학식 3 내지 수학식 5로 정리할 수 있다.
Figure 112009018587811-PAT00003
Figure 112009018587811-PAT00004
Figure 112009018587811-PAT00005
그리고 도 8a, 도 8b 및 도 8c는 스테레오 카메라(110, 112)가 촬영한 영상에서 발광 다이오드(230, 232, 234)들의 ID를 판별한 결과를 예로 들어 보여 주고 있다.
2.3 3차원 좌표 추정(S326)
스테레오 카메라(110, 112)가 촬영한 좌우 영상에서 대응점 P1, P2 및 P3을 이용할 경우에 삼각화 기법(triangulation)에 의하여 각 점에 대한 3차원 공간상의 좌표를 계산할 수 있다.
대응점 중에서 한 영상의 좌표를 pi(xi, yi)라고 하고, 상기 캘리브레이션을 통하여 추출한 이차원 영상의 중심을 (cu, cv)라고 하며, 스테레오 카메라(110, 112)의 초점을 f라 하면, 3차원 공간상에서의 좌표를 Pw(Xw, Yw, Zw)는 하기의 수학 식 6 내지 수학식 10을 이용하여 근사시킬 수 있다.
상기 Pw는 상기 pi를 카메라 좌표계로 변환한 후, 스테레오 카메라(110, 112)의 중심과 연결한 벡터의 연장선상에 존재하게 된다. 카메라 좌표계에서의 카메라 원점과 대응점을 연결하는 벡터의 연장선은 하기의 수학식 6과 같이 표현할 수 있다.
Figure 112009018587811-PAT00006
따라서, 두 대응점을 상기 수학식 6에 의해 표현한다면, 두 벡터가 교차하는 지점이 두 대응점의 3차원 공간상에서의 좌표가 된다.
하기의 수학식 7은 렌즈의 왜곡이 없다고 가정할 경우에 대응점을 카메라 좌표계에서 사계 좌표계로 변환하는 수학식으로서 여기서, R은 카메라 외부파라미터인 회전벡터이다.
Figure 112009018587811-PAT00007
하기의 수학식 8은 카메라 중심과 대응점을 연결한 벡터를 연장한 선을 세계좌표계로 표현한 것이다. 여기서, Ο는 카메라의 중심이며, λ는 임의의 실수이다.
Figure 112009018587811-PAT00008
상기 수학식 8에 의하여, 두 대응점에 해당하는 선을 각각 lL, lR이라고 표현하고, 두 선분이 만나는 λ=(λL, λR)t를 구하면 3차원 공간상에서의 좌표를 계산할 수 있다. 이 때, 카메라 캘리브레이션 오차 등에 의하여 두 벡터가 정확하게 만나지 않는 경우가 존재하므로, 하기의 수학식 9로 두 선분의 차이가 가장 적은 λ를 구하여 근사시킨다.
Figure 112009018587811-PAT00009
여기서, b = ΟL - ΟR, A=[ωL｜-ωR]이라고 할 경우에 λ는 하기의 수학식 10을 이용하여 구할 수 있다.
Figure 112009018587811-PAT00010
Figure 112009018587811-PAT00011
도 9a, 도 9b 및 도 9c는 발광 다이오드(230, 232, 234)들의 계산된 3차원 좌표를 ID와 함께 표현한 결과의 영상을 예로 들어 보이고 있다.
2.4 소실된 발광 다이오드(230, 232, 234)에 대한 좌표추정(S328)
3차원 사용자 인터페이스에서 가상객체의 세밀한 조작을 위해서는 3차원 마우스(100)의 3차원 위치 및 회전 각도의 정확성이 요구된다. 그러나 영상처리 단계에서 획득된 발광 다이오드(230, 232, 234)들의 색상과 상호간의 거리 등을 고려하 여 3차원 마우스(100)의 위치를 정의하고, 대응되는 위치의 3차원 좌표를 복원할 경우에 다른 물체에 의해 3차원 마우스(100)가 가려지게 되면, 스테레오 카메라(110, 112)가 촬영한 영상에서 3개의 발광 다이오드(230, 232, 234)들이 검출되지 않는 경우가 발생할 수 있다.
이 때, 사라진 3차원 마우스(100)의 3차원 궤적을 유지시키기 위한 좌표 추정이 필요하다.
이를 위하여 이전에 촬영한 여러 프레임의 영상에서 발광 다이오드(230, 232, 234)들의 위치 및 회전 정보를 저장하고, 현재 프레임의 영상에서 가려진 3차원 마우스(100)의 3차원 궤적을 추정하는 기술로 보외법(Extrapolation)을 사용한다.
가장 간단한 추정방법으로 하기의 수학식 11의 일정 외삽법(Constant Extrapolation)을 적용할 수 있다. 하기 수학식 11은 이전의 좌표 값으로 현재의 3차원 위치 값을 대신한다.
Figure 112009018587811-PAT00012
현재시간 t에서의 삼차원 위치 값 Pcst(t)는 이전 시간 t-1의 3차원 위치 값 Pn(t-1)으로 대치된다. 상기한 대치법은 추가의 계산과정이 필요하지 않다는 장점이 있다. 그러나 수학식 11을 이용하여 현재 좌표를 예측할 경우에 이전의 이동과정에 대한 정보를 사용하지 않아 보다 신뢰성 있는 좌표 계산이 어렵다는 한계를 갖는 다.
이전 프레임들로부터 얻어진 불연속적인 좌표 값으로부터 추정값을 산출하기 위해 추정대상 프레임 이전의 2개 이상의 프레임에서의 발광 다이오드(230, 232, 234)의 좌표를 사용하여 현재 좌표를 유추한다면 보다 효과적인 추정을 할 수 있다.
본 발명에서는 하기의 수학식 12와 같이 이전 점들에 대한 가중평균을 이용하여 다음 값을 추정하는 방법인 선형보외법(linear extrapolation)을 사용한다.
Figure 112009018587811-PAT00013
여기서, Pt는 시간 t에서 추정 대상 프레임의 3차원 위치 값이고, 이전 프레임에서의 값들은 Pn과 Pn-1이다. 그리고 Pn은 이전 시간 tn에서의 위치 값이고, Pn-1은 tn의 이전 시간인 tn-1에서의 위치 값이다.
상기한 수학식 12의 게산은 일정 외삽법보다 더 나은 결과를 제공하며 실시간으로 적용하였을 경우에도 안정적인 좌표 추정이 가능하다.
2.5 회전각도 인지(S330)
3차원 마우스(100)의 회전 각도를 인지하기 위하여 회전이 시작되는 초기 시간 t0과 tn의 시점에서 3개의 발광 다이오드(230, 232, 234)의 중점이 만드는 2개의 평면을 정의하고, 두 평면간의 각도를 계산한다. 두 평면간의 각도는 각 평면의 법선 사이의 각과 일치한다.
먼저 초기 시간 t0에 3개의 발광 다이오드(230, 232, 234)들의 중점이 형성하는 평면의 법선
Figure 112009018587811-PAT00014
와 tn의 시점에 3개의 발광 다이오드(230, 232, 234)들의 중점이 형성하는 평면의 법선
Figure 112009018587811-PAT00015
를 정의한다.
그리고 초기 시간 t0에 3개의 발광 다이오드(230, 232, 234)들의 중점 P0 1, P0 2, P0 3의 좌표들 각각은 P0 1 = (x0 1, y0 1, z0 1), P0 2 = (x0 2, y0 2, z0 2), P0 3 = (x0 3, y0 3, z0 3)이라고 하고, tn의 시점에 3개의 발광 다이오드(230, 232, 234)들의 중점 Pn 1, Pn 2, Pn 3의 좌표들 각각을 Pn 1 = (xn 1, yn 1, zn 1), Pn 2 = (xn 2, yn 2, zn 2), Pn 3 = (xn 3, yn 3, zn 3)이라고 하면, 상기 법선
Figure 112009018587811-PAT00016
및
Figure 112009018587811-PAT00017
들 각각을 하기의 수학식 13 및 수학식 14라고 정의한다.
Figure 112009018587811-PAT00018
여기서,
Figure 112009018587811-PAT00019
이고,
Figure 112009018587811-PAT00020
이다.
Figure 112009018587811-PAT00021
여기서,
Figure 112009018587811-PAT00022
이고,
Figure 112009018587811-PAT00023
이다.
평면 △P0 1P0 2P0 3과 평면 △Pn 1Pn 2Pn 3이 이루는 각도 θ는 하기의 수학식 15와 같이 두 평면의 법선 벡터에 대한 내적 연산으로 계산된 값을 적용한다.
Figure 112009018587811-PAT00024
2.6 3차원 좌표 보정(S332)
3차원 좌표의 보정은 예를 들면, 칼만필터를 사용하여 보정한다.
상기 칼만필터는 공학분야에서 널리 사용되고 있으며, 센서들로부터 입력되는 같은 변수의 값을 연결하거나 또는 불완전하게 측정된 상태 값을 통해 시스템을 부정확하게 예측된 값의 결합에 사용된다.
본 발명에서는 위치 추적에 칼만필터를 적용함으로써 스테레오 카메라(110, 112)로부터 획득한 발광 다이오드(230, 232, 234)의 3차원 좌표 추정에 잡음이 최소화되도록 한다.
칼만필터의 기본식은 여러 가지의 형태로 표현되나 가장 일반적으로는 다음 과 같은 시스템 방정식과 관측방정식을 갖고 있는 시스템에 대한 칼만필터를 하기의 수학식 16 및 수학식 17로 표현할 수 있다.
Figure 112009018587811-PAT00025
Figure 112009018587811-PAT00026
일고리즘에 사용되는 방정식은 예측을 위한 시간 갱신 방정식(Time Update Equation)과 측정 갱신 방정식(Measurement Update Equations)으로 구성된다. 칼만 필터의 시간갱신(Time Update) 과정은 시간에 앞서 미리 현재 상태를 예측하는 단계로, 순방향으로 현재 상태 추정결과를 전달한다. 측정갱신(Measurement Update) 과정은 해당 시간에 실제 측정에 의해 전달된 추정 상태 값들을 조정한다.
도 10에 도시된 칼만필터 사이클 프로세스에서 x는 최적화를 하고자 하는 상태변수를 나타내고, 계수 A는 한 단계에서의 상태변수와 다음 단계의 상태변수를 연결하는 변환계수를 나타낸다.
그리고 B 및 u는 한 덩어리로 인식할 수 있으며, 이들은 시스템과 무관한 추가 입력 값이다. 마지막으로 w는 k 단계에서 상태변수 x의 참값과의 차이 값 또는 시스템 오차(system error or system noise)이다. w는 개별적으로 값을 구하거나 지정할 수 없으며, 단지 오랜 관측 및 시스템의 제작 시부터 알고있는 참값에 대한 표준편차로써 Q라는 변수로 적용된다.
관측방정식에서 z는 관측 값이고 이는 상태변수 x와, 변환계수 H에 의해 표 현되며, v는 관측값 z와 관측참값과의 오차(measurement error or measurement noise)이다.
v는 w와 마찬가지로 개개의 값을 알 수는 없고, 관측 참값에 대한 분산인 R이라는 변수로써 칼만필터 안에서 사용된다.
본 발명에서는 3개의 발광 다이오드(230, 232, 234)들 각각의 x축, y축 및 z축에 대한 좌표값과, 3차원 마우스(100)의 회전 값 등 10개의 값에 대하여 각각 칼만필터를 적용한다. 이를 통해 좌표값의 현재상태의 근사치를 유지함으로써 잡음이 최소화되도록 좌표 값을 보정한다.
3 색상변화 검출 및 이벤트 매핑(S340)
3.1 LED 색상 판별(S342)
스케레오 카메라(110, 112)가 촬영하여 중앙처리장치(130)로 입력되는 원래의 영상에서 관심영역에 해당하는 픽셀들의 R, G, B 각각의 값에 대한 합산값 SRed, SGreen, SBlue를 하기의 수학식 18 내지 수학식 20을 사용하여 계산하고, 계산한 이들 값을 비교하여 최대값을 갖는 색상이 발광 다이오드(230, 232, 234)의 색상으로 판별된다.
Figure 112009018587811-PAT00027
Figure 112009018587811-PAT00028
Figure 112009018587811-PAT00029
여기서 Red(Pi), Green(Pi) 및 Blue(Pi)는 픽셀 Pi에 대한 칼라 요소에서 각각 R, G, B 요소에 대한 값을 의미하고, ROI(LED)는 대상되는 발광 다이오드(230, 232, 234)들 각각의 관심 영역을 의미한다.
도 11a, 도 11b 및 도 11c에서 발광 다이오드(230, 232, 234)들의 색상을 판별한 결과를 예로 들어 보인다.
3.2 이벤트 매핑(S344)
스테레오 카메라(110, 112)가 촬영하여 연속적으로 중앙처리장치(130)로 입력되는 영상에서 발광 다이오드(230, 232, 234)들의 3차원 좌표값과 회전 정보가 검출된다. 이때, 3개의 발광 다이오드(230, 232, 234)의 색상의 조합으로 응용 어플리케이션에 대한 이벤트를 정의하여 전송한다. 본 발명에서는 3차원 마우스(100)에 3개의 기능 키(210, 212, 214)를 포함하고 있다.
상기 기능 키(210)를 누를 경우에 예를 들면, 3개의 발광 다이오드(230, 232, 234)를 모두 적색으로 점등되고, 3차원 마우스(100)의 포인터를 이동(Navigation)시키는 이벤트로 연결될 수 있다.
그리고 기능 키(212)를 누를 경우에 예를 들면, 하나의 발광 다이오드(230)는 적색으로 점등되고, 나머지 2개의 발광 다이오드(232, 234)는 녹색으로 점등되어 3차원 마우스(100)의 포인터를 회전(Rotation)시키는 이벤트로 연결되고, 응용 어플리케이션에게 회전 방향과 회전 각도의 정보를 전달할 수 있다.
기능 키(214)를 누를 경우에 예를 들면, 하나의 발광 다이오드(230)는 적색으로 점등되고, 나머지 2개의 발광 다이오드(232, 234)는 청색으로 점등되고, 응용 어플리케이션에서 3차원 마우스(100)의 포인터가 선택하는 객체의 이동(Translation) 이벤트로 연결될 수 있다.
포인터의 이동(Navigation) 이벤트와, 객체의 이동(Translation) 이벤트의 경우에 이벤트의 종류를 나타내는 이벤트 ID와, 3개의 발광 다이오드(230, 232, 234)의 3차원 좌표값이 이벤트 파라미터로 전달되고, 회전(Rotation) 이벤트의 경우에는 이벤트 ID, 3개의 발광 다이오드(230, 232, 234)의 3차원 좌표값, 회전 각도값이 이벤트 파라미터로 결정되어 전송된다.
이러한 본 발명은 응용 어플리케이션에서 상기한 바와 같이 서로 다른 3개의 이벤트에 대해 응용 어플리케이션에 맞는 기능과 연결하여 사용할 수 있다.
이상에서는 대표적인 실시 예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시 예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.
그러므로 본 발명의 권리범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 3차원 사용자 인터페이스 장치의 바람직한 실시 예의 구성을 보인 도면,
도 2는 본 발명의 3차원 사용자 인터페이스 장치에서 3차원 마우스의 구성을 보인 도면,
도 3은 본 발명의 3차원 사용자 인터페이스 방법에 따른 중앙처리장치의 바람직한 실시 예의 동작을 보인 신호흐름도,
도 4a 및 도 4b는 본 발명의 3차원 사용자 인터페이스 장치에서 스테레오 카메라가 촬영하는 캘리브레이션 패턴의 영상을 보인 도면,
도 5a 및 도 5b는 본 발명의 3차원 사용자 인터페이스 장치에서 스테레오 카메라가 촬영한 캘리브레이션 패턴의 영상에 에피폴라 라인을 겹쳐 보인 도면,
도 6은 본 발명의 3차원 사용자 인터페이스 장치에서 캘리브레이션에 의해 추출된 스테레오 카메라의 내부 및 외부 파라미터의 예를 보인 도표,
도 7a, 도 7b 및 도 7c는 본 발명의 3차원 사용자 인터페이스 장치에서 발광 다이오드들 각각에 대한 관심영역의 추적 결과들을 예로 들어 보인 도면,
도 8a, 도 8b 및 도 8c는 본 발명의 3차원 사용자 인터페이스 장치에서 발광 다이오드들의 ID를 판별한 결과들을 예로 들어 보인 도면,
도 9a, 도 9b 및 도 9c는 본 발명의 3차원 사용자 인터페이스 장치에서 발광 다이오드들의 좌표를 계산한 결과들을 예로 들어 보인 도면,
도 10은 본 발명의 3차원 사용자 인터페이스 장치에서 사용하는 칼만필터의 사이클 프로세스를 보인 도면, 및
도 11a, 도 11b 및 도 11c는 본 발명의 3차원 사용자 인터페이스 장치에서 발광 다이오드들의 색상을 판별한 결과들을 예로 들어 보인 도면이다.

Claims (14)

  1. 적어도 3개의 발광 다이오드와 상기 발광 다이오드를 점등시키기 위한 복수의 기능 키를 구비하고 있는 3차원 마우스;
    상기 3차원 마우스에 구비되어 있는 발광 다이오드들을 촬영하는 스테레오 카메라; 및
    상기 스테레오 카메라가 촬영한 두 영상에서 상기 복수의 발광 다이오드들의 3차원 좌표 및 회전각도를 인식하고, 인식한 3차원 좌표 및 회전각도에 따라 상기 3차원 마우스의 포인터를 이동 및 회전시키며, 상기 복수의 발광 다이오드들의 색상 변화로 이벤트의 발생을 판단하여 이벤트 매핑을 수행하는 중앙처리장치를 포함하여 구성된 3차원 사용자 인터페이스 장치.
  2. 제 1 항에 있어서, 상기 3차원 마우스는;
    복수의 기능 키가 설치되어 있는 손잡이; 및
    상기 손잡이의 전방에 고정되는 지지대를 구비하고,
    상기 지지대에는 상기 적어도 3개의 발광 다이오드가 상호간의 간격이 각기 상이한 직각 삼각형을 이루도록 고정되는 것을 특징으로 하는 3차원 사용자 인터페이스 장치.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 발광 다이오드들은;
    상기 기능 키의 누름에 따라 발광 색상이 가변되면서 이벤트를 발생하는 것을 특징으로 하는 3차원 사용자 인터페이스 장치.
  4. 제 1 항에 있어서,
    상기 스테레오 카메라의 렌즈 전방에 구비되는 광 필터를 더 포함하는 것을 특징으로 하는 3차원 사용자 인터페이스 장치.
  5. 중앙처리장치가 스테레오 카메라의 캘리브레이션을 수행하는 단계;
    상기 캘리브레이션을 수행한 이후에 상기 스테레오 카메라가 촬영하는 영상에서 3차원 마우스에 구비되어 있는 복수의 발광 다이오드의 영역을 추출하여 3차원 좌표 및 회전 각도를 인식하는 단계; 및
    상기 복수의 발광 다이오드의 색상으로 이벤트 발생을 판단하고, 판단한 이벤트를 응용 어플리케이션에 매핑시키는 단계를 포함하는 3차원 사용자 인터페이스 방법.
  6. 제 5 항에 있어서, 상기 캘리브레이션의 수행 단계는;
    미리 설정된 간격으로 격자 무늬의 캘리브레이션 패턴이 부착된 박스를 상기 스테레오 카메라가 촬영하는 단계;
    상기 촬영한 영상에서 상기 격자 무늬들이 상호간에 만나는 격자점들에 대한 영상 좌표를 추출하는 단계; 및
    상기 추출한 격자점들의 영상 좌표와 대응되는 사계 좌표계를 입력으로 캘리브레이션을 수행하여 상기 스테레오 카메라의 내부 및 외부 파라미터를 계산하는 단계를 포함하여 이루어지는 것을 특징으로 하는 3차원 사용자 인터페이스 방법.
  7. 제 5 항 또는 제 6 항에 있어서, 상기 캘리브레이션의 수행은;
    'Tsai'의 방법으로 캘리브레이션을 수행하는 것을 특징으로 하는 3차원 사용자 인터페이스 방법.
  8. 제 5 항에 있어서, 상기 3차원 좌표 및 회전각도의 인식 단계는;
    상기 스테레오 카메라의 촬영 영상에서 상기 복수의 발광 다이오드들의 영역을 추출하는 단계;
    상기 영역을 추출한 복수의 발광 다이오드들의 ID를 판별하는 단계;
    상기 ID를 판별한 복수의 발광 다이오드들의 3차원 좌표를 추정하는 단계;
    상기 복수의 발광 다이오드들 중에서 영역이 추출되지 않은 발광 다이오드들의 좌표를 추정하는 단계;
    상기 복수의 발광 다이오드의 영역이 이루는 평면을 이용하여 회전 각도를 인식하는 단계; 및
    상기 추정한 복수의 발광 다이오드의 3차원 좌표를 보정하는 단계를 포함하여 이루어지는 것을 특징으로 하는 3차원 사용자 인터페이스 방법.
  9. 제 8 항에 있어서, 상기 복수의 발광 다이오드들의 영역을 추출하는 단계는;
    상기 스테레오 카메라의 촬영 영상을 흑백 영상으로 변환하는 단계;
    상기 변환한 흑백 영상을 이진화하는 단계; 및
    상기 이진화한 영상에서 상기 복수의 발광 다이오드들의 중심점을 추적하는 단계를 포함하여 구성됨을 특징으로 하는 3차원 사용자 인터페이스 방법.
  10. 제 8 항에 있어서, 상기 복수의 발광 다이오드들의 ID를 판별하는 단계는;
    상기 추출한 복수의 발광 다이오드들의 영역들 사이의 거리를 판별하는 단계;
    상기 판별한 거리로 상기 복수의 발광 다이오드들을 구분하여 ID를 판별하는 단계를 포함하여 구성됨을 특징으로 하는 3차원 사용자 인터페이스 방법.
  11. 제 8 항에 있어서, 상기 복수의 발광 다이오드들의 3차원 좌표를 추정하는 단계는;
    삼각화 기법으로 추정하는 것을 구성됨을 특징으로 하는 3차원 사용자 인터페이스 방법.
  12. 제 8 항에 있어서, 상기 영역이 추출되지 않은 발광 다이오드들의 좌표를 추정하는 단계는;
    하기의 수학식에 따라 추정하는 것을 특징으로 하는 3차원 사용자 인터페이스 방법.
    Figure 112009018587811-PAT00030
    여기서, Pt는 현재시간 t에서 추정 대상 프레임의 3차원 위치 값이고, Pn은 이전 시간 tn의 프레임에서의 3차원 위치 값이며, Pn-1은 이전 시간인 tn-1의 프레임에서의 3차원 위치 값이다.
  13. 제 8 항에 있어서, 상기 회전각도의 인식 단계는;
    이전 시간 및 현재 시간에 상기 복수의 발광 다이오드의 영역이 이루는 평면의 각도를 각기 계산하고, 계산한 두 평면 사이의 각도로 상기 회전각도를 인식하는 것을 특징으로 하는 3차원 사용자 인터페이스 방법.
  14. 제 8 항에 있어서, 상기 3차원 좌표의 보정단계는;
    칼만필터로 3차원 좌표를 보정하는 것을 특징으로 하는 3차원 사용자 인터페이스 방법.
KR1020090026385A 2009-03-27 2009-03-27 3차원 사용자 인터페이스 방법 KR101021015B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090026385A KR101021015B1 (ko) 2009-03-27 2009-03-27 3차원 사용자 인터페이스 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090026385A KR101021015B1 (ko) 2009-03-27 2009-03-27 3차원 사용자 인터페이스 방법

Publications (2)

Publication Number Publication Date
KR20100107976A true KR20100107976A (ko) 2010-10-06
KR101021015B1 KR101021015B1 (ko) 2011-03-09

Family

ID=43129614

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090026385A KR101021015B1 (ko) 2009-03-27 2009-03-27 3차원 사용자 인터페이스 방법

Country Status (1)

Country Link
KR (1) KR101021015B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101297459B1 (ko) * 2010-12-30 2013-08-16 주식회사 팬택 휴대용 단말기의 3차원 인터페이스 장치 및 방법
WO2013157685A1 (ko) * 2012-04-20 2013-10-24 (주)아이티엑스시큐리티 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
KR101406855B1 (ko) * 2013-04-17 2014-06-13 한국과학기술연구원 다차원 입력장치를 이용한 컴퓨터 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101386503B1 (ko) * 2012-07-30 2014-04-17 서울시립대학교 산학협력단 광 센서의 삼각측량 배치 기반의 인터랙티브 디스플레이 장치
KR101895125B1 (ko) 2016-11-02 2018-09-04 국방과학연구소 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100664832B1 (ko) * 1999-12-01 2007-01-04 주식회사 케이티 눈동자 움직임추적을 통한 2차원 모니터 포인팅 장치
KR20050039799A (ko) * 2005-04-06 2005-04-29 정준익 다색 발광소자와 컬러 이미지 센서를 이용한 포인팅작동원리 및 장치
KR100856573B1 (ko) * 2006-12-27 2008-09-04 주식회사 엠씨넥스 원격 포인팅 장치와 그 장치에서의 포인터 이동량 산출방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101297459B1 (ko) * 2010-12-30 2013-08-16 주식회사 팬택 휴대용 단말기의 3차원 인터페이스 장치 및 방법
WO2013157685A1 (ko) * 2012-04-20 2013-10-24 (주)아이티엑스시큐리티 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
KR101406855B1 (ko) * 2013-04-17 2014-06-13 한국과학기술연구원 다차원 입력장치를 이용한 컴퓨터 시스템

Also Published As

Publication number Publication date
KR101021015B1 (ko) 2011-03-09

Similar Documents

Publication Publication Date Title
CN108406731B (zh) 一种基于深度视觉的定位装置、方法及机器人
CN106940704B (zh) 一种基于栅格地图的定位方法及装置
US11232591B1 (en) Hand calibration using single depth camera
US8860760B2 (en) Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US10706584B1 (en) Hand tracking using a passive camera system
US9129435B2 (en) Method for creating 3-D models by stitching multiple partial 3-D models
Vidas et al. Real-time mobile 3D temperature mapping
KR20120014925A (ko) 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
EP2766875A1 (en) Generating free viewpoint video using stereo imaging
JP2017103602A (ja) 位置検出装置、位置検出方法及びプログラム
JP2005517253A (ja) 潜入型見張りを提供する方法及び装置
US11209277B2 (en) Systems and methods for electronic mapping and localization within a facility
US20080297502A1 (en) Method and System for Detecting and Evaluating 3D Changes from Images and a 3D Reference Model
CN113330486A (zh) 深度估计
US10497179B2 (en) Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
KR101021015B1 (ko) 3차원 사용자 인터페이스 방법
CN108629799B (zh) 一种实现增强现实的方法及设备
JP6817742B2 (ja) 情報処理装置およびその制御方法
Wientapper et al. Composing the feature map retrieval process for robust and ready-to-use monocular tracking
JP2004030408A (ja) 三次元画像表示装置及び表示方法
JP2007200364A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
KR20090070258A (ko) 3차원 기하학 정보를 이용한 실시간 지시 영역 추정 방법
Sauer et al. Occlusion handling in augmented reality user interfaces for robotic systems
Padeleris et al. Multicamera tracking of multiple humans based on colored visual hulls
CN116136408A (zh) 室内导航方法、服务器、装置和终端

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150210

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160114

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee