KR101472314B1 - 단일 카메라를 이용한 ３차원 입력장치 및 방법 - Google Patents

단일 카메라를 이용한 ３차원 입력장치 및 방법 Download PDF

Info

Publication number
KR101472314B1
KR101472314B1 KR1020130057665A KR20130057665A KR101472314B1 KR 101472314 B1 KR101472314 B1 KR 101472314B1 KR 1020130057665 A KR1020130057665 A KR 1020130057665A KR 20130057665 A KR20130057665 A KR 20130057665A KR 101472314 B1 KR101472314 B1 KR 101472314B1
Authority
KR
South Korea
Prior art keywords
image
value
camera
dimensional
calculating
Prior art date
Application number
KR1020130057665A
Other languages
English (en)
Other versions
KR20140137148A (ko
Inventor
김태정
체랜난미드
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020130057665A priority Critical patent/KR101472314B1/ko
Publication of KR20140137148A publication Critical patent/KR20140137148A/ko
Application granted granted Critical
Publication of KR101472314B1 publication Critical patent/KR101472314B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 마우스, 터치스크린, 키보드 등 접촉식 장치를 이용하지 않고 하나의 단일 카메라 만을 이용하여 3차원 입력신호를 생성할 수 있는 3차원 입력장치 및 방법에 관한 것이다.

Description

단일 카메라를 이용한 ３차원 입력장치 및 방법 {3D Input Method and Apparatus using Single Camera}
본 발명은 3차원 입력장치 및 방법에 관한 것으로서, 특히, 마우스, 터치스크린, 키보드 등 접촉식 장치를 이용하지 않고 하나의 단일 카메라 만을 이용하여 3차원 입력신호를 생성할 수 있는 3차원 입력장치 및 방법에 관한 것이다.
스마트 TV의 보급, 3차원 모니터/디스플레이의 활성화로 사용자가 다양한 정보를 편리하게 입력하기 위한 3차원 입력장치의 필요성이 증대되고 있다.
기존에 사용자가 3차원 입력신호를 생성하는 방법에는 마우스를 이용하는 방법, 키보드를 입력하는 방법, 리모콘을 사용하는 방법, 3차원 포인터를 사용하는 방법 등 다양한 방법들이 존재하였다. 그러나 이러한 방법은 모두 사용자가 특정 장치를 착용하거나 터치하는 방식으로 동작하는 접촉식 입력장치에 해당된다.
비접촉식 3차원 입력장치를 위해서 두대 또는 그 이상의 카메라를 이용하여 3차원 입력신호를 생성하는 방식이 있으나, 두대 이상의 카메라를 이용하는 경우는 비용이 증가하고 카메라 간의 스테레오 기하학을 추가적으로 알아내야 하는 문제점이 있다. 또한 한대의 카메라를 이용하는 비접촉식 입력방식은 3차원 입력신호를 생성하지 못하며 모니터의 커서의 위치를 상하좌우로 이동하는 경우와 같은 2차원 입력신호 만을 생성하였다.
관련 문헌으로서 대한민국공개특허번호 1020070061153 (2007.06.13.공개), 1020060121610 (2006.11.29.공개) 등이 참조될 수 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은, 하나의 단일 카메라 만을 이용하여 3차원 입력신호를 생성할 수 있는 비접촉식 3차원 입력장치 및 방법을 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 상기와 같은 본 발명의 목적을 달성하기 위한 본 발명의 일면에 따른 비접촉식 3차원 입력장치는, 단일 카메라의 영상을 이용해 비접촉식으로 제어신호를 입력하기 위한 비접촉식 3차원 입력장치로서, 카메라로부터 제1영상과 제2영상을 입력받는 영상 수신부; 상기 제1영상과 상기 제2영상으로부터 상기 카메라의 움직임 또는 각 영상에 포함된 동일 개체의 움직임 변이를 산출하는 움직임 변이 산출부; 및 산출된 상기 움직임 변이를 3차원 제어 입력신호로 변환하는 신호 변환부를 포함한다.
그리고, 본 발명의 다른 일면에 따른 제어 신호 입력 방법은, 단일 카메라의 영상을 이용해 비접촉식으로 제어신호를 입력하기 위한 3차원 입력장치에서의 제어신호 입력 방법으로서, (a)카메라로부터 제1영상과 제2영상을 입력받는 단계; (b)상기 제1영상과 상기 제2영상으로부터 상기 카메라의 움직임 또는 각 영상에 포함된 동일 개체의 움직임 변이값을 산출하는 단계; 및 (c)산출된 상기 움직임 변이값을 3차원 제어 입력신호로 변환하는 단계를 포함한다.
(a)단계에서, 상기 카메라나 상기 카메라를 장착한 전자 장치가 움직이는 동안 상기 카메라가 촬영하는 영상을 받거나, 상기 카메라나 상기 카메라를 장착한 전자 장치를 고정하고 움직이는 개체가 포함되도록 촬영한 영상을 받는 것을 특징으로 한다.
(b)단계에서, 상기 제1영상의 상기 동일 개체에 대한 특정 영상점(xi,yi)에 대하여 그 주변의 밝기값 패턴이 가장 유사한 상기 제2영상의 대응 영상점(x'i,y'i)을 산출하는 과정을 상기 동일 개체의 서로 다른 위치에 대하여 반복적으로 수행하여 산출한 영상점쌍들{(xi,yi),(x'i,y'i)}을 기초로 상기 움직임 변이값을 산출하며, 여기서, i≥n, n은 미리 정한 영상점쌍 개수인 것을 특징으로 한다.
수학식
Figure 112013045147032-pat00001
을 이용하여 상기 움직임 변이값으로서 회전이동각도, 위치이동값(Tx,Ty,Tz),또는 깊이방향 좌표값(zi,z'i)를 산출하며, 여기서 회전이동행렬값 r11~r33으로부터 상기 회전이동각도를 산출할 수 있다. n≥6이다.
(b)단계는, (b1)상기 제1영상과 상기 제2영상을 로그-폴라(log-polar) 좌표로 각각 변환한 후, 로그-폴라 좌표로 표현된 상기 제1영상과 상기 제2영상을 퓨리에(Fourier) 변환을 통해 주파수영역 영상으로 변환하는 단계; 및 (b2)변환된 두 주파수영역 영상간의 연산과정을 통해서 상기 제1영상과 상기 제2영상간의 상기 움직임 변이값으로서 회전이동각도, 수평이동값, 또는 스케일 변화값을 산출하는 단계를 포함할 수 있다.
(b1)단계는, 수학식
Figure 112013045147032-pat00002
를 기초로 각 영상의 중심점 좌표 (xc,yc)를 이용하여 각 영상의 (x, y) 화소 좌표값에 대하여 로그-폴라 좌표값 (r, θ)로 변환한 후, 각 영상의 화소값에 대하여 퓨리에 변환한 값 f1,f2을 산출하는 단계를 포함하고, (b2) 단계는 수학식
Figure 112013045147032-pat00003
를 기초로 각 위치 (r, θ)의 화소값에 대한 G(r, θ) 함수의 값을 산출하고 그 최대값을 갖는 위치에 대한 상기 제 1영상과 상기 제2영상 간의 깊이 방향 축 기준의 θ 변화량인 회전이동각도 또는 r 변화량인 스케일 변화값을 산출하는 단계를 포함하되, 여기서, F-1은 역 퓨리에 변환 함수, f* 1은 f1의 복소 공액(complex conjugate)이다.
(b2)단계는, 상기 회전이동각도와 상기 스케일 변화값만큼 반영하여 상쇄시킨 상기 제1영상과 상기 제2영상 각각의 (x, y) 평면 상의 화소값에 대하여 퓨리에 변환한 값 f3,f4을 산출하는 단계를 포함하고, 수학식
Figure 112013045147032-pat00004
를 기초로 각 위치 (x, y)의 화소값에 대한 G'(x, y) 함수의 값을 산출하고 그 최대값을 갖는 위치에 대한 상기 제 1영상과 상기 제2영상 간의 수평이동값을 산출하는 단계를 포함하되, 여기서, f* 3은 f3의 복소 공액(complex conjugate)이다.
상기 제어 신호 입력 방법은, (d)상기 제어 입력신호에 따라 상기 3차원 입력장치를 장착한 전자 장치의 3차원 동작 또는 유무선 통신으로 상기 전자 장치와 연동하는 외부 기기의 3차원 동작의 제어를 수행하는 단계를 더 포함할 수 있다.
상기 제어 신호 입력 방법은, (e)상기 제어 입력신호에 따라 상기 3차원 입력장치를 장착한 전자 장치 또는 유무선 통신으로 상기 전자 장치와 연동하는 외부 기기의 화면에 표시되는 마우스 커서나 마우스 버튼의 클릭에 대한 제어를 수행하는 단계를 더 포함할 수 있다.
본 발명에 따른 3차원 입력장치 및 방법에 따르면, 마우스, 터치스크린, 키보드 등 접촉식 장치를 이용하지 않고 하나의 단일 카메라 만을 이용하여 비접촉식으로 3차원 입력신호를 생성할 수 있다.
도 1은 본 발명의 일실시예에 따른 3차원 입력장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 3차원 입력장치의 동작 설명을 위한 흐름도이다.
도 3은 본 발명에 따른 제어 입력신호를 산출한 예를 보여준다.
도 4는 피사체가 카메라로부터 여러가지 깊이값을 가지게 배치되고 또한 여러가지 각도를 가지도록 배치되어 있는 경우에 촬영된 각각의 영상들에 대하여 검출된 피사체 및 피사체의 움직임을 3차원 공간상에 표시한 결과이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 비접촉식 3차원 입력장치(100)를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 비접촉식 3차원 입력장치(100)는 단일 카메라를 통해서 순차적으로 촬영되는 제1영상과 제2영상을 입력받는 영상 수신부(110), 제1영상과 제2영상에서 발생한 카메라의 움직임 또는 피사체(또는 개체)의 움직임 변이를 산출하기 위한 움직임 변이 산출부(120), 산출된 움직임 변이를 3차원 제어 입력신호로 변환하기 위한 신호 변환부(130)를 포함할 수 있다.
본 발명의 비접촉식 3차원 입력장치(100)는 예를 들어 스마트폰, 디지털 카메라, 노트북 PC, PDA(Peraonal Digital Assistant) 등 카메라를 장착한 모든 전자 장치에 포함되어, 3차원 좌표 입력이나 기타 제어 명령을 위해 사용될 수 있으며, 위와 같은 구성 요소들은 하드웨어, 소프트웨어, 또는 이들의 결합으로 구현될 수 있다.
이하, 도 2의 흐름도를 참조하여 본 발명의 일실시예에 따른 3차원 입력장치(100)의 동작을 자세히 설명한다.
먼저, 영상 수신부(110)는 단일 카메라에서 영상이 촬영될 때 일정 시간 간격으로 순차적으로 촬영된 제1영상과 제2영상에 대한 데이터를 수신할 수 있다(S110). 이때 카메라 또는 카메라를 장착한 전자 장치가 움직이면서 영상을 촬영할 수도 있고 카메라 또는 카메라를 장착한 전자 장치는 고정된 상태에서 움직이는 피사체(또는 개체)가 있는 영상을 촬영할 수도 있다. 여기서, 3차원 입력신호를 생성하기 위해서 카메라 내지 피사체의 움직임이 있어야 한다.
움직임 변이 산출부(120)는 영상 수신부(110)가 수신한 순차적인 제1영상과 제2영상으로부터 카메라 또는 영상 내의 개체의 3차원 변이를 계산한다(S120).
이를 위하여 먼저 움직임 변이 산출부(120)는 제1영상과 제2영상으로부터 영상 내의 동일 개체의 동일 위치에 대한 영상점쌍을 찾아내고 각각 찾아낸 제1영상과 제2영상의 동일 개체에 대한 영상점 위치 차이로부터 카메라 또는 영상 내의 개체의 3차원 변이를 계산할 수 있다.
움직임 변이 산출부(120)는 제1영상의 개체에 대한 특정 영상점(xi,yi)에 대하여 그 주변의 밝기값 패턴이 가장 유사한 제2영상의 대응 영상점(x'i,y'i)을 산출하는 과정을 반복적으로 수행하여 동일 개체의 서로 다른 위치들에 대한 일정개수 이상(i≥n, n은 미리 정한 영상점쌍 개수)의 영상점쌍들{(xi,yi),(x'i,y'i)}을 산출할 수 있다(S121).
이와 같은 영상점쌍들을 산출 후 움직임 변이 산출부(120)는 영상점쌍들{(xi,yi),(x'i,y'i)}을 [수학식1]에 이용하여 카메라 또는 개체의 3차원 변이를 계산할 수 있다(S122).
[수학식1]
Figure 112013045147032-pat00005
여기서, zi와 z'i는 각각 영상점들 (xi,yi),(x'i,y'i)의 깊이방향(영상의 깊이 방향) 좌표값이며, r11~r33은 제1영상과 제2영상 간에 발생한 카메라 내지 영상 내 개체의 회전이동각도를 반영하기 위한 회전이동행렬값이며, (Tx,Ty,Tz)는 제1영상과 제2영상 간에 발생한 카메라 내지 개체의 3차원 위치 이동값이다.
이와 같은 3차원 변이 산출을 위한 방정식은 n개의 영상점쌍들{(xi,yi),(x'i,y'i)}에 대하여 3축(x, y, z) 방향의 회전이동각도, 위치이동값(Tx,Ty,Tz),그리고 제1영상과 제2영상의 해당 영상점들에 대한 깊이방향 좌표값(zi,z'i)등의 미지수가 존재한다. 따라서 최소 6개 이상의 영상점쌍(n≥6)이 산출되면, [수학식1]에 따라 회전이동각도, 위치이동값(Tx,Ty,Tz),깊이방향 좌표값(zi,z'i)을 구할 수 있게 된다. 잘 알려진 항법 방정식에 의해 회전이동각도를 통해 r11~r33이 결정될 수 있으며 그 역의 계산도 가능하다.
또한, 움직임 변이 산출부(120)는 영상 수신부(110)가 수신한 순차적인 제1영상과 제2영상으로부터 카메라 또는 영상 내의 개체의 3차원 변이를 다른 방식으로 계산할 수도 있다(S120). 움직임 변이 산출부(120)는 제1영상과 제2영상을 로그-폴라(log-polar) 좌표로 각각 변환한 후, 로그-폴라 좌표로 표현된 제1영상과 제2영상을 퓨리에(Fourier) 변환을 통해 주파수영역 영상으로 변환한 뒤, 두 주파수영역 영상간의 연산과정을 통해서 제1영상과 제2영상간의 회전이동각도, 수평이동값, 및 스케일 변화값을 산출할 수 있다.
먼저 움직임 변이 산출부(120)는 제1영상과 제2영상을 [수학식2]를 이용해 로그-폴라 좌표로 변환할 수 있다. 예를 들어, 각 영상의 중심점 좌표 (xc,yc)를 이용하여 각 영상의 좌표값 (x, y)를 로그-폴라좌표값 (r, θ)로 나타내도록 산출할 수 있다(S125).
[수학식2]
Figure 112013045147032-pat00006
제1영상과 제2영상의 화소값에 대한 로그-폴라 변환 및 퓨리에 변환을 완료한 영상을 각각 f1,f2라고 하면, 움직임 변이 산출부(120)는 [수학식3]에 의해서 각 위치 (r, θ)의 화소값(밝기값)에 대한 G(r, θ) 함수의 값을 산출하고 최대값을 갖는 위치에 대한 제 1영상과 제2영상 간의 깊이 방향 축 기준의 회전이동각도(θ 변화량) 및 스케일 변화값(r 변화량)을 산출할 수 있다. 여기서 F-1은 역 퓨리에 변환 함수를 의미하며 f* 1은 f1의 복소 공액(complex conjugate)을 의미한다.
[수학식3]
Figure 112013045147032-pat00007
이와 같이 제 1영상과 제2영상의 회전이동각도 및 스케일 변화값을 산출하고 나면, 움직임 변이 산출부(120)는 제1영상 또는 제2영상에 대해 산출된 깊이 방향 축 기준의 회전이동각도 및 스케일 변화값 만큼 반영하여(어느 한 영상에 대해 회전이동각도 및 스케일 변화값을 더해주거나 빼줌) [수학식2]에 따른 역함수를 적용함으로써 (x, y) 평면에서 해당 회전이동각도 및 스케일 변화값의 제1영상과 제2영상 간의 회전이동 및 스케일 변화를 상쇄시킨 후(회전이나 스케일 변화가 없는 상태의 두 영상을 확득함), 이와 같이 변화가 상쇄된 각각의 영상 화소값에 대하여 퓨리에 변환시켜 얻은 f3, f4,를 이용하여 [수학식4]에 의해서 각 위치 (x, y)의 화소값에 대한 G'(x, y) 함수의 값을 산출하고 최대값을 갖는 위치에 대한 제 1영상과 제2영상 간의 수평이동값((x, y)좌표값 차이)을 산출할 수 있다(S126). 여기서 F-1은 역 퓨리에 변환 함수를 의미하며 f* 3은 f3의 복소 공액(complex conjugate)을 의미한다.
[수학식4]
Figure 112013045147032-pat00008
이와 같이 움직임 변이 산출부(120)가 수신한 순차적인 제1영상과 제2영상으로부터 카메라 또는 영상 내의 개체의 3차원 변이((S122 단계에서 산출된 회전이동각도, 위치이동값, 깊이방향 좌표값), 또는 (S125 단계에서 산출된 회전이동각도, 스케일 변화값, S126 단계에서 산출된 수평이동값))를 계산한 후에, 신호 변환부(130)는 이를 3차원 제어 입력신호로 변환한다(S130).
신호 변환부(130)는 위와 같은 변이값들을 조합하여 전자 장치 내부에서의 x, y, z 방향 등 3방향의 좌표 입력이나 이들의 좌표 입력에 따른 해당 명령(예, 화면에 표시되는 커서의 이동, 마우스 버튼의 클릭 등)을 수행할 수 있도록 제어할 수 있으며, 이외에도 전자 장치 외부의 PC, 로보트, 게임기, 항공기 등 기타 외부 제어를 받는 다양한 기기가 전자 장치의 신호 변환부(130)에서 발생하는 신호를 유무선 통신(예, 시리얼 통신, 블루투스, 지그비 등 근거리 무선 통신, 유무선인터넷 통신, 이동통신망을 이용한 통신 등)으로 수신하여 화면에 표시되는 커서의 이동, 마우스 버튼의 클릭 이외에도 미리 약속된 해당 명령(예, 로보트의 이동, 기기의 온/오프 등)을 수행하도록 이용될 수도 있다.
예를 들어, S122 단계에서 산출된 위치이동값, 또는 S126 단계에서 산출된 수평이동값을, 전자 장치의 화면에 나타난 커서의 2차원 이동 방향 제어로 이용될 수 있다. 또한, S122 단계에서 산출된 깊이방향 좌표값이나, S125 단계에서 산출된 스케일 변화값이, 2차원 x, y 방향이 아닌 다른 방향의 제어 입력 신호로 이용될 수 있다. 그리고, S122 단계에서 산출된 회전이동각도, 또는 S125 단계에서 산출된 회전이동각도에 따라, 마우스 우측 또는 좌측 버튼 클릭 등과 같은 제어 입력 신호로 이용될 수 있다. 이외에도 외부 로보트의 x, y, z 방향 이동, 기타 외부 기기의 온/오프 등을 위하여도 위와 같은 변이값들을 조합하여 변환한 제어 입력 신호를 통해 제어되도록 할 수 있다.
도 3은 본 발명에 따른 제어 입력신호를 산출한 예를 보여준다. 도 3의 좌하단 및 우하단 영상은 각각 제1영상과 제2영상에 해당된다. 제1영상과 제2영상에서 표시된 두개의 네모꼴(301, 302)은 제1영상과 제2영상 간에 발생한 피사체의 움직임을 검출한 결과이다. 도 3의 좌상단 영상은 제1영상의 피사체의 위치 및 자세를 3차원 좌표로 형상화한 것이며, 우상단 영상은 제2영상의 피사체의 위치 및 자세를 3차원 좌표로 형상화한 것이다. 좌상단 및 우상단 영상을 비교하면, 3차원 공간상의 위치 이동 및 방향 이동이 검출되어 있다. 3차원 공간상의 위치 이동 정보를 이용하여 3차원 입력신호로 사용할 수 있다. 또한 제1영상과 제2영상 간의 회전이동 정보를 이용하여 좌측마우스 클릭 내지 우측마우스 클릭과 같은 입력신호로 생성하여 활용할 수 있다.
도 4는 피사체가 카메라로부터 여러가지 깊이값을 가지게 배치되고 또한 여러가지 각도를 가지도록 배치되어 있는 경우에 촬영된 각각의 영상들에 대하여 검출된 피사체 및 피사체의 움직임을 3차원 공간상에 표시한 결과이다. 도 4의 좌하단, 중앙하단 및 우하단에 표시한 영상들에서 검출된 피사체의 움직임이 3차원 공간상에 표시되어 있다. 이 경우, 검출된 피사체의 깊이방향 좌표값 내지 스케일 변화량을 상단의 3차원 공간상에 z값으로 표시하였다. 3차원 공간상의 정육면체의 배치 및 크기를 비교해보면 z값으로 잘 변환 된 것을 확인할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (11)

  1. 단일 카메라의 영상을 이용해 비접촉식으로 제어신호를 입력하기 위한 비접촉식 3차원 입력장치에 있어서,
    카메라로부터 제1영상과 제2영상을 입력받는 영상 수신부;
    상기 제1영상과 상기 제2영상으로부터 상기 카메라 또는 각 영상에 포함된 동일 개체의 수평이동값, 회전이동각도 및 스케일 변화값을 산출하는 움직임 산출부; 및
    산출된 상기 수평이동값, 회전이동각도 및 스케일 변화값을 3차원 제어 입력신호로 변환하는 신호 변환부
    를 포함하는 것을 특징으로 하는 비접촉식 3차원 입력장치.
  2. 단일 카메라의 영상을 이용해 비접촉식으로 제어신호를 입력하기 위한 3차원 입력장치에서의 제어신호 입력 방법에 있어서,
    (a)카메라로부터 제1영상과 제2영상을 입력받는 단계;
    (b)상기 제1영상과 상기 제2영상으로부터 상기 카메라 또는 각 영상에 포함된 동일 개체의 수평이동값, 회전이동각도 및 스케일 변화값을 산출하는 단계; 및
    (c)산출된 상기 수평이동값, 회전이동각도 및 스케일 변화값을 3차원 제어 입력신호로 변환하는 단계
    를 포함하는 것을 특징으로 하는 제어 신호 입력 방법.
  3. 제2항에 있어서,
    (a)단계에서,
    상기 카메라나 상기 카메라를 장착한 전자 장치가 움직이는 동안 상기 카메라가 촬영하는 영상을 받거나, 상기 카메라나 상기 카메라를 장착한 전자 장치를 고정하고 움직이는 개체가 포함되도록 촬영한 영상을 받는 것을 특징으로 하는 제어 신호 입력 방법.
  4. 제2항에 있어서,
    (b)단계에서,
    상기 제1영상의 상기 동일 개체에 대한 특정 영상점(xi,yi)에 대하여 그 주변의 밝기값 패턴이 가장 유사한 상기 제2영상의 대응 영상점(x'i,y'i)을 산출하는 과정을 상기 동일 개체의 서로 다른 위치에 대하여 반복적으로 수행하여 산출한 영상점쌍들{(xi,yi),(x'i,y'i)}을 기초로 상기 수평이동값, 회전이동각도 및 스케일 변화값을 산출하며, 여기서, i≥n, n은 미리 정한 영상점쌍 개수인 것을 특징으로 하는 제어 신호 입력 방법.
  5. 제4항에 있어서,
    수학식
    Figure 112014082323142-pat00009

    을 이용하여 상기 수평이동값, 회전이동각도 및 스케일 변화값으로서 회전이동각도, 위치이동값(T x,Ty,Tz),또는 깊이방향 좌표값(zi,z'i)를 산 출하며, 여기서 회전이동행렬값 r11~r33으로부터 상기 회전이동각도를 산출하는 것을 특징으로 하는 제어 신호 입력 방법.
  6. 제4항에 있어서,
    n≥6인 것을 특징으로 하는 제어 신호 입력 방법.
  7. 제2항에 있어서,
    (b)단계는,
    (b1)상기 제1영상과 상기 제2영상을 로그-폴라(log-polar) 좌표로 각각 변환한 후, 로그-폴라 좌표로 표현된 상기 제1영상과 상기 제2영상을 퓨리에(Fourier) 변환을 통해 주파수영역 영상으로 변환하는 단계; 및
    (b2)변환된 두 주파수영역 영상간의 연산과정을 통해서 상기 제1영상과 상기 제2영상간의 상기 수평이동값, 회전이동각도 및 스케일 변화값으로서 회전이동각도, 수평이동값, 또는 스케일 변화값을 산출하는 단계
    를 포함하는 것을 특징으로 하는 제어 신호 입력 방법.
  8. 제7항에 있어서,
    (b1)단계는, 수학식
    Figure 112013045147032-pat00010

    를 기초로 각 영상의 중심점 좌표 (xc,yc)를 이용하여 각 영상의 (x, y) 화소 좌표값에 대하여 로그-폴라 좌표값 (r, θ)로 변환한 후, 각 영상의 화소값에 대하여 퓨리에 변환한 값 f1,f2을 산출하는 단계를 포함하고,
    (b2) 단계는 수학식
    Figure 112013045147032-pat00011

    를 기초로 각 위치 (r, θ)의 화소값에 대한 G(r, θ) 함수의 값을 산출하고 그 최대값을 갖는 위치에 대한 상기 제 1영상과 상기 제2영상 간의 깊이 방향 축 기준의 θ 변화량인 회전이동각도 또는 r 변화량인 스케일 변화값을 산출하는 단계를 포함하되,
    여기서, F-1은 역 퓨리에 변환 함수, f* 1은 f1의 복소 공액(complex conjugate)인 것을 특징으로 하는 제어 신호 입력 방법.
  9. 제8항에 있어서,
    (b2)단계는,
    상기 회전이동각도와 상기 스케일 변화값만큼 반영하여 상쇄시킨 상기 제1영상과 상기 제2영상 각각의 (x, y) 평면 상의 화소값에 대하여 퓨리에 변환한 값 f3,f4을 산출하는 단계를 포함하고,
    수학식
    Figure 112013045147032-pat00012

    를 기초로 각 위치 (x, y)의 화소값에 대한 G'(x, y) 함수의 값을 산출하고 그 최대값을 갖는 위치에 대한 상기 제 1영상과 상기 제2영상 간의 수평이동값을 산출하는 단계를 포함하되,
    여기서, f* 3은 f3의 복소 공액(complex conjugate)인 것을 특징으로 하는 제어 신호 입력 방법.
  10. 제2항에 있어서,
    (d)상기 제어 입력신호에 따라 상기 3차원 입력장치를 장착한 전자 장치의 3차원 동작 또는 유무선 통신으로 상기 전자 장치와 연동하는 외부 기기의 3차원 동작의 제어를 수행하는 단계
    를 더 포함하는 것을 특징으로 하는 제어 신호 입력 방법.
  11. 제2항에 있어서,
    (e)상기 제어 입력신호에 따라 상기 3차원 입력장치를 장착한 전자 장치 또는 유무선 통신으로 상기 전자 장치와 연동하는 외부 기기의 화면에 표시되는 마우스 커서나 마우스 버튼의 클릭에 대한 제어를 수행하는 단계
    를 더 포함하는 것을 특징으로 하는 제어 신호 입력 방법.
KR1020130057665A 2013-05-22 2013-05-22 단일 카메라를 이용한 ３차원 입력장치 및 방법 KR101472314B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130057665A KR101472314B1 (ko) 2013-05-22 2013-05-22 단일 카메라를 이용한 ３차원 입력장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130057665A KR101472314B1 (ko) 2013-05-22 2013-05-22 단일 카메라를 이용한 ３차원 입력장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140137148A KR20140137148A (ko) 2014-12-02
KR101472314B1 true KR101472314B1 (ko) 2014-12-12

Family

ID=52457104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130057665A KR101472314B1 (ko) 2013-05-22 2013-05-22 단일 카메라를 이용한 ３차원 입력장치 및 방법

Country Status (1)

Country Link
KR (1) KR101472314B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102468897B1 (ko) 2017-10-16 2022-11-21 삼성전자주식회사 깊이 값을 추정하는 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080002409A (ko) * 2006-06-30 2008-01-04 연세대학교 산학협력단 2차원 영상의 3차원 영상 변환 장치 및 방법
KR20090012874A (ko) * 2007-07-31 2009-02-04 삼성전자주식회사 휴대단말에서의 3차원 이미지를 생성하는 방법 및 장치
KR20110048355A (ko) * 2009-11-02 2011-05-11 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20110105671A (ko) * 2010-03-19 2011-09-27 김은주 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080002409A (ko) * 2006-06-30 2008-01-04 연세대학교 산학협력단 2차원 영상의 3차원 영상 변환 장치 및 방법
KR20090012874A (ko) * 2007-07-31 2009-02-04 삼성전자주식회사 휴대단말에서의 3차원 이미지를 생성하는 방법 및 장치
KR20110048355A (ko) * 2009-11-02 2011-05-11 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20110105671A (ko) * 2010-03-19 2011-09-27 김은주 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법

Also Published As

Publication number Publication date
KR20140137148A (ko) 2014-12-02

Similar Documents

Publication Publication Date Title
US9268410B2 (en) Image processing device, image processing method, and program
US10969949B2 (en) Information display device, information display method and information display program
US20150277555A1 (en) Three-dimensional user interface apparatus and three-dimensional operation method
WO2014141504A1 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
CN102984565A (zh) 具有多输入模式的多维度遥控器及电视输入指令的方法
EP3467792B1 (en) Image processing apparatus, image processing method, and program
JP2015535378A (ja) 対話型表示システムにおける動き補償
CN112017133B (zh) 一种图像展示方法、装置及电子设备
JP5621407B2 (ja) 操作入力装置ならびにプログラムと方法
CN105204764B (zh) 具有悬浮屏的手持终端、显示设备及遥控方法
WO2019082853A1 (ja) 画像処理装置、画像処理方法およびプログラム
WO2013173948A1 (zh) 一种在三维虚拟现实场景中的物体空间摆位方法及装置
KR101505757B1 (ko) 좌표 정보 업데이트 디바이스 및 좌표 정보 생성 디바이스
JP2024103514A (ja) オブジェクト姿勢制御プログラムおよび情報処理装置
TW201439813A (zh) 顯示設備及其控制系統和方法
KR101338958B1 (ko) 멀티터치 단말기에서 가상물체의 3차원 움직임 조작시스템 및 방법
JP6447521B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11386612B2 (en) Non-transitory computer-readable medium, image processing method, and image processing system for controlling progress of information processing in response to a user operation
JP5863984B2 (ja) ユーザインタフェース装置及びユーザインタフェース方法
KR101472314B1 (ko) 단일 카메라를 이용한 ３차원 입력장치 및 방법
US9256305B2 (en) Remote control apparatus and method of audio video navigation system
JP2009193471A (ja) 表示制御装置、表示処理装置、アプリケーションサーバ、表示制御方法、表示処理方法、アプリケーション実行方法、制御プログラム、および、記録媒体
JP2016015078A (ja) 表示制御装置、表示制御方法、及び、プログラム
JP6466736B2 (ja) 情報処理装置、情報処理方法、ならびに、プログラム
EP4047458A1 (en) Three-dimensional graphics generation system

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170829

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180823

Year of fee payment: 5