KR20130072748A - 사용자 상호 장치 및 방법 - Google Patents

사용자 상호 장치 및 방법 Download PDF

Info

Publication number
KR20130072748A
KR20130072748A KR1020110140299A KR20110140299A KR20130072748A KR 20130072748 A KR20130072748 A KR 20130072748A KR 1020110140299 A KR1020110140299 A KR 1020110140299A KR 20110140299 A KR20110140299 A KR 20110140299A KR 20130072748 A KR20130072748 A KR 20130072748A
Authority
KR
South Korea
Prior art keywords
projector
projection
camera
image
motor
Prior art date
Application number
KR1020110140299A
Other languages
English (en)
Other versions
KR101832346B1 (ko
Inventor
이주행
김현
김형선
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110140299A priority Critical patent/KR101832346B1/ko
Priority to US13/585,173 priority patent/US9225950B2/en
Publication of KR20130072748A publication Critical patent/KR20130072748A/ko
Application granted granted Critical
Publication of KR101832346B1 publication Critical patent/KR101832346B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0272—Details of the structure or mounting of specific components for a projector or beamer module assembly

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)

Abstract

본 발명은 프로젝터와 카메라를 결합한 사용자 상호장치에 관한 것으로, 실제 사물을 인식하여 관련 정보를 사물의 표면이나 주변에 증강하기 위한 사용자 상호작용 방법 및 장치의 요소별 제어 방법에 관한 것이다. 이러한 본 발명의 바람직한 실시예에 따른 사용자 상호 장치는, 프로젝터와 카메라가 쌍을 이루고 있는 적어도 하나의 프로젝터-카메라 쌍; 상기 프로젝터-카메라 쌍에 장착되어 프로젝터-카메라 쌍의 위치와 방향을 제어하는 모터; 및 무선 네트워크가 가능한 컴퓨터를 포함하여 외부 장치와의 연결을 제공하는 본체; 에 의해 달성되며, 상기 프로젝터-카메라 쌍의 투사 공간과 촬영 공간은 겹친다.

Description

사용자 상호 장치 및 방법{DEVICE AND METHOD FORUSER INTERACTION}
본 발명은 프로젝터와 카메라를 결합한 사용자 상호장치에 관한 것으로, 실제 사물을 인식하여 관련 정보를 사물의 표면이나 주변에 증강하기 위한 사용자 상호작용 방법 및 장치의 요소별 제어 방법에 관한 것이다.
최근, 스마트폰 등의 모바일 단말을 통해서 증강 현실 응용이 가능해졌다. 모바일 증강 현실에서는 사용자와 실제 사물/세계 사이에 디스플레이로 단절된다. 즉, 사용자는 사물을 직접 보지 못하고 디스플레이의 2차원 이미지를 보게 된다. 또한, 단말을 손으로 잡고 있는 경우에는 사물을 직접 만지고 조작하는 것이 어렵다. 이러한 디스플레이 기반 증강현실 기술과 달리 프로젝터를 사용한 증강현실(이하, 공간 증강현실, spatial augmented reality) 기술은 사물의 표면이나 주변에 직접 정보를 투사하게 된다. 따라서, 사용자는 디스플레이 없이 사물과 세계를 직접 관찰하게 되며, 투사된 정보와 인터페이스를 통해 몰입감 있는 체험을 할 수 있게 된다.
공간 증강현실 기술의 구성요소의 소형화 및 효율적인 제어 기법의 등장으로 시스템 자체가 소형화되고 실시간 상호작용이 가능하게 될 것으로 기대되고 있다.
하지만, 소형 프로젝터를 사용하는 경우에는 휴대성이 용이한 반면에 투사 영역이 매우 작기 때문에 많은 정보를 전달하기 어렵다는 문제점이 있다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 프로젝터-카메라 쌍을 모터에 장착하여 투사 영역을 가상으로 확장함으로써 소형 프로젝터의 한계를 극복하는 것이다.
상기와 같은 목적을 달성하기 위한 사용자 상호 장치는, 프로젝터와 카메라가 쌍을 이루고 있는 적어도 하나의 프로젝터-카메라 쌍; 상기 프로젝터-카메라 쌍에 장착되어 프로젝터-카메라 쌍의 위치와 방향을 제어하는 모터; 및 무선 네트워크가 가능한 컴퓨터를 포함하여 외부 장치와의 연결을 제공하는 본체; 를 포함하며, 상기 프로젝터-카메라 쌍의 투사 공간과 촬영 공간은 겹치는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 사용자 상호 방법은, 모터에 장착된 프로젝터-카메라 쌍을 통해 물리적 사물 및 환경에 가상의 정보를 더하여 정보와 사용자 인터페이스를 시각적으로 제시하여 사용자와 상호 작용을 하는 단계; 상호 작용에서 카메라로 얻은 영상과 모터의 현재 상태 등이 해석기에 입력되는 단계; 해석기에서는 입력된 영상을 분석하여 관심있는 물체의 형태나 공간 좌표를 계산하여 엔드 이펙터(End Effector)의 변경이 필요한 경우에는 엔드 이펙터의 초기값을 결정하며, 상기 엔드 이펙터는 적어도 프로젝터의 투사 방향과 카메라의 촬영 방향을 포함하는 단계; 엔드 이펙터를 얻기 위해 역기구학, 역투사, 영상 생성 기법을 통해 제어 변수값을 설정하는 단계; 및 최적화 과정을 통해서 최종 제어 변수값을 설정하여 기구부, PCU(Power Control Unit), 및 영상생성부에 전달하는 단계; 를 포함하는 것을 특징으로 한다.
상기와 같은 구성 및 방법을 가지는 본 발명은, 프로젝터-카메라 쌍을 모터에 장착하여 투사 영역을 가상으로 확장함으로써, 휴대성이 용이한 반면에 투사 영역이 매우 작다는 한계가 있는 소형 프로젝터의 단점을 해결할 수 있는 장점이 있다.
도 1은 본 발명에서 프로젝터-카메라 두 쌍을 장착한 예를 도시한 도면.
도 2는 본 발명에서 프로젝터-카메라 두 쌍이 모터에 장착된 경우에 프로젝터-카메라 쌍의 위치가 변경되는 예를 도시한 도면.
도 3은 본 발명에서 프로젝터-카메라 두 쌍이 모터에 장착되어 작동하는 경우에 프로젝터와 카메라의 투사영역 및 촬영영역의 예를 도시한 도면.
도 4는 본 발명에서 프로젝터-카메라 두 쌍을 이용하여 정보와 인터페이스를 동시에 투사하는 개념도를 도시한 도면.
도 5는 본 발명에서 보여주고자 하는 이미지를 투사 전에 왜곡하여 사용자 관점에서는 올바르게 보이도록 하는 애너모픽 디스플레이 방법의 예를 도시한 도면.
도 6은 본 발명에 따른 프로젝터-카메라 쌍의 기구부 제어에 있어서 방향 제어의 예를 보여주는 도면.
도 7은 본 발명에 따른 프로젝터-카메라 쌍의 기구부 제어에 있어서 점, 영역, 모양이 목표로 주어졌을 때 기구부를 제어하여 목표를 달성하는 예를 보여주는 도면.
도 8은 본 발명에서 투사가능성 판단에 대하여 설명하기 위한 도면.
도 9는 본 발명에 따른 프로젝터-카메라 쌍을 이용한 사용자 상호 작용형 응용에서 각 구성 요소의 제어의 흐름을 보여주는 도면.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 사용자 상호 장치 및 방법에 대하여 설명한다.
본 발명에서 제안하는 사용자 상호 장치는 기본적으로 프로젝터와 카메라가 한 쌍으로 부착된 형태이다.
프로젝터-카메라 쌍은 위치와 방향을 제어하기 위해 모터로 구성된 로봇 장치 위에 부착된다. 상기 프로젝터-카메라 쌍은 로봇 장치 위에 두 개 이상 부착될 수 있고, 이러한 장치 여러 대가 협력적으로 상호작용 방법을 제공할 수 있다.
한 대의 장치는 프로젝터-카메라-모터 구성 요소 외에, 무선 네트워크가 가능한 컴퓨터를 본체에 포함하고 있으며, 장치 내의 컴퓨터만으로 처리가 불가능한 연산은 장치 외부의 컴퓨터에 연산을 외뢰하여 결과를 받게 되며, 이때 무선 네트워크가 사용된다. 특히, 여러 대의 장치를 협력적으로 사용하게 되는 경우에 외부 컴퓨터는 조종자 역할을 하게 된다.
도 1에는 프로젝터-카메라 두 쌍이 다섯 개의 모터에 부착된 예를 나타내었다. 우측 프로젝터(101), 좌측 프로젝터(105), 우측 카메라(102), 좌측 카메라(106), 우측 틸트 모터(103), 좌측 틸트 모터(107), 우측 팬모터(104), 좌측 팬모터(108), 중앙 팬모터(109) 및 본체(110)의 위치는 상황에 맞게 선택할 수 있다.
상기 우측 프로젝터(101)와 우측 카메라(102)는 프로젝터-카메라 쌍을 이루고 있으며, 우측 프로젝터(101)는 투사면에 정보를 투사하고 우측 카메라(102)는 상기 투사면의 전체 또는 일부를 촬영하며, 우측 프로젝터(101)의 투사 영역과 우측 카메라(102)는 전체 또는 일부가 겹쳐진다.
상기 우측 틸트 모터(103)와 우측 팬모터(104)는 프로젝터-카메라 쌍을 이루고 있는 우측 프로젝터(101)와 우측 카메라(102)의 위치와 방향을 제어하는 모터로서, 상기 우측 틸트 모터(103)는 도 1을 기준으로 상 또는 하 방향으로의 회전 이동을 제어하고 상기 우측 팬모터(104)는 도 1을 기준으로 좌 또는 우 방향으로의 회전 이동을 제어한다.
상기 좌측 프로젝터(105)와 좌측 카메라(106)는 프로젝터-카메라 쌍을 이루고 있으며, 좌측 프로젝터(105)는 투사면에 정보를 투사하고 좌측 카메라(106)는 상기 투사면의 전체 또는 일부를 촬영하며, 좌측 프로젝터(105)의 투사 영역과 좌측 카메라(106)의 전체 또는 일부가 겹쳐진다.
상기 좌측 틸트 모터(107)와 좌측 팬모터(108)는 프로젝터-카메라 쌍을 이루고 있는 좌측 프로젝터(105)와 좌측 카메라(106)의 위치와 방향을 제어하는 모터로서, 상기 좌측 틸트 모터(107)는 도 1을 기준으로 상 또는 하 방향으로의 회전 이동을 제어하고 상기 우측 팬모터(108)는 도 1을 기준으로 좌 또는 우 방향으로의 회전 이동을 제어한다.
상기 본체(110)는 우측 프로젝터(101), 좌측 프로젝터(105), 우측 카메라(102), 좌측 카메라(106), 우측 틸트 모터(103), 좌측 틸트 모터(107), 우측 팬모터(104), 좌측 팬모터(108), 중앙 팬모터(109)를 제어하기 위한 컴퓨터를 구비하며, 상기 컴퓨터는 무선 네트워크 기능을 포함하고 있는데, 컴퓨터만으로 처리 불가능한 연산을 외부 컴퓨터에 의뢰하여 결과를 받을 시에 무선 네트워크의 기능을 사용하게 된다.
상기 중앙 팬모터(109)는 우측 프로젝터(101), 좌측 프로젝터(105), 우측 카메라(102), 좌측 카메라(106)를 도 1을 기준으로 좌 또는 우 방향으로 동시에 회전 이동시킬 시에 이용된다.
도 2에는 프로젝터-카메라 쌍이 모터에 장착된 경우에 프로젝터-카메라 쌍의 위치가 변경되는 예를 도시하였다. 도 2의 오른쪽 그림에서 A는 중앙 팬모터이며, B와 C는 각각 좌우의 팬-틸트 모터쌍이다. 모터의 최말단에 프로젝터-카메라 쌍이 장착되기 때문에, 모터를 구동한 각도로 프로젝터-카메라의 투사 및 촬영 방향이 변환된다.
도 3에는 프로젝터-카메라 쌍이 모터에 장착되어 작동하는 경우에 프로젝터로 정보를 투사하고 카메라로 영상을 촬영하는 예를 도시하였다. 도 3에서 프로젝터-카메라 쌍 중에 하나는 벽을 향해 있고 하나는 책상을 향해 있다. 각 프로젝터-카메라 쌍은 투사 및 촬영 공간이 겹쳐지도록 구성하는 것이 중요하다.
도 3에서 A, C 공간은 투사 영역으로서 B와 D의 촬영 영역 내부에 위치하게 된다. 특히, 사용자 인터페이스를 투사하고 이를 손가락으로 제어하기 위해서는 이러한 구성이 중요하다.
사용자는 프로젝터로 투사되는 인터페이스 및 정보를 볼 수 있다. 도 4(a)에서 사용자는 책상에 두 개의 프로젝터로 투사되는 영상을 보고 있다. 이때, 한쪽에서는 손가락으로 상호작용할 수 있는 사용자 인터페이스를 보여주고, 한쪽에서는 이로 인해 제어되는 영상을 보여줄 수 있다(일 예 : 비디오와 비디오 제어 화면). 도 4(b)에서처럼, 프로젝터의 투사방향은 투사면과 직교하지 않으므로 영상이 왜곡(perspective distortion)된다. 이때는 그림 4(c)에서처럼 영상 처리 방법을 이용하여 현재 투사영역에 가장 크게 일치되는 사각형을 찾아서 보여줄 수 있다.
도 5에는 보여주고자 하는 이미지를 투사 전에 왜곡하여 사용자 관점에서는 올바르게 보이도록 하는 애너모픽(anamorphic) 디스플레이의 방법의 예를 나타내었다. 도 5(c)는 투사하고자 하는 정사각형 모양의 이미지이며, 도 5(b)에서 오른쪽의 프로젝터를 사용하여 바닥면에 영상을 투사하면 도 5(c)와 같이 정사각형 형태가 유지되지 않고 있는 것을 알 수 있다. 반면에, 본 발며에서는 도 5(f)와 같이 투사할 영상을 미리 변경(pre-warp)하여 도 5(e)와 같이 투사하게 되면 도 5(d)처럼 사용자는 의도한 정사각형 영상을 볼 수 있다. 이때, 도 5(f)와 같이 투사할 영상을 미리 변경하는 방법은 아래에서 설명하도록 하겠다.
사용자가 보기에 편리한 곳, 관심의 대상이 되는 사물의 표면이나 주변에 정보 및 인터페이스를 투사하기 위해서는 모터, 영상, 투사를 동시에 제어하여야 한다. 순수하게 모터만을 제어하게 되면 투사 방향, 투사의 중심점, 투사 모양을 목표로 하고 이를 달성하는 모터 제어값을 찾게 된다. 본 발명에서는 네 가지 기구부 제어 기법을 동시에 사용하게 된다. 특히, 점, 영역, 모양은 전통적인 기구부 제어와 투사 제어를 동시(hybrid)에 수행하고 있다.
도 6에는 상기 기구부 제어에서 방향 제어의 예를 나타내었다. 도 6의 좌측의 열은 제어 공간을 의미한다. 예를 들어, A, C, F, G 사각형은 우측 팬-틸트 모터의 작동 반경을 의미한다. A, C, F, G 및 B, D, E 사각형의 위치는 중앙 팬 모터의 움직임에 의해 이동할 수 있으며, H, I, J 영역은 장치에서 제한한 이동 범위이다. 전체 이동 범위는 팬은 -180도에서 180도, 틸트는 -90도에서 90도이다. 제한 영역은 모터의 특성, 프로젝터-카메라 쌍의 모양 등에 의해서 영향을 받는다. 도 6에서 첫 번째 행은 초기 자세이며, L, M, R 점과 K, N, Q 점은 목표 방향이다. 도 6에서 두 번째 행은 새로운 목표 지점이 O 점과 P 점으로 표시되었다. 이때, 중앙 팬 모터가 고정되어 목표를 최대한 달성할 수 있도록 양측 팬-틸트 모터가 이동하게 된다. 중앙 팬 모터의 이동이 허락되면 움직임의 범위는 넓어지지만 제어는 어려워지는데, 도 6의 세 번째 행은 이와 같은 경우로서, 같은 목표 지점에 대해서 최적의 중앙 팬 모터 이동값을 찾아서 모터를 이동한 예를 보여준다. 이때, 주어진 목표값 자체가 제한 영역에 있기 때문에 최대한의 틸트 값을 달성한다.
도 7에는 기구부 제어에 있어서 점, 영역, 모양이 목표로 주어졌을 때 기구부를 제어하여 목표를 달성하는 예를 나타내었다. 도 7의 좌측 열은 주어진 초기 자세와 목표를 보여준다. 각 행에서 목표는 점, 영 및 모양으로 주어졌다.
도 7의 첫 번째 행에서, 목표가 점으로 주어진 경우에는, 이를 투사 영역의 중심에 올 수 있도록 역기구학 계산을 하게 된다. 기존의 역기구학은 물리적 기구부의 작용점을 고려하면 되지만, 본 발명에서는 투사의 중심선을 가상의 작용선으로 보고, 이 선과 투사면의 교점을 작용점으로 보고 계산하게 된다.
도 7의 두 번째 행에서, 목표가 특정 영역인 경우에는, 투사 영역과 목표 영역의 차이가 최소가 되도록 계산하여 기구부의 위치를 찾는다. 영역의 차이를 계산하는 방법은 다양할 수 있지만, 각 대응점 간의 거리의 차이의 합을 최소화하는 것이 계산이 간단하면서도 원하는 결과를 얻을 수 있다.
도 7의 세 번째 행에서, 목표가 특정 위치의 특정 모양인 경우에는, 두 번째 경우와 유사한 접근을 할 수 있지만, 이렇게 하면 오차가 증가하게 된다. 본 발명에서는 모양의 투사 가능성을 판단하는 판별식을 고안하여 이를 통해 투사 가능성을 판단하고, 투사가 가능하면 해당하는 기구부 제어를 하게 되고, 직접 투사가 불가능한 경우에는 두 번째 경우와 같이 근사의 방법을 사용한다.
도 8에는 좌측 상단의 사각형 모양이 투사 목표로 주어졌을 때 좌측 하단의 판별식을 계산하여 투사 가능성을 판단하고, 이때 판별식에 포함된 투사 인수를 이용하여 우측의 투사 위치와 각도를 계산할 수 있다.
도 9에는 본 발명에 따른 장치를 이용한 사용자 상호작용형 응용에서 각 구성요소의 제어의 흐름을 도시하였다. 도 9의 좌측에는 주요 기능의 흐름을, 우측에는 기능에 의해 입출력되는 데이터 및 응용의 흐름을 도시하였으며, 이와 같은 도 9를 참조하여 순차적으로 설명하면 다음과 같다.
먼저, 증강 기능은 장치의 출력 장치를 이용하여 물리적 사물 및 환경에 가상의 정보를 더하게 된다(S101). 이를 통해, 응용의 인터페이스가 사용자에게 시각적으로 제시된다(S102). 여기서, 응용은 정보/콘텐츠와 사용자 인터페이스로 구성된다. 사용자는 응용이 제공하는 인터페이스를 통해 응용과 상호작용을 하게 된다(S103). 이때, 상호작용 방식은 제스쳐, 영상 인식 등이다.(음성 명령, 터치 센서 등에 의한 입력은 본 제어 구조에서는 고려하지 않는다.) 상기 상호작용에서 카메라로 얻은 영상과 모터의 현재 상태 등이 시스템의 입력값으로 해석기에 전달된다(S104).
해석기에서는 입력된 영상 정보를 응용의 상황에 맞게 분석하여 관심있는 물체의 형태나 공간좌표를 계산하고, 엔드이펙터(End Effector)의 변경이 필요한 경우에는 그 초기값을 결정한다(S105). 본 발명에 따른 장치의 엔드이펙터는 간단하게는 프로젝터의 투사 방향과 카메라의 촬영 방향이며, 정교한 응용에서는 3차원 공간상의 위치와 영역이 함께 정의된다(S106). 정의된 엔드이펙터를 얻기 위해 전통적인 역기구학(inverse kinematics) 및 역투사(inverse projection), 영상 생성(image warping) 기법을 통해 제어 변수값을 설정한다(S107). 역투사 기법은 공간증강현실 기법의 도입과 더불어 새롭게 연구되고 있는 분야이다.
주요 제어변수로는 각 모터의 변위값, 프로젝터/카메라 제어값, 영상의 형태 등을 보정할 그래픽스 파이프라인의 제어변수 등이 있다(S108). 이러한 일련의 제어변수값은 수학 모델에 의해서 결정되는데, 조건을 만족하는 값이 없거나, 복수 개의 값이 존재하는 경우가 있다. 또한, 응용의 상황이나 시스템적 제약요건에 의해서 값이 한정될 수 있는데, 최적화 과정을 통해서 최종 제어변수값이 결정되는데(S109, S110), 이 값이 기구부, PCU(Power Control Unit), 영상생성부에 전달되면 프로젝터에 의한 정보 증강 및 카메라에 의한 사용자 입력값 수집이 반복해서 수행된다.
상술한 바와 같은 본 발명은, 프로젝터를 이용하여 실제 사물에 직접 정보를 투사하여 별도의 디스플레이 장치를 필요로 하지 않는 증강현실 기법을 제공할 수 있다. 그리고, 모터에 장착된 복수 개의 프로젝터-카메라 쌍을 이용하여 정보와 인터페이스를 동시에 투사할 수 있다. 그리고, 프로젝터-카메라 쌍을 이용하여 사용자와 물체의 조건을 고려하여 영상을 왜곡없이 투사할 수 있으며, 카메라와 프로젝터의 상대적 위치 보정을 통해 영상을 변환할 수 있다. 그리고, 기구부, 투사부와 영상 처리부를 동시에 제어할 수 있으며, 이를 통해 임의의 투사 방향, 중심점, 영역, 모양을 목표로 하여 각 구성 요소를 제어할 수 있으며, 투사 판별식을 이용하여 역투사의 문제를 해결할 수 있다.
101, 105 : 프로젝터 102, 106 : 카메라
103, 107 : 틸트 모터 104, 108, 109 : 팬 모터
110 : 본체

Claims (9)

  1. 프로젝터와 카메라가 쌍을 이루고 있는 적어도 하나의 프로젝터-카메라 쌍;
    상기 프로젝터-카메라 쌍에 장착되어 프로젝터-카메라 쌍의 위치와 방향을 제어하는 모터; 및
    무선 네트워크가 가능한 컴퓨터를 포함하여 외부 장치와의 연결을 제공하는 본체;
    를 포함하며, 상기 프로젝터-카메라 쌍의 투사 공간과 촬영 공간은 겹치는 것을 특징으로 하는 사용자 상호 장치.
  2. 제 1 항에 있어서, 상기 프로젝터-카메라 쌍이 두 개 구비된 경우에 하나의 프로젝터-카메라 쌍은 사용자가 상호작용할 수 있는 사용자 인터페이스를 보여주고 나머지 하나의 프로젝터-카메라 쌍은 사용자에 의해 제어되는 영상을 보여주는 것을 특징으로 하는 사용자 상호 장치.
  3. 제 1 항에 있어서, 상기 프로젝터의 투사 방향이 투사면과 직교하지 않아서 영상이 왜곡되는 경우에 현재 투사영역에 최대로 일치되는 사각형을 찾아서 보여주는 것을 특징으로 하는 사용자 상호 장치.
  4. 제 1 항에 있어서, 상기 프로젝터의 투사 방향이 투사면과 직교하지 않아서 영상이 왜곡되는 경우에, 보여주고자 하는 영상을 투사 전에 변형하여 투사 시에 사용자 관점에서 왜곡되기 전의 영상을 볼 수 있도록 하는 것을 사용자 상호 장치.
  5. 제 1 항에 있어서, 투사 및 촬영 목표가 점으로 주어진 경우에는 상기 점이 투사영역의 중심에 올 수 있도록 모터 제어값이 설정되는 것을 특징으로 하는 사용자 상호 장치.
  6. 제 1 항에 있어서, 투사 및 촬영 목표가 특정 영역인 경우에는 투사 영역과 목표 영역의 차이가 최소가 되도록 모터 제어값이 설정되는 것을 특징으로 하는 사용자 상호 장치.
  7. 제 1 항에 있어서, 투사 및 촬영 목표가 특정 모양인 경우에는 판별식에 따라 판단된 투사 가능성에 따라서 모터 제어값이 설정되며, 투사가 가능한 경우에는 판별식에 포함된 투사 인수를 이용하여 모터 제어값이 설정되며, 투사가 불가능한 경우에는 투사 영역과 목표 영역의 차이가 최소가 되도록 모터 제어값이 설정되는 것을 특징으로 하는 사용자 상호 장치.
  8. 모터에 장착된 프로젝터-카메라 쌍을 통해 물리적 사물 및 환경에 가상의 정보를 더하여 정보와 사용자 인터페이스를 시각적으로 제시하여 사용자와 상호 작용을 하는 단계;
    상호 작용에서 카메라로 얻은 영상과 모터의 현재 상태 등이 해석기에 입력되는 단계;
    해석기에서는 입력된 영상을 분석하여 관심있는 물체의 형태나 공간 좌표를 계산하여 엔드 이펙터(End Effector)의 변경이 필요한 경우에는 엔드 이펙터의 초기값을 결정하며, 상기 엔드 이펙터는 적어도 프로젝터의 투사 방향과 카메라의 촬영 방향을 포함하는 단계;
    엔드 이펙터를 얻기 위해 역기구학, 역투사, 영상 생성 기법을 통해 제어 변수값을 설정하는 단계; 및
    최적화 과정을 통해서 최종 제어 변수값을 설정하여 기구부, PCU(Power Control Unit), 및 영상생성부에 전달하는 단계;
    를 포함하는 것을 특징으로 하는 사용자 상호 방법.
  9. 제 8 항에 있어서, 상기 제어변수값은 각 모터의 변위값, 프로젝터/카메라 제어값, 영상의 형태를 보정할 그래픽스 파이트라인 제어변수를 포함하는 것을 특징으로 하는 사용자 상호 방법.
KR1020110140299A 2011-12-22 2011-12-22 사용자 상호 장치 및 방법 KR101832346B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110140299A KR101832346B1 (ko) 2011-12-22 2011-12-22 사용자 상호 장치 및 방법
US13/585,173 US9225950B2 (en) 2011-12-22 2012-08-14 Device and method for user interaction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110140299A KR101832346B1 (ko) 2011-12-22 2011-12-22 사용자 상호 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130072748A true KR20130072748A (ko) 2013-07-02
KR101832346B1 KR101832346B1 (ko) 2018-04-13

Family

ID=48654004

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110140299A KR101832346B1 (ko) 2011-12-22 2011-12-22 사용자 상호 장치 및 방법

Country Status (2)

Country Link
US (1) US9225950B2 (ko)
KR (1) KR101832346B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244150B2 (en) 2015-11-26 2019-03-26 Samsung Electronics Co., Ltd. Method and apparatus for capturing an image of an object by tracking the object
WO2020171339A1 (ko) * 2019-02-22 2020-08-27 삼성전자 주식회사 프로젝터를 포함하는 전자 장치
KR20210076553A (ko) * 2019-12-16 2021-06-24 한국항공우주연구원 프로젝터를 이용한 증강현실 또는 가상현실 시스템

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9258547B2 (en) * 2012-03-21 2016-02-09 Laurence Chen Intelligent device with both recording and playing back 3D movies and the relevant apparatus and methods
US9465484B1 (en) * 2013-03-11 2016-10-11 Amazon Technologies, Inc. Forward and backward looking vision system
US10321107B2 (en) * 2013-11-11 2019-06-11 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for improved illumination of spatial augmented reality objects
US9473913B2 (en) 2013-11-12 2016-10-18 At&T Intellectual Property I, L.P. System and method for small cell based augmented reality
CN104714809B (zh) * 2013-12-11 2018-11-13 联想(北京)有限公司 一种信息处理的方法及电子设备
JP2015126340A (ja) * 2013-12-26 2015-07-06 ソニー株式会社 画像処理方法並びに画像投影装置
CN105450962B (zh) * 2014-08-22 2019-04-23 联想(北京)有限公司 一种电子设备及信息处理方法
CN106033257B (zh) * 2015-03-18 2019-05-31 联想(北京)有限公司 一种控制方法和装置
CN106125923B (zh) * 2016-06-22 2019-05-17 京东方科技集团股份有限公司 电子设备、输入输出装置及其使用方法
US10225535B2 (en) * 2016-08-11 2019-03-05 Rabin Esrail Self-adjusting portable modular 360-degree projection and recording computer system
CN110049163B (zh) * 2019-05-28 2022-03-25 昆山龙腾光电股份有限公司 全面屏电子装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100686525B1 (ko) 2005-02-21 2007-02-26 한국정보통신대학교 산학협력단 증강 현실 구현을 위한 프로젝터 카메라 시스템 및 포커싱방법
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US20080136973A1 (en) * 2006-12-08 2008-06-12 Ellis Park Portable projector system
US8338999B2 (en) * 2007-07-31 2012-12-25 Seiko Epson Corporation Brushless motor
EP2178276B1 (en) 2008-10-20 2014-07-30 LG Electronics Inc. Adaptation of recorded or shown image according to the orientation of a mobile terminal
KR20100058898A (ko) 2008-11-25 2010-06-04 삼성테크윈 주식회사 카메라 프로젝터
JP5409263B2 (ja) * 2009-10-28 2014-02-05 京セラ株式会社 携帯電子機器及び携帯電話機
KR20120067766A (ko) * 2010-12-16 2012-06-26 삼성전자주식회사 프로 젝터가 내장된 카메라 장치의 이중 디스플레이 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244150B2 (en) 2015-11-26 2019-03-26 Samsung Electronics Co., Ltd. Method and apparatus for capturing an image of an object by tracking the object
WO2020171339A1 (ko) * 2019-02-22 2020-08-27 삼성전자 주식회사 프로젝터를 포함하는 전자 장치
KR20200102868A (ko) * 2019-02-22 2020-09-01 삼성전자주식회사 프로젝터를 포함하는 전자 장치
US11832030B2 (en) 2019-02-22 2023-11-28 Samsung Electronics Co., Ltd. Electronic apparatus including projector
KR20210076553A (ko) * 2019-12-16 2021-06-24 한국항공우주연구원 프로젝터를 이용한 증강현실 또는 가상현실 시스템

Also Published As

Publication number Publication date
US20130162521A1 (en) 2013-06-27
KR101832346B1 (ko) 2018-04-13
US9225950B2 (en) 2015-12-29

Similar Documents

Publication Publication Date Title
KR20130072748A (ko) 사용자 상호 장치 및 방법
US11494003B1 (en) Gesture keyboard method and apparatus
KR102576842B1 (ko) 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치
WO2020024178A1 (zh) 一种手眼标定方法、系统及计算机存储介质
WO2016148072A1 (ja) 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
US8823697B2 (en) Tabletop, mobile augmented reality system for personalization and cooperation, and interaction method using augmented reality
Kasahara et al. exTouch: spatially-aware embodied manipulation of actuated objects mediated by augmented reality
US10523871B2 (en) Imaging system and imaging control method with display of image with vertical alignment
CN110162236B (zh) 虚拟样板间的展示方法、装置及计算机设备
WO2016042926A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US20150273689A1 (en) Robot control device, robot, robotic system, teaching method, and program
CN107950019B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
KR20150070199A (ko) 로봇 스탠드와, 화상 회의 동안 스탠드를 제어하기 위한 시스템들 및 방법들
JP4802012B2 (ja) カメラ制御装置およびカメラ制御方法
Xin et al. 3D augmented reality teleoperated robot system based on dual vision
US10089726B2 (en) Image processing apparatus, image processing method, and storage medium, relating to generating an image corresponding to a predetermined three-dimensional shape by transforming a captured image
US20160364011A1 (en) Human machine interface controller
Yu et al. Efficiency and learnability comparison of the gesture-based and the mouse-based telerobotic systems
JP2022172112A (ja) 遠隔操作装置
US20150222860A1 (en) Client device for displaying images of a controllable camera, method, computer program and monitoring system comprising said client device
WO2017104448A1 (ja) 情報処理装置、３次元モデル生成装置、情報処理装置の制御方法、及び、コンピュータープログラム
JPH03213278A (ja) ロボットの遠隔操作支援方式
Terashima et al. A human-robot interface using an extended digital desk
CN107247424A (zh) 一种基于激光距离传感器的ar虚拟开关及其方法
JP6343930B2 (ja) ロボットシステム、ロボット制御装置、及びロボット制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant