KR20130054711A - 카메라를 이용한 홀로그램 터치 인식방법 - Google Patents

카메라를 이용한 홀로그램 터치 인식방법 Download PDF

Info

Publication number
KR20130054711A
KR20130054711A KR1020110120263A KR20110120263A KR20130054711A KR 20130054711 A KR20130054711 A KR 20130054711A KR 1020110120263 A KR1020110120263 A KR 1020110120263A KR 20110120263 A KR20110120263 A KR 20110120263A KR 20130054711 A KR20130054711 A KR 20130054711A
Authority
KR
South Korea
Prior art keywords
image
hologram
touch
camera
position information
Prior art date
Application number
KR1020110120263A
Other languages
English (en)
Other versions
KR101296365B1 (ko
Inventor
손명규
이상헌
김병민
이장우
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020110120263A priority Critical patent/KR101296365B1/ko
Publication of KR20130054711A publication Critical patent/KR20130054711A/ko
Application granted granted Critical
Publication of KR101296365B1 publication Critical patent/KR101296365B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 카메라를 이용한 홀로그램 터치 인식방법에 관한 것으로, (a) 복수의 스테레오 카메라 및 적어도 하나의 깊이 카메라로 촬영된 뷰(view) 영상을 일치시키기 위해 영상 보정하는 단계; (b) 상기 복수의 스테레오 카메라 및 적어도 하나의 깊이 카메라로 홀로그램 발생부에서 생성한 홀로그램 영상을 포함하는 3D 영상을 실시간으로 촬영하는 단계; (c) 터치 인식부에서 상기 스테레오 카메라에서 촬영된 3D 영상과 상기 깊이 카메라에서 촬영된 3D 영상을 비교하여 상기 홀로그램 영상을 인식하고, 상기 홀로그램 영상의 공간상 위치정보를 획득하는 단계; 및 (d) 터치 인식부에서 사용자가 상기 홀로그램의 영상에서의 공간상에 터치하는 터치 위치정보를 획득하는 단계를 포함한다.
이와 같은 본 발명은 이와 같은 본 발명은 여러 가지 카메라를 이용하여 공간상의 홀로그램을 직접 터치하고 이를 인식할 수 있는 간단하고 용이한 방법을 제공하게 되고, 카메라 외에는 다른 센서를 사용하지 않고 또한 사람에 몸에 부착하지 않아도 될 뿐만 아니라, 아무런 부가적인 장치 없이 공간상의 홀로그램과 서로 자연스럽게 인터페이스 할 수 있는 방법을 제공하게 된다.

Description

카메라를 이용한 홀로그램 터치 인식방법{hologram touch detection method using camera}
본 발명은 홀로그램 터치 인식방법에 관한 것으로, 보다 상세하게는 카메라를 이용하여 간단하고 용이하게 홀로그램 터치 지점을 인식할 수 있는 터치 인식방법에 관한 것이다.
공간상에 홀로그램을 직접 터치하는 기술은 현재 나와 있지 않으며, 홀로그램을 동작으로 제어하는 기술이 있을 수 있으나, 이는 홀로그램을 터치하는 것이 아니라, 카메라, 또는 센서 등을 사용하여 사용자의 동작을 인식하여 홀로그램을 조작하는 기술이다.
이와 비슷하게 홀로그램을 터치하는 것처럼 보이는 기술이 있으나, 이는 홀로그램을 투사하는 컴퓨터가 홀로그램의 위치를 미리 알고 있고, 외부의 사물의 위치를 판단하여 홀로그램을 터치했는가를 판단하는 기술이다.
이러 한 터치 위치정보를 인식하고 파악하기 위해서, 객체 또는 장면으로부터 3차원 정보를 획득하는 방법은 크게 능동적 방법과 수동적 방법으로 구분할 수 있다. 능동적 방법은 3차원 스캐너를 이용한 방법, 구조화된 광선 패턴을 이용한 방법, 깊이 카메라 등의 능동적인 방법 등이 있다. 이 경우 실시간으로 3차원 정보를 비교적 정확하게 획득할 수 있지만, 장비가 고가이고 깊이 카메라를 제외하고는 동적 객체나 장면의 모델링이 불가능하다는 문제가 있었다.
수동적인 방법으로는 양안식 스테레오 영상을 이용하는 스테레오 정합 방법(Stereo Matching)과 실루엣 기반 방법, 부피 기반 모델링 방법인 복셀 컬러링 방법(Voxel Coloring), 카메라 이동에 의해 촬영된 여러 시점의 정적객체에 대한 3차원 정보를 계산하는 움직임 기반 모양 추정 방법(Shape from Motion), 음영 정보를 이용한 모양추정 방법(Shape from Shading) 등이 있다. 이러한 수동적 방법은 여러 시점의 광학 카메라로부터 얻어진 영상을 이용하여 3차원 정보를 생성하는 것으로 능동적 방법에 비하여 저가의 비용으로 3차원 정보를 얻을 수 있고, 해상도가 높은 장점이 있다. 그러나, 영상의 특성 즉 조명 조건의 변화, 텍스처, 차폐 영역의 존재로 인하여 깊이 정보의 신뢰도가 능동적 방법에 비하여 낮은 단점이 있다.
이를 개선하기 위해서, 종래에는 3D 영상을 공간상에 투사하는 장치 또는 컴퓨터를 통해 3D 영상의 위치를 파악하고, 사용자의 위치 인식 모듈을 통해 터치 위치정보를 인식하는 기술이 제안되었다.
도 1은 종래의 공간 투영 및 공간 터치 기능이 구비된 단말 장치의 블록 구성도이다. 도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 단말 장치(100)는 공간(200) 상에 영상을 투영하기 위한 디스플레이모듈(120)과, 사용자의 지시수단이 상기 공간상에 투영된 영상의 어느 부분에 위치하는지를 인식하는 공간 터치 인식모듈(110)과, 사용자가 공간 터치 인식모듈(110)의 인식거리 내에 위치하는지 여부를 감지하는 사용자 위치 감지모듈(130)과, 사용자가 인식거리 내에 위치한 것으로 감지되면 영상을 투영하도록 디스플레이 모듈(120)을 제어하고, 공간 터치 인식모듈(110)이 인식한 위치 정보에 해당되는 기능을 수행하는 컴퓨팅모듈(140)을 포함하여 이루어진다.
그러나, 이와 같은 종래 기술은 터치 인식을 위한 시스템 구성이 복잡하고, 고가이며, 3D 영상과 사용자의 터치점 위치를 서로 다른 장치로 파악하여 종합한다는 점에서 장치가 오차에 의해 정밀도가 떨어지는 문제점이 있다.
상술한 문제를 해결하기 위한 본 발명의 과제는 외부의 정보(홀로그램을 투사하는 컴퓨터가 알 수 있는 홀로그램의 위치 정부) 없이 공간상에 투영된 홀로그램에 터치하는 위치정보를 인식 또는 획득하는 방법을 제공하고자 함이다.
또한, 간단하고 용이한 방법으로 홀로그램을 직접 신체나 임의의 물체로 터치하거나 서로 상호작용하는 것이 가능한 터치 인식방법을 제공하고자 함이다.
상술한 과제를 해결하려는 본 발명의 특징은 a) 복수의 스테레오 카메라 및 적어도 하나의 깊이 카메라로 촬영된 뷰(view) 영상을 일치시키기 위해 영상 보정하는 단계; (b) 상기 복수의 스테레오 카메라 및 적어도 하나의 깊이 카메라로 홀로그램 발생부에서 생성한 홀로그램 영상을 포함하는 3D 영상을 실시간으로 촬영하는 단계; (c) 터치 인식부에서 상기 스테레오 카메라에서 촬영된 3D 영상과 상기 깊이 카메라에서 촬영된 3D 영상을 비교하여 상기 홀로그램 영상을 인식하고, 상기 홀로그램 영상의 공간상 위치정보를 획득하는 단계; 및 (d) 터치 인식부에서 사용자가 상기 홀로그램의 영상에서의 공간상에 터치하는 터치 위치정보를 획득하는 단계를 포함한다.
여기서, 상기 (b) 단계는, 상기 깊이 카메라가 2대 이상인 경우, 상기 깊이 카메라의 촬영시간을 분할하여 상기 깊이 카메라 각각 상기 분할된 시간에 맞추어 실시간 촬영하는 단계인 것이 바람직하고, 상기 (c) 단계는, 터치 인식부에서 상기 스테레오 카메라에서 촬영된 3D 영상과 상기 깊이 카메라에서 촬영된 3D 영상을 차감하여 상기 홀로그램 영상의 유무를 판단하는 단계; 상기 홀로그램 영상이 있는 경우, 상기 복수의 스테레오 카메라에서 촬영된 영상을 이용해 상기 홀로그램 영상의 공간상 위치정보를 획득하는 단계를 포함하는 것이 바람직하다.
또한, 바람직하게는 상기 (d) 단계는, 상기 터치 인식부에서 상기 깊이 카메라 및 상기 스테레오 카메라의 영상을 통하여 상기 사용자가 상기 홀로그램 영상의 공간상의 어느 한 위치 영역에 터치하는 경우, 상기 사용자의 터치 포인터를 인식하는 단계; 상기 인식된 터치 포인터의 위치정보를 상기 터치 위치정보로 인식하고, 상기 스테레오 카메라의 영상을 통해 상기 터치 위치정보를 획득하는 단계인 것일 수 있다.
더하여, 상기 터치 포인터의 위치정보는, 상기 사용자가 상기 홀로그램 영상의 공간상의 어느 한 위치 영역에 터치하는 위치 영역에 미리 설정된 시간 이상 머무르는 경우 상기 터치 포인터의 위치정보로 인식하여 획득하는 것이 바람직하고, 상기 터치 인식부에서 상기 획득한 터치 위치정보를 외부의 홀로그램 발생부 또는 홀로그램 제어 단말기로 전송하는 단계를 더 포함하는 것이 바람직하다.
이와 같은 본 발명은 여러 가지 카메라를 이용하여 공간상의 홀로그램을 직접 터치하고 이를 인식할 수 있는 간단하고 용이한 방법을 제공하게 되고, 카메라 외에는 다른 센서를 사용하지 않고 또한 사람에 몸에 부착하지 않아도 될 뿐만 아니라, 아무런 부가적인 장치 없이 공간상의 홀로그램과 서로 자연스럽게 인터페이스 할 수 있는 방법을 제공하게 된다.
또한 부가적으로 공간상의 물체가 홀로그램인지 실제 사물인지 눈으로 판단하기 어려운 경우에도 이를 판단할 수가 있다.
도 1은 종래의 공간 투영 및 공간 터치 기능이 구비된 단말 장치의 블록 구성도이고,
도 2는 본 발명에 실시예에 따른 카메라를 이용한 홀로그램 터치인식 방법에 사용되는 시스템의 블록 구성도이고,
도 3은 본 발명에 실시예에 따른 카메라를 이용한 홀로그램 터치인식 방법의 흐름을 나타낸 도면이고,
도 4는 본 발명에 따른 홀로그램 터치 인식방법에 사용되는 깊이 카메라와 스테레오 카메라로 들어오는 영상의 예이다.
본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.
도면들에 있어서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소를 나타낸다.
본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.
이하 본 발명에 따른 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.
도 2는 본 발명에 실시예에 따른 카메라를 이용한 홀로그램 터치인식 방법에 사용되는 시스템의 블록 구성도이고, 도 3은 본 발명에 실시예에 따른 카메라를 이용한 홀로그램 터치인식 방법의 흐름을 나타낸 도면이다.
도 2에 나타낸 바와 같이, 본 발명에 따른 홀로그램 터치인식 방법에 사용되는 시스템의 구성은 적어도 2개 이상의 스테레오 카메라(10)와 적어도 하나의 깊이 카메라(20) 및 터치 인식부(30)로 구성된다. 상기 카메라의 배열과 숫자는 홀로그램을 포함하는 3D 영상의 뷰(view) 영상을 관심영역(ROI)에 알맞게 설치되는 것이면 다양한 방법으로 정할 수 있음은 물론이다. 그리고, 이와 같은 시스템에서 획득한 터치 인식정보를 외부의 홀로그램 발생부(40) 또는 단말기로 전송하여 터치 인식으로인 홀로그램 영상의 다양한 변화를 제공할 수 있게 된다.
즉, 본 발명에 따는 홀로그램 터치 인식방법에 사용되는 시스템은 스테레오 카메라(10)와 깊이 카메라(20)로 홀로그램 영상을 실시간을 촬영하고, 촬영된 영상을 통해 홀로그램 영상을 인식하고, 사용자의 터치 위치정보를 획득하여 외부의 홀로그램 발생부(40)로 터치 위치정보를 전송하게 함으로써, 홀로그램 영상의 터치를 통한 다양한 영상의 변화를 유도하는 제어명령 신호를 획득할 수 있는 시스템이다.
도 3에 나타낸 바와 같이, 본 발명에 실시예에 따른 카메라를 이용한 홀로그램 터치인식 방법은, (a) 복수의 스테레오 카메라(10) 및 적어도 하나의 깊이 카메라(20)로 촬영된 뷰(view) 영상을 일치시키기 위해 영상 보정하는 단계(S100); (b) 상기 복수의 스테레오 카메라(10) 및 적어도 하나의 깊이 카메라(20)로 홀로그램 발생부(40)에서 생성한 홀로그램 영상을 포함하는 3D 영상을 실시간으로 촬영하는 단계(S200); (c) 터치 인식부(30)에서 상기 스테레오 카메라(10)에서 촬영된 3D 영상과 상기 깊이 카메라(20)에서 촬영된 3D 영상을 비교하여 상기 홀로그램 영상을 인식하고, 상기 홀로그램 영상의 공간상 위치정보를 획득하는 단계(S300); (d) 터치 인식부(30)에서 사용자가 상기 홀로그램의 영상에서의 공간상에 터치하는 터치 위치정보를 획득하는 단계(S400)를 포함하여 구성된다.
여기서, 깊이 카메라(20)는 카메라에서 빛을 내보내고 사물에 반사되어 돌아오는 시간을 측정하는 방식의 TOF(Time of Flight)방식과 패턴광을 조사하여 패턴의 형태를 보고 거리를 측정하는 방식이 있을 수 있다. 본 발명에서 사용되는 깊이 카메라(20)는 모두 광을 조사하고 이를 받아들여 처리하여 거리를 측정하는 방식을 말한다.
또한, 스테레오 카메라(10)는 두 대의 일반카메라를 이용하여 같은 지점이라도 두 대의 카메라에서 보는 뷰(view)가 서로 다름을 이용하여 거리를 측정하는 방식이다.
기본적인 원리는 어떤 물체(실제물체, 빛을 반사하는 물체)가 어느 공간상에 존재할 때, 깊이 카메라(20), 스테레오 카메라(10) 모두 물체의 영상에 획득하여 계산하여 그 물체가 공간상의 어느 지점에 어떤 형태(3D 형태)로 나타나는지 계산을 할 수가 있다. 하지만, 홀로그램의 경우 스테레오 카메라(10)에서는 물체를 인식할 수 있지만, 깊이 카메라(20)의 경우 깊이 카메라(20)에서 조사하는 광이 홀로그램을 투과하므로 깊이 카메라(20)에서는 홀로그램이 나타나지 않는다. 이 둘을 이용하면 공간상의 물체가 홀로그램인지 실제 물체인지를 판단할 수가 있다. 위와 같은 원리로 공간상의 홀로그램을 판단하고 이 홀로그램을 사람 또는 사물이 터치하는지를 판단할 수가 있다는 점을 착안하여 본 발명을 제안한다.
공간상에 홀로그램이 존재하며, 카메라가 홀로그램 주변에 위치한다. 카메라는 관심영역에만 존재할 수 있으며 홀로그램의 앞쪽 영역만 관심이 있다면(터치가능 영역), 뒤쪽에는 카메라를 설치할 필요가 없다. 본 발명에서 사용되는“카메라”는 깊이 카메라(20), 적어도 2개의 스테레오 카메라(10) 쌍을 말한다.
스테레오 카메라(10)를 통하여 들어오는 영상을 실시간으로 처리하여 나오는 3차원 정보인데, 다른 물체가 홀로그램을 가리는 경우가 발생할 수 있으며 이때에는 깊이 카메라(20)의 정보를 이용하여 다른 물체(깊이 카메라(20)에만 보이는 물체)를 제거함으로써 어느 정도 가리는 문제를 해결할 수 있다.
도 4는 본 발명에 따른 홀로그램 터치 인식방법에 사용되는 깊이 카메라(20)와 스테레오 카메라(10)로 들어오는 영상의 예이다. 도 4에 나타낸 바와 같이, 영상에서 사용자는 빛이 투과되는 플라스틱 물체(파란색 패턴이 표시되어 있음)를 들고 있다. 스테레오 카메라(10)에 들어오는 영상에서는 이 플라스틱 물체를 판별할 수 있으나 깊이 카메라(20)에서는 이 물체가 전혀 나타나지 않는다는 것을 볼 수 있다. 본 발명에서는 이와 같은 원리를 적용하여 홀로그램 터치 인식방법을 제안하는 것이다.
구체적으로 본 발명의 실시예에 따른 홀로그램 터치 인식방법을 살펴보면, 도 3에 나타낸 바와 같이, (a) 단계(S100)에서 같은 위치에 있는 깊이 카메라(20) 및 스테레오 카메라(10) 쌍은 서로 캘리브레이션 되어 있어야 하므로, 스테레오 카메라(10)에서 보는 영상과, 깊이 카메라(20)에서 보는 뷰(view) 영상이 일치되도록 영상을 보정한다.
(b) 단계(S200)에서는, 깊이 카메라(20), 스테레오 카메라(10) 각각 공간상의 3D 영상을 실시간으로 촬영한다. 여기서, 깊이 카메라(20)의 경우에는 빛을 조사하므로 여러 깊이 카메라(20)를 사용하는 경우 간섭이 있을 수 있기 때문에, 이런 경우에는 카메라별로 시간을 분할하여 각자에 해당하는 시간별로 빛을 쏘고 영상을 획득하는 것이 바람직하다.
(c) 단계(S300)에서, 깊이 카메라(20)의 3D 영상과 스테레오 카메라(10)의 3D 영상을 비교하여 홀로그램과 실제 실물을 각각 분리하여 알아낸다. 홀로그램의 공간상의 위치와 형태는 스테레오 카메라(10)의 정보에서 알 수 있으며, 실제 사물의 위치와 형태는 깊이 카메라(20)의 정보로 알 수 있다.
즉, 터치 인식부(30)에서 상기 스테레오 카메라(10)에서 촬영된 3D 영상과 상기 깊이 카메라(20)에서 촬영된 3D 영상을 차감하여 상기 홀로그램 영상의 유무를 판단하고(S310), 상기 홀로그램 영상이 있는 경우(Yes), 상기 복수의 스테레오 카메라(10)에서 촬영된 영상을 이용해 상기 홀로그램 영상의 공간상 위치정보를 획득하게 된다.(S330) 그리고, 홀로그램 영상이 없는 경우(No)에는 다시 (b) 단계로 넘어간다.
(d) 단계(S400)에서, 상기 (c) 단계에서 인식한 홀로그램의 공간상의 위치정보를 가지고 있고, 깊이 카메라(20)에서 이 공간상의 다른 물체나 또는 사람을 인식할 수 있으므로, 사람 또는 사물이(포인터) 홀로그램을 터치하는 것을 인식할 수 있다.
보다 구체적으로, 상기 터치 인식부(30)에서 상기 깊이 카메라(20) 및 상기 스테레오 카메라(10)의 영상을 통하여 상기 사용자가 상기 홀로그램 영상의 공간상의 어느 한 위치 영역에 터치하는 경우, 상기 사용자의 터치 포인터를 인식하고(S410), 상기 인식된 터치 포인터의 위치정보를 상기 터치 위치정보로 인식하고, 상기 스테레오 카메라(10)의 영상을 통해 상기 터치 위치정보를 획득하게 된다.(S430) 여기서, 포인터는 사람이나 사물이 홀로그램 영상에 터치하기 위해 가리키는 물체 영역을 말하는 것으로, 포인터의 상기 홀로그램 영상의 공간상 위치 지점이 터치 위치지점에 해당한다.
(e) 단계(S500)에서, 홀로그램이 터치되면 터치 위치정보를 이용하여 여러 가지 장치와 연결하여 다양하게 응용을 할 수 있다. (홀로그램 회전, 터치된 영역정보 등을 이용한 처리, 홀로그램(사람)과의 악수 등등) 즉, 상기 터치 인식부(30)에서 상기 획득한 터치 위치정보를 외부의 홀로그램 밞생부 또는 홀로그램 제어 단말기로 전송하여 상기 홀로그램 발생부(40) 또는 홀로그램 제어 단말기에서 제어명령 신호로 인식하여 상기 홀로그램의 영상을 변화시키게 된다.
이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능 하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.

Claims (6)

  1. (a) 복수의 스테레오 카메라 및 적어도 하나의 깊이 카메라로 촬영된 뷰(view) 영상을 일치시키기 위해 영상 보정하는 단계;
    (b) 상기 복수의 스테레오 카메라 및 적어도 하나의 깊이 카메라로 홀로그램 발생부에서 생성한 홀로그램 영상을 포함하는 3D 영상을 실시간으로 촬영하는 단계;
    (c) 터치 인식부에서 상기 스테레오 카메라에서 촬영된 3D 영상과 상기 깊이 카메라에서 촬영된 3D 영상을 비교하여 상기 홀로그램 영상을 인식하고, 상기 홀로그램 영상의 공간상 위치정보를 획득하는 단계;
    (d) 터치 인식부에서 사용자가 상기 홀로그램의 영상에서의 공간상에 터치하는 터치 위치정보를 획득하는 단계를 포함하는 것을 특징으로 하는 카메라를 이용한 홀로그램 터치인식 방법.
  2. 제1항에 있어서,
    상기 (b) 단계는,
    상기 깊이 카메라가 2대 이상인 경우,
    상기 깊이 카메라의 촬영시간을 분할하여 상기 깊이 카메라 각각 상기 분할된 시간에 맞추어 실시간 촬영하는 단계인 것을 특징으로 하는 카메라를 이용한 홀로그램 터치인식 방법.
  3. 제1항에 있어서,
    상기 (c) 단계는,
    터치 인식부에서 상기 스테레오 카메라에서 촬영된 3D 영상과 상기 깊이 카메라에서 촬영된 3D 영상을 차감하여 상기 홀로그램 영상의 유무를 판단하는 단계;
    상기 홀로그램 영상이 있는 경우, 상기 복수의 스테레오 카메라에서 촬영된 영상을 이용해 상기 홀로그램 영상의 공간상 위치정보를 획득하는 단계를 포함하는 것을 특징으로 하는 카메라를 이용한 홀로그램 터치인식 방법.
  4. 제1항에 있어서,
    상기 (d) 단계는,
    상기 터치 인식부에서 상기 깊이 카메라 및 상기 스테레오 카메라의 영상을 통하여 상기 사용자가 상기 홀로그램 영상의 공간상의 어느 한 위치 영역에 터치하는 경우, 상기 사용자의 터치 포인터를 인식하는 단계;
    상기 인식된 터치 포인터의 위치정보를 상기 터치 위치정보로 인식하고, 상기 스테레오 카메라의 영상을 통해 상기 터치 위치정보를 획득하는 단계인 것을 특징으로 하는 카메라를 이용한 홀로그램 터치인식 방법.
  5. 제4항에 있어서,
    상기 터치 포인터의 위치정보는,
    상기 사용자가 상기 홀로그램 영상의 공간상의 어느 한 위치 영역에 터치하는 위치 영역에 미리 설정된 시간 이상 머무르는 경우 상기 터치 포인터의 위치정보로 인식하여 획득하는 것을 특징으로 하는 카메라를 이용한 홀로그램 터치인식 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 터치 인식부에서 상기 획득한 터치 위치정보를 외부의 홀로그램 밞생부 또는 홀로그램 제어 단말기로 전송하는 단계를 더 포함하는 것을 특징으로 하는 카메라를 이용한 홀로그램 터치인식 방법.






KR1020110120263A 2011-11-17 2011-11-17 카메라를 이용한 홀로그램 터치 인식방법 KR101296365B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110120263A KR101296365B1 (ko) 2011-11-17 2011-11-17 카메라를 이용한 홀로그램 터치 인식방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110120263A KR101296365B1 (ko) 2011-11-17 2011-11-17 카메라를 이용한 홀로그램 터치 인식방법

Publications (2)

Publication Number Publication Date
KR20130054711A true KR20130054711A (ko) 2013-05-27
KR101296365B1 KR101296365B1 (ko) 2013-08-14

Family

ID=48663450

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110120263A KR101296365B1 (ko) 2011-11-17 2011-11-17 카메라를 이용한 홀로그램 터치 인식방법

Country Status (1)

Country Link
KR (1) KR101296365B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483741B1 (ko) * 2014-02-10 2015-01-27 전남대학교산학협력단 슬라이스 패턴 영상을 이용한 터치 인식 방법 및 그 시스템
WO2015182955A1 (ko) * 2014-05-26 2015-12-03 이윤택 홀로그래피 터치 기술 및 프로젝터 터치 기술

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170060473A (ko) * 2015-11-24 2017-06-01 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101019255B1 (ko) * 2008-12-24 2011-03-04 전자부품연구원 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리방법 및 스크린장치
KR101019254B1 (ko) * 2008-12-24 2011-03-04 전자부품연구원 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법
KR101156734B1 (ko) * 2010-11-05 2012-06-14 전자부품연구원 테이블 타입 인터렉티브 3차원 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483741B1 (ko) * 2014-02-10 2015-01-27 전남대학교산학협력단 슬라이스 패턴 영상을 이용한 터치 인식 방법 및 그 시스템
WO2015182955A1 (ko) * 2014-05-26 2015-12-03 이윤택 홀로그래피 터치 기술 및 프로젝터 터치 기술

Also Published As

Publication number Publication date
KR101296365B1 (ko) 2013-08-14

Similar Documents

Publication Publication Date Title
EP3262439B1 (en) Using intensity variations in a light pattern for depth mapping of objects in a volume
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
JP6377863B2 (ja) 反射マップ表現による奥行きマップ表現の増補
JP6429772B2 (ja) ３ｄ走査および位置決めシステム
CA2786439C (en) Depth camera compatibility
US20110187819A1 (en) Depth camera compatibility
CN112789544B (zh) 图腾在用户交互系统中的融合姿势的基于未融合姿势的漂移校正
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
Yamazoe et al. Easy depth sensor calibration
KR101296365B1 (ko) 카메라를 이용한 홀로그램 터치 인식방법
EP3371780A1 (en) System and methods for imaging three-dimensional objects
CN108175535A (zh) 一种基于微透镜阵列的牙科三维扫描仪
CN110580716A (zh) 一种深度信息采集方法、装置以及介质
KR102028376B1 (ko) 번들 조정 알고리즘을 이용한 립모션과 hmd 사이의 캘리브레이션 방법 및 장치
KR101578891B1 (ko) 패턴 인식을 이용한 영상 정보의 차원 일치 장치 및 방법
KR20120056668A (ko) 3차원 정보 복원 장치 및 그 방법
Zhang et al. Recent reviews on machine vision-based 3D reconstruction
TW201547275A (zh) 深度攝影機系統
KR101184124B1 (ko) 대향 카메라를 이용한 깊이감 측정 방법 및 장치
KR20180107916A (ko) 고정된 패턴 마스크를 이용하여 블랙, 화이트를 프로젝션을 수행하는 방법 및 시스템
KR20180107917A (ko) 서로 다른 편광에 대응하는 패턴 및 인버스 패턴을 이용하는 방법 및 장치
KR101184105B1 (ko) 후면볼록거울을 이용한 깊이감 측정 방법 및 장치
KR20170053509A (ko) 가정된 캘리브레이션 모델 없이 측정된 데이터를 이용하여 캘리브레이션을 수행하는 방법 및 상기 방법을 수행하는 3차원 스캐너 캘리브레이션 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170628

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 7