KR20100090401A - 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템 - Google Patents

증강 현실 환경에서의 공간 상호 작용 방법 및 시스템 Download PDF

Info

Publication number
KR20100090401A
KR20100090401A KR1020090009651A KR20090009651A KR20100090401A KR 20100090401 A KR20100090401 A KR 20100090401A KR 1020090009651 A KR1020090009651 A KR 1020090009651A KR 20090009651 A KR20090009651 A KR 20090009651A KR 20100090401 A KR20100090401 A KR 20100090401A
Authority
KR
South Korea
Prior art keywords
interaction
space
augmented
spatial
image
Prior art date
Application number
KR1020090009651A
Other languages
English (en)
Other versions
KR101002785B1 (ko
Inventor
우운택
윤경담
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020090009651A priority Critical patent/KR101002785B1/ko
Publication of KR20100090401A publication Critical patent/KR20100090401A/ko
Application granted granted Critical
Publication of KR101002785B1 publication Critical patent/KR101002785B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템에 대한 것이다. 더욱 상세하게는, 증강 현실 환경에서 비접촉식 수동형 상호 작용이 가능하도록 하기 위해 가상의 공간 센서를 포함하는 증강 공간을 생성하고, 깊이 카메라를 이용하여 획득된 거리 정보를 이용하여 상호 작용 주체가 상기 공간 센서를 점유하는지 여부를 검출하여 상호 작용을 해석하는 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템에 대한 것이다.
본 발명은, 증강 현실 환경에서 상호 작용 주체와 상호 작용 객체 간의 상호작용을 위한 방법에 있어서, (a) 제 1 카메라로부터 일반 영상을 획득하는 단계; (b) 공간 센서를 포함하는 증강 공간을 생성하는 단계; (c) 제 2 카메라로부터 깊이 영상을 획득하는 단계; (d) 상기 깊이 영상의 깊이 값을 이용한 거리 정보를 포함하는 깊이 맵을 생성하는 단계; (e) 상기 깊이 맵과 상기 증강 공간의 충돌 여부로부터 상기 증강 공간의 점유 여부를 판별하는 단계; 및 (f) 상기 증강 공간의 상기 공간 센서가 점유되는 경우 그 패턴으로부터 상호 작용을 해석하는 단계를 포함하는 증강 현실 환경에서의 공간 상호 작용 방법을 제공한다.
증강 현실, AR, 깊이 영상, Depth Map, 상호 작용

Description

증강 현실 환경에서의 공간 상호 작용 방법 및 시스템{Method and System for Spatial Interaction in Augmented Reality System}
본 발명은 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템에 대한 것이다. 더욱 상세하게는, 증강 현실 환경에서 비접촉식 수동형 상호 작용이 가능하도록 하기 위해 가상의 공간 센서를 포함하는 증강 공간을 생성하고, 깊이 카메라를 이용하여 획득된 거리 정보를 이용하여 상호 작용 주체가 상기 공간 센서를 점유하는지 여부를 검출하여 상호 작용을 해석하는 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템에 대한 것이다.
증강 현실(AR : Augmented Reality)이란 현실 환경에 대한 정보에 가상 환경의 정보를 결합시켜 사용자에게 제공하는 것을 말한다. 통상적으로는 증강 현실은 현실 환경에 대한 영상에 가상 객체를 증강시켜 사용자에게 제공함으로써 사용자에게 부가적인 정보를 제공하거나 보다 사실감 있는 정보를 제공하게 된다.
증강 현실 환경에서 사용자와 증강 현실 시스템 간의 상호 작용을 어떻게 제공할 것인지 문제된다. 특히 사용자의 특정 행동을 증강 현실 시스템이 인지하고 그에 따른 명령을 수행하여 결과를 원활히 제공될 수 있도록 하는 것은 중요한 문 제이다.
상호 작용 과정에는 상호 작용 주체(interaction subject)와 상호 작용 객개(interaction object)가 관여된다. 상호 작용 주체는 상호 작용을 촉발하기 위해 사용자가 직접 제어하는 입력 단위이며, 상호 작용 객체는 이러한 주체가 영향을 미치고자 하는 대상이다. 예를 들어 사용자가 손으로 건물을 만지려고 하는 상황에서 상호 작용 주체는 손이며, 객체는 건물이다. 상호작용의 성립을 위해서는 상호 작용 주체와 객체 간에 발생하는 직간접적인 접촉을 인지해야 한다. 이 과정은 추적된 주체의 위치를 기준으로 특정 객체와의 접촉을 확인하는 능동형 기법과 객체들을 중심으로 특정 주체의 접촉을 검사하는 수동형 기법으로 분류할 수 있으며, 이들은 다시 상호 작용 주체의 용이한 추적을 위해 특정 장비를 소지하거나 부착하는 접촉식과 그 반대의 비접촉식으로 구분될 수 있다.
접촉식 능동형 기법에 관한 대표적인 연구에는 패턴 마커가 부착된 패들(paddle)의 근접도(proximity)를 이용하는 방법이 있다. 이 방법의 상호 작용 주체는 손이며, 이 경우 손의 위치를 정확하게 추적하기 위한 도구가 필요하다. 상호작용 객체는 패들과 접촉하는 가상 객체이다. 이와 유사하게 데이터 글로브를 착용하여 손을 인식하는 방법도 있다. 이 경우에도 손이 주체가 된다. 다만 국지적인 손의 자세 인식은 가능하지만 가상 공간 내에서의 전역적인 위치 추적을 위해서는 별도의 추적 장치가 부가되어야 한다.
비접촉식 능동형 기법은 손의 제스쳐나 손의 위치를 추적하는 방법을 사용한다. 그러나 이와 같은 능동형 기법들은 상호작용 주체를 추적하는 과정의 난이도로 인해 상호 작용 자체에 많은 제약을 받는다. 또한 손과 같이 자유도가 높은 주체의 정확한 추적이 가능하더라도 실제 상호작용에서 그 정보를 모두 활용하는 것이 아니라면 비효율적인 측면이 있다.
수동형 기법은 상호 작용 주체로 인한 비용을 상호 작용 객체들에게 전가함으로써 사용자의 부담을 감소시킬 수 있다. 즉, 상호작용의 방향을 최종 결정하는 상호 작용 객체를 기준으로 추적이 이루어지면 주체측에 부과되었던 제약을 낮출 수 있다. 예를 들어 손가락 끝을 정밀하게 추적하여 가상 객체와의 접촉을 검사하는 것은 난이도가 높지만, 가상 객체의 경계 내부에서 주체의 종류 및 형태에 관계없이 물리적인 접촉의 발생 유무만을 확인하는 것은 상대적으로 쉬운 일이 될 수 있다.
그러나 종래 기술에 있어서는 사용자의 손의 움직임을 추적하고 공간을 기반으로 한 3차원 입력을 가능하게 하는 효과적인 방법이 제공되지는 않았다.
상기한 문제점을 해결하기 위하여 본 발명은, 증강 현실 환경에서 비접촉식 수동형 상호 작용이 가능하도록 하기 위해 가상의 공간 센서를 포함하는 증강 공간을 생성하고, 깊이 카메라를 이용하여 획득된 거리 정보를 이용하여 상호 작용 주체가 상기 공간 센서를 점유하는지 여부를 검출하여 상호 작용을 해석하는 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템을 제공함을 그 목적으로 한다.
본 발명은 상기한 목적을 달성하기 위하여, 현실 공간의 일반 영상을 취득하는 제 1 카메라로부터 상기 일반 영상을 획득하는 마커 트래킹부; 상기 현실 공간의 깊이 영상을 취득하는 제 2 카메라로부터 상기 깊이 영상을 획득하는 깊이 맵 생성부; 상기 현실 공간에 증강되며 상기 현실 공간에 대하여 일정한 영역을 차지하는 공간 센서를 포함하는 증강 공간을 생성하는 가상 센서 생성부; 상기 깊이 맵 생성부의 상기 깊이 영상과 상기 증강 공간과의 충돌 여부를 검출하여 상기 상호 작용 주체가 상기 증강 공간을 점유하는지 여부를 검출하는 공간 점유 검사부; 상기 공간 점유 검사부의 점유 검사를 바탕으로 상기 상호 작용 주체의 상호 작용을 해석하는 상호 작용 제어부; 및 상기 일반 영상에 상기 가상 센서를 포함한 가상 영상을 렌더링하여 출력하는 영상 렌더러를 포함하는 증강 현실 환경에서의 공간 상호 작용 시스템을 제공한다.
바람직하게는, 상기 증강 공간은 상기 공간 센서를 포함하는 상호 작용 레이 어 영역과 활성 레이어 영역을 포함하여, 상기 상호 작용 주체가 상기 활성 레이어 영역에 진입하는 경우 활성화되도록 설정되는 것을 특징으로 한다.
한편, 상기 마커 트래킹부는 상기 현실 공간에 존재하는 마커의 영상으로부터 상기 마커에 대한 거리를 산출하며, 상기 산출된 거리 정보와 상기 깊이 영상의 깊이 정보를 바탕으로 상기 깊이 영상의 깊이 정보에 따른 거리 정보를 보정하는 거리 정보 보정부를 추가로 포함하는 것이 바람직하다.
또한, 본 발명은, 증강 현실 환경에서 상호 작용 주체와 상호 작용 객체 간의 상호작용을 위한 방법에 있어서, (a) 제 1 카메라로부터 일반 영상을 획득하는 단계; (b) 공간 센서를 포함하는 증강 공간을 생성하는 단계; (c) 제 2 카메라로부터 깊이 영상을 획득하는 단계; (d) 상기 깊이 영상의 깊이 값을 이용한 거리 정보를 포함하는 깊이 맵을 생성하는 단계; (e) 상기 깊이 맵과 상기 증강 공간의 충돌 여부로부터 상기 증강 공간의 점유 여부를 판별하는 단계; 및 (f) 상기 증강 공간의 상기 공간 센서가 점유되는 경우 그 패턴으로부터 상호 작용을 해석하는 단계를 포함하는 증강 현실 환경에서의 공간 상호 작용 방법을 제공한다.
바람직하게는, 상기 증강 공간이 활성화된 경우에 상기 증강 공간이 상기 일반 영상에 시각적으로 증강되어 출력되는 것을 특징으로 한다.
바람직하게는, 상기 (f) 단계는, 상기 상호 작용 주체가 상기 공간 센서들을 점유하는 방향, 상기 공간 센서들을 점유하는 시간, 상기 공간 센서들 중 특정 그룹의 공간 센서들에 대한 순차적인 점유 중 적어도 어느 하나를 이용하여 상호 작용을 해석하는 것을 특징으로 한다.
더불어, 상기 (d)단계에서, 상기 일반 영상에 포함된 마커의 영상을 이용하여 상기 마커와 상기 제 1 카메라간의 거리를 산출하고 상기 마커에 대한 깊이값을 제 2 카메라로부터 획득한 후, 상기 마커에 대한 거리와 깊이값을 바탕으로 상기 깊이 맵의 거리 정보를 보정하는 것이 바람직하다.
본 발명에 따르면 증강 현실 환경에서 사용자는 별도의 장비 없이 손과 같은 신체부위 또는 펜과 같은 단순한 물체를 이용하여 3차원 입력이 가능해 지므로 증강 현실 환경에서의 용이한 입력을 할 수 있게 된다. 또한, 현실 환경에 존재하는 실제 물리적 객체에 직접 접촉하지 않아도 되므로 전시관이나 미니어쳐와 같이 관람자가 직접 대상을 만져서는 곤란한 상황에서도 효과적인 입력이 가능한 장점이 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 환경에서의 공간 상호 작용 시스템을 개략적으로 도시한 도면이다.
본 발명의 바람직한 실시예에 따른 증강 현실 환경에서의 공간 상호 작용 시스템(10)은, 현실 공간에 대한 일반 영상을 취득하는 제 1 카메라(20), 현실 공간에 대한 깊이 영상을 취득하는 제 2 카메라(30), 공간 상호 작용을 제공하는 공간 상호 작용 장치(40), 및 시각 디스플레이 장치(60)를 포함한다.
공간 상호 작용 장치(40)는, 제 1 카메라(20)의 영상에 포함된 마커를 트래킹하는 마커 트래킹부(42), 제 2 카메라(30)의 깊이 영상을 이용하여 깊이 맵(Depth Map)을 생성하는 깊이 맵 생성부(46), 공간 센서를 포함하는 증강 공간을 생성하는 공간 센서 생성부(48), 깊이 맵에 기반하여 증강 공간의 점유 여부를 검사하는 공간 점유 검사부(50), 공간 점유 검사 결과에 따라 상호 작용을 해석하는 상호 작용 제어부(52), 및 제 1 카메라(20)에서 획득된 영상에 추가적인 영상을 증강시키는 영상 렌더러(54)를 포함한다.
제 1 카메라(20)는 통상의 영상을 획득하는 일반적인 영상 획득 장치이며, 제 2 카메라(30)는 깊이 영상을 획득하는 깊이 영상 획득 장치이다. 이러한 제 1 카메라(20)와 제 2 카메라(30)는 각각 구비될 수 있으나 3DV Systems 사(社)의 Zcam과 같이 깊이 영상과 컬러 영상을 위한 개별적인 카메라 두 대를 하나의 본체에 통합한 구조로 구비되는 것도 가능하다.
깊이 맵 생성부(46)는 제 2 카메라(30)에서 획득된 깊이 영상을 바탕으로 깊이 맵을 생성한다. 깊이 맵 생성부(46)에서 생성된 깊이 맵의 각 픽셀에 대해서는 기준 위치로부터의 거리 정보가 포함됨이 바람직하다.
Zcam을 예로 들면, Zcam은 사용자가 지정한 기준 위치(거리 z)에 위치한 깊이 w 크기의 공간 내에 존재하는 임의 점의 깊이 ddepth를 0-255의 256 단계 값으로 제공한다. 이 때 실제 거리 ddistance는 수학식 1을 통해 계산할 수 있다.
Figure 112009007449557-PAT00001
그러나, 수학식 1에 따른 계산값은 상당한 오차를 발생시킨다. 수학식 1에 따른 오차는 대상 물체나 주변 환경의 적외선 반사도 특성 차이 등에 기인한 것으로서, 증강 현실 공간 내에서 마커 등을 이용해 계산한 거리와 차이를 나타낸다.
제 2 카메라(30)로부터 획득되는 각 픽셀의 ddepth를 이용하여 실제 거리를 보다 정확하게 나타내기 위하여 본 발명에서는 제 1 카메라(20)에서 획득되는 실제 환경의 영상을 이용한다.
실제 환경에는 소정의 마커(fiducial marker)가 구비된다. 마커는 2D 이미지 또는 3D 이미지일 수 있으며 ARToolkit에서 제공하는 AR 마커일 수 있다.
마커 트래킹부(42)는 제 1 카메라(20)로부터 획득된 실제 환경의 영상으로부터 상기 마커를 트래킹하고, 상기 마커의 실제 크기와 영상에서의 크기로부터 카메라와 마커 간의 거리
Figure 112009007449557-PAT00002
를 계산한다. 여기서 마커의 실제 크기는 이 미 알고 있는 것이라고 할 때 실제 환경의 영상에서의 마커 크기와 비교하여 모델-뷰 변환 행렬을 이용하면 상기
Figure 112009007449557-PAT00003
를 계산할 수 있다.
한편, 제 2 카메라(30)로부터의 깊이 영상으로부터 시간 t에서 마커가 차지하는 영역 M에 대한 깊이 값의 평균
Figure 112009007449557-PAT00004
를 수학식 2와 같이 계산한다.
Figure 112009007449557-PAT00005
Figure 112009007449557-PAT00006
와
Figure 112009007449557-PAT00007
를 이용하면 제 2 카메라로부터 획득된 깊이 정보 ddepth와 실제 거리 ddistance와의 관계를 다음의 수학식 3에 의해 구할 수 있다. 수학식 3에서 α와 β는 보정 계수이다.
Figure 112009007449557-PAT00008
이상의 깊이 정보를 이용한 실제 거리의 보정은 거리 정보 보정부(44)에서 실시간으로 수행하도록 함이 바람직하며, 이에 따라 깊이 맵 생성부(46)는 제 2 카메라(30)에서 획득된 깊이 영상의 깊이 정보를 바탕으로 깊이 맵의 각 픽셀에 대한 실제 거리 정보를 산출할 수 있게 된다.
다음으로 공간 센서 생성부(48)를 설명한다.
공간 센서 생성부(48)는 공간 센서를 포함하는 증강 공간을 생성하여 현실 공간에 공간 센서가 증강되도록 한다. 공간 센서는 상호 작용 주체와의 물리적인 접촉을 인식하는 가상의 센서로서 이는 현실 공간에 증강되어 나타난다.
도 2는 본 발명의 바람직한 실시예에 있어서 공간 센서를 포함하는 증강 공간을 도시한 도면이며, 도 3은 본 발명의 바람직한 실시예에 있어서 다수의 증강 공간을 생성시키는 예를 도시한 도면이고, 도 4은 본 발명의 바람직한 실시예에 있어서 증강 공간의 계층 구조를 도시한 도면이다.
증강 공간(70)은 현실 공간(1)에 증강되는 것으로서 시각 디스플레이 장치(60)에서 현실 공간(1)의 영상과 중첩되어 나타내어질 수 있다. 증강 공간(70)에는 다수의 공간 센서(72)가 구비된다.
증강 공간(70)은 현실 공간(1)에 소정 위치에 구비되도록 할 수 있는데, 현실 공간(1)에 다수의 물리적 객체가 존재하는 경우 각각의 물리적 객체에 따라 개별적인 증강 공간(70)을 각각 형성하고, 각 물리적 객체의 물리적 위치를 고려하여 증강 공간(70)이 배치되도록 할 수 있다. 예컨대, 도 3의 경우와 같이 현실 공간에 A와 B라는 물리적 객체가 존재하는 경우 사용자가 A와 B 각각에 대해 상호 작용을 할 수 있도록 A에 대한 증강 공간(70A)와 B에 대한 증강 공간(70B)가 각각 증강되도록 할 수 있다.
상호 작용 제어는 공간 센서(72)가 사용자에 의해 점유되고 있는지 여부를 판별함으로써 이루어진다.
증강 공간(70)은 현실 공간(1)에 대해 소정의 위치에 형성되므로써 각각의 공간 센서(72)는 현실 공간(1)에서 3차원 좌표값을 갖게 된다. 다시 말하면, 각각의 공간 센서(72)는 시각 디스플레이 장치(60)로 보았을 때 (x, y) 좌표와 더불어 깊이 방향으로의 거리 정보를 갖게 된다. 사용자가 신체 부위 또는 다른 물리적 도구를 현실 공간(1)에 위치시켰을 때 깊이 맵 생성부(46)는 그에 따른 깊이 맵을 생성하게 되며 이 깊이 맵 상의 위치가 공간 센서(72)의 위치와 일치하게 되면 그 공간 센서(72)는 점유된 것으로 판별될 수 있다.
이러한 원리에 의하여 공간 점유 검사부(50)는 공간 센서 생성부(48)에서 생성된 공간 센서(72)를 포함하는 증강 공간(70)과 깊이 맵 생성부(46)에서 생성된 깊이 맵을 이용하여 공간 센서(72)의 공간 점유 여부를 검사한다.
공간 점유 검사부(50)에서 증강 공간(70) 상의 공간 센서(72)가 점유되었는지 여부를 판별하는 일례로서 다음의 알고리즘을 이용할 수 있다. 다음의 알고리즘에서 깊이 맵 D 상의 각 점 pscreen으로부터 증강 공간 S의 모든 공간 센서 c에 대한 선분-메쉬 충돌 검사를 수행하여 공간 센서의 점유 상태를 확인한다. 효율적인 검사를 위하여 메쉬는 k-D Tree로 정렬하는 것이 바람직하다.
<공간 점유 알고리즘>
1 : for all pscreen ∈ D do
2: pworld ← screen2world(pscreen)
3: l ← line(pworld)
4: if l intersects c ∈ S then, c is occupied
5: end if
6 : end for
상기 알고리즘에서 screen2world 함수는 화면 좌표계로 표시되는 깊이 맵 D 상의 점(pscreen)을 세계 좌표계로 변환시키는 함수로서, 깊이 맵 D 상의 점(pscreen)의 좌표를 현실 공간상의 좌표로 변환시켜 준다.
함수 line()은 충돌 검사를 위한 선분 l을 생성시키는 것으로서, 선분 l의 시적점(ls)와 끝점(le)는 수학식 4와 5에 의해 구해진다. 수학식 4, 5에서 vl은 점 pworld가 카메라의 좌표 cworld로부터 멀어지는 방향이며, κ는 투영되는 선분의 길이를 조정하는 상수이다.
Figure 112009007449557-PAT00009
Figure 112009007449557-PAT00010
한편, 도 4를 참조하면 증강 공간(70)은 상호작용 레이어(76)와 활성 레이어(74)를 포함하도록 구성될 수 있다.
상호 작용 레이어(76)는 공간 센서(72)를 포함하여 공간 센서(72)의 점유 여부를 판단함으로써 상호 작용을 제어하는 기능을 수행하는 것이며, 활성 레이어(74)는 증강 공간(70)의 활성화 여부를 제어하는 기능을 수행하는 것이다. 본 발명의 실시에 있어서 증강 공간(70)은 현실 공간(1)에 증강되되 그 형상이 사용자에게 시각적으로 제시되지 않는 상태로 나타내어질 수 있다. 사용자가 신체 부위 또는 도구를 이용하여 증강 공간(70)에 접근할 때 먼저 활성 레이어(74) 영역을 거치게 된다. 즉 상호 작용 주체(사용자의 신체부위 또는 도구)가 증강 공간(70)의 활성 레이어(74)와 충돌하게 되면, 증강 공간(70) 전체가 활성화되어 시각적으로 제시되도록 한다. 결국 활성 레이어(74) 영역은 공간 센서(72)의 외곽에 배치되는 것으로 이해될 수 있다.
도 4에 따라 증강 공간(70)을 구성하게 되면, 현실 공간에 다수의 증강 공간(70)이 생성되어 배치되는 경우, 사용자에게는 직접 상호 작용을 하게 되는 증강 공간(70)만이 시각적으로 출력됨에 따라 증강 공간(70)에 의해 전체 장면이 복잡해지는 문제점을 해소할 수 있게 된다.
다음으로 상호 작용 제어부(52)에 대하여 설명한다.
상호 작용 제어부(52)는 공간 센서(72)의 점유 여부 및 점유 패턴에 따라 사용자의 상호 작용을 해석하고 그에 따른 명령이 수행되도록 제어하는 기능을 수행 한다.
공간 센서(72)의 점유 여부 및 점유 패턴에 따른 해석은, 상호 작용 주체의 동작 방향, 특정 공간 센서에 대한 점유 시간, 이동 경로 등을 기반으로 이루어질 수 있다. 이에 따른 상호 작용 제어부(52)의 기능은 방향 추출, 지연 선택, 경로 인식의 개념으로 설명할 수 있다.
■ 방향 추출
상호 작용 주체의 전반적인 행동 방향을 추출하는 기능을 말한다. 개별적인 공간 센서(72)의 크기는 상호 작용 주체에 비해 작게 형성되므로, 상호 작용 주체는 특정 시간에 어느 하나의 공간 센서(72)에 대해서만 충돌하는 것이 아니라 다수의 공간 센서와 동시에 충돌하게 된다. 따라서 상호 작용 주체의 행동 방향을 추출하기 위해서는 공간 센서(72)들의 전반적인 상태 변화를 추적하여야 한다.
이하에서 공간 센서의 상태(s)는 공간 센서의 점유 여부에 따라 F(free) 또는 O(occupied)로 표시하기로 하자.
공간 센서들 중 시간 t에 상태가 s인 것들의 집합 Cijk(t,s)는 수학식 6과 같다.
Figure 112009007449557-PAT00011
새롭게 활성화된(즉, 비점유 상태에서 점유 상태로 바뀐) 공간 센서의 집합 C+ ijk(t)와 비활성화된(즉, 점유 상태에서 비점유 상태로 바뀐) 공간 센서의 집합 C- ijk(t)는 각각 수학식 7 및 8과 같다.
Figure 112009007449557-PAT00012
Figure 112009007449557-PAT00013
따라서, 새롭게 활성화된 공간 센서의 집합 C+ ijk(t)의 평균 좌표와 새롭게 비활성화된 공간 센서의 집합 C- ijk(t)의 평균 좌표를 이용하면 상호 작용 주체의 전반적인 행동 방향을 추출할 수 있다.
■ 지연 선택
상호 작용 제어부(52)에서의 지연 선택 기능은 공간 센서(72)의 단위 공간에 대한 상호 작용 주체의 점유도에 기반하여 해당 공간의 선택 여부를 결정한다.
시간이 t일 때 증강 공간(70)의 점유율 rijk(t)는 수학식 9와 같이 나타낼 수 있다.
Figure 112009007449557-PAT00014
상호 작용 제어부(52)는 증강 공간(70)의 점유율(rijk(t))이 소정 크기(역치) 이상인 경우 증강 공간(70)이 점유된 것으로 판단하고, 증강 공간(70)이 점유된 시간이 소정 시간 이상인 경우 해당 증강 공간(70)이 선택된 것으로 판단한다. 이에 따라 상호 작용 제어부(52)는 상호 작용 주체가 특정 증강 공간(70)을 일정 비율 이상 차지한 상태에서 소정 시간이 경과하면 해당 증강 공간(70)을 선택한 것으로 판단하여 그 선택에 따른 기능(예컨대, 해당 증강 공간(70)이 현실 공간의 특정 객체에 대한 조작을 위한 것이고, 그 증강 공간(70)이 선택되면 현실 공간의 특정 객체에 대한 상세 정보를 증강시는 것과 같은 기능)을 수행하도록 제어될 수 있다.
■ 경로 인식
증강 공간(70)의 공간 센서(72)들은 일정한 군집으로서 순차적으로 연결되어 특정 경로로서 설정될 수 있다. 증강 공간(70) 내의 경로 pijk는 수학식 10과 같이 나태날 수 있다.
Figure 112009007449557-PAT00015
이에 따라 상호 작용 제어부(52)는 상호 작용 주체(예컨대, 사용자의 손)가 cijk1부터 cijkn까지의 센서들이 순서대로 점유하게 되면 제스쳐로써의 경로가 인식된 것으로 판단할 수 있다.
다음으로 본 발명의 바람직한 실시예에 따른 증강 현실 환경에서의 공간 상호 작용 방법을 설명한다.
도 5는 본 발명의 바람직한 실시예에 따른 증강 현실 환경에서의 공간 상호 작용 방법을 도시한 순서도이다.
제 1 카메라(10)로부터 현실 공간에 대한 일반 영상을 획득한다(S100).
한편, 공간 센서 생성부(48)는 공간 센서를 포함한 증강 공간을 생성하는데(S102), 바람직하게는 제 1 카메라(10)로부터 획득된 현실 공간의 영상을 고려하여 증강 공간의 위치가 설정되도록 한다. 예컨대 증강 공간은 현실 공간의 영상 중 특정 객체의 상부에 위치되도록 설정되거나, 영상에 대하여 항상 일정한 지점에 위치하도록 설정될 수 있다.
깊이맵 생성부(46)는 제 2 카메라(30)로부터 깊이 영상을 획득한다(S104).
제 2 카메라(30)로부터 획득된 깊이 영상의 깊이값을 이용하여 거리 정보를 산출하는 경우 전술한 바와 같은 오차가 발생할 수 있으므로 현실 공간에 구비된 마커를 이용하여 거리 정보를 보정할 필요가 있다. 이에 따라 거리 정보 보정 부(44)에서 거리 정보에 대한 보정, 깊이 영상과 일반 영상을 이용한 초기화가 수행되었는지 여부를 판별한다(S106).
초기화가 이루어지지 않은 경우 거리 정보 보정부(44)는 마커 영상을 이용한 거리 정보와 깊이값을 비교하여 제 2 카메라(30)로부터 얻어지는 깊이 영상의 깊이값을 보정한다(S108).
한편, 공간 센서 생성부(48)에서 생성한 증강 공간은 비활성화 상태로 설정되어 사용자에게 시각적으로 증강되어 표시되지 않는다(S110).
S106 단계에서 초기화가 완료된 것으로 판단된 경우, 공간 점유 검사부(50)는 증강 공간이 점유되었는지 여부를 판별한다(S112). 증강 공간은 도 4에 도시된 바와 같이 바람직하게는 활성 레이어(74)와 상호작용 레이어(76)를 포함하도록 구성되는데, 사용자의 조작에 의해 상호 작용 주체는 활성 레이어(74)와 먼저 충돌하고 다음으로 상호작용 레이어(76) 영역으로 들어서게 된다. 이에 따라 S112 단계에서 증강 공간이 점유되었다는 것은 적어도 활성 레이어(74) 영역에 상호 작용 주체가 진입했다는 것을 의미한다.
증강 공간이 점유되지 않은 경우에는 증강 공간이 사용되지 않는 상태이므로 증강 공간 비활성화 상태로 설정된다(S110).
S112 단계에서 증강 공간이 점유된 것으로 판단된 경우, 증강 공간의 공간 센서가 점유되었는지 여부를 판단한다(S114).
증강 공간이 점유되었으나 공간 센서가 점유되지 않은 경우에는 상호 작용 주체가 활성 레이어(74) 영역에 있다는 것을 의미하며, 이 경우에는 증강 공간을 활성화하고(S116), 증강 공간을 활성화 상태로 설정한다(S118).
S114 단계에서 증강 공간의 공간 센서가 점유된 것으로 판단되면, 상호 작용 제어부(52)는 공간 센서의 점유 패턴에 따른 상호 작용을 해석하고(S120), 상호 작용 제어부(52)의 해석 결과에 따라 입력값이 결정되어 상호 작용이 수행되도록 한다(S122).
영상 렌더러(54)는 이상의 과정에 따라 제 1 카메라(20)로부터 획득된 일반 영상에 증강 공간과 상호 작용의 수행 과정 및 결과를 렌더링하여 시각 디스플레이 장치로 출력한다(S124).
도 6과 도 7은 본 발명의 바람직한 실시예에 따른 증강 현실 환경에서의 상호 작용 방법 및 시스템의 실제 구현 결과를 도시한다.
도 6에 있어서 공간 센서를 포함한 증강 공간은 화면의 우측에 제시되었고, 상호 작용 주체로서 (a)는 한 손을, (b)는 양 손을, 그리고 (c)는 펜을 사용하였다.
한편, 도 7은 상호 작용 주체가 공간 센서를 점유하는 패턴에 따라 특정 입력이 가능하도록 한 예를 도시한 것이다. 도 7의 (a)는 상호 작용 주체가 증강 공간의 상부에서 하부로 이동할 경우 수직 슬라이더로서 해석되는 것과 그에 따라 수직 방향의 화살표가 함께 증강되어 화면에 출력되는 상태를 나타낸다. 도 7의 (b)는 지연 선택의 예를, 그리고 (c)는 경로 인식의 예를 나타낸다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 환경에서의 공간 상호 작용 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 바람직한 실시예에 있어서 공간 센서를 포함하는 증강 공간을 도시한 도면,
도 3은 본 발명의 바람직한 실시예에 있어서 다수의 증강 공간을 생성시키는 예를 도시한 도면,
도 4은 본 발명의 바람직한 실시예에 있어서 증강 공간의 계층 구조를 도시한 도면,
도 5는 본 발명의 바람직한 실시예에 따른 증강 현실 환경에서의 공간 상호 작용 방법을 도시한 순서도,
도 6과 도 7은 본 발명의 바람직한 실시예에 따른 증강 현실 환경에서의 상호 작용 방법 및 시스템의 실제 구현 결과를 도시한 도면이다.
<도면의 주요 부분에 대한 도면부호의 설명>
20 : 제 1 카메라 30 : 제 2 카메라
40 : 공간 상호 작용 장치 42 : 마커 트래킹부
44 : 거리 정보 보정부 46 : 깊이 맵 생성부
48 : 공간 센서 생성부 50 : 공간 점유 검사부
52 : 상호 작용 제어부 54 : 영상 렌더러
60 : 시각 디스플레이 장치 70 : 증강 공간
72 : 공간 센서

Claims (11)

  1. 증강 현실 환경에서 상호 작용 주체와 상호 작용 객체 간의 상호작용을 위한 시스템에 있어서,
    현실 공간의 일반 영상을 취득하는 제 1 카메라로부터 상기 일반 영상을 획득하는 마커 트래킹부;
    상기 현실 공간의 깊이 영상을 취득하는 제 2 카메라로부터 상기 깊이 영상을 획득하는 깊이 맵 생성부;
    상기 현실 공간에 증강되며 상기 현실 공간에 대하여 일정한 영역을 차지하는 공간 센서를 포함하는 증강 공간을 생성하는 가상 센서 생성부;
    상기 깊이 맵 생성부의 상기 깊이 영상과 상기 증강 공간과의 충돌 여부를 검출하여 상기 상호 작용 주체가 상기 증강 공간을 점유하는지 여부를 검출하는 공간 점유 검사부;
    상기 공간 점유 검사부의 점유 검사를 바탕으로 상기 상호 작용 주체의 상호 작용을 해석하는 상호 작용 제어부; 및
    상기 일반 영상에 상기 가상 센서를 포함한 가상 영상을 렌더링하여 출력하는 영상 렌더러
    를 포함하는 증강 현실 환경에서의 공간 상호 작용 시스템.
  2. 제1항에 있어서,
    상기 증강 공간은 상기 공간 센서를 포함하는 상호 작용 레이어 영역과 활성 레이어 영역을 포함하여, 상기 상호 작용 주체가 상기 활성 레이어 영역에 진입하는 경우 활성화되도록 설정되는 것을 특징으로 하는 증강 현실 환경에서의 공간 상호 작용 시스템.
  3. 제1항에 있어서,
    상기 상호 작용 제어부는, 상기 상호 작용 주체가 상기 공간 센서들을 일정 방향으로 충돌하는 경우 상기 공간 센서들의 점유 상태의 변화로부터 상기 상호 작용 주체의 행동 방향을 추출하는 것을 특징으로 하는 증강 현실 환경에서의 공간 상호 작용 시스템.
  4. 제1항에 있어서,
    상기 상호 작용 제어부는, 상기 상호 작용 주체가 상기 증강 공간의 상기 공간 센서를 점유하는 비율 및 시간으로부터 상기 증간 공간의 선택 여부를 판단하는 것을 특징으로 하는 증강 현실 환경에서의 공간 상호 작용 시스템.
  5. 제1항에 있어서,
    상기 상호 작용 제어부는, 상기 상호 작용 주체가 상기 증강 공간의 상기 공간 센서들 중에서 일련의 그룹을 이룬 공간 센서를 순차적으로 점유하는 경우 상호 작용 주체의 특정 제스쳐로 인식하는 것을 특징으로 하는 증강 현실 환경에서의 공 간 상호 작용 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 마커 트래킹부는 상기 현실 공간에 존재하는 마커의 영상으로부터 상기 마커에 대한 거리를 산출하며,
    상기 산출된 거리 정보와 상기 깊이 영상의 깊이 정보를 바탕으로 상기 깊이 영상의 깊이 정보에 따른 거리 정보를 보정하는 거리 정보 보정부를 추가로 포함하는 것을 특징으로 하는 증강 현실 환경에서의 공간 상호 작용 시스템.
  7. 증강 현실 환경에서 상호 작용 주체와 상호 작용 객체 간의 상호작용을 위한 방법에 있어서,
    (a) 제 1 카메라로부터 일반 영상을 획득하는 단계;
    (b) 공간 센서를 포함하는 증강 공간을 생성하는 단계;
    (c) 제 2 카메라로부터 깊이 영상을 획득하는 단계;
    (d) 상기 깊이 영상의 깊이 값을 이용한 거리 정보를 포함하는 깊이 맵을 생성하는 단계;
    (e) 상기 깊이 맵과 상기 증강 공간의 충돌 여부로부터 상기 증강 공간의 점유 여부를 판별하는 단계; 및
    (f) 상기 증강 공간의 상기 공간 센서가 점유되는 경우 그 패턴으로부터 상호 작용을 해석하는 단계
    를 포함하는 증강 현실 환경에서의 공간 상호 작용 방법.
  8. 제7항에 있어서,
    상기 증강 공간은 상기 공간 센서를 포함하는 상호 작용 레이어 영역과 활성 레이어 영역을 포함하여, 상기 상호 작용 주체가 상기 활성 레이어 영역에 진입하는 경우 활성화되도록 설정되는 것을 특징으로 하는 증강 현실 환경에서의 공간 상호 작용 방법.
  9. 제8항에 있어서,
    상기 증강 공간이 활성화된 경우에 상기 증강 공간이 상기 일반 영상에 시각적으로 증강되어 출력되는 것을 특징으로 하는 증강 현실 환경에서의 공간 상호 작용 방법.
  10. 제7항에 있어서,
    상기 (f) 단계는, 상기 상호 작용 주체가 상기 공간 센서들을 점유하는 방향, 상기 공간 센서들을 점유하는 시간, 상기 공간 센서들 중 특정 그룹의 공간 센서들에 대한 순차적인 점유 중 적어도 어느 하나를 이용하여 상호 작용을 해석하는 것을 특징으로 하는 증강 현실 환경에서의 공간 상호 작용 방법.
  11. 제7항 내지 제10항 중 어느 한 항에 있어서,
    상기 (d)단계에서,
    상기 일반 영상에 포함된 마커의 영상을 이용하여 상기 마커와 상기 제 1 카메라간의 거리를 산출하고 상기 마커에 대한 깊이값을 제 2 카메라로부터 획득한 후, 상기 마커에 대한 거리와 깊이값을 바탕으로 상기 깊이 맵의 거리 정보를 보정하는 것을 특징으로 하는 증강 현실 환경에서의 공간 상호 작용 방법.
KR1020090009651A 2009-02-06 2009-02-06 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템 KR101002785B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090009651A KR101002785B1 (ko) 2009-02-06 2009-02-06 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090009651A KR101002785B1 (ko) 2009-02-06 2009-02-06 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20100090401A true KR20100090401A (ko) 2010-08-16
KR101002785B1 KR101002785B1 (ko) 2010-12-21

Family

ID=42755981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090009651A KR101002785B1 (ko) 2009-02-06 2009-02-06 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101002785B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101245214B1 (ko) * 2010-08-27 2013-03-19 브로드콤 코포레이션 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법 및 시스템
KR20140007427A (ko) * 2011-03-10 2014-01-17 마이크로소프트 코포레이션 포토레프리젠터티브 뷰의 테마 기반 증강
US8988464B2 (en) 2010-12-14 2015-03-24 Samsung Electronics Co., Ltd. System and method for multi-layered augmented reality
KR101535801B1 (ko) * 2013-12-09 2015-07-24 계명대학교 산학협력단 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템
WO2015199470A1 (ko) * 2014-06-25 2015-12-30 한국과학기술원 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
KR20160000873A (ko) * 2014-06-25 2016-01-05 한국과학기술원 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
KR20160000986A (ko) * 2014-06-25 2016-01-06 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
US9304194B2 (en) 2011-01-20 2016-04-05 Samsung Electronics Co., Ltd. Apparatus and method for estimating camera motion using depth information, and augmented reality system
KR20160101910A (ko) * 2013-12-19 2016-08-26 소니 주식회사 화상 처리 장치 및 방법, 및 프로그램
KR20160147450A (ko) * 2015-06-15 2016-12-23 한국전자통신연구원 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법
WO2018186516A1 (ko) * 2017-04-03 2018-10-11 주식회사 머셔앤칼린 가상현실을 이용한 공연 연출 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101971948B1 (ko) 2011-07-28 2019-04-24 삼성전자주식회사 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법
KR101543287B1 (ko) * 2013-04-23 2015-08-11 한국과학기술원 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100787952B1 (ko) 2006-08-11 2007-12-24 광주과학기술원 지역 점유맵 인스턴스를 이용한 햅틱 렌더링 방법과 장치,및 이를 이용한 햅틱 시스템

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101245214B1 (ko) * 2010-08-27 2013-03-19 브로드콤 코포레이션 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법 및 시스템
US8988464B2 (en) 2010-12-14 2015-03-24 Samsung Electronics Co., Ltd. System and method for multi-layered augmented reality
US9304194B2 (en) 2011-01-20 2016-04-05 Samsung Electronics Co., Ltd. Apparatus and method for estimating camera motion using depth information, and augmented reality system
KR20140007427A (ko) * 2011-03-10 2014-01-17 마이크로소프트 코포레이션 포토레프리젠터티브 뷰의 테마 기반 증강
US10972680B2 (en) 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
KR101535801B1 (ko) * 2013-12-09 2015-07-24 계명대학교 산학협력단 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템
KR20160101910A (ko) * 2013-12-19 2016-08-26 소니 주식회사 화상 처리 장치 및 방법, 및 프로그램
WO2015199470A1 (ko) * 2014-06-25 2015-12-30 한국과학기술원 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
KR20160000873A (ko) * 2014-06-25 2016-01-05 한국과학기술원 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
KR20160000986A (ko) * 2014-06-25 2016-01-06 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
KR20160147450A (ko) * 2015-06-15 2016-12-23 한국전자통신연구원 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법
WO2018186516A1 (ko) * 2017-04-03 2018-10-11 주식회사 머셔앤칼린 가상현실을 이용한 공연 연출 장치 및 방법

Also Published As

Publication number Publication date
KR101002785B1 (ko) 2010-12-21

Similar Documents

Publication Publication Date Title
KR101002785B1 (ko) 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템
JP6723061B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
CN109298629B (zh) 在未绘制地图区域中引导移动平台的系统及方法
JP7079231B2 (ja) 情報処理装置及び情報処理システム及び制御方法、プログラム
JP5380789B2 (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8963963B2 (en) Video-based image control system
US20170140552A1 (en) Apparatus and method for estimating hand position utilizing head mounted color depth camera, and bare hand interaction system using same
CN102262725B (zh) 三维场景的分析
CN103365411A (zh) 信息输入设备、信息输入方法和计算机程序
US20190354799A1 (en) Method of Determining a Similarity Transformation Between First and Second Coordinates of 3D Features
US20110292036A1 (en) Depth sensor with application interface
KR101410273B1 (ko) 증강현실 응용을 위한 환경 모델링 방법 및 장치
CN105659295A (zh) 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备
CN103824282A (zh) 使用表面映射图、物体阴影和一个相机的触摸及运动检测
JP2006277076A (ja) 画像インターフェイス装置
CN103677240A (zh) 虚拟触摸交互方法和虚拟触摸交互设备
US10573083B2 (en) Non-transitory computer-readable storage medium, computer-implemented method, and virtual reality system
KR101888491B1 (ko) 가상 공간 이동 장치 및 방법
JP7378232B2 (ja) 画像処理装置およびその制御方法
KR101338958B1 (ko) 멀티터치 단말기에서 가상물체의 3차원 움직임 조작시스템 및 방법
CN110313021B (zh) 增强现实提供方法、装置以及计算机可读记录介质
JP5416489B2 (ja) 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム
Grasso et al. Strategies to evaluate the visibility along an indoor path in a point cloud representation
RE Low cost augmented reality for industrial problems
KR101314756B1 (ko) 컨트롤 마커를 이용한 증강 현실 제공 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130904

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141010

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151120

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161114

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee