KR101656618B1 - 물리 객체에 대한 증강 현실 제공 방법 및 장치 - Google Patents

물리 객체에 대한 증강 현실 제공 방법 및 장치 Download PDF

Info

Publication number
KR101656618B1
KR101656618B1 KR1020150076436A KR20150076436A KR101656618B1 KR 101656618 B1 KR101656618 B1 KR 101656618B1 KR 1020150076436 A KR1020150076436 A KR 1020150076436A KR 20150076436 A KR20150076436 A KR 20150076436A KR 101656618 B1 KR101656618 B1 KR 101656618B1
Authority
KR
South Korea
Prior art keywords
physical object
posture
augmented reality
time
image
Prior art date
Application number
KR1020150076436A
Other languages
English (en)
Other versions
KR20160088208A (ko
Inventor
박종일
최준영
백용환
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20160088208A publication Critical patent/KR20160088208A/ko
Application granted granted Critical
Publication of KR101656618B1 publication Critical patent/KR101656618B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Optics & Photonics (AREA)

Abstract

예측된 물리 객체의 움직임을 이용하여 물리 객체로 증강 현실 컨텐츠를 투사하는 증강 현실 제공 방법 및 장치에 관한 기술이 개시된다. 개시된 증강 현실 제공 방법은, 물리 객체에 대한 영상을 획득하는 단계; 상기 획득한 영상을 이용하여, 상기 물리 객체의 위치 및 자세를 예측하는 단계; 상기 예측된 물리 객체의 위치 및 자세에 기반하여, 가상 컨텐츠를 생성하는 단계; 및 상기 예측된 물리 객체의 위치 및 자세에 기반하여, 상기 가상 컨텐츠를 상기 물리 객체로 투사하는 단계를 포함한다.

Description

물리 객체에 대한 증강 현실 제공 방법 및 장치{Method and Device for Providing Augmented Reality to Physical Object}
본 발명은 물리 객체에 대한 증강 현실 제공 방법 및 장치에 관한 것으로, 더욱 상세하게는 예측된 물리 객체의 움직임을 이용하여 물리 객체로 증강 현실 컨텐츠를 투사하는 증강 현실 제공 방법 및 장치에 관한 것이다.
증강 현실 기술은 기존의 글 또는 그림 등으로 표현할 수 있는 정보의 한계를 벗어나, 더욱 실제 공간과 가까운 위치에서 사용자에게 정보를 전달해 줄 수 있는 기술이다.
물리 객체와 증강 정보의 공간적 이질성을 극복하기 위해, 최근에는 프로젝터를 이용하여 물리 객체에 증강 현실 컨텐츠, 즉 가상 컨텐츠를 투사하는 방법이 연구되고 있다.
도 1은 프로젝터를 이용하는 일반적인 증강 현실 제공 시스템을 도시하고 있다.
도 1에 도시된 바와 같이, 프로젝터를 이용하는 증강 현실 시스템은 물리 객체(110), 카메라(120), 컴퓨터(130) 및 프로젝터(140)를 포함한다.
카메라(120)는 물리 객체(110)에 대한 영상을 획득하며, 컴퓨터(130)는 획득한 영상을 분석하고, 물리 객체(110)로 투사될 가상 컨텐츠를 생성한다. 프로젝터(140)는 컴퓨터(130)로부터 가상 컨텐츠를 제공받아, 물리 객체(110)로 투사한다.
한편, 카메라(120)에 의해 영상이 생성되고 가상 컨텐츠가 물리 객체(110)로 투사되기까지 처리 시간이 소요된다. 따라서 물리 객체(110)가 고정되어 있는 경우에는 이러한 지연 시간이 큰 문제가 되지 않으나, 물리 객체(110)가 움직이는 경우에는 가상 컨텐츠가 물리 객체에 정확하게 투사될 수 없는 문제가 있다.
즉, 물리 객체(110)의 정중앙에 가상 컨텐츠가 투사되도록 시스템이 설계되었더라도 물리 객체(110)가 이동하는 경우, 전술된 지연 시간에 의해 가상 컨텐츠가 정중앙이 아닌 물리 객체(110)의 좌측 또는 우측 등에 투사되거나 또는 물리 객체(110)로 투사되지 못할 수 있다.
따라서, 이러한 오차를 보정하여 물리 객체(110)로 정확하게 가상 컨텐츠를 투사할 수 있는 증강 현실 제공 방법에 대한 연구가 필요하다.
본 발명은 동적 물리 객체의 움직임을 예측하여, 동적 물리 객체로 정확하게 가상 컨텐츠를 제공할 수 있는 증강 현실 제공 방법 및 장치를 제공하기 위한 것이다.
또한 본 발명은 물리 객체의 특정 위치 및 자세에 따라 가상 컨텐츠의 크기, 형상 등을 변경시켜 물리 객체로 투사하여, 현실감을 극대화할 수 있는 증강 현실 제공 방법 및 장치를 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 물리 객체에 대한 증강 현실 제공 방법에 있어서, 상기 물리 객체에 대한 영상을 획득하는 단계; 상기 획득한 영상을 이용하여, 상기 물리 객체의 위치 및 자세를 예측하는 단계; 상기 예측된 물리 객체의 위치 및 자세에 기반하여, 가상 컨텐츠를 생성하는 단계; 및 상기 예측된 물리 객체의 위치 및 자세에 기반하여, 상기 가상 컨텐츠를 상기 물리 객체로 투사하는 단계를 포함하는 증강 현실 제공 방법이 제공된다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 물리 객체에 대한 증강 현실 제공 방법에 있어서, 상기 물리 객체에 대한 영상을 획득하는 단계; 상기 획득한 영상을 이용하여, 상기 물리 객체의 움직임 정도에 따라 상기 물리 객체에 대한 위치 및 자세 예측 여부를 결정하는 단계; 상기 결정 결과에 따라, 제1시간 동안의 상기 물리 객체의 움직임을 분석하여, 상기 물리 객체의 위치 및 자세를 예측하는 단계; 및 상기 예측된 물리 객체의 위치 및 자세에 기반하여, 가상 컨텐츠를 생성하고, 상기 물리 객체로 투사하는 단계를 포함하는 증강 현실 제공 방법이 제공된다.
또한 상기한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따르면, 물리 객체에 대한 증강 현실 제공 장치에 있어서, 상기 물리 객체에 대한 영상을 획득하는 영상 획득부; 상기 획득한 영상을 이용하여, 상기 물리 객체의 위치 및 자세를 예측하는 움직임 예측부; 상기 예측된 물리 객체의 위치 및 자세에 기반하여, 가상 컨텐츠를 생성하는 영상 생성부; 및 상기 예측된 물리 객체의 위치 및 자세에 기반하여, 상기 가상 컨텐츠를 상기 물리 객체로 투사하는 영상 출력부를 포함하는 증강 현실 제공 장치가 제공된다.
본 발명에 따르면, 동적 물리 객체의 움직임을 예측함으로써 지연 시간에 따른 영향을 최소화하고 동적 물리 객체로 정확하게 가상 컨텐츠를 투사할 수 있다.
또한 본 발명에 따르면, 물리 객체의 특정 위치 및 자세에 따라 가상 컨텐츠의 크기, 형상 등을 변경시켜 물리 객체로 투사함으로써 현실감을 극대화할 수 있다.
또한 본 발명에 따르면, 물리 객체의 움직임이 미미한 경우에는 물리 객체의 자세 및 위치 예측을 수행하지 않음으로써, 물리 객체의 자세 및 위치 예측에 따른 연산량을 감소시킬 수 있다.
도 1은 프로젝터를 이용하는 일반적인 증강 현실 제공 시스템을 도시하고 있다.
도 2는 본 발명의 일실시예에 따른 물리 객체에 대한 증강 현실 제공 시스템을 설명하기 위한 도면이다.
도 3은 물리 객체의 이동 방향 및 자세를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 물리 객체에 대한 증강 현실 제공 방법을 설명하기 위한 도면이다.
도 5는 물리 객체의 위치 및 자세를 예측하기 위한 실험 환경을 나타내는 도면이다.
도 6은 본 발명에 따른 자동차에 대한 움직임 예측 결과를 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 물리 객체에 대한 증강 현실 제공 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
물리 객체로 가상 컨텐츠를 투사, 즉 프로젝션하여 증강 현실 시스템을 구현할 경우, 물리 객체가 움직인다면 전술된 정보 처리 시간 등의 시간 지연에 의해 가상 컨텐츠가 물리 객체로 투사되지 않거나 원하지 않는 영역에 투사될 수 있다.
본 발명은 물리 객체의 움직임을 예측하고, 예측된 물리 객체의 위치 및 자세에 기반하여, 물리 객체로 가상 컨텐츠를 투사함으로써 동적 물리 객체로 정확하게 가상 컨텐츠를 투사할 수 있다. 일예로서, 물리 객체가 등속도로 이동하는 경우, 본 발명은 물리 객체의 이동에 따른 물리 객체의 위치를 예측하고 예측된 위치로 가상 컨텐츠를 투사함으로써, 물리 객체에 정확하게 가상 컨텐츠를 증강시킬 수 있다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 2는 본 발명의 일실시예에 따른 물리 객체에 대한 증강 현실 제공 시스템을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이 본 발명에 따른 증강 현실 제공 시스템은 물리 객체(210) 및 증강 현실 제공 장치(220)를 포함한다. 증강 현실 제공 장치(220)는 영상 획득부(221), 움직임 예측부(223), 영상 생성부(225) 및 영상 출력부(227)를 포함한다.
영상 획득부(221)는 물리 객체에 대한 영상을 획득하며, 일실시예로서 카메라일 수 있다. 물리 객체(210)에 마커가 부착된 경우, 영상 획득부(221)는 마커 영상을 획득할 수 있으며, 마커가 적외선 마커인 경우 영상 획득부(221)는 적외선 마커를 인식하는 적외선 카메라를 포함할 수 있다. 물리 객체(210)가 이동하거나 움직이는 경우, 영상 획득부(221)는 물리 객체 또는 물리 객체에 부착된 마커를 추적하며 물리 객체에 대한 영상을 획득할 수 있다.
움직임 예측부(223)는 획득한 영상을 이용하여, 물리 객체(210)의 위치 및 자세를 예측한다. 영상 생성부(225)는 예측된 물리 객체(210)의 위치 및 자세에 기반하여, 가상 컨텐츠를 생성하고, 영상 출력부(227)는 예측된 물리 객체(210)의 위치 및 자세에 기반하여, 가상 컨텐츠를 물리 객체(210)로 투사한다. 영상 출력부(227)는 일실시예로서 프로젝터일 수 있다.
예를 들어, 물리 객체(210)의 이동에 의해 물리 객체(210)와 증강 현실 제공 장치(220)의 거리가 멀어질 경우, 영상 생성부(225)는 가상 컨텐츠를 보다 작게 생성하고, 영상 출력부(227)는 이동한 물리 객체(210)의 위치로 가상 컨텐츠를 투사한다.
움직임 예측부(223)에 대해 보다 상세히 설명하면, 움직임 예측부(223)는 획득한 영상을 분석하여 물리 객체(210)의 위치 및 자세를 예측하는데, 영상을 획득한 시점으로부터 제1시간 이후의 위치 및 자세를 예측할 수 있다. 도 3(a)에 도시된 화살표와 같이 물리 객체(210)가 이동하며, t0 시간에서 물리 객체(210)에 대한 영상이 획득된 경우, 움직임 예측부(223)는 t1 시간에서의 물리 객체(210)에 대한 위치 및 자세를 예측할 수 있다.
t1 시간은 영상을 획득한 시점(t0)으로부터 제1시간 이후의 시점으로서, 제1시간은 물리 객체(210)의 위치 및 자세 예측 시간(ta), 가상 컨텐츠의 생성 시간(tb) 및 가상 컨텐츠의 투사 시간(tc) 중 적어도 하나 이상에 따라 결정될 수 있다. 즉, 실시예에 따라서, 가상 컨텐츠의 투사 시간(tc)이 매우 적다면, 제1시간은 물리 객체(210)의 위치 및 자세 예측 시간(ta), 가상 컨텐츠의 생성 시간(tb)을 합한 시간이 될 수 있다.
이 때, 움직임 예측부(223)는 제2시간동안 물리 객체(210)의 움직임을 판단하고 판단 결과에 따라, 물리 객체(210)의 위치 및 자세를 예측할 수 있는데, 움직임 예측부(223)는 t0 시간 전 제2시간동안 물리 객체(210)에 대한 영상을 분석하여 물리 객체(210)의 위치 및 자세 정보를 저장함으로써, 물리 객체(210)의 위치 및 자세를 예측하는데 활용할 수 있다.
일실시예로서, 움직임 예측부(223)는 물리 객체(210)의 움직임을 분석하여 물리 객체(210)의 움직임 패턴 정보를 생성할 수 있으며, 물리 객체(210)의 움직임과 기 저장된 움직임 패턴의 유사도를 판단하여, 유사도가 임계값 이상인 경우, 움직임 패턴을 이용하여 물리 객체(210)의 위치 및 자세를 예측할 수 있다.
예를 들어, 기 저장된 물리 객체(210)의 움직임 패턴 중 원운동 패턴이 포함되며, 물리 객체(210)의 현재 움직임이 원운동 패턴과 유사할 경우, 움직임 예측부(223)는 원운동 패턴을 이용하여 물리 객체(210)의 자세 및 위치를 보다 용이하게 예측할 수 있다.
영상 출력부(227)는 예측된 물리 객체(210)의 방향으로 가상 컨텐츠를 투사하는데, 본 발명에 따르면, 동적 물리 객체의 움직임을 예측하여 영상 출력부(227)의 가상 컨텐츠 출력 방향을, t1 시간에서 예측된 물리 객체의 위치로 미리 이동시킴으로써, 지연 시간에 따른 영향을 최소화하고 동적 물리 객체로 정확하게 가상 컨텐츠를 투사할 수 있다.
한편, 물리 객체의 위치 및 자세는 3차원 공간 좌표계에서 정의될 수 있다. 따라서 사용자가 인식하는 물리 객체의 크기 및 형상은 3차원 공간 좌표계에서의 물리 객체의 위치뿐만 아니라 자세에 따라서도 달라질 수 있으며, 본 발명은 물리 객체의 특정 자세에 따라 가상 컨텐츠의 크기, 형상 등을 변경시켜 물리 객체로 투사함으로써 현실감을 극대화할 수 있다.
예를 들어, 예측된 물리 객체의 자세가 도 3(b)에 도시된 바와 같이 X-Y 평면을 기준으로 기울어진 경우, 사용자와 가까운 물리 객체(310)의 일부분(320)은 사용자에게 크게 인식되며 사용자로부터 멀리 위치한 물리 객체(310)의 일부분(330)은 사용자에게 작게 인식된다. 이 때, 영상 생성부(225)는 물리 객체(310)의 자세에 따라 물리 객체(310)의 일부분(320)에 대응되는 가상 컨텐츠는 확대하고 물리 객체(310)의 일부분(330)에 대응되는 가상 컨텐츠는 축소할 수 있다.
즉, 본 발명은 동적 물리 객체의 위치뿐만 아니라 자세까지 예측하여 가상 컨텐츠를 생성하고 투사함으로써, 동적 물리 객체로 정확하게 가상 컨텐츠를 투사할 수 있다.
도 4는 본 발명의 일실시예에 따른 물리 객체에 대한 증강 현실 제공 방법을 설명하기 위한 도면이다. 도 4에서는 도 2에서 설명된 증강 현실 제공 장치의 증강 현실 제공 방법이 일실시예로서 설명된다.
증강 현실 제공 장치는 물리 객체에 대한 영상을 획득(S410)하고, 획득한 영상을 이용하여, 물리 객체의 위치 및 자세를 예측(S420)한다. 그리고 예측된 물리 객체의 위치 및 자세에 기반하여, 가상 컨텐츠를 생성(S430)하여 물리 객체로 투사(S440)한다.
이 때, 증강 현실 제공 장치는 영상을 획득한 시점으로부터 제1시간 이후의 위치 및 자세를 예측하며, 제1시간은 물리 객체의 위치 및 자세 예측 시간, 가상 컨텐츠의 생성 시간 및 가상 컨텐츠의 투사 시간 중 적어도 하나 이상에 따라 결정될 수 있다.
한편, 본 발명에 따른 증강 현실 제공 장치는 물리 객체의 속도 및 가속도를 산출하고, 속도 및 상기 가속도에 기반한 칼만 필터(Kalman filter)를 이용하여, 물리 객체의 위치 및 자세를 예측할 수 있다. 물리 객체의 속도 및 가속도는 물리 객체의 움직임을 반영하기 때문이다.
일실시예로서, 증강 현실 제공 장치는 [수학식 1]과 같은 운동 방정식을 이용하여 물리 객체의 위치 및 자세를 예측할 수 있다. 여기서, v는 속도, a는 가속도, t는 시간이다.
Figure 112015052174201-pat00001
칼만 필터는 잡음이 포함되는 환경에서 특정 시점의 상태가 이전 시점의 상태와 선형적인 관계를 가지고 있다고 가정하여 특정 시점에서의 값을 확률적으로 예측하는 필터이다. 물리 객체에 대한 영상을 분석하여 물리 객체의 속도 및 가속도 값을 획득할 수 있으며, 획득한 속도 및 가속도 값을 칼만 필터에 적용하여, 물리 객체의 움직임을 예측할 수 있다.
도 5에 도시된 바와 같이 물리 객체가 자동차(510)이며 점선 레인을 따라 이동하는 환경에서, 자동차(510)의 움직임이 예측되지 않는 경우 시간 지연에 의해 파란 원 영역(520)에 가상 컨텐츠가 투사될 수 있다. 하지만 본 발명에 따른 자동차(510)에 대한 움직임 예측 결과를 나타내는 도 6을 참조하면, 운동 방적식에 기반한 칼만필터를 이용하여 자동차의 움직임을 예측한 경우(빨간선, 파란선) 참값 궤적(검은선)과 유사하며, 따라서 자동차(510)로 정확하게 가상 컨텐츠가 투사될 수 있다. 한편, 칼만 필터를 이용하지 않고 자동차(510)의 평균 속도만을 이용(분홍선)하거나 가속도를 이용(초록선)하는 경우, 칼만 필터를 이용하는 경우와 비교하여 움직임 예측 정확도가 떨어짐을 알 수 있다.
즉, 본 발명은 실시예에 따라서, 칼만 필터를 이용하여 물리 객체의 움직임을 예측하거나 물리 객체의 움직임 패턴을 분석하여 물리 객체의 움직임을 예측할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 물리 객체에 대한 증강 현실 제공 방법을 설명하기 위한 도면이다. 도 7에서는 도 2에서 설명된 증강 현실 제공 장치의 증강 현실 제공 방법이 일실시예로서 설명된다.
도 7에서 설명되는 증강 현실 제공 방법은 도 4에서 설명되는 움직임 예측 방법을 이용하나, 움직임 예측에 따른 연산량을 감소시키기 위해 물리 객체가 움직이는지 여부를 판단하여 움직임 예측을 수행한다.
보다 구체적으로 증강 현실 제공 장치는 물리 객체에 대한 영상을 획득(S710)하고, 획득한 영상을 이용하여, 상기 물리 객체의 움직임 정도에 따라 물리 객체에 대한 위치 및 자세 예측 여부를 결정(S720)한다. 이 때, 증강 현실 제공 장치는 기 설정된 시간(제1시간) 동안, 물리 객체의 변이, 속도 또는 가속도 중 적어도 하나가 임계값 이상인 경우, 물리 객체의 위치 및 자세를 예측하는 것으로 결정할 수 있다. 물리 객체의 변이, 속도 또는 가속도가 임계값 이하인 경우에는, 물리 객체의 움직임이 미미하여 가상 컨텐츠의 투사에 미치는 영향이 적으므로, 물리 객체의 위치 및 자세를 예측하지 않는다.
증강 현실 제공 장치는 물리 객체가 움직이는 경우, 즉, 물리 객체의 위치 및 자세를 예측하기로 결정한 경우 기 설정된 시간 동안(제2시간)의 물리 객체의 움직임을 분석하여, 물리 객체의 위치 및 자세를 예측(S730)하고, 예측된 물리 객체의 위치 및 자세에 기반하여, 가상 컨텐츠를 생성하고, 물리 객체로 투사(S740)한다.
즉, 본 발명에 따른 증강 현실 제공 방법은 물리 객체의 움직임이 미미한 경우에는 물리 객체의 자세 및 위치 예측을 수행하지 않음으로써, 물리 객체의 자세 및 위치 예측에 따른 연산량을 감소시킬 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (13)

  1. 물리 객체에 대한 증강 현실 제공 방법에 있어서,
    상기 물리 객체에 대한 영상을 획득하는 단계;
    상기 획득한 영상을 이용하여, 상기 물리 객체의 위치 및 자세를 예측하는 단계;
    상기 예측된 물리 객체의 위치 및 자세에 기반하여, 가상 컨텐츠를 생성하는 단계; 및
    상기 예측된 물리 객체의 위치 및 자세에 기반하여, 상기 가상 컨텐츠를 상기 물리 객체로 투사하는 단계를 포함하며,
    상기 물리 객체의 위치 및 자세를 예측하는 단계는
    상기 물리 객체의 움직임과 기 저장된 움직임 패턴의 유사도를 판단하여, 상기 유사도가 임계값 이상인 경우, 상기 움직임 패턴을 이용하여 상기 물리 객체의 위치 및 자세를 예측하는
    증강 현실 제공 방법.
  2. 제 1항에 있어서,
    상기 물리 객체의 위치 및 자세를 예측하는 단계는
    상기 영상을 획득한 시점으로부터 제1시간 이후의 위치 및 자세를 예측하는
    증강 현실 제공 방법.
  3. 제 2항에 있어서,
    상기 제1시간은
    상기 물리 객체의 위치 및 자세 예측 시간, 상기 가상 컨텐츠의 생성 시간 및 상기 가상 컨텐츠의 투사 시간 중 적어도 하나 이상에 따라 결정되는
    증강 현실 제공 방법.
  4. 제 1항에 있어서,
    상기 물리 객체의 위치 및 자세를 예측하는 단계는
    제2시간동안 상기 물리 객체의 움직임을 판단하는 단계; 및
    상기 판단 결과에 따라, 상기 물리 객체의 위치 및 자세를 예측하는 단계
    를 포함하는 증강 현실 제공 방법.
  5. 삭제
  6. 삭제
  7. 제 1항에 있어서,
    상기 물리 객체의 위치 및 자세는
    3차원 공간 좌표계에서 정의되는
    증강 현실 제공 방법.
  8. 삭제
  9. 삭제
  10. 물리 객체에 대한 증강 현실 제공 장치에 있어서,
    상기 물리 객체에 대한 영상을 획득하는 영상 획득부;
    상기 획득한 영상을 이용하여, 상기 물리 객체의 위치 및 자세를 예측하는 움직임 예측부;
    상기 예측된 물리 객체의 위치 및 자세에 기반하여, 가상 컨텐츠를 생성하는 영상 생성부; 및
    상기 예측된 물리 객체의 위치 및 자세에 기반하여, 상기 가상 컨텐츠를 상기 물리 객체로 투사하는 영상 출력부를 포함하며,
    상기 움직임 예측부는
    상기 물리 객체의 움직임과 기 저장된 움직임 패턴의 유사도를 판단하고, 상기 유사도가 임계값 이상인 경우, 상기 움직임 패턴을 이용하여 상기 물리 객체의 위치 및 자세를 예측하는
    증강 현실 제공 장치.
  11. 제 10항에 있어서,
    상기 움직임 예측부는 상기 영상을 획득한 시점으로부터 제1시간 이후의 위치 및 자세를 예측하며,
    상기 제1시간은
    상기 물리 객체의 위치 및 자세 예측 시간, 상기 가상 컨텐츠의 생성 시간 및 상기 가상 컨텐츠의 투사 시간 중 적어도 하나 이상에 따라 결정되는
    증강 현실 제공 장치.
  12. 삭제
  13. 삭제
KR1020150076436A 2015-01-15 2015-05-29 물리 객체에 대한 증강 현실 제공 방법 및 장치 KR101656618B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150007548 2015-01-15
KR20150007548 2015-01-15

Publications (2)

Publication Number Publication Date
KR20160088208A KR20160088208A (ko) 2016-07-25
KR101656618B1 true KR101656618B1 (ko) 2016-09-09

Family

ID=56616758

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150076436A KR101656618B1 (ko) 2015-01-15 2015-05-29 물리 객체에 대한 증강 현실 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101656618B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019226001A1 (en) 2018-05-23 2019-11-28 Samsung Electronics Co., Ltd. Method and apparatus for managing content in augmented reality system
KR102220091B1 (ko) * 2018-11-26 2021-02-24 가천대학교 산학협력단 시선 기반의 360도 영상 스트리밍
KR102314782B1 (ko) * 2019-10-28 2021-10-19 네이버랩스 주식회사 3차원 증강현실 표시 방법
KR20240005727A (ko) * 2021-04-06 2024-01-12 나이앤틱, 인크. 증강 현실을 위한 팬옵틱 세그멘테이션 예측

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000352761A (ja) * 1999-06-10 2000-12-19 Sony Corp 映像投射装置及び方法並びに映像投射制御装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100312427B1 (ko) * 1999-12-23 2001-11-03 오길록 비디오 영상에서 템플레이트와 칼만 필터를 이용한 이동물체 추적방법 및 장치
KR100927009B1 (ko) * 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000352761A (ja) * 1999-06-10 2000-12-19 Sony Corp 映像投射装置及び方法並びに映像投射制御装置

Also Published As

Publication number Publication date
KR20160088208A (ko) 2016-07-25

Similar Documents

Publication Publication Date Title
EP3583380B1 (en) Shape estimating apparatus
US9524562B2 (en) Object tracking method and device
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN105793730B (zh) 对象运动的基于激光雷达的分类
CN109598781B (zh) 通过回归分析从2d边界框获取伪3d框的方法以及使用该方法的学习装置和测试装置
KR102472767B1 (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
KR101776620B1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101681538B1 (ko) 영상 처리 장치 및 방법
US20170160751A1 (en) System and method for controlling drone movement for object tracking using estimated relative distances and drone sensor inputs
KR101656618B1 (ko) 물리 객체에 대한 증강 현실 제공 방법 및 장치
KR102455632B1 (ko) 스테레오 매칭 방법 및 장치
US11334086B2 (en) Autonomous robots and methods of operating the same
WO2019232529A1 (en) Smoothness constraint for camera pose estimation
US9311757B2 (en) Movement distance estimating device and movement distance estimating method
US9412012B2 (en) Z-axis determination in a 2D gesture system
EP2671384A2 (en) Mobile camera localization using depth maps
KR101971791B1 (ko) 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템 및 그 방법
JP2018205950A (ja) 自車位置推定用環境地図生成装置、自車位置推定装置、自車位置推定用環境地図生成プログラム、及び自車位置推定プログラム
KR101492366B1 (ko) 차량 사고 감지 방법 및 그 장치
KR20200102108A (ko) 차량의 객체 검출 장치 및 방법
JP2010152787A (ja) 環境地図生成プログラム、環境地図生成方法及び移動ロボット
KR101806453B1 (ko) 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법
KR102336284B1 (ko) 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템
KR20220154379A (ko) 보행자와 카메라 간 거리의 추정 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 4