KR20200056791A - 다중 이미지 마커 기반 증강 영상 생성 장치 및 방법 - Google Patents

다중 이미지 마커 기반 증강 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20200056791A
KR20200056791A KR1020180140908A KR20180140908A KR20200056791A KR 20200056791 A KR20200056791 A KR 20200056791A KR 1020180140908 A KR1020180140908 A KR 1020180140908A KR 20180140908 A KR20180140908 A KR 20180140908A KR 20200056791 A KR20200056791 A KR 20200056791A
Authority
KR
South Korea
Prior art keywords
image
marker
user
augmented
camera
Prior art date
Application number
KR1020180140908A
Other languages
English (en)
Inventor
이동춘
이기석
김기홍
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180140908A priority Critical patent/KR20200056791A/ko
Publication of KR20200056791A publication Critical patent/KR20200056791A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

다중 이미지 마커 기반 증강 영상 생성 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 다중 이미지 마커 기반 증강 영상 생성 방법은 다중 이미지 마커 기반 증강 영상 생성 장치의 다중 이미지 마커 기반 증강 영상 생성 방법에 있어서, 현실 공간에 배치된 복수개의 이미지 마커들의 위치를 계산하여 통합 마커 데이터를 생성하는 단계; 사용자의 카메라로부터 상기 현실 공간에서 촬영된 영상을 수신하는 단계; 상기 영상에서 이미지 마커를 추출하고, 상기 이미지 마커의 위치 데이터와 상기 이미지 마커에 포함된 특징점의 위치 데이터를 이용하여 상기 사용자의 카메라의 위치 데이터를 생성하는 단계 및 상기 사용자의 카메라의 위치 데이터에 기반하여 증강 영상을 생성하는 단계를 포함한다.

Description

다중 이미지 마커 기반 증강 영상 생성 장치 및 방법 {APPARATUS AND METHOD FOR GENERATING AUGMENTED IMAGE BASED ON MULTIPLE IMAGE MAKER}
본 발명은 증강 현실 기술에 관한 것으로, 보다 상세하게는 이미지 마커에 기반하여 증강 영상을 생성하는 기술에 관한 것이다.
증강 현실 기술은 사용자의 위치에서 취득된 카메라 영상에 가상의 3차원 영상을 정합하여 사용자에게 부가의 정보를 제공해주는 기술이다. 이를 위해서는 사용자의 카메라 위치 및 방향 에 대한 정확한 추적이 필요하다. 종래에는 사용자 카메라 위치 및 방향을 추적하기 위해서 이미지 마커를 사용한 방법을 많이 사용하였으나, 최근에는 카메라 영상을 사용하여 실 세계 공간을 3차원으로 복원하고, 복원된 데이터를 활용하여 사용자의 위치를 추적하는 Slam 방식을 많이 나오고 있다.
그러나, Slam 방식은 넓은 공간을 3차원 복원할 수 있는 장점이 있지만, 공간 복원의 정확도가 많이 떨어져, 복원된 데이터를 활용하여 사용자의 위치를 추적 시 추적의 정확도가 떨어지는 단점이 있다. 공간 복원의 정확도를 높이기 위해서 카메라 영상과 Depth 영상 정보를 함께 사용하여 공간을 복원하는 연구도 많이 진행되고 있으나, 마커 데이터에 비해 그 정확도는 떨어진다. 반면 마커 데이터는 공간 복원의 정확도는 우수하나, 출력할 수 있는 마커 이미지 크기가 제한적이어서 넓은 공간의 추적에 사용할 수 없고, 마커 이미지는 굴곡이 없는 면에 부착해야 하는 단점이 있다.
종래 마커 기반 증강 현실 시스템에서는 사용자의 카메라로부터 취득한 영상에 포함된 마커의 이미지를 이용하여 사용자의 카메라의 위치 및 방향을 계산한다.
이 때, 종래 마커 기반 증강 현실 시스템은 특징점에 대한 3차원 위치 값을 각각의 이미지의 특정 위치(예를 들어, 이미지의 좌측 하단을 기준축으로 설정)를 마커 기준점으로 하여 3차원 위치를 계산한다. 따라서, 종래 마커 기반 증강 현실 시스템은 여러 개의 마커를 배치하게 되면 각각의 마커마다 기준점을 가지게 되어 하나의 통일된 좌표공간이 아닌 각기 다른 좌표공간을 가지게 되는 단점이 있다.
한편, 한국공개특허 제 10-2013-0019485 호“ 마커를 기반으로 하는 증강현실 시스템 및 그 객체 증강방법”는 마커가 일시적으로 가려지는 경우에도 객체를 증강할 수 있는 마커를 기반으로 하는 증강현실 시스템 및 그 객체 증강방법에 관하여 개시하고 있다.
본 발명은 종래의 마커 기반 사용자 위치 추적 방식의 공간적 제약 사항을 극복하는 것을 목적으로 한다.
또한, 본 발명은 증강 현실 콘텐츠를 제공하기 위해 사용자의 위치 및 방향을 정확하게 트래킹 하는 것을 목적으로 한다.
또한, 본 발명은 넓은 공간에서 실세계 공간과 상호 작용하는 증강 현실 콘텐츠를 제공하여 사용자의 증강 현실에 대한 몰입도를 향상시키는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 다중 이미지 마커 기반 증강 영상 생성 방법은 다중 이미지 마커 기반 증강 영상 생성 장치의 다중 이미지 마커 기반 증강 영상 생성 방법에 있어서, 현실 공간에 배치된 복수개의 이미지 마커들의 위치를 계산하여 통합 마커 데이터를 생성하는 단계; 사용자의 카메라로부터 상기 현실 공간에서 촬영된 영상을 수신하는 단계; 상기 영상에서 이미지 마커를 추출하고, 상기 이미지 마커의 위치 데이터와 상기 이미지 마커에 포함된 특징점의 위치 데이터를 이용하여 상기 사용자의 카메라의 위치 데이터를 생성하는 단계 및 상기 사용자의 카메라의 위치 데이터에 기반하여 증강 영상을 생성하는 단계를 포함한다.
본 발명은 종래의 마커 기반 사용자 위치 추적 방식의 공간적 제약 사항을 극복할 수 있다.
또한, 본 발명은 증강 현실 콘텐츠를 제공하기 위해 사용자의 위치 및 방향을 정확하게 트래킹 할 수 있다.
또한, 본 발명은 넓은 공간에서 실세계 공간과 상호 작용하는 증강 현실 콘텐츠를 제공하여 사용자의 증강 현실에 대한 몰입도를 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 다중 이미지 마커 기반 증강 영상 생성 방법을 나타낸 동작흐름도이다.
도 2는 본 발명의 일실시예에 따른 다중 이미지 마커 기반 증강 영상 생성 장치를 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 현실 공간을 나타낸 평면도이다.
도 4는 본 발명의 일실시예에 따른 현실 공간을 나타낸 투시도이다.
도 5는 본 발명의 일실시예에 따른 장애물이 배치된 현실 공간을 나타낸 평면도이다.
도 6은 본 발명의 일실시예에 따른 장애물이 배치된 현실 공간을 나타낸 투시도이다.
도 7은 본 발명의 일실시예에 따른 장애물과 이미지 마커가 배치된 현실 공간을 나타낸 투시도이다.
도 8은 도 7에 도시된 이미지 마커의 일 예를 세부적으로 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 다중 이미지 마커 기반 증강 영상 생성 방법을 나타낸 동작흐름도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 다중 이미지 마커 기반 증강 영상 생성 방법은 먼저 현실 공간에 장애물이 배치될 수 있다(S110).
예를 들어, 현실 공간은 사각형 공간에 상응할 수 있고, 줄자 등의 길이 측정 도구를 사용하여 현실 공간에 부착된 마커의 위치를 손쉽게 계산할 수 있는 형태(곡선의 모양 배제)에 상응할 수 이다.
즉, 단계(S110)는 현실 공간에 배치된 장애물(벽)이 사용자와 상호 작용할 수 있도록 장애물이 배치될 수 있다.
예를 들어, 장애물은 현실 공간을 둘러싸고 있는 사각의 테두리, 바닥면 및 천정을 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 다중 이미지 마커 기반 증강 영상 생성 방법은 마커를 부착할 수 있다(S120).
즉, 단계(S120)는 장애물(벽)에 사각형의 이미지 마커를 부착할 수 있다.
이 때, 단계(S120)는 이미지 마커의 위치 계산을 용이하게 하기 위해서 이미지 마커를 회전시키지 않고 기준 좌표축 X,Y,Z축에 맞추어 장애물에 이미지 마커를 부착할 수 있다.
이 때, 단계(S120)는 사용자의 카메라를 이동하더라도 하나 이상의 이미지 마커가 인식될 수 있도록 장애물에 복수개의 이미지 마커들을 부착할 수 있다.
또한, 본 발명의 일실시예에 따른 다중 이미지 마커 기반 증강 영상 생성 방법은 통합 마커 데이터를 계산할 수 있다(S130).
즉, 단계(S130)는 현실 공간에 배치된 복수개의 이미지 마커들의 위치를 계산하여 통합 마커 데이터를 생성할 수 있다.
이 때, 단계(S130)는 현실 공간의 기준점으로부터 이미지 마커가 X,Y,Z축을 기준으로 얼마나 떨어져 있는지 계산할 수 있다.
기준점은 현실 공간에 기설정된 어느 하나의 지점에 상응할 수 있다.
이 때, 단계(S130)는 기준점으로부터 이미지 마커의 떨어진 거리를 계산하여 이미지 마커의 위치 데이터를 생성할 수 있다.
이 때, 위치 데이터는 기준점으로부터 이미지 마커가 떨어진 거리에 관한 정보 및 이미지 마커의 3차원 위치 값(X,Y,Z 좌표 정보)을 포함할 수 있다.
이 때, 단계(S130)는 계산한 이미지 마커의 위치 데이터를 이용하여 복수개의 이미지 마커들에 대한 통합 마커 데이터를 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 다중 이미지 마커 기반 증강 영상 생성 방법은 콘텐츠를 제작할 수 있다(S140).
즉, 단계(S140)는 현실 공간과 장애물의 위치를 고려하여 증강 현실 콘텐츠를 제작할 수 있다.
이 때, 단계(S140)는 사용자에게 제공하기 위한 증강 현실 콘텐츠를 제작할 수 있다.
사용자의 카메라의 위치 데이터또한, 본 발명의 일실시예에 따른 다중 이미지 마커 기반 증강 영상 생성 방법은 증강 영상을 생성할 수 있다(S150).
즉, 단계(S150)는 통합 마커 데이터를 이용하여 사용자의 카메라의 위치 데이터를 계산하고, 사용자의 카메라의 위치 데이터와 증강 현실 콘텐츠를 이용하여 증강 영상을 생성할 수 있다.
이 때, 단계(S150)는 통합 마커 데이터를 이용하여 사용자의 카메라의 위치 데이터를 생성할 수 있다.
이 때, 단계(S150)는 먼저 현실 공간에서 사용자의 카메라로부터 카메라가 촬영한 영상을 수신할 수 있다.
이 때, 단계(S150)는 영상에 포함된 이미지 마커를 추출하고, 통합 마커 데이터로부터 이미지 마커의 위치 데이터를 이용하여 사용자의 카메라의 위치 및 방향을 계산할 수 있다.
이미지 마커는 마커 기준점, 오브젝트의 특징점 및 이미지 패치를 포함할 수 있다.
이 때, 마커 기준점은 이미지 마커에 기설정된 어느 하나의 위치에 상응할 수 있다.
예를 들어, 마커 기준점은 이미지 마커의 어느 하나의 모서리 지점에 상응할 수 있다. 마커 기준점은 3차원 위치 값의 기준점에 상응할 수 있다.
이 때, 오브젝트의 특징점은 이미지 마커에 수십 내지 수백개 이상이 포함될 수 있고, 각각의 오브젝트의 특징점은 이미지 마커 상의 2차원 위치 값과 이미지 마커의 마커 기준점으로부터의 3차원 위치 값이 계산될 수 있다.
이 때, 이미지 패치는 오브젝트의 특징점을 중심으로 하는 기설정된 영역에 상응할 수 있다.
이 때, 단계(S150)는 영상으로부터 추출된 이미지 마커에서 특징점들을 인식하고, 특징점들의 이미지 마커 상의 2차원 위치 값과 이미지 마커의 마커 기준점으로부터 3차원 위치 값을 계산할 수 있다.
이 때, 단계(S150)는 특징점들의 2차원 위치 값, 3차원 위치 값 및 이미지 마커의 위치 데이터를 이용하여 사용자의 카메라의 위치 및 방향을 계산하고 사용자의 카메라의 위치 데이터를 생성할 수 있다.
이 때, 단계(S150)는 사용자의 카메라의 위치 데이터에 기반하여 촬영된 영상에 증강 현실 콘텐츠를 부가할 수 있다.
이 때, 단계(S150)는 증강 현실 콘텐츠가 부가된 증강 영상을 생성할 수 있다.
이 때, 단계(S150)는 디스플레이를 통해 증강 영상을 사용자에게 출력할 수 있다.
도 2는 본 발명의 일실시예에 따른 다중 이미지 마커 기반 증강 영상 생성 장치를 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 다중 이미지 마커 기반 증강 영상 생성 장치는 영상 수신부(210), 데이터 생성부(220) 및 증강 영상 생성부(230)를 포함한다.
영상 수신부(210)는 현실 공간에서 사용자의 카메라로부터 카메라가 촬영한 영상을 수신할 수 있다.
이 때, 사용자는 카메라를 이용하여 현실 공간에서 장애물에 부착된 이미지 마커를 촬영할 수 있다.
데이터 생성부(220)는 현실 공간에 배치된 복수개의 이미지 마커들의 위치를 계산하여 통합 마커 데이터를 생성할 수 있다.
이 때, 데이터 생성부(220)는 현실 공간의 기준점으로부터 이미지 마커가 X,Y,Z축을 기준으로 얼마나 떨어져 있는지 계산할 수 있다.
기준점은 현실 공간에 기설정된 어느 하나의 지점에 상응할 수 있다.
이 때, 데이터 생성부(220)는 기준점으로부터 이미지 마커의 떨어진 거리를 계산하여 이미지 마커의 위치 데이터를 생성할 수 있다.
이 때, 위치 데이터는 기준점으로부터 이미지 마커가 떨어진 거리에 관한 정보 및 이미지 마커의 3차원 위치 값(X,Y,Z 좌표 정보)을 포함할 수 있다.
이 때, 데이터 생성부(220)는 계산한 이미지 마커의 위치 데이터를 이용하여 복수개의 이미지 마커들에 대한 통합 마커 데이터를 생성할 수 있다.
영상에 포함된 이미지 마커를 추출하여 사용자의 위치 및 방향을 계산할 수 있다.
이미지 마커는 마커 기준점, 오브젝트의 특징점 및 이미지 패치를 포함할 수 있다.
이 때, 마커 기준점은 이미지 마커에 기설정된 어느 하나의 위치에 상응할 수 있다.
예를 들어, 마커 기준점은 이미지 마커의 어느 하나의 모서리 지점에 상응할 수 있다. 마커 기준점은 3차원 위치 값의 기준점에 상응할 수 있다.
이 때, 오브젝트의 특징점은 이미지 마커에 수십 내지 수백개 이상이 포함될 수 있고, 각각의 오브젝트의 특징점은 이미지 마커 상의 2차원 위치 값과 이미지 마커의 마커 기준점으로부터의 3차원 위치 값이 계산될 수 있다.
이 때, 이미지 패치는 오브젝트의 특징점을 중심으로 하는 기설정된 영역에 상응할 수 있다.
이 때, 데이터 생성부(220)는 영상으로부터 추출된 이미지 마커에서 특징점들을 인식하고, 특징점들의 이미지 마커 상의 2차원 위치 값과 이미지 마커의 마커 기준점으로부터 3차원 위치 값을 계산할 수 있다.
이 때, 데이터 생성부(220)는 특징점들의 2차원 위치 값, 3차원 위치 값 및 이미지 마커의 위치 데이터를 이용하여 사용자의 위치 및 방향을 계산하고 사용자의 카메라의 위치 데이터를 생성할 수 있다.
증강 영상 생성부(230)는 영상에서 이미지 마커를 추출하고, 상기 이미지 마커의 위치 데이터와 상기 이미지 마커에 포함된 특징점의 위치 데이터를 이용하여 상기 사용자의 카메라의 위치 데이터를 생성할 수 있다.
이 때, 증강 영상 생성부(230)는 현실 공간과 장애물의 위치를 고려하여 증강 현실 콘텐츠를 제작할 수 있다.
이 때, 증강 영상 생성부(230)는 사용자에게 제공하기 위한 증강 현실 콘텐츠를 제작할 수 있다.
이 때, 증강 영상 생성부(230)는 통합 마커 데이터를 이용하여 사용자의 카메라의 위치 데이터를 계산하고, 사용자의 카메라의 위치 데이터와 증강 현실 콘텐츠를 이용하여 증강 영상을 생성할 수 있다.
이 때, 증강 영상 생성부(230)는 통합 마커 데이터를 이용하여 사용자의 카메라의 위치 데이터를 생성할 수 있다.
이 때, 증강 영상 생성부(230)는 먼저 현실 공간에서 사용자의 카메라로부터 카메라가 촬영한 영상을 수신할 수 있다.
이 때, 증강 영상 생성부(230)는 영상에 포함된 이미지 마커를 추출하고, 통합 마커 데이터로부터 이미지 마커의 위치 데이터를 이용하여 사용자의 카메라의 위치 및 방향을 계산할 수 있다.
이미지 마커는 마커 기준점, 오브젝트의 특징점 및 이미지 패치를 포함할 수 있다.
이 때, 마커 기준점은 이미지 마커에 기설정된 어느 하나의 위치에 상응할 수 있다.
예를 들어, 마커 기준점은 이미지 마커의 어느 하나의 모서리 지점에 상응할 수 있다. 마커 기준점은 3차원 위치 값의 기준점에 상응할 수 있다.
이 때, 오브젝트의 특징점은 이미지 마커에 수십 내지 수백개 이상이 포함될 수 있고, 각각의 오브젝트의 특징점은 이미지 마커 상의 2차원 위치 값과 이미지 마커의 마커 기준점으로부터의 3차원 위치 값이 계산될 수 있다.
이 때, 이미지 패치는 오브젝트의 특징점을 중심으로 하는 기설정된 영역에 상응할 수 있다.
이 때, 증강 영상 생성부(230)는 영상으로부터 추출된 이미지 마커에서 특징점들을 인식하고, 특징점들의 이미지 마커 상의 2차원 위치 값과 이미지 마커의 마커 기준점으로부터 3차원 위치 값을 계산할 수 있다.
이 때, 증강 영상 생성부(230)는 특징점들의 2차원 위치 값, 3차원 위치 값 및 이미지 마커의 위치 데이터를 이용하여 사용자의 카메라의 위치 및 방향을 계산하고 사용자의 카메라의 위치 데이터를 생성할 수 있다.
이 때, 증강 영상 생성부(230)는 사용자의 카메라의 위치 데이터에 기반하여 촬영된 영상에 증강 현실 콘텐츠를 부가할 수 있다.
이 때, 증강 영상 생성부(230)는 증강 현실 콘텐츠가 부가된 증강 영상을 생성할 수 있다.
이 때, 증강 영상 생성부(230)는 디스플레이를 통해 증강 영상을 사용자에게 출력할 수 있다.
도 3은 본 발명의 일실시예에 따른 현실 공간을 나타낸 평면도이다. 도 4는 본 발명의 일실시예에 따른 현실 공간을 나타낸 투시도이다.
도 3 및 도 4를 참조하면, 본 발명의 일실시예에 따른 현실 공간은 기준점을 기준으로 X축과 Z축이 도시된 것을 알 수 있다.
이 때, 도 4에 도시된 바와 같이, 장애물이 설치될 위치는 점선으로 표시될 수 도 있다.
도 5는 본 발명의 일실시예에 따른 장애물이 배치된 현실 공간을 나타낸 평면도이다. 도 6은 본 발명의 일실시예에 따른 장애물이 배치된 현실 공간을 나타낸 투시도이다.
도 5 및 도 6을 참조하면, 본 발명의 일실시예에 따른 장애물이 배치된 현실 공간을 나타낸 것을 알 수 있다.
도 7은 본 발명의 일실시예에 따른 장애물과 이미지 마커가 배치된 현실 공간을 나타낸 투시도이다.
도 7을 참조하면, 현실 공간에 이미지 마커(510)가 부착되어있는 것을 알 수 있다.
도 8은 도 7에 도시된 이미지 마커의 일 예를 세부적으로 나타낸 도면이다.
도 7을 참조하면, 사용자가 촬영한 카메라의 영상에서 추출한 이미지 마커(510)의 일 예를 나타낸 것을 알 수 있다.
이미지 마커(510)는 오브젝트의 특징점(520), 마커 기준점(530) 및 이미지 패치를 포함할 수 있다.
이 때, 오브젝트의 특징점(520)은 이미지 마커(510)에 수십 내지 수백개 이상이 포함될 수 있고, 각각의 오브젝트의 특징점(520)은 이미지 마커(510) 상의 2차원 위치 값과 이미지 마커(510)의 마커 기준점(530)으로부터의 3차원 위치 값이 계산될 수 있다.
이 때, 마커 기준점(530)은 이미지 마커(510)에 기설정된 어느 하나의 위치에 상응할 수 있다.
예를 들어, 마커 기준점(530)은 이미지 마커(510)의 어느 하나의 모서리 지점에 상응할 수 있다. 마커 기준점(530)은 3차원 위치 값의 기준점에 상응할 수 있다.
도 7에 도시된 바와 같이, 마커 기준점(530)은 이미지 마커(510)의 좌측 하단에 설정될 수도 있다.
이 때, 이미지 패치는 오브젝트의 특징점(520)을 중심으로 하는 기설정된 영역에 상응할 수 있다.
이 때, 다중 이미지 마커 기반 증강 영상 생성 장치는 영상으로부터 추출된 이미지 마커(510)에서 특징점(520)들을 인식하고, 특징점(520)들의 이미지 마커(510) 상의 2차원 위치 값과 이미지 마커(510)의 마커 기준점(530)으로부터 3차원 위치 값을 계산할 수 있다.
이 때, 다중 이미지 마커 기반 증강 영상 생성 장치는 특징점(520)들의 2차원 위치 값, 3차원 위치 값 및 이미지 마커(510)의 위치 데이터를 이용하여 사용자의 위치 및 방향을 계산하고 사용자의 카메라의 위치 데이터를 생성할 수 있다.
도 9는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 9를 참조하면, 본 발명의 일실시예에 따른 다중 이미지 마커 기반 증강 영상 생성 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 9에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
이상에서와 같이 본 발명의 일실시예에 따른 다중 이미지 마커 기반 증강 영상 생성 장치 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
210: 영상 수신부 220: 데이터 생성부
230: 증강 영상 생성부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (1)

  1. 다중 이미지 마커 기반 증강 영상 생성 장치의 다중 이미지 마커 기반 증강 영상 생성 방법에 있어서,
    현실 공간에 배치된 복수개의 이미지 마커들의 위치를 계산하여 통합 마커 데이터를 생성하는 단계;
    사용자의 카메라로부터 상기 현실 공간에서 촬영된 영상을 수신하는 단계;
    상기 영상에서 이미지 마커를 추출하고, 상기 이미지 마커의 위치 데이터와 상기 이미지 마커에 포함된 특징점의 위치 데이터를 이용하여 상기 사용자의 카메라의 위치 데이터를 생성하는 단계; 및
    상기 사용자의 카메라의 위치 데이터에 기반하여 증강 영상을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 다중 이미지 마커 기반 증강 영상 생성 방법.
KR1020180140908A 2018-11-15 2018-11-15 다중 이미지 마커 기반 증강 영상 생성 장치 및 방법 KR20200056791A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180140908A KR20200056791A (ko) 2018-11-15 2018-11-15 다중 이미지 마커 기반 증강 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180140908A KR20200056791A (ko) 2018-11-15 2018-11-15 다중 이미지 마커 기반 증강 영상 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20200056791A true KR20200056791A (ko) 2020-05-25

Family

ID=70914622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180140908A KR20200056791A (ko) 2018-11-15 2018-11-15 다중 이미지 마커 기반 증강 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20200056791A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220000165A (ko) * 2020-06-25 2022-01-03 주식회사 리얼리티매직 가상 현실 게임용 중계 화면 생성 방법 및 이를 수행하는 가상 현실 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220000165A (ko) * 2020-06-25 2022-01-03 주식회사 리얼리티매직 가상 현실 게임용 중계 화면 생성 방법 및 이를 수행하는 가상 현실 시스템

Similar Documents

Publication Publication Date Title
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
US20210058608A1 (en) Method and apparatus for generating three-dimensional (3d) road model
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
US8447099B2 (en) Forming 3D models using two images
US8452081B2 (en) Forming 3D models using multiple images
AU2011362799B2 (en) 3D streets
US11210804B2 (en) Methods, devices and computer program products for global bundle adjustment of 3D images
US8340400B2 (en) Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features
JP4392507B2 (ja) ３次元サーフェス生成方法
JP6338021B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR20190042187A (ko) 깊이 값을 추정하는 방법 및 장치
US11341723B2 (en) Methods, devices, and computer program products for improved mesh generation in constructed 3D images
US20090154793A1 (en) Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors
CN107025663A (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
EP2976599A1 (en) Indoor navigation system and method
CN113048980B (zh) 位姿优化方法、装置、电子设备及存储介质
CN108230247A (zh) 基于云端的三维地图的生成方法、装置、设备及应用程序
CN108803591A (zh) 一种地图生成方法及机器人
US9317968B2 (en) System and method for multiple hypotheses testing for surface orientation during 3D point cloud extraction from 2D imagery
WO2022179094A1 (zh) 车载激光雷达外参数联合标定方法、系统、介质及设备
CN114766042A (zh) 目标检测方法、装置、终端设备及介质
Gadasin et al. Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems
KR20010055957A (ko) 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법
Tykkälä et al. A dense structure model for image based stereo SLAM
KR20200056791A (ko) 다중 이미지 마커 기반 증강 영상 생성 장치 및 방법