KR101962543B1 - 마커 인식 기반 증강현실 생성 시스템 및 방법 - Google Patents

마커 인식 기반 증강현실 생성 시스템 및 방법 Download PDF

Info

Publication number
KR101962543B1
KR101962543B1 KR1020170110904A KR20170110904A KR101962543B1 KR 101962543 B1 KR101962543 B1 KR 101962543B1 KR 1020170110904 A KR1020170110904 A KR 1020170110904A KR 20170110904 A KR20170110904 A KR 20170110904A KR 101962543 B1 KR101962543 B1 KR 101962543B1
Authority
KR
South Korea
Prior art keywords
marker
infrared
image
augmented reality
visible light
Prior art date
Application number
KR1020170110904A
Other languages
English (en)
Other versions
KR20190024174A (ko
Inventor
이재현
권순철
황이환
자한젭
이승현
김상일
김광집
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020170110904A priority Critical patent/KR101962543B1/ko
Publication of KR20190024174A publication Critical patent/KR20190024174A/ko
Application granted granted Critical
Publication of KR101962543B1 publication Critical patent/KR101962543B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 마커 인식 기반 증강현실 생성 시스템으로서, 대상체에 마커를 투영시키는 적외선 프로젝터; 상기 대상체를 촬영하여 획득된 적외선 영상으로부터 상기 마커를 인식하고, 상기 마커의 좌표값을 획득하는 적외선 카메라; 상기 대상체를 촬영하여 가시광선 영상을 획득하는 가시광선 카메라; 및 상기 적외선 카메라로부터 획득된 상기 마커의 좌표값 및 상기 가시광선 카메라로부터 획득된 상기 가시광선 영상을 기초로 증강현실 영상을 생성하는 증강현실 생성 장치를 포함한다.

Description

마커 인식 기반 증강현실 생성 시스템 및 방법{SYSTEM AND METHOD FOR GENERATING AUGMENTED REALITY BASED ON MARKER DETECTION}
본 발명은 증강현실 기술과 관련된 것으로서, 보다 상세하게는, 실시간 패턴변경과 위치변경이 가능한 마커 인식 기반 증강현실 생성 시스템 및 방법에 관한 것이다.
최근 스마트 폰과 헤드 마운티드 디스플레이(Head Mounted Display; HMD)등을 이용한 증강현실 구현이 보편화되고 있고, 증강현실 시스템에서 마커 인식(Marker Detection)은 가상의 물체와 실세계를 연결하는 역할을 한다. 즉, 지정된 마커를 카메라가 인식하는 과정을 통하면 가상의 물체가 배치될 실세계의 위치 값과 회전 값이 획득될 수 있는 것이다.
보다 구체적으로, 마커 인식(Marker Detection) 기술은 마커를 이용해 상대적 좌표를 추출하고, 가상 영상을 실제 영상에 합성시키는 기술 또는 카메라의 영상에서 실세계의 어떤 지점이나 물체에 대한 카메라의 3차원 좌표를 확보하기 위한 기술을 의미하는 것으로서, 마커 인식 기술은 스마트 폰, HMD, 웹 카메라 등과 함께 사용된다. 마커 인식 기술의 종류에는, 육안으로 볼 수 있는 마커를 이용하는 기술 및 육안으로 볼 수 없는 마커를 이용하는 기술이 있으며, 육안으로 볼 수 있는 마커(Visible Marker)는 가시적인 마커를 의미하며 가시광선 카메라를 이용하여 해당 마커를 인식하는 기술 이고, 육안으로 볼 수 없는 마커(Invisible Marker)는 적외선 발광 물질을 이용해 그려진 마커를 의미하며 적외선 카메라를 이용하여 해당 마커를 인식하는 기술이다.
일반적으로는 QR코드와 같이 사각 형태의 육안으로 볼 수 있는 마커를 이용하거나 적외선 발광 물질을 이용하여 그린 육안으로 볼 수 없는 마커를 이용한다. 기존의 육안으로 볼 수 없는 마커를 이용하는 마커 인식 기술은 육안으로 보이지 않는 적외선 발광 물질로 표시된 적외선 마커를 이용하지만, 이는 필요한 만큼의 마커를 적외선 발광물질로 물체 표면에 직접 그려야 하고, 처음 표시된 곳에 고정되어 있는 불가변한 위치 값과 하나의 마커 정보 값만을 가질 수 있다는 문제를 가지고 있다.
한국등록특허 제10-0542370호 한국공개특허 제10-2012-0135967호
본 발명의 목적은 적외선 프로젝터로부터 제공된 실시간 패턴의 변경 및 위치의 변경이 가능한 보이지 않는 마커를 이용하여 증강현실을 생성 및 구현하는 마커 인식 기반 증강현실 생성 시스템 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 제1 측면은, 마커 인식 기반 증강현실 생성 시스템으로서, 대상체에 마커를 투영시키는 적외선 프로젝터; 상기 대상체를 촬영하여 획득된 적외선 영상으로부터 상기 마커를 인식하고, 상기 마커의 좌표값을 획득하는 적외선 카메라; 상기 대상체를 촬영하여 가시광선 영상을 획득하는 가시광선 카메라; 및 상기 적외선 카메라로부터 획득된 상기 마커의 좌표값 및 상기 가시광선 카메라로부터 획득된 상기 가시광선 영상을 기초로 증강현실 영상을 생성하는 증강현실 생성 장치를 포함한다.
바람직하게, 상기 대상체에 투영될 상기 마커의 패턴 및 상기 대상체에 대하여 상기 마커가 투영되는 위치를 결정하여, 상기 적외선 프로젝터를 통하여 출력될 마커를 생성하는 마커 생성 장치를 더 포함하되, 상기 마커의 패턴 및 상기 마커가 투영되는 위치는 변경 가능할 수 있다.
바람직하게, 상기 적외선 프로젝터는 상기 마커 생성 장치로부터 생성된 마커를 제공받아 적외선으로 상기 마커를 출력할 수 있다.
바람직하게, 상기 증강현실 생성 장치는 상기 적외선 카메라로부터 획득된 상기 마커의 3차원 좌표값과 상기 가시광선 카메라로부터 획득된 상기 가시광선 영상을 동기화하고, 상기 마커의 3차원 좌표값에 대응되는 상기 가시광선 영상 내의 좌표 상에 가상 영상이 출력되도록 할 수 있다.
상기 목적을 달성하기 위한 본 발명의 제2 측면은, 마커 인식 기반 증강현실 생성 방법으로서, (a) 대상체에 마커가 투영되면, 상기 대상체에 대한 적외선 영상으로부터 인식되어 획득된 상기 마커의 좌표값을 수신하는 단계; (b) 상기 대상체에 대한 가시광선 영상을 수신하는 단계; 및 (c) 상기 마커의 좌표값 및 상기 가시광선 영상을 기초로 증강현실 영상을 생성하는 단계를 포함한다.
바람직하게, 상기 (a) 단계는 상기 대상체에 투영될 상기 마커의 패턴 및 상기 대상체에 대하여 상기 마커가 투영되는 위치가 결정되는 단계; 및 상기 결정된 상기 패턴 및 위치에 따라 마커가 생성되는 단계를 더 포함하되, 상기 마커의 패턴 및 상기 마커가 투영되는 위치는 변경 가능할 수 있다.
바람직하게, 상기 (a) 단계는 상기 생성된 마커를 제공받아 적외선으로 상기 마커가 출력되도록 하는 단계를 포함할 수 있다.
바람직하게, 상기 (c) 단계는 상기 마커의 3차원 좌표값과 상기 가시광선 영상을 동기화하는 단계; 및 상기 마커의 3차원 좌표값에 대응되는 상기 가시광선 영상 내의 좌표 상에 가상 영상이 출력되도록 하는 단계를 포함할 수 있다.
상기한 바와 같이 본 발명에 의하면, 마커의 실시간 위치변경과 패턴변경이 가능하므로, 실세계에 위치한 마커의 위치를 자유롭게 움직일 수 있고, 마커의 형태, 즉, 패턴을 자유롭게 바꿔 다양한 정보 값을 가지게 할 수 있는 효과가 있다.
또한, 실시간 위치변경과 패턴변경이 가능한 마커를 증강현실 생성 시스템에서 사용하므로, 기존 적외선 발광물질로 직접 대상물체 상에 표시를 해야 했던 단점을 해소할 수 있으며, 다양한 응용 분야로 확대할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 증강현실 생성 시스템에 대한 구성도이다.
도 2는 일 실시예에 따른 적외선 프로젝터에 대한 구성도이다.
도 3은 일 실시예에 따른 마커 생성 장치에 대한 블록도이다.
도 4는 일 실시예에 따른 증강현실 생성 장치에 대한 블록도이다.
도 5는 일 실시예에 따른 증강현실 생성 방법에 대한 흐름도이다.
도 6은 적외선으로 투영되는 마커를 설명하기 위한 예시도이다.
도 7은 마커 인식에 따라 출력되는 증강현실 영상을 설명하기 위한 예시도이다.
이하, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
또한, 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)" 및/또는 “포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 증강현실 생성 시스템에 대한 구성도이다.
도 1을 참조하면, 증강현실 생성 시스템(100)은 적외선 프로젝터(110), 적외선 카메라(120), 가시광선 카메라(130), 마커 생성 장치(140), 및 증강현실 생성 장치(150)를 포함한다.
적외선 프로젝터(110)는 대상체에 대하여 마커를 투영시키는 장치로서, 마커를 적외선 상태로 출력시켜 육안으로는 볼 수 없고 적외선 카메라(120)를 통하여만 식별이 가능하도록 한다. 보다 구체적으로, 적외선 프로젝터(110)는, 도 2를 참조하면, 적외선 엘이디(IR LED)(111), 집광 렌즈(Condensing Lens)(112), 편광 필터(Polarizing Filter)(113), 엘씨디 패널(LCD Panel)(114), 프레넬 렌즈(Fresnel Lens)(115), 및 반사 거울(Reflection Mirror)(116)로 구성되고, 적외선 엘이디(111)와 엘씨디 패널(114)을 사용하여 마커가 적외선 상태로 출력되도록 한다.
적외선 카메라(120)는 대상체를 촬영하여 적외선 영상을 획득하는 장치이다. 바람직하게, 적외선 카메라(120)는 적외선 영상으로부터 적외선 프로젝터(110)로부터 대상체에 투영된 적외선 상태의 마커를 인식하고, 마커의 3차원 좌표값을 획득할 수 있다. 일 실시예에서, 적외선 카메라(120)는 대상체에 대한 적외선 영상만을 획득할 수도 있고, 이 경우, 적외선 영상으로부터 마커를 인식하고 마커의 3차원 좌표값을 획득하는 동작은 이하에서 설명될 증강현실 생성 장치(150)에서 수행될 수 있다.
가시광선 카메라(130)는 대상체를 촬영하여 가시광선 영상을 획득하는 장치이다. 적외선 프로젝터(110)로부터 대상체에 투영된 마커는 적외선 상태이므로 가시광선 카메라(130)에 의하여 촬영된 가시광선 영상에서는 마커가 인식되지 않는다.
마커 생성 장치(140)는 적외선 프로젝터(110)와 연결되어 대상체에 대하여 투영될 마커를 생성하여 적외선 프로젝터(110)에 제공하는 장치이다. 바람직하게, 마커 생성 장치(140)는 대상체에 투영될 마커의 패턴 및 대상체에 대하여 마커가 투영되는 위치를 결정하여, 적외선 프로젝터(110)를 통하여 출력될 마커를 생성할 수 있다.
증강현실 생성 장치(150)는 적외선 카메라(120) 및 가시광선 카메라(130)와 연결되어, 적외선 카메라(120)로부터 수신한 적외선 영상 및 가시광선 카메라(130)로부터 수신한 가시광선 영상을 기초로 증가현실 영상을 생성하는 장치이다. 바람직하게, 증강현실 생성 장치(150)는, 적외선 카메라(120)가 적외선 영상을 촬영한 후 적외선 영상으로부터 인식하여 획득한 마커의 3좌표값을 수신하여 증강현실 영상의 생성에 이용하거나, 또는 적외선 카메라(120)로부터는 적외선 영상만을 수신한 후, 직접 적외선 영상에서 마커를 인식하고 마커의 3차원 좌표값을 획득하여 증강현실 영상의 생성에 이용할 수도 있다.
도 3은 일 실시예에 따른 마커 생성 장치에 대한 블록도이다.
도 3을 참조하면, 마커 생성 장치(140)는 마커 결정부(141), 마커 생성부(142), 마커 전송부(143), 및 제어부(144)를 포함한다.
마커 결정부(141)는 대상체에 투영될 마커의 패턴 및 대상체에 대하여 마커가 투영되는 위치를 결정한다. 바람직하게, 마커 결정부(141)는 사용자의 설정에 따라 마커의 패턴 및 마커의 투영 위치를 다양하게 결정할 수 있고, 마커가 투영될 대상체도 다양하게 결정할 수 있다. 즉, 본 발명에서 마커의 패턴 및 위치는 하나로 특정되지 않고, 마커가 위치할 대상체 또한 하나로 특정되지 않는바, 마커의 패턴, 마커가 투영되는 위치, 마커가 투영될 대상체는 실시간으로 변경 가능하다.
마커 생성부(142)는 마커 결정부(141)에서 결정된 마커의 패턴 및 위치에 따라 마커를 생성한다. 바람직하게, 마커 생성부(142)는 마커 결정부(141)에서 결정 및 변경되는 마커의 패턴, 마커의 투영 위치, 마커가 투영될 대상체에 따라 실시간으로 마커를 생성할 수 있다.
마커 전송부(143)는 마커 생성부(142)로부터 생성된 마커를 적외선 프로젝터(110)로 전송한다. 바람직하게, 마커 전송부(143)가 마커를 적외선 프로젝터(110)로 전송하면, 적외선 프로젝터(110)는 마커의 패턴, 마커의 투영 위치, 마커가 투영될 대상체에 따라 특정 대상체의 특정 위치에 특정 패턴을 가지는 마커가 투영되도록 적외선 상태의 마커를 출력할 수 있다.
제어부(144)는 마커 결정부(141), 마커 생성부(142), 및 마커 전송부(143)의 동작 및 데이터의 흐름을 제어한다.
바람직하게, 마커 결정부(141), 마커 생성부(142), 및 마커 전송부(143)를 통하여 수행되는 동작은, 이하에서 설명할 증강현실 생성 장치(150)에서 수행되는 동작 이전에 수행되거나, 또는 증강현실 생성 장치(150)를 통하여 증강현실이 생성되는 동작과 무관하게, 사용자에 의하여 마커의 생성, 변경, 재생성 등에 대한 요청이 있는 경우에 수행될 수 있다.
도 4는 일 실시예에 따른 증강현실 생성 장치에 대한 블록도이다.
도 4를 참조하면, 증강현실 생성 장치(150)는 영상 수신부(151), 동기화부(152), 증강현실 생성부(153), 증강현실 출력부(154), 및 제어부(155)를 포함하고, 제어부(155)는 영상 수신부(151), 동기화부(152), 증강현실 생성부(153), 및 증강현실 출력부(154)의 동작 및 데이터의 흐름을 제어한다.
이하, 도 5에 도시된 일 실시예에 따른 증강현실 생성 방법에 대한 흐름도를 참조하여, 증강현실 생성 장치(150)의 각 구성에서 수행되는 동작을 구체적으로 설명한다.
먼저, 도 5의 단계 S510이 수행되기 이전에, 적외선 카메라(120)로부터 촬영되는 적외선 영상과 가시광선 카메라(130)로부터 촬영되는 가시광선 영상의 캘리브레이션 과정이 수행될 수 있다. 이는, 도면에 도시되지 않았으나, 증강현실 생성 장치(150)의 캘리브레이션부에 의하여 수행될 수 있다. 바람직하게, 일정한 크기의 사각형이 7X5로 배열된 체커보드(checkerboard)가 적외선 카메라(120)와 가시광선 카메라(130)에 의하여 촬영되면, 캘리브레이션부는 적외선 카메라(120)로부터 촬영된 적외선 영상 내의 체커보드 및 가시광선 카메라(130)로부터 촬영된 가시광선 영상 내의 체커보드를 비교하여, 적외선 영상과 가시광선 영상의 3차원 좌표값의 차이를 획득하여 캘리브레이션을 수행할 수 있다. 여기에서, 체커보드의 위치를 바꿔가며 적외선 영상 및 가시광선 영상이 수차례 촬영되도록 하여 적외선 영상과 가시광선 영상의 캘리브레이션이 보다 정확하게 수행되도록 할 수 있다.
도 3을 참조하여 설명한 마커 생성 장치(140)로부터 생성된 마커가 적외선 프로젝터(110)로부터 출력되어 대상체에 마커가 투영되면, 영상 수신부(151)는 대상체에 대한 적외선 영상으로부터 인식되어 획득된 마커의 좌표값을 수신하고(단계 S510), 대상체에 대한 가시광선 영상을 수신한다(단계 S520). 여기에서, 단계 S510 및 S520은 동시에 수행될 수 있고, 적외선 카메라(120)와 가시광선 카메라(130)는 적외선 프로젝터(110)에 의하여 마커가 투영된 동일한 대상체를 촬영한다.
바람직하게, 적외선 카메라(120)가 대상체에 대한 적외선 영상을 촬영하고, 촬영된 적외선 영상에서 적외선 프로젝터(110)에 의하여 투영된 마커를 인식하고, 인식된 마커로부터 마커의 3차원 좌표값을 획득하면, 영상 수신부(151)는 마커의 3차원 좌표값만을 수신하거나 또는 적외선 영상과 함께 마커의 3차원 좌표값을 수신할 수 있다. 또는 마커의 3차원 좌표값을 획득하는 동작은 적외선 카메라(120)에서 수행되지 않을 수 있고, 이 경우, 영상 수신부(151)는 적외선 카메라(120)로부터 적외선 영상만을 수신한 후, 적외선 영상에서 마커를 인식하고 마커의 3차원 좌표값을 획득할 수 있다.
증강현실 생성부(153)는 마커의 좌표값 및 가시광선 영상을 기초로 증강현실 영상을 생성한다(단계 S530). 보다 구체적으로, 증강현실 생성부(153)를 통하여 증강현실 영상이 생성되기 이전에, 동기화부(152)는 마커의 3차원 좌표값과 가시광선 영상을 동기화 한다. 즉, 동기화부(152)는 적외선 영상 내의 마커의 3차원 좌표값과 가시광선 영상의 3차원 좌표값을 일치시켜, 가상 영상이 마커의 위치와 매칭되는 가시광선 영상 내의 위치에 출력될 수 있도록 하는 것이다.
바람직하게, 동기화부(152)에 의하여 적외선 영상과 가시광선 영상이 동기화되면, 증강현실 생성부(153)는 가시광선 영상에 가상 영상을 렌더링하여 증강현실 영상을 생성한다. 여기에서, 가상 영상은 가상 오브젝트를 포함한다. 보다 구체적으로, 증강현실 생성부(153)는 적외선 카메라(120)로부터 촬영된 적외선 영상의 3차원 좌표값과 가시광선 카메라(130)로부터 촬영된 가시광선 영상의 3차원 좌표 값을 비교하여, 적외선 영상 내의 마커의 위치와 동일한 가시광선 영상 내의 위치, 즉, 마커의 3차원 좌표값에 대응되는 가시광선 영상 내의 좌표에 가상 영상이 나타나도록 영상을 렌더링할 수 있다. 즉, 가시광선 영상의 특정 위치에 가상 영상이 렌더링 되어 증강현실 영상이 생성되는 것이다.
그 다음, 증강현실 출력부(154)는 증강현실 생성부(153)를 통하여 생성된 가상 영상을 출력장치를 통하여 출력되도록 한다. 여기에서, 출력장치는 증강현실 생성 장치(150)와 연결된 별도의 장치에 해당하거나 또는 증강현실 생성 장치(150)에 구비된 출력수단에 해당할 수 있다.
도 6은 적외선으로 투영되는 마커를 설명하기 위한 예시도이고, 도 7은 마커 인식에 따라 출력되는 증강현실 영상을 설명하기 위한 예시도이다.
본 발명은, 도 3 내지 5를 참조하여 설명한 바와 같이, 마커 생성 장치(140)를 통하여 마커의 패턴, 투영 위치, 및 투영될 대상체가 다양하게 설정되어 생성될 수 있는 바, 도 6에 도시된 바와 같이, 마커 생성 장치(140)를 통하여 생성된 다양한 종류의 마커는 대상체의 다양한 위치에 투영될 수 있다. 예를 들어, 도 6의 (a)는 대상체의 중심위치에 적외선 상태의 별 패턴의 마커(610)가 투영된 것이고, 도 6의 (b)는 대상체의 오른쪽하단 모서리에 적외선 상태의 별 패턴의 마커(620)가 투영된 것이고, 도 6의 (c)는 대상체의 왼쪽 상단에 적외선 상태의 삼각형 패턴의 마커(630)가 투영된 것이다.
도 6에 도시된 바와 같이 마커가 대상체에 투영되면, 본 발명의 증강현실 생성 장치(150)는 대상체에 투영된 마커의 패턴 및 투영 위치에 따라 증강현실 영상을 생성한다. 도 7에 도시된 증강현실 영상은 도 6에 도시된 마커에 따라 가시광선 영상에 가상 영상이 렌더링되어 생성된 증강현실 영상을 나타낸 것이다. 예를 들어, 별 패턴의 마커는 물고기 가상 오브젝트의 정보를 담고 있고, 삼각형 패턴의 마커는 개 가상 오브젝트의 정보를 담고 있다고 하면, 도 7의 (a)는 도 6의 (a)에 도시된 마커에 따라 생성된 증강현실 영상으로서, 마커(610)의 3차원 좌표값과 대응되는 가시광선 영상 내의 위치에 물고기 가상 오브젝트(710)가 렌더링되어 증강현실 영상이 생성된 것이다. 도 7의 (b)는 도 6의 (b)에 도시된 마커에 따라 생성된 증강현실 영상으로서, 마커(620)의 3차원 좌표값에 대응되는 가시광선 영상 내의 위치에 물고기 가상 오브젝트(720)가 렌더링되어 증강현실 영상이 생성된 것이다. 도 7의 (c)는 도 6의 (c)에 도시된 마커에 따라 생성된 증강현실 영상으로서, 마커(630)의 3차원 좌표값에 대응되는 가시광선 영상 내의 위치에 개 가상 오브젝트(730)가 렌더링되어 증강현실 영상이 생성된 것이다
따라서, 본 발명에 따른 증강현실 영상 시스템 및 방법에 의하면, 적외선 프로젝터(110)가 적외선 상태의 마커를 출력하여 대상체에 투영시키므로, 마커의 패턴, 마커의 투영 위치, 및 마커가 투영될 대상체의 변경 및 설정이 가능하고, 대상체에 투영된 마커의 패턴 및 투영 위치에 따라 증강현실 영상이 생성될 수 있다.
한편, 본 발명의 일 실시예에 따른 증강현실 생성 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성메모리(Flash Memory), 광 데이터 저장장치 등이 있다.
또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
전술한 본 발명에 따른 증강현실 생성 시스템 및 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
100: 증강현실 생성 시스템
110: 적외선 프로젝터 120: 적외선 카메라
130: 가시광선 카메라 140: 마커 생성 장치
150: 증강현실 생성 장치
111: 적외선 엘이디 112: 집광 렌즈
113: 편광 필터 114: 엘씨디 패널
115: 프레넬 렌즈 116: 반사 거울
141: 마커 결정부 142: 마커 생성부
143: 마커 전송부 144: 제어부
151: 영상 수신부 152: 동기화부
153: 증강현실 생성부 154: 증강현실 출력부
155: 제어부
610 내지 630: 마커
710 내지 730: 가상 영상

Claims (9)

  1. 대상체에 마커를 투영시키는 적외선 프로젝터;
    상기 대상체를 촬영하여 획득된 적외선 영상으로부터 상기 마커를 인식하고, 상기 마커의 좌표값을 획득하는 적외선 카메라;
    상기 대상체를 촬영하여 가시광선 영상을 획득하는 가시광선 카메라; 및
    상기 적외선 카메라로부터 획득된 상기 마커의 좌표값 및 상기 가시광선 카메라로부터 획득된 상기 가시광선 영상을 기초로 증강현실 영상을 생성하는 증강현실 생성 장치를 포함하되,
    상기 적외선 프로젝터는, 순차적으로 배치되는 적외선 엘이디, 집광 렌즈, 편광 필터, 엘씨디 패널, 프레넬 렌즈, 및 반사거울을 포함하고, 상기 적외선 엘이디 및 엘씨디 패널을 사용하여 마커가 적외선 상태로 출력되며,
    적외선 카메라로부터 촬영된 적외선 영상 내의 체커보드 및 가시광선 카메라로부터 촬영된 가시광선 영상 내의 체커보드를 비교하고, 적외선 영상과 가시광선 영상의 3차원 좌표값의 차이를 획득하여 캘리브레이션을 수행하되, 체커보드의 위치를 바꿔가며 적외선 영상 및 가시광선 영상이 복수회 촬영되도록 하여 적외선 영상과 가시광선 영상의 캘리브레이션을 수행하는 캘리브레이션부를 더 포함하는 것 것을 특징으로 하는 마커 인식 기반 증강현실 생성 시스템.
  2. 제1항에 있어서,
    상기 대상체에 투영될 상기 마커의 패턴 및 상기 대상체에 대하여 상기 마커가 투영되는 위치를 결정하여, 상기 적외선 프로젝터를 통하여 출력될 마커를 생성하는 마커 생성 장치를 더 포함하되, 상기 마커의 패턴 및 상기 마커가 투영되는 위치는 변경 가능한 것을 특징으로 하는 마커 인식 기반 증강현실 생성 시스템.
  3. 제2항에 있어서, 상기 적외선 프로젝터는
    상기 마커 생성 장치로부터 생성된 마커를 제공받아 적외선으로 상기 마커를 출력하는 것을 특징으로 하는 마커 인식 기반 증강현실 생성 시스템.
  4. 제1항에 있어서, 상기 증강현실 생성 장치는
    상기 적외선 카메라로부터 획득된 상기 마커의 3차원 좌표값과 상기 가시광선 카메라로부터 획득된 상기 가시광선 영상을 동기화하고, 상기 마커의 3차원 좌표값에 대응되는 상기 가시광선 영상 내의 좌표 상에 가상 영상이 출력되도록 하는 것을 특징으로 하는 마커 인식 기반 증강현실 생성 시스템.
  5. 마커 인식 기반 증강현실 생성 시스템을 이용한 마커 인식 기반 증강현실 생성 방법에 있어서,
    (a) 상기 마커 인식 기반 증강현실 생성 시스템이, 대상체에 마커가 투영되면, 상기 대상체에 대한 적외선 영상으로부터 인식되어 획득된 상기 마커의 좌표값을 수신하는 단계;
    (b) 상기 마커 인식 기반 증강현실 생성 시스템이, 상기 대상체에 대한 가시광선 영상을 수신하는 단계; 및
    (c) 상기 마커 인식 기반 증강현실 생성 시스템이, 상기 마커의 좌표값 및 상기 가시광선 영상을 기초로 증강현실 영상을 생성하는 단계를 포함하되,
    상기 마커는, 순차적으로 배치되는 적외선 엘이디, 집광 렌즈, 편광 필터, 엘씨디 패널, 프레넬 렌즈, 및 반사거울을 포함하는 적외선 프로젝터에 의하여 상기 대상체에 투영되고, 상기 마커는, 상기 적외선 프로젝터의 상기 적외선 엘이디 및 엘씨디 패널에 의하여 적외선 상태로 출력되며,
    상기 (a) 단계 이전에, 상기 마커 인식 기반 증강현실 생성 시스템이, 적외선 카메라로부터 촬영된 적외선 영상 내의 체커보드 및 가시광선 카메라로부터 촬영된 가시광선 영상 내의 체커보드를 비교하고, 적외선 영상과 가시광선 영상의 3차원 좌표값의 차이를 획득하여 캘리브레이션을 수행하되, 체커보드의 위치를 바꿔가며 적외선 영상 및 가시광선 영상이 복수회 촬영되도록 하여 적외선 영상과 가시광선 영상의 캘리브레이션을 수행하는 단계를 더 포함하는 것을 특징으로 하는 마커 인식 기반 증강현실 생성 방법.
  6. 제5항에 있어서, 상기 (a) 단계는
    상기 대상체에 투영될 상기 마커의 패턴 및 상기 대상체에 대하여 상기 마커가 투영되는 위치가 결정되는 단계; 및
    상기 결정된 상기 패턴 및 위치에 따라 마커가 생성되는 단계를 더 포함하되,
    상기 마커의 패턴 및 상기 마커가 투영되는 위치는 변경 가능한 것을 특징으로 하는 마커 인식 기반 증강현실 생성 방법.
  7. 제6항에 있어서, 상기 (a) 단계는
    상기 생성된 마커를 제공받아 적외선으로 상기 마커가 출력되도록 하는 단계를 포함하는 것을 특징으로 하는 마커 인식 기반 증강현실 생성 방법.
  8. 제5항에 있어서, 상기 (c) 단계는
    상기 마커의 3차원 좌표값과 상기 가시광선 영상을 동기화하는 단계; 및
    상기 마커의 3차원 좌표값에 대응되는 상기 가시광선 영상 내의 좌표 상에 가상 영상이 출력되도록 하는 단계를 포함하는 것을 특징으로 하는 마커 인식 기반 증강현실 생성 방법.
  9. 제5항 내지 제8항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020170110904A 2017-08-31 2017-08-31 마커 인식 기반 증강현실 생성 시스템 및 방법 KR101962543B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170110904A KR101962543B1 (ko) 2017-08-31 2017-08-31 마커 인식 기반 증강현실 생성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170110904A KR101962543B1 (ko) 2017-08-31 2017-08-31 마커 인식 기반 증강현실 생성 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190024174A KR20190024174A (ko) 2019-03-08
KR101962543B1 true KR101962543B1 (ko) 2019-03-26

Family

ID=65800944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170110904A KR101962543B1 (ko) 2017-08-31 2017-08-31 마커 인식 기반 증강현실 생성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101962543B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210081797A (ko) 2019-12-24 2021-07-02 서강대학교산학협력단 복합 마커 패턴을 사용한 증강현실 기기의 카메라 좌표계의 추정 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200110075A (ko) 2019-03-15 2020-09-23 정직희 콘텐츠 제공을 위한 증강현실 디바이스 및 이를 이용한 콘텐츠 제공 방법
KR20220149365A (ko) * 2021-04-30 2022-11-08 삼성전자주식회사 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치
KR102520445B1 (ko) * 2022-08-18 2023-04-11 주식회사 에스오씨 인화된 한장의 사진이미지와 연계된 맵핑 컨텐츠 실시간 스트리밍 표출장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005062748A (ja) * 2003-08-20 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置および情報提示装置の使用方法
JP2015038696A (ja) * 2013-08-19 2015-02-26 国立大学法人佐賀大学 拡張現実装置、拡張現実方法及び拡張現実プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100542370B1 (ko) 2004-07-30 2006-01-11 한양대학교 산학협력단 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템
KR101236644B1 (ko) 2011-06-08 2013-03-25 에스알시 주식회사 마커 정보의 실시간 변경 및 다수의 마커 제작을 위한 증강현실 기반의 적외선 마커 활용 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005062748A (ja) * 2003-08-20 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置および情報提示装置の使用方法
JP2015038696A (ja) * 2013-08-19 2015-02-26 国立大学法人佐賀大学 拡張現実装置、拡張現実方法及び拡張現実プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210081797A (ko) 2019-12-24 2021-07-02 서강대학교산학협력단 복합 마커 패턴을 사용한 증강현실 기기의 카메라 좌표계의 추정 방법 및 장치

Also Published As

Publication number Publication date
KR20190024174A (ko) 2019-03-08

Similar Documents

Publication Publication Date Title
KR101962543B1 (ko) 마커 인식 기반 증강현실 생성 시스템 및 방법
US9772720B2 (en) Flexible room controls
JP4584246B2 (ja) 物体上に出力画像を表示する方法
CN106062862B (zh) 用于沉浸式和交互式多媒体生成的系统和方法
JP6531823B2 (ja) 撮像システム、撮像装置、撮像方法、及び撮像プログラム
US8831295B2 (en) Electronic device configured to apply facial recognition based upon reflected infrared illumination and related methods
KR101187500B1 (ko) 광 투영 장치, 조명 장치
US20150369593A1 (en) Orthographic image capture system
US20050111705A1 (en) Passive stereo sensing for 3D facial shape biometrics
US20070229850A1 (en) System and method for three-dimensional image capture
US9406170B1 (en) Augmented reality system with activity templates
JP2003131319A (ja) 光送受装置
US20100259598A1 (en) Apparatus for detecting three-dimensional distance
US8847922B1 (en) Calibrating of interactive touch system for image compositing
CN109086694A (zh) 一种人脸识别系统及方法
KR101773988B1 (ko) 시각적 계층화 시스템 및 시각적 계층화 방법
CN104460194B (zh) 投影装置、投影控制方法
KR20090000777A (ko) 감각형 오브젝트를 이용한 증강현실 시스템 및 증강현실제공 방법
KR102185322B1 (ko) 적외선 스테레오 카메라를 이용한 위치 검출 시스템
JP2015038699A (ja) 拡張現実画像生成システム、３次元形状データ生成装置、拡張現実提示装置、拡張現実画像生成方法、及びプログラム
KR102052026B1 (ko) 홀로그램 투영장치 및 그 방법
CN108475147A (zh) 图像识别装置、图像识别方法以及图像识别单元
KR102094772B1 (ko) 영상 제어 방법 및 서버
KR101684270B1 (ko) 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법
JP2009187412A (ja) マーカ検出識別装置およびそのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170831

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180504

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20181220

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20180504

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20181220

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20180720

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20190123

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20190104

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20181220

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20180720

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190320

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190320

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220406

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230201

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240319

Start annual number: 6

End annual number: 6