KR101559586B1 - 증강 현실을 이용한 정보 안내 장치 및 그 방법 - Google Patents

증강 현실을 이용한 정보 안내 장치 및 그 방법 Download PDF

Info

Publication number
KR101559586B1
KR101559586B1 KR1020090043647A KR20090043647A KR101559586B1 KR 101559586 B1 KR101559586 B1 KR 101559586B1 KR 1020090043647 A KR1020090043647 A KR 1020090043647A KR 20090043647 A KR20090043647 A KR 20090043647A KR 101559586 B1 KR101559586 B1 KR 101559586B1
Authority
KR
South Korea
Prior art keywords
cursor
information
image
marker
sub
Prior art date
Application number
KR1020090043647A
Other languages
English (en)
Other versions
KR20100124571A (ko
Inventor
김동호
김영조
강현우
박신연
장의선
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020090043647A priority Critical patent/KR101559586B1/ko
Publication of KR20100124571A publication Critical patent/KR20100124571A/ko
Application granted granted Critical
Publication of KR101559586B1 publication Critical patent/KR101559586B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Abstract

증강 현실을 이용한 정보 안내 장치 및 그 방법을 개시한다. 정보 안내 장치는 지역 공간을 인식하기 위한 정보를 가지는 정보용 마커가 인쇄 또는 부착된 인쇄물의 영상을 카메라로부터 입력받는 영상 입력부; 및, 상기 입력된 영상으로부터 상기 정보용 마커의 검출을 통해 상기 지역 공간과 관련된 3D 객체인 메인 객체를 상기 영상에 합성하여 재현하는 영상 재현부를 포함하고, 상기 인쇄물은 적어도 하나의 시설물 또는 물건을 포괄하는 상기 지역 공간에 대한 안내, 홍보, 입장 중 적어도 하나의 용도로 사용되는 것을 의미한다.
Figure R1020090043647
박람회, 놀이 공원, 캠퍼스, 안내 장치, AR(증강 현실), 3D 객체

Description

증강 현실을 이용한 정보 안내 장치 및 그 방법{APPARATUS AND METHOD FOR GUIDING INFORMATION USING AUGMENTED REALITY}
본 발명의 실시예들은 박람회, 놀이공원, 행사장과 같은 대단위 시설을 포함한 지역 공간에 대한 이용 안내, 길 안내, 시설물 안내 등 각종 정보를 제공하는 정보 안내 장치 및 그 방법에 관한 것이다.
전시회, 박물관, 미술관 등은 관람을 위하여 작품에 대한 정보를 제공하는 것을 필요로 하다. 또한, 놀이공원, 복합건물(복합 문화공간), 캠퍼스 등 대단위 시설을 포함하는 공간의 경우 내부의 길 안내 및 특정 건물의 위치나 상세 지도 등과 관련된 정보를 제공할 필요가 있다.
이러한 정보를 제공하는 안내 장치는 비디오 및 오디오 수단을 구비하여 사용자가 요구하는 정보를 영상과 함께 음성 안내로 제공할 수 있다.
예를 들어, 미술관의 경우 기존의 안내 장치는 사용자가 특정 작품에 대한 검색을 요청할 경우 선택된 작품에 해당하는 이미 저장된 컨텐츠(Pre-loaded Taping Contents)를 재생하는 방식이 일반적이다. 또한, 작품에 RF 태그를 미리 부착하고 사용자가 RFID를 인식할 수 있는 단말기를 들고 작품에 접근할 경우 단말 기에서 작품에 부착된 RF 태그의 ID를 자동으로 센싱하여 이에 대한 정보를 제공하는 방식이 상용화 되고 있다.
그러나, 사용자가 직접 정보를 검색하는 방식이나 RFID를 이용한 자동 센싱 방식을 차치하더라도 기존의 안내 장치는 향상된 인터페이스에도 불구하고 정보와 관련된 이미지를 제공하는데 한계가 있다. 사용자가 필요로 하는 정보를 좀 더 유용한 방식으로 다양한 컨텐츠로서 제공할 수 있는 안내 장치의 개발이 필요하다.
본 발명의 일실시예는 여러 시설물과 물건을 포괄한 대단위 공간에 대하여 사용자가 필요로 하는 정보를 보다 유용한 방식으로 제공하기 위한 AR(Augmented Reality) 기술을 이용한 정보 안내 장치 및 그 방법을 제공한다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치는 지역 공간을 인식하기 위한 정보를 가지는 정보용 마커가 인쇄 또는 부착된 인쇄물의 영상을 카메라로부터 입력받는 영상 입력부; 및, 상기 입력된 영상으로부터 상기 정보용 마커의 검출을 통해 상기 지역 공간과 관련된 3D 객체인 메인 객체를 상기 영상에 합성하여 재현하는 영상 재현부를 포함한다. 여기서, 상기 인쇄물은 적어도 하나의 시설물 또는 물건을 포괄하는 상기 지역 공간에 대한 안내, 홍보, 입장 중 적어도 하나의 용도로 사용되는 것이다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치에서 상기 영상 입력부는 상기 카메라로부터 사용자에 의해 조작되는 커서용 마커의 움직임을 실시간으로 입력받고, 상기 영상 재현부는 상기 커서용 마커의 움직임을 상기 메인 객체에 대한 사용자 인터페이스로 반영하여 상기 커서용 마커의 움직임에 따라 상기 메인 객체 내 시설물 또는 물건과 관련된 3D 객체인 서브 객체를 상기 영상에 합성한다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치에서 상기 영상 재현부는 상기 메인 객체의 좌표를 기준으로 상기 커서용 마커의 위치 및 상기 시설물 또는 물건의 위치를 상대 좌표로 계산하는 좌표 계산부와, 상기 시설물 또는 물건의 3D 위치 정보를 2D 영역 정보로 변환하여 상기 변환된 2D 영역 정보를 통해 상기 커서용 마커의 위치에 따른 사용자 인터페이스를 인식하는 마커 인식부와, 상기 커서용 마커의 움직임과 대응되는 위치에 상기 서브 객체를 렌더링 하되, 상기 커서용 마커의 위치를 프레임 단위로 저장한 후 상기 저장된 일정 개수의 프레임에 대한 위치를 평균하여 상기 평균에 해당하는 위치에 상기 서브 객체를 렌더링 하는 렌더링부를 포함한다.
그리고, 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 영상 입력부 및 영상 재현부를 포함한 정보 안내 장치의 증강 현실을 이용한 정보 안내 방법에 있어서, 상기 영상 입력부에서 지역 공간을 인식하기 위한 정보를 가지는 정보용 마커가 인쇄 또는 부착된 인쇄물의 영상을 카메라로부터 입력받는 단계; 및, 상기 영상 재현부에서 상기 입력된 영상으로부터 상기 정보용 마커의 검출을 통해 상기 지역 공간과 관련된 3D 객체인 메인 객체를 상기 영상에 합성하여 재 현하는 단계를 포함한다. 이때, 상기 인쇄물은 적어도 하나의 시설물 또는 물건을 포괄하는 상기 지역 공간에 대한 안내, 홍보, 입장 중 적어도 하나의 용도로 사용되는 것이다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 상기 영상 입력부에서 상기 카메라로부터 사용자에 의해 조작되는 커서용 마커의 움직임을 실시간으로 입력받는 단계; 상기 영상 재현부에서 상기 커서용 마커의 움직임을 상기 메인 객체에 대한 사용자 인터페이스로 반영하여 상기 커서용 마커의 움직임에 따라 상기 메인 객체 내 시설물 또는 물건과 관련된 3D 객체인 서브 객체를 상기 영상에 합성하는 단계;를 더 포함한다.
본 발명의 일실시예에 따르면, 박람회, 놀이공원, 행사장과 같은 대단위 시설을 포함한 지역 공간에 대한 안내, 홍보, 입장 등의 용도로 사용하는 인쇄물을 매개로 지역 공간과 관련된 다양한 정보를 제공함으로써 인쇄물의 용도를 확대하여 인쇄물 이상의 의미를 부여할 수 있다.
본 발명의 일실시예에 따르면, 지역 공간의 3D 객체를 카메라로 촬영된 실시간 영상에 합성하여 재현함으로써 사용자로 하여금 가상의 객체가 실제 공간에 존재하는 것과 같은 착각을 일으켜 정보를 이용하는 사용자의 재미를 극대화시킬 수 있다.
본 발명의 일실시예에 따르면, 지역 공간을 모델링 한 3D 객체를 AR 기술을 이용하여 재현하는 과정에서 사용자가 조작하는 마커의 움직임을 사용자 인터페이 스로 그대로 반영함으로써 사용자의 의도를 쉽게 인식할 수 있으며 오락성이 부각된 새로운 느낌의 인터페이스를 제공할 수 있다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명의 일실시예에 따른 정보 안내 장치는 박람회, 놀이공원, 행사장과 같은 적어도 하나의 시설물 또는 물건을 포괄하는 지역 공간에 비치되어 지역 공간에 관련된 전반의 정보 및 각각의 시설물 또는 물건과 관련된 세부 정보를 제공한다.
도 1은 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치의 외형에 대한 일례를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 정보 안내 장치의 외형은 안내대(110)와, 촬영 방향이 안내대(110)를 향하는 카메라(130)와, 카메라(130)를 통해 촬영되는 영상을 출력하는 모니터(150)가 구비된다.
본 발명의 일실시예에 따른 정보 안내 장치는 지역 공간에 대한 안내, 홍보, 입장 중 적어도 하나의 용도로 사용되는 인쇄물(100)을 매개로 조작할 수 있다. 인쇄물(100)은 지역 공간에서 배부되는 것으로 지역 공간을 인식하기 위한 정보(예를 들어, 바코드, 문형 등)를 가지는 정보용 마커(101)가 인쇄 또는 부착된다. 인쇄물(100)은 지역 공간 및 지역 공간 내 시설물 또는 물건과 관련된 정보가 인쇄되어 있거나 지역 공간의 2D 지도가 인쇄된다.
도 1에 도시한 바와 같이, 본 발명의 일실시예에 따른 정보 안내 장치는 사용자가 인쇄물(100)을 안내대(110)에 올려 놓거나 카메라(130) 아래에 위치시킬 경우 카메라(130)에서 촬영된 영상으로부터 정보용 마커(101)를 검출하여 모니터(150)를 통해 지역 공간에 대한 정보 안내 서비스를 개시한다.
또한, 본 발명의 일실시예는 정보 안내 서비스에 대한 입력수단으로 사용자가 손에 쥐고 사용할 수 있는 커서용 마커(미도시)를 이용한다. 커서용 마커는 플라스틱 등의 재질로 제작된 것으로 입력수단으로 이용하기 위한 정보(예를 들어, 바코드, 문형 등)를 가진다. 본 발명의 일실시예에 따른 정보 안내 장치는 사용자가 커서용 마커를 안내대(110)의 영역 내에서 이동시킬 경우 카메라(130)에서 촬영된 영상으로부터 커서용 마커의 움직임을 추적하여 커서용 마커를 모니터(150)에 출력된 영상에 커서 등으로 표시한다. 즉, 본 발명의 일실시예는 커서용 마커의 움직임을 사용자 인터페이스로 그대로 반영하여 정보 안내 서비스에 대한 입력 수단으로 이용할 수 있다.
도 2는 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치의 내부 구성을 도시한 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치는 영상 입력부(210)와, 영상 재현부(230)와, 데이터베이스(250)를 포함한다. 여기서, 영상 재현부(230)는 좌표 계산부(231)와, 마커 인식부(233)와, 렌더링부(235)로 구성된다.
영상 입력부(210)는 카메라(130)로 촬영된 실시간 영상을 입력받는 역할을 수행한다. 영상 입력부(210)는 카메라(130)로부터 정보용 마커(101)가 인쇄 또는 부착된 인쇄물(100)의 영상(이하, '입력 영상'이라 칭함)을 입력 받으며, 이후 사용자에 의해 조작되는 커서용 마커의 영상 즉, 커서용 마커의 움직임을 실시간으로 입력 받는다.
데이터베이스(250)는 지역 공간과 관련된 3D 객체(이하, '메인 객체'라 칭함) 및, 지역 공간 내 각각의 시설물 또는 물건과 관련된 3D 객체(이하, '서브 객체'라 칭함)를 유지한다. 메인 객체 및 서브 객체는 지역 공간 및, 시설물 또는 물건의 실제 형상을 3D로 모델링 한 객체를 포함한다.
영상 재현부(230)는 입력 영상으로부터 정보용 마커(101)가 검출되면 데이터베이스(250)에 저장된 메인 객체를 입력 영상에 합성하여 AR 영상으로 재현하는 역할을 수행한다. 영상 재현부(230)는 커서용 마커의 움직임을 메인 객체에 대한 사용자 인터페이스로 반영하는 역할을 수행한다. 이때, 영상 재현부(230)는 커서용 마커가 함께 촬영된 입력 영상에서 커서용 마커의 위치에 마커 영상 대신 커서에 해당하는 아이콘을 표시하여 사용자 인터페이스를 제공한다. 영상 재현부(230)는 커서용 마커의 위치 및 움직임에 따라 지역 공간 내 특정 시설물 또는 물건에 대한 사용자의 선택을 인식하여 사용자로부터 선택된 시설물 또는 물건에 해당하는 서브 객체를 데이터베이스(250)에서 읽어와 입력 영상에 합성하여 AR 영상으로 재현하는 역할을 수행한다.
영상 재현부(230)의 동작을 더욱 상세하게 설명한다.
본 발명의 일실시예는 메인 객체에 대한 사용자 인터페이스를 제공하는 과정에서 시설물 또는 물건과 메인 객체 간의 상호 관계, 또는 커서용 마커와 메인 객체 간의 상호 관계를 가지고 동작해야 한다. 즉, 본 발명의 일실시예는 서브 객체를 표시할 정확한 위치를 판단하기 위하여 메인 객체의 좌표를 기준으로 한 시설물 또는 물건의 상대 좌표와 커서용 마커의 상대 좌표를 이용한다.
좌표 계산부(231)는 메인 객체의 좌표를 기준으로 메인 객체 내에서의 커서용 마커의 위치 및 시설물 또는 물건의 위치를 상대 좌표로 계산한다. 예를 들어, 카메라(130)를 통해 입력된 입력 영상의 좌표에서 커서용 마커의 위치 정보와, 시설물 또는 물건의 위치 정보는 수학식 1(이하, '서브 행렬'이라 칭함)과 같이 3×4 행렬 형태로 나타내고 메인 객체의 위치 정보는 수학식 2(이하, '메인 행렬'이라 칭함)와 같이 마찬가지로 3×4 행렬 형태로 나타낼 수 있다. 이때, 메인 행렬과 서브 행렬의 R은 회전 값을 의미하고 T는 3차원(x, y, z) 좌표 값을 의미한다.
Figure 112009029991643-pat00001
Figure 112009029991643-pat00002
좌표 계산부(231)는 시설물 또는 물건과 메인 객체 간의 상호 관계, 또는 커서용 마커와 메인 객체 간의 상호 관계를 연산하기 위해 행렬의 [0 0 0 1]행을 메인 행렬과 서브 행렬의 4행으로 추가하여 메인 행렬과 서브 행렬을 4×4 행렬 형태로 변환한다. 여기서, 행렬의 [0 0 0 1]행은 변환을 가능하도록 하는 정보를 갖지 않는 행을 의미한다.
그리고, 좌표 계산부(231)는 수학식 3과 같이 메인 행렬의 역 행렬을 서브 행렬과 행렬 곱을 연산한다. 이때, 연산된 결과는 메인 객체의 좌표를 기준으로 한 커서용 마커의 상대적 위치 정보 또는, 시설물 또는 물건의 상대적 위치 정보를 나타낸다. 따라서, 본 발명의 일실시예는 시설물 또는 물건과 메인 객체 간, 또는 커서용 마커와 메인 객체 간의 거리적 관계나 회전적 관계의 판단이 가능하다.
Figure 112009029991643-pat00003
본 발명의 일실시예는 사용자가 커서용 마커를 이용하여 메인 객체 내 특정 시설물 또는 물건의 위치에 접촉할 경우 모니터(150) 상에 보이는 접촉이 시설물 또는 물건에 대한 접촉으로 반영되어야 한다. 예를 들어, 커서용 마커의 위치가 시설물 또는 물건의 3D 위치 정보 중 x 및 y의 영역과는 일치하나 z 영역과 일치하지 않은 경우 사용자가 모니터(150)를 통해 AR 영상을 볼 때는 접촉이 이루어진 것처럼 보이지만 시스템에서는 커서용 마커에 의한 접촉이 이루어지지 않은 것으로 인식될 수 있다. 이러한 괴리를 극복하고 모니터(150) 상에 보이는 것과 동일하게 커서용 마커의 접촉을 인지하기 위하여, 마커 인식부(233)는 시설물 또는 물건의 3D 위치 정보를 2D 영역 정보로 변환하여 2D 영역 정보를 통해 커서용 마커의 위치에 따른 사용자 인터페이스를 인식한다.
도 3을 참조하면, 마커 인식부(233)는 좌표 계산부(231)를 통해 계산된 시설물 또는 물건의 3D 위치 정보인 상대 좌표(301)가 2D 영역으로 투영된 위치 정보(303)를 얻은 후 2D 영역으로 투영된 위치 정보(303)를 수학식 4에 적용하여 시설물 또는 물건의 2D 영역 정보(Vx, Vy)(305)를 구할 수 있다. 3D의 메인 객체 상에 존재하는 시설물 또는 물건은 8개 이상의 상대 위치 정보를 가지므로 행렬 계산을 거쳐 3D 위치 정보를 투영하여 2D 영역의 점으로 변환할 수 있다. 2D 영역으로 투영된 위치 정보(303)에 2D 영역 정보를 나타내는데 불필요한 점들은 그레이엄 알고리즘(Graham's Algorithm)으로 구현된 콘벡스 훌(Convex Hull) 알고리즘을 이용하여 제거할 수 있다. 결과적으로, 마커 인식부(233)는 2D 영역으로 투영된 위치 정보(303) 중 외각을 나타내는 점들을 이용하여 영역 정보를 얻을 수 있다.
Figure 112009029991643-pat00004
(여기서, Cx와 Cy와 Cz는 2D 영역으로 투영된 위치 정보, K는 상기 카메라의 해상도를 나타내는 상수를 의미한다.)
본 발명의 일실시예는 커서용 마커가 접촉된 2D 영역 정보에 대응되는 특정 시설물 또는 물건의 3D 객체 즉, 서브 객체를 커서용 마커의 상대 좌표 상에 재현한 AR 영상을 제공한다.
렌더링부(235)는 좌표 계산부(231)를 통해 계산된 커서용 마커에 대한 상대 좌표를 이용하여 커서용 마커에 의해 선택된 시설물 또는 물건의 서브 객체를 커서용 마커의 상대 좌표 상에 렌더링 한다. 즉, 본 발명의 일실시예는 커서용 마커의 움직임을 따라가면서 커서용 마커의 위치 상에 서브 객체를 재현한 AR 영상을 제공한다. 그러나, 커서용 마커의 위치를 검출하여 서브 객체를 출력하는 과정에서 정제되지 않은 커서용 마커의 위치 정보를 그대로 서브 객체에 적용할 경우 렌더링 된 서브 객체가 커서용 마커를 따라 움직이면서 영상의 끊김 또는 사라짐 현상이 발생할 수 있다. 따라서, 본 발명의 일실시예는 연산을 통해 노이즈 데이터를 제거함과 동시에 서브 객체가 커서용 마커의 움직임을 부드럽게 따라가는 효과를 줄 수 있다. 이를 위하여, 렌더링부(235)는 도 4와 같이 커서용 마커(401)의 위치를 프로그램 상의 버퍼(403)에 프레임 단위로 순차적으로 저장한다. 그리고, 렌더링부(235)는 일정한 양의 버퍼에 저장된 위치 정보 즉, 일정 개수의 프레임에 대한 위치 정보를 수학식 5와 같이 평균(E(x))하여 평균(E(x))에 해당하는 위치 정보를 서브 객체의 렌더링에 반영한다. 그 결과, 본 발명의 일실시예는 커서용 마커가 갑자기 사라지더라도 서브 객체는 이전 프레임의 위치 정보를 평균 연산하여 평균된 위치 정보를 따라 서브 객체를 렌더링 함으로써 서브 객체가 화면에서 부드럽게 사라지게 되며 노이즈 데이터로 인해 위치 정보의 연관성이 떨어지더라도 보완된 값을 이용하게 되므로 서브 객체를 안정적으로 화면에 출력할 수 있다.
Figure 112009029991643-pat00005
도 5는 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법의 과정을 설명하기 위한 도면이다. 여기서, 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 도 1과 도 2에 도시한 정보 안내 장치에 의해 실행될 수 있다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 영상 입력부(210)에서 카메라(130)로 촬영된 실시간 영상을 통해 인쇄물(100)의 영상을 입력 받는다. 이때, 인쇄물(100)은 적어도 하나의 시설물 또는 물건을 포괄하는 지역 공간에 대한 안내, 홍보, 입장 중 적어도 하나의 용도로 사용되는 것이며, 지역 공간을 인식시키기 위한 정보를 가지는 정보용 마커(101)가 인쇄 또는 부착된다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 영상 재현부(230)에서 영상 입력부(210)를 통해 입력된 입력 영상에서 정보용 마커(101)를 인식한다(S501).
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 영상 재현부(230)에서 정보용 마커(101)가 검출되면 지역 공간과 관련된 3D 객체인 메인 객체를 입력 영상에 합성하여 AR 영상으로 재현한다(S502). 즉, 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 인쇄물(100)을 매개로 정보용 마 커(101)가 검출되면 지역 공간에 대한 정보 안내 서비스를 개시한다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 영상 입력부(210)에서 사용자에 의해 조작되는 커서용 마커의 움직임을 실시간으로 입력 받는다. 이때, 커서용 마커는 사용자가 사용 가능한 입력 수단으로 손에 쥐고 사용할 수 있도록 플라스틱 등의 재질로 제작된 것으로 입력수단으로 이용하기 위한 정보를 가진다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 영상 재현부(230)에서 커서용 마커의 위치를 인식하여(S503) 커서용 마커의 움직임을 메인 객체에 대한 사용자 인터페이스로 반영한다(S504). 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 실시간 영상에서 커서용 마커의 위치를 인식하고 메인 객체가 합성된 AR 영상에서 커서용 마커의 위치에 커서에 해당하는 아이콘을 표시하여 사용자 인터페이스를 제공한다. 즉, 영상 재현부(230)는 커서용 마커의 위치 및 움직임을 인식하여 이를 메인 객체 내 특정 시설물 또는 물건에 대한 사용자의 선택 입력(클릭)으로 인식할 수 있다. 특히, 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 영상 재현부(230)에서 커서용 마커에 의해 선택된 시설물 또는 물건과 관련된 3D 객체인 서브 객체를 커서용 마커의 움직임을 따라가면서 커서용 마커의 위치 상에 재현한 AR 영상을 제공한다.
따라서, 본 발명의 일실시예는 지역 공간에 대한 안내, 홍보, 입장 등의 용도로 사용하는 인쇄물을 매개로 지역 공간과 관련된 다양한 정보를 제공할 수 있으며, 지역 공간의 3D 객체를 카메라로 촬영된 실시간 영상에 합성한 AR 영상을 제공 하여 정보 이용의 재미를 부가할 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치의 외형에 대한 일례를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치의 내부 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에서 커서용 마커를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에서 3D 객체의 렌더링에 대한 일례를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법의 과정을 설명하기 위한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
210: 영상 입력부
230: 영상 재현부
231: 좌표 계산부
233: 마커 인식부
235: 렌더링부

Claims (9)

  1. 지역 공간을 인식하기 위한 정보를 가지는 정보용 마커가 인쇄 또는 부착된 인쇄물의 영상을 카메라로부터 입력받는 영상 입력부; 및,
    상기 입력된 영상으로부터 상기 정보용 마커의 검출을 통해 상기 지역 공간과 관련된 3D 객체인 메인 객체를 상기 영상에 합성하여 재현하는 영상 재현부를 포함하고,
    상기 인쇄물은 적어도 하나의 시설물 또는 물건을 포괄하는 상기 지역 공간에 대한 안내, 홍보, 입장 중 적어도 하나의 용도로 사용되는 것이며,
    상기 영상 입력부는 상기 카메라로부터 사용자에 의해 조작되는 커서용 마커의 움직임을 실시간으로 입력받고,
    상기 영상 재현부는 상기 커서용 마커의 움직임을 상기 메인 객체에 대한 사용자 인터페이스로 반영하여 상기 커서용 마커의 움직임에 따라 상기 메인 객체 내 시설물 또는 물건과 관련된 3D 객체인 서브 객체를 상기 영상에 합성하고,
    상기 영상 재현부는 상기 메인 객체의 좌표를 기준으로 상기 커서용 마커의 위치 및 상기 시설물 또는 물건의 위치를 상대 좌표로 계산하는 증강 현실을 이용한 정보 안내 장치.
  2. 영상 입력부 및 영상 재현부를 포함한 정보 안내 장치의 증강 현실을 이용한 정보 안내 방법에 있어서,
    상기 영상 입력부에서 지역 공간을 인식하기 위한 정보를 가지는 정보용 마커가 인쇄 또는 부착된 인쇄물의 영상을 카메라로부터 입력받는 단계; 및,
    상기 영상 재현부에서 상기 입력된 영상으로부터 상기 정보용 마커의 검출을 통해 상기 지역 공간과 관련된 3D 객체인 메인 객체를 상기 영상에 합성하여 재현하는 단계;
    상기 영상 입력부에서 상기 카메라로부터 사용자에 의해 조작되는 커서용 마커의 움직임을 실시간으로 입력받는 단계; 및
    상기 영상 재현부에서 상기 커서용 마커의 움직임을 상기 메인 객체에 대한 사용자 인터페이스로 반영하여 상기 커서용 마커의 움직임에 따라 상기 메인 객체 내 시설물 또는 물건과 관련된 3D 객체인 서브 객체를 상기 영상에 합성하는 단계;
    를 포함하고,
    상기 서브 객체를 합성하는 단계는,
    상기 영상 재현부에서 상기 메인 객체의 좌표를 기준으로 상기 커서용 마커의 위치 및 상기 시설물 또는 물건의 위치를 상대 좌표로 계산하는 단계
    를 포함하고,
    상기 인쇄물은,
    적어도 하나의 시설물 또는 물건을 포괄하는 상기 지역 공간에 대한 안내, 홍보, 입장 중 적어도 하나의 용도로 사용되는 것인, 증강 현실을 이용한 정보 안내 방법.
  3. 삭제
  4. 삭제
  5. 제2항에 있어서,
    상기 서브 객체를 합성하는 단계는,
    상기 영상 재현부에서 수식 1과 같이 상기 메인 객체의 위치 정보를 행렬 형태로 나타낸 메인 행렬과 상기 커서용 마커 또는, 시설물 또는 물건의 위치 정보를 행렬 형태로 나타낸 서브 행렬을 4행에 [0 0 0 1]에 해당하는 행을 추가한 4×4 행렬 형태로 변환한 후 상기 메인 행렬의 역 행렬과 상기 서브 행렬의 행렬 곱으로 상기 커서용 마커 또는 서브 객체에 대한 상대 좌표를 계산하는, 증강 현실을 이용한 정보 안내 방법.
    수식 1:
    Figure 112015077856384-pat00006
    (여기서,
    Figure 112015077856384-pat00007
    는 4×4 행렬 형태로 변화된 메인 행렬의 역 행렬,
    Figure 112015077856384-pat00008
    는 4×4 행렬 형태로 변화된 서브 행렬, R은 회전 값, T는 3차원 좌표 값을 의미한다.)
  6. 제2항에 있어서,
    상기 서브 객체를 합성하는 단계는,
    상기 영상 재현부에서 계산된 상기 커서용 마커 또는, 시설물 또는 물건에 대한 상대 좌표를 이용하여 상기 시설물 또는 물건의 3D 위치 정보를 2D 영역 정보로 변환한 후 상기 변환된 2D 영역 정보를 통해 상기 커서용 마커의 위치에 따른 사용자 인터페이스를 인식하는 단계를 포함하는, 증강 현실을 이용한 정보 안내 방법.
  7. 제6항에 있어서,
    상기 2D 영역 정보는,
    상기 시설물 또는 물건에 대하여 상기 좌표 계산부에서 계산된 상대 좌표가 2D 영역으로 투영된 위치 정보에 따라 수식 2와 같이 산출되는, 증강 현실을 이용한 정보 안내 방법.
    수식 2:
    Figure 112009029991643-pat00009
    (여기서, Vx와 Vy는 상기 2D 영역 정보, Cx와 Cy와 Cz는 상기 2D 영역으로 투영된 위치 정보, K는 상기 카메라의 해상도를 나타내는 상수를 의미한다.)
  8. 제2항에 있어서,
    상기 서브 객체를 합성하는 단계는,
    상기 영상 재현부에서 계산된 상기 커서용 마커 또는, 시설물 또는 물건에 대한 상대 좌표를 이용하여 상기 커서용 마커의 위치에 상기 서브 객체를 랜더링 하는 단계를 포함하는, 증강 현실을 이용한 정보 안내 방법.
  9. 제8항에 있어서,
    상기 서브 객체를 랜더링 하는 단계는,
    상기 커서용 마커의 위치를 프레임 단위로 저장한 후 상기 저장된 일정 개수의 프레임에 대한 위치를 평균하여 상기 평균에 해당하는 위치에 상기 서브 객체를 렌더링 하는, 증강 현실을 이용한 정보 안내 방법.
KR1020090043647A 2009-05-19 2009-05-19 증강 현실을 이용한 정보 안내 장치 및 그 방법 KR101559586B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090043647A KR101559586B1 (ko) 2009-05-19 2009-05-19 증강 현실을 이용한 정보 안내 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090043647A KR101559586B1 (ko) 2009-05-19 2009-05-19 증강 현실을 이용한 정보 안내 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20100124571A KR20100124571A (ko) 2010-11-29
KR101559586B1 true KR101559586B1 (ko) 2015-10-13

Family

ID=43408758

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090043647A KR101559586B1 (ko) 2009-05-19 2009-05-19 증강 현실을 이용한 정보 안내 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101559586B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220089815A (ko) 2020-12-21 2022-06-29 경일대학교산학협력단 증강 현실 기반의 캠퍼스 안내 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8308067B1 (en) * 2011-11-11 2012-11-13 Google Inc. Structural display of visual codes
KR20160146567A (ko) 2015-06-12 2016-12-21 신동한 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100734613B1 (ko) 2006-02-16 2007-07-03 주식회사 다민스토리 인터넷상의 3차원 멀티플렉스 및 포탈서비스 시스템과 그방법 및 그 방법에 대한 컴퓨터 프로그램을 저장한기록매체
KR100777215B1 (ko) * 2006-05-30 2007-11-19 한국과학기술연구원 휴대용 기기를 이용한 증강현실 영상 시스템
KR100786351B1 (ko) 2006-08-29 2007-12-14 울산대학교 산학협력단 Ａｒ을 이용한 작업로봇 티칭 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100734613B1 (ko) 2006-02-16 2007-07-03 주식회사 다민스토리 인터넷상의 3차원 멀티플렉스 및 포탈서비스 시스템과 그방법 및 그 방법에 대한 컴퓨터 프로그램을 저장한기록매체
KR100777215B1 (ko) * 2006-05-30 2007-11-19 한국과학기술연구원 휴대용 기기를 이용한 증강현실 영상 시스템
KR100786351B1 (ko) 2006-08-29 2007-12-14 울산대학교 산학협력단 Ａｒ을 이용한 작업로봇 티칭 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220089815A (ko) 2020-12-21 2022-06-29 경일대학교산학협력단 증강 현실 기반의 캠퍼스 안내 장치 및 방법

Also Published As

Publication number Publication date
KR20100124571A (ko) 2010-11-29

Similar Documents

Publication Publication Date Title
US10964108B2 (en) Augmentation of captured 3D scenes with contextual information
US8055061B2 (en) Method and apparatus for generating three-dimensional model information
KR101652311B1 (ko) 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR102197732B1 (ko) 실내공간의 3차원 지도 생성 방법 및 장치
US20140181630A1 (en) Method and apparatus for adding annotations to an image
KR101867020B1 (ko) 박물관/미술관용 증강 현실 구현 방법 및 장치
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
CN112132940A (zh) 显示方法、装置，显示设备及存储介质
CN103003843B (zh) 用于跟踪具有动态变化部分的目标的数据集创建
JP2011095797A (ja) 画像処理装置、画像処理方法及びプログラム
CN113359986B (zh) 增强现实数据展示方法、装置、电子设备及存储介质
KR20140090022A (ko) 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치
KR20150106879A (ko) 플렌옵틱 라이트 필드에 어노테이션을 추가하는 방법 및 기기
JP2010128799A (ja) 複合メディア合成装置及び複合メディア表示システム及び複合メディア合成方法及び複合メディア合成プログラム
KR101641672B1 (ko) 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템
EP3422145B1 (en) Provision of virtual reality content
CN110286906B (zh) 用户界面显示方法、装置、存储介质与移动终端
CN108431871A (zh) 在三维模型上显示对象的方法
KR101559586B1 (ko) 증강 현실을 이용한 정보 안내 장치 및 그 방법
US9261974B2 (en) Apparatus and method for processing sensory effect of image data
JP2004272515A (ja) インタフェース方法、装置、およびプログラム
KR100550430B1 (ko) 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법
CN114967914A (zh) 一种虚拟显示方法、装置、设备以及存储介质
KR20210105484A (ko) 문화유적복원 실감 장치
JP2006222901A (ja) 動画再生支援方法、動画再生支援プログラム、サーバ装置及びコンピュータシステム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190905

Year of fee payment: 5