KR101867020B1 - 박물관/미술관용 증강 현실 구현 방법 및 장치 - Google Patents

Abstract

본 발명은 박물관/미술관용 증강 현실 구현 방법 및 장치에 관한 것이다. 본 발명은 박물관/미술관의 3차원 좌표 데이터베이스를 포함하는 응용프로그램이 설치된 단말의 박물관/미술관 용 증강 현실 구현 방법에 있어서, 카메라를 통해 임의의 마커 이미지가 입력되면, 상기 마커 이미지를 이용하여 상기 카메라의 초기 위치 및 초기 방향을 측정하는 단계, 상기 단말에 구비된 하나 이상의 센서를 이용하여 상기 단말의 움직임에 따른 벡터 정보를 수집하는 단계, 상기 벡터 정보를 이용하여 상기 카메라의 현재 위치 및 현재 방향을 연산하는 단계, 상기 현재 위치, 상기 현재 방향, 상기 카메라의 화각을 이용하여, 상기 단말에 표시되는 실제 공간에 위치한 전시품을 식별하고, 상기 전시품에 대응하는 증강 현실 컨텐츠를 화면에 표시하는 단계를 포함하는 것을 일 특징으로 한다. 이러한 본 발명에 의하면 실시간으로 가상 이미지를 생성하거나, 서버와 단말 간 많은 데이터를 송수신하지 않고도 좌표 정보를 이용하여 증강 현실을 구현함으로써 빠르고 정확도 높은 증강 현실 영상을 사용자에게 제공할 수 있다.

Description

박물관/미술관용 증강 현실 구현 방법 및 장치{METHOD AND APPARATUS FOR IMPLEMENTING AUGMENTED REALITY FOR MUSEUM}

본 발명은 증강 현실 구현 장치 및 방법에 관한 것으로, 보다 자세하게는 박물관/미술관용 증강 현실 구현 장치 및 방법에 관한 것이다.

증강 현실(Augmented Reality)이란 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 새로운 환경을 생성한다. 현실환경과 가상환경을 융합하는 증강 현실 시스템은 1990년대 후반부터 미국과 일본을 중심으로 연구 개발이 진행되고 있다. 현실세계를 가상세계로 보완해주는 개념인 증강 현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다.

증강 현실은 사용자가 보고 있는 실사 영상에 3차원 가상영상을 정합함(register)으로써 현실환경과 가상환경과의 구분이 모호해지도록 한다는 뜻이다. 가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강 현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감을 제공한다.

한편, 박물관/미술관은 전시품 관련 정보를 제공함에 있어서 도슨트 서비스 전용 기기를 대여하는 방식으로 전시품에 대한 정보를 관람객들에게 제공해왔다. 전자기기를 활용한 도슨트 서비스는 각 전시품에 대한 설명이 녹음된 음성을 전자기기에 저장하여, 각 음성 파일을 관람객이 수동 조작을 통해 재생할 수 있도록 한다. 최근에는 블루투스 등의 근거리 통신 기술을 활용하여, 전시품에 접근하면 자동으로 관련 정보가 재생되도록 하는 기술도 적용되고 있다.

박물관/미술관에 전시되는 전시품들은 전시품에 관련된 역사, 문화 및 작가에 관한 정보 등 관련된 부가 정보가 많아 관람객들에게 직관적이고 효과적으로 관련 정보들을 제공할 수 있는 방법이 요구되며, 증강 현실 기술은 이러한 요구에 매우 적합하다. 따라서 종래에 한국공개특허 제10-2014-0082610호‘휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치’(2014.07.02.공개) 또는 한국등록특허 제 10-1594071호‘전시 장치 및 전시 시스템과 이를 이용한 전시 정보 제공 방법’ (2016.02.04. 공개) 등에서 전시품 관련 컨텐츠 제공에 증강 현실 기술을 활용하는 기술을 개시한 바 있다.

그러나 한국공개특허 제10-2014-0082610호와 같이 3차원 도면을 실시간으로 추출하여 이미지 처리를 통해 증강현실 화면을 생성하는 방식은 많은 데이터 처리를 요하며, 처리에 소요되는 시간이 길어지므로 상용화하기 어렵다는 문제가 있다.

한국등록특허 제10-1594071호의 경우 전시 공간 내에 설치된 카메라를 이용하여 관람객을 촬영한 합성 영상을 이용하여 관람객의 위치를 추적하는 것을 기술적 특징으로 하는데, 위치 측정에 요구되는 데이터량이 많아 실시간으로 정합된 이미지를 생성해야 하는 증강 현실에 있어서 높은 현실감을 제공하기에 어려움이 있다.

따라서 박물관/미술관에 전시되는 전시품 관련 정보를 효과적으로 제공하면서도, 효율적인 연산 및 간소화된 데이터 처리를 통해 현실감을 높일 수 있는 박물관/미술관용 증강 현실 기술이 필요하다.

본 발명은 전술한 문제를 해결하기 위한 것으로, 실내에서도 효율적으로 사용자의 위치를 측정하고, 움직임에 따라 화면에 표시되는 가상 이미지와 실제 이미지의 정합도를 높여, 현실감 있는 증강 현실을 제공하는 것을 일 목적으로 한다.

또한, 본 발명은 박물관/미술관에 전시된 전시품의 정보를 보다 효과적으로 사용자에게 제공하기 위해 박물관/미술관에 특화된 박물관/미술관 용 증강 현실 구현 방법 및 장치를 제공하는 것을 다른 목적으로 한다.

또한, 실시간으로 가상 이미지를 생성하거나, 서버와 단말 간 많은 데이터를 송수신하지 않고도 좌표 정보를 이용하여 증강 현실을 구현함으로써 빠르고 정확도 높은 증강 현실 영상을 사용자에게 제공할 수 있는 증강 현실 구현 방법 및 장치를 제공하는 것을 다른 목적으로 한다.

이러한 목적을 달성하기 위한 본 발명은 박물관/미술관의 3차원 좌표 데이터베이스를 포함하는 응용프로그램이 설치된 단말의 박물관/미술관 용 증강 현실 구현 방법에 있어서, 카메라를 통해 임의의 마커 이미지가 입력되면, 상기 마커 이미지를 이용하여 상기 카메라의 초기 위치 및 초기 방향을 측정하는 단계, 상기 단말에 구비된 하나 이상의 센서를 이용하여 상기 단말의 움직임에 따른 벡터 정보를 수집하는 단계, 상기 벡터 정보를 이용하여 상기 카메라의 현재 위치 및 현재 방향을 연산하는 단계, 상기 현재 위치, 상기 현재 방향, 상기 카메라의 화각을 이용하여, 상기 단말에 표시되는 실제 공간에 위치한 전시품을 식별하고, 상기 전시품에 대응하는 증강 현실 컨텐츠를 화면에 표시하는 단계를 포함하는 것을 일 특징으로 한다.

또한, 본 발명은 박물관/미술관의 3차원 좌표 정보를 포함하는 응용프로그램이 설치된 박물관/미술관 용 증강 현실 구현 장치에 있어서,

상기 박물관/미술관의 3차원 좌표 정보를 저장하는 저장부, 상기 박물관/미술관에 설치된 임의의 마커 이미지를 입력받는 카메라, 사용자의 움직임에 따른 벡터 정보를 획득하기 위하여 상기 증강 현실 구현 장치에 구비된 하나 이상의 센서, 상기 단말에 표시되는 실제 공간 및 상기 실제 공간에 위치한 전시품에 대응하는 증강 현실 컨텐츠를 표시하는 표시부, 및 상기 마커 이미지 및 상기 센서에서 측정한 센싱 정보를 이용하여 증강 현실을 구현하는 제어부를 포함하며, 상기 제어부는 상기 마커 이미지를 이용하여 상기 카메라의 초기 위치 및 초기 방향을 측정하는 초기값 설정부, 상기 센서에서 측정한 센싱 정보를 이용하여 상기 벡터 정보를 획득하고, 상기 벡터 정보를 이용하여 상기 카메라의 현재 위치 및 현재 방향을 연산하는 위치 연산부, 상기 현재 위치, 상기 현재 방향, 상기 카메라의 화각을 이용하여, 상기 실제 공간에 위치한 전시품을 식별하고, 상기 전시품에 대응하는 증강 현실 컨텐츠를 상기 표시부로 제공하는 증강현실처리부를 포함하는 것을 일 특징으로 한다.

전술한 바와 같은 본 발명에 의하면, 실내에서도 효율적으로 사용자의 위치를 측정하고, 움직임에 따라 화면에 표시되는 가상 이미지와 실제 이미지의 정합도를 높여, 현실감 있는 증강 현실을 제공할 수 있다.

또한, 본 발명에 의하면 박물관/미술관에 전시된 전시품의 정보를 보다 효과적으로 사용자에게 제공할 수 있다.

또한, 실시간으로 가상 이미지를 생성하거나, 서버와 단말 간 많은 데이터를 송수신하지 않고도 좌표 정보를 이용하여 증강 현실을 구현함으로써 빠르고 정확도 높은 증강 현실 영상을 사용자에게 제공할 수 있다.

도 1은 본 발명에 따른 증강 현실 구현 환경의 일 예를 도시한 도면,
도 2는 본 발명의 일 실시 예에 의한 증강 현실 구현 장치의 구성을 설명하기 위한 블록도,
도 3은 본 발명의 일 실시 예에 의한 증강 현실 구현 장치의 제어부 구성을 구체적으로 설명하기 위한 블록도,
도 4는 본 발명의 일 실시 예에 의한 마커 이미지를 활용한 초기화 방법을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 의한 증강 현실 컨텐츠 표시 방법을 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 의한 증강 현실 컨텐츠 표시 방법을 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 의한 증강 현실 구현 방법을 설명하기 위한 순서도,
도 8은 본 발명의 일 실시 예에 의한 위치 초기화 방법을 설명하기 위한 순서도,
도 9는 본 발명의 일 실시 예에 의한 증강 현실 컨텐츠 표시 방법을 설명하기 위한 순서도,
도 10은 본 발명의 일 실시 예에 의한 증강 현실 컨텐츠 표시 방법을 보다 구체적으로 설명하기 위한 순서도이다.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.

도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.

본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.

또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.

본 명세서에서, 마커는 박물관/미술관 내에 구비되는 것으로, 증강 현실 구현 장치(이하, 단말(100)이라 함)의 위치 및 방향(카메라가 기준이 되는 3차원 좌표와 이루는 각도)의 측정를 위해 사용되는 임의의 물체이다. 마커는 기준 이미지와 기준 좌표를 갖는다. 이러한 기준 이미지와 기준 좌표는 단말(100)에 설치되는 응용프로그램을 통해 단말(100)에 저장된다. 사용자가 단말(100)에 구비된 카메라를 통해 마커 이미지를 촬영하면, 단말(100)은 촬영된 마커 이미지와 단말(100)에 기 저장된 기준 이미지와의 비교를 통해 해당 마커의 기준 좌표를 기준으로한 상대적인 단말(100)의 위치(3차원 좌표 정보)를 산출한다. 또한 단말(100)은 기준 이미지와 촬영된 마커 이미지 간 비교를 통해, 카메라의 방향을 초기화 한다.

종래 증강현실 기술 분야에서 일반적으로 사용되는 ‘마커’라는 용어는 x, y 좌표를 기준으로 3D 렌더링에 필요한 z 좌표를 식별하기 위한 임의의 물체를 의미하는 바, 본 명세서에 사용되는 ‘마커’는 본 분야에서 일반적으로 사용되는 ‘마커’와는 다소 상이한 개념을 갖는 것으로 이해되어야 한다. 본 발명의 일 실시 예에 의한 증강 현실 구현 방법에 있어서의 마커의 기능은 이하에서 보다 자세하게 설명하기로 한다.

본 명세서에서 ‘증강현실 컨텐츠’는 화면에 표시되는 가상의 이미지로, 사용자 움직임에 반응하는 상호 작용 가능(intreractive)한 컨텐츠를 의미하는 것으로 이해될 수 있다. 증강현실 컨텐츠는 전시품의 위치로 판단되는 화면 상의 일 위치에 표시되는 전시품의 지시자를 포함하며, 전시품에 관련된 전시품 정보도 포함한다. 전시품 지시자란 전시품 정보를 제공하기 위해 사용자의 선택입력을 유도하는 것으로, 버튼 형태의 아이콘일 수 있으며, 전시품의 명칭, 번호, 기본 정보와 같은 전시품의 식별 정보일 수 있다.

도 1은 본 발명에 따른 증강 현실 구현 환경의 일 예를 도시한 도면이다. 도 1을 참조하면, 박물관/미술관은 하나 이상의 전시관으로 구성될 수 있는데, 각 전시관은 비콘 신호를 발생하는 비콘(10)을 하나 이상 구비할 수 있다. 전시관에 구비된 비콘(10)은 비콘 신호를 전송(broadcasting)하고, 증강 현실 장치(100)는 비콘 신호를 수신하여 단말(100)의 위치를 측정할 수 있다. 실내에서는 GPS 신호를 이용한 측위가 어려우므로, 비콘 신호를 이용하여 개략적인 단말(100)의 위치-단말(100)이 전시관 1에 있는지, 전시관 2에 있는지 여부-를 확인하고, 확인된 단말(100)의 위치를 기반으로 단말(100)에 인접한 마커(50)의 위치를 단말(100)에 제공할 수 있다.

이는 사용자 편의성을 향상시키기 위한 것이다. 단말(100)은 마커(50)를 통해 전시관의 3차원 좌표계에 따른 자신의 위치를 정확하게 측정할 수 있는 바, 마커(50) 이미지를 입력받는 단계는 증강 현실 구현에 필수적으로 포함되어야 하는 단계이다. 따라서, 전술한 비콘 신호를 이용한 단말(100)의 위치 측정은, 사용자가 박물관/미술관 내에서 빠른 시간 내에 마커(50)를 찾을 수 있도록 하기 위한 선행 단계일 수 있다.

다시 말해서, 전시관 내에는 비콘(10)이 설치되지 않을 수 있으며, 사용자에게 마커의 위치를 가이드하기 위해 다른 방식이 사용될 수 있다. 예를 들어, 배너, 포스터, 디지털 사이니지(digital signage) 또는 키오스크(kiosk) 등이 박물관/미술관 내에 설치될 수 있으며, 이러한 물체에 마커가 부착되는 경우, 사용자들이 전시관 내에서 용이하게 마커를 발견할 수 있을 것이다.

본 발명에서 박물관/미술관 내의 각 전시품(1000) 및 시설물(2000)(벽, 전시대, 바닥)은 미리 설정된 3차원 좌표계(x, y, z)에 따른 좌표 값을 가지며, 이러한 좌표 정보는 박물관/미술관의 3차원 좌표 데이터베이스에 포함된다. 본 발명은 미리 추출 또는 측정된 좌표 정보를 활용하며, 전시품(1000) 및 시설물(2000)의 좌표를 추출 또는 측정하는 방법에 의해 제한받지 아니한다.

이하에서는 도 2 내지 도 6을 참고하여 보다 구체적으로 본 발명의 일 실시 예에 따른 증강 현실 구현 장치의 구성 및 동작을 살펴보기로 한다.

도 2는 본 발명의 일 실시 예에 의한 증강 현실 구현 장치(100)의 구성을 설명하기 위한 블록도, 도 3은 본 발명의 일 실시 예에 의한 증강 현실 구현 장치(100)의 제어부 구성을 보다 구체적으로 설명하기 위한 블록도이다. 도 2 및 도 3을 참고하면, 본 발명의 일 실시 예에 의한 증강 현실 구현 장치(100)는 저장부(110), 카메라(120), 센서부(130), 제어부(140), 표시부(150)를 포함하며, 입력부(160), 출력부(170)를 더 포함할 수 있다. 증강 현실 구현 장치(100)는 박물관/미술관의 3차원 좌표 데이터베이스를 포함하는 응용프로그램이 설치된 스마트폰, 태플릿 PC 와 같은 휴대용 단말일 수 있으며, 이하에서는 설명의 편의를 위해 단말(100)로 기재한다.

저장부(110)는 본 발명의 박물관/미술관 용 증강 현실 구현 방법을 실행하기 위한 응용 프로그램 설치를 통해 수신되는 박물관/미술관의 3차원 좌표 정보를 저장한다. 박물관/미술관의 3차원 좌표 정보에는 전술한 바와 같이 박물관/미술관 내의 각 전시품(1000) 및 시설물(2000)(벽, 전시대, 바닥)의 3차원 좌표계(x, y, z)에 따른 좌표 값이 포함된다. 전시품(1000) 및 시설물(2000)의 좌표 정보는 전시품(1000) 또는 시설물(2000)에 대응하는 특정한 점의 좌표 값일 수 있으며, 선분 또는 면에 대응되는 좌표 값의 집합일 수 있다. 또한 저장부(110)에는 박물관/미술관 내에 설치되는 하나 이상의 마커들의 식별 정보가 저장될 수 있다. 각 마커는 고유의 좌표 정보를 가지며, 전술한 바와 같이 단말(100)은 카메라(120)를 통해 촬영되는 마커 이미지를 처리하여 마커와 카메라 간 거리 및 각도를 측정하므로, 측정의 기준이 되는 기준 이미지가 저장부(110)에 저장될 수 있다. 마커의 이미지는 미리 설정된 정보를 나타내는 코드 이미지일 수 있으며, 마커 이미지가 코드 이미지인 경우, 해당 코드는 좌표 정보를 포함할 수도 있고, 저장부(110)에서 좌표 정보를 불러오기 위한 마커의 고유 번호만을 포함할 수도 있다.

이밖에 저장부(110)에는 응용 프로그램 및 응용 프로그램의 구동을 위한 전시품의 식별 정보, 전시품 관련 정보, 각 전시품에 대응되는 지시자 등이 저장되며, 전시품 관련 정보 및 전시품 지시자는 증강 현실 컨텐츠로써 실제 공간과 함께 화면에 표시될 수 있다.

카메라(120)는 렌즈와 촬상소자(이미지 센서)를 포함하며, 사진이나 영상을 촬영하기 위한 하드웨어를 의미한다. 본 명세서에서 ‘카메라의 화각’은 렌즈의 화각을 의미하는 것으로 이해되어야 한다. 화각은 렌즈를 통해 단말(100)이 이미지를 담을 수 있는 각도로 정의되며, 초점거리와 촬상면의 길이에 따라 변화되는 값이다. 화각은 촬상면의 길이를 정의하는 방식에 따라 가로 방향 화각, 세로 방향 화각, 대각선 방향 화각으로 정의될 수 있는데, 일반적으로는 대각선 화각을 지칭한다.

센서부(130)는 사용자의 움직임에 따른 벡터 정보를 획득하기 위하여 단말(100)에 구비된 하나 이상의 센서로, 3축 각속도를 측정하는 자이로 센서, 3차원에서 움직일 때 x축, y축, z축 방향의 가속도를 측정할 수 있는 가속도 센서, 지자기 센서를 포함하는 9축 센서 모듈(9-axis motion tracking module)일 수 있다.

나아가 센서부(130)는 온도 센서를 더 포함할 수 있으며, 이는 자이로 센서의 온도에 의한 오차를 보정하는데 사용될 수 있다. 센서부(130)는 단말(100)에 마커 이미지가 입력되면, 센서부(130)를 초기화한다. 그리고 센서에서 측정한 센싱 정보를 이용하여 사용자의 움직임에 따른 벡터 정보를 산출하여 제어부(140)에 제공한다.

표시부(150)는 단말에 표시되는 실제 공간 및 실제 공간에 위치한 전시품에 대응하는 증강 현실 컨텐츠를 표시한다. 표시부(150)는 단말(100)에 구비된 디스플레이 모듈일 수 있으며, 카메라를 통해 입력되는 실제 공간의 영상을 표시한다.

표시부(150)는 단말에 설치된 응용프로그램이 동작하면, 전시품에 대응하는 증강 현실 컨텐츠를 실제 공간 영상에 오버레이하여 표시할 수 있는데, 이는 실제 공간 영상의 정보를 이용하여 영상과 증강 현실 컨텐츠를 정합하는 종래 방식과는 차이가 있다. 본 발명은 증강 현실 컨텐츠의 좌표 정보와 단말의 현재 위치(좌표)를 이용하여 2차원 좌표계를 갖는 표시부(150)의 일 지점을 특정하고, 특정된 지점에 증강 현실 컨텐츠가 표시되도록 한다.

입력부(160)는 단말(100)과 사용자 사이의 입력 인터페이스를 제공하는 것으로, 표시부(150)에 증강 현실 컨텐츠가 표시되면, 사용자로부터 증강 현실 컨텐츠에 대한 선택 입력을 수신한다. 예를 들어, 표시부(150)에 전시품에 대응하는 지시자가 하나 이상 표시된 경우, 사용자는 이들 중 임의의 지시자를 입력부(160)를 통해 선택할 수 있으며, 이 경우 입력부(160)는 임의의 지시자에 대한 선택 입력을 수신할 수 있다.

입력부(160)는 표시부(150)의 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성된 터치스크린일 수 있으며, 이 경우 표시부(150)와 입력부(160)는 하나의 동일 모듈을 통해 기능을 구현한다. 즉, 터치스크린은 표시부(150)로 기능함과 동시에 입력부(160)로 기능할 수 있다.

입력부(160)가 터치스크린이면 선택 입력은 터치 동작을 통해 이루어질 수 있으나, 입력부(160)는 오디오 신호 입력을 위한 마이크로폰, 또는 기계식의 푸시 키(push key)일 수도 있다. 이 경우, 입력부(160)에서 수집한 음성 데이터나 푸시 입력은 제어부(140)에서 제어명령으로 처리될 수 있다.

출력부(170)는 홀로그램 및/또는 음성을 출력하는 모듈로, 스피커, 버저와 같은 음향 출력 모듈, 촉각 효과를 발생시키는 햅틱 모듈, 홀로그램을 표시할 수 있는 홀로그램 출력 모듈을 포함할 수 있다. 전시품 정보가 오디오 데이터인 경우 저장부(110)에 저장된 오디오 데이터를 출력할 수 있으며, 전시품 정보가 홀로그램 데이터인 경우 홀로그램 데이터를 출력 재생할 수 있다. 이 외에도 전시품 정보에 따라 기 설정된 진동, 정전기력 등의 자극, 흡열이나 발멸 가능한 소자를 이용한 냉온감 재현, 공기의 분사 또는 흡입을 통한 촉각 효과를 발생시킬 수 있다.

제어부(140)는 단말(100)에 설치된 본 발명의 응용 프로그램에 따라 마커 이미지 및 센서에서 측정한 센싱 정보를 이용하여 증강 현실을 구현한다. 또한, 제어부(140)는 응용 프로그램과 관련된 동작 외에도, 통상적으로 단말(100)의 전반적인 동작을 제어한다. 제어부(100)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 저장부(110)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다. 나아가, 제어부(140)는 응용 프로그램의 구동을 위하여, 단말(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.

이하에서는 도 3을 참조하여 본 발명의 일 실시 예에 따른 제어부(140) 구성을 보다 자세하게 설명한다.

제어부(140)는 초기값 설정부(141), 위치 연산부(143), 증강현실 처리부(145)를 포함하며, 위치 측정부(148)를 더 포함할 수 있다.

초기값 설정부(141)는 마커 이미지를 이용하여 카메라(120)의 초기 위치 및 초기 방향을 측정한다. 초기값 설정부(141)는 카메라(120)를 통해 기준 좌표를 갖는 마커 이미지가 입력되면, 마커 이미지의 크기를 이용하여 카메라(120)와 마커 간 거리를 측정할 수 있다.

예를 들어, 도 4를 참조하면, 마커는 50C 또는 50D와 같이 박물관/미술관의 포스터 또는 배너에 부착될 수 있으며, 박물관/미술관 내 일정한 곳에 위치할 수 있다. 마커(50)는 전술한 바와 같이 기 설정된 기준 좌표를 포함한다. 사용자가 단말(100)의 카메라(120)로 마커(50C)를 촬영하면, 마커(50C)의 이미지는 도 4에 도시된 바와 같이 단말(100)에 입력되고, 단말(100)의 표시부(150)에도 표시된다.

사용자가 마커(50C)를 정면에서 촬영한 경우, 카메라(120)와 마커(50C)가 이루는 수평각 α는 0°이며, 수직각 β는 90°일 것이다. 정면에서 마커를 촬영한 경우, 촬영된 마커 이미지와 기 저장된 마커의 기준 이미지를 비교하면, 형태에는 왜곡이 없을 것이고, 크기에는 차이가 있을 것이다. 초기값 설정부(141)는 입력되는 마커 이미지(50C’)를 이미지 처리하여 카메라(120)와 마커(50C) 사이의 거리(d)를 측정할 수 있다.

예를 들어, 증강 현실 구현 장치(100)의 저장부(110)는 카메라(120)와 마커(50C) 사이의 거리(d)별로 마커 이미지의 크기에 대응하는 마커 이미지의 특징 정보, 예를 들어, 마커 이미지의 가로 길이, 세로 길이, 가로 픽셀 수, 세로 픽셀 수, 전체 픽셀 수 등이 맵핑되어 있는 테이블을 포함할 수 있다. 만약 마커 이미지의 크기에 대응하는 특징 정보로 마커 이미지의 세로 픽셀 수를 사용하도록 설정했다면, 픽셀 수가 1이면 d는 20미터, 픽셀수가 1000개면 d는 10센티미터에 매칭되는 식이다. 이 경우, 초기값 설정부(141)는 획득한 영상에서 마커 이미지의 특징 정보(전체 픽셀 수, 가로 픽셀 수, 세로 픽셀 수 등)을 카운트(또는 측정)하고, 상기 테이블에서 카운트한 픽셀 수에 대응하는 거리(d) 값을 탐색할 수 있다.

또 다른 실시 예로 증강 현실 구현 장치(100)는 마커 이미지의 크기와 카메라와 상기 마커 간 거리의 관계를 나타내는 함수에 입력된 마커 이미지의 크기를 대입하여 카메라와 마커 간 거리를 측정할 수 있다. 마커 이미지의 크기 - 카메라와 마커 간 거리는 반비례 관계에 있으며, 미리 측정한 거리 별 마커 이미지의 크기(또는 픽셀 수)를 이용하여 함수를 도출할 수 있다. 픽셀 수를 이용하는 경우 테이블 또는 함수를 사용함에 있어서 카메라의 화소가 고려되어야 할 것이다.

초기값 설정부(141)는 마커 이미지의 형태를 이용하여 카메라(120)와 마커 이미지 간 수직각 및/또는 수평각을 측정하고, 카메라(120)와 마커 간 거리, 수직각 및/또는 수평각, 및 기준 좌표를 이용하여 카메라(120)의 초기 위치 및 초기 방향을 연산할 수 있다.

카메라(120)의 높이를 측정하기는 어려우므로, 카메라의 3D 좌표를 산출하기 위해서는 사용자가 기 설정된 높이에서 마커를 촬영할 수 있도록 가이드 할 수 있으며, 이러한 가이드 정보는 표시부(150)를 통해 사용자에게 제공될 수 있다.

수직각은 마커에 포함된 세로 수직선의 형태를 이용하여 측정될 수 있다. 예를 들어, 수직각이 0°또는 180°이면 평면도 또는 저면도를 촬영한 것으로 볼 수 있는데, 이 경우 마커 이미지에는 마커의 세로 수직선은 점으로 나타날 것이다. 수직각이 90°이면 세로 수직선의 형태에는 변화가 없다. 즉, 마커의 기준 이미지와 마커 이미지를 비교했을 때 가로 수평선의 형태 변화는 없으나, 세로 수직선의 형태 변화가 현저하다면 수직각이 달라진 것이므로, 마커 이미지에 포함된 세로 수직선의 기준 길이와 마커의 기준 이미지에 포함된 세로 수직선의 길이(또는 형태)를 비교하여 수직각을 측정할 수 있다.

수직각을 β, 세로 수직선의 기준 길이(픽셀 수)를 V_max라고 했을 때, 마커 이미지에 포함된 세로 수직선의 길이(픽셀 수) V_p = V_maxsin(β) 이며, 따라서, 수직각 β=arcsin(V_p/V_max)로 나타낼 수 있다.

한편, 수평각은 마커에 포함된 가로 수직선의 형태를 이용하여 측정될 수 있다. 수평각이 0°일 때 마커 이미지의 가로 수직선 형태는 기준 이미지의 가로 수직선 형태와 동일하다. 수평각 α는 90°<α<90°의 범위를 가질 수 있는데, 마커 이미지의 가로 수직선 길이(픽셀 수)와 기준 이미지의 가로 수직선 길이(픽셀 수)를 비교하면, 수평각의 절대값이 커질수록 가로 수직선 길이(픽셀 수)는 짧아진다(줄어든다).

즉, 수평각을 α, 가로 수평선의 기준 길이(픽셀 수)를 H_max라고 했을 때, 마커 이미지에 포함된 가로 수평선의 길이(픽셀수) H_p = H_maxcos(α)이며, 따라서 수평각 |α|=arccos(H_p/H_max)로 나타낼 수 있다.

마커(50C)의 좌표 정보는 저장부(110)에 저장되어 있으므로, 초기값 설정부(141)는 마커(50C)의 좌표 정보, 측정된 거리(d), 마커(50C)와 카메라(120)가 이루는 수평각(α)을 이용하여 카메라(120)의 좌표를 산출할 수 있다.

산출된 카메라(120)의 좌표는 카메라(120)의 초기 위치로 설정되며, 마커(50C’)를 바라보는 카메라(120)의 방향은 초기 방향으로 설정될 수 있다. 상술한 실시 예에서, 카메라(120)가 마커(50C’)를 정면으로 촬영한 경우, 카메라(120)의 방향은 마커의 정면 방향과 반대 방향을 갖게 될 것이다. 카메라(120)의 방향은 지면과 이루는 수직각 및 마커의 정면 방향과 이루는 수평각을 기준으로 정의될 수 있으나, 이는 일 실시 예에 불과하며, 초기 방향의 기준 값은 설정에 따라 달라질 수 있다.

위치 연산부(143)는 하나 이상의 센서, 즉 센서부(130)에서 측정한 센싱 정보를 이용하여 벡터 정보를 획득하고, 벡터 정보를 이용하여 카메라(120)의 현재 위치 및 현재 방향을 연산한다. 전술한 바와 같이 센서부(130)는 9축 센서 모듈을 통해 사용자 움직임에 대한 센싱 정보를 수집하는데, 이러한 센싱 정보를 연산하여 사용자 움직임에 대응하는 벡터 정보를 산출할 수 있다. 위치 연산부(143)는 상술한 초기값 설정부(141)에서 설정된 초기 위치 및 초기 방향에 사용자 움직임에 따라 실시간으로 변화하는 벡터 정보를 반영하여 카메라(120)의 현재 위치와 카메라(120)의 현재 방향을 연산할 수 있다.

증강현실 처리부(145)는 현재 위치, 현재 방향, 카메라(120)의 화각을 이용하여, 실제 공간에 위치한 전시품을 식별하고, 전시품에 대응하는 증강 현실 컨텐츠를 표시부로 제공한다.

보다 구체적으로, 증강현실 처리부(145)는 현재 위치, 현재 방향, 카메라(120)의 화각을 이용하여 표시부(150)에 표시되는 실제 공간에 대응되는 3차원 영역을 대상 영역으로 지정하고, 저장부에서 대상 영역에 포함되는 전시품 좌표를 검색하여, 표시부(150)가 전시품 좌표에 대응하는 지시자를 표시할 수 있다.

이 때, 증강현실 처리부(145)는 대상 영역을 지정함에 있어서, 현재 위치를 시작점으로 현재 방향으로 뻗어나가는 가상의 반직선과 저장부에 저장된 박물관/미술관의 시설물 좌표가 만나는 지점을 확인하고, 시설물 좌표의 수평면과 카메라(120)의 화각에 대응하는 가상의 직선이 이루는 3차원 영역을 대상 영역으로 지정할 수 있다.

예를 들어, 도 5에서 카메라(120)에 포함된 렌즈(121)는 고유의 화각을 갖는데, 본 명세서에서는 전술한 바와 같이 이를 카메라(120)의 화각으로 명명한다. 도 5에 도시된 바와 같이, 카메라(120)의 현재 위치를 (x0,y0,z0)라고 가정했을 때, 카메라(120)의 현재 방향을 기준으로 카메라의 화각(θ)에 따라 촬상소자(125)에 표시될 수 있는 영역은 반직선 D, E 이내의 영역이 표시부(150)에 표시되는 실제 공간이 된다.

여기서 증강현실 처리부(145)는 (x0, y0, z0)를 시작점으로 하여, 현재 방향으로 뻗어나가는 가상의 반직선(L0)과 시설물(2000)의 좌표가 만나는 지점을 확인하고, 시설물 좌표의 수평면(P1)과 카메라(120)의 화각에 대응하는 가상의 직선 L1, L2가 이루는 3차원 영역(F)를 대상 영역으로 지정할 수 있다. 대상 영역이 지정되면, 영역의 경계 좌표 정보를 이용하여 대상 영역에 포함되는 전시품 좌표를 검색할 수 있다.

나아가, 증강현실 처리부(145)는 전시품 좌표에 대응하는 지시자를 표시함에 있어서, 전시품 좌표와 현재 위치를 연결하는 가상의 직선이 카메라(120)의 촬상면(123)과 만나는 지점에 지시자를 표시할 수 있다.

도 5를 참조하여 전술한 실시 예에서, 대상 영역에 포함되는 전시품은 A, B, C 이다. 본 발명은 실제 공간에 위치하는 전시품 A를 인식, 실제 전시품 A를 이용하여 전시품 A의 지시자(A’)를 화면에 표시하는 것이 아니고, 저장부(110)에 저장된 전시품 A의 좌표 정보를 이용하므로 본 발명에 의하면 처리 속도가 빨라진다.

증강현실 처리부(145)는 대상 영역에 포함되는 좌표 정보를 갖는 전시품 A의 좌표 정보(x1, y1, z1)을 이용하여, 전시품 A의 좌표(x1, y1, z1)와 카메라의 현재 위치(x0, y0, z0)를 연결하는 가상의 직선(LA)이 카메라의 촬상면(123)과 만나는 지점에 전시품 A의 지시자(A’)를 표시한다.

카메라의 촬상면(123)은 2D로, 증강현실 처리부(145)는 카메라의 현재 위치(x0, y0, z0)를 렌즈(121)의 위치로 정의할 수 있으며, 기 저장된 렌즈(121)와 촬상면(123)간 거리 및 각도 정보를 이용하여 촬상면(123) 상의 접점의 2차원 좌표 정보를 획득할 수 있다. 도 5의 실시 예에서 실제 촬상 소자(125)는 렌즈(121)의 뒷 쪽에 위치할 것이나, 설명의 편의 및 단말(100)의 표시부(151)에 실제 표시되는 위치를 고려하여 촬상면(123)을 별도 표시하였음에 유의한다.

증강현실 처리부(145)는 표시부(150)가 증강현실 컨텐츠를 표시한 후에 이를 확인한 사용자로부터 임의의 일 지시자에 대한 선택 입력을 수신하면, 표시부(150) 또는 출력부(170)중 적어도 하나를 통해 선택된 지시자에 대응하는 전시품 정보를 사용자에게 제공할 수 있다. 이 때, 전시품 정보는 텍스트, 이미지, 음성, 홀로그램 영상 또는 촉각 효과 중 적어도 하나의 형태로 출력될 수 있다.

도 6은 전시품 1000A와 1000B를 촬영하고 있는 관람객 단말(100)을 나타낸 도면이다. 도 6에서 전시품(1000A, 1000B)는 카메라(120)를 통해 수집되는 실시간 영상의 이미지이며, 전시품 지시자(500A, 500B)와 전시품 정보(500C)는 제어부(140)가 생성한 증강현실 컨텐츠이다. 단말(100)은 카메라(120)를 통해 수집되는 실제 공간의 화상을 화면에 표시하며, 증강현실 처리부(145) 동작에 의해 생성된 전시품 지시자(500A, 500B)를 전시품(1000)에 대응되는 화면 상의 일 지점에 표시한다. 전술한 바와 같이 본 발명의 일 실시 예에 따른 증강현실 컨텐츠의 화면 상의 표시 위치는 저장부(110)에 기 저장된 전시품(1000)의 좌표 정보를 이용하여 결정된다.

도 6의 실시 예에서, 전시품 A를 나타내는 전시품 지시자(500A)에 대한 선택 입력이 수신되면, 단말(100)은 전시품 A에 대한 전시품 정보(500C)를 화면에 표시할 수 있다. 전시품 정보는 전시품의 좌표 정보를 이용, 전시품 근처의 일 영역에 표시될 수 있으며, 새로운 화면에 표시될 수도 있다. 전시품 정보는 사용자 움직임과 상호작용하는 증강현실 컨텐츠일 수도 있지만, 상호작용하지 않는 일반 컨텐츠일 수도 있다.

위치 측정부(148)는 박물관/미술관에 설치된 하나 이상의 비콘으로부터 수신한 비콘 신호를 이용하여 단말의 위치를 측정한다. 이 경우 제어부(140)는 단말의 위치를 이용하여 단말에 인접한 마커 정보를 획득하고, 단말에 인접한 마커 정보를 표시할 수 있다.

제어부(140)가 마커 정보를 표시함에 있어서, 기 저장된 박물관/미술관 내의 좌표 정보를 이용하여 지도와 같은 실내 위치 정보 이미지에 마커 위치를 모두 표시하고 단말(100)에 인접한 마커 위치를 강조 표시할 수 있다. 또 다른 실시 예로, 제어부(140)는 단말(100)에 인접한 마커 위치에 대한 가이드 정보, 예를 들어 단말 위치에서 마커 위치로 가는 방법 등을 스피커를 통해 출력하여 사용자를 마커가 위치한 곳으로 가이드할 수 있다.

이하에서는 도 7 내지 도 10을 참조하여, 본 발명의 일 실시 예에 의한 증강 현실 구현 방법을 설명한다.

도 7은 단말의 위치를 측정하기 위하여 비콘을 이용하는 경우의 일 실시 예이다. 만약 비콘을 사용하지 않는 경우에는, 단계 S100 내지 단계 S300은 생략될 수 있다.

사용자가 박물관/미술관에 진입하면, 단말은 박물관/미술관에 설치된 하나 이상의 비콘으로부터 비콘 신호를 수신할 수 있다. 단말은 수신한 비콘 신호를 이용하여 단말의 위치를 측정한다(S100). 다음으로, 단말은 비콘 신호를 이용하여 측정된 단말의 위치를 이용하여 단말에 인접한 마커 정보를 획득할 수 있다(S200). 단말은 단말에 인접한 마커 정보를 단말의 화면에 표시하며(S300) 이는 사용자가 마커의 위치를 확인하는데 도움을 준다.

사용자가 마커를 확인하고, 단말을 이용하여 마커를 촬영하면, 단말에는 마커 이미지가 입력될 수 있다. 카메라를 통해 임의의 마커 이미지가 입력되면, 마커 이미지를 이용하여 카메라의 초기 위치 및 초기 방향을 측정한다(S500).

도 8을 참조하여 단계 S500을 보다 구체적으로 살펴보면, 단말은 카메라를 통해 기준 좌표를 갖는 마커 이미지가 입력되면(S510), 마커 이미지의 크기를 이용하여 카메라와 마커 간 거리를 측정할 수 있다(S530). 다음으로, 마커 이미지의 형태를 이용하여 카메라와 마커 이미지 간 수직각 및/또는 수평각을 측정할 수 있다(S550). 그리고 카메라와 마커 간 거리, 수직각 및/또는 수평각, 및 기준 좌표를 이용하여 카메라의 초기 위치 및 초기 방향을 연산할 수 있다(S570).

예를 들어, 단말은 카메라와 마커 사이의 거리 별로 마커 이미지의 크기에 대응하는 마커 이미지의 특징 정보, 예를 들어, 마커 이미지의 가로 길이, 세로 길이, 가로 픽셀 수, 세로 픽셀 수, 전체 픽셀 수 등이 맵핑되어 있는 테이블을 포함할 수 있다. 만약 마커 이미지의 크기에 대응하는 특징 정보로 마커 이미지의 세로 픽셀 수를 사용하도록 설정했다면, 픽셀 수가 1이면 d는 20미터, 픽셀수가 1000개면 d는 10센티미터에 매칭되는 식이다. 이 경우, 단말은 마커 이미지를 포함하는 영상을 획득하면, 마커 이미지의 특징 정보(전체 픽셀 수, 가로 픽셀 수, 세로 픽셀 수 등)을 카운트(또는 측정)하고, 상기 테이블에서 카운트한 픽셀 수에 대응하는 거리(d) 값을 탐색할 수 있다.

또 다른 실시 예로 단말은 마커 이미지의 크기와 카메라와 상기 마커 간 거리의 관계를 나타내는 함수에 입력된 마커 이미지의 크기를 대입하여 카메라와 마커 간 거리를 측정할 수 있다. 마커 이미지의 크기 - 카메라와 마커 간 거리는 반비례 관계에 있으며, 미리 측정한 거리 별 마커 이미지의 크기(또는 픽셀 수)를 이용하여 함수를 도출할 수 있다. 픽셀 수를 이용하는 경우 테이블 또는 함수를 사용함에 있어서 카메라의 화소가 고려되어야 할 것이다.

다음으로, 단말은 마커 이미지의 형태를 이용하여 카메라와 마커 이미지 간 수직각 및/또는 수평각을 측정하고, 카메라와 마커 간 거리, 수직각 및/또는 수평각, 및 기준 좌표를 이용하여 카메라의 초기 위치 및 초기 방향을 연산할 수 있다.

카메라의 높이를 측정하기는 어려우므로, 단말은 카메라의 3D 좌표를 산출하기 위해서 사용자가 기 설정된 높이에서 마커를 촬영할 수 있도록 가이드 할 수 있으며, 이러한 가이드 정보는 단말 화면을 통해 사용자에게 제공될 수 있다.

수직각은 마커에 포함된 세로 수직선의 형태를 이용하여 측정될 수 있다. 예를 들어, 수직각이 0°또는 180°이면 평면도 또는 저면도를 촬영한 것으로 볼 수 있는데, 이 경우 마커 이미지에는 마커의 세로 수직선은 점으로 나타날 것이다. 수직각이 90°이면 세로 수직선의 형태에는 변화가 없다. 즉, 마커의 기준 이미지와 마커 이미지를 비교했을 때 가로 수평선의 형태 변화는 없으나, 세로 수직선의 형태 변화가 현저하다면 수직각이 달라진 것이므로, 마커 이미지에 포함된 세로 수직선의 기준 길이와 마커의 기준 이미지에 포함된 세로 수직선의 길이(또는 형태)를 비교하여 수직각을 측정할 수 있다.

수직각을 β, 세로 수직선의 기준 길이(픽셀 수)를 V_max라고 했을 때, 마커 이미지에 포함된 세로 수직선의 길이(픽셀 수) V_p = V_maxsin(β) 이며, 따라서, 수직각 β=arcsin(V_p/V_max)로 나타낼 수 있다.

한편, 수평각은 마커에 포함된 가로 수직선의 형태를 이용하여 측정될 수 있다. 수평각이 0°일 때 마커 이미지의 가로 수직선 형태는 기준 이미지의 가로 수직선 형태와 동일하다. 수평각 α는 90°<α<90°의 범위를 가질 수 있는데, 마커 이미지의 가로 수직선 길이(픽셀 수)와 기준 이미지의 가로 수직선 길이(픽셀 수)를 비교하면, 수평각의 절대값이 커질수록 가로 수직선 길이(픽셀 수)는 짧아진다(줄어든다).

즉, 수평각을 α, 가로 수평선의 기준 길이(픽셀 수)를 H_max라고 했을 때, 마커 이미지에 포함된 가로 수평선의 길이(픽셀수) H_p = H_maxcos(α)이며, 따라서 수평각 |α|=arccos(H_p/H_max)로 나타낼 수 있다.

단계 S500에서 카메라의 위치 및 방향이 초기화되면, 단말은 단말에 구비된 하나 이상의 센서를 이용하여 단말의 움직임에 따른 벡터 정보를 수집한다(S600). 여기서 단말에 구비된 하나 이상의 센서는 사용자의 움직임에 따른 벡터 정보를 획득하기 위한 것으로 3축 각속도를 측정하는 자이로 센서, 3차원에서 움직일 때 x축, y축, z축 방향의 가속도를 측정할 수 있는 가속도 센서, 지자기 센서를 포함하는 9축 센서 모듈(9-axis motion tracking module)일 수 있다.

다음으로 단말은 단계 S600에서 수집한 벡터 정보를 이용하여 카메라의 현재 위치 및 현재 방향을 연산한다.

다음으로 단말은 현재 위치, 현재 방향, 카메라의 화각을 이용하여, 단말에 표시되는 실제 공간에 위치한 전시품을 식별하고, 전시품에 대응하는 증강 현실 컨텐츠를 화면에 표시할 수 있다(S800).

단계 S800을 보다 구체적으로 살펴보면, 단계 S800에서 단말은 현재 위치, 현재 방향, 카메라의 화각을 이용하여 실제 공간에 대응되는 3차원 영역을 대상 영역으로 지정하고(S830), 좌표 데이터베이스에서 대상 영역에 포함되는 전시품 좌표를 검색한다(S850). 다음으로 전시품 좌표에 대응하는 지시자를 단말의 화면에 표시할 수 있는데(S870), 단말은 전시품 좌표와 현재 위치를 연결하는 가상의 직선이 카메라의 촬상면과 만나는 지점에 지시자를 표시하는 방식으로 단계 S870을 수행할 수 있다.

특히 도 10에 도시된 바와 같이 단말은 단계 S830에서, 현재 위치를 시작점으로 현재 방향으로 뻗어나가는 가상의 반직선과 좌표 데이터베이스에 저장된 박물관/미술관의 시설물 좌표가 만나는 지점을 확인하고(S833), 시설물 좌표의 수평면과 카메라의 화각에 대응하는 가상의 반직선이 이루는 3차원 영역을 대상 영역으로 지정(S835)함으로써 단계 S830을 수행할 수 있다.

또한, 도면에 도시되지는 않았으나, 단계 S800의 결과로 화면에 표시된 하나 이상의 증강현실 컨텐츠 중 어느 하나를 사용자가 선택하면, 단말은 이러한 선택 입력에 대응하는 전시품 정보를 출력할 수 있다. 예를 들어, 화면에 표시되는 증강현실 컨텐츠는 실제 공간에 위치한 전시품의 화면상의 위치와 유사한 위치에 표시되는 전시품 지시자일 수 있는데, 사용자가 전시품 A에 대한 전시품 지시자 A’를 클릭하면, 단말은 전시품의 작가, 전시품의 제작연도, 전시품 이름과 같은 전시품 A에 대한 기본 정보, 또는 역사, 연관 스토리 등과 같은 전시품과 관련된 각종 정보를 출력할 수 있다. 이 때, 단말은 텍스트나 이미지를 화면에 표시하는 방식으로 전시품 정보를 사용자에게 제공할 수 있으며, 스피커를 통해 음성 파일을 재생하거나 홀로그램이나 영상을 재생하는 방식으로 전시품 정보를 사용자에게 제공할 수도 있다.

본 명세서에서 설명되는 방법들은 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 컴퓨터 프로그램들에 의해 구현될 수 있다. 컴퓨터 프로그램들은 비-일시적인 유형의 컴퓨터 판독가능 매체에 저장되는 프로세서-실행가능 명령들을 포함한다. 컴퓨터 프로그램들은 또한 저장된 데이터를 포함할 수 있다. 비-일시적인 유형의 컴퓨터 판독가능 매체(non-transitory tangible computer readable medium)의 비한정적 예들은 비휘발성 메모리 시스템, 자기 저장소 및 광학 저장소이다.

앞서 설명된 기법들의 특정 실시형태들은 알고리즘 형태로 본 명세서에서 설명되는 처리 단계들 및 명령들을 포함한다. 앞서 설명된 처리 단계들 및 명령들은 소프트웨어, 펌웨어, 혹은 하드웨어로 구현될 수 있고, 소프트웨어로 구현되는 경우 실시간 네트워크 오퍼레이팅 시스템(real time network operating system)들에서 사용되는 다른 플랫폼들 상에 상주하도록 다운로드 될 수 있고 이로부터 동작될 수 있음에 유의해야만 한다.

본 발명은 또한 본 명세서에서의 동작들을 수행하기 위한 장치와 관련된다. 이러한 장치는 원하는 목적을 위해 특별히 구성될 수 있거나, 또는 컴퓨터에 의해 액세스될 수 있는 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 저장 매체에 저장될 수 있는바, 이러한 유형의 컴퓨터 판독가능 저장 매체는, 예를 들어, 플로피 디스크들, 광학 디스크들, CD-ROM들, 자기-광학 디스크들(magnetic-optical disks), 판독-전용 메모리(Read-Only Memory, ROM)들, 랜덤 액세스 메모리(Random Access Memory, RAM)들, EPROM들, EEPROM들, 자기 혹은 광학 카드들, 애플리케이션 특정 집적 회로(ASIC)들을 포함하는 임의 타입의 디스크, 또는 전자 명령들을 저장하기에 적합하고 그 각각이 컴퓨터 시스템 버스에 결합되는 임의 타입의 매체들이 있지만 이러한 것으로만 한정되는 것은 아니다. 더욱이, 본 명세서에서 지칭되는 컴퓨터들은 단일 프로세서를 포함할 수 있거나, 또는 컴퓨팅 능력 증진을 위해 복수의 프로세서 설계를 사용하는 아키텍처들일 수 있다.

본 명세서에 제시되는 알고리즘들 및 동작들은 본질적으로 임의의 특정 컴퓨터 혹은 다른 장치들과 관련되지 않는다. 다양한 범용 시스템들이 또한, 본 명세서에서의 가르침에 따른 프로그램들과 함께 사용될 수 있고, 또는 원하는 방법의 단계들을 수행하기 위해 더 특수하게 설계된 장치들을 구성하는 것이 편리한 것으로 판명될 수 있다. 다양한 이러한 시스템들을 위해 그 요구되는 구조는 그 등가적 변형물들과 함께 본 발명의 기술 분야에서 숙련된 자들에게 명백할 것이다. 추가적으로, 본 개시내용은 임의의 특정 프로그래밍 언어와 관련되어 설명되는 것이 아니다. 다양한 프로그래밍 언어가 본 명세서에서 설명되는 바와 같은 본 개시내용의 가르침들을 구현하기 위해 사용될 수 있고, 특정 언어에 대한 임의의 언급은 본 발명의 실시예 및 최상의 모드를 설명하기 위한 것임을 이해해야 한다.

본 명세서에서 실시 주체가 동일한 것으로 판단할 수 있는 경우, 방법과 장치에서 중복되는 실시 예는 생략하였다. 따라서 방법 및 장치 중 어느 하나의 설명에 기재된 실시 예는 각 발명에 모두 적용 가능한 것으로 이해될 수 있다. 또한, 전술한 발명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.

10: 비콘
50: 마커
100: 단말(증강 현실 구현 장치)
1000: 전시품
2000: 시설물(벽, 장식장, 바닥 등)

Claims (16)

1. 박물관/미술관의 3차원 좌표 데이터베이스를 포함하는 응용프로그램이 설치된 단말의 박물관/미술관 용 증강 현실 구현 방법에 있어서,
   카메라를 통해 임의의 마커 이미지가 입력되면, 상기 마커 이미지를 이용하여 상기 카메라의 초기 위치 및 초기 방향을 측정하는 단계;
   상기 단말에 구비된 하나 이상의 센서를 이용하여 상기 단말의 움직임에 따른 벡터 정보를 수집하는 단계;
   상기 벡터 정보를 이용하여 상기 카메라의 현재 위치 및 현재 방향을 연산하는 단계;
   상기 현재 위치, 상기 현재 방향, 상기 카메라의 화각을 이용하여 단말에 표시되는 실제 공간에 대응되는 3차원 영역을 대상 영역으로 지정하는 단계;
   상기 좌표 데이터베이스에서 상기 대상 영역에 포함되는 전시품 좌표를 검색하여 상기 단말에 표시되는 실제 공간에 위치한 전시품을 식별하는 단계;
   상기 전시품에 대응하는 증강 현실 컨텐츠를 화면에 표시하는 단계를 포함하는 증강 현실 구현 방법.
   
2. 삭제
3. 제1항에 있어서,
   상기 대상 영역을 지정하는 단계는
   상기 현재 위치를 시작점으로 상기 현재 방향으로 뻗어나가는 가상의 반직선과 상기 좌표 데이터베이스에 저장된 박물관/미술관의 시설물 좌표가 만나는 지점을 확인하는 단계;
   상기 시설물 좌표의 수평면과 상기 카메라의 화각에 대응하는 가상의 반직선이 이루는 3차원 영역을 대상 영역으로 지정하는 단계를 포함하는 증강 현실 구현 방법.
   
4. 제1항에 있어서,
   상기 전시품 좌표에 대응하는 지시자를 상기 단말의 화면에 표시하는 단계는
   상기 전시품 좌표와 상기 현재 위치를 연결하는 가상의 직선이 상기 카메라의 촬상면과 만나는 지점에 상기 지시자를 표시하는 단계를 포함하는 증강 현실 구현 방법.
   
5. 제1항에 있어서,
   상기 박물관/미술관에 설치된 하나 이상의 비콘으로부터 수신한 비콘 신호를 이용하여 상기 단말의 위치를 측정하는 단계;
   상기 단말의 위치를 이용하여 상기 단말에 인접한 마커 정보를 획득하는 단계;
   상기 단말에 인접한 마커 정보를 상기 단말의 화면에 표시하는 단계를 더 포함하는 증강 현실 구현 방법.
   
6. 제1항에 있어서,
   상기 카메라의 초기 위치 및 초기 방향을 측정하는 단계는
   상기 카메라를 통해 기준 좌표를 갖는 상기 마커 이미지를 입력받는 단계;
   상기 마커 이미지의 크기를 이용하여 상기 카메라와 상기 마커 간 거리를 측정하는 단계;
   상기 마커 이미지의 형태를 이용하여 상기 카메라와 상기 마커 이미지 간 수직각 및/또는 수평각을 측정하는 단계;
   상기 카메라와 상기 마커 간 거리, 상기 수직각 및/또는 수평각, 및 상기 기준 좌표를 이용하여 상기 카메라의 초기 위치 및 초기 방향을 연산하는 단계를 포함하는 증강 현실 구현 방법.
   
7. 제1항에 있어서,
   사용자로부터 임의의 증강현실 컨텐츠에 대한 선택 입력이 수신되면, 상기 선택 입력에 대응하는 전시품 정보를 출력하는 단계를 더 포함하는 증강 현실 구현 방법.
   
8. 제7항에 있어서,
   상기 전시품 정보는 텍스트, 이미지, 음성, 홀로그램 또는 영상 중 적어도 하나의 형태로 출력되는 증강 현실 구현 방법.
9. 박물관/미술관의 3차원 좌표 정보를 포함하는 응용프로그램이 설치된 박물관/미술관 용 증강 현실 구현 장치에 있어서,
   상기 박물관/미술관의 3차원 좌표 정보를 저장하는 저장부;
   상기 박물관/미술관에 설치된 임의의 마커 이미지를 입력받는 카메라;
   사용자의 움직임에 따른 벡터 정보를 획득하기 위하여 상기 증강 현실 구현 장치에 구비된 하나 이상의 센서;
   단말에 표시되는 실제 공간 및 상기 실제 공간에 위치한 전시품에 대응하는 증강 현실 컨텐츠를 표시하는 표시부; 및
   상기 마커 이미지 및 상기 센서에서 측정한 센싱 정보를 이용하여 증강 현실을 구현하는 제어부를 포함하며,
   상기 제어부는
   상기 마커 이미지를 이용하여 상기 카메라의 초기 위치 및 초기 방향을 측정하는 초기값 설정부;
   상기 센서에서 측정한 센싱 정보를 이용하여 상기 벡터 정보를 획득하고, 상기 벡터 정보를 이용하여 상기 카메라의 현재 위치 및 현재 방향을 연산하는 위치 연산부;
   상기 현재 위치, 상기 현재 방향, 상기 카메라의 화각을 이용하여 상기 실제 공간에 대응되는 3차원 영역을 대상 영역으로 지정하고, 상기 저장부에서 상기 대상 영역에 포함되는 전시품 좌표를 검색하여 상기 실제 공간에 위치한 전시품을 식별하고, 상기 전시품에 대응하는 증강 현실 컨텐츠를 상기 표시부로 제공하는 증강현실처리부를 포함하는 증강 현실 구현 장치.
   
10. 삭제
11. 제9항에 있어서,
    상기 증강현실 처리부는 상기 대상 영역을 지정함에 있어서,
    상기 현재 위치를 시작점으로 상기 현재 방향으로 뻗어나가는 가상의 반직선과 상기 저장부에 저장된 박물관/미술관의 시설물 좌표가 만나는 지점을 확인하고, 상기 시설물 좌표의 수평면과 상기 카메라의 화각에 대응하는 가상의 직선이 이루는 3차원 영역을 상기 대상 영역으로 지정하는 증강 현실 구현 장치.
    
12. 제9항에 있어서,
    상기 증강현실처리부는 상기 전시품 좌표에 대응하는 지시자를 표시함에 있어서,
    상기 전시품 좌표와 상기 현재 위치를 연결하는 가상의 직선이 상기 카메라의 촬상면과 만나는 지점에 상기 지시자를 표시하는 증강 현실 구현 장치.
    
13. 제9항에 있어서,
    상기 제어부는
    상기 박물관/미술관에 설치된 하나 이상의 비콘으로부터 수신한 비콘 신호를 이용하여 상기 단말의 위치를 측정하는 위치 측정부를 더 포함하며,
    상기 단말의 위치를 이용하여 상기 단말에 인접한 마커 정보를 획득하고, 상기 단말에 인접한 마커 정보를 표시하는 증강 현실 구현 장치.
    
14. 제9항에 있어서,
    상기 카메라를 통해 기준 좌표를 갖는 상기 마커 이미지가 입력되면,
    상기 초기값 설정부는
    상기 마커 이미지의 크기를 이용하여 상기 카메라와 상기 마커 간 거리를 측정하고, 상기 마커 이미지의 형태를 이용하여 상기 카메라와 상기 마커 이미지 간 수직각 및/또는 수평각을 측정하고, 상기 카메라와 상기 마커 간 거리, 상기 수직각 및/또는 수평각, 및 상기 기준 좌표를 이용하여 상기 카메라의 초기 위치 및 초기 방향을 연산하는 증강 현실 구현 장치.
    
15. 제9항에 있어서,
    사용자로부터 임의의 증강현실 컨텐츠에 대한 선택 입력을 수신하는 입력부;
    상기 선택 입력에 대응되는 홀로그램 및/또는 음성을 출력하는 출력부를 더 포함하고,
    상기 증강현실 처리부는 상기 표시부 또는 상기 출력부 중 적어도 하나가 선택 입력에 대응하는 전시품 정보를 상기 사용자에게 제공하는 증강 현실 구현 장치.
    
16. 제15항에 있어서,
    상기 전시품 정보는 텍스트, 이미지, 음성, 홀로그램 또는 영상 중 적어도 하나의 형태로 출력되는 증강 현실 구현 장치.
    

Images