KR101879586B1 - 증강 현실 구현 관리 방법 및 시스템 - Google Patents

증강 현실 구현 관리 방법 및 시스템 Download PDF

Info

Publication number
KR101879586B1
KR101879586B1 KR1020170027446A KR20170027446A KR101879586B1 KR 101879586 B1 KR101879586 B1 KR 101879586B1 KR 1020170027446 A KR1020170027446 A KR 1020170027446A KR 20170027446 A KR20170027446 A KR 20170027446A KR 101879586 B1 KR101879586 B1 KR 101879586B1
Authority
KR
South Korea
Prior art keywords
exhibit
camera
information
marker
terminal
Prior art date
Application number
KR1020170027446A
Other languages
English (en)
Other versions
KR20180070431A (ko
Inventor
홍상훈
자인 아바스
박찬영
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Publication of KR20180070431A publication Critical patent/KR20180070431A/ko
Application granted granted Critical
Publication of KR101879586B1 publication Critical patent/KR101879586B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information

Abstract

본 발명의 일 실시 예에 따른 박물관/미술관의 3차원 좌표 데이터베이스를 포함하는 응용프로그램이 설치된 단말의 박물관/미술관용 증강 현실 구현 관리 방법은 카메라를 통해 임의의 마커 이미지가 입력되면, 상기 마커 이미지를 이용하여 상기 카메라의 초기 위치 및 초기 방향을 측정하는 단계, 상기 단말에 구비된 하나 이상의 센서를 이용하여 상기 단말의 움직임에 따른 벡터 정보를 수집하는 단계, 상기 벡터 정보를 이용하여 상기 카메라의 현재 위치 및 현재 방향을 연산하는 단계, 사용자로부터 등록 모드 또는 관리 모드 중 어느 하나에 대한 선택 입력을 수신하는 단계, 상기 사용자가 등록 모드를 선택한 경우, 사용자로부터 화면상의 제 1 지점에 대한 제 1 선택 입력을 수신하면, 상기 제 1 선택 입력에 대응되는 공간 좌표를 결정하는 단계, 상기 사용자로부터 상기 제 1 선택 입력에 대응하는 전시품 정보를 입력받는 단계, 상기 전시품 정보 및 상기 공간 좌표를 서버로 전송하는 단계를 포함하는 것을 일 특징으로 한다. 본 발명에 의하면, 증강 현실 구현에 사용되는 데이터베이스를 관리자의 필요에 맞게 3차원 그래픽으로 표시하여, 증강 현실 콘텐츠 구현 결과를 관리자가 미리 확인하고 분석할 수 있다. 또한, 본 발명에 의하면 관리자가 증강 현실 콘텐츠(유물/전시품에 대한 정보 등)를 실시간으로 신규 배치 및/또는 재배치할 수 있어, 큐레이팅의 용이성이 향상된다.

Description

증강 현실 구현 관리 방법 및 시스템{METHOD AND SYSTEM FOR MANAGING IMPLEMENTATION OF AUGMENTED REALITY}
본 발명은 증강 현실 구현 관리 방법 및 시스템에 관한 것으로, 보다 자세하게는 실제 공간의 3차원 좌표 정보를 이용하여 증강 현실 구현을 관리하는 방법 및 시스템에 관한 것이다.
증강 현실(Augmented Reality)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 새로운 환경을 생성하는 기술이다. 현실환경과 가상환경을 융합하는 증강 현실 시스템은 1990년대 후반부터 미국과 일본을 중심으로 연구 개발이 진행되고 있다. 현실세계를 가상세계로 보완해주는 개념인 증강 현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 실제환경이다. 컴퓨터 그래픽은 실제환경에 필요한 정보를 추가 제공하는 역할을 한다. 가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강 현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감을 제공한다.
기존에는 박물관/미술관용 증강현실 시스템을 구축하더라도 유물의 위치가 바뀌거나 새로운 전시를 할 경우 증강 현실 프로그램의 실행에 사용되는 데이터 전체를 업데이트해야 하는 문제가 있었으며, 현실환경에 존재하는 사물의 변화를 증강 현실에 즉각적으로 반영하기가 쉽지 않았다. 따라서, 증강 현실 기술의 발전에 비해 박물관/미술관에 증강 현실 기술이 활용 및 확산되는 데 한계가 있었다.
본 발명은 전술한 문제를 해결하기 위한 것으로, 증강 현실 구현에 사용되는 데이터베이스를 관리자의 필요에 맞게 3차원 그래픽으로 표시하여, 증강 현실 콘텐츠 구현 결과를 관리자가 미리 확인하고 분석할 수 있도록 하는 것을 일 목적으로 한다.
또한 관리자가 증강 현실 콘텐츠(유물/전시품에 대한 정보 등)를 실시간으로 신규 배치 및/또는 재배치할 수 있어, 큐레이팅의 용이성이 향상된 증강 현실 구현 관리 방법 및 시스템을 제공하는 것을 다른 목적으로 한다.
본 발명의 일 실시 예에 따른 박물관/미술관의 3차원 좌표 데이터베이스를 포함하는 응용프로그램이 설치된 단말의 박물관/미술관용 증강 현실 구현 관리 방법은 카메라를 통해 임의의 마커 이미지가 입력되면, 상기 마커 이미지를 이용하여 상기 카메라의 초기 위치 및 초기 방향을 측정하는 단계, 상기 단말에 구비된 하나 이상의 센서를 이용하여 상기 단말의 움직임에 따른 벡터 정보를 수집하는 단계, 상기 벡터 정보를 이용하여 상기 카메라의 현재 위치 및 현재 방향을 연산하는 단계, 사용자로부터 등록 모드 또는 관리 모드 중 어느 하나에 대한 선택 입력을 수신하는 단계, 상기 사용자가 등록 모드를 선택한 경우, 사용자로부터 화면상의 제 1 지점에 대한 제 1 선택 입력을 수신하면, 상기 제 1 선택 입력에 대응되는 공간 좌표를 결정하는 단계, 상기 사용자로부터 상기 제 1 선택 입력에 대응하는 전시품 정보를 입력받는 단계, 상기 전시품 정보 및 상기 공간 좌표를 서버로 전송하는 단계를 포함하는 것을 일 특징으로 한다.
또한 본 발명의 일 실시 예에 의한 박물관/미술관용 증강 현실 구현 관리 서버는 임의의 단말로부터 전시품 식별 정보와 함께 상기 전시품 식별 정보에 대응하는 전시품의 공간 좌표 및/또는 전시품 정보를 수신하는 통신부, 상기 박물관/미술관의 3차원 좌표 데이터베이스, 상기 전시품 식별 정보, 상기 전시품의 공간 좌표 또는 상기 전시품 정보 중 적어도 하나를 저장하는 저장부, 상기 3차원 좌표 데이터베이스를 이용하여 가상의 3D 도면을 생성하고, 상기 단말로부터 제 1 전시품 식별 정보를 포함하는 정보 요청 신호가 수신되면, 상기 제 1 전시품 식별 정보에 대응하는 전시품의 공간 좌표 및/또는 전시품 정보를 상기 단말로 전송하고, 상기 단말로부터 제 2 전시품 식별 정보와 함께 상기 제 2 전시품 식별 정보에 대응하는 전시품의 공간 좌표 및/또는 전시품 정보를 포함하는 등록 요청 신호가 수신되면, 상기 등록 요청 신호를 이용하여 상기 3차원 좌표 데이터베이스를 업데이트하는 제어부를 포함하는 것을 일 특징으로 한다.
또한 본 발명의 일 실시 예에 의한 박물관/미술관의 3차원 좌표 데이터베이스를 포함하는 응용프로그램이 설치된 증강 현실 구현 관리 단말은 상기 박물관/미술관의 3차원 좌표 데이터베이스를 저장하는 저장부, 상기 박물관/미술관에 설치된 임의의 마커 이미지를 입력받는 카메라, 사용자의 움직임에 따른 벡터 정보를 획득하기 위하여 상기 증강 현실 구현 장치에 구비된 하나 이상의 센서, 상기 단말에 표시되는 실제 공간 및 상기 실제 공간에 위치한 전시품에 대응하는 증강 현실 컨텐츠를 표시하는 표시부, 상기 사용자로부터 등록 모드 또는 관리 모드 중 어느 하나에 대한 선택 입력, 전시품 식별 정보 또는 전시품 정보 중 적어도 하나를 수신하는 입력부, 상기 마커 이미지 및 상기 센서에서 측정한 센싱 정보를 이용하여 증강 현실 구현을 관리하는 제어부, 유무선 통신망을 이용하여 서버와 데이터를 송수신하는 통신부를 포함하며, 상기 제어부는 상기 마커 이미지를 이용하여 상기 카메라의 초기 위치 및 초기 방향을 측정하는 초기값 설정부, 상기 센서에서 측정한 센싱 정보를 이용하여 상기 벡터 정보를 획득하고, 상기 벡터 정보를 이용하여 상기 카메라의 현재 위치 및 현재 방향을 산출하는 위치 측정부, 상기 등록 모드에서, 사용자로부터 화면상의 제 1 지점에 대한 제 1 선택 입력을 수신하면, 상기 제 1 선택 입력에 대응되는 공간 좌표를 결정하는 공간 좌표 식별부, 상기 사용자로부터 상기 제 1 선택 입력에 대응하는 전시품 정보가 입력되면, 상기 전시품 정보 및 상기 공간 좌표를 서버에 전송하는 전시품 등록부를 포함하는 것을 일 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 증강 현실 구현에 사용되는 데이터베이스를 관리자의 필요에 맞게 3차원 그래픽으로 표시하여, 증강 현실 콘텐츠 구현 결과를 관리자가 미리 확인하고 분석할 수 있다.
또한 본 발명에 의하면, 관리자가 증강 현실 콘텐츠(유물/전시품에 대한 정보 등)를 실시간으로 신규 배치 및/또는 재배치할 수 있게 함으로써, 큐레이팅의 용이성이 향상된다.
도 1은 본 발명의 일 실시 예에 의한 증강 현실 구현 관리 시스템을 설명하기 위한 블록도,
도 2는 본 발명의 일 실시 예에 의한 증강 현실 구현 관리 단말의 구성을 설명하기 위한 블록도,
도 3은 본 발명의 일 실시 예에 의한 증강 현실 구현 관리 단말의 제어부 기능을 설명하기 위한 블록도,
도 4는 본 발명의 일 실시 예에 의한 마커 이미지를 활용한 초기화 방법을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 의한 등록 모드를 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 의한 공간 좌표 식별 방법을 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 의한 관리 모드를 설명 하기 위한 도면,
도 8은 본 발명의 일 실시 예에 의한 증강 현실 구현 관리 방법을 설명하기 위한 순서도,
도 9는 본 발명의 일 실시 예에 의한 초기화 방법을 설명하기 위한 순서도,
도 10은 본 발명의 일 실시 예에 의한 공간 좌표 식별 방법을 설명하기 위한 순서도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.
본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
도 1 내지 도 3을 참조하면, 본 발명의 일 실시 예에 따른 박물관/미술관용 증강 현실 구현 관리 시스템은 증강 현실 구현 관리 단말(100)(이하, ‘단말(100)’이라 함)과 증강 현실 구현 관리 서버(200)(이하, 서버(200)라 함)로 구성된다. 단말은 서버(200)에서 제공하는 데이터를 기반으로 증강 현실을 구현할 수 있는 전자 장치로, 사용자 또는 관리자가 사용하는 단말, 스마트폰, 태블릿, 컴퓨터와 같은 컴퓨팅 프로세서를 포함하는 전자 장치이며, 본 발명의 일 실시 예에 의한 기능을 수행하는 응용 프로그램이 설치된 단말일 수 있다.
본 명세서에서는 단말에 신호를 입력하는 주체이자 증강 현실 응용프로그램을 사용하는 자를 ‘사용자’로 명명하였는데, 사용자는 서비스 이용자, 서비스 관리자를 모두 포함하는 개념이며, 실질적으로는 서비스 관리자가 본 발명의 증강 현실 구현 관리 방법 및 시스템을 사용할 가능성이 더 높은 바, 대부분의 실시 예에서 ‘사용자’는 서비스 관리자를 의미하는 것으로 이해될 수 있다.
본 발명의 일 실시 예에 의하면, 단말(100)은 저장부(110), 카메라(120), 센서부(130), 제어부(140), 표시부(150), 입력부(160), 통신부(170)를 포함할 수 있다.
저장부(110)는 본 발명의 박물관/미술관 용 증강 현실 구현 관리 방법을 실행하기 위한 응용 프로그램을 통해 서버(200)에서 수신되는 박물관/미술관의 3차원 좌표 데이터베이스를 저장한다.
박물관/미술관의 3차원 좌표 데이터베이스에는 전술한 바와 같이 박물관/미술관 내의 각 전시품(1000) 및 시설물(2000)(벽, 전시대, 바닥)의 3차원 좌표계(x, y, z)에 따른 좌표 값이 포함된다. 전시품(1000) 및 시설물(2000)의 좌표 정보는 전시품(1000) 또는 시설물(2000)에 대응하는 특정한 점의 좌표 값일 수 있으며, 선분 또는 면에 대응되는 좌표 값의 집합일 수 있다.
또한 저장부(110)에는 박물관/미술관 내에 설치되는 하나 이상의 마커들의 식별 정보가 저장될 수 있다. 각 마커는 고유의 좌표 정보(본 명세서에서 ‘기준 좌표’라 함)를 가지며, 전술한 바와 같이 단말(100)은 카메라(120)를 통해 촬영되는 마커 이미지를 처리하여 마커와 카메라 간 거리 및 각도를 측정하므로, 측정의 기준이 되는 기준 이미지가 저장부(110)에 저장될 수 있다.
마커의 이미지는 미리 설정된 정보를 나타내는 코드 이미지일 수 있으며, 마커 이미지가 코드 이미지인 경우, 해당 코드는 좌표 정보를 포함할 수도 있고, 저장부(110)에서 좌표 정보를 불러오기 위한 마커의 고유 번호만을 포함할 수도 있다.
마커 이미지는 하나 이상의 기준점을 포함할 수 있으며, 단말(100)은 영상에 포함된 기준점을 이용하여 마커를 인식할 수 있으며, 기준점을 이용하여 카메라(120)의 위치 및 각도를 연산할 수 있다. 따라서, 저장부(110)는 이러한 기준점의 특징 정보를 저장할 수 있다.
이밖에 저장부(110)에는 응용 프로그램 및 응용 프로그램의 구동을 위한 전시품의 식별 정보, 전시품 관련 정보, 각 전시품에 대응되는 지시자 등이 저장되며, 전시품 관련 정보 및 전시품 지시자는 증강 현실 컨텐츠로써 실제 공간과 함께 화면에 표시될 수 있다.
카메라(120)는 렌즈(121)와 촬상소자(123)(이미지 센서)를 포함하며, 사진이나 영상을 촬영하기 위한 하드웨어를 의미한다. 본 명세서에서 ‘카메라의 화각’은 렌즈의 화각을 의미하는 것으로 이해되어야 한다. 화각은 렌즈를 통해 단말(100)이 이미지를 담을 수 있는 각도로 정의되며, 초점거리와 촬상면의 길이에 따라 변화되는 값이다. 화각은 촬상면의 길이를 정의하는 방식에 따라 가로 방향 화각, 세로 방향 화각, 대각선 방향 화각으로 정의될 수 있는데, 일반적으로는 대각선 화각을 지칭한다.
카메라는 도 6에 도시된 바와 같이 렌즈(121), 촬상소자(123)를 포함하며, 촬상 소자(123)가 인식한 이미지는 표시부(150)에 표시된다.
센서부(130)는 사용자의 움직임에 따른 벡터 정보를 획득하기 위하여 단말(100)에 구비된 하나 이상의 센서로, 3축 각속도를 측정하는 자이로 센서, 3차원에서 움직일 때 x축, y축, z축 방향의 가속도를 측정할 수 있는 가속도 센서, 지자기 센서를 포함하는 9축 센서 모듈(9-axis motion tracking module)일 수 있다.
나아가 센서부(130)는 온도 센서를 더 포함할 수 있으며, 이는 자이로 센서의 온도에 의한 오차를 보정하는데 사용될 수 있다. 센서부(130)는 단말(100)에 마커 이미지가 입력되면, 센서부(130)를 초기화 한다. 그리고, 센서에서 측정한 센싱 정보를 이용하여 사용자의 움직임에 따른 벡터 정보를 산출하여 제어부(140)에 제공한다.
표시부(150)는 단말에 표시되는 실제 공간 및 실제 공간에 위치한 전시품에 대응하는 증강 현실 컨텐츠를 표시한다. 표시부(150)는 단말(100)에 구비된 디스플레이 모듈일 수 있으며, 카메라를 통해 입력되는 실제 공간의 영상을 표시한다.
표시부(150)는 단말에 설치된 응용프로그램이 동작하면, 전시품에 대응하는 증강 현실 컨텐츠를 실제 공간 영상에 오버레이하여 표시할 수 있는데, 이는 실제 공간 영상의 정보를 이용하여 영상과 증강 현실 컨텐츠를 정합하는 종래 방식과는 차이가 있다. 본 발명은 증강 현실 컨텐츠의 좌표 정보와 단말의 현재 위치(좌표)를 이용하여 2차원 좌표계를 갖는 표시부(150)의 일 지점을 특정하고, 특정된 지점에 증강 현실 컨텐츠가 표시되도록 한다.
또한, 표시부(150)는 3차원 데이터베이스를 이용하여 생성된 박물관/미술관의 3D 도면을 표시할 수 있으며, 사용자로부터 전시품 정보와 같은 입력 신호를 수신하기 위한 그래픽을 표시할 수 있다.
표시부(150)는 이밖에도 전시품 좌표의 이동, 전시품 정보 수정 및 삭제, 전시품의 등록, 시설물의 이동, 수정, 삭제 및/또는 등록 등 다양한 기능에 대응하는 텍스트 또는 이미지를 표시함으로써, 각 기능에 대한 사용자 선택 입력을 유도할 수 있다.
등록 모드 및 관리 모드에서 표시부(150)에 표시되는 GUI에 대해서는 후술하기로 한다.
입력부(160)는 단말(100)과 사용자 사이의 입력 인터페이스를 제공하는 것으로, 표시부(150)에 증강 현실 컨텐츠가 표시되면, 사용자로부터 증강 현실 컨텐츠에 대한 선택 입력을 수신한다. 예를 들어, 표시부(150)에 전시품에 대응하는 지시자가 하나 이상 표시된 경우, 사용자는 이들 중 임의의 지시자를 입력부(160)를 통해 선택할 수 있으며, 이 경우 입력부(160)는 임의의 지시자에 대한 선택 입력을 수신할 수 있다.
또한, 입력부(160)는 사용자로부터 등록 모드 또는 관리 모드 중 어느 하나에 대한 선택 입력, 전시품 식별 정보 또는 전시품 정보 중 적어도 하나를 수신할 수 있다. 전시품 정보는 전시품의 고유 번호, 명칭, 분류, 제작 시기 또는 제작자 중 적어도 하나를 포함하는 것으로, 전시품을 설명할 수 있는 정보라면 본 명세서에 기재된 예시에 의해 제한되지 않는다.
입력부(160)는 표시부(150)의 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성된 터치스크린일 수 있으며, 이 경우 표시부(150)와 입력부(160)는 하나의 동일 모듈을 통해 기능을 구현한다. 즉, 터치스크린은 표시부(150)로 기능함과 동시에 입력부(160)로 기능할 수 있다.
입력부(160)가 터치스크린이면 선택 입력은 터치 동작을 통해 이루어질 수 있으나, 입력부(160)는 오디오 신호 입력을 위한 마이크로폰, 또는 기계식의 푸시 키(push key)일 수도 있다. 이 경우, 입력부(160)에서 수집한 음성 데이터나 푸시 입력은 제어부(140)에서 제어명령으로 처리될 수 있다.
통신부(170)는 유무선 통신망을 이용하여 서버와 데이터를 송수신할 수 있다. 예를 들어 통신부(170)는 서버(200)에서 업데이트된 박물관/미술관의 3차원 좌표 데이터베이스를 정기 또는 비정기적으로 수신할 수 있다. 또한, 통신부(170)는 사용자로부터 수신한 전시품 정보를 서버(200)로 전송하여, 서버(200)가 새로운 전시품 정보를 이용하여 3차원 좌표 데이터베이스를 업데이트하도록 할 수 있다.
제어부(140)는 단말(100)에 설치된 본 발명의 응용 프로그램에 따라 마커 이미지 및 센서에서 측정한 센싱 정보를 이용하여 증강 현실을 구현하고, 증강 현실 구현을 관리한다. 또한, 제어부(140)는 응용 프로그램과 관련된 동작 외에도, 통상적으로 단말(100)의 전반적인 동작을 제어한다. 제어부(100)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 저장부(110)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다. 나아가, 제어부(140)는 응용 프로그램의 구동을 위하여, 단말(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
이하에서는 도 3을 참조하여 본 발명의 일 실시 예에 따른 제어부(140) 구성을 보다 자세하게 설명한다.
제어부(140)는 초기값 설정부(141), 위치 측정부(143), 공간 좌표 식별부(145), 전시품 등록부(147)를 포함할 수 있으며, 초기값 설정부(141)는 거리 측정부(141A), 수평각 측정부(141B), 연산부(141C)를 포함할 수 있다.
초기값 설정부(141)는 마커 이미지를 이용하여 카메라(120)의 초기 위치 및 초기 방향을 측정한다. 초기값 설정부(141)는 카메라(120)를 통해 기준 좌표를 갖는 마커 이미지가 입력되면, 마커 이미지의 크기를 이용하여 카메라(120)와 마커 간 거리를 측정할 수 있다.
단말(100)의 카메라 - 마커 간 거리 측정
예를 들어, 도 4를 참조하면, 마커는 50C 또는 50D와 같이 박물관/미술관의 포스터 또는 배너에 부착될 수 있으며, 박물관/미술관 내 일정한 곳에 위치할 수 있다. 마커(50)는 전술한 바와 같이 기 설정된 기준 좌표를 포함한다. 사용자가 단말(100)의 카메라(120)로 마커(50C)를 촬영하면, 마커(50C)의 이미지는 도 4에 도시된 바와 같이 단말(100)에 입력되고, 단말(100)의 표시부(150)에도 표시된다.
사용자가 마커(50C)를 정면에서 촬영한 경우, 카메라(120)와 마커(50C)가 이루는 수평각 α는 0°이며, 수직각 β는 90°일 것이다. 정면에서 마커를 촬영한 경우, 촬영된 마커 이미지와 기 저장된 마커의 기준 이미지를 비교하면, 형태에는 왜곡이 없을 것이고, 크기에는 차이가 있을 것이다. 초기값 설정부(141)는 입력되는 마커 이미지(50C’)를 이미지 처리하여 카메라(120)와 마커(50C) 사이의 거리(d)를 측정할 수 있다.
예를 들어, 증강 현실 구현 장치(100)의 저장부(110)는 카메라(120)와 마커(50C) 사이의 거리(d)별로 마커 이미지의 크기에 대응하는 마커 이미지의 특징 정보, 예를 들어, 마커 이미지의 가로 길이, 세로 길이, 가로 픽셀 수, 세로 픽셀 수, 전체 픽셀 수 등이 맵핑되어 있는 테이블을 포함할 수 있다. 이 경우, 초기값 설정부(141)는 획득한 영상에서 마커 이미지의 특징 정보(전체 픽셀 수, 가로 픽셀 수, 세로 픽셀 수 등)을 카운트(또는 측정)하고, 테이블에서 카운트한 픽셀 수에 대응하는 거리(d) 값을 탐색할 수 있다.
또 다른 실시 예로 증강 현실 구현 장치(100)는 마커 이미지의 크기와 카메라와 마커 간 거리의 관계를 나타내는 함수에 입력된 마커 이미지의 크기를 대입하여 카메라와 마커 간 거리를 측정할 수 있다. 마커 이미지의 크기 - 카메라와 마커 간 거리는 반비례 관계에 있으며, 미리 측정한 거리 별 마커 이미지의 크기(또는 픽셀 수)를 이용하여 함수를 도출할 수 있다. 픽셀 수를 이용하는 경우 테이블 또는 함수를 사용함에 있어서 카메라의 화소가 고려되어야 할 것이다.
보다 구체적으로, 초기값 설정부(141)의 거리 측정부(141A)는 마커 이미지에 포함된 수직선을 이용하여 카메라와 마커 간 거리를 측정할 수 있다. 예를 들어, 거리 측정부(141A)는 마커 이미지에 포함된 복수개의 기준점을 추출하고, 제 1 기준점 및 제 2 기준점이 이루는 수직선의 픽셀 수 및 기 저장된 거리별 기준 수직선 픽셀 수를 이용하여 카메라와 마커 간 거리를 측정할 수 있다.
일 예로, 거리 측정부(141A)는 이미지 처리를 통해 마커 이미지에서 미리 설정된 형태 또는 무늬를 갖는 기준점을 추출할 수 있다. 기준점은 기 설정된 간격으로 떨어져있는 사각형, 원형 등의 도형일 수 있으며, 기 설정된 코드일 수도 있다.
마커 이미지에 포함된 수직선의 픽셀 수는 마커 이미지와 카메라 간 수평각의 영향을 받지 않으며, 마커 이미지와 카메라 간 거리에만 영향을 받는다. 즉, 단말의 방향과는 무관하게, 가까이에서 수직선을 촬영하면 촬영된 마커 이미지에 포함된 수직선의 픽셀 수는 많을 것이고, 멀리서 수직선을 촬영하면 할수록 마커 이미지에 포함된 수직선의 픽셀 수는 적어질 것이다.
이는 역으로, 마커 이미지 내의 수직선의 픽셀 수를 계산하면 거리를 산출할 수 있음을 의미한다. 거리 측정부(141A)는 임의의 거리에서 마커 이미지를 촬영하여 수직선의 픽셀 수를 계산하고, 기준 거리 별 픽셀 수 테이블을 생성할 수 있다. 예를 들어, 수직선의 픽셀 수가 1이면 d는 20미터, 픽셀수가 1000개면 d는 10센티미터에 매칭되는 식이다. 이러한 기준 거리별 픽셀 수 테이블은 화소별로 생성될 수 있으며, 렌즈 또는 이미지 센서의 특성 등을 반영하여 생성된 것일 수 있다.
단말은 거리 d를 산출함에 있어서, 기준 거리별 픽셀 수 테이블을 참조하여 거리를 연산할 수 있으며, 이 경우 수직선의 픽셀 수를 계산하고, 픽셀 수에 매칭되는 기준 거리를 탐색하여 마커 이미지와 단말 간 거리를 산출할 수 있다.
또 다른 실시 예로 단말은 기준 거리와 픽셀 수의 관계를 나타내는 함수식에 계산된 수직선의 픽셀 수를 대입하여 기준 거리를 산출할 수 있다. 단말과 마커 이미지 간 거리와 픽셀 수의 관계는 반비례 형태를 나타낼 것이다. 거리 별로 측정된 수직선의 픽셀 수를 이용하여 도출된 함수는 저장부(130)에 저장될 수 있으며, 거리 측정부(141A)는 함수에 수직선의 픽셀 수를 대입하여 거리 d를 산출할 수 있다. 단말에 저장된 함수는 해당 단말에 포함된 카메라의 화소 등 단말에 구비된 카메라의 특성이 반영된 함수인 것으로 이해될 수 있다.
단말(100)의 카메라 - 마커 간 각도 측정
한편, 초기값 설정부(141)는 마커 이미지의 형태를 이용하여 카메라(120)와 마커 이미지 간 수직각 및/또는 수평각을 측정하고, 카메라(120)와 마커 간 거리, 수직각 및/또는 수평각, 및 기준 좌표를 이용하여 카메라(120)의 초기 위치 및 초기 방향을 연산할 수 있다.
카메라(120)의 높이를 측정하기는 어려우므로, 카메라의 공간 좌표를 산출하기 위해서는 사용자가 기 설정된 높이에서 마커를 촬영할 수 있도록 가이드 할 수 있으며, 이러한 가이드 정보는 표시부(150)를 통해 사용자에게 제공될 수 있다.
수직각은 마커에 포함된 세로 수직선(지면에 수직인 직선)의 형태를 이용하여 측정될 수 있다. 예를 들어, 수직각이 0°또는 180°이면 평면도 또는 저면도를 촬영한 것으로 볼 수 있는데, 이 경우 마커 이미지에는 마커의 세로 수직선은 점으로 나타날 것이다. 수직각이 90°이면 세로 수직선의 형태에는 변화가 없다. 즉, 마커의 기준 이미지와 마커 이미지를 비교했을 때 가로 수평선의 형태 변화는 없으나, 세로 수직선의 형태 변화가 현저하다면 수직각이 달라진 것이므로, 마커 이미지에 포함된 세로 수직선의 기준 길이와 마커의 기준 이미지에 포함된 세로 수직선의 길이(또는 형태)를 비교하여 수직각을 측정할 수 있다.
수직각을 β, 세로 수직선의 기준 길이(픽셀 수)를 V_max라고 했을 때, 마커 이미지에 포함된 세로 수직선의 길이(픽셀 수) V_p = V_maxsin(β) 이며, 따라서, 수직각 β=arcsin(V_p/V_max)로 나타낼 수 있다.
초기값 설정부(141)는 마커 이미지에 포함된 수평선(지면에 수평인 직선)을 이용하여 카메라와 마커 간 수평각을 측정하는 수평각 측정부(141B)를 포함할 수 있는데, 수평각은 마커에 포함된 수평선을 이용하여 측정될 수 있다.
예를 들어, 수평각 측정부(141B)는 마커 이미지에 포함된 복수개의 기준점을 추출하고, 제 3 기준점 및 제 4 기준점이 이루는 수평선의 마커 이미지 내 픽셀 수, 카메라와 마커 간 거리, 및 수평선의 거리 별 기준 픽셀 수를 이용하여 카메라와 마커 간 수평각을 측정할 수 있다.
예를 들어, 수평각이 0°일 때 마커 이미지의 수평선 형태는 기준 이미지의 수평선 형태와 동일하다. 수평각 α는 90°<α<90°의 범위를 가질 수 있는데, 마커 이미지의 수평선 길이(픽셀 수)와 기준 이미지의 수평선 길이(픽셀 수)를 비교하면, 수평각의 절대값이 커질수록 수평선 길이(픽셀 수)는 짧아진다(줄어든다).
즉, 수평각을 α, 수평선의 기준 길이(픽셀 수)를 H_max라고 했을 때, 마커 이미지에 포함된 수평선의 길이(픽셀수) H_p = H_maxcos(α)이며, 따라서 수평각 |α|=arccos(H_p/H_max)로 나타낼 수 있다.
마커(50C)의 좌표 정보는 저장부(110)에 저장되어 있으므로, 초기값 설정부(141)의 연산부(141C)는 마커(50C)의 좌표 정보, 측정된 거리(d), 마커(50C)와 카메라(120)가 이루는 수평각(α)을 이용하여 카메라(120)의 좌표를 산출할 수 있다.
산출된 카메라(120)의 좌표는 카메라(120)의 초기 위치로 설정되며, 마커(50C’)를 바라보는 카메라(120)의 방향은 초기 방향으로 설정될 수 있다. 상술한 실시 예에서, 카메라(120)가 마커(50C’)를 정면으로 촬영한 경우, 카메라(120)의 방향은 마커의 정면 방향과 반대 방향을 갖게 될 것이다. 카메라(120)의 방향은 지면과 이루는 수직각 및 마커의 정면 방향과 이루는 수평각을 기준으로 정의될 수 있으나, 이는 일 실시 예에 불과하며, 초기 방향의 기준 값은 설정에 따라 달라질 수 있다.
이와 같이 카메라와 마커 간의 거리, 수평각을 산출하게 되면, 마커의 기준 좌표에 이를 반영하여 단말(카메라)의 초기 위치 및 초기 방향을 연산할 수 있다.
단말(100)의 현재 위치 측정
위치 측정부(143)은 하나 이상의 센서, 즉 센서부(130)에서 측정한 센싱 정보를 이용하여 벡터 정보를 획득하고, 벡터 정보를 이용하여 카메라(120)의 현재 위치 및 현재 방향을 연산한다. 전술한 바와 같이 센서부(130)는 9축 센서 모듈을 통해 사용자 움직임에 대한 센싱 정보를 수집하는데, 이러한 센싱 정보를 연산하여 사용자 움직임에 대응하는 벡터 정보를 산출할 수 있다. 위치 측정부(143)은 상술한 초기값 설정부(141)에서 설정된 초기 위치 및 초기 방향에 사용자 움직임에 따라 실시간으로 변화하는 벡터 정보를 반영하여 카메라(120)의 현재 위치와 카메라(120)의 현재 방향을 연산할 수 있다.
등록 모드에서의 단말(100)
제어부(140)는 입력부(160)를 통해 사용자로부터 등록 모드에 대한 선택 입력이 수신되면 등록 모드로 동작하는데, 등록 모드에서 공간 좌표 식별부(145)는 사용자로부터 화면상의 제 1 지점에 대한 제 1 선택 입력을 수신하면, 제 1 선택 입력에 대응되는 공간 좌표를 결정할 수 있다.
보다 구체적으로, 공간 좌표 식별부(145)는 제 1 지점을 시작점으로 현재 방향으로 뻗어나가는 가상의 반직선과 저장부에 저장된 박물관/미술관의 시설물 좌표가 만나는 제 2 지점을 확인하고, 제 2 지점의 좌표를 공간 좌표로 설정할 수 있다.
도 6의 예시를 참조하면, 사용자가 표시부(150)의 일 지점(X′)을 선택하면, X′를 시작점으로 현재 방향으로 뻗어나가는 가상의 반직선
Figure 112017021447752-pat00001
과 시설물(2000)이 만나는 지점 X(x2, y2, z2)를 공간 좌표로 설정할 수 있다. 시설물(200)이란, 박물관/미술관의 3차원 좌표 데이터베이스에 저장되어 있는 박물관/미술관의 벽, 전시대, 바닥으로, 시설물 좌표는 하나 이상의 점의 좌표를 포함할 수 있다.
표시부(150)는 실제 공간을 2차원의 화면에 표시하는 것이 일반적이므로, 본 발명은 화면의 임의의 지점을 선택했을 때 해당 지점에 대응하는 공간 좌표를 식별하기 위해 위와 같은 방법을 사용한다.
만약 표시부(150)가 3차원 좌표 정보를 표시할 수 있는 홀로그램, 입체 디스플레이인 경우에는 사용자가 선택하는 지점에 대응하는 3차원 좌표를 그대로 공간 좌표로 설정할 수 있다.
등록 모드에서의 표시부(150) 동작을 살펴보면, 표시부(150)는 도 5의 <B>에 도시된 바와 같이 사용자가 등록 모드에서 표시부(150)상의 임의의 일 지점(500D)을 선택하면 해당 지점(500D)에 대응하는 공간 좌표(512)를 표시할 수 있다.
또한 표시부(150)는 공간 좌표(512)와 함께, 전시품 정보(514)를 입력받기 위한 입력창을 표시할 수 있다. 뿐만 아니라, 사용자가 좌표 정보(512) 및 전시품 정보(514)를 서버(200)로 전송할 수 있도록 입력 버튼(516)을 표시함으로써, 사용자로부터 전송 명령을 입력받을 수 있다.
또 다른 실시 예로, 등록 모드에서 사용자는 기 등록된 전시품 정보 또는 전시품의 공간 좌표를 확인 및 수정할 수 있다. 예를 들어, 표시부(150)는 도 5의 <A>에 도시된 바와 같이, 사용자가 임의의 전시품 지시자(500C)를 선택하면 선택된 전시품에 대한 설명(513)을 제공할 수 있으며, 지우기 버튼(515)과 같은 GUI를 제공하여 특정 전시품에 등록된 전시품 정보를 삭제하는 입력을 수신할 수 있다.
등록 모드에서 표시부(150)에 표시되는 초기화(530) 버튼은, 등록 모드에서 입력된 정보들을 모두 삭제하고 데이터를 초기화하는 입력을 수신하기 위한 것일 수 있다.
표시부(150)는 이밖에도 전시품 좌표의 이동, 전시품 정보 수정 및 삭제, 전시품의 등록, 시설물의 이동, 수정, 삭제 및/또는 등록 등 다양한 기능에 대응하는 텍스트 또는 이미지를 표시함으로써, 각 기능에 대한 사용자 선택 입력을 유도할 수 있다.
전술한 바와 같이, 전시품 정보의 입력을 요청하는 이미지 또는 텍스트가 표시부(150)에 표시된 후, 사용자로부터 제 1 선택 입력에 대응하는 전시품 정보가 입력되면, 전시품 등록부(147)는 전시품 정보 및 공간 좌표를 서버(200)에 전송할 수 있다. 전시품 정보와 공간 좌표가 서버(200)에 전송되면, 서버(200)는 수신한 전시품 정보와 공간 좌표를 이용하여 전시품 데이터베이스를 아래 표 1과 같이 업데이트 할 수 있다.
전시품 코드 공간 좌표 한국어 설명 영어 설명 기타 정보
aaa 1,1,1 이것은…… This artifact… ……
aab 2,2,1 이것은…… This artifact… ……
aac 0,40,1 이것은…… This artifact… ……
aba 6,5,1.2 이것은…… This artifact… ……
abc 62,2,0.8 이것은…… This artifact… ……
aca 32,3,1.5 이것은…… This artifact… ……
[표 1]의 전시품 데이터베이스는 본 발명의 박물관/미술관 3차원 좌표 데이터베이스에 포함될 수 있으며, 별도로 관리될 수도 있다. 전시품 데이터베이스는 서버(200)에서 관리되며, 단말(100)의 전시품 데이터베이스와 동기화될 수 있다. 또한 전시품 데이터베이스는 전시품의 코드(식별 정보)와 공간 좌표를 포함하고, 그밖에 사용자로부터 입력되는 전시품 정보를 포함할 수 있다.
서버(200)는 단말(100)로부터 전시품 코드 및/또는 공간 좌표를 수신하면, 해당 전시품 코드 또는 공간 좌표가 전시품 데이터베이스에 존재하는지 확인하고, 존재하지 않는 경우 새로운 전시품에 대한 인스턴스를 추가할 수 있다.
또한, 서버(200)는 단말(100)에 저장된 전시품 데이터베이스의 버전을 관리할 수 있으며, 버전 정보를 확인한 결과 상이한 경우, 서버(200)가 보유하고 있는 최신 버전의 전시품 데이터베이스를 단말(100)로 전송하여 전시품 데이터베이스를 업데이트할 수 있다.
관리 모드에서의 단말(100)
제어부(140)는 입력부(160)를 통해 사용자로부터 관리 모드에 대한 선택 입력이 수신되면 관리 모드로 동작하는데, 관리 모드에서 단말(100)은 도 7에 도시된 바와 같이 사용자에게 박물관/미술관의 전체 구성을 3D로 확인할 수 있는 사용자 인터페이스를 제공한다.
관리 모드에서 표시부(150)는 박물관/미술관의 3차원 좌표 데이터베이스를 이용하여 생성된 가상의 3D 도면을 표시하고, 입력부가 사용자로부터 가상의 3D 도면에 포함된 임의의 제 1 전시품에 대한 선택 입력을 수신하면 제 1 전시품 정보를 표시할 수 있다.
만약, 가상의 3D 도면을 표시한 상태에서 입력부(160)를 통해 사용자로부터 제 1 전시품에 대하여 선택 입력에 연속한 터치 제스처가 수신되면, 공간 좌표 식별부(145)는 터치 제스처가 종료되는 지점의 공간 좌표를 식별하고, 제 1 전시품의 좌표 정보를 터치 제스처가 종료되는 지점의 공간 좌표로 업데이트할 수 있다.
도 7을 참조하여 예를 들면, 관리 모드에서 표시부(150)는 실제 박물관/미술관의 구조와 동일한 가상의 3D 도면을 표시할 수 있으며, 이 3D 도면에는 박물관/미술관의 벽, 바닥, 전시대와 같은 시설물(2000), 그리고 단말(100)에 의하여 등록된 전시품(1000)이 표시될 수 있다.
사용자는 표시부(150)이자 입력부(160)인 터치 스크린을 이용하여 전시품(1000)의 위치를 변경할 수 있으며, 선택 입력에 연속하여 콘텐츠를 드래그하거나, 다른 곳으로 이동하여 배치를 변경할 수 있다. 예를 들어, 벽면에 위치하는 전시품(1000a)를 선택 후 드래그 하여 전시대 위(1000b)에 놓으면, 해당 전시품의 공간 좌표는 전시대 위(1000b) 지점으로 변경될 수 있다. 이렇게 변경된 공간 좌표는 도 5의 500A 내지 500C와 같은 증강 현실 컨텐츠(지시자)의 위치에 반영될 수 있으며, 등록 모드 또는 사용자 모드에서 증강 현실 구현 응용 프로그램을 실행하면, 실제로 해당 전시대(2000)에 가까이 가면, 증강 현실 지시자가 실제 전시대 위에 오버레이되어 나타날 것이다.
서버(200)
서버(200)는 전술한 바와 같이 통신부(230), 제어부(250), 저장부(270)를 포함한다.
통신부(230)는 임의의 단말(100)로부터 전시품 식별 정보와 함께 상기 전시품 식별 정보에 대응하는 전시품의 공간 좌표 및/또는 전시품 정보를 수신하며, 단말(100)에 박물관/미술관의 3차원 좌표 데이터베이스를 전송하며, 제어부(250)가 단말(100)로부터 수신된 전시품의 공간 좌표 및/또는 전시품 정보를 이용하여 3차원 좌표 데이터베이스를 업데이트하면, 업데이트된 3차원 좌표 데이터베이스를 정기/비정기적으로 단말(100)에 전송함으로써, 단말(100)이 업데이트된 정보를 그래픽으로 확인할 수 있도록 한다.
제어부(250)는 3차원 좌표 데이터베이스를 이용하여 가상의 3D 도면을 생성하고, 상기 단말로부터 제 1 전시품 식별 정보를 포함하는 정보 요청 신호가 수신되면, 상기 제 1 전시품 식별 정보에 대응하는 전시품의 공간 좌표 및/또는 전시품 정보를 상기 단말로 전송하고, 상기 단말로부터 제 2 전시품 식별 정보와 함께 상기 제 2 전시품 식별 정보에 대응하는 전시품의 공간 좌표 및/또는 전시품 정보를 포함하는 등록 요청 신호가 수신되면, 상기 등록 요청 신호를 이용하여 상기 3차원 좌표 데이터베이스를 업데이트한다.
저장부(270)는 박물관/미술관의 3차원 좌표 데이터베이스, 상기 전시품 식별 정보, 상기 전시품의 공간 좌표 또는 상기 전시품 정보 중 적어도 하나를 저장한다.
증강 현실 구현 관리 방법
이하에서는 도 8 내지 도 10을 참조하여, 본 발명의 일 실시 예에 따른 증강 현실 구현 관리 방법을 설명한다.
도 8을 참조하면, 단말의 박물관/미술관용 증강 현실 구현 관리 방법에 있어서, 카메라를 통해 임의의 마커 이미지가 입력되면, 단말은 마커 이미지를 이용하여 카메라의 초기 위치 및 초기 방향을 측정할 수 있다(S100).
단계 100에서 단말은 도 9에 도시된 바와 같이 상기 카메라를 통해 기준 좌표를 갖는 상기 마커 이미지를 입력받은 후(S110), 상기 마커 이미지에 포함된 수직선을 이용하여 상기 카메라와 상기 마커 간 거리를 측정할 수 있다(S130). 그리고 상기 마커 이미지에 포함된 수평선을 이용하여 상기 카메라와 상기 마커 간 수평각을 측정할 수 있다(S150).
예를 들어, 마커는 도 4에 도시된 50C 또는 50D와 같이 박물관/미술관의 포스터 또는 배너에 부착될 수 있으며, 박물관/미술관 내 일정한 곳에 위치할 수 있다. 마커(50)는 전술한 바와 같이 기 설정된 기준 좌표를 포함한다. 사용자가 단말(100)의 카메라(120)로 마커(50C)를 촬영하면, 마커(50C)의 이미지는 도 4에 도시된 바와 같이 단말(100)에 입력되고, 단말에도 표시된다.
사용자가 마커(50C)를 정면에서 촬영한 경우, 카메라(120)와 마커(50C)가 이루는 수평각 α는 0°이며, 수직각 β는 90°일 것이다. 정면에서 마커를 촬영한 경우, 촬영된 마커 이미지와 기 저장된 마커의 기준 이미지를 비교하면, 형태에는 왜곡이 없을 것이고, 크기에는 차이가 있을 것이다. 초기값 설정부(141)는 입력되는 마커 이미지(50C’)를 이미지 처리하여 카메라(120)와 마커(50C) 사이의 거리(d)를 측정할 수 있다.
단계 130의 일 실시 예로, 단말은 상기 마커 이미지에 포함된 복수개의 기준점을 추출하고, 제 1 기준점 및 제 2 기준점이 이루는 수직선의 픽셀 수 및 기 저장된 거리별 기준 수직선 픽셀 수를 이용하여 상기 카메라와 상기 마커 간 거리를 측정할 수 있다.
일 예로, 단말은 이미지 처리를 통해 마커 이미지에서 미리 설정된 형태 또는 무늬를 갖는 기준점을 추출할 수 있다. 기준점은 기 설정된 간격으로 떨어져있는 사각형, 원형 등의 도형일 수 있으며, 기 설정된 코드일 수도 있다.
마커 이미지에 포함된 수직선의 픽셀 수는 마커 이미지와 카메라 간 수평각의 영향을 받지 않으며, 마커 이미지와 카메라 간 거리에만 영향을 받는다. 즉, 단말의 방향과는 무관하게, 가까이에서 수직선을 촬영하면 촬영된 마커 이미지에 포함된 수직선의 픽셀 수는 많을 것이고, 멀리서 수직선을 촬영하면 할수록 마커 이미지에 포함된 수직선의 픽셀 수는 적어질 것이다.
이는 역으로, 마커 이미지 내의 수직선의 픽셀 수를 계산하면 거리를 산출할 수 있음을 의미한다. 단말은 임의의 거리에서 마커 이미지를 촬영하여 수직선의 픽셀 수를 계산하고, 기준 거리 별 픽셀 수 테이블을 생성할 수 있다. 예를 들어, 수직선의 픽셀 수가 1이면 d는 20미터, 픽셀수가 1000개면 d는 10센티미터에 매칭되는 식이다. 이러한 기준 거리별 픽셀 수 테이블은 화소별로 생성될 수 있으며, 렌즈 또는 이미지 센서의 특성 등을 반영하여 생성된 것일 수 있다.
단말은 거리 d를 산출함에 있어서, 기준 거리별 픽셀 수 테이블을 참조하여 거리를 연산할 수 있으며, 이 경우 수직선의 픽셀 수를 계산하고, 픽셀 수에 매칭되는 기준 거리를 탐색하여 마커 이미지와 단말 간 거리를 산출할 수 있다.
또 다른 실시 예로 단말은 기준 거리와 픽셀 수의 관계를 나타내는 함수식에 계산된 수직선의 픽셀 수를 대입하여 기준 거리를 산출할 수 있다. 단말과 마커 이미지 간 거리와 픽셀 수의 관계는 반비례 형태를 나타낼 것이다. 거리 별로 측정된 수직선의 픽셀 수를 이용하여 도출된 함수는 단말 또는 서버에 저장될 수 있으며, 단말은 함수에 수직선의 픽셀 수를 대입하여 거리 d를 산출할 수 있다. 단말에 저장된 함수는 해당 단말에 포함된 카메라의 화소 등 단말에 구비된 카메라의 특성이 반영된 함수인 것으로 이해될 수 있다.
단계 150의 일 실시 예로, 단말은 마커 이미지에 포함된 복수개의 기준점을 추출하고, 제 3 기준점 및 제 4 기준점이 이루는 수평선의 상기 마커 이미지 내 픽셀 수, 상기 카메라와 상기 마커 간 거리, 및 상기 수평선의 거리 별 기준 픽셀 수를 이용하여 상기 카메라와 상기 마커 간 수평각을 측정할 수 있다.
예를 들어, 수평각이 0°일 때 마커 이미지의 수평선 형태는 기준 이미지의 수평선 형태와 동일하다. 수평각 α는 90°<α<90°의 범위를 가질 수 있는데, 마커 이미지의 수평선 길이(픽셀 수)와 기준 이미지의 수평선 길이(픽셀 수)를 비교하면, 수평각의 절대값이 커질수록 수평선 길이(픽셀 수)는 짧아진다(줄어든다).
즉, 수평각을 α, 수평선의 기준 길이(픽셀 수)를 H_max라고 했을 때, 마커 이미지에 포함된 수평선의 길이(픽셀수) H_p = H_maxcos(α)이며, 따라서 수평각 |α|=arccos(H_p/H_max)로 나타낼 수 있다.
다음으로 단말은 상기 카메라와 상기 마커 간 거리, 상기 수평각, 및 상기 기준 좌표를 이용하여 상기 카메라의 초기 위치 및 초기 방향을 연산할 수 있다(S170)
단말은 단말에 구비된 하나 이상의 센서를 이용하여 단말의 움직임에 따른 벡터 정보를 수집하며(S200), 벡터 정보를 이용하여 카메라의 현재 위치 및 현재 방향을 연산할 수 있다(S300).
단말에 구비된 하나 이상의 센서는 3축 각속도를 측정하는 자이로 센서, 3차원에서 움직일 때 x축, y축, z축 방향의 가속도를 측정할 수 있는 가속도 센서, 지자기 센서를 포함하는 9축 센서 모듈(9-axis motion tracking module)일 수 있다. 센서를 통해 사용자의 움직임에 대한 벡터 정보를 수집하면, 단말은 단계 300에서 초기 위치 및 초기 방향에 벡터 정보를 반영하여 현재 위치 및 현재 방향을 연산할 수 있다.
다음으로 단말은 사용자로부터 등록 모드 또는 관리 모드 중 어느 하나에 대한 선택 입력을 수신할 수 있다(S400). 등록 모드 또는 관리 모드가 아니라면, 실제 공간을 표시하는 화면에 증강 현실 콘텐츠를 오버레이하여 표시하는 사용자 모드(증강 현실 구현 모드)일 수 있다. 이하에서는 등록 모드 또는 관리 모드에서의 단말의 동작을 보다 구체적으로 설명한다.
등록 모드
사용자가 단계 400에서 등록 모드를 선택한 경우, 사용자로부터 화면상의 제 1 지점에 대한 제 1 선택 입력을 수신하면(S500), 단말은 제 1 선택 입력에 대응되는 공간 좌표를 결정한다(S530).
단계 530에서 단말은 도 10에 도시된 바와 같이 상기 제 1 지점을 시작점으로 상기 현재 방향으로 뻗어나가는 가상의 반직선과 상기 좌표 데이터베이스에 저장된 박물관/미술관의 시설물 좌표가 만나는 제 2 지점을 확인하고(S533), 상기 제 2 지점의 좌표를 상기 공간 좌표로 설정할 수 있다(S535).
도 6의 예시를 참조하면, 사용자가 표시부(150)의 일 지점(X′)을 선택하면, X′를 시작점으로 현재 방향으로 뻗어나가는 가상의 반직선
Figure 112017021447752-pat00002
과 시설물(2000)이 만나는 지점 X(x2, y2, z2)를 공간 좌표로 설정할 수 있다. 시설물(200)이란, 박물관/미술관의 3차원 좌표 데이터베이스에 저장되어 있는 박물관/미술관의 벽, 전시대, 바닥으로, 시설물 좌표는 하나 이상의 점의 좌표를 포함할 수 있다.
단말은 실제 공간을 2차원의 화면에 표시하는 것이 일반적이므로, 본 발명은 화면의 임의의 지점을 선택했을 때 해당 지점에 대응하는 공간 좌표를 식별하기 위해 위와 같은 방법을 사용한다.
만약 단말이 3차원 좌표 정보를 표시할 수 있는 홀로그램, 입체 디스플레이인 경우에는 사용자가 선택하는 지점에 대응하는 3차원 좌표를 그대로 공간 좌표로 설정할 수 있다.
단말은 사용자로부터 제 1 선택 입력에 대응하는 전시품 정보를 입력받을 수 있는데(S550), 예를 들어, 단말은 화면에 상기 공간 좌표의 정보를 포함하는 입력창을 표시하고, 사용자로부터 상기 입력창에 전시품 정보를 입력받을 수 있다. 이때 전시품 정보는 상기 전시품의 고유 번호, 명칭, 분류, 제작 시기 또는 제작자 중 적어도 하나를 포함할 수 있다.
예를 들어, 단말은 도 5의 <B>에 도시된 바와 같이 선택 입력에 대응하는 공간 좌표(512)를 표시할 수 있으며, 공간 좌표(512)와 함께, 전시품 정보(514)를 입력받기 위한 입력창을 표시할 수 있다. 뿐만 아니라, 사용자가 좌표 정보(512) 및 전시품 정보(514)를 서버로 전송할 수 있도록 입력 버튼(516)을 표시함으로써, 사용자로부터 전송 명령을 입력받을 수 있다.
또 다른 실시 예로, 등록 모드에서 사용자는 기 등록된 전시품 정보 또는 전시품의 공간 좌표를 확인 및 수정할 수 있다. 예를 들어, 표시부(150)는 도 5의 <A>에 도시된 바와 같이, 사용자가 임의의 전시품 지시자(500C)를 선택하면 선택된 전시품에 대한 설명(513)을 제공할 수 있으며, 지우기 버튼(515)과 같은 GUI를 제공하여 특정 전시품에 등록된 전시품 정보를 삭제하는 입력을 수신할 수 있다.
등록 모드에서 단말에 표시되는 초기화(530) 버튼은, 등록 모드에서 입력된 정보들을 모두 삭제하고 데이터를 초기화하는 입력을 수신하기 위한 것일 수 있다.
단말은 이밖에도 전시품 좌표의 이동, 전시품 정보 수정 및 삭제, 전시품의 등록, 시설물의 이동, 수정, 삭제 및/또는 등록 등 다양한 기능에 대응하는 텍스트 또는 이미지를 표시함으로써, 각 기능에 대한 사용자 선택 입력을 유도할 수 있다.
전술한 바와 같이, 전시품 정보의 입력을 요청하는 이미지 또는 텍스트가 단말에 표시된 후, 사용자로부터 제 1 선택 입력에 대응하는 전시품 정보가 입력되면, 단말은 전시품 정보 및 공간 좌표를 서버로 전송할 수 있다(S570). 전시품 정보와 공간 좌표가 서버에 전송되면, 서버는 수신한 전시품 정보와 공간 좌표를 이용하여 전시품 데이터베이스를 업데이트 할 수 있다.
또 다른 실시 예로 단말이 사용자로부터 전시품 정보를 입력 받으면, 이를 단말에 저장된 전시품 데이터베이스에 반영하고, 업데이트된 전시품 데이터베이스를 서버의 전시품 데이터베이스와 동기화하는 방식으로 서버에 저장된 전시품 데이터베이스를 업데이트 할 수도 있다.
전시품 데이터베이스는 본 발명의 박물관/미술관 3차원 좌표 데이터베이스에 포함될 수 있으며, 별도로 관리될 수도 있다. 전시품 데이터베이스는 서버에서 관리되며, 단말(100)의 전시품 데이터베이스와 동기화될 수 있다. 또한 전시품 데이터베이스는 전시품의 코드(식별 정보)와 공간 좌표를 포함하고, 그밖에 사용자로부터 입력되는 전시품 정보를 포함할 수 있다.
관리 모드
사용자가 단계 400에서 관리 모드를 선택한 경우, 단말은 박물관/미술관의 3차원 좌표 데이터베이스를 이용하여 생성된 가상의 3D 도면을 화면에 표시하고(S600), 상기 사용자로부터 상기 가상의 3D 도면에 포함된 임의의 제 1 전시품에 대한 선택 입력을 수신할 수 있다(S630). 만약 임의의 전시품에 대한 선택 입력이 수신되면, 단말은 화면에 상기 제 1 전시품 정보를 표시(S650)함으로써, 사용자가 가상의 3D 도면에서 전시품 정보를 확인하고 관리할 수 있도록 한다.
도면에 도시되지는 않았으나, 단말은 상기 사용자로부터 상기 제 1 전시품에 대하여 상기 선택 입력에 연속한 터치 제스처가 수신되면, 상기 터치 제스처가 종료되는 지점의 공간 좌표를 식별하고, 상기 제 1 전시품의 좌표 정보를 상기 터치 제스처가 종료되는 지점의 공간 좌표로 업데이트할 수 있다.
도 7을 참조하여 예를 들면, 관리 모드에서 단말에는 실제 박물관/미술관의 구조와 동일한 가상의 3D 도면을 표시되며, 이 3D 도면에는 박물관/미술관의 벽, 바닥, 전시대와 같은 시설물(2000), 그리고 단말에 의하여 등록된 전시품(1000)이 표시될 수 있다.
사용자는 3D 도면을 이용하여 전시품의 가상 이미지의 배치를 변경할 수 있다. 예를 들어, 벽면에 위치하는 전시품(1000a)를 선택 후 드래그 하여 전시대 위(1000b)에 놓으면, 해당 전시품의 공간 좌표는 전시대 위(1000b) 지점으로 변경될 수 있다. 이렇게 변경된 공간 좌표는 도 5의 500A 내지 500C와 같은 증강 현실 컨텐츠(지시자)의 위치에 반영될 수 있으며, 등록 모드 또는 사용자 모드에서 증강 현실 구현 응용 프로그램을 실행하는 경우, 실제로 해당 전시대(2000)에 가까이 가면 증강 현실 지시자가 실제 전시대 영상에 오버레이되어 나타난다.
따라서 사용자는 관리 모드에서 가상의 이미지를 드래그 앤 드롭 하는 동작만으로 증강 현실 콘텐츠의 구성 및 배치를 쉽게 변경할 수 있고, 실제 전시품을 추가하거나 실제 전시품의 배치가 변경된 경우 실제 상황을 증강 현실 콘텐츠에 바로 반영할 수 있다.
또 다른 실시 예로, 사용자가 단말을 이용해 3D 도면의 전시품 가상 이미지를 선택하면, 해당 가상 이미지에 대응하는 전시품 정보(전시품에 대한 설명, 식별 코드, 공간 좌표) 등을 확인할 수 있다 .
또한, 관리 모드에서도 등록 모드에서와 같이 새로운 전시품을 등록, 변경 및 삭제하는 것이 가능하다. 즉, 관리 모드의 3D 도면에서 일 지점을 선택하면, 해당 선택 입력에 대응하는 공간 좌표가 식별되고, 해당 공간 좌표에 전시품 정보를 입력함으로써 새로운 전시품을 등록할 수 있다. 이와같이 새로운 전시품이 등록되면, 등록된 전시품의 전시품 정보(식별 코드, 공간 좌표 등)은 전시품 데이터베이스에 업데이트될 수 있다.
본 발명의 일 실시 예에 따른 증강 현실 구현 관리 방법 및 장치는 박물관/미술관 뿐 아니라 백화점, 슈퍼마켓과 같이 물품에 대한 정보를 사용자에게 제공하는 장소에 널리 사용될 수 있다. 따라서 본 명세서에서는 박물관/미술관에서의 실시 예를 설명하였으나, 본 발명은 물품 정보를 증강 현실로 구현하는 응용 프로그램에 보편적으로 적용될 수 있음에 유의한다.
본 발명에 의하면 전시품 데이터베이스를 단말(100)과 서버(200)가 공유할 수 있으며, 둘 중 어느 하나의 데이터베이스가 변경되면 변경된 사항이 동기화되어, 전시품의 관리 및 추적이 용이하다.
뿐만 아니라 기획전시관과 같이 전시품이 자주 바뀌는 공간의 경우, 본 발명에 의하면 전시품 관리가 더욱 용이하다. 이와 관련하여, 또 다른 실시 예로 전시품에 위치 추적이 가능한 센서(비콘 수신기 등)을 부착하여,실제 전시품의 좌표가 전시품 데이터베이스에 반영되도록 할 수 있다.
또 다른 실시 예로, 등록 모드에서 사용자가 전시품 정보를 입력함에 있어서, 사용자가 전시품에 부착된 바코드, QR 코드 등 전시품 정보를 포함하는 임의의 코드를 단말(100)을 통해 인식하면, 인식된 전시품 정보가 서버(200)로 전송될 수 있다.
본 명세서에서 설명되는 방법들은 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 컴퓨터 프로그램들에 의해 관리될 수 있다. 컴퓨터 프로그램들은 비-일시적인 유형의 컴퓨터 판독가능 매체에 저장되는 프로세서-실행가능 명령들을 포함한다. 컴퓨터 프로그램들은 또한 저장된 데이터를 포함할 수 있다. 비-일시적인 유형의 컴퓨터 판독가능 매체(non-transitory tangible computer readable medium)의 비한정적 예들은 비휘발성 메모리 시스템, 자기 저장소 및 광학 저장소이다.
앞서 설명된 기법들의 특정 실시형태들은 알고리즘 형태로 본 명세서에서 설명되는 처리 단계들 및 명령들을 포함한다. 앞서 설명된 처리 단계들 및 명령들은 소프트웨어, 펌웨어, 혹은 하드웨어로 관리될 수 있고, 소프트웨어로 관리되는 경우 실시간 네트워크 오퍼레이팅 시스템(real time network operating system)들에서 사용되는 다른 플랫폼들 상에 상주하도록 다운로드 될 수 있고 이로부터 동작될 수 있음에 유의해야만 한다.
본 발명은 또한 본 명세서에서의 동작들을 수행하기 위한 장치와 관련된다. 이러한 장치는 원하는 목적을 위해 특별히 구성될 수 있거나, 또는 컴퓨터에 의해 액세스될 수 있는 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 저장 매체에 저장될 수 있는바, 이러한 유형의 컴퓨터 판독가능 저장 매체는, 예를 들어, 플로피 디스크들, 광학 디스크들, CD-ROM들, 자기-광학 디스크들(magnetic-optical disks), 판독-전용 메모리(Read-Only Memory, ROM)들, 랜덤 액세스 메모리(Random Access Memory, RAM)들, EPROM들, EEPROM들, 자기 혹은 광학 카드들, 애플리케이션 특정 집적 회로(ASIC)들을 포함하는 임의 타입의 디스크, 또는 전자 명령들을 저장하기에 적합하고 그 각각이 컴퓨터 시스템 버스에 결합되는 임의 타입의 매체들이 있지만 이러한 것으로만 한정되는 것은 아니다. 더욱이, 본 명세서에서 지칭되는 컴퓨터들은 단일 프로세서를 포함할 수 있거나, 또는 컴퓨팅 능력 증진을 위해 복수의 프로세서 설계를 사용하는 아키텍처들일 수 있다.
본 명세서에 제시되는 알고리즘들 및 동작들은 본질적으로 임의의 특정 컴퓨터 혹은 다른 장치들과 관련되지 않는다. 다양한 범용 시스템들이 또한, 본 명세서에서의 가르침에 따른 프로그램들과 함께 사용될 수 있고, 또는 원하는 방법의 단계들을 수행하기 위해 더 특수하게 설계된 장치들을 구성하는 것이 편리한 것으로 판명될 수 있다. 다양한 이러한 시스템들을 위해 그 요구되는 구조는 그 등가적 변형물들과 함께 본 발명의 기술 분야에서 숙련된 자들에게 명백할 것이다. 추가적으로, 본 개시내용은 임의의 특정 프로그래밍 언어와 관련되어 설명되는 것이 아니다. 다양한 프로그래밍 언어가 본 명세서에서 설명되는 바와 같은 본 개시내용의 가르침들을 관리하기 위해 사용될 수 있고, 특정 언어에 대한 임의의 언급은 본 발명의 실시예 및 최상의 모드를 설명하기 위한 것임을 이해해야 한다.
본 명세서에서 생략된 일부 실시 예는 그 실시 주체가 동일한 경우 동일하게 적용 가능하다. 또한, 전술한 본 발명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
100: 증강 현실 구현 관리 단말
200: 증강 현실 구현 관리 서버
500: 증강 현실 콘텐츠
1000: 전시품
2000: 시설물

Claims (17)

  1. 박물관/미술관의 3차원 좌표 데이터베이스를 포함하는 응용프로그램이 설치된 단말의 박물관/미술관용 증강 현실 구현 관리 방법에 있어서,
    카메라를 통해 임의의 마커 이미지가 입력되면, 상기 마커 이미지를 이용하여 상기 카메라의 초기 위치 및 초기 방향을 측정하는 단계;
    상기 단말에 구비된 하나 이상의 센서를 이용하여 상기 단말의 움직임에 따른 벡터 정보를 수집하는 단계;
    상기 벡터 정보를 이용하여 상기 카메라의 현재 위치 및 현재 방향을 연산하는 단계;
    사용자로부터 등록 모드 또는 관리 모드 중 어느 하나에 대한 선택 입력을 수신하는 단계;
    상기 사용자가 등록 모드를 선택한 경우, 사용자로부터 화면상의 제 1 지점에 대한 제 1 선택 입력을 수신하면, 상기 제 1 선택 입력에 대응되는 공간 좌표를 결정하는 단계;
    상기 사용자로부터 상기 제 1 선택 입력에 대응하는 전시품 정보를 입력받는 단계;
    상기 전시품 정보 및 상기 공간 좌표를 서버로 전송하는 단계를 포함하고,
    상기 공간 좌표 결정 단계는
    상기 제 1 지점을 시작점으로 상기 현재 방향으로 뻗어나가는 가상의 반직선과 상기 좌표 데이터베이스에 저장된 박물관/미술관의 시설물 좌표가 만나는 제 2 지점을 확인하는 단계;
    상기 제 2 지점의 좌표를 상기 공간 좌표로 설정하는 단계를 포함하는 증강 현실 구현 관리 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 전시품 정보를 입력받는 단계는
    상기 화면에 상기 공간 좌표의 정보를 포함하는 입력창을 표시하는 단계;
    상기 사용자로부터 상기 입력창에 전시품 정보를 입력받는 단계를 포함하며,
    상기 전시품 정보는 상기 전시품의 고유 번호, 명칭, 분류, 제작 시기 또는 제작자 중 적어도 하나를 포함하는 증강 현실 구현 관리 방법.
  4. 제1항에 있어서,
    상기 카메라의 초기 위치 및 초기 방향을 측정하는 단계는
    상기 카메라를 통해 기준 좌표를 갖는 상기 마커 이미지를 입력받는 단계;
    상기 마커 이미지에 포함된 수직선을 이용하여 상기 카메라와 상기 마커 간 거리를 측정하는 단계;
    상기 마커 이미지에 포함된 수평선을 이용하여 상기 카메라와 상기 마커 간 수평각을 측정하는 단계;
    상기 카메라와 상기 마커 간 거리, 상기 수평각, 및 상기 기준 좌표를 이용하여 상기 카메라의 초기 위치 및 초기 방향을 연산하는 단계를 포함하는 증강 현실 구현 관리 방법.
  5. 제4항에 있어서,
    상기 카메라와 상기 마커 간 거리를 측정하는 단계는
    상기 마커 이미지에 포함된 복수개의 기준점을 추출하는 단계;
    제 1 기준점 및 제 2 기준점이 이루는 수직선의 픽셀 수 및 기 저장된 거리별 기준 수직선 픽셀 수를 이용하여 상기 카메라와 상기 마커 간 거리를 측정하는 단계를 포함하는 증강 현실 구현 관리 방법.
  6. 제4항에 있어서,
    상기 카메라와 상기 마커 간 수평각을 측정하는 단계는
    상기 마커 이미지에 포함된 복수개의 기준점을 추출하는 단계;
    제 3 기준점 및 제 4 기준점이 이루는 수평선의 상기 마커 이미지 내 픽셀 수, 상기 카메라와 상기 마커 간 거리, 및 상기 수평선의 거리 별 기준 픽셀 수를 이용하여 상기 카메라와 상기 마커 간 수평각을 측정하는 단계를 포함하는 증강 현실 구현 관리 방법.
  7. 제1항에 있어서,
    상기 사용자가 관리 모드를 선택한 경우,
    상기 박물관/미술관의 3차원 좌표 데이터베이스를 이용하여 생성된 가상의 3D 도면을 화면에 표시하는 단계;
    상기 사용자로부터 상기 가상의 3D 도면에 포함된 임의의 제 1 전시품에 대한 선택 입력을 수신하는 단계;
    상기 화면에 상기 제 1 전시품 정보를 표시하는 단계를 더 포함하는 증강 현실 구현 관리 방법.
  8. 제7항에 있어서,
    상기 사용자로부터 상기 제 1 전시품에 대하여 상기 선택 입력에 연속한 터치 제스처가 수신되면, 상기 터치 제스처가 종료되는 지점의 공간 좌표를 식별하는 단계;
    상기 제 1 전시품의 좌표 정보를 상기 터치 제스처가 종료되는 지점의 공간 좌표로 업데이트하는 단계를 더 포함하는 증강 현실 구현 관리 방법.
  9. 박물관/미술관용 증강 현실 구현 관리 서버에 있어서,
    임의의 단말로부터 전시품 식별 정보와 함께 상기 전시품 식별 정보에 대응하는 전시품의 공간 좌표 및/또는 전시품 정보를 수신하는 통신부;
    상기 박물관/미술관의 3차원 좌표 데이터베이스, 상기 전시품 식별 정보, 상기 전시품의 공간 좌표 또는 상기 전시품 정보 중 적어도 하나를 저장하는 저장부;
    상기 3차원 좌표 데이터베이스를 이용하여 가상의 3D 도면을 생성하고, 상기 단말로부터 제 1 전시품 식별 정보를 포함하는 정보 요청 신호가 수신되면, 상기 제 1 전시품 식별 정보에 대응하는 전시품의 공간 좌표 및/또는 전시품 정보를 상기 단말로 전송하고, 상기 단말로부터 제 2 전시품 식별 정보와 함께 상기 제 2 전시품 식별 정보에 대응하는 전시품의 공간 좌표 및/또는 전시품 정보를 포함하는 등록 요청 신호가 수신되면, 상기 등록 요청 신호를 이용하여 상기 3차원 좌표 데이터베이스를 업데이트하는 제어부를 포함하며,
    상기 제2 전시품 식별 정보에 대응하는 전시품의 공간 좌표는 상기 단말에 의해 결정된 것으로, 상기 단말이 사용자로부터 상기 단말의 화면상의 제1 지점에 대한 제1 선택 입력을 수신하여 상기 제1 지점을 시작점으로 상기 단말의 카메라의 현재 방향으로 뻗어나가는 가상의 반직선과 상기 단말에 저장된 박물관/미술관의 시설물 좌표가 만나는 제2 지점을 확인하고, 상기 제2 지점의 좌표를 상기 공간 좌표로 설정하여 결정된 것을 특징으로 하는 증강 현실 구현 관리 장치.

  10. 박물관/미술관의 3차원 좌표 데이터베이스를 포함하는 응용프로그램이 설치된 증강 현실 구현 관리 단말에 있어서,
    상기 박물관/미술관의 3차원 좌표 데이터베이스를 저장하는 저장부;
    상기 박물관/미술관에 설치된 임의의 마커 이미지를 입력받는 카메라;
    사용자의 움직임에 따른 벡터 정보를 획득하기 위하여 상기 증강 현실 구현 장치에 구비된 하나 이상의 센서;
    상기 단말에 표시되는 실제 공간 및 상기 실제 공간에 위치한 전시품에 대응하는 증강 현실 컨텐츠를 표시하는 표시부;
    상기 사용자로부터 등록 모드 또는 관리 모드 중 어느 하나에 대한 선택 입력, 전시품 식별 정보 또는 전시품 정보 중 적어도 하나를 수신하는 입력부;
    상기 마커 이미지 및 상기 센서에서 측정한 센싱 정보를 이용하여 증강 현실 구현을 관리하는 제어부;
    유무선 통신망을 이용하여 서버와 데이터를 송수신하는 통신부를 포함하며,
    상기 제어부는
    상기 마커 이미지를 이용하여 상기 카메라의 초기 위치 및 초기 방향을 측정하는 초기값 설정부;
    상기 센서에서 측정한 센싱 정보를 이용하여 상기 벡터 정보를 획득하고, 상기 벡터 정보를 이용하여 상기 카메라의 현재 위치 및 현재 방향을 산출하는 위치 측정부;
    상기 등록 모드에서, 사용자로부터 화면상의 제 1 지점에 대한 제 1 선택 입력을 수신하면, 상기 제 1 선택 입력에 대응되는 공간 좌표를 결정하는 공간 좌표 식별부;
    상기 사용자로부터 상기 제 1 선택 입력에 대응하는 전시품 정보가 입력되면, 상기 전시품 정보 및 상기 공간 좌표를 서버에 전송하는 전시품 등록부를 포함며,
    상기 공간 좌표 식별부는
    상기 제 1 지점을 시작점으로 상기 현재 방향으로 뻗어나가는 가상의 반직선과 상기 저장부에 저장된 박물관/미술관의 시설물 좌표가 만나는 제 2 지점을 확인하고, 상기 제 2 지점의 좌표를 상기 공간 좌표로 설정하는 증강 현실 구현 관리 단말.
  11. 삭제
  12. 제10항에 있어서,
    상기 전시품 정보는 상기 전시품의 고유 번호, 명칭, 분류, 제작 시기 또는 제작자 중 적어도 하나를 포함하는 증강 현실 구현 관리 단말.
  13. 제10항에 있어서,
    상기 초기값 설정부는
    상기 카메라를 통해 기준 좌표를 갖는 상기 마커 이미지가 입력되면, 상기 마커 이미지에 포함된 수직선을 이용하여 상기 카메라와 상기 마커 간 거리를 측정하는 거리 측정부;
    상기 마커 이미지에 포함된 수평선을 이용하여 상기 카메라와 상기 마커 간 수평각을 측정하는 수평각 측정부;
    상기 카메라와 상기 마커 간 거리, 상기 수평각, 및 상기 기준 좌표를 이용하여 상기 카메라의 초기 위치 및 초기 방향을 연산하는 연산부를 포함하는 증강 현실 구현 관리 단말.
  14. 제13항에 있어서,
    상기 거리 측정부는
    상기 마커 이미지에 포함된 복수개의 기준점을 추출하고, 제 1 기준점 및 제 2 기준점이 이루는 수직선의 픽셀 수 및 기 저장된 거리별 기준 수직선 픽셀 수를 이용하여 상기 카메라와 상기 마커 간 거리를 측정하는 증강 현실 구현 관리 단말.
  15. 제13항에 있어서,
    상기 수평각 측정부는
    상기 마커 이미지에 포함된 복수개의 기준점을 추출하고, 제 3 기준점 및 제 4 기준점이 이루는 수평선의 상기 마커 이미지 내 픽셀 수, 상기 카메라와 상기 마커 간 거리, 및 상기 수평선의 거리 별 기준 픽셀 수를 이용하여 상기 카메라와 상기 마커 간 수평각을 측정하는 증강 현실 구현 관리 단말.
  16. 제10항에 있어서,
    상기 관리 모드에서 상기 표시부는
    상기 박물관/미술관의 3차원 좌표 데이터베이스를 이용하여 생성된 가상의 3D 도면을 표시하고, 상기 입력부가 상기 사용자로부터 상기 가상의 3D 도면에 포함된 임의의 제 1 전시품에 대한 선택 입력을 수신하면 상기 제 1 전시품 정보를 표시하는 증강 현실 구현 관리 단말.
  17. 제16항에 있어서,
    상기 입력부에 상기 사용자로부터 상기 제 1 전시품에 대하여 상기 선택 입력에 연속한 터치 제스처가 수신되면,
    상기 공간 좌표 식별부는 상기 터치 제스처가 종료되는 지점의 공간 좌표를 식별하고, 상기 제 1 전시품의 좌표 정보를 상기 터치 제스처가 종료되는 지점의 공간 좌표로 업데이트하는 증강 현실 구현 관리 단말.



KR1020170027446A 2016-12-16 2017-03-03 증강 현실 구현 관리 방법 및 시스템 KR101879586B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20160172744 2016-12-16
KR1020160172675 2016-12-16
KR20160172675 2016-12-16
KR1020160172744 2016-12-16

Publications (2)

Publication Number Publication Date
KR20180070431A KR20180070431A (ko) 2018-06-26
KR101879586B1 true KR101879586B1 (ko) 2018-07-18

Family

ID=62788739

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170027446A KR101879586B1 (ko) 2016-12-16 2017-03-03 증강 현실 구현 관리 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101879586B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102099852B1 (ko) * 2018-10-30 2020-04-10 한동대학교 산학협력단 증강현실 게임북을 이용한 멀티유저 증강현실 컨텐츠 제공 시스템 및 방법
KR20200063495A (ko) * 2018-11-28 2020-06-05 임훈 이미지 인식을 이용하여 ar영상을 제공하는 서버
KR20200094025A (ko) * 2019-01-29 2020-08-06 순천대학교 산학협력단 이미지 분석 기반 마커제작을 통한 증강현실 기반 광고플랫폼 시스템
KR102220369B1 (ko) 2020-11-30 2021-02-25 공주대학교 산학협력단 청동거울 콘텐츠 제공 장치 및 방법
KR20210055425A (ko) * 2019-11-07 2021-05-17 한국과학기술원 2차원 가상 이미지 공간 탐색 장치 및 이를 이용한 가상 이미지 공간 탐색 방법
KR102293041B1 (ko) 2020-11-30 2021-08-26 공주대학교 산학협력단 청동거울 과학전시 시스템
KR102420379B1 (ko) 2021-09-14 2022-07-13 주식회사 오썸피아 기상 환경 기반의 메타버스 서비스 제공 방법
KR102420376B1 (ko) 2021-05-14 2022-07-13 주식회사 오썸피아 고도별 드론데이터 활용 및 특정 고도에서 체험할수 있는 증강현실 서비스 제공 방법
KR20230078204A (ko) 2021-11-26 2023-06-02 주식회사 이음메이커스 한류 콘텐츠 기반의 메타버스 서비스 제공 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200056721A (ko) 2018-11-15 2020-05-25 숙명여자대학교산학협력단 증강현실 기기의 광학 특성 측정 방법 및 장치
KR102263836B1 (ko) * 2019-01-31 2021-06-10 한국기술교육대학교 산학협력단 생산 라인에서의 작업자 위치 인식 방법 및 그 장치
KR102208708B1 (ko) * 2019-08-14 2021-01-28 한국과학기술연구원 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치
KR102243576B1 (ko) * 2019-08-27 2021-04-23 (주)네오인터넷 증강현실 기반 관람 가이드 서비스 방법
KR102217543B1 (ko) * 2020-08-06 2021-02-18 박현정 비대면 갤러리 플랫폼을 구현하는 방법 및 그 시스템
KR102300284B1 (ko) * 2021-02-01 2021-09-10 (주)브이에이커뮤니케이션즈 알고리즘을 이용하여 이미지를 추천하는 방법 및 그를 이용한 서버
KR102514934B1 (ko) * 2021-10-28 2023-03-29 주식회사스페이스엘비스 확장현실을 기반으로 하는 컨텐츠 제작 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100962557B1 (ko) * 2009-02-05 2010-06-11 한국과학기술원 증강현실 구현 장치 및 증강현실 구현 방법
KR20120010041A (ko) * 2010-07-23 2012-02-02 세종대학교산학협력단 이동 단말 환경에서 증강 현실 콘텐츠를 저작하는 방법 및 시스템
KR101326010B1 (ko) * 2012-06-13 2013-11-07 에이알비전 (주) 증강현실을 위한 원통형 마커 기반의 카메라 좌표 변환시스템 및 방법
KR20140096672A (ko) * 2013-01-28 2014-08-06 이준돈 마커를 이용한 증강현실 구현 방법 및 그 기록매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100962557B1 (ko) * 2009-02-05 2010-06-11 한국과학기술원 증강현실 구현 장치 및 증강현실 구현 방법
KR20120010041A (ko) * 2010-07-23 2012-02-02 세종대학교산학협력단 이동 단말 환경에서 증강 현실 콘텐츠를 저작하는 방법 및 시스템
KR101326010B1 (ko) * 2012-06-13 2013-11-07 에이알비전 (주) 증강현실을 위한 원통형 마커 기반의 카메라 좌표 변환시스템 및 방법
KR20140096672A (ko) * 2013-01-28 2014-08-06 이준돈 마커를 이용한 증강현실 구현 방법 및 그 기록매체

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102099852B1 (ko) * 2018-10-30 2020-04-10 한동대학교 산학협력단 증강현실 게임북을 이용한 멀티유저 증강현실 컨텐츠 제공 시스템 및 방법
KR20200063495A (ko) * 2018-11-28 2020-06-05 임훈 이미지 인식을 이용하여 ar영상을 제공하는 서버
KR102154270B1 (ko) * 2018-11-28 2020-09-09 임훈 이미지 인식을 이용하여 ar영상을 제공하는 서버
KR20200094025A (ko) * 2019-01-29 2020-08-06 순천대학교 산학협력단 이미지 분석 기반 마커제작을 통한 증강현실 기반 광고플랫폼 시스템
KR102232408B1 (ko) * 2019-01-29 2021-03-26 순천대학교 산학협력단 이미지 분석 기반 마커제작을 통한 증강현실 기반 광고플랫폼 시스템
KR20210055425A (ko) * 2019-11-07 2021-05-17 한국과학기술원 2차원 가상 이미지 공간 탐색 장치 및 이를 이용한 가상 이미지 공간 탐색 방법
KR102300383B1 (ko) * 2019-11-07 2021-09-09 한국과학기술원 2차원 가상 이미지 공간 탐색 장치 및 이를 이용한 가상 이미지 공간 탐색 방법
KR102220369B1 (ko) 2020-11-30 2021-02-25 공주대학교 산학협력단 청동거울 콘텐츠 제공 장치 및 방법
KR102293041B1 (ko) 2020-11-30 2021-08-26 공주대학교 산학협력단 청동거울 과학전시 시스템
KR102420376B1 (ko) 2021-05-14 2022-07-13 주식회사 오썸피아 고도별 드론데이터 활용 및 특정 고도에서 체험할수 있는 증강현실 서비스 제공 방법
KR102420379B1 (ko) 2021-09-14 2022-07-13 주식회사 오썸피아 기상 환경 기반의 메타버스 서비스 제공 방법
KR20230078204A (ko) 2021-11-26 2023-06-02 주식회사 이음메이커스 한류 콘텐츠 기반의 메타버스 서비스 제공 방법

Also Published As

Publication number Publication date
KR20180070431A (ko) 2018-06-26

Similar Documents

Publication Publication Date Title
KR101879586B1 (ko) 증강 현실 구현 관리 방법 및 시스템
US9443353B2 (en) Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects
US8081815B2 (en) Marker arrangement information measuring apparatus and method
EP2769363B1 (en) Depth cursor and depth measurement in images
US9098905B2 (en) System and method for determining position of a device
JP5248806B2 (ja) 情報処理装置、情報処理方法
US7286725B2 (en) Information presentation apparatus for suggesting a presentation accuracy of related information and information presentation method
US20120038671A1 (en) User equipment and method for displaying augmented reality window
KR101803598B1 (ko) 클라우드 포인트를 이용한 실내 지도 구축 장치 및 방법
CN103733229A (zh) 信息处理设备、信息处理方法及程序
EP3098569B1 (en) Method, apparatus and computer program code for providing navigation information in relation to augmented reality guidance
US10445772B1 (en) Label placement based on objects in photographic images
CN109155082A (zh) 信息处理设备、信息处理方法和存储介质
US11380011B2 (en) Marker-based positioning of simulated reality
US10664879B2 (en) Electronic device, apparatus and system
KR101925289B1 (ko) 단말 위치/각도 식별 방법 및 장치
KR20220085142A (ko) 확장현실 기반 지능형 건설현장 관리 지원 시스템 및 방법
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN112699189A (zh) 位置信息更新方法、装置及计算机系统
US20130331145A1 (en) Measuring system for mobile three dimensional imaging system
JP7001711B2 (ja) カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器
KR20150054312A (ko) 이동통신 단말기를 이용한 실제길이 측정방법
US8837813B2 (en) Mobile three dimensional imaging system
KR101902131B1 (ko) 시뮬레이션 파노라마 실내영상 제작 시스템
JP2017168132A (ja) 仮想オブジェクトの表示システム、表示システムプログラム及び表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant