KR20190118939A - Mr 지원 망원경 장치, 방법 및 이를 이용한 mr 지원 망원경 운영 시스템 및 방법 - Google Patents

Mr 지원 망원경 장치, 방법 및 이를 이용한 mr 지원 망원경 운영 시스템 및 방법 Download PDF

Info

Publication number
KR20190118939A
KR20190118939A KR1020180084517A KR20180084517A KR20190118939A KR 20190118939 A KR20190118939 A KR 20190118939A KR 1020180084517 A KR1020180084517 A KR 1020180084517A KR 20180084517 A KR20180084517 A KR 20180084517A KR 20190118939 A KR20190118939 A KR 20190118939A
Authority
KR
South Korea
Prior art keywords
image
content
telescope
information
module
Prior art date
Application number
KR1020180084517A
Other languages
English (en)
Other versions
KR102088991B1 (ko
Inventor
이보람
Original Assignee
이보람
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이보람 filed Critical 이보람
Publication of KR20190118939A publication Critical patent/KR20190118939A/ko
Application granted granted Critical
Publication of KR102088991B1 publication Critical patent/KR102088991B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/14—Travel agencies

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예에 따른 MR 지원 망원경 장치는 망원경 프레임; 상기 망원경 프레임의 일단에 위치되고, 전방 이미지를 3D 영상으로 제공하는 3D 카메라 모듈; 상기 3D 영상과 VR 콘텐츠를 정합한 MR 영상을 제공하는 영상처리부; 상기 망원경 프레임의 타단에 위치하고, 한쌍의 영상패널을 이용하여 상기 MR 영상을 표시하는 HMD 모듈; 상기 음향정보를 제공하는 사운드 모듈; 및 상기 3D 카메라 모듈, 영상 및 음향 처리부, HMD 모듈 및 사운드 모듈의 동작을 제어하는 동작제어부를 포함한다

Description

MR 지원 망원경 장치, 방법 및 이를 이용한 MR 지원 망원경 운영 시스템 및 방법{MR TELESCOPE AND SYSTEM AND METHOD FOR OPERATING THE SAME}
본 발명은 MR 지원 망원경 장치, 방법 및 이를 이용한 MR 지원 망원경 운영 시스템 및 방법에 관한 것이다.
전망대 망원경에 증강현실(AR) 또는 가상현실(VR) 콘텐츠를 제공하려는 아이디어 차원의 시도는 많이 늘어나고 있는 추세이다.
이러한 시도들은 전망대가 위치한 관광지의 정보를 제공하는 요소에 지나지 않다.
관광지의 정보는 팻플릿 등 다양한 경로로 충분히 얻을 수 있다.
그러나, 이러한 시도들은 단순히 전망대 망원경에서 촬영된 화면에 증강현실(AR) 또는 가상현실 콘텐츠(VR)를 적용하여 제공하는 내용만을 개시할 뿐이다.
한국 공개특허공보 제2000-0025350호
따라서, 본 발명이 해결하고자 하는 과제는 지리적 정보의 3D 영상과 VR 콘텐츠를 정합한 MR 영상을 지원하는 MR 지원 망원경 장치 및 방법을 개시하는 데 그 목적이 있다.
또한, 본 발명이 해결하고자 하는 과제는 MR 지원 망원경 장치를 운영하기 위한 시스템 및 방법을 제공하는 데 그 목적이 있다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 MR 지원 망원경 장치는 망원경 프레임; 상기 망원경 프레임의 일단에 위치되고, 전방 이미지를 3D 영상으로 제공하는 3D 카메라 모듈; 상기 3D 영상과 VR 콘텐츠를 정합한 MR 영상 및 음향을 제공하는 영상 및 음향 처리부; 상기 망원경 프레임의 타단에 위치하고, 한쌍의 영상패널을 이용하여 상기 MR 영상을 표시하는 HMD 모듈 및 상기 3D 카메라 모듈, 영상 및 음향 처리부 및 HMD 모듈의 동작을 제어하는 동작제어부를 포함한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 MR 지원 망원경 운영 시스템은 지역별로 위치하는 복수 개의 MR 지원 망원경 장치; 및 상기 복수 개의 MR 지원 망원경 장치와 연동하고, 고객의 요청에 따라 지역별로 실행가능한 VR 콘텐츠 및 MR 체험 서비스를 제공하는 MR 지원 서비스 서버를 포함한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 MR 지원 망원경의 동작방법은 카메라 모듈에서 망원경 프레임의 틸팅각도에서 촬영된 전방 이미지를 3D 영상으로 변환하는 단계; 공간좌표 생성부에서 상기 틸팅각도에 따른 상기 3D 영상의 공간좌표를 설정하는 단계; VR 콘텐츠 제공부에서 상기 공간좌표에 해당하는 VR 콘텐츠를 제공하는 단계; MR 영상 생성부에서 상기 3D 영상과 상기 VR 콘텐츠를 정합한 MR 영상을 생성하는 단계; 및 출력부에서 상기 MR 영상을 HMD 모듈 및 디스플레이부로 출력하는 단계를 포함한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 MR 지원 망원경 운영 방법은 MR 지원 서비스 서버에서 사용자 단말로 지역별로 위치하는 MR 지원 망원경 장치들 간의 연계가능한 MR 체험 서비스 정보 제공하는 제1 단계; 사용자가 상기 MR 체험 서비스 정보의 이용절차에 따라 지역별로 위치하는 MR 지원 망원경 장치를 체험하는 제2 단계; 및 사용자가 체험한 MR 지원 망원경들에서 제공한 MR 영상들을 특정파일 형태로 가공하여 상기 사용자 단말로 제공하는 제3 단계를 포함한다.
상기에서는 본 발명의 바람직한 실시예를 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명은 실제 촬영된 지형 영상을 가공한 3D 지형 데이터(영상)와 VR 콘텐츠를 정합한 완성도 높은 MR 영상을 사용자에게 제공할 수 있다는 이점이 있다.
또한 본 발명은 3D 카메라 모듈과 MR 영상을 생성하는 영상 처리장치가 직접 전기적으로 연결됨으로, 대용량의 데이터 처리가 가능하다는 이점이 있다.
또한, 본 발명은 지역별로 위치한 MR 지원 망원경 장치를 연계하여 사용자로 하여금 다양한 MR 체험 정보를 제공할 수 있다는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 MR 지원 망원경 장치의 구성들 간의 연결관계를 나타낸 블록도이다.
도 2a는 3D 카메라 모듈의 실사도이다.
도 2b는 HMD 모듈의 실사도이다.
도 2c는 사운드 모듈의 실사도이다.
도 3은 도 1에 도시된 MR 지원 망원경 장치의 일 예시도이다.
도 4는 도 1에 도시된 MR 지원 망원경 장치의 다른 일 예시도이다.
도 5는 3D 카메라 모듈, HMD 모듈 및 영상처리부 간의 연결관계를 보여준 예시도이다.
도 6은 도 1에 도시된 영상처리부의 구성들 간의 연결을 나타낸 블록도이다.
도 7은 HMD에서 보여지는 MR 영상의 예시도이다.
도 8은 본 발명의 일 실시예에 따른 MR 지원 망원경 장치의 동작방법의 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 MR 지원 망원경 운영 시스템을 나타낸 블록도이다.
도 10은 도 9에 도시된 MR 지원 서비스 서버를 보다 상세하게 나타낸 블록도이다.
도 11은 본 발명의 일 실시예에 따른 MR 지원 망원경 운영 방법을 나타낸 예시도이다.
도 12는 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시한 도이다.
이하, 본 명세서의 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 명세서에 기재된 기술을 특정한 실시 형태에 대해 한정하는 것이 아니며, 본 명세서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 명세서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 명세서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 명세서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.
예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 명세서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 명세서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 명세서의 실시예들을 배제하도록 해석될 수 없다.
이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예에 따른 MR 지원 망원경 장치 및 이를 운영하는 운영 시스템을 보다 상세하게 설명하도록 한다.
이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예에 따른 MR 지원 망원경 장치 및 이를 이용한 MR 지원 망원경 운영 시스템을 보다 상세하게 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 MR 지원 망원경 장치의 구성들 간의 연결관계를 나타낸 블록도이고, 도 2a는 3D 카메라 모듈의 실사도이고, 도 2b는 HMD 모듈의 실사도이고, 도 2c는 사운드 모듈의 실사도이고, 도 3은 도 1에 도시된 MR 지원 망원경 장치의 일 예시도이다. 도 4는 도 1에 도시된 MR 지원 망원경 장치의 다른 일 예시도이다., 도 5는 3D 카메라 모듈, HMD 모듈 및 영상처리부 간의 연결관계를 보여준 예시도이고, 도 6은 도 1에 도시된 영상처리부의 구성들 간의 연결을 나타낸 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 MR 지원 망원경 장치(100)는 망원경 프레임(110), 3D 카메라 모듈(120), 영상처리부(130), HMD 모듈(140) 및 동작제어부(150)를 포함한다.
여기서, 영상처리부(130) 및 동작제어부(150)는 망원경 프레임의 내부 또는 외부에 장착될 수 있다. 더 나아가, 후술하는 MR 영상 처리부(136) 및 음향정보 처리부(137) 또한, 망원경 프레임의 내부 또는 외부에 장착될 수 있다.
또한, 본 발명의 일 실시예에 따른 MR 지원 망원경 장치(100)는 상기 망원경 프레임(110)의 틸팅각도를 조절 및 검출하는 각도 조절부(160)를 포함할 수 있다.
또한, 상기 HMD 모듈(140)에서 시현되는 MR 영상을 외부자들이 시청할 수 있는 디스플레이부(170)를 포함할 수 있다.
또한, 상기 망원경 프레임(110)의 높낮이(수직길이)를 조절하는 높낮이 조절부재(180)를 포함할 수 있다. 여기서, 상기 높낮이 조절부재(180)는 상기 망원경 프레임(110)을 지지 및 망원경 프레임의 높이정보를 제공하는 기능을 한다.
상기 높낮이 조절부재(180)는 상기 3D 카메라 모듈(120)의 데이터 케이블과 상기 HMD 모듈(140)의 데이터 케이블을 수용할 수 있는 수용공간을 포함할 수 있다.
따라서, 상기 3D 카메라 모듈(120)의 데이터 케이블과 상기 HMD 모듈(140)의 데이터 케이블은 상기 높낮이 조절부재(180) 내에 인입되어 상기 영상처리부(130)의 입출력 단자에 접속될 수 있다.
한편, 상기 망원경 프레임(110)은 사면 구조체, 원형 구조체로 제작된 프레임일 수 있다.
상기 3D 카메라 모듈(120)은 상기 망원경 프레임(110)의 일단(A)에 위치되고, 전방을 촬영한 촬영영상을 3D 영상으로 가공하여 제공한다.
상기 영상처리부(130)는 3D 카메라 모듈(120)에서 제공된 3D 영상과 내부에 저장된 VR 콘텐츠를 정합한 MR 영상을 제공하도록, 입력부(131), 공간좌표 생성부(132), VR 콘텐츠 제공부(133), MR 영상 생성부(134) 및 출력부(135)를 포함할 수 있다.
상기 입력부(131)는 3D 카메라 모듈(120)에서 제공된 3D 영상을 입력받는다.
또한, 상기 입력부(131)는 사용자 단말(10)과 연동되는 외부 서버로부터 VR 컨텐츠를 제공받을 수도 있다.
상기 공간좌표 생성부(132)는 상기 틸팅각도 및 높이정보에 따라 생성된 상기 3D 카메라 모듈의 3D 영상 별로 공간좌표를 생성한다.
참고로, 공간좌표는 미리 설정된 정보로서, 3D 카메라 모듈에서 최대한으로 촬영가능한 좌, 우, 상, 하에 따라 촬영된 3D 영상들에 부여된 좌표일 수 있다.
다른 일 예로, 상기 공간좌표 생성부(132)는 망원경 프레임이 설치된 위치를 중심축으로 설정한 후, 중심축에서 좌(-), 우(+)로 이동된 회전각도에 따른 좌표를 생성한 후, 3D 영상 별에 생성한 공간좌표를 부여할 수도 있다.
다음으로, 상기 VR 콘텐츠 제공부(133)는 상기 공간좌표에 따른 VR 콘텐츠를 제공한다.
상기 VR 콘텐츠 제공부(133)는 내부에 공간좌표 별로 제공가능한 VR 콘텐츠를 저장한 저장매체를 포함할 수 있다.
상기 VR 콘텐츠는 MR 지원 망원경 장치(100)가 설치된 지역의 문화, 역사적 사건, 유적지 등과 관련된 가상의 콘텐츠일 수 있다.
가령, MR 지원 망원경 장치(100)가 설치된 지역이 통영 바다를 전망하는 전망대에 위치한다고 가정하면, 해당 VR 콘텐츠는 통영 앞 바다에서 이순신이 왜군과 전투를 한 한산도 대첩(전투)와 관련된 가상의 전투 영상일 수 있다.
또는, MR 지원 망원경 장치(100)가 설치된 지역이 경주의 분황사에 위치한다고 가정한다면, 해당 VR 콘텐츠는 8층으로 건립되었으나 현재 일부분이 파손된 모전석탑을 8층으로 재현(복원)한 콘텐츠일 수 있다.
다음으로, 상기 MR 영상 생성부(134)는 3D 카메라 모듈(120)에서 제공된 3D 영상 내에 해당 지역(위치)과 관련된 VR 콘텐츠를 정합한 MR 영상을 제공한다.
상기 MR 영상 생성부(134)는 MR 영상 제공시에, 후술하는 HMD 모듈(140) 내의 한쌍의 영상표시패널에 제공되도록 2개의 MR 영상을 제공한다.
상기 MR 영상 처리부(136)는 제스쳐 정보에 기초하여 VR 콘텐츠의 위치, 모양을 다양한 형태로 가변시키거나 또는 소멸되도록 처리한다.
상기 음향정보 처리부(137)는 음향정보를 제공한다.
상기 출력부(135)는 2개의 MR 영상을 HMD 모듈(140)로 출력한다.
다음으로, 상기 HMD 모듈(140)은 상기 망원경 프레임(110)의 타단(B)에 위치하고, 2개의 MR 영상을 한쌍의 영상표시패널을 이용하여 사용자에게 표시한다.
상기 HMD 모듈(140)은 기 설정된 음향정보를 제공하는 한쌍의 사운드 모듈(141)을 더 포함할 수 있다. 상기 한쌍의 사운드 모듈(141)은 후술하는 동작제어부의 제어신호에 기초하여 음향소리를 출력할 수 있다.
상기 HMD 모듈(140)의 시청부는 사용자의 눈의 피로감을 낮추도록 한쌍의 렌즈 및 한쌍의 영상표시패널을 포함할 수 있다.
이와 같이, 한쌍의 영상표시패널을 통해 사용자의 좌,우 각각에 동일한 MR 영상을 제공하면, MR 영상 시청시 사용자가 느끼는 눈의 피로감을 낮출 수 있다. 한쌍의 영상표시패널을 사용하여 사용자가 시청하여야 실공간에 콘텐츠를 합성하여 보여지는 MR 영상을 몰입해서 즐길 수 있다.
다른 일 예로, 상기 MR 모듈(140)의 시청부는 좌, 우가 분할된 영상표시패널 및 한쌍의 렌즈을 포함할 수 있다.
다음으로, 상기 동작제어부(150)는 상기 3D 카메라 모듈(120), 영상 및 음향 처리부(130), HMD 모듈(140) 및 사운드 모듈(141)의 동작을 제어하기 위한 제어신호를 제공한다.
한편, 본 발명의 일 실시예에 따른 MR 지원 망원경 장치(100)는 외부관람자의 제스처에 반응하는 MR 콘텐츠를 외부에 구비된 디스플레이부로 제공할 수 있다. 상기 디스플레이부는 터치 스크린을 포함할 수 있다.
보다 구체적으로, 상기 MR 지원 망원경 장치(100)는 외부관람자의 위치 및 움직임을 감지하는 객체인식모듈을 포함할 수 있고, 외부관람자를 촬영한 영상정보에 VR 콘텐츠가 합성된 MR 영상을 외부관람자가 시청하는 디스플레이로 제공할 수 있다.
상기 MR 지원 망원경 장치(100)의 VR 콘텐츠 제공부(133)는 외부관람자가 위치한 공간좌표에 상응하는 VR 콘텐츠를 제공한다.
상기 MR 영상 생성부(134)는 VR 콘텐츠와 외부관람자가 위치한 공간좌표를 촬영한 촬영영상을 정합한 MR 영상을 HMD 모듈(140) 및 디스플레이부(170)로 제공한다.
상기 MR 지원 망원경 장치(100)는 MR 영상 처리부(136) 및 음향정보 처리부(137)를 더 포함할 수 있고, 상기 MR 영상 처리부(136)는 디스플레이부의 터치정보에 따른 MR 영상 내의 VR 콘텐츠의 위치, 움직임, 삭제 등을 조절할 수 있고, 또는 객체인식모듈에서 감지된 외부관람자의 제스쳐 정보에 기초하여 MR 영상 내의 VR 콘텐츠의 위치, 움직임, 삭제 등을 조절할 수 있다.
일 예로, 외부 관람자를 촬영한 영상정보와 VR 콘텐츠가 정합된 MR 콘텐츠가 디스플레이부에 표시된 상태에서, 외부관람자가 VR 콘텐츠를 터치하면, MR 영상 처리부(136)는 디스플레이부의 터치정보에 기초하여 해당 VR 콘텐츠의 위치, 모양을 다양한 형태로 가변시키거나 또는 소멸시키도록 VR 콘텐츠를 제어한다.
상기 음향정보 처리부(137)는 사운드 모듈(141)로 재생되는 VR 콘텐츠의 음향정보를 제공한다. 상기 음향정보 처리부(137)는 상기 MR 영상 처리부(136)와 연동됨에 따라 MR 영상의 출력 타이밍에 음향정보를 출력한다.
또한, 본 발명의 일 실시예에 따른 MR 지원 망원경 장치(100)는 메모리(101), 버스(102), 네트워크 인터페이스(103) 및 데이터베이스(104)를 포함할 수 있다.
상기 메모리(101)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(101)에는 운영체제와 서비스 제공 루틴을 위한 프로그램 코드가 저장될 수 있다.
이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(240)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플
로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스를 통해 메모리에 로딩될 수도 있다.
상기 버스(102)는 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다.
상기 버스(102)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
상기 네트워크 인터페이스(103)는 MR 지원 망원경 장치(100)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(103)는, 이더넷 카드와 같은 네트워크 인터페이스 카드, 광학 송수신기, 무선 주파수 송수신기, 혹은 정보를 송수신할 수 있는 임의의 다른 타입의 디바이스일 수 있다.
이러한 네트워크 인터페이스들의 다른 예들은 모바일 컴퓨팅 디바이스들 및 USB 내의 블루투스(Bluetooth), 3G 및 WiFi 등을 포함하는 무선기기일 수 있다.
일부 예들에서, 컴퓨팅 디바이스는, 서버, 모바일 폰, 혹은 다른 네트워크화된 컴퓨팅 디바이스와 같은 외부 디바이스와 무선으로 통신하기 위해 네트워크 인터페이스를 사용할 수 있다. 네트워크 인터페이스는 해당 장치(100)을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.
도 8은 본 발명의 일 실시예에 따른 MR 지원 망원경 장치의 동작방법의 흐름도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 MR 지원 망원경 장치의 동작방법(S700)은 먼저, 3D 카메라 모듈(120)에서 망원경 프레임(110)의 틸팅각도 및 조절된 높이에서 촬영된 전방 이미지를 3D 영상으로 변환(S710)한다.
이후, 영상처리부(130)의 공간좌표 생성부(132)에서 상기 틸팅각도에 따른 상기 3D 영상의 공간좌표를 제공(S720)한다.
참고로, 공간좌표는 미리 설정된 정보로서, 3D 카메라 모듈에서 최대한으로 촬영가능한 좌, 우, 상, 하에 따라 촬영된 3D 영상들에 부여된 좌표일 수 있다.
다른 일 예로, 상기 공간좌표 생성부(132)는 망원경 프레임이 설치된 위치를 중심축으로 설정한 후, 중심축에서 좌(-), 우(+)로 이동된 회전각도에 따른 좌표를 생성한 후, 3D 영상 별에 생성한 공간좌표를 부여할 수도 있다.
이후, 영상처리부(130)의 VR 콘텐츠 제공부(133)에서 상기 공간좌표에 해당하는 VR 콘텐츠를 제공(S730)하고, MR 영상 생성부(134)에서 상기 3D 영상과 상기 VR 콘텐츠를 정합한 MR 영상을 생성(S740)한다.
상기 VR 콘텐츠는 MR 지원 망원경 장치(100)가 설치된 지역의 문화, 역사적 사건, 유적지 등과 관련된 가상의 콘텐츠일 수 있다.
가령, MR 지원 망원경 장치(100)가 설치된 지역이 통영 바다를 전망하는 전망대에 위치한다고 가정하면, 해당 VR 콘텐츠는 통영 앞 바다에서 이순신이 왜군과 전투를 한 한산도 대첩(전투)와 관련된 가상의 전투 영상일 수 있다.
또는, MR 지원 망원경 장치(100)가 설치된 지역이 경주의 분황사에 위치한다고 가정한다면, 해당 VR 콘텐츠는 8층으로 건립되었으나 현재 일부분이 파손된 모전석탑을 8층으로 재현(복원)한 콘텐츠일 수 있다.
마지막으로, 출력부(135)에서 상기 MR 영상을 HMD 모듈 및 디스플레이부로 출력하면, 사용자는 HMD 모듈(140)을 통해, MR 영상을 시청할 수 있다.
한편, 본 발명의 일 실시예에 따른 MR 지원 망원경 장치의 동작방법(S700)은 외부관람자를 촬영한 영상정보에 VR 콘텐츠가 합성된 MR 영상을 외부관람자가 시청하는 디스플레이부로 제공된 후, 디스플레이부의 터치 정보 또는 외부관람자의 제스쳐 정보를 감지(S760)한 후, 터치정보 또는 제스쳐 정보에 기초하여 VR 콘텐츠의 위치, 움직임, 형상 등을 조절하는 과정(S770)을 더 포함할 수 있다.
예컨대, 도 1 참조, 상기 MR 지원 망원경 장치(100)의 VR 콘텐츠 제공부(133)는 외부관람자가 위치한 공간좌표에 상응하는 VR 콘텐츠를 제공할 수 있고, MR 영상 생성부(134)는 VR 콘텐츠와 외부관람자가 위치한 공간좌표를 촬영한 촬영영상을 정합한 MR 영상을 HMD 모듈(140) 및 디스플레이부(170)로 제공할 수 있다. 또한, MR 영상 처리부(136)는 디스플레이부의 터치정보에 따른 MR 영상 내의 VR 콘텐츠의 위치, 움직임, 삭제 등을 조절할 수 있고, 또는 객체인식모듈에서 감지된 외부관람자의 제스쳐 정보에 기초하여 MR 영상 내의 VR 콘텐츠의 위치, 움직임, 삭제 등을 조절할 수 있다.
도 9는 본 발명의 일 실시예에 따른 MR 지원 망원경 운영 시스템을 나타낸 블록도이고, 도 10은 도 9에 도시된 MR 지원 서비스 서버를 보다 상세하게 나타낸 블록도이다.
먼저, 도 9를 참조하면, 본 발명의 일 실시예에 따른 MR 지원 망원경 운영 시스템(500)은 복수의 MR 지원 망원경 장치(100) 및 MR 지원 서비스 서버(200)를 포함할 수 있다.
상기 복수의 MR 지원 망원경 장치(100) 및 MR 지원 서비스 서버(200)는 네트워크를 통하여 연결될 수 있다.
여기서, 네트워크는 단말 및 서버와 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예는, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, 4G, LTE, Wi-Fi 등이 포함되나 이에 한정되지는 않는다.
상기 복수 개의 MR 지원 망원경 장치(100)는 도 1 내지 도 7 참조, 지역별로 위치하고, 해당 지역(위치)와 관련된 문화, 역사적 사건, 유적지 등과 관련된 VR 콘텐츠를 3D 영상과 정합한 MR 영상을 사용자들에게 제공하는 기능을 한다.
각 MR 지원 망원경 장치(100)는 망원경 프레임(110), 3D 카메라 모듈(120), 영상처리부(130), HMD 모듈(140) 및 동작제어부(150)를 포함한다.
여기서, 영상 및 음향 처리부(130) 및 동작제어부(150)는 망원경 프레임의 내부 또는 외부에 장착될 수 있다. 더 나아가, 후술하는 MR 영상 처리부(136) 및 음향정보 처리부(137) 또한, 망원경 프레임의 내부 또는 외부에 장착될 수 있다.
또한, 각 MR 지원 망원경 장치(100)는 상기 망원경 프레임(110)의 틸팅각도를 조절 및 검출하는 각도 조절부(160)를 포함할 수 있다.
또한, 상기 HMD 모듈(140)에서 시현되는 MR 영상을 외부자들이 시청할 수 있는 디스플레이부(170)를 포함 할 수 있다.
또한, 상기 망원경 프레임(110)의 높낮이(수직길이)를 조절하는 높낮이 조절부재(180)를 포함할 수 있다. 여기서, 상기 높낮이 조절부재(180)는 상기 망원경 프레임(110)을 지지 및 망원경 프레임의 높이정보를 제공하는 기능을 한다.
상기 높낮이 조절부재(180)는 상기 3D 카메라 모듈(120)의 데이터 케이블과 상기 HMD 모듈(140)의 데이터 케이블을 수용할 수 있는 수용공간을 포함할 수 있다.
따라서, 상기 3D 카메라 모듈(120)의 데이터 케이블과 상기 HMD 모듈(140)의 데이터 케이블은 상기 높낮이 조절부재(180) 내에 인입되어 상기 영상처리부의 입출력 단자에 접속될 수 있다.
한편, 상기 망원경 프레임(110)은 사면 구조체, 원형 구조체로 제작된 프레임일 수 있다.
상기 3D 카메라 모듈(120)은 상기 망원경 프레임(110)의 일단(A)에 위치되고, 전방을 촬영한 촬영영상을 3D 영상으로 가공하여 제공한다.
상기 영상처리부(130)는 3D 카메라 모듈(120)에서 제공된 3D 영상과 내부에 저장된 VR 콘텐츠를 정합한 MR 영상을 제공하도록, 입력부(131), 공간좌표 생성부(132), VR 콘텐츠 제공부(133), MR 영상 생성부(134) 및 출력부(135)를 포함할 수 있다.
상기 입력부(131)는 3D 카메라 모듈(120)에서 제공된 3D 영상을 입력받는다.
또한, 상기 입력부(131)는 사용자 단말(10)과 연동되는 외부 서버로부터 VR 컨텐츠를 제공받을 수도 있다.
상기 공간좌표 생성부(132)는 상기 틸팅각도 및 높이정보에 따라 생성된 상기 3D 카메라 모듈의 3D 영상 별로 공간좌표를 생성한다.
참고로, 공간좌표는 미리 설정된 정보로서, 3D 카메라 모듈에서 최대한으로 촬영가능한 좌, 우, 상, 하에 따라 촬영된 3D 영상들에 부여된 좌표일 수 있다.
다른 일 예로, 상기 공간좌표 생성부(132)는 망원경 프레임이 설치된 위치를 중심축으로 설정한 후, 중심축에서 좌(-), 우(+)로 이동된 회전각도에 따른 좌표를 생성한 후, 3D 영상 별에 생성한 공간좌표를 부여할 수도 있다.
다음으로, 상기 VR 콘텐츠 제공부(133)는 상기 공간좌표에 따른 VR 콘텐츠를 제공한다.
상기 VR 콘텐츠 제공부(133)는 내부에 공간좌표 별로 제공가능한 VR 콘텐츠를 저장한 저장매체를 포함할 수 있다.
상기 VR 콘텐츠는 MR 지원 망원경 장치(100)가 설치된 지역의 문화, 역사적 사건, 유적지 등과 관련된 가상의 콘텐츠일 수 있다.
가령, MR 지원 망원경 장치(100)가 설치된 지역이 통영 바다를 전망하는 전망대에 위치한다고 가정하면, 해당 VR 콘텐츠는 통영 앞 바다에서 이순신이 왜군과 전투를 한 한산도 대첩(전투)와 관련된 가상의 전투 영상일 수 있다.
또는, MR 지원 망원경 장치(100)가 설치된 지역이 경주의 분황사에 위치한다고 가정한다면, 해당 VR 콘텐츠는 8층으로 건립되었으나 현재 일부분이 파손된 모전석탑을 8층으로 재현(복원)한 콘텐츠일 수 있다.
다음으로, 상기 MR 영상 생성부(134)는 3D 카메라 모듈(120)에서 제공된 3D 영상 내에 해당 지역(위치)과 관련된 VR 콘텐츠를 정합한 MR 영상을 제공한다.
상기 MR 영상 생성부(134)는 MR 영상 제공시에, 후술하는 HMD 모듈(140) 내의 한쌍의 영상표시패널에 제공되도록 2개의 MR 영상을 제공한다.
상기 출력부(135)는 2개의 MR 영상을 HMD 모듈(140)로 출력한다.
한쌍의 영상표시패널을 사용하여 사용자가 시청하여야 실공간에 콘텐츠를 합성하여 보여지는 MR콘텐츠를 몰입해서 즐길 수 있다.
다음으로, 상기 HMD 모듈(140)은 상기 망원경 프레임(110)의 타단(B)에 위치하고, 2개의 MR 영상을 한쌍의 영상표시패널을 이용하여 사용자에게 표시한다.
상기 HMD 모듈(140)은 기 설정된 음향정보를 제공하는 한쌍의 사운드 모듈(141)을 더 포함할 수 있다. 상기 한쌍의 사운드 모듈(141)은 후술하는 동작제어부의 제어신호에 기초하여 음향소리를 출력할 수 있다.
상기 HMD 모듈(140)의 시청부는 사용자의 눈의 피로감을 낮추도록 한쌍의 렌즈 및 한쌍의 영상표시패널을 포함할 수 있다.
이와 같이, 한쌍의 영상표시패널을 통해 사용자의 좌, 우 각각에 동일한 MR 영상을 제공하면, MR 영상 시청시 사용자가 느끼는 눈의 피로감을 낮출 수 있다.
한쌍의 영상표시패널을 사용하여 사용자가 시청하여야 실공간에 콘텐츠를 합성하여 보여지는 MR콘텐츠를 몰입해서 즐길 수 있다.
다른 일 예로, 상기 MR 모듈(140)의 시청부는 좌, 우가 분할된 영상표시패널 및 한쌍의 렌즈을 포함할 수 있다.
다음으로, 상기 동작제어부(150)는 상기 3D 카메라 모듈(120), 영상처리부(130) 및 HMD 모듈(140)의 동작을 제어하기 위한 제어신호를 제공한다.
한편, 본 발명의 일 실시예에 따른 MR 지원 망원경 장치(100)는 외부관람자의 제스처에 반응하는 MR 콘텐츠를 외부에 구비된 디스플레이부로 제공할 수 있다. 상기 디스플레이부는 터치 스크린을 포함할 수 있다.
보다 구체적으로, 상기 MR 지원 망원경 장치(100)는 외부관람자의 위치 및 움직임을 감지하는 객체인식모듈을 포함할 수 있고, 외부관람자를 촬영한 영상정보에 VR 콘텐츠가 합성된 MR 영상을 외부관람자가 시청하는 디스플레이로 제공할 수 있다.
상기 MR 지원 망원경 장치(100)의 VR 콘텐츠 제공부(133)는 외부관람자가 위치한 공간좌표에 상응하는 VR 콘텐츠를 제공한다.
상기 MR 영상 생성부(134)는 VR 콘텐츠와 외부관람자가 위치한 공간좌표를 촬영한 촬영영상을 정합한 MR 영상을 HMD 모듈(140) 및 디스플레이부(170)로 제공한다.
상기 MR 지원 망원경 장치(100)는 MR 영상 처리부(136) 음향정보 처리부(137)를 더 포함할 수 있고, 상기 MR 영상 처리부(136)는 디스플레이부의 터치정보에 따른 MR 영상 내의 VR 콘텐츠의 위치, 움직임, 삭제 등을 조절할 수 있고, 또는 객체인식모듈에서 감지된 외부관람자의 제스쳐 정보에 기초하여 MR 영상 내의 VR 콘텐츠의 위치, 움직임, 삭제 등을 조절할 수 있다.
일 예로, 외부 관람자를 촬영한 영상정보와 VR 콘텐츠가 정합된 MR 콘텐츠가 디스플레이부에 표시된 상태에서, 외부관람자가 VR 콘텐츠를 터치하면, MR 영상 처리부(136)는 디스플레이부의 터치정보에 기초하여 해당 VR 콘텐츠의 위치, 모양을 다양한 형태로 가변시키거나 또는 소멸시키도록 VR 콘텐츠를 제어한다.
상기 음향정보 처리부(137)는 사운드 모듈(141)로 재생되는 VR 콘텐츠의 음향정보를 제공한다. 상기 음향정보 처리부(137)는 상기 MR 영상 처리부(136)와 연동됨에 따라 MR 영상의 출력 타이밍에 음향정보를 출력한다.
다음으로, 상기 MR 지원 서비스 서버(200)는 상기 복수 개의 MR 지원 망원경 장치와 연동하고, 고객의 요청에 따라 지역별로 실행가능한 VR 콘텐츠 및 MR 체험 서비스를 제공한다.
상기 MR 지원 서비스 서버(200)는 회원관리부(210), 운영관리부(220), VR 콘텐츠 관리부(230) 및 MR 체험 서비스 관리부(240)를 포함할 수 있다.
상기 회원관리부(210)는 MR 체험 서비스를 이용하는 회원의 회원정보를 관리한다.
상기 회원관리부(210)는 회원의 단말에서 입력한 VR 관심 콘텐츠를 회원별로 분류하여 저장하는 기능을 한다.
상기 VR 관심 콘텐츠는 게임, 역사, 문화, 유적지, 여행 등과 관련된 콘텐츠일 수 있다.
다음으로, 상기 운영관리부(220)는 지역별로 위치하는 MR 지원 망원경 장치(100)의 동작 이상여부와 관련된 상태정보를 수집한 후, 상태정보를 통해 이용가능한지 여부를 판단한다.
다음으로, 상기 VR 콘텐츠 제공 및 관리부(230)는 회원 가입시, 회원이 원하는 VR 관심 콘텐츠를 제공하고, 회원에게 제공된 VR 관심 콘텐츠를 관리한다.
또한, 상기 VR 콘텐츠 제공 및 관리부(230)는 회원에게 사용기간이 제한된 유료의 VR 관심 콘텐츠를 판매한 후, 구입한 VR 콘텐츠를 회원별로 관리할 수 있다.
다음으로, MR 체험 서비스 관리부(240)는 상기 복수 개의 MR 지원 망원경 장치의 위치정보, 실행가능한 VR 콘텐츠, 레코딩된 각 지역별로 체험한 MR 영상 및 체험 시나리오 미션을 포함하는 상기 MR 체험 서비스를 지원 및 관리한다.
상기 MR 체험 서비스 관리부(240)는 사용자 단말에 설치가능한 MR 지원 플랫폼을 통해 제공될 수 있다.
상기 MR 지원 플랫폼은 네트워크를 통하여 고객 단말에 설치 또는 구동되는 애플리케이션, 프로그램, 웹 페이지 등을 포함할 수 있다.
여기서, 상기 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up languge)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다.
또한, 애플리케이션은 단말 상의 응용프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다. 앱(app)은 모바일 콘텐츠를 자유롭게 사고 파는 가상의 장터인 애플리케이션 마켓에서 다운로드 받아서 설치할 수 있다.
상기 MR 지원 플랫폼은 ①MR 지원 망원경 장치가 위치한 지역, ②각 지역의 MR 망원경 장치가 제공하는 VR 콘텐츠, ③각 지역의 MR 망원경 장치에서 실행가능한 VR 콘텐츠, ④지역별로 연계가능한 MR 체험 미션 등의 체험 시나리오 정보를 제공하는 기능을 한다.
또한, 상기 MR 지원 플랫폼은 MR 체험 서비스 관리부(240)에서 제공된 체험 시나리오 미션에 다른 MR 지원 망원경 장치의 위치정보, 미션정보 등을 사용자에게 표시할 수 있다.
일 예로, 상기 체험 시나리오 미션은 “가상의 외계인이 지구를 침공하여, 문화 유적지를 파괴하는 것을 막아라!” 등과 같은 게임 요소가 가미된 미션으로, 사용자는 체험 시나리오 미션에 따라 방문한 지역의 MR 지원 망원경 장치의 ID를 입력하면, MR 지원 서비스 서버(200)에서 체험 시나리오 미션과 관련된 VR 콘텐츠를 해당 MR 지원 망원경 장치로 제공한다.
또한, MR 지원 플랫폼은 사용자가 체험한 MR 지원 망원경에서 제공한 MR 영상들을 파노라마 영상으로 제작하기 위한 영상 편집 툴을 제공할 수 있다.
따라서, 사용자는 영상 편집 툴을 이용하여 자신이 체험한 지역의 문화, 유적지, 역사 사건 등의 VR 콘텐츠가 적용된 MR 영상을 편집하여 파노라마로 즐길 수 있다.
또한, 사용자는 영상 편집 툴을 이용하여 유로로 구입한 VR 콘텐츠를 각 지역의 문화유적지, 역사적 사건 등에 적용시킨 자신만의 MR 영상을 제작할 수 있다.
한편, VR 콘텐츠 및 시나리오 미션에 등장하는 캐릭터는 오직 MR 지원 망원경 장치를 통해서만 확일 할 수 있다.
따라서, 사용자는 자신이 소지한 MR 콘텐츠와 실제 주변환경이 접목된 영상을 MR 지원 망원경을 통해 확인할 수 있다.
한편, 상기 MR 지원 서비스 서버(200)는 사용자가 MR 지원 망원경 장치를 통해 시나리오 미션을 클리어할 경우, MR 지원 플랫폼으로 리워드(게임 아이템)를 제공하고, 각 시나리오 미션을 성공한 영상을 제공할 수 있다.
도 11은 본 발명의 일 실시예에 따른 MR 지원 망원경 운영 방법을 간략하게 설명한 흐름도이다.
도 11을 참조하면, 본 발명의 일 실시예에 따른 MR 지원 망원경 운영 방법(S800)은 MR 지원 서비스 서버(200)에서 사용자 단말에 지역별로 위치하는 MR 지원 망원경 장치에서 제공하는 MR 영상들을 체험하기 위한 MR 체험 서비스 정보를 제공(S810)하면, 사용자가 상기 MR 체험 서비스 정보의 이용절차에 따라 지역별로 위치하는 MR 지원 망원경 장치를 체험(S830)하고, 사용자가 체험한 MR 지원 망원경들에서 제공한 MR 영상들을 기 설정된 형태로 가공하여 사용자 단말로 제공(S830)하는 과정을 포함할 수 있다.
상기 MR 지원 서비스 정보는 ①MR 지원 망원경 장치가 위치한 지역, ②각 지역의 MR 망원경 장치가 제공하는 VR 콘텐츠, ③각 지역의 MR 망원경 장치에서 실행가능한 VR 콘텐츠, ④지역별로 연계가능한 MR 체험 미션 등의 체험 시나리오 정보를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 MR 지원 망원경 운영방법(S800)는 외부관람자의 제스처에 반응하는 MR 콘텐츠를 외부에 구비된 디스플레이부로 제공한 후, 디스플레이부의 터치정보 또는 외부관람자의 제스쳐 정보에 기초하여 VR 콘텐츠의 위치, 모양을 가변시키는 과정 (S840)을 더 포함할 수 있다.
상기 S840 과정은 외부 관람자를 촬영한 영상정보와 VR 콘텐츠가 정합된 MR 영상이 디스플레이부(170)에 표시된 상태에서, 외부관람자가 VR 콘텐츠를 터치하면, MR 지원 망원경의 MR 영상 처리부(136)가 디스플레이부의 터치정보에 기초하여 해당 VR 콘텐츠의 위치, 모양을 다양한 형태로 가변시키거나 또는 소멸시키도록 VR 콘텐츠를 제어하는 과정일 수 있다.
도 12는 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다. 예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.
컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다. 또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)을 포함할 수 있다.
여기서, 입력 디바이스(들)(1140)은 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)은 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다.
또한, 컴퓨팅 디바이스(1100)는 컴퓨팅 디바이스(1100)가 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다.
여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다. 상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크(1200)에 의해 상호접속될 수도 있다. 본 명세서에서 사용되는 "구성요소", "시스템" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다.
예를 들어, 구성요소는 프로세서 상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터 상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다
100: MR 지원 망원경 장치
110: 망원경 프레임
120: 3D 카메라 모듈
121: 객체인식모듈
130: 영상 및 음향 처리부
131: 입력부
132: 공간좌표 생성부
133: VR 콘텐츠 제공부
134: MR 영상 생성부
135: 출력부
136: MR 영상 처리부
137: 음향정보 처리부
140: HMD
141: 사운드 모듈
150: 동작제어부
160: 각도 조절부
170: 디스플레이부
180: 높낮이 조절부
200: MR 지원 서비스 서버
210: 회원관리부
220: 운영관리부
230: VR 콘텐츠 관리부
240: MR 체험 서비스 관리부

Claims (13)

  1. 망원경 프레임;
    상기 망원경 프레임의 일단에 위치되고, 전방 이미지를 3D 영상으로 제공하는 3D 카메라 모듈;
    상기 3D 영상과 VR 콘텐츠를 정합한 MR 영상을 제공하는 영상처리부;
    상기 망원경 프레임의 타단에 위치하고, 한쌍의 영상패널을 이용하여 상기 MR 영상을 표시하는 HMD 모듈;
    상기 음향정보를 제공하는 사운드 모듈; 및
    상기 3D 카메라 모듈, 영상 및 음향 처리부, HMD 모듈 및 사운드 모듈의 동작을 제어하는 동작제어부를 포함하는 MR 지원 망원경 장치.
  2. 제1항에 있어서,
    상기 망원경 프레임의 틸팅각도를 조절하는 각도 조절부;
    외부관람자의 위치 및 제스처를 인식하는 객체인식모듈; 및
    상기 MR 영상을 표시하는 디스플레이부를 더 포함하는 MR 지원 망원경 장치.
  3. 제1항에 있어서,
    상기 망원경 프레임의 높낮이를 조절하는 높낮이 조절부재를 더 포함하고,
    상기 3D 카메라 모듈의 데이터 케이블과 상기 HMD 모듈의 데이터 케이블은 상기 높낮이 조절부재 내에 인입되어 상기 영상처리부와 입출력 단자에 접속되는 MR 지원 망원경 장치.
  4. 제2항에 있어서,
    상기 영상 및 음향 처리부는
    상기 3D 영상을 입력받는 입력부;
    상기 틸팅각도에 따라 생성된 상기 3D 카메라 모듈의 3D 영상 별로 공간좌표를 생성하는 공간좌표 생성부;
    상기 공간좌표 별로 VR 콘텐츠를 제공하는 VR 콘텐츠 제공부;
    상기 3D 영상 내에 상기 VR 콘텐츠를 정합한 MR 영상을 제공하는 MR 영상 생성부;
    상기 디스플레이부의 터치정보 또는 제스쳐 정보에 기초하여 상기 디스플레이부에 표시된 VR 콘텐츠의 위치, 모양을 다양한 형태로 가변시키거나 또는 소멸되도록 처리하는 MR 영상 처리부; 및
    음향정보를 상기 사운드 모듈로 제공하는 음향정보 처리부를 포함하는 MR 지원 망원경 장치.
  5. 지역별로 위치하는 복수 개의 MR 지원 망원경 장치; 및
    상기 복수 개의 MR 지원 망원경 장치와 연동하고, 고객의 요청에 따라 지역별로 실행가능한 VR 콘텐츠 및 MR 체험 서비스를 제공하는 MR 지원 서비스 서버를 포함하는 MR 지원 망원경 운영 시스템.
  6. 제5항에 있어서,
    상기 MR 지원 망원경 장치는,
    망원경 프레임;
    상기 망원경 프레임의 일단에 위치되고, 전방 이미지를 3D 영상으로 제공하는 3D 카메라 모듈;
    상기 3D 영상과 VR 콘텐츠를 정합한 MR 영상을 제공하는 영상처리부;
    상기 망원경 프레임의 타단에 위치하고, 한쌍의 영상패널을 이용하여 상기 MR 영상을 표시하는 HMD 모듈;
    상기 HMD 모듈에 구비되어, 음향정보를 출력하는 사운드 모듈;
    상기 3D 카메라 모듈, 영상처리부, HMD 모듈 및 사운드 모듈의 동작을 제어하는 동작제어부;
    상기 망원경 프레임의 틸팅각도를 조절하는 각도 조절부;
    상기 HMD 모듈에서 실행중인 MR 영상을 표시하는 디스플레이부; 및
    상기 망원경 프레임의 높낮이를 조절하는 높낮이 조절부재를 포함하고,
    상기 3D 카메라 모듈의 데이터 케이블과 상기 HMD 모듈의 데이터 케이블은 상기 높낮이 조절부재 내에 인입되어 상기 영상처리부와 입출력 단자에 접속되는 MR 지원 망원경 운영 시스템.
  7. 제6항에 있어서,
    상기 MR 지원 서비스 서버는
    MR 체험 서비스를 이용하는 회원의 회원정보를 관리하는 회원관리부;
    상기 동작제어부의 동작상태를 관리하는 운영관리부;
    회원의 단말로 VR 콘텐츠를 제공 및 관리하는 VR 콘텐츠 관리부; 및
    상기 복수 개의 MR 지원 망원경 장치의 위치정보, 실행가능한 VR 콘텐츠, 레코딩된 각 지역별로 체험한 MR 영상 및 체험 시나리오 미션을 포함하는 상기 MR 체험 서비스를 지원 및 관리하는 MR 체험 서비스 관리부를 포함하는 MR 지원 망원경 운영 시스템.
  8. 제6항에 있어서,
    상기 영상 및 음향 처리부는
    상기 3D 영상을 입력받는 입력부;
    상기 틸팅각도에 따라 생성된 상기 3D 카메라 모듈의 3D 영상 별로 공간좌표를 생성하는 공간좌표 생성부;
    상기 공간좌표 별로 VR 콘텐츠를 제공하는 VR 콘텐츠 제공부;
    상기 3D 영상 내에 상기 VR 콘텐츠를 정합한 MR 영상을 제공하는 MR 영상 생성부;
    상기 디스플레이부의 터치정보 또는 제스쳐 정보에 기초하여 상기 디스플레이부에 표시된 VR 콘텐츠의 위치, 모양을 다양한 형태로 가변시키거나 또는 소멸되도록 처리하는 MR 영상 처리부; 및
    음향정보를 상기 사운드 모듈로 제공하는 음향정보 처리부
    상기 MR 영상을 상기 HMD 모듈로 출력하고, 상기 음향정보를 사운드 모듈로 출력하는 출력부를 포함하는 MR 지원 망원경 운영 시스템.
  9. 카메라 모듈에서 망원경 프레임의 틸팅각도에서 촬영된 전방 이미지를 3D 영상으로 변환하는 단계;
    공간좌표 생성부에서 상기 틸팅각도에 따른 상기 3D 영상의 공간좌표를 설정하는 단계;
    VR 콘텐츠 제공부에서 상기 공간좌표에 해당하는 VR 콘텐츠를 제공하는 단계;
    MR 영상 생성부에서 상기 3D 영상과 상기 VR 콘텐츠를 정합한 MR 영상을 생성하는 단계; 및
    출력부에서 상기 MR 영상을 HMD 모듈 및 디스플레이부로 출력하는 단계를 포함하는 MR 지원 망원경 동작방법.
  10. 제9항에 있어서,
    외부관람자를 촬영한 영상정보에 VR 콘텐츠가 합성된 MR 영상을 외부관람자가 시청하는 디스플레이부로 제공된 후, 디스플레이부의 터치 정보 또는 외부관람자의 제스쳐 정보를 감지하는 단계; 및
    상기 터치정보 또는 제스쳐 정보에 기초하여 상기 디스플레이부에서 표시된 VR 콘텐츠의 위치, 움직임, 형상 등을 조절하는 단계를 더 포함하는 MR 지원 망원경 동작방법.
  11. MR 지원 서비스 서버에서 사용자 단말에 지역별로 위치하는 MR 지원 망원경에서 제공하는 MR 영상들을 이용한 MR 체험 서비스 정보를 제공하는 제1 단계;
    사용자가 상기 MR 체험 서비스 정보의 이용절차에 따라 지역별로 위치하는 MR 지원 망원경 장치를 구동하는 제2 단계;
    사용자가 구동한 MR 지원 망원경들에서 제공한 MR 영상들을 기 설정된 형태로 가동하여 상기 사용자 단말로 제공하는 제3 단계를 포함하는 MR 지원 망원경 운영 방법.
  12. 제11항에 있어서,
    외부관람자의 제스처에 반응하는 MR 콘텐츠를 외부에 구비된 디스플레이부로 제공한 후, 디스플레이부의 터치정보 또는 외부관람자의 제스쳐 정보에 기초하여 VR 콘텐츠의 위치, 모양을 가변시키는 단계를 더 포함하는 MR 지원 망원경 운영 방법.
  13. 제11항에 있어서,
    상기 체험 서비스 정보는
    MR 지원 망원경 장치가 위치한 지역, 각 지역의 MR 망원경 장치가 제공하는 VR 콘텐츠, 각 지역의 MR 망원경 장치에서 실행가능한 VR 콘텐츠, 지역별로 연계가능한 MR 체험 미션 등을 포함하는 체험 시나리오 정보 중 적어도 하나를 포함하는 MR 지원 망원경 운영 방법.
KR1020180084517A 2018-04-11 2018-07-20 Mr 지원 망원경 장치, 방법 및 이를 이용한 mr 지원 망원경 운영 시스템 및 방법 KR102088991B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180042249 2018-04-11
KR20180042249 2018-04-11

Publications (2)

Publication Number Publication Date
KR20190118939A true KR20190118939A (ko) 2019-10-21
KR102088991B1 KR102088991B1 (ko) 2020-04-23

Family

ID=68460685

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180084517A KR102088991B1 (ko) 2018-04-11 2018-07-20 Mr 지원 망원경 장치, 방법 및 이를 이용한 mr 지원 망원경 운영 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102088991B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210067841A (ko) * 2019-11-29 2021-06-08 주식회사 이앤지테크 Vr 영상 컨텐츠 제작 및 vr 뷰 웹(앱) 솔루션 지원시스템 및 그 구동방법
KR102539647B1 (ko) * 2022-12-15 2023-06-07 주식회사 오썸피아 Ptz 기능을 갖는 전망대 망원경
KR102704621B1 (ko) * 2023-05-08 2024-09-09 주식회사 오썸피아 영상 제공 장치와 이를 이용한 메타 라이브 서비스 제공 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102243224B1 (ko) * 2020-06-23 2021-04-22 주식회사 예쉬컴퍼니 Vr망원경
KR102188735B1 (ko) * 2020-08-04 2020-12-09 주식회사 원우이엔지 카메라를 이용한 관측 망원경
KR102188736B1 (ko) * 2020-08-04 2020-12-09 주식회사 원우이엔지 입체 카메라 망원경
KR102281584B1 (ko) 2020-11-12 2021-07-26 주식회사 오썸피아 사용자 단말로 전망대 망원경 영상 및 증강현실 콘텐츠를 제공하는 방법, 장치, 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000025350A (ko) 1998-10-10 2000-05-06 정선종 증강 현실을 이용한 관광 망원경 시스템 및 그 운용방법
KR20120091749A (ko) * 2011-02-10 2012-08-20 한국과학기술정보연구원 혼합 현실 가시화 시스템 및 혼합 현실 가시화 방법
KR20170107137A (ko) * 2016-03-14 2017-09-25 윤승훈 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템
KR101796668B1 (ko) * 2016-05-18 2017-11-10 주식회사 그렉터 디지털 망원경 및 그의 제어 방법
KR20180075099A (ko) * 2016-12-26 2018-07-04 주식회사 팝스라인 Hmd 장치 및 그의 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000025350A (ko) 1998-10-10 2000-05-06 정선종 증강 현실을 이용한 관광 망원경 시스템 및 그 운용방법
KR20120091749A (ko) * 2011-02-10 2012-08-20 한국과학기술정보연구원 혼합 현실 가시화 시스템 및 혼합 현실 가시화 방법
KR20170107137A (ko) * 2016-03-14 2017-09-25 윤승훈 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템
KR101796668B1 (ko) * 2016-05-18 2017-11-10 주식회사 그렉터 디지털 망원경 및 그의 제어 방법
KR20180075099A (ko) * 2016-12-26 2018-07-04 주식회사 팝스라인 Hmd 장치 및 그의 제어 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210067841A (ko) * 2019-11-29 2021-06-08 주식회사 이앤지테크 Vr 영상 컨텐츠 제작 및 vr 뷰 웹(앱) 솔루션 지원시스템 및 그 구동방법
KR102539647B1 (ko) * 2022-12-15 2023-06-07 주식회사 오썸피아 Ptz 기능을 갖는 전망대 망원경
WO2024128566A1 (ko) * 2022-12-15 2024-06-20 주식회사 오썸피아 Ptz 기능을 갖는 전망대 망원경
KR102704621B1 (ko) * 2023-05-08 2024-09-09 주식회사 오썸피아 영상 제공 장치와 이를 이용한 메타 라이브 서비스 제공 방법

Also Published As

Publication number Publication date
KR102088991B1 (ko) 2020-04-23

Similar Documents

Publication Publication Date Title
KR102088991B1 (ko) Mr 지원 망원경 장치, 방법 및 이를 이용한 mr 지원 망원경 운영 시스템 및 방법
US10916063B1 (en) Dockable billboards for labeling objects in a display having a three-dimensional perspective of a virtual or real environment
US11132175B2 (en) Multi-dimensional reference element for mixed reality environments
CN110300909B (zh) 用于显示交互式增强现实展示的系统、方法和介质
US9645394B2 (en) Configured virtual environments
US12020667B2 (en) Systems, methods, and media for displaying interactive augmented reality presentations
JP2016533565A (ja) 仮想オブジェクトの方向付け及び可視化
US20200294321A1 (en) Digital Stages for Presenting Digital Three-Dimensional Models
US10540824B1 (en) 3-D transitions
CN110622110B (zh) 提供沉浸式现实内容的方法和装置
CN109314800B (zh) 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和系统
WO2022004422A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US11532138B2 (en) Augmented reality (AR) imprinting methods and systems
KR20210059177A (ko) 전자장치 및 그 제어방법
WO2017029918A1 (ja) 動画を特定の視野で表示するシステム、方法、及びプログラム
CN113289327A (zh) 移动终端的显示控制方法及装置、存储介质及电子设备
CN112580375A (zh) 位置感知视觉标记
US20220060802A1 (en) Content event mapping
US12099659B1 (en) Translation of visual effects
KR102681608B1 (ko) 공간 내의 객체를 인식 및 추적하고 해당 공간에 대한 대응 객체를 포함하는 디지털 트윈 콘텐츠를 생성하는 방법 및 시스템
JP7417827B2 (ja) 画像編集方法、画像表示方法、画像編集システム、及び画像編集プログラム
EP4439248A1 (en) Exclusive mode transitions
JP2017041872A (ja) 動画を特定の視野で表示するシステム、方法、及びプログラム
WO2024072595A1 (en) Translating interactions on a two-dimensional interface to an artificial reality experience
JP2021179652A (ja) 画像表示制御装置、画像表示制御方法および画像表示制御用プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant