KR102143616B1 - 증강현실을 이용한 공연콘텐츠 제공 시스템 및 그의 제공방법 - Google Patents
증강현실을 이용한 공연콘텐츠 제공 시스템 및 그의 제공방법 Download PDFInfo
- Publication number
- KR102143616B1 KR102143616B1 KR1020180169499A KR20180169499A KR102143616B1 KR 102143616 B1 KR102143616 B1 KR 102143616B1 KR 1020180169499 A KR1020180169499 A KR 1020180169499A KR 20180169499 A KR20180169499 A KR 20180169499A KR 102143616 B1 KR102143616 B1 KR 102143616B1
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- user
- unit
- marker
- content
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title abstract description 20
- 239000003550 marker Substances 0.000 claims description 45
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 2
- 238000012790 confirmation Methods 0.000 abstract description 12
- 230000002194 synthesizing effect Effects 0.000 abstract description 11
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- VIKNJXKGJWUCNN-XGXHKTLJSA-N norethisterone Chemical compound O=C1CC[C@@H]2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 VIKNJXKGJWUCNN-XGXHKTLJSA-N 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
개시된 내용은 관객들에게 증강현실을 이용하여 공연콘텐츠를 제공해주는 시스템 및 방법에 관한 것으로써, 실제 공연과 증강현실이미지를 합성하여 콘텐츠를 제공하는 것이다.
보다 상세하게는, 서버와 단말기를 포함하는 증강현실을 이용한 공연콘텐츠 제공시스템에 있어서, 상기 서버는, 상기 단말기를 사용하는 사용자가 관객인지 확인하는 사용자확인부, 사용자의 좌석정보를 추출하는 사용자위치확인부 및 공연에 사용되는 증강현실콘텐츠를 저장하는 콘텐츠저장부를 포함하고, 상기 단말기는, 공연장의 현실이미지를 추출하는 현실이미지추출부, 사용자의 움직임정보를 추출하는 움직임정보추출부, 상기 현실이미지와 상기 서버로부터 제공받은 상기 증강현실콘텐츠를 합성하되, 상기 사용자위치확인부에서 추출된 상기 사용자의 좌석정보에 따라 상기 증강현실콘텐츠의 크기 및 위치를 조정하고, 상기 움직임정보추출부에서 추출된 사용자의 움직임에 따라 증강현실콘텐츠의 크기 및 위치를 조정하여 합성하는 증강현실합성부 및 상기 합성된 영상을 출력하는 디스플레이부를 포함하는 것을 특징으로 하는 증강현실을 이용한 공연콘텐츠 제공시스템을 일 실시 예로 제시한다.
보다 상세하게는, 서버와 단말기를 포함하는 증강현실을 이용한 공연콘텐츠 제공시스템에 있어서, 상기 서버는, 상기 단말기를 사용하는 사용자가 관객인지 확인하는 사용자확인부, 사용자의 좌석정보를 추출하는 사용자위치확인부 및 공연에 사용되는 증강현실콘텐츠를 저장하는 콘텐츠저장부를 포함하고, 상기 단말기는, 공연장의 현실이미지를 추출하는 현실이미지추출부, 사용자의 움직임정보를 추출하는 움직임정보추출부, 상기 현실이미지와 상기 서버로부터 제공받은 상기 증강현실콘텐츠를 합성하되, 상기 사용자위치확인부에서 추출된 상기 사용자의 좌석정보에 따라 상기 증강현실콘텐츠의 크기 및 위치를 조정하고, 상기 움직임정보추출부에서 추출된 사용자의 움직임에 따라 증강현실콘텐츠의 크기 및 위치를 조정하여 합성하는 증강현실합성부 및 상기 합성된 영상을 출력하는 디스플레이부를 포함하는 것을 특징으로 하는 증강현실을 이용한 공연콘텐츠 제공시스템을 일 실시 예로 제시한다.
Description
개시된 내용은 관객들에게 증강현실을 이용하여 공연콘텐츠를 제공해주는 시스템 및 방법에 관한 것으로써, 실제 공연과 증강현실이미지를 합성하여 콘텐츠를 제공하는 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
최근 스마트폰 등 다양한 매체를 실행하고 제공할 수 있는 모바일 기기의 보급으로 사용자에게 콘텐츠를 제공하는 방법이 다양해지고 있다. 이러한 콘텐츠들은 효율성과 편의성의 관점에서 인간과 컴퓨터 사이의 상호작용에 관한 기술 수요의 증대로 이어지면서, HCI(Human Computer Interaction)의 한 분야인 증강현실이 큰 주목을 받고 있으며, 특히 모바일 증강현실(Mobile Augmented Reality)에 관한 관심이 고조되고 있다.
증강현실(Augmented Reality)이란 가상현실(Virtual Reality)과 달리, 현실세계의 이미지와 가상세계의 이미지를 융합하여 사용자에게 제공되는 환경을 의미한다. 일반적으로 증강현실에 나타나는 가상세계의 이미지는 컴퓨터 그래픽을 활용하며, 현실세계의 이미지에 추가적으로 정보를 제공하는 역할을 한다.
종래에 사용자에게 증강현실을 이용하여 제공하는 콘텐츠로써, 모바일 기기의 카메라에 비춰지는 현실 이미지에 GPS, GNSS 등으로 사용자의 위치정보를 추출하여, 추출된 위치정보에서 광고, 네비게이션 정보 등을 제공하기도 하며, 다양한 방면에서 증강현실 콘텐츠를 활용하여 사용자에게 서비스를 제공하고 있다.
한국특허공보 제10-1825600호에 의하면, 모바일 단말기에 있어서, 영상을 촬영하는 카메라, 상기 카메라를 통해 촬영된 영상을 실시간으로 화면에 표시하는 화면 제어수단, 네트워크를 경유하여 서버로부터 하나 이상의 좌석들의 번호와 위치를 포함하는 좌석배치 정보를 제공받는 유무선 통신수단, 모바일 단말기 자신의 오프라인상 현 위치의 정보를 파악하는 위치 판정수단;을 구비하되, 상기 위치 판정수단은 사용자로부터 좌석번호를 입력받으면 상기 좌석배치 정보 상에서 사용자로부터 입력받은 좌석의 위치를 판정한 다음, 사용자가 입력한 좌석번호에 해당하는 좌석의 오프라인상 위치를 판정하며, 상기 화면 제어수단은 카메라를 통해 촬영된 영상을 화면에 표시하되, 화면상 상기 사용자가 입력한 좌석번호에 해당하는 좌석의 오프라인상 위치에 소정의 표식을 오버레이하여 표시하며, 각 좌석에는 고유의 태그가 부여되며, 상기 위치 판정수단은 상기 카메라에 의해 촬영된 태그로부터 현 위치를 판정하며, 상기 위치 판정수단은 태그와 좌석번호의 매칭관계를 이용하여 상기 태그로부터 확인된 현 위치와 사용자에 의해 입력된 좌석번호의 위치로부터 상대위치를 판정하며, 상기 화면 제어수단은 상기 상대위치를 화면에 오버레이하여 표시하는 것을 특징으로 하는 증강현실기술을 이용한 좌석안내 장치를 개시하고 있다.
상기 한국특허공보 제10-1825600호에서는 증강현실을 이용하여 좌석을 안내하고 있으나, 증강현실은 좀더 다양하게 사용될 수 있는바, 연구의 필요성이 대두되고 있었다.
실물공연과 가상현실을 융합하여 보다 현실감과 몰입감을 줄 수 있는 증강현실 공연콘텐츠를 제공하고자 한다.
개시된 내용은 서버와 단말기를 포함하는 증강현실을 이용한 공연콘텐츠 제공시스템에 있어서, 상기 서버는, 상기 단말기를 사용하는 사용자가 관객인지 확인하는 사용자확인부, 사용자의 좌석정보를 추출하는 사용자위치확인부 및 공연에 사용되는 증강현실콘텐츠를 저장하는 콘텐츠저장부를 포함하고, 상기 단말기는, 공연장의 현실이미지를 추출하는 현실이미지추출부, 사용자의 움직임정보를 추출하는 움직임정보추출부, 상기 현실이미지와 상기 서버로부터 제공받은 상기 증강현실콘텐츠를 합성하되, 상기 사용자위치확인부에서 추출된 상기 사용자의 좌석정보에 따라 상기 증강현실콘텐츠의 크기 및 위치를 조정하고, 상기 움직임정보추출부에서 추출된 사용자의 움직임에 따라 증강현실콘텐츠의 크기 및 위치를 조정하여 합성하는 증강현실합성부 및 상기 합성된 영상을 출력하는 디스플레이부를 포함하는 것을 특징으로 하는 증강현실을 이용한 공연콘텐츠 제공시스템을 일 실시 예로 제시한다.
또한, 개시된 내용은 사용자가 관객인지 여부를 확인하는 제 1 단계, 상기 사용자의 좌석정보를 취득하는 제 2 단계, 공연장의 현실이미지를 추출하는 제 3 단계, 증강현실콘텐츠를 수신하는 제 4 단계, 상기 사용자의 좌석정보에 따라 증강현실콘텐츠의 위치 및 크기를 조정하여, 상기 현실이미지와 합성하는 제 5 단계, 상기 합성된 영상을 디스플레이에 출력하는 제 6 단계 및 사용자의 움직임 정보에 따라 상기 증강현실콘텐츠의 위치를 조정하는 제 7 단계를 포함하는 증강현실을 이용한 공연콘텐츠 제공방법을 일 실시 예로 제시한다.
개시된 실시 예에 따르면, 실제공연과 가상현실을 융합하여 관객의 몰입감을 향상시키고, 실제공연에서 연출할 수 없었던 대규모 장면을 관객에게 제공할 수 있다.
본 실시예들의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 개시된 내용의 일 실시 예에 따른 증강현실을 이용한 공연콘텐츠 제공 시스템의 구성도.
도 2는 개시된 내용의 일 실시 예에 따른 증강현실을 이용한 공연콘텐츠 제공방법의 흐름도.
도 2는 개시된 내용의 일 실시 예에 따른 증강현실을 이용한 공연콘텐츠 제공방법의 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들을 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도 1을 참조하여 개선된 증강현실을 이용한 공연콘텐츠 제공 시스템의 바람직한 실시 예에 대하여 설명한다.
도 1에 도시된 바에 의하며, 증강현실을 이용한 공연콘텐츠 제공시스템은 서버(10)와 단말기(20)를 포함하고, 상기 서버(10)는, 상기 단말기(20)를 사용하는 사용자가 관객인지 확인하는 사용자확인부(11), 사용자의 좌석정보를 추출하는 사용자좌석확인부 및 공연에 사용되는 증강현실콘텐츠를 저장하는 콘텐츠저장부(13)를 포함하고, 상기 단말기(20)는, 공연장의 현실이미지를 추출하는 현실이미지추출부(24), 사용자의 움직임정보를 추출하는 움직임정보추출부(23), 상기 현실이미지와 상기 서버(10)로부터 제공받은 상기 증강현실콘텐츠를 합성하되, 상기 사용자위치확인부(12)에서 추출된 상기 사용자의 좌석정보에 따라 상기 증강현실콘텐츠의 크기 및 위치를 조정하고, 상기 움직임정보추출부(23)에서 추출된 사용자의 움직임에 따라 증강현실콘텐츠의 크기 및 위치를 조정하여 합성하는 증강현실합성부(25) 및 상기 합성된 영상을 출력하는 디스플레이부(21)를 포함한다.
보다 상세하게 설명하면, 상기 서버(10)는 사용자 정보를 확인하는 사용자확인부(11), 사용자의 좌석정보를 추출하는 사용자위치확인부(12) 및 공연에 사용되는 증강현실콘텐츠를 저장하는 콘텐츠저장부(13)를 포함하며,
상기 사용자확인부(11)는 상기 단말기(20)의 사용자가 해당공연의 관객인지 여부를 확인한다. 단말기(20)마다 고유의 ID를 할당하여 사용자가 해당공연의 관객인지 확인할 수 있고, 또는 단말기(20)에 사용자가 자신의 ID를 입력하여 관객여부를 확인할 수 있다. 다른 방법으로는 공연티켓에 일종의 QR코드 또는 특정한 마커를 할당하고, 사용자의 단말기(20)가 해당 QR코드 또는 마커를 인식함으로써, 관객여부를 확인할 수도 있다.
상기 사용자위치확인부(12)는 사용자의 좌석정보를 추출한다. 사용자의 좌석정보를 추출하는 것은 후술하는 현실이미지와 증강현실콘텐츠의 정확한 합성을 위한 것으로써, 사용자의 위치에 따른 시각차를 보정하기 위한 변수로 사용하기 위함이다. 사용자의 좌석에 따라 공연장 및 배우의 크기 및 각도가 변화하고, 변화된 위치에 따라 증강현실콘텐츠의 위치 및 크기를 조정할 수 있다. 위치를 확인하는 방법으로는 사용자가 자신의 좌석정보를 입력할 수 있으며, 또는 좌석마다 고유의 NFC 칩 또는 비콘(Beacon)을 설치하여, 사용자의 좌석정보를 추출할 수 있다. 경제적인 면에서는 사용자가 자신의 좌석정보를 입력하는 것이 바람직하나, 사용자가 좌석을 이동하거나, 공연장 내에서 움직여야 할 상황에서도 증강현실콘텐츠를 제공할 수 있도록 비콘을 활용함이 바람직할 것이다.
상기 콘텐츠저장부(13)는 공연에 사용되는 증강현실콘텐츠를 저장한다. 상기 저장되는 콘텐츠는 해당공연에 사용되는 가상현실 그래픽으로 해당 공연에 따라 구분되어 저장될 수 있다.
상기 단말기(20)는 별도로 마련된 장치로써, 해당 공연의 시작에 앞서 관객들에게 나눠줄 수 있으며, 스마트폰 또는 프로그램이 설치될 수 있는 장치에 해당 공연의 주최측이 미리 준비해둔 어플리케이션을 설치하여, 단말기(20)로 사용될 수 있다. 새로운 기능을 부가하거나 확장성을 향상시키기 위하여는 사용자가 소지하는 스마트폰에 어플리케이션을 설치하는 것이 바람직할 것이다. 상기 단말기(20)는 현실이미지추출부(24), 움직임정보추출부(23), 증강현실합성부(25) 및 디스플레이부(21)를 포함할 수 있다.
상기 현실이미지추출부(24)는 공연장의 현실이미지를 추출한다. 공연에서 공연장의 모습과 공연을 하는 배우의 모습을 영상 또는 이미지로 추출한다. 현실이미지추출부(24)로써 카메라 또는 캠코더를 사용할 수 있으며, 바람직하게는 스마트폰에 내장된 카메라를 활용할 수 있다.
상기 움직임정보추출부(23)는 사용자의 움직임정보를 추출할 수 있다. 상기 단말기(20)를 고정된 위치에 두고 사용할 수도 있으나, 사용자가 손으로 들고 사용할 수도 있기에, 사용자의 움직임에 따라 증강현실콘텐츠의 크기와 위치를 조정하는 것이 바람직하다. 따라서 사용자의 움직임정보를 추출할 수 있는 자이로 센서나, 2축 이상의 가속도 센서를 사용할 수 있으며, 3차원 움직임을 인식하기 위해 3축 이상의 가속도 센서를 사용함이 바람직할 것이다. 사용자의 스마트폰을 활용하는 경우에는 스마트폰에 내장된 자이로 센서 또는 가속도 센서를 사용할 수 있다.
상기 증강현실합성부(25)는 상기 현실이미지와 상기 서버(10)로부터 제공받은 상기 증강현실콘텐츠를 합성하되, 상기 사용자위치확인부(12)에서 추출된 상기 사용자의 좌석정보에 따라 상기 증강현실콘텐츠의 크기 및 위치를 조정하고, 상기 움직임정보추출부(23)에서 추출된 사용자의 움직임에 따라 증강현실콘텐츠의 크기 및 위치를 조정하여 합성할 수 있다. 상기 현실이미지와 증강현실콘텐츠의 합성은 1회에 그치는 것이 아니라, 증강현실콘텐츠를 제공하는 시간동안 지속적으로 이루어질 수 있다. 예를 들면 상기 사용자의 위치정보와 움직임정보를 1ms(milli second) 마다 측정하고, 측정된 정보에 따라 1ms 마다 현실이미지와 증강현실콘텐츠를 합성할 수 있다.
증강현실콘텐츠와 현실이미지의 정확한 합성을 위해서, 상기 공연의 무대위에 하나 이상의 제1마커(31)를 포함할 수 있다. 또한, 상기 단말기(20)에 상기 제1마커(31)를 인식할 수 있는 마커추출부를 포함할 수 있다. 제1마커(31)는 무대의 고정된 위치에 설치될 수 있으며, 마커추출부는 상기 현실이미지추출부(24)에서 추출된 현실이미지에서 상기 제1마커(31)를 인식하여 위치 및 크기를 식별할 수 있다.
또한, 공연을 하는 배우 및 공연에 사용되는 물건 중 적어도 어느 하나에 제2마커(32)를 설치할 수 있으며, 상기 마커추출부에서 상기 제2마커(32)도 인식할 수 있다. 상기 제1마커(31)와 제2마커(32)는 마커추출부에서 식별할 수 있는 특정 무늬로 이루어질 수 있으며, 비콘 또는 적외선 송수신기로 이루어질 수 있다. 마커를 인식하는 방법으로는, 상기 마커가 특정무늬로 이루어진 경우에 상기 현실이미지를 추출하면서 마커를 함께 추출하여, 마커의 크기와 위치를 식별할 수 있고, 또는, 비콘으로 BLE(Bluetooth Low Energy) 장치를 사용하여, 블루투스 수신기로 상기 비콘의 위치를 식별할 수 있고, 적외선 송수신기를 사용하여 해당 마커의 위치를 식별할 수 있다. 상기 비콘 및 적외선 송수신기를 하나만 사용할 수도 있으나, 하나만 사용하는 경우에는 정확한 위치를 파악하기 어려우므로 3개 이상을 배치하여 삼각측량법을 활용함이 바람직할 것이다. 상술한 바와 같이 제1마커(31)와 제2마커(32)를 마커추출부(22)에서 인식하면, 증강현실콘텐츠와 현실이미지를 합성할 때, 정확한 위치와 크기로 합성할 수 있을 것이다.
상기 디스플레이부(21)는 상기 합성된 영상을 출력할 수 있다. 상기 디스플레이부(21)는 영상을 출력할 수 있는 화면을 모두 포함할 수 있으며, LCD, LED, AMOLED 등을 사용할 수 있다. 상기 디스플레이부(21)는 단말기(20)에 별도로 구비될 수 있으나, 사용자의 스마트폰을 활용하는 경우, 스마트폰 화면을 디스플레이부(21)로 활용할 수 있다.
본 증강현실을 이용한 공연콘텐츠 제공 시스템은 해당 공연시간동안 계속적으로 제공되어질 수 있으며, 또는 일반적인 공연을 진행하면서 필요에 따라 특정 신(scene)에 제한적으로 활용될 수 있다. 예를 들면, 전쟁신과 같은 대규모 장면을 연출하는 경우에는 무대의 공간 및 인력에 제약이 있으므로, 본 증강현실을 이용한 공연콘텐츠 제공 시스템을 활용하여, 보다 몰입감 있고 현실감 있는 공연콘텐츠를 제공할 수 있을 것이다.
이하, 도 2를 참조하여, 증강현실을 이용한 공연콘텐츠 제공방법에 대해 설명한다.
증강현실을 이용한 공연콘텐츠 제공방법은, 사용자가 관객인지 여부를 확인하는 제 1 단계, 상기 사용자의 좌석정보를 취득하는 제 2 단계, 공연장의 현실이미지를 추출하는 제 3 단계, 증강현실콘텐츠를 수신하는 제 4 단계, 상기 사용자의 좌석정보에 따라 증강현실콘텐츠의 위치 및 크기를 조정하여, 상기 현실이미지와 합성하는 제 5 단계, 상기 합성된 영상을 디스플레이에 출력하는 제 6 단계 및 사용자의 움직임 정보에 따라 상기 증강현실콘텐츠의 위치를 조정하는 제 7 단계를 포함한다.
구체적으로 살펴보면,
제 1 단계에서는 사용자가 관객인지 여부를 확인한다. 해당 공연장에 입장한 사용자는 증강현실콘텐츠를 시청할 수 있는 단말기(20)를 소지하고 입장할 수 있는데, 해당 단말기(20)마다 고유의 ID를 할당하여 사용자가 해당공연의 관객인지 확인할 수 있고, 또는 단말기(20)에 사용자가 자신의 ID를 입력하여 관객여부를 확인할 수 있다. 다른 방법으로는 공연티켓에 일종의 QR코드 또는 특정한 마커를 할당하고, 사용자의 단말기(20)가 해당 QR코드 또는 마커를 인식함으로써, 관객여부를 확인할 수도 있다.
제 2 단계에서는 사용자의 좌석정보를 취득한다. 사용자의 좌석정보를 추출하는 것은 후술하는 현실이미지와 증강현실콘텐츠의 정확한 합성을 위한 것으로써, 공연장에서 사용자의 좌석에 따라 공연장 및 배우의 크기 또는 각도가 서로 상이하므로, 증강현실콘텐츠의 위치 및 크기를 조정하기 위한 변수로 사용할 수 있다. 위치를 확인하는 방법으로는 사용자가 자신의 좌석정보를 단말기(20)에 입력할 수 있으며, 또는 좌석마다 고유의 NFC 칩 또는 비콘(Beacon)을 설치하여, 사용자의 좌석정보를 추출할 수 있다. 경제적인 면에서는 사용자가 자신의 좌석정보를 입력하는 것이 바람직하나, 사용자가 좌석을 이동하거나, 공연장 내에서 움직여야 할 상황에서도 증강현실콘텐츠를 제공할 수 있도록 비콘을 활용함이 바람직할 것이다.
제 3 단계에서는 공연장의 현실이미지를 추출한다. 공연에서 공연장의 모습과 공연을 하는 배우의 모습을 영상 또는 이미지로 추출한다. 현실이미지를 추출하는 방법으로는 카메라 또는 캠코더를 사용할 수 있으며, 바람직하게는 스마트폰에 내장된 카메라를 활용할 수 있다.
현실이미지를 추출하면서, 무대 및 배우 중 적어도 어느 하나에 설치되는 마커(30)로부터 마커정보를 추출하는 제 3-1 단계를 더 포함할 수 있다. 상기 마커는 증강현실콘텐츠와 현실이미지의 정확한 합성을 위한 것으로써, 식별할 수 있는 특정 무늬로 이루어질 수 있으며, 비콘 또는 적외선 송수신기로 이루어질 수 있다. 마커정보를 추출하는 방법으로는, 상기 마커(30)가 특정무늬로 이루어진 경우에 상기 현실이미지를 추출하면서 마커(30)를 함께 추출하여, 마커(30)의 크기와 위치를 식별할 수 있고, 또는, 비콘으로 BLE(Bluetooth Low Energy) 장치를 사용하여, 블루투스 수신기로 상기 비콘의 위치를 식별할 수 있고, 적외선 송수신기를 사용하여 해당 마커(30)의 위치를 식별할 수 있다. 상기 비콘 및 적외선 송수신기를 하나만 사용할 수도 있으나, 하나만 사용하는 경우에는 정확한 위치를 파악하기 어려우므로 3개 이상을 배치하여 삼각측량법을 활용함이 바람직할 것이다.
상기 마커(30)는 무대의 고정된 위치에 하나 이상 설치될 수 있으며, 또는 공연을 하는 배우 및 공연에 사용되는 물건 중 적어도 어느 하나에 설치될 수 있다.
제 4 단계에서는 증강현실콘텐츠를 수신한다. 수신받는 증강현실콘텐츠는 해당공연에 사용되는 가상현실 그래픽으로, 공연마다 따로 구분되어 수신받을 수 있다.
제 5 단계에서는 상기 사용자의 좌석정보에 따라 증강현실콘텐츠의 위치 및 크기를 조정하여, 상기 현실이미지와 합성한다. 보다 상세하게 살펴보면, 상기 현실이미지와 상기 서버(10)로부터 제공받은 상기 증강현실콘텐츠를 합성하되, 추출된 사용자의 좌석정보에 따라 상기 증강현실콘텐츠의 크기 및 위치를 조정할 수 있으며, 상술한 마커정보를 포함하여, 상기 증강현실콘텐츠의 크기 및 위치의 정확성을 향상시킬 수 있다.
제 6 단계에서는 상기 합성된 영상을 디스플레이에 출력한다. 상기 디스플레이는 영상을 출력할 수 있는 화면을 모두 포함할 수 있으며, LCD, LED, AMOLED 등을 사용할 수 있다. 상기 디스플레이는 별도로 구비된 단말기(20)에 포함될 수 있으나, 사용자의 스마트폰을 활용하는 경우, 스마트폰 화면을 상기 디스플레이로 활용할 수 있다.
제 7 단계에서는 사용자의 움직임 정보에 따라 상기 증강현실콘텐츠의 위치를 조정한다. 증강현실콘텐츠를 제공하는 단말기(20)는 고정된 위치에 설치될 수 있을 뿐만 아니라, 사용자가 손으로 들고 사용할 수도 있으므로, 증강현실콘텐츠를 사용자의 움직임에 대응하도록 조정하기 위해서는 사용자의 움직임 정보를 추출할 필요가 있다. 사용자의 움직임 정보를 추출하는 방법으로 자이로 센서를 사용하거나, 2축 이상의 가속도 센서를 사용할 수 있으며, 3차원 움직임을 인식하기 위하여 3축 이상의 가속도 센서를 사용함이 바람직하다. 사용자의 스마트폰을 활용하는 경우에는 스마트폰에 내장된 자이로 센서 또는 가속도 센서를 사용할 수 있다.
본 증강현실을 이용한 공연콘텐츠 제공방법은 해당 공연시간동안 계속적으로 제공되어질 수 있으며, 또는 일반적인 공연을 진행하면서 필요에 따라 특정 신(scene)에 제한적으로 활용될 수 있다. 예를 들면 전쟁신과 같은 대규모 장면을 연출하는 경우에는 무대의 공간 및 인력에 제약이 있으므로, 본 증강현실을 이용한 공연콘텐츠 제공방법을 활용하여, 보다 몰입감 있고 현실감 있는 공연콘텐츠를 제공할 수 있을 것이다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시 예에 한정되지 않는다.
10 : 서버
11 : 사용자확인부
12 : 사용자위치확인부
13 : 콘텐츠저장부
20 : 단말기
21 : 디스플레이부
22 : 마커추출부
23 : 움직임정보추출부
24 : 현실이미지추출부
25 : 증강현실합성부
30 : 마커
31 : 제1마커
32 : 제2마커
11 : 사용자확인부
12 : 사용자위치확인부
13 : 콘텐츠저장부
20 : 단말기
21 : 디스플레이부
22 : 마커추출부
23 : 움직임정보추출부
24 : 현실이미지추출부
25 : 증강현실합성부
30 : 마커
31 : 제1마커
32 : 제2마커
Claims (5)
- 서버와 단말기를 포함하는 증강현실을 이용한 공연콘텐츠 제공시스템에 있어서,
상기 서버는,
상기 단말기를 사용하는 사용자가 관객인지 확인하는 사용자확인부;
사용자의 좌석정보를 추출하는 사용자위치확인부; 및
공연에 사용되는 증강현실콘텐츠를 저장하는 콘텐츠저장부; 를 포함하고,
상기 단말기는,
공연장의 현실이미지를 추출하는 현실이미지추출부;
상기 단말기에 내장된 3축 이상의 가속도 센서를 이용하여 사용자의 움직임정보를 추출하는 움직임정보추출부;
상기 현실이미지와 상기 서버로부터 제공받은 상기 증강현실콘텐츠를 합성하되, 상기 사용자위치확인부에서 추출된 상기 사용자의 좌석정보에 따라 상기 증강현실콘텐츠의 크기 및 위치를 조정하고, 상기 움직임정보추출부에서 추출된 사용자의 움직임에 따라 증강현실콘텐츠의 크기 및 위치를 조정하여 합성하는 증강현실합성부; 및
상기 합성된 영상을 출력하는 디스플레이부; 를 포함하며,
무대의 고정된 위치에 설치되는 제1마커;를 포함하고,
상기 단말기에 상기 제1마커를 인식하는 마커추출부;를 포함하며,
공연을 하는 배우 및 공연에 사용되는 물건 중 적어도 어느 하나에 설치되며, 상기 마커추출부에서 인식할 수 있는 제2마커;를 더 포함하고,
상기 사용자의 위치정보와 움직임정보가 소정 주기마다 측정되고, 측정된 정보에 따라 소정 주기마다 현실이미지와 증강현실콘텐츠를 합성하여, 상기 현실이미지와 증강현실콘텐츠의 합성이 증강현실콘텐츠를 제공하는 시간동안 지속적으로 이루어지며,
상기 제1마커 또는 제2마커는 마커추출부에서 식별할 수 있는 특정 무늬, 비콘 또는 적외선 송수신기 중에서 선택되며, 최소 3개 이상의 마커가 배치되어 삼각측량법에 의해 마커가 설치된 위치를 파악하도록 구성되는 것을 특징으로 하는 증강현실을 이용한 공연콘텐츠 제공시스템.
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180169499A KR102143616B1 (ko) | 2018-12-26 | 2018-12-26 | 증강현실을 이용한 공연콘텐츠 제공 시스템 및 그의 제공방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180169499A KR102143616B1 (ko) | 2018-12-26 | 2018-12-26 | 증강현실을 이용한 공연콘텐츠 제공 시스템 및 그의 제공방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200079857A KR20200079857A (ko) | 2020-07-06 |
| KR102143616B1 true KR102143616B1 (ko) | 2020-08-11 |
Family
ID=71571354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180169499A KR102143616B1 (ko) | 2018-12-26 | 2018-12-26 | 증강현실을 이용한 공연콘텐츠 제공 시스템 및 그의 제공방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102143616B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102320214B1 (ko) * | 2020-09-07 | 2021-11-02 | 김소현 | 증강 현실을 이용한 공연 영상 컨텐츠 제공장치 및 방법 |
| WO2024136041A1 (ko) * | 2022-12-21 | 2024-06-27 | (주)이머시브캐스트 | 사용자 움직임 기록 기반의 영상 제작 장치 및 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101825600B1 (ko) | 2012-02-13 | 2018-02-05 | 주식회사 엔씨소프트 | 증강현실기술을 이용한 좌석안내 장치 및 그 방법 |
| KR101515484B1 (ko) * | 2013-05-31 | 2015-04-29 | 전자부품연구원 | 증강현실정보 제공 장치 및 그 방법 |
| KR101491760B1 (ko) * | 2013-07-10 | 2015-02-11 | 성균관대학교산학협력단 | 무대 가상 현실 제공 장치 및 방법 |
-
2018
- 2018-12-26 KR KR1020180169499A patent/KR102143616B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200079857A (ko) | 2020-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5934368B2 (ja) | 可搬装置、仮想現実システムおよび方法 | |
| EP2613296B1 (en) | Mixed reality display system, image providing server, display apparatus, and display program | |
| JP2023017849A (ja) | 複合現実システムのための位置特定の決定 | |
| EP3151202B1 (en) | Information processing device and information processing method | |
| US20170150230A1 (en) | Information processing apparatus, information processing method, and program | |
| US10022626B2 (en) | Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information processing method, for performing augmented reality | |
| JP2010118019A (ja) | 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体 | |
| KR20160124479A (ko) | 서버, 사용자 단말 장치 및 그 제어 방법 | |
| US10868977B2 (en) | Information processing apparatus, information processing method, and program capable of adaptively displaying a video corresponding to sensed three-dimensional information | |
| JP2006059136A (ja) | ビューア装置及びそのプログラム | |
| CN105637529A (zh) | 图像捕获输入和投影输出 | |
| US20150254511A1 (en) | Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information processing method | |
| JP6390992B1 (ja) | ストリートビューワーシステム | |
| JP2011203984A (ja) | ナビゲーション装置、ナビゲーション画像生成方法及びプログラム | |
| CN106133582A (zh) | 在头戴显示设备内结合实景图像流之方法及系统 | |
| KR102143616B1 (ko) | 증강현실을 이용한 공연콘텐츠 제공 시스템 및 그의 제공방법 | |
| JP7287950B2 (ja) | 通信方法、通信装置、およびプログラム | |
| JP5664215B2 (ja) | 拡張現実感表示システム、該システムに用いられる拡張現実感表示方法及び拡張現実感表示プログラム | |
| JP6384898B2 (ja) | 経路案内システム、方法及びプログラム | |
| US20120281102A1 (en) | Portable terminal, activity history depiction method, and activity history depiction system | |
| JP7378510B2 (ja) | ストリートビューワーシステム | |
| JP2017163202A (ja) | 情報処理システム、情報処理端末、および、プログラム | |
| US20180293796A1 (en) | Method and device for guiding a user to a virtual object | |
| KR20230122400A (ko) | 비콘을 활용한 문화 콘텐츠 ar 이벤트 서비스 제공방법 | |
| KR101868855B1 (ko) | 증강현실을 이용한 음악컨텐츠 서비스 제공방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |