KR101895813B1 - 마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치 및 그 방법 - Google Patents

마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치 및 그 방법 Download PDF

Info

Publication number
KR101895813B1
KR101895813B1 KR1020160093294A KR20160093294A KR101895813B1 KR 101895813 B1 KR101895813 B1 KR 101895813B1 KR 1020160093294 A KR1020160093294 A KR 1020160093294A KR 20160093294 A KR20160093294 A KR 20160093294A KR 101895813 B1 KR101895813 B1 KR 101895813B1
Authority
KR
South Korea
Prior art keywords
module
marker
augmented reality
markers
image
Prior art date
Application number
KR1020160093294A
Other languages
English (en)
Other versions
KR20180010724A (ko
Inventor
김상덕
이창훈
Original Assignee
주식회사 엠코코아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠코코아 filed Critical 주식회사 엠코코아
Priority to KR1020160093294A priority Critical patent/KR101895813B1/ko
Publication of KR20180010724A publication Critical patent/KR20180010724A/ko
Application granted granted Critical
Publication of KR101895813B1 publication Critical patent/KR101895813B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662Virtualisation aspects
    • G06F3/0665Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치는 개별적으로 인식되는 마커를 분리하거나 결합했을 때 제3의 마커로 인식하게 하여 증강현실 기반 서비스 활용의 다양성과 범주를 향상한 오브젝트 생성 증강 현실 기반 서비스를 제공할 수 있도록 한다.

Description

마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치 및 그 방법{APPARATUS AND METHOD FOR OBJECT CREATION AUGMENTED REALITY}
본 발명은 마커의 분할 및 결합을 통해 오브젝트를 생성하는 증강 현실 시스템에 관한 것으로 구체적으로 개별적으로 인식되는 마커를 분리하거나 결합했을 때 제3의 마커로 인식하게 하여 제3의 마커에 대응하는 오브젝트를 생성하는 증강 현실 장치 및 방법에 관한 것이다. 이하, 본 명세서에서는 이를 '마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치 및 방법'이라고 부르기로 한다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
증강현실(Augmented Reality)은 현실세계와 가상세계를 컴퓨터그래픽을 이용하여 하나의 영상으로 보여주는 기술이다. 증강현실은 실제 환경에 가상 사물이나 정보를 합성해 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이며, 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이라고 할 수 있다. 가상현실(Virtual Reality)이 현실 세계와 유사한 영상을 컴퓨터로 대체하는 것이라면, 증강현실은 부가적인 가상 정보를 현실 정보와 접목시켜 하나의 영상으로 보여주는 것이므로, 가상현실의 또 다른 유형이라고 할 수 있으나 증강현실은 모든 정보가 가상인 가상현실과 달리 현실세계 정보를 바탕으로 하고 있다는 점에서 차이가 있다.
증강현실은 현실세계의 정보에 추가적인 정보를 더하고 제공하기 때문에 다양한 분야에 적용할 수 있는데, 예를 들면 환자의 몸에 MRI나 CT 영상을 합하여 보여주거나, 산업에서 비행기나 자동차와 같은 복잡한 구조물의 설계, 제작시 도면 등의 필요 정보를 줄 수도 있다. 또한, 책 속의 콘텐츠를 입체화된 움직이는 영상으로 구현하는 등 교육에서도 활용이 가능하며, 현실 정보를 접목한 게임이나 내비게이션 등으로 활용도 가능하며, 카메라와 각종 센서, 영상 표시 장치가 모두 구비된 스마트 기기 및 웨어러블 기기 등의 보급이 늘어남에 따라 이용이 증가하고 있다.
최근 들어 증강현실 기술은 게임에도 접목되고 있는데, 온라인게임에 마커인식 기반의 증강현실기술을 도입하여 카드게임을 구현할 수 있도록 한 증강현실을 이용한 온라인 연동 카드게임 시스템 및 게임방법이 제공되는 추세이다.
증강현실을 구현하기 위해서는 현실세계의 정보와 가상의 정보를 매칭시켜야 하는데, 이를 위해서는 영상 정보를 인식하여 특징점을 추출하여 현실세계 정보의 해당 위치에 가상의 정보인 오브젝트를 표시하거나, GPS 및 각종 센서를 이용하여 현실세계 및 가상 오브젝트의 표시 위치를 파악하기도 하며, 사전에 정의된 마커를 두고, 현실세계의 영상에서 마커 정보를 추출하여 마커 위치를 기준으로 가상의 오브젝트를 매핑하여 표시하는 방법이 사용되기도 한다.
종래의 증강현실 구현 방법은 1개의 마커에 하나의 가상 객체 정보가 저장되어 있기 때문에 다양한 마커의 오브젝트를 생성하기 어려웠다.
개별적으로 인식되는 마커를 분리하거나 결합했을 때 제3의 마커로 인식하게 하는 증강 현실 장치와 방법을 제공한다.
삭제
상기 목적을 달성하기 위해서, 본 발명의 일 태양에 따른 증강 현실 장치는, 복수의 사용자모듈이 서버에 의해 정보를 상호전송하며 복수개의 마커를 이용하여 증강현실을 구현하는 오브젝트 생성 증강 현실 장치에 있어서,
상기 사용자모듈은, 상기 복수개의 마커를 포함한 현실배경을 촬영하는 촬영모듈; 상기 촬영모듈을 통해 촬영된 촬영영상을 분석하여 상기 촬영영상 내의 마커를 인식하는 영상분석모듈; 상기 영상분석모듈에서 인식된 상기 마커가 어떤 마커인지를 인식하는 마커인식모듈; 상기 마커 각각에 대응하는 기 설정된 증강현실 컨텐츠가 저장되는 정보저장모듈; 상기 마커인식모듈에서 인식된 마커이미지에 대응하는 상기 기 설정된 증강현실 컨텐츠를 상기 정보저장모듈로부터 획득하는 장치제어모듈; 및 상기 장치제어모듈에서 획득한 상기 기 설정된 증강현실 컨텐츠를 상기 촬영모듈에서 촬영한 현실배경에 적용하여 출력하는 출력모듈을 포함하고,
상기 마커인식모듈이 상기 촬영영상 내에 복수 개의 마커가 존재한다고 판단하는 경우,
상기 마커인식모듈은 상기 복수 개의 마커들을 그룹단위로 인식하여 특정 마커를 대응시키며,
상기 장치제어모듈은 상기 복수 개의 마커가 직렬구조인지 병렬구조인지 그 결합구조를 판단하여 해당 결합구조의 마커결합에 대응하는 마커결합정보를 상기 정보저장모듈에서 검색하고 검색된 마커결합정보에 대응하는 제3의 증강현실 컨텐츠를 상기 정보저장모듈로부터 획득하며,
상기 출력모듈은 상기 획득된 상기 제3의 증강현실 컨텐츠를 상기 촬영모듈에서 촬영한 현실배경에 적용하여 출력하며,
상기 마커결합정보가 직렬구조인 경우, 상기 장치제어모듈은 상기 복수 개의 마커들을 직렬구조로 결합해서 상기 마커들의 겹침과 겹침 순서에 따라 상기 제3의 증강현실 컨텐츠를 구현하는 것을 특징으로 한다.
상기 목적을 달성하기 위하여 본 발명의 다른 태양에 따른 증강 현실 장치는, 제1 사용자모듈과 제2 사용자모듈이 서버와 연동하여 정보를 상호전송하는 환경에서 복수개의 마커를 이용하여 증강현실을 구현하는 오브젝트 생성 증강 현실 장치에 있어서,
상기 각 사용자모듈은, 상기 복수개의 마커를 포함한 현실배경을 촬영하는 촬영모듈; 상기 촬영모듈을 통해 촬영된 촬영영상을 분석하여 상기 촬영영상 내의 마커를 인식하는 영상분석모듈; 상기 영상분석모듈에서 인식된 상기 마커가 어떤 마커인지를 인식하는 마커인식모듈; 상기 마커 각각에 대응하는 기 설정된 증강현실 컨텐츠가 저장되는 정보저장모듈; 상기 마커인식모듈에서 인식된 마커이미지에 대응하는 상기 기 설정된 증강현실 컨텐츠를 상기 정보저장모듈로부터 획득하는 장치제어모듈; 및 상기 장치제어모듈에서 획득한 상기 기 설정된 증강현실 컨텐츠를 상기 촬영모듈에서 촬영한 현실배경에 적용하여 출력하는 출력모듈을 포함하고,
상기 서버는 상기 제1 사용자 모듈의 제1 장치제어모듈과 제1 정보저장모듈을 통해 구현된 제1 증강현실 컨텐츠와 상기 제2 사용자 모듈의 제2 장치제어모듈과 제2 정보저장모듈을 통해 구현된 제2 증강현실 컨텐츠를 합성하여 제3의 증강현실 컨텐츠를 구현하며,
상기 서버는 상기 제1 사용자 모듈의 제1 영상분석모듈과 제1 마커인식모듈 및 상기 제2 사용자 모듈의 제2 영상분석모듈과 제2 마커인식모듈에서 인식된 복수 개의 마커들에 대응하는 직렬 또는 병렬 마커결합구조에 따라 상기 제3의 증강현실 컨텐츠를 구현하며,
상기 마커인식모듈이 상기 촬영영상 내에 복수 개의 마커가 존재한다고 판단하는 경우,
상기 마커인식모듈은 상기 복수 개의 마커들을 그룹단위로 인식하여 특정 마커를 대응시키며,
상기 마커결합구조가 직렬구조인 경우, 상기 장치제어모듈은 상기 복수 개의 마커들을 직렬구조로 결합해서 상기 마커들의 겹침과 겹침 순서에 따라 상기 제3의 증강현실 컨텐츠를 구현하는 것을 특징으로 한다.
또한, 상기 마커인식모듈은 상기 인식된 복수 개의 마커 중 최초로 인식된 마커를 특정 마커로 지정하여 상기 복수 개의 마커를 그룹별로 인식하는 것을 특징으로 한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 태양에 따른 오브젝트 생성 증강 현실 방법은, 촬영모듈이 지정된 촬영구역을 촬영하여 복수개의 마커를 포함한 현실배경을 촬영하는 단계; 영상분석모듈이 촬영영상을 분석하여 상기 촬영영상 내에 마커를 인식하고, 마커인식모듈이 상기 마커가 어떤 마커인지를 인식하는 단계; 장치제어모듈이 촬영영상을 분석하여 특정 마커를 통해 인식된 식별정보를 토대로 그에 대응하는 기 설정된 증강현실 컨텐츠를 획득하는 단계; 상기 마커인식단계에서 상기 촬영영상 내에 복수 개의 마커가 존재한다고 판단되는 경우, 상기 장치제어모듈이 상기 복수 개의 마커가 직렬구조인지 병렬구조인지 그 결합구조를 판단하는 단계; 상기 장치제어모듈이 촬영영상 내에 해당 직렬구조 또는 병렬구조의 마커결합에 대응하는 마커결합정보를 검색하는 단계; 상기 장치제어모듈이 검색한 상기 마커결합정보에 근거하여 그에 대응하는 증강현실 구현기능을 수행하는 단계; 출력모듈이 상기 증강현실 구현기능을 수행한 결과를 출력하는 단계를 포함하며,
상기 증강현실 구현기능 수행단계는, 제1 사용자 모듈의 제1 장치제어모듈과 제1 정보저장모듈을 통해 구현된 제1 증강현실 컨텐츠와 제2 사용자 모듈의 제2 장치제어모듈과 제2 정보저장모듈을 통해 구현된 제2 증강현실 컨텐츠를 합성하여 제3의 증강현실 컨텐츠를 구현하는 단계를 더 포함하며,
상기 출력단계는 제1 사용자 모듈의 제1 출력모듈과 제2 사용자 모듈의 제2 출력모듈에 공히 상기 제3의 증강현실 컨텐츠를 출력하는 단계를 더 포함하며,
상기 마커인식모듈이 상기 촬영영상 내에 복수 개의 마커가 존재한다고 판단하는 경우, 상기 마커인식모듈이 상기 복수 개의 마커들을 그룹단위로 인식하여 특정 마커를 대응시키는 단계를 더 포함하며,
상기 마커결합정보가 직렬구조인 경우, 상기 장치제어모듈이 상기 복수 개의 마커들을 직렬구조로 결합해서 상기 마커들의 겹침과 겹침 순서에 따라 상기 제3의 증강현실 컨텐츠를 구현하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 조각모음을 통해 완성하는 게임 완구에 있어서 각 조각들이 하나의 마커가 되고 상기 조각들의 모임이 제3의 새로운 마커로 인식되도록 구성한 환경에서, 상기 증강현실 구현기능 수행단계는, 상기 현실의 조각모음을 물리적으로 완성하는 과정을 따라 최종 결과물의 오브젝트가 완성되어 가는 과정을 증강현실 기반 서비스로 제공하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 인형 캐릭터 마커 위에 모자, 의복, 신발을 포함하는 의상 및 머리모양을 포함하는 효과에 대응하는 복수 개의 마커를 겹쳐 놓을 때 겹쳐진 마커의 결합이 제3의 새로운 마커로 인식되도록 구성한 환경에서, 상기 증강현실 구현기능 수행단계는, 상기 상기 캐릭터에 상기 의상 및 효과를 이용한 꾸미기 놀이를 수행하는 과정을 따라 최종 결과물의 오브젝트가 완성되어 가는 과정을 증강현실 기반 서비스로 제공하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 복수 개의 마커결합에 병렬구조와 직렬구조가 혼합된 경우, 병렬증강현실 구현기능을 수행하는 단계와 직렬증강현실 구현기능을 수행하는 단계를 혼합하여 수행하는 단계를 더 포함하는 것을 특징으로 한다.
삭제
개별적으로 인식되는 마커를 분리하거나 결합했을 때 제3의 마커로 인식하게 하여 증강현실 기반 서비스 활용의 다양성과 범주를 향상한, 마커의 분할과 결합을 통한 오브젝트 생성 증강 현실 기반 서비스를 제공할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 시스템의 대략적인 구성을 나타낸 구성도이다.
도 3은 본 발명의 일 실시예에 따른 마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 장치의 마커들이 병렬구조로 결합해서 제3의 마커로 인식이 되는 디스플레이의 예이다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 장치의 마커들이 직렬구조로 결합해서 제3의 마커로 인식이 되는 디스플레이의 예이다.
도 6은 본 발명의 일 실시예에 따른 증강 현실 장치에서 마커들이 병렬구조로 결합해서 결합방향에 따라 새로운 마커로 인식이 되는 디스플레이의 예이다.
도 7은 본 발명의 일 실시예에 따른 증강 현실 장치에서 마커들이 직렬구조로 결합해서 N개의 마커 겹침과 겹침 순서에 따라 새로운 마커로 인식이 되는 디스플레이의 예이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 및 도 2는 본 발명의 일 실시예에 따른, 마커(10)의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치의 구성을 나타낸 블록도 및 시스템 구성도이다.
본 발명의 일 실시예에 따른 증강 현실 장치의 하나의 사용자모듈(100 또는 200) 만으로도 동작가능하지만, 도 1 및 도 2에서는 복수의 사용자모듈(100 및 200)을 동시에 이용하는 경우를 설명하기 위해서 제1 및 제2 사용자모듈(100, 200)을 모두 도시하고 설명한다.
도 1 내지 도 2를 참조하면, 제1 사용자모듈(100)은 제1 촬영모듈(110), 제1 영상분석모듈(120), 제1 마커인식모듈(130), 제1 장치제어모듈(140), 제1 정보저장모듈(150), 제1 출력모듈(160)로 구성된다.
제1 촬영모듈(110)은 촬영구역에 위치한 현실배경 및 마커를 촬영하는 모듈로 웹캠 등으로 구현된다. 제1 촬영모듈(110)은, 지정된 특정 촬영구역을 촬영하여 해당 촬영구역에 위치한 마커를 촬영한 촬영영상을 제1 영상분석모듈(120)로 제공한다. 이러한 제1 촬영모듈(110)은, 카메라 및 캠코더 및 스캐너 등과 같이 영상을 촬영 및 인식하여 촬영영상을 제공할 수 있는 형태의 장치이면 충분하다.
통상적으로 증강 현실 구현 시에는 현재 카메라를 통하여 촬영되는 현실 세계의 영상 정보에 가상의 오브젝트를 추가하여 증강현실을 구현할 수 있으며, 이와 달리 현재 촬영되는 정보가 아닌 별도의 영상 정보에 가상의 오브젝트를 추가하여 증강현실을 구현할 수도 있다.
제1 영상분석모듈(120)은 상기 촬영모듈(110)을 통해 촬영된 촬영영상을 분석하여 제1 마커인식모듈(130)에 전달한다. 제1 영상분석모듈(120)는, 제1 촬영모듈(110)를 통해 촬영된 촬영영상을 분석하여 촬영영상 내에 마커가 존재하는지 여부 및 존재하는 경우 마커가 복수개 존재하는지 여부에 대응하는 분석 결과를 제1 마커인식모듈(130)과 제1 장치제어모듈(140)로 제공한다.
제1 마커인식모듈(130)은 상기 제1 영상분석모듈(120)을 통해 분석된 촬영영상에서 마커(10)를 인식하는 모듈로, 마커이미지(1)의 패턴 인식을 통해 어떤 마커(10)인지를 인식한다.
제1 마커인식모듈(130)은 영상 정보로부터 마커(10)를 검출하고 검출된 마커가 어떤 마커(10)인지 즉, 해당 마커(10)의 종류를 인식한다. 마커(10)는 다양한 형태를 취할 수 있으며 복잡한 영상 정보 속에서 인식하기 쉬운 형태로 구현되는 것이 바람직하다.
본 발명의 일 실시예에서는, 전형적인 마커용으로 별도로 만들어진 마커이미지가 아니더라도 특정 카드나 특정 캐릭터, 선수 등 촬영된 영상 내에서 다른 개체들과 구분할 수 있는 특징을 가지고 있는 개체라면 모두 마커(10)로 이용할 수 있으며, 마커(10)에 대한 정보는 사전에 제1 정보저장모듈(150)에 저장되어 있는 것이 바람직하다.
마커(10)를 인식할 때, 소수의 마커는 하나씩 인식해도 무방하나, 다수의 마커(10)들이 영상 정보에 포함되어 있는 경우는 마커(10) 인식의 효율성을 높이기 위하여 마커(10)를 제1 팀, 제2 팀, 제3 팀과 같이 그룹단위로 인식하거나 또는 캐릭터 종류, 몬스터 종류, 스킬 순서와 같이 구분 또는 역할에 따른 카테고리 순으로 인식하도록 할 수 있다. 예를 들어 야구 경기 영상으로부터 마커(10)를 인식하는 경우 선수 각각에 대해 마커(10)를 인식할 수도 있겠지만, 각 팀을 그룹으로 하여 그룹 단위로 인식 후 각 팀별 선수에 대한 정보를 증강현실 정보를 구성할 수 있고, 또는 내야수, 외야수, 포수 등 선수의 역할에 따른 카테고리 순서로 인식하여 각 팀 내야수들의 정보, 외야수들의 정보 등을 비교할 수 있는 형태로 증강현실 정보를 구성할 수도 있다. 그리고 이러한 그룹 또는 카테고리 순 인식을 위해 그룹이나 카테고리 단위로 특정 마커를 부여할 수도 있다.
제1 마커인식모듈(130)에서 여러 마커가 인식이 되고 추가적으로 인식되는 마커가 더 없으면, 인식된 여러 마커 중 특정 마커(10)를 지정할 수 있다. 이때, 특정 마커(10)는 인식된 여러 마커(10) 중 최초로 인식된 마커(10)가 될 수 있으며, 이와 달리 특정 마커(10)는 특정 캐릭터의 마커(10) 또는 인식된 마커(10)가 아닌 별도의 마커일 수도 있다.
인식된 마커(10)가 아닌 별도의 마커는, 촬영영상에서의 마커 인식 여부와 상관없이 중심이 되어 증강현실 시나리오 상에서 증강현실로 구현되어야 할 필요가 있는 오브젝트가 있는 경우, 영상에서 인식된 것은 아니지만 특정 마커로 추가하여 그에 대응하는 오브젝트를 생성하는 것으로 처리하게 되며, 예를 들어 영상 안의 정보들을 설명하기 위한 도우미 오브젝트, 게임에서 주인공 등의 캐릭터 오브젝트 등일 수 있다. 예를 들어 야구 영상에서 마커를 추출하고 특정 마커(또는 대표 마커)를 지정해야 할 경우, 경기 상황 정보를 표시하는 물체를 특정 마커로 지정할 수도 있고, 인식된 선수 마커들 중에서 주장 또는 관심 선수로 지정한 선수의 마커를 특정 마커로 하여 증강현실 정보를 구성할 수 있다.
또한, 제1 마커인식모듈(130)은 제1 촬영모듈(110), 제1 영상분석모듈(120) 등의 다른 제1 사용자모듈(100) 구성요소와 함께 물리적으로 하나의 시스템 또는 기기로 구성될 수도 있고, 이와 달리 다른 장치와 물리적으로 분리되어 있으면서 유무선 네트워크 등을 통하여 제1 촬영모듈(110)이 촬영한 현실배경에 대해 제1 영상분석모듈(120)이 분석한 영상 정보를 제1 장치제어모듈(140)로 전달하는 것도 가능하다.
스마트폰이나 태블릿 등과 같이 제1 사용자모듈 내의 각각의 모듈이 물리적으로 하나의 기기로 구성된 경우 영상을 촬영하면서 촬영된 영상 및 증강현실 처리된 결과를 바로 확인할 수 있는 장점이 있으며, 이와 달리 제1 사용자모듈(100)의 구성요소가 물리적으로 분리되어 있는 경우는 원거리에 위치한 영상이나 다양한 시점의 영상을 이용하여 증강현실을 구현할 수 있고, 제1 촬영모듈(110)과 같은 다수의 영상촬영기기를 통하여 증강현실 결과를 표시함으로써 다양한 형태의 활용이 가능할 수 있는 장점이 있다. 또한, 현재 촬영되는 정보가 아닌 별도의 영상 정보를 이용하는 경우에는 해당 영상 정보에 증강현실 정보를 더함으로써 보다 효과적으로 분석하거나 재구성할 수 있는 장점이 있다.
제1 마커인식모듈(130)이 인식한 현실배경에 대한 영상 정보는, 아날로그 또는 디지털 방식으로 기록 및 처리될 수 있으나, 증강현실 처리의 특성상 디지털 방식으로 기록 및 처리되는 것이 바람직하며, GPS를 통하여 얻은 위치 정보 등을 포함할 수도 있다.
제1 장치제어모듈(140)은 제1 마커인식모듈(130)로부터 제공되는 결과에 근거하여, 분석 결과에 대응하는 기 설정된 증강현실 컨텐츠를 수행한다. 본 명세서에서 기 설정된 증강현실 컨텐츠를 수행한다는 것은 마커에 기 설정된 가상 오브젝트를 대응시키고 해당 가상 오브젝트를 촬영영상(또는 별도의 배경영상)에 증강(즉, 적용)시키는 과정을 수행함을 의미한다.
제1 장치제어모듈(140)은, 제1 마커인식모듈(130)로부터 제공되는 분석 결과에 근거하여, 분석 결과에 대응하는 기 설정된 증강현실 컨텐츠 수행에 따라 촬영영상에 적용한 증강현실 컨텐츠를 제1 출력모듈(160)을 통해 출력한다.
즉, 제1 장치제어모듈(140)은 제1 영상분석모듈(120)로부터 제공되는 분석 결과에 근거하여, 촬영영상 내에 마커가 존재하지 않으면 촬영된 실시간 촬영영상 즉 현실배경을 촬영한 촬영영상을 가상 오브젝트의 증강 없이 그대로 처리하여 제1 출력모듈(160)를 통해 출력할 수 있다. 이 경우, 현실배경을 촬영한 촬영영상의 컨텐츠가 그대로 증강현실 컨텐츠에 대응된다.
또한, 제1 장치제어모듈(140)은, 제1 영상분석모듈(130)로부터 제공되는 분석 결과에 근거하여, 촬영영상 내에 마커(10)가 존재하면 해당 마커(10)에 대응하여 기 설정된 증강현실 컨텐츠를 수행함으로써, 촬영된 실시간 촬영영상, 즉 현실배경에 가상 오브젝트를 증강하여 제1 출력모듈(160)을 통해 출력할 수 있다. 이 경우, 현실배경에 가상 오브젝트를 증강시킨 컨텐츠가 증강현실 컨텐츠에 대응된다.
또한, 제1 장치제어모듈(160)은, 마커(10)가 기록된 카드가 현실배경에 진입함에 따라, 제1 영상분석모듈(120)로부터 제공되는 분석 결과에 근거하여 마커가 인식되면 마커에 대응하여 기 설정된 컨텐츠 제어기능을 수행한다.
제1 장치제어모듈(140)은 제1 촬영모듈(110), 제1 영상분석모듈(120), 제1 마커인식모듈(130), 제1 정보저장모듈(150) 및 제1 출력모듈(160)과 함께 구성되어 제1 장치제어모듈(140)이 인식한 영상 정보에 바로 증강현실을 구성하여 제1 출력모듈(160)에 표시되도록 할 수도 있으나, 물리적으로 분리된 별도의 장치로 있으면서 네트워크 등을 통하여 서버(300)로부터 영상 정보를 받아 증강현실 구현을 처리하고, 그 결과를 제1 출력모듈(160)이 표시하도록 하거나 다시 서버(300)등을 통하여 제2 출력모듈(260)이 표시할 수 있도록 보낼 수도 있다.
제1 장치제어모듈(140)을 별도의 장치를 통하여 구현할 경우, 스마트폰이나 태블릿과 같은 휴대 장치보다 고성능의 서버 등을 이용함으로써 복잡한 형태의 영상과 오브젝트들에 대해서도 보다 빠르게 증강현실 처리가 가능하고, 다수의 제1 촬영모듈(160)을 통하여 증강현실 결과를 표시하는 다양한 형태의 활용이 가능하다.
제1 장치제어모듈(140)은 제1 마커인식모듈(130)로부터 인식한 영상에 특정 마커를 기준으로 오브젝트들을 배치하여 제1 출력모듈(160)에 표시할 증강현실 정보를 구성할 수 있다. 이를 통하여 다수의 마커(10) 및 오브젝트 매핑 시 실물 마커의 적절한 배치를 통해 카메라 화면에 마커들이 전체적으로 포함이 될 수 있도록 해야 하거나, 카메라 조작 시 마커(10)로 인식된 오브젝트들이 카메라 화면상에 존재하도록 조작해야 하는 불편함 없이 특정 마커(10)를 기반으로 다수의 오브젝트들을 적절하게 배치할 수 있고, 카메라 조작 또한 특정 마커 중심으로 조작하면 되기 때문에 더욱 편리한 증강현실 구현이 가능하게 된다.
제1 정보저장모듈(150)은 적어도 하나의 마커 각각에 대응하여 기 설정된 컨텐츠 제어기능을 나타내는 제어기능정보가 저장된다. 제1 정보저장모듈(150)은 마커(10)들에 대한 데이터 베이스와 마커(10)에 대응하는 오브젝트들에 대한 데이터 베이스를 포함하며, 마커(10) 인식 및 증강현실 정보 구성 시 제1 정보저장모듈의 마커 정보와 오브젝트 정보를 이용하게 된다. 제1 정보저장모듈(150)은 제1 사용자모듈 외부에 별도로 구성될 수도 있다. 제1 정보저장모듈을 별도의 장치로 구성하는 경우는 데이터베이스를 보다 전문적이고 효율적인 방법으로 관리 및 처리할 수 있도록 하거나, 여러 장치들을 대상으로 정보를 제공할 수 있다.
제1 출력모듈(160)은 촬영영상에 적용할 증강현실 컨텐츠를 출력한다. 제1 출력모듈(160)은 디스플레이 및 스피커 중 적어도 어느 하나를 포함할 수 있다. 제1 출력모듈(160)은 제1 장치제어모듈(140)이 구현한 증강현실 정보를 볼 수 있도록 표시해 주는 장치로, 스마트폰이나 태블릿의 디스플레이, HMD(Mead Mounted Display), 또는 통상의 모니터나 텔레비전 등 영상을 표시할 수 있는 장치는 어떤 것이든 될 수 있으며, 스포츠 등의 영상에 대하여 증강현실 정보를 구성하여 중계하는 경우 등에 텔레비전과 같은 영상 표시 장치를 통하여 표시하는 것이 바람직하다.
제1 사용자모듈(100)의 각 모듈들은 기능적으로 구분된 구성이며, 물리적으로 하나인 장치로 구성될 수도, 물리적으로 분리된 별도의 장치로 구성될 수도 있다.
제2 사용자모듈(200)은 제2 촬영모듈(210), 제2 영상분석모듈(220), 제2 마커인식모듈(230), 제2 장치제어모듈(240), 제2 정보저장모듈(250), 제2 출력모듈(260)로 구성된다. 제2 사용자모듈(200)은 앞서 설명한 제1 사용자모듈(200)과 구성에 있어 차이가 없다. 따라서, 제2 사용자모듈(200)에 대한 중복설명은 생략한다.
서버(300)는 제1 사용자모듈(100)과 제2 사용자모듈(200)에 연결되어 상호간에 신호를 전송한다. 서버(300)는 제1 사용자 모듈(100) 및 제2 사용자 모듈(200)과 구현 방법에 따라 하나의 시스템 안에서 독립 또는 결합된 형태로 구현될 수 있고, 별개의 독립된 시스템들로 구현된 후 네트워크 등을 통하여 상호 통신하는 방식으로 구현될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 오브젝트 생성 증강 현실 방법을 나타낸 흐름도이다.
S410 단계에서는, 촬영모듈(110, 210)이 지정된 촬영구역을 촬영하여 복수개의 마커를 포함한 현실배경을 촬영한다.
S420 단계에서는, 영상분석모듈(120, 220)이 촬영된 촬영영상을 분석하여 촬영영상 내의 마커를 인식하고, 마커인식모듈(130, 230)은 그 마커(10)가 어떤 마커인지를 인식한다.
S430 단계에서는, 장치제어모듈(140, 240)이 현실배경을 촬영한 촬영영상을 분석하여 특정 마커를 통해 인지된 식별정보를 토대로 외부의 서버(300)로부터 그에 대응하는 기 설정된 증강현실 컨텐츠를 획득한다.
S440 단계에서는, S420 단계의 인식 결과에 근거하여 상기 촬영 영상 내에 복수 개의 마커가 존재한다고 판단되는 경우, 장치제어모듈(140, 240)이 상기 복수 개의 마커가 직렬구조인지 병렬구조인지의 결합구조를 판단한다.
S450 단계에서는, 장치제어모듈(140, 240)이 해당 복수 개의 직렬구조 및/또는 병렬구조의 마커결합에 대응하는 마커결합정보를 정보저장모듈(150, 250)에서 검색한다.
S460 단계에서는, 장치제어모듈(140, 240)이 정보저장모듈(150, 250)로부터 검색한 마커결합정보에 근거하여 그에 대응하는 해당 증강현실 구현기능을 수행한다.
S470 단계에서는, 출력모듈(160, 260)이 기 설정된 증강현실 컨텐츠를 구현한 수행결과를 촬영영상에 적용한 증강현실 컨텐츠를 출력한다.
제1 사용자모듈(100)과 제2 사용자모듈(200)이 서버(300)와 연동하여 동시에 사용되는 경우, 바람직하게는 S480 단계에서, 제1 사용자 모듈(100)의 제1 장치제어모듈(140)과 제1 정보저장모듈(150)을 통해 구현된 증강현실 컨텐츠와 제2 사용자 모듈(200)의 제2 장치제어모듈(240)과 제2 정보저장모듈(250)을 통해 구현된 증강현실 컨텐츠를 합성하는 단계를 더 포함한다.
이어서, S490 단계에서는, 제1 사용자 모듈(100)의 제1 출력모듈(160)과 제2 사용자 모듈(200)의 제2 출력모듈(260)에 공히 상기 S480단계에서 합성한 증강현실 컨텐츠를 증강현실로 구현하는 단계를 더 포함한다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 오브젝트 생성 증강 현실 장치의 마커(10, 20)들이 병렬구조로 결합해서 제3의 마커(30)로 인식이 되는 디스플레이의 예가 설명된다.
제1 사용자모듈(100)의 제1 촬영모듈(110)에서 지정된 촬영구역을 촬영할 때 마커가 없을 경우에는 해당 촬영구역에 위치한 현실배경이 촬영된다.
제1 촬영모듈(110)에서 촬영된 영상은 제1 영상분석모듈(120)로 전송되고 제1 영상분석모듈(120)에서는 촬영된 촬영영상을 분석하여 마커(10)가 있을 경우에는 촬영된 영상을 제1 마커인식모듈(130)로 전송한다.
제1 마커인식모듈(130)에서는 전송된 촬영영상 내의 마커(10)와 제1 정보저장모듈(150)에 저장된 마커이미지(1)를 비교함으로써 촬영영상 내의 마커(10)를 인식한다.
제1 장치제어모듈(140)에서는 제1 마커인식모듈(130)에서 마커(10)가 인식되면 현실배경을 촬영한 촬영영상을 분석하여 해당 특정 마커(10)를 통해 인식된 식별정보를 토대로 기 설정된 증강현실 컨텐츠를 제1 정보저장모듈로부터 획득한다.
제1 장치제어모듈(140)에서 촬영한 촬영영상 내에 복수 개의 마커가 존재하는지를 판단하여 복수 개의 마커가 존재하지 않는다고 판단되면 제1 출력모듈(160)에서는 마커(10)에 대응하는 해당 증강현실 구현기능을 수행하여 현실배경에 증강현실 이미지(10')가 합성된 이미지가 구현된다.
제2 사용자모듈(200)의 제2 촬영모듈(210)에서 지정된 촬영구역을 촬영할 때 마커가 없을 경우에는 해당 촬영구역에 위치한 현실배경이 촬영된다.
제2 촬영모듈(210)에서 촬영된 영상은 제2 영상분석모듈(220)로 전송되고 제2 영상분석모듈(220)에서는 촬영된 촬영영상을 분석하여 마커(20)가 있을 경우에는 촬영된 영상을 제2 마커인식모듈(230)로 전송한다.
제2 마커인식모듈(230)에서는 전송된 촬영영상 내의 마커(20)와 제2 정보저장모듈(250)에 저장된 마커이미지(1)를 비교함으로써 촬영영상 내의 마커(20)를 인식한다.
제2 장치제어모듈(240)에서는 제2 마커인식모듈(230)에서 마커(20)가 인식되면 현실배경을 촬영한 촬영영상을 분석하여 해당 마커(20)를 통해 인식된 식별정보를 토대로 그에 대응하는 기 설정된 증강현실 컨텐츠를 제2 정보저장모듈(250)로부터 획득한다.
제2 장치제어모듈(240)에서 촬영한 촬영영상 내에 복수 개의 마커가 존재하는지를 판단하여 복수 개의 마커가 존재하지 않는다고 판단되면 제2 출력모듈(260)에서는 마커(20)에 대응하는 해당 증강현실 구현기능을 수행하여 현실배경에 증강현실 이미지(20')가 합성된 이미지가 구현된다.
한편, 도 2에 도시된 바와 같이, 제1 사용자모듈(100)과 제2 사용자모듈(200)이 서버(300)에 연동되는 경우에는, 제1 장치제어모듈(140)과 제2 장치제어모듈(240)에서 각기 획득한 마커정보(또는 복수 개의 마커인 경우 그 마커결합정보)를 서버(300)로 전송하면, 서버(300)에서는 제1 사용자모듈(100)과 제2 사용자모듈(200)의 마커정보 또는 마커결합정보를 토대로 제1 사용자모듈(100) 또는 제2 사용자모듈(200)에서 촬영된 실시간 촬영영상 내에 복수 개의 마커가 존재하는지 여부를 판단한다.
삭제
삭제
만일, 제1 사용자모듈(100)과 제2 사용자모듈(200)에서 촬영한 촬영영상 범위 내에 복수 개의 마커(10, 20)가 존재한다고 판단되면 해당 복수 개의 마커(10, 20)의 마커결합에 대응하는 마커결합정보(즉, 직렬결합 또는 병렬결합) 즉, 복수 개의 마커(10, 20)가 결합된 제3의 마커에 대한 마커결합정보를 검색한다.
복수개의 마커가 존재하지 않을 경우에 제1 출력모듈(160)과 제2 출력모듈(260)은 마커결합정보에 근거하여 기 설정된 증강현실 컨텐츠을 수행한 수행결과를 촬영영상에 적용한 증강현실 컨텐츠(10', 20')를 제1 출력모듈(160) 또는 제2 출력모듈(260)을 통해 각기 출력하지만, 복수개의 마커가 존재하는 경우에는 제1 사용자 모듈(100)의 제1 장치제어모듈(140)과 제1 정보저장모듈(150)을 통해 구현된 오브젝트 이미지(10')와 제2 사용자 모듈(200)의 제2 장치제어모듈(240)과 제2 정보저장모듈(250)을 통해 구현된 오브젝트 이미지(20')를 합성하여 검색된 마커결합정보(즉, 병렬결합)에 대응하는 합성한 이미지 즉, 제3의 마커에 대응하는 증강현실 컨텐츠(30')를 제1 출력모듈(160)과 제2 출력모듈(260)을 통해 공히 출력한다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 오브젝트 생성 증강 현실 장치의 마커들이 직렬구조로 결합해서 제3의 마커로 인식이 되는 디스플레이의 예가 설명된다.
만일, 제1 사용자모듈(100) 또는 제2 사용자모듈(200)에서 촬영한 촬영영상 내에 복수 개의 마커(40,50)가 존재한다고 판단되면, 복수 개의 마커 결합 형태에 대응하는 마커결합정보를 검색하고, 마커결합정보 중 해당 복수 개의 마커(40, 50)가 결합된 마커이미지에 해당하는 직렬결합의 마커결합정보(60)가 대응된다.
이 경우 제1 사용자 모듈(100) 또는 제2 사용자 모듈(200)에서 획득한 마커(40, 50)들이 각각 하나의 독립된 마커로 인식되어 기 설정된 증강현실 컨텐츠를 촬영영상에 적용한 별개의 증강현실 컨텐츠(40', 50')로 구현될 수도 있고, 이와 달리 설정에 따라서는, 검색된 마커결합정보(즉, 직렬결합)에 대응하도록, 제1 사용자 모듈(100)의 제1 장치제어모듈(140)과 제1 정보저장모듈(150)을 통해 구현된 오브젝트 이미지(40')와 제2 사용자 모듈(200)의 제2 장치제어모듈(240)과 제2 정보저장모듈(250)을 통해 구현된 오브젝트 이미지(50')를 합성하여 합성 이미지에 대응하여 병합된 증강현실 컨텐츠(60')를 제1 출력모듈(160)과 제2 출력모듈(260)을 통해 공히 출력한다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 오브젝트 생성 증강 현실 장치의 마커들이 병렬구조로 결합시에 결합방향에 따라서 제3의 새로운 마커로 인식이 되는 디스플레이의 예가 설명된다.
본 발명의 일 실시예에 의하면, 퍼즐 또는 레고 같은 조각모음을 통해 완성하는 게임 완구에서 각 조각들이 각각의 마커(70, 80, 81, 82, 83)가 되고, 제1 마커(70)의 우측에 제2 마커(80)가 병렬결합하는 경우 마커결합정보(즉, 우방향 병렬결합)에 대응하는 합성 이미지는 제1 마커(70)의 우측에 제2 마커(80)가 위치하여 결합되는 증강현실 컨텐츠가 되지만, 제1 마커(70)의 상측에 제3 마커(81)가 병렬결합하는 경우 마커결합정보(즉, 상방향 병렬결합)에 대응하는 합성 이미지는 제1 마커(70)의 상측에 제3 마커(81)가 위치하여 결합되는 다른 증강현실 컨텐츠가 되고, 제1 마커(70)의 좌측에 제4 마커(82)가 병렬결합하는 경우 마커결합정보(즉, 좌방향 병렬결합)에 대응하는 합성 이미지는 제1 마커(70)의 좌측에 제4 마커(82)가 위치하여 결합되는 또다른 증강현실 컨텐츠가 되고, 제1 마커(70)의 하측에 제5 마커(83)가 병렬결합하는 경우 마커결합정보(즉, 하방향 병렬결합)에 대응하는 합성 이미지의 또다른 증강현실 컨텐츠가 된다.
이와 같이 마커들의 조합이 결합방향에 따라 서로 다른 제3의 새로운 마커로 인식되도록 구성하여, 퍼즐 또는 레고 같은 조각모음을 완성하는 과정 중에 최종 결과물의 오브젝트가 완성되어 가는 과정을 증강현실 기반 서비스로 제공할 수 있다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 오브젝트 생성 증강 현실 장치의 마커들을 직렬구조로 결합해서 N개의 마커 겹침과 겹침 순서에 따라 제3의 새로운 마커로 인식이 되는 디스플레이의 예가 설명된다.
일 실시예에 의하면, 인형 캐릭터 마커 A(90) 위에 여러 가지 의상(모자, 의복, 신발 등)이나 효과(머리모양 등)를 구성할 수 있는 마커 B(91), 마커 C(92), 마커 D(93)를 겹쳐 놓으면 마커결합정보(직렬결합)에 대응하는 합성한 이미지의 증강현실 컨텐츠가 된다. 예를 들어, 마커 B(91)이 티셔츠이고 마커 C(92)가 코트일 경우 인형 캐릭터 마커(90)에 마커 B(91)를 먼저 직렬로 겹치고 마커 C(92)를 그 다음 순서로 겹쳤을 경우 인형 캐릭터가 티셔츠를 안에 입고 그 위에 코트를 입은 캐릭터의 모습이 증강현실로 구현되지만, 인형 캐릭터 마커(90)에 마커 C(92)를 먼저 직렬로 겹치고 그 다음에 마커 B(91)를 직렬로 겹치게 되면 인형 캐릭터가 코트를 입은 위에 티셔츠를 겹쳐 입은 모습의 캐릭터 증강현실이 구현되게 된다. 이러한 방법으로 캐릭터에 의상 및 꾸미기 기능이 가능한 놀이를 증강현실 기반 서비스로 제공할 수 있다.
또한, 바람직하게는, 복수 개의 마커가 병렬구조이면 병렬증강현실 구현기능을 수행하는 단계이고 상기 복수 개의 마커가 직렬구조이면 직렬증강현실 구현기능을 수행하는 단계라 할 때, 증강현실 구현기능 수행단계는 상기 복수 개의 마커가 병렬구조와 직렬구조가 혼합된 경우 상기 병렬증강현실 구현기능을 수행하는 단계와 상기 직렬증강현실 구현기능을 수행하는 단계를 혼합한 마커결합정보 이미지에 대응하는 직병렬 병합형 증강현실 컨텐츠를 제1 출력모듈(160)과 제2 출력모듈(260)을 통해 공히 출력한다.
본 발명에 의한 마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치 및 그 방법을 구성하는 각 요소 장치들과 세부 기능부들은 각각이 상술된 기능들을 수행하는 기능 요소들이며, 구현 방법에 따라 하나의 시스템 안에서 독립 또는 결합 된 형태로 구현될 수 있고, 별개의 독립된 시스템들로 구현된 후 네트워크 등을 통하여 상호 통신하는 방식으로 구현될 수도 있는 것으로, 그 형태는 특정한 형태로 제한되지 않는다. 또한, 본 발명을 실시 예에 기초하여 설명하였으나, 이는 본 발명을 예증하기 위한 것일 뿐 본 발명을 한정하는 것은 아니다. 또한, 통상의 기술자라면, 본 실시 예에 기초하여 다양한 변형이나 수정을 가할 수 있을 것이다. 따라서, 본 발명의 권리범위는 아래의 청구범위에 의하여 결정되어야 하며, 통상의 기술자가 행하는 그러한 변형이나 수정은 본 발명의 권리범위에 포함되는 것으로 해석될 수 있다.
10: 오브젝트 생성 증강 현실 장치
100: 제1 사용자모듈
110: 제1 촬영모듈
120: 제1 영상분석모듈
130: 제1 마커인식모듈
140: 제1 장치제어모듈
150: 제1 정보저장모듈
160: 제1 출력모듈
200: 제2 사용자모듈
210: 제2 촬영모듈
220: 제2 영상분석모듈
230: 제2 마커인식모듈
240: 제2 장치제어모듈
250: 제2 정보저장모듈
260: 제2 출력모듈
300: 서버

Claims (15)

  1. 복수의 사용자모듈이 서버에 의해 정보를 상호전송하며 복수개의 마커를 이용하여 증강현실을 구현하는 오브젝트 생성 증강 현실 장치에 있어서,
    상기 사용자모듈은,
    상기 복수개의 마커를 포함한 현실배경을 촬영하는 촬영모듈;
    상기 촬영모듈을 통해 촬영된 촬영영상을 분석하여 상기 촬영영상 내의 마커를 인식하는 영상분석모듈;
    상기 영상분석모듈에서 인식된 상기 마커가 어떤 마커인지를 인식하는 마커인식모듈;
    상기 마커 각각에 대응하는 기 설정된 증강현실 컨텐츠가 저장되는 정보저장모듈;
    상기 마커인식모듈에서 인식된 마커이미지에 대응하는 상기 기 설정된 증강현실 컨텐츠를 상기 정보저장모듈로부터 획득하는 장치제어모듈; 및
    상기 장치제어모듈에서 획득한 상기 기 설정된 증강현실 컨텐츠를 상기 촬영모듈에서 촬영한 현실배경에 적용하여 출력하는 출력모듈을 포함하고,
    상기 마커인식모듈이 상기 촬영영상 내에 복수 개의 마커가 존재한다고 판단하는 경우,
    상기 마커인식모듈은 상기 복수 개의 마커들을 그룹단위로 인식하여 특정 마커를 대응시키며,
    상기 장치제어모듈은 상기 복수 개의 마커가 직렬구조인지 병렬구조인지 그 결합구조를 판단하여 해당 결합구조의 마커결합에 대응하는 마커결합정보를 상기 정보저장모듈에서 검색하고 검색된 마커결합정보에 대응하는 제3의 증강현실 컨텐츠를 상기 정보저장모듈로부터 획득하며,
    상기 출력모듈은 상기 획득된 상기 제3의 증강현실 컨텐츠를 상기 촬영모듈에서 촬영한 현실배경에 적용하여 출력하며,
    상기 마커결합정보가 직렬구조인 경우, 상기 장치제어모듈은 상기 복수 개의 마커들을 직렬구조로 결합해서 상기 마커들의 겹침과 겹침 순서에 따라 상기 제3의 증강현실 컨텐츠를 구현하는 것을 특징으로 하는,
    마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치.
  2. 제1 사용자모듈과 제2 사용자모듈이 서버와 연동하여 정보를 상호전송하는 환경에서 복수개의 마커를 이용하여 증강현실을 구현하는 오브젝트 생성 증강 현실 장치에 있어서,
    상기 각 사용자모듈은,
    상기 복수개의 마커를 포함한 현실배경을 촬영하는 촬영모듈;
    상기 촬영모듈을 통해 촬영된 촬영영상을 분석하여 상기 촬영영상 내의 마커를 인식하는 영상분석모듈;
    상기 영상분석모듈에서 인식된 상기 마커가 어떤 마커인지를 인식하는 마커인식모듈;
    상기 마커 각각에 대응하는 기 설정된 증강현실 컨텐츠가 저장되는 정보저장모듈;
    상기 마커인식모듈에서 인식된 마커이미지에 대응하는 상기 기 설정된 증강현실 컨텐츠를 상기 정보저장모듈로부터 획득하는 장치제어모듈; 및
    상기 장치제어모듈에서 획득한 상기 기 설정된 증강현실 컨텐츠를 상기 촬영모듈에서 촬영한 현실배경에 적용하여 출력하는 출력모듈을 포함하고,
    상기 서버는 상기 제1 사용자 모듈의 제1 장치제어모듈과 제1 정보저장모듈을 통해 구현된 제1 증강현실 컨텐츠와 상기 제2 사용자 모듈의 제2 장치제어모듈과 제2 정보저장모듈을 통해 구현된 제2 증강현실 컨텐츠를 합성하여 제3의 증강현실 컨텐츠를 구현하며,
    상기 서버는 상기 제1 사용자 모듈의 제1 영상분석모듈과 제1 마커인식모듈 및 상기 제2 사용자 모듈의 제2 영상분석모듈과 제2 마커인식모듈에서 인식된 복수 개의 마커들에 대응하는 직렬 또는 병렬 마커결합구조에 따라 상기 제3의 증강현실 컨텐츠를 구현하며,
    상기 마커인식모듈이 상기 촬영영상 내에 복수 개의 마커가 존재한다고 판단하는 경우,
    상기 마커인식모듈은 상기 복수 개의 마커들을 그룹단위로 인식하여 특정 마커를 대응시키며,
    상기 마커결합구조가 직렬구조인 경우, 상기 장치제어모듈은 상기 복수 개의 마커들을 직렬구조로 결합해서 상기 마커들의 겹침과 겹침 순서에 따라 상기 제3의 증강현실 컨텐츠를 구현하는 것을 특징으로 하는,
    마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 마커인식모듈은 상기 인식된 복수 개의 마커 중 최초로 인식된 마커를 특정 마커로 지정하여 상기 복수 개의 마커를 그룹별로 인식하는 것을 특징으로 하는,
    마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 오브젝트 생성 증강 현실 방법에 있어서,
    촬영모듈이 지정된 촬영구역을 촬영하여 복수개의 마커를 포함한 현실배경을 촬영하는 단계;
    영상분석모듈이 촬영영상을 분석하여 상기 촬영영상 내에 마커를 인식하고, 마커인식모듈이 상기 마커가 어떤 마커인지를 인식하는 단계;
    장치제어모듈이 촬영영상을 분석하여 특정 마커를 통해 인식된 식별정보를 토대로 그에 대응하는 기 설정된 증강현실 컨텐츠를 획득하는 단계;
    상기 마커인식단계에서 상기 촬영영상 내에 복수 개의 마커가 존재한다고 판단되는 경우, 상기 장치제어모듈이 상기 복수 개의 마커가 직렬구조인지 병렬구조인지 그 결합구조를 판단하는 단계;
    상기 장치제어모듈이 촬영영상 내에 해당 직렬구조 또는 병렬구조의 마커결합에 대응하는 마커결합정보를 검색하는 단계;
    상기 장치제어모듈이 검색한 상기 마커결합정보에 근거하여 그에 대응하는 증강현실 구현기능을 수행하는 단계;
    출력모듈이 상기 증강현실 구현기능을 수행한 결과를 출력하는 단계를 포함하며,
    상기 증강현실 구현기능 수행단계는, 제1 사용자 모듈의 제1 장치제어모듈과 제1 정보저장모듈을 통해 구현된 제1 증강현실 컨텐츠와 제2 사용자 모듈의 제2 장치제어모듈과 제2 정보저장모듈을 통해 구현된 제2 증강현실 컨텐츠를 합성하여 제3의 증강현실 컨텐츠를 구현하는 단계를 더 포함하며,
    상기 출력단계는 제1 사용자 모듈의 제1 출력모듈과 제2 사용자 모듈의 제2 출력모듈에 공히 상기 제3의 증강현실 컨텐츠를 출력하는 단계를 더 포함하며,
    상기 마커인식모듈이 상기 촬영영상 내에 복수 개의 마커가 존재한다고 판단하는 경우, 상기 마커인식모듈이 상기 복수 개의 마커들을 그룹단위로 인식하여 특정 마커를 대응시키는 단계를 더 포함하며,
    상기 마커결합정보가 직렬구조인 경우, 상기 장치제어모듈이 상기 복수 개의 마커들을 직렬구조로 결합해서 상기 마커들의 겹침과 겹침 순서에 따라 상기 제3의 증강현실 컨텐츠를 구현하는 단계를 더 포함하는 것을 특징으로 하는,
    마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 방법.
  11. 삭제
  12. 삭제
  13. 제10항에 있어서,
    조각모음을 통해 완성하는 게임 완구에 있어서 각 조각들이 하나의 마커가 되고 상기 조각들의 모임이 제3의 새로운 마커로 인식되도록 구성한 환경에서, 상기 증강현실 구현기능 수행단계는, 상기 현실의 조각모음을 물리적으로 완성하는 과정을 따라 최종 결과물의 오브젝트가 완성되어 가는 과정을 증강현실 기반 서비스로 제공하는 단계를 더 포함하는 것을 특징으로 하는,
    마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 방법.
  14. 제10항에 있어서,
    인형 캐릭터 마커 위에 모자, 의복, 신발을 포함하는 의상 및 머리모양을 포함하는 효과에 대응하는 복수 개의 마커를 겹쳐 놓을 때 겹쳐진 마커의 결합이 제3의 새로운 마커로 인식되도록 구성한 환경에서, 상기 증강현실 구현기능 수행단계는, 상기 캐릭터에 상기 의상 및 효과를 이용한 꾸미기 놀이를 수행하는 과정을 따라 최종 결과물의 오브젝트가 완성되어 가는 과정을 증강현실 기반 서비스로 제공하는 단계를 더 포함하는 것을 특징으로 하는,
    마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 방법.
  15. 제10항에 있어서,
    상기 복수 개의 마커결합에 병렬구조와 직렬구조가 혼합된 경우, 병렬증강현실 구현기능을 수행하는 단계와 직렬증강현실 구현기능을 수행하는 단계를 혼합하여 수행하는 단계를 더 포함하는 것을 특징으로 하는,
    마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 방법.
KR1020160093294A 2016-07-22 2016-07-22 마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치 및 그 방법 KR101895813B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160093294A KR101895813B1 (ko) 2016-07-22 2016-07-22 마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160093294A KR101895813B1 (ko) 2016-07-22 2016-07-22 마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180010724A KR20180010724A (ko) 2018-01-31
KR101895813B1 true KR101895813B1 (ko) 2018-09-07

Family

ID=61083048

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160093294A KR101895813B1 (ko) 2016-07-22 2016-07-22 마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101895813B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102255934B1 (ko) * 2020-04-10 2021-05-26 주식회사 제미타 증강 현실을 이용한 격투 경기 스코어링 시스템
KR102330894B1 (ko) * 2020-07-24 2021-12-01 주식회사 케이엑스알랩 증강현실에서의 디바이스 로컬 전환 동작을 지원하는 증강현실 디스플레이 장치 및 그것의 동작 방법
KR102526634B1 (ko) * 2021-12-30 2023-04-28 (주)웅진씽크빅 마커를 이용하여 콘텐트를 제공하는 방법 및 이를 지원하는 전자 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100971667B1 (ko) * 2008-12-11 2010-07-22 인천대학교 산학협력단 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치
KR101338700B1 (ko) * 2011-01-27 2013-12-06 주식회사 팬택 마커를 분할해서 공유하는 증강 현실 시스템 및 그 방법
KR101517436B1 (ko) * 2013-08-30 2015-05-06 주식회사 지스푼 증강현실제공방법 및 증강현실제공시스템

Also Published As

Publication number Publication date
KR20180010724A (ko) 2018-01-31

Similar Documents

Publication Publication Date Title
Gkalelis et al. The i3dpost multi-view and 3d human action/interaction database
ES2790885T3 (es) Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos
US8970623B2 (en) Information processing system, information processing method, information processing device and tangible recoding medium recording information processing program
JP7132730B2 (ja) 情報処理装置および情報処理方法
EP3665653A1 (en) Techniques for rendering three-dimensional animated graphics from video
KR101895813B1 (ko) 마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치 및 그 방법
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
WO2020061432A1 (en) Markerless human movement tracking in virtual simulation
US11501471B2 (en) Virtual and real composite image data generation method, virtual and real images compositing system, trained model generation method, virtual and real composite image data generation device
US10896322B2 (en) Information processing device, information processing system, facial image output method, and program
CN104834375A (zh) 基于增强现实的游乐园指南系统
US20140045593A1 (en) Virtual joint orientation in virtual skeleton
CN112653848B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20160048178A (ko) 영상 프로덕션을 만들기 위한 방법 및 그 시스템
US20130332958A1 (en) Method and system for displaying user selectable picture
KR101745636B1 (ko) 대표 마커를 이용하는 증강현실 시스템 및 방법
CN108416832A (zh) 媒体信息的显示方法、装置和存储介质
JP5714452B2 (ja) 情報処理装置、情報処理プログラム、情報処理方法および情報処理システム
CN109104619A (zh) 用于直播的图像处理方法和装置
CN109407826B (zh) 球类运动模拟方法、装置、存储介质及电子设备
JP7401199B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017145552A1 (ja) プログラム及びアイウエア
CN113396596A (zh) 影像分发装置、影像分发系统、影像分发方法以及影像分发程序
CN114758041A (zh) 虚拟对象展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right