KR101745636B1 - 대표 마커를 이용하는 증강현실 시스템 및 방법 - Google Patents

대표 마커를 이용하는 증강현실 시스템 및 방법 Download PDF

Info

Publication number
KR101745636B1
KR101745636B1 KR1020160055363A KR20160055363A KR101745636B1 KR 101745636 B1 KR101745636 B1 KR 101745636B1 KR 1020160055363 A KR1020160055363 A KR 1020160055363A KR 20160055363 A KR20160055363 A KR 20160055363A KR 101745636 B1 KR101745636 B1 KR 101745636B1
Authority
KR
South Korea
Prior art keywords
markers
marker
augmented reality
representative
recognized
Prior art date
Application number
KR1020160055363A
Other languages
English (en)
Inventor
김상덕
김세한
Original Assignee
주식회사 엠코코아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠코코아 filed Critical 주식회사 엠코코아
Priority to KR1020160055363A priority Critical patent/KR101745636B1/ko
Application granted granted Critical
Publication of KR101745636B1 publication Critical patent/KR101745636B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00671—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강현실 시스템은 영상 정보로부터 다수의 마커를 인식하고, 인식된 다수의 마커 중에서 대표 마커를 지정하여, 대표 마커를 기준으로 오브젝트들을 영상에 배치한다.

Description

대표 마커를 이용하는 증강현실 시스템 및 방법{AUGMENTED REALITY SYSTEM AND METHOD USING REPRESENTATIVE MARKER}
본 발명은 증강현실 시스템 및 방법에 관한 것으로, 상세하게는 다수의 마커와 오브젝트 매핑 시 대표 마커를 이용하는 증강현실 시스템 및 방법에 관한 것이다.
증강현실(AR, Augmented Reality)이란 실제 환경에 가상 사물이나 정보를 합성해 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이며, 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이라고 할 수 있다. 가상현실(Virtual Reality)이 현실 세계와 유사한 영상을 컴퓨터로 대체하는 것이라면, 증강현실은 부가적인 가상 정보를 현실 정보와 접목시켜 하나의 영상으로 보여주는 것이므로, 가상현실의 또 다른 유형이라고 할 수 있으나 증강현실은 모든 정보가 가상인 가상현실과 달리 현실세계 정보를 바탕으로 하고 있다는 점에서 차이가 있다.
증강현실은 현실세계의 정보에 추가적인 정보를 더하고 제공하기 때문에 다양한 분야에 적용할 수 있는데, 예를 들면 환자의 몸에 MRI나 CT 영상을 합하여 보여주거나, 산업에서 비행기나 자동차와 같은 복잡한 구조물의 설계, 제작 시 도면 등의 필요 정보를 줄 수도 있다. 또한, 책 속의 콘텐츠를 입체화된 움직이는 영상으로 구현하는 등 교육에서도 활용이 가능하며, 현실 정보를 접목한 게임이나 내비게이션 등으로 활용도 가능하며, 카메라와 각종 센서, 영상 표시 장치가 모두 구비된 스마트 기기 및 웨어러블 기기 등의 보급이 늘어남에 따라 이용이 증가하고 있다.
증강현실을 구현하기 위해서는 현실세계의 정보와 가상의 정보를 매칭시켜야 하는데, 이를 위해서는 영상 정보를 인식하여 특징점을 추출하여 현실세계 정보의 해당 위치에 가상의 정보인 오브젝트를 표시하거나, GPS 및 각종 센서를 이용하여 현실세계 및 가상 오브젝트의 표시 위치를 파악하기도 하며, 사전에 정의된 마커를 두고, 현실세계의 영상에서 마커 정보를 추출하여 마커 위치를 기준으로 가상의 오브젝트를 매핑하여 표시하는 방법이 사용되기도 한다. 그러나 다수의 마커 및 오브젝트를 매핑할 경우 화면상에 다수의 오브젝트들을 적절하게 배치하려면 여러 가지 고려사항 및 불편함이 존재한다. 실물 마커의 적절한 배치를 통해 카메라 화면에 전체적으로 포함이 될 수 있도록 해야 하며, 카메라 조작 시에도 마커로 인식된 오브젝트들이 카메라 화면 상에 존재하도록 조작해야 하는 불편함이 존재한다.
[선행문헌] 특허등록 제1039298호 (다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현신 구현 방법)
본 발명은 종래기술의 이러한 문제점을 해결하기 위한 것으로, 실물 마커의 적절한 배치를 통해 다수의 오브젝트들이 카메라 화면에 전체적으로 포함될 수 있게 하고, 또한 카메라 조작 시에도 마커로 인식된 오브젝트들이 카메라 화면 상에 존재하도록 조작하는 불편을 해소하는 것을 기술적 과제로 한다.
이를 위하여 본 발명에 따른 다수의 마커를 이용하여 증강현실을 구현하는 시스템은, 다수의 마커 정보를 포함한 영상 정보를 취득하는 영상 인식 장치; 상기 영상 인식 장치로부터 수신한 영상 정보로부터 다수의 마커를 인식하고, 상기 인식된 다수의 마커 중에서 대표 마커를 지정하여, 상기 대표 마커를 기준으로 오브젝트들을 상기 영상 인식 장치로부터 인식한 영상에 배치하여 증강현실 정보를 구성하는 증강 현실 처리 장치; 및 상기 증강현실 처리 장치가 구현한 증강현실 정보를 표시하는 표시 장치를 포함하며, 상기 증강현실 처리 장치는, 상기 영상 인식 장치로부터 수신한 영상 정보로부터 다수의 마커를 그룹 단위 또는 카테고리 단위로 순차적으로 인식하는 것과 상기 인식된 다수의 마커 중에서 최초 인식된 마커 또는 특정 마커를 대표 마커로 지정하는 것을 특징으로 한다.
본 발명에 따른 다수의 마커를 이용하여 증강현실을 구현하는 장치는, 영상 인식 장치로부터 취득한 영상 정보로부터 다수의 마커를 인식하는 마커 인식 모듈; 상기 인식된 다수의 마커 중에서 대표 마커를 지정하는 대표 마커 지정 모듈; 및 상기 상기 영상 인식 장치로부터 인식한 영상에 상기 대표 마커를 기준으로 오브젝트들을 배치하여 영상 표시 장치에 표시할 증강현실 정보를 구성하는 증강 현실 구현 모듈을 포함하며, 마커에 대한 정보와 마커에 대응하는 오브젝트의 정보를 저장하는 DB모듈을 더 포함할 수 있다. 또한, 상기 영상 인식 장치로부터 수신한 영상 정보로부터 다수의 마커를 그룹 단위 또는 카테고리 단위로 순차적으로 인식하고, 상기 인식된 다수의 마커 중에서 최초 인식된 마커 또는 특정 마커를 대표 마커로 지정하는 것을 특징으로 한다.
본 발명에 따른 다수의 마커를 이용하여 증강현실을 구현하는 방법은, 증강현실 처리 장치가 다수의 마커 정보를 포함한 영상 정보를 영상 인식 장치로부터 수신하는 단계; 상기 영상 인식 장치로부터 수신한 영상 정보로부터 다수의 마커를 인식하는 단계; 상기 인식된 다수의 마커 중에서 대표 마커를 지정하는 단계; 상기 대표 마커를 기준으로 오브젝트들을 상기 영상 인식 장치로부터 인식한 영상에 배치하여 증강현실 정보를 구성하는 단계; 및 상기 증강현실 처리 장치가 구성한 증강현실 정보를 영상 표시 장치로 출력되도록 하는 단계를 포함하는 것을 특징으로 하며, 다수의 마커를 인식하는 단계는 상기 영상 인식 장치로부터 수신한 영상 정보로부터 다수의 마커를 그룹 단위 또는 카테고리 단위로 순차적으로 인식하고, 상기 인식된 다수의 마커 중에서 최초 인식된 마커 또는 특정 마커를 대표 마커로 지정하는 것을 특징으로 한다.
다수의 마커를 그룹 단위 또는 카테고리 단위로 인식함으로써 마커 인식의 효율성을 높일 수 있고, 대표 마커를 통해서 증강현실 시스템을 구현하면 대표 마커를 기반으로 오브젝트를 적절하게 배치할 수 있으며, 카메라 조작 또한 대표 마커 중심으로 조작하기 때문에 보다 편리하게 증강현실 구현이 가능하다.
도1은 본 발명의 실시 예에 따른 다수의 마커와 오브젝트 매핑 시 대표 마커를 이용하는 증강현실 시스템의 구성도이다.
도2는 본 발명의 다른 실시 예에 따른 다수의 마커와 오브젝트 매핑 시 대표 마커를 이용하는 증강현실 시스템의 구성도이다.
도3은 본 발명의 실시 예에 따른 다수의 마커와 오브젝트 매핑 시 대표 마커를 이용하는 증강현실 시스템 및 방법에 의한 증강현실 구현 영상의 예이다.
도4는 본 발명의 다른 실시 예에 따른 다수의 마커와 오브젝트 매핑 시 대표 마커를 이용하는 증강현실 시스템 및 방법에 의한 증강현실 구현 영상의 예이다.
도5는 본 발명의 실시 예에 따른 다수의 마커와 오브젝트 매핑 시 대표 마커를 이용하는 증강현실 방법의 흐름도이다.
이하, 본 발명의 바람직한 실시 예에 따른 다수의 마커와 오브젝트 매핑 시 대표 마커를 이용하는 증강현실 시스템 및 방법을 첨부된 도면들을 참조하여 설명한다.
도1은 본 발명의 실시 예에 따른 다수의 마커와 오브젝트 매핑 시 대표 마커를 이용하는 증강현실 시스템의 구성도이다.
영상 인식 장치(100)는 현실 세계에 대한 영상 정보를 인식하기 위한 장치로, 현재의 현실 세계의 모습을 영상 정보로 저장하는 카메라를 포함하여 사전에 카메라를 통하여 촬영된 영상 정보를 인식, 처리할 수 있는 장치는 모두 가능하다. 현재 카메라를 통하여 촬영되는 현실 세계의 영상 정보에 가상의 오브젝트를 추가하여 증강현실을 구현할 수 있으며, 현재 촬영되는 정보가 아닌 별도의 영상 정보에 가상의 오브젝트를 추가하여 증강현실을 구현할 수도 있다.
또한, 영상 인식 장치(100)는 증강현실 처리 장치(200) 및 영상 표시 장치(300)와 함께 물리적으로 하나의 시스템 또는 기기로 구성될 수도 있고, 다른 장치와 물리적으로 분리되어 있으면서 유무선 네트워크 등을 통하여 영상 인식 장치(100)가 인식한 현실세계에 대한 영상 정보를 증강현실 처리 장치(200)로 전달하는 것도 가능하다. 스마트폰이나 태블릿 등과 같이 영상 인식 장치(100), 증강현실 처리 장치(200), 영상 표시 장치(300)가 물리적으로 하나의 기기로 구성된 경우 영상을 촬영하면서 촬영된 영상 및 증강현실 처리된 결과를 바로 확인할 수 있는 장점이 있으며, 이와 달리 영상 인식 장치(100)가 다른 장치와 물리적으로 분리되어 있는 경우는 원거리에 위치한 영상이나 다양한 시점의 영상을 이용하여 증강현실을 구현할 수 있고, 다수의 영상 표시 장치(300)를 통하여 증강현실 결과를 표시함으로써 다양한 형태의 활용이 가능할 수 있는 장점이 있다. 또한, 현재 촬영되는 정보가 아닌 별도의 영상 정보를 이용하는 경우에는 해당 영상 정보에 증강현실 정보를 더함으로써 보다 효과적으로 분석하거나 재구성할 수 있는 장점이 있다.
영상 인식 장치(100)가 인식한 현실 세계에 대한 영상 정보는, 영상 인식 장치(100)에 따라 아날로그 또는 디지털 방식으로 기록 및 처리될 수 있으나, 증강현실 처리의 특성상 디지털 방식으로 기록 및 처리되는 것이 바람직하며, GPS를 통하여 얻은 위치 정보 등을 포함할 수도 있다.
증강현실 처리 장치(200)는 영상 인식 장치(100)로부터 수신한 영상 정보로부터 다수의 마커를 인식하고, 인식된 다수의 마커 중에서 대표 마커를 지정하여, 대표 마커를 기준으로 가상의 오브젝트들을 영상 인식 장치(100)로부터 수신한 현실 세계의 영상에 배치하여 증강현실 정보를 구성하는 역할을 한다. 증강현실 처리 장치(200)는 각 처리 기능에 따라 영상 인식 장치(100)로부터 수신한 영상 정보로부터 다수의 마커를 인식하는 마커 인식 모듈(210), 인식된 다수의 마커 중에서 대표 마커를 지정하는 대표 마커 지정 모듈(220), 대표 마커를 기준으로 오브젝트들을 배치하여 영상 표시 장치(300)에 표시할 증강현실 정보를 구성하는 증강 현실 구현 모듈로 구분할 수 있으며, 마커에 대한 정보와 마커에 대응하는 오브젝트 정보를 저장하는 DB 모듈(240)을 포함할 수 있다. 각 모듈들은 기능적으로 구분된 구성이며, 물리적으로 하나인 장치로 구성될 수도, 물리적으로 분리된 별도의 장치로 구성될 수도 있다. 또한, 도2와 같이 DB 모듈(240)은 증강현실 처리 장치(200) 밖에 별도로 구성될 수도 있다. DB 모듈(240)을 별도의 장치로 구성하는 경우는 DB를 보다 전문적이고 효율적인 방법으로 관리 및 처리할 수 있도록 하거나, 여러 장치들을 대상으로 정보를 제공하기 위한 목적 때문이다.
증강현실 처리 장치(200)는 영상 인식 장치(100), 영상 표시 장치(300)와 물리적으로 함께 구성되어 영상 인식 장치(100)가 인식한 영상 정보에 바로 증강현실을 구성하여 영상 표시 장치(300)에 표시되도록 할 수도 있으나, 물리적으로 분리된 별도의 장치로 있으면서 네트워크 등을 통하여 영상 인식 장치(100)로부터 영상 정보를 받아 증강현실 구현을 처리하고, 그 결과를 다시 네트워크 등을 통하여 영상 표시 장치(300)가 표시할 수 있도록 보낼 수도 있다. 증강현실 처리 장치(200)를 별도의 장치를 통하여 구현할 경우, 처리스마트폰이나 태블릿과 같은 휴대 장치 보다 고성능의 서버 등을 이용함으로써 복잡한 형태의 영상과 오브젝트들에 대해서도 보다 빠르게 증강현실 처리가 가능하고, 또 다수의 영상 표시 장치(300)를 통하여 증강현실 결과를 표시하는 등 다양한 형태의 활용이 가능할 수 있다.
마커 인식 모듈(210)은 영상 정보로부터 마커를 검출하고 검출된 마커의 종류를 인식한다. 마커는 다양한 형태를 취할 수 있으며, 복잡한 영상 정보 속에서 인식하기 쉬운 형태로 구현되는 것이 바람직하다. 그러나 마커용으로 별도로 만들어진 것이 아니더라도 특정 카드나 특정 캐릭터, 선수 등 다른 개체들과 구분할 수 있는 특징을 가지고 있는 것이라면 모두 마커로 이용할 수 있으며, 마커에 대한 정보는 사전에 DB에 저장되어 있는 것이 바람직하다. 마커를 인식할 때, 소수의 마커는 하나씩 인식해도 무방하나, 다수의 마커들이 영상 정보에 포함되어 있는 경우는 마커 인식의 효율성을 높이기 위하여 마커를 1팀, 2팀, 3팀과 같이 그룹단위로 인식하거나 또는 캐릭터 종류, 몬스터 종류, 스킬 순서와 같이 구분 또는 역할에 따른 카테고리 순으로 인식하도록 할 수 있다. 예를 들어 축구 경기 영상으로부터 마커를 인식하는 경우 선수 각각에 대해 마커를 인식할 수도 있겠지만, 각 팀을 그룹으로 하여 그룹 단위로 인식 후 각 팀별 선수에 대한 정보를 증강현실 정보를 구성할 수 있고, 또는 공격수, 수비수, 골키퍼 등 선수의 역할에 따른 카테고리 순서로 인식하여 각 팀 공격수들의 정보, 수비수들의 정보 등을 비교할 수 있는 형태로 증강현실 정보를 구성할 수도 있다. 그리고 이러한 그룹 또는 카테고리 순 인식을 위해 그룹이나 카테고리 단위로 특징 있는 마커를 부여할 수도 있다.
마커 인식 모듈(210)에서 마커 인식이 되고 추가적인 마커가 더 없으면, 대표 마커 지정 모듈(220)은 대표 마커를 확인하고 여러 마커 중 대표 마커를 지정한다. 이때, 대표 마커는 인식된 여러 마커 중 최초로 인식된 마커 또는 특정 마커가 될 수 있으며, 특정 마커는 특정 캐릭터의 마커 또는 인식된 마커가 아닌 별도의 마커일 수도 있다. 인식된 마커가 아닌 별도의 마커는, 증강현실 시나리오상 영상에서의 마커 인식 여부와 상관없이 중심이 되어 증강현실로 구현되어야 할 필요가 있는 오브젝트가 있는 경우 영상에서 인식된 것은 아니지만 마커로 추가하여 처리하게 되며, 영상 안의 정보들을 설명하기 위한 도우미 오브젝트, 게임에서 주인공 등의 캐릭터 오브젝트 등일 수 있다. 대표 마커 지정 모듈(220)은 별도의 특정 마커가 있는 경우 해당 마커를, 그렇지 않은 경우 인식된 마커 중에서 대표 마커로 지정하게 되는데, 인식된 마커 중에서 대표 마커를 지정하는 경우는 최초로 인식된 마커를 대표 마커로 지정할 수도 있고, 또는 인식된 마커 중에서 대표 마커의 특성이 있는 마커를 대표 마커로 지정할 수도 있다. 예를 들어 축구 영상에서 마커를 추출하고 대표 마커를 지정해야 할 경우, 경기 상황 정보를 표시하는 오브젝트를 대표 마커로 지정할 수도 있고, 인식된 선수 마커들 중에서 주장 또는 관심 선수로 지정한 선수의 마커를 대표 마커로 하여 증강현실 정보를 구성할 수 있다.
증강 현실 구현 모듈(230)은 영상 인식 장치(100)로부터 인식한 영상에 대표 마커 지정 모듈(220)이 지정한 대표 마커를 기준으로 오브젝트들을 배치하여 영상 표시 장치(300)에 표시할 증강현실 정보를 구성한다. 이를 통하여 다수의 마커 및 오브젝트 매핑 시 실물 마커의 적절한 배치를 통해 카메라 화면에 마커들이 전체적으로 포함이 될 수 있도록 하거나, 카메라 조작 시에도 마커 인식된 오브젝트들이 카메라 화면상에 존재하도록 조작해야 하는 불편함 없이 대표 마커를 기반으로 오브젝트를 적절하게 배치할 수 있고, 카메라 조작 또한 대표 마커 중심으로 조작하면 되기 때문에 더욱 편리한 증강현실 구현이 가능하게 된다. 도3은 대표 오브젝트가 있는 경우의 증강현실 정보 구현 예로써, 주인공 캐릭터를 대표 마커로하여 다른 오브젝트들이 주변에 배치되도록 구현된 증강현실 정보이며, 도4는 별도의 대표 오브젝트가 없는 경우 인식된 마커 중에서 중앙의 마커를 대표 마커로 하여 증강현실 정보를 구성한 예이다.
DB 모듈(240)은 마커들에 대한 DB(242)와 마커에 대응하는 오브젝트들에 대한 DB(244)를 포함하며, 마커 인식, 대표 마커 지정, 증강현실 정보 구성 시 DB 모듈의 마커 정보와 오브젝트 정보를 이용하게 된다.
영상 표시 장치(300)는 증강현실 처리 장치(200)가 구현한 증강현실 정보를 볼 수 있도록 표시해 주는 장치로, 스마트폰이나 태블릿의 디스플레이, HMD(Mead Mounted Display), 또는 통상의 모니터나 텔레비전 등 영상을 표시할 수 있는 장치는 어떤 것이든 될 수 있으며, 스포츠 등의 영상에 대하여 증강현실 정보를 구성하여 중계하는 경우 등에 텔레비전과 같은 영상 표시 장치를 통하여 표시하는 것이 적합하다.
도5는 본 발명의 실시 예에 따른 다수의 마커와 오브젝트 매핑 시 대표 마커를 이용하는 증강현실 방법의 흐름도이다.
본 발명에 의한 다수의 마커와 오브젝트 매핑 시 대표 마커를 이용하는 증강현실 방법은 증강현실 처리 장치(200)가 다수의 마커 정보를 포함한 영상 정보를 영상 인식 장치(100)로부터 수신하고(S100), 영상 인식 장치(100)로부터 수신한 영상 정보로부터 다수의 마커를 인식(S200) 후 인식된 다수의 마커 중에서 대표 마커를 지정하여(S300), 대표 마커를 기준으로 오브젝트들을 배치하여 증강현실 정보를 구성하고(S400), 증강현실 처리 장치(200)가 구성한 증강현실 정보를 영상 표시 장치(300)로 출력되도록 하는 단계(S500)로 이루어진다.
영상 정보를 수신하는 단계(S100)에서 영상 정보는 카메라를 통하여 촬영되는 현재의 현재의 현실 세계 모습의 정보일 수도 있고, 사전에 카메라를 통하여 촬영된 영상 정보일 수도 있다. 즉 현재 카메라를 통하여 촬영되는 현실 세계의 영상 정보에 가상의 오브젝트를 추가하여 증강현실을 구현할 수 있으며, 현재 촬영되는 정보가 아닌 별도의 영상 정보에 가상의 오브젝트를 추가하여 증강현실을 구현할 수도 있다.
마커 인식 단계(S200)는 영상 정보로부터 마커를 검출하고 검출된 마커의 종류를 인식하게 되는데, 마커는 다양한 형태를 취할 수 있으며, 복잡한 영상 정보 속에서 인식하기 쉬운 형태로 구현되는 것이 바람직하다. 그러나 마커용으로 별도로 만들어진 것이 아니더라도 특정 카드나 특정 캐릭터, 선수 등 다른 개체들과 구분할 수 있는 특징을 가지고 있는 것이라면 모두 마커로 이용할 수 있으며, 마커에 대한 정보는 사전에 DB에 저장되어 있는 것이 바람직하다. 마커를 인식할 때, 소수의 마커는 하나씩 인식해도 무방하나, 다수의 마커들이 영상 정보에 포함되어 있는 경우는 마커 인식의 효율성을 높이기 위하여 마커를 1팀, 2팀, 3팀과 같이 그룹단위로 인식하거나 또는 캐릭터 종류, 몬스터 종류, 스킬 순서와 같이 구분 또는 역할에 따른 카테고리 순으로 인식하도록 할 수 있다.
대표 마커 지정 단계(S300)는 대표 마커를 확인하고 여러 마커 중 대표 마커를 지정하게 되는데, 이때, 대표 마커는 인식된 여러 마커 중 최초로 인식된 마커 또는 특정 마커가 될 수 있으며, 특정 마커는 특정 캐릭터의 마커 또는 인식된 마커가 아닌 별도의 마커일 수도 있다. 인식된 마커가 아닌 별도의 마커는, 증강현실 시나리오상 영상에서의 마커 인식 여부와 상관없이 중심이 되어 증강현실로 구현되어야 할 필요가 있는 오브젝트가 있는 경우 영상에서 인식된 것은 아니지만 마커로 추가하여 처리하게 되며, 영상 안의 정보들을 설명하기 위한 도우미 오브젝트, 게임에서 주인공 등의 캐릭터 오브젝트 등일 수 있다. 대표 마커 지정 단계(S300)에서 대표 마커는, 별도의 특정 마커가 있는 경우 해당 마커를, 그렇지 않은 경우 인식된 마커 중에서 지정하게 되는데, 인식된 마커 중에서 대표 마커를 지정하는 경우는 최초로 인식된 마커를 대표 마커로 지정할 수도 있고, 또는 인식된 마커 중에서 대표 마커의 특성이 있는 마커를 대표 마커로 지정할 수도 있다.
증강 현실 구현 단계(S400)에서는 대표 마커 지정 단계(S300)에서 지정한 대표 마커를 기준으로 오브젝트들을 배치하여 영상 표시 장치(300)에 표시할 증강현실 정보를 구성한다. 이를 통하여 다수의 마커 및 오브젝트 매핑 시 실물 마커의 적절한 배치를 통해 카메라 화면에 마커들이 전체적으로 포함이 될 수 있도록 하거나, 카메라 조작 시에도 마커 인식된 오브젝트들이 카메라 화면상에 존재하도록 조작해야 하는 불편함 없이 대표 마커를 기반으로 오브젝트를 적절하게 배치할 수 있고, 카메라 조작 또한 대표 마커 중심으로 조작하면 되기 때문에 더욱 편리한 증강현실 구현이 가능하게 된다.
증강현실 정보를 출력하는 단계(S500)는 증강현실 처리된 정보를 영상 표시 장치(300)에서 표시할 수 있도록 하는 단계로, 스마트폰이나 태블릿의 디스플레이, HMD(Mead Mounted Display), 또는 통상의 모니터나 텔레비전 등의 장치를 통하여 증강현실 정보를 표시할 수 있다.
본 발명에 의한 다수의 마커와 오브젝트 매핑 시 대표 마커를 이용하는 증강현실 시스템 및 방법을 구성하는 각 요소 장치들과 세부 기능부들은 각각이 상술된 기능들을 수행하는 기능 요소들이며, 구현 방법에 따라 하나의 시스템 안에서 독립 또는 결합 된 형태로 구현될 수 있고, 별개의 독립된 시스템들로 구현된 후 네트워크 등을 통하여 상호 통신하는 방식으로 구현될 수도 있는 것으로, 그 형태는 특정한 형태로 제한되지 않는다. 또한, 본 발명을 실시 예에 기초하여 설명하였으나, 이는 본 발명을 예증하기 위한 것일 뿐 본 발명을 한정하는 것은 아니다. 또한, 통상의 기술자라면, 본 실시 예에 기초하여 다양한 변형이나 수정을 가할 수 있을 것이다. 따라서, 본 발명의 권리범위는 아래의 청구범위에 의하여 결정되어야 하며, 통상의 기술자가 행하는 그러한 변형이나 수정은 본 발명의 권리범위에 포함되는 것으로 해석될 수 있다.
100 영상 인식 장치 200 증강현실 처리 장치
210 마커 인식 모듈 220 대표 마커 지정 모듈
230 증강현실 구현 모듈 240 DB 모듈
242 마커 DB 244 오브젝트 DB
300 영상 표시 장치

Claims (9)

  1. 다수의 마커를 이용하여 증강현실을 구현하는 시스템에 있어서,
    다수의 마커 정보를 포함한 영상 정보를 취득하는 영상 인식 장치;
    상기 영상 인식 장치로부터 수신한 영상 정보로부터 다수의 마커를 인식하고, 상기 인식된 다수의 마커 중에서 대표 마커를 지정하여, 상기 대표 마커를 기준으로 오브젝트들을 상기 영상 인식 장치로부터 수신한 영상에 배치하여 증강현실 정보를 구성하는 증강 현실 처리 장치; 및
    상기 증강현실 처리 장치가 구현한 증강현실 정보를 표시하는 표시 장치를 포함하며,
    상기 오브젝트들은 상기 인식된 다수의 마커에 대응하는 다수의 오브젝트들이며,
    상기 대표 마커의 지정 이후에는 상기 다수의 마커들이 상기 영상 인식 장치의 화면에 전체적으로 포함되지 않더라도 상기 대표 마커가 상기 영상 인식 장치의 화면에 포함되는 한 상기 대표 마커를 기준으로 하여 상기 다수의 오브젝트들을 배치하여 상기 증강현실 정보를 구성하는 것을 특징으로 하는 증강현실 시스템.
  2. 제1항에 있어서, 상기 증강현실 처리 장치는,
    상기 영상 인식 장치로부터 수신한 영상 정보로부터 다수의 마커를 그룹 단위 또는 카테고리 단위로 순차적으로 인식하는 것을 특징으로 하는 증강현실 시스템.
  3. 제1항에 있어서, 상기 증강현실 처리 장치는,
    상기 인식된 다수의 마커 중에서 최초 인식된 마커 또는 특정 마커를 대표 마커로 지정하는 것을 특징으로 하는 증강현실 시스템.
  4. 다수의 마커를 이용하여 증강현실을 구현하는 장치에 있어서,
    영상 인식 장치로부터 취득한 영상 정보로부터 다수의 마커를 인식하는 마커 인식 모듈;
    상기 인식된 다수의 마커 중에서 대표 마커를 지정하는 대표 마커 지정 모듈; 및
    마커에 대한 정보와 마커에 대응하는 오브젝트의 정보를 저장하는 DB모듈;
    상기 영상 인식 장치로부터 인식한 영상에 상기 대표 마커에 대응하는 오브젝트들을 배치하는 증강 현실 구현 모듈을 포함하며,
    상기 오브젝트들은 상기 인식된 다수의 마커에 대응하는 다수의 오브젝트들이며,
    상기 대표 마커의 지정 이후에는 상기 다수의 마커들이 상기 영상 인식 장치의 화면에 전체적으로 포함되지 않더라도 상기 대표 마커가 상기 영상 인식 장치의 화면에 포함되는 한 상기 대표 마커를 기준으로 하여 상기 다수의 오브젝트들을 배치하여 상기 증강현실 정보를 구성하는 것을 특징으로 하는 증강현실 처리 장치
  5. 제4항에 있어서,
    상기 영상 인식 장치로부터 수신한 영상 정보로부터 다수의 마커를 그룹 단위 또는 카테고리 단위로 순차적으로 인식하는 것을 특징으로 하는 증강현실 처리 장치
  6. 제4항에 있어서,
    상기 인식된 다수의 마커 중에서 최초 인식된 마커 또는 특정 마커를 대표 마커로 지정하는 것을 특징으로 하는 증강현실 처리 장치
  7. 다수의 마커를 이용하여 증강현실을 구현하는 방법에 있어서,
    증강현실 처리 장치가 다수의 마커 정보를 포함한 영상 정보를 영상 인식 장치로부터 수신하는 단계;
    상기 영상 인식 장치로부터 수신한 영상 정보로부터 다수의 마커를 인식하는 단계;
    상기 인식된 다수의 마커 중에서 대표 마커를 지정하는 단계;
    상기 대표 마커를 기준으로 오브젝트들을 상기 영상 인식 장치로부터 인식한 영상에 배치하여 증강현실 정보를 구성하는 단계; 및
    상기 증강현실 처리 장치가 구성한 증강현실 정보를 영상 표시 장치로 출력되도록 하는 단계를 포함하며,
    상기 오브젝트들은 상기 인식된 다수의 마커에 대응하는 다수의 오브젝트들이며,
    상기 대표 마커의 지정 이후에는 상기 다수의 마커들이 상기 영상 인식 장치의 화면에 전체적으로 포함되지 않더라도 상기 대표 마커가 상기 영상 인식 장치의 화면에 포함되는 한 상기 대표 마커를 기준으로 하여 상기 다수의 오브젝트들을 배치하여 상기 증강현실 정보를 구성하는 것을 특징으로 하는 증강현실 구현 방법
  8. 제7항에 있어서, 상기 증강현실 구현 방법에서 다수의 마커를 인식하는 단계는,
    상기 영상 인식 장치로부터 수신한 영상 정보로부터 다수의 마커를 그룹 단위 또는 카테고리 단위로 순차적으로 인식하는 것을 특징으로 하는 증강현실 구현 방법
  9. 제7항에 있어서, 상기 증강현실 구현 방법에서 다수의 마커를 인식하는 단계는,
    상기 인식된 다수의 마커 중에서 최초 인식된 마커 또는 특정 마커를 대표 마커로 지정하는 것을 특징으로 하는 증강현실 구현 방법.
KR1020160055363A 2016-05-04 2016-05-04 대표 마커를 이용하는 증강현실 시스템 및 방법 KR101745636B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160055363A KR101745636B1 (ko) 2016-05-04 2016-05-04 대표 마커를 이용하는 증강현실 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160055363A KR101745636B1 (ko) 2016-05-04 2016-05-04 대표 마커를 이용하는 증강현실 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101745636B1 true KR101745636B1 (ko) 2017-06-20

Family

ID=59281171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160055363A KR101745636B1 (ko) 2016-05-04 2016-05-04 대표 마커를 이용하는 증강현실 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101745636B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019059725A1 (en) * 2017-09-22 2019-03-28 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR PROVIDING SERVICE OF INCREASED REALITY
KR102021700B1 (ko) * 2018-05-30 2019-09-16 부산대학교 산학협력단 사물인터넷 기반 환자 맞춤형 의사소통장애 재활 방법
KR20190136243A (ko) * 2018-05-30 2019-12-10 호남대학교 산학협력단 환자처치실습을 위한 증강현실구현방법
EP3646292A4 (en) * 2017-09-22 2020-07-22 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR PROVIDING AN EXTENDED REALITY SERVICE

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014203382A (ja) * 2013-04-09 2014-10-27 コニカミノルタ株式会社 表示装置、表示方法、および表示プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014203382A (ja) * 2013-04-09 2014-10-27 コニカミノルタ株式会社 表示装置、表示方法、および表示プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019059725A1 (en) * 2017-09-22 2019-03-28 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR PROVIDING SERVICE OF INCREASED REALITY
EP3646292A4 (en) * 2017-09-22 2020-07-22 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR PROVIDING AN EXTENDED REALITY SERVICE
KR102021700B1 (ko) * 2018-05-30 2019-09-16 부산대학교 산학협력단 사물인터넷 기반 환자 맞춤형 의사소통장애 재활 방법
KR20190136243A (ko) * 2018-05-30 2019-12-10 호남대학교 산학협력단 환자처치실습을 위한 증강현실구현방법
KR102077607B1 (ko) * 2018-05-30 2020-02-17 호남대학교 산학협력단 환자처치실습을 위한 증강현실구현방법

Similar Documents

Publication Publication Date Title
WO2021073292A1 (zh) 一种ar场景图像处理方法、装置、电子设备及存储介质
KR101745636B1 (ko) 대표 마커를 이용하는 증강현실 시스템 및 방법
US8970623B2 (en) Information processing system, information processing method, information processing device and tangible recoding medium recording information processing program
US9779553B2 (en) System and method for defining an augmented reality view in a specific location
CN104081317B (zh) 信息处理设备和信息处理方法
US9378570B2 (en) Information processing device, information processing method and program
EP3869469A1 (en) Augmented reality display system, terminal device and augmented reality display method
US9064335B2 (en) System, method, device and computer-readable medium recording information processing program for superimposing information
WO2011118282A1 (ja) 世界座標系データベースを利用したサーバ及び端末
US20140192164A1 (en) System and method for determining depth information in augmented reality scene
EP2700040A2 (en) Color channels and optical markers
CN107305435A (zh) 在增强现实和虚拟现实环境之间链接和交互的系统和方法
US20200097732A1 (en) Markerless Human Movement Tracking in Virtual Simulation
CN110457414A (zh) 离线地图处理、虚拟对象显示方法、装置、介质和设备
EP2418621A1 (en) Apparatus and method for providing augmented reality information
CN108021896B (zh) 基于增强现实的拍摄方法、装置、设备及计算机可读介质
KR101895813B1 (ko) 마커의 분할 및 결합을 통한 오브젝트 생성 증강 현실 장치 및 그 방법
US20150265922A1 (en) Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information processing method
CN112653848B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN104484814B (zh) 一种基于视频地图的广告方法及系统
JP2020008972A (ja) 情報処理装置、情報処理方法及びプログラム
US20210118237A1 (en) Augmented reality scene image processing method and apparatus, electronic device and storage medium
JP5812550B1 (ja) 画像表示装置、画像表示方法及びプログラム
CN112637665B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111569414B (zh) 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160504

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20161118

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170526

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170602

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170602

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200429

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210531

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220419

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20231030

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20241104

Start annual number: 8

End annual number: 8