KR101820379B1 - 입체형 더블 마커 기반의 증강 현실 장치 - Google Patents

입체형 더블 마커 기반의 증강 현실 장치 Download PDF

Info

Publication number
KR101820379B1
KR101820379B1 KR1020160096730A KR20160096730A KR101820379B1 KR 101820379 B1 KR101820379 B1 KR 101820379B1 KR 1020160096730 A KR1020160096730 A KR 1020160096730A KR 20160096730 A KR20160096730 A KR 20160096730A KR 101820379 B1 KR101820379 B1 KR 101820379B1
Authority
KR
South Korea
Prior art keywords
augmented reality
stereoscopic
markers
image
unit
Prior art date
Application number
KR1020160096730A
Other languages
English (en)
Inventor
강태준
김준하
김지후
Original Assignee
강태준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강태준 filed Critical 강태준
Priority to KR1020160096730A priority Critical patent/KR101820379B1/ko
Application granted granted Critical
Publication of KR101820379B1 publication Critical patent/KR101820379B1/ko

Links

Images

Classifications

    • H04N13/0436—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 입체형 더블 마커 기반의 증강 현실 장치에 관한 것이고, 구체적으로 서로 분리가 되어 위치하는 두 개의 입체형 마커에 기초하여 증강 현실을 구현하는 입체형 더블 마커 기반의 증강 현실 장치에 관한 것이다. 입체형 더블 마커 기반의 증강 현실 장치는 서로 분리된 두 개의 입체형 마커(M1, M2)를 탐지하거나 또는 생성시키는 한 쌍의 위치 생성 유닛(11a, 11b); 한 쌍의 위치 생성 유닛(11a, 11b)의 착용을 위한 착용 유닛(12a, 12b) 및 착용 유닛(12a, 12b)의 적어도 하나에 배치되는 영상 조절 유닛(14)을 포함하고, 상기 두 개의 입체형 마커(M1, M2)는 디스플레이 스크린의 기준이 되고, 영상 조절 유닛(14)에 의하여 크기 조절이 되는 것을 특징으로 한다.

Description

입체형 더블 마커 기반의 증강 현실 장치{An Apparatus for Generating an Augmented Reality Based on Double Dimensional Markers}
본 발명은 입체형 더블 마커 기반의 증강 현실 장치에 관한 것이고, 구체적으로 서로 분리가 되어 위치하는 두 개의 입체형 마커에 기초하여 증강 현실을 구현하는 입체형 더블 마커 기반의 증강 현실 장치에 관한 것이다.
대상으로부터 마커를 검출하고, 검출된 마커를 실제 물체와 정합시키고, 마커를 추적하면서(tracking) 실제 물체에 가상 물체를 추가하는 증강 현실 기술이 다양한 분야에 적용되고 있다. 증강 현실의 구현 과정은 가상 세계를 현실 세계와 결합하여 현실 세계에서 다양한 정보를 제공하기 위하여 현실 세계에 대한 정보를 획득한다. 그리고 컴퓨터와 같은 장치를 통하여 가공 처리된 가상 세계의 정보를 획득된 현실 세계에 대한 정보와 종합하여 휴대용 전자기기의 디스플레이 또는 헤드-마운트 디스플레이를 통하여 출력한다. 증강 현실에 대한 다양한 기술이 이 분야에 공지되어 있고, 특허등록번호 제10-1277737호는 서로 유사성이 없는 패턴을 가지고 있는 1 개의 기준 마커와 3개의 서브 마커로 구성된 마커의 배열, 영상 디바이스를 통해 입력된 정보를 전처리하고 상기 전처리가 된 영상에서 기준 마커, 서브 마커를 검출하는 마커 검출부, 상기 기준 마커, 서브 마커, 마커 배열의 정보를 저장하고 있는 정보 데이터베이스부와 사용자에게 제공되는 콘텐츠와 콘텐츠의 정보를 저장하고 있는 증강 객체 데이터베이스, 상기 마커 검출부에서 검출된 마커들의 ID를 이용하여 1차원 배열을 생성하고 이를 기반으로 마커 정보 데이터베이스에서 콘텐츠를 검색하고 사용자에게 제공하는 콘텐츠 제공부를 포함하는 다중 마커 배열을 이용하는 증강 현실 시스템에 대하여 개시한다.
특허공개번호 제10-2012-0135967호는 외부로부터 정보를 수신하는 마커 정보 수신부, 적외선 카메라에 의해 인식되는 다수의 적외선 엘이디를 포함하는 적외선 엘이디 발광부로서 적외선 엘이디가 사각형의 모서리에 대응되도록 배열되어 있고, 사각형의 모서리에 대응되는 어느 일 적외선 엘이디에 인접하는 두 적외선 엘이디를 잇는 두 선분 상에 위치하는 적외선 엘이디가 추가로 배열되어 상기 적외선 카메라에 대한 상대적 위치 및 자세에 대한 정보를 나타내는 위치 영역 및 적외선 엘이디가 행렬 형태로 배열되어 구현될 증강 현실 영상의 종류에 대한 정보를 나타내는 종류 영역으로 구성된 적외선 엘이디 발광부, 상기 적외선 엘이디 발광부로부터의 적외선을 외부로 투과시키는 적외선 마커 표시부, 상기 마커 정보 수신부로부터 수신된 적외선 마커에 대한 정보에 의해 상기 적외선 엘이디 발광부를 제어하는 제어부를 포함하여, 상기 다수의 적외선 엘이디의 배열 및 발광에 의해 증강 현실 영상에 정보를 포함하는 마커 정보의 실시간 변경 및 다수의 마커 제작을 위한 증강 현실 기반의 적외선 마커 활용 방법에 대하여 개시한다.
특허공개번호 제10-2006-0065159호는 3차원 마커 인지 방법을 이용한 증강 현실 및 복합 현실 제공 장치로서, 가상 개체로 이용될 실사의 영상 데이터를 수집하기 위한 영상 데이터 수집 장치; 상기 수집된 영상 데이터로부터 가상 개체로 사용될 마커를 인지 및 추적하여 마커 ID를 추출하여 가상 개체 정보를 생성하기 위한 입력 영상 처리장치; 상기 영상 데이터 수집 장치 및 상기 입력 영상 처리 장치를 생성된 가상 개체 정보를 상기 실사의 영상 데이터에 투영되어 합성되도록 처리 및 출력하기 위한 출력 영상 처리 장치 및 상기 출력 영상 처리 장치로부터 출력되는 영상 데이터를 전달받아 디스플레이하기 위한 디스플레이 장치를 포함하는 3차원 마커 인지 방법을 이용한 증강 현실 및 복합 현실 제공 장치에 대하여 개시한다.
상기 선행기술은 마커에 기초하여 증강 현실을 생성하는 기술에 대하여 개시하지만 증강 현실의 디스플레이 영상의 기준이 되는 서로 분리된 두 개의 입체 마커에 기초하는 증강 현실 장치에 대하여 개시하지 않는다. 두 개의 서로 분리된 마커를 기준으로 영상이 디스플레이가 되면서 영상의 크기가 주변 환경, 마커의 위치 환경 또는 사용자의 환경에 따라 영상의 크기 또는 방향이 조절되면 장치 구조가 간단해지면서 영상의 제어가 용이해질 수 있다. 또한 두 개의 마커를 기준으로 디스플레이가 되어야 하는 영상이 명확해질 수 있다. 상기 선행기술은 이와 같은 두 개의 입체 마커가 디스플레이 영상의 기준이 되는 방법에 대하여 개시하지 않는다.
본 발명은 선행기술이 가진 문제점을 해결하기 위한 것으로 아래와 같은 목적을 가진다.
선행기술 1: 특허등록번호 제10-1277737호(한남대학교 산학협력단, 2013년06월24일 공고) 다중 마커 배열을 이용하는 증강현실 시스템 및 그 방법 선행기술 2: 특허공개번호 제10-2012-0135967호(순천대학교 산학협력단, 2012년12월18일 공개) 마커 정보의 실시간 변경 및 다수의 마커 제작을 위한 증강현실 기반의 적외선 마커 활용 방법 선행기술 3: 특허공개번호 제10-2006-0065159호(주식회사 제니텀, 2006년06월14일 공개) 3차원 마커 인지 방법 및 이를 이용한 증강 현실 및 복합 현실 제공 방법 및 장치
본 발명의 목적은 두 개의 서로 분리된 입체 마커를 기준으로 디스플레이 영상이 표시되면서 영상의 크기 조절이 가능하도록 하는 입체형 더블 마커 기반의 증강 현실 장치를 제공하는 것이다.
본 발명의 적절한 실시 형태에 따르면, 입체형 더블 마커 기반의 증강 현실 장치는 서로 분리된 두 개의 입체형 마커를 탐지하거나 또는 생성시키는 한 쌍의 위치 생성 유닛; 한 쌍의 위치 생성 유닛의 착용을 위한 착용 유닛; 및 착용 유닛의 적어도 하나에 배치되는 영상 조절 유닛을 포함하고, 상기 두 개의 입체형 마커는 디스플레이 스크린의 기준이 되고, 영상 조절 유닛에 의하여 크기 조절이 되는 것을 특징으로 한다.
본 발명의 다른 적절한 실시 형태에 따르면, 두 개의 입체형 마커는 동일 또는 서로 다른 입체 구조를 가지고, 적어도 하나의 시각 패턴을 가지는 것을 특징으로 한다.
본 발명의 또 다른 적절한 실시 형태에 따르면, 위치 생성 유닛은 외부 환경을 탐지하여 디스플레이 영상의 조건을 설정하는 설정 스크린을 더 포함한다.
본 발명의 또 다른 적절한 실시 형태에 따르면, 두 개의 입체형 마커는 서로 분리된 정육면체 형상이 되고, 적외선에 의하여 탐지 가능한 것을 특징으로 한다.
본 발명의 또 다른 적절한 실시 형태에 따르면, 영상 조절 유닛은 스크롤 구조, 휠 구조 또는 모션 인식 구조가 되는 것을 특징으로 한다.
본 발명에 따른 증강 현실 장치는 두 개의 입체 구조의 마커를 디스플레이의 기준으로 하는 것에 의하여 마커 정합 및 가상 영상 생성 과정이 간단해지도록 한다. 또한 본 발명에 따른 증강 현실 장치는 가상 디스플레이 영역의 설정이 두 개의 입체 구조의 마커에 의하여 이루어지는 것에 의하여 별도의 방향 또는 위치 탐지가 요구되지 않는다. 또한 본 발명에 따른 증강 현실 장치는 다양한 주변 환경에 기초하여 디스플레이 영상의 제어 또는 조절이 가능하도록 한다.
도 1은 본 발명에 따른 증강 현실 장치의 실시 예를 개략적으로 도시한 것이다.
도 2는 본 발명에 따른 증강 현실 장치의 작동 과정의 실시 예를 도시한 것이다.
도 3은 본 발명에 따른 안경 구조를 가지는 증강 현실 장치의 실시 예를 도시한 것이다.
도 4는 본 발명에 따른 증강 현실 장치에 의하여 증강 현실이 구현되는 실시 예를 도시한 것이다.
아래에서 본 발명은 첨부된 도면에 제시된 실시 예를 참조하여 상세하게 설명이 되지만 실시 예는 본 발명의 명확한 이해를 위한 것으로 본 발명은 이에 제한되지 않는다. 아래의 설명에서 서로 다른 도면에서 동일한 도면 부호를 가지는 구성요소는 유사한 기능을 가지므로 발명의 이해를 위하여 필요하지 않는다면 반복하여 설명이 되지 않으며 공지의 구성요소는 간략하게 설명이 되거나 생략이 되지만 본 발명의 실시 예에서 제외되는 것으로 이해되지 않아야 한다.
도 1은 본 발명에 따른 증강 현실 장치(10)의 실시 예를 개략적으로 도시한 것이다.
도 1을 참조하면, 증강 현실 장치(10)는 서로 분리된 두 개의 입체형 마커(M1, M2)를 탐지하거나 또는 생성시키는 한 쌍의 위치 생성 유닛(11a, 11b); 한 쌍의 위치 생성 유닛(11a, 11b)의 착용을 위한 착용 유닛(12a, 12b); 및 착용 유닛(12a, 12b)의 적어도 하나에 배치되는 영상 조절 유닛(14)을 포함하고, 상기 두 개의 입체형 마커(M1, M2)는 디스플레이 스크린의 기준이 되고, 영상 조절 유닛(14)에 의하여 크기 조절이 된다.
본 발명에 따른 증강 현실 장치에서 AR 브라우저(Augmented Reality Browser)는 헤드 마운트 디스플레이 장치(Head Mounted Display Apparatus: HMD) 또는 안경 구조의 디스플레이 장치에 설치될 수 있다. 그리고 이미지 처리 프로세서와 같은 장치는 독립적으로 설치되거나 주변 휴대용 전자기기에 설치되어 AR 브라우저와 데이터 통신이 가능하도록 형성될 수 있다. 증강 현실 장치의 구현을 위한 모듈 또는 탐지 유닛은 HMD, 휴대용 전자기기 또는 다른 착용 기기와 같이 다양한 기기 또는 장치에 설치되어 본 발명에 따른 증강 현실 장치와 연계되어 작동될 수 있다.
본 발명에 따른 증강 현실 장치(10)는 안경 구조로 만들어질 수 있지만 이는 예시적인 것으로 머리에 착용될 수 있는 다양한 구조로 만들어질 수 있다. 증강 현실 장치(10)가 헤드 마운트 디스플레이 장치(HMD) 구조로 만들어지는 것은 디스플레이 스크린이 양쪽 눈 또는 한쪽 눈의 앞쪽에 설치되어 영상이 표시되는 것을 의미한다. 그러므로 증강 현실의 구현을 위한 다양한 장치가 유선 또는 무선으로 연결되어 다양한 위치에 배치될 수 있고, 이로 인하여 증강 현실 장치(10)는 다양한 구조로 만들어질 수 있고 본 발명은 제시된 실시 예에 제한되지 않는다.
입체형 마커(M1, M2)는 서로 분리되어 위치할 수 있고, 다양한 마커 생성 애플리케이션에 의하여 생성될 수 있다. 입체형 마커(M1, M2)는 증강 현실 구현 대상물에 미리 예를 들어 3D 프린트와 같은 장치에 의하여 프린트가 되거나 증강 현실 구현 대상물로부터 생성될 수 있다. 증강 현실 구현 대상물로부터 생성되는 것은 실제 영상의 특정 부분이 입체형 마커(M1, M2)로 선택되거나 미리 프로그램에 의하여 만들어진 입체형 마커(M1, M2)가 증강 현실 구현 대상물에 배치되는 것을 의미한다. 생성된 입체형 마커(M1, M2)는 가상 영상이 디스플레이가 되어야 하는 영역에 배치될 수 있다. 그리고 생성된 입체형 마커(M1, M2)는 증강 현실 장치(10)에 배치된 카메라 또는 적외선 인식 센서 등에 의하여 추출될 수 있다. 또는 증강 현실 장치(10)에 의하여 현실 영상의 정해진 부분에 대하여 입체형 마커(M1, M2)가 생성될 수 있고, 생성되는 입체형 마커(M1, M2)는 입체 형상으로 서로 분리된 한 쌍이 될 수 있다.
입체형 마커(M1, M2)는 서로 분리되어 배치되거나 생성될 수 있고, 예를 들어 정육면체와 같은 입체 형상이 될 수 있다. 이와 같이 미리 프린트가 된 한 쌍의 입체형 마커(M1, M2)는 위치 생성 유닛(11a, 11b)에 의하여 탐지되거나 생성될 수 있다. 그리고 한 쌍의 입체형 마커(M1, M2)는 디스플레이 스크린의 기준이 될 수 있다. 위치 생성 유닛(11a, 11b)은 카메라를 포함하거나 카메라에서 전송된 이미지 파일로부터 입체형 마커(M1, M2)를 추출하는 기능을 가질 수 있다. 입체형 마커(M1, M2)는 적어도 하나의 시각 패턴(VP1, VP2)을 포함할 수 있고, 시각 패턴(VP1, VP2)은 입체형 마커(M1, M2)를 식별하는 기준이 될 수 있고, 각각의 입체형 마커(M1, M2)에 형성될 수 있다. 시각 패턴(VP1, VP2)은 입체 형상의 마커(M1, M2)의 적어도 하나의 면에 형성될 수 있지만 바람직하게 적어도 2개의 면에 형성될 수 있다. 시각 패턴(VP1, VP2)은 입체형 마커(M1, M2)의 위치를 표시하면서 이와 동시에 입체형 마커(M1, M2)와 위치 생성 유닛(11a, 11b)의 상대적인 방향을 나타내는 기능을 가질 수 있다. 예를 들어 시각 패턴(VP1, VP2)은 보는 방향에 따라 형상이 다르게 되도록 입체형 마커(M1, M2)에 프린트와 같은 방식으로 표시가 될 수 있고, 이에 의하여 위치 생성 유닛(11a, 11b)과 입체형 마커(M1, M2) 사이의 방향 또는 거리가 산출될 수 있다. 마커리스(Marker-less) 구조에서 증강 현실 구현 방식의 경우 구조물의 특정 부분 또는 가상 마커에 이러한 시각 패턴(VP1, VP2)이 형성될 수 있다. 입체 구조를 가지는 마커(M1, M2)의 하나의 면에 다수 개의 시각 패턴(VP1, VP2)이 형성될 수 있고, 다양한 형상의 시각 패턴(VP1, VP2)이 입체형 마커(M1, M2)에 형성될 수 있다. 위치 생성 유닛(11a, 11b)은 카메라를 포함할 수 있고, 카메라에 의하여 실물 영상이 획득될 수 있다. 그리고 실물 영상이 획득되면, 위치 생성 유닛(11a, 11b)은 실물 영상으로부터 입체형 마커(M1, M2)를 추출하고, 추출된 입체형 마커(M1, M2)로부터 실물 영상에 대한 거리, 실물 영상의 크기 또는 실물 영상의 방향을 결정할 수 있다. 그리고 도 1에 도시된 것처럼, 증강 현실 영상이 표시될 가상 스크린(SC)이 결정될 수 있다. 위치 생성 유닛(11a, 11b)은 가상 스크린(SC)의 형성을 위한 다양한 유닛을 포함할 수 있고, 예를 들어 디스플레이 유닛을 포함할 수 있다. 대안으로 위치 생성 유닛(11a, 11b)은 입체형 마커(M1, M2)를 탐지하고, 그에 따라 입체형 마커(M1, M2)를 기준으로 카메라에 의하여 실물 영상을 획득할 수 있다. 입체형 마커(M1, M2)는 자체적으로 신호를 발생시키거나 위치 생성 유닛(11a, 11b)에서 발생된 신호를 반사시킬 수 있다. 예를 들어 입체형 마커(M1, M2)에서 적외선 신호가 발생되어 위치 생성 유닛(11a. 11b)에 의하여 탐지될 수 있다. 그리고 입체형 마커(M1, M2)가 탐지되면 카메라의 위치가 조절되어 입체형 마커(M1, M2)를 기준으로 실물 영상이 얻어질 수 있다.
위치 생성 유닛(11a, 11b)은 AR 브라우저를 포함할 수 있고, AR 브라우저는 가상 영상 서버, 휴대용 전자기기 또는 증강 현실 장치(10)에 배치된 가상 영상 메모리와 데이터 통신이 가능하고 또한 이미지 처리 유닛과 데이터 통신이 가능한 구조를 가질 수 있다. 획득된 실물 영상의 처리, 가상 영상과 정합 또는 입체형 마커(M1, M2)의 트래킹은 이 분야에서 공지된 방법에 따라 이루어질 수 있다. 가상 스크린(SC)이 입체형 마커(M1, M2)의 미리 설정된 위치를 기준으로 설정되고, 추출된 입체형 마커(M1, M2)의 정보에 따라 실물 영상과 정합이 된 가상 영상이 디스플레이가 될 수 있다. 그리고 가상 스크린(SC)의 크기가 영상 조절 유닛(14)에 의하여 조절될 수 있다.
영상 조절 유닛(14)은 예를 들어 스크롤 구조, 휠 구조 또는 모션 인식 구조가 될 수 있고, 버튼, 휠 또는 스크롤이 착용 유닛(12a, 12b)에 배치될 수 있다. 착용 유닛(12a, 12b)은 안경의 다리와 유사한 구조가 될 수 있지만 이에 제한되지 않고, 위치 생성 유닛(11a, 11b)의 착용이 가능한 다양한 구조로 만들어질 수 있다. 그리고 영상 조절 유닛(14)이 착용 유닛(12a, 12b)에 배치될 수 있다. 서로 분리된 두 개의 입체형 마커(M1, M2)는 가상 스크린(SC)의 서로 다른 두 점의 위치를 결정할 수 있다. 예를 들어 두 개의 입체형 마커(M1, M2)는 사각형상이 되는 가상 스크린(SC)의 아래쪽 변의 양쪽 끝점 또는 대각선의 양쪽 끝점이 될 수 있다. 그리고 영상 조절 유닛(14)의 조절에 의하여 양쪽 끝점이 위치가 조절될 수 있고, 그에 따라 가상 스크린(SC)의 크기 또는 위치가 조절될 수 있다. 이와 같은 방법으로 가상 스크린(SC)의 위치를 조절하는 것에 의하여 다양한 위치에 증강 현실 영상이 디스플레이가 되도록 하면서 이와 동시에 증강 현실 영상의 조절이 간단해지도록 한다.
위치 생성 유닛(11a, 11b)은 서로 분리된 두 개의 생성 모듈로 이루어질 수 있고, 영상 조절 유닛(14)에 의하여 연결될 수 있다. 영상 조절 유닛(14)의 각각의 위치 생성 유닛(11a, 11b)에서 증강 현실 영상이 표시되는 상태를 조절하는 기능을 가질 수 있고, 예를 들어 두 개의 위치 생성 유닛(11a, 11b)에 의하여 증강 현실 영상이 디스플레이가 되거나, 하나의 위치 생성 유닛(11a 또는 11b)에 의하여 증강 현실 영상이 재생되거나 또는 각각의 위치 생성 유닛(11a, 11b)에 서로 다른 형태의 증강 현실 영상이 재생되도록 할 수 있다.
본 발명에 따른 증강 현실 장치(10)는 다양한 방법으로 작동될 수 있고 제시된 실시 예에 제한되지 않는다.
도 2는 본 발명에 따른 증강 현실 장치의 작동 과정의 실시 예를 도시한 것이다.
도 2를 참조하면, 증강 현실 장치의 전체 작동을 제어하기 위하여 마이크로프로세서와 같은 중앙 처리 유닛을 포함하는 제어 유닛(21)이 배치될 수 있다. 연결 탐지 유닛(26)에 의하여 증강 현실 장치(10)가 외부 서버 또는 스마트폰과 같은 휴대용 전자기기와 연결 상태가 탐지 되어 제어 유닛으로 전송될 수 있다. 그리고 위치 탐지 유닛(27)에 의하여 탐지된 증강 현실 장치의 위치가 탐지되어 제어 유닛(21)으로 전송될 수 있다. 위치 탐지 유닛(27)은 예를 들어 GPS가 탑재된 임의의 장치가 될 수 있고, 제어 유닛(21)은 위치 탐지 유닛(27)에 의하여 전송된 위치 정보에 기초하여 제어 유닛(21)이 위치를 결정할 수 있고, 이와 동시에 마커의 위치 또는 증강 현실이 구현되어야 하는 실물의 위치를 산출할 수 있다. 제어 유닛(21)은 제출된 정보에 기초하여 증강 현실 장치의 모드 설정 유닛(22)을 작동을 제어할 수 있다. 모드 설정 유닛(22)은 두 개의 위치 생성 유닛의 작동 방식을 결정할 수 있고, 예를 들어 하나의 위치 생성 유닛에 가상 스크린이 생성되고, 나머지 하나의 위치 생성 유닛은 작동되지 않도록 할 수 있다. 그리고 모드 설정 유닛(22)의 작동에 의하여 영상 획득 유닛(23)이 작동될 수 있다. 영상 획득 유닛(23)은 카메라를 포함할 수 있고, 이와 동시에 위치 조절 수단을 포함할 수 있다. 또한 증강 현실 장치의 구조에 따라 마커 탐지 및 추출 수단을 포함할 수 있다. 그리고 영상 획득 유닛(23)에 의하여 마커가 배치된 실물 영상이 획득되면 제어 유닛(21)은 실물 영상에 기초하여 가상 영상을 생성하거나 가상 영상을 선택할 수 있다. 그리고 마커 설정 유닛(24)에 의하여 가상 스크린의 형성 기준이 되는 마커의 위치가 설정될 수 있다. 마커 설정 유닛(24)은 마커의 최초 위치, 거리, 방향 또는 스크린 표시의 기준점을 설정하는 기능을 가질 수 있다. 이와 같은 방법으로 마커 설정 유닛(24)에 의하여 마커가 설정되면, 마커 기준 영상 설정 유닛(25)에 의하여 가상 스크린의 형상 및 가상 스크린의 배치 구조가 결정될 수 있다. 예를 들어 가상 스크린 구조는 사각형, 원형, 타원형 또는 분리된 두 개의 원형이 될 수 있다. 또한 가상 스크린과 마커의 상대적인 위치를 결정하기 위한 기준이 설정될 수 있다. 그리고 영상 조절 유닛(251)에 의하여 가상 스크린의 영상이 조절이 될 수 있다. 영상 조절 유닛(251)은 위에서 설명된 스크롤, 휠 또는 이와 유사한 조절 수단을 포함할 수 있고, 영상 조절 수단의 작동에 따른 영상 변화가 결정할 수 있다.
본 발명은 다양한 구조로 만들어져 다양한 방법으로 작동될 수 있고 제시된 실시 예에 제한되지 않는다.
도 3은 본 발명에 따른 안경 구조를 가지는 증강 현실 장치의 실시 예를 도시한 것이다.
도 3을 참조하면, 증강 현실 장치는 안경테 형상의 생성 프레임(31) 및 생성 프레임(31)에 결합되어 머리에 착용이 가능하도록 하는 착용 유닛(12a, 12b)을 포함할 수 있다. 생성 프레임(31)의 한쪽에 조절 박스(33)가 배치될 수 있고, 다른 한쪽에 제어 박스(34)가 배치될 수 있다. 그리고 생성 프레임(33)에 위치 생성 유닛(11a, 11b)이 배치될 수 있고, 위치 생성 유닛(11a, 11b)의 앞쪽에 설정 스크린(32)이 배치될 수 있다.
조절 박스(33)에 가상 스크린에서 표시되는 증강 현실 영상의 작동을 제어하는 다양한 부품 또는 소자가 배치될 수 있고, 위에서 설명된 영상 조절 유닛과 연결될 수 있다. 제어 박스(34)에 제어 유닛, 배터리 또는 통신 유닛이 배치될 수 있다. 그리고 착용 유닛(12a, 12b)에 접촉 센서(S1)가 배치될 수 있고, 접촉 센서(S1)에 의하여 증강 현실 장치의 착용 상태가 확인될 수 있고, 그에 의하여 위치 생성 유닛(11a, 11b)의 위치가 탐지될 수 있다. 접촉 센서(S1)는 각각의 착용 유닛(12a, 12b)에 배치될 수 있고, 다수 개가 될 수 있다.
생성 프레임(31)에 환경 탐지 유닛(35)이 배치될 수 있고, 환경 탐지 유닛(35)은 예를 들어 온도, 습도 또는 공기 오염도와 같이 증강 현실 구현에 영향을 미치는 환경 조건의 탐지하기 위한 탐지 유닛을 포함할 수 있다. 또한 설정 스크린(32)에 조도 센서(371, 372)가 배치되어 각각이 위치 생성 유닛(11a, 11b)의 조도가 탐지될 수 있다. 그리고 조도 센서(371, 372)에서 탐지된 정보에 따라 각각의 위치 생성 유닛(11a, 11b)의 디스플레이 조건이 결정될 수 있다. 또한 위치 생성 유닛(11a, 11b)의 중간 부분에 균형 유닛(38)이 배치될 수 있고, 균형 유닛(38)에 의하여 위치 생성 유닛(11a, 11b)의 방향이 탐지될 수 있다. 또한 영상 조절 유닛(14)이 착용 유닛(12a, 12b)에 배치될 수 있고, 착용 유닛(12a, 12b)에 또한 충전 잭(36)이 배치될 수 있다.
본 발명에 따른 증강 현실 장치는 다양한 구조로 만들어질 수 있고 본 발명은 제시된 실시 예에 제한되지 않는다.
도 4는 본 발명에 따른 증강 현실 장치에 의하여 증강 현실이 구현되는 실시 예를 도시한 것이다.
도 4를 참조하면, 증강 현실 장치(10)의 작동을 위하여 증강 서버(41)와 연결이 설정될 수 있다. 증강 서버(41)와 연결이 설정되면, 증강 현실 장치(10)에 배치된 카메라에 의하여 마커를 포함하는 영상이 획득될 수 있고, 획득된 영상은 영상 처리 모듈(43)에 의하여 처리 될 수 있다. 영상 처리 모듈(43)은 실물 영상을 처리하여 가상 영상과 결합될 수 있는 형태로 처리할 수 있다. 처리된 실물 영상으로 마커 탐지 모듈(44)에 의하여 마커가 탐지될 수 있고, 탐지된 마커에 대한 정보가 획득될 수 있다. 그리고 획득된 마커 정보는 증강 현실 장치(10)의 제어 유닛에서 처리도어 영상 결정 모듈(45)로 전송될 수 있다. 그리고 영상 결정 모듈(45)은 전송된 마커 정보에 기초하여 증강 현실 장치에 가상 스크린을 설정하여 증강 현실을 구현할 수 있다.
가상 스크린에 증강 현실 영상이 표시되기 이전 또는 표시되는 과정에서 상황 탐지 모듈(42)에 의하여 증강 현실 장치(10)의 사용 환경이 탐지될 수 있다. 그리고 상황 탐지 모듈(42)에 의하여 탐지된 상황 정보에 기초하여 증강 현실 장치(10)의 작동 환경이 결정될 수 있다.
본 발명에 따른 증강 현실 장치(10)는 다양한 형태의 증강 서버(41) 또는 휴대용 전자기기와 연동되어 작동될 수 있고 본 발명은 제시된 실시 예에 제한되지 않는다.
본 발명에 따른 증강 현실 장치는 두 개의 입체 구조의 마커를 디스플레이의 기준으로 하는 것에 의하여 마커 정합 및 가상 영상 생성 과정이 간단해지도록 한다. 또한 본 발명에 따른 증강 현실 장치는 가상 디스플레이 영역의 설정이 두 개의 입체 구조의 마커에 의하여 이루어지는 것에 의하여 별도의 방향 또는 위치 탐지가 요구되지 않는다. 또한 본 발명에 따른 증강 현실 장치는 다양한 주변 환경에 기초하여 디스플레이 영상의 제어 또는 조절이 가능하도록 한다.
위에서 본 발명은 제시된 실시 예를 참조하여 상세하게 설명이 되었지만 이 분야에서 통상의 지식을 가진 자는 제시된 실시 예를 참조하여 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다양한 변형 및 수정 발명을 만들 수 있을 것이다. 본 발명은 이와 같은 변형 및 수정 발명에 의하여 제한되지 않으며 다만 아래에 첨부된 청구범위에 의하여 제한된다.
10: 증강 현실 장치 11a, 11b: 위치 생성 유닛
12a, 12b: 착용 유닛 14: 영상 조절 유닛
21: 제어 유닛 22: 모드 설정 유닛
23: 영상 획득 유닛 24: 마커 설정 유닛
25: 마커 기준 영상 설정 유닛 26: 연결 탐지 유닛
27: 위치 탐지 유닛 31: 생성 프레임
32: 설정 스크린 33: 조절 박스
34: 제어 박스 35: 환경 탐지 유닛
36: 충전 잭 38: 균형 유닛
41: 증강 서버 42: 상황 탐지 모듈
43: 영상 처리 모듈 44: 마커 탐지 모듈
45: 영상 결정 모듈 251: 영상 조절 유닛
371, 372: 조도 센서 M1, M2: 입체형 마커
S1: 접촉 센서 SC: 가상 스크린
VP1, VP2: 시각 패턴

Claims (5)

  1. 서로 분리된 두 개의 입체형 마커(M1, M2)를 탐지하거나 또는 생성시키는 한 쌍의 위치 생성 유닛(11a, 11b);
    한 쌍의 위치 생성 유닛(11a, 11b)의 착용을 위한 착용 유닛(12a, 12b); 및
    착용 유닛(12a, 12b)의 적어도 하나에 배치되는 영상 조절 유닛(14)을 포함하고,
    상기 두 개의 입체형 마커(M1, M2)는 디스플레이 스크린의 기준이 되고, 영상 조절 유닛(14)에 의하여 크기 조절이 되며,
    상기 두 개의 입체형 마커(M1, M2)는 동일 또는 서로 다른 입체 구조를 가지고, 보는 방향에 따라 형상이 다르게 표현되는 적어도 2개의 시각 패턴(VP1, VP2)을 각각 가지며, 상기 두 개의 입체형 마커(M1, M2)로부터의 시각 패턴(VP1, VP2)에 의해 상기 위치 생성 유닛(11a, 11b)과 상기 두 개의 입체형 마커(M1, M2) 사이의 방향 또는 거리가 산출되는 것을 특징으로 하는 입체형 더블 마커 기반의 증강 현실 장치.
  2. 삭제
  3. 청구항 1에 있어서, 위치 생성 유닛(11a, 11b)은 외부 환경을 탐지하여 디스플레이 영상의 조건을 설정하는 설정 스크린(32)을 더 포함하는 입체형 더블 마커 기반의 증강 현실 장치.
  4. 청구항 1에 있어서, 두 개의 입체형 마커(M1, M2)는 서로 분리된 정육면체 형상이 되고, 적외선에 의하여 탐지 가능한 것을 특징으로 하는 입체형 더블 마커 기반의 증강 현실 장치.
  5. 청구항 1에 있어서, 영상 조절 유닛(14)은 스크롤 구조, 휠 구조 또는 모션 인식 구조가 되는 것을 특징으로 하는 입체형 더블 마커 기반의 증강 현실 장치.
KR1020160096730A 2016-07-29 2016-07-29 입체형 더블 마커 기반의 증강 현실 장치 KR101820379B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160096730A KR101820379B1 (ko) 2016-07-29 2016-07-29 입체형 더블 마커 기반의 증강 현실 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160096730A KR101820379B1 (ko) 2016-07-29 2016-07-29 입체형 더블 마커 기반의 증강 현실 장치

Publications (1)

Publication Number Publication Date
KR101820379B1 true KR101820379B1 (ko) 2018-01-19

Family

ID=61025303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160096730A KR101820379B1 (ko) 2016-07-29 2016-07-29 입체형 더블 마커 기반의 증강 현실 장치

Country Status (1)

Country Link
KR (1) KR101820379B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006313549A (ja) * 2005-05-03 2006-11-16 Seac02 Srl 実マーカオブジェクトを識別する拡張現実システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006313549A (ja) * 2005-05-03 2006-11-16 Seac02 Srl 実マーカオブジェクトを識別する拡張現実システム

Similar Documents

Publication Publication Date Title
US11488366B2 (en) Augmented reality lighting effects
US10395116B2 (en) Dynamically created and updated indoor positioning map
US11693242B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US10488659B2 (en) Apparatus, systems and methods for providing motion tracking using a personal viewing device
CN112926428B (zh) 使用合成图像训练对象检测算法的方法和系统和存储介质
US9779512B2 (en) Automatic generation of virtual materials from real-world materials
US9858707B2 (en) 3D video reconstruction system
EP3422153A1 (en) System and method for selective scanning on a binocular augmented reality device
KR20160148680A (ko) 동적 환경에서의 좌표 프레임의 결정
CN102959616A (zh) 自然交互的交互真实性增强
JP2011128220A (ja) 情報提示装置、情報提示方法及びプログラム
US11016559B2 (en) Display system and display control method of display system
CN103873840A (zh) 显示方法及显示设备
US20170090203A1 (en) Visual indicator for transparent display alignment
TWI453462B (zh) 智慧型電子裝置之虛擬望遠系統及其方法
US11024040B2 (en) Dynamic object tracking
KR101756713B1 (ko) 입체형 다중 마커 구조의 증강 현실 구현 시스템 및 그 방법
US10755434B2 (en) Low feature object detection and pose estimation for image data streams
CN116137902A (zh) 用于红外光检测的计算机视觉相机
US11205309B2 (en) Augmented reality system and anchor display method thereof
KR101820379B1 (ko) 입체형 더블 마커 기반의 증강 현실 장치
CN111047713A (zh) 一种基于多目视觉定位的增强现实交互系统
JP2019053644A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
US10620436B2 (en) Head-mounted apparatus
KR101274334B1 (ko) 비전기반의 증강현실 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant