KR20110136038A - 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템 - Google Patents

복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템 Download PDF

Info

Publication number
KR20110136038A
KR20110136038A KR1020100055798A KR20100055798A KR20110136038A KR 20110136038 A KR20110136038 A KR 20110136038A KR 1020100055798 A KR1020100055798 A KR 1020100055798A KR 20100055798 A KR20100055798 A KR 20100055798A KR 20110136038 A KR20110136038 A KR 20110136038A
Authority
KR
South Korea
Prior art keywords
sensors
augmented reality
sensor
data
reality device
Prior art date
Application number
KR1020100055798A
Other languages
English (en)
Inventor
김재형
홍종철
이정규
Original Assignee
주식회사 비즈모델라인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비즈모델라인 filed Critical 주식회사 비즈모델라인
Priority to KR1020100055798A priority Critical patent/KR20110136038A/ko
Publication of KR20110136038A publication Critical patent/KR20110136038A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템에 관한 것으로서, 증강현실 장치-모바일 장치, HMD(Head Mount Display) 등에 탑재된 카메라 장치-를 이용하는 사용자가 위치한 지역에 위치하며, 증강현실 장치가 향하는 방향을 측정하기 위한 기준이 되는 N(N=1, 2, ..., n)개의 센서(A)와, 상기 N개의 센서(A) 각각에서 전송하는 센서 데이터를 수신하는 M(M=1, 2, ..., m)개의 센서(B)와, 상기 N개의 센서(A) 각각으로부터 수신된 센서 데이터를 기반으로 M개의 센서 각각에 대한 위치한 위치정보를 산출하고, 상기 산출된 M개의 센서(B) 각각의 위치정보를 기반으로 증강현실 장치의 방향을 트래킹하는 증강현실 장치를 포함한다.

Description

복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템{System for Tracking Augmented Reality Device using Several Sensor}
본 발명은 증강현실 장치가 위치한 지역의 다수의 고정센서와, 상기 다수의 고정센서로부터 제공되는 센서 데이터를 센싱하는 센서가 구비된 증강현실 장치를 이용하여, 증강현실 장치에 부착된 센서의 위치를 확인하고, 확인된 위치를 이용한 증강현실 장치의 방향을 확인하여, 증강현실 장치의 방향에 따른 각종 서비스를 제공하는 시스템을 제공하는 것이다.
디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.
최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키현실과 구분된다.
상기 증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 상기 마커를 인식하여 상기 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제현실을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시범되지 못하고 있다.
또한, 상기 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재하며, 상술된 방법 이외에 카메라를 통해 실제현실을 촬영하지 않고 인간의 눈이 그 너머의 실제현실을 바라보는 투명한 물건(예컨대, 안경, 고글, 유리창 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 상기 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 상기 투명 디스플레이 상에 가상현실 데이터를 표시하는 방법이 이론적으로 존재한다.
한편 상기 증강현실은 게임 등의 분야에 이용될 수 있는데, 게임 등의 분야에서는 사용자의 시선에 따라 증강현실을 이용한 서비스를 제공하기엔, 난해한 문제점이 존재한다.
상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 증강현실 장치에 다수의 센서를 구비하고, 증강현실 장치가 위치한 지역에 구비된 고정센서를 구비하며, 상기 고정센서가 전송하는 센서 데이터를 기반으로 증강현실 장치에 구비된 센서 위치를 확인한 후, 확인된 센서의 위치를 이용하여 증강현실 장치가 바라보는 방향을 확인하여, 증강현실 장치를 이용한 각종 서비스를 제공하는 것이다.
본 발명에 따른 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템은, 증강현실 장치-모바일 장치, HMD(Head Mount Display) 등에 탑재된 카메라 장치-를 이용하는 사용자가 위치한 지역에 위치하며, 증강현실 장치가 향하는 방향을 측정하기 위한 기준이 되는 N(N=1, 2, ..., n)개의 센서(A)와, 상기 N개의 센서(A) 각각에서 전송하는 센서 데이터를 수신하는 M(M=1, 2, ..., m)개의 센서(B)와, 상기 N개의 센서(A) 각각으로부터 수신된 센서 데이터를 기반으로 M개의 센서 각각에 대한 위치한 위치정보를 산출하고, 상기 산출된 M개의 센서(B) 각각의 위치정보를 기반으로 증강현실 장치의 방향을 트래킹하는 증강현실 장치를 포함한다.
본 발명에 따르면, 증강현실 장치의 방향 확인을 통해 증강현실 장치를 이용한 각종 서비스를 제공하는데 편의를 주는 것이 가능하다.
도 1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 증강현실 장치(100)의 방향을 트래킹하는 과정을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따른 고정센서를 기준으로 증강현실 장치(100)에 구비된 센서의 위치를 산출하는 방법을 도시한 도면이다.
도 4는 본 발명의 실시 방법에 따른 고정센서를 기준으로 증강현실 장치(100)에 구비된 센서의 위치를 산출하기 위해, 고정센서가 매치되는 실시 방법을 도시한 도면이다.
도 5는 본 발명의 실시 방법에 따른 고정센서를 기준으로 증강현실 장치(100)에 구비된 센서의 위치를 산출하기 위해, 증강현실 장치(100)에 탑재되는 센서가 배치되는 실시 방법을 도시한 도면이다.
도 6은 본 발명의 실시 방법에 따른 고정센서를 기준으로 증강현실 장치(100)에 구비된 센서의 위치를 산출하는 실시 방법을 도시한 도면이다.
도 7은 본 발명의 실시 방법에 따른 증강현실 장치(100)에 구비된 센서에 대한 좌표가 산출된 후, 증강현실 장치(100)의 방향을 트래킹하는 실시 방법을 도시한 도면이다.
도 8은 본 발명의 실시 방법에 따른 증강현실 장치(100)를 이용한 게임방법을 제공하는 예시를 도시한 도면이다.
본 발명에 따른 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템은, 증강현실 장치-모바일 장치, HMD(Head Mount Display) 등에 탑재된 카메라 장치-를 이용하는 사용자가 위치한 지역에 위치하며, 증강현실 장치가 향하는 방향을 측정하기 위한 기준이 되는 N(N=1, 2, ..., n)개의 센서(A)와, 상기 N개의 센서(A) 각각에서 전송하는 센서 데이터를 수신하는 M(M=1, 2, ..., m)개의 센서(B)와, 상기 N개의 센서(A) 각각으로부터 수신된 센서 데이터를 기반으로 M개의 센서 각각에 대한 위치한 위치정보를 산출하고, 상기 산출된 M개의 센서(B) 각각의 위치정보를 기반으로 증강현실 장치의 방향을 트래킹하는 증강현실 장치를 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템에 있어서, 상기 복수개의 센서(A)는, 정방형으로 설치되는 것을 특징으로 한다.
본 발명에 따른 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템에 있어서, 상기 증강현실 장치는, 상기 N개의 센서(A) 각각에서 전송하는 센서 데이터를 센싱하는 M(M=1, 2, ..., m)개의 센서(B)로부터 센싱된 센서 데이터를 수신하는 센서데이터 수신부와, 상기 센싱된 센서 데이터를 기반으로 M개의 센서(B) 각각에 대한 위치정보-N개의 센서(A)가 위치한 지역에 대한 상대적인 위치정보-를 산출하는 위치정보 산출부와, 상기 산출된 M개의 센서(B) 각각에 대한 위치정보를 기반으로 상기 증강현실 장치의 방향을 확인하는 방향 확인부를 구비하여 이루어지는 것을 특징으로 한다.
이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성요소와 본 발명을 위해 추가된 구성요소 사이의 관계도 명백하게 이해할 수 있을 것이다.
또한, 이하 실시예는 본 발명의 핵심적인 기술적 특징을 효율적으로 설명하기 위해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 명백하게 이해할 수 있도록 용어를 적절하게 변형하여 사용할 것이나, 이에 의해 본 발명이 한정되는 것은 결코 아니다.
결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
도면1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.
보다 상세하게 본 도면1은 사용자가 위치한 지역에 구비된 N(N=1, 2, ..., n)개의 고정센서와, 상기 고정센서와 통신하는 적어도 M(M=3, ..., m)개의 센서로부터 신호를 수신하고, 상기 수신된 신호를 기반으로 상기 M개의 센서 각각에 대한 상기 N개의 고정센서가 위치한 지역 내에서의 상대적인 위치정보를 산출하고, 상기 산출된 M개의 센서 각각에 대한 위치정보를 기반으로 상기 M개의 센서가 구비된 증강현실 장치(100)의 방향을 트래킹하는 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
본 발명의 증강현실 장치(100)는 실제현실 데이터를 획득하는 기능, 가상현실 데이터를 획득하는 기능, 상기 실제현실 데이터로부터 가상현실 데이터를 표시할 객체를 결정하는 기능, 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하여 출력하는 기능을 구비한 장치의 총칭으로서, 상기 실제현실 데이터를 획득하는 방식, 가상현실 데이터를 획득하는 방식, 객체를 결정하는 방식 및 상기 객체에 가상현실 데이터를 표시하는 방식에 의해 한정되지 아니한다. 예를들어, 상기 실제현실 데이터는 카메라를 통해 실시간 입력되거나, 또는 장치 내 메모리에 저장되어 있거나, 또는 통신망을 통해 수신될 수 있다. 상기 가상현실 데이터는 장치 내 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 미리 준비된 하나 이상의 프레임(Frame) 데이터와 텍스쳐(Texture) 데이터를 조합하여 실시간 생성될 수 있다. 상기 가상현실 데이터가 표시될 객체는 마커/마커리스 방식 중 어느 방식을 이용하여 결정되어도 무방하다. 상기 객체에 가상현실 데이터를 표시하는 방식은 실제현실 데이터와 가상현실 데이터를 조합한 하나의 출력 데이터를 생성하여 표시하는 방식, 출력 데이터에 실제현실 계층(Layer)와 가상현실 계층을 구비하고 실제현실 데이터는 실제현실 계층에 표시하고 가상현실 데이터는 가상현실 계층에 표시하는 방식, 투명 디스플레이 너머의 객체 위치에 가상현실 데이터만 표시하는 방식이 사용될 수 있다.
또한, 상기 증강현실 장치(100)는 장치를 구성하는 구조에 의해 한정되지 아니한다. 예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 형태 등으로 구현될 수 있다.
도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(120), 메모리부(175) 및 출력부(105)를 구비하며, 실제현실 데이터를 획득하는 방식에 따라 카메라부(170)를 더 구비하고, 가상현실 데이터를 획득하는 방식에 따라 통신부(115)를 더 구비하고, 실제현실 데이터 상의 객체를 결정하는 방식에 따라 센서부(165)를 더 구비하고, 사용자 조작을 위한 조작부(110)를 더 구비할 수 있다.
상기 제어부(120)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(120) 내에 도시하여 설명하기로 한다.
상기 메모리부(175)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(120)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.
본 발명의 실시 방법에 따르면, 상기 메모리부(175)는 상기 실제현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(175)는 상기 실제현실 데이터를 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 메모리부(175)는 상기 가상현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(175)는 상기 가상현실 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.
상기 출력부(105)는 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 출력장치를 포함하며, LCD와 같은 일반 출력장치와 안경, 고글, 유리창과 같은 투명 출력장치 중 어느 하나를 포함할 수 있다.
상기 카메라부(170)는 광학부와 CCD(Charge Coupled Device)로 구성된 카메라로부터 래스터(Raster) 기반의 실제현실 데이터를 비트맵 방식으로 독출하는 장치를 포함한다. 여기서, 상기 실제현실 데이터는 이미지 데이터 또는 동영상 데이터를 포함할 수 있다. 본 발명에 따르면, 상기 카메라부(170)는 상기 획득되는 실제현실 데이터 중 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 센서부(165)의 기능을 더 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 카메라부(170)는 상기 실제현실 데이터를 실시간 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
상기 통신부(115)는 어느 하나의 통신 규격과 프로토콜에 따라 유선 통신망과 무선 통신망 중 어느 하나의 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망을 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.
본 발명의 실시 방법에 따르면, 상기 통신부(115)는 통신망 상의 서버(또는 장치)에 저장된 실제현실 데이터를 수신하는 실제현실 획득수단의 기능을 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 통신부(115)는 통신망 상의 서버(또는 장치)에 저장된 가상현실 데이터를 수신하는 가상현실 획득수단의 기능을 수행할 수 있다.
상기 센서부(165)는 어느 하나의 센서로부터 아날로그 신호 또는 디지털 신호 형태의 센서신호를 획득하는 장치를 포함한다. 여기서, 상기 센서는 환경 변화에 따라 전기적 신호(예컨대, 저항, 전류, 전압)를 발생시키는 전기적 신호 센서와, 상기 카메라와 같이 실제현실 데이터를 획득한 후 상기 실제현실 데이터 중 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 카메라 센서를 포함할 수 있다. 본 발명에 따르면, 상기 센서가 카메라 센서를 포함하는 경우 상기 센서부(165)는 상기 카메라부(170)와 통합될 수 있다.
또한, 상기 센서부(165)는 사용자가 위치한 지역에 구비된 N(N=1, 2, ..., n)개의 고정센서와 통신하는 적어도 M(M=3, ..., m)개의 센서를 포함한다.
상기 조작부(110)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 장치를 포함한다. 상기 조작부(110)는 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 출력부(105)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈을 포함하며, 상기 카메라부(170) 또는 센서부(165)와 연동하여 사용자의 손 동작, 몸 동작 및 눈 움직임 중 어느 하나를 인식하여 사용자 조작에 필요한 정보를 입력받는 사용자 인식 모듈을 더 포함할 수 있다.
도면1을 참조하면, 상기 증강현실 장치(100)는, 하나 이상의 실제현실 획득수단을 통해 실제현실 데이터를 입력하는 실제현실 입력부(125)와, 상기 실제현실 데이터로부터 가상현실 데이터를 출력할 객체를 인식하는 객체 인식부(130)와, 상기 객체에 표시할 가상현실 데이터를 결정하는 가상현실 결정부(135)와, 하나 이상의 가상현실 획득수단을 통해 상기 결정된 가사현실 데이터를 입력하는 가상현실 입력부(140)와, 상기 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 표시하여 상기 출력부(105)를 통해 출력하는 증강현실 출력부(145)를 구비한다.
상기 실제현실 입력부(125)는 상기 카메라부(170)를 통해 입력되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(105)를 통해 출력할 실제현실 데이터로 입력하거나, 또는 상기 메모리부(175)에 저장되어 있거나 또는 상기 메모리부(175)로 실시간 저장되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(105)를 통해 출력할 실제현실 데이터로 입력하거나, 또는 상기 통신부(115)를 통해 수신되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(105)를 통해 출력할 실제현실 데이터로 입력한다.
상기 실제현실 데이터가 입력되면, 상기 객체 인식부(130)는 상기 실제현실 데이터를 판독하여 가상현실 데이터를 출력할 하나 이상의 객체를 인식한다.
본 발명의 일 실시 방법에 따르면, 상기 객체 인식부(130)는 상기 실제현실 데이터를 판독하여 마커를 검출하고, 상기 마커가 검출된 위치를 가상현실 데이터를 출력할 객체로 인식할 수 있다. 여기서, 상기 마커는 미리 정의된 기호, 부호, 문양 중 어느 하나를 포함할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 객체 인식부(130)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 상기 색상/채도를 기준으로 구분되는 영역의 경계 선을 검출하고, 상기 검출된 경계선을 연결 및 조합하여 기 설정된 기하학 구조를 갖는 하나 이상의 객체 영역을 인식하고, 상기 객체 영역을 가상현실 데이터를 출력할 객체를 인식할 수 있다. 여기서, 상기 색상/채도 값은 RGB(Red, Green, Blue) 팔레트 값을 색상/채도로 변환하는 행렬식을 통해 추출될 수 있다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 실제현실 데이터가 카메라부(170)를 통해 실시간 입력되는 경우, 상기 객체 인식부(130)는 상기 센서부(165)와 카메라부(170)의 시선 방향을 일치시킨 후, 상기 카메라부(170)를 통해 입력되는 데이터의 좌표계와 상기 센서부(165)를 통해 센싱되는 센싱신호의 좌표계를 매칭하여 특정 센서신호가 검출되는 좌표 값을 가상현실 데이터를 출력할 객체로 인식할 수 있다. 또는 상기 실제현실 데이터에 객체 위치를 판별하기 위한 메타 데이터가 포함되거나 또는 링크된 경우, 상기 메타 데이터를 참조하여 상기 가상현실 데이터를 출력할 객체로 인식할 수 있다.
상기 가상현실 결정부(135)는 상기 실제현실 데이터로부터 검출된 객체에 표시할 가상현실 데이터를 결정한다. 만약 상기 실제현실 데이터 상의 객체에 표시할 가사현실 데이터가 어느 하나의 가상현실 데이터로 고정되는 경우, 상기 가상현실 결정부(135)는 상기 고정된 상기 객체 인식부(130)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
본 발명의 일 실시 방법에 따르면, 상기 객체가 마커를 통해 인식된 경우, 상기 가상현실 결정부(135)는 상기 마커 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 만약 상기 마커에 상기 가상현실 데이터를 결정하기 위한 정보가 부호화되어 포함된 경우, 상기 가상현실 결정부(135)는 상기 객체 인식부(130)를 통해 인식된 마커에 포함된 부호화 정보를 인식 및 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 가상현실 결정부(135)는 상기 객체 인식부(130)를 통해 인식된 객체의 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 또는 상기 실제현실 데이터에 상기 가상현실 데이터를 결정하기 위한 별도의 표시가 포함된 경우, 상기 표시를 판독하여 상기 객체 인식부(130)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 실제현실 데이터가 메모리부(175)에 저장되어 있거나 또는 통신부(115)를 통해 수신되는 데이터이고, 상기 실제현실 데이터에 가상현실 데이터를 결정하기 위한 메타 데이터가 포함되거나 또는 링크된 경우, 상기 가상현실 결정부(135)는 상기 메타 데이터를 참조하여 상기 객체 인식부(130)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
상기 가상현실 입력부(140)는 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 가상현실 데이터 중 상기 가상현실 결정부(135)를 통해 결정된 가상현실 데이터를 상기 실제현실 데이터의 객체에 표시할 가상현실 데이터로 입력한다.
상기 증강현실 출력부(145)는 상기 실제현실 입력부(125)를 통해 입력되는 실제현실 데이터 상의 객체에 상기 가상현실 입력부(140)를 통해 입력되는 가상현실 데이터를 표시한 후, 상기 출력부(105)를 통해 출력한다.
본 발명의 일 실시 방법에 따르면, 상기 증강현실 출력부(145)는 상기 실제현실 데이터 상의 객체에 투명영역을 포함하는 가상현실 데이터를 중첩시켜 증강현실 데이터를 생성한 후, 상기 증강현실 데이터를 상기 출력부(105)를 통해 출력할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 증강현실 출력부(145)는 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성한 후, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고 상기 실제현실 데이터의 객체 위치에 대응하는 가상현실 계층에 가상현실 데이터를 출력하여 상기 출력부(105)를 통해 출력할 수 있다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 출력부(105)가 투명 디스플레이를 포함하는 경우, 상기 증강현실 출력부(145)는 상기 객체 인식부(130)를 통해 결정된 투명 디스플레이 상의 객체 위치에 상기 가상현실 데이터만 표시하여 출력할 수 있다.
도면1을 참조하면, 상기 증강현실 장치(100)는, 증강현실 장치(100)에 대한 방향을 트래킹하기 위해, 상기 증강현실 장치(100)가 위치한 지역 내에 구비된 N개의 고정센서가 전송하는 센서 데이터를 상기 센서부(165)를 통해 센싱한 센싱 데이터를 수신하는 센서데이터 수신부(150)와, 상기 수신된 센서 데이터를 기반으로 상기 증강현실 장치(100)에 구비된 M개의 센서 각각에 대한 위치정보를 산출하는 위치정보 산출부(155)와,, 상기 산출된 M개의 센서 각각에 대한 위치정보를 기반으로 상기 증강현실 장치(100)에 대한 방향을 트래킹하는 방향 확인부(160)를 구비한다.
상기 센서데이터 수신부(150)는 증강현실 장치(100)에 대한 방향을 트래킹하기 위해, 상기 증강현실 장치(100)가 위치한 지역 내에 구비된 N개의 고정센서가 전송하는 센서 데이터를 상기 증강현실 장치(100)에 구비된 M개의 센서를 포함한 센서부(165)를 통해 센싱한 센싱 데이터를 수신한다.
본 발명의 실시 방법에 따르면, 상기 N개의 고정센서가 전송하는 센서 데이터를 센싱한 상기 증강현실 장치(100)에 구비된 M개의 센서를 통해 수신되는 센서 데이터는, 상기 N개의 고정센서가 전송하는 센서 데이터를 통해 상기 N개의 고정센서 각각을 식별하기 위한 식별자를 포함한다.
상기 N개의 고정센서가 전송하는 센서 데이터가 수신되면, 상기 위치정보 산출부(155)는 상기 수신된 센서 데이터를 기반으로 상기 N개의 고정센서가 위치한 지역에 대한 M개의 센서 각각에 대한 위치정보를 산출한다.
본 발명의 실시 방법에 따르면, 상기 M개의 센서 각각에 대한 위치정보 산출은, N개의 고정센서로부터 센싱되는 센서 데이터를 수신한 M개의 센서를 기반으로, N개의 고정센서가 전송하는 센서 데이터의 수신시간을 각각 확인하고, 상기 확인된 센서 데이터의 수신시간 차이를 기반으로 N개의 고정센서 각각에 대한 방향을 확인하고, 센서 데이터의 도달시간을 기반으로, N개의 센서 각각에 대응하는 M개의 센서 각각에 대한 거리를 확인하여, N개의 고정센서에 대응되는 M개의 센서에 대한 위치정보를 확인한다.
본 발명의 다른 실시 방법에 따르면, 고정센서와 증강현실 장치(100)가 통신을 통해, 고정센서가 전송하는 센서 데이터 상에 센서 데이터를 전송하는 시간을 포함하여 전송하고, 상기 증강현실 장치(100)가 센서 데이터를 수신시, 상기 수신된 센서 데이터에 포함된 센서 데이터를 전송하는 시간을 이용하여 거리를 산출하고, 상기 산출된 거리를 이용한 증강현실 장치(100)에 구비된 M개 센서에 대한 위치정보를 확인하는 것이 가능하다.
여기서, 상기 위치정보는 상기 N개의 고정센서가 위치한 지역에 대응하는 N개의 고정센서를 기반으로 확인되는 2차원 평면을 기준으로 확인되는 좌표이다.
또한, 상기 M개의 고정센서는 정방형으로 설치되며, 상기 정방형으로 설치된 지역 내에서 증강현실 장치(100)에 구비된 N개의 센서 각각에 대한 위치정보를 산출한다.
또한, 상기 증강현실 장치(100)에 구비된 N개의 센서는 적어도 3개 이상을 구비하며, 상기 N개의 센서에 대한 위치정보를 기반으로 상기 증강현실 장치(100)에 대한 방향을 확인한다.
상기 위치정보 산출부(155)를 통해 M개의 센서 각각에 대한 위치정보가 산출되면, 상기 방향 확인부(160)는 상기 확인된 N개의 센서에 대응하는 위치정보를 기반으로 상기 증강현실 장치(100)에 대한 방향을 확인한다.
여기서, 상기 확인된 N개의 센서에 대응하는 위치정보를 기반으로 증강현실 장치(100)에 대한 방향을 확인하는 것은, 증강현실 장치(100)에 구비된 N개의 센서 위치에 따라 확인하며, 이하 도시될 실시예를 통해 상세히 설명한다.
도면2는 본 발명의 실시 방법에 따른 증강현실 장치(100)의 방향을 트래킹하는 과정을 도시한 도면이다.
보다 상세하게 본 도면2는 상기 도면1에 도시된 증강현실 장치(100)를 통해 사용자가 위치한 지역에 구비된 N(N=1, 2, ..., n)개의 고정센서와, 상기 고정센서와 통신하는 적어도 M(M=3, ..., m)개의 센서로부터 신호를 수신하고, 상기 수신된 신호를 기반으로 상기 M개의 센서 각각에 대한 상기 N개의 고정센서가 위치한 지역 내에서의 상대적인 위치정보를 산출하고, 상기 산출된 M개의 센서 각각에 대한 위치정보를 기반으로 상기 M개의 센서가 구비된 증강현실 장치(100)의 방향을 트래킹하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 증강현실 장치(100)의 방향을 트래킹하는 방법에 대한 다양한 실시 방법(예컨대, 일부 과정의 순서가 변경되거나, 또는 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면2를 참조하면, 상기 도면1에 도시된 증강현실 장치(100)는, 상기 증강현실 장치(100)가 위치한 지역에 구비된 N개의 고정센서가 전송하는 센서 데이터를 상기 증강현실 장치(100)에 구비된 M개의 센서로 센싱한 센서 데이트를 수신하고(200), 상기 M개의 센서를 통해 수신된 센서 데이터에 대한 M개 센서 각각이 수신한 수신시간을 확인한다(205).
즉, N개 고정센서 중 어느 하나가 전송하는 센서 데이터를 M개의 센서가 시간차를 두고 수신하며, 수신되는 시간차를 기반으로 센서 데이터를 전송한 N개 고정센서 중 어느 하나에 대한 방향 및 위치를 확인하는 것이 가능하다.
만약, 상기 M개 센서 각각에서 상기 N개 고정센서 중 어느 하나를 기준으로 센서 데이터가 수신되는 수신시간이 확인되지 않는 다면(210), 상기 증강현실 장치(100)는 상기 N개 고정센서 중 어느 하나에 대한 다음 센서 데이터 수신을 대기한다.
반면, 상기 M개 센서 각각에서 상기 N개 고정센서 중 어느 하나를 기준으로 센서 데이터가 수신되는 수신시간이 확인되면(210), 상기 확인된 수신시간을 기반으로 N개 고정센서 각각에 대한 M개 센서 각각의 방향 및 거리를 산출하고(215), 상기 산출된 M개 센서 각각에 대한 방향 및 거리를 기반으로 증강현실 장치(100)의 방향을 트래킹한다(220).
도면3은 본 발명의 실시 방법에 따른 고정센서를 기준으로 증강현실 장치(100)에 구비된 센서의 위치를 산출하는 방법을 도시한 도면이다.
보다 상세하게 본 도면3은 상기 도면1에 도시된 증강현실 장치(100)에서, 사용자가 위치한 지역에 구비된 N(N=1, 2, ..., n)개의 고정센서와, 상기 고정센서와 통신하는 적어도 M(M=3, ..., m)개의 센서로부터 신호를 수신하고, 상기 수신된 신호를 기반으로 상기 M개의 센서 각각에 대한 상기 N개의 고정센서가 위치한 지역 내에서의 상대적인 위치정보를 산출하는 방법을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 고정센서를 기준으로 증강현실 장치(100)에 구비된 센서의 위치를 산출하는 방법에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면3을 참조하면, 좌표(31, y1)(이하, ‘A’), 좌표(32, y2)(이하 ‘B’), 좌표(33, y3)(이하 ‘C’)에 위치한 고정센서가 전송하는 센서 데이터를 수신한 좌표(3, y)에 위치한 증강현실 장치(100)는, 증강현실 장치(100)에 구비된 M개 센서를 이용하여, 센서 데이터가 수신되는 시간을 각각 확인(즉, M개 센서 데이터의 위치에 따라 최초 센서 데이터가 수신된 시간을 0으로 설정하고, 나머지 센서가 각각 센서 데이터를 수신하는 시간을 확인)하여, 센서 데이터를 전송한 고정센서 A, B, C 중 센서 데이터를 전송한 고정센서에 대한 방향 및 거리를 산출한다.
즉, 증강현실 장치(100)에 구비된 M개의 센서를 통해 N개의 고정센서가 전송하는 센서 데이터를 센싱할 경우, 센서 데이터를 센싱하는 시간차를 이용한 센서 데이터의 전송 시간 및 센서 데이터가 입사되는 각도를 측정하는 것이 가능하며, 이를 기준으로 N개의 고정센서에 대한 각각의 방향 및 거리가 산출된다.
도면4는 본 발명의 실시 방법에 따른 고정센서를 기준으로 증강현실 장치(100)에 구비된 센서의 위치를 산출하기 위해, 고정센서가 매치되는 실시 방법을 도시한 도면이다.
보다 상세하게 본 도면4는 상기 도면1에 도시된 증강현실 장치(100)에서, 사용자가 위치한 지역에 구비된 N(N=1, 2, ..., n)개의 고정센서와, 상기 고정센서와 통신하는 적어도 M(M=3, ..., m)개의 센서로부터 신호를 수신하고, 상기 수신된 신호를 기반으로 상기 M개의 센서 각각에 대한 상기 N개의 고정센서가 위치한 지역 내에서의 상대적인 위치정보를 산출하기 위해, 상기 N개의 고정센서가 배치되는 실시 방법을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 고정센서를 기준으로 증강현실 장치(100)에 구비된 센서의 위치를 산출하기 위해, 고정센서가 배치되는 방법에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면4를 참조하면, N개의 고정센서인 S1 내지 S4 위치를 기준으로 증강현실 장치(100)에 구비된 센서의 위치를 산출하기 위해, 상기 S1 내지 S4 고정센서를 정방향으로 위치시켜, (0, 0) ~ (4, y) 좌표 각각의 끝점에 4개의 포인트가 위치한다.
즉, 고정센서 S1을 (0, 0) 좌표로 설정할 경우, 고정센서 S2는 (0, y) 좌표, 고정센서 S3은 (4, 0) 좌표, 고정센서 S4는 (4, y) 좌표를 가지게 되며, 사용자가 소지한 증강현실 장치(100)는 상기 4개의 고정센서(S1 내지 S4) 내에 위치한다.
여기서, 증강현실 장치(100)의 위치에 대한 정밀도를 높이기 위해서는 고정센서의 개수를 늘리는 것이 가능하며, 늘어나는 고정센서의 개수만큼 더 상세한 증강현실 장치(100)에 구비된 센서에 대한 위치 확인이 가능하다.
도면5는 본 발명의 실시 방법에 따른 고정센서를 기준으로 증강현실 장치(100)에 구비된 센서의 위치를 산출하기 위해, 증강현실 장치(100)에 탑재되는 센서가 배치되는 실시 방법을 도시한 도면이다.
보다 상세하게 본 도면5는 상기 도면1에 도시된 증강현실 장치(100)에서, 사용자가 위치한 지역에 구비된 N(N=1, 2, ..., n)개의 고정센서와, 상기 고정센서와 통신하는 적어도 M(M=3, ..., m)개의 센서로부터 신호를 수신하고, 상기 수신된 신호를 기반으로 상기 M개의 센서 각각에 대한 상기 N개의 고정센서가 위치한 지역 내에서의 상대적인 위치정보를 산출하기 위해, 상기 M개의 고정센서가 배치되는 실시 방법을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여 상기 고정센서를 기준으로 증강현실 장치(100)에 구비된 센서의 위치를 산출하기 위해, 증강현실 장치(100)에 탑재되는 센서가 배치되는 실시 방법에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면5를 참조하면, 증강현실 장치(100)에 구비되는 3개의 센서는 2D(즉, 평면) 상의 위치로 볼 때, 전면 좌우의 끝지점과, 후면의 가운데 위치에 위치하며, 이를 기반으로 센서의 좌표를 확인할 경우, 2개 센서를 기준(즉, 증강현실 장치(100)의 전면을 기준)으로 한 후면 센서를 이용한 방향 확인이 가능하다.
또한, 증강현실 장치(100)에 구비되는 3개의 센서를 3D(즉, 입체) 상의 위치로 볼 때, 전면 상측에 2개의 센서와, 후면 하단에 1개의 센서를 위치시킬 경우, 3개의 센서 위치를 기반으로 증강현실 장치(100)가 향하는 방향을 확인하는 것이 가능하다.
도면6은 본 발명의 실시 방법에 따른 고정센서를 기준으로 증강현실 장치(100)에 구비된 센서의 위치를 산출하는 실시 방법을 도시한 도면이다.
보다 상세하게 본 도면6은 상기 도면1에 도시된 증강현실 장치(100)에서, 사용자가 위치한 지역에 구비된 N(N=1, 2, ..., n)개의 고정센서와, 상기 고정센서와 통신하는 적어도 M(M=3, ..., m)개의 센서로부터 신호를 수신하고, 상기 수신된 신호를 기반으로 상기 M개의 센서 각각에 대한 상기 N개의 고정센서가 위치한 지역 내에서의 상대적인 위치정보를 산출하는 실시 방법을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여 상기 고정센서를 기준으로 증강현실 장치(100)에 구비된 센서의 위치를 산출하는 실시 방법에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면6을 참조하면, 고정센서 S1, S2, S3 S4 중 적어도 3개 이상의 고정센서로부터 센서 데이터를 수신하는 증강현실 장치(100)에 구비된 센서 S5, S6, S7은, 각각 고정센서 S1, S2, S3, S4가 전송하는 센서 데이터를 수신하여, 고정센서로부터의 거리(또는 증강현실 장치(100)로부터 고정센서까지 거리)를 산출하고, 상기 산출된 거리를 기반으로 증강현실 장치(100)에 구비된 센서 각각에 대한 좌표를 확인한다.
즉, 도면3에 도시된 실시 방법에 따라, 증강현실 장치(100)에 구비된 센서 S5의 좌표 확인시, 고정센서 S1, S2, S3로부터 수신되는 센서 데이터에 대한 고정센서 각각에 대한 좌표를 기반으로 센서 S5의 좌표를 확인한다.
또한, 도면3에 도시된 실시 방법에 따라, 증강현실 장치(100)에 구비된 센서 S6의 좌표 확인시, 고정센서 S1, S2, S3로부터 수신되는 센서 데이터에 대한 고정센서 각각에 대한 좌표를 기반으로 센서 S6의 좌표를 확인한다.
또한, 도면3에 도시된 실시 방법에 따라, 증강현실 장치(100)에 구비된 센서 S7의 좌표 확인시, 고정센서 S1, S2, S3로부터 수신되는 센서 데이터에 대한 고정센서 각각에 대한 좌표를 기반으로 센서 S7의 좌표를 확인한다.
도면7은 본 발명의 실시 방법에 따른 증강현실 장치(100)에 구비된 센서에 대한 좌표가 산출된 후, 증강현실 장치(100)의 방향을 트래킹하는 실시 방법을 도시한 도면이다.
보다 상세하게 본 도면7은 상기 도면1에 도시된 증강현실 장치(100)에서, 상기 도시된 도면2에 도시된 과정 및 상기 도면3 내지 도면6에 도시된 실시 방법에 따라 증강현실 장치(100)에 구비된 M개 센서 각각에 대한 위치정보(즉, 좌표)가 산출된 후, 상기 산출된 좌표를 기반으로 증강현실 장치(100)의 방향을 산출하는 실시 방법에 대한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면7을 참조 및/또는 변형하여 상기 증강현실 장치(100)에 구비된 센서에 대한 좌표가 산출된 후, 증강현실 장치(100)의 방향을 트래킹하는 실시 방법에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면7에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면7을 참조하면, 증강현실 장치(100)에 구비된 센서 S5, S6, S7은, 상기 센서 중 S6을 기준으로 센서 S5와 S7의 중간 지점을 연결한 방향을 증강현실 장치(100)가 바라보는 방향으로 트래킹한다.
즉, 센서 S6은 증강현실 장치(100)의 후면에 위치하며, 센서 S5와 센서 S7은 증강현실 장치(100)의 전면에 위치하면, 센서 S6을 기준으로 센서 S5와 센서 S7의 중간지점을 통과하는 방향을 증강현실 장치(100)의 방향으로 트래킹한다.
도면7에 도시된 바와 같이, 실제 증강현실 장치(100)로 사용되는 헤드 마운트디스플레이(Head Mount Display; HMD)나 모바일 기기, 디지털카메라 중 하나 이상에 적용하면, 카메라 렌즈가 향하고 있는 방향을 정확히 측정하는 것이 가능하다.
도면8은 본 발명의 실시 방법에 따른 증강현실 장치(100)를 이용한 게임방법을 제공하는 예시를 도시한 도면이다.
보다 상세하게 본 도면8은 상기 도면1 내지 도면7에 도시된 방법 및 실시예에 따라 헤드 마운트(Header Mount Display; HMD)를 장착한 골프게임을 이용하는 플레이어에 대한 헤드 마운트 트래킹을 통한 플레이어의 시선을 트래킹하는 예시를 도시한 것이다.
도면8을 참조하면, 헤드 마운트(즉, 증강현실 장치(100))에 M개 센서가 구비되고, 플레이어가 골프게임을 이용하는 지역에 설치된 4개 고정센서가 구비되면, 구비된 4개 고정센서를 기반으로 헤드 마운트의 위치(즉, 헤드 마운트에 구비된 센서 각각에 대한 좌표)를 산출한 후, 상기 산출된 헤드 마운트의 위치를 기반으로 헤드 마운트가 바라보는 방향을 트래킹하여, 플레이어의 시선을 트래킹하는 것이 가능하다.
100 : 증강현실 장치 105 : 출력부
110 : 조작부 115 : 통신부
120 : 제어부 125 : 실제현실 입력부
130 : 객체 인식부 135 : 가상현실 결정부
140 : 가상현실 입력부 145 : 증강현실 출력부
150 : 센서데이터 수신부 155 : 위치정보 산출부
160 : 방향 확인부 165 : 센서부
170 : 카메라부 175 : 메모리부

Claims (3)

  1. 증강현실 장치-모바일 장치, HMD(Head Mount Display) 등에 탑재된 카메라 장치-를 이용하는 사용자가 위치한 지역에 위치하며, 증강현실 장치가 향하는 방향을 측정하기 위한 기준이 되는 N(N=1, 2, ..., n)개의 센서(A);
    상기 N개의 센서(A) 각각에서 전송하는 센서 데이터를 수신하는 M(M=1, 2, ..., m)개의 센서(B)와, 상기 N개의 센서(A) 각각으로부터 수신된 센서 데이터를 기반으로 M개의 센서 각각에 대한 위치한 위치정보를 산출하고, 상기 산출된 M개의 센서(B) 각각의 위치정보를 기반으로 증강현실 장치의 방향을 트래킹하는 증강현실 장치;를 포함하여 이루어지는 것을 특징으로 하는 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템.
  2. 제 1항에 있어서, 상기 복수개의 센서(A)는,
    정방형으로 설치되는 것을 특징으로 하는 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템.
  3. 제 1항에 있어서, 상기 증강현실 장치는,
    상기 N개의 센서(A) 각각에서 전송하는 센서 데이터를 센싱하는 M(M=1, 2, ..., m)개의 센서(B)로부터 센싱된 센서 데이터를 수신하는 센서데이터 수신부;
    상기 센싱된 센서 데이터를 기반으로 M개의 센서(B) 각각에 대한 위치정보-N개의 센서(A)가 위치한 지역에 대한 상대적인 위치정보-를 산출하는 위치정보 산출부;
    상기 산출된 M개의 센서(B) 각각에 대한 위치정보를 기반으로 상기 증강현실 장치의 방향을 확인하는 방향 확인부;를 구비하여 이루어지는 것을 특징으로 하는 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템.
KR1020100055798A 2010-06-14 2010-06-14 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템 KR20110136038A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100055798A KR20110136038A (ko) 2010-06-14 2010-06-14 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100055798A KR20110136038A (ko) 2010-06-14 2010-06-14 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템

Publications (1)

Publication Number Publication Date
KR20110136038A true KR20110136038A (ko) 2011-12-21

Family

ID=45502736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100055798A KR20110136038A (ko) 2010-06-14 2010-06-14 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템

Country Status (1)

Country Link
KR (1) KR20110136038A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108128A (ko) * 2013-02-28 2014-09-05 삼성전자주식회사 증강 현실 제공 장치 및 방법
KR101689330B1 (ko) * 2016-02-22 2016-12-26 조세희 가상 현실 시뮬레이션 시스템
KR101713223B1 (ko) * 2015-10-20 2017-03-22 (주)라스 가상현실 체험 장치
WO2017217595A1 (ko) * 2016-06-14 2017-12-21 주식회사 엔토소프트 측위 정보를 기반으로 증강현실 영상을 구현하기 위한 서버 및 시스템
KR101876956B1 (ko) 2016-12-31 2018-08-09 주식회사 에스씨솔루션 사용자 단말을 통해 증강현실로 누수감지를 인지할 수 있는 증강현실 시스템
KR20190054645A (ko) * 2017-11-14 2019-05-22 한국항공우주산업 주식회사 L-v-c 및 증강현실을 통한 라이브 임무 훈련 장치, 방법 및 시스템
KR20200110998A (ko) * 2019-03-18 2020-09-28 주식회사 지엘 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템 및 그 구현방법
KR102342872B1 (ko) 2020-12-15 2021-12-24 옥재윤 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108128A (ko) * 2013-02-28 2014-09-05 삼성전자주식회사 증강 현실 제공 장치 및 방법
KR101713223B1 (ko) * 2015-10-20 2017-03-22 (주)라스 가상현실 체험 장치
KR101689330B1 (ko) * 2016-02-22 2016-12-26 조세희 가상 현실 시뮬레이션 시스템
WO2017146429A1 (ko) * 2016-02-22 2017-08-31 조세희 가상 현실 시뮬레이션 시스템
WO2017217595A1 (ko) * 2016-06-14 2017-12-21 주식회사 엔토소프트 측위 정보를 기반으로 증강현실 영상을 구현하기 위한 서버 및 시스템
KR101876956B1 (ko) 2016-12-31 2018-08-09 주식회사 에스씨솔루션 사용자 단말을 통해 증강현실로 누수감지를 인지할 수 있는 증강현실 시스템
KR20190054645A (ko) * 2017-11-14 2019-05-22 한국항공우주산업 주식회사 L-v-c 및 증강현실을 통한 라이브 임무 훈련 장치, 방법 및 시스템
KR20200110998A (ko) * 2019-03-18 2020-09-28 주식회사 지엘 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템 및 그 구현방법
KR102342872B1 (ko) 2020-12-15 2021-12-24 옥재윤 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템

Similar Documents

Publication Publication Date Title
KR20110136038A (ko) 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
KR101691564B1 (ko) 시선방향 추적을 이용한 증강현실 제공 방법
EP2434458A2 (en) Image processing program, apparatus, system, and method for mixed reality
JP2015142383A (ja) 両眼光学拡張現実システムの範囲較正
KR20140122126A (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
WO2014016986A1 (ja) 3次元環境共有システム及び3次元環境共有方法
TWI788739B (zh) 3d顯示設備、3d圖像顯示方法
KR101682705B1 (ko) 알에프리더를 이용한 증강현실 제공 방법
KR101619512B1 (ko) 증강현실 장치 간 정보 공유 방법
CN110880161B (zh) 一种多主机多深度摄像头的深度图像拼接融合方法及系统
KR20120009638A (ko) 미인식 실제객체에 대한 가상객체 데이터 운용방법 및 이를 위한 증강현실 장치와, 기록매체
KR101638630B1 (ko) 증강현실 데이터 최적화 방법
KR101274301B1 (ko) 적외선 엘이디 발광영역의 영상 복원을 통한 증강현실 시스템
KR101692764B1 (ko) 가상 점을 이용한 증강현실 제공 방법
KR20110136035A (ko) 실제현실 적응형 증강현실 장치
KR101792250B1 (ko) 실제현실 적응형 증강현실 제공 방법
KR20170086005A (ko) 거리 차이를 이용한 증강현실 제공 방법
KR20120009639A (ko) 사용자 조건을 이용한 선택적 가상객체 데이터 운용방법 및 이를 위한 증강현실 장치와, 기록매체
JP6467039B2 (ja) 情報処理装置
US20230028976A1 (en) Display apparatus, image generation method, and program
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
JP2018032991A (ja) 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム
KR101680124B1 (ko) 이종 플랫폼 간 증강현실 전달 방법
KR101679844B1 (ko) 이종 플랫폼 간 증강현실 제공 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
WITB Written withdrawal of application