KR101619512B1 - 증강현실 장치 간 정보 공유 방법 - Google Patents

증강현실 장치 간 정보 공유 방법 Download PDF

Info

Publication number
KR101619512B1
KR101619512B1 KR1020100055780A KR20100055780A KR101619512B1 KR 101619512 B1 KR101619512 B1 KR 101619512B1 KR 1020100055780 A KR1020100055780 A KR 1020100055780A KR 20100055780 A KR20100055780 A KR 20100055780A KR 101619512 B1 KR101619512 B1 KR 101619512B1
Authority
KR
South Korea
Prior art keywords
augmented reality
data
reality
information
actual
Prior art date
Application number
KR1020100055780A
Other languages
English (en)
Other versions
KR20110136024A (ko
Inventor
김재형
홍종철
권봉기
Original Assignee
주식회사 비즈모델라인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비즈모델라인 filed Critical 주식회사 비즈모델라인
Priority to KR1020100055780A priority Critical patent/KR101619512B1/ko
Publication of KR20110136024A publication Critical patent/KR20110136024A/ko
Application granted granted Critical
Publication of KR101619512B1 publication Critical patent/KR101619512B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/453Help systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실 장치 간 정보 공유 방법에 대한 것으로, 증강현실을 제공하는 증강현실장치 간 정보 공유 방법에 있어서, 제1 증강현실장치에서 카메라를 통해 촬영되는 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하기 위한 증강현실 표시 정보를 생성하고, 상기 제1 증강현실장치에서 제2 증강현실장치의 카메라를 통해 촬영되는 실제현실 데이터 상에 상기 객체가 포함될 경우에 상기 제2 증강현실장치를 통해 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 조건 정보를 결정하고, 상기 제1 증강현실장치에서 통신망을 통해 지정된 제2 증강현실장치로 상기 증강현실 표시 정보와 증강현실 조건 정보를 전송하고, 상기 제2 증강현실장치에서 상기 증강현실 조건 정보를 판독하여 상기 제2 증강현실장치의 카메라를 통해 촬영되는 실제현실 데이터 상에서 상기 객체를 인식하여 상기 가상현실 데이터를 표시할지 확인하며, 상기 증강현실 조건을 만족하는 경우, 상기 제2 증강현실장치에서 상기 증강현실 표시 정보를 근거로 실제현실 데이터 상의 객체를 인식하여 가상현실 데이터를 표시하는 이루어진다.

Description

증강현실 장치 간 정보 공유 방법{Method for Interchanging between Augmented Reality Device}
본 발명은 증강현실을 제공하는 증강현실장치 간 정보 공유 방법에 있어서, 제1 증강현실장치에서 카메라를 통해 촬영되는 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하기 위한 증강현실 표시 정보를 생성하고, 상기 제1 증강현실장치에서 제2 증강현실장치의 카메라를 통해 촬영되는 실제현실 데이터 상에 상기 객체가 포함될 경우에 상기 제2 증강현실장치를 통해 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 조건 정보를 결정하고, 상기 제1 증강현실장치에서 통신망을 통해 지정된 제2 증강현실장치로 상기 증강현실 표시 정보와 증강현실 조건 정보를 전송하고, 상기 제2 증강현실장치에서 상기 증강현실 조건 정보를 판독하여 상기 제2 증강현실장치의 카메라를 통해 촬영되는 실제현실 데이터 상에서 상기 객체를 인식하여 상기 가상현실 데이터를 표시할지 확인하며, 상기 증강현실 조건을 만족하는 경우, 상기 제2 증강현실장치에서 상기 증강현실 표시 정보를 근거로 실제현실 데이터 상의 객체를 인식하여 가상현실 데이터를 표시하는 이루어지는 증강현실 장치 간 정보 공유 방법에 관한 것이다.
디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.
최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키현실과 구분된다.
상기 증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 상기 마커를 인식하여 상기 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제현실을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시범되지 못하고 있다.
또한, 상기 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재하며, 상술된 방법 이외에 카메라를 통해 실제현실을 촬영하지 않고 인간의 눈이 그 너머의 실제현실을 바라보는 투명한 물건(예컨대, 안경, 고글, 유리창 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 상기 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 상기 투명 디스플레이 상에 가상현실 데이터를 표시하는 방법이 이론적으로 존재한다.
한편 대부분의 증강현실 장치는 통신망에 연결되어 있음에도 불구하고, 상기 통신망에 통해 증강현실 장치 사이에 증강현실을 교환하거나 공유하지 못하고 있다.
상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 증강현실을 제공하는 증강현실장치 간 정보 공유 방법에 있어서, 제1 증강현실장치에서 카메라를 통해 촬영되는 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하기 위한 증강현실 표시 정보를 생성하는 제1 단계와 상기 제1 증강현실장치에서 제2 증강현실장치의 카메라를 통해 촬영되는 실제현실 데이터 상에 상기 객체가 포함될 경우에 상기 제2 증강현실장치를 통해 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 조건 정보를 결정하는 제2 단계와 상기 제1 증강현실장치에서 통신망을 통해 지정된 제2 증강현실장치로 상기 증강현실 표시 정보와 증강현실 조건 정보를 전송하는 제3 단계와 상기 제2 증강현실장치에서 상기 증강현실 조건 정보를 판독하여 상기 제2 증강현실장치의 카메라를 통해 촬영되는 실제현실 데이터 상에서 상기 객체를 인식하여 상기 가상현실 데이터를 표시할지 확인하는 제4 단계 및 상기 증강현실 조건을 만족하는 경우, 상기 제2 증강현실장치에서 상기 증강현실 표시 정보를 근거로 실제현실 데이터 상의 객체를 인식하여 가상현실 데이터를 표시하는 제5 단계를 포함하여 이루어지는 증강현실 장치 간 정보 공유 방법을 제공함에 있다.
본 발명에 따른 증강현실 장치 간 정보 공유 방법은, 증강현실을 제공하는 증강현실장치 간 정보 공유 방법에 있어서, 제1 증강현실장치에서 카메라를 통해 촬영되는 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하기 위한 증강현실 표시 정보를 생성하는 제1 단계와 상기 제1 증강현실장치에서 제2 증강현실장치의 카메라를 통해 촬영되는 실제현실 데이터 상에 상기 객체가 포함될 경우에 상기 제2 증강현실장치를 통해 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 조건 정보를 결정하는 제2 단계와 상기 제1 증강현실장치에서 통신망을 통해 지정된 제2 증강현실장치로 상기 증강현실 표시 정보와 증강현실 조건 정보를 전송하는 제3 단계와 상기 제2 증강현실장치에서 상기 증강현실 조건 정보를 판독하여 상기 제2 증강현실장치의 카메라를 통해 촬영되는 실제현실 데이터 상에서 상기 객체를 인식하여 상기 가상현실 데이터를 표시할지 확인하는 제4 단계 및 상기 증강현실 조건을 만족하는 경우, 상기 제2 증강현실장치에서 상기 증강현실 표시 정보를 근거로 실제현실 데이터 상의 객체를 인식하여 가상현실 데이터를 표시하는 제5 단계를 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 증강현실 장치 간 정보 공유 방법에 있어서, 상기 증강현실 표시 정보는, 상기 실제현실 데이터 상의 객체를 인식하는 객체 인식 정보와, 상기 객체에 표시할 가상현실 데이터(또는 가상현실 데이터 식별정보)를 적어도 하나 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 증강현실 장치 간 정보 공유 방법에 있어서, 상기 증강현실 조건 정보는, 상기 제2 증강현실장치를 통해 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시할 제2 증강현실장치의 위치 조건 정보, 방향 조건 정보, 시간 조건 정보 중 적어도 하나를 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 증강현실 장치 간 정보 공유 방법은, 현실세계를 촬영한 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 장치 간 정보 공유 방법에 있어서, 제1 증강현실 장치에서 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 표시 정보를 생성하는 단계와, 상기 제1 증강현실 장치에서 제2 증강현실 장치를 통해 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 조건 정보를 결정하는 단계;
상기 제1 증강현실 장치에서 통신망을 통해 제2 증강현실 장치로 상기 증강현실 표시 정보와 증강현실 조건 정보를 전송하는 단계와, 상기 제2 증강현실 장치에서 상기 증강현실 조건 정보를 판독하여 실제현실 데이터 상의 객체에 가상현실 데이터를 표시할 수 있는지 확인하는 단계와, 상기 증강현실 조건을 만족하는 경우, 상기 제2 증강현실 장치에서 상기 증강현실 표시 정보를 통해 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 단계를 포함한다.
본 발명에 따른 증강현실 장치 간 정보 공유 방법에 있어서, 상기 증강현실 표시 정보는, 상기 실제현실 데이터 상의 객체를 인식하는 객체 인식 정보와, 상기 객체에 표시할 가상현실 데이터(또는 가상현실 데이터 식별정보)를 포함할 수 있다.
본 발명에 따른 증강현실 장치 간 정보 공유 방법에 있어서, 상기 증강현실 조건 정보는, 상기 제2 증강현실 장치를 통해 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 제2 증강현실 장치의 위치 조건 정보, 방향 조건 정보, 시간 조건 정보를 하나 이상 포함할 수 있다.
본 발명에 따르면, 특정 현실세계의 공간에 존재하는 현실세계의 물체에는 실질적으로 존재하지 않으나, 상기 현실세계의 물체에 특정 증강현실 장치를 통해서만 볼 수 있는 가상현실 데이터를 표시할 수 있는 이점이 있다.
도 1은 본 발명의 실시 방법에 따른 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 증강현실 시스템 구성을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따라 제2 증강현실 장치에서 증강현실을 출력하는 것을 예시한 것이다.
도 4는 본 발명의 실시 방법에 따른 증강현실 장치 간 정보 교환 과정을 도시한 도면이다.
이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
아울러 하기에 도시되는 실시예에서 본 발명의 기술적 특징을 보다 명확하게 설명하기 위해 각 용어의 서두에 "제1" 또는 "제2"와 같은 형태의 식별부호를 첨부하여 설명할 것이나, 상기 식별부호는 각 용어를 식별하기 위한 것일 뿐 상기 식별부호에 의해 각 용어가 다른 기능과 역할을 수행하는 것으로 구별 또는 한정되는 것은 결코 아님을 명백하게 밝혀두는 바이다.
결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
도면1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.
보다 상세하게 본 도면1은 제1 증강현실 장치(100)에서 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 표시 정보와 제2 증강현실 장치(100)를 통해 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 조건 정보를 결정하여 제2 증강현실 장치(100)로 전송하면, 상기 제2 증강현실 장치(100)에서 증강현실 조건 정보를 판독하여 실제현실 데이터 상의 객체에 가상현실 데이터를 표시할 수 있는지 확인하고, 상기 증강현실 조건을 만족하는 경우, 상기 증강현실 표시 정보를 통해 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 장치(100) 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
본 발명의 증강현실 장치(100)는 실제현실 데이터를 획득하는 기능, 가상현실 데이터를 획득하는 기능, 상기 실제현실 데이터로부터 가상현실 데이터를 표시할 객체를 결정하는 기능, 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하여 출력하는 기능을 구비한 장치의 총칭으로서, 상기 실제현실 데이터를 획득하는 방식, 가상현실 데이터를 획득하는 방식, 객체를 결정하는 방식 및 상기 객체에 가상현실 데이터를 표시하는 방식에 의해 한정되지 아니한다. 예를들어, 상기 실제현실 데이터는 카메라를 통해 실시간 입력되거나, 또는 장치 내 메모리에 저장되어 있거나, 또는 통신망을 통해 수신될 수 있다. 상기 가상현실 데이터는 장치 내 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 미리 준비된 하나 이상의 폴리곤(Polygon) 데이터와 텍스쳐(Texture) 데이터를 조합하여 실시간 생성될 수 있다. 상기 가상현실 데이터가 표시될 객체는 마커/마커리스 방식 중 어느 방식을 이용하여 결정되어도 무방하다. 상기 객체에 가상현실 데이터를 표시하는 방식은 실제현실 데이터와 가상현실 데이터를 조합한 하나의 출력 데이터를 생성하여 표시하는 방식, 출력 데이터에 실제현실 계층(Layer)와 가상현실 계층을 구비하고 실제현실 데이터는 실제현실 계층에 표시하고 가상현실 데이터는 가상현실 계층에 표시하는 방식, 투명 디스플레이 너머의 객체 위치에 가상현실 데이터만 표시하는 방식이 사용될 수 있다.
또한, 상기 증강현실 장치(100)는 장치를 구성하는 구조에 의해 한정되지 아니한다. 예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 형태 등으로 구현될 수 있다.
도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(105), 메모리부(135) 및 출력부(110)를 구비하며, 실제현실 데이터를 획득하는 방식에 따라 카메라부(130)를 더 구비하고, 가상현실 데이터를 획득하는 방식에 따라 통신부(120)를 더 구비하고, 실제현실 데이터 상의 객체를 결정하는 방식에 따라 센서부(125)를 더 구비하고, 사용자 조작을 위한 조작부(115)를 더 구비할 수 있다.
상기 제어부(105)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(105) 내에 도시하여 설명하기로 한다.
상기 메모리부(135)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(105)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.
본 발명의 실시 방법에 따르면, 상기 메모리부(135)는 상기 실제현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(135)는 상기 실제현실 데이터를 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 메모리부(135)는 상기 가상현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(135)는 상기 가상현실 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.
상기 출력부(110)는 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 출력장치를 포함하며, LCD와 같은 일반 출력장치와 안경, 고글, 유리창과 같은 투명 출력장치 중 어느 하나를 포함할 수 있다.
상기 카메라부(130)는 광학부와 CCD(Charge Coupled Device)로 구성된 카메라로부터 래스터(Raster) 기반의 실제현실 데이터를 비트맵 방식으로 독출하는 장치를 포함한다. 여기서, 상기 실제현실 데이터는 이미지 데이터 또는 동영상 데이터를 포함할 수 있다. 본 발명에 따르면, 상기 카메라부(130)는 상기 획득되는 실제현실 데이터 중 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 센서부(125)의 기능을 더 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 카메라부(130)는 상기 실제현실 데이터를 실시간 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
상기 통신부(120)는 어느 하나의 통신 규격과 프로토콜에 따라 유선 통신망과 무선 통신망 중 어느 하나의 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망을 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.
본 발명의 실시 방법에 따르면, 상기 통신부(120)는 통신망 상의 서버(또는 장치)에 저장된 실제현실 데이터를 수신하는 실제현실 획득수단의 기능을 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 통신부(120)는 통신망 상의 서버(또는 장치)에 저장된 가상현실 데이터를 수신하는 가상현실 획득수단의 기능을 수행할 수 있다.
상기 센서부(125)는 어느 하나의 센서로부터 아날로그 신호 또는 디지털 신호 형태의 센서신호를 획득하는 장치를 포함한다. 여기서, 상기 센서는 환경 변화에 따라 전기적 신호(예컨대, 저항, 전류, 전압)를 발생시키는 전기적 신호 센서와, 상기 카메라와 같이 실제현실 데이터를 획득한 후 상기 실제현실 데이터 중 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 카메라 센서를 포함할 수 있다. 본 발명에 따르면, 상기 센서가 카메라 센서를 포함하는 경우 상기 센서부(125)는 상기 카메라부(130)와 통합될 수 있다.
상기 조작부(115)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 장치를 포함한다. 상기 조작부(115)는 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 출력부(110)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈을 포함하며, 상기 카메라부(130) 또는 센서부(125)와 연동하여 사용자의 손 동작, 몸 동작 및 눈 움직임 중 어느 하나를 인식하여 사용자 조작에 필요한 정보를 입력받는 사용자 인식 모듈을 더 포함할 수 있다.
도면1을 참조하면, 상기 증강현실 장치(100)는, 하나 이상의 실제현실 획득수단을 통해 실제현실 데이터를 입력하는 실제현실 입력부(140)와, 상기 실제현실 데이터로부터 가상현실 데이터를 출력할 객체를 인식하는 객체 인식부(145)와, 상기 객체에 표시할 가상현실 데이터를 결정하는 가상현실 결정부(150)와, 하나 이상의 가상현실 획득수단을 통해 상기 결정된 가사현실 데이터를 입력하는 가상현실 입력부(155)와, 상기 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 표시하여 상기 출력부(110)를 통해 출력하는 증강현실 출력부(160)를 구비한다.
상기 실제현실 입력부(140)는 상기 카메라부(130)를 통해 입력되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(110)를 통해 출력할 실제현실 데이터로 입력하거나, 또는 상기 메모리부(135)에 저장되어 있거나 또는 상기 메모리부(135)로 실시간 저장되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(110)를 통해 출력할 실제현실 데이터로 입력하거나, 또는 상기 통신부(120)를 통해 수신되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(110)를 통해 출력할 실제현실 데이터로 입력한다.
상기 실제현실 데이터가 입력되면, 상기 객체 인식부(145)는 상기 실제현실 데이터를 판독하여 가상현실 데이터를 출력할 하나 이상의 객체를 인식한다.
본 발명의 일 실시 방법에 따르면, 상기 객체 인식부(145)는 상기 실제현실 데이터를 판독하여 마커를 검출하고, 상기 마커가 검출된 위치를 가상현실 데이터를 출력할 객체로 인식할 수 있다. 여기서, 상기 마커는 미리 정의된 기호, 부호, 문양 중 어느 하나를 포함할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 객체 인식부(145)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 상기 색상/채도를 기준으로 구분되는 영역의 경계 선을 검출하고, 상기 검출된 경계선을 연결 및 조합하여 기 설정된 기하학 구조를 갖는 하나 이상의 객체 영역을 인식하고, 상기 객체 영역을 가상현실 데이터를 출력할 객체를 인식할 수 있다. 여기서, 상기 색상/채도 값은 RGB(Red, Green, Blue) 팔레트 값을 색상/채도로 변환하는 행렬식을 통해 추출될 수 있다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 실제현실 데이터가 카메라부(130)를 통해 실시간 입력되는 경우, 상기 객체 인식부(145)는 상기 센서부(125)와 카메라부(130)의 시선 방향을 일치시킨 후, 상기 카메라부(130)를 통해 입력되는 데이터의 좌표계와 상기 센서부(125)를 통해 센싱되는 센싱신호의 좌표계를 매칭하여 특정 센서신호가 검출되는 좌표 값을 가상현실 데이터를 출력할 객체로 인식할 수 있다. 또는 상기 실제현실 데이터에 객체 위치를 판별하기 위한 메타 데이터가 포함되거나 또는 링크된 경우, 상기 메타 데이터를 참조하여 상기 가상현실 데이터를 출력할 객체로 인식할 수 있다.
상기 가상현실 결정부(150)는 상기 실제현실 데이터로부터 검출된 객체에 표시할 가상현실 데이터를 결정한다. 만약 상기 실제현실 데이터 상의 객체에 표시할 가사현실 데이터가 어느 하나의 가상현실 데이터로 고정되는 경우, 상기 가상현실 결정부(150)는 상기 고정된 상기 객체 인식부(145)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
본 발명의 일 실시 방법에 따르면, 상기 객체가 마커를 통해 인식된 경우, 상기 가상현실 결정부(150)는 상기 마커 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 만약 상기 마커에 상기 가상현실 데이터를 결정하기 위한 정보가 부호화되어 포함된 경우, 상기 가상현실 결정부(150)는 상기 객체 인식부(145)를 통해 인식된 마커에 포함된 부호화 정보를 인식 및 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 가상현실 결정부(150)는 상기 객체 인식부(145)를 통해 인식된 객체의 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 또는 상기 실제현실 데이터에 상기 가상현실 데이터를 결정하기 위한 별도의 표시가 포함된 경우, 상기 표시를 판독하여 상기 객체 인식부(145)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 실제현실 데이터가 메모리부(135)에 저장되어 있거나 또는 통신부(120)를 통해 수신되는 데이터이고, 상기 실제현실 데이터에 가상현실 데이터를 결정하기 위한 메타 데이터가 포함되거나 또는 링크된 경우, 상기 가상현실 결정부(150)는 상기 메타 데이터를 참조하여 상기 객체 인식부(145)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
상기 가상현실 입력부(155)는 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 가상현실 데이터 중 상기 가상현실 결정부(150)를 통해 결정된 가상현실 데이터를 상기 실제현실 데이터의 객체에 표시할 가상현실 데이터로 입력한다.
상기 증강현실 출력부(160)는 상기 실제현실 입력부(140)를 통해 입력되는 실제현실 데이터 상의 객체에 상기 가상현실 입력부(155)를 통해 입력되는 가상현실 데이터를 표시한 후, 상기 출력부(110)를 통해 출력한다.
본 발명의 일 실시 방법에 따르면, 상기 증강현실 출력부(160)는 상기 실제현실 데이터 상의 객체에 투명영역을 포함하는 가상현실 데이터를 중첩시켜 증강현실 데이터를 생성한 후, 상기 증강현실 데이터를 상기 출력부(110)를 통해 출력할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 증강현실 출력부(160)는 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성한 후, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고 상기 실제현실 데이터의 객체 위치에 대응하는 가상현실 계층에 가상현실 데이터를 출력하여 상기 출력부(110)를 통해 출력할 수 있다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 출력부(110)가 투명 디스플레이를 포함하는 경우, 상기 증강현실 출력부(160)는 상기 객체 인식부(145)를 통해 결정된 투명 디스플레이 상의 객체 위치에 상기 가상현실 데이터만 표시하여 출력할 수 있다.
도면1을 참조하면, 상기 제1 증강현실 장치(100)는, 상기 증강현실 출력부(160)를 통해 출력되는 증강현실 데이터를 제공할 제2 증강현실 장치(100) 식별정보를 입력하는 정보 입력부(165)와, 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 표시 정보를 생성하는 정보 생성부(170)와, 제2 증강현실 장치(100)를 통해 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 조건 정보를 결정하는 조건 결정부(175)와, 통신망을 통해 제2 증강현실 장치(100)로 상기 증강현실 표시 정보와 증강현실 조건 정보를 전송하는 정보 전송부(180)를 구비한다.
상기 증강현실 장치(100)가 상기 제1 증강현실 장치(100)로 동작하는 경우, 상기 조작부(115)를 통해 상기 증강현실 출력부(160)를 통해 출력되는 증강현실 데이터를 제2 증강현실 장치(100)로 제공하는 명령(또는 메뉴)가 입력되면, 상기 정보 입력부(165)는 상기 조작부(115)를 통해 증강현실 출력부(160)를 통해 출력되는 증강현실 데이터를 제공할 제2 증강현실 장치(100) 식별정보를 입력 받는다.
여기서, 상기 제2 증강현실 장치(100) 식별정보는, 제2 증강현실 장치(100)에 할당된 전화번호, 주소정보, 별칭정보, 사용자정보 중 하나 이상을 포함할 수 있다.
상기 정보 생성부(170)는 상기 객체 인식부(145)를 통해 상기 실제현실 입력부(140)를 통해 입력되거나 또는 증강현실 출력부(160)를 통해 출력되는 상기 실제현실 데이터로부터 객체를 인식하는 객체 인식 정보를 확인한다.
본 발명의 일 실시 방법에 따르면, 상기 객체 인식 정보는 상기 실제현실 데이터에 포함된 마커를 검출하는 마커 인식 정보를 포함할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 객체 인식 정보는 상기 실제현실 데이터의 색상/채도 값을 통해 객체를 인식하는 색상/채도 정보를 포함할 수 있다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 객체 인식 정보는 특정 센서신호가 검출되는 좌표 값, 실제현실 데이터에 객체 위치를 판별하기 위한 메타 데이터를 포함할 수 있다.
또한, 상기 정보 생성부(170)는 상기 가상현실 입력부(155)를 통해 결정된 가상현실 데이터를 확인한다. 만약 상기 가상현실 데이터가 통신망 상의 서버에 저장된 경우, 상기 정보 생성부(170)는 상기 통신망 상의 서버에 저장된 가상현실 데이터를 식별하는 가상현실 데이터 식별정보(예컨대, 주소 정보)를 확인한다.
이 후 상기 정보 생성부(170)는 상기 객체 인식 정보와 가상현실 데이터(또는 가상현실 데이터 식별정보)를 포함하는 증강현실 표시 정보를 생성한다.
상기 조건 결정부(175)는 상기 제2 증강현실 장치(100) 식별정보에 대응하는 제2 증강현실 장치(100)에서 상기 실제현실 입력부(140)를 통해 입력되는 실제현실 데이터 중 상기 증강현실 표시 정보의 객체 인식 정보를 통해 인식되는 객체에 상기 증강현실 표시 정보의 가상현실 데이터(또는 가상현실 데이터 식별정보에 대응하는 가상현실 데이터)를 출력하기 위한 제2 증강현실 장치(100)의 위치 조건 정보, 방향 조건 정보, 시간 조건 정보 중 하나 이상의 조건을 결합한 증강현실 조건 정보를 결정한다.
여기서, 상기 위치 조건 정보는, 상기 제2 증강현실 장치(100)로 입력되는 실제현실 데이터로부터 상기 증강현실 표시 정보의 객체 인식 정보를 통해 가상현실 데이터를 표시할 객체가 인식되더라도, 상기 제2 증강현실 장치(100)가 특정 위치에 위치하는 경우에 상기 증강현실 표시 정보의 객체 인식 정보를 통해 인식되는 객체에 상기 증강현실 표시 정보의 가상현실 데이터(또는 가상현실 데이터 식별정보에 대응하는 가상현실 데이터)를 출력하도록 하는 조건 정보를 포함한다.
상기 방향 조건 정보는, 상기 제2 증강현실 장치(100)에 방향을 감지하는 센서부(125)가 구비된 경우, 상기 제2 증강현실 장치(100)로 입력되는 실제현실 데이터로부터 상기 증강현실 표시 정보의 객체 인식 정보를 통해 가상현실 데이터를 표시할 객체가 인식되더라도, 상기 제2 증강현실 장치(100)가 특정 방향을 향하는 경우에 상기 증강현실 표시 정보의 객체 인식 정보를 통해 인식되는 객체에 상기 증강현실 표시 정보의 가상현실 데이터(또는 가상현실 데이터 식별정보에 대응하는 가상현실 데이터)를 출력하도록 하는 조건 정보를 포함한다.
상기 시간 조건 정보는, 상기 제2 증강현실 장치(100)로 입력되는 실제현실 데이터로부터 상기 증강현실 표시 정보의 객체 인식 정보를 통해 가상현실 데이터를 표시할 객체가 인식되더라도, 상기 특정 시간에만 상기 증강현실 표시 정보의 객체 인식 정보를 통해 인식되는 객체에 상기 증강현실 표시 정보의 가상현실 데이터(또는 가상현실 데이터 식별정보에 대응하는 가상현실 데이터)를 출력하도록 하는 조건 정보를 포함한다.
본 발명의 실시 방법에 따르면, 상기 증강현실 조건은 상기 위치 조건, 방향 조건, 시간 조건으로 한정되는 것은 결코 아니며, 당업자의 의도에 따라 다양한 조건을 더 포함할 수 있다. 예를 들어, 상기 증강현실 조건은 상기 사용자가 특정 조건에 부합하는지 판별하는 사용자 조건, 상기 제2 증강현실 장치(100)에 특정 프로그램 설치되어 있거나, 또는 특정 장치(모듈)이 구비되어 있거나, 또는 특정 서버로부터 특정 데이터(예컨대, 쿠폰 데이터 등)를 수신하여 저장하고 있는지를 판별하는 장치 조건을 더 포함할 수 있다.
본 발명의 실시 방법에 따르면, 상기 증강현실 조건 정보는 자동 결정되거나, 또는 상기 조작부(115)를 통해 임의의 조건으로 수동 결정될 수 있다.
예를 들어, 상기 증강현실 조건 정보가 상기 증강현실 표시 정보를 생성한 시점의 제1 증강현실 장치(100)에 대한 위치, 방향, 시간 중 하나 이상의 조건과 동일한 조건을 포함하는 경우, 상기 증강현실 조건 정보는 상기 제1 증강현실 장치(100)에 대한 위치, 방향, 시간 중 하나 이상의 조건을 기반으로 자동 결정될 수 있다.
상기 증강현실 표시 정보가 생성되고 상기 증강현실 조건 정보가 결정되면, 상기 정보 전송부(180)는 상기 통신부(120)를 통해 상기 제2 증강현실 장치(100) 식별정보에 대응하는 제2 증강현실 장치(100)와 통신채널을 연결(또는 확인)하고, 상기 제2 증강현실 장치(100)로 상기 증강현실 표시 정보와 증강현실 조건 정보를 전송할 수 있다. 또는, 상기 정보 전송부(180)는 상기 통신부(120)를 통해 통신망 상의 서버와 통신채널을 연결하고, 상기 서버로 상기 제2 증강현실 장치(100) 식별정보, 증강현실 표시 정보 및 증강현실 조건 정보를 전송할 수 있으며, 이 경우 상기 서버는 상기 제2 증강현실 장치(100) 식별정보에 대응하는 제2 증강현실 장치(100)로 상기 증강현실 표시 정보와 증강현실 조건 정보를 중계 전송할 수 있다.
본 발명의 실시 방법에 따르면, 상기 정보 입력부(165)는 제2 증강현실 장치(100)로 전송할 메시지 정보를 더 입력할 수 있으며, 이 경우 상기 정보 전송부(180)는 상기 메시지 정보를 더 포함하여 상기 제2 증강현실 장치(100)(또는 통신망 상의 서버)로 전송할 수 있다.
도면1을 참조하면, 상기 제1 증강현실 장치(100)는, 상기 제1 증강현실 장치(100)(또는 통신망 상의 서버)로부터 상기 증강현실 표시 정보와 증강현실 조건 정보를 수신하는 정보 수신부(185)와, 상기 증강현실 조건 정보를 판독하여 실제현실 데이터 상의 객체에 가상현실 데이터를 표시할 수 있는지 확인하는 조건 확인부(190)와, 상기 증강현실 조건을 만족하는 경우, 상기 증강현실 출력부(160)를 통해 실제현실 데이터 상의 객체에 상기 증강현실 표시 정보에 대응하는 가상현실 데이터를 표시되도록 제어하는 출력 제어부(195)를 구비한다.
상기 제1 증강현실 장치(100)(또는 통신망 상의 서버)에서 상기 증강현실 표시 정보와 증강현실 조건 정보를 전송하면, 상기 정보 수신부(185)는 상기 통신부(120)를 통해 상기 제1 증강현실 장치(100)(또는 통신망 상의 서버)로부터 상기 증강현실 표시 정보와 증강현실 조건 정보를 수신한다.
상기 증강현실 표시 정보와 증강현실 조건 정보가 수신되면, 상기 조건 확인부(190)는 상기 증강현실 조건 정보에 포함된 위치 조건, 방향 조건, 시간 조건 중 하나 이상의 조건을 판독하여 상기 증강현실 조건 정보를 통해 실제현실 데이터 상의 객체를 인식하여 가상현실 데이터를 출력할 수 있는 위치 조건, 방향 조건, 시간 조건 중 하나 이상의 조건을 만족하는지 확인한다.
만약 상기 위치 조건, 방향 조건, 시간 조건 중 하나 이상의 조건이 만족되면, 상기 출력 제어부(195)는 상기 객체 인식부(145)가 상기 증강현실 조건 정보에 포함된 객체 인식 정보를 통해 상기 실제현실 입력부(140)를 통해 입력되는 실제현실 데이터 상의 객체를 인식하도록 제어한다.
만약 상기 증강현실 조건 정보에 포함된 객체 인식 정보를 통해 상기 실제현실 데이터 상의 객체가 인식되면, 상기 출력 제어부(195)는 상기 가상현실 결정부(150)를 통해 상기 증강현실 조건 정보에 포함된 가상현실 데이터(또는 가상현실 데이터 식별정보에 대응하는 가상현실 데이터)를 상기 객체 인식 정보를 통해 인식된 상기 실제현실 데이터 상의 객체에 표시할 가상현실 데이터로 결정하도록 제어한다.
상기 객체 인식 정보를 통해 인식된 상기 실제현실 데이터 상의 객체에 표시할 가상현실 데이터가 결정되고, 상기 가상현실 입력부(155)를 통해 상기 결정된 가상현실 데이터가 입력되면, 상기 출력 제어부(195)는 상기 증강현실 출력부(160)를 통해 상기 실제현실 데이터 상의 객체에 상기 가상현실 데이터가 출력되도록 제어한다.
도면2는 본 발명의 실시 방법에 따른 증강현실 시스템 구성을 도시한 도면이다.
보다 상세하게 본 도면2는 현실세계를 촬영한 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 장치(100)와 연결된 증강현실 운영 서버(200)에서 제1 증강현실 장치(100)로부터 제2 증강현실 장치(100) 식별정보와 증강현실 표시 정보 및 증강현실 조건 정보를 수신한 후, 상기 제2 증강현실 장치(100) 식별정보에 대응하는 제2 증강현실 장치(100)로 증강현실 표시 정보와 증강현실 조건 정보를 중계 전송하는 시스템 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 증강현실 시스템 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
예컨대, 본 도면2에서 상기 증강현실 시스템을 구성하는 각각의 수단을 증강현실 운영 서버(200)의 구성요소 형태로 상기 증강현실 운영 서버(200) 내에 도시하였으나, 상기 수단들이 증강현실 운영 서버(200) 구성요소로 한정되는 것은 결코 아니며, 당업자의 의도에 따라 각 수단이 별도의 서버 형태로 구현되거나, 또는 두개 이상의 수단이 조합되어 서버 형태로 구현되거나, 일부 수단은 서버 형태로 구현되고 나머지 수단은 증강현실 운영 서버(200)의 구성요소 형태로 구현되는 것이 모두 가능하며, 상기 수단들의 구현 방식에 의해 본 발명이 한정되지 아니함을 명백하게 밝혀두는 바이다.
본 발명에 따르면, 상기 증강현실 시스템은, 실제현실 데이터를 획득하는 기능, 가상현실 데이터를 획득하는 기능, 상기 실제현실 데이터로부터 가상현실 데이터를 표시할 객체를 결정하는 기능, 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하여 출력하는 기능을 구비한 증강현실 장치(100)와, 상기 증강현실 장치(100)와 통신 연결되어 상기 증강현실 장치(100)로 실제현실 데이터를 전송하거나, 또는 가상현실 데이터를 전송하는 증강현실 운영 서버(200)를 포함하여 이루어진다.
도면2를 참조하면, 상기 증강현실 운영 서버(200)는 상기 증강현실 장치(100)에서 실제현실 데이터를 상기 증강현실 운영 서버(200)로부터 수신하는 경우, 상기 증강현실 장치(100)로 제공할 하나 이상의 실제현실 데이터를 저장하는 실제현실 D/B(255)를 구비하거나, 또는 통신 연결하여 운영한다.
상기 실제현실 데이터는 실제 세계를 카메라를 통해 촬영한 이미지 파일 또는 동영상 파일을 포함한다.
본 발명의 실시 방법에 따르면, 상기 실제현실 데이터는 해당 실제현실 데이터를 설명하는 태그, 키워드, 문자열을 포함하는 실제현실 메타 정보와 연계되어 상기 실제현실 D/B(255)에 저장될 수 있다.
또한, 상기 증강현실 운영 서버(200)는 상기 증강현실 장치(100)에서 가상현실 데이터를 상기 증강현실 운영 서버(200)로부터 수신하는 경우, 상기 증강현실 장치(100)로 제공할 하나 이상의 가상현실 데이터를 저장하는 가상현실 D/B(260)를 구비하거나, 또는 통신 연결하여 운영한다.
상기 가상현실 데이터는 폴리곤(Polygon)과 텍스쳐(Texture)를 결합한 후 렌더링(Rendering)하여 생성된 가상현실 데이터 파일을 포함하거나, 폴리곤과 텍스쳐를 포함하고 상기 폴리곤에 상기 텍스쳐를 결합하여 렌더링하기 위한 렌더링 정보를 포함하는 3D 데이터 파일을 포함하거나, 상기 증강현실 장치(100)를 통해 결합 가능한 하나 이상의 폴리곤 데이터 파일과 텍스쳐 데이터 파일을 포함할 수 있다. 만약 상기 가상현실 데이터가 폴리곤 데이터 파일과 텍스쳐 데이터 파일을 포함하는 경우, 상기 가상현실 데이터는 상기 폴리곤 데이터와 텍스쳐 데이터를 결합하는 결합 조건 정보, 또는 두개 이상의 폴리곤을 결합하여 하나의 폴리곤 데이터를 구성하는 결합 조건 정보, 두개 이상의 텍스쳐 데이터를 하나의 폴리곤 데이터와 결합하는 결합 조건 정보를 더 포함할 수 있으며, 이 때 상기 결합 조건 정보를 기반으로 폴리곤에 텍스쳐를 결합하기 렌더링하기 위한 렌더링 정보는 상기 결합 조건 정보를 기반으로 증강현실 장치(100)에서 동적으로 결정될 수 있다.
본 발명의 실시 방법에 따르면, 상기 가상현실 데이터는 해당 가상현실 데이터를 설명하는 태그, 키워드, 문자열을 포함하는 가상현실 메타 정보와 연계되어 상기 가상현실 D/B(260)에 저장될 수 있다.
도면2를 참조하면, 상기 증강현실 운영 서버(200)는, 상기 증강현실 장치(100)로부터 실제현실 요청 정보를 수신하는 실제현실 요청 정보 수신수단(205)과, 상기 실제현실 데이터 요청 정보를 판독하거나 또는 상기 실제현실 데이터 요청 정보와 실제현실 D/B(255)에 저장된 실제현실 메타 정보를 비교하여 상기 증강현실 장치(100)로 전송할 실제현실 데이터를 추출하는 실제현실 데이터 추출수단(210)과, 상기 추출된 실제현실 데이터를 상기 증강현실 장치(100)로 전송하는 실제현실 데이터 전송수단(215)을 구비할 수 있다. 만약 상기 증강현실 장치(100)에 구비된 카메라를 통해 실제현실 데이터를 직접 획득하거나, 또는 상기 증강현실 장치(100)에 투명 디스플레이가 구비된 경우 상기 증강현실 장치(100)로 실제현실 데이터를 전송하는 수단들은 생략 가능하다.
여기서, 상기 실제현실 요청 정보는 상기 실제현실 D/B(255)에 저장된 실제현실 데이터 중 어느 하나의 실제현실 데이터와 실제현실 메타 정보와 매칭되는 태그, 키워드, 문자열을 포함할 수 있으며, 실시 방법에 따라 특정 실제현실 데이터를 요청하는 주소, 데이터식별코드를 포함할 수 있다.
도면2를 참조하면, 상기 증강현실 운영 서버(200)는, 상기 증강현실 장치(100)로부터 가상현실 요청 정보를 수신하는 가상현실 요청 정보 수신수단(220)과, 상기 가상현실 데이터 요청 정보를 판독하거나 또는 상기 가상현실 데이터 요청 정보와 가상현실 D/B(260)에 저장된 가상현실 메타 정보를 비교하여 상기 증강현실 장치(100)로 전송할 가상현실 데이터를 추출하는 가상현실 데이터 추출수단(225)과, 상기 추출된 가상현실 데이터를 상기 증강현실 장치(100)로 전송하는 가상현실 데이터 전송수단(230)을 구비할 수 있다. 만약 상기 증강현실 장치(100)에 가상현실 데이터가 저장되거나 또는 다른 서버로부터 가상현실 데이터를 수신하는 경우 상기 증강현실 장치(100)로 가상현실 데이터를 전송하는 수단들은 생략 가능하다.
여기서, 상기 가상현실 요청 정보는 상기 가상현실 D/B(260)에 저장된 가상현실 데이터 중 어느 하나의 가상현실 데이터의 가상현실 메타 정보와 매칭되는 태그, 키워드, 문자열을 포함할 수 있으며, 실시 방법에 따라 특정 실제현실 데이터를 요청하는 주소, 데이터식별코드를 포함할 수 있다.
상기 가상현실 요청 정보 수신수단(220)을 통해 증강현실 장치(100)로부터 가상현실 요청 정보가 수신되면, 상기 가상현실 데이터 추출수단(225)은 상기 가상현실 D/B(260)로부터 상기 가상현실 요청 정보에 대응하는 가상현실 데이터를 추출한다.
본 발명의 일 실시 방법에 따라 상기 추출된 가상현실 데이터가 렌더링된 상기 가상현실 데이터 파일을 포함하는 경우, 상기 가상현실 데이터 전송수단(230)은 상기 가상현실 데이터 파일을 상기 증강현실 장치(100)로 전송한다.
본 발명의 다른 일 실시 방법에 따라 상기 추출된 가상현실 데이터가 상기 3D 데이터 파일을 포함하는 경우, 상기 가상현실 데이터 전송수단(230)은 상기 3D 데이터 파일을 렌더링하여 가상현실 데이터 파일을 생성한 후 상기 증강현실 장치(100)로 전송하거나, 또는 상기 3D 데이터 파일을 상기 증강현실 장치(100)로 전송할 수 있다. 만약 상기 3D 데이터 파일이 상기 증강현실 장치(100)로 전송되면, 상기 증강현실 장치(100)는 상기 3D 데이터 파일을 렌더링하여 가상현실 데이터 파일을 생성할 수 있다.
본 발명의 다른 일 실시 방법에 따라 상기 추출된 가상현실 데이터가 상기 폴리곤 데이터 파일과 텍스쳐 데이터 파일 및 결합 조건 정보를 포함하는 경우, 상기 가상현실 데이터 전송수단(230)은 상기 결합 조건 정보를 기반으로 상기 폴리곤 데이터 파일과 텍스쳐 데이터 파일을 결합하여 3D 데이터 파일을 생성하고 상기 3D 데이터 파일을 렌더링한 가상현실 데이터 파일을 생성하여 상기 증강현실 장치(100)로 전송하거나, 또는 상기 폴리곤 데이터 파일과 텍스쳐 데이터 파일을 결합하여 생성된 3D 데이터 파일을 상기 증강현실 장치(100)로 전송하거나, 또는 상기 폴리곤 데이터 파일과 텍스쳐 데이터 파일 및 결합 조건 정보를 상기 증강현실 장치(100)로 전송할 수 있다. 만약 상기 가상현실 데이터 전송수단(230)에서 상기 결합 조건 정보를 기반으로 상기 폴리곤 데이터 파일과 텍스쳐 데이터 파일을 결합한 3D 데이터 파일을 상기 증강현실 장치(100)로 전송하는 경우, 상기 증강현실 장치(100)는 상기 3D 데이터 파일을 렌더링하여 가상현실 데이터 파일을 생성할 수 있다. 또는 상기 가상현실 데이터 전송수단(230)에서 상기 폴리곤 데이터 파일과 텍스쳐 데이터 파일 및 결합 조건 정보를 상기 증강현실 장치(100)로 전송하는 경우, 상기 증강현실 장치(100)는 상기 결합 조건 정보를 기반으로 상기 폴리곤 데이터 파일과 텍스쳐 데이터 파일을 결합한 3D 데이터 파일을 생성하고 상기 3D 데이터 파일을 렌더링한 가상현실 데이터 파일을 생성할 수 있다.
본 발명의 일 실시 방법에 따른 도면2를 참조하면, 상기 증강현실 운영 서버(200)는, 상기 증강현실 장치(100) 중 제1 증강현실 장치(100)로부터 제2 증강현실 장치(100) 식별정보와 증강현실 표시 정보 및 증강현실 조건 정보를 수신하는 정보 수산수단과, 상기 제2 증강현실 장치(100) 식별정보에 대응하는 제2 증강현실 장치(100)로 상기 증강현실 표시 정보와 증강현실 조건 정보를 중계 전송하는 정보 중계수단(240)을 구비한다.
본 발명의 일 실시 방법에 따른 도면2를 참조하면, 상기 증강현실 운영 서버(200)는, 상기 증강현실 장치(100) 중 제1 증강현실 장치(100)로부터 제2 증강현실 장치(100) 식별정보와 증강현실 표시 정보 및 증강현실 조건 정보를 수신하는 정보 수산수단과, 상기 제2 증강현실 장치(100) 식별정보와 증강현실 조건 정보를 통해 상기 제2 증강현실 장치(100)가 증강현실 조건 정보에 포함된 위치 조건, 방향 조건, 시간 조건 중 하나 이상의 조건을 판독하여 상기 증강현실 조건 정보를 통해 실제현실 데이터 상의 객체를 인식하여 가상현실 데이터를 출력할 수 있는 위치 조건, 방향 조건, 시간 조건 중 하나 이상의 조건을 만족하는지 확인하는 조건 확인수단(245)과, 상기 제2 증강현실 장치(100)가 상기 증강현실 조건 정보를 통해 실제현실 데이터 상의 객체를 인식하여 가상현실 데이터를 출력할 수 있는 위치 조건, 방향 조건, 시간 조건 중 하나 이상의 조건을 만족하면, 상기 제2 증강현실 장치(100) 식별정보에 대응하는 제2 증강현실 장치(100)로 상기 증강현실 표시 정보를 전송하는 정보 전송수단(250)을 구비한다.
만약 상기 증강현실 표시 정보에 가상현실 데이터 식별정보가 포함되고, 상기 가상현실 데이터 식별정보에 대응하는 가상현실 데이터가 상기 가상현실 D/B(260)에 저장된 경우, 상기 정보 전송수단(250)은 상기 가상현실 데이터 식별정보에 대응하는 가상현실 데이터를 확인하고, 상기 증강현실 표시 정보에 포함된 객체 인식 정보와 상기 확인된 가상현실 데이터를 상기 제2 증강현실 장치(100)로 전송할 수 있다.
도면3은 본 발명의 실시 방법에 따라 제2 증강현실 장치(100)에서 증강현실을 출력하는 것을 예시한 것이다.
보다 상세하게 본 도면3은 제1 증강현실 장치(100)에서 제2 증강현실 장치(100)로 상기 제2 증강현실 장치(100)가 약속 장소 근처에 존재하고(=위치 조건), 상기 제2 증강현실 장치(100)가 약속 장소의 간판을 실제현실 데이터로 입력하는 경우(=방향 조건), 상기 약속 장소의 간판을 인식하여 보다 상세한 약속 장소 위치를 가상현실 데이터로 표시하도록 하는 증강현실 장치(100) 간 정보 교환 실시예를 예시한 것이다.
도면4는 본 발명의 실시 방법에 따른 증강현실 장치(100) 간 정보 교환 과정을 도시한 도면이다.
보다 상세하게 본 도면4는 상기 도면1에 도시된 제1 증강현실 장치(100)에서 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 표시 정보와 제2 증강현실 장치(100)를 통해 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 조건 정보를 결정하여 제2 증강현실 장치(100)로 전송하면, 상기 제2 증강현실 장치(100)에서 증강현실 조건 정보를 판독하여 실제현실 데이터 상의 객체에 가상현실 데이터를 표시할 수 있는지 확인하고, 상기 증강현실 조건을 만족하는 경우, 상기 증강현실 표시 정보를 통해 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 증강현실 장치(100) 간 정보 교환 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
예를 들어, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 도면2에 도시된 증강현실 운영 서버(200)를 통해 증강현실 장치(100) 사이에 정보를 교환 과정을 유추할 수 있을 것이며, 본 발명은 상기 유추 가능한 모든 실시 방법을 포함한다.
도면4를 참조하면, 제1 증강현실 장치(100)에서 제2 증강현실 장치(100) 식별정보가 입력되면(400), 상기 제1 증강현실 장치(100)는 상기 실제현실 데이터 상의 객체를 인식하는 객체 인식 정보와 상기 객체에 표시할 가상현실 데이터(또는 가상현실 데이터 식별정보)를 포함하는 증강현실 표시 정보를 생성한다(405).
상기 증강현실 표시 정보가 생성되면(410), 상기 제1 증강현실 장치(100)는 상기 제2 증강현실 장치(100)를 통해 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 제2 증강현실 장치(100)의 위치 조건 정보, 방향 조건 정보, 시간 조건 정보를 하나 이상 포함하는 증강현실 조건 정보를 결정한다(415).
만약 상기 증강현실 조건 정보가 결정되면(420), 상기 제1 증강현실 장치(100)는 상기 제2 증가현실 장치 식별정보에 대응하는 제2 증강현실 장치(100)로 상기 증강현실 표시 정보와 증강현실 조건 정보를 전송하고(425), 이에 대응하여 상기 제2 증강현실 장치(100)는 상기 증강현실 표시 정보와 증강현실 조건 정보를 수신한다(430).
본 발명의 다른 실시 방법에 따르면, 상기 제1 증강현실 장치(100)는 상기 제2 증가현실 장치 식별정보와 증강현실 표시 정보 및 증강현실 조건 정보를 통신망 상의 서버로 전송하고, 상기 서버는 상기 제2 증가현실 장치 식별정보에 대응하는 제2 증강현실 장치(100)로 상기 증강현실 표시 정보와 증강현실 조건 정보를 중계 전송할 수 있다.
본 발명의 또다른 실시 방법에 따르면, 상기 제1 증강현실 장치(100)는 상기 제2 증가현실 장치 식별정보와 증강현실 표시 정보 및 증강현실 조건 정보를 통신망 상의 서버로 전송하고, 상기 서버는 상기 증강현실 조건 정보를 통해 상기 제2 증강현실 장치(100)에서 상기 증강현실 표시 정보에 대응하는 증강현실을 표시할 수 있는 조건을 만족하는지 확인하고, 상기 제2 증강현실 장치(100)가 상기 증강현실 조건을 만족하는 경우에 상기 제2 증가현실 장치 식별정보에 대응하는 제2 증강현실 장치(100)로 상기 증강현실 조건 정보를 전송하거나, 또는 상기 증강현실 조건 정보에 대응하는 객체 인식 정보와 가상현실 데이터를 전송할 수 있다.
상기 제2 증강현실 장치(100)는 상기 증강현실 조건 정보를 판독하여 상기 제2 증강현실 장치(100)에서 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실을 출력할 수 있는지 확인한다(435).
만약 상기 제2 증강현실 장치(100)를 통해 상기 증강현실 정보에 대응하는 증강현실을 출력할 수 있다면(440), 상기 제2 증강현실 장치(100)는 상기 증강현실 조건 정보에 포함된 객체 인식 정보를 통해 실제현실 데이터 상의 객체를 인식하고(445), 상기 실제현실 데이터 상의 객체에 상기 증강현실 표시 정보에 대응하는 가상현실 데이터를 출력한다(450).
100 : 증강현실 장치 140 :실제현실 입력부
145 : 객체 인식부 150 : 가상현실 결정부
155 : 가상현실 입력부 160 : 증강현실 출력부
165 : 정보 입력부 170 : 정보 생성부
175 : 조건 결정부 180 : 정보 전송부
185 : 정보 수신부 190 : 조건 확인부
195 : 출력 제어부

Claims (3)

  1. 증강현실을 제공하는 증강현실장치 간 정보 공유 방법에 있어서,
    제1 증강현실장치에서 카메라를 통해 촬영되는 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하기 위한 증강현실 표시 정보를 생성하는 제1 단계;
    상기 제1 증강현실장치에서 제2 증강현실장치의 카메라를 통해 촬영되는 실제현실 데이터 상에 상기 객체가 포함될 경우에 상기 제2 증강현실장치를 통해 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 조건 정보를 결정하는 제2 단계;
    상기 제1 증강현실장치에서 통신망을 통해 지정된 제2 증강현실장치로 상기 증강현실 표시 정보와 증강현실 조건 정보를 전송하는 제3 단계;
    상기 제2 증강현실장치에서 상기 증강현실 조건 정보를 판독하여 상기 제2 증강현실장치의 카메라를 통해 촬영되는 실제현실 데이터 상에서 상기 객체를 인식하여 상기 가상현실 데이터를 표시할지 확인하는 제4 단계; 및
    상기 증강현실 조건을 만족하는 경우, 상기 제2 증강현실장치에서 상기 증강현실 표시 정보를 근거로 실제현실 데이터 상의 객체를 인식하여 가상현실 데이터를 표시하는 제5 단계;를 포함하여 이루어지는 것을 특징으로 하는 증강현실장치 간 정보 공유 방법.
  2. 제 1항에 있어서, 상기 증강현실 표시 정보는,
    상기 실제현실 데이터 상의 객체를 인식하는 객체 인식 정보와, 상기 객체에 표시할 가상현실 데이터(또는 가상현실 데이터 식별정보)를 적어도 하나 포함하여 이루어지는 것을 특징으로 하는 증강현실장치 간 정보 공유 방법.
  3. 제 1항에 있어서, 상기 증강현실 조건 정보는,
    상기 제2 증강현실장치를 통해 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시할 제2 증강현실장치의 위치 조건 정보, 방향 조건 정보, 시간 조건 정보 중 적어도 하나를 포함하여 이루어지는 것을 특징으로 하는 증강현실장치 간 정보 공유 방법.

KR1020100055780A 2010-06-14 2010-06-14 증강현실 장치 간 정보 공유 방법 KR101619512B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100055780A KR101619512B1 (ko) 2010-06-14 2010-06-14 증강현실 장치 간 정보 공유 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100055780A KR101619512B1 (ko) 2010-06-14 2010-06-14 증강현실 장치 간 정보 공유 방법

Publications (2)

Publication Number Publication Date
KR20110136024A KR20110136024A (ko) 2011-12-21
KR101619512B1 true KR101619512B1 (ko) 2016-05-10

Family

ID=45502723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100055780A KR101619512B1 (ko) 2010-06-14 2010-06-14 증강현실 장치 간 정보 공유 방법

Country Status (1)

Country Link
KR (1) KR101619512B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101324336B1 (ko) * 2010-12-28 2013-10-31 주식회사 팬택 증강 현실 제공 단말기
KR101599257B1 (ko) * 2013-12-11 2016-03-03 류지혁 3d모델 증강현실 서비스 시스템
US10868977B2 (en) * 2017-01-16 2020-12-15 Sony Corporation Information processing apparatus, information processing method, and program capable of adaptively displaying a video corresponding to sensed three-dimensional information
KR102356143B1 (ko) * 2018-10-26 2022-01-28 한국전자통신연구원 객체 네트워킹 장치 및 방법
KR102583682B1 (ko) * 2019-03-14 2023-10-04 삼성전자주식회사 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
KR102227525B1 (ko) 2020-05-04 2021-03-11 장원석 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007207278A (ja) 2007-05-07 2007-08-16 Sony Corp 仮想現実空間共有システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007207278A (ja) 2007-05-07 2007-08-16 Sony Corp 仮想現実空間共有システム

Also Published As

Publication number Publication date
KR20110136024A (ko) 2011-12-21

Similar Documents

Publication Publication Date Title
KR101746838B1 (ko) 진열대를 이용한 증강현실 운영 방법
KR101619512B1 (ko) 증강현실 장치 간 정보 공유 방법
KR101682705B1 (ko) 알에프리더를 이용한 증강현실 제공 방법
KR101638630B1 (ko) 증강현실 데이터 최적화 방법
KR20110136038A (ko) 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템
EP3229482B1 (en) Master device, slave device, and control method therefor
US11361523B2 (en) Integrated rendering method for various extended reality modes and device having thereof
KR20120009638A (ko) 미인식 실제객체에 대한 가상객체 데이터 운용방법 및 이를 위한 증강현실 장치와, 기록매체
CN112689151B (zh) 直播方法、装置、计算机设备和存储介质
KR101692764B1 (ko) 가상 점을 이용한 증강현실 제공 방법
KR101680124B1 (ko) 이종 플랫폼 간 증강현실 전달 방법
KR20110136040A (ko) 사용자 시선 기반 증강현실 기능이 구비된 단말
KR20170086005A (ko) 거리 차이를 이용한 증강현실 제공 방법
KR101792250B1 (ko) 실제현실 적응형 증강현실 제공 방법
KR20120009639A (ko) 사용자 조건을 이용한 선택적 가상객체 데이터 운용방법 및 이를 위한 증강현실 장치와, 기록매체
KR101679844B1 (ko) 이종 플랫폼 간 증강현실 제공 방법
KR101803532B1 (ko) 증강현실 품질 제어 방법
KR101705122B1 (ko) 증강현실을 이용한 오디오객체 운영 방법
KR20180130095A (ko) 증강현실의 선택적 가상객체 표시 방법
KR102117510B1 (ko) 증강현실의 선택적 가상객체 표시 방법
KR20170143476A (ko) 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법
KR20120026711A (ko) 오디오 객체 출력 방법 및 이를 위한 증강현실 장치
KR20170052553A (ko) 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법
KR101168599B1 (ko) 거리 구간 별 가상객체를 표시하는 장치
KR101032747B1 (ko) 영상 지연 측정 장치와 이를 이용한 영상 지연 측정 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant