KR101792250B1 - 실제현실 적응형 증강현실 제공 방법 - Google Patents

실제현실 적응형 증강현실 제공 방법 Download PDF

Info

Publication number
KR101792250B1
KR101792250B1 KR1020170024290A KR20170024290A KR101792250B1 KR 101792250 B1 KR101792250 B1 KR 101792250B1 KR 1020170024290 A KR1020170024290 A KR 1020170024290A KR 20170024290 A KR20170024290 A KR 20170024290A KR 101792250 B1 KR101792250 B1 KR 101792250B1
Authority
KR
South Korea
Prior art keywords
data
actual
reality
virtual reality
saturation value
Prior art date
Application number
KR1020170024290A
Other languages
English (en)
Other versions
KR20170027752A (ko
Inventor
김재형
권봉기
Original Assignee
주식회사 비즈모델라인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비즈모델라인 filed Critical 주식회사 비즈모델라인
Priority to KR1020170024290A priority Critical patent/KR101792250B1/ko
Publication of KR20170027752A publication Critical patent/KR20170027752A/ko
Application granted granted Critical
Publication of KR101792250B1 publication Critical patent/KR101792250B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/75Chroma key
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3245Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of image modifying data, e.g. handwritten addenda, highlights or augmented reality information

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 실제현실 적응형 증강현실 제공 방법에 따르면, 카메라를 구비한 증강현실장치에서 실행되는 방법에 있어서, 상기 카메라를 통해 실시간 입력되는 실제현실 데이터의 전체 영역 중 일부의 지정된 특정 영역에 2D 형태 또는 3D 형태의 가상객체를 표시하는 경우, 상기 실제현실 데이터에 포함된 픽셀들에 대한 정보와 상기 실제현실 데이터를 입력받는 현실세계의 시간이나 장소에 대한 정보 중 적어도 하나 또는 둘 이상의 정보를 판독하여 상기 가상객체를 표시할 특정 영역 주변의 색상 값(1) 또는 채도 값(1)을 확인하고, 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)이 기 설정된 기준 색상 값 또는 기준 채도 값보다 어둡거나, 또는 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)에 대응하는 실제현실 데이터 상의 광량이 기 설정된 기준 광량보다 작거나, 또는 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)이 야간에 야외에서 실시간 입력된 실제현실 데이터에 대응하는 경우, 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)과의 명암 대비가 증가하는 색상 값(2) 또는 채도 값(2)을 포함하는 가상객체를 확인하거나, 또는 상기 특정 영역에 표시될 가상객체의 색상 값(2) 또는 채도 값(2)을 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)과의 명암 대비가 증가하도록 보정 처리하며, 상기 실제현실 데이터 상의 상기 특정 영역에 상기 색상 값(2) 또는 채도 값(2)의 대비가 증가된 가상객체를 표시하도록 처리한다.

Description

실제현실 적응형 증강현실 제공 방법{Method for Providing Adaptive Augmented Reality to Real World}
본 발명은, 카메라를 구비한 증강현실장치에서 실행되는 방법에 있어서, 상기 카메라를 통해 실시간 입력되는 실제현실 데이터의 전체 영역 중 일부의 지정된 특정 영역에 2D 형태 또는 3D 형태의 가상객체를 표시하는 경우, 상기 실제현실 데이터에 포함된 픽셀들에 대한 정보와 상기 실제현실 데이터를 입력받는 현실세계의 시간이나 장소에 대한 정보 중 적어도 하나 또는 둘 이상의 정보를 판독하여 상기 가상객체를 표시할 특정 영역 주변의 색상 값(1) 또는 채도 값(1)을 확인하고, 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)이 기 설정된 기준 색상 값 또는 기준 채도 값보다 어둡거나, 또는 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)에 대응하는 실제현실 데이터 상의 광량이 기 설정된 기준 광량보다 작거나, 또는 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)이 야간에 야외에서 실시간 입력된 실제현실 데이터에 대응하는 경우, 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)과의 명암 대비가 증가하는 색상 값(2) 또는 채도 값(2)을 포함하는 가상객체를 확인하거나, 또는 상기 특정 영역에 표시될 가상객체의 색상 값(2) 또는 채도 값(2)을 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)과의 명암 대비가 증가하도록 보정 처리하며, 상기 실제현실 데이터 상의 상기 특정 영역에 상기 색상 값(2) 또는 채도 값(2)의 대비가 증가된 가상객체를 표시하도록 처리하는 실제현실 적응형 증강현실 제공 방법에 관한 것이다.
디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.
최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키현실과 구분된다.
상기 증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 상기 마커를 인식하여 상기 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제현실을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시범되지 못하고 있다.
또한, 상기 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재하며, 상술된 방법 이외에 카메라를 통해 실제현실을 촬영하지 않고 인간의 눈이 그 너머의 실제현실을 바라보는 투명한 물건(예컨대, 안경, 고글, 유리창 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 상기 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 상기 투명 디스플레이 상에 가상현실 데이터를 표시하는 방법이 이론적으로 존재한다.
한편 상기 실제현실 데이터에 표시하는 가상현실 데이터의 색상/채도가 항상 일정한 경우, 상기 실제현실 데이터의 색상/채도가 상기 가상현실 데이터의 색상/채도와 유사하면 상기 실제현실 데이터 상에 상기 가상현실 데이터가 명확하게 표시되지 않을 수 있다.
본 발명의 목적은, 카메라를 구비한 증강현실장치에서 실행되는 방법에 있어서, 상기 카메라를 통해 실시간 입력되는 실제현실 데이터의 전체 영역 중 일부의 지정된 특정 영역에 2D 형태 또는 3D 형태의 가상객체를 표시하는 경우, 상기 실제현실 데이터에 포함된 픽셀들에 대한 정보와 상기 실제현실 데이터를 입력받는 현실세계의 시간이나 장소에 대한 정보 중 적어도 하나 또는 둘 이상의 정보를 판독하여 상기 가상객체를 표시할 특정 영역 주변의 색상 값(1) 또는 채도 값(1)을 확인하는 제1 단계와 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)이 기 설정된 기준 색상 값 또는 기준 채도 값보다 어둡거나, 또는 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)에 대응하는 실제현실 데이터 상의 광량이 기 설정된 기준 광량보다 작거나, 또는 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)이 야간에 야외에서 실시간 입력된 실제현실 데이터에 대응하는 경우, 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)과의 명암 대비가 증가하는 색상 값(2) 또는 채도 값(2)을 포함하는 가상객체를 확인하거나, 또는 상기 특정 영역에 표시될 가상객체의 색상 값(2) 또는 채도 값(2)을 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)과의 명암 대비가 증가하도록 보정 처리하는 제2 단계 및 상기 실제현실 데이터 상의 상기 특정 영역에 상기 색상 값(2) 또는 채도 값(2)의 대비가 증가된 가상객체를 표시하도록 처리하는 제3 단계를 포함하는 실제현실 적응형 증강현실 제공 방법을 제공함에 있다.
본 발명에 따른 실제현실 적응형 증강현실 제공 방법은, 카메라를 구비한 증강현실장치에서 실행되는 방법에 있어서, 상기 카메라를 통해 실시간 입력되는 실제현실 데이터의 전체 영역 중 일부의 지정된 특정 영역에 2D 형태 또는 3D 형태의 가상객체를 표시하는 경우, 상기 실제현실 데이터에 포함된 픽셀들에 대한 정보와 상기 실제현실 데이터를 입력받는 현실세계의 시간이나 장소에 대한 정보 중 적어도 하나 또는 둘 이상의 정보를 판독하여 상기 가상객체를 표시할 특정 영역 주변의 색상 값(1) 또는 채도 값(1)을 확인하는 제1 단계와 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)이 기 설정된 기준 색상 값 또는 기준 채도 값보다 어둡거나, 또는 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)에 대응하는 실제현실 데이터 상의 광량이 기 설정된 기준 광량보다 작거나, 또는 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)이 야간에 야외에서 실시간 입력된 실제현실 데이터에 대응하는 경우, 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)과의 명암 대비가 증가하는 색상 값(2) 또는 채도 값(2)을 포함하는 가상객체를 확인하거나, 또는 상기 특정 영역에 표시될 가상객체의 색상 값(2) 또는 채도 값(2)을 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)과의 명암 대비가 증가하도록 보정 처리하는 제2 단계 및 상기 실제현실 데이터 상의 상기 특정 영역에 상기 색상 값(2) 또는 채도 값(2)의 대비가 증가된 가상객체를 표시하도록 처리하는 제3 단계를 포함하는 것을 특징으로 한다.
삭제
본 발명에 따른 실제현실 적응형 증강현실 제공 방법에 있어서, 상기 제1 단계는, 상기 카메라를 통해 실시간 입력되는 실제현실 데이터에 포함된 픽셀들의 색상 값 또는 채도 값, 상기 카메라를 통해 실시간 입력되는 실제현실 데이터에 포함된 픽셀 영역에 형성되는 그라데이션(Gradation)을 분석하여 추적된 광원 위치와 광량, 상기 카메라를 통해 상기 실제현실 데이터를 입력받는 현실세계의 시간 또는 장소 중 적어도 하나 또는 둘 이상을 이용하여 상기 가상객체를 표시할 특정 영역 주변의 색상 값(1) 또는 채도 값(1)을 확인하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
삭제
삭제
삭제
본 발명에 따른 실제현실 적응형 증강현실 제공 방법은, 카메라를 구비한 증강현실장치에서 실행되는 방법에 있어서, 상기 카메라를 통해 실시간 입력되는 실제현실 데이터 상의 특정 영역에 2D 형태 또는 3D 형태의 면을 지닌 가상객체를 표시하는 경우, 상기 카메라를 통해 실시간 입력되는 실제현실 데이터의 색상 값 또는 채도 값, 상기 실제현실 데이터 상의 광원을 추적하여 확인된 광원의 위치와 광량, 상기 실제현실 데이터를 실시간 입력하는 시간과 장소 중 적어도 하나 또는 둘 이상을 이용하여 상기 실제현실 데이터 상의 특정 영역 주변의 색상 값(1) 또는 채도 값(1)을 확인하는 제1 단계와 상기 실제현실 데이터 상의 특정 영역 주변의 색상 값(1) 또는 채도 값(1)을 기준으로 상기 특정 영역에 표시될 가상객체의 색상 값(2) 또는 채도 값(2)의 대비가 증가하도록 가상객체를 생성하거나 보정 처리하는 제2 단계 및 상기 실제현실 데이터 상의 특정 영역에 대비를 증가시켜 생성 또는 보정 처리한 가상객체를 표시하도록 처리하는 제3 단계를 포함하는 것을 특징으로한다.
본 발명에 따른 실제현실 적응형 증강현실 제공 방법에 있어서, 상기 제2 단계는, 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)이 기 설정된 기준 색상 값 또는 기준 채도 값보다 어둡거나, 또는 상기 실제현실 데이터 상의 광량이 기 설정된 기준 광량보다 작거나, 또는 상기 실제현실 데이터가 야간에 야외에서 실시간 입력되는 경우, 상기 가상객체의 색상 값(2) 또는 채도 값(2)의 명암 대비가 증가하도록 가상객체를 생성하거나 보정 처리하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 실제현실 적응형 증강현실 장치는, 실제현실 데이터로부터 가상현실 데이터를 표시할 객체가 인식되면, 상기 인식된 객체 주변의 색상/채도 값(1)을 확인하는 실제현실 확인부와, 상기 객체에 표시할 가상현실 데이터의 폴리곤 데이터에 매핑/렌더링할 텍스쳐 데이터를 확인하고, 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하는 가상현실 확인부와, 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하는 가상현실 보정부와, 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성하는 가상현실 구성부를 구비한다.
본 발명에 따르면, 상기 실제현실 적응형 증강현실 장치의 실제현실 확인부는, 상기 실제현실 데이터의 색상/채도 값을 추출하여 상기 객체 주변의 색상/채도 값(1)을 확인하거나, 또는 상기 실제현실 데이터 상의 광원 위치를 추적하여 상기 광원의 위치와 광량을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하거나, 또는 상기 실제현실 데이터가 촬영된 시간과 장소를 확인하여 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있다.
본 발명에 따르면, 상기 실제현실 적응형 증강현실 장치의 가상현실 구성부는, 상기 객체 주변의 색상/채도 값(1)이 기 설정된 기준 색상/채도 값보다 어둡거나, 또는 상기 실제현실 데이터 상의 광량이 기 설정된 기준 광량보다 작거나, 또는 상기 실제현실이 야간에 야외에서 촬영된 경우, 상기 가상현실 데이터를 렌더링하는 광량을 상기 기준 광량보다 크게 설정하여 렌더링할 수 있다.
본 발명에 따르면, 가상현실 데이터가 표시될 실제현실 데이터가 입력되는 시간과 장소 또는 광원의 위치와 광량에 상관 없이 상기 가상현실 데이터가 상기 실제현실 데이터와 명확하게 구별되도록 출력하는 이점이 있다.
도 1은 본 발명의 실시 방법에 따른 실제현실 적응형 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 실제현실 적응형 증강현실 시스템 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시 방법에 따른 가상현실 데이터를 보정하는 예시 도면이다.
도 4는 본 발명의 다른 일 실시 방법에 따른 가상현실 데이터를 보정하는 예시 도면이다.
도 5는 본 발명의 일 실시 방법에 따라 객체 주변의 색상/채도에 따라 가상현실 데이터의 색상/채도를 보정하는 과정을 도시한 도면이다.
도 6은 본 발명의 다른 일 실시 방법에 따라 객체 주변의 색상/채도에 따라 가상현실 데이터의 색상/채도를 보정하는 과정을 도시한 도면이다.
이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
아울러 하기에 도시되는 실시예에서 본 발명의 기술적 특징을 보다 명확하게 설명하기 위해 각 용어의 말미에 "(숫자)"와 같은 형태의 식별부호를 첨부하여 설명할 것이나, 상기 식별부호는 각 용어를 식별하기 위한 것일 뿐 상기 식별부호에 의해 각 용어가 다른 기능과 역할을 수행하는 것으로 구별 또는 한정되는 것은 결코 아님을 명백하게 밝혀두는 바이다.
결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
도면1은 본 발명의 실시 방법에 따른 실제현실 적응형 증강현실 장치(100) 구성을 도시한 도면이다.
보다 상세하게 본 도면1은 실제현실 데이터 상의 객체 주변 색상/채도를 기준으로 상기 객체에 표시할 가상현실 데이터의 색상/채도의 대비가 증가하도록 구성하여 출력하는 증강현실 장치(100) 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
본 발명의 증강현실 장치(100)는 실제현실 데이터를 획득하는 기능, 가상현실 데이터를 획득하는 기능, 상기 실제현실 데이터로부터 가상현실 데이터를 표시할 객체(또는 실제현실 데이터 상의 가상현실 데이터 표시 위치)를 결정하는 기능 및 상기 실제현실 데이터 상의 객체(또는 위치)에 상기 획득된 가상현실 데이터를 표시하여 출력하는 기능을 적어도 하나 구비한 장치의 총칭으로서, 상기 실제현실 데이터를 획득하는 방식, 가상현실 데이터를 획득하는 방식, 객체를 결정하는 방식 및 상기 객체에 가상현실 데이터를 표시하는 방식에 의해 한정되지 아니한다.
예를들어, 상기 실제현실 데이터는 카메라를 통해 실시간 획득되거나, 또는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신될 수 있다. 상기 가상현실 데이터는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신되거나, 또는 상기 메모리에 저장되거나 통신망을 통해 수신되는 결합 가능한 폴리곤(Polygon) 데이터에 텍스쳐(Texture) 데이터를 매핑/렌더링하여 실시간 생성될 수 있다. 상기 실제현실 데이터 상에 상기 가상현실 데이터를 표시할 객체(또는 위치)는 마커/마커리스 방식 중 어느 하나를 통해 결정되거나, 또는 상기 실제현실 데이터의 색상/채도를 판독하여 결정될 수 있다. 상기 결정된 실제현실 데이터 상의 객체(또는 위치)에 상기 가상현실 데이터를 표시하는 방식은 상기 실제현실 데이터와 가상현실 데이터를 조합한 하나의 출력 데이터를 생성하거나, 실제현실 계층(Layer)와 하나 이상의 가상현실 계층을 구비한 출력 데이터를 구성한 후 상기 출력 데이터의 실제현실 계층에 상기 실제현실 데이터를 출력함과 동시에 상기 가상현실 계층에 각각의 가상현실 데이터를 상기 결정된 객체(또는 위치)와 매칭하여 출력할 수 있으며, 상기 실제현실 데이터가 투명 디스플레이인 경우 상기 투명 디스플레이에는 상기 결정된 객체(또는 위치)와 매칭하여 가상현실 데이터만 출력할 수 있다.
또한, 상기 증강현실 장치(100)는 상기 장치의 이용 분야와 외형(또는 구조) 및 접속되는 통신망에 의해 한정되지 아니한다.
예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 형태 등으로 구현될 수 있다.
도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(105), 메모리부(135) 및 출력부(110)를 구비하며, 실제현실 데이터를 획득하는 방식에 따라 카메라부(130)를 더 구비하고, 가상현실 데이터를 획득하는 방식에 따라 통신부(120)를 더 구비하고, 가상현실 데이터가 표시될 실제현실 데이터 상의 객체(또는 위치)를 결정하는 방식에 따라 센서부(125)를 더 구비하고, 사용자 조작을 위한 조작부(115)를 더 구비할 수 있다.
상기 제어부(105)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(105) 내에 도시하여 설명하기로 한다.
상기 메모리부(135)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(105)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.
본 발명의 실시 방법에 따르면, 상기 메모리부(135)는 상기 실제현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(135)는 상기 실제현실 데이터를 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 메모리부(135)는 상기 가상현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(135)는 상기 가상현실 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.
상기 출력부(110)는 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 출력장치를 포함하며, LCD와 같은 일반 출력장치와 안경, 고글, 유리창과 같은 투명 출력장치 중 어느 하나를 포함할 수 있다.
상기 카메라부(130)는 광학부와 CCD(Charge Coupled Device)로 구성된 카메라로부터 래스터(Raster) 기반의 실제현실 데이터를 비트맵 방식으로 실시간 획득하는 장치를 포함한다. 여기서, 상기 실제현실 데이터는 이미지 데이터 또는 동영상 데이터를 포함할 수 있다. 즉, 상기 카메라부(130)는 상기 증강현실 장치(100)에서 실제현실 데이터를 실시간 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 카메라부(130)는 상기 센서부(125)와 연동하여 센서 입력에 필요한 특정 데이터만 선택적으로 획득하거나, 또는 이미지(또는 동영상) 형태의 센싱 데이터를 획득하는 센서부(125)의 기능을 수행할 수 있다.
예를들어, 상기 카메라부(130)와 센서부(125)가 연동하는 경우, 상기 카메라부(130)는 상기 센서부(125)가 센싱하는 영역의 실제현실 데이터만 선택적으로 획득할 수 있으며, 이를 위해 상기 카메라부(130)와 센서부(125)의 시선 방향이 일치되도록 설정된다.
또는, 상기 카메라부(130)는 실제현실 데이터를 획득함과 동시에, 상기 실제현실 데이터를 판독하여 지정된 센싱 대상의 이미지(또는 동영상) 데이터를 센싱하는 센서부(125)의 기능을 수행할 수 있다.
상기 통신부(120)는 상기 증강현실 장치(100)가 접속하는 유선(또는 무선) 통신망에 따라 어느 하나의 통신 규격과 프로토콜을 기반으로 상기 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망 상의 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.
본 발명의 실시 방법에 따르면, 상기 통신부(120)는 통신망 상의 서버(또는 장치)로부터 실제현실 데이터를 수신하는 실제현실 획득수단의 기능을 수행하거나, 또는 상기 통신망 상의 서버(또는 장치)에 저장된 가상현실 데이터를 수신하는 가상현실 획득수단의 기능을 수행할 수 있다.
상기 센서부(125)는 상기 증강현실 장치(100)에 구비된 적어도 하나의 센서로부터 아날로그 신호 또는 디지털 신호 형태의 센싱 신호를 획득하여 데이터 처리가 가능한 센싱 데이터로 변환하는 센서모듈을 포함한다. 여기서, 상기 센서는 환경 변화에 따라 전기적 신호(예컨대, 저항, 전류, 전압)를 발생시키는 전기적 신호 센서와, 상기 카메라와 같이 실제현실 데이터를 획득함과 동시에 상기 실제현실 데이터로부터 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 카메라 센서를 포함할 수 있다. 만약 상기 센서가 카메라 센서를 포함하는 경우 상기 센서부(125)는 상기 카메라부(130)와 통합될 수 있다.
상기 조작부(115)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 입력모듈을 포함한다. 상기 조작부(115)는 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 출력부(110)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈을 포함하며, 상기 카메라부(130) 또는 센서부(125)와 연동하여 사용자의 손 동작, 몸 동작 및 눈 움직임 중 어느 하나를 인식하여 사용자 조작에 필요한 정보를 입력받는 사용자 인식 모듈을 더 포함할 수 있다.
도면1을 참조하면, 상기 증강현실 장치(100)는, 하나 이상의 실제현실 획득수단을 통해 실제현실 데이터를 입력하는 실제현실 입력부(140)와, 상기 실제현실 데이터로부터 가상현실 데이터를 출력할 객체를 인식하는 객체 인식부(145)와, 상기 인식된 객체 주변의 색상/채도 값(1)을 확인하는 실제현실 확인부(150)를 구비한다.
상기 실제현실 입력부(140)는 상기 카메라부(130)를 통해 실제현실 데이터를 실시간 입력하거나, 또는 상기 메모리부(135)에 저장된 실제현실 데이터를 입력하거나, 또는 상기 통신부(120)를 통해 실제현실 데이터를 수신하며, 상기 입력된 실제현실 데이터는 상기 출력부(110)를 통해 출력되거나 또는 상기 증강현실 출력부(180)로 전달된다.
상기 실제현실 데이터가 입력되면, 상기 객체 인식부(145)는 상기 실제현실 데이터를 판독하여 가상현실 데이터를 출력할 하나 이상의 객체(또는 위치)를 인식한다.
본 발명의 일 실시 방법에 따르면, 상기 객체 인식부(145)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 미리 정의된 마커를 검출하고, 상기 마커가 검출된 위치를 가상현실 데이터를 출력할 객체(또는 위치)로 인식할 수 있다. 여기서, 상기 마커는 미리 정의된 기호, 부호, 문양 중 어느 하나를 포함할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 메모리부(135)는 상기 실제현실 데이터에 포함된 객체를 인식하는 객체 인식 정보를 저장할 수 있으며, 이 경우 상기 객체 인식부(145)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 상기 색상/채도를 통해 구분되는 영역의 경계 선을 검출하고, 상기 검출된 경계선을 연결 및 조합하여 기하학 구조를 인식하거나 상기 경계선 내의 색상/채도 분포 패턴을 인식한 후, 상기 인식된 기하학 구조와 분포 패턴을 상기 객체 인식 정보에 미리 정의된 객체들의 기하학 구조와 분포 패턴과 비교하여 상기 실제현실 데이터에 포함된 객체를 인식할 수 있다.
여기서, 상기 색상/채도 값은 RGB(Red, Green, Blue) 팔레트 값을 색상/채도로 변환하는 행렬식을 통해 추출될 수 있으며, 상기 객체 인식 정보는 상기 실제현실 데이터의 색상/채도를 판독하여 색상/채도 상의 기하학 구조 정보와 상기 색상/채도의 분포 패턴 정보가 획득되는 경우, 상기 획득된 기하학 구조와 분포 패턴에 대응하는 객체가 무엇인지 판별할 수 있도록 미리 정의된 객체들의 기하학 구조와 분포 패턴을 포함한다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 객체 인식부(145)는 상기 실제현실 데이터를 상기 마커를 인식하는 서버(또는 장치)로 전송하거나, 또는 상기 객체 인식 정보를 구비한 서버(또는 장치)로 전송하여 상기 실제현실 데이터 상에 상기 가상현실 데이터를 출력할 객체(또는 위치)로 인식할 수 있다.
한편, 상기 실제현실 데이터가 카메라부(130)를 통해 실시간 입력되는 경우, 상기 객체 인식부(145)는 상기 센서부(125)와 카메라부(130)의 시선 방향을 일치시킨 후, 상기 카메라부(130)를 통해 입력되는 실제현실 데이터의 좌표계와 상기 센서부(125)를 통해 센싱되는 센싱 신호의 좌표계를 매칭하여 특정 센싱 신호가 검출되는 좌표 값을 가상현실 데이터를 출력할 객체(또는 위치)로 인식할 수 있다.
또는, 상기 실제현실 데이터가 상기 메모리부(135)에 저장되거나 또는 통신부(120)를 통해 수신되고 상기 실제현실 데이터에 상기 객체 위치를 판별하는 메타 데이터가 포함(또는 링크)된 경우, 상기 객체 인식부(145)는 상기 실제현실 데이터에 포함(또는 링크)된 메타 데이터를 참조하여 상기 가상현실 데이터를 출력할 객체(또는 위치)를 인식할 수 있다.
상기 객체 인식부(145)를 통해 상기 실제현실 데이터 상의 객체가 인식되면, 상기 실제현실 확인부(150)는 상기 실제현실 데이터에 대한 상기 객체 주변의 색상/채도 값(1)을 확인한다.
본 발명의 일 실시 방법에 따르면, 상기 실제현실 확인부(150)는 <수학식>과 같은 색상/채도 산출 행렬식을 통해 상기 실제현실 데이터에 대한 색상/채도 값을 추출한 후, 상기 객체 인식부(145)를 통해 인식된 객체 주변의 픽셀에 대한 색상/채도 값(1)을 확인할 수 있다.
<수학식>
Figure 112017018953918-pat00001
여기서, x, y는 실제현실 데이터 상의 픽셀 좌표 값이고, 상기 Y’(1, y)는 픽셀 좌표 (1, y)에 대한 색상 값이고, U(1, y), V(1, y)는 픽셀 좌표 (1, y)에 대한 채도 값이다. 상기와 같이 실제현실 데이터의 색상/채도 값을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하는 방식은 가장 직관적으로 객체 주변의 색상/채도 값(1)을 확인할 수 있으나, 상기 실제현실 데이터가 동영상인 경우에 각 프레임 별로 상기 <수학식>을 계산해야 한다.
본 발명의 다른 일 실시 방법에 따르면, 상기 실제현실 확인부(150)는 상기 실제현실 데이터 상의 광원 위치를 추적하고, 상기 광원 위치와 광량을 기반으로 객체 주변의 색상/채도 값(1)을 확인할 수 있다. 상기와 같이 광원의 위치와 광량을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하는 방식은 상기 객체가 검출된 시점에 <수학식>을 한번 계산한 후 상기 객체가 상기 광원의 영향 범위에 존재하는 동안 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있으나, 상기 실제현실 데이터의 색상/채도 값을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하는 방식보다 객체 주변의 색상/채도 값(1)이 부정확해질 수 있다.
예를들어, 상기 실제현실 확인부(150)는 상기 <수학식>을 통해 추출된 실제현실 데이터의 색상/채도 값을 판독하여 특정 색상/채도에 대한 그라데이션(Gradation) 효과가 발생하는 필셀 영역을 확인하고, 상기 그라데이션 방향을 기반으로 상기 실제현실 데이터 상의 광원 위치를 추적할 수 있다. 상기 광원의 위치가 추적되면, 상기 그라데이션의 가장 밝은 부분의 명암을 기반으로 상기 광원의 광량을 산출하고, 상기 광원의 위치와 광량을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 실제현실 확인부(150)는 상기 실제현실 데이터가 촬영된 시간과 장소를 확인한 후, 상기 시간과 장소를 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있다. 상기와 같이 시간과 장소를 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하는 방식은 상기 실제현실 데이터로부터 색상/채도 값을 추출하지 않고도 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있으나, 정확성이 다소 떨어질 수 있다.
예를들어, 상기 실제현실 데이터가 상기 카메라를 통해 실시간 입력되는 경우, 상기 실제현실 확인부(150)는 상기 실제현실 데이터가 입력되는 시점의 시간이 야간인지 주간인지, 상기 실제현실 데이터가 입력되는 장소가 실내인지 실외인지 확인하고, 상기 시간과 장소를 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있다. 만약 상기 실제현실 데이터가 상기 메모리부(135)에 저장되어 있거나, 또는 통신부(120)를 통해 수신되는 경우라도 메타 정보 형태로 상기 실제현실 데이터가 촬영된 시점의 시간과 장소가 포함되어 있다면, 상기 실제현실 확인부(150)는 상기 시간과 장소를 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있다.
도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 객체에 표시할 가상현실 데이터를 결정하는 가상현실 결정부(155)와, 하나 이상의 가상현실 획득수단을 통해 상기 결정된 가상현실 데이터를 입력하는 가상현실 입력부(160)와, 상기 객체에 표시할 가상현실 데이터의 폴리곤 데이터에 매핑/렌더링할 텍스쳐 데이터를 확인하고, 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하는 가상현실 확인부(165)와, 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하는 가상현실 보정부(170)와, 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성하는 가상현실 구성부(175)와, 상기 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 표시하여 상기 출력부(110)를 통해 출력하는 증강현실 출력부(180)를 구비한다.
상기 가상현실 결정부(155)는 상기 실제현실 데이터로부터 검출된 객체에 표시할 가상현실 데이터를 결정한다. 만약 상기 실제현실 데이터 상의 객체에 표시할 가상현실 데이터가 어느 하나의 가상현실 데이터로 고정되는 경우, 상기 가상현실 결정부(155)는 상기 고정된 상기 객체 인식부(145)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
본 발명의 일 실시 방법에 따르면, 상기 객체가 마커를 통해 인식된 경우, 상기 가상현실 결정부(155)는 상기 마커 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 만약 상기 마커에 상기 가상현실 데이터를 결정하기 위한 정보가 부호화되어 포함된 경우, 상기 가상현실 결정부(155)는 상기 객체 인식부(145)를 통해 인식된 마커에 포함된 부호화 정보를 인식 및 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 가상현실 결정부(155)는 상기 객체 인식부(145)를 통해 인식된 객체의 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 또는 상기 실제현실 데이터에 상기 가상현실 데이터를 결정하기 위한 별도의 표시가 포함된 경우, 상기 표시를 판독하여 상기 객체 인식부(145)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
한편, 상기 실제현실 데이터가 메모리부(135)에 저장되어 있거나 또는 통신부(120)를 통해 수신되고 상기 실제현실 데이터에 상기 객체 인식부(145)를 통해 인식된 객체(또는 위치)에 표시할 가상현실 데이터를 결정하는 메타 데이터가 포함(또는 링크)된 경우, 상기 가상현실 결정부(155)는 상기 메타 데이터를 참조하여 상기 객체(또는 위치)에 표시할 가상현실 데이터를 결정할 수 있다.
상기 가상현실 입력부(160)는 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 가상현실 데이터 중 상기 가상현실 결정부(155)를 통해 결정된 가상현실 데이터를 상기 실제현실 데이터의 객체에 표시할 가상현실 데이터로 입력한다.
본 발명의 일 실시 방법에 따르면, 상기 메모리부(135)에 상기 결정된 가상현실 데이터에 대응하는 폴리곤 데이터와 텍스쳐 데이터가 저장된 경우, 상기 가상현실 입력부(160)는 상기 메모리부(135)로부터 폴리곤 데이터와 텍스쳐 데이터를 추출한다.
상기 폴리곤 데이터와 텍스쳐 데이터가 추출되면, 상기 가상현실 확인부(165)는 상기 추출된 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하고, 상기 가상현실 보정부(170)는 상기 객체 주변의 색상/채도 값(1)을 기준으로 상기 텍스쳐 데이터의 색상/채도 값(2)의 대비가 증가하도록 색상/채도를 보정하고, 가상현실 구성부(175)는 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성한다.
상기 가상현실 구성부는 상기 객체 주변의 색상/채도 값(1)이 기 설정된 기준 색상/채도 값보다 어둡거나, 또는 상기 실제현실 데이터 상의 광량이 기 설정된 기준 광량보다 작거나, 또는 상기 실제현실이 야간에 야외에서 촬영된 경우, 상기 가상현실 데이터를 렌더링하는 광량을 상기 기준 광량보다 크게 설정하여 렌더링할 수 있다.
여기서, 상기 가상현실 보정부(170)가 상기 식생/채도의 대비를 증가시키는 방식은, 상기 색상/채도 값(1)의 명암을 고정한 상태에서 상기 색상/채도 값(1)과 명암 대비가 증가하도록 색상/채도 값(2)의 명암을 보정하거나, 또는 상기 색상/채도 값(1)의 색상을 고정한 상태에서 상기 색상/채도 값(2)의 색상을 색상/채도 값(1)과 보색관계의 색상으로 쉬프트(Shift) 시켜 보정할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 통신망을 통해 상기 결정된 가상현실 데이터에 대응하는 폴리곤 데이터와 텍스쳐 데이터가 수신되는 경우, 상기 가상현실 입력부(160)는 상기 폴리곤 데이터와 텍스쳐 데이터를 요청하는 가상현실 요청 정보를 구성하여 통신망 상의 증강현실 운영 서버(200)로 전송하고, 기 증강현실 운영 서버(200)로부터 상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 수신한다.
여기서, 상기 가상현실 요청 정보는 상기 결정된 가상현실 데이터에 대응하는 마커 정보, 객체 정보, 객체 인식 정보를 포함하거나, 또는 이를 설명하는 태그, 키워드, 문자열을 포함할 수 있으며, 실시 방법에 따라 특정 가상현실 데이터를 요청하는 주소, 데이터식별코드를 포함할 수 있다.
상기 폴리곤 데이터와 텍스쳐 데이터가 수신되면, 상기 가상현실 확인부(165)는 상기 추출된 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하고, 상기 가상현실 보정부(170)는 상기 객체 주변의 색상/채도 값(1)을 기준으로 상기 텍스쳐 데이터의 색상/채도 값(2)의 대비가 증가하도록 색상/채도를 보정하고, 가상현실 구성부(175)는 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성한다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 통신망을 통해 상기 결정된 가상현실 데이터에 대응하는 폴리곤 데이터에 텍스쳐 데이터가 매핑/렌더링된 가상현실 데이터가 수신되는 경우, 상기 가상현실 입력부(160)는 상기 폴리곤 데이터에 텍스쳐 데이터가 매핑/렌더링된 가상현실 데이터를 요청하는 가상현실 요청 정보를 구성하여 통신망 상의 증강현실 운영 서버(200)로 전송하고, 상기 증강현실 운영 서버(200)로부터 가상현실 요청 정보에 대응하는 가상현실 데이터를 수신한다.
여기서, 상기 가상현실 요청 정보는 상기 결정된 가상현실 데이터에 대응하는 마커 정보, 객체 정보, 객체 인식 정보를 포함하거나, 또는 상기 태그, 키워드, 문자열을 포함하거나 또는 상기 주소, 데이터식별코드를 포함할 수 있으며, 상기 실제현실 확인부(150)에 의해 확인된 상기 객체 주변의 색상/채도 값(1)을 더 포함한다.
또는, 상기 가상현실 요청 정보는 상기 실제현실 입력부(140)를 통해 입력되는 실제현실 데이터를 더 포함할 수 있다.
상기 색상/채도 값(1) 또는 실제현실 데이터를 포함하는 가상현실 요청 정보에 통해 상기 증강현실 운영 서버(200)로부터 수신되는 가상현실 데이터는 상기 증강현실 운영 서버(200)에서 상기 텍스쳐 데이터의 색상/채도 값(2)은 상기 객체 주변의 색상/채도 값(1)을 기준으로 대비가 증가하도록 보정된 색상/채도를 포함하여 폴리곤 데이터에 매핑/렌더링된 가상현실 데이터를 포함한다.
상기 텍스쳐 데이터의 색상/채도 값(2)은 상기 객체 주변의 색상/채도 값(1)을 기준으로 대비가 증가하도록 보정된 색상/채도를 포함하는 가상현실 데이터가 구성되면, 상기 증강현실 출력부(180)는 상기 실제현실 입력부(140)를 통해 입력되는 실제현실 데이터 상의 객체(또는 위치)에 상기 가상현실 입력부(160)를 통해 입력되는 가상현실 데이터를 표시한 후, 상기 출력부(110)를 통해 출력한다.
본 발명의 일 실시 방법에 따르면, 상기 증강현실 출력부(180)는 상기 실제현실 데이터 상의 객체에 투명영역을 포함하는 가상현실 데이터를 중첩시켜 증강현실 데이터를 생성한 후, 상기 증강현실 데이터를 상기 출력부(110)를 통해 출력할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 증강현실 출력부(180)는 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성한 후, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고 상기 실제현실 데이터의 객체 위치에 대응하는 가상현실 계층에 가상현실 데이터를 출력하여 상기 출력부(110)를 통해 출력할 수 있다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 출력부(110)가 투명 디스플레이를 포함하는 경우, 상기 증강현실 출력부(180)는 상기 객체 인식부(145)를 통해 결정된 투명 디스플레이 상의 객체 위치에 상기 가상현실 데이터만 표시하여 출력할 수 있다.
도면2는 본 발명의 실시 방법에 따른 실제현실 적응형 증강현실 시스템 구성을 도시한 도면이다.
보다 상세하게 본 도면2는 실제현실 데이터 상의 객체 주변 색상/채도를 기준으로 상기 객체에 표시할 가상현실 데이터의 색상/채도의 대비가 증가하도록 처리하는 시스템 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 증강현실 시스템 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
예컨대, 본 도면2는 편의상 상기 증강현실 시스템을 구성하는 각각의 수단을 증강현실 운영 서버(200)에 구비되는 구성요소 형태로 구성하여 상기 증강현실 운영 서버(200) 내에 도시하였으나, 상기 수단들이 증강현실 운영 서버(200)의 구성요소로 한정되는 것은 결코 아니며, 당업자의 의도에 따라 각 수단이 별도의 서버 형태로 구현되거나, 또는 두개 이상의 수단이 조합되어 서버 형태로 구현되거나, 일부 수단은 서버 형태로 구현되고 나머지 수단은 증강현실 운영 서버(200)의 구성요소 형태로 구현되는 것이 모두 가능하며, 상기 수단들의 구현 방식에 의해 본 발명이 한정되지 아니함을 명백하게 밝혀두는 바이다.
본 발명에 따르면, 상기 증강현실 시스템은, 실제현실 데이터를 획득하는 기능, 가상현실 데이터를 획득하는 기능, 상기 실제현실 데이터로부터 가상현실 데이터를 표시할 객체(또는 실제현실 데이터 상의 가상현실 데이터 표시 위치)를 결정하는 기능 및 상기 실제현실 데이터 상의 객체(또는 위치)에 상기 획득된 가상현실 데이터를 표시하여 출력하는 기능을 구비한 증강현실 장치(100)와, 상기 증강현실 장치(100)와 통신 연결되어 상기 증강현실 장치(100)로 가상현실 데이터를 전송하되, 상기 가상현실 데이터의 색상/채도가 상기 실제현실 데이터 상의 객체 주변 색상/채도와 대비가 증가하도록 처리하는 증강현실 운영 서버(200)를 포함하여 이루어진다.
도면2를 참조하면, 상기 증강현실 운영 서버(200)는 상기 증강현실 장치(100)가 상기 실제현실 데이터를 상기 증강현실 운영 서버(200)로부터 수신하여 획득하는 경우, 상기 증강현실 장치(100)로 제공할 하나 이상의 실제현실 데이터를 저장하는 실제현실 D/B(270)를 구비하거나, 또는 통신 연결하여 운영한다.
상기 실제현실 데이터는 실제 세계를 카메라를 통해 촬영한 이미지 파일 또는 동영상 파일을 포함한다.
본 발명의 실시 방법에 따르면, 상기 실제현실 데이터는 해당 실제현실 데이터를 설명하는 태그, 키워드, 문자열을 포함하는 실제현실 메타 정보와 연계되어 상기 실제현실 D/B(270)에 저장될 수 있다.
도면2를 참조하면, 상기 증강현실 운영 서버(200)는 상기 증강현실 장치(100)가 가상현실 데이터를 상기 증강현실 운영 서버(200)로부터 수신하여 획득하는 경우, 상기 증강현실 장치(100)로 제공할 하나 이상의 가상현실 데이터를 저장하는 가상현실 D/B(275)를 구비하거나, 또는 통신 연결하여 운영한다.
상기 가상현실 데이터는 폴리곤(Polygon) 데이터와 텍스쳐(Texture) 데이터의 조합으로 구성되며, 결합 가능한 폴리곤 데이터와 텍스쳐 데이터를 포함하고 상기 폴리곤 데이터에 상기 텍스쳐 데이터를 매핑하여 렌더링하기는 매핑/렌더링 정보를 포함하는 데이터 파일, 결합 가능한 폴리곤 데이터와 텍스쳐 데이터를 포함하고 상기 매핑/렌더링 정보는 상기 증강현실 장치(100)에서 동적으로 결정되도록 설정된 데이터 파일 중 적어도 하나를 포함한다.
본 발명의 실시 방법에 따르면, 상기 가상현실 데이터는 해당 가상현실 데이터를 식별하는 가상현실 메타 정보와 연계되어 상기 가상현실 D/B(275)에 저장될 수 있으며, 상기 가상현실 메타 정보는 마커 정보, 객체 정보, 객체 인식 정보를 포함하거나, 또는 이를 설명하는 태그, 키워드, 문자열을 포함하는 가상현실 메타 정보와 연계되어 상기 가상현실 D/B(275)에 저장될 수 있다.
본 발명의 일 실시 방법에 따라 상기 증강현실 장치(100)에서 상기 가상현실 데이터를 요청하기 위해 실제현실 데이터로부터 인식된 마커 정보를 전송하는 경우, 상기 가상현실 메타 정보는 상기 수신되는 마커 정보와 매칭되는 마커 정보를 포함하거나, 또는 상기 수신되는 마커 정보를 판별하는 태그, 키워드, 문자열을 포함할 수 있다.
본 발명의 다른 일 실시 방법에 따라 상기 증강현실 장치(100)에서 상기 가상현실 데이터를 요청하기 위해 실제현실 데이터로부터 인식된 객체 정보를 전송하는 경우, 상기 가상현실 메타 정보는 상기 수신되는 객체 정보와 매칭되는 객체 정보를 포함하거나, 상기 수신되는 객체 정보를 판별하는 태그, 키워드, 문자열을 포함할 수 있다.
여기서, 상기 객체 정보는 상기 증강현실 장치(100)에서 실제현실 데이터의 색상/채도를 판독하여 획득한 색상/채도 상의 기하학 구조 정보와 상기 색상/채도의 분포 패턴 정보 중 적어도 하나를 포함하거나, 또는 상기 기하학 구조와 분포 패턴 중 적어도 하나를 통해 추정된 객체를 식별(또는 지정)하는 객체 식별 정보를 포함한다.
본 발명의 또다른 일 실시 방법에 따라 상기 증강현실 장치(100)에서 상기 가상현실 데이터를 요청하기 위해 실제현실 데이터를 전송하는 경우, 상기 가상현실 메타 정보는 상기 수신되는 실제현실 데이터를 판독하여 객체를 인식하는 객체 인식 정보를 포함하고, 상기 객체 인식 정보를 통해 인식된 객체에 대응하는 객체 정보를 더 포함하거나, 상기 인식된 객체를 판별하는 태그, 키워드, 문자열을 더 포함할 수 있다.
여기서, 상기 객체 인식 정보는 상기 실제현실 데이터의 색상/채도를 판독하여 색상/채도 상의 기하학 구조 정보와 상기 색상/채도의 분포 패턴 정보가 획득되는 경우, 상기 획득된 기하학 구조와 분포 패턴에 대응하는 객체가 무엇인지 판별할 수 있도록 미리 정의된 객체들의 기하학 구조와 분포 패턴을 포함하며, 상기 실제현실 데이터로부터 획득되는 기하학 구조와 분포 패턴을 상기 객체 인식 정보에 미리 정의된 객체들의 기하학 구조와 분포 패턴과 비교하여 상기 실제현실 데이터에 포함된 객체를 인식할 수 있게 된다.
도면2를 참조하면, 상기 증강현실 운영 서버(200)는, 상기 증강현실 장치(100)로부터 실제현실 요청 정보를 수신하는 실제현실 요청 정보 수신수단(205)과, 상기 수신된 실제현실 데이터 요청 정보를 판독하거나 또는 상기 실제현실 D/B(270)에 저장된 실제현실 메타 정보와 상기 실제현실 데이터 요청 정보를 비교하여 상기 증강현실 장치(100)로 전송할 실제현실 데이터를 결정 및 추출하는 실제현실 데이터 추출수단(210)과, 상기 추출된 실제현실 데이터를 상기 증강현실 장치(100)로 전송하는 실제현실 데이터 전송수단(220)을 구비할 수 있다. 만약 상기 증강현실 장치(100)에 구비된 카메라를 통해 실제현실 데이터를 직접 획득하거나, 또는 상기 증강현실 장치(100)에 투명 디스플레이가 구비된 경우 상기 증강현실 장치(100)로 실제현실 데이터를 전송하는 상기 수단들은 생략 가능하다.
여기서, 상기 실제현실 요청 정보는 상기 실제현실 D/B(270)에 저장된 실제현실 데이터 중 어느 하나의 실제현실 데이터와 실제현실 메타 정보와 매칭되는 태그, 키워드, 문자열을 포함할 수 있으며, 실시 방법에 따라 특정 실제현실 데이터를 요청하는 주소, 데이터식별코드를 포함할 수 있다.
도면2를 참조하면, 상기 증강현실 운영 서버(200)는, 상기 증강현실 장치(100)로부터 가상현실 요청 정보를 수신하는 가상현실 요청 정보 수신수단(225)과, 상기 수신된 가상현실 데이터 요청 정보를 판독하거나 또는 상기 가상현실 D/B(275)에 저장된 가상현실 메타 정보와 상기 가상현실 데이터 요청 정보를 비교하여 상기 증강현실 장치(100)로 전송할 가상현실 데이터를 추출하는 가상현실 데이터 추출수단(230)과, 상기 추출된 가상현실 데이터를 상기 증강현실 장치(100)로 전송하는 가상현실 데이터 전송수단(235)을 구비할 수 있다. 만약 상기 증강현실 장치(100)에 가상현실 데이터가 저장되어 있거나 또는 다른 서버로부터 가상현실 데이터를 수신하는 경우 상기 증강현실 장치(100)로 가상현실 데이터를 전송하는 상기 수단들은 생략 가능하다.
본 발명의 일 실시 방법에 따르면, 상기 가상현실 요청 정보는 상기 마커 정보, 객체 정보, 객체 인식 정보를 포함하거나, 또는 이를 설명하는 태그, 키워드, 문자열을 포함할 수 있으며, 실시 방법에 따라 특정 가상현실 데이터를 요청하는 주소, 데이터식별코드를 포함할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 가상현실 요청 정보는 상기 마커 정보, 객체 정보, 객체 인식 정보를 포함하거나, 또는 상기 태그, 키워드, 문자열을 포함하거나 또는 상기 주소, 데이터식별코드를 포함할 수 있으며, 상기 실제현실 확인부(150)에 의해 확인된 상기 객체 주변의 색상/채도 값(1)을 더 포함한다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 가상현실 요청 정보는 상기 증강현실 장치(100)에서 입력된 실제현실 데이터를 포함할 수 있다.
상기 가상현실 요청 정보 수신수단(225)을 통해 증강현실 장치(100)로부터 가상현실 요청 정보가 수신되면, 상기 가상현실 데이터 추출수단(230)은 상기 가상현실 D/B(275)로부터 상기 가상현실 요청 정보에 대응하는 가상현실 데이터를 추출한다.
본 발명의 일 실시 방법에 따라 상기 가상현실 요청 정보에 마커 정보가 포함된 경우, 상기 가상현실 데이터 추출수단(230)은 상기 가상현실 D/B(275)에 저장된 가상현실 메타 정보의 마커 정보(또는 상기 마커 정보를 판별하는 태그, 키워드, 문자열)와 상기 가상현실 요청 정보에 포함된 마커 정보를 비교하여 상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 추출할 수 있다.
본 발명의 다른 일 실시 방법에 따라 상기 가상현실 요청 정보에 객체 정보가 포함된 경우, 상기 가상현실 데이터 추출수단(230)은 상기 가상현실 D/B(275)에 저장된 가상현실 메타 정보의 객체 정보(또는 상기 객체 정보를 판별하는 태그, 키워드, 문자열)와 상기 가상현실 요청 정보에 포함된 객체 정보를 비교하여 상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 추출할 수 있다.
본 발명의 또다른 일 실시 방법에 따라 상기 가상현실 요청 정보에 실제현실 데이터가 포함된 경우, 상기 가상현실 데이터 추출수단(230)은 상기 가상현실 D/B(275)에 저장된 가상현실 메타 정보의 객체 인식 정보를 통해 상기 실제현실 데이터에 포함된 객체를 인식하고, 상기 실제현실 데이터로부터 인식된 객체 정보와 상기 가상현실 D/B(275)에 저장된 가상현실 메타 정보의 객체 정보(또는 상기 객체 정보를 판별하는 태그, 키워드, 문자열)을 비교하여 상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 추출할 수 있다.
상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터가 추출되면, 상기 가상현실 데이터 전송수단(235)은 상기 추출된 폴리곤 데이터와 텍스쳐 데이터를 포함하는 가상현실 데이터를 상기 증강현실 장치(100)로 전송한다.
한편, 본 발명의 다른 실시 방식에 따라 상기 증강현실 운영 서버(200)에서 상기 추출된 폴리곤 데이터에 텍스쳐 데이터를 매핑/렌더링한 가상현실 데이터를 구성하는 경우, 상기 증강현실 운영 서버(200)는, 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하는 가상현실 확인수단(245)과, 상기 가상현실 요청 정보에 포함된 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하는 가상현실 보정수단(260)과, 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성하는 가상현실 구성수단(265)을 구비하며, 상기 가상현실 요청 정보에 실제현실 데이터가 포함된 경우, 실제현실 데이터로부터 가상현실 데이터를 표시할 객체를 인식하고, 상기 인식된 객체 주변의 색상/채도 값(1)을 확인하는 실제현실 확인수단(240)을 더 구비할 수 있다.
본 발명의 어느 일 실시 방법에 따라 상기 가상현실 요청 정보에 상기 증강현실 장치(100)로 입력된 실제현실 데이터가 포함되거나, 또는 상기 실제현실 D/B(270)에 저장된 실제현실 데이터 상에 가상현실 데이터를 표시하는 경우, 상기 실제현실 확인수단(240)은 상기 실제현실 데이터에 포함된 객체를 인식하고, 상기 객체 주변의 색상/채도 값(1)을 확인한다. 상기 실제현실 확인수단(240)이 상기 객체를 인식하는 구성은 상기 도면1의 객체 인식부(145) 구성을 참조하고, 상기 객체 주변의 색상/채도 값(1)을 확인하는 구성은 상기 도면1의 실제현실 확인부(150) 구성을 참조하기로 한다.
상기 실제현실 확인수단(240)을 통해 상기 객체 주변의 색상/채도 값(1)이 확인되거나, 또는 상기 가상현실 요청 정보를 통해 상기 색상/채도 값(1)이 포함되어 수신된 경우, 상기 가상현실 확인수단(245)은 상기 가상현실 데이터 추출수단(230)을 통해 가상현실 D/B(275)로부터 추출된 텍스쳐 데이터의 색상/채도 값(2)을 확인하고, 상기 가상현실 보정수단(260)은 상기 가상현실 요청 정보에 포함된 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하고, 상기 가상현실 구성수단(265)은 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성하며, 상기 가상현실 데이터 전송수단(235)은 상기 구성된 가상현실 데이터를 상기 증강현실 장치(100)로 전송한다.
도면3은 본 발명의 일 실시 방법에 따른 가상현실 데이터를 보정하는 예시 도면이다.
보다 상세하게 본 도면3은 시간과 장소를 기반으로 가상현실 데이터의 폴리곤 데이터에 매핑/렌더링되는 텍스쳐 데이터의 색상/채도 값(2)를 보정한 것을 예시한 것이다.
도면3의 (a)는 텍스쳐 데이터의 색상/채도 값(2)를 보정하지 않고 가상현실 데이터를 구성한 경우를 예시한 것이고, 도면3의 (b)는 상기 실제현실 데이터가 입력되는 시간이 주간인 경우에 상기 도면3의 (a)에 예시된 가상현실 데이터를 구성하는 텍스쳐 데이터의 색상/채도 값(2)를 상기 객체 주변의 색상/채도 값(1)과 대비가 증가하도록 보정한 것을 예시한 것이고, 도면3의 (c)는 상기 실제현실 데이터가 입력되는 시간이 야간인 경우에 상기 도면3의 (a)에 예시된 가상현실 데이터를 구성하는 텍스쳐 데이터의 색상/채도 값(2)를 상기 객체 주변의 색상/채도 값(1)과 대비가 증가하도록 보정한 것을 예시한 것이다.
도면4는 본 발명의 다른 일 실시 방법에 따른 가상현실 데이터를 보정하는 예시 도면이다.
보다 상세하게 본 도면4는 객체 주변의 색상/채도 값(1)과 텍스쳐 데이터의 색상/채도 값(2)의 색상을 기반으로 가상현실 데이터의 폴리곤 데이터에 매핑/렌더링되는 텍스쳐 데이터의 색상/채도 값(2)를 보정한 것을 예시한 것이다.
도면4의 (a)는 텍스쳐 데이터의 색상/채도 값(2)를 보정하지 않고 가상현실 데이터를 구성한 경우를 예시한 것이고, 도면4의 (b)는 상기 텍스쳐 데이터의 색상/채도 값(2)을 상기 객체 주변의 색상/채도 값(1)과 보색 관계의 색상으로 쉬프트 시켜 보정한 것을 예시한 것이다.
도면5는 본 발명의 일 실시 방법에 따라 객체 주변의 색상/채도에 따라 가상현실 데이터의 색상/채도를 보정하는 과정을 도시한 도면이다.
보다 상세하게 본 도면5는 상기 도면1에 도시된 증강현실 장치(100)에서 실제현실 데이터 상의 객체 주변 색상/채도를 기준으로 상기 객체에 표시할 가상현실 데이터의 색상/채도의 대비가 증가하도록 구성하여 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여 상기 색상/채도 보정 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면5를 참조하면, 증강현실 장치(100)는 실제현실 데이터가 입력되면(500), 상기 실제현실 데이터 상의 객체를 인식하고(505), 상기 인식된 객체 주변의 색상/채도 값(1)을 확인한다(510).
상기 객체 주변의 색상/채도 값(1)이 확인되면(515), 상기 증강현실 장치(100)는 상기 객체에 표시할 가상현실 데이터를 결정하고(520), 메모리부(135)로부터 상기 결정된 가상현실 데이터에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 추출하거나, 또는 상기 도면2에 도시된 증강현실 운영 서버(200)로 폴리곤 데이터와 텍스쳐 데이터를 요청하는 가상현실 요청 정보를 전송하여 상기 증강현실 운영 서버(200)로부터 상기 결정된 가상현실 데이터에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 수신한다(525).
상기 폴리곤 데이터와 텍스쳐 데이터가 추출(또는 수신)되면, 상기 증강현실 장치(100)는 상기 텍스쳐 데이터의 색상/채도 값(2)를 확인한다(530).
만약 상기 텍스쳐 데이터의 색상/채도 값(2)이 확인되면(530), 상기 증강현실 장치(100)는 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하고(535), 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성한 후(540), 상기 구성된 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 출력한다(545).
도면6은 본 발명의 다른 일 실시 방법에 따라 객체 주변의 색상/채도에 따라 가상현실 데이터의 색상/채도를 보정하는 과정을 도시한 도면이다.
보다 상세하게 본 도면6은 상기 도면1에 도시된 증강현실 장치(100)에서 상기 도면2에 도시된 증강현실 운영 서버(200)를 통해 실제현실 데이터 상의 객체 주변 색상/채도를 기준으로 상기 객체에 표시할 가상현실 데이터의 색상/채도의 대비가 증가하도록 구성하여 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여 상기 색상/채도 보정 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
예컨대, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조하여 상기 증강현실 장치(100)에서 실제현실 데이터를 상기 증강현실 운영 서버(200)로 전송하여 상기 가상현실 데이터의 색상/채도의 대비가 증가시키는 과정을 유추할 수 있을 것이며, 본 발명은 상기 유추 가능한 모든 실시 방법을 포함함을 명백하게 밝혀두는 바이다.
도면6을 참조하면, 증강현실 장치(100)는 실제현실 데이터가 입력되면(600), 상기 실제현실 데이터 상의 객체를 인식하고(605), 상기 인식된 객체 주변의 색상/채도 값(1)을 확인한다(610).
상기 객체 주변의 색상/채도 값(1)이 확인되면(615), 상기 증강현실 장치(100)는 상기 객체에 표시할 가상현실 데이터를 결정하고(620), 상기 확인된 객체 주변의 색상/채도 값(1)을 포함하는 가상현실 요청 정보를 상기 도면2에 도시된 증강현실 운영 서버(200)로 전송한다(625).
이후, 상기 증강현실 운영 서버(200)는 상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 확인하고(630), 상기 텍스쳐 데이터의 색상/채도 값(2)를 확인한다(635).
만약 상기 텍스쳐 데이터의 색상/채도 값(2)이 확인되면(640), 상기 증강현실 운영 서버(200)는 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하고(645), 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성한 후(650), 상기 구성된 가상현실 데이터를 상기 증강현실 장치(100)로 전송하며(655), 이에 대응하여 상기 증강현실 장치(100)는 상기 수신된 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 출력한다(660).
100 : 증강현실 장치 140 : 실제현실 입력부
145 : 객체 인식부 150 : 실제현실 확인부
155 : 가상현실 결정부 160 : 가상현실 입력부
165 : 가상현실 확인부 170 : 가상현실 보정부
175 : 가상현실 구성부 180 : 증강현실 출력부

Claims (3)

  1. 카메라를 구비한 증강현실장치에서 실행되는 방법에 있어서,
    상기 카메라를 통해 실시간 입력되는 실제현실 데이터의 전체 영역 중 일부의 지정된 특정 영역에 2D 형태 또는 3D 형태의 가상객체를 표시하는 경우, 상기 실제현실 데이터에 포함된 픽셀들에 대한 정보와 상기 실제현실 데이터를 입력받는 현실세계의 시간이나 장소에 대한 정보 중 적어도 하나 또는 둘 이상의 정보를 판독하여 상기 가상객체를 표시할 특정 영역 주변의 색상 값(1) 또는 채도 값(1)을 확인하는 제1 단계;
    상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)이 기 설정된 기준 색상 값 또는 기준 채도 값보다 어둡거나, 또는 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)에 대응하는 실제현실 데이터 상의 광량이 기 설정된 기준 광량보다 작거나, 또는 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)이 야간에 야외에서 실시간 입력된 실제현실 데이터에 대응하는 경우, 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)과의 명암 대비가 증가하는 색상 값(2) 또는 채도 값(2)을 포함하는 가상객체를 확인하거나, 또는 상기 특정 영역에 표시될 가상객체의 색상 값(2) 또는 채도 값(2)을 상기 특정 영역 주변의 색상 값(1) 또는 채도 값(1)과의 명암 대비가 증가하도록 보정 처리하는 제2 단계; 및
    상기 실제현실 데이터 상의 상기 특정 영역에 상기 색상 값(2) 또는 채도 값(2)의 대비가 증가된 가상객체를 표시하도록 처리하는 제3 단계;를 포함하는 실제현실 적응형 증강현실 제공 방법.


  2. 제 1항에 있어서, 상기 제1 단계는,
    상기 카메라를 통해 실시간 입력되는 실제현실 데이터에 포함된 픽셀들의 색상 값 또는 채도 값,
    상기 카메라를 통해 실시간 입력되는 실제현실 데이터에 포함된 픽셀 영역에 형성되는 그라데이션(Gradation)을 분석하여 추적된 광원 위치와 광량,
    상기 카메라를 통해 상기 실제현실 데이터를 입력받는 현실세계의 시간 또는 장소 중 적어도 하나 또는 둘 이상을 이용하여 상기 가상객체를 표시할 특정 영역 주변의 색상 값(1) 또는 채도 값(1)을 확인하는 단계를 포함하여 이루어지는 것을 특징으로 하는 실제현실 적응형 증강현실 제공 방법.
  3. 삭제
KR1020170024290A 2017-02-23 2017-02-23 실제현실 적응형 증강현실 제공 방법 KR101792250B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170024290A KR101792250B1 (ko) 2017-02-23 2017-02-23 실제현실 적응형 증강현실 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170024290A KR101792250B1 (ko) 2017-02-23 2017-02-23 실제현실 적응형 증강현실 제공 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020100055793A Division KR20110136035A (ko) 2010-06-14 2010-06-14 실제현실 적응형 증강현실 장치

Publications (2)

Publication Number Publication Date
KR20170027752A KR20170027752A (ko) 2017-03-10
KR101792250B1 true KR101792250B1 (ko) 2017-11-02

Family

ID=58411164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170024290A KR101792250B1 (ko) 2017-02-23 2017-02-23 실제현실 적응형 증강현실 제공 방법

Country Status (1)

Country Link
KR (1) KR101792250B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102484444B1 (ko) * 2020-12-11 2023-01-04 (주) 토탈소프트뱅크 Ar 환경에서 가시성 향상을 위한 bci 뇌파 자극물 생성 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163670A (ja) * 2000-11-24 2002-06-07 Mixed Reality Systems Laboratory Inc 複合現実感提示装置及びその制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163670A (ja) * 2000-11-24 2002-06-07 Mixed Reality Systems Laboratory Inc 複合現実感提示装置及びその制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
박자람, 윤희용, ‘증강현실에서 빛 정보를 이용한 색상 보정기법’, 한국정보과학회 학술발표논문집 37(1C), 2010.06. p 437-441

Also Published As

Publication number Publication date
KR20170027752A (ko) 2017-03-10

Similar Documents

Publication Publication Date Title
US11106938B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
CN105592310B (zh) 用于投影仪校准的方法和系统
KR101682705B1 (ko) 알에프리더를 이용한 증강현실 제공 방법
KR20110136038A (ko) 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템
KR101619512B1 (ko) 증강현실 장치 간 정보 공유 방법
CN110751646A (zh) 利用车辆视频中的多个图像帧进行损伤识别的方法及装置
JP6552266B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101638630B1 (ko) 증강현실 데이터 최적화 방법
CN110730345A (zh) 图像显示方法、图像识别方法、装置、介质、设备及系统
KR20110136035A (ko) 실제현실 적응형 증강현실 장치
CN110880161A (zh) 一种多主机多深度摄像头的深度图像拼接融合方法及系统
KR101792250B1 (ko) 실제현실 적응형 증강현실 제공 방법
CN112073640B (zh) 全景信息采集位姿获取方法及装置、系统
KR101692764B1 (ko) 가상 점을 이용한 증강현실 제공 방법
KR20170086005A (ko) 거리 차이를 이용한 증강현실 제공 방법
CN111354088A (zh) 环境地图建立方法以及其系统
GB2585197A (en) Method and system for obtaining depth data
KR101680124B1 (ko) 이종 플랫폼 간 증강현실 전달 방법
CN112703492A (zh) 用于在增强现实显示装置中操作的系统和方法
KR101488647B1 (ko) 모바일 단말의 가상 조명 동작방법 및 장치
KR20120009639A (ko) 사용자 조건을 이용한 선택적 가상객체 데이터 운용방법 및 이를 위한 증강현실 장치와, 기록매체
KR101679844B1 (ko) 이종 플랫폼 간 증강현실 제공 방법
KR101803532B1 (ko) 증강현실 품질 제어 방법
US20070242881A1 (en) Segmentation of digital images of an observation area in real time
KR20170143476A (ko) 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant