KR102117510B1 - 증강현실의 선택적 가상객체 표시 방법 - Google Patents

증강현실의 선택적 가상객체 표시 방법 Download PDF

Info

Publication number
KR102117510B1
KR102117510B1 KR1020190090202A KR20190090202A KR102117510B1 KR 102117510 B1 KR102117510 B1 KR 102117510B1 KR 1020190090202 A KR1020190090202 A KR 1020190090202A KR 20190090202 A KR20190090202 A KR 20190090202A KR 102117510 B1 KR102117510 B1 KR 102117510B1
Authority
KR
South Korea
Prior art keywords
user
real
augmented reality
virtual object
data
Prior art date
Application number
KR1020190090202A
Other languages
English (en)
Other versions
KR20190089829A (ko
Inventor
김재형
권봉기
Original Assignee
주식회사 비즈모델라인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비즈모델라인 filed Critical 주식회사 비즈모델라인
Priority to KR1020190090202A priority Critical patent/KR102117510B1/ko
Publication of KR20190089829A publication Critical patent/KR20190089829A/ko
Application granted granted Critical
Publication of KR102117510B1 publication Critical patent/KR102117510B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 증강현실의 선택적 가상객체 표시 방법에 따르면, 카메라를 구비한 사용자의 증강현실장치와 통신하는 서버를 통해 실행되는 방법에 있어서, 현실세계에 존재하는 특정 실제객체 위에 중첩 출력 가능한 복수의 가상객체와 상기 복수개의 가상객체 중 차별화된 특정 가상객체를 선택하여 특정 실제객체 위에 중첩 출력하기 위한 출력조건 정보를 연계 저장하고, 특정 사용자의 증강현실장치의 카메라를 통해 촬영된 실제현실 데이터를 판독하여 인식된 실제객체 위에 중첩 출력 가능한 복수개의 가상객체를 확인한 경우, 상기 복수의 가상객체와 연계된 출력조건 정보를 확인하고, 상기 사용자의 증강현실장치에 구비된 저장영역에 선 등록 저장되거나 상기 사용자의 증강현실장치와 연계된 서버에 선 등록 저장된 사용자의 조건을 확인하며, 상기 확인된 사용자의 조건을 근거로 상기 복수의 가상객체와 연계된 출력조건 정보를 판독하여 상기 복수의 가상객체 중 상기 사용자에게 차별화된 특정 가상객체를 자동 선택하여 상기 인식된 실제객체 위에 중첩 출력되도록 처리한다.

Description

증강현실의 선택적 가상객체 표시 방법{Method for Displaying Selectable Virtual-Object Data of Augmented Reality}
본 발명은, 카메라를 구비한 사용자의 증강현실장치와 통신하는 서버를 통해 실행되는 방법에 있어서, 현실세계에 존재하는 특정 실제객체 위에 중첩 출력 가능한 복수의 가상객체와 상기 복수개의 가상객체 중 차별화된 특정 가상객체를 선택하여 특정 실제객체 위에 중첩 출력하기 위한 출력조건 정보를 연계 저장하고, 특정 사용자의 증강현실장치의 카메라를 통해 촬영된 실제현실 데이터를 판독하여 인식된 실제객체 위에 중첩 출력 가능한 복수개의 가상객체를 확인한 경우, 상기 복수의 가상객체와 연계된 출력조건 정보를 확인하고, 상기 사용자의 증강현실장치에 구비된 저장영역에 선 등록 저장되거나 상기 사용자의 증강현실장치와 연계된 서버에 선 등록 저장된 사용자의 조건을 확인하며, 상기 확인된 사용자의 조건을 근거로 상기 복수의 가상객체와 연계된 출력조건 정보를 판독하여 상기 복수의 가상객체 중 상기 사용자에게 차별화된 특정 가상객체를 자동 선택하여 상기 인식된 실제객체 위에 중첩 출력되도록 처리하는 증강현실의 선택적 가상객체 표시 방법에 관한 것이다.
지금까지 증강현실을 이용한 정보 제공 서비스의 경우, 사전 설정된 정보(모델)을 제공하거나, 단편적인 정보를 제공하는 경우가 대부분이었다. 앞으로의 증강현실 서비스는 네트워크를 기반으로 좀더 복합한 정보를 쉽고 빠르게 제공되는 형태로 발전해 나갈 것으로 예측된다.
좀더 자세하게 온라인 서비스의 제공 방식과 유사하게 발전될 것으로 예측할 수 있는데, 정보 제공자(Contents Provider)가 제공하는 일방적이고 획일화된 증강현실 모델이 아니라 사용자의 관점에서 사용자의 상황에 적합한 정보를 추출하고 추출된 데이터를 통합적으로 제공되는 모델을 증강현실 기법을 적용할 경우 기존 네트워크 기반의 서비스 수준은 보다 발전된 형태로 진보될 수 있다.
본 발명의 목적은, 카메라를 구비한 사용자의 증강현실장치와 통신하는 서버를 통해 실행되는 방법에 있어서, 현실세계에 존재하는 특정 실제객체 위에 중첩 출력 가능한 복수의 가상객체와 상기 복수개의 가상객체 중 차별화된 특정 가상객체를 선택하여 특정 실제객체 위에 중첩 출력하기 위한 출력조건 정보를 연계 저장하는 제1 단계와 특정 사용자의 증강현실장치의 카메라를 통해 촬영된 실제현실 데이터를 판독하여 인식된 실제객체 위에 중첩 출력 가능한 복수개의 가상객체를 확인한 경우, 상기 복수의 가상객체와 연계된 출력조건 정보를 확인하는 제2 단계와 상기 사용자의 증강현실장치에 구비된 저장영역에 선 등록 저장되거나 상기 사용자의 증강현실장치와 연계된 서버에 선 등록 저장된 사용자의 조건을 확인하는 제3 단계 및 상기 확인된 사용자의 조건을 근거로 상기 복수의 가상객체와 연계된 출력조건 정보를 판독하여 상기 복수의 가상객체 중 상기 사용자에게 차별화된 특정 가상객체를 자동 선택하여 상기 인식된 실제객체 위에 중첩 출력되도록 처리하는 제4 단계를 포함하는 증강현실의 선택적 가상객체 표시 방법을 제공함에 있다.
본 발명에 따른 증강현실의 선택적 가상객체 표시 방법은,카메라를 구비한 사용자의 증강현실장치와 통신하는 서버를 통해 실행되는 방법에 있어서, 현실세계에 존재하는 특정 실제객체 위에 중첩 출력 가능한 복수의 가상객체와 상기 복수개의 가상객체 중 차별화된 특정 가상객체를 선택하여 특정 실제객체 위에 중첩 출력하기 위한 출력조건 정보를 연계 저장하는 제1 단계와 특정 사용자의 증강현실장치의 카메라를 통해 촬영된 실제현실 데이터를 판독하여 인식된 실제객체 위에 중첩 출력 가능한 복수개의 가상객체를 확인한 경우, 상기 복수의 가상객체와 연계된 출력조건 정보를 확인하는 제2 단계와 상기 사용자의 증강현실장치에 구비된 저장영역에 선 등록 저장되거나 상기 사용자의 증강현실장치와 연계된 서버에 선 등록 저장된 사용자의 조건을 확인하는 제3 단계 및 상기 확인된 사용자의 조건을 근거로 상기 복수의 가상객체와 연계된 출력조건 정보를 판독하여 상기 복수의 가상객체 중 상기 사용자에게 차별화된 특정 가상객체를 자동 선택하여 상기 인식된 실제객체 위에 중첩 출력되도록 처리하는 제4 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 증강현실의 선택적 가상객체 표시 방법에 있어서, 상기 출력조건 정보는, 현실세계에 존재하는 실제객체 별로 설정되는 것을 특징으로 한다.
본 발명에 따른 증강현실의 선택적 가상객체 표시 방법에 있어서, 상기 제4 단계는, 상기 사용자의 조건을 미확인하거나 상기 출력조건 정보와 매칭되지 않는 사용자 조건을 확인한 경우 상기 인식된 실제객체 위에 상기 확인된 복수의 가상객체를 중첩 출력되도록 처리하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 증강현실의 선택적 가상객체 표시 방법은, 카메라를 구비한 사용자의 증강현실장치와 통신하는 서버를 통해 실행되는 방법에 있어서, 현실세계에 존재하는 하나의 특정 실제객체 위에 중첩 출력 가능한 가상객체가 복수개인 경우 상기 복수개의 가상객체 중 사용자의 조건을 기반으로 적어도 하나의 가상객체를 선택하여 출력하기 위한 출력조건 정보를 상기 가상객체와 연계 저장하는 제1 단계와 특정 사용자의 증강현실장치의 카메라를 통해 촬영된 실제현실 데이터를 판독하여 인식된 실제객체 위에 중첩 출력 가능한 복수개의 가상객체를 확인한 경우 상기 확인된 가상객체와 연계된 출력조건 정보를 확인하는 제2 단계와 상기 가상객체와 연계된 출력조건 정보를 확인한 경우 상기 특정 사용자의 증강현실장치를 통해 설정된 상기 특정 사용자의 조건을 확인하거나 또는 지정된 서버에 등록된 상기 특정 사용자의 조건을 확인하는 제3 단계 및 상기 특정 사용자의 조건을 확인한 경우 상기 확인된 출력조건 정보를 근거로 상기 복수개의 가상객체 중 상기 특정 사용자의 조건에 최적화된 적어도 하나의 가상객체를 선택하여 상기 특정 사용자의 증강현실장치를 통해 출력되는 실제현실 데이터 상의 특정 실제객체 위에 중첩 출력하도록 처리하고, 상기 특정 사용자의 조건이 확인되지 않는 경우 지정된 가상객체를 확인하여 상기 특정 사용자의 증강현실장치를 통해 출력되는 실제현실 데이터 상의 특정 실제객체 위에 중첩 출력하도록 처리하는 제4 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 증강현실의 선택적 가상객체 표시 방법에 있어서, 상기 출력조건 정보는, 현실세계에 존재하는 실제객체 별로 설정되는 것을 특징으로 한다.
본 발명에 따른 증강현실의 선택적 가상객체 표시 방법에 있어서, 상기 출력조건 정보가 확인되지 않거나 상기 사용자의 조건이 확인되지 않은 경우 상기 특정 사용자의 증강현실장치를 통해 출력되는 실제현실 데이터 상의 특정 실제객체 위에 상기 확인된 가상객체를 중첩 출력하도록 처리하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법은, 카메라를 구비한 각 사용자의 증강현실 장치와 통신하는 서버를 통해 실행되는 방법에 있어서, 각 증강현실 장치의 카메라를 통해 촬영되는 실제현실 데이터의 특정한 실제객체 위에 중첩 출력할 가상객체를 각 증강현실 장치를 통해 사용자로부터 설정되는 사용자 조건에 맞추어 다르게 출력하거나 다른 가상객체를 출력하기 위한 출력조건 정보를 상기 특정한 실제객체의 식별정보와 연계 저장하는 제1 단계와 특정 사용자의 특정 증강현실 장치의 카메라를 통해 촬영된 실제현실 데이터를 판독하여 출력조건 정보와 연계된 식별정보에 대응하는 특정한 실제객체를 인식한 경우, 상기 특정 증강현실 장치를 통해 설정된 사용자 조건을 확인하거나 또는 사용자로부터 설정되어 지정된 서버에 등록된 사용자 조건을 확인하는 제2 단계 및 상기 특정한 실제객체와 연계된 출력조건 정보 중 상기 확인된 사용자 조건에 대응하는 특정 출력조건 정보를 확인하고, 상기 특정 증강현실 장치의 카메라를 통해 촬영된 실제현실 데이터 상의 특정한 실제객체 위에 중첩 출력될 가상객체를 상기 확인된 특정 출력조건 정보를 근거로 다른 사용자 조건의 다른 증강현실 장치와 다르게 출력되도록 처리하거나 다른 가상객체로 출력하도록 처리하는 제3 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법에 있어서, 상기 출력조건 정보는, 현실세계에 존재하는 각각의 실제객체 별로 설정되는 것을 특징으로 한다.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법에 있어서, 특정 사용자의 증강현실 장치의 카메라를 통해 상기 특정한 실제객체를 촬영하여 실제현실 데이터를 획득하기 전에 상기 실제객체와 연계된 출력조건 정보를 확인하기 위한 상기 특정 사용자의 증강현실 장치의 사용자 조건에 대응하는 사용자 조건 정보를 설정하거나 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법은, 실제현실 데이터를 실시간 획득하는 실제현실 획득수단을 구비한 각각의 사용자 별 증강현실 장치와 통신하는 서버를 통해 실행되는 방법에 있어서, 각각의 사용자 별 증강현실 장치의 실제현실 획득수단을 통해 현실세계에 존재하는 동일한 실제객체를 촬영하여 획득된 각각의 실제현실 데이터 상에서 인식된 가상객체 표시 위치에 상기 실제객체와 관련된 가상객체를 표시할 경우에 각 증강현실 장치의 사용자 조건에 따라 상기 실제객체와 관련된 가상객체를 각기 다르게 출력하거나 상기 실제객체와 관련된 각기 다른 가상객체를 출력하기 위한 출력조건 정보를 상기 실제객체를 식별하는 정보와 연계 저장하는 제1 단계와 특정 사용자 증강현실 장치의 실제현실 획득수단을 통해 상기 실제객체를 촬영하여 실제현실 데이터를 획득하여 상기 획득된 실제현실 데이터 상의 가상객체 표시 위치에 상기 실제객체와 관련된 가상객체를 표시하는 경우, 상기 특정 사용자 증강현실 장치에 설정된 사용자 조건을 확인하거나 또는 지정된 서버에 설정 등록된 상기 특정 사용자 증강현실 장치의 사용자 조건을 확인하는 제2 단계 및 상기 특정 사용자 증강현실 장치로 상기 확인된 사용자 조건과 매칭된 출력조건 정보에 대응하는 가상객체를 제공하여 상기 특정 사용자 증강현실 장치를 통해 상기 출력조건 정보에 맞게 출력하도록 처리하는 제3 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법에 있어서, 상기 출력조건 정보는, 각각의 사용자 별 증강현실 장치의 실제현실 획득수단을 통해 현실세계에 존재하는 동일한 실제객체를 촬영하여 획득된 각각의 실제현실 데이터 상에서 인식된 가상객체 표시 위치에 상기 실제객체와 관련된 가상객체를 표시하는 경우에 각 증강현실 장치의 사용자 조건에 따라 각각의 사용자 별 증강현실 장치에 상기 실제객체와 관련된 가상객체를 각기 다르게 출력하는 조건과 상기 실제객체와 관련된 복수의 가상객체 중에서 어느 한 가상객체를 선택하여 출력하는 조건 중 적어도 하나의 조건을 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법에 있어서, 특정 사용자 증강현실 장치의 실제현실 획득수단을 통해 상기 실제객체를 촬영하여 실제현실 데이터를 획득하기 전에 상기 실제객체와 연계된 출력조건 정보를 확인하기 위한 상기 특정 사용자 증강현실 장치의 사용자 조건에 대응하는 사용자 조건 정보를 설정하거나 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법은, 실제현실 데이터를 실시간 획득하는 실제현실 획득수단을 구비한 증강현실 장치와 통신하는 서버를 통해 실행되는 방법에 있어서, 서버에서 증강현실 장치의 실제현실 획득수단을 통해 획득되는 실제현실 데이터의 특정한 가상객체 표시 위치에 표시될 가상객체를 사용자 조건에 따라 각기 다르게 출력하거나 다른 가상객체를 출력하는 출력조건 정보를 저장하는 제1 단계와 증강현실 장치의 실제현실 획득수단을 통해 획득되는 실제현실 데이터의 가상객체 표시 위치에 가상객체를 표시하는 경우, 서버에서 상기 증강현실 장치에 설정된 사용자에 대한 사용자 조건을 확인하거나 또는 지정된 서버에 설정 등록된 사용자 조건을 확인하는 제2 단계 및 서버에서 상기 확인된 사용자 조건과 매칭되는 출력조건 정보에 대응하는 가상객체를 상기 상기 증강현실 장치로 제공하여 상기 출력조건 정보에 맞게 상기 증강현실 장치의 실제현실 획득수단을 통해 획득되는 실제현실 데이터의 가상객체 표시 위치에 출력되도록 처리하는 제3 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법에 있어서, 상기 출력조건 정보는, 각 사용자의 증강현실 장치에 구비된 실제현실 획득수단을 통해 동일한 실제현실 세계를 촬영하여 획득되는 실제현실 데이터에 표시될 가상객체를 각 사용자 조건에 따라 각기 다르게 출력하거나 다른 가상객체를 출력하는 조건을 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법에 있어서, 상기 제1 단계는, 각 사용자 조건을 설정하는 사용자 조건정보를 저장하는 단계를 더 포함하고, 상기 제2 단계는, 증강현실 장치를 사용하는 사용자의 저장된 사용자 조건정보에 대응하는 사용자 조건을 확인하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 사용자 조건을 이용한 선택적 가상객체 데이터 운용방법은, 증강현실 장치에서 실제현실 획득수단을 통해 실제현실 데이터를 획득하고, 상기 획득된 실제현실 데이터를 판독하여 실제객체(또는 가상객체 표시 위치)를 인식하는 단계와, 증강현실 장치에서 상기 인식된 실제객체(또는 가상객체 표시 위치)에 대한 출력조건 정보를 확인하고, 상기 증강현실 장치를 이용하는 사용자가 지정한 사용자 조건 정보와 매칭되는 출력조건 정보를 확인하는 단계와, 증강현실 장치에서 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터를 확인하는 단계와, 증강현실 장치에서 상기 확인된 가상객체 데이터가 상기 실제객체(또는 가상객체 표시 위치) 상에 출력되도록 처리하는 단계를 포함한다.
본 발명에 따른 사용자 조건을 이용한 선택적 가상객체 데이터 운용 기능이 구비된 증강현실 장치는, 증강현실 장치에서 실제현실 획득수단을 통해 실제현실 데이터를 획득하고, 상기 획득된 실제현실 데이터를 판독하여 실제객체(또는 가상객체 표시 위치)를 인식하는 실제객체 인식부와, 증강현실 장치에서 상기 인식된 실제객체(또는 가상객체 표시 위치)에 대한 출력조건 정보를 확인하고, 상기 증강현실 장치를 이용하는 사용자가 지정한 사용자 조건 정보와 매칭되는 출력조건 정보를 확인하는 출력조건 확인부와, 증강현실 장치에서 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터를 확인하는 가상객체 입력부와, 증강현실 장치에서 상기 확인된 가상객체 데이터가 상기 실제객체(또는 가상객체 표시 위치) 상에 출력되도록 처리하는 증강현실 표시부를 구비하여 이루어지는 것을 특징으로 한다.
본 발명에 따르면, 사용자를 대상으로 제공되는 정보가 정형화된 정보가 아닌 사용자의 요구에 맞는 효과적인 정보의 전달이 가능하며, 사용자의 요구에 맞는 정보의 제공을 통해 정보의 이용가치가 높아진다.
도 1은 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 과정을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 과정을 도시한 도면이다.
도 4는 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 예시를 도시한 도면이다.
도 5는 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자 조건이 임대로 설정한 경우에 대한 가상객체 데이터를 출력하는 예시화면을 도시한 도면이다.
도 6은 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자가 임대하고자 하는 계약 대상 건물로 설정한 경우에 대한 가상객체 데이터를 출력하는 예시 화면을 도시한 도면이다.
본 발명에 따른 사용자 조건을 이용한 선택적 가상객체 데이터 운용방법은, 증강현실 장치에서 실제현실 획득수단을 통해 실제현실 데이터를 획득하고, 상기 획득된 실제현실 데이터를 판독하여 실제객체(또는 가상객체 표시 위치)를 인식하는 단계와, 증강현실 장치에서 상기 인식된 실제객체(또는 가상객체 표시 위치)에 대한 출력조건 정보를 확인하고, 상기 증강현실 장치를 이용하는 사용자가 지정한 사용자 조건 정보와 매칭되는 출력조건 정보를 확인하는 단계와, 증강현실 장치에서 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터를 확인하는 단계와, 증강현실 장치에서 상기 확인된 가상객체 데이터가 상기 실제객체(또는 가상객체 표시 위치) 상에 출력되도록 처리하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 사용자 조건을 이용한 선택적 가상객체 데이터 운용방법에 있어서, 상기 사용자 조건 정보는, 상기 증강현실 장치 상에 구비된 메모리부 상에 선 등록된 사용자 조건 정보 또는, 상기 증강현실 장치와 통신망을 통해 연결된 서버 상에 저장된 사용자 조건 정보 또는, 상기 실제객체(또는 가상객체 표시 위치)를 통해 선택 가능한 사용자 조건 정보 입력(또는 선택)을 위한 사용자 인터페이스를 통해 입력(또는 선택)되는 사용자 조건 정보인 것을 특징으로 한다.
한편, 상기 전술한 사용자 조건을 이용한 선택적 가상객체 데이터 운용방법을 실행하는 프로그램을 기록한 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체를 포함한다.
한편, 본 발명에 따른 사용자 조건을 이용한 선택적 가상객체 데이터 운용 기능이 구비된 증강현실 장치는, 증강현실 장치에서 실제현실 획득수단을 통해 실제현실 데이터를 획득하고, 상기 획득된 실제현실 데이터를 판독하여 실제객체(또는 가상객체 표시 위치)를 인식하는 실제객체 인식부와, 증강현실 장치에서 상기 인식된 실제객체(또는 가상객체 표시 위치)에 대한 출력조건 정보를 확인하고, 상기 증강현실 장치를 이용하는 사용자가 지정한 사용자 조건 정보와 매칭되는 출력조건 정보를 확인하는 출력조건 확인부와, 증강현실 장치에서 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터를 확인하는 가상객체 입력부와, 증강현실 장치에서 상기 확인된 가상객체 데이터가 상기 실제객체(또는 가상객체 표시 위치) 상에 출력되도록 처리하는 증강현실 표시부를 구비하여 이루어지는 것을 특징으로 한다.
이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성요소와 본 발명을 위해 추가된 구성요소 사이의 관계도 명백하게 이해할 수 있을 것이다.
또한, 이하 실시예는 본 발명의 핵심적인 기술적 특징을 효율적으로 설명하기 위해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 명백하게 이해할 수 있도록 용어를 적절하게 변형하여 사용할 것이나, 이에 의해 본 발명이 한정되는 것은 결코 아니다.
결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
도면1은 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 증강현실 장치(100) 구성을 도시한 도면이다.
보다 상세하게 본 도면1은 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
본 발명의 증강현실 장치(100)는 실제현실 데이터를 획득하는 기능, 가상객체 데이터를 획득하는 기능, 상기 실제현실 데이터에 포함된 실제객체(또는 가상객체 데이터 표시할 위치 값)를 결정하는 기능 및 상기 실제현실 데이터 상의 실제객체(또는 가상객체 표시 위치)에 상기 획득된 가상객체 데이터를 표시하여 출력하는 기능 중 적어도 하나의 기능을 구비한 장치의 총칭으로서, 상기 실제현실 데이터를 획득하는 방식, 상기 가상객체 데이터를 획득하는 방식, 상기 실제객체(또는 가상객체 표시 위치)를 결정하는 방식 및 상기 실제현실 데이터 상에 상기 가상객체 데이터를 표시하는 방식에 의해 한정되지 아니한다.
예를들어, 상기 실제현실 데이터는 카메라를 통해 실시간 획득되거나, 또는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신될 수 있다. 상기 가상객체 데이터는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신되거나, 또는 상기 메모리에 저장되거나 통신망을 통해 수신되는 결합 가능한 폴리곤(Polygon) 데이터에 텍스쳐(Texture) 데이터를 매핑/렌더링하여 실시간 생성될 수 있다. 상기 실제객체(또는 가상객체 표시 위치)는 마커 방식과 마커리스 방식 중 어느 하나의 방식을 통해 결정되거나, 또는 상기 실제현실 데이터의 색상/채도 값을 판독하여 결정되는 색상/채도 영역에 대한 기하학적 구조(또는 팔레트 구성)와 실제객체의 기하학적 구조(또는 팔레트 구성)를 인식하여 결정될 수 있다. 상기 실제현실 데이터 상에 상기 가상객체 데이터를 표시하는 방식은 상기 실제현실 데이터와 가상객체 데이터를 조합한 하나의 출력 데이터를 생성하여 표시하는 방식, 실제현실 계층(Layer)와 적어도 하나의 가상현실 계층을 구비한 출력 데이터를 구성한 후 상기 출력 데이터의 실제현실 계층에 상기 실제현실 데이터를 출력함과 동시에 적어도 하나의 가상현실 계층에 가상객체 데이터를 표시하는 방식을 적어도 하나 포함할 수 있다. 만약 상기 실제현실 데이터가 투명 디스플레이에 표시되는 경우, 상기 가상객체 데이터는 상기 실제객체와 관측자의 시선방향이 만나는 투명 디스플레이 위치에 상기 실제객체에 대응하는 가상객체 데이터를 출력하는 형태로 표시될 수 있다.
또한, 상기 증강현실 장치(100)는 상기 장치의 이용 분야와 외형(또는 구조) 및 접속되는 통신망에 의해 한정되지 아니한다.
예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 설치 장치 형태 등으로 구현될 수 있다.
도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(120), 메모리부(155) 및 출력부(105)를 구비하며, 실제현실 데이터를 획득하는 방식에 따라 카메라부(165)를 더 구비하고, 가상객체 데이터를 획득하는 방식에 따라 통신부(115)를 더 구비하고, 가상객체 데이터가 표시될 실제현실 데이터 상의 실제객체(또는 가상객체 표시 위치)를 결정하는 방식에 따라 센서부(160)를 더 구비하고, 사용자 조작을 위한 조작부(110)를 더 구비할 수 있다.
상기 제어부(120)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(120) 내에 도시하여 설명하기로 한다.
상기 메모리부(155)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(120)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.
본 발명의 실시 방법에 따르면, 상기 메모리부(155)는 상기 실제현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(155)는 상기 실제현실 데이터를 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 메모리부(155)는 상기 가상객체 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(155)는 상기 가상객체 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 메모리부(155)는 본 발명에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하기 위해, 실제현실 데이터를 통해 획득되는 실제현실 데이터 상에 포함된 실제객체(또는 가상객체 표시 위치) 정보와, 상기 실제객체(또는 가상객체 표시 위치)를 통해 가상객체 데이터 출력시, 상기 가상객체 데이터를 출력할 N(N≥1)개의 출력조건 정보와, 상기 N개의 출력조건 각각에 대응하여 출력할 가상객체 데이터를 저장하는 것이 가능하다.
상기 출력부(105)는 실제현실 데이터 상의 실제객체에 가상객체 데이터를 표시하는 출력장치를 포함하며, LCD와 같은 일반 출력장치와 안경, 고글, 유리창과 같은 투명 디스플레이 중 어느 하나를 포함할 수 있다.
상기 카메라부(165)는 광학부와 CCD(Charge Coupled Device)로 구성된 카메라로부터 래스터(Raster) 기반의 실제현실 데이터를 비트맵 방식으로 실시간 획득하는 장치를 포함한다. 여기서, 상기 실제현실 데이터는 이미지 데이터 또는 동영상 데이터를 포함할 수 있다. 즉, 상기 카메라부(165)는 상기 증강현실 장치(100)에서 실제현실 데이터를 실시간 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 카메라부(165)는 상기 센서부(160)와 연동하여 센서 입력에 필요한 특정 데이터만 선택적으로 획득하거나, 또는 이미지(또는 동영상) 형태의 센싱 데이터를 획득하는 센서부(160)의 기능을 수행할 수 있다.
예를들어, 상기 카메라부(165)와 센서부(160)가 연동하는 경우, 상기 카메라부(165)는 상기 센서부(160)가 센싱하는 영역의 실제현실 데이터만 선택적으로 획득할 수 있으며, 이를 위해 상기 카메라부(165)와 센서부(160)의 시선 방향이 일치되도록 설정된다.
또는, 상기 카메라부(165)는 실제현실 데이터를 획득함과 동시에, 상기 실제현실 데이터를 판독하여 지정된 센싱 대상의 이미지(또는 동영상) 데이터를 센싱하는 센서부(160)의 기능을 수행할 수 있다.
상기 통신부(115)는 상기 증강현실 장치(100)가 접속하는 유선(또는 무선) 통신망에 따라 어느 하나의 통신 규격과 프로토콜을 기반으로 상기 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망 상의 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.
본 발명의 실시 방법에 따르면, 상기 통신부(115)는 통신망 상의 서버(또는 장치)로부터 실제현실 데이터를 수신하는 실제현실 획득수단의 기능을 수행하거나, 또는 상기 통신망 상의 서버(또는 장치)에 저장된 가상객체 데이터를 수신하는 가상현실 획득수단의 기능을 수행할 수 있다.
상기 센서부(160)는 상기 증강현실 장치(100)에 구비된 적어도 하나의 센서로부터 아날로그 신호 또는 디지털 신호 형태의 센싱 신호를 획득하여 데이터 처리가 가능한 센싱 데이터로 변환하는 센서모듈을 포함한다. 여기서, 상기 센서는 환경 변화에 따라 전기적 신호(예컨대, 저항, 전류, 전압)를 발생시키는 전기적 신호 센서와, 상기 카메라와 같이 실제현실 데이터를 획득함과 동시에 상기 실제현실 데이터로부터 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 카메라 센서를 포함할 수 있다. 만약 상기 센서가 카메라 센서를 포함하는 경우 상기 센서부(160)는 상기 카메라부(165)와 통합될 수 있다.
상기 조작부(110)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 입력모듈을 포함한다. 상기 조작부(110)는 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 출력부(105)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈을 포함하며, 상기 카메라부(165) 또는 센서부(160)와 연동하여 사용자의 손 동작, 몸 동작 및 눈 움직임 중 어느 하나를 인식하여 사용자 조작에 필요한 정보를 입력받는 사용자 인식 모듈을 더 포함할 수 있다.
도면1을 참조하면, 상기 증강현실 장치(100)는, 적어도 하나의 실제현실 획득수단을 통해 실제현실 데이터를 입력하는 실제현실 입력부(125)와, 상기 실제현실 데이터로부터 가상객체 데이터를 출력할 실제객체를 인식하는 실제객체 인식부(130)와, 상기 증강현실 장치(100)를 통해 출력할 하나 이상의 가상객체에 대한 사용자가 설정한 사용자 조건 정보를 확인하고, 상기 확인된 사용자 조건 정보를 기반으로 상기 사용자 조건 정보와 매칭되는 출력조건 정보를 확인하는 출력조건 확인부(135)와, 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터를 기반으로 상기 인식된 실제객체에 표시할 가상객체 데이터를 결정하는 가상객체 결정부(140)와, 적어도 하나의 가상현실 획득수단을 통해 상기 결정된 가상객체 데이터를 입력하는 가상객체 입력부(145)와, 상기 가상객체 데이터를 상기 실제현실 데이터 상의 실제객체에 표시하여 상기 출력부(105)를 통해 출력하는 증강현실 표시부(150)를 구비한다.
상기 실제현실 입력부(125)는 상기 카메라부(165)를 통해 실제현실 데이터를 실시간 입력하거나, 또는 상기 메모리부(155)에 저장된 실제현실 데이터를 입력하거나, 또는 상기 통신부(115)를 통해 실제현실 데이터를 수신하며, 상기 입력된 실제현실 데이터는 상기 출력부(105)를 통해 출력되거나 또는 상기 증강현실 표시부(150)로 전달된다.
상기 실제현실 데이터가 입력되면, 상기 실제객체 인식부(130)는 상기 실제현실 데이터를 판독하여 가상객체 데이터를 출력할 적어도 하나의 실제객체(또는 가상객체 표시 위치)를 인식한다.
본 발명의 일 실시 방법에 따르면, 상기 실제객체 인식부(130)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 미리 정의된 마커를 검출하고, 상기 마커가 검출된 위치를 가상객체 데이터를 출력할 실제객체(또는 가상객체 표시 위치)로 인식할 수 있다. 여기서, 상기 마커는 미리 정의된 기호, 부호, 문양 중 어느 하나를 포함할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 메모리부(155)는 상기 실제현실 데이터에 포함된 실제객체를 인식하는 객체 인식 정보를 저장할 수 있으며, 이 경우 상기 실제객체 인식부(130)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 상기 색상/채도를 통해 구분되는 영역의 경계 선을 검출하고, 상기 검출된 경계선을 연결 및 조합하여 기하학 구조를 인식하거나 상기 경계선 내의 색상/채도 분포 패턴을 인식한 후, 상기 인식된 기하학 구조와 분포 패턴을 상기 객체 인식 정보에 미리 정의된 실제객체들의 기하학 구조와 분포 패턴과 비교하여 상기 실제현실 데이터에 포함된 실제객체를 인식할 수 있다.
여기서, 상기 색상/채도 값은 RGB(Red, Green, Blue) 팔레트 값을 색상/채도로 변환하는 행렬식을 통해 추출될 수 있으며, 상기 객체 인식 정보는 상기 실제현실 데이터의 색상/채도를 판독하여 색상/채도 상의 기하학 구조 정보와 상기 색상/채도의 분포 패턴 정보가 획득되는 경우, 상기 획득된 기하학 구조와 분포 패턴에 대응하는 실제객체가 무엇인지 판별할 수 있도록 미리 정의된 실제객체들의 기하학 구조와 분포 패턴을 포함한다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 실제객체 인식부(130)는 상기 실제현실 데이터를 상기 마커를 인식하는 서버(또는 장치)로 전송하거나, 또는 상기 객체 인식 정보를 구비한 서버(또는 장치)로 전송하여 상기 실제현실 데이터 상에 상기 가상객체 데이터를 출력할 실제객체(또는 가상객체 표시 위치)로 인식할 수 있다.
한편, 상기 실제현실 데이터가 카메라부(165)를 통해 실시간 입력되는 경우, 상기 실제객체 인식부(130)는 상기 센서부(160)와 카메라부(165)의 시선 방향을 일치시킨 후, 상기 카메라부(165)를 통해 입력되는 실제현실 데이터의 좌표계와 상기 센서부(160)를 통해 센싱되는 센싱 신호의 좌표계를 매칭하여 특정 센싱 신호가 검출되는 좌표 값을 가상객체 데이터를 출력할 실제객체(또는 가상객체 표시 위치)로 인식할 수 있다.
또는, 상기 실제현실 데이터가 상기 메모리부(155)에 저장되거나 또는 통신부(115)를 통해 수신되고 상기 실제현실 데이터에 상기 실제객체 위치를 판별하는 메타 데이터가 포함(또는 링크)된 경우, 상기 실제객체 인식부(130)는 상기 실제현실 데이터에 포함(또는 링크)된 메타 데이터를 참조하여 상기 가상객체 데이터를 출력할 실제객체(또는 가상객체 표시 위치)를 인식할 수 있다.
상기 출력조건 확인부(135)는 상기 증강현실 장치(100)를 통해 출력할 하나 이상의 가상객체에 대한 사용자가 설정한 사용자 조건 정보를 확인하고, 상기 확인된 사용자 조건 정보를 기반으로 상기 사용자 조건 정보와 매칭되는 출력조건 정보를 확인한다.
본 발명의 실시 방법에 따르면, 상기 사용자 조건정보와 매칭되는 출력조건 정보 확인은, 상기 증강현실 장치(100) 상에 가상객체 데이터를 요청하는 사용자가 사용자 조건정보를 상기 증강현실 장치(100) 또는 상기 증강현실 장치(100)와 통신망을 통해 연결된 서버(예를들어, 증강현실 운영 서버(도시생략)) 상에 선 등록한 후, 상기 증강현실 장치(100) 상에 구비된 메모리부(155)와 연계하여 상기 사용자 조건정보와 매칭되는 출력조건 정보를 확인함으로써, 상기 사용자 조건정보와 매칭되는 출력조건 정보를 확인한다.
본 발명의 다른 실시 방법에 따르면, 상기 사용자 조건정보와 매칭되는 출력조건 정보 확인은, 상기 증강현실 장치(100) 상에 가상객체 데이터를 요청하는 사용자가 사용자 조건정보를 상기 증강현실 장치(100) 또는 상기 증강현실 장치(100)와 통신망을 통해 연결된 서버(예를들어, 증강현실 운영 서버(도시생략)) 상에 선 등록한 후, 상기 사용자 조건 정보를 증강현실 장치(100)와 통신망을 통해 연결된 서버로 전송하여 상기 사용자 조건정보와 매칭되는 출력조건 정보를 수신함으로써, 상기 사용자 조건정보와 매칭되는 출력조건 정보를 확인한다.
본 발명의 또 다른 실시 방법에 따르면, 상기 출력중인 실제현실 데이터 및 상기 실제현실 데이터 상에 포함된 실제객체(또는 가상객체 표시 위치)를 이용한 가상객체 데이터 출력시, 선택 가능한 사용자 조건 정보 입력(또는 선택)을 위한 사용자 인터페이스를 출력한 후, 상기 출력된 사용자 인터페이스를 통해 입력받는 것이 가능하다.
여기서, 상기 사용자 조건정보와 매칭되는 출력조건 정보의 확인 및 가상객체 데이터를 출력하는 예시는 이하 도시될 도면을 통해 상세히 설명한다.
상기 가상객체 결정부(140)는 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터를 기반으로 상기 인식된 실제객체에 표시할 가상객체 데이터를 결정하고, 출력조건 정보가 확인되지 않거나, 또는 사용자 조건정보가 설정되지 않은 경우, 상기 실제현실 데이터로부터 검출된 실제객체에 표시할 가상객체 데이터를 결정한다.
만약 상기 실제현실 데이터 상의 실제객체에 표시할 가상객체 데이터가 어느 하나의 가상객체 데이터로 고정되는 경우, 상기 가상객체 결정부(140)는 상기 고정된 상기 실제객체 인식부(130)를 통해 인식된 실제객체에 표시할 가상객체 데이터를 결정할 수 있다.
본 발명의 일 실시 방법에 따르면, 상기 실제객체가 마커를 통해 인식된 경우, 상기 가상객체 결정부(140)는 상기 마커 모양/형태/색상/구조를 판독하여 상기 실제객체에 표시할 가상객체 데이터를 결정할 수 있다.
만약 상기 마커에 상기 가상객체 데이터를 결정하기 위한 정보가 부호화되어 포함된 경우, 상기 가상객체 결정부(140)는 상기 실제객체 인식부(130)를 통해 인식된 마커에 포함된 부호화 정보를 인식 및 판독하여 상기 실제객체에 표시할 가상객체 데이터를 결정할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 가상객체 결정부(140)는 상기 실제객체 인식부(130)를 통해 인식된 실제객체의 모양/형태/색상/구조를 판독하여 상기 실제객체에 표시할 가상객체 데이터를 결정할 수 있다. 또는 상기 실제현실 데이터에 상기 가상객체 데이터를 결정하기 위한 별도의 표시가 포함된 경우, 상기 표시를 판독하여 상기 실제객체 인식부(130)를 통해 인식된 실제객체에 표시할 가상객체 데이터를 결정할 수 있다.
한편, 상기 실제현실 데이터가 메모리부(155)에 저장되어 있거나 또는 통신부(115)를 통해 수신되고 상기 실제현실 데이터에 상기 실제객체 인식부(130)를 통해 인식된 실제객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정하는 메타 데이터가 포함(또는 링크)된 경우, 상기 가상객체 결정부(140)는 상기 메타 데이터를 참조하여 상기 실제객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정할 수 있다.
상기 가상객체 입력부(145)는 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 가상객체 데이터 중 상기 가상객체 결정부(140)를 통해 결정된 가상객체 데이터를 상기 실제현실 데이터의 실제객체에 표시할 가상객체 데이터로 입력한다.
상기 증강현실 표시부(150)는 상기 실제현실 입력부(125)를 통해 입력되는 실제현실 데이터 상의 실제객체(또는 가상객체 표시 위치)에 상기 가상객체 입력부(145)를 통해 입력되는 가상객체 데이터를 표시한 후, 상기 출력부(105)를 통해 출력한다.
본 발명의 일 실시 방법에 따르면, 상기 증강현실 표시부(150)는 상기 실제현실 데이터 상의 실제객체에 투명영역을 포함하는 가상객체 데이터를 중첩시켜 증강현실 데이터를 생성한 후, 상기 증강현실 데이터를 상기 출력부(105)를 통해 출력할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 증강현실 표시부(150)는 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성한 후, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고 상기 실제현실 데이터의 실제객체 위치에 대응하는 가상현실 계층에 가상객체 데이터를 출력하여 상기 출력부(105)를 통해 출력할 수 있다.
여기서, 상기 가상현실 계층은 일반적인 가상객체 데이터를 출력하는 일반 가상현실 계층과, 사용자 조건정보를 이용한 사용자 맞춤형 가상객체 데이터를 출력하는 사용자 가상현실 계층으로 구분되는 것이 가능하며, 상기 증강현실 장치(100) 상에 어떤 계층을 출력할지 여부를 설정하여, 일반적인 가상객체 데이터와 사용자 맞춤형 가상객체 데이터 중 하나 이상이 출력되는 것이 가능하다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 출력부(105)가 투명 디스플레이를 포함하는 경우, 상기 증강현실 표시부(150)는 상기 실제객체 인식부(130)를 통해 결정된 투명 디스플레이 상의 실제객체 위치에 상기 가상객체 데이터만 표시하여 출력할 수 있다.
도면2는 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 과정을 도시한 도면이다.
보다 상세하게 본 도면2는 상기 도면1에 도시된 증강현실 장치(100)에서 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면2를 참조하면, 상기 도면1에 도시된 증강현실 장치(100)는 적어도 하나 이상의 실제현실 획득수단을 통해 실제현실 데이터가 입력되고(200), 상기 입력된 실제현실 데이터를 기반으로 실제현실 데이터 상에 포함된 실제객체(또는 가상객체 표시 위치)를 인식한다(205).
만약, 상기 입력된 실제현실 데이터를 기반으로 실제현실 데이터상에 포함된 실제객체(또는 가상객체 표시 위치)가 확인되면(210), 상기 증강현실 장치(100)는 상기 증강현실 장치(100)를 사용하는 사용자가 상기 증강현실 장치(100)(또는 상기 증강현실 장치(100)와 통신망을 통해 연결된 서버(예를들어, 증강현실 운영 서버(도시생략))상에 설정한 사용자 조건 정보를 확인한다(215).
만약, 상기 증강현실 장치(100)를 이용하는 사용자가 설정한 사용자 조건정보가 확인되지 않는다면(220), 상기 증강현실 장치(100)는 상기 인식된 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터를 확인하고, 상기 확인된 가상객체 데이터를 상기 증강현실 장치(100)를 통해 출력되도록 처리한다.
반면, 상기 증강현실 장치(100)를 이용하는 사용자가 설정한 사용자 조건정보가 확인되면(220), 이하 도면3에 도시된 과정에 따라 상기 확인된 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터가 출력되도록 처리한다.
도면3은 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 과정을 도시한 도면이다.
도면3을 참조하면, 상기 도면1에 도시된 증강현실 장치(100)는 상기 도면2에 도시된 과정에 따라 상기 증강현실 장치(100)를 이용하는 사용자가 설정한 사용자 조건정보가 확인된 후, 상기 확인된 사옹자 조건 정보와 매칭되는 출력조건 정보를 확인한다(300).
만약, 상기 확인된 사용자 조건 정보와 매칭되는 출력조건 정보가 확인되지 않는 경우(305), 상기 증강현실 장치(100)는 상기 인식된 실제객체(또는 가상객체 출력 위치)에 대한 가상객체 데이터를 확인하고(310), 만약, 상기 인식된 실제객체(또는 가상객체 출력 위치)에 대한 가상객체 데이터가 확인되면(320), 상기 인식된 실제현실 데이터를 기반으로 확인된 실제객체(또는 가상객체 출력 위치)에 대한 가상객체 데이터가 출력되도록 처리한다(325).
반면, 상기 확인된 사용자 조건 정보와 매칭되는 출력조건 정보가 확인되는 경우(305), 상기 증강현실 장치(100)는 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터 중 인식된 실제객체(또는 가상객체 출력 위치)에 대한 가상객체 데이터를 확인한다(315).
만약, 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터 중 인식된 실제객체(또는 가상객체 출력 위치)에 대한 가상객체 데이터가 확인되면(320), 상기 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터 중 인식된 실제객체(또는 가상객체 출력 위치)에 대한 가상객체 데이터가 출력되도록 처리한다(325).
또한, 상기 출력조건 정보를 기반으로 확인된 가상객체 데이터 외 상기 실제현실 데이터를 기반으로 인식된 실제객체(또는 가상객체 출력 위치)를 기반으로 일반적으로 제공되는 가상객체 데이터를 더 포함하여 제공하는 것이 가능하다.
도면4는 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 예시를 도시한 도면이다.
보다 상세하게 본 도면4는 상기 도면1에 도시된 증강현실 장치(100)에서 상기 도면2 내지 도면3에 도시된 과정에 따라 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 예시를 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 예시에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면4를 참조하면, 상기 도면1에 도시된 증강현실 장치(100)를 통해 일반적으로 제공되는 가상객체 데이터는 본 도면4에서와 같이 집과 관련된 집관련 가상객체 데이터(400)인 경우, 상기 집관련 가상객체 데이터(400)는 집 임대와 관련된 임대 가상객체 데이터(405)와, 상기 집이 위치한 지역과 관련된 임대 가상객체 데이터(410)와, 상기 집이 속한 건물에 대한 건물 가상객체 데이터(415) 중 하나 이상을 포함한다.
여기서, 사용자가 집 임대와 관련된 가상객체 데이터 요청을 위해, 사용자 조건 정보를 임대로 설정한 경우, 상기 집관련 가상객체 데이터(400)를 구성하는 하나 이상의 가상객체 데이터 중 임대 가상객체 데이터(405)가 상기 사용자의 증강현실 장치(100)를 통해 출력된다.
즉, 임대 대상 건물을 찾는 사용자가 임대 대상 건물에 대한 가상객체 데이터를 요청한다면, 이하 도면5에서와 같이 현실세계 영상(즉, 실제현실 데이터)로부터 인식되는 임대 대상 건물에 대한 가상객체 중 임대가 요청된 건물을 식별하는 가상객체 데이터를 표시한다.
또한, 사용자가 지역과 관련된 가상객체 데이터 요청을 위해, 사용자 조건 정보를 지역으로 설정한 경우, 상기 집관련 가상객체 데이터(400)를 구성하는 하나 이상의 가상객체 데이터 중 임대 가상객체 데이터(410)가 상기 사용자의 증강현실 장치(100)를 통해 출력된다.
즉, 특정 임대 대상 건물을 계약 대상 건물로 결정한 사용자가 상기 임대 대상 건물에 대한 가상객체 데이터를 요청하면, 이하 도면6에 도시된 바와 같이 실제현실 데이터로부터 인식되는 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터 중 임대 건물의 내부 평면도를 포함하는 가상객체 데이터를 표시한다.
또한, 사용자가 건물과 관련된 가상객체 데이터 요청을 위해, 사용자 조건 정보를 건물로 설정한 경우, 상기 집관련 가상객체 데이터(400)를 구성하는 하나 이상의 가상객체 데이터 중 건물 가상객체 데이터(415)가 상기 사용자의 증강현실 장치(100)를 통해 출력된다.
도면5는 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자 조건이 임대로 설정한 경우에 대한 가상객체 데이터를 출력하는 예시화면을 도시한 도면이다.
보다 상세하게 본 도면5는 상기 도면1에 도시된 증강현실 장치(100)가 상기 도면2 내지 도면3에 도시된 과정에 따라 사용자 조건을 임대로 설정한 경우에 있어서의 실제현실 데이터 상에 가상객체 데이터를 출력하는 예시 화면을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여, 하나의 실제객체에 대한 사용자 조건이 임대로 설정한 경우에 대한 가상객체 데이터를 출력하는 예시화면에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면6은 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자가 임대하고자 하는 계약 대상 건물로 설정한 경우에 대한 가상객체 데이터를 출력하는 예시 화면을 도시한 도면이다.
보다 상세하게 본 도면6은 상기 도면1에 도시된 증강현실 장치(100)가 상기 도면2 내지 도면3에 도시된 과정에 따라 사용자 조건을 상기 도면5에 도시된 예시화면을 통해 계약 대상 건물로 설정한 경우에 있어서의 실제현실 데이터 상에 가상객체 데이터를 출력하는 예시 화면을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여, 하나의 실제객체에 대한 사용자 조건이 임대하고자 하는 계약 대상 건물로 설정한 경우에 대한 가상객체 데이터를 출력하는 예시화면에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
100 : 증강현실 장치 105 : 출력부
110 : 조작부 115 : 통신부
120 : 제어부 125 : 실제현실 입력부
130 : 실제객체 인식부 135 : 출력조건 확인부
140 : 가상객체 결정부 145 : 가상객체 입력부
150 : 증강현실 표시부 155 : 메모리부
160 : 센서부 165 : 카메라부

Claims (3)

  1. 카메라를 구비한 사용자의 증강현실장치와 통신하는 서버를 통해 실행되는 방법에 있어서,
    현실세계에 존재하는 특정 실제객체 위에 중첩 출력 가능한 복수의 가상객체와 상기 복수개의 가상객체 중 차별화된 특정 가상객체를 선택하여 특정 실제객체 위에 중첩 출력하기 위한 출력조건 정보를 연계 저장하는 제1 단계;
    특정 사용자의 증강현실장치의 카메라를 통해 촬영된 실제현실 데이터를 판독하여 인식된 실제객체 위에 중첩 출력 가능한 복수개의 가상객체를 확인한 경우, 상기 복수의 가상객체와 연계된 출력조건 정보를 확인하는 제2 단계;
    상기 사용자의 증강현실장치에 구비된 저장영역에 선 등록 저장되거나 상기 사용자의 증강현실장치와 연계된 서버에 선 등록 저장된 사용자의 조건을 확인하는 제3 단계; 및
    상기 확인된 사용자의 조건을 근거로 상기 복수의 가상객체와 연계된 출력조건 정보를 판독하여 상기 복수의 가상객체 중 상기 사용자에게 차별화된 특정 가상객체를 자동 선택하여 상기 인식된 실제객체 위에 중첩 출력되도록 처리하는 제4 단계;를 포함하는 증강현실의 선택적 가상객체 표시 방법.
  2. 제 1항에 있어서, 상기 출력조건 정보는,
    현실세계에 존재하는 실제객체 별로 설정되는 것을 특징으로 하는 증강현실의 선택적 가상객체 표시 방법.
  3. 제 1항에 있어서, 상기 제4 단계는,
    상기 사용자의 조건을 미확인하거나 상기 출력조건 정보와 매칭되지 않는 사용자 조건을 확인한 경우 상기 인식된 실제객체 위에 상기 확인된 복수의 가상객체를 중첩 출력되도록 처리하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 증강현실의 선택적 가상객체 표시 방법.


KR1020190090202A 2019-07-25 2019-07-25 증강현실의 선택적 가상객체 표시 방법 KR102117510B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190090202A KR102117510B1 (ko) 2019-07-25 2019-07-25 증강현실의 선택적 가상객체 표시 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190090202A KR102117510B1 (ko) 2019-07-25 2019-07-25 증강현실의 선택적 가상객체 표시 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180151126A Division KR20180130095A (ko) 2018-11-29 2018-11-29 증강현실의 선택적 가상객체 표시 방법

Publications (2)

Publication Number Publication Date
KR20190089829A KR20190089829A (ko) 2019-07-31
KR102117510B1 true KR102117510B1 (ko) 2020-06-03

Family

ID=67473878

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190090202A KR102117510B1 (ko) 2019-07-25 2019-07-25 증강현실의 선택적 가상객체 표시 방법

Country Status (1)

Country Link
KR (1) KR102117510B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002251536A (ja) 2001-02-22 2002-09-06 Sony Corp 情報紹介システム、情報紹介方法、情報紹介装置、情報紹介方法、情報紹介プログラム格納媒体、情報紹介プログラム、紹介情報取得装置、紹介情報取得方法、紹介情報取得プログラム格納媒体及び紹介情報取得プログラム。

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100651508B1 (ko) * 2004-01-30 2006-11-29 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
KR101397214B1 (ko) * 2007-06-05 2014-05-20 삼성전자주식회사 증강 현실 기술을 이용하여 가상 객체를 생성하기 위한시스템 및 방법
KR101623041B1 (ko) * 2008-08-19 2016-05-23 광주과학기술원 혼합 공간에 공존하는 마커들을 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002251536A (ja) 2001-02-22 2002-09-06 Sony Corp 情報紹介システム、情報紹介方法、情報紹介装置、情報紹介方法、情報紹介プログラム格納媒体、情報紹介プログラム、紹介情報取得装置、紹介情報取得方法、紹介情報取得プログラム格納媒体及び紹介情報取得プログラム。

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
서희전 외3, "혼합현실기반 이러닝 기술 동향", 전자통신동향분석 제22권 제4호, 2007.08.

Also Published As

Publication number Publication date
KR20190089829A (ko) 2019-07-31

Similar Documents

Publication Publication Date Title
US9959681B2 (en) Augmented reality contents generation and play system and method using the same
KR101746838B1 (ko) 진열대를 이용한 증강현실 운영 방법
CN103176690B (zh) 显示控制设备、显示控制方法和程序
US10681287B2 (en) Apparatus and method for displaying AR object
US20170118374A1 (en) Information processing system, terminal device and method of processing data
CN103105234A (zh) 热像装置和热像规范拍摄方法
KR102568996B1 (ko) 감시카메라 설정 방법과 감시카메라 관리 방법 및 시스템
JP6057562B2 (ja) 情報処理装置およびその制御方法
KR101638630B1 (ko) 증강현실 데이터 최적화 방법
KR20110136038A (ko) 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템
KR20110136024A (ko) 증강현실 장치 간 정보 공유 방법
KR20110136018A (ko) 알에프아이디 리더를 구비한 증강현실 장치
KR102117510B1 (ko) 증강현실의 선택적 가상객체 표시 방법
KR20120009639A (ko) 사용자 조건을 이용한 선택적 가상객체 데이터 운용방법 및 이를 위한 증강현실 장치와, 기록매체
CN112999654A (zh) 图像处理方法、装置、计算机设备及存储介质
KR20180130095A (ko) 증강현실의 선택적 가상객체 표시 방법
KR20110136035A (ko) 실제현실 적응형 증강현실 장치
KR20170143476A (ko) 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법
KR20170005373A (ko) 맞춤형 증강현실 제공 방법
KR20170052553A (ko) 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법
KR101680124B1 (ko) 이종 플랫폼 간 증강현실 전달 방법
JP6744237B2 (ja) 画像処理装置、画像処理システムおよびプログラム
KR101792250B1 (ko) 실제현실 적응형 증강현실 제공 방법
KR20170086005A (ko) 거리 차이를 이용한 증강현실 제공 방법
JP6708384B2 (ja) 出力制御装置、出力制御方法、設定装置、設定方法、及びプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant