KR101295710B1 - 사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법 - Google Patents

사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법 Download PDF

Info

Publication number
KR101295710B1
KR101295710B1 KR1020100073053A KR20100073053A KR101295710B1 KR 101295710 B1 KR101295710 B1 KR 101295710B1 KR 1020100073053 A KR1020100073053 A KR 1020100073053A KR 20100073053 A KR20100073053 A KR 20100073053A KR 101295710 B1 KR101295710 B1 KR 101295710B1
Authority
KR
South Korea
Prior art keywords
recognition information
information
virtual object
user
mapped
Prior art date
Application number
KR1020100073053A
Other languages
English (en)
Other versions
KR20120011279A (ko
Inventor
임오섭
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=45526266&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101295710(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100073053A priority Critical patent/KR101295710B1/ko
Priority to US13/150,746 priority patent/US20120026192A1/en
Publication of KR20120011279A publication Critical patent/KR20120011279A/ko
Application granted granted Critical
Publication of KR101295710B1 publication Critical patent/KR101295710B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 사용자 인식 정보를 이용한 증강 현실 제공 방법은 현실 객체에 대한 사용자 인식 정보를 획득하는 단계와, 상기 획득된 사용자 인식 정보와 매핑될 가상 객체를 선택하는 단계와, 선택된 가상 객체에 대한 매핑 정보로 상기 사용자 인식 정보를 추가하는 단계를 포함함을 특징으로 하는 사용자 인식 정보를 이용한다.

Description

사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법{Method and Apparatus for Providing Augmented Reality using User Recognition Information}
본 발명은 증강 현실 제공 장치 및 방법에 관한 것으로, 특히 증강 현실 제공을 위해 현실 객체와 가상 객체를 매핑하기 위한 인식 정보를 처리하는 장치 및 방법에 관한 것이다.
증강 현실(augmented reality, AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.
증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가진다. 이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상 현실과 달리 다양한 현실 환경에 응용이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
종래의 증강 현실 제공 장치에서는 현실 객체의 인식 정보를 매핑 정보로 하여 가상 객체를 연관시킨다. 예컨대, 붉은색 장미꽃의 인식 정보를 획득하고, 획득된 인식 정보에 매핑되어 있는 "꽃축제에 관한 정보"를 검출하여 사용자에게 제공할 수 있다. 그런데, 종래에는 가상 객체를 검출하기 위한 매핑 정보로 사용되는 현실 객체 또는 그 인식 정보가 미리 정해져 있다. 예컨대, "꽃축제에 관한 정보"라는 가상 객체의 매핑 정보로 붉은색 장미꽃의 인식 정보가 지정되어 있으면, 노란색 장미꽃의 인식 정보로는 "꽃축제에 관한 정보"를 검출하지 못한다. 또는 붉은색의 장미꽃의 인식 정보에 포함되는 장미의 붉은색, 장미 윤곽선, 장미의 향기 중에 장미의 붉은색과 윤곽선만이 가상 객체 검출을 위한 인식 정보로 지정되어 있으면, 장미의 향기 정보로는 "꽃축제에 관한 정보"를 검출하지 못한다.
즉, 가상 객체를 검출하기 위한 매핑 정보가 특정 현실 객체의 인식 정보나 특정 현실 객체의 특정 인식 정보로 한정되어 있어, 동일한 속성을 갖는 다양한 현실 객체 또는 현실 객체의 다양한 인식 정보를 이용한 증강 현실 서비스 제공에 한계가 있다는 문제점이 있다.
본 발명은 가상 객체 검출을 위한 매핑 정보인 현실 객체에 대한 인식 정보를 추가할 수 있는 장치 및 방법을 제공한다.
또한, 본 발명은 추가된 현실 객체 인식 정보를 이용하여 가상 객체를 검출할 수 있는 장치 및 방법을 제공한다.
또한, 본 발명은 추가된 현실 객체 인식 정보를 수정 또는 삭제할 수 있는 장치 및 방법을 제공한다.
본 발명은 사용자 인식 정보를 이용한 증강 현실 제공 장치로, 현실 객체로부터 사용자 인식 정보를 획득하여 출력하는 인식 정보 획득부와, 사용자 인식 정보 추가 요청 신호를 입력받는 조작부와, 상기 조작부로부터 사용자 인식 정보 추가 요청 신호가 입력됨에 따라, 상기 인식 정보 획득부로부터 출력된 인식 정보를 매핑할 가상 객체를 선택하고, 선택된 가상 객체에 대한 매핑 정보로 사용자 인식 정보를 추가하는 제어부를 포함한다.
본 발명은 사용자 인식 정보를 이용한 증강 현실 제공 장치로, 하나 이상의 단말기와의 유/무선 통신망을 통해 정보 교환을 하는 통신부와, 하나 이상의 가상 객체 각각에 대한 매핑 정보인 인식 정보를 저장하는 데이터베이스와, 상기 통신부를 통해 단말기로부터 전송된 사용자 인식 정보를 특정 가상 객체를 인식하기 위한 매핑 정보로 상기 데이터베이스에 저장하는 제어부를 포함한다.
본 발명은 서버와 유/무선 통신망을 통해 접속가능한 단말기에서의 증강 현실 제공 방법으로, 현실 객체에 대한 사용자 인식 정보를 획득하는 단계와, 상기 획득된 사용자 인식 정보와 매핑될 가상 객체를 선택하는 단계와, 선택된 가상 객체에 대한 매핑 정보로 상기 사용자 인식 정보를 추가하는 단계를 포함한다.
본 발명은 하나 이상의 단말기와 유/무선 통신망을 통해 접속 가능한 서버에서의 사용자 인식 정보를 이용한 증강 현실 제공 방법으로, 특정 단말기로부터 사용자 인식 정보의 추가 요청 신호를 수신하는 단계와, 상기 사용자 인식 정보를 특정 가상 객체의 매핑 정보로 저장하는 단계를 포함한다.
본 발명은 사용자 인식 정보를 이용한 증강 현실 제공 장치로, 하나 이상의 가상 객체와, 상기 하나 이상의 가상 객체 각각에 매핑되어 있는 기본 인식 정보를 저장하는 외부 서버와의 정보 교환을 위한 통신부와, 현실 객체로부터 사용자 인식 정보를 획득하여 출력하는 인식 정보 획득부와, 사용자 인식 정보 추가 요청 신호를 입력받는 조작부와, 상기 인식 정보 획득부로부터 입력되는 사용자 인식 정보를 저장하는 사용자 인식 정보 데이터베이스와, 하나 이상의 가상 객체 각각에 매핑되는 기본 인식 정보를 저장하는 기본 인식 정보 데이터베이스와, 상기 조작부로부터 사용자 인식 정보 추가 요청 신호가 입력됨에 따라, 상기 인식 정보 획득부로부터 출력된 인식 정보를 매핑할 가상 객체를 선택하고, 상기 통신부를 통해 외부 서버에 접속하여 가상 객체를 선택하고, 상기 선택된 가상 객체와 매핑된 기본 인식 정보를 검출하여 상기 사용자 인식 정보와 매핑되도록 저장하는 제어부를 포함한다..
본 발명은 사용자 인식 정보를 이용한 증강 현실 제공 장치로, 하나 이상의 단말기와의 유/무선 통신망을 통한 정보 송수신 처리하는 통신부와, 하나 이상의 가상 객체 각각에 매핑되어 있는 기본 인식 정보를 저장하는 데이터 베이스와, 상기 통신부를 통해 단말기로부터 특정 가상 객체에 대한 기본 인식 정보 요청에 따라, 기본 인식 정보를 상기 데이터 베이스로부터 검출하여 단말기로 전송하는 제어부를 포함한다.
본 발명은 하나 이상의 가상 객체 각각에 매핑되어 있는 기본 인식 정보를 저장하는 외부 서버와의 정보 교환을 통해 증강 현실을 제공하는 단말기에서의 증강 현실 제공 방법으로, 현실 객체에 대한 사용자 인식 정보를 획득하는 단계와, 상기 획득된 사용자 인식 정보와 매핑될 가상 객체를 외부 서버와의 정보 교환을 통해 선택하는 단계와, 선택된 가상 객체에 매핑된 기본 인식 정보를 서버로부터 검출하는 단계와, 상기 검출된 기본 인식 정보와 상기 획득된 사용자 인식 정보를 매핑하여 저장하는 단계를 포함한다.
본 발명은 하나 이상의 단말기와의 유/무선 통신망을 통한 접속 가능한 서버에서의 사용자 인식 정보를 이용한 증강 현실 제공 방법으로, 특정 단말기로부터 특정 가상 객체에 대한 기본 인식 정보 요청 수신하는 단계와, 상기 특징 가상 객체에 대한 기본 인식 정보를 검출하는 단계와, 상기 검출된 기본 인식 정보를 해당 단말기로 전송하는 단계를 포함한다.
본 발명은 특정 가상 객체를 검출하기 위한 매핑 정보로 현실 객체 인식 정보를 추가, 삭제 및 수정 가능하도록 하여 개인화된 증강 현실 사용 경험을 제공할 수 있다.
본 발명은 사용자 임의로 특정 현실 객체의 인식 정보를 추가, 삭제 및 수정 가능함으로써 속성이 비슷한 현실 객체임에도 불구하고 미리 정의된 객체 인식 정보와 상이하여 연관된 가상 객체로 매칭되지 않았던 단점을 보완할 수 있다.
본 발명은 사용자 임의로 특정 객체의 인식 정보를 추가, 삭제 및 수정이 가능 하도록 함으로써 기존에 정의된 부정확한 객체 인식 정보를 보완할 수 있다.
도 1은 본 발명의 바람직한 제 1 실시 예에 따른 추가 인식 정보를 이용한 증강 현실 제공 장치가 적용되는 시스템의 구성도이다.
도 2는 본 발명의 바람직한 제 1 실시 예에 따른 추가 인식 정보를 이용한 증강 현실 제공 장치에서의 인식 정보 추가 방법을 설명하기 위한 신호 흐름도이다.
도 3은 본 발명의 바람직한 제 1 실시 예에 따른 추가 인식 정보를 이용한 증강 현실 제공 장치에서의 가상 객체 검색 방법을 설명하기 위한 신호 흐름도이다.
도 4는 본 발명의 바람직한 제 2 실시 예에 따른 추가 인식 정보를 이용한 증강 현실 제공 장치가 적용되는 시스템의 구성도이다.
도 5는 본 발명의 바람직한 제 2 실시 예에 따른 추가 인식 정보를 이용한 증강 현실 제공 장치에서의 인식 정보 추가 방법을 설명하기 위한 신호 흐름도이다.
도 6은 본 발명의 바람직한 제 2 실시 예에 따른 추가 인식 정보를 이용한 증강 현실 제공 장치에서의 가상 객체 검색 방법을 설명하기 위한 신호 흐름도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
또한, 본 발명에서 사용된 용어들은 본 발명 실시 예에서의 기능을 고려하여 사용된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 특정 가상 객체를 검출하기 위한 매핑 정보로 미리 정해진 현실 객체의 인식 정보 외에 사용자가 지정한 현실 객체 인식 정보를 추가하고, 추가된 현실 객체 인식 정보를 이용해 가상 객체를 검출하는 기술을 제안한다. 또한, 본 발명에서 증강 현실 제공 장치는 PDA(Personal digital assistants), 스마트 폰, 네비게이션 단말기 등의 이동 통신 단말기뿐만 아니라, 데스크 탑 컴퓨터, 노트북 등과 같은 개인용 컴퓨터와 같은 현실 객체를 인식하고, 증강 현실 데이터를 디스플레이할 수 있는 모든 장치에 적용될 수 있는 것으로 해석된다. 또한, 이후 설명에서는 혼동을 피하기 위해 미리 정해진 현실 객체 인식 정보를 기본 인식 정보로 칭하고, 추가된 현실 객체 인식 정보를 사용자 인식 정보로 명명하기로 한다. 또한, 후술되는 상세한 설명에서는 본 발명에서 제안하는 바를 증강 현실 제공 단말 장치(이하 "단말기"라 칭함)와 증강 현실 제공 서버 장치(이하 "서버"라 칭함)가 통신망을 통해 접속 가능한 형태로 구성된 통신 시스템 상에서의 적용되는 실시 예를 들어 설명하나, 이는 본 발명의 실시 예일 뿐 본 발명의 내용이 이로 한정되지 않는다. 즉, 후술되는 증강 현실 제공 단말 장치와 증강 현실 제공 서버 장치의 연동을 통한 본 발명에 따른 동작 방법이 일체로 구성된 하나의 하드웨어 장치에서 구현될 수 있음은 물론이다.
또한, 전술한 바와 같은 통신 시스템상에서 적용되는 본 발명의 실시 예는 인식 정보 데이터 베이스위치에 따라 다시 두 가지 실시 예를 포함한다.
제 1 실시 예는 인식 정보 데이터 베이스가 서버에 위치하여, 서버에 의해 사용자 인식 정보의 저장 및 처리 동작이 수행되는 경우이다. 제 2 실시 예는 인식 정보 데이터 베이스가 단말기에 위치하여, 단말기에 의해 사용자 인식 정보의 저장 및 처리 동작이 수행되는 경우이다.
<제 1 실시 예>
우선, 인식 정보 데이터 베이스가 증강 현실 제공 장치에 구성된 형태의 제 1 실시 예를 도 1 내지 도 3을 참조하여 살펴보기로 한다.
도 1는 본 발명의 제 1 실시 예에 따른 증강 현실을 제공하는 통신 시스템의 개략적인 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명이 적용되는 통신 시스템은 하나 이상의 증강 현실 제공 단말 장치 (110)와, 상기 단말기(110)에 증강 현실 서비스를 위한 정보를 제공하는 증강 현실 제공 서버 장치 (120)가 유/무선 통신망 통해 접속되어 있는 형태를 갖는다.
본 발명의 실시 예에 따라, 단말기(110)는 인식 정보 획득부(111)와, 조작부(113), 제어부(115)를 포함하고, 추가적으로 출력부(112)와, 통신부(114)를 더 포함한다.
인식 정보 획득부(111)는 실세계에 존재하는 사물 중에 관심 대상인 현실 객체에 대한 인식 정보를 획득하여 출력한다. 또한, 본 발명에서 사용되는 현실 객체라 함은 실세계에 존재하는 사물 또는 상태를 의미하는 것으로, 시각적, 청각적, 후각적 데이터뿐만 아니라, 위치, 기후, 속도 등을 포함하는 실세계에서 정의될 수 있는 모든 것을 의미한다. 도면에는 도시되어 있지 않지만, 추가적으로 인식 정보 획득부(111)는 현실 객체 데이터 획득부(예컨대, 현실 객체를 포함하는 영상을 획득하여 출력하는 카메라 또는 이미지 센서, 음향을 획득하여 출력하는 마이크, 후각 데이터 감지 센서, GPS 위치 센서, 지자기 센서, 속도 감지 센서 중 적어도 하나를 포함함)와, 상기 현실 객체 데이터 획득부로부터 출력되는 현실 객체 데이터(예컨대, 영상 이미지, 음원 데이터, 위치 데이터, 방향 데이터, 속도 데이터 중 적어도 하나를 포함함)로부터 인식 정보로 사용될 정보를 추출해내는 인식 정보 샘플링부를 포함하여 구성될 수 있다.
출력부(112)는 제어부(111)로부터 입력되는 증강 현실 데이터를 출력할 수 있다. 여기서, 증강 현실 데이터라 함은 현실 객체 인식에 따라 그와 관련된 각종 데이터로, 현실 객체와 가상 객체를 합성하여 생성된 데이터이거나, 가상 객체만으로 구성된 데이터일 수 있다. 출력부(112)의 일 예로, 시각적 데이터를 출력하는 표시부와, 음원 데이터를 가청음의 형태로 출력하는 스피커 등이 포함될 수 있다.
조작부(113)는 사용자 정보를 입력받을 수 있는 인터페이스로, 예를 들어 키입력 패널, 터치 스크린, 마이크 등이 포함될 수 있다. 본 발명의 실시 예에 따라, 상기 조작부(113)를 통해 사용자로부터 사용자 인식 정보 추가 요청 정보, 가상 객체 선택 정보, 가상 객체 검출 요청 정보 중 적어도 하나를 입력받아 제어부(115)에 출력할 수 있다. 추가적으로, 조작부(113)는 사용자 인식 정보 수정 또는 삭제 요청 정보를 입력받아 제어부(115)에 출력할 수 있다.
통신부(114)는 유/무선 통신망을 통해 외부로부터 수신된 신호와 내부 출력 신호를 처리하는 것으로 주지된 구성이다. 본 발명의 실시 예에 따라, 상기 통신부(114)는 서버(120)로부터의 가상 객체를 수신/처리하여 제어부(115)로 출력하고, 상기 제어부(115)로부터의 사용자 인식 정보 등록을 위한 요청 정보, 가상 객체 검출 요청 정보 신호를 처리하여 서버(120)에 전송한다.
제어부(115)는 상술한 바와 같은 단말기 내부 구성 요소들을 제어하여 본 발명의 실시 예에 따른 객체 매핑을 위한 사용자 인식 정보를 추가 기능을 수행한다. 부가적으로, 상기 제어부(115)는 상기 사용자 인식 정보의 수정 또는 삭제 기능을 수행한다. 또한, 사용자의 요청에 따라, 사용자 인식 정보를 이용한 가상 객체 검출을 제어한다.
본 발명의 실시 예에 따라, 제어부(115)는 구체적으로 인식 정보 관리 모듈(115a), 가상 객체 검출 모듈(115b), 증강 현실 생성 모듈(115c)을 포함한다.
인식 정보 관리 모듈(115a)는 조작부(113)로부터 사용자 인식 정보 등록 요청 신호와 함께 객체 인식부(111)로부터 사용자 인식 정보가 입력됨에 따라, 통신부(114)를 통해 서버(120)에 접속하여 사용자 인식 정보를 특정 가상 객체를 검출하기 위한 매핑 정보로 등록되도록 제어한다. 또한, 조작부(113)로부터 사용자 인식 정보의 수정 또는 삭제 요청을 지원한다.
가상 객체 검출 모듈(115b)은 인식 정보 획득부(111)로부터 입력된 인식 정보에 대한 가상 객체 검출을 요청하는 신호가 조작부(113)를 통해 입력됨에 따라, 서버(120)에 접속하여 상기 인식 정보에 상응하는 가상 객체를 획득한다. 그러면, 증강 현실 생성 모듈(115c)은 상기 서버(120)로부터 수신한 가상 객체에 현실 객체를 합성하거나, 가상 객체만으로 증강 현실 데이터를 생성하여 출력부(112)에 출력한다.
본 발명의 실시 예에 따라, 서버(120)는 구체적으로 가상 객체 DB(121), 기본 인식 정보 DB(122), 추가 인식 정보 DB(123), 통신부(125), 제어부(125)로 구성된다.
가상 객체 DB(121)는 현실 객체에 관련되 보강 정보인 가상 객체를 저장하는데, 예컨대, 루브르 박물관이 현실 객체일 경우 루브르 박물관에 대한 건축 정보, 소장 예술 작품을 소개하는 동영상, 관람 안내 음향 등이 가상 객체에 해당될 수 있다. 또한, 가상 객체를 구별하기 위한 식별자가 각각의 가상 객체에 부여되어 저장될 수 있다.
본 발명의 제 1 실시 예에 따라, 인식 정보 DB는 가상 객체에 매핑되도록 미리 지정되어 있는 인식 정보를 저장한 기본 인식 정보 DB(122)와, 가상 객체에 매핑되도록 사용자가 추가로 지정한 인식 정보를 저장한 사용자 인식 정보 DB(123)로 구성될 수 있다. 기본 인식 정보 DB(122)는 가상 객체를 검출하기 위한 매핑 정보로 현실 객체에서 추출된 정보인 인식 정보를 저장한다. 예컨대, "꽃 축제 동영상"이라는 가상 객체를 검출하기 위한 매핑 정보로 장미꽃이라는 현실 객체의 특징점인 장미꽃 모양이 기본 인식 정보로 지정되어 저장될 수 있다. 사용자 인식 정보 DB(123)는 기본 인식 정보 외에 사용자의 요청에 따라 저장된 인식 정보이다. 예컨대, "꽃 축제 동영상"이라는 가상 객체를 검출하기 위한 기본 인식 정보로 장미꽃 모양이 지정되어 있지만, 사용자의 요청에 따라 튤립 모양, 코스모스 모양이 사용자 인식 정보로 저장될 수 있다. 또한, 상기 사용자 인식 정보는 하나의 현실 객체에 대한 하나 이상의 추출 정보이거나, 하나 이상의 현실 객체 각각에 대한 추출 정보일 수 있다. 또한, 가상 객체와 인식 정보를 매핑하기 위해 기본 인식 정보 DB(122) 및 사용자 인식 정보 DB(123)에 저장되는 인식 정보는 각각 자신과 매핑되는 가상 객체의 식별자가 부여될 수 있다.
통신부(124)는 유/무선 통신망을 통해 외부로부터 수신된 신호와 내부 출력 신호를 처리하는 것으로 주지된 구성이다. 본 발명의 실시 예에 따라, 상기 통신부(124)는 단말기(110)로부터의 전송되는 인식 정보 관리 요청 신호 및 인식 정보를 수신/처리하여 제어부(125)로 출력하고, 상기 제어부(125)로부터의 가상 객체 검색 정보, 검출된 가상 객체 데이터를 처리하여 단말기(110)에 전송한다.
본 발명의 실시 예에 따라, 제어부(125)는 구체적으로 인식 정보 관리 모듈(125a), 가상 객체 검출 모듈(125b)을 포함한다. 인식 정보 관리 모듈(125a)은 통신부(124)를 통해 단말기(110)로부터 사용자 인식 정보 등록 요청 신호와 함께 인식 정보가 수신됨에 따라, 수신된 인식 정보가 특정 가상 객체를 인식하기 위한 매핑 정보로 등록한다. 즉, 단말기(110)에 의해 선택된 가상 객체의 식별자를 수신된 인식 정보에 동일하게 부여하여 사용자 인식 정보 DB(123)에 저장한다. 가상 객체 검출 모듈(125b)은 단말기(110)로부터 가상 객체 검출이 요청되면, 수신된 인식 정보에 상응하는 가상 객체를 검출하여 단말기(110)에 전송한다. 즉, 기본 인식 정보 DB(122) 및 사용자 인식 정보 DB(123)를 검색하여 상기 수신된 인식 정보와 일치하는 인식 정보로부터 식별자를 검출해내고, 상기 검출해낸 식별자를 가진 가상 객체를 가상 객체 DB(121)에서 검출한다.
상술한 바와 같은 증강 현실 제공 시스템상에서 본 발명의 제 1 실시 예에 따른 사용자 인식 정보를 이용한 증강 현실 제공 방법을 하기의 도 2 및 도 3을 참조하여 설명하기로 한다.
도 2는 본 발명의 바람직한 제 1 실시 예에 따른 현실 객체에 대한 사용자 인식 정보 추가 방법을 설명하기 위한 신호 흐름도이다.
도 2를 참조하면, 단말기는 210 단계에서 현실 객체에 대한 인식 정보를 획득한다. 예컨대, 카메라를 통해 획득된 촬영 이미지로부터 관심 대상인 현실 객체의 특징 정보(예로, 윤곽선, 색)를 인식 정보로 추출해낸다.
그리고, 단말기는 220 단계에서 사용자 인식 정보를 추가 요청하는 신호를 서버에 전송한다. 그러면, 서버는 230 단계에서 가상 객체 검색 정보를 단말기에 전송한다. 일 예로, 가상 객체 분류 카테고리 정보 또는 가상 객체 검색 웹페이지 등이 될 수 있다.
단말기는 240 단계에서 가상 객체 검색 정보를 이용하여 210 단계에서 획득된 인식 정보와 매핑될 가상 객체를 선택하고, 250 단계에서 가상 객체 선택 정보 및 사용자 인식 정보를 서버로 전송한다.
그러면, 서버는 260 단계에서 단말기로부터 수신된 인식 정보를 선택된 가상 객체에 매핑되는 사용자 인식 정보로 저장한다. 전술한 바와 같이 매핑을 위해 사용자 인식 정보에는 상기 선택된 가상 객체와 동일한 식별자를 부여될 수 있다.
도 3은 본 발명의 바람직한 제 1 실시 예에 따른 현실 객체에 대한 사용자 인식 정보를 이용한 증강 현실 제공 방법을 설명하기 위한 신호 흐름도이다.
단말기는 310 단계에서 특정 현실 객체에 대한 인식 정보를 획득하고, 320 단계에서 인식 정보를 서버에 전송하여, 인식 정보에 매핑되는 가상 객체를 요청한다.
그러면, 서버는 330 단계에서 수신된 인식 정보와 일치하는 인식 정보를 검색한다. 그리고, 서버는 340 단계에서 상기 검색된 인식 정보에 매핑된 가상 객체 정보를 검색한다. 즉, 상기 검색된 인식 정보의 식별자와 동일한 식별자가 부여된 가상 객체 정보를 검색한다.
그리고, 서버는 350 단계에서 상기 검색된 가상 객체 정보를 단말기에 전송한다. 그러면, 단말기는 360 단계에서 수신된 가상 객체와 상기 현실 객체를 합성하거나, 가상 객체만으로 증강 현실 데이터를 생성하고, 370 단계에서 생성된 증강 현실 데이터를 출력한다.
<제 2 실시 예>
다음으로, 인식 정보 데이터 베이스가 증강 현실 제공 장치에 포함되지 않는 형태의 제 2 실시 예를 도 4 내지 도 6을 참조하여 살펴보기로 한다.
도 4는 본 발명의 제 2 실시 예에 따른 증강 현실을 제공하는 통신 시스템의 개략적인 구성을 도시한 도면이다. 본 발명의 제 2 실시 예에 따른 통신 시스템에 대해 도 1의 도시된 시스템 구성 및 작용과 동일한 부분은 그 상세한 설명을 생략하고, 상이한 부분에 대해서만 설명하기로 한다.
도 4를 참조하면, 본 발명의 제 2 실시 예에서는 사용자 인식 정보 DB(416) 및 기본 인식 정보 DB(417)가 서버(420)가 아닌 단말기(410)에 포함되는 형태로 구성된다. 상기 DB들(416, 417)은 내장된 형태로 도시되어 있으나, 외부 저장소에 저장되는 형태로 구성될 수 있음은 물론이다.
따라서, 제어부(415)에 포함되는 인식 정보 관리 모듈(415a)은 제 1 실시 예에서와 달리, 획득된 사용자 인식 정보를 서버(420)에 전송하는 것이 아니라, 내부의 사용자 인식 정보 DB(416)에 저장한다. 그런데, 이러한 사용자 인식 정보를 서버(420)에서 저장하지 않으므로, 단말기는 상기 저장된 사용자 인식 정보로는 원하는 가상 객체를 획득할 수 없다. 따라서, 인식 정보 관리 모듈(415a)는 서버(420)에서 사용되는 기본 인식 정보를 복사하여 단말기에 저장하는 복사 기능을 더 수행할 수 있다. 즉, 인식 정보 관리 모듈(415a)은 특정 가상 객체에 대한 기본 인식 정보를 서버(422)로부터 검출해와서 기본 인식 정보와 사용자 인식 정보가 매핑되도록 저장한다. 일 예로, 기본 인식 정보와 사용자 인식 정보에 동일한 식별자를 부여하여 매핑되도록 할 수 있다.
가상 객체 검출 모듈(415b)은 인식 정보 획득부(411)로부터 입력된 인식 정보에 대한 가상 객체 검출을 요청하는 신호가 조작부(413)를 통해 입력됨에 따라, 인식 정보 매핑 모듈(415d)에 인식 정보에 매핑되는 기본 인식 정보 검출을 요청한다. 그러면, 인식 정보 매핑 모듈(415d)은 사용자 인식 정보 DB(416)를 검색하여 수신된 인식 정보의 식별자를 검색해내고, 검색된 식별자가 부여된 기본 인식 정보를 기본 인식 정보 DB(417)로부터 검색해낸다. 그리고, 서버(420)에 접속하여 상기 기본 인식 정보에 상응하는 가상 객체를 획득한다.
본 발명의 제 2 실시 예에 따라, 서버(420)는 도 1에 도시된 제 1 실시 예와 달리 사용자 인식 정보 DB를 포함하지 않는다. 제어부(425)의 인식 정보 관리 모듈(425a)은 통신부(424)를 통해 단말기(410)로부터 사용자 인식 정보 추가 요청됨에 따라, 특정 가상 객체에 대한 기본 인식 정보를 검출하여 단말기(410)에 전송한다. 가상 객체 검출 모듈(425b)은 단말기(410)로부터 기본 인식 정보 전송을 통해 가상 객체 검출이 요청되면, 수신된 기본 인식 정보에 상응하는 가상 객체를 검출하여 단말기(410)에 전송한다.
상술한 바와 같은 시스템상에서 본 발명의 제 2 실시 예에 따른 사용자 인식 정보를 이용한 증강 현실 제공 방법을 하기의 도 5 및 도 6을 참조하여 설명하기로 한다.
도 5는 본 발명의 바람직한 일 실시 예에 따른 현실 객체에 대한 사용자 인식 정보 추가 방법을 설명하기 위한 신호 흐름도이다.
도 5를 참조하면, 단말기는 510 단계에서 현실 객체에 대한 사용자 인식 정보를 획득한다. 그리고, 단말기는 520 단계에서 사용자 인식 정보를 추가 요청하는 신호를 서버에 전송한다. 그러면, 서버는 530 단계에서 가상 객체 검색 정보를 단말기에 전송한다. 단말기는 540 단계에서 가상 객체 검색 정보를 이용하여 510 단계에서 획득된 인식 정보와 매핑될 가상 객체를 선택하고, 550 단계에서 선택된 가상 객체에 매핑된 기본 인식 정보를 서버에 요청한다.
그러면, 서버는 560 단계에서 선택된 가상 객체에 매핑되어 있는 기본 인식정보를 검출한다. 그리고, 570 단계에서 검출된 기본 인식 정보를 단말기로 전송한다. 그러면, 단말기는 580 단계에서 상기 수신된 기본 인식 정보와 사용자 인식 정보를 매핑시켜 저장한다.
도 6은 본 발명의 바람직한 제 2 실시 예에 따른 현실 객체에 대한 사용자 인식 정보를 이용한 증강 현실 제공 방법을 설명하기 위한 신호 흐름도이다.
단말기는 610 단계에서 현실 객체에 대한 인식 정보를 획득하고, 620 단계에서 상기 획득된 인식 정보와 일치하는 인식 정보를 검색하는데, 검색 결과 획득된 인식 정보가 사용자 인식 정보가 일치할 경우, 630 단계에서 사용자 인식 정보에 매핑되어 있는 기본 인식 정보를 검출한다. 그러나, 상기 620 단계의 판단 결과, 상기 획득된 인식 정보가 기본 인식 정보일 경우, 640 단계로 진행한다.
단말기는 640 단계에서 기본 인식 정보를 서버에 전송하여, 기본 인식 정보에 매핑되는 가상 객체를 요청한다. 그러면, 서버는 650 단계에서 수신된 기본 인식 정보에 매핑된 가상 객체 정보를 검색한다. 즉, 상기 검색된 인식 정보의 식별자와 동일한 식별자가 부여된 가상 객체를 검색한다.
그리고, 서버는 660 단계에서 상기 검색된 가상 객체를 단말기에 전송한다. 그러면, 단말기는 670 단계에서 수신된 가상 객체와 상기 현실 객체를 합성하거나, 가상 객체만으로 증강 현실 데이터를 생성하고, 680 단계에서 생성된 증강 현실 데이터를 출력한다.

Claims (16)

  1. 현실 객체로부터 사용자 인식 정보를 획득하여 출력하는 인식 정보 획득부와,
    사용자 인식 정보 추가 요청 신호를 입력받는 조작부와,
    상기 조작부로부터 사용자 인식 정보 추가 요청 신호가 입력됨에 따라, 상기 인식 정보 획득부로부터 출력된 인식 정보를 매핑할 가상 객체를 선택하고, 선택된 가상 객체에 대한 매핑 정보로 사용자 인식 정보를 추가하는 제어부를 포함함을 특징으로 하는 사용자 인식 정보를 이용한 증강 현실 제공 장치.
  2. 제 1항에 있어서, 상기 사용자 인식 정보는
    하나의 현실 객체에 대한 하나 이상의 추출 정보이거나, 하나 이상의 현실 객체 각각에 대한 추출 정보임을 특징으로 하는 사용자 인식 정보를 이용한 증강 현실 제공 장치.
  3. 제 1항에 있어서,
    하나 이상의 가상 객체와, 상기 하나 이상의 가상 객체 각각에 매핑되어 있는 기본 인식 정보를 저장하고 있는 서버와의 정보 교환을 위한 통신부를 더 포함하고,
    상기 제어부는
    상기 통신부를 통해 서버에 접속하여 가상 객체를 선택하고, 상기 선택된 가상 객체와 매핑될 사용자 인식 정보를 서버에 전송하여 등록되도록 요청함을 특징으로 하는 사용자 인식 정보를 이용한 증강 현실 제공 장치.
  4. 하나 이상의 단말기와의 유/무선 통신망을 통해 정보 교환을 하는 통신부와,
    하나 이상의 가상 객체 각각에 대한 매핑 정보인 인식 정보를 저장하는 데이터베이스와,
    상기 통신부를 통해 단말기로부터 전송된 사용자 인식 정보를 특정 가상 객체를 인식하기 위한 매핑 정보로 상기 데이터베이스에 저장하는 제어부를 포함함을 특징으로 하는 사용자 인식 정보를 이용한 증강 현실 제공 장치.
  5. 제 4항에 있어서, 상기 데이터베이스는
    하나 이상의 가상 객체 각각에 매핑되도록 미리 지정되어 있는 기본 인식 정보를 저장하는 기본 인식 정보 데이터베이스와,
    하나 이상의 가상 객체 각각에 매핑되도록 사용자가 추가로 지정한 사용자 인식 정보를 저장한 사용자 인식 정보 데이터베이스를 포함함을 특징으로 하는 사용자 인식 정보를 이용한 증강 현실 제공 장치.
  6. 제 4항에 있어서, 상기 제어부는
    단말기로부터 사용자 인식 정보 추가 요청됨에 따라, 가상 객체 검색 정보를 단말기에 전송함을 특징으로 하는 사용자 인식 정보를 이용한 증강 현실 제공 장치.
  7. 서버와 유/무선 통신망을 통해 접속가능한 단말기에서의 증강 현실 제공 방법에 있어서,
    현실 객체에 대한 사용자 인식 정보를 획득하는 단계와,
    상기 획득된 사용자 인식 정보와 매핑될 가상 객체를 선택하는 단계와,
    선택된 가상 객체에 대한 매핑 정보로 상기 사용자 인식 정보를 추가하는 단계를 포함함을 특징으로 하는 사용자 인식 정보를 이용한 증강 현실 제공 방법.
  8. 제 7항에 있어서, 상기 사용자 인식 정보는
    하나의 현실 객체에 대한 하나 이상의 추출 정보이거나, 하나 이상의 현실 객체 각각에 대한 추출 정보임을 특징으로 하는 사용자 인식 정보를 이용한 증강 현실 제공 방법.
  9. 하나 이상의 단말기와 유/무선 통신망을 통해 접속 가능한 서버에서의 사용자 인식 정보를 이용한 증강 현실 제공 방법에 있어서,
    특정 단말기로부터 사용자 인식 정보의 추가 요청 신호를 수신하는 단계와,
    상기 사용자 인식 정보를 특정 가상 객체의 매핑 정보로 저장하는 단계를 포함함을 특징으로 하는 사용자 인식 정보를 이용한 증강 현실 제공 방법.
  10. 제 9항에 있어서,
    단말기로부터의 추가 요청 신호를 수신함에 따라, 상기 특정 단말기에 가상 객체 검색 정보를 전송하는 단계를 더 포함함을 특징으로 하는 사용자 인식 정보를 이용한 증강 현실 제공 방법.
  11. 하나 이상의 가상 객체와, 상기 하나 이상의 가상 객체 각각에 매핑되어 있는 기본 인식 정보를 저장하는 외부 서버와의 정보 교환을 위한 통신부와,
    현실 객체로부터 사용자 인식 정보를 획득하여 출력하는 인식 정보 획득부와,
    사용자 인식 정보 추가 요청 신호를 입력받는 조작부와,
    상기 인식 정보 획득부로부터 입력되는 사용자 인식 정보를 저장하는 사용자 인식 정보 데이터베이스와,
    하나 이상의 가상 객체 각각에 매핑되는 기본 인식 정보를 저장하는 기본 인식 정보 데이터베이스와,
    상기 조작부로부터 사용자 인식 정보 추가 요청 신호가 입력됨에 따라, 상기 인식 정보 획득부로부터 출력된 인식 정보를 매핑할 가상 객체를 선택하고, 상기 통신부를 통해 외부 서버에 접속하여 가상 객체를 선택하고, 상기 선택된 가상 객체와 매핑된 기본 인식 정보를 검출하여 상기 사용자 인식 정보와 매핑되도록 저장함 제어부를 포함함을 특징으로 하는 사용자 인식 정보를 이용한 증강 현실 제공 단말 장치.
  12. 제 11항에 있어서, 상기 제어부는
    상기 조작부로부터 가상 객체 제공이 요청됨에 따라, 인식 정보 획득부로부터 획득되는 인식 정보가 사용자 인식 정보이면, 상기 사용자 인식 정보에 매핑되는 기본 인식 정보를 검출하고, 상기 검출된 기본 인식 정보를 통신부를 통해 서버에 전송하여 가상 객체 제공 요청함을 특징으로 하는 사용자 인식 정보를 이용한 증강 현실 제공 장치.
  13. 삭제
  14. 하나 이상의 가상 객체 각각에 매핑되어 있는 기본 인식 정보를 저장하는 외부 서버와의 정보 교환을 통해 증강 현실을 제공하는 단말기에서의 증강 현실 제공 방법에 있어서,
    현실 객체에 대한 사용자 인식 정보를 획득하는 단계와,
    상기 획득된 사용자 인식 정보와 매핑될 가상 객체를 외부 서버와의 정보 교환을 통해 선택하는 단계와,
    선택된 가상 객체에 매핑된 기본 인식 정보를 서버로부터 검출하는 단계와,
    상기 검출된 기본 인식 정보와 상기 획득된 사용자 인식 정보를 매핑하여 저장하는 단계를 포함함을 특징으로 하는 사용자 인식 정보를 이용한 증강 현실 제공 방법.
  15. 제 14항에 있어서,
    인식 정보 입력을 통해 가상 객체 검출 요청됨에 따라, 입력된 인식 정보가 상기 사용자 인식 정보인지를 판단하는 단계와,
    상기 입력된 인식 정보가 사용자 인식 정보일 경우, 상기 사용자 인식 정보에 매핑된 기본 인식 정보를 검출하는 단계와,
    상기 검출된 기본 인식 정보를 서버에 전송하여 가상 객체 제공 요청하는 단계를 더 포함함을 특징으로 하는 사용자 인식 정보를 이용한 증강 현실 제공 방법.
  16. 삭제
KR1020100073053A 2010-07-28 2010-07-28 사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법 KR101295710B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100073053A KR101295710B1 (ko) 2010-07-28 2010-07-28 사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법
US13/150,746 US20120026192A1 (en) 2010-07-28 2011-06-01 Apparatus and method for providing augmented reality (ar) using user recognition information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100073053A KR101295710B1 (ko) 2010-07-28 2010-07-28 사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120011279A KR20120011279A (ko) 2012-02-07
KR101295710B1 true KR101295710B1 (ko) 2013-08-16

Family

ID=45526266

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100073053A KR101295710B1 (ko) 2010-07-28 2010-07-28 사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법

Country Status (2)

Country Link
US (1) US20120026192A1 (ko)
KR (1) KR101295710B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514570B2 (en) 2012-07-26 2016-12-06 Qualcomm Incorporated Augmentation of tangible objects as user interface controller
US9607584B2 (en) * 2013-03-15 2017-03-28 Daqri, Llc Real world analytics visualization

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100789100B1 (ko) * 2006-09-19 2007-12-26 에스케이 텔레콤주식회사 모바일 증강 현실 서비스 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7991220B2 (en) * 2004-09-01 2011-08-02 Sony Computer Entertainment Inc. Augmented reality game system using identification information to display a virtual object in association with a position of a real object
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100789100B1 (ko) * 2006-09-19 2007-12-26 에스케이 텔레콤주식회사 모바일 증강 현실 서비스 시스템 및 방법

Also Published As

Publication number Publication date
KR20120011279A (ko) 2012-02-07
US20120026192A1 (en) 2012-02-02

Similar Documents

Publication Publication Date Title
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
KR101357262B1 (ko) 필터 정보를 이용한 객체 인식 장치 및 방법
KR101337555B1 (ko) 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
KR101357260B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
KR101303948B1 (ko) 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
JP5284428B2 (ja) 拡張現実サービスの共有方法並びに拡張現実サービスを共有するために用いるユーザ端末、遠隔端末及びシステム
RU2417437C2 (ru) Отображение объектов сети на мобильных устройствах на основании геопозиции
US11592311B2 (en) Method and apparatus for displaying surrounding information using augmented reality
US20120093369A1 (en) Method, terminal device, and computer-readable recording medium for providing augmented reality using input image inputted through terminal device and information associated with same input image
US20110218984A1 (en) Method and system for searching for information pertaining target objects
US20220076469A1 (en) Information display device and information display program
KR101286866B1 (ko) Ａｒ 태그 정보를 생성하는 사용자 단말기 및 그 방법, 그리고, 시스템
US20130227681A1 (en) System, apparatus, and method for verifying augmented reality service
KR20200090014A (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
KR101332816B1 (ko) 프라이빗 태그를 제공하는 증강 현실 장치 및 방법
KR20120134321A (ko) 클라우드 기반 증강 현실 시스템
JP4710217B2 (ja) 情報提示装置及び情報提示方法、情報提示システム、並びにコンピュータ・プログラム
KR101295710B1 (ko) 사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법
KR20120053420A (ko) 디바이스 제어 시스템 및 방법
KR102443049B1 (ko) 전자 장치 및 그 동작 방법
KR101986804B1 (ko) 시각적 콘텐츠 검색용 데이터베이스 생성 장치 및 방법
US20120202516A1 (en) Apparatus and method for providing location-based data
JP6019680B2 (ja) 表示装置、表示方法、及び、表示プログラム
WO2021090715A1 (ja) 情報提供サービスプログラム及び情報提供サービス用情報配信装置
KR20150053301A (ko) 지도 서비스 제공 장치 및 지도 서비스 제공 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160801

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190128

Year of fee payment: 6

J204 Request for invalidation trial [patent]
J301 Trial decision

Free format text: TRIAL NUMBER: 2022100001603; TRIAL DECISION FOR INVALIDATION REQUESTED 20220609

Effective date: 20221123

J302 Written judgement (patent court)

Free format text: TRIAL NUMBER: 2023200010293; JUDGMENT (PATENT COURT) FOR INVALIDATION REQUESTED 20230125

Effective date: 20231011