KR101363559B1 - 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법 - Google Patents

부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법 Download PDF

Info

Publication number
KR101363559B1
KR101363559B1 KR1020100071623A KR20100071623A KR101363559B1 KR 101363559 B1 KR101363559 B1 KR 101363559B1 KR 1020100071623 A KR1020100071623 A KR 1020100071623A KR 20100071623 A KR20100071623 A KR 20100071623A KR 101363559 B1 KR101363559 B1 KR 101363559B1
Authority
KR
South Korea
Prior art keywords
data
augmented reality
reality providing
image
providing device
Prior art date
Application number
KR1020100071623A
Other languages
English (en)
Other versions
KR20120010054A (ko
Inventor
전성운
김현강
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44582134&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101363559(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100071623A priority Critical patent/KR101363559B1/ko
Priority to US13/110,673 priority patent/US20120019547A1/en
Priority to EP11171637A priority patent/EP2410493A2/en
Priority to CN2011101965840A priority patent/CN102402778A/zh
Publication of KR20120010054A publication Critical patent/KR20120010054A/ko
Application granted granted Critical
Publication of KR101363559B1 publication Critical patent/KR101363559B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

사용자가 직관적으로 필요한 정보를 인식할 수 있도록 하는 부가 정보를 이용한 증강 현실 제공 장치 및 방법이 제공된다. 본 발명의 일 양상에 따른 증강 현실 제공 장치는, 객체에 대한 제 1 데이터를 획득하는 제 1 데이터 획득부, 제 1 데이터와 상이한 제 2 데이터를 획득하는 제 2 데이터 획득부, 및 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하고, 제 2 데이터에 기초하여 대표 이미지를 변형하는 이미지 처리부를 포함할 수 있다.

Description

부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법{Apparatus and Method for providing augment reality using additional information}
증강 현실(augmented reality, AR)의 구현을 위한 증강 현실 데이터 처리 및 영상 처리 기술과 관련된다.
증강 현실(augmented reality, AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.
증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 정보들을 보강해 제공할 수 있는 특징이 있다.
이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상 현실과 달리 다양한 현실 환경에 응용이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
그런데 가상의 사물 위에 합성되는 정보의 양이 나날이 증가함에 따라 사용자가 합성된 정보를 일일이 살펴보고 자신에게 필요한 정보를 선별해야 하는 불편함이 있다. 즉, 수많은 정보가 단편적으로 제공되기 때문에 증강 현실이 구현되더라도 사용자가 정작 필요로 하는 정보는 직관적으로 제공되지 못하는 문제점이 있다.
사용자가 직관적으로 필요한 정보를 인식할 수 있도록 하는 부가 정보를 이용한 증강 현실 제공 장치 및 방법이 제공된다.
본 발명의 일 양상에 따른 증강 현실 제공 장치는, 객체에 대한 제 1 데이터를 획득하는 제 1 데이터 획득부, 제 1 데이터와 상이한 제 2 데이터를 획득하는 제 2 데이터 획득부, 및 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하고, 제 2 데이터에 기초하여 대표 이미지를 변형하는 이미지 처리부를 포함할 수 있다.
또한, 본 발명의 다른 양상에 따른 증강 현실 제공 장치는, 객체에 대한 제 1 데이터를 획득하는 제 1 데이터 획득부, 제 1 데이터와 상이한 제 2 데이터를 획득하는 제 2 데이터 획득부, 및 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하고, 제 2 데이터와 관련된 이미지로 정의되는 부가 이미지를 생성하며, 대표 이미지에 부가 이미지를 합성하여 복합 이미지를 생성하는 이미지 처리부를 포함할 수 있다.
또한, 본 발명의 일 양상에 따른 증강 현실 제공 방법은, 객체에 대한 제 1 데이터를 획득하는 단계, 제 1 데이터와 상이한 제 2 데이터를 획득하는 단계, 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하는 단계, 및 제 2 데이터에 기초하여 대표 이미지를 변형하는 단계를 포함할 수 있다.
또한, 본 발명의 다른 양상에 따른 증강 현실 제공 방법은, 객체에 대한 제 1 데이터를 획득하는 단계, 제 1 데이터와 상이한 제 2 데이터를 획득하는 단계, 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하는 단계, 제 2 데이터와 관련된 이미지로 정의되는 부가 이미지를 생성하는 단계, 및 대표 이미지와 부가 이미지를 합성하여 복합 이미지를 생성하는 단계를 포함할 수 있다.
개시된 내용에 따르면, 어떤 객체와 관련된 증강 현실 이미지를 표시함에 있어서 증강 현실 데이터와 상이한 다른 외부 또는 내부 데이터를 이용하여 대표 이미지를 변형해서 표시하거나 부가 아이콘을 추가해서 표시하기 때문에 사용자는 원하는 정보를 보다 신속하고 직관적으로 얻을 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 도시하고,
도 2는 본 발명의 일 실시예에 따른 이미지 처리부를 도시하고,
도 3은 본 발명의 다른 실시예에 따른 이미지 처리부를 도시하고,
도 4는 본 발명의 일 실시예에 따른 제 1 데이터를 도시하고,
도 5는 본 발명의 일 실시예에 따른 제 2 데이터를 도시하고,
도 6은 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 도시하고,
도 7은 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 도시하고,
도 8a는 본 발명의 일 실시예에 따른 변형된 대표 이미지를 도시하고,
도 8b는 본 발명의 일 실시예에 따른 합성 이미지를 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 도시한다.
도 1을 참조하면, 본 실시예에 따른 증강 현실 제공 장치(100)는 제 1 데이터 획득부(101), 제 2 데이터 획득부(102), 이미지 처리부(103), 및 이미지 표시부(104)를 포함한다.
제 1 데이터 획득부(101)는 객체에 대한 제 1 데이터를 획득한다.
객체(object)란 관심 대상이 되는 임의의 사물이 될 수 있다. 객체에 대한 제 1 데이터란 객체와 관련된 다양한 증강 현실 정보(augment reality information, AR정보)가 될 수 있다. 제 1 데이터는 별도의 서버(미도시)에 데이터베이스화되어 저장되어 있다가 본 실시예에 따른 증강 현실 제공 장치(100)의 요청에 따라 제공될 수 있다. 예를 들어, 증강 현실 제공 장치(100)가 스마트 폰(smart phone)에 적용되는 경우, 사용자가 임의의 지역을 스마트 폰에 구비된 카메라를 통해 촬영하면, 제 1 데이터 획득부(101)는 촬영된 부분에, 또는 촬영된 방향에 존재하는 커피숍들의 상호, 주소, 연락처, 주요 메뉴, 개점시간/폐점시간, 및 로고 등을 서버로부터 수신하는 것이 가능하다.
제 2 데이터 획득부(102)는 제 1 데이터와 상이한 제 2 데이터를 획득한다.
본 실시예에 따라, 제 2 데이터는 제 1 데이터와 상이한 모든 데이터가 될 수 있다. 제 1 데이터가 증강 현실 데이터 제공 서버에 데이터베이스화되어 있는 증강 현실 정보라면, 제 2 데이터는 그 서버로부터 수신되는 정보를 제외한 나머지 모든 정보가 될 수 있다.
예를 들어, 증강 현실 제공 장치(100)가 스마트 폰에 적용되는 경우, 제 2 데이터는 스마트 폰의 주변으로부터 제공되는 외부 데이터와 스마트 폰에 미리 저장되어 있는 내부 데이터가 될 수 있다. 외부 데이터는 각종 센서 모듈 또는 네트워크 모듈의 입출력 데이터가 될 수 있고, 내부 데이터는 업데이트가 가능한 사용자 프로파일 또는 장치 프로파일이 될 수 있다. 예컨대, 외부 데이터는 증강 현실 제공 장치(100)에 구비된 카메라, GPS 센서, 마이크로폰, 지자기 센서, 각속도 센서, 또는 가속도 센서의 센서 데이터 또는 증강 현실 제공 장치(100)에 구비된 네트워크 모듈의 네트워크 데이터가 될 수 있다. 또한, 내부 데이터는 사용자의 식별 정보, 선호도 정보 등을 나타내는 사용자의 프로파일 또는 증강 현실 제공 장치(100) 또는 이 증강 현실 제공 장치(100)가 적용된 단말의 상태 정보를 나타내는 장치 프로파일이 될 수 있다.
이미지 처리부(103)는 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성한다. 예컨대, 제 1 데이터가 특정한 커피숍의 상호, 주소, 연락처, 로고 등을 포함하고 있는 경우, 이미지 처리부(103)는 수신된 로고를 대표 이미지로 추출하는 것이 가능하다. 또한, 선택적으로, 이미지 처리부(103)는 제 1 데이터에 포함된 상호를 이용하여 관련 이미지를 웹(web)에서 검색해오거나 기 저장된 관련 이미지를 선택함으로써 대표 이미지를 생성하는 것도 가능하다.
또한, 이미지 처리부(103)는 제 2 데이터에 기초하여 대표 이미지를 변형하거나, 대표 이미지에 특정한 아이콘을 부가한다. 제 2 데이터를 어떻게 이용함으로써 대표 이미지를 변형하고 특정한 아이콘을 부가하는지는 본 발명의 사용목적에 따라 다양한 응용이 가능하다. 예를 들어, 이미지 처리부(103)는 제 1 데이터와 제 2 데이터를 비교 및 분석하고 그 비교/분석 결과에 따라 대표 이미지를 변형하거나 특정한 아이콘을 부가할 수 있다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 이미지를 도시한다. 일 예로써, 도 8a를 참조하면, 이미지 처리부(103)는 제 2 데이터를 이용해서 대표 이미지(801)의 모양, 크기, 색상, 및 명암을 변형하는 것이 가능하다. 다른 예로써, 도 8b를 참조하면, 이미지 처리부(103)는 제 2 데이터를 이용하여 부가 이미지(810, 820, 830)를 생성하고 생성된 부가 이미지(810, 820, 830)를 대표 이미지(801) 주변에 추가하는 것이 가능하다.
다시 도 1에서, 이미지 표시부(104)는 도 8a와 같은 변형된 대표 이미지 또는 도 8b와 같은 합성 이미지를 표시한다. 예를 들어, 이미지 표시부(104)는 디스플레이 패널 또는 터치 디스플레이 패널 등이 될 수 있다.
이와 같이, 개시된 증강 현실 제공 장치(100)는 어떤 객체와 관련된 증강 현실 이미지를 표시함에 있어서 증강 현실 데이터와 상이한 다른 외부 또는 내부 데이터를 이용하여 대표 이미지를 변형해서 표시하거나 부가 아이콘을 추가해서 표시하기 때문에 사용자는 원하는 정보를 보다 신속하고 직관적으로 얻을 수 있게 된다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리부를 도시한다. 이것은 도 1의 이미지 처리부(103)의 일 예가 될 수 있다.
도 2를 참조하면, 이미지 처리부(200)는 대표 이미지 생성부(201) 및 이미지 변형부(202)를 포함한다.
대표 이미지 생성부(201)는 제 1 데이터에 기초하여 객체에 관한 대표 이미지를 생성한다. 예컨대, 대표 이미지 생성부(201)는 제 1 데이터에 포함된 객체에 관한 특정 이미지를 대표 이미지로 추출하는 것이 가능하다. 다른 예로써, 대표 이미지 생성부(201)는 제 1 데이터에 포함된 특정한 데이터를 검색어로 활용하여 웹 상에서 관련 이미지를 검색해오거나 기 저장된 이미지 데이터 중 어느 하나를 추출하는 것도 가능하다. 제 1 데이터가 커피숍에 관한 상호, 주소, 연락처, 주요 메뉴, 개점시간/폐점시간, 및 로고를 포함하는 경우, 대표 이미지 생성부(201)는 로고를 대표 이미지로 추출할 수 있다.
이미지 변형부(202)는 제 2 데이터에 기초하여 생성된 대표 이미지의 모양, 크기, 색상, 명암 등을 변형한다. 예를 들어, 제 1 데이터가 특정 커피숍에 관한 것이고 제 2 데이터로써 GPS 정보가 획득되어 그 커피숍에 사용자가 점점 다가가고 있는 경우, 이미지 변형부(202)는 그 커피숍의 로고의 크기를 사용자와의 거리에 비례해서 증가시키는 것이 가능하다. 다른 예로, 여러 개의 커피숍에 관한 정보가 제 1 데이터로써 획득되고, 제 2 데이터로써 장치 프로파일, 예컨대, 배터리 잔량이 획득되는 상태에서, 그 배터리 잔량이 특정 임계값 이하로 떨어지는 경우, 이미지 변형부(202)는 제 1 데이터와 제 2 데이터를 비교하여 충전이 가능한 커피숍의 정보를 추출 및 분석하고, 추출 및 분석된 충전이 가능한 커피숍에 대응되는 커피숍 로고의 모양을 충전기 모양으로 변경하거나 도 8a와 같이 로고의 테두리를 두껍게 변경하는 것이 가능하다.
도 3은 본 발명의 다른 실시예에 따른 이미지 처리부를 도시한다. 이것은 도 1의 이미지 처리부(103)의 일 예가 될 수 있다.
도 3을 참조하면, 이미지 처리부(300)는 대표 이미지 생성부(301), 부가 이미지 생성부(302) 및 복합 이미지 생성부(303)를 포함한다.
대표 이미지 생성부(301)는 제 1 데이터에 기초하여 객체에 관한 대표 이미지를 생성한다. 예컨대, 대표 이미지 생성부(301)는 제 1 데이터에 포함된 객체에 관한 특정 이미지를 대표 이미지로 추출하는 것이 가능하다. 다른 예로써, 대표 이미지 생성부(301)는 제 1 데이터에 포함된 특정한 데이터를 검색어로 활용하여 웹 상에서 관련 이미지를 검색해오거나 기 저장된 이미지 데이터 중 어느 하나를 추출하는 것도 가능하다. 제 1 데이터가 커피숍에 관한 상호, 주소, 연락처, 주요 메뉴, 개점시간/폐점시간, 및 로고를 포함하는 경우, 대표 이미지 생성부(301)는 로고를 대표 이미지로 추출할 수 있다.
부가 이미지 생성부(302)는 제 2 데이터와 관련된 이미지인 부가 이미지를 생성한다. 도 8b를 참조하면, 부가 이미지는 제 2 데이터에 기초하여 생성된 각종 아이콘(810, 820, 830)이 될 수 있다. 예를 들어, 카메라로 특정한 카드를 촬영한 경우, 부가 이미지는 그 카드 이미지(810)가 될 수 있다. 다른 예로, 네트워크 모듈인 와이파이(Wi-Fi)가 온(ON) 상태인 경우, 부가 이미지는 와이파이 아이콘(820)이 될 수 있다. 또 다른 예로, 배터리 잔량이 임계값 이하인 경우, 부가 이미지는 충전 아이콘(830)이 될 수 있다. 이러한 부가 이미지들은, 부가 이미지 생성부(302)가 제 2 데이터를 분석해서 기 저장되어 있는 아이콘 이미지를 추출하거나 네트워크를 통해 웹 상에서 검색해 오는 것이 가능하다.
복합 이미지 생성부(303)는 대표 이미지 생성부(301)에 의해 얻어진 대표 이미지와 부가 이미지 생성부(302)에 의해 얻어진 부가 이미지를 합성한다. 예컨대, 복합 이미지 생성부(303)는, 도 8b와 같이, 대표 이미지 위에 또는 주변에 부가 이미지의 크기를 축소해서 합성하는 것이 가능하다.
도 4는 본 발명의 일 실시예에 따른 제 1 데이터를 도시한다.
도 1 및 도 4를 참조하면, 제 1 데이터는 사용자의 관심 대상인 커피숍에 관한 각종 증강 현실 정보가 될 수 있다. 예를 들어, 본 실시예에 따른 증강 현실 장치(100)가 적용된 스마트 폰을 사용하여 어떤 사용자가 임의의 지점을 촬영했다고 가정하자.
이러한 경우, 제 1 데이터 획득부(101)는 촬영 지점에 대응되는 커피숍들에 대한 상호, 주소, 연락처, 개점시간, 폐점시간, 주요메뉴, 로고 등을 제 1 데이터로써 획득한다. 그러나 이것은 설명의 편의를 위한 일 예에 불과한 것으로, 그 밖에도 구비된 무선 통신 망의 종류, 휴대 기기의 충전 가능 여부 등도 제 1 데이터가 될 수 있다. 이미지 처리부(103)는 제 1 데이터를 이용하여 커피숍들의 로고를 대표 이미지로 추출하고 이를 이미지 표시부(104)에 표시한다. 그리고 표시된 커피숍들의 로고는 제 2 데이터에 기초하여 변형되어 표시되거나 부가 아이콘이 추가되어 표시될 수 있다.
도 5는 본 발명의 일 실시예에 따른 제 2 데이터를 도시한다.
도 1, 도 4 및 도 5를 참조하면, 제 2 데이터는 외부 데이터와 내부 데이터를 포함한다. 그리고 외부 데이터는 센서 데이터와 네트워크 데이터를 포함하고, 내부 데이터는 사용자 프로파일과 장치 프로파일을 포함한다. 예를 들어, 증강 현실 제공 장치(100)가 스마트 폰에 적용되는 경우, 센서 데이터는 스마트 폰의 카메라, GPS 센서, 마이크로폰, 지자기 센서, 각속도 센서, 또는 가속도 센서의 센서 데이터가 될 수 있고, 네트워크 데이터는 주변 환경이 다수의 사용자를 위해 뿌려주는 opt-in broadcast 정보 또는 웹 검색이나 트위터와 같은 SNS 정보가 될 수 있다. 그리고 사용자 프로파일은 사용자의 식별자, 명함 정보, 이메일 주소, 스케줄, 선호도 등을 포함하고 장치 프로파일은 사용하는 통신망, 배터리 잔량, 현재 시간, 장치 버전 등과 같은 단말기 상태를 포함할 수 있다.
도 4와 같이, 커피숍 A, B, C의 로고가 대표 이미지로 추출되어 표시부(104)에 표시되어 있다고 가정한다.
일 예로써, 이미지 처리부(103)는, 제 2 데이터로써 GPS 정보가 사용되는 경우, 사용자가 커피숍 A에 가까이 다가갈수록 커피숍 A의 로고의 크기를 증가시키거나 거리 표시 아이콘을 로고의 상단에 표시하는 것이 가능하다.
다른 예로써, 이미지 처리부(103)는, 제 2 데이터로써 와이파이 모듈의 온/오프 정보가 사용되는 경우, 제 2 데이터와 제 1 데이터(예컨대, 무선 통신 망의 종류)를 비교하여 와이파이 통신이 가능한 커피숍이 커피숍 B임을 도출하고, 와이파이 통신이 가능한 커피숍 B의 로고의 테두리를 선명하게 변경하거나 커피숍 B의 로고 상단에 와이파이 아이콘을 표시하는 것이 가능하다.
또 다른 예로써, 이미지 처리부(103)는, 제 2 데이터로써 사용자 프로파일에 저장된 선호하는 커피 정보가 사용되는 경우, 제 2 데이터와 제 1 데이터(예컨대, 주요 메뉴 또는 대표 메뉴)를 비교하여 사용자가 선호하는 커피를 커피숍 C가 제공함을 분석하고 분석된 커피숍 C의 로고의 색상을 변경하거나 커피잔 아이콘을 커피숍 C의 로고의 주변에 표시하는 것이 가능하다. 이때, 다른 사용자의 평가가 제 1 데이터에 포함될 수도 있는데, 제 2 데이터인 사용자 프로파일과 제 1 데이터인 다른 사용자의 평가를 비교/분석해서 커피숍 C를 도출할 수도 있음은 물론이다.
또 다른 예로써, 이미지 처리부(103)는, 제 2 데이터로써 장치 프로파일에 저장된 배터리 잔량 정보가 사용되는 경우, 배터리 잔량이 정해진 임계값 이하로 떨어지면 제 1 데이터로 제공받은 "각 커피숍들의 휴대 단말 충전기 제공 여부"에 따라 충전 가능한 커피숍 A를 추출하고 그에 대한 로고를 충전기 모양으로 변경하거나 충전기 아이콘을 커피숍 A의 로고의 주변에 표시하는 것이 가능하다.
그러나 위와 같은 예는 설명의 편의를 위해 예시한 것에 불과한 것으로 그 밖에도 다양한 방법을 통해 제 2 데이터를 이용해서 제 1 데이터의 내용을 사용자가 알아보기 쉽게 표시할 수 있음은 당업자에게 자명하다.
도 6은 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 도시한다. 이것은 도 1에 따른 증강 현실 제공 장치에 의해 수행되는 것이 가능하다. 도 1 및 도 6을 참조하여 본 실시예에 따른 증강 현실 제공 방법을 설명하면 다음과 같다.
먼저 제 1 데이터가 획득된다(601). 예컨대, 제 1 데이터 획득부(101)가 객체에 대한 증강 현실 정보를 외부의 서버로부터 수신하는 것이 가능하다.
그리고 제 1 데이터와 상이한 제 2 데이터가 획득된다(602). 예컨대, 제 2 데이터 획득부(102)가 카메라의 영상 정보, 마이크로폰의 음성 정보, GPS 센서, 지자기 센서, 각속도 센서, 가속도 센서 등의 센서 정보, 네크워크 모듈의 전송 데이터 등과 같은 외부 데이터 또는 사용자 프로파일 및 장치 프로파일과 같은 내부 데이터를 획득하는 것이 가능하다.
그리고 제 1 데이터와 관련된 대표 이미지가 생성된다(603). 예컨대, 이미지 처리부(103)가 제 1 데이터에서 로고 이미지를 대표 이미지로 추출하는 것이 가능하다. 또한, 선택적으로, 이미지 처리부(103)가 제 1 데이터에 기초하여 소정의 이미지를 웹 상에서 또는 기 저장된 이미지 데이터에서 검색하여 가져오거나 새로운 이미지를 생성하는 것도 가능하다.
그리고 제 2 데이터에 기초하여 대표 이미지가 변형된다(604). 예컨대, 이미지 처리부(103)가 제 1 데이터와 제 2 데이터를 비교 및 분석해서 대표 이미지의 모양, 크기, 색상, 명암 등을 적절하게 변경하는 것이 가능하다.
그리고 변형된 대표 이미지가 표시된다(605). 예컨대, 이미지 표시부(104)에 변형된 대표 이미지가 표시됨으로써 증강 현실 구현에 있어서 사용자가 원하는 정보를 직관적으로 표시하는 것이 가능하다.
도 7은 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 도시한다. 이것은 도 1에 따른 증강 현실 제공 장치에 의해 수행되는 것이 가능하다. 도 1 및 도 7을 참조하여 본 실시예에 따른 증강 현실 제공 방법을 설명하면 다음과 같다.
먼저 제 1 데이터가 획득된다(701). 예컨대, 제 1 데이터 획득부(101)가 객체에 대한 증강 현실 정보를 외부의 서버로부터 수신하는 것이 가능하다.
그리고 제 1 데이터와 상이한 제 2 데이터가 획득된다(702). 예컨대, 제 2 데이터 획득부(102)가 카메라의 영상 정보, 마이크로폰의 음성 정보, GPS 센서, 지자기 센서, 각속도 센서, 가속도 센서 등의 센서 정보, 네크워크 모듈의 전송 데이터 등과 같은 외부 데이터 또는 사용자 프로파일 및 장치 프로파일과 같은 내부 데이터를 획득하는 것이 가능하다.
그리고 제 1 데이터와 관련된 대표 이미지가 생성된다(703). 예컨대, 이미지 처리부(103)가 제 1 데이터에서 로고 이미지를 대표 이미지로 추출하는 것이 가능하다. 또한, 선택적으로, 이미지 처리부(103)가 제 1 데이터에 기초하여 소정의 이미지를 웹 상에서 또는 기 저장된 이미지 데이터에서 검색하여 가져오거나 새로운 이미지를 생성하는 것도 가능하다.
그리고 제 2 데이터와 관련된 부가 이미지가 생성된다(704). 예컨대, 이미지 처리부(103)가 제 1 데이터와 제 2 데이터를 비교 및 분석한 후, 부가 이미지로써 도 8b와 같은 아이콘 이미지(810, 820, 830)를 생성하는 것이 가능하다. 아이콘 이미지(810, 820, 830)는 미리 저장되어 있는 소정의 이미지를 사용하거나 제 2 데이터를 검색어로 활용하여 웹 상에서 가져올 수도 있다.
그리고 대표 이미지와 부가 이미지에 기초한 합성 이미지가 생성된다(705). 예컨대, 이미지 처리부(103)가 부가 이미지의 크기를 대표 이미지 보다 작게 축소한 후, 대표 이미지 위에 또는 대표 이미지 주변에 부가 이미지를 추가하는 것이 가능하다.
그리고 합성 이미지가 표시된다(706). 예컨대, 이미지 표시부(104)에 합성 이미지가 표시됨으로써 증강 현실 구현에 있어서 사용자가 원하는 정보를 직관적으로 표시하는 것이 가능하다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.

Claims (36)

  1. 객체에 대한 제 1 데이터를 획득하는 제 1 데이터 획득부;
    상기 제 1 데이터와 상이한 제 2 데이터를 획득하는 제 2 데이터 획득부; 및
    상기 제 2 데이터에 기초하여 상기 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 변형하는 이미지 처리부; 를 포함하며,
    상기 이미지 처리부는
    상기 제 1 데이터와 상기 제 2 데이터를 비교함으로써 상기 제 2 데이터와 연관된 제 1 데이터를 분석한 후, 그 분석 결과를 토대로 상기 대표 이미지를 수정하여 상기 변형된 대표 이미지를 생성하는 증강 현실 제공 장치.
  2. 삭제
  3. 제 1 항에 있어서, 상기 제 2 데이터는
    상기 증강 현실 제공 장치의 외부 또는 주변으로부터 제공되는 외부 데이터 및 상기 증강 현실 제공 장치의 내부에 저장되어 있는 내부 데이터 중 적어도 하나를 포함하는 증강 현실 제공 장치.
  4. 제 3 항에 있어서, 상기 외부 데이터는
    상기 증강 현실 제공 장치에 구비된 카메라, GPS 센서, 마이크로폰, 지자기 센서, 각속도 센서, 또는 가속도 센서의 센서 데이터를 포함하는 증강 현실 제공 장치.
  5. 제 3 항에 있어서, 상기 외부 데이터는
    상기 증강 현실 제공 장치에 구비된 네트워크 모듈의 네트워크 데이터를 포함하는 증강 현실 제공 장치.
  6. 제 3 항에 있어서, 상기 내부 데이터는
    사용자의 프로파일 정보를 포함하는 증강 현실 제공 장치.
  7. 제 3 항에 있어서, 상기 내부 데이터는
    상기 증강 현실 제공 장치의 상태 정보를 포함하는 증강 현실 제공 장치.
  8. 제 1 항에 있어서,
    상기 변형된 대표 이미지를 표시하는 이미지 표시부; 를 더 포함하는 증강 현실 제공 장치.
  9. 제 1 항에 있어서, 상기 이미지 처리부는
    상기 대표 이미지의 모양, 크기, 색상, 및 명암 중 적어도 어느 하나를 변형하는 증강 현실 제공 장치.
  10. 객체에 대한 제 1 데이터를 획득하는 제 1 데이터 획득부;
    상기 제 1 데이터와 상이한 제 2 데이터를 획득하는 제 2 데이터 획득부; 및
    상기 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하고, 상기 제 2 데이터와 관련된 이미지로 정의되는 부가 이미지를 생성하며, 상기 대표 이미지에 상기 부가 이미지를 합성하여 복합 이미지를 생성하는 이미지 처리부; 를 포함하며,
    상기 이미지 처리부는
    상기 제 1 데이터와 상기 제 2 데이터를 비교함으로써 상기 제 2 데이터와 연관된 제 1 데이터를 분석한 후, 그 분석 결과를 토대로 상기 부가 이미지를 생성하는 증강 현실 제공 장치.
  11. 삭제
  12. 제 10 항에 있어서, 상기 제 2 데이터는
    상기 증강 현실 제공 장치의 외부 또는 주변으로부터 제공되는 외부 데이터 및 상기 증강 현실 제공 장치의 내부에 저장되어 있는 내부 데이터 중 적어도 하나를 포함하는 증강 현실 제공 장치.
  13. 제 12 항에 있어서, 상기 외부 데이터는
    상기 증강 현실 제공 장치에 구비된 카메라, GPS 센서, 마이크로폰, 지자기 센서, 각속도 센서, 또는 가속도 센서의 센서 데이터를 포함하는 증강 현실 제공 장치.
  14. 제 12 항에 있어서, 상기 외부 데이터는
    상기 증강 현실 제공 장치에 구비된 네트워크 모듈의 네트워크 데이터를 포함하는 증강 현실 제공 장치.
  15. 제 12 항에 있어서, 상기 내부 데이터는
    사용자의 프로파일 정보를 포함하는 증강 현실 제공 장치.
  16. 제 12 항에 있어서, 상기 내부 데이터는
    상기 증강 현실 제공 장치의 상태 정보를 포함하는 증강 현실 제공 장치.
  17. 제 10 항에 있어서,
    상기 복합 이미지를 표시하는 이미지 표시부; 를 더 포함하는 증강 현실 제공 장치.
  18. 제 10 항에 있어서, 상기 이미지 처리부는
    상기 대표 이미지 위에 또는 상기 대표 이미지 주변에 상기 부가 이미지의 크기를 축소해서 합성하는 증강 현실 제공 장치.
  19. 증강 현실 제공 장치의 증강 현실 제공 방법에 있어서,
    객체에 대한 제 1 데이터를 획득하는 단계;
    상기 제 1 데이터와 상이한 제 2 데이터를 획득하는 단계;
    상기 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하는 단계;
    상기 제 1 데이터와 상기 제 2 데이터를 비교함으로써 상기 제 2 데이터와 연관된 제 1 데이터를 분석하는 단계; 및
    상기 분석 결과를 토대로 상기 대표 이미지를 수정하여 변형된 대표 이미지를 생성하는 단계;
    를 포함하는 증강 현실 제공 방법.
  20. 제 19 항에 있어서, 상기 제 2 데이터는
    상기 증강 현실 제공 장치의 외부 또는 주변으로부터 제공되는 외부 데이터 및 상기 증강 현실 제공 장치의 내부에 저장되어 있는 내부 데이터 중 적어도 하나를 포함하는 증강 현실 제공 방법.
  21. 제 20 항에 있어서, 상기 외부 데이터는
    상기 증강 현실 제공 장치에 구비된 카메라, GPS 센서, 마이크로폰, 지자기 센서, 각속도 센서, 또는 가속도 센서의 센서 데이터를 포함하는 증강 현실 제공 방법.
  22. 제 20 항에 있어서, 상기 외부 데이터는
    상기 증강 현실 제공 장치에 구비된 네트워크 모듈의 네트워크 데이터를 포함하는 증강 현실 제공 방법.
  23. 제 20 항에 있어서, 상기 내부 데이터는
    사용자의 프로파일 정보를 포함하는 증강 현실 제공 방법.
  24. 제 20 항에 있어서, 상기 내부 데이터는
    상기 증강 현실 제공 장치의 상태 정보를 포함하는 증강 현실 제공 방법.
  25. 제 19 항에 있어서,
    상기 변형된 대표 이미지를 표시하는 단계; 를 더 포함하는 증강 현실 제공 방법.
  26. 제 19 항에 있어서, 상기 대표 이미지를 변형하는 단계는
    상기 대표 이미지의 모양, 크기, 색상, 및 명암 중 적어도 어느 하나를 변형하는 과정을 포함하는 증강 현실 제공 방법.
  27. 삭제
  28. 증강 현실 제공 장치의 증강 현실 제공 방법에 있어서,
    객체에 대한 제 1 데이터를 획득하는 단계;
    상기 제 1 데이터와 상이한 제 2 데이터를 획득하는 단계;
    상기 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하는 단계;
    상기 제 2 데이터와 관련된 이미지로 정의되는 부가 이미지를 생성하는 단계; 및
    상기 대표 이미지와 상기 부가 이미지를 합성하여 복합 이미지를 생성하는 단계; 를 포함하며,
    상기 부가 이미지를 생성하는 단계는
    상기 제 1 데이터와 상기 제 2 데이터를 비교함으로써 상기 제 2 데이터와 연관된 제 1 데이터를 분석한 후, 그 분석 결과를 토대로 상기 부가 이미지를 생성하는 과정을 포함하는 증강 현실 제공 방법.
  29. 제 28 항에 있어서, 상기 제 2 데이터는
    상기 증강 현실 제공 장치의 외부 또는 주변으로부터 제공되는 외부 데이터 및 상기 증강 현실 제공 장치의 내부에 저장되어 있는 내부 데이터 중 적어도 하나를 포함하는 증강 현실 제공 방법.
  30. 제 29 항에 있어서, 상기 외부 데이터는
    상기 증강 현실 제공 장치에 구비된 카메라, GPS 센서, 마이크로폰, 지자기 센서, 각속도 센서, 또는 가속도 센서의 센서 데이터를 포함하는 증강 현실 제공 방법.
  31. 제 29 항에 있어서, 상기 외부 데이터는
    상기 증강 현실 제공 장치에 구비된 네트워크 모듈의 네트워크 데이터를 포함하는 증강 현실 제공 방법.
  32. 제 29 항에 있어서, 상기 내부 데이터는
    사용자의 프로파일 정보를 포함하는 증강 현실 제공 방법.
  33. 제 29 항에 있어서, 상기 내부 데이터는
    상기 증강 현실 제공 장치의 상태 정보를 포함하는 증강 현실 제공 방법.
  34. 제 28 항에 있어서,
    상기 복합 이미지를 표시하는 단계; 를 더 포함하는 증강 현실 제공 방법.
  35. 제 28 항에 있어서, 상기 복합 이미지를 생성하는 단계는
    상기 대표 이미지 위에 또는 상기 대표 이미지 주변에 상기 부가 이미지의 크기를 축소해서 합성하는 과정을 포함하는 증강 현실 제공 방법.
  36. 삭제
KR1020100071623A 2010-07-23 2010-07-23 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법 KR101363559B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020100071623A KR101363559B1 (ko) 2010-07-23 2010-07-23 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법
US13/110,673 US20120019547A1 (en) 2010-07-23 2011-05-18 Apparatus and method for providing augmented reality using additional data
EP11171637A EP2410493A2 (en) 2010-07-23 2011-06-28 Apparatus and method for providing augmented reality using additional data
CN2011101965840A CN102402778A (zh) 2010-07-23 2011-07-13 通过使用附加数据来提供增强现实的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100071623A KR101363559B1 (ko) 2010-07-23 2010-07-23 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법

Publications (2)

Publication Number Publication Date
KR20120010054A KR20120010054A (ko) 2012-02-02
KR101363559B1 true KR101363559B1 (ko) 2014-02-17

Family

ID=44582134

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100071623A KR101363559B1 (ko) 2010-07-23 2010-07-23 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법

Country Status (4)

Country Link
US (1) US20120019547A1 (ko)
EP (1) EP2410493A2 (ko)
KR (1) KR101363559B1 (ko)
CN (1) CN102402778A (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176635B2 (en) * 2012-06-28 2019-01-08 Microsoft Technology Licensing, Llc Saving augmented realities
CN104541300B (zh) * 2012-09-28 2019-01-22 英特尔公司 增强现实信息的确定
JP6092761B2 (ja) * 2013-12-06 2017-03-08 株式会社Ｎｔｔドコモ 買い物支援装置及び買い物支援方法
JP6334715B2 (ja) * 2014-01-31 2018-05-30 エンパイア テクノロジー ディベロップメント エルエルシー 拡張現実スキンの評価
KR101827550B1 (ko) 2014-01-31 2018-02-08 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 스킨 매니저
EP3100240B1 (en) 2014-01-31 2018-10-31 Empire Technology Development LLC Evaluation of augmented reality skins
WO2015116183A2 (en) * 2014-01-31 2015-08-06 Empire Technology Development, Llc Subject selected augmented reality skin
DE102014009699B4 (de) * 2014-06-26 2022-05-19 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung und System mit einer Anzeigeeinrichtung
CN106878423A (zh) * 2017-02-21 2017-06-20 苏州亮磊知识产权运营有限公司 一种基于监控摄像头的商店营业信息提供方法及其装置
JP6409107B1 (ja) 2017-09-06 2018-10-17 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN112291434B (zh) * 2020-10-23 2021-07-30 北京蓦然认知科技有限公司 一种基于ar的智能通话方法、装置
US11561611B2 (en) * 2020-10-29 2023-01-24 Micron Technology, Inc. Displaying augmented reality responsive to an input

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100526567B1 (ko) 2002-11-13 2005-11-03 삼성전자주식회사 네비게이션장치의 표시방법
KR20090003529A (ko) * 2007-06-14 2009-01-12 엘지전자 주식회사 주변 정보 제공 방법 및 시스템
US20090102859A1 (en) 2007-10-18 2009-04-23 Yahoo! Inc. User augmented reality for camera-enabled mobile devices

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1157316B1 (de) * 1999-03-02 2003-09-03 Siemens Aktiengesellschaft System und verfahren zur situationsgerechten unterstützung der interaktion mit hilfe von augmented-reality-technologien
KR20020025301A (ko) * 2000-09-28 2002-04-04 오길록 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법
WO2006105686A1 (en) * 2005-04-06 2006-10-12 Eidgenössische Technische Hochschule Zürich Method of executing an application in a mobile device
EP2009868B1 (en) * 2007-06-29 2016-09-07 Alcatel Lucent Method and system for improving the appearance of a person on the RTP stream coming from a media terminal
CN101510913A (zh) * 2009-03-17 2009-08-19 山东师范大学 基于三维电子罗盘的智能手机增强现实系统及实现方法
US8907941B2 (en) * 2009-06-23 2014-12-09 Disney Enterprises, Inc. System and method for integrating multiple virtual rendering systems to provide an augmented reality
US8442502B2 (en) * 2010-03-02 2013-05-14 Empire Technology Development, Llc Tracking an object in augmented reality
US9361729B2 (en) * 2010-06-17 2016-06-07 Microsoft Technology Licensing, Llc Techniques to present location information for social networks using augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100526567B1 (ko) 2002-11-13 2005-11-03 삼성전자주식회사 네비게이션장치의 표시방법
KR20090003529A (ko) * 2007-06-14 2009-01-12 엘지전자 주식회사 주변 정보 제공 방법 및 시스템
US20090102859A1 (en) 2007-10-18 2009-04-23 Yahoo! Inc. User augmented reality for camera-enabled mobile devices

Also Published As

Publication number Publication date
CN102402778A (zh) 2012-04-04
EP2410493A2 (en) 2012-01-25
KR20120010054A (ko) 2012-02-02
US20120019547A1 (en) 2012-01-26

Similar Documents

Publication Publication Date Title
KR101363559B1 (ko) 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법
US11335088B2 (en) Augmented reality item collections
US20230164102A1 (en) Media item attachment system
US20140079281A1 (en) Augmented reality creation and consumption
KR101545138B1 (ko) 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기
US12080065B2 (en) Augmented reality items based on scan
US11900504B2 (en) Augmented reality experiences for physical products in a messaging system
US20150187139A1 (en) Apparatus and method of providing augmented reality
US20140078174A1 (en) Augmented reality creation and consumption
US11574005B2 (en) Client application content classification and discovery
EP2713272A1 (en) Method, device and system for presenting augmented reality contents
US11694411B2 (en) Passing augmented reality content between devices
US20200074653A1 (en) Active image depth prediction
US20220101355A1 (en) Determining lifetime values of users in a messaging system
EP4127971A1 (en) Speech-based selection of augmented reality content for detected objects
KR20120086064A (ko) 증강 현실 통합정보 제공 장치와 그 방법 및, 이를 포함하는 시스템
US11798550B2 (en) Speech-based selection of augmented reality content
US20230214912A1 (en) Dynamically presenting augmented reality content generators based on domains
CN113987326B (zh) 资源推荐方法、装置、计算机设备及介质
US20170034586A1 (en) System for content matching and triggering for reality-virtuality continuum-based environment and methods thereof
US20220101349A1 (en) Utilizing lifetime values of users to select content for presentation in a messaging system
Iglesias et al. An attitude-based reasoning strategy to enhance interaction with augmented objects
KR20120032773A (ko) 광학문자인식을 이용한 증강 현실 장치 및 그 방법
US11132399B1 (en) Summary generation based on trip

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170727

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 7

J204 Request for invalidation trial [patent]
J301 Trial decision

Free format text: TRIAL NUMBER: 2023100003443; TRIAL DECISION FOR INVALIDATION REQUESTED 20231026

Effective date: 20240514