KR20120010054A - 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법 - Google Patents
부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법 Download PDFInfo
- Publication number
- KR20120010054A KR20120010054A KR1020100071623A KR20100071623A KR20120010054A KR 20120010054 A KR20120010054 A KR 20120010054A KR 1020100071623 A KR1020100071623 A KR 1020100071623A KR 20100071623 A KR20100071623 A KR 20100071623A KR 20120010054 A KR20120010054 A KR 20120010054A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- augmented reality
- reality providing
- image
- providing device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000003190 augmentative effect Effects 0.000 claims abstract description 97
- 238000012545 processing Methods 0.000 claims abstract description 25
- 239000002131 composite material Substances 0.000 claims description 15
- 230000001133 acceleration Effects 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 206010048669 Terminal state Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
사용자가 직관적으로 필요한 정보를 인식할 수 있도록 하는 부가 정보를 이용한 증강 현실 제공 장치 및 방법이 제공된다. 본 발명의 일 양상에 따른 증강 현실 제공 장치는, 객체에 대한 제 1 데이터를 획득하는 제 1 데이터 획득부, 제 1 데이터와 상이한 제 2 데이터를 획득하는 제 2 데이터 획득부, 및 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하고, 제 2 데이터에 기초하여 대표 이미지를 변형하는 이미지 처리부를 포함할 수 있다.
Description
증강 현실(augmented reality, AR)의 구현을 위한 증강 현실 데이터 처리 및 영상 처리 기술과 관련된다.
증강 현실(augmented reality, AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.
증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 정보들을 보강해 제공할 수 있는 특징이 있다.
이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상 현실과 달리 다양한 현실 환경에 응용이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
그런데 가상의 사물 위에 합성되는 정보의 양이 나날이 증가함에 따라 사용자가 합성된 정보를 일일이 살펴보고 자신에게 필요한 정보를 선별해야 하는 불편함이 있다. 즉, 수많은 정보가 단편적으로 제공되기 때문에 증강 현실이 구현되더라도 사용자가 정작 필요로 하는 정보는 직관적으로 제공되지 못하는 문제점이 있다.
사용자가 직관적으로 필요한 정보를 인식할 수 있도록 하는 부가 정보를 이용한 증강 현실 제공 장치 및 방법이 제공된다.
본 발명의 일 양상에 따른 증강 현실 제공 장치는, 객체에 대한 제 1 데이터를 획득하는 제 1 데이터 획득부, 제 1 데이터와 상이한 제 2 데이터를 획득하는 제 2 데이터 획득부, 및 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하고, 제 2 데이터에 기초하여 대표 이미지를 변형하는 이미지 처리부를 포함할 수 있다.
또한, 본 발명의 다른 양상에 따른 증강 현실 제공 장치는, 객체에 대한 제 1 데이터를 획득하는 제 1 데이터 획득부, 제 1 데이터와 상이한 제 2 데이터를 획득하는 제 2 데이터 획득부, 및 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하고, 제 2 데이터와 관련된 이미지로 정의되는 부가 이미지를 생성하며, 대표 이미지에 부가 이미지를 합성하여 복합 이미지를 생성하는 이미지 처리부를 포함할 수 있다.
또한, 본 발명의 일 양상에 따른 증강 현실 제공 방법은, 객체에 대한 제 1 데이터를 획득하는 단계, 제 1 데이터와 상이한 제 2 데이터를 획득하는 단계, 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하는 단계, 및 제 2 데이터에 기초하여 대표 이미지를 변형하는 단계를 포함할 수 있다.
또한, 본 발명의 다른 양상에 따른 증강 현실 제공 방법은, 객체에 대한 제 1 데이터를 획득하는 단계, 제 1 데이터와 상이한 제 2 데이터를 획득하는 단계, 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하는 단계, 제 2 데이터와 관련된 이미지로 정의되는 부가 이미지를 생성하는 단계, 및 대표 이미지와 부가 이미지를 합성하여 복합 이미지를 생성하는 단계를 포함할 수 있다.
개시된 내용에 따르면, 어떤 객체와 관련된 증강 현실 이미지를 표시함에 있어서 증강 현실 데이터와 상이한 다른 외부 또는 내부 데이터를 이용하여 대표 이미지를 변형해서 표시하거나 부가 아이콘을 추가해서 표시하기 때문에 사용자는 원하는 정보를 보다 신속하고 직관적으로 얻을 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 도시하고,
도 2는 본 발명의 일 실시예에 따른 이미지 처리부를 도시하고,
도 3은 본 발명의 다른 실시예에 따른 이미지 처리부를 도시하고,
도 4는 본 발명의 일 실시예에 따른 제 1 데이터를 도시하고,
도 5는 본 발명의 일 실시예에 따른 제 2 데이터를 도시하고,
도 6은 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 도시하고,
도 7은 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 도시하고,
도 8a는 본 발명의 일 실시예에 따른 변형된 대표 이미지를 도시하고,
도 8b는 본 발명의 일 실시예에 따른 합성 이미지를 도시한다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리부를 도시하고,
도 3은 본 발명의 다른 실시예에 따른 이미지 처리부를 도시하고,
도 4는 본 발명의 일 실시예에 따른 제 1 데이터를 도시하고,
도 5는 본 발명의 일 실시예에 따른 제 2 데이터를 도시하고,
도 6은 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 도시하고,
도 7은 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 도시하고,
도 8a는 본 발명의 일 실시예에 따른 변형된 대표 이미지를 도시하고,
도 8b는 본 발명의 일 실시예에 따른 합성 이미지를 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 도시한다.
도 1을 참조하면, 본 실시예에 따른 증강 현실 제공 장치(100)는 제 1 데이터 획득부(101), 제 2 데이터 획득부(102), 이미지 처리부(103), 및 이미지 표시부(104)를 포함한다.
제 1 데이터 획득부(101)는 객체에 대한 제 1 데이터를 획득한다.
객체(object)란 관심 대상이 되는 임의의 사물이 될 수 있다. 객체에 대한 제 1 데이터란 객체와 관련된 다양한 증강 현실 정보(augment reality information, AR정보)가 될 수 있다. 제 1 데이터는 별도의 서버(미도시)에 데이터베이스화되어 저장되어 있다가 본 실시예에 따른 증강 현실 제공 장치(100)의 요청에 따라 제공될 수 있다. 예를 들어, 증강 현실 제공 장치(100)가 스마트 폰(smart phone)에 적용되는 경우, 사용자가 임의의 지역을 스마트 폰에 구비된 카메라를 통해 촬영하면, 제 1 데이터 획득부(101)는 촬영된 부분에, 또는 촬영된 방향에 존재하는 커피숍들의 상호, 주소, 연락처, 주요 메뉴, 개점시간/폐점시간, 및 로고 등을 서버로부터 수신하는 것이 가능하다.
제 2 데이터 획득부(102)는 제 1 데이터와 상이한 제 2 데이터를 획득한다.
본 실시예에 따라, 제 2 데이터는 제 1 데이터와 상이한 모든 데이터가 될 수 있다. 제 1 데이터가 증강 현실 데이터 제공 서버에 데이터베이스화되어 있는 증강 현실 정보라면, 제 2 데이터는 그 서버로부터 수신되는 정보를 제외한 나머지 모든 정보가 될 수 있다.
예를 들어, 증강 현실 제공 장치(100)가 스마트 폰에 적용되는 경우, 제 2 데이터는 스마트 폰의 주변으로부터 제공되는 외부 데이터와 스마트 폰에 미리 저장되어 있는 내부 데이터가 될 수 있다. 외부 데이터는 각종 센서 모듈 또는 네트워크 모듈의 입출력 데이터가 될 수 있고, 내부 데이터는 업데이트가 가능한 사용자 프로파일 또는 장치 프로파일이 될 수 있다. 예컨대, 외부 데이터는 증강 현실 제공 장치(100)에 구비된 카메라, GPS 센서, 마이크로폰, 지자기 센서, 각속도 센서, 또는 가속도 센서의 센서 데이터 또는 증강 현실 제공 장치(100)에 구비된 네트워크 모듈의 네트워크 데이터가 될 수 있다. 또한, 내부 데이터는 사용자의 식별 정보, 선호도 정보 등을 나타내는 사용자의 프로파일 또는 증강 현실 제공 장치(100) 또는 이 증강 현실 제공 장치(100)가 적용된 단말의 상태 정보를 나타내는 장치 프로파일이 될 수 있다.
이미지 처리부(103)는 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성한다. 예컨대, 제 1 데이터가 특정한 커피숍의 상호, 주소, 연락처, 로고 등을 포함하고 있는 경우, 이미지 처리부(103)는 수신된 로고를 대표 이미지로 추출하는 것이 가능하다. 또한, 선택적으로, 이미지 처리부(103)는 제 1 데이터에 포함된 상호를 이용하여 관련 이미지를 웹(web)에서 검색해오거나 기 저장된 관련 이미지를 선택함으로써 대표 이미지를 생성하는 것도 가능하다.
또한, 이미지 처리부(103)는 제 2 데이터에 기초하여 대표 이미지를 변형하거나, 대표 이미지에 특정한 아이콘을 부가한다. 제 2 데이터를 어떻게 이용함으로써 대표 이미지를 변형하고 특정한 아이콘을 부가하는지는 본 발명의 사용목적에 따라 다양한 응용이 가능하다. 예를 들어, 이미지 처리부(103)는 제 1 데이터와 제 2 데이터를 비교 및 분석하고 그 비교/분석 결과에 따라 대표 이미지를 변형하거나 특정한 아이콘을 부가할 수 있다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 이미지를 도시한다. 일 예로써, 도 8a를 참조하면, 이미지 처리부(103)는 제 2 데이터를 이용해서 대표 이미지(801)의 모양, 크기, 색상, 및 명암을 변형하는 것이 가능하다. 다른 예로써, 도 8b를 참조하면, 이미지 처리부(103)는 제 2 데이터를 이용하여 부가 이미지(810, 820, 830)를 생성하고 생성된 부가 이미지(810, 820, 830)를 대표 이미지(801) 주변에 추가하는 것이 가능하다.
다시 도 1에서, 이미지 표시부(104)는 도 8a와 같은 변형된 대표 이미지 또는 도 8b와 같은 합성 이미지를 표시한다. 예를 들어, 이미지 표시부(104)는 디스플레이 패널 또는 터치 디스플레이 패널 등이 될 수 있다.
이와 같이, 개시된 증강 현실 제공 장치(100)는 어떤 객체와 관련된 증강 현실 이미지를 표시함에 있어서 증강 현실 데이터와 상이한 다른 외부 또는 내부 데이터를 이용하여 대표 이미지를 변형해서 표시하거나 부가 아이콘을 추가해서 표시하기 때문에 사용자는 원하는 정보를 보다 신속하고 직관적으로 얻을 수 있게 된다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리부를 도시한다. 이것은 도 1의 이미지 처리부(103)의 일 예가 될 수 있다.
도 2를 참조하면, 이미지 처리부(200)는 대표 이미지 생성부(201) 및 이미지 변형부(202)를 포함한다.
대표 이미지 생성부(201)는 제 1 데이터에 기초하여 객체에 관한 대표 이미지를 생성한다. 예컨대, 대표 이미지 생성부(201)는 제 1 데이터에 포함된 객체에 관한 특정 이미지를 대표 이미지로 추출하는 것이 가능하다. 다른 예로써, 대표 이미지 생성부(201)는 제 1 데이터에 포함된 특정한 데이터를 검색어로 활용하여 웹 상에서 관련 이미지를 검색해오거나 기 저장된 이미지 데이터 중 어느 하나를 추출하는 것도 가능하다. 제 1 데이터가 커피숍에 관한 상호, 주소, 연락처, 주요 메뉴, 개점시간/폐점시간, 및 로고를 포함하는 경우, 대표 이미지 생성부(201)는 로고를 대표 이미지로 추출할 수 있다.
이미지 변형부(202)는 제 2 데이터에 기초하여 생성된 대표 이미지의 모양, 크기, 색상, 명암 등을 변형한다. 예를 들어, 제 1 데이터가 특정 커피숍에 관한 것이고 제 2 데이터로써 GPS 정보가 획득되어 그 커피숍에 사용자가 점점 다가가고 있는 경우, 이미지 변형부(202)는 그 커피숍의 로고의 크기를 사용자와의 거리에 비례해서 증가시키는 것이 가능하다. 다른 예로, 여러 개의 커피숍에 관한 정보가 제 1 데이터로써 획득되고, 제 2 데이터로써 장치 프로파일, 예컨대, 배터리 잔량이 획득되는 상태에서, 그 배터리 잔량이 특정 임계값 이하로 떨어지는 경우, 이미지 변형부(202)는 제 1 데이터와 제 2 데이터를 비교하여 충전이 가능한 커피숍의 정보를 추출 및 분석하고, 추출 및 분석된 충전이 가능한 커피숍에 대응되는 커피숍 로고의 모양을 충전기 모양으로 변경하거나 도 8a와 같이 로고의 테두리를 두껍게 변경하는 것이 가능하다.
도 3은 본 발명의 다른 실시예에 따른 이미지 처리부를 도시한다. 이것은 도 1의 이미지 처리부(103)의 일 예가 될 수 있다.
도 3을 참조하면, 이미지 처리부(300)는 대표 이미지 생성부(301), 부가 이미지 생성부(302) 및 복합 이미지 생성부(303)를 포함한다.
대표 이미지 생성부(301)는 제 1 데이터에 기초하여 객체에 관한 대표 이미지를 생성한다. 예컨대, 대표 이미지 생성부(301)는 제 1 데이터에 포함된 객체에 관한 특정 이미지를 대표 이미지로 추출하는 것이 가능하다. 다른 예로써, 대표 이미지 생성부(301)는 제 1 데이터에 포함된 특정한 데이터를 검색어로 활용하여 웹 상에서 관련 이미지를 검색해오거나 기 저장된 이미지 데이터 중 어느 하나를 추출하는 것도 가능하다. 제 1 데이터가 커피숍에 관한 상호, 주소, 연락처, 주요 메뉴, 개점시간/폐점시간, 및 로고를 포함하는 경우, 대표 이미지 생성부(301)는 로고를 대표 이미지로 추출할 수 있다.
부가 이미지 생성부(302)는 제 2 데이터와 관련된 이미지인 부가 이미지를 생성한다. 도 8b를 참조하면, 부가 이미지는 제 2 데이터에 기초하여 생성된 각종 아이콘(810, 820, 830)이 될 수 있다. 예를 들어, 카메라로 특정한 카드를 촬영한 경우, 부가 이미지는 그 카드 이미지(810)가 될 수 있다. 다른 예로, 네트워크 모듈인 와이파이(Wi-Fi)가 온(ON) 상태인 경우, 부가 이미지는 와이파이 아이콘(820)이 될 수 있다. 또 다른 예로, 배터리 잔량이 임계값 이하인 경우, 부가 이미지는 충전 아이콘(830)이 될 수 있다. 이러한 부가 이미지들은, 부가 이미지 생성부(302)가 제 2 데이터를 분석해서 기 저장되어 있는 아이콘 이미지를 추출하거나 네트워크를 통해 웹 상에서 검색해 오는 것이 가능하다.
복합 이미지 생성부(303)는 대표 이미지 생성부(301)에 의해 얻어진 대표 이미지와 부가 이미지 생성부(302)에 의해 얻어진 부가 이미지를 합성한다. 예컨대, 복합 이미지 생성부(303)는, 도 8b와 같이, 대표 이미지 위에 또는 주변에 부가 이미지의 크기를 축소해서 합성하는 것이 가능하다.
도 4는 본 발명의 일 실시예에 따른 제 1 데이터를 도시한다.
도 1 및 도 4를 참조하면, 제 1 데이터는 사용자의 관심 대상인 커피숍에 관한 각종 증강 현실 정보가 될 수 있다. 예를 들어, 본 실시예에 따른 증강 현실 장치(100)가 적용된 스마트 폰을 사용하여 어떤 사용자가 임의의 지점을 촬영했다고 가정하자.
이러한 경우, 제 1 데이터 획득부(101)는 촬영 지점에 대응되는 커피숍들에 대한 상호, 주소, 연락처, 개점시간, 폐점시간, 주요메뉴, 로고 등을 제 1 데이터로써 획득한다. 그러나 이것은 설명의 편의를 위한 일 예에 불과한 것으로, 그 밖에도 구비된 무선 통신 망의 종류, 휴대 기기의 충전 가능 여부 등도 제 1 데이터가 될 수 있다. 이미지 처리부(103)는 제 1 데이터를 이용하여 커피숍들의 로고를 대표 이미지로 추출하고 이를 이미지 표시부(104)에 표시한다. 그리고 표시된 커피숍들의 로고는 제 2 데이터에 기초하여 변형되어 표시되거나 부가 아이콘이 추가되어 표시될 수 있다.
도 5는 본 발명의 일 실시예에 따른 제 2 데이터를 도시한다.
도 1, 도 4 및 도 5를 참조하면, 제 2 데이터는 외부 데이터와 내부 데이터를 포함한다. 그리고 외부 데이터는 센서 데이터와 네트워크 데이터를 포함하고, 내부 데이터는 사용자 프로파일과 장치 프로파일을 포함한다. 예를 들어, 증강 현실 제공 장치(100)가 스마트 폰에 적용되는 경우, 센서 데이터는 스마트 폰의 카메라, GPS 센서, 마이크로폰, 지자기 센서, 각속도 센서, 또는 가속도 센서의 센서 데이터가 될 수 있고, 네트워크 데이터는 주변 환경이 다수의 사용자를 위해 뿌려주는 opt-in broadcast 정보 또는 웹 검색이나 트위터와 같은 SNS 정보가 될 수 있다. 그리고 사용자 프로파일은 사용자의 식별자, 명함 정보, 이메일 주소, 스케줄, 선호도 등을 포함하고 장치 프로파일은 사용하는 통신망, 배터리 잔량, 현재 시간, 장치 버전 등과 같은 단말기 상태를 포함할 수 있다.
도 4와 같이, 커피숍 A, B, C의 로고가 대표 이미지로 추출되어 표시부(104)에 표시되어 있다고 가정한다.
일 예로써, 이미지 처리부(103)는, 제 2 데이터로써 GPS 정보가 사용되는 경우, 사용자가 커피숍 A에 가까이 다가갈수록 커피숍 A의 로고의 크기를 증가시키거나 거리 표시 아이콘을 로고의 상단에 표시하는 것이 가능하다.
다른 예로써, 이미지 처리부(103)는, 제 2 데이터로써 와이파이 모듈의 온/오프 정보가 사용되는 경우, 제 2 데이터와 제 1 데이터(예컨대, 무선 통신 망의 종류)를 비교하여 와이파이 통신이 가능한 커피숍이 커피숍 B임을 도출하고, 와이파이 통신이 가능한 커피숍 B의 로고의 테두리를 선명하게 변경하거나 커피숍 B의 로고 상단에 와이파이 아이콘을 표시하는 것이 가능하다.
또 다른 예로써, 이미지 처리부(103)는, 제 2 데이터로써 사용자 프로파일에 저장된 선호하는 커피 정보가 사용되는 경우, 제 2 데이터와 제 1 데이터(예컨대, 주요 메뉴 또는 대표 메뉴)를 비교하여 사용자가 선호하는 커피를 커피숍 C가 제공함을 분석하고 분석된 커피숍 C의 로고의 색상을 변경하거나 커피잔 아이콘을 커피숍 C의 로고의 주변에 표시하는 것이 가능하다. 이때, 다른 사용자의 평가가 제 1 데이터에 포함될 수도 있는데, 제 2 데이터인 사용자 프로파일과 제 1 데이터인 다른 사용자의 평가를 비교/분석해서 커피숍 C를 도출할 수도 있음은 물론이다.
또 다른 예로써, 이미지 처리부(103)는, 제 2 데이터로써 장치 프로파일에 저장된 배터리 잔량 정보가 사용되는 경우, 배터리 잔량이 정해진 임계값 이하로 떨어지면 제 1 데이터로 제공받은 "각 커피숍들의 휴대 단말 충전기 제공 여부"에 따라 충전 가능한 커피숍 A를 추출하고 그에 대한 로고를 충전기 모양으로 변경하거나 충전기 아이콘을 커피숍 A의 로고의 주변에 표시하는 것이 가능하다.
그러나 위와 같은 예는 설명의 편의를 위해 예시한 것에 불과한 것으로 그 밖에도 다양한 방법을 통해 제 2 데이터를 이용해서 제 1 데이터의 내용을 사용자가 알아보기 쉽게 표시할 수 있음은 당업자에게 자명하다.
도 6은 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 도시한다. 이것은 도 1에 따른 증강 현실 제공 장치에 의해 수행되는 것이 가능하다. 도 1 및 도 6을 참조하여 본 실시예에 따른 증강 현실 제공 방법을 설명하면 다음과 같다.
먼저 제 1 데이터가 획득된다(601). 예컨대, 제 1 데이터 획득부(101)가 객체에 대한 증강 현실 정보를 외부의 서버로부터 수신하는 것이 가능하다.
그리고 제 1 데이터와 상이한 제 2 데이터가 획득된다(602). 예컨대, 제 2 데이터 획득부(102)가 카메라의 영상 정보, 마이크로폰의 음성 정보, GPS 센서, 지자기 센서, 각속도 센서, 가속도 센서 등의 센서 정보, 네크워크 모듈의 전송 데이터 등과 같은 외부 데이터 또는 사용자 프로파일 및 장치 프로파일과 같은 내부 데이터를 획득하는 것이 가능하다.
그리고 제 1 데이터와 관련된 대표 이미지가 생성된다(603). 예컨대, 이미지 처리부(103)가 제 1 데이터에서 로고 이미지를 대표 이미지로 추출하는 것이 가능하다. 또한, 선택적으로, 이미지 처리부(103)가 제 1 데이터에 기초하여 소정의 이미지를 웹 상에서 또는 기 저장된 이미지 데이터에서 검색하여 가져오거나 새로운 이미지를 생성하는 것도 가능하다.
그리고 제 2 데이터에 기초하여 대표 이미지가 변형된다(604). 예컨대, 이미지 처리부(103)가 제 1 데이터와 제 2 데이터를 비교 및 분석해서 대표 이미지의 모양, 크기, 색상, 명암 등을 적절하게 변경하는 것이 가능하다.
그리고 변형된 대표 이미지가 표시된다(605). 예컨대, 이미지 표시부(104)에 변형된 대표 이미지가 표시됨으로써 증강 현실 구현에 있어서 사용자가 원하는 정보를 직관적으로 표시하는 것이 가능하다.
도 7은 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 도시한다. 이것은 도 1에 따른 증강 현실 제공 장치에 의해 수행되는 것이 가능하다. 도 1 및 도 7을 참조하여 본 실시예에 따른 증강 현실 제공 방법을 설명하면 다음과 같다.
먼저 제 1 데이터가 획득된다(701). 예컨대, 제 1 데이터 획득부(101)가 객체에 대한 증강 현실 정보를 외부의 서버로부터 수신하는 것이 가능하다.
그리고 제 1 데이터와 상이한 제 2 데이터가 획득된다(702). 예컨대, 제 2 데이터 획득부(102)가 카메라의 영상 정보, 마이크로폰의 음성 정보, GPS 센서, 지자기 센서, 각속도 센서, 가속도 센서 등의 센서 정보, 네크워크 모듈의 전송 데이터 등과 같은 외부 데이터 또는 사용자 프로파일 및 장치 프로파일과 같은 내부 데이터를 획득하는 것이 가능하다.
그리고 제 1 데이터와 관련된 대표 이미지가 생성된다(703). 예컨대, 이미지 처리부(103)가 제 1 데이터에서 로고 이미지를 대표 이미지로 추출하는 것이 가능하다. 또한, 선택적으로, 이미지 처리부(103)가 제 1 데이터에 기초하여 소정의 이미지를 웹 상에서 또는 기 저장된 이미지 데이터에서 검색하여 가져오거나 새로운 이미지를 생성하는 것도 가능하다.
그리고 제 2 데이터와 관련된 부가 이미지가 생성된다(704). 예컨대, 이미지 처리부(103)가 제 1 데이터와 제 2 데이터를 비교 및 분석한 후, 부가 이미지로써 도 8b와 같은 아이콘 이미지(810, 820, 830)를 생성하는 것이 가능하다. 아이콘 이미지(810, 820, 830)는 미리 저장되어 있는 소정의 이미지를 사용하거나 제 2 데이터를 검색어로 활용하여 웹 상에서 가져올 수도 있다.
그리고 대표 이미지와 부가 이미지에 기초한 합성 이미지가 생성된다(705). 예컨대, 이미지 처리부(103)가 부가 이미지의 크기를 대표 이미지 보다 작게 축소한 후, 대표 이미지 위에 또는 대표 이미지 주변에 부가 이미지를 추가하는 것이 가능하다.
그리고 합성 이미지가 표시된다(706). 예컨대, 이미지 표시부(104)에 합성 이미지가 표시됨으로써 증강 현실 구현에 있어서 사용자가 원하는 정보를 직관적으로 표시하는 것이 가능하다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.
Claims (36)
- 객체에 대한 제 1 데이터를 획득하는 제 1 데이터 획득부;
상기 제 1 데이터와 상이한 제 2 데이터를 획득하는 제 2 데이터 획득부; 및
상기 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하고, 상기 제 2 데이터에 기초하여 상기 대표 이미지를 변형하는 이미지 처리부; 를 포함하는 증강 현실 제공 장치.
- 제 1 항에 있어서, 상기 이미지 처리부는
상기 제 1 데이터와 상기 제 2 데이터를 비교함으로써 상기 제 2 데이터와 연관된 제 1 데이터를 분석한 후, 그 분석 결과를 토대로 상기 대표 이미지를 변형하는 증강 현실 제공 장치.
- 제 1 항에 있어서, 상기 제 2 데이터는
상기 증강 현실 제공 장치의 외부 또는 주변으로부터 제공되는 외부 데이터 및 상기 증강 현실 제공 장치의 내부에 저장되어 있는 내부 데이터 중 적어도 하나를 포함하는 증강 현실 제공 장치.
- 제 3 항에 있어서, 상기 외부 데이터는
상기 증강 현실 제공 장치에 구비된 카메라, GPS 센서, 마이크로폰, 지자기 센서, 각속도 센서, 또는 가속도 센서의 센서 데이터를 포함하는 증강 현실 제공 장치.
- 제 3 항에 있어서, 상기 외부 데이터는
상기 증강 현실 제공 장치에 구비된 네트워크 모듈의 네트워크 데이터를 포함하는 증강 현실 제공 장치.
- 제 3 항에 있어서, 상기 내부 데이터는
사용자의 프로파일 정보를 포함하는 증강 현실 제공 장치.
- 제 3 항에 있어서, 상기 내부 데이터는
상기 증강 현실 제공 장치의 상태 정보를 포함하는 증강 현실 제공 장치.
- 제 1 항에 있어서,
상기 변형된 대표 이미지를 표시하는 이미지 표시부; 를 더 포함하는 증강 현실 제공 장치.
- 제 1 항에 있어서, 상기 이미지 처리부는
상기 대표 이미지의 모양, 크기, 색상, 및 명암 중 적어도 어느 하나를 변형하는 증강 현실 제공 장치.
- 객체에 대한 제 1 데이터를 획득하는 제 1 데이터 획득부;
상기 제 1 데이터와 상이한 제 2 데이터를 획득하는 제 2 데이터 획득부; 및
상기 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하고, 상기 제 2 데이터와 관련된 이미지로 정의되는 부가 이미지를 생성하며, 상기 대표 이미지에 상기 부가 이미지를 합성하여 복합 이미지를 생성하는 이미지 처리부; 를 포함하는 증강 현실 제공 장치.
- 제 10 항에 있어서, 상기 이미지 처리부는
상기 제 1 데이터와 상기 제 2 데이터를 비교함으로써 상기 제 2 데이터와 연관된 제 1 데이터를 분석한 후, 그 분석 결과를 토대로 상기 부가 이미지를 생성하는 증강 현실 제공 장치.
- 제 10 항에 있어서, 상기 제 2 데이터는
상기 증강 현실 제공 장치의 외부 또는 주변으로부터 제공되는 외부 데이터 및 상기 증강 현실 제공 장치의 내부에 저장되어 있는 내부 데이터 중 적어도 하나를 포함하는 증강 현실 제공 장치.
- 제 12 항에 있어서, 상기 외부 데이터는
상기 증강 현실 제공 장치에 구비된 카메라, GPS 센서, 마이크로폰, 지자기 센서, 각속도 센서, 또는 가속도 센서의 센서 데이터를 포함하는 증강 현실 제공 장치.
- 제 12 항에 있어서, 상기 외부 데이터는
상기 증강 현실 제공 장치에 구비된 네트워크 모듈의 네트워크 데이터를 포함하는 증강 현실 제공 장치.
- 제 12 항에 있어서, 상기 내부 데이터는
사용자의 프로파일 정보를 포함하는 증강 현실 제공 장치.
- 제 12 항에 있어서, 상기 내부 데이터는
상기 증강 현실 제공 장치의 상태 정보를 포함하는 증강 현실 제공 장치.
- 제 10 항에 있어서,
상기 복합 이미지를 표시하는 이미지 표시부; 를 더 포함하는 증강 현실 제공 장치.
- 제 10 항에 있어서, 상기 이미지 처리부는
상기 대표 이미지 위에 또는 상기 대표 이미지 주변에 상기 부가 이미지의 크기를 축소해서 합성하는 증강 현실 제공 장치.
- 증강 현실 제공 장치의 증강 현실 제공 방법에 있어서,
객체에 대한 제 1 데이터를 획득하는 단계;
상기 제 1 데이터와 상이한 제 2 데이터를 획득하는 단계;
상기 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하는 단계; 및
상기 제 2 데이터에 기초하여 상기 대표 이미지를 변형하는 단계; 를 포함하는 증강 현실 제공 방법.
- 제 19 항에 있어서, 상기 제 2 데이터는
상기 증강 현실 제공 장치의 외부 또는 주변으로부터 제공되는 외부 데이터 및 상기 증강 현실 제공 장치의 내부에 저장되어 있는 내부 데이터 중 적어도 하나를 포함하는 증강 현실 제공 방법.
- 제 20 항에 있어서, 상기 외부 데이터는
상기 증강 현실 제공 장치에 구비된 카메라, GPS 센서, 마이크로폰, 지자기 센서, 각속도 센서, 또는 가속도 센서의 센서 데이터를 포함하는 증강 현실 제공 방법.
- 제 20 항에 있어서, 상기 외부 데이터는
상기 증강 현실 제공 장치에 구비된 네트워크 모듈의 네트워크 데이터를 포함하는 증강 현실 제공 방법.
- 제 20 항에 있어서, 상기 내부 데이터는
사용자의 프로파일 정보를 포함하는 증강 현실 제공 방법.
- 제 20 항에 있어서, 상기 내부 데이터는
상기 증강 현실 제공 장치의 상태 정보를 포함하는 증강 현실 제공 방법.
- 제 19 항에 있어서,
상기 변형된 대표 이미지를 표시하는 단계; 를 더 포함하는 증강 현실 제공 방법.
- 제 19 항에 있어서, 상기 대표 이미지를 변형하는 단계는
상기 대표 이미지의 모양, 크기, 색상, 및 명암 중 적어도 어느 하나를 변형하는 과정을 포함하는 증강 현실 제공 방법.
- 제 19 항에 있어서, 상기 대표 이미지를 변형하는 단계는
상기 제 1 데이터와 상기 제 2 데이터를 비교함으로써 상기 제 2 데이터와 연관된 제 1 데이터를 분석한 후, 그 분석 결과를 토대로 상기 대표 이미지를 생성하는 과정을 포함하는 증강 현실 제공 방법.
- 증강 현실 제공 장치의 증강 현실 제공 방법에 있어서,
객체에 대한 제 1 데이터를 획득하는 단계;
상기 제 1 데이터와 상이한 제 2 데이터를 획득하는 단계;
상기 제 1 데이터와 관련된 이미지로 정의되는 대표 이미지를 생성하는 단계;
상기 제 2 데이터와 관련된 이미지로 정의되는 부가 이미지를 생성하는 단계; 및
상기 대표 이미지와 상기 부가 이미지를 합성하여 복합 이미지를 생성하는 단계; 를 포함하는 증강 현실 제공 방법.
- 제 28 항에 있어서, 상기 제 2 데이터는
상기 증강 현실 제공 장치의 외부 또는 주변으로부터 제공되는 외부 데이터 및 상기 증강 현실 제공 장치의 내부에 저장되어 있는 내부 데이터 중 적어도 하나를 포함하는 증강 현실 제공 방법.
- 제 29 항에 있어서, 상기 외부 데이터는
상기 증강 현실 제공 장치에 구비된 카메라, GPS 센서, 마이크로폰, 지자기 센서, 각속도 센서, 또는 가속도 센서의 센서 데이터를 포함하는 증강 현실 제공 방법.
- 제 29 항에 있어서, 상기 외부 데이터는
상기 증강 현실 제공 장치에 구비된 네트워크 모듈의 네트워크 데이터를 포함하는 증강 현실 제공 방법.
- 제 29 항에 있어서, 상기 내부 데이터는
사용자의 프로파일 정보를 포함하는 증강 현실 제공 방법.
- 제 29 항에 있어서, 상기 내부 데이터는
상기 증강 현실 제공 장치의 상태 정보를 포함하는 증강 현실 제공 방법.
- 제 28 항에 있어서,
상기 복합 이미지를 표시하는 단계; 를 더 포함하는 증강 현실 제공 방법.
- 제 28 항에 있어서, 상기 복합 이미지를 생성하는 단계는
상기 대표 이미지 위에 또는 상기 대표 이미지 주변에 상기 부가 이미지의 크기를 축소해서 합성하는 과정을 포함하는 증강 현실 제공 방법.
- 제 28 항에 있어서, 상기 부가 이미지를 생성하는 단계는
상기 제 1 데이터와 상기 제 2 데이터를 비교함으로써 상기 제 2 데이터와 연관된 제 1 데이터를 분석한 후, 그 분석 결과를 토대로 상기 부가 이미지를 생성하는 과정을 포함하는 증강 현실 제공 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100071623A KR101363559B1 (ko) | 2010-07-23 | 2010-07-23 | 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법 |
| US13/110,673 US20120019547A1 (en) | 2010-07-23 | 2011-05-18 | Apparatus and method for providing augmented reality using additional data |
| EP11171637A EP2410493A2 (en) | 2010-07-23 | 2011-06-28 | Apparatus and method for providing augmented reality using additional data |
| CN2011101965840A CN102402778A (zh) | 2010-07-23 | 2011-07-13 | 通过使用附加数据来提供增强现实的设备和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100071623A KR101363559B1 (ko) | 2010-07-23 | 2010-07-23 | 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120010054A true KR20120010054A (ko) | 2012-02-02 |
| KR101363559B1 KR101363559B1 (ko) | 2014-02-17 |
Family
ID=44582134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100071623A KR101363559B1 (ko) | 2010-07-23 | 2010-07-23 | 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20120019547A1 (ko) |
| EP (1) | EP2410493A2 (ko) |
| KR (1) | KR101363559B1 (ko) |
| CN (1) | CN102402778A (ko) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10176635B2 (en) * | 2012-06-28 | 2019-01-08 | Microsoft Technology Licensing, Llc | Saving augmented realities |
| CN104541300B (zh) * | 2012-09-28 | 2019-01-22 | 英特尔公司 | 增强现实信息的确定 |
| JP6092761B2 (ja) * | 2013-12-06 | 2017-03-08 | 株式会社Ｎｔｔドコモ | 買い物支援装置及び買い物支援方法 |
| US10192359B2 (en) * | 2014-01-31 | 2019-01-29 | Empire Technology Development, Llc | Subject selected augmented reality skin |
| US9953462B2 (en) | 2014-01-31 | 2018-04-24 | Empire Technology Development Llc | Augmented reality skin manager |
| EP3100256A4 (en) | 2014-01-31 | 2017-06-28 | Empire Technology Development LLC | Augmented reality skin evaluation |
| WO2015116186A1 (en) | 2014-01-31 | 2015-08-06 | Empire Technology Development, Llc | Evaluation of augmented reality skins |
| DE102014009699B4 (de) * | 2014-06-26 | 2022-05-19 | Audi Ag | Verfahren zum Betreiben einer Anzeigeeinrichtung und System mit einer Anzeigeeinrichtung |
| CN106878423A (zh) * | 2017-02-21 | 2017-06-20 | 苏州亮磊知识产权运营有限公司 | 一种基于监控摄像头的商店营业信息提供方法及其装置 |
| JP6409107B1 (ja) | 2017-09-06 | 2018-10-17 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN112291434B (zh) * | 2020-10-23 | 2021-07-30 | 北京蓦然认知科技有限公司 | 一种基于ar的智能通话方法、装置 |
| US11561611B2 (en) * | 2020-10-29 | 2023-01-24 | Micron Technology, Inc. | Displaying augmented reality responsive to an input |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE50003531D1 (de) * | 1999-03-02 | 2003-10-09 | Siemens Ag | System und verfahren zur situationsgerechten unterstützung der interaktion mit hilfe von augmented-reality-technologien |
| KR20020025301A (ko) * | 2000-09-28 | 2002-04-04 | 오길록 | 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법 |
| KR100526567B1 (ko) | 2002-11-13 | 2005-11-03 | 삼성전자주식회사 | 네비게이션장치의 표시방법 |
| CN101189049B (zh) * | 2005-04-06 | 2012-02-29 | 苏黎士高等院校非金属材料联盟 | 在移动设备中执行应用程序的方法 |
| KR20090003529A (ko) * | 2007-06-14 | 2009-01-12 | 엘지전자 주식회사 | 주변 정보 제공 방법 및 시스템 |
| EP2009868B1 (en) * | 2007-06-29 | 2016-09-07 | Alcatel Lucent | Method and system for improving the appearance of a person on the RTP stream coming from a media terminal |
| US8180396B2 (en) | 2007-10-18 | 2012-05-15 | Yahoo! Inc. | User augmented reality for camera-enabled mobile devices |
| CN101510913A (zh) * | 2009-03-17 | 2009-08-19 | 山东师范大学 | 基于三维电子罗盘的智能手机增强现实系统及实现方法 |
| US8907941B2 (en) * | 2009-06-23 | 2014-12-09 | Disney Enterprises, Inc. | System and method for integrating multiple virtual rendering systems to provide an augmented reality |
| US8442502B2 (en) * | 2010-03-02 | 2013-05-14 | Empire Technology Development, Llc | Tracking an object in augmented reality |
| US9361729B2 (en) * | 2010-06-17 | 2016-06-07 | Microsoft Technology Licensing, Llc | Techniques to present location information for social networks using augmented reality |
-
2010
- 2010-07-23 KR KR1020100071623A patent/KR101363559B1/ko active IP Right Review Request
-
2011
- 2011-05-18 US US13/110,673 patent/US20120019547A1/en not_active Abandoned
- 2011-06-28 EP EP11171637A patent/EP2410493A2/en not_active Withdrawn
- 2011-07-13 CN CN2011101965840A patent/CN102402778A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| KR101363559B1 (ko) | 2014-02-17 |
| CN102402778A (zh) | 2012-04-04 |
| US20120019547A1 (en) | 2012-01-26 |
| EP2410493A2 (en) | 2012-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101363559B1 (ko) | 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법 | |
| US11335088B2 (en) | Augmented reality item collections | |
| US11432049B2 (en) | Subtitle splitter | |
| US20140079281A1 (en) | Augmented reality creation and consumption | |
| CN112684894A (zh) | 增强现实场景的交互方法、装置、电子设备及存储介质 | |
| KR101545138B1 (ko) | 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기 | |
| US20140078174A1 (en) | Augmented reality creation and consumption | |
| US20150187139A1 (en) | Apparatus and method of providing augmented reality | |
| US11900504B2 (en) | Augmented reality experiences for physical products in a messaging system | |
| EP2713272A1 (en) | Method, device and system for presenting augmented reality contents | |
| US20200074653A1 (en) | Active image depth prediction | |
| US11574005B2 (en) | Client application content classification and discovery | |
| US11694411B2 (en) | Passing augmented reality content between devices | |
| US20230091214A1 (en) | Augmented reality items based on scan | |
| US20230215118A1 (en) | Api to provide product cards generated by augmented reality content generators | |
| US20230214913A1 (en) | Product cards provided by augmented reality content generators | |
| US20230214912A1 (en) | Dynamically presenting augmented reality content generators based on domains | |
| US20220101355A1 (en) | Determining lifetime values of users in a messaging system | |
| US20170034586A1 (en) | System for content matching and triggering for reality-virtuality continuum-based environment and methods thereof | |
| CN112766406A (zh) | 物品图像的处理方法、装置、计算机设备及存储介质 | |
| CN113987326B (zh) | 资源推荐方法、装置、计算机设备及介质 | |
| Iglesias et al. | An attitude-based reasoning strategy to enhance interaction with augmented objects | |
| US20220101349A1 (en) | Utilizing lifetime values of users to select content for presentation in a messaging system | |
| CN112035692B (zh) | 图片信息搜索方法和装置、计算机系统和可读存储介质 | |
| CN114268801A (zh) | 媒体信息处理方法、媒体信息呈现方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170727 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20200203 Year of fee payment: 7 |
|
| J204 | Request for invalidation trial [patent] | ||
| J301 | Trial decision |
Free format text: TRIAL NUMBER: 2023100003443; TRIAL DECISION FOR INVALIDATION REQUESTED 20231026 Effective date: 20240514 |