KR20120024073A

KR20120024073A - 객체 리스트를 이용한 증강 현실 제공 장치 및 방법

Info

Publication number: KR20120024073A
Application number: KR1020100086704A
Authority: KR
Inventors: 장준영
Original assignee: 주식회사 팬택
Priority date: 2010-09-03
Filing date: 2010-09-03
Publication date: 2012-03-14
Also published as: US20120057032A1; KR101293776B1; EP2426623A2; EP2426623A3

Abstract

이미지 프로세싱 기반으로 객체를 인식하고 인식된 객체에 관한 증강 현실을 제공하는 장치 및 방법에 있어서, 객체가 정확히 인식되지 아니할 경우 그 객체의 대략적인 위치 정보를 바탕으로 그 객체에 관한 후보 리스트를 제공하고, 제공된 후보 리스트를 이용하여 증강 현실을 제공하는 장치 및 방법이 제공된다. 대략적인 위치 정보는 GPS 좌표 및 방위각에 기초하여 획득될 수도 있고, 관심 대상은 아니지만 영상을 기반으로 인식 가능한 다른 객체에 기초하여 획득될 수도 있다.

Description

객체 리스트를 이용한 증강 현실 제공 장치 및 방법{Apparatus and Method for providing augmented reality using object list}

증강 현실 제공 장치 및 방법과 관련된다. 특히 객체 인식 불가 상황에서의 증강 현실 구현 기술과 관련된다.

증강 현실(augmented reality, AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.

증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가지고 있다. 이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상 현실과 달리 다양한 현실 환경에 응용이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.

증강 현실 구현을 위해서 객체를 마커(marker) 또는 마커리스(markerless) 기반으로 인식함이 통상적이다. 마커 혹은 특징점 인식을 이용한 증강현실의 객체 인식 방법은 움직이는 물체 혹은 군집된 물체에 의해 마커 및 특징점 인식 포인트의 일부가 가려지게 되면, 그 인식율이 현저하게 저하되거나 객체 자체를 인식하지 못하여 사용자에게 객체정보를 제시하지 못하는 단점이 있다.

증강 현실을 구현하기 위한 영상 기반의 객체 인식에 있어서 객체의 인식률이 현저하게 나쁜 상황에서 증강 현실을 구현할 수 있는 장치 및 방법을 제공하고자 한다.

본 발명의 일 양상에 따른 증강 현실 제공 장치는, 객체가 포함된 영상을 획득하는 영상 획득부, 상기 영상을 촬영한 단말의 위치 정보를 포함하는 부가 정보를 획득하는 부가 정보 획득부, 획득된 영상에서 객체를 인식하는 객체 인식부, 및 객체의 인식이 실패한 경우, 획득된 부가 정보를 토대로 객체에 대한 적어도 하나의 후보 객체를 제공하는 후보군 제공부를 포함할 수 있다.

또한 본 발명의 다른 양상에 따른 증강 현실 제공 장치는, 제 1 객체가 포함된 영상을 획득하는 영상 획득부, 영상을 촬영한 단말의 위치 정보를 포함하는 부가 정보를 획득하는 부가 정보 획득부, 획득된 영상에서 제 1 객체를 인식하고, 제 1 객체의 인식이 실패한 경우 제 1 객체 주변의 제 2 객체를 인식하는 객체 인식부, 및 제 1 객체의 인식이 실패하고 제 2 객체의 인식이 성공한 경우, 인식된 제 2 객체에 대한 정보 및 획득된 부가 정보 중 적어도 하나에 기초하여 제 1 객체에 관한 적어도 하나의 후보 객체를 제공하는 후보군 제공부를 포함할 수 있다.

또한 본 발명의 일 양상에 따른 단말은, 증강 현실을 표시하는 단말에 있어서, 카메라를 통해 객체에 대한 영상을 획득하는 영상 획득부, 영상 또는 영상의 특징 정보를 서버로 전송하는 제 1 전송부, 단말의 위치 정보를 포함하는 부가 정보를 전송하는 제 2 전송부, 부가 정보에 기초하여 추출된 객체에 대한 후보 객체들을 서버로부터 수신하는 수신부, 및 수신된 후보 객체들을 표시하는 표시부를 포함할 수 있다.

또한 본 발명의 다른 양상에 따른 단말은, 증강 현실을 표시하는 단말에 있어서, 카메라를 통해 제 1 객체 및 제 2 객체를 포함하는 영상을 획득하는 영상 획득부, 영상 또는 영상의 특징 정보를 서버로 전송하는 제 1 전송부, 단말의 위치 정보를 포함하는 부가 정보를 전송하는 제 2 전송부, 제 2 객체에 대한 정보 및 부가 정보에 기초하여 추출된 제 1 객체에 대한 후보 객체들을 서버로부터 수신하는 수신부, 및 수신된 후보 객체들을 표시하는 표시부를 포함할 수 있다.

또한 본 발명의 일 양상에 따른 증강 현실 제공 방법은, 단말이, 객체가 포함된 영상 또는 영상의 특징 정보와 단말의 위치 정보를 포함하는 부가 정보를 서버로 전송하는 단계, 및 서버가, 영상에서 객체가 인식되는지 여부를 판단하고, 객체가 인식 되질 않는 경우, 부가 정보를 토대로 객체에 대한 후보 리스트를 생성하고, 생성된 후보 리스트를 단말로 제공하는 단계를 포함할 수 있다.

개시된 내용에 의하면, 객체 인식 불가 상황에서 그 객체에 대한 후보 리스트가 제공되기 때문에 제공된 후보 리스트를 통해 증강 현실을 구현하는 것이 가능하다. 또한 객체의 대략적인 위치를 파악한 후 그 객체에 대한 후보 리스트를 제공하기 때문에 정확도가 높은 후보 리스트를 제공할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 도시한다.

도 1을 참조하면, 본 실시예에 따른 증강 현실 제공 장치(100)는 촬영된 영상 내의 특정 객체 위에 그 객체와 관련된 각종 정보를 합성해서 표시한다. 예컨대, 본 실시예에 따른 증강 현실 제공 장치(100)는 이미지 프로세싱 기반으로 영상 내의 객체를 인식하고 인식된 객체에 대응되는 각종 증강 현실 데이터를 사용자에게 제공하는 것이 가능하다.

본 실시예에 따른 증강 현실 제공 장치(100)는 카메라 모듈과 디스플레이 모듈이 구비된 휴대 단말(예컨대, 스마트 폰) 또는 이러한 휴대 단말과 통신 가능하게 연결되는 서버에 적용될 수 있다. 예컨대, 휴대 단말이 어떤 영상을 촬영해서 그 영상 데이터를 서버로 전송하면, 서버는 그 영상 데이터를 처리하고 객체를 인식한 후, 그 객체에 대한 증강 현실 데이터를 휴대 단말로 전송해서 휴대 단말에 증강 현실이 표시되도록 하는 것이 가능하다. 그렇지만 이것은 설명의 편의를 위한 것으로, 서버의 관여 없이 휴대 단말이 단독으로 증강 현실 데이터를 추출하고 증강 현실을 표시하는 것도 가능하다.

본 실시예에 따른 증강 현실 제공 장치(100)는 영상 획득부(101), 부가 정보 획득부(102), 객체 인식부(103), 및 후보군 제공부(104)를 포함할 수 있다. 그리고 증강 현실의 구현을 위해 데이터베이스(120)를 더 포함할 수 있다. 데이터베이스(120)에는 객체에 대한 각종 정보, 예컨대, 객체의 이미지 정보, 객체의 위치 정보, 객체의 특징점 정보, 객체의 조도 정보 등이 저장된다.

영상 획득부(101)는 객체가 포함된 영상을 획득한다. 객체는 사용자의 관심 대상이 되는 임의의 객체가 될 수 있다. 예컨대, 사용자가 특정 지역을 촬영한 경우, 객체는 그 지역의 특정한 사물 또는 건물이 될 수 있다. 본 실시예에 따른 증강 현실 제공 장치(100)가 휴대 단말에 적용되는 경우, 영상 획득부(101)는 휴대 단말에 구비된 카메라 모듈을 포함할 수 있고, 본 실시예에 따른 증강 현실 제공 장치(100)가 서버에 적용되는 경우, 영상 획득부(101)는 휴대 단말로부터 객체에 관한 영상 데이터를 수신하는 통신 모듈을 포함할 수 있다.

부가 정보 획득부(102)는 영상을 촬영한 단말의 위치 정보, 촬영 방향 정보 및 조도 정보 등을 포함하는 부가 정보를 수신한다. 단말의 위치 정보는 단말의 GPS 좌표가 될 수 있고, 촬영 방향 정보는 객체에 대한 방위각이 될 수 있고, 조도 정보는 객체의 밝기 정보가 될 수 있다.

객체 인식부(103)는 이미지 프로세싱 기반으로 영상 내의 객체를 인식한다. 예컨대, 객체 인식부(103)는 영상 획득부(101)에 의해 획득된 영상과 데이터베이스(120)에 저장되어 있는 영상을 특징점 기반으로 비교해서 객체를 인식하는 것이 가능하다. 또한, 선택적으로, 객체 인식부(103)는 부가 정보 획득부(102)가 획득한 부가 정보를 이용하여 비교될 영상의 범위를 데이터베이스(120)에서 정한 후, 정해진 범위에서 영상 비교를 수행하는 것도 가능하다.

객체 인식부(103)에 의해 객체가 인식되는 경우, 인식된 객체와 관련된 정보가 제공될 수 있다. 예컨대, 본 실시예에 따른 증강 현실 제공 장치(100)가 서버에 구현된 경우, 객체와 관련된 정보를 휴대 단말로 전송하고 휴대 단말이 객체가 포함된 영상 위에 수신된 관련 정보를 증강시키는 것이 가능하다.

그러나 영상이 선명하지 못하여 추출된 특징점의 개수가 부족하거나 기타 다른 원인에 따라 객체 인식부(103)에 의해 객체가 인식되지 아니하는 경우, 후보군 제공부(104)는 부가 정보를 이용하여, 객체에 관한 후보군을 제공하는 것이 가능하다.

일 예로써, 후보군 제공부(104)는 휴대 단말의 GPS 좌표 및 객체의 방위각(즉, 객체의 대략적인 위치)에 기초하여 객체를 포함하고 있을 것이라고 예상되는 후보 영상들을 데이터베이스(120)에서 추출하고, 추출된 후보 영상들에 대응되는 객체들을 후보 객체로 제공하는 것이 가능하다. 즉, 영상 기반 객체 인식을 수행할 때, 부가 정보를 이용해서 비교 대상이 되는 영상들의 범위가 정해진 이후 객체 인식이 실패한 경우, 그 정해진 범위에 해당하는 영상들에 포함된 객체들의 전부 또는 일부를 후보 객체로 추출하는 것이 가능하다.

다른 예로써, 후보군 제공부(104)는 전술한 방법을 이용하여 1차적으로 후보 영상들을 추출하고, 추출된 후보 영상들과 획득된 영상을 비교해서 영상 간의 실질적인 동일성을 나타내는 소정의 유사도를 산출한 후, 유사도가 임계값 이상인 영상들만 2차적으로 추출하거나 유사도 순서대로 리스트화해서 제공하는 것도 가능하다. 본 실시예에 있어서, 유사도는 다양한 방법으로 정의될 수 있다. 일 예로써, 영상 간 픽셀 값의 차이를 제곱해서 평균한 값을 유사도로 정의할 수 있다. 다른 예로써, 일치하는 특징점의 개수가 많은 영상일수록 유사도를 높게 매길 수도 있다.

본 실시예에 따른 증강 현실 제공 장치(100)가 서버 측에 구현되는 경우를 살펴본다. 휴대 단말로부터 어떤 객체가 포함된 영상을 수신한 서버는 그 객체와 관련된 각종 정보를 휴대 단말로 전송하는데, 영상 내에서 객체가 정확히 인식되지 아니한 경우 그러한 정보를 전송할 수 없게 된다. 그러나 본 실시예에 따르면, 객체가 정확히 인식되지 않더라도 객체의 대략적인 위치를 바탕으로 그 객체라 예상되는 객체 목록을 휴대 단말로 전송하는 것이 가능하다. 따라서 사용자는 수신된 객체 목록에서 어느 하나를 선택하고 선택된 객체에 대한 증강 현실이 구현되도록 하는 것이 가능하다.

또한, 본 실시예에 따른 증강 현실 제공 장치(100)가 휴대 단말 측에 구현되는 경우에도 마찬가지로, 영상 내의 객체가 정확히 인식되지 아니하더라도 소정의 객체 목록이 휴대 단말의 디스플레이 모듈에 표시되므로 사용자가 이 중에서 어느 하나를 선택함으로써 증강 현실이 구현되도록 할 수 있다.

도 2는 본 발명의 다른 실시예에 따른 증강 현실 제공 장치를 도시한다.

도 2를 참조하면, 본 실시예에 따른 증강 현실 제공 장치(200)는 영상 획득부(201), 부가 정보 획득부(202), 객체 인식부(203), 및 후보군 제공부(204)를 포함할 수 있다. 그리고 객체 인식부(203)는 제 1 객체 인식부(210) 및 제 2 객체 인식부(220)를 포함할 수 있다.

영상 획득부(201)는 객체가 포함된 영상을 획득한다. 객체는 사용자의 관심 대상이 되는 임의의 객체가 될 수 있다. 예컨대, 사용자가 특정 지역을 촬영한 경우, 객체는 그 지역의 특정한 사물 또는 건물이 될 수 있다. 본 실시예에 따른 증강 현실 제공 장치(100)가 휴대 단말에 적용되는 경우, 영상 획득부(101)는 휴대 단말에 구비된 카메라 모듈을 포함할 수 있고, 본 실시예에 따른 증강 현실 제공 장치(100)가 서버에 적용되는 경우, 영상 획득부(101)는 휴대 단말로부터 객체에 관한 영상 데이터를 수신하는 통신 모듈을 포함할 수 있다.

부가 정보 획득부(202)는 영상을 촬영한 단말의 위치 정보, 촬영 방향 정보 및 조도 정보 등을 포함하는 부가 정보를 수신한다. 단말의 위치 정보는 단말의 GPS 좌표가 될 수 있고, 촬영 방향 정보는 객체에 대한 방위각이 될 수 있고, 조도 정보는 객체의 밝기 정보가 될 수 있다.

객체 인식부(203)의 제 1 객체 인식부(210)는 획득된 영상에서 제 1 객체를 인식한다. 제 1 객체란 관심 대상 객체가 될 수 있다. 객체 인식부(203)의 제 2 객체 인식부(220)는 제 1 객체의 인식이 실패한 경우, 제 1 객체 주변의 제 2 객체를 인식한다. 예를 들어, 어떤 영상에서 관심 대상이 되는 제 1 객체가 영상의 주변부에 위치하는 관계로 선명하지 못함에 반해 중심부에 위치하는 제 2 객체는 상대적으로 선명한 경우, 제 1 객체의 인식이 실패하고 제 2 객체의 인식이 성공할 수 있다.

후보군 제공부(204)는 부가 정보 획득부(202)에 의해 획득된 부가 정보 및/또는 제 2 객체 인식부(220)에 의해 인식된 제 2 객체를 이용하여 제 1 객체에 대한 후보 객체를 제공한다.

예를 들어, 후보군 제공부(204)는 인식된 제 2 객체의 주변에 존재하는 객체들을 데이터베이스(120)에서 추출하여 후보 객체를 제공하는 것이 가능하다. 또한, 후보군 제공부(204)는 두 개 이상의 제 2 객체들 사이에 존재하는 객체들을 데이터베이스(120)에서 추출하여 후보 객체를 제공할 수도 있다. 또 다른 예로써, 부가 정보를 토대로 예비 후보를 추출하고 추출된 1차 후보들 중에서 인식된 제 2 객체 사이에 있는 객체들을 최종 후보로 추출하는 것도 가능하다. 이 때, 인식된 제 2 객체의 위치 정보는 데이터베이스(120)에 미리 저장되어 있는 상태이다.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 객체 후보 리스트의 생성 과정을 도시한다.

도 3a에서, 본 실시예에 따른 객체 인식은 이미지 프로세싱 기반으로 이루어진다. 예를 들어, 데이터베이스(120)에 건물 A의 이미지(310), 건물 A의 명칭(320), 건물 A의 위치(330), 건물 A의 건축일(340) 등을 포함하는 건물 A에 관한 정보(301)가 저장되어 있는 상태에서 그 건물 A에 관한 이미지(302)가 획득된 경우를 살펴본다. 건물 A의 이미지(302)가 선명한 경우, 본 실시예에 따른 객체 인식부(103)(203)는 데이터베이스(120)를 스캔해서 건물 A의 이미지(310)가 포함된 건물 A의 관련 정보(301)를 추출하고 이를 증강 현실 데이터로 제공할 수 있다. 그러나 건물 A의 이미지(310)가 선명하지 못한 경우에는 객체 인식부(103)(203)가 건물 A를 인식할 수 없으므로, 데이터베이스(120)에서 건물 A의 관련 정보(301)를 추출할 수 없게 된다. 이러한 경우, 본 실시예에 따른 증강 현실 제공 장치(100)(200)는 아래의 도 3b와 같이 건물 A의 후보군을 리스트화해서 제공하는 것이 가능하다.

도 3b에서, 건물 A의 이미지(302)가 선명하지 못하거나 특징점이 부족해 객체 인식에 실패한 경우, 건물 A의 대략적인 위치 정보(303)를 통해 후보군이 추출될 수 있다. 건물 A의 대략적인 위치 정보(303)는 건물 A를 촬영한 단말의 GPS 좌표와 단말을 기준으로 하는 건물 A의 방위각이 될 수 있다. 이 대략적인 위치 정보(303)는 부가 정보 획득부(102)(202)에 의해 획득될 수 있다. 대략적인 위치 정보(303)가 획득되면, 이를 바탕으로, 데이터베이스(120)에서 건물 A가 있는 지역의 건물들의 정보(304)를 추출할 수 있다. 그리고 추출된 정보(304)의 전부 또는 일부를 이용해서 선명하지 못한 이미지(302)에 대응되는 후보 리스트(예컨대, 건물 A, 건물 B, 건물 C 등)(305)를 제공하는 것이 가능하다.

또한, 구체적으로 도시하지는 않았으나, 어떤 이미지(302)에서 건물 A는 선명하지 아니하나 건물 B 및 건물 C가 선명한 경우, 건물 B 및 건물 C를 인식하고, 인식된 건물 B와 건물 C를 포함하는 데이터베이스 상의 엔트리 집합(305)을 선택하여 후보 리스트로 제공하는 것도 가능하다.

이와 같이, 수신된 이미지(302)에 기초하여 객체 인식이 실패한 경우에도 부가 정보(303)를 이용해서 수신된 이미지(302)에 대응되는 객체들의 후보 리스트(305)를 제공할 수 있으므로, 사용자는 후보 리스트(305)를 이용해서 원하는 객체에 대한 증강 현실이 구현되도록 할 수 있음을 알 수 있다.

도 4는 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 도시한다. 도 1, 도 2, 도 3a, 도 3b 및 도 4를 참조하여 본 실시예에 따른 증강 현실 제공 방법을 설명하면 다음과 같다.

먼저 객체의 영상을 획득한다(401). 예를 들어, 영상 획득부(101)(201)가 제 1 객체가 포함된 영상(302)을 획득하는 것이 가능하다.

그리고 부가 정보를 획득한다(402). 예컨대, 부가 정보 획득부(102)(202)가 영상을 촬영한 단말의 위치 정보, 객체의 촬영 방향 정보, 및 조도 정보 등을 포함하는 부가 정보를 획득하는 것이 가능하다.

그리고 객체가 인식 가능한지 여부를 판단한다(403). 예를 들어, 객체 인식부(103)(203)가 수신된 영상(302)을 기초로 데이터베이스(120)를 검색해서 수신된 영상(302)과 동일한 정보가 데이트베이스(120)에 있는지 여부를 판단하는 것이 가능하다. 이 때, 객체 인식부(103)(203)는 부가 정보 획득부(102)(202)가 획득한 부가 정보를 이용하여 비교 대상이 되는 영상들의 범위를 정한 후, 정해진 범위 내의 영상들과 얻어진 영상들의 특징점을 비교해서 객체 인식 여부를 판단하는 것이 가능하다.

만약, 객체가 인식 가능하면 인식된 객체에 대응되는 증강 현실을 제공한다(404).

만약, 객체가 인식 가능하지 아니하면 객체에 대한 후보 리스트를 제공한다(405). 객체에 대한 후보 리스트란 영상에서 관심 대상이 되는 객체라 예상되는 객체 후보군이 될 수 있다.

본 실시예에 따라, 데이터베이스(120)에서 객체에 대응되는 후보 객체를 추출하는 방법은 다음과 같이 다양한 방법이 적용될 수 있다.

일 예로써, 획득된 부가 정보를 이용하여 후보 객체를 추출할 수 있다. 즉 과정 403에서 영상 기반 객체 인식을 수행할 때 부가 정보를 이용해서 비교 대상이 되는 영상들의 범위가 정해진 이후 객체 인식이 실패한 경우, 그 정해진 범위에 해당하는 영상들에 포함된 객체들의 전부 또는 일부를 후보 객체로 추출하는 것이 가능하다. 예컨대, 단말의 위치 정보가 얻어진 경우, 그 위치에서 취득 가능한 영상들을 데이터베이스(120)에서 추출하고 추출된 영상들에 포함된 객체들을 후보 객체로 제공하는 것이 가능하다.

다른 예로써, 관심 대상이 되는 제 1 객체의 인식에는 실패하였으나 관심 대상이 아닌 제 2 객체의 인식이 성공한 경우, 데이터베이스(120)에서 인식된 제 2 객체 주변의 객체들을 후보 객체로 추출하는 것도 가능하다. 예컨대, 적어도 두 개의 제 2 객체 사이에 존재하는 데이터베이스의 특정 엔트리(예컨대, 304)를 후보 객체로 추출하는 것도 가능하다. 예컨대, 도 3b에서, 제 2 객체는 건물 A 양 옆의 건물 C와 건물 B가 될 수 있다.

또 다른 예로써, 단말의 위치 정보와 같은 부가 정보를 이용하여 후보군의 1차 범위를 정하고, 관심 대상이 아니며 인식에 성공한 제 2 객체의 정보를 이용하여 후보군의 2차 범위를 정하는 것도 가능하다. 예컨대, 도 3b에서, 단말의 위치 정보 및 촬영 방향 정보를 이용하여 1차 범위(304)를 정하고, 인식된 건물 C와 건물 B를 이용하여 2차 범위(305)를 정할 수도 있다.

그리고, 본 실시예에 따라 추출된 후보 객체들을 제공할 때 소정의 유사도에 따라 순위를 매겨서 제공하는 것도 가능하다. 유사도란 얻어진 영상과 데이터베이스(120)에 저장된 영상 간의 실질적으로 동일한 정도를 나타내는 것으로 일치되는 특징점의 개수에 기초하여 정의될 수 있다. 예를 들어, 다수 개의 후보 객체가 부가 정보 및/또는 인식이 성공한 객체에 기초하여 추출된 경우, 일치되는 특징점의 개수가 많은 순서대로 정렬하여 후보 객체를 제공하는 것도 가능하다.

전술한 바와 같이 후보 객체가 제공되면, 후보 객체가 사용자에게 표시되고 사용자가 이 중 어느 하나를 선택하면 선택된 후보 객체에 대응되는 증강 현실이 구현되는 것이 가능하다.

도 5는 본 발명의 일 실시예에 따른 증강 현실 화면을 도시한다.

도 5를 참조하면, 사용자가 어떤 객체(603)에 대해 관련 정보를 얻고자 영상 기반의 증강 현실 어플리케이션을 구동시키고 그 객체(603)를 촬영하여 소정의 영상이 프리뷰 화면(602)에 나타나 있는 것을 알 수 있다. 이 때, 객체(603)의 영상이 선명하지 못하여 그 객체(603)가 어떤 객체인지 정확하게 인식되지 않는 경우, 객체(603)에 대한 대략적인 위치 정보를 토대로 촬영된 부분에 대응되는 객체(603)의 후보 리스트(604)가 제공될 수 있다. 사용자는 제공된 후보 리스트(604) 중에서 객체(603)에 해당하는 것을 선택할 수 있으며 최종적인 증강 현실 화면에는 선택된 객체와 관련된 증강 현실 데이터가 표시될 수 있다.

그리고 본 발명의 다른 실시예에 따라, 객체(603)의 대략적인 위치 정보는 휴대 단말(601)에 구비된 GPS 모듈을 통해 얻어진 GPS 좌표 및 방위각을 이용하여 얻어질 수도 있고, 객체(603)의 특징점(예컨대, GPS 수신 불가 지역인 경우 건물의 모양, 간판에 표시된 전화번호 등)을 추출하고 이로부터 후보 리스트(604)를 추출하는 것도 가능하다.

도 6은 본 발명의 일 실시예에 따른 증강 현실 표시 단말의 구성을 도시한다.

도 6을 참조하면, 본 실시예에 따른 단말(700)은 영상 획득부(701), 제 1 전송부(702), 제 2 전송부(703), 수신부(704), 및 표시부(705)를 포함한다.

영상 획득부(701)는 카메라를 통해 객체에 대한 영상을 획득한다. 제 1 전송부(702)는 영상 또는 영상의 특징 정보를 서버로 전송한다. 그리고 제 2 전송부는 단말의 위치 정보, 촬영 방향 정보 및 조도 정보를 포함하는 부가 정보를 서버로 전송한다. 만약, 서버가 전송 받은 영상 또는 영상의 특징 정보를 이용해서 객체를 인식할 수 있으면 인식된 객체에 대한 증강 현실이 표시부(705)에 표시될 수 있다. 그러나 영상이 선명하지 못하거나 특징 정보가 부족하여 서버가 객체 인식에 실패한 경우, 서버는 부가 정보 및/또는 관심 대상이 아닌 객체로써 인식이 성공한 객체의 정보를 이용하여 객체에 대한 후보 객체들을 생성할 수 있다. 수신부(704)는 생성된 후보 객체들을 서버로부터 수신한다. 그리고 표시부(705)는 수신된 후보 객체들을 사용자가 선택할 수 있도록 표시한다. 또한 본 발명의 일 실시예에 따라 표시부(705)는 수신된 후보 객체들을 순위화 또는 리스트화해서 표시하는 것이 가능하다.

이와 같이 개시된 내용에 따르면 객체를 인식할 수 없는 상황에서도 적절하게 객체의 후보군을 제공할 수가 있으므로 제공된 후보군에 기초해서 다양한 증강 현실을 구현할 수 있다.

한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.

Claims

객체가 포함된 영상을 획득하는 영상 획득부;
상기 영상을 촬영한 단말의 위치 정보를 포함하는 부가 정보를 획득하는 부가 정보 획득부;
획득된 영상에서 상기 객체를 인식하는 객체 인식부; 및
상기 객체의 인식이 실패한 경우, 상기 획득된 부가 정보를 토대로 상기 객체에 대한 적어도 하나의 후보 객체를 제공하는 후보군 제공부; 를 포함하는 증강 현실 제공 장치.
제 1 항에 있어서, 상기 후보군 제공부는
상기 단말의 위치 정보를 이용하여 상기 객체가 존재할 것으로 예측되는 영역 또는 지역의 객체들을 추출해서 상기 후보 객체를 제공하는 증강 현실 제공 장치.
제 1 항에 있어서, 상기 객체 인식부는
상기 획득된 영상에서 특징 정보를 추출하고, 추출된 특징 정보를 기초로 상기 획득된 영상과 데이터베이스에 저장된 영상을 비교해서 상기 객체를 인식하는 증강 현실 제공 장치.
제 3 항에 있어서, 상기 후보군 제공부는
획득된 부가 정보에 기초하여 다수의 후보 객체들을 추출하고, 영상의 특징 정보를 이용하여 추출된 다수의 후보 객체들의 유사도를 설정하고, 설정된 유사도에 따라 상기 후보 객체들을 리스트화해서 제공하는 증강 현실 제공 장치.
제 1 항에 있어서, 상기 부가 정보는
상기 획득된 영상의 촬영 방향 정보 또는 조도 정보를 더 포함하는 증강 현실 제공 장치.
제 1 객체가 포함된 영상을 획득하는 영상 획득부;
상기 영상을 촬영한 단말의 위치 정보를 포함하는 부가 정보를 획득하는 부가 정보 획득부;
획득된 영상에서 상기 제 1 객체를 인식하고, 상기 제 1 객체의 인식이 실패한 경우 상기 제 1 객체 주변의 제 2 객체를 인식하는 객체 인식부; 및
상기 제 1 객체의 인식이 실패하고 상기 제 2 객체의 인식이 성공한 경우, 상기 인식된 제 2 객체에 대한 정보 및 상기 획득된 부가 정보 중 적어도 하나에 기초하여 상기 제 1 객체에 관한 적어도 하나의 후보 객체를 제공하는 후보군 제공부; 를 포함하는 증강 현실 제공 장치.
제 6 항에 있어서, 상기 후보군 제공부는
상기 인식된 제 2 객체에 대한 정보 및 상기 단말의 위치 정보를 이용하여 상기 제 1 객체가 존재할 것으로 예측되는 영역 또는 지역의 객체들을 추출해서 상기 후보 객체를 제공하는 증강 현실 제공 장치.
제 6 항에 있어서, 상기 객체 인식부는
상기 획득된 영상에서 특징 정보를 추출하고, 추출된 특징 정보를 기초로 상기 획득된 영상과 데이터베이스에 저장된 영상을 비교해서 상기 제 1 객체 또는 상기 제 2 객체를 인식하는 증강 현실 제공 장치.
제 8 항에 있어서, 상기 후보군 제공부는
획득된 부가 정보에 기초하여 다수의 후보 객체들을 추출하고, 영상의 특징 정보를 이용하여 추출된 다수의 후보 객체들의 유사도를 설정하고, 설정된 유사도에 따라 상기 후보 객체들을 리스트화해서 제공하는 증강 현실 제공 장치.
제 6 항에 있어서, 상기 부가 정보는
상기 획득된 영상의 촬영 방향 정보 또는 조도 정보를 더 포함하는 증강 현실 제공 장치.
증강 현실을 표시하는 단말에 있어서,
카메라를 통해 객체에 대한 영상을 획득하는 영상 획득부;
상기 영상 또는 상기 영상의 특징 정보를 서버로 전송하는 제 1 전송부;
상기 단말의 위치 정보를 포함하는 부가 정보를 전송하는 제 2 전송부;
상기 부가 정보에 기초하여 추출된 상기 객체에 대한 후보 객체들을 상기 서버로부터 수신하는 수신부; 및
상기 수신된 후보 객체들을 표시하는 표시부; 를 포함하는 단말.
증강 현실을 표시하는 단말에 있어서,
카메라를 통해 제 1 객체 및 제 2 객체를 포함하는 영상을 획득하는 영상 획득부;
상기 영상 또는 상기 영상의 특징 정보를 서버로 전송하는 제 1 전송부;
상기 단말의 위치 정보를 포함하는 부가 정보를 전송하는 제 2 전송부;
상기 제 2 객체에 대한 정보 및 상기 부가 정보에 기초하여 추출된 상기 제 1 객체에 대한 후보 객체들을 상기 서버로부터 수신하는 수신부; 및
상기 수신된 후보 객체들을 표시하는 표시부; 를 포함하는 단말.
단말이, 객체가 포함된 영상 또는 상기 영상의 특징 정보와 단말의 위치 정보를 포함하는 부가 정보를 서버로 전송하는 단계; 및
서버가, 상기 영상에서 상기 객체가 인식되는지 여부를 판단하고, 상기 객체가 인식 되질 않는 경우, 상기 부가 정보를 토대로 상기 객체에 대한 후보 리스트를 생성하고, 생성된 후보 리스트를 상기 단말로 제공하는 단계; 를 포함하는 증강 현실 제공 방법.
제 13 항에 있어서, 상기 후보 리스트를 제공하는 단계는
상기 영상 또는 상기 특징 정보를 획득하는 단계;
상기 부가 정보를 획득하는 단계;
상기 영상에서 상기 객체를 인식하는 단계; 및
상기 객체의 인식이 실패한 경우, 상기 획득된 부가 정보를 토대로 상기 객체에 대한 적어도 하나의 후보 객체를 제공하는 단계; 를 포함하는 증강 현실 제공 방법.
제 14 항에 있어서, 상기 후보 객체를 제공하는 단계는
상기 단말의 위치 정보를 이용하여 상기 객체가 존재할 것으로 예측되는 영역 또는 지역의 객체들을 추출해서 상기 후보 객체를 제공하는 증강 현실 제공 방법.
제 14 항에 있어서, 상기 객체를 인식하는 단계는
상기 획득된 영상에서 특징 정보를 추출하고, 추출된 특징 정보를 기초로 상기 획득된 영상과 데이터베이스에 저장된 영상을 비교해서 상기 객체를 인식하는 증강 현실 제공 방법.
제 16 항에 있어서, 상기 후보 객체를 제공하는 단계는
획득된 부가 정보에 기초하여 다수의 후보 객체들을 추출하고, 영상의 특징 정보를 이용하여 추출된 다수의 후보 객체들의 유사도를 설정하고, 설정된 유사도에 따라 리스트화된 후보 객체를 제공하는 증강 현실 제공 방법.
제 13 항에 있어서, 상기 후보 리스트를 제공하는 단계는
제 1 객체 및 제 2 객체가 포함된 영상을 획득하는 단계;
상기 부가 정보를 획득하는 단계;
획득된 영상에서 상기 제 1 객체를 인식하고, 상기 제 1 객체의 인식이 실패한 경우 상기 제 1 객체 주변의 제 2 객체를 인식하는 단계; 및
상기 제 1 객체의 인식이 실패하고 상기 제 2 객체의 인식이 성공한 경우, 상기 인식된 제 2 객체에 대한 정보 및 상기 획득된 부가 정보 중 적어도 하나에 기초하여 상기 제 1 객체에 관한 적어도 하나의 후보 객체를 제공하는 단계; 를 포함하는 증강 현실 제공 방법.
제 18 항에 있어서, 상기 후보 객체를 제공하는 단계는
상기 인식된 제 2 객체에 대한 정보 및 상기 단말의 위치 정보를 이용하여 상기 제 1 객체가 존재할 것으로 예측되는 영역 또는 지역의 객체들을 추출해서 상기 후보 객체를 제공하는 증강 현실 제공 방법.
제 18 항에 있어서, 상기 객체를 인식하는 단계는
상기 획득된 영상에서 특징 정보를 추출하고, 추출된 특징 정보를 기초로 상기 획득된 영상과 데이터베이스에 저장된 영상을 비교해서 상기 제 1 객체 또는 상기 제 2 객체를 인식하는 증강 현실 제공 방법.
제 20 항에 있어서, 상기 후보 객체를 제공하는 단계는
획득된 부가 정보에 기초하여 다수의 후보 객체들을 추출하고, 영상의 특징 정보를 이용하여 추출된 다수의 후보 객체들의 유사도를 설정하고, 설정된 유사도에 따라 리스트화된 후보 객체들을 제공하는 증강 현실 제공 방법.
제 13 항에 있어서,
상기 단말이, 상기 제공된 후보 리스트를 표시하는 단계; 를 더 포함하는 증강 현실 제공 방법.
제 22 항에 있어서,
상기 단말이, 상기 객체와 상기 후보 객체 간의 실질적으로 동일한 정도를 나타내는 유사도에 따라 상기 후보 객체들의 표시 순서가 정해진 후보 리스트를 표시하는 증강 현실 제공 방법.