KR101303948B1 - 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법 - Google Patents

비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법 Download PDF

Info

Publication number
KR101303948B1
KR101303948B1 KR1020100078461A KR20100078461A KR101303948B1 KR 101303948 B1 KR101303948 B1 KR 101303948B1 KR 1020100078461 A KR1020100078461 A KR 1020100078461A KR 20100078461 A KR20100078461 A KR 20100078461A KR 101303948 B1 KR101303948 B1 KR 101303948B1
Authority
KR
South Korea
Prior art keywords
information
invisible
reference object
augmented reality
image
Prior art date
Application number
KR1020100078461A
Other languages
English (en)
Other versions
KR20120015922A (ko
Inventor
최정학
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100078461A priority Critical patent/KR101303948B1/ko
Priority to US13/168,210 priority patent/US20120038670A1/en
Priority to EP11176236.5A priority patent/EP2418621B1/en
Priority to JP2011169718A priority patent/JP5389111B2/ja
Publication of KR20120015922A publication Critical patent/KR20120015922A/ko
Application granted granted Critical
Publication of KR101303948B1 publication Critical patent/KR101303948B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

본 발명은 비가시 객체에 대한 증강 현실 정보 제공 방법으로, 유/무선 통신망을 통해 서버와 접속 가능한 단말에서의 비가시 객체에 대한 증강 현실 정보 제공 방법에 있어서, 현실 세계의 영상을 획득하는 단계와, 상기 획득된 영상에 포함된 기준 객체를 설정하는 단계와, 상기 영상이 촬영된 위치 정보 및 상기 설정된 기준 객체의 인식 정보를 획득하는 단계와, 상기 획득된 촬영 위치 정보 및 기준 객체의 인식 정보를 서버에 전송하는 단계와, 상기 촬영 위치에서 기준 객체를 바라보는 방향으로 기준 객체 후방에 존재하는 비가시 객체에 대한 정보를 서버로부터 수신하는 단계와, 상기 수신된 비가시 객체에 대한 정보를 출력하는 단계를 포함한다.

Description

비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법{Apparatus and Method for Providing Augmented Reality Information of invisible Reality Object}
본 발명은 증강 현실 정보 제공 시스템에 관한 것으로, 보다 상세하게는 획득된 영상을 이용한 현실 객체에 대한 증강 현실 정보 제공 장치 및 방법에 관한 것이다.
증강 현실(augmented reality, AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.
증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가진다. 이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상 현실과 달리 다양한 현실 환경에 응용이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
예를 들면, 관광객이 런던 거리에서 카메라와 GPS 센서 등 다양한 기술이 탑재되어 있는 휴대폰의 카메라 등을 특정 방향으로 가리키면, 현재 이동중인 거리에 위치한 음식점이나 세일 중인 상점에 대한 증강 현실 정보를 실제 거리 영상과 중첩하여 디스플레이되도록 하는 방법을 들 수 있다.
그런데, 종래에는 카메라에 의해 획득된 영상에 포함되어 있는 객체에 대한 증강 현실 정보를 제공하므로, 관심 객체가 다른 객체들에 의해 가려져 상기 카메라 영상에 포함되지 않을 경우에는 정보 획득이 용이하지 않다는 문제점이 있다.
따라서, 본 발명은 다른 객체에 의해 가려져 있는 비가시 객체에 대해서도 증강 현실 정보를 제공할 수 있는 장치 및 방법을 제공하고자 한다.
본 발명은 비가시 객체에 대한 증강 현실 정보 제공 방법으로, 유/무선 통신망을 통해 서버와 접속 가능한 단말에서의 비가시 객체에 대한 증강 현실 정보 제공 방법에 있어서, 현실 세계의 영상을 획득하는 단계와, 상기 획득된 영상에 포함된 기준 객체를 설정하는 단계와, 상기 영상이 촬영된 위치 정보 및 상기 설정된 기준 객체의 인식 정보를 획득하는 단계와, 상기 획득된 촬영 위치 정보 및 기준 객체의 인식 정보를 서버에 전송하는 단계와, 상기 촬영 위치에서 기준 객체를 바라보는 방향으로 기준 객체 후방에 존재하는 비가시 객체에 대한 정보를 서버로부터 수신하는 단계와, 상기 수신된 비가시 객체에 대한 정보를 출력하는 단계를 포함한다.
본 발명의 바람직한 실시 예에 따른 유/무선 통신망을 통해 적어도 하나 이상의 단말과 접속되는 서버에서의 비가시 객체에 대한 증강 현실 정보 제공 방법은 단말로부터 비가시 객체 정보 요청됨에 따라, 단말로부터 수신된 기준 객체 인식 정보 및 단말의 위치 정보를 분석하는 단계와, 분석된 결과에 따라, 촬영 위치에서 기준 객체를 바라보는 방향으로 기준 객체 후방에 존재하는 적어도 하나의 비가시 객체에 대한 정보를 검출하는 단계와, 검출된 비가시 객체에 대한 정보를 단말에 전송하는 단계를 포함한다.
본 발명의 바람직한 실시 예에 따른 비가시 객체에 대한 증강 현실 정보 제공 장치는 현실 세계의 영상을 획득하여 출력하는 영상 획득부와, 상기 획득된 영상 및 비가시 객체에 대한 정보를 출력하는 표시부와, 상기 영상 획득부로부터 출력된 영상을 상기 표시부에 출력하고, 상기 촬영 위치에서 기준 객체를 바라보는 방향으로 기준 객체 후방에 존재하는 비가시 객체에 대한 정보를 획득하고, 상기 획득된 비가시 객체에 대한 정보를 상기 표시부에 출력하는 제어부를 포함한다.
본 발명의 바람직한 실시 예에 따른 비가시 객체에 대한 증강 현실 정보 제공 서버는 유/무선 통신망을 통해 적어도 하나 이상의 단말과의 신호를 송수신 처리하는 통신부와, 상기 통신부를 통해 단말로부터 비가시 객체 정보 요청 신호가 수신됨에 따라, 단말로부터 수신된 기준 객체 인식 정보 및 촬영 위치 정보를 분석하고, 상기 분석된 결과에 따라, 촬영 위치에서 기준 객체를 바라보는 방향으로 기준 객체 후방에 존재하는 적어도 하나의 비가시 객체에 대한 정보를 검출하고, 검출된 비가시 객체에 대한 정보를 단말에 전송하는 제어부를 포함한다.
본 발명은 다른 객체에 의해 가려져서 카메라에 의해 인식될 수 없는 비가시 객체에 대해서도 증강 현실 정보를 제공할 수 있다는 이점이 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 비가시 객체에 대한 증강 현실 정보 제공을 위한 통신 시스템의 구성도이다.
도 2는 본 발명의 바람직한 실시 예에 따라 비가시 객체에 대한 증강 현실 정보 제공 장치의 내부 구성도이다.
도 3은 본 발명의 바람직한 실시 예에 따라 비가시 객체에 대한 증강 현실 정보 제공 서버의 내부 구성도이다.
도 4는 본 발명의 바람직한 실시 예에 따른 비가시 객체에 대한 증강 현실 정보 제공 방법을 설명하기 위한 순서도이다.
도 5 및 도 6은 본 발명의 바람직한 실시 예에 따라 기준 객체 선택을 위한 초점 생성 화면의 예시도이다.
도 7 및 도 8은 본 발명의 바람직한 실시 예에 따라 비가시 객체 정보 제공 사용자 인터페이스 예시도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명을 설명하기에 앞서, 명세서 전반에 걸쳐 사용되는 용어들을 정의한다. 본 발명에서 사용되는 객체라 함은 실세계에 존재하는 사물, 사람 또는 마커(Marker)가 될 수 있다. 또한, 가시 객체라 함은 현실 세계를 촬영하여 획득된 영상에서 인식될 수 있는 객체를 의미하는 것으로, 건물, 사람, 산 등의 현실에 존재하는 객체를 통칭한다. 비가시 객체라 함은 현실 세계를 촬영하여 획득된 영상에서 인식될 수 없는 객체를 의미하는 것으로, 가시 객체들에 의해 가려져 인식될 수 없는 현실 객체를 의미한다. 이 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 바람직한 실시 예에 따른 비가시 객체에 대한 증강 현실 정보 제공을 위한 통신 시스템의 구성도이다.
도 1을 참조하면, 본 발명이 적용되는 통신 시스템은 하나 이상의 증강 현실 정보 제공 단말 장치(이하 '단말'이라 칭함)(110)와, 단말(110)에 증강 현실 서비스를 위한 정보를 제공하는 증강 현실 정보 제공 서버 장치(이하 '서버'라 칭함)(130)가 유/무선 통신망 통해 접속되어 있는 형태를 갖는다. 또한, 부가적으로 단말(110)은 위치 판별 시스템(120)으로부터 자신의 위치 정보를 통신망을 통해 제공받을 수 있다.
단말(110)은 PDA(Personal digital assistants), 스마트 폰, 네비게이션 단말기 등의 이동 통신 단말기뿐만 아니라, 데스크 탑 컴퓨터, 노트북 등과 같은 개인용 컴퓨터와 같은 영상에 포함되어 있는 객체를 인식하고, 인식한 객체에 대응되는 증강 현실 정보를 디스플레이할 수 있는 모든 장치에 적용될 수 있는 것으로 해석된다.
도 2는 본 발명의 바람직한 실시 예에 따른 단말의 내부 구성도이다.
영상 획득부(210)는 현실 세계를 촬영한 영상을 획득하여 제어부(260)에 출력하는 것으로, 예컨대 카메라 또는 이미지 센서가 될 수 있다. 또한, 영상 획득부(210)는 영상 촬영시 제어부(260)의 제어에 의해 영상을 확대 또는 축소하거나, 자동 또는 수동으로 회전 가능한 카메라일 수 있다. 표시부(220)는 외부로부터 입력되는 영상을 출력하는 수단으로, 본 발명의 실시 예에 따라 영상 획득부(210)에 의해 획득된 현실 세계를 촬영한 영상, 초점 생성 화면, 비가시 객체 정보 사용자 인터페이스 정보, 관심 객체에 대한 증강 현실 정보 중 적어도 하나를 출력한다. 위치 정보 획득부(230)는 단말의 위치 정보를 상기 위치 판별 시스템(120)으로부터 수신하여 출력하는 것으로, 예컨대 GPS 위성이 송신하는 카메라의 위치 정보 신호를 수신하는 GPS 수신기가 포함될 수 있다.
사용자 인터페이스부인 조작부(240)는 사용자로부터 정보를 입력받을 수 있는 수단으로, 일 예로 키 버튼 누름시마다 키정보를 발생하는 키입력부나, 터치 센서, 마우스 등이 포함될 수 있다. 본 발명의 실시 예에 따라, 조작부(240)를 통해 비가시 객체 정보 요청 신호, 기준 객체 선택 정보, 관심 객체 선택 정보 중 적어도 하나를 입력받을 수 있다. 통신부(250)는 유/무선 통신망을 통해 외부로부터 수신된 신호를 처리하여 제어부(260)에 출력하고, 제어부(260)로부터의 내부 출력 신호를 처리하여 유/무선 통신망을 통해 전송되도록 처리하는 주지된 구성이다.
제어부(350)는 전술한 바와 같은 각 구성 요소들을 제어하여, 본 발명에 따른 비가시 객체에 대한 증강 현실 정보를 제공하는 것으로, 이를 위한 하드웨어 프로세서 또는 이 하드웨어 프로세서에서 실행되는 소프트웨어 모듈이 될 수 있다. 제어부(260)의 동작 설명은 후술되는 비가시 객체에 대한 증강 현실 정보 제공 방법에서 상세히 설명하기로 한다.
도 3은 본 발명의 바람직한 실시 예에 따른 서버의 내부 구성도이다.
통신부(310)는 유/무선 통신망을 통해 외부로부터 수신된 신호를 처리하여 제어부(260)에 출력하고, 제어부(350)로부터의 내부 출력 신호를 처리하여 유/무선 통신망을 통해 전송되도록 처리하는 주지된 구성이다. 객체 인식 정보 저장부(330)는 객체를 인식하기 위한 인식 정보를 포함하는 것으로, 예컨대, 객체의 윤곽선, 색과 같은 속성값이 포함될 수 있어, 제어부(350)는 단말로부터 수신된 객체 인식 정보와 객체 인식 정보 저장부(320)에 포함된 객체 인식 정보의 속성값을 비교하여 객체가 무엇인지를 파악할 수 있다.
증강 현실 정보 저장부(330)는 객체에 관련된 각종 정보인 증강 현실 정보를 저장하는데, 일 예로, 객체가 어떤 나무인 경우 그 나무의 이름, 주요 서식지, 생태학적 특징 등을 소정의 태그 이미지(tag image)를 통해 나타낸 것일 수 있다. 지도 정보 저장부(340)는 위치에 따른 지도 정보를 저장하는 것으로, 제어부(350)는 단말로부터 위치 정보를 수신함에 따라, 수신된 위치 정보에 상응하는 지도 정보를 지도 정보 저장부(340)로부터 검출한다.
제어부(350)는 전술한 바와 같은 각 구성 요소들을 제어하여, 본 발명에 따른 비가시 객체에 대한 증강 현실 제공을 수행하는 것으로, 이를 위한 하드웨어 프로세서 또는 이 하드웨어 프로세서에서 실행되는 소프트웨어 모듈이 될 수 있다. 제어부(350)의 동작 설명은 후술되는 비가시 객체에 대한 증강 현실 정보 제공 방법에서 상세히 설명하기로 한다.
그러면, 전술한 바와 같은 구성을 가지는 시스템에서 수행되는 비가시 객체에 대한 증강 현실 정보 제공 방법을 도 4 내지 도 8을 참조하여 설명하기로 한다.
도 4은 본 발명의 바람직한 실시 예에 따른 비가시 객체에 대한 증강 현실 정보 제공 방법을 설명하기 위한 순서도이고, 도 5 및 도 6은 본 발명의 바람직한 실시 예에 따라 기준 객체 선택을 위한 초점 생성 화면의 예시도이고, 도 7 및 도 8은 본 발명의 바람직한 실시 예에 따라 비가시 객체 정보 제공 사용자 인터페이스 예시도이다. 또한, 설명의 편의를 위해 하기에서는 단말 제어부(260)를 단말로, 서버의 제어부(320)를 서버로 기재하기로 한다.
도 4을 참조하면, 단말은 조작부(140)를 통한 키입력에 의해 405 단계에서 영상 획득부(110)를 구동시켜 현실 세계의 영상을 획득하여 표시부(120)에 출력한다. 단말은 410 단계에서 표시부(120)에 출력되는 영상에 포함된 가시 객체들에 의해 가려져 보이지 않은 비가시 객체들에 대한 증강 현실 정보 요청 입력됨에 따라, 415 단계에서 영상에 포함된 하나 이상의 가시 객체들 중 하나를 기준 객체로 설정한다.
415 단계에서 기준 객체를 설정하는 방법은 다양한 실시 예가 가능하다.
일 실시 예로 단말이 미리 설정된 기준에 의해 자체적으로 기준 객체를 선택하여 설정할 수 있는데, 예컨대, 영상에 포함된 가시 객체들 중 인식이 가장 용이한 가시 객체를 기준 객체로 설정할 수 있다.
다른 실시 예로 사용자로부터 선택 정보를 입력받아 기준 객체를 설정할 수도 있다. 예컨대, 도 5에 도시된 바와 같은 십자 모양(410) 또는 도 6에 도시된 바와 같은 사각형 모양(420)의 초점이 화면에 생성되도록 하고, 사용자가 상기 초점을 자신이 선택한 기준 객체에 맞춘 초점 위치 조정 정보를 입력함이 따라, 상기 초점에 위치한 가시 객체를 기준 객체로 설정할 수도 있다. 또 다른 실시 예로, 사용자가 직접 터치 입력을 통해 기준 객체 선택 정보를 입력할 수도 있다.
그러면, 단말은 420 단계에서 기준 객체에 대한 인식 정보를 획득한다. 예컨대, 카메라를 통해 획득된 촬영 영상으로부터 관심 대상인 현실 객체의 특징 정보(예로, 윤곽선, 색)를 인식 정보로 추출해낸다.
그리고, 단말은 425 단계에서 상기 획득된 영상이 촬영된 위치 정보를 획득한다. 상기 영상이 단말에 의해 실시간의 촬영되는 영상일 경우, 단말은 현재 위치 판별 시스템으로부터 자신의 위치 정보를 획득한다. 그러나, 상기 영상이 이전에 획득된 또는 외부로부터 제공되는 영상일 경우, 단말은 촬영 위치 정보를 사용자로부터 입력받을 수도 있다. 여기서, 상기 420 단계 및 425 단계는 동시에 이루어질 수도 있고, 그 순서가 바뀔 수도 있다.
그러면, 단말은 430 단계에서 서버에 비가시 객체 정보 요청한다. 이때, 단말은 기준 객체 인식 정보 및 촬영 위치 정보를 전송하게 된다. 또한, 비가시 객체의 범위 정보를 전송하게 되는데, 예컨대 도 7를 참조하면, 촬영 위치에서 기준 객체를 바라보는 촬영 방향으로의 깊이(D)와 화각(
Figure 112010052305707-pat00001
)이 범위 정보에 포함될 수 있다. 도면에는 도시되어 있지 않지만, 이러한 비가시 객체의 범위 정보는 이전에 사용자에 의해 미리 설정된 정보이거나 실시간으로 입력된 정보일 수도 있다. 또는 서버에서 상기 범위 정보가 미리 설정될 경우, 범위 정보의 전송은 생략될 수도 있다.
그러면, 서버는 단말로부터 비가시 객체 정보 요청됨에 따라, 435 단계에서 단말로부터 수신된 기준 객체 인식 정보 및 촬영 위치 정보를 분석한다. 구체적으로 설명하면, 서버는 지도 정보 저장부(340)를 검색하여 상기 수신된 촬영 위치 정보에 해당하는 지도를 검출해내고, 상기 기준 객체 인식 정보를 분석하여 상기 기준 객체의 위치를 상기 지도상에서 파악한다. 그런 후, 서버는 상기 파악된 기준 객체 위치와 촬영 위치 정보를 이용하여 촬영 방향 정보를 산출해낸다. 예컨대, 촬영 위치로부터 기준 객체 위치로 연결한 선의 방향이 촬영 방향으로 결정되는 것이다.
그리고, 서버는 435 단계에서 분석된 결과에 따라, 440 단계에서 촬영 위치에서 기준 객체를 바라보는 방향으로, 즉 촬영 방향으로 기준 객체 후방에 존재하는 비가시 객체들에 대한 정보를 검출한다. 구체적으로 설명하면, 서버는 상기 검출된 지도상의 기준 객체 후방에 존재하는 비가시 객체들 중, 전술한 바와 같은 깊이 정보(D), 화각(
Figure 112010052305707-pat00002
) 및 상기 435 단계에서 산출된 촬영 방향을 변수로 결정되는 영역에 존재하는 비가시 객체들을 검출한다. 예컨대, 도 6를 참조하면, 7개의 비가시 객체가 검출될 수 있다.
그리고, 서버는 검출된 비가시 객체에 대한 정보를 445 단계에서 단말로 전송한다. 이때, 전송되는 비가시 객체 정보의 예로는 도 6에 도시된 바와 같은 기준 객체를 기준으로 비가시 객체의 위치와, 추가적으로 크기가 표시된 유저 인터페이스 정보(710)일 수 있다.
이러한 유저 인터페이스는 다양한 실시 예가 가능한데, 각각의 비가시 객체들이 식별되도록 하기 위해, 도 7에 도시된 바와 같이 각 비가시 객체들에 식별 번호를 부여할 수도 있고, 각 객체들을 각각 상이한 색으로 표시되도록 할 수도 있고, 각 객체들에 별도의 식별자가 표시되도록 할 수도 있다.
식별 번호가 부여될 경우, 번호 순서를 부여하는 방법도 다양한 실시 예가 가능한데, 일 예로 도 7에 도시된 바와 같이 촬영 방향으로 기준 객체에 근접한 순서대로 식별 번호를 부여할 수도 있고, 다른 예로 도 8에 도시된 바와 같이 시계 방향으로 식별 번호가 부여되도록 할 수도 있다.
그러면, 단말은 445 단계에서 비가시 객체 정보를 표시부(220)에 출력한다. 예를 들면, 표시부(220)에 출력되는 비가시 객체 정보는 도 6에 도시된 바와 같은 유저 인터페이스(710)를 화면 전체에 디스플레이할 수도 있고, 프리뷰 화면이 표시되고 있는 상황에서 화면 일측에 표시되도록 할 수도 있고, 팝업 창을 통해 디스플레이되도록 할 수도 있다. 또한, 이러한 유저 인터페이스(220)는 사용자의 입력 정보에 의해 전술한 바와 같은 다양한 실시 예로 구현되도록 설정될 수 있다.
그러면, 단말은 455 단계에서 조작부(240)를 통해 사용자로부터 상기 디스플레이된 비가시 객체들 중 증강 현실 정보를 제공받고 싶은 관심 객체 선택 정보를 입력받는다. 상기 관심 객체 선택 정보를 입력받는 방법은 다양한 실시 예가 가능하다. 일 예로 터치 입력을 통해 관심 객체를 선택받을 수도 있고, 관심 객체의 식별 정보인 식별 번호, 식별자 또는 식별색을 직접 입력받을 수도 있다. 단말은 관심 객체 선택 정보가 입력됨에 따라, 460 단계에서 입력된 관심 객체 선택 정보를 서버에 전송한다. 즉, 관심 객체의 식별 정보를 검출하여 서버에 전송한다.
그러면, 서버는 465 단계에서 전송된 관심 객체 선택 정보에 상응하는 객체에 관련된 증강 현실 정보를 검출한다.
그러면, 단말은 480 단계에서 전송된 증강 현실 정보를 해당 관심 객체에 증강시켜 단말에 표시한다. 그런데, 상기 관심 객체는 프리뷰 화면에는 보이지 않는 객체이므로 이를 프리뷰 화면상에 관심 객체를 중첩시켜 표시되도록 할 수도 있고, 프리뷰 화면이 표시된 일측에 관심 객체의 정보가 표시되도록 할 수도 있다.
한편, 여기서는 설명의 편의를 위해 본 발명에서 제안하는 바를 증강 현실 제공 단말 장치와 증강 현실 제공 서버가 통신망을 통해 접속 가능한 형태로 구성된 시스템 상에서의 구현하는 예를 들어 설명하나, 이는 본 발명의 일 실시 예일 뿐 본 발명의 범위가 이로 한정되지 않는다. 즉, 상기 단말과 서버를 연동한 동작 방법이 일체로 구성되는 장치에 적용될 수 있음은 물론이다.

Claims (20)

  1. 유/무선 통신망을 통해 서버와 접속 가능한 단말에서의 비가시 객체에 대한 증강 현실 정보 제공 방법에 있어서,
    현실 세계의 영상을 획득하는 단계와,
    상기 획득된 영상에 포함된 기준 객체를 설정하는 단계와,
    상기 영상이 촬영된 위치 정보 및 상기 설정된 기준 객체의 인식 정보를 획득하는 단계와,
    상기 획득된 촬영 위치 정보 및 기준 객체의 인식 정보를 서버에 전송하는 단계와,
    상기 촬영 위치에서 기준 객체를 바라보는 방향으로 기준 객체 후방에 존재하는 비가시 객체에 대한 정보를 서버로부터 수신하는 단계와,
    상기 수신된 비가시 객체에 대한 정보를 출력하는 단계를 포함함을 특징으로 하는 비가시 객체에 대한 증강 현실 정보 제공 방법.
  2. 제 1항에 있어서, 상기 기준 객체를 설정하는 단계는
    사용자로부터 기준 객체에 대한 선택 정보를 입력받아 설정함을 특징으로 하는 비가시 객체에 대한 증강 현실 정보 제공 방법.
  3. 제 1항에 있어서, 상기 기준 객체를 설정하는 단계는
    영상이 출력된 화면에 초점을 생성하는 단계와,
    초점 위치 조정 정보가 입력됨에 따라, 상기 초점이 표시된 부분에 위치하는 객체를 기준 객체로 설정하는 단계를 포함함을 특징으로 하는 비가시 객체에 대한 증강 현실 제공 방법.
  4. 제 1항에 있어서, 상기 비가시 객체에 대한 정보는
    상기 기준 객체를 기준으로 지정된 범위 내에 위치하는 비가시 객체 정보임을 특징으로 하는 비가시 객체에 대한 증강 현실 제공 방법.
  5. 제 4항에 있어서, 상기 범위는
    촬영 위치에서 기준 객체를 바라보는 방향으로의 깊이 및 화각에 의해 결정됨을 특징으로 하는 비가시 객체에 대한 증강 현실 제공 방법.
  6. 제 1항에 있어서, 상기 비가시 객체에 대한 정보는
    상기 기준 객체를 기준으로 비가시 객체의 위치가 표시된 유저 인터페이스 정보임을 특징으로 하는 비가시 객체에 대한 증강 현실 제공 방법.
  7. 제 6항에 있어서, 상기 유저 인터페이스 정보는
    각각의 비가시 객체들에 상이한 식별 번호 또는 색으로 표시됨을 특징으로 하는 비가시 객체에 대한 증강 현실 제공 방법.
  8. 제 1항에 있어서,
    사용자로부터 비가시 객체들 중 하나의 관심 객체 선택 정보가 입력됨에 따라, 상기 관심 객체에 해당하는 증강 현실 정보를 획득하는 단계와,
    상기 획득된 증강 현실 정보를 출력하는 단계를 더 포함함을 특징으로 하는 비가시 객체에 대한 증강 현실 제공 방법.
  9. 유/무선 통신망을 통해 적어도 하나 이상의 단말과 접속되는 서버에서의 비가시 객체에 대한 증강 현실 정보 제공 방법에 있어서,
    단말로부터 비가시 객체 정보 요청됨에 따라, 단말로부터 수신된 기준 객체 인식 정보 및 촬영 위치 정보를 분석하는 단계와,
    분석된 결과에 따라, 촬영 위치에서 기준 객체를 바라보는 방향으로 기준 객체 후방에 존재하는 적어도 하나의 비가시 객체에 대한 정보를 검출하는 단계와,
    검출된 비가시 객체에 대한 정보를 단말에 전송하는 단계를 포함함을 특징으로 하는 비가시 객체에 대한 증강 현실 정보 제공 방법.
  10. 제 9항에 있어서, 상기 분석하는 단계는
    상기 수신된 촬영 위치 정보에 해당하는 지도를 검출하는 단계와,
    상기 기준 객체 인식 정보를 분석하여 상기 기준 객체의 위치를 상기 지도상에서 파악하는 단계와,
    상기 파악된 기준 객체 위치와 촬영 위치 정보를 이용하여 촬영 방향 정보를 산출해내는 단계를 포함함을 특징으로 하는 비가시 객체에 대한 증강 현실 정보 제공 방법.
  11. 제 10항에 있어서, 상기 검출하는 단계는
    상기 검출된 지도상의 기준 객체 후방에 존재하는 비가시 객체들 중, 상기 산출된 촬영 방향으로 미리 설정된 깊이 및 화각을 변수로 결정되는 영역에 존재하는 비가시 객체들을 검출함을 특징으로 하는 비가시 객체에 대한 증강 현실 정보 제공 방법.
  12. 현실 세계의 영상을 획득하여 출력하는 영상 획득부와,
    상기 획득된 영상 및 비가시 객체에 대한 정보를 출력하는 표시부와,
    서버와 접속하여 송수신 신호를 처리하는 통신부와,
    상기 영상 획득부로부터 출력된 영상을 상기 표시부에 출력하고, 상기 획득된 영상에 포함된 기준 객체를 설정하여, 상기 영상이 촬영된 위치 정보 및 상기 설정된 기준 객체의 인식 정보를 획득하고, 상기 획득된 촬영 위치 정보 및 기준 객체의 인식 정보를 상기 통신부를 통해 서버에 전송하고, 서버로부터 촬영 위치에서 기준 객체를 바라보는 방향으로 비가시 객체에 대한 정보를 수신하여 상기 표시부에 출력하는 제어부를 포함함을 특징으로 하는 비가시 객체에 대한 증강 현실 제공 장치.
  13. 제 12항에 있어서,
    사용자 정보를 입력받을 수 있는 조작부를 더 포함하며,
    상기 제어부는
    상기 조작부를 통해 사용자로부터 기준 객체에 대한 선택 정보를 입력받아 설정함을 특징으로 하는 비가시 객체에 대한 증강 현실 정보 제공 장치.
  14. 제 13항에 있어서, 상기 제어부는
    상기 표시부에 출력된 영상에 초점을 생성하고, 상기 조작부로부터 초점 위치 조정 정보가 입력됨에 따라, 상기 초점이 표시된 부분에 위치하는 객체를 기준 객체로 설정함을 특징으로 하는 비가시 객체에 대한 증강 현실 제공 장치.
  15. 제 12항에 있어서, 상기 비가시 객체에 대한 정보는
    상기 기준 객체를 기준으로 비가시 객체의 위치가 표시된 유저 인터페이스 정보임을 특징으로 하는 비가시 객체에 대한 증강 현실 제공 장치.
  16. 제 15항에 있어서, 상기 유저 인터페이스 정보는
    각각의 비가시 객체들에 상이한 식별 번호 또는 색으로 표시됨을 특징으로 하는 비가시 객체에 대한 증강 현실 제공 장치.
  17. 제 13항에 있어서, 상기 제어부는
    상기 조작부를 통해 비가시 객체들 중 하나의 관심 객체 선택 정보가 입력됨에 따라, 상기 관심 객체에 해당하는 증강 현실 정보를 서버로부터 획득하고, 상기 획득된 증강 현실 정보를 표시부에 출력함을 특징으로 하는 비가시 객체에 대한 증강 현실 제공 장치.
  18. 유/무선 통신망을 통해 적어도 하나 이상의 단말과의 신호를 송수신 처리하는 통신부와,
    상기 통신부를 통해 단말로부터 비가시 객체 정보 요청 신호가 수신됨에 따라, 단말로부터 수신된 기준 객체 인식 정보 및 촬영 위치 정보를 분석하고, 상기 분석된 결과에 따라, 촬영 위치에서 기준 객체를 바라보는 방향으로 기준 객체 후방에 존재하는 적어도 하나의 비가시 객체에 대한 정보를 검출하고, 검출된 비가시 객체에 대한 정보를 단말에 전송하는 제어부를 포함함을 특징으로 하는 비가시 객체에 대한 증강 현실 정보 제공 서버.
  19. 제 18항에 있어서,
    지도 정보를 저장하는 지도 정보 저장부를 더 포함하며,
    상기 제어부는
    상기 지도 정보 저장부로부터 상기 수신된 촬영 위치 정보에 해당하는 지도를 검출하고, 상기 기준 객체 인식 정보를 분석하여 상기 기준 객체의 위치를 상기 지도상에서 파악하고, 상기 파악된 기준 객체 위치와 촬영 위치 정보를 이용하여 촬영 방향 정보를 산출함을 특징으로 하는 비가시 객체에 대한 증강 현실 정보 제공 서버.
  20. 제 19항에 있어서, 상기 제어부는
    상기 검출된 지도상의 기준 객체 후방에 존재하는 비가시 객체들 중, 상기 산출된 촬영 방향으로 미리 설정된 깊이 및 화각을 변수로 결정되는 영역에 존재하는 비가시 객체들을 검출함을 특징으로 하는 비가시 객체에 대한 증강 현실 정보 제공 서버.
KR1020100078461A 2010-08-13 2010-08-13 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법 KR101303948B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020100078461A KR101303948B1 (ko) 2010-08-13 2010-08-13 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
US13/168,210 US20120038670A1 (en) 2010-08-13 2011-06-24 Apparatus and method for providing augmented reality information
EP11176236.5A EP2418621B1 (en) 2010-08-13 2011-08-02 Apparatus and method for providing augmented reality information
JP2011169718A JP5389111B2 (ja) 2010-08-13 2011-08-03 拡張現実情報提供装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100078461A KR101303948B1 (ko) 2010-08-13 2010-08-13 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120015922A KR20120015922A (ko) 2012-02-22
KR101303948B1 true KR101303948B1 (ko) 2013-09-05

Family

ID=44508871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100078461A KR101303948B1 (ko) 2010-08-13 2010-08-13 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법

Country Status (4)

Country Link
US (1) US20120038670A1 (ko)
EP (1) EP2418621B1 (ko)
JP (1) JP5389111B2 (ko)
KR (1) KR101303948B1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
KR101330805B1 (ko) * 2010-08-18 2013-11-18 주식회사 팬택 증강 현실 제공 장치 및 방법
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
KR20130063605A (ko) * 2011-12-07 2013-06-17 현대자동차주식회사 지리정보와 연계된 촬영 이미지를 이용한 도로 안내 표시 방법 및 그 장치
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US8948456B2 (en) * 2012-05-11 2015-02-03 Bosch Automotive Service Solutions Llc Augmented reality virtual automotive X-ray having service information
US20130328926A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd Augmented reality arrangement of nearby location information
JP5705793B2 (ja) * 2012-06-21 2015-04-22 ヤフー株式会社 拡張現実表示装置、拡張現実表示システム、拡張現実表示方法、及び拡張現実表示プログラム
US9712574B2 (en) * 2012-08-31 2017-07-18 Facebook, Inc. Real-world view of location-associated social data
US9336541B2 (en) * 2012-09-21 2016-05-10 Paypal, Inc. Augmented reality product instructions, tutorials and visualizations
KR101981964B1 (ko) * 2012-12-03 2019-05-24 삼성전자주식회사 증강현실을 구현하기 위한 단말 및 그 방법
US8922589B2 (en) 2013-04-07 2014-12-30 Laor Consulting Llc Augmented reality apparatus
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
CN106233283A (zh) 2014-04-15 2016-12-14 奥林巴斯株式会社 图像处理装置、通信系统以及通信方法和摄像装置
TWI518634B (zh) * 2014-12-16 2016-01-21 財團法人工業技術研究院 擴增實境方法與系統
JP6528409B2 (ja) * 2015-01-13 2019-06-12 日本電気株式会社 対象表示システム、管理装置、対象表示方法及び管理プログラム
US10181219B1 (en) 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US10102674B2 (en) 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
EP3341816A1 (en) * 2015-08-28 2018-07-04 Thomson Licensing Assisted item selection for see through glasses
JP6759872B2 (ja) * 2016-09-01 2020-09-23 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US10585939B2 (en) 2016-10-11 2020-03-10 International Business Machines Corporation Real time object description service integrated with knowledge center on augmented reality (AR) and virtual reality (VR) devices
KR101980444B1 (ko) * 2017-08-30 2019-08-28 연세대학교 산학협력단 증강현실 서버와 시스템 및 그 방법과 이에 관한 기록 매체
US11892624B2 (en) 2021-04-27 2024-02-06 Microsoft Technology Licensing, Llc Indicating an off-screen target

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070057561A (ko) * 2005-12-02 2007-06-07 삼성전자주식회사 정보 매핑 장치, 시스템, 및 방법
KR20080028698A (ko) * 2006-09-27 2008-04-01 삼성전자주식회사 사진 내의 영상 객체를 지리 객체와 매핑하는 방법 및 그시스템
KR20090000186A (ko) * 2007-01-25 2009-01-07 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법
KR100900806B1 (ko) 2007-11-01 2009-06-04 광주과학기술원 컨텍스트 인식 증강 현실을 제공하기 위한 시스템 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US20060195858A1 (en) * 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
US7456847B2 (en) * 2004-08-12 2008-11-25 Russell Steven Krajec Video with map overlay
US7737965B2 (en) * 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
US8102334B2 (en) * 2007-11-15 2012-01-24 International Businesss Machines Corporation Augmenting reality for a user
EP2361424A1 (en) * 2008-12-22 2011-08-31 Intelligent Spatial Technologies, Inc. System and method for exploring 3d scenes by pointing at a reference object
KR101024290B1 (ko) 2008-12-30 2011-03-29 한국신발피혁연구소 앨범내지용 핫멜트 점착제 조성물

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070057561A (ko) * 2005-12-02 2007-06-07 삼성전자주식회사 정보 매핑 장치, 시스템, 및 방법
KR20080028698A (ko) * 2006-09-27 2008-04-01 삼성전자주식회사 사진 내의 영상 객체를 지리 객체와 매핑하는 방법 및 그시스템
KR20090000186A (ko) * 2007-01-25 2009-01-07 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법
KR100900806B1 (ko) 2007-11-01 2009-06-04 광주과학기술원 컨텍스트 인식 증강 현실을 제공하기 위한 시스템 및 방법

Also Published As

Publication number Publication date
EP2418621B1 (en) 2014-01-01
US20120038670A1 (en) 2012-02-16
EP2418621A1 (en) 2012-02-15
KR20120015922A (ko) 2012-02-22
JP2012043414A (ja) 2012-03-01
JP5389111B2 (ja) 2014-01-15

Similar Documents

Publication Publication Date Title
KR101303948B1 (ko) 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
KR101357260B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
KR101357262B1 (ko) 필터 정보를 이용한 객체 인식 장치 및 방법
KR101295712B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
US10264207B2 (en) Method and system for creating virtual message onto a moving object and searching the same
US8762041B2 (en) Method, device and system for presenting navigational information
US10025985B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium storing program
EP2859718B1 (en) Augmented reality arrangement of nearby location information
US8750559B2 (en) Terminal and method for providing augmented reality
US20210279468A1 (en) Image display system, terminal, method, and program for determining a difference between a first image and a second image
KR101397712B1 (ko) 증강 현실 객체 인식 가이드 제공 장치 및 방법
KR20120133648A (ko) 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
US20160098863A1 (en) Combining a digital image with a virtual entity
CA2743941C (en) Method, device and system for presenting navigational information
US10606886B2 (en) Method and system for remote management of virtual message for a moving object
JP2015091055A (ja) 撮像装置及び画像処理装置
KR101295710B1 (ko) 사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법
US20180061131A1 (en) Method for establishing location-based space object, method for displaying space object, and application system thereof
KR20190084552A (ko) 자동촬영 맵핑소스 수정으로 구현하는 증강현실 3d맵 구동기법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160801

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170807

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180521

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190605

Year of fee payment: 7