KR101835363B1 - 시선의 이동에 따라 변하는 오브젝트의 정보를 연속적으로 표시하는 장치 및 방법 - Google Patents

Abstract

본 발명은 시선의 이동에 따라 변하는 오브젝트의 정보를 연속적으로 표시하는 장치 및 방법에 관한 것으로, 시선의 이동경로를 실시간으로 추적하고, 시선의 이동경로와 이동속도에 대한 추세를 미리 예측하여, 사용자의 시선방향이 변화함에 따라 오브젝트의 정보를 변경하여 표시하는 것을 디스플레이의 위치에 정확하게 위치하도록 하는 장치 및 방법에 관한 것이다.

Description

시선의 이동에 따라 변하는 오브젝트의 정보를 연속적으로 표시하는 장치 및 방법{APPARATUS AND METHOD FOR CONTINUOUSLY DISPLAYING THE INFORMATION OF OBJECTS CHANGED BY THE MOVEMENT OF LINE OF SIGHTS}

본 발명은 시선의 이동에 따라 변하는 오브젝트의 정보를 연속적으로 표시하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 시선의 이동경로를 실시간으로 추적하고, 시선의 이동경로와 이동속도에 대한 추세를 미리 예측하여, 사용자의 시선방향이 변화함에 따라 오브젝트의 정보를 변경하여 표시하는 것을 디스플레이의 위치에 정확하게 위치하도록 하는 장치 및 방법에 관한 것이다.

최근 정보통신기술과 영상처리기술의 급속한 발달로 인해, 사용자의 시선을 추적하여, 사용자의 시선방향에 위치하는 오브젝트를 LCD 모니터 또는 투명디스플레이 등과 같은 디스플레이에 표시하는 정보디스플레이 기술에 대한 관심이 높아지고 있다.

정보디스플레이 기술은 투명한 디스플레이에 오브젝트의 정보를 실제 배경과 함께 표시할 수 있으며, 증강현실 등과 같은 다양한 콘텐츠와 결합하여 사용자에게 새로운 인터페이스를 제공한다.

한편 사용자의 시선추적을 통해, 사용자가 인지하는 오브젝트를 디스플레이하는 정보디스플레이 기술의 대표적인 것으로는 차량용 또는 비행기용 HUD(Head-Up Display)방식이 있다.

상기 HUD방식은 정보를 표시하기 위한 광원을 투사하는 광학장치 및 상기 정보가 투사되는 투명한 스크린으로 구성되며, 복수의 적외선 카메라를 통해 사용자의 시선을 추적하여 시선의 방향에 있는 오브젝트(즉, 현재 시점에서 사용자가 인지하고 있는 오브젝트)에 대한 정보를 출력한다.

상기 HUD방식을 포함하는 종래의 정보디스플레이 기술들은 사용자가 일정시간 이상 특정 오브젝트를 응시하는 경우에 상기 사용자의 양안에 대한 영상을 촬영하고, 이를 기반으로 시선을 추적하여 해당 오브젝트에 대한 정보를 출력한다. 이는 상기 사용자의 시선이 이동하여 다른 오브젝트를 응시하는 경우, 또 다시 상기와 같은 과정을 수행하여 상기 오브젝트의 정보를 출력하기 때문에 상기 정보가 지연되어 디스플레이 되는 문제점이 있다. 이는 상기 사용자에게 지루함과 불편함을 유발시킬 수 있다.

따라서 본 발명에서는 사용자의 시선에 대한 이동을 세밀하게 추적하고, 이를 기반으로 상기 시선의 이동에 대한 추세를 예측하여, 상기 사용자의 시선에 따른 오브젝트의 정보를 지연없이 실시간으로 연속하여 표시함으로써, 상기 사용자에게 해당 오브젝트에 대한 정보를 즉각적으로 인지할 수 있도록 하는 장치 및 방법을 제공하고자 한다.

다음으로 본 발명의 기술 분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국공개특허 제2013-0113902호(2013.10.16.)는 투명디스플레이 장치 및 그 디스플레이 방법에 관한 것으로, 투명디스플레이로부터 제1 방향에 있는 물체의 위치를 감지하고, 상기 투명디스플레이로부터 제2 방향에 있는 사용자의 위치를 감지하여, 상기 감지한 물체의 위치와 사용자의 위치를 기반으로 사용자의 위치에서 투명디스플레이 상에 물체가 투과되어 보이는 영역을 추정하여, 상기 추정한 영역에 상기 물체의 정보를 디스플레이하는 장치 및 방법에 관한 것이다.

상기 선행기술문헌은 사용자가 응시하는 특정 오브젝트에 대한 정보를 투명디스플레이에 표시하는 기술적 특징에 대해서는 본 발명과 일부분 유사한 점은 있으나, 단순히 사용자의 위치와 오브젝트의 위치를 감지하여, 사용자의 위치와 동일선상에 있는 특정 오브젝트에 대한 정보를 출력하는 것이다.

반면에 본 발명은 사용자의 시선에 대한 이동을 추적하고, 상기 시선의 이동경로, 이동속도 및 시선방향을 예측하여, 상기 예측한 시선의 이동경로에 해당하는 오브젝트의 정보를 실시간으로 표시함으로써, 상기 시선의 이동에 따라 변화되는 복수의 오브젝트들에 대한 정보를 상기 사용자가 즉각적으로 인지할 수 있도록 하는 효과가 있다.

또한 한국등록특허 제1544524호(2015.08.17.)는 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법에 관한 것으로 눈 위치 추적 카메라를 통하여 얻어진 차량 운전자 홍채의 위치와 전방 촬영 카메라를 통하여 얻어진 전방의 영상에 기반하여, 상기 운전자가 주행 중이거나 그렇지 않을 때 전면 유리창을 통하여 보여지는 실경과 일체화시켜 눈앞의 각종 정보를 헤드 프론트 디스플레이에 표시하는 시스템 및 방법에 관한 것이다.

상기 선행기술은 사용자의 눈의 위치를 추적하여, 상기 사용자가 응시하는 오브젝트의 대한 정보를 표시하고 있으나, 상기 사용자의 시선이 고정된 특정 오브젝트에 대한 정보를 표시하는 것이며, 상기 사용자의 시선이 이동하는 경우에는 상기 오브젝트에 대한 정보가 딜레이 되어 표시되는 종래의 정보디스플레이 기술과 같은 한계를 벗어나지 못하고 있다.

반면에 본 발명은 사용자 시선의 이동을 정밀하게 추적하고, 상기 추적한 시선이동을 바탕으로 상기 시선의 이동속도, 시선방향 및 이동경로를 포함하는 시선의 변화추세를 예측함으로써, 상기 예측한 이동경로와 시선방향의 오브젝트에 대한 정보를 상기 예측한 이동속도에 따라 실시간으로 표시할 수 있으며, 이를 통해 상기 사용자가 상기 오브젝트에 대한 정보를 즉각적으로 인지할 수 있도록 하는 효과가 있다.

또한 본 발명은 사용자의 시선에 대한 이동을 실시간으로 추적하여, 시선이 향하는 위치에 존재하는 오브젝트를 상기 사용자와 상기 오브젝트 사이에 있는 투명디스플레이에 표시되는 오브젝트의 위치를 동적으로 변화시키고, 해당 오브젝트의 확대이미지를 포함하는 각종 정보를 연속하여 표시함으로써, 상기 오브젝트에 대한 정보를 실시간으로 획득할 수 있도록 한다.

또한 본 발명은 시선의 변화추세를 미리 예측하여, 사용자의 시선이 이동하고, 시선방향이 변화함에 따라 변경되는 오브젝트의 정보를 지연없이 실시간으로 표시하거나, 미리 표시할 수도 있으며, 상기 예측한 이동경로의 방향에 있는 복수의 오브젝트들에 대한 정보를 동시에 표시할 수 있도록 함으로써, 상기 사용자에게 다양한 오브젝트들에 대한 다양한 정보를 제공할 수 있도록 한다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작 된 것으로서, 사용자의 시선의 이동경로와 이동속도를 추적하고, 상기 시선의 변화추세를 미리 예측하여, 상기 시선의 방향에 위치하는 오브젝트들에 대한 정보를 상기 예측한 이동속도에 따라 실시간으로 표시함으로써, 상기 오브젝트들에 대한 정보를 즉각적으로 인식할 수 있도록 하는 장치 및 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 상기 예측한 시선의 변화추세를 토대로, 예측한 시선방향에 위치하는 오브젝트의 정보를 미리 표시하거나, 예측한 이동경로의 방향에 있는 복수의 오브젝트들을 표시하여, 다양한 정보를 동시에 획득할 수 있도록 하는 장치 및 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 상기 투명한 디스플레이에 표시되는 오브젝트들에 대한 정보의 색깔을 배경의 색깔에 따라 보색의 관계에 있는 색깔로 표시함으로써, 상기 사용자가 오브젝트들에 대한 정보를 쉽게 인식할 수 있도록 하는 장치 및 방법을 제공하는 것을 목적으로 한다.

이와 같은 목적을 달성하기 위해 본 발명의 일 실시예에 따른 정보 표시 장치는 시선의 이동경로와 이동속도를 추적하여 시선의 변화추세를 미리 예측하는 시선 예측부, 상기 예측에 따라 시선의 방향에 위치하는 오브젝트를 인식하는 오브젝트 인식부 및 상기 인식한 오브젝트를 향하는 시선의 방향과 교차하는 디스플레이의 위치에 오브젝트 정보를 표시하는 오브젝트 정보 표시부를 포함하여, 상기 시선의 이동에 따라 변하는 오브젝트의 정보를 연속적으로 표시하는 것을 특징으로 한다.

또한 상기 시선의 변화추세는, 상기 시선이 이동한 이동경로를 복수의 구간으로 샘플링하여, 각 구간별 이동속도를 계산하고, 상기 각 구간별 이동방향과 시선방향을 추출하여, 예측하는 것을 특징으로 한다.

또한 상기 오브젝트 인식부는, 상기 예측에 따라 시선의 방향에 위치하는 오브젝트의 위치변화를 인식하는 오브젝트 위치 추적부를 더 포함하며, 상기 오브젝트 위치 추적부는 전방 카메라로부터 수집되는 오브젝트를 포함하는 배경영상으로부터 위치의 변화를 직접추출하거나, 지리정보나 지도정보에 포함된 오브젝트의 위치정보와 사용자의 현재 위치정보의 관계로부터 추출되는 것을 특징으로 한다.

또한 상기 오브젝트 인식부는, 상기 예측에 따라 시선의 방향에 위치하는 오브젝트의 정보를 데이터베이스에서 추출하는 오브젝트 정보 추출부를 더 포함하며, 상기 오브젝트의 정보는 해당 오브젝트의 명칭을 포함한 특징정보를 포함하는 것을 특징으로 한다.

또한 상기 오브젝트 정보는, 상기 표시할 위치의 배경영상에 대한 보색으로 표시되는 것을 특징으로 한다.

또한 본 발명의 일 실시예에 따른 정보 표시 장치는 사용자의 시선을 추적하는 적어도 하나 이상의 시선추적 카메라, 전방의 영상을 촬영하는 적어도 하나 이상의 전방 카메라 및 상기 시선의 이동경로와 이동속도를 추적하여 시선의 변화추세를 미리 예측하여 상기 오브젝트의 정보를 표시하는 투명한 디스플레이를 포함하는 것을 특징으로 한다.

또한 상기 시선추적 카메라는, 적외선 카메라, 뎁쓰 카메라, 스테레오 카메라 또는 이들의 조합을 포함하는 것을 특징으로 한다.

또한 상기 오브젝트의 정보를 표시하는 것은, 투명 디스플레이에 표시하거나, 유리, 플라스틱 또는 비닐을 포함하여 투명한 재질로 된 면에 프로젝터를 이용하여 표시하는 것을 특징으로 한다.

아울러 본 발명의 일 실시예에 따른 정보 표시 방법은 시선의 이동경로와 이동속도를 추적하여 시선의 변화추세를 미리 예측하는 시선 예측 단계, 상기 예측에 따라 시선의 방향에 위치하는 오브젝트를 인식하는 오브젝트 인식 단계 및 상기 인식한 오브젝트를 향하는 시선의 방향과 교차하는 디스플레이의 위치에 오브젝트 정보를 표시하는 오브젝트 정보 표시 단계를 포함하여, 상기 시선의 이동에 따라 변하는 오브젝트의 정보를 연속적으로 표시하는 것을 특징으로 한다.

또한 상기 시선의 변화추세는, 상기 시선이 이동한 이동경로를 복수의 구간으로 샘플링하여, 각 구간별 이동속도를 계산하고, 상기 각 구간별 이동방향과 시선방향을 추출하여, 예측하는 것을 특징으로 한다.

또한 상기 오브젝트 인식 단계는, 상기 예측에 따라 시선의 방향에 위치하는 오브젝트의 위치변화를 인식하는 오브젝트 위치 추적 단계, 상기 예측에 따라 시선의 방향에 위치하는 오브젝트의 정보를 데이터베이스에서 추출하는 오브젝트 정보 추출 단계를 더 포함하며, 상기 오브젝트 위치 추적 단계는 전방 카메라로부터 수집되는 오브젝트를 포함하는 배경영상으로부터 위치의 변화를 직접추출하거나, 지리정보나 지도정보에 포함된 오브젝트의 위치정보와 사용자의 현재 위치정보의 관계로부터 추출되는 것을 특징으로 한다.

본 발명은 시선의 이동에 따라 변하는 오브젝트의 정보를 연속적으로 표시하는 장치 및 방법에 관한 것으로, 사용자 시선의 이동경로를 실시간으로 추적하고, 상기 시선의 이동속도, 시선방향 및 이동경로를 예측하여, 상기 예측한 시선의 방향에 위치하는 오브젝트들의 정보를 지연없이 실시간으로 연속하여 표시함으로써, 상기 사용자에게 상기 오브젝트에 대한 정보를 즉각적으로 인식할 수 있도록 하는 효과가 있다.

또한 본 발명은 상기 예측한 이동속도, 시선방향 및 이동경로를 기반으로, 사용자의 시선방향에 변화함에 따라 오브젝트의 정보를 지연없이 실시간으로 표시하거나, 미리 표시할 수 있으며, 상기 예측한 이동경로의 방향에 있는 복수의 오브젝트들에 대한 정보를 동시에 표시함으로써, 상기 사용자에게 복수의 오브젝트들에 대한 정보를 동시에 제공할 수 있는 효과가 있다.

또한 본 발명은 상기 디스플레이에 표시되는 오브젝트의 정보를 배경의 색깔에 따라 달리 표시함으로써, 상기 사용자에게 향상된 가시성을 제공할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 시선의 이동에 따라 오브젝트의 정보를 연속적으로 표시하는 정보 표시 장치를 개략적으로 설명하기 위한 개념도이다.
도 2는 본 발명의 또 다른 일 실시예에 따른 시선의 이동에 따라 오브젝트의 정보를 연속적으로 표시하는 정보 표시 장치를 개략적으로 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 정보 표시 장치를 통해 사용자의 시선방향의 변화에 따라 오브젝트를 디스플레이 위치에 표시하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 정보 표시 장치의 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 샘플링 테이블을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 시선의 변화추세를 예측하여, 오브젝트의 정보를 연속적으로 표시하는 절차를 나타내는 흐름도이다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 일 실시예에 따른 시선의 이동에 따라 오브젝트의 정보를 연속적으로 표시하는 정보 표시 장치를 개략적으로 설명하기 위한 개념도이다.

도 1에 도시된 바와 같이, 상기 정보 표시 장치(100)는 사용자 시선의 이동경로와 시선방향을 예측하여, 상기 예측한 시선방향에 위치하는 적어도 하나 이상의 오브젝트에 대한 정보를 투명디스플레이(400)에 실시간으로 연속하여 표시한다.

또한 상기 투명디스플레이(400)는 높은 투과도를 가지는 패널을 사용하여 투명한 유리처럼 보이는 화면에 다양한 정보를 표시할 수 있는 디스플레이의 한 종류로써, 백화점의 쇼윈도와 같이 상기 사용자와 상기 복수의 오브젝트들 사이에 위치하게 된다. 또한 상기 투명디스플레이(400)는 화면을 나타내는 영역이 투명하기 때문에 상기 오브젝트들이 위치하는 배경이 상기 사용자에게 투명하게 비쳐 보이는 형태로 구현된다.

또한 상기 오브젝트는 상기 투명디스플레이(400)가 설치되는 장소(예: 백화점 또는 수족관) 및 상기 투명디스플레이(400)의 용도(쇼윈도용, 자판기용, 박물관용 또는 차량용 등)에 따라 동적으로 움직이는 오브젝트(예: 수족관의 어류 또는 자동차)이거나 정적으로 고정되어 있는 오브젝트(예: 상점에 진열되어 있는 상품 또는 박물관의 예술품 등)일 수 있다.

또한 상기 정보 표시 장치(100)는 상기 사용자 시선방향을 추적하여 상기 추적한 시선방향에 위치하는 오브젝트의 정보를 디스플레이 위치에 표시한다.

한편 상기 디스플레이 위치는 상기 추적한 시선방향에 따라 상기 오브젝트가 상기 투명디스플레이(400)에 투명하게 보이는 지점을 의미한다. 즉, 상기 디스플레이 위치는 상기 오브젝트를 향하는 상기 사용자의 시선방향과 상기 오브젝트를 직선으로 연결하였을 때, 상기 직선이 상기 투명디스플레이(400)와 교차하는 지점(또는 위치)을 의미하는 것으로 상기 오브젝트에 대한 정보가 디스플레이 되는 곳이다.

또한 상기 정보 표시 장치(100)는 상기 사용자의 시선방향을 추적하기 위해, 상기 추적에 대표적으로 사용되는 동공 각막 반사(Pupil- Corneal Reflection)방법을 사용하여, 상기 사용자의 시선을 추적한다.

한편 상기 동공 각막 반사방법은 적어도 하나 이상의 적외선 카메라를 이용하여, 적외선 광을 사용자의 각막에 조사하고, 상기 각막에 의해 반사되는 반사광을 촬영하여 획득한 양안의 영상을 분석하여 시선방향을 계산하는 방법이다. 이때 상기 각막에 반사되어 밝게 빛나는 복수의 점(즉, 복수의 적외선 광에 의해 반사되는 점을 의미함)을 글린트(glint)라고 하며, 이는 상기 동공의 중심과 더불어 시선의 방향을 추적하는데 중요한 정보가 된다. 상기 동공 각막 반사방법은 주지의 기술이므로 상세한 설명은 생략하도록 한다. 물론 본 발명에서 사용되는 시선추적 방법은 상기 동공 각막 반사방법뿐만 아니라 앞으로의 기술발전에 따라 더욱 정밀한 시선추적 방법을 적용할 수 있음은 물론이다.

또한 상기 정보 표시 장치(100)는 상기 사용자 시선의 이동이 있는 경우에는 상기 시선의 이동에 따른 이동속도, 이동경로 및 시선방향을 포함하는 상기 시선의 변화추세를 미리 예측하여, 상기 예측한 변화추세에 따라 상기 예측한 시선방향에 위치하는 오브젝트에 대한 정보를 실시간으로 연속하여, 투명디스플레이(400)에 표시한다.

또한 상기 정보 표시 장치(100)는 상기 예측한 변화추세에 따라 상기 사용자가 인지할 수 있는 오브젝트들에 대한 정보를 미리 표시할 수도 있으며, 상기 시선의 이동경로에 대한 방향에 위치하는 복수의 오브젝트들에 대한 정보들 역시 미리 표시할 수 있다.

또한 상기 정보 표시 장치(100)는 상기 예측한 변화추세에 따라 시선의 방향에 위치하는 오브젝트를 인식하기 위해, 오브젝트의 위치 추적을 수행하여, 상기 예측한 시선의 이동경로 및 시선방향에 상기 오브젝트가 위치하는 경우에 해당 오브젝트의 정보를 디스플레이 위치에 실시간으로 표시한다. 즉, 상기 표시 정보 장치(100)는 이동하는 시선에 대한 이동속도, 이동경로 및 시선방향을 예측하고, 이후의 시선방향에 위치하는 오브젝트를 미리 인식하고, 이에 대한 정보를 상기 예측한 이동속도에 따라 상기 디스플레이 위치에 표시하는 것이다.

또한 상기 정보 표시 장치(100)는 상기 예측한 시선의 이동속도와 이동경로에 따라 상기 시선방향에 위치하는 오브젝트들의 정보를 상기 투명디스플레이(400)의 해당 디스플레이 위치에 실시간으로 연속하여 표시한다. 이를 통해 상기 사용자는 시선의 이동에 따라 인식되는 복수의 오브젝트들에 대한 정보를 실시간으로 연속하여 획득할 수 있다. 이는 사용자의 시선방향이 특정 오브젝트에 고정되어 있는 경우뿐만 아니라, 시선이 이동하는 경우에도 상기 시선의 이동에 따른 시선의 변화추세 미리 예측하여, 상기 예측한 시선의 이동경로 및 시선방향에 위치하는 오브젝트에 대한 정보를 실시간으로 표시하는 것으로써, 사용자의 시선이 일정시간 동안 고정되는 경우에만 시선방향을 추적하여 오브젝트에 대한 정보를 표시하는 종래의 기술과는 달리 상기 사용자는 지루함 없이 상기 오브젝트의 정보를 즉각적으로 인지할 수 있다.

또한 상기 정보 표시 장치(100)는 상기 예측한 시선의 변화추세에 따라 상기 디스플레이 위치에 표시되는 오브젝트의 정보를 상기 투명디스플레이(400)의 배경색과 달리 표시함으로써, 상기 사용자에게 향상된 가시성을 제공할 수 있도록 한다.

예를 들어, 상기 디스플레이 위치에 나타나는 배경색이 남색이면, 상기 남색과 보색관계에 있는 노란색을 상기 디스플레이 위치에 표시할 오브젝트의 정보에 대한 색으로 선택하여 표시한다.

도 2는 본 발명의 또 다른 일 실시예에 따른 시선의 이동에 따라 오브젝트의 정보를 연속적으로 표시하는 정보 표시 장치를 개략적으로 설명하기 위한 개념도이다.

도 2에 도시한 바와 같이, 상기 정보 표시 장치(100)는 상기 도 1을 참조하여 설명한 투명디스플레이뿐만 아니라 유리와 같은 투명한 디스플레이에 오브젝트의 정보를 디스플레이할 수 있다.

한편 도 2에는 상기 투명한 디스플레이의 일 실시예로써, 유리만 도시되어 있으나, 상기 투명한 디스플레이는 유리뿐만 아니라 투명한 재질로 된 플라스틱 또는 비닐을 포함하는 개념이다.

상기 유리는 상기 투명디스플레이(400)와 같이 이미지나 정보를 자체적으로 디스플레이할 수 있는 패널을 포함하고 있지 않기 때문에, 상기 정보 표시 장치(100)는 적어도 하나 이상의 프로젝터(600)를 이용하여 상기 유리의 면에 오브젝트의 정보를 표시한다.

또한 상기 정보 표시 장치(100)는 도 1에서 설명한 것과 같이, 상기 사용자의 시선방향을 추적하여, 상기 사용자의 시선이 향하고 있는 오브젝트의 정보를 상기 디스플레이 위치에 상기 프로젝터(600)를 통해 표시한다.

또한 상기 정보 표시 장치(100)는 사용자의 시선이 이동하는 경우에도, 시선이동을 추적하여, 시선의 변화추세를 예측함으로서, 상기 시선이동에 따라 상기 사용자에게 연속적으로 인지되는 적어도 하나 이상의 오브젝트에 대한 정보를 상기 프로젝터(600)를 통해 실시간으로 지연 없이 표시하거나 미리 표시할 수 있다.

또한 상기 시선의 변화추세에 대한 예측은 시선이동에 대한 이동경로와 이동속도를 추적하여, 연속적하여 이동하는 시선에 대한 변화를 미리 예측하는 것으로써, 상기 시선의 이동속도, 이동경로 및 시선방향을 예측하는 것이다.

또한 상기 정보 표시 장치(100)는 상기 예측한 시선의 이동경로, 이동속도 및 시선방향에 따라 변화되는 오브젝트의 정보를 상기 디스플레이 위치에 표시하기 위해, 상기 프로젝터(600)에 상기 디스플레이 위치에 대한 좌표를 입력하여, 상기 오브젝트의 정보가 상기 예측한 시선방향에 정확하게 표시될 수 있도록 한다.

또한 상기 정보 표시 장치(100)는 상기 오브젝트 정보와 함께 해당 오브젝트의 영상을 함께 표시할 수 있으며, 상기 디스플레이 위치에 나타나는 배경색에 따라 상기 오브젝트의 정보에 대한 색을 달리하여 표시할 수 있다.

도 1 및 도 2를 참조하여 설명한 것과 같이 상기 정보 표시 장치(100)는 다양한 용도로 다양한 분야에서 다양하게 적용될 수 있다.

예를 들어, 백화점이나 쇼핑몰의 쇼윈도에 적용되고, 사용자가 쇼윈도 외부에서 내부에 진열된 상품들을 구경할 경우, 상기 정보 표시 장치(100)는 상기 사용자의 시선의 이동을 추적하고, 시선의 변화추세를 예측하여, 상기 예측한 시선방향 및 이동경로에 진열된 상품들에 대한 명칭을 포함한 특징정보를 실시간으로 지연없이 표시할 수 있다. 이때 상기 특징정보는 명칭, 가격, 사이즈, 생산날짜, 제작원료, 상품 이미지 또는 이들의 조합을 포함하는 다양한 정보를 포함한다.

또 다른 예로써, 상기 정보 표시 장치(100)가 대형수족관에 적용되는 경우에도 이동하는 사용자 시선의 변화추세를 예측하고, 상기 대형수족관 내부에 있는 개체(예: 물고기 또는 잠수부 등)들의 위치를 실시간으로 추적하여, 상기 사용자의 시선방향에 디스플레이 위치를 결정함으로써, 상기 결정한 디스플레이 위치에 상기 개체의 정보를 표시할 수 있다.

또한 상기 정보 표시 장치(100)가 자동차의 유리에 적용되는 경우, 상기 자동차의 운전자나 동승자의 시선의 변화추세를 예측하고, 시선의 전방에 펼쳐진 오브젝트 또는 풍경에 대한 설명을 디스플레이할 수 있으며, 도로의 교통상황이나 특정 오브젝트의 정보를 디스플레이할 수 있다. 예를 들어, 옆 차선으로 지나가는 차량의 추월속도를 표시하거나 해당 차량의 차종을 표시할 수도 있으며, 전방에 나타난 교통 표지판의 구체적인 설명을 추가하여 표시해줄 수도 있다. 이 때 상기 정보 표시 장치(100)는 네비게이션 시스템 또는 GPS 시스템과의 연동을 통해 지리정보나 지도정보에 포함된 오브젝트의 위치정보와 사용자의 위치정보의 관계를 기반으로 오브젝트에 대한 위치를 파악할 수 있다.

한편 상기 정보 표시 장치(100)가 상기 자동차 또는 비행기에 적용되는 경우에는 상기 사용자 시선의 이동에 따라 변화하는 시선방향에 오브젝트의 정보를 표시하는 경우, 상기 자동차 또는 비행기를 운전하는 데에 큰 불편함이 생길 수 있다. 이에 따라 상기 정보 표시 장치(100)는 시선방향에 오브젝트의 정보를 표시하지 않고, 전면 유리창의 일부분(예: 아래쪽 또는 양측면)에 표시하거나 측면 유리창에 표시할 수 있다.

이렇듯 상기 정보 표시 장치(100)는 다양한 분야 및 다양한 장소에 적용될 수 있으며, 상기 사용자의 시선을 추적하여, 오브젝트들에 대한 정보 및 이미지를 상기 사용자 시선의 이동에 따라 변화하는 시선방향에 위치하는 오브젝트들에 대한 정보를 상기 투명한 디스플레이에 지연없이 동적으로 표시하여, 상기 사용자에게 상기 오브젝트 정보획득에 대한 지루함이나 불편함 없이 즉각적으로 인지할 수 있도록 한다.

또한 상기 정보 표시 장치(100)는 상기 시선의 방향에 따른 디스플레이 위치에 상기 오브젝트의 상응하는 객체(즉, 해당 오브젝트를 확대 또는 축소한 영상 또는 2D 이미지)를 표시할 수 있으며, 투명디스플레이 또는 유리에 손가락의 위치를 감지할 수 있는 감지센서(미도시)를 구비하여, 상기 사용자가 해당 객체를 터치하는 경우, 이를 감지하여 해당 객체의 정보를 표시할 수도 있다.

이하에서는 상기 시선의 이동속도, 이동경로 및 시선방향을 포함하는 상기 시선이동의 추세에 대한 예측은 도 3을 참조하여 상세히 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 정보 표시 장치를 통해 사용자의 시선방향의 변화에 따른 오브젝트를 디스플레이 위치에 표시하는 방법을 설명하기 위한 도면이다.

도 3에 도시한 바와 같이 상기 정보 표시 장치(100)는 적어도 하나 이상의 전방 카메라(200) 및 적어도 하나의 시선추적 카메라(300)로부터 오브젝트를 포함하는 배경 영상정보와 사용자의 눈 영상정보를 각각 수신한다.

또한 상기 정보 표시 장치(100)는 사용자의 시선방향에 따라 인식되는 오브젝트에 대한 정보를 상기 투명디스플레이(400)에 표시하기 위해, 상기 사용자의 시선을 추적하여, 시선의 이동속도, 이동경로 및 시선방향을 예측하며, 또한 상기 오브젝트의 위치를 실시간으로 추적한다.

또한 상기 오브젝트 위치에 대한 추적은 상기 적어도 하나 이상의 전방 카메라(200)로부터 수집되는 배경 영상정보를 기반으로 수행되는 것이 일반적이지만 상기 정보 표시 장치(100)가 적용되는 분야에 따라 다양하게 적용될 수 있다.

예를 들어, 상기 오브젝트가 고정되어 있는 자판기, 쇼윈도, 박물관 또는 냉장고와 같은 경우, 상기 오브젝트의 위치는 미리 설정된 좌표와 매핑되며, 상기 사용자의 시선방향에 따라 상기 좌표와 매핑된 오브젝트에 대한 정보를 상기 디스플레이 위치에 표시하게 된다.

또한 상기 정보 표시 장치(100)가 자동차에 적용되는 경우에는 네비게이션 시스템 또는 GPS 시스템과의 연동을 통해 지리정보나 지도정보를 기반으로 사용자의 현재 위치정보의 관계로부터 오브젝트에 대한 위치를 파악할 수 있다.

또한 상기 정보 표시 장치(100)가 대형수족관, 박물관 또는 백화점과 같이, 상기 네비게이션 시스템 또는 GPS 시스템과의 연동이 어려운 한정된 장소에 적용되는 경우에는 상기 전방 카메라(200)를 통해 수집되는 배경 영상정보를 기반으로 오브젝트의 위치변화를 직접 추출하여 추적할 수 있다. 즉, 상기 전방 카메라(200)의 프레임 레이트(frame rate)인 초당 프레임 수(frames per second)에 따라, 현재의 프레임과 전 프레임의 차영상을 기반으로 상기 오브젝트의 위치에 대한 변화를 추출한다. 상기 배경 영상정보를 이용하여 오브젝트의 위치를 추적하는 차영상 오브젝트 추적 알고리즘은 기존에 알려진 주지의 기술이므로 상세한 설명은 생략하도록 한다.

또한 상기 사용자의 시선추적은 상기 적어도 하나 이상의 시선추적 카메라(300)로부터 수신되는 사용자의 눈에 대한 영상정보를 기반으로 수행된다. 상기 시선추적은 동공 각막 반사방법을 이용하여 수행됨은 상술한 바와 같다.

또한 상기 정보 표시 장치(100)는 상기 사용자 시선이 이동하는 경우, 상기 사용자의 시선에 대한 이동에 따라 위치를 파악한 상기 오브젝트의 정보를 연속적으로 표시하기 위해 상기 시선이동에 대한 변화추세를 예측하게 된다.

또한 상기 정보 표시 장치(100)는 상기 투명디스플레이(400)의 평면상에서 상기 이동한 시선의 이동경로를 시간에 따라 복수의 구간으로 세밀하게 샘플링하고, 이를 샘플링 테이블로 생성하며, 상기 이동한 시선의 이동경로와 생기 생성한 샘플링 테이블을 참조하여, 시간 상기 시선의 이동에 대한 미래의 변화추세를 미리 예측한다.

한편 상기 예측은 샘플링하는 구간이 많을수록 더욱 정확하게 예측할 수 있으며, 이는 상기 정보 표시 장치(100)를 관리하는 관리자에 따라 달리 설정될 수 있다.

상기 샘플링 테이블은 도 5를 참조하여 상세히 설명하도록 한다.

상기 이동속도에 대한 예측은 다음의 [수학식 1]에 따라 상기 샘플링한 각 구간별로 계산되는 이동속도를 기반으로 예측된다.

[수학식 1]

Vb = F(D(x, y), t)

여기서 Vb는 각 구간별 이동속도, D(x, y)는 상기 시선의 x 및 y 방향으로의 이동거리(변위량) 및 t는 각 구간별로 시선이 이동한 시간을 나타낸다. 또한 상기 F는 상기 각 구간별 이동속도를 구하기 위한 함수로써, 상기 변위량에 상기 이동한 시간을 미분하여 해당 구간에서 상기 시선의 이동속도를 계산한다.

또한 상기 정보 표시 장치(100)는 상기 각 구간별 이동속도를 비교하여, 전체 이동속도에 대한 증감비율을 계산하고, 이를 기반으로 연속하여 이동하는 시선의 이동속도를 예측한다. 한편 상기 시선의 이동속도에 대한 예측은 각 구간별로 계산한 이동속도를 모두 합산하여 평균함으로써, 예측할 수도 있다.

또한 상기 정보 표시 장치(100)는 상기 시선추적에 따라 각 구간별 시선방향의 변화를 검출하여, 이 후 변화할 시선방향에 대한 추세를 예측한다.

또한 상기 정보 표시 장치(100)는 상기 각 구간별 시선의 이동에 대한 벡터를 검출하고, 이를 기반으로 시선의 이동경로에 대한 추세를 예측한다.

또한 상기 정보 표시 장치(100)는 상기 예측한 시선의 이동속도, 이동경로 및 시선방향에 따라 오브젝트 정보를 디스플레이할 상기 디스플레이 위치에 대한 좌표를 산출한다. 또한 상기 예측한 추세에 따라 상기 산출한 좌표에 상기 파악한 오브젝트의 위치와 일치하는 경우에는 상기 결정한 디스플레이 위치에 해당 오브젝트의 정보를 표시한다.

상기 정보 표시 장치(100)에서 수행하는 사용자 시선의 이동에 대한 변화추세를 예측하는 것은 본 발명에 있어서 핵심적인 부분으로 종래의 기술과는 달리 상기 사용자 시선의 이동을 미리 예측하여, 상기 오브젝트의 지연없이 정보를 즉각적으로 표시하기 때문에 상기 사용자는 본인이 응시하는 오브젝트에 대한 정보를 실시간으로 획득할 수 있다.

도 4는 본 발명의 일 실시예에 따른 정보 표시 장치의 구성을 나타낸 블록도이다.

도 4에 도시한 바와 같이 상기 정보 표시 장치(100)는 복수의 카메라(200, 300)로부터 배경 영상정보 및 사용자의 눈 영상정보를 수집하는 정보수집부(110), 상기 수집한 눈 영상정보를 기반으로 시선의 이동경로와 이동속도를 추적하여, 시선의 변화추세를 미리 예측하는 시선 예측부(120), 상기 예측에 따라 시선의 방향에 위치하는 오브젝트를 인식하는 오브젝트 인식부(130), 상기 오브젝트의 정보를 표시하는 오브젝트 정보 표시부(140)를 포함하여 구성된다.

또한 상기 정보수집부(110)는 적어도 하나 이상의 전방 카메라(200) 및 복수의 시선추적 카메라(200)로부터 배경 영상정보 및 사용자의 눈에 대한 영상정보를 각각 실시간으로 수집한다.

상기 전방 카메라(200)는 스트레오 카메라, CCD 카메라 또는 CMOS 카메라로 구성될 수 있으며, 투명디스플레이(400)를 통해 비춰지는 오브젝트를 포함하는 배경에 대한 영상정보를 실시간으로 촬영하여 상기 정보 표시 장치(100)로 전송한다.

또한 상기 시선추적 카메라(200)는 적외선 카메라로 구성되며, 상기 사용자가 상기 투명디스플레이(400)에 접근하는 경우에 적외선 광을 상기 사용자의 눈에 조사하여, 반사되는 반사광을 실시간으로 촬영하여, 상기 사용자의 눈에 대한 영상정보를 실시간으로 상기 정보 표시 장치(100)로 전송한다.

한편 상기 시선추적 카메라(200)는 시선을 추적하기 위한 방법에 따라 적외선 카메라, 뎁쓰 카메라, 스테리오 카메라 또는 이들의 조합으로 구성될 수 있다.

또한 상기 시선추적 카메라(200)는 초음파센서 또는 모션센서 등과 같이 사용자의 움직임을 감지하는 다양한 감지센서와 연동하여, 상기 사용자가 상기 투명디스플레이(400)에 일정한 거리 내로 접근하면, 상기 사용자의 눈 영상정보를 촬영할 수 있다.

또한 상기 시선 예측부(120)는 상기 실시간으로 수집되는 사용자의 눈 영상정보를 기반으로 상기 사용자 시선방향 및 이동경로를 실시간으로 추적하고, 시선 이동에 대한 이동경로, 이동속도 및 시선방향을 미리 예측한다.

또한 상기 시선 예측부(120)는 상기 시선이 이동한 경로를 시간별로 복수의 구간으로 샘플링하여 샘플링 테이블을 생성한다.

또한 상기 시선 예측부(120)는 상기 추적한 시선방향 및 이동경로와 상기 생성한 샘플링 테이블을 기반으로, 각 구간별 시선의 이동속도를 계산하고, 각 구간별 이동방향 및 시선방향을 각각 추출한다.

또한 상기 시선 예측부(120)는 상기 계산한 각 구간별 이동속도와 상기 추출한 각 구간별 이동방향 및 시선방향을 기반으로 연속하여 이동하는 상기 사용자의 시선에 대한 이동경로, 이동속도 및 시선방향을 미리 예측하여, 상기 시선의 이동에 따라 변하는 오브젝트의 정보를 지연없이 표시할 수 있도록 한다.

한편 상기 구간별 이동속도의 계산, 이동방향 및 시선방향에 대한 검출은 도 3을 참조하여 상술하였으므로 상세한 설명은 생략하도록 한다.

또한 상기 오브젝트 인식부(130)는 상기 예측에 따라 시선의 방향에 위치하는 오브젝트의 위치변화를 인식하는 오브젝트 위치 추적부(131) 및 상기 예측에 따라 시선의 방향에 위치하는 오브젝트의 정보를 데이터베이스(500)에서 추출하는 오브젝트 정보 추출부(132)를 포함하여 구성된다.

또한 상기 오브젝트 위치 추적부(131)는 상기 수집한 오브젝트를 포함하는 배경 영상정보를 기반으로 오브젝트의 위치를 파악한다.

상기 오브젝트가 고정되어 있는 경우와는 달리 움직이는 경우에는 실시간으로 수집되는 상기 배경 영상정보의 차영상을 이용하여 상기 움직이는 오브젝트에 대한 위치의 변화를 직접 추출하거나 지리정보나 지도정보에 포함된 오브젝트의 위치정보와 사용자의 현재 위치정보의 관계로부터 상기 오브젝트에 대한 위치의 변화를 추출하여, 상기 움직이는 오브젝트의 위치를 실시간으로 인식한다.

또한 자판기 등과 같이 상기 오브젝트가 고정되어 있는 경우에는 각각의 오브젝트 별로 매핑된 좌표를 이용하여 해당 오브젝트의 위치를 인식할 수 있다.

상기 움직이는 오브젝트의 위치변화를 인식하는 것은 상기 정보 표시 장치(100)가 사용될 수 있는 다양한 분야에 따라 달리 수행될 수 있음은 도 3을 참조하여 상술하였으며, 상세한 설명은 생략하도록 한다.

또한 상기 오브젝트 정보 추출부(132)는 상기 시선 예측부(120)에서 예측한 시선방향에 위치하는 오브젝트의 정보를 데이터베이스(500)로부터 추출하여, 상기 추출한 오브젝트 정보를 상기 투명디스플레이(400)에 표시할 수 있도록 한다.

또한 상기 오브젝트 정보 추출부(132)에서 추출되는 정보는 해당 오브젝트의 명칭을 포함하는 특징정보로 구성되며, 상기 특징정보는 상기 정보 표시 장치(100)가 적용되는 분야에 따라 다양하게 구성될 수 있음은 물론이다.

또한 상기 오브젝트 정보는 통신인터페이스(미도시)를 통해 네비게이션 시스템, GPS 시스템 또는 자체 운용 서버 시스템 등과 같이 다양한 시스템으로부터 제공받을 수 있다.

또한 상기 오브젝트 정보 표시부(140)는 상기 예측한 사용자의 시선방향과 이동경로에 상기 인식한 오브젝트의 위치가 일치하는 경우, 상기 사용자의 시선방향에 따라 상기 투명디스플레이(400)에 상기 오브젝트의 정보를 출력할 위치를 결정한다.

또한 상기 오브젝트 정보 표시부(140)는 상기 인식한 오브젝트에 상기 예측한 시선의 방향을 상기 오브젝트에 일직선으로 연결하였을 때, 상기 직선과 만나는 상기 투명디스플레이(400)의 부분을 선택하여 상기 디스플레이 위치를 결정하며, 상기 선택은 상기 예측한 시선방향에 따라 실시간으로 달라질 수 있다. 즉, 상기 오브젝트 정보 표시부(140)는 상기 오브젝트를 향하는 시선의 방향과 교차하는 디스플레이의 위치에 오브젝트 정보를 표시한다.

또한 상기 오브젝트 정보 표시부(140)에 의해 결정된 디스플레이 위치는 상기 투명디스플레이(400)에 상기 오브젝트 정보가 디스플레이될 좌표로 구성될 수 있으며, 상술한 예와 같이, 프로젝터(600)를 통해 상기 오브젝트 정보를 표시하는 경우에는 상기 좌표를 상기 프로젝터(600)에 입력하여, 정확한 위치에 표시될 수 있도록 한다.

또한 상기 출력부(160)는 상기 수집한 배경 영상정보를 기반으로 해당 디스플레이 위치의 배경에 대한 픽셀의 색(RGB 또는 YUV)을 추출하고, 상기 추출한 해당 픽셀의 색에 대한 보색을 선택하여, 상기 선택한 보색을 상기 오브젝트 정보의 색으로 하여 표시할 수 있다.

도 5는 본 발명의 일 실시예에 따른 샘플링 테이블을 나타낸 도면이다.

도 5에 도시한 바와 같이, 상기 정보 표시 장치(100)는 과거에 추적한 상기 사용자의 시선에 대한 이동을 추적한 시선의 이동경로와 이동속도를 기반으로, 시간에 따른 샘플링 테이블을 생성하고, 상기 추적한 시선의 이동경로와 상기 생성한 샘플링 테이블을 이용함으로써, 연속하여 이동하는 사용자 시선의 변화추세를 예측한다.

도 5에 나타낸 투명디스플레이(400)의 검은색 라인은 이미 사용자의 시선에 대한 이동을 추적한 시선의 이동경로를 나타내며, 빨간색 라인은 시선의 변화추세를 예측하여 나타낸 이동경로를 나타낸다.

또한 상기 정보 표시 장치(100)는 상기 추적한 시선의 이동경로를 시간에 따라 복수의 구간으로 세밀하게 샘플링하고, 샘플링 테이블을 생성한다.

한편 각 구간은 단위 시간별로 샘플링 되거나, 서로 다른 시간으로 각각 샘플링될 수 있다.

상기 샘플링 테이블은 시간에 따른 구간별 변위량(D(x, y)), 구간별 이동속도 및 구간별 이동방향을 포함하여 구성된다.

또한 상기 구간별 변위량은 상기 시선의 이동거리를 나타내는 것으로, 상기 투명디스플레이(400)에 미리 설정된 x, y 좌표평면 상에서 이동한 거리를 계산한 것이다.

또한 상기 구간별 이동속도는 상기 구간별 이동거리에 상기 각 구간별로 적용된 시간을 나눔으로써, 계산된다.

상기 정보 표시 장치(100)는 상기 계산한 구간별 이동속도를 인접한 구간의 이동속도와 대비하여, 상기 이동속도의 증가 또는 감소에 대한 차이를 계산하고, 이를 기반으로 상기 이동속도에 대한 추세를 예측할 수 있다. 예를 들어, 상기 대비결과 상기 이동속도의 증가 또는 감소가 0인 경우에는 일정한 속도로 시선이 이동하는 것을 알 수 있으므로, 상기 시선의 변화추세를 예측할 때 상기 이동속도는 이전의 속도와 동일하게 이동하는 것으로 예측할 수 있다.

또한 상기 이동방향은 방향벡터로 구성되며, 상기 방향벡터는 각 구간에 대한 기울기의 방향을 나타내는 것이다. 상기 기울기의 방향은 상기 시선의 이동에 대한 이동방향을 나타낸다. 이를 통해, 상기 정보 표시 장치(100)는 상기 각 구간별 방향벡터를 검출하고, 상기 방향벡터가 향하는 방향을 기반으로 이동경로에 대한 추세를 예측할 수 있다.

한편 상기 x에 대한 변위량이 0인 경우에는, 상기 기울기의 방향을 검출할 수기 없다. 이는 상기 기울기의 값이 무한대가 되기 때문이다. 따라서 본 발명에서는 상기 구간별 이동거리를 계산할 때, x의 변위량이 0인 경우 상기 방향벡터가 y 방향성분만을 가지는 것으로 간주하며, y에 대한 변위량이 0인 경우, 상기 방향벡터는 x방향성분만을 가지는 것으로 간주한다. 이를 통해 상기 정보 표시 장치(100)는 상기 시선이 특정 구간에서 수직방향으로만 이동하였을 때에도 해당 구간의 이동속도 및 이동방향을 각각 추출할 수 있다.

또한 상기 방향벡터가 음의 값을 가지는 경우에는 상기 시선이 그동안 이동한 방대방향으로 이동하는 것으로 간주한다.

또한 시선방향은 상기 이미 사용자의 시선에 대한 이동을 추적하였으므로, 각 구간별 시선방향을 알 수 있으며, 상기 각 구간별 시선방향의 변화에 대한 패턴을 기반으로, 상기 시선방향의 추세를 예측한다.

도 6은 본 발명의 일 실시예에 따른 시선변화의 추세를 예측하여, 오브젝트의 정보를 연속적으로 표시하는 절차를 나타내는 흐름도이다.

도 6에 도시한 바와 같이, 사용자의 시선이동에 대한 시선의 변화추세를 예측하여 오브젝트의 정보를 연속적으로 표시하는 절차는 우선, 정보수집부(110)를 통해 영상정보를 수집한다(S110).

상기 영상정보는 오브젝트를 포함하는 배경 영상정보와 사용자의 눈 영상정보를 의미하며, 전방 카메라(200) 및 시선추적 카메라(300)로부터 각각 실시간으로 수집된다.

또한 상기 수집되는 영상정보는 특정 시간 이상 저장된 경우, 자동적으로 삭제될 수 있으며, 이는 상기 정보 표시 장치(100)를 관리하는 관리자에 따라 달리 설정할 수 있음은 물론이다. 한편 상기 저장된 영상정보의 삭제는 상기 고용량의 영상정보를 저장하기 위한 상기 데이터베이스(500)의 부하를 방지하기 위해 수행된다.

다음으로 상기 수집한 배경 영상정보를 기반으로 오브젝트 위치 추적부(131)를 통해 오브젝트의 위치를 실시간으로 인식한다(S120).

상기 오브젝트의 위치에 대한 인식은 고정된 오브젝트의 경우에는 미리 설정된 매핑좌표를 기반으로 수행되며, 동적으로 움직이는 오브젝트의 경우에는 상기 배경 영상정보를 이용한 차영상을 기반으로 상기 오브젝트의 위치를 인식할 수 있다.

한편 상기 오브젝트에 대한 위치의 인식은 상기 정보 표시 장치(100)가 적용되는 장소, 분야 또는 용도에 따라 다양한 방법으로 파악될 수 있음은 상술한 바와 같다.

다음으로 시선 예측부(120)를 통해 상기 수집한 눈 영상정보를 기반으로, 상기 사용자의 시선을 추적하고, 상기 시선의 이동에 따른 시선의 방향, 이동경로 및 이동속도를 예측한다(S130).

상기 시선추적 방법은 동공 각막 반사방법을 적용하여 시선방향을 추적한다.

또한 상기 시선의 이동경로는 상기 시선이 이동한 구간을 복수의 구간으로 샘플링하여, 각 구간별 이동방향 및 시선방향을 검출하며, 또한 상기 샘플링한 각 구간별로 시선의 이동속도를 계산하고, 각 구간별 이동속도를 비교함으로써, 이동속도의 증감에 대한 추세를 예측한다. 이를 기반으로, 이후의 연속적으로 이동하는 상기 시선의 이동경로, 시선방향 및 이동속도를 예측한다.

다음으로 상기 정보 표시 장치(100)는 상기 예측한 이동경로 및 시선방향에 상기 인식한 오브젝트가 위치하는지에 대한 여부를 판단한다(S140).

다음으로 상기 판단결과 상기 예측한 이동경로 및 시선방향에 상기 인식한 오브젝트가 위치하는 경우(S140), 오브젝트 정보 표시부(140)를 통해, 해당 오브젝트의 정보를 출력할 디스플레이 위치를 결정한다(S150).

다음으로 상기 오브젝트 정보 표시부(140)를 통해 상기 예측한 이동속도에 따라 상기 오브젝트의 정보를 디스플레이 한다(S160).

한편 상기 오브젝트 정보 표시부(140)는 상기 수집한 영상정보를 기반으로 상기 투명디스플레이(400)를 통해 비춰지는 배경색에 따라 상기 표시할 오브젝트 정보에 대한 색을 달리하여 디스플레이할 수 있다.

또한 상기 오브젝트 정보 표시부(140)는 상기 예측한 이동경로와 시선방향 및 이동속도에 따라, 상기 이동경로의 방향에 위치하는 복수의 오브젝트들에 대한 정보를 미리 출력할 수도 있다.

이상에서 설명하였듯이, 본 발명인 시선의 이동에 따라 오브젝트의 정보를 연속적으로 표시하는 장치 및 방법은 투명디스플레이를 이용하여 오브젝트를 인지하는 사용자의 시선에 대한 이동경로 및 시선방향을 미리 예측하여, 상기 시선의 이동에 따라 비춰지는 오브젝트들에 대한 정보를 지연없이 연속적으로 표시할 수 있도록 함으로써, 상기 사용자가 상기 오브젝트들에 대한 정보를 즉각적으로 인지할 수 있는 효과가 있다.

상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100 : 정보 표시 장치 110 : 정보수집부
120 : 시선 예측부 130 : 오브젝트 인식부
131 : 디스플레이 위치 추적부 132 : 오브젝트 정보 추출부
140 : 오브젝트 정보 표시부 200 : 전방 카메라
300 : 시선추적 카메라 400 : 투명디스플레이
500 : 데이터베이스 600 : 프로젝터

Claims (12)

1. 사용자 눈 영상정보를 기반으로 시선방향 및 시선의 이동경로를 추적하고, 상기 시선이 이동한 이동경로를 복수의 구간으로 샘플링하여 각 구간별 이동속도를 계산하고, 각 구간별 시선의 이동속도, 이동경로 및 시선방향을 추출함으로써 시선의 이동속도를 반영한 향후 시선의 이동경로 및 시선방향을 포함하는 시선의 변화추세를 미리 예측하는 시선 예측부;
   상기 예측에 따른 시선의 이동속도를 반영한 시선의 이동경로 및 시선방향에 위치하는 오브젝트를 인식하는 오브젝트 인식부; 및
   상기 인식한 오브젝트를 향하는 상기 시선의 이동속도를 반영한 시선방향과 교차하는 디스플레이의 위치에 오브젝트 정보를 표시하는 오브젝트 정보 표시부;를 포함하며,
   상기 오브젝트 인식부는,
   상기 예측에 따라 시선의 이동속도를 반영한 시선의 이동경로 및 시선방향에 위치하는 오브젝트의 위치변화를 인식하되, 전방 카메라로부터 수집되는 오브젝트를 포함하는 배경영상으로부터 위치의 변화를 직접추출하거나, 지리정보나 지도정보에 포함된 오브젝트의 위치정보와 사용자의 현재 위치정보의 관계로부터 추출하는 오브젝트 위치 추적부; 및
   상기 예측에 따라 시선의 이동속도를 반영한 시선의 이동경로 및 시선방향에 위치하고, 해당 오브젝트의 명칭을 포함한 특징정보를 포함하는 오브젝트의 정보를 데이터베이스에서 추출하는 오브젝트 정보 추출부;를 더 포함하며,
   상기 계산된 시선의 이동속도를 반영한 향후 시선의 이동경로 및 시선방향을 포함하는 상기 예측한 시선의 변화추세에 따라 상기 인식한 오브젝트의 정보를 연속적으로 표시하며,
   상기 각 구간별 이동속도는 상기 시선의 이동거리에 각 구간별 시선이 이동한 시간을 미분하여 해당 구간에서의 상기 시선의 이동속도를 계산하는 것을 특징으로 하는 정보 표시 장치.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 사용자 눈 영상정보를 기반으로 시선의 이동경로와 시선방향을 추적하는 적어도 하나 이상의 시선추적 카메라;
   전방의 영상을 촬영하는 적어도 하나 이상의 전방 카메라; 및
   상기 시선이 이동한 이동경로를 복수의 구간으로 샘플링하여 각 구간별 이동속도를 계산하고, 각 구간별 시선의 이동속도, 이동경로 및 시선방향을 추출함으로써 시선의 이동속도를 반영한 향후 시선의 이동경로 및 시선방향을 포함하는 시선의 변화추세를 미리 예측하여, 상기 예측에 따른 시선의 이동속도를 반영한 시선의 이동경로 및 시선방향에 위치하는 오브젝트의 정보를 상기 계산된 시선의 이동속도를 반영한 향후 시선의 이동경로 및 시선방향을 포함하는 상기 예측한 시선의 변화추세에 따라 표시하는 투명한 디스플레이;를 포함하며,
   상기 시선추적 카메라는, 적외선 카메라, 뎁쓰 카메라, 스테레오 카메라 또는 이들의 조합을 포함하며,
   상기 오브젝트의 정보를 표시하는 것은, 투명 디스플레이에 표시하거나, 유리, 플라스틱 또는 비닐을 포함하여 투명한 재질로 된 면에 프로젝터를 이용하여 표시하며,
   상기 각 구간별 이동속도는 상기 시선의 이동거리에 각 구간별 시선이 이동한 시간을 미분하여 해당 구간에서의 상기 시선의 이동속도를 계산하는 것을 특징으로 하는 정보 표시 장치.
7. 삭제
8. 삭제
9. 사용자 눈 영상정보를 기반으로 시선방향 및 시선의 이동경로를 추적하고, 상기 시선이 이동한 이동경로를 복수의 구간으로 샘플링하여 각 구간별 이동속도를 계산하고, 각 구간별 이동방향과 시선방향을 추출함으로써 향후 시선의 이동경로 및 시선방향을 포함하는 시선의 변화추세를 미리 예측하는 시선 예측 단계;
   상기 예측에 따라 시선의 이동경로 및 시선의 방향에 위치하는 오브젝트를 인식하는 오브젝트 인식 단계; 및
   상기 인식한 오브젝트를 향하는 시선의 방향과 교차하는 디스플레이의 위치에 상기 계산된 시선의 이동속도와 상기 예측한 시선의 변화추세에 따라 상기 인식한 오브젝트 정보를 표시하는 오브젝트 정보 표시 단계;를 포함하며,
   상기 오브젝트 인식 단계는,
   상기 예측에 따라 시선의 이동경로 및 시선의 방향에 위치하는 오브젝트의 위치변화를 인식하되, 전방 카메라로부터 수집되는 오브젝트를 포함하는 배경영상으로부터 위치의 변화를 직접추출하거나, 지리정보나 지도정보에 포함된 오브젝트의 위치정보와 사용자의 현재 위치정보의 관계로부터 추출하는 오브젝트 위치 추적 단계; 및
   상기 예측에 따라 시선의 이동경로 및 시선의 방향에 위치하는 오브젝트의 정보를 데이터베이스에서 추출하는 오브젝트 정보 추출 단계;를 더 포함하며,
   상기 계산된 시선의 이동속도를 반영한 향후 시선의 이동경로 및 시선방향을 포함하는 상기 예측한 시선의 변화추세에 따라 상기 인식한 오브젝트의 정보를 연속적으로 표시하며,
   상기 각 구간별 이동속도는 상기 시선의 이동거리에 각 구간별 시선이 이동한 시간을 미분하여 해당 구간에서의 상기 시선의 이동속도를 계산하는 것을 특징으로 하는 정보 표시 방법.
10. 삭제
11. 삭제
12. 삭제

Images