KR102213865B1

KR102213865B1 - 주시 영역 기반 객체 식별 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체

Info

Publication number: KR102213865B1
Application number: KR1020140031521A
Authority: KR
Inventors: 전혁준; 신형철; 장언동; 전병기
Original assignee: 에스케이플래닛 주식회사
Priority date: 2014-03-18
Filing date: 2014-03-18
Publication date: 2021-02-08
Also published as: KR20150108575A

Abstract

본 발명은 주시 영역에 기반한 객체 식별 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체를 개시한다. 즉, 본 발명은 디스플레이에 표시된 컨텐츠를 응시하는 눈동자의 위치 정보를 수집하고, 검출된 눈동자의 위치에 따라 관심 영역을 설정하며 관심 영역 내의 객체를 확인할 수 있다. 이러한 방법을 사용함으로써 기존의 이미지 검색에 비해 신속하고 정확한 검색이 가능하다.

Description

주시 영역 기반 객체 식별 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체{Apparatus identifying the object based on observation scope and method therefor, computer readable medium having computer program recorded therefor}

본 발명은 주시 영역 기반 객체 식별 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로, 특히 사용자가 주시하는 영역을 중심으로 관심 영역을 설정하고 해당 관심 영역을 객체 후보 영역으로 하여 객체를 식별 및 검색하는 주시 영역 기반 객체 식별 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.

디지털 컨텐츠에 대한 수요가 증가하면서 우리 주변에는 방대한 양의 멀티미디어 컨텐츠(비디오, 음악, 영상, 이미지 등)가 끈임 없이 생성, 제작, 유통 및 서비스되고 있다. 그 중에서도 디지털 영상 및 이미지는 고성능, 휴대용 디지털 카메라의 보급과 대용량 저장장치나 휴대용 저장매체의 가격하락과 함께 가히 폭발적으로 그 수가 증가하고 있다. 이에 따라 이러한 영상 및 이미지가 포함하고 있는 정보를, 필요시 효율적으로 찾아내고 원하는 대상을 다른 것과 정확하게 식별하고 분류하여 검색하는 서비스 장치, 사용자 장치 및 방법에 대한 수요도 점점 늘어나고 있다.

이에 따라 특정한 목적을 가지고 사물을 관찰하는 경우, 영상 또는 이미지 내에서 관심의 대상이 되는 영역인 관심 영역(region-of-interest: ROI)에 대한 집중도가 그렇지 않은 영역에 비해 높으므로 아이 트래킹을 통한 관심 영역의 검출에 대한 기술이 활용되고 있다.

아이 트래킹 기술은 전면 카메라 및 아이 트래킹 센서를 통하여 안구의 움직임(시선)을 검출한 후 검출된 안구의 움직임에 따라 사용자가 원하는 특정 동작을 수행하는 기술이다. 예를 들어, 사용자가 단말기를 사용하기 위해 화면을 바라보면 자동으로 전원이 온되거나 화면에서 눈을 떼면 자동으로 슬립모드로 진입하는 동작을 수행할 수 있다. 또한, 사용자가 눈을 깜박이거나 눈동자의 좌우 움직임에 따라 스크롤이나 페이지 넘김 등을 수행할 수도 있을 것이다.

그러나 아이 트래킹을 통한 관심 영역의 검출은 관심 영역 내에 존재하는 객체의 식별정보를 확인하고 이와 유사도가 높은 이미지를 검색하여 그 결과를 제시하지는 않으므로 사용자에 의한 별도의 객체 식별 요청이 필요하다.

본 발명의 목적은 아이 트래킹을 통해 관심 영역을 선택하고, 선택된 관심 영역에 한하여 객체를 검출하므로, 전체 이미지 또는 영상에 대한 객체 검출에 비해 신속하고 정확하게 객체를 검출하는 주시 영역 기반 객체 식별 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체를 제공하는데 있다.

본 발명의 다른 목적은 관심 영역에 대한 객체를 검출하여 객체에 대한 정보를 관심 영역 데이터베이스에 저장하고 객체에 대응되는 웹페이지 정보가 존재하는 경우 해당 웹페이지 정보도 연동하여 저장하고 이를 제공하는 주시 영역 기반 객체 식별 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체를 제공하는데 있다.

본 발명의 실시예에 따른 주시 영역 기반 객체 식별 장치는 컨텐츠가 표시된 디스플레이 상의 시선을 감지하여 시선 대응 영역을 추출하는 시선 대응 영역 추출부; 시선 대응 영역을 기준으로 관심 영역을 선택하는 관심 영역 선택부; 및 관심 영역 내의 객체를 식별하는 검색부:를 포함한다.

본 발명과 관련된 일 예로서 식별된 객체의 정보를 바탕으로 유사도가 높은 이미지를 검색하고 그 결과를 제공하는 데이터베이스;를 더 포함한다.

본 발명과 관련된 일 예로서 컨텐츠는 텍스트, 사진, 동영상 및 웹페이지를 포함한다.

본 발명의 실시예에 따른 주시 영역 기반 객체 식별 방법은 디스플레이 상에 표시된 컨텐츠를 응시하는 사용자의 시선 각도 정보에 따른 관찰 영상의 위치 정보를 누적하는 시선 확인 단계; 누적된 위치 정보를 기준으로 관심 영역(ROI)을 설정하는 관심 영역 설정 단계; 관심 영역의 특징을 추출한 후 객체 식별을 위한 검색부를 통해 객체 식별 정보를 확인하는 객체 확인 단계; 및 식별된 객체 정보를 기반으로 미리 구성된 관심 영역 데이터베이스로부터 유사도가 이미지를 검색하여 그 결과를 획득하는 검색 단계;를 포함한다.

본 발명과 관련된 일 예로서 객체 확인 단계는 관심 영역과 해당 관심 영역에 대해 추출된 특징과 식별된 객체에 대한 정보를 관심 영역 데이터베이스에 저장하며, 객체에 대응되는 웹페이지 정보가 존재할 경우 해당 웹페이지 정보를 연동하여 관심 영역 데이터베이스에 저장하는 단계;를 포함한다.

본 발명과 관련된 일 예로서 검색 단계에서 획득된 관심 영역의 검색 결과는 유사도가 이미지와 해당 관심 영역에 대응되는 웹페이지 정보를 구비하며, 대응되는 웹페이지 정보를 제공한다.

본 발명과 관련된 일 예로서 시선 확인 단계는 시간이 경과함에 따라 사용자의 시선에 따른 시선 위치 정보를 나타내는 지표점을 누적하는 방식으로 실행된다.

컴퓨터 프로그램이 기록된 기록매체에는 상술한 실시예에 따른 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.

본 발명은 아이 트래킹(eye tracking)을 통해 관심 영역을 선택하고, 선택된 관심 영역에 한하여 객체를 검출하므로, 전체 이미지 또는 영상에 대한 객체 검출에 비해 신속하고 정확하게 객체를 검출할 수 있는 효과가 있다.

또한, 본 발명은 관심 영역에 대한 객체를 검출하여 객체에 대한 정보를 관심 영역 데이터베이스에 저장하고 객체에 대응되는 웹페이지 정보가 존재하는 경우 해당 웹페이지 정보도 연동하여 저장하고 이를 제공할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따라 시선 대응 영역을 추출하기 위한 아이 트래커를 도시한 도면이다.
도 2는 본 발명의 실시예에 따라 이미지에 대한 사용자의 관찰 영역의 위치 정보를 누적하는 단계를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따라 이미지에 대한 사용자의 관심 영역을 설정하는 단계를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 객체 식별 장치를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 객체의 식별 및 검색을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 객체 식별 및 검색 방법을 나타낸 순서도이다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 본 발명의 실시예에 따라 시선 대응 영역을 추출하기 위한 아이 트래커를 도시한 도면이다. 아이 트래커(100)는 사용자의 시선에 대응하는 영역을 추출하기 위해 사용된다.

아이 트래커(100)는 사용자의 얼굴 인식을 수행하면서 얼굴의 눈동자에 자동 포커싱을 수행할 수 있다. 자동 포커싱이 완료되면 아이 트래커(100)는 눈동자를 포함하는 얼굴 영상을 수집할 수 있다.

아이 트래커(100)는 내부에 저장된 아이 트래킹 알고리즘을 참조할 수 있다. 먼저 아이 트래커(100)는 영상의 얼굴 분석을 수행하여 얼굴의 눈동자 부위 추출을 수행한다. 그리고 눈동자 부위에서 눈동자가 바라보는 시선 각도를 확인한다.

신뢰성 있는 위치 측정을 위해 눈동자의 시선 위치 정보를 수집하기 전에 아이 트래커(100)는 초기에 위치 설정을 실행할 수 있다. 아이 트래커(100)는 이를 통해 사용자의 시선 위치 정보가 디스플레이(200)의 영역 중 어느 부위를 바라보는지를 확인, 보정할 수 있다.

도 2는 본 발명의 실시예에 따라 이미지에 대한 사용자의 관찰 영역의 위치 정보를 누적하는 단계를 나타내는 도면이고, 도 3은 본 발명의 실시예에 따라 이미지에 대한 사용자의 관심 영역을 설정하는 단계를 나타내는 도면이다.

본 발명의 아이 트래킹 기능은 일정 주기에 따라 운용되거나 실시간으로 적용될 수 있다. 이에 따라 아이 트래커(100)는 일정 주기에 따라 수집되는 시선 위치 정보에 대응하는 디스플레이(200)의 해당 영역을 추출할 수 있다.

구체적으로, 아이 트래커(100)가 일정 주기(예를 들어, 0.2초)에 따라 전달되는 시선 위치 정보를 추출하는 경우, 일정 주기 별로 시선 위치 정보를 추출하여 디스플레이부(200)의 해당 영역에 시선 대응 영역을 표시하고 이를 누적할 수 있다.

예를 들어, 아이 트래킹 모드가 실행되는 순간을 0초로 상정하고, 0.2초 후의 시선 위치 정보를 추출하여 지표점(400)을 선정하고, 다시 0.2초 후의 시선 위치 정보를 추출하여 지표점(400)을 선정한다. 시간이 경과함에 따라 디스플레이(200)에는 사용자의 시선에 따른 시선 위치 정보를 나타내는 지표점(400)이 누적된다.

시선 위치 정보 추출은 일정 주기마다 반복되므로, 사용자의 시선이 집중되는 영역, 예를 들어 미리 정해진 횟수 이상으로 해당 영역에 시선 위치 정보가 추출되는 경우, 해당 영역은 객체 식별 장치(600)에 의해 사용자에 있어서 관심 영역으로 판단될 수 있다.

도 2에서는 사용자의 얼굴, 넥타이, 가방, 비행기, 구름, 건물 및 캐리어에 사용자의 시선이 집중됨을 알 수 있다. 이 중에서 집중되는 사용자의 시선 위치 정보가 미리 정해진 기준 이상인 경우, 도면에서는 얼굴, 넥타이, 가방 및 캐리어를 관심 영역으로 판단할 수 있다.

관심 영역인지 여부에 대한 구체적인 판단 기준은 밀집도를 예로 들 수 있다. 즉, 디스플레이(200)에 인식되는 사용자의 시선 위치 정보가 디스플레이(200)에는 지표점(400)으로 나타날 수 있고, 전체 디스플레이(200)에서 이러한 복수의 지표점(400)의 밀집도가 미리 정해진 범위 이상인 영역을 관심 영역으로 판단할 수 있다.

또한 관심 영역의 판단 기준인 지표점(400)의 밀집도는 상대적인 것으로 설정될 수 있다. 즉, 디스플레이(200)에 인식되는 사용자의 시선 위치 정보 중에 지표점(400)의 밀집도가 높은 순으로 몇 개의 영역에 대해서 관심 영역으로 판단할 수도 있다.

이와 같이 아이 트래킹을 수행하여 별다른 터치 동작이나 입력 버튼 제어 동작을 수행하지 않고도 사용자의 시선이 집중되는 영역을 파악할 수 있어, 신뢰성이 우수한 관심 영역의 설정이 가능하다.

도 3에서 장방형으로 형성된 관심 영역의 모서리의 설정 기준은 시선 위치 정보에 의해 형성되는 지표점(400)의 밀집도가 미리 정해진 범위 이하인 경우로 설정될 수 있다. 즉, 지표점(400)의 밀집도가 높은 영역의 면적이 클수록, 이에 대응하여 관심 영역으로 설정되는 영역의 면적도 증가할 수 있다.

도 3에서는 얼굴(501), 넥타이(502), 가방(503) 및 캐리어(504)가 관심 영역으로 설정되었으나 관심 영역의 설정 기준에 따라 더 많은 객체가, 또는 더 적은 수의 객체가 관심 영역으로 설정될 수도 있을 것이다.

도 3에서 관심 영역이 설정되었으나 이는 지표점(400)의 밀집도에 의한 기준에 의해 관심 영역의 위치가 어디인지가 선택된 것으로, 현 단계에서 객체 식별 장치(600)가 각각의 관심 영역 내의 객체를 식별, 즉, 사람의 얼굴, 넥타이, 가방 및 캐리어임을 식별한 것은 아니다.

관심 영역 내의 객체를 식별하는 과정에 대해서는 도 4를 참조하여 설명한다. 도 4는 본 발명의 실시예에 따른 객체 식별 장치를 나타내는 도면이다.

본 발명의 실시예에 따른 객체 식별 장치(600)는 시선 대응 영역 추출부(610), 관심 영역 선택부(620), 검색부(630) 및 데이터베이스(640)를 포함할 수 있다.

시선 대응 영역 추출부(610)는 아이 트래커(100)가 추출한 사용자의 시선 위치 정보를 수집하여 시선이 집중되는 영역을 추출할 수 있다. 즉, 관심 영역 후보군을 선정할 수 있다.

관심 영역 선택부(620)는 시선 대응 영역 추출부(610)에서 추출된 관심 영역 후보군 중에서 미리 정해진 기준 이상으로 시선이 집중되는 영역을 관심 영역으로 선택할 수 있다.

검색부(630)는 관심 영역 내의 객체의 특징을 추출하는 기능을 수행한다.

이를 위해 하나 이상의 테스트 세트(미도시)와 연결되어 각각의 객체를 학습한다.

예를 들어, 복수의 테스트 세트가 검색부(630)와 연결되어, 제1 검색부는 사람의 얼굴을 검색하고, 이를 위해 제1 테스트 세트는 제1 검색부가 얼굴에 대한 학습이 가능하도록 여러 얼굴에 대한 데이터를 제1 검색부에 제공하여 제1 검색부가 얼굴을 검색할 수 있도록 한다.

제2 검색부는 가방을 검색하고, 이를 위해 제2 테스트 세트는 제2 검색부가 가방에 대한 학습이 가능하도록 여러 가방에 대한 데이터를 제2 검색부에 제공하여 제2 검색부가 가방의 형상을 검색할 수 있도록 한다.

제3 검색부는 캐리어를 검색하고, 이를 위해 제3 테스트 세트는 제3 검색부가 캐리어에 대한 학습이 가능하도록 여러 캐리어에 대한 데이터를 제3 검색부에 제공하여 제3 검색부가 캐리어의 형상을 검색할 수 있도록 한다.

제4 검색부는 구두를 검색하고, 이를 위해 제4 테스트 세트는 제4 검색부가 구두에 대한 학습이 가능하도록 여러 구두에 대한 데이터를 제4 검색부에 제공하여 제4 검색부가 구두의 형상을 검색할 수 있도록 한다.

객체 및 이미지의 크기는 매번 상이할 수 있으며, 동일한 객체인 경우에도 이미지(300)의 크기에 따라 이미지(300) 내에서 차지하는 크기가 상이할 수 있으므로 테스트 세트는 검색부(630)가 하나의 객체가 갖는 여러 사이즈에 대해 학습하도록 한다.

이러한 과정을 통해 학습된 검색부(630)는 이미지(300) 내에서 관심 영역 내의 객체를 검색할 수 있게 된다. 다른 이미지에서도 검색부(630)는 해당 객체를 자동으로 식별, 검색할 수 있게 되어 사람이 이미지마다 관심 영역 내의 객체를 일일이 검색하지 않아도 된다.

이와 같이 관심 영역으로 선별된 영역에 대해서만 검색부(630)가 객체를 검색하므로 신뢰성이 개선될 수 있고, 검색 속도가 향상될 수 있다. 이러한 객체의 검색에 의해 객체가 무엇인지를 식별할 수 있게 된다.

데이터베이스(640)는 식별된 객체 정보와 추출된 객체의 특징을 바탕으로 유사도가 높은 이미지를 검색하고 그 결과를 제공한다.

데이터베이스(640)는 관심 영역에 대해 추출된 특징과 식별된 객체에 대한 정보를 저장하며, 객체에 대응하는 웹페이지 정보가 존재하는 경우, 해당 웹페이지의 정보도 연동하여 데이터베이스(640)에 저장한다.

도 5는 본 발명의 실시예에 따른 객체의 식별 및 검색을 나타내는 도면이다.

도 5에서는 캐리어(504)를 예로 들어 설명한다. 캐리어(504)가 관심 영역으로 선택되면 검색부(630)는 관심 영역 내의 객체인 캐리어(504)의 특징 정보를 추출한다. 특징 정보로는 색상, 비율, 형상, 크기 등의 정보를 포함할 수 있다. 검색부(630)는 추출한 특징 정보를 바탕으로 객체를 식별할 수 있다. 이에 의해, 관심 영역 내의 객체가 캐리어임을 확인한다.

이와 같이, 사용자가 주시하는 관심 영역에 대한 특징을 추출하여 데이터베이스(640)에 객체 정보를 포함하는 해당 웹페이지 링크와 연동하여 저장한 후, 관심 영역의 특징과 유사성이 높은 특징을 검색하여 유사 이미지(510) 및 관련 웹페이지(520)를 검색 결과로 제공할 수 있게 된다.

도 6은 본 발명의 실시예에 따른 객체 식별 및 검색 방법을 나타낸 순서도이다. 처음으로, 아이 트래킹 모드를 실행하고(S100), 시선 각도 정보에 따른 이미지의 위치 정보를 누적한다(S200). 이에 따라 아이 트래커(100)는 인식된 얼굴에서 눈 부위를 추출하고, 해당 눈 부위에서 눈동자의 시선 각도에 대한 정보를 수집할 수 있다.

구체적으로, 동공(pupil)은, 눈의 중심 부분이며 홍채(iris)에 의하여 둘러써여 있는 동그란 부분이다. 동공은, 눈의 다른 부분에 비하여 어두우며, 동양인의 경우 통상적으로 검은색이다.

사용자의 시선은, 동공과 밀접한 관련이 있을 수 있다. 예를 들어, 사용자가 관심을 가지고 주시하는 지점은 동공의 중심점이 향하는 방향과 실질적으로 일치할 수 있음을 의미한다.

동공의 중심점은, 획득한 눈의 이미지에서, 중심에 위치하며 상대적으로 어두운 형태 및/또는 색상 상의 특징에 기초하여 추출될 수 있다. 예를 들어, 둥근 형태의 동공의 이미지의 중심지점을 동공의 중심점으로 결정할 수 있다.

얼굴의 움직임은 카메라(110)를 통하여 촬영한 사용자의 얼굴 이미지를 통하여 감지할 수 있다. 즉, 얼굴 이미지에서 이마, 눈, 코, 입, 귀 등 특징적인 요소에 기초하여 얼굴의 지향방향을 추출할 수 있다.

얼굴의 움직임과 산출한 동공의 중심점에 기초하여 시선 방향을 산출할 수 있다. 예를 들어, 사용자가 현재 디스플레이(200)의 어느 지점을 응시하고 있는지를 판단할 수 있다. 이와 같이 디스플레이(200)에 표시된 컨텐츠를 응시하는 사용자의 시선 방향 및 위치를 산출할 수 있게 된다.

컨텐츠는 텍스트, 사진, 영상(영화, 음악 및 웹 페이지를 포함할 수 있다. 아이 트래킹 모드는 컨텐츠가 화면에 표시된 후에 선택될 수 있다.

사용자의 시선 각도 정보에 따른 이미지의 위치 정보는 일정 주기로 수집되는 시선 위치 정보를 근거로 하여 누적될 수 있다. 예를 들어, 일정 주기로 사용자의 시선에 대응하여 디스플레이(200)에 지표점(400)을 생성하고, 이러한 복수의 지표점(400)이 디스플레이(200)에 누적된다.

다음으로, 누적된 위치 정보를 기준으로 관심 영역을 설정한다(S300). 관심 영역의 설정 여부 기준은 디스플레이의 복수의 지표점(400)의 밀집도일 수 있다. 즉, 밀집도가 미리 정해진 범위 이상인 영역을 관심 영역으로 설정할 수 있다. 또는 밀집도가 높은 영역 순으로 상위 몇 개를 관심 영역으로 설정할 수도 있다.

다음으로, 관심 영역의 객체 식별 정보를 확인한다(S400). 이는 관심 영역에 대해 검색부(630)를 통한 검색으로 확인될 수 있다. 즉, 아이 트래킹에 의한 주시 영역을 중심으로 선택된 관심 영역을 객체 후보 영역으로 하여 객체를 식별하고 검색한다. 이에 따라 객체가 캐리어임을 식별하게 된다.

관심 영역의 객체 식별 정보를 확인하는 단계는 관심 영역과 해당 관심 영역에 대해 추출된 특징 및 식별된 객체에 대한 정보를 관심 영역 데이터베이스(640)에 저장하고, 컨텐츠에 대응되는 웹페이지 정보가 존재할 경우 해당 웹페이지 정보도 연동 저장하는 단계를 포함할 수 있다.

다음으로 데이터베이스(640)로부터 식별된 객체와 유사도가 높은 이미지를 검색하여 그 결과를 획득한다(S500). 획득하는 결과는 이전 단계에서 식별된 객체와 유사도가 높은 이미지 및 대응되는 웹페이지 정보를 포함할 수 있다.

이러한 과정에 의해, 사용자의 시선이 집중되는 것에 의해 관심 영역을 선택하고, 선택된 관심 영역을 객체 후보 영역으로 하여 객체를 식별 및 검색함으로써, 전체 이미지 또는 영상에 대한 객체 검출에 비해 신속하고 정확하게 객체를 검출할 수 있다.

또한, 본 발명은 관심 영역에 대한 객체를 검출하여 객체에 대한 정보를 관심 영역 데이터베이스에 저장하고 객체에 대응되는 웹페이지 정보가 존재하는 경우 해당 웹페이지 정보도 연동하여 저장하고 이를 제공할 수 있다.

본 발명의 실시예에 따른 객체 식별 장치 및 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 사용자 장치 등에 의하여 읽혀지고 실행될 수 있다.

정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 관심 영역 추정 방법을 구현하는 컴퓨터 프로그램은 사용자 장치 등의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 관심 영역 추정 서비스 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 단말 등에 장착될 수도 있다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 아이 트래커 110: 카메라
200: 디스플레이 300: 이미지
400: 지표점 501: 얼굴
502: 넥타이 503: 가방
504: 캐리어 600: 객체 식별 장치
610: 시선 대응 영역 추출부 620: 관심 영역 선택부
630: 검색부 640: 데이터베이스

Claims

컨텐츠가 표시된 디스플레이 상의 시선을 감지하여 시선 대응 영역을 추출하는 시선 대응 영역 추출부;
상기 시선 대응 영역을 기준으로 관심 영역을 선택하는 관심 영역 선택부;
상기 관심 영역 내의 객체를 식별하는 검색부: 및
상기 관심 영역에 대해 추출된 특징과 상기 식별된 객체에 대한 정보가 상기 객체에 대응하는 웹페이지 정보와 연동하여 저장된 데이터베이스
를 포함하며,
상기 검색부는 서로 다른 객체별로 여러 사이즈의 객체에 대한 데이터를 학습하고, 학습과정을 통해 학습된 검색부는 상기 관심 영역 내의 객체를 식별하고 상기 객체의 특징을 추출하며,
상기 데이터베이스는 상기 검색부를 통해 식별된 객체에 대한 정보와 상기 검색부를 통해 추출된 특징을 기초로 상기 식별된 객체에 대응하는 웹 페이지 정보를 제공하는 것을 특징으로 하는 객체 식별 장치.
삭제
삭제
테스트 세트를 통해 서로 다른 객체별로 여러 사이즈의 객체에 대한 데이터를 검색부에 학습시키는 학습 단계;
디스플레이 상에 표시된 컨텐츠를 응시하는 사용자의 시선 각도 정보에 따른 관찰 영상의 위치 정보를 누적하는 시선 확인 단계;
상기 누적된 위치 정보를 기준으로 관심 영역(ROI)을 설정하는 관심 영역 설정 단계;
상기 관심 영역의 특징을 추출한 후 객체 식별을 위한 상기 검색부를 통해 상기 관심 영역 내의 객체를 식별하여 객체 식별 정보를 확인하는 객체 확인 단계; 및
상기 객체 식별 정보와 상기 추출된 특징을 기초로 상기 관심 영역에 대해 추출된 특징과 상기 객체 식별 정보가 상기 객체에 대응하는 웹페이지 정보와 연동하여 저장된 데이터베이스를 검색하여 상기 검색부를 통해 식별된 객체에 대응하는 웹 페이지 정보를 제공하는 검색 단계를 포함하는 것을 특징으로 하는 주시 영역 기반 객체 식별 방법.
삭제
삭제
제4항에 있어서,
상기 시선 확인 단계는 시간이 경과함에 따라 상기 사용자의 시선에 따른 시선 위치 정보를 나타내는 지표점을 누적하는 방식으로 실행되는 것을 특징으로 하는 주시 영역 기반 객체 식별 방법.
삭제
제4항에 있어서,
상기 시선 확인 단계는, 상기 사용자의 얼굴을 인식하는 단계; 상기 인식된 얼굴로부터 상기 사용자의 눈동자를 자동 포커싱하는 단계; 및 상기 눈동자의 중심점을 기준으로 시선을 확인하는 것을 특징으로 하는 주시 영역 기반 객체 식별 방법.
삭제