WO2018043923A1

WO2018043923A1 - 디스플레이장치 및 그 제어방법

Info

Publication number: WO2018043923A1
Application number: PCT/KR2017/008205
Authority: WO
Inventors: 안영춘
Original assignee: 삼성전자(주)
Priority date: 2016-09-01
Filing date: 2017-07-31
Publication date: 2018-03-08
Also published as: KR20180025754A

Abstract

본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 상기 디스플레이장치는, 적어도 하나의 객체를 포함할 수 있는 영상을 수신하는 영상수신부; 상기 영상을 표시하는 디스플레이부; 및 상기 영상에서 상기 객체가 존재할 것으로 예상되는 관심영역을 결정하고, 상기 관심영역에서 상기 객체를 인식하고, 상기 인식된 객체에 대한 객체정보를 생성하고, 상기 객체정보에 기초하여 상기 인식된 객체에 관한 연관서비스정보를 처리하는 처리부를 포함한다. 이에 의하면, 객체 인식에 앞서 먼저 관심영역을 결정하고 그 영역 내에만 객체 인식을 수행함으로써 자동으로 객체를 인식하고 연관서비스를 처리하는 과정 전체의 속도와 효율이 높아지는 효과가 있다.

Description

디스플레이장치 및 그 제어방법

본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 구체적으로는 디스플레이장치에 표시되는 영상에서 객체를 인식하고 그에 연관된 서비스정보를 처리하는 것에 관한 것이다.

영상에 존재하는 객체를 인식하고 그에 연관된 서비스정보를 처리함에 있어서, 종래의 기술은 영상 내의 모든 객체를 검출하고 인식하였다. 사용자가 별로 관심이 없거나 중요도가 낮은 객체들에 대한 구별 없이 모든 객체를 인식한 것이다.

그 결과 영상 내의 객체를 디스플레이장치가 자동으로 인식한 후 영상을 시청하는 사용자에게 그 객체와 관련된 연관서비스를 제공하는 기술은 현실적으로 구현되기 어려웠다. 객체 인식을 위해 너무도 많은 시간과 자원이 소요됨에 따라, 사용자가 서비스를 제공받기 위해 대기할 수 있는 현실적인 시간 내에 객체를 인식하고 이에 기초한 연관서비스 정보를 제공할 수 없었기 때문이다. 나아가 객체를 인식했다고 하더라도 인식된 객체에는 사용자가 별로 관심이 없거나 중요하다고 느끼지 않는 객체들이 상당수 포함되어 있어서, 객체를 인식하기 위해 들인 시간과 자원에도 불구하고 사용자 입장에서 유용한 정보는 제공받기 어려웠다.

이에 본 발명은, 빠르고 효율적으로 객체를 인식함으로써 객체 자동 인식에 기초한 연관서비스정보 처리의 속도와 효율이 높은 디스플레이장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 객체 인식 결과의 신뢰도 및 적합도가 높은 디스플레이장치를 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치는, 적어도 하나의 객체를 포함할 수 있는 영상을 수신하는 영상수신부; 상기 영상을 표시하는 디스플레이부; 및 상기 영상에서 상기 객체가 존재할 것으로 예상되는 관심영역을 결정하고, 상기 관심영역에서 상기 객체를 인식하고, 상기 인식된 객체에 대한 객체정보를 생성하고, 상기 객체정보에 기초하여 상기 인식된 객체에 관한 연관서비스정보를 처리하는 처리부를 포함한다. 이에 의하면, 객체 인식에 앞서 먼저 관심영역을 결정하고 그 영역 내에만 객체 인식을 수행함으로써 자동으로 객체를 인식하고 연관서비스를 처리하는 과정 전체의 속도와 효율이 높아지는 효과가 있다.

상기 처리부는 복수의 상기 객체의 속성 별로 상기 관심영역을 서로 다르게 결정할 수 있다. 나아가, 상기 처리부는 상기 각 객체의 속성에 따라 결정된 가중치에 기초하여 시각주의지도를 생성하고, 상기 생성된 시각주의지도를 이용하여 상기 관심영역을 결정할 수 있다. 이에 의하면, 객체 인식 결과의 신뢰도가 높아지는 효과가 있다.

상기 처리부는 상기 영상에 관한 설명정보에 기초하여 상기 관심영역을 결정할 수 있다. 이에 의하면, 객체 인식 결과의 신뢰도와 적합도가 높아지는 효과가 있다.

상기 처리부는 상기 객체에 대한 사용자의 사용이력정보에 기초하여 상기 관심영역을 결정할 수 있다. 이에 의하면, 객체 인식 결과의 신뢰도와 사용자적합도가 높아지는 효과가 있다.

상기 처리부는 상기 영상에 대한 사용자의 시청 상태에 기초하여 상기 관심영역을 결정할 수 있다. 이에 의하면, 불필요한 관심영역 결정 및 객체 인식 작업 수행에 따른 낭비와 속도저하를 방지하는 효과가 있다.

상기 처리부는 상기 객체정보를 서버로 전송하고, 상기 서버로부터 상기 연관서비스정보를 수신할 수 있다.

상기 연관서비스정보는 사용자정보를 포함할 수 있다. 이에 의하면, 연관서비스정보의 사용자적합도가 높아지는 효과가 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치의 제어방법은, 적어도 하나의 객체를 포함할 수 있는 영상을 수신하는 단계; 상기 영상을 표시하는 단계; 상기 영상에서 상기 객체가 존재할 것으로 예상되는 관심영역을 결정하는 단계; 상기 관심영역에서 상기 객체를 인식하는 단계; 상기 인식된 객체에 대한 객체정보를 생성하는 단계; 및 상기 객체정보에 기초하여 상기 인식된 객체에 관한 연관서비스정보를 처리하는 단계를 포함한다. 이에 의하면, 객체 인식에 앞서 먼저 관심영역을 결정하고 그 영역 내에만 객체 인식을 수행함으로써 자동으로 객체를 인식하고 연관서비스를 처리하는 과정 전체의 속도와 효율이 높아지는 효과가 있다.

상기 관심영역을 결정하는 단계는, 복수의 상기 객체의 속성 별로 상기 관심영역을 서로 다르게 결정하는 단계를 포함할 수 있다. 나아가, 상기 관심영역을 결정하는 단계는, 상기 각 객체의 속성에 따라 결정된 가중치에 기초하여 시각주의지도를 생성하고, 상기 생성된 시각주의지도를 이용하여 상기 관심영역을 결정하는 단계를 포함할 수 있다. 이에 의하면, 객체 인식 결과의 신뢰도가 높아지는 효과가 있다.

상기 관심영역을 결정하는 단계는, 상기 영상에 관한 설명정보에 기초하여 상기 관심영역을 결정하는 단계를 포함할 수 있다. 이에 의하면, 객체 인식 결과의 신뢰도와 적합도가 높아지는 효과가 있다.

상기 관심영역을 결정하는 단계는, 상기 객체에 대한 사용자의 사용이력정보에 기초하여 상기 관심영역을 결정하는 단계를 포함할 수 있다. 이에 의하면, 객체 인식 결과의 신뢰도와 사용자적합도가 높아지는 효과가 있다.

상기 관심영역을 결정하는 단계는, 상기 영상에 대한 사용자의 시청 상태에 기초하여 상기 관심영역을 결정하는 단계를 포함할 수 있다. 이에 의하면, 불필요한 관심영역 결정 및 객체 인식 작업 수행에 따른 낭비와 속도저하를 방지하는 효과가 있다.

상기 제어방법은, 상기 객체정보를 서버로 전송하고, 상기 서버로부터 상기 연관서비스정보를 수신하는 단계를 더 포함할 수 있다.

상기한 바와 같이, 본 발명에 의하면, 빠르고 효율적으로 객체를 인식함으로써 객체 자동 인식에 기초한 연관서비스정보 처리의 속도와 효율이 높아진다.

나아가, 본 발명에 의하면 객체 인식 결과의 신뢰도 및 적합도가 높아진다.

도 1은 본 발명의 제1실시예에 따른 디스플레이장치(300)의 작동개요를 나타내는 도면,

도 2는 본 발명의 제1실시예에 따른 관심영역 결정 및 객체 인식의 예시를 나타내는 도면,

도 3은 본 발명의 제1실시예에 따른 디스플레이장치(300)의 구성을 나타내는 도면,

도 4는 본 발명의 제1실시예에 따른 디스플레이장치(300) 중 처리부의 세부구성을 나타내는 도면,

도 5는 본 발명의 제1실시예에 따른 디스플레이장치(300) 중 처리부의 작동흐름을 나타내는 도면,

도 6은 본 발명의 제2실시예에 따른 디스플레이장치(300)의 세부 작동을 나타내는 도면,

도 7은 본 발명의 제3, 제4, 제5실시예에 따른 디스플레이장치(300)의 세부 작동을 나타내는 도면,

도 8은 본 발명의 제3실시예에 따른 디스플레이장치(300)의 작동 예를 나타내는 도면,

도 9는 본 발명의 제3실시예에 따른 디스플레이장치(300)의 다른 작동 예를 나타내는 도면,

도 10은 본 발명의 제3실시예에 따른 디스플레이장치(300)의 또 다른 작동 예를 나타내는 도면.

이하에서는 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 실시예를 도면을 참조하여 설명한다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.

본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있고, 회로나 칩으로 구현될 수도 있으며, 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수도 있다.

이하 실시예들에 의해 설명되는 본 발명의 사상은 영상을 표시하는 디스플레이장치에 적용될 수 있다. 본 발명이 적용되는 디스플레이장치의 예로는, TV, 스마트폰, 태블릿, 모바일 폰, 컴퓨터, 멀티미디어 재생기, 전자액자, 디지털 광고판, LFD(Large Format Display), 싸이니지, 셋탑박스, 스마트워치, 헤드 마운트형 디스플레이(head-mounted display) 등의 웨어러블 디바이스, 냉장고 등의 스마트가전이 있으나, 본 발명이 이에 한정되는 것은 아니다.

본 발명의 제1실시예는 도 1 내지 도 5를 참조하여 설명한다.

본 발명의 실시예에 따르면, 적어도 하나의 객체를 포함할 수 있는 영상이 디스플레이장치(300)에 수신되면, 디스플레이장치(300)는 영상에서 객체가 존재할 것으로 예상되는 관심영역(Region Of Interest)을 결정한 후, 관심영역에서 객체를 인식하고 인식된 객체에 대한 객체정보를 생성하고 생성된 객체정보에 기초하여 연관서비스정보를 처리한다.

본 발명의 객체는 일정한 형체를 갖고 영상 내에 존재하며 영상을 구성하는 개별적인 요소를 말한다. 예컨대, 영상 내의 사람, 사물, 글자 등이 객체에 해당할 수 있다. 그러나 본 발명의 객체가 이에 한정되는 것은 아니다.

본 발명의 관심영역은, 영상에서 객체가 존재할 것으로 예상되는 영역으로서, 사용자가 영상 중에서 관심을 가지고 볼 가능성이 높은 영역일 수 있다. 즉, 관심영역은, 영상 중에서 사용자의 시선이 집중될 가능성이 높은 영역이라고도 할 수 있다. 본 발명의 제1실시예에 따른 디스플레이장치(300)는, 예컨대, 시각주의지도(saliency map)를 이용하여 관심영역을 결정할 수 있다. 시각주의지도는, 인간의 시각 시스템이 영상의 일부분에 더 집중하게 되는 현상을 컴퓨터 비전 분야에서 모델화한 것이다. 다만, 시각주의지도는 본 발명의 일 실시예에 의한 디스플레이장치(300)가 관심영역을 결정하기 위하여 이용하는 기법 중 하나의 예시일 뿐이며, 본 발명의 관심영역은, 사용자의 시선이 집중되는 영역을 판단할 수 있는 다른 다양한 방법에 의해서도 결정될 수 있다.

본 발명의 객체정보는 인식된 객체가 무엇인지, 입력 영상 내에서 해당 객체의 위치는 어디인지 등에 관한 정보를 포함하는 것으로서, 디스플레이장치(300) 또는 그 이외의 장치에서, 인식된 객체에 관한 연관서비스정보를 생성하는데 있어 기초자료로 사용되는 정보이다.

도 1을 참조하여 본 발명의 제1실시예를 자세히 설명하면 다음과 같다. 디스플레이장치(300)는 입력 영상을 수신한다(S101). 이후 입력영상에 대한 시각주의지도(saliency map)을 계산한다(S103). 시각주의지도가 계산되면 이를 바탕으로 관심영역을 결정할 수 있다.

관심영역이 결정되면 각 관심영역이 사람 영역인지 사물 영역인지 글자 영역인지를 판별하여 분류한다(S105). 이후 각 분류군에 적합한 객체 인식기를 사용하여 객체를 인식한다(S106).

여기서, 장면 전환 감지 기술을 사용하여 객체 인식 속도를 더욱 빠르게 하는 것도 가능하다(S102). 즉, 장면 전환 감지를 통해 현재의 입력 영상이 기존의 영상과 같은 장면(scene)에 속하는지 여부 판단하고, 판단 결과 현재의 입력 영상이 기존의 영상과 같은 장면(scene)에 속할 경우, 객체 추적(object tracking) 기술을 더 이용하면 종래 영상에서 객체로 인식한 정보를 활용하여 현재 입력 영상의 객체를 빠르게 파악할 수 있으므로 객체 인식 속도를 향상시킬 수 있다(S104).

객체가 인식된 후에는 인식된 각 객체에 대하여 객체정보를 태깅(tagging)한다(S107). 태깅된 객체정보는 서버(310)에 전송된다(S108). 서버(310)는 수신한 객체정보에 기초하여 상기 인식된 객체에 관한 연관서비스정보를 생성한 후 이를 디스플레이장치(300)로 전송한다(S109). 연관서비스정보의 예로는 객체정보를 활용한 광고, 객체정보를 통해 분석한 사용자의 취향을 고려한 컨텐츠 추천, 객체정보를 통해 분석한 사용자의 시청 컨텐츠 이력에 기반한 서비스정보 등이 가능하다.

도 2는 본 발명의 제1실시예에 따른 관심영역 결정 및 객체 인식의 예시를 나타내는 도면이다. 디스플레이장치(300)는 입력 영상(201)이 수신되면 그 영상에 대한 시각주의지도를 생성한다. 도 2의 입력 영상(201)에 대한 시각주의지도에 의하면, 입력 영상(201)에서 가장 눈에 띄는 인물 영역(202, 203), 글자 영역(204, 205), 사물 영역(206)이 관심영역으로 결정된다. 위와 같이 관심영역이 결정된 후에는 각 관심영역에 대해 객체 인식을 수행함으로써 각 관심영역 내에 존재하는 객체가 무엇인지를 식별하게 된다.

도 3은 본 발명의 제1실시예에 따른 디스플레이장치(300)의 구성을 나타내는 도면이다. 디스플레이장치(300)는 영상수신부(301), 처리부(302), 통신부(303)로 구성된다. 디스플레이장치(300)는 서버(310)와 통신할 수 있다. 그 경우 서버(310)는 통신부(311), 처리부(312), 데이터베이스(313)로 구성될 수 있다. 서버(310)는 디스플레이장치(300) 내부에 존재하는 것도 가능하나, 이하에서는 설명의 편의상 디스플레이장치(300)의 외부에 있는 것으로 가정한다.

영상수신부(301)는 디스플레이장치(300)로 입력되는 영상을 수신한다. 영상신호의 한 예로 방송신호가 있다. 그러나 영상신호는 이에 한정되지 않고 디스플레이장치(300)에서 영상으로 표시될 수 있는 신호라면 무엇이든 가능하다. 또한, 영상은 디스플레이장치(300)의 외부로부터 수신될 수도 있고 디스플레이장치의 내부에 저장되어 있는 저장부를 통해 제공될 수도 있다.

영상신호가 방송신호인 경우, 영상수신부(301)가 영상신호는 유선신호 또는 무선신호일 수 있고, 디지털신호 또는 아날로그신호일 수도 있으며, 공중파 신호, 케이블신호, 위성신호 또는 네트워크신호일 수도 있다. 나아가 영상수신부(301)는 무선통신을 위한 와이파이 통신모듈, 별도의 유선 접속을 위한 이더넷 모듈, USB 메모리의 접속을 위한 USB 포트 등을 추가적으로 포함할 수 있다.

처리부(302)는 영상수신부(301)가 수신한 영상에 대하여, 관심영역을 결정하고 관심영역에서 객체를 인식하며 객체정보를 생성한 후 객체정보를 통신부(303)로 보낸다. 처리부(302)는 입력 영상으로부터 관심영역을 결정하고 객체를 인식하며 객체정보를 생성할 수 있는 이미지 프로세서, 이미지 프로세서를 포함하고 있는 칩셋, 모듈 또는 전자 디바이스 등으로 구현될 수 있다.

통신부(303)는 유선 또는 무선으로 네트워크와 연결되어 외부의 서버(310)와 통신을 수행한다. 구체적으로, 통신부(303)는 처리부(302)가 생성한 객체정보를 서버(310)로 송신하고, 서버(310)에서 생성한 연관서비스정보를 수신한다.

통신부(303)는 넓은 의미의 WLAN(Wireless Local Area Network)를 위한 통신 프로토콜을 포함할 수 있다. 또한, 블루투스, Wi-Fi, 지그비(Zigbee), IR통신, RF 통신 등 다양한 통신방법에 대응하는 통신 모듈을 포함할 수 있다.

서버(310)의 통신부(311)는 디스플레이장치(300)로부터 객체정보를 수신하고 서버(310)에서 생성한 연관서비스정보를 디스플레이장치(300)에 송신한다. 하드웨어적인 구성은 디스플레이장치(300)의 통신부(303)에서의 설명이 그대로 적용 가능하다.

서버(310)의 처리부(312)는 통신부(311)가 수신한 객체정보에 기초하여 해당 객체와 관련된 연관서비스정보를 생성한다. 연관서비스정보 생성시에는 데이터베이스(313)를 참고할 수 있다. 데이터베이스(313)에는 사용자의 객체에 대한 사용이력정보 등이 저장되어 있을 수 있다.

이하, 디스플레이장치(300)의 처리부(302)의 세부구성을 도 4를 참조하여 설명한다. 디스플레이장치(300)의 처리부(302)는 영상수신부(410), 관심영역 결정부(420), 객체 인식부(430), 객체정보 생성부(440), 연관서비스정보 처리부(460)로 구성된다.

영상수신부(410)는 입력 영상 캡쳐부(411)와 이미지 전처리부(412)를 포함한다. 입력 영상 캡쳐부(411)는 입력 영상 중 객체 인식에 적합한 사이즈의 영상을 캡쳐한다. 이미지 전처리부(412)는 캡쳐된 영상에 대하여 대비도 증가(Contrast/Detail Enhancement), 노이즈 감소(Noise Reduction) 등의 처리를 수행한다.

전처리된 영상은 관심영역 결정부(420)로 보내진다. 관심영역 결정부(420)는 특징 추출부(421), 차이 계산부 및 필터링부(422), 시각주의영역 감지부(423)를 포함한다. 특징 추출부(421)는 전처리된 입력 영상에서 주파수, 컬러, 모션 벡터 등의 정보를 추출한다. 차이 계산 및 필터링부(422)는 각 추출된 특징정보마다 차이(Temporal Difference)를 계산하여 시각주의영역의 기초가 되는 맵을 생성하고 여기에 IIR 필터를 적용하여 맵의 안정성을 확보한다. 시각주의영역 감지부(423)는 위 맵에 기초하여 시각주의영역(Salient Region)을 감지한다. 감지된 시각주의영역에 의해 관심영역이 결정된다.

객체 인식부(430)는 인식 엔진(431)을 포함한다. 객체 인식부(430)는 결정된 관심영역에 대해 객체 인식을 수행하여 그 결과를 위치정보(432)와 객체인식결과(433)로 저장한다. 위치정보(432)는 인식된 객체의 영상 내 위치 등에 관한 정보를 포함하고, 객체인식결과(433)는 해당 객체가 사람인지 사물인지 글자인지 등에 관한 분류 정보를 포함한다.

인식된 객체는 객체정보 생성부(440)로 보내진다. 객체정보 생성부(440)는 객체 인식 정보인 위치정보(432)과 객체인식결과(433)를 메타데이터(metadata)(441) 형태로 저장한다. 객체정보 생성부(440)는 객체추적 및 장면 전환 감지부(442)와 연동될 수 있다. 연동되는 모습을 구체적으로 살펴보면, 객체추적 및 장면 전환 감지부(442)는 장면이 전환되었는지 여부를 판단하여 장면이 전환되지 않았을 경우에는 동일한 객체를 장면 내에서 계속 추적한다. 추적된 객체는 그 객체가 최초로 인식되었을 때 객체정보가 이미 생성되었으므로 추적된 객체에 대하여는 객체정보 생성부(440)에서 객체정보를 생성하지 않아도 무방하다.

객체정보 생성부(440)에서 생성된 메타데이터(441)는 서버(310)의 처리부(312) 내의 연관서비스정보 제공부(450)로 전송된다. 연관서비스정보 제공부(450)는 수신한 메타데이터(441)에 기초하여 그 객체에 관한 연관서비스정보를 생성한다. 연관서비스정보의 예로는, 객체 단위의 인식결과를 활용하여 광고 플랫폼을 연동하는 것, 컨텐츠를 추천하는 것, 사용자 로그 분석을 통해 관련 어플리케이션에 정보를 제공하는 것 등을 들 수 있다.

연관서비스정보 처리부(460)는 서버(310)의 처리부(312)가 생성한 연관서비스정보를 수신하고 이를 처리하여 디스플레이장치(300)의 사용자에게 연관서비스에 관한 정보를 제공한다.

도 5는 본 발명의 제1실시예에 따른 디스플레이장치(300) 중 처리부(302)의 작동흐름을 나타내는 도면이다. 디스플레이장치(300)의 처리부(302)는 입력영상에서 관심영역을 결정하고(S501) 관심영역에서 객체를 인식한 후(S502) 인식된 객체에 대한 객체정보를 생성하여(S503) 서버(310)로 객체정보를 전송한다. 서버(310)의 처리부(312)에서는 수신된 객체정보에 기초하여 연관서비스정보를 생성한 후(S504) 디스플레이장치(300)로 전송한다. 연관서비스정보를 수신한 디스플레이장치(300)의 처리부(302)는 이를 처리한다.

디스플레이장치(300)의 처리부(302)는 객체의 속성별로 관심영역을 서로 다르게 결정할 수 있다(제2실시예). 여기서 객체의 속성이란, 일군의 객체가 다른 군의 객체와 구별되는 특징을 말한다. 본 발명의 제2실시예에 따르면, 예를 들어, 인식대상 객체가 '글자'인 경우, 관심영역 결정 방법을 인식대상 객체가 '사람'인 경우 또는 '사물'인 경우의 관심영역 결정 방법과는 다르게 함으로써 보다 신뢰도가 높은 관심영역을 결정할 수 있다. 영상 속에서 글자의 속성은 사람이나 사물의 속성과는 구별된다. 따라서 이러한 구별되는 특징을 반영하여 인식하려는 객체의 속성에 적합한 특징값을 선택하고 나아가 각 특징값에 대한 가중치도 조정하면 해당 객체에 대한 관심영역의 신뢰도를 높일 수 있다. 구체적으로, 글자 객체의 경우 주위 배경 또는 다른 객체와 비교하여 그 재질이나, 기울어진 정도, 색상에 있어서 확연한 차이가 난다는 특징이 있다. 따라서 시각주의지도 생성시 재질(frequency), 기울어진 정도(skew), 색상(color) 등을 특징값으로 선택하면 글자 객체 인식의 신뢰도가 높은 관심영역을 결정하는 것이 가능하다.

도 6이 이러한 본 발명의 제2실시예에 따른 디스플레이장치(300)의 세부 작동을 나타내는 도면이다. 제2실시예에 따르면, 제1실시예에 관한 도 5에서 관심영역을 결정하는 단계(S512)에 앞서서, 인식대상 객체의 속성을 파악하고 그에 따라 관심영역을 다르게 결정하는 단계가 추가된다. 예를 들어 인식하고자 하는 객체를 그 속성에 따라 사람, 사물, 글자로 분류하여 접근하는 경우, 처리부(302)는 인식하고자 하는 객체가 사람인지 사물인지 글자인지를 판단하여(S602), 해당 인식대상 객체의 인식을 위한 관심영역 결정에 적합한 특징값 및 가중치를 선택하고(S603, S604, S605) 그로부터 시각주의지도를 생성한 후(S606) 관심영역을 결정한다(S511).

관심영역 및 인식 결과의 신뢰도를 높이는 방법은 위 제2실시예에 한정되지 않는다. 관심영역의 신뢰도를 높이기 위하여, 디스플레이장치(300)의 처리부(302)는 영상에 관한 설명정보에 기초하여 관심영역을 결정할 수도 있고(제3실시예), 사용자의 사용이력정보에 기초하여 관심영역을 결정할 수도 있으며(제4실시예), 영상에 대한 사용자의 시청 상태에 기초하여 관심영역을 결정할 수도 있다(제5실시예).

도 7이 위와 같은 본 발명의 제3, 제4, 제5실시예에 따른 디스플레이장치의 세부 작동을 나타내는 도면이다. 도 7(a), 7(b), 7(c)가 각각 제3, 제4, 제5실시예에 대응된다.

본 발명의 제3실시예에 따르면, 디스플레이장치(300)의 처리부(302)는 먼저 영상에 관한 설명정보를 수신한다(S701). 여기서 영상에 관한 설명정보는 해당 영상에 관련된 각종의 정보를 기술한 내용을 담고 있는 데이터로서, 해당 영상에 관한 정보를 메타데이터 형태로 담고 있을 수 있다. 예를 들어 해당 영상이 방송 프로그램일 경우, 영상에 관한 설명정보는 해당 방송 프로그램의 제목, 프로그램의 분야, 해당 회차 방송내용, 각 장면별 설명(scene description), 제작방송국명, 방송 시간, 출연자 정보, 자막, 관련 프로그램 등의 정보를 포함할 수 있다. 디스플레이장치(300)의 처리부(302)는 이러한 영상에 관한 설명정보를 분석하여 해당 방송에서 주요 인식대상이 될 객체가 무엇인지를 파악한다(S702). 이렇게 해당 방송의 주요 인식대상 객체를 예측한 후 각 객체의 속성에 따라 관심영역을 다르게 결정하는 단계로 나아가면(S601) 신뢰도 높은 관심영역을 결정할 수 있다.

본 발명의 제4실시예에 따르면, 디스플레이장치(300)의 처리부(302)는 객체에 대한 사용자의 사용이력정보를 수신한다(S703). 객체에 대한 사용자의 사용이력정보는 사용자의 디스플레이장치 이력 정보를 객체의 관점에서 파악한 것으로서, 과거로부터의 객체 인식 결과를 통해 축적된 사용자의 관심 객체 히스토리 또는 데이터베이스를 포함할 수 있다. 디스플레이장치(300)의 처리부(302)는 이러한 객체에 대한 사용자의 사용이력정보를 분석하여 해당 방송에서 사용자가 주로 관심을 가질 객체가 무엇인지를 파악한다(S704). 이렇게 사용자가 관심을 가질만한 객체를 예측한 후 각 객체의 속성에 따라 관심영역을 다르게 결정하는 단계로 나아가면(S601) 사용자의 취향에 부합하며 신뢰도가 높은 관심영역을 결정할 수 있다.

본 발명의 제5실시예에 따르면, 디스플레이장치(300)의 처리부(302)는 영상에 대한 사용자의 시청 상태를 파악한다(S705). 영상에 대한 사용자의 시청 상태를 파악하는 방법은 다양할 것이나, 하나의 예로는 해당 영상에 대한 시청 시간을 분석함으로써 파악할 수 있다. 영상에 대한 사용자의 시청 시간이 짧을 경우 해당 영상에 대해 사용자의 관심도가 높지 않거나 다른 프로그램으로 채널을 돌리는 과정 중에 잠시 재생된 것으로 추측할 수 있다. 따라서 해당 영상에 대한 사용자의 시청 시간이 소정 시간 이상일 경우에만 관심영역 결정단계(S511)로 나아가고, 그렇지 않을 경우에는 관심영역 결정단계로 나아가지 않음으로써(S706) 불필요한 관심영역 결정 및 객체 인식 작업 수행에 따른 낭비와 처리부(302) 속도저하를 방지할 수 있다.

본 발명의 제3실시예에 따른 구체적인 작동 모습은 도 8 내지 도 10을 참조하여 설명한다.

도 8은 본 발명의 제3실시예에 따른 디스플레이장치(300)의 작동 예를 나타내는 도면이다. 디스플레이장치(300)에는 맛집 관련 프로그램이 방영 중이다. 디스플레이장치(300)의 처리부(302)는 방송 프로그램의 설명정보를 수신하고 분석하여 현재 방영 중인 방송 프로그램이 맛집 관련 프로그램임을 파악한다. 그로부터 해당 영상에서 주요 인식대상이 될 객체가 음식과 글자라는 것도 파악할 수 있다. 따라서 음식 및 글자 객체 인식에 적절한 특징값 및 가중치를 선택한 후 이를 토대로 시각주의시도를 생성하고 관심영역을 결정한다. 결정된 관심영역에서 음식 및 글자 객체를 인식하고 객체정보를 생성한다. 생성된 객체정보는 서버(310)로 전송한다.

서버(310)는 디스플레이장치(300)로부터 수신한 음식 및 글자 객체정보를 바탕으로 연관서비스정보를 생성한다. 글자 객체정보에는 해당 맛집의 이름이 담겨 있을 수 있으므로 서버(310)는 해당 맛집의 이름을 바탕으로 해당 맛집 관련 정보를 구성하여 연관서비스정보의 형태로 생성할 수 있다. 또한 서버(310)는 음식 객체정보를 통해 해당 음식이 무엇인지를 파악하여 해당 음식 관련 재료 정보 등도 연관서비스정보의 형태로 생성 가능하다. 디스플레이장치(300)는 서버(310)로부터 연관서비스정보를 수신하여 화면에 표시한다. 그 결과 디스플레이장치(300)의 사용자는 맛집 관련 프로그램을 시청하는 중에 해당 맛집에 관한 추가적인 정보나 해당 음식에 관한 추가적인 정보를 제공받게 된다.

여기서 연관서비스정보는 자동으로 디스플레이장치(300)에 표시될 수도 있고 사용자가 해당 정보의 제공을 선택한 경우에만 표시될 수도 있다. 또한, 디스플레이장치(300)에 표시 중인 방송 프로그램의 화면 위에 겹쳐서 표시될 수도 있고, 방송 프로그램의 화면과는 별도로 마련된 표시 공간에 표시될 수도 있다.

도 9는 본 발명의 제3실시예에 따른 디스플레이장치(300)의 다른 작동 예를 나타내는 도면이다. 디스플레이장치(300)에는 드라마가 방영 중이다. 앞서 도 8에서와 마찬가지로 이 경우에도 디스플레이장치(300)는 방송 프로그램의 설명정보를 수신하고 분석한다. 이를 통해 현재 방영 중인 방송 프로그램이 드라마임을 파악한다. 그로부터 해당 영상에서 주요 인식대상이 될 객체가 사람이라는 것도 파악할 수 있다. 따라서 사람 객체 인식에 적절한 특징값 및 가중치를 선택한 후 이를 토대로 시각주의시도를 생성하고 관심영역을 결정한다. 이후 결정된 관심영역에서 객체를 인식하고 객체정보를 생성하여 서버로 전송하는 것은 도 8에서와 동일하다.

도 9의 예는 연관서비스정보가 사용자정보를 포함하는 점에 특징이 있다. 사용자정보란, 사용자의 이름, 나이, 성별, 거주지 정보, 방송 프로그램 시청 이력 등 사용자를 특정할 수 있거나 사용자의 기호나 취향, 선호를 파악할 수 있는 정보를 포함한다. 도 9의 예에서는, 서버(310)가 디스플레이장치(300)로부터 수신한 사람 객체정보를 바탕으로 연관서비스정보를 생성함에 있어서 사용이력정보 데이터베이스(313)를 사용한다. 연관서비스정보를 생성함에 있어서 과거로부터 사용자가 시청한 영상에 대한 객체 인식 결과를 축적해놓은 데이터베이스(313)를 참조함으로써, 연관서비스정보에 해당 영상에서 인식된 객체정보뿐만 아니라 사용자가 그동안 관심을 보였던 객체에 관한 정보도 반영할 수 있게 되어 사용자에게 더욱 특화된 연관서비스정보를 제공할 수 있게 된다. 도 9의 경우 디스플레이장치(300)가 드라마 영상 속에서 주인공 AAA와 BBB를 인식하여 이를 객체정보로 전송하면, 서버(310)는 사용이력정보 데이터베이스(313)를 참조하여 위 두 객체정보 중에서 사용자가 더욱 관심을 갖고 있는 주인공은, 예를 들어, AAA임을 파악할 수 있다. 그에 따라 서버(310)는 AAA 객체에 관한 연관서비스정보, 예를 들어 AAA가 출연한 최신 영화 등의 컨텐츠 정보를 생성할 수 있다.

연관서비스정보가 복수의 사용자정보를 참조할 수 있음을 물론이다. 예를 들어, 위의 예에서 사용자의 거주지 정보를 추가로 참조하여, 사용자의 거주지 주변에서 AAA가 출연한 최신 영화가 상영되고 있는 영화관을 추천하는 것도 가능하다. 이에 의하면, 연관서비스정보의 사용자적합도와 유용성이 더욱 높아지는 효과가 있다.

도 9의 서버(310)에서 생성된 연관서비스정보는 앞서 도 8에서와 같이 사용자가 영상을 시청하고 있던 디스플레이장치(300)에 전송할 수 있으나, 위 디스플레이장치(300)와는 별도의 디스플레이장치(320)에 전송하는 것도 가능하다. 별도의 디스플레이장치(320)는 서버(310)에서 생성한 연관서비스정보를 수신하여 표시할 수 있는 장치라면 무엇이든 가능하나, 사용자의 스마트폰을 별도의 디스플레이장치(320)로 설정하여 연관서비스정보를 전송하면 유용할 것이다. 그 경우 사용자는 서버(310)에서 생성한 연관서비스정보의 내용을 스마트폰(320)을 통해 확인할 수 있고 이후 사용자입력을 통한 추가적인 상호작용도 가능하다. 예를 들어, 해당 연관서비스정보가 도 9에서와 같이 추천 컨텐츠 정보라면 사용자가 스마트폰(320)에 표시된 해당 추천 컨텐츠를 선택할 경우 그 컨텐츠의 구매 화면으로 전환되는 등의 상호작용이 가능하다. 연관서비스정보는 자동으로 별도의 디스플레이장치(320)에 표시될 수도 있고 사용자가 해당 정보의 제공을 선택한 경우에만 표시될 수도 있다.

도 10은 본 발명의 제3실시예에 따른 디스플레이장치(300)의 또 다른 작동 예를 나타내는 도면이다. 디스플레이장치(300)에는 프로그램 가이드 화면인 EPG(Electronic Program Guide) 화면이 표시되고 있다. 디스플레이장치(300)의 처리부(302)는 EPG 화면이 표시되어 있다는 정보로부터 해당 영상에서 주요 인식대상이 될 객체가 글자임을 파악할 수 있다. 따라서 글자 객체 인식에 적절한 특징값 및 가중치를 선택한 후 이를 토대로 시각주의시도를 생성하고 관심영역을 결정한다. 이후 결정된 관심영역에서 객체를 인식하고 객체정보를 생성하여 서버로 전송하는 것은 도 8, 도 9에서와 동일하다.

도 10의 예는 사용자가 읽고 있는 EPG의 내용을 글자 객체 인식을 통해 파악할 수 있게 됨에 따라 사용자의 관심과 상황을 더욱 정확히 반영한 연관서비스정보를 제공할 수 있다. 도 10에서와 같이, EPG 화면은 해당 방송프로그램의 이름, 방영 채널 정보, 방송 시간대, 출연진 등의 정보를 포함할 수 있다. 이 경우 인식된 객체정보를 전송받은 서버(310)는 수신된 객체정보를 바탕으로 사용자의 관심 프로그램, 관심채널, 시청가능시간대 등을 파악할 수 있다. 그러면 사용자의 관심과 시청가능시간대 등을 고려한 방송 프로그램 추천 정보를 연관서비스정보의 형태로 제공할 수 있게 되므로, 사용자의 관심과 상황을 더욱 정확히 반영한 연관서비스정보를 제공할 수 있다.

이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되지 않고, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 특허청구범위의 범위에 속한다고 할 것이며, 본 개시 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다.

Claims

디스플레이장치에 있어서,

적어도 하나의 객체를 포함할 수 있는 영상을 수신하는 영상수신부;

상기 영상을 표시하는 디스플레이부; 및

상기 영상에서 상기 객체가 존재할 것으로 예상되는 관심영역을 결정하고, 상기 관심영역에서 상기 객체를 인식하고, 상기 인식된 객체에 대한 객체정보를 생성하고, 상기 객체정보에 기초하여 상기 인식된 객체에 관한 연관서비스정보를 처리하는 처리부를 포함하는 디스플레이장치.
제1항에 있어서,

상기 처리부는 복수의 상기 객체의 속성 별로 상기 관심영역을 서로 다르게 결정하는 디스플레이장치.
제2항에 있어서,

상기 처리부는, 상기 각 객체의 속성에 따라 결정된 가중치에 기초하여 시각주의지도를 생성하고, 상기 생성된 시각주의지도를 이용하여 상기 관심영역을 결정하는 디스플레이장치.
제1항에 있어서,

상기 처리부는 상기 영상에 관한 설명정보에 기초하여 상기 관심영역을 결정하는 디스플레이장치.
제1항에 있어서,

상기 처리부는 상기 객체에 대한 사용자의 사용이력정보에 기초하여 상기 관심영역을 결정하는 디스플레이장치.
제1항에 있어서,

상기 처리부는 상기 영상에 대한 사용자의 시청 상태에 기초하여 상기 관심영역을 결정하는 디스플레이장치.
제1항에 있어서,

상기 처리부는 상기 객체정보를 서버로 전송하고, 상기 서버로부터 상기 연관서비스정보를 수신하는 디스플레이장치.
제1항에 있어서,

상기 연관서비스정보는 사용자정보를 포함하는 디스플레이장치.
디스플레이장치의 제어방법에 있어서,

적어도 하나의 객체를 포함할 수 있는 영상을 수신하는 단계;

상기 영상을 표시하는 단계;

상기 영상에서 상기 객체가 존재할 것으로 예상되는 관심영역을 결정하는 단계;

상기 관심영역에서 상기 객체를 인식하는 단계;

상기 인식된 객체에 대한 객체정보를 생성하는 단계; 및

상기 객체정보에 기초하여 상기 인식된 객체에 관한 연관서비스정보를 처리하는 단계를 포함하는 디스플레이장치의 제어방법.
제9항에 있어서,

상기 관심영역을 결정하는 단계는, 복수의 상기 객체의 속성 별로 상기 관심영역을 서로 다르게 결정하는 단계를 포함하는 디스플레이장치의 제어방법.
제10항에 있어서,

상기 관심영역을 결정하는 단계는, 상기 각 객체의 속성에 따라 결정된 가중치에 기초하여 시각주의지도를 생성하고, 상기 생성된 시각주의지도를 이용하여 상기 관심영역을 결정하는 단계를 포함하는 디스플레이장치의 제어방법.
제9항에 있어서,

상기 관심영역을 결정하는 단계는, 상기 영상에 관한 설명정보에 기초하여 상기 관심영역을 결정하는 단계를 포함하는 디스플레이장치의 제어방법.
제9항에 있어서,

상기 관심영역을 결정하는 단계는, 상기 객체에 대한 사용자의 사용이력정보에 기초하여 상기 관심영역을 결정하는 단계를 포함하는 디스플레이장치의 제어방법.
제9항에 있어서,

상기 관심영역을 결정하는 단계는, 상기 영상에 대한 사용자의 시청 상태에 기초하여 상기 관심영역을 결정하는 단계를 포함하는 디스플레이장치의 제어방법.
제9항에 있어서,

상기 객체정보를 서버로 전송하고, 상기 서버로부터 상기 연관서비스정보를 수신하는 단계를 더 포함하는 디스플레이장치의 제어방법.
제9항에 있어서,

상기 연관서비스정보는 사용자정보를 포함하는 디스플레이장치의 제어방법.