KR102217490B1 - 방송 영상 검색 방법 및 장치 - Google Patents

방송 영상 검색 방법 및 장치 Download PDF

Info

Publication number
KR102217490B1
KR102217490B1 KR1020190004494A KR20190004494A KR102217490B1 KR 102217490 B1 KR102217490 B1 KR 102217490B1 KR 1020190004494 A KR1020190004494 A KR 1020190004494A KR 20190004494 A KR20190004494 A KR 20190004494A KR 102217490 B1 KR102217490 B1 KR 102217490B1
Authority
KR
South Korea
Prior art keywords
image
server
search
recognition
image analysis
Prior art date
Application number
KR1020190004494A
Other languages
English (en)
Other versions
KR20200088019A (ko
Inventor
박세호
한정안
이정우
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020190004494A priority Critical patent/KR102217490B1/ko
Publication of KR20200088019A publication Critical patent/KR20200088019A/ko
Application granted granted Critical
Publication of KR102217490B1 publication Critical patent/KR102217490B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations

Abstract

아래의 실시예들은 이미지 검색 방법 및 장치에 관한 것이다. 일 실시예에 따른 이미지 검색 방법은 캡처된 방송 영상을 수신하는 단계, 캡처된 방송 영상을 복수개의 영상 분석 서버에 입력하여, 복수개의 영상 분석 서버 각각으로부터 캡처된 방송 영상에 대응하는 영상 분석 결과를 수신하는 단계, 영상 분석 결과를 스코어링하여 영상 분석 결과의 우선 순위를 결정하는 단계, 우선 순위에 기초하여 영상 분석 결과 중 어느 하나를 검색 대상으로 결정하는 단계, 검색 대상을 서비스 서버에 입력하여 검색 대상에 대응하는 서비스 콘텐츠를 획득하는 단계 및 서비스 콘텐츠를 화면상에 표시하도록 처리하는 단계를 포함한다.

Description

방송 영상 검색 방법 및 장치{METHOD AND APPARATUS FOR SEARCHING BROADCASTING IMAGE}
아래의 실시예들은 이미지 검색 방법 및 장치에 관한 것이다.
정보통신 기술의 지속적인 발전으로 IP(Internet Protocol) 통신망을 방송 송출매체로 사용하여 실시간 방송 컨텐츠, 또는 주문형 방송 컨텐츠를 방송하는 IPTV 방송 시스템이 상용화되고 있다. 나아가, 최근에는 기존의 전통적인 TV에 사용자와의 쌍방향 통신 기능 및 인터넷을 이용한 각종 부가 기능들이 추가되어 스마트폰과의 연동까지 지원하는 스마트 TV가 등장하였다.
종래 상용화되어 있던 아날로그 방송을 비롯하여 최근 상용화된 위성 디지털 방송, 지상파 디지털 방송, 케이블 방송의 추세를 보면, 방송과 동시에 해당 방송과 관련된 검색어가 온라인 포털 등의 검색어 순위의 상위에 랭킹되는 현상을 종종 목격하게 된다.
이것은 방송과 온라인 검색이 방송 시청자에 의해 이미 융합되어 있음을 의미하며, 동일한 방송 컨텐츠를 시청하는 시청자는 방송 시점과 무관하게 해당 방송 컨텐츠에 대한 궁금증을 온라인 검색을 통해 해소하고자 하는 특징을 있음을 의미하고 있는 것이다.
실시예들은 고객이 보는 TV 화면을 자동 인식하여 맞춤 서비스를 제공하고자 한다.
실시예들은 별도 메타 없이 이미지 분석만으로 VOD, 쇼핑, 지식검색 등의 서비스를 제공하고자 한다.
실시예들은 시청중인 장면과 상황을 분석하여 유사한 서비스를 자동으로 제공하고자 한다.
실시예들은 인물검색을 통해 컨텐츠 검색을 도와주고, 쇼핑 검색을 통해 고객이 원하는 물건의 구매를 돕고자 한다.
실시예들은 인물정보 검색 및 인물 사진 제공 등의 서비스 제공을 통해 VOD 추천 및 시청유도를 통해 수익 창출하고자 한다.
일 실시예에 따른 이미지 검색 방법은 캡처된 방송 영상을 수신하는 단계; 상기 캡처된 방송 영상을 복수개의 영상 분석 서버에 입력하여, 상기 복수개의 영상 분석 서버 각각으로부터 상기 캡처된 방송 영상에 대응하는 영상 분석 결과를 수신하는 단계; 상기 영상 분석 결과를 스코어링하여 상기 영상 분석 결과의 우선 순위를 결정하는 단계; 상기 우선 순위에 기초하여 상기 영상 분석 결과 중 어느 하나를 검색 대상으로 결정하는 단계; 상기 검색 대상을 서비스 서버에 입력하여 상기 검색 대상에 대응하는 서비스 콘텐츠를 획득하는 단계; 및 상기 서비스 콘텐츠를 화면상에 표시하도록 처리하는 단계를 포함한다.
상기 영상 분석 서버는 인물 인식 서버, 상품 인식 서버, 지식 인식 서버 및 복합 인식 서버 중 적어도 하나를 포함할 수 있다.
상기 영상 분석 결과는 상기 캡처된 방송 영상에 포함된 인식의 대상이 되는 영역, 상기 인식의 대상이 되는 영역에 대한 인식 결과 및 상기 인식 결과의 정확도 점수를 포함할 수 있다.
상기 우선 순위를 결정하는 단계는 상기 영상 분석 결과에 포함된 인식 결과의 정확도 점수에 기초하여, 상기 우선 순위를 결정하는 단계를 포함할 수 있다.
상기 서비스 콘텐츠를 화면상에 표시하도록 처리하는 단계는 상기 서비스 콘텐츠를 인식의 대상이 되는 영역과 함께 상기 화면상에 표시하도록 처리하는 단계를 포함할 수 있다.
상기 서비스 콘텐츠를 획득하는 단계는 상기 검색 대상의 종류에 따라 미리 결정된 상기 서비스 서버를 결정하는 단계; 및 상기 검색 대상을 상기 결정된 서비스 서버에 입력하여 상기 서비스 콘텐츠를 획득하는 단계를 포함할 수 있다.
상기 캡처된 방송 영상을 수신하는 단계는 방송 중인 영상에 대한 검색 요청을 수신하는 단계; 상기 검색 요청에 따라 상기 검색 요청 시점의 방송 영상을 캡처하는 단계; 및 상기 캡처된 방송 영상을 수신하는 단계를 포함할 수 있다.
상기 영상 분석 결과를 수신하는 단계는 상기 캡처된 방송 영상을 인물 인식 서버에 입력하여 상기 캡처된 방송 영상 내에 인물 이미지가 포함되어 있는 경우, 상기 인물 이미지에 대응하는 키워드 및 상기 인물 이미지의 정확도 점수를 수신하는 단계를 포함할 수 있다.
상기 영상 분석 결과를 수신하는 단계는 상기 캡처된 방송 영상을 상품 인식 서버에 입력하여 상기 캡처된 방송 영상 내에 상품 이미지가 포함되어 있는 경우, 상기 상품에 대응하는 판매 정보 및 상기 상품 이미지의 정확도 점수를 수신하는 단계를 포함할 수 있다.
상기 검색 대상이 인물 인식 서버로부터 수신한 영상 분석 결과인 경우, 상기 검색 대상에 대응하는 서비스 콘텐츠를 획득하는 단계는 상기 검색 대상을 인물 검색 서버, 미디어 검색 서버 및 사진 검색 서버 중 적어도 하나에 입력하여 상기 검색 대상에 대응하는 서비스 콘텐츠를 획득하는 단계를 포함할 수 있다.
상기 영상 분석 서버는 인물 인식 서버, 상품 인식 서버, 지식 인식 서버 및 복합 인식 서버 중 적어도 하나를 포함하고, 상기 우선 순위를 결정하는 단계는 상기 인물 인식 서버, 상기 상품 인식 서버, 상기 지식 인식 서버 및 상기 복합 인식 서버로부터 수신한 영상 분석 결과에 포함된 인식 결과의 정확도 점수를 비교하는 단계; 및 상기 인식 결과의 정확도 점수에 기초하여 상기 우선 순위를 결정하는 단계를 포함할 수 있다.
상기 서비스 콘텐츠를 화면상에 표시하도록 처리하는 단계는 상기 서비스 콘텐츠가 복수개인 경우, 미리 정해진 기준에 따라 상기 서비스 콘텐츠의 목록을 제공하는 단계를 포함할 수 있다.
일 실시예에 따른 이미지 검색 장치는 캡처된 방송 영상을 수신하는 방송 신호 수신부; 및 상기 캡처된 방송 영상을 복수개의 영상 분석 서버에 입력하여, 상기 복수개의 영상 분석 서버 각각으로부터 상기 캡처된 방송 영상에 대응하는 영상 분석 결과를 수신하고, 상기 영상 분석 결과를 스코어링 하여 상기 영상 분석 결과의 우선 순위를 결정하고, 상기 우선 순위에 기초하여 상기 영상 분석 결과 중 어느 하나를 검색 대상으로 결정하고, 상기 검색 대상을 서비스 서버에 입력하여 상기 검색 대상에 대응하는 서비스 콘텐츠를 획득하며, 상기 서비스 콘텐츠를 화면상에 표시하도록 처리하는 프로세서를 포함한다.
상기 영상 분석 서버는 인물 인식 서버, 상품 인식 서버, 지식 인식 서버 및 복합 인식 서버 중 적어도 하나를 포함할 수 있다.
상기 영상 분석 결과는 상기 캡처된 방송 영상에 포함된 인식의 대상이 되는 영역, 상기 인식의 대상이 되는 영역에 대한 인식 결과 및 상기 인식 결과의 정확도 점수를 포함할 수 있다.
상기 프로세서는 상기 영상 분석 결과에 포함된 인식 결과의 정확도 점수에 기초하여, 상기 우선 순위를 결정할 수 있다.
상기 프로세서는 상기 서비스 콘텐츠를 인식의 대상이 되는 영역과 함께 상기 화면상에 표기하도록 처리할 수 있다.
상기 프로세서는 상기 검색 대상의 종류에 따라 미리 결정된 상기 서비스 서버를 결정하고, 상기 검색 대상을 상기 결정된 서비스 서버에 입력하여 상기 서비스 콘텐츠를 획득할 수 있다.
상기 영상 분석 서버는 인물 인식 서버, 상품 인식 서버, 지식 인식 서버 및 복합 인식 서버 중 적어도 하나를 포함하고, 상기 프로세서는 상기 인물 인식 서버, 상기 상품 인식 서버, 상기 지식 인식 서버 및 상기 복합 인식 서버로부터 수신한 영상 분석 결과에 포함된 인식 결과의 정확도 점수를 비교하고, 상기 인식 결과의 정확도 점수에 기초하여 상기 우선 순위를 결정할 수 있다.
실시예들은 고객이 보는 TV 화면을 자동 인식하여 맞춤 서비스를 제공할 수 있다.
실시예들은 별도 메타 없이 이미지 분석만으로 VOD, 쇼핑, 지식검색 등의 서비스를 제공할 수 있다.
실시예들은 시청중인 장면과 상황을 분석하여 유사한 서비스를 자동으로 제공할 수 있다.
실시예들은 인물검색을 통해 컨텐츠 검색을 도와주고, 쇼핑 검색을 통해 고객이 원하는 물건의 구매를 도울 수 있다.
실시예들은 인물정보 검색 및 인물 사진 제공 등의 서비스 제공을 통해 VOD 추천 및 시청유도를 통해 수익 창출할 수 있다.
도 1은 일 실시예에 따른 이미지 검색 장치를 포함하는 전체 시스템을 나타내는 도면이다.
도 2는 일 실시예에 따른 이미지 검색 장치의 세부 구성을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 프로세서의 세부 구성을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 영상 분석 결과의 우선 순위를 결정하는 방법을 설명하기 위한 순서도이다.
도 5는 일 실시예에 따른 인물 인식 결과가 검색 대상이 되는 실시예를 도시한 도면이다.
도 6은 일 실시예에 따른 상품 인식 결과가 검색 대상이 되는 실시예를 도시한 도면이다.
본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~간의에"와 "바로~간의에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. 예를 들어, 실시예들은 스마트 폰, 모바일 기기, 스마트 홈 시스템 등에서 사용자를 인증하는데 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 이미지 검색 장치를 포함하는 전체 시스템을 나타내는 도면이다.
도 1을 참조하면, 일 실시예에 따른 시스템은 TV(100), 셋톱박스(Set-top box; STB)(110), 통신 네트워크(120), 방송 서버(130), 서비스 서버(140), 및 영상 분석 서버(150) 등을 포함하여 구성될 수 있다.
일 실시예에 따르면, 방송 컨텐츠를 시청하는 시청자가 방송 컨텐츠에 대한 궁금증이 생길 경우, 시청자의 입력에 따라 TV에서 출력되고 있는 방송 영상을 캡처하고, 캡처한 영상을 이미지 인식 기반으로 유의미한 정보를 자동 추출하여 시청자에게 부가적인 서비스 콘텐츠를 제공할 수 있다. 검색 대상은 인물 정보, 상품 정보 및 지식 정보를 포함할 수 있으며, 캡처 화면에 관한 분석에 기초하여 각 검색 대상의 적합도에 관한 스코어가 산출될 수 있고, 산출된 스코어를 기초로 가장 적합한 검색 대상이 결정될 수 있다.
TV(100)는 셋톱박스(110)를 통해 통신 네트워크(120)와 연결이 가능할 수 있다. TV(100)는 통신 네트워크(120)를 통해 방송 서버(130)로부터 방송 정보를 수신하여 방송 화면을 디스플레이할 수 있다. 방송 서버(130)는 지상파 방송 서버 및 케이블 방송 서버를 포함할 수 있다.
TV(100)는 어떠한 종류의 형태와 기능을 갖는 TV도 본 발명에 적용이 가능할 수 있다. 이하 설명에서는 일반 TV에 소정의 애플리케이션이 설치된 셋톱박스가 연결된 형태의 시스템을 예를 들어 설명하기로 한다. 다만, 소정의 애플리케이션이 설치되고 인터넷과의 통신 기능이 구비된 스마트 TV에도 본 발명의 적용이 가능하다. 본 발명에 따라 셋톱박스 내에서 구현되는 기능의 전부 또는 일부가 스마트 TV 내에서 기능하도록 구현될 수 있다. 또한, 본 발명이 스마트 TV에 한정되는 것은 아니며, 소정의 어플리케이션이 설치 가능한 어떠한 방식의 TV에도 적용이 가능하다.
셋톱박스(110)는 TV(100)에 연결되어, 외부에서 들어오는 신호를 받아 적절히 변환하여 TV로 그 내용을 표시해 줄 수 있다. 셋톱박스(110)는 일반적으로 주문형 비디오(Video on demand; VOD), 홈 쇼핑, 네트워크 게임 등 차세대 쌍방향 멀티미디어 통신 서비스를 이용하는 데 필요한 가정용 통신 단말기로서 ‘가입자 신호 변환 장치’라고도 한다. 셋톱박스(110)는 방송 서버(130)로부터 방송 신호를 수신하여 TV(100)로 제공하는 기능을 수행할 수 있다. 또한, 셋톱박스(110)는 인터넷 연결 기능을 포함하여 통신 네트워크(120)와 연결함으로써 서비스 서버(140), 이미지 검색 서버(150)와의 통신을 수행할 수 있다. 아울러, 셋톱박스(110)에는 별도의 전용 애플리케이션의 설치를 통해 본 발명의 기능을 제공할 수 있게 된다.
본 발명의 명세서에서, 용어 '애플리케이션(application)' 또는 '앱(App)'은 스마트폰 또는 스마트 TV에 설치되는 응용 프로그램을 의미하며, 애플리케이션을 셋톱박스(110)에 설치하고 실행함으로써 본 발명의 실시예에 따른 각 기능들이 수행된다. 한편, 본 발명은 본 발명의 실시예에 따른 각종 기능들을 제공하기 위해 전용으로 제작된 애플리케이션을 사용할 수도 있으며, 다른 특정 애플리케이션에 본 발명에 따른 기능을 포함하여 구현할 수도 있다. 또한, 본 발명이 적용되는 애플리케이션은 스마트 TV 구동을 위한 애플리케이션이 될 수도 있으며, 상기 애플리케이션 실행 시 사용자 정보(예컨대, 아이디(ID))와 인증 정보(예컨대, 패스워드)를 입력함으로써 로그인한 후 서비스를 제공할 수도 있다.
통신 네트워크(120)는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 통신 네트워크(120)는 공지의 월드와이드웹(WWW; World Wide Web)일 수 있으며, 적외선(Infrared Data Association; IrDA) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선전송기술을 이용할 수도 있다. 또한, 통신 네트워크(120)는 TV(100)에서 방송 신호를 수신하기 위한 케이블 방송 통신망, 지상파 방송 통신망, 위성 방송 통신망 등을 포함할 수 있다.
영상 분석 서버(150)는 캡처된 방송 영상을 수신하여, 캡처된 방송 영상에 대응하는 영상 분석 결과를 전송하는 기능을 수행할 수 있다. 시청자에 의해 방송 중인 영상이 캡처 되면, 캡처된 방송 영상은 복수개의 영상 분석 서버(150)에 입력되고, 복수개의 영상 분석 서버(150) 각각은 캡처된 방송 영상에 대응하는 영상 분석 결과를 출력할 수 있다. 영상 분석 결과는 캡처된 방송 영상에 포함된 인식의 대상이 되는 영역, 인식의 대상이 되는 영역에 대한 인식 결과 및 인식 결과의 정확도 점수를 포함할 수 있다. 인식 결과는 영상 분석 서버(150)의 종류에 따라 다른 형태를 가질 수 있다. 정확도 점수는 복수개의 영상 분석 서버(150) 각각에서 분석한 인식 결과 중, 유사도가 가장 높은 인식 결과의 유사정도에 따른 값일 수 있다. 정확도 점수를 계산하기 위해서 다차원 벡터 비교 분석 연산을 수행할 수 있다. 예를 들어, 벡터 공간 모델, 주제 모델링(topic modeling), 코사인 유사도, 연관 규칙(association rule) 등 다양한 기법을 통해 정확도 점수를 계산할 수 있다. 인식 결과의 정확도 점수를 표현하는 방법은 다양할 수 있다. 예를 들어, 인식 결과의 정확도 점수는 %단위로 표현될 수 있다. 복수개의 영상 분석 서버(150)는 동일한 점수 체계를 가지고 인식 결과의 정확도 점수를 출력할 수 있다. 영상 분석 결과에 대한 구체적인 예시는 아래에서 도 5 내지 도 6을 참조하여 상세히 설명된다.
복수개의 영상 분석 서버(150) 각각은 캡처된 방송 영상에 대응하는 영상 분석 결과를 출력할 수 있다. 영상 분석 서버(150) 각각은 하나 이상의 영상 분석 결과를 출력할 수 있고, 복수개의 영상 분석 서버(150) 각각의 영상 분석 결과를 스코어링 하여 영상 분석 결과의 우선 순위를 결정할 수 있다. 우선 순위에 기초하여 영상 분석 결과 중 어느 하나를 검색 대상으로 결정할 수 있다. 우선 순위 및 검색 대상을 결정하는 방법은 아래에서 도 3을 참조하여 상세히 설명된다.
서비스 서버(140)는 검색 대상을 수신하여, 검색 대상에 대응하는 서비스 콘텐츠를 출력하는 기능을 수행할 수 있다. 이하, 상술한 셋톱박스(110)에 설치되는 애플리케이션의 각 구성 요소들에 대해 상세히 설명하기로 한다.
도 2는 일 실시예에 따른 이미지 검색 장치의 세부 구성을 설명하기 위한 도면이다.
도 2를 참조하면, 일 실시예에 따른 이미지 검색 장치(200)는 방송 신호 수신부(210), 주 제어부(220), 버퍼부(230), 방송 데이터 저장부(240), 프로세서(250), 데이터 통신 I/F부(260), 외부 서버(270), TV 영상 구성부(280), 방송 데이터 저장부(290), 및 디스플레이 패널(291)을 포함하여 구성될 수 있다.
방송 신호 수신부(210)는 외부로부터 전송된 각종 방송 데이터를 수신하며, 예컨대, 지상파 방송 신호 수신, 케이블 방송 신호 수신, IPTV 방송 신호 수신, 위성 방송 신호 수신 등의 기능을 수행할 수 있다. 방송 신호 수신부(210)는 케이블 TV 수신부, IPTV 수신부, 위성 방송 수신부 등을 포함할 수 있다.
예를 들어, 방송 신호 수신부(210)에서 케이블 TV 수신부는 케이블 TV 신호에 대한 복조(demodulation)를 수행한다. 이때, 복조된 후의 데이터는 압축된 영상, 음성 및 부가 정보로 구성된다. 압축된 영상은 MPEGx/H.264 표준에 따른 복원(decompression)을 수행하여 비디오 원본 데이터(video raw data)를 생성할 수 있다. 또한, 압축된 음성은 MPEGx/AC3/AAC 표준에 따른 복원(decompression)을 수행하여 오디오 원본 데이터(audio raw data)를 생성할 수 있다. 아울러, 부가 정보는 주 제어부(220)로 전송될 수 있다. 수신된 방송 신호는 버퍼부(230)를 거쳐 TV 영상 구성부(280)를 통해 디스플레이 패널(291)로 전송될 수 있다.
방송 신호 수신부(210)에서 IPTV 수신부는, 인터넷(internet)을 통해 수신된 IPTV 데이터로서 압축된 영상, 음성 및 부가 정보로 구성될 수 있다. 이때, 상기 압축된 영상은 케이블 TV 수신부에서와 마찬가지로 MPEGx/H.264 표준에 따른 복원(decompression)을 수행하여 비디오 원본 데이터(video raw data)를 생성할 수 있다. 또한, 압축된 음성은 MPEGx/AC3/AAC 표준에 따른 복원(decompression)을 수행하여 오디오 원본 데이터(audio raw data)를 생성할 수 있다. 아울러, 부가 정보는 상기 주 제어부(220)로 전송될 수 있다.
데이터 통신 I/F부(260)는 방송 신호 수신부(210)에서 수신되는 TV 방송 콘텐츠 수신과는 별도의 데이터 통신을 수행하는 데이터 통신 채널로서, 본 발명의 실시예에 따라 통신 네트워크(120)를 통해 서비스 서버(140) 및 영상 분석 서버(150)를 포함하는 외부 서버(270)와의 데이터 통신을 수행할 수 있다.
주 제어부(220)는 방송 중인 영상에 대한 검색 요청 신호가 시청자로부터 입력되면(예컨대, 리모콘 등을 통해), 현재 방송 중인 영상을 캡처하여 프로세서(250)로 제공함으로써 방송 영상에 대한 검색을 수행하도록 제어할 수 있다. 또한, 주 제어부(220)는 본 발명의 다른 실시예에 따라 방송 신호 수신부(210)를 통해 수신되는 방송 영상을 캡처하여 캡처된 방송 영상을 분석하고, 분석된 검색어를 서비스 서버(140) 및 영상 분석 서버(150)를 포함하는 외부 서버(270)로 전송하여 서비스 콘텐츠 제공을 수행하기 위한 TV(100)의 주 제어 기능을 수행할 수 있다. 주 제어부(220)는 TV 채널 변경, 음성 조절 등과 같은 TV 설정 변경을 제어하며, 인터넷 접속을 제어하고, TV(100)에 설치된 각종 애플리케이션(응용 프로그램)에 대한 제어를 수행할 수 있다.
데이터 통신 I/F부(260)를 통해 영상 분석 서버(150)와 정보 교환함으로써 영상 분석 결과를 수신하여, 우선 순위를 결정하고, 우선 순위에 기초하여 결정된 검색 대상을 서비스 서버(140)에 입력하여, 검색 대상에 대응하는 서비스 콘텐츠를 TV(100)를 통해 제공하도록 제어할 수 있다.
버퍼부(230)는 방송 신호 수신부(210)를 통해 수신되는 방송 영상의 데이터를 임시 저장한 후, TV 영상 구성부(280)로 제공하는 역할을 수행할 수 있다. TV 영상 구성부(280)는 방송 영상 데이터를 포함하여 TV 화면에 표시될 영상을 구성한 후, 디스플레이 패널(291)로 제공할 수 있다.
현재 수신되는 방송 영상에 대한 검색을 위해 방송 영상을 캡처하고자 할 경우, 수신된 영상 중 검색 요청한 시점의 방송 영상을 캡처하여 버퍼부(230)에 임시 저장한 후, 임시 저장된 방송 영상의 데이터를 주 제어부(220)를 통해 프로세서(250)로 제공할 수 있다.
버퍼부(230)에 임시 저장되는 방송 영상 데이터는 사용자의 기능 설정 또는 디폴트된 기능으로서 일정 시간 동안의 방송 영상 데이터를 방송 데이터 저장부(240)에 저장할 수도 있다. 프로세서(250)에서 애플리케이션의 실행 후 영상 검색 실행에 따른 명령을 입력 받으면, 버퍼부(230)를 통해 임시 저장된 방송 캡처 영상 데이터를 분석하여 영상과 관련된 정보를 검색하게 된다.
프로세서(250)는 상술한 바와 같이 본 발명의 실시예에 따라 설치된 애플리케이션의 실행에 따른 각종 기능들을 처리할 수 있다. 프로세서(250)는 캡처된 방송 영상을 복수개의 영상 분석 서버(150)에 입력하여, 복수개의 영상 분석 서버(150) 각각으로부터 캡처된 방송 영상에 대응하는 영상 분석 결과를 수신하고, 영상 분석 결과를 스코어링 하여 영상 분석 결과의 우선 순위를 결정하고, 우선 순위에 기초하여 영상 분석 결과 중 어느 하나를 검색 대상으로 결정하고, 검색 대상을 서비스 서버(140)에 입력하여 검색 대상에 대응하는 서비스 콘텐츠를 획득하며, 서비스 콘텐츠를 화면상에 표시하도록 처리한다.
TV 영상 구성부(280)는 상술한 방송 신호 수신부(210), 프로세서(250)를 통해 제공되는 각 디스플레이 영역을 사용자가 설정한 형태로 결합하여 TV 디스플레이 영역을 생성할 수 있다. TV 디스플레이 영역은 예컨대 TV 디스플레이 영역, 인터넷 디스플레이 영역, 서비스 콘텐츠 디스플레이 영역 등으로 구분되어 제공되거나, 각 영역들이 일부 오버랩되어 생성될 수도 있다. 이때, 각 디스플레이 영역이 결합되는 형태로는 독립적으로 각 디스플레이 영역을 사용자의 선호에 따라 크기(scale)를 달리하여 TV 출력을 위한 디스플레이 화면을 생성하거나, 특정한 디스플레이 영역을 투명 또는 반투명하게 처리하여 TV 디스플레이 화면을 생성하게 될 수 있다. 또한, 서비스 콘텐츠를 인식의 대상이 되는 영역과 함께 상기 화면상에 표시될 수도 있다. 이하, 도 3을 참조하여 프로세서(250)의 세부 구조를 설명하기로 한다.
도 3은 일 실시예에 따른 프로세서의 세부 구성을 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 따른 프로세서(250)는 영상 캡처 요청부(310), 캡처 정보 수신부(320), 영상 인식부(330), 분석 결과 표시부(340), 분석 결과 및 타겟 서비스 표시부(360)를 포함하여 구성될 수 있다. 도 3의 실시 예에서 프로세서(250)의 각각의 구성요소들은 기능 및 논리적으로 분리될 수 있음을 나타나기 위해 별도로 도면에 표시한 것이며, 물리적으로 반드시 별도의 구성요소이거나 별도의 코드로 구현되는 것을 의미하는 것은 아니다.
영상 캡처 요청부(310)는 TV를 통한 방송 시청 중 현재 방송 중인 화면에 관련된 정보를 얻고자 방송 검색 요청을 실행하면, 애플리케이션의 실행에 따라 현재 방송 중인 영상의 화면 캡처를 요청할 수 있다.
상술한 바와 같이 주 제어부(220)를 통해 현재 방송 중인 영상이 캡처되고, 캡처 정보 수신부(320)에서는 캡처된 방송 영상(예컨대, 이미지 파일)을 수신할 수 있다.
영상 인식부(330)는 캡처된 방송 영상을 복수개의 영상 분석 서버(150)에 입력하고, 복수개의 영상 분석 서버 각각으로부터 캡처된 방송 영상에 대응하는 영상 분석 결과를 수신할 수 있다. 또한, 복수개의 영상 분석 서버(150) 각각으로부터 수신한 영상 분석 결과를 스코어링하여 영상 분석 결과의 우선 순위를 결정할 수 있고, 우선 순위에 기초하여 영상 분석 결과 중 어느 하나를 검색 대상으로 결정할 수 있다. 영상 인식부(330)는 인물 검색부(331), 쇼핑 검색부(332), 지식 검색부(333)를 포함할 수 있고, 각 부를 통해 인물 인식 서버(334), 상품 인식 서버(335), 지식 인식 서버(336)에 캡처된 방송 영상을 입력할 수 있다.
영상 분석 서버(150)는 인물 인식 서버(334), 상품 인식 서버(335), 지식 인식 서버(336) 및 복합 인식 서버(미도시) 중 적어도 하나를 포함할 수 있다. 인물 인식 서버(334)는 캡처된 방송 영상 내에 인물 이미지가 포함되어 있는 경우, 인물 이미지에 대응하는 키워드 및 인물 이미지의 정확도 점수를 출력할 수 있다. 키워드는 예를 들어 인물의 이름일 수 있다. 이름은 인물의 본명 뿐만 아니라 활동명을 포함할 수 있다. 상품 인식 서버(335)는 캡처된 방송 영상 내에 상품 이미지가 포함되어 있는 경우, 상품에 대응하는 판매 정보 및 상품 이미지의 정확도 점수를 출력할 수 있다.
영상 분석 서버(150)는 외부 영상 분석 서버를 포함할 수 있다. 예를 들어, 영상 분석 서버(150)는 얼굴인식 API, 쇼핑검색 API, 지식검색 API, 복합검색 API를 포함할 수 있다. 외부 영상 분석 서버를 사용하는 경우, 이미지 검색 장치는 외부 영상 분석 서버로부터 수신한 영상 분석 결과를 활용할 뿐 이미지 검색 장치가 자체적으로 영상 분석을 하지 않기 때문에 처리 속도가 향상될 수 있다.
영상 분석 결과에 포함된 인식 결과의 정확도 점수에 기초하여, 영상 분석 결과의 우선 순위를 결정할 수 있다. 영상 분석 서버(150) 각각이 하나 이상의 영상 분석 결과를 출력하는 경우에는, 정확도 점수가 가장 높은 결과를 기준으로 우선 순위를 결정할 수 있다. 예를 들어, 인물 인식 서버에서 키워드 'a', 'b' 및 'c'를 출력하는 경우, 키워드 'a', 'b' 및 'c' 중 정확도 점수가 가장 높은 결과를 다른 영상 분석 서버(150)의 영상 분석 결과와 비교하여 우선 순위를 결정할 수 있다. 우선 순위를 결정하는 방법은 다양한 방식으로 정의될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
영상 인식부(330)는 우선 순위가 미리 정해진 순위 이상인 영상 분석 결과를 검색 대상으로 결정할 수 있다. 예를 들어, 영상 인식부(330)는 우선 순위가 가장 높은 영상 분석 결과를 검색 대상으로 결정할 수 있고, 우선 순위가 두 번째에 해당하는 영상 분석 결과들을 검색 대상으로 결정할 수도 있다. 검색 대상을 결정하는 방법은 다양한 방식으로 정의될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
영상 인식부(330)에서 검색 대상을 결정이 완료되면, 검색 대상을 분석 결과 표시부(340)에 제공함으로써 분석 결과 표시부(340)에서 검색 대상의 종류에 따른 서비스 서버를 결정하고, 검색 대상을 결정된 서비스 서버에 입력하여 서비스 콘텐츠를 획득할 수 있다.
검색 대상의 종류에 따라 각 검색 대상에 적합한 서비스 서버(140)가 미리 결정될 수 있다. 예를 들어, 검색 대상이 인물 인식 서버의 영상 분석 결과일 경우에는 서비스 서버(140)는 인물 검색 서버, 미디어 검색 서버 및 사진 검색 서버 중 적어도 하나를 포함할 수 있고, 인물 검색 서버, 미디어 검색 서버 및 사진 검색 서버 중 적어도 하나에 인물 인식 서버의 영상 분석 결과를 입력하여 이에 대응하는 서비스 콘텐츠를 출력할 수 있다. 또는, 검색 대상이 상품 인식 서버의 영상 분석 결과일 경우에는, 서비스 서버(140)는 다양한 종류의 쇼핑 검색 서버를 포함할 수 있다.
분석 결과 및 타겟 서비스 표시부(360)는 서비스 콘텐츠 정보를 디스플레이 패널(391)로 제공하여 서비스 콘텐츠를 도 5, 도 6에 도시된 바와 같이 화면상의 특정 영역에 디스플레이하게 된다. 분석 결과 및 타겟 서비스 표시부(360)는 서비스 콘텐츠가 복수개인 경우, 미리 정해진 기준에 따라 서비스 콘텐츠의 목록을 제공할 수도 있다. 또한, 분석 결과 및 타겟 서비스 표시부(360)는 서비스 콘텐츠를 인식의 대상이 되는 영역과 함께 화면상에 표시할 수 있다.
본 명세서에서 각 기능부라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 각 기능부는 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
도 4는 일 실시예에 따른 영상 분석 결과의 우선 순위를 결정하는 방법을 설명하기 위한 순서도이다.
도 4를 참조하면, 단계(410 내지 470)은 도 2를 참조하여 전술된 이미지 검색 장치(200)에 의해 수행될 수 있다. 이미지 검색 장치(200)는 하나 또는 그 이상의 하드웨어 모듈, 하나 또는 그 이상의 소프트웨어 모듈, 또는 이들의 다양한 조합에 의하여 구현될 수 있다. 도 1 내지 3의 설명은 도 4에도 적용 가능하므로, 중복되는 내용의 설명은 생략한다.
단계(410)에서, 셋톱박스에서 애플리케이션을 실행할 수 있다.
단계(415)에서, 이미지 검색 장치(200)는 방송 화면 분석을 할 수 있다.
단계(420)에서, 이미지 검색 장치(200)는 방송 화면을 캡처할 수 있다.
단계(425)에서, 이미지 검색 장치(200)는 영상 인식 서버(150)를 이용하여 캡처 이미지(영상)에 대응하는 영상 분석 결과를 수신할 수 있다.
예를 들어, 단계(430)에서 이미지 검색 장치(200)는 인물 인식 서버로부터 인물 인식 결과의 정확도 점수를 획득할 수 있다. 이미지 검색 장치(200)는 단계(435)에서 상품 인식 서버로부터 상품 인식 결과의 정확도 점수를 획득할 수 있다. 이미지 검색 장치(200)는 단계(440)에서 지식 인식 서버로부터 지식 인식 결과의 정확도 점수를 획득할 수 있다.
이미지 검색 장치(200)는 영상 분석 결과를 스코어링하여 영상 분석 결과의 우선 순위를 결정할 수 있다. 이미지 검색 장치(200)는 인물 인식 서버, 상품 인식 서버, 지식 인식 서버 및 복합 인식 서버로부터 수신한 영상 분석 결과에 포함된 인식 결과의 정확도 점수를 비교하고, 인식 결과의 정확도 점수에 기초하여 우선 순위를 결정할 수 있다.
예를 들어 단계(445)에서, 이미지 검색 장치(200)는 인물 인식 결과의 정확도 점수와 상품 인식 결과의 정확도 점수를 비교할 수 있고, 인물 인식 결과의 정확도 점수가 더 높은 경우, 인물 인식 결과의 정확도 점수와 지식 인식 결과의 정확도 점수를 비교하여, 인물 인식 결과의 정확도 점수가 높은 경우 인물 인식 결과를 검색 대상으로 결정하여, 단계(455)에서 서비스 서버(140)에 인물 인식 결과를 입력하여 인물 정보 제공 및 인물과 관련된 콘텐츠를 추천할 수 있다.
마찬가지로, 지식 인식 결과의 정확도가 가장 높은 경우에는 단계(465)에서 지식 서비스를 제공할 수 있고, 상품 인식 결과의 정확도가 가장 높은 경우에는 단계(470)에서 상품과 관련된 쇼핑 정보 및 서비스를 제공할 수 있다.
도 5는 일 실시예에 따른 인물 인식 결과가 검색 대상이 되는 실시예를 도시한 도면이다.
도 5를 참조하면, 일 실시예에 따른 이미지 검색 장치는 캡처된 방송 영상(510)을 수신할 수 있다. 캡처된 방송 영상을 복수개의 영상 분석 서버에 입력할 수 있고, 영상 분석 서버 각각으로부터 캡처된 방송 영상에 대응하는 영상 분석 결과를 수신할 수 있다. 인물 인식 결과의 정확도 점수가 가장 높기 때문에, 인물 인식 결과를 검색 대상으로 결정할 수 있다.
인물 인식 결과를 서비스 서버에 입력하여 검색 대상에 대응하는 서비스 콘텐츠를 획득할 수 있다. 검색 대상이 인물 인식 결과이기 때문에, 서비스 서버는 인물 검색 서버, 미디어 검색 서버 및 사진 검색 서버를 포함할 수 있다. 인물 인식 결과를 인물 검색 서버에 입력하여 서비스 콘텐츠(520)를 획득할 수 있고, 인물 인식 결과를 미디어 검색 서버에 입력하여 서비스 콘텐츠(530)를 획득할 수 있고, 인물 인식 결과를 사진 검색 서버에 입력하여 서비스 콘텐츠(540)를 획득할 수 있다.
도 6은 일 실시예에 따른 상품 인식 결과가 검색 대상이 되는 실시예를 도시한 도면이다.
도 6를 참조하면, 일 실시예에 따른 이미지 검색 장치는 캡처된 방송 영상(610)을 수신할 수 있다. 캡처된 방송 영상을 복수개의 영상 분석 서버에 입력할 수 있고, 영상 분석 서버 각각으로부터 캡처된 방송 영상에 대응하는 영상 분석 결과를 수신할 수 있다. 상품 인식 결과의 정확도 점수가 가장 높기 때문에, 상품 인식 결과를 검색 대상으로 결정할 수 있다.
상품 인식 결과를 서비스 서버에 입력하여 검색 대상에 대응하는 서비스 콘텐츠를 획득할 수 있다. 검색 대상이 상품 인식 결과이기 때문에, 서비스 서버는 쇼핑 검색 서버를 포함할 수 있다. 상품 인식 결과를 쇼핑 검색 서버에 입력하여 서비스 콘텐츠(620)를 획득할 수 있다.
이미지 검색 장치는 사용자가 설정한 형태로 캡처된 방송 영상과 서비스 콘텐츠를 결합하여 TV 디스플레이 영역을 생성할 수 있다. TV 디스플레이 영역은 예컨대 TV 디스플레이 영역, 인터넷 디스플레이 영역, 서비스 콘텐츠 디스플레이 영역 등으로 구분되어 제공되거나, 각 영역들이 일부 오버랩되어 생성될 수도 있다. 이때, 각 디스플레이 영역이 결합되는 형태로는 독립적으로 각 디스플레이 영역을 사용자의 선호에 따라 크기(scale)를 달리하여 TV 출력을 위한 디스플레이 화면을 생성하거나, 특정한 디스플레이 영역을 투명 또는 반투명하게 처리하여 TV 디스플레이 화면을 생성하게 될 수 있다. 또한, 서비스 콘텐츠를 인식의 대상이 되는 영역과 함께 상기 화면상에 표시될 수도 있다.
일 실시예에 따른 이미지 검색 방법은 캡처된 방송 영상을 수신하는 단계, 캡처된 방송 영상을 복수개의 영상 분석 서버에 입력하여, 복수개의 영상 분석 서버 각각으로부터 캡처된 방송 영상에 대응하는 영상 분석 결과를 수신하는 단계, 영상 분석 결과를 스코어링하여 영상 분석 결과의 우선 순위를 결정하는 단계, 우선 순위에 기초하여 영상 분석 결과 중 어느 하나를 검색 대상으로 결정하는 단계, 검색 대상을 서비스 서버에 입력하여 검색 대상에 대응하는 서비스 콘텐츠를 획득하는 단계 및 서비스 콘텐츠를 화면상에 표시하도록 처리하는 단계를 포함한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 캡처된 방송 영상을 수신하는 단계;
    상기 캡처된 방송 영상을 복수개의 영상 분석 서버에 입력하여, 상기 복수개의 영상 분석 서버 각각으로부터 상기 캡처된 방송 영상에 대응하는 영상 분석 결과를 수신하는 단계;
    상기 복수개의 영상 분석 서버 각각으로부터 수신한 상기 영상 분석 결과에 포함된 인식 결과의 정확도 점수를 비교하는 단계;
    상기 인식 결과의 정확도 점수에 기초하여, 상기 영상 분석 결과 중 어느 하나를 검색 대상으로 결정하는 단계;
    상기 검색 대상을 서비스 서버에 입력하여 상기 검색 대상에 대응하는 서비스 콘텐츠를 획득하는 단계; 및
    상기 서비스 콘텐츠를 화면상에 표시하도록 처리하는 단계
    를 포함하고,
    상기 단계들은 적어도 하나의 프로세서에 의해서 수행되는, 이미지 검색 방법.
  2. 제1항에 있어서,
    상기 영상 분석 서버는
    인물 인식 서버, 상품 인식 서버, 지식 인식 서버 및 복합 인식 서버 중 적어도 하나를 포함하는, 이미지 검색 방법.
  3. 제1항에 있어서,
    상기 영상 분석 결과는
    상기 캡처된 방송 영상에 포함된 인식의 대상이 되는 영역, 상기 인식의 대상이 되는 영역에 대한 인식 결과 및 상기 인식 결과의 정확도 점수를 포함하는, 이미지 검색 방법.
  4. 제1항에 있어서,
    상기 검색 대상으로 결정하는 단계는
    상기 영상 분석 결과에 포함된 인식 결과의 정확도 점수에 기초하여, 우선 순위를 결정하는 단계
    를 포함하는, 이미지 검색 방법.
  5. 제1항에 있어서,
    상기 서비스 콘텐츠를 화면상에 표시하도록 처리하는 단계는
    상기 서비스 콘텐츠를 인식의 대상이 되는 영역과 함께 상기 화면상에 표시하도록 처리하는 단계
    를 포함하는, 이미지 검색 방법.
  6. 제1항에 있어서,
    상기 서비스 콘텐츠를 획득하는 단계는
    상기 검색 대상의 종류에 따라 미리 결정된 상기 서비스 서버를 결정하는 단계; 및
    상기 검색 대상을 상기 결정된 서비스 서버에 입력하여 상기 서비스 콘텐츠를 획득하는 단계
    를 포함하는, 이미지 검색 방법.
  7. 제1항에 있어서,
    상기 캡처된 방송 영상을 수신하는 단계는
    방송 중인 영상에 대한 검색 요청을 수신하는 단계;
    상기 검색 요청에 따라 상기 검색 요청 시점의 방송 영상을 캡처하는 단계; 및
    상기 캡처된 방송 영상을 수신하는 단계
    를 포함하는, 이미지 검색 방법
  8. 제1항에 있어서,
    상기 영상 분석 결과를 수신하는 단계는
    상기 캡처된 방송 영상을 인물 인식 서버에 입력하여 상기 캡처된 방송 영상 내에 인물 이미지가 포함되어 있는 경우, 상기 인물 이미지에 대응하는 키워드 및 상기 인물 이미지의 정확도 점수를 수신하는 단계
    를 포함하는, 이미지 검색 방법.
  9. 제1항에 있어서,
    상기 영상 분석 결과를 수신하는 단계는
    상기 캡처된 방송 영상을 상품 인식 서버에 입력하여 상기 캡처된 방송 영상 내에 상품 이미지가 포함되어 있는 경우, 상기 상품에 대응하는 판매 정보 및 상기 상품 이미지의 정확도 점수를 수신하는 단계
    를 포함하는, 이미지 검색 방법.
  10. 제1항에 있어서,
    상기 검색 대상이 인물 인식 서버로부터 수신한 영상 분석 결과인 경우,
    상기 검색 대상에 대응하는 서비스 콘텐츠를 획득하는 단계는
    상기 검색 대상을 인물 검색 서버, 미디어 검색 서버 및 사진 검색 서버 중 적어도 하나에 입력하여 상기 검색 대상에 대응하는 서비스 콘텐츠를 획득하는 단계
    를 포함하는, 이미지 검색 방법.
  11. 제1항에 있어서,
    상기 영상 분석 서버는
    인물 인식 서버, 상품 인식 서버, 지식 인식 서버 및 복합 인식 서버 중 적어도 하나를 포함하고,
    상기 검색 대상으로 결정하는 단계는
    상기 인물 인식 서버, 상기 상품 인식 서버, 상기 지식 인식 서버 및 상기 복합 인식 서버로부터 수신한 영상 분석 결과에 포함된 인식 결과의 정확도 점수를 비교하는 단계; 및
    상기 인식 결과의 정확도 점수에 기초하여 우선 순위를 결정하는 단계
    를 포함하는, 이미지 검색 방법.
  12. 제1항에 있어서,
    상기 서비스 콘텐츠를 화면상에 표시하도록 처리하는 단계는
    상기 서비스 콘텐츠가 복수개인 경우,
    미리 정해진 기준에 따라 상기 서비스 콘텐츠의 목록을 제공하는 단계
    를 포함하는, 이미지 검색 방법.
  13. 하드웨어와 결합되어 제1항 내지 제12항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  14. 캡처된 방송 영상을 수신하는 방송 신호 수신부; 및
    상기 캡처된 방송 영상을 복수개의 영상 분석 서버에 입력하여, 상기 복수개의 영상 분석 서버 각각으로부터 상기 캡처된 방송 영상에 대응하는 영상 분석 결과를 수신하고,
    상기 복수개의 영상 분석 서버 각각으로부터 수신한 상기 영상 분석 결과에 포함된 인식 결과의 정확도 점수를 비교하고
    상기 인식 결과의 정확도 점수에 기초하여, 상기 영상 분석 결과 중 어느 하나를 검색 대상으로 결정하고,
    상기 검색 대상을 서비스 서버에 입력하여 상기 검색 대상에 대응하는 서비스 콘텐츠를 획득하며,
    상기 서비스 콘텐츠를 화면상에 표시하도록 처리하는 프로세서
    를 포함하는, 이미지 검색 장치.
  15. 제14항에 있어서,
    상기 영상 분석 서버는
    인물 인식 서버, 상품 인식 서버, 지식 인식 서버 및 복합 인식 서버 중 적어도 하나를 포함하는, 이미지 검색 장치.
  16. 제14항에 있어서,
    상기 영상 분석 결과는
    상기 캡처된 방송 영상에 포함된 인식의 대상이 되는 영역, 상기 인식의 대상이 되는 영역에 대한 인식 결과 및 상기 인식 결과의 정확도 점수를 포함하는, 이미지 검색 장치.
  17. 제14항에 있어서,
    상기 프로세서는
    상기 영상 분석 결과에 포함된 인식 결과의 정확도 점수에 기초하여, 우선 순위를 결정하는, 이미지 검색 장치.
  18. 제14항에 있어서,
    상기 프로세서는
    상기 서비스 콘텐츠를 인식의 대상이 되는 영역과 함께 상기 화면상에 표기하도록 처리하는, 이미지 검색 장치.
  19. 제14항에 있어서,
    상기 프로세서는
    상기 검색 대상의 종류에 따라 미리 결정된 상기 서비스 서버를 결정하고,
    상기 검색 대상을 상기 결정된 서비스 서버에 입력하여 상기 서비스 콘텐츠를 획득하는, 이미지 검색 장치.
  20. 제14항에 있어서,
    상기 영상 분석 서버는
    인물 인식 서버, 상품 인식 서버, 지식 인식 서버 및 복합 인식 서버 중 적어도 하나를 포함하고,
    상기 프로세서는
    상기 인물 인식 서버, 상기 상품 인식 서버, 상기 지식 인식 서버 및 상기 복합 인식 서버로부터 수신한 영상 분석 결과에 포함된 인식 결과의 정확도 점수를 비교하고, 상기 인식 결과의 정확도 점수에 기초하여 우선 순위를 결정하는, 이미지 검색 장치.

KR1020190004494A 2019-01-14 2019-01-14 방송 영상 검색 방법 및 장치 KR102217490B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190004494A KR102217490B1 (ko) 2019-01-14 2019-01-14 방송 영상 검색 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190004494A KR102217490B1 (ko) 2019-01-14 2019-01-14 방송 영상 검색 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200088019A KR20200088019A (ko) 2020-07-22
KR102217490B1 true KR102217490B1 (ko) 2021-02-18

Family

ID=71893094

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190004494A KR102217490B1 (ko) 2019-01-14 2019-01-14 방송 영상 검색 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102217490B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392235A (zh) * 2021-06-11 2021-09-14 北京猿力未来科技有限公司 一种绘本指读方法及相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101486545B1 (ko) * 2013-01-15 2015-01-26 네이버 주식회사 Ｔｖ 애플리케이션을 이용한 방송 영상 검색 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101660984B1 (ko) * 2010-04-14 2016-09-28 주식회사 엘지유플러스 이미지 데이터에 대응하는 정보 제공 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101486545B1 (ko) * 2013-01-15 2015-01-26 네이버 주식회사 Ｔｖ 애플리케이션을 이용한 방송 영상 검색 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
KR20200088019A (ko) 2020-07-22

Similar Documents

Publication Publication Date Title
US11902626B2 (en) Control method of playing content and content playing apparatus performing the same
US20220138211A1 (en) Approximate template matching for natural language queries
US20220012275A1 (en) Method and system for voice based media search
US11853370B2 (en) Scene aware searching
US9015139B2 (en) Systems and methods for performing a search based on a media content snapshot image
US10219011B2 (en) Terminal device and information providing method thereof
US9674563B2 (en) Systems and methods for recommending content
US9807470B2 (en) Content processing apparatus and method for providing an event
US10845941B2 (en) Image display apparatus and method
US20140282061A1 (en) Methods and systems for customizing user input interfaces
GB2519766A (en) A system and method for disseminating functionality to a target device
US20170105040A1 (en) Display method, apparatus and related display panel
US20140172891A1 (en) Methods and systems for displaying location specific content
US20130091524A1 (en) Method and apparatus for providing integrated electronic program guide (epg) of multi- input sources
US20140114919A1 (en) Systems and methods for providing synchronized media content
US10277945B2 (en) Contextual queries for augmenting video display
US20150012946A1 (en) Methods and systems for presenting tag lines associated with media assets
US20140130095A1 (en) Method and system for providing electronic personalized menu
KR102036384B1 (ko) 연관 서비스 제공 방법 및 장치
CN111625716A (zh) 媒资推荐方法、服务器及显示设备
KR102217490B1 (ko) 방송 영상 검색 방법 및 장치
KR20160117933A (ko) 검색을 수행하는 디스플레이 장치 및 이의 제어 방법
US20160192022A1 (en) Electronic device, method, and storage medium
WO2016206035A1 (zh) 一种信息推荐方法及用户终端
US10592950B2 (en) Systems and methods for on-line purchase of items displayed within video content

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant