KR20190138168A - Display apparatus and control method thereof - Google Patents

Display apparatus and control method thereof Download PDF

Info

Publication number
KR20190138168A
KR20190138168A KR1020180064398A KR20180064398A KR20190138168A KR 20190138168 A KR20190138168 A KR 20190138168A KR 1020180064398 A KR1020180064398 A KR 1020180064398A KR 20180064398 A KR20180064398 A KR 20180064398A KR 20190138168 A KR20190138168 A KR 20190138168A
Authority
KR
South Korea
Prior art keywords
item
image
area
product
processor
Prior art date
Application number
KR1020180064398A
Other languages
Korean (ko)
Inventor
안우람
함철희
송가영
신희원
이신욱
이태영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180064398A priority Critical patent/KR20190138168A/en
Priority to PCT/KR2019/006743 priority patent/WO2019235820A1/en
Publication of KR20190138168A publication Critical patent/KR20190138168A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content

Abstract

According to the present invention, provided is a display apparatus comprising: a signal reception unit for receiving a signal of an image consisting of a plurality of frames; a signal processing unit for processing the signal; a display unit; and a processor configured to detect a first region of a first item and a second region of a second item related to the first item in the image, search for the first item of the detected first region based on information on the second item of the detected second region, and display a search result of the searched first item on the display unit.

Description

디스플레이장치 및 그 제어방법 {DISPLAY APPARATUS AND CONTROL METHOD THEREOF}Display Device and Control Method {DISPLAY APPARATUS AND CONTROL METHOD THEREOF}

본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 영상 컨텐츠 내에 포함된 항목을 검색하기 위한 디스플레이장치 및 그 제어방법에 관한 것이다.The present invention relates to a display apparatus and a control method thereof, and more particularly, to a display apparatus for searching for an item included in image content and a control method thereof.

최근 스마트 TV의 발전으로 방송 영상을 기반으로 시청자가 원하는 정보를 검색하여 표시할 수 있는 기술적 기반이 마련되고 있다. 특히, 딥 러닝(deep learning) 기술의 발전으로 영상 내 이미지에 대한 검색 성능이 과거에 비해 획기적으로 개선되고 있다. Recently, with the development of smart TVs, a technical basis for searching for and displaying information desired by a viewer based on a broadcast video is being prepared. In particular, due to the development of deep learning technology, the search performance of images in images is dramatically improved compared to the past.

TV 방송의 경우, 방송 컨텐츠에 노출된 패션 상품이 소비자들 사이에서 유행이 되기도 하고, 패션 업체는 제품 간접광고(PPL)를 통해 드라마를 시청하는 시청자들에게 상품 구매를 유도하기도 한다. In the case of TV broadcasting, fashion products exposed to broadcast contents become popular among consumers, and fashion companies induce product purchases to viewers who watch drama through product indirect advertisement (PPL).

그러나, 드라마 등의 방송 컨텐츠에 등장하는 수많은 패션 상품을 단순한 검색어 조합에 의해 찾아내기는 어려운 실정이다.However, it is difficult to find many fashion products appearing in broadcasting contents such as dramas by simple search word combinations.

종래기술에 있어, 영상 속 상품에 대한 정보를 사전에 DB로 생성하여 상품을 검색 가능하도록 하나, 사전 정보를 생성하기 위한 상당한 수작업이 요구되는 단점이 있다. In the prior art, it is possible to search for a product by generating information about a product in an image in advance in a DB, but there is a disadvantage that a considerable manual work is required to generate dictionary information.

또한, 영상 속 항목의 위치를 검출하여 특징을 추출하는 방법으로 이미지를 검색하는 기술이 사용되고 있으나, 영상 속 항목에 대한 다양한 정보를 활용하지 않으므로, 검색의 정확도가 떨어지는 문제점이 있다.In addition, although a technique of searching an image is used as a method of detecting a position of an item in an image and extracting a feature, there is a problem in that the accuracy of the search is inferior because various information on the item in the image is not utilized.

따라서, 본 발명의 목적은, 영상 내 항목의 검색 시, 항목와 관련된 부가정보를 획득하여 검색의 정확도를 높이기 위한 디스플레이장치 및 그 제어방법을 제공하는 것이다. Accordingly, an object of the present invention is to provide a display apparatus and a control method thereof for increasing the accuracy of a search by acquiring additional information related to an item when searching for an item in an image.

또한, 본 발명의 또 다른 목적은, 영상 내 항목의 검색 시, 항목에 관한 정보 생성 등 사전 작업 없이 검색 기능을 제공하기 위한 디스플레이장치 및 그 제어방법을 제공하는 것이다.Further, another object of the present invention is to provide a display apparatus and a control method for providing a search function without prior work such as generating information on an item when searching for an item in an image.

또한, 본 발명의 또 다른 목적은, 영상을 시청하는 사용자에게 차별화된 사용자 경험(UX)를 제공하기 위한 디스플레이장치 및 그 제어방법을 제공하는 것이다.In addition, another object of the present invention is to provide a display apparatus and a control method for providing a differentiated user experience (UX) to a user watching an image.

상기 목적은, 본 발명에 따라, 디스플레이장치에 있어서, 복수의 프레임으로 이루어지는 영상의 신호를 수신하는 신호수신부와; 신호를 처리하는 신호처리부와; 디스플레이부와; 영상에서 검색 대상인 제1항목의 제1영역 및 제1항목에 관련된 제2항목의 제2영역을 검출하고, 검출된 제2영역의 제2항목의 정보에 기초하여 검출된 제1영역의 제1항목을 검색하고, 검색된 제1항목의 검색결과를 디스플레이부에 표시하도록 제어하는 프로세서를 포함하는 디스플레이장치에 의해 달성될 수 있다.According to an aspect of the present invention, there is provided a display apparatus comprising: a signal receiving unit for receiving a signal of an image composed of a plurality of frames; A signal processor which processes a signal; A display unit; Detecting the first region of the first item to be searched in the image and the second region of the second item related to the first item, and detecting the first region of the first region based on the detected information of the second item of the second region. It may be achieved by a display apparatus including a processor for searching for an item and controlling the search result of the searched first item to be displayed on the display unit.

이와 같은 본 발명의 실시예에 따라, 영상 내 항목의 검색 시, 항목과 관련된 부가정보를 획득하여 검색의 정확도를 높일 수 있다. 또한, 영상 내 항목에 관한 정보 생성 등 사전 작업 없이 검색 기능을 제공할 수 있다. 또한, 영상을 시청하는 사용자에게 차별화된 사용자 경험(UX)를 제공할 수 있다.According to the exemplary embodiment of the present invention, when searching for an item in an image, additional information related to the item may be obtained to increase the accuracy of the search. In addition, a search function may be provided without prior work such as generating information about items in the image. In addition, it is possible to provide a differentiated user experience (UX) to the user watching the image.

상기 프로세서는, 상기 검출된 제1영역의 제1항목 및 상기 제2영역의 제2항목의 정보를 상기 서버로 전송하고, 상기 제1항목의 검색결과를 상기 서버로부터 수신할 수 있다. 이에 따라, 영상 내 항목의 검출은 TV에서 수행하고, 검출된 항목의 검색은 서버에서 수행 가능하도록 하여, 시스템 부하를 줄이고 검색 속도를 높일 수 있다. The processor may transmit information of the detected first item of the first area and the second item of the second area to the server, and receive a search result of the first item from the server. Accordingly, the detection of the item in the image can be performed by the TV and the detection of the detected item can be performed by the server, thereby reducing the system load and increasing the search speed.

상기 제1항목은, 상기 영상에 표시되는 상품이미지를 포함하고, 상기 제2항목은, 상기 제1항목이 포함된 영상에 표시되는 인물이미지 또는 배경이미지 중 적어도 하나를 포함할 수 있다. 이에 따라, 영상 내 상품 검색을 위해, 해당 상품이 포함된 프레임에 표시되는 인물의 특징 및 배경 정보를 이용하여 상품을 보다 정확하게 검색할 수 있다. The first item may include a product image displayed on the image, and the second item may include at least one of a person image or a background image displayed on the image including the first item. Accordingly, in order to search for a product in the image, the product may be searched more accurately by using the characteristics and background information of the person displayed in the frame including the product.

상기 제2항목의 정보는, 상기 상품이미지와 관련된 상기 인물이미지 또는 상기 배경이미지 중 적어도 하나에 관한 정보에 기초하여 생성될 수 있다. 이에 따라, 영상 내 상품 검색을 위해, 해당 프레임으로부터 검출되는 인물 및 배경에 관한 정보를 조합하여 상품의 검색 범위를 좁힐 수 있다. The information of the second item may be generated based on information on at least one of the person image or the background image related to the product image. Accordingly, in order to search for a product in an image, information about a person and a background detected from a corresponding frame may be combined to narrow the search range of the product.

상기 상품이미지, 상기 인물이미지 또는 상기 배경이미지는, 상기 복수의 프레임 각각에 표시되는 해당 항목의 서로 다른 복수의 이미지를 포함할 수 있다. 이에 따라, 영상 내 상품 검색을 위해, 해당 상품과 인물, 배경에 대해 여러 프레임으로부터 획득된 다양한 각도의 이미지들을 이용하여, 검색의 정확도를 높일 수 있다. The product image, the person image, or the background image may include a plurality of different images of the corresponding item displayed on each of the plurality of frames. Accordingly, in order to search for a product in an image, the accuracy of the search may be improved by using images of various angles obtained from various frames with respect to the product, the person, and the background.

상기 프로세서는, 상기 복수의 프레임 중 키프레임을 추출하고, 상기 추출된 키프레임으로부터 상기 제1영역 및 상기 제2영역을 검출할 수 있다. 이에 따라, 복수의 프레임 중 대표가 되는 프레임을 선택하여, 검색을 위한 상품 및 상품과 관련된 부가정보를 획득할 수 있다. The processor may extract a key frame from the plurality of frames and detect the first region and the second region from the extracted key frame. Accordingly, by selecting a frame representative of a plurality of frames, it is possible to obtain a product for the search and additional information related to the product.

사용자입력을 수신하는 사용자입력부를 더 포함하고, 상기 프로세서는, 상기 수신되는 사용자입력에 기초하여 상기 복수의 프레임 중 일부의 프레임 구간을 선택하고, 상기 선택된 프레임 구간으로부터 상기 제1영역 및 상기 제2영역을 검출할 수 있다. 이에 따라, 영상 내 상품 검색을 위한 프레임 구간을 사용자가 직접 설정하도록 할 수 있다. The apparatus may further include a user input unit configured to receive a user input, wherein the processor is further configured to select a frame period of a part of the plurality of frames based on the received user input, and to select the first area and the second area from the selected frame period. The area can be detected. Accordingly, a user may directly set a frame section for searching for a product in the image.

사용자입력을 수신하는 사용자입력부를 더 포함하고, 상기 프로세서는, 상기 영상에서 검출되는 복수의 상기 제1항목을 UI의 형태로 상기 디스플레이부에 표시하고, 상기 복수의 제1항목 중에서 상기 수신되는 사용자입력에 기초하여 선택된 제1항목의 검색결과를 상기 디스플레이부에 표시하도록 제어할 수 있다. 이에 따라, 영상을 시청하는 중에 각 프레임으로부터 검출되는 상품 리스트를 영상과 함께 제공할 수 있다. The apparatus may further include a user input unit configured to receive a user input, and the processor may display the plurality of first items detected in the image on the display unit in the form of a UI, and the received user among the plurality of first items. The search result of the first item selected based on the input may be controlled to be displayed on the display unit. Accordingly, a list of products detected from each frame while viewing an image may be provided together with the image.

상기 목적은, 본 발명에 따라, 컴퓨터프로그램제품에 있어서, 복수의 인스트럭션이 저장된 메모리와; 프로세서를 포함하고, 인스트럭션은, 프로세서에 의해 실행되면, 수신되는 복수의 프레임으로 이루어진 영상에서 검색 대상인 제1항목의 제1영역 및 제1항목에 관련된 제2항목의 제2영역을 검출하고, 검출된 제2영역의 제2항목의 정보에 기초하여 검출된 제1영역의 제1항목을 검색하고, 검색된 제1항목의 검색결과를 표시하는 것을 포함하는 컴퓨터프로그램제품에 의해서도 달성될 수 있다. According to the present invention, there is provided a computer program product, comprising: a memory in which a plurality of instructions are stored; And a processor, wherein the instruction, when executed by the processor, detects the first region of the first item and the second region of the second item related to the first item from the image composed of the plurality of frames received. A computer program product may be achieved which includes searching for the first item of the detected first area based on the information of the second item of the second area and displaying the search result of the searched first item.

이와 같은 본 발명의 실시예에 따라, 영상 내 항목의 검색 시, 항목과 관련된 부가정보를 획득하여 검색의 정확도를 높일 수 있다. 또한, 영상 내 항목에 관한 정보 생성 등 사전 작업 없이 검색 기능을 제공할 수 있다. 또한, 영상을 시청하는 사용자에게 차별화된 사용자 경험(UX)를 제공할 수 있다.According to the exemplary embodiment of the present invention, when searching for an item in an image, additional information related to the item may be obtained to increase the accuracy of the search. In addition, a search function may be provided without prior work such as generating information about items in the image. In addition, it is possible to provide a differentiated user experience (UX) to the user watching the image.

상기 인스트럭션은, 상기 검출된 제1영역의 제1항목 및 상기 제2영역의 제2항목의 정보를 서버로 전송하고, 상기 제1항목의 검색결과를 상기 서버로부터 수신하는 것을 포함할 수 있다. 이에 따라, 영상 내 항목의 검출은 TV에서 수행하고, 검출된 항목의 검색은 서버에서 수행 가능하도록 하여, 시스템 부하를 줄이고 검색 속도를 높일 수 있다.The instruction may include transmitting information of the detected first item of the first area and the second item of the second area to a server, and receiving a search result of the first item from the server. Accordingly, the detection of the item in the image can be performed by the TV and the detection of the detected item can be performed by the server, thereby reducing the system load and increasing the search speed.

상기 목적은, 본 발명에 따라, 디스플레이장치의 제어방법에 있어서, 복수의 프레임으로 이루어지는 영상의 신호를 수신하는 단계와; 영상에서 검색 대상인 제1항목의 제1영역 및 제1항목에 관련된 제2항목의 제2영역을 검출하는 단계와; 검출된 제2영역의 제2항목의 정보에 기초하여 검출된 제1영역의 제1항목을 검색하는 단계와; 검색된 제1항목의 검색결과를 표시하는 단계를 포함할 수 있다. According to an aspect of the present invention, there is provided a control method of a display apparatus, the method comprising: receiving a signal of an image consisting of a plurality of frames; Detecting a first area of a first item and a second area of a second item related to the first item in a video; Retrieving a first item of the detected first area based on information of the second item of the detected second area; And displaying a search result of the found first item.

이와 같은 본 발명의 실시예에 따라, 영상 내 항목의 검색 시, 항목과 관련된 부가정보를 획득하여 검색의 정확도를 높일 수 있다. 또한, 영상 내 항목에 관한 정보 생성 등 사전 작업 없이 검색 기능을 제공할 수 있다. 또한, 영상을 시청하는 사용자에게 차별화된 사용자 경험(UX)를 제공할 수 있다.According to the exemplary embodiment of the present invention, when searching for an item in an image, additional information related to the item may be obtained to increase the accuracy of the search. In addition, a search function may be provided without prior work such as generating information about items in the image. In addition, it is possible to provide a differentiated user experience (UX) to the user watching the image.

상기 방법은, 상기 검출된 제1영역의 제1항목 및 상기 제2영역의 제2항목의 정보를 서버로 전송하는 단계와; 상기 제1항목의 검색결과를 상기 서버로부터 수신하는 단계를 더 포함할 수 있다. 이에 따라, 영상 내 항목의 검출은 TV에서 수행하고, 검출된 항목의 검색은 서버에서 수행 가능하도록 하여, 시스템 부하를 줄이고 검색 속도를 높일 수 있다.The method includes transmitting information of the detected first item of the first area and the second item of the second area to a server; The method may further include receiving a search result of the first item from the server. Accordingly, the detection of the item in the image can be performed by the TV and the detection of the detected item can be performed by the server, thereby reducing the system load and increasing the search speed.

상기 제1항목은, 상기 영상에 표시되는 상품이미지를 포함하고, 상기 제2항목은, 상기 제1항목이 포함된 영상에 표시되는 인물이미지 또는 배경이미지 중 적어도 하나를 포함할 수 있다. 이에 따라, 영상 내 상품 검색을 위해, 해당 상품이 포함된 프레임에 표시되는 인물의 특징 및 배경 정보를 이용하여 상품을 보다 정확하게 검색할 수 있다.The first item may include a product image displayed on the image, and the second item may include at least one of a person image or a background image displayed on the image including the first item. Accordingly, in order to search for a product in the image, the product may be searched more accurately by using the characteristics and background information of the person displayed in the frame including the product.

상기 제2항목의 정보는, 상기 상품이미지와 관련된 상기 인물이미지 또는 상기 배경이미지 중 적어도 하나에 관한 정보에 기초하여 생성될 수 있다. 이에 따라, 영상 내 상품 검색을 위해, 해당 프레임으로부터 검출되는 인물 및 배경에 관한 정보를 조합하여 상품의 검색 범위를 좁힐 수 있다.The information of the second item may be generated based on information on at least one of the person image or the background image related to the product image. Accordingly, in order to search for a product in an image, information about a person and a background detected from a corresponding frame may be combined to narrow the search range of the product.

상기 상품이미지, 상기 인물이미지 또는 상기 배경이미지는, 상기 복수의 프레임 각각에 표시되는 해당 항목의 서로 다른 복수의 이미지를 포함할 수 있다. 이에 따라, 영상 내 상품 검색을 위해, 해당 상품과 인물, 배경에 대해 여러 프레임으로부터 획득된 다양한 각도의 이미지들을 이용하여, 검색의 정확도를 높일 수 있다.The product image, the person image, or the background image may include a plurality of different images of the corresponding item displayed on each of the plurality of frames. Accordingly, in order to search for a product in an image, the accuracy of the search may be improved by using images of various angles obtained from various frames with respect to the product, the person, and the background.

상기 검출하는 단계는, 상기 복수의 프레임 중 키프레임을 추출하는 단계와; 상기 추출된 키프레임으로부터 상기 제1영역 및 상기 제2영역을 검출하는 단계를 포함할 수 있다. 이에 따라, 복수의 프레임 중 대표가 되는 프레임을 선택하여, 검색을 위한 상품 및 상품과 관련된 부가정보를 획득할 수 있다.The detecting may include extracting a key frame of the plurality of frames; The method may include detecting the first region and the second region from the extracted key frame. Accordingly, by selecting a frame representative of a plurality of frames, it is possible to obtain a product for the search and additional information related to the product.

상기 방법은, 사용자입력에 기초하여 상기 복수의 프레임 중 일부의 프레임 구간을 선택하는 단계와; 상기 선택된 프레임 구간으로부터 상기 제2영역 및 상기 제2영역을 검출하는 단계를 포함할 수 있다. 이에 따라, 영상 내 상품 검색을 위한 프레임 구간을 사용자가 직접 설정하도록 할 수 있다.The method includes selecting a frame section of a portion of the plurality of frames based on a user input; The method may include detecting the second region and the second region from the selected frame section. Accordingly, a user may directly set a frame section for searching for a product in the image.

상기 방법은, 상기 영상에서 검출되는 복수의 상기 제1항목을 UI의 형태로 표시하는 단계와; 상기 복수의 제1항목 중에서 사용자입력에 기초하여 선택된 제1항목의 검색결과를 표시하는 단계를 포함할 수 있다. 이에 따라, 영상을 시청하는 중에 각 프레임으로부터 검출되는 상품 리스트를 영상과 함께 제공할 수 있다.The method includes displaying a plurality of the first items detected in the image in the form of a UI; The method may include displaying a search result of the first item selected from the plurality of first items based on a user input. Accordingly, a list of products detected from each frame while viewing an image may be provided together with the image.

상기한 바와 같이, 본 발명에 의하면, 영상 내 항목의 검색 시, 검색의 정확도를 높일 수 있다. As described above, according to the present invention, when searching for an item in an image, the accuracy of the search can be improved.

또한, 본 발명에 의하면, 영상 내 항목의 검색 시, 항목에 관한 정보 생성 등 사전 작업 없이 검색 기능을 제공할 수 있다.According to the present invention, when searching for an item in an image, a search function can be provided without prior work such as generating information on the item.

또한, 본 발명에 의하면, 영상을 시청하는 사용자에게 차별화된 사용자 경험(UX)를 제공할 수 있다.In addition, according to the present invention, it is possible to provide a differentiated user experience (UX) to the user watching the image.

도 1은 본 발명의 일실시예에 따른 영상의 복수의 프레임으로부터 검출되는 제1항목 및 제2항목을 이용하여 검색결과를 제공하는 예이다.
도 2는 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 디스플레이장치의 제어방법을 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 따른 영상 내 상품의 검색결과를 제공하는 동작의 흐름을 도시한 예이다.
도 5는 본 발명의 일실시예에 따른 영상의 복수의 프레임으로부터 검출되는 상품 및 인물에 관한 정보를 이용하여 검색결과를 제공하는 예이다.
도 6은 본 발명의 일실시예에 따른 영상 내 상품을 검색할 프레임 구간을 선택하기 위한 UI를 제공하는 예이다.
도 7은 본 발명의 일실시예에 따른 복수의 프레임으로부터 검출되는 상품에 대한 복수의 이미지를 획득하는 예이다.
도 8은 본 발명의 일실시예에 따른 상품이 포함된 프레임으로부터 인물을 검출하여 상품과 관련된 부가정보를 획득하는 예이다.
도 9는 본 발명의 일실시예에 따른 상품이 포함된 프레임으로부터 배경이 되는 항목을 검출하여 상품과 관련된 부가정보를 획득하는 예이다.
도 10은 본 발명의 일실시예에 따른 검색할 상품에 대한 복수의 이미지를 이용하여 유사한 상품이미지를 검색하는 예이다.
도 11은 본 발명의 일실시예에 따른 영상 내 상품의 검색 시 유사도 계산을 위한 수식을 도시한 예이다.
도 12는 본 발명의 일실시예에 따른 유사도가 일정 수준 이상인 상품의 검색 결과를 도시한 예이다.1 is an example of providing a search result by using a first item and a second item detected from a plurality of frames of an image according to an exemplary embodiment of the present invention.
2 is a block diagram illustrating a configuration of a display apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a control method of a display apparatus according to an embodiment of the present invention.
4 is an example of a flow of an operation of providing a search result of a product in an image according to an embodiment of the present invention.
5 is an example of providing a search result by using information on goods and persons detected from a plurality of frames of an image according to an embodiment of the present invention.
6 is an example of providing a UI for selecting a frame section for searching for a product in an image according to an embodiment of the present invention.
7 is an example of acquiring a plurality of images of a product detected from a plurality of frames according to an embodiment of the present invention.
8 is an example of acquiring additional information related to a product by detecting a person from a frame including a product according to an embodiment of the present invention.
9 is an example of acquiring additional information related to a product by detecting an item that is a background from a frame including a product according to an embodiment of the present invention.
10 is an example of searching for a similar product image by using a plurality of images of the product to be searched according to an embodiment of the present invention.
11 is an example of a formula for calculating similarity when searching for a product in an image according to an embodiment of the present invention.
12 illustrates an example of a search result of a product having a similarity level or more according to an embodiment of the present invention.

이하, 첨부도면을 참조하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention.

도 1은 본 발명의 일실시예에 따른 영상의 복수의 프레임으로부터 검출되는 제1항목 및 제2항목을 이용하여 검색결과를 제공하는 예이다. 도 1에 도시된 바와 같이, 본 발명의 디스플레이장치(10)는 영상 내에서 예컨대 패션 상품 등과 같은 항목을 검색하기 위한 서비스를 제공한다. 1 is an example of providing a search result by using a first item and a second item detected from a plurality of frames of an image according to an exemplary embodiment of the present invention. As shown in FIG. 1, the display apparatus 10 of the present invention provides a service for searching for an item such as a fashion product in an image.

본 실시예에 있어, 디스플레이장치(10)는, 영상의 복수의 프레임(5)으로부터 제1항목(3)에 대응하는 제1영역(1)과, 제1항목(3)과 관련된 제2항목(4)에 대응하는 제2영역(2)을 검출(detect)한다. In the present embodiment, the display apparatus 10 includes a first area 1 corresponding to the first item 3 from a plurality of frames 5 of an image, and a second item related to the first item 3. The second area 2 corresponding to (4) is detected.

디스플레이장치(10)는, 상기와 같이 검출된 제2영역(2)의 제2항목(4)에 관한 정보를 이용하여 제1영역(1)의 제1항목(3)을 검색하고, 디스플레이부(13)에 제1항목(3)에 대한 검색결과를 제공한다. The display apparatus 10 searches for the first item 3 of the first area 1 using the information about the second item 4 of the second area 2 detected as described above, and displays the display unit. In (13), the search result for the first item (3) is provided.

일실시예로서, 디스플레이장치(10)는, 제1항목(3)의 검색을 위해, 복수의 프레임(5)으로부터 `검출된 제1영역(1)의 제1항목(3)과 제2영역(2)의 제2항목(4)의 정보를 서버(도 2의 부호 '20' 참조)로 전송하여, 서버(20)로부터 검색결과를 수신할 수도 있다. According to an embodiment, the display apparatus 10 may search for the first item 3 and include the first item 3 and the second area of the first area 1 detected from the plurality of frames 5. The information of the second item 4 in (2) may be transmitted to the server (see reference numeral 20 in FIG. 2) to receive the search result from the server 20.

디스플레이장치(10)는, 제1항목(3)의 검색을 위해, 제1항목(3) 및 제1항목(3)과 관련된 제2항목(4)의 정보를 분석하여 추출되는 부가정보를 사용한다. 부가정보는, 예컨대 상품의 특징과 종류, 인물의 특징, 또는 배경과 관련된 계절 및 장소에 관한 정보일 수 있다. 이 때, 부가정보의 획득은, 디스플레이장치(10) 혹은 서버(20), 어느 쪽에서든 이루어질 수 있다. The display apparatus 10 uses the additional information extracted by analyzing information of the first item 3 and the second item 4 related to the first item 3 to search for the first item 3. do. The additional information may be, for example, information about a feature and type of a product, a feature of a person, or a season and a place related to a background. In this case, the acquisition of the additional information may be performed by either the display apparatus 10 or the server 20.

도 2는 도 1에 도시된 디스플레이장치의 구성을 도시한 블록도이다. 도 2에 도시된 바와 같이, 본 발명의 디스플레이장치(10)는 신호수신부(11), 신호처리부(12), 디스플레이부(13), 통신부(14), 프로세서(15), 사용자입력부(16), 및 저장부(17)의 구성을 포함한다. 디스플레이장치(10)는 예컨대, 스마트 TV, 스마트 폰, 태블릿, PC 등으로 구현된다. 본 발명의 디스플레이장치(10)에 포함되는 구성은 앞서 기재된 일실시예에 의해 한정되지 않고, 일부 구성을 제외하여 구성되거나, 추가적인 다른 구성들을 포함하여 구현될 수 있다.FIG. 2 is a block diagram illustrating a configuration of the display apparatus illustrated in FIG. 1. As shown in FIG. 2, the display apparatus 10 of the present invention includes a signal receiving unit 11, a signal processing unit 12, a display unit 13, a communication unit 14, a processor 15, and a user input unit 16. , And the configuration of the storage unit 17. The display apparatus 10 is implemented with, for example, a smart TV, a smart phone, a tablet, a PC, and the like. The configuration included in the display apparatus 10 of the present invention is not limited to the above-described embodiment, and may be implemented except for some configurations, or may include other additional configurations.

디스플레이장치(10)는 통신부(14)를 통해 서버(20)와 통신할 수 있다. 이 때, 서버(20)는 데이터베이스를 저장하고 있거나, 외부 데이터베이스에 접속하여 검색 기능을 수행할 수 있는 컴퓨팅 장치, 예컨대 PC 로 마련될 수 있다. The display apparatus 10 may communicate with the server 20 through the communication unit 14. In this case, the server 20 may be provided as a computing device, for example, a PC, which stores a database or may perform a search function by accessing an external database.

통신부(14)는 서버(20)와 유선 또는 무선 통신방식을 이용하여 통신한다. 통신부(14)는 이더넷(Ethernet) 등과 같은 유선 통신방식으로 서버(20)와 통신하거나, 와이파이(Wi-Fi) 또는 블루투스(Bluetooth) 등과 같은 무선 통신방식으로 무선공유기를 통해 서버(20)와 통신할 수 있다. 예로서, 통신부(14)는 와이파이와 같은 무선통신 모듈을 포함하는 회로기판(PCB: Printed Circuit Board)으로 마련될 수 있다. 통신부(14)가 통신하는 방식은 이에 한정되지 않고, 다른 통신방식을 이용하여 외부장치(19)와 통신할 수도 있다. The communication unit 14 communicates with the server 20 using a wired or wireless communication method. The communication unit 14 communicates with the server 20 through a wired communication method such as Ethernet, or communicates with the server 20 through a wireless router through a wireless communication method such as Wi-Fi or Bluetooth. can do. For example, the communication unit 14 may be provided as a printed circuit board (PCB) including a wireless communication module such as Wi-Fi. The communication method of the communication unit 14 is not limited thereto, and may communicate with the external device 19 using another communication method.

신호수신부(11)는 외부로부터 방송신호 또는 영상신호를 수신하고, 영상신호는 예컨대, 비디오 또는 그래픽 신호를 포함할 수 있다. 신호수신부(11)는 수신하는 방송신호 및 영상신호의 규격 및 디스플레이장치(10)의 구현 형태에 따라 다양한 형식으로 마련될 수 있다. 예를 들어, 신호수신부(11)는 방송국으로부터 송출되는 RF(Radio Frequency) 방송신호나 위성신호를 수신하는 튜너로 구현될 수 있다. The signal receiver 11 receives a broadcast signal or an image signal from the outside, and the image signal may include, for example, a video or graphic signal. The signal receiver 11 may be provided in various formats according to the standard of the broadcast signal and the video signal to be received and the implementation form of the display apparatus 10. For example, the signal receiver 11 may be implemented as a tuner for receiving a radio frequency (RF) broadcast signal or a satellite signal transmitted from a broadcasting station.

신호처리부(12)는 신호수신부(11)에서 수신되는 방송신호 혹은 영상신호에 대해 기 설정된 신호처리 프로세스를 수행한다. 신호처리부(12)에서 수행하는 신호처리의 예로서, 디멀티플렉싱(demultiplexing), 디코딩(decoding), 디인터레이싱 (de-interlacing), 스케일링(scaling), 노이즈 감소(noise reduction), 디테일 인핸스먼트(detail enhancement) 등이 있으며, 그 종류는 한정되지 않는다. 신호처리부(12)는 이러한 여러 기능을 통합시킨 SOC(System-On-Chip) 또는 각 프로세스를 독자적으로 수행할 수 있는 개별 구성들이 장착된 영상처리보드로 구현될 수 있다.The signal processor 12 performs a preset signal processing process on the broadcast signal or the video signal received by the signal receiver 11. Examples of signal processing performed by the signal processor 12 include demultiplexing, decoding, de-interlacing, scaling, noise reduction, detail enhancement, and detail enhancement. ), And the kind thereof is not limited. The signal processor 12 may be implemented as an SOC (System-On-Chip) incorporating these various functions or an image processing board equipped with individual components capable of independently performing each process.

디스플레이부(13)는 신호처리부(12)에서 처리된 방송신호 혹은 영상신호에 기초하여 영상을 표시한다. 디스플레이(13)의 구현 방식은 한정되지 않는 바, 디스플레이(13)는 PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), 플렉시블 디스플레이(flexible display) 등 다양한 형태로 구현될 수 있다. The display unit 13 displays an image based on the broadcast signal or the image signal processed by the signal processor 12. The display method of the display 13 is not limited, and the display 13 may be formed in various forms such as a plasma display panel (PDP), a liquid crystal display (LCD), organic light emitting diodes (OLED), and a flexible display. Can be implemented.

사용자입력부(16)는 디스플레이장치(10)의 적어도 하나의 기능을 제어하기 위한 사용자입력을 수신한다. 예로서, 사용자입력부(16)는 디스플레이부(13)에 표시되는 사용자 인터페이스(User Interface)의 일부를 선택하기 위한 사용자입력을 수신할 수 있다. 사용자입력부(16)는 디스플레이장치(10)의 외측에 구비된 입력패널의 형태로 구현되거나 디스플레이장치(10)와 적외선 방식으로 통신하는 리모트 컨트롤러로 구현될 수 있다. 또한, 사용자입력부(16)는 디스플레이장치(10)와 연결되는 키보드, 마우스 등으로 구현될 수 있고, 디스플레이장치(10)에 마련되는 터치스크린으로 구현될 수도 있다. The user input unit 16 receives a user input for controlling at least one function of the display apparatus 10. For example, the user input unit 16 may receive a user input for selecting a part of a user interface displayed on the display unit 13. The user input unit 16 may be implemented in the form of an input panel provided outside the display apparatus 10 or as a remote controller communicating with the display apparatus 10 in an infrared manner. In addition, the user input unit 16 may be implemented as a keyboard, a mouse, or the like connected to the display apparatus 10, or may be implemented as a touch screen provided in the display apparatus 10.

일실시예로서, 사용자입력부(16)는 디스플레이장치(10)와 와이파이(Wi-fi), 블루투스(Bluetooth), 또는 적외전 통신방식으로 통신하는 모바일 기기(미도시)로부터 사용자입력을 수신할 수도 있다. 이 경우, 모바일 기기는 스마트 폰 등으로 마련될 수 있고, 예컨대 리모컨 앱(Application)을 설치하고, 리모컨 앱을 실행하여 디스플레이장치(10)의 동작을 제어하기 위한 버튼 터치 등을 통해 사용자입력을 디스플레이장치(10)로 전송할 수 있다.In an embodiment, the user input unit 16 may receive a user input from a mobile device (not shown) that communicates with the display apparatus 10 through Wi-Fi, Bluetooth, or Infrared communication. have. In this case, the mobile device may be provided as a smart phone, and the like, for example, by installing a remote control app and executing a remote control app to display a user input through a touch of a button for controlling the operation of the display apparatus 10. Transmit to device 10.

저장부(17)는 제1메모리(미도시)와 제2메모리(미도시)를 포함한다. 제1메모리는 디스플레이장치(10)의 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록 플래시메모리(flash-memory)와 같은 비휘발성 메모리로 구현된다.The storage unit 17 includes a first memory (not shown) and a second memory (not shown). The first memory may be implemented as a nonvolatile memory such as a flash memory to store data regardless of whether the display device 10 is provided with system power.

제1메모리는 실행 가능한 적어도 하나의 프로그램의 복수의 인스트럭션(instruction)을 저장한다. 제1메모리는 저장된 복수의 인스트럭션 각각에 대해 독취(read), 기록(write), 수정(edit), 삭제(delete), 갱신(update) 등이 수행되도록 한다.The first memory stores a plurality of instructions of at least one executable program. The first memory allows read, write, edit, delete, update, etc. to be performed on each of the plurality of stored instructions.

제2메모리는 제1메모리와 프로세서(15) 사이에 마련되는 고속 버퍼 메모리로서, 캐시메모리(cache memory) 또는 로컬메모리(local memory)라고 한다. 제2메모리는 플래시메모리에 비해 고속이며 프로세서(15)에 의해 직접 액세스 가능하다. 제2메모리는 프로세서(15)에 의해 자주 액세스되는 데이터나 프로그램의 복수의 인스트럭션을 반복적으로 검색하지 않고 즉각 사용할 수 있도록 저장해두는 영역으로서, 예컨대 RAM으로 구현될 수 있다. 일실시예로서 제2메모리는, 예컨대, 프로세서(15)의 내부에 일체로 마련될 수도 있다.The second memory is a high speed buffer memory provided between the first memory and the processor 15 and is referred to as cache memory or local memory. The second memory is faster than the flash memory and can be directly accessed by the processor 15. The second memory is an area in which a plurality of instructions of data or programs frequently accessed by the processor 15 are stored for immediate use without repetitive retrieval, and may be implemented as, for example, RAM. For example, the second memory may be integrally provided inside the processor 15, for example.

프로세서(15)는 디스플레이장치(10)가 수행 가능한 복수의 기능을 제어하기 위한 제어 프로세스를 수행한다. 프로세서(15)는 CPU(Central Processing Unit)로 구현될 수 있고, 제어, 연산, 레지스터의 세 영역을 포함한다. 제어영역은 제1메모리에 저장된 복수의 인스트럭션을 해석하고, 해석된 명령의 의미에 따라 디스플레이장치(10)의 각 구성으로 동작을 지시한다. 연산영역은 산술 연산 및 논리 연산을 수행하고, 제어영역의 지시에 따라 디스플레이장치(10)의 각 구성이 동작하기 위해 필요한 연산을 수행한다. 레지스터는 CPU에서 복수의 인스트럭션을 실행하는 동안 필요한 정보들을 저장하는 기억 장소로, 디스플레이장치(10)의 각 구성에 대한 명령어 및 데이터들을 저장하고, 연산된 결과를 저장한다.  The processor 15 performs a control process for controlling a plurality of functions that the display apparatus 10 can perform. The processor 15 may be implemented as a central processing unit (CPU) and includes three areas of control, operation, and registers. The control region interprets a plurality of instructions stored in the first memory and instructs the operation of each configuration of the display apparatus 10 according to the meaning of the interpreted command. The arithmetic area performs arithmetic operations and logical operations, and performs operations required for each component of the display apparatus 10 to operate according to the instructions of the control area. The register is a storage place for storing information necessary while executing a plurality of instructions in the CPU. The register stores instructions and data for each configuration of the display apparatus 10 and stores the calculated result.

프로세서(15)는 제1메모리 및 제2메모리에 저장된 적어도 하나의 프로그램의 복수의 인스트럭션을 실행하고, 예컨대, 디스플레이장치(10)의 운영체제(operating system)와, DRM이나 CAS 등의 보안 프로그램, 클라이언트 어플리케이션, 웹 기반 어플리케이션, 및 인터넷 통신용 어플리케이션 등을 실행할 수 있다. The processor 15 executes a plurality of instructions of at least one program stored in the first memory and the second memory, for example, an operating system of the display apparatus 10, a security program such as a DRM or CAS, and a client. Applications, web-based applications, applications for Internet communications, and the like.

일실시예로서, 프로세서(15)는 별도의 컴퓨터프로그램제품(미도시)에 저장된 인스트럭션을 다운로드하여 실행할 수 있다. 일실시예로서, 컴퓨터프로그램제품은, 인스트럭션이 저장된 메모리와, 프로세서를 포함한다. 여기서, 인스트럭션은, 프로세서(15)에 의해 실행되면, 신호수신부(11)에서 수신되는 복수의 프레임으로 이루어진 영상에서 검색 대상인 제1항목(3)의 제1영역(1) 및 제1항목(3)에 관련된 제2항목(4)의 제2영역(2)을 검출하고, 검출된 제2영역(2)의 제2항목(4)의 정보에 기초하여 검출된 제1영역(1)의 제1항목(3)을 검색하고, 검색된 제1항목(3)의 검색결과를 표시하는 것을 포함한다. In one embodiment, the processor 15 may download and execute instructions stored in a separate computer program product (not shown). In one embodiment, a computer program product includes a memory in which instructions are stored and a processor. Here, when the instruction is executed by the processor 15, the first area 1 and the first item 3 of the first item 3 to be searched in the image composed of a plurality of frames received by the signal receiver 11 ) Detects the second area 2 of the second item 4 related to the second item 4 and detects the first area 1 of the detected first area 1 based on the information of the second item 4 of the detected second area 2. Searching one item (3), and displaying the search result of the first item (3) found.

본 발명의 실시예에 있어, 프로세서(15)의 동작은 도 3의 흐름도와 같이 도시될 수 있다. In the embodiment of the present invention, the operation of the processor 15 may be shown as the flowchart of FIG.

먼저, 동작 S31에서, 프로세서(15)는, 신호수신부(11)에서 수신되는 복수의 프레임(5)으로 이루어지는 영상의 신호를 수신한다. First, in operation S31, the processor 15 receives a signal of an image composed of a plurality of frames 5 received by the signal receiver 11.

다음으로, 동작 S32에서, 프로세서(15)는, 영상에서 검색 대상인 제1항목(3)의 제1영역(1) 및 제1항목(3)에 관련된 제2항목(4)의 제2영역(2)을 검출한다.Next, in operation S32, the processor 15 may determine that the first area 1 of the first item 3, which is a search target in the image, and the second area (2) of the second item 4 related to the first item 3. 2) is detected.

일실시예로서, 제1항목(3)은 복수의 프레임(5) 각각에 표시되는 상품이미지를 포함할 수 있다. 상품이미지는 예컨대, 가방, 선글라스 구두 등 패션 상품에 관한 이미지일 수 있다. In an embodiment, the first item 3 may include a product image displayed on each of the plurality of frames 5. The product image may be, for example, an image related to a fashion product such as a bag or sunglasses.

또한, 제2항목(4)은 제1항목(3)이 포함된 프레임에 표시되는 인물이미지 및 배경이미지 중 적어도 하나를 포함할 수 있다. 인물이미지는, 예컨대 상품이미지가 검출된 프레임에서, 상품이미지와 관련된 인물의 얼굴을 포함하는 이미지에 해당한다. 배경이미지는, 예컨대 상품이미지가 검출된 프레임에서, 계절 및 장소를 나타내는 주변 배경 혹은 사물 등의 항목과 관련된 이미지를 포함한다.In addition, the second item 4 may include at least one of a person image and a background image displayed in a frame including the first item 3. The person image corresponds to, for example, an image including a face of a person related to the product image in a frame in which the product image is detected. The background image includes, for example, an image related to an item such as a surrounding background or an object representing a season and a place in a frame in which a product image is detected.

일실시예로서, 프로세서(15)는, 영상 내에서 제1항목(3)의 제1영역(1)을 검출함에 있어, 컨볼루션 신경망(CNN) 알고리즘을 통해 제1영역(1)을 자동으로 인식하거나, 혹은 사용자입력에 의해 제1항목(3)의 제1영역(1)을 선택할 수 있다. 예로서, 프로세서(15)는, 영상을 표시하는 동안, 상품이미지의 선택을 위한 아이콘을 디스플레이부(13)에 표시하고, 사용자입력에 따라 아이콘을 영상 중 일부 영역으로 드래그하여, 일부 영역에 대응하는 상품이미지를 선택할 수 있다. In one embodiment, the processor 15 automatically detects the first region 1 of the first item 3 in the image, and automatically detects the first region 1 through a convolutional neural network (CNN) algorithm. The first area 1 of the first item 3 may be selected by recognition or by user input. For example, the processor 15 displays an icon for selecting a product image on the display unit 13 while displaying an image, and drags the icon to a partial region of the image according to a user input to correspond to the partial region. You can choose a product image.

다음으로, 동작 S33에서, 프로세서(15)는, 검출된 제2영역(4)의 제2항목(2)의 정보에 기초하여, 검출된 제1영역(3)의 제1항목(1)을 검색한다. 여기서, 제2항목(2)의 정보는, 상품이미지와 관련된 인물이미지 또는 배경이미지 중 적어도 하나에 관한 정보에 기초하여 생성될 수 있다. Next, in operation S33, the processor 15 selects the first item 1 of the detected first area 3 based on the information of the second item 2 of the detected second area 4. Search. Here, the information of the second item 2 may be generated based on information about at least one of a person image or a background image related to the product image.

이 때, 프로세서(15)는, 제1항목(3)의 검색을 위해, 제1항목(3) 및 제2항목(4)의 정보를 분석하여 추출되는 부가정보를 사용한다.At this time, the processor 15 uses the additional information extracted by analyzing the information of the first item 3 and the second item 4 to search for the first item 3.

일실시예로서, 도 8에서, 프로세서(15)는, 영상(81) 내 상품이미지로서 '상의'(83)가 검출된 경우, '상의'(83)와 관련된 인물1(81)의 위치를 검출한다. 여기서, 인물1(81)은 예컨대, 얼굴을 포함하는 이미지에 해당한다. As an example, in FIG. 8, the processor 15 may determine the position of the person 1 81 in relation to the 'top' 83 when the 'top' 83 is detected as a product image in the image 81. Detect. Here, person 1 81 corresponds to, for example, an image including a face.

이 때, 프로세서(15)는, 검출된 위치의 인물1(81)의 특징으로부터 예컨대 'Age: 20th', 'Gender: Male' 와 같은 나이, 성별 등에 관한 부가정보(811)를 추출할 수 있다. 이로부터, 부가정보(811)를 이용하여 '20대 남성'의 카테고리 내에서 '상의'(83)와 동일 혹은 유사한 상품을 검색할 수 있다. At this time, the processor 15 may extract additional information 811 about age, gender, such as 'Age: 20th', 'Gender: Male', etc., from the feature of the person 1 81 of the detected position. . From this, the additional information 811 may be used to search for a product that is the same as or similar to the 'top' 83 in the category of 'male in twenties'.

일실시예로서, 도 9에서, 프로세서(15)는, 영상(90) 내 상품이미지로서 '점퍼'(91)가 검출된 경우, '점퍼'(91)와 관련된 배경 속 항목으로서 'Snowy Mountain'(92), 'lift'(93) 등을 검출한다. 이 때, 프로세서(15)는, 검출된 항목의 종류를 조합하여 '장소: 스키장', '계절: 겨울' 와 같이 장소 및 계절 등에 관한 부가정보를 추출할 수 있다. 이로부터, 부가정보를 이용하여 '스키복'의 카테고리 내에서 '점퍼'(91)와 동일 혹은 유사한 상품을 검색할 수 있다. As an example, in FIG. 9, when the 'jumper' 91 is detected as a product image in the image 90, the processor 15 may display 'Snowy Mountain' as a background item related to the 'jumper' 91. 92, 'lift' 93, and the like are detected. At this time, the processor 15 may extract the additional information regarding the place and season, such as 'place: ski resort', 'season: winter' by combining the detected item types. From this, the additional information may be used to search for the same or similar product as the 'jumper' 91 in the category of 'ski suit'.

다른 예로서, 프로세서(15)는, 영상(95) 내 상품이미지로서 '셔츠'(952)가 검출된 경우, '셔츠'(952)와 관련된 배경 속 항목으로서 'Golf Club'(951), 'Golf field'(953), 'Golf Ball'(954)를 검출하고, 이로부터 '장소: 골프장'과 같은 부가정보를 추출할 수 있다. 이로부터, 부가정보를 이용하여 '골프의류'의 카테고리 내에서 '셔츠'(952)와 동일 혹은 유사한 상품을 검색할 수 있다. As another example, when the 'shirt' 952 is detected as a product image in the image 95, the processor 15 may select 'Golf Club' 951, 'as a background item related to the' shirt '952. Golf field '(953) and' Golf Ball '(954) can be detected, and additional information such as' place: golf course' can be extracted therefrom. From this, the additional information may be used to search for the same or similar product as the 'shirt' 952 in the category of 'golf clothing'.

마지막으로, 동작 S34에서, 프로세서(15)는, 검색된 제1항목(3)의 검색결과를 표시한다. 검색결과는, 제1항목(3) 및 제2항목(4)의 정보로부터 추출된 부가정보를 이용하여 검색된 상품이미지와 유사도가 높은 상품에 관한 정보를 포함할 수 있다. 일실시예로서, 검색결과는, 검색된 상품에 관한 구매를 유도하기 위한 주문 사이트의 연결 등을 표시하는 UI를 포함할 수 있다.  Finally, in operation S34, the processor 15 displays the search result of the searched first item 3. The search result may include information about a product having a high similarity with the searched product image by using additional information extracted from the information of the first item 3 and the second item 4. As an example, the search result may include a UI that displays a connection of an ordering site for inducing a purchase regarding a searched product.

상기와 같이, 본 발명에 의하면, 영상 내 항목의 검색 시, 항목과 관련된 부가정보를 획득하여 검색의 정확도를 높일 수 있다. 또한, 영상 내 항목의 검색 시, 항목에 관한 정보 생성 등 사전 작업 없이 검색 기능을 제공할 수 있다.As described above, according to the present invention, when searching for an item in an image, additional information related to the item may be obtained to increase the accuracy of the search. In addition, when searching for an item in an image, a search function may be provided without prior work such as generating information about the item.

또한, 본 발명에 의하면, 영상을 시청하는 중 영상 속 관심 있는 상품의 검색이 용이하므로, 사용자에게 차별화된 사용자 경험(UX)를 제공할 수 있다. In addition, according to the present invention, since it is easy to search for a product of interest in the image while watching the image, it is possible to provide a differentiated user experience (UX) to the user.

도 4는 본 발명의 일실시예에 따른 영상 내 상품의 검색결과를 제공하는 동작의 흐름을 도시한 예이다. 도시된 예는, 영상 내 패션 상품의 검색 시, 도 3의 프로세서(15)의 동작의 흐름을 구체화한 것으로, 각 단계의 동작은 도 3의 각 동작에 의해 설명될 수 있다. 4 is an example of a flow of an operation of providing a search result of a product in an image according to an embodiment of the present invention. The illustrated example embodies the flow of the operation of the processor 15 of FIG. 3 when searching for fashion goods in the image, and the operation of each step may be described by each operation of FIG. 3.

즉, 동작 S41은 도 3의 동작 S31에 대응하고, 동작 S42, S431, S441, 및 S451은 도 3의 동작 S32에 대응한다. 또한, 동작 S432, S433, S442, S443, S452, S453, 및 S46은 도 3의 동작 S33에 대응하고, 동작 S47은 도 3의 동작 S34에 대응한다. That is, operation S41 corresponds to operation S31 of FIG. 3, and operations S42, S431, S441, and S451 correspond to operation S32 of FIG. 3. Further, operations S432, S433, S442, S443, S452, S453, and S46 correspond to operation S33 of FIG. 3, and operation S47 corresponds to operation S34 of FIG. 3.

먼저, 동작 S41에서, 프로세서(15)는, 사용자에 의해 선택된 동영상을 재생한다. 동작 S42에서, 재생중인 동영상의 복수의 프레임으로부터 대표가 되는 키 프레임을 추출하거나, 특정 간격으로 프레임을 추출한다. First, in operation S41, the processor 15 plays back the video selected by the user. In operation S42, a representative key frame is extracted from the plurality of frames of the video being played or frames are extracted at specific intervals.

다음으로, 동작 S431에서, 프로세서(15)는, 추출된 프레임에서 패션 상품의 위치를 검출한다. 동작 S441에서는, 프로세서(15)는, 추출된 프레임에서 인물의 위치를 검출하고, 동작 S451에서, 프로세서(15)는, 추출된 프레임의 배경 속 항목의 위치를 검출한다. Next, in operation S431, the processor 15 detects the position of the fashion product in the extracted frame. In operation S441, the processor 15 detects the position of the person in the extracted frame, and in operation S451, the processor 15 detects the position of the item in the background of the extracted frame.

일실시예로서, 동작 S441 및 동작 S451에서, 인물 및 배경 속 항목의 위치의 검출 동작은, 패션 상품이 검출된 동일 프레임 혹은 동일한 패션 상품이 나타나는 복수의 프레임에 대해 수행될 수 있다. As an example, in operations S441 and S451, the detecting operation of the position of the person and the item in the background may be performed on the same frame in which the fashion product is detected or a plurality of frames in which the same fashion product appears.

다음으로, 동작 S432에서, 프로세서(15)는, 동작 S431에서 검출된 위치의 패션 상품의 이미지를 분석함에 의해 상품의 특징 및 상품의 종류를 추출한다. Next, in operation S432, the processor 15 extracts the feature of the product and the type of the product by analyzing the image of the fashion product at the position detected in operation S431.

상기 동작 S431 및 동작 S432는, 추출된 N개의 프레임에 대해 N회 수행되고, 이에 따라, 동작 S433에서, 프로세서(15)는, 동일 상품의 특징 및 종류에 관한 N개의 정보를 획득하게 된다.The operations S431 and S432 are performed N times on the extracted N frames, and accordingly, in operation S433, the processor 15 obtains N pieces of information about the features and types of the same product.

동작 S442에서는, 프로세서(15)는, 동작 S441에서 검출된 위치의 인물이미지를 분석함에 의해 부가정보를 추출하고, 이에 따라, 동작 S443에서, 프로세서(15)는, 예컨대 성별, 나이대, 인종, 체형, 국가/권역 등 인물과 관련된 부가정보를 획득한다.In operation S442, the processor 15 extracts additional information by analyzing the person image of the position detected in operation S441. Accordingly, in operation S443, the processor 15 may, for example, be gender, age group, race, or body type. Obtain additional information related to a person, such as country or territory.

동작 S452에서는, 프로세서(15)는, 동작 S451에서 검출된 위치의 배경이미지를 분석함에 의해 부가정보를 추출하고, 이에 따라, 동작 S453에서, 프로세서(15)는, 예컨대 계절, 장소 등 배경과 관련된 부가정보를 획득한다.In operation S452, the processor 15 extracts additional information by analyzing the background image of the position detected in operation S451. Accordingly, in operation S453, the processor 15 may be associated with a background such as a season or a place. Acquire additional information.

다음으로, 동작 S46에서, 프로세서(15)는, 상기 동작 S433, 동작 S443, 및 동작 S453에서 획득된 상품의 종류와 특징, 얼굴의 특징, 및 배경 정보를 기반으로 하여 패션 상품을 검색한다. Next, in operation S46, the processor 15 searches for a fashion product based on the types and features of the goods acquired in the operations S433, S443, and S453, the facial features, and the background information.

마지막으로, 동작 S47에서, 프로세서(15)는, 유사도 검색에 의한 패션 상품의 검색 결과를 정렬하여 디스플레이부(13)표시한다. 이 때, 검색 결과는, 검색 대상인 패션 상품과 동일 혹은 유사한 상품에 관한 정보를 포함하고, 검색된 상품을 구매하기 위한 주문 사이트의 연결 등 주문과 관련된 UI를 포함할 수 있다. Finally, in operation S47, the processor 15 sorts the search results of the fashion goods by the similarity search and displays the display unit 13. In this case, the search result may include information about a product that is the same as or similar to the fashion product to be searched, and may include a UI related to the order such as a link to an order site for purchasing the searched product.

도 5는 본 발명의 일실시예에 따른 영상의 복수의 프레임으로부터 검출되는 상품 및 인물에 관한 정보를 이용하여 검색결과를 제공하는 예이다. 도시된 예는, 도 3의 동작 S32 및 S33에서, 제1항목에 대응하는 '상품'을 검색하기 위해, 제2항목에 대응하는 '인물'에 관한 정보를 이용하는 경우를 도시한 것이다. 5 is an example of providing a search result by using information on goods and persons detected from a plurality of frames of an image according to an embodiment of the present invention. The illustrated example illustrates a case where information about 'person' corresponding to the second item is used to search for 'product' corresponding to the first item in operations S32 and S33 of FIG. 3.

도 5에 도시된 바와 같이, 프로세서(15)는, 재생중인 영상의 복수의 프레임(501, 502, 503, ?) 각각으로부터 상품(511, 521, 531) 및 인물(512, 522, 532)의 위치를 검출한다. As shown in FIG. 5, the processor 15 stores the merchandise 511, 521, 531 and the person 512, 522, 532 from each of the plurality of frames 501, 502, 503,? Detect location.

프로세서(15)는, 검색 대상이 되는 후보로서, 상기와 같이 검출된 복수의 상품(511, 521, 531)의 이미지를 포함하는 UI를 영상과 함께 디스플레이부(13)에 표시한다. 이 때, 사용자입력에 따라 복수의 상품(511, 521, 531) 중 상품2(521)가 선택되면, 프로세서(15)는 상품2(521)의 이미지로부터 상품의 특징 및 종류를 추출하고, 상품2(521)가 포함된 제2프레임(502)에서 검출되는 인물2(522)의 이미지로부터 예컨대 얼굴의 특징을 추출한다.  The processor 15 displays, on the display unit 13, a UI including images of the plurality of products 511, 521, and 531 detected as described above as a candidate to be searched together with the image. At this time, if the product 2 521 is selected from among the plurality of products 511, 521, and 531 according to a user input, the processor 15 extracts the features and types of the product from the image of the product 2 521, and the product. For example, a feature of a face is extracted from an image of person 2 522 detected in a second frame 502 including 2 521.

프로세서(15)는, 상기와 같이 추출된 상품2(521)의 특징 및 종류와, 인물2(522)의 얼굴 특징에 관한 정보를 이용하여 상품2(521)에 대한 검색을 수행한다. 예로서, 상품2(521)가 '선글라스'이고, 인물2(522)의 얼굴의 특징이 '30대 여성'인 경우, 30대 여성의 검색 카테고리에서 선글라스에 대한 검색을 수행할 수 있다. The processor 15 searches for the goods 2 521 by using the information on the features and types of the goods 2 521 extracted as described above and the facial features of the person 2 522. For example, when the product 2 521 is 'sunglasses' and the feature of the face of the person 2 522 is 'women in their 30s', a search for sunglasses may be performed in a search category of women in their 30s.

프로세서(15)는, 상품2(521)의 검색 결과(53)로서, 상품2(521)와 동일 혹은 유사한 상품에 관한 정보를 표시한다. 이 때, 표시된 상품의 구매를 유도하는 주문 UI(54)를 함께 표시할 수 있다. The processor 15 displays, as the search result 53 of the commodity 2 521, information about a product which is the same as or similar to the commodity 2 521. In this case, the order UI 54 for inducing the purchase of the displayed product may be displayed together.

일실시예로서, 프로세서(15)는, 선택된 상품2(521)의 이미지와 인물2(522)의 얼굴 특징에 관한 정보를 서버(20)로 전송하여, 서버(20)에서 상품2(521)의 검색이 수행되도록 할 수 있다. 이 경우, 프로세서(15)는 서버(20)로부터 인물2(522)의 얼굴 특징에 관한 정보를 이용하여 검색된 상품2(521)에 대한 검색 결과(53)를 수신하여 표시할 수 있다. In one embodiment, the processor 15 transmits the image of the selected product 2 521 and the information about the facial feature of the person 2 522 to the server 20, so that the server 20 receives the product 2 521. May be performed. In this case, the processor 15 may receive and display a search result 53 of the searched product 2 521 using information on the facial feature of the person 2 522 from the server 20.

일실시예로서, 프로세서(15)는, 상품2(521)에 대한 검색 결과(53)로서, 상품2(521)와 유사도가 높은 상품들의 리스트를 표시할 수 있다. 이 때, 프로세서(15)는, 검색된 상품 리스트 중 어느 하나의 상품 선택 시, 관련된 영상의 장면을 표시할 수도 있다. 이에 따라, 상품 검색 결과를 통해, 관련된 영상을 사용자가 다시 찾아볼 수 있도록 하는 편리함을 제공할 수 있다. As an example, the processor 15 may display a list of products having a high similarity with the product 2 521 as the search result 53 of the product 2 521. In this case, the processor 15 may display a scene of a related video when one of the searched goods list is selected. Accordingly, through the product search results, it is possible to provide convenience for the user to look up the related image again.

도 6은 본 발명의 일실시예에 따른 영상 내 상품을 검색할 프레임 구간을 선택하기 위한 UI를 제공하는 예이다. 도시된 예는, 도 3의 동작 S31에서, 복수의 프레임으로 이루어진 영상을 수신 중 상품 검색을 수행할 구간을 선택하는 경우를 도시한 것이다. 6 is an example of providing a UI for selecting a frame section for searching for a product in an image according to an embodiment of the present invention. The illustrated example illustrates a case where a section for performing a product search is selected while receiving an image of a plurality of frames in operation S31 of FIG. 3.

도시된 예에서, 프로세서(15)는, 재생되는 영상(60)의 일부를 저장부(17)에 저장한다. 이 때, 저장되는 영상(60)의 프레임의 크기는, 상품 검색을 위해 필요한 최소 크기로 설정될 수 있다. 예로서, 프로세서(15)는, 60초 이전 시점으로부터 현재 시점까지의 영상 프레임을 저장할 수 있다. In the example shown, the processor 15 stores a part of the image 60 to be reproduced in the storage unit 17. At this time, the size of the frame of the image 60 to be stored may be set to the minimum size required for the product search. For example, the processor 15 may store an image frame from a time point of 60 seconds to the current time point.

프로세서(15)는, 저장된 과거 영상에서 상품을 검색하기 위해 소정 어플리케이션을 실행하거나, 리모트 컨트롤(61)을 이용하여 과거 영상을 보여주는 기능을 선택할 수 있다. The processor 15 may execute a predetermined application to search for a product in the stored past image, or select a function of displaying the past image by using the remote control 61.

이에 따라, 프로세서(15)는, 과거 영상과 함께 소정 시간 구간을 설정할 수 있는 UI(62)를 영상의 하단에 표시한다. Accordingly, the processor 15 displays a UI 62 for setting a predetermined time interval together with the past image at the bottom of the image.

프로세서(15)는, UI(62)를 통한 사용자입력에 따라 과거 영상 중 예컨대 관심 있는 패션 상품이 존재하는 구간을 선택하고, 선택된 구간 내에서 패션 상품들을 검색 가능하도록 한다. The processor 15 selects a section in which a fashion product of interest exists, for example, among the past images according to a user input through the UI 62, and makes it possible to search for fashion products within the selected section.

도 7은 본 발명의 일실시예에 따른 복수의 프레임으로부터 검출되는 상품에 대한 복수의 이미지를 획득하는 예이다. 도시된 예는, 도 3의 동작 S32에서, 복수의 프레임 각각으로부터 제1항목에 대응하는 '상품'의 위치를 검출하여 복수의 상품 이미지를 획득하는 경우를 도시한 것이다. 7 is an example of acquiring a plurality of images of a product detected from a plurality of frames according to an embodiment of the present invention. The illustrated example illustrates a case where a plurality of product images are obtained by detecting a position of a 'product' corresponding to the first item from each of the plurality of frames in operation S32 of FIG. 3.

도시된 예에서, 프로세서(15)는, 영상 프레임(70)으로부터 복수의 상품(71, 72, 73)을 검출한다. 이 때, 프로세서(15)는, 영상 내 상품 검출을 위해 예컨대, 컨볼루션 신경망(CNN: Convolutional Neural Network) 기반의 객체 검출 알고리즘을 사용한다. In the example shown, the processor 15 detects a plurality of merchandise 71, 72, 73 from the image frame 70. In this case, the processor 15 uses an object detection algorithm based on, for example, a convolutional neural network (CNN) for product detection in the image.

컨볼루션 신경망(CNN)은 사물 인식에서 뛰어난 성능을 보이는 딥 러닝 방법으로, 하나 또는 여러 개의 컨볼루션 계층(convolutional layer)과, 통합 계층(pooling layer), 완전하게 연결된 계층(fully connected layer)으로 구성된 신경망이다. Convolutional Neural Network (CNN) is a deep learning method that performs well in object recognition. It consists of one or several convolutional layers, a pooling layer, and a fully connected layer. Neural network.

컨볼루션 신경망은 2차원 데이터의 학습에 적합한 구조를 가지고 있으며, 역전달 알고리즘(backpropagation algorithm)을 통해 훈련될 수 있다. The convolutional neural network has a structure suitable for learning two-dimensional data and can be trained through a backpropagation algorithm.

컨볼루션 신경망은 영상 내 객체 검출, 객체 분류 등에 사용되고, 특히 컬러 이미지와 같은 다차원 배열로 구성된 데이터로부터 특징을 추출하여 처리하는 방식으로 객체를 검출할 수 있다. The convolutional neural network is used for object detection, object classification, and the like in an image, and in particular, an object may be detected by extracting and processing a feature from data composed of a multidimensional array such as a color image.

프로세서(15)는, 상기 컨볼루션 신경망을 이용하여, 복수의 상품(71, 72, 73) 각각을 1회 검출하는 것이 하니라, 예컨대 20개의 프레임 각각으로부터 20회 검출하도록 한다. The processor 15 detects each of the plurality of products 71, 72, and 73 once by using the convolutional neural network. For example, the processor 15 detects 20 times from each of 20 frames.

이에 따라, 프로세서(15)는 복수의 상품(71, 72, 73) 각각에 대한 서로 다른 복수의 이미지(711, 721, 731)를 획득할 수 있다. 예로서, 복수의 구두이미지(731)의 경우, 20개의 프레임 각각으로부터 검출된 다양한 각도의 구두(73) 이미지들을 포함한다. Accordingly, the processor 15 may acquire a plurality of different images 711, 721, and 731 for each of the plurality of products 71, 72, and 73. For example, in the case of the plurality of shoe images 731, the shoe images 73 of various angles detected from each of 20 frames are included.

도 10은 본 발명의 일실시예에 따른 검색할 상품에 대한 복수의 이미지를 이용하여 유사한 상품이미지를 검색하는 예이다. 도시된 예는, 도 7에서, 검출된 각각의 상품(71, 72, 73)에 관한 복수의 쿼리이미지(711, 721, 731)를 사용하여 상품을 검색하는 경우를 도시한 것이다. 쿼리이미지는 복수의 프레임으로부터 검출되는 동일 상품에 대한 서로 다른 이미지를 포함한다. 10 is an example of searching for a similar product image by using a plurality of images of the product to be searched according to an embodiment of the present invention. In the example shown in FIG. 7, a product is searched using a plurality of query images 711, 721, and 731 of each detected product 71, 72, and 73. The query image includes different images of the same product detected from a plurality of frames.

도시된 예에서, 프로세서(15)는, 영상 내에서 검출된 복수의 쿼리이미지(101)를 사용하여 상품의 검색을 수행한다. In the example shown, the processor 15 performs a product search using the plurality of query images 101 detected in the image.

일실시예로서, 프로세서(15)는, 상품 검색을 위한 쿼리(query)로 사용될 K개의 쿼리이미지(101)를 획득한다. In one embodiment, the processor 15 obtains K query images 101 to be used as a query for product search.

프로세서(15)는, 데이터베이스 혹은 서버에 저장되어 있는 C개의 상품 종류 각각에 대한 M개의 상품이미지, 즉 C*M개의 상품이미지(102)와, K개의 쿼리이미지(101) 간 유사도를 계산하여, K개의 쿼리이미지(101)와 매칭율이 높은 상품을 검색한다. The processor 15 calculates the similarity between M product images, that is, C * M product images 102 and K query images 101, for each of C product types stored in a database or server. The product having a high matching rate with the K query images 101 is searched.

도 11은 본 발명의 일실시예에 따른 영상 내 상품의 검색 시 유사도 계산을 위한 수식을 도시한 예이다. 도시된 예는, 도 10에서 C*M개의 상품이미지(102) 중 영상 내에서 검출된 K개의 쿼리이미지(101)와 매칭율이 높은 상품을 찾아내기 위한 유사도 계산식을 도시한 것이다. 11 is an example of a formula for calculating similarity when searching for a product in an image according to an embodiment of the present invention. The illustrated example shows a similarity calculation formula for finding a product having a high matching rate with K query images 101 detected in the image among the C * M product images 102 in FIG. 10.

먼저, 프로세서(15)는, K개의 쿼리이미지(101)와 C*M개의 상품이미지(102) 간 유사도를 구하기 위해, n개의 특징에 대해 n차원(dimension) 공간 상에서 각각의 쿼리이미지(101)와 상품이미지(102) 간 거리(distance)(111)를 계산한다. First, the processor 15 calculates the similarity between the K query images 101 and the C * M product images 102, and each query image 101 in n dimension space for n features. The distance 111 between the product image 102 and the product image 102 is calculated.

다음으로, 프로세서(15)는, K개의 쿼리이미지(101) 각각에 대해 거리(111)를 계산하고, 계산된 K개의 거리(111) 중 최대값으로 유사도(112)를 구한다.Next, the processor 15 calculates the distance 111 for each of the K query images 101 and obtains the similarity 112 as the maximum value of the calculated K distances 111.

마지막으로, 프로세서(15)는, C*M개의 상품이미지(102) 각각에 대해 유사도(112)를 구하고, 계산된 C*M 개의 유사도(112)의 합산, 평균, 또는 최대값과 같은 다양한 방식으로 최종 유사도(113)를 계산한다. Finally, the processor 15 obtains a similarity 112 for each of the C * M product images 102 and various schemes such as summing, average, or maximum of the calculated C * M similarities 112. The final similarity 113 is calculated.

도 12의 예에서, 도 11에서 계산된 최종 유사도(113)를 이용하여, 예컨대 총 15개의 상품이미지(122) 중 4개의 쿼리이미지(121)와 유사도가 일정 수준 이상인 상품을 검색할 수 있다.In the example of FIG. 12, by using the final similarity 113 calculated in FIG. 11, for example, a product having a similarity or higher than a predetermined level with four query images 121 of a total of 15 product images 122 may be searched.

일실시예로서, 프로세서(15)는, 최종 유사도(113)가 50% 이상인 경우를 매칭된 이미지(123)로 설정할 수 있다. 이에 따라, 프로세서(15)는, 15개의 상품이미지(122) 중 4개의 쿼리이미지(101)와 최종 유사도가 55%, 60%, 65% 등과 같이 50% 이상인 상품들을 검색결과로서 표시할 수 있다. In one embodiment, the processor 15 may set the case where the final similarity 113 is 50% or more as the matched image 123. Accordingly, the processor 15 may display, as a search result, products having a final similarity of 50% or more, such as 55%, 60%, 65%, and the like, among the four query images 101 of the 15 product images 122. .

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 특허청구범위 내에서 다양하게 실시될 수 있다.As mentioned above, the present invention has been described in detail through the preferred embodiments, but the present invention is not limited thereto and may be variously implemented within the scope of the claims.

1: 제1영역
2: 제2영역
3: 제1항목
4: 제2항목
5: 복수의 프레임
10: 디스플레이장치
11: 신호수신부
12: 신호처리부
13: 디스플레이부
14: 통신부
15: 프로세서
16: 사용자입력부
17: 저장부
20: 서버1: first area
2: second area
3: first item
4: second item
5: multiple frames
10: display device
11: signal receiver
12: signal processing unit
13: display unit
14: communication unit
15: Processor
16: user input
17: storage
20: server

Claims (18)

디스플레이장치에 있어서,
복수의 프레임으로 이루어지는 영상의 신호를 수신하는 신호수신부와;
상기 신호를 처리하는 신호처리부와;
디스플레이부와;
상기 영상에서 검색 대상인 제1항목의 제1영역 및 상기 제1항목에 관련된 제2항목의 제2영역을 검출하고,
상기 검출된 제2영역의 제2항목의 정보에 기초하여 상기 검출된 제1영역의 제1항목을 검색하고,
상기 검색된 제1항목의 검색결과를 상기 디스플레이부에 표시하도록 제어하는 프로세서를 포함하는 디스플레이장치.In the display device,
A signal receiver which receives a signal of an image composed of a plurality of frames;
A signal processor which processes the signal;
A display unit;
Detecting a first area of a first item and a second area of a second item related to the first item in the image;
Search for a first item of the detected first area based on information of a second item of the detected second area,
And a processor configured to display the search result of the searched first item on the display unit. 제1항에 있어서,
서버와 통신하는 통신부를 더 포함하고,
상기 프로세서는, 상기 검출된 제1영역의 제1항목 및 상기 제2영역의 제2항목의 정보를 상기 서버로 전송하고, 상기 제1항목의 검색결과를 상기 서버로부터 수신하는 디스플레이장치. The method of claim 1,
Further comprising a communication unit for communicating with the server,
And the processor is configured to transmit information of the detected first item of the first area and the second item of the second area to the server, and to receive a search result of the first item from the server. 제1항에 있어서,
상기 제1항목은, 상기 영상에 표시되는 상품이미지를 포함하고,
상기 제2항목은, 상기 제1항목이 포함된 영상에 표시되는 인물이미지 또는 배경이미지 중 적어도 하나를 포함하는 디스플레이장치.The method of claim 1,
The first item includes a product image displayed on the video,
The second item may include at least one of a person image or a background image displayed on an image including the first item. 제3항에 있어서,
상기 제2항목의 정보는, 상기 상품이미지와 관련된 상기 인물이미지 또는 상기 배경이미지 중 적어도 하나에 관한 정보에 기초하여 생성되는 디스플레이장치.The method of claim 3,
And the information of the second item is generated based on at least one of the person image and the background image related to the product image. 제3항에 있어서,
상기 상품이미지, 상기 인물이미지 또는 상기 배경이미지는, 상기 복수의 프레임 각각에 표시되는 해당 항목의 서로 다른 복수의 이미지를 포함하는 디스플레이장치.The method of claim 3,
The product image, the person image or the background image, a display device including a plurality of different images of the corresponding item displayed in each of the plurality of frames. 제1항에 있어서,
상기 프로세서는, 상기 복수의 프레임 중 키프레임을 추출하고, 상기 추출된 키프레임으로부터 상기 제1영역 및 상기 제2영역을 검출하는 디스플레이장치.The method of claim 1,
The processor is configured to extract a key frame from the plurality of frames and to detect the first area and the second area from the extracted key frame. 제1항에 있어서,
사용자입력을 수신하는 사용자입력부를 더 포함하고,
상기 프로세서는, 상기 수신되는 사용자입력에 기초하여 상기 복수의 프레임 중 일부의 프레임 구간을 선택하고, 상기 선택된 프레임 구간으로부터 상기 제1영역 및 상기 제2영역을 검출하는 디스플레이장치.The method of claim 1,
Further comprising a user input unit for receiving a user input,
And the processor selects a frame section of a portion of the plurality of frames based on the received user input and detects the first region and the second region from the selected frame section. 제1항에 있어서,
사용자입력을 수신하는 사용자입력부를 더 포함하고,
상기 프로세서는, 상기 영상에서 검출되는 복수의 상기 제1항목을 UI의 형태로 상기 디스플레이부에 표시하고, 상기 복수의 제1항목 중에서 상기 수신되는 사용자입력에 기초하여 선택된 제1항목의 검색결과를 상기 디스플레이부에 표시하도록 제어하는 디스플레이장치.The method of claim 1,
Further comprising a user input unit for receiving a user input,
The processor may display the plurality of first items detected in the image on the display unit in the form of a UI, and display a search result of a first item selected based on the received user input among the plurality of first items. And a display device to display the display unit. 컴퓨터프로그램제품에 있어서,
복수의 인스트럭션이 저장된 메모리와;
프로세서를 포함하고,
상기 인스트럭션은, 상기 프로세서에 의해 실행되면, 수신되는 복수의 프레임으로 이루어진 영상에서 검색 대상인 제1항목의 제1영역 및 상기 제1항목에 관련된 제2항목의 제2영역을 검출하고, 상기 검출된 제2영역의 제2항목의 정보에 기초하여 상기 검출된 제1영역의 제1항목을 검색하고, 상기 검색된 제1항목의 검색결과를 표시하는 것을 포함하는 컴퓨터프로그램제품.In computer program products,
A memory in which a plurality of instructions are stored;
Includes a processor,
The instruction, when executed by the processor, detects a first region of a first item as a search target and a second region of a second item related to the first item from an image of a plurality of frames received. And searching for the first item of the detected first area based on the information of the second item of the second area, and displaying a search result of the searched first item. 제 9항에 있어서,
상기 인스트럭션은, 상기 검출된 제1영역의 제1항목 및 상기 제2영역의 제2항목의 정보를 서버로 전송하고, 상기 제1항목의 검색결과를 상기 서버로부터 수신하는 것을 포함하는 컴퓨터프로그램제품.The method of claim 9,
The instruction includes transmitting information of the detected first item of the first area and the second item of the second area to a server, and receiving a search result of the first item from the server. . 디스플레이장치의 제어방법에 있어서,
복수의 프레임으로 이루어지는 영상의 신호를 수신하는 단계와;
상기 영상에서 검색 대상인 제1항목의 제1영역 및 상기 제1항목에 관련된 제2항목의 제2영역을 검출하는 단계와;
상기 검출된 제2영역의 제2항목의 정보에 기초하여 상기 검출된 제1영역의 제1항목을 검색하는 단계와;
상기 검색된 제1항목의 검색결과를 표시하는 단계를 포함하는 디스플레이장치의 제어방법.In the control method of the display device,
Receiving a signal of an image consisting of a plurality of frames;
Detecting a first region of a first item and a second region of a second item related to the first item in the image;
Retrieving a first item of the detected first area based on information of a second item of the detected second area;
And displaying a search result of the searched first item. 제11항에 있어서,
상기 검출된 제1영역의 제1항목 및 상기 제2영역의 제2항목의 정보를 서버로 전송하는 단계와;
상기 제1항목의 검색결과를 상기 서버로부터 수신하는 단계를 더 포함하는 디스플레이장치의 제어방법. The method of claim 11,
Transmitting information of the detected first item of the first area and the second item of the second area to a server;
And receiving a search result of the first item from the server. 제11항에 있어서,
상기 제1항목은, 상기 영상에 표시되는 상품이미지를 포함하고,
상기 제2항목은, 상기 제1항목이 포함된 영상에 표시되는 인물이미지 또는 배경이미지 중 적어도 하나를 포함하는 디스플레이장치의 제어방법.The method of claim 11,
The first item includes a product image displayed on the video,
And the second item comprises at least one of a person image or a background image displayed on an image including the first item. 제13항에 있어서,
상기 제2항목의 정보는, 상기 상품이미지와 관련된 상기 인물이미지 또는 상기 배경이미지 중 적어도 하나에 관한 정보에 기초하여 생성되는 디스플레이장치의 제어방법. The method of claim 13,
And the information of the second item is generated based on at least one of the person image and the background image related to the product image. 제13항에 있어서,
상기 상품이미지, 상기 인물이미지 또는 상기 배경이미지는, 상기 복수의 프레임 각각에 표시되는 해당 항목의 서로 다른 복수의 이미지를 포함하는 디스플레이장치의 제어방법.The method of claim 13,
The product image, the person image or the background image, the control method of the display device including a plurality of different images of the corresponding item displayed in each of the plurality of frames. 제11항에 있어서,
상기 복수의 프레임 중 키프레임을 추출하는 단계와;
상기 추출된 키프레임으로부터 상기 제1영역 및 상기 제2영역을 검출하는 단계를 포함하는 디스플레이장치의 제어방법.The method of claim 11,
Extracting a keyframe from the plurality of frames;
And detecting the first area and the second area from the extracted key frame. 제11항에 있어서,
사용자입력에 기초하여 상기 복수의 프레임 중 일부의 프레임 구간을 선택하는 단계와;
상기 선택된 프레임 구간으로부터 상기 제2영역 및 상기 제2영역을 검출하는 단계를 포함하는 디스플레이장치의 제어방법.The method of claim 11,
Selecting a frame section of the plurality of frames based on a user input;
And detecting the second region and the second region from the selected frame section. 제11항에 있어서,
상기 영상에서 검출되는 복수의 상기 제1항목을 UI의 형태로 표시하는 단계와;
상기 복수의 제1항목 중에서 사용자입력에 기초하여 선택된 제1항목의 검색결과를 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
The method of claim 11,
Displaying the plurality of first items detected in the image in the form of a UI;
And displaying a search result of the first item selected from the plurality of first items based on a user input.
KR1020180064398A 2018-06-04 2018-06-04 Display apparatus and control method thereof KR20190138168A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180064398A KR20190138168A (en) 2018-06-04 2018-06-04 Display apparatus and control method thereof
PCT/KR2019/006743 WO2019235820A1 (en) 2018-06-04 2019-06-04 Display device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180064398A KR20190138168A (en) 2018-06-04 2018-06-04 Display apparatus and control method thereof

Publications (1)

Publication Number Publication Date
KR20190138168A true KR20190138168A (en) 2019-12-12

Family

ID=68769752

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180064398A KR20190138168A (en) 2018-06-04 2018-06-04 Display apparatus and control method thereof

Country Status (2)

Country Link
KR (1) KR20190138168A (en)
WO (1) WO2019235820A1 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
KR20150044507A (en) * 2013-10-16 2015-04-27 한양대학교 에리카산학협력단 Smart display having searching module for product of person
KR102206184B1 (en) * 2014-09-12 2021-01-22 삼성에스디에스 주식회사 Method for searching information of object in video and video playback apparatus thereof
CN107533552B (en) * 2015-02-17 2021-05-25 沈国晔 Interactive system and interactive method thereof
US10299010B2 (en) * 2016-03-31 2019-05-21 Valeria Kachkova Method of displaying advertising during a video pause
KR101660803B1 (en) * 2016-05-03 2016-09-28 아이피랩 주식회사 Apparatus and method for information providing

Also Published As

Publication number Publication date
WO2019235820A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
US10643264B2 (en) Method and computer readable medium for presentation of content items synchronized with media display
US10346684B2 (en) Visual search utilizing color descriptors
JP6950912B2 (en) Video search information provision method, equipment and computer program
KR101901454B1 (en) A real-time shopping method using image recognition in broadcasting and a smart phone equipped with an application for implementing it
US9841877B2 (en) Utilizing color descriptors to determine color content of images
US9384408B2 (en) Image analysis system and method using image recognition and text search
EP3425483B1 (en) Intelligent object recognizer
CN103207888A (en) Product search device and product search method
US11055759B1 (en) Color selection for image matching visual search
US10635280B2 (en) Interactive interfaces for generating annotation information
KR102024818B1 (en) Method, apparatus and computer program for providing search information from video
KR20200063777A (en) Display apparatus and controlling method thereof
CN112714349A (en) Data processing method, commodity display method and video playing method
CN106063288B (en) Display device and its channel map management method
KR20190138168A (en) Display apparatus and control method thereof
US11468675B1 (en) Techniques for identifying objects from video content
CN114125149A (en) Video playing method, device, system, electronic equipment and storage medium
US11410216B2 (en) Customer service assistance apparatus, customer service assistance method, and computer-readable recording medium
KR101871925B1 (en) Method, apparatus and computer program for providing search information from video
CN116325770A (en) Display device and image recognition result display method
CN112887780A (en) Video name display method and device
CN115086774B (en) Resource display method and device, electronic equipment and storage medium
KR20140075266A (en) Method for user-oriented contents analysis and its application using user gaze direction information
US20230328298A1 (en) Display device and operation method thereof
KR20150086926A (en) Display apparatus and control method of the same