KR20160031226A - Method for searching information of object in video and video playback apparatus thereof - Google Patents
Method for searching information of object in video and video playback apparatus thereof Download PDFInfo
- Publication number
- KR20160031226A KR20160031226A KR1020140120971A KR20140120971A KR20160031226A KR 20160031226 A KR20160031226 A KR 20160031226A KR 1020140120971 A KR1020140120971 A KR 1020140120971A KR 20140120971 A KR20140120971 A KR 20140120971A KR 20160031226 A KR20160031226 A KR 20160031226A
- Authority
- KR
- South Korea
- Prior art keywords
- search
- still image
- image
- request signal
- extracting
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
Abstract
Description
본 발명은 동영상 내 객체 관련 정보 검색 방법 및 동영상 재생 장치에 관한 것이다. 보다 자세하게는, 동영상 재생 중에 동영상에 등장하는 예를 들어 상품과 같은 특정 객체에 대한 정보를 간편하게 조회할 수 있도록 지원하는 정보 검색 방법 및 그 방법이 적용된 동영상 재생 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for searching for object related information in a moving picture and a moving picture reproducing apparatus. More particularly, the present invention relates to an information searching method and a moving picture reproducing apparatus to which information on a specific object such as a product appearing in a moving picture during a moving picture reproduction can be easily viewed.
인터넷 기술을 활용한 검색 엔진은 학술, 기술 분야의 전문적인 문헌에 대한 접근뿐만 아니라, 일상 생활에서 필요한 소소한 정보들에 대한 접근도 용이하게 해 주었다. 예를 들어, 다른 사람이 업로드 한 여행 후기, 맛집에 대한 평가 같은 생활 밀착형 정보가 빈번하게 억세스 되고 있다.The search engine utilizing the Internet technology not only provides access to specialized literature in academic and technical fields, but also facilitates access to the small information needed in everyday life. For example, life-friendly information such as an evaluation of a travel history, a restaurant, etc. uploaded by another person is frequently accessed.
상기 검색 엔진을 통해 TV 프로그램과 같은 동영상 컨텐츠에 대한 정보도 접근할 수 있다. 특히, 최신 트렌드에 민감한 소비자들은, TV 프로그램에 등장하는 연기자, 가수 등이 착용하는 패션, 악세서리 등에 많은 관심을 가지고, 이러한 관심이 반영된 많은 정보가 상기 검색 엔진을 통해 억세스 되고 있다.Information about video contents such as a TV program can be accessed through the search engine. Particularly, consumers who are sensitive to the latest trend have a lot of interest in fashion and accessories worn by actors and singers appearing in TV programs, and a lot of information reflecting such interest is being accessed through the search engine.
그런데, 동영상 컨텐츠에 등장하는 특정 객체에 대한 정보를 얻고자 할 때, 검색 엔진에 입력할 쿼리를 작성해야 하는 불편함이 있다. 어떻게 쿼리를 작성해야 자신이 원하는 정보를 얻을 수 있을 지에 대하여 고민이 필요한 것이다. 따라서, 동영상 재생 중에 추가적인 정보를 알고 싶은 객체가 등장할 때, 상기 추가적인 정보에 대한 검색을 간편하게 수행할 수 있도록 지원하는 검색 방법 및 그러한 검색 방법이 적용 된 동영상 재생 장치의 제공이 요청된다.However, when it is desired to obtain information about a specific object appearing in the video contents, it is inconvenient to create a query to be inputted to the search engine. You need to worry about how to write a query to get the information you want. Accordingly, there is a need to provide a search method that facilitates searching for the additional information when an object is desired to know additional information during video playback, and a video playback apparatus to which such a search method is applied.
본 발명이 해결하고자 하는 기술적 과제는 검색용 보조 정보가 구축 되지 않은 동영상에 대하여, 동영상 재생 도중 자세한 정보를 얻고자 하는 객체가 등장한 시점에 검색 요청을 입력하는 것만으로 상기 객체에 대한 검색 결과가 표시되는 동영상 내 객체 관련 정보 검색 방법 및 그 방법이 적용 된 동영상 재생 장치를 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide a method and apparatus for displaying a search result for an object by simply inputting a search request at a point in time when an object, And a video reproducing apparatus to which the method is applied.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.The technical objects of the present invention are not limited to the above-mentioned technical problems, and other technical subjects not mentioned can be clearly understood by those skilled in the art from the following description.
본 발명의 일 실시예에 따른 동영상 내 객체 관련 정보 검색 방법은, 동영상 재생 중 검색 대상이 지정되지 않은 검색 요청 신호를 제공 받는 것에 응답하여, 상기 동영상의 정지 영상을 추출하는 단계와, 상기 추출된 정지 영상에 포함된 객체를 인식하는 단계와, 상기 인식된 객체에 대한 정보를 검색하기 위하여 상기 인식된 객체에 대한 검색 요청을, 검색 서버에 송신하는 단계와, 상기 검색 요청에 대한 응답으로 검색 결과를 수신 하고, 상기 검색 결과를 표시하는 단계를 포함한다. 이 때, 상기 동영상은 상기 검색 서버에 송신되는 쿼리를 도출하기 위한 검색 보조 정보를 가지지 않은 것일 수 있다.The method of retrieving information related to an object in a moving picture according to an embodiment of the present invention includes the steps of extracting a still image of the moving picture in response to a search request signal for which a search object is not designated during motion picture reproduction, The method comprising the steps of: recognizing an object included in a still image; transmitting a search request for the recognized object to the search server to search for information about the recognized object; And displaying the search result. At this time, the moving image may have no search assistance information for deriving a query transmitted to the search server.
일 실시예에 따르면, 상기 정지 영상을 추출하는 단계는 상기 검색 요청 신호의 수신 시점을 기준으로 기 지정된 범위 내의 프레임들을 소정 기준에 따라 평가하는 단계 및 상기 평가 결과 가장 높은 평가치를 가지는 프레임을 상기 정지 영상으로 추출하는 단계를 포함할 수 있다. 상기 소정 기준은, 각 프레임 안에서 인식된 객체의 수를 기준으로 각 프레임에 대한 평가치를 산출하는 것이거나, 각 프레임 안에서 인식된 로고(logo) 또는 상표의 수를 기준으로 각 프레임에 대한 평가치를 산출하는 것일 수 있다.According to another embodiment of the present invention, the step of extracting the still image may include the steps of evaluating frames within a predetermined range based on a reception timing of the search request signal according to a predetermined criterion, And extracting the image with an image. The predetermined criterion is to calculate an evaluation value for each frame based on the number of objects recognized in each frame or to calculate an evaluation value for each frame based on the number of logos or trademarks recognized in each frame .
일 실시예에 따르면, 상기 기 지정된 범위 내의 프레임들을 소정 기준에 따라 평가하는 단계는, 상기 기 지정된 범위 내의 프레임 중, 상기 검색 요청 신호의 수신 시점의 장면(scene)과 동일한 장면에 속하는 프레임들을 소정 기준에 따라 평가하는 단계를 포함할 수 있다.According to an embodiment of the present invention, the step of evaluating the frames within the pre-designated range according to a predetermined criterion may further include the step of, when a frame belonging to the same scene as the scene of the reception of the search request signal, And evaluating it according to the criteria.
일 실시예에 따르면, 상기 정지 영상을 추출하는 단계는 상기 검색 요청 신호의 수신 시점을 기준으로 기 지정된 범위 내의 프레임들을 모두 상기 정지 영상으로 추출하는 단계를 포함하고, 상기 객체를 인식하는 단계는 상기 추출된 모든 정지 영상에 대하여, 정지 영상 내 객체를 인식하는 단계, 및 각 정지 영상에 대하여 인식된 객체를 취합하는 단계를 포함하고, 상기 검색 서버에 송신하는 단계는 상기 취합된 객체에 대한 검색 요청을, 검색 서버에 송신하는 단계를 포함할 수 있다.According to another embodiment of the present invention, the step of extracting the still image includes extracting all the frames within a predetermined range in the still image on the basis of the reception time of the search request signal, The method comprising the steps of: recognizing an object in a still image for all extracted still images; and collecting objects recognized for each still image, wherein the step of transmitting to the search server comprises: To the search server.
일 실시예에 따르면, 상기 기 지정된 범위 내의 프레임들을 모두 상기 정지 영상으로 추출하는 단계는, 상기 기 지정된 범위 내의 프레임 중, 상기 검색 요청 신호의 수신 시점의 장면(scene)과 동일한 장면에 속하는 프레임들을 모두 상기 정지 영상으로 추출하는 단계를 포함할 수 있다.According to one embodiment, the step of extracting all of the frames within the pre-designated range into the still image may include extracting frames belonging to the same scene as the scene at the time of receiving the search request signal among frames within the pre- And extracting all the still images.
일 실시예에 따르면, 상기 정지 영상을 추출하는 단계는, 상기 검색 요청 신호의 수신 시점이 장면 전환(scene change) 이후 기 지정된 프레임 이내의 프레임인 경우, 상기 장면 전환 전의 장면에 속한 프레임 중 적어도 일부 프레임의 정지 영상을 추출하는 단계를 포함할 수 있다.According to an embodiment, when the reception time of the search request signal is a frame within a designated frame after a scene change, the extracting of the still image may include extracting at least a part of frames belonging to a scene before the scene change And extracting a still image of the frame.
일 실시예에 따르면, 상기 검색 서버에 송신하는 단계는, 상기 추출된 정지 영상 중, 상기 인식된 객체의 영역을 크로핑(cropping) 하는 단계와, 상기 크로핑된 객체 이미지를 상기 검색 서버에 송신하는 단계를 포함할 수 있다.According to an embodiment, the step of transmitting to the search server includes the steps of: cropping an area of the recognized object among the extracted still images; and transmitting the cropped object image to the search server .
일 실시예에 따르면, 상기 검색 결과를 표시하는 단계는, 상기 인식된 각각의 객체를 가리키는 체크 리스트를 상기 동영상에 오버레이 하는 단계와, 상기 체크 리스트에 체크된 객체에 대한 검색 결과를 선별하여 표시하는 검색 결과 표시 영역을 상기 동영상에 오버레이 하는 단계를 포함할 수 있다.According to an embodiment of the present invention, the step of displaying the search result may include the steps of overlaying a check list indicating each recognized object on the moving image, and displaying a search result of the checked object on the check list And overlaying the search result display area on the moving image.
본 발명의 다른 실시예에 따른 동영상 내 객체 관련 정보 검색 방법은 동영상 재생 중 검색 대상이 지정되지 않은 검색 요청 신호를 제공받는 것에 응답하여 상기 동영상의 정지 영상을 추출하는 단계와, 상기 추출된 정지 영상에 포함된 문자열 및 로고 중 적어도 하나의 객체를 인식하는 단계와, 상기 인식된 객체를 이용하여 텍스트 쿼리를 생성하는 단계와, 상기 텍스트 쿼리를, 검색 서버에 송신하는 단계와, 상기 검색 요청에 대한 응답으로 검색 결과를 수신 하고, 상기 검색 결과를 표시하는 단계를 포함할 수 있다.In accordance with another embodiment of the present invention, there is provided a method for searching for an object related information in a moving image, the method comprising: extracting a still image of the moving image in response to receiving a search request signal for which no search object is designated during moving image playback; The method comprising the steps of: recognizing at least one object of a string and a logo included in the search request; generating a text query using the recognized object; transmitting the text query to a search server; Receiving the search result in response to the search result, and displaying the search result.
본 발명의 또 다른 실시예에 따른 동영상 재생 장치는, 동영상을 재생하는 디스플레이, 검색 요청 신호를 수신하는 사용자 입력 수신부, 동영상 재생 중 검색 대상이 지정되지 않은 상기 검색 요청 신호를 제공 받는 것에 응답하여, 상기 동영상의 정지 영상을 추출하는 정지 영상 추출부, 상기 추출된 정지 영상을 서버에 송신하는 검색 대상 영상 송신부, 및 상기 서비스 서버에 의하여 상기 검색 대상 영상에서 인식된 객체에 대한 검색 결과를 수신하여, 상기 검색 결과가 상기 디스플레이에 표시되도록 제어하는 검색 결과 표시부를 포함한다.A moving picture reproducing apparatus according to another exemplary embodiment of the present invention includes a display for playing a moving picture, a user input receiving unit for receiving a search request signal, and a control unit for, in response to receiving the search request signal, A still image extracting unit for extracting a still image of the moving image, a search target image transmitting unit for transmitting the extracted still image to a server, and a search unit for receiving a search result of the object recognized in the search target image by the service server, And a search result display unit for controlling the search result to be displayed on the display.
상기 사용자 입력 수신부는, 상기 검색 요청 신호의 입력으로부터 상기 검색 결과 표시부에 의한 검색 결과 표시까지 사용자로부터 추가 입력을 받지 않는다. 즉, 상기 동영상 재생 장치의 사용자는 동영상 재생 중에 상기 검색 요청 신호를 입력하는 것 만으로, 상기 검색 요청 신호에 대한 응답으로 검색 결과를 제공 받을 수 있다.The user input receiving unit does not receive additional input from the user from the input of the search request signal until the search result display by the search result display unit. That is, the user of the moving picture reproducing apparatus can receive the search result in response to the search request signal only by inputting the search request signal during the moving picture playback.
본 발명의 몇몇 실시예들에 따르면, 동영상에 연결된 검색용 보조 정보가 전혀 구비 되어 있지 않은 경우에도, 동영상에 등장하는 객체에 대한 검색을 지원하는 효과가 있다. 따라서, 모든 동영상에 대하여 본 발명 실시예들에 따른 검색 방법을 적용할 수 있다.According to some embodiments of the present invention, there is an effect of supporting searching for an object appearing in a moving picture even when no auxiliary information for searching connected to the moving picture is provided at all. Accordingly, a search method according to embodiments of the present invention can be applied to all moving images.
또한, 사용자가 입력하는 검색 요청에는 검색 대상에 대한 어떠한 정보도 포함되지 않으므로, 사용자의 검색 편의성을 증대할 수 있는 효과가 있다.In addition, since the search request input by the user does not include any information about the search target, the search convenience of the user can be increased.
도 1은 본 발명의 일 실시예에 따른 동영상 내 객체 관련 정보 검색 방법의 순서도이다.
도 2는 본 발명의 다른 실시예에 따른 동영상 내 객체 관련 정보 검색 시스템의 구성도이다.
도 3은 도 2에 도시된 시스템에서 수행 될 수 있는 동영상 내 객체 관련 정보 검색 방법의 신호 흐름도이다.
도 4는 본 발명의 또 다른 실시예에 따른 동영상 내 객체 관련 정보 검색 시스템의 구성도이다.
도 5는 도 4에 도시된 시스템에서 수행 될 수 있는 동영상 내 객체 관련 정보 검색 방법의 신호 흐름도이다.
도 6은 본 발명의 몇몇 실시예에서 수행 되는 검색 대상 객체를 얻는 방법의 다양한 실시예를 설명하기 위한 개념도이다.
도 7은 본 발명의 다른 실시예에 따른 동영상 내 객체 관련 정보 검색 방법의 순서도이다.
도 8은 본 발명의 몇몇 실시예들에 따른 검색 결과 표시 방법을 설명하기 위한 개념도이다.
도 9는 본 발명의 또 다른 실시예에 따른 동영상 재생 장치의 제1 블록 구성도이다.
도 10은 본 발명의 또 다른 실시예에 따른 동영상 재생 장치의 제2 블록 구성도이다.FIG. 1 is a flowchart of a method for searching for object related information in a moving picture according to an embodiment of the present invention.
FIG. 2 is a configuration diagram of an object-related information retrieval system according to another embodiment of the present invention.
FIG. 3 is a signal flow diagram of a method for searching for object-related information in a moving image that can be performed in the system shown in FIG.
FIG. 4 is a block diagram of an object-related information search system according to another embodiment of the present invention.
5 is a signal flow diagram of a method for searching for information related to an object in a moving image that can be performed in the system shown in FIG.
6 is a conceptual diagram for explaining various embodiments of a method for obtaining a search object performed in some embodiments of the present invention.
FIG. 7 is a flowchart of a method for searching for object related information in a moving picture according to another embodiment of the present invention.
8 is a conceptual diagram for explaining a search result display method according to some embodiments of the present invention.
9 is a block diagram of a moving picture reproducing apparatus according to another embodiment of the present invention.
10 is a block diagram of a second moving picture reproducing apparatus according to another embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise. The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification.
이하, 도 1을 참조하여 본 발명의 일 실시예에 따른 동영상 내 객체 관련 정보 검색 방법을 설명한다.Hereinafter, a method for searching for object related information in a moving picture according to an embodiment of the present invention will be described with reference to FIG.
동영상이 재생되는 도중, 상기 동영상을 재생하는 장치가 검색 요청 신호를 제공 받는 것에 의하여, 본 실시예에 따른 동영상 내 객체 관련 정보 검색 방법이 시작된다. 상기 검색 요청 신호는 검색 대상을 가리키는 정보가 포함되지 않은 것일 수 있다.During the reproduction of the moving image, the apparatus for reproducing the moving image receives the search request signal, thereby starting the object related information search method according to the present embodiment. The search request signal may not include information indicating a search target.
상기 동영상은 상기 검색 서버에 송신되는 쿼리를 도출하기 위한 검색 보조 정보를 가지지 않은 것이다. 즉, 상기 동영상은 동영상 자체의 audiovisual 데이터 만을 포함한 것이다. 즉, 동영상에 연결된 검색용 보조 정보가 전혀 구비 되어 있지 않은 경우에도, 동영상에 등장하는 객체에 대한 검색을 지원할 수 있다.The moving picture does not have search assistance information for deriving a query transmitted to the search server. That is, the moving picture includes only audiovisual data of the moving picture itself. That is, even when no auxiliary information for search linked to a moving picture is provided at all, it is possible to support searching for an object appearing in the moving picture.
이 때, 상기 검색 요청 신호는 동영상 재생 장치의 리모컨 등, 기 지정된 신호 만을 생성할 수 있는 장치로부터 수신된 것일 수 있다.At this time, the search request signal may be received from a device capable of generating only a pre-designated signal such as a remote controller of the moving picture reproducing apparatus.
다른 실시예에 따르면, 동영상이 스마트 폰, 태블릿 피씨 등 터치 디스플레이를 구비한 장치를 통해 재생 될 때, 사용자가 동영상 재생 중에 상기 터치 디스플레이의 특정 지점을 터치하는 것에 의하여 상기 검색 요청 신호가 제공될 수도 있다.According to another embodiment, when a moving picture is played through a device having a touch display such as a smart phone, a tablet PC, or the like, the user may touch the specific point of the touch display during playing the moving picture, have.
동영상을 시청하고 있는 사용자의 입장에서 설명하면, 동영상 재생 중에 관심 있는 객체가 등장하는 시점에서 상기 검색 요청 신호를 생성하는 사용자 입력을 상기 동영상을 재생하고 있는 장치에 제공하는 것만으로, 검색을 위한 모든 입력이 끝난다. 상기 검색 요청 신호는 어떠한 정보를 검색해야 하는지 가리키는 정보를 포함하지 않으므로, 사용자는 1회의 조작, 예를 들어 1회의 리모컨 버튼 누름, 1회의 터치 디스플레이 터치, 1회의 키보드 입력 또는 1회의 마우스 조작 만으로 검색을 위한 모든 입력을 끝낼 수 있다.A user who generates the search request signal at a point of time when an object of interest appears during the reproduction of the moving picture is provided to the device that is reproducing the moving picture, The input ends. Since the search request signal does not include information indicating which information should be searched, the user can perform a single operation, for example, by pressing one remote control button, touching one touch display, inputting one keyboard or performing a single mouse operation You can end all input for.
동영상 재생 장치가 상기 검색 요청 신호를 제공 받으면, 재생 중인 동영상에서 검색 대상 정지 영상이 추출된다(S200). 상기 추출 된 검색 대상 정지 영상은, 사용자가 추가 정보를 알고자 하는 객체를 포함하고 있는 이미지이다. 이 때, 상기 동영상 재생 장치가 상기 검색 요청 신호를 제공 받는 것에 응답하여 상기 검색 대상 정지 영상을 추출할 수도 있고, 상기 동영상 재생 장치는 상기 검색 요청 신호를 제공 받는 것에 응답하여 외부 장치에 상기 검색 대상 정지 영상의 추출을 요청할 수도 있다. 상기 외부 장치는, 예를 들어 동영상 스트리밍 서버일 수 있다.When the video playback apparatus receives the search request signal, the search target still image is extracted from the video being played back (S200). The extracted retrieval target still image is an image including an object for which a user wants to know additional information. In this case, the moving picture reproducing apparatus may extract the retrieving object still image in response to the retrieval request signal being provided. In response to the retrieving request signal, It may request extraction of a still image. The external device may be, for example, a video streaming server.
일 실시예에 따르면, 상기 검색 요청 신호를 제공 받는 시점의 프레임이 상기 검색 대상 정지 영상이 될 수도 있고, 다른 실시예에 따르면, 상기 검색 요청 신호를 제공 받는 시점을 기존으로 기 지정된 범위 내의 프레임들 중 적어도 일부가 상기 검색 대상 정지 영상이 될 수도 있다. 상기 정지 영상을 추출하는 다양한 실시예에 대하여는, 도 6을 참조하여 후술한다.According to an exemplary embodiment, the frame at the time of receiving the search request signal may be the search target still image. According to another embodiment, May be the search target still image. Various embodiments for extracting the still image will be described later with reference to FIG.
상기 검색 대상 정지 영상이 추출 된 후, 검색 대상 정지 영상에서 객체(object)가 인식된다. 객체의 인식에는 널리 알려진 비디오 분석(video analytics) 분야의 기술이 활용될 수 있다. 필요하다면, 객체의 인식에 상기 검색 대상 정지 영상의 전후 프레임들이 더 참조될 수 있다. 인식 대상인 객체의 타입, 형상 등은 미리 지정될 수 있다. 예를 들어, 사람, 자동차, 물품 등이 인식 대상 객체 타입으로 지정될 수 있다.After the retrieval target still image is extracted, an object is recognized in the retrieval target still image. Recognition of objects can be based on techniques in the field of video analytics. If necessary, the frames before and after the search target still image may be further referred to in recognition of the object. The type, shape, etc. of the object to be recognized can be specified in advance. For example, a person, a car, an article, and the like can be designated as the object type to be recognized.
객체의 인식을 위하여, 아래의 특허 문헌들에 기재된 객체 인식 기술이 활용 될 수 있다. US20140140583A1, US20140140574A1, US20140133698A1, US20140093176A1, US20140089365A1, US20140064625A1, US20140056473A1, US20140023232A1, US20140010433A1, US20130329988A1, US20140140572A1, US20140139660A1, US20130301911A1, US20130251203A1, US20130250050A1.For object recognition, object recognition techniques described in the following patent documents can be utilized. US20140140583A1, US20140140574A1, US20140133698A1, US20140093176A1, US20140089365A1, US20140064625A1, US20140056473A1, US20140023232A1, US20140010433A1, US20130329988A1, US20140140572A1, US20140139660A1, US20130301911A1, US20130251203A1, US20130250050A1.
객체의 인식은 동영상 재생 장치 또는 동영상 재생 장치로부터 상기 검색 대상 정지 영상을 수신한 서비스 서버에 의하여 수행 될 수 있다. 이점에 대하여는, 추후 도 2 내지 도 5를 참조하여 후술한다.The recognition of the object may be performed by a service server that receives the retrieval object still image from the moving picture reproducing apparatus or the moving picture reproducing apparatus. This will be described later with reference to Figs. 2 to 5 below.
객체의 인식이 성공하면, 인식 된 객체에 대한 정보가 정확히 검색 될 수 있도록, 상기 검색 대상 정지 영상 중 객체 부분을 크로핑(cropping) 한다(S400). 상기 크로핑은, 상기 검색 대상 정지 영상 중 상기 객체 부분을 제외한 부분을 삭제하는 것을 의미한다. 예를 들어, 상기 크로핑은 상기 객체의 외곽선을 기준으로 상기 외곽선의 바깥에 있는 영역을 삭제하는 것을 의미할 수 있다. 상기 크로핑은 상기 객체가 포함되는 최소한의 사각형을 기준으로 상기 사각형의 바깥에 있는 영역을 삭제하는 것을 의미할 수도 있다.If the recognition of the object is successful, the object part of the search target still image is cropped (S400) so that information about the recognized object can be accurately searched. The cropping means deleting a portion of the search target still image excluding the object portion. For example, the cropping may mean deleting an area outside the outline based on an outline of the object. The cropping may mean deleting an area outside the rectangle based on the minimum rectangle in which the object is included.
다음으로, 크로핑 된 이미지를 입력 쿼리로서 제공하는 것에 의해, 이미지 검색 기능을 제공하는 서버에 인식된 객체에 대한 정보의 검색을 요청한다(S500). 상기 이미지 검색은 google image 검색 등 범용 이미지 검색 엔진을 이용할 수 있다.Next, the server providing the image search function is requested to retrieve information about the recognized object by providing the cropped image as an input query (S500). The image search can use a general image search engine such as google image search.
상기 검색 대상 정지 영상에서 인식 되는 객체의 개수가 2개 이상일 수 있다. 이 경우, 각 객체 별로 객체를 포함하는 크로핑 이미지를 상기 이미지 검색 기능을 제공하는 서버에 제공할 수 있다. 즉, n개의 객체가 인식 된 경우, 상기 검색 기능을 제공하는 서버에 n번 검색이 요청 될 것이다.The number of objects recognized in the search target still image may be two or more. In this case, a cropping image including an object for each object may be provided to the server providing the image search function. That is, if n objects are recognized, the search server will be requested to search n times.
상기 이미지 검색 기능을 제공하는 서버로부터 검색 결과가 제공되면, 상기 검색 결과가 상기 동영상 재생 장치에 표시된다(S600). 예를 들어, 상기 검색 결과가 상기 동영상에 오버레이 될 수 있다. 상기 검색 결과를 표시하는 방법에 대하여는 도 8을 참조하여 후술한다.If a search result is provided from the server providing the image search function, the search result is displayed on the moving image playback apparatus (S600). For example, the search result may be overlaid on the moving image. A method of displaying the search result will be described later with reference to FIG.
본 실시예에 따른 검색 방법은, 이미 설명한 바와 같이 동영상 재생 중 검색 대상을 구체적으로 지정할 필요가 없는 한번의 검색 명령 입력 만으로, 상기 검색 명령 입력 시점의 동영상에 등장하는 객체에 대한 정보가 표시되는 효과를 가진다. 또한, 동영상과 관련된 정보에 대한 검색 기능 제공을 위해 상기 동영상 이외의 별도 정보가 제공 되지 않아도 되기 때문에, 본 실시예의 제공을 위해 특별히 가공된 형태의 동영상이 아니더라도, 본 실시예에 따른 검색 방법을 제공할 수 있는 효과가 있다.As described above, the search method according to the present embodiment is advantageous in that information on an object appearing in a moving picture at the time of inputting the search command is displayed only by inputting a single search command that does not need to specifically designate a search target during moving picture playback . In addition, since a separate information other than the moving image is not provided for providing a search function for information related to a moving image, even if the moving image is not a specially processed image for providing the present embodiment, There is an effect that can be done.
상기 설명한 바와 같이, 상기 검색 대상 정지 영상에서 객체를 인식하는 것은, 검색 요청 신호를 제공 받은 동영상 재생 장치에 의하여 수행 될 수도 있고, 상기 동영상 재생 장치로부터 상기 검색 대상 정지 영상을 제공 받은 서비스 서버에 의하여 수행 될 수도 있다. 이하, 도 2 내지 도 3을 참조하여 상기 동영상 재생 장치가 객체 인식 기능을 수행하는 경우의 실시예를 설명하고, 도 4 내지 도 5를 참조하여 상기 서비스 서버가 객체 인식 기능을 수행하는 경우의 실시예를 설명한다.As described above, the recognition of the object in the search target still image may be performed by the video playback apparatus provided with the search request signal, or may be performed by the service server provided with the search target still image from the video playback apparatus . Hereinafter, an embodiment in which the moving picture reproducing apparatus performs the object recognizing function will be described with reference to FIG. 2 to FIG. 3, and with reference to FIG. 4 to FIG. 5, the case where the service server performs the object recognizing function An example is given.
도 2는 본 발명의 다른 실시예에 따른 동영상 내 객체 관련 정보 검색 시스템의 구성도이다. 도 2에 도시된 바와 같이, 네트워크를 통해 검색 서버(20)와 연결된 동영상 재생 장치(10)가 제공 될 수 있다. 동영상 재생 장치(10)는 네트워크와의 연결 기능 및 동영상 재생 기능을 구비한 모든 장치를 의미한다. 예를 들어, 동영상 재생 장치(10)는 TV, 스마트 폰, 데스크톱 컴퓨터, 노트북 컴퓨터 등 네트워크 연결 기능을 구비한 장치일 수 있다.FIG. 2 is a configuration diagram of an object-related information retrieval system according to another embodiment of the present invention. As shown in FIG. 2, a moving
동영상 재생 장치(10)의 기능을 제어하기 위한 리모컨(30)이 더 제공될 수 있다. 리모컨(30)에는 본 실시예에 따른 동영상 내 객체 관련 정보 검색 기능을 실행하기 위한 검색 버튼(31)이 구비될 수 있다. 사용자는 동영상 재생 장치(10)에서 재생 되는 동영상을 시청하다가, 예를 들어 맘에 드는 제품이 등장하는 등, 추가 정보를 얻고 싶은 객체가 등장하는 시점에서 검색 버튼(31)을 누를 수 있다. 동영상 재생 장치(10)에는, 검색 버튼(31)을 누른 것에 대한 응답으로, 검색 버튼(31)을 누른 시점에 등장하는 객체에 대한 검색 결과가 표시될 것이다. 동영상 재생 장치(10)는 상기 검색 결과를 검색 서버(20)로부터 제공 받는다.A
이하, 도 2에 도시된 동영상 내 객체 관련 정보 검색 시스템의 동작을, 도 3을 참조하여 설명한다.Hereinafter, the operation of the moving object related information search system shown in FIG. 2 will be described with reference to FIG.
동영상 재생 장치(10)가 검색 요청 신호를 수신하고(S100), 재생 중인 동영상에서 검색 대상 정지 영상을 추출한다(S200). 그 다음으로 검색 대상 정지 영상에서 객체를 인식한다(S300). 그 다음으로 검색 대상 정지 영상(S200) 중, 인식된 객체 부분만을 크로핑(cropping)하고(S400), cropping 된 부분의 이미지를 검색 서버(20)에 제공한다.The moving
검색 서버(20)는 텍스트 형식의 쿼리가 아닌, 이미지 형식의 쿼리를 입력 받아 상기 이미지에 대한 정보를 제공하는 서버이다. 검색 서버(20)는, 예를 들어, google image 검색 등 범용 이미지 검색 서버일 수 있다. 검색 서버(20)는 상기 cropping 된 부분의 이미지를 입력 받아, 상기 이미지와 관련 있는 정보를 수집한다(S502). 그 후, 검색 서버(20)는 동영상 재생 장치(10)에 검색 결과를 제공한다(S504). 동영상 재생 장치(10)는 상기 검색 결과를 표시한다(S600).The
다음으로, 도 4 내지 도 5를 참조하여, 객체의 인식(object detection)을 동영상 재생 장치(10)가 아닌 서비스 서버(40)에서 수행하는 실시예를 설명한다. 본 실시예는, 동영상 또는 정지 영상을 분석하여 객체를 인식하는 알고리즘은 많은 연산량을 요구하기 때문에, 동영상 재생 장치(10)의 연산 능력이 상기 알고리즘을 수행하기에 충분하지 않은 경우에 적합하다.Next, an embodiment in which object detection (object detection) is performed by the
도 4는 본 발명의 또 다른 실시예에 따른 동영상 내 객체 관련 정보 검색 시스템의 구성도이다. 도 4에 도시된 바와 같이, 네트워크를 통해 검색 서버(20) 및 서비스 서버(40)와 연결된 동영상 재생 장치(10)가 제공 될 수 있다.FIG. 4 is a block diagram of an object-related information search system according to another embodiment of the present invention. As shown in Fig. 4, a moving
도 4에 도시된 시스템은, 도 2에 도시된 시스템과 비교하여 서비스 서버(40)를 더 포함한다. 서비스 서버(40)는 동영상 재생 장치(10)로부터 검색 대상 정지 영상을 제공 받고, 상기 검색 대상 정지 영상에서 객체를 인식하며, 인식 된 객체 마다 그 객체를 포함하는 크로핑 이미지를 생성하여, 상기 크로핑 이미지를 검색 서버(20)에 제공한다. 검색 서버(20)에 의하여 생성 된 검색 결과는 동영상 재생 장치(10)에 직접 제공되거나, 서비스 서버(40)를 통해 동영상 재생 장치(10)에 제공 될 수 있다.The system shown in Fig. 4 further includes a
이하, 도 4에 도시된 동영상 내 객체 관련 정보 검색 시스템의 동작을, 도 5를 참조하여 설명한다.Hereinafter, the operation of the moving object related information searching system shown in FIG. 4 will be described with reference to FIG.
동영상 재생 장치(10)가 검색 요청 신호를 수신하고(S100), 재생 중인 동영상에서 검색 대상 정지 영상을 추출한다(S200). 동영상 재생 장치(10)는 추출된 상기 검색 대상 정지 영상을 서비스 서버(40)에 송신한다(S202).The moving
서비스 서버(40)는 상기 검색 대상 정지 영상을 수신하여, 상기 검색 대상 정지 영상에서 객체를 인식한다(S300). 그 다음으로 서비스 서버(40)는 검색 대상 정지 영상(S200) 중 인식된 객체 부분만을 크로핑(cropping) 하고(S400), cropping 된 부분의 이미지를 검색 서버(20)에 제공한다(S500).The
검색 서버(20)는 상기 cropping 된 부분의 이미지를 입력 받아, 상기 이미지와 관련 있는 정보를 수집한다(S502). 그 후, 검색 서버(20)는 도 5에 도시된 것과 같이 서비스 서버(40)를 통하여 동영상 재생 장치(10)에 검색 결과를 제공하거나(S504), 서비스 서버(40)를 경유하지 않고 바로 동영상 재생 장치(10)에 검색 결과를 제공할 수 있다.The
검색 서버(20)로부터 송신 된 검색 결과가 서비스 서버(40)를 경유하여 동영상 재생 장치(10)에 송신 되는 경우, 서비스 서버(40)는 상기 검색 결과에 포함된 광고 등 불필요 정보를 필터링 한 후, 동영상 재생 장치(10)에 송신할 수 있다.When the search result transmitted from the
이하, 도 6을 참조하여, 본 발명의 몇몇 실시예에서 수행 되는 검색 대상 객체를 얻는 방법의 다양한 실시예를 설명한다. 도 6을 참조한 설명은, 도 1, 도 3, 도 5의 동영상에서 검색 대상 정지 영상을 추출하는 방법(S200) 등에 적용 될 수 있다.Hereinafter, referring to FIG. 6, various embodiments of a method for obtaining a search object performed in some embodiments of the present invention will be described. The description referring to FIG. 6 may be applied to a method (S200) of extracting a still image to be searched in the moving images of FIGS. 1, 3, and 5, and the like.
도 6에 도시된 바와 같이, 동영상은 일련의 프레임이 결합 된 것이다. 프레임 F가 표시되는 시점에 검색 요청 신호가 입력 되었다고 가정할 때, 일 실시예에 따르면, 프레임 F가 그대로 검색 대상 정지 영상으로 선택 될 수 있을 것이다. 그러나, 사용자가 원하는 객체가 프레임 F에 포함 되지 않을 수 있다. 사용자의 조작 속도와 비교하면, 프레임이 바뀌는 속도가 훨씬 빠르기 때문이다. 이하, 이러한 한계점을 보완하기 위한 다양한 방법을 설명한다.As shown in Fig. 6, the motion picture is a series of frames combined. Assuming that the search request signal is input at the time of displaying the frame F, according to an embodiment, the frame F may be directly selected as the search target still image. However, the object desired by the user may not be included in the frame F. [ This is because the speed at which the frame changes is much faster compared to the user's operation speed. Hereinafter, various methods for compensating these limitations will be described.
일 실시예에 따르면, 상기 검색 요청 신호의 수신 시점을 기준으로 기 지정된 범위 내의 프레임들을 소정 기준에 따라 평가하고, 상기 평가 결과 가장 높은 평가치를 가지는 프레임을 상기 검색 대상 정지 영상으로 추출할 수 있다. 예를 들어, 상기 검색 요청 신호의 수신 시점을 기준으로 기 지정된 개수의 프레임들을 소정 기준에 따라 평가할 수 있다. 예를 들어, 상기 검색 요청 신호의 수신 시점을 기준으로 기 지정된 개수의 후진 방향 프레임들을 소정 기준에 따라 평가할 수도 있다. 상기 후진 방향 프레임은, 상기 검색 요청 신호의 수신 시점에 표시 된 프레임보다 먼저 표시된 프레임이다.According to an exemplary embodiment, frames within a predetermined range may be evaluated according to a predetermined criterion based on a reception time of the search request signal, and a frame having the highest evaluation value may be extracted as the search target still image. For example, it is possible to evaluate a predetermined number of frames based on a reception time of the search request signal according to a predetermined criterion. For example, a predetermined number of backward direction frames may be evaluated according to a predetermined reference based on a reception timing of the search request signal. The backward direction frame is a frame displayed before the frame displayed at the time of receiving the search request signal.
또한, 예를 들어, 상기 검색 요청 신호의 수신 시점의 프레임이 속한 장면(scene)과 동일한 장면에 속하는 프레임들을 소정 기준에 따라 평가할 수도 있다. 도 6에 도시된 것과 같이 프레임 C에서 프레임 D로 넘어 가는 시점에 장면 전환이 되었다면, 프레임 D, E, F가 평가 대상이 될 것이다.Also, for example, frames belonging to the same scene as the scene to which the frame at the time of reception of the search request signal belongs may be evaluated according to a predetermined criterion. As shown in FIG. 6, if the scene change occurs at the time point from the frame C to the frame D, the frames D, E, and F will be evaluated.
동영상에서 장면을 인식하거나, 장면 전환을 인식하는 것은 동영상 분석(video analytics) 분야에서 널리 알려진 기술이므로, 본 명세서에서 이 기술에 대한 자세한 설명은 생략한다. 다만, 특허 문헌 US20140093164A1, US20140064552A1, US20140037216A1, US20140037215A1, US20130322690A1, US20130265434A1, US20120243740A1, US20120218434A1, US20120169937A1, US20120162416A1, US20090022400A1, US20080310727A1 중의 적어도 하나를 참조할 수 있다.Recognizing a scene in a movie or recognizing a scene transition is a well-known technique in the field of video analytics, so a detailed description of this technique is omitted herein. However, at least one of the patent documents US20140093164A1, US20140064552A1, US20140037216A1, US20140037215A1, US20130322690A1, US20130265434A1, US20120243740A1, US20120218434A1, US20120169937A1, US20120162416A1, US20090022400A1, US20080310727A1 can be referred to.
상기 프레임을 평가하는 소정의 기준은, 각 프레임 안에서 인식된 객체의 수를 기준으로 각 프레임에 대한 평가치를 산출하는 것일 수 있다. 예를 들어, 도 6에서 프레임 A 내지 프레임 F가 평가 대상이고, 순서대로 각 프레임 내에서 인식 된 객체의 수가 1, 0, 3, 5, 3, 3이라면, 프레임 D가 상기 검색 대상 정지 영상으로 추출 될 수 있다.The predetermined criterion for evaluating the frame may be to calculate an evaluation value for each frame based on the number of objects recognized in each frame. For example, if frames A to F are evaluated in Fig. 6 and the number of objects recognized in each frame is 1, 0, 3, 5, 3, and 3 in order, Can be extracted.
상기 프레임을 평가하는 소정의 기준은, 각 프레임 안에서 인식된 로고(logo) 또는 상표의 수일 수도 있다. 즉, 평가 대상 프레임 중, 가장 많은 로고 또는 상표가 인식 된 프레임이 상기 검색 대상 정지 영상으로 추출 될 수 있다. 이 경우, 동영상 내에서 노출 되는 상표 또는 로고에 대한 검색 정확도를 높일 수 있는 효과가 있다.The predetermined criteria for evaluating the frame may be the number of logos or trademarks recognized within each frame. That is, a frame in which the largest number of logos or trademarks are recognized among the evaluation target frames may be extracted as the search target still image. In this case, the search accuracy of the trademark or logo exposed in the video can be enhanced.
다른 실시예에 따르면, 둘 이상의 프레임들이 각각 검색 대상 정지 영상으로 추출 될 수 있다. 예를 들어, 바로 인접한 제1 프레임 및 제2 프레임에 대하여 각각 객체 인식을 수행하여 제1 프레임에서 객체 A, B, C가 인식되고, 제2 프레임에서 객체 B, C, D가 인식된 경우, 검색 대상 객체로 A, B, C, D가 모두 선정 될 수 있다. 이 때, 검색 대상 정지 영상으로 추출 되는 대상은, 상기 검색 요청 신호의 수신 시점의 프레임이 속한 장면(scene)과 동일한 장면에 속하는 프레임들으로 결정될 수 있다. 도 6에 도시된 것과 같이 프레임 C에서 프레임 D로 넘어 가는 시점에 장면 전환이 되었다면, 프레임 D, E, F가 모두 검색 대상 정지 영상으로서 추출 될 것이고, 프레임 D, E, F에서 인식된 모든 객체가 검색 대상이 될 것이다.According to another embodiment, two or more frames may be extracted as search target still images, respectively. For example, if objects A, B, and C are recognized in the first frame by performing object recognition on the immediately adjacent first frame and second frame, and objects B, C, and D are recognized in the second frame, A, B, C, and D can be selected as objects to be searched. At this time, the target extracted as the search target still image may be determined as frames belonging to the same scene as the scene to which the frame at the reception time of the search request signal belongs. 6, all the frames D, E, and F will be extracted as the search target still images, and all the objects recognized in the frames D, E, and F will be extracted Will be the search target.
또 일 실시예에 따르면, 상기 검색 요청 신호의 수신 시점이 장면 전환(scene change) 이후 기 지정된 프레임 이내의 프레임인 경우, 상기 장면 전환 전의 장면에 속한 프레임 중 적어도 일부 프레임의 정지 영상을 추출할 수 있다. 예를 들어, 프레임 D 표시 시점에 검색 요청 신호가 입력 되었다면, 장면 Y가 아닌 장면 X에 포함되는 프레임 중 적어도 일부가 검색 대상 정지 영상으로 선정 될 수 있다. 사용자의 조작이 다소 느릴 수 있음을 전제할 때, 장면이 전환되자 마자 전환 된 후의 장면에서 관심이 있는 객체를 발견하기는 쉽지 않기 때문이다. 따라서, 장면 전환으로부터 기 지정된 프레임 수 이내에 검색 요청 신호가 수신되는 경우, 장면 전환 전의 장면에 관심이 있는 객체가 있었다고 보고 본 실시예와 같이 장면 전환 전의 장면에 속한 프레임 중 적어도 일부에서 검색 대상 객체를 인식할 수 있다.According to an embodiment, when the reception time of the search request signal is a frame within a designated frame after a scene change, a still image of at least a part of frames belonging to a scene before the scene change can be extracted have. For example, if a search request signal is input at the time of displaying the frame D, at least a part of the frames included in the scene X other than the scene Y may be selected as a search target still image. Assuming that the user's manipulation may be somewhat slow, it is not easy to find objects of interest in the scene after the scene is switched. Accordingly, when a search request signal is received within a predetermined number of frames from the scene change, it is assumed that there is an object of interest in the scene before scene change. In this embodiment, at least a part of the frames belonging to the scene before scene change Can be recognized.
도 7은 본 발명의 다른 실시예에 따른 동영상 내 객체 관련 정보 검색 방법의 순서도이다. 본 실시예는, 도 1 내지 도 6을 참조하여 설명한 것과는 달리 이미지 형태의 검색 쿼리를 검색 서버(20)에 제공하지 않고, 텍스트 형태의 검색 쿼리를 검색 서버(20)에 제공한다.FIG. 7 is a flowchart of a method for searching for object related information in a moving picture according to another embodiment of the present invention. The present embodiment provides the
동영상 재생 장치(10)가 검색 요청 신호를 수신하고(S100), 재생 중인 동영상에서 검색 대상 정지 영상을 추출한다(S200). 그 다음으로 동영상 재생 장치(10)가 검색 대상 정지 영상에서 문자열 또는 로고를 인식한다(S700). 일부 실시예에서, 문자열 또는 로고를 인식하는 동작은 동영상 재생 장치(10)와 네트워크를 통해 연결된 서비스 서버에 의하여 수행 될 수도 있다.The moving
검색 대상 정지 영상에서 문자열을 인식하는 것은, 널리 알려진 이미지 내 텍스트 인식 기술이 활용 될 수 있다. 검색 대상 정지 영상에서 로고를 인식하는 것은 기 저장된 로고 사전에 포함된 로고로 한정 될 수 있다. 이 경우, 상기 로고 사전에 포함된 로고들의 특징 값(feature value)이 미리 저장될 수 있고, 상기 특징 값을 이용하여 검색 대상 정지 영상에서 상기 로고 사전에 포함된 로고를 인식할 수 있다. 상기 로고 사전에는 각 로고에 대응하는 텍스트가 매칭 되어 있을 수 있다.For recognizing a character string in a still image to be searched, widely known image text recognition technology can be utilized. Recognizing the logo in the still image to be searched may be limited to the logo included in the pre-stored logo dictionary. In this case, a feature value of the logos included in the logo dictionary can be stored in advance, and the logo included in the logo dictionary can be recognized from the search target still image using the feature value. In the logo dictionary, text corresponding to each logo may be matched.
그 다음으로, 상기 인식 된 로고에 대응하는 텍스트 또는 상기 인식 된 텍스트가 쿼리로 생성 되고(S800), 상기 쿼리를 이용한 검색이 수행된다(S900), 검색 결과는 동영상 재생 장치(10)에 표시 될 수 있다. 상기 쿼리는 널리 알려진 텍스트 기반 검색 서버에 제공 될 수 있다.Next, the text corresponding to the recognized logo or the recognized text is generated as a query (S800), and a search using the query is performed (S900). The search result is displayed on the
도 8은 본 발명의 몇몇 실시예들에 따른 검색 결과 표시 방법을 설명하기 위한 개념도이다.8 is a conceptual diagram for explaining a search result display method according to some embodiments of the present invention.
예를 들어, 특정 장면(100)이 표시되는 시점에 사용자의 조작에 의하여 검색이 요청 된 경우, 특정 장면(100)에 포함된 객체들이 인식 될 수 있고(200), 그 결과가 동영상에 오버레이 될 수 있는 점(300)이 도시 되고 있다.For example, when a search is requested by a user's operation at a time when a
그런데, 본 발명의 실시예들은 검색 요청을 수신할 때, 검색 대상을 가리키는 어떠한 정보도 제공 받지 않기 때문에, 검색 결과가 사용자가 원하는 것이 아닐 수 있다. 따라서, 상기 인식된 각각의 객체를 가리키는 체크 리스트(310)를 상기 동영상에 오버레이 하고, 검색 결과 표시 영역(320)에는 체크 리스트(310)에 체크된 객체에 대한 검색 결과를 선별하여 표시하여 사용자 편의성을 증대시킬 수 있다.However, since the embodiments of the present invention do not receive any information indicating the search target when receiving the search request, the search result may not be what the user desires. Accordingly, a
지금까지 도 1 내지 도 8을 참조하여 설명된 본 발명의 실시예들에 따른 동영상 내 객체 관련 정보 검색 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터가 읽을 수 있는 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록 된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.The object-related information retrieval method according to the embodiments of the present invention described above with reference to FIGS. 1 to 8 can be implemented by a computer-readable code on a computer-readable medium. The computer-readable medium may be, for example, a removable recording medium (CD, DVD, Blu-ray disc, USB storage device, removable hard disk) have. The computer program recorded on the computer-readable recording medium may be transmitted to another computing device via a network such as the Internet and installed in the other computing device, thereby being used in the other computing device.
또한, 본 발명의 또 다른 실시예에 따르면, 지금까지 도 1 내지 도 8을 참조하여 설명된 본 발명의 실시예들에 따른 동영상 내 객체 관련 정보 검색 방법의 각 단계를 실시하도록 하는 컴퓨터 프로그램이 제공 될 수 있다. 상기 컴퓨터 프로그램은 컴퓨터, 스마트폰 등 연산 수단이 구비된 장치와 결합하여 실행 될 수 있으며, 컴퓨터가 읽을 수 있는 매체 상에 기록될 수 있다.According to still another embodiment of the present invention, there is provided a computer program for causing each step of a method for searching for object related information in a moving picture according to embodiments of the present invention described above with reference to Figs. 1 to 8 . The computer program may be executed in combination with an apparatus having a computing means such as a computer, a smart phone, or the like, and may be recorded on a computer-readable medium.
이하, 본 발명의 또 다른 실시예에 따른 동영상 재생 장치(10)의 구성 및 동작을 설명한다. 도 9는 본 발명의 또 다른 실시예에 따른 동영상 재생 장치의 제1 블록 구성도로써, 검색 대상 객체에 대한 인식을 외부 장치에 요청하는 장치의 구성도이다. 도 9에 도시된 바와 같이, 본 실시예에 따른 동영상 재생 장치는 디스플레이, 사용자 입력 수신부, 정지 영상 추출부, 검색 대상 영상 송신부, 검색 결과 표시부를 포함할 수 있다.Hereinafter, the configuration and operation of the moving
디스플레이(11)는 스토리지(12)에 저장된 동영상 컨텐츠를 재생하거나, 통신부(18)를 통해 스트리밍 서버로부터 제공 받는 동영상 컨텐츠 스트림을 디스플레이 제어부(13)의 제어에 따라 재생한다.The
디스플레이(11)에 동영상이 재생 되는 도중, 사용자 입력 수신부(17)가 동영상 재생 중 검색 대상이 지정되지 않은 검색 요청 신호를 수신하면, 정지 영상 추출부(14)가 상기 동영상의 정지 영상 중 상기 검색 요청 신호의 수신 시점의 프레임을 기준으로 하여 검색 대상 정지 영상을 추출한다. 상기 검색 대상 정지 영상의 추출 방법에 대하여는 도 6을 참조하여 자세히 설명한 바 있다.When the user
사용자 입력 수신부(17)는, 예를 들어 리모컨 신호 수신기 또는 터치 디스플레이일 수 있다.The user
검색 대상 영상 송신부(16)는 정지 영상 추출부(14)에 의하여 추출된 정지 영상을 통신부(18)를 통하여 외부의 서버에 송신한다. 상기 외부의 서버는, 도 4 내지 도 5를 참조하여 설명한 서비스 서버일 수 있다.The search target
검색 결과 표시부(15)는 상기 서비스 서버에 의하여 상기 검색 대상 영상에서 인식된 객체에 대한 검색 결과를 수신하고, 상기 검색 결과가 디스플레이(11)에 표시되도록 한다.The search
도 10은 본 발명의 또 다른 실시예에 따른 동영상 재생 장치의 제2 블록 구성도이다. 도 10에 도시된 동영상 재생 장치(10)는 자체적으로 검색 대상 정지 영상에서 객체를 인식하는 점에서 도 9에 도시된 동영상 재생 장치와 동작 및 구성이 상이하다.10 is a block diagram of a second moving picture reproducing apparatus according to another embodiment of the present invention. The moving
디스플레이(11)는 스토리지(12)에 저장된 동영상 컨텐츠를 재생하거나, 통신부(18)를 통해 스트리밍 서버로부터 제공 받는 동영상 컨텐츠 스트림을 디스플레이 제어부(13)의 제어에 따라 재생한다.The
디스플레이(11)에 동영상이 재생 되는 도중, 사용자 입력 수신부(17)가 동영상 재생 중 검색 대상이 지정되지 않은 검색 요청 신호를 수신하면, 정지 영상 추출부(14)가 상기 동영상의 정지 영상 중 상기 검색 요청 신호의 수신 시점의 프레임을 기준으로 하여 검색 대상 정지 영상을 추출한다.When the user
객체 인식부(19)는 정지 영상 추출부(14)에 의하여 추출 된 검색 대상 정지 영상에서 객체를 인식한다. 검색 대상 영상 송신부(16)는 객체 인식부(19)에 의하여 인식 된 객체의 영역 크로핑(cropping) 하여 이미지 검색 서버에 통신부(18)를 통해 제공함으로써, 인식 된 각각의 객체에 대한 관련 정보 검색이 수행 될 수 있도록 한다.The
검색 결과 표시부(15)는 상기 서비스 서버에 의하여 상기 검색 대상 영상에서 인식된 객체에 대한 검색 결과를 수신하고, 상기 검색 결과가 디스플레이(11)에 표시되도록 한다.The search
본 발명의 또 다른 실시예에 따른 동영상 재생 장치 구성 및 동작에 대하여 설명한다. 본 실시예에 따른 동영상 재생 장치는 시스템 버스, 프로세서, 메모리(예를 들어, Random Access Memory), 스토리지, 외부 장치와의 통신을 위한 네트워크 인터페이스를 포함할 수 있다. 도 1 내지 도 8을 참조하여 설명된 본 발명의 실시예들에 따른 동영상 내 객체 관련 정보 검색 방법을 구현하는 컴퓨터 프로그램 코드는 상기 스토리지에 저장되어 상기 메모리에 로드 되고 상기 프로세서에 의해 실행될 수 있다.A configuration and operation of a moving picture reproducing apparatus according to still another embodiment of the present invention will be described. The moving picture reproducing apparatus according to the present embodiment may include a system bus, a processor, a memory (e.g., Random Access Memory), a storage, and a network interface for communication with an external device. The computer program code embodying the method for retrieving information related to an object in a moving picture according to the embodiments of the present invention described with reference to Figs. 1 to 8 can be stored in the storage, loaded into the memory, and executed by the processor.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.
Claims (14)
상기 추출된 정지 영상에 포함된 객체를 인식하는 단계;
상기 인식된 객체에 대한 정보를 검색하기 위하여 상기 인식된 객체에 대한 검색 요청을, 검색 서버에 송신하는 단계; 및
상기 검색 요청에 대한 응답으로 검색 결과를 수신 하고, 상기 검색 결과를 표시하는 단계를 포함하는,
동영상 내 객체 관련 정보 검색 방법.Extracting a still image of the moving image in response to receiving a search request signal for which no search target is designated during moving image playback;
Recognizing an object included in the extracted still image;
Transmitting a search request for the recognized object to a search server to search for information about the recognized object; And
Receiving a search result in response to the search request, and displaying the search result;
How to retrieve information about an object in a movie.
상기 동영상은 상기 검색 서버에 송신되는 쿼리를 도출하기 위한 검색 보조 정보를 가지지 않은 것인,
동영상 내 객체 관련 정보 검색 방법.The method according to claim 1,
Wherein the moving picture has no search assistance information for deriving a query transmitted to the search server,
How to retrieve information about an object in a movie.
상기 정지 영상을 추출하는 단계는,
상기 검색 요청 신호의 수신 시점을 기준으로 기 지정된 범위 내의 프레임들을 소정 기준에 따라 평가하는 단계; 및
상기 평가 결과 가장 높은 평가치를 가지는 프레임을 상기 정지 영상으로 추출하는 단계를 포함하는,
동영상 내 객체 관련 정보 검색 방법.The method according to claim 1,
Wherein the extracting the still image comprises:
Evaluating frames within a predetermined range based on a reception time point of the search request signal according to a predetermined criterion; And
And extracting a frame having the highest evaluation value as the still image as the evaluation result.
How to retrieve information about an object in a movie.
상기 소정 기준은,
각 프레임 안에서 인식된 객체의 수를 기준으로 각 프레임에 대한 평가치를 산출하는 것인,
동영상 내 객체 관련 정보 검색 방법.The method of claim 3,
The predetermined criterion may include:
Wherein an evaluation value for each frame is calculated based on the number of objects recognized in each frame,
How to retrieve information about an object in a movie.
상기 소정 기준은,
각 프레임 안에서 인식된 로고(logo) 또는 상표의 수를 기준으로 각 프레임에 대한 평가치를 산출하는 것인,
동영상 내 객체 관련 정보 검색 방법.The method of claim 3,
The predetermined criterion may include:
Wherein an evaluation value for each frame is calculated based on the number of logos or trademarks recognized in each frame,
How to retrieve information about an object in a movie.
상기 기 지정된 범위 내의 프레임들을 소정 기준에 따라 평가하는 단계는,
상기 기 지정된 범위 내의 프레임 중, 상기 검색 요청 신호의 수신 시점의 장면(scene)과 동일한 장면에 속하는 프레임들을 소정 기준에 따라 평가하는 단계를 포함하는,
동영상 내 객체 관련 정보 검색 방법.The method of claim 3,
Wherein the step of evaluating the frames within the pre-
And evaluating frames belonging to the same scene as a scene at the reception timing of the search request signal, according to a predetermined criterion, among the frames within the pre-
How to retrieve information about an object in a movie.
상기 정지 영상을 추출하는 단계는,
상기 검색 요청 신호의 수신 시점을 기준으로 기 지정된 범위 내의 프레임들을 모두 상기 정지 영상으로 추출하는 단계를 포함하고,
상기 객체를 인식하는 단계는,
상기 추출된 모든 정지 영상에 대하여, 정지 영상 내 객체를 인식하는 단계; 및
각 정지 영상에 대하여 인식된 객체를 취합하는 단계를 포함하고,
상기 검색 서버에 송신하는 단계는,
상기 취합된 객체에 대한 검색 요청을, 검색 서버에 송신하는 단계를 포함하는,
동영상 내 객체 관련 정보 검색 방법.The method according to claim 1,
Wherein the extracting the still image comprises:
Extracting all frames within a predetermined range based on a reception time point of the search request signal as the still image,
The step of recognizing the object may comprise:
Recognizing an object in the still image for all the extracted still images; And
Collecting the recognized object for each still image,
Wherein the transmitting to the search server comprises:
And sending a search request for the aggregated object to a search server.
How to retrieve information about an object in a movie.
상기 기 지정된 범위 내의 프레임들을 모두 상기 정지 영상으로 추출하는 단계는,
상기 기 지정된 범위 내의 프레임 중, 상기 검색 요청 신호의 수신 시점의 장면(scene)과 동일한 장면에 속하는 프레임들을 모두 상기 정지 영상으로 추출하는 단계를 포함하는,
동영상 내 객체 관련 정보 검색 방법.8. The method of claim 7,
Wherein the step of extracting all the frames within the pre-
And extracting, as the still image, frames belonging to the same scene as the scene of the reception of the search request signal among the frames within the pre-designated range.
How to retrieve information about an object in a movie.
상기 정지 영상을 추출하는 단계는,
상기 검색 요청 신호의 수신 시점이 장면 전환(scene change) 이후 기 지정된 프레임 이내의 프레임인 경우, 상기 장면 전환 전의 장면에 속한 프레임 중 적어도 일부 프레임의 정지 영상을 추출하는 단계를 포함하는,
동영상 내 객체 관련 정보 검색 방법.The method according to claim 1,
Wherein the extracting the still image comprises:
And extracting a still image of at least a part of frames belonging to a scene before the scene change if the reception time of the search request signal is a frame within a designated frame after a scene change.
How to retrieve information about an object in a movie.
상기 검색 서버에 송신하는 단계는,
상기 추출된 정지 영상 중, 상기 인식된 객체의 영역을 크로핑(cropping) 하는 단계;
상기 크로핑된 객체 이미지를 상기 검색 서버에 송신하는 단계를 포함하는,
동영상 내 객체 관련 정보 검색 방법.The method according to claim 1,
Wherein the transmitting to the search server comprises:
Cropping an area of the recognized object among the extracted still images;
And transmitting the cropped object image to the search server.
How to retrieve information about an object in a movie.
상기 검색 결과를 표시하는 단계는,
상기 인식된 각각의 객체를 가리키는 체크 리스트를 상기 동영상에 오버레이 하는 단계; 및
상기 체크 리스트에 체크된 객체에 대한 검색 결과를 선별하여 표시하는 검색 결과 표시 영역을 상기 동영상에 오버레이 하는 단계를 포함하는,
동영상 내 객체 관련 정보 검색 방법.The method according to claim 1,
The step of displaying the search result includes:
Overlaying a checklist indicating each recognized object on the moving picture; And
And overlaying a search result display area for selectively displaying search results for the checked objects in the check list,
How to retrieve information about an object in a movie.
상기 추출된 정지 영상에 포함된 문자열 및 로고 중 적어도 하나의 객체를 인식하는 단계;
상기 인식된 객체를 이용하여 텍스트 쿼리를 생성하는 단계;
상기 텍스트 쿼리를, 검색 서버에 송신하는 단계; 및
상기 검색 요청에 대한 응답으로 검색 결과를 수신 하고, 상기 검색 결과를 표시하는 단계를 포함하는,
동영상 내 객체 관련 정보 검색 방법.Extracting a still image of the moving image in response to receiving a search request signal for which no search target is designated during moving image playback;
Recognizing at least one object among a character string and a logo included in the extracted still image;
Generating a text query using the recognized object;
Transmitting the text query to a search server; And
Receiving a search result in response to the search request, and displaying the search result;
How to retrieve information about an object in a movie.
검색 요청 신호를 수신하는 사용자 입력 수신부;
동영상 재생 중 검색 대상이 지정되지 않은 상기 검색 요청 신호를 제공 받는 것에 응답하여, 상기 동영상의 정지 영상을 추출하는 정지 영상 추출부;
상기 추출된 정지 영상을 서비스 서버에 송신하는 검색 대상 영상 송신부; 및
상기 서비스 서버에 의하여 상기 검색 대상 영상에서 인식된 객체에 대한 검색 결과를 수신하여, 상기 검색 결과가 상기 디스플레이에 표시되도록 제어하는 검색 결과 표시부를 포함하는,
동영상 재생 장치.A display for playing a moving picture;
A user input receiving unit for receiving a search request signal;
A still image extracting unit for extracting a still image of the moving image in response to receiving the search request signal for which no search target is designated during moving image playback;
A search target image transmitting unit for transmitting the extracted still image to a service server; And
And a search result display unit for receiving a search result for the object recognized in the search target image by the service server and controlling the display result to be displayed on the display,
Video playback device.
상기 사용자 입력 수신부는,
상기 검색 요청 신호의 입력으로부터 상기 검색 결과 표시부에 의한 검색 결과 표시까지 사용자로부터 추가 입력을 받지 않는,
동영상 재생 장치.14. The method of claim 13,
Wherein the user input receiver comprises:
Wherein the control unit does not receive any further input from the user from the input of the search request signal until the search result display unit displays the search result,
Video playback device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140120971A KR102206184B1 (en) | 2014-09-12 | 2014-09-12 | Method for searching information of object in video and video playback apparatus thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140120971A KR102206184B1 (en) | 2014-09-12 | 2014-09-12 | Method for searching information of object in video and video playback apparatus thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160031226A true KR20160031226A (en) | 2016-03-22 |
| KR102206184B1 KR102206184B1 (en) | 2021-01-22 |
Family
ID=55644714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140120971A KR102206184B1 (en) | 2014-09-12 | 2014-09-12 | Method for searching information of object in video and video playback apparatus thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102206184B1 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190087711A (en) * | 2018-01-17 | 2019-07-25 | 오드컨셉 주식회사 | Method, apparatus and computer program for pre-processing video |
| WO2019235820A1 (en) * | 2018-06-04 | 2019-12-12 | 삼성전자(주) | Display device and control method thereof |
| CN110909192A (en) * | 2019-11-20 | 2020-03-24 | 腾讯科技（深圳）有限公司 | Instant searching method, device, terminal and storage medium |
| KR102078417B1 (en) * | 2019-07-04 | 2020-04-07 | 최상규 | Method for supporting information retrieval and purchase of images based on images |
| KR20200068558A (en) * | 2018-12-05 | 2020-06-15 | 건국대학교 산학협력단 | Method of recommendating image and apparatuses performing the same |
| KR20210006661A (en) * | 2019-07-09 | 2021-01-19 | (사)한국애니메이션제작자협회 | Animaiton contents resource service system based on intelligent informatin technology |
| KR20210006662A (en) * | 2019-07-09 | 2021-01-19 | (사)한국애니메이션제작자협회 | Animaiton contents resource service system and method based on intelligent informatin technology |
| WO2021149924A1 (en) * | 2020-01-20 | 2021-07-29 | 주식회사 씨오티커넥티드 | Method and apparatus for providing media enrichment |
| WO2021092632A3 (en) * | 2021-02-26 | 2022-01-13 | Innopeak Technology, Inc. | Weakly-supervised text-based video moment retrieval via cross attention modeling |
| KR20220056287A (en) | 2020-10-27 | 2022-05-06 | 주식회사 엠아이제이 | A semantic image meta extraction and AI learning data composition system using ontology |
| EP4050497A1 (en) * | 2018-04-20 | 2022-08-31 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling the electronic device thereof |
| WO2022191671A1 (en) * | 2021-03-12 | 2022-09-15 | 삼성전자 주식회사 | Electronic apparatus and control method therefor |
| KR20220160316A (en) * | 2021-05-27 | 2022-12-06 | 네이버 주식회사 | Method for generating customized video based on objects and service server using the same |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090131811A (en) * | 2008-06-19 | 2009-12-30 | 주식회사 아카넷티비 | Method for supplying information of object in data broadcasting |
| KR20100118882A (en) | 2009-04-29 | 2010-11-08 | 주식회사 케이티 | Method and apparatus for providing interest object information |
| KR20110087637A (en) * | 2010-01-26 | 2011-08-03 | 엘지전자 주식회사 | Information providing apparatus and method thereof |
| KR20140044663A (en) * | 2012-10-05 | 2014-04-15 | 삼성전자주식회사 | Information retrieval method by using broadcast receiving apparatus with display device and the apparatus thereof |
| KR20140077535A (en) * | 2012-12-14 | 2014-06-24 | 주식회사 케이티 | apparatus using text included in reproduction screen of video contents and method thereof |
-
2014
- 2014-09-12 KR KR1020140120971A patent/KR102206184B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090131811A (en) * | 2008-06-19 | 2009-12-30 | 주식회사 아카넷티비 | Method for supplying information of object in data broadcasting |
| KR20100118882A (en) | 2009-04-29 | 2010-11-08 | 주식회사 케이티 | Method and apparatus for providing interest object information |
| KR20110087637A (en) * | 2010-01-26 | 2011-08-03 | 엘지전자 주식회사 | Information providing apparatus and method thereof |
| KR20140044663A (en) * | 2012-10-05 | 2014-04-15 | 삼성전자주식회사 | Information retrieval method by using broadcast receiving apparatus with display device and the apparatus thereof |
| KR20140077535A (en) * | 2012-12-14 | 2014-06-24 | 주식회사 케이티 | apparatus using text included in reproduction screen of video contents and method thereof |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021509201A (en) * | 2018-01-17 | 2021-03-18 | オ−ディーディー コンセプツ インク． | Video preprocessing methods, equipment and computer programs |
| WO2019143137A1 (en) * | 2018-01-17 | 2019-07-25 | 오드컨셉 주식회사 | Image pre-processing method, apparatus, and computer program |
| KR20190087711A (en) * | 2018-01-17 | 2019-07-25 | 오드컨셉 주식회사 | Method, apparatus and computer program for pre-processing video |
| EP4050497A1 (en) * | 2018-04-20 | 2022-08-31 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling the electronic device thereof |
| US11954150B2 (en) | 2018-04-20 | 2024-04-09 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling the electronic device thereof |
| WO2019235820A1 (en) * | 2018-06-04 | 2019-12-12 | 삼성전자(주) | Display device and control method thereof |
| KR20200068558A (en) * | 2018-12-05 | 2020-06-15 | 건국대학교 산학협력단 | Method of recommendating image and apparatuses performing the same |
| KR102078417B1 (en) * | 2019-07-04 | 2020-04-07 | 최상규 | Method for supporting information retrieval and purchase of images based on images |
| KR20210006661A (en) * | 2019-07-09 | 2021-01-19 | (사)한국애니메이션제작자협회 | Animaiton contents resource service system based on intelligent informatin technology |
| KR20210006662A (en) * | 2019-07-09 | 2021-01-19 | (사)한국애니메이션제작자협회 | Animaiton contents resource service system and method based on intelligent informatin technology |
| CN110909192A (en) * | 2019-11-20 | 2020-03-24 | 腾讯科技（深圳）有限公司 | Instant searching method, device, terminal and storage medium |
| WO2021149924A1 (en) * | 2020-01-20 | 2021-07-29 | 주식회사 씨오티커넥티드 | Method and apparatus for providing media enrichment |
| KR20220056287A (en) | 2020-10-27 | 2022-05-06 | 주식회사 엠아이제이 | A semantic image meta extraction and AI learning data composition system using ontology |
| WO2021092632A3 (en) * | 2021-02-26 | 2022-01-13 | Innopeak Technology, Inc. | Weakly-supervised text-based video moment retrieval via cross attention modeling |
| WO2022191671A1 (en) * | 2021-03-12 | 2022-09-15 | 삼성전자 주식회사 | Electronic apparatus and control method therefor |
| KR20220160316A (en) * | 2021-05-27 | 2022-12-06 | 네이버 주식회사 | Method for generating customized video based on objects and service server using the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102206184B1 (en) | 2021-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102206184B1 (en) | Method for searching information of object in video and video playback apparatus thereof | |
| US10219011B2 (en) | Terminal device and information providing method thereof | |
| US11340862B2 (en) | Media content playback during travel | |
| KR102290419B1 (en) | Method and Appratus For Creating Photo Story based on Visual Context Analysis of Digital Contents | |
| JP5651231B2 (en) | Media fingerprint for determining and searching content | |
| US10747423B2 (en) | User interface for media content playback | |
| KR102033189B1 (en) | Gesture-based tagging to view related content | |
| KR101700365B1 (en) | Method for providing media-content relation information, device, server, and storage medium thereof | |
| KR102306538B1 (en) | Apparatus and method for editing content | |
| US20090103887A1 (en) | Video tagging method and video apparatus using the same | |
| CN103403655A (en) | Contextual user interface | |
| US20170242554A1 (en) | Method and apparatus for providing summary information of a video | |
| US9558784B1 (en) | Intelligent video navigation techniques | |
| JP2013101431A (en) | Similar image search system | |
| US9564177B1 (en) | Intelligent video navigation techniques | |
| JP6090053B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2014522012A (en) | Visual search and recommended user interface and equipment | |
| JP2011107808A (en) | Device, method and program for recommending content | |
| US11941048B2 (en) | Tagging an image with audio-related metadata | |
| KR102592904B1 (en) | Apparatus and method for summarizing image | |
| JP6203188B2 (en) | Similar image search device | |
| TWI637347B (en) | Method and device for providing image | |
| KR20140044663A (en) | Information retrieval method by using broadcast receiving apparatus with display device and the apparatus thereof | |
| KR20180017424A (en) | Display apparatus and controlling method thereof | |
| US20140189769A1 (en) | Information management device, server, and control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |