WO2015075809A1 - 動画内情報検索システム、動画内情報検索プログラム - Google Patents

動画内情報検索システム、動画内情報検索プログラム Download PDF

Info

Publication number
WO2015075809A1
WO2015075809A1 PCT/JP2013/081492 JP2013081492W WO2015075809A1 WO 2015075809 A1 WO2015075809 A1 WO 2015075809A1 JP 2013081492 W JP2013081492 W JP 2013081492W WO 2015075809 A1 WO2015075809 A1 WO 2015075809A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
information
moving image
tag information
meta tag
Prior art date
Application number
PCT/JP2013/081492
Other languages
English (en)
French (fr)
Inventor
勝 福田
直幹 金森
Original Assignee
株式会社デルフィス・インタラクティブ
有限会社ドリームヴィジョン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デルフィス・インタラクティブ, 有限会社ドリームヴィジョン filed Critical 株式会社デルフィス・インタラクティブ
Priority to PCT/JP2013/081492 priority Critical patent/WO2015075809A1/ja
Publication of WO2015075809A1 publication Critical patent/WO2015075809A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors

Definitions

  • the object of the present invention is to provide an in-video information search system and an in-video information search program capable of displaying related information of an arbitrary image in a video.
  • the moving image information control apparatus disclosed in Patent Document 2 acquires and displays related information based on information on a designated portion that is recognized by designating an arbitrary portion in the displayed moving image.
  • a cursor is placed on a product displayed on a television screen and a click operation is performed, the product is enlarged and displayed, and information such as a price can be displayed.
  • the frame display device disclosed in Patent Document 4 generates a frame so as to follow the motion of a moving image, and displays the frame combined with the image. Clicking in the frame can display detailed information of the video in the frame along with the video.
  • the information providing system disclosed in Patent Document 5 superimposes and synchronizes a screen provided with a figure to be tracked on the object of the original image without editing the original movie.
  • JP 2008-17228 A Japanese Patent Laid-Open No. 9-152952 JP 2001-258011 A Japanese Patent Laid-Open No. 10-187737 JP 2011-87017 A
  • an object of the present invention is to provide an in-video information search system and an in-video information search program that can easily acquire information on a specific image in a video.
  • the present invention is connected to a search keyword input unit and a database server to search for a specific image in a video that matches or is related to the search keyword from a video list.
  • a control unit that acquires a time list of meta tag information; and a display unit that reproduces a moving image of the search keyword, wherein the control unit is stopped when the moving image on which the specific image is displayed is paused. It is an object of the present invention to provide an in-video information retrieval system that displays the meta tag information on the specific image in a screen and acquires and displays detailed information of the arbitrarily selected meta tag information.
  • the present invention provides the control unit, wherein the control unit is configured to display the specific image displayed on the screen of the display unit. It is an object to provide an in-video information search system comprising a handwriting input processing unit capable of registering handwritten data, which is a reduced amount of data related to the specific image input in step 1, in the database server.
  • the display unit is responsive to the presence or absence of the meta tag information existing during the reproduction of the moving image.
  • An object of the present invention is to provide an in-video information retrieval system characterized in that a display-changeable indicator is provided on the screen.
  • the present invention inputs a search keyword to a user terminal, connects the user terminal to a database server, and matches or relates to the search keyword from a video list.
  • a function of acquiring a time list of meta tag information of a specific image in a moving image, a function of reproducing a moving image of the search keyword on the display unit of the user terminal, and the moving image in which the specific image is displayed is paused.
  • meta tag information relating to a specific image in a moving image can be easily provided without editing the original moving image. Further, since the data is added to the still screen, accurate information such as position information can be registered.
  • meta tag information is displayed during pausing without displaying meta tag information during video playback, it is not necessary to track images etc. in the video, and data does not become heavy and no load is applied during video playback .
  • the handwritten data is stored in a simplified manner, the amount of data can be reduced.
  • FIG. 1 is a schematic configuration diagram illustrating an overall configuration of an in-video information search system according to the present invention. It is a schematic block diagram of a control part. It is a flowchart of the information search program in a moving image. It is a flowchart of the information search program in a moving image. It is explanatory drawing of the display screen at the time of animation reproduction
  • the object of the moving image of the present invention is a moving image recorded on a recording medium such as a DVD or BlueRay in addition to a moving image distributed on the WEB.
  • FIG. 1 is a schematic configuration diagram showing the overall configuration of the in-video information retrieval system of the present invention.
  • the overall configuration of the in-video information search system 10 of the present invention is a configuration including a user terminal 20, a server, and a network 12.
  • the user terminal 20 is a mobile communication device, a personal computer, a web server, or the like that executes the in-video information search program of the present invention.
  • the server can be connected to the user terminal 20 via the network 12.
  • the servers of this embodiment are the database server 14 and the moving image server 16.
  • the database server (DB server) 14 provides meta tag information to the user, and stores various types of meta tag information.
  • the database server 14 can also store meta tag information uploaded from the user terminal 20.
  • the meta tag information of the present invention is various kinds of information indicating the contents of the moving image content.
  • Such meta tag information is associated with a time axis of a moving image, and is created for each moving image to create a database so that information can be searched and information extracted.
  • the moving image server 16 is a server that distributes moving images.
  • the network 12 is a wired or wireless line connecting the user terminal 20 and the server, the Internet, or the like.
  • the user terminal 20 acquires a time list of moving images that match the search keyword from the input unit 22 for searching for moving images, the communication unit 24 that can be connected to the database server 14, and the moving image list of the database server 14.
  • a control unit 30, a display unit 26 that reproduces a moving image of the search keyword, and a storage unit 28 are provided.
  • the input unit 22 is a keyboard, mouse, touch pad, or the like of a user terminal that can input search keywords, moving image sources, character information such as data input, image clicks, screen taps, and the like.
  • the control unit 30 is for executing an in-video information search program.
  • the display unit 26 is a display capable of reproducing moving images and the like.
  • the display unit 26 includes an indicator.
  • the indicator is an indicator lamp whose display can be changed according to the presence or absence of meta tag information of a specific image. With the indicator having such a configuration, the user can recognize the presence / absence of meta tag information of a specific image during moving image reproduction.
  • the communication unit 24 communicates with the server via the network 12. For example, the communication unit 24 transmits a control signal of the control unit 30 according to the input of the input unit 22 to the server, and outputs meta tag information transmitted from the server to the control unit 30.
  • the storage unit 28 stores a program and the like necessary for the control unit 30 to perform processing.
  • FIG. 2 is a schematic diagram of the configuration of the control unit. As illustrated, the control unit 30 obtains meta tag information by receiving support from the input unit 22 and connecting to the database server 14 and displays the processing result on the display unit 26.
  • the video search unit 32 connects to the database server 14 and acquires a list of videos (various WEB videos, DVD, BlueRay) having meta tag information that matches or relates to the search keyword. To do. At the same time, it connects to the moving image server 16 to acquire a list of moving images searched from the search keyword.
  • the video is a video searched from the database server 14, it is a video that has been pre-tagged with meta tag information. get.
  • the video is retrieved from the video server 16 serving as an external server, it is connected to the database server 14 to determine whether or not there is video information that matches all or part of the content of the video. Inquire.
  • a time list of the movie registered in advance is acquired.
  • a time list is acquired as follows. For example, assume that the selected moving image is A, and a moving image including A is B. Note that A and B have a partially matching relationship, and the time list of video B is registered in advance. When the moving image A coincides with a second to a second of the time list of the moving image B, a second to a second of the time list for the moving image B are acquired. Then, when the moving image A is reproduced, it can be matched by subtracting a second from all the time codes of the moving image B, and this becomes the time list of the moving image A.
  • Such a video search unit 32 can search the video server 16 or the database server 14, and when a search keyword related to an image is input from the input unit 22, the video search unit 32 is connected to the video server 16 and the corresponding video is searched. Search for. It is also connected to the database server 14 and compared with keywords in the time list. Create a list of search results.
  • the search result processing unit 33 displays the moving image list on the screen of the display unit 26 as shown in FIG. Then, each moving picture displayed in the list is displayed so that it can be seen whether or not the meta tag information has already been added (Meta in FIG. 11). Thereby, the specific image in the moving image regarding a search keyword can be extracted. Further, it is possible to easily search for information on keywords from meta tag information registered on the database server 14.
  • the moving image reproduction processing unit 34 causes the display unit 26 to reproduce the moving image acquired by the moving image search unit 32. In addition, the moving image reproduction processing unit 34 displays an indicator whose display can be changed according to the presence or absence of meta tag information on the screen of the display unit 26 based on the acquired time list.
  • the video still processing unit 36 performs a process of pausing the video being played back.
  • the target display processing unit 38 determines whether or not the search keyword and the current video can be matched with the time list after the video is paused. As a result, when time list matching is possible, processing for connecting to the database server 14 to acquire meta tag information of an image existing on the paused screen and displaying the meta tag information of the image on the screen is performed. Do. On the other hand, when the matching cannot be performed, the meta tag information of the specific image in the moving image does not exist, and a process of displaying nothing is performed.
  • the handwriting output processing unit 39 calls the handwritten data registered in the database server 14 by the handwriting input processing unit 44 described later. Then, the handwriting output processing unit 39 reads a plurality of coordinates included in the handwriting array and plots them on x and y coordinates. Then draw a line connecting the coordinates in time series. Such processing is performed for array storage, and handwritten data is reproduced on the display screen.
  • Each coordinate value is stored not as an absolute coordinate but as a percentage (relative coordinate) with respect to the screen to be displayed. For this reason, it can display on the moving image from which a size differs according to the screen to display.
  • the composition processing unit 40 calculates relative coordinates at which the coordinates of the meta tag information can be displayed with the actual screen size, and displays the meta tag information and a specific range (a simple graphic indicating a selected area of the specific image) on the screen. Is displayed on the screen.
  • the detailed information processing unit 42 displays the detailed information of the specific image acquired by the target display processing unit 38 connecting to the database server 14. get.
  • the composition processing unit 40 calculates relative coordinates that can display the coordinates of the detailed information in the actual screen size.
  • the composition processing unit 40 causes the display unit 26 to display detailed information on the screen, for example, a pop-up screen or a layer display screen that can be switched for each information.
  • the handwriting input processing unit 44 is a processing unit that allows the user to input handwritten data such as comments about a specific image by overwriting. Specifically, the user pauses the moving image being displayed on which the specific image is displayed, and inputs handwritten data such as handwritten characters, diagrams, and illustrations from the input unit 22.
  • the handwriting input processing unit 44 is connected to the database server 14 and stores handwritten data such as characters, diagrams, and illustrations input by handwriting with a reduced data amount. At this time, the handwritten data of the present invention does not apply an image format such as a bitmap having a large data amount.
  • FIG. 12 is an explanatory diagram for reducing the weight of handwritten data by the handwriting input processing unit.
  • the current coordinate on the XY coordinate axis is set to coordinate 0 (x0, y0)
  • the previous coordinate is set to coordinate 1 (x1, y1)
  • the previous coordinate is set to coordinate 2 ( x2, y2)
  • the respective times are t0, t1, and t2.
  • the angle between the line segment connecting coordinates 2 (x2, y2) and coordinate 1 (x1, y1) and the X axis is ⁇ 1, and the line segment connecting coordinates 1 (x1, y1) and coordinates 0 (x0, y0) And the angle between the X axis and the X axis is ⁇ 2.
  • the difference between ⁇ 1 and ⁇ 2 is ⁇ , and the threshold for the difference ⁇ is a variable ⁇ ′.
  • the threshold for the difference ⁇ is a variable ⁇ ′.
  • FIG. 13 is an explanatory diagram for reducing the weight of handwritten data by the handwriting input processing unit.
  • ⁇ ⁇ ′ coordinate 1 is not stored.
  • the coordinate is a straight line, and even if the space between the coordinates is omitted, it can be determined that the line is a straight line. Therefore, the coordinate between the start point and the end point is not stored.
  • a handwritten data input unit of the present invention when the value of the variable ⁇ ′ decreases, the number of coordinates of the handwritten data becomes dense and the amount of data increases. On the other hand, when the value of the variable ⁇ ′ increases, the number of coordinates of the handwritten data is simplified and the amount of data can be reduced. Note that the value of the variable ⁇ ′ and the coordinate acquisition interval (acquisition time) can be arbitrarily changed. Thereby, the compression rate of data can be changed.
  • a handwriting input processing unit 44 a user who is watching a moving image can input a comment by handwriting by overwriting. After the registration of the handwritten data, the handwritten output processing unit 39 can display the handwritten data when reproducing the moving image.
  • the composition processing unit 40 calculates relative coordinates at which the coordinates of the meta tag information can be displayed with the actual screen size, and displays the handwritten data on the screen of the display unit 26 on the screen.
  • FIG. 10 For example, a search keyword such as a moving image URL serving as a moving image source is input from the input unit 22 of the user terminal 20 (step 1).
  • the moving image search unit 32 of the control unit 30 is connected to the database server 14 and the moving image server 16 via the network 12 by the communication unit 24 (step 2).
  • the moving image search unit 32 connects to the database server 14 and acquires a list of moving images having meta tag information that matches or relates to the search keyword.
  • it connects to the moving image server 16 to obtain a list of moving images searched from the search keyword.
  • the search result processing unit 33 displays the moving image list on the screen of the display unit 26 (step 3). Then, it is determined whether or not the same moving image as the search keyword exists (step 4).
  • Step 5 a time list of the movie registered in advance is acquired.
  • a time list of a partially matching portion of the moving image including the selected moving image is acquired as described above.
  • the list is created, and related moving images based on the meta tag information are also put on the list. If there is a moving image already tagged with the meta tag information by writing handwritten input data, which will be described later, by the user, this moving image can be preferentially displayed at the top.
  • Step 6 Select the best video from the list of videos. For example, when there is a moving image already tagged with meta tag information, the moving image can be preferentially selected. Thereafter, the same operations as those in step 5 and thereafter are performed.
  • the moving image reproduction processing unit 34 causes the display unit 26 to reproduce the moving image of the search keyword acquired by the moving image search unit 32 (step 7).
  • the moving image reproduction processing unit 34 displays an indicator 27 whose display can be changed on the screen of the display unit 26 based on the presence / absence of meta tag information based on the timeline acquired by the moving image search unit 32 (step 8).
  • the moving image reproduction processing unit 34 can display the timeline 50 on the screen of the display unit 26.
  • the timeline 50 is configured to display a plurality of time lists 52 of specific images in time series.
  • the pointer 54 moves from the left to the right of the screen as time elapses, and position information at the time of moving image reproduction in the entire moving image can be recognized. A location where the pointer 54 and the time list 52 intersect indicates that meta tag information of the specific image being reproduced exists.
  • the indicator 27 is changed and displayed, such as lighting and blinking.
  • the video still processing unit 36 pauses the video being played back. Processing is performed (step 9).
  • the target display processing unit 38 determines whether or not the search keyword and the current image can be matched with the current image after the moving image is paused (step 10). As a result, if time list matching is possible, the database server 14 is connected (step 11), and the meta tag information of the specific image existing on the paused screen is acquired (step 12). On the other hand, when the matching cannot be performed, the meta tag information of the specific image in the moving image does not exist, and a process of displaying nothing is performed.
  • the compositing processing unit 40 calculates relative coordinates at which the coordinates of the meta tag information can be displayed in the actual screen size (step 13), and the simple information of the meta tag information 60 and the specific range 62 are displayed on the screen as shown in FIG. It is displayed on the screen of the display unit 26 (step 14).
  • the target display processing unit 38 Acquires the detailed information of the specific image acquired by connecting to the database server 14. Thereafter, it is determined whether there is handwritten data in the pause screen (step 16).
  • the handwritten output processing unit 39 connects to the database server 14 and calls the registered handwritten data.
  • the handwriting output processing unit 39 reads a plurality of coordinates included in the handwritten arrangement and plots them on x and y coordinates. Then draw a line connecting the coordinates in time series. Such processing is performed for array storage, and handwritten data is reproduced on the display screen. (Step 17)
  • step 18 The composition processing unit 40 calculates relative coordinates at which the coordinates of the detailed information can be displayed with the actual screen size, and displays the detailed information 64 on the screen on the display unit 26 by, for example, a pop-up screen as shown in FIG.
  • relative coordinates capable of displaying the coordinate value of the handwritten data in the actual screen size are calculated, and the handwritten data is displayed on the screen in an overlapping manner (step 18).
  • a moving image information search system of the present invention it is possible to easily provide meta tag information related to an image in a moving image without editing the original moving image.
  • meta tag information is displayed while video is paused without displaying meta tag information during video playback, it is not necessary to track images in the video and the data does not become heavy and a load is applied during video playback. It does not take.
  • it is possible to search for a moving image that matches or relates to the search keyword and to display a list of search results if there is a specific image that matches or is related to the search keyword. Thereby, it is possible to selectively extract and display a specific image in the moving image relating to the search keyword.
  • FIG. 9 shows a screen on which handwritten input information is displayed on a moving image.
  • the in-video information search system 10 of the present invention is configured to include the handwriting input processing unit 44 that allows a user to overwrite and input a comment related to a specific image during playback of the video, while the specific image is being displayed.
  • the user can pause the video and input data such as handwritten characters, diagrams, and illustrations from the input unit 22.
  • the handwriting input processing unit 44 is connected to the database server 14 and stores handwritten data such as characters, diagrams, and illustrations inputted by handwriting in a reduced weight.
  • a user who is watching a video can input a comment by handwriting by overwriting, and after registering the handwritten data, the handwritten data (attention is drawn with a leader line in a circle in FIG. 9) during playback of the video. ) Can be displayed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】動画内の特定画像の関連情報を提供する動画内情報検索システム、動画内情報検索プログラムを提供する。 【解決手段】本発明の動画内情報検索システム10は、検索キーワードの入力部22と、データベースサーバー14に接続して動画リストの中から前記検索キーワードと一致又は関連する動画中の特定画像のメタタグ情報のタイムリストを取得する制御部30と、前記検索キーワードの動画を再生する表示部26と、を備え、前記制御部30は、前記特定画像が表示されている前記動画を一時停止した際に、静止画面中の前記特定画像に前記メタタグ情報を表示させて、任意に選択された前記メタタグ情報の詳細情報を取得して表示させることを特徴とする。

Description

動画内情報検索システム、動画内情報検索プログラム
 本発明は、動画中の任意の画像の関連情報を表示させることができる動画内情報検索システム、動画内情報検索プログラムを提供することを目的とする。
 近年、インターネットなどの通信ネットワーク上で多数の動画配信サービスが利用されている。このような動画の再生中に広告などの関連情報を、画面上に映し出された商品等に表示させる技術がある。
 特許文献1に開示の映像再生装置は、再生されている映像を一時停止すると共に、映像中にカーソルを表示して、カーソルでクリックすると、特定される映像中の商品に関連するデータが取得できる。
 特許文献2に開示の動画情報制御装置は、表示された動画中の任意の部分を指定して認識した指定部分の情報をもとに、関連情報を取得して表示させている。
 特許文献3に開示の技術は、テレビ画面に映し出されている商品にカーソルを合わせてクリック操作を行うと、その商品が拡大表示されて、値段等の情報を表示させることができる。
 特許文献4に開示の枠表示装置は、動画の動きに追随するように枠を生成して映像と枠を合成して表示させている。枠内をクリックして枠内の映像の詳細情報を映像とともに表示させることができる。
 特許文献5に開示の情報提供システムは、元動画を編集加工せずに、元画像の対象物に追尾する図形を設けた画面を元動画に重畳させ、かつ同期させている。
特開2008-17228号公報 特開平9-152952号公報 特開2001-258011号公報 特開平10-187737号公報 特開2011-87017号公報
 しかしながら、上記特許文献1~5のような従来の動画中の商品情報の提供は、いずれも動画の再生中に、画面上のカーソルを画像に合わせてクリックして詳細情報を得ている。このため、例えば、動画中で移動する画像に追随して表示可能な枠等を作成する前処理が必要であった。このような前処理データの作成は煩雑な作業となっていた。
 そこで、本発明は、上記従来技術の問題点に鑑み、動画中の特定画像の情報を容易に取得することができる動画内情報検索システム、動画内情報検索プログラムを提供することを目的としている。
 本発明は、上記の課題を解決するための第1の手段として、検索キーワードの入力部と、データベースサーバーに接続して動画リストの中から前記検索キーワードと一致又は関連する動画中の特定画像のメタタグ情報のタイムリストを取得する制御部と、前記検索キーワードの動画を再生する表示部と、を備え、前記制御部は、前記特定画像が表示されている前記動画を一時停止した際に、静止画面中の前記特定画像に前記メタタグ情報を表示させて、任意に選択された前記メタタグ情報の詳細情報を取得して表示させることを特徴とする動画内情報検索システムを提供することにある。
 本発明は、上記の課題を解決するための第2の手段として、上記第1の解決手段において、前記制御部は、前記表示部の画面上で表示された前記特定画像に対し、前記表示部で入力された前記特定画像に関するデータ量を軽量化した手書きデータを前記データベースサーバーへ登録可能な手書き入力処理部を備えたことを特徴とする動画内情報検索システムを提供することにある。
 本発明は、上記の課題を解決するための第3の手段として、上記第1又は第2の解決手段において、前記表示部は、前記動画の再生中に存在する前記メタタグ情報の有無に応じて表示変更可能なインジケーターを画面中に備えたことを特徴とする動画内情報検索システムを提供することにある。
 本発明は、上記の課題を解決するための第4の手段として、ユーザ端末に、検索キーワードを入力して、前記ユーザ端末からデータベースサーバーに接続し動画リストの中から前記検索キーワードと一致又は関連する動画中の特定画像のメタタグ情報のタイムリストを取得する機能と、前記ユーザ端末の表示部で前記検索キーワードの動画を再生する機能と、前記特定画像が表示されている前記動画を一時停止した際に、静止画面中の前記特定画像に前記メタタグ情報を表示させる機能と、任意に選択された前記メタタグ情報の詳細情報を取得して表示させる機能を実現させる動画内情報検索プログラムを提供することにある。
 上記構成による本発明によれば、元動画を編集することなく、動画中の特定画像に関するメタタグ情報を容易に提供することができる。
 また、データは静止画面に付加するため、位置情報など正確な情報を登録することができる。
 また、動画再生中にメタタグ情報を表示させずに一時停止中にメタタグ情報を表示させているため、動画中の画像等を追尾する必要がなく、かつデータが重くならず動画再生時に負荷がかからない。
 上記構成による本発明によれば、手書きデータを簡略化して記憶させているので、データ量を軽量化することができる。
本発明の動画内情報検索システムの全体構成を示す構成概略図である。 制御部の概略構成図である。 動画内情報検索プログラムのフローチャートである。 動画内情報検索プログラムのフローチャートである。 動画再生時の表示画面の説明図である。 動画一時停止時の説明図である。 動画一時停止時に特定画像を選択する説明図である。 動画一時停止時に表示された詳細情報の説明図である。 動画上に手書き入力情報が表示された画面である。 動画検索の入力画面である。 動画検索の検索結果の表示画面である。 手書き入力処理部による手書きデータの軽量化の説明図である。 手書き入力処理部による手書きデータの軽量化の説明図である。
 本発明の動画内情報検索システム、動画内情報検索プログラムの実施形態を添付の図面を参照しながら、以下詳細に説明する。本発明の動画の対象としては、WEB上で配信される動画のほか、DVD、BlueRayなどの記録媒体に記録された動画である。
[動画内情報検索システムの全体構成]
 図1は、本発明の動画内情報検索システムの全体構成を示す構成概略図である。図示のように本発明の動画内情報検索システム10の全体構成は、ユーザ端末20と、サーバーと、ネットワーク12を備えた構成である。
 ユーザ端末20は、本発明の動画内情報検索プログラムを実行する携帯通信機器、パーソナルコンピューター、ウェブサーバーなどである。
 サーバーは、ネットワーク12を介してユーザ端末20と接続可能となっている。本実施形態のサーバーは、データベースサーバー14及び動画サーバー16である。データベースサーバー(DBサーバー)14は、ユーザに対してメタタグ情報の提供を行うものであり、各種のメタタグ情報が格納されている。データベースサーバー14は、ユーザ端末20からアップロードされたメタタグ情報を格納することもできる。
 本発明のメタタグ情報とは、動画コンテンツの内容を示す各種の情報であり、例えば、動画URL、タイムライン、タイムリスト、画面上の特定画像の相対座標、特定画像のタイトル、簡易情報、詳細情報、リンク先URL、他の関連動画情報などである。このようなメタタグ情報は、動画の時間軸と関連付けしてあり、動画ごとに作成してデータベース化し、情報の検索、情報の取り出しができるようにしている。
 動画サーバー16は、動画を配信するサーバーである。
 ネットワーク12は、ユーザ端末20とサーバーを接続する有線又は無線回線、インターネット等である。
[ユーザ端末の構成]
 ユーザ端末20は、動画を検索するキーワード等の入力部22と、データベースサーバー14に接続可能な通信部24と、データベースサーバー14の動画リストの中から検索キーワードと一致する動画のタイムリストを取得する制御部30と、前記検索キーワードの動画を再生する表示部26と、記憶部28とを備えている。
 入力部22は、検索キーワード、動画ソース、データ入力などの文字情報、画像クリック、画面タップなどを入力可能なユーザ端末のキーボード、マウス、タッチパッド等である。
 制御部30は、動画内情報検索プログラムを実行するためのものである。
 表示部26は、動画などを再生可能なディスプレイである。表示部26にはインジケーターを備えている。
 インジケーターは、特定画像のメタタグ情報の有無に応じて表示変更可能な表示灯である。このような構成のインジケーターにより、ユーザは動画再生中に特定画像のメタタグ情報の有無を認識することができる。
 通信部24は、ネットワーク12を介してサーバーと通信を行っている。例えば通信部24は入力部22の入力による制御部30の制御信号をサーバーに送信し、サーバーから送信されたメタタグ情報を制御部30に出力している。
 記憶部28は、制御部30が処理を行うのに必要なプログラム等を記憶している。
 図2は制御部の構成概略図である。図示のように制御部30は、例えば、入力部22からの支持を受けてデータベースサーバー14に接続したりして、メタタグ情報を取得して、処理結果を表示部26に表示させている。
 動画検索部32は、入力部22から検索キーワードが入力されると、データベースサーバー14と接続して検索キーワードと一致又は関連するメタタグ情報を持つ動画(各種WEB動画、DVD、BlueRay)のリストを取得する。同時に動画サーバー16にも接続して検索キーワードから検索された動画のリストも取得する。
 取得した動画のリストから任意の動画が選択されると、その動画がデータベースサーバー14から検索された動画であった場合、あらかじめメタタグ情報がタグ付けされた動画であるため、その動画のタイムリストを取得する。
 一方、外部サーバーとなる動画サーバー16から検索された動画であった場合、データベースサーバー14と接続して、その動画の内容と全て一致、又は一部一致する動画の情報が存在するか否かを問い合わせる。
 その結果、すべて一致する動画が存在する場合には、あらかじめ登録されているその動画のタイムリストを取得する。一方、一部一致する動画の場合には、次のようにタイムリストを取得する。例えば、選択された動画をAとし、Aを含む動画をBとする。なお、AとBは一部一致の関係となり、動画Bのタイムリストはあらかじめ登録されている。動画Aが動画Bのタイムリストのa秒からb秒と一致した場合、動画Bに対するタイムリストのa秒からb秒までを取得する。そして、動画Aを再生する際に、動画Bの全タイムコードに対してa秒マイナスすることにより一致させることができ、これが動画Aのタイムリストとなる。
 また同一動画が複数存在する場合には、そのリストを作成し、メタタグ情報による関連動画もリストに載せる。このリストは、ユーザが後述する手書き入力データを書き込むなどして、既にメタタグ情報がタグ付けされた動画が存在する場合には、この動画を優先的に上位に表示することができる。
 このような動画検索部32は、動画サーバー16又はデータベースサーバー14の検索が可能であり、この他、画像に関する検索キーワードが入力部22から入力されると、動画サーバー16に接続して該当する動画を検索する。またデータベースサーバー14にも接続してタイムリスト中のキーワードと比較判断を行い。検索結果のリストを作成する。
 検索結果処理部33は、図11に示すように、上記動画のリストを表示部26の画面上に表示させる。そして、リストに表示された個々の動画が既にメタタグ情報が付加されているか否かもわかるように表示する(図11中のMeta)。
 これにより、検索キーワードに関する動画中の特定画像を抽出することができる。また、データベースサーバー14上に登録されているメタタグ情報の中からキーワードに関する情報を容易に検索することができる。
 動画再生処理部34は、動画検索部32が取得した動画を表示部26で再生させる。また、動画再生処理部34は、取得したタイムリストに基づいてメタタグ情報の有無に応じて表示変更可能なインジケーターを表示部26の画面上に表示させる。
 動画静止処理部36は、入力部22から動画を一時停止させる動画画面クリックが入力されると、再生中の動画を一時停止させる処理を行う。ターゲット表示処理部38は、動画の一時停止後、検索キーワードと現在の動画とのタイムリストのマッチングが可能か否か判断する。その結果、タイムリストのマッチングが可能な場合には、データベースサーバー14へ接続して、一時停止中の画面上に存在する画像のメタタグ情報を取得して画像のメタタグ情報を画面に表示させる処理を行う。一方、マッチングができなかった場合には、その動画中の特定画像のメタタグ情報は存在せず、何も表示されない処理が行われる。
 手書き出力処理部39は、後述する手書き入力処理部44によりデータベースサーバー14へ登録された手書きデータを呼び出す。そして、手書き出力処理部39は、手書き配列に入っている複数の座標を読み込んで、x、y座標にプロットする。ついで時系列に座標を結んで線を描く。このような処理を配列格納分処理して手書きデータを表示画面上に再現している。なお、各座標値は、絶対座標ではなく、表示する画面に対するパーセンテージ(相対座標)で格納している。このため、表示する画面に応じてサイズが異なる動画上に表示させることができる。
 合成処理部40は、メタタグ情報の座標を実際の画面サイズで表示可能な相対座標を算出して、画面上にメタタグ情報と特定範囲(特定画像の選択領域を示す簡易な図形)を表示部26の画面上に表示させる。
 詳細情報処理部42は、一時停止画面中の特定画像を選択する入力部22からターゲットクリックが入力されると、ターゲット表示処理部38がデータベースサーバー14へ接続して取得した特定画像の詳細情報を取得する。
 合成処理部40は、詳細情報の座標を実際の画面サイズで表示可能な相対座標を算出している。そして、合成処理部40は、画面上に詳細情報を例えば、ポップアップ画面や、情報毎に階層(レイヤー)表示画面を切り替え可能に表示部26で表示させる。
 手書き入力処理部44は、ユーザが特定画像に関するコメントなどの手書きデータを上書きで入力可能な処理部である。具体的な処理は、特定画像が表示された再生中の動画をユーザが一時停止して、手書きによる文字、図、イラスト等の手書きデータ入力を入力部22より行う。手書き入力処理部44は、データベースサーバー14に接続して手書きで入力された文字、図、イラスト等の手書きデータを、データ量を軽量化して記憶させている。このとき本発明の手書きデータは、データ量の大きいビットマップ等の画像形式を適用していない。
 手書きデータを細分化すると座標(点)の集合体として表すことができる。このような座標は時系列で次のように表すことができる。図12は手書き入力処理部による手書きデータの軽量化の説明図である。図示のように、一例として、XY座標軸上に現在の座標を座標0(x0、y0)とし、その1つ前の座標を座標1(x1、y1)とし、2つ前の座標を座標2(x2、y2)とし、それぞれの時刻をt0、t1、t2とする。座標2(x2、y2)と座標1(x1、y1)を結ぶ線分とX軸の間のなす角度をθ1とし、座標1(x1、y1)と座標0(x0、y0)を結ぶ線分とX軸の間のなす角度をθ2とする。また、θ1とθ2の差分をαとし、差分αに対する閾値を変数α′とする。変数α′を仮にα′=20°とし、図12に示すように、θ1=60°、θ2=30°の場合、α=θ1-θ2=60°-30°=30°となる。α>α′となり、この場合、座標値2=(x2、y2、t2)、座標値1=(x1、y1、t1)、座標値0=(x0、y0、t0)のような座標と時間のデータとして記憶する。
 図13は手書き入力処理部による手書きデータの軽量化の説明図である。図示のように、θ1=60°、θ2=60°の場合、α=θ1-θ2=60°-60°=0°となる。α<α′となり、この場合、座標1は記憶しない。そして座標0が終点の場合、座標値2=(x2、y2、t2)、座標値0=(x0、y0、t0)のような座標と時間のデータとして記憶する。
 差分αが0の場合、座標の間が直線となり、座標間は省略されても直線と判断できるため、始点と終点の間の座標は記憶されない。このような本発明の手書きデータ入力部によれば、変数α′の値が小さくなると手書きデータの座標数が緻密になり、データ量が重くなる。一方、変数α′の値が大きくなると、手書きデータの座標数が簡略化されてデータ量を軽くできる。なお、変数α′の値および座標の取得間隔(取得時間)は、任意に設定変更することができる。これによりデータの圧縮率を変更することができる。
 このような手書き入力処理部44により、動画を視聴しているユーザが上書き入力でコメントを手書き入力することができる。この手書きデータの登録後は、手書き出力処理部39により、動画再生時に手書きデータを表示させることができる。
 合成処理部40は、メタタグ情報の座標を実際の画面サイズで表示可能な相対座標を算出して、画面上に手書きデータを表示部26の画面上に表示させる。
 [動画内情報検索の処理手順]
 上記構成で実行する動画内情報検索プログラムについて以下説明する。図3及び4は動画内情報検索プログラムのフローチャートである。
 ユーザ端末20の入力部22から、図10に示すように、例えば動画ソースとなる動画URLなどの検索キーワードを入力する(ステップ1)。
 制御部30の動画検索部32は、通信部24によりネットワーク12を介してデータベースサーバー14及び動画サーバー16に接続する(ステップ2)。
 動画検索部32は、データベースサーバー14へ接続して検索キーワードと一致又は関連するメタタグ情報を持つ動画のリストを取得する。また動画サーバー16へ接続して検索キーワードから検索された動画のリストも取得する。
 次に検索結果処理部33により、上記動画のリストを表示部26の画面上に表示させる(ステップ3)。
 そして、検索キーワードと同じ動画が存在するか否かの判断を行う(ステップ4)。
 その結果、すべて一致する動画が存在する場合には、あらかじめ登録されているその動画のタイムリストを取得する。(ステップ5)。一方、一部一致する動画の場合には、前述のように選択された動画を含む動画の一部一致する部分のタイムリストを取得する。
 一方、同一動画が複数存在する場合には、そのリストを作成し、メタタグ情報による関連動画もリストに載せる。このリストは、ユーザが後述する手書き入力データを書き込むなどして、既にメタタグ情報がタグ付けされた動画が存在する場合には、この動画を優先的に上位に表示することができる。
 複数の動画のリストの中から最適な動画を選択する(ステップ6)。例えば、既にメタタグ情報がタグ付けされた動画が存在する場合には、その動画を優先的に選択することができる。その後はステップ5以下と同様の操作を行う。
 次に、動画再生処理部34により、動画検索部32が取得した検索キーワードの動画を図5に示すように表示部26で再生させる(ステップ7)。また、動画再生処理部34は、動画検索部32が取得したタイムラインに基づいてメタタグ情報の有無に応じて表示変更可能なインジケーター27を表示部26の画面上に表示させる(ステップ8)。さらに動画再生処理部34は、表示部26の画面上にタイムライン50を表示させることができる。タイムライン50は、時系列で特定画像のタイムリスト52を複数表示可能な構成である。また、動画再生中には、指針54が時間の経過と共に画面の左から右へ移動し、動画全体における動画再生時の位置情報を認識することができる。この指針54とタイムリスト52が交差する箇所は、再生中の特定画像のメタタグ情報が存在していることを示している。このときインジケーター27が点灯、点滅など変化して表示されている。
 動画再生中にユーザが興味を示した特定画像が表示されて、入力部22から動画を一時停止させる動画画面クリックが入力されると、動画静止処理部36では、再生中の動画を一時停止させる処理が行われる(ステップ9)。
 ターゲット表示処理部38は、動画の一時停止後、検索キーワードと現在の画像とのタイムリストのマッチングが可能か否か判断する(ステップ10)。その結果、タイムリストのマッチングが可能な場合には、データベースサーバー14へ接続して(ステップ11)、一時停止中の画面上に存在する特定画像のメタタグ情報を取得する(ステップ12)。一方、マッチングができなかった場合には、その動画中の特定画像のメタタグ情報は存在せず、何も表示されない処理が行われる。
 合成処理部40により、メタタグ情報の座標を実際の画面サイズで表示可能な相対座標を算出して(ステップ13)、図6に示すように画面上にメタタグ情報60の簡易情報と特定範囲62を表示部26の画面上に表示させる(ステップ14)。
 次に図7に示すようにユーザにより、一時停止画面中の特定画像のメタタグ情報60又は特定範囲62を選択するターゲットクリックが入力部22から入力されると(ステップ15)、ターゲット表示処理部38がデータベースサーバー14へ接続して取得した特定画像の詳細情報を取得する。
 その後、一時停止画面中に手書きデータがあるか否かの判断を行う(ステップ16)。
 手書きデータが存在する場合(Yes)には、手書き出力処理部39により、データベースサーバー14へ接続して、登録された手書きデータを呼び出す。手書き出力処理部39は、手書き配列に入っている複数の座標を読み込んで、x、y座標にプロットする。ついで時系列に座標を結んで線を描く。このような処理を配列格納分処理して手書きデータを表示画面上に再現している。(ステップ17)
 一時停止画面中に手書きデータがない場合(no)はステップ18へ進む。
 合成処理部40により、詳細情報の座標を実際の画面サイズで表示可能な相対座標を算出して、画面上に詳細情報64を例えば、図8に示すようにポップアップ画面などにより表示部26で表示させる。手書きデータについても同様に、手書きデータの座標値を実際の画面サイズで表示可能な相対座標を算出して、画面上に手書きデータを重ねて表示させる(ステップ18)。
 このような本発明の動画内情報検索システムによれば、元動画を編集加工することなく、動画中の画像に関するメタタグ情報を容易に提供することができる。
 また、動画再生中にメタタグ情報を表示させずに動画の一時停止中にメタタグ情報を表示させているため、動画中の画像等を追尾する必要がなく、かつデータが重くならず動画再生時に負荷がかからない。
 また、検索キーワードから一致又は関連する動画を検索して、検索キーワードに一致又は関連する特定画像が存在すると検索結果のリストを表示させることができる。これにより検索キーワードに関する動画中の特定画像を選択的に抽出して表示させることができる。
 図9は動画上に手書き入力情報が表示された画面である。
 前述のように本発明の動画内情報検索システム10は、ユーザが動画再生中に特定画像に関するコメントを上書き入力可能な手書き入力処理部44を備えた構成であり、特定画像が表示された再生中の動画をユーザが一時停止して、手書きによる文字、図、イラスト等のデータ入力を入力部22より行うことができる。手書き入力処理部44により、データベースサーバー14に接続して手書きで入力された文字、図、イラスト等の手書きデータを軽量化して記憶させている。このような構成により、動画を視聴しているユーザが上書き入力でコメントを手書き入力することができ、手書きデータの登録後は、動画再生時に手書きデータ(図9中の丸印に引き出し線で注目)を表示させることができる。
10………動画内情報検索システム、12………ネットワーク、14………データベースサーバー、16………動画サーバー、20………ユーザ端末、22………入力部、24………通信部、26………表示部、27………インジケーター、28………記憶部、30………制御部、32………動画検索部、33………検索結果処理部、34………動画再生処理部、36………動画静止処理部、38………ターゲット表示処理部、39………手書き出力処理部、40………合成処理部、42………詳細情報処理部、44………手書き入力処理部、50………タイムライン、52………タイムリスト、54………指針、60………メタタグ情報、62………特定範囲、64………詳細情報。

Claims (4)

  1.  検索キーワードの入力部と、
     データベースサーバーに接続して動画リストの中から前記検索キーワードと一致又は関連する動画中の特定画像のメタタグ情報のタイムリストを取得する制御部と、
     前記検索キーワードの動画を再生する表示部と、
     を備え、
     前記制御部は、前記特定画像が表示されている前記動画を一時停止した際に、静止画面中の前記特定画像に前記メタタグ情報を表示させて、任意に選択された前記メタタグ情報の詳細情報を取得して表示させることを特徴とする動画内情報検索システム。
  2.  前記制御部は、前記表示部の画面上で表示された前記特定画像に対し、前記表示部で入力された前記特定画像に関するデータ量を軽量化した手書きデータを前記データベースサーバーへ登録可能な手書き入力処理部を備えたことを特徴とする請求項1に記載の動画内情報検索システム。
  3.  前記表示部は、前記動画の再生中に存在する前記メタタグ情報の有無に応じて表示変更可能なインジケーターを画面中に備えたことを特徴とする請求項1又は2に記載の動画内情報検索システム。
  4.  ユーザ端末に、
     検索キーワードを入力して、
     前記ユーザ端末からデータベースサーバーに接続して動画リストの中から前記検索キーワードと一致又は関連する動画中の特定画像のメタタグ情報のタイムリストを取得する機能と、
     前記ユーザ端末の表示部で前記検索キーワードの動画を再生する機能と、
     前記特定画像が表示されている前記動画を一時停止した際に、静止画面中の前記特定画像に前記メタタグ情報を表示させる機能と、
     任意に選択された前記メタタグ情報の詳細情報を取得して表示させる機能を実現させる動画内情報検索プログラム。
PCT/JP2013/081492 2013-11-22 2013-11-22 動画内情報検索システム、動画内情報検索プログラム WO2015075809A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/081492 WO2015075809A1 (ja) 2013-11-22 2013-11-22 動画内情報検索システム、動画内情報検索プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/081492 WO2015075809A1 (ja) 2013-11-22 2013-11-22 動画内情報検索システム、動画内情報検索プログラム

Publications (1)

Publication Number Publication Date
WO2015075809A1 true WO2015075809A1 (ja) 2015-05-28

Family

ID=53179115

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/081492 WO2015075809A1 (ja) 2013-11-22 2013-11-22 動画内情報検索システム、動画内情報検索プログラム

Country Status (1)

Country Link
WO (1) WO2015075809A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250654A (ja) * 2007-03-30 2008-10-16 Alpine Electronics Inc ビデオプレイヤ及びビデオ再生制御方法
JP2010098730A (ja) * 2008-09-22 2010-04-30 Toshihiko Okabe リンク情報の提供装置、表示装置、システム、方法、プログラム、記録媒体及びリンク情報の送受信システム
JP2011061528A (ja) * 2009-09-10 2011-03-24 Xing Inc 映像情報配信システム
JP2012256351A (ja) * 2000-03-31 2012-12-27 United Video Properties Inc メタデータによってリンクされた宣伝のシステムおよび方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012256351A (ja) * 2000-03-31 2012-12-27 United Video Properties Inc メタデータによってリンクされた宣伝のシステムおよび方法
JP2008250654A (ja) * 2007-03-30 2008-10-16 Alpine Electronics Inc ビデオプレイヤ及びビデオ再生制御方法
JP2010098730A (ja) * 2008-09-22 2010-04-30 Toshihiko Okabe リンク情報の提供装置、表示装置、システム、方法、プログラム、記録媒体及びリンク情報の送受信システム
JP2011061528A (ja) * 2009-09-10 2011-03-24 Xing Inc 映像情報配信システム

Similar Documents

Publication Publication Date Title
US20210382929A1 (en) Multimedia content tags
US11902633B2 (en) Dynamic overlay video advertisement insertion
US20190172166A1 (en) Systems methods and user interface for navigating media playback using scrollable text
US8074161B2 (en) Methods and systems for selection of multimedia presentations
US9008491B2 (en) Snapshot feature for tagged video
US9118886B2 (en) Annotating general objects in video
US8799300B2 (en) Bookmarking segments of content
US9800941B2 (en) Text-synchronized media utilization and manipulation for transcripts
CN107533552B (zh) 互动系统及其互动方法
TW201337642A (zh) 基於手勢標記來檢視相關內容
WO2013070802A1 (en) System and method for indexing and annotation of video content
JP2017049968A (ja) ユーザインタラクションを検出、分類及び可視化する方法、システム及びプログラム
US9152707B2 (en) System and method for creating and providing media objects in a navigable environment
Dakss et al. Hyperlinked video
KR20100118896A (ko) 콘텐츠 내 객체 정보 및 객체 기반의 응용 콘텐츠를 제공하는 방법 및 장치
KR101328270B1 (ko) 스마트 tv의 비디오 어노테이션 및 증강 방법 및 그 시스템
KR101833806B1 (ko) 영상 컨텐츠에 광고상품을 등록하는 방법 및 이를 실행하는 서버
Lee et al. Dynamic sampling-based interpolation algorithm for representation of clickable moving object in collaborative video annotation
WO2015075809A1 (ja) 動画内情報検索システム、動画内情報検索プログラム
KR102070458B1 (ko) Ar 스캔엔진을 이용한 ar 커머스 및 콘텐츠 서비스 제공 방법
WO2000073914A1 (en) Synchronized spatial-temporal browsing of images for selection of indexed temporal multimedia titles
US11789994B1 (en) System and method for enabling an interactive navigation of a hybrid media webpage
Park et al. Creating a clickable TV program by sketching and tracking freeform triggers
EP2645733A1 (en) Method and device for identifying objects in movies or pictures
KR20150120687A (ko) 디지털 방송 스트림 영상에서의 객체인식을 이용한 부가정보 제공방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13897919

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13897919

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP