JP4909315B2 - Video processing apparatus and method, program, and computer-readable recording medium - Google Patents
Video processing apparatus and method, program, and computer-readable recording medium Download PDFInfo
- Publication number
- JP4909315B2 JP4909315B2 JP2008148219A JP2008148219A JP4909315B2 JP 4909315 B2 JP4909315 B2 JP 4909315B2 JP 2008148219 A JP2008148219 A JP 2008148219A JP 2008148219 A JP2008148219 A JP 2008148219A JP 4909315 B2 JP4909315 B2 JP 4909315B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- video
- time
- amount
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
本発明は、映像処理装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体に係り、特に、映像の動きを表現した代表画像を生成するための映像処理装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体に関する。 The present invention relates to a video processing apparatus, method, program, and computer-readable recording medium, and more particularly to a video processing apparatus, method, program, and computer-readable recording medium for generating a representative image representing video motion. About.
映像の中から映像内容を表す代表画像を抽出する技術は多数存在する。以下に例をあげる。 There are many techniques for extracting representative images representing video content from video. Here are some examples:
(1)第1の従来技術として、映像中の隣接フレーム画像間の内容変化が大きなところから小さくなる所を検出することで映像シーンの変化部分を表すサムネイルを検出している(例えば、特許文献1参照)。 (1) As a first conventional technique, a thumbnail representing a changed portion of a video scene is detected by detecting a place where the content change between adjacent frame images in a video is reduced from a large one (for example, Patent Documents). 1).
(2)第2の従来技術として、映像の動きベクトルの総量を時系列にグラフ化し、そのローカルミニマムを代表画像として採用する方法である。こうすることで、印象的なシーンや、カメラや俳優の動作の節目となるサムネイルを取り出すことを狙っている。また付随する効果として比較的はっきりとした画像が抽出できる(例えば、非特許文献1参照)。 (2) The second conventional technique is a method of graphing the total amount of motion vectors of a video in time series and employing the local minimum as a representative image. By doing this, we aim to extract impressive scenes and thumbnails that will be milestones for camera and actor movements. Further, a relatively clear image can be extracted as an accompanying effect (see, for example, Non-Patent Document 1).
(3)第3の従来技術として、動きベクトルを用いて映像を動物体と背景に分離し、動物体が大きく写ったフレーム画像(動物体アップフレーム)を検出し、それらの隣接したものを統合することで映像区間(動物体アップショット)を算出する。また、撮影者が動物体に注目し、フォローしているフォローショットを検出する(例えば、非特許文献2参照)。
しかしながら、上記従来の技術には以下のような問題がある。 However, the above conventional technique has the following problems.
第1の従来技術は、色特徴変化を主に利用しているが、明度等に敏感なため、一つの映像に対し、非常に多くサムネイルが検出され、見難くなる。また、一般的に色特徴変化によるサムネイル抽出では被写体・背景を分離して、映像の被写体・背景及びその動作までを分離して考慮したサムネイルを抽出することは難しい。例えば、固定カメラで撮影した被写体の動きに応じたサムネイルを抽出することはできない(以下、問題aと記す)。 The first prior art mainly uses color feature change, but because it is sensitive to brightness and the like, a very large number of thumbnails are detected for one video, making it difficult to see. In general, in thumbnail extraction based on color feature changes, it is difficult to separate a subject / background and extract a thumbnail that takes into consideration the subject / background of the video and its operation. For example, it is impossible to extract a thumbnail corresponding to the movement of a subject photographed with a fixed camera (hereinafter referred to as problem a).
第2の従来技術は、フレーム全体の動き総量ではその動きが被写体の動きなのかカメラの動きなのかが判別がつかないため、効果的なサムネイル抽出にならない場合もある。例えば、スノーボードの映像ではジャンプしているような箇所は見所になるが、動き総量のローカルミニマムでは検出できない(以下、問題bと記す)。 In the second conventional technique, since it is impossible to determine whether the movement is the movement of the subject or the movement of the camera from the total movement amount of the entire frame, there are cases where the effective thumbnail extraction cannot be performed. For example, in a snowboard video, a jumping spot is a highlight, but it cannot be detected by the local minimum of the total amount of movement (hereinafter referred to as problem b).
第3の従来技術は、動物体の大きく写っている場面は検出できるが、その中から効果的なサムネイルを選択できない。また、フォローショットの検出において、フレーム単位で検出された局所的な動き量を利用していたため、過剰検出を起すという問題がある。 The third conventional technique can detect a scene in which a moving object is large, but cannot select an effective thumbnail from the scene. Further, in detecting the follow shot, there is a problem that excessive detection occurs because the local motion amount detected in units of frames is used.
本発明は、上記の点に鑑みなされたもので、映像から被写体(動物体)の存在する区間のうち、被写体または背景の動きが強調された画像、及び被写体または背景がはっきり写った画像をそれぞれ抽出することが可能な映像処理装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体を提供することを目的とする。 The present invention has been made in view of the above points, and in the section where the subject (animal body) exists from the video, an image in which the motion of the subject or the background is emphasized and an image in which the subject or the background is clearly visible are respectively shown. It is an object of the present invention to provide a video processing apparatus and method, a program, and a computer-readable recording medium that can be extracted.
更なる目的は、被写体をカメラがフォローして撮影しているショットを比較的安定して抽出でき、注目被写体のサムネイルを抽出することが可能な映像処理装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体を提供することである。 A further object is to provide a video processing apparatus and method, a program, and a computer-readable recording capable of extracting a shot of a subject of interest relatively stably, and capable of extracting a shot of the subject of interest. To provide a medium.
図1は、本発明の原理を説明するための図である。 FIG. 1 is a diagram for explaining the principle of the present invention.
本発明(請求項1)は、映像の中から映像内容を表す代表画像を抽出する映像処理方法であって、
映像入力手段が、映像を入力し、映像フレーム記憶手段に格納する映像入力ステップ(ステップ1)と、
被写体検出手段が、前記映像フレーム記憶手段から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って(ステップ2)被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出ステップ(ステップ3)と、
サムネイル画像抽出手段が、前記時系列被写体リスト記憶手段に格納された前記被写体の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と被写体位置との距離の逆数と、被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出ステップ(ステップ4)と、を行う。
The present invention (Claim 1) is a video processing method for extracting a representative image representing video content from video,
A video input step (step 1) for the video input means to input the video and store it in the video frame storage means;
Subject detection means acquires a video frame from the video frame storage means, detects a subject in the video frame, performs frame association (step 2), and stores it in the time-series subject list storage means together with the position of the subject. Subject detection step (step 3),
The thumbnail image extraction means calculates the amount of movement of the subject stored in the time-series subject list storage means, and sets the time point of the calculated maximum or minimum value of the movement amount as the extraction time point. A thumbnail image extraction step for extracting a thumbnail image based on the weighted sum of the reciprocal of the distance between the center of the screen and the subject position and the ratio of the subject area to the screen based on the evaluation value (step 4) And do.
本発明(請求項2)は、映像の中から映像内容を表す代表画像を抽出する映像処理方法であって、
映像入力手段が、映像を入力し、映像フレーム記憶手段に格納する映像入力ステップと、
被写体検出手段が、前記映像フレーム記憶手段から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出ステップと、
画像単位対応手段が、画像単位毎のフレーム間の動きベクトルを算出し、背景の情報を前記時系列被写体リスト記憶手段に格納する画像単位対応ステップと、
サムネイル画像抽出手段が、前記時系列被写体リスト記憶手段に格納された情報を利用して、背景の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と被写体位置との距離の逆数と、被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出ステップと、を行う。
The present invention (Claim 2) is a video processing method for extracting a representative image representing video content from video,
A video input means for inputting video and storing the video in the video frame storage means;
A subject detection step in which a subject detection means acquires a video frame from the video frame storage means, detects a subject in the video frame, performs frame association, and stores it in the time-sequential subject list storage means together with the position of the subject. When,
An image unit corresponding unit calculates a motion vector between frames for each image unit, and stores background information in the time-series subject list storage unit;
The thumbnail image extraction means calculates the amount of motion of the background using the information stored in the time-series subject list storage means, and sets the time point of the calculated maximum or minimum value of the motion amount as the extraction time point. In the periphery of the image, a weighted sum of the reciprocal of the distance between the center of the screen and the subject position and the ratio of the subject area to the screen is used as an evaluation value, and a thumbnail image is extracted based on the evaluation value. And step.
また、本発明(請求項3)は、サムネイル画像抽出ステップにおいて、
時系列被写体リスト記憶手段に格納された情報を利用して、被写体と背景の両者の動き量を算出し、被写体の動き量及び前記背景の動き量の一方の極大・極小値の時点を取り出し、取り出した時点の周辺において、他方の動き量による条件を加えて決まる時点を抽出時点とする。
The present invention (Claim 3), in the thumbnail image extraction step,
Using the information stored in the time-series subject list storage means, the amount of movement of both the subject and the background is calculated, and the time point of one of the maximum and minimum values of the amount of movement of the subject and the amount of movement of the background is extracted, A time point determined by adding a condition based on the other movement amount around the time point of the extraction is set as an extraction time point .
本発明(請求項4)は、サムネイル画像抽出ステップにおいて、
時系列被写体リスト記憶手段に格納された情報を利用して、被写体と背景の両者の動き量を算出し、背景の動き量の2つの連続する極小値間における被写体の動き量の平均値を算出し、2つの連続する極小値間にある背景の動き量の極大値の前後近傍に被写体の動き量の極小値が存在し、かつ、その極小値が被写体の動き量の平均値より小さい場合に、被写体の動き量の極小値の時点を抽出時点とする。
According to the present invention (Claim 4), in the thumbnail image extraction step,
Using the information stored in the time-series subject list storage means, the amount of movement of both the subject and the background is calculated, and the average value of the amount of movement of the subject between two consecutive local minimum values of the background is calculated. And when the minimum value of the subject's motion amount exists in the vicinity of the maximum value of the background motion amount between two consecutive minimum values, and the minimum value is smaller than the average value of the subject's motion amount. The time point at which the subject movement amount is minimum is set as the extraction time point.
図2は、本発明の原理構成図である。 FIG. 2 is a principle configuration diagram of the present invention.
本発明(請求項5)は、映像の中から映像内容を表す代表画像を抽出する映像処理装置であって、
映像を入力し、映像フレーム記憶手段に格納する映像入力手段110と、
映像フレーム記憶手段102から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出手段140と、
時系列被写体リスト記憶手段104に格納された被写体の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と被写体位置との距離の逆数と、被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出手段150と、を有する。
The present invention (Claim 5) is a video processing apparatus for extracting a representative image representing video content from video,
Video input means 110 for inputting video and storing it in video frame storage means;
A
The amount of movement of the subject stored in the time- series subject
本発明(請求項6)は、映像の中から映像内容を表す代表画像を抽出する映像処理装置であって、
映像を入力し、映像フレーム記憶手段に格納する映像入力手段と、
映像フレーム記憶手段から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出手段と、
画像単位毎のフレーム間の動きベクトルを算出し、背景の情報を時系列被写体リスト記憶手段に格納する画像単位対応手段と、
時系列被写体リスト記憶手段に格納された情報を利用して、背景の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と被写体位置との距離の逆数と、被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出手段と、を有する。
The present invention (Claim 6) is a video processing apparatus for extracting a representative image representing video content from video,
Video input means for inputting video and storing it in video frame storage means;
Subject detection means for acquiring a video frame from the video frame storage means, detecting a subject in the video frame, performing frame association, and storing in the time-series subject list storage means together with the position of the subject;
An image unit correspondence unit that calculates a motion vector between frames for each image unit, and stores background information in a time-series subject list storage unit;
The information stored in the time-series subject list storage means is used to calculate the amount of movement of the background, and the time point of the calculated maximum or minimum value of the movement amount is set as the extraction time point. And a thumbnail image extracting means for extracting a thumbnail image based on the weighted sum of the reciprocal of the distance between the center and the subject position and the ratio of the subject area to the screen as an evaluation value .
また、本発明(請求項7)は、サムネイル画像抽出手段において、
時系列被写体リスト記憶手段に格納された情報を利用して、被写体と背景の両者の動き量を算出し、被写体の動き量及び背景の動き量の一方の極大・極小値の時点を取り出し、取り出した時点の周辺において、他方の動き量による条件を加えて決まる時点を抽出時点とする。
Further, the present invention (Claim 7) provides a thumbnail image extraction means,
Using the information stored in the time-series subject list storage means, the movement amount of both the subject and the background is calculated, and the time point of one of the maximum and minimum values of the subject movement amount and the background movement amount is extracted and extracted. A time point determined by adding a condition based on the other amount of motion around the time point is set as an extraction time point.
また、本発明(請求項8)は、サムネイル画像抽出手段において、
時系列被写体リスト記憶手段に格納された情報を利用して、被写体と背景の両者の動き量を算出し、背景の動き量の2つの連続する極小値間における被写体の動き量の平均値を算出し、2つの連続する極小値間にある背景の動き量の極大値の前後近傍に被写体の動き量の極小値が存在し、かつ、その極小値が被写体の動き量の平均値より小さい場合に、被写体の動き量の極小値の時点を抽出時点とする。
The present invention (Claim 8) provides a thumbnail image extraction means,
Using the information stored in the time-series subject list storage means, the amount of movement of both the subject and the background is calculated, and the average value of the amount of movement of the subject between two consecutive local minimum values of the background is calculated. And when the minimum value of the subject's motion amount exists in the vicinity of the maximum value of the background motion amount between two consecutive minimum values, and the minimum value is smaller than the average value of the subject's motion amount. The time point at which the subject movement amount is minimum is set as the extraction time point.
本発明(請求項9)は、請求項5乃至8のいずれか1項に記載の映像処理装置を構成する各手段としてコンピュータを機能させるための映像処理プログラムである。 The present invention (Claim 9) is a video processing program for causing a computer to function as each means constituting the video processing apparatus according to any one of Claims 5 to 8.
本発明(請求項10)は、請求項9記載の映像処理プログラムを格納したコンピュータ読取可能な記録媒体である。 The present invention (Claim 10) is a computer-readable recording medium storing the video processing program according to Claim 9.
上記のように本発明によれば、ショット全てのサムネイルを提示するのではなく、被写体検出処理を行い、例えば被写体が検出された箇所に着目し、そこから画像を抽出・提示することで、無意味なフレーム画像の提示を避け、動作を表すのに効果的なフレーム画像のみを提示することができ、前述の問題aを解決できる。 As described above, according to the present invention, instead of presenting thumbnails of all shots, subject detection processing is performed. For example, attention is paid to a place where a subject is detected, and an image is extracted and presented from there. It is possible to avoid presentation of a meaningful frame image, and to present only a frame image effective for representing an operation, and to solve the above-mentioned problem a.
また、本発明は、フレーム全体の動きではなく、注目被写体を検出し、被写体領域の動きとそれ以外の動き(背景の動き)と分離して利用し、注目すべき動きを表現できるサムネイルを抽出することで解決する。また動きの極小だけでなく極大部分のサムネイルも提示することで動作途中の様子を知ることができる。これにより、前述の問題bを解決できる。 In addition, the present invention detects not the entire frame movement, but the target object, and extracts the thumbnail that can express the movement to be noticed by using it separately from the movement of the subject area and the other movement (background movement). To solve it. Also, you can know the state of the operation by showing not only the minimum of movement but also the thumbnail of the maximum. Thereby, the above-mentioned problem b can be solved.
また、動物体の大きさだけではなく、動物体の動き及び背景の動きを考慮することで、被写体の動き及び場面の流れを表現できるサムネイル画像を抽出する。また、時間的連続性を考慮してフォローショットを検出することで、前述の問題cを解決できる。 Further, by considering not only the size of the moving object but also the movement of the moving object and the movement of the background, a thumbnail image that can express the movement of the subject and the flow of the scene is extracted. Moreover, the above-mentioned problem c can be solved by detecting a follow shot in consideration of temporal continuity.
上記のように、本発明では、被写体と背景を分離し、動き特徴・画像特徴をそれぞれ別に利用することで、映像から被写体(動物体)の存在する区間のうち、被写体または背景の動きが強調された画像、及び被写体または背景がはっきり写った画像をそれぞれ区別して抽出することが可能となる。例えば、その動きの極大・極小画像を交互に表示することで、被写体の動作あるいはカメラの視点移行等の動き及びその過程を表現したスライドショーを作成することが可能になる。また、被写体をカメラがフォローして撮影しているショットを比較的安定に抽出でき、注目被写体のサムネイルを抽出することができる。 As described above, in the present invention, the subject and the background are separated, and the motion feature and the image feature are separately used, so that the motion of the subject or the background is emphasized in the section where the subject (animal body) exists from the video. It is possible to distinguish and extract the captured image and the image clearly showing the subject or the background. For example, by alternately displaying the maximum and minimum images of the movement, it is possible to create a slide show that represents the movement of the subject or the movement of the viewpoint of the camera and the process thereof. In addition, it is possible to relatively stably extract a shot in which the camera follows the subject and photograph it, and to extract a thumbnail of the subject of interest.
以下、図面と共に本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図3は、本発明の一実施の形態における映像処理装置の構成を示す。 FIG. 3 shows the configuration of the video processing apparatus in one embodiment of the present invention.
同図に示す映像処理装置は、映像入力部110、カット点検出部120、画像単位対応部130、被写体検出部140、サムネイル画像抽出部150、出力部160、映像記憶部101、フレームバッファ102、被写体映像区間リスト記憶部103、時系列被写体リスト記憶部104、サムネイル時刻リスト記憶部105から構成される。
The video processing apparatus shown in the figure includes a
上記の映像記憶部101、フレームバッファ102、被写体映像区間リスト記憶部103、時系列被写体リスト記憶部104、サムネイル時刻リスト部105はハードディスクデバイスやメモリ等の記憶媒体である。
The
フレームバッファ102はフレーム番号(映像時刻)と画像データを格納する。被写体映像区間リスト記憶部103は開始時刻と終了時刻を格納する。時系列被写体リスト記憶部104は、被写体ID、画像単位座標(集合)、分類、重み(面積などの評価値)を格納する。サムネイル時刻リスト記憶部105は映像フレーム番号を格納する。
The
映像入力部110は、映像記憶部101から映像データを入力し、指定されたフレーム番号(映像時刻)、あるいは読み込んだフレーム画像を順に出力する。このとき、映像時刻情報を取得して、その映像時刻に対応するフレーム画像を取得する。また、入力映像フレームをフレームバッファ102へ格納し、指定時刻の映像データの取得を効率化することが望ましい。また、入力映像のデインタレース(インタレース解除)処理を行ってもよい。以下では、フレーム画像とその映像時刻とは常に組で入出力を行うものとする。
The
カット点検出部120は、現在処理対象としているフレーム時刻と前回処理対象としたフレーム時刻の間に不連続点であるカット点が存在するかどうかを判定する装置である。当該方法については、例えば、特許第2839132号公報に記載の手法等を用いることが可能である。カット点のような映像の不連続点では動き検出の信頼性が低くなる。そのためカット点間の連続した映像区間(ショットと呼ぶ)単位で各映像処理を行い、カット点間での処理を回避する。処理対象の映像にカット点が含まれていない、あるいは、カット点における処理上の問題がないことが分かっている場合は省略可能である。
The cut
被写体検出部140は、映像入力部110より入力したフレーム画像を処理して、その画像に被写体(動物体)が存在するか否かを判定し、その情報を時系列被写体リスト記憶部104に格納する。これは画像に対する顔などのオブジェクト検出(認識)技術、背景差分法等の物体検出手法を用いて被写体検出を行う、あるいは、前述の非特許文献2に記載の特徴点ベースの動物体検出手法等を利用するなどして実現することが可能である。検出された被写体(動物体)はその被写体が存在する座標(集合)を、被写体毎に被写体IDを付して時系列被写体リスト記憶部104に記憶する。この被写体検出部140にて格納する座標は、例えば、画像ブロック、画素集合、特徴点、画像テンプレートなど被写体及びその動きを検出する画像単位を表す座標である。
The
なお、上記の被写体検出手法により画像単位毎の動きベクトル、被写体の動き(フレーム間の対応付け)が内部的に算出される場合で、かつ背景の動きを利用しない場合は、以下で説明する画像単位対応部130は省略可能である。被写体のフレーム間対応(動き)が内部的に算出される被写体検出手法の例として、テンプレートマッチングや各種オブジェクト認識技術や前述の非特許文献2のような動きを用いた被写体検出などが挙げられる。また、被写体の動きが検出できない被写体検出方法の例として背景差分法があげられる。以下では、被写体の動きが検出できる手法を用いた場合に関して述べるが、被写体のフレーム間対応付けを別途行えば、被写体の動きを検出できない手法を利用した場合でも同様の処理が可能である。
When the motion vector for each image unit and the motion of the subject (association between frames) are internally calculated by the subject detection method described above and the background motion is not used, the image described below is used. The
上記のフレーム間対応付けの手法としては、例えば、被写体IDとして仮の数値を記録し、画像単位対応部130において、前フレームの各被写体領域との重なり面積の、前フレームの比較対象となっている領域面積に対する割合が一定値以上である場合を全処理フレームと同一IDとする方法や、前フレームと現フレームとの間の動きベクトルを算出して、前フレームの被写体領域の移動先を被写体領域内で算出された動きベクトルの平均ベクトルなどとして推定し、現フレームで検出されている各被写体と重なり割合が一定値以上である領域のIDを対応付ける等、種々の方法が考えられる。
As a method of the above-described inter-frame association, for example, a temporary numerical value is recorded as the subject ID, and the image
時系列被写体リスト記憶部104は、処理対象のフレーム画像毎に記憶されるリストを記憶する。記憶レコードは、被写体IDと画像単位の座標(集合)、分類、及び重み(面積などの評価値)からなる。「被写体ID」は、被写体あるいは画像単位毎に付与され、時系列的に対応付いた数値である。時系列被写体リスト記憶部104は、画像単位あるいはその集合によりその被写体を表す位置を記憶する。「画像単位座標(集合)」は、被写体検出の検出単位により記憶される内容は異なる。例えば、矩形の画像単位を用いた被写体検出・追跡であればその矩形の左上、右下の座標対、画素単位で物体抽出・追跡される場合のその1物体をなす画素の点集合、特徴点単位での被写体検出・追跡の場合には特徴点座標集合が、それぞれ記憶される。「分類」には、検出された被写体の種類等を格納する。基本的には"被写体"または"背景"を「分類」として記憶するが、利用する被写体検出手段に応じて被写体分類、例えば、文字(テロップ)、動物、人、顔などの意味的な分類も付与してもよい。「重み」は、検出された被写体の面積(画素数)や、特徴点毎の支配領域を表す重み(非特許文献2)を記憶する。また、検出時のその確からしさの評価値も合わせて重みとして記憶してもよい。
The time-series subject
画像単位対応部130は、被写体以外の領域(背景)の動きベクトルを利用したサムネイル生成を行う場合に必要な装置である。背景の動きベクトルが推定されていない場合に、各画像単位の動きベクトルを推定して時系列被写体リスト記憶部104に記憶する。その際の時系列被写体リスト記憶部104の「分類」の欄には"背景"を表す数値など、被写体とは別の分類を設定するものとする。
The image
上記の背景の動きベクトルの算出方法は、例えば、複数時刻のフレーム画像を入力し、それら2つのフレーム画像間の画像単位毎のマッチングをとることで算出可能である。動きベクトルの算出方法としては、既存技術のブロックマッチングや非特許文献2に記載の特徴点追跡技術など種々の技術を利用することができる。動きベクトル算出の単位領域(画像単位)は、例えばブロックマッチングでは画像ブロックを指し、また、特徴点追跡では特徴点である。 The background motion vector calculation method can be calculated, for example, by inputting a frame image at a plurality of times and matching the two frame images for each image unit. As a motion vector calculation method, various techniques such as block matching of existing techniques and a feature point tracking technique described in Non-Patent Document 2 can be used. A unit area (image unit) for motion vector calculation indicates, for example, an image block in block matching, and a feature point in feature point tracking.
サムネイル画像抽出部150は、被写体検出部140にて被写体が消滅したと判定された場合、あるいは、被写体が検出されたままショット終端まで来た場合に動作し、時系列被写体リスト記憶部104に蓄積された情報を利用して、その被写体映像区間からサムネイルを抽出し、その映像フレーム番号、または、抽出されたサムネイルの時刻をサムネイル時刻リスト記憶部105に格納する。
The thumbnail
上記の構成における動作の詳細を以下に示す。以下では、
(1)被写体検出部140においてフレーム間の対応付けが可能であり、被写体の動きのみを利用してサムネイルを抽出する処理;
(2)被写体及び背景の動きを利用してサムネイルを抽出する処理;
に分けて説明する。
Details of the operation in the above configuration will be described below. Below,
(1) Processing for extracting thumbnails using only the movement of a subject, in which the
(2) Processing for extracting thumbnails using the movement of the subject and background;
This will be explained separately.
(1)の処理を図4に示し、(2)の処理を図5に示す。 FIG. 4 shows the process (1), and FIG. 5 shows the process (2).
まず、上記の(1)の処理について説明する。当該処理は装置構成に画像単位対応部130が含まれない場合を示す。
First, the process (1) will be described. This process shows a case where the image
図4は、本発明の一実施の形態における動作のフローチャート(画像ベース被写体検出利用)である。 FIG. 4 is a flowchart of the operation (using image-based subject detection) in one embodiment of the present invention.
ステップ101) 映像入力更新手順:
映像入力部110は、映像の次の処理フレームをフレームバッファ102等へ読み出し、各装置(カット点検出部120、画像単位対応部130、被写体検出部140、サムネイル画像抽出部150)から利用可能にする手順である。処理を初めて開始した際には、カット点検出部120及び被写体検出手順における処理に必要なフレーム数を、例えば、フレームバッファ102に読み出す。例えば特徴点追跡を利用した被写体検出であれば2枚である。
Step 101) Video input update procedure:
The
ステップ102)カット点検出手順:
カット点検出部120は、読み出した処理対象フレーム間にカット点があるかどうか判定し、カット点がある場合は処理を飛ばすために映像入力更新手順(ステップ101)に戻る。カット点がない場合は被写体検出手順(ステップ103)に移行する。
Step 102) Cut point detection procedure:
The cut
ステップ103) 被写体検出手順:
被写体検出部140は、被写体の検出有無を、例えば、特徴点を画像単位として動きによって判定し、時系列被写体リスト記憶部104に格納し、ステップ102に戻る。
Step 103) Subject detection procedure:
The
ステップ104) サムネイル検出手順:
サムネイル画像抽出部150は、ステップ103で格納された時系列被写体リスト記憶部104の情報を基にサムネイルとして抽出するフレーム画像を選択し、選択された画像の映像時刻等をサムネイル時刻リスト記憶部105に記憶する。具体的な手順は図6に後述する。
Step 104) Thumbnail detection procedure:
The thumbnail
ステップ105) 映像が終端であるかを判定する。判定方法は、次のフレームを読み出そうとして、読み出させるかどうかを判定するなど種々の方法がある。映像が終端の場合は、ステップ106に移行し、終端でない場合はステップ101に移行する。 Step 105) It is determined whether the video is the end. As the determination method, there are various methods such as determining whether to read out the next frame. If the video is at the end, the process proceeds to step 106, and if not, the process proceeds to step 101.
ステップ106) 出力部160において、サムネイル時刻リスト記憶部105等、必要なファイル出力の開放やメモリの開放などの終了手順を行う。
Step 106) In the
次に、上記の(2)の処理について説明する。以下では、装置構成に、画像単位対応部130が含まれる場合の処理について説明する。
Next, the process (2) will be described. Hereinafter, processing when the image
図5は、本発明の一実施の形態における動作のフローチャート(画像ベース被写体検出利用)である。同図において、図4と同一の手順については同一のステップ番号を付し、その説明を省略する。 FIG. 5 is a flowchart of the operation (using image-based subject detection) in one embodiment of the present invention. In the figure, the same steps as those in FIG. 4 are denoted by the same step numbers, and the description thereof is omitted.
図5に示す動作は、図4の動作に画像単位対応手順(ステップ201)が追加されたものである。具体的には画像単位対応部130において、各画像単位毎のフレーム間対応をとり、時系列被写体リスト記憶部104に記憶する。画像単位毎のフレーム間の対応をとる方法は、前述のようにブロックマッチング、特徴点追跡手法を用いることで実現可能である。これは、被写体検出手順(ステップ103)に被写体同士の対応付け、あるいは動きベクトル(画像単位対応付け)の処理が入っていない場合に必要となる。
The operation shown in FIG. 5 is obtained by adding an image unit correspondence procedure (step 201) to the operation of FIG. Specifically, in the image
<サムネイルの抽出方法:被写体動きを利用>
次に、上記のステップ104における被写体動きを利用したサムネイルの抽出方法について説明する。
<Thumbnail extraction method: Using subject movement>
Next, a thumbnail extraction method using subject movement in
図6は、本発明の一実施の形態におけるサムネイル画像抽出手順のフローチャートである。 FIG. 6 is a flowchart of a thumbnail image extraction procedure according to an embodiment of the present invention.
ステップ1041) 被写体・背景動き量算出手順
サムネイル画像抽出部150は、時系列被写体リスト記憶部104の情報を利用して被写体及び背景の動き量を算出する。例えば、前述の非特許文献2の手法では、画像単位座標(集合)は特徴点集合で記憶されている。動きベクトルを対応する特徴点の各フレーム間のベクトル差分として、例えば、全被写体の動きベクトル絶対値の中央値を被写体の動き量として算出する。また、背景の動き量をサムネイル抽出条件に利用する場合は、被写体同様に背景の特徴点に関して動きベクトル絶対値の中央値を背景の動き量として算出する。この算出をショット内の全てのフレーム間で行う。その後、必要に応じてその動き量グラフに対して平滑化処理を行うなどの前処理を行う。こうして被写体及び背景の動き量のグラフを作成する。スノーボードを行っている映像に対して作成したグラフの例を図7に示す。なお、被写体検出部140に別の手法を用いた場合、例えば、矩形を画像単位とするオブジェクト認識手法の場合は、被写体領域の矩形重心座標同士のベクトル差を上記被写体動き量とすることで同様の処理を行うことができる。また、被写体・背景動き量を中央値として算出しているが、他の計算方法を用いてもよい。
Step 1041) Subject / Background Motion Amount Calculation Procedure The thumbnail
ステップ1042)サムネイル抽出条件検出手順:
被写体・背景動き量算出手順(ステップ1041)で得られた各動き量のグラフの極大・極小値及び被写体の位置や大きさを考慮してサムネイルを検出する。以下にその検出例を示す。始めに被写体・背景動き量算出手順にて算出された動き量それぞれに対して極大・極小を取る映像時刻を選択する。更に、その各映像時刻前後のある範囲内で被写体の位置、大きさに対する条件を最も満たす映像時刻をそれぞれ選択する。被写体の位置・大きさの評価基準は、例えば、画面中央の垂線と被写体重心座標との距離の逆数(距離が0の場合はある定数)と、また被写体が画面に占める割合とを掛け合わせたものを評価基準(大きな方がより適している)として利用する。そして評価値として被写体の位置及び大きさの評価基準の重み付き和を上記評価値として選択基準に利用することで被写体の位置・大きさを満たす時刻を算出することができる。
Step 1042) Thumbnail extraction condition detection procedure:
A thumbnail is detected in consideration of the maximum and minimum values of the graph of each motion amount obtained in the subject / background motion amount calculation procedure (step 1041) and the position and size of the subject. The detection example is shown below. First, the video time that takes the maximum and minimum values for each of the motion amounts calculated in the subject / background motion amount calculation procedure is selected. Further, the video time that best satisfies the conditions for the position and size of the subject within a certain range before and after each video time is selected. The evaluation criteria for the position and size of the subject are, for example, the product of the reciprocal of the distance between the vertical line at the center of the screen and the subject center-of-gravity coordinates (a constant if the distance is 0) and the ratio of the subject to the screen. Use things as evaluation criteria (larger is better). Then, by using the weighted sum of the evaluation position of the subject position and size as the evaluation value as the evaluation value, the time satisfying the position and size of the subject can be calculated.
なお、被写体と背景を区別せずに合わせた動き量を算出し、極大・極小値をとるサムネイルを検出してもよい。この場合、画面内容全体の変化の様子を表すサムネイルを抽出できる。また、評価値の算出方法は他の任意の算術計算でもよい。 It should be noted that it is also possible to calculate the amount of movement without distinguishing between the subject and the background, and detect thumbnails having maximum and minimum values. In this case, it is possible to extract a thumbnail representing the state of change of the entire screen content. The evaluation value may be calculated by any other arithmetic calculation.
動きの極大値付近で選択された前後の画像を任意の方法で複数枚抽出してもよい(例えば、等間隔で一定枚数抽出するなど)。スノーボードなどのスポーツ映像に対しては映像内の動き、すなわち変化が激しいため、動きの変化を詳しく見られるサムネイルを抽出するために必要となる。 A plurality of images before and after selected near the maximum value of the movement may be extracted by an arbitrary method (for example, a certain number of images are extracted at equal intervals). For sports images such as snowboards, the movement in the image, that is, the change is so severe that it is necessary to extract a thumbnail that allows detailed observation of the change in the movement.
極大・極小を取る映像時刻を選択する際、その山と谷の高さに条件を入れて選択を絞りこんでもよい。例えば、前後の極大・極小の差が一定値以下の場合はその極値は選択しない、などである。被写体、背景あるいは画面全体が大きく動いた時点のサムネイルのみを選択することが可能になる。処理対象映像によって山と谷の高さの条件を変更することでより映像内容を表現したサムネイルを抽出可能になる。 When selecting a video time that takes a maximum or minimum, the selection may be narrowed down by putting conditions into the heights of the peaks and valleys. For example, if the difference between the maximum and minimum values before and after is less than a certain value, the extreme value is not selected. It is possible to select only the thumbnail when the subject, the background, or the entire screen has moved greatly. By changing the conditions of the height of the peaks and valleys depending on the processing target video, it is possible to extract thumbnails expressing the video content.
被写体動き、背景動き共に突発的にインパルス応答を示し、被写体・背景の動きにあまり差がない場合は有意な画像でない場合が多いため検出しなくてもよい。この理由は「背景動きを利用したサムネイル抽出」の項で後述する。 If the subject motion and the background motion suddenly show an impulse response, and there is not much difference between the subject and the background motion, it may not be detected because it is often not a significant image. The reason for this will be described later in the section “Thumbnail extraction using background motion”.
また、時系列被写体リスト記憶部104の被写体の分類に人や車などの分類が記憶されている場合には、特定の被写体の動き量のみを利用して上記サムネイル選択を行ってもよい。この場合、注目被写体のみの変化に着目したサムネイルを抽出できる。
Further, when a classification such as a person or a car is stored in the classification of the subject in the time-series subject
ステップ1043)検出時刻記憶手順:
サムネイル抽出条件検出手順(ステップ1042)で検出されたサムネイル時刻をサムネイル時刻リスト記憶部104に格納する。または、映像入力部110により該当時刻の画像を取得し、ファイル、メモリ等に記憶してもよい。
Step 1043) Detection time storage procedure:
The thumbnail time detected in the thumbnail extraction condition detection procedure (step 1042) is stored in the thumbnail time
<サムネイル画像抽出手順:背景動きを利用したサムネイル抽出>
例として、ドラマ映像に対して、被写体・背景動き算出手順(ステップ1041)で作成した被写体・背景のグラフを図8に示す。
<Thumbnail image extraction procedure: Thumbnail extraction using background motion>
As an example, FIG. 8 shows a graph of the subject / background created in the subject / background motion calculation procedure (step 1041) for the drama video.
サムネイル抽出条件を背景動きの極大・極小とすることで、カメラの動きに応じたサムネイルを抽出できる。視点を切り替えるため、あるいは風景を見渡すためにカメラを動かした際の場面の移り変わりを表現したサムネイルを抽出可能である。 By setting the thumbnail extraction condition to the maximum / minimum of background motion, it is possible to extract thumbnails according to camera movement. It is possible to extract thumbnails that represent scene transitions when the camera is moved to switch the viewpoint or overlook the landscape.
なお、視点切り換えと風景撮影を区別して検出する方法は、突発的に背景動き及び被写体動きの極大値が共に閾値以上で、両者の比が一定値以下になる場合を"視点切り換え"とし、それ以外に発生した背景動きを"風景撮影"と見なすことで実現可能である。すなわち、これは"視点切り換え"の場合はカメラを動かす途中の場面には興味がないため、"風景撮影"に比べてカメラを素早く動かすことを仮定したものである。なお、突発性の評価は、例えば、極大値の中央値より一定以上大きな極大値の50%地点の幅(図8(b))が一定値以下の場合を"突発的"と見なすことで行うことができる。 The method of distinguishing and detecting viewpoint switching and landscape shooting is “viewpoint switching” when the maximum value of both background motion and subject motion is suddenly both above the threshold and the ratio of both is below a certain value. This can be realized by regarding the background movement that occurs in addition to the "landscape photography". That is, in the case of “viewpoint switching”, it is assumed that the camera is moved more quickly than “landscape shooting” because there is no interest in the scene in the middle of moving the camera. Note that the evaluation of the suddenness is performed by, for example, considering that the case where the width of the 50% point (FIG. 8B) of the maximum value that is greater than or equal to the central value of the maximum value is equal to or less than a certain value is “suddenly”. be able to.
なお、図8(c)に示すような、被写体と背景動きがほぼ等しい区間は被写体がアップで写った区間である(なお、非特許文献2ではこれを利用してカメラワークに生じる急激な変化を検出することでアップショットを検出している)。背景サムネイルの抽出では、例えば、この区間を事前に除くことで過剰検出を防ぐことが可能である。検出方法は検出された背景・被写体動きの極大・極小値の差分絶対値を連続してある個数だけ平均した値が閾値以下として検出する、あるいは、極大・極小値の代わりにその区間内の差分絶対値の平均を利用するなどして検出可能である。 Note that a section where the subject and the background motion are almost equal as shown in FIG. 8C is a section in which the subject is photographed up (in Non-Patent Document 2, abrupt changes that occur in camera work using this are shown. To detect up-shots). In the extraction of the background thumbnail, for example, it is possible to prevent excessive detection by removing this section in advance. The detection method detects the difference between the detected background / subject movement maximum / minimum difference values continuously as a certain number or less as the threshold value, or instead of the maximum / minimum values, the difference within the interval is detected. It can be detected by using an average of absolute values.
<フォローショット検出>
本発明は、上記の背景動きに加えて、被写体動きも考慮することで、被写体に注目して追跡撮影したフォローショットを検出可能である。図9にグラフの例を示す。
<Follow shot detection>
In the present invention, in addition to the background motion described above, the subject motion is also taken into consideration, so that it is possible to detect a follow shot that is tracked and photographed while paying attention to the subject. FIG. 9 shows an example of the graph.
注目被写体が歩き、カメラがそれを追ったとき、被写体の映像の見た目上の動きは比較的小さくなる一方、カメラの動きが発生する。サムネイル画像抽出部150がそれを検出することで、フォローショットを検出できる。具体例としては、カメラワーク区間をカメラ動きの極小値間(図9(a))とし、その区間内の被写体動き平均値を算出し、背景極大値の前後近傍に被写体動き極小値が存在し、その極小値が被写体動き平均値に比して小さい場合にフォローショットとして検出する。
When the subject of interest walks and the camera follows it, the apparent movement of the subject image becomes relatively small while the movement of the camera occurs. When the thumbnail
検出されたフォローショット前後で前述の「サムネイルの抽出方法:被写体動きを利用」、「サムネイル画像抽出手順:背景動きを利用したサムネイル抽出」の手順と同様にサムネイルを抽出することで、注目被写体を含むサムネイルを抽出することが可能となる。 The subject of interest is extracted by extracting thumbnails before and after the detected follow shot in the same manner as the procedures of “Thumbnail Extraction Method: Using Subject Movement” and “Thumbnail Image Extraction Procedure: Thumbnail Extraction Using Background Motion” described above. It is possible to extract the thumbnails that are included.
<出力部:スライドショー提示の方法>
出力部160では、サムネイル時刻リスト記憶部105の映像フレーム番号に基づいてフレームバッファ102からサムネイルを抽出し、そのサムネイルを、例えば、画像を順次表示していくスライドショーのような提示方法でユーザに提示するのが効果的である。
<Output unit: slideshow presentation method>
The
スライドショーを提示する際に、例えば、動きの極大値にあたるサムネイルは動きの極小値にあたるサムネイルより短く表示する。また、画像と画像を入れ替える際にディゾルブなどの効果を入れることで、より動きを強調したスライドショーとなる。 When presenting a slide show, for example, a thumbnail corresponding to the maximum value of movement is displayed shorter than a thumbnail corresponding to the minimum value of movement. Also, by adding an effect such as dissolve when the images are exchanged, a slide show with more enhanced motion is obtained.
スライドショーとして表示するサムネイル検出方法として適するサムネイル抽出の方法は対象映像によって異なる。スポーツのように被写体の動きが重要な場合は、被写体動きを利用したサムネイル抽出が適している。また、ドラマのように場面の転換も重要な場合は、被写体動きを利用する手法及び背景動きを利用する方法の両者の方法で抽出されたサムネイルを利用する。個人が撮影した映像など撮影者が注目した被写体を追い続ける傾向がある場合は、前述のフォローショットのサムネイルを利用することも効果的である。 A thumbnail extraction method suitable as a thumbnail detection method for displaying as a slide show differs depending on the target video. When the movement of the subject is important as in sports, thumbnail extraction using the subject movement is suitable. In addition, when the change of the scene is important as in a drama, thumbnails extracted by both the method using the subject motion and the method using the background motion are used. If there is a tendency to keep track of the subject that the photographer has paid attention to, such as a video taken by an individual, it is also effective to use the thumbnail of the follow shot described above.
なお、図3に示す映像処理装置の各構成要素の動作をプログラムとして構築し、映像処理装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。 Note that the operation of each component of the video processing apparatus shown in FIG. 3 can be constructed as a program and installed in a computer used as the video processing apparatus, or can be distributed via a network.
また、構築されたプログラムをハードディスクや、フレキシブルディスク・CD−ROM等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。 Further, the constructed program can be stored in a portable storage medium such as a hard disk, a flexible disk, or a CD-ROM, and can be installed or distributed in a computer.
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications can be made within the scope of the claims.
本発明は、映像から映像内容を表す代表画像を抽出する技術に適用可能である。 The present invention can be applied to a technique for extracting a representative image representing video content from a video.
101 映像記憶部
102 映像フレーム記憶手段、フレームバッファ
103 被写体映像区間リスト記憶部
104 時系列被写体リスト記憶部、時系列被写体リスト記憶部
105 サムネイル時刻記憶手段、サムネイル時刻リスト記憶部
110 映像入力手段、映像入力部
120 カット点検出部
130 画像単位対応部
140 被写体検出手段、被写体検出部
150 サムネイル画像抽出手段、サムネイル画像抽出部
160 出力部
101
Claims (10)
映像入力手段が、映像を入力し、映像フレーム記憶手段に格納する映像入力ステップと、
被写体検出手段が、前記映像フレーム記憶手段から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出ステップと、
サムネイル画像抽出手段が、前記時系列被写体リスト記憶手段に格納された前記被写体の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と前記被写体位置との距離の逆数と、前記被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出ステップと、
を行うことを特徴とする映像処理方法。 A video processing method for extracting a representative image representing video content from a video,
A video input means for inputting video and storing the video in the video frame storage means;
A subject detection step in which a subject detection means acquires a video frame from the video frame storage means, detects a subject in the video frame, performs frame association, and stores it in the time-sequential subject list storage means together with the position of the subject. When,
The thumbnail image extraction means calculates the amount of movement of the subject stored in the time-series subject list storage means, and sets the time point of the calculated maximum or minimum value of the movement amount as the extraction time point. A thumbnail image extraction step of extracting a thumbnail image based on the weighted sum of the reciprocal of the distance between the center of the screen and the subject position and the ratio of the subject area to the screen based on the evaluation value ;
A video processing method characterized by:
映像入力手段が、映像を入力し、映像フレーム記憶手段に格納する映像入力ステップと、
被写体検出手段が、前記映像フレーム記憶手段から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出ステップと、
画像単位対応手段が、画像単位毎のフレーム間の動きベクトルを算出し、背景の情報を前記時系列被写体リスト記憶手段に格納する画像単位対応ステップと、
サムネイル画像抽出手段が、前記時系列被写体リスト記憶手段に格納された情報を利用して、背景の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と前記被写体位置との距離の逆数と、前記被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出ステップと、
を行うことを特徴とする映像処理方法。 A video processing method for extracting a representative image representing video content from a video,
A video input means for inputting video and storing the video in the video frame storage means;
A subject detection step in which a subject detection means acquires a video frame from the video frame storage means, detects a subject in the video frame, performs frame association, and stores it in the time-sequential subject list storage means together with the position of the subject. When,
An image unit corresponding unit calculates a motion vector between frames for each image unit, and stores background information in the time-series subject list storage unit;
The thumbnail image extraction means calculates the amount of motion of the background using the information stored in the time-series subject list storage means, and sets the time point of the calculated maximum or minimum value of the motion amount as the extraction time point. , A weighted sum of the reciprocal of the distance between the center of the screen and the subject position and the ratio of the subject area to the screen as an evaluation value, and a thumbnail for extracting thumbnail images based on the evaluation value An image extraction step;
A video processing method characterized by:
前記時系列被写体リスト記憶手段に格納された情報を利用して、前記被写体と背景の両者の動き量を算出し、前記被写体の動き量及び前記背景の動き量の一方の極大・極小値の時点を取り出し、取り出した時点の周辺において、他方の動き量による条件を加えて決まる時点を前記抽出時点とする
請求項2記載の映像処理方法。 In the thumbnail image extraction step,
Using the information stored in the time-series subject list storage means, the amount of movement of both the subject and the background is calculated , and the time point of one of the maximum and minimum values of the amount of movement of the subject and the amount of movement of the background And the time determined by adding the condition based on the amount of movement in the vicinity of the time of extraction is defined as the extraction time.
The video processing method according to claim 2 .
前記時系列被写体リスト記憶手段に格納された情報を利用して、前記被写体と背景の両者の動き量を算出し、背景の動き量の2つの連続する極小値間における前記被写体の動き量の平均値を算出し、前記2つの連続する極小値間にある背景の動き量の極大値の前後近傍に前記被写体の動き量の極小値が存在し、かつ、その極小値が前記被写体の動き量の平均値より小さい場合に、前記被写体の動き量の極小値の時点を前記抽出時点とするUsing the information stored in the time-series subject list storage means, the amount of movement of both the subject and the background is calculated, and the average amount of movement of the subject between two consecutive minimum values of the amount of background movement is calculated. A minimum value of the subject motion amount exists in the vicinity of the maximum value of the background motion amount between the two consecutive minimum values, and the minimum value is a value of the subject motion amount. When it is smaller than the average value, the time point of the minimum amount of movement of the subject is set as the extraction time point.
請求項2記載の映像処理方法。The video processing method according to claim 2.
映像を入力し、映像フレーム記憶手段に格納する映像入力手段と、
前記映像フレーム記憶手段から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出手段と、
前記時系列被写体リスト記憶手段に格納された前記被写体の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と前記被写体位置との距離の逆数と、前記被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出手段と、
を有することを特徴とする映像処理装置。 A video processing apparatus for extracting a representative image representing video content from video,
Video input means for inputting video and storing it in video frame storage means;
Subject detection means for acquiring a video frame from the video frame storage means, detecting a subject in the video frame, performing frame association, and storing in the time-series subject list storage means together with the position of the subject;
Calculating a movement amount before Symbol time series the object stored in the object list storage means, the time of the maximum and minimum values of the calculated motion amount is extracted point in the periphery of the extraction time, the center of the screen A thumbnail image extraction means for extracting a thumbnail image based on a weighted sum of the reciprocal of the distance to the subject position and the ratio of the subject area to the screen as an evaluation value ;
A video processing apparatus comprising:
映像を入力し、映像フレーム記憶手段に格納する映像入力手段と、
前記映像フレーム記憶手段から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出手段と、
画像単位毎のフレーム間の動きベクトルを算出し、背景の情報を前記時系列被写体リスト記憶手段に格納する画像単位対応手段と、
前記時系列被写体リスト記憶手段に格納された情報を利用して、背景の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と前記被写体位置との距離の逆数と、前記被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出手段と、
を有することを特徴とする映像処理装置。 A video processing apparatus for extracting a representative image representing video content from video,
Video input means for inputting video and storing it in video frame storage means;
Subject detection means for acquiring a video frame from the video frame storage means, detecting a subject in the video frame, performing frame association, and storing in the time-series subject list storage means together with the position of the subject;
An image unit correspondence unit that calculates a motion vector between frames for each image unit, and stores background information in the time-series subject list storage unit;
Using the information stored before Symbol time series object list storage means, calculates the amount of motion of the background, the point of maximum and minimum values of the calculated motion amount is extracted point in the periphery of the extraction point A thumbnail image extracting means for extracting a thumbnail image based on a weighted sum of a reciprocal of the distance between the center of the screen and the subject position and a ratio of the subject area to the screen based on the evaluation value ;
A video processing apparatus comprising:
前記時系列被写体リスト記憶手段に格納された情報を利用して、前記被写体と背景の両者の動き量を算出し、前記被写体の動き量及び前記背景の動き量の一方の極大・極小値の時点を取り出し、取り出した時点の周辺において、他方の動き量による条件を加えて決まる時点を前記抽出時点とする
請求項6記載の映像処理装置。 The thumbnail image extraction means includes
Using the information stored in the time-series subject list storage means, the amount of movement of both the subject and the background is calculated , and the time point of one of the maximum and minimum values of the amount of movement of the subject and the amount of movement of the background And the time determined by adding the condition based on the amount of movement in the vicinity of the time of extraction is defined as the extraction time.
The video processing apparatus according to claim 6 .
前記時系列被写体リスト記憶手段に格納された情報を利用して、前記被写体と背景の両者の動き量を算出し、背景の動き量の2つの連続する極小値間における前記被写体の動き量の平均値を算出し、前記2つの連続する極小値間にある背景の動き量の極大値の前後近傍に前記被写体の動き量の極小値が存在し、かつ、その極小値が前記被写体の動き量の平均値より小さい場合に、前記被写体の動き量の極小値の時点を前記抽出時点とするUsing the information stored in the time-series subject list storage means, the amount of movement of both the subject and the background is calculated, and the average amount of movement of the subject between two consecutive minimum values of the amount of background movement is calculated. A minimum value of the subject motion amount exists in the vicinity of the maximum value of the background motion amount between the two consecutive minimum values, and the minimum value is a value of the subject motion amount. When it is smaller than the average value, the time point of the minimum amount of movement of the subject is set as the extraction time point.
請求項6記載の映像処理装置。The video processing apparatus according to claim 6.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008148219A JP4909315B2 (en) | 2008-06-05 | 2008-06-05 | Video processing apparatus and method, program, and computer-readable recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008148219A JP4909315B2 (en) | 2008-06-05 | 2008-06-05 | Video processing apparatus and method, program, and computer-readable recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009296344A JP2009296344A (en) | 2009-12-17 |
JP4909315B2 true JP4909315B2 (en) | 2012-04-04 |
Family
ID=41544102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008148219A Expired - Fee Related JP4909315B2 (en) | 2008-06-05 | 2008-06-05 | Video processing apparatus and method, program, and computer-readable recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4909315B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014170980A (en) * | 2011-05-12 | 2014-09-18 | Nec Corp | Information processing apparatus, information processing method, and information processing program |
KR101340308B1 (en) * | 2012-06-08 | 2013-12-11 | 주식회사 마이씨에프 | Video processing apparatus and method |
JP7317954B2 (en) * | 2019-05-22 | 2023-07-31 | 三菱電機ビルソリューションズ株式会社 | Video processing device and video processing method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3131560B2 (en) * | 1996-02-26 | 2001-02-05 | 沖電気工業株式会社 | Moving image information detecting device in moving image processing system |
JP2003348528A (en) * | 2002-05-22 | 2003-12-05 | Nippon Telegr & Teleph Corp <Ntt> | Representative image selection method, representative image selection apparatus, representative image selection program and recording medium for representative image selection program |
JP4168940B2 (en) * | 2004-01-26 | 2008-10-22 | 三菱電機株式会社 | Video display system |
JP4259421B2 (en) * | 2004-08-02 | 2009-04-30 | 日本電信電話株式会社 | Representative image selection method and program for video |
JP4744345B2 (en) * | 2006-04-18 | 2011-08-10 | シャープ株式会社 | Thumbnail creation method and moving picture data playback device |
-
2008
- 2008-06-05 JP JP2008148219A patent/JP4909315B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009296344A (en) | 2009-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6561830B2 (en) | Information processing system, information processing method, and program | |
JP5227911B2 (en) | Surveillance video retrieval device and surveillance system | |
JP5247356B2 (en) | Information processing apparatus and control method thereof | |
JP4775306B2 (en) | Image processing apparatus, imaging apparatus, image display control method, and computer program | |
JP5106271B2 (en) | Image processing apparatus, image processing method, and computer program | |
JP4852652B2 (en) | Electronic zoom device, electronic zoom method, and program | |
JP7131599B2 (en) | Information processing system, information processing method and program | |
CN107430780B (en) | Method for output creation based on video content characteristics | |
JPWO2006025272A1 (en) | Video classification device, video classification program, video search device, and video search program | |
JP2009539273A (en) | Extract keyframe candidates from video clips | |
Sun et al. | Moving foreground object detection via robust SIFT trajectories | |
US10146992B2 (en) | Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type | |
US11189035B2 (en) | Retrieval device, retrieval method, and computer program product | |
JP2010140425A (en) | Image processing system | |
JP2012105205A (en) | Key frame extractor, key frame extraction program, key frame extraction method, imaging apparatus, and server device | |
JP4909315B2 (en) | Video processing apparatus and method, program, and computer-readable recording medium | |
JP2004348303A (en) | Object detection system and program | |
JP3469122B2 (en) | Video segment classification method and apparatus for editing, and recording medium recording this method | |
JP2011211757A (en) | Electronic zoom apparatus, electronic zoom method, and program | |
JP6737247B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP6768222B2 (en) | Image processing device, image processing method and image processing program | |
US20210407264A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6841181B2 (en) | Image processing device, image processing method and image processing program | |
JP6756311B2 (en) | Image processing device, image processing method and image processing program | |
JP6768223B2 (en) | Image processing device, image processing method and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100817 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110927 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4909315 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |