JP4914659B2 - VIDEO PROCESSING DEVICE, METHOD THEREOF, PROGRAM THEREOF, AND RECORDING MEDIUM CONTAINING THE PROGRAM - Google Patents
VIDEO PROCESSING DEVICE, METHOD THEREOF, PROGRAM THEREOF, AND RECORDING MEDIUM CONTAINING THE PROGRAM Download PDFInfo
- Publication number
- JP4914659B2 JP4914659B2 JP2006184674A JP2006184674A JP4914659B2 JP 4914659 B2 JP4914659 B2 JP 4914659B2 JP 2006184674 A JP2006184674 A JP 2006184674A JP 2006184674 A JP2006184674 A JP 2006184674A JP 4914659 B2 JP4914659 B2 JP 4914659B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- section
- video processing
- frame image
- shooting state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、撮影された映像の映像データを処理する映像処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体に関する。 The present invention relates to a video processing apparatus that processes video data of a captured video, a method thereof, a program thereof, and a recording medium on which the program is recorded.
従来、映像データを処理する構成が知られている(例えば、特許文献1および特許文献2参照)。 Conventionally, a configuration for processing video data is known (see, for example, Patent Document 1 and Patent Document 2).
特許文献1に記載のものは、入力された映像の全ての映像区間を対象にして、各フレーム上の動きベクトルの平均ベクトルの大きさと、加速度ベクトルの平均ベクトルの大きさを基準に、各映像区間を分類する。そして、この各映像区間の代表画像を、その表示位置を変えて表示する構成が採られている。 The one described in Patent Document 1 is based on the average vector size of motion vectors on each frame and the average vector size of acceleration vectors for all video segments of the input video. Classify the interval. And the structure which changes the display position and displays the representative image of each video area is taken.
特許文献2に記載のものは、元の画像と連続する画像との画像全体の類似度による全体変化量、および、局所的な類似度による局所集合変化量を元に、与えられた閾値と比較して、手ブレ、急激なカメラワーク、それ以外の安定したカメラワークを算出する。こうした各区間を元に同一ショットを分類して、同一ショット区間上で複数の区間に分割する。そして、この分割した区間から代表画像を選出して、表示する構成が採られている。
The one described in
しかしながら、特許文献1および特許文献2に記載のような構成では、フレーム単位での特徴量を利用して、区間分割およびその区間の評価を実施しているため、例えば手ブレの大きさが異なる区間が存在する場合、この大きさの差異を反映した評価を実施できないおそれがあるという問題点が一例として挙げられる。
However, in the configurations as described in Patent Document 1 and
本発明の目的は、このような実情などに鑑みて、映像の所定の映像区間に対する特性評価を適切に実施可能な映像処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体を提供することである。 In view of such circumstances, an object of the present invention is to provide a video processing apparatus, a method thereof, a program thereof, and a recording medium on which the program is recorded, capable of appropriately performing characteristic evaluation on a predetermined video section of a video. Is to provide.
請求項1に記載の発明は、撮影装置で撮影された映像の映像データを処理する映像処理装置であって、前記映像は、表示順序が連続する複数のフレーム画像で構成された映像区間を有し、当該映像処理装置は、前記映像データを取得する映像データ取得手段と、この取得された映像データに基づいて、前記フレーム画像における少なくとも1つの部分が動く速度を、各フレーム画像について検出する動き速度検出手段と、前記映像区間に含まれる前記フレーム画像について検出された前記動く速度に基づいて、当該映像区間における動く速度の分散を、動く速度のばらつきとして検出するばらつき検出手段と、この検出された前記動く速度の分散に基づいて、前記映像区間の特性を評価する映像評価手段と、を具備し、前記映像評価手段は、前記ばらつき検出手段により検出された前記動く速度の分散が所定の閾値より小さい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続している安定な状態であると評価し、前記ばらつき検出手段により検出された前記動く速度の分散が前記閾値より大きい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続していない不安定な状態であると評価することを特徴とした映像処理装置である。
請求項2に記載の発明は、撮影装置で撮影された映像の映像データを処理する映像処理装置であって、前記映像は、表示順序が連続する複数のフレーム画像で構成された映像区間を有し、当該映像処理装置は、前記映像データを取得する映像データ取得手段と、この取得された映像データに基づいて、前記フレーム画像における少なくとも1つの部分が動く速度を、各フレーム画像について検出する動き速度検出手段と、前記映像区間に含まれる前記フレーム画像について検出された前記動く速度に基づいて、当該映像区間における動く速度の大きさのダイナミックレンジを、動く速度のばらつきとして検出するばらつき検出手段と、この検出された前記動く速度の大きさのダイナミックレンジに基づいて、前記映像区間の特性を評価する映像評価手段と、を具備し、前記映像評価手段は、前記ばらつき検出手段により検出された前記動く速度の大きさのダイナミックレンジが所定の閾値より小さい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続している安定な状態であると評価し、前記ばらつき検出手段により検出された前記動く速度の大きさのダイナミックレンジが前記閾値より大きい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続していない不安定な状態であると評価することを特徴とした映像処理装置である。
According to a first aspect of the present invention, there is provided a video processing device for processing video data of a video shot by a shooting device, wherein the video has a video section made up of a plurality of frame images in which the display order is continuous. The video processing apparatus includes a video data acquisition unit that acquires the video data, and a motion that detects, for each frame image, a speed at which at least one portion of the frame image moves based on the acquired video data. Based on the moving speed detected for the frame image included in the video section, a variation detecting means for detecting a moving speed variance in the video section as a moving speed variation, on the basis of the variance of the velocity of movement it was, said comprising a video evaluation means for evaluating the characteristics of the video section, and the image evaluation means, When the variance of the moving speed detected by the variation detecting means is smaller than a predetermined threshold, the characteristic of the video section is a stable state in which each frame image of the video section is smoothly continuous. When the variance of the moving speed detected by the variation detection unit is larger than the threshold value, the characteristics of the video section are unstable in a state where each frame image of the video section is not smoothly continuous. It is the video processing device characterized by evaluating that it is.
The invention described in
請求項13に記載の発明は、映像処理装置にて、撮影装置で撮影された映像の映像データを処理する映像処理方法であって、前記映像は、表示順序が連続する複数のフレーム画像で構成された映像区間を有し、前記映像処理装置は、前記映像データを取得し、この取得された映像データに基づいて、前記フレーム画像における少なくとも1つの部分が動く速度を、各フレーム画像について検出し、前記映像区間に含まれる前記フレーム画像について検出された前記動く速度に基づいて、当該映像区間における動く速度の分散をばらつきとして検出し、この検出された前記動く速度の分散に基づいて、前記動く速度の分散が所定の閾値より小さい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続している安定な特性であると評価し、前記動く速度の分散が前記閾値より大きい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続していない不安定な特性であると評価して、前記映像区間の特性を評価することを特徴とする映像処理方法である。
請求項14に記載の発明は、映像処理装置にて、撮影装置で撮影された映像の映像データを処理する映像処理方法であって、前記映像は、表示順序が連続する複数のフレーム画像で構成された映像区間を有し、前記映像処理装置は、前記映像データを取得し、この取得された映像データに基づいて、前記フレーム画像における少なくとも1つの部分が動く速度を、各フレーム画像について検出し、前記映像区間に含まれる前記フレーム画像について検出された前記動く速度に基づいて、当該映像区間における動く速度の大きさのダイナミックレンジをばらつきとして検出し、この検出された前記動く速度の大きさのダイナミックレンジに基づいて、前記動く速度の大きさのダイナミックレンジが所定の閾値より小さい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続している安定な特性であると評価し、前記動く速度の大きさのダイナミックレンジが前記閾値より大きい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続していない不安定な特性であると評価して、前記映像区間の特性を評価することを特徴とする映像処理方法である。
The invention according to claim 13 is a video processing method for processing video data of a video shot by a shooting device in a video processing device , wherein the video is composed of a plurality of frame images whose display order is continuous. is has a video section has, the image processing apparatus acquires the image data, on the basis of the acquired image data, at least the speed of one of the parts moves in the frame image, and detects for each frame image , on the basis of the said moving speed detected for the frame pictures included in the video section, detects the variance of the velocity of movement in the video segment as a variation, based on the variance of the detected said moving speed, moving said When the variance of the speed is smaller than a predetermined threshold, the characteristics of the video section are the same as those in which each frame image of the video section is smoothly continuous. When the variance of the moving speed is greater than the threshold value, the characteristics of the video section are unstable characteristics in which each frame image of the video section is not smoothly continuous. A video processing method characterized by evaluating and evaluating characteristics of the video section .
The invention according to claim 14 is a video processing method for processing video data of a video shot by a shooting device in a video processing device, wherein the video is composed of a plurality of frame images whose display order is continuous. The video processing device acquires the video data, and detects, for each frame image, the speed at which at least one portion of the frame image moves based on the acquired video data. Based on the moving speed detected for the frame image included in the video section, a dynamic range of the moving speed magnitude in the video section is detected as variation, and the detected moving speed magnitude is determined. Based on the dynamic range, when the dynamic range of the magnitude of the moving speed is smaller than a predetermined threshold, The characteristic is evaluated as a stable characteristic in which each frame image of the video section is smoothly continuous, and when the dynamic range of the moving speed is larger than the threshold, the characteristic of the video section The video processing method is characterized in that each frame image in the video section is evaluated as an unstable characteristic that is not smoothly continuous, and the characteristic of the video section is evaluated.
請求項15に記載の発明は、請求項13に記載の映像処理方法を映像処理装置に実行させることを特徴とした映像処理プログラムである。 A fifteenth aspect of the invention is a video processing program that causes a video processing apparatus to execute the video processing method according to the thirteenth aspect.
請求項16に記載の発明は、請求項14に記載の映像処理方法を映像処理装置に実行させることを特徴とした映像処理プログラムである。 According to a sixteenth aspect of the present invention, there is provided a video processing program that causes a video processing apparatus to execute the video processing method according to the fourteenth aspect.
請求項17に記載の発明は、請求項15に記載の映像処理プログラムが映像処理装置に読取可能に記録されたことを特徴とした映像処理プログラムを記録した記録媒体である。
請求項18に記載の発明は、請求項16に記載の映像処理プログラムが映像処理装置に読取可能に記録されたことを特徴とした映像処理プログラムを記録した記録媒体である。
According to a seventeenth aspect of the present invention, there is provided a recording medium on which a video processing program is recorded, wherein the video processing program according to the fifteenth aspect is recorded in a readable manner on the video processing device .
According to an eighteenth aspect of the present invention, there is provided a recording medium on which a video processing program is recorded, wherein the video processing program according to the sixteenth aspect is recorded in a readable manner on the video processing device.
以下に、本発明の一実施の形態を図面に基づいて説明する。この一実施の形態では、撮影装置で撮影された映像における所定の映像区間の特性を評価して、報知する構成を例示して説明する。
図1は、本発明の一実施の形態に係る映像処理装置の概略構成を示すブロック図である。図2は、ズームインして撮影されたフレーム画像における動きベクトルを示す模式図である。図3は、左方向へパンして撮影されたフレーム画像における動きベクトルを示す模式図である。図4は、映像を複数の映像区間に分割した状態を示す模式図である。図5は、安定な静止区間の表示結果画面の概略構成を示す模式図である。図6は、不安定な静止区間の表示結果画面の概略構成を示す模式図である。図7は、安定なズーム区間の表示結果画面の概略構成を示す模式図である。図8は、不安定なズーム区間の表示結果画面の概略構成を示す模式図である。図9は、安定なパン区間の表示結果画面の概略構成を示す模式図である。図10は、不安定なパン区間の表示結果画面の概略構成を示す模式図である。図11は、安定な手ブレ区間の表示結果画面の概略構成を示す模式図である。図12は、不安定な手ブレ区間の表示結果画面の概略構成を示す模式図である。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In this embodiment, a configuration for evaluating and notifying characteristics of a predetermined video section in a video shot by a shooting device will be described as an example.
FIG. 1 is a block diagram showing a schematic configuration of a video processing apparatus according to an embodiment of the present invention. FIG. 2 is a schematic diagram illustrating a motion vector in a frame image captured by zooming in. FIG. 3 is a schematic diagram illustrating a motion vector in a frame image shot by panning leftward. FIG. 4 is a schematic diagram illustrating a state in which a video is divided into a plurality of video sections. FIG. 5 is a schematic diagram illustrating a schematic configuration of a display result screen of a stable still section. FIG. 6 is a schematic diagram illustrating a schematic configuration of a display result screen of an unstable stationary section. FIG. 7 is a schematic diagram illustrating a schematic configuration of a display result screen of a stable zoom section. FIG. 8 is a schematic diagram showing a schematic configuration of a display result screen of an unstable zoom section. FIG. 9 is a schematic diagram illustrating a schematic configuration of a display result screen of a stable bread section. FIG. 10 is a schematic diagram illustrating a schematic configuration of a display result screen of an unstable pan section. FIG. 11 is a schematic diagram illustrating a schematic configuration of a display result screen of a stable camera shake section. FIG. 12 is a schematic diagram illustrating a schematic configuration of a display result screen of an unstable camera shake section.
[映像処理装置の構成]
図1において、100は、映像処理装置である。この映像処理装置100は、ストレージ10から映像データを取得して、この映像データの映像30(図4参照)における所定の映像区間の特性を評価する。そして、この評価結果を報知するとともに、映像データを適宜編集する。
そして、映像処理装置100は、報知手段としての表示手段110と、入力手段120と、映像データ取得手段としても機能する動きベクトル演算手段としての動き解析手段130と、動き方向検出手段および撮影状態判定手段としてのカメラワーク判定手段140と、ばらつき検出手段としても機能する映像分割手段150と、動き速度検出手段としてのカメラワーク速度算出手段160と、ばらつき検出手段としての速度分散算出手段170と、映像評価手段180と、処理部190と、などを備えている。
[Configuration of video processing device]
In FIG. 1,
The
表示手段110は、処理部190にて制御され処理部190からの所定の画像を表示させるための画像信号を画面表示させる。この表示手段110としては、例えば液晶パネルや有機EL(Electro Luminescence)パネル、PDP(Plasma Display Panel)、CRT(Cathode-Ray Tube)、FED(Field Emission Display)、電気泳動ディスプレイパネルなどが例示できる。
この表示手段110に表示させる画像としては、映像データに基づく映像30や、映像区間の特性評価結果を表す評価結果画面700(例えば図5参照)などが例示できる。
The
Examples of the image displayed on the
入力手段120は、例えばキーボードやマウスなどで、入力操作される図示しない各種操作ボタンや操作つまみなどを有している。これら操作ボタンや操作つまみなどの入力操作は、映像処理装置100の動作内容の設定入力や、映像30を編集するか否かの設定入力などである。
そして、入力手段120は、設定事項の入力操作により、設定事項に対応する入力信号を処理部190へ適宜出力して設定入力させる。なお、入力操作としては、操作ボタンや操作つまみなどの操作に限らず、例えば表示手段110に設けられたタッチパネルによる入力操作や、音声による入力操作などにより、各種設定事項を設定入力する構成としてもできる。
The
Then, the
動き解析手段130は、ストレージ10と、カメラワーク判定手段140と、カメラワーク速度算出手段160と、に接続されている。
動き解析手段130は、図示しない撮影装置で撮影され、ストレージ10から映像信号として出力される映像データを取得する。そして、この映像データに基づいて、映像30を構成する複数のフレーム画像20(例えば、図2参照)の動きベクトル22(例えば、図2参照)を演算する。
なお、ストレージ10としては、HD(Hard Disc)、DVD(Digital Versatile Disc)、光ディスク、メモリカードなどの記録媒体に読み出し可能に記憶するドライブやドライバなどが例示できる。
The
The
Examples of the
具体的には、動き解析手段130は、例えば図2および図3に示すように、フレーム画像20を左右方向に8分割、かつ、上下方向に6分割して得られる48個の分割領域21について、動きベクトル22をそれぞれ演算する。
この動きベクトル22は、フレーム画像20における分割領域21に対応する部分が動く速度、および、動く方向を表している。
なお、ここでは、内容を理解しやすくするために、一部の分割領域21および動きベクトル22についてのみ符号を付したが、図2および図3に示された全ての矢印が動きベクトル22に対応し、矢印を囲む四角形の領域が分割領域21に対応する。
また、動き解析手段130は、各フレーム画像20の分割領域21および動きベクトル22に関する動きベクトル情報を生成する。そして、この動きベクトル情報を映像データとともに、カメラワーク判定手段140と、カメラワーク速度算出手段160と、へ出力する。
Specifically, for example, as shown in FIGS. 2 and 3, the
This
Here, in order to make the contents easy to understand, only a part of the divided
In addition, the
カメラワーク判定手段140は、映像分割手段150に接続されている。
カメラワーク判定手段140は、動き解析手段130から映像データおよび動きベクトル情報を取得する。そして、これらに基づいて、各フレーム画像20における撮影状態としてのカメラワークを判定して、このカメラワークに関するカメラワーク情報を生成する。
The camera
The camera
具体的には、カメラワーク判定手段140は、動きベクトル情報に基づいて、フレーム画像20における分割領域21ごとの動きベクトル22の向きを認識する。
そして、所定数以上の動きベクトル22の大きさが略0であることを認識すると、このフレーム画像20の撮影時のカメラワークが、撮影方向が一定の状態で撮影された静止撮影状態としての静止であると判断する。
Specifically, the camera
Then, when recognizing that the magnitude of the
また、カメラワーク判定手段140は、所定数以上の動きベクトル22がフレーム画像20の周縁の方向または中央の方向に向いていることを認識すると、カメラワークが、撮影倍率が変更されながら撮影された倍率変更撮影状態としてのズームであると判断する。例えば、図2に示すように、全ての動きベクトル22の向きが周縁の方向に向いていることを認識すると、カメラワークがイン方向へのズーム、すなわちズームインであると判断する。
Further, when the camera
さらに、カメラワーク判定手段140は、所定数以上の動きベクトル22が一方向に向いていることを認識すると、このフレーム画像20の撮影時のカメラワークが、撮影方向が動きベクトル22の向きと反対側の方向に移動されながら撮影された一方向移動撮影状態としてのパンであると判断する。例えば、図3に示すように、全ての動きベクトル22の向きが右方向に向いていることを認識すると、カメラワークが左方向へのパンであると判断する。
Further, when the camera
そして、カメラワーク判定手段140は、カメラワークを検出すると、このカメラワークの種別、および、方向に関するカメラワーク情報を生成する。例えば、カメラワークがパンの場合、種別がパンである旨およびパンの方向に関するカメラワーク情報を生成する。
さらに、カメラワーク判定手段140は、カメラワーク情報を映像データとともに、映像分割手段150へ出力する。
Then, when the camera
Further, the camera
映像分割手段150は、速度分散算出手段170に接続されている。
映像分割手段150は、カメラワーク判定手段140から映像データおよびカメラワーク情報を取得する。そして、これらに基づいて、映像30を所定の映像区間に分割する。
The
The
具体的には、映像分割手段150は、カメラワーク情報に基づいて、映像データに基づく映像30における例えば表示順序が連続するフレーム画像20のカメラワークの種別および方向を認識する。そして、これらのフレーム画像20におけるカメラワークの種別および方向が同一であると判断した場合、これらを1つの映像区間として認識する。さらに、これら以降のフレーム画像20について、同様の処理を順次実施する。そして、種別および方向のうち少なくともいずれか一方が異なると判断した場合、このフレーム画像20の手前のフレーム画像20までの映像区間を1つの映像区間として分割する。
例えば、図4に示すように、映像30を、種別が静止である静止区間31と、ズームインまたはズームアウトであるズーム区間32と、上下左右方向のうちいずれか1つの方向へのパンであるパン区間33と、に分割する。
Specifically, the
For example, as shown in FIG. 4, the
さらに、映像分割手段150は、映像区間の長さが所定の長さよりも短い静止区間31、ズーム区間32、パン区間33が複数連続していると判断した場合、これらの映像区間撮影時のカメラワークが、撮影方向が不規則な方向に移動されながら撮影された方向不規則撮影状態としての手ブレであると認識する。そして、これら複数の映像区間を1つの手ブレ区間34として認識する。
また、映像分割手段150は、これら分割した映像区間に関する分割区間情報を生成して、速度分散算出手段170へ出力する。
Further, when the
Further, the
カメラワーク速度算出手段160は、速度分散算出手段170に接続されている。
カメラワーク速度算出手段160は、動き解析手段130から映像データおよび動きベクトル情報を取得する。そして、これらに基づいて、各フレーム画像20におけるカメラワークの速度を算出して、このカメラワーク速度に関するカメラワーク速度情報を生成する。
The camera work speed calculation means 160 is connected to the speed dispersion calculation means 170.
The camera work
具体的には、カメラワーク速度算出手段160は、1つのフレーム画像20に対応する全ての動きベクトル22に基づいて、全ての分割領域21における速度を認識する。さらに、これら認識した速度の平均値を、このフレーム画像20におけるカメラワーク速度として算出する。そして、各フレーム画像20についてカメラワーク速度を算出して、カメラワーク速度情報を生成し、速度分散算出手段170へ出力する。
Specifically, the camera work speed calculation means 160 recognizes the speed in all the divided
速度分散算出手段170は、映像評価手段180に接続されている。
速度分散算出手段170は、映像分割手段150からカメラワーク情報を取得するとともに、カメラワーク速度算出手段160からカメラワーク速度情報を取得する。そして、これらに基づいて各映像区間におけるカメラワークの速度のばらつきとしての分散を算出する。
The velocity
The speed
具体的には、速度分散算出手段170は、カメラワーク情報に基づいて、映像30における静止区間31、ズーム区間32、パン区間33、手ブレ区間34を認識する。さらに、カメラワーク速度情報に基づいて、例えば所定のズーム区間32に対応する全てのフレーム画像20におけるカメラワーク速度を認識し、これらのカメラワーク速度の分散を算出する。そして、各映像区間についてカメラワーク速度の分散を算出して、これらに関する分散算出情報を映像評価手段180へ出力する。
Specifically, the speed
映像評価手段180は、処理部190に接続されている。
映像評価手段180は、速度分散算出手段170から分散算出情報を取得して、この分散算出情報に基づいて、各映像区間の分散を認識する。さらに、この認識した分散に基づいて、各映像区間の特性を評価する。
The
The
具体的には、映像評価手段180は、静止区間31、ズーム区間32、パン区間33、および、手ブレ区間34のそれぞれに対応する異なる閾値、すなわちカメラワークごとに異なる閾値を用い、分散が閾値よりも大きい場合に特性が不安定であると評価し、閾値よりも小さい場合に特性が安定であると評価する。そして、この評価に関する評価情報を処理部190へ出力する。
ここで、静止区間31は、動きがほとんどなく、基本的に不安定な区間ではない。このため、静止区間31の閾値は、極めて小さい値に設定されている。
さらに、パン区間33は、全体的に分散が小さいがあらが目立つ。このため、パン区間33の閾値は、例えば静止区間31よりも大きい値に設定されている。
また、ズーム区間32は、パン区間33とはカメラワーク速度の尺度が異なるため、パン区間33と同一の良否判定ができない。このため、ズーム区間32の閾値は、パン区間33と異なる値に設定されている。
そして、手ブレ区間34は、全体的にカメラワーク速度にばらつきがあるが、ばらつきが小さいものは静止区間31として利用できる。このため、手ブレ区間34の閾値は、例えば静止区間31よりも若干大きい値に設定されている。
Specifically, the
Here, the
Further, the
Further, since the
The
処理部190は、ストレージ10に接続されている。
そして、処理部190は、表示制御手段191と、映像編集手段192と、などを備えている。
The
The
表示制御手段191は、映像評価手段180から評価情報を取得する。そして、この評価情報などに基づいて、図5〜図12に示すような評価結果画面700を表示手段110で表示させる制御をする。
The display control unit 191 acquires evaluation information from the
ここで、評価結果画面700は、映像30とともに、この映像30に対応する映像区間の特性評価結果を表す。
この評価結果画面700は、映像30が表示される長方形状の映像表示領域710を備えている。そして、この映像表示領域710における右下側には、表示中の映像30の特性評価結果が表示される。
Here, the
The
具体的には、映像表示領域710には、図5に示すように、安定な静止区間31が表示されている場合、青色で描かれた丸印が静止安定マーク721として表示され、図6に示すように、不安定な静止区間31が表示されている場合、赤色で描かれた丸印が静止不安定マーク722として表示される。
さらに、図7に示すように、安定なズーム区間32が表示されている場合、青色で描かれた上下左右方向への矢印がズーム安定マーク723として表示され、図8に示すように、不安定なズーム区間32が表示されている場合、赤色で描かれた上下左右方向への矢印がズーム不安定マーク724として表示される。
また、図9に示すように、安定なパン区間33が表示されている場合、青色で描かれた右方向への矢印がパン安定マーク725として表示され、図10に示すように、不安定なパン区間33が表示されている場合、赤色で描かれた右方向への矢印がパン不安定マーク726として表示される。
そして、図11に示すように、安定な手ブレ区間34が表示されている場合、青色で描かれたばつ印が手ブレ安定マーク727として表示され、図12に示すように、不安定な手ブレ区間34が表示されている場合、赤色で描かれたばつ印が手ブレ不安定マーク728として表示される。
Specifically, in the
Furthermore, as shown in FIG. 7, when a
Further, when a
Then, as shown in FIG. 11, when a stable
なお、静止安定マーク721、静止不安定マーク722、ズーム安定マーク723、ズーム不安定マーク724、パン安定マーク725、パン不安定マーク726、手ブレ安定マーク727、および、手ブレ不安定マーク728は、本発明の撮影状態情報および特性評価情報として機能する。
The
映像編集手段192は、利用者による設定入力に基づいて、ストレージ10に蓄積された映像データを編集する処理をする。
具体的には、映像編集手段192は、入力手段120からの入力信号に基づいて、所定の映像区間、例えば手ブレ区間34を削除する旨の設定入力を認識すると、ストレージ10から対応する映像データを取得する。そして、この映像データから手ブレ区間34に対応する部分を削除して、新たな映像データを生成し、ストレージ10に蓄積させる。
The
Specifically, when the
[映像処理装置の動作]
次に、映像処理装置100の動作として、映像区間の特性評価処理について、図面を参照して説明する。
図13は、映像区間の特性評価処理を示すフローチャートである。
[Operation of video processing device]
Next, as an operation of the
FIG. 13 is a flowchart showing a video section characteristic evaluation process.
まず、映像処理装置100は、図13に示すように、ストレージ10から映像データを取得して(ステップS101)、フレーム画像20の動きベクトル22を演算する処理、すなわち動き検出処理を実施する(ステップS102)。
この後、動きベクトル22に基づいて、各フレーム画像20のカメラワークを判定して(ステップS103)、映像30を所定の映像区間に分割する(ステップS104)。さらに、映像処理装置100は、動きベクトル22に基づいて、カメラワーク速度を算出して(ステップS105)、各映像区間に対応するカメラワーク速度の分散を算出する(ステップS106)。
そして、所定の映像区間の分散が、対応するカメラワークの閾値より小さいか否かを判断する(ステップS107)。
First, as shown in FIG. 13, the
Thereafter, the camera work of each
Then, it is determined whether or not the variance of the predetermined video section is smaller than the corresponding camera work threshold (step S107).
このステップS107において、分散が閾値よりも小さいと判断した場合、特性が安定であると評価する(ステップS108)。一方、ステップS107において、分散が閾値よりも大きいと判断した場合、特性が不安定であると評価する(ステップS109)。
そして、評価結果画面700を表示させる処理、すなわち評価結果を表示させる処理を実施する(ステップS110)。
If it is determined in step S107 that the variance is smaller than the threshold value, it is evaluated that the characteristics are stable (step S108). On the other hand, if it is determined in step S107 that the variance is larger than the threshold value, it is evaluated that the characteristics are unstable (step S109).
And the process which displays the
[映像処理装置の作用効果]
上述したように、上記実施の形態では、映像処理装置100は、フレーム画像20におけるカメラワーク速度を、複数のフレーム画像20について算出する。そして、この複数のフレーム画像20について算出したカメラワーク速度の分散に基づいて、複数のフレーム画像20で構成される映像区間の特性を評価する。
このため、表示順序が略連続する複数のフレーム画像20について算出されたカメラワーク速度の分散に基づいて、すなわち、複数のフレーム画像20の特性に基づき演算される時間方向の特徴量に基づいて、映像区間全体の特性を評価するため、手ブレの大きさが異なる手ブレ区間34が存在する場合、この大きさの差異を反映した特性評価を実施することができる。
したがって、フレーム画像単位での特徴量に基づいて映像区間全体の特性を評価する従来の構成と比べて、所定の映像区間に対する特性評価を適切に実施できる。
[Effects of video processing device]
As described above, in the above embodiment, the
For this reason, based on the distribution of camera work speeds calculated for a plurality of
Therefore, compared to the conventional configuration in which the characteristics of the entire video section are evaluated based on the feature amount in frame image units, the characteristic evaluation for a predetermined video section can be appropriately performed.
そして、カメラワークの種別および方向に基づいて、映像30を、静止区間31、ズーム区間32、パン区間33、手ブレ区間34に分割する。そして、これら分割した映像区間ごとに、特性を評価する。
このため、カメラワークに応じた映像区間ごとに特性を評価するので、このような映像区間をさらに細分化した区間ごとに特性を評価する構成と比べて、簡単な処理で適切に評価できる。
Then, based on the type and direction of camera work, the
For this reason, since the characteristics are evaluated for each video section corresponding to the camera work, the evaluation can be appropriately performed by simple processing as compared with the configuration in which the characteristics are evaluated for each section obtained by further subdividing such a video section.
また、カメラワークごとに異なる閾値に基づいて、各映像区間の特性を評価する。
このため、全てのカメラワークについて同一の閾値を用いる構成と比べて、各映像区間の特性を適切に評価できる。
Also, the characteristics of each video section are evaluated based on different threshold values for each camera work.
For this reason, the characteristics of each video section can be appropriately evaluated as compared with the configuration using the same threshold for all camera works.
さらに、映像30とともに、この映像30の特性評価結果を表す評価結果画面700を表示させる。
このため、利用者に、各映像30の特性評価結果を認識させることにより、映像データの編集を容易に実施させることができる。
Further, together with the
For this reason, editing the video data can be easily performed by making the user recognize the characteristic evaluation result of each
そして、評価結果画面700に、例えば安定な静止区間31の場合、青色で描かれた丸印を静止安定マーク721として表示させ、不安定な静止区間31の場合、赤色で描かれた丸印を静止不安定マーク722として表示させる。すなわち、カメラワークに対応する図形を、評価に対応する表示形態で表示させる。
このため、カメラワークに対応する1つの図形を表示させるだけで、利用者に、カメラワークの種別および特性を認識させることができる。したがって、評価結果画面700の構成を簡略にでき、表示制御処理を容易にできる。
In the
Therefore, the user can recognize the type and characteristics of the camera work only by displaying one figure corresponding to the camera work. Therefore, the configuration of the
また、カメラワークを判定する際、および、カメラワーク速度を算出する際に、動きベクトル22を利用している。
このため、情報量が少ない動きベクトル22を利用することにより、カメラワーク判定およびカメラワーク速度算出時における処理負荷を低減できる。
Further, the
For this reason, the processing load at the time of camera work determination and camera work speed calculation can be reduced by using the
そして、カメラワーク速度のばらつきを検出する処理として、分散を算出する処理を実施している。
このため、カメラワーク速度のばらつきとしてダイナミックレンジ、すなわちカメラワーク速度の最大値と最小値との比を算出する構成と比べて、ばらつきを示す値の精度を高めることができ、より精度が高い特性の評価を実施できる。
And the process which calculates dispersion | distribution is implemented as a process which detects the dispersion | variation in camera work speed.
For this reason, the accuracy of the value indicating the variation can be increased compared to the configuration that calculates the dynamic range, that is, the ratio between the maximum value and the minimum value of the camera work speed as the variation of the camera work speed, and the characteristics with higher accuracy. Can be evaluated.
[実施の形態の変形]
なお、本発明は、上述した実施の形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。
[Modification of Embodiment]
In addition, this invention is not limited to embodiment mentioned above, The deformation | transformation shown below is included in the range which can achieve the objective of this invention.
すなわち、図14に示すような映像処理装置300としてもよい。
この図14に示す映像処理装置300は、上記実施の形態におけるカメラワーク速度算出手段160の代わりに、動き速度検出手段としてのカメラワーク速度算出手段310を備えた構成を有している。
カメラワーク速度算出手段310は、カメラワーク判定手段140と、速度分散算出手段170と、に接続されている。
カメラワーク速度算出手段310は、カメラワーク判定手段140からカメラワーク情報を取得して、所定のフレーム画像20のカメラワークの方向を認識する。さらに、フレーム画像20に対応する動きベクトル22のうち、カメラワークの方向と同一方向の動きベクトル22を認識する。そして、同一方向でない動きベクトルの大きさを0に変更して、カメラワーク速度を算出して、カメラワーク速度情報を速度分散算出手段170へ出力する。すなわち、カメラワークと同一方向の動きベクトル22のみの速度に基づいて、カメラワーク速度を算出する。
That is, a
The
The camera work
The camera work speed calculation means 310 acquires camera work information from the camera work determination means 140 and recognizes the camera work direction of the
この映像処理装置300は、映像区間の特性評価処理として、図15に示すように、上記実施の形態と同様のステップS101〜S104の処理を実施する。さらに、ステップS102で演算した動きベクトル22がカメラワークと同一方向か否かを判断する(ステップS201)。
このステップS201において、所定の動きベクトル22が同一方向であると判断した場合、この動きベクトル22の大きさを変更しない。一方、ステップS201において、所定の動きベクトル22が同一方向でないと判断した場合、この動きベクトル22の大きさを0に変更する(ステップS202)。
この後、動きベクトル22に基づいて、カメラワーク速度を算出して(ステップS203)、上記実施の形態と同様のステップS106〜S110の処理を実施する。
As shown in FIG. 15, the
If it is determined in step S201 that the
Thereafter, the camera work speed is calculated based on the motion vector 22 (step S203), and the processes of steps S106 to S110 similar to those in the above embodiment are performed.
このような構成にすれば、カメラワークに関係ない動きベクトル22に対応する速度をカメラワーク速度の算出対象から除外する、すなわちカメラワークと同一方向の動きベクトル22のみに基づいてカメラワーク速度を算出するので、カメラワーク速度の精度を高めることができる。
したがって、精度が高いカメラワーク速度に基づいて、精度が高い評価を実施できる。
With this configuration, the speed corresponding to the
Therefore, highly accurate evaluation can be performed based on the camera work speed with high accuracy.
そして、図16に示すような映像処理装置400としてもよい。
この図16に示す映像処理装置400は、上記実施の形態における処理部190の代わりに、処理部410を備えている。また、処理部410は、表示制御手段191と、映像編集手段192と、映像補正手段411と、などを備えている。
映像補正手段411は、映像評価手段180から評価情報を取得して、この評価情報に基づいて、各映像区間の特性評価結果を認識する。さらに、ストレージ10から映像データを取得して、所定の映像区間に対応する部分を、特性評価結果に対応させて補正する。例えば、ズーム状態がなめらかでない評価がされたズーム区間32を、なめらかなズーム状態に補正する。
そして、新たな映像データを生成して、ストレージ10に蓄積させる。この補正された映像データは、表示制御手段191の制御により、適宜表示される。
And it is good also as a
The
The video correction unit 411 acquires the evaluation information from the
Then, new video data is generated and stored in the
この映像処理装置400は、映像の補正処理として、図17に示すように、上記実施の形態と同様のステップS101〜S107の処理を実施する。そして、ステップS107において、所定の映像区間の分散が対応するカメラワークの閾値よりも小さいと判断した場合、特性が安定であると評価して特に処理を実施しない。一方、ステップS107において、所定の映像区間の分散が対応するカメラワークの閾値よりも大きいと判断した場合、特性が不安定であると評価して、この映像区間を補正する(ステップS301)。
この後、この映像区間を補正した映像データを出力する(ステップS302)。例えば、ストレージ10に蓄積させたり、表示手段110で表示させたりする。
As shown in FIG. 17, the
Thereafter, video data obtained by correcting the video section is output (step S302). For example, it is stored in the
このような構成にすれば、特性評価結果に対応させて映像データを補正する機能を設けているので、適切に映像データを補正可能な映像処理装置400を提供できる。
With such a configuration, a function for correcting the video data in accordance with the characteristic evaluation result is provided, so that it is possible to provide the
さらに、映像分割手段150で分割した映像区間を、さらに細分化した区間ごとに特性を評価する構成としてもよい。
このような構成にすれば、1つの映像区間について、より精度が高い特性の評価を実施できる。
Furthermore, it is good also as a structure which evaluates a characteristic for every segment which divided | segmented the video section divided | segmented by the video division means 150 further.
With such a configuration, it is possible to evaluate characteristics with higher accuracy for one video section.
そして、映像30を、静止区間31と、ズーム区間32と、パン区間33と、手ブレ区間34と、回転しながら撮影された回転撮影状態である回転区間と、に分割する構成としてもよい。さらに、静止区間31、ズーム区間32、パン区間33、手ブレ区間34、および、回転撮影状態区間のうち少なくとも2つを組み合わせた区間に分割する構成としてもよい。
これらのような構成にすれば、さらに詳細な特性の評価を実施できる。
And it is good also as a structure which divides | segments the image |
With such a configuration, more detailed evaluation of characteristics can be performed.
さらに、全てのカメラワークに対して同一の閾値、すなわち同一基準に基づいて、各映像区間の特性を評価する構成としてもよい。
このような構成にすれば、カメラワークごとに異なる閾値を認識する必要がなく、特性の評価処理を容易に実施できる。
Furthermore, it is good also as a structure which evaluates the characteristic of each video area based on the same threshold value, ie, the same reference | standard, with respect to all the camera works.
With such a configuration, it is not necessary to recognize a different threshold value for each camera work, and the characteristic evaluation process can be easily performed.
そして、各映像区間の特性評価に同一の閾値を用いる構成において、静止、ズーム、パン、手ブレの特性を規格化し、この規格化した特性の同一の閾値で実施する構成としてもよい。
このような構成にすれば、規格化せずに同一の閾値で評価を実施する構成と比べて、より適切な特性評価処理を実施できる。
Then, in the configuration using the same threshold value for the characteristic evaluation of each video section, the still, zoom, pan, and camera shake characteristics may be standardized, and the standardized characteristic may be used with the same threshold value.
With such a configuration, a more appropriate characteristic evaluation process can be performed as compared with a configuration in which the evaluation is performed with the same threshold without standardization.
また、表示制御手段191を設けない構成としてもよい。
このような構成にすれば、映像処理装置100の構成を簡略にできる。
Further, the display control means 191 may be omitted.
With such a configuration, the configuration of the
さらに、評価結果画面700に、カメラワークの種別および特性評価結果のうち少なくともいずれか一方を表す文字列を表示させる構成としてもよい。
このような構成にすれば、マークで表示する上記実施の形態の構成と比べて、利用者に、カメラワーク種別や特性評価結果を確実に認識させることができる。
Furthermore, it is good also as a structure which displays on the
With such a configuration, the user can surely recognize the camera work type and the characteristic evaluation result as compared with the configuration of the above-described embodiment in which the mark is displayed.
また、動きベクトル22の大きさのみに基づいて、すなわち速度の大きさのみに基づいて、各映像区間の特性を評価する構成としてもよい。さらに、カメラワーク速度の分散の代わりに、標準偏差を算出する構成としてもよい。
Alternatively, the characteristics of each video section may be evaluated based only on the magnitude of the
そして、カメラワークの判定およびカメラワーク速度の算出のうち少なくともいずれか一方を実施する際に、動きベクトル22を利用せずに、例えば以下のような構成としてもよい。
すなわち、映像データを生成する撮影装置に、カメラワークの種別、方向、速度に関する情報を生成する機能を設ける。そして、この撮影装置で生成された情報に基づいて、カメラワークの判定やカメラワーク速度を算出する構成としてもよい。
このような構成にすれば、映像処理装置100に動き解析手段130を設ける必要がなく、映像処理装置100の構成をより簡略にできる。
Then, when at least one of camera work determination and camera work speed calculation is performed, the following configuration may be used, for example, without using the
That is, a function for generating information relating to the type, direction, and speed of camera work is provided in a photographing apparatus that generates video data. And based on the information produced | generated by this imaging device, it is good also as a structure which calculates the camera work determination and camera work speed.
With such a configuration, it is not necessary to provide the motion analysis means 130 in the
また、カメラワーク速度のばらつきを検出する処理として、カメラワーク速度の大きさおよび向き、あるいは大きさのみのダイナミックレンジを算出する処理を実施する構成としてもよい。
このような構成にすれば、分散を算出する構成と比べて、ばらつきを算出する処理を容易にできる。
Further, as a process for detecting variations in camera work speed, a process for calculating the size and direction of the camera work speed, or the dynamic range of only the magnitude may be implemented.
With such a configuration, it is possible to facilitate the process of calculating the variation as compared with the configuration for calculating the variance.
そして、パン区間33や手ブレ区間34の区間長が所定長さよりも長い場合に、このパン区間33などをさらに分割した区間ごとに特性を評価する構成としてもよい。
例えば、図18に示すように、映像30のパン区間33および手ブレ区間34の区間長が所定長さよりも長い場合に、図19に示すように、これらをさらに分割した再分割区間331,341ごとに特性を評価する構成としてもよい。ここで、再分割区間331,341の区間長を設定する手法としては、撮影状態によらず一定の区間長にする手法、撮影状態ごとに異なる区間長にする手法、1つの映像区間を等分した区間長にする手法などが例示できる。
このような構成にすれば、例えばパン区間33の前半部分が安定で後半部分が不安定なために、パン区間33全体として不安定と評価される場合であっても、前半部分を安定として評価し、後半部分を不安定と評価できる。したがって、より適切に映像の特性を評価できる。
なお、例えば再分割区間331を一部が重複する状態で設定し、重複部分については、ばらつきが大きい方について特性を評価する構成としてもよい。
And when the section length of the bread | panning area |
For example, as shown in FIG. 18, when the section lengths of the
With this configuration, for example, even if the first half of the
Note that, for example, the
上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは1つのIC(Integrated Circuit)などの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から演算手段としてのコンピュータで読み取らせる構成とすることにより、取扱が容易で、利用の拡大が容易に図れる。 Each function described above is constructed as a program. However, for example, it may be configured by hardware such as a circuit board or an element such as one integrated circuit (IC), and can be used in any form. In addition, by using a configuration in which a computer as a calculation unit is read from a program or a separate recording medium, handling is easy and usage can be easily expanded.
その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。 In addition, the specific structure and procedure for carrying out the present invention can be appropriately changed to other structures and the like within a range in which the object of the present invention can be achieved.
[実施形態の作用効果]
上述したように、上記実施の形態では、映像処理装置100は、フレーム画像20におけるカメラワーク速度を、複数のフレーム画像20について算出する。そして、この複数のフレーム画像20について算出したカメラワーク速度の分散に基づいて、複数のフレーム画像20を含む映像区間の特性を評価する。
このため、表示順序が略連続する複数のフレーム画像20について算出されたカメラワーク速度の分散に基づいて、すなわち、複数のフレーム画像20の特性に基づき算出される時間方向の特徴量に基づいて、映像区間全体の特性を評価するため、手ブレの大きさが異なる手ブレ区間34が存在する場合、この大きさの差異を反映した特性評価を実施することができる。
したがって、フレーム画像単位での特徴量に基づいて映像区間全体の特性を評価する従来の構成と比べて、所定の映像区間に対する特性評価を適切に実施できる。
[Effects of Embodiment]
As described above, in the above embodiment, the
For this reason, based on the distribution of camera work speeds calculated for a plurality of
Therefore, compared to the conventional configuration in which the characteristics of the entire video section are evaluated based on the feature amount in frame image units, the characteristic evaluation for a predetermined video section can be appropriately performed.
100,300,400…映像処理装置
110…報知手段としての表示手段
120…入力手段
130…映像データ取得手段としても機能する動きベクトル演算手段としての動き解析手段
140…動き方向検出手段および撮影状態判定手段としてのカメラワーク判定手段
150…ばらつき検出手段としても機能する映像分割手段
160,310…動き速度検出手段としてのカメラワーク速度算出手段
170…ばらつき検出手段としての速度分散算出手段
180…映像評価手段
191…表示制御手段
192…映像編集手段
411…映像補正手段
721…撮影状態情報および特性評価情報としての静止安定マーク
722…撮影状態情報および特性評価情報としての静止不安定マーク
723…撮影状態情報および特性評価情報としてのズーム安定マーク
724…撮影状態情報および特性評価情報としてのズーム不安定マーク
725…撮影状態情報および特性評価情報としてのパン安定マーク
726…撮影状態情報および特性評価情報としてのパン不安定マーク
727…撮影状態情報および特性評価情報としての手ブレ安定マーク
728…撮影状態情報および特性評価情報としての手ブレ不安定マーク
DESCRIPTION OF SYMBOLS 100,300,400 ...
Claims (18)
前記映像は、表示順序が連続する複数のフレーム画像で構成された映像区間を有し、
当該映像処理装置は、
前記映像データを取得する映像データ取得手段と、
この取得された映像データに基づいて、前記フレーム画像における少なくとも1つの部分が動く速度を、各フレーム画像について検出する動き速度検出手段と、
前記映像区間に含まれる前記フレーム画像について検出された前記動く速度に基づいて、当該映像区間における動く速度の分散を、動く速度のばらつきとして検出するばらつき検出手段と、
この検出された前記動く速度の分散に基づいて、前記映像区間の特性を評価する映像評価手段と、
を具備し、
前記映像評価手段は、
前記ばらつき検出手段により検出された前記動く速度の分散が所定の閾値より小さい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続している安定な状態であると評価し、
前記ばらつき検出手段により検出された前記動く速度の分散が前記閾値より大きい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続していない不安定な状態であると評価する
ことを特徴とした映像処理装置。 A video processing device for processing video data of a video shot by a shooting device,
The video has a video section composed of a plurality of frame images whose display order is continuous ,
The video processing device
Video data acquisition means for acquiring the video data;
A motion speed detecting means for detecting, for each frame image, a speed at which at least one portion of the frame image moves based on the acquired video data;
Based on the moving speed detected for the frame image included in the video section, variation detecting means for detecting a dispersion of the moving speed in the video section as a variation in moving speed ;
Video evaluation means for evaluating the characteristics of the video section based on the detected variance of the moving speed ;
Comprising
The image evaluation means includes
When the variance of the moving speed detected by the variation detecting means is smaller than a predetermined threshold, the characteristic of the video section is a stable state in which each frame image of the video section is smoothly continuous. Evaluate and
When the variance of the moving speed detected by the variation detecting unit is larger than the threshold value, the characteristics of the video section are in an unstable state where each frame image of the video section is not smoothly continuous. A video processing apparatus characterized by evaluation .
前記映像は、表示順序が連続する複数のフレーム画像で構成された映像区間を有し、The video has a video section composed of a plurality of frame images whose display order is continuous,
当該映像処理装置は、The video processing device
前記映像データを取得する映像データ取得手段と、Video data acquisition means for acquiring the video data;
この取得された映像データに基づいて、前記フレーム画像における少なくとも1つの部分が動く速度を、各フレーム画像について検出する動き速度検出手段と、A motion speed detecting means for detecting a speed at which at least one portion of the frame image moves based on the acquired video data for each frame image;
前記映像区間に含まれる前記フレーム画像について検出された前記動く速度に基づいて、当該映像区間における動く速度の大きさのダイナミックレンジを、動く速度のばらつきとして検出するばらつき検出手段と、Based on the moving speed detected for the frame image included in the video section, a variation detecting means for detecting a dynamic range of the moving speed in the video section as a moving speed variation;
この検出された前記動く速度の大きさのダイナミックレンジに基づいて、前記映像区間の特性を評価する映像評価手段と、Video evaluation means for evaluating the characteristics of the video section based on the detected dynamic range of the magnitude of the moving speed;
を具備し、Comprising
前記映像評価手段は、The image evaluation means includes
前記ばらつき検出手段により検出された前記動く速度の大きさのダイナミックレンジが所定の閾値より小さい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続している安定な状態であると評価し、When the dynamic range of the magnitude of the moving speed detected by the variation detecting means is smaller than a predetermined threshold, the characteristics of the video section are stable when each frame image of the video section is smoothly continuous. Evaluate that it is in a state,
前記ばらつき検出手段により検出された前記動く速度の大きさのダイナミックレンジが前記閾値より大きい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続していない不安定な状態であると評価するWhen the dynamic range of the magnitude of the moving speed detected by the variation detecting unit is larger than the threshold, the characteristics of the video section are unstable because each frame image of the video section is not smoothly continuous. Evaluate as a condition
ことを特徴とした映像処理装置。A video processing apparatus characterized by that.
前記映像データに基づいて、前記フレーム画像における複数の部分が動く方向を、前記連続する複数のフレーム画像について検出する動き方向検出手段と、
前記連続する複数のフレーム画像について検出された前記動く方向に基づいて、前記映像区間における撮影状態が、静止した状態で撮影された静止撮影状態、撮影方向が一方向に移動されながら撮影された一方向移動撮影状態、撮影倍率が変更されながら撮影された倍率変更撮影状態、回転しながら撮影された回転撮影状態、および、撮影方向が不規則な方向に移動されながら撮影された方向不規則撮影状態、あるいはそれらの組み合わせのうち、いずれか1つであることを判定する撮影状態判定手段と、
を具備し、
前記映像評価手段は、前記静止撮影状態、前記一方向移動撮影状態、前記倍率変更撮影状態、前記回転撮影状態、および、前記方向不規則撮影状態、あるいはそれらの組み合わせのうち、少なくともいずれか1つの撮影状態の前記映像区間における前記特性の評価を、他の撮影状態の映像区間と異なる基準で実施する
ことを特徴とした映像処理装置。 The video processing apparatus according to claim 1 or 2 , wherein
On the basis of the image data, the motion direction detection means for detecting a plurality of frame images a direction in which the plurality of portions in the frame image is moved, to continue before Killen,
On the basis of the moving direction detected for a plurality of frame images continue previous Killen, photographing state in the video section is stationary state photographed still image capturing state is photographed while the photographing direction is moved in one direction One-way moving shooting state, a magnification-changed shooting state shot while changing the shooting magnification, a rotating shooting state shot while rotating, and a direction irregularity shot while moving the shooting direction in an irregular direction A shooting state determining means for determining that the shooting state is one of the shooting state or a combination thereof;
Comprising
The video evaluation means is at least one of the still shooting state, the one-way moving shooting state, the magnification change shooting state, the rotation shooting state, the direction irregular shooting state, or a combination thereof. The video processing apparatus characterized in that the evaluation of the characteristic in the video section in the shooting state is performed based on a different standard from the video section in the other shooting state.
前記映像データに基づいて、前記フレーム画像における複数の部分が動く方向を、前記連続する複数のフレーム画像について検出する動き方向検出手段と、
前記連続する複数のフレーム画像について検出された前記動く方向に基づいて、前記映像区間における撮影状態が、静止した状態で撮影された静止撮影状態、撮影方向が一方向に移動されながら撮影された一方向移動撮影状態、撮影倍率が変更されながら撮影された倍率変更撮影状態、回転しながら撮影された回転撮影状態、および、撮影方向が不規則な方向に移動されながら撮影された方向不規則撮影状態、あるいはそれらの組み合わせのうち、いずれか1つであることを判定する撮影状態判定手段と、
を具備し、
前記映像評価手段は、前記静止撮影状態、前記一方向移動撮影状態、前記倍率変更撮影状態、前記回転撮影状態、および、前記方向不規則撮影状態、あるいはそれらの組み合わせの前記映像区間における前記特性の評価を、同一基準で実施する
ことを特徴とした映像処理装置。 The video processing apparatus according to claim 1 or 2 , wherein
On the basis of the image data, the motion direction detection means for detecting a plurality of frame images a direction in which the plurality of portions in the frame image is moved, to continue before Killen,
On the basis of the moving direction detected for a plurality of frame images continue previous Killen, photographing state in the video section is stationary state photographed still image capturing state is photographed while the photographing direction is moved in one direction One-way moving shooting state, a magnification-changed shooting state shot while changing the shooting magnification, a rotating shooting state shot while rotating, and a direction irregularity shot while moving the shooting direction in an irregular direction A shooting state determining means for determining that the shooting state is one of the shooting state or a combination thereof;
Comprising
The video evaluation unit is configured to determine the characteristics of the video section in the video section of the still shooting state, the one-way moving shooting state, the magnification change shooting state, the rotation shooting state, and the direction irregular shooting state. A video processing device characterized in that the evaluation is performed based on the same standard.
前記映像データに基づいて、前記フレーム画像における複数の部分が動く方向を、前記連続する複数のフレーム画像について検出する動き方向検出手段と、
前記連続する複数のフレーム画像について検出された前記動く方向に基づいて、静止した状態で撮影された静止撮影状態、撮影方向が一方向に移動されながら撮影された一方
向移動撮影状態、撮影倍率が変更されながら撮影された倍率変更撮影状態、回転しながら撮影された回転撮影状態、および、撮影方向が不規則な方向に移動されながら撮影された方向不規則撮影状態、あるいはそれらの組み合わせのうち、いずれか1つであることを判定する撮影状態判定手段と、
を具備し、
前記ばらつき検出手段は、隣り合う前記映像区間の前記撮影状態が同一であることを認識すると、これら隣り合う映像区間を1つの映像区間とみなして、この1つの映像区間に対する前記動く速度のばらつきを検出する
ことを特徴とした映像処理装置。 The video processing apparatus according to any one of claims 1 to 4 ,
On the basis of the image data, the motion direction detection means for detecting a plurality of frame images a direction in which the plurality of portions in the frame image is moved, to continue before Killen,
Before Killen on the basis of the moving direction detected for a plurality of frame images continue, stationary shot in state still image capturing state, the photographing direction is moved in one direction while the taken one-way movement shooting state, shooting Magnification change shooting state taken while changing magnification, rotation shooting state taken while rotating, direction irregular shooting state taken while moving the shooting direction in an irregular direction, or a combination thereof A shooting state determination means for determining that any one of them,
Comprising
When the variation detecting means recognizes that the shooting states of the adjacent video sections are the same, the adjacent video sections are regarded as one video section, and the movement speed variation with respect to the one video section is determined. A video processing device characterized by detection.
前記ばらつき検出手段は、前記1つの映像区間の区間長が所定区間長よりも長いことを認識すると、この1つの映像区間を複数区間に再分割した再分割区間ごとに対する前記動く速度のばらつきを検出する
ことを特徴とした映像処理装置。 The video processing device according to claim 5 ,
When the variation detecting means recognizes that the section length of the one video section is longer than a predetermined section length, it detects the variation in the moving speed for each subdivision section obtained by subdividing the one video section into a plurality of sections. A video processing device characterized by that.
前記映像評価手段は、前記静止撮影状態、前記一方向移動撮影状態、前記倍率変更撮影状態、前記回転撮影状態、および、前記方向不規則撮影状態、あるいはそれらの組み合わせの特性を規格化し、この規格化した特性の評価を同一基準で実施する
ことを特徴とした映像処理装置。 The video processing apparatus according to claim 4 ,
The video evaluation unit normalizes the characteristics of the still shooting state, the one-way moving shooting state, the magnification change shooting state, the rotation shooting state, and the direction irregular shooting state, or a combination thereof. A video processing device characterized in that the evaluation of integrated characteristics is carried out based on the same standard.
前記動き速度検出手段は、所定の前記フレーム画像における複数の部分のうち、前記フレーム画像の前記撮影状態に対応する前記動く方向へ動いた部分のみの前記動く速度を検出する
ことを特徴とした映像処理装置。 A video processing apparatus according to any one of claims 3 to 7,
The moving speed detecting means detects the moving speed of only a portion moved in the moving direction corresponding to the shooting state of the frame image among a plurality of portions in the predetermined frame image. Processing equipment.
前記映像、この映像が含まれる前記映像区間の前記撮影状態を表す撮影状態情報、および、前記映像区間の前記特性の評価を表す特性評価情報を、表示手段で表示させる制御をする表示制御手段を具備した
ことを特徴とした映像処理装置。 A video processing apparatus according to any one of claims 3 to 8,
Display control means for controlling display of the video, shooting state information indicating the shooting state of the video section including the video, and characteristic evaluation information indicating evaluation of the characteristic of the video section on a display means; A video processing apparatus characterized by comprising.
前記表示制御手段は、前記撮影状態情報および前記特性評価情報を表示させる制御として、前記撮影状態に対応する記号または図形を前記特性の評価に対応する表示状態で表示させる制御をする
ことを特徴とした映像処理装置。 The video processing device according to claim 9 ,
The display control means controls the display of the symbol or figure corresponding to the shooting state in a display state corresponding to the evaluation of the characteristic as control for displaying the shooting state information and the characteristic evaluation information. Video processing equipment.
前記映像データに基づいて、前記フレーム画像の動きベクトルを演算する動きベクトル演算手段を具備し、
前記動き方向検出手段は、前記演算された動きベクトルに基づいて前記動く方向を検出する
ことを特徴とした映像処理装置。 A video processing apparatus according to any one of claims 3 to 10,
A motion vector calculating means for calculating a motion vector of the frame image based on the video data;
The video processing apparatus, wherein the motion direction detection means detects the motion direction based on the calculated motion vector.
前記映像データに基づいて、前記フレーム画像の動きベクトルを演算する動きベクトル演算手段を具備し、
前記動き速度検出手段は、前記演算された動きベクトルに基づいて前記動く速度を算出する処理を、前記動く速度を検出する処理として実施する
ことを特徴とした映像処理装置。 The video processing apparatus according to any one of claims 1 to 11 ,
A motion vector calculating means for calculating a motion vector of the frame image based on the video data;
The video processing apparatus characterized in that the motion speed detection means performs a process of calculating the motion speed based on the calculated motion vector as a process of detecting the motion speed.
前記映像は、表示順序が連続する複数のフレーム画像で構成された映像区間を有し、
前記映像処理装置は、
前記映像データを取得し、
この取得された映像データに基づいて、前記フレーム画像における少なくとも1つの部分が動く速度を、各フレーム画像について検出し、
前記映像区間に含まれる前記フレーム画像について検出された前記動く速度に基づいて、当該映像区間における動く速度の分散をばらつきとして検出し、
この検出された前記動く速度の分散に基づいて、前記動く速度の分散が所定の閾値より小さい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続している安定な特性であると評価し、前記動く速度の分散が前記閾値より大きい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続していない不安定な特性であると評価して、前記映像区間の特性を評価する
ことを特徴とする映像処理方法。 A video processing method for processing video data of a video shot by a shooting device in a video processing device ,
The video has a video section composed of a plurality of frame images whose display order is continuous ,
The video processing device includes:
Obtaining the video data;
Based on the acquired video data, a speed at which at least one portion of the frame image moves is detected for each frame image;
Based on the moving speed detected for the frame image included in the video section, the variance of the moving speed in the video section is detected as variation ,
Based on the detected variance of the moving speed, when the variance of the moving speed is smaller than a predetermined threshold, the characteristics of the video section are stable and each frame image of the video section is smoothly continuous. When the variance of the moving speed is greater than the threshold value, the characteristics of the video section are unstable characteristics in which each frame image of the video section is not smoothly continuous. A video processing method characterized by evaluating and evaluating characteristics of the video section .
前記映像は、表示順序が連続する複数のフレーム画像で構成された映像区間を有し、 The video has a video section composed of a plurality of frame images whose display order is continuous,
前記映像処理装置は、 The video processing device includes:
前記映像データを取得し、 Obtaining the video data;
この取得された映像データに基づいて、前記フレーム画像における少なくとも1つの部分が動く速度を、各フレーム画像について検出し、 Based on the acquired video data, a speed at which at least one portion of the frame image moves is detected for each frame image;
前記映像区間に含まれる前記フレーム画像について検出された前記動く速度に基づいて、当該映像区間における動く速度の大きさのダイナミックレンジをばらつきとして検出し、 Based on the moving speed detected for the frame image included in the video section, the dynamic range of the moving speed magnitude in the video section is detected as variation,
この検出された前記動く速度の大きさのダイナミックレンジに基づいて、前記動く速度の大きさのダイナミックレンジが所定の閾値より小さい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続している安定な特性であると評価し、前記動く速度の大きさのダイナミックレンジが前記閾値より大きい場合に、前記映像区間の前記特性を、当該映像区間の各フレーム画像がなめらかに連続していない不安定な特性であると評価して、前記映像区間の特性を評価する Based on the detected dynamic range of the magnitude of the moving speed, when the dynamic range of the magnitude of the moving speed is smaller than a predetermined threshold, the characteristics of the video section are represented as each frame image of the video section. When the dynamic range of the speed of movement is larger than the threshold value, the characteristics of the video section are set to be smooth for each frame image of the video section. Evaluate the characteristics of the video section as an unstable characteristic that is not continuous with
ことを特徴とする映像処理方法。 And a video processing method.
ことを特徴とした映像処理プログラム。 A video processing program for causing a video processing apparatus to execute the video processing method according to claim 13 .
ことを特徴とした映像処理プログラム。 A video processing program characterized by that.
ことを特徴とした映像処理プログラムを記録した記録媒体。 16. A recording medium recording a video processing program, wherein the video processing program according to claim 15 is recorded in a readable manner in a video processing device .
ことを特徴とした映像処理プログラムを記録した記録媒体。 A recording medium on which a video processing program is recorded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006184674A JP4914659B2 (en) | 2006-07-04 | 2006-07-04 | VIDEO PROCESSING DEVICE, METHOD THEREOF, PROGRAM THEREOF, AND RECORDING MEDIUM CONTAINING THE PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006184674A JP4914659B2 (en) | 2006-07-04 | 2006-07-04 | VIDEO PROCESSING DEVICE, METHOD THEREOF, PROGRAM THEREOF, AND RECORDING MEDIUM CONTAINING THE PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008017040A JP2008017040A (en) | 2008-01-24 |
JP4914659B2 true JP4914659B2 (en) | 2012-04-11 |
Family
ID=39073666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006184674A Expired - Fee Related JP4914659B2 (en) | 2006-07-04 | 2006-07-04 | VIDEO PROCESSING DEVICE, METHOD THEREOF, PROGRAM THEREOF, AND RECORDING MEDIUM CONTAINING THE PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4914659B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011122200A1 (en) | 2010-03-29 | 2011-10-06 | ソニー株式会社 | Data processing device, data processing method, image processing device, image processing method, and program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003061038A (en) * | 2001-08-20 | 2003-02-28 | Univ Waseda | Video contents edit aid device and video contents video aid method |
-
2006
- 2006-07-04 JP JP2006184674A patent/JP4914659B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008017040A (en) | 2008-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10810438B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
JP4840426B2 (en) | Electronic device, blurred image selection method and program | |
EP2569934B1 (en) | Imaging apparatus, image processing method, and recording medium for recording program thereon | |
US10991393B2 (en) | Electronic device and method of managing a playback rate of a plurality of images | |
JP2006325122A (en) | Moving picture display performance determining method, inspection screen, and moving picture display performance determining apparatus | |
JP2010239605A (en) | Video editing device | |
CN106060379A (en) | Image capture apparatus and control method thereof | |
JP2011254240A (en) | Image processing device, image processing method and program | |
JP2016178608A (en) | Image processing apparatus, image processing method and program | |
JP6544996B2 (en) | Control device and control method | |
US8717480B2 (en) | Method and apparatus of displaying portrait on display | |
JP4914659B2 (en) | VIDEO PROCESSING DEVICE, METHOD THEREOF, PROGRAM THEREOF, AND RECORDING MEDIUM CONTAINING THE PROGRAM | |
JP5024116B2 (en) | Subject tracking program and subject tracking device | |
US20200134840A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
US20080181524A1 (en) | Image evaluation method, apparatus, and program | |
US20150281585A1 (en) | Apparatus Responsive To At Least Zoom-In User Input, A Method And A Computer Program | |
CN109885369B (en) | Image linkage method and device | |
JP2015032261A (en) | Display device and control method | |
US20080181525A1 (en) | Image evaluation method, apparatus, and program | |
JP2007018269A (en) | Movement probability calculation method in video, movement probability map calculation method in video, change detection method, and program | |
CN111273837A (en) | Image processing method and device | |
JP2006186658A (en) | Image display apparatus and cellular phone | |
US8588475B2 (en) | Image processing apparatus and image processing method for indicating movement information | |
JPH06333048A (en) | Animation image processor | |
JP2017220800A (en) | Reproduction device, control method thereof, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120123 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150127 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |