JP4013024B2 - 動画処理装置、動画処理方法、および記録媒体 - Google Patents
動画処理装置、動画処理方法、および記録媒体 Download PDFInfo
- Publication number
- JP4013024B2 JP4013024B2 JP2000342190A JP2000342190A JP4013024B2 JP 4013024 B2 JP4013024 B2 JP 4013024B2 JP 2000342190 A JP2000342190 A JP 2000342190A JP 2000342190 A JP2000342190 A JP 2000342190A JP 4013024 B2 JP4013024 B2 JP 4013024B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- frame
- moving image
- processing apparatus
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、動画処理技術に関し、特に動画におけるシーン判定技術の改良に関する。
【０００２】
【従来の技術】
従来の動画処理においては、動画を構成するフレームごとにその輝度などの変化を検出し動画におけるシーンチェンジ（シーン変化）を判定して、シーンチェンジから次のシーンチェンジまでの、実質的に同一シーンを有するフレーム群に共通する動画特性としての共通シーン特性を決定する方法がある。
【０００３】
そして、この共通シーン特性に応じた補正パラメータに基づき、フレーム群で一括した画像補正を行って動画処理の効率化、適正化を図っている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の動画処理では、共通シーン特性がシーンチェンジ直後のフレームに対するシーン判定のみに基づき決定されることとなるが、シーンチェンジ直後のフレームは必ずしも十分なシーンチェンジがなされたものとは限らず、共通シーン特性の判定精度が悪い場合が多い。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、動画において共通シーン特性を精度良く判定できる動画処理技術を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明は、複数のフレームで構成される動画を処理する動画処理装置であって、(a)所定の画像情報に関するフレームごとの変化に応じて前記動画に係るシーンチェンジを検出し、前記シーンチェンジを境界としたフレーム区間を設定する設定手段と、(b)前記フレーム区間について、両端のフレームに挟まれる少なくとも１のフレームに対するシーンの特性判定を行うシーン判定手段と、(c)前記シーン判定手段によるシーン判定結果に基づき、前記フレーム区間で共通特性を表現した共通シーン特性を決定する決定手段と、 (d) 前記フレーム区間に係る共通シーン特性に応じて設定された補正係数に基づき、前記フレーム区間の各フレームに対して画像補正を行う補正手段とを備え、前記補正手段では、前記シーンチェンジ近傍に係るフレームの補正係数を、隣接するフレーム区間の補正係数に応じて調整する。
【０００７】
また、請求項２の発明は、請求項１の発明に係る動画処理装置において、前記シーン判定手段は、前記シーンチェンジ近傍のフレームを除外したフレームに対してシーンの特性判定を行う。
【０００８】
また、請求項３の発明は、請求項１または請求項２の発明に係る動画処理装置において、前記設定手段は、複数のフレームごとに１回シーンチェンジを検出し、前記フレーム区間を設定する。
【０００９】
また、請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係る動画処理装置において、(e)所定の閾値よりも短い時間間隔だけ連続し、かつその前後のフレーム区間とは異なる共通シーン特性を有する短時間フレーム区間を検出する検出手段と、(f)前記前後のフレーム区間の共通シーン特性が実質的に同一である場合に、前記短時間フレーム区間の共通シーン特性を、前記前後のフレーム区間の共通シーン特性で置換する置換手段とをさらに備える。
【００１０】
また、請求項５の発明は、請求項１ないし請求項４のいずれかの発明に係る動画処理装置において、前記シーン判定手段は、３以上のフレームに対するシーン判定を行い、前記決定手段は、前記３以上のフレームのうち最頻のシーンに基づき、前記フレーム区間に係る共通シーン特性を決定する。
【００１２】
また、請求項６の発明は、請求項１ないし請求項５のいずれかの発明に係る動画処理装置において、前記所定の画像情報は、緑の色成分の情報である。
【００１３】
また、請求項７の発明は、複数のフレームで構成される動画を処理する動画処理方法であって、(a)所定の画像情報に関するフレームごとの変化に応じて前記動画に係るシーンチェンジを検出し、前記シーンチェンジを境界としたフレーム区間を設定する設定工程と、(b)前記フレーム区間について、両端のフレームに挟まれる少なくとも１のフレームに対するシーンの特性判定を行うシーン判定工程と、(c)前記シーン判定工程におけるシーン判定結果に基づき、前記フレーム区間で共通特性を表現した共通シーン特性を決定する決定工程と、 (d) 前記フレーム区間に係る共通シーン特性に応じて設定された補正係数に基づき、前記フレーム区間の各フレームに対して画像補正を行う補正工程とを備え、前記補正工程では、前記シーンチェンジ近傍に係るフレームの補正係数を、隣接するフレーム区間の補正係数に応じて調整する。
【００１４】
また、請求項８の発明は、動画処理装置に内蔵されたコンピュータにインストールされることにより、当該動画処理装置を請求項１ないし請求項６のいずれかの発明に係る動画処理装置として機能させるためのプログラムを記録してある。
【００１５】
【発明の実施の形態】
＜第１実施形態＞
＜動画処理装置の要部構成＞
図１は、本発明の第１実施形態に係る動画処理装置１の要部構成を示す斜視図である。
【００１６】
動画処理装置１は、パーソナルコンピュータとして構成されており、箱型の形状を有する処理部２と、操作部３と、モニタ４とを備えている。
【００１７】
処理部２は、動画処理を行う部位であり、その前面に光ディスクなどの記録媒体９を挿入する挿入部２１を有している。
【００１８】
操作部３は、マウス３１とキーボード３２とから構成され、ユーザからの動画処理装置１に対する入力操作を受付ける。
【００１９】
モニタ４は、処理部２からの指示に基づき表示が行われることとなる。
【００２０】
図２は、動画処理装置１の機能ブロックを示す図である。
【００２１】
動画処理装置１の処理部２は、上記のマウス３１、キーボード３２およびモニタ４に接続する入出力Ｉ／Ｆ２２と、入出力Ｉ／Ｆ２２に電気的に接続する制御部２３とを備えている。また、処理部２は、制御部２３に電気的に接続する記憶部２４と、入出力Ｉ／Ｆ２５と、通信Ｉ／Ｆ２６とを備えている。
【００２２】
入出力Ｉ／Ｆ２２は、マウス３１、キーボード３２およびモニタ４と制御部２３との間でデータの送受をコントロールするためのインターフェイスである。
【００２３】
記憶部２４は、ハードディスクとして構成されており、オペレーションシステム（ＯＳ）２４ａと、動画処理を行うための演算処理プログラム２４ｂとが記憶されている。
【００２４】
入出力Ｉ／Ｆ２５は、挿入部２１を介して、記録媒体９に対するデータの入出力を行うためのインターフェイスである。
【００２５】
通信Ｉ／Ｆ２６、通信線１１を介して動画処理装置１の外部のネットワークと通信するためのインターフェイスである。
【００２６】
制御部２３は、ＣＰＵ２３１およびメモリ２３２を有しており、上記の各部を有機的に制御して動画処理装置１の動作を統括制御する部位である。この制御部２３のメモリ２３２には、記録媒体９に記録されているプログラムデータを入出力Ｉ／Ｆ２５を介して格納することができる。これにより、この格納したプログラムを動画処理装置１の動作に反映することができる。
【００２７】
＜動画処理装置１の動作＞
図３は、動画処理装置１の基本的な動作を示すフローチャートである。この動作は制御部２３のＣＰＵ２３１により自動的に実行される。
【００２８】
ステップＳ１では、後述する動画の予備シーン判定を行う。
【００２９】
ステップＳ２では、後述する動画の本シーン判定を行う。
【００３０】
ステップＳ３では、後述する動画補正を行う。
【００３１】
図４は、動画の予備シーン判定の動作を示すフローチャートである。また、図５は、予備シーン判定を説明するための図である。
【００３２】
動画Ｖｄは、例えば図５に示すように、Ｒ(赤)、Ｇ(緑)、Ｂ(青)の各色成分の合成によりカラー画像形成される１２のフレームＦ1〜Ｆ12で構成されている。以下では、この動画Ｖｄにおける予備シーン判定について説明する。
【００３３】
ステップＳ１１では、カウンタｉに１を代入する。
【００３４】
ステップＳ１２では、フレームＦiにおける緑色の画素値の平均値Ｇoldと、Ｆi+1における緑色の画素値の平均値Ｇnewとを算出する。ここでは、図６に示す画素配列Ｍｔにおいて、一定画素、例えば５画素毎（平行斜線部）に緑色の画素値をサンプリングし、その平均値を求める。
【００３５】
ステップＳ１３では、平均値Ｇoldと平均値Ｇnewとの差Ｄを算出する。
【００３６】
ステップＳ１４では、差Ｄが閾値Ｔｈ以上となっているかを判定する。ここで、差Ｄが閾値Ｔｈ以上となっている場合には、ステップＳ１５に進み、閾値Ｔｈ未満の場合には、ステップＳ１６に進む。
【００３７】
ステップＳ１５では、フレームＦiにおいてシーンチェンジと判定し、フレーム群（フレーム区間）の境界として、そのフレーム番号を記録して設定しておく。図５に示す動画Ｖｄでは、フレームＦ8でシーンチェンジと判定され、フレームＦ1〜Ｆ8がフレーム群ＦＧ１に、フレームＦ9〜Ｆ12がフレーム群ＦＧ２に分けられる。
【００３８】
ここで、画像情報であるＲＧＢの色成分のうち緑の色成分の画素値を抽出してシーンチェンジの判定を行うのは、緑色の画素値は画像全体の輝度に近い特性を有し、従来の全色成分を考慮する方法と比べても遜色のない精度を達成できるためである。また、デジタルビデオやデジタルカメラで使用するＣＣＤは、図７に示すようなＲＧＢベイヤー配列を有するものが多く、緑色の画素(平行斜線部)が他の色Ｒ、Ｂそれぞれの２倍の感度（領域）を有するため、精度良く判定できることとなる。
【００３９】
このように緑色に絞ったシーンチェンジの検出により、迅速な処理が行えることとなる。
【００４０】
ステップＳ１６では、カウンタｉにｉ＋１を代入する。
【００４１】
ステップＳ１７では、カウンタｉが動画Ｖｄを構成する全フレーム数ｎ以上であるか、すなわち処理対象の動画における全フレームのシーンチャンジ判定が完了したかを判定する。図５に示す動画Ｖｄでは、ｎは１２となる。ここで、カウンタｉがｎ以上である場合には、ステップＳ２に進み、ｎ未満である場合には、ステップＳ１２に戻る。
【００４２】
以上の動作により、図５に平行斜線で示す全フレームＦ1〜Ｆ12についてシーンチェンジが調べられ、画像の相関関係が高い、すなわちそれぞれが実質的に同一シーンとみなされる複数のフレーム群に分割されることとなる。
【００４３】
また、以上の予備シーン判定の動作により、フレームごとに緑色の画素値、すなわち複数の色成分のうちの一部の色成分の情報のみに注目してシーンチェンジを判定するため、シーンチェンジの検出の高速化、すなわち迅速に動画処理が行える。
【００４４】
図８は、動画の本シーン判定の動作を示すフローチャートである。また、図９は、本シーン判定を説明するための図である。
【００４５】
ステップＳ２１では、フレーム群ＦＧ１における一部のフレームに対して、シーン判定を行う。このシーン判定とは、特開平１１−２９８７３６号に開示されている夕焼け判定、色被り判定、コントラスト判定などの画像の特性としてシーン判定することを指している。このステップＳ２１では、フレーム群ＦＧ１に対して、等時間間隔、例えば１秒ごとにフレームを離散的にサンプリングする。具体的には、図９に平行斜線で示すように３フレームごとにフレームＦ1、Ｆ4、Ｆ7をサンプリングして、これらのフレームに対するシーン判定を行う。
【００４６】
なお、フレーム群に対して予め設定されたフレーム数、例えば３フレームをサンプリングするようにしても良い。この場合には、この３フレームの時間間隔が等間隔となるのが好ましい。
【００４７】
ステップＳ２２では、フレーム群ＦＧ１の最頻のシーンの画像内容の特性を、そのフレーム群に共通する特性として共通シーン特性と決定する。
【００４８】
ステップＳ２３では、次のフレーム群があるか、すなわち動画Ｖｄにおけるフレーム群のシーン判定が完了したかを判定する。ここで、次のフレーム群がある場合には、ステップＳ２１に戻り、次のフレーム群に対してステップＳ２１、Ｓ２２の動作を行う。例えば、動画Ｖｄではフレーム群ＦＧ１のシーン判定が完了すれば次のフレーム群ＦＧ２のシーン判定に移行することとなる。また、次のフレーム群がない場合には、ステップＳ３に進む。
【００４９】
上記の本シーン判定の動作について、次の表１および表２を用いて具体的に説明する。
【００５０】
【表１】
【００５１】
【表２】
【００５２】
上記のステップＳ２１の動作により、表１のようにフレーム群ＦＧ１におけるフレームＦ1、Ｆ4、Ｆ7が、それぞれ「緑被り」、「緑被り」、「ノーマル」と判定された場合には、ステップＳ２２の動作によって、最頻のシーンである「緑被り」がフレーム群ＦＧ１の共通シーン特性と決定される。
【００５３】
また、フレーム群ＦＧ２についても、フレーム群ＦＧ１と同様に本シーン判定を行うことで、表２のように動画Ｖｄのシーン判定が行われる。
【００５４】
以上の本シーン判定の動作により、フレーム群ＦＧ１では両端のフレームＦ1、Ｆ12に挟まれるフレームＦ4、Ｆ7に対するシーン判定を行うため、精度良く共通シーン特性を決定できる。
【００５５】
図１０は、動画補正の動作を示すフローチャートである。
【００５６】
ステップＳ３１では、フレーム群ごとに補正パラメータ（補正レベル）を決定する。ここでは、例えば次の表３に示すように、シーン「ノーマル」、「ローコントラスト」、「ハイコントラスト」、「緑被り」、「緑被り＆ローコントラスト」について、画像を適切に表示するために各補正レベルが設定されており、上記の本シーン判定の動作により決定された共通シーン特性に対応して、次の表４のように補正レベルが決定されることとなる。
【００５７】
【表３】
【００５８】
【表４】
【００５９】
ステップＳ３２〜ステップＳ３６では、ステップＳ３１で決定された補正レベルに基づいて、色被り補正、コントラスト補正、彩度補正、シャープネス補正、明度補正を行う。これにより、フレーム群に対して共通シーン特性として一括した適切な画像補正が行える。
【００６０】
ステップＳ３７では、次のフレーム群があるか、すなわち動画Ｖｄにおける全てのフレーム群の画像補正が完了したかを判定する。ここで、次のフレーム群がある場合には、ステップＳ３２に戻る。
【００６１】
また、上記の動画補正の動作については、表４に示すようにフレーム群ごとに全フレームについて一律に補正レベルに設定するのでなく、シーンチェンジ近傍のフレームの補正レベルを、隣接するフレーム群の補正レベルに応じた設定としても良い。具体的には、表５に示すように、フレームＦ7〜Ｆ10の補正レベルに関して隣のフレーム群の補正レベルを考慮し、線形補間により補正レベルを調整する。
【００６２】
【表５】
【００６３】
これにより、フレーム群の境界において補正レベルが不連続となるのを抑制でき、動画全体をスムーズに画像補正できることとなる。また、シーンチェンジを多少、誤検出しても、その悪影響を軽減できることとなる。
【００６４】
＜第２実施形態＞
本発明の第２実施形態に係る動画処理装置１の構成は、上記の動画処理装置１の構成に類似しているが、後述の動画処理装置１に係る動作を行うためのプログラムが、図２に示す全体制御部２３Ａのメモリ２３２に記憶されている。
【００６５】
図１１は、動画処理装置１の基本的な動作を示すフローチャートである。この動作は制御部２３のＣＰＵ２３１により自動的に実行される。
【００６６】
本動作においては、第１実施形態の動画処理装置１における動画補正動作に代わり、複数の動画に対する検索の動作が行われる。
【００６７】
ステップＳ５１では、操作部３に対するユーザ操作により、動画において検索のキー画像を設定する。また、後述する色特徴の類似度Ｒを判定する閾値Ｔｄ、例えば０.６を設定する。
【００６８】
ステップＳ５２では、キー画像の色特徴を抽出する。なお、ユーザが色特徴を指定していれば、その情報をそのまま利用する。
【００６９】
色特徴については、特開平１１−９６３６４号公報に開示されている方法で抽出される。この色特徴について以下で簡単に説明する。
【００７０】
色特徴は、フレームの各画素のＲＧＢ値をＨＳＬ値に変換し、色を特定する複数の色要素の値に基づいて複数の色グループに色を分類するための分類情報を有する色グループ分類テーブルを参照し、画像を構成する各画素の色を色グループ毎にカウントする。そして、色グループ内にカウントされた画素の色要素の値に基づいて各色グループの平均色を求め、色グループ内にカウントされた画素が画像全体に占める割合である占有率を色グループ毎に算出し、色グループの平均色と占有率とを色グループ毎に抽出することによって得られるものである。
【００７１】
ステップＳ５３では、後述する予備シーン判定を行う。
【００７２】
ステップＳ５４では、フレーム群における１つのフレームに対して色特徴を抽出する。なお、ここで、第１実施形態における本シーン判定の動作のように複数のフレームで色特徴を抽出する場合には、抽出された色特徴の平均を求めるのが好ましい。
【００７３】
ステップＳ５５では、キー画像に対するフレーム群の類似度Ｒiを算出する。
【００７４】
ステップＳ５６では、次のフレーム群があるか、すなわち動画における全フレーム群の色特徴の抽出が完了したかを判定する。ここで、次のフレーム群がある場合には、ステップＳ５４に戻り、次のフレーム群がない場合には、ステップＳ５７に進む。
【００７５】
ステップＳ５７では、動画に対する類似度Ｒを算出する。ここでは、ｋi(i＝１,２,・・・)を動画を構成する全フレームに占める各フレーム群のフレーム数の割合とし、Ｒi(i＝１,２,・・・)を各フレーム群における類似度とすれば、類似度Ｒ＝ｋ１×Ｒ１＋ｋ２×Ｒ２＋・・・の形の加重和で計算される。
【００７６】
ステップＳ５８では、次の検索対象の動画があるかを判定する。ここで、次の動画がある場合には、ステップＳ５５３に戻り、次の動画がない場合には、ステップＳ５９に進む。
【００７７】
ステップＳ５９では、検索した複数の動画のうち、キー画像に対する類似度が、ステップＳ５１で設定した閾値Ｔｄ以上となる動画を検索結果としてモニタ４に出力する。
【００７８】
図１２は、動画の予備シーン判定の動作を示すフローチャートである。
【００７９】
ステップＳ６１は、図４のステップＳ１１と同様に、カウンタｉに１を代入する。
【００８０】
ステップＳ６２では、図１３に示すように、フレームＦiにおける緑色の画素に基づき作成されたヒストグラムの最大値Ｍoldおよび分散Ｓoldと、フレームＦi+1における緑色の画素に基づき作成されたヒストグラムの最大値Ｍnewおよび分散Ｓnewとを算出する。なお、図１３に示すヒストグラムでは、横軸は輝度(画素値)ｘを示しており、縦軸は画素数ｙを示している。そして、上記の分散Ｓは、次の数１で計算されることとなる。
【００８１】
【数１】
【００８２】
これにより、第１実施形態と同様に、緑色のみに着目して、シーンチェンジの判定を行うため、迅速で精度の良い処理が行える。
【００８３】
ステップＳ６３では、最大値ＭoldとＭnewとの差Ｄ１を算出するとともに、分散ＳoldとＳnewとの差Ｄ２を算出する。
【００８４】
ステップＳ６４では、差Ｄ１が閾値Ｔｈ１以上で、かつ差Ｄ２が閾値Ｔｈ２以上となっているかを判定する。ここで、差Ｄ１、Ｄ２が閾値Ｔｈ１、Ｔｈ２以上となっている場合には、ステップＳ６５に進み、閾値Ｔｈ１、Ｔｈ２未満の場合には、ステップＳ６６に進む。
【００８５】
ステップＳ６５〜Ｓ６７では、図４に示すフローチャートのステップＳ１５〜Ｓ１７と同様の動作を行う。
【００８６】
以上の動画処理装置１の予備シーン判定動作により、第１実施形態と同様に、フレームごとに緑色の画素値、すなわち一部の色成分の情報のみに注目してシーンチェンジを判定するため、シーンチェンジ検出の高速化、すなわち迅速に動画処理が行える。
【００８７】
また、第２実施形態の動画検索については、図１４に示す動画処理システム７にも適用できる。
【００８８】
動画処理システム７は、上記の動画処理装置１と同様の構成を有するサーバー７０を備えるとともに、サーバー７０と通信線７９を介して通信可能なクライアントとしての端末７１〜７３を備えている。これらの端末７１〜７３も、動画処理装置１と同様の構成を有している。
【００８９】
この動画処理システム７により、ネットワークを利用し遠隔からの動画検索が行えることとなる。
【００９０】
図１５は、端末７２における動画検索の動作を示すフローチャートである。
【００９１】
ステップＳ７１およびＳ７２では、図１１のフローチャートのステップＳ５１およびＳ５２と同様の動作を行う。
【００９２】
ステップＳ７３では、図１４のデータの流れＦＤに示すように、ステップＳ７２で抽出した色特徴抽出データをサーバー７０に送信し、サーバー７０に記録されている複数の動画に対する検索を依頼する。
【００９３】
ステップＳ７４では、図１４のデータの流れＢＤに示すように、後述のステップＳ８８においてサーバー７０から送信された動画の検索結果を受信する。
【００９４】
ステップＳ７５では、図１１のフローチャートのステップＳ５９と同様の動作を行う。
【００９５】
図１６は、サーバー７０における動画検索の動作を示すフローチャートである。
【００９６】
ステップＳ８１では、上記のステップＳ７３でクライアント側の端末７２から送信された色特徴抽出データを受信する。
【００９７】
ステップＳ８２〜Ｓ８７では、図１１のフローチャートのステップＳ５３〜Ｓ５８と同様の動作を行う。
【００９８】
ステップＳ８８では、図１１のフローチャートのステップＳ５１と同様の動作で、検索結果をクライアント側の端末７２に送信する。
【００９９】
以上の動画処理システム７の動作により、上述した動画処理装置１と同様の効果を得られるとともに、動画情報を記録するサーバーに対して遠隔の端末から動画検索が行え、利便性が向上する。
【０１００】
なお、端末側からキー画像をサーバーに送信し、サーバー側で色特徴を抽出し動画検索を行うようにしても良い。
【０１０１】
また、動画検索において、抽出された色特徴を利用するのではなく、上述した緑被りなどのシーン情報を利用しても良い。
【０１０２】
＜変形例＞
◎上記の各実施形態については、本シーン判定をシーンチェンジＳＣ近傍以外のフレームで行うようにしても良い。
【０１０３】
図１７は、この本シーン判定の動作を説明するための図である。
【０１０４】
フレーム群ＦＧ１に対して、３フレームごとにサンプリングし、かつシーンチェンジＳＣ近傍の、例えば１秒間に相当するフレームＦ10〜Ｆ12を除外したフレームＦ1、Ｆ4、Ｆ7をサンプリングして、本シーン判定を行う。
【０１０５】
これにより、例えば屋外から屋内に移動した場合などに生じる緩慢なシーンチェンジにおいて、その緩慢なシーン変化過程を十分に除外することが可能となる。すなわち、シーンが十分に変化してしないフレームを本シーン判定に使用しないため、より精度良く共通シーン特性判定が行えることとなる。
【０１０６】
◎上記の各実施形態については、予備シ−ン判定を一定の時間間隔で行っても良い。
【０１０７】
図１８は、この予備シーン判定の動作を説明するための図である。
【０１０８】
予備シーン判定については、一定の時間間隔、例えば３フレームごとに１回サンプリングするようにしても良い。具体的には、図１８に示すようにフレームＦ1、Ｆ4、Ｆ7、Ｆ10(平行斜線部)に対してシーンチェンジを検出する。ここでは、フレームＦ7とＦ10との間でシーンの変化があった場合にはフレームＦ9でシーンチェンジがあったとみなされることとなる。
【０１０９】
これにより、動画を構成する全フレームに対するシーンチェンジの検出と比べて、シーンチェンジと扱うのが適切でない、例えばフラッシュ光などの外乱を受ける短いフレーム群をシーンチェンジと誤検出することが抑制される。また、予備シーン判定の動作が高速化に行える。
【０１１０】
ここでは、実際のシーンチェンジのフレームよりずれてシーンチェンジが検出される恐れがあるが、例えばフレームの再生スピードが１５ｆｐｓ(frame per seconnd)では、３フレームずれてシーンチェンジが検出されても、実際には０.２秒に相当するだけであるため、特に問題とならないことが多く、このような場合には特に有効となる。
【０１１１】
◎上記の各実施形態については、本シーン判定において誤判定と認定められるフレームを修正するようにしても良い。
【０１１２】
図１９は、この本シーン判定の動作を説明するための図である。
【０１１３】
図１９(ａ)に示すように、予備シーン判定によって４つのフレーム群に分割された動画について、所定の閾値より短い時間、例えば０.１秒以内の動画再生時間に相当するフレーム群２（図１９(ａ)の例ではこのフレーム群２は１のフレームのみからなるフレーム群）を短時間フレーム群として検出し、その短時間フレーム群２が前後のフレーム群１、３と異なる共通シーン特性「ハイコントラスト」であり、かつ前後のフレーム群１、３が同一シーン「ノーマル」であれば、このフレーム群２は誤シーン判定されていると認められる。このため、この短時間フレーム群２のシーンの特性を前後のフレーム群で判定された共通シーン特性で置換する。この置換により、図１９(ｂ)に示す表のように２つのフレーム群に分割され、適切な本シーン判定結果が得られることとなる。
【０１１４】
これにより、フラッシュ光などの影響による誤判定を防止することができる。
【０１１５】
◎第１実施形態において、図６に示すように５画素毎に緑色の画素値をサンプリングするのは必須ではなく、全画素をサンプリングしても良く、また２画素ごと、３画素ごとにサンプリングしても良い。
【０１１６】
【発明の効果】
以上説明したように、請求項１ないし請求項８の発明によれば、フレーム区間の両端のフレームに挟まれる少なくとも１のフレームに対するシーン特性の判定結果に基づき、フレーム区間で共通特性を表現した共通シーン特性を決定する。その結果、共通シーンを精度良く判定できる。
【０１１７】
特に、請求項２の発明については、シーンチェンジ近傍のフレームを除外したフレームに対してシーンの特性判定を行うため、共通シーンをより精度良く判定できる。
【０１１８】
また、請求項３の発明については、複数のフレームごとに１回シーンチェンジを検出しフレーム区間を設定するため、シーンチェンジ検出を高速化できる。また、シーンチェンジ検出において、フラッシュ光などの瞬間的な外乱の影響を抑制できる。
【０１１９】
また、請求項４の発明については、所定の閾値よりも短い時間間隔だけ連続し、かつその前後のフレーム区間とは異なる共通シーン特性を有する短時間フレーム区間を検出し、前後のフレーム区間の共通シーン特性が実質的に同一である場合に、短時間フレーム区間の共通シーン特性を前後のフレーム区間の共通シーン特性で置換する。その結果、適切な共通シーンの判定結果が得られる。
【０１２０】
また、請求項５の発明については、決定手段が３以上のフレームのうち最頻のシーンに基づきフレーム区間に係る共通シーン特性を決定するため、共通シーンを適切に決定できる。
【０１２１】
また、請求項１ないし請求項８の発明については、シーンチェンジ近傍に係るフレームの補正係数を隣接するフレーム区間の補正係数に応じて調整するため、動画全体をスムーズに画像補正できる。
【０１２２】
また、請求項６の発明については、所定の画像情報が緑の色成分の情報であるため、シーンチェンジを迅速に検出できる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る動画処理装置１の要部構成を示す斜視図である。
【図２】動画処理装置１の機能ブロックを示す図である。
【図３】動画処理装置１の基本的な動作を示すフローチャートである。
【図４】動画の予備シーン判定の動作を示すフローチャートである。
【図５】予備シーン判定を説明するための図である。
【図６】画素配列Ｍｔを示す図である。
【図７】ＣＣＤにおけるＲＧＢベイヤー配列を示す図である。
【図８】動画の本シーン判定の動作を示すフローチャートである。
【図９】本シーン判定を説明するための図である。
【図１０】動画補正の動作を示すフローチャートである。
【図１１】本発明の第２実施形態に係る動画処理装置１の基本的な動作を示すフローチャートである。
【図１２】動画の予備シーン判定の動作を示すフローチャートである。
【図１３】フレームにおける緑色の画素に基づき作成されたヒストグラムを示す図である。
【図１４】動画処理システム７の要部構成を示す図である。
【図１５】端末７２における動画検索の動作を示すフローチャートである。
【図１６】サーバー７０における動画検索の動作を示すフローチャートである。
【図１７】変形例に係る本シーン判定の動作を説明するための図である。
【図１８】変形例に係る予備シーン判定の動作を説明するための図である。
【図１９】変形例に係る本シーン判定の動作を説明するための図である。
【符号の説明】
１ 動画処理装置
３ 操作部
４ モニタ
７ 動画処理システム
９ 記録媒体
２３、２３Ａ 制御部
７０ サーバー
７１〜７３ 端末
【発明の属する技術分野】
本発明は、動画処理技術に関し、特に動画におけるシーン判定技術の改良に関する。
【０００２】
【従来の技術】
従来の動画処理においては、動画を構成するフレームごとにその輝度などの変化を検出し動画におけるシーンチェンジ（シーン変化）を判定して、シーンチェンジから次のシーンチェンジまでの、実質的に同一シーンを有するフレーム群に共通する動画特性としての共通シーン特性を決定する方法がある。
【０００３】
そして、この共通シーン特性に応じた補正パラメータに基づき、フレーム群で一括した画像補正を行って動画処理の効率化、適正化を図っている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の動画処理では、共通シーン特性がシーンチェンジ直後のフレームに対するシーン判定のみに基づき決定されることとなるが、シーンチェンジ直後のフレームは必ずしも十分なシーンチェンジがなされたものとは限らず、共通シーン特性の判定精度が悪い場合が多い。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、動画において共通シーン特性を精度良く判定できる動画処理技術を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明は、複数のフレームで構成される動画を処理する動画処理装置であって、(a)所定の画像情報に関するフレームごとの変化に応じて前記動画に係るシーンチェンジを検出し、前記シーンチェンジを境界としたフレーム区間を設定する設定手段と、(b)前記フレーム区間について、両端のフレームに挟まれる少なくとも１のフレームに対するシーンの特性判定を行うシーン判定手段と、(c)前記シーン判定手段によるシーン判定結果に基づき、前記フレーム区間で共通特性を表現した共通シーン特性を決定する決定手段と、 (d) 前記フレーム区間に係る共通シーン特性に応じて設定された補正係数に基づき、前記フレーム区間の各フレームに対して画像補正を行う補正手段とを備え、前記補正手段では、前記シーンチェンジ近傍に係るフレームの補正係数を、隣接するフレーム区間の補正係数に応じて調整する。
【０００７】
また、請求項２の発明は、請求項１の発明に係る動画処理装置において、前記シーン判定手段は、前記シーンチェンジ近傍のフレームを除外したフレームに対してシーンの特性判定を行う。
【０００８】
また、請求項３の発明は、請求項１または請求項２の発明に係る動画処理装置において、前記設定手段は、複数のフレームごとに１回シーンチェンジを検出し、前記フレーム区間を設定する。
【０００９】
また、請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係る動画処理装置において、(e)所定の閾値よりも短い時間間隔だけ連続し、かつその前後のフレーム区間とは異なる共通シーン特性を有する短時間フレーム区間を検出する検出手段と、(f)前記前後のフレーム区間の共通シーン特性が実質的に同一である場合に、前記短時間フレーム区間の共通シーン特性を、前記前後のフレーム区間の共通シーン特性で置換する置換手段とをさらに備える。
【００１０】
また、請求項５の発明は、請求項１ないし請求項４のいずれかの発明に係る動画処理装置において、前記シーン判定手段は、３以上のフレームに対するシーン判定を行い、前記決定手段は、前記３以上のフレームのうち最頻のシーンに基づき、前記フレーム区間に係る共通シーン特性を決定する。
【００１２】
また、請求項６の発明は、請求項１ないし請求項５のいずれかの発明に係る動画処理装置において、前記所定の画像情報は、緑の色成分の情報である。
【００１３】
また、請求項７の発明は、複数のフレームで構成される動画を処理する動画処理方法であって、(a)所定の画像情報に関するフレームごとの変化に応じて前記動画に係るシーンチェンジを検出し、前記シーンチェンジを境界としたフレーム区間を設定する設定工程と、(b)前記フレーム区間について、両端のフレームに挟まれる少なくとも１のフレームに対するシーンの特性判定を行うシーン判定工程と、(c)前記シーン判定工程におけるシーン判定結果に基づき、前記フレーム区間で共通特性を表現した共通シーン特性を決定する決定工程と、 (d) 前記フレーム区間に係る共通シーン特性に応じて設定された補正係数に基づき、前記フレーム区間の各フレームに対して画像補正を行う補正工程とを備え、前記補正工程では、前記シーンチェンジ近傍に係るフレームの補正係数を、隣接するフレーム区間の補正係数に応じて調整する。
【００１４】
また、請求項８の発明は、動画処理装置に内蔵されたコンピュータにインストールされることにより、当該動画処理装置を請求項１ないし請求項６のいずれかの発明に係る動画処理装置として機能させるためのプログラムを記録してある。
【００１５】
【発明の実施の形態】
＜第１実施形態＞
＜動画処理装置の要部構成＞
図１は、本発明の第１実施形態に係る動画処理装置１の要部構成を示す斜視図である。
【００１６】
動画処理装置１は、パーソナルコンピュータとして構成されており、箱型の形状を有する処理部２と、操作部３と、モニタ４とを備えている。
【００１７】
処理部２は、動画処理を行う部位であり、その前面に光ディスクなどの記録媒体９を挿入する挿入部２１を有している。
【００１８】
操作部３は、マウス３１とキーボード３２とから構成され、ユーザからの動画処理装置１に対する入力操作を受付ける。
【００１９】
モニタ４は、処理部２からの指示に基づき表示が行われることとなる。
【００２０】
図２は、動画処理装置１の機能ブロックを示す図である。
【００２１】
動画処理装置１の処理部２は、上記のマウス３１、キーボード３２およびモニタ４に接続する入出力Ｉ／Ｆ２２と、入出力Ｉ／Ｆ２２に電気的に接続する制御部２３とを備えている。また、処理部２は、制御部２３に電気的に接続する記憶部２４と、入出力Ｉ／Ｆ２５と、通信Ｉ／Ｆ２６とを備えている。
【００２２】
入出力Ｉ／Ｆ２２は、マウス３１、キーボード３２およびモニタ４と制御部２３との間でデータの送受をコントロールするためのインターフェイスである。
【００２３】
記憶部２４は、ハードディスクとして構成されており、オペレーションシステム（ＯＳ）２４ａと、動画処理を行うための演算処理プログラム２４ｂとが記憶されている。
【００２４】
入出力Ｉ／Ｆ２５は、挿入部２１を介して、記録媒体９に対するデータの入出力を行うためのインターフェイスである。
【００２５】
通信Ｉ／Ｆ２６、通信線１１を介して動画処理装置１の外部のネットワークと通信するためのインターフェイスである。
【００２６】
制御部２３は、ＣＰＵ２３１およびメモリ２３２を有しており、上記の各部を有機的に制御して動画処理装置１の動作を統括制御する部位である。この制御部２３のメモリ２３２には、記録媒体９に記録されているプログラムデータを入出力Ｉ／Ｆ２５を介して格納することができる。これにより、この格納したプログラムを動画処理装置１の動作に反映することができる。
【００２７】
＜動画処理装置１の動作＞
図３は、動画処理装置１の基本的な動作を示すフローチャートである。この動作は制御部２３のＣＰＵ２３１により自動的に実行される。
【００２８】
ステップＳ１では、後述する動画の予備シーン判定を行う。
【００２９】
ステップＳ２では、後述する動画の本シーン判定を行う。
【００３０】
ステップＳ３では、後述する動画補正を行う。
【００３１】
図４は、動画の予備シーン判定の動作を示すフローチャートである。また、図５は、予備シーン判定を説明するための図である。
【００３２】
動画Ｖｄは、例えば図５に示すように、Ｒ(赤)、Ｇ(緑)、Ｂ(青)の各色成分の合成によりカラー画像形成される１２のフレームＦ1〜Ｆ12で構成されている。以下では、この動画Ｖｄにおける予備シーン判定について説明する。
【００３３】
ステップＳ１１では、カウンタｉに１を代入する。
【００３４】
ステップＳ１２では、フレームＦiにおける緑色の画素値の平均値Ｇoldと、Ｆi+1における緑色の画素値の平均値Ｇnewとを算出する。ここでは、図６に示す画素配列Ｍｔにおいて、一定画素、例えば５画素毎（平行斜線部）に緑色の画素値をサンプリングし、その平均値を求める。
【００３５】
ステップＳ１３では、平均値Ｇoldと平均値Ｇnewとの差Ｄを算出する。
【００３６】
ステップＳ１４では、差Ｄが閾値Ｔｈ以上となっているかを判定する。ここで、差Ｄが閾値Ｔｈ以上となっている場合には、ステップＳ１５に進み、閾値Ｔｈ未満の場合には、ステップＳ１６に進む。
【００３７】
ステップＳ１５では、フレームＦiにおいてシーンチェンジと判定し、フレーム群（フレーム区間）の境界として、そのフレーム番号を記録して設定しておく。図５に示す動画Ｖｄでは、フレームＦ8でシーンチェンジと判定され、フレームＦ1〜Ｆ8がフレーム群ＦＧ１に、フレームＦ9〜Ｆ12がフレーム群ＦＧ２に分けられる。
【００３８】
ここで、画像情報であるＲＧＢの色成分のうち緑の色成分の画素値を抽出してシーンチェンジの判定を行うのは、緑色の画素値は画像全体の輝度に近い特性を有し、従来の全色成分を考慮する方法と比べても遜色のない精度を達成できるためである。また、デジタルビデオやデジタルカメラで使用するＣＣＤは、図７に示すようなＲＧＢベイヤー配列を有するものが多く、緑色の画素(平行斜線部)が他の色Ｒ、Ｂそれぞれの２倍の感度（領域）を有するため、精度良く判定できることとなる。
【００３９】
このように緑色に絞ったシーンチェンジの検出により、迅速な処理が行えることとなる。
【００４０】
ステップＳ１６では、カウンタｉにｉ＋１を代入する。
【００４１】
ステップＳ１７では、カウンタｉが動画Ｖｄを構成する全フレーム数ｎ以上であるか、すなわち処理対象の動画における全フレームのシーンチャンジ判定が完了したかを判定する。図５に示す動画Ｖｄでは、ｎは１２となる。ここで、カウンタｉがｎ以上である場合には、ステップＳ２に進み、ｎ未満である場合には、ステップＳ１２に戻る。
【００４２】
以上の動作により、図５に平行斜線で示す全フレームＦ1〜Ｆ12についてシーンチェンジが調べられ、画像の相関関係が高い、すなわちそれぞれが実質的に同一シーンとみなされる複数のフレーム群に分割されることとなる。
【００４３】
また、以上の予備シーン判定の動作により、フレームごとに緑色の画素値、すなわち複数の色成分のうちの一部の色成分の情報のみに注目してシーンチェンジを判定するため、シーンチェンジの検出の高速化、すなわち迅速に動画処理が行える。
【００４４】
図８は、動画の本シーン判定の動作を示すフローチャートである。また、図９は、本シーン判定を説明するための図である。
【００４５】
ステップＳ２１では、フレーム群ＦＧ１における一部のフレームに対して、シーン判定を行う。このシーン判定とは、特開平１１−２９８７３６号に開示されている夕焼け判定、色被り判定、コントラスト判定などの画像の特性としてシーン判定することを指している。このステップＳ２１では、フレーム群ＦＧ１に対して、等時間間隔、例えば１秒ごとにフレームを離散的にサンプリングする。具体的には、図９に平行斜線で示すように３フレームごとにフレームＦ1、Ｆ4、Ｆ7をサンプリングして、これらのフレームに対するシーン判定を行う。
【００４６】
なお、フレーム群に対して予め設定されたフレーム数、例えば３フレームをサンプリングするようにしても良い。この場合には、この３フレームの時間間隔が等間隔となるのが好ましい。
【００４７】
ステップＳ２２では、フレーム群ＦＧ１の最頻のシーンの画像内容の特性を、そのフレーム群に共通する特性として共通シーン特性と決定する。
【００４８】
ステップＳ２３では、次のフレーム群があるか、すなわち動画Ｖｄにおけるフレーム群のシーン判定が完了したかを判定する。ここで、次のフレーム群がある場合には、ステップＳ２１に戻り、次のフレーム群に対してステップＳ２１、Ｓ２２の動作を行う。例えば、動画Ｖｄではフレーム群ＦＧ１のシーン判定が完了すれば次のフレーム群ＦＧ２のシーン判定に移行することとなる。また、次のフレーム群がない場合には、ステップＳ３に進む。
【００４９】
上記の本シーン判定の動作について、次の表１および表２を用いて具体的に説明する。
【００５０】
【表１】
【表２】
上記のステップＳ２１の動作により、表１のようにフレーム群ＦＧ１におけるフレームＦ1、Ｆ4、Ｆ7が、それぞれ「緑被り」、「緑被り」、「ノーマル」と判定された場合には、ステップＳ２２の動作によって、最頻のシーンである「緑被り」がフレーム群ＦＧ１の共通シーン特性と決定される。
【００５３】
また、フレーム群ＦＧ２についても、フレーム群ＦＧ１と同様に本シーン判定を行うことで、表２のように動画Ｖｄのシーン判定が行われる。
【００５４】
以上の本シーン判定の動作により、フレーム群ＦＧ１では両端のフレームＦ1、Ｆ12に挟まれるフレームＦ4、Ｆ7に対するシーン判定を行うため、精度良く共通シーン特性を決定できる。
【００５５】
図１０は、動画補正の動作を示すフローチャートである。
【００５６】
ステップＳ３１では、フレーム群ごとに補正パラメータ（補正レベル）を決定する。ここでは、例えば次の表３に示すように、シーン「ノーマル」、「ローコントラスト」、「ハイコントラスト」、「緑被り」、「緑被り＆ローコントラスト」について、画像を適切に表示するために各補正レベルが設定されており、上記の本シーン判定の動作により決定された共通シーン特性に対応して、次の表４のように補正レベルが決定されることとなる。
【００５７】
【表３】
【表４】
ステップＳ３２〜ステップＳ３６では、ステップＳ３１で決定された補正レベルに基づいて、色被り補正、コントラスト補正、彩度補正、シャープネス補正、明度補正を行う。これにより、フレーム群に対して共通シーン特性として一括した適切な画像補正が行える。
【００６０】
ステップＳ３７では、次のフレーム群があるか、すなわち動画Ｖｄにおける全てのフレーム群の画像補正が完了したかを判定する。ここで、次のフレーム群がある場合には、ステップＳ３２に戻る。
【００６１】
また、上記の動画補正の動作については、表４に示すようにフレーム群ごとに全フレームについて一律に補正レベルに設定するのでなく、シーンチェンジ近傍のフレームの補正レベルを、隣接するフレーム群の補正レベルに応じた設定としても良い。具体的には、表５に示すように、フレームＦ7〜Ｆ10の補正レベルに関して隣のフレーム群の補正レベルを考慮し、線形補間により補正レベルを調整する。
【００６２】
【表５】
これにより、フレーム群の境界において補正レベルが不連続となるのを抑制でき、動画全体をスムーズに画像補正できることとなる。また、シーンチェンジを多少、誤検出しても、その悪影響を軽減できることとなる。
【００６４】
＜第２実施形態＞
本発明の第２実施形態に係る動画処理装置１の構成は、上記の動画処理装置１の構成に類似しているが、後述の動画処理装置１に係る動作を行うためのプログラムが、図２に示す全体制御部２３Ａのメモリ２３２に記憶されている。
【００６５】
図１１は、動画処理装置１の基本的な動作を示すフローチャートである。この動作は制御部２３のＣＰＵ２３１により自動的に実行される。
【００６６】
本動作においては、第１実施形態の動画処理装置１における動画補正動作に代わり、複数の動画に対する検索の動作が行われる。
【００６７】
ステップＳ５１では、操作部３に対するユーザ操作により、動画において検索のキー画像を設定する。また、後述する色特徴の類似度Ｒを判定する閾値Ｔｄ、例えば０.６を設定する。
【００６８】
ステップＳ５２では、キー画像の色特徴を抽出する。なお、ユーザが色特徴を指定していれば、その情報をそのまま利用する。
【００６９】
色特徴については、特開平１１−９６３６４号公報に開示されている方法で抽出される。この色特徴について以下で簡単に説明する。
【００７０】
色特徴は、フレームの各画素のＲＧＢ値をＨＳＬ値に変換し、色を特定する複数の色要素の値に基づいて複数の色グループに色を分類するための分類情報を有する色グループ分類テーブルを参照し、画像を構成する各画素の色を色グループ毎にカウントする。そして、色グループ内にカウントされた画素の色要素の値に基づいて各色グループの平均色を求め、色グループ内にカウントされた画素が画像全体に占める割合である占有率を色グループ毎に算出し、色グループの平均色と占有率とを色グループ毎に抽出することによって得られるものである。
【００７１】
ステップＳ５３では、後述する予備シーン判定を行う。
【００７２】
ステップＳ５４では、フレーム群における１つのフレームに対して色特徴を抽出する。なお、ここで、第１実施形態における本シーン判定の動作のように複数のフレームで色特徴を抽出する場合には、抽出された色特徴の平均を求めるのが好ましい。
【００７３】
ステップＳ５５では、キー画像に対するフレーム群の類似度Ｒiを算出する。
【００７４】
ステップＳ５６では、次のフレーム群があるか、すなわち動画における全フレーム群の色特徴の抽出が完了したかを判定する。ここで、次のフレーム群がある場合には、ステップＳ５４に戻り、次のフレーム群がない場合には、ステップＳ５７に進む。
【００７５】
ステップＳ５７では、動画に対する類似度Ｒを算出する。ここでは、ｋi(i＝１,２,・・・)を動画を構成する全フレームに占める各フレーム群のフレーム数の割合とし、Ｒi(i＝１,２,・・・)を各フレーム群における類似度とすれば、類似度Ｒ＝ｋ１×Ｒ１＋ｋ２×Ｒ２＋・・・の形の加重和で計算される。
【００７６】
ステップＳ５８では、次の検索対象の動画があるかを判定する。ここで、次の動画がある場合には、ステップＳ５５３に戻り、次の動画がない場合には、ステップＳ５９に進む。
【００７７】
ステップＳ５９では、検索した複数の動画のうち、キー画像に対する類似度が、ステップＳ５１で設定した閾値Ｔｄ以上となる動画を検索結果としてモニタ４に出力する。
【００７８】
図１２は、動画の予備シーン判定の動作を示すフローチャートである。
【００７９】
ステップＳ６１は、図４のステップＳ１１と同様に、カウンタｉに１を代入する。
【００８０】
ステップＳ６２では、図１３に示すように、フレームＦiにおける緑色の画素に基づき作成されたヒストグラムの最大値Ｍoldおよび分散Ｓoldと、フレームＦi+1における緑色の画素に基づき作成されたヒストグラムの最大値Ｍnewおよび分散Ｓnewとを算出する。なお、図１３に示すヒストグラムでは、横軸は輝度(画素値)ｘを示しており、縦軸は画素数ｙを示している。そして、上記の分散Ｓは、次の数１で計算されることとなる。
【００８１】
【数１】
これにより、第１実施形態と同様に、緑色のみに着目して、シーンチェンジの判定を行うため、迅速で精度の良い処理が行える。
【００８３】
ステップＳ６３では、最大値ＭoldとＭnewとの差Ｄ１を算出するとともに、分散ＳoldとＳnewとの差Ｄ２を算出する。
【００８４】
ステップＳ６４では、差Ｄ１が閾値Ｔｈ１以上で、かつ差Ｄ２が閾値Ｔｈ２以上となっているかを判定する。ここで、差Ｄ１、Ｄ２が閾値Ｔｈ１、Ｔｈ２以上となっている場合には、ステップＳ６５に進み、閾値Ｔｈ１、Ｔｈ２未満の場合には、ステップＳ６６に進む。
【００８５】
ステップＳ６５〜Ｓ６７では、図４に示すフローチャートのステップＳ１５〜Ｓ１７と同様の動作を行う。
【００８６】
以上の動画処理装置１の予備シーン判定動作により、第１実施形態と同様に、フレームごとに緑色の画素値、すなわち一部の色成分の情報のみに注目してシーンチェンジを判定するため、シーンチェンジ検出の高速化、すなわち迅速に動画処理が行える。
【００８７】
また、第２実施形態の動画検索については、図１４に示す動画処理システム７にも適用できる。
【００８８】
動画処理システム７は、上記の動画処理装置１と同様の構成を有するサーバー７０を備えるとともに、サーバー７０と通信線７９を介して通信可能なクライアントとしての端末７１〜７３を備えている。これらの端末７１〜７３も、動画処理装置１と同様の構成を有している。
【００８９】
この動画処理システム７により、ネットワークを利用し遠隔からの動画検索が行えることとなる。
【００９０】
図１５は、端末７２における動画検索の動作を示すフローチャートである。
【００９１】
ステップＳ７１およびＳ７２では、図１１のフローチャートのステップＳ５１およびＳ５２と同様の動作を行う。
【００９２】
ステップＳ７３では、図１４のデータの流れＦＤに示すように、ステップＳ７２で抽出した色特徴抽出データをサーバー７０に送信し、サーバー７０に記録されている複数の動画に対する検索を依頼する。
【００９３】
ステップＳ７４では、図１４のデータの流れＢＤに示すように、後述のステップＳ８８においてサーバー７０から送信された動画の検索結果を受信する。
【００９４】
ステップＳ７５では、図１１のフローチャートのステップＳ５９と同様の動作を行う。
【００９５】
図１６は、サーバー７０における動画検索の動作を示すフローチャートである。
【００９６】
ステップＳ８１では、上記のステップＳ７３でクライアント側の端末７２から送信された色特徴抽出データを受信する。
【００９７】
ステップＳ８２〜Ｓ８７では、図１１のフローチャートのステップＳ５３〜Ｓ５８と同様の動作を行う。
【００９８】
ステップＳ８８では、図１１のフローチャートのステップＳ５１と同様の動作で、検索結果をクライアント側の端末７２に送信する。
【００９９】
以上の動画処理システム７の動作により、上述した動画処理装置１と同様の効果を得られるとともに、動画情報を記録するサーバーに対して遠隔の端末から動画検索が行え、利便性が向上する。
【０１００】
なお、端末側からキー画像をサーバーに送信し、サーバー側で色特徴を抽出し動画検索を行うようにしても良い。
【０１０１】
また、動画検索において、抽出された色特徴を利用するのではなく、上述した緑被りなどのシーン情報を利用しても良い。
【０１０２】
＜変形例＞
◎上記の各実施形態については、本シーン判定をシーンチェンジＳＣ近傍以外のフレームで行うようにしても良い。
【０１０３】
図１７は、この本シーン判定の動作を説明するための図である。
【０１０４】
フレーム群ＦＧ１に対して、３フレームごとにサンプリングし、かつシーンチェンジＳＣ近傍の、例えば１秒間に相当するフレームＦ10〜Ｆ12を除外したフレームＦ1、Ｆ4、Ｆ7をサンプリングして、本シーン判定を行う。
【０１０５】
これにより、例えば屋外から屋内に移動した場合などに生じる緩慢なシーンチェンジにおいて、その緩慢なシーン変化過程を十分に除外することが可能となる。すなわち、シーンが十分に変化してしないフレームを本シーン判定に使用しないため、より精度良く共通シーン特性判定が行えることとなる。
【０１０６】
◎上記の各実施形態については、予備シ−ン判定を一定の時間間隔で行っても良い。
【０１０７】
図１８は、この予備シーン判定の動作を説明するための図である。
【０１０８】
予備シーン判定については、一定の時間間隔、例えば３フレームごとに１回サンプリングするようにしても良い。具体的には、図１８に示すようにフレームＦ1、Ｆ4、Ｆ7、Ｆ10(平行斜線部)に対してシーンチェンジを検出する。ここでは、フレームＦ7とＦ10との間でシーンの変化があった場合にはフレームＦ9でシーンチェンジがあったとみなされることとなる。
【０１０９】
これにより、動画を構成する全フレームに対するシーンチェンジの検出と比べて、シーンチェンジと扱うのが適切でない、例えばフラッシュ光などの外乱を受ける短いフレーム群をシーンチェンジと誤検出することが抑制される。また、予備シーン判定の動作が高速化に行える。
【０１１０】
ここでは、実際のシーンチェンジのフレームよりずれてシーンチェンジが検出される恐れがあるが、例えばフレームの再生スピードが１５ｆｐｓ(frame per seconnd)では、３フレームずれてシーンチェンジが検出されても、実際には０.２秒に相当するだけであるため、特に問題とならないことが多く、このような場合には特に有効となる。
【０１１１】
◎上記の各実施形態については、本シーン判定において誤判定と認定められるフレームを修正するようにしても良い。
【０１１２】
図１９は、この本シーン判定の動作を説明するための図である。
【０１１３】
図１９(ａ)に示すように、予備シーン判定によって４つのフレーム群に分割された動画について、所定の閾値より短い時間、例えば０.１秒以内の動画再生時間に相当するフレーム群２（図１９(ａ)の例ではこのフレーム群２は１のフレームのみからなるフレーム群）を短時間フレーム群として検出し、その短時間フレーム群２が前後のフレーム群１、３と異なる共通シーン特性「ハイコントラスト」であり、かつ前後のフレーム群１、３が同一シーン「ノーマル」であれば、このフレーム群２は誤シーン判定されていると認められる。このため、この短時間フレーム群２のシーンの特性を前後のフレーム群で判定された共通シーン特性で置換する。この置換により、図１９(ｂ)に示す表のように２つのフレーム群に分割され、適切な本シーン判定結果が得られることとなる。
【０１１４】
これにより、フラッシュ光などの影響による誤判定を防止することができる。
【０１１５】
◎第１実施形態において、図６に示すように５画素毎に緑色の画素値をサンプリングするのは必須ではなく、全画素をサンプリングしても良く、また２画素ごと、３画素ごとにサンプリングしても良い。
【０１１６】
【発明の効果】
以上説明したように、請求項１ないし請求項８の発明によれば、フレーム区間の両端のフレームに挟まれる少なくとも１のフレームに対するシーン特性の判定結果に基づき、フレーム区間で共通特性を表現した共通シーン特性を決定する。その結果、共通シーンを精度良く判定できる。
【０１１７】
特に、請求項２の発明については、シーンチェンジ近傍のフレームを除外したフレームに対してシーンの特性判定を行うため、共通シーンをより精度良く判定できる。
【０１１８】
また、請求項３の発明については、複数のフレームごとに１回シーンチェンジを検出しフレーム区間を設定するため、シーンチェンジ検出を高速化できる。また、シーンチェンジ検出において、フラッシュ光などの瞬間的な外乱の影響を抑制できる。
【０１１９】
また、請求項４の発明については、所定の閾値よりも短い時間間隔だけ連続し、かつその前後のフレーム区間とは異なる共通シーン特性を有する短時間フレーム区間を検出し、前後のフレーム区間の共通シーン特性が実質的に同一である場合に、短時間フレーム区間の共通シーン特性を前後のフレーム区間の共通シーン特性で置換する。その結果、適切な共通シーンの判定結果が得られる。
【０１２０】
また、請求項５の発明については、決定手段が３以上のフレームのうち最頻のシーンに基づきフレーム区間に係る共通シーン特性を決定するため、共通シーンを適切に決定できる。
【０１２１】
また、請求項１ないし請求項８の発明については、シーンチェンジ近傍に係るフレームの補正係数を隣接するフレーム区間の補正係数に応じて調整するため、動画全体をスムーズに画像補正できる。
【０１２２】
また、請求項６の発明については、所定の画像情報が緑の色成分の情報であるため、シーンチェンジを迅速に検出できる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る動画処理装置１の要部構成を示す斜視図である。
【図２】動画処理装置１の機能ブロックを示す図である。
【図３】動画処理装置１の基本的な動作を示すフローチャートである。
【図４】動画の予備シーン判定の動作を示すフローチャートである。
【図５】予備シーン判定を説明するための図である。
【図６】画素配列Ｍｔを示す図である。
【図７】ＣＣＤにおけるＲＧＢベイヤー配列を示す図である。
【図８】動画の本シーン判定の動作を示すフローチャートである。
【図９】本シーン判定を説明するための図である。
【図１０】動画補正の動作を示すフローチャートである。
【図１１】本発明の第２実施形態に係る動画処理装置１の基本的な動作を示すフローチャートである。
【図１２】動画の予備シーン判定の動作を示すフローチャートである。
【図１３】フレームにおける緑色の画素に基づき作成されたヒストグラムを示す図である。
【図１４】動画処理システム７の要部構成を示す図である。
【図１５】端末７２における動画検索の動作を示すフローチャートである。
【図１６】サーバー７０における動画検索の動作を示すフローチャートである。
【図１７】変形例に係る本シーン判定の動作を説明するための図である。
【図１８】変形例に係る予備シーン判定の動作を説明するための図である。
【図１９】変形例に係る本シーン判定の動作を説明するための図である。
【符号の説明】
１ 動画処理装置
３ 操作部
４ モニタ
７ 動画処理システム
９ 記録媒体
２３、２３Ａ 制御部
７０ サーバー
７１〜７３ 端末
Claims (8)
- 複数のフレームで構成される動画を処理する動画処理装置であって、
(a)所定の画像情報に関するフレームごとの変化に応じて前記動画に係るシーンチェンジを検出し、前記シーンチェンジを境界としたフレーム区間を設定する設定手段と、
(b)前記フレーム区間について、両端のフレームに挟まれる少なくとも１のフレームに対するシーンの特性判定を行うシーン判定手段と、
(c)前記シーン判定手段によるシーン判定結果に基づき、前記フレーム区間で共通特性を表現した共通シーン特性を決定する決定手段と、
(d) 前記フレーム区間に係る共通シーン特性に応じて設定された補正係数に基づき、前記フレーム区間の各フレームに対して画像補正を行う補正手段と、
を備え、
前記補正手段では、前記シーンチェンジ近傍に係るフレームの補正係数を、隣接するフレーム区間の補正係数に応じて調整することを特徴とする動画処理装置。 - 請求項１に記載の動画処理装置において、
前記シーン判定手段は、前記シーンチェンジ近傍のフレームを除外したフレームに対してシーンの特性判定を行うことを特徴とする動画処理装置。 - 請求項１または請求項２に記載の動画処理装置において、
前記設定手段は、複数のフレームごとに１回シーンチェンジを検出し、前記フレーム区間を設定することを特徴とする動画処理装置。 - 請求項１ないし請求項３のいずれかに記載の動画処理装置において、
(e)所定の閾値よりも短い時間間隔だけ連続し、かつその前後のフレーム区間とは異なる共通シーン特性を有する短時間フレーム区間を検出する検出手段と、
(f)前記前後のフレーム区間の共通シーン特性が実質的に同一である場合に、前記短時間フレーム区間の共通シーン特性を、前記前後のフレーム区間の共通シーン特性で置換する置換手段と、
をさらに備えることを特徴とする動画処理装置。 - 請求項１ないし請求項４のいずれかに記載の動画処理装置において、
前記シーン判定手段は、３以上のフレームに対するシーン判定を行い、
前記決定手段は、前記３以上のフレームのうち最頻のシーンに基づき、前記フレーム区間に係る共通シーン特性を決定することを特徴とする動画処理装置。 - 請求項１ないし請求項５のいずれかに記載の動画処理装置において、
前記所定の画像情報は、緑の色成分の情報であることを特徴とする動画処理装置。 - 複数のフレームで構成される動画を処理する動画処理方法であって、
(a) 所定の画像情報に関するフレームごとの変化に応じて前記動画に係るシーンチェンジを検出し、前記シーンチェンジを境界としたフレーム区間を設定する設定工程と、
(b) 前記フレーム区間について、両端のフレームに挟まれる少なくとも１のフレームに対するシーンの特性判定を行うシーン判定工程と、
(c) 前記シーン判定工程におけるシーン判定結果に基づき、前記フレーム区間で共通特性を表現した共通シーン特性を決定する決定工程と、
(d) 前記フレーム区間に係る共通シーン特性に応じて設定された補正係数に基づき、前記フレーム区間の各フレームに対して画像補正を行う補正工程と、
を備え、
前記補正工程では、前記シーンチェンジ近傍に係るフレームの補正係数を、隣接するフレーム区間の補正係数に応じて調整することを特徴とする動画処理方法。 - 動画処理装置に内蔵されたコンピュータにインストールされることにより、当該動画処理装置を請求項１ないし請求項６のいずれかに記載の動画処理装置として機能させるためのプログラムを記録してあることを特徴とする、コンピュータ読取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000342190A JP4013024B2 (ja) | 2000-11-09 | 2000-11-09 | 動画処理装置、動画処理方法、および記録媒体 |
| US09/984,991 US7136508B2 (en) | 2000-11-09 | 2001-11-01 | Image processing apparatus, method, and program for processing a moving image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000342190A JP4013024B2 (ja) | 2000-11-09 | 2000-11-09 | 動画処理装置、動画処理方法、および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002152669A JP2002152669A (ja) | 2002-05-24 |
| JP4013024B2 true JP4013024B2 (ja) | 2007-11-28 |
Family
ID=18816795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000342190A Expired - Fee Related JP4013024B2 (ja) | 2000-11-09 | 2000-11-09 | 動画処理装置、動画処理方法、および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4013024B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4444709B2 (ja) | 2004-03-26 | 2010-03-31 | 富士通株式会社 | 動画像補正係数算出装置、動画像補正装置、動画像補正係数算出方法および動画像補正係数算出プログラム |
| JP4668767B2 (ja) | 2005-10-31 | 2011-04-13 | 富士通セミコンダクター株式会社 | 動画像符号化装置及び動画像符号化プログラム |
| JP4375464B2 (ja) * | 2007-09-11 | 2009-12-02 | 三菱電機株式会社 | ノイズ低減装置 |
| JP5286732B2 (ja) | 2007-10-01 | 2013-09-11 | ソニー株式会社 | 情報処理装置および方法、プログラム、並びに記録媒体 |
-
2000
- 2000-11-09 JP JP2000342190A patent/JP4013024B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002152669A (ja) | 2002-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10956749B2 (en) | Methods, systems, and media for generating a summarized video with video thumbnails | |
| US8866943B2 (en) | Video camera providing a composite video sequence | |
| US8965121B2 (en) | Image color matching and equalization devices and related methods | |
| CN107258077B (zh) | 用于连续自动聚焦(caf)的系统和方法 | |
| US8493464B2 (en) | Resolution adjusting method | |
| US20130235223A1 (en) | Composite video sequence with inserted facial region | |
| US7680326B2 (en) | Method, system, and program for correcting the image quality of a moving image | |
| US20130336590A1 (en) | Method and apparatus for generating a visual story board in real time | |
| US10582211B2 (en) | Neural network to optimize video stabilization parameters | |
| US20070110332A1 (en) | Flicker correction for moving picture | |
| TW201106685A (en) | Foreground image separation method | |
| JP2006510072A (ja) | 一様なカラーセグメントを検出するための方法及びシステム | |
| EP2123015A1 (en) | Automatic detection, removal, replacement and tagging of flash frames in a video | |
| JP2012133607A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2013106284A (ja) | 光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置 | |
| US7136508B2 (en) | Image processing apparatus, method, and program for processing a moving image | |
| JP2003061038A (ja) | 映像コンテンツ編集支援装置および映像コンテンツ編集支援方法 | |
| JP4013024B2 (ja) | 動画処理装置、動画処理方法、および記録媒体 | |
| CN1953545A (zh) | 根据影像变化自动调整监视画面的装置及方法 | |
| JP4110731B2 (ja) | 動画処理装置、動画処理方法、および記録媒体 | |
| US10230955B2 (en) | Method and system to detect and utilize attributes of frames in video sequences | |
| CN109327655B (zh) | 连续自动对焦方法及系统 | |
| US11184551B2 (en) | Imaging apparatus and control method thereof | |
| CN110996173B (zh) | 一种图像数据处理方法、装置及存储介质 | |
| JP2004274344A (ja) | 画像処理装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050920 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20051018 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070529 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070713 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070713 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070815 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070828 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |