JP4323601B2

JP4323601B2 - 画像処理システム及び画像処理方法

Info

Publication number: JP4323601B2
Application number: JP03651499A
Authority: JP
Inventors: 弘隆椎山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-02-15
Filing date: 1999-02-15
Publication date: 2009-09-02
Anticipated expiration: 2019-02-15
Also published as: JP2000235638A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理システム及び画像処理方法に関するものである。
【０００２】
【従来の技術】
従来、動画像が自分の見たいものかどうかを判断するには倍速再生を行なったり、早送りを行なって再生していた。
【０００３】
【発明が解決しようとする課題】
しかし、いずれの方法であっても再生には面倒な操作をしなければならず、再生される画像の質も問題であり、ユーザにとって不便な事が多かった。
【０００４】
本発明は係る課題を解決することを目的としてなされたもので、たとえ動画像であっても、所望の画像の内容を短時間にかつ的確に確認することができるようにすることを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、上記目的を達成する一手段として、例えば以下の構成を備える。
【０００６】
即ち、動画像データの複数の画像フレーム間の類似度を計算する計算手段と、前記計算手段で計算した類似度に基づきシーンの変わり目フレームを決定する決定手段と、シーンの変わり目で区切られたシーン中において、直前のフレームとの類似度の低い特定時間分のフレームをマージする事により動画像データのダイジェスト動画の自動編集・作成を行なう動画手段とを備え、前記動画手段は、ダイナミックなダイジェスト作成指示を受けた場合に、シーン中において直前のフレームとの類似度の低い特定時間分のフレームをマージすることを特徴とする。
【０００８】
また、動画像データの複数の画像フレーム間の類似度を計算する計算手段と、前記計算手段で計算した類似度に基づきシーンの変わり目フレームを決定する決定手段と、シーンの変わり目で区切られたシーン中において、直前のフレームとの類似度の高い特定時間分のフレームをマージする事により動画像データのダイジェスト動画の自動編集・作成を行なう動画手段とを備え、前記動画手段は、おとなしいダイジェスト作成指示を受けた場合に、シーン中において直前のフレームとの類似度の高い特定時間分のフレームをマージすることを特徴とする。
【０００９】
また例えば、ブランクシーンの検出を行なう検出手段と、前記検出手段が検出する動画の先頭のブランクシーンを除いた最初の画像フレームから特定時間分のフレームは必ずダイジェストに反映する例外処理を行う例外処理手段とを備えることを特徴とする。
【００１０】
更に例えば、前記例外処理手段は、更に前記検出手段が検出する動画の最後のブランクシーンを除いた最後の画像フレームから特定時間分遡ったフレームまでのフレーム群は必ずダイジェストに反映する例外処理を行うことを特徴とする。
【００１１】
更にまた、例えば、２つのシーンの変わり目フレームが近接してその時間差が前記特定時間より短い場合には、前のシーンの変わり目フレームから、後のシーンの変わり目フレームからの特定時間分のフレームまでを２つのシーンの変わり目フレームのマージ結果とすることを特徴とする。あるいは、マージするシーンの変わり目からある特定時間以内に次のシーンの変わり目が来るような場合には、ある特定時間内のフレームをマージするのではなく、次のシーンの変わり目フレームまでのみをマージすることを特徴とする。
【００１２】
又例えば、ダイジェスト動画の出来上がりの長さの目標を与えるモードを指定された場合には、全動画の変わり目フレームを先に求め、ダイジェストへマージする処理は、変わり目フレームと直前フレームとの類似度の低いものから優先的に行ない、与えられた目標時間付近の長さのダイジェストを作成することを特徴とする。
【００１３】
更に例えば、シーンチェンジが少ないためにダイジェスト動画が指定した長さよりあるしきい値以上短くなる場合には、シーンを追加する特定時間を暫時長くして与えられた目標時間付近の長さに近いダイジェスト動画を作成することを特徴とする。あるいは、特にシーンチェンジが検出されない動画においては、先頭にブランクシーンがある場合はこれを除外して最初の非ブランクフレームから与えられた目標時間まで切り出し、これをダイジェスト動画とすることを特徴とする。
【００１４】
更に例えば、ダイジェストをファイルに保存するか再生し、情報は破棄するかをユーザが選択指示可能とすることを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照して、本発明に係る一発明の実施の形態例を詳細に説明する。本実施の形態例では、動画像が自分の見たいものかどうかを簡単な制御で高速に、しかも確実に判断可能とするために、以下に説明する動画ダイジェストデータ作成アルゴリズムに従った動画処理を行って高品位なダイジェスト動画を自動生成し、ユーザが観たい動画であるかどうかを瞬時に判断可能とする。
【００１６】
更に、その長さの制限を与える必要のあるシステム、ソフトウエアの場合には、ダイジェスト動画の目標時間長を指定可能することにより、動画データのヘッダや記憶媒体のＦＡＴ等のデータ領域サイズに制約があるような場合でも格納可能なダイジェスト動画を生成可能とする。
【００１７】
本実施の形態例の画像処理を実現する画像処理装置の構成を図１に示す。図１は本発明に係る一発明の実施の形態例の画像処理装置の構成を示すブロック図である。
【００１８】
図１において、１０はアルゴリズム記録部５０に記録されている後述する画像処理アルゴリズムに従って画像入力部２０より入力される画像、例えば動画を処理する画像処理部、２０は動画などを入力する画像入力部である。
【００１９】
また、３０は画像処理部１０の処理画像などを表示する表示部、４０は画像処理部１０の処理画像などを記録出力する出力部であり、例えばファイル化された処理画像情報を記録させることができる。５０は画像処理部１０における画像処理で利用する画像処理アルゴリズムや必要な制御手順を記録しているアルゴリズム記録部、６０は画像処理部１０で処理する画像データを記憶可能な画像メモリである。
【００２０】
画像処理部１０は、画像フレーム間類似度計算部１１、シーンチェンジ判定部１２、ダイジェスト用シーン決定部１３、ダイジェスト動画作成部１４等を有する。
【００２１】
以上の構成を備える本実施の形態例の画像処理部１０は、図２に示す画像処理アルゴリズムに従ってダイジェスト動画の自動作成処理を行う。図２は本実施の形態例のダイジェスト動画の自動作成処理の概略構成を示す図である。
【００２２】
本実施の形態例のダイジェスト動画の自動作成処理においては、まず画像入力部２０から確認するべき動画情報を選択して入力する。確認するべき動画情報が入力されると、画像処理部１０での動画確認用処理を開始し、図２の処理に移行する。
【００２３】
まず最初にステップＳ１に示すダイジェスト用基本情報作成処理を行うことによりダイジェストを作成するための基本的な情報を獲得する。続いてステップＳ２において、ダイジェスト用シーン決定前処理を実行して、例えば表示部３０に表示して確認する動画のダイジェスト用シーンを決定する。
【００２４】
そしてステップＳ３でダイジェスト動画自動作成処理を行ってダイジェスト動画を作成して例えば画像メモリ６０に格納する。そしてステップＳ４において生成したダイジェスト動画を再生して例えば表示部３０より表示させる処理あるいはファイル化して出力部４０に出力するダイジェスト動画再生又はファイル化処理を行う。
【００２５】
上述した図２のステップＳ１に示すダイジェスト自動作成処理の詳細を図３のフローチャートを参照して以下に説明する。図３は、図２のステップＳ１に示すダイジェスト用基本情報作成処理の詳細を示すフローチャートである。なお、このダイジェスト用基本情報作成処理に関しては処理時間が比較的かかるので動画像を例えば画像メモリ６０へ登録する段階で行なうと、残りの処理は極めて軽いのでダイジェスト自動生成のリアルタイム性が極めて高くなる。
【００２６】
まずステップＳ１１において、ダイジェスト作成対象の動画から１フレームずつ取り出す処理を行ない、処理するべき残りフレームが有るか否かを判断する。そして残りフレームが無い場合には全ての処理が終了したためリターンする。一方、ステップＳ１１で残りフレームが有ればステップＳ１２に進む。
【００２７】
ステップＳ１２では、動画データから次のフレームの読み込みを行う。次にステップＳ１３において、画像フレーム間類似度計算部１１によって取り出したフレームと過去のフレーム群との類似度計算を行なう。この過去のフレーム群とは、単数のフレームの場合も複数のフレームの場合もあり、特にそのアルゴリズムを限定しない。
【００２８】
続いてステップＳ１４に進み、このフレーム間類似度計算結果に基づき、シーンチェンジ判定部１２によるシーンチェンジ判定処理が行なわれる。続いてステップＳ１５において判定の結果、シーンチェンジと判定した場合にはステップＳ１６に進み、そのフレームをシーン開始フレームとして記憶し、そのシーンチェンジの激しさの度合いを表す類似度（または距離）、及びそのシーンがブランクシーンであるかどうかの情報を記憶する。この情報は例えばメモリ７０に記憶される。
【００２９】
これをシーンチェンジ情報と呼ぶ事とする。このシーンチェンジ情報の例を図４に示す。図４に示すように、シーンチェンジ番号（シーンチェンジＩＤ）毎に開始フレーム、終了フレーム、激しさ度等が関連付けて記憶される。
【００３０】
具体的には、シーンチェンジ情報としてそのシーンの開始フレーム番号、終了フレーム番号、フレーム間類似度（距離）、ブランクフレームの有無、及び後述する「最もおとなしい部分シーン」と「もっとも激しい部分シーン」の開始フレーム番号とその類似度の平均値を記憶する。
【００３１】
そして、次のシーンチェンジ検出においては、ステップＳ１６における処理ではその一つ前のフレームを先のシーンの終了フレームとしてシーンチェンジ情報に反映する。もちろん、動画の最後まで処理を行なったときには、最後のシーンチェンジ情報の終了フレームにはその動画の最終フレーム番号が入る。
【００３２】
ステップＳ１６の処理が終了するとステップＳ１７に進み、部分シーンの現在までの最大及び最小情報をクリアしてステップＳ１１に戻る。
【００３３】
一方、ステップＳ１５においてシーンチェンジでなかった場合（シーン区間中であった場合）にはステップＳ１８に進み、現在のフレームを含む過去ＴＳ秒分のフレーム群の類似度の平均値が最大となる様なフレーム区間を計算し、これを「最もおとなしい部分シーン」としてその部分シーンの先頭フレームとその平均類似度を図４に示すシーンチェンジ情報に記憶するとともに、このシーン区間中で、ＴＳ秒分のフレームの類似度の平均値が最小となる様なフレーム区間を計算しこれを「最も激しい部分シーン」としてその部分シーンの先頭フレームとその平均類似度を記憶する図４に示すシーンチェンジ情報に格納する。
【００３４】
本実施の形態例では、このようにして各シーンチェンジフレームから、人間の視覚特性に基づき目にちらつかない程度の最適な部分シーン長を決定する。この時間をＴＳ秒とする。これは、様々な心理学的な実験に基づくもので、この時間長に関しては特に限定しないが、数秒オーダーのものである。
【００３５】
ダイジェスト用基本情報作成処理を動画中の全てのフレームに対して行い、その結果としてその動画中の全てのシーンチェンジフレームとそのシーンチェンジの激しさの度合いを表す類似度（または距離）、ブランクシーンであるか、更に最もおとなしい部分シーンおよび最も激しい部分シーンの開始フレームとそれらの区間の類似度の平均情報を得る。
【００３６】
以上の処理は、動画像を表示部３０等の動画出力デバイスへ登録する時点で行なっておくと、下記に述べる処理のみをダイジェスト作成時に行なえばよいので、ダイジェスト生成がほぼリアルタイムに行なえ便利である。
【００３７】
次に、図２のステップＳ２におけるダイジェスト用シーン決定前処理の詳細を図５のフローチャートを参照して説明する。図５は図２のステップＳ２のダイジェスト用シーン決定前処理の詳細を説明するためのフローチャートである。
【００３８】
図５に示すダイジェスト用シーン決定前処理は、ユーザが指定したダイジェスト動画の再生時間と、「おとなしいダイジェスト」あるいは「激しいダイジェスト」の指定に合わせて行なわれる処理であるが、この処理はそれほど計算コストは高くはないものの、「おとなしいダイジェスト」あるいは「激しいダイジェスト」の両方のソート情報を格納する画像メモリ６０の記憶領域使用することにはなるが、動画像を表示部３０などの出力デバイスへ登録する段階で行なっておくと更に、ダイジェスト自動生成のリアルタイムが高まる。
【００３９】
まずステップＳ２１において、フレーム番号、フレーム間類似度、ブランクフレームの有無、「おとなしい部分シーン」と「激しい部分シーン」の開始フレーム番号とその類似度の平均値を示すシーンチェンジ情報群を受け取る。本実施の形態例においては、上位側から指定されたダイジェストの長さをＴＤ秒とし、更に、ダイジェスト作成の観点として「おとなしいダイジェストを作成」あるいは「はげしいダイジェストを作成」のどちらかを選択するとする。
【００４０】
そしてステップＳ２２において、ブランクシーンに関するシーンチェンジ情報を除外する。続いてステップＳ２３において、残りのシーンチェンジから、時系列的に見て先頭および末尾のシーンチェンジを決定し、これを先の残りのシーンチェンジ情報から削除し、これらの先頭および末尾のシーンチェンジ情報は別領域へ記憶する。
【００４１】
次にステップＳ２４において、ユーザが「激しいダイジェストを指定したか否かを判断する。ユーザが「はげしいダイジェストを作成」を指示した場合にはステップＳ２５に進み、「最も激しい部分シーン」のデータ部を参照し、類似度の平均の小さい部分シーン順でソートする。類似度ではなく距離で言えば大きいものからソートする事となる。そしてリターンする。
【００４２】
一方、ステップＳ２４において、ユーザが「おとなしいダイジェストを作成」を指示した場合にはステップＳ２６に進み、「最もおとなしい部分シーン」のデータ部を参照して類似度の平均の大きい部分シーン順でソートする。類似度ではなく距離で言えば小さいものからソートする事となる。そしてリターンする。
【００４３】
以上の説明において、もちろん、上記のブランクシーン削除、類似度（または距離）の平均に基づくソート、時系列的に見て先頭および末尾のシーンチェンジを決定し、これを先の残りのシーンチェンジ情報から削除し、これらの先頭および末尾のシーンチェンジ情報は別領域へ記憶する処理が並行して行なう事も当然考えられる。
【００４４】
次に、図２のステップＳ３におけるダイジェスト動画作成処理の詳細を図６のフローチャートを参照して説明する。図６は図２のステップＳ３のダイジェスト動画作成処理の詳細を説明するためのフローチャートである。
【００４５】
図６に示すダイジェスト動画作成処理では、以下のアルゴリズムに基づき、部分シーンをダイジェストへマージして行くが、その中間情報としてフレーム区間情報を作成してゆき、目標の時間に達した段階でダイジェスト用シーン決定前処理を終了し、実際にフレーム区間情報に基づきフレームを取りだしてマージすることによりダイジェストを生成する。
実際にユーザが指定したダイジェストの長さにするための処理（ダイジェスト動画フレーム区間情報作成処理）を行なっている。
【００４６】
まずステップＳ３１で、１シーンの長さ（ＴＳ）とダイジェストの長さＴＤを指定する。続いてステップＳ３２において、別領域へ格納していた先頭のシーンチェンジ情報を取得し、先頭のシーンチェンジからＴＳ秒分のフレームまでのフレーム区間情報を記憶する。
【００４７】
図７にフレーム区間情報の一例を示す。図７に示すように、フレーム区間情報は動画中でユニークなシーン番号とシーンチェンジに相当する開始フレーム番号とそのシーンの最後の終了フレーム番号から構成されている。
【００４８】
次にステップＳ３３で、部分シーンのソートした結果を用いて、ソート結果の部分シーン群の先頭から部分シーン情報を取り出し、フレーム区間情報へ反映して合計時間を計算する。そしてステップＳ３４でシーンチェンジ情報が終了したか否かを調べる。シーンチェンジ情報が終了していればステップＳ３５に進み、フレーム区間情報に追加する処理においてシーンチェンジが少ないため追加処理がおわってしまう事を検知し、それを知らせるシーンチェンジが少ないというステータスと実際にダイジェストが何秒になったか（残り時間）を通知してリターンする。
【００４９】
一方、ステップＳ３４でシーンチェンジ情報が終了でない場合にはステップＳ３６に進み、合計時間が（ＴＤ）−（２×ＴＳ）未満か否かを調べる。合計時間が（ＴＤ）−（２×ＴＳ）未満の場合にはステップＳ３７に進み、部分シーンのソートした結果を用いて、ソート結果の部分シーン群の次の順位の部分シーン情報を取り出し、フレーム区間情報へ反映して合計時間を計算してステップＳ３４に戻る。
【００５０】
なお、ステップＳ３７の処理においてフレーム区間情報に追加する際に、フレーム区間情報と重複するフレームを追加する様なケースが希に起きる。これは、例えば隣接するシーンのシーンチェンジフレームの間隔がＴＳ秒以下である場合である。この様な場合には、シーンの重複を排除する様に考慮してフレーム区間情報を更新してゆく。その例を図８に示す。
【００５１】
また、フレーム区間情報に追加する際に、追加するシーンの長さがＴＳ秒以下の場合には図９に示すように、追加するシーンの終了フレームまでのみ追加する。
【００５２】
上位側から指定されたダイジェストの長さはＴＤ秒であり、ステップＳ３４からステップＳ３７の処理をフレーム区間情報の総フレームの占める時間が（ＴＤ−ＴＳ）秒を超えない範囲で行なう。そして合計時間が（ＴＤ）−（２×ＴＳ）を超えるとステップＳ３６よりステップＳ３８に進み、別領域へ格納していた末尾シーンチェンジ情報を取得して、末尾シーンチェンジからＴＳ秒分のフレームまでをフレーム区間情報へ格納し、処理成功というステータスと残り時間を通知する。そしてリターンする。
【００５３】
以上の説明において、シーンチェンジが少ないためダイジェストが短くなる場合でダイジェストの総時間がＴＤ秒よりあるしきい値ＴＨ秒以上短かくなってしまった場合には、部分シーンの長さをＴＳから暫時長くして図６のダイジェスト動画作成処理を再度実行し、指定された時間長に近づける方法も考えられる。この様な再処理を行なったとしても、上述した制御を行えば処理コストを極めて小さく抑えることができ、問題を生じない。
【００５４】
また、最悪シーンチェンジが存在しない場合には、動画の先頭からブランクシーンを除いたものをＴ秒間取り出す例外処理を行なうと効率が良い。
【００５５】
最後に、上述した図２のステップＳ４に示すダイジェスト動画再生またはファイル化処理の詳細を図１０のフローチャートを参照して以下に説明する。図１０は、図２のステップＳ４に示すダイジェスト動画再生またはファイル化処理の詳細を示すフローチャートである。
【００５６】
まずステップＳ４１において、ダイジェスト動画再生またはファイル化処理を行うのか、あるいはファイル化処理を行うのかを判断する。ファイル化処理を行う場合にはステップＳ４２に進み、フレーム区間情報を参照して対応するフレームをマージして動画ファイルを作成してリターンする。
【００５７】
一方、ステップＳ４１でダイジェスト動画再生を行う場合にはステップＳ４３に進み、ダイジェストを得る前処理に基づき、実際に動画データからフレーム区間情報に基づきフレームを取り出し、取り出したダイジェストを構成する部分シーンを出力部４０の例えば画像描画機能を用いて連続再生することにより、見かけ上１つのまとまったダイジェスト動画として再生してリターンする。
【００５８】
本実施の形態例においては、このようにしてダイジェスト動画作成処理により得たフレーム区間情報から得たダイジェストを構成する部分シーン・フレーム情報を基にファイルに落としたり、あるいは一時的な再生だけを高速に行なったりしている。
【００５９】
ダイジェスト動画を１つのまとまったバイナリデータとして作成する場合には、先の処理で得たフレーム管理情報を元に、画像フレームをアペンドして行き例えばＡＶＩフォーマットの動画を生成する。
【００６０】
しかし、本実施の形態例は以上の例に限定されるものではなく、１つのまとまったバイナリデータとはせず、再生するだけに割り切ればダイジェスト生成のための部分シーン情報が出来あがった段階で、部分シーンのマージ処理の代わりにコンピュータのＯＳ、例えばウインドウズ（Windows）（登録商標）の動画表示ドライバ、例えばActive Movie等の動画像表示ＡＰＩを用いて部分シーンを次々と再生させる事により、見かけ上継ぎ目無く部分シーンがつながって一連のダイジェスト動画に見せる事が可能である。
【００６１】
以上の処理を実際の処理の流れに従って説明すると以下の様になる。
【００６２】
最も簡単な実施例を挙げると、前のフレームと現在のフレームに対して、夫々のフレームを図１０に示すように縦横に複数のブロック分割を行ない、それぞれのブロックに関してＲＧＢの平均値を算出しておき、前のフレームと現在のフレームの対応するブロック同士のＲＧＢ各チャンネルの差の二乗和を求めこれをシーンチェンジの激しさの度合いを表すフレーム間類似性距離とし、これが小さいほど類似しており、大きいほど類似していない、即ちシーンチェンジである可能性が大きいと取る方法がある。
【００６３】
その計算式の一例を以下に示す。
【００６４】
【数１】

【００６５】
但し、ｉ：処理中のブロックをあらわす
Ｋ：分割ブロック数
Ｐ１iR：直前のフレームのｉ番目のブロックのＲチャンネルの平均値
Ｐ１iG：直前のフレームのｉ番目のブロックのＧチャンネルの平均値
Ｐ１iB：直前のフレームのｉ番目のブロックのＢチャンネルの平均値
Ｐ２iR：現在のフレームのｉ番目のブロックのＲチャンネルの平均値
Ｐ２iG：現在のフレームのｉ番目のブロックのＧチャンネルの平均値
Ｐ２iB：現在のフレームのｉ番目のブロックのＢチャンネルの平均値
このフレーム間類似度計算結果に基づき、シーンチェンジ判定部１２は、シーンチェンジの有無を判定し、シーンチェンジと判定した場合には、シーンチェンジＩＤ、そのフレームをシーン開始フレームとして記憶し、そのシーンチェンジの激しさの度合いを表す類似度（または距離）、及びそのシーンがブランクシーンであるかどうかの情報（シーンチェンジ情報）を記憶する。
【００６６】
また、次のシーンチェンジ検出で、その一つ前のフレームを先のシーンの終了フレームとしてシーンチェンジ情報に反映する。もちろん、動画の最後まで処理を行なったときには、最後のシーンチェンジ情報の終了フレームにはその動画の最終フレーム番号が入る。このシーンチェンジ情報の例が上述した図４である。
【００６７】
更に、各シーンチェンジフレームから、人間の視覚特性に基づき目にちらつかない程度の最適な部分シーン長を決定する。この時間をＴＳ秒とする。これは、様々な心理学的な実験に基づくもので、この時間長に関しては特に限定しないが、数秒オーダーのものである。
【００６８】
このシーン区間中で、ＴＳ秒分のフレーム群の類似度の平均値が最大となる様なフレーム区間を計算しこれを「最もおとなしい部分シーン」としてその部分シーンの先頭フレームとその平均類似度を図５のシーンチェンジ情報に記憶するとともに、このシーン区間中で、ＴＳ秒分のフレームの類似度の平均値が最小となる様なフレーム区間を計算しこれを「最も激しい部分シーン」としてその部分シーンの先頭フレームとその平均類似度を図４のシーンチェンジ情報に格納する。
【００６９】
この様にして、動画中の全てのフレームに対して行い、その結果としてその動画中の全てのシーンチェンジフレームとそのシーンチェンジの激しさの度合いを表す類似度（または距離）、ブランクシーンであるか、更に最もおとなしい部分シーンおよび最も激しい部分シーンの開始フレームとそれらの区間の類似度の平均情報を得る。
【００７０】
上記までの処理は、動画像を画像メモリ６０へ登録する時点で行なっておくと、下記に述べる処理のみをダイジェスト作成時に行なえばよいので、ダイジェスト生成がほぼリアルタイムに行なえ便利である。
【００７１】
また、図５に示すダイジェスト用シーン決定前処理においては、シーンチェンジ情報から、ブランクシーンに関するシーンチェンジ情報を除外して、残りのシーンチェンジから、時系列的に見て先頭および末尾のシーンチェンジを決定し、これを先の残りのシーンチェンジ情報から削除し、これらの先頭および末尾のシーンチェンジ情報は別領域へ記憶する。
【００７２】
ユーザが「おとなしいダイジェストを作成」を指示した場合には「最もおとなしい部分シーン」のデータ部を参照し、類似度の平均の大きい部分シーン順でソートする。類似度ではなく距離で言えば小さいものからソートする事となる。
【００７３】
逆に、ユーザが「はげしいダイジェストを作成」を指示した場合には「最も激しい部分シーン」のデータ部を参照し、類似度の平均の小さい部分シーン順でソートする。類似度ではなく距離で言えば大きいものからソートする事となる。
【００７４】
図６に示すダイジェスト動画フレーム区間情報作成処理では、各シーンチェンジフレームから、人間の視覚特性に基づき最適な１シーン時間を決定する。そして、別領域へ格納していた先頭のシーンチェンジからＴＳ秒分のフレームまでのフレーム区間情報を記憶する。
【００７５】
この時間（ＴＳ秒）は、上述した様に様々な心理学的な実験に基づいて決定されるものであるが、実験の結果２秒前後の値を用いると良い結果が得られることが分かった。
【００７６】
図４に示すフレーム区間情報は、動画中でユニークなシーン番号とシーンチェンジに相当する開始フレーム番号とそのシーンの最後の終了フレーム番号およびフレーム間類似度から構成されているため、以下の、アルゴリズムに基づき、部分シーンをダイジェストへマージして行くことができるが、本実施の形態例では、その中間情報としてフレーム区間情報を作成してゆき、目標の時間に達した段階でダイジェスト用シーン決定前処理を終了し、実際にフレーム区間情報に基づきフレームを取りだしてマージすることによりダイジェストを生成している。
【００７７】
従来、動画像が自分の見たいものかどうかを判断するには倍速再生を行なったり、早送りを行なって再生するなど、ユーザにとって不便な事が多かったが、以上に説明した本実施の形態例によれば、高品位なダイジェスト動画を自動生成する事が可能でありユーザが観たい動画であるかどうかを瞬時に判断可能となる。
【００７８】
更にダイジェスト動画の長さの制限を自由に与える事が可能であるから、興味がありそうであれば更に長いダイジェスト動画を見て判断をするなど、他段階的な使い方が可能である。
【００７９】
また、ダイジェスト動画の目標時間長を指定可能することにより、動画データのヘッダや記憶媒体のＦＡＴ等のデータ領域サイズに制約があるような場合でも格納可能なダイジェスト動画を生成する事が可能となる。
【００８０】
更に、これまでのダイジェスト生成は、シーンチェンジの頭からＮ秒だけを集めるといったものであったが、本実施の形態例によれば、人間の感性、例えば画像特徴量演算と人間の感性を結び付ける事により、「おとなしい」とか「激しい」などのクエリーに応じたダイジェストを自動生成することが出来る。
【００８１】
［他の実施の形態例］
以上の説明した実施の形態例では、シーンチェンジの検出法について、直前のフレーム群と現在のフレームの画像分割ブロックごとの平均色のＲＧＢチャンネル値の差の二乗和を用いたが、特にそのアルゴリズムを限定するものではない。また上述した実施の形態例においては、シーンチェンジから例えば２秒のフレームを合成してゆく方法を述べたが、その長さはこれに限定するものではない。
【００８２】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００８３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８５】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した（図２，３，５，６，１０に示す）フローチャートに対応するプログラムコードが格納されることになる。
【００８６】
【発明の効果】
以上説明したように本発明によれば、ユーザが観たい動画であるかどうかを瞬時に判断するために、高品位なダイジェスト動画を自動生成することができる。更にその長さの制限を与える必要のあるシステム、ソフトウエアの場合であっても、ダイジェスト動画の目標時間長を指定することができ、動画データのヘッダや記憶媒体のデータ領域サイズに制約があるような場合でも格納可能なダイジェスト動画を生成することができる。
【００８７】
また、本発明によれば、画像特徴量演算と人間の感性を結び付ける事により、例えば「おとなしい」とか「激しい」などのクエリーに応じたダイジェストを自動生成することができる。
【図面の簡単な説明】
【図１】本発明に係る一発明の実施の形態例の画像処理装置の構成を示すブロック図である。
【図２】本実施の形態例のダイジェスト動画の自動作成処理の概略構成を示す図である。
【図３】図２のステップＳ１に示すダイジェスト用基本情報作成処理の詳細を示すフローチャートである。
【図４】本実施の形態例におけるシーンチェンジ情報を説明するための図である。
【図５】図２のステップＳ２のダイジェスト用シーン決定前処理の詳細を説明するためのフローチャートである。
【図６】図２のステップＳ３のダイジェスト動画フレーム区間情報作成処理の詳細を説明するためのフローチャートである。
【図７】本実施の形態例におけるフレーム区間情報の一例を示す図である。
【図８】本実施の形態例におけるシーンの重複を排除するフレーム区間情報の更新の一例を示す図である。
【図９】本実施の形態例におけるシーンの重複を排除するフレーム区間情報の更新の他の例を示す図である。
【図１０】図２のステップＳ４に示すダイジェスト動画再生またはファイル化処理の詳細を示すフローチャートである。
【図１１】本実施の形態例におけるフレームの複数のブロック分割の一例を示す図である。
【符号の説明】
１０画像処理部
２０画像入力部
３０表示部
４０出力部
５０アルゴリズム記録部
６０画像メモリ
１１画像フレーム間類似度計算部
１２シーンチェンジ判定部
１３ダイジェスト用シーン決定部
１４ダイジェスト動画作成部

Claims

動画像データの複数の画像フレーム間の類似度を計算する計算手段と、
前記計算手段で計算した類似度に基づきシーンの変わり目フレームを決定する決定手段と、
シーンの変わり目で区切られたシーン中において、直前のフレームとの類似度の低い特定時間分のフレームをマージする事により動画像データのダイジェスト動画の自動編集・作成を行なう動画手段とを備え、
前記動画手段は、ダイナミックなダイジェスト作成指示を受けた場合に、シーン中において直前のフレームとの類似度の低い特定時間分のフレームをマージすることを特徴とする画像処理システム。
動画像データの複数の画像フレーム間の類似度を計算する計算手段と、
前記計算手段で計算した類似度に基づきシーンの変わり目フレームを決定する決定手段と、
シーンの変わり目で区切られたシーン中において、直前のフレームとの類似度の高い特定時間分のフレームをマージする事により動画像データのダイジェスト動画の自動編集・作成を行なう動画手段とを備え、
前記動画手段は、おとなしいダイジェスト作成指示を受けた場合に、シーン中において直前のフレームとの類似度の高い特定時間分のフレームをマージすることを特徴とする画像処理システム。
ブランクシーンの検出を行なう検出手段と、
前記検出手段が検出する動画の先頭のブランクシーンを除いた最初の画像フレームから特定時間分のフレームは必ずダイジェストに反映する例外処理を行う例外処理手段とを備えることを特徴とする請求項１または請求項２に記載の画像処理システム。
前記例外処理手段は、更に前記検出手段が検出する動画の最後のブランクシーンを除いた最後の画像フレームから特定時間分遡ったフレームまでのフレーム群は必ずダイジェストに反映する例外処理を行うことを特徴とする請求項３記載の画像処理システム。
２つのシーンの変わり目フレームが近接してその時間差が前記特定時間より短い場合には、前のシーンの変わり目フレームから、後のシーンの変わり目フレームからの特定時間分のフレームまでを２つのシーンの変わり目フレームのマージ結果とすることを特徴とする請求項４記載の画像処理システム。
マージするシーンの変わり目からある特定時間以内に次のシーンの変わり目が来るような場合には、ある特定時間内のフレームをマージするのではなく、次のシーンの変わり目フレームまでのみをマージすることを特徴とする請求項５記載の画像処理システム。
ダイジェスト動画の出来上がりの長さの目標を与えるモードを指定された場合には、全動画の変わり目フレームを先に求め、ダイジェストへマージする処理は、変わり目フレームと直前フレームとの類似度の低いものから優先的に行ない、与えられた目標時間付近の長さのダイジェストを作成することを特徴とする請求項５記載の画像処理システム。
シーンチェンジが少ないためにダイジェスト動画が指定した長さよりあるしきい値以上短くなる場合には、シーンを追加する特定時間を暫時長くして与えられた目標時間付近の長さに近いダイジェスト動画を作成することを特徴とする請求項７記載の画像処理システム。
特にシーンチェンジが検出されない動画においては、先頭にブランクシーンがある場合はこれを除外して最初の非ブランクフレームから与えられた目標時間まで切り出し、これをダイジェスト動画とすることを特徴とする請求項８記載の画像処理システム。
ダイジェストをファイルに保存するか再生し、情報は破棄するかをユーザが選択指示可能とすることを特徴とする請求項１乃至請求項９のいずれか１項に記載の画像処理システム。
動画像データの複数の画像フレーム間の類似度を計算し、計算した類似度に基づきシーンの変わり目フレームを決定し、シーンの変わり目で区切られたシーン中において、直前のフレームとの類似度の低い特定時間分のフレームをマージする事により動画像データのダイジェスト動画の自動編集・作成を行ない、
ダイナミックなダイジェスト作成指示を受けた場合に、シーン中において直前のフレームとの類似度の低い特定時間分のフレームをマージすることを特徴とする画像処理方法。
動画像データの複数の画像フレーム間の類似度を計算し、計算した類似度に基づきシーンの変わり目フレームを決定し、シーンの変わり目で区切られたシーン中において、直前のフレームとの類似度の高い特定時間分のフレームをマージする事により動画像データのダイジェスト動画の自動編集・作成を行ない、
おとなしいダイジェスト作成指示を受けた場合に、シーン中において直前のフレームとの類似度の高い特定時間分のフレームをマージすることを特徴とする画像処理方法。
ブランクシーンを検出し、動画の先頭のブランクシーンを除いた最初の画像フレームから特定時間分のフレームは必ずダイジェストに反映する例外処理を行うことを特徴とする請求項１１または請求項１２に記載の画像処理方法。
更に動画の最後のブランクシーンを除いた最後の画像フレームから特定時間分遡ったフレームまでのフレーム群は必ずダイジェストに反映する例外処理を行うことを特徴とする請求項１３記載の画像処理方法。
２つのシーンの変わり目フレームが近接してその時間差が前記特定時間より短い場合には、前のシーンの変わり目フレームから、後のシーンの変わり目フレームからの特定時間分のフレームまでを２つのシーンの変わり目フレームのマージ結果とすることを特徴とする請求項１４記載の画像処理方法。
マージするシーンの変わり目からある特定時間以内に次のシーンの変わり目が来るような場合には、ある特定時間内のフレームをマージするのではなく、次のシーンの変わり目フレームまでのみをマージすることを特徴とする請求項１５記載の画像処理方法。
ダイジェスト動画の出来上がりの長さの目標を与えるモードを指定された場合には、全動画の変わり目フレームを先に求め、ダイジェストへマージする処理は、変わり目フレームと直前フレームとの類似度の低いものから優先的に行ない、与えられた目標時間付近の長さのダイジェストを作成することを特徴とする請求項１５記載の画像処理方法。
シーンチェンジが少ないためにダイジェスト動画が指定した長さよりあるしきい値以上短くなる場合には、シーンを追加する特定時間を暫時長くして与えられた目標時間付近の長さに近いダイジェスト動画を作成することを特徴とする請求項１７記載の画像処理方法。
特にシーンチェンジが検出されない動画においては、先頭にブランクシーンがある場合はこれを除外して最初の非ブランクフレームから与えられた目標時間まで切り出し、これをダイジェスト動画とすることを特徴とする請求項１８記載の画像処理方法。
ダイジェストをファイルに保存するか再生し、情報は破棄するかをユーザが選択指示可能とすることを特徴とする請求項１１乃至請求項１９のいずれか１項に記載の画像処理方法。
前記請求項１乃至請求項２０のいずれか１項に記載の機能を実現するコンピュータプログラムを記憶したコンピュータ可読記録媒体。