JP3625935B2 - 動画像の重要画像抽出装置および重要画像抽出方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像中の重要な画像を抽出する重要画像抽出装置およびその抽出方法に関するものである。
【０００２】
【従来の技術】
近年、動画像および音声などが組み合わされたマルチメディアを表示および再生するマルチメディアシステムにおいて、ユーザは、動画像の中から重要なシーンを手軽に探して視聴したいと言う要求があった。たとえば、通信回線などを介してニュース番組を受けて、これを再生する場合に、ユーザは、番組の全てを視聴するのではなく、ヘッドラインニュースなど特定の部分のみを視聴することを希望することが考えられる。
【０００３】
しかしながら、動画像全体を把握したり、動画像から重要シーンだけを抽出することは容易ではない。そこで、こうした問題を解決する技術として、動画像全体を把握する目的で、動画像を時間ごとに分割して、或いは、シーンが変化する点で分割して、分割された動画像から、それぞれ、代表画像を抽出し、これを一覧表示する方法が提案されている。
たとえば、特開平５−２４４４７５公報には、テイク／ショットの先頭画面、最終画面などを検出し、それに基づき代表画面を得る手法が提案され、特開平３−２７３３６３公報には、動画像中の場面の切り換えを認識し、これに基づきインデックス画像を得る手法が提案され、或いは、特開平３−２９２５７２公報には、一定間隔ごとに画面を読み出して、これを代表画像とする手法が提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した何れの手法においても、画像中の被写体に着目して重要画像であるか否かを判断しているものではないため、動画像全体の内容を把握するのに有効な場合があるが、当該動画像を作成する際に、撮影者が、意図的にカメラを静止させて、特定の人物に焦点を合わせ撮影したシーン、すなわち、撮影者が、被写体である人物に意図的に注目して撮影したようなシーンを適切に抽出することは困難であった。特に、ニュース映像では、キャスターが話題の区切りに登場し、その概要を説明するシーンが存在する。このようなシーンではキャスターを中央に配置し、カメラを静止させて撮影している。また、ニュース映像中で、発言をする人物などを撮影する場合にも同様の方法で画像がつくられているが、このようなシーンを適切に抽出することは困難であった。
【０００５】
上述したような問題点を解決するために、特開平４−２６１０３３号公報に記載されたような手法が提案されている。これは、所望の対象物を含む画像を指定し、かつ、対象物を囲む図形を切り出して、切り出された図形に基づき、所定の画像を得るように構成されている。
【０００６】
しかしながら、上述した手法を用いた場合には、光ディスク装置などに記憶された画像をいったん読みだし、その中で所望の画像中の人物など対象物を指定した後に、重要画像の抽出が実行されるため、ユーザが画像中の特定の人物を指定するなどの煩雑な手続を要するという問題点があった。
【０００７】
本発明の目的は、煩雑な手続を要することなく、特に、動画像中の、カメラを静止させて人物など被写体に注目して撮影した画像を適切に抽出する重要画像抽出装置および抽出方法を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の目的は、デジタル画像であるフレームが複数連続する動画像を入力する画像入力手段と、前記入力した動画を構成するフレームの各々を複数に分割した区分領域ごとに、あるフレームと、当該フレームより前又は後のフレームとを比較し、フレーム間の区分領域ごとの変動を抽出する画像変動抽出手段と、フレームを分割した複数の区分領域のうちいくつかの区分領域からなる第１の領域と、当該領域以外の区分領域からなる第２の領域との各々で、前記画像変動抽出手段により抽出された変動した区分領域の数に基づき、重要画像を含むフレームの候補を抽出する第１の重要画像判定手段と、前記重要画像を含むフレームの候補を、所定の時間連続して抽出する場合、当該フレームの画像を重要画像と判定する第２の重要画像判定手段と、を備えたことを特徴とする重要画像抽出装置により達成される。
【０００９】
本発明によれば、画像中に画定される図形の内側部分の画像の変動および外側部分の変動に基づき、重要画像が抽出されるため、内側部分に存在する被写体および外側部分に存在する背景とを含む画像を適切に抽出することが可能となる。
【００１０】
本発明の好ましい実施態様においては、前記画像変動抽出手段が、前記動画像中の時間的に離間したフレームの対応する区分領域ごとの画像の変動を抽出するように構成されている。
【００１１】
本発明のさらに好ましい実施態様においては、前記画像変動抽出手段が、少なくとも２フレーム以上にわたって、画像中のそれぞれ対応する位置に表れていないエッジを抽出する変動エッジ抽出手段と、前記区分領域ごとに、前記変動エッジの個数を計数する変動エッジ計数手段と、前記計数された値が所定の第１のしきい値よりも大きいときに、前記区分領域を画像が変動した領域であると判断する変動領域判断手段とを有している。
【００１２】
本発明のさらに好ましい実施態様においては、前記変動エッジ抽出手段が、画像中のある位置の画素に対応する画像データと、該画素の水平方向の近傍に位置する他の画素に対応する画像データとの差を算出し、および／または、前記画素に対応する画像データと、前記画素の垂直方向の近傍に位置する画素に対応する画像データとの差を算出し、前記差が第２のしきい値よりも大きい場合に、前記エッジが表れていると判断するように構成されている。
【００１３】
本発明のさらに好ましい実施態様においては、前記図形が、前記画像の外縁から、それぞれ、所定の距離だけ内側に離間して位置する４点により画定され、これにより、画像中の中央部および外縁部が画定され、前記第１の重要画像判定手段が、前記中央部の変動および前記外縁部の変動に基づき、重要画像を抽出するように構成されている。
【００１４】
本発明のさらに好ましい実施態様においては、前記第１の重要画像判定手段が、前記内側部分の変動を示す値が所定の第１の値より大きく、かつ、前記外側部分の変動を示す値が他の所定の第２の値より小さい場合に、前記画像を重要画像と判断するように構成されている。
【００１５】
これにより、画像の内側部分に位置する人物などの被写体と、外側の背景とを含む画像を、重要画像としてより適切に得ることが可能となる。
【００１６】
本発明のさらに好ましい実施態様においては、前記第１の重要画像判定手段が、さらに、前記内側部分の変動および前記外側部分の変動を示す値が、他の所定の第３の値より小さい場合に、前記画像を重要画像と判断するように構成されている。
【００１７】
本発明のさらに好ましい実施態様においては、さらに、前記動画像中の時間的に離間する複数のフレームに対応する画像を、それぞれ複数に分割した区分領域ごとに、前記区分領域を特徴付ける色を示す色情報を抽出するとともに、前記複数のフレーム間で、対応する区分領域の前記色情報を比較することにより、重要画像を抽出する第２の重要画像抽出手段を備えている。
【００１８】
この実施の態様によれば、内側部分の変動が単に大きいにすぎなかった画像を、誤って重要画像と判断することを防止できる。
【００１９】
本発明のさらに好ましい実施態様においては、前記第２の重要画像抽出手段が、前記区分領域において、もっとも頻出した色を前記区分領域の色情報と決定するように構成されている。
【００２０】
本発明のさらに好ましい実施態様においては、前記第２の重要画像抽出手段が、前記区分領域ごとの色のヒストグラムを、前記区分領域の色情報と決定するように構成されている。
【００２１】
本発明のさらに好ましい実施態様においては、前記第２の重要画像抽出手段が、前記対応する区分領域間の色情報を比較して、前記色情報が一致する区分領域を計数し、前記計数された区分領域の数が所定の第３のしきい値よりも小さい状態が、所定の時間継続したときに、前記画像を重要画像と判断するように構成されている。
【００２２】
本発明のさらに好ましい実施態様においては、さらに、前記画像の区分領域の色情報と、すでに重要画像であると判断された他の画像の対応する区分領域の色情報とを比較し、前記色情報が一致する区分領域の数が、所定の第４のしきい値よりも小さいときに、前記画像を重要画像と判断する第３の重要画像判断手段を備えている。
【００２３】
この実施態様によれば、類似する複数の画像を重複して重要画像と判断することなく、さらに適切に重要画像を得ることが可能となる。
【００２４】
本発明のさらに好ましい実施態様においては、さらに、得られた重要画像に基づく静止画像に対応する画像データを生成する画像データ生成手段と、前記画像データを表示する表示手段とを備えている。
【００２５】
これにより、ユーザは得られた重要画像を、容易に参照することが可能となる。
【００２６】
【発明の実施の形態】
以下、添付図面を参照して、本発明の実施の形態につき説明を加える。
【００２７】
図１は、本発明の実施の形態にかかる重要画像抽出システムの構成を示す図である。図１に示すように、重要画像抽出システムは、ＣＲＴディスプレイ１、スピーカ２、ディスプレイ１およびスピーカ２に接続され、これらに所定の信号を与えるコンピュータ３とを備えている。コンピュータ３には、システムを制御するためのＣＰＵ４、ＣＰＵ４による処理を実行するためのプログラムなどを記憶したメモリ５、および、外部機器とのデータの送受信を司るインタフェース（Ｉ／Ｆ）６などが設けられている。さらに、コンピュータ３には、それぞれ、インタフェースを介して、マウス７およびキーボード８が接続されている。
【００２８】
また、コンピュータ３には、それぞれ、インタフェースを介して、光ディスクを再生するための画像再生装置９、画像再生装置９から出力された画像信号を、コンピュータ３が処理可能な形式のディジタル画像信号に変換する画像データ生成装置１１、および、コンピュータ３により抽出された重要画像に対応するデータなどを記憶する外部情報記憶装置１３が接続されている。
【００２９】
このように構成された重要画像抽出システムにおいて、マウス７或いはキーボード８を用いてユーザが所定の情報を入力すると、コンピュータ３のＣＰＵ４は、与えられた所定の情報にしたがって、インタフェースを介して、制御信号１０を画像再生装置９に与える。
【００３０】
本実施の形態において、画像再生装置９により再生される動画像のフレームには、それぞれ、先頭から順にフレーム番号が付与されている。したがって、画像再生装置９に与えられる制御信号には、このフレーム番号を特定するための情報が含まれる。画像再生装置９は、制御信号に含まれるフレーム番号を特定するための情報などにしたがって、所定のフレームからなる動画像に関する画像信号を画像データ生成装置１１に与える。画像データ生成装置１１は、受け入れた画像信号に基づき、ディジタル画像データを生成し、これらデータ１２を、コンピュータ３に与える。
【００３１】
このようにコンピュータ３に画像データが得られると、通常、コンピュータ３のＣＰＵ４は、得られた画像データを、ディスプレイ１に出力し、これにより、所望の画像が、ディスプレイ１の画面に再生される。
【００３２】
もちろん、画像再生装置９により再生される信号に、音声信号が含まれている場合には、音声信号が、音声データ生成装置（図示せず）に与えられ、この音声データ生成装置においてディジタル変換により得られたディジタル音声データが、コンピュータ３に与えられる。コンピュータ３は、与えられたディジタル音声データをオーディオ装置（図示せず）に出力し、当該オーディオ装置を介して、スピーカ２により所望の音声が再生される。
【００３３】
次に、本実施の形態にかかる重要画像抽出システムのＣＰＵ４による、重要画像の抽出処理を説明する。ここに、図２は、本実施の形態にかかる重要画像の抽出処理の概略を示すフローチャートである。ＣＰＵ４は、メモリ５に記憶されたプログラムを読みだし、以下の手順にしたがって、画像データから、所定の重要画像に対応するデータを抽出する。
【００３４】
図２に示すように、ＣＰＵ４により実行される重要画像の抽出処理には、処理中に使用する変数の初期設定（ステップ５０）、画像データ生成装置１１により与えられたディジタル画像データを、１フレームに対応するデータ群ごとにメモリ５に記憶する処理（ステップ１００）、複数のフレーム間で異なった位置に存在する変動エッジを抽出する変動エッジ抽出処理（ステップ２００）、および、１フレーム分の画像を複数の区分領域に分割し、分割された区分領域ごとに、ステップ２００において抽出された変動エッジに対応する画素の数を計数して、この計数結果に基づき、内容に変動がある領域を抽出する画像変動領域抽出処理（ステップ２５０）が含まれる。この画像変動領域抽出処理は、各区分領域において、計数された画素の数に基づき、複数のフレームにおいて変動エッジに対応する画素の数が、それぞれ一定数を超えた領域を画像変動領域として抽出する処理である。
【００３５】
さらに、ＣＰＵ４により実行される重要画像の抽出処理には、画像変動領域抽出処理（ステップ２５０）により得られた変動領域の分布状態により重要画像か否かを判定する第１の重要画像判定処理（ステップ３００）、第１の重要画像判定処理（ステップ３００）により抽出された画像と、後続するフレームの画像との間で、各画像の対応する区分領域を代表する領域別代表色を比較し、この比較結果に基づき、重要画像か否かを判定する第２の重要画像判定処理（ステップ４００）、第２の重要画像判定処理（ステップ４００）により重要画像であると判定された画像と、前回の処理において抽出された重要画像との間で、対応する区分領域を代表する領域別代表色を比較し、両者が一致する区分領域の数が所定の値より小さいときに、前者の画像を重要画像であると判断する第３の重要画像判定処理（ステップ５００）、および、前述した処理により得られた重要画像に関連するフレームに対応するデータ群をメモリ５の所定の領域に記憶するとともに、ディスプレイ１に出力する処理（ステップ６００）が含まれている。
【００３６】
図２に示す処理、特に、第１の重要画像判定処理は、重要画像において、画像変動領域が画像中の中央付近に主として分布するということに着目している。すなわち、ズーミング、パンなどのようなカメラワークによって、画像の全体にわたって画像変動領域が生じるような場合を除去することができる。
【００３７】
また、特に、第２の重要画像判定処理は、重要画像において、ある一定の時間だけ類似した画像が連続することに着目している。
【００３８】
さらに、後述するように、得られた重要画像を、抽出時間など所定の情報とともに、ディスプレイ１の画面上に表示することができるため、ユーザは、容易に所望の画像を参照することが可能となる。
【００３９】
次に、メモリ５に記憶されたデータを、図３のメモリマップを用いて概略的に説明する。図３に示すように、メモリ５には、重要画像抽出処理などのプログラム５１、重要画像抽出処理の結果得られた画像データおよびこれに付随するデータからなる重要画像構造体データ群５２、後述する処理において、画像中の強エッジ画素を抽出する際に用いる第１のしきい値データ５３、後述する処理において、画像の変動領域を判定するための第２のしきい値データ５４、画像データ生成装置１１により与えられた画像データ５５が記憶されている。
【００４０】
重要画像構造体データ群５２は、ステップ５０ないし６００の処理の結果得られた１つ以上のデータ群であり、また、画像データ５５は、画像データ生成装置１１により与えられた最新のディジタル画像データに対応する。また、しきい値データ５３、５４の値は、予め決定されている。
【００４１】
さらに、メモリ５には、ステップ１００ないしステップ６００の処理を一回実行する際に使用されるワーク用のデータ群が記憶されている。
【００４２】
より詳細には、このデータ群は、変動エッジ抽出処理（ステップ２００）および画像変動領域抽出処理（ステップ２５０）において使用される第１のデータ群５６、第１ないし第３の重要画像判定処理（ステップ３００ないし５００）において使用される第２のデータ群５７、ならびに、処理において一時的に記憶され、かつ、参照される時間データ群５８を含んでいる。この第１のデータ群５６および第２のデータ群については、それぞれの処理において、より詳細に説明する。
【００４３】
さて、図２に示した重要画像抽出処理の各ステップにつき、以下に詳細に説明する。
【００４４】
初期値の設定（ステップ５０）の後、マイクロコンピュータ３は、画像データ生成装置１１から与えられた１フレーム分の画像データを受け入れ、メモリ５の所定の領域に記憶する。この１フレーム分の画像データは、図３の画像データ５５に対応する。本実施の形態においては、１フレーム分の画像は、１２０画素×１６０画素から構成される。したがって、１フレーム分の画像データ５５は、１２０×１６０個の赤色を示す赤画像データ群５５−１、１２０×１６０個の緑色を示す緑画像データ群５５−２、および、１２０×１６０個の青色を示す青画像データ群５５−３から構成されている。
【００４５】
このようにして、１フレーム分の画像データ５５が、メモリ５の所定の領域に記憶されると、ステップ２００の変動エッジの検出が実行される。
【００４６】
ここに、図４ないし図６は、ステップ２００の処理を詳細に示すフローチャートである。
【００４７】
図４に示すように、変動エッジ抽出処理においては、まず、重要画像継続フラグが０（ゼロ）であるか否かを調べる（ステップ２０１）。この重要画像継続フラグは、後述するステップ４２８において１にセットされる。このステップ２０１においてノー（ｎｏ）と判断された場合には、ステップ４２９に進み、その一方、イエス（ｙｅｓ）と判断された場合には、ステップ２０２に進む。ステップ２０２においては、処理の対称となるＸ座標およびＹ座標を初期化する。このＸ座標およびＹ座標は、１フレーム分の画像の画素の位置を示している。
【００４８】
引き続き実行されるステップ２０３ないし２１３の処理は、Ｘ方向（縦方向）およびＹ方向（横方向）の強エッジ、すなわち所定の値よりも大きく変化している画素を抽出するための処理である。
【００４９】
まず、ある座標（Ｘ，Ｙ）の画素の横方向に隣接する座標（Ｘ＋１，Ｙ）および（Ｘ−１，Ｙ）に対応する画素の、赤画像データ、緑画像データならびに青画像データの値の差をそれぞれとる。すなわち、これら座標に対応する画素の赤、緑および青の色成分の色差を算出する。次いで、これらの差が、すべて第１のしきい値よりも大きいか否かを判断する（ステップ２０３）。
【００５０】
このステップ２０３においてイエス（ｙｅｓ）と判断された場合には、座標（Ｘ，Ｙ）に関する横エッジデータの値を１とする（ステップ２０４）。その一方、ステップ２０３においてノー（ｎｏ）と判断された場合には、座標（Ｘ，Ｙ）に関する横エッジデータの値を０（ゼロ）とする（ステップ２０５）。この座標（Ｘ，Ｙ）に関する横エッジデータは、メモリ５の所定の領域に記憶される。すなわち、図３に示すように、第１のデータ群５６には、横エッジデータ群５６−１が含まれている。この横エッジデータ群は、処理の対称となる座標の数、すなわち、１５８×１１８個の横エッジデータを含んでいる。したがって、ステップ２０４或いはステップ２０５において得られた座標（Ｘ，Ｙ）に関する横エッジデータは、横エッジデータ群５６−１のうちの所定の横エッジデータに対応する。
【００５１】
次いで、座標（Ｘ，Ｙ）の画素の縦方向に隣接する座標（Ｘ，Ｙ＋１）および（Ｘ，Ｙ−１）に対応する画素の、赤画像データ、緑画像データならびに青画像データの値のそれぞれの差が、第１のしきい値よりも大きいか否かを判断する。すなわち、これら座標に対応する画素の赤、緑および青の色成分の色差を算出し、これらの差が、すべて第１のしきい値よりも大きいか否かを判断する（ステップ２０６）。
【００５２】
このステップ２０６においてイエス（ｙｅｓ）と判断された場合には、座標（Ｘ，Ｙ）に関する縦エッジデータの値を１とする（ステップ２０７）。その一方、ステップ２０８においてノー（ｎｏ）と判断された場合には、座標（Ｘ，Ｙ）に関する縦エッジデータの値を０（ゼロ）とする（ステップ２０８）。
【００５３】
横エッジデータのバイト同様に、座標（Ｘ，Ｙ）に関する縦エッジデータは、メモリ５の所定の領域に記憶される。図３に示すように、第１のデータ群５６には、縦エッジデータ群５６−１が含まれている。この縦エッジデータ群は、処理の対称となる座標の数、すなわち、１５８×１１８個の縦エッジデータを含んでいる。したがって、ステップ２０７或いはステップ２０８において得られた座標（Ｘ，Ｙ）に関する縦エッジデータは、縦エッジデータ群５６−２のうちの所定の縦エッジデータに対応する。
【００５４】
ステップ２０９では、Ｘ方向（横方向）の処理が終了したか否かを判断し、ステップ２１２では、Ｙ方向の処理が終了したか否かを判断している。ステップ２０９ないし２１３を経ることにより、座標（Ｘ，Ｙ）＝（１，１）ないし（１５８，１１８）に対応する全ての画素に関する横エッジデータおよび縦エッジデータを得ることができる。
【００５５】
図５に示すステップ２１４ないしステップ２２５の処理は、複数のフレームにわたって異なった位置に表れた強エッジを抽出するための処理である。
【００５６】
ステップ２１４では、処理の対称となるＸ座標およびＹ座標を初期化する。次いで、今回の処理の対称となったフレームの座標（Ｘ，Ｙ）に関する横エッジデータと、前回の処理の対称となったフレームの対応する座標（Ｘ，Ｙ）に関する横エッジデータが一致してないことを判断する（ステップ２１５）。ここに、図３において、第１のデータ群５６には、前回の処理の対称となったフレームの座標に関する１５８×１１８個の横エッジデータからなる前フレーム横エッジデータ群５６−３が含まれている。
【００５７】
したがって、ＣＰＵ４は、座標（Ｘ，Ｙ）に関する横エッジデータと、座標（Ｘ，Ｙ）に対応する前フレーム横エッジデータとを比較することにより、このステップ２１５を実現している。
【００５８】
このステップ２１５においてイエス（ｙｅｓ）と判断された場合には、座標（Ｘ，Ｙ）に関する変動横エッジデータを１とする（ステップ２１６）。その一方、ステップ２１５においてノー（ｎｏ）と判断された場合には、この座標に関する変動横エッジデータを０（ゼロ）とする（ステップ２１７）。座標（Ｘ，Ｙ）に関する変動横エッジデータは、メモリ５の所定の領域に記憶される。すなわち、図３に示すように、第１のデータ群５６には、変動横エッジデータ群５６−５が含まれている。この変動横エッジデータ群５６−５は、１５８×１１８個の変動横エッジデータを含んでいる。したがって、ステップ２１６或いはステップ２１７において得られた座標（Ｘ，Ｙ）に関する変動横エッジデータは、変動横エッジデータ群５６−５のうちの所定の変動横エッジデータに対応する。
【００５９】
さらに、今回の処理の対称となったフレームの座標（Ｘ，Ｙ）に関する縦エッジデータと、前回の処理の対称となったフレームの対応する座標（Ｘ，Ｙ）に関する縦エッジデータが一致してないことを判断する（ステップ２１８）。図３において、第１のデータ群５６には、前回の処理の対称となったフレームの座標に関する１５８×１１８個の縦エッジデータからなる前フレーム縦エッジデータ群５６−４が含まれている。
【００６０】
したがって、ＣＰＵ４は、座標（Ｘ，Ｙ）に関する縦エッジデータと、座標（Ｘ，Ｙ）に対応する前フレーム縦エッジデータとを比較することにより、このステップ２１８を実現している。
【００６１】
このステップ２１８においてイエス（ｙｅｓ）と判断された場合には、座標（Ｘ，Ｙ）に関する変動縦エッジデータを１とする（ステップ２１９）。その一方、ステップ２１８においてノー（ｎｏ）と判断された場合には、この座標に関する変動縦エッジデータを０（ゼロ）とする（ステップ２２０）。座標（Ｘ，Ｙ）に関する変動縦エッジデータは、メモリ５の所定の領域に記憶される。すなわち、図３に示すように、第１のデータ群５６には、変動縦エッジデータ群５６−６が含まれている。この変動縦エッジデータ群５６−６は、１５８×１１８個の変動縦エッジデータを含んでいる。したがって、ステップ２１９或いはステップ２２０において得られた座標（Ｘ，Ｙ）に関する変動縦エッジデータは、変動縦エッジデータ群５６−６のうちの所定の変動縦エッジデータに対応する。
【００６２】
ステップ２２１では、Ｘ方向（横方向）の処理が終了したか否かを判断し、ステップ２２４では、Ｙ方向の処理が終了したか否かを判断している。ステップ２２１ないし２２５を経ることにより、座標（Ｘ，Ｙ）＝（１，１）ないし（１５８，１１８）に対応する全ての画素に関する変動横エッジデータおよび変動縦エッジデータを得ることができる。
【００６３】
図６に示すステップ２２６ないしステップ２３１の処理は、次回のステップ２１５ないしステップ２２５の処理を実行するために、前フレーム横エッジデータおよび前フレーム縦エッジデータを更新している。すなわち、今回の処理で得られた座標（Ｘ，Ｙ）に関する横エッジデータを、対応する座標（Ｘ，Ｙ）に関する前フレーム横エッジデータとするとともに、今回の処理で得られた座標（Ｘ，Ｙ）に関する縦エッジデータを、対応する座標（Ｘ，Ｙ）に関する前フレーム縦エッジデータとしている。
【００６４】
上述したステップ２００の処理は、時間的な間隔をもつ複数のフレーム間において異なった位置に存在したエッジを抽出している。これは、カメラを静止させて撮影することにより得た画像において、背景のエッジが不動であることに基づいている。したがって、上述した処理により、画像中の背景で生じたエッジを除去し、被写体である人物など動きのある部分のエッジのみを抽出することが可能となる。
【００６５】
次に、図７ないし図９のフローチャートを参照して、ステップ２５０の画像変動領域抽出処理を詳細に説明する。
【００６６】
図７に示すステップ２５０ないしステップ２６４の処理は、１フレームの画像をＸ方向（横方向）に８個、Ｙ方向（縦方向）に６個の総計４８個の区分領域に分割し、区分領域ごとに変動強エッジ画素を計数している。
【００６７】
この処理において、まず、使用する変数ｉ、ｊ、ＸｂおよびＹｂを初期化する（ステップ２５１）。次いで、ある区分領域中の座標（Ｘｂ×２０＋ｊ，Ｙｂ×２０＋ｉ）に関する変動横エッジデータ、或いは、この座標に関する変動縦エッジデータの何れかが１であることを判断する（ステップ２５２）。このステップ２５２においてイエス（ｙｅｓ）と判断された場合には、この区分領域に関する変動エッジデータの値をインクリメントする。
【００６８】
図３に示すように、第１のデータ群５６には、８×６個の変動エッジデータからなる変動エッジデータ群５６−７が含まれている。この実施の形態において、変動エッジデータは、変数の組（Ｘｂ，Ｙｂ）ごとに設けられている。
【００６９】
引き続くステップ２５４ないしステップ２６４は、区分領域ごとの変動エッジデータの総数を計数するための処理である。
【００７０】
このように区分領域ごとの変動エッジの総数が計数された後に、画像が変動していると考えられる領域を、図８に示すステップ２６５ないし２７３の処理により抽出する。ステップ２６５においては、変数Ｘｂ、Ｙｂが初期化され、変数の組（Ｘｂ，Ｙｂ）に対応する変動エッジデータが第２のしきい値よりも大きく、かつ、前回の処理で得られた、前のフレームの変数の組（Ｘｂ、Ｙｂ）に対応する変動エッジデータ（前フレーム変動エッジデータ）が第２のしきい値よりも大きいか否かを判断する（ステップ２６６）。図３において、第１のデータ群５６には、前回の処理の対称となったフレームの変数の組（Ｘｂ、Ｙｂ）に関する８×６個の前フレーム変動エッジデータが含まれている。
【００７１】
したがって、ＣＰＵ４は、変数の組（Ｘｂ，Ｙｂ）に関する変動エッジデータをメモリ５から読みだし、この値と、第２のしきい値データの値とを比較し、かつ、変数の組（Ｘｂ，Ｙｂ）に関する前フレーム変動エッジデータをメモリ５から読みだし、この値と、第２のしきい値データの値とを比較することにより、ステップ２６６を実現している。
【００７２】
ステップ２６６においてイエス（ｙｅｓ）と判断された場合には、変数の組（Ｘｂ，Ｙｂ）に関する画像変動領域データを１とする（ステップ２６７）。その一方、ステップ２６６においてノー（ｎｏ）と判断された場合には、この変数の組みに関する画像変動領域データを０（ゼロ）とする（ステップ２６８）。変数の組（Ｘｂ，Ｙｂ）に関する画像変動領域データは、メモリ５の所定の領域に記憶される。すなわち、図３に示すように、第１のデータ群５６には、画像変動領域データ群５６−９が含まれている。この画像変動領域データ群５６−９は、８×６個の画像変動領域データを含んでいる。したがって、ステップ２６７或いはステップ２６８において得られた変数の組（Ｘｂ，Ｙｂ）に関する画像変動領域データは、画像変動領域データ群５６−９のうちの所定の画像変動領域データに対応する。
【００７３】
ステップ２６９ないしステップ２７３は、全ての区分領域に関して、ステップ２６６、および、ステップ２６７または２６８の処理を実行するための変数の更新処理である。このように、ステップ２６６ないし２６８の処理を実行することにより、あるフレームで画像に字幕などが表れるときなど、急激なエッジが表れる領域を画像変動領域と判断することを防止することが可能となる。
【００７４】
図９に示すステップ２７４ないしステップ２８０の処理は、次回のステップ２５１ないしステップ２７３を実行するために、前フレーム変動エッジデータを更新している。すなわち、今回の処理で得られた変数の組（Ｘｂ，Ｙｂ）に関する変動エッジデータを、対応する変数の組に関する前フレーム変動エッジデータとしている（ステップ２７５）。さらに、ステップ２５３でインクリメントされる変動エッジデータの値を初期化している（ステップ２７６）。
【００７５】
上述した処理により、画像変動領域として抽出された区分領域は、該領域中の変動エッジの総数が、複数のフレームにわたって連続して第２のしきい値よりも多い。したがって、これにより、連続的に動きのある被写体のみを含む領域のみを抽出することが可能となる。
【００７６】
次に、ステップ３００の第１の重要画像判定処理を、図１０のフローチャートを参照して詳細に説明する。ステップ３０１においては、処理で用いられる変数Ｘｂ、Ｙｂを初期化するとともに、画像の中央部の変動の計数を示す中央変動カウントデータおよび画像の外縁部の変動の計数を示す外縁変動カウントデータを初期化する。
【００７７】
次いで、変数の組（Ｘｂ，Ｙｂ）に関する画像変動領域データが１であるか否かを判断する（ステップ３０２）。このステップ３０２においてイエス（ｙｅｓ）と判断された場合には、この画像変動領域に関する変数の組の値を調べ、Ｘｂが０（ゼロ）より大きく７より小さく、かつ、Ｙｂが０（ゼロ）より大きく５より小さいかを判断する（ステップ３０３）。ここに、図１１は、本実施の態様における画像の中央部および外縁部を説明するための図である。変数の組（Ｘｂ，Ｙｂ）は、図１１に示す１フレーム分の画像の領域に対応付けされている。たとえば、変数の組（０，０）は、図１１中の領域１１０に、変数の組（１，０）は、領域１１２に対応付けされている。したがって、ステップ３０３においてイエス（ｙｅｓ）と判断された場合には、画像変動領域が、画像の中央部（図１１において斜線が引かれていない部分）に含まれるため、中央変動カウンタデータをインクリメントする（ステップ３０４）。その一方、ステップ３０３においてノー（ｎｏ）と判断された場合には、画像変動領域が、画像の外縁部（図１１において斜線が引かれている領域）に含まれるため、外縁変動カウンタデータをインクリメントする（ステップ３０５）。このようなステップ３０２ないしステップ３０５の処理を、変数の組（０，０）ないし（７，５）の全てに関して実行した後に、中央カウントデータの値が５よりも大きく、外縁カウントデータが４より小さく、かつ、両者の和が１８よりも小さいか否かを判断する（ステップ３１１）。これにより、画像の中央部に画像の変動した領域が集中し、かつ、全体としては、画像の変動が比較的小さいか否かが判断される。
【００７８】
このステップ３１１においてイエス（ｙｅｓ）と判断された場合には、この画像が重要画像の候補とされる。その一方、ステップ３１１においてノー（ｎｏ）と判断された場合には、ステップ１００に戻る。
【００７９】
上述した処理により、カメラを静止させて被写体を撮影した画像が、カメラワークを用いて撮影された画像や静止画像などから区別され得る。たとえば、撮影しているカメラに動きがある場合には、中央カウントデータと外縁カウントデータとの総和が１８以上になり、或いは、外縁カウントデータの値が４以上になるため、これを重要画像の候補とすることを防止することが可能となる。
【００８０】
次に、図１２ないし図１６のフローチャートを参照して、ステップ４００の第２の重要画像判定処理を説明する。
【００８１】
図１２に示すステップ４０１ないしステップ４１４の処理においては、先に実行された処理により得られた重要画像の候補に関して、区分領域ごとの比すとグラムを生成する。ステップ４０１において、処理で使用する変数ｉ、ｊ、Ｘｂ、Ｙｂおよびｃｏｌを初期化する。
【００８２】
次いで、変数の組（Ｘｂ，Ｙｂ）に対応する区分領域内の座標（Ｘｂ×２０＋ｉ，Ｙｂ×２０＋ｊ）に位置する画素を構成する赤画像データ、緑画像データおよび青画像データに基づき、この画素の色が、予め定められた６４階調の色の何れに最も近いものであるかを決定し、決定された６４階調の色のうちの所定の色の色番号を、変数ｃｏｌに与える（ステップ４０２）。より詳細には、赤画像データとｃ０（ＨＥＸ）とのアンドをとった結果を下位に６ビットシフトさせたものと、緑画像データとｃ０（ＨＥＸ）とのアンドをとった結果を下位に４ビットシフトさせたものと、青画像データとｃ０（ＨＥＸ）とのアンドをとった結果を下位に２ビットシフトさせたものとを加算して、ｃｏｌを得る。
【００８３】
この変数ｃｏｌの値に基づき、メモリ５の第２のデータ群５７に設けられたヒストグラムデータ群５７−１中の所定のヒストグラムデータがインクリメントされる（ステップ４０３）。このヒストグラムデータ群５７−１には、８×６個の区分領域ごとに、６４階調の色に対応して６４個のヒストグラムデータが設けられている。たとえば、ステップ４０２により与えられた変数ｃｏｌの値が、０（ゼロ）である場合には、ステップ４０３において、変数の組（Ｘｂ，Ｙｂ）に対応する区分領域の、階調０（ゼロ）に対応するヒストグラムデータがインクリメントされる。
【００８４】
ステップ４０４ないし４１４を実行することにより、上述したステップ４０２およびステップ４０３の処理が、全ての区分領域の画素に対して実行される。
【００８５】
図１３に示すステップ４１５ないしステップ４２８においては、各区分領域を代表する色を抽出する処理が実行される。ステップ４１５において、処理で使用される区分領域を特定するための変数（Ｘｂ，Ｙｂ）が初期化され、ステップ４１６において、変数ｃｏｌ、および、ｍａｘ＿ｃｏｌが初期化される。
【００８６】
次いで、変数（Ｘｂ，Ｙｂ）に対応する区分領域で、一番使用頻度の高かった色の色番号を調べ、その色番号を、変数（Ｘｂ，Ｙｂ）に対応する区分領域の領域代表色データとする（ステップ４１７ないし４２１）。
【００８７】
より詳細には、メモリ５のヒストグラムデータ群５７−１の変数（Ｘｂ，Ｙｂ）に対応する区分領域に関する６４個のヒストグラムデータの値を調べ、その中で、もっとも値の大きかった色番号が、領域代表色データとなる。
【００８８】
上述したステップ４１６ないしステップ４２１の処理を、全ての区分領域に関して繰り返すことにより、８×６の区分領域ごとの領域代表色データを得ることができる。この領域代表色データは、図３のメモリ５の第２のデータ群５７に含まれる領域色代表色データ群５７−２の何れかに対応する。
【００８９】
ステップ４１５ないし４２６の処理が終了すると、現在の時間を開始時間に代入し、これを図３のメモリ５の開始時間データ５８−１とする（ステップ４２７）とともに、重要画像継続フラグを１にセットする（ステップ４２８）。この重要画像継続フラグは、これまでの処理において重要画像の候補が得られたことを示している。
【００９０】
次に、図１４に示すステップ４２９ないしステップ４４２の処理においては、後続するフレームの画像の区分領域ごとのヒストグラムデータが得られる。この処理は、図３の画像データ群５５とは別個に、メモリ５の所定の領域（図示せず）に、この画像データ群５５に対応するフレームに続くフレームに対応する画像データ群を一時的に記憶し、画像データ群を構成する赤画像データ、緑画像データおよび青画像データに関して、図１２のステップ４０１ないしステップ４１４とほぼ同様の処理を実行する。これにより、メモリ５の第２のデータ群５７中のヒストグラムデータ群５７−１を構成するヒストグラムデータに、それぞれ値が与えられる。
【００９１】
さらに、図１５に示すステップ４４３ないしステップ４５３の処理においては、後続するフレームの画像の区分領域ごとの領域代表色データが得られる。この処理は、図１３に示すステップ４１５ないしステップ４２８の処理とほぼ同様である。これらステップを実行することにより、メモリ５の第２のデータ群５７中の後続フレーム領域代表色データ群５７−３を構成する８×６個の後続フレーム領域代表色データを得ることができる。
【００９２】
図１６に示すステップ４５５ないしステップ４６６の処理においては、フレーム間で画像が継続しているか否かを調べることにより重要画像であるかどうかを判定している。
【００９３】
ステップ４５５においては、処理で使用される変数Ｘｂ、Ｙｂおよびｓａｍｅ＿ｈｉｓｔｏが初期化される。
【００９４】
次いで、変数（Ｘｂ、Ｙｂ）に対応する区分領域の領域代表色データを、メモリ５の領域代表色データ群５７−２から読み出すとともに、変数（Ｘｂ、Ｙｂ）に対応する区分領域の後続フレーム領域代表色データを、メモリ５の後続フレーム領域代表色データ群５７−３から読み出し、両者を比較する（ステップ４５６）。これらが一致する場合には、変数ｓａｍｅ＿ｈｉｓｔｏをインクリメントする（ステップ４５７）。
【００９５】
全ての区分領域に関して、ステップ４５６ないしステップ４５７の処理を実行した後に、得られた変数ｓａｍｅ＿ｈｉｓｔｏが所定の数（本実施の形態においては３０）よりも小さいかどうかを判断する（ステップ４６３）。ステップ４６３においてノー（ｎｏ）と判断された場合には、ステップ１００の処理に戻り、１フレーム分の画像の入力が再度実行される。なお、この場合、変動エッジ抽出処理（ステップ２００）中、ステップ２０１において、重要画像継続フラグが０（ゼロ）ではないと判断されるため、図１４のステップ４２９に進み、さらに後続するフレームの画像に関するヒストグラムデータの生成および後続フレーム領域代表色データの生成が実行される。
【００９６】
その一方、ステップ４６３においてイエス（ｙｅｓ）と判断された場合には、現在の時間を終了時間に代入して、終了時間データを得る（ステップ４６４）。これは、図３のメモリ５の終了時間データ５８−２として、該メモリ５に記憶される。次いで、重要画像継続フラグを０（ゼロ）にリセットし、メモリ５の開始時間データ５８−１および終了時間データ５８−２を読みだし、これらの値を比較して、両者の差が、所定の時間（本実施の形態においては２秒）より大きいか否かを判断する（ステップ４６６）。ステップ４６６においてノー（ｎｏ）と判断された場合には、ステップ１００に戻り、再度、最初から処理が実行される。その一方、ステップ４６６においてイエス（ｙｅｓ）と判断された場合には、ステップ５００の第３の重要画像判定処理に進む。
【００９７】
上述したように、重要画像の候補とされた画像の区分領域ごとの領域代表色データと、後続するフレームの画像の対応する区分領域の後続フレーム領域代表色データとを比較し、重要画像の候補となった画像が、どれくらいの時間継続しているかを調べ、この継続時間が所定の時間よりも大きい場合には、画像が重要画像の候補であることを保持している。これは、注目している被写体を、カメラを静止させて撮影して得た画像は、類似した画像が暫くの間継続することを利用している。このような処理により、画像変動領域が一時的に分布したような画像、たとえば、中央を車両が横切るような画像を、重要画像の候補から除去することができる。
【００９８】
次に、第３の重要画像判定処理（ステップ５００）につき、図１７ないし図１９のフローチャートを参照して詳細に説明する。
【００９９】
図１７のステップ５０１ないしステップ５０９の処理においては、ステップ４００において重要画像の候補であるとされた画像が、前回のステップ１００ないしステップ５００の処理において抽出された画像と一致するか否かを判断する処理である。
【０１００】
ステップ５０１においては、処理で使用する変数Ｘｂ、Ｙｂおよびｓａｍｅ＿ｈｉｓｔｏ２が初期化される。次いで、変数（Ｘｂ，Ｙｂ）に対応する区分領域の領域代表色データと、前回のステップ１００ないしステップ５００の処理において得られ、後述するステップ５１１においてメモリ５の所定の領域に記憶された、変数（Ｘｂ，Ｙｂ）に対応する区分領域の前重要画像領域代表色データとが比較される（ステップ５０２）。この前重要画像領域代表色データは、図３のメモリ５の第２のデータ群５７の前重要画像領域代表色データ群５７−４の８×６個のデータの所定の一つに対応する。
【０１０１】
このステップ５０２においてイエス（ｙｅｓ）と判断された場合には、変数ｓａｍｅ＿ｈｉｓｔｏ２がインクリメントされる（ステップ５０３）。全ての区分領域に関して、ステップ５０２ないしステップ５０３の処理を実行した後に、得られた変数ｓａｍｅ＿ｈｉｓｔｏ２が所定の数（本実施の形態においては３０）よりも小さいかどうかを判断する（ステップ５０９）。ステップ５０９においてノー（ｎｏ）と判断された場合には、ステップ１００に戻り、１フレーム分の画像の入力が再度実行され、再度、最初から処理が実行される。その一方、ステップ５０９において、イエス（ｙｅｓ）と判断された場合には、図１８の処理に進み、次回の処理のために、各区分領域に関する前重要画像領域代表色データが、それぞれ更新される（ステップ５１０ないしステップ５１６）。
【０１０２】
図１９の処理は、最終的に重要画像と判断された画像に関する重要画像データを生成する処理である。ステップ５１８ないしステップ５２３の処理においては、もとの画像データ群を構成する赤画像データ、緑画像データおよび青画像データが間引かれて、１／２に圧縮された重要画像データが生成される。次いで、上述した処理で得られ、図３のメモリ５に記憶された開始時間データ５８−１を、重要画像開始時間データに設定し（ステップ５２４）、かつ、メモリ５に記憶された終了時間データ５８−２を、重要画像終了時間データに設定する（ステップ５２５）。
【０１０３】
上述した処理、特に、図１７に示す処理により、同一の被写体の動きが変化することにより得られる複数の類似する画像を、重複して抽出するのを防止することができる。すなわち、動画像中の一連のシーンで、いったん、静止していた被写体がいったん移動し、その後に、もとの位置に戻る場合であっても、複数の重要画像を抽出することを防止できる。
【０１０４】
図１９の処理において得られた各データは、図３の重要画像構造体データ群５２中のある重要画像に関する一連のデータの組としてメモリ５に記憶される。図２０は、一つの重要画像に関する重要画像構造体データ群５２中のある一連のデータの組を示すメモリマップである。図２０に示すように、このデータの組５２−１には、重要画像が得られるごとに１から順に付与される重要画像識別番号データ５２−１１、図１９のステップ５１８ないしステップ５２３を繰り返すことにより得られた８０×６０画素分の重要画像データ群５２−１２、この重要画像を表示すべきディスプレイ１の画面中のＸ座標を示す重要画像表示位置Ｘデータ５２−１３、同じく画面中のＹ座標を示す重要画像表示位置Ｙデータ５２−１４、図１９のステップ５２４において得られた重要画像開始時間に対応する重要画像開始時間データ５２−１５、及び、図１９のステップ５２５において得られた重要画像終了時間に対応する重要画像終了時間データ５２−１６から構成される。
【０１０５】
この重要画像データ群５２には、８０×６０個の赤画像データ、８０×６０個の緑画像データ、および、８０×６０個の青画像データが含まれる。このデータの組５２−１は、重要画像が得られるごとに生成される。
【０１０６】
画像データ生成装置１１から、順次、ディジタル画像データが、マイクロコンピュータ３に与えられ、マイクロコンピュータ４において、図２に示した処理が実行されると、メモリ５の重要画像構造体データ群５２には、所定の数の重要画像に関連するデータの組が格納されることになる。
【０１０７】
ユーザがマウス７またはキーボード８を操作して、所定の情報をマイクロコンピュータ３に与え、図２に示す処理を実行させると、ディスプレイ１の画面上に、処理の結果得られた重要画像が表示される。図２１は、ディスプレイ１の画面２１００上に得られた画像の例を示す図である。図２１に示すように、画面２１００のウィンドウ２１１０には、処理の結果得られた重要画像２１１１ないし２１１５が表示される。また、各重要画像の下部には、重要画像開始時間データに基づく時間が表示される。この実施の態様においては、ウィンドウ２１１０に、６枚の重要画像を表示できるようになっているが、得られた重要画像がこれ以上である場合には、マウス７を操作してカーソル２１２０を、スクロールボタン２１２１、２１２２或いはスクロールバー２１２３上に移動して、マウス７をクリックすることにより、画面をスクロールして、他の重要画像を見ることが可能となる。
【０１０８】
また、図２１において、ウィンドウ２１３０には、画像データ生成装置１１から与えられた画像データに基づく、通常の再生画像が表示される。また、ボタン２１３１は、重要画像抽出処理を開始させるためのものであり、また、ボタン２１３２は、処理を終了させるためのボタンである。また、これらボタンの設けられたウィンドウには、処理の結果得られた重要画像の画面数２１３３および処理が開始された時間２１３４を表示できるようになっている。
【０１０９】
たとえば、ユーザが、画像再生装置９に記憶された動画像のうち、重要画像を抽出することを所望する時間（たとえば、開始時間および終了時間）を、マウス７或いはキーボード８を操作することにより、マイクロコンピュータ３に入力し、画面上のスタートボタン２１３１上に、マウスカーソル２１２０を移動させて、マウス７をクリックすると、画像データ生成装置を介して、マイクロコンピュータ３に与えられた画像データに基づき、図２の処理が実行されて、ウィンドウ２１１０上に、圧縮された形式の重要画像を表示することができる。
【０１１０】
本実施の形態によれば、画像を複数の区分領域に分割し、区分領域ごとの変動エッジを抽出し、時間的な間隔をもつ複数のフレームで、各区分領域において、変動エッジの個数が所定のしきい値を超えている場合に、当該区分領域を画像変動領域としている。したがって、動画像中に、字幕が出現する場合など、あるフレームで急激にエッジが表れる画像を画像変動領域と認識するのを防止することができる。
【０１１１】
また、本実施の形態によれば、画像を、その外縁部から横方向および縦方向に、所定の距離だけ離間した４点により画定される矩形の内側の領域（中央部）と、外側の領域（外縁部）に分割し、中央部に画像変動領域が、比較的集中していることを認識することにより、重要画像の候補を得ている。したがって、カメラワークを用いた撮影による画像など、画像全体にわたって、エッジが変動している画像を、重要画像として認識するのを防止することができる。
【０１１２】
さらに、本実施の形態によれば、重要画像の候補とされた画像の区分領域ごとの領域代表色と、当該画像に後続するフレームに関する画像の区分領域ごとの領域代表色とを比較し、所定数の区分領域において、所定の時間より長く、それらの領域代表色が一致していることを認識することにより、重要画像の候補を得ている。
【０１１３】
さらに、本実施の形態によれば、このようにして得られた重要画像の候補とされた画像の区分領域ごとの代表色と、前回の処理により重要画像と判定された画像の区分領域ごとの代表色とを比較し、これらが一致した区分領域の数が所定の数より小さいときに、得られた画像を新規の重要画像であると判断する。これにより、類似する画像を重複して抽出することを防止することができる。
【０１１４】
このように、本実施の形態によれば、特に、注目すべき人物などの被写体を、画像の中央付近に配置して撮影した画像を適切に抽出することが可能となる。また、このように抽出された画像をディスプレイに表示するため、ユーザは、簡単に所望のシーンを探し出すことが可能となる。
【０１１５】
本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【０１１６】
たとえば、前記実施の形態においては、第１の重要画像判定処理（図２のステップ３００）、第２の重要画像判定処理（ステップ４００）および第３の重要画像判定処理（ステップ５００）が順次実行されているが、これに限定されるものではなく、第１の重要画像判定処理のみを実行して重要画像を得てもよく、或いは、第１および第２の重要画像判定処理を実行することにより、重要画像を得ても良い。
【０１１７】
また、前記実施の形態の第２の重要画像判定処理において、８×６個の区分領域の、もっとも外縁部に存在する２４個の区分領域を外縁部、残りを中央部とするように予め決定されているが、これに限定されるものではなく、区分領域の数、或いは、重要画像として抽出したい被写体の位置などに応答して、外縁部および中央部を設定してもよい。また、中央部とは、必ずしも、画像の外縁から水平方向および垂直方向に等しい距離だけ離間した４点により画定される矩形に限定されるものではなく、所望の３点或いは４点により画定される図形或いは円など他の図形であっても良いことは明らかである。
【０１１８】
さらに、前記実施の形態の第２の重要画像判定処理において、各区分領域でもっとも使用されたと考えられる色を代表色と決定したが、色のヒストグラムを用いても良いことは言うまでもない。
【０１１９】
また、前記実施の形態の第１の重要画像判定処理において、横エッジデータ或いは縦エッジデータを得るために、Ｘ方向或いはＹ方向に１だけ離間した二つの画素に関する画像データの値の差をとっているが、これに限定されるものではなく、隣接した画素に関する画像データの値の差、或いは、２以上離間した二つの画素に関する画像データの値の差をとっても良い。
【０１２０】
さらに、前記実施の形態においては、画像再生装置からの画像信号に基づき、画像データ生成装置がディジタル画像データを生成し、このディジタル画像データがマイクロコンピュータ３に与えられているが、これに限定されるものではない。たとえば、通信回線から与えられた動画像に関するディジタル画像データをマイクロコンピュータが受け入れても良い。この場合に、ディジタル画像データを受け入れた後に、自動的に重要画像を得るようにしておけば、ユーザは、何ら操作することなく、得られた重要画像を見ることが可能となる。
【０１２１】
また、前記実施の形態において設定される区分領域の大きさ、個数も、上述したものに限定されないことは明らかであり、また、使用されるしきい値なども、上述したものに限定されないことは明らかである。
【０１２２】
さらに、本明細書において、手段とは、必ずしも物理的手段を意味するものではなく、各手段の機能がソフトウェアにより実現される場合およびハードウェアにより実現する場合を含む。また、一つの手段の機能が、二以上の物理的手段により実現されても、若しくは、二つ以上の手段の機能が、一つの手段により実現されてもよい。
【０１２３】
【発明の効果】
本発明によれば、煩雑な手続を要することなく、特に、動画像中の、カメラを静止させて人物など被写体に注目して撮影した画像を適切に抽出する重要画像抽出装置および抽出方法を提供することが可能となる。
【図面の簡単な説明】
【図１】図１は、本発明の実施の形態にかかる重要画像抽出システムの構成を示す図である。
【図２】図２は、本実施の形態にかかる重要画像の抽出処理の概略を示すフローチャートである。
【図３】図３は、メモリに記憶されたデータを説明するためのメモリマップである。
【図４】図４は、本実施の形態にかかる変動エッジの抽出処理を詳細に示すフローチャートである。
【図５】図５は、本実施の形態にかかる変動エッジの抽出処理を詳細に示すフローチャートである。
【図６】図６は、本実施の形態にかかる変動エッジの抽出処理を詳細に示すフローチャートである。
【図７】図７は、本実施の形態にかかる画像変動領域抽出処理を詳細に示すフローチャートである。
【図８】図８は、本実施の形態にかかる画像変動領域抽出処理を詳細に示すフローチャートである。
【図９】図９は、本実施の形態にかかる画像変動領域抽出処理を詳細に示すフローチャートである。
【図１０】図１０は、本実施の形態にかかる第１の重要画像判定処理を詳細に示すフローチャートである。
【図１１】図１１は、本実施の形態における画像の中央部および外縁部を説明するための図である。
【図１２】図１２は、本実施の形態にかかる第２の重要画像判定処理を詳細に示すフローチャートである。
【図１３】図１３は、本実施の形態にかかる第２の重要画像判定処理を詳細に示すフローチャートである。
【図１４】図１４は、本実施の形態にかかる第２の重要画像判定処理を詳細に示すフローチャートである。
【図１５】図１５は、本実施の形態にかかる第２の重要画像判定処理を詳細に示すフローチャートである。
【図１６】図１６は、本実施の形態にかかる第２の重要画像判定処理を詳細に示すフローチャートである。
【図１７】図１７は、本実施の形態にかかる第３の重要画像判定処理を詳細に示すフローチャートである。
【図１８】図１８は、本実施の形態にかかる第３の重要画像判定処理を詳細に示すフローチャートである。
【図１９】図１９は、本実施の形態にかかる第３の重要画像判定処理を詳細に示すフローチャートである。
【図２０】図２０は、一つの重要画像に関する重要画像構造体データ群中のある一連のデータの組を示すメモリマップである。
【図２１】図２１は、ディスプレイの画面上に得られた画像の例を示す図である。
【符号の説明】
１ ディスプレイ
２ スピーカ
３ コンピュータ
４ ＣＰＵ
５ メモリ
６ インタフェース
７ マウス
８ キーボード
９ 画像再生装置
１１ 画像データ生成装置
１３ 外部情報記憶装置

Claims (13)

1. デジタル画像であるフレームが複数連続する動画像を入力する画像入力手段と、
   前記入力した動画を構成するフレームの各々を複数に分割した区分領域ごとに、あるフレームと、当該フレームより前又は後のフレームとを比較し、フレーム間の区分領域ごとの変動を抽出する画像変動抽出手段と、
   フレームを分割した複数の区分領域のうちいくつかの区分領域からなる第１の領域と、当該領域以外の区分領域からなる第２の領域との各々で、前記画像変動抽出手段により抽出された変動した区分領域の数に基づき、重要画像を含むフレームの候補を抽出する第１の重要画像判定手段と、
   前記重要画像を含むフレームの候補を、所定の時間連続して抽出する場合、当該フレームの画像を重要画像と判定する第２の重要画像判定手段と、
   を備えたことを特徴とする重要画像抽出装置。
2. 前記画像変動抽出手段が、少なくとも２フレーム以上にわたって、画像中のそれぞれ対応する位置に表れていないエッジを抽出する変動エッジ抽出手段と、
   前記区分領域ごとに、前記変動エッジの個数を計数する変動エッジ計数手段と、
   前記計数された値が所定の第１のしきい値よりも大きいときに、前記区分領域を画像が変動した領域であると判断する変動領域判断手段と
   を有することを特徴とする請求項１に記載の重要画像抽出装置。
3. 前記変動エッジ抽出手段が、画像中のある位置の画素に対応する画像データと、該画素の水平方向の近傍に位置する他の画素に対応する画像データとの差を算出し、および／または、前記画素に対応する画像データと、前記画素の垂直方向の近傍に位置する画素に対応する画像データとの差を算出し、前記差が第２のしきい値よりも大きい場合に、前記エッジが表れていると判断するように構成されたことを特徴とする請求項２に記載の重要画像抽出装置。
4. 前記第１の領域は、前記画像の外縁から、それぞれ、所定の距離だけ内側に離間して位置する４点により画定され、これにより、画像中の中央部および外縁部が画定され、前記第１の重要画像判定手段が、前記第１の領域である中央部の変動および前記第２の領域である外縁部の変動に基づき、重要画像を抽出するように構成されたことを特徴とする請求項１ないし３の何れか一項に記載の重要画像抽出装置。
5. 前記第１の重要画像判定手段が、前記第１の領域内の変動を示す値が所定の第１の値より大きく、かつ、前記第２の領域内の変動を示す値が他の所定の第２の値より小さい場合に、前記画像を重要画像と判断するように構成されたことを特徴とする請求項１ないし４の何れか一項に記載の重要画像抽出装置。
6. さらに、前記第１の重要画像判定手段が、前記第１の領域内および前記第２の領域内の変動を示す値が、他の所定の第３の値より小さい場合に、前記画像を重要画像と判断するように構成されたことを特徴とする請求項５に記載の重要画像抽出装置。
7. さらに、前記第２の重要画像抽出手段が、前記動画像中の時間的に離間する複数のフレームに対応する画像を、それぞれ複数に分割した区分領域ごとに、前記区分領域を特徴付ける色を示す色情報を抽出するとともに、前記複数のフレーム間で、対応する区分領域の前記色情報を比較することにより、重要画像を抽出することを特徴とする請求項１ないし６の何れか一項に記載の重要画像抽出装置。
8. 前記第２の重要画像抽出手段が、前記区分領域において、もっとも頻出した色を前記区分領域の色情報と決定することを特徴とする請求項７に記載の重要画像抽出装置。
9. 前記第２の重要画像抽出手段が、前記対応する区分領域間の色情報を比較して、前記色情報が一致する区分領域を計数し、前記計数された区分領域の数が所定の第３のしきい値よりも小さい状態が、所定の時間継続したときに、前記画像を重要画像と判断するように構成されたことを特徴とする請求項７および８の何れか一項に記載の重要画像抽出装置。
10. さらに、前記画像の区分領域の色情報と、すでに重要画像であると判断された他の画像の対応する区分領域の色情報とを比較し、前記色情報が一致する区分領域の数が、所定の第４のしきい値よりも小さいときに、前記画像を重要画像と判断する第３の重要画像判断手段を備えたことを特徴とする請求項７ないし９の何れか一項に記載の重要画像抽出装置。
11. さらに、得られた重要画像に基づく静止画像に対応する画像データを生成する画像データ生成手段と、前記画像データを表示する表示手段とを備えたことを特徴とする請求項１ないし１０の何れか一項に記載の重要画像抽出装置。
12. デジタル画像であるフレームが複数連続する動画像を入力し、
    前記入力した動画を構成するフレームの各々を複数に分割した区分領域ごとに、あるフレームと、当該フレームより前又は後のフレームとを比較し、フレーム間の区分領域ごとの変動を抽出し、
    フレームを分割した複数の区分領域のうちいくつかの区分領域からなる第１の領域と、当該領域以外の区分領域からなる第２の領域との各々で、前記抽出された変動した区分領域の数に基づき、重要画像を含むフレームの候補を抽出し、
    前記重要画像を含むフレームの候補を、所定の時間連続して抽出する場合、当該フレームの画像を重要画像と判定することを特徴とする重要画像抽出方法。
13. 前記画像変動の抽出が、少なくとも２フレーム以上にわたって、画像中のそれぞれ対応する位置に表れていないエッジを抽出し、前記区分領域ごとに、前記変動エッジの個数を計数し、計数された値が所定の第１のしきい値よりも大きいときに、前記区分領域を画像が変動した領域であると判断するように構成されたことを特徴とする請求項１２に記載の重要画像抽出方法

Images