JPH09179880A - 動画像の重要画像抽出装置および重要画像抽出方法 - Google Patents

Abstract

(57)【要約】 【課題】 煩雑な手続を要することなく、特に、カメラ
を静止させて人物など被写体に注目して撮影した画像を
適切に抽出する重要画像抽出装置を提供することを目的
とする。 【解決手段】 画像データ生成装置１１により生成され
た動画像のディジタル画像データを入力すると、ＣＰＵ
４は、ディジタル画像データに基づき、動画像中のフレ
ームに対応する画像を複数に分割した区分領域ごとに画
像の変動を抽出し、画像中に画定される矩形の図形の内
側部分である中央部における画像の変動および外側部分
である外縁部における画像の変動に基づき、重要画像を
抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像中の重要な
画像を抽出する重要画像抽出装置およびその抽出方法に
関するものである。

【０００２】

【従来の技術】近年、動画像および音声などが組み合わ
されたマルチメディアを表示および再生するマルチメデ
ィアシステムにおいて、ユーザは、動画像の中から重要
なシーンを手軽に探して視聴したいと言う要求があっ
た。たとえば、通信回線などを介してニュース番組を受
けて、これを再生する場合に、ユーザは、番組の全てを
視聴するのではなく、ヘッドラインニュースなど特定の
部分のみを視聴することを希望することが考えられる。

【０００３】しかしながら、動画像全体を把握したり、
動画像から重要シーンだけを抽出することは容易ではな
い。そこで、こうした問題を解決する技術として、動画
像全体を把握する目的で、動画像を時間ごとに分割し
て、或いは、シーンが変化する点で分割して、分割され
た動画像から、それぞれ、代表画像を抽出し、これを一
覧表示する方法が提案されている。たとえば、特開平５
-２４４4７５公報には、テイク／ショットの先頭画面、
最終画面などを検出し、それに基づき代表画面を得る手
法が提案され、特開平３-２７３３６３公報には、動画
像中の場面の切り換えを認識し、これに基づきインデッ
クス画像を得る手法が提案され、或いは、特開平３-２
９２５７２公報には、一定間隔ごとに画面を読み出し
て、これを代表画像とする手法が提案されている。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
た何れの手法においても、画像中の被写体に着目して重
要画像であるか否かを判断しているものではないため、
動画像全体の内容を把握するのに有効な場合があるが、
当該動画像を作成する際に、撮影者が、意図的にカメラ
を静止させて、特定の人物に焦点を合わせ撮影したシー
ン、すなわち、撮影者が、被写体である人物に意図的に
注目して撮影したようなシーンを適切に抽出することは
困難であった。特に、ニュース映像では、キャスターが
話題の区切りに登場し、その概要を説明するシーンが存
在する。このようなシーンではキャスターを中央に配置
し、カメラを静止させて撮影している。また、ニュース
映像中で、発言をする人物などを撮影する場合にも同様
の方法で画像がつくられているが、このようなシーンを
適切に抽出することは困難であった。

【０００５】上述したような問題点を解決するために、
特開平４−２６１０３３号公報に記載されたような手法
が提案されている。これは、所望の対象物を含む画像を
指定し、かつ、対象物を囲む図形を切り出して、切り出
された図形に基づき、所定の画像を得るように構成され
ている。

【０００６】しかしながら、上述した手法を用いた場合
には、光ディスク装置などに記憶された画像をいったん
読みだし、その中で所望の画像中の人物など対象物を指
定した後に、重要画像の抽出が実行されるため、ユーザ
が画像中の特定の人物を指定するなどの煩雑な手続を要
するという問題点があった。

【０００７】本発明の目的は、煩雑な手続を要すること
なく、特に、動画像中の、カメラを静止させて人物など
被写体に注目して撮影した画像を適切に抽出する重要画
像抽出装置および抽出方法を提供することにある。

【０００８】

【課題を解決するための手段】本発明の目的は、動画像
をディジタル画像データとして入力する画像入力手段
と、該ディジタル画像データに基づき、前記動画像中の
フレームに対応する画像を複数に分割した区分領域ごと
に画像の変動を抽出する画像変動抽出手段と、前記区分
領域ごとの画像の変動を受け入れ、前記画像中に画定さ
れる図形の内側部分の画像の変動および外側部分の画像
の変動に基づき、重要画像を抽出する第１の重要画像判
定手段を備えたことを特徴とする重要画像抽出装置によ
り達成される。

【０００９】本発明によれば、画像中に画定される図形
の内側部分の画像の変動および外側部分の変動に基づ
き、重要画像が抽出されるため、内側部分に存在する被
写体および外側部分に存在する背景とを含む画像を適切
に抽出することが可能となる。

【００１０】本発明の好ましい実施態様においては、前
記画像変動抽出手段が、前記動画像中の時間的に離間し
たフレームの対応する区分領域ごとの画像の変動を抽出
するように構成されている。

【００１１】本発明のさらに好ましい実施態様において
は、前記画像変動抽出手段が、少なくとも２フレーム以
上にわたって、画像中のそれぞれ対応する位置に表れて
いないエッジを抽出する変動エッジ抽出手段と、前記区
分領域ごとに、前記変動エッジの個数を計数する変動エ
ッジ計数手段と、前記計数された値が所定の第１のしき
い値よりも大きいときに、前記区分領域を画像が変動し
た領域であると判断する変動領域判断手段とを有してい
る。

【００１２】本発明のさらに好ましい実施態様において
は、前記変動エッジ抽出手段が、画像中のある位置の画
素に対応する画像データと、該画素の水平方向の近傍に
位置する他の画素に対応する画像データとの差を算出
し、および／または、前記画素に対応する画像データ
と、前記画素の垂直方向の近傍に位置する画素に対応す
る画像データとの差を算出し、前記差が第２のしきい値
よりも大きい場合に、前記エッジが表れていると判断す
るように構成されている。

【００１３】本発明のさらに好ましい実施態様において
は、前記図形が、前記画像の外縁から、それぞれ、所定
の距離だけ内側に離間して位置する４点により画定さ
れ、これにより、画像中の中央部および外縁部が画定さ
れ、前記第１の重要画像判定手段が、前記中央部の変動
および前記外縁部の変動に基づき、重要画像を抽出する
ように構成されている。

【００１４】本発明のさらに好ましい実施態様において
は、前記第１の重要画像判定手段が、前記内側部分の変
動を示す値が所定の第１の値より大きく、かつ、前記外
側部分の変動を示す値が他の所定の第２の値より小さい
場合に、前記画像を重要画像と判断するように構成され
ている。

【００１５】これにより、画像の内側部分に位置する人
物などの被写体と、外側の背景とを含む画像を、重要画
像としてより適切に得ることが可能となる。

【００１６】本発明のさらに好ましい実施態様において
は、前記第１の重要画像判定手段が、さらに、前記内側
部分の変動および前記外側部分の変動を示す値が、他の
所定の第３の値より小さい場合に、前記画像を重要画像
と判断するように構成されている。

【００１７】本発明のさらに好ましい実施態様において
は、さらに、前記動画像中の時間的に離間する複数のフ
レームに対応する画像を、それぞれ複数に分割した区分
領域ごとに、前記区分領域を特徴付ける色を示す色情報
を抽出するとともに、前記複数のフレーム間で、対応す
る区分領域の前記色情報を比較することにより、重要画
像を抽出する第２の重要画像抽出手段を備えている。

【００１８】この実施の態様によれば、内側部分の変動
が単に大きいにすぎなかった画像を、誤って重要画像と
判断することを防止できる。

【００１９】本発明のさらに好ましい実施態様において
は、前記第２の重要画像抽出手段が、前記区分領域にお
いて、もっとも頻出した色を前記区分領域の色情報と決
定するように構成されている。

【００２０】本発明のさらに好ましい実施態様において
は、前記第２の重要画像抽出手段が、前記区分領域ごと
の色のヒストグラムを、前記区分領域の色情報と決定す
るように構成されている。

【００２１】本発明のさらに好ましい実施態様において
は、前記第２の重要画像抽出手段が、前記対応する区分
領域間の色情報を比較して、前記色情報が一致する区分
領域を計数し、前記計数された区分領域の数が所定の第
３のしきい値よりも小さい状態が、所定の時間継続した
ときに、前記画像を重要画像と判断するように構成され
ている。

【００２２】本発明のさらに好ましい実施態様において
は、さらに、前記画像の区分領域の色情報と、すでに重
要画像であると判断された他の画像の対応する区分領域
の色情報とを比較し、前記色情報が一致する区分領域の
数が、所定の第４のしきい値よりも小さいときに、前記
画像を重要画像と判断する第３の重要画像判断手段を備
えている。

【００２３】この実施態様によれば、類似する複数の画
像を重複して重要画像と判断することなく、さらに適切
に重要画像を得ることが可能となる。

【００２４】本発明のさらに好ましい実施態様において
は、さらに、得られた重要画像に基づく静止画像に対応
する画像データを生成する画像データ生成手段と、前記
画像データを表示する表示手段とを備えている。

【００２５】これにより、ユーザは得られた重要画像
を、容易に参照することが可能となる。

【００２６】

【発明の実施の形態】以下、添付図面を参照して、本発
明の実施の形態につき説明を加える。

【００２７】図１は、本発明の実施の形態にかかる重要
画像抽出システムの構成を示す図である。図１に示すよ
うに、重要画像抽出システムは、ＣＲＴディスプレイ
１、スピーカ２、ディスプレイ１およびスピーカ２に接
続され、これらに所定の信号を与えるコンピュータ３と
を備えている。コンピュータ３には、システムを制御す
るためのＣＰＵ４、ＣＰＵ４による処理を実行するため
のプログラムなどを記憶したメモリ５、および、外部機
器とのデータの送受信を司るインタフェース（Ｉ／Ｆ）
６などが設けられている。さらに、コンピュータ３に
は、それぞれ、インタフェースを介して、マウス７およ
びキーボード８が接続されている。

【００２８】また、コンピュータ３には、それぞれ、イ
ンタフェースを介して、光ディスクを再生するための画
像再生装置９、画像再生装置９から出力された画像信号
を、コンピュータ３が処理可能な形式のディジタル画像
信号に変換する画像データ生成装置１１、および、コン
ピュータ３により抽出された重要画像に対応するデータ
などを記憶する外部情報記憶装置１３が接続されてい
る。

【００２９】このように構成された重要画像抽出システ
ムにおいて、マウス７或いはキーボード８を用いてユー
ザが所定の情報を入力すると、コンピュータ３のＣＰＵ
４は、与えられた所定の情報にしたがって、インタフェ
ースを介して、制御信号１０を画像再生装置９に与え
る。

【００３０】本実施の形態において、画像再生装置９に
より再生される動画像のフレームには、それぞれ、先頭
から順にフレーム番号が付与されている。したがって、
画像再生装置９に与えられる制御信号には、このフレー
ム番号を特定するための情報が含まれる。画像再生装置
９は、制御信号に含まれるフレーム番号を特定するため
の情報などにしたがって、所定のフレームからなる動画
像に関する画像信号を画像データ生成装置１１に与え
る。画像データ生成装置１１は、受け入れた画像信号に
基づき、ディジタル画像データを生成し、これらデータ
１２を、コンピュータ３に与える。

【００３１】このようにコンピュータ３に画像データが
得られると、通常、コンピュータ３のＣＰＵ４は、得ら
れた画像データを、ディスプレイ１に出力し、これによ
り、所望の画像が、ディスプレイ１の画面に再生され
る。

【００３２】もちろん、画像再生装置９により再生され
る信号に、音声信号が含まれている場合には、音声信号
が、音声データ生成装置（図示せず）に与えられ、この
音声データ生成装置においてディジタル変換により得ら
れたディジタル音声データが、コンピュータ３に与えら
れる。コンピュータ３は、与えられたディジタル音声デ
ータをオーディオ装置（図示せず）に出力し、当該オー
ディオ装置を介して、スピーカ２により所望の音声が再
生される。

【００３３】次に、本実施の形態にかかる重要画像抽出
システムのＣＰＵ４による、重要画像の抽出処理を説明
する。ここに、図２は、本実施の形態にかかる重要画像
の抽出処理の概略を示すフローチャートである。ＣＰＵ
４は、メモリ５に記憶されたプログラムを読みだし、以
下の手順にしたがって、画像データから、所定の重要画
像に対応するデータを抽出する。

【００３４】図２に示すように、ＣＰＵ４により実行さ
れる重要画像の抽出処理には、処理中に使用する変数の
初期設定（ステップ５０）、画像データ生成装置１１に
より与えられたディジタル画像データを、１フレームに
対応するデータ群ごとにメモリ５に記憶する処理（ステ
ップ１００）、複数のフレーム間で異なった位置に存在
する変動エッジを抽出する変動エッジ抽出処理（ステッ
プ２００）、および、１フレーム分の画像を複数の区分
領域に分割し、分割された区分領域ごとに、ステップ２
００において抽出された変動エッジに対応する画素の数
を計数して、この計数結果に基づき、内容に変動がある
領域を抽出する画像変動領域抽出処理（ステップ２５
０）が含まれる。この画像変動領域抽出処理は、各区分
領域において、計数された画素の数に基づき、複数のフ
レームにおいて変動エッジに対応する画素の数が、それ
ぞれ一定数を超えた領域を画像変動領域として抽出する
処理である。

【００３５】さらに、ＣＰＵ４により実行される重要画
像の抽出処理には、画像変動領域抽出処理（ステップ２
５０）により得られた変動領域の分布状態により重要画
像か否かを判定する第１の重要画像判定処理（ステップ
３００）、第１の重要画像判定処理（ステップ３００）
により抽出された画像と、後続するフレームの画像との
間で、各画像の対応する区分領域を代表する領域別代表
色を比較し、この比較結果に基づき、重要画像か否かを
判定する第２の重要画像判定処理（ステップ４００）、
第２の重要画像判定処理（ステップ４００）により重要
画像であると判定された画像と、前回の処理において抽
出された重要画像との間で、対応する区分領域を代表す
る領域別代表色を比較し、両者が一致する区分領域の数
が所定の値より小さいときに、前者の画像を重要画像で
あると判断する第３の重要画像判定処理（ステップ５０
０）、および、前述した処理により得られた重要画像に
関連するフレームに対応するデータ群をメモリ５の所定
の領域に記憶するとともに、ディスプレイ１に出力する
処理（ステップ６００）が含まれている。

【００３６】図２に示す処理、特に、第１の重要画像判
定処理は、重要画像において、画像変動領域が画像中の
中央付近に主として分布するということに着目してい
る。すなわち、ズーミング、パンなどのようなカメラワ
ークによって、画像の全体にわたって画像変動領域が生
じるような場合を除去することができる。

【００３７】また、特に、第２の重要画像判定処理は、
重要画像において、ある一定の時間だけ類似した画像が
連続することに着目している。

【００３８】さらに、後述するように、得られた重要画
像を、抽出時間など所定の情報とともに、ディスプレイ
１の画面上に表示することができるため、ユーザは、容
易に所望の画像を参照することが可能となる。

【００３９】次に、メモリ５に記憶されたデータを、図
３のメモリマップを用いて概略的に説明する。図３に示
すように、メモリ５には、重要画像抽出処理などのプロ
グラム５１、重要画像抽出処理の結果得られた画像デー
タおよびこれに付随するデータからなる重要画像構造体
データ群５２、後述する処理において、画像中の強エッ
ジ画素を抽出する際に用いる第１のしきい値データ５
３、後述する処理において、画像の変動領域を判定する
ための第２のしきい値データ５４、画像データ生成装置
１１により与えられた画像データ５５が記憶されてい
る。

【００４０】重要画像構造体データ群５２は、ステップ
５０ないし６００の処理の結果得られた１つ以上のデー
タ群であり、また、画像データ５５は、画像データ生成
装置１１により与えられた最新のディジタル画像データ
に対応する。また、しきい値データ５３、５４の値は、
予め決定されている。

【００４１】さらに、メモリ５には、ステップ１００な
いしステップ６００の処理を一回実行する際に使用され
るワーク用のデータ群が記憶されている。

【００４２】より詳細には、このデータ群は、変動エッ
ジ抽出処理（ステップ２００）および画像変動領域抽出
処理（ステップ２５０）において使用される第１のデー
タ群５６、第１ないし第３の重要画像判定処理（ステッ
プ３００ないし５００）において使用される第２のデー
タ群５７、ならびに、処理において一時的に記憶され、
かつ、参照される時間データ群５８を含んでいる。この
第１のデータ群５６および第２のデータ群については、
それぞれの処理において、より詳細に説明する。

【００４３】さて、図２に示した重要画像抽出処理の各
ステップにつき、以下に詳細に説明する。

【００４４】初期値の設定（ステップ５０）の後、マイ
クロコンピュータ３は、画像データ生成装置１１から与
えられた１フレーム分の画像データを受け入れ、メモリ
５の所定の領域に記憶する。この１フレーム分の画像デ
ータは、図３の画像データ５５に対応する。本実施の形
態においては、１フレーム分の画像は、１２０画素×１
６０画素から構成される。したがって、１フレーム分の
画像データ５５は、１２０×１６０個の赤色を示す赤画
像データ群５５−１、１２０×１６０個の緑色を示す緑
画像データ群５５−２、および、１２０×１６０個の青
色を示す青画像データ群５５−３から構成されている。

【００４５】このようにして、１フレーム分の画像デー
タ５５が、メモリ５の所定の領域に記憶されると、ステ
ップ２００の変動エッジの検出が実行される。

【００４６】ここに、図４ないし図６は、ステップ２０
０の処理を詳細に示すフローチャートである。

【００４７】図４に示すように、変動エッジ抽出処理に
おいては、まず、重要画像継続フラグが０（ゼロ）であ
るか否かを調べる（ステップ２０１）。この重要画像継
続フラグは、後述するステップ４２８において１にセッ
トされる。このステップ２０１においてノー(no)と判断
された場合には、ステップ４２９に進み、その一方、イ
エス(yes)と判断された場合には、ステップ２０２に進
む。ステップ２０２においては、処理の対称となるＸ座
標およびＹ座標を初期化する。このＸ座標およびＹ座標
は、１フレーム分の画像の画素の位置を示している。

【００４８】引き続き実行されるステップ２０３ないし
２１３の処理は、Ｘ方向（縦方向）およびＹ方向（横方
向）の強エッジ、すなわち所定の値よりも大きく変化し
ている画素を抽出するための処理である。

【００４９】まず、ある座標（Ｘ，Ｙ）の画素の横方向
に隣接する座標（Ｘ＋１，Ｙ）および（Ｘ−１，Ｙ）に
対応する画素の、赤画像データ、緑画像データならびに
青画像データの値の差をそれぞれとる。すなわち、これ
ら座標に対応する画素の赤、緑および青の色成分の色差
を算出する。次いで、これらの差が、すべて第１のしき
い値よりも大きいか否かを判断する（ステップ２０
３）。

【００５０】このステップ２０３においてイエス(yes)
と判断された場合には、座標（Ｘ，Ｙ）に関する横エッ
ジデータの値を１とする（ステップ２０４）。その一
方、ステップ２０３においてノー(no)と判断された場合
には、座標（Ｘ，Ｙ）に関する横エッジデータの値を０
（ゼロ）とする（ステップ２０５）。この座標（Ｘ，
Ｙ）に関する横エッジデータは、メモリ５の所定の領域
に記憶される。すなわち、図３に示すように、第１のデ
ータ群５６には、横エッジデータ群５６−１が含まれて
いる。この横エッジデータ群は、処理の対称となる座標
の数、すなわち、１５８×１１８個の横エッジデータを
含んでいる。したがって、ステップ２０４或いはステッ
プ２０５において得られた座標（Ｘ，Ｙ）に関する横エ
ッジデータは、横エッジデータ群５６−１のうちの所定
の横エッジデータに対応する。

【００５１】次いで、座標（Ｘ，Ｙ）の画素の縦方向に
隣接する座標（Ｘ，Ｙ＋１）および（Ｘ，Ｙ−１）に対
応する画素の、赤画像データ、緑画像データならびに青
画像データの値のそれぞれの差が、第１のしきい値より
も大きいか否かを判断する。すなわち、これら座標に対
応する画素の赤、緑および青の色成分の色差を算出し、
これらの差が、すべて第１のしきい値よりも大きいか否
かを判断する（ステップ２０６）。

【００５２】このステップ２０６においてイエス(yes)
と判断された場合には、座標（Ｘ，Ｙ）に関する縦エッ
ジデータの値を１とする（ステップ２０７）。その一
方、ステップ２０８においてノー(no)と判断された場合
には、座標（Ｘ，Ｙ）に関する縦エッジデータの値を０
（ゼロ）とする（ステップ２０８）。

【００５３】横エッジデータのバイト同様に、座標
（Ｘ，Ｙ）に関する縦エッジデータは、メモリ５の所定
の領域に記憶される。図３に示すように、第１のデータ
群５６には、縦エッジデータ群５６−１が含まれてい
る。この縦エッジデータ群は、処理の対称となる座標の
数、すなわち、１５８×１１８個の縦エッジデータを含
んでいる。したがって、ステップ２０７或いはステップ
２０８において得られた座標（Ｘ，Ｙ）に関する縦エッ
ジデータは、縦エッジデータ群５６−２のうちの所定の
縦エッジデータに対応する。

【００５４】ステップ２０９では、Ｘ方向（横方向）の
処理が終了したか否かを判断し、ステップ２１２では、
Ｙ方向の処理が終了したか否かを判断している。ステッ
プ２０９ないし２１３を経ることにより、座標（Ｘ，
Ｙ）＝（１，１）ないし（１５８，１１８）に対応する
全ての画素に関する横エッジデータおよび縦エッジデー
タを得ることができる。

【００５５】図５に示すステップ２１４ないしステップ
２２５の処理は、複数のフレームにわたって異なった位
置に表れた強エッジを抽出するための処理である。

【００５６】ステップ２１４では、処理の対称となるＸ
座標およびＹ座標を初期化する。次いで、今回の処理の
対称となったフレームの座標（Ｘ，Ｙ）に関する横エッ
ジデータと、前回の処理の対称となったフレームの対応
する座標（Ｘ，Ｙ）に関する横エッジデータが一致して
ないことを判断する（ステップ２１５）。ここに、図３
において、第１のデータ群５６には、前回の処理の対称
となったフレームの座標に関する１５８×１１８個の横
エッジデータからなる前フレーム横エッジデータ群５６
−３が含まれている。

【００５７】したがって、ＣＰＵ４は、座標（Ｘ，Ｙ）
に関する横エッジデータと、座標（Ｘ，Ｙ）に対応する
前フレーム横エッジデータとを比較することにより、こ
のステップ２１５を実現している。

【００５８】このステップ２１５においてイエス(yes)
と判断された場合には、座標（Ｘ，Ｙ）に関する変動横
エッジデータを１とする（ステップ２１６）。その一
方、ステップ２１５においてノー(no)と判断された場合
には、この座標に関する変動横エッジデータを０（ゼ
ロ）とする（ステップ２１７）。座標（Ｘ，Ｙ）に関す
る変動横エッジデータは、メモリ５の所定の領域に記憶
される。すなわち、図３に示すように、第１のデータ群
５６には、変動横エッジデータ群５６−５が含まれてい
る。この変動横エッジデータ群５６−５は、１５８×１
１８個の変動横エッジデータを含んでいる。したがっ
て、ステップ２１６或いはステップ２１７において得ら
れた座標（Ｘ，Ｙ）に関する変動横エッジデータは、変
動横エッジデータ群５６−５のうちの所定の変動横エッ
ジデータに対応する。

【００５９】さらに、今回の処理の対称となったフレー
ムの座標（Ｘ，Ｙ）に関する縦エッジデータと、前回の
処理の対称となったフレームの対応する座標（Ｘ，Ｙ）
に関する縦エッジデータが一致してないことを判断する
（ステップ２１８）。図３において、第１のデータ群５
６には、前回の処理の対称となったフレームの座標に関
する１５８×１１８個の縦エッジデータからなる前フレ
ーム縦エッジデータ群５６−４が含まれている。

【００６０】したがって、ＣＰＵ４は、座標（Ｘ，Ｙ）
に関する縦エッジデータと、座標（Ｘ，Ｙ）に対応する
前フレーム縦エッジデータとを比較することにより、こ
のステップ２１８を実現している。

【００６１】このステップ２１８においてイエス(yes)
と判断された場合には、座標（Ｘ，Ｙ）に関する変動縦
エッジデータを１とする（ステップ２１９）。その一
方、ステップ２１８においてノー(no)と判断された場合
には、この座標に関する変動縦エッジデータを０（ゼ
ロ）とする（ステップ２２０）。座標（Ｘ，Ｙ）に関す
る変動縦エッジデータは、メモリ５の所定の領域に記憶
される。すなわち、図３に示すように、第１のデータ群
５６には、変動縦エッジデータ群５６−６が含まれてい
る。この変動縦エッジデータ群５６−６は、１５８×１
１８個の変動縦エッジデータを含んでいる。したがっ
て、ステップ２１９或いはステップ２２０において得ら
れた座標（Ｘ，Ｙ）に関する変動縦エッジデータは、変
動縦エッジデータ群５６−６のうちの所定の変動縦エッ
ジデータに対応する。

【００６２】ステップ２２１では、Ｘ方向（横方向）の
処理が終了したか否かを判断し、ステップ２２４では、
Ｙ方向の処理が終了したか否かを判断している。ステッ
プ２２１ないし２２５を経ることにより、座標（Ｘ，
Ｙ）＝（１，１）ないし（１５８，１１８）に対応する
全ての画素に関する変動横エッジデータおよび変動縦エ
ッジデータを得ることができる。

【００６３】図６に示すステップ２２６ないしステップ
２３１の処理は、次回のステップ２１５ないしステップ
２２５の処理を実行するために、前フレーム横エッジデ
ータおよび前フレーム縦エッジデータを更新している。
すなわち、今回の処理で得られた座標（Ｘ，Ｙ）に関す
る横エッジデータを、対応する座標（Ｘ，Ｙ）に関する
前フレーム横エッジデータとするとともに、今回の処理
で得られた座標（Ｘ，Ｙ）に関する縦エッジデータを、
対応する座標（Ｘ，Ｙ）に関する前フレーム縦エッジデ
ータとしている。

【００６４】上述したステップ２００の処理は、時間的
な間隔をもつ複数のフレーム間において異なった位置に
存在したエッジを抽出している。これは、カメラを静止
させて撮影することにより得た画像において、背景のエ
ッジが不動であることに基づいている。したがって、上
述した処理により、画像中の背景で生じたエッジを除去
し、被写体である人物など動きのある部分のエッジのみ
を抽出することが可能となる。

【００６５】次に、図７ないし図９のフローチャートを
参照して、ステップ２５０の画像変動領域抽出処理を詳
細に説明する。

【００６６】図７に示すステップ２５０ないしステップ
２６４の処理は、１フレームの画像をＸ方向（横方向）
に８個、Ｙ方向（縦方向）に６個の総計４８個の区分領
域に分割し、区分領域ごとに変動強エッジ画素を計数し
ている。

【００６７】この処理において、まず、使用する変数
ｉ、ｊ、ＸｂおよびＹｂを初期化する（ステップ２５
１）。次いで、ある区分領域中の座標（Ｘｂ×２０＋
ｊ，Ｙｂ×２０＋ｉ）に関する変動横エッジデータ、或
いは、この座標に関する変動縦エッジデータの何れかが
１であることを判断する（ステップ２５２）。このステ
ップ２５２においてイエス(yes)と判断された場合に
は、この区分領域に関する変動エッジデータの値をイン
クリメントする。

【００６８】図３に示すように、第１のデータ群５６に
は、８×６個の変動エッジデータからなる変動エッジデ
ータ群５６−７が含まれている。この実施の形態におい
て、変動エッジデータは、変数の組（Ｘｂ，Ｙｂ）ごと
に設けられている。

【００６９】引き続くステップ２５４ないしステップ２
６４は、区分領域ごとの変動エッジデータの総数を計数
するための処理である。

【００７０】このように区分領域ごとの変動エッジの総
数が計数された後に、画像が変動していると考えられる
領域を、図８に示すステップ２６５ないし２７３の処理
により抽出する。ステップ２６５においては、変数Ｘ
ｂ、Ｙｂが初期化され、変数の組（Ｘｂ，Ｙｂ）に対応
する変動エッジデータが第２のしきい値よりも大きく、
かつ、前回の処理で得られた、前のフレームの変数の組
（Ｘｂ、Ｙｂ）に対応する変動エッジデータ（前フレー
ム変動エッジデータ）が第２のしきい値よりも大きいか
否かを判断する（ステップ２６６）。図３において、第
１のデータ群５６には、前回の処理の対称となったフレ
ームの変数の組（Ｘｂ、Ｙｂ）に関する８×６個の前フ
レーム変動エッジデータが含まれている。

【００７１】したがって、ＣＰＵ４は、変数の組（Ｘ
ｂ，Ｙｂ）に関する変動エッジデータをメモリ５から読
みだし、この値と、第２のしきい値データの値とを比較
し、かつ、変数の組（Ｘｂ，Ｙｂ）に関する前フレーム
変動エッジデータをメモリ５から読みだし、この値と、
第２のしきい値データの値とを比較することにより、ス
テップ２６６を実現している。

【００７２】ステップ２６６においてイエス(yes)と判
断された場合には、変数の組（Ｘｂ，Ｙｂ）に関する画
像変動領域データを１とする（ステップ２６７）。その
一方、ステップ２６６においてノー(no)と判断された場
合には、この変数の組みに関する画像変動領域データを
０（ゼロ）とする（ステップ２６８）。変数の組（Ｘ
ｂ，Ｙｂ）に関する画像変動領域データは、メモリ５の
所定の領域に記憶される。すなわち、図３に示すよう
に、第１のデータ群５６には、画像変動領域データ群５
６−９が含まれている。この画像変動領域データ群５６
−９は、８×６個の画像変動領域データを含んでいる。
したがって、ステップ２６７或いはステップ２６８にお
いて得られた変数の組（Ｘｂ，Ｙｂ）に関する画像変動
領域データは、画像変動領域データ群５６−９のうちの
所定の画像変動領域データに対応する。

【００７３】ステップ２６９ないしステップ２７３は、
全ての区分領域に関して、ステップ２６６、および、ス
テップ２６７または２６８の処理を実行するための変数
の更新処理である。このように、ステップ２６６ないし
２６８の処理を実行することにより、あるフレームで画
像に字幕などが表れるときなど、急激なエッジが表れる
領域を画像変動領域と判断することを防止することが可
能となる。

【００７４】図９に示すステップ２７４ないしステップ
２８０の処理は、次回のステップ２５１ないしステップ
２７３を実行するために、前フレーム変動エッジデータ
を更新している。すなわち、今回の処理で得られた変数
の組（Ｘｂ，Ｙｂ）に関する変動エッジデータを、対応
する変数の組に関する前フレーム変動エッジデータとし
ている（ステップ２７５）。さらに、ステップ２５３で
インクリメントされる変動エッジデータの値を初期化し
ている（ステップ２７６）。

【００７５】上述した処理により、画像変動領域として
抽出された区分領域は、該領域中の変動エッジの総数
が、複数のフレームにわたって連続して第２のしきい値
よりも多い。したがって、これにより、連続的に動きの
ある被写体のみを含む領域のみを抽出することが可能と
なる。

【００７６】次に、ステップ３００の第１の重要画像判
定処理を、図１０のフローチャートを参照して詳細に説
明する。ステップ３０１においては、処理で用いられる
変数Ｘｂ、Ｙｂを初期化するとともに、画像の中央部の
変動の計数を示す中央変動カウントデータおよび画像の
外縁部の変動の計数を示す外縁変動カウントデータを初
期化する。

【００７７】次いで、変数の組（Ｘｂ，Ｙｂ）に関する
画像変動領域データが１であるか否かを判断する（ステ
ップ３０２）。このステップ３０２においてイエス(ye
s)と判断された場合には、この画像変動領域に関する変
数の組の値を調べ、Ｘｂが０（ゼロ）より大きく７より
小さく、かつ、Ｙｂが０（ゼロ）より大きく５より小さ
いかを判断する（ステップ３０３）。ここに、図１１
は、本実施の態様における画像の中央部および外縁部を
説明するための図である。変数の組（Ｘｂ，Ｙｂ）は、
図１１に示す１フレーム分の画像の領域に対応付けされ
ている。たとえば、変数の組（０，０）は、図１１中の
領域１１０に、変数の組（１，０）は、領域１１２に対
応付けされている。したがって、ステップ３０３におい
てイエス(yes)と判断された場合には、画像変動領域
が、画像の中央部（図１１において斜線が引かれていな
い部分）に含まれるため、中央変動カウンタデータをイ
ンクリメントする（ステップ３０４）。その一方、ステ
ップ３０３においてノー(no)と判断された場合には、画
像変動領域が、画像の外縁部（図１１において斜線が引
かれている領域）に含まれるため、外縁変動カウンタデ
ータをインクリメントする（ステップ３０５）。このよ
うなステップ３０２ないしステップ３０５の処理を、変
数の組（０，０）ないし（７，５）の全てに関して実行
した後に、中央カウントデータの値が５よりも大きく、
外縁カウントデータが４より小さく、かつ、両者の和が
１８よりも小さいか否かを判断する（ステップ３１
１）。これにより、画像の中央部に画像の変動した領域
が集中し、かつ、全体としては、画像の変動が比較的小
さいか否かが判断される。

【００７８】このステップ３１１においてイエス(yes)
と判断された場合には、この画像が重要画像の候補とさ
れる。その一方、ステップ３１１においてノー(no)と判
断された場合には、ステップ１００に戻る。

【００７９】上述した処理により、カメラを静止させて
被写体を撮影した画像が、カメラワークを用いて撮影さ
れた画像や静止画像などから区別され得る。たとえば、
撮影しているカメラに動きがある場合には、中央カウン
トデータと外縁カウントデータとの総和が１８以上にな
り、或いは、外縁カウントデータの値が４以上になるた
め、これを重要画像の候補とすることを防止することが
可能となる。

【００８０】次に、図１２ないし図１６のフローチャー
トを参照して、ステップ４００の第２の重要画像判定処
理を説明する。

【００８１】図１２に示すステップ４０１ないしステッ
プ４１４の処理においては、先に実行された処理により
得られた重要画像の候補に関して、区分領域ごとの比す
とグラムを生成する。ステップ４０１において、処理で
使用する変数ｉ、ｊ、Ｘｂ、Ｙｂおよびcolを初期化す
る。

【００８２】次いで、変数の組（Ｘｂ，Ｙｂ）に対応す
る区分領域内の座標（Ｘｂ×２０＋ｉ，Ｙｂ×２０＋
ｊ）に位置する画素を構成する赤画像データ、緑画像デ
ータおよび青画像データに基づき、この画素の色が、予
め定められた６４階調の色の何れに最も近いものである
かを決定し、決定された６４階調の色のうちの所定の色
の色番号を、変数colに与える（ステップ４０２）。よ
り詳細には、赤画像データとｃ０(HEX)とのアンドをと
った結果を下位に６ビットシフトさせたものと、緑画像
データとｃ０(HEX)とのアンドをとった結果を下位に４
ビットシフトさせたものと、青画像データとｃ０(HEX)
とのアンドをとった結果を下位に２ビットシフトさせた
ものとを加算して、colを得る。

【００８３】この変数colの値に基づき、メモリ５の第
２のデータ群５７に設けられたヒストグラムデータ群５
７−１中の所定のヒストグラムデータがインクリメント
される（ステップ４０３）。このヒストグラムデータ群
５７−１には、８×６個の区分領域ごとに、６４階調の
色に対応して６４個のヒストグラムデータが設けられて
いる。たとえば、ステップ４０２により与えられた変数
colの値が、０（ゼロ）である場合には、ステップ４０
３において、変数の組（Ｘｂ，Ｙｂ）に対応する区分領
域の、階調０（ゼロ）に対応するヒストグラムデータが
インクリメントされる。

【００８４】ステップ４０４ないし４１４を実行するこ
とにより、上述したステップ４０２およびステップ４０
３の処理が、全ての区分領域の画素に対して実行され
る。

【００８５】図１３に示すステップ４１５ないしステッ
プ４２８においては、各区分領域を代表する色を抽出す
る処理が実行される。ステップ４１５において、処理で
使用される区分領域を特定するための変数（Ｘｂ，Ｙ
ｂ）が初期化され、ステップ４１６において、変数co
l、および、max＿colが初期化される。

【００８６】次いで、変数（Ｘｂ，Ｙｂ）に対応する区
分領域で、一番使用頻度の高かった色の色番号を調べ、
その色番号を、変数（Ｘｂ，Ｙｂ）に対応する区分領域
の領域代表色データとする（ステップ４１７ないし４２
１）。

【００８７】より詳細には、メモリ５のヒストグラムデ
ータ群５７−１の変数（Ｘｂ，Ｙｂ）に対応する区分領
域に関する６４個のヒストグラムデータの値を調べ、そ
の中で、もっとも値の大きかった色番号が、領域代表色
データとなる。

【００８８】上述したステップ４１６ないしステップ４
２１の処理を、全ての区分領域に関して繰り返すことに
より、８×６の区分領域ごとの領域代表色データを得る
ことができる。この領域代表色データは、図３のメモリ
５の第２のデータ群５７に含まれる領域色代表色データ
群５７−２の何れかに対応する。

【００８９】ステップ４１５ないし４２６の処理が終了
すると、現在の時間を開始時間に代入し、これを図３の
メモリ５の開始時間データ５８−１とする（ステップ４
２７）とともに、重要画像継続フラグを１にセットする
（ステップ４２８）。この重要画像継続フラグは、これ
までの処理において重要画像の候補が得られたことを示
している。

【００９０】次に、図１４に示すステップ４２９ないし
ステップ４４２の処理においては、後続するフレームの
画像の区分領域ごとのヒストグラムデータが得られる。
この処理は、図３の画像データ群５５とは別個に、メモ
リ５の所定の領域（図示せず）に、この画像データ群５
５に対応するフレームに続くフレームに対応する画像デ
ータ群を一時的に記憶し、画像データ群を構成する赤画
像データ、緑画像データおよび青画像データに関して、
図１２のステップ４０１ないしステップ４１４とほぼ同
様の処理を実行する。これにより、メモリ５の第２のデ
ータ群５７中のヒストグラムデータ群５７−１を構成す
るヒストグラムデータに、それぞれ値が与えられる。

【００９１】さらに、図１５に示すステップ４４３ない
しステップ４５３の処理においては、後続するフレーム
の画像の区分領域ごとの領域代表色データが得られる。
この処理は、図１３に示すステップ４１５ないしステッ
プ４２８の処理とほぼ同様である。これらステップを実
行することにより、メモリ５の第２のデータ群５７中の
後続フレーム領域代表色データ群５７−３を構成する８
×６個の後続フレーム領域代表色データを得ることがで
きる。

【００９２】図１６に示すステップ４５５ないしステッ
プ４６６の処理においては、フレーム間で画像が継続し
ているか否かを調べることにより重要画像であるかどう
かを判定している。

【００９３】ステップ４５５においては、処理で使用さ
れる変数Ｘｂ、Ｙｂおよびsame＿histoが初期化され
る。

【００９４】次いで、変数（Ｘｂ、Ｙｂ）に対応する区
分領域の領域代表色データを、メモリ５の領域代表色デ
ータ群５７−２から読み出すとともに、変数（Ｘｂ、Ｙ
ｂ）に対応する区分領域の後続フレーム領域代表色デー
タを、メモリ５の後続フレーム領域代表色データ群５７
−３から読み出し、両者を比較する（ステップ４５
６）。これらが一致する場合には、変数same＿histoを
インクリメントする（ステップ４５７）。

【００９５】全ての区分領域に関して、ステップ４５６
ないしステップ４５７の処理を実行した後に、得られた
変数same＿histoが所定の数（本実施の形態においては
３０）よりも小さいかどうかを判断する（ステップ４６
３）。ステップ４６３においてノー(no)と判断された場
合には、ステップ１００の処理に戻り、１フレーム分の
画像の入力が再度実行される。なお、この場合、変動エ
ッジ抽出処理（ステップ２００）中、ステップ２０１に
おいて、重要画像継続フラグが０（ゼロ）ではないと判
断されるため、図１４のステップ４２９に進み、さらに
後続するフレームの画像に関するヒストグラムデータの
生成および後続フレーム領域代表色データの生成が実行
される。

【００９６】その一方、ステップ４６３においてイエス
(yes)と判断された場合には、現在の時間を終了時間に
代入して、終了時間データを得る（ステップ４６４）。
これは、図３のメモリ５の終了時間データ５８−２とし
て、該メモリ５に記憶される。次いで、重要画像継続フ
ラグを０（ゼロ）にリセットし、メモリ５の開始時間デ
ータ５８−１および終了時間データ５８−２を読みだ
し、これらの値を比較して、両者の差が、所定の時間
（本実施の形態においては２秒）より大きいか否かを判
断する（ステップ４６６）。ステップ４６６においてノ
ー(no)と判断された場合には、ステップ１００に戻り、
再度、最初から処理が実行される。その一方、ステップ
４６６においてイエス(yes)と判断された場合には、ス
テップ５００の第３の重要画像判定処理に進む。

【００９７】上述したように、重要画像の候補とされた
画像の区分領域ごとの領域代表色データと、後続するフ
レームの画像の対応する区分領域の後続フレーム領域代
表色データとを比較し、重要画像の候補となった画像
が、どれくらいの時間継続しているかを調べ、この継続
時間が所定の時間よりも大きい場合には、画像が重要画
像の候補であることを保持している。これは、注目して
いる被写体を、カメラを静止させて撮影して得た画像
は、類似した画像が暫くの間継続することを利用してい
る。このような処理により、画像変動領域が一時的に分
布したような画像、たとえば、中央を車両が横切るよう
な画像を、重要画像の候補から除去することができる。

【００９８】次に、第３の重要画像判定処理（ステップ
５００）につき、図１７ないし図１９のフローチャート
を参照して詳細に説明する。

【００９９】図１７のステップ５０１ないしステップ５
０９の処理においては、ステップ４００において重要画
像の候補であるとされた画像が、前回のステップ１００
ないしステップ５００の処理において抽出された画像と
一致するか否かを判断する処理である。

【０１００】ステップ５０１においては、処理で使用す
る変数Ｘｂ、Ｙｂおよびsame＿histo２が初期化され
る。次いで、変数（Ｘｂ，Ｙｂ）に対応する区分領域の
領域代表色データと、前回のステップ１００ないしステ
ップ５００の処理において得られ、後述するステップ５
１１においてメモリ５の所定の領域に記憶された、変数
（Ｘｂ，Ｙｂ）に対応する区分領域の前重要画像領域代
表色データとが比較される（ステップ５０２）。この前
重要画像領域代表色データは、図３のメモリ５の第２の
データ群５７の前重要画像領域代表色データ群５７−４
の８×６個のデータの所定の一つに対応する。

【０１０１】このステップ５０２においてイエス(yes)
と判断された場合には、変数same＿histo２がインクリ
メントされる（ステップ５０３）。全ての区分領域に関
して、ステップ５０２ないしステップ５０３の処理を実
行した後に、得られた変数same＿histo２が所定の数
（本実施の形態においては３０）よりも小さいかどうか
を判断する（ステップ５０９）。ステップ５０９におい
てノー(no)と判断された場合には、ステップ１００に戻
り、１フレーム分の画像の入力が再度実行され、再度、
最初から処理が実行される。その一方、ステップ５０９
において、イエス(yes)と判断された場合には、図１８
の処理に進み、次回の処理のために、各区分領域に関す
る前重要画像領域代表色データが、それぞれ更新される
（ステップ５１０ないしステップ５１６）。

【０１０２】図１９の処理は、最終的に重要画像と判断
された画像に関する重要画像データを生成する処理であ
る。ステップ５１８ないしステップ５２３の処理におい
ては、もとの画像データ群を構成する赤画像データ、緑
画像データおよび青画像データが間引かれて、１／２に
圧縮された重要画像データが生成される。次いで、上述
した処理で得られ、図３のメモリ５に記憶された開始時
間データ５８−１を、重要画像開始時間データに設定し
（ステップ５２４）、かつ、メモリ５に記憶された終了
時間データ５８−２を、重要画像終了時間データに設定
する（ステップ５２５）。

【０１０３】上述した処理、特に、図１７に示す処理に
より、同一の被写体の動きが変化することにより得られ
る複数の類似する画像を、重複して抽出するのを防止す
ることができる。すなわち、動画像中の一連のシーン
で、いったん、静止していた被写体がいったん移動し、
その後に、もとの位置に戻る場合であっても、複数の重
要画像を抽出することを防止できる。

【０１０４】図１９の処理において得られた各データ
は、図３の重要画像構造体データ群５２中のある重要画
像に関する一連のデータの組としてメモリ５に記憶され
る。図２０は、一つの重要画像に関する重要画像構造体
データ群５２中のある一連のデータの組を示すメモリマ
ップである。図２０に示すように、このデータの組５２
−１には、重要画像が得られるごとに１から順に付与さ
れる重要画像識別番号データ５２−１１、図１９のステ
ップ５１８ないしステップ５２３を繰り返すことにより
得られた８０×６０画素分の重要画像データ群５２−１
２、この重要画像を表示すべきディスプレイ１の画面中
のＸ座標を示す重要画像表示位置Ｘデータ５２−１３、
同じく画面中のＹ座標を示す重要画像表示位置Ｙデータ
５２−１４、図１９のステップ５２４において得られた
重要画像開始時間に対応する重要画像開始時間データ５
２−１５、及び、図１９のステップ５２５において得ら
れた重要画像終了時間に対応する重要画像終了時間デー
タ５２−１６から構成される。

【０１０５】この重要画像データ群５２には、８０×６
０個の赤画像データ、８０×６０個の緑画像データ、お
よび、８０×６０個の青画像データが含まれる。このデ
ータの組５２−１は、重要画像が得られるごとに生成さ
れる。

【０１０６】画像データ生成装置１１から、順次、ディ
ジタル画像データが、マイクロコンピュータ３に与えら
れ、マイクロコンピュータ４において、図２に示した処
理が実行されると、メモリ５の重要画像構造体データ群
５２には、所定の数の重要画像に関連するデータの組が
格納されることになる。

【０１０７】ユーザがマウス７またはキーボード８を操
作して、所定の情報をマイクロコンピュータ３に与え、
図２に示す処理を実行させると、ディスプレイ１の画面
上に、処理の結果得られた重要画像が表示される。図２
１は、ディスプレイ１の画面２１００上に得られた画像
の例を示す図である。図２１に示すように、画面２１０
０のウィンドウ２１１０には、処理の結果得られた重要
画像２１１１ないし２１１５が表示される。また、各重
要画像の下部には、重要画像開始時間データに基づく時
間が表示される。この実施の態様においては、ウィンド
ウ２１１０に、６枚の重要画像を表示できるようになっ
ているが、得られた重要画像がこれ以上である場合に
は、マウス７を操作してカーソル２１２０を、スクロー
ルボタン２１２１、２１２２或いはスクロールバー２１
２３上に移動して、マウス７をクリックすることによ
り、画面をスクロールして、他の重要画像を見ることが
可能となる。

【０１０８】また、図２１において、ウィンドウ２１３
０には、画像データ生成装置１１から与えられた画像デ
ータに基づく、通常の再生画像が表示される。また、ボ
タン２１３１は、重要画像抽出処理を開始させるための
ものであり、また、ボタン２１３２は、処理を終了させ
るためのボタンである。また、これらボタンの設けられ
たウィンドウには、処理の結果得られた重要画像の画面
数２１３３および処理が開始された時間２１３４を表示
できるようになっている。

【０１０９】たとえば、ユーザが、画像再生装置９に記
憶された動画像のうち、重要画像を抽出することを所望
する時間（たとえば、開始時間および終了時間）を、マ
ウス７或いはキーボード８を操作することにより、マイ
クロコンピュータ３に入力し、画面上のスタートボタン
２１３１上に、マウスカーソル２１２０を移動させて、
マウス７をクリックすると、画像データ生成装置を介し
て、マイクロコンピュータ３に与えられた画像データに
基づき、図２の処理が実行されて、ウィンドウ２１１０
上に、圧縮された形式の重要画像を表示することができ
る。

【０１１０】本実施の形態によれば、画像を複数の区分
領域に分割し、区分領域ごとの変動エッジを抽出し、時
間的な間隔をもつ複数のフレームで、各区分領域におい
て、変動エッジの個数が所定のしきい値を超えている場
合に、当該区分領域を画像変動領域としている。したが
って、動画像中に、字幕が出現する場合など、あるフレ
ームで急激にエッジが表れる画像を画像変動領域と認識
するのを防止することができる。

【０１１１】また、本実施の形態によれば、画像を、そ
の外縁部から横方向および縦方向に、所定の距離だけ離
間した４点により画定される矩形の内側の領域（中央
部）と、外側の領域（外縁部）に分割し、中央部に画像
変動領域が、比較的集中していることを認識することに
より、重要画像の候補を得ている。したがって、カメラ
ワークを用いた撮影による画像など、画像全体にわたっ
て、エッジが変動している画像を、重要画像として認識
するのを防止することができる。

【０１１２】さらに、本実施の形態によれば、重要画像
の候補とされた画像の区分領域ごとの領域代表色と、当
該画像に後続するフレームに関する画像の区分領域ごと
の領域代表色とを比較し、所定数の区分領域において、
所定の時間より長く、それらの領域代表色が一致してい
ることを認識することにより、重要画像の候補を得てい
る。

【０１１３】さらに、本実施の形態によれば、このよう
にして得られた重要画像の候補とされた画像の区分領域
ごとの代表色と、前回の処理により重要画像と判定され
た画像の区分領域ごとの代表色とを比較し、これらが一
致した区分領域の数が所定の数より小さいときに、得ら
れた画像を新規の重要画像であると判断する。これによ
り、類似する画像を重複して抽出することを防止するこ
とができる。

【０１１４】このように、本実施の形態によれば、特
に、注目すべき人物などの被写体を、画像の中央付近に
配置して撮影した画像を適切に抽出することが可能とな
る。また、このように抽出された画像をディスプレイに
表示するため、ユーザは、簡単に所望のシーンを探し出
すことが可能となる。

【０１１５】本発明は、以上の実施の形態に限定される
ことなく、特許請求の範囲に記載された発明の範囲内
で、種々の変更が可能であり、それらも本発明の範囲内
に包含されるものであることは言うまでもない。

【０１１６】たとえば、前記実施の形態においては、第
１の重要画像判定処理（図２のステップ３００）、第２
の重要画像判定処理（ステップ４００）および第３の重
要画像判定処理（ステップ５００）が順次実行されてい
るが、これに限定されるものではなく、第１の重要画像
判定処理のみを実行して重要画像を得てもよく、或い
は、第１および第２の重要画像判定処理を実行すること
により、重要画像を得ても良い。

【０１１７】また、前記実施の形態の第２の重要画像判
定処理において、８×６個の区分領域の、もっとも外縁
部に存在する２４個の区分領域を外縁部、残りを中央部
とするように予め決定されているが、これに限定される
ものではなく、区分領域の数、或いは、重要画像として
抽出したい被写体の位置などに応答して、外縁部および
中央部を設定してもよい。また、中央部とは、必ずし
も、画像の外縁から水平方向および垂直方向に等しい距
離だけ離間した４点により画定される矩形に限定される
ものではなく、所望の３点或いは４点により画定される
図形或いは円など他の図形であっても良いことは明らか
である。

【０１１８】さらに、前記実施の形態の第２の重要画像
判定処理において、各区分領域でもっとも使用されたと
考えられる色を代表色と決定したが、色のヒストグラム
を用いても良いことは言うまでもない。

【０１１９】また、前記実施の形態の第１の重要画像判
定処理において、横エッジデータ或いは縦エッジデータ
を得るために、Ｘ方向或いはＹ方向に１だけ離間した二
つの画素に関する画像データの値の差をとっているが、
これに限定されるものではなく、隣接した画素に関する
画像データの値の差、或いは、２以上離間した二つの画
素に関する画像データの値の差をとっても良い。

【０１２０】さらに、前記実施の形態においては、画像
再生装置からの画像信号に基づき、画像データ生成装置
がディジタル画像データを生成し、このディジタル画像
データがマイクロコンピュータ３に与えられているが、
これに限定されるものではない。たとえば、通信回線か
ら与えられた動画像に関するディジタル画像データをマ
イクロコンピュータが受け入れても良い。この場合に、
ディジタル画像データを受け入れた後に、自動的に重要
画像を得るようにしておけば、ユーザは、何ら操作する
ことなく、得られた重要画像を見ることが可能となる。

【０１２１】また、前記実施の形態において設定される
区分領域の大きさ、個数も、上述したものに限定されな
いことは明らかであり、また、使用されるしきい値など
も、上述したものに限定されないことは明らかである。

【０１２２】さらに、本明細書において、手段とは、必
ずしも物理的手段を意味するものではなく、各手段の機
能がソフトウェアにより実現される場合およびハードウ
ェアにより実現する場合を含む。また、一つの手段の機
能が、二以上の物理的手段により実現されても、若しく
は、二つ以上の手段の機能が、一つの手段により実現さ
れてもよい。

【０１２３】

【発明の効果】本発明によれば、煩雑な手続を要するこ
となく、特に、動画像中の、カメラを静止させて人物な
ど被写体に注目して撮影した画像を適切に抽出する重要
画像抽出装置および抽出方法を提供することが可能とな
る。

【図面の簡単な説明】

【図１】 図１は、本発明の実施の形態にかかる重要画
像抽出システムの構成を示す図である。

【図２】 図２は、本実施の形態にかかる重要画像の抽
出処理の概略を示すフローチャートである。

【図３】 図３は、メモリに記憶されたデータを説明す
るためのメモリマップである。

【図４】 図４は、本実施の形態にかかる変動エッジの
抽出処理を詳細に示すフローチャートである。

【図５】 図５は、本実施の形態にかかる変動エッジの
抽出処理を詳細に示すフローチャートである。

【図６】 図６は、本実施の形態にかかる変動エッジの
抽出処理を詳細に示すフローチャートである。

【図７】 図７は、本実施の形態にかかる画像変動領域
抽出処理を詳細に示すフローチャートである。

【図８】 図８は、本実施の形態にかかる画像変動領域
抽出処理を詳細に示すフローチャートである。

【図９】 図９は、本実施の形態にかかる画像変動領域
抽出処理を詳細に示すフローチャートである。

【図１０】 図１０は、本実施の形態にかかる第１の重
要画像判定処理を詳細に示すフローチャートである。

【図１１】 図１１は、本実施の形態における画像の中
央部および外縁部を説明するための図である。

【図１２】 図１２は、本実施の形態にかかる第２の重
要画像判定処理を詳細に示すフローチャートである。

【図１３】 図１３は、本実施の形態にかかる第２の重
要画像判定処理を詳細に示すフローチャートである。

【図１４】 図１４は、本実施の形態にかかる第２の重
要画像判定処理を詳細に示すフローチャートである。

【図１５】 図１５は、本実施の形態にかかる第２の重
要画像判定処理を詳細に示すフローチャートである。

【図１６】 図１６は、本実施の形態にかかる第２の重
要画像判定処理を詳細に示すフローチャートである。

【図１７】 図１７は、本実施の形態にかかる第３の重
要画像判定処理を詳細に示すフローチャートである。

【図１８】 図１８は、本実施の形態にかかる第３の重
要画像判定処理を詳細に示すフローチャートである。

【図１９】 図１９は、本実施の形態にかかる第３の重
要画像判定処理を詳細に示すフローチャートである。

【図２０】 図２０は、一つの重要画像に関する重要画
像構造体データ群中のある一連のデータの組を示すメモ
リマップである。

【図２１】 図２１は、ディスプレイの画面上に得られ
た画像の例を示す図である。

【符号の説明】

１ ディスプレイ ２ スピーカ ３ コンピュータ ４ ＣＰＵ ５ メモリ ６ インタフェース ７ マウス ８ キーボード ９ 画像再生装置 １１ 画像データ生成装置 １３ 外部情報記憶装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤田 武洋 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内

Claims (19)

【特許請求の範囲】
1. 【請求項１】 動画像をディジタル画像データとして入
   力する画像入力手段と、 該ディジタル画像データに基づき、前記動画像中のフレ
   ームに対応する画像を複数に分割した区分領域ごとに画
   像の変動を抽出する画像変動抽出手段と、 前記区分領域ごとの画像の変動を受け入れ、前記画像中
   に画定される図形の内側部分の画像の変動および外側部
   分の画像の変動に基づき、重要画像を抽出する第１の重
   要画像判定手段を備えたことを特徴とする重要画像抽出
   装置。
2. 【請求項２】 前記画像変動抽出手段が、前記動画像中
   の時間的に離間したフレームの対応する区分領域ごとの
   画像の変動を抽出するように構成されたことを特徴とす
   る請求項１に記載の重要画像抽出装置。
3. 【請求項３】 前記画像変動抽出手段が、少なくとも２
   フレーム以上にわたって、画像中のそれぞれ対応する位
   置に表れていないエッジを抽出する変動エッジ抽出手段
   と、前記区分領域ごとに、前記変動エッジの個数を計数
   する変動エッジ計数手段と、前記計数された値が所定の
   第１のしきい値よりも大きいときに、前記区分領域を画
   像が変動した領域であると判断する変動領域判断手段と
   を有することを特徴とする請求項１または２に記載の重
   要画像抽出装置。
4. 【請求項４】 前記変動エッジ抽出手段が、画像中のあ
   る位置の画素に対応する画像データと、該画素の水平方
   向の近傍に位置する他の画素に対応する画像データとの
   差を算出し、および／または、前記画素に対応する画像
   データと、前記画素の垂直方向の近傍に位置する画素に
   対応する画像データとの差を算出し、前記差が第２のし
   きい値よりも大きい場合に、前記エッジが表れていると
   判断するように構成されたことを特徴とする請求項３に
   記載の重要画像抽出装置。
5. 【請求項５】 前記図形が、前記画像の外縁から、それ
   ぞれ、所定の距離だけ内側に離間して位置する４点によ
   り画定され、これにより、画像中の中央部および外縁部
   が画定され、前記第１の重要画像判定手段が、前記中央
   部の変動および前記外縁部の変動に基づき、重要画像を
   抽出するように構成されたことを特徴とする請求項１な
   いし４の何れか一項に記載の重要画像抽出装置。
6. 【請求項６】 前記第１の重要画像判定手段が、前記内
   側部分の変動を示す値が所定の第１の値より大きく、か
   つ、前記外側部分の変動を示す値が他の所定の第２の値
   より小さい場合に、前記画像を重要画像と判断するよう
   に構成されたことを特徴とする請求項１ないし５の何れ
   か一項に記載の重要画像抽出装置。
7. 【請求項７】 さらに、前記第１の重要画像判定手段
   が、前記内側部分および前記外側部分の変動を示す値
   が、他の所定の第３の値より小さい場合に、前記画像を
   重要画像と判断するように構成されたことを特徴とする
   請求項６に記載の重要画像抽出装置。
8. 【請求項８】 さらに、前記動画像中の時間的に離間す
   る複数のフレームに対応する画像を、それぞれ複数に分
   割した区分領域ごとに、前記区分領域を特徴付ける色を
   示す色情報を抽出するとともに、前記複数のフレーム間
   で、対応する区分領域の前記色情報を比較することによ
   り、重要画像を抽出する第２の重要画像抽出手段を備え
   たことを特徴とする請求項１ないし７の何れか一項に記
   載の重要画像抽出装置。
9. 【請求項９】 前記第２の重要画像抽出手段が、前記区
   分領域において、もっとも頻出した色を前記区分領域の
   色情報と決定することを特徴とする請求項８に記載の重
   要画像抽出装置。
10. 【請求項１０】 前記第２の重要画像抽出手段が、前記
    区分領域ごとの色のヒストグラムを、前記区分領域の色
    情報と決定することを特徴とする請求項８に記載の重要
    画像抽出装置。
11. 【請求項１１】 前記第２の重要画像抽出手段が、前記
    対応する区分領域間の色情報を比較して、前記色情報が
    一致する区分領域を計数し、前記計数された区分領域の
    数が所定の第３のしきい値よりも小さい状態が、所定の
    時間継続したときに、前記画像を重要画像と判断するよ
    うに構成されたことを特徴とする請求項８ないし１０の
    何れか一項に記載の重要画像抽出装置。
12. 【請求項１２】 さらに、前記画像の区分領域の色情報
    と、すでに重要画像であると判断された他の画像の対応
    する区分領域の色情報とを比較し、前記色情報が一致す
    る区分領域の数が、所定の第４のしきい値よりも小さい
    ときに、前記画像を重要画像と判断する第３の重要画像
    判断手段を備えたことを特徴とする請求項８ないし１１
    の何れか一項に記載の重要画像抽出装置。
13. 【請求項１３】 さらに、得られた重要画像に基づく静
    止画像に対応する画像データを生成する画像データ生成
    手段と、前記画像データを表示する表示手段とを備えた
    ことを特徴とする請求項１ないし１２の何れか一項に記
    載の重要画像抽出装置。
14. 【請求項１４】 動画像をディジタル画像データとして
    入力し、 該ディジタル画像データに基づき、前記動画像中のフレ
    ームに対応する画像を複数に分割した区分領域ごとに画
    像の変動を抽出し、 前記区分領域ごとの画像の変動を受け入れ、前記画像中
    に画定される図形の内側部分の画像の変動および外側部
    分の画像の変動に基づき、重要画像を抽出することを特
    徴とする重要画像抽出方法。
15. 【請求項１５】 前記画像変動の抽出が、少なくとも２
    フレーム以上にわたって、画像中のそれぞれ対応する位
    置に表れていないエッジを抽出し、前記区分領域ごと
    に、前記変動エッジの個数を計数し、計数された値が所
    定のしきい値よりも大きいときに、前記区分領域を画像
    が変動した領域であると判断するように構成されたこと
    を特徴とする請求項１４に記載の重要画像抽出方法。
16. 【請求項１６】 前記エッジの抽出が、画像中のある位
    置の画素に対応する画像データと、該画素の水平方向の
    近傍に位置する他の画素に対応する画像データとの差を
    算出し、および／または、前記画素に対応する画像デー
    タと、前記画素の垂直方向の近傍に位置する画素に対応
    する画像との差を算出し、前記差が第２のしきい値より
    も大きい場合に、前記エッジが表れていると判断するよ
    うに構成されたことを特徴とする請求項１５に記載の重
    要画像抽出方法。
17. 【請求項１７】 前記図形が、前記画像の外縁から、そ
    れぞれ、所定の距離だけ内側に離間して位置する４点に
    より画定されることを特徴とする請求項１４ないし１６
    の何れか一項に記載の重要画像抽出方法。
18. 【請求項１８】 さらに、前記動画像中の時間的に離間
    する複数のフレームに対応する画像を、それぞれ複数に
    分割した区分領域ごとに、前記区分領域を特徴付ける色
    を示す色情報を抽出するとともに、前記複数のフレーム
    間で、対応する区分領域の前記色情報を比較することに
    より、重要画像を抽出することを特徴とする請求項１４
    ないし１７の何れか一項に記載の重要画像抽出方法。
19. 【請求項１９】 さらに、前記画像の区分領域の色情報
    と、すでに重要画像であると判断された他の画像の対応
    する区分領域の色情報とを比較し、前記色情報が一致す
    る区分領域の数が、所定の第４のしきい値よりも小さい
    ときに、前記画像を重要画像と判断するように構成され
    たことを特徴とする請求項１７に記載の重要画像抽出方
    法。