JP5569120B2 - 画像処理装置、画像処理システム、データ処理方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、撮影画像を処理する画像処理装置に関し、より詳細には、描画画像を含む画像フレームからキーフレームを抽出して出力する画像処理装置、画像処理システム、データ処理方法、プログラムおよび記録媒体に関する。

近年、企業や教育機関、行政機関等では、会議や講義等において、ホワイトボードや黒板等の描画対象物に描かれた文字や数字、図形等の描画を含む描画画像を取得する種々の技術が利用されている。このような技術には、例えば、スキャナ装置および印刷装置を備え、ホワイトボードの描画画像を走査して印刷するホワイトボード装置や、描画対象物に描かれた描画画像をデジタルビデオカメラ等の撮影装置で撮影して取得するシステムがある。

このような描画画像の取得技術として、特許文献１は、ホワイトボードを撮影して得られた撮影画像を空間的および時間的に解析し、ペンストロークセルの数の時間的な変化量が特定の閾値以上となったときに、ペンストロークセルの数が最大となった時点の撮影画像の画像フレームを、保存すべき描画画像が書き込まれた画像フレームであるキーフレームとして取得するホワイトボードキャプチャシステムを開示する。

このホワイトボードキャプチャシステムは、ペンストロークセルの数が最大となったとき、すなわち、ホワイトボードに書き込まれた描画画像の量が最大となったときの画像フレームをキーフレームとして抽出する。また、当該ホワイトボードキャプチャシステムは、ペンストロークセルの数の変化量が特定の閾値以上になったときにのみ画像フレームを取得することにより、人物等の前景オブジェクトが撮影画像に映ることによって生じるペンストローク数の変動による不要な画像フレームの取得を防止する。

しかしながら、特許文献１に示すホワイトボードキャプチャシステムは、前景オブジェクトによってペンストロークの数が変動し、その変化量が所定の閾値を超えた場合には、本来キーフレームではない画像フレームをキーフレームとして取得してしまうという問題があった。また、ホワイトボードに書き込まれた描画画像を消した場合に、その消された描画画像によるペンストロークの数の変化量が所定の閾値よりも少ないときには、本来キーフレームとして取得すべき画像フレームが取得されないという問題もあった。

本発明は上記の課題を解決するものであり、キーフレームの抽出精度を向上させ、本来出力すべきキーフレームのみを確実に抽出可能な画像処理装置、画像処理システム、データ処理方法、プログラムおよび記録媒体を提供することを目的とする。

本発明の画像処理装置は、撮影画像を構成する複数の画像フレームから前景オブジェクトが含まれる画像フレームを検出する前景オブジェクト検出手段と、複数の画像フレームを、同一の描画画像を有し、且つ前景オブジェクトが含まれない画像フレーム群にグループ化して、画像フレーム群の代表フレームを決定するグループ化手段と、表示装置に表示すべき画像フレームであるキーフレームを代表フレームから決定するキーフレーム決定手段とを含み、当該キーフレームを表示装置に出力する。これにより、前景オブジェクトが含まれた不要なキーフレームを出力せず、また、キーフレームを確実に取得することができる。

本発明によれば、キーフレームの抽出精度を向上させ、本来出力すべきキーフレームのみを確実に抽出可能な画像処理システム、データ処理方法、プログラムおよび記録媒体を提供することができる。

本実施形態の画像処理システム１００を示した図。 本実施形態の画像処理装置１３０の機能構成２００を示す図。 本実施形態の画像処理装置１３０が実行する処理を示すフローチャート。 本実施形態の画像処理装置１３０が実行する処理を示す概念図。 本実施形態の画像処理装置１３０が実行する前景オブジェクト検出処理を示すフローチャート。 本実施形態の画像処理装置１３０が実行するグループ化処理を示すフローチャート。 本実施形態の画像処理装置１３０が実行するキーフレーム決定処理を示すフローチャート。 本実施形態の画像処理装置１３０に含まれる画像管理データベース２２２に登録されるデータテーブルの実施形態を示す図。 本実施形態の画像処理装置１３０に含まれる画像管理データベース２２２に登録されるデータテーブルの他の実施形態を示す図。 本実施形態の画像処理装置１３０に含まれる画像管理データベース２２２に登録されるデータテーブルのさらに他の実施形態を示す図。

以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。

図１は、本実施形態の画像処理システム１００を示す。画像処理システム１００は、描画対象物１１０と、撮影装置１２０と、画像処理装置１３０とを含む。

描画対象物１１０は、ユーザが文字や図形等を描画または掲示可能なホワイトボードや黒板、紙等の物品である。図１に示す描画対象物１１０には、ユーザが描画した文字や数字、図形等の画像である描画画像１１２が描かれている。

撮影装置１２０は、描画対象物１１０を撮影して撮影画像を生成する装置である。本実施形態では、動画撮影が可能なデジタルビデオカメラを撮影装置１２０として採用することができ、撮影装置１２０は、描画対象物１１０の撮影対象領域１３２を撮影して得られた撮影画像を構成する一連の画像フレームを画像処理装置１３０に連続して提供する。

本実施形態の画像処理システム１００では、画像処理装置１３０と撮影装置１２０とが、ＵＳＢケーブル等により直接的に接続されているが、他の実施形態では、ＬＡＮ等のネットワークを介して相互接続してもよい。

画像処理装置１３０は、撮影装置１２０から提供される撮影画像の画像フレームを処理して、出力すべき描画画像を含む画像フレームであるキーフレームを抽出し、画像処理装置１３０の表示装置等に出力して表示させる装置である。本実施形態では、画像処理装置１３０は、ノート型やデスクトップ型等のパーソナルコンピュータを採用することができる。

画像処理装置１３０は、ＰＥＮＴＩＵＭ（登録商標）プロセッサまたは互換プロセッサを搭載し、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＭＡＣ（登録商標）ＯＳ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などのＯＳの管理下で、アセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを実行する。また、画像処理装置１３０は、本発明のプログラムを実行するための実行空間を提供するＲＡＭ、プログラムやデータなどを持続的に保持するためのハードディスク装置（ＨＤＤ）などを含んでおり、本発明のプログラムを実行することにより、本実施形態の各機能手段を画像処理装置上に実現する。

さらに、画像処理装置１３０は、撮影装置１２０等の周辺装置に接続可能なインタフェースを備えており、当該インタフェースを介して周辺装置と撮影画像の送受信等のデータ通信を行うことができる。

本発明のプログラムは、ＨＤＤ、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

図２は、本実施形態の画像処理装置１３０の機能構成２００を示す。画像処理装置１３０は、画像受信部２１０と、前景オブジェクト検出部２１２と、グループ化部２１４と、キーフレーム決定部２１６と、画像出力部２１８と、画像データバッファ２２０と、画像管理データベース２２２と、を含む。

画像受信部２１０は、撮影装置１２０が提供する撮影画像を受信する機能手段である。画像受信部２１０は、撮影画像２３０を受信すると、当該撮影画像を構成する画像フレームに、当該画像フレームを固有に識別可能な情報である画像フレーム識別情報を付加して、画像データバッファ２２０にＦＩＦＯ（First In First Out）方式で格納する。本実施形態では、画像受信部２１０は、撮影画像を受信して一定時間が経過すると、撮影画像を受信した旨を前景オブジェクト検出部２１２に通知する。他の実施形態では、画像受信部２１０は、一定数の画像フレームを受信した後、撮影画像を受信した旨を前景オブジェクト検出部２１２に通知してもよい。

前景オブジェクト検出部２１２は、撮影画像を構成する一連の画像フレームから、前景オブジェクトが含まれる画像フレームを検出する機能手段である。前景オブジェクト検出部２１２は、画像受信部２１０から撮影画像を受信した旨の通知を受信すると、画像データバッファ２２０に格納された画像フレームをＦＩＦＯ方式で取得する。

本実施形態では、前景オブジェクト検出部２１２は、画像データバッファ２２０から取得した画像フレームに対して透視投影変換を施して、台形補正や縦横比の補正、回転補正等の画像補正することができる。この場合、前景オブジェクト検出部２１２は、画像補正した画像フレームを画像データバッファ２２０に保存する。

前景オブジェクト検出部２１２は、画像データバッファ２２０から連続する２の画像フレームを取得すると、当該２の画像フレームの比較領域について、輝度値の差の絶対値である差分または色空間上での距離尺度の差分を算出する。

本実施形態では、前景オブジェクト検出部２１２は、撮影装置１２０から取得した画像フレームを使用して、画像フレーム内の描画対象物１１０の領域を特定し、上記画像フレームの比較領域として使用することができる。具体的には、前景オブジェクト検出部２１２は、描画対象物１１０の輝度値と同等の輝度値を有する画像フレーム内の領域を、描画対象物１１０の領域として特定し、当該描画対象物の領域の座標位置を、画像フレームの比較領域として使用することができる。

本実施形態では、画像データバッファ２２０に最初に格納された画像フレームを使用して、描画対象物の領域を特定するが、他の実施形態では、画像データバッファ２２０に格納された複数の画像フレームを使用して、複数の描画対象物の領域を候補として算出し、最頻出の対象物の領域を画像フレームの比較領域として使用してもよい。

また、本実施形態では、描画対象物の輝度値を予め指定しておき、前景オブジェクト検出部２１２は、その輝度値を使用して描画対象物の領域を特定することができる。他の実施形態では、画像フレームに含まれる輝度値のうち最多の輝度値を描画対象物の輝度値として使用して、描画対象物の領域を特定することができる。

他の実施形態では、上記描画対象物の領域よりも小さな領域を画像フレームの比較領域とすることができる。例えば、描画対象物の領域の大きさをＬ×Ｈ（ピクセル）、座標位置を（０，０）、（Ｌ，０）、（０，Ｈ）、（Ｌ，Ｈ）とし、ｘ軸、ｙ軸方向の差分値をそれぞれａ、ｂとすると、比較領域の座標位置は、（ａ，ｂ）、（Ｌ−２ａ，ｂ）、（ａ，Ｈ−２ｂ）、（Ｌ−２ａ，Ｈ−２ｂ）となる。前景オブジェクト検出部２１２は、上述のように算出した描画対象物の領域の座標位置を使用して、比較領域の座標位置を算出することができる。

さらに他の実施形態では、画像フレームの全領域を比較領域とすることもできる。

前景オブジェクト検出部２１２は、２の画像フレームの比較領域について差分を算出すると、画像フレームの全画素数に対する、当該差分の絶対値が閾値を超えている画素数の割合である差分の変化率を算出する。前景オブジェクト検出部２１２は、当該差分の変化率が閾値を超えると判断した場合には、当該２の画像フレームの一方に前景オブジェクトが含まれると判断する。そして、前景オブジェクト検出部２１２は、当該２の画像フレームの平均輝度値を算出して、いずれの画像フレームに前景オブジェクトが存在するか判断する。

描画対象物１１０がホワイトボード等である実施形態では、差分を算出した２の画像フレームのうち平均輝度値が低い方の画像フレームに前景オブジェクトが存在すると判断することができる。描画対象物１１０が黒板等である実施形態では、差分を算出した２の画像フレームのうち平均輝度値が高い方の画像フレームに前景オブジェクトが存在すると判断することができる。さらに他の実施形態では、差分を算出した２の画像フレームのうち、その平均輝度値と描画対象物１１０の平均輝度値との差分が大きい方の画像フレームに前景オブジェクトが存在すると判断することができる。本実施形態では、積分画像等を用いて、画像フレームの平均輝度値を算出することができる。

さらに他の実施形態では、前景オブジェクト検出部２１２は、画像データバッファ２２０から取得した画像フレームから動きベクトルを検出して、前景オブジェクトを検出してもよい。

前景オブジェクト検出部２１２は、画像データバッファ２２０から取得した画像フレームに付加されている画像フレーム識別情報を、画像管理データベース２２２の画像管理テーブルに登録し、前景オブジェクトが存在する旨の情報を、前景オブジェクトが存在すると判断した画像フレームの画像フレーム識別情報に関連付けて当該画像管理テーブルに登録することにより、前景オブジェクトの有無を管理する。

前景オブジェクト検出部２１２は、画像データバッファ２２０に格納された総ての画像フレームについて前景オブジェクトの検出処理を終了すると、その旨をグループ化部２１４に通知する。

グループ化部２１４は、前景オブジェクトが含まれない画像フレームに対して、同一の描画画像を有する画像フレームをグループ化する機能手段である。グループ化部２１４は、前景オブジェクト検出部２１２から前景オブジェクトの検出処理が終了した旨の通知を受信すると、画像データバッファ２２０から画像フレームをＦＩＦＯ方式で取得し、同一の描画画像を有する画像フレーム群を代表する画像フレームである代表フレームと、画像データバッファ２２０の画像フレームとを順次比較して、画像フレームのグループ化を行う。本実施形態では、グループ化部２１４は、テンプレートマッチング等を用いて画像フレームの比較を行い、当該代表フレームと当該画像フレームが同一である場合には、当該画像フレームが当該代表フレームと同一のグループに属すると判断する。

グループ化部２１４は、グループ化処理の結果として、画像フレームが属する画像フレーム群であるグループを固有に識別する情報（以下、グループ固有識別情報として参照する。）と、代表フレームであることを指定する情報（以下、代表フレーム指定情報として参照する。）とを、画像フレーム識別情報に関連付けて、画像管理データベース２２２の画像管理テーブルに登録する。また、グループ化部２１４は、画像フレームのグループ化処理が終了すると、その旨をキーフレーム決定部２１６に通知する。

キーフレーム決定部２１６は、グループ化された画像フレーム群の各代表フレームからキーフレームを決定する機能手段である。キーフレーム決定部２１６は、グループ化部２１４から画像フレームのグループ化処理が終了した旨の通知を受信すると、画像管理データベース２２２を参照し、画像データバッファ２２０から同一の画像フレーム群に属する画像フレームをＦＩＦＯ方式で取得する。そして、キーフレーム決定部２１６は、これらの画像フレームに含まれる描画画像を構成する画素の数である描画画像量を算出し、連続する３つの画像フレーム群の描画画像量を使用してキーフレームを判断する。

本実施形態では、キーフレーム決定部２１６は、前景オブジェクト検出部２１２が特定した描画対象物１１０の領域について、輝度値が所定の閾値以下となる画素数をカウントし、画像フレーム群の描画画像量を算出する。本実施形態では、キーフレーム決定部２１６は、同一の画像フレーム群に含まれる複数の画像フレームを使用して描画画像量を算出し、その平均値、中央値または最頻値を、当該画像フレーム群の描画画像量とすることができる。これにより、光源の変更や画像の揺らぎ、描画対象物または撮影装置の振動等に起因する画像フレーム群間の描画画像量の増減によるキーフレームの誤検出を抑制することができ、キーフレームの検出精度を向上させることができる。

また、キーフレーム決定部２１６は、描画画像量を算出する場合、前景オブジェクト検出部２１２がＲＡＭやＨＤＤ等の記憶装置に保存した描画対象物１１０の領域の位置情報を読み出して、描画画像量を算出すべき画像フレームの領域を特定することができる。

他の実施形態では、キーフレーム決定部２１６は、前景オブジェクト検出部２１２が画像フレームに対して透視投影変換を施さない場合、キーフレームに対して透視投影変換を施して、台形補正や縦横比の補正、回転補正等の画像補正することができる。この場合、キーフレーム決定部２１６は、画像補正したキーフレームを画像データバッファ２２０に保存する。

キーフレーム決定部２１６は、キーフレーム決定処理の結果として、キーフレームであることを示す情報を当該キーフレームの画像フレーム識別情報に関連付けて、画像管理データベース２２２の画像管理テーブルに登録する。また、キーフレーム決定部２１６は、キーフレーム決定処理が終了すると、その旨を画像出力部２１８に通知する。

画像出力部２１８は、キーフレームを表示装置に出力して表示させる機能手段である。画像出力部２１８は、キーフレーム決定部２１６からキーフレーム決定処理が終了した旨の通知を受信すると、画像管理データベース２２２を参照し、キーフレームの画像フレーム識別情報を取得する。そして、画像出力部２１８は、当該画像フレーム識別情報が示すキーフレームを画像データバッファ２２０からＦＩＦＯ方式で取得し、出力画像２４０として表示装置に送信して表示させる。

本実施形態では、画像出力部２１８は、画像処理装置１３０の表示装置にキーフレームを表示させるが、他の実施形態では、画像出力部２１８は、ネットワークを介して接続されたパーソナルコンピュータ等の情報処理装置の表示装置にキーフレームを表示させてもよい。

図３は、本実施形態の画像処理装置１３０が実行する処理を示すフローチャートである。図３は、本実施形態のプログラムが起動することによりステップＳ３００で開始する。ステップＳ３０１では、画像受信部２１０が撮影装置１２０から撮影画像を構成する画像フレームを受信したか否か判断し、画像フレームを受信していないと判断した場合には（ｎｏ）、ステップＳ３０１の処理を反復させる。一方、画像フレームを受信したと判断した場合には（ｙｅｓ）、処理をステップＳ３０２に分岐させる。

ステップＳ３０２では、画像受信部２１０が、ステップＳ３０１で受信した画像フレームに画像フレーム識別情報を付加して、画像データバッファ２２０に格納する。ステップＳ３０３では、最初に画像フレームを受信した時点から一定時間が経過しているか否か判断し、一定時間が経過していない場合には（ｎｏ）、処理をステップＳ３０１に分岐させ、ステップＳ３０１〜Ｓ３０３の処理を反復させる。

本実施形態では、画像処理装置１３０は、画像受信部２１０が画像フレームを最初に受信したときに、画像処理装置１３０のＯＳが管理するタイマー関数等を起動させ、画像フレームを画像データバッファ２２０に格納した後、当該タイマー関数が計測した時間を使用して、一定時間が経過しているか判断することができる。これにより、当該一定時間内に受信した一連の画像フレームに対して、後述する処理を実行することができる。なお、本実施形態では、当該一定時間は任意の時間とすることができる。

他の実施形態では、画像受信部２１０は、撮影装置から受信した画像フレームの数をカウントし、その数が一定数を超えたときに、ステップＳ３０４の処理を実行するようにしてもよい。これにより、一定数の画像フレームに対して、後述する処理を実行することができる。なお、本実施形態では、当該一定数は任意の数とすることができる。

一方、ステップＳ３０３の判定で一定時間が経過したと判断した場合には（ｙｅｓ）、処理をステップＳ３０４に分岐させる。ステップＳ３０４では、前景オブジェクト検出部２１２が、撮影装置１２０から受信した画像フレームに対して、図５を参照して説明する前景オブジェクトの検出処理を実行する。ステップＳ３０５では、グループ化部２１４が、図６を参照して説明するグループ化処理を実行する。ステップＳ３０６では、キーフレーム決定部２１６が、図７を参照して説明するキーフレーム決定処理を実行する。

ステップＳ３０７では、画像出力部２１８が、ステップＳ３０６の処理で決定したキーフレームを表示装置に表示させる。そして、画像処理装置１３０は、処理をステップＳ３０１に戻し、次の一連の画像フレームに対して、上述した処理を実行する。

図４は、本実施形態の画像処理装置１３０が、撮影装置１２０から受信した一連の画像フレームに対して施す前景オブジェクト検出処理、グループ化処理およびキーフレーム決定処理を示す概念図である。以下、図４を参照して、前景オブジェクト検出処理、グループ化処理およびキーフレーム決定処理について概説する。

図４には、前景オブジェクトの検出処理が施される前の画像フレーム群４１０と、グループ化処理により前景オブジェクトが排除された画像フレーム群４３０と、グループ化処理によりグループ化された画像フレーム群４４０と、キーフレーム決定処理により抽出されたキーフレームから成る画像フレーム群４５０とが示されている。

画像フレーム群４１０に含まれる画像フレーム４１１〜４２０は、それぞれ撮影装置１２０から受信した画像フレームであり、画像フレーム４１１から順に時系列に示されている。画像フレーム４１１は、描画対象物に描画画像が書き込まれていない画像フレームである。画像フレーム４１２，４１５，４１８は、前景オブジェクトが含まれる画像フレームである。画像フレーム４１３，４１４，４１６，４１７，４１９，４２０は、描画対象物に描画画像が書き込まれた画像フレームである。

図４に示す実施形態では、画像フレーム４１２に含まれる前景オブジェクトであるユーザが描画対象物に描画画像である文字列「あい」を書き込み、描画対象物は、画像フレーム４１３，４１４に示す状態になる。その後、画像フレーム４１５に含まれる前景オブジェクトであるユーザが文字「い」を消去して、描画対象物は、画像フレーム４１６，４１７に示す状態になる。さらに、画像フレーム４１８に含まれる前景オブジェクトであるユーザが描画画像である文字列「かさ」を書き込み、描画対象物は、画像フレーム４１９，４２０に示す状態になる。

画像フレーム群４１０に対して前景オブジェクトの検出処理が実行されると、前景オブジェクトを含む画像フレーム４１２，４１５，４１８が検出される。そして、後続のグループ化処理において、前景オブジェクトが含まれない画像フレームで構成される画像フレーム群４３０に対してグループ化処理が実行され、画像フレーム群４４０に示すように、画像フレームが、同一の描画画像を有する画像フレームで構成される第１のグループ（ｎ番目のグループ）、第２のグループ（ｎ＋１番目のグループ）および第３のグループ（ｎ＋２番目のグループ）にグループ化される。そして、画像フレーム群４４０に対してキーフレーム決定処理が実行されると、グループ化された画像フレームから、画像フレーム群４５０に示すキーフレーム４１３，４１９が抽出される。

図５は、本実施形態の画像処理装置１３０が実行する前景オブジェクト検出処理を示すフローチャートである。以下、図５を参照して、画像処理装置１３０の前景オブジェクト検出部２１２が実行する前景オブジェクト検出処理について詳細に説明する。

図５の処理は、前景オブジェクト検出部２１２が画像受信部２１０から撮影画像を受信した旨の通知を受信することにより、ステップＳ５００から開始する。ステップＳ５０１では、前景オブジェクト検出部２１２は、画像データバッファ２２０に最初に格納された画像フレームを取得し、当該画像フレームの画像フレーム識別情報と、当該画像フレームのステータス情報として現在のフレームを示すステータス情報とを関連付けて画像管理データベース２２２に登録する。ステップＳ５０２では、前景オブジェクト検出部２１２は、画像管理データベース２２２を参照し、ステータス情報が現在のフレームとなっている画像フレームのステータス情報を、直前のフレームを示すステータス情報に変更する。ステップＳ５０３では、前景オブジェクト検出部２１２は、画像データバッファ２２０から次の画像フレームを取得し、当該画像フレームのステータス情報として、現在のフレームを示すステータス情報を画像管理データベース２２２に登録する。ステップＳ５０４では、前景オブジェクト検出部２１２は、直前フレームの比較領域と現在のフレームの比較領域との差分を算出し、差分の変化率を算出する。

ステップＳ５０５では、前景オブジェクト検出部２１２は、差分の変化率が閾値を超えるか否か判断し、当該変化率が閾値を超える場合には（ｙｅｓ）、処理をステップＳ５０６に分岐させる。一方、当該変化率が閾値を超えない場合には（ｎｏ）、処理をステップＳ５０８に分岐させる。本実施形態では、当該閾値は、０〜１までの任意の値を設定することができるが、描画対象物の大きさや前景オブジェクトの大きさに応じて、トライアンドエラーで得られた変化率をもとに、当該閾値を設定することが好適である。

ステップＳ５０６では、前景オブジェクト検出部２１２は、現在の画像フレームおよび直前の画像フレームの平均輝度値を算出し、いずれの画像フレームに前景オブジェクトが含まれるかを特定する。ステップＳ５０７では、前景オブジェクト検出部２１２は、ステップＳ５０６で特定した画像フレームに前景オブジェクトが存在することを示す情報を画像管理データベース２２２に登録する。

ステップＳ５０８では、前景オブジェクト検出部２１２は、前景オブジェクトの検出処理がされていない画像フレームが画像データバッファ２２０に存在するか否か判断する。本実施形態では、前景オブジェクトの検出処理が実行されていない画像フレームが画像データバッファ２２０に存在するか否か判断することにより、前景オブジェクト検出処理を実行すべき画像フレームが存在するか否か判断することができる。具体的には、例えば、処理すべき画像フレームが格納されているアドレスを指定するポインタを、次の画像フレームが格納されるアドレスを指定するように、順次インクリメントさせることにより実現できる。

ステップＳ５０８の判定で、処理すべき画像フレームが存在すると判断した場合には（ｙｅｓ）、ステップＳ５０２〜ステップＳ５０７の処理を反復させる。一方、当該画像フレームが存在しない場合には（ｎｏ）、処理をステップＳ５０９に分岐させ、前景オブジェクトの検出処理が終了した旨をグループ化部２１４に通知し、ステップＳ５１０で処理を終了させる。

図６は、本実施形態の画像処理装置１３０が実行するグループ化処理を示すフローチャートである。以下、図６を参照して、画像処理装置１３０のグループ化部２１４が実行するグループ化処理について詳細に説明する。

図６の処理は、グループ化部２１４が前景オブジェクト検出部２１２から前景オブジェクトの検出処理が終了した旨の通知を受信することにより、ステップＳ６００から開始する。ステップＳ６０１では、グループ化部２１４が、画像データバッファ２２０からＦＩＦＯ方式で１の画像フレームを取得する。ステップＳ６０２では、グループ化部２１４は、画像管理データベース２２２を参照して、ステップＳ６０１で取得した画像フレームに前景オブジェクトが存在するか否か判断し、前景オブジェクトが含まれる場合には（ｙｅｓ）、ステップＳ６０１およびＳ６０２の処理を反復させる。一方、前景オブジェクトが含まれない場合には（ｎｏ）、処理をステップＳ６０３に分岐させ、グループ化部２１４は、代表フレーム指定情報およびグループ識別情報を、当該画像フレームの画像フレーム識別情報に関連付けて画像管理データベース２２２に登録する。

ステップＳ６０４では、グループ化部２１４が、画像データバッファ２２０から次の画像フレームを取得し、当該画像フレームのステータス情報として、現在のフレームを示すステータス情報を画像管理データベース２２２に登録する。ステップＳ６０５では、グループ化部２１４は、画像管理データベース２２２を参照し、現在の画像フレームに前景オブジェクトが存在するか否か判断する。現在のフレームに前景オブジェクトが存在する場合には（ｙｅｓ）、ステップＳ６０４およびＳ６０５の処理を反復させる。一方、現在のフレームに前景オブジェクトが存在しない場合には（ｎｏ）、処理をステップＳ６０６に分岐させる。

ステップＳ６０６では、グループ化部２１４は、画像管理データベース２２２を参照し、直前のフレームに前景オブジェクトが存在するか否か判断する。直前のフレームに前景オブジェクトが存在する場合には（ｙｅｓ）、処理をステップＳ６０７に分岐させ、一方、直前のフレームに前景オブジェクトが存在しない場合には（ｎｏ）、処理をステップＳ６０８に分岐させる。

ステップＳ６０７では、グループ化部２１４は、代表フレームの描画画像と現在のフレームの描画画像とが同一であるか否か判断し、これらの描画画像が同一であると判断した場合には（ｙｅｓ）、処理をステップＳ６０８に分岐させる。ステップＳ６０８では、グループ化部２１４は、現在のフレームのグループ識別情報として、代表フレームと同一のグループ識別情報を画像管理データベース２２２に登録する。

一方、ステップＳ６０７の判定で、代表フレームの描画画像と現在のフレームの描画画像とが相違すると判断した場合には（ｎｏ）、処理をステップＳ６０９に分岐させる。ステップＳ６０９では、グループ化部２１４は、現在のフレームのグループ識別情報および代表フレーム指定情報として、次のグループのグループ識別情報および代表フレーム指定情報を画像管理データベース２２２に登録する。

ステップＳ６１０では、グループ化部２１４は、グループ化すべき画像フレームが画像データバッファ２２０に存在するか否か判断する。本実施形態では、グループ化処理が実行されていない画像フレームが画像データバッファ２２０に存在するか否か判断することにより、グループ化すべき画像フレームが存在するか否か判断することができる。具体的には、例えば、グループ化処理を実行すべき画像フレームが格納されているアドレスを指定するポインタを、次の画像フレームが格納されるアドレスを指定するように、順次インクリメントさせることにより実現できる。

ステップＳ６１０の判定で、画像フレームが存在すると判断した場合には（ｙｅｓ）、ステップＳ６０４〜ステップＳ６０９の処理を反復させる。一方、グループ化すべき画像フレームが存在しない場合には（ｎｏ）、処理をステップＳ６１１に分岐させ、画像フレームのグループ化処理が終了した旨をグループ化部２１４に通知し、ステップＳ６１２で処理を終了させる。

図７は、本実施形態の画像処理装置１３０が実行するキーフレーム決定処理を示すフローチャートである。以下、図７を参照して、画像処理装置１３０のキーフレーム決定部２１６が実行するキーフレーム決定処理について詳細に説明する。

図７の処理は、キーフレーム決定部２１６がグループ化部２１４からグループ化処理が終了した旨の通知を受信することにより、ステップＳ７００から開始する。ステップＳ７０１では、キーフレーム決定部２１６は、画像管理データベース２２２を参照し、各画像フレームグループに含まれる画像フレームを画像データバッファ２２０から取得して、各画像フレームグループの描画画像量を算出し、画像管理データベース２２２に登録する。ステップＳ７０２では、キーフレーム決定部２１６は、第１のグループ、第２のグループ、第３のグループの代表フレームのステータス情報として、直前フレーム、現在のフレーム、直後フレームを示すステータス情報を画像管理データベース２２２に登録する。

ステップＳ７０３では、キーフレーム決定部２１６は、画像管理データベース２２２を参照し、現在の画像フレームが属する画像フレームグループの描画画像量が直前フレームまたは直後フレームが属する画像フレームグループの描画画像量よりも大きいか否か判断する。ステップＳ７０３の判定で、現在の画像フレームが属する画像フレームグループの描画画像量が直前フレームまたは直後フレームが属する画像フレームグループの描画画像量よりも大きい場合には（ｙｅｓ）、処理をステップＳ７０４に分岐させる。一方、現在の画像フレームが属する画像フレームグループの描画画像量が、直前フレームまたは直後フレームが属する画像フレームグループの描画画像量以下である場合には（ｎｏ）、ステップＳ７０２およびＳ７０３の処理を反復させる。

ステップＳ７０４では、キーフレーム決定部２１６は、現在のフレームがキーフレームであることを示す情報を画像管理データベース２２２に登録する。ステップＳ７０５では、キーフレーム決定部２１６は、画像管理データベース２２２を参照して、処理すべき代表フレームが存在するか否か判断する。本実施形態では、未だステータス情報が設定されていない代表フレームが画像管理データベース２２２に存在するか否か判断することにより、次に処理すべき代表フレームが存在するか否か判断することができる。

ステップＳ７０５の判定で処理すべき代表フレームが存在すると判断した場合には（ｙｅｓ）、処理をステップＳ７０６に分岐させる。ステップＳ７０６では、キーフレーム決定部２１６が、現在のフレーム、直後フレーム、直後フレームの次の代表フレームのステータス情報を、直前フレーム、現在のフレーム、直後フレームとして画像管理データベース２２２に登録し、ステップＳ７０２〜Ｓ７０５の処理を反復させる。一方、ステップＳ７０５の判定で処理すべき代表フレームが存在しないと判断した場合には（ｎｏ）、処理をステップＳ７０７に分岐させ、画像出力部２１８にキーフレームの決定処理が終了した旨を通知し、ステップＳ７０８で処理を終了させる。

本実施形態では、前景オブジェクトが含まれていない画像フレームから代表フレームを決定し、当該代表フレームからキーフレームを決定するため、前景オブジェクトが含まれた不要なキーフレームを排除することができ、キーフレームの取得処理の精度を向上させ、本来取得すべきキーフレームのみを確実に取得できる。

図８は、本実施形態の画像処理装置１３０に含まれる画像管理データベース２２２に登録される画像管理テーブルの実施形態を示す図である。以下、図８を参照して、前景オブジェクトの検出処理時の画像管理テーブル８００について説明する。

画像管理テーブル８００は、画像フレーム識別情報８１０と、ステータス情報８２０と、前景オブジェクト８３０と、グループ識別情報８４０と、代表フレーム８５０と、キーフレーム８６０と、描画画像量８７０とが登録されるレコードを含む。画像フレーム識別情報８１０は、画像処理装置１３０が撮影装置１２０から取得した画像フレームに割り当てられた画像フレーム識別情報が登録されるレコードである。図８に示す実施形態では、画像フレーム識別情報として「frame_001」等の文字および数字の結合が登録されているが、他の実施形態では、画像フレームを固有に識別できる限り、その他の文字列もしくは数字列またはこれらの結合等を画像フレーム識別情報として使用することができる。

ステータス情報８２０は、前景オブジェクトの検出処理における画像フレームのステータス情報が登録されるレコードである。前景オブジェクトの検出処理では、直前のフレームおよび現在のフレームを示すステータス情報がステータス情報８２０に登録される。図８に示す実施形態では、ステータス情報として、直前のフレームを示すステータス情報である「Pre_frame」と、現在のフレームを示すステータス情報である「Current_frame」とが、画像フレーム識別情報に関連付けて登録される。他の実施形態では、その他の文字列もしくは数字列またはこれらの結合等をステータス情報として使用することができる。

前景オブジェクト８３０は、画像フレームに前景オブジェクトが含まれるか否かを示す情報が登録されるレコードである。図８に示す実施形態では、前景オブジェクトが含まれることを示す情報である「ＴＲＵＥ」および前景オブジェクトが含まれないことを示す情報である「ＦＡＬＳＥ」が、画像フレーム識別情報に関連付けて登録される。他の実施形態では、その他の文字列もしくは数字列またはこれらの結合等を使用して、前景オブジェクトの有無を指定することができる。

図９は、本実施形態の画像処理装置１３０に含まれる画像管理データベース２２２に登録される画像管理テーブルの他の実施形態を示す図である。図９に示す画像管理テーブル９００は、図８に示す画像管理テーブル８００を使用して、画像フレームのグループ化処理を実行した場合の画像管理テーブルである。以下、図９を参照して、画像管理デーブル９００について、画像管理テーブル８００との相違点を中心に説明する。

画像管理テーブル９００は、画像管理テーブル８００と同様に、画像フレーム識別情報９１０と、ステータス情報９２０と、前景オブジェクト９３０と、グループ識別情報９４０と、代表フレーム９５０と、キーフレーム９６０と、描画画像量９７０とが登録されるレコードを含む。

グループ識別情報９４０は、グループ化処理において、画像フレームの属するグループのグループ識別情報が登録されるレコードである。図９に示す実施形態では、グループ識別情報「group_0001」、「group_0002」、「group_0003」、「group_0004」等が、画像フレーム識別情報に関連付けて登録される。他の実施形態では、画像フレームのグループを固有に識別できる限り、グループ識別情報として、その他の文字列もしくは数字列またはこれらの結合等を使用することができる。なお、本実施形態では、当該レコードの初期値として「ＮＵＬＬ」が使用される。

代表フレーム９５０は、グループ化処理において、関連する画像フレームが、当該画像フレームの属するグループの代表フレームであるか否かを示す代表フレーム指定情報が登録されるレコードである。図９に示す実施形態では、代表フレームであることを示す代表フレーム指定情報である「ＴＲＵＥ」と、代表フレームでないことを示す代表フレーム指定情報である「ＦＡＬＳＥ」とが、画像フレーム識別情報に関連付けて登録される。他の実施形態では、代表フレーム指定情報として、その他の文字列もしくは数字列またはこれらの結合等を使用することができる。なお、本実施形態では、当該レコードの初期値として「ＮＵＬＬ」が使用される。

図１０は、本実施形態の画像処理装置１３０に含まれる画像管理データベース２２２に登録される画像管理テーブルのさらに他の実施形態を示す図である。図１０に示す画像管理テーブル１０００は、図９に示す画像管理テーブル９００を使用して、キーフレーム決定処理を実行した場合の画像管理テーブルである。以下、図１０を参照して、画像管理デーブル１０００について、画像管理テーブル８００および９００との相違点を中心に説明する。

画像管理テーブル１０００は、画像管理テーブル８００および９００と同様に、画像フレーム識別情報１０１０と、ステータス情報１０２０と、前景オブジェクト１０３０と、グループ識別情報１０４０と、代表フレーム１０５０と、キーフレーム１０６０と、描画画像量１０７０とが登録されるレコードを含む。

ステータス情報１０２０は、キーフレーム決定処理における画像フレームのステータス情報が登録されるレコードである。キーフレーム決定処理では、直前のフレーム、現在のフレームおよび直後のフレームを示すステータス情報がステータス情報１０２０に登録される。図１０に示す実施形態では、ステータス情報として、直前のフレームを示すステータス情報である「Pre_frame」と、現在のフレームを示すステータス情報である「Current_frame」と、直後のフレームを示すステータス情報である「Post_frame」とが、画像フレーム識別情報に関連付けて登録される。他の実施形態では、その他の文字列もしくは数字列またはこれらの結合等をステータス情報として使用することができる。

キーフレーム１０６０は、キーフレーム決定処理において、キーフレームであるか否かを示す情報が登録されるレコードである。図１０に示す実施形態では、キーフレームであることを示す「ＴＲＵＥ」およびキーフレームでないことを示す「ＦＡＬＳＥ」が、画像フレーム識別情報に関連付けて登録される。他の実施形態では、その他の文字列もしくは数字列またはこれらの結合等を使用して、代表フレームを指定することができる。なお、本実施形態では、当該レコードの初期値として「ＮＵＬＬ」が使用される。

描画画像量１０７０は、キーフレーム決定処理において、画像フレーム群の描画画像量が登録されるレコードである。図１０に示す実施形態では、画像フレーム群の描画画像量が、当該代表フレームの画像フレーム識別情報に関連付けて登録される。

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…画像処理システム、１１０…描画対象物、１１２…描画画像、１２０…撮影装置、１３０…画像処理装置、１３２…撮影対象領域、２００…機能構成、２１０…画像受信部、２１２…前景オブジェクト検出部、２１４…グループ化部、２１６…キーフレーム決定部、２１８…画像出力部、２２０…画像データバッファ、２２２…画像管理データベース、２３０…撮影画像、２４０…出力画像

特開２００４−０８０７５０号公報

Claims (11)

1. 撮影画像を処理する画像処理装置であって、
   前記画像処理装置は、
   撮影画像を構成する複数の画像フレームから前景オブジェクトが含まれる画像フレームを検出する前景オブジェクト検出手段と、
   前記前景オブジェクトが含まれてない前記複数の画像フレームのうち、同一の描画画像を含む画像フレームを画像フレーム群としてグループ化し、当該画像フレーム群から代表する画像フレームである代表フレームを決定するグループ化手段と、
   前記代表フレームからキーフレームを決定するキーフレーム決定手段と
   を含み、
   前記キーフレーム決定手段は、連続する３つ画像フレーム群の描画画像量を算出して、当該描画画像量の大きい画像フレームをキーフレームとすることを特徴とする画像処理装置。
2. 前記画像処理装置は、
   前記撮影画像を構成する複数の画像フレームが格納される画像データバッファと、
   前記画像フレームを管理するための画像管理データベースと、
   前記キーフレームを前記表示装置に出力する出力手段とをさらに含み、
   前記画像管理データベースは、画像フレーム内の前景オブジェクトの有無を示す情報と、代表フレームであることを示す情報と、キーフレームであることを示す情報とが、画像フレームの識別情報に関連付けて登録され、
   前記出力手段は、前記画像管理データベースを参照し、前記キーフレームである画像フレームの識別情報が示す画像フレームを前記画像データバッファから取得して前記表示装置に出力する、請求項１に記載の画像処理装置。
3. 前記比較領域は、前記画像フレーム内の描画対象物の領域、前記描画対象物の領域よりも小さな領域、または前記画像フレームの全領域である、請求項１または２に記載の画像処理装置。
4. 前記前景オブジェクト検出手段は、前記画像フレームに透視投影変換を施す、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記キーフレーム決定手段は、前記キーフレームに透視投影変換を施す、請求項１〜３のいずれか１項に記載の画像処理装置。
6. 撮影画像を処理する画像処理システムであって、前記画像処理システムは、
   描画対象物を撮影して撮影画像を生成する撮影装置と、
   前記撮影画像を処理する画像処理装置とを含み、前記画像処理装置は、
   前記撮影画像を構成する複数の画像フレームから前景オブジェクトが含まれる画像フレームを検出する前景オブジェクト検出手段と、
   前記前景オブジェクトが含まれてない前記複数の画像フレームのうち、同一の描画画像を含む画像フレームを画像フレーム群としてグループ化し、当該画像フレーム群から代表する画像フレームである代表フレームを決定するグループ化手段と、
   前記代表フレームからキーフレームを決定するキーフレーム決定手段と
   を含み、
   前記キーフレーム決定手段は、連続する３つ画像フレーム群の描画画像量を算出して、当該描画画像量の大きい画像フレームをキーフレームとすることを特徴とする画像処理システム。
7. 前記画像処理装置は、
   前記撮影画像を構成する複数の画像フレームが格納される画像データバッファと、
   前記画像フレームを管理するための画像管理データベースと、
   前記キーフレームを前記表示装置に出力する出力手段とをさらに含み、
   前記画像管理データベースは、画像フレーム内の前景オブジェクトの有無を示す情報と、代表フレームであることを示す情報と、キーフレームであることを示す情報とが、画像フレームの識別情報に関連付けて登録され、
   前記出力手段は、前記画像管理データベースを参照し、キーフレームである画像フレームの識別情報が示す画像フレームを前記画像データバッファから取得して、前記表示装置に出力する、請求項６に記載の画像処理システム。
8. 撮影画像を処理する画像処理装置が実行するデータ処理方法であって、前記データ処理方法は、前記画像処理装置が、
   撮影画像を構成する複数の画像フレームから前景オブジェクトが含まれる画像フレームを検出するステップと、
   前記前景オブジェクトが含まれてない前記複数の画像フレームのうち、同一の描画画像を含む画像フレームを画像フレーム群としてグループ化し、当該画像フレーム群から代表する画像フレームである代表フレームを決定するステップと、
   前記代表フレームからキーフレームを決定するステップと
   を含み、
   前記キーフレーム決定手段は、連続する３つ画像フレーム群の描画画像量を算出して、当該描画画像量の大きい画像フレームをキーフレームとするステップとを実行するデータ処理方法。
9. 前記画像処理装置は、
   前記撮影画像を構成する複数の画像フレームが格納される画像データバッファと、
   画像フレーム内の前景オブジェクトの有無を示す情報と、代表フレームであることを示す情報と、キーフレームであることを示す情報とが、画像フレームの識別情報に関連付けて登録される画像管理データベースとを含み、
   前記データ処理方法は、前記画像処理装置が、
   前記画像管理データベースを参照し、キーフレームである画像フレームの識別情報が示す画像フレームを前記画像データバッファから取得して、前記表示装置に出力するステップをさらに含む、請求項８に記載のデータ処理方法。
10. 画像処理装置に対して、請求項８または９のいずれか１項に記載のステップを実行させるためのコンピュータ実行可能なプログラム。
11. 請求項１０に記載されたプログラムを記録したコンピュータ可読な記録媒体。