JP4760947B2 - 画像処理装置、プログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に、複数の画像の中から一部の画像を抽出する技術に関する。

従来より、時系列的に連続する複数の画像の中から、被写体が動いている画像を抽出するデジタルカメラが知られている（特許文献１参照）。具体的には、連写撮影で得た複数の画像を時系列的に順番に読み出して、今回読み出した画像の前回読み出した画像からの変化量が所定値以上となると、今回読み出した画像を表示する。このようなデジタルカメラによれば、被写体の変化が大きく、被写体の動きの大きいシーンに対応する画像のみが抽出される。

特開２００８−７８８３７号公報

しかしながら、特許文献１に示されたデジタルカメラでは、時系列的に隣接する画像間の変化量が閾値以上になると画像を無条件に抽出するため、撮影状況が変化した場合に、被写体の動きの大きい画像群を適切に抽出できないという問題があった。例えば、被写体が静止していても、手ぶれや蛍光灯のフリッカが発生すると、画像間の変化量が大きくなる。この場合、特許文献１に示されたデジタルカメラでは、被写体自体は静止しているにもかかわらず、被写体に大きな動きがあると判断して画像を抽出してしまう。

そこで、本発明は、撮影状況によらず、複数の画像の中から被写体の動きの大きい一部の画像を精度よく抽出する画像処理装置、プログラムを提供することを目的とする。

本発明の第一の観点に係る画像処理装置は、
時系列的に連続する複数の画像を入力する画像入力手段と、
前記入力された複数の画像において、時系列的に隣接する画像間の被写体の動きによる変化量をそれぞれ算出する変化量算出手段と、
時系列において、前記複数の画像の全てが存在する全区間に含まれる第１の区間を順次変更しながら当該第１の区間を順次指定するとともに、前記全区間から順次指定された前記第１の区間を除いた区間である第２の区間を順次指定する区間指定手段と、
前記指定された第１の区間に存在する各画像から、前記変化量算出手段により算出された各第１の変化量に基づき第１の代表値を決定するとともに、前記指定された第２の区間に存在する各画像から、前記変化量算出手段により算出された各第２の変化量に基づき第２の代表値を決定する代表値決定手段と、
前記第１の区間が指定される度に前記各第１の変化量と前記第１の代表値との第１の乖離度をそれぞれ算出するとともに、前記第２の区間が指定される度に前記各第２の変化量と前記第２の代表値との第２の乖離度をそれぞれ算出する乖離度算出手段と、
前記算出された各第１の乖離度と各第２の乖離度との総和が最小になるとき、このとき前記区間指定手段により指定されていた第１の区間に存在する画像を抽出する画像抽出手段と
を備える。

本発明の第二の観点に係るプログラムは、
コンピュータを、
時系列的に連続する複数の画像を入力する画像入力手段、
前記入力された複数の画像において、時系列的に隣接する画像間の被写体の動きによる変化量をそれぞれ算出する変化量算出手段、
時系列において、前記複数の画像の全てが存在する全区間に含まれる第１の区間を順次変更しながら当該第１の区間を順次指定するとともに、前記全区間から順次指定された前記第１の区間を除いた区間である第２の区間を順次指定する区間指定手段、
前記指定された第１の区間に存在する各画像から、前記変化量算出手段により算出された各第１の変化量に基づき第１の代表値を決定するとともに、前記指定された第２の区間に存在する各画像から、前記変化量算出手段により算出された各第２の変化量に基づき第２の代表値を決定する代表値決定手段、
前記第１の区間が指定される度に前記各第１の変化量と前記第１の代表値との第１の乖離度をそれぞれ算出するとともに、前記第２の区間が指定される度に前記各第２の変化量と前記第２の代表値との第２の乖離度をそれぞれ算出する乖離度算出手段、
前記算出された各第１の乖離度と各第２の乖離度との総和が最小になるとき、このとき前記区間指定手段により指定されていた第１の区間に存在する画像を抽出する画像抽出手段、
として機能させる。

本発明によれば、撮影状況によらず、複数の画像の中から被写体の動きの大きい画像群を精度良く抽出できる。

本発明の第１施形態に係る画像処理装置のハードウェア構成図である。 本発明の第１施形態に係る画像処理装置の機能構成を示すブロック図である。 本発明の第１施形態における連写撮影処理の流れを示すフローチャートであるである。 本発明の第１施形態における撮影範囲と被写体との関係の一例を示す図である。 本発明の第１施形態における縮小画像配列および画像変化量配列を説明するための図である。 本発明の第１施形態における画像変化量算出処理の流れを示すフローチャートである。 本発明の第１施形態における孤立矩形状関数と画像変化量配列の一例を示す図である。 本発明の第１施形態における画像抽出処理のフローチャートである。 本発明の第１施形態における孤立矩形状関数の具体例を示す図である。 本発明の第１実施形態における孤立矩形状関数の具体例を示す図である。 本発明の第２実施形態に係る画像処理装置の機能構成を示すブロック図である。 本発明の第２実施形態における画像抽出処理の流れを示すフローチャートである。 本発明の第２実施形態における画像抽出処理における縮小画像配列および画像変化量配列の変化を説明するための図である。

〔第１実施形態〕
以下、本発明の第１実施形態を図面に基づいて説明する。
図１は、本発明の第１実施形態に係る画像処理装置１００のハードウェアの構成を示す図である。画像処理装置１００は、例えばデジタルカメラにより構成することができる。

画像処理装置１００は、光学レンズ装置１と、シャッタ装置２と、アクチュエータ３と、ＣＭＯＳセンサ４と、ＡＦＥ５と、ＴＧ６と、ＤＲＡＭ７と、ＤＳＰ８と、ＣＰＵ９と、ＲＡＭ１０と、ＲＯＭ１１と、液晶表示コントローラ１２と、液晶ディスプレイ１３と、操作部１４と、メモリカード１５と、を備える。

光学レンズ装置１は、フォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、被写体像をＣＭＯＳセンサ４の受光面に結像させるためレンズである。

シャッタ装置２は、ＣＭＯＳセンサ４へ入射する光束を遮断する機械式のシャッタとして機能するとともに、ＣＭＯＳセンサ４へ入射する光束の光量を調節する絞りとしても機能するものである。シャッタ装置２は、シャッタ羽根などから構成される。アクチュエータ３は、ＣＰＵ９による制御に従って、シャッタ装置２のシャッタ羽根を開閉させる。

ＣＭＯＳセンサ４は、光学レンズ装置１から入射された被写体像を光電変換（撮影）するイメージセンサである。ＣＭＯＳセンサ４は、ＴＧ６から供給されるクロックパルスに従って、一定時間毎に被写体像を光電変換して画像信号を蓄積し、蓄積した画像信号を順次出力する。ＣＭＯＳセンサ４は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のイメージセンサなどから構成される。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）５は、ＴＧ６から供給されるクロックパルスに従って、ＣＭＯＳセンサ４から供給された画像信号に対し、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理などの各種信号処理を施すことにより、ディジタル信号を生成して出力するものである。

ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）６は、ＣＰＵ９による制御に従って、一定時間毎にクロックパルスをＣＭＯＳセンサ４とＡＦＥ５とにそれぞれ供給するものである。

ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７は、ＡＦＥ５により生成されたディジタル信号や、ＤＳＰ８により生成される画像データを一時的に記憶するものである。

ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）８は、ＣＰＵ９による制御に従って、ＤＲＡＭ７に記憶されたディジタル信号に対し、ホワイトバランス補正処理、γ補正処理、ＹＣ変換処理などの各種画像処理を施すことにより、輝度信号と色差信号とでなるフレーム画像データを生成するものである。以下の説明においては、このフレーム画像データにより表現される画像をフレーム画像と呼ぶことにする。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９は、画像処理装置１００全体の動作を制御するものである。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０は、ＣＰＵ９が各処理を実行する際にワーキングエリアとして機能するものである。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１は、画像処理装置１００が各処理を実行するのに必要なプログラムやデータを記憶するものである。ＣＰＵ９は、ＲＡＭ１１をワーキングエリアとして、ＲＯＭ１２に記憶されているプログラムとの協働により各処理を実行する。

液晶表示コントローラ１２は、ＣＰＵ９による制御に従って、ＤＲＡＭ７やメモリカード１５に記憶されているフレーム画像データをアナログ信号に変換して出力するものである。液晶ディスプレイ１３は、液晶表示コントローラ１２から供給されたアナログ信号により表現される画像などを表示する。

操作部１４は、ユーザから各種ボタンの操作を受け付けるものである。操作部１４は、電源ボタン、十字ボタン、決定ボタン、メニューボタン、シャッタボタンなどを備える。操作部１４は、ユーザから受け付けた各種ボタンの操作に対応する信号をＣＰＵ９に供給する。ＣＰＵ９は、操作部１４からこれらの信号を受信すると、受信した信号に基づいた処理を実行する。

メモリカード１５は、ＤＳＰ８により生成されたフレーム画像データを記録する記録媒体である。

図２は、本実施形態における画像処理装置１００の機能構成を示すブロック図である。本実施形態では、画像処理装置１００は、画像入力部２１０と、画像処理部２２０と、操作受付部２３０と、表示部２４０と、記憶部２５０と、制御部２６０と、を備えることが想定される。

画像入力部２１０は、制御部２６０による制御に従って、複数のフレーム画像データを入力するものである。これら複数のフレーム画像データによりそれぞれ表現されるフレーム画像は、時系列的に連続している。画像入力部２１０は、図１に示される光学レンズ装置１と、シャッタ装置２と、アクチュエータ３と、ＣＭＯＳセンサ４と、ＡＦＥ５と、ＴＧ６と、ＤＲＡＭ７と、ＤＳＰ８とにより実現され得る。

画像処理部２２０は、制御部２６０による制御に従って、後述する画像変化量算出処理や画像抽出処理を実行するものである。画像処理部２２０は、画像変化量算出部２２１と、区間指定部２２２と、値決定部２２３と、乖離度算出部２２４と、画像抽出部２２５と、を備える。

画像変化量算出部２２１は、画像入力部２１０により入力されたフレーム画像の縮小画像から、時系列的に隣接する縮小画像間の変化量（例えば、画素値の差の総和）をそれぞれ算出するものである。画像変化量算出部２２１は、図１に示されるＣＰＵ９により実現され得る。

区間指定部２２２は、画像入力部２１０により入力されたフレーム画像の縮小画像の全てが存在する時系列上の全区間において、所定の運動区間Ｄ（第１の区間）を順次変更しながら、変更した運動区間Ｄを順次指定するものである。また、区間指定部２２２は、前述の全区間から運動区間Ｄを除いた区間である非運動区間Ｄ´（第２の区間）を順次指定するものである。この運動区間Ｄと非運動区間Ｄ´とについては後述する。区間指定部２２３は、運動区間Ｄと非運動区間Ｄ´との指定結果を値決定部２２２に供給する。区間指定部２２２は、図１に示されるＣＰＵ９により実現され得る。運動区間Ｄを、例えば、全区間のうち例えば、フレーム画像の縮小画像が途切れ途切れでない一塊の区間とし、非運動区間Ｄ´を、全区間から運動区間Ｄを除いた区間としてもよい。

値決定部２２３は、区間指定部２２２により指定された運動区間Ｄに存在する各縮小画像間の変化量に基づく値（例えば、運動区間Ｄに存在する各縮小画像間の変化量の平均値）を、第１の値として決定するものである。また、値決定部２２３は、区間指定部２２２により指定された非運動区間Ｄ´に存在する各縮小画像間の変化量に基づく値（例えば、非運動区間Ｄ´に存在する各縮小画像間の変化量の平均値）を、第２の値として決定するものである。値決定部２２３は、第１の値と第２の値との決定結果を乖離度算出部２２４に供給する。値決定部２２３は、図１に示されるＣＰＵ９により実現され得る。

乖離度算出部２２４は、区間指定部２２２により運動区間Ｄが指定される度に、各第１の変化量と第１の値（各第１の変化量の平均値など）との乖離度（以下、第１の乖離度と呼ぶ）をそれぞれ算出するものである。また、乖離度算出部２２４は、区間指定部２２２により非運動区間Ｄ´が指定される度に、各第２の変化量と第２の値（各第２の変化量の平均値など）との乖離度（以下、第２の乖離度と呼ぶ）をそれぞれ算出するものである。乖離度算出部２２４は、図１に示されるＣＰＵ９により実現され得る。

画像抽出部２２５は、乖離度算出部２２４により算出された各第１の乖離度と各第２の乖離度との総和が最小になるとき、このときに区間指定部２２２により指定されていた運動区間Ｄに存在する縮小画像を、画像入力部２１０により入力されたフレーム画像の縮小画像の中から抽出するものである。画像抽出部２２５は、図１に示されるＣＰＵ９により実現され得る。

操作受付部２３０は、ユーザの画像処理装置１００に対する操作を受け付けるものである。この操作としては、画像処理装置１００に対し、ユーザが撮影を指示する操作や、ユーザが撮影する画像の枚数（以下、撮影枚数と呼ぶ）を設定する操作や、画像抽出部２２５が抽出するフレーム画像の枚数（以下、抽出枚数と呼ぶ）を設定する操作などがある。操作受付部２３０は、ユーザの操作を受け付けた結果を制御部２６０に供給する。操作受付部２３０は、図１に示される操作部１４により実現され得る。

表示部２４０は、画像入力部２１０により入力されたフレーム画像などを表示するものである。表示部２４０は、図１に示される液晶表示コントローラ１２と、液晶ディスプレイ１３とにより実現され得る。

記録部２５０は、画像抽出部２２５により抽出されたフレーム画像を表現するフレーム画像データを記録するものである。記録部２５０は、図１に示されるメモリカード１５により実現され得る。

制御部２６０は、各部により実行される処理を統括的に制御するものである。制御部２６０は、図１に示されるＣＰＵ９と、ＲＡＭ１０と、ＲＯＭ１１とにより実現され得る。

図３は、画像処理装置１００が実行する連写撮影処理の流れの一例を示すフローチャートである。この連写撮影処理は、制御部２６０（ＣＰＵ９）が実行するものとして説明する。また、この連写撮影処理は、ユーザが操作受付部２３０に対し所定の操作を行うことを契機として開始される。

制御部２６０は、連写撮影処理の開始とともに、画像入力部２１０により入力されるフレーム画像を表示部２４０に順次供給させることにより、フレーム画像をライブビュー画像として表示部２４０に表示させる。

ステップＳ１では、制御部２６０は、ユーザにより画像の撮影枚数および抽出枚数を設定する操作がなされたか否かを判断する。具体的には、制御部２６０は、撮影枚数や抽出枚数を設定する操作に対応する信号が操作受付部２３０から供給されたか否かにより、ユーザにより画像の撮影枚数および抽出枚数を設定する操作がなされたか否かを判断する。ステップＳ１の判断がＹＥＳの場合には、制御部２６０は、ユーザの操作に対応した撮影枚数や抽出枚数を設定した後、ステップＳ２に処理を進める。一方、ステップＳ１の判断がＮＯの場合には、制御部２６０は、ステップＳ１の処理をくり返す。

以降の説明においては、設定された撮影枚数としてＮ枚を、抽出枚数としてＭ枚を想定する。つまり、時系列的に連続するＮ枚のフレーム画像の中から、時間的に相前後するフレーム画像間で被写体の動きが大きいＭ枚のフレーム画像を抽出する。例えば、図４に示すように、画像処理装置１００が、自動車がＣＭＯＳセンサ４の撮影範囲内を通過する際の画像を連続してＮ枚撮影し、このＮ枚の連続する画像の中から、撮影範囲内を移動している自動車が撮影されているＭ枚の画像のみを抽出する。

ステップＳ２では、制御部２６０は、操作受付部２３０から供給されるシャッタボタンの操作に応じた信号を監視する。制御部２６０は、ユーザによるシャッタボタンの操作に応じた信号を検出すると、画像入力部２１０に、時系列的に連続するＮ枚のフレーム画像を入力させる（連写撮影）。以下の説明においては、これらＮ枚のフレーム画像を、それぞれ、ｐ［ｘ］（０≦ｘ≦Ｎ−１）と表す。ｘは、各フレーム画像に付与されるインデックス番号である。ここで、時系列で最も古いフレーム画像から順番に、０，１，２，・・・Ｎ−１の各インデックス番号を付してゆく。これらフレーム画像を、インデックス番号順、つまり時系列順に配列したものを画像配列Ｐとする。

ステップＳ３では、制御部２６０は、撮影処理部２２１により、撮影されたＮ枚のフレーム画像を縮小して、時系列的に配列されたＮ枚の縮小画像を生成する。この縮小処理は、一般的に行われる画像の画素数を縮小する処理である。縮小率は、被写体の最小の大きさや手振れの影響を考慮して、カメラの特性に合わせて適宜決定してよい。以下の説明においては、このＮ枚の縮小画像を、それぞれ、ｐｓ［ｘ］（０≦ｘ≦Ｎ−１）と表す。この縮小処理では、フレーム画像のインデックス番号と、このフレーム画像から生成した縮小画像のインデックス番号とを一致させておく。つまり、縮小画像についても、フレーム画像と同様に、時系列で最も古い縮小画像から順番に、０，１，２，・・・Ｎ−１のインデックス番号を付してゆく。

そして、図５に示すように、これら縮小画像を、インデックス番号順つまり時系列順に配列したものを縮小画像配列ＰＳとする。

ステップＳ４では、制御部２６０は、画像変化量算出処理を行う。すなわち、図５に示すように、縮小画像配列ＰＳについて、時間的に相前後する縮小画像ｐｓ［ｘ］同士の変化量を画像変化量ｅとして算出する。この画像変化量ｅのインデックス番号を上記のｘとして、この算出した各画像変化量をｅ［ｘ］（０≦ｘ≦Ｎ−２）と表す。ここで、時系列で最も古い画像変化量から順番に、０，１，２，・・・Ｎ−２のインデックス番号を付してゆく。これら画像変化量ｅ［ｘ］を、インデックス番号順つまり時系列順に配列したものを画像変化量配列Ｅとする。ステップＳ４の画像変化量算出処理の詳細は後述する。

ステップＳ５では、制御部２６０は、Ｎ枚の縮小画像の中から被写体像の動きが比較的大きい縮小画像のみを抽出する。ステップＳ５の画像抽出処理の詳細は後述する。

ステップＳ６では、制御部２６０は、ステップＳ５の処理により抽出した縮小画像がＭ枚になるように調整する。これは、ユーザの操作により設定された抽出枚数はＭ枚であるのに対し、このＭ枚よりも多くの枚数の縮小画像をステップＳ５の処理により抽出した場合や、Ｍ枚よりも少ない枚数の縮小画像をステップＳ５の処理により抽出した場合には、縮小画像の枚数を、ユーザの所望するＭ枚に調整する必要があるからである。

よって、具体的には、抽出した縮小画像の枚数がＭよりも大きい場合には、例えば、運動区間Ｄに含まれる画像を所定間隔おきに抽出して、画像数をＭ枚とする。一方、抽出した縮小画像がＭ枚よりも小さい場合には、例えば、運動区間Ｄの範囲を拡張することで、運動区間Ｄに含まれる縮小画像の枚数をＭ枚とする。

ステップＳ７では、制御部２６０は、ステップＳ６の処理により抽出枚数が調整された縮小画像に対応したフレーム画像データのみを記録部２５０に記録する。また、このとき、制御部２６０は、記録部２５０に記録される各フレーム画像データを合成した合成画像や、各フレーム画像データの縮小画像を表示部２４０に一時的に表示させる。

図６は、ステップＳ４の画像変化量算出処理の詳細な流れの一例を示すフローチャートである。図６を参照して、画像変化量算出処理の詳細について説明する。以下の説明では、この画像変化量算出処理は、制御部２６０による制御に従って、画像処理部２２０が行うものとする。

この画像変化量算出処理は、時系列上で互いに隣接する縮小画像ｐｓにおいて互いに同し位置にある画素の画素値の差分の絶対値の総和を、画像変化量ｅとして算出する処理である。このため、この画像変化量ｅは、時系列上で互いに隣接する縮小画像ｐｓにより規定されることとなる。

この画像変化量算出処理に関する説明においては、画像変化量ｅの総和の暫定値をｄとする。また、便宜上、縮小画像のインデックス番号を、上記のｘに代えてｉで表す。また、縮小画像ｐｓ［ｉ］の画素数については、水平方向であるｘ方向の画素数をｐ、垂直方向であるｙ方向の画素数をｑとする。また、縮小画像ｐｓ［ｉ］上における任意の画素の位置を、座標（ｘ，ｙ）で表すものとする。

画像処理部２２０は、インデックス番号ｉとして０（零）を設定し（ステップＳ１１）、暫定値ｄの初期値を０に設定し（ステップＳ１２）、ｙ座標の初期値を１に設定し（ステップＳ１３）、ｘ座標の初期値を１に設定する（ステップＳ１４）。

次に、画像処理部２２０の画像変化量算出部２２１は、縮小画像ｐｓ［ｉ］の座標（ｘ，ｙ）の画素の画素値と、縮小画像ｐｓ［ｉ＋１］の座標（ｘ，ｙ）の画素の画素値との差分の絶対値を算出し、算出した差分の絶対値を暫定値ｄに加える（ステップＳ１５）。

次に、画像処理部２２０は、ｘがｐであるか否かを判定する（ステップＳ１６）。ステップＳ１６の判定がＹＥＳの場合には、画像処理部２２０は、ステップＳ１８に処理を進める。一方、ステップＳ１６の判定がＮＯの場合には、画像処理部２２０は、座標ｘをインクリメント（ｘを１だけ増加）して（ステップＳ１７）、ステップＳ１５に処理を戻す。

次に、画像処理部２２０は、ｙがｑであるか否かを判定する（ステップＳ１８）。ステップＳ１８の判定がＮＯの場合には、画像処理部２２０は、座標ｙをインクリメント（ｙを１だけ増加）して（ステップＳ１９）、ステップＳ１４に処理を戻す。

一方、ステップＳ１８の判定がＹＥＳの場合には、画像処理部２２０は、画像変化量ｅ［ｉ］を暫定値ｄとして保持する（ステップＳ２０）。次に、画像処理部２２０は、現在のインデックス番号ｉがＮ−２（Ｎは、ステップＳ１の処理において設定された撮影枚数）であるか否かを判定する（ステップＳ２１）。ステップＳ２１の判定がＮＯの場合には、画像処理部２２０は、カウンタｉをインクリメント（ｉを１だけ増加）して（ステップＳ２１）、ステップＳ１２に処理を戻す。一方、ステップＳ２１の判定がＮＯの場合には、画像処理部２２０は、画像変化量算出処理を終了させる。

次に図７を参照して、ステップＳ５の画像抽出処理について説明する。図７において、横軸はインデックス番号ｘを示し、縦軸は画像変化量ｅ［ｘ］を示す。図中、実線により示される曲線が、各インデックス番号ｘに対応する画像変化量ｅ［ｘ］を示す。また、破線により示される曲線は、後述する孤立矩形状関数ｒ［ｘ］を示す。なお、画像変化量ｅ［ｘ］の値は、整数値であるインデックス番号ｘごとに定まる離散値であるため、図７では画像変化量ｅ［ｘ］の各値を直線で結んだものを示している。

まず、運動区間Ｄの開始点および終了点に対応するインデックス番号を、それぞれ、ｘ_１、ｘ_２とする。すると、運動区間Ｄは、ｘ_１からｘ_２までの区間として、以下のように表される。
Ｄ＝［ｘ_１，ｘ_２］ （０＜ｘ_１＜ｘ_２＜Ｎ−２）
ここで、［ｘ_１，ｘ_２］とは、ｘ_１からｘ_２までの区間を表す。これらｘ_１、ｘ_２は、運動区間Ｄと非運動区間Ｄ´との区切り（境界）となる。そして、画像処理部２２０の区間指定部２２２は、以上の開始点ｘ_１、終了点ｘ_２の組合せをの全てを順次指定し、これらｘ_１、ｘ_２の複数の各組合せによりそれぞれ規定される運動区間Ｄと複数の非運動区間Ｄ´とについて、以下の処理を行う。

画像処理部２２０の値決定部２２３は、区間指定部２２２により指定されるｘ_１、ｘ_２の組合せのそれぞれについて、運動区間Ｄに含まれる全てのインデックス番号ｘに対応する画像変化量ｅ［ｘ］に基づいて、第１の値を決定する。また、画像処理部２２０の値決定部２２３は、区間指定部２２２により指定されるｘ_１、ｘ_２の組合せのそれぞれについて、非運動区間Ｄ´に含まれる全てインデックス番号ｘに対応する画像変化量ｅ［ｘ］に基づいて、第２の値を決定する。具体的には、値決定部２２３は、運動区間Ｄに属する各画像変化量配列Ｅの平均値であるａを算出し、このａを第１の値として決定する。また、値決定部２２３は、非運動区間Ｄ´に属する各画像変化量配列Ｅの平均値であるｂを算出し、このｂ
を第２の値として決定する。

画像処理部２２０の乖離度算出部２２４は、区間指定部２２２により指定されるｘ_１、ｘ_２の組合せのそれぞれについて、孤立矩形状関数ｒ［ｘ］を以下のように定義する。

この孤立矩形状関数ｒ［ｘ］の値は、運動区間Ｄではａとなり、非運動区間Ｄ´ではｂとなる。

画像処理部２２０の乖離度算出部２２４は、区間指定部２２２により指定されるｘ_１、ｘ_２の組合せのそれぞれについて、孤立矩形状関数ｒ［ｘ］と画像変化量配列Ｅとの乖離度Ｊを算出する。乖離度Ｊとは、各インデックス番号ｘごとの孤立矩形状関数ｒ［ｘ］と画像変化量配列Ｅとの差分の総和である。具体的には、以下の式のように、孤立矩形状関数ｒ［ｘ］と画像変化量配列Ｅとの差分を２乗した値の総和を乖離度Ｊとする。

乖離度Ｊが最小となるときに区間指定部２２２により指定されていたｘ_１、ｘ_２により規定される運動区間を運動区間Ｄｍｉｎと呼べば、画像抽出部２２５は、この運動区間Ｄｍｉｎに含まれる全ての画像変化量ｅをそれぞれ規定する縮小画像ｐｓを、画像入力部２１０により入力されたフレーム画像の縮小画像の中から抽出する。

次に、ステップＳ５の画像抽出処理の流れの概要を説明する。以下の説明においては、乖離度Ｊの最小値をＪ_ｍｉｎとし、乖離度Ｊ_ｍｉｎでの運動区間Ｄの開始点をｍ_１、終了点をｍ_２とし、開始点ｍ_１および終了点ｍ_２に対応した縮小画像配列ＰＳのインデックス番号をｘ_ｉｎ、ｘ_ｏｕｔとする。

まず、画像処理部２２０は、ｘ_１，ｘ_２を変化させながら乖離度Ｊを順次算出し、順次算出した乖離度Ｊ同士を比較することで、順次算出した各乖離度Ｊのうちの最小値である乖離度Ｊ_ｍｉｎを求める。そして、画像処理部２２０は、乖離度Ｊが最小値Ｊ_ｍｉｎとなるときに指定されている運動区間Ｄｍｉｎの開始点ｍ_１、終了点ｍ_２を求める。その際、画像処理部２２０は、ｘ_１，ｘ_２の取り得る値の全ての組合せについて完全探索を行う。ここで、ｘ_１，ｘ_２は離散値である。

第１実施形態における完全探索とは、ｘ_１を０と（Ｎ−３）との間で変化させながら、ｘ_２をｘ_１と（Ｎ−２）との間で変化させて、ｘ_１とｘ_２との全ての組合せについて乖離度Ｊを確認する処理である。具体的には、まず、ｘ_１を０に固定して、ｘ_２を１から（Ｎ−２）まで変化させる。次に、ｘ_１を１に固定して、ｘ_２を２から（Ｎ−２）まで変化させる。次に、ｘ_１を２に固定して、ｘ_２を３から（Ｎ−２）まで変化させる。このように、画像処理部２２０は、ｘ_１の値を０から（Ｎ−３）まで１つずつ増加させながら、各ｘ_１のちに対応させてｘ_２も１つずつ増加させてゆく。画像処理部２２０は、ｘ_１またはｘ_２が１つ変化する度に、この度に算出される乖離度Ｊを確認する。

なお、通常、１回の連写撮影により得られるフレーム画像は数枚程度であるため、フレーム画像のインデックスであるｘは比較的制約されることとなる。そのため、制御部２６０（ＣＰＵ９）に対する完全探索による処理の負荷は小さいものとなる。

図８は、ステップＳ５の画像抽出処理の詳細な流れの一例を示すフローチャートである。図８を参照して、画像抽出処理の詳細について説明する。以下の説明では、この画像抽出処理は、制御部２６０による制御に従って、画像処理部２２０が行うものとする。

まず、画像処理部２２０は、Ｊ_ｍｉｎの初期値を無限大に近い所定値として設定する（ステップＳ３１）。次に、画像処理部２２０の区間指定部２２２は、ｘ_１の初期値をゼロとして設定し（ステップＳ３２）、ｘ_２の初期値をｘ_１＋１として設定する（ステップＳ３３）。 次に、画像処理部２２０の値決定部２２３は、孤立矩形状関数ｒ［ｘ］の運動区間Ｄにおける関数値ａ、非運動区間Ｄ´における関数値ｂを決定する（ステップＳ３４）。次に、画像処理部２２０の乖離度算出部２２４は、乖離度Ｊを算出する（ステップＳ３５）。

次に、画像処理部２２０は、ステップＳ３５の処理により算出された乖離度ＪがＪ_ｍｉｎより小さいか否かを判定する（ステップＳ３６）。ステップＳ３６の判定がＮＯの場合には画像処理部２２０は、ステップＳ３９に処理を進める。一方、ステップＳ３６の判定がＹＥＳの場合には、画像処理部２２０は、ステップＳ３７に処理を進める。ステップＳ３７では、画像処理部２２０は、ステップＳ３５の処理により算出された乖離度ＪをＪ_ｍｉｎとして設定する。次に、画像処理部２２０は、開始点ｍ_１を暫定的にｘ_１として設定し、終了点ｍ_２を暫定的にｘ_２として設定する（ステップＳ３８）。

ステップＳ３９では、画像処理部２２０は、ｘ_２がＮ−２（Ｎは、ステップＳ１の処理において設定された撮影枚数）であるか否かを判定する。ステップＳ３９の判定がＹＥＳの場合には、画像処理部２２０は、ステップＳ４１に処理を進める。次に、画像処理部２２０は、ｘ_１がＮ−３であるか否かを判定する（ステップＳ４１）。ステップＳ４１の判定がＹＥＳの場合には、画像処理部２２０は、ステップＳ４３に処理を進める。ステップＳ４１の判定がＮＯの場合には、画像処理部２２０は、カウンタｘ_１をインクリメント（ｘ_１を１だけ増加）して（ステップＳ４２）、ステップＳ３３に処理を戻す。

一方、ステップＳ３９の判定がＮＯの場合には、画像処理部２２０は、カウンタｘ_２をインクリメント（ｘ_２を１だけ増加）して（ステップＳ４０）、ステップＳ３４に処理を戻す。

ステップＳ４３では、ステップＳ３３〜Ｓ４１のループ処理が終了したため、開始点ｍ_１および終了点ｍ_２が確定している。これらｍ_１、ｍ_２は、画像変化量配列Ｅのインデックス番号であり、ｍ_１、ｍ_２の画像変化量ｅ［ｍ_１］、ｅ［ｍ_２］は、それぞれ、２つの縮小画像ｐｓに基づいて算出されるものである。よって、２つの縮小画像ｐｓのいずれを画像変化量ｅ［ｍ_１］、ｅ［ｍ_２］に対応させてｐｓ［ｘ_ｉｎ］、ｐｓ［ｘ_ｏｕｔ］として採用するのかを決定する必要がある。そこで、ステップＳ４３では、画像処理部２２０は、（ｍ_１＋１）を開始点ｘ_ｉｎとして設定し、ｍ_２を終了点ｘ_ｏｕｔとして設定する。

ステップＳ４４では、縮小画像配列ＰＳにおいて、運動区間Ｄの開始点の縮小画像ｐｓ［ｘ_ｉｎ］から終了点の縮小画像ｐｓ［ｘ_ｏｕｔ］までにおいて、時系列的に連続する一連の縮小画像を抽出する。そして、画像処理部２２０は、ステップＳ４４の処理の後に画像抽出処理を終了させる。

第１実施形態では、画像変化量配列Ｅの比較対象として、ａ、ｂを関数値とする孤立矩形状関数ｒ［ｘ］を定義した。この関数値ａは運動区間Ｄにおける画像変化量配列Ｅの平均値であり、関数値ｂは運動区間Ｄ´における画像変化量配列Ｅの平均値であるため、運動区間Ｄの開始点ｘ_１および終了点ｘ_２の位置に応じて動的に変化する。そのため、閾値ａ、ｂと画像変化量配列Ｅとを比較して、乖離度Ｊの最小値Ｊ_ｍｉｎを求めるだけで、この乖離度Ｊ_ｍｉｎでの開始点ｍ_１の画像変化量ｅ［ｍ_１］、終了点ｍ_２の画像変化量ｅ［ｍ_２］を、相対的に変化の大きい画像変化量として的確に抽出できる。よって、画像変化量の大きいフレーム画像群、すなわち被写体の動きの大きいフレーム画像群を抽出できる。

図９（ａ）〜（ｄ）は、ｘ_１＝１の場合における孤立矩形状関数ｒ［ｘ］の具体例であり、図１０（ａ）〜（ｄ）は、ｘ_１＝３の場合における孤立矩形状関数ｒ［ｘ］の具体例である。図９（ａ）〜（ｄ）および図１０（ａ）〜（ｄ）において、横軸はインデックス番号ｘであり、縦軸は画像変化量である。図９（ａ）〜（ｄ）および図１０（ａ）〜（ｄ）においては、太い実線で描かれている矩形波が孤立矩形状関数ｒ［ｘ］を示しており、細い実線で描かれている波形が画像変化量配列Ｅを示している。なお、画像変化量ｅ［ｘ］の値は離散値であるため、これら図９（ａ）〜（ｄ）および図１０（ａ）〜（ｄ）では、画像変化量ｅ［ｘ］の各値を直線で結んでいる。

これら図９（ａ）〜（ｄ）および図９（ａ）〜（ｄ）に示すように、孤立矩形状関数ｒ［ｘ］の関数値ａは運動区間Ｄにおける画像変化量配列Ｅの平均値であり、関数値ｂは非運動区間Ｄ´における画像変化量配列Ｅ平均値であるため、運動区間Ｄの開始点ｘ_１および終了点ｘ_２の位置に応じて動的に変化することが判る。図１０（ｃ）において孤立矩形状関数ｒ［ｘ］を示す波形と画像変化量配列Ｅを示す波形とが最も近似するため、乖離度Ｊは、図１０（ｃ）のｘ_１＝３、ｘ_２＝６の場合に最小となっていることが理解できる。

以上説明したように、第１実施形態に係る画像処理装置１００は、孤立矩形状関数ｒ［ｘ］の関数値ａを運動区間Ｄにおける画像変化量配列Ｅの平均値とし、関数値ｂを非運動区間Ｄ´における画像変化量配列Ｅの平均値とする。次に、関数値ａ、ｂと画像変化量配列Ｅとの乖離度Ｊが最小となるＪ_ｍｉｎを求める。そして、この乖離度Ｊ_ｍｉｎでの開始点ｍ_１の画像変化量ｅ［ｍ_１］に対応する画像ｐ［ｘ_ｉｎ］、終了点ｍ_２の画像変化量ｅ［ｍ_２］に対応する画像ｐ［ｘ_ｏｕｔ］を求める。そして、画像配列Ｐの中から、フレーム画像ｐ［ｘ_ｉｎ］からフレーム画像ｐ［ｘ_ｏｕｔ］まで時間的に連続するフレーム画像群を抽出する。

このように、２つの関数値ａ、ｂは、一定値ではなく、運動区間Ｄの開始点ｘ_１および終了点ｘ_２の位置に応じて動的に変化する画像変化量配列Ｅの平均値である。すると、閾値ａ、ｂと画像変化量配列Ｅとを比較して、乖離度Ｊの最小値Ｊ_ｍｉｎを求めるだけで、この乖離度Ｊ_ｍｉｎでの開始点ｍ_１の画像変化量ｅ［ｍ_１］、終了点ｍ_２の画像変化量ｅ［ｍ_２］を、相対的に変化の大きい画像変化量として的確に抽出できる。そのため、時系列的に連続する画像配列Ｐの中から被写体が大きく動くフレーム画像群を精度良く抽出できる。そのため、本実施形態に係る画像処理装置１００は、例えば、陸上競技や球技等のように撮影範囲内を被写体（陸上選手や球）が通過するシーンを連写撮影した画像や、体操競技のような、撮影範囲内で被写体（体操選手）が静止、移動、静止の順に動作するシーンを連写撮影した画像から、撮影範囲内で被写体の動きが大きい画像のみを適正に抽出できる。

また、例えば、手振れにより各画像変化量ｅの値が変動しても、つまり手振れにより図９や図１０に示される画像変化量配列Ｅを示す波形の位置が上下方向に変動しても、関数値ａ、ｂはそれぞれ画像変化量配列Ｅの平均値であるため、関数値ａ、ｂもこの変動に追従することになる。よって、第１実施形態に係る画像処理装置１００は、従来のような閾値の調整が不要となり、手振れなどの外乱の影響をほとんど受けないで、撮影状況によらずに被写体の動きの大きいフレーム画像群を適切に抽出でき、汎用性が高い。

画像の背景領域および被写体領域の模様がほぼ一様である場合、時間的に相前後するフレーム画像間の変化量は、フレーム画像間での被写体の動きの大きさに比例して増大する。しかしながら、実際には、フレーム画像間において被写体により隠蔽される背景領域の差分、被写体領域の面積や内容の差分、さらに手振れによる全体的なエッジの差分などが発生するため、時間的に相前後するフレーム画像間の変化量は不安定に変動するという問題がある。

そこで、第１実施形態に係る画像処理装置１００では、２つの関数値ａ、ｂからなる孤立矩形状関数ｒ［ｘ］を定義した。この孤立矩形状関数ｒ［ｘ］は、運動区間Ｄの開始点ｘ_１および終了点ｘ_２の２つのパラメータを決定するだけで、運動区間Ｄでは運動区間Ｄに含まれる画像変化量ｅの平均値ａが、非運動区間Ｄ´については非運動区間Ｄ´に含まれる画像変化量ｅの平均値ｂが関数値として定義される。よって、第１実施形態に係る画像処理装置１００は、いくつかの画像変化量ｅがノイズにより多少変動しても、孤立矩形状関数ｒ［ｘ］と画像変化量配列Ｅとの相対的な関係は、この画像変化量ｅの変動の影響を大きく受けないので、外乱に対して強い。

ところで、連写撮影が行われる場合、ユーザによりシャッタボタンが押下されたことに起因してシャッタボタンの押下直後の一定期間にのみ手振れが発生した場合、シャッタボタン押下直後に撮影される画像の変化量が大きくなる。このような場合、例えば図４に示される撮影状況においては、シャッタボタン押下直後の撮影区間、撮影範囲内を自動車が通過していく撮影区間という２つの異なる撮影区間のそれぞれにおいて、時間的に連続するフレーム画像間の変化量が大きくなる。すると、このような場合、２つの異なる撮影区間のそれぞれからフレーム画像群を抽出してしまうことが懸念される。例えば図４に示される撮影状況においては、シャッタボタン押下直後に撮影される画像、つまり撮影範囲に被写体が存在せずに変化に乏しいフレーム画像群を抽出してしまうという問題が懸念される。

しかし、第１実施形態に係る画像処理装置１００によれば、フレーム画像群を抽出する撮影区間（運動区間Ｄ）が一つだけ定まるため、不要なフレーム画像群を抽出してしまう可能性を低減できる。つまり、第１実施形態に係る画像処理装置１００によれば、手振れ等の外乱の影響によって画像変化量配列Ｅを示す波形において山の区間が複数存在したとしても、すなわち画像変化量配列Ｅにおいて画像変化量ｅが大きくなる区間が複数存在したとしても、手振れ等の外乱の影響により画像間の変化量が大きくなった区間を抽出対象から排除して、被写体像の動きが大きい画像のみをより確実に抽出することができる。

第１実施形態に係る画像処理装置１００は、縮小画像配列ＰＳにおいて時間的に相前後する縮小画像ｐｓ同士の差分に基づいて画像変化量ｅを算出した。縮小画像配列ＰＳにおいて時間的に相前後する縮小画像ｐｓに対応するフレーム画像間の撮影時間間隔は短いため、手振れや蛍光灯のフリッカなどが発生しても、時間的に相前後する縮小画像ｐｓ同士の画像変化量ｅが大きく変化することはないので外乱の影響を受けにくくなる。これにより、ユーザが画像処理装置１００を自身の手に構えて撮影を実行する場合でも縮小画像ｐｓ同士の位置合わせ処理を実行する必要がないので、画像処理部２２０（ＣＰＵ９）の計算負荷を低減できる。

〔第２実施形態〕
次に、本発明の第２実施形態について説明する。第２実施形態では、画像処理部２２０の構成およびステップＳ５の画像抽出処理が第１実施形態と異なる。他の構成や処理は、第１実施形態のものと同様であるので、その説明を省略する。

図１１は、第２実施形態に係る画像処理装置１００の機能構成を示すブロック図である。第２実施形態に係る画像処理装置１００の機能構成のうち第１実施形態のものと異なるのは、画像処理部２２０の構成のみである。第２実施形態における画像処理部２２０は、画像変化量算出部２２１と、抽出枚数設定部２２６と、画像変化量特定部２２７と、判定部２２８と、画像削除部２２９と、画像抽出部２２５と、を備えることが想定される。

第２実施形態では、画像変化量算出部２２１は、最初に、画像入力部２１０により入力されたフレーム画像の縮小画像から、時間的に相前後する縮小画像間の変化量（例えば、画素値の差の総和）をそれぞれ算出するものである。そして、画像削除部２２９により縮小画像が削除される度に、画像入力部２１０により入力されたフレーム画像の縮小画像の中からこの削除された縮小画像を除いた各縮小画像について、時間的に相前後する縮小画像間の変化量を繰り返し算出する。

抽出枚数設定部２２６は、ユーザによる抽出枚数を設定する操作に応答して、この操作に応じた抽出枚数Ｍを設定するものである。この設定処理に際しては、抽出ユーザによる操作により設定される抽出枚数Ｍを示す信号が、制御部２６０を介して操作受付部２３０から抽出枚数設定部２２６に供給される。抽出枚数設定部２２６は、図１に示されるＣＰＵ９により実現され得る。

画像変化量特定部２２７は、画像削除部２２９により縮小画像が削除されることにより画像変化量算出部２２１が画像変化量を算出する度に、算出された画像変化量のうち最小となる画像変化量を特定するものである。また、このとき、画像変化量特定部２２７は、特定した最小となる画像変化量に対し時間的に相前後する２つの画像変化量も特定する。画像変化量特定部２２７は、図１に示されるＣＰＵ９により実現され得る。

判定部２２８は、画像変化量特定部２２７が各画像変化量を特定する度に、最小となる画像変化量に時系列上で前後に隣接する２つの画像変化量のうち、どちらが小さいものであるかを判定するものである。判定部２２８は、この判定結果を画像削除部２２９に供給する。判定部２２８は、図１に示されるＣＰＵ９により実現され得る。

画像削除部２２９は、判定部２２８から供給される判定結果が示す小さい判定された方の画像変化量を、縮小画像配列ＰＳから削除するものである。画像削除部２２９は、図１に示されるＣＰＵ９により実現され得る。

第２実施形態では、画像抽出部２２５は、画像入力部２１０により入力されたフレーム画像の縮小画像の中から、画像削除部２２９により削除されることなく残った縮小画像を抽出するものである。

図１２は、第２実施形態に係る画像抽出処理（ステップＳ５の処理）の流れの一例を示すフローチャートである。図１２を参照して、第２実施形態に係る画像抽出処理の詳細について説明する。以下の説明では、この画像抽出処理は、制御部２６０による制御に従って、画像処理部２２０が行うものとする。

まずステップＳ５１では、画像処理部２２０の画像変化量特定部２２７は、画像変化量配列Ｅの中から最小となる画像変化量ｅを特定する。以下の説明では、ステップＳ５１の処理により特定された最小の画像変化量をｅ［ｋ］、つまり特定された最小の画像変化量に対応するインデックス番号をｋとする。

ステップＳ５２では、画像処理部２２０の画像変化量特定部２２７は、画像変化量ｅ［ｋ−１］および、画像変化量ｅ［ｋ＋１］を特定する。画像変化量ｅ［ｋ−１］は、画像変化量配列Ｐにおいて、時系列上で画像変化量ｅ［ｋ］よりも前（過去）に隣接する画像変化量である。画像変化量ｅ［ｋ＋１］は、画像変化量配列Ｐにおいて、時系列上で画像変化量ｅ［ｋ］よりも後（未来）で隣接する画像変化量である。

ステップＳ５３では、画像処理部２２０の判定部２２８は、画像変化量ｅ［ｋ−１］が画像変化量ｅ［ｋ＋１］よりも小さいか否かを判定する。ステップＳ５３の判定がＹＥＳの場合には、画像処理部２２０は、ステップＳ５４に処理を進める。一方、ステップＳ５３の判定がＮＯの場合には、画像処理部２２０は、ステップＳ５５に処理を進める。

ステップＳ５４では、画像処理部２２０の画像削除部２２９は、画像変化量ｅ［ｋ］に対応する２つの縮小画像ｐｓ［ｋ］、ｐｓ［ｋ＋１］のうちの時系列的に前に位置する縮小画像ｐｓ［ｋ］を、縮小画像配列ＰＳの中から削除する。言い換えると、画像削除部２２９は、画像変化量ｅ［ｋ−１］を規定していた２つの縮小画像ｐｓ［ｋ−１］、ｐｓ［ｋ］のうち、時系列上で後に位置するｐｓ［ｋ］を削除する。

ステップＳ５５では、画像処理部２２０の画像削除部２２９は、画像変化量ｅ［ｋ］に対応する２つの縮小画像ｐｓ［ｋ］、ｐｓ［ｋ＋１］のうちの時系列的に後に位置する縮小画像ｐｓ［ｋ＋１］を、縮小画像配列ＰＳの中から削除する。言い換えると、画像削除部２２９は、画像変化量ｅ［ｋ＋１］を規定していた２つの縮小画像ｐｓ［ｋ＋１］、ｐｓ［ｋ＋２］のうち、時系列上で前に位置するｐｓ［ｋ＋１］を削除する。

ステップＳ５６では、画像処理部２２０の判定部２２８は、直前のステップＳ５４またはステップＳ５５の処理により縮小画像が削除された結果、縮小画像配列ＰＳに残っている縮小画像ｐｓの枚数がＭであるか否かを判定する。ステップＳ５６の判定がＮＯの場合には、画像処理部２２０は、ステップＳ５８に処理を進める。

ステップＳ５８では、画像処理部２２０の画像削除部２２９は、画像変化量配列Ｅの中から、直前のステップＳ５４またはステップＳ５５の処理により削除された縮小画像ｐｓによりそれぞれ規定される２つの画像変化量ｅを削除する。この削除処理においては、例えば、図１３に示すように、画像削除部２２９は、今回縮小画像ｐｓ［ｋ］を削除した場合、この削除した縮小画像ｐｓ［ｋ］により規定される２つの画像変化量ｅ［ｋ］、ｅ［ｋ−１］を削除するとともに、削除した縮小画像ｐｓ［ｋ］に隣接する縮小画像ｐｓ［ｋ−１］、ｐｓ［ｋ＋１］の平均値を示す画像変化量ｅ［ｋ−１］´を算出して、画像変化量配列Ｅに挿入する。

一方、ステップＳ５６の判定がＹＥＳの場合には、画像処理部２２０の画像抽出部２２５は、残ったＭ枚の縮小画像ｐｓを抽出する（ステップＳ５７）。このステップＳ５７の処理の後、画像処理部２２０は、画像抽出処理を終了させる。

以上のように、画像処理部２２０は、残る縮小画像ｐｓがＭ枚（ステップＳ５６でＹＥＳ）となるまで、ステップＳ５１では最小の画像変化量を抽出し続け、ステップＳ５４，Ｓ５５では縮小画像ｐｓを削除し続け、ステップＳ５８では画像変化量ｅを削除し続けることとなる。そして、ステップＳ５８において削除されることなく最終的に残った画像変化量配列Ｅにおいて最も小さい画像変化量ｅは、設定されたＭの値に応じて変化するものである。つまり、設定されたＭの値が小さいと、ステップＳ５８において削除されることなく最終的に残る画像変化量配列Ｅのうち最も小さい画像変化量ｅは大きくなる。一方、設定されたＭの値が大きいと、ステップＳ５８において削除されることなく最終的に残る画像変化量配列Ｅにおいて最も小さい画像変化量ｅは小さくなる。そうすると、ステップＳ５１では、残る縮小画像ｐｓがＭ枚（ステップＳ５６でＹＥＳ）となるまで、設定されたＭの値に対応する特定の画像変化量（ステップＳ５８において削除されることなく最終的に残る画像変化量配列Ｅのうち最も小さい画像変化量ｅ）よりも小さい画像変化量ｅを全て削除し続けるといえる。

以上説明したように、第２実施形態に係る画像処理装置１００は、画像変化量ｅを時系列的に配列して画像変化量配列Ｅとし、これら画像変化量ｅ同士を比較することで相対的に小さい値の画像変化量ｅ［ｋ］を抽出し、この抽出した画像変化量ｅ［ｋ］に対応する縮小画像ｐを削除して、画像配列Ｐの中から残った縮小画像に対応するフレーム画像を抽出する。つまり、第２実施形態に係る画像処理装置１００は、画像変化量ｅ同士の相対的な関係に着目し、画像変化量配列Ｅの中から相対的に大きい値の画像変化量ｅに対応する画像ｐを抽出した。よって、ユーザの手振れにより画像間変化量ｅが変動した場合でもこの変動に追従できるので、撮影状況によらずに被写体の動きの大きい画像のみを精度良く抽出できる。

第２実施形態に係る画像処理装置１００は、画像変化量ｅ同士の相対的な関係に着目し、画像変化量配列Ｅの中から画像変化量ｅが相対的に小さい画像ｐ、つまり、変化に乏しい冗長な画像のみを削除する。第１実施形態のように連続する画像群を抽出するのとは異なり、動きの大きい画像のみを離散的に抽出する。よって、第１実施形態のように特定の運動モデルに限定されず、被写体が画像内に滞留したり、被写体が比較的不規則に移動したりするような一般的な運動シーンに適用できる。これにより、例えば、撮影範囲内において被写体が静止と移動を不規則に繰り返すシーンの撮影画像を合成して１つの合成画像を生成する場合であっても、変化に乏しい冗長な画像ばかりを合成してしまうことを防止できる。すなわち、第２実施形態に係る画像処理装置１００により抽出されたフレーム画像郡を合成することにより合成画像を作成すれば、被写体像の動きにメリハリがある合成画像を得ることができる。

〔変形等〕
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述の第１実施形態では、ｘ_１，ｘ_２の全ての組合せについて乖離度Ｊを算出した。しかし、これに限らず、孤立矩形状関数ｒ［ｘ］の関数値ａ、ｂを算出した結果がａ＜ｂとなる場合であっても、関数値ｂと関数値ａとの差が小さい場合には、この組合せを探索対象から外してもよい。このようにすれば、明らかに最適解ではないｘ_１，ｘ_２の組合せを排除して、画像処理部２２０（ＣＰＵ９）の計算処理に要する負荷を軽減して、処理を高速化できる。

また、上述の第１実施形態では、０＜ｘ_１＜ｘ_２＜Ｎ−２として、孤立矩形状関数ｒ［ｘ］の山の部分を示すｘ_１やｘ_２が境界である０または（Ｎ−２）とならないように設定したが、これに限らず、０≦ｘ_１＜ｘ_２≦Ｎ−２として、孤立矩形状関数ｒ［ｘ］の山の部分を示すｘ_１やｘ_２が境界である０または（Ｎ−２）を取り得るように設定してもよい。
また、上述の第１実施形態では、孤立矩形状関数の山の部分の形状を四角形状としたが、山の部分の形状を台形状としてもよい。

また、上述の各実施形態では、時間的に相前後する縮小画像ｐｓについて、同位置の画素値の差分の絶対値の総和を画像変化量ｅとして算出した。しかし、同位置の画素値の差分の２乗の総和を、画像変化量ｅとして算出してもよいし、画像の相違を数値化できる手法であれば、どの手法を用いてもよい。また、縮小画像ｐｓがカラー画像である場合には、縮小画像ｐｓの色成分毎に差分を算出すればよい。

また、上述の各実施形態では、画像全体に亘って画素値の差分を算出したが、これに限らず、ウインドウまたは検出枠を設定して、画像の一部についてのみ画素値の差分を算出してもよい。このようにすれば、画像処理部２２０の計算負荷が軽減されるので、処理を高速化できる。

また、上述の各実施形態では、画像変化量ｅとして縮小画像ｐｓ間の画素値の差分つまり用いた。しかし、画像変化量ｅは、縮小画像ｐｓ間における被写体の動きを示す動きベクトルであってもよい。

また、上述の各実施形態では、フレーム画像ｐを縮小して縮小画像ｐｓを生成する縮小処理、および縮小画像ｐｓ間の変化量を画像変化量ｅとして算出する画像変化量算出処理を連写撮影により全ての画像を取得した後に実行するようにした。しかし、連写撮影を実行しながらこれらの処理をしてもよい。

また、第１実施形態では、孤立矩形状関数ｒ［ｘ］の関数値ａを運動区間Ｄにおける画像変化量配列Ｅの各値の平均値としたが、関数値ａは運動区間Ｄにおける画像変化量配列Ｅの各値の中央値であってもよい。また、第１実施形態では、孤立矩形状関数ｒ［ｘ］の関数値ｂを非運動区間Ｄ´における画像変化量配列Ｅの各値の平均値としたが、関数値ｂは非運動区間Ｄ´における画像変化量配列Ｅの各値の中央値であってもよい。

また、第１実施形態では、孤立矩形状関数ｒ［ｘ］と画像変化量配列Ｅとの差分を２乗した値の総和を乖離度Ｊとした。しかし、孤立矩形状関数ｒ［ｘ］と画像変化量配列Ｅとの差分の絶対値の総和を乖離度Ｊとてもよいし、孤立矩形状関数ｒ［ｘ］と画像変化量配列Ｅとの差分を３乗した値の総和を乖離度Ｊとてもよい。要は、乖離度Ｊは、孤立矩形状関数ｒ［ｘ］と画像変化量配列Ｅとの絶対的な差分であれば何でもよい。

また、上述の各実施形態では、フレーム画像ｐを縮小して縮小画像ｐｓを生成する縮小処理を実行した。しかし、縮小処理を実行することなく、縮小前のフレーム画像から画像変化量を算出してもよい。ただし、この場合、手振れなどの外乱の影響を受けやすくなるので、手持ち撮影では、位置合わせ処理が必要になることが多い。よって、縮小処理を実行する方が、位置合わせ処理を実行するよりも計算負荷が低くなる。また、縮小処理では、縮小画像のアスペクト比は、縮小前のフレーム画像のアスペクト比から適宜変更されてもよい。

また、第１実施形態と第２実施形態とを組み合わせてもよい。例えば、第１実施形態の画像抽出処理により運動区間Ｄを抽出し、その後、第２実施形態の画像抽出処理により、運動区間Ｄの中からＭ枚のフレームを抽出するようにしてもよい。

また、本発明は、デジタルカメラに限らず、撮影機能を有していないパーソナルコンピュータなどにも適用できる。

１００・・・画像処理装置、１・・・光学レンズ装置、２・・・シャッタ装置、３・・・アクチュエータ、４・・・ＣＭＯＳセンサ、５・・・ＡＦＥ、６・・・ＴＧ、７・・・ＤＲＡＭ、８・・・ＤＳＰ、９・・・ＣＰＵ、１０・・・ＲＡＭ、１１・・・ＲＯＭ、１２・・・液晶表示コントローラ、１３・・・液晶ディスプレイ、１４・・・操作部、１５・・・メモリカード、２１０・・・画像入力部、２２０・・・画像処理部、２３０・・・操作受付部、２４０・・・表示部、２５０・・・記憶部、２６０・・・制御部

Claims (6)

1. 時系列的に連続する複数の画像を入力する画像入力手段と、
   前記入力された複数の画像において、時系列的に隣接する画像間の被写体の動きによる変化量をそれぞれ算出する変化量算出手段と、
   時系列において、前記複数の画像の全てが存在する全区間に含まれる第１の区間を順次変更しながら当該第１の区間を順次指定するとともに、前記全区間から順次指定された前記第１の区間を除いた区間である第２の区間を順次指定する区間指定手段と、
   前記指定された第１の区間に存在する各画像から、前記変化量算出手段により算出された各第１の変化量に基づき第１の代表値を決定するとともに、前記指定された第２の区間に存在する各画像から、前記変化量算出手段により算出された各第２の変化量に基づき第２の代表値を決定する代表値決定手段と、
   前記第１の区間が指定される度に前記各第１の変化量と前記第１の代表値との第１の乖離度をそれぞれ算出するとともに、前記第２の区間が指定される度に前記各第２の変化量と前記第２の代表値との第２の乖離度をそれぞれ算出する乖離度算出手段と、
   前記算出された各第１の乖離度と各第２の乖離度との総和が最小になるとき、このとき前記区間指定手段により指定されていた第１の区間に存在する画像を抽出する画像抽出手段と
   を備えることを特徴とする画像処理装置。
2. 前記変化量算出手段により算出される被写体の動きによる変化量を、画素値の差分に基づく値の総和または被写体の動きを示す動きベクトルの一方とする
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記代表値決定手段は、
   前記第１の区間に存在する画像から前記変化量算出手段により算出された第１の変化量の平均値を前記第１の代表値として決定するとともに、前記第２の区間に存在する画像から前記変化量算出手段により算出された第２の変化量の平均値を前記第２の代表値として決定する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記代表値決定手段は、
   前記第１の区間に存在する画像から前記変化量算出手段により算出された第１の変化量の中央値を前記第１の代表値として決定するとともに、前記第２の区間に存在する画像から前記変化量算出手段により算出された第２の変化量の中央値を前記第２の代表値として決定する
   ことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記変化量の算出を行う画像範囲を設定するウインドウ設定手段を、更に備え、
   前記変化量算出手段は、
   前記ウインドウ設定手段により設定された範囲の変化量を算出する
   ことを特徴とする請求項１乃至４に記載の画像処理装置。
6. コンピュータを、
   時系列的に連続する複数の画像を入力する画像入力手段、
   前記入力された複数の画像において、時系列的に隣接する画像間の被写体の動きによる変化量をそれぞれ算出する変化量算出手段、
   時系列において、前記複数の画像の全てが存在する全区間に含まれる第１の区間を順次変更しながら当該第１の区間を順次指定するとともに、前記全区間から順次指定された前記第１の区間を除いた区間である第２の区間を順次指定する区間指定手段、
   前記指定された第１の区間に存在する各画像から、前記変化量算出手段により算出された各第１の変化量に基づき第１の代表値を決定するとともに、前記指定された第２の区間に存在する各画像から、前記変化量算出手段により算出された各第２の変化量に基づき第２の代表値を決定する代表値決定手段、
   前記第１の区間が指定される度に前記各第１の変化量と前記第１の代表値との第１の乖離度をそれぞれ算出するとともに、前記第２の区間が指定される度に前記各第２の変化量と前記第２の代表値との第２の乖離度をそれぞれ算出する乖離度算出手段、
   前記算出された各第１の乖離度と各第２の乖離度との総和が最小になるとき、このとき前記区間指定手段により指定されていた第１の区間に存在する画像を抽出する画像抽出手段、
   として機能させるプログラム。

Images