JP5811654B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

近年、デジタルカメラ等の画像処理装置において、画像を認識した結果を利用して自動的に撮像を行う技術が知られている。
例えば、特許文献１に記載の撮像装置では、画像内に複数の動く物体が認識された場合に、それぞれの動く物体を含む各ブロック（動領域）に対して動領域サイズ（ブロックの数）及び動領域時間差分（ブロックの数の変化）を求めている。そして、求められた動領域サイズ及び動領域時間差分が、設定した条件を満たす場合に、その動領域を自動露光処理及び自動焦点処理の対象としている。

これにより、動く物体に自動的に露光時間を合わせたり、フォーカスを合わせたりして、動く物体を自動的に最適な状態で記録することとしている。

特開２００９−８６７３６号公報

しかしながら、特許文献１に記載の技術を含め、従来の画像処理装置においては、手ぶれ等の発生によって画像の認識結果に誤差が発生し、画像処理装置による画像データの記録動作に係る制御が適切に行えない虞があった。

本発明は、このような状況に鑑みてなされたものであり、画像認識を利用して行われる画像データの記録の制御をより適切なものとすることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
撮像手段によって撮像された画像データを逐次取得する取得手段と、
前記取得手段によって取得された前記画像データの領域毎に動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段によって検出された前記動きベクトルの度数を算出する度数算出手段と、
前記度数算出手段によって算出された前記動きベクトルの度数のうち、最大の度数が第１の閾値以上か否かを判定することにより、前記撮像手段又は本画像処理装置が静止しているか否かを繰り返し判定する第１の判定手段と、
前記第１の判定手段によって前記動きベクトルの最大の度数が、前記第１の閾値以上でないと判定された場合に、前記撮像手段又は本画像処理装置が静止していると判定し、前記取得手段によって逐次取得された画像データの変化の有無を判定する第２の判定手段と、
前記第２の判定手段によって判定された画像データの変化があると判定された場合、前記取得手段によって逐次取得された画像データから当該変化を有する画像データを記録手段に記録させるよう制御する記録制御手段と、
を備えることを特徴とする。

本発明によれば、画像認識を利用して行われる画像データの記録の制御をより適切なものとすることができる。

本発明の一実施形態に係る画像処理装置の外観構成を示す平面図である。 机上等に立設された画像処理装置の外観構成を示す斜視図である。 第１実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 画像処理装置において、静止時記録処理を実行するための機能的構成を示す機能ブロック図である。 静止判定部における処理を説明するための模式図である。 動きベクトルの度数分布を示すヒストグラムである。 第１実施形態に係る静止時記録処理の流れを説明するフローチャートである。 静止判定処理の流れを説明するフローチャートである。 画像変化検出処理の流れを説明するフローチャートである。 第２実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 第２実施形態に係る静止判定処理の流れを説明するフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。
［第１実施形態］
本実施形態に係る画像処理装置は、例えばデジタルカメラにより構成され、新たな被写体のフレームへの進入を検出するといった画像認識のために、被写体を逐次撮像することによって連続して取得される画像データの変化を検出する。そして、連続して取得される画像データの変化を基に、自動的に画像データを記録する動作の制御を行うことにより、被写体の記録を行う機能（以下、「自動記録機能」と呼ぶ。）を有している。

また、画像処理装置は、自動撮影機能による撮影を行う場合、画像処理装置（より具体的には撮像部）が静止しているか否かを判定し、画像処理装置が静止していると判定した場合に、自動記録機能による画像データの記録を実行する。
これは、画像処理装置が静止していないことに起因して、新たな被写体のフレームへの進入がないにもかかわらず、画像データの変化があると判定され、自動記録機能が実行されてしまうことを防ぐためである。
このように、本実施形態に係る画像処理装置は、当該画像処理装置の静止の有無から、自動記録機能を実行すべきタイミングを判定した上で、画像データの変化を検出し、自動記録機能によって得られる画像（以下、「撮像画像」と呼ぶ）のデータを記録するまでの一連の処理を実行することができる。

［画像処理装置の構成］
図１は、本発明の一実施形態に係る画像処理装置１の外観構成を示す平面図である。
図１において、画像処理装置１は、カメラ本体１１と、表示部本体１２と、フレーム本体１３とを備えており、これらの各部が互いに姿勢変化可能に連結されている。
なお、図１（Ａ）は、カメラ本体１１において撮像レンズが配置された撮像面と、表示部本体１２においてディスプレイが配置された表示面とを、画像処理装置１の互いに表裏となる面に配置させた場合の平面図である。
一方、図１（Ｂ）は、上記撮像面と表示面とを、画像処理装置１の一方の面に配置させた場合の平面図である。

カメラ本体１１は、平面視五角形の短柱状に形成され、図１（Ａ）に示すように、カメラ本体１１の裏面は平坦に形成されている。また、図１（Ｂ）に示すように、カメラ本体１１の表面には、被写体の画像を撮像して、画像データを出力する撮像部２２の撮像面（撮像レンズ側の面）が配置されている。即ち、カメラ本体１１は、撮像部２２を内蔵する第１筐体を構成している。

カメラ本体１１は、カメラ本体１１及び表示部本体１２を貫通して配置された回動軸Ａを回動中心として表示部本体１２に対し回動可能に軸支される。
また、カメラ本体１１は、回動軸Ａに直交して配置され、カメラ本体１１及びフレーム本体１３を貫通して配置された回動軸Ｂを回動中心としてフレーム本体１３に対し回動可能に軸支される。
より具体的には、カメラ本体１１は、カメラ本体１１の五角形の外形のうちの一の辺を表示部本体１２に摺接しながら、回動軸Ａを中心として回動し得るように構成される。

なお、以下、画像処理装置１の長手方向の両端のうち、カメラ本体１１が設置されている側（図１の左側）を「カメラ側」と呼び、表示部本体１２が設置されている側（図１の右側）を「表示部側」と呼ぶ。

表示部本体１２は、平面視略矩形に形成され、その表面の中央には矩形状の表示部２１の表示面が配置されている。即ち、表示部本体１２は、表示部２１を内蔵する第２筐体である。

フレーム本体１３は、画像処理装置１の外周部分において、長手方向に沿う２つの長辺及び表示部側の１つの短辺を構成する部分として一体的に形成された枠部材である。また、フレーム本体１３における画像処理装置１のカメラ側の短辺は開口しており、この開口部にカメラ本体１１を狭持している。
フレーム本体１３の表示部側に位置する短辺の部分は、内周側の面が表示部本体１２の外形に沿い、外周側の面が画像処理装置１の外方に突出するＶ字状に形成されている。

フレーム本体１３は、第１筐体であるカメラ本体１１と、回動軸Ｂを回動中心として回動可能に接続されている。換言すると、上述した回動軸Ｂは、フレーム本体１３がカメラ本体１１を狭持している部分を貫通しており、フレーム本体１３は、回動軸Ｂを回動中心として、カメラ本体１１がフレーム本体１３の囲う空間を表側及び裏側に揺動可能な状態で支持している。

このように、カメラ本体１１は、フレーム本体１３に対し回動軸Ｂを中心に回動可能に軸支されているため、撮像部２２の撮像面が配置されている表面の向きを自在に変えることができる。即ち、ユーザは、カメラ本体１１を回動させることで、図１（Ａ）に示すように撮像部２２の撮像面を紙面に対し奥側に配置させたり、図１（Ｂ）に示すように撮像部２２の撮像面を紙面に対し手前側に配置させたりすることができる。

したがって、ユーザは、被写体が奥側に存在する場合には、回動軸Ｂを中心としてカメラ本体１１を回動して図１（Ａ）の状態することで、奥側の被写体を撮像部２２に撮像させることができる。
これに対して、ユーザは、自己を被写体として撮像する場合等、被写体が手前側に存在する場合には、回動軸Ｂを中心としてカメラ本体１１を回動して図１（Ｂ）の状態にすることで、手前側の被写体を撮像部２２に撮像させることができる。

図２は、机上等に立設された画像処理装置１の外観構成を示す斜視図である。
ユーザは、自己を撮像する場合等には、先ず、図２に示すように、表示部２１の表示面と撮像部２２の撮像面との各法線が略同一の方向で、かつ、カメラ本体１１とフレーム本体１３とが回動軸Ｂを中心に所定角度拡開するように姿勢を調整した状態の画像処理装置１を、机上等に立設させる。

即ち、フレーム本体１３を構成するＶ字状の底辺の先端と表示部本体１２の端部とが、机上の面に当接されることにより台座として機能し、フレーム本体１３と表示部本体１２とは回動軸Ｂを介して互いに軸支されて姿勢が保持されることにより、画像処理装置１は机上等に立設可能となる。

図２のように画像処理装置１を立設した際、立設当初の一定時間、画像処理装置１には揺れが発生し、撮像画像にぶれが生じることがある。この場合、新たな被写体のフレームへの進入がないにもかかわらず、画像データの変化があると判定される虞があるため、自動記録機能による撮影すべきタイミングの判定を適切に行えない可能性がある。
これに対し、本発明に係る画像処理装置１では、画像処理装置１が静止しているか否かを判定し、画像処理装置１が静止した状態（即ち、自動撮影機能を実行すべき状態）で、自動撮影機能による撮影を行う処理（後述する静止時記録処理）を実行するため、画像認識を利用して行われる撮像の制御をより適切なものとすることができる。

図３は、自動記録機能を有する画像処理装置１のハードウェアの構成を示すブロック図である。

画像処理装置１は、上述した表示部２１及び撮像部２２に加えてさらに、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４３と、画像処理部４４と、バス４５と、入出力インターフェース４６と、計時部４７と、操作部４８と、記憶部４９と、通信部５０と、ドライブ５１と、を備えている。

ＣＰＵ４１は、ＲＯＭ４２に記録されているプログラム、または、記憶部４９からＲＡＭ４３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ４３には、ＣＰＵ４１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部４４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ４１と協働して、画像のデータに対して各種画像処理を施す。
例えば、画像処理部４４は、撮像部２２から出力される撮像画像のデータに対して、ノイズ低減、ホワイトバランスの調整、手ぶれ補正等の画像処理を施す。

ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、及び画像処理部４４は、バス４５を介して相互に接続されている。このバス４５にはまた、入出力インターフェース４６も接続されている。入出力インターフェース４６には、表示部２１、撮像部２２、計時部４７、操作部４８、記憶部４９、通信部５０、及びドライブ５１が接続されている。

表示部２１は、各種画像を表示可能なディスプレイ等により構成される。
撮像部２２は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。

ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部２２の出力信号として出力される。
このような撮像部２２の出力信号が、撮像画像のデータであり、ＣＰＵ４１、画像処理部４４等に適宜供給される。

計時部４７は、ＣＰＵ４１の制御の下、計時動作を実行する。
操作部４８は、例えば、図示せぬレリーズ釦等の各種釦により構成され、ユーザの指示操作を受け付ける。
記憶部４９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部５０は、インターネットを含むネットワークを介して他の装置との間で行う通信を制御する。

ドライブ５１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア５２が適宜装着される。ドライブ５１によってリムーバブルメディア５２から読み出されたプログラムは、必要に応じて記憶部４９にインストールされる。また、リムーバブルメディア５２は、記憶部４９に記憶されている画像のデータ等の各種データも、記憶部４９と同様に記憶することができる。

図４は、画像処理装置１において、静止時記録処理を実行するための機能的構成を示す機能ブロック図である。
静止時記録処理とは、画像処理装置１が静止しているか否かを判定し、静止していると判定した場合に、逐次取得される画像データの変化を検出して自動記録機能による撮影を行う一連の処理をいう。

画像データ取得部６１は、フレームバッファを備え、撮像部２２から逐次出力される画像データを取得して、取得した画像データを所定フレーム分記憶する。具体的には、画像データ取得部６１は、撮像部２２から入力された画像データを少なくとも２フレーム分記憶する。そして、画像データ取得部６１が記憶している画像データを対象として、静止判定部７１が、画像処理装置１が静止しているか否かを判定するために動きベクトルの検出を行ったり、画像変化検出部７２が自動記録を行うためにフレーム間の変化（連続して取得される画像データの変化）を検出したりする。また、画像データ取得部６１に記憶されている最新のフレームの画像データが、表示部２１によって順次表示される。

静止判定部７１は、画像データ取得部６１に記憶されている１フレームの画像データにおいて、予め設定したブロック毎に動きベクトルを検出する。このとき、動きベクトルを検出する単位とするブロックは、動画像の符号化及び復号化に用いるマクロブロックとしたり、複数のマクロブロックを集合させた任意のサイズのブロックとしたりすることができる。そして、静止判定部７１は、検出した動きベクトルの度数分布を基に、画像処理装置１が静止しているか否かを判定する。
図５は、静止判定部７１における処理を説明するための模式図である。
図５（Ａ）は、１フレームの画像に設定されたブロックの一例を示す図である。
図５（Ｂ）は、図５（Ａ）における各ブロックの動きベクトル（図中の矢印）の一例を示す図である。

静止判定部７１は、図５（Ａ）のように設定された各ブロックにおいて、動きベクトルの種類とその頻度とを対応付けた度数分布を取得する。
図６は、図５（Ｂ）に示す動きベクトルの度数分布の一例を示すヒストグラムである。
図６に示すヒストグラムでは、動きベクトルの種類Ｍ１〜Ｍ８毎に、その度数が計数されている。

静止判定部７１は、このように度数分布を取得し、動きベクトルの度数について設定した閾値Ｄｔｈと、各動きベクトルの度数Ｄとを比較して、いずれかの動きベクトルの度数Ｄが閾値Ｄｔｈを上回っている場合に、画像処理装置１に振動が発生し静止していない（画像にぶれが生じ、自動記録機能により撮影のタイミングの判定を適切に行えない）と判定する。これは、各ブロックにおいて、同様の動きベクトルが多数取得されるときには、画像処理装置１に振動が発生している等の理由で、画像全体が同様の動きをしていると推定されるためである。

なお、同一の向き及び長さの動きベクトルを１種類の動きベクトルとして度数を計数することの他、予め設定した範囲内の向き及び長さの動きベクトルを１種類の動きベクトルとして度数を計数することができる。
そして、静止判定部７１は、画像処理装置１が振動せずに静止している（画像にぶれが発生していない）と判定した場合、画像処理装置１が静止していることを示す信号（以下、「静止信号」と呼ぶ。）を画像変化検出部７２に出力する。

画像変化検出部７２は、画像データ取得部６１に記憶されている複数のフレームの画像データの変化を検出する。具体的には、画像変化検出部７２は、先行するフレームの画像データと、その次のフレームの画像データとにおける相関性を算出し、相関性が閾値を下回った場合に、これらのフレームの画像データに変化が生じていると判定する。即ち、連続するフレームの画像データ間において、新たな被写体がフレームに進入した場合等、画像データの相関性が低下する場合、画像変化検出部７２によって画像データの変化が検出される。本実施形態に係る画像処理装置１では、この画像データの変化を自動記録機能によるレリーズ信号（撮像指示信号）のトリガとし、画像データの変化が検出された場合、画像変化検出部７２は、画像データ記録制御部８１に対し、表示部２１に表示されている画像のデータをリムーバブルメディア５２に記録させるためのレリーズ信号を出力する。

画像データ記録制御部８１は、画像変化検出部７２からレリーズ信号が入力された場合に、画像データ取得部６１に記憶されている最新のフレームの画像データを取得し、リムーバブルメディア５２に撮像画像のデータとして記録する。

［動作］
次に、図７を参照して、このような図４の機能的構成の画像処理装置１が実行する静止時記録処理について説明する。
図７は、静止時記録処理の流れを説明するフローチャートである。
静止時記録処理は、本実施形態では、ユーザが静止時記録処理の実行を指示する操作を操作部４８に対して行った場合、その操作を契機として開始される。

図７において、静止時記録処理が開始されると、ステップＳ１において、静止判定部７１は、静止判定のためのカウンタに０をセット（即ち初期化）する。
ステップＳ２において、静止判定部７１は、静止判定処理（後述）を実行し、画像処理装置１が静止しているか否かの判定結果を取得する。
ステップＳ３において、静止判定部７１は、ステップＳ２における判定結果が、画像処理装置１が静止していることを示すものであるか否かの判定を行う。

ステップＳ２における判定結果が、画像処理装置１が静止していることを示すものでない場合、ステップＳ３においてＮＯと判定されて、処理はステップＳ１に進む。
これに対し、ステップＳ２における判定結果が、画像処理装置１が静止していることを示すものである場合、ステップＳ３においてＹＥＳと判定されて、処理はステップＳ４に進む。
ステップＳ４において、静止判定部７１は、カウンタの値がいかなる値であるかの判定を行う。

カウンタの値が０である場合、ステップＳ４の判定の後、処理はステップＳ５に進む。
ステップＳ５において、静止判定部７１は、画像データ取得部６１に記憶されている最新のフレームの画像データを画像変化検出部７２における画像変化検出の基準（以下、「基準フレーム」と呼ぶ。）として保持させる。
ステップＳ６において、静止判定部７１は、静止判定のためのカウンタの値をインクリメントする。
ステップＳ６の後、処理はステップＳ２に進む。

カウンタの値が１以上である場合、ステップＳ４の判定の後、処理はステップＳ７に進む。このとき、静止判定部７１から画像変化検出部７２に静止信号が出力され、画像変化検出部７２に処理の実行が指示される。
ステップＳ７において、画像変化検出部７２は、画像変化検出処理（後述）を実行し、新たな被写体がフレームに進入する等により、画像データが変化したか否かの判定結果を取得する。
ステップＳ８において、画像変化検出部７２は、画像データが変化したか否かの判定結果が、画像データが変化したことを示すものであるか否かの判定を行う。

画像データが変化したか否かの判定結果が、画像データが変化したことを示すものでない場合、ステップＳ８においてＮＯと判定されて、処理はステップＳ９に進む。
ステップＳ９において、画像変化検出部７２は、カウンタの値がタイムアウトのために設定した閾値よりも大きいか否かの判定を行う。このように、ステップＳ９では、静止判定のためのカウンタをタイムアウトの判定に用いている。
カウンタの値がタイムアウトのために設定した閾値以下である場合、ステップＳ９においてＮＯと判定されて、処理はステップＳ２に進む。

これに対し、カウンタの値がタイムアウトのために設定した閾値よりも大きいと判定した場合、ステップＳ９においてＹＥＳと判定されて、静止時記録処理は終了となる。
また、画像データが変化したか否かの判定結果が、画像データが変化したことを示すものである場合、ステップＳ８においてＹＥＳと判定されて、処理はステップＳ１０に進む。このとき、画像変化検出部７２から画像データ記録制御部８１にレリーズ信号が出力され、画像データ記録制御部８１に処理の実行が指示される。

ステップＳ１０において、画像データ記録制御部８１は、画像データ取得部６１に記憶されている最新のフレームの画像データを撮像画像のデータとして取得し、リムーバブルメディア５２に記憶する。
ステップＳ１０の処理が終了すると、静止時記録処理は終了となる。

次に、図８を参照して、図４の機能的構成の画像処理装置１が静止時記録処理のサブフローとして実行する静止判定処理について説明する。
図８は、静止判定処理の流れを説明するフローチャートである。
静止判定処理は、静止時記録処理のステップＳ２においてサブフローとして起動される。

ステップＳ２１において、静止判定部７１は、画像データ取得部６１に記憶されている１フレームの画像データにおいて、予め設定したブロック毎に動きベクトルを検出する。
ステップＳ２２において、静止判定部７１は、検出した１フレーム分の動きベクトルにおいて、動きベクトルの種類毎に、その度数を計数する。

ステップＳ２３において、静止判定部７１は、動きベクトルにおける最大の度数Ｄｍａｘが動きベクトルの度数について設定した閾値Ｄｔｈよりも大きいか否かの判定を行う。
動きベクトルにおける最大の度数Ｄｍａｘが閾値Ｄｔｈよりも大きい場合、ステップＳ２３においてＹＥＳと判定されて、静止時記録処理に戻る。即ち、同様の動きベクトルが多数取得されるときには、画像全体が同様の動きをしている（画像処理装置１が静止していない）と推定されるため、画像処理装置１が静止していることを判定結果として設定することなく、静止時記録処理に戻る。

これに対し、動きベクトルにおける最大の度数Ｄｍａｘが閾値Ｄｔｈ以下である場合、ステップＳ２３においてＮＯと判定されて、処理はステップＳ２４に進む。
ステップＳ２４において、静止判定部７１は、画像処理装置１が静止していることを判定結果として設定する。
ステップＳ２４の処理が終了すると、静止時記録処理に戻る。

次に、図９を参照して、図４の機能的構成の画像処理装置１が静止時記録処理のサブフローとして実行する画像変化検出処理について説明する。
図９は、画像変化検出処理の流れを説明するフローチャートである。
画像変化検出処理は、静止時記録処理のステップＳ７においてサブフローとして起動される。

ステップＳ３１において、画像変化検出部７２は、基準フレームの画像データと新たに記憶されたフレームの画像データとにおける相関性を算出する。このとき、画像変化検出部７２は、例えば、画像に設定されたブロック毎あるいは任意に設定された相関性評価のための枠毎に相関性を算出する。
ステップＳ３２において、画像変化検出部７２は、ステップＳ３１で算出した相関性が、相関性について設定した閾値よりも大きいか否かの判定を行う。
ステップＳ３１で算出した相関性が閾値よりも大きい場合、ステップＳ３２においてＹＥＳと判定されて、静止時記録処理に戻る。即ち、基準フレームの画像データと新たに記憶された画像データとの相関性が閾値よりも大きいときには、基準フレームの画像データから変化がない（被写体に変化がない）と推定されるため、画像データが変化したことを判定結果として設定することなく、静止時記録処理に戻る。

これに対し、ステップＳ３１で算出した相関性が閾値以下である場合、ステップＳ３２においてＮＯと判定されて、処理はステップＳ３３に進む。
ステップＳ３３において、画像変化検出部７２は、画像データが変化したことを判定結果として設定する。
ステップＳ３３の処理が終了すると、静止時記録処理に戻る。

以上説明したように、第１実施形態の画像処理装置１は、画像データの動きベクトルを基に画像処理装置１の静止を判定する静止判定部７１と、逐次入力される画像データの変化を検出する画像変化検出部７２とを備えている。そして、静止判定部７１によって、画像処理装置１が静止していると判定された場合に、画像変化検出部７２が画像データの変化を検出し、画像データが変化した場合に、撮像画像のデータを記憶する。
そのため、画像処理装置が静止しており、自動記録機能による撮影のタイミングを判定するのに適している状態で、当該自動記録機能による画像データの記録のための画像認識を行うことができる。
したがって、画像データの変化をより適確に判定することができるため、画像認識を利用して行われる画像データの記録の制御をより適切なものとすることができる。

また、静止判定部７１は、静止時記録処理において、画像処理装置１の静止を繰り返し判定するため、画像処理装置１が静止した直後に、自動記録機能による画像データの記録が可能な状態となる。
したがって、画像処理装置１をユーザが手で保持している場合等であっても、撮影が可能となる時間をより長く確保することができる。

また、静止判定部７１は、画像データにおけるブロック毎の動きベクトルを基に、画像処理装置１が静止しているか否かを判定するため、画像認識に直接影響する画像の状態に基づいて、画像処理装置１が静止しているか否かが判定される。
したがって、自動記録機能による記録すべき画像データを判定するタイミングをより適切なものとすることができる。
また、画像変化検出部７２は、連続するフレームにおける画像データの変化を検出し、この変化をレリーズ信号のトリガとしている。
したがって、新たな被写体がフレームに進入したタイミング等の短時間のシャッタチャンスを逃さずに撮影を行うことができる。

また、画像変化検出部７２は、静止判定部７１によって画像処理装置１が静止していると判定された後、カウンタの値を参照して、タイムアウトとなっているか否かを判定する。
したがって、画像処理装置１が静止した後、一定時間、画像データの変化が検出されない場合に、撮像を待機する状態が長時間継続することを防止できる。

［応用例］
第１実施形態において、静止判定処理のステップＳ２３では、閾値Ｄｔｈを固定値であるものとして説明したが、閾値Ｄｔｈを可変とすることもできる。
例えば、各画像データにおける動きベクトルの度数分布に応じて閾値Ｄｔｈを算出し、その画像データについては、算出した閾値ＤｔｈをステップＳ２３の判定に用いることができる。この場合、動きベクトルの度数にばらつきが多いほど、閾値Ｄｔｈをより小さくし、動きベクトルの度数にばらつきが少ないほど、閾値Ｄｔｈをより大きくすること等が可能である。
これにより、画像データの内容（即ち、被写体の状態）に応じて、より適切に画像処理装置１が静止しているか否かの判定を行うことができる。

［第２実施形態］
第１実施形態では、静止判定処理として、画像データにおける動きベクトルを検出し、その度数分布を基に画像処理装置１の静止を判定するものとした。
これに対し、第２実施形態では、画像処理装置１に加速度センサを備えることとし、加速度センサの検出信号を基に画像処理装置１の静止を判定する。

図１０は、第２実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。
画像処理装置１は、表示部２１と、撮像部２２と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４３と、画像処理部４４と、バス４５と、入出力インターフェース４６と、計時部４７と、操作部４８と、記憶部４９と、通信部５０と、ドライブ５１と、加速度センサ５３とを備えている。

これらのうち、加速度センサ５３以外の各部については、第１実施形態における各部の構成と同様である。
加速度センサ５３は、ピエゾ抵抗型あるいは静電容量検出型等の加速度センサであり、画像処理装置１に加わる加速度を検出する。そして、加速度センサ５３は、検出した加速度を示す信号を、バス４５を介してＣＰＵ４１及び画像処理部４４に出力する。

図１０に示すハードウェアの構成において、静止時記録処理を実行するための機能的構成については、静止判定部７１の機能を除き、図４における構成と同様である。
静止判定部７１は、加速度センサ５３が出力する加速度を示す信号を取得し、その加速度が、加速度について設定した閾値を上回っている場合に、画像処理装置１に振動が発生し静止していないと判定する。

［動作］
次に、図１１を参照して、第２実施形態における静止判定処理について説明する。
図１１は、第２実施形態に係る静止判定処理の流れを説明するフローチャートである。
静止判定処理は、静止時記録処理のステップＳ２においてサブフローとして起動される。
ステップＳ４１において、静止判定部７１は、加速度センサ５３から入力される加速度を示す信号を取得する。
ステップＳ４２において、静止判定部７１は、ステップＳ４１において取得した信号が示す加速度が、加速度について設定した閾値よりも大きいか否かの判定を行う。

ステップＳ４１において取得した信号が示す加速度が、加速度について設定した閾値よりも大きい場合、ステップＳ４２においてＹＥＳと判定されて、静止時記録処理に戻る。即ち、画像処理装置１が静止していることを判定結果として設定することなく、静止時記録処理に戻る。
これに対し、ステップＳ４１において取得した信号が示す加速度が、加速度について設定した閾値以下である場合、処理はステップＳ４３に進む。
ステップＳ４３において、静止判定部７１は、画像処理装置１が静止していることを示す判定結果に設定する。
ステップＳ４３の処理が終了すると、静止時記録処理に戻る。

以上説明したように、第２実施形態の画像処理装置１は、加速度センサ５３によって検出された加速度を基に画像処理装置１の静止を判定する静止判定部７１と、逐次入力される画像データの変化を検出する画像変化検出部７２とを備えている。そして、静止判定部７１によって、画像処理装置１が静止していると判定された場合に、画像変化検出部７２が画像データの変化を検出し、画像データが変化した場合に、撮像画像のデータを記憶する。
そのため、画像処理装置が静止しており、自動記録機能による画像データの記録のタイミングの判定を行うのに適した状態で、当該自動記録機能による記録のための画像認識を行うことができる。
したがって、画像データの変化をより適確に判定することができるため、画像認識を利用して行われる画像データの記録の制御をより適切なものとすることができる。

また、静止判定部７１は、画像処理装置１が備える加速度センサ５３によって検出した加速度を基に、画像処理装置１が静止しているか否かを判定するため、画像処理装置１に実際に発生している振動等に起因する加速度に基づいて、画像処理装置１が静止しているか否かが判定される。
したがって、画像処理装置１の静止状態をより適確に判定することができ、自動記録機能による画像データの記録のタイミングの制御をより適切なものとすることができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態では、画像処理装置１として、撮像部２２を備えるデジタルカメラを例に挙げて説明したが、自装置に撮像部２２を備えることなく、他の装置の撮像部が撮像した画像の画像データが入力される装置（例えば、通信相手がＷｅｂカメラで撮影した画像の画像データを逐次受信する情報処理装置等）にも、本発明を適用することができる。あるいは、撮像部２２が、画像処理装置１から分離可能なユニットとされている装置にも、本発明を適用することができる。この場合、静止判定処理において、動きベクトルの検出あるいは加速度センサによる加速度の検出を行って、撮像部（具体的には撮像部が備えられた装置あるいはユニット）の静止を判定することにより、本発明の効果を奏するものとなる。

上述の実施形態では、記憶媒体としてリムーバブルメディア５２を用いているがこれに限定されない。例えば、ネットワーク上の他の装置（サーバ等）内の記憶部（ハードディスク等）でも良い。

また、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明に係る画像処理装置は、画像処理機能を有する電子機器一般に適用することができる。具体的には、本発明に係る画像処理装置は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成しても良いし、ソフトウェア単体で構成しても良いし、それらの組み合わせで構成しても良い。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであっても良い。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図３，１０のリムーバブルメディア５２により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア５２は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図３，１０のＲＯＭ４２や、図３，１０の記憶部４９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像手段と、
前記撮像手段によって撮像された画像データを逐次取得する画像データ取得手段と、
前記撮像手段が静止しているか否かを判定する静止判定手段と、
前記静止判定手段によって前記撮像手段が静止していると判定された場合に、前記画像データ取得手段によって逐次取得された画像データの変化を検出する画像変化検出手段と、
前記画像変化検出手段によって検出された画像データの変化に基づいて、前記画像データ取得手段によって取得された画像データを記録するよう制御する画像データ記録制御手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記静止判定手段は、前記撮像手段が静止しているか否かを繰り返し判定し、
前記画像変化検出手段は、前記静止判定手段によって前記撮像手段が静止していると判定された場合に、前記画像データ取得手段によって逐次取得された画像データの変化を検出することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記画像データ取得手段によって取得された前記画像データの領域毎に動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段によって検出された前記動きベクトルの度数を算出する度数算出手段と、
前記度数算出手段によって算出された前記動きベクトルの度数のうち、最大の度数が、前記動きベクトルの度数について予め設定された閾値よりも大きいか否かを判定する度数判定手段と、
をさらに備え、
前記静止判定手段は、前記度数判定手段によって、前記動きベクトルの最大の度数が、前記動きベクトルの度数について予め設定された前記閾値以下であると判定された場合に、前記撮像手段が静止していると判定することを特徴とする付記１または２に記載の画像処理装置。
［付記４］
加速度を検出する加速度検出手段と、
前記加速度検出手段によって検出された加速度が、前記加速度について予め設定された閾値よりも大きいか否かを判定する加速度判定手段と、
をさらに備え、
前記静止判定手段は、前記加速度判定手段によって、前記加速度が、前記加速度について予め設定された前記閾値以下であると判定された場合に、前記撮像手段が静止していると判定することを特徴とする付記１または２に記載の画像処理装置。
［付記５］
前記静止判定手段によって前記撮像手段が静止していると判定された場合に、前記画像データ取得手段によって取得された複数の画像データの相関性を算出する相関性算出手段と、
前記相関性算出手段によって算出された前記相関性が、前記相関性について予め設定された閾値よりも大きいか否かを繰り返し判定する相関性判定手段と、
をさらに備え、
前記画像データ記録制御手段は、前記相関性判定手段によって、前記相関性が、前記相関性について予め設定された前記閾値以下であると判定された場合に、前記画像データ取得手段によって取得された画像データを記録することを特徴とする付記１から４のいずれか１項に記載の画像処理装置。
［付記６］
前記静止判定手段によって前記撮像手段が静止していると判定された場合にカウント値を加算するカウント手段と、
前記カウント手段によって加算された前記カウント値が、前記カウント値について予め設定された閾値よりも大きいか否かを判定するカウント値判定手段と、
前記カウント値判定手段によって、前記カウント値が、前記カウント値について予め設定された前記閾値よりも大きいと判定された場合、前記静止判定手段による判定を終了させる静止判定終了手段と、
を備えることを特徴とする付記１から５のいずれか１項に記載の画像処理装置。
［付記７］
撮像手段を備えた画像処理装置における画像処理方法であって、
前記撮像手段によって撮像された画像データを取得する画像データ取得ステップと、
前記撮像手段が静止しているか否かを判定する静止判定ステップと、
前記静止判定ステップにおいて前記撮像手段が静止していると判定された場合に、前記画像データ取得ステップにおいて取得された複数の前記画像データの変化を検出する画像変化検出ステップと、
前記画像変化検出ステップにおいて検出された複数の前記画像データにおける変化に基づいて、前記画像データ取得ステップにおいて取得された前記画像データを記録手段に記録するよう制御する画像データ記録制御ステップと、
を含むことを特徴とする画像処理方法。
［付記８］
撮像手段を備えた画像処理装置のためのプログラムであって、コンピュータに、
前記撮像手段によって撮像された画像データを取得する画像データ取得機能と、
前記撮像手段が静止しているか否かを判定する静止判定機能と、
前記静止判定機能によって前記撮像手段が静止していると判定された場合に、前記画像データ取得機能によって逐次取得された画像データの変化を検出する画像変化検出機能と、
前記画像変化検出機能によって検出された複数の前記画像データにおける変化に基づいて、前記画像データ取得機能によって取得された前記画像データを記録手段に記録するよう制御する画像データ記録制御機能と、
を実現させることを特徴とするプログラム。

１・・・画像処理装置、１１・・・カメラ本体、１２・・・表示部本体、１３・・・フレーム本体、２１・・・表示部、２２・・・撮像部、４１・・・ＣＰＵ、４２・・・ＲＯＭ、４３・・・ＲＡＭ、４４・・・画像処理部、４５・・・バス、４６・・・入出力インターフェース、４７・・・計時部、４８・・・操作部、４９・・・記憶部、５０・・・通信部、５１・・・ドライブ、５２・・・リムーバブルメディア、５３・・・加速度センサ、６１・・・画像データ取得部、７１・・・静止判定部、７２・・・画像変化検出部、８１・・・画像データ記録制御部

Claims (7)

1. 撮像手段によって撮像された画像データを逐次取得する取得手段と、
   前記取得手段によって取得された前記画像データの領域毎に動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトル検出手段によって検出された前記動きベクトルの度数を算出する度数算出手段と、
   前記度数算出手段によって算出された前記動きベクトルの度数のうち、最大の度数が第１の閾値以上か否かを判定することにより、前記撮像手段又は本画像処理装置が静止しているか否かを繰り返し判定する第１の判定手段と、
   前記第１の判定手段によって前記動きベクトルの最大の度数が、前記第１の閾値以上でないと判定された場合に、前記撮像手段又は本画像処理装置が静止していると判定し、前記取得手段によって逐次取得された画像データの変化の有無を判定する第２の判定手段と、
   前記第２の判定手段によって判定された画像データの変化があると判定された場合、前記取得手段によって逐次取得された画像データから当該変化を有する画像データを記録手段に記録させるよう制御する記録制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記度数算出手段により算出された前記動きベクトルの度数の分布に応じて前記第１の閾値を設定する設定手段を更に備え、
   前記第１の判定手段は、前記度数算出手段によって算出された前記動きベクトルの度数のうち、最大の度数が前記設定手段により設定された第１の閾値以上か否かを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記動きベクトルの度数にばらつきが多いほど前記第１の閾値が小さくなるように当該第１の閾値を設定する請求項２に記載の画像処理装置。
4. 前記設定手段は、前記動きベクトルの度数にばらつきが少ないほど前記第１の閾値が大きくなるように当該第１の閾値を設定する請求項２又は３に記載の画像処理装置。
5. 前記第１の判定手段によって前記撮像手段が静止していると判定された場合に、前記取得手段によって取得された複数の画像データの相関性を算出する相関性算出手段と、
   前記相関性算出手段によって算出された前記相関性が第２の閾値以上か否かを繰り返し判定する相関性判定手段と、
   を更に備え、
   前記記録制御手段は、前記相関性判定手段によって、前記相関性が前記第２の閾値以上でないと判定された場合に、前記取得手段によって取得された画像データを前記記録手段に記録させることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 画像処理装置における画像処理方法であって、
   撮像手段によって撮像された画像データを逐次取得する取得ステップと、
   前記取得ステップにて取得された前記画像データの領域毎に動きベクトルを検出する動きベクトル検出ステップと、
   前記動きベクトル検出ステップにて検出された前記動きベクトルの度数を算出する度数算出ステップと、
   前記度数算出ステップにて算出された前記動きベクトルの度数のうち、最大の度数が閾値以上か否かを判定することにより、前記撮像手段又は前記画像処理装置が静止しているか否かを繰り返し判定する第１の判定ステップと、
   前記第１の判定ステップにて前記動きベクトルの最大の度数が、前記閾値以上でないと判定された場合に、前記撮像手段又は前記画像処理装置が静止していると判定し、前記取得ステップにて逐次取得された画像データの変化の有無を判定する第２の判定ステップと、
   前記第２の判定ステップにて判定された画像データの変化があると判定された場合、前記取得ステップにて逐次取得された画像データから当該変化を有する画像データを記録手段に記録させるよう制御する記録制御ステップと、
   を含むことを特徴とする画像処理方法。
7. 画像処理装置のコンピュータに、
   撮像手段によって撮像された画像データを取得する取得機能と、
   前記取得機能によって取得された前記画像データの領域毎に動きベクトルを検出する動きベクトル検出機能と、
   前記動きベクトル検出機能によって検出された前記動きベクトルの度数を算出する度数算出機能と、
   前記度数算出機能によって算出された前記動きベクトルの度数のうち、最大の度数が閾値以上か否かを判定することにより、前記撮像手段又は本画像処理装置が静止しているか否かを繰り返し判定する第１の判定機能と、
   前記第１の判定機能によって前記動きベクトルの最大の度数が、前記第１の閾値以上でないと判定された場合に、前記撮像手段又は前記画像処理装置が静止していると判定し、前記取得機能によって逐次取得された画像データの変化の有無を判定する第２の判定機能と、
   前記第２の判定機能によって判定された画像データの変化があると判定された場合、前記取得機能によって逐次取得された画像データから当該変化を有する画像データを記録手段に記録させるよう制御する記録制御機能と、
   を実現させることを特徴とするプログラム。
   

Images