JP5177284B2 - 被写体動き検出装置および方法 - Google Patents

Description

本発明は、デジタル画像を利用して被写体の動きを検出する装置および方法に係わり、例えばデジタルカメラまたは電子カメラに適用可能である。

デジタルカメラ（または、電子カメラ）により得られるデジタル画像は、一般に、手ぶれおよび被写体ぶれを含んでいる。手ぶれは、撮影中にカメラ自体が動くことにより発生する。また、撮影中に被写体が動くと、被写体ぶれが発生する。そして、カメラにより撮影される画像の画質を高めるためには、手ぶれおよび被写体ぶれの双方が補正されることが好ましい。

手ぶれを補正する技術としては、光学式補正および電子式補正が知られている。光学式補正は、撮影時のカメラの動きに応じて、レンズまたはセンサ（ＣＭＯＳセンサまたはＣＣＤセンサなど）の位置を制御することで実現される。また、撮影の露光時間を短くすれば、手ぶれは抑制される。ただし、露光時間が短いと、露光不足により画質が劣化するおそれがある。このため、電子式補正においては、連写撮影により複数の画像が取得され、位置合わせをした後にそれらの画像が合成される。これにより、露光不足の問題は緩和される。なお、画像間の位置合わせには、例えば、ＫＬＴ法またはモラベックオペレータ法などが使用される。

被写体ぶれも、撮影の露光時間を短くすることで抑制可能である。したがって、被写体ぶれ補正は、被写体の動きの度合いに応じて露光時間を制御することで実現される。例えば、被写体の動きが大きいとき（すなわち、画像上で被写体が動いている領域が大きいとき）は、露光時間が短く制御される。ここで、被写体の動きは、例えば、実際の撮影の直前に行う予備撮影により得られる画像に基づいて算出される。なお、露光不足による画質の劣化は、手ぶれ補正と同様に画像合成で抑制してもよいし、ノイズ除去処理などの画像処理技術で抑制するようにしてもよい。

被写体の動きは、連写撮影により得られる複数の画像を利用して算出することが可能である。ただし、撮影により得られる画像は、一般に、手ぶれ成分を含んでいる。したがって、撮影により得られる画像を利用して被写体の動きを検出するためには、手ぶれ成分を除去する必要がある。そして、従来より、手ぶれ成分を除去して被写体の動きを検出する方法が提案されている。

第１の方法においては、光学式補正により手ぶれが抑制される。この場合、連写撮影により得られる複数の画像間の差分を算出することで、被写体動きが検出される。
第２の方法においては、画像動きベクトル検出装置は、ビデオカメラの映像信号から手ぶれベクトルを検出する回路を備える。そして、映像信号および手ぶれベクトルに基づいて、被写体動きを表すベクトルが検出される。（例えば、特許文献１）
被写体動きを検出する他の方法は、例えば、特許文献２〜４に記載されている。また、特許文献５〜６に関連する技術が記載されている。

しかしながら、第１の方法を実施するためには、カメラが光学式手ぶれ補正機構を備える必要がある。このため、第１の方法を採用する場合、カメラの価格が高くなる。また、光学式手ぶれ補正機構は、一般に、耐衝撃性（または、耐振動性）を高めることは容易でない。したがって、携帯電話器等の耐衝撃性が要求されている電子機器は、光学式手ぶれ補正機構を備えることは困難である。

第２の方法を利用して被写体ぶれを補正する場合は、保存する画像を撮影する直前に、予備撮影により得られる複数の画像から被写体の動きを算出し、その算出した被写体動きに対応する撮影パラメータ（例えば、露光時間）を決定する必要がある。ここで、撮影パラメータを決定するための処理時間が長くなると、算出した被写体動きと、実際の撮影時の被写体の動きが異なってしまう。この場合、不適切な撮影パラメータで画像が撮影されるので、画質が劣化するおそれがある。このため、例えば、カメラの撮影能力が30fpsである場合、1/30秒以内に被写体の動きを算出できることが好ましい。ところが、第２の方法においては、手ぶれ成分を除去するために、画像の位置合わせが行われる。ここで、画像の位置合わせは、特徴点を抽出する手順、抽出した特徴点を追跡する手順などを含み、演算量が多いので、リアルタイム処理が困難である。したがって、第２の方法は、被写体ぶれを補正するためには適切ではない。

このように、従来技術においては、被写体の動きを検出するための処理量が大きかったので、安価な構成で被写体ぶれを適切に補正することは困難であった。
特開平６−２１７１８８号公報 特開２００３−１３４３８５号公報 特開２００３−１４３４８４号公報 特開２００６−２５４３６４号公報 特開平９−１１６８５５号公報 特開２００５−２０３８８０号公報

本発明の課題は、カメラにより得られるデジタル画像を利用して被写体の動きを検出するための処理時間を短くすることである。
本発明の１つの態様の被写体動き検出装置は、連写撮影により第１の画像および第２の画像を生成する画像撮影部と、前記第１の画像および第２の画像に対してそれぞれぼかし処理を行う画像変換部と、前記画像変換部によりぼかされた第１の画像と第２の画像との差分が閾値よりも大きい動き領域を検出する検出部と、前記動き領域に基づいて被写体動きの度合いを判定する判定部、を有する。

上記構成において、第１の画像および第２の画像がぼかされると、第１、第２の画像間でのエッジ部の差分値が小さくなる。よって、画像のエッジ部は、動き領域として検出されない。なお、エッジ部は、画像内で隣接画素値の変動が激しい部分（例えば、被写体と背景との境界や、服や壁の模様など）である。ゆるやかなグラデーションや画素値の変動の少ない領域（例えば、青空、模様の無い壁、しわの無い肌など）はエッジ部ではない。ここで、手ぶれによる動き領域は、主に、エッジ領域に発生する。エッジ部ではない領域（非エッジ領域）では、近傍画素との差分が小さいので、手ぶれにより位置がずれても画素値の差分は大きくならず、動き領域にはならない。一方、被写体ぶれは、一般に、手ぶれよりも動き幅が大きいため、非エッジ領域であっても動き領域となりうる。したがって、エッジ部の動き領域を除去することで手ぶれの影響が除去され、被写体動きによる動き領域のみが検出される。なお、画像をぼかす処理および画像間の差分を検出する処理は、演算量が少ない。

本発明の他の態様の被写体動き検出装置は、連写撮影により第１の画像および第２の画像を生成する画像撮影部と、前記第１の画像と第２の画像との差分が閾値よりも大きい動き領域を検出する検出部と、前記検出部により検出された動き領域の中で線状の動き領域を削除する削除部と、前記削除部により一部が削除された動き領域に基づいて被写体動きの度合いを判定する判定部、を有する。

上記構成において、線状の動き領域を削除することにより、手ぶれの影響が除去され、被写体動きによる動き領域が検出される。
本発明のさらに他の態様の被写体動き検出装置は、連写撮影により第１の画像および第２の画像を生成する画像撮影部と、前記第１の画像と第２の画像との差分が閾値よりも大きい動き領域を検出する検出部と、前記第１の画像においてエッジ領域を検出するエッジ検出部と、前記差分領域から前記エッジ領域を削除する削除部と、
前記削除部により一部が削除された動き領域に基づいて被写体動きの度合いを判定する判定部、を有する。

上記構成において、エッジ領域を削除することにより、手ぶれの影響が除去され、被写体動きによる動き領域が検出される。
本発明によれば、カメラにより得られるデジタル画像を利用して被写体の動きを検出するための処理時間が短くなる。

画像上の動き領域を検出する手順を示すフローチャートである。 手ぶれおよび被写体ぶれについて説明する図である。 実施形態の被写体動き検出方法を示すフローチャートである。 第１の実施形態の被写体動き検出装置の構成を示す図である。 第１の実施形態において動き領域を検出する処理を説明する図である。 第１の実施形態の画像変換部が供えるフィルタの実施例である。 フィルタによるぼかし処理を説明する図である。 第１の実施形態の他の動作を示すフローチャートである。 第２の実施形態の被写体動き検出装置の構成を示す図である。 動き領域削除部の処理を説明する図である。 動き領域削除部が備えるフィルタの実施例である。 動き領域削除部によるフィルタ演算および閾値判定を説明する図である。 第２の実施形態の他の動作を示すフローチャートである。 図１３に示す手順で使用されるフィルタの実施例である。 図１３に示す手順を説明する図である。 第２の実施形態の被写体動き検出装置の変形例を示す図である。 第３の実施形態の被写体動き検出装置の構成を示す図である。 第３の実施形態の検出方法を示すフローチャートである。 実施形態の被写体ぶれ抑制装置の構成を示す図である。 実施形態の被写体ぶれ通知装置の構成を示す図である。 実施形態の被写体動き検出装置を実現するハードウェア構成を示す図である。

実施形態の被写体動き検出方法においては、連写撮影により得られる２枚のデジタル画像（第１の画像および第２の画像）を利用して、被写体動きの度合いが検出される。
図１は、第１および第２の画像を利用して画像上の動き領域を検出する手順を示すフローチャートである。ここでは、連写撮影により第１および第２の画像が生成されるものとする。

ステップＳ１では、第１の画像と第２の画像との差分値が算出される。差分値は、第１および第２画像の同じ位置の画素値の差分をそれぞれ計算することによって生成される。画素値は、特に限定されるものではないが、例えば、各画素の輝度を表す情報、または色差を表す情報、或いはそれらの組合せである。

ステップＳ２〜Ｓ４は、各画素の差分値について実行される。ステップＳ２では、第１の画像と第２の画像との間の差分値と、予め設定された閾値とが比較される。そして、差分値が閾値よりも大きければステップＳ３に進み、差分値が閾値以下であればステップＳ４に進む。ステップＳ３では、対象画素に対して「１」が割り当てられる。ステップＳ４では、対象画素に対して「０」が割り当てられる。このように、対象画素に対して「１」または「０」を割り当てた画像を差分画像と称する。ステップＳ５は、すべての画素に対してステップＳ２〜Ｓ４を実行するために設けられている。

このように、第１および第２の画像間で変化が無いまたは小さい領域には「０」が割り当てられる。一方、第１および第２の画像間で画素値が変化している領域には「１」が割り当てられる。すなわち、「１」が割り当てられた領域は、「動き」が発生した領域を表している。以下、この領域を「動き領域」を呼ぶことがある。なお、動き領域は、手ぶれによる動き領域および被写体動きによる動き領域を含んでいる。

図２は、手ぶれおよび被写体動きについて説明する図である。なお、図２は、被写体Ａを連写撮影することにより得られる第１および第２の画像の差分画像を示している。
図２に示す例では、手ぶれにより（すなわち、撮影時にカメラが動いたことにより）、第１および第２の画像間で位置ずれが生じている。ただし、手ぶれによる位置ずれの方向および大きさは、画像全域に渡ってほぼ均一である。このため、差分画像においては、手ぶれによる動き領域は、画像のエッジ部に発生する。図２では、被写体Ａの輪郭線に沿って動き領域が発生している。ここで、エッジ部に発生する動き領域の幅は、手ぶれの大きさに依存する。すなわち、手ぶれが大きければ、エッジ部の動き領域の幅も広くなる。ただし、通常の撮影では、手ぶれによる動き領域の幅は、広くても画像フレーム幅の１〜２パーセント程度である。なお、カメラが水平方向に動いたときは、水平方向または略水平方向に伸びる輪郭線に発生する動き領域の幅は狭くなる。同様に、カメラが垂直方向に動いたときは、垂直方向または略垂直方向に伸びる輪郭線に発生する動き領域の幅は狭くなる。

また、この例では、撮影時に被写体Ａが動いたことにより、差分画像において動き領域が発生している。図２では、黒色に着色されている領域が動き領域である。
図２に示す表は、手ぶれおよび被写体動きによる動き領域の特徴についてまとめたものである。被写体動きによる動き領域は、撮影時に被写体が動いた領域に発生する。一方、手ぶれによる動き領域は、画像全域に渡って発生し得る。ただし、手ぶれによる動き領域は、基本的に、画像のエッジ部のみに発生する。また、被写体動きによる動き領域の大きさは、撮影時に動いた被写体の大きさに依存する。これに対して、手ぶれよる動き領域の大きさ（幅）は、手ぶれの大きさに依存する。

このように、差分画像から検出される動き領域は、手ぶれおよび被写体動きにより発生する。このため、差分画像上の動き領域から手ぶれによる動き領域を削除すれば、被写体動きを検出することができる。ここで、手ぶれによる動き領域は、上述したように、画像のエッジ部に発生する。したがって、実施形態の被写体動き検出方法においては、動き領域からエッジ部の動き領域を削除（または、抑制）することにより、被写体動きによる動き領域が検出される。

図３は、実施形態の被写体動き検出方法を示すフローチャートである。ステップＳ１１では、連写画像が撮影される。すなわち、第１および第２の画像が生成される。ステップＳ１２では、連写画像の差分画像においてエッジ部の差分値が抑制される。ステップＳ１２は、特に限定されるものではないが、例えば、下記の３つのいずれかの方法で実現される。
（１）元画像（第１および第２の画像）を加工した後に、加工後の元画像間の差分画像を生成する（第１の実施形態）
（２）差分画像を加工する（第２の実施形態）
（３）元画像を利用して差分画像を加工する（第３の実施形態）
ステップＳ１３では、ステップＳ１２により得られる画像において、差分値が閾値よりも大きい領域（または、画素）を抽出する。そして、抽出される領域の面積（あるいは、抽出される画素の個数）に応じて、被写体動きの度合いが判定される。

＜第１の実施形態＞
図４は、第１の実施形態の被写体動き検出装置の構成を示す図である。第１の実施形態の被写体動き検出装置１０１は、画像撮影部１、画像保持部２Ａ、２Ｂ、画像変換部３、差分算出部４、判定部５を備え、例えば、デジタルカメラに搭載されて使用される。

画像撮影部１は、例えば、ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサを含んで構成され、デジタル画像を生成する。また、画像撮影部１は、連写撮影機能を備え、所定の時間間隔（例えば、10fps以上）でデジタル画像を生成することができる。なお、画像撮影部１は、カメラのシャッタが押圧されない状態でも、継続的に、上述の時間間隔でデジタル画像を生成することができる。以下、この動作状態のことを「予備撮影」と呼ぶことがある。

画像保持部２Ａ、２Ｂは、それぞれ、画像撮影部１により得られる画像を保持する。ここで、画像撮影部１が連写撮影（あるいは、予備撮影）を行うときは、生成されるデジタル画像が交互に画像保持部２Ａ、２Ｂに書き込まれる。なお、画像保持部２Ａ、２Ｂは、例えば、半導体メモリである。以下の説明では、画像保持部２Ａ、２Ｂに保持されている画像を、それぞれ、第１の画像および第２の画像と呼ぶことがある。

画像変換部３は、所定の演算を実行することにより、画像保持部２Ａ、２Ｂに保持されている第１および第２の画像を変換する。そして、画像変換部３により変換された第１および第２の画像は、再び画像保持部２Ａ、２Ｂに保持される。なお、画像変換部３により実行される画像変換については、後で詳しく説明する。

差分算出部４は、画像保持部２Ａ、２Ｂに保持されている変換後の第１および第２の画像間の差分を算出する。すなわち、差分算出部４は、変換後の第１および第２の画像間の差分画像を生成する。なお、差分画像は、２枚の画像の同じ位置の画素値の差分をそれぞれ計算することにより生成される。

また、差分算出部４は、変換後の第１および第２の画像に対して、図１に示すフローチャートのステップＳ２〜Ｓ４の処理を実行する。したがって、変換後の第１および第２の画像間の差分値において、画素値の差分が閾値よりも大きい領域に対して「１：動き領域」が割り当てられ、画素値の差分が閾値以下の領域に対して「０：非動き領域」が割り当てられる。

判定部５は、差分算出部４により抽出される動き領域に基づいて、被写体の動きを検出する。この実施例では、判定部５は、被写体動きの度合いを検出する。「被写体動きの度合い」は、例えば、動き領域の面積、または画像全体の面積に対する動き領域の面積の比率に応じて決定される。動き領域の面積は、例えば、「１」が割り当てられている画素の個数により表される。なお、「被写体動きの度合い」は、例えば、２レベル（大きい／小さい）で定義されてもよいし、３以上のレベルで定義されてもよい。

図５は、第１の実施形態において動き領域を検出する処理を説明する図である。ここでは、第１および第２の画像のエッジ部が描かれている。また、この例では、手ぶれにより第１および第２の画像間でエッジ部の位置がわずかにずれている。

図５（ａ）は、画像変換部３を使用しないときの処理を示している。この場合、エッジ部においては、画素値の差分が大きくなる。すなわち、エッジ部においては、算出された差分値が閾値よりも大きくなる。したがって、図１に示すフローチャートの処理を実行すすると、領域ｘ１〜ｘ２に対して「１：動き領域」が割り当てられる。

図５（ｂ）は、画像変換部３を使用したときの処理を示している。画像変換部３は、この実施例では、第１および第２の画像に対してぼかし処理を実行する。ぼかし処理が実行されると、第１および第２の画像において、エッジの傾きが緩やかになる。すなわち、エッジ部において画素値の変化率が小さくなる。この場合、エッジ部の画素値の差分は小さくなる。すなわち、エッジ部であっても、算出された差分値が閾値よりも大きくなることはない。したがって、図１に示すフローチャートの処理を実行すると、エッジ部を含む領域ｘ３〜ｘ４に対して「０：非動き領域」が割り当てられる。

図６は、第１の実施形態の画像変換部３が備えるフィルタの実施例である。画像変換部３は、この実施例では、スムージングフィルタにより実現される。スムージングフィルタは、この実施例では３×３フィルタである。ただし、スムージングフィルタは、この構成に限定されるものではなく、例えば、５×５フィルタ等であってもよい。また、フィルタ係数も図６に示す実施例に限定されるものではない。

図７は、図６に示すスムージングフィルタによるぼかし処理を説明する図である。ここでは、元画像（第１および第２の画像）は、垂直方向にエッジ（色領域の境界線）を有している。

画像変換部３によるぼかし処理が行われないものとすると、第１および第２の画像間で各画素値の差分を算出することで差分値が生成される。この場合、図７に示す例では、中央領域の差分値は「6」になっている。さらに、各差分値が閾値と比較される。ここで、この実施例では、閾値は「5.5」であるものとする。そうすると、画像の中央領域において垂直方向に伸びる動き領域（「１」が割り当てられている領域）が発生した差分画像が得られる。

これに対して第１の実施形態においては、第１および第２の画像に対して画像変換部３によりぼかし処理が行われる。なお、図６において第１の画像および第２の画像として示す６×６領域の図示されていない外側には、隣接する画素値と同じ画素値が入っているものとする。ここでは、図６に示すスムージングフィルタにより、第１および第２の画像の各画素値がフィルタリングされている。たとえば、第１の画像の画素Ｐ１に対するフィルタ演算は、下記の通りである。
Ｐ１＝（1×1＋4×2＋7×1＋1×2＋4×4＋7×2＋1×1＋4×2＋7×1）／16＝4
また、第１の画像の画素Ｐ２に対するフィルタ演算は、下記の通りである。
Ｐ２＝（4×1＋7×2＋10×1＋4×2＋7×4＋10×2＋4×1＋7×2＋10×1）／16＝7
差分算出部４は、上記フィルタ演算後の第１および第２の画像の差分値を生成する。このとき、この差分値の最大値は小さくなる。この実施例では、最大差分値は「5.3」であり、閾値よりも小さくなる。この結果、この領域においては、動き領域（判定値が「１」になる領域）は発生しない差分画像が得られる。

このように、第１の実施形態においては、画像変換部３により第１および第２の画像に対してぼかし処理が行われるので、エッジ部において第１および第２の画像間での差分が小さくなる。このため、差分画像においてエッジ部が「非動き領域」と判定される。すなわち、エッジ部の動き領域が除去される。ここで、エッジ部の動き領域は、手ぶれにより発生したものである。したがって、上記手順により、手ぶれによる影響が除去され、被写体動きによる動き領域が検出される。

被写体動きによる動き領域は、図２に示すように、エッジ部以外にも発生する。また、被写体動きによる画像間の位置ずれの大きさ及び方向は一様ではない。さらに、被写体動きによる画像間の位置ずれの大きさは、手ぶれと比較して大きくなり得る。したがって、画像変換部３によるぼかし処理が行われても、被写体動きに起因して発生する画像間の差分値が一様に抑圧されることはない。すなわち、第１および第２の画像をぼかした後に差分演算および閾値判定を行っても、被写体動きによる動き領域は残ることになる。

削除可能なエッジ部の幅は、画像変換部３によるぼかし幅に依存する。ここで、ぼかし幅は、スムージングフィルタの大きさおよび係数を変えることにより調整される。すなわち、手ぶれに起因してエッジ部に発生する動き領域の幅が広くなることが予想される場合には、スムージングフィルタによるぼかし幅を大きくする。なお、ぼかし幅は、カメラの撮影パラメータまたは撮影時外光などにより調整されることが好ましい。例えば、画像サイズが大きいときは、ぼかし幅を広くするようにしてもよい。或いは、撮影時外光が弱いときは、ぼかし幅を狭くするようにしてもよい。

また、各画素が動き領域であるか非動き領域であるかを判定するための閾値は、エッジ部の動き領域を削除すると共に、他の動き領域を削除しないように、適切に決定される。この閾値は、例えば、シミュレーションまたは実際の測定などに応じて決定される。

さらに、演算量を少なくするためには、例えば、第１および第２の画像を縮小した後にフィルタ演算を実行するようにしてもよい。画像の縮小は、特に限定されるものではないが、画像の解像度を低くすることにより実現される。

図８は、第１の実施形態の他の動作を示すフローチャートである。なお、ステップＳ１１では、画像撮影部１が、連写撮影により第１および第２の画像を取得する。
ステップＳ２１では、画像変換部３は、第１および第２の画像に対して、解像度を低くする画像変換を行う。解像度変換は、たとえば、バイリニア処理で各画像をそれぞれ縮小することにより実現される。ステップＳ２２では、差分算出部４は、縮小された第１および第２の画像間の差分画像を生成する。さらに、ステップＳ２３において、差分算出部４は、図１に示すステップＳ２〜Ｓ４を実行することにより、差分画像から動き領域を抽出する。

ここで、手ぶれによる動き領域は、エッジ部に発生し、その面積（または、幅）は小さい。このため、第１および第２の画像の解像度を低くすると、手ぶれによる動き領域は埋没してしまう。これに対して、被写体動きによる動き領域は、その被写体の大きさに相当し、第１および第２の画像の解像度を低くしても埋没することはない。したがって、ステップＳ２１〜Ｓ２３を実行すれば、手ぶれによる動き領域が消滅し、被写体動きによる動き領域が抽出される。なお、解像度を低くするための画像縮小率は、エッジ部の動き領域が適切に除去または抑制されるように決定されることが好ましい。

＜第２の実施形態＞
図９は、第２の実施形態の被写体動き検出装置の構成を示す図である。第２の実施形態の被写体動き検出装置１０２は、画像撮影部１、画像保持部２Ａ、２Ｂ、差分算出部４、判定部５、動き領域削除部６を備え、例えば、デジタルカメラに搭載されて使用される。

画像撮影部１、画像保持部２Ａ、２Ｂ、差分算出部４、判定部５の構成および機能は、基本的に、第１の実施形態と同じである。ただし、第２の実施形態においては、画像撮影部１により得られる第１および第２の画像は、いったん画像保持部２Ａ、２Ｂに保持された後、変換されることなく差分算出部４に入力される。そして、差分算出部４は、そのようにして入力される第１および第２の画像間の差分画像を生成する。

動き領域削除部６は、差分算出部４により抽出される動き領域の端部または外周部を削除または抑制する。以下、図１０を参照しながら、動き領域削除部６の処理を説明する。なお、図１０において、黒色領域は「１：動き領域」と判定された画素を表している。白色領域は、「０：非動き領域」と判定された画素を表している。斜線領域は、動き領域削除部６により「１：動き領域」から「０：非動き領域」に変更された画素を表している。

図１０（ａ）では、線状の動き領域が発生している。この動き領域の幅は「２画素」に相当する。このような線状の動き領域は、上述したように、主に、手ぶれにより画像のエッジ部に発生する。動き領域削除部６は、動き領域の端部の画素を「非動き領域」に変更する。すなわち、動き領域削除部６は、動き領域に属する画素のうち、非動き領域に接しているが素の判定値を「１」から「０」に変更する。この結果、図１０（ａ）に示す動き領域はすべて削除される。このように、動き領域削除部６は、手ぶれによる動き領域を削除することができる。なお、上記手順によれば、線状の動き領域だけでなく、小さな動き領域も削除されることになる。

図１０（ｂ）では、縦方向および横方向に数画素以上の連続した動き領域が発生している。このような動き領域は、上述したように、被写体動きにより発生する。動き領域削除部６は、図１０（ａ）に示す例と同様に、動き領域の端部の画素を「非動き領域」に変更する。そうすると、動き領域の面積は小さくなるが、動き領域が消滅することはない。すなわち、動き領域削除部６により処理された後であっても、被写体動きによる動き領域は残ることになる。

図９に戻る。動き領域削除部６により動き領域の一部が削除された差分画像は、判定部５に入力される。そうすると、判定部５は、その差分画像の動き領域の面積（または、動き領域の画素の数）に算出する。ここで、動き領域削除部６から出力される差分画像は、手ぶれによる動き領域が削除されている。すなわち、動き領域削除部６から出力される差分画像の動き領域は、被写体動きに起因する。したがって、判定部５は、動き領域削除部６から出力される差分画像上の動き領域に基づいて、被写体動きの度合いを検出することができる。

図１１は、動き領域削除部６が備えるフィルタの実施例である。動き領域削除部６が備えるフィルタ（外周除去フィルタ）は、この実施例では３×３フィルタである。ただし、外周除去フィルタは、この構成に限定されるものではなく、例えば、５×５フィルタ等であってもよい。

動き領域削除部６は、各画素の判定値に対して、上述の外周除去フィルタを用いたフィルタ演算を行う。そして、動き領域削除部６は、各画素について、フィルタ演算結果Ａと閾値Ｔｈとを比較する。そして、動き領域削除部６は、対象画素の演算結果Ａが閾値以上であれば、その画素の判定値として「１」を出力し、対象画素の演算結果Ａが閾値よりも小さければ、その画素の判定値として「０」を出力する。

図１２は、動き領域削除部６によるフィルタ演算および閾値判定を説明する図である。図１２（ａ）では、差分算出部４により得られる差分画像において、線状の動き領域が発生している。ここで、「１」は動き領域を表し、「０」は非動き領域を表している。

動き領域削除部６は、図１１に示す外周除去フィルタを利用して、各画素についてフィルタ演算を実行する。例えば、画素Ｐ３に対するフィルタ演算は、下記の通りである。
Ｐ３＝0×1＋1×1＋1×1＋0×1＋1×8＋1×1＋0×1＋1×1＋1×1＝13
そして、動き領域削除部６は、各画素について、フィルタ演算結果と閾値とを比較する。この実施例では、閾値は「14」である。そうすると、図１２（ａ）に示す例では、すべての画素において判定値が「０」になる。すなわち、線状の動き領域は、動き領域削除部６により削除される。

図１２（ｂ）では、図１０（ｂ）と同様に、縦方向および横方向に数画素以上の連続した動き領域が発生している。この場合も、同様のフィルタ演算および閾値判定により、動き領域の外周部の画素の判定値は「１」から「０」に変更される。すなわち、動き領域の外周部が削除されるので、動き領域の面積は小さくなる。しかし、画像の右下領域に動き領域が残ることになる。

なお、上述の手順によれば、線状の動き領域および小さな動き領域が削除されるとともに、被写体動きによる大きな動き領域の外周が削除される。したがって、動き領域削除部６は、上述の領域削除処理の後に、領域膨張処理を実行するようにしてもよい。領域膨張処理は、例えば、動き領域の外周に接する画素の判定値を「０：非動き領域」から「１：動き領域」に変更することにより実現される。

領域膨張処理を実行すれば、図１２（ｂ）において削除された動き領域が再生される。すなわち、被写体動きによる動き領域は、動き領域削除部６の処理が実行される前の状態に復元される。一方、図１２（ａ）に示す例では、領域削除処理が実行された後は、動き領域は残っていない。したがって、この場合、領域膨張処理を実行しても、動き領域が再生されることはない。すなわち、手ぶれによる動き領域は、再生されない。

領域膨張処理は、例えば、領域削除処理と同じフィルタを利用してフィルタ演算を行うことで実現される。ただし、この領域膨張処理では、領域削除処理よりも小さい閾値を用いて各画素のフィルタ演算値が判定される。例えば、図１１に示すフィルタを使用する場合、閾値は「０」に設定される。

なお、上述の実施例では、動き領域の端部または外周部において１画素幅で動き領域が非動き領域に変更される。ただし、動き領域の端部または外周部においてＮ（Ｎは、２以上の整数）画素幅で動き領域を非動き領域に変更するようにしてもよい。Ｎ画素幅で動き領域を非動き領域に変更するためには、例えば、上述のフィルタ演算を繰り返し実行してもよいし、大きなフィルタを利用してもよい。動き領域を非動き領域に変更する領域の幅は、例えば、想定される手ぶれの大きさに基づいて決定される。また、領域削除処理においてＮ画素幅で領域が削除した場合には、領域膨張処理ではＮ画素幅で領域を広げることが好ましい。

図１３は、第２の実施形態の他の動作を示すフローチャートである。なお、ステップＳ１１では、画像撮影部１が、連写撮影により第１および第２の画像を取得する。
ステップＳ３１およびＳ３２は、上述した実施例と同じである。すなわち、差分算出部４は、第１および第２の画像間の差分画像を作成し、その差分画像において、差分値が閾値よりも大きい領域（または、画素）を抽出する。抽出された領域は、動き領域であり、手ぶれによる動き領域および被写体動きによる動き領域を含んでいる。

ステップＳ３３では、動き領域削除部６は、差分画像において抽出した動き領域のエッジを検出する。エッジは、例えば、ラプラシアンフィルタまたはSobelフィルタを利用して検出される。ステップＳ３４では、動き領域削除部６は、ステップＳ３２において差分画像から抽出された動き領域の面積を算出する。ステップＳ３５では、動き領域削除部６は、ステップＳ３３で検出されたエッジ領域の面積を算出する。そして、ステップＳ３６において、動き領域の面積からエッジ領域の面積を差し引く。

上記手順において、エッジ領域の面積は、手ぶれによる動き領域の面積に相当する。したがって、ステップＳ３６により算出される面積は、被写体動きによる動き領域の面積に相当する。この後、判定部５は、ステップＳ３６により算出された面積に基づいて、被写体動きの度合いを判定する。

図１４は、図１３に示す手順で使用されるフィルタの実施例である。この手順においては、動き領域削除部６は、エッジ検出フィルタ（この実施例では、３×３ラプラシアンフィルタ）を含んで構成される。

動き領域削除部６は、差分算出部４により生成される差分画像に対して、上記ラプラシアンフィルタを用いたフィルタ演算を実行する。フィルタ演算により、差分画像においてエッジが検出される。そして、動き領域削除部６は、検出したエッジ領域の面積（あるいは、エッジ領域に属する画素の個数）を算出する。

図１５は、図１３に示す手順を説明する図である。この例では、差分算出部４により生成される差分画像が動き領域削除部６に入力される。
動き領域削除部６は、差分画像の各画素の差分値に対してフィルタ演算を実行する。例えば、画素Ｐ４に対するフィルタ演算は、下記の通りである。
Ｐ４＝0×1＋3×1＋6×1＋0×1−3×8＋6×1＋0×1＋3×1＋6×1＝0
そして、動き領域削除部６は、各画素について、フィルタ演算結果と閾値とを比較する。この実施例では、閾値は「５」である。そうすると、垂直方向に伸びるエッジが検出される。この例では、エッジの幅は２画素である。したがって、エッジ領域の面積は、１２画素になる。

このように、第２の実施形態においては、第１および第２の画像間の差分画像において動き領域が検出され、その動き領域からエッジ領域が削除される。そして、エッジ領域が削除された動き領域の面積に基づいて被写体動きの度合いが検出される。

図１６は、第２の実施形態の被写体動き検出装置の変形例を示す図である。この被写体動き検出装置１０３は、画像撮影部１、画像保持部２Ａ、２Ｂ、画像変換部３、差分算出部４、判定部５、動き領域削除部６を備える。

被写体動き検出装置１０３において、差分算出部４により得られる差分画像は、第１の実施形態と同じである。よって、差分算出部４から出力される差分画像においては、動き領域からエッジ領域が削除されているはずである。ただし、差分算出部４から出力される差分画像においてエッジ領域が残存することもある。そこで、被写体動き検出装置１０３においては、差分算出部４の後段に動き領域削除部６が設けられている。

領域削除部６の機能は、図１０〜図１５を参照しながら説明した通りであり、動き領域の面積からエッジ領域の面積を差し引くことができる。したがって、被写体動き検出装置１０３によれば、図４または図９に示す構成と比較して、被写体動きによる動き領域の面積をより精度よく算出することができる。

＜第３の実施形態＞
図１７は、第３の実施形態の被写体動き検出装置の構成を示す図である。第３の実施形態の被写体動き検出装置１０４は、画像撮影部１、画像保持部２Ａ、２Ｂ、差分算出部４、判定部５、エッジ検出部７、削除部８を備え、例えば、デジタルカメラに搭載されて使用される。

エッジ検出部７は、元画像においてエッジを検出する。この実施例では、画像保持部２Ａに保持されている第１の画像においてエッジが検出される。また、エッジ検出部７は、例えば、Sobelフィルタまたは図１４に示すラプラシアンフィルタにより実現される。

削除部８は、差分算出部４により抽出される動き領域から、エッジ検出部により検出されるエッジ領域を削除する。ここで、このエッジ領域は、上述したように、手ぶれによる動き領域に相当する。したがって、削除部８により得られる領域は、被写体動きによる動き領域に相当する。

判定部５の機能は、第１または第２の実施形態と同じである。すなわち、判定部５は、削除部により得られる動き領域の面積（または、動き領域に属する画素の個数）に基づいて、被写体動きの度合いを検出する。

図１８は、第３の実施形態の検出方法を示すフローチャートである。第３の実施形態の検出方法は、基本的に、図１３に示す手順と同じである。ただし、第３の実施形態では、ステップＳ４１において、エッジ検出部７は、元画像（実施例では、第１の画像）においてエッジを検出する。また、ステップＳ４２では、元画像において検出されたエッジ領域の面積が算出される。そして、ステップＳ４３において、削除部８は、動き領域の面積から、元画像のエッジ領域の面積を差し引く。

＜第１〜第３の実施形態に共通する機能＞
図４、図９、図１６、図１７において、画像撮影部１は、所定の時間間隔で、継続的にデジタル画像を生成する。生成されるデジタル画像は、画像保持部２Ａ、２Ｂに交互に入力される。そして、被写体動き検出装置は、常に、最新の２枚のデジタル画像を利用して被写体の動きを検出することができる。すなわち、第１の画像および第２の画像が入力されると、それら２枚の画像を利用して被写体の動きが検出される。続いて、第３の画像が入力されると、画像保持部２Ａに保持されている第１の画像が廃棄され、その画像保持部２Ａに第３の画像が書き込まれる。そして、第２および第３の画像を利用して被写体の動きが検出される。以降、同様の手順が繰り返し実行される。

上述の繰返し処理は、例えば、予備撮影時に行われる。すなわち、カメラのユーザがシャッタを押し下げていない期間に、常に、最新の被写体動き状態がモニタされている。すなわち、実際の撮影直前の被写体動きの度合いが検出される。したがって、撮影直前の被写体動きに応じた撮影パラメータ（例えば、露光時間）で撮影をすることができる。

また、上述の実施例では、被写体動き検出装置は画像撮影部１および画像保持部２Ａ、２Ｂを備えているが、本発明はこの構成に限定されるものではない。すなわち、本発明の被写体動き検出装置は、連写撮影により得られる複数のデジタル画像が入力され、それらのデジタル画像を利用して被写体動きを検出する構成であってもよい。

＜応用例＞
図１９は、実施形態の被写体ぶれ抑制装置の構成を示す図である。この被写体ぶれ抑制装置は、上述した第１、第２、または第３の実施形態の被写体動き検出装置に、パラメータ変更部１１、パラメータ設定部１２、パラメータテーブル１３を付加することにより実現される。なお、図１９では、図１６に示す被写体動き検出装置が使用されている。

判定部５は、第１〜第３の実施形態において説明したように、被写体動きの度合いを検出する。すなわち、例えば、画像フレームの面積と、被写体動きによる動き領域の面積との比率が算出される。そして、判定部５は、この算出結果をパラメータ変更部１１に通知する。

パラメータ変更部１１は、被写体動きによる動き領域の面積の比率が予め決められた閾値（例えば、２０パーセント）を越えると、パラメータ設定部１２に対して、露光時間を短くする指示を送信する。パラメータ設定部１２は、カメラのユーザから撮影指示を受けたとき（すなわち、シャッタボタンが押し下げられたとき）、パラメータ変更部１１から上記指示を受信していれば、パラメータテーブル１３から短時間露光のためのパラメータを取得する。そして、パラメータ設定部１２は、取得したパラメータを画像撮影部１に設定する。

一方、被写体動きによる動き領域の面積の比率が閾値以下であれば、パラメータ変更部１１は、パラメータ設定部１２に対して上記指示を送信しない。この場合、パラメータ設定部１２は、カメラのユーザから撮影指示を受けたとき、パラメータテーブル１３から通常撮影のためのパラメータを取得する。そして、パラメータ設定部１２は、取得したパラメータを画像撮影部１に設定する。

画像撮影部１は、パラメータ設定部１２により設定されたパラメータを使用して、１枚または複数枚のデジタル画像を生成する。すなわち、予備撮影において被写体動きの度合いが大きいと判定されているときは、実際に画像を格納する際に、短時間露光で撮影が行われる。ここで、この予備撮影を利用した判定は、実際の撮影の直前に行われる。したがって、被写体が動いているときであっても、被写体ぶれが抑制された画像を得ることができる。また、予備撮影において被写体動きの度合いが小さいと判定されているときは、通常撮影が行われる。なお、通常撮影のパラメータは、撮影時の明るさや撮影モード（シャッタ速度優先、自動モード、スポーツモード等）に応じて選択される。

図２０は、実施形態の被写体ぶれ通知装置の構成を示す図である。この被写体ぶれ通知装置は、上述した第１、第２、または第３の実施形態の被写体動き検出装置に、判定結果表示部１４を付加することにより実現される。なお、図２０では、図１６に示す被写体動き検出装置が使用されている。

判定部５は、上述したように、被写体動きの度合いを算出する。そして、判定部５は、この算出結果を判定結果表示部１４に通知する。判定結果表示部１４は、カメラが備える表示装置（ファンダまたは液晶ビューア等）であり、判定部５からの通知に応じて被写体が動いていることを表示する。この構成を導入すれば、ユーザは、撮影時に、被写体動きの度合いを認識することができる。なお、図２０に示す実施例では、被写体動きの判定結果が表示されるが、他の方法（例えば、音声）で出力されるようにしてもよい。

＜ハードウェア構成＞
図２１は、実施形態の被写体動き検出装置を実現するハードウェア構成を示す図である。実施形態の被写体動き検出装置は、デジタルカメラに搭載される。

ＣＭＯＳセンサ１０１は、デジタル画像を取得する。画像処理プロセッサ１０２は、ＣＭＯＳセンサ１０１の露光時間などの撮影パラメータを設定し、また、ＣＭＯＳセンサ１０１からの画像取得を制御する。メモリ１０３は、ＣＭＯＳセンサ１０１からの画像データ、ＣＰＵ１０４により実行される画像処理プログラムを一時的に格納する。ＣＰＵ１０４は、メモリ１０３上の画像処理プログラムを実行することにより、画像処理プロセッサ１０２を制御すると共に、画像データの変換などを行う。記憶装置１０５は、例えば着脱可能なフラッシュメモリであり、撮影画像を保存する。不揮発性メモリ１０６は、例えば内蔵フラッシュメモリであり、カメラの動作を定義する各種パラメータおよび現在の設定値などを格納する。バス１０７は、上記回路要素１０１〜１０６間を接続する。

図４、図９、図１６、図１７に示した画像撮影部１は、ＣＭＯＳセンサ１０１および画像処理プロセッサ１０２により実現される。すなわち、画像処理プロセッサ１０２がＣＭＯＳセンサ１０１を制御することにより、デジタル画像が取得される。画像保持部２Ａ、２Ｂは、例えば、メモリ１０３により実現される。

画像変換部３、差分算出部４、判定部５、動き領域削除部６は、ＣＰＵ１０４が画像処理プログラムを実行することにより実現される。すなわち、ＣＰＵ１０４は、メモリ１０３に格納されている画像データに対してソフトウェアで画像変換処理（ぼかし処理、フィルタ演算など）を実行する。なお、フィルタ係数等は、例えば、不揮発性メモリ１０６に格納されている。また、ＣＰＵ１０４は、メモリ１０３に格納されている最新の２枚の画像データの差分を算出する処理を実行する。このとき、実施形態に応じて、ＣＭＯＳセンサ１０１が取得した画像データ間の差分が計算されるか、或いは、画像変換後の画像データ間の差分が算出される。さらに、ＣＰＵ１０４は、算出された差分値と閾値とを比較して被写体動きの度合いを判定する。

図１９に示すパラメータ変更部１１およびパラメータ設定部１２は、ＣＰＵ１０４がカメラ制御プログラムを実行することにより実現される。パラメータテーブル１３は、例えば、不揮発メモリ１０６に格納されている。

なお、実施形態に係わる画像処理プログラム（被写体動き検出プログラム）は、例えば下記の形態で提供される。
（１）不揮発性メモリ１０６に予めインストールされている。
（２）着脱可能なメモリデバイスにより提供される。
（３）プログラムサーバからダウンロードする。

また、上述の例では、被写体動き検出処理を含む画像処理がソフトウェアプログラムにより実施されているが、本発明はこの構成に限定されるものではない。すなわち、上述した機能の一部はハードウェア回路により実施されるようにしてもよい。

＜実施形態の効果＞
実施形態の構成または方法においては、手ぶれによる画質劣化がエッジ部に発生することに着目し、エッジ部近傍の動き領域を除去することで被写体動きが検出される。このため、手ぶれ補正のための高価な光学機構または演算量の多い画像間の位置合わせを行うことなく、フィルタ演算等の演算量の少ない画像処理で被写体ぶれを検出できる。したがって、安価な構成で被写体動きをリアルタイムでモニタすることができる。
なお、本出願は、さらに下記の付記を含む。
（付記１）
連写撮影により第１の画像および第２の画像を生成する画像撮影部と、
前記第１の画像および第２の画像に対してそれぞれぼかし処理を行う画像変換部と、
前記画像変換部によりぼかされた第１の画像と第２の画像との差分が閾値よりも大きい動き領域を検出する検出部と、
前記動き領域に基づいて被写体動きの度合いを判定する判定部、
を有する被写体動き検出装置。
（付記２）
付記１に記載の被写体動き検出装置であって、
前記画像変換部は、前記第１および第２の画像の各画素に対してスムージングフィルタ演算を行う
ことを特徴とする被写体動き検出装置。
（付記３）
付記１に記載の被写体動き検出装置であって、
前記画像変換部は、前記第１および第２の画像の解像度を低くする
ことを特徴とする被写体動き検出装置。
（付記４）
付記１に記載の被写体動き検出装置であって、
前記判定部の判定結果に応じて前記画像撮影部が使用する撮影パラメータを制御するパラメータ変更部をさらに備える
ことを特徴とする被写体動き検出装置。
（付記５）
付記１に記載の被写体動き検出装置であって、
前記判定部の判定結果を出力する出力部をさらに備える
ことを特徴とする被写体動き検出装置。
（付記６）
連写撮影により第１の画像および第２の画像を生成する画像撮影部と、
前記第１の画像と前記第２の画像との差分が閾値よりも大きく且つエッジではない領域を抽出する抽出部と、
前記抽出された領域に基づいて被写体の動きを検出する検出部、
を有する被写体動き検出装置。
（付記７）
連写撮影により生成される第１の画像および第２の画像に対してそれぞれぼかし処理を行い、
前記ぼかされた第１の画像と第２の画像との差分が閾値よりも大きい動き領域を検出し、
前記動き領域に基づいて被写体動きの度合いを判定する、
ことを特徴とする被写体動き検出方法。
（付記８）
連写撮影により生成される第１の画像および第２の差分が閾値よりも大きい動き領域を検出し、
前記検出された動き領域の中で線状の動き領域を削除し、
前記一部が削除された動き領域に基づいて被写体動きの度合いを判定する、
ことを特徴とする被写体動き検出方法。
（付記９）
連写撮影により生成される第１の画像および第２の画像の差分が閾値よりも大きい動き領域を検出し、
前記第１の画像においてエッジ領域を検出し、
前記差分領域から前記エッジ領域を削除し、
前記一部が削除された動き領域に基づいて被写体動きの度合いを判定する、
ことを特徴とする被写体動き検出方法。
（付記１０）
コンピュータに、
連写撮影により生成される第１の画像および第２の画像に対してそれぞれぼかし処理を行う手順、
前記ぼかされた第１の画像と第２の画像との差分が閾値よりも大きい動き領域を検出する手順、
前記動き領域に基づいて被写体動きの度合いを判定する手順、
を実行させるための被写体動き検出プログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記１１）
コンピュータに、
連写撮影により生成される第１の画像および第２の差分が閾値よりも大きい動き領域を検出する手順、
前記検出された動き領域の中で線状の動き領域を削除する手順、
前記一部が削除された動き領域に基づいて被写体動きの度合いを判定する手順、
を実行させるための被写体動き検出プログラムを記録したコンピュータ読み取り可能な記録媒体。

Claims (5)

1. 連写撮影により第１の画像および第２の画像を生成する画像撮影部と、
   前記第１の画像と第２の画像との差分が閾値よりも大きい動き領域を検出する検出部と、
   前記第１の画像においてエッジ領域を検出するエッジ検出部と、
   前記動き領域から前記エッジ領域を削除する削除部と、
   前記削除部により一部が削除された動き領域に基づいて被写体動きの度合いを判定する判定部、
   を有する被写体動き検出装置。
2. 前記判定部は、前記削除部により一部が削除された動き領域の面積に基づいて、前記被写体動きの度合いを判定する
   ことを特徴とする請求項１に記載の被写体動き検出装置。
3. 前記判定部は、前記削除部により一部が削除された動き領域の面積と、前記第１の画像の面積との比率を、前記被写体動きの度合いと判定する
   ことを特徴とする請求項２に記載の被写体動き検出装置。
4. 前記判定部の判定結果に基づいて、前記画像撮影部が使用する撮影パラメータを制御するパラメータ変更部をさらに備える
   ことを特徴とする請求項１〜３のいずれか一項に記載の被写体動き検出装置。
5. コンピュータに、
   連写撮影により生成される第１の画像および第２の画像の差分が閾値よりも大きい動き領域を検出する手順、
   前記第１の画像においてエッジ領域を検出する手順、
   前記動き領域から前記エッジ領域を削除する手順、
   前記削除する手順により一部が削除された動き領域に基づいて被写体動きの度合いを判定する手順、
   を実行させるための被写体動き検出プログラム。

Images