JP5424496B2

JP5424496B2 - 動物体検出装置および動物体検出方法

Info

Publication number: JP5424496B2
Application number: JP2011002671A
Authority: JP
Inventors: 隆之浜本; 崇吉田
Original assignee: Tokyo University of Science
Current assignee: Tokyo University of Science
Priority date: 2011-01-11
Filing date: 2011-01-11
Publication date: 2014-02-26
Anticipated expiration: 2025-08-11
Also published as: JP2011081841A

Description

本発明は、複数のフレームにおける各画素の輝度の変化に基づいて、動物体の移動方向および移動速度を検出する動物体検出装置および動物体検出方法に関する。

物体の移動方向、移動速度等の動きを検出する方式として、ブロックマッチング法を利用したものが知られている。このような方式においては、所定のフレームレートで撮像された複数のフレーム間で、フレームを適切なサイズに分割したブロック単位での画像の動きを検出することにより、動物体を検出することが行われている（例えば、特許文献１）。

特開２００１−２５０２１号公報

このようにブロックマッチング法を用いて動物体を検出する場合、ブロックサイズの制御が重要となる。例えば、ブロックサイズを大きくしすぎると、ブロック内に複数の動きが混在し、ブロック単位での動きを検出することが難しくなる。また、例えば、ブロックサイズを小さくしすぎると、関係のないブロックとマッチングされる可能性が高まり、動きの検出精度が低下してしまう。そして、適切なブロックサイズは検出対象の動物体により異なるため、ブロックサイズを適応的に制御するための複雑な処理が必要となる。

また、動物体の検出精度を高めるためには、フレームレートを高めることが有効であるが、フレームレートを高めることにより、１フレームの間の物体の移動距離が小さくなり、検出可能な移動速度の下限が高くなってしまう。つまり、例えば、１フレームの間の移動距離が１画素未満の場合、物体の移動速度を求めることができないこととなる。このような場合、動物体に応じてフレームレートを低くすることも考えられるが、制御が複雑になるとともに、高速に移動する物体の検出精度が低下してしまうこととなる。

本発明は上記課題を鑑みてなされたものであり、ブロックサイズ制御等の複雑な処理を必要とせず、固定フレームレートで動物体を高精度に検出することを目的とする。

上記目的を達成するため、本発明の動物体検出装置は、配列状に設けられた複数のフォトダイオードにより構成され、フレーム画像を所定の時間間隔ごとに取得するフォトダイオードアレイと、前記複数のフォトダイオードに対応して配列状に設けられた複数の記憶素子により構成され、前記フォトダイオードアレイにより取得される前記フレーム画像を記憶するメモリアレイと、前記フォトダイオードアレイにより取得される前記フレーム画像と、前記メモリアレイに記憶されている前記フレーム画像とを用いて、動物体の移動方向及び移動速度を示す動き信号を生成して出力する処理回路と、を備え、前記処理回路は、第１フレームの第１位置にある１つの画素の輝度と第２フレームの前記第１位置にある１つの画素の輝度及び前記第１位置の上下左右に隣接する第２位置にある４つの画素の輝度の夫々との差分と、前記第１フレームと前記第２フレームとの時間間隔とに基づいて動物体の移動方向及び移動速度を検出する動物体検出部と、前記第２フレームの前記第１位置にある前記１つの画素の前記輝度と前記第２フレームの前記第２位置にある前記４つの画素の前記輝度の夫々とに基づいて、前記第１位置と前記第２位置との間の仮想的な４つの画素の輝度を示す中間輝度を生成する中間輝度生成部と、を備え、前記動物体検出部は、前記第２フレームとして現在選択されているフレームと前記第１フレームから離れる方向に隣接するフレームを次の第２フレームとして選択して、前記第１フレームから１フレームずつ離れるフレームを前記第２フレームとして順次選択しながら、動物体の移動方向及び移動速度を検出するとともに、前記第１フレームの前記第１位置にある前記１つの画素の前記輝度と前記第２フレームの前記第１位置にある前記１つの画素の前記輝度及び前記中間輝度の夫々との差分と、前記第１フレームと前記第２フレームとの前記時間間隔とに基づいて動物体の移動方向及び移動速度を検出することとする。

また、前記動物体検出部は、前記第１フレームの前記第１位置にある前記１つの画素の前記輝度と前記第２フレームの前記第１位置の近傍にある画素の輝度の夫々との差分に基づいて画素毎の移動方向を更に検出し、前記処理回路は、前記動物体検出部により検出される前記画素毎の移動方向に基づいて、動物体の奥行き方向の移動方向を検出する奥行き方向検出部を更に備え、前記奥行き方向検出部は、前記画素毎の移動方向に基づいて、前記動物体が二次元方向において拡大しているか縮小しているかを判断し、前記動物体が縮小している場合には、前記動物体が手前から奥に移動していると判定し、前記動物体が拡大している場合には、前記動物体が奥から手前に移動していると判定することとする。

さらに、前記処理回路は、前記第１フレームの前記第１位置にある前記１つの画素をぼかした場合の輝度である予測輝度をぼけフィルタによって生成する予測輝度生成部を更に備え、前記奥行き方向検出部は、前記第１フレームの前記第１位置にある前記１つの画素の前記輝度を前記予測輝度から減算した第１の差分と、前記第１フレームの前記第１位置にある前記１つの画素の前記輝度を前記第２フレームの前記第１位置にある前記１つの画素の前記輝度から減算した第２の差分とを乗じた評価値を生成し、前記評価値が負の値である場合には、前記動物体が合焦位置に近づく方向に移動していると判定し、前記評価値が正の値である場合には、前記動物体が合焦位置から離れる方向に移動していると判定することとしてもよい。

ブロックサイズ制御等の複雑な処理を必要とせず、固定フレームレートで動物体を高精度に検出することができる。

本発明の一実施形態であるイメージセンサを含んで構成される動物体検出システムの構成を示す図である。イメージセンサのハードウェア構成の一例を示す図である。イメージセンサの処理回路により実現される機能の構成を示す図である。上下左右方向における動きがあるかどうかを検出する動作の概略を示す図である。２枚のフレームを用いて上下左右方向における動きがあるかどうかを検出する動作の概略を示す図である。左右の移動方向を検出する動作の概略を示す図である。２枚のフレームを用いて上下左右の移動方向を検出する動作の概略を示す図である。小数精度により物体の移動速度を検出する動作の概略を示す図である。検出間隔制御により物体の移動速度を検出する動作の概略を示す図である。物体の奥行き方向における距離を検出する動作の概略を示す図である。物体の拡大・縮小に基づいて奥行きの移動方向を検出する動作の概略を示す図である。奥行きの移動方向と評価値δ_x,yとの関係を示す図である。イメージセンサにおける処理の流れを示すフローチャートである。小数精度判定の処理の流れを示すフローチャートである。検出間隔制御処理の流れを示すフローチャートである。奥行きの距離を検出する処理の流れを示すフローチャートである。奥行きの移動方向を検出する処理の流れを示すフローチャートである。

＝＝システム構成＝＝
図１は、本発明の一実施形態であるイメージセンサを含んで構成される動物体検出システムの構成を示す図である。動物体検出システム１は、イメージセンサ（動物体検出装置）１０、及び光学レンズ１５を含んで構成されている。イメージセンサ１０は、光学レンズ１５から受光する画像を所定のフレームレートで撮像し、複数のフレームの情報に基づいて物体の移動方向や移動速度等を検出する回路である。また、光学レンズ１５の焦点は固定されている。

＝＝ハードウェア構成＝＝
図２は、イメージセンサ１０のハードウェア構成の一例を示す図である。イメージセンサ１０は、制御回路２１、フォトダイオードアレイ（以後「ＰＤアレイ」と称する）２２、メモリアレイ２３、処理回路２４、水平シフトレジスタ２５、及び垂直シフトレジスタ２６，２７を備えている。

制御回路２１は、イメージセンサ１０の全体を制御する回路であり、各種の処理を制御するための制御信号を出力する。ＰＤアレイ２２は、配列状に設けられた複数のフォトダイオードにより構成されており、光学レンズ１５から受光する画像を画素ごとのアナログ画像信号に変換して出力する。なお、ＰＤアレイ２２で撮像される１枚の画像のことをフレームといい、フレームの生成間隔のことをフレームレートという。本実施形態においては、例えば１０００フレーム／秒程度の非常に高いフレームレートであることとする。

そして、制御回路２１の制御により、水平シフトレジスタ２５にはＰＤアレイ２２の列を指定するデータが設定され、垂直シフトレジスタ２６にはＰＤアレイ２２の行を指定するデータが設定される。つまり、ＰＤアレイ２２で撮像されたフレームのアナログ画像信号のうち、水平シフトレジスタ２５及び垂直シフトレジスタ２６で指定される画素のアナログ画像信号が読み出され、処理回路２４に送信される。

また、メモリアレイ２３は、配列状に設けられた複数の記憶素子により構成されており、ＰＤアレイ２２で取得された過去数フレームの画像信号を記憶する。そして、処理回路２４は、ＰＤアレイ２２から出力される最新フレームと、メモリアレイ２３に記憶されている過去数フレームとを用いて、物体の移動方向や移動速度等を示す動き信号を生成して出力する。なお、処理回路２４は、ＰＤアレイ２２及びメモリアレイ２３からフレームを行単位で読み出し、複数列の画素に対する処理を並列に行うことにより高速な処理を可能としている。

なお、ＰＤアレイ２２が本発明のフレーム取得部に該当し、メモリアレイ２３が本発明のフレーム記憶部に該当する。

＝＝機能構成＝＝
図３は、イメージセンサ１０の処理回路２４により実現される機能の構成を示す図である。処理回路２４は、動物体検出部３１、中間輝度生成部３２、奥行き方向検出部３３、及び予測輝度生成部３４を備えている。

動物体検出部３１は、光学レンズ１５から見た上下左右方向における物体の移動方向及び移動速度を検出する。また、中間輝度生成部３２は、隣接する２つの画素の輝度に基づいて、これら２つの画素の間の輝度である中間輝度を生成する。つまり、中間輝度生成部３２により生成される中間輝度は、隣接する２つの画素の間に位置する仮想的な画素の輝度を示すものである。なお、動物体検出部３１は、中間輝度生成部３２により生成される中間輝度を用いることにより、１フレームの間の移動距離が１画素未満の物体の移動速度を検出することができる。

奥行き方向検出部３３は、光学レンズ１５から見た奥行き方向における物体の移動方向を検出する。また、予測輝度生成部３４は、物体の動作により生じる各画素の輝度の変化を予測する。

＝＝上下左右の動き検出＝＝
まず、イメージセンサ１０における、物体の上下左右方向（二次元方向）における動きの検出について説明する。

（１）動きの有無の検出
はじめに、上下左右方向における動きがあるかどうかを検出する動作について説明する。図４は、上下左右方向における動きがあるかどうかを検出する動作の概略を示す図である。図において、ｘ軸およびｙ軸はフレーム内の画素位置を示す座標であり、ｘ軸の正方向が右方向、ｘ軸の負方向が左方向、ｙ軸の正方向が上方向、ｙ軸の負方向が下方向を示している。また、ｆ軸はフレームの時系列を示しており、正方向が新しいフレーム、負方向が古いフレームを示している。なお、フレームｆにおける位置（ｘ，ｙ）にある画素を画素（ｘ，ｙ）と表し、画素（ｘ，ｙ）の輝度をｌ_f;x,yと表すこととする。

次式（１）は、画素（ｘ，ｙ）に動きがあるかどうかを判定するための評価値ｄ（ｘ，ｙ）を求めるための式である。

イメージセンサ１０の動物体検出部３１は、式（１）に示すように、フレームｆの画素（ｘ，ｙ）の輝度ｌ_f;x,yと、前後Ｎフレームの輝度ｌ_f-k;x,yとの差分に基づいて評価値ｄを求める。そして、動物体検出部３１は、評価値ｄが所定の閾値以上であれば、画素（ｘ，ｙ）に動きがあると判定する。

また、イメージセンサ１０で必要となるメモリサイズの削減や、回路規模の削減等のために、評価値ｄを求めるために必要なフレームを２枚とすることもできる。図５は、２枚のフレームを用いて上下左右方向における動きがあるかどうかを検出する動作の概略を示す図である。そして、次式（２）が、その際の評価値ｄを求めるための式である。

式（２）に示すように、動物体検出部３１は、フレームｆの画素（ｘ，ｙ）の輝度ｌ_f;x,yと、その一つ前のフレームｆ−１の画素（ｘ，ｙ）の輝度ｌ_f-1;x,yとの差分により、評価値ｄを求めることとしてもよい。

（２）移動方向の検出
次に、物体の上下左右方向における移動方向を検出する動作について説明する。図６は、左右の移動方向を検出する動作の概略を示す図である。図６（ａ）に示すように、１フレームごとに画素を１つずつ右にずらして輝度の差分を求めることにより、右方向への移動を検出することができる。また、図６（ｂ）に示すように、１フレームごとに画素を１つずつ左にずらして輝度の差分を求めることにより、左方向への移動を検出することができる。また、同様に、１フレームごとに画素を１つずつ上にずらして輝度の差分を求めることにより、上方向への移動を検出することができ、１フレームごとに画素を１つずつ下にずらして輝度の差分を求めることにより、下方向への移動を検出することができる。

次式（３）〜（６）は、このような上下左右方向への移動を検出するための評価値ｍ_up，ｍ_down，ｍ_right，ｍ_leftを求めるための式である。

式（３）に示すように、イメージセンサ１０の動物体検出部３１は、フレームｆの画素（ｘ，ｙ）の輝度ｌ_f;x,yと、前後Ｎフレームの輝度ｌ_f-k;x,y-kとの輝度との差分により、上方向への移動を検出するための評価値ｍ_upを生成する。同様に、動物体検出部３１は、式（４）〜（６）に示すように、下方向への移動を検出するための評価値ｍ_down、右方向への移動を検出するための評価値ｍ_right、左方向への移動を検出するための評価値ｍ_leftを生成する。

ここで、物体がある方向に移動したとすると、その方向の評価値は他の方向の評価値よりも小さくなる。したがって、動物体検出部３１は、これらの評価値ｍ_up，ｍ_down，ｍ_right，ｍ_leftと、前述した評価値ｄとに基づいて、評価値が最小である方向に物体が移動していると判定することができる。

なお、動物体検出部３１は、上下方向の移動と左右方向の移動とを別々に判定することとしてもよい。例えば、次式（７）に示すように、動物体検出部３１は、評価値ｍ_up，ｍ_downと、評価値ｄとで行列Ｍ_verticalを作成し、上下方向についてはＭ_verticalの要素が最小の方向に移動していると判定することができる。また、次式（８）に示すように、動物体検出部３１は、評価値ｍ_left，ｍ_rightと、評価値ｄとで行列Ｍ_horizontalを作成し、左右方向についてはＭ_horizontalの要素が最小の方向に移動していると判定することができる。

また、イメージセンサ１０で必要となるメモリサイズの削減や、回路規模の削減等のために、評価値ｍ_up，ｍ_down，ｍ_right，ｍ_leftを求めるために必要なフレームを２枚とすることもできる。図７は、２枚のフレームを用いて上下左右の移動方向を検出する動作の概略を示す図である。そして、次式（９）〜（１２）が、その際の評価値ｍ_up，ｍ_down，ｍ_right，ｍ_leftを求めるための式である。

動物体検出部３１は、図７（ａ）及び式（９）に示すように、フレームｆ−１の画素（ｘ，ｙ）の輝度ｌ_f-1;x,yと、フレームｆの画素（ｘ，ｙ）の上側に隣接する画素（ｘ，ｙ＋１）の輝度ｌ_f;x,y＋１との差分により、評価値ｍ_upを求めることができる。同様に、動物体検出部３１は、図７（ｂ）〜（ｄ）及び式（１０）〜（１２）に示すように、評価値ｍ_down，ｍ_right，ｍ_leftを求めることができる。

＝＝移動速度検出＝＝
次に、イメージセンサ１０における、物体の上下左右方向における移動速度の検出について説明する。物体の移動速度は、物体の移動距離を移動に要した時間で割ることにより求めることができる。本実施形態のイメージセンサ１０のフレームレートは、毎秒１０００フレーム程度の非常に高いものとなっている。そのため、物体が１フレームの間に移動する距離が１画素未満である場合も考えられる。このような場合に、単純に連続する２つのフレーム間における画素単位の移動距離をもとに移動速度を検出することとすると、移動速度の検出精度が低下してしまうこととなる。そこで、イメージセンサ１０においては、「小数精度判定」および「検出間隔制御」という２つの方法を用いることにより物体の移動速度の検出を行っている。

（１）小数精度判定
まず、小数精度判定による物体の移動速度の検出について説明する。図８は、小数精度により物体の移動速度を検出する動作の概略を示す図である。前述したように、１フレームの間では、物体が１画素移動していない場合がある。そこで、図８（ａ）に示すように、フレームｆの画素（ｘ，ｙ）の輝度と、フレームｆの画素（ｘ，ｙ＋１）の輝度とに基づいて、画素（ｘ，ｙ）と画素（ｘ，ｙ＋１）との間の仮想的な画素の輝度、すなわち小数精度の画素の輝度を求める。そして、小数精度の画素の輝度と、１つ前のフレームｆ−１の画素（ｘ，ｙ）の輝度と差分を求めることにより、上方向に１／２画素移動していることを検出することができる。同様に、図８（ｂ）〜（ｄ）に示すように、下方向に１／２画素、右方向に１／２画素、左方向に１／２画素移動していることを検出することができる。

次式（１３）〜（１６）が、上下左右方向に１／２画素移動していることを検出するための評価値ｍ_up1/2，ｍ_down1/2，ｍ_right1/2，ｍ_left1/2を求めるための式である。

式（１３）に示すように、イメージセンサ１０の中間輝度生成部３２は、フレームｆの位置（ｘ，ｙ）にある画素の輝度ｌf;x,yと、位置（ｘ，ｙ）の上側に隣接する位置（ｘ，ｙ＋１）にある画素の輝度ｌf;x,y＋１とに基づいて、画素（ｘ，ｙ）と画素（ｘ，ｙ＋１）との間の小数精度の画素の輝度（ｌf;x,y＋１＋ｌf;x,y）／２を求める。そして、動物体検出部３１は、小数精度の画素の輝度と、フレームｆの１つ前のフレームｆ−１の位置（ｘ，ｙ）にある画素の輝度ｌf-1;x,yとの差分により、評価値ｍup1/2を生成する。同様に、式（１４）〜（１６）に示すように、中間輝度生成部３２は、画素（ｘ，ｙ）の下側１／２画素の輝度、右側１／２画素の輝度、左側１／２画素の輝度を生成し、動物体検出部３１は、評価値ｍdown1/2，ｍright1/2，ｍleft1/2を生成する。

そして、動物体検出部３１は、フレームｆ−１とフレームｆとの間に、評価値ｍ_up1/2，ｍ_down1/2，ｍ_right1/2，ｍ_left1/2が最小の方向に、物体が１／２画素移動していると判断し、物体の移動速度を算出する。このように、小数精度の画素の輝度を用いることにより、１フレーム間の移動距離が１画素未満の物体の移動速度の検出精度を向上させることができる。

なお、本実施形態においては、式（１３）〜（１６）に示すように、隣接画素の輝度を平均することにより、１／２画素の位置における中間輝度を求めることとしたが、中間輝度は１／２画素の位置に限らず、隣接画素の間の位置であればよい。つまり、隣接画素の輝度に対する重み付けを変更することにより、隣接画素の間の様々な位置における中間輝度を生成することができる。例えば、隣接する画素の一方の画素の輝度に１／３を乗じた値と、他方の画素の輝度に２／３を乗じた値とを加算することにより、１／３画素の位置における中間輝度を求めることが可能である。

また、本実施形態においては、フレームｆにおいて画素（ｘ，ｙ）の上下左右の中間輝度を生成し、その中間輝度とフレームｆ−１の画素（ｘ，ｙ）の輝度との差分により、評価値を得ることとしているが、フレームの順序関係は逆であってもよい。つまり、フレームｆ−１において画素（ｘ，ｙ）の上下左右の中間輝度を生成し、その中間輝度とフレームｆの画素（ｘ，ｙ）の輝度との差分により、評価値を得ることとしてもよい。

（２）検出間隔制御
次に、検出間隔制御による物体の移動速度の検出について説明する。図９は、検出間隔制御により物体の移動速度を検出する動作の概略を示す図である。前述したように、動物体検出部３１は、フレームｆ（請求項１：第１フレーム）の位置（ｘ，ｙ）（請求項１：第１位置）にある画素の輝度ｌf;x,yと、次のフレームｆ＋１の位置（ｘ，ｙ）の上下左右に隣接する位置にある画素の輝度との差分に基づいてｍup，ｍdown，ｍright，ｍleftを求めることにより、１フレームの間に１画素分移動する物体の移動方向を検出することができる。つまり、動物体検出部３１は、この物体がフレームｆとフレームｆ＋１との間に１画素移動したものとして、移動速度を検出することができる。

さらに、動物体検出部３１は、フレームｆの位置（ｘ，ｙ）にある画素の輝度ｌf;x,yと、フレームｆ＋１の次のフレームであり、フレームｆと隣接しないフレームｆ＋２（請求項１：第２フレーム）の位置（ｘ，ｙ）の上下左右に隣接する位置（請求項１：第２位置）にある画素の輝度との差分に基づいてｍup，ｍdown，ｍright，ｍleftを求めることにより、２フレームの間に１画素分移動する物体の移動方向を検出することができる。そして、動物体検出部３１は、この物体がフレームｆとフレームｆ＋２との間に１画素移動したものとして、移動速度を検出することができる。

同様に、動物体検出部３１は、３フレーム以上のフレームで１画素移動する物体の移動速度を検出することができる。このように、フレームレートは変更せずに、移動速度を検出する際に用いるフレームの間隔を変更することにより、１フレーム間の移動距離が１画素未満の物体の移動速度を検出することが可能となる。

なお、本実施形態においては、フレームｆの画素（ｘ，ｙ）の輝度と、フレームｆ＋１の画素（ｘ，ｙ）の隣接画素の輝度との差分により、評価値を得ることとしているが、フレームの順序関係は逆であってもよい。つまり、フレームｆ＋１の画素（ｘ，ｙ）の輝度と、フレームｆの画素（ｘ，ｙ）の隣接画素の輝度との差分により、評価値を得ることとしてもよい。フレームｆ＋２、フレームｆ＋３についても同様である。

また、図８及び式（１３）〜（１６）に示した小数精度判定を行う場合においても、検出間隔制御を行うことが可能である。例えば、フレームｆ＋２において、画素（ｘ，ｙ）の上下左右の中間輝度を生成し、その中間輝度とフレームｆの画素（ｘ，ｙ）の輝度との差分により、評価値を得ることもできる。

＝＝奥行きの動き検出＝＝
次に、イメージセンサ１０における、物体の奥行きの動き検出について説明する。

（１）奥行きの距離検出
動物体検出システム１における光学レンズ１５は固定焦点であるため、合焦位置までの距離は定まっている。そこで、本実施形態では、焦点外れの程度を判定することにより、物体までの距離を検出することとしている。

まず、イメージセンサ１０の予測輝度生成部３４は、ある画素（ｘ，ｙ）について、現在のフレームｆから将来のフレームｆ＋ｋの間に焦点外れの程度が増大すると仮定し、将来のフレームｆ＋ｋの画素（ｘ，ｙ）の予測輝度ｌp;x,yを生成する。なお、予測輝度ｌp;x,yは、ローパスフィルタ等のぼけフィルタを用いることにより生成することができる。例えば、次式（１７）に示すように、対象画素（ｘ，ｙ）の上下左右の画素との平均を取るフィルタ係数ｄを用いて求めることができる。

そして、奥行き方向検出部３３は、将来のフレームｆ＋ｋに至った際に、次式（１８）により、評価値δ_x,yを生成する。

予測が正しく焦点外れの程度が増大すれば、輝度ｌ_f;x,yに対する輝度ｌ_p;x,y及び輝度ｌ_f+k;x,yの増減方向は同一となるためδ_x,yは正の値となり、予測が外れて合焦の程度が増大すれば、輝度ｌ_f;x,yに対する輝度ｌ_p;x,y及び輝度ｌ_f+k;x,yの増減方向が逆になるためδ_x,yは負の値となる。なお、奥行き方向検出部３３は、動物体検出部３１により検出された画素（ｘ，ｙ）における物体の移動速度に応じてｋの値を定めることができる。例えば、物体の移動速度が、３フレームの間に１画素移動する速さであればｋの値を３とすることができる。このようにｋの値を定めることにより検出精度を高めることができる。

そして、図１０は、物体の奥行き方向における距離を検出する動作の概略を示す図である。図１０（ａ）に示すように、光学レンズ１５から見て物体が遠ざかる場合、合焦位置よりも手前にある間は、徐々に合焦の程度が増大していくため評価値δ_x,yは負の値となっている。そして、物体が合焦位置を過ぎると、徐々に焦点外れの度合いが増大していくため評価値δ_x,yは正の値となる。したがって、奥行き方向検出部３３は、評価値δ_x,yが負から正に変わる際（ゼロ交差する際）に、物体が合焦位置にあると判断し、その物体までの距離を求めることができる。

また、図１０（ｂ）に示すように、光学レンズ１５から見て物体が近づく場合においても、奥行き方向検出部３３は、評価値δ_x,yが負から正に変わる際（ゼロ交差する際）に、物体が合焦位置にあると判断し、その物体までの距離を求めることができる。

（２）奥行き方向検出
また、奥行き方向検出部３３は、奥行きの移動方向、つまり、物体が光学レンズ１５から見て手前から奥に移動しているか、奥から手前に移動しているかを検出することができる。図１１は、物体の拡大・縮小に基づいて奥行きの移動方向を検出する動作の概略を示す図である。奥行き方向検出部３３は、動物体検出部３１により検出された画素ごとの移動方向に基づいて、物体が二次元方向において拡大しているか縮小しているかを判断する。図１１（ａ）に示すように、物体が拡大している場合、奥行き方向検出部３３は、物体が光学レンズ１５に近づいていると判定する。また、図１１（ｂ）に示すように、物体が縮小している場合、奥行き方向検出部３３は、物体が光学レンズ１５から遠ざかっていると判定する。

さらに、前述した評価値δ_x,yを用いることにより、合焦位置との関係についても検出することができる。図１２は、奥行きの移動方向と評価値δ_x,yとの関係を示す図である。つまり、図１２（ａ）に示すように、物体が合焦位置へ近づく場合、評価値δ_x,yは負の値となっている。したがって、物体が拡大しており、かつ、δ_x,yが負の値である場合は、奥行き方向検出部３３は、合焦位置よりも奥にある物体が近づいていると判定することができる。また、物体が縮小しており、かつ、δ_x,yが負の値である場合は、奥行き方向検出部３３は、合焦位置よりも手前にある物体が遠ざかっていると判定することができる。

また、図１２（ｂ）に示すように、物体が合焦位置から遠ざかる場合、評価値δ_x,yは正の値となっている。したがって、物体が拡大しており、かつ、δ_x,yが正の値である場合は、奥行き方向検出部３３は、合焦位置よりも手前にある物体が近づいていると判定することができる。また、物体が縮小しており、かつ、δ_x,yが正の値である場合は、奥行き方向検出部３３は、合焦位置よりも奥にある物体が遠ざかっていると判定することができる。

＝＝処理説明＝＝
次に、イメージセンサ１０における処理の流れについて説明する。図１３は、イメージセンサ１０における処理の流れを示すフローチャートである。まず、イメージセンサ１０におけるフレームレートが決定され（Ｓ１３０１）、決定されたフレームレートでの撮像が開始される。そして、動物体検出部３１は、複数フレームの同じ位置（ｘ，ｙ）の画素を選択し（Ｓ１３０２）、フレーム間で輝度の絶対差分を求め、評価値ｄ（ｘ，ｙ）を生成する（Ｓ１３０３）。

そして、イメージセンサ１０では、物体の移動方向および移動速度を検出するための評価値を求めるために、次の４つの処理うちの何れかの処理が選択される。１つ目の処理では、動物体検出部３１は、前述したように対象とする画素（ｘ，ｙ）の上下左右の画素を選択し（Ｓ１３０４）、式（３）〜（６）または（９）〜（１２）に示したように、フレーム間で輝度の絶対差分を求め、評価値ｍ_up，ｍ_down，ｍ_right，ｍ_leftを生成する（Ｓ１３０５）。

２つ目の処理では、前述した小数精度判定の処理が行われる（Ｓ１３０６）。図１４は、小数精度判定の処理の流れを示すフローチャートである。まず、中間輝度生成部３２が、対象とする画素（ｘ，ｙ）の上下左右１／２画素の輝度を生成する（Ｓ１４０１）。そして、動物体検出部３１は、式（１３）〜（１６）に示したように、フレーム間で輝度の絶対差分を求め、評価値ｍ_up1/2，ｍ_down1/2，ｍ_right1/2，ｍ_left1/2を生成する（Ｓ１４０２）。

３つ目の処理では、前述した検出間隔制御の処理が行われる（Ｓ１３０７）。図１５は、検出間隔制御処理の流れを示すフローチャートである。まず、動物体検出部３１は、選択フレームとしてフレームｆとフレームｆ＋１とを選択し、フレームｆ＋１の位置（ｘ，ｙ）の上下左右に隣接する位置にある画素を選択する（Ｓ１５０１）。そして、動物体検出部３１は、フレームｆの位置（ｘ，ｙ）にある画素の輝度と、フレームｆ＋１の位置（ｘ，ｙ）の上下左右に隣接する位置にある画素の絶対差分を求め、評価値ｍ_up，ｍ_down，ｍ_right，ｍ_leftを生成する（Ｓ１５０２）。

そして、動物体検出部３１は、フレームｆ＋１の次のフレームであるフレームｆ＋２を選択フレームとして選択する（Ｓ１５０３）。そして、動物体検出部３１は、新たに選択されたフレームｆ＋２と、フレームｆとを用いて、評価値ｍ_up，ｍ_down，ｍ_right，ｍ_leftを生成する（Ｓ１５０１〜Ｓ１５０３）。なお、フレームｆに対していくつ先のフレームまで対象とするかは予め定められており、動物体検出部３１は、対象フレームの処理が終了するまで、繰り返し処理を実行する（Ｓ１５０１〜Ｓ１５０４）。

４つ目の処理では、小数精度処理（Ｓ１３０６）と検出間隔制御処理（Ｓ１３０７）とを組み合わせた処理が実行される（Ｓ１３０８）。

このように、評価値ｄと、評価値ｍ_up，ｍ_down，ｍ_right，ｍ_left又は評価値ｍ_up1/2，ｍ_down1/2，ｍ_right1/2，ｍ_left1/2とが生成されると、動物体検出部３１は、物体が上下左右の何れの方向に移動しているかを検出し（Ｓ１３０９）、物体の移動速度を検出する（Ｓ１３１０）。

そして、イメージセンサ１０では、物体の奥行き方向における距離または移動方向を検出するために、次の３つの処理のうちの何れかの処理が選択される。１つ目の処理では、前述した奥行きの距離を検出する処理が行われる（Ｓ１３１１）。図１６は、奥行きの距離を検出する処理の流れを示すフローチャートである。まず、予測輝度生成部３４が、ぼけフィルタにより予測輝度ｌ_p;x,yを生成する（Ｓ１６０１）。そして、奥行き方向検出部３３は、予測輝度ｌ_p;x,yと、実際の輝度ｌ_f+k;x,yとに基づいて評価値δ_x,yを生成する（Ｓ１６０２）。そして、評価値δ_x,yの正・負の判定により合焦位置にあるかどうかを判定することにより、奥行き方向の距離を検出する（Ｓ１６０３）。

２つ目の処理では、前述した奥行きの移動方向を検出する処理が行われる（Ｓ１３１２）。図１７は、奥行きの移動方向を検出する処理の流れを示すフローチャートである。まず、奥行き方向検出部３３は、動物体検出部３１により検出された上下左右方向における画素毎の移動方向に基づいて、物体の拡大率を算出する（Ｓ１７０１）。そして、奥行き方向検出部３３は、物体が拡大している場合には、物体が光学レンズ１５に近づいていることを検出し、物体が縮小している場合には、物体が光学レンズ１５から遠ざかっていることを検出する（Ｓ１７０２）。

３つ目の処理では、奥行き距離検出処理（Ｓ１３１３）と奥行き方向検出処理（Ｓ１３１４）とを組み合わせた処理が実行される。この場合、奥行き方向検出部３３は、物体の拡大率と評価値δ_x,yとを用いて、物体の奥行きの移動方向とともに、物体が合焦位置の手前にあるか奥にあるかを検出することができる。

以上、本実施形態のイメージセンサ１０について説明した。前述したように、イメージセンサ１０では、小数精度の画素の輝度である中間輝度を生成することにより、１フレーム間の移動距離が１画素未満の物体の移動方向及び移動速度を検出することができる。

また、イメージセンサ１０では、中間輝度を用いて移動方向及び移動速度を検出する際に、同一画素（ｘ，ｙ）の輝度値の差ｄ（ｘ，ｙ）を評価値として用いることにより、物体が移動していないことを検出することができる。

また、イメージセンサ１０では、移動方向及び移動速度の検出間隔を制御することにより、１フレーム間の移動距離が１画素未満の物体の移動方向及び移動速度を検出することができる。

また、イメージセンサ１０では、移動方向及び移動速度の検出間隔を制御する場合においても、同一画素（ｘ，ｙ）の輝度値の差ｄ（ｘ，ｙ）を評価値として用いることにより、物体が移動していないことを検出することができる。

また、イメージセンサ１０では、中間輝度を用いて移動方向及び移動速度を検出する場合においても、検出間隔を制御することにより、移動方向及び移動速度の検出可能範囲を広くすることができる。

また、イメージセンサ１０では、画素毎の移動方向に基づいて物体の拡大・縮小を判定することにより、物体の奥行き方向の移動方向を検出することができる。

さらに、イメージセンサ１０では、予測輝度ｌ_p;x,yと実際の輝度ｌ_f+k;x,yとに基づいた評価値δ_ｘ，ｙを求めることにより、物体が合焦位置に近づいているか、合焦位置から遠ざかっているかを検出することができる。

このように、イメージセンサ１０では、各画素の輝度に基づいて物体の移動方向及び移動速度の検出処理が行われるため、ブロックサイズ制御等の複雑な処理が不要である。また、イメージセンサ１０では、フレームレートを変更することなく動物体を高精度に検出することができる。

なお、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

例えば、本実施形態においては、イメージセンサ１０において検出処理を行う各部３１〜３５は回路により実現されることとしたが、メモリに格納されたプログラムをプロセッサが実行することにより実現されることとしてもよい。

１動物体検出システム１０イメージセンサ（動物体検出装置）
１５光学レンズ２１制御回路
２２フォトダイオードアレイ２３メモリアレイ
２４処理回路２５水平シフトレジスタ
２６，２７垂直シフトレジスタ３１動物体検出部
３２中間輝度生成部３３奥行き方向検出部
３４予測輝度生成部

Claims

配列状に設けられた複数のフォトダイオードにより構成され、フレーム画像を所定の時間間隔ごとに取得するフォトダイオードアレイと、
前記複数のフォトダイオードに対応して配列状に設けられた複数の記憶素子により構成され、前記フォトダイオードアレイにより取得される前記フレーム画像を記憶するメモリアレイと、
前記フォトダイオードアレイにより取得される前記フレーム画像と、前記メモリアレイに記憶されている前記フレーム画像とを用いて、動物体の移動方向及び移動速度を示す動き信号を生成して出力する処理回路と、
を備え、
前記処理回路は、
第１フレームの第１位置にある１つの画素の輝度と第２フレームの前記第１位置にある１つの画素の輝度及び前記第１位置の上下左右に隣接する第２位置にある４つの画素の輝度の夫々との差分と、前記第１フレームと前記第２フレームとの時間間隔とに基づいて動物体の移動方向及び移動速度を検出する動物体検出部と、
前記第２フレームの前記第１位置にある前記１つの画素の前記輝度と前記第２フレームの前記第２位置にある前記４つの画素の前記輝度の夫々とに基づいて、前記第１位置と前記第２位置との間の仮想的な４つの画素の輝度を示す中間輝度を生成する中間輝度生成部と、
を備え、
前記動物体検出部は、
前記第２フレームとして現在選択されているフレームと前記第１フレームから離れる方向に隣接するフレームを次の第２フレームとして選択して、前記第１フレームから１フレームずつ離れるフレームを前記第２フレームとして順次選択しながら、動物体の移動方向及び移動速度を検出するとともに、
前記第１フレームの前記第１位置にある前記１つの画素の前記輝度と前記第２フレームの前記第１位置にある前記１つの画素の前記輝度及び前記中間輝度の夫々との差分と、前記第１フレームと前記第２フレームとの前記時間間隔とに基づいて動物体の移動方向及び移動速度を検出すること、
を特徴とする動物体検出装置。
配列状に設けられた複数のフォトダイオードにより構成され、フレーム画像を所定の時間間隔ごとに取得するフォトダイオードアレイと、
前記複数のフォトダイオードに対応して配列状に設けられた複数の記憶素子により構成され、前記フォトダイオードアレイにより取得される前記フレーム画像を記憶するメモリアレイと、
前記フォトダイオードアレイにより取得される前記フレーム画像と、前記メモリアレイに記憶されている前記フレーム画像とを用いて、動物体の移動方向及び移動速度を示す動き信号を生成して出力する処理回路と、
を備え、
前記処理回路は、
第１フレームの第１位置にある１つの画素の輝度と第２フレームの前記第１位置にある１つの画素の輝度及び前記第１位置の上下左右に隣接する第２位置にある４つの画素の輝度の夫々との差分と、前記第１フレームと前記第２フレームとの時間間隔とに基づいて動物体の移動方向及び移動速度を検出する動物体検出部を備え、
前記動物体検出部は、
前記第２フレームとして現在選択されているフレームと前記第１フレームから離れる方向に隣接するフレームを次の第２フレームとして選択して、前記第１フレームから１フレームずつ離れるフレームを前記第２フレームとして順次選択しながら、動物体の移動方向及び移動速度を検出するとともに、前記第１フレームの前記第１位置にある前記１つの画素の前記輝度と前記第２フレームの前記第１位置の近傍にある画素の輝度の夫々との差分に基づいて画素毎の移動方向を検出し、
前記処理回路は、
前記動物体検出部により検出される前記画素毎の移動方向に基づいて、動物体の奥行き方向の移動方向を検出する奥行き方向検出部を更に備え、
前記奥行き方向検出部は、
前記画素毎の移動方向に基づいて、前記動物体が二次元方向において拡大しているか縮小しているかを判断し、前記動物体が縮小している場合には、前記動物体が手前から奥に移動していると判定し、前記動物体が拡大している場合には、前記動物体が奥から手前に移動していると判定すること、
を特徴とする動物体検出装置。
請求項１に記載の動物体検出装置であって、
前記動物体検出部は、
前記第１フレームの前記第１位置にある前記１つの画素の前記輝度と前記第２フレームの前記第１位置の近傍にある画素の輝度の夫々との差分に基づいて画素毎の移動方向を更に検出し、
前記処理回路は、
前記動物体検出部により検出される前記画素毎の移動方向に基づいて、動物体の奥行き方向の移動方向を検出する奥行き方向検出部を更に備え、
前記奥行き方向検出部は、
前記画素毎の移動方向に基づいて、前記動物体が二次元方向において拡大しているか縮小しているかを判断し、前記動物体が縮小している場合には、前記動物体が手前から奥に移動していると判定し、前記動物体が拡大している場合には、前記動物体が奥から手前に移動していると判定すること、
を特徴とする動物体検出装置。
請求項２又は３に記載の動物体検出装置であって、
前記処理回路は、
前記第１フレームの前記第１位置にある前記１つの画素をぼかした場合の輝度である予測輝度をぼけフィルタによって生成する予測輝度生成部を更に備え、
前記奥行き方向検出部は、
前記第１フレームの前記第１位置にある前記１つの画素の前記輝度を前記予測輝度から減算した第１の差分と、前記第１フレームの前記第１位置にある前記１つの画素の前記輝度を前記第２フレームの前記第１位置にある前記１つの画素の前記輝度から減算した第２の差分とを乗じた評価値を生成し、
前記評価値が負の値である場合には、前記動物体が合焦位置に近づく方向に移動していると判定し、前記評価値が正の値である場合には、前記動物体が合焦位置から離れる方向に移動していると判定すること、
を特徴とする動物体検出装置。