JP4650367B2 - 動き検出用撮像装置 - Google Patents

Description

本発明は、動き検出用撮像装置に関する。

固体撮像素子上に時間差をもって撮像される画像同士の差分を算出し、算出した差分に基づいて被写体の動きを検出する動き検出装置が知られている（例えば、特許文献１参照）。また、ディジタル化した画像同士の差分に基づいて移動物体の検出を行う装置が知られている（例えば、特許文献２乃至特許文献４参照）。

一方、イメージセンサの受光面が複数領域に分割され、その複数領域に被写体の像を順次露光させ、複数領域の画像を一括して読出すことによって連写の時間間隔を短くするように構成された電子スチルカメラが知られている（例えば、特許文献５参照）。

また、フィルム前方にフィルムの１フレーム内に収まるように４個の撮影レンズが配置され、撮影レンズの前面を順次通過するようにスリット部材が設けられて、フィルムの１フレーム内に連続した複数コマの映像が記録されるように構成されたカメラが知られている（例えば、特許文献６参照）。
特開２００３−３２５５２号公報 特開２００１−１７７８３６号公報 特開平８−１０６５３４号公報 特開２００４−１７１４３１号公報 特開平１１−３５２５５０号公報 特許第２５２４８１８号公報

上記特許文献１に記載されたような動き検出装置の実際上の用途としては、監視カメラ装置とか自動車の後方確認装置が挙げられる。いずれの装置においても動きが検出可能な範囲は極力広い方が望ましい。例えば壁面に設けられた１台の監視カメラによって室内の全域に及ぶ広い領域（被写領域）が監視できることが、システムを簡素にする上において、及び設備コスト上望ましい。

ところが、上記のように１台の監視カメラによって室内のほぼ全域を撮像できるようにするためには、少なくとも１２０°以上の画角を有する光学レンズを用いなければならない。一般的に光学レンズの画角が６０°を大きく超えるようになると、魚眼レンズに代表されるように撮像した画像に樽状の歪が生じ、その歪をディジタル的に補正するための複雑な処理プログラムが必要になる。

また、例えば画角が６０°以内の光学レンズを有する監視カメラによって１２０°以上の領域を監視するためには、監視カメラが２台以上必要になるし、各監視カメラの被写領域同士の間に撮像されない領域が生じないように調整が必要になる。つまり、簡素な構成で広い領域を撮像でき、動きの検出が可能な撮像装置は未だ実現されていない。

一方、動きを検出するためには、時間差をもって撮像された複数枚の画像が必要であり、従来の監視カメラ等においては、時間差をもった撮像を行うためにシャッタを所定の時間間隔で開閉動作させることによって行っていたが、シャッタの動作間隔が長い（フレームレートが遅い）場合には早い速度で移動する被写体（例えば、走行する自動車）の動きを検出できない可能性が高くなるという問題があった。

そこで、本発明は、画角が６０°を大きく超える光学レンズを使用することなく極力簡素な光学系により広角の被写領域が撮像可能な装置を構成でき、しかも容易に短い時間間隔で動き検出のための複数の画像を撮像することができて、早い速度で移動する被写体に対しても検出確率が低下しないようにできる動き検出用撮像装置を提供することを目的とする。

上記目的を達成するために、請求項１の発明は、単位画素が行列状に配置された固体撮像素子と、被写領域からの光を集光して前記固体撮像素子上に結像させるレンズ光学系とを備え、前記固体撮像素子上に結像される画像を時間差をもって撮像し、撮像した複数の画像の差分に基づいて画像中の被写体の動きを検出する動き検出用撮像装置において、前記レンズ光学系が、前記被写領域の正面略４０°の範囲からの光が入射し、前記固体撮像素子を構成する単位画素の列方向に沿って配置された３つの光学レンズ（以下、センタレンズという）と、前記被写領域のうち左右略４０°の範囲からの光が入射し、前記固体撮像素子を構成する単位画素の列方向に沿い前記センタレンズの左右に配置された３つの光学レンズ（以下、サイドレンズという）を有する光学レンズアレイと、前記左右のサイドレンズの光入射側において、前記被写領域の正面略４０°の範囲から入射する光を遮らないように前記各サイドレンズに対して設けられ、前記被写領域のうち左右略４０°の範囲から入射する光を、前記各サイドレンズの光軸に一致するように屈曲させて前記各サイドレンズへ案内する左右の４５°直角プリズムと、を備え、前記固体撮像素子が、前記センタレンズと前記サイドレンズにより結像される９つの画像（以下、個眼像という）をそれぞれ撮像する３行３列の個眼像撮像エリアを備え、さらに、前記固体撮像素子を構成する単位画素の行方向に沿った前記個眼像撮像エリア（以下、行方向個眼像撮像エリアという）ごとに時間差をもたせて前記固体撮像素子に個眼像を撮像させるローリングシャッタ手段と、前記ローリングシャッタ手段によって時間差をもって撮像された、行方向個眼像撮像エリアごとの３つの個眼像を、前記センタレンズによって結像された個眼像を正面略４０°の被写領域の画像とし、前記サイドレンズによって結像された左右の個眼像をそれぞれ左右略４０°の被写領域の画像として合成して画角が１２０°以上の広角画像に再生する画像合成手段と、前記画像合成手段によって前記行方向個眼像撮像エリアごとに再生された広角画像同士の差分に基づいて前記広角画像中の被写体の動きを検出する動き検出手段と、を備え、前記ローリングシャッタ手段による１回のシャッタ動作によって時間差を有する複数枚の広角画像が再生され、それら複数枚の広角画像に基づいて１２０°以上の広い範囲の被写領域内の被写体の動きが検出されることを特徴とする。

請求項２の発明は、単位画素が行列状に配置された固体撮像素子と、被写領域からの光を集光して前記固体撮像素子上に結像させるレンズ光学系とを備え、前記固体撮像素子上に結像される画像を時間差をもって撮像し、撮像した複数の画像の差分に基づいて画像中の被写体の動きを検出する動き検出用撮像装置において、前記レンズ光学系が、前記被写領域の正面の所定範囲からの光が入射し、前記固体撮像素子を構成する単位画素の列方向に沿って配置された複数の光学レンズ（以下、センタレンズという）と、前記被写領域のうち左右の所定範囲からの光が入射し、前記固体撮像素子を構成する単位画素の列方向に沿って前記センタレンズの左右に配置された複数の光学レンズ（以下、サイドレンズという）を有する光学レンズアレイと、前記左右のサイドレンズの光入射側に設けられ、前記被写領域のうち左右の所定範囲から入射する光を、前記各サイドレンズの光軸に一致するように屈曲させて前記各サイドレンズへ案内するプリズム又はミラーと、を備え、前記固体撮像素子が、前記センタレンズと前記サイドレンズにより結像される複数の画像（以下、個眼像という）をそれぞれ撮像する個眼像撮像エリアを備え、さらに、前記固体撮像素子を構成する単位画素の行方向に沿った前記個眼像撮像エリア（以下、行方向個眼像撮像エリアという）ごとに時間差をもたせて前記固体撮像素子に個眼像を撮像させるローリングシャッタ手段と、前記ローリングシャッタ手段によって時間差をもって撮像された、各行方向個眼像撮像エリアごとの複数の個眼像を、前記センタレンズによって結像された個眼像を被写領域正面の画像とし、前記サイドレンズによって結像された左右の個眼像をそれぞれ被写領域左右の画像として合成して１枚の広角画像に再生する画像合成手段と、前記画像合成手段によって前記行方向個眼像撮像エリアごとに再生された複数の広角画像同士の差分に基づいて画像中の被写体の動きを検出する動き検出手段と、を備え、前記ローリングシャッタ手段による１回のシャッタ動作によって時間差を有する複数枚の広角画像が再生され、それら複数枚の広角画像に基づいて広い範囲の被写領域内の被写体の動きが検出されることを特徴とする。

請求項３の発明は、請求項２の発明において、前記左右のサイドレンズの光入射側に設けられ、前記被写領域のうち左右の所定範囲から入射する光を、前記各サイドレンズの光軸に一致するように屈曲させて前記各サイドレンズへ案内するプリズムが４５°直角プリズムであることを特徴とする。

請求項４の発明は、請求項２の発明において、前記左右のサイドレンズの光入射側に設けられ、前記被写領域のうち左右の所定範囲から入射する光を、前記各サイドレンズの光軸に一致するように屈曲させて前記各サイドレンズへ案内するプリズムが６０°−３０°直角プリズムであることを特徴とする。

本発明によれば、レンズ光学系が、被写領域の正面方向からの光を集光するセンタレンズと、被写領域の左右方向からの光を集光する左右列のサイドレンズを有する光学レンズアレイと、被写領域の左右方向からの光をサイドレンズに案内するプリズム又はミラーとを備えるので、画角が６０°を大きく超える光学レンズを使用することなく簡素な光学系により広角の被写領域を撮像可能な装置を構成でき、しかも各光学レンズによって結像される個眼像を行方向ごとに時間差をもたせて撮像させるローリングシャッタ手段と、行方向ごとの複数の個眼像を広角画像に再生する画像合成手段と、広角画像同士の差分に基づいて被写体の動きを検出する動き検出手段とを備えるので、１回のシャッタ動作で容易に短い時間間隔の複数の画像を撮像することができて、早い速度で移動する被写体に対しても極力検出確率が低下しないようにできる。

（第１の実施形態）
以下、本発明の第１の実施形態に係る動き検出用撮像装置について、図１乃至図８を参照して説明する。本実施形態の動き検出用撮像装置１は、図１に示されるように、単位画素ｕが行列状（Ｘ、Ｙ方向）に多数配置された固体撮像素子２と、前方１２０°の被写領域からの光を集光して固体撮像素子２上に結像させるレンズ光学系３と、固体撮像素子２上の結像を画像情報として読出して元の１２０°の範囲の広角画像に再生し、時間差をもって撮像された複数の広角画像間の差分に基づいて被写体の動きを検出する動き検出回路４と、動き検出回路４によって再生される広角画像等を表示する液晶パネル等の表示装置５とを備える。

固体撮像素子２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサから構成され、回路基板６上に固定されている（図２参照）。動き検出回路４は、固体撮像素子２からの画像情報の読出しタイミングを所定のタイミングに制御するタイミング信号を生成するタイミングジェネレータ（ローリングシャッタ手段）７と、ＡＤコンバータ８を介して固体撮像素子２から読出される画像情報をディジタル信号として処理するＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）９と、ＤＳＰ９によって処理される画像情報に画像処理を施して複数の広角画像に再生し、各広角画像間の差分画像を生成することによって被写体の動きを検出するマイクロプロセッサ（画像合成手段、動き検出手段）１１を備える。

なお、固体撮像素子２はＣＭＯＳイメージセンサにより構成され、タイミングジェネレータ７によって生成されるタイミング信号に基づいて固体撮像素子２からの画像情報の読出しが行われるので、固体撮像素子２からの読出しタイミングが固体撮像素子２による撮像タイミングに相当する。また、動き検出回路４を構成するタイミングジェネレータ７、ＡＤコンバータ８、ＤＳＰ９及びマイクロプロセッサ１１は、回路基板６上に実装されている。ＤＳＰ９及びマイクロプロセッサ１１による具体的な処理内容については、後に詳述する。

次に、レンズ光学系３について、図１乃至図４を参照して説明する。本実施形態のレンズ光学系３は、光軸Ｌが互いに平行な３行３列の９個の光学レンズ１２が１枚の透明基板１３に一体的に形成された光学レンズアレイ１４と、光学レンズアレイ１４の光入射側において、左右の列の光学レンズ１２にそれぞれ対向して配置された４５°直角プリズム１５と、光学レンズアレイ１４を固体撮像素子２及び回路基板６に対して固定支持するレンズホルダ１６と、４５°直角プリズム１５をレンズホルダ１６に対して固定支持するプリズムホルダ１７と、光学レンズ１２と固体撮像素子２間の空間を各光学レンズ１２ごとに画成する隔壁部材１８と、赤外線カットフィルタ１９を備える。

光学レンズ１２の行列状配置は、固体撮像素子２の単位画素ｕの行列状配置と平行に構成される。つまり、光学レンズ１２は、図１におけるＸ方向（行方向）及びＹ方向（列方向）に沿って配置される。また、９個の光学レンズ１２は、全て４０°の画角を有する。

４５°直角プリズム１５は、断面が直角二等辺三角形であり、図２に示されるように、光学レンズアレイ１４に対して傾斜して配置される。傾斜角度等の具体的な配置については、後に詳述する。なお、各４５°直角プリズム１５と光学レンズアレイ１４の間にはレンズホルダ１６に開けられた開口１６ａによって構成される絞りが配置される。また、光学レンズ１２は、透明基板１３に一体的に形成されたものではなく、レンズホルダ１６によって２次元平面（図１におけるＸＹ平面）上に支持されたものであってもよい。

光学レンズアレイ１４の中央の列の３個の光学レンズ（以下、センタレンズという）１２ａは、被写領域の正面略４０°の範囲から入射する光を直接受光し、左右の列の各３個の光学レンズ（以下、サイドレンズという）１２ｂ、ｃは、被写領域の左右のそれぞれ略４０°の範囲から入射する光を４５°直角プリズム１５を介して受光する。

４５°直角プリズム１５は、直角を挟む２つの辺１５ａ、１５ｂのうち外側向きの一辺１５ａから光が入射し、入射した光が斜辺１５ｃによって反射されて他の一辺１５ｂから出射するように配置される。なお、本明細書においては、プリズムの光が入射する面、光が出射する面等を、光の進行経路を示す側面図と対比させて説明する都合上、「一辺」、「斜辺」等の用語を用いて示す。

具体的には、４５°直角プリズム１５は、図４に示されるように、サイドレンズ１２ｂ、ｃに対向する一辺１５ｂが光学レンズアレイ１４に対して２５°の角度に傾斜するように配置され、斜辺１５ｃが光学レンズアレイ１４に対して７０°の角度に傾斜するように配置される。これによって、センタレンズ１２ａから向かって正面方向への略４０°の範囲には、４５°直角プリズム１５が存在せず、センタレンズ１２ａへ入射する光が遮られないように構成される。

また、４５°直角プリズム１５の直角を挟む２つの辺１５ａ、１５ｂのうち外側向きの一辺１５ａから入射する光のうち略４０°の角度の範囲の光がサイドレンズ１２ｂ、ｃによって集光され、固体撮像素子２上に結像される。

次に固体撮像素子２と固体撮像素子２上に結像される像について、図５を参照して説明する。固体撮像素子２は、光学レンズ１２ａ、ｂ、ｃにより結像される９つの画像２１（以下、個眼像という）をそれぞれ撮像する３行３列の個眼像撮像エリア２ａを備える。センタレンズ１２ａによって結像される中央の列の個眼像２１は、上下及び左右が反転され、左右のサイドレンズ１２ｂ、ｃによって結像される左右の列の個眼像２１は、サイドレンズ１２ｂ、ｃ及び４５°直角プリズム１５によって上下が反転される。

さらに、図６及び図７を参照して詳細に説明する。図６に示された固体撮像素子２上の像は、被写体側から見た像である。いま、動き検出用撮像装置１の前方に、図５に示されるように１２０°の被写領域Ｂに亘って４０°ごとの等間隔に「Ｌ」「Ｃ」「Ｒ」と表示された被写体が配置されている場合を想定する。この場合、中央の「Ｃ」（中央４０°の領域）は、センタレンズ１２ａによって上下及び左右が反転されて中央の列の個眼像撮像エリア２ａに上下３個の個眼像２１として結像される（被写体側から見た像としては、図６に示されるように上下が反転された像になる）。

また、左の「Ｌ」（左側４０°の領域）と右の「Ｒ」（右側４０°の領域）は、４５°直角プリズム１５によって左右反転された後にそれぞれサイドレンズ１２ｂ、ｃによって上下及び左右が反転されて左右の列の個眼像撮像エリア２ａにそれぞれ上下３個の個眼像２１として結像される（被写体側から見た像としては、図６に示されるように上下及び左右が反転された像になる）。

これら９個の個眼像２１の画像情報が、タイミングジェネレータ７によって生成される所定のタイミング信号に基づいて行方向に沿った個眼像撮像エリア（以下、行方向個眼像撮像エリア２Ａ、２Ｂ、２Ｃという）ごとに時間差をもって読出される。具体的には、図６に示されるように、最初に固体撮像素子２を構成する一隅の単位画素ｕ１が読出され、続いて行方向（Ｘ方向）の単位画素ｕ２、ｕ３・・が順に行の最後まで読出され、１行分の単位画素ｕの読出しが終了すると、次に２行目の単位画素ｕの読出しが行われる。このようにして、固体撮像素子２の対向する一隅の単位画素ｕｘまで順に読出される。図６の右側に読出しタイミングの流れが矢印で示される。なお、固体撮像素子２を構成する有効な全ての単位画素ｕ１、ｕ２・・ｕｘの読出しが、１回のシャッタ動作によって行われる。

上記のようにして読出された９個の個眼像２１は、図７の左側に示されるように、元の被写体に対して左右の領域の個眼像２１が逆の位置になっており、かつそれらの画像自体が左右反転している。この画像情報が、マイクロプロセッサ１１によって、左右の領域の個眼像２１の位置を入替えられると共に、画像自体が左右反転されて図７の右側に示されるように元の被写体を正確に再現する広角画像ＰＡ、ＰＢ、ＰＣに再生される。

具体的には、マイクロプロセッサ１１は、まず左右反転された「Ｌ」（左側４０°領域の画像）と「Ｒ」（右側４０°領域の画像）の個眼像２１の位置を入替えた後、各個眼像２１をミラー反転して正常な画像に戻し、その正常に戻した画像「Ｌ」と「Ｒ」を、中央４０°領域の画像「Ｃ」と合成して１２０°の広角画像ＰＡ、ＰＢ、ＰＣに再生する。マイクロプロセッサ１１は、上記処理を、行方向個眼像撮像エリア２Ａ、２Ｂ、２Ｃごとに行い、３つの広角画像ＰＡ、ＰＢ、ＰＣを再生する。

このとき、各個眼像撮像エリア２ａは、略４０°の領域の画像であるので接合部の重なり部分をほとんど生じることなく中央と左右の画像２１が接合される。また、光学レンズ１２ａ、ｂ、ｃは、画角４０°のレンズであるので各個眼像２１の外周部の歪はほとんど生じず、画像同士の接合時に各画像に対する複雑な歪補正の処理が必要とされることがない。

行方向個眼像撮像エリア２Ａ、２Ｂ、２Ｃごとに再生された３つの広角画像ＰＡ、ＰＢ、ＰＣは、固体撮像素子２からの読出しのタイミングが上述のようにして時間差をつけられているので、広角画像ＰＡ、広角画像ＰＢ、広角画像ＰＣの順で時間の流れに沿った被写体の状態を示す。

上記の例では、被写体の「Ｌ」「Ｃ」「Ｒ」が静止しているので、再生された３つの広角画像ＰＡ、ＰＢ、ＰＣは全く同一の画像になるが、被写体が動きのあるものであった場合には、再生された広角画像は、被写体の動きを反映して少しずつ異なった画像になる。

いま、被写領域Ｂの左方から右方へ走行する自動車Ｍが動き検出用撮像装置１によって撮像されたとすると、図８の左側に示される３つの広角画像ＰＡ、ＰＢ、ＰＣが再生される。これらの画像は、広角画像ＰＡ、広角画像ＰＢ、広角画像ＰＣの順で時間経過に沿った被写体の状態が撮像された画像になる。

マイクロプロセッサ１１は、次にディジタル的に広角画像ＰＣから広角画像ＰＡを引き算して差分の画像ＰＤ（図８の右側）を作成する。この処理によって広角画像ＰＡと広角画像ＰＣとの間の相違部分Ｍａが反転し自動車Ｍが暗色で再生される。従って、マイクロプロセッサ１１は、差分画像ＰＤにおける暗色部分の有無によって被写体の動きを判別する。なお、再生される広角画像ＰＡ、ＰＢ、ＰＣは３つであるので、マイクロプロセッサ１１は、広角画像ＰＡと広角画像ＰＢ同士、又は広角画像ＰＢと広角画像ＰＣ同士の差分を作成し、それらの差分画像に基づいて動きを検出するようにしてもよい。

以上のように、本実施形態の動き検出用撮像装置１においては、レンズ光学系が３行３列の光学レンズ１２ａ、ｂ、ｃを有する光学レンズアレイ１４と、左右の列の光学レンズ１２ｂ、ｃに対向して設けられた４５°直角プリズム１５とから構成されるので構造が簡素であり、装置全体を容易に小型にできる。

また、１回のシャッタ動作（固体撮像素子２の有効な単位画素ｕ１〜ｕｘが読出される動作）によって、時間差を有する３つの広角画像ＰＡ、ＰＢ、ＰＣが再生され、それらの広角画像ＰＡ、ＰＢ、ＰＣ間の差分に基づいて略１２０°の被写領域Ｂ内の被写体の動きが検出されるので、容易に短い時間間隔で複数の画像を撮像することができ、被写体が自動車Ｍのように早い速度で移動するものであっても高い確率で検出することができる。

従って、本実施形態の動き検出用撮像装置１を自動車の後部に付設される後部確認装置として用いる場合に、小型でありながら自動車後方の広い範囲の被写領域を監視することができ、早い速度で移動する自動車等を高い確率で検出することができる。

（第２の実施形態）
次に、第２の実施形態について図９を参照して説明する。第２の実施形態の動き検出用撮像装置１は、第１の実施形態におけるレンズ光学系３の４５°直角プリズム１５が６０°−３０°直角プリズム２１５に変更されたものであり、その他の部分は同一であるので、レンズ光学系についてのみ説明する。

第２の実施形態におけるレンズ光学系２０３は、図９に示されるように左右のサイドレンズ１２ｂ、ｃに対向して６０°−３０°直角プリズム２１５が配置される。６０°−３０°直角プリズム２１５は、断面が直角三角形であり、直角に対向する２つの角が６０°と３０°に形成されたプリズムである。

６０°−３０°直角プリズム２１５は、直角を挟む２つの辺２１５ａ、２１５ｂのうちの短辺２１５ｂが光学レンズアレイ１４に対して平行であり、直角を挟む長辺２１５ａが外側向きに垂直になるように配置される。従って、斜辺２１５ｃは、光学レンズアレイ１４に対して６０°の傾斜を有する。そして、被写領域１２０°のうちの左右４０°の範囲からの光が６０°−３０°直角プリズム２１５の長辺２１５ａから入射し、斜辺２１５ｃによって反射され、短辺２１５ｂから出射してサイドレンズ１２ｂ、ｃによって集光され、固体撮像素子２上に左右略４０°の範囲の画像として結像される。

そして、第１の実施形態と同様に、サイドレンズ１２ｂ、ｃによって結像された左右略４０°の範囲の画像（個眼像）２１と、センタレンズ１２ａによって結像された中央略４０°の範囲の画像（個眼像）２１が、マイクロプロセッサ１１によって略１２０°の範囲の広角画像ＰＡ、ＰＢ、ＰＣに再生され、広角画像ＰＡ、ＰＢ、ＰＣ間の差分に基づいて被写体の動きが検出される。

この第２の実施形態においても、６０°−３０°直角プリズム２１５の斜辺２１５ｃは、光学レンズアレイ１４に対して６０°の傾斜を有するので、センタレンズ１２ａから向かって正面方向への略４０°の範囲には、６０°−３０°直角プリズム２１５が存在せず、センタレンズ１２ａへ入射する光が遮られない。

また、各個眼像２１は、第１の実施形態と同様に、略４０°の領域の画像であるので接合部の重なり部分を大きく生じることなく中央と左右の画像（個眼像）２１が接合され、各画像２１の外周部の歪がほとんど生じないので複雑な歪補正の処理が必要とされることがない。

（第３の実施形態）
次に、第３の実施形態について図１０を参照して説明する。第３の実施形態の動き検出用撮像装置１は、第１の実施形態におけるレンズ光学系３の４５°直角プリズム１５が正三角形プリズム３１５に変更され、各光学レンズ１２ａ、ｂ、ｃが６０°の画角を有するものに変更されたものである。これによって被写領域が略１８０°に広げられている。その他の部分については、第１の実施形態と同一であるのでレンズ光学系についてのみ説明する。

第３の実施形態におけるレンズ光学系３０３は、図１０に示されるように左右のサイドレンズ１２ｂ、ｃに対向して正三角形プリズム３１５が配置される。正三角形プリズム３１５は、断面が正三角形のプリズムである。

正三角形プリズム３１５は、一辺３１５ｂが光学レンズアレイ１４に対して平行になるように配置される。従って、内側向きの斜辺３１５ｃは、光学レンズアレイ１４に対して６０°の傾斜を有する。そして、略１８０°の被写領域の左右６０°の範囲からの光が正三角形プリズム３１５の外側向きの斜辺３１５ａから入射し、内側向きの斜辺３１５ｃによって反射され、光学レンズアレイ１４に平行な辺３１５ｂから出射してサイドレンズ１２ｂ、ｃによって集光され、固体撮像素子２上に左右略６０°の範囲の画像として結像される。

そして、第１の実施形態と同様に、サイドレンズ１２ｂ、ｃによって結像された左右略６０°の範囲の画像（個眼像）２１と、センタレンズ１２ａによって結像された中央略６０°の範囲の画像（個眼像）２１が、マイクロプロセッサ１１によって略１８０°の範囲の広角画像ＰＡ、ＰＢ、ＰＣに再生され、広角画像ＰＡ、ＰＢ、ＰＣ間の差分に基づいて被写体の動きが検出される。

この第３の実施形態において、正三角形プリズム３１５の内側向きの斜辺３１５ｃは、光学レンズアレイ１４に対して６０°の傾斜を有するので、センタレンズ１２ａから向かって正面方向への略６０°の範囲には、正三角形プリズム３１５が存在せず、センタレンズ１２ａへ入射する光が遮られない。

なお、この第３の実施形態の場合には、左右の正三角形プリズム３１５に入射する光の角度範囲が６０°よりも大きくなる可能性があり、各サイドレンズ１２ｂ、ｃによって結像される画像２１の画角が６０°よりも大きくなる可能性がある。その場合には、各画像２１の接合部の重なり部分を大きくすることによって調整される。

また、この第３の実施形態の場合には、各光学レンズ１２ａ、ｂ、ｃが６０°の画角を有するレンズで構成されるので、固体撮像素子２上の各個眼像２１の外周部に歪が生じる可能性があるが、各光学レンズ１２ａ、ｂ、ｃを２枚又は３枚の組合せレンズによって構成することにより歪の大きさを実質的に支障がない程度に抑えることができる。

（第４の実施形態）
次に、第４の実施形態について、図１１を参照して説明する。第４の実施形態の動き検出用撮像装置は、第１の実施形態におけるレンズ光学系３の４５°直角プリズム１５がミラーに変更されたものである。その他の部分については、第１の実施形態と同一であるのでレンズ光学系についてのみ説明する。

第４の実施形態におけるレンズ光学系４０３は、左右のサイドレンズ１２ｂ、ｃに対向する位置に光学レンズアレイ１４に対して略３０°の傾斜姿勢で第１のミラー４１５ａが配置される。左右のサイドレンズ１２ｂ、ｃの外方位置には第１のミラー４１５ａからサイドレンズ１２ｂ、ｃへの光路を遮らない位置に第２のミラー４１５ｂが配置される。センタレンズ１２ａから向かって正面方向への略４０°の範囲には、ミラーが存在せず、被写領域からセンタレンズ１２ａへ入射する光が遮られない。

略１２０°の被写領域のうち左右４０°の範囲からの光が第２のミラー４１５ｂと第１のミラー４１５ａによって順に反射されて左右のサイドレンズ１２ｂ、ｃに入射し、固体撮像素子２上に左右４０°の範囲の画像（個眼像）２１として結像される。略１２０°の被写領域のうち中央の４０°の範囲からの光は、直接センタレンズ１２ａに入射し、固体撮像素子２上に中央４０°の範囲の画像（個眼像）２１として結像される。

第１の実施形態と同様に、左右４０°の範囲の画像（個眼像）２１と中央４０°の範囲の画像（個眼像）２１が、マイクロプロセッサ１１によって略１２０°の被写領域の広角画像ＰＡ、ＰＢ、ＰＣに再生され、広角画像ＰＡ、ＰＢ、ＰＣ間の差分に基づいて被写体の動きが検出される。なお、この第４の実施形態の場合には、左右の範囲の画像２１は、左右反転されないので、その分だけマイクロプロセッサ１１による再生処理の手順が簡単化される。

なお、上記第１乃至第４の実施形態において、光学レンズアレイ１４における光学レンズ１２の配置は、３行３列に限られず、固体撮像素子２を構成する単位画素ｕの行列配置に平行に配置されたｎ行ｍ列の配置であってもよい（ｎは２以上の整数、ｍは３以上の整数）。また、ローリングシャッタ手段は、タイミングジェネレータ７に限られず、マイクロプロセッサ１１に内蔵されたタイミング信号の生成手段であってもよい。

本発明の第１の実施形態に係る動き検出用撮像装置の概略構成を示す図。 同動き検出用撮像装置におけるレンズ光学系と固体撮像素子を示す側断面図。 同動き検出用撮像装置におけるレンズ光学系の平面図。 同動き検出用撮像装置におけるレンズ光学系と光の進行経路を示す側面図。 同動き検出用撮像装置における固体撮像素子上に結像される像と被写体との関係を示す斜視図。 同動き検出用撮像装置における固体撮像素子上の個眼像の結像状態と画像情報の読出し順序を示す説明図。 同動き検出用撮像装置における固体撮像素子から読出された個眼像が３つの広角画像に再生される過程を示す説明図。 同動き検出用撮像装置における再生された３つの広角画像から差分画像が作成される過程を示す説明図。 本発明の第２の実施形態に係る動き検出用撮像装置のレンズ光学系と光の進行経路を示す側面図。 本発明の第３の実施形態に係る動き検出用撮像装置のレンズ光学系と光の進行経路を示す側面図。 本発明の第４の実施形態に係る動き検出用撮像装置のレンズ光学系と光の進行経路を示す側面図。

符号の説明

１ 動き検出用撮像装置
２ 固体撮像素子
２ａ 個眼像撮像エリア
２Ａ、２Ｂ、２Ｃ 行方向個眼像撮像エリア
３、２０３、３０３、４０３ レンズ光学系
７ タイミングジェネレータ（ローリングシャッタ手段）
１１ マイクロプロセッサ（画像合成手段、動き検出手段）
１２ 光学レンズ
１２ａ センタレンズ
１２ｂ、１２ｃ サイドレンズ
１４ 光学レンズアレイ
１５ ４５°直角プリズム
２１５ ６０°−３０°直角プリズム
３１５ 正三角形プリズム
４１５ａ 第１のミラー
４１５ｂ 第２のミラー
２１ 個眼像
ｕ、ｕ１、ｕ２・・ｕｘ 単位画素
Ｂ 被写領域
Ｌ 光軸
ＰＡ、ＰＢ、ＰＣ 広角画像
ＰＤ 差分画像（差分）

Claims (4)

1. 単位画素が行列状に配置された固体撮像素子と、
   被写領域からの光を集光して前記固体撮像素子上に結像させるレンズ光学系とを備え、
   前記固体撮像素子上に結像される画像を時間差をもって撮像し、撮像した複数の画像の差分に基づいて画像中の被写体の動きを検出する動き検出用撮像装置において、
   前記レンズ光学系が、
   前記被写領域の正面略４０°の範囲からの光が入射し、前記固体撮像素子を構成する単位画素の列方向に沿って配置された３つの光学レンズ（以下、センタレンズという）と、前記被写領域のうち左右略４０°の範囲からの光が入射し、前記固体撮像素子を構成する単位画素の列方向に沿い前記センタレンズの左右に配置された３つの光学レンズ（以下、サイドレンズという）を有する光学レンズアレイと、
   前記左右のサイドレンズの光入射側において、前記被写領域の正面略４０°の範囲から入射する光を遮らないように前記各サイドレンズに対して設けられ、前記被写領域のうち左右略４０°の範囲から入射する光を、前記各サイドレンズの光軸に一致するように屈曲させて前記各サイドレンズへ案内する左右の４５°直角プリズムと、を備え、
   前記固体撮像素子が、
   前記センタレンズと前記サイドレンズにより結像される９つの画像（以下、個眼像という）をそれぞれ撮像する３行３列の個眼像撮像エリアを備え、
   さらに、
   前記固体撮像素子を構成する単位画素の行方向に沿った前記個眼像撮像エリア（以下、行方向個眼像撮像エリアという）ごとに時間差をもたせて前記固体撮像素子に個眼像を撮像させるローリングシャッタ手段と、
   前記ローリングシャッタ手段によって時間差をもって撮像された、行方向個眼像撮像エリアごとの３つの個眼像を、前記センタレンズによって結像された個眼像を正面略４０°の被写領域の画像とし、前記サイドレンズによって結像された左右の個眼像をそれぞれ左右略４０°の被写領域の画像として合成して画角が１２０°以上の広角画像に再生する画像合成手段と、
   前記画像合成手段によって前記行方向個眼像撮像エリアごとに再生された広角画像同士の差分に基づいて前記広角画像中の被写体の動きを検出する動き検出手段と、を備え、
   前記ローリングシャッタ手段による１回のシャッタ動作によって時間差を有する複数枚の広角画像が再生され、それら複数枚の広角画像に基づいて１２０°以上の広い範囲の被写領域内の被写体の動きが検出されることを特徴とする動き検出用撮像装置。
2. 単位画素が行列状に配置された固体撮像素子と、
   被写領域からの光を集光して前記固体撮像素子上に結像させるレンズ光学系とを備え、
   前記固体撮像素子上に結像される画像を時間差をもって撮像し、撮像した複数の画像の差分に基づいて画像中の被写体の動きを検出する動き検出用撮像装置において、
   前記レンズ光学系が、
   前記被写領域の正面の所定範囲からの光が入射し、前記固体撮像素子を構成する単位画素の列方向に沿って配置された複数の光学レンズ（以下、センタレンズという）と、前記被写領域のうち左右の所定範囲からの光が入射し、前記固体撮像素子を構成する単位画素の列方向に沿って前記センタレンズの左右に配置された複数の光学レンズ（以下、サイドレンズという）を有する光学レンズアレイと、
   前記左右のサイドレンズの光入射側に設けられ、前記被写領域のうち左右の所定範囲から入射する光を、前記各サイドレンズの光軸に一致するように屈曲させて前記各サイドレンズへ案内するプリズム又はミラーと、を備え、
   前記固体撮像素子が、
   前記センタレンズと前記サイドレンズにより結像される複数の画像（以下、個眼像という）をそれぞれ撮像する個眼像撮像エリアを備え、
   さらに、
   前記固体撮像素子を構成する単位画素の行方向に沿った前記個眼像撮像エリア（以下、行方向個眼像撮像エリアという）ごとに時間差をもたせて前記固体撮像素子に個眼像を撮像させるローリングシャッタ手段と、
   前記ローリングシャッタ手段によって時間差をもって撮像された、各行方向個眼像撮像エリアごとの複数の個眼像を、前記センタレンズによって結像された個眼像を被写領域正面の画像とし、前記サイドレンズによって結像された左右の個眼像をそれぞれ被写領域左右の画像として合成して１枚の広角画像に再生する画像合成手段と、
   前記画像合成手段によって前記行方向個眼像撮像エリアごとに再生された複数の広角画像同士の差分に基づいて画像中の被写体の動きを検出する動き検出手段と、を備え、
   前記ローリングシャッタ手段による１回のシャッタ動作によって時間差を有する複数枚の広角画像が再生され、それら複数枚の広角画像に基づいて広い範囲の被写領域内の被写体の動きが検出されることを特徴とする動き検出用撮像装置。
3. 前記左右のサイドレンズの光入射側に設けられ、前記被写領域のうち左右の所定範囲から入射する光を、前記各サイドレンズの光軸に一致するように屈曲させて前記各サイドレンズへ案内するプリズムが４５°直角プリズムであることを特徴とする請求項２に記載の動き検出用撮像装置。
4. 前記左右のサイドレンズの光入射側に設けられ、前記被写領域のうち左右の所定範囲から入射する光を、前記各サイドレンズの光軸に一致するように屈曲させて前記各サイドレンズへ案内するプリズムが６０°−３０°直角プリズムであることを特徴とする請求項２に記載の動き検出用撮像装置。

Images