JP4242598B2 - 撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、選択撮像・カメラ光軸制御・画像処理の各機能を備えた撮像装置に関するものである。
【０００２】
【従来の技術】
従来、３次元測定ができるレンジファインダ装置と通常のカメラとを併用することで、距離により被写体を選択撮像する技術が知られている（例えば、特開２０００−２４１１３１参照）。
【０００３】
また、カメラの向きを変化させたり、ズームを行ったりする場合、カメラを雲台に取り付け、この雲台をモータで駆動できるようにしておき、遠隔操作によってカメラを取り付けている雲台の向きを変えたり、カメラレンズ内に取り付けられたレンズ移動モータによってレンズを移動することによってレンズの焦点距離を変化させてズーミングを行ったりしていた。
【０００４】
図２２は、従来のロボットビジョン、つまりロボットの頭部に搭載する左右２つのカメラ（ロボットの目）の実装図である。この図のように、左右アクチュエータ、上下アクチュエータ、カメラを回転可能で固定する雲台等、カメラ以外の機構部品が多く存在し、全体として大きな装置になっている。
【０００５】
また、撮像された画像情報にフィルタ処理を行う場合、一旦画像信号をコンピュータに取り込み、その上でディジタル信号処理によってフィルタ処理を行っていた。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記のような従来の技術では、ある距離にある被写体のみを選択撮像する場合は、被写体の距離情報とカラー画像情報とを撮影と同時に得て、ある範囲の距離にある被写体部分のみのカラー画像を切り出すという付加的な処理が必要であった。また、カメラ単体で遠隔で向きを変えたり、ズームを変えることはできないし、画像にフィルタ処理を行う場合は、コンピュータを用いて画像処理を行う必要があった。
【０００７】
本発明の目的は、簡単な構成で、距離により被写体を選択撮像したり、カメラの向きやズームを純電子的に制御したり、撮像された画像に対してフィルタ処理を施したりできるようにすることにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明は、複数の撮像ブロックそれぞれにピンホールを有する構成にし、得られた画像信号をそれぞれ遅延・ゲーティングし、その結果得られた画像信号を用いることによって距離選択を行う。また、動きのある被写体を選択的に撮像する。更に、撮像センサとの相対的な位置関係を変化できるピンホール板によって、カメラの方向やズームを変える。また、線状ピンホール板をレンズの位置に設置して、撮像する時点で画像のフィルタ処理を行う。
【０００９】
【発明の実施の形態】
以下、本発明の撮像装置について、その実施形態を図面を参照しながら説明する。
【００１０】
〔第１の実施形態〕
図１は、被写体までの距離を選択して撮像し、それ以外の距離の被写体は撮像しない機能を有する撮像装置（カメラ）を示している。図１に示すように、撮像センサ１５の４分割ブロック１００２〜１００５に対応して４つのピンホールを一方向に配置したピンホール板１０を前面に配置してある。ピンホール板１０からＬの距離を中心として前後ｍ／２の、距離方向でｍの範囲の被写体を選択して撮影する。ピンホール板１０と撮像センサ１５との距離をｆとする。Ｌ＞＞ｆの場合、ｆはレンズの焦点距離に対応する。
【００１１】
図２は、図１の位置関係を更に詳しく説明したものである。図２において、ピンホール板１０からＬの距離にある点αの、各ブロック１００２〜１００５における撮像位置はそれぞれαＡ、αＢ、αＣ、αＤである。被写体の中心位置αから前後ｍ／２の範囲は、各ブロック１００２〜１００５においてｇＡ、ｇＢ、ｇＣ、ｇＤの範囲で撮像される。このとき、その中心位置（正確に中心位置である必要はない）の各ブロック左端からの距離をｄＡ、ｄＢ、ｄＣ、ｄＤとする。これらの幾何学的長さは、距離Ｌ、ｍ、ｆによって決定される。具体的に言うと、ｇＡ〜ｇＤはＬ、ｍ、ｆによって、ｄＡ〜ｄＤはＬ、ｆによってそれぞれ決定される。
【００１２】
なお、一般的にはカメラの中心線からの被写体の左右方向のずれｘについても考慮する必要がある。すなわち、Ｌ＞＞ｘでない場合には、距離Ｌ、ｍ、ｆ、ｘを指定してｇＡ〜ｇＤ、ｄＡ〜ｄＤを決めればよい。被写体の中心位置がαとβを結ぶ直線（同じ奥行き距離）上にある場合に対応できる。
【００１３】
図３は、図１の撮像装置のシステム構成図である。４分割された撮像センサ１５の各ブロック１００２〜１００５をそれぞれブロックＡ、Ｂ、Ｃ、Ｄと呼ぶこととする。１０１１〜１０１４は水平シフトレジスタ（ＨＳＲ）、１０３０はフラグ信号ＦＬＧＡ〜ＦＬＧＤを生成するための演算処理部、１００６〜１００９はフラグシフトレジスタ（ＦＳＲ）である。フラグ信号ＦＬＧＡ〜ＦＬＧＤは、対応画素の撮像の要否を指定するための信号である。
【００１４】
図４は、１個の撮像ブロック（ブロックＤ）１００５を示す。このブロック１００５は、２次元アレイ化されたＭＯＳ型の単位画素（セル）１０１５を備える。そして、垂直方向に画素間共通の出力信号線（ｏｕｔ）１０２６及びフラグデータ線（ｆｌａｇ＿ｄａｔａ）１０２５が配され、かつ水平方向に画素間共通のフラグパルス線（ｆｌａｇ＿ｐｕｌｓｅ）１０２１、転送線（ｔｒａｎｓｆｅｒ）１０２２、リセット線（ｒｅｓｅｔ）１０２３及び電源供給線（ｒｅａｄ／Ｖｄｄ）１０２４が配されている。フラグシフトレジスタ１００９には、フラグ信号ＦＬＧＤをシフトさせるためのクロック信号（ｃｌｏｃｋ）１０１６が供給される。
【００１５】
図５は、単位画素を構成するセル１０１５の等価回路図を示す。１個のセル１０１５は、フォトダイオード（ＰＤ）１０３４と、第１のキャパシタ１０３８と、フォトダイオード１０３４のｎ層側と第１のキャパシタ１０３８とを接続する第１の電界効果トランジスタ（ＦＥＴ）１０３５と、第１のキャパシタ１０３８をゲートで受けた第２のＦＥＴ１０３９とを有する。第１のＦＥＴ１０３５のゲートは転送線１０２２に接続され、第２のＦＥＴ１０３９はその一端を出力信号線１０２６に接続され、他端は第３のＦＥＴ１０３３を介して電源供給線１０２４に接続され、第３のＦＥＴ１０３３のゲートと電源供給線１０２４との間に第２のキャパシタ１０３２が接続され、第３のＦＥＴ１０３３のゲートとフラグデータ線１０２５との間には第４のＦＥＴ１０３１が接続され、第４のＦＥＴ１０３１のゲートにはフラグパルス線１０２１が接続され、フォトダイオード１０３４のｎ層側とフラグパルス線１０２１との間には第５のＦＥＴ１０３６が接続され、第５のＦＥＴ１０３６のゲートはフラグパルス線１０２１に接続され、第１のキャパシタ１０３８とリセット線１０２３との間には第６のＦＥＴ１０３７が接続され、第６のＦＥＴ１０３７のゲートもリセット線１０２３に接続されている。１０３１、１０３５、１０３６及び１０３７はデプレッション型ＦＥＴであり、１０３３及び１０３９はエンハンスメント型ＦＥＴである。
【００１６】
図６は、図３のシステム中のある画素ライン（ラインｎとする）における非破壊読み出し動作と、フラグ挿入動作とを示すタイミングチャートである。図６中のｔ１１〜ｔ１７、ｔ２１〜ｔ２７はタイミングを表している。
【００１７】
図６において、タイミングｔ１１では、垂直同期信号ＶＤ及び水平同期信号ＨＤが“Ｈ”となる。タイミングｔ１２で電源供給線１０２４が“Ｈ”となり、前のフレームでキャパシタ１０３８に蓄積されていた信号電荷Ｑ０が出力信号線１０２６にデータＱ０として読み出される。タイミングｔ１３でリセット線１０２３を“Ｈ”とし、キャパシタ１０３８に蓄積されていたデータＱ０をリセットする。タイミングｔ１４で転送線１０２２を“Ｈ”とし、１フレーム期間中にフォトダイオード１０３４で光電変換され蓄積された信号電荷Ｑ１を、ＦＥＴ１０３５を介してキャパシタ１０３８に読み出す。次に、タイミングｔ１５で電源供給線１０２４が“Ｈ”になると、キャパシタ１０３２に記憶されたフラグ（Ｆｌａｇ＿Ｑ０）が“０”の場合、Ｖｄｄ電圧がＦＥＴ１０３９に印加される結果、キャパシタ１０３８の信号電荷Ｑ１は出力信号線１０２６にデータＱ１として読み出される。つまり、前フレームのデータＱ０に続いて、現フレームのデータＱ１が出力信号線１０２６上に得られる。これらのデータＱ０及びＱ１は、水平シフトレジスタ１０１４を介して後段の演算処理部１０３０に与えられる。なお、キャパシタ１０３８の信号電荷Ｑ１は、タイミングｔ２３まで破壊されることなく保持される。
【００１８】
キャパシタ１０３８の信号電荷は、電源供給線１０２４を“Ｈ”として１ラインずつ水平シフトレジスタ１０１４に一括して読み出される。ここで、キャパシタ１０３２にフラグ“１”が書き込まれていた場合は、このフラグにより、ＦＥＴ１０３３の閾値が０Ｖから＋５Ｖに変わるため、出力信号線１０２６はハイインピーダンス状態となる。このとき、出力信号線１０２６に接続した負荷抵抗（不図示）をＧＮＤに接続しておくと、信号出力が無い場合は水平シフトレジスタ１０１４には０が書き込まれる。ここでは、フラグ電荷量として、例えば、Ｃ＝１０ｆＦ、Ｖ＝−５Ｖとなる程度の電子数をキャパシタ１０３２に書き込む場合を想定している。
【００１９】
次のＨＤのタイミングｔ１６では、ラインｎのフラグ信号が演算処理部１０３０からフラグシフトレジスタ１００９へ帰ってくる。このフラグ信号は、クロック信号１０１６に応じてフラグシフトレジスタ１００９に順次読み込まれる。そして、フラグデータ線１０２５の“１”はフラグパルス線１０２１の立ち上がりに同期して（タイミングｔ１７）、ラインｎのキャパシタ１０３２に書き込まれる。この結果、キャパシタ１０３２のフラグがＦｌａｇ＿Ｑ１に更新される。これと同時に、フォトダイオード１０３４の蓄積電荷がリセットされる。
【００２０】
以上の手順を通じて、４画面を並列に読み出すことのできる撮像センサ１５より、並列に読み出された信号出力は後段の演算処理部１０３０にて処理され、その結果、同一距離とみなされるアドレスにはフラグ“１”を立てて、撮像センサ１５に返される。
【００２１】
なお、単位画素の構成は図５に限定されるものではなく、入射光を光電変換しかつ現フレームにおいて光電変換された信号電荷を蓄積するための光電変換蓄積部（１０３４）と、該光電変換蓄積部の後段に接続され前フレームの信号電荷を蓄積保持するための電荷保持部（１０３８）と、該電荷保持部の信号電荷を外部に読み出すための読み出し部（１０３９）と、該読み出し部から信号電荷を外部に読み出す機能をフラグ信号に基づいてオンオフ制御するための読み出し制御部（１０３１〜１０３３）とを各単位画素に備えておればよい。
【００２２】
次に、演算処理部１０３０の動作について説明する。演算処理部１０３０は、撮像センサ１５の４つのブロック１００２〜１００５からの画像信号をもとに、画像の特定の領域を選択するフラグ信号、すなわち前述のフラグデータを生成するものである。
【００２３】
図７は、信号処理部１０３０の構成図である。図２のような幾何学的な関係を予め計算しておき、図７のディレイ制御部１９と、ゲート時間制御部２０とに記憶しておく。このカメラ使用者は、写したい被写体までの距離Ｌと、写したい範囲ｍとを選択範囲指定部２１で指定する。
【００２４】
図７によれば、撮像センサ１５のブロックＡ〜Ｄからの画素信号は走査により順次出力され、それぞれ信号ディレイ部１６ａ〜１６ｄに入力される。それぞれのディレイ量（時間遅延）は図２のｄＡ、ｄＢ、ｄＣ、ｄＤを走査時間で換算したものである。ここで時間換算は、撮像センサ１５から得られる画素信号が、通常横方向に繰り返し時間掃引された信号であることを利用して、例えば、ｄＡの距離であれば、それに対応した時間換算値を予めディレイ制御部１９に記憶しておき、それを信号ディレイ部１６ａに入力する。信号ディレイ部１６ａ〜１６ｄの出力はそれぞれ、信号ゲーティング部１７ａ〜１７ｄに入力される。各々のゲート時間（信号選択期間）は、図２で示したｇＡ、ｇＢ、ｇＣ、ｇＤから、画素信号の掃引速度を考慮して時間変化した値を定義したものであり、ゲート時間制御部２０に予め記憶されている。これによって、図２のαの位置から距離方向で±ｍ／２の距離にある被写体の画像が、時間的なタイミングを合わせて各信号ゲーティング部１７ａ〜１７ｄから選択的に切り出されて出力される。
【００２５】
次に、これらの信号はフラグ生成部３０に入力される。フラグ生成部３０では、信号ゲーティング部１７ａ〜１７ｄの出力をそれぞれ＋，−，＋，−と符号を変換して、加算器１８で加算する。この場合、想定された距離Ｌの周辺ｍの範囲に被写体が写っていれば、画素信号は殆ど同じ大きさとなり、加算器１８の出力はほぼ０になる。一方、想定された位置に被写体が無い場合、信号ゲーティング部１７ａ〜１７ｄからの画素信号は異なったものとなり、加算器１８の出力は０ではなくなる。このことを利用して、フラグ判断部２９は、加算器１８の出力の小さい部分のみを、被写体があるものとして論理“１”のフラグ信号を生成し、それ以外では論理“０”のフラグ信号を生成する。このとき、予め信号ディレイ部１６ａ〜１６ｄで設定されたｄＡ〜ｄＤの値をもとに、撮像センサ１５の４ブロックそれぞれでの信号タイミングの位置に元に戻してフラグ信号ＦＬＧＡ〜ＦＬＧＤを生成する。
【００２６】
このようにして得られたフラグ信号ＦＬＧＡ〜ＦＬＧＤは、フラグシフトレジスタ１００６〜１００９を通じて各ブロックＡ〜Ｄに入力され、対応する画素のキャパシタ１０３２に、所定のタイミングで書き込まれる。そして、図６を用いて説明したとおり、有効なフラグ信号で指定された部分の画素の撮像された画像信号のみが出力信号として出力される。この場合、図７の出力信号は、その出力前に出力切換部を挿入しておき、フラグ信号を有効にする場合のみ映像信号を出力し、その他の場合は出力しないように制御することによって、フラグ信号が無効である場合の不要な映像信号を出力しないようにすることもできる。図７では出力信号はブロックＡの水平シフトレジスタ出力を使用しているが、いずれのブロックの水平シフトレジスタ出力を用いてもよい。
【００２７】
なお、上記実施形態において、フラグ生成部３０は、各信号ゲーティング部１７ａ〜１７ｄからの出力信号が重なるように各ブロックＡ〜Ｄからの撮像信号を加算して出力し、これを映像信号として利用することもできる。
【００２８】
この構成は、図８に示すように、各信号ゲーティング部１７ａ〜１７ｄの出力を平均値計算部３６により加算平均して、出力信号として出力することにより実現できる。この場合は、指定された位置の被写体は鮮明に写るが、その他の位置の被写体はぼやけた画像となる。また、図８の構成は、図７における演算処理部１０３０中の信号ゲーティング部１７ａ〜１７ｄの出力を用いているが、フラグ生成部３０が無くても動作する。信号ゲーティング部１７ａ〜１７ｄからの出力のみを加算するようにすれば、鮮明に写る部分以外の撮像信号は出力されないようにすることもできる。
【００２９】
以上のようにすることによって、カメラから距離Ｌでｍの奥行き範囲にある被写体が写っている画素信号のタイミングでフラグ信号ＦＬＧＡ〜ＦＬＧＤを生成することができる。これらのフラグ信号を用いて、撮像センサ１５は、画像出力として、フラグの立っている画像の領域のみ選択して撮像したり、その部分のみ鮮明に撮像して他の部分をぼかせる、という動作を実現できる。また、フラグ信号の極性を反転すれば、フラグ信号が指定した画像領域以外の部分のみを選択撮像することも可能である。
【００３０】
なお、以上の説明では撮像センサ１５のブロック数を４としたが、２個以上のブロックであれば、全く同様にして同じ機能を実現できる。
【００３１】
また、図３中の演算処理部１０３０の部分を図９の構成に置き換えると、撮像された画像中で、動きがあった領域のみフラグ信号を“１”にし、動領域のみの選択撮像、又は動領域のみ撮像しない（静止領域のみ撮像する）という機能を実現することもできる。
【００３２】
図９は、演算処理部１０３０における、撮像ブロックＡ（１００２）に対応する部分の構成図である。他のブロックＢ、Ｃ、Ｄについても同じ構成を作ることができる。図９において、３１はシフトレジスタ、３２はフラグ判定部、３３は減算器、３４は出力切換部、３５はタイミング制御部である。
【００３３】
撮像センサ１５の水平シフトレジスタ１０１１から得られる画像信号のうち、まず、図６のデータＱ０（前フレームの画像）が選択されて、シフトレジスタ３１に順次転送される。次に、図６のデータＱ１（現フレームの画像）が転送されてくる。このとき、シフトレジスタ３１も同期して、減算器３３にデータを各画素ずつ転送する。すなわち、各画素毎に、前フレームの画素と現フレームの画素との差を計算するわけである。計算した結果はフラグ判定部３２に送られ、差の大きさ（例えば絶対値）が、予め指定された値以下である場合は、その画素のフラグを“０”とし、それ以外はフラグを“１”として、フラグ信号ＦＬＧＡとして出力する。この計算をシリアルに順次行い、フラグ信号ＦＬＧＡは、図３のフラグシフトレジスタ１００６へ、撮像センサ１５の他の部分とタイミングを合わせて転送される。このとき、計算対象の画素と同じ座標の画素にフラグ信号を書き込む。以上の動作においては、出力切換部３４は映像出力を出さずに一定値を出力する。
【００３４】
そして、タイミング制御部３５により出力切換部３４が入力信号を通過させるように設定され、フラグ信号ＦＬＧＡで“１”と指定された座標の画素値のみが選択され、それ以外の部分は一定値の信号が水平シフトレジスタ１０１１に転送され、これが出力切換部３４を通して出力信号として出力される。
【００３５】
以上のような動作により、画像中の動きがあった部分のみを選択して撮像信号を出力する機能を実現することができる。もちろん、フラグ信号の値を反転すれば、動きが無かった部分のみを選択して撮像信号を出力することもできる。
【００３６】
〔第２の実施形態〕
図１０（ａ）及び（ｂ）は、本発明における第２の実施形態の構成図である。図１０（ａ）において、１はピンホール板、２は水平移動部、３は垂直移動部、４は撮像センサ、５はピンホール、６は映像信号処理部である。図１０（ｂ）は、図１０（ａ）の垂直方向の配置を示したものである。
【００３７】
図１０（ｂ）において、被写体からの光は、ピンホール５を介して撮像センサ４に投影され、映像信号処理部６により処理され、画像信号（映像信号）となる。これは、従来のピンホールを用いたカメラと同じ原理で被写体を撮像するものである。このとき、水平移動部２の働きによって、図１１（ａ）に示すように、ピンホールの位置をＡからＢやＣに移動することができる。Ａの位置での撮影の画角はαの範囲であり、Ｂではβ、Ｃではγの範囲となる。このように、水平移動部２の働きによりピンホール位置を水平に移動することによって、カメラをパンすることができる。また、図１１（ｂ）に示したように、ピンホールの位置を撮像センサ４に対して垂直方向に移動させることによって、例えばピンホール板が７の位置で、ピンホールＤが撮像センサ４に近い場合、画角はδとなって広い範囲を撮像できるのに対し、ピンホール板が１の位置にあるとすると、撮影範囲はεとなり、狭い画角となる。すなわち、垂直移動部３の働きによって、カメラのズームを変えることができる。
【００３８】
上記の動作は図１２（ａ）〜（ｃ）のような構造でも実現できる。８は縦方向の線状の孔を有する縦線状孔板、９は横方向の線状の孔を有する横線状孔板である。これを重ね、図１２（ｃ）のように垂直移動部３、水平移動部２，２’と組み合わせ、縦線状孔板８と横線状孔板９とを独立に２次元的に移動してカメラのパンニングを実現し、また、垂直移動部３によって縦線状孔板８と横線状孔板９とを同時に上下に移動させることによってズーミングを実現できる。
【００３９】
また、上記の動作はポリマを電極でサンドイッチ構造としたゴム状のアクチュエータで実現することもできる（R. Pelrine et al. "Applications of Dielectric Elastomer Actuators", Proc. SPIE, Smart Structures and Materials 2001: Electroactive Polymer Actuators and Devices (EAPAD), Y. Bar-Cohen, ed., Vol.4329, pp.335-349, 2001）。このアクチュエータは、電極に電圧をかけると、ポリマ自体を電子的に変形することができるものである。これを利用すると、板に開けた孔の直径を自由に変化させることができる。つまり、孔の直径を十分小さくしておき、殆ど光が入らない状態にしておくことによって、電極に電圧を印加した時にのみ実質的にピンホールとして機能するようにすることができる。これを利用して、図１３（ａ）に示したように、このような孔をピンホール板１０に複数配置し、それぞれのピンホールに配置された電極に独立して電圧を印加できるようにしておけば、電子的にカメラのパンニングを行うことができる。また、このようなゴム状のアクチュエータを用いなくても、図１３（ｂ）に示したように、各ピンホールについて、光シャッタ１１を装備することによって、ピンホールを開閉することもできる。
【００４０】
上記アクチュエータを利用すれば、ズーミングも電子的に実現できる。その実現構造を図１４（ａ）〜（ｄ）に示す。図１４（ａ）は、このようなポリマアクチュエータによるピンホールを有したピンホール板１２，１３を撮像センサ４に対して垂直に２枚配置したものである。図１４（ｂ）のように下側のピンホールを大きくし、上側のピンホールを小さくすれば上側のピンホールのみが作用してズームアップを実現でき、図１４（ｃ）のように下側のピンホールを小さくし、上側のピンホールを大きくすれば、下側のピンホールのみが機能してワイドの撮影をすることができる。また、図１４（ｄ）に示すように、複数のピンホールＦ〜Ｊを重ねて配置し、ピンホールＨのみ、ピンホール機能を実現する程度の大きさとし、他のピンホールは十分大きくするようにすることもできる。このとき、ピンホールとして機能するものを、Ｆ〜Ｊのいずれかに設定し、その他のピンホールは直径を十分大きくすることにより、撮像センサ４とピンホールとの距離を複数の設定で切り換えることができる。
【００４１】
以上のように、ゴム状のアクチュエータを用いれば、カメラのパンニング、ズーミングを電子的に行うことができる。
【００４２】
以上説明してきたとおり、本実施形態における撮像装置においては、ピンホールの位置を切り換えることによりカメラの光軸を変化させたり、ズームを実現することができる。このような構造は、図２２で説明したロボットビジョンでも応用が可能である。本発明ではレンズの中にパンニングやズーミングの機構を組み込むことができるので、ロボットの視覚部分を非常にコンパクトに実現することができる。
【００４３】
〔第３の実施形態〕
図１５は、本発明における第３の実施形態の基本ブロック図である。図１５において、２３ａ，２３ｂは線状孔を有するピンホール板で、その裏側には撮像センサが配置されている。２４はバッファ、２５ａ，２５ｂは反転バッファ、２６は加算器である。
【００４４】
図１５の線状孔を有するピンホール板２３ａ，２３ｂの動作について説明する前に、まず通常のピンホールの性質について説明する。図１６（ａ）は点状孔を有するピンホール板１と撮像センサ４との位置関係を示したものである。ピンホール板１の光透過特性は、図１６（ｂ）のようにδ関数で記述される。すなわち、点状のピンホールである。これによって、レンズ中心を通過する光は直進するという、レンズの機能と同等な機能を実現することができ、ピンホールを用いればカメラを実現できるのである。このとき、図１６（ｃ）に示したように、空間周波数領域では、フィルタのかからない、全域通過型の伝達関数となっている。
【００４５】
これに対し、図１７（ａ）は、線状孔（矩形の孔）を有するピンホール板２２を示す。これは、縦方向には図１６（ａ）のようなピンホールとして機能するが、横方向は図１７（ｂ）のように光透過特性は窓関数として機能する。すなわち、横方向のみ、ある範囲の光を加算することができる。すなわち、横方向に画像のローパスフィルタ（ＬＰＦ）を施すことができるわけである。このとき、空間周波数領域では図１７（ｃ）のようなＬＰＦ特性となる。
【００４６】
また、図１８（ａ）に示したように、ピンホール板２３の線状孔の太さｄを変化させてやると、横方向の光透過特性は、図１８（ｂ）のような、なめらかな形を作ることができる。この場合、空間周波数領域では、図１８（ｃ）のような、折り返しの無いＬＰＦ特性が得られる。このように、線状ピンホールの孔の幅を制御することによって、図１７（ｂ）のような単純な窓関数ばかりでなく、複雑な窓関数を実現することができる。
【００４７】
図１８（ａ）より長いピンホールを作成すると、図１８（ｄ）に示したような光透過特性となる。この場合、空間周波数領域では、図１８（ｅ）のようなＬＰＦ特性が得られる。図１８（ｃ）と図１８（ｅ）との違いは、その遮断周波数の大きさである。短い線状ピンホールの場合は、図１８（ｃ）のように遮断周波数ｆ１が高く、帯域の広いＬＰＦとなる。長い線状ピンホールの場合は、図１８（ｅ）のように遮断周波数ｆ２が低く、帯域の狭いＬＰＦとなる。また、線状ピンホールの幅を大きくすれば、光が多く入り、光透過率が大きくなる。
【００４８】
以上の構造を有したピンホール板２２又は２３を使い、図１６（ａ）のごとく撮像センサ４を配置すれば、横方向（ピンホールの長手方向）に対して光学的にＬＰＦをかけることができる。すなわち、撮像センサ４からは、それぞれのピンホール板２２，２３の光透過特性を反映したＬＰＦをかけた画像信号を得ることができる。
【００４９】
更に、図１５のように構成することによって、図１９に示したようなフィルタ係数特性を有するバンドパスフィルタ（ＢＰＦ）やハイパスフィルタ（ＨＰＦ）の特性を得ることもできる。図１５において、２３ａ，２３ｂは図１８（ａ）の線状孔を有するピンホール板である。これらピンホール板２３ａ，２３ｂの違いは、光透過特性の幅が異なるということである。光透過特性の幅が長い方のピンホール板２３ｂを用いた撮像センサの画像信号のみ極性を反転して加算器２６で足し合わせれば、図１９のようなＢＰＦの特性を得ることができ、またＨＰＦの特性を得ることもできる。このとき、それぞれの画像信号の大きさにそれぞれ重みを付けて加算することもできる。例えば、図１５の一方のピンホール板２３ａの光透過特性を図１８（ｂ）とし、他方のピンホール板２３ｂの光透過特性を図１８（ｄ）としたとき、撮像センサからの出力の重みをそれぞれｋ１、ｋ２に調整して、図１８（ｂ）の斜線の面積×ｋ１＋図１８（ｄ）の斜線の面積×ｋ２が０になるようにすれば、総合的なフィルタの周波数特性（図１５の加算器２６の出力の周波数特性）は、図１８（ｆ）のように、直流成分の無い、ＨＰＦかＢＰＦのような特性を実現することができる。また、ピンホール板２３ａ，２３ｂの線状孔の長さを調節することによって、図１９の特性（周波数ｆ３，ｆ４の大きさ）を制御することができる。この調整方法は、基本的には図１８（ｃ）の遮断周波数ｆ１、及び図１８（ｅ）の遮断周波数ｆ２を調節することになる。また、それぞれの撮像センサの出力の重みｋ１，ｋ２を変化させることによって、図１９の周波数特性を変化させることもできる。
【００５０】
なお、上記実施形態では２種類の信号を加算したが、３つ以上の信号を加算することも可能であり、周波数特性の異なるフィルタを構成することができる。
【００５１】
図２０は、４個のブロックＡ〜Ｄに分割された撮像センサ１５と、その各ブロックに対応したピンホール板２７又は２８を配置した構成である。被写体が遠方にある場合（撮像センサとピンホール板の距離＜＜被写体までの距離の場合）、それぞれのブロックには、ほぼ同じ位置に被写体の像が投影されるため、各ブロックＡ〜Ｄで撮像された信号を図１５のように処理する。この場合、ブロックＡとＢを用いて図１５の構造を作り、ブロックＣとＤを用いてもう１つの図１５の構造を作って、それらの処理された画像信号を加算して最終出力を得ることができる。また、ブロックＡとＤの画素信号を加算し、またブロックＢとＤの画素信号を加算した信号を用意し、これらの加算した信号に対して、図１５のような構造にして差分を計算してＢＰＦ特性を得てもよい。
【００５２】
なお、図２０は被写体が遠い場合に使用できる構造であるが、被写体が近距離にある場合は、ピンホールの位置の違いによる撮像センサ１５上の像の位置の違いが大きくなるため、図１５の加算では被写体の写る場所が異なるため画像がぼやけてしまう場合がある。これを防ぐためには、図２１に示したような、前述のポリマアクチュエータを用いてピンホールの形状を変化させれば、ピンホールの中心位置はずれず、正確なＢＰＦ処理を実現することができる。これは、図１５に示した２種類のピンホール板２３ａ，２３ｂを、ゴム状のポリマアクチュエータによって時分割で切り換え、それに同期して撮像センサで画像を撮像するものである。この場合、図１５に示した２種類のピンホール板２３ａ，２３ｂによる画像は、１つの同じ撮像センサから時分割で得られる。これらを同時化し、ピンホールの幅が大きい場合の画像の極性を反転して加算することによって、近距離の被写体に対しても、精度良くＢＰＦ・ＬＰＦの特性を得ることができる。
【００５３】
以上のようにすることによって、被写体を撮影する際に、フィルタ処理をかけた画像を簡単な構造で、実時間で得ることができる。
【００５４】
【発明の効果】
以上に示したように、本発明によれば、予め指定した距離にある被写体あるいは動きのある被写体を選択的に撮像することができる。また、純電子的にズーミング・パンニングを実現し、安定性の良い、構造が簡単でコンパクトな撮像装置を実現することができる。また、光学的な手段を用いることによって、簡単な構造で高速なフィルタ処理を施した画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における撮像装置の概略構成図である。
【図２】図１の撮像装置の位置関係を説明した図である。
【図３】図１の撮像装置のシステム構成図である。
【図４】図３中の撮像センサの１ブロックを拡大して示した図である。
【図５】図４中の各セルの等価回路図である。
【図６】図３のシステムの動作を示すタイミングチャートである。
【図７】図３中の演算処理部の構成図である。
【図８】図３のシステムにおける映像出力信号の生成例を示すブロック図である。
【図９】図３中の演算処理部の他の構成図である。
【図１０】本発明の第２の実施形態における撮像装置の概略構成図である。
【図１１】図１０の撮像装置の動作説明図である。
【図１２】図１０の撮像装置の変形例を示す図である。
【図１３】図１０の撮像装置の他の変形例を示す図である。
【図１４】図１０の撮像装置の更に他の変形例を示す図である。
【図１５】本発明の第３の実施形態における撮像装置の概略構成図である。
【図１６】通常の点状ピンホールの性質を説明するための図である。
【図１７】線状ピンホールの性質を説明するための図である。
【図１８】線状ピンホールの性質を更に説明するための図である。
【図１９】図１５の撮像装置のフィルタ特性を示す図である。
【図２０】図１５の撮像装置の変形例を示す図である。
【図２１】図１５の撮像装置の他の変形例を示す図である。
【図２２】従来のロボットビジョンの実装図である。
【符号の説明】
１ ピンホール板
２，２’ 水平移動部
３ 垂直移動部
４ 撮像センサ
５ ピンホール
６ 映像信号処理部
８ 縦線状孔板
９ 横線状孔板
１０ ピンホール板
１１ 光シャッタ
１２，１３ ピンホール板
１５ 撮像センサ
１６ａ〜１６ｄ 信号ディレイ部
１７ａ〜１７ｄ 信号ゲーティング部
１８ 加算器
１９ ディレイ制御部
２０ ゲート時間制御部
２１ 選択範囲指定部
２２ 線状孔を有するピンホール板
２３ ピンホール板
２３ａ，２３ｂ 線状孔を有するピンホール板
２４ バッファ
２５ａ，２５ｂ 反転バッファ
２６ 加算器
２７，２８ ピンホール板
２９ フラグ判断部
３０ フラグ生成部
３１ シフトレジスタ
３２ フラグ判定部
３３ 減算器
３４ 出力切換部
３５ タイミング制御部
３６ 平均値計算部
１００２〜１００５ 撮像ブロック
１００６〜１００９ フラグシフトレジスタ（ＦＳＲ）
１０１１〜１０１４ 水平シフトレジスタ（ＨＳＲ）
１０１５ セル
１０２１ フラグパルス線（ｆｌａｇ＿ｐｕｌｓｅ）
１０２２ 転送線（ｔｒａｎｓｆｅｒ）
１０２３ リセット線（ｒｅｓｅｔ）
１０２４ 電源供給線（ｒｅａｄ／Ｖｄｄ）
１０２５ フラグデータ線（ｆｌａｇ＿ｄａｔａ）
１０２６ 出力信号線（ｏｕｔ）
１０３０ 演算処理部
１０３１，１０３５，１０３６，１０３７ デプレッション型ＦＥＴ
１０３２，１０３８ キャパシタ
１０３３，１０３９ エンハンスメント型ＦＥＴ
１０３４ フォトダイオード（ＰＤ）

Claims (6)

1. 所定の距離範囲内に存在する被写体を撮影する機能を有する撮像装置であって、
   各々複数の画素を有する複数の撮像ブロックからなる撮像センサと、
   前記複数の撮像ブロックの各々に被写体を結像させるように、前記複数の撮像ブロックの各々に対応した複数のピンホールを有するピンホール板とを備え、
   前記撮像センサの各画素にそれぞれ論理値０又は１のフラグ信号を保持させ、前記フラグ信号により指定された画素のみ信号電荷の読み出しが許可されるように構成されたことを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記複数の撮像ブロックの各々の画素信号をもとに前記各画素に保持させるべきフラグ信号を生成する処理を実行する演算処理部を更に備えたことを特徴とする撮像装置。
3. 請求項２記載の撮像装置において、
   前記演算処理部は、
   前記複数の撮像ブロックの各々の画素信号に所定の時間遅延を与える複数の信号ディレイ部と、
   前記複数の信号ディレイ部の各々の出力信号を所定の信号選択期間だけ伝達する複数の信号ゲーティング部と、
   前記複数の信号ゲーティング部の各々の出力信号をもとに前記各画素に保持させるべきフラグ信号を生成するフラグ生成部とを有することを特徴とする撮像装置。
4. 請求項３記載の撮像装置において、
   前記フラグ生成部は、
   前記複数の信号ゲーティング部の各々の出力信号の加減算を実行する加減算器と、
   前記加減算器の出力の大小に応じて前記フラグ信号の論理値を決定するフラグ判断部とを有することを特徴とする撮像装置。
5. 請求項３記載の撮像装置において、
   被写体と前記撮像装置との間の指定された距離に応じて前記時間遅延及び信号選択期間を指定するための手段を更に備えたことを特徴とする撮像装置。
6. 請求項３記載の撮像装置において、
   前記複数の信号ゲーティング部の各々の出力信号の平均値を計算する平均値計算部を更に備え、
   前記平均値計算部の出力を撮像出力信号とすることを特徴とする撮像装置。

Images