JP4175828B2

JP4175828B2 - 撮像カメラ装置及びイメージャの画像データ読取り方法

Info

Publication number: JP4175828B2
Application number: JP2002116362A
Authority: JP
Inventors: 抱石井; 朋彦長瀬; 健司田嶋; 弘史永井
Original assignee: 抱石井; 株式会社フォトロン
Priority date: 2002-04-18
Filing date: 2002-04-18
Publication date: 2008-11-05
Anticipated expiration: 2022-04-18
Also published as: JP2003319262A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像用の所定サイズの画素領域を有し且つこの画素領域にランダムアクセス可能な２次元イメージングセンサを備え、このイメージセンサのランダムアクセス機能を用いて高空間解像度と高速リアルタイム性とを両立させる撮像カメラ装置及びイメージャの画像データ読取り方法に関する。
【０００２】
【従来の技術】
従来、撮像カメラは種々の分野で多種多用な態様で使用されるようになってきている。このような使用上の広がりが進むにつれて、撮像カメラに求められる要求も徐々に高まっている。その一つに、高空間解像度と高速リアルタイム性の両立がある。
【０００３】
撮像対象をより精細に観察する上で、空間解像度を高めることは必須である。高空間解像度にすることで、撮像対象の認識能力を向上させることができる一方で、同時計測範囲を広域化できる。また、高いリアルタイム性を得ることで、高速に動く対象を認識することができ、俊敏な応答が可能になる。一般の視覚システムは、テレビジョンの規格（ＮＴＳＣ）にみられるように、通常、１秒間に３０フレームのレートで撮像している。このフレームレートの場合、例えば３００ｋｍ／ｈで走行する新幹線鉄道は各フレーム間に約２．７ｍも走行するし、２００ｋｍ／ｈで飛んでくるサーブ時のテニスボールは各フレーム間に約２．７ｍも進む。このため、高速に進む撮像対象の場合、リアルタイム性に不足し、必要な情報が欠落することが多い。
【０００４】
高い空間解像度と高速リアルタイム性は互いに相反する性質があり、通常は、何れか一方をある程度に抑制してもう一方の機能を高めるという構成が多用されている。
【０００５】
このような状況にあって、近年の撮像カメラの一つに、固体イメージセンサとしてのＣＭＯＳイメージセンサを搭載したものが多く使用されるようになってきた。この撮像カメラは、例えば論文“A.Krymsk i.D.V.Blerkon,A.Anderson,et.al.,“A high-speed 500frame/s 1024×1024 CMOS image sensor” Dig. Tech. Papers Symp.on VLSI Circuits,No.14-3,June 1999“で知られている。
【０００６】
このような撮像カメラは、大略、ＣＭＯＳで形成される画素回路を含むセンサと、このセンサで読み出された画素信号を転送して必要な処理を行う信号処理装置を備えている。これにより、ＣＭＯＳイメージセンサの特徴を活かしながら、空間解像度も比較的高く且つ高いリアルタイム性を有する撮像カメラを提供できるものと期待されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述のように高空間解像度と高速リアルタイム性との両立をある程度以上まで追及すると、従来の撮像カメラの場合、センサから信号処理装置へ画像信号を送信するときの通信能力と、信号処理装置自体の処理能力という２つの点で限界があった。例えば、１００万画素の画素回路を用い、秒間１０００コマのフレームレート（すなわち、１０００ＦＰＳ(Frame Per Second)）でスキャンしただけでも、センサから画像処理装置への画素信号の通信能力として、１ＧＢｙｔｅ／ｓｅｃのデータ転送レートが必要になるし、画像処理装置には同様に１ＧＢｙｔｅ／ｓｅｃ以上のデータ処理能力が要求される。これらの要求は、現在の技術レベルをもってしても、実現は殆ど困難であると言わざるを得ない。センサの画素領域は益々広域化する傾向にあるので、かかる状況は一層深刻になりつつある。
【０００８】
本発明は、上述した従来の撮像カメラに係る高空間解像度と高速リアルタイム性との両立に関わる困難な状況を打破するもので、イメージセンサから出力された画素信号を信号処理装置で処理して画像、とくに画像の特徴量（例えば移動する物体の移動情報）を可視化する構成の撮像カメラ装置において、イメージセンサから信号処理装置への通信能力の範囲内で、高空間解像度と高速リアルタイム性とを両立させた撮像カメラ装置を提供することを、その目的とする。
【０００９】
【課題を解決するための手段】
本発明は、イメージセンサから出力された画素信号を信号処理装置で処理して画像の特徴量（例えば移動する物体の移動情報（物体の重心位置など））を可視化する構成の撮像カメラ装置において、一般に、イメージセンサの各画素で収集された画像信号を全て信号処理装置（信号処理手段）に転送して処理する必要は無いことが多い、という事実に着眼してなされたものである。逆に言えば、本発明は、信号処理装置には、画像の特徴量を演算するのに必要な画素情報のみを伝送して処理させれば十分であるという、本発明者の検証結果に基づいている。
【００１０】
本発明に係る撮像カメラ装置は具体的には以下のように構成される。
【００１１】
本発明の撮像カメラ装置の１つの態様によれば、所定サイズの画素領域を有し且つこの画素領域を画素位置情報に応じて画素毎にスキャンして当該画素領域の部分領域の画像データを出力するイメージャと、このイメージャから出力された前記部分領域の画像データを受信するとともに、前記画像データと指定された座標変換パラメータとに基づいて画像特徴量及び次フレーム用の座標変換パラメータをフレーム毎に演算する演算手段と、この演算手段により演算された次フレーム用の座標変換パラメータと前記部分領域の画像データとに基づいて前記イメージャによるスキャンの画素位置を指定する指定手段とを備えた、ことを特徴とする。
【００１２】
好適には、前記演算手段は、前記画像データに前記指定された座標変換パラメータによる座標変換処理を施して前記画像特徴量を演算し、当該画像特徴量を画像信号として出力する画像特徴量演算手段を有する。この場合、さらに、前記演算手段は、前記画像データと前記指定された座標変換パラメータとに基づいて前記部分領域を、前記画像特徴量を呈する対象に追跡させるための前記座標変換パラメータを演算する座標変換パラメータ演算手段を有することが望ましい。例えば、前記座標変換パラメータ演算手段は、前記対象を視野内に固定して観測可能な前記座標変換パラメータを演算するように構成される。
【００１３】
一例として、前記座標変換処理はアフィン変換である。
【００１４】
また別の好適な例として、前記イメージャは、前記画素領域を呈するＣＭＯＳ（complementary metal oxide semiconductor）で形成されたイメージングセンサを有することが挙げられる。
【００１５】
また、本発明の係る撮像カメラ装置の別の態様によれば、所定サイズの画素領域を有し且つこの画素領域を画素位置指定情報に応じて画素毎にスキャンして当該画素領域の部分領域の画像データを出力可能なイメージャと、このイメージャから出力された前記部分領域のフレーム毎の画像データから次フレームに対する前記部分領域のスキャンの画素位置を電子的にフィードバック制御するフィードバック制御手段とを備えたことを特徴とする。
【００１６】
さらに、本発明の係る撮像カメラ装置のさらに別の態様によれば、カメラヘッドを備えた撮像カメラ装置であって、前記カメラヘッドは、所定サイズの画素領域を有し且つこの画素領域を画素位置指定情報に応じて画素毎にスキャンして当該画素領域の部分領域の画像データを出力可能なイメージャと、このイメージャから出力された前記部分領域の画像データを受信するとともに、前記画像データと指定された座標変換パラメータとに基づいて画像特徴量及び次フレーム用の座標変換パラメータをフレーム毎に演算する演算器と、この演算器により演算された次フレーム用の座標変換パラメータと前記部分領域の画像データとに基づいて前記イメージャによるスキャンの画素位置を指定する座標変換回路とを備えた、ことを特徴とする。
【００１７】
一方、本発明に係るイメージャの画像データ読取り方法は、イメージャの所定サイズの画素領域を画素指定位置情報に応じて画素毎にスキャンして当該画素領域の部分領域の画像データを出力する画像データ読取り方法であり、前記イメージャから出力された前記部分領域の画像データを受信するステップと、前記画像データと指定された座標変換パラメータとに基づいて次フレーム用の座標変換パラメータをフレーム毎に演算するステップと、前記次フレーム用の座標変換パラメータと前記部分領域の画像データとに基づいて前記イメージャによるスキャンの画素位置を指定するステップと、を含むことを特徴とする。この場合、前記演算のステップは、前記画像データに前記指定された座標変換パラメータによる座標変換処理を施して前記画像特徴量を演算し、当該画像特徴量を画像信号として出力する処理を含むことが望ましい。
【００１８】
【発明の実施の形態】
以下、本発明に係る撮像カメラ装置の１つの実施形態を、図１〜４に基づいて説明する。
【００１９】
図１に、本実施形態に係る撮像カメラ装置の概略構成を示す。同図に示すように、この撮像カメラ装置１は、本発明の特徴に係る構成を有するカメラヘッド１１を備えるとともに、このカメラヘッド１１の信号出力端に順次、接続される後処理器１２、Ａ／Ｄ変換器１３、及びモニタ１４を備える。
【００２０】
カメラヘッド１１は更に、入射する光信号を電気信号に変換して画像データとして出力するイメージャ２１と、このイメージャ２１から出力された画像データに所定の演算処理を施す演算器２２と、イメージャ２１にスキャン座標値を与える座標変換回路２３とを備える。
【００２１】
このうち、イメージャ２１はＣＭＯＳ（complementary metal oxide semiconductor）で形成された所定マトリクスサイズ（例えば１０２４×１０２４画素）の画素領域を有するイメージセンサＩＭを備えるとともに、この画素領域の中から、指定された画素位置に応じて部分領域（例えば６４×６４画素）のみを切り出し、この部分領域内の画素から画素信号（画像データ）を読み出すことができるように構成されている。すなわち、イメージャ２１は、任意の位置の画素のみを選択的にスキャンするためのランダムスキャンの機能を有しており、この機能を用いて任意の部分領域のみをスキャンする、いわゆるエリアスキャンを実行できるようになっている。このエリアスキャンのための画像座標値は座標変換回路２３から与えられる。
【００２２】
このため、座標変換回路２３から画像座標値が指定される度に、イメージャ２１は、その指定座標位置に対応する画素をアクセスして画素信号を読み出し、出力する。この読出し信号は、十分な帯域をもったバスＢを介して演算器２２に伝送される。これにより、図２に示す如く、イメージャ２１のイメージングセンサＩＭが有する全画素領域「Ｍ×Ｎ画素」のうちの部分的な領域「ｍ×ｎ画素」が切り出され、かかる部分領域の画像データが演算器２２の内蔵メモリに蓄積される。但し、ｍ＜Ｍ、かつ、ｎ＜Ｎである。
【００２３】
この結果、イメージャから出力される画像データ＝Ｉ（Ｘ_ｋ（ｘ），Ｙ_ｋ（ｘ）、演算器２２の内蔵メモリにフレーム毎に記憶される画像データ＝Ｉ´（ｘ，ｙ）とすると、
【数１】

になる。ここで、Ｘ，Ｙは、Ｍ×Ｎ画素の画素領域に対する行及び列を示し、一方、ｘ、ｙは、ｍ×ｎ画素の部分領域の行及び列を示す。ｋはｋ番目のフレームの画素データであることを示す。
【００２４】
演算器２２は、インターフェース２２Ａ、書込み・読出し回路２２Ｂ、及び、上述した内蔵メモリ２２Ｃに加え、このメモリ２２Ｃから読み出された画素データを用いて所定の演算を行うＣＰＵ（中央処理装置）２２Ｄ、このＣＰＵ２２Ｄに所望の演算機能を与えるプログラムを記憶したＲＯＭ２２Ｅ、及びＣＰＵがワークメモリとしてデータを一時記憶するためのＲＡＭ２２Ｆを備えている。
【００２５】
この演算器２２は、そのＣＰＵ２２Ｄのソフトウエア処理により、下記のように画像特徴量及び座標変換パラメータを演算するようにＣＰＵ２２Ｄを駆動させるプログラムが設定されている。
【００２６】
いま、イメージャ２１から送信されてきた１フレーム（ｍ×ｎ画素）の画像データ＝Ｉ´（ｘ，ｙ）、及び、座標変換パラメータ＝ρ_ｋに基づいて、画像特徴量ζ_ｋを演算する。すなわち、
【数２】
ζ_ｋ＝Ｇ（Ｉ´（ｘ，ｙ），ρ_ｋ） ……（２）
である。ここで、Ｇは、画像特徴量を演算するための適宜な関数である。
【００２７】
画像特徴量とは、上記（２）式のように、画像に所望の演算を施して得られる物理量を意味し、例えば撮像された物体の重心位置や面積などである。
【００２８】
また、演算器２２は、イメージャ２１から送信されてきた１フレーム（ｍ×ｎ画素）の画像データ＝Ｉ´（ｘ，ｙ）、及び、座標変換パラメータ＝ρ_ｋに基づいて、次フレームｋ＋１用の新たな座標変換パラメータρ_ｋ＋１を演算する。すなわち、
【数３】

である。ここで、Ｈは、新たな座標変換パラメータρ_ｋ＋１の演算ための適宜な関数である。
【００２９】
本実施形態では、座標変換としてアフィン変換を用い、その座標変換パラメータρとしてアフィン変換パラメータを用いている。座標変換としては、この他にも、極座標変換又は射影変換を用いることができる。
【００３０】
座標変換法として２次元のアフィン変換を用いる場合、その一般行列式は、アフィン変換パラメータａ〜ｆ、並びに、イメージングセンサＩＭの画素領域の座標値（Ｘ，Ｙ）及びその部分領域の座標値（ｘ，ｙ）としたときに、周知の如く、
【数４】

で表される。これにより、２次元画像に対して拡大／縮小、回転、並進移動、及び剪断変形させることができる。
【００３１】
演算器２２で演算される上述した物理量のうち、画像特徴量ζ_ｋは後処理器１２に送られて、所望の後処理に付される。この後処理された画像データはＡ／Ｄ変換器１３を介してモニタ１４に送られ、表示される。一方、座標変換パラメータρ_ｋ＋１は座標変換回路２３に送られる。
【００３２】
さらに、座標変換回路２３は、演算器２２から送られてくる次フレームｋ＋１用の座標変換パラメータρ_ｋ＋１に基づいて、イメージャ２１の所望の画素或いは部分領域に属する画素を読み出すために必要とされる、イメージャ２１の画素領域（Ｍ×Ｎ画素）における画素位置（Ｘ_ｋ（ｘ），Ｙ_ｋ（ｘ））を演算する。これを、適宜な関数Ｆを用いて定量的に表すと、
【数５】

である。なお、座標変換回路１３には、演算器１２で処理する部分領域の画素を指定する画像座標値ｘ，ｙ（ｘ＝１，２，…，ｍ；ｙ＝１，２，…，ｎ）が、予め定めたアルゴリズムによって自動的に、又は、オペレータによりその都度任意に与えられている。
【００３３】
次に、本実施形態に係る撮像カメラ装置の作用効果を説明する。
【００３４】
いま、画像変換回路２３は、演算装置２２から送られてきた座標変換パラメータ（本実施形態ではアフィン変換パラメータ）及び部分領域の画像データを用いて次フレームに対する各画像座標値（Ｘ_ｋ（ｘ），Ｙ_ｋ（ｘ））を演算しており、これを所定周期毎にイメージャ２１に与える。これにより、ｋ番目のフレームに係る、Ｍ×Ｎの画素領域から切り出すべき部分領域（ｍ×ｎ画素）の各画素位置（Ｘ_ｋ（ｘ），Ｙ_ｋ（ｘ））が座標変換回路２３からイメージャ２１に順次与えられる。
【００３５】
イメージャ２１は、この指定された画素位置（Ｘ_ｋ（ｘ），Ｙ_ｋ（ｘ））の各画素の画素信号を画像データＩ（Ｘ，Ｙ）として画素毎に読み出し、この画像データＩ（Ｘ，Ｙ）をバスＢを介して演算器２２に伝送する。これにより、演算器２２には、処理対象の画像データＩ´（ｘ，ｙ）が格納される。この格納が、エリアスキャンに係る部分領域の全画素について繰り返されるので、ｋ番目フレームの部分領域の画像データＩ´（ｘ，ｙ）が得られる。
【００３６】
このｋフレーム目の画像データＩ´（ｘ，ｙ）が揃った時点で、演算器２２は、前述したように、画像特徴量ζ_ｋ及びｋ＋１フレーム目の新たな座標変換パラメータρ_ｋ＋１を演算する。このうち、画像特徴量ζ_ｋは後処理器１２及びＡ／Ｄ変換器１３を介してモニタ１４に送られ、部分領域（ｍ×ｎ画素）の画像として表示される。
【００３７】
一方、ｋ＋１フレーム目の新たな座標変換パラメータρ_ｋ＋１は座標変換回路２３に送られる。これに応答して、座標変換回路２３は、部分領域（ｍ×ｎ画素）内の画像座標値（画素位置）（Ｘ_ｋ（ｘ），Ｙ_ｋ（ｘ））を演算し、この画像座標値をイメージャ２１に指定する。このため、イメージャ２１は、そのランダムアクセス機能により、画素領域（Ｍ×Ｎ画素）内の指定された画素位置、例えば部分領域（ｍ×ｎ画素）内の画素の画素信号を読み出して出力する。この画素信号は、次のｋ＋１フレーム目の画像データとしてバスＢを介して演算器２２に伝送される。
【００３８】
以下、同様に、部分領域に対する画像変換、画素位置の指定、及びランダムアクセスによる部分領域の画素信号の読み出しが各フレーム毎に順次行われる。
【００３９】
このように、部分領域のｋフレーム番目の画像データとその時点で記憶している前フレームで求めて記憶していた座標変換パラメータに基づいて、次のｋ＋１フレーム番目の座標変換パラメータが演算器２２により算出される。このｋ＋１番目の座標変換パラメータに応じて、ランダムアクセス機能により、イメージャ２１の画素領域に含まれる部分領域内の画素位置が指定され、その画素位置の画素信号が画素毎に読み出される。
【００４０】
つまり、演算器２２及び座標変換回路２３の機能により、イメージャ２１の画素領域に含まれる部分領域に対して、そのランダムアクセス機能に基づく、画素信号読み出しの電子的フィードバック制御が掛かる。
【００４１】
この電子的フィードバック制御は、アクチュエータを機械的に動かす機械式フィードバック制御とは異なり、応答速度が非常に速く、また制御可能な自由度が大きいという利点がある。
【００４２】
さらに、この電子的フィードバック制御を実行する中で、フレーム毎に、アフィン変換に拠る２次元の拡大／縮小、回転、並進移動、及び／又は剪断変形の処理が施された画像特徴量が演算されて表示される。このため、図４に模式的に例示する如く、かかるアフィン変換を用いることで、部分領域内の撮像対象物に対する視野を固定した状態で表示される。例えば、同図（ａ）に示す如く、対象物が偏った位置に在る場合、アフィン変換の中の並進移動により、視野の中心位置まで移動させて表示させる。同様に、同図（ｂ）〜（ｄ）に示す如く、並進移動、拡大／縮小、回転、及び／又は、剪断変形を適宜行って撮像対象物を視野の中心位置に表示させる。
【００４３】
これにより、例えば、サーブされて高速に飛んでくるテニスボールや高速走行している新幹線などの対象物を撮像した場合、画像特徴量として、画像での画素位置の移動成分が演算される。そして、この移動する対象物が電子的にかつ自動的にトラッキングして表示される。つまり、高速に移動する対象物の次のｋ＋１番目フレームの画像上での位置（例えば重心位置）が予測され、この予測位置を中心にした部分領域がランダムアクセス機能によりスキャンされる。したがって、高速に飛んでくるテニスボールは常にモニタ画像上の中心位置でかつ同一姿勢で表示させることができる。また、高速走行中の新幹線の車輪も常に固定して表示させることができる。
【００４４】
勿論、アフィン変換に与える機能として、アフィン変換パラメータａ〜ｆの取捨選択により、上述した並進移動、拡大／縮小、回転、及び、剪断変形のうちの任意の機能だけを与えることができる。これにより、例えば、テニスボールの大きさを常に一定にかつ視野の中心に表示するが、テニスボール自体の回転運動はそのまま表示させ、高速移動に伴うボールの回転状態を研究するといった表示の仕方も可能になる。このようなトラッキングをさせる場合の演算器２２で実行される演算としては、
（１）部分領域の画像Ｉ´（ｘ，ｙ）の０次及び１次モーメントを求め、このモーメント情報から画像Ｉ´（ｘ，ｙ）の重心位置を計算し、
（２）重心位置の座標値から並進移動成分を求め、この並進移動成分を画像の中心に合わせ、
（３）部分領域の画像Ｉ´（ｘ，ｙ）全体を占める０次モーメント情報の面積が例えば同一になるように拡大縮小を行う、
（４）上述した（１）〜（３）の処理を行う中でアフィン変換パラメータを生成し、このパラメータを座標変換回路２３に出力する、
といったアルゴリズムを例示できる。
【００４５】
加えて、本実施形態ではイメージャ２１のイメージングセンサＩＭとしてＣＭＯＳセンサを用いているが、ＣＭＯＳセンサ自体が他のイメージングセンサに比べて高速な画素信号読出しができる。このため、高速に運動する対象物を撮像する場合であっても、撮像した画像上で移動する距離は、画素信号の高速読出しの分だけ小さくなる。したがって、トラッキングもその分、容易になる。
【００４６】
このように画素信号の読出しが制御されることにより、例えばイメージングセンサの１０２４×１０２４画素といった画素数の多い画素領域から６４×６４画素の部分領域の画像切出しを例えば１ｍｓ以内で行うことができる。これにより、視野は必要な部分領域に絞り込まれて小さくなっているが、空間解像度としては、元々の高密度の画素領域における値を引き継ぐことができる。つまり、空間解像度が高く、物体の認識能力も高い。
【００４７】
一方、切り出された部分領域の画素信号は、許容される通信能力、例えば４ＭＨｚ以上で演算器２２に伝送することができる。同じ通信能力であっても、データ量が部分領域である必要部分のみのデータに絞り込まれていることから、フレーム当たりの通信速度は高くなり、撮像のリアルタイム性も大きく改善される。
【００４８】
このように、イメージングセンサから信号処理用の演算器には画像特徴量を演算するのに必要な画素情報のみを伝送して処理させれば十分であるという、本発明者による検証結果に基づく撮像システムを実現できる。これにより、イメージセンサから出力された画素信号を信号処理装置で処理して画像、とくに画像の特徴量（例えば移動する物体の重心情報や面積情報）を可視化する撮像カメラ装置において、イメージセンサから信号処理装置への通信能力の範囲内で、高空間解像度と高速リアルタイム性とを両立させた撮像カメラ装置を提供することができる。
【００４９】
本発明の撮像カメラ装置及びカメラヘッドは、ロボットを用いた工場での製造工程で使用する撮像カメラ、マルチメディア用の撮像カメラ、医用機器用の撮像カメラ、マイクロエレクトロニクス工学で用いる撮像カメラ、ＩＴＳなどのインテリジェント化された交通関連システムで用いる撮像カメラなど、イメージングを必要とする多方面の分野において極めて高い応用性を有する。
【００５０】
なお、本発明の撮像カメラ装置は上述した態様のものに限定されることなく、特許請求の範囲に記載された構成に、周知技術に関わる構成を適用して更に適宜に変形して実行可能なものであり、それらの変形した形態も本発明の構成に含まれる。
【００５１】
例えば、上述した実施形態の場合、カメラヘッド１１に、イメージャ２１に加えて演算器２２及び座標変換回路２３を内蔵させるように構成したが、必ずしも、この構成に限定されない。他の構成例として、カメラヘッド１１はイメージャ２１を主要部として構成し、演算器２２及び座標変換回路２３の上述した機能は、カメラヘッド１１の外部に設けた手段で行うようにしてもよい。例えば、かかるカメラヘッド１１をコンピュータに接続し、このコンピュータのソフトウエア処理により画像特徴量及び座標変換パラメータの演算、並びに、座標変換を実行させることができる。また、上述したアフィン変換用の専用ＬＳＩを設けるようにしてもよい。
【００５２】
【発明の効果】
以上説明したように、本発明によれば、イメージセンサから出力された画素信号を演算器（演算手段）で処理して画像、とくに画像の特徴量を表示する構成の撮像カメラ装置について、イメージャセンサから演算器には、画像の特徴量を演算するのに必要な画素情報のみを伝送して処理させれば十分であるという本発明者の検証に基づく構成に鑑みて、イメージセンサから信号処理装置への通信能力の範囲内で、高空間解像度と高速リアルタイム性とを両立させた撮像カメラ装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る撮像カメラ装置の概略構成を示すブロック図。
【図２】撮像カメラ装置のイメージングセンサの画素領域から部分領域を切り出して、その画素信号を読み出す状態を説明する模式図。
【図３】撮像カメラ装置に搭載した演算器の一例を示す概略構成図。
【図４】撮像カメラ装置のカメラヘッドで実行される部分領域の画像の視野固定に関する電子的フィードバック制御の動作例を説明する図。
【符号の説明】
１１カメラヘッド
２１イメージャ（イメージングセンサを有する）
２２演算器（演算手段、画像特徴量演算手段、及び座標変換パラメータ演算手段として機能する。）
２３座標変換回路（指定手段として機能する。）
２２Ｃメモリ
２２ＤＣＰＵ
ＩＭイメージングセンサ

Claims

所定サイズの画素領域を有し且つこの画素領域を画素位置情報に応じて画素毎にスキャンして当該画素領域の中から所定の画像特徴量を演算するのに必要な画素領域のみを実質的に含む部分領域を切り出し、切り出した前記部分領域の画像データを出力するイメージャと、
このイメージャから出力された前記部分領域の画像データを受信するとともに、前記画像データと指定された座標変換パラメータとに基づいて前記画像特徴量及び次フレーム用の座標変換パラメータをフレーム毎に演算する演算手段と、
この演算手段により演算された次フレーム用の座標変換パラメータに基づいて前記イメージャが次フレームの部分領域のみをスキャンするように画素位置を指定する指定手段とを備えた、ことを特徴とする撮像カメラ装置。
請求項１に記載の撮像カメラ装置において、
前記演算手段は、前記画像データに前記指定された座標変換パラメータによる座標変換処理を施して前記画像特徴量を演算し、当該画像特徴量を画像信号として出力する画像特徴量演算手段を有することを特徴とする撮像カメラ装置。
請求項２に記載の撮像カメラ装置において、
前記演算手段は、前記画像データと前記指定された座標変換パラメータとに基づいて前記部分領域を、前記画像特徴量を呈する対象に追跡させるための前記座標変換パラメータを演算する座標変換パラメータ演算手段を有することを特徴とする撮像カメラ装置。
請求項３に記載の撮像カメラ装置において、
前記座標変換パラメータ演算手段は、前記対象を視野内に固定して観測可能な前記座標変換パラメータを演算するように構成したことを特徴とする撮像カメラ装置。
請求項１から請求項４のいずれか１つに記載の撮像カメラ装置において、
前記座標変換処理はアフィン変換であることを特徴とする撮像カメラ装置。
請求項１から請求項５のいずれか１つに記載の撮像カメラ装置において、
前記イメージャは、前記画素領域を呈するＣＭＯＳ（complementary metal oxide semiconductor）で形成されたイメージングセンサを有することを特徴とする撮像カメラ装置。
所定サイズの画素領域を有し且つこの画素領域を画素位置指定情報に応じて画素毎にスキャンして当該画素領域の中から所定の画像特徴量を演算するのに必要な画素領域のみを実質的に含む部分領域を切り出し、切り出した前記部分領域の画像データを出力可能なイメージャと、このイメージャから出力された前記部分領域のフレーム毎の画像データから次フレームに対する前記部分領域のスキャンの画素位置を電子的にフィードバック制御するフィードバック制御手段とを備えたことを特徴とする撮像カメラ装置。
カメラヘッドを備えた撮像カメラ装置であって、
前記カメラヘッドは、
所定サイズの画素領域を有し且つこの画素領域を画素位置指定情報に応じて画素毎にスキャンして当該画素領域の中から所定の画像特徴量を演算するのに必要な画素領域のみを実質的に含む部分領域を切り出し、切り出した前記部分領域の画像データを出力可能なイメージャと、
このイメージャから出力された前記部分領域の画像データを受信するとともに、前記画像データと指定された座標変換パラメータとに基づいて前記画像特徴量及び次フレーム用の座標変換パラメータをフレーム毎に演算する演算器と、
この演算器により演算された次フレーム用の座標変換パラメータに基づいて前記イメージャが次フレームの部分領域のみをスキャンするように画素位置を指定する座標変換回路とを備えた、ことを特徴とする撮像カメラ装置。
イメージャの所定サイズの画素領域を画素指定位置情報に応じて画素毎にスキャンして当該画素領域の中から所定の画像特徴量を演算するのに必要な画素領域のみを実質的に含む部分領域を切り出し、切り出した前記部分領域の画像データを出力するイメージャの画像データ読取り方法において、
前記イメージャから出力された前記部分領域の画像データを受信するステップと、
前記画像データと指定された座標変換パラメータとに基づいて次フレーム用の座標変換パラメータをフレーム毎に演算するステップと、
前記次フレーム用の座標変換パラメータに基づいて前記イメージャが次フレームの部分領域のみをスキャンするように画素位置を指定するステップと、を含むことを特徴とするイメージャの画像データ読取り方法。
請求項９に記載のイメージャの画像データ読取り方法において、
前記演算のステップは、前記画像データに前記指定された座標変換パラメータによる座標変換処理を施して前記画像特徴量を演算し、当該画像特徴量を画像信号として出力する処理を含むことを特徴とするイメージャの画像データ読取り方法。