JP4134869B2 - 撮像装置 - Google Patents

Description

この発明は、撮像装置に関し、特に、光学系を作動して撮影方向を変化させて広い領域を撮影できると共に、光電変換素子の欠陥画素や特性ばらつきを有する画素の校正機能を備えた撮像装置に関するものである。

監視システムにはいろいろな形態があるが、中には、周期的にカメラの撮影方向を移動させることで広い領域を画像化し、この画像からあらかじめ設定された特徴を持つ目標を自動的に検出し、警報を発するようなものがある。
このような監視システムのカメラ（撮像装置）では、撮像装置全体を動かすことで撮影方向を移動させるものもあるが、撮像装置を目立たせたくない等の事情により光学系の一部分だけを外部に露出させ、この部分を回転させることで撮像方向を変えるものもある（例えば、特許文献１参照。）。

特開平６−２６１２４０号公報（実施例１、第１図）

このような広域撮影用撮像装置の光電変換素子としては、画素を線状に並べた、いわゆるラインセンサと呼ばれるものを用いることがある。すなわち、撮影方向（視軸）の移動によってセンサ上に結像した像が流れることをうまく利用し、コピー機と同様の方法で一気に横長の広い領域を画像化するのである。

ここで、像はラインセンサに直交する方向に流されなければならないが、像の流れる方向は視軸の移動方向によってまちまちであり、そのままでは像の流れがラインセンサにちょうど直交する保証はない。また、光学系の一部を回転させることで撮影方向を変えるような構造の場合、視軸の移動による副次的効果として結像された像が回転してしまい、像の動きは並進運動と回転運動が合成された複雑な動きになってしまう。
そこで、像の回転に対して意図的な逆回転を施し、像が常にラインセンサに直交して流れるようにコントロールする必要がある。これは特許文献１、第１図、符号４６の補正回転フレームのような部品で行っている。

一方、光電変換素子にはラインセンサ以外に、画素を面状に並べた、いわゆるエリアセンサと呼ばれるものもあり、監視システムの撮像装置でも、これを用いているものもある。
この場合、得られる画像の単位は エリアセンサの画角に相当する縦横比１：１あるいは３：４の画像であり、この画像単位で目標検出処理を行うのが一般的である。
このような画像を撮影しながら連続的に撮影方向を移動させていく場合、移動による画像流れを抑えるため露光時間を短くする必要があるが、撮像対象が暗い場合は感度が稼げず不利となる。

また、このような撮像装置としては、ＮＴＳＣあるいはＰＡＬ規格のビデオ信号を出力するカメラが用いられることが多いが、フレームレートが３０〜６０Ｈｚとなるような画像に対してリアルタイムに目標検出処理を行うとなると、処理の内容を計算量の少ない簡易なものとするか、ハードウェア規模を大きくする必要がある。

そこで、撮影方向を画角幅でステップ状に移動させ、撮影時には移動を止めて撮影することで、広い監視領域をタイル状に分割して撮影する方法もある。このようにすれば、フレームレートを下げることができ、それによって精緻な目標検出処理を用いることができるし、フレーム積分等を行えば実質上の光電荷蓄積時間を増やせるため、感度も向上する。
しかし、視軸の移動時間が監視におけるブラインドタイムとなり、ちょうど撮影領域の境目を走査方向に正対する形で横切るようなタイミングで移動する目標を見逃す可能性が増大すると共に、加減速を繰り返す視軸移動時間にかなりの時間がかかるために効率が悪く、捜索周期が長くなる傾向がある。

いずれの場合も光学系の全部あるいは一部を回転させれば像が回転してしまうが、エリアセンサを用いるのであれば像を得る上では特に問題はなく、回転した状態としての画像を得ることができる。
しかし、例えば監視領域をタイル状に撮影する場合には、隣接する画像を連続的に接続させるために像回転補償が必要であり、やはり光学的に像回転を補償する機構を有していた。

すでに述べたような理由から、一部の広域監視用撮像装置ではラインセンサを用いて一気に監視領域を画像化した方が都合が良いのだが、従来の撮像装置では像回転を補償するための光学部品について、以下の問題を伴っていた。
第１に、光学的像回転補償部品はプリズムやミラーから成る比較的大型の部品であるため、装置全体の小型化阻害要因になるとともに、これを駆動するために消費電力も増加する。また、大型のプリズムは高価であり、装置のコストの大きな部分を占めている。
第２に、光学的像回転補償部品をできるだけ小さくするためには、部品近辺で光束を絞る必要が生じ、これが光学系の設計自由度を束縛する。これは小型化阻害要因となるばかりか、開口径を制限するなどして感度劣化要因ともなる。
第３に、光学的像回転補償部品を小型化するには、これをプリズムで構成するのが効果的なのだが、プリズムでは透過率が低下する。特に赤外線では これが著しい。

また、ラインセンサの一部の画素に欠陥が生じると撮影した画像上に線状の不感領域を生じ、これは監視対象が微小目標の場合に目標を見逃す原因となり、監視装置としては致命的問題となる。
このような欠陥画素はエリアセンサにおいても同様に問題となり、特にエリアセンサについては欠陥画素が不感領域となる問題以外に、欠陥が例えば輝点となって、誤った目標として認識されてしまうこともある。

さらに、赤外線用の光電変換素子には感度むらや欠陥画素が多いため校正が重要であり、光学系の途中にシャッターのような均一面を挿入できるようにして校正する必要がある。
しかし、シャッターを装置内部に設置することは小型化阻害要因となり、シャッターのような校正手段を持たなければ感度が劣化することになるという問題があった。
また、特に赤外線撮像装置においては光電変換素子の特性変動が著しく、動作中、頻繁に校正が必要となる場合があるが、校正中は撮影が中断するため、監視におけるブラインドタイムになるという問題もあった。

この発明は、係る問題を解決するためになされたものであり、光学系の一部を動かすことで撮影方向を変化させ、これによって広い領域を捜索するための撮像装置において光学的像回転補償部品を不要とし、以って小型化・省電力化・高感度化を達成するとと共に、光電変換素子を校正するための専用部品も不要であり、校正によって撮影を中断しない撮像装置を得ることを目的とする。

この発明に係る撮像装置は、光電変換を行う２次元の光電変換素子（エリアセンサ）と、光電変換素子上に像を結像させる光学装置と、光学装置の一部あるいは全体を移動させることにより、撮影方向を変化させる視軸駆動装置と、視軸駆動装置による視軸駆動量を検出するための視軸方向センサと、視軸駆動装置を制御するとともに、視軸方向センサで検出される視軸駆動量から光学装置によって結像される画像の回転量または移動量を算出する視軸制御装置と、光電変換素子によって電子化された画像に対し、視軸制御装置によって計算される画像回転量分だけ画像を逆回転させる画像回転処理器と、画像回転処理器によって得られる画像を、視軸制御装置によって計算される画像の移動量に基づいて画像を移動させながらフレーム積分するフレーム積分処理器とを備え、撮影方向の移動によって発生する光電変換素子面上に結像する画像の回転を、検出された視軸駆動量に基づいて電子的に補正する様にしたものである。

この発明によれば、画像を回転させる光学部品を必要としないため、装置の小型化・省電力化・コスト低減に効果がある。また、校正のための専用部品を必要とせず、さらに撮影を中断することなく校正を行うことができる。

実施の形態１．
以下、図を用いてこの発明に係る実施の形態１について説明する。
図１は、この発明の実施の形態１を示す構成図であり、一例として航空機に搭載する捜索装置の撮像装置部分を簡単に説明したものである。

入射光１は光学装置２の開口部から入射し、光学装置２の構成品であるミラー３で折り曲げられて光電変換素子４に結像する。
光電変換素子４の素子出力は素子出力補正処理器５に入力され、あらかじめ設定された素子補正データ記憶器６に従い、各画素のゲイン、直流成分ばらつきが補正されるとともに、欠陥画素の出力信号については隣接する正常画素の信号で置きかえる等の補正処理が施され、原画像信号となる。
なお、このような補正処理は、光電変換素子の特性によっては不要な場合もある。

ＥＬフレーム７は撮影方向（視軸）を上下に振る（駆動する）ための動作ユニットであり、ＥＬ回転中心８を中心にして光学装置２の一部（図１ではすべての事例を示す）を回転させることができる。
視軸駆動装置（ＥＬ）９がこれを駆動し、視軸駆動量は、例えば駆動角度情報として視軸方向センサ（ＥＬ）１０によって測定される。
ここで、ミラー３をＥＬフレーム７の駆動角度の１／２だけ駆動するように調整すると、ＥＬフレーム７が上下に回転しても入射光１は常に光電変換素子４上に結像する。
ＡＺフレーム１１は視軸を左右に振るための動作ユニットであり、ＡＺ回転中心１２を中心に回転させることができる。
視軸駆動装置（ＡＺ）１３がこれを駆動し、視軸駆動量は、例えば駆動角度情報として視軸方向センサ（ＡＺ）１４によって測定される。
ＥＬフレーム７、視軸駆動装置（ＥＬ）９、視軸方向センサ（ＥＬ）１０は、すべてＡＺフレーム１１に含まれている。

実施の形態１では撮像装置が航空機に搭載されているため、航空機の姿勢変化により撮像装置の姿勢も慣性空間に対して変動する。そこで、視軸制御装置１５は姿勢センサ１６によって得られた撮像装置の姿勢・方位角に基づき、慣性空間に対して予め設定された一定の角速度で視軸が走査されるように視軸駆動装置（ＥＬ）９、視軸駆動装置（ＡＺ）１３を制御する。

図１のような構成の場合、ＡＺ回転については撮影方向の左右移動に伴って画像が回転してしまうものの、ＥＬ回転については撮影方向を上下に移動させても画像回転が起こらない。これは、図１では図をわかりやすくするために光学装置２を１枚のレンズとミラーから成るシンプルな構成としたからであるが、実際の光学装置は複数のミラーとレンズが混在した複雑なものとなるため、ＥＬ回転でも画像が回転してしまう。

図２は、上記の機構によって光電変換素子４上に結像される像を説明するものである。ここでは縦横をわかりやすくするために、光電変換素子４は縦の画素数に比べて横の画素数が多いタイプの２次元素子とし、横長の矩形として描いた。

像１７は光電変換素子４上に結像された像であり、視軸のＡＺ回転を行いながら走査している状況を時系列的に図示している。
時刻がｔ０、ｔ１、ｔ２と進展するに従い、撮影領域の中心がＡＺ回転方向に移動（すなわち走査）していくが、同時に像が撮影領域の中心回りに回転し、像は並進移動と回転移動の複合的な動きをすることになる。そこで、得られた画像を信号処理により回転変換し、視軸の移動によって副次的に発生した回転移動を打ち消すのである。

具体的には、図１の構成であれば視軸をＡＺ回りに１８０°回転すると真後ろの景色が上下逆さまに写るようになり、これはすなわちＡＺ回転角度と同じだけ像が回転してしまうことを意味する。そこで、視軸方向センサ（ＡＺ）によりＡＺ回転量を計測し、このＡＺ回転による像回転方向とは逆方向に計測された角度分だけ画像を回転変換処理すれば、得られる画像は上下方向を保ったままとなるのである。
また、視軸方向を変えなくても、撮像装置を搭載した機体が視軸方向を中心に回転運動すると画像が回転してしまう。例えば、機体前方を撮影中に機体がロールして上下逆さまになれば、得られる画像も上下逆さまになる。これについても、姿勢センサ１６によって測定されたロール回転量分だけ画像を逆に回転変換処理すれば、得られる画像の上下は常に維持される。

この操作では、視軸がどの方向を向いていても円１８で示される視野角内については画像を得ることができる。そこで、円１８に内接する矩形である矩形領域Ａ１９について、続く時刻に得られた矩形領域Ｂ２０、矩形領域Ｃ２１を、走査による平行移動分である走査移動量２２だけずらして足しあわせていくことで、積分された像２３が得られる。
ところが、現実的な光学装置では歪曲を充分に小さくすることが困難な場合が多いため、各時刻で撮影された像１７を回転変換と走査分の平行移動だけで足しあわせようとしても正しく重ならない。そのため、回転変換を行う前に歪曲補正を行っている。

再び、図１に戻り、上記処理を説明する。
原画像信号は歪曲補正処理器２４に入力され、事前に測定された歪曲データを記憶する歪曲データ記憶器２５によって、画像上の各点における歪曲によるズレが補正される。
続いて、視軸制御装置１５は、視軸方向センサ（ＥＬ）１０によって得られたＥＬ角度情報、及び視軸方向センサ（ＡＺ）１４によって得られたＡＺ角度情報と、姿勢センサ１６によって得られた自身の姿勢情報から、光電変換素子４に結像されている像の基準からの回転角度を計算し、この回転角度に（−１）を掛けた値を所要回転量として、これを画像回転処理器２６に与える。

ここで、基準とは、上記の逆回転を行った後、視軸の移動により画像が流れて行く方向が光電変換素子４の辺方向（実施の形態１においては長辺方向）となるような方向であり、視軸を移動させていく方向（すなわち走査方向）と上記情報から計算で求めることができる。
画像回転処理器２６は、光電変換素子４の出力として得られる画像信号に対して信号処理を行い、視軸制御装置１５から与えられた角度だけ回転変換を施す。
これによって得られた画像信号はフレーム積分処理器２７に入力され、視軸制御装置１５が計算して求めた走査移動量分（図２の走査移動量２２）だけ画像をずらしながら信号を足しあわせることでフレーム積分が行われる。

この実施の形態によれば、像の回転を補償するための光学的部品を用いる必要がなく、装置の小型化、省電力化、コスト低減に繋がる。
また、かかる光学的部品は特に赤外線を用いた撮像装置では透過率を低下させる大きな要因となるが、これがなくなることで透過率が改善され、撮像装置としての感度が向上する。
さらに、かかる光学的部品の近傍において光束を絞る必要がなくなるために設計上の制限条件が低減され、光学装置の最適設計が可能となる。これは感度向上や小型化等にメリットがある。
加えて、エリアセンサを用いながらも広い領域を１枚の画像として生成することができ、フレーム積分の効果として１画素分の信号を得るための光電荷蓄積時間の合計を非常に長くとれることから、さらに高い感度を得ることができる。
さらに、上記の効果に加え、この実施の形態では 最終的に得られる画像における１つの画素の信号が光電変換素子上の複数の画素信号の積分値として求められることから、欠陥画素等によって発生する異常な出力の影響が最終画像における複数の画素に分散することになり、結果的に欠陥画素の影響を小さくすることができる。

図３は、この効果を説明するものである。
画像回転処理前の画像２８には、一例として雲の像２９が写っており、同時に異常画素による異常信号３０も画像上に現れている。
時間が ｔ０、ｔ１、ｔ２ と進展するに従い、雲の像２９は視軸の走査やそれに伴って発生する画像回転により複雑に移動するが、異常画素による異常信号３０は常に同じ位置に現れる。これはすなわち、画像回転処理後の画像３１では異常画素による異常信号３０のほうが複雑に動き回ることを意味する。
そのため、景色が正しく重ねあわせられるように処理が施されたフレーム積分処理器の出力画像３２では、異常画素による異常信号３０の像はボケて、ぼやけた異常信号３３のようになる。
すなわち、異常画素による点状の模様が目立たなくなるわけである。

実施の形態２．
以下、図を用いてこの発明に係る実施の形態２について説明する。
図４は、この発明の実施の形態２を示す構成図であり、実施の形態１に処理を追加したものである。

素子出力補正処理器５の出力は歪曲補正処理器２４に入力され、以降 実施の形態１と同様の処理に進むが、同時に上記画像信号を単純フレーム積分処理器３４へも入力する。ここで、単純フレーム積分処理器３４は上記画像信号に対し回転や移動等の位置的変換を行うことなく直接、フレーム積分する。

図５は、上記機構によって得られる画像信号を説明するものであり、図３に図を追加したものである。図３で示したように、フレーム積分処理器の出力画像３２では撮影対象の像がはっきりと写り、異常画素によって発生する点状の像は薄まり目立たなくなる。
ところが、逆に位置的な変換を行わずに単純にフレーム積分を行うと、単純フレーム積分処理器の出力画像３５に示すように 撮像対象である雲の像２９は走査による像の移動や、これに伴って発生する像回転によりぼやけた雲の像３６のようにボケてしまうが、異常画素による異常信号３０は常に同じ画素で発生するため、積分された異常信号３７のように強調されてくっきりした画像（点）となるのである。

再び図４に戻り、上記画像信号に対する処理を説明する。
異常画素検出処理器３８は、単純フレーム積分処理器３４から渡された補正用画像信号から、１〜２画素程度の孤立輝点／暗点を検出する。これには、検査対象の画素信号と その周辺にある複数の画素信号の平均値とを比較し、あらかじめ設定した一定値以上の差があることをもって孤立輝点／暗点と判断するとか、上記「一定値」を固定値とせず、周辺にある複数の画素信号の標準偏差の一定倍として求めた上でその値を基に判断するなど 複数の方法がある。

異常画素検出処理器３８は、こうして検出された画素を異常画素と判断し、その画素位置について素子補正データ記憶器６を修正することで、以降は、当該異常画素の信号を周辺の正常画素の信号で置きかえるようにする。ここで、素子補正データ記憶器６を修正するのではなく、専用のデータベースを持ってもよい。
このようにすることで、異常画素を検出、補正することが可能となる。

通常、このような異常画素の検出は、シャッターのような均一面を光路中に挿入するなどして行ってきたが、この実施の形態によればシャッターが不要になるため、装置の小型化・省電力化・コスト低減が可能となる。
また、シャッターを用いた異常画素検出では、シャッターを挿入している時間に撮像対象を撮影できず、これがブラインドタイムとなるが、この実施の形態では撮像しながら同時に異常画素を検出できるため、ブラインドタイムが発生しないというメリットがある。

実施の形態３．
以下、図を用いてこの発明に係る実施の形態３について説明する。
図６は、この発明の実施の形態３を示す構成図であり、図４の一部を取り出し、この発明の形態に合わせて変更を加えたものである。光電変換素子４、素子出力補正処理器５、画像回転処理器２６については図４とまったく同じである。
オフセット検出処理器３９は単純フレーム積分処理器３４から補正用画像信号を受け、異常画素検出処理器３８の出力として得られた異常画素の位置における信号強度を取得する。
また、同時に原画像信号から上記異常画素の周囲画素の信号強度も得て、周囲画素の平均信号強度と異常画素の信号強度の差を計算する。

通常、新たに発生した異常画素については、その出力が信号の上限（飽和レベル）あるいは下限（０レベル）付近にあるようでは、まったく役に立たない欠陥画素であるが、その出力が中間的な値を出力している場合は、信号の直流成分に何らかのオフセット成分が乗ってしまっただけの一時的異常状態と言える。
このようなオフセット成分は、光電変換素子中の不純物に起因する構造を原因として突然発生することもあれば、いわゆる１／ｆ揺らぎと言われる低周波の雑音により徐々に現れる場合もある。いずれにしても感度はあり、周囲の信号に対して下駄を履かされた状態になっているだけである。

オフセット検出処理器３９では、異常画素の信号強度を調べ、それが欠陥画素と判断されるレベルにあれば実施の形態２で示したように当該画素を欠陥と見なし、素子補正データ記憶器６における欠陥画素のデータを修正することで、以降は別の信号で代替されるようにする。
逆に異常画素が補正可能と判断された場合は、周囲画素の平均信号強度と異常画素の信号強度の差をフレーム積分回数で除することでオフセット量を求め、これによって素子補正データ記憶器６における当該画素のオフセット補正データを修正し、以降は当該画素のオフセット値が適宜引き去れるようにする。

このようにすることにより、実施の形態１または実施の形態２における効果に加え、さらに使用可能な画素を有効に活用することができる。

実施の形態４．
以下、図を用いてこの発明に係る実施の形態４について説明する。
図７は、この発明の実施の形態４を示す構成図であり、実施の形態１の一部を変更したものである。
実施の形態１では、撮像装置が航空機に搭載されているため、航空機の姿勢変化により撮像装置も慣性空間に対して姿勢変動する。そのため、視軸制御装置１５は姿勢センサ１６から撮像装置自身の姿勢情報を受け、視軸方向が装置自身の姿勢変動の影響を受けることなく慣性空間に対して一定角速度で動くように視軸駆動装置（ＥＬ）９および視軸駆動装置（ＡＺ）１３へ駆動指令を送るようにしていたのだが、この間のタイムラグは現実的な装置では少なくとも数十〜数百ｍｓｅｃ程度ある。そのため、姿勢変動の角速度が大きいとタイムラグ分の時間内における角度変動が大きく、姿勢変動による撮影方向のズレを画素サイズより十分小さいレベルに抑えられない。
すなわち、激しく機動するような航空機に搭載される撮像装置の場合は、このタイムラグにより画像がずれてしまい、実施の形態１で示したようなフレーム積分を行っても重なるべき画像が重ならず、画像のＳ／Ｎはむしろ低下してしまうのである。

そこで、実施の形態４では姿勢センサ１６が出力する姿勢情報を、まず姿勢変動補償装置４０が受け、姿勢変動補償装置４０は姿勢情報を記録する（これを「姿勢情報Ａ」と呼ぶことにする）とともに、姿勢情報をそのまま視軸制御装置１５へ送る。
視軸制御装置１５は視軸駆動装置（ＥＬ）９および視軸駆動装置（ＡＺ）１３を適宜駆動するとともに、視軸方向センサ（ＥＬ）１０および視軸方向センサ（ＡＺ）１４によって測定された実際の視軸駆動量と、視軸方向の変化に伴って回転してしまった像を元に戻すための所要像回転量とを姿勢変動補償装置４０へ送り返し、姿勢変動補償装置４０はこの値を記録する。（これを「視軸駆動量Ｂ」および「所要像回転量Ｃ」と呼ぶことにする）

ここで、実際の視軸駆動量が測定されるのと同時刻（この時刻を「時刻Ｄ」と呼ぶことにする）に姿勢センサ１６で測定された姿勢情報が、同じく姿勢変動補償装置４０へ送られ、記録される。（これを「姿勢情報Ｅ」と呼ぶことにする）時刻Ｄでの同時刻性については、システムの各部の動きを単一のクロックに同期させることで設計において保証することができる。

時刻Ｄにおいて視軸方向に対して撮影された画像（これを「画像Ｆ」と呼ぶことにする）は素子出力補正処理器５を経て出力されてくるが、この画像は真に撮影したかった方向よりもタイムラグ分に相当する姿勢変動だけ方向がずれている。このズレは、姿勢情報Ａと姿勢情報Ｅの差に対応するものである。
そこで、姿勢変動補償装置４０は姿勢情報Ａと姿勢情報Ｅから画像Ｆの撮影方向ズレ補正のための所要移動量（これを「所要移動量Ｇ」と呼ぶことにする）を計算するとともに、さらに所要像回転量Ｃを用いて新たな所要像回転量（これを「所要像回転量Ｈ」と呼ぶことにする）を計算し、それぞれを画像回転処理器２６および画像平行移動処理器４１に送信して、画像を補正する。

この際、所要移動量Ｇ及び所要回転量Ｈが揃うまでの時間は、画像Ｅが素子出力補正処理器５を出てくるまでの時間より長くなることが多いため、画像Ｅを一時的に保存し、待たせる必要がある。そこで素子出力補正処理器５の後段に遅延処理器４２を置き、ＦＩＦＯ状に構成したメモリブロックに一時的に画像情報を保存したのち、一定時間後にこれを出力するようにして 画像Ｅ の出力を一定時間遅延させる。
構成によっては、画像Ｅ の方が時間的に遅れて出てくることもありうるが、その場合は所要移動量Ｇ及び所要回転量Ｈを遅延させれば良く、これは小規模に構成できるため、姿勢変動補償装置４０内のメモリをＦＩＦＯバッファとして構成すればよい。

上記のような構成とすることで、姿勢変化の激しい環境下でも撮影方向の追従誤差を無視できる程度まで抑えることができ、フレーム積分を有効に働かせることができる。

なお、画像回転処理及び画像平行移動処理は別々に処理することもできるが、各処理において１画素の幅以下の位置補正は行った場合、例えば０．５画素の位置補正は１画素の信号を２画素に分割することになり、ボケを生じる。このボケは位置補正処理が１回行われる毎に発生するため、位置補正処理を１回にまとめた方がボケを減らすことができる。
そこで、実施の形態４の画像回転処理器２６と画像平行移動処理器４１を１つにまとめ、各画素について回転処理と平行移動処理の両方による位置移動量を同時に計算し、一気に位置補正処理を行うと、よりボケの少ない撮像装置を得ることができる。

さらに、上記のような処理の一本化を歪曲補正処理にも拡張し、実施の形態４の歪曲補正処理器２４の処理も加えて１回の位置補正処理にまとめることで、さらにボケの少ない撮像装置を得ることができる。

この発明の実施の形態１による撮像装置の構成を示す構成図である。 この発明の実施の形態１による撮像装置における画像生成手順を示す図である。 この発明の実施の形態１による撮像装置における取得画像の特徴を説明する図である。 この発明の実施の形態２による撮像装置の構成を示す構成図である。 この発明の実施の形態２による撮像装置における単純フレーム積分処理器の出力画像を説明する図である。 この発明の実施の形態３による撮像装置の構成を示す構成図である。 この発明の実施の形態４による撮像装置の構成を示す構成図である。

符号の説明

１ 入射光、 ２ 光学装置、 ３ ミラー、 ４ 光電変換素子、 ５ 素子出力補正処理器、 ６ 素子補正データ記憶器、 ７ ＥＬフレーム、 ８ ＥＬ回転中心、 ９ 視軸駆動装置（ＥＬ）、 １０ 視軸方向センサ（ＥＬ）、 １１ ＡＺフレーム、 １２ ＡＺ回転中心、 １３ 視軸駆動装置（ＡＺ）、 １４ 視軸方向センサ（ＡＺ）、 １５ 視軸制御装置、 １６ 姿勢センサ、 １７ 像、 １８ 円、 １９ 矩形領域Ａ、 ２０ 矩形領域Ｂ、 ２１ 矩形領域Ｃ、 ２２ 走査移動量、 ２３ 積分された像、 ２４ 歪曲補正処理器、 ２５ 歪曲データ記憶器、 ２６ 画像回転処理器、 ２７ フレーム積分処理器、 ２８ 画像回転処理前の画像、 ２９ 雲の像、 ３０ 異常画素による異常信号、 ３１ 画像回転処理後の画像、 ３２ フレーム積分処理器の出力画像、 ３３ ぼやけた異常信号、 ３４ 単純フレーム積分処理器、 ３５ 単純フレーム積分処理器の出力画像、 ３６ ぼやけた雲の像、 ３７ 積分された異常信号、 ３８ 異常画素検出処理器、 ３９ オフセット検出処理器、 ４０ 姿勢変動補償装置、 ４１ 画像平行移動処理器、 ４２ 遅延処理器。

Claims (6)

1. 光電変換を行う２次元の光電変換素子と、
   上記光電変換素子上に像を結像させる光学装置と、
   上記光学装置の一部あるいは全体を移動させることにより、撮影方向を変化させる視軸駆動装置と、
   上記視軸駆動装置による視軸駆動量を検出するための視軸方向センサと、
   上記視軸駆動装置を制御するとともに、上記視軸方向センサで検出される視軸駆動量から上記光学装置によって結像される画像の回転量および並進移動量を算出する視軸制御装置と、
   上記光電変換素子によって電子化された画像に対し、上記視軸制御装置によって計算される画像回転量分だけ画像を逆回転させる画像回転処理器と、
   上記画像回転処理器によって得られる画像中に内包され画像の回転中心と同心である円に内接する矩形領域について、上記視軸制御装置によって計算される画像の並進移動量分だけ画像をずらしながらフレーム積分するフレーム積分処理器と、
   を備え、
   上記撮影方向の移動によって発生する上記光電変換素子面上に結像する画像の回転を、検出された上記視軸駆動量に基づいて電子的に補正することを特徴とする撮像装置。
2. 上記光電変換素子における各画素のゲインや直流成分等の特性ばらつきや異常値の補正を行うための素子補正データを記憶する素子補正データ記憶器と、
   上記素子補正データ記憶器を用いて上記光電変換素子の出力信号を補正する素子出力補正処理器と、
   上記素子出力補正処理器から得られる原画像信号をフレーム積分する単純フレーム積分処理器と、
   上記単純フレーム積分処理器が出力する補正用画像信号から、周囲画素の出力信号の所定の強度差以上を出力する異常画素を抽出するか、あるいは、上記周囲画素の出力信号の標準偏差の所定の倍数以上を出力する異常画素を抽出し、この異常画素に対する上記素子補正データ記憶器の素子補正データを修正する異常画素検出処理器と、
   を備え、
   上記光電変換素子中の異常画素を検出し、上記素子補正データを自動的に修正する様にしたことを特徴とする、請求項１に記載の撮像装置。
3. 上記異常画素検出処理器が出力する異常画素について、上記単純フレーム積分処理器が出力する補正用画像信号から上記異常画素信号と対応する周囲画素信号との差を検出し、これによって当該異常画素の出力信号における直流成分のオフセット量を求めて上記素子補正データ記憶器の素子補正データを修正するオフセット検出処理器を備え、
   上記光電変換素子における直流成分のオフセット量が異常となっている画素を検出し、このオフセット量の推定または校正を自動的に行う様にしたことを特徴とする、請求項２に記載の撮像装置。
4. 撮像装置自身の姿勢を検出するための姿勢センサと、
   撮影画像の平行移動を行うための画像平行移動処理器と、
   撮影画像の回転あるいは撮影画像の平行移動を行う前の画像信号を遅延させる遅延処理器と、
   上記姿勢センサの出力情報を中継して上記視軸制御装置に与えると共に、上記姿勢センサの出力情報および上記視軸制御装置の出力情報から画像の回転量及び画像の平行移動量を算出し、これを上記画像回転処理器および上記画像平行移動処理器へ与える姿勢変動補償装置と、
   を備え、
   上記撮影装置自身の姿勢が変動するような環境下であり、上記姿勢を検出すると共に、上記姿勢の変動を相殺するように撮影方向を調整する機構において、検出される上記姿勢の情報に追従して撮影方向を調整するまでの時間差により発生する追従誤差を画像処理によって補償する様にしたことを特徴とする、請求項１乃至請求項３に記載の撮像装置。
5. 上記画像回転処理器による画像の回転処理と、上記画像平行移動処理器による画像の平行移動処理とを一括して処理する様にしたことを特徴とする、請求項４に記載の撮像装置。
6. 上記素子出力補正処理器から得られる原画像信号を予め設定される歪曲データにより画像の歪曲補正を行う歪曲補正処理器を備え、
   上記画像回転処理器による画像の回転処理と、上記画像平行移動処理器による画像の平行移動処理とを一括して処理する様にしたことを特徴とする、請求項４に記載の撮像装置。

Images