JP6910841B2

JP6910841B2 - 撮像装置及びその調整方法

Info

Publication number: JP6910841B2
Application number: JP2017089678A
Authority: JP
Inventors: 崇倫仲田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-04-28
Filing date: 2017-04-28
Publication date: 2021-07-28
Anticipated expiration: 2037-04-28
Also published as: US10616500B2; US20180316839A1; JP2018191049A

Description

本発明は、魚眼レンズを含む撮像光学系を備えた撮像装置及びその調整方法に関する。

近年、監視カメラ等の撮像装置の分野では、魚眼レンズを備えカメラの周囲全体をくまなく監視できるいわゆる全方位カメラが注目されている。この種の装置は魚眼レンズを使って被写体像を結像させるため、撮像素子の一部を丸く切り出すように被写体像が結像する。ところで、撮像素子においてはその製造上または回路構成に起因して、個々の特性が異なる場合がある。特性として例えば、画素出力が異常となる欠陥画素の存在や、素子内部の回路構成等に起因するダークシェーディングの発生等が挙げられる。欠陥画素の発生を皆無にするのは困難であるため、様々な方法で補正をする技術が提案されている。特許文献１では、周辺画素に対するレベル差を２つの閾値と比較して欠陥画素を判定し、欠陥画素を周囲画素の信号で補正する技術が開示されている。

特開２００３−１８９１８９号公報

しかしながら、特許文献１の技術によると、周囲画素で欠陥画素を補正するので、境界部において誤補正するおそれがある。特に密集した欠陥画素が存在すると誤補正するおそれが高まる。なお、魚眼レンズを用いる場合、通常、被写体像が結像する領域として撮像素子の有効画素の一部しか使用されないことから、良好な画像を得る観点からは改善の余地がある。

本発明は、例えば、撮像素子の比較的特性の良い領域を結像領域として用いることを目的とする。

上記目的を達成するために本発明は、魚眼レンズを含む撮像光学系と、前記撮像光学系に対する相対的位置を移動可能に構成され、前記撮像光学系により結像した被写体像を電気信号に変換する撮像素子と、前記撮像素子の特性を取得する第１の取得手段と、前記撮像素子における前記被写体像の結像位置を取得する第２の取得手段と、前記第１の取得手段により取得された前記撮像素子の前記特性と、前記第２の取得手段により取得された結像位置とに基づいて、移動させるべき前記撮像素子の目標位置を決定する決定手段と、を有し、前記決定手段は、前記目標位置への前記撮像素子の移動後における前記被写体像の結像領域が前記撮像素子の有効画素の領域内となるように、且つ、前記目標位置への前記撮像素子の移動前に比し、前記目標位置への前記撮像素子の移動後の方が、前記被写体像の結像領域における前記特性が改善されるように、前記目標位置を決定することを特徴とする。

本発明によれば、例えば、撮像素子の比較的特性の良い領域を結像領域として用いることができる。

撮像装置の構成を示すブロック図である。撮像素子の駆動機構の模式図である。結像位置調整処理のフローチャートである。結像位置調整処理のフローチャートである。欠陥画素の種類と評価値との関係表の例を示す図である。シェーディングの輝度差と評価値との関係表の例を示す図である。撮像装置の構成を示すブロック図である。画像の歪み補正の様子を示す概念図である。結像位置調整処理のフローチャートである。移動前後の結像領域の例を示す図である。撮像装置の構成を示すブロック図である。有効画素領域と移動制限領域との関係を例示する図（（ａ））、移動量制限領域を設定する場合の可動範囲を示す図（（ｂ）〜（ｄ））である。結像位置調整処理のフローチャートである。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。この撮像装置は、魚眼レンズであるレンズ１０１を含む撮像光学系を有する。不図示の被写体像は、レンズ１０１を介して、ＣＣＤまたはＣＭＯＳセンサなどの撮像素子１０２に入射する。撮像素子１０２上に結像した被写体像は電気信号に変換され、Ａ／Ｄコンバータでデジタル信号（画像信号）に変換され、画像処理部１０３に入力される。画像処理部１０３は、入力された画像に、ガンマ補正やカラーバランス調整など、所定の画像処理を行う。所定の画像処理が行われた画像は、出力機器や保存機器などに出力される。

特性検知部１０４（第１の取得手段）は、撮像素子１０２の欠陥画素の位置情報や撮像素子１０２のシェーディングの情報など、撮像素子１０２が個々に持っている素子特性を検知・取得する。結像位置検知部１０５（第２の取得手段）は、レンズ１０１が取り込んだ被写体像が撮像素子１０２の撮像面上におけるどの位置に結像しているか、すなわち被写体像の結像位置を検知する。算出部１０６（決定手段）は、特性検知部１０４及び結像位置検知部１０５からの出力に基づき、移動させるべき撮像素子１０２の目標位置を決定する。一例として、算出部１０６は、欠陥画素が最も少なくなるような結像位置となるように目標位置（現在位置に対する移動方向及び移動量）を算出する。読出領域設定部１０７は、撮像素子１０２における信号の読み出し領域を設定する。一例として、読出領域設定部１０７は、算出部１０６で決定された目標位置へ撮像素子１０２を移動させた後に、撮像素子１０２上に結像される被写体像を含む領域、すなわち結像領域を、読み出し領域として設定する。

なお、図示はしないが、撮像装置は装置全体の制御を司るＣＰＵのほか、ＲＡＭやＲＯＭ等の記憶部を備え、上記した各処理部の機能はこれらのＣＰＵ及び記憶部の協働により実現される。このＲＯＭには、ＣＰＵにより実行される制御プログラムが格納されている。また、撮像素子１０２の個々の素子特性の情報が予めＲＯＭ等の記憶部に格納されている場合は、特性検知部１０４はそれを参照することで取得できる。

図２は、撮像素子の駆動機構の模式図である。撮像素子１０２は移動可能に構成されている。撮像ユニット２０１は、撮像素子１０２を駆動する駆動機構として、水平方向駆動用のモータ２０３と垂直方向駆動用のモータ２０４とを有する。撮像ユニット２０１は、モータ２０３、２０４を動作させることによって撮像素子１０２を移動させ、レンズ１０１の光軸に垂直な平面座標上の任意の位置に撮像素子１０２を位置させることができる。ここでは、水平・垂直軸についての移動機構を例示した。しかし、撮影光学系と正対している限り、光軸方向前後に動作する駆動系、撮像素子１０２を上記平面座標上で回転させるような駆動系を採用または併用してもよい。なお、撮像素子１０２の移動は手動、自動のいずれによってもよい。自動駆動の場合は、上記したＣＰＵがモータ２０３、２０４を制御する。なお、図２の例では、自動駆動のためのアクチュエータとしてモータ２０３、２０４を採用したが、圧電素子等をアクチュエータとして用いてもよい。あるいは、単純なねじ等を設け、撮像素子１０２を手動で駆動できるように構成してもよい。

次に、撮像素子１０２の特性と結像位置とに基づいて目標位置を決定し、結像位置を調整する処理を説明する。なお、この処理の実施時期は、撮像装置の製品としての出荷前が主に想定されるが、出荷後であってもよい。図３は、結像位置調整処理のフローチャートである。この処理は、撮像装置に備わるＲＯＭに格納された制御プログラムをＣＰＵが読み出して実行することにより実現される。

まず、特性検知部１０４は、結像画像を含む撮像素子１０２全体の画像を取得する（ステップＳ３０１）。全体の画像は画像処理部１０３によっても取得される。次に、特性検知部１０４は素子特性を検知する（ステップＳ３０２）。本実施の形態では、特性検知部１０４は、素子特性として、上記ＲＯＭ等に予め記憶されている欠陥画素に関する情報を取得する。その際、特性検知部１０４は、素子特性を算出部１０６に送ると共に、撮像素子１０２全体の画像を結像位置検知部１０５に送る。次に、結像位置検知部１０５は、ステップＳ３０１で取得された画像を基に、撮像素子１０２上における被写体像の結像位置（結像領域及びその中心位置）を検知する（ステップＳ３０３）。なお、結像位置検知部１０５は、画像情報から結像位置を取得するとしたが、レンズ１０１と撮像素子１０２との位置関係から結像位置を算出・取得するようにしてもよい。

次に、特性検知部１０４の出力（素子特性）及び結像位置検知部１０５の出力（結像位置）に基づいて、算出部１０６は、移動させるべき撮像素子１０２の目標位置を決定する（ステップＳ３０４）。ここではまず、算出部１０６は、目標位置への移動後における被写体像の結像領域が撮像素子１０２の有効画素の領域内となるという条件の下で目標位置を決定する。算出部１０６は、この条件を満たすことに加えて、移動前に比し移動後の方が、結像領域における欠陥画素の数が少なくなるように目標位置を決定（撮像素子１０２の移動方向及び移動量を算出）する。最も望ましくは、算出部１０６は、結像領域に含まれる欠陥画素が最も少なくなるような領域に被写体が結像するように目標位置を決定する。目標位置は、結像領域の所定位置（例えば、中心位置）を基準に規定され、例えば、移動前の結像領域の中心位置に対する移動後の結像領域の中心位置の移動方向及び移動量として定義される。その後、図３の処理は終了する。なお、目標位置を調整者に報知するために、不図示の表示部に目標位置を示す情報（現在位置からの移動方向及び移動量）を表示するようにしてもよい。

図３の処理後、調整者は、駆動機構（図２）を用いて撮像素子１０２を目標位置へ移動させる。あるいは、ＣＰＵが駆動機構を制御して撮像素子１０２を目標位置へ移動させる。読出領域設定部１０７は、目標位置へ移動した撮像素子１０２上の結像領域が新たな読み出し領域となるよう、読み出し領域の設定を変更する。撮像素子１０２を目標位置に移動させることで、撮像素子１０２上の特性が良好な領域を使うことができ、欠陥画素に関する素子特性が改善されるので、出力画像に与える欠陥画素の影響を軽減できる。

本実施の形態によれば、素子特性と結像位置とに基づいて目標位置を決定するので、例えば、撮像素子の比較的特性の良い領域を結像領域として用いることができる。欠陥画素が極力少なくなるように目標位置を決定すれば、欠陥画素に起因する誤補正や被写体の誤認識等を軽減でき、従来に比べて認識性の向上した画像を提供することが可能となる。

（第２の実施の形態）
本発明の第２の実施の形態では、算出部１０６は、素子特性として、欠陥画素に関する情報に加えて、撮像面上の輝度ムラに関する情報も考慮して目標位置を決定する。第１の実施の形態に対して、図３に代えて図４を用い、さらに図５、図６を用いて本実施の形態を説明する。本実施の形態における結像位置調整処理は、主に撮像装置の製品としての出荷前に実施されることが想定される。

図４は、結像位置調整処理のフローチャートである。この処理は、例えば、工場の調整者がＰＣ等の情報機器を用いて実行する。まず、調整者は、撮像素子１０２の環境温度を上昇させる（ステップＳ４０１）。温度を上昇させる基準としては、製品それぞれの通常使用範囲内で達する温度を想定している。次に、調整者は、撮像素子１０２の蓄積時間を長く設定する（ステップＳ４０２）。ここで、設定する蓄積時間は、製品使用範囲の最長の蓄積時間を想定している。次に、調整者は、欠陥画素を検知する。欠陥画素の検知の手法として、明るさが画角内で均等に分布された被写体を撮影して得た画像から検知する方法や、撮像装置を遮光して真っ暗な環境で撮影して得た画像から検知する方法等が考えられる。しかし画像からキズ（欠陥画素）を検知できる方法であれば方法は問わない。また、欠陥画素の検知は、特性検知部１０４が実行するようにしてもよい。また、本撮像装置に接続したＰＣ等の情報機器に画像を転送し、情報機器により欠陥画素を検知してもよい。

ステップＳ４０４〜Ｓ４０８は、調整者の操作に従って上記情報機器が実行する。情報機器は、欠陥画素に関する情報が予め保存されているか否かを判別する（ステップＳ４０４）。この情報の保存場所は、撮像装置が有するＦｌａｓｈメモリ等の不揮発メモリ（不図示）を想定しているが、それに限らず、情報機器が有する記憶部であってもよい。そして情報機器は、欠陥画素に関する情報が予め保存されていない場合は、処理をステップＳ４０６に進める。一方、欠陥画素に関する情報が予め保存されている場合は、情報機器は、ステップＳ４０３で検知された欠陥画素の情報と、保存された欠陥画素の情報とを結合し（ステップＳ４０５）、処理をステップＳ４０６に進める。ステップＳ４０６では、情報機器は、撮像素子１０２の有効画素上の欠陥画素の場所を示す、欠陥画素マップ（欠陥画素のマッピング画像）を作成する。従って、ステップＳ４０５を実行した場合は、検知された欠陥画素に、保存された欠陥画素が追加された欠陥画素マップが作成される。ステップＳ４０５を実行しない場合は、検知された欠陥画素のみから欠陥画素マップが作成される。

次に、調整者は、撮像装置を遮光した際の画像を撮影し、情報機器は、その時の輝度分布をマッピングした有効画素上の輝度マップを作成する（ステップＳ４０７）。なお、素子特性として撮像面上の輝度ムラを検知する処理は特性検知部１０４が実行してもよい。そして、情報機器は、ステップＳ４０６で作成された欠陥画素マップとステップＳ４０７で作成された輝度マップとに基づいて目標位置を決定する（ステップＳ４０８）。ここで、欠陥画素マップ及び輝度マップの解析手法、さらには目標位置の決定手法の例を図５、図６で説明する。

図５は、欠陥画素の種類と評価値との関係表の例を示す図である。図６は、シェーディングの輝度差と評価値との関係表の例を示す図である。図５では、欠陥画素の種類の区分として、単一の欠陥画素、複数画素がつながった欠陥画素、密集している欠陥画素の３つに区別されている。単一の欠陥画素とは、周囲画素には全く問題がなく単一に存在する欠陥画素である。複数画素がつながった欠陥画素とは、２つ以上の隣接する欠陥画素から成る欠陥画素である。例えば、ある欠陥画素から見て縦方向、横方向、斜め方向のいずれかの周囲画素に欠陥があれば、それらはつながった欠陥画素として検知される。なお、さらに詳細に、つながった複数画素として、２画素がつながっている場合や３画素がつながっている場合などに区分してもよい。密集している欠陥画素については、本実施の形態では、欠陥画素マップをブロック（例えば、５０画素×５０画素）ごとに分割し、ブロック中の欠陥画素の割合が閾値Ｔｈ％以上である場合に、そのブロックは密集した欠陥画素であるとされる。閾値Ｔｈは任意に設定できるが、一例として０．１％程度を想定している。また、欠陥画素マップを分割するブロックサイズ（分割領域の画素数）についても自由に設定できる。なお、欠陥画素の種類の定義に関してはこれらの例示に限られるものではなく、複数の種類に分割できれば他のルールで定義してもよい。

次に、欠陥画素の種類ごとに、それぞれ評価値が設定される。図５の例では、単一の欠陥画素が１、複数画素がつながった欠陥画素が５、密集している欠陥画素が１０という値が評価値として設定される。評価値が大きいほど欠陥の度合いが高い。情報機器は、は、算出した評価値を欠陥画素数で割ることで正規化を行ってもよい。

一方、図６に示すように、シェーディングに関しては、補正において輝度差を比較するときの範囲として、周辺１０画素×１０画素程度の範囲を考える。これは、画素単位で輝度差の比較をするとノイズなどの影響で輝度差が非常に大きくなるおそれがあるからである。本実施の形態では、情報機器は、周辺１０画素×１０画素程度の範囲でメディアンフィルタを使用して輝度差を算出し、輝度差ごとに評価値を設定する。なお、ノイズの影響を排除できればよいので、ローパスフィルタ等、別の手法を使用してもよい。図６の例では、とりうる結像範囲全体において、最大輝度差が５％以上、１０％以上、２０％以上という基準を設定している。５％以上、１０％以上、２０％以上に対して、それぞれ評価値として１、５、１０が設定される。

そして情報機器は、欠陥画素マップの解析で取得した評価値と、シェーディングの輝度差の解析で取得した評価値とを足し合わせた値を、全体の評価値として算出する。情報機器は、ステップＳ４０８で、移動前に比し移動後の方が、被写体像の結像領域における全体の評価値が小さくなる（望ましくは最小となる）ように、目標位置を決定する。これにより、素子特性として、欠陥画素及び撮像面上の輝度ムラを加味した特性が改善されるように目標位置が決定される。なお、目標位置を算出部１０６が決定してもよい。

次に、ステップＳ４０９では、調整者は、決定された目標位置に応じて撮像素子１０２を移動する。上述のように工場等で調整が行われることを想定しているため、調整者はねじ等の冶具を用いて移動させる。なお、撮像素子１０２の移動を情報機器により自動で行うようにしてもよい。ステップＳ４１０では、情報機器は、目標位置へ移動した撮像素子１０２上の結像領域の信号が読み出されるように、読み出し領域を設定する。この読み出し領域の設定値は、撮像装置が有するＦｌａｓｈメモリ等の不揮発メモリ（不図示）に保存される。なお、読み出し領域の設定を読出領域設定部１０７が実行してもよい。

本実施の形態によれば、撮像素子の比較的特性の良い領域を結像領域として用いることができることに関し、第１の実施の形態と同様の効果を奏することができる。しかも、欠陥画素だけでなくシェーディングの輝度差も考慮して目標位置を決定するので、欠陥画素や輝度ムラが少ない領域を用いることができ、認識性を一層向上させることができる。

なお、本実施の形態では、結像位置調整処理を製品出荷前に工場で行う想定した。しかし、結像位置調整処理を実現する上で各処理の主体は、調整者、情報機器、撮像装置が有するＣＰＵのいずれかによるか、あるいはいずれかの協働によるとしてもよい。

なお、本実施の形態では、欠陥画素及びシェーディングの輝度差の双方を考慮した。しかし欠陥画素に関する評価値と、シェーディングの輝度差に関する評価値とに所定の重み付けをしてもよい。あるいは、調整者による選択によって、欠陥画素だけ、またはシェーディングの輝度差だけに基づいて目標位置を決定できるように構成してもよい。

（第３の実施の形態）
図７は、本発明の第３の実施の形態に係る撮像装置の構成を示すブロック図である。本実施の形態に係る撮像装置の構成は、制御機構として図１に示すブロックに、補正処理部７０１及び駆動部７０２が追加された点が第１の実施の形態と異なる。また、第１の実施の形態に対して、図３に代えて図９を用い、さらに図８、図１０を用いて本実施の形態を説明する。本実施の形態における結像位置調整処理は、主に撮像装置の製品としての出荷後に実施されることが想定されるが、出荷前に実施されてもよい。

補正処理部７０１は、画像処理部１０３から入力された画像の歪みを幾何補正する。補正処理部７０１の機能のオン（有効）／オフ（無効）は調整者（例えば、ユーザ）が任意に設定できる。駆動部７０２は、モータ等のアクチュエータから構成され、決定された目標位置に応じて撮像素子１０２の位置を動的に変更する。駆動部７０２は、撮像素子１０２を移動させることができればよく、図２に示したモータ２０３、２０４を動作させる構成であってもよい。

図８は、画像の歪み補正の様子を示す概念図である。一般に、魚眼レンズで結像した画像を単純に幾何変換すると、画像の中央部分が画像の幅分延びるため、中央付近は情報としてあまり有用でなくなってしまう。そのために、図８に示したように画像の真ん中付近は除外して、その他の部分に対して歪み補正をかける処理が通常行われている。

図９は、結像位置調整処理のフローチャートである。この処理は、撮像装置に備わるＲＯＭに格納された制御プログラムをＣＰＵが読み出して実行することにより実現される。まず、ステップＳ３０１〜Ｓ３０３の処理は第１の実施の形態（図３）で説明したのと同様である。ステップＳ３０３の後、ステップＳ９０１では、撮像装置のＣＰＵは、補正処理部７０１の機能がオンになっているか否かを判別する。そして、補正処理部７０１の機能がオフである場合は、ＣＰＵは処理をステップＳ３０４に進める。ステップＳ３０４の処理は第１の実施の形態（図３）で説明したのと同様である。その後、処理はステップＳ９０４に進む。

一方、補正処理部７０１の機能がオンである場合は、補正処理部７０１は画像の歪み補正を実施する（ステップＳ９０２）。補正処理部７０１は例えば、図８に示したように、画像の真ん中付近を除外した領域（上画像と下画像）に対して歪み補正を施す。次に、算出部１０６は、歪み補正を加味して目標位置を決定する（ステップＳ９０３）。歪み補正を加味した目標位置の決定については、特に密集した欠陥画素が存在するか否かによって動作が異なる場合がある。

図１０に、移動前の結像領域（点線）と目標位置への移動後の結像領域（実線）の例を示す。中央の黒点は密集した欠陥画素を表している。画面中央の大きい方の円は、図８に示した撮像素子１０２への被写体の結像領域を示している。密集した欠陥画素が撮像素子１０２の中央部分にあるような場合は、密集した欠陥画素を結像領域から避けることが困難となる。このような場合で、出力画像が歪み補正済みの画像だったときは、第１、第２の実施の形態とは異なり、算出部１０６は、結像領域の中央部分は結像画像ではないとみなして、目標位置を決定する。すなわち、算出部１０６は、補正処理部７０１が用いられる場合に、目標位置への撮像素子１０２の移動後における被写体像の結像領域のうち中央領域（所定の領域）を除いた領域における素子特性が改善されるように、目標位置を決定する。ここでは、結像領域の欠陥画素が少なくなるように目標位置が決定される。なお、撮像素子１０２の有効画素の領域内で決定するという条件を満たすべきことは第１の実施の形態と同様である。これにより、画像の歪みを補正する場合に特性の良い領域を結像領域として用いることができる。

ステップＳ９０３の後、処理はステップＳ９０４に進む。ステップＳ９０４では、駆動部７０２は、撮像素子１０２を目標位置へ移動させるべく駆動する。その後、図９の処理は終了する。

本実施の形態によれば、撮像素子の比較的特性の良い領域を結像領域として用いることができることに関し、第１の実施の形態と同様の効果を奏することができる。特に、画像の歪み補正を利用する場合に歪み補正を考慮して目標位置を決定するので、経年劣化、放射線等、長時間蓄積、高利得時等の撮影条件の変化により素子特性が変化しても、リアルタイムに適切な目標位置を決定することができる。また、結像領域の素子特性が改善されるように目標位置を決定する際に、結像領域のうち除かれる所定の領域は中央領域である。これにより、いわゆるデワープ補正で用いない領域を除外し、実質的に用いる領域中の特性の良い領域を結像領域として用いることができる。

なお、ステップＳ９０１の判別はＣＰＵが実行するとしたがこれに限らない。例えば、撮像装置のユーザが判別し、補正処理部７０１の機能がオンになっている場合は、ステップＳ９０２以降の処理を実行するよう撮像装置に指示してもよい。

（第４の実施の形態）
図１１は、本発明の第４の実施の形態に係る撮像装置の構成を示すブロック図である。本実施の形態に係る撮像装置の構成は、制御機構として図１に示すブロックに、駆動部７０２、振動検知部１１０１、振動補正部１１０２及び制限設定部１１０３が追加された点が第１の実施の形態と異なる。また、第１の実施の形態に対して、図３に代えて図１３を用い、さらに図１２を用いて本実施の形態を説明する。本実施の形態における結像位置調整処理は、主に撮像装置の製品としての出荷後に実施されることが想定される。

振動検知部１１０１はジャイロセンサ等から構成され、撮像装置の振動（振れ、ないし揺れ）を検知する。なお、振動検知は振動検知部１１０１等のセンサによるものに限らず、画像情報から物体の移動量を検知するベクトル検知の手法を用いてもよい。振動補正部１１０２は、振動検知部１１０１で検知した振れを打ち消すように、撮像素子を駆動させる、いわゆるセンサシフト方式の防振機能を実現する。

図１２（ａ）は、撮像素子１０２の有効画素領域と制限設定部１１０３により設定される移動制限領域との関係を例示する図である。制限設定部１１０３は、検知された振れに応じて移動制限領域を設定する。その際、制限設定部１１０３は、撮像光学系の光軸に対する垂直方向及び水平方向のそれぞれにおいて、有効画素領域よりも広くない範囲（同じかまたは狭い範囲）で矩形の移動制限領域を設定する。第１の実施の形態で説明した手法で目標位置を決定し、撮像素子１０２を動かした場合、装置の振動によって結像領域が有効画素領域からはみ出すおそれがある。従って、振れが大きいほど、撮像素子１０２を移動させる余裕が少なくなる。そこで、振れの大きさに応じて移動制限範囲を設定することで、防振機能を作用させても結像領域が有効画素領域内に収まるようにする。

図１３は、結像位置調整処理のフローチャートである。この処理は、撮像装置に備わるＲＯＭに格納された制御プログラムをＣＰＵが読み出して実行することにより実現される。ステップＳ３０１〜Ｓ３０３の処理は第１の実施の形態（図３）で説明したのと同様である。ステップＳ３０３の後、ステップＳ１３０１では、振動検知部１１０１は、撮像装置の振れ（振れ量）を検知する。次に、ステップＳ１３０２で、制限設定部１１０３は、振れ量に相当する画素数（振れ相当画素数と称する）、有効画素の垂直画素数及び水平画素数に基づいて、移動量制限領域を設定する。

図１２（ｂ）〜（ｄ）で、移動量制限領域を設定する場合の可動範囲について説明する。ステップＳ３０３で取得した結像領域の中心位置をＧとする。撮像素子１０２に対する中心位置Ｇの垂直、水平方向における相対的な可動範囲をそれぞれＶ、Ｈとする。移動量制限領域における垂直方向の距離は、結像領域の直径に可動範囲Ｖを加えた距離である。移動量制限領域における水平方向の距離は、結像領域の直径に可動範囲Ｈを加えた距離である。なお、振れが無いかまたは振れを考慮しないときの可動範囲は、有効画素領域内で結像領域を相対的に移動可能な範囲であり、これらが移動量制限領域における垂直、水平方向それぞれの最大可動範囲となる。ここで、撮像素子１０２の短辺が垂直方向、長辺が水平方向であるとし、撮像素子１０２の有効画素の画素数は、垂直方向よりも水平方向の方が多いとする。

垂直画素数≧振れ相当画素数である場合は、制限設定部１１０３は、図１２（ｂ）に示すように、結像領域の直径に可動範囲Ｖを加えた距離を短辺とし、結像領域の直径に可動範囲Ｈを加えた距離を長辺とする矩形領域を、移動量制限領域として設定する。可動範囲Ｖ、可動範囲Ｈは振れ相当画素数に応じて設定され、振れ相当画素数が大きいほど小さい値に設定される。仮に振れ相当画素数＝０（振れ無し）であった場合は、可動範囲Ｖ、可動範囲Ｈはそれぞれ最大値となり、目標位置の決定処理は第１の実施の形態と同様となる。すなわち、移動量制限領域は有効画素領域と等しい領域に設定される。

水平画素数≧振れ相当画素数＞垂直画素数である場合は、可動範囲Ｖは０となるので、１２（ｃ）に示すように、目標位置への移動後の結像領域の中心位置Ｇは、有効画素領域の垂直方向における中央を通る。つまり、結像領域を水平方向で移動させることはできるが、垂直方向へ移動させることはできない。

振れ相当画素数＞水平画素数である場合は、可動範囲Ｖ、可動範囲Ｈは共に０となるので、図１２（ｄ）に示すように、目標位置への移動後の結像領域の中心位置Ｇは、有効画素領域の垂直方向における中央且つ水平方向における中央に一致する。つまり、垂直方向、水平方向のいずれにも、結像領域を移動させることはできない。

なお、仮に、短辺が水平方向、長辺が垂直方向の撮像素子を用いた場合は、垂直方向と水平方向とで逆にして考える必要がある。長い方の辺の画素数を振れ相当画素数が超えると、結像領域を移動させることはできない。

次に、ステップＳ１３０３では、算出部１０６は、目標位置への移動後における被写体像の結像領域が撮像素子１０２の移動量制限領域内となるという条件の下で目標位置を決定する。移動前に比し移動後の方が、結像領域における欠陥画素の数が少なくなる（望ましくは欠陥画素が最も少なくなる）ように決定する点は第１の実施の形態（ステップＳ３０４）と同様である。次に、ステップＳ１３０４では、駆動部７０２は、撮像素子１０２を目標位置へ移動させるべく駆動する。そしてステップＳ１３０５では、振動補正部１１０２は振れ補正を開始し、その後、図１３の処理は終了する。

本実施の形態によれば、撮像素子の比較的特性の良い領域を結像領域として用いることができることに関し、第１の実施の形態と同様の効果を奏することができる。しかも、防振機構を持つ撮像装置において、振れに応じた移動制限領域内で目標位置を決定することで、防振機能を確保できる範囲で撮像素子を移動させることができる。

なお、上記各実施の形態において、撮像素子１０２は、撮像光学系に対する相対的位置を移動可能であればよく、目標位置への移動に関し、撮像光学系を移動させる構成を排除するものではない。

なお、第２の実施の形態で説明した、撮像面上の輝度ムラを目標位置の決定に反映させる構成は、第３、第４の実施の形態にも適用してもよい。また、第３の実施の形態で説明した、歪み補正を目標位置の決定において考慮する構成は、第２、第４の実施の形態にも適用してもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

１０１レンズ
１０２撮像素子
１０４特性検知部
１０５結像位置検知部
１０６算出部

Claims

魚眼レンズを含む撮像光学系と、
前記撮像光学系に対する相対的位置を移動可能に構成され、前記撮像光学系により結像した被写体像を電気信号に変換する撮像素子と、
前記撮像素子の特性を取得する第１の取得手段と、
前記撮像素子における前記被写体像の結像位置を取得する第２の取得手段と、
前記第１の取得手段により取得された前記撮像素子の前記特性と、前記第２の取得手段により取得された結像位置とに基づいて、移動させるべき前記撮像素子の目標位置を決定する決定手段と、を有し、
前記決定手段は、前記目標位置への前記撮像素子の移動後における前記被写体像の結像領域が前記撮像素子の有効画素の領域内となるように、且つ、前記目標位置への前記撮像素子の移動前に比し、前記目標位置への前記撮像素子の移動後の方が、前記被写体像の結像領域における前記特性が改善されるように、前記目標位置を決定することを特徴とする撮像装置。
前記特性には、前記撮像素子における欠陥画素に関する情報が含まれ、
前記決定手段は、前記目標位置への前記撮像素子の移動前に比し、前記目標位置への前記撮像素子の移動後の方が、前記被写体像の結像領域における欠陥画素の数が少なくなるように、前記目標位置を決定することを特徴とする請求項１に記載の撮像装置。
前記特性には、前記撮像素子における撮像面上の輝度ムラに関する情報が含まれ、
前記決定手段は、前記目標位置への前記撮像素子の移動前に比し、前記目標位置への前記撮像素子の移動後の方が、前記被写体像の結像領域における輝度ムラが少なくなるように、前記目標位置を決定することを特徴とする請求項１に記載の撮像装置。
前記特性には、前記撮像素子における欠陥画素に関する情報、及び、前記撮像素子における撮像面上の輝度ムラに関する情報が含まれ、
前記決定手段は、前記目標位置への前記撮像素子の移動前に比し、前記目標位置への前記撮像素子の移動後の方が、前記被写体像の結像領域における欠陥画素の数及び前記被写体像の結像領域における輝度ムラの少なくとも一方が少なくなるように、前記目標位置を決定することを特徴とする請求項１に記載の撮像装置。
前記撮像素子により出力された画像の歪みを補正する補正手段を有し、
前記決定手段は、前記補正手段が用いられる場合に、前記撮像素子の有効画素の領域内で且つ、前記目標位置への前記撮像素子の移動後における前記被写体像の結像領域のうち所定の領域を除いた領域における前記特性が改善されるように、前記目標位置を決定することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
前記所定の領域は、前記被写体像の結像領域における中央の領域であることを特徴とする請求項５に記載の撮像装置。
前記撮像装置の振れを検知する検知手段と、
前記撮像光学系の光軸に対する垂直方向及び水平方向のそれぞれにおいて、前記検知手段により検知された振れに応じて、前記撮像素子の有効画素領域よりも広くない移動制限領域を設定する設定手段と、を有し、
前記決定手段は、前記目標位置への前記撮像素子の移動後における前記被写体像の結像領域が、前記設定手段により設定された前記移動制限領域内となるように、前記目標位置を決定することを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
前記目標位置へ前記撮像素子を駆動する駆動手段を有することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
前記目標位置に応じて、前記撮像素子における信号の読み出し領域を設定する設定手段を有することを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
魚眼レンズを含む撮像光学系と、前記撮像光学系に対する相対的位置を移動可能に構成され、前記撮像光学系により結像した被写体像を電気信号に変換する撮像素子と、を有する撮像装置の調整方法であって、
前記撮像素子の特性を取得する第１の取得ステップと、
前記撮像素子における前記被写体像の結像位置を取得する第２の取得ステップと、
前記第１の取得ステップにより取得された前記撮像素子の前記特性と、前記第２の取得ステップにより取得された結像位置とに基づいて、移動させるべき前記撮像素子の目標位置を決定する決定ステップと、を有し、
前記決定ステップは、前記目標位置への前記撮像素子の移動後における前記被写体像の結像領域が前記撮像素子の有効画素の領域内となるように、且つ、前記目標位置への前記撮像素子の移動前に比し、前記目標位置への前記撮像素子の移動後の方が、前記被写体像の結像領域における前記特性が改善されるように、前記目標位置を決定することを特徴とする撮像装置の調整方法。