JP6618575B2 - 画像処理装置、撮像装置、レンズ装置、および、画像処理方法 - Google Patents

Description

本発明は、ティルト動作が可能なレンズ装置を用いて撮像された画像データに対する補正処理に関する。

撮影で得られた画像データは、撮影に用いたレンズ装置の光学特性に基づく収差の影響を受ける。撮像装置、あるいは、撮影された画像データを受け取った画像処理装置は、画像データに対して補正を行うことで、画像データにおける収差の影響を低減することができる。このときの収差についての補正データの値は、撮像素子の結像面上での光軸の位置を基準とし、この基準の位置からの距離に対応する値となる。

また、レンズのティルト（Ｔｉｌｔ）動作およびシフト（Ｓｈｉｆｔ）動作を可能とする機構を有する、所謂アオリレンズ装置が存在する。アオリレンズ装置を撮像装置に装着し、アオリレンズ装置のシフト機構を用いることで、被写体の遠近による歪みの調整が可能となる。また、ティルト機構を用いることで、撮像装置にピント位置が合う範囲の調整をすることが可能となる。

レンズをシフト動作させると、レンズの位置と撮像素子の撮像面の相対位置が変化することで、撮像素子の結像面上での光軸の位置が変化する。レンズをティルト動作させると、レンズ装置の光学伝達関数が非回転対称となる。

そのため、特許文献１には、レンズのシフト量およびティルト量ごとに、収差を補正するための補正データの組を用意しておいて、撮像時のシフト量およびティルト量に応じていずれかの補正データの組を選択する構成が開示されている。

特開２０１４−２７５７０号公報

しかしながら、レンズをシフト動作させた場合だけでなく、ティルト動作させた場合も、撮像素子の結像面上での光軸の位置は変化する。特許文献１には、レンズのティルト量に応じて撮像素子の結像面上での光軸の位置が変化することについては何ら開示がない。

そこで、本発明は、ティルト動作による光軸の位置のズレに対応した光学特性の補正を行うことが可能な画像処理装置を提供することを目的とする。

上記課題を解決するため、本願の請求項１に係る発明は、撮像装置が有する撮像素子の撮像面に対してレンズを傾けるティルト機構を備えたレンズ装置を用いて撮像された画像データに対して、前記レンズ装置の光学特性に応じた補正を行う補正手段を有し、前記補正手段は、補正中心位置を基準とした像高に対応する値を備えた補正データに基づいて、前記光学特性に応じた補正を行うものであって、のレンズを傾けるための回転中心から前記撮像面までの距離、および、前記ティルト機構が前記レンズを傾けた角度を示す情報に基づいて、前記画像データにおける前記補正中心位置を変更することを特徴とする画像処理装置を提供するものである。

同様に、上記課題を解決するため、本願の請求項６に係る発明は、画像データを生成する撮像素子と、前記撮像素子の撮像面に対してレンズを傾けるティルト機構を備えたレンズ装置を装着するマウント部と、前記レンズ装置を用いて撮像を行うことで前記撮像素子によって生成された画像データに対して、前記レンズ装置の光学特性に応じた補正を行う補正手段を有し、前記補正手段は、補正中心位置を基準とした像高に対応する値を備えた補正データに基づいて、前記光学特性に応じた補正を行うものであって、のレンズを傾けるための回転中心から前記撮像面までの距離、および、前記ティルト機構が前記レンズを傾けた角度を示す情報に基づいて、前記画像データにおける前記補正中心位置を変更することを特徴とする撮像装置を提供するものである。

本発明によれば、ティルト動作による光軸の位置のズレに対応した光学特性の補正を行うことが可能な画像処理装置を提供することができる。

本発明の実施形態におけるレンズ装置および撮像装置からなるカメラレンズシステムの概略ブロック構成図である。 本発明の実施形態におけるレンズ装置の光軸と撮像面の中心位置の関係を説明するための図である。 本発明の実施形態におけるレンズ装置と撮像装置のレンズデータ通信フロー図である。 本発明の実施形態における光学収差の補正処理の動作フロー図である。 本発明の実施形態における倍率色収差の補正処理を説明するための図である。 本発明の実施形態における光学収差の補正データの一例を示す図である。 本発明の実施形態における歪曲収差補正、周辺光量補正、および、画像回復処理の補正データの一例を示す図である。 本発明の実施形態における光学補正の補正中心位置を説明するための図である。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。

本発明の実施形態として、ティルト機構およびシフト機構を備えたレンズ装置を撮像装置に装着したカメラレンズシステムを例に挙げて説明を行う。ティルト機構は撮像面に対してレンズを傾けるための機構であり、シフト機構は撮像面に対して光学レンズを平行に移動するための機構である。

図１は、本発明の実施形態に係る、レンズ装置および撮像装置からなるカメラレンズシステムの概略ブロック構成図である。図１に示すように、撮像装置１００には、レンズ装置と接する部分であるレンズマウント部１５４を介して、アオリ機能を備えたレンズ装置１５０が着脱可能に装着されている。

まず、撮像装置１００内の構成について説明する。

撮像素子１０２は、例えばＣＣＤセンサーやＣＭＯＳセンサーなどが用いられ、レンズ装置１５０によって結像された被写体像を電気信号に変換する。撮像素子１０２は、例えば、ベイヤー配列のＲＧＢ（赤緑青）のカラーフィルターを有する画素を行列状に配列した単板式のイメージエリアセンサである。撮像素子１０２は、ベイヤー配列に限らない。ＲＧＢ（赤緑青）のカラーフィルターではなく、補色フィルタを配列したイメージセンサーを用いても良い。

画像生成回路１０３は撮像素子１０２のアナログ出力信号をデジタル信号に変換して画像を生成する。生成された画像は、メモリ制御回路１０５、画像処理回路１４０へ入力される。

タイミング発生回路１０４は、撮像素子１０２、画像生成回路１０３、メモリ制御回路１０５、システム制御回路１３０および画像処理回路１４０にクロック信号および同期信号を供給する。

メモリ制御回路１０５は、画像生成回路１０３、タイミング発生回路１０４、画像表示装置１０６、メモリ１０７、記録媒体１０８および画像処理回路１４０を制御する。画像生成回路１０３からの出力データは、画像処理回路１４０およびメモリ制御回路１０５を介して、メモリ１０７および記録媒体１０８に書き込まれる。

画像表示装置１０６は、ＬＣＤや有機ＥＬディスプレイなどを用いて構成される。画像表示装置１０６は、撮像素子１０２を用いて撮像した画像データを逐次表示し、電子ビューファインダー（ＥＶＦ）機能を実現する。画像表示装置１０６は、画像再生時は、メモリ１０７および記録媒体１０８に記録された画像を表示する。また、画像表示装置１０６は、ユーザへ操作情報や撮影情報の表示などを行う。

メモリ１０７は、撮影した静止画像や動画像を格納し、かつ、システム制御回路１３０の作業領域として使用される。また、メモリ１０７は、レンズ装置１５０から通信された、光学収差補正に関するデータを保存する。メモリ１０７は、レンズ装置１５０からではなく、不図示の外部通信用インターフェースを介して、外部から光学収差補正に関するデータを取得しても良い。あるいは、メモリ１０７に、予め光学収差補正に関するデータを記憶させておいても良い。

記録媒体１０８は、撮像装置１００の内部もしくは撮像装置１００より取り外しが可能な不揮発性メモリで構成され、撮影した静止画像や動画像を格納する。

シャッター制御回路１１０は、システム制御回路１３０からの制御信号に基づいて、ミラー制御回路１１１と連携しながら、シャッター１０１の駆動を制御する。

ミラー制御回路１１１は、システム制御回路１３０からの制御信号に基づいて、主ミラー１１２の駆動を制御する。

主ミラー１１２は、レンズ装置１５０を介して入射した光束の到達先を、光学ファインダー１１４と撮像素子１０２との間で切替える。主ミラー１１２は、撮影が行われる場合には、撮像素子１０２へと光束を導くために撮像光路から待避し、それ以外の場合には、光学ファインダー１１４へと光束を導くために撮像光路内に配置される。また主ミラー１１２はその中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うための不図示の焦点検出センサーに入射するように透過してもよい。

ペンタプリズム１１３は、主ミラー１１２で反射された光束を光学ファインダー１１４へ導く。なお、撮像装置１００としてミラーレスカメラを用いた場合には、ミラー制御回路１１１、主ミラー１２３、ペンタプリズム１１３、および光学ファインダー１１４は不要である。

ＳＷ１（スイッチ１）１１５は、ユーザの操作に応じて、ＡＦ処理、ＡＥ処理、ＡＷＢ処理などの動作開始をシステム制御回路１３０へ指示する信号を発生する。

ＳＷ２（スイッチ２）１１６は、ユーザの操作に応じて、露光開始をシステム制御回路１３０へ指示する信号を発生する。露光開始の指示を受けたシステム制御回路１３０は、撮像素子１０２、メモリ制御回路１０５、シャッター制御回路１１０、ミラー制御回路１１１およびＩ／Ｆ１２０を介してレンズ装置１５０を制御して、記録媒体１０８に画像データを記録する処理を実施する。

カメラ操作部材１１７は、各種ボタンやタッチパネル、電源オンオフボタンなどから構成され、ユーザ操作により受け付けた指示をシステム制御回路１３０に出力する。カメラ操作部材１１７でのユーザ操作に従い、システム制御回路１３０は撮像装置１００に搭載された各種機能、例えばＡＦモード、ＡＥモードといった動作モードの切り替えなどを実施する。

ジャイロセンサ１１８は、撮像装置１００の姿勢情報を生成し、システム制御回路１３０に送信する。

Ｉ／Ｆ（インターフェース）１２０は、コネクタ１９０を介して、撮像装置１００内のシステム制御回路１３０とレンズ装置１５０内のレンズ制御回路１６０との間で電気信号を用いた通信を実施する。これにより、撮像装置１００は、レンズ装置１５０の情報や制御命令などを送受信する。

システム制御回路１３０は、カメラ本体の種々の制御を司るカメラ内ＣＰＵである。システム制御回路１３０は、ＳＷ１、ＳＷ２、メモリ制御回路１０５およびカメラ操作部材１１７などからの入力に従い、レンズ装置１５０および撮像装置１００からなるシステム全体を制御する。

ＡＦ制御回路１３１は、システム制御回路１３０内に搭載されており、撮像装置１００のＡＦ処理を司る。ＡＦ処理では、Ｉ／Ｆ１２０を介してレンズ装置１５０から得られるフォーカス位置や焦点距離などのレンズ情報と、ＡＦ評価値から、フォーカスレンズ駆動量を演算する。フォーカスレンズ駆動量は、レンズ通信制御回路１３３およびＩ／Ｆ１２０を介して、レンズ装置１５０に入力される。

ＡＥ制御回路１３２は、システム制御回路１３０内に搭載されており、撮像装置１００のＡＥ処理を司る。ＡＥ処理では、Ｉ／Ｆ１２０を介してレンズ装置１５０から得られる開放Ｆ値や焦点距離などのレンズ情報、ＡＥ評価値などから、露出制御量（絞り制御量、シャッター制御量、露光感度など）を演算する。絞り制御量は、レンズ通信制御回路１３３およびＩ／Ｆ１２０を介してレンズ装置１５０に入力される。シャッター制御量は、シャッター制御回路１１０に入力され、露光感度は、撮像素子１０２に入力される。

レンズ通信制御回路１３３は、システム制御回路１３０内に搭載されており、撮像装置１００とレンズ装置１５０との通信処理を司る。Ｉ／Ｆ１２０を介してレンズ装置１５０が装着されたことを検知すると、撮像装置１００とレンズ装置１５０は通信を開始する。

例えば、撮像装置１００が情報要求信号を送信すると、レンズ装置１５０は後述する図２のフローに従いレンズに関する情報を撮像装置１００に送信する。

撮像装置１００とレンズ装置１５０は、任意のタイミングで通信を行うが、任意のタイミング以外にも、タイミング発生回路１０４より出力された撮像同期信号に基づいたタイミングで通信してもよい。この、撮像同期信号通信モードでは、レンズ装置１５０は、タイミング発生回路１０４から撮像同期信号が入力されると、撮像同期信号通信モードで必要なレンズ情報（フォーカスレンズ位置、フォーカスレンズ状態、絞り状態、焦点距離など）をまとめて送信するようにしても良い。

光学補正制御回路１３４は、受信したレンズ情報に応じて、光学収差補正情報をメモリ１０７から読み出し、読み出した光学収差補正情報から光学収差の補正データを算出する。算出した光学収差の補正データを画像処理回路１４０に設定し、歪曲収差補正、倍率色収差補正、周辺光量補正、および、画像回復処理等の光学収差補正に関する制御を行う。

画像処理回路１４０は、画像生成回路１０３からの画像データあるいはメモリ制御回路１０５からの画像データに対して、画像処理を行う。画像処理後の画像データは、メモリ制御回路１０５を介して、メモリ１０７や記録媒体１０８に記憶される。

歪曲収差補正回路１４３は、光学補正制御回路１３４が算出した歪曲収差の補正データを受け取り、画像データに対して歪曲収差の補正処理を行う。倍率色収差補正回路１４４は、光学補正制御回路１３４が算出した倍率色収差の補正データを受け取り、画像データに対して倍率色収差の補正処理を行う。周辺光量補正回路１４５は、光学補正制御回路１３４が算出した周辺光量の補正データを受け取り、画像データに対して周辺光量の補正処理を行う。画像回復回路１４６は、光学補正制御回路１３４が算出した画像回復処理の補正データを受け取り、画像データに対して画像回復処理を行う。

画像処理回路１４０は、さらに所定の画素補完処理や色変換処理を行い、画像データの生成を行う。また画像処理回路１４０は、デジタル画像データを用いて所定の演算処理等を行う。

次にレンズ装置１５０内の構成について説明する。

フォーカスレンズ１５１は、光軸方向に移動して撮像光学系のピントを変化させる。ズームレンズ１５２は、光軸方向に移動して撮像光学系の焦点距離を変化させる。絞り１５３は、その開口径（絞り値）が可変であり、開口径に応じて光量を変化させる。なお、図１では撮像光学系が２枚のレンズで図示されているが、防振のためのレンズを含む３枚以上のレンズから構成されるレンズ群でもよい。撮影光学系を介して入射した光線が撮像素子１０２に導かれ、撮像素子１０２に光学像として結像する。

フォーカス制御回路１５５は、レンズ制御回路１６０もしくはレンズ操作部材１６１より制御され、フォーカスレンズ１５１を駆動させる。またフォーカスレンズ１５１の位置などのフォーカス情報をレンズ制御回路１６０へ出力する。

ズーム制御回路１５６は、レンズ制御回路１６０もしくはレンズ操作部材１６１より制御され、ズームレンズ１５２を駆動させる。また焦点距離などのズーム情報をレンズ制御回路１６０へ出力する。

絞り制御回路１５７は、レンズ制御回路１６０もしくはレンズ操作部材１６１から制御され、絞り１５３を駆動させる。また、絞り値などの絞り情報をレンズ制御回路１６０へ出力する。

レンズ情報記憶回路１５８は、レンズの光学収差に関する情報等レンズ情報を記憶している。ＴＳ情報検出回路１５９は、ＴＳ情報（ティルト量およびシフト量に関する情報）を検出し、検出した情報をレンズ制御回路１６０へ出力する。

レンズ制御回路１６０は、レンズ操作部材１６１もしくはＩ／Ｆ１７０からの入力に従い、フォーカス制御回路１５５、ズーム制御回路１５６、絞り制御回路１５７、レンズ情報記憶回路１５８などを制御する。また各制御回路や検出部などから入力された情報を、Ｉ／Ｆ１７０で受信したレンズ情報取得命令に従って、Ｉ／Ｆ１７０を介して撮像装置１００へ送信する。

レンズ操作部材１６１は、フォーカス操作リング、ズーム操作リング、ＡＦ／ＭＦスイッチ、ＩＳオンオフスイッチ、ティルトシフト操作レバーなどからなり、ユーザ操作により受け付けた指示をレンズ制御回路１６０に出力する。

レンズ制御回路１６０は、レンズ操作部材１６１より入力された指示に基づき、Ｉ／Ｆ１７０を介してユーザ操作内容を撮像装置１００へ送信する。撮像装置１００内にあるシステム制御回路１３０は、Ｉ／Ｆ１２０を介してユーザ操作内容を受信し、レンズ装置１５０に搭載された各種機能についての動作モードの切り替えを実施する。

エンコーダー１６２は、例えば磁気センサーや赤外線を用いた光学センサーなどの位置検出センサーである。エンコーダー１６２により、フォーカスレンズ１５１の位置を検出し、レンズ制御回路１６０へ出力する。

Ｉ／Ｆ１７０は、コネクタ１９０を介して、撮像装置１００内のシステム制御回路１３０とレンズ装置１５０内のレンズ制御回路１６０との間で、電気通信を用いた通信を実施することで、レンズ装置１５０の情報や制御命令などを送受信する。

ティルトシフト機構１８０は、ティルト動作の回転中心軸１８１を基準として、撮像面に対し光学系全体を傾けるティルト機構と、光学系の光軸を撮像面に対し平行に移動するシフト機構を含む。

図２は、レンズ装置１５０の光軸と、撮像装置１００の撮像素子１０２の撮像面の中心位置の関係を説明するための図である。

図２（ａ）は、ティルト動作およびシフト動作をしない状態での撮像装置１００とレンズ装置１５０の模式図であり、図２（ｂ）はシフト動作時の模式図であり、図２（ｃ）はティルト動作時の模式図である。

図２には、ティルト回転中心距離２００、光軸２０１、撮像素子１０２の撮像面の中心を通過する垂線２０２、光軸移動量２０３と２０４、および、ティルト角２０５が記載されている。ティルト回転中心距離２００は、ティルト機構の回転中心軸１８１と撮像素子１０２の撮像面までの距離である。光軸移動量２０３はティルトシフト機構１８０のシフト機構を駆動したときの光軸の移動量であり、光軸移動量２０４はティルト機構を駆動したときの光軸の移動量である。

図２（ａ）は、レンズ装置１５０の光学系がティルト動作もシフト動作もしていない状態であり、光軸２０１と垂線２０２が一致している。図２（ｂ）は、シフト機構により、光軸２０１が、光軸移動量２０３だけ撮像面の中心に対して平行移動した状態である。図２（ｃ）では、ティルト機構により、光軸２０１が、ティルト角２０５だけ撮像面に対して傾いた状態である。このときの光軸２０１と垂線２０２との距離である光軸移動量２０４は、ティルト角２０５とティルト回転中心距離２００から算出することができる。

レンズ装置１５０は、ティルト回転中心距離２００に関する情報をレンズ情報記憶回路１５８に記憶しており、レンズ制御回路１６０はこの情報を撮像装置１００へ送信する。ティルト回転中心距離２００の代わりに、関連する別の情報を用いることもできる。例えば、ティルト回転中心軸とレンズマウントまでの距離や、所定の基準距離（固定値）に対するティルト回転中心距離２００の割合を示す係数を示す情報としても良い。あるいは、メモリ１０７が予め複数のティルト回転中心距離の情報を記憶しておいて、システム制御回路１３０が、レンズ装置１５０の識別情報に応じて、対応するティルト回転中心距離を選択するようにしてもよい。

図３は、レンズ装置と撮像装置のレンズデータ通信フロー図を示す。

レンズ装置１５０は、撮像装置１００の指示によりレンズ通信を開始する。

ステップＳ３０１にて、レンズ制御回路１６０は、レンズ情報記憶回路１５８が記憶しているレンズに関する情報（例えば、ＴＳ情報の有無など）を撮像装置１００へ送信する。撮像装置１００のシステム制御回路１３０からは、機種情報をレンズ装置１５０へ送信するなどの基本情報の送受信を行う。

ステップＳ３０２にて、レンズ制御回路１６０は、撮像装置１００からの要求が光学収差情報であるかを判別し、光学収差情報要求である場合は、Ｓ３０３に進む。

ステップＳ３０３にて、レンズ制御回路１６０は、光学収差情報を撮像装置１００へ送信する。レンズ制御回路１６０は、レンズ情報記憶回路１５８に記憶された歪曲収差補正、倍率色収差補正、周辺光量補正、画像回復処理に関する光学収差情報を一括して送信する。システム制御回路１３０の要求に応じて、それぞれの光学収差情報を個別に送信するようにしても良い。

ステップＳ３０４にて、レンズ制御回路１６０は、撮像装置１００からの要求がＴＳ情報であるかを判別し、ＴＳ情報要求である場合は、Ｓ３０５へ進む。

ステップＳ３０５にて、レンズ制御回路１６０は、レンズ情報記憶回路１５８に記憶されたＴＳ情報を撮像装置１００へ送信する。

ステップＳ３０６にて、レンズ制御回路１６０は、撮像装置１００からの要求が撮影情報であるかを判別し、撮影情報要求である場合は、ステップＳ３０７へ進む。

ステップＳ３０７にて、レンズ制御回路１６０は、撮影情報を撮像装置１００へ送信する。

ステップＳ３０８にて、システム制御回路１３０から通信停止指示が出ているか判断する。レンズ制御回路１６０は、通信停止指示が出ていた場合は、通信を停止する。停止指示が無い場合は、ステップＳ３０２へ戻る。

次に、図４を用いて、光学収差の補正処理について説明する。図４は、本実施形態の光学収差の補正処理の動作フロー図である。本フローにより、撮像装置１００は、光学収差の補正処理（歪曲収差補正処理、倍率色収差補正処理、周辺光量補正処理、および、画像回復処理）を行う。

ステップＳ４０１にて、システム制御回路１３０は、レンズ装置１５０のレンズ制御回路１６０との間で通信を開始し、光学収差情報を取得し、メモリ１０７に記憶する。また、システム制御回路１３０はライブビュー表示のための動画の撮像を開始する。

ステップＳ４０２にて、システム制御回路１３０は、ユーザがＳＷ１（１１５）を操作したことを検知すると、撮影のための操作が開始されたと判定する。

ステップＳ４０３にて、システム制御回路１３０は、露出制御（ＡＥ）および、自動焦点検出制御（ＡＦ）等を行う。

ステップＳ４０４にて、システム制御回路１３０は、ユーザがＳＷ２（１１６）を操作したことを検知すると、記録用の画像の撮像を開始し、画像を取得する。システム制御回路１３０は、ＳＷ２（１１６）を操作したことが検知されなければ、ＳＷ２（１１６）を操作したことを検知するまで、ステップＳ４０３の処理を繰り返す。

ステップＳ４０５にて、システム制御回路１３０は、ステップＳ４０４で記録用の画像を撮像した際のレンズ装置１５０の撮影情報を取得する。撮影情報は、光学収差補正に必要な絞り値、焦点距離、撮影距離情報などである。

ステップＳ４０６にて、システム制御回路１３０は、ステップＳ４０４で記録用の画像を撮像した際のレンズ装置１５０のＴＳ情報を取得する。システム制御回路１３０は、ＴＳ情報の取得に成功した場合には、ティルトシフト動作が可能なレンズ装置であると判断し、その旨を画像表示装置１０６に表示して、ユーザに通知する。

ステップＳ４０７にて、システム制御回路１３０は、ステップＳ４０６で取得したＴＳ情報から、光学収差補正の補正中心位置の移動が必要かを判断し、移動が必要と判断した場合はステップＳ４０８に進む。ＴＳレンズの場合は、ティルトまたはシフト動作を行った状態、例えば、図３（ｂ）、図３（ｃ）等に示す状態では、光軸と撮像面の中心が一致しないため、光学収差補正の補正中心位置の移動が必要となる。ティルトシフト機構を備えていないレンズ装置が装着されていた場合や、光学収差補正の補正中心位置の算出に必要なＴＳ情報の取得に失敗した場合は、ステップＳ４０８を経由せずにステップＳ４０９へ進む。

ステップＳ４０８にて、システム制御回路１３０は、光学収差補正の補正中心位置を算出する。本実施形態においては、ティルト動作による補正中心位置の移動量を、シフト動作による移動量に換算する。シフト動作による補正中心位置の移動量と、換算したティルト動作による補正中心位置の移動量をそれぞれ求めて加算することにより、全体の光軸移動量を算出する。この補正中心位置の算出方法についての詳細は、後述する。

ステップＳ４０９にて、システム制御回路１３０は、画像データに対し、光学収差補正を含む画像処理を行う。光学収差補正を実行しない場合は、画像処理回路１４０は、画素補完処理や色変換処理など、光学収差補正に関係しない処理のみを実行しても良い。光学収差の補正処理についての詳細は、後述する。

ステップＳ４１０にて、システム制御回路１３０は、光学収差補正後の画像データをメモリ制御回路１０５へ出力する。メモリ制御回路１０５へ出力された画像データは、メモリ１０７や記録媒体１０８に記録される。

次に、図５を用いて、光学収差補正の補正中心位置の算出方法と光学収差補正方法の動作に関する説明を行う。ここでは、倍率色収差補正を例にあげて説明を行うが、同様の方法で、周辺光量補正、歪曲収差補正、および、画像回復処理を行うことも可能である。

図５（ａ）は、倍率色収差補正を行うための補正データの一例を示す。補正データは、像高を複数に分割した、離散的なデータで構成される。システム制御回路１３０内の光学補正制御回路１３４は、メモリ１０７から離散的なデータを読み出し、補間計算により補正データを算出する。図５において、絞りは開放絞りであって、かつ、焦点距離は最大焦点距離であるものとする。

横軸は、補正を行う画素の像高を表し、縦軸は補正量を表す。本実施形態では、補正対象である画素の像高に応じた補正データを用いて、倍率色収差補正を行う。この横軸は、光軸の中心位置を像高０割とし、補正を行う際に取り得る像高の最大値を像高１０割として表している。

曲線５０４は、後述する図５（ｃ）に示す合焦時の被写体から撮像面までの距離が矢印５１４である場合の、赤の倍率色収差の補正データである。曲線５０５は、後述する図５（ｂ）に示す合焦時の被写体から撮像面までの距離が矢印５１３である場合の、赤の倍率色収差の補正データである。曲線５０６は、図５（ｂ）に示す合焦時の被写体から撮像面までの距離が矢印５１３である場合の、青の倍率色収差の補正データである。曲線５０７は、図５（ｃ）に示す合焦時の被被写体から撮像面までの距離が矢印５１４である場合の、青の倍率色収差の補正データである。

倍率色収差とは、赤色成分、青色成分毎に画像が歪む現象である。これらの色成分の信号の重心位置を、補正データの分だけ内側または外側の画素をずらして、緑成分の信号の重心位置と一致させることにより補正を行う。倍率色収差の補正データは、撮影距離、絞り値、焦点距離に応じて用意されており、撮像条件に応じた補正データが選択される。

本実施形態では、補正データは光軸に対して点対称となる。光軸に対して点対称であれば、撮影距離、絞り値、焦点距離に応じた補正データを、座標別ではなく像高別に用意すれば良いため、補正データを記憶するために必要な容量を抑えることができる。

図５（ｂ）は、レンズがティルト動作していない状態で、被写体像が撮像面に合焦するときの光線を説明するための図である。レンズがティルト動作していない状態では、撮像面の中心位置に結像する光線と、撮像面の像高の高い位置に結像する光線において、合焦時の被写体から撮像面までの距離が、同じ矢印５１３で示される。図５（ｃ）は、レンズをティルト動作した状態で、像高の高い位置に合焦する光線を説明するための図である。シャインプルーフの法則により、レンズをティルト動作した場合は、被写体が合焦する面も傾く。従って、図５（ｃ）に示すように、像高の高い位置では、合焦時の被写体から撮像面までの距離が、矢印５１３よりも短い矢印５１４となる。これに対し画像の中心位置では、被写体が合焦する面が傾いていても撮影距離は変化しないため、合焦時の被写体から撮像面までの距離が矢印５１３となる。従って、倍率色収差の補正データは、撮影距離情報とティルト量に応じて変化させる必要がある。

図５（ｄ）〜（ｆ）は、撮像素子１０２を光軸の物体側方向から見た模式図である。線分５００は、図５（ａ）の像高０割から１０割までの横軸に相当する線分である。図５（ａ）に示すように、光軸の中心から同じ像高となる複数の画素に対して、同じ補正データが適用される。

図５（ｄ）の撮像面５１８は、ティルト動作もシフト動作もせず、光軸と撮像面の中心が一致している場合の撮像素子１０２の撮像面を示す。光軸と光学収差の補正中心位置が一致しているので、図５（ａ）の矢印５０１が示す範囲に含まれる像高の補正データのみを用いて倍率色収差補正を行う。

図５（ｅ）の撮像面５１９は、ティルト動作はせずに、シフト機構を最大まで駆動したときの撮像素子１０２の撮像面を示す。シフト機構を駆動することにより光軸が移動するため、撮像面の中心位置ではなく光軸の位置を補正中心位置として光学収差補正を行う。この場合、図５（ａ）の矢印５０１よりも長い矢印５０２が示す範囲に含まれる像高の補正データを用いて倍率色収差補正を行う。

図５（ｆ）の撮像面５２０は、シフト機構を最大まで駆動し、かつ、ティルト機構も最大まで駆動したときの撮像素子１０２の撮像面を示す。この場合、図５（ａ）の矢印５０２よりもさらに長い矢印５０３が示す範囲に含まれる像高の補正データを用いて倍率色収差補正を行う。

図５（ａ）のうち矢印５１２で示す像高の区間は、シフト動作もティルト動作もなく、補正中心位置が移動しない場合に用いられる補正データを含む。矢印５１１で示す像高の区間は、ティルト動作を行わずに、シフト動作を最大まで行った場合に用いられる補正データを含む。矢印５１０で示す像高の区間は、シフト動作に加えティルト動作を最大まで行った場合に用いられる補正データを含む。

なお、上述したようにティルト動作を行った場合には、撮像素子の位置に応じて合焦時の被写体から撮像面までの距離が変化するため、これに応じて補正データを変更する必要がある。これを、図６を用いて説明する。

図６は、図５（ａ）の一部を拡大した図である。図５（ｃ）では、ティルト動作を行うことで、撮像面のうち像高の高い位置においては、合焦時の被写体から撮像面までの距離が矢印５１３から矢印５１４に向かって変化する。そのため、ティルト動作に応じて、補正データも曲線５０５の値から曲線５０４の値へと、順に変化し、曲線６０６に示す値を取ることになる。なお、図５および図６では、説明をわかりやすくするため、シフト機構を最大まで動作させてからティルト機構を動作させる例で説明を行ったが、シフト機構を動作させずにティルト機構を動作させるようにしてもよい。シフト動作による補正中心位置の移動を、ティルト動作による補正中心位置の移動に置き換えて、それぞれの像高に対応する補正データを選択すればよい。

また、ここでは倍率色収差補正を例にあげて説明を行ったが、周辺光量補正、歪曲収差補正、および、画像回復処も像高に応じた補正データを用いて補正を行う処理であり、倍率色収差の補正方法と同様に行うことができる。図７にこれらの補正データの一例を示す。

図７（ａ）は、歪曲収差補正の補正データを示す。歪曲収差補正は、歪曲収差補正データに応じて内側または、外側に信号の重心位置を移動することにより行われる。曲線７００は、合焦時の被写体から撮像面までの距離が図５（ｂ）の矢印５１３であるときの補正データであり、曲線７０１は、合焦時の被写体から撮像面までの距離が図５（ｃ）の矢印５１４であるときの補正データである。

図７（ｂ）は、周辺光量補正の補正データを示す。周辺光量補正は、信号にゲインを掛けることで行われる。曲線７０２は、合焦時の被写体から撮像面までの距離が図５（ｂ）の矢印５１３であるときの補正データであり、曲線７０３は、合焦時の被写体から撮像面までの距離が図５（ｃ）の矢印５１４であるときの補正データである。

図７（ｃ）は、画像回復処理の補正係数のゲインを示す。画像回復処理は、補正係数に応じた複数の多タップフィルタ処理を行い、各フィルタに対して撮影条件に応じたゲインを適用することで行われる。曲線７０４は、合焦時の被写体から撮像面までの距離が図５（ｂ）の矢印５１３であるときの補正係数のゲインであり、曲線７０５は、合焦時の被写体から撮像面までの距離が図５（ｃ）の矢印５１４であるときの補正係数のゲインである。

次に、図８を用いて、補正中心位置の移動量の算出方法を説明する。

図２（ｃ）に示すように、ティルト動作によって光軸は撮像面に対して傾きを持つ。このため、光学収差補正を従来の補正方法で実施するためには、撮像面上の光軸の移動量を算出し、シフトによる光軸の移動と同様に扱えるように、撮像面に垂直な光軸の移動量に換算する。そして、移動後の光軸の位置を補正中心位置とする。

図８に示すように、ティルトシフト機構１８０は、ティルトの回転中心軸１８１を中心とし光学系全体を傾けるティルト機構と、光学系の光軸をシフトするシフト機構８１１を含む。さらに、ティルトシフト機構１８０は、ティルト方向およびシフト方向を同時に変化する全体レボルビング機構８１０と、ティルト方向およびシフト方向を別の方向へ変化させるＴＳレボルビング機構８１２を含む。

全体レボルビング機構８１０は、ティルトシフト機構１８０の光学系全体を光軸に垂直な面で回転させる。ＴＳレボルビング機構８１２は、シフト機構に対して、垂直な面でティルト機構を回転させる。

光学収差補正の補正中心位置の移動量は、シフト動作量とティルト動作量に応じた移動量をそれぞれ求め、求めた移動量を加算することで求められる。

シフト動作に応じた補正中心位置の移動量はシフト動作量から算出する。

ティルト動作に応じた補正中心位置の移動量は、図２に示す、ティルト機構の回転中心軸１８１と撮像素子１０２の撮像面までの距離であるティルト回転中心距離２００と、ティルト角２０５から算出する。ティルト回転中心距離２００を示す情報をレンズ装置１５０の機種毎に予め撮像装置１００に記憶しておいても良いし、撮像装置１００がレンズ装置１５０からこの情報を受信するようにしてもよい。また、ティルト回転中心距離２００の情報を取得できない場合は、光学収差補正を行わない動作フローとしても良い。

図８（ｂ）は、光学補正の補正中心位置を説明するための図であり、ティルト動作もシフト動作もしない状態の撮像面の中心を原点とした撮像面上の平面を、光軸の物体側から見たＸＹ平面図である。

図８（ｂ）では、全体レボルビング機構８１０を角度（全体レボルビング回転角度）８０１だけ回転し、且つ、ＴＳレボルビング機構８１２を用いて、ティルト回転機構のみを更に角度（ＴＳレボルビング回転角度）８０２だけ回転した様子を示す。矢印８０３はシフト動作による光軸の座標の移動を示し、矢印８０４はティルト動作による光軸の座標の移動を示す。光学収差補正は、撮像面の中心ではなく、光軸を中心として行われるため、移動後の光軸の座標（ｘ、ｙ）を補正中心位置とすることで、像高に応じた光学収差補正を行うことができる。

移動後の光軸の座標（ｘ、ｙ）は以下の方法で求める。矢印８０３で示すシフト動作量をＳ、ティルト角２０５をＴとする。また、全体レボルビング回転角度８０１をＲａ、ＴＳレボルビング回転角度８０２をＲｔｓ、ティルト回転中心距離２００をＣとする。これらの情報は、全て図５のステップＳ５０６でシステム制御回路１３０が取得するＴＳ情報に含まれている。πは、円周率である。

矢印８０３は、全体レボルビング回転角度８０１によりその方向がＸＹ平面内で変化するため、シフト動作量に応じた光軸の移動後の座標を、Ｘ軸方向とＹ軸方向へ分解して算出する必要がある。シフト動作量に応じた光軸のＸ軸方向の移動量をｘｓ、Ｙ軸方向の移動量をｙｓとすると、次式で求めることができる。
ｘｓ＝Ｓ×ｃｏｓ（（９０−Ｒａ）／３６０×２π） ・・・ （１）
ｙｓ＝Ｓ×ｓｉｎ（（９０−Ｒａ）／３６０×２π） ・・・ （２）

ティルト動作による光軸の移動量ｒｔは、次式で求めることができる。
ｒｔ＝ｔａｎ（Ｔ／３６０×２π）×Ｃ ・・・（３）

この移動量ｒｔを、全体レボルビング回転角度８０１とＴＳレボルビング回転角度８０２に基づいて、Ｘ軸方向とＹ軸方向へ分解して算出する必要がある。ティルト動作量に応じた光軸のＸ軸方向の移動量をｘｔ、Ｙ軸方向の移動量をｙｔとすると、次式で求めることができる。
ｘｔ＝ｒｔ×ｃｏｓ（（９０−（Ｒａ＋Ｒｔｓ））／３６０×２π）・・・（４）
ｙｔ＝ｒｔ×ｓｉｎ（（９０−（Ｒａ＋Ｒｔｓ））／３６０×２π）・・・（５）

最終的な補正中心位置の移動量は、シフト動作による移動量とティルト動作による移動量の和となるため、補正中心位置のＸ軸方向の移動量をｘａ、Ｙ軸方向の移動量をｙａとすると、次式で求めることができる。
ｘａ＝ｘｓ＋ｘｔ ・・・（６）
ｙａ＝ｙｓ＋ｙｔ ・・・（７）

この（ｘａ、ｙａ）をＸＹ平面上の座標に変換することで補正中心位置（ｘ、ｙ）を得ることができる。この補正中心位置は、像高の算出に用いるための数値であるため、必ずしも撮像素子１０２の撮像面上にある必要はなく、場合によっては撮像面より外側に位置していてもよい。

ここで、補正データを用意しておくべき像高は、補正中心位置の移動量の最大値に基づいて決定することが望ましい。レンズ装置１５０のシフト動作量の最大値ＳｍａｘとしてＳに代入し、ティルト角の最大値ＴｍａｘをＴに代入し、式（１）〜（７）を用いて補正中心位置の移動量の最大値を算出すればよい。全体レボルビング回転とＴＳレボルビング回転は任意の方向で良い。すなわち、補正中心位置の移動量の最大値ｒｍａｘは次式で求められる。
ｒｍａｘ＝Ｓｍａｘ＋ｔａｎ（Ｔｍａｘ／３６０×２π）×Ｃ ・・・（８）

このように、光学収差補正データは、シフト動作量の最大値Ｓｍａｘ、ティルト角の最大値Ｔｍａｘ、および、ティルト回転中心距離Ｃに応じた像高分の補正データを持つ必要がある。但し、−９０°＜Ｔｍａｘ＜＋９０°である。

光軸の最大移動量は、レンズ装置１５０の機種により異なり、撮像素子１０２の撮像面の大きさは、撮像装置１００の機種毎に異なる。よって、これらの組み合わせに応じて、必要とされる補正データの範囲は異なる。

なお、本実施形態では、説明を容易にするために、ティルト動作もシフト動作も行わないときは、光軸２０１が撮像面の中心を通過するものとして説明したが、これに限られるものではない。光軸２０１が撮像面の中心を通過しない場合は、予め撮像面の中心と光軸の位置をオフセットしておけばよい。

以上説明したように、本実施形態によれば、ティルト動作による光学収差特性の変化を、シフト動作による光学収差特性の変化と同様に、補正中心位置が移動したものとみなして処理している。そのため、シフト動作とは別に、ティルト動作に対応するための補正データを用意する必要が無い。そのため、補正データを大幅に増やすことなく、シフト量だけでなくティルト量にも対応した適切な光学特性の補正を行うことが可能となる。

なお、本実施形態では、レンズ装置１５０を装着した撮像装置１００の内部で光学収差補正を行う構成を例にあげて説明を行ったが、これに限られるものではない。撮像装置やネットワークから、ティルトシフト機構を備えたレンズ装置を用いて撮像された画像データを受け取り、この画像データに対して光学収差補正を行うＰＣやタブレット端末などの外部の画像処理装置においても、本発明を適用することが可能である。この際、ＴＳ情報に含まれる情報を画像データに付随するタグデータに記載しておけば、画像処理装置とレンズ装置との間で直接通信をせずとも、補正中心位置の移動量の算出に必要な情報を得ることができるようになる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１００ 撮像装置
１０２ 撮像素子
１３０ システム制御回路
１５０ レンズ装置
１６０ レンズ制御回路
１６１ レンズ操作部材
１８０ ティルトシフト機構

Claims (8)

1. 撮像装置が有する撮像素子の撮像面に対してレンズを傾けるティルト機構を備えたレンズ装置を用いて撮像された画像データに対して、前記レンズ装置の光学特性に応じた補正を行う補正手段を有し、
   前記補正手段は、補正中心位置を基準とした像高に対応する値を備えた補正データに基づいて、前記光学特性に応じた補正を行うものであって、前記ティルト機構のレンズを傾けるための回転中心から前記撮像面までの距離、および、前記ティルト機構が前記レンズを傾けた角度を示す情報に基づいて、前記画像データにおける前記補正中心位置を変更することを特徴とする画像処理装置。
2. 前記補正手段は、前記ティルト機構のレンズを傾けるための回転中心から前記撮像面までの距離、および、前記ティルト機構が前記レンズを傾けた角度を示す情報を、通信によって前記レンズ装置から取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記ティルト機構のレンズを傾けるための回転中心から前記撮像面までの距離、および、前記ティルト機構が前記レンズを傾けた角度を示す情報の取得に成功した場合に、ユーザに通知を行う通知手段を有することを特徴とする請求項２に記載の画像処理装置。
4. 前記補正手段は、前記画像データのタグデータから、前記ティルト機構のレンズを傾けるための回転中心から前記撮像面までの距離、および、前記ティルト機構が前記レンズを傾けた角度を示す情報を取得することを特徴とする請求項１に記載の画像処理装置。
5. 前記補正手段は、前記レンズ装置がさらに前記レンズを前記撮像面に対して平行移動するシフト機構を備えていれば、前記ティルト機構のレンズを傾けるための回転中心から前記撮像面までの距離、前記ティルト機構が前記レンズを傾けた角度、および、前記シフト機構が前記レンズを平行移動した量を示す情報に基づいて、前記画像データにおける前記補正中心位置を変更することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 画像データを生成する撮像素子と、
   前記撮像素子の撮像面に対してレンズを傾けるティルト機構を備えたレンズ装置を装着するマウント部と、
   前記レンズ装置を用いて撮像を行うことで前記撮像素子によって生成された画像データに対して、前記レンズ装置の光学特性に応じた補正を行う補正手段を有し、
   前記補正手段は、補正中心位置を基準とした像高に対応する値を備えた補正データに基づいて、前記光学特性に応じた補正を行うものであって、前記ティルト機構のレンズを傾けるための回転中心から前記撮像面までの距離、および、前記ティルト機構が前記レンズを傾けた角度を示す情報に基づいて、前記画像データにおける前記補正中心位置を変更することを特徴とする撮像装置。
7. 撮像装置が有する撮像素子の撮像面に対してレンズを傾けるティルト機構を備えたレンズ装置を用いて撮像された画像データに対して、前記レンズ装置の光学特性に応じた補正を行う画像処理方法において、
   前記ティルト機構のレンズを傾けるための回転中心から前記撮像面までの距離、および、前記ティルト機構が前記レンズを傾けた角度を示す情報に基づいて、前記画像データにおける補正中心位置を変更する工程と、
   前記画像データに対して、前記補正中心位置を基準とした像高に対応する値を備えた補正データに基づいて、前記レンズ装置の光学特性に応じた補正処理を行う工程と、
   を有することを特徴とする画像処理方法。
8. 撮像装置が有する撮像素子の撮像面に対してレンズを傾けるティルト機構を備えたレンズ装置を用いて撮像された画像データに対して、補正処理を行う画像処理装置のコンピュータに実行させるプログラムであって、
   前記ティルト機構のレンズを傾けるための回転中心から前記撮像面までの距離、および、前記ティルト機構が前記レンズを傾けた角度を示す情報に基づいて、前記画像データにおける補正中心位置を変更するステップと、
   前記画像データに対して、前記補正中心位置を基準とした像高に対応する値を備えた補正データに基づいて、前記レンズ装置の光学特性に応じた補正処理を行うステップと、
   を有することを特徴とするプログラム。

Images