JP6061503B2 - 画像処理方法、画像処理装置および撮像装置 - Google Patents

Description

本発明は、画像回復フィルタ等の画像変換フィルタを用いて画像処理を行う画像処理技術に関する。

デジタルカメラやビデオカメラ等の撮像装置は、撮影光学系を通して撮像を行うことにより撮影画像を生成する。撮影光学系には、その光軸に直交する方向にシフトして像振れを低減する防振素子（レンズまたは撮像素子）や、焦点距離等を変化させるために用いられる、以下に説明するような液体レンズが用いられる場合がある。

図９には、液体レンズの断面を示している。液体レンズは、互いに混ざり合わない状態で接触して界面Ｓを形成するように容器に封入された導電性液体と絶縁性液体とにより構成される。導電性液体に電圧を印加して、エレクトロウェッティング現象により導電性液体と絶縁性液体との界面Ｓの形状を変化させることにより、液体レンズの焦点位置を制御することができる。

上記のような液体レンズは、その光軸が垂直方向を向いている状態では界面Ｓの形状が安定し、収差の発生も少ない。ただし、該光軸の向き垂直方向でなくなると（水平方向に向けると）、導電性液体と絶縁性液体に対する重力の影響によって、それらの界面Ｓが点線Ｓ′で示すように光軸に対して非対称に変形する。そして、この界面Ｓの変形によってコマ収差が発生し、撮影画像が劣化する。しかも、撮像装置が正姿勢（横姿勢）であるときと横倒し姿勢（縦姿勢）であるときとで界面Ｓ（Ｓ′）の形状が変化するため、撮影画像の劣化（コマ収差）の方向も姿勢によって変化する。

特許文献１には、導電性液体と絶縁性液体の比重の差を小さくすることで、重力の影響による界面の形状の変化を抑えるようにした液体レンズが開示されている。また、特許文献２では、重力の影響を受けて導電性液体と絶縁性液体との界面が光軸に対して非対称に歪むことで生じたコマ収差を、補正光学系を用いて打ち消すようにした光学装置が開示されている。

さらに、先に説明した防振素子に関しても、撮像装置が横姿勢であるときと縦姿勢であるときとで防振素子に作用する重力の方向が変化するために、その影響によって画質の劣化が生じる可能性がある。特許文献３には、重力方向を検出して防振レンズの駆動電力を変化させることにより、姿勢による防振レンズの駆動特性（つまりは画質）の変化を抑えるようにした防振装置が開示されている。また、特許文献４には、撮像装置の姿勢を検出した結果に応じて防振レンズをレンズ鏡筒内で回転させる（チルトさせる）レンズ装置が開示されている。

特開２００６−６５０４２号公報 特開２００９−３０５３号公報 特開平１１−４４９００号公報 特開２０１０−０２６１７２号公報

上記各特許文献にて開示された技術では、重力の影響をある程度は低減することはできる。しかしながら、液体レンズに用いることができる液体材料の選択範囲が制限されたり（特許文献１）、光学的、電気的または機械的に姿勢の変化に伴う画質の劣化を十分に抑えることが難しかったり（特許文献２〜４）する。

本発明は、撮像装置の姿勢の変化に伴う画質の劣化を良好に補正できるようにした画像処理方法および画像処理装置を提供する。

本発明の一側面としての画像処理方法は、撮像装置が光学系を通して撮像を行うことにより生成した画像を入力画像として取得する画像取得ステップと、該撮像を行ったときの撮像装置の姿勢を示す情報を取得する姿勢取得ステップと、該情報が示す姿勢に応じて画像変換フィルタを作成または選択するフィルタ取得ステップと、画像変換フィルタを用いて入力画像に対するフィルタリング処理を行う処理ステップとを有し、該画像変換フィルタは、光学系の光学伝達関数を用いて生成された画像回復フィルタであり、フィルタ取得ステップにおいて取得される画像回復フィルタは、該情報が示す姿勢に応じて回復ゲインが異なることを特徴とする。

また、本発明の他の一側面としての画像処理装置は、撮像装置が光学系を通して撮像を行うことにより生成した画像を入力画像として取得する画像取得部と、該撮像を行ったときの撮像装置の姿勢を示す情報を取得する姿勢取得部と、該情報が示す姿勢に応じて画像変換フィルタを作成または選択するフィルタ取得部と、画像変換フィルタを用いて入力画像に対するフィルタリング処理を行う処理部とを有し、該画像変換フィルタは、光学系の光学伝達関数を用いて生成された画像回復フィルタであり、フィルタ取得部によって取得される画像回復フィルタは、該情報が示す姿勢に応じて回復ゲインが異なることを特徴とする。

なお、上記画像処理方法をコンピュータに実行させる画像処理プログラムおよび上記画像処理装置を備えた撮像装置も、本発明の他の一側面を構成する。

本発明によれば、撮像装置の姿勢にかかわらず良好な画質の画像を得ることができる。

本発明の実施例である画像処理方法を説明する図。 姿勢による画像劣化の変化を説明する図。 本発明の実施例１である画像処理方法を説明する図。 実施例１におけるフィルタ変換部を説明する図。 本発明の実施例２である画像処理方法を説明する図。 実施例２におけるフィルタ変換部を説明する図。 本発明の実施例３である画像処理方法を説明する図。 実施例３におけるフィルタ変換部を説明する図。 従来の液体レンズを説明する図。 姿勢センサの構成を示す図。 姿勢センサを用いた姿勢検出方法を説明する図。 姿勢センサの配置を説明する図。 実施例の画像処理方法にて用いられる画像回復フィルタを説明する図。 実施例の画像処理方法にて行われる回復画像処理を説明する図。 実施例における画像回復フィルタの選択について説明する図。 実施例における撮像装置の横姿勢を説明する図。 実施例の画像処理方法における回転変換を説明する図。 実施例の画像処理方法に流れを示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

図１は、本発明の代表的な実施例としての画像処理方法の概要を示している。図１において、１０は撮像装置であり、２０は画像処理装置である。撮像装置１０は、液体レンズ１１を含む撮影光学系と、該撮影光学系により形成された被写体像を光電変換するＣＣＤセンサやＣＭＯＳセンサ等の撮像素子１２とを有する。

液体を用いて光学特性を変化させる液体光学素子としての液体レンズ１１は、先に図９を用いて説明したように、容器に封入した導電性液体と絶縁性液体とを互いに混ざり合わない状態で接触させて界面Ｓを形成させたものである。導電性液体に印加する電圧を制御して、エレクトロウェッティング現象による界面Ｓの形状の変化を制御することで、液体レンズ１１の焦点位置、つまりは撮影光学系の焦点距離を制御することができる。

撮像装置１０は、撮像素子１２によって被写体像を光電変換し、該撮像素子１２からの出力信号に対して不図示の画像生成部にて各種処理を行うことにより、つまりは撮像を行うことにより撮影画像を生成する。撮影画像は、画像処理装置２０に、入力画像として送られる。撮像素子１２およびその出力から撮影画像を生成する画像生成部により撮像部が構成される。

また、撮像装置１０は、その姿勢を検出するための姿勢センサ（姿勢検出手段）１３を有しており、該姿勢センサ１３により検出された姿勢を示す情報（以下、姿勢情報という）は、画像処理装置２０に送られる。

撮像装置１０にて撮像が行われるときの姿勢（例えば、正姿勢か横倒し姿勢か）によって、液体レンズ１１における導電性液体と絶縁性液体との界面の形状が変化する（詳しくは後述する）。

画像処理装置２０は、フィルタ変換部２１とフィルタリング処理部２２とを有する。フィルタ変換部２１は、撮像装置１０から送られてきた姿勢情報に応じて、予め記憶領域３２に格納（記憶）された又は作成された基準フィルタ（詳しくは後述する）を変換することにより画像変換フィルタを作成する。フィルタ変換部２１は、フィルタ取得部および姿勢取得部に相当する。

フィルタリング処理部２２は、撮像装置１０から送られてきた撮影画像（入力画像）を取得する。そして、該撮影画像に対して、フィルタ変換部２１により作成された画像変換フィルタを用いてフィルタリング処理を行い、出力画像３１を生成する。ここでのフィルタリング処理は、撮像装置１０の姿勢の変化に伴って液体レンズ１１の界面の形状が変化することにより生じる画質の劣化を補正する処理である。言い換えれば、画像変換フィルタは、そのような画質の劣化を補正するために入力画像に対して適用されるフィルタである。フィルタリング処理部２２は、画像取得部および処理部に相当する。

撮像装置１０の姿勢の変化に伴う液体レンズ１１での界面の形状の変化およびそれによる収差の変化（つまりは画質の劣化の変化）について説明する。図９にて説明したように、液体レンズ１１の光軸を水平方向に向けることで導電性液体と絶縁性液体との界面Ｓが、重力の影響によってＳ′のように光軸に対して非対称に変形する。この結果、図２（ａ）に示すように、光軸上においても光軸に対して非対称なコマ収差が発生する。

そして、界面の形状は重力の影響で歪んでいるため、撮像装置の姿勢が変化すると、界面の形状が歪む方向も変化する。図２（ａ）は、図１６に示すように、ユーザＵが撮像装置１０を横姿勢（４：３や１６：９等の横長の画像の長辺が水平方向に延びる姿勢であり、正姿勢ともいう）として撮像を行うことで生成された撮影画像を示している。一方、図２（ｂ）は、撮像装置を縦姿勢（上記横長の画像の長辺が垂直方向に延びる姿勢であり、横倒し姿勢ともいう）として撮像を行うことで生成された撮影画像を示している。図２（ａ）では撮影画像の短辺に平行な方向に主としてコマ収差が発生しているのに対して、図２（ｂ）では撮影画像の長辺に平行な方向に主としてコマ収差が発生している。

このように、撮像装置１０の姿勢と撮影画像における非対称収差（劣化）の発生する方向および量との間には密接な関係がある。このため、撮像時の撮像装置１０の姿勢を検出することで、撮影画像の劣化の方向とその量を把握することができ、該劣化を打ち消すことができる画像変換フィルタを作成することが可能となる。

ここでは、液体レンズについて説明したが、液体レンズ以外でも撮像装置の姿勢の変化に伴って撮影画像に劣化が発生する場合がある。

例えば、撮影光学系に含まれる液体レンズ以外のレンズや撮像素子１２が撮影光学系の光軸に対して直交する方向にシフトして、撮像装置１０の振れに起因する像振れを低減する防振素子として用いられる場合である。一般的な防振素子のシフト駆動機構は、防振素子とこれをシフト可能に保持する保持部材のうち一方にコイルを取り付け、他方にマグネットを取り付ける。そして、コイルに通電してコイルとマグネット間に発生させた電磁力（推力）により、防振素子がシフト駆動される。

このようなシフト駆動機構では、撮像装置に振れがない状態では、コイルへの通電量を制御したりバネ力を用いたりして、防振素子をその中心が撮影光学系の光軸上に位置する状態に保持すべきである。しかし、撮像装置が横姿勢か縦姿勢かによって防振素子に作用する重力の方向が変化するため、例えば縦姿勢において横姿勢のときとコイル通電量やバネ力が同じであると、防振素子の中心が光軸に対してずれる（つまり偏心する）。そして、このような防振素子の偏心により撮影画像に光軸に対して非対称な劣化が生じた場合も、液体レンズの場合と同様に該劣化を補正することができる。また、防振素子に限らず鏡筒のガタ等により、姿勢に応じてレンズの偏心状態が変化することで非対称な劣化が生じた場合にも、該劣化を補正することができる。

次に、本実施例における撮像装置の姿勢検出方法について説明する。本実施例で用いる姿勢検出方法は、基本的にどのような方法であってもよい。従来用いられている姿勢検出方法の１つとして、水銀を容器に入れ、容器の端部に電極を設けて、撮像装置の姿勢によって移動する水銀と電極との接触／非接触による導通／不導通により姿勢を検出する方法がある。また、水銀の代わりに導通性のボールを用い、電極に対する導通性ボールの接触による導通／不導通により姿勢を検出する方法もある。さらに別の方法として図１０に示すような姿勢センサを用いる方法もある。

樹脂で成形されたセンサ本体１０１には、図１０（ａ）に示す正面視にてＶ字形状を有する溝部１０２が形成されている。溝部１０２の頂角は、約９０°である。溝部１０２の中には鋼球１０３が配置されており、鋼球１０３は溝部１０２の中を自由に転動できる。また、溝部１０２は、図１０（ｂ）に示す側面視（断面）において、鋼球１０３の直径よりもわずかに広い均一な幅で形成されている。さらに、Ｖ字形状の溝部１０２の頂点近傍には、投光素子であるＬＥＤ１０４の投光窓と受光素子であるフォトセンサ１０５の受光窓とが、溝部１０２を挟んで互いに対向するように形成されている。センサ本体１０１の上部には、蓋１０６が接着されており、溝部１０２内に鋼球１０３を封入している。以下の説明において、姿勢センサ（センサ本体１０１）のうち、図１０（ａ）における下側の面をＡ面といい、右側の面をＢ面という。

このように構成された姿勢センサの動作について、図１１を用いて説明する。図１１（ａ）は、姿勢センサのＢ面が下になった状態を示しており、図１１（ｂ）は姿勢センサのＡ面が下になった状態を示している。

姿勢センサが図１１（ａ）に示す状態にあるとき、鋼球１０３は重力によって溝部１０２の頂点近傍から外れた位置に移動し、ＬＥＤ１０４の投光窓とフォトセンサ１０５の受光窓との間の光路を遮らない。したがって、フォトセンサ１０５からの出力信号は明（Ｈｉｇｈ）となる。一方、姿勢センサが図１１（ｂ）に示す状態にあるとき、鋼球１０３は、重力によって溝部１０２の頂点の内側に位置し、ＬＥＤ１０４の投光窓とフォトセンサ１０５の受光窓との間の光路を遮る。したがって、フォトセンサ１０５からの出力信号は暗（Ｌｏｗ）となる。

そして、撮像装置１０には、例えば、図１２に示すように４つの姿勢センサ１３Ａ〜１３Ｄがそれぞれ向きが異なるように配置される。以下、図１２に示す撮像装置１０を正面から見たときの向きで説明すると、姿勢センサ１３Ａは、Ａ面が左側に、Ｂ面が下側に位置するように配置され、撮像装置１０が左側面を下にした縦姿勢とされたときにフォトセンサ１０５は暗信号を出力する。また、姿勢センサ１３Ｂは、Ａ面が右側に、Ｂ面が下側に位置するように配置され、撮像装置１０が右側面を下にした縦姿勢とされたときにフォトセンサ１０５は暗信号を出力する。また、姿勢センサ１３Ｃは、Ａ面が下側に、Ｂ面が前側に位置するように配置され、撮像装置が下面を下にした横姿勢とされたときにフォトセンサ１０５は暗信号を出力する。さらに、姿勢センサ１３Ｄは、Ａ面が前側に、Ｂ面が右側に位置するように配置され、撮像装置が前面を斜め下または真下に向けた下向き姿勢とされたときにフォトセンサ１０５は暗信号を出力する。

４つの姿勢センサ１３Ａ〜１３Ｄのフォトセンサ１０５から出力された明信号および暗信号またはこれらの組み合わせを姿勢情報として使用してもよいし、これら明信号および暗信号の一部を抽出して姿勢情報を生成してもよい。姿勢情報は、撮像装置の姿勢を特定できる情報であれば、どのようなものであってもよい。

次に、基準フィルタについて説明する。基準フィルタは、撮像装置が基準姿勢（本実施例では横姿勢）にある状態で撮像を行い生成した撮影画像に含まれる、基準姿勢にて撮影光学系が有する収差により生じた劣化を補正するための基準となる画像変換フィルタである。また、基準フィルタには、フィルタの形式ではないが、フィルタを生成するためのパラメータや係数等の情報（以下、基準フィルタ情報という）も含む。また、撮像装置の姿勢を考慮しない撮影光学系の設計値をフィルタ化したものを基準フィルタとすることもできる。

ここで、基準フィルタを含む画像変換フィルタは、複数のタップ（セル）を有する２次元フィルタであり、エッジ強調フィルタや平滑化フィルタ等の種々のフィルタを使用することができる。また、いわゆる画像回復処理に用いられる画像回復フィルタを画像変換フィルタとして使用することもできる。

画像回復フィルタを使用する場合には、撮影光学系の光学伝達関数を基準フィルタ情報として保存することも可能である。

画像回復フィルタを用いる画像回復処理について説明する。撮影光学系の収差により劣化した（ただし、撮像素子１２および画像生成部での電気的な劣化を含めてもよい）入力画像としての劣化画像をｇ（ｘ，ｙ）とする。また、劣化していない元の画像をｆ（ｘ，ｙ）とする。さらに、撮影光学系の光学伝達関数（ＯＴＦ）のフーリエペアである点像分布関数（ＰＳＦ）を、ｈ（ｘ，ｙ）とする。このとき、以下の式（１）が成り立つ。＊は畳み込み積分（コンボリューション）を示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） …（１）
式（１）をフーリエ変換して周波数面での表示形式に変換すると、以下の式（２）のように周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）ｈをフーリエ変換したものであり、光学伝達関数（ＯＴＦ）を示す。また、Ｇ，Ｆはそれぞれ、ｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） …（２）
撮像により得られた劣化画像から元の画像を得るためには、以下のように、式（２）の両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） …（３）
そして、Ｆ（ｕ，ｖ）であるＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）としての回復画像が得られる。

ここで、１／Ｈを逆フーリエ変換したものをＲとすると、以下の式（４）のように、実面での劣化画像ｇにＲをコンボリューションすることで、同様に元の画像ｆを得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） …（４）
このＲ（ｘ，ｙ）を画像回復フィルタという。入力画像が２次元画像であるとき、一般に画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に、画像回復フィルタのタップ数（セル数）が多いほど、回復精度が向上するため、要求画質、画像処理能力および収差の特性等に応じて実現可能なタップ数が設定される。

このような画像回復フィルタを使用すると、光学伝達関数の位相成分が補正されるため、回復画像の非対称な収差成分を対称に補正することができる。つまり、図２に示したコマ収差に関しても、非対称な点像が対称な点像に回復される。このため、液体レンズの導電性液体と絶縁性液体との界面の歪みや防振素子の偏心による光軸に対して非対称な画像劣化を良好に補正（または除去）することができる。

図１３（ａ）には、画像回復フィルタの例として、１１×１１タップを有する２次元フィルタを示している。該フィルタの各タップが入力画像における各画素に対応する。図１３（ｂ）は画像回復フィルタのある断面を示しており、折れ線は該断面での各タップの係数値の分布を示している。この画像回復フィルタが、式（４）で示した画像回復処理にて入力画像（劣化画像）ｇに対してコンボリューションされる。

一般に、コンボリューションでは、ある画素の信号値を改善するために、その画素と画像回復フィルタの中心タップとを一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに画素の信号値と画像回復フィルタのタップが持つ値（係数値）との積をとり、該積の総和を中心画素の信号値として置き換える。画像回復フィルタの各タップの係数値の分布は、収差によって空間的に広がった画像の信号値を、理想的には元の１点に戻す役割を果たす。

このような画像回復フィルタは、撮影光学系の光学伝達関数（ＯＴＦ）を計算または計測し、該光学伝達関数の逆関数に基づいた関数を逆フーリエ変換して得ることができる。実空間での画像回復フィルタを、入力画像としての劣化画像に対してコンボリューションすることで、回復画像としての元の劣化していない画像を得ることができる。

なお、実際の入力画像にはノイズ成分が含まれるため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像が回復されるだけでなくノイズ成分が増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して撮影光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。撮影光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合いに応じてノイズが増幅される。このＭＴＦを持ち上げる度合いを、回復ゲインという。したがって、ノイズがある場合には画像回復処理では鑑賞用画像として良好な画像は得られない。

これを式で示すと以下の式（５），（６）のように表せる。式（６）は、式（５）の両辺をＨで除算したものである。Ｎはノイズ成分を表している。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） …（５）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） …（６）
この点については、例えば、図１４に示すような画像信号とノイズ信号との強度比（ＳＮＲ）に応じて回復度合いを制御する方法が知られている。この方法に使用される代表的な画像回復フィルタには、ウィナー（Wiener）フィルタがある。ウィナーフィルタは、周波数ごとに、光学伝達関数（ＯＴＦ）の絶対値であるＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、撮影光学系のＭＴＦは、図１４のグラフ（ａ）に示すように高周波側が低くなるため、ウィナーフィルタは、図１４のグラフ（ｂ）に示すように、実質的に画像の高周波側の回復度合いを抑制する。

なお、画像回復フィルタは、撮像時における撮影光学系の焦点距離や絞り値、さらに撮影距離（被写体距離）等の撮像状態に応じて最適なものを使用する必要がある。ただし、図１に示した記憶領域３２に多数の撮像状態の組み合わせのそれぞれに対応する画像回復フィルタを多数格納しておくのは、記憶領域３２に必要な記憶容量が増大し、好ましくない。

そこで、例えば図１５に示すように、焦点距離、絞り値および撮影距離の３つの撮像状態を軸とした撮像状態空間にて離散的に選択した代表的な撮像状態に対応する画像回復フィルタ（以下、代表フィルタという）のみを記憶領域３２に格納しておく。図１５中の黒丸が、記憶領域３２に離散的に格納された代表フィルタに対応する代表撮像状態を示す。また、実際の撮像状態を大きな白丸で示す。実際の撮像状態が代表撮像状態と一致する場合には、該代表撮像状態に対応する代表フィルタを、基準フィルタとして選択する。実際の撮像状態が代表撮像状態と一致しない場合には、実際の撮像状態に近い１又は複数の代表撮像状態（図中に小さい白丸で示す）に対応する代表フィルタを用いた補間演算によって、基準フィルタを作成する。補間演算においては、撮像状態空間中で実際の撮像状態が代表撮像状態に対してどの方向にあるかによって重み付けをしてもよい。

さらに、記憶領域３２に、図１５に示したような代表フィルタではなく、代表撮像状態ごとの光学伝達関数に関する係数を記憶しておき、実際の撮像状態に対応する基準フィルタを、該係数を用いた演算によって作成することも可能である。

以上説明した画像回復フィルタの作成方法は例にすぎず、２次元フィルタとしての画像回復フィルタが作成できれば、その方法はどのようなものであってもよい。また、撮像状態の種類（撮像状態軸）の数は、２つでもよいし、４つ以上でもよい。

次に、画像処理装置２０について詳しく説明する。前述したように、画像処理装置２０では、フィルタ変換部２１が基準フィルタから画像変換フィルタ（例えば、画像回復フィルタ）を作成し、該画像変換フィルタを用いて撮影画像に対してフィルタリング処理を行うことで出力画像３１を生成する。

フィルタ変換部２１では、基準フィルタから、姿勢情報に応じた画像変換フィルタを作成する。図２（ａ）に示すように画像の短辺方向に非対称なコマ収差による画像の劣化を補正するためには、該短辺方向に非対称な画像変換フィルタを使用することが好ましい。この画像変換フィルタを基準フィルタとする。例えば、基準フィルタとして、タップの係数値が画像の短辺方向にて非対称な画像回復フィルタを使用することで、非対称なコマ収差による劣化を補正することができる。

一方、図２（ｂ）に示すように、コマ収差による劣化が短辺方向では対称である画像に対して、短辺方向に非対称な基準フィルタを使用すると、コマ収差による劣化が補正されないばかりか、そのコマ収差による劣化とは異なる劣化が生じた画像が出力されてしまう。これは、補正のために想定している光学特性（つまりはコマ収差）と、実際の撮像時の光学特性とが異なることに起因する。

図２（ｂ）に示した光軸上の画角に対する結像特性は、図２（ａ）に示した結像特性を９０度回転したものとほぼ一致する。このため、前述したように、光学伝達関数の逆関数に基づいた関数を逆フーリエ変換しなくても、基準フィルタを９０度回転させる変換処理を行うことにより、簡単に図２（ｂ）の画像に対して適切な画像変換フィルタを作成することができる。

なお、図２（ａ）や図２（ｂ）に示した画像は、光軸近傍のスポット像を示している。撮影光学系が偏心している場合には、光軸中心から等距離にある撮影画像の周辺部においても、スポット像が光軸に対して回転対称にならなくなる。このため、撮影画像の周辺部に対して使用される画像変換フィルタにおいても変換処理を施す必要がある。例えば、撮影画像の周辺部で使用される画像変換フィルタは、図１７に示すように、撮像装置の実際の姿勢の基準姿勢に対する差に応じて、基準フィルタを光軸回りで回転させることで作成できる。

具体的には、図１７（ｂ）に示すように、基準姿勢（横姿勢）からの実際の姿勢の回転角をθとする。このとき、回転後の画素Ｂに適用する画像変換フィルタは、図１７（ａ）に示すように、画素Ｂから光軸回りで−θだけ回転した画素に相当する画素Ａに対する基準フィルタの中身（２次元のタップ）をθだけ回転させることにより作成できる。

なお、ここで説明した画像変換フィルタの作成方法は例にすぎず、姿勢に応じた画像変換フィルタが得られれば、どのような作成方法を用いてもよい。

例えば、横姿勢用と縦姿勢用の画像変換フィルタ（基準フィルタ）をそれぞれ記憶領域３２に格納しておき、横姿勢を検出した場合は横姿勢用画像変換フィルタを選択して使用し、縦姿勢を検出した場合は縦姿勢用画像変換フィルタを選択して使用してもよい。また、撮像装置の姿勢は、横姿勢と縦姿勢という光軸回りでの回転姿勢に限らず、光軸が上下方向に傾く上向きおよび下向き姿勢（図１２中の姿勢センサ１３Ｃ，１３Ｄで検出可）を加えて、それらの姿勢に応じた画像変換フィルタを作成または選択してもよい。さらに、時間軸を含めたより多次元の姿勢情報を取得し、それに応じた画像変換フィルタを作成または選択してもよい。

また、画像回復フィルタやエッジ強調フィルタのように画像の鮮鋭化の強さを任意に設定できるフィルタを画像変換フィルタとして用いる場合は、その鮮鋭化の強さを姿勢情報に基づいて変化させることによって、画像の劣化を補正することも可能である。

さらに、画像回復フィルタを画像変換フィルタとして用いる場合は、基準姿勢での光学伝達関数と回復ゲインといったフィルタパラメータを基準フィルタ情報として記憶領域３２に保存しておいてもよい。そして、フィルタ変換部２１で、姿勢に応じてフィルタパラメータを変換することで、基準フィルタ情報から画像変換フィルタを作成するようにしてもよい。

フィルタリング処理部２２は、フィルタ変換部２１にて作成または選択された画像変換フィルタの撮影画像（入力画像）に対する２次元コンボリューションを行う。

姿勢に応じたフィルタリング処理が行われた出力画像３１には、Ｒａｗ画像に対するデモザイキング処理、ノイズリダクション処理、ホワイトバランス調整等、姿勢によって処理方法を変化させる必要のない信号処理としての撮像信号処理が行われる。ただし、この撮像信号処理を、必要に応じて、姿勢に応じたフィルタリング処理の前に行ってもよい。

図１８には、上記画像処理装置２０で行われる処理の流れの概要を示している。画像処理装置２０は、ＣＰＵ等のコンピュータにより構成され、コンピュータプログラムである画像処理プログラムに従って該処理を実行する。

ステップＳ２０１（画像準備ステップおよび姿勢取得ステップ）では、画像処理装置２０は、撮像装置１０により生成された撮影画像を取得（準備）する。また、このとき、撮像装置１０から姿勢センサ１３により検出された姿勢情報も取得する。

次にステップＳ２０２（フィルタ取得ステップ）では、画像処理装置２０は、基準フィルタ（基準フィルタ情報）と姿勢情報とから、撮像装置１０の撮像時の姿勢に応じた画像変換フィルタを作成または選択する。

次にステップＳ２０３（処理ステップ）では、画像処理装置２０は、撮像装置１０の撮像時の姿勢に応じた画像変換フィルタを用いて、撮影画像のフィルタリング処理を行う。これにより、撮影画像の劣化が良好に補正される。

そして、ステップＳ２０４では、画像処理装置２０は、フィルタリング処理後の画像に対して、上述した撮像信号処理を行う。このようにして、ステップＳ２０５にて、画像処理装置２０は、最終的な出力画像（記録用画像や表示用画像）を出力、すなわち保存したり表示したりする。

以上の画像処理方法により、撮像装置の姿勢に応じて画質の劣化が変化する場合でも、該劣化を良好に補正することができる。

以下、本発明の具体的な実施例について説明する。

図３には、本発明の実施例１である画像処理方法を実施する画像処理装置の構成を示している。本実施例では、画像処理装置２０Ａとは別の撮像装置１０Ａが撮像を行って生成した撮影画像ＩＭを、画像処理装置２０Ａに入力画像として入力する。

撮像装置１０Ａは、図１および図９でも示した液体レンズ１１を含む撮影光学系と、該撮影光学系により形成された被写体像を光電変換する撮像素子１２と、該撮像素子１２からの出力信号を用いて撮影画像ＩＭを生成する画像生成部（図示せず）とを有する。また、撮像装置１０Ａは、該撮像装置の姿勢を検出する姿勢センサ１３も有する。姿勢センサ１３は、撮像装置１０Ａの横姿勢と縦姿勢を含む光軸回りでの回転に関するロール角と、上向き姿勢や下向き姿勢を含む光軸に直交する方向での回転に関するピッチ角とを検出することができる。

撮像装置１０Ａは、画像データとしての撮影画像ＩＭを生成し、さらにそのヘッダー部分に、撮像時に姿勢センサ１３にて検出した姿勢情報と、撮像時の撮影光学系の焦点距離、絞り値や撮影距離等の撮像状態である撮像条件の情報を記載する。撮影画像ＩＭは、半導体メモリや光ディスク等の記録媒体、無線通信、有線通信、インターネット、ＬＡＮ等を介して画像処理装置２０Ａに入力される。

画像処理装置２０Ａの回復フィルタ選択部２５は、入力された撮影画像ＩＭのヘッダー部分に記載されている撮像条件情報を取得する。画像処理装置２０Ａに設けられた記憶領域３２には、基準姿勢（横姿勢）用の画像回復フィルタであって、図１５に示した複数の代表撮像状態にそれぞれ対応する複数の代表フィルタが基準フィルタ群として格納されている。

回復フィルタ選択部２５は、記憶領域３２から、撮像条件に一致する代表撮像状態に対応する代表フィルタを基準フィルタとして選択する。または、撮像条件に近い代表撮像状態に対応する代表フィルタを用いて撮像条件に対応する画像回復フィルタを基準フィルタとして作成する。

画像処理装置２０Ａのフィルタ変換部２１は、入力された撮影画像ＩＭのヘッダー部分に記載されている姿勢情報を取得する。さらに、フィルタ変換部２１は、図４に詳しく示すように、姿勢情報から撮像時における撮像装置１０Ａの回転角（ロール角およびピッチ角）を取得する。そして、該回転角に応じて基準フィルタを回転変換することで、フィルタリング処理に使用する画像変換フィルタとしての画像回復フィルタ（以下、使用画像回復フィルタという）を作成する。

画像処理装置２０Ａのデモザイキング処理部２４は撮影画像ＩＭをデモザイキングし、さらにフィルタリング処理部２２は、デモザイキングされた撮影画像に対して使用画像回復フィルタをコンボリューションして画像回復処理を行う。画像回復フィルタは非対称な収差成分を除去できるフィルタであるので、該画像回復処理により液体レンズ１１における非対称な界面の形状に起因した非対称な結像スポットが対称なスポット形状となる。

こうして画像回復処理により得られた回復画像としての出力画像３１に対して、ホワイトバランス調整やノイズリダクション処理等の撮像信号処理が行われることで、最終的な記録用または表示用画像が生成され、出力される。

撮像装置１０Ａから画像処理装置２０Ａを分離することで、撮像装置１０Ａにて生成された撮影画像を、専用のコンピュータにより構成された画像処理装置２０Ａにて高速に処理することができる。

図５には、本発明の実施例２である画像処理方法を実施する撮像装置の構成を示している。本実施例では、画像処理装置２０Ｂを内蔵した撮像装置１０Ｂが撮像を行って生成した撮影画像を、画像処理装置２０Ｂに入力画像として入力する。

撮像装置１０Ｂは、図１および図９でも示した液体レンズ１１を含む撮影光学系と、該撮影光学系により形成された被写体像を光電変換する撮像素子１２と、該撮像素子１２からの出力信号を用いて撮影画像を生成する画像生成部（図示せず）とを有する。また、撮像装置は、該撮像装置１０Ｂの姿勢を検出する姿勢センサ１３も有する。姿勢センサ１３は、撮像装置１０Ｂが横姿勢（又はこれに近い姿勢）か縦姿勢（又はこれに近い姿勢）かを検出することができる。

撮像装置１０Ｂは、画像データとしての撮影画像を生成し、その撮影画像を画像処理装置２０Ｂのフィルタリング処理部２２に入力する。また、撮像装置１０Ｂは、撮像時に姿勢センサ１３にて検出した姿勢情報を、画像処理装置２０Ｂのフィルタ変換部２１に入力する。さらに、撮像装置１０Ｂは、撮像時の撮影光学系の焦点距離、絞り値や撮影距離等の撮像状態である撮像条件の情報を記憶領域３２に送る。

記憶領域３２には、横姿勢用のエッジ強調フィルタであって、複数の代表撮像状態にそれぞれ対応する複数のエッジ強調フィルタ（代表フィルタ）が基準フィルタ群として格納されている。エッジ強調フィルタは、非対称なスポット像が対称な形状となるようにエッジ部分を強調するため、画像の短辺方向に非対称な形状を有する。さらに、記憶領域３２には、横姿勢用のエッジ強調フィルタを９０度回転変換することで作成された縦姿勢用のエッジ強調フィルタも、複数の代表撮像状態に対応して複数（基準フィルタ群として）保存されている。

図６には、画像処理装置２０Ｂにおけるフィルタ変換部２１での処理を示している。フィルタ変換部２１は、姿勢センサ１３からの姿勢情報に基づいて、撮像時の撮像装置１０Ｂの姿勢が横姿勢か縦姿勢かもしくは横姿勢に近いか縦姿勢に近いかを判別する。縦姿勢かこれに近い場合には、記憶領域３２にて予め撮像条件に対応する基準フィルタとして選択された横姿勢用および縦姿勢用のエッジ強調フィルタのうち縦姿勢用のエッジ強調フィルタを選択して、使用エッジ強調フィルタ（画像変換フィルタ）として出力する。一方、撮像時の姿勢が横姿勢かこれに近い場合には、横姿勢用のエッジ強調フィルタを選択して使用エッジ強調フィルタ（画像変換フィルタ）として出力する。

画像処理装置２０Ｂのフィルタリング処理部２２は撮影画像をデモザイキングし、さらに該デモザイキングされた撮影画像に対して使用エッジ強調フィルタをコンボリューションしてエッジ強調処理を行う。こうしてエッジ強調処理により得られた出力画像３１に対して、撮像信号処理部２６は、ホワイトバランス調整やノイズリダクション処理等の撮像信号処理を行い最終的な記録用画像を出力する。記録用画像は、撮像装置１０Ｂに設けられた画像保存部２７に保存（記録）される。

一般にエッジ強調フィルタは、実施例１で用いる画像回復フィルタよりもタップ数が少ない。また、本実施例では、実施例１のように撮像時の姿勢に応じて基準フィルタを回転変換して使用フィルタを作成するのではなく、予め保存した横姿勢用および縦姿勢用のエッジ強調フィルタの中から撮像時の姿勢に対応するフィルタを選択して用いる。このため、本実施例によれば、フィルタ変換部２１やフィルタリング処理部２２での処理を実施例１に比べて低負荷で行うことができ、処理の高速化を図ることができる。

図７には、本発明の実施例３である画像処理方法を実施する画像処理装置の構成を示している。本実施例でも、実施例１と同様に、画像処理装置２０Ｃとは別の撮像装置１０Ｃが撮像を行って生成した撮影画像ＩＭを、画像処理装置２０Ｃに入力画像として入力する。

撮像装置１０Ｃは、光軸に直交する方向にシフト可能な防振レンズＩＳを含む撮影光学系と、撮影光学系により形成された被写体像を光電変換する撮像素子１２と、該撮像素子１２からの出力信号を用いて撮影画像ＩＭを生成する画像生成部（図示せず）とを有する。また、撮像装置１０Ｃは、該撮像装置の姿勢を検出する姿勢センサ１３も有する。姿勢センサ１３は、撮像装置１０Ｃの横姿勢と縦姿勢を含む光軸回りでの回転に関するロール角と、上向き姿勢や下向き姿勢を含む光軸に直交する方向での回転に関するピッチ角とを検出することができる。

撮像装置１０Ｃは、画像データとしての撮影画像ＩＭを生成し、さらにそのヘッダー部分に、撮像時に姿勢センサ１３にて検出した姿勢情報と、撮像時の撮影光学系の焦点距離、絞り値や撮影距離等の撮像状態である撮像条件の情報を記載する。撮影画像ＩＭは、半導体メモリや光ディスク等の記録媒体、無線通信、有線通信、インターネット、ＬＡＮ等を介して画像処理装置２０Ｃに入力される。

画像処理装置２０Ｃの光学伝達関数選択部２８は、入力された撮影画像ＩＭのヘッダー部分に記載されている撮像条件情報を取得する。画像処理装置２０Ｃに設けられた記憶領域３２には、撮像装置１０Ｃが基準姿勢（横姿勢）にある状態での光学伝達関数であって、複数の代表撮像状態にそれぞれ対応する複数の代表光学伝達関数が基準フィルタ情報として格納されている。

光学伝達関数選択部２８は、記憶領域３２から、撮像条件に一致する代表撮像状態に対応する代表光学伝達関数を使用基準関数として選択する。または、撮像条件に近い代表撮像状態に対応する代表光学伝達関数を用いて撮像条件に対応する光学伝達関数を使用基準関数として作成する。

画像処理装置２０Ａのフィルタ変換部２１は、入力された撮影画像ＩＭのヘッダー部分に記載されている姿勢情報を取得する。さらに、フィルタ変換部２１は、図８に詳しく示すように、姿勢情報から撮像時における撮像装置１０Ｃの回転角（ロール角およびピッチ角）を取得する。そして、該回転角に応じて、画像回復フィルタのフィルタパラメータの１つである回復ゲインを設定する。

撮影画像において光軸上の位置から等距離にある周辺部の画素位置においても、姿勢の変化による防振レンズＩＳの偏心により、像面上のスポット像が光軸に対して回転対称にならない。このため、スポット像の広がりが大きい部分は回復ゲインを高くし、スポット像の広がりが小さい部分は回復ゲインを小さくする。

フィルタ変換部２１は、光学伝達関数選択部２８にて選択または作成された光学伝達関数（使用基準関数）と回復ゲインとをフィルタパラメータとして、使用画像回復フィルタ（画像変換フィルタ）を作成する。

画像処理装置２０Ｃのデモザイキング処理部２４は撮影画像ＩＭをデモザイキングし、さらにフィルタリング処理部２２は、デモザイキングされた撮影画像に対して使用画像回復フィルタをコンボリューションして画像回復処理を行う。

こうして画像回復処理により得られた回復画像としての出力画像３１に対して、ホワイトバランス調整やノイズリダクション処理等の撮像信号処理が行われることで、最終的な記録用または表示用画像が生成され、出力される。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

良好な画質の撮影画像が得られるデジタルカメラやビデオカメラ等の撮像装置または個画像処理装置を提供できる。

１０，１０Ａ，１０Ｂ，１０Ｃ 撮像装置
１３ 姿勢センサ
２１ フィルタ変換部
２２ フィルタリング処理部
２０，２０Ａ，２０Ｂ，２０Ｃ 画像処理装置

Claims (12)

1. 撮像装置が光学系を通して撮像を行うことにより生成した画像を入力画像として取得する画像取得ステップと、
   前記撮像を行ったときの前記撮像装置の姿勢を示す情報を取得する姿勢取得ステップと、
   前記情報が示す前記姿勢に応じて画像変換フィルタを作成または選択するフィルタ取得ステップと、
   前記画像変換フィルタを用いて前記入力画像に対するフィルタリング処理を行う処理ステップとを有し、
   前記画像変換フィルタは、前記光学系の光学伝達関数を用いて生成された画像回復フィルタであり、
   前記フィルタ取得ステップにおいて取得される前記画像回復フィルタは、前記情報が示す前記姿勢に応じて回復ゲインが異なることを特徴とする画像処理方法。
2. 前記フィルタ取得ステップにおいて、前記撮像装置の正姿勢に対応する基準フィルタを前記情報が示す前記姿勢に応じて変更することにより前記画像回復フィルタを作成することを特徴とする請求項１に記載の画像処理方法。
3. 前記フィルタ取得ステップにおいて、前記画像回復フィルタとして、前記撮像装置の正姿勢に対応するフィルタと該撮像装置の横倒し姿勢に対応するフィルタのうち一方を、前記情報が示す前記姿勢に応じて選択することを特徴とする請求項１に記載の画像処理方法。
4. 前記撮像装置は、前記光学系に、液体を用いて光学特性を変化させる液体光学素子を含むことを特徴とする請求項１から３のいずれか１項に記載の画像処理方法。
5. 前記撮像装置は、前記光学系に、該光学系の光軸に対して直交する方向にシフトすることにより像振れを低減する防振素子を含むことを特徴とする請求項１から３のいずれか１項に記載の画像処理方法。
6. 撮像装置が光学系を通して撮像を行うことにより生成した画像を入力画像として取得する画像取得部と、
   前記撮像を行ったときの前記撮像装置の姿勢を示す情報を取得する姿勢取得部と、
   前記情報が示す前記姿勢に応じて画像変換フィルタを作成または選択するフィルタ取得部と、
   前記画像変換フィルタを用いて前記入力画像に対するフィルタリング処理を行う処理部とを有し、
   前記画像変換フィルタは、前記光学系の光学伝達関数を用いて生成された画像回復フィルタであり、
   前記フィルタ取得部によって取得される前記画像回復フィルタは、前記情報が示す前記姿勢に応じて回復ゲインが異なることを特徴とする画像処理装置。
7. 光学系を通して撮像を行うことにより画像を生成する撮像装置であって、
   前記撮像を行うときの姿勢を検出する姿勢検出手段と、
   該撮像により生成した画像に対して前記フィルタリング処理を行う請求項６に記載の画像処理装置とを有することを特徴とする撮像装置。
8. コンピュータに、
   撮像装置が光学系を通して撮像を行うことにより生成した画像を入力画像として取得する画像取得ステップと、
   前記撮像を行ったときの前記撮像装置の姿勢を示す情報を取得する姿勢取得ステップと、
   前記情報が示す前記姿勢に応じて画像変換フィルタを作成または選択するフィルタ取得ステップと、
   前記画像変換フィルタを用いて前記入力画像に対するフィルタリング処理を行う処理ステップとを含む画像処理を実行させるコンピュータプログラムであって、
   前記画像変換フィルタは、前記光学系の光学伝達関数を用いて生成された画像回復フィルタであり、
   前記フィルタ取得ステップにおいて取得される前記画像回復フィルタは、前記情報が示す前記姿勢に応じて回復ゲインが異なることを特徴とする画像処理プログラム。
9. 光学系の光軸に対して直交する方向にシフトすることにより像振れを低減する防振素子を有する撮像装置を用いて撮像された画像を入力画像として取得する画像取得ステップと、
   前記撮像を行ったときの前記撮像装置の姿勢を示す情報を取得する姿勢取得ステップと、
   前記情報が示す前記姿勢に応じて画像変換フィルタを作成または選択するフィルタ取得ステップと、
   前記画像変換フィルタを用いて前記入力画像に対するフィルタリング処理を行う処理ステップとを有することを特徴とする画像処理方法。
10. 光学系の光軸に対して直交する方向にシフトすることにより像振れを低減する防振素子を有する撮像装置を用いて撮像された画像を入力画像として取得する画像取得部と、
    前記撮像を行ったときの前記撮像装置の姿勢を示す情報を取得する姿勢取得部と、
    前記情報が示す前記姿勢に応じて画像変換フィルタを作成または選択するフィルタ取得部と、
    前記画像変換フィルタを用いて前記入力画像に対するフィルタリング処理を行う処理部とを有することを特徴とする画像処理装置。
11. 光学系を通して撮像を行うことにより画像を生成する撮像装置であって、
    前記光学系の光軸に対して直交する方向にシフトすることにより像振れを低減する防振素子と、
    前記撮像を行うときの前記撮像装置の姿勢を検出する姿勢検出手段と、
    該撮像により生成した画像に対して前記フィルタリング処理を行う請求項１０に記載の画像処理装置とを有することを特徴とする撮像装置。
12. コンピュータに、
    光学系の光軸に対して直交する方向にシフトすることにより像振れを低減する防振素子を有する撮像装置を用いて撮像された画像を入力画像として取得する画像取得ステップと、
    前記撮像を行ったときの前記撮像装置の姿勢を示す情報を取得する姿勢取得ステップと、
    前記情報が示す前記姿勢に応じて画像変換フィルタを作成または選択するフィルタ取得ステップと、
    前記画像変換フィルタを用いて前記入力画像に対するフィルタリング処理を行う処理ステップとを含む画像処理を実行させるコンピュータプログラムであることを特徴とする画像処理プログラム。