JP6305217B2 - 情報処理装置およびその制御方法、カメラシステム、プログラム、記憶媒体 - Google Patents

Description

本発明は、画像の劣化を補正する処理に関し、特に画像回復処理に関する。

デジタルカメラ等の撮像装置により得られた画像は、ボケによって画質が劣化している。画像のボケを補正する方法として、撮像光学系の光学伝達関数（ＯＴＦ）の情報から画像回復フィルタを生成し、該画像回復フィルタを用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以降、この撮像光学系（撮像系）の光学伝達関数の情報（画像回復フィルタ）を用いて画像の劣化を補正する処理を画像回復処理と記す。

しかしながら、画像回復フィルタやＯＴＦのデータ量は膨大である。例えば１画素に対して3000ピクセル以上の情報が必要であり、単純計算すると、画像の画素数に対して、その数百倍のデータ量が必要になってしまう。そこで、データ量を削減するために、特許文献１ではＯＴＦのデータを特定の関数によって近似し、ＯＴＦを関数の係数として持つことでデータを削減している。

特開２０１２−７３６９１号公報

特許文献１の方法では、データの削減は可能であるが、ＯＴＦ係数からＯＴＦへ復元（再構成）し、画像回復フィルタを生成する処理は、特にリソースの少ない撮像装置のような状況では、ハードウェア処理として実装することが望ましい。しかし、ハードウェアとして実装してしまうと、装置のコストが増加してしまう。装置の置かれた状況に応じて、応答性が重視される場合、あるいはコスト的に余裕がある場合にはハードウェアとして実装することが可能であるが、そうでない場合にはソフトウェアとして実装することも検討すべきである。

また、データの保持方法については、一眼レフカメラのように、１つの撮像装置に複数のレンズが装着可能で、複数のデータをそれぞれ持つ必要がある場合には、全てのデータを撮像装置内に持っておくことは現実的ではない。したがって、装置内のリソースが許す限りのデータを一時的に持ち、必要に応じて外部のサーバやコンピュータ、あるいは高性能のレンズから毎回取得するようなシステムが考えられる。現実的なカメラを考えた際には、前述したとおり、保持するデータ自体は撮像装置の回路構成（主にカメラの価格ラインナップ等）によって最適なものが異なる。そのため、主にカメラの価格ラインナップ等に応じて、柔軟に対応したい反面、共通のレンズやサーバやＰＣを用いる場合には、保持するデータも共通にしておく必要があるという問題がある。

このように、従来では、ＯＴＦ係数から画像回復フィルタを生成するハードウェアが搭載される撮像装置の構成か、搭載されない撮像装置の構成かを選択する必要があり、撮像装置の構成を、コスト等の状況に応じて機種ごとに柔軟に変更することができなかった。

本発明は、上記課題を鑑み、撮像装置で画像回復処理を行うのに有利な情報処理装置およびその制御方法、カメラシステム、プログラム、記憶媒体を提供することを目的とする。

本発明の一側面としての情報処理装置は、撮像装置と通信可能な情報処理装置であって、前記撮像装置から撮影条件を取得する取得部と、前記撮像装置が撮像光学系の光学伝達関数を再構成するための情報を用いて画像回復フィルタを生成可能かどうか判定する判定部と、前記判定部において前記撮像装置が前記情報から前記画像回復フィルタを生成可能な場合に、前記撮像装置に前記情報を送信する第１の送信部と、前記判定部において前記撮像装置が前記情報から前記画像回復フィルタを生成不可能な場合に、前記撮像装置に撮影条件に応じた画像回復フィルタを送信する第２の送信部と、を有することを特徴とする。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、撮像装置で画像回復処理を行うのに有利な情報処理装置およびその制御方法、カメラシステム、プログラム、記憶媒体を提供することができる。

本発明における、情報処理装置の代表的な構成を示したブロック図である。 本発明の実施例における、検知部の処理フローを示した図である。 本発明の実施例における、ＯＴＦ取得部の処理フローを示した図である。 本発明の実施例における、撮影条件取得部の処理フローを示した図である。 本発明の実施例における、判定部の処理フローを示した図である。 本発明の実施例における、ＯＴＦ送信部の処理フローを示した図である。 本発明の実施例における、フィルタ生成部の処理フローを示した図である。 本発明の実施例における、フィルタ送信部の処理フローを示した図である。 本発明の実施例における、フィルタ生成フロー中のフィルタコピーに関する模式図である。 本発明の実施例における、通信のシーケンスを示したシーケンス図である。 本発明の実施例における、撮像装置の代表的な構成図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

まず、本発明の撮像装置により得られた画像のボケ（劣化）を光学伝達関数（ＯＴＦ：Optic Transfer Function）の情報を用いて補正する方法（回復処理）について以下に説明する。画像のボケが起こる要因は、撮像光学系の球面収差、コマ収差、像面湾曲および非点収差等である。これらの収差は、点像分布関数（ＰＳＦ：Point Spread Function）により表すことができる。点像分布関数（以下、ＰＳＦ）をフーリエ変換することにより得ることができる光学伝達関数（以下、ＯＴＦ）は、収差の周波数空間における情報である。このＯＴＦは複素数で表すことができ、ＯＴＦの絶対値、即ち、振幅成分はＭＴＦ（Modulation Transfer Function）、位相成分はＰＴＦ（Phase Transfer Function）と呼ばれる。

撮像光学系のＯＴＦは画像の振幅成分（以下、ＭＴＦ）と位相成分（以下、ＰＴＦ）に影響（劣化）を与えるため、撮像光学系を介して取得された被写体の画像は、各点がコマ収差のように非対称にボケた画像（劣化画像）になる。さらに、画像が有する色成分（例えば、赤、青、緑など）ごとにＰＳＦが異なるため、色成分ごとに異なるボケが発生し、色がにじんだような画像（劣化画像）になる。

以下に回復処理の概要を示す。

劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、ｇ（ｘ、ｙ）を取得するために用いた撮像系の点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は実空間における画像の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） （式１）
式１をフーリエ変換して周波数空間での表示形式に変換すると、式２のように表すことができる。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） （式２）
ここで、Ｈ（ｕ，ｖ）は点像分布関数（ＰＳＦ）であるｈ（ｘ，ｙ）をフーリエ変換した光学伝達関数（ＯＴＦ）である。Ｇ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）をフーリエ変換したものである。（ｕ，ｖ）は２次元周波数空間での周波数（座標）を示す。

劣化画像から元の画像（元画像）を得るためには、式２の両辺をＨ（ｕ，ｖ）で除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） （式３）
このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実空間に戻すことで元画像ｆ（ｘ，ｙ）を回復画像として得ることができる。

式３の両辺を逆フーリエ変換すると式３は式４で表される。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） （式４）
ここで、１／Ｈ（ｕ，ｖ）を逆フーリエ変換したものをＲ（ｘ，ｙ）表した。このＲ（ｘ，ｙ）が画像回復フィルタである。

この画像回復フィルタは光学伝達関数（ＯＴＦ）に基づいているため、振幅成分および位相成分の劣化を補正することができる。

本発明の代表的な情報処理装置１００の構成を図１に示す。図１において、１０３は情報処理装置１００と通信可能な撮像装置（カメラ）の状態を検知する検知部である。１０２は処理に必要なＯＴＦ係数を取得するＯＴＦ取得部である。１０５はＯＴＦ係数から画像回復フィルタを生成するフィルタ生成部である。１０４は撮影条件を撮像装置から取得する撮影条件取得部である。１０１は撮像装置がＯＴＦ係数から画像回復フィルタを生成可能かどうか判定する判定部である。１０７は判定部１０１の判定の結果、撮像装置において画像回復フィルタが生成可能な場合に、該撮像装置にＯＴＦ係数を送信するＯＴＦ送信部である。

１０６は判定部１０１の判定の結果、撮像装置において画像回復フィルタが生成不可能な場合に、撮影条件に応じた画像回復フィルタを生成し送信するフィルタ送信部である。１０８は情報処理装置全体を制御する制御部である。つまり、制御部１０８は、情報処理装置に搭載される、判定部１０１、ＯＴＦ取得部１０２、検知部１０３、撮影条件取得部１０４、フィルタ生成部１０５、フィルタ送信部１０６、ＯＴＦ送信部１０７、を統括的に制御することができる。

情報処理装置１００は、本実施例においてはカメラと通信可能な外部のサーバ装置（コンピュータ装置）であるが、本発明はこれに限定されず、カメラと通信可能なレンズ装置であってもよい。すなわち、カメラと着脱可能に構成された交換レンズ装置に、図１に示す構成を搭載する場合、該交換レンズ装置は、本発明の情報処理装置として機能する。

次に、図２〜９を用いて、本発明の代表的な形態における処理の流れを説明する。

まず、本発明の情報処理装置１００の制御部１０８は、図２に示されるフローを実行する。図２のフローでは、はじめに、検知部１０３において、カメラが情報処理装置１００と接続されているかどうかの判定を行う（Ｓ２０１）。本実施例における情報処理装置は、インターネット等のネットワークを介して、一眼レフカメラ（撮像装置）と接続可能なコンピュータであることを想定している。ただし、該コンピュータは、ネットワークではなく、ＵＳＢのような有線のケーブルにて接続しても構わないし、ケーブルを介さずに直接カメラ本体と接続する構成でも構わない。

また、該コンピュータは、通常１：１の接続をすれば十分であるが、必要に応じて、１：多の接続も可能である。各カメラとの処理は独立であるため、今回は１：１の接続として説明を行う。Ｓ２０１の判定結果によりカメラと接続されていると判定された場合には、カメラの状態を判定する判定部１０１へ通知する（Ｓ２０２）。また、カメラと接続されていないと判定された場合には、フローを終了する。なお、カメラとの接続については、厳密には値取得要求を送信し、カメラからの応答で値を受け取るメッセージ通信が必要だが、本実施例では要求と取得のプロセスをまとめて取得と表現することとする。

次に、図２のＳ２０２における詳細な処理について図５を用いて説明する。

Ｓ２０２の処理が開始されると、まず、判定部１０１は、接続されたカメラとの通信を行い、データ送信モードを切替える処理を行う。そして、接続されたカメラのカメラ識別子を取得する（Ｓ５０１）。これは機種固有のものでも構わないし、対応しているかどうかのフラグのようなシンプルなものでもよい。バージョンや世代のようなグルーピングの値としておけば、新しい機種が増えた際に処理装置側への影響が最小限にすむかもしれない。

また、次に、レンズ識別子を取得する（Ｓ５０２）。レンズ識別子もカメラと同様に、対応非対応を見分けるために取得するが、個々のレンズの機種まで判定できるようにする必要がある。つまり、レンズの機種ごとに識別子として定めておき、それを整数のような数値でやりとりすることで、カメラに接続されているレンズを、処理装置で特定することができる。次に、判定部１０１は、取得した識別子から、カメラとレンズが対応機種であるか否かの判定を行う（Ｓ５０３）。カメラとレンズが対応機種であれば（Ｓ５０３のＹｅｓ）、フィルタ生成回路を保持するかどうかのフラグをカメラより取得する（Ｓ５０４）。

カメラとレンズが対応機種でなければ（Ｓ５０３のＮｏ）、図５のフローを終了する。Ｓ５０４から取得されるフラグに基づいて、判定部１０１はＯＴＦ係数から画像回復フィルタを生成する生成回路をカメラが保持しているか否かの判定を行う。換言すれば、接続されたカメラが撮像光学系の光学伝達関数を再構成するための情報（光学伝達関数を所定の関数に近似することにより得られた係数（ＯＴＦ係数））から画像回復フィルタを生成可能か否かを判定する。もしカメラが生成回路を保持していれば（Ｓ５０５のＹｅｓ）、現在接続されているレンズの全データのＯＴＦ係数を送信するため、ＯＴＦ係数送信モードをセットする（Ｓ５０６）。

一方、カメラが生成回路を保持していなければ（Ｓ５０５のＮｏ）、撮影条件ごとに画像回復フィルタを送信するため、回復フィルタ送信モードをセットする（Ｓ５０８）。モードをセットした後に、それぞれで必要なＯＴＦを取得するための、ＯＴＦ取得部１０２に通知する（Ｓ５０７）。

次に、図５のＳ５０７における詳細な処理について図３を用いて説明する。

Ｓ５０７の処理が開始されると、まず、ＯＴＦ取得部１０２は、通知されたレンズの識別子を取得し（Ｓ３０１）、内部に保持しているデータベース（Ｓ３０３）から該当レンズのＯＴＦ係数を、そのレンズの全データをメモリ上に読み込む（Ｓ３０２）。次に、ＯＴＦ取得部１０２は、セットされたモードが、ＯＴＦ係数送信モードであるか否か（すなわち、図５のＳ５０６でセットされたＯＴＦ係数送信モードであるか、Ｓ５０８でセットされた回復フィルタ送信モードであるか）判別する。もし、ＯＴＦ係数送信モードであれば（Ｓ３０４のＹｅｓ）、取得したＯＴＦ係数を送信するために、ＯＴＦ送信部１０７に通知を行う（Ｓ３０５）。

一方、回復フィルタ送信モードであれば（Ｓ３０４のＮｏ）、撮影条件取得部１０４に通知をし（Ｓ３０６）、撮影条件を取得した後に、撮影条件に対応するＯＴＦ係数を、必要であれば補間をし、取得する（Ｓ３０７）。本実施例では、撮影条件に離散的に保持しているＯＴＦ係数の精度が高く、補間が必要ない状況を想定し、撮影条件に一番近い離散点のＯＴＦ係数を取得するものとする。

撮影条件に応じたＯＴＦ係数を抽出した後に、ＯＴＦ係数から画像回復フィルタを生成するフィルタ生成部に通知を行う（Ｓ３０８）。本実施例は、ＯＴＦ係数送信の場合でも、回復フィルタ送信の場合でも、同じＯＴＦ係数から送信データを生成するモデルである。ただし、画像回復フィルタは毎回生成せずに、予め全ての条件で画像回復フィルタを保持しておき、回復フィルタ送信モードの際にはそこから撮影条件に応じた画像回復フィルタを取得し、送信するという方法も考えられる。

本実施例のように、コンピュータを想定している場合には、リソースの制約も少ないことが考えられるため、そのように画像回復フィルタそのものを情報処理装置側で保持しておく事も可能である。その場合には、撮影条件を取得した後に、フィルタ生成部で保持している画像回復フィルタから抽出する処理となる。

次に、図３のＳ３０５における詳細な処理について図６を用いて説明する。

Ｓ３０５の処理が開始されると、まず、ＯＴＦ送信部１０７は、カメラの状態を取得してデータ送信可能状態であるか否かを判定する（Ｓ６０１）。もしカメラの状態が送信可能状態であれば（Ｓ６０１のＹｅｓ）、送信するためのヘッダを作成する（Ｓ６０２）。これは、データを送信している間にもカメラの状態が変化している場合があるので、念のため送信可能かどうかを更に確認している。一方、送信できない状態であれば（Ｓ６０１のＮｏ）、さまざまな原因が考えられるが、１つにはカメラ側のメモリが一杯である場合があるため、カメラ内のキャッシュをクリアするように通知を行う（Ｓ６０５）。特に前回の処理で利用した画像回復フィルタ等が残っているとメモリが足りない場合があるため、クリアを要求し、再度送信可能状態かどうかを確認する（Ｓ６０６）。それでも送信可能状態とならない場合は（Ｓ６０６のＮｏ）、図６のフローを終了する。

最終的に、送信可能状態となれば（Ｓ６０６のＹｅｓ）、送信するためのヘッダを作成する（Ｓ６０２）。ヘッダに何を記録しておくかは様々であるが、ここでは最低限レンズの識別子、焦点距離、撮影距離、絞りの値を記録することとする。先に取得したＯＴＦ係数とヘッダをセットとして送信データを作成し（Ｓ６０３）、カメラに対してＯＴＦ係数の入ったデータを送信する（Ｓ６０４）。換言すれば、ＯＴＦ送信部（第１の送信部）は、判定部１０１においてカメラがＯＴＦ係数から画像回復フィルタを生成可能な場合に、カメラにＯＴＦ係数を送信する。

次に、図３のＳ３０６における詳細な処理について図４を用いて説明する。

Ｓ３０６の処理が開始されると、まず、撮影条件取得部１０４は、カメラに対し現在の撮影条件（撮影距離、焦点距離、絞り等）を要求する（Ｓ４０１）。そして、つぎに、カメラから撮影条件を示す情報を受け取り（Ｓ４０２）、フローを終了する。

次に、図３のＳ３０８における詳細な処理について図７を用いて説明する。

Ｓ３０８の処理が開始されると、まず、フィルタ生成部１０５は、撮影条件やレンズの識別子から、多項式近似式で近似したようなＯＴＦ係数を取得する（Ｓ７０１）。なお、全画素のＯＴＦデータを取得する形態でも可能であるが、現実的にはデータ量や処理速度との兼ね合いで、画像領域内部の離散点においてデータを保持し、実際の画像に適用する際に近傍の画像回復フィルタを補間して用いるほうがよいであろう。

なお、処理速度の懸念がある場合には、全面ではなく、さらに画面の一部分のＯＴＦや画像回復フィルタを生成し、適用するときに補間して使う場合もある。次に、本実施例の一例であるＯＴＦデータの生成方法について、図９の概念図を用いて説明を行う。はじめに、画像の中心から周辺までの像高を１０分割した離散点を取得し、まずはその１０像高分のＯＴＦを生成する（Ｓ７０２、９０１）。そして、その１０像高分のＯＴＦを回転させ全面の４分の１領域について離散点のＯＴＦを生成する（Ｓ７０３、９０２）。そして、カメラの機種によって異なるナイキスト周波数でＯＴＦを切り出し（Ｓ７０４）、撮像装置の特性である光学ローパスフィルタや開口劣化特性を掛け合わせる（Ｓ７０５）。そして次に、画像回復フィルタ生成に必要なゲインを算出する（Ｓ７０６）。ＯＴＦは撮影される画像の各点における特性を示したものなので、画像回復フィルタ生成のためには、ＯＴＦの逆特性を求める。ここで入力されたゲインを加味して、ＯＴＦの逆特性を求めたあとに（Ｓ７０７）、その逆特性のデータをフーリエ変換することで（Ｓ７０８）、画像回復フィルタが求まる。ＯＴＦデータは位相情報も含むため、複素数データであったが、画像回復フィルタにすることで実数の二次元フィルタが生成できる。

図９（ａ）のように、画面の４分の１の範囲で演算していた場合には、図９（ｂ）のように、更に全面になるようにデータをコピーして（９０３）、全面の画像回復フィルタを生成する（Ｓ７０９、９０４）。そして、生成した画像回復フィルタを出力し（Ｓ７１０）、フィルタ送信部１０６に通知を行う（Ｓ７１１）。生成した画像回復フィルタは、画像の各画素に適用する。実際には、画像全体にかけて適用する場合もあれば、拡大表示をするために画像の一部分について適用を行う場合もある。また、回復フィルタは画像の全ての画素に対して生成せず、いくつかの離散点に対して生成することが一般的である。したがって、フィルタ生成部１０５で算出した画像回復フィルタから、対象の画素位置における画像回復フィルタを、補間等の方法を用いてさらに算出し、その結果を適用することが考えられる。

画像回復フィルタは、対象画素１つにつき、幅と高さを持つ二次元のデータ配列になっており、対象画素を含む領域に対して、フィルタの各値をそれぞれの画素を求める。フィルタ適用部の処理の、一般的な画像処理のフィルタ処理の際は、画像の領域ごとに異なるパラメータをもち、場合によってはサイズが異なるため、フィルタのサイズも対象画素によって異なることが考えられる。

次に、図７のＳ７１１における詳細な処理について図８を用いて説明する。

Ｓ７１１の処理が開始されると、まず、フィルタ送信部１０６は、カメラの状態を取得してデータ送信可能状態であるか否かを判定する（Ｓ８０１）。もしカメラの状態が送信可能状態であれば（Ｓ８０１のＹｅｓ）、送信するためのヘッダを作成する（Ｓ８０２）。これは、データを送信している間にもカメラの状態が変化している場合があるので、念のため送信可能かどうかを更に確認している。

一方、送信できない状態であれば（Ｓ８０１のＮｏ）、さまざまな原因が考えられるが、１つにはカメラ側のメモリが一杯である場合があるため、カメラ内のキャッシュをクリアするように通知を行う（Ｓ８０６）。特に前回の処理で利用した画像回復フィルタ等が残っているとメモリが足りない場合があるため、クリアを要求し、再度送信可能状態かどうかを確認する（Ｓ８０７）。それでも送信可能状態とならない場合は（Ｓ８０７のＮｏ）、図８のフローを終了する。

最終的に、送信可能状態となれば（Ｓ８０７のＹｅｓ）、送信するためのヘッダを作成する（Ｓ８０２）。ヘッダに何を記録しておくかは様々であるが、ここでは最低限レンズの識別子、焦点距離、撮影距離、絞りの値を記録することとする。先に取得した画像回復フィルタとヘッダをセットとして送信データを作成し（Ｓ８０３）、カメラに対して画像回復フィルタの入ったデータを送信する（Ｓ８０４）。換言すれば、フィルタ送信部（第２の送信部）は、判定部１０１においてカメラがＯＴＦ係数から画像回復フィルタを生成不可能な場合に、カメラに撮影条件に応じた画像回復フィルタを送信する。画像回復フィルタの入ったデータをカメラに送信した後は、正常に送信できたかの確認を行う（Ｓ８０５）。

最後に、図１０を用いてカメラと情報処理装置の連携について、シーケンスを説明する。はじめにカメラの識別子やレンズの識別子等のやり取りをする初期化を行い（１０−１）、正常終了（１０−２）の場合には、次にフィルタ生成回路の有無を取得する（１０−３）。もし、フィルタ生成回路を保持している場合（１０−４）には、該当するレンズのＯＴＦ係数を一括で送信して（１０−５）、カメラ側のフィルタ生成処理（１０−６）を進めてもらう。その一方で、同様に初期化（１０−７、１０−８）やフィルタ生成回路の有無を取得し（１０−９）、フィルタ生成回路がないカメラの場合（１０−１０）であれば、現在の撮影条件を取得する（１０−１１、１０−１２）。取得した撮影条件に対応したＯＴＦ係数を取得し、それを元に画像回復フィルタを生成し（１０−１３）、作成した画像回復フィルタをカメラに対して送信する（１０−１４）。

図１１は、本発明の実施例の撮像装置の構成を示す図である。以下に撮像装置の構成について説明する。

図１１において、１はデジタルカメラである。図１１では、本発明の実施形態に係る撮像装置として、カメラ本体とレンズ装置とが一体的に形成されたレンズ一体型の撮像装置を例示的に示すが、本発明はこれに限定されない。例えば、レンズ交換式一眼レフカメラ（カメラ本体）および交換レンズ（レンズ装置）から構成されるレンズ交換型の撮像装置を適用することも可能である。

１０は撮影レンズ、１２は光学像を電気信号に変換する撮像素子、１４は撮像素子１２のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。

１６は画像処理回路であり、Ａ／Ｄ変換器１４からのデータ或いはメモリ制御回路２０からのデータに対して所定のデモザイク処理や色変換処理を行う。

２０はメモリ制御回路であり、Ａ／Ｄ変換器１４、画像処理回路１６を制御する。

Ａ／Ｄ変換器１４のデータが画像処理回路１６、メモリ制御回路２０を介して、或いはＡ／Ｄ変換器１４のデータが直接メモリ制御回路２０を介して、画像表示メモリ２６或いはメモリ２８に書き込まれる。

２６は画像表示メモリ、２２はＤ／Ａ変換器、２４はＴＦＴ ＬＣＤ等から成る画像表示部である。画像表示メモリ２６に書き込まれた表示用の画像データはＤ／Ａ変換器２２を介して画像表示部２４により表示される。

画像表示部２４を用いて撮像した画像データを逐次表示すれば、ライブビュー機能を実現することが可能である。

２８は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをメモリ２８に対して行うことが可能となる。また、メモリ２８はシステム制御回路３２の作業領域としても使用することが可能である。

３２はデジタルカメラ全体を制御するシステム制御回路である。システム制御回路３２において、外部のコンピュータと通信し、レンズデータやそれに付随する情報のやり取りも行う。受け取ったデータはメモリ２８に格納する。

３４はシャッタースイッチＳＷ１である。不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

３６はシャッタースイッチＳＷ２である。不図示のシャッターボタンの完全な押下でＯＮとなり、撮像素子１２から読み出した信号をＡ／Ｄ変換器１４、メモリ制御回路２０を介して、画像処理回路１６やメモリ制御回路２０での演算を用いた現像処理の動作開始を指示する。また、メモリ２８から画像データを読み出し、圧縮処理を行い、記録媒体を含む記録部３０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

４０は、ユーザーがデジタルカメラ１に各種指示や設定を入力するためのスイッチ、ボタン、ダイヤル等の入力デバイス群などから成る操作部である。撮影開始／一時停止ボタン、ズームスイッチ、静止画撮影ボタン、方向ボタン、メニューボタン、実行ボタンなどが操作部４０に含まれる。

実施例２は、フィルタ生成部において、毎回の撮影条件毎に画像回復フィルタを必ず作らない点が実施例１と異なる。実施例２では、一度生成した画像回復フィルタを装置内のメモリにキャッシュしておき、再度同じ撮影条件で生成する必要があった際に、画像回復フィルタを生成せずに、キャッシュをそのまま利用する。ここで、メモリ（記憶部）は、撮影条件と関連付けて生成した画像回復フィルタをその内部に記憶している。そして、撮影条件がメモリに記憶される撮影条件と同じである場合は、新たに画像回復フィルタを生成することなく、メモリに記憶されている画像回復フィルタを使用する。

この場合、装置内のメモリには制限があるため、古いものからキャッシュを削除していくという基本的な仕組みに加え、より効率的になるように優先度付を行い、削除する回復フィルタを選択するということも考えられる。換言すれば、メモリは、記憶する画像回復フィルタに対して優先度を設定し、メモリの空き容量などに応じて優先度の低い順から画像回復フィルタを消去するように構成されてもよい。優先度の付け方も複数考えられるが、本実施例では、使用回数をインクリメントし保存しておき、使用回数の少ない順から削除するということを想定する。

実施例３は、フィルタ生成部において、現在必要な画像回復フィルタを生成した後に、現在の撮影条件の近傍にあたる撮影条件を予測して、画像回復フィルタをあらかじめ生成しておく点が実施例１と異なる。換言すれば、フィルタ生成部は、現在の撮影条件で画像回復フィルタを生成した後に、現在の撮影条件から次の撮影条件を予測し、予測した撮影条件に応じた画像回復フィルタを生成する。

特に、カメラで露出を自動制御するモードで、絞りが随時変更される場合や、一眼レフカメラのレンズのように、手動でユーザーが自由に焦点距離を連続して変更していく場合など、一定の確率で次に必要となる撮影条件が予測できる場合がある。そのために、図１で示す撮影条件取得部１０４にて撮影条件を取得して画像回復フィルタを生成した後、カメラの撮影モード等の状態を取得する。

そして、例えば、絞り優先モードであったら絞りは固定であるため、撮影距離の近傍の画像回復フィルタを生成する等の予測を行い、あらかじめ予測した撮影条件の画像回復フィルタを生成しておく。換言すれば、フィルタ生成部は、現在の撮影条件で画像回復フィルタを生成した後に、カメラの撮影モードを取得し、該撮影モードに応じて次の撮影条件を予測する。例えば、撮影モードが絞り優先モードである場合は、現在の撮影条件から撮影距離の範囲を変更する。

このように、上記実施例によれば、画像回復フィルタおよびそのＯＴＦの係数を保持する情報処理装置が、撮像装置の回路構成を検出し、それぞれに必要なデータを送信するように構成されている。撮像装置の回路構成を検出し、それぞれに必要な画像回復フィルタまたはＯＴＦ係数のデータを送信することができるので、撮像装置におけるフィルタ生成回路の有無に関わらず、撮像装置にて画像回復処理を行うことを可能にすることができる。これにより、撮像装置は画像回復フィルタやＯＴＦ係数を全て保持する必要なく、画像回復処理を行うことができる。

したがって、本発明によれば、撮像装置で画像回復処理を行うのに有利な情報処理装置（もしくは、情報処理装置と撮像装置とから構成されるカメラシステム）を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するための手順が記述されたコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。

１００ 情報処理装置
１０１ 判定部
１０６ フィルタ送信部
１０７ ＯＴＦ送信部

Claims (11)

1. 撮像装置と通信可能な情報処理装置であって、
   前記撮像装置から撮影条件を取得する取得部と、
   前記撮像装置が撮像光学系の光学伝達関数を再構成するための情報を用いて画像回復フィルタを生成可能かどうか判定する判定部と、
   前記判定部において前記撮像装置が前記情報から前記画像回復フィルタを生成可能な場合に、前記撮像装置に前記情報を送信する第１の送信部と、
   前記判定部において前記撮像装置が前記情報から前記画像回復フィルタを生成不可能な場合に、前記撮像装置に撮影条件に応じた画像回復フィルタを送信する第２の送信部と、
   を有することを特徴とする情報処理装置。
2. 前記情報は、前記光学伝達関数を所定の関数に近似することにより得られた係数であり、
   前記係数から前記画像回復フィルタを生成するフィルタ生成部（１０５）と、
   を有することを特徴とする請求項１に記載の情報処理装置。
3. 前記撮影条件と関連付けて前記画像回復フィルタを記憶する記憶部を有し、
   前記取得部から取得する撮影条件が前記記憶部に記憶される前記撮影条件と同じ場合は、前記記憶部に記憶される前記画像回復フィルタを用いることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記記憶部は、記憶する画像回復フィルタに対して優先度を設定し、前記記憶部の空き容量に応じて前記優先度の低い順から画像回復フィルタを消去することを特徴とする請求項３に記載の情報処理装置。
5. 前記フィルタ生成部は、現在の撮影条件で画像回復フィルタを生成した後に、前記現在の撮影条件から次の撮影条件を予測し、予測した撮影条件に応じた画像回復フィルタを生成することを特徴とする請求項２に記載の情報処理装置。
6. 前記フィルタ生成部は、前記撮像装置の撮影モードを取得し、前記撮影モードに応じて前記次の撮影条件を予測することを特徴とする請求項５に記載の情報処理装置。
7. 前記フィルタ生成部は、前記撮影モードが絞り優先モードである場合は、前記現在の撮影条件から撮影距離の範囲を変更することを特徴とする請求項６に記載の情報処理装置。
8. 撮像装置と、
   請求項１ないし７のいずれか１項に記載の情報処理装置と、を備えたことを特徴とするカメラシステム。
9. 撮像装置と通信可能な情報処理装置の制御方法であって、
   前記撮像装置から撮影条件を取得する取得ステップと、
   前記撮像装置が撮像光学系の光学伝達関数に関する情報を用いて画像回復フィルタを生成可能かどうか判定する判定ステップと、
   前記判定ステップにおいて前記撮像装置が前記情報から前記画像回復フィルタを生成可能な場合に、前記撮像装置に前記情報を送信する第１の送信ステップと、
   前記判定ステップにおいて前記撮像装置が前記情報から前記画像回復フィルタを生成不可能な場合に、前記撮像装置に撮影条件に応じた画像回復フィルタを送信する第２の送信ステップと、
   を有することを特徴とする情報処理装置の制御方法。
10. 請求項９に記載の情報処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
11. コンピュータに、請求項９に記載の情報処理装置の制御方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。