JP6115316B2 - 画像処理システム、撮像装置およびプログラム - Google Patents

Description

本発明は、画像処理システム、撮像装置およびプログラムに関する。本発明は、より詳細には、光波面変調素子を含む光学系を通して撮像し、撮像された画像を復元する画像処理システム、該画像処理システムを構成する撮像装置、該画像処理システムを構成する画像処理装置を実現するためのプログラムに関する。

近年、光学系の光路中に特殊な位相板を挿入することにより、空間分解能や透過光量を犠牲にせずに被写界深度を拡大する、被写界深度拡張（ＥＤＯＦ：Extension of Depth Of Field）技術に対する注目が高まっている。この被写界深度拡張技術は、位相板の挿入に基づき焦点深度を拡大すると共に、これに伴って劣化した画像に対し、復元フィルタ処理を行うことにより、高解像度な画像を復元するというものである。

例えば、特開２００９−８９０３５号公報（特許文献１）は、変調面が光軸に対して回転対称な形状であり、かつ位相形状が中心部から周辺部にかけて少なくとも１つの変曲点を持つように形成された光波面変調素子を備えた撮像装置を開示する。特許文献１の撮像装置では、撮像素子は、レンズおよび光波面変調素子を含む光学系を通過した被写体像を撮像し、画像処理部は、撮像素子からの被写体分散画像信号より分散のない画像信号を生成する。これにより、高精細な最終画像が得られる。

また、特開２００９−８９０８２号公報（特許文献２）は、画素単位で配置された光学的カラーフィルタの色およびまたは並びの種類別に画像復元フィルタリングを行う技術を開示する。特許文献２では、復元フィルタは、光学系の点像分布関数（ＰＳＦ）に応じた画像復元フィルタに画素単位で配置された光学的カラーフィルタの配列に応じた変換用フィルタを掛け合わせて形成される。

しかしながら、上述した従来技術では、復元フィルタ処理は、リアルタイムで行われることを前提としており、依然として、回路規模が大きなハードウェアを要するものであった。その結果として、消費電力の増大、発熱量の増大、装置サイズが大型化してしまうという点で、充分なものではなかった。特許文献２の従来技術は、処理量の削減を目的としたものであるが、ベイヤー画像で復元フィルタ処理を行う技術であり、リアルタイムの処理を要し、依然として回路規模が大きくなる点で、充分なものではなかった。

一方、撮像システムの用途によっては、必ずしも、リアルタイムで高精細な画像に復元することを要さない場合もある。また、復元フィルタ処理が施された高精細な最終画像として画像データが転送ないし保存されると、圧縮率を高めることが難しく、通信トラフィックや必要な記憶容量が増大してしまうことになる。

本発明は、上記従来技術の不充分な点に鑑みてなされたものであり、光波面変調素子を含む光学系を通して撮像された画像を復元するための演算負荷を撮像手段側から軽減することができる、画像処理システム、撮像装置およびプログラムを提供することを目的とする。

本発明によれば、下記特徴を有する画像処理システムが提供される。本画像処理システムは、光波面変調素子を含む光学系を通して撮像し、１次画像を出力する撮像手段と、上記１次画像と、上記光波面変調素子により与えられる点像分布関数に基づく１次画像に応じた補正データとを関連付けて記憶する記憶手段とを含む。本画像処理システムは、さらに、上記撮像手段から分離された画像処理手段であって、上記記憶手段の所定の１次画像に対し、所定の１次画像に関連付けられる上記記憶手段の補正データに基づき、画像を復元する補正処理を施す画像処理手段をさらに含む。本画像処理システムは、さらに、上記画像処理手段により所定の１次画像から復元された２次画像に基づき、画像出力する画像出力手段を含む。

上記構成により、光波面変調素子を含む光学系を通して撮像された画像を復元するための演算負荷を撮像手段側から軽減することができる。

本実施形態による監視システムの概略図。 本実施形態による、被写界深度拡張光学系を有した監視カメラのブロック図。 本実施形態によるフィルタ係数決定部が保持する、フィルタ係数決定テーブルのデータ構造を例示する図。 本実施形態によるデータ圧縮部が生成する、圧縮データのデータ構造を例示する図。 本実施形態による、監視カメラと通信する画像保管サーバおよび監視者端末のブロック図。 本実施形態において、監視者端末で監視アプリケーションが起動されたときにディスプレイに表示されるアプリケーション画面を例示する図。 本実施形態による監視者端末が実行する、リアルタイム画像表示処理を示すフローチャート。 本実施形態による監視者端末が実行する、録画像表示処理を示すフローチャート。 本実施形態による監視者端末のハードウェア構成図。

以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下、画像処理システムとして、被写界深度拡張光学系を有する監視カメラと、この監視カメラにより記録された画像に対し、画像表示のため画像復元処理を施す画像復元機能を備えた監視者端末とを含む、監視システムを一例として説明する。

図１は、本実施形態による監視システム１００の概略的な構成を示す図である。図１に示す監視システム１００は、監視カメラ１１０と、記録された画像を保管する画像保管サーバ１３０と、監視者が使用する監視者端末１４０とを含み構成される。監視システム１００を構成する各要素は、３つの拠点１０４，１０６，１０８に設置されている。

監視カメラ１１０は、カメラ設置ルーム１０４に設置され、カメラ設置ルーム１０４内に存在する被監視対象である被写体１２６の状態を撮影している。画像保管サーバ１３０は、サーバ・ルーム１０６に設置され、監視カメラ１１０が撮影した保管対象となるすべての画像データを、少なくとも所定期間保管する。

監視者端末１４０は、監視員や警備員などの監視者が常駐する監視ルーム１０８に設置されている。監視者端末１４０には、監視カメラ１１０で撮像している画像、画像保管サーバ１３０に保管された画像を取得し、画像をディスプレイに映し出すための監視アプリケーションがインストールされている。監視者は、この監視者端末１４０の監視アプリケーション画面上で、カメラ設置ルーム１０４の状態のリアルタイムな様子または過去の様子を確認することができる。

監視カメラ１１０と、画像保管サーバ１３０と、監視者端末１４０とは、ハブ、スイッチなどを介してネットワーク１０２で相互に接続されており、これら３つの装置間で自由なデータアクセスが可能とされている。ネットワーク１０２は、特に限定されるものではないが、イーサネット（登録商標）などのＬＡＮ（Local Area Network）、イントラネット、あるいは、ＶＰＮ（Virtual Private Network）などを介したＷＡＮ（Wide Area Network）などとして構成される。

以下、図２〜図５を参照しながら、監視システム１００を構成する各要素１１０，１３０，１４０の機能について説明する。図２は、本実施形態による、被写界深度拡張光学系を有した監視カメラ１１０の構成を示すブロック図である。図２に示す監視カメラ１１０は、被監視対象である被写体１２６を撮影するものである。なお、説明する実施形態では、一例として、監視カメラ１１０は、無人状態にあるオフィス内を監視するものとして説明するが、特に限定されるものではなく、被写体としては、人物、他の被監視物が含まれてもよく、さらに、バーコードや２次元コードの図柄、文字列などが含まれてもよい。

図２に示す監視カメラ１１０は、レンズユニット１１２と、固体撮像素子１１８と、データ圧縮部１２０と、フィルタ係数決定部１２２と、イーサネット（登録商標）ポート１２４とを含む。レンズユニット１１２は、１枚以上のレンズを含み構成される光学系である。

本実施形態による監視カメラ１１０では、レンズユニット１１２において、絞り１１４の近傍に、位相板１１６が挿入されている。上記位相板１１６は、被写界深度を拡大させるために収差を発生させる光波面変調素子である。光波面変調素子は、固体撮像素子１１８の像面における点像分布関数（Point Spread Function：ＰＳＦ）が２画素以上にまたがるように拡散させる。通常、光学系は、充分に収差が補正されるように設計されているので、光波面変調素子を含むレンズユニット１１２は、被写体１２６の像を収差が乗った状態で固体撮像素子１１８の像面上に結像させる。したがって、光波面変調素子は、光学系の結像性能を劣化させ、ぼけた画像を与える。このとき、劣化の仕方が所定の焦点はずれ量の範囲内で変化しないような光波面変調素子を選ぶことによって、後段の画像復元処理により、ぼけた画像から被写界深度が拡張された、ＭＴＦ（Modulation Transfer Function）の高い画像を好適に復元することができるようになる。

なお、本実施形態においては、位相板１１６を用いた場合について説明するが、他の実施形態による光波面変調素子としては、光の波面を変形させるものであればどのようなものでもよい。例えば、厚みが変化する光学素子、屈折率が変化する光学素子、厚みおよび屈折率が変化する光学素子、光の位相分布を変調可能な液晶素子など、種々の光波面変調素子であってよい。また、説明する実施形態では、被写界深度拡張光学系として、収差が充分に補正された光学系に光波面変調素子である位相板１１６を挿入したものを一例として説明する。しかしながら、光学系のレンズ等で光波面変調素子と同様に規則的に分散した画像を形成できるものを選択し、別個に光波面変調素子を用いずに光学系のみで実現してもよい。その場合は、光学系のレンズ自体が、光波面変調素子を構成しているといえる。

なお、説明する実施形態では、位相板１１６は、着脱可能に構成されている。位相板１１６が挿入されていない場合は、レンズユニット１１２は、通常の光学系として使用可能となる。

固体撮像素子１１８としては、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、受光素子が二次元状に配置された典型的な固体撮像素子を使用することができる。固体撮像素子１１８は、光波面変調素子を含むレンズユニット１１２を通して、その像面上に結像された被写体１２６の像を撮像し、補間演算、色空間変換処理などの種々の画像信号処理を施し、画像データを出力する。説明する実施形態においては、動画が撮影され、画像データは、複数の画像フレームを含み構成される。以下、固体撮像素子１１８から出力され、未だ復元処理が施されていない画像フレーム各々を１次画像と参照する。

データ圧縮部１２０は、固体撮像素子１１８から入力される１以上の画像フレームを、１次画像のまま、圧縮する圧縮処理を行う。圧縮方式としては、特に限定されるものではないが、ＭＰＥＧ（Moving Picture Experts Group）−１，ＭＰＥＧ−２、ＭＰＥＧ−４や、Ｍｏｔｉｏｎ ＪＰＥＧ（Joint Photographic Picture Experts Group）など、不可逆圧縮方式または可逆圧縮方式の種々の動画（連続静止画を含む）圧縮形式とすることができる。本実施形態によるデータ圧縮部１２０は、さらに、画像フレームと、該画像フレームに対する復元処理を行うためのフィルタ係数とを関連付けて保存ないし出力を行う。

上述した光波面変調素子による分散は、光学系におけるレンズのフォーカス位置などの撮像条件に基づいて変化する可能性がある。フィルタ係数決定部１２２は、レンズのフォーカス位置などの撮像条件に対応付けて、そのような撮像条件の下で撮影された１次画像から復元するためのフィルタ係数を複数保持する。フィルタ係数決定部１２２は、撮影時に与えられた撮像条件に基づいて、対応するフィルタ係数を決定し、データ圧縮部１２０に出力する。

図３は、本実施形態によるフィルタ係数決定部１２２が保持するフィルタ係数決定テーブルのデータ構造を例示する図である。図３に示すテーブルでは、フォーカス位置を撮像条件として、各フォーカス位置１，２，・・・，Ｎ毎にフィルタ係数が対応付けられている。図３に示す例示では、注目点を含めて５×５の合計２５点を用いてデコンボリューション処理するためのフィルタ係数が準備されている。フィルタ係数は、所定の撮像条件の下、上述した光波面変調素子により与えられる、点被写体が少なくとも２つの画素にまたがって拡散されるような点像分布関数に基づくものであり、監視者端末１４０での画像フレームの復元処理に使用される。

上述した画像データおよびフィルタ係数の関連付けた保存は、例えば、通常の動画フォーマットにおいて、各フレームに適用するフィルタ係数をメタデータとして保存ないし出力することによって行うことができる。一方で、フィルタ係数は、上述したようにフォーカス位置などの撮像条件に依存するものの、撮像条件が変化しない限り変化はなく、特定の用途では、頻繁に変更されるものではない場合もある。そこで、好適な実施形態では、各フレームに関連付けて、前のフレームと同一か否かを表す情報を付して、変更があった場合にのみ、次フレーム以降に適用するフィルタ係数を付すようにしてもよい。

図４は、本実施形態によるデータ圧縮部１２０が生成する圧縮データのデータ構造を例示する図である。図４（Ａ）に示す圧縮データ３００は、複数のフレーム３１２−１〜３１２−ｔを時系列に従って保持する画像部３１０と、各フレームに対応するフィルタ係数を時系列に従って保持するフィルタ係数部３２０とを含み構成されている。

図４（Ａ）に示す圧縮データ３００のフィルタ係数部３２０には、フレームの前後で適用するフィルタ係数が異なるか否かを示す変更タグが含まれる。変更タグが変更を示す場合（変更タグ＝１）は、その変更タグにフィルタ係数が後続する。一方、変更タグが変更されないことを示す場合（変更タグ＝０）は、次のフレームに対する変更フラグが後続する。このようなデータ構造により、フレーム毎にフィルタ係数セットを保持させる場合に比較して、冗長なデータ伝送およびデータ保存を避けることが可能となる。また、フレーム毎にフィルタ係数を変更可能に構成することにより、フォーカス位置が経時的に変化する用途などに好適に用いることができる。

図４（Ｂ）に示す圧縮データ３５０は、複数のフレーム３５２−１〜ｔが、対応するフィルタ係数セットを与える情報と共に、時系列に従って保持される形式を採用する。図４（Ｂ）に示す圧縮データ３５０では、複数のフレーム３５２−１〜３５２−ｔが時系列に沿って並べられているが、前フレームから適用するフィルタ係数が変更されるフレーム３５２−１，３５２−４に対しては、さらに、フィルタ係数３５４−１，３５４−４が付されている。図４（Ｂ）に示すようなデータ構造によっても、フレーム毎にフィルタ係数セットを保持させる場合に比較して、冗長なデータ伝送およびデータ保存を避けることが可能となる。

また、図４に示す圧縮データ３００、３５０は、補正データとしてフィルタ係数自体を含んでいる。しかしながら、特に限定されるものではなく、他の実施形態では、監視カメラ１１０および監視者端末１４０の両者間において同一のフィルタ係数を特定することができるような事前合意があれば、フィルタ係数を識別する識別子など、フィルタ係数を与える情報を補正データとして圧縮データに含めるようにしてもよい。この場合、データ量やトラフィックの観点から有利である。

さらに、画像フレームと補正データとの関連付けは、図４に示すように、画像フレームの本体データとメタデータというように一体のデータとして提供することは必ずしも要さない。他の実施形態では、画像フレームとそれに対する適切なフィルタ係数とが関連付けられる限り、複数の画像フレームを保持する画像データと、複数の画像フレームに対するフィルタ係数を与える補正データとは、分離して提供されてもよい。

さらに、焦点深度を拡大するカメラの用途としては、フィルタ係数が固定で利用する場合も多い。フィルタ係数が固定の場合には、監視カメラ１１０および監視者端末１４０間で、カメラの位相板１１６に応じて用いるべきフィルタ係数セットの合意を取っておけばよい。すなわち、本実施形態において、画像フレームと、補正データとを関連付けるとは、画像フレームに対して適用すべきフィルタ係数を特定できる形で、画像フレームと、適用すべきフィルタ係数を与える補正データとを提供することをいう。

なお、以下では、複数フレーム３１２の画像部３１０と、対応するフィルタ係数部３２０とが結合ざれた、図４（Ａ）に示す形式の圧縮データ３００を一例として用いながら説明を行う。したがって、説明する実施形態において、データ圧縮部１２０は、固体撮像素子１１８の後段側に設けられる、１次画像を圧縮する圧縮手段、および出力された１次画像と補正データとを結合する結合手段として機能する。

イーサネット（登録商標）ポート１２４は、データ圧縮部１２０で画像データおよびフィルタ係数データが圧縮されて生成された圧縮データを、パケットにして、ネットワーク１０２を介して、画像保管サーバ１３０または監視者端末１４０に出力する。説明する実施形態において、イーサネット（登録商標）ポート１２４は、１次画像と補正データとを関連付けて出力する出力手段を構成する。

図５は、本実施形態による、監視カメラ１１０と通信する画像保管サーバ１３０および監視者端末１４０の構成を示すブロック図である。図５に示す画像保管サーバ１３０は、通信部１３２と、制御部１３４と、画像格納部１３６とを含み構成される。

通信部１３２は、監視カメラ１１０や監視者端末とのネットワーク１０２を介した通信を行うためのネットワーク・アダプタ、プロトコル・スタックなどを含む。制御部１３４は、ＣＰＵ（Central Processing Unit）などのプロセッサを含み構成され、画像保管サーバ１３０の全体制御を行う。

画像格納部１３６は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などのストレージ・デバイスを含み構成される。画像格納部１３６は、ネットワーク１０２を介して監視カメラ１１０から受信した圧縮データを、ストレージ・デバイスに保存する。圧縮データ３００は、上述したように、画像フレームの画像部３１０と、画像フレームに応じたフィルタ係数データのフィルタ係数部３２０とが結合されたデータ構造を有している。説明する実施形態において、画像格納部１３６は、１次画像と、該１次画像に応じた補正データとを関連付けて記憶する記憶手段を構成する。

制御部１３４は、通信部１３２が監視カメラ１１０から受信した圧縮データを画像格納部１３６に格納させる制御を行う。制御部１３４は、さらに、通信部１３２が監視者端末１４０から受信した画像取得要求に応答して、要求された圧縮データを画像格納部１３６から読み出し、要求元の監視者端末に対し、通信部１３２により送信する制御を行う。

図５には、さらに、監視カメラ１１０により記録された画像に対し、画像表示のため画像復元処理を施す監視者端末１４０が示されている。図５に示す監視者端末１４０は、制御部１４４と、通信部１４２と、データ分離部１４６と、画像解凍部１４８と、復元フィルタ処理部１５０と、画像表示部１５２と、操作部１５４とを含み構成される。本実施形態において、監視者端末１４０上では、ＲＯＭやＨＤＤからオペレーティング・システムやその上で動作する監視アプリケーションのプログラムが読み出され、メモリ上に展開され、これによりこれらの機能部１４２〜１５４が実現される。

監視者端末１４０の制御部１４４は、ＣＰＵなどのプロセッサを含み構成され、監視者端末１４０の全体制御を行う。制御部１４４は、操作部１５４を介して行われた監視アプリケーションの画面に対するユーザ操作を獲得し、ユーザ操作に基づいて、各処理部および監視カメラ１１０、画像保管サーバ１３０に対し指令を行う。通信部１４２は、監視カメラ１１０や画像保管サーバ１３０とのネットワーク１０２を介した通信を行うためのネットワーク・アダプタ、プロトコル・スタックなどを含む。通信部１４２は、制御部１４４の制御の下、監視カメラ１１０または画像保管サーバ１３０から圧縮データを受信するものであり、画像データとフィルタ係数データとを関連付けて取得する取得手段を構成する。

データ分離部１４６は、監視カメラ１１０または画像保管サーバ１３０から受信した圧縮データから、まず画像データとフィルタ係数データとに分離する。画像データとフィルタ係数データとの分離は、上述したデータ圧縮部１２０で行われた処理の逆手順で行うことができる。例えば、画像データを読み取り、そのメタデータからフィルタ係数領域を抽出することにより、フィルタ係数データを得ることができる。そして分離したデータのうち、圧縮データ３００の画像部３１０のデータを画像解凍部１４８へ、フィルタ係数部３２０のフィルタ係数を復元フィルタ処理部１５０へ出力する。本実施形態において、データ分離部１４６は、復元フィルタ処理部１５０の前段側に設けられ、結合された１次画像と補正データとを分離する分離手段として機能する。

画像解凍部１４８は、画像部３１０のデータを解凍して、フレーム毎の１次画像を抽出し、画像フレーム各々を復元フィルタ処理部１５０に出力する。本実施形態において、画像解凍部１４８は、復元フィルタ処理部１５０の前段側に設けられ、１次画像を解凍する解凍手段として機能する。

復元フィルタ処理部１５０は、画像解凍部１４８から入力される画像フレームをカウントしながら、処理対象の画像フレームに対応するフィルタ係数を用いて復元フィルタ処理を施す。１次画像から復元された２次画像の画像フレームは、画像表示部１５２に出力される。本実施形態において、復元フィルタ処理部１５０は、監視カメラ１１０から分離され、監視カメラ１１０と非同期で動作する、画像を復元する補正処理を施す画像処理手段として機能する。

以下、被写界深度拡張光学系に基づく復元フィルタ処理について説明する。カメラで撮影された画像ｇ（ｘ，ｙ）は、下記式（１）に示すように、被写体の原画像ｆ（ｘ，ｙ）と、劣化関数ｈ（ｘ，ｙ）とのコンボリューションによって表される。つまり、カメラで撮影された画像ｇ（ｘ，ｙ）は、被写体の原画像ｆ（ｘ，ｙ）が、所定の劣化関数ｈ（ｘ，ｙ）により劣化した劣化画像といえる。そして、復元フィルタ処理は、劣化画像ｇ（ｘ，ｙ）から原画像ｆ（ｘ，ｙ）を推定する逆問題といえる。下記式（１）をフーリエ変換し、整理すると、下記式（２）が得られる。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊ｈ（ｘ，ｙ） …（１）
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）・Ｈ^−１（ｕ，ｖ） …（２）

上記式（１）における「＊」は、コンボリューション演算を表し、上記式（２）における「・」は、積を表す。また、上記式（２）中、Ｆ（ｕ，ｖ）、Ｇ（ｕ，ｖ）およびＨ（ｕ，ｖ）は、それぞれ、ｆ（ｘ，ｙ）、ｇ（ｘ，ｙ）、ｈ（ｘ，ｙ）のフーリエ変換であり、ｕおよびｖは、画像座標系におけるｘ方向およびｙ方向の空間周波数を表す。上記式（２）において、Ｈ^−１（ｕ，ｖ）は、劣化関数のフーリエ変換の逆数であり、周波数領域における逆フィルタと呼ばれる。

上記式（２）によれば、原画像ｆ（ｘ，ｙ）は、劣化画像のフーリ変換Ｇ（ｕ，ｖ）と、逆フィルタＨ^−１との積を逆フーリエ変換することで復元することができる。あるいは、逆フィルタＨ^−１をフーリエ逆変換して、劣化画像ｇ（ｘ，ｙ）に重畳積分することによっても復元することができる。

上記劣化関数ｈ（ｘ，ｙ）は、点光源の場合の劣化画像（インパルス応答）として観測され、点像分布関数または点広がり関数と呼ばれる。点像分布関数ｈ（ｘ，ｙ）が既知であれば、そのフーリエ変換の逆数を取ることにより、逆フィルタＨ^−１（ｕ，ｖ）を計算することができる。

被写界深度拡張光学系では、所定の焦点ずらし量の範囲において、劣化の仕方が一定となるような、つまり略一定の点像分布関数を与えるような光波面変調素子が選ばれる。このため、１種のデコンボリューション・フィルタを用意すれば、焦点はずれ量によらず、好適に鮮明な画像を復元することができる。

上述したように、光波面変調素子による分散は、光学系におけるレンズのフォーカス位置などの撮像条件に基づいて変化する。このため、特定の光学系において、種々の撮像条件ｉに対応して点像分布関数ｈ_ｉ（ｘ，ｙ）を観測し、各フィルタ係数を、撮像条件に応じて決定するためにフィルタ係数決定部１２２に保持させる。そして、復元フィルタ処理部１５０は、画像フレームに対応付けられたフィルタ係数を用いて、デコンボリューション・フィルタ処理を行う。なお、復元フィルタ処理は、上記式（１）および（２）による逆フィルタとして説明した。しかしながら、特にこれに限定されるものではなく、ノイズの影響を考慮した画像劣化モデルに基づき、原画像と復元画像との誤差を最小化するようなウィーナフィルタ（Weiner Filter）など他のフィルタを適用してもよい。

画像表示部１５２は、復元フィルタ処理部１５０により１次画像から復元された２次画像の画像フレームに基づき画像表示する。説明する実施形態において、画像表示部１５２は、画像出力する画像出力手段を構成する。なお、画像出力としては、ディスプレイに対する画像表示の他、プロジェクタでの投影表示、動画像の画像フレーム、または静止画像の印刷出力、ファクシミリ送信などを挙げることができる。

操作部１５４は、監視者端末１４０を操作する監視者からの監視アプリケーション画面を介した各種指示を受け付ける入力デバイスを含む。操作部１５４が受け付ける指示としては、監視カメラ１１０からのリアルタイム画像表示指示、画像保管サーバ１３０からの保管された録画像表示指示、対象とする画像フレーム群（例えば時間で指定される。）の選択などを挙げることができる。説明する実施形態において、操作部１５４は、例えば開始時間を指定して、復元させる対象となる画像フレーム群の選択を受け付ける選択受付手段を構成する。

なお、復元フィルタ処理部１５０は、すべての画像フレームに対し、復元フィルタ処理を施すことを要さない。制御部１４４は、操作部１５４への指示に基づいて、復元させる対象として選択された画像フレーム群に対する復元フィルタ処理を有効化する信号を復元フィルタ処理部１５０に対し出力する。復元フィルタ処理部１５０は、制御部１４４から復元フィルタ処理の有効化または無効の切り替え通知を受信し、有効化された期間中は、画像解凍部１４８から送信される画像フレームに対し復元フィルタ処理を施す。一方、無効化の通知を受信し、無効化された期間中は、復元をせずそのまま、画像表示部１５２に出力する。画像表示部１５２は、復元フィルタ処理部１５０による復元フィルタ処理が無効化されている場合は、復元がなされていない１次画像の画像フレームを画像出力することになる。

なお、説明する実施形態では、リアルタイム画像表示の指示が行われた場合は、復元フィルタ処理が無効化され、ぼけた画像のまま画像表示される。一方、録画像表示の指示が行われた場合は、復元フィルタ処理が有効化され、１次画像から復元された２次画像の画像フレームが画像表示される。しかしながら、他の実施形態では、録画像表示の指示が行われた場合でも、通常は、復元フィルタ処理を無効化したまま、ぼけた画像のまま画像表示を行うように構成してもよい。そして、明示的な復元フィルタ処理の有効化の指示を受けた場合にだけ、復元された２次画像の画像フレームを画像表示してもよい。

図６は、本実施形態において、監視者端末１４０で監視アプリケーションが起動されたときにディスプレイに表示されるアプリケーション画面を例示する。図６に示すアプリケーション画面２００は、画像が表示される画像表示領域２０２と、画像表示領域２０２に映し出す画像を指定するためのＧＵＩ（Graphical User Interface）部品２０４〜２０８を含む。ＧＵＩ部品としては、リアルタイム画像表示を指示するリアルタイム表示ボタン２０４と、画像保管サーバ１３０に保管された録画像表示を指示する録画表示ボタン２０６と、録画像表示における再生開始時間を指定するための再生開始時間設定ボックス２０８とが示されている。

監視者は、カメラ設置ルーム１０４の様子を見たいときには、リアルタイム表示ボタン２０４を押下すればよい。また、画像保管サーバ１３０が保管する録画像を見たいときには、監視者は、再生開始時間設定ボックス２０８に所望の再生開始時刻を設定し、録画表示ボタン２０６を押下すればよい。

以下、図７および図８を参照しながら、リアルタイム画像表示および録画像表示の場合の監視アプリケーションが実行する処理について説明する。図７は、本実施形態による監視者端末１４０が実行する、リアルタイム画像表示処理を示すフローチャートである。図８は、本実施形態による監視者端末１４０が実行する、録画像表示処理を示すフローチャートである。

まず、リアルタイム画像表示処理について説明する。図７に示すリアルタイム画像表示処理は、例えば、監視者が監視アプリケーション画面上のリアルタイム表示ボタン２０４を押下したことに応答して、ステップＳ１００から開始される。ステップＳ１０１では、制御部１４４は、通信部１４２により、監視カメラ１１０へ画像取得要求を送信させる。ステップＳ１０２では、制御部１４４は、復元フィルタ処理部１５０に出力するフィルタ処理の要否を示す信号を切り替えて復元フィルタ処理を無効化する。ステップＳ１０３では、制御部１４４は、監視カメラ１１０からの画像受信が開始されるまでの間（ＮＯの間）待ち受ける。監視カメラ１１０は、画像取得要求に応答して、監視者端末１４０への圧縮データの送信をまもなく開始させる。ステップＳ１０３で、監視カメラ１１０からの画像受信が開始された場合（ＹＥＳ）は、ステップＳ１０４へ処理が進められる。

ステップＳ１０４では、制御部１４４は、通信部１４２により、画像データを受信させて、ステップＳ１０５では、データ分離部１４６により、圧縮データから画像部を分離させる。ステップＳ１０６では、制御部１４４は、画像解凍部１４８により、画像フレームの解凍処理を行わせる。ステップＳ１０７では、制御部１４４は、画像表示部１５２により、アプリケーション画面２００の画像表示領域２０２に、その解凍されたままの１次画像のフレームの画像表示を行わせる。なお圧縮データには、画像フレームにフィルタ係数部が関連づけられているが、復元フィルタ処理部１５０には復元フィルタ処理の無効信号が入力されているので、復元フィルタ処理は実行されない。したがって、画像表示領域２０２に表示される画像フレームは、フィルタ処理が行われていないため、ぼけた画像となっている。これは、復元フィルタ処理をソフトウェア上で実行すると演算時間がかかるため、不必要なリアルタイムの復元フィルタ処理を避けるためである。また、監視する視野に人物が入った場合における各個人のプライバシー保護を兼ねている。

ステップＳ１０８では、監視者からのアプリケーションに対するリアルタイム表示の終了指示を受け付けたか否かを判定する。ステップＳ１０８で、リアルタイム表示の終了指示を未だ受け付けていないと判定された場合（ＮＯ）は、ステップＳ１０４へループさせて、次のフレームに対する処理を進める。一方、ステップＳ１０８で、リアルタイム表示の終了指示を受け付けたと判定された場合（ＹＥＳ）は、ステップＳ１０９へ処理が進められる。ステップＳ１０９では、制御部１４４は、監視カメラ１１０に対し画像取得の終了を通知し、ステップＳ１１０で本処理を終了させる。

引き続き、録画像表示処理について説明する。図８に示す録画像表示処理は、例えば、監視者が監視アプリケーション画面上の録画表示ボタン２０６を押下したことに応答して、ステップＳ２００から開始される。ステップＳ２０１では、制御部１４４は、通信部１４２により、画像保管サーバ１３０へ画像取得要求を送信させる。画像取得要求には、再生開始時間設定ボックス２０８に入力された再生開始時間が指定される。ステップＳ２０２では、制御部１４４は、復元フィルタ処理部１５０に出力するフィルタ処理の要否を示す信号を切り替えて復元フィルタ処理を有効化する。ステップＳ２０３では、制御部１４４は、画像保管サーバ１３０からの画像受信が開始されるまでの間（ＮＯの間）待ち受ける。画像保管サーバ１３０は、画像取得要求に応答して、監視者端末１４０への指定の圧縮データの送信をまもなく開始させる。ステップＳ２０３で、画像保管サーバ１３０からの画像受信が開始された場合（ＹＥＳ）は、ステップＳ２０４へ処理が進められる。

ステップＳ２０４では、制御部１４４は、通信部１４２により、画像データを受信させて、ステップＳ２０５では、データ分離部１４６により、圧縮データから画像部とフィルタ係数部とを分離させる。ステップＳ２０６では、制御部１４４は、画像解凍部１４８により、画像部とフィルタ係数部とをそれぞれ分離された形で解凍させる。ステップＳ２０７では、制御部１４４は、復元フィルタ処理部１５０により、１次画像の画像フレームに対して復元フィルタ処理を施させる。ステップＳ２０８では、通信部１４２により、画像表示部１５２により、アプリケーション画面２００の画像表示領域２０２に、復元された２次画像のフレームの画像表示を行わせる。

録画像表示では、ステップＳ２０２で復元フィルタ処理部１５０には復元フィルタ処理の有効の信号が入力されているので、画像表示領域２０２に表示される画像フレームは、被写界深度が拡張された鮮明な画像となる。これは、特に監視カメラなど分野への撮像装置の応用において、録画像の確認を要するような場合は、被写界の隅々までピントが合ってほしいという要望があり、係る要望に応えるためである。

ステップＳ２０９では、監視者からのアプリケーションに対する録画像表示の終了指示を受け付けたか否かを判定する。ステップＳ２０９で、録画像表示の終了指示を未だ受け付けていないと判定された場合（ＮＯ）は、ステップＳ２０４へループさせて、次のフレームに対する処理を進める。一方、ステップＳ２０９で、終了指示を受け付けたと判定された場合（ＹＥＳ）は、ステップＳ２１０へ処理が進められる。ステップＳ２１０では、制御部１４４は、画像保管サーバ１３０に対し画像取得の終了を通知し、ステップＳ２１１で本処理を終了させる。

なお、上述した説明では、画像部とフィルタ係数部とが分離しやすい形で保存されていることを前提として、データ分離部１４６、画像解凍部１４８および復元フィルタ処理部１５０を、３つの処理部で分離して実装する構成とした。しかしながら、他の実施形態では、圧縮データ３００においてフィルタ係数と画像フレームとが強固に関連付けられている場合など、データ分離部１４６、画像解凍部１４８および復元フィルタ処理部１５０が実行する処理を同じ処理手段で行ってもよい。これにより、処理速度の向上が図られる。

以下、図９を参照しながら、本実施形態による画像保管サーバ１３０および監視者端末１４０のハードウェア構成について説明する。なお、図９は、本実施形態による監視者端末１４０のハードウェア構成を示す図であるが、画像保管サーバ１３０についても同様のハードウェア構成とすることができる。

本実施形態による監視者端末１４０は、デスクトップ型のパーソナル・コンピュータ、ワークステーションなどの汎用コンピュータなどとして構成されている。図９に示す監視者端末１４０は、シングルコアまたはマルチコアのＣＰＵ（Central Processing Unit）１２と、ＣＰＵ１２とメモリとの接続を担うノースブリッジ１４と、該ノースブリッジ１４と専用バスまたはＰＣＩバスを介して接続され、ＰＣＩバスやＵＳＢなどのＩ／Ｏとの接続を担うサウスブリッジ１６とを含む。

ノースブリッジ１４には、ＣＰＵ１２の作業領域を提供するＲＡＭ（Random Access Memory）１８と、映像信号を出力するグラフィックボード２０とが接続される。グラフィックボード２０には、アナログＲＧＢ、ＨＤＭＩ（High-Definition Multimedia Interface；登録商標）、ＤＶＩ（Digital Visual Interface）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）などの映像出力インタフェースを介してディスプレイ５０に接続される。

サウスブリッジ１６には、ＰＣＩ（Peripheral Component Interconnect）２２、ＬＡＮポート２４、ＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）１３９４、ＵＳＢ（Universal Serial Bus）ポート２８、ＨＤＤやＳＳＤなどの補助記憶装置３０、オーディオ入出力３２、シリアルポート３４が接続される。補助記憶装置３０は、コンピュータ装置を制御するためのＯＳ、上述した機能部を実現するための制御プログラムや各種システム情報や各種設定情報を格納する。ＬＡＮポート２４は、監視者端末１４０をネットワーク１０２に接続させるインタフェース機器である。

ＵＳＢポート２８には、キーボード５２およびマウス５４などの入力デバイスが接続されてもよく、当該監視者端末１４０の操作者からの各種指示の入力を受け付けるためのユーザ・インタフェースを提供することができる。本実施形態による監視者端末１４０は、補助記憶装置３０から制御プログラムを読み出し、ＲＡＭ１８が提供する作業空間に展開することにより、ＣＰＵ１２の制御の下、上述した各機能部および各処理を実現する。

なお、上述した実施形態では、各機能部を汎用コンピュータ上で実行される監視アプリケーションのコンポーネントとして説明したが、これに限定されず、監視者端末１４０を専用端末などとして構成してもよい。また、画像保管サーバ１３０は、復元フィルタ処理を実行する監視者端末とは異なる装置として説明した。しかしながら、他の実施形態では、監視者端末１４０に画像保管サーバ機能が実装されていてもよい。さらに、リアルタイムで画像を表示するときは復元フィルタ処理を無効とし、オフラインで表示するときはフィルタ処理を有効とする旨説明したが、特にこれに限定されるものではない。

以上説明した実施形態によれば、光波面変調素子を含む光学系を通して撮像された画像を復元するための演算負荷が、監視カメラ１１０側から分離された監視者端末１４０にオフロードされる。

被写界深度拡張光学系によるぼけた画像は、低周波数成分に偏りが生じるので、ＪＰＥＧなどの離散コサイン変換に基づく圧縮方式で圧縮した場合、その画像から復元された鮮明な画像を圧縮する場合と比較して、圧縮率が高くなる。そのため、復元後に監視カメラ１１０から送信する場合に比較して、監視カメラ１１０側から画像保管サーバ１３０や監視者端末１４０へのデータ伝送量を削減することができ、ネットワーク・トラフィックを軽減することができる。また、防犯カメラなどの用途では、限られたストレージ容量の中で長期間の保存が求められるが、データサイズの削減は、このような用途に有利である。

さらに、上述した監視システム１００では、全フレームに対して復元フィルタ処理を行うのではなく、鮮明な画像を要するシーンのみに復元フィルタ処理を行うことができる。例えば、防犯カメラなどの用途では、通常の場合は閲覧せずに保存し、必要な画像のみ閲覧するということが一般的である。これはリアルタイム処理が必ずしも要さないことを意味する。リアルタイム処理が必要でなければ、従来リアルタイム性を維持するためにハードウェア・ロジックで行なっていた画像復元処理を、ソフトウェアにより実施することができる。その結果、監視カメラ側の回路規模を削減し、ひいては、コストの削減、消費電力の低減、発熱量の低減、装置サイズの小型化に資する。本実施形態による画像処理システムは、上述したようなリアルタイムの閲覧を必ずしも要さない用途に有用である。

また、従来全フレームに対して行なっていた復元補正処理を、必要な一部のフレームに対してのみ行うことになるので、システム全体としての処理量が削減され、省電力も図られる。さらに、画像圧縮の際にフィルタ係数を合わせて保存することによって、監視者端末１４０側の監視者は、必要なフィルタ係数を把握していなくても、正規の画像を入手することができるようになる。

以上説明したように、上述した実施形態によれば、光波面変調素子を含む光学系を通して撮像された画像を復元するための演算負荷を撮像手段側から軽減することができる、画像処理システム、撮像装置およびプログラムを提供することができる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…監視システム、１０２…ネットワーク、１０４…カメラ設置ルーム、１０６…サーバ・ルーム、１０８…監視ルーム、１１０…監視カメラ、１１２…レンズユニット、１１４…絞り、１１６…位相板、１１８…固体撮像素子、１２０…データ圧縮部、１２２…フィルタ係数決定部、１２４…イーサネット（登録商標）ポート、１２６…被写体、１３０…画像保管サーバ、１３２…通信部、１３４…制御部、１３６…画像格納部、１４０…監視者端末、１４２…通信部、１４４…制御部、１４６…データ分離部、１４８…画像解凍部、１５０…復元フィルタ処理部、１５２…画像表示部、１５４…操作部、２００…アプリケーション画面、２０２…画像表示領域、２０４…リアルタイム表示ボタン、２０６…録画表示ボタン、２０８…再生開始時間設定ボックス、３００…圧縮データ、３１０…画像部、３１２…フレーム、３２０…フィルタ係数部、３５０…圧縮データ、３５２…フレーム、３５４…フィルタ係数、１２…ＣＰＵ、１４…ノースブリッジ、１６…サウスブリッジ、１８…ＲＡＭ、２０…グラフィックボード、２２…ＰＣＩ、２４…ＬＡＮポート、２６…ＩＥＥＥ１３９４ポート、２８…ＵＳＢポート、３０…補助記憶装置、３２…オーディオ入出力、３４…シリアルポート、５２…キーボード、５４…マウス

特開２００９−８９０３５号公報 特開２００９−８９０８２号公報

Claims (9)

1. 光波面変調素子を含む光学系を通して撮像し、１次画像を出力する撮像手段と、
   前記１次画像と、前記光波面変調素子により与えられる点像分布関数に基づく前記１次画像に応じた補正データとを関連付けて記憶する記憶手段と、
   前記撮像手段から分離され、前記記憶手段の所定の１次画像に対し、前記所定の１次画像に関連付けられる前記記憶手段の補正データに基づき、画像を復元する補正処理を施す画像処理手段と、
   前記画像処理手段により前記所定の１次画像から復元された２次画像に基づき、画像出力する画像出力手段と
   を含み、前記１次画像は、動画のフレームであり、前記補正データは、フレーム間での適用する補正係数の変更を示す情報と、該情報が補正係数の変更を示す場合に変更にかかる補正係数を与える情報とを含む、画像処理システム。
2. 光波面変調素子を含む光学系を通して撮像し、１次画像を出力する撮像手段と、
   前記１次画像と、前記光波面変調素子により与えられる点像分布関数に基づく前記１次画像に応じた補正データとを関連付けて記憶する記憶手段と、
   前記撮像手段から分離され、前記記憶手段の所定の１次画像に対し、前記所定の１次画像に関連付けられる前記記憶手段の補正データに基づき、画像を復元する補正処理を施す画像処理手段と、
   前記画像処理手段により前記所定の１次画像から復元された２次画像に基づき、画像出力する画像出力手段と、
   復元させる対象となる１次画像群の選択を受け付ける選択受付手段と、
   前記選択受付手段により復元させる対象として選択された前記１次画像群の各画像に対する前記画像処理手段による補正処理を有効化する制御手段と
   を含む、画像処理システム。
3. 前記画像出力手段は、前記画像処理手段による補正処理が無効化されている場合、前記画像処理手段により復元されていない１次画像に基づき画像出力することを特徴とする、請求項２に記載の画像処理システム。
4. 前記撮像手段の後段側に設けられ、前記撮像手段から出力された１次画像を圧縮する圧縮手段と、
   前記画像処理手段の前段側に設けられ、前記圧縮手段により圧縮された１次画像を解凍し、前記画像処理手段に出力する解凍手段と
   をさらに含む、請求項１〜３のいずれか１項に記載の画像処理システム。
5. 光波面変調素子を含む光学系を通して撮像し、１次画像を出力する撮像手段と、
   前記１次画像と、前記光波面変調素子により与えられる点像分布関数に基づく前記１次画像に応じた補正データとを関連付けて記憶する記憶手段と、
   前記撮像手段から分離され、前記記憶手段の所定の１次画像に対し、前記所定の１次画像に関連付けられる前記記憶手段の補正データに基づき、画像を復元する補正処理を施す画像処理手段と、
   前記画像処理手段により前記所定の１次画像から復元された２次画像に基づき、画像出力する画像出力手段と、
   前記撮像手段の後段側に設けられ、前記撮像手段から出力された１次画像を圧縮する圧縮手段と、
   前記画像処理手段の前段側に設けられ、前記圧縮手段により圧縮された１次画像を解凍し、前記画像処理手段に出力する解凍手段と
   を含む、画像処理システム。
6. １次画像の撮像条件に基づき補正係数を決定する決定手段をさらに含み、前記補正係数は、前記撮像条件の下、前記光波面変調素子により与えられる、点被写体が少なくとも２つの画素にまたがって拡散されるような点像分布関数に基づくフィルタ係数である、請求項１〜５のいずれか１項に記載の画像処理システム。
7. 前記撮像手段の後段側に設けられ、前記撮像手段から出力された１次画像と、補正データとを結合する結合手段と、
   前記画像処理手段の前段側に設けられ、結合された１次画像と補正データとを分離する分離手段と
   をさらに含む、請求項１〜６のいずれか１項に記載の画像処理システム。
8. 光波面変調素子を含む光学系と、
   前記光学系を通して像面上に結像された像を撮像する撮像素子と、
   前記撮像素子が撮像した１次画像と、前記１次画像に応じた補正データとを関連付けて出力する出力手段と
   を含み、前記１次画像は、動画のフレームであり、前記補正データは、前記光波面変調素子により与えられる点像分布関数に基づくものであり、かつ、前記撮像素子から分離された画像処理装置で、関連付けられる１次画像に対し補正処理を施すことによって、画像出力用の２次画像に復元するための補正データであり、かつ、フレーム間での適用する補正係数の変更を示す情報と、該情報が補正係数の変更を示す場合に変更にかかる補正係数を与える情報とを含む、撮像装置。
9. コンピュータを、
   光波面変調素子を含む光学系を通して撮像された所定の１次画像と、前記光波面変調素子により与えられる点像分布関数に基づく前記所定の１次画像に応じた補正データとを関連付けて取得する取得手段、
   前記所定の１次画像に対し、前記所定の１次画像に関連付けて取得された補正データに基づき、画像を復元する補正処理を施す画像処理手段、および
   前記画像処理手段により前記所定の１次画像から復元された２次画像に基づき画像出力する画像出力手段
   として機能させるためのプログラムであり、前記１次画像は、動画のフレームであり、前記補正データは、フレーム間での適用する補正係数の変更を示す情報と、該情報が補正係数の変更を示す場合に変更にかかる補正係数を与える情報とを含む、プログラム。