JP6655790B2 - 撮像装置及び撮像システム - Google Patents

Description

本開示は、圧縮センシングに用いられる撮像装置等に関する。

カラー画像を撮像するためには、光の３原色に相当する赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の３つの異なる波長域の情報を取得する必要がある。３つのイメージセンサでＲ、Ｇ及びＢの情報を取得するカラー撮像装置も存在する。しかし、多くのカラー撮像装置は、小型化及び低コスト化のために１つのイメージセンサしか搭載していない。そのため、多くのカラー撮像装置は、１つのイメージセンサでＲ、Ｇ及びＢの情報を取得する。

従来、画素毎にＲ、Ｇ及びＢのうち１つの波長域の情報を取得し、デモザイキングと呼ばれる処理を行うことで、画素毎にＲ、Ｇ及びＢの３つの波長域の情報を取得する手法が知られている。

図１９は、広く利用されているベイヤー配列を示した模式図である（例えば、特許文献１）。ベイヤー配列では、人間の視覚特性に近いＧの画素が全体の画素の１／２を占め、Ｒ及びＢの画素がそれぞれ全体の画素の１／４を占める。そして、デモザイキング処理によって、すべての画素に対してＲ、Ｇ及びＢの３つの波長域の情報が取得される。

一方、特許文献２では、ランダムな色パターンで光フィルタ要素を配置し、サンプルデータ集合に対して圧縮センシング技術を適用することでデモザイキングを行う技術が開示されている。

また、撮像及び画像処理等に関連する技術として、特許文献１及び２の他に非特許文献１〜５等がある。非特許文献１は、画像からノイズを除去するためのアルゴリズムに関連する。非特許文献２は、カラー画像を復元するための技術に関連する。非特許文献３は、圧縮センシング技術における復元方法に関連する。非特許文献４は、画像処理のアルゴリズムに関連する。非特許文献５は、カラー画像のデモザイキングに関連する。

米国特許第５６２９７３４号明細書 特表２０１３−５１１９２４号公報 Ｒｕｄｉｎ Ｌ． Ｉ．， Ｏｓｈｅｒ Ｓ． Ｊ．， ａｎｄ Ｆａｔｅｍｉ Ｅ．： Ｎｏｎｌｉｎｅａｒ ｔｏｔａｌ ｖａｒｉａｔｉｏｎ ｂａｓｅｄ ｎｏｉｓｅ ｒｅｍｏｖａｌ ａｌｇｏｒｉｔｈｍｓ． Ｐｈｙｓｉｃａ Ｄ， ｖｏｌ． ６０， ｐｐ． ２５９-２６８， １９９２ Ｓｈｕｎｓｕｋｅ Ｏｎｏ， Ｉｓａｏ Ｙａｍａｄａ， "Ｄｅｃｏｒｒｅｌａｔｅｄ Ｖｅｃｔｏｒｉａｌ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ"， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１４ Ｊ． Ｍａ， "Ｉｍｐｒｏｖｅｄ Ｉｔｅｒａｔｉｖｅ Ｃｕｒｖｅｌｅｔ Ｔｈｒｅｓｈｏｌｄｉｎｇ ｆｏｒ Ｃｏｍｐｒｅｓｓｅｄ Ｓｅｎｓｉｎｇ ａｎｄ Ｍｅａｓｕｒｅｍｅｎｔ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ ＆ Ｍｅａｓｕｒｅｍｅｎｔ， ｖｏｌ． ６０， ｎｏ． １， ｐｐ． １２６−１３６， ２０１１ Ｍ． Ａｈａｒｏｎ， Ｍ． Ｅｌａｄ， ａｎｄ Ａ． Ｍ． Ｂｒｕｃｋｓｔｅｉｎ， "Ｋ−ＳＶＤ： Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｄｅｓｉｇｎｉｎｇ Ｏｖｅｒｃｏｍｐｌｅｔｅ Ｄｉｃｔｉｏｎａｒｉｅｓ ｆｏｒ Ｓｐａｒｓｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，" ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ． ５４， ｎｏ． １１， ｐｐ． ４３１１−４３２２， ２００６ Ｄ．Ｋｉｋｕ， Ｙ．Ｍｏｎｎｏ， Ｍ．Ｔａｎａｋａ ａｎｄ Ｍ．Ｏｋｕｔｏｍｉ， "Ｍｉｎｉｍｉｚｅｄ−Ｌａｐｌａｃｉａｎ ｒｅｓｉｄｕａｌ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｏｒ ｃｏｌｏｒ ｉｍａｇｅ ｄｅｍｏｓａｉｃｋｉｎｇ"， ＩＳ＆Ｔ／ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ （ＥＩ）， ２０１４．

しかしながら、特許文献１及び２では、イメージセンサの各画素において、Ｒ、Ｇ及びＢのうち１つの波長域の情報しか取得されない。そのため、デモザイキング後のカラー画像の解像度が低下し、偽色とよばれるアーチファクトが発生し得る。また、複数の画素で取得される情報の量が大きい場合、情報の伝送速度が低下し、また、情報を蓄積するための容量が増大する。

本願の、限定的ではない例示的なある実施形態は、画像を生成するための情報をより適切に取得することができる撮像装置等を提供する。

本開示の一態様にかかる撮像装置は、光信号を結像する結像光学系と、複数の画素を有し、前記複数の画素で結像された前記光信号を電気信号に変換する撮像素子と、前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素の画素毎及び複数の波長域の波長域毎に異なる光透過率を有するカラーフィルタと、前記撮像素子が取得した前記電気信号を圧縮する送信データ圧縮回路とを備え、前記複数の画素の画素毎に前記カラーフィルタが前記複数の波長域に対して有する複数の光透過率に関する光透過率群と、０とは異なる係数を含む、前記複数の画素で共通の係数群との積和が、前記複数の画素において等しく、前記係数群は、比視感度で定められる。

本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。

上述の一般的かつ特定の態様は、システム、方法及びコンピュータプログラムを用いて実装されてもよいし、システム、方法及びコンピュータプログラムの組み合わせを用いて実現されてもよい。

本開示の一態様にかかる撮像装置等によれば、画像を生成するための情報をより適切に取得することが可能である。

図１は、実施の形態にかかる撮像システムの構成を示す模式図である。 図２は、実施の形態にかかる撮像装置のハードウェア構成を示す模式図である。 図３は、実施の形態にかかるカラーフィルタを利用した撮像装置を示す模式図である。 図４は、実施の形態にかかる３つのフィルタの透過率を示す模式図である。 図５は、実施の形態にかかるカラーフィルタの模式図である。 図６は、実施の形態にかかる送信データ圧縮回路の処理の手順を示すフローチャートである。 図７は、実施の形態にかかる変調画像をラスタスキャン順に画素毎に圧縮する処理を説明するための模式図である。 図８は、実施の形態にかかる変調情報及び符号化変調画像データを伝送するための伝送フォーマットの例を示す模式図である。 図９は、実施の形態にかかる画像生成装置の主要な処理の手順を示すフローチャートである。 図１０は、実施の形態にかかる受信回路及び受信データ復号回路の処理の手順を示すフローチャートである。 図１１は、実施の形態にかかる撮像素子の画素数がＮ＝１６である場合の変調画像及び生成画像を示す模式図である。 図１２は、実施の形態におけるカラー画像生成部で生成されたカラー画像の一例に対応するＲチャネル画像を示す図である。 図１３は、実施の形態におけるカラー画像生成部で生成されたカラー画像の一例に対応するＧチャネル画像を示す図である。 図１４は、実施の形態におけるカラー画像生成部で生成されたカラー画像の一例に対応するＢチャネル画像を示す図である。 図１５は、実施の形態におけるカラー画像生成部で生成されたカラー画像の一例を示す図である。 図１６は、人間の目が光の波長毎の明るさを感じる強さに対応する比視感度曲線を示す模式図である。 図１７は、実施の形態にかかるカラーフィルタの第１変形例の模式図である。 図１８は、実施の形態にかかるカラーフィルタの第２変形例の模式図である。 図１９は、ベイヤー配列を示す模式図である。

（本開示の基礎となる知見）
例えば、特許文献１及び２に記載の技術では、１つの画素に対して、Ｒ（赤）、Ｇ（緑）及びＢ（青）のいずれかの情報しか取得されない。したがって、これらの技術によって取得される情報は必ずしも十分ではなく、適切な画像が生成されない可能性がある。

そのため、例えば、１つの画素に対して、Ｒ、Ｇ及びＢが混合された情報が取得される。その際、Ｒ、Ｇ及びＢが混合された情報を圧縮センシング技術によってＲ、Ｇ及びＢのそれぞれの情報に分離することができるように、各画素に対してＲ、Ｇ及びＢがランダムに混合される。これにより、より多くの情報が得られ、得られた情報から圧縮センシング技術によって適切な画像が生成される。

一方で、画像に関する情報の圧縮において、近傍（隣接）画素間の類似性が用いられる場合がある。しかしながら、Ｒ、Ｇ及びＢがランダムに混合されることで、近傍画素間の類似性が低下すると想定される。そのため、Ｒ、Ｇ及びＢがランダムに混合された情報をさらに圧縮することは困難である。

そこで、本開示の一態様にかかる撮像装置は、光信号を結像する結像光学系と、複数の画素を有し、前記複数の画素で結像された前記光信号を電気信号に変換する撮像素子と、前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素の画素毎及び複数の波長域の波長域毎に異なる光透過率を有するカラーフィルタと、前記撮像素子が取得した前記電気信号を圧縮する送信データ圧縮回路とを備え、前記複数の画素の画素毎に前記カラーフィルタが前記複数の波長域に対して有する複数の光透過率に関する光透過率群と、０とは異なる係数を含む、前記複数の画素で共通の係数群との積和が、前記複数の画素において等しい。

これにより、撮像装置は、カラーフィルタが有する様々な透過率を介して、十分な情報を取得することができる。一方、カラーフィルタが画素毎に複数の波長域に対して有する複数の光透過率に、複数の画素で共通の特性が与えられる。そのため、近傍（隣接）画素間の類似性の低下が抑制される。したがって、撮像装置は、近傍画素間の類似性を用いて、効率的な圧縮を行うことができる。すなわち、撮像装置は、画像を生成するための情報をより適切に取得することができる。

例えば、前記係数群は、互いに等しい複数の係数で構成され、前記複数の画素の画素毎に前記カラーフィルタが前記複数の波長域に対して有する複数の光透過率の総和が、前記複数の画素において等しくてもよい。

これにより、信号レベルに関する感度が複数の画素において均等化され、信号レベルに関する近傍画素間の類似性が、撮像素子で取得される電気信号に反映される。したがって、撮像装置は、近傍画素間の類似性を用いて、効率的な圧縮を行うことができる。

また、例えば、前記係数群は、比視感度で定められてもよい。

これにより、人が感じる明るさに関する感度が複数の画素において均等化され、人が感じる明るさに関する近傍画素間の類似性が、撮像素子で取得される電気信号に反映される。したがって、撮像装置は、近傍画素間の類似性を用いて、効率的な圧縮を行うことができる。

また、例えば、前記係数群は、前記複数の波長域のそれぞれに対する輝度への変換係数で構成されてもよい。

これにより、輝度に関する感度が複数の画素において均等化され、輝度に関する近傍画素間の類似性が、撮像素子で取得される電気信号に反映される。したがって、撮像装置は、近傍画素間の類似性を用いて、効率的な圧縮を行うことができる。

また、例えば、前記複数の画素は、第１画素、及び、前記第１画素に隣接する第２画素を含み、前記送信データ圧縮回路は、前記電気信号において前記第１画素に対する値と前記電気信号において前記第２画素に対する値との差分を符号化することにより、前記電気信号を圧縮してもよい。

これにより、撮像素子で取得された電気信号が、隣接画素間の類似性に基づいて効率的に圧縮される。

また、本開示の一態様にかかる撮像システムは、前記撮像装置と、画像生成装置とを備え、前記撮像装置は、さらに、前記送信データ圧縮回路で圧縮された前記電気信号を送信する送信回路を備え、前記画像生成装置は、前記送信回路で送信された前記電気信号を受信する受信回路と、前記受信回路で受信された前記電気信号の圧縮を解除する受信データ復号回路と、前記複数の画素及び前記複数の波長域に対して前記カラーフィルタが有する複数の光透過率を示す変調情報、及び、前記受信データ復号回路で圧縮が解除された前記電気信号を用いて、画像を生成する画像生成回路とを備えてもよい。

これにより、画像生成装置は、撮像装置から圧縮された電気信号を効率的に受信することができる。また、画像生成装置は、光透過率に関する変調情報によらず、電気信号の圧縮を効率的に解除することができる。そして、画像生成装置は、圧縮が解除された電気信号、及び、変調情報を用いて、画像を適切に生成することができる。すなわち、撮像システムは、撮像装置において電気信号を適切に取得し、画像生成装置において画像を適切に生成することができる。

さらに、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

以下、添付の図面を参照しながら、撮像装置及び画像生成装置を有する撮像システムに関する実施の形態を説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置、構成要素の接続形態、ステップ、及び、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、「等しい」の表現には、実質的に等しいこと、及び、ほぼ等しいことも含まれる。例えば、２つの値に数％の誤差があっても、これらの値は等しいとみなされ得る。また、表現上、第１、第２及び第３などの序数が、構成要素などに対して、付け加えられてもよいし、付け替えられてもよいし、取り除かれてもよい。

（実施の形態）
図１は、本実施の形態にかかる撮像システム１０の構成を示す模式図である。本実施の形態の撮像システム１０は、撮像装置１１と画像生成装置１２とを備える。撮像装置１１は、変調部１０１と、変調画像取得部１０２と、送信データ圧縮回路１０３と、送信回路１０４とを有している。一方、画像生成装置１２は、受信回路１０５と、受信データ復号回路１０６と、カラー画像生成回路（画像生成回路）１０７と、出力インタフェース装置（出力Ｉ／Ｆ装置）１０８とを有している。

まず、図２を参照しながら撮像装置１１を説明する。図２は、変調部１０１及び変調画像取得部１０２の構成の詳細を示す。図２に示されるように、変調部１０１は、結像光学系２０１及びカラーフィルタ２０２に対応する。また、変調画像取得部１０２は、撮像素子２０３に対応する。

（結像光学系２０１）
結像光学系２０１は、レンズ（図示せず）を有する。結像光学系２０１は、さらに、レンズ位置調整機構（図示せず）を有していてもよい。レンズは被写体からの光を集めて、光信号を結像する。結像された光信号は「被写体の像」を示す。結像光学系２０１は、１枚のレンズを有していてもよいし、複数のレンズを有していてもよい。レンズ位置調整機構は、例えば、レンズによる結像位置を調整するためのアクチュエータ、及び、アクチュエータの駆動量を制御する制御回路（コントローラ）である。

（カラーフィルタ２０２）
カラーフィルタ２０２は、結像光学系２０１（具体的には、レンズ）から出射した光が撮像素子２０３に至るまでの光路上に配置される。典型的には、カラーフィルタ２０２は、撮像素子２０３の前面に接して配置される。

カラーフィルタ２０２は、撮像素子２０３に入射する複数の波長域の光をフィルタリングするために用いられる。カラーフィルタ２０２は、複数の画素のそれぞれ及び複数の波長域のそれぞれに対して光透過率を有している。具体的には、カラーフィルタ２０２の光透過率は、撮像素子２０３の各画素に対応する位置に応じて異なる。さらに、カラーフィルタ２０２の光透過率は、カラーフィルタ２０２を透過する光の波長域に応じても異なる。

なお、撮像素子２０３の「前面」とは、撮像素子２０３の上面、又は、撮像素子２０３の受光面としても規定され得る。また、撮像素子２０３の各画素に対応する位置における光透過率を単に画素に対する光透過率と呼ぶ場合がある。また、光透過率を単に透過率と呼ぶ場合がある。カラーフィルタ２０２の更なる詳細は後に説明する。

（撮像素子２０３）
撮像素子２０３は、複数の画素を有し、複数の画素に結像光学系２０１が結像した光信号を電気信号に変換する。この電気信号は、画素毎に変調された画像である変調画像を示す。すなわち、撮像素子２０３は、変調画像を撮像する。撮像素子２０３は、レンズの焦点距離に配置される。

（送信データ圧縮回路１０３）
送信データ圧縮回路１０３は、撮像素子２０３が撮像した変調画像の圧縮及び符号化を行う。送信データ圧縮回路１０３の更なる詳細は後に説明する。

（送信回路１０４）
送信回路１０４は、送信データ圧縮回路１０３が変調画像を符号化することで得られる符号化変調画像データと、カラーフィルタ２０２の複数の透過率を示す変調情報とを画像生成装置１２に送信する。送信は、有線通信及び無線通信のいずれで行われてもよい。送信処理の詳細は後述する。

なお、本実施の形態では、撮像システム１０が、送信回路１０４及び受信回路１０５を備え、概ねリアルタイムで符号化変調画像データ及び変調情報を送受信して処理を行うことが想定されている。しかしながら、撮像システム１０は、符号化変調画像データ及び変調情報を保存する記憶装置（例えばハードディスクドライブ）を備え、非リアルタイムで処理を行っていてもよい。

再び図１を参照し、画像生成装置１２の受信回路１０５、受信データ復号回路１０６、カラー画像生成回路１０７及び出力インタフェース装置１０８をそれぞれ説明する。

（受信回路１０５）
受信回路１０５は、撮像装置１１から出力された符号化変調画像データと変調情報とを受け取る。受信回路１０５と送信回路１０４との間の通信は、有線通信でも無線通信でもよい。なお、送信回路１０４が符号化変調画像データ及び変調情報を有線通信で送信したとしても、有線通信を無線通信に変換する機器を経由することにより、受信回路１０５がこれらの情報を無線通信で受信してもよい。その逆も同様である。

（受信データ復号回路１０６）
受信データ復号回路１０６は、符号化変調画像データを復号し、変調画像を取得する。受信データ復号回路１０６の更なる詳細は後に説明する。

（カラー画像生成回路１０７）
カラー画像生成回路１０７は、受信データ復号回路１０６が符号化変調画像データを復号することで得られる変調画像、及び、受信回路１０５で取得された変調情報を利用してカラー画像を生成する。カラー画像の生成処理の詳細は後述する。カラー画像生成回路１０７は、生成されたカラー画像を出力インタフェース装置１０８に送る。

（出力インタフェース装置１０８）
出力インタフェース装置１０８は、映像出力端子である。出力インタフェース装置１０８は、カラー画像をデジタル信号として又はアナログ信号として画像生成装置１２の外部に出力する。

次に、図３〜図５を参照しながら、図２に示されたカラーフィルタ２０２をより詳細に説明する。

図３は、カラーフィルタ２０２を含む撮像システム１０を模式的に示す。以下、カラーフィルタ２０２に注目する。

上述したように、カラーフィルタ２０２は、撮像素子２０３の各画素に対応する位置、及び、波長域に応じて異なる光透過率を有している。つまり、複数の波長域の光が透過する任意の位置において、複数の波長域に対する複数の透過率の組み合わせ（透過率パターン）が他の位置とは異なっている。

このような光学特性を実現するために、本実施の形態のカラーフィルタ２０２は、光の透過波長帯域を規定する複数種類のフィルタ１〜３を有し、かつ、フィルタ１〜３のそれぞれの厚さを位置によって変えている。「フィルタの厚さ」は、透過光の光軸に平行な方向に沿う、フィルタのカットフィルム（後述）の長さに対応する。

なお、図３では３つのフィルタ１、２及び３が組み合わされて記載されているが、これは一例である。組み合わされるフィルタの数は３に限られない。

また、フィルタ１はカットフィルム２０２ａを有し、フィルタ２はカットフィルム２０２ｂを有し、フィルタ３はカットフィルム２０２ｃを有している。カットフィルム２０２ａ〜２０２ｃの各々は、１層あたり所定の吸収率を有するカットフィルムを０枚から複数枚積層して構成されている。

図４は、フィルタ１〜３の各波長特性の一部である透過率を示す。フィルタ（フィルタ１〜３のそれぞれ）の波長特性は、フィルタに入射した光が波長毎にどの程度、反射、透過及び吸収されるかを示す。なお、カットフィルム（カットフィルム２０２ａ〜２０２ｃのそれぞれ）の波長特性も、フィルタの波長特性と同様に、カットフィルムに入射した光が波長毎にどの程度、反射、透過及び吸収されるかを示す。

反射光、透過光及び吸収光の総和は、入射光に等しい。反射光と入射光との比率は「反射率」と呼ばれ、透過光と入射光との比率は「透過率」と呼ばれ、吸収光と入射光との比率は「吸収率」と呼ばれる。反射率は、フィルタの厚さが変化しても基本的に変わらない。吸収率は、入射光の光量から反射光の光量と透過光の光量とを減算し、さらに入射光の光量で除算することでも求められる。

図４は、上記のうちの透過率と波長との関係を示している。また、後述するように、カラーフィルタ２０２を構成する３つのフィルタ１〜３のそれぞれは、いずれかの波長において、フィルタの厚さが変化しても透過率が変わらない、つまり吸収率が０％である波長特性を有している。

例えば、フィルタ１の吸収率は波長４５０ｎｍ前後で０％であり、フィルタ２の吸収率は波長５８０ｎｍ前後で０％であり、フィルタ３の吸収率は波長６４０ｎｍ前後で０％である。つまり、図４のように、フィルタ１の透過率は波長４５０ｎｍ前後で非常に大きく１００％であり、フィルタ２の透過率は波長５８０ｎｍ前後で非常に大きく１００％であり、フィルタ３の透過率は波長６４０ｎｍ前後で非常に大きく１００％である。

なお、吸収率が「０％」であることは理想的であり、０％以外を排除するものではない。吸収率が数％程度であっても、カットフィルム２０２ａ〜２０２ｃは機能を果たす。例えば現実に吸収率が０〜２％の範囲内であれば、吸収率は０％として取り扱われ得る。同様に、透過率が「１００％」であることは理想的である。しかし、透過率が９８％以上１００％以下の範囲内であれば、透過率は１００％として取り扱われ得る。

なお、図３に示すように、フィルタ１〜３は順に積層されている。例えばフィルタ３を例に説明すると、積層されるフィルタ２を支持するため、カットフィルム２０２ｃが存在しない箇所に、透過波長に対する透過率又は吸収率に実質的に影響を与えない光学部材が充填されてもよい。他のフィルタ１及び２についても同様である。よって、カットフィルム２０２ａ〜２０２ｃの光学特性が、それぞれ、フィルタ１〜３の光学特性を決定する。

上記のフィルタ１〜３の構成に基づいて、画素（ｕ，ｖ）及び波長λに対する透過率ｘ（λ，ｕ，ｖ）は、以下のように表現される。

ｘ（λ，ｕ，ｖ）＝Φ（Ｃ１（λ），Ｔ１（ｕ，ｖ））・Φ（Ｃ２（λ），Ｔ２（ｕ，ｖ））・Φ（Ｃ３（λ），Ｔ３（ｕ，ｖ））
・・・（式１）

ここで、Ｃ１（λ）は波長λに対する１層のカットフィルム２０２ａの波長特性を示す。Ｃ２（λ）は波長λに対する１層のカットフィルム２０２ｂの波長特性を示す。Ｃ３（λ）は波長λに対する１層のカットフィルム２０２ｃの波長特性を示す。

また、Ｔ１（ｕ，ｖ）は、画素（ｕ，ｖ）に対応する位置におけるカットフィルム２０２ａの厚さ（積層数）を示す。Ｔ２（ｕ，ｖ）は、画素（ｕ，ｖ）に対応する位置におけるカットフィルム２０２ｂの厚さ（積層数）を示す。Ｔ３（ｕ，ｖ）は、画素（ｕ，ｖ）に対応する位置におけるカットフィルム２０２ｃの厚さ（積層数）を示す。なお、記載の簡潔化のため、カットフィルムの厚さ（積層数）を、便宜的に「フィルタの厚さ」と記述する場合がある。

Φ（Ｃ（λ），Ｔ（ｕ，ｖ））は、波長λに対するフィルタの透過率を示す関数であって、単位厚さあたりのフィルタ（１層のカットフィルム）の波長特性Ｃ（λ）とフィルタの厚さＴ（ｕ，ｖ）とから決まる透過率を示す関数である。

また、Φ（Ｃ（λ），Ｔ（ｕ，ｖ））は、Ｃ（λ）に含まれる吸収率が０、又は、Ｔ（ｕ，ｖ）が０のときに固定値を示す関数である。通常、フィルタの厚さが増えると、透過率は低下する。しかし、フィルタの吸収率が０の場合、フィルタの厚さにかかわらずフィルタの透過率は固定値である。また、フィルタを配置しない場合（Ｔ（ｕ，ｖ）＝０）も、単位厚さあたりのフィルタの波長特性にかかわらずフィルタの透過率は固定値である。

波長に対する透過率は、上記により規定される。また、波長域に対する透過率は、その波長域における複数の波長に対する複数の透過率で規定される。例えば、その波長域における複数の波長に対する複数の透過率の平均が、その波長域に対する透過率とみなされてもよい。この平均は、単純平均でもよいし、加重平均でもよい。

具体的には、画素（ｕ，ｖ）のＲに対する透過率ＴＲ（ｕ，ｖ）、画素（ｕ，ｖ）のＧに対する透過率ＴＧ（ｕ，ｖ）、及び、画素（ｕ，ｖ）のＢに対する透過率ＴＢ（ｕ，ｖ）は、以下のように表現され得る。

式２において、Ｒ（λ）は、波長λに対するＲの感度に対応し、Ｇ（λ）は、波長λに対するＧの感度に対応し、Ｂ（λ）は、波長λに対するＢの感度に対応する。具体的には、Ｒの波長域内の波長λに対してＲ（λ）は正の値を示し、Ｒの波長域外の波長λに対してＲ（λ）は０を示す。同様に、Ｇの波長域内の波長λに対してＧ（λ）は正の値を示し、Ｇの波長域外の波長λに対してＧ（λ）は０を示す。また、Ｂの波長域内の波長λに対してＢ（λ）は正の値を示し、Ｂの波長域外の波長λに対してＢ（λ）は０を示す。

上述した関係に従って、フィルタ１〜３の厚さが画素毎に変更されることで、撮像素子２０３の画素によって、波長域に対する透過率が異なるカラーフィルタ２０２が実現される。

特に、カラーフィルタ２０２における複数の画素に対応する複数の位置のうち、１つの位置における波長域毎の透過率と、他の位置における波長域毎の透過率との相関係数は、−１よりも大きく、１よりも小さい。例えば、１つの位置における波長域毎の透過率と、他の全ての位置における波長域毎の透過率との相関係数は、−１よりも大きく、１よりも小さい。又は、１つの位置における波長域毎の透過率と、他の位置における波長域毎の透過率との相関がない。つまり、１つの位置における波長域毎の透過率と、他の位置における波長域毎の透過率との相関係数は−０．２〜０．２程度である。

また、カラーフィルタ２０２は、画素（ｕ，ｖ）のＲに対する透過率ＴＲ（ｕ，ｖ）と、画素（ｕ，ｖ）のＧに対する透過率ＴＧ（ｕ，ｖ）と、画素（ｕ，ｖ）のＢに対する透過率ＴＢ（ｕ，ｖ）との総和が、すべての画素（ｕ，ｖ）で等しくなるように構成される。

図５は、このようなカラーフィルタ２０２の模式図である。この図において、数値はＲ、Ｇ及びＢのそれぞれに対する透過率を百分率で示しており、すべての画素のそれぞれについて、Ｒ、Ｇ及びＢの透過率の和が１００％である。つまり、すべての画素で次式の関係が満たされる。

ＴＲ（ｕ，ｖ）＋ＴＧ（ｕ，ｖ）＋ＴＢ（ｕ，ｖ）＝１ ・・・（式３）

この場合、すべての画素に対して、元の光信号（つまり、カラーフィルタ２０２がなかった場合の光信号）の信号レベルは、カラーフィルタ２０２を介して得られる光信号の信号レベルの約３倍と推定される。言い換えれば、すべての画素に対して、カラーフィルタ２０２を介して得られる光信号の信号レベルは、元の光信号の信号レベルにある程度対応していると推定される。また、元の光信号の信号レベルは、近傍画素間で類似すると想定される。

したがって、撮像装置１１は、近傍画素間の類似性をデータの圧縮に利用することができる。

また、例えば、複数の画素及び複数の波長域に対してカラーフィルタ２０２が有する複数の透過率は、０％から１００％までの範囲で、一様分布（一様乱数）に基づいていてもよい。そして、一様分布に基づく複数の透過率が上記の式を満たすように調整されてもよい。具体的には、画素毎に、一様分布に基づいて複数の波長域に対して与えられた複数の透過率が、これらの比を維持しつつ、これらの和が１（１００％）に等しくなるように、スケーリングされることで調整されてもよい。

また、特許文献１に記載のベイヤー配列、又は、特許文献２に記載のランダムなフィルタ配置の場合、Ｒ画素、Ｇ画素及びＢ画素のそれぞれの透過率は一定である。例えば、特許文献２に記載のランダムなフィルタ配置であっても、透過する光の波長域に対して透過率は一定である。一方、上述のようにカラーフィルタ２０２が構成されることで、撮像装置１１は、各波長域に対して、サンプリングの位置に関してのみならず、サンプリングの強度に関しても、一様乱数によるランダムサンプリングを実現することができる。

もちろん、カラーフィルタ２０２の透過率の分布は一様分布（一様乱数）に限られない。例えば、カラーフィルタ２０２の透過率の分布は、平均が５０％である正規分布（ガウス分布）に基づいていてもよい。これにより、撮像装置１１は、各波長域に対して、正規乱数によるランダムサンプリングを実現することができる。

また、上記では、すべての画素に対して、Ｒ、Ｇ及びＢの３つに対する３つの透過率の和が１（１００％）である例が示されている。しかし、３つの透過率の平均が５０％になり、３つの透過率の和が１．５（１５０％）に等しくなるようにカラーフィルタ２０２が構成されてもよい。例えば、画素毎に、正規分布に基づいて複数の波長域に対して与えられた複数の透過率が、これらの比を維持しつつ、これらの和が１．５（１５０％）に等しくなるように、スケーリングされることで調整されてもよい。

また、光の利用率を高めるため、Ｒ、Ｇ及びＢの３つに対する３つの透過率の和は、より大きな値でもよい。

また、カラーフィルタ２０２は、画素によってフィルタ１〜３の厚さを変更する構成で実現されなくてもよい。例えば、カラーフィルタ２０２は、液晶又は空間光変調器を利用して実現されてもよい。空間光変調器は、空間的及び時間的に透過率を変調させる光学素子であり、画素毎に透過率を変化させることができる。

次に、図６〜図８を参照しながら、図２に示された送信データ圧縮回路１０３及び送信回路１０４をより詳細に説明する。

図６は、本実施の形態にかかる送信データ圧縮回路１０３及び送信回路１０４の処理の手順を示すフローチャートである。

送信データ圧縮回路１０３は、撮像素子２０３が撮像した変調画像を取得する（ステップＳ１０１）。

また、送信データ圧縮回路１０３は、撮像素子２０３が撮像した際に利用したカラーフィルタ２０２の複数の透過率を示す変調情報を取得する（ステップＳ１０２）。なお、送信データ圧縮回路１０３は、取得した変調情報を送信回路１０４へ出力する。送信データ圧縮回路１０３は、変調画像の圧縮に変調情報を用いない。したがって、送信回路１０４が、送信データ圧縮回路１０３を介さずに、変調情報を取得する場合等において、送信データ圧縮回路１０３は、変調情報を取得しなくてもよい。

次に、送信データ圧縮回路１０３は、伝送データの圧縮方法を選択するために、まず、近傍画素を選択する。ここでは、送信データ圧縮回路１０３は、ラスタスキャン順に各画素の画素信号を圧縮する。なお、画素信号は、画素値とも呼ばれ、画素で得られた信号レベルに対応する。

図７は、ラスタスキャン順に各画素の画素信号を圧縮する処理を説明するための模式図である。すなわち、図７において、送信データ圧縮回路１０３は、まず（ｕ，ｖ）＝（１，１）の画素信号を圧縮し、次に（２，１）、さらに（３，１）、…と順に画素信号を圧縮して、最後に（４，４）の画素信号を圧縮する。この場合、送信データ圧縮回路１０３は、近傍画素として、着目画素の左隣の画素を選択する。

送信データ圧縮回路１０３は、近傍画素が存在しない場合（ステップＳ１０３でＮｏ）、つまり変調画像の左端（ｕ＝１）に位置する着目画素の画素信号を圧縮する場合、変調画像の画素信号自体を符号化することで画素信号を圧縮する（ステップＳ１０４）。具体的には、送信データ圧縮回路１０３は、画素信号自体をエントロピー符号又はハフマン符号によって符号化すればよい。変調画像の符号化対象信号ｄ（ｕ，ｖ）は、変調画像の着目画素の画素信号ｙ（ｕ，ｖ）によって次式のように表現される。

ｄ（ｕ，ｖ）＝ｙ（ｕ，ｖ） ・・・（式４）

一方、近傍画素が存在する場合（ステップＳ１０３でＹｅｓ）、つまり変調画像の左端（ｕ＝１）に位置しない着目画素の画素信号を圧縮する場合、送信データ圧縮回路１０３は、着目画素と近傍画素との差分信号を計算する（ステップＳ１０５）。そして、送信データ圧縮回路１０３は、差分信号をエントロピー符号又はハフマン符号によって符号化することで着目画素の画素信号を圧縮する（ステップＳ１０６）。つまり、送信データ圧縮回路１０３は、変調画像の差分圧縮を行う。

ステップＳ１０５において、着目画素と近傍画素との差分信号である符号化対象信号ｄ（ｕ，ｖ）は、例えば、以下のように計算される。

ｄ（ｕ，ｖ）＝ｙ（ｕ，ｖ）−ｙ（ｕ−１，ｖ） ・・・（式５）

送信データ圧縮回路１０３は、上記の処理（ステップＳ１０３〜Ｓ１０６）を繰り返すことにより、変調画像における全ての画素の画素信号の圧縮及び符号化を行い、変調画像の圧縮及び符号化を行う。

特に、送信データ圧縮回路１０３は、着目画素と近傍画素との差分を計算することで、圧縮処理を行うことができる。自然画像では、隣り合った画素間の相関は非常に近いことが知られている。また、本実施の形態において、画素毎にカラーフィルタ２０２が複数の波長域に対して有する複数の光透過率の和が全ての画素において等しい。そのため、隣り合った画素間の相関がある程度維持される。したがって、送信データ圧縮回路１０３は、効率的な圧縮を行うことができる。

送信回路１０４は、送信データ圧縮回路１０３が変調画像を圧縮することで得られる符号化変調画像データと、変調情報とを画像生成装置１２へ送信する（ステップＳ１０７）。

図８は、変調情報及び符号化変調画像データを伝送するための伝送フォーマットの例を示す模式図である。例えば、伝送データのヘッダ部には変調情報が記述され、伝送データのデータ部には符号化変調画像データが記述される。

また、送信回路１０４は、図８のような伝送フォーマットで伝送データを暗号化して伝送する際、伝送データ全体を暗号化せずに、伝送データのうちヘッダ部の変調情報のみを暗号化してもよい。後述のように、本実施の形態の復元処理では、変調情報が用いられる。そこで、送信回路１０４は、伝送データ全体を暗号化せずに、ヘッダ部の変調情報を暗号化することで、演算負荷を抑えながら、伝送データの暗号化を行うことができる。

次に、図９〜図１１を参照しながら、図１に示された画像生成装置１２をより詳細に説明する。

図９は、画像生成装置１２の主要な処理の手順を示すフローチャートである。画像生成装置１２の受信回路１０５は、撮像装置１１の送信回路１０４が送信した符号化変調画像データと変調情報とを受信する（ステップＳ２０１）。通信は、無線又は有線の通信回線（ネットワーク）を介して行われる。

受信データ復号回路１０６は、受信回路１０５が受信した符号化変調画像データを復号し、変調画像を取得する。（ステップＳ２０２）。カラー画像生成回路１０７は、変調画像及び変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、カラー画像を生成する（ステップＳ２０３）。出力インタフェース装置（出力Ｉ／Ｆ装置）１０８は、カラー画像生成回路１０７が生成したカラー画像を、ディスプレイに表示したり、人検出などの画像処理に利用したりするために、出力する（ステップＳ２０４）。

以下、受信データ復号回路１０６とカラー画像生成回路１０７の処理をより詳しく説明する。

図１０は、本実施の形態にかかる受信回路１０５及び受信データ復号回路１０６の処理の手順を示すフローチャートである。

受信回路１０５は、送信回路１０４が符号化変調画像データと変調情報とを受信する（ステップＳ２０１）。

受信データ復号回路１０６は、まず、符号化変調画像データに含まれる符号化信号をエントロピー復号又はハフマン復号によって復号することで圧縮の解除を行う。これにより、受信データ復号回路１０６は、符号化信号に対応する復号信号を取得する。そして、受信データ復号回路１０６は、復号信号が、着目画素の画素信号であるか、着目画素と近傍画素との差分信号であるかを判定する（ステップＳ２１１）。その際、受信データ復号回路１０６は、着目画素が画像の左端（ｕ＝１）に位置するかどうかを判定すればよい。

着目画素が画像の左端、つまり、復号信号が差分信号ではなく着目画素の画素信号である場合（ステップＳ２１１でＮｏ）、受信データ復号回路１０６は、復号信号ｄ（ｕ，ｖ）から変調画像における着目画素の画素信号ｙ（ｕ，ｖ）を取得する（ステップＳ２１２）。具体的には、変調画像における着目画素の画素信号ｙ（ｕ，ｖ）は、次式で導出される。

ｙ（ｕ，ｖ）＝ｄ（ｕ，ｖ） ・・・（式６）

一方、復号信号が差分信号である場合（ステップＳ２１１でＹｅｓ）、受信データ復号回路１０６は、復号信号ｄ（ｕ，ｖ）、及び、近傍画素の画素信号ｙ（ｕ−１，ｖ）から、変調画像における着目画素の画素信号ｙ（ｕ，ｖ）を取得する（ステップＳ２１３）。具体的には、受信データ復号回路１０６は、変調画像における着目画素の画素信号ｙ（ｕ，ｖ）を以下のように計算することにより、圧縮（差分圧縮）の解除を行う。

ｙ（ｕ，ｖ）＝ｄ（ｕ，ｖ）＋ｙ（ｕ−１，ｖ） ・・・（式７）

受信データ復号回路１０６は、上記の処理（ステップＳ２１１〜Ｓ２１３）を繰り返すことにより、変調画像における全ての画素の画素信号を導出して、変調画像を取得する。

次に、カラー画像生成回路１０７の処理を説明する。カラー画像の生成処理は、撮像された変調画像がｙで表現され、生成されるカラーＲＧＢ画像である生成画像がｘで表現される場合、以下のように定式化される。

ｙ＝Ａｘ ・・・（式８）

ここで、行列Ａは、変調情報によって決まるサンプリング行列である。サンプリング行列Ａは、変調画像ｙと、生成画像ｘとの関係を示している。また、例えば、画素数がＮである場合、変調画像ｙはＮ行１列の行列で表現され、生成画像ｘは３Ｎ行１列の行列で表現され、サンプリング行列ＡはＮ行３Ｎ列の行列で表現される。

以下、サンプリング行列Ａの取得方法を説明する。ここでは、マクベスカラーチェッカーによるカラーキャリブレーションを利用する手法を説明する。マクベスカラーチェッカーは、マンセルカラーシステムに基づいた、２４色の色見本である。マクベスカラーチェッカーにおいて、各色見本のＸＹＺ値及びｓＲＧＢ値が既定されている。

例えば、各色見本ｊ（ｊ＝１，２，３，…，２４）のｓＲＧＢ値は、Ｒ’（ｊ）、Ｇ’（ｊ）及びＢ’（ｊ）で表現される。また、この各色見本ｊを本実施の形態の撮像装置１１で撮像することで、各画素ｉ（ｉ＝１，２，３，…，Ｎ）で変調画像の画素信号Ｉ（ｊ，ｉ）が取得される。この場合、以下の関係式が成り立つ。

ｃ（１，ｉ）・Ｒ（ｊ）＋ｃ（２，ｉ）・Ｇ（ｊ）＋ｃ（３，ｉ）・Ｂ（ｊ）＝Ｉ（ｊ，ｉ）
・・・（式９）

ただし、ｃ（ｘ，ｉ）（ｘ＝１，２，３）は、サンプリング行列Ａのｉ行（３（ｉ−１）＋ｘ）列の要素である。サンプリング行列Ａのｉ行（３（ｉ−１）＋ｘ）列以外の要素は０である。また、Ｒ（ｊ）、Ｇ（ｊ）及びＢ（ｊ）は、Ｒ’（ｊ）、Ｇ’（ｊ）及びＢ’（ｊ）をリニアに変換することによって得られる。具体的には以下のような計算によって得られる。

Ｒ（ｊ）＝｛（Ｒ’（ｊ）／２５５＋０．０５５）／１．０５５｝^２．４×２５５
Ｇ（ｊ）＝｛（Ｇ’（ｊ）／２５５＋０．０５５）／１．０５５｝^２．４×２５５
Ｂ（ｊ）＝｛（Ｂ’（ｊ）／２５５＋０．０５５）／１．０５５｝^２．４×２５５
・・・（式１０）

式９の関係から、３つの未知数ｃ（１，ｉ）、ｃ（２，ｉ）及びｃ（３，ｉ）に対し、２４の方程式が導出される。したがって、最小二乗法により、ｃ（１，ｉ）、ｃ（２，ｉ）及びｃ（３，ｉ）を導出することが可能である。この処理を、すべての画素ｉに対して行うことにより、サンプリング行列Ａを取得することが可能である。

次に、サンプリング行列Ａ及び変調画像ｙから生成画像ｘを取得する方法を説明する。説明を簡略化するために、撮像素子２０３の画素数がＮ＝１６である場合について説明する。

図１１は、撮像素子２０３の画素数がＮ＝１６である場合の変調画像と生成画像とを示す模式図である。図１１において、ｕ＝１〜４及びｖ＝１〜４で定められる１６画素が示されている。また、（ａ）は変調画像を示し、（ｂ）は生成されたカラー画像の赤（Ｒ）チャネルである生成Ｒ画像を示し、（ｃ）は生成されたカラー画像の緑（Ｇ）チャネルである生成Ｇ画像を示し、（ｄ）は生成されたカラー画像の青（Ｂ）チャネルである生成Ｂ画像を示す。図１１の例において、式８のｙ及びｘは以下のよう表現される。

ｙ＝［ｙ_１，１ ｙ_２，１ ｙ_３，１ ・・・ ｙ_４，４］^Ｔ
ｘ＝［ｒ_１，１ ｇ_１，１ ｂ_１，１ ｒ_２，１ ｇ_２，１ ｂ_２，１ ｒ_３，１ ｇ_３，１ ｂ_３，１ ・・・ ｒ_４，４ ｇ_４，４ ｂ_４，４］^Ｔ
・・・（式１１）

式１１から明らかなように、式８において、未知数であるｘの要素数が４８であり、観測数であるｙの要素数が１６である。つまり、未知数に対して方程式の数が少ない。そのため、式８は、不良設定問題となっている。

撮像システム１０は、この不良設定問題を解くために、圧縮センシング技術を利用する。圧縮センシング技術とは、信号のセンシング時に加算処理（符号化）することによりデータ量を圧縮し、圧縮したデータを利用して復元処理を行うことで元の信号を復号する技術である。圧縮センシング処理では、不良設定問題を解くために、事前知識が利用される。

自然画像に対する事前知識として、画像上の近傍位置間における輝度変化の絶対値和である全変動（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）（例えば、非特許文献１及び２）が利用されてもよい。また、ウェーブレット（Ｗａｖｅｌｅｔ）変換、ＤＣＴ変換又はカーブレット（Ｃｕｒｖｅｌｅｔ）変換などの線形変換において多くの係数が０になるというスパース性（例えば、非特許文献３）が利用されてもよい。

また、上述の線形変換の変換係数を学習によって取得する辞書学習（Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇ）（例えば、非特許文献４）などが利用されてもよい。

ここでは、全変動の一種に分類される手法である無相関化ベクトル型全変動（Ｄｅｃｏｒｒｅｌａｔｅｄ Ｖｅｃｔｏｒｉａｌ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）について説明する。この手法は、カラー画像の輝度成分及び色差成分の勾配を分離して計算することにより、偽色と呼ばれるアーチファクトの発生を抑制する。これは、以下の評価関数を最小化することで実現される。

この評価関数は、以下の３つの項から成り立っている。

１．データ忠実（Ｄａｔａ Ｆｉｄｅｌｉｔｙ）項：｜｜Ａｘ−ｙ｜｜^２ _２：式８を満たすための拘束項。

２．ダイナミックレンジ（Ｄｙｎａｍｉｃ Ｒａｎｇｅ）項：最小値ｍｉｎを演算するためのｘの範囲（［０，２５５］^３×Ｎ）：画素値が０以上２５５以下であるための拘束項。

３．無相関化ベクトル型全変動（Ｄｅｃｏｒｒｅｌａｔｅｄ Ｖｅｃｔｏｒｉａｌ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）項：Ｊ（ｘ）：カラー画像の輝度成分と色差成分の勾配を分離した全変動（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）項。

ここで、｜｜Ａｘ−ｙ｜｜^２ _２は、Ａｘ−ｙの２乗和（Ｌ２ノルム）を示す。また、Ｊ（ｘ）は、画像全体における輝度成分及び色差成分に関する近傍画素間の差分に対応し、以下の式１３〜式１７で表現される。なお、式１３〜式１７において、Ｒは実数、Ｒ_＋は非負の実数を示す。

図１２〜図１４は、本実施の形態におけるカラー画像生成回路１０７が生成したカラー画像の一例を色毎に示す。図１２はＲ画像を示し、図１３はＧ画像を示し、図１４はＢ画像を示す。本願発明者らは実際にカラー画像を生成し比較したが、図１２〜図１４では、各画像が、その画像の輝度値に基づいて誤差拡散法で２値化して図示されている。

これらの図において、（ａ）は３板式カメラで撮像した正解カラー画像を示す。（ｂ）は、一般的なデモザイキング手法であって、特許文献１に記載の手法である適応色平面補間（Ａｄａｐｔｉｖｅ Ｃｏｌｏｒ Ｐｌａｎｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ：ＡＣＰＩ）法によるデモザイキング画像を示す。（ｃ）は、非特許文献５に記載の最小化ラプラシアン残差補間（Ｍｉｎｉｍｉｚｅｄ−Ｌａｐｌａｃｉａｎ Ｒｅｓｉｄｕａｌ Ｉｎｔｅｒｐｏｌａｔｉｏｎ：ＭＬＲＩ）法によるデモザイキング画像を示す。（ｄ）は、本実施の形態におけるカラー画像生成回路１０７による復元画像を示す。

以下では、例として図１２を参照して説明するが、図１３及び図１４にも同様の説明が適用され得る。

図１２の（ａ）の中央部には、格子状のパターンを有する窓が示されている。図１２の（ｂ）及び（ｃ）には、図１９に示した従来のベイヤー配列が利用されている。本願発明者らは検証を行い、図１２の（ｂ）に示すＡＣＰＩによるデモザイキング画像では、エッジ近傍に偽色とよばれるアーチファクトが存在することを確認した。具体的には、窓のエッジ部分に実際に偽色の存在を確認した。本願発明者らは、このような偽色は、図１２の（ｄ）に示す本実施の形態による復元画像には存在していないことも確認した。

図１２の（ｃ）に示すＭＬＲＩ法によるデモザイキング画像では、窓の格子状のパターンなどの高周波成分が復元できていない。一方、本実施の形態におけるカラー画像生成回路１０７は、従来技術に比べ、アーチファクトもなく、高周波領域まで復元できていることをこれらの画像は示している。

図１５は、全ての色を含むカラー画像の一例である。具体的には、図１５では、全ての色を含むカラー画像が、当該カラー画像の輝度値に基づいて誤差拡散法で２値化して示されている。窓の格子状のパターンを一見すると明らかなように、本実施の形態による復元画像が正解画像に最も近い。

以上のように、本実施の形態の撮像システム１０は、カラーフィルタ２０２を利用して撮像を行い、圧縮センシング技術によってカラー画像生成処理を行うことにより、アーチファクトを低減し、高精細のカラー画像を取得することができる。

上記の例では、カラーフィルタ２０２は、各画素の複数の波長域（Ｒ、Ｇ及びＢ）に対する複数の光透過率の総和が、すべての画素（ｕ，ｖ）で等しくなるように構成されている。しかし、カラーフィルタ２０２は、各画素の複数の波長域（Ｒ、Ｇ及びＢ）に対する複数の光透過率に関する光透過率群と、複数の画素で共通の係数群との積和が、すべての画素（ｕ，ｖ）で等しくなるように構成されてもよい。

すなわち、カラーフィルタ２０２は、ある波長特性と各画素の波長特性との積和がすべての画素で等しくなるように構成されてもよい。ここでは、比視感度と各画素の波長特性との積和について説明する。

図１６は、比視感度曲線を示す。比視感度は、人間の目が光の波長毎の明るさを感じる強さを数値で示す。各画素の波長特性と、比視感度との積和演算を行なうことにより、画素毎の明るさに関する感度が求められる。そこで、以下の例では、各画素の波長特性と、比視感度との積和が、複数の画素において等しくなるように、カラーフィルタ２０２が構成される。

具体的には、画素（ｕ，ｖ）及び波長λに対する透過率ｘ（λ，ｕ，ｖ）と、波長λに対する比視感度Ｆ（λ）とが次の式１８の関係を満たすように、カラーフィルタ２０２が構成される。

式１８において、ｐは固定値である。これにより、人が感じる明るさに関する感度が複数の画素において均等化される。被写体の明るさは、近傍において、高い相関があることが知られている。この相関が維持されるようにカラーフィルタ２０２が構成されることで、撮像素子２０３で取得される画素信号に関して近傍画素間の類似性の低下が抑制される。したがって、撮像装置１１は、近傍（隣接）画素間の差分を計算することで、画素信号を適切に圧縮することができる。なお、式１８に代えて、次の式１９が用いられてもよい。

なお、比視感度Ｆ（λ）は、複数の画素で共通の係数群に対応する。透過率ｘ（λ，ｕ，ｖ）によって、各波長域の透過率が規定される。したがって、透過率ｘ（λ，ｕ，ｖ）は、各画素の複数の波長域に対する複数の光透過率に関する光透過率群に対応する。つまり、式１８及び式１９は、各画素の複数の波長域に対する複数の光透過率に関する光透過率群と、複数の画素で共通の係数群との積和が、複数の画素において等しいことを示している。

図１７は、比視感度に基づく透過率を有するカラーフィルタ２０２の例を示す。具体的には、Ｒに対する透過率、Ｇに対する透過率、及び、Ｂに対する透過率が、画素毎に示されている。例えば、カラーフィルタ２０２が、式１８を満たす透過率ｘ（λ，ｕ，ｖ）を有し、カラーフィルタ２０２のＲ、Ｇ及びＢに対する透過率が、式２によって定められる。図１７は、その結果を示している。

また、例えば、各画素のＲ、Ｇ及びＢに対する３つの透過率と、Ｒ、Ｇ及びＢの比視感度に対応する３つの係数との積和が、複数の画素において等しくなるように、カラーフィルタ２０２が構成されてもよい。Ｒ、Ｇ及びＢの比視感度に対応する３つの係数ＦＲ、ＦＧ及びＦＢは、以下の式２０によって導出される。

ここで、Ｆ（λ）は比視感度を示し、Ｒ（λ）はＲの感度に対応し、Ｇ（λ）はＧの感度に対応し、Ｂ（λ）はＢの感度に対応する。そして、画素（ｕ，ｖ）に関して、Ｒに対する透過率ＴＲ（ｕ，ｖ）、Ｇに対する透過率ＴＧ（ｕ，ｖ）、Ｂに対する透過率ＴＢ（ｕ，ｖ）、及び、３つの係数ＦＲ、ＦＧ及びＦＢが以下の関係を満たすように、カラーフィルタ２０２が構成されてもよい。

ＦＲ・ＴＲ（ｕ，ｖ）＋ＦＧ・ＴＧ（ｕ，ｖ）＋ＦＢ・ＴＢ（ｕ，ｖ）＝ｐ
・・・（式２１）

式２１において、ｐは固定値である。式２１は、３つの波長域に対する３つの透過率と、３つの波長域の比視感度を示す３つの係数との積和が複数の画素において等しいことを示している。

また、各画素の複数の波長域に対する複数の透過率と、複数の波長域に対する複数の輝度変換係数との積和が、複数の画素において等しくなるように、カラーフィルタ２０２が構成されてもよい。複数の輝度変換係数は、複数の波長域に対応する複数の信号レベルを輝度に変換するために定められている。

具体的には、Ｒ、Ｇ及びＢに対して、０．２１２６、０．７１５２及び０．０７２２が、３つの輝度変換係数として定められている。例えば、輝度Ｙは、Ｒ、Ｇ及びＢに対する３つの信号レベルＬＲ、ＬＧ及びＬＢから、式２２によって導出される。

Ｙ＝０．２１２６・ＬＲ＋０．７１５２・ＬＧ＋０．０７２２・ＬＢ
・・・（式２２）

上記のような３つの輝度変換係数に基づいて、各画素のＲ、Ｇ及びＢに対する３つの透過率と、Ｒ、Ｇ及びＢに対する３つの輝度変換係数との積和が、複数の画素において等しくなるように、カラーフィルタ２０２が構成されてもよい。具体的には、画素（ｕ，ｖ）に関して、Ｒに対する透過率ＴＲ（ｕ，ｖ）、Ｇに対する透過率ＴＧ（ｕ，ｖ）、Ｂに対する透過率ＴＢ（ｕ，ｖ）、及び、３つの輝度変換係数ＹＲ、ＹＧ及びＹＢが以下の関係を満たすように、カラーフィルタ２０２が構成されてもよい。

ＹＲ・ＴＲ（ｕ，ｖ）＋ＹＧ・ＴＧ（ｕ，ｖ）＋ＹＢ・ＴＢ（ｕ，ｖ）＝ｐ
ＹＲ＝０．２１２６
ＹＧ＝０．７１５２
ＹＢ＝０．０７２２
・・・（式２３）

式２３において、ｐは固定値である。式２３は、各画素の複数の波長域に対する複数の透過率と、複数の波長域に対する複数の輝度変換係数との積和が複数の画素において等しいことを示している。

図１８は、輝度変換係数に基づく透過率を有するカラーフィルタ２０２の例を示す。具体的には、Ｒに対する透過率、Ｇに対する透過率、及び、Ｂに対する透過率が、画素毎に示されている。この例において、カラーフィルタ２０２は、式２３を満たす透過率を有する。具体的には、各画素の複数の波長域に対する複数の透過率と、複数の波長域に対する複数の輝度変換係数との積和は、７１〜７２％の範囲内であり、実質的に等しいとみなされる範囲内である。

以上の通り、本実施の形態に示された撮像装置１１は、結像光学系２０１と、撮像素子２０３と、カラーフィルタ２０２と、送信データ圧縮回路１０３とを備える。

結像光学系２０１は、光信号を結像する。撮像素子２０３は、複数の画素を有し、複数の画素で結像された光信号を電気信号に変換する。カラーフィルタ２０２は、結像光学系２０１及び撮像素子２０３の間に配置され、複数の画素の画素毎及び複数の波長域の波長域毎に異なる光透過率を有する。送信データ圧縮回路１０３は、撮像素子２０３が取得した電気信号を圧縮する。

そして、画素毎にカラーフィルタ２０２が複数の波長域に対して有する複数の光透過率に関する光透過率群と、０とは異なる係数を含む、複数の画素で共通の係数群との積和が、複数の画素において等しい。

これにより、撮像装置１１は、カラーフィルタ２０２が有する様々な透過率を介して、様々な情報を取得することができる。一方、カラーフィルタ２０２が画素毎に複数の波長域に対して有する複数の光透過率に、複数の画素で共通の特性が与えられる。そのため、近傍画素間の類似性の低下が抑制される。したがって、撮像装置１１は、近傍画素間の類似性を用いて、効率的な圧縮を行うことができる。すなわち、撮像装置１１は、画像を生成するための情報をより適切に取得することができる。

例えば、係数群は、互いに等しい複数の係数で構成されてもよい。そして、画素毎にカラーフィルタ２０２が複数の波長域に対して有する複数の光透過率の総和が、複数の画素において等しくてもよい。

これにより、信号レベルに関する感度が複数の画素において均等化され、信号レベルに関する近傍画素間の類似性が、撮像素子２０３で取得される電気信号に反映される。したがって、撮像装置１１は、近傍画素間の類似性を用いて、効率的な圧縮を行うことができる。

また、例えば、係数群は、比視感度で定められてもよい。より具体的には、係数群は、比視感度を示す複数の係数で構成されてもよい。これにより、人が感じる明るさに関する感度が複数の画素において均等化され、人が感じる明るさに関する近傍画素間の類似性が、撮像素子２０３で取得される電気信号に反映される。したがって、撮像装置１１は、近傍画素間の類似性を用いて、効率的な圧縮を行うことができる。

また、例えば、係数群は、複数の波長域のそれぞれに対する輝度への変換係数で構成されてもよい。これにより、輝度に関する感度が複数の画素において均等化され、輝度に関する近傍画素間の類似性が、撮像素子２０３で取得される電気信号に反映される。したがって、撮像装置１１は、近傍画素間の類似性を用いて、効率的な圧縮を行うことができる。

また、例えば、複数の画素は、第１画素、及び、第１画素に隣接する第２画素を含んでもよい。そして、送信データ圧縮回路１０３は、電気信号において第１画素に対する値と電気信号において第２画素に対する値との差分を符号化することにより、電気信号を圧縮してもよい。これにより、撮像素子２０３で取得された電気信号が、隣接画素間の類似性に基づいて効率的に圧縮される。

また、例えば、撮像システム１０は、撮像装置１１と、画像生成装置１２とを備える。撮像装置１１は、さらに、送信データ圧縮回路１０３で圧縮された電気信号を送信する送信回路１０４を備える。

画像生成装置１２は、受信回路１０５と、受信データ復号回路１０６と、画像生成回路１０７とを備える。受信回路１０５は、送信回路１０４で送信された電気信号を受信する。受信データ復号回路１０６は、受信回路１０５で受信された電気信号の圧縮を解除する。画像生成回路１０７は、複数の画素及び複数の波長域に対してカラーフィルタ２０２が有する複数の光透過率を示す変調情報、及び、受信データ復号回路１０６で圧縮が解除された電気信号を用いて、画像を生成する。

これにより、画像生成装置１２は、撮像装置１１から圧縮された電気信号を効率的に受信することができる。また、画像生成装置１２は、光透過率に関する変調情報によらず、電気信号の圧縮を効率的に解除することができる。そして、画像生成装置１２は、圧縮が解除された電気信号と、変調情報とを用いて、画像を適切に生成することができる。すなわち、撮像システム１０は、撮像装置１１において電気信号を適切に取得し、画像生成装置１２において画像を適切に生成することができる。

なお、上記の通り、カラーフィルタ２０２は、複数の画素の画素毎及び複数の波長域の波長域毎に異なる光透過率を有する。すなわち、カラーフィルタ２０２において、一の画素と一の波長域とに対する光透過率は、当該一の画素と他の波長域とに対する光透過率とは異なり、かつ、他の画素と当該一の波長域とに対する光透過率とも異なる。

例えば、複数の画素は、第１の画素と第２の画素とを含み、複数の波長域は、第１の波長域と第２の波長域とを含む。このとき、カラーフィルタ２０２において、第１の画素と第１の波長域とに対する光透過率は、第１の画素と第２の波長域とに対する光透過率とは異なり、かつ、第２の画素と第１の波長域とに対する光透過率とも異なる。

また、例えば、カラーフィルタ２０２が複数の画素及び複数の波長域に対して有する複数の光透過率は、複数の画素のうち２つの画素及び複数の波長域のうち２つの波長域に対して互いに異なる４つの光透過率を含む。すなわち、カラーフィルタ２０２が複数の画素及び複数の波長域に対して有する複数の光透過率は、画素及び波長域によって互いに異なる複数の光透過率を含む。

また、例えば、複数の画素は、第１の画素、第２の画素、第３の画素、及び第４の画素を含む。このとき、第１の画素、第２の画素、第３の画素、及び第４の画素のそれぞれに対応するカラーフィルタ２０２は、複数の波長域に対して、異なる光透過率を有する。また、例えば、カラーフィルタ２０２は、０％とも１００％とも異なる光透過率を含む３種類以上の光透過率を有する。ここで、上述のように、数％の違いを有する光透過率は、実質的に同じ値の透過率ともみなされ得る。そして、カラーフィルタ２０２は、上記の積和が画素間で等しいという条件において、ランダムな光透過率を有し得る。

また、例えば、カラーフィルタ２０２は、複数の波長域に対する複数の光透過率のパターンである光透過率パターンを画素毎に有する。そして、カラーフィルタ２０２は、複数の画素に対して複数の光透過率パターンを有する。カラーフィルタ２０２は、互いに異なる４種類以上の光透過率パターンを有してもよいし、互いに異なる５種類以上の光透過率パターンを有してもよい。

そして、撮像装置１１で取得される電気信号は、複数の波長域の全体に対して画素毎に１つの値を示す。つまり、複数の波長域に対する光信号は、画素毎に混合（加算）され、電気信号に変換される。

また、上記の複数の波長域のそれぞれは、赤（Ｒ）、緑（Ｇ）又は青（Ｂ）などの色に対応していてもよい。例えば、複数の波長域は、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の３つの波長域に対応していてもよい。あるいは、複数の波長域は、より細かく規定されてもよく、４つ以上の波長域に対応していてもよい。

また、上記の光透過率群は、各画素の複数の波長域に対する複数の光透過率で構成されてもよい。あるいは、光透過率群は、各画素の複数の波長域に対する複数の光透過率を規定する複数の光透過率で構成されてもよい。例えば、光透過率群は、各画素の複数の波長に対する複数の光透過率で構成されてもよい。

また、上記の実施の形態では、撮像装置１１の送信回路１０４が変調情報を送信し、画像生成装置１２の受信回路１０５が変調情報を受信する。しかし、撮像装置１１及び画像生成装置１２が変調情報を予め保持している場合、変調情報の送受信は不要である。

また、撮像装置１１と画像生成装置１２とが一体化されている場合、又は、情報伝達に記録媒体が用いられる場合等において、撮像装置１１は、送信回路１０４を備えていなくてもよいし、画像生成装置１２は、受信回路１０５を備えなくてもよい。また、画像生成装置１２において生成された画像は、出力されることなく、分析等に利用されてもよい。この場合、画像生成装置１２は、出力インタフェース装置１０８を備えなくてもよい。

また、積和が複数の画素において等しい場合には、積和が複数の画素において実質的に等しい場合、及び、積和が複数の画素においてほぼ等しい場合も含まれる。例えば、積和が複数の画素において数％の誤差の範囲内であれば、積和は複数の画素において等しいとみなされ得る。また、積和が複数の画素において等しいという表現は、積和が複数の画素において等しい値を有するという表現に置き換えられてもよい。

また、上記の実施の形態において、各構成要素（特に、各回路等）は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、撮像装置１１に含まれる複数の回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。同様に、画像生成装置１２に含まれる複数の回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

以上、一つ又は複数の態様に係る撮像装置１１及び撮像システム１０等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。

例えば、上記実施の形態において、特定の構成要素が実行する処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

本開示にかかる撮像装置は、圧縮センシングに利用可能であり、デジタルカメラ、デジタルビデオカメラ、携帯電話及びスマートフォン等に適用可能である。

１、２、３ フィルタ
１０ 撮像システム
１１ 撮像装置
１２ 画像生成装置
１０１ 変調部
１０２ 変調画像取得部
１０３ 送信データ圧縮回路
１０４ 送信回路
１０５ 受信回路
１０６ 受信データ復号回路
１０７ カラー画像生成回路（画像生成回路）
１０８ 出力インタフェース装置（出力Ｉ／Ｆ装置）
２０１ 結像光学系
２０２ カラーフィルタ
２０２ａ、２０２ｂ、２０２ｃ カットフィルム
２０３ 撮像素子

Claims (8)

1. 光信号を結像する結像光学系と、
   複数の画素を有し、前記複数の画素で結像された前記光信号を電気信号に変換する撮像素子と、
   前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素の画素毎及び複数の波長域の波長域毎に異なる光透過率を有するカラーフィルタと、
   前記撮像素子が取得した前記電気信号を圧縮する送信データ圧縮回路とを備え、
   前記複数の画素の画素毎に前記カラーフィルタが前記複数の波長域に対して有する複数の光透過率に関する光透過率群と、０とは異なる係数を含む、前記複数の画素で共通の係数群との積和が、前記複数の画素において等しく、
   前記係数群は、比視感度で定められる
   撮像装置。
2. 光信号を結像する結像光学系と、
   複数の画素を有し、前記複数の画素で結像された前記光信号を電気信号に変換する撮像素子と、
   前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素の画素毎及び複数の波長域の波長域毎に異なる光透過率を有するカラーフィルタと、
   前記撮像素子が取得した前記電気信号を圧縮する送信データ圧縮回路とを備え、
   前記複数の画素の画素毎に前記カラーフィルタが前記複数の波長域に対して有する複数の光透過率に関する光透過率群と、０とは異なる係数を含む、前記複数の画素で共通の係数群との積和が、前記複数の画素において等しく、
   前記係数群は、前記複数の波長域のそれぞれに対する輝度への変換係数で構成される
   撮像装置。
3. 光信号を結像する結像光学系と、
   複数の画素を有し、前記複数の画素で結像された前記光信号を電気信号に変換する撮像素子と、
   前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素の画素毎及び複数の波長域の波長域毎に異なる光透過率を有するカラーフィルタと、
   前記撮像素子が取得した前記電気信号を圧縮する送信データ圧縮回路とを備え、
   前記複数の画素の画素毎に前記カラーフィルタが前記複数の波長域に対して有する複数の光透過率に関する光透過率群と、０とは異なる係数を含む、前記複数の画素で共通の係数群との積和が、前記複数の画素において等しく、
   前記複数の画素は、第１画素、第２画素、第３画素及び第４画素を含み、
   前記第１画素、前記第２画素、前記第３画素及び前記第４画素のそれぞれに対応するカラーフィルタは、複数の波長域に対して、異なる光透過率を有する
   撮像装置。
4. 前記複数の画素の光透過率は、０％から１００％までの範囲において、一様分布で規定されている、
   請求項３に記載の撮像装置。
5. 前記複数の画素の光透過率は、平均５０％の正規分布で規定されている、
   請求項３に記載の撮像装置。
6. 前記係数群は、互いに等しい複数の係数で構成され、
   前記複数の画素の画素毎に前記カラーフィルタが前記複数の波長域に対して有する複数の光透過率の総和が、前記複数の画素において等しい
   請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記複数の画素は、第１画素、及び、前記第１画素に隣接する第２画素を含み、
   前記送信データ圧縮回路は、前記電気信号において前記第１画素に対する値と前記電気信号において前記第２画素に対する値との差分を符号化することにより、前記電気信号を圧縮する
   請求項１〜６のいずれか１項に記載の撮像装置。
8. 請求項１〜７のいずれか１項に記載の撮像装置と、
   画像生成装置とを備え、
   前記撮像装置は、さらに、前記送信データ圧縮回路で圧縮された前記電気信号を送信する送信回路を備え、
   前記画像生成装置は、
   前記送信回路で送信された前記電気信号を受信する受信回路と、
   前記受信回路で受信された前記電気信号の圧縮を解除する受信データ復号回路と、
   前記複数の画素及び前記複数の波長域に対して前記カラーフィルタが有する複数の光透過率を示す変調情報、及び、前記受信データ復号回路で圧縮が解除された前記電気信号を用いて、画像を生成する画像生成回路とを備える
   撮像システム。