JP6689379B2 - マルチ解像度圧縮センシング画像処理 - Google Patents

Description

本開示は、圧縮センス画像処理のためのシステムおよび方法を対象とする。より詳細には、本開示は、単一解像度画像を表す圧縮測定値（ｃｏｍｐｒｅｓｓｉｖｅ ｍｅａｓｕｒｅｍｅｎｔ）からマルチ解像度画像を構築することを対象とする。

このセクションは、本明細書で開示されるシステムおよび方法のより良い理解を可能にするのに役立ち得る態様をもたらす。したがって、このセクションの文は、この観点から読まれるべきであり、何が従来技術であるのかまたは従来技術でないのかについての承認として理解または解釈されるべきでない。

デジタル画像／ビデオカメラは、圧縮を使用して低減されるかなりの量の生データを獲得し、処理する。従来のカメラでは、シーンを表すＮ‐ピクセル画像の各々についての生データが、最初にキャプチャされ、次いで、一般に、格納および／または送信のために好適な圧縮アルゴリズムを使用して圧縮される。高解像度Ｎ‐ピクセル画像をキャプチャした後の圧縮は、概して有用であるが、それはかなりの計算リソースおよび時間を必要とする。さらに、画像生データが獲得された後のそれの圧縮が、有意味な圧縮を常に生じるとは限らない。

圧縮センス撮像（ｃｏｍｐｒｅｓｓｉｖｅ ｓｅｎｓｅ ｉｍａｇｉｎｇ）として当技術分野で知られている、より最近の手法は、シーンのＮ‐ピクセル画像（またはビデオの場合には複数の画像）についての圧縮されたデータを直接獲得する。圧縮センス撮像は、画像自体の従来の生データを集めることなしに、シーンのＮ‐ピクセル画像を後で構築するための圧縮された測定値を直接生成するためにランダムまたはスパース投影を使用するアルゴリズムを使用して実装される。所望のＮ‐ピクセル画像のＮ‐ピクセル値の各々についての生データを最初に獲得し、次いで生データを圧縮する、より従来の方法と比較して、低減された数の圧縮測定値が直接獲得されるので、圧縮センシング（ｃｏｍｐｒｅｓｓｉｖｅ ｓｅｎｓｉｎｇ）は、画像が完全に獲得された後にそれを圧縮するために必要とされるリソースを著しく除去または低減する。シーンのＮ‐ピクセル画像が、ディスプレイ上でのレンダリングまたは他の用途のために圧縮された測定値から構築される。

Ｅ．Ｊ．ＣａｎｄｅｓおよびＭ．Ｂ．Ｗａｋｉｎ、「Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｃｏｍｐｒｅｓｓｉｖｅ Ｓａｍｐｌｉｎｇ」、ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ、第２５巻、第２号、２００８年３月 Ｅ．Ｊ．Ｃａｎｄｅｓ、「Ｃｏｍｐｒｅｓｓｉｖｅ Ｓａｍｐｌｉｎｇ」、ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｇｒｅｓｓ ｏｆ Ｍａｔｈｅｍａｔｉｃｉａｎｓの議事録、マドリード、スペイン、２００６年 Ｅ．Ｃａｎｄｅｓら、「Ｒｏｂｕｓｔ ｕｎｃｅｒｔａｉｎｔｙ ｐｒｉｎｃｉｐｌｅｓ：Ｅｘａｃｔ ｓｉｇｎａｌ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ｈｉｇｈｌｙ ｉｎｃｏｍｐｌｅｔｅ ｆｒｅｑｕｅｎｃｙ ｉｎｆｏｒｍａｔｉｏｎ」、ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ、第５２巻、第２号、４８９−５０９頁、２００６年２月

様々な態様では、圧縮センス画像処理のためのシステムおよび方法が提供される。

一態様は、ＭｘＮ圧縮センシング行列を使用して生成されるＭ個の圧縮センス測定値を取り出すステップであって、圧縮センス測定値が、シーンの単一ネイティブ解像度（ｓｉｎｇｌｅ ｎａｔｉｖｅ ｒｅｓｏｌｕｔｉｏｎ）Ｎ‐ピクセル画像の圧縮されたバージョンを表す、取り出すステップと、圧縮センス測定値から再構築されるべき所望の２次元マルチ解像度画像の大きさを決定するステップと、決定された大きさに基づいて複数の領域を所望の２次元マルチ解像度画像に割り振るステップであって、割り振られた複数の領域の各々が、単一ネイティブ解像度画像のネイティブ解像度に等しいかまたはそれよりも小さい決定されたピクセル解像度を有する、割り振るステップと、各それぞれの割り振られた領域について拡張行列（ｅｘｐａｎｓｉｏｎ ｍａｔｒｉｘ）を定義するステップであって、各拡張行列の大きさが、割り振られた領域の決定されたピクセル解像度に基づいて各それぞれの割り振られた領域について決定される、定義するステップと、圧縮センス測定値と、圧縮センシング行列と、定義された拡張行列とを使用して、シーンのマルチ解像度再構築画像を生成するステップとを含む。

一態様は、圧縮測定値が取り出された後に、複数の領域を割り振るステップを含む。

一態様は、他の割り振られた領域よりも高い決定されたピクセル解像度を有する少なくとも１つの関心のある領域を割り振るステップを含む。

一態様は、割り振られた関心のある領域のうちの１つを変更することによって、または追加の関心のある領域を追加することによって、割り振られた関心のある領域を再構成するステップを含む。

一態様は、手動入力に基づいて少なくとも１つの関心のある領域を生成するステップを含む。

一態様は、自動的に少なくとも１つの関心のある領域を生成するステップを含む。

一態様は、ディスプレイ上にシーンのマルチ解像度再構築画像を生成することを表示するステップを含む。

本開示の様々な態様による、圧縮センス撮像システムの一例を示す図である。 本開示の様々な態様による、再構築基底行列（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｂａｓｉｓ ｍａｔｒｉｘ）を使用して圧縮測定値から物体の画像を再構築するための例示的なプロセスを示す図である。 本開示の態様による、領域を画像に割り振る例示的なステップを示す図である。 本開示の態様による、割り振られた領域について解像度を決定する例示的なステップを示す図である。 本開示の態様による、拡張行列を定義する例示的なステップを示す図である。 本開示の様々な態様を実装するための例示的な装置を示す図である。

本開示の様々な態様が、添付の図面を参照しながら以下で説明され、そこにおいて、同様の番号が、図の説明全体にわたって同様の要素を指す。説明および図面は本開示の原理を示しているにすぎない。当業者は、本明細書では明示的に説明または図示されていないが、本開示の原理を具現化し、本開示の趣旨および範囲内に含まれる、様々な構成を考案することが可能であることを諒解されよう。

本明細書で使用される「または（ｏｒ）」という用語は、別段に規定されていない限り（たとえば、「または他の場合は（ｏｒ ｅｌｓｅ）」あるいは「または代替として（ｏｒ ｉｎ ｔｈｅ ａｌｔｅｒｎａｔｉｖｅ）」）、非排他的ＯＲを指す。さらに、本明細書で使用される、要素間の関係について説明するために使用される語は、別段に規定されていない限り、直接的関係または介在要素の存在を含むものと広く解釈されるべきである。たとえば、ある要素が他の要素に「接続」または「結合」されると言及されるとき、その要素は、他の要素に直接接続または直接結合され得るか、あるいは介在要素が存在し得る。対照的に、ある要素が他の要素に「直接接続」または「直接結合」されると言及されるとき、介在要素は存在しない。同様に、「間で（ｂｅｔｗｅｅｎ）」「隣接する（ａｄｊａｃｅｎｔ）」などの語は、同様の様式で解釈されなければならない。

圧縮されたサンプリング、圧縮されたセンシングまたは圧縮サンプリング（ｃｏｍｐｒｅｓｓｉｖｅ ｓａｍｐｌｉｎｇ）としても知られている圧縮センシングは、従来のナイキストサンプリング（Ｎｙｑｕｉｓｔ ｓａｍｐｌｉｎｇ）に対する改善された効率を呈する、知られているデータサンプリング技法である。圧縮サンプリングは、スパース信号が、ナイキストサンプルの数よりもはるかに少数のサンプルを使用して表され、再構築されることを可能にする。信号がスパース表現を有するとき、信号は、適切な基底への線形射影からの少数の測定値から再構築され得る。さらに、再構築は、ランダムサンプリング行列が使用されるときに成功の高い確率を有する。

圧縮センシングは、一般に、Ｍ次元圧縮された測定ベクトルを得るために、Ｎ次元信号ベクトルをＭｘＮ次元サンプリングまたはセンシング行列φで乗算するものとして数学的に特徴づけられ、ここで、Ｍは、一般に、Ｎよりもはるかに小さい（すなわち、圧縮について、

である）。信号ベクトルが、その信号ベクトルに線形的に関係する領域においてスパースである場合、Ｎ次元信号ベクトルは、センシング行列φを使用して、Ｍ次元圧縮された測定値ベクトルから再構築（すなわち、近似）され得る。

圧縮サンプリングの従来の態様に関する追加の詳細は、たとえば、Ｅ．Ｊ．ＣａｎｄｅｓおよびＭ．Ｂ．Ｗａｋｉｎ、「Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｃｏｍｐｒｅｓｓｉｖｅ Ｓａｍｐｌｉｎｇ」、ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ、第２５巻、第２号、２００８年３月、Ｅ．Ｊ．Ｃａｎｄｅｓ、「Ｃｏｍｐｒｅｓｓｉｖｅ Ｓａｍｐｌｉｎｇ」、ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｇｒｅｓｓ ｏｆ Ｍａｔｈｅｍａｔｉｃｉａｎｓの議事録、マドリード、スペイン、２００６年、ならびにＥ．Ｃａｎｄｅｓら、「Ｒｏｂｕｓｔ ｕｎｃｅｒｔａｉｎｔｙ ｐｒｉｎｃｉｐｌｅｓ：Ｅｘａｃｔ ｓｉｇｎａｌ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ｈｉｇｈｌｙ ｉｎｃｏｍｐｌｅｔｅ ｆｒｅｑｕｅｎｃｙ ｉｎｆｏｒｍａｔｉｏｎ」、ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ、第５２巻、第２号、４８９−５０９頁、２００６年２月において見つけられ得る。

撮像システムでは、シーンのＮ‐ピクセル画像の１次元表現ｘ（ｘ_１、ｘ_２、ｘ_３．．．ｘ_Ｎ）の圧縮されたバージョンを表すための圧縮センシング撮像デバイスによって獲得される、圧縮測定値またはサンプルｙ_ｋ（ｋ∈［１．．．Ｍ］）間の関係は、（以下で示されているように）ｙ＝Ａｘとして行列形式で表され得、ここで、（φとしても知られている）Ａは、圧縮サンプルベクトルｙを獲得するために圧縮撮像デバイスによって実装される、ＭｘＮサンプリングまたはセンシング行列である。

ベクトルｘ（ｘ_１、ｘ_２、ｘ_３．．．ｘ_Ｎ）は、それ自体で２次元（たとえば、行と列）ネイティブ画像の１次元表現であることと、２次元画像の行または列を単一の列ベクトルに連結することなどの知られている方法が、知られている大きさの２次元画像を１次元ベクトルとして数学的に表すことおよびその逆を行うために使用され得ることとが、理解されるであろう。上記で示されている行列Ａは、（基底ベクトルとしても知られている）各行がシーンのフル解像度Ｎ‐ピクセル所望画像ｘの再構築に対応するＮ個の値を有するので、最大長センシングまたはサンプリング行列としても知られている。

本開示の焦点は、圧縮測定値ｙ_ｋ（ｋ∈［１．．．Ｍ］）の生成に対するものではないことに留意されたく、本明細書では、圧縮測定値は、従来の圧縮センシングデバイスから与えられるかまたは受信されると仮定される。しかしながら、圧縮測定値を生成するための簡単な説明が、図１において以下で与えられる。

代わりに、本開示の焦点は、圧縮サンプルからの所望の画像の再構築と、特に、圧縮測定値から導出されるマルチ解像度画像の構築とに対するものである。言い換えれば、本開示の態様は、単一ネイティブ解像度画像の圧縮されたバージョンを表すためにＭｘＮ最大長センシング行列Ａを使用して獲得された、圧縮測定値ｙ_ｋ（ｋ∈［１．．．Ｍ］）からの所望のマルチ解像度画像の再構築を対象とする。

本明細書で開示されるシステムおよび方法は、医療撮像、オブジェクト認識またはセキュリティなどの適用例において、あるいは圧縮測定値からフルネイティブ解像度画像を生成することが、常に必要であるとは限らないかまたは所望されるよりも多いリソースを消費し得る、他の適用例において、有利に使用され得る。特に、本明細書で開示されるシステムおよび方法は、それをすることが所望されるべきであるかまたは必要である場合、獲得された圧縮サンプルからフルネイティブ解像度画像を生成することが可能であることを排除しない。

次に、本発明のこれらおよび他の態様が、図を参照しながら以下でより詳細に説明される。

図１は、本開示の様々な態様による、圧縮撮像再構築システム１００（「システム１００」）の概略例を示す。シーン１０４から反射する（可視または非可視スペクトル中にあり得る）入射光１０２は、圧縮センシングカメラデバイス１０６によって受信され、圧縮センシングカメラデバイス１０６は、圧縮測定値ｙ_ｋ（ｋ∈［１．．．Ｍ］）のベクトルｙを生成するためにあらかじめ決定された最大長センシングまたはサンプリング行列Ａを使用し、ここで、

である。当業者によって理解されるように、圧縮測定値ｙ_ｋ（ｋ∈［１．．．Ｍ］）は、シーン１０４の（たとえば、２次元画像の行の連結を使用して、２次元画像の１次元表現として表される）単一ネイティブ解像度Ｎ‐ピクセル画像ｘ（ｘ_１、ｘ_２、ｘ_３．．．ｘ_Ｎ）の圧縮されたバージョンを表す。

たとえば、シーン１０４から反射される入射光１０２は、カメラデバイス１０６において受信され得、ここで、その光は、個別に選択可能な開口要素（たとえば、Ｎマイクロミラー）のＮ要素アレイを通過すること、部分的に通過すること、または通過しないことを選択的に許可され、光子検出器に当たる。任意の特定の時間においてＮ個の個別の開口要素のいずれが、光が通過し、検出器に当たることを可能にする（または阻止する）ことを部分的にまたは完全に有効にされるかまたは無効にされるかが、圧縮センシング行列Ａを使用してプログラム的に制御され得る。本明細書では、圧縮センシング行列Ａはあらかじめ決定された最大長行列であると仮定される。そのような行列の一例は、ランダムにまたは擬似ランダムに生成されたＭｘＮウォルシュアダマール行列（Ｗａｌｓｈ−Ｈａｄａｍａｒｄ ｍａｔｒｉｘ）である。他の実施形態では、行列Ａは、圧縮されたセンシング理論におけるいくつかのよく知られている特性（たとえば、直交行列のランダム行選択）を有する、圧縮センシングにおいて使用するのに好適な任意のタイプのスパース行列であり得る。

圧縮センシングカメラデバイス１０６は、当業者によって十分に理解されるように、圧縮センシング行列Ａの圧縮基底ベクトルａ_１、ａ_２、．．．ａ_Ｍの各々を使用して、それぞれの時間ｔ_１、ｔ_２、．．．ｔ_ＭにわたってＭ個の圧縮測定値ｙ_ｋ（ｋ∈［１．．．Ｍ］）のセットを生成するために、光子検出器の出力を周期的に処理（たとえば、統合、フィルタ処理、デジタル化など）し得る。さらに理解されるように、圧縮測定値ｙ_ｋ（ｋ∈［１．．．Ｍ］）は、シーン１０４の圧縮された画像を集合的に表す。実際には、生成されるＭ個の圧縮測定値は、圧縮の所望のレベルと、Ｍ個の圧縮測定値を使用して再構築され得るフル解像度Ｎ‐ピクセル画像の所望のネイティブ解像度との間のあらかじめ決定された平衡を表す。圧縮センシングデバイス１０６は、そのような平衡に基づいて構成され得る。

オブジェクト１１０の圧縮されたＮ‐ピクセル画像ｘ_１、ｘ_２、．．．ｘ_Ｎを表す圧縮測定値ｙ_１、ｙ_２、ｙ_３、．．．ｙ_Ｍのベクトルｙは、圧縮センシングデバイス１０６によってネットワーク１０８を介してマルチ解像度再構築デバイス１１０に送信され得る。

上記で言及されたように、本開示の様々な態様に従って、再構築デバイス１１０は、圧縮測定値からマルチ解像度画像を生成するように構成される。特に、および以下で詳細に説明されるように、再構築デバイス１１０は、画像の部分が画像の他の部分よりも高い解像度である、画像を圧縮測定値から生成するように構成される。たとえば、再構築デバイス１１０によって生成された画像は、可能なフル解像度（すなわち、圧縮測定値がそれに基づいて獲得された一定の単一ネイティブ解像度）で生成される１つまたは複数の関心のある領域と、関心のある領域の解像度よりも低い解像度で生成される少なくとも１つまたは複数の他の領域とを有し得る。

デバイスまたはユニットは、理解しやすいように図１では別々に示されているが、いくつかの実施形態では、デバイスは、単一のユニットまたはデバイスに組み合わせられ得る。たとえば、一実施形態では、単一の処理デバイスが、圧縮測定値を生成することと所望の画像を再構築することとの両方の機能を与えるように構成され得る。単一の処理デバイスは（デバイスが別個である場合のように）、１つまたは複数の命令を記憶するメモリと、実行された時に、プロセッサを本明細書で説明される機能を与えるように構成し得る１つまたは複数の命令を実行するためのプロセッサとを含み得る。単一の処理デバイスは、カメラ、ディスプレイ、キーボード、マウス、ネットワークアダプタなどを含む、処理デバイスに／から情報を入力するかまたは出力するための１つまたは複数の入出力構成要素など、一般にコンピューティングデバイス中で見つけられる他の構成要素を含み得る。ネットワーク１０８は、イントラネット、インターネット、あるいは１つまたは複数のワイヤードまたはワイヤレスネットワークの任意のタイプまたは組合せであり得る。

次に、圧縮サンプルからマルチ解像度画像を生成するための再構築デバイス１１０の詳細な動作が、図２に示されているプロセス２００とともに説明される。

ステップ２０２において、再構築デバイス１１０は、ＭｘＮ圧縮センシング行列を使用して圧縮センシングデバイス１０６によって生成される、シーンの単一ネイティブ解像度Ｎ‐ピクセル画像ｘの圧縮されたバージョンを表す圧縮測定値ｙ（ｙ_１、ｙ_２、．．．ｙ_Ｍ）を受信するかまたは取り出す。圧縮測定値に加えて、一実施形態では、再構築デバイス１１０はまた、圧縮センシングデバイス１０６から、ＭｘＮ圧縮センシング行列Ａ、または圧縮測定値を生成するために圧縮センシングデバイスによって使用されたＭｘＮ圧縮センシング行列Ａを生成するための情報を受信する。たとえば、センシング行列は、センシング行列を生成するために圧縮センス撮像デバイスによって使用された受信されたシード値に基づいて、再構築デバイスによって生成され得る。他の実施形態では、圧縮測定値を獲得するために圧縮センシングデバイス１０６によって使用される圧縮センシング行列Ａは、一般に変化しないので、圧縮センシングデバイス１０６は、たとえば、圧縮センシングデバイスの初期化などにおいて、圧縮測定値を獲得するより前に、圧縮センシング行列Ａを再構築ユニットに送信し得る。また他の実施形態では、再構築行列は、前もって知られ得るか、または再構築デバイス１１０によって生成され得る。

ステップ２０４において、再構築デバイス１１０は、圧縮センス測定値から再構築されるべき所望の２次元マルチ解像度画像の大きさを決定する。再構築デバイス１１０は、その大きさを、センシング行列を使用してそれについて圧縮測定値が生成された１次元Ｎ‐ピクセル画像ｘの２次元表現の行および列サイズに対応する行および列サイズとして表し得、ここで、行数×列数はＮに等しい。２次元画像を１次元ベクトルとして表すこと、およびその逆が、当業者によって理解されよう。たとえば、圧縮センス行列および圧縮測定値を生成するとき、圧縮センス撮像デバイスにおいて２次元ネイティブ解像度画像を１次元ベクトルｘにマッピングするために、行のあらかじめ決定された連結が使用され得、再構築デバイスは、２次元ネイティブ解像度画像の大きさに対応する所望の２次元マルチ解像度画像の大きさを決定するために、同じあらかじめ決定された連結方法を使用し得る。他の実施形態では、２次元ネイティブ解像度画像の大きさは、前もって知られるかまたはあらかじめ決定され得る。

ステップ２０６において、再構成ユニットは、複数の領域を、再構築されるべき所望のマルチ解像度２次元画像に割り振る。言い換えれば、これは、２次元画像を複数の領域に分割することとしても理解され得る。複数の領域を割り振ることは、解像度に関して、他の領域よりも重要であると見なされる少なくとも１つの関心のある領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を割り振ることを含む。

図３は、４つの領域を２次元単一ネイティブ解像度画像３０２に割り振る具体的な例を示す。そこに示されているように、２次元画像は、４つの領域３０４、３０６、３０８、および３１０に区分されるか、分割されるか、または割り振られ、ここで、例のために、ｘ_１として示された領域は、ＲＯＩの部分でないより低い解像度領域であるｘ_２、ｘ_３、ｘ_４として示された領域と比較して、割り振られた関心のある領域であると仮定される。より一般的には、領域の割振りは、ｘ＝ｘ_１＋．．．＋ｘ_Ｐとして表され得、ここで、Ｐ（例では４）は領域の数である。

ステップ２０８において、割り振られる複数の（ブロックとしても言及される）領域の各々は、所望のそれぞれの解像度をもつ対応する領域として、所望のマルチ解像度画像に割り振られ、ここで、所望のマルチ解像度画像の領域の各々に割り振られるそれぞれの解像度は、圧縮測定値ｙ（ｙ_１、ｙ_２、．．．ｙ_Ｍ）によって表される圧縮された画像の単一ネイティブ解像度よりも小さいか、またはそれに等しい。

図４は、４つの領域が割り振られた図３の特定の例について、ステップ２０８を示す。図４に見られるように、画像４０２は、取り出された圧縮測定値によって表される２次元単一ネイティブ解像度画像であり、画像４０２内の細かいグリッドは、本明細書では単一ネイティブ解像度を図示するために使用される。画像４０４は、圧縮測定値から構築されるべき所望のマルチ解像度画像である。画像４０４は、前のステップに従って割り振られた対応する４つ領域ｘ_１、ｘ_２、ｘ_３、およびｘ_４を示す。さらに、４つブロックの各々へのそれぞれの解像度の割振りを示すために、画像４０４の４つの領域の各々内にグリッドが示されている。

画像４０４に示されているグリッドから、関心のある領域として定義された領域ｘ_１が、ネイティブ解像度に等しい解像度を割り振られ、他の領域と比較して最も高い解像度を有することがわかり得る。同じくグリッドが示されているように、他の領域ｘ_２、ｘ_３およびｘ_４はそれぞれ、すべてネイティブ解像度よりも小さい（および決定された関心のある領域の解像度よりも小さい）異なる解像度を（降順で）割り振られている。

より一般的には、Ｐ個の領域のうちの所与の１つについての単一ネイティブ解像度は、｜ｘ_ｉ｜＝Ｎ_ｉとして表され得、領域の各々の解像度は、次式のように割り振られ得る。

ここで、

は、所望の解像度を有する所望のマルチ解像度画像

の領域ｉであり、ｑ_ｉは、ステップ２０６において単一ネイティブ解像度画像に割り振られるＰ個の領域における各領域ｘ_ｉについての各大きさ（水平および垂直）のためのダウンサンプリング係数である。

ステップ２１０では、再構築デバイス１１０は、マルチ解像度領域と単一ネイティブ解像度画像との間のマッピングを実施するために、各それぞれの割り振られた領域について拡張行列を定義する。一般に、各領域について、拡張行列は

として表され、ここで、ｘ_ｉは、単一ネイティブ解像度画像中の所与の割り振られた領域であり、

は、所望のマルチ解像度画像中の対応する領域であり、ここで、Ｅ_ｉは所与の領域についての拡張行列である。図５は、図３および図４に示された領域ｘ_４の特定の例に関してこのステップを示す。ステップ２１０の結果として、単一ネイティブ解像度画像ｘ全体と、拡張行列Ｅ_１、Ｅ_２．．．．Ｅ_ｐと、所望のマルチ解像度画像の割り振られた解像度をもつ領域

との間の関係は、

によって与えられる。たとえば、領域

が、ネイティブ解像度と同じである解像度を有するように割り振られた場合、対応する拡張行列Ｅ_１は、

を満たす恒等行列であろう。

ステップ２１２において、再構築ユニットは、割り振られた領域と、拡張行列と、受信された圧縮センス測定値と、圧縮センシング行列とを使用して、シーンのマルチ解像度再構築画像を生成する。

このステップにおいて、圧縮測定値から所望の画像を生成するための一般再構築ステップは、ｙ＝Ａｘから

に変更される。変更は、所望のマルチ解像度画像のためのブロックの各々を再構築するために使用される。本質的に、このステップは、次式を反復的に解くことを伴う。

上記の式では、各

は、マルチ解像度画像の再構築された領域のうちの１つである。α_ｉ、ｉ＝１、．．．、Ｐは、領域ｘ_ｉ、ｉ＝１、．．．、Ｐの面積を考慮に入れるためのスケーリング係数であり、ｆ_ｉ、ｉ＝１、．．．、Ｐは、ブロックの構造を促進する正規化関数（たとえば、Ｌ１ノルム）である。

は、再構築されるべき所望の解像度を有するマルチ解像度画像の割り振られた領域である。ｇは、測定値と獲得モデルとの間の距離を特徴づける関数（たとえば、Ｌ２ノルム）である。ｙは、圧縮測定値の受信されたセットである。Ａは、ｙを生成するために使用されたセンシング行列である。Ｅ_ｉは、所望の解像度を有する割り振られた領域

についての定義された拡張行列である。所望のマルチ解像度画像の領域

の各々が、解決され、取得されると、所望のフルまたは全マルチ解像度画像ｘ^＊が、

として取得され得る。シーンの生成されたマルチ解像度再構築画像は、シーンのマルチ解像度再構築画像として２次元形式でディスプレイデバイス上に表示され得る。

本明細書で開示されるシステムおよび方法は、単一ネイティブ解像度画像の圧縮されたバージョンを表す圧縮測定値のセットを処理することに基づく、ディスプレイデバイス上での表示に好適なマルチ解像度画像の再構築または生成を可能にする。本開示に鑑みて、より従来の手法と比較していくつかの利点が生じると考えられる。本明細書に示されるプロセスは、単一ネイティブ解像度画像の圧縮されたバージョンを表す圧縮測定値のセットに基づく、マルチ解像度画像の再構築を可能にする。したがって、本開示は、異なる所望の解像度をサポートするために新しい圧縮測定値を再キャプチャまたは再生成する必要なしに、圧縮測定値の同じセットから異なる所望の解像度の異なる画像が構築されることを可能にする。さらに、マルチ解像度画像の再構築は、ネイティブ画像の圧縮されたバージョンを表す同じ圧縮測定値に基づいておよびそれを使用して生じるので、フルネイティブ解像度での再構築画像はまた、所望される場合、異なる解像度について新しい圧縮測定値を生成するためにシーンを再キャプチャする必要なしに構築され得る。

さらに、（１つまたは複数の）関心のある領域、領域の数（および領域に割り振られる解像度）は、圧縮測定値が生成された後に変えられて、そのような変更に好適な新しい圧縮測定値を生成する必要なしに異なる解像度で異なる画像を再構築し得る。さらに、これは、マルチ解像度画像を再構築するためのプロセスが、圧縮センス画像キャプチャデバイス以外のデバイスにおいて生じ得ることをも意味し、したがって、画像キャプチャデバイスが、異なる所望の解像度に基づいて、センシング行列を再構成し、画像を再キャプチャしなければならない場合に必要とされるであろう計算リソースの大部分を緩和する。有利には、これは、処理中に所望され得る異なる領域または異なる解像度を考慮に入れる必要なしに、および異なる状況について別様に圧縮センス撮像デバイスを再構成する必要なしに、圧縮センス画像キャプチャデバイスのコストを低減し、そのデバイスを大量配備に好適にし得る。

他の領域よりも高い解像度を有する関心のある領域を含む、本明細書で説明される領域は、いくつかのやり方で決定され得る。たとえば、一実施形態では、関心のある領域（および他の領域）が、再構築デバイスへの手動入力に基づいて決定され得る。いくつかの実施形態では、関心のある領域を含む１つまたは複数の領域を識別するために、極めて低い解像度プレビュー画像が構築され得、次いで、所望のマルチ解像度画像がプレビュー画像に基づいて構築され得る。別の実施形態では、関心のある領域は、キャプチャされるシーンの知られているまたは決定された特徴（たとえば、セキュリティ適用例におけるドア）などに基づいて自動的に決定され得、画像の残りは、より低い解像度領域と見なされ得る。また他の実施形態では、関心のある領域は、画像の中央エリアがより高い解像度で割り振られるように決定され得、その後に、降順でより小さい解像度（または同じ解像度）で他の領域として割り振られる１つまたは複数の周囲エリアが続く。当業者によって理解されるように、シーンをキャプチャする複数のカメラのビューに基づいて重複カバレージエリアを決定し、重複エリアを関心のある領域として決定することなど、関心のある領域を決定するための他の従来の手法も使用され得る。上記の例では４つの領域が示されたが、それぞれ割り振られた解像度をもつより少ない数またはより大きい数の領域があり得ることを理解されよう。一実施形態では、より高い解像度（たとえば、ネイティブ解像度）を有する１つの関心のある領域があり得、画像の残りは、関心のある領域よりも低い解像度を有する第２の領域と見なされ得る。

各領域について本明細書で開示される拡張行列（Ｅ）は、それぞれのより低い解像度領域

と元のネイティブ解像度領域ｘ_ｉとの間のマッピングを可能にする。一般的に言えば、元の解像度行列または領域（ｄ）を取得することは、サイズｑｘｑのブロックにおいて低解像度行列または領域

の要素を繰り返すことを含み、ここで、

である。特定の例として、４要素低解像度行列または領域

が、次式のように、拡張行列１_２ｘ２を使用してネイティブ解像度１６要素行列または領域ｄにマッピングされ得る。

その逆に進むこと、すなわち、元のネイティブ解像度領域（ｄ）から低解像度行列または領域

を取得することは、次式のように、サイズｑｘｑのブロック（Ｂ_ｑｘｑ）の内部にある元の解像度行列（ｄ）の要素を合計することを伴う。

図６は、本開示の様々な態様（たとえば、プロセス２００の１つまたは複数のステップ）を実装するのに好適な計算装置６００の上位レベルブロック図を示す。単一のブロックにおいて示されているが、他の実施形態では、装置６００はまた、並列および分散アーキテクチャを使用して実装され得る。したがって、たとえば、上記で説明された図１のアーキテクチャ１００の様々なユニットのうちの１つまたは複数、および本明細書で開示される他の構成要素は、装置２００を使用して実装され得る。さらに、プロセス２００の一例で示されているものなどの様々なステップが、特定の実装形態に基づいて逐次的に、並列に、または異なる順序で装置６００を使用して実行され得る。例示的な装置６００は、様々な入出力デバイス６０４およびメモリ６０６と通信可能に相互接続された、プロセッサ６０２（たとえば、中央処理ユニット（「ＣＰＵ」））を含む。

プロセッサ６０２は、汎用中央処理ユニット（「ＣＰＵ」）あるいは組込みマイクロコントローラまたはデジタル信号プロセッサ（「ＤＳＰ」）などの専用マイクロプロセッサなどの任意のタイプのプロセッサであり得る。入出力デバイス６０４は、たとえば、ネットワークアダプタ、データポート、およびキーボード、キーパッド、マウスまたはディスプレイなどの様々なユーザインターフェースデバイスなど、プロセッサ６０２の制御下で動作し、装置６００にデータを入力し、またはそれからデータを出力するように構成された任意の周辺デバイスであり得る。

メモリ６０６は、たとえば、一時的ランダムアクセスメモリ（ＲＡＭ）、または読取り専用メモリ（ＲＯＭ）などの非一時的メモリ、ハードディスクドライブメモリ、データベースメモリ、コンパクトディスクドライブメモリ、光メモリなど、電子情報を記憶し、それにアクセスするのに好適な任意のタイプのメモリまたはそれらの組合せであり得る。メモリ６０６は、データと命令とを含み、命令は、プロセッサ６０２により実行された時に、上記で説明された機能または態様（たとえば、プロセス２００の１つまたは複数のステップ）を実施または実行するように装置６００を構成するか、あるいは装置６００にそれらを実施または実行させる。さらに、装置６００は、メモリ６０６に記憶され、プロセッサ６０２によって実行される１つまたは複数のネットワークプロトコル、またはオペレーティングシステム、キューマネージャ、デバイスドライバ、データベースドライバなど、一般にコンピューティングシステム中で見つけられる他の構成要素をも含み得る。

装置６００の特定の実施形態が図６に示されているが、本開示による様々な態様が、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用またはプログラマブルハードウェアの任意の他の組合せをも使用して実装され得る。

本明細書の態様が特定の実施形態に関して説明されたが、これらの実施形態は本開示の原理および適用例を示すものにすぎないことを理解されたい。したがって、本開示の趣旨および範囲から逸脱することなく、例示的な実施形態に多数の変更が行われ得ること、および他の構成が考案され得ることを理解されたい。

Claims (10)

1. 圧縮センスされた画像を処理するための装置であって、
   命令とデータとを記憶するためのメモリと、
   メモリに通信可能に結合され、データと命令とにアクセスするように構成されたプロセッサとを含み、命令が、プロセッサによって実行されたとき、
   ＭｘＮ圧縮センシング行列を使用して生成されるＭ個の圧縮センス測定値を取り出すことであって、圧縮センス測定値が、シーンの単一ネイティブ解像度Ｎ‐ピクセル画像の圧縮されたバージョンを表す、取り出すことと、
   圧縮センス測定値から再構築されるべき所望の２次元マルチ解像度画像の大きさを決定することと、
   決定された大きさに基づいて、複数の領域を所望の２次元マルチ解像度画像に割り振ることであって、割り振られた複数の領域の各々が、単一ネイティブ解像度画像のネイティブ解像度に等しいかまたはそれよりも小さい決定されたピクセル解像度を有する、割り振ることと、
   各それぞれの割り振られた領域について拡張行列を定義することであって、各拡張行列の大きさが、割り振られた領域の決定されたピクセル解像度に基づいて各それぞれの割り振られた領域について決定される、定義することと、
   圧縮センス測定値と、圧縮センシング行列と、定義された拡張行列とを使用して、シーンのマルチ解像度再構築画像を生成することと
   を行うようにプロセッサを構成する、
   装置。
2. プロセッサが、圧縮測定値が取り出された後に、複数の領域を割り振るようにさらに構成された、請求項１に記載の装置。
3. プロセッサが、他の割り振られた領域よりも高い決定されたピクセル解像度を有する少なくとも１つの関心のある領域を割り振るようにさらに構成された、請求項１に記載の装置。
4. プロセッサが、割り振られた関心のある領域のうちの１つを変更することによって、または追加の関心のある領域を追加することによって、割り振られた関心のある領域を再構成するようにさらに構成された、請求項３に記載の装置。
5. プロセッサが、手動入力に基づいて少なくとも１つの関心のある領域を生成するようにさらに構成された、請求項３に記載の装置。
6. プロセッサが、自動的に少なくとも１つの関心のある領域を生成するようにさらに構成された、請求項３に記載の装置。
7. 圧縮センスされた画像を処理するためのコンピュータにより実装される方法であって、
   ＭｘＮ圧縮センシング行列を使用して生成されるＭ個の圧縮センス測定値を取り出すステップであって、圧縮センス測定値が、シーンの単一ネイティブ解像度Ｎピクセル画像の圧縮されたバージョンを表す、取り出すステップと、
   圧縮センス測定値から再構築されるべき所望の２次元マルチ解像度画像の大きさを決定するステップと、
   決定された大きさに基づいて、複数の領域を所望の２次元マルチ解像度画像に割り振るステップであって、割り振られた複数の領域の各々が、単一ネイティブ解像度画像のネイティブ解像度に等しいかまたはそれよりも小さい決定されたピクセル解像度を有する、割り振るステップと、
   各それぞれの割り振られた領域について拡張行列を定義するステップであって、各拡張行列の大きさが、割り振られた領域の決定されたピクセル解像度に基づいて各それぞれの割り振られた領域について決定される、定義するステップと、
   圧縮センス測定値と、圧縮センシング行列と、定義された拡張行列とを使用して、シーンのマルチ解像度再構築画像を生成するステップと
   を含む、コンピュータにより実装される方法。
8. 圧縮測定値が取り出された後に、複数の領域を割り振るステップをさらに含む、請求項７に記載のコンピュータにより実装される方法。
9. 他の割り振られた領域よりも高い決定されたピクセル解像度を有する少なくとも１つの関心のある領域を割り振る、請求項７に記載のコンピュータにより実装される方法。
10. 割り振られた関心のある領域のうちの１つを変更することによって、または追加の関心のある領域を追加することによって、割り振られた関心のある領域を再構成するステップをさらに含む、請求項９に記載のコンピュータにより実装される方法。

Images