JP6475269B2 - Compressed sensing imaging - Google Patents

Compressed sensing imaging Download PDF

Info

Publication number
JP6475269B2
JP6475269B2 JP2016575825A JP2016575825A JP6475269B2 JP 6475269 B2 JP6475269 B2 JP 6475269B2 JP 2016575825 A JP2016575825 A JP 2016575825A JP 2016575825 A JP2016575825 A JP 2016575825A JP 6475269 B2 JP6475269 B2 JP 6475269B2
Authority
JP
Japan
Prior art keywords
matrix
compressed
array
measurements
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016575825A
Other languages
Japanese (ja)
Other versions
JP2017521942A (en
JP2017521942A5 (en
Inventor
ジアン,ホン
ホワン,ガン
ウィルフォード,ポール
Original Assignee
アルカテル−ルーセント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/319,142 external-priority patent/US20150382026A1/en
Application filed by アルカテル−ルーセント filed Critical アルカテル−ルーセント
Priority claimed from PCT/US2015/036314 external-priority patent/WO2016003655A1/en
Publication of JP2017521942A publication Critical patent/JP2017521942A/en
Publication of JP2017521942A5 publication Critical patent/JP2017521942A5/ja
Application granted granted Critical
Publication of JP6475269B2 publication Critical patent/JP6475269B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本出願は、それぞれの全体が参照により本明細書に組み込まれている下記の米国出願:2012年10月24日に出願された「Resolution and Focus Enhancement」と題する米国特許出願第13/658,904号、2012年10月24日に出願された「Lensless Compressive Image Acquisition」と題する米国特許出願第13/658,900号、2012年2月7日に出願された「Lensless Compressive Image Acquisition」と題する米国特許出願第13/367,413号、および、2010年9月30日に出願され、2014年2月4日に米国特許第8,644,376号として発行された「Apparatus and Method for Generating Compressive Measurements of Video Using Spatial and Temporal Integration」と題する米国特許出願第12/894,855号の主題を参照する。   This application is a US patent application Ser. No. 13 / 658,904 entitled “Resolution and Focus Enhancement” filed Oct. 24, 2012, which is incorporated herein by reference in its entirety: United States Patent Application No. 13 / 658,900 entitled “Lensless Comprehensive Image Acquisition” filed on Oct. 24, 2012; Patent Application No. 13 / 367,413, and “Apparatus a” filed on Sep. 30, 2010 and issued on Feb. 4, 2014 as U.S. Pat. No. 8,644,376. Referring to the d Method for Generating Compressive Measurements of Video Using the subject matter of the Spatial and Temporal Integration entitled "US patent application Ser. No. 12 / 894,855.

本開示は、圧縮センシング画像処理(compressive sense image processing)のためのシステムおよび方法を対象としている。   The present disclosure is directed to systems and methods for compressive sense image processing.

この項では、本開示のシステムおよび方法をより良く理解するために役立ち得る見識を紹介する。したがって、この項の文言はそれにかんがみて読まれるべきであり、従来技術に何が含まれるか、または、従来技術に何が含まれないかに関する承認と理解もしくは解釈されてはならない。   This section introduces insights that can help to better understand the systems and methods of the present disclosure. Accordingly, the language in this section should be read in light of this and should not be understood or interpreted with respect to what is included in the prior art or what is not included in the prior art.

デジタル画像/動画カメラは大量の生データを取得して処理する。画像データを効率的に記憶または伝送するためには、Nピクセル画像のN個のピクセルのそれぞれについて、まず、生ピクセルデータがキャプチャされ、次に、通常は、適切な圧縮アルゴリズムを使用して、記憶および/または伝送のために圧縮される。カメラでキャプチャした画像(または動画)のサイズを小さくするためには、画像のN個のピクセルのそれぞれについて生データをキャプチャした後に圧縮することが一般に役立つが、非常に多くの計算リソースおよび時間が必要である。さらに、生ピクセルデータを圧縮しても、キャプチャされた画像のサイズは必ずしも有意に小さくならない。   Digital image / video cameras acquire and process large amounts of raw data. In order to store or transmit image data efficiently, raw pixel data is first captured for each of the N pixels of the N pixel image, and then usually using an appropriate compression algorithm, Compressed for storage and / or transmission. To reduce the size of an image (or video) captured by a camera, it is generally helpful to compress the raw data after capturing each of the N pixels of the image, but it takes a lot of computational resources and time is necessary. Furthermore, compressing the raw pixel data does not necessarily significantly reduce the size of the captured image.

圧縮センシング撮像(compressive sense imaging)として知られる、より新しい手法では、Nピクセル画像のN個のピクセルすべてについて先に生データを集めることなく、ランダム投影を使用して圧縮画像(または動画)データを取得する。例えば、符号化された(すなわち圧縮された)画像を表す一連の圧縮測定値を、圧縮測定基底を適用して取得する。この手法では、所望のNピクセル画像のN個のピクセル値のそれぞれに対する生データと比較して、少ない数の圧縮測定値が取得されるので、生データがキャプチャされた後に圧縮を施す必要をなくすか、大幅に減らすことができる。   A newer technique, known as compressive sensing imaging, uses random projection to collect compressed image (or video) data without first collecting raw data for all N pixels of the N pixel image. get. For example, a series of compression measurements representing an encoded (ie, compressed) image is obtained by applying a compression measurement base. In this approach, a smaller number of compression measurements are obtained compared to the raw data for each of the N pixel values of the desired N pixel image, eliminating the need for compression after the raw data is captured. It can be greatly reduced.

圧縮センシング撮像のためのシステムおよび方法が提供される。いくつかの実施形態では、物体から反射して開口配列を通過する入射光が、センサによって検出される。開口配列およびセンサの属性に基づいて決定される圧縮用のシーケンス列を使用し、センサからの出力に基づいて、中間圧縮測定値が生成される。その中間圧縮測定値がさらに処理されて、物体の圧縮画像を表す圧縮測定値が生成される。中間圧縮測定値を得るために使用されたシーケンス列とは異なる、決定された再構成行列を使用して、圧縮測定値から物体の復元画像が生成される。 Systems and methods for compressed sensing imaging are provided. In some embodiments, incident light reflected from an object and passing through an aperture array is detected by a sensor. Using the sequence matrix for compression is determined based on the attributes of the opening sequence and the sensor, based on the output from the sensor, intermediate compression measurements are generated. The intermediate compression measurement is further processed to generate a compression measurement that represents a compressed image of the object. Different from the sequence matrix that was used to obtain an intermediate compression measurements using the determined reconstruction matrix, the restored image of the object from the compression measurement is generated.

一態様では、圧縮センシング撮像のシステムおよび方法は、複数のシーケンス列を生成することと、その複数のシーケンス列を使用して複数の中間圧縮測定値を決定することと、その複数の中間圧縮測定値を使用して、物体の圧縮画像を表す複数の圧縮測定値を生成することとを含む。 In one aspect, the system and method of compressed sensing imaging comprises generating a plurality of sequences matrix, determining a plurality of intermediate compression measurements using the multiple sequence matrix, the plurality of intermediate Generating a plurality of compressed measurements representing a compressed image of the object using the compressed measurements.

いくつかの態様では、このシステムおよび方法は、再構成基底行列を使用して、複数の圧縮測定値から物体の復元画像を生成することを含む。   In some aspects, the systems and methods include generating a reconstructed image of an object from a plurality of compressed measurements using a reconstructed basis matrix.

いくつかの態様では、このシステムおよび方法は、開口素子からなる開口配列およびセンサの属性に基づいてカーネル行列を決定することと、そのカーネル行列および再構成基底行列を使用してセンシング行列を生成することとを含む。   In some aspects, the system and method determine a kernel matrix based on an aperture array of aperture elements and sensor attributes and generate the sensing matrix using the kernel matrix and the reconstructed basis matrix Including.

いくつかの態様では、このシステムおよび方法は、センシング行列を分解して複数のシーケンス列を生成することを含む。 In some embodiments, the system and method includes generating a plurality of sequences matrix by decomposing sensing matrix.

いくつかの態様では、このシステムおよび方法は、センサの感度関数を決定することと、開口配列の開口素子のうち少なくとも1つについて少なくとも1つの特性関数を決定することと、その感度関数および少なくとも1つの特性関数を使用して畳み込み演算を行うことによってカーネル関数を計算することと、そのカーネル関数およびある画像を使用してカーネル行列を決定することとを含む。   In some aspects, the system and method includes determining a sensitivity function of the sensor, determining at least one characteristic function for at least one of the aperture elements of the aperture array, the sensitivity function and at least one Calculating a kernel function by performing a convolution operation using two characteristic functions and determining a kernel matrix using the kernel function and an image.

いくつかの態様では、このシステムおよび方法は、スパース化演算子を適用して、再構成基底行列を使用して複数の圧縮測定値から物体の復元画像を生成することを含む。   In some aspects, the system and method includes applying a sparse operator to generate a reconstructed image of the object from the plurality of compressed measurements using the reconstructed basis matrix.

いくつかの態様では、このシステムおよび方法は、ある期間中に、シーケンス列内の少なくとも1つの基底に基づいて開口配列の1つまたは複数の開口素子を選択的に有効化または無効化して、複数の中間圧縮測定値の少なくとも1つを決定することを含み、複数の中間圧縮測定値のこの少なくとも1つは、その期間中にセンサによって検出された光の総合計に基づいて決定される。 In some embodiments, the system and method, during a period of time, and selectively enable or disable the one or more openings elements of the opening sequence based on at least one base in the sequence matrix, Determining at least one of the plurality of intermediate compression measurements, wherein the at least one of the plurality of intermediate compression measurements is determined based on a total amount of light detected by the sensor during the period.

いくつかの態様では、開口配列は、マイクロミラーの配列である。いくつかの態様では、開口配列は、LCD素子の配列である。   In some embodiments, the aperture array is an array of micromirrors. In some aspects, the aperture array is an array of LCD elements.

本開示の様々な態様による圧縮センシング撮像システムの例を示す図である。FIG. 6 illustrates an example of a compressed sensing imaging system according to various aspects of the present disclosure. 本開示の一態様により、物体の圧縮測定値をシーケンス列を使用して取得するためのカメラユニットの例を示す図である。According to one embodiment of the present disclosure is a diagram showing an example of a camera unit for acquiring the compressed measurements of an object using a sequence matrix. 本開示の様々な態様による圧縮センシング撮像のためのプロセス例を示す図である。FIG. 6 illustrates an example process for compressed sensing imaging in accordance with various aspects of the present disclosure. 本開示の態様を実装するための装置例を示す図である。FIG. 6 illustrates an example device for implementing aspects of the disclosure.

本開示の様々な態様について、添付図面を参照しながら以下に記述する。図面内の同様の番号は図面の記述の中の同様の要素を指す。記述および図面は本開示の原理を単に説明する。様々な構造、システム、およびデバイスは、説明のみを目的とし、また、当業者にはよく知られている詳細によって本発明を曖昧にしないように記述および図面の中で図示されており、当業者は、本明細書に明確に記述または図示されていないが本開示の原理を具現し、その趣旨および範囲に含まれる様々な構成を考案することができる。   Various aspects of the disclosure are described below with reference to the accompanying drawings. Like numbers in the drawings refer to like elements in the description of the drawings. The description and drawings merely illustrate the principles of the disclosure. Various structures, systems and devices are illustrated and described in the drawings and drawings for purposes of explanation only and so as to not obscure the present invention with details that are well known to those skilled in the art. Although not explicitly described or illustrated herein, the principles of the present disclosure may be embodied and various configurations may be devised that fall within the spirit and scope thereof.

本明細書で使用するとき、用語「または(or)」は、特に断りのない限り(例えば、またはそれ以外に(or else)」もしくは「または代替的に(or in the alternative)」)、非排他的な「または」を表す。さらに、要素間の関係を記述するために使用される語は、特に断りのない限り、直接の関係、または要素間に介在する要素の存在を含めて広義に解釈されるべきである。例えば、ある要素が他の要素に「接続されている」または「結合されている」と表されたとき、その要素は他方の要素に直接接続もしくは結合されていてもよいし、または、介在する要素が存在してもよい。対照的に、ある要素が他の要素に「直接接続されている」または「直接結合されている」と表されたとき、介在する要素は存在しない。同様に、「の間(between)」、「に隣接する(adjacent)」などの用語は、同様に解釈されるべきである。   As used herein, the term “or”, unless stated otherwise (eg, or otherwise, or “or in the alternative”) Represents exclusive "or". Further, terms used to describe relationships between elements should be interpreted broadly, including direct relationships or the presence of elements intervening between elements, unless otherwise specified. For example, when an element is described as “connected” or “coupled” to another element, the element may be directly connected to or coupled to the other element An element may be present. In contrast, when an element is described as “directly connected” or “directly coupled” to another element, there are no intervening elements present. Similarly, terms such as “between”, “adjacent” should be interpreted similarly.

文脈によって明確に示されない限り、単数形は複数形もまた含む。また、用語「備える(comprises)」、「備えている(comprising)」、「含む(includes)」および「含んでいる(including)」は、本明細書で使用するとき、述べられた特徴、整数、ステップ、動作、要素、および/または構成要素の存在を明確に示すが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素および/またはそれらのグループの存在を除外しないことがさらに理解される。   The singular forms also include the plural unless the context clearly indicates otherwise. Also, the terms “comprises”, “comprising”, “includes” and “including”, as used herein, describe the feature, integer, Expressly present the presence of a step, action, element, and / or component, but does not exclude the presence of one or more other features, integers, steps, actions, elements, components, and / or groups thereof It is further understood.

図1は、圧縮撮像取得および再構成のシステム100(システム100)の概略例を示す。物体110から反射する入射光105がカメラユニット115によって受け取られ、カメラユニット115が、決定された数の圧縮用のシーケンス列120を使用して複数の中間圧縮測定値を生成する。さらに中間圧縮測定値が処理されて、物体110の圧縮画像を表す圧縮測定値125が生成される。物体110の圧縮画像を表す圧縮測定値125は、記憶/伝送ユニット130によって記憶(または伝送)されてもよい。再構成ユニット135が、決定された再構成行列150を使用して圧縮測定値125から物体110の復元画像140を生成する(例えば、ディスプレイユニットでの表示のため)。 FIG. 1 shows a schematic example of a compressed imaging acquisition and reconstruction system 100 (system 100). Incident light 105 reflected from the object 110 is received by the camera unit 115, camera unit 115, using the sequence matrix 1 20 of the determined number for compression to generate a plurality of intermediate compression measurements. Further, the intermediate compression measurement is processed to generate a compression measurement 125 that represents a compressed image of the object 110. A compression measurement 125 representing a compressed image of the object 110 may be stored (or transmitted) by the storage / transmission unit 130. A reconstruction unit 135 generates a reconstructed image 140 of the object 110 from the compressed measurements 125 using the determined reconstruction matrix 150 (eg, for display on a display unit).

図1には、ユニットは別々に示されているが、これは単に、本開示を理解しやすくするためである。他の態様では、前述したユニットのいずれかまたはすべての機能が、これより少ないか、これより多くのユニットを使用して実装されてもよい。さらに、様々なユニットに属する機能が、単一の処理デバイスによって実装されてもよいし、複数の処理デバイス間に分散されてもよい。適切な処理デバイスのいくつかの例は、カメラ、カメラシステム、携帯電話、パーソナルコンピュータシステム、タブレット、セットトップボックス、スマートフォン、またはデータを取得、処理、もしくは出力するように構成された、あらゆるタイプのコンピューティングデバイスを含む。   In FIG. 1, the units are shown separately, but this is merely for ease of understanding the present disclosure. In other aspects, any or all of the functions of the aforementioned units may be implemented using fewer or more units. Further, functions belonging to various units may be implemented by a single processing device or distributed among multiple processing devices. Some examples of suitable processing devices are cameras, camera systems, mobile phones, personal computer systems, tablets, set-top boxes, smartphones, or any type of data configured to acquire, process, or output data Including computing devices.

一実施形態では、単一の処理デバイスがシステム100の各ユニットの機能を提供するように構成されてもよい。単一の処理デバイスは、例えば、1つまたは複数の命令を記憶するメモリ、および、その1つまたは複数の命令を実行するためのプロセッサを含んでもよく、その命令は実行されたときに、ユニットに帰する機能を提供するようにプロセッサを構成してもよい。単一の処理デバイスは、処理デバイスとの間で情報の入力または出力を行うための1つまたは複数の入出力構成要素などの、コンピューティングデバイスに通常備わる他の構成要素を含んでもよく、それらは、カメラ、ディスプレイ、キーボード、マウス、ネットワークアダプタなどを含む。   In one embodiment, a single processing device may be configured to provide the functionality of each unit of system 100. A single processing device may include, for example, a memory that stores one or more instructions, and a processor for executing the one or more instructions, when the instructions are executed, the unit The processor may be configured to provide the functionality attributed to A single processing device may include other components normally provided in a computing device, such as one or more input / output components for inputting or outputting information to or from the processing device. Includes cameras, displays, keyboards, mice, network adapters and the like.

別の実施形態では、ネットワークを介して遠隔地のリモート処理デバイスと通信可能に相互接続されている第1の場所に、ローカル処理デバイスが備えられてもよい。ローカル処理デバイスは、ローカル物体110の圧縮測定値125を生成し、ネットワークを介してリモート処理デバイスに提供する機能を有して構成されてもよい。そして、リモート処理デバイスは、下記に説明する態様によって、ローカル処理デバイスから圧縮測定値を受け取り、再構成基底行列150を使用して圧縮測定値125から再構成画像140を生成し、リモートユーザに対して再構成画像を表示するように構成されてもよい。ローカル処理デバイスおよびリモート処理デバイスはそれぞれ、単一の処理デバイスに類似する装置を使用して実装されてもよく、単一の処理デバイスの場合と同様に、1つまたは複数の命令を記憶するメモリ、その1つまたは複数の命令を実行するためのプロセッサ、および、様々な入出力構成要素を含んでもよい。ネットワークは、イントラネット、インターネット、または、1つもしくは複数の有線もしくは無線ネットワークのあらゆるタイプもしくは組み合わせであってもよい。   In another embodiment, a local processing device may be provided at a first location that is communicatively interconnected with a remote processing device at a remote location via a network. The local processing device may be configured with the capability to generate a compression measurement 125 of the local object 110 and provide it to the remote processing device via the network. The remote processing device then receives the compressed measurements from the local processing device and generates a reconstructed image 140 from the compressed measurements 125 using the reconstructed basis matrix 150 in a manner described below, to the remote user. The reconstructed image may be displayed. Each of the local processing device and the remote processing device may be implemented using an apparatus similar to a single processing device, and as with a single processing device, memory that stores one or more instructions , A processor for executing the one or more instructions, and various input / output components. The network may be an intranet, the Internet, or any type or combination of one or more wired or wireless networks.

図2は、物体110の圧縮画像を表す圧縮測定値125を圧縮センシング撮像を使用して取得するための、レンズレスカメラユニット115の例を示す。レンズレスカメラユニット115の特定の実施形態について説明するが、これは制限として解釈されてはならず、本開示の原理は、圧縮センシング撮像システムの他の実施形態に適用されてもよい。   FIG. 2 shows an example of a lensless camera unit 115 for obtaining a compressed measurement 125 representing a compressed image of the object 110 using compressed sensing imaging. Although specific embodiments of the lensless camera unit 115 are described, this should not be construed as a limitation, and the principles of the present disclosure may be applied to other embodiments of the compressed sensing imaging system.

物体110から反射された入射光105はカメラユニット115で受け取られ、ここで光105は、N個の個々の開口素子からなる開口配列220を通過することを選択的に許可され、センサ230に当たる。カメラユニット115は、開口配列220およびセンサ230の1つまたは複数の属性に基づいて決定される複数のシーケンス列を使用してセンサ230からの出力を処理し、中間圧縮測定値を生成する。圧縮測定値125は物体110の圧縮画像を集合的に表しており、中間圧縮測定値を使用して決定される。 Incident light 105 reflected from the object 110 is received by the camera unit 115, where the light 105 is selectively allowed to pass through the aperture array 220 of N individual aperture elements and strikes the sensor 230. The camera unit 115 processes the output from the sensor 230 by using a plurality of sequences matrix determined based on one or more attributes of the aperture array 220 and sensor 230, it generates an intermediate compression measurements. The compression measurement 125 collectively represents a compressed image of the object 110 and is determined using the intermediate compression measurement.

圧縮を実現するために、物体110の圧縮画像として取得される圧縮測定値125の数Mは、Nピクセル画像を生成するためにN個のピクセルセンサを有する従来のカメラシステムで取得されるN個の生データ値よりも、通常、著しく少ない。よって、従来の、生データ値を取得した後の圧縮の必要が少なくなるか、またはなくなる。実際には、圧縮測定値の数Mは、M個の圧縮測定値を使用して再構成されるNピクセル画像140の画質と圧縮の程度との間の所望のバランスに基づいて、配列220のN個の開口素子に関連して予め選択されていてもよい。   To achieve compression, the number M of compression measurements 125 acquired as a compressed image of the object 110 is N pieces acquired with a conventional camera system having N pixel sensors to generate an N pixel image. Usually significantly less than the raw data value of. Thus, the need for conventional compression after obtaining raw data values is reduced or eliminated. In practice, the number M of compressed measurements is determined based on the desired balance between the quality of the N-pixel image 140 reconstructed using M compressed measurements and the degree of compression. It may be preselected in relation to the N aperture elements.

図2に示される配列の例220は、64個(N=64)の別個の開口素子からなる2次元の8×8配列であり、配列220の個々の素子が表形式の「[行,列]」表記を使用して一意に識別され得るように、2次元の行と列の形式で配置されている。よって、例示的に、配列220の最初の行内の最初の素子は220[1,1]として参照され、配列220の最後の行の最後の素子は220[8,8]として参照される。   The example array 220 shown in FIG. 2 is a two-dimensional 8 × 8 array of 64 (N = 64) discrete aperture elements, where each element of the array 220 is tabular “[row, column ] "Is arranged in a two-dimensional row and column format so that it can be uniquely identified using the notation. Thus, by way of example, the first element in the first row of array 220 is referenced as 220 [1,1], and the last element in the last row of array 220 is referenced as 220 [8,8].

実際には、配列220のサイズおよび形式は、画像140の所望の解像度に応じて、これよりもずっと多くの(または少ない)素子数を有する場合もある。単に例として、配列220は、画像140の所望の画像解像度640×480ピクセルに対する640×480(N=307200)の素子の配列であってもよいし、または、画像140のさらに高い所望の解像度に対する1920×1080(N=2073600)の素子の配列であってもよい。   In practice, the size and format of the array 220 may have much more (or less) elements than this, depending on the desired resolution of the image 140. By way of example only, the array 220 may be an array of 640 × 480 (N = 307200) elements for the desired image resolution 640 × 480 pixels of the image 140, or for a higher desired resolution of the image 140. It may be an array of elements of 1920 × 1080 (N = 2073600).

配列220を通過してセンサ230に到達する光105の所与の時における全体的透過率は、配列の1つまたは複数の個別開口素子の透過率を設定することによって変化させられ得る。例えば、開口素子220[1,1]から220[8,8]までの1つまたは複数の素子の透過率を選択的かつ個別に変更して、所与の時に配列220を通過してセンサ230に到達する光105の量を増減させることによって、配列220の全体的透過率を調節することができる。   The overall transmission at a given time of the light 105 that passes through the array 220 and reaches the sensor 230 can be varied by setting the transmittance of one or more individual aperture elements of the array. For example, the transmittance of one or more elements from aperture elements 220 [1,1] to 220 [8,8] can be selectively and individually changed to pass through array 220 and sensor 230 at a given time. By increasing or decreasing the amount of light 105 reaching, the overall transmittance of the array 220 can be adjusted.

完全に開いている(例えば、完全に有効化またはアクティブ化されている)開口素子は、その開いている素子を光105が通過してセンサ230に到達できるようにするが、完全に閉じている(例えば、完全に無効化または非アクティブ化されている)開口素子は、その配列220の閉じた素子を光105が通過して光子検出器230に到達しないように妨害または阻止する。開口素子は部分的に開き(または部分的に閉じ)、光105の全部ではなく一部のみを通過させて、その部分的に開いた(または部分的に閉じた)素子を介してセンサ230に到達するようにしてもよい。よって、個々の開口素子の集合的な状態(例えば、開いている、閉じている、または部分的に開いているか閉じている)は開口配列220の全体的透過率を決定し、したがって、所与の時にセンサ230に到達する光105の量を決定する。   An aperture element that is fully open (eg, fully enabled or activated) allows light 105 to pass through the open element to reach sensor 230, but is completely closed An aperture element (eg, completely disabled or deactivated) prevents or blocks light 105 from passing through the closed elements of its array 220 to reach the photon detector 230. The aperture element is partially open (or partially closed), allowing only some but not all of the light 105 to pass through to the sensor 230 via the partially open (or partially closed) element. You may make it reach. Thus, the collective state of the individual aperture elements (eg, open, closed, or partially open or closed) determines the overall transmittance of the aperture array 220 and, therefore, a given The amount of light 105 reaching the sensor 230 at this time is determined.

一実施形態では、開口配列220は、個別に選択可能なN個のマイクロミラーからなるマイクロミラー配列である。別の実施形態では、開口配列120は、NエレメントのLCD配列であってもよい。別の実施形態では、開口配列220は、透過率が選択的に制御可能な、任意の電子的または光学的構成素子の適切な配列であってもよい。   In one embodiment, the aperture array 220 is a micromirror array of N micromirrors that can be individually selected. In another embodiment, the aperture array 120 may be an N-element LCD array. In another embodiment, the aperture array 220 may be any suitable array of electronic or optical components whose transmission can be selectively controlled.

カメラユニット115は、複数のシーケンス列内の圧縮基底情報に従って開口配列220の全体的透過率を選択的に調節することによって中間圧縮測定値を生成するように構成される。中間圧縮測定値のそれぞれは、配列220のN個の開口素子のうち特定のいくつかが、あるシーケンス列120の特定の圧縮基底の示すパターンに従って選択的に(完全かまたは部分的に)開かれているか閉じているときに、特定の時間の間に配列220を通ってセンサ230に到達する光105の、決定された合計(または総計)として理解されてもよい。 The camera unit 115 is configured to generate an intermediate compression measurements by adjusting the overall transmittance of the aperture array 220 in accordance with a compression base information in multiple sequence matrix selectively. Each intermediate compression measurements, some specific of the N-port element of the array 220, selectively according to the pattern indicated by the specific compression basis of a sequence matrix 1 20 (completely or partially) It may be understood as the determined sum (or total) of the light 105 that reaches the sensor 230 through the array 220 during a particular time when it is open or closed.

本開示の1つの特徴は、下記に詳細に説明するように決定されるS個のシーケンス列のそれぞれを使用して、M個の中間圧縮測定値が取得されることである。S≧2であるので、少なくとも2M個の中間圧縮測定値が決定され、それが処理されて、下記に詳細に説明するように、物体110の圧縮画像を表すM個の圧縮測定値125が生成される。M個の圧縮測定値125を再構成行列150と共に使用して、物体110の復元画像140が再構成または生成される。本開示の別の特徴は、あるカーネル関数に基づいてシーケンス列が決定され、そのカーネル関数が配列220およびセンサ230の属性に基づいて決定されることである。本開示の、これらおよび他の態様について、下記に詳細に説明する。 One feature of the present disclosure is to use the respective S-number of sequence matrix that is determined as described in detail below, intermediate compression measurements of the M is obtained. Since S ≧ 2, at least 2M intermediate compression measurements are determined and processed to produce M compression measurements 125 representing a compressed image of the object 110, as described in detail below. Is done. Using the M compressed measurements 125 with the reconstruction matrix 150, a reconstructed image 140 of the object 110 is reconstructed or generated. Another feature of the present disclosure are determined sequence matrix based on a certain kernel function is that its kernel function is determined based on the attributes of the array 220 and the sensor 230. These and other aspects of the disclosure are described in detail below.

一般に、決定されたシーケンス列120はM個の圧縮基底b,b,…bのセットであり、次にそのそれぞれが配列220に適用されて、M個の中間圧縮測定値のそれぞれ1つが生成される。シーケンス列120内の各測定基底b,b,…bは、それ自体が、配列220の開口素子の数Nに対応するN個の値の配列であり、数学的には次式のとおりに示される。

Figure 0006475269
In general, determined sequence matrix 1 20 compression of the M basis b 1, b 2, a set of ... b M, then each of which is applied to the array 220, the M intermediate compression measurements Each one is generated. Each measurement basis b 1, b 2 of the sequence matrix 1 in 20, ... b M is itself a sequence of N values corresponding to the number N of the aperture element of the array 220, the next mathematically It is shown as the formula.
Figure 0006475269

例えば、図2に示す実施形態では、所与のシーケンス列120の圧縮基底b(k∈[1…M])のそれぞれは、後に説明するように、値b[1]からb[64]のセットであり、その各値は集合[0,1]に正規化される。したがって、所与の圧縮基底のそれぞれの値は、“0”、“1”、または、“0”と“1”の間の実数であってもよく、そのそれぞれが、8×8の開口配列220内のそれぞれの開口素子の、対応する状態(例えば、全閉、全開、または中間状態)を決定する。 B For example, in the embodiment shown in FIG. 2, from each of the compressed base b k in a given sequence matrix 1 20 (k∈ [1 ... M ]), as described later, the value b k [1] a set of k [64], each value of which is normalized to the set [0,1]. Thus, each value of a given compression basis may be “0”, “1”, or a real number between “0” and “1”, each of which is an 8 × 8 aperture array The corresponding state (eg, fully closed, fully open, or intermediate state) of each aperture element in 220 is determined.

所与の圧縮基底bを配列220に適用して、ある時間tの対応する中間圧縮測定値が次のように生成される。b[1]からb[64]までのそれぞれの値を使用して、配列220の対応する素子の状態(全開、全閉、または部分的に開もしくは閉)が設定され、センサ230に到達する光105の検出された合計または総計が、対応する中間圧縮測定値の値として決定される。このようにして、合計M×S個の中間圧縮測定値が生成される。ここでMは各シーケンス列120の圧縮基底の数であり、Sはシーケンス列の数である(ここで、S≧2)。 Applying a given compression basis b k to the array 220, a corresponding intermediate compression measurement for a time t k is generated as follows. Using the respective values from b k [1] to b k [64], the state of the corresponding element of array 220 (fully open, fully closed, or partially open or closed) is set, and sensor 230 is The detected sum or total of the incoming light 105 is determined as the value of the corresponding intermediate compression measurement. In this way, a total of M × S intermediate compression measurements are generated. Where M is the number of compression base of each sequence matrix 1 20, S is the number of sequence matrix (here, S ≧ 2).

システム100の動作例について、図3のプロセス300と関連させて説明する。読者を助けるための概要として、ステップ302から308は、シーケンス列120の決定について説明する。ステップ310は、シーケンス列120を使用して取得された中間圧縮測定値から、物体110の圧縮画像を表す圧縮測定値125を決定することについて説明する。ステップ312は、再構成行列150を使用して圧縮測定値125から物体110の復元画像を生成することについて説明する。 An example operation of the system 100 will be described in connection with the process 300 of FIG. As an overview to assist the reader, 308 from step 302 will be described for the determination of the sequence matrix 1 20. Step 310, from the intermediate compression measurements obtained using the sequence matrix 1 20, it will be described by determining the compression measurements 125 representing a compressed image of the object 110. Step 312 describes generating a reconstructed image of the object 110 from the compressed measurements 125 using the reconstruction matrix 150.

下記に記載されるステップが単に説明を目的とし、ここに存在するステップが修正または省略されてもよく、別のステップが追加されてもよく、一定のステップの順序が変更されてもよいことが理解されるべきである。   The steps described below are for illustrative purposes only, steps present here may be modified or omitted, additional steps may be added, and the order of certain steps may be changed. Should be understood.

図3のプロセス300を参照すると、シーケンス列120の決定は、ステップ302で、N×Nカーネル行列Kの計算で開始する。カーネル行列Kは、配列220およびセンサ230の幾何学的形状および属性に基づいて決定される。カーネル行列は、下記のように決定されてもよい。 Referring to process 300 of FIG. 3, the determination of the sequence matrix 1 20, at step 302, it begins with the calculation of the N × N kernel matrix K. The kernel matrix K is determined based on the geometry and attributes of the array 220 and sensor 230. The kernel matrix may be determined as follows.

一実施形態では、カーネル行列はセンサ230の感度関数および配列220の特性関数に基づいて計算される。まず、センサ230の感度関数F(x,y)が決定される。ここでF(x,y)は、光がセンサ上の直交座標の点x,yに当たったときのセンサ230の応答である。好ましくは、センサ230は、センサのどこに光が当たるかによってセンサ応答(言い換えれば、センサ感度)が変動しない(または、あまり変動しない)ように、広い検知領域および一様な(または、ほぼ一様な)感度関数F(x,y)を有するように選択されるが、これは必須ではない。   In one embodiment, the kernel matrix is calculated based on the sensitivity function of sensor 230 and the characteristic function of array 220. First, the sensitivity function F (x, y) of the sensor 230 is determined. Here, F (x, y) is a response of the sensor 230 when light hits the point x, y of the orthogonal coordinates on the sensor. Preferably, sensor 230 has a wide sensing area and uniform (or nearly uniform) so that the sensor response (in other words, sensor sensitivity) does not vary (or does not vary much) depending on where the light strikes the sensor. Is selected to have a sensitivity function F (x, y), but this is not essential.

次に、所与の開口素子Eの特性関数E(x,y)が、直交座標の点x,yが開口素子の領域内にある場合はE(x,y)=1、点x,yが開口素子の領域外にある場合はE(x,y)=0となるように、配列の各開口素子について特性関数が定められる。   Next, the characteristic function E (x, y) of a given aperture element E is such that E (x, y) = 1, point x, y when the Cartesian coordinate point x, y is within the aperture element region. Is outside the aperture element region, a characteristic function is determined for each aperture element in the array so that E (x, y) = 0.

次に、センサ230の感度関数および配列220の開口素子の特性関数を使用して、カーネル関数k(x,y)が、k(x,y)=E*Fとして定められる。ここで、演算子*は2次元(2D)畳み込み演算を示す。離散カーネル関数k(row,column)が、

Figure 0006475269
として定められる。ここで、Erow,columnは、行列表記を使用して配列220の特定の開口素子Eを識別する。 Next, using the sensitivity function of the sensor 230 and the characteristic function of the aperture elements of the array 220, the kernel function k (x, y) is defined as k (x, y) = E * F. Here, the operator * indicates a two-dimensional (2D) convolution operation. The discrete kernel function k (row, column) is
Figure 0006475269
It is determined as Here, E row, column identifies a particular aperture element E of array 220 using matrix notation.

あるいは、別の実施形態では、離散カーネル関数は、カメラユニット115を点光源(例えば、レーザー光源またはカメラユニット115に対して実質的に点光源である別の光源)を使用して較正することによって取得されてもよいことに留意されたい。   Alternatively, in another embodiment, the discrete kernel function is obtained by calibrating the camera unit 115 using a point light source (eg, a laser light source or another light source that is substantially a point light source relative to the camera unit 115). Note that it may be obtained.

最後に、N×Nカーネル行列Kが、離散カーネル関数から、K・I1D=(k(row,column)*I2D1Dとして計算される。ここで、1Dは2D配列の1次元(1D)ベクトル形式を示し、Iは任意のNピクセル画像である。 Finally, an N × N kernel matrix K is calculated from the discrete kernel function as K · I 1D = (k (row, column) * I 2D ) 1D . Here, 1D indicates a one-dimensional (1D) vector format of a 2D array, and I is an arbitrary N pixel image.

ステップ304で、再構成行列150を指定することによりシーケンス列120の決定が続行する。再構成行列は、例えば制限等長性などの、圧縮センシング撮像で使用するために適した属性をもつ任意のM×N行列でもよい。一実施形態では、したがって、再構成行列150は、そのような再構成行列の項または値が+1または−1のどちらかであって、行が相互に直交しているという知られている属性をもつ、ランダムまたは擬似ランダムに並べ替えられたN×Nアダマール行列から行が選択されるM×N行列であってもよい。 In step 304, determination of the sequence matrix 1 20 by specifying the reconstruction matrix 150 to continue. The reconstruction matrix may be any M × N matrix with attributes suitable for use in compressed sensing imaging, such as limited isometricity. In one embodiment, therefore, reconstruction matrix 150 has the known attribute that such reconstruction matrix term or value is either +1 or -1 and the rows are orthogonal to each other. It may be an M × N matrix in which rows are selected from randomly or pseudo-randomly sorted N × N Hadamard matrices.

ステップ306で、M×Nのセンシング行列Aを計算することによりシーケンス列120の決定が続行する。ここで、センシング行列は、A=[aij]=RK−1として計算され、Rはステップ304で計算されたM×Nの再構成行列であり、K−1はステップ302でセンサ230および配列220の属性に基づいて決定されたN×Nカーネル行列KのM×N逆行列であり、[aij]はi=1,…,Mおよびj=1,…,Nについてのセンシング行列Aの値である。 In step 306, determination of the sequence matrix 1 20 continues by calculating the sensing matrix A of M × N. Here, the sensing matrix is calculated as A = [a ij ] = RK −1 , R is the M × N reconstruction matrix calculated in step 304, and K −1 is the sensor 230 and the array in step 302. Is an M × N inverse matrix of an N × N kernel matrix K determined based on 220 attributes, and [a ij ] is the sensing matrix A for i = 1,..., M and j = 1,. Value.

センシング行列Aは配列220およびセンサ230の属性に基づいて決定されるM×N行列であるが、シーケンス列120として直接使用するには適さないということが示唆される。その理由は、少なくとも再構成行列Rの負の値から明らかになるように、センシング行列Aの1つまたは複数の値[aij]が0≦ai,j≦1を満たさないためである。実際、センシング行列Aは負および正の大きな値を含むことがあり、それらは配列220の開口素子の条件を設定するためのパターンとして使用するには実用的ではない(または、おそらく使用することが不可能である)。 Although the sensing matrix A is M × N matrix determined based on the attributes of the array 220 and sensor 230, it is not suitable for use directly as a sequence matrix 1 20 is indicated. The reason is that one or more values [a ij ] of the sensing matrix A do not satisfy 0 ≦ a i, j ≦ 1, as is apparent from at least the negative values of the reconstruction matrix R. In fact, the sensing matrix A may contain large negative and positive values, which are impractical (or possibly used) to use as a pattern for setting the aperture element conditions of the array 220. Impossible).

その結果、ステップ308で、センシング行列Aがさらに分解されて、下記のように、集合[0,1]の中にある値をもつシーケンス列120になる。下記の説明は、シーケンス列に集合[0,1]の中の値をもたせる場合に対応するが、下記の開示はセンシング行列Aを他のセットの中の値をもつように分解する場合にも適用可能であることに留意されたい。 As a result, in step 308, it is further decomposed sensing matrix A, as described below, the sequence matrix 1 20 with a value that is in the set [0, 1]. The following description, when it corresponds to the case to have a value in the set [0, 1] in the sequence matrix, the following disclosure is to degrade the sensing matrix A to have a value in the other set Note that is also applicable.

所与のセンシング行列Aについて、次のように定義する。

Figure 0006475269
For a given sensing matrix A, we define:
Figure 0006475269

次に、下記の擬似コードアルゴリズムを使用して、AがP個のM×Nシーケンス

Figure 0006475269
に分解される。ここで、i=1,…,M、j=1,…,N、k=1,…,Pである。
Figure 0006475269
Then, by using the pseudo code algorithm below, A + is P + number of M × N sequence matrix
Figure 0006475269
Is broken down into Here, i = 1, ..., M , j = 1, ..., N, k = 1, ..., a P +.
Figure 0006475269

次に、上記のアルゴリズムに基づいて、行列Aが同様に分解されて、P個のM×Nシーケンス

Figure 0006475269
となることができる。ここで、i=1,…,M、j=1,…,N、k=1,…,Pである。 Then, based on the above algorithm, the matrix A - is similarly decomposed, P - number of M × N sequence matrix
Figure 0006475269
Can be. Here, i = 1, ..., M , j = 1, ..., N, k = 1, ..., P - is.

結果のP個のM×Nシーケンス

Figure 0006475269
の値がすべて
Figure 0006475269
を満たし、同様に、結果のP個のM×Nシーケンス
Figure 0006475269
のそれぞれの全ての値もまた
Figure 0006475269
を満たすことに留意されたい。 The results of the P + number of M × N sequence matrix
Figure 0006475269
All values
Figure 0006475269
The filled, likewise, results P - number of M × N sequence matrix
Figure 0006475269
All the values of
Figure 0006475269
Please note that

センシング行列を上記のシーケンス列に分解すると、次の式が得られる。

Figure 0006475269
When the sensing matrix is decomposed into the above sequence matrix, the following equation is obtained.
Figure 0006475269

ステップ310で、決定されたシーケンス

Figure 0006475269
および
Figure 0006475269
がそれぞれ配列220に提供されて、前述したように、中間圧縮測定値が得られる。例えば、一実施形態では、M×Nシーケンス
Figure 0006475269
がそれぞれ配列220に適用され、対応するM個の中間圧縮測定値のセットの測定値ベクトル
Figure 0006475269
が生成される。同様に、M×Nシーケンス
Figure 0006475269
のそれぞれもまた配列220に適用され、対応するM個の中間圧縮測定値の測定値ベクトル
Figure 0006475269
が生成される。 In step 310, the determined sequence matrix
Figure 0006475269
and
Figure 0006475269
Are each provided in array 220 to obtain intermediate compression measurements as described above. For example, in one embodiment, M × N sequence matrix
Figure 0006475269
Are applied to array 220, respectively, and a measurement vector of a corresponding set of M intermediate compression measurements
Figure 0006475269
Is generated. Similarly, M × N sequence matrix
Figure 0006475269
Each of which is also applied to the array 220 and is a measurement vector of the corresponding M intermediate compression measurements.
Figure 0006475269
Is generated.

ステップ312で、プロセスは、ステップ310で決定された中間圧縮測定値から物体110の圧縮画像を表す圧縮測定値125を決定し、その圧縮測定値125から物体110の復元画像を再構成することを含む。   At step 312, the process determines a compressed measurement 125 representing a compressed image of the object 110 from the intermediate compressed measurement determined at step 310 and reconstructs a decompressed image of the object 110 from the compressed measurement 125. Including.

具体的には、M個の圧縮測定値125が、中間圧縮測定値

Figure 0006475269
および
Figure 0006475269
を使用して、次のとおり決定される。
Figure 0006475269
Specifically, M compression measurement values 125 are intermediate compression measurement values.
Figure 0006475269
and
Figure 0006475269
Is determined as follows.
Figure 0006475269

物体110の復元画像Iは、圧縮測定値125および再構成行列150を使用して、次のとおり決定されてもよい。

Figure 0006475269
The restored image I of the object 110 may be determined using the compression measurements 125 and the reconstruction matrix 150 as follows.
Figure 0006475269

ここで、Wはスパース化演算子、IはN個の値をもつ画像140の1次元行列表現、Rはステップ304で決定された再構成基底行列、y=Y,Y,Y,…Yは、シーケンス列を使用して得られた中間圧縮測定値に基づき取得された圧縮測定値125の列ベクトルである。スパース化演算子Wは、例えば、ウェーブレットを使用して、または、全変動を使用して生成されてもよい。 Here, W is a sparse operator, I is a one-dimensional matrix representation of an image 140 having N values, R is the reconstructed basis matrix determined in step 304, y = Y 1 , Y 2 , Y 3 , ... Y M is a column vector of the compression measurements 125 obtained on the basis of the intermediate compression measurements obtained using the sequence matrix. The sparse operator W may be generated, for example, using wavelets or using total variation.

前述した、プロセスのステップ304から312は、1つの画像または動画フレームについて繰り返されてもよいし、1回行われてもよい。ステップ302は、例えば、配列220またはセンサ230に変更がある場合に別のカーネル行列Kが所望されるのでない限り、繰り返す必要はない。   The process steps 304 to 312 described above may be repeated for one image or video frame or may be performed once. Step 302 need not be repeated unless another kernel matrix K is desired, for example if there is a change in array 220 or sensor 230.

本開示により、多数の利点が得られると考えられる。まず、本開示には圧縮センシング撮像に適した改良型のレンズレスカメラユニットが記載されており、このカメラユニットは、M個の圧縮測定値を生成するために配列220を使用して多数の測定値(少なくとも2×M個)が取得されることによる高い信号対雑音比をもつ、より高品質の画像を弱光下で提供する。さらに、測定値は、開口配列およびセンサの特定の属性を考慮して取得される。続いて、本開示は、可視スペクトルおよび不可視スペクトルを含む光の全スペクトルの画像に適する。加えて、本開示は、センサの所与の幾何学的形状およびサイズについて、特に、他の方法ではソフトな(比較的不鮮明な)画像を生成することが知られている、比較的大きなセンサおよび開口配列について、より鮮明な(例えば、大量のディテールを有する)画像をキャプチャする方法もまた提供する。   The present disclosure is believed to provide a number of advantages. First, the present disclosure describes an improved lensless camera unit suitable for compressed sensing imaging, which camera unit uses a number of measurements using array 220 to generate M compressed measurements. Provide higher quality images in low light with high signal-to-noise ratio due to the acquisition of values (at least 2 × M). Furthermore, the measured values are obtained taking into account the aperture array and certain attributes of the sensor. Subsequently, the present disclosure is suitable for images of the full spectrum of light including visible and invisible spectra. In addition, the present disclosure provides for relatively large sensors and known for producing a soft (relatively blurred) image for a given geometry and size of the sensor, particularly in other ways. A method is also provided for capturing a clearer (eg, having a large amount of detail) image of the aperture array.

本開示の1つまたは複数の態様がハードウェア、ソフトウェア、またはそれらの組み合わせを使用して実装されてもよいことが理解される。図4は、本開示の1つまたは複数の態様を実装するために適した処理デバイスまたは装置400の例の上位レベルブロック図を示す。装置400は様々な入出力デバイス404およびメモリ406に通信可能に相互接続されたプロセッサ402を備える。   It is understood that one or more aspects of the present disclosure may be implemented using hardware, software, or a combination thereof. FIG. 4 illustrates a high-level block diagram of an example processing device or apparatus 400 suitable for implementing one or more aspects of the present disclosure. Apparatus 400 includes a processor 402 communicatively interconnected to various input / output devices 404 and memory 406.

プロセッサ402は、汎用中央処理ユニット(CPU)または、組み込みマイクロコントローラもしくはデジタル信号プロセッサ(DSP)などの専用マイクロプロセッサなどの、任意のタイプのプロセッサであってもよい。入出力デバイス404は、プロセッサ402の制御下で動作し、本開示によって装置400との間でデータの入出力を行うように構成される、例えば、レンズカメラもしくはレンズレスカメラ、またはビデオキャプチャデバイスなどの、任意の周辺デバイスであってもよく、開口配列およびセンサを含んでもよい。入出力デバイス404は、従来技術のネットワークアダプタ、データポート、ならびに、キーボード、キーパッド、マウス、またはディスプレイなどの様々なユーザインタフェースもまた含んでもよい。   The processor 402 may be any type of processor, such as a general purpose central processing unit (CPU) or a dedicated microprocessor such as an embedded microcontroller or digital signal processor (DSP). The input / output device 404 operates under the control of the processor 402 and is configured to input / output data to / from the apparatus 400 according to the present disclosure, such as a lens camera or a lensless camera, or a video capture device, for example. Any peripheral device, and may include an aperture array and a sensor. The input / output device 404 may also include prior art network adapters, data ports, and various user interfaces such as a keyboard, keypad, mouse, or display.

メモリ406は、データおよびプロセッサ402によって実行可能な命令を含む電子情報を記憶するために適した任意のタイプのメモリであってもよい。メモリ406は、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、フラッシュメモリ、ハードディスクドライブメモリ、コンパクトディスクメモリ、光メモリなどのうち1つまたは組み合わせとして実装されてもよい。さらに、装置400は、オペレーティングシステム、キューマネージャ、デバイスドライバ、または、1つまたは複数のネットワークプロトコルもまた含んでもよく、一実施形態では、それらはメモリ406に記憶され、プロセッサ402によって実行されてもよい。   Memory 406 may be any type of memory suitable for storing electronic information including data and instructions executable by processor 402. The memory 406 may be implemented as one or a combination of random access memory (RAM), read only memory (ROM), flash memory, hard disk drive memory, compact disk memory, optical memory, and the like, for example. Further, apparatus 400 may also include an operating system, queue manager, device driver, or one or more network protocols, which in one embodiment are stored in memory 406 and executed by processor 402. Good.

メモリ406は、実行可能命令およびデータを記憶する非一時的メモリを含んでもよく、その命令はプロセッサ402によって実行されると、前述した様々な態様およびステップによる機能を装置400に行わせるように構成されてもよい。いくつかの実施形態では、プロセッサ402は、命令が実行されると、圧縮測定値の取得または再構成に関する前述した機能のすべてもしくは一部と通信、それらを制御、またはそれらを実施するように構成されてもよい。プロセッサは、シーケンス列、中間圧縮測定値、圧縮測定値を決定し、前述したとおりに決定された再構成行列を使用して、復元画像または動画を生成するように構成されてもよい。 Memory 406 may include non-transitory memory for storing executable instructions and data configured to cause apparatus 400 to perform functions in accordance with the various aspects and steps described above when executed by processor 402. May be. In some embodiments, the processor 402 is configured to communicate with, control, or implement all or part of the previously described functions related to obtaining or reconfiguring compression measurements when instructions are executed. May be. The processor sequence matrix, intermediate compression measurements, determines the compression measurements, using a reconstituted matrix determined as described previously, it may be configured to generate a restored image or video.

いくつかの実施形態では、プロセッサ402は、例えばネットワークを介して相互接続している別の装置400と通信し、かつ/またはその装置400を制御するようにもまた構成されてもよい。そのような場合、本明細書で開示される機能は、スタンドアロンの装置400のそれぞれに統合されてもよいし、1つまたは複数の装置400の間に分散されてもよい。いくつかの実施形態では、プロセッサ402はまた、別々の場所に置かれ、それぞれと通信可能に相互接続された(例えば、クラウドコンピューティング環境内で)、複数の相互接続プロセッサとして構成されてもよい。   In some embodiments, the processor 402 may also be configured to communicate with and / or control another device 400 that is interconnected, eg, via a network. In such cases, the functionality disclosed herein may be integrated into each of the stand-alone devices 400, or may be distributed among one or more devices 400. In some embodiments, the processor 402 may also be configured as a plurality of interconnected processors that are located at separate locations and communicatively interconnected with each other (eg, within a cloud computing environment). .

図4には特定の装置構成が示されているが、本開示が任意の特定の実装にも制限されないことが理解される。例えば、いくつかの実施形態では、本明細書で開示される機能のすべてまたは一部が、1つまたは複数の特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)などを使用して実装されてもよい。   Although a particular device configuration is shown in FIG. 4, it is understood that the present disclosure is not limited to any particular implementation. For example, in some embodiments, all or part of the functionality disclosed herein uses one or more application specific integrated circuits (ASICs), field programmable gate arrays (FPGAs), etc. May be implemented.

本明細書の態様について特定の実施形態を参照しながら説明してきたが、これらの実施形態は本開示の原理および適用例を単に説明するものであることが理解されるべきである。したがって、これらの説明的実施形態に多数の修正を加えることができること、および、本開示の趣旨および範囲を逸脱することなく他の構成を考案できることが理解されるべきである。   Although aspects of this specification have been described with reference to particular embodiments, it is to be understood that these embodiments are merely illustrative of the principles and applications of the present disclosure. Accordingly, it should be understood that many modifications can be made to these illustrative embodiments and that other configurations can be devised without departing from the spirit and scope of the disclosure.

Claims (7)

圧縮センシング撮像システムであって、
処理デバイスを備え、前記処理デバイスが、
センサの感度関数を決定し、
開口配列の複数の開口素子のうち少なくとも1つについて少なくとも1つの特性関数を決定し、
前記感度関数と前記少なくとも1つの特性関数とを使用して畳み込み演算を行うことによってカーネル関数を計算し、
前記カーネル関数および画像を使用してカーネル行列を決定し、
前記カーネル行列および再構成基底行列を使用してセンシング行列を生成し、ここで、再構成基底行列は、圧縮センシング撮像に使用するのに適した属性を有し、
前記センシング行列を分解して複数のシーケンス行列を生成し、
前記複数のシーケンス行列を使用して、物体の圧縮画像を表す複数の圧縮測定値を生成するように構成される、
圧縮センシング撮像システム。
A compressed sensing imaging system,
A processing device, the processing device comprising:
Determine the sensitivity function of the sensor,
Determining at least one characteristic function for at least one of the plurality of aperture elements of the aperture array;
Calculating a kernel function by performing a convolution operation using the sensitivity function and the at least one characteristic function;
Determine a kernel matrix using the kernel function and the image;
Generating a sensing matrix using the kernel matrix and the reconstructed basis matrix, wherein the reconstructed basis matrix has attributes suitable for use in compressed sensing imaging;
Decomposing the sensing matrix to generate a plurality of sequence matrices;
Configured to generate a plurality of compressed measurements representing a compressed image of the object using the plurality of sequence matrices;
Compressed sensing imaging system.
前記処理デバイスが、前記再構成基底行列を使用して、前記複数の圧縮測定値から前記物体の復元画像を生成するようにさらに構成される、請求項1に記載の圧縮センシング撮像システム。   The compressed sensing imaging system of claim 1, wherein the processing device is further configured to generate a reconstructed image of the object from the plurality of compressed measurements using the reconstructed basis matrix. 前記処理デバイスが、スパース化演算子を適用して、前記再構成基底行列を使用して前記複数の圧縮測定値から前記物体の復元画像を生成するようにさらに構成される、請求項2に記載の圧縮センシング撮像システム。   The processing device is further configured to apply a sparse operator to generate a reconstructed image of the object from the plurality of compressed measurements using the reconstructed basis matrix. Compressed sensing imaging system. 開口素子からなる開口配列と前記開口配列の前記開口素子を通過する光を検出するためのセンサとを含むレンズレスカメラユニットをさらに備える、請求項1に記載の圧縮センシング撮像システム。   The compression sensing imaging system according to claim 1, further comprising a lensless camera unit including an aperture array composed of aperture elements and a sensor for detecting light passing through the aperture elements of the aperture array. 前記処理デバイスが、
ある期間中に、1つのシーケンス行列内の少なくとも1つの基底に基づいて前記開口配列の前記開口素子のうち1つまたは複数を選択的に有効化または無効化して、複数の中間圧縮測定値の少なくとも1つを取得し、
前記複数の中間圧縮測定値を使用して、前記物体の圧縮画像を表す前記複数の圧縮測定値を生成するようにさらに構成され、前記複数の中間圧縮測定値の少なくとも1つが、前記期間中に前記センサによって検出された光の総合計に基づいて決定される、請求項4に記載の圧縮センシング撮像システム。
The processing device is
Selectively enabling or disabling one or more of the aperture elements of the aperture array based on at least one basis in a sequence matrix during a period of time, wherein at least a plurality of intermediate compression measurements Get one,
Using said plurality of intermediate compression measurements, the further configured to generate the plurality of compression measure representing a compressed image of the object, at least one of said plurality of intermediate compression measurements, during the period The compressed sensing imaging system of claim 4, wherein the compression sensing imaging system is determined based on a grand total of light detected by the sensor.
前記開口配列がマイクロミラー配列である、請求項4に記載の圧縮センシング撮像システム。   The compressed sensing imaging system according to claim 4, wherein the aperture array is a micromirror array. 前記開口配列がLCD配列である、請求項4に記載の圧縮センシング撮像システム。   The compressed sensing imaging system of claim 4, wherein the aperture array is an LCD array.
JP2016575825A 2014-06-30 2015-06-18 Compressed sensing imaging Active JP6475269B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/319,142 US20150382026A1 (en) 2010-09-30 2014-06-30 Compressive Sense Imaging
US14/319,142 2014-06-30
PCT/US2015/036314 WO2016003655A1 (en) 2014-06-30 2015-06-18 Compressive sense imaging

Publications (3)

Publication Number Publication Date
JP2017521942A JP2017521942A (en) 2017-08-03
JP2017521942A5 JP2017521942A5 (en) 2018-06-14
JP6475269B2 true JP6475269B2 (en) 2019-02-27

Family

ID=59505315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016575825A Active JP6475269B2 (en) 2014-06-30 2015-06-18 Compressed sensing imaging

Country Status (1)

Country Link
JP (1) JP6475269B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108401136B (en) * 2018-01-31 2023-07-18 合肥学院 Moving target image compression sampling and reconstruction method
CN111652815B (en) * 2020-05-26 2023-05-05 浙江大学 Mask plate camera image restoration method based on deep learning

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62108378A (en) * 1985-11-07 1987-05-19 Hitachi Ltd Image correction system
EP1798956A1 (en) * 2005-12-16 2007-06-20 Perkinelmer Singapore PTE Ltd. A method of processing data from a CCD and a CCD imaging apparatus
US20130201297A1 (en) * 2012-02-07 2013-08-08 Alcatel-Lucent Usa Inc. Lensless compressive image acquisition

Also Published As

Publication number Publication date
JP2017521942A (en) 2017-08-03

Similar Documents

Publication Publication Date Title
JP6652510B2 (en) System and method for compressed sensing imaging
KR20210059712A (en) Artificial Intelligence Techniques for Image Enhancement
CN110646810A (en) Speckle optimization compressed sensing ghost imaging method and system
WO2014070489A1 (en) Recursive conditional means image denoising
US10089719B2 (en) Signal observation device and signal observation method
US20220132001A1 (en) Method of generating noise-reduced image data and electronic device for performing the same
KR20220058143A (en) Method and apparatus for udc image restoration
JP5765893B2 (en) Image processing apparatus, imaging apparatus, and image processing program
JP6475269B2 (en) Compressed sensing imaging
US10423829B2 (en) Signal observation device and signal observation method
JP2021165944A (en) Learning method, program, and image processing apparatus
WO2015200038A1 (en) Systems and methods for compressive sense imaging
JP2017521942A5 (en)
JP6689379B2 (en) Multi-resolution compressed sensing image processing
EP3162073A1 (en) Compressive sense imaging
KR101701138B1 (en) Resolution and focus enhancement
WO2019171691A1 (en) Image processing device, imaging device, and image processing method
JP2019128318A (en) Lens device, imaging device, and image processor
Kamaci et al. Efficient sparsity-based inversion for photon-sieve spectral imagers with transform learning
US10091441B1 (en) Image capture at multiple resolutions
JP2016119532A (en) Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium
JP2019515773A5 (en)
JP7443990B2 (en) Machine learning device, image processing device, machine learning method, and machine learning program
JP6294751B2 (en) Image processing apparatus, image processing method, and image processing program
JP2023026343A (en) Simultaneous and consistent handling of image data and associated noise models in image processing and image composition

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180427

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20180427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190131

R150 Certificate of patent or registration of utility model

Ref document number: 6475269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250