JP7452554B2 - 撮像装置、光学素子、画像処理システム及び画像処理方法 - Google Patents

Description

本開示は、撮像装置、光学素子、画像処理システム及び画像処理方法に関する。

一般に、レンズレスカメラ（撮像装置）は、光透過フィルタ及び光不透過フィルタを２次元のパターン状に配置することによって構成されたマスク（光学素子）をイメージセンサの前に配置し、イメージセンサの観測データから光景を再構成することで撮影画像を得ることができる。例えば、レンズレスカメラでは、光が上記マスクを介してどのようにイメージセンサ上に投影されるかといった情報を予めマトリクスとして定義しておき、そのマトリクスとイメージセンサの観測データとを用いて、実際の光景の撮像画像を再構成する。このようなレンズレスカメラは、光学レンズ等を用いないことから、撮像装置の小型化、軽量化、廉価化等を実現することができる。

米国特許第８，７４６，５６９号明細書 国際公開第２０１６／１２３５２９号 国際公開第２０１８／０２３０３９号 米国特許第４，２０９，７８０号明細書 国際公開第２０１８／０６４６６０号 米国特許出願公開第２０１５／０２１９８０８号明細書

UNIFORMLY REDUNDANT ARRAYS, A. BUSBOOM, H. ELDERS－BOLL, AND H. D. SCHOTTEN, 1997 LiSens － A Scalable Architecture for Video Compressive Sensing, Jian Wang, Mohit Gupta, and Aswin C. Sankaranarayanan, ICCP, 2015 An angle-sensitive CMOS imager for single-sensor 3D photograph, Albert Wang; Patrick R. Gill; Alyosha Molnar, IEEE, 2011 Video from Stills: Lensless Imaging with Rolling Shutter, Nick Antipa, Patrick Oare, Emrah Bostan, Ren Ng, Laura Waller; ICCP 2019 Binary arrays with perfect odd-periodic autocorrelation, Hans Dieter Luke and Axel Busboom; 10 September 1997 / Vol. 36, No. 26 / APPLIED OPTICS / pp.6612-6619 Hexagonal uniformly redundant arrays for coded-aperture imaging, M. H.Finger, T.A.Prince, In NASA. Goddard Space Flight Center 19th Intern. Cosmic Ray Conf., Vol. 3 p 295-298

しかしながら、従来の撮像装置においては、撮像対象となる光景のアスペクト比（縦横比）と、光景からの光を受光するイメージセンサのアスペクト比とは、同一又は近似であることが一般的であった。また、レンズレスカメラにおいても、光景のアスペクト比とイメージセンサのアスペクト比とが大きく異なる場合、品質を劣化させることなく、実際の光景の撮像画像を再構成することが難しかった。

そこで、本開示では、光景のアスペクト比と異なるアスペクト比を有するイメージセンサを用いて、品質を劣化させることなく、実際の光景の撮像画像を再構成することが容易な、撮像装置、光学素子、画像処理システム及び画像処理方法を提案する。

本開示によれば、光景と異なるアスペクト比を有するラインセンサ又はエリアセンサと、所定のパターンを有し、前記ラインセンサ又は前記エリアセンサに重畳される光学素子とを備え、前記光学素子においては、周期的に位置ずれしながら繰り返される複数の基本パターンからなる前記所定のパターンの自己相関関数は、ピークとサイドローブとを持ち、前記サイドローブは一定又は略一定である、撮像装置が提供される。

また、本開示によれば、光景と異なるアスペクト比を有するラインセンサ又はエリアセンサと重畳される、所定のパターンを有する光学素子であって、前記光学素子においては、周期的に位置ずれしながら繰り返される複数の基本パターンからなる前記所定のパターンの自己相関関数は、ピークとサイドローブとを持ち、前記サイドローブは一定又は略一定である、光学素子が提供される。

また、本開示によれば、光景と異なるアスペクト比を有するラインセンサ又はエリアセンサによって観測された、前記ラインセンサ又は前記エリアセンサに重畳され、所定のパターンを有する光学素子を透過した前記光景からの光に基づく観測データを取得する取得部と、前記観測データを再構成することにより、前記光景の撮像画像を生成する処理部とを備え、前記光学素子においては、周期的に位置ずれしながら繰り返される複数の基本パターンからなる前記所定のパターンの自己相関関数は、ピークとサイドローブとを持ち、前記サイドローブは一定又は略一定である、画像処理システムが提供される。

さらに、本開示によれば、光景と異なるアスペクト比を有するラインセンサ又はエリアセンサによって観測された、前記ラインセンサ又は前記エリアセンサに重畳され、所定のパターンを有する光学素子を透過した前記光景からの光に基づく観測データを取得することと、前記観測データを再構成することにより、前記光景の撮像画像を生成することとを含む画像処理方法であって、前記光学素子においては、周期的に位置ずれしながら繰り返される複数の基本パターンからなる前記所定のパターンの自己相関関数は、ピークとサイドローブとを持ち、前記サイドローブは一定又は略一定である、画像処理方法が提供される。

レンズレスカメラの原理を説明するための説明図である。 本開示の一実施形態に係る撮像装置１００の構成の一例を説明するための説明図である。 従来技術に係るバイナリーマスク１０の構成の一例を説明するための説明図である。 本開示の一実施形態に係る２次元パターンの生成方法を説明するための説明図である。 本開示の一実施形態を説明するための説明図（その１）である。 本実施形態に係るバイナリーマスク１０の生成方法を説明するための説明図（その１）である。 本実施形態に係るバイナリーマスク１０の生成方法を説明するための説明図（その２）である。 本開示の一実施形態を説明するための説明図（その２）である。 本開示の一実施形態を説明するための説明図（その３）である。 本開示の一実施形態を説明するための説明図（その４）である。 本開示の一実施形態を説明するための説明図（その５）である。 本開示の一実施形態における、ローリングシャッタ方式を説明するための説明図（その１）である。 本開示の一実施形態における、ローリングシャッタ方式を説明するための説明図（その２）である。 本開示の一実施形態における、ローリングシャッタ方式を説明するための説明図（その３）である。 本開示の一実施形態における、ローリングシャッタ方式を説明するための説明図（その４）である。 本開示の一実施形態における、ローリングシャッタ方式を説明するための説明図（その５）である。 本開示の一実施形態における、ローリングシャッタ方式を説明するための説明図（その６）である。 ローリングシャッタ方式での実施例１を説明するための説明図である。 本開示の一実施形態の変形例に係るバイナリーマスク１０を説明するための説明図である。 実施例３に係るバイナリーマスク１０の図である。 実施例４に係るバイナリーマスク１０の図である。 本開示の一実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。 本開示の一実施形態に係る画像処理方法のフローチャート図である。 本開示の一実施形態に係る画像処理装置２００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

以下に説明する本開示の実施形態は、レンズレスカメラに適用した場合を例にして説明する。しかしながら、本開示の実施形態は、上述のレンズレスカメラに適用されることに限定されるものではなく、他の撮像システム等に適用されてもよい。

また、以下の説明において、サイドローブの略一定とは、数学的に一定である場合だけを意味するのではなく、後述する撮像画像の再構成において（例えば再構成によって得られた撮像画像の品質等の観点から）許容される程度の違いがある場合をも含むことを意味する。

なお、説明は以下の順序で行うものとする。
１． レンズレスカメラの原理
２． 本開示に係る実施形態を創作するに至るまでの経緯
３． 実施形態
３．１ 光学素子
３．２ ２次元パターンの生成方法
３．３ 光景のアスペクト比とイメージセンサのアスペクト比とのミスマッチ
３．４ バイナリーマスク１０の例
３．５ バイナリーマスク１０の他の例
３．６ ２次元のイメージセンサ（エリアセンサ）による１次元の光景の撮像
３．７ １次元のイメージセンサ（ラインセンサ）による２次元の光景の撮像
３．８ ２次元のイメージセンサ（エリアセンサ）による２次元の光景の撮像
３．９ ローリングシャッタ方式
３．１０ 画像処理装置
３．１１ 画像処理方法
３．１２ まとめ
４． ハードウェア構成について
５． 内視鏡手術システムへの応用例
６． 移動体への応用例
７． 補足

＜＜１． レンズレスカメラの原理＞＞
まず、本開示の実施形態の詳細を説明する前に、レンズレスカメラ（撮像装置）の概要及び原理について、図１を参照して説明する。図１は、レンズレスカメラの原理を説明するための説明図である。図１に示すように、撮像装置（レンズレスカメラ）１００は、バイナリーマスク（光学素子）１０と、イメージセンサ５０とを有する。バイナリーマスク１０は、例えば、２次元格子状に配列した複数の光透過フィルタ１２及び複数の光不透過フィルタ（図示省略）からなる所定のパターンを有するマスクである。また、イメージセンサ５０は、受光面上に２次元格子状又は１列（又は１行）に配列した複数の画素５２を有する。そして、各画素５２は、撮像対象となる光景の各ポイントからの光を受光することにより、電子信号（観測データ）を生成する。さらに、レンズレスカメラにおいては、当該電子信号を該当する画素５２の位置に応じた平面上の位置に投影させることにより、実際の光景の撮像画像を得ることができる。この際、光景の各ポイントからの光は、バイナリーマスク１０の光透過フィルタ１２を通過して、イメージセンサ５０の各画素５２で受光されることとなる。

さらに、当該撮像装置１００での撮像原理の詳細を説明する。以下では、撮像対象となる光景の各ポイントからの光を、図１に示す各光源ａ、ｂ、ｃからの光であるものとして説明する。例えば、図１に示す例では、光源ａからの光は、バイナリーマスク１０の光透過フィルタ１２を通過して、画素５２ｄ、５２ｅ、５２ｆで受光される。また、光源ｂからの光は、バイナリーマスク１０の光透過フィルタ１２を通過して、画素５２ｄ、５２ｅ、５２ｆで受光される。さらに、光源ｃからの光は、バイナリーマスク１０の光透過フィルタ１２を通過して、画素５２ｄ、５２ｅ、５２ｆで受光されることとなる。そこで、各光源ａ、ｂ、ｃの光の強度をａ、ｂ、ｃとした場合、各画素５２ｄ、５２ｅ、５２ｆで受ける光強度Ｉ_ｄ、Ｉ_ｅ、Ｉ_ｆは、以下の数式（１）によって示されることとなる。なお、数式（１）においては、α_１からα_３、β_１からβ_３、γ_１からγ_３は、バイナリーマスク１０の各光透過フィルタ１２の透過係数であるものとする。

上記数式（１）からわかるように、各画素５２ｄ、５２ｅ、５２ｆで受ける光は、光源ａ、ｂ、ｃのそれぞれより発せられた光が入り交じったものとなり、実際の光景に含まれる被写体からの光（例えば、図１の１つの光源からの光）のみからなるものではない。そのため、当該撮像装置１００で取得できる当初の実際の光景の撮像画像は、光景に含まれる被写体の像が結像されたものではなく、像の重畳によりぼけたものとなる。そこで、当該撮像装置１００を用いた撮像においては、結像した被写体等の実際の光景の撮像画像を得るために、重畳した画像から所望の被写体等の実際の光景の撮像画像を再構成することとなる。

ここで、光景内の複数のポイントから放射される光を、光ベクトルＸとして表現し、当該光を受光する複数の画素５２の観測データを観測値ベクトルＹとして表現した場合、光ベクトルＸと観測値ベクトルＹとの関係は、以下に示す数式（２）で示すことができる。

なお、上記数式（２）のＦは、２次元パターンを有するバイナリーマスク１０の各光透過フィルタ１２の透過係数を表す、行列であるものとする。

従って、当該撮像装置１００を用いた撮像においては、結像した被写体等の実際の光景の撮像画像を再構成するためには、光景に含まれる被写体等からの光についての、上記数式（２）を満たす光ベクトルＸを、観測値ベクトルＹから求めればよい。詳細には、観測値ベクトルＹは、イメージセンサ５０によって明らかになることから、行列ＦをＸについて解くことにより、光ベクトルＸを算出することができる。そのためには、バイナリーマスク１０のパターンは、その解が求まるような条件を満たしている事が求められる。

＜＜２． 本開示に係る実施形態を創作するに至るまでの経緯＞＞
次に、上述のような状況を踏まえ、本発明者らが本開示に係る実施形態を創作するに至る経緯について説明する。

ところで、従来の撮像装置においては、光学レンズやミラーを用いてイメージセンサ５０上に集光するため、撮像対象となる光景のアスペクト比と、光景からの光を受光するイメージセンサ５０のアスペクト比とは、同一又は近似であることが一般的である。

例えば、上記特許文献１では、１次元の光景と異なるアスペクト比である２次元のイメージセンサを用いた撮像が記載されている。詳細には、上記特許文献１では、２次元イメージセンサによるシングル（１次元）バーコードの撮像を、複数のミラー及び光学レンズを用いることで可能にしている。すなわち、上記特許文献１においては、光景のアスペクト比とイメージセンサのアスペクト比とがミスマッチであっても撮像が可能であるが、複数のミラー及び光学レンズが必要となることから、撮像装置の構成が複雑になることが避けられない。また、上記非特許文献２では、１次元イメージセンサ（ラインセンサ）による２次元の光景の撮像を、圧縮センシング手法を用いることで可能にしている。上記特許文献１では撮像できる光景のアスペクト比が制限されているものの、上記非特許文献２で提案されている技術においては、そのような制限はない。しかしながら、上記非特許文献２では、１つの光景の撮像画像を再構成するにあたり、複数回の撮影を行うことが求められる。さらに、上記非特許文献２では、撮像のために、デジタルマイクロミラーデバイス（ＤＭＤ）等の複雑な構成が必要となる。

そこで、上述のような上記特許文献１及び上記非特許文献２の欠点を克服するために、レンズレスカメラを用いることが検討された。レンズレスカメラであれば、光学レンズ等が不要であることから、複雑な構成を不要とすることができるためである。このような代替技術としては、例えば、上記非特許文献４に開示の技術をあげることができる。詳細には、上記非特許文献４では、光学レンズの代わりに疑似ランダム位相拡散板を用いる。当該拡散板は、２次元の光景の各ポイントからの光を、疑似ランダム性を持ち、且つ、高いコンストラストを持つ集光文様としてイメージセンサ上に投影する。そして、上記非特許文献４に開示の技術においては、上記イメージセンサで取得した観測データ（信号）により、２次元の光景の撮像画像を再構成することができる。さらに、上記非特許文献４に開示の技術においては、ローリングシャッタ方式による１回の撮影から、高いフレームレートで連続する複数の撮像画像を取得することができる。さらに、上記非特許文献４においては、上記拡散板による集光文様は、高いコンストラストを持ち、且つ、疑似ランダム性を持つことから、イメージセンサで取得した観測データ（信号）は、鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持つ、自己相関関数を有することとなる。従って、上述のような集光文様を生成することができる拡散板によれば、上述したような自己相関関数を持つ観測データを得ることができることから、上記数式（２）を解くことができる。その結果、上記特許文献４の開示の技術においては、上記イメージセンサで取得した観測データから、実際の光景の撮像画像の再構成を行うことができる。

しかしながら、本発明者らが検討を重ねたところ、上記非特許文献４に開示の技術であっても、以下のような欠点を有することが明らかになった。

まずは、上記非特許文献４においては、上記拡散板は、疑似ランダム性を持ち、且つ、高いコンストラストを持つ集光文様に投影する。しかしながら、上記非特許文献４においては、当該集光文様の自己相関関数は、鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持つものの、当該サイドローブが一定（均一）ではない。そして、上記非特許文献４においては、光景のアスペクト比とイメージセンサのアスペクト比とがミスマッチである場合には、上記サイドローブが一定でないことから、上記数式（２）を解く事が難しくなる。その結果、上記非特許文献４においては、再構成された実際の光景の撮像画像の品質を劣化させることとなる。なお、本発明者らの検討によれば、光景のアスペクト比とイメージセンサのアスペクト比とがミスマッチであっても、もし、上記自己相関関数が、鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持ち、さらには、サイドローブが略一定（望ましくは一定）であれば（自己相関関数がデルタ関数に近似できるものであれば）、上記数式（２）をＸについて効率的且つロバストに解くことができる。そして、このように算出することができれば、再構成された撮像画像の品質が劣化することを避けることができる。

また、上記非特許文献４においては、上記拡散板のパターンの持つ疑似ランダム性により、イメージセンサによるサンプリングがまばらになることを避けることが難しい。従って、上記非特許文献４においては、サンプリングがまばらであることにより、まばらにサンプリングされた観測データ（信号）から実際の光景の撮像画像を再構成した場合、その品質や均一性が劣化する蓋然性が高い。そこで、サンプリングがまばらになることにより生じる上記問題を解消するために、上記非特許文献４では、イメージセンサの各走査ライン（詳細には、１つの走査ラインは、行方向に沿って並ぶ複数の画素からなる）に対して圧縮センシングを適用する。しかしながら、このような方法は、空間的又は時間的に密度の高い光景に対する撮影に適用することが難しく、さらには、画像処理システムにおける画像処理の負荷の増大を避けることが難しい。

さらに、上記非特許文献４においては、上述のような拡散板を用いるために、撮像装置のキャリブレーションが必要となる。

そこで、本発明者らは、このような状況を鑑みて、以下に説明する本開示の実施形態を創作するに至った。本開示の実施形態においては、以下に説明するような光学素子（例えば、バイナリーマスク１０）を用いることにより、イメージセンサ５０の各画素（領域）５２において重畳して取得された光景の各ポイントからの光に基づく観測データ（信号）のそれぞれに対して、符号化を行う。そして、当該光学素子は、鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持つ自己相関関数を持つ所定のパターンを有することから、上記数式（２）をＸについて解く事ができる。その結果、本開示の実施形態によれば、上記観測データから実際の光景の撮像画像を再構成することができる。

さらに、上記光学素子の所定のパターンは、略一定（望ましくは一定）の（均一な）サイドローブを持つことから、光景のアスペクト比とイメージセンサのアスペクト比とがミスマッチであっても、上記数式（２）をＸについて効率的かつロバストに解くことができる。その結果、本開示の実施形態によれば、再構成された撮像画像の品質が劣化することを避けることができる。さらに、上記光学素子において周期的に位置ずれしながら繰り返される複数の２次元基本パターンからなる２次元の所定のパターンは、略一定（望ましくは一定）のサイドローブの自己相関関数を持つ１次元パターンを所定の規則に基づき折りたたむことにより容易に生成することができる。

すなわち、このような本開示の実施形態によれば、シンプルな構成の撮像装置１００を用いて、光景のアスペクト比とイメージセンサのアスペクト比とがミスマッチであっても、品質を劣化させることなく、実際の光景の撮像画像を容易に再構成することができる。本実施形態によれば、例えば、２次元のイメージセンサ５０によるシングル（１次元）バーコードの撮像が可能となり、１次元のイメージセンサ（ラインセンサ）５０による２次元の光景の撮像が可能となる。

また、本開示の実施形態によれば、撮像装置がシンプルな構成であることから、光学素子を上述したパターンを有するように好適に形成することにより、撮像システムのキャリブレーションを不要にすることができ、ひいては撮像を容易に行うことを可能にする。

さらに、本開示の実施形態においては、上記光学素子として、例えば、２次元格子状に配列した光透過フィルタ１２及び光不透過フィルタ（図示省略）からなる所定のパターンを有するバイナリーマスク１０を用いることができる。また、本開示の実施形態においては、上記光学素子として、例えば、フレネルパターン状に配列した光透過フィルタ１２及び光不透過フィルタ（図示省略）からなる所定のパターンを有するバイナリーマスク１０を用いることができる。さらに、本開示の実施形態においては、上記光学素子として、例えば、回折格子素子を用いることができる。すなわち、本実施形態においては、上記光学素子の設計の自由度は高いといえる。

また、本実施形態においては、先に説明したように、イメージセンサ５０の各画素（領域）５２において重畳して取得された光景の各ポイントからの光に基づく観測データ（信号）のそれぞれに対して、符号化することができる。従って、本実施形態によれば、ローリングシャッタ方式に適用した場合であっても、１回の撮影から、高いフレームレートで連続する複数の撮像画像を取得することができる。また、本実施形態によれば、イメージセンサ５０の各走査ライン又は各走査ライン群（詳細には、各走査ライン群は、所定の数の走査ラインからなる）に対応する観測データを特定することが容易である。さらに、本実施形態によれば、各走査ライン又は各走査ライン群で取得した観測データを再構成することにより得られた各撮像画像の間の品質を均一に維持することができる。

以下に、本発明者らが創作した本開示の実施形態の詳細を順次説明する。

＜＜３． 実施形態＞＞
＜３．１ 光学素子＞
まずは、図２及び図３を参照して、本開示の実施形態に係る光学素子について説明する。図２は、本実施形態に係る撮像装置１００の構成の一例を説明するための説明図であり、図３は、従来技術に係るバイナリーマスク１０の構成の一例を説明するための説明図である。

ところで、上記非特許文献５は、光学素子の一例として使用するバイナリーマスクのパターンを、所定の１次元の系列を２次元アレイになるように所定の規則に基づき折りたたむことで得られることを開示する。しかしながら、上記非特許文献５に開示のバイナリーマスクは、光景のアスペクト比とイメージセンサのアスペクト比とが同一である場合に適用される。そこで、本発明者らは、鋭意検討を進め、以下に説明する条件を追加することにより、バイナリーマスク１０が、光景のアスペクト比とイメージセンサ５０のアスペクト比とがミスマッチであっても適用可能になることを独自に知得した。以下に、本発明者らが創作した本開示の実施形態に係るバイナリーマスク１０の詳細を説明する。

本実施形態に係るバイナリーマスク（光学素子）１０は、図２に示すように、イメージセンサ（ラインセンサ又はエリアセンサ）５０に重畳されて使用される。言い換えると、本実施形態に係る撮像装置１００は、図２に示すように、１つ以上の走査ライン（行）（詳細には、１つの走査ラインは、行方向に沿って並ぶ複数の画素からなる）を持つイメージセンサ５０と、当該イメージセンサ５０に重畳されたバイナリーマスク１０とからなる。また、図２に示すように、バイナリーマスク１０は、イメージセンサ５０の有する画素５２とほぼ同等のサイズの複数の単位要素を持ち、これら各単位要素は、光透過フィルタ１２及び光不透過フィルタ１４からなる。より詳細には、バイナリーマスク１０は、２次元格子状に配列した複数の光透過フィルタ１２及び複数の光不透過フィルタからなる所定のパターンを有する。言い換えると、バイナリーマスク１０は、光学素子の１種であるといえる。

また、バイナリーマスク１０上で繰り返される所定のパターンの自己相関関数は、鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持つ。このようなバイナリーマスク１０を用いることにより、上記数式（２）を解くことができることから、イメージセンサ５０で取得した観測データ（信号）から実際の光景の撮像画像を再構成することができる。

ここで、図３を参照して、従来技術の２次元の所定のパターンの生成方法の概略について説明する。図３の上段に示す１次元の系列（一次元パターン）は、鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持つ。より具体的には、図３の上段に示す１次元の系列の長さＬは、単位要素の数で規定すると例えば２５５となっている。

次に、図３の上段に示す１次元の系列（一次元パターン）を折り畳み、図３の中段に示す単位２次元パターンを生成する。ここで、単位２次元パターンのサイズが、単位要素の数で規定するとＭ×Ｎで表現される場合、ＭとＮとの積（Ｍ×Ｎ）は上記１次元系列の長さＬと等しく、且つ、ＭとＮとが互いに素であるという条件を満たすようにして、単位２次元パターンを生成する。例えば、図３の中段に示す単位２次元パターンのサイズは、単位要素の数で規定すると１５×１７となっており、すなわち、ＭとＮとの積が１次元の系列の長さＬ＝２５５と等しく、且つ、ＭとＮとが互いに素であるという条件を満たしている。

さらに、上述のような単位２次元パターンを２×２で配列させることにより、図３の下段に示す２次元の所定のパターンを得ることができる。詳細には、図３の下段に示す２次元の所定のパターンのサイズは、単位要素の数で規定すると（２Ｍ－１）×（２Ｎ－１）であり、より具体的には２９×３３（（１５×２－１）×（１７×２－１）である。

例えば、図３の下段に示す２次元パターンを持つバイナリーマスク１０を用いることにより、画素（単位画素）５２の数で規定するとＭ×Ｎのサイズを持つイメージセンサ５０上に、光景からのＭ×Ｎ個のポイントからの光の束を循環シフトさせるように投影することができる。すなわち、図３の下段に示す２次元パターンを有するバイナリーマスク１０は、光景のＭ×Ｎの各ポイントからの光をそれぞれ符号化することができる。言い換えると、図３の下段に示す２次元パターンを持つバイナリーマスク１０を用いることにより、上記数式（２）をＸについて解くことができる。そして、符号化された光景のＭ×Ｎの各ポイントからの光に基づく観測データ（信号）に対して適切なアルゴリズムを適用することにより、実際の光景の撮像画像を再構成することができる。

しかしながら、ここで説明した図３の下段に示す、従来技術に係る２次元パターンを有するバイナリーマスク１０は、光景のアスペクト比はＭ：Ｎであり、イメージセンサ５０のアスペクト比もＭ：Ｎであり、すなわちアスペクト比が同一である場合に適用される。そこで、本実施形態においては、先に説明したように、以下に説明する条件を追加することにより、バイナリーマスク１０を、光景のアスペクト比とイメージセンサ５０のアスペクト比とがミスマッチであっても、適用可能なものにする。

＜３．２ ２次元パターンの生成方法＞
次に、図４を参照して、本実施形態に係る、光景のアスペクト比とイメージセンサ５０のアスペクト比とがミスマッチであっても適用可能なバイナリーマスク１０の２次元パターンの生成方法を説明する。図４は、本実施形態に係る２次元パターンの生成方法を説明するための説明図である。

詳細には、図４には生成しようとする２次元の所定のパターンが示されており、当該２次元の所定のパターンは、複数の単位アレイｓ（ｘ、ｙ）を持ち、ｓ(ｘ、ｙ)は、Ｎ_ｘ×Ｎ_ｙのサイズを持つ。Ｎ_ｘ×Ｎ_ｙは_、イメージセンサ５０のサイズでもあるものとする。また、ここでは、光景の解像度をＰ_ｘ×Ｐ_ｙとし、アスペクト比をＰ_ｘ：Ｐ_ｙする。そして、図４に示すように、Ｙ軸方向に沿って変位Ｄを持つように複数の単位アレイｓ（ｘ、ｙ）を配置した場合には、このような複数の単位アレイｓ（ｘ、ｙ）からなる２次元の所定のパターンは、以下の数式（３）によって表現することができる。

そして、上記数式（３）に基づき、周期的に変位Ｄで位置ずれしながら繰り返される複数の単位アレイｓ（ｘ、ｙ）からなる２次元の所定のパターンからなる所定のパターンの自己相関関数は、以下の数式（４）によって表現することができる。

そして、上記自己相関関数のサイドローブは、以下の数式（５）によって定義される。

従って、以下の数式（６）を満たすことにより、上記サイドローブは理想的にゼロ、すなわち、サイドローブは一定となる。

ここで、単位アレイｓ（ｘ、ｙ）が以下のような数式（７）で表現される場合を考える。

このような場合、以下のような数式（８）が満たされた場合、以下に示す数式（９）が成立する。

すなわち、上記数式（９）によれば、単位アレイｓ（ｘ、ｙ）が有する自己相関関数が、２次元の所定のパターンでも維持されることを示している。言い換えると、上記数式（８）を満たすように２次元の所定パターンの生成した場合、単位アレイｓ（ｘ、ｙ）が有する自己相関関数が、２次元の所定のパターンでも維持されることとなる。ここで、数式（９）を導くにあたり、０≦ｌ（エル）＜Ｎ_ｘ、０≦ｋ＜Ｎ_ｙの範囲内であるものとして上記数式（７）を用いている。すなわち、上記数式（６）からわかるように、ここでは、光景のアスペクト比とイメージセンサ５０のアスペクト比とが同一であるものとしている。

しかしながら、本実施形態においては、光景のアスペクト比とイメージセンサ５０のアスペクト比とがミスマッチであることを前提としている。そこで、ここでは、光景のアスペクト比をＰ_ｘ：Ｐ_ｙとした場合、Ｎ_ｘ×Ｎ_ｙ＝Ｐ_ｘ×Ｐ_ｙ（言い換えると、イメージセンサ５０は、光景に対する解像度と同じ画素５２の数を有する）であって、Ｎ_ｘ≠Ｐ_ｘという条件を満たすものとする。このような場合、ｌ（エル）及びｋは、０≦ｌ（エル）＜Ｎ_ｘ、０≦ｋ＜Ｎ_ｙの範囲の外側に位置することがある。すなわち、数式（９）を導くにあたりに使用した、０≦ｌ（エル）＜Ｎ_ｘ、０≦ｋ＜Ｎ_ｙの範囲内であるという条件を用いることができない。

そこで、本実施形態においては、光景のアスペクト比とイメージセンサ５０のアスペクト比とがミスマッチであっても、自己相関関数が鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持つだけでなく、当該サイドローブを略一定（望ましくは一定）とするために、以下の数式（１０）及び、上記数式（７)、（８)を満たすような条件で、２次元の所定のパターンを生成する。

すなわち、本実施形態においては、上述のような自己相関関数を持つ１次元の系列（一次元パターン）を、上記数式（１０）及び、上記数式（７）、（８)を追加した所定の規則に基づき折りたたむことにより、上述のような自己相関関数を持つ２次元の所定のパターンを生成することができる。そして、このような２次元の所定のパターンを有するバイナリーマスク１０によれば、上記数式（２）をＸについて効率的且つロバストに解くことができる。その結果、本開示の実施形態によれば、光景のアスペクト比とイメージセンサ５０のアスペクト比とがミスマッチであっても、再構成された実際の光景の撮像画像の品質が劣化することを避けることができる。

＜３．３ 光景のアスペクト比とイメージセンサのアスペクト比とのミスマッチ＞
次に、より詳細に、本実施形態に係る、光景のアスペクト比とイメージセンサ５０のアスペクト比とがミスマッチである場合での使用について、図５を参照して説明する。図５は、本実施形態を説明するための説明図であって、詳細には、本実施形態に係るバイナリーマスク１０ａの一例を示す。

ここで、画素５２の数で規定するとＰ×Ｑのサイズを持つ矩形状のイメージセンサ５０上に、光景のＭ×Ｎ個の各ポイントからの光をそれぞれ符号化して投影することを考える（すなわち、光景に対する解像度はＭ×Ｎである）。この場合、バイナリーマスク１０ａのサイズは、単位要素の数で規定すると（Ｐ＋Ｍ－1）×（Ｑ＋Ｎ－1）となる。すなわち、図５に示すように、バイナリーマスク１０ａのサイズは、イメージセンサ５０を、Ｘ方向に沿って単位要素あたり１列ずつＭ回、Ｙ方向に沿って単位要素あたり１行ずつＮ回、平行移動して得られるサイズを持つ。なお、ここで、Ｍ×Ｎ＝Ｐ×Ｑであり、ＭとＮとが互いに素であり、ＰとＱとが互いに素である条件を満たすものとする。

原理的には、バイナリーマスク１０が均一冗長アレイマスクであれば、Ｐ×Ｑのサイズを持つイメージセンサ５０上に、光景のＭ×Ｎ個の各ポイントからの光をそれぞれ符号化して投影することは可能である。しかしながら、バイナリーマスク１０が単なる均一冗長アレイマスクであるだけでは、光景のアスペクト比とイメージセンサ５０のアスペクト比とがミスマッチである場合には、均一冗長アレイマスクが周期的な繰り返しを単に含むだけであることから、光景のＭ×Ｎ個の各ポイントからの光をそれぞれ精度よく符号化して投影することが難しい。すなわち、バイナリーマスク１０が単なる均一冗長アレイマスクである場合には、再構成された実際の光景の撮像画像の品質が劣化することを避けることが難しい。

そこで、本実施形態においては、先に説明したような、自己相関関数が鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持ち、さらには、当該サイドローブが略一定（望ましくは一定）であるような所定のパターンを有するバイナリーマスク１０ａを用いる。その結果、本実施形態によれば、光景のアスペクト比とイメージセンサ５０のアスペクト比とがミスマッチであっても、イメージセンサ５０上に、光景のＭ×Ｎ個の各ポイントからの光をそれぞれ精度よく符号化して投影することが可能である。言い換えると、本実施形態によれば、上記数式（２）を効率的且つロバストに求めることができる。従って、本実施形態によれば、再構成された実際の光景の撮像画像の品質が劣化することを避けることができる。

＜３．４ バイナリーマスク１０の例＞
次に、図６を参照して、本実施形態に係る、光景のアスペクト比とイメージセンサ５０のアスペクト比とがミスマッチであっても適用可能なバイナリーマスク１０の一例を説明する。図６は、本実施形態に係るバイナリーマスク１０の生成方法を説明するための説明図である。

ここで、画素５２の数で規定するとＰ×Ｑ＝１７×１５のサイズを持つ矩形状のイメージセンサ５０上に、光景のＭ×Ｎ個＝５１×５の各ポイントからの光をそれぞれ符号化して投影することを考える（すなわち、光景に対する解像度はＭ×Ｎ＝５１×５である）。なお、上記の条件では、Ｍ×Ｎ＝Ｐ×Ｑ＝５１×５＝１７×１５＝２５５であり、ＭとＮとが互いに素であり、ＰとＱとが互いに素である条件を満たしている。

そして、この場合、先に説明したように、バイナリーマスク１０のサイズとしては、単位要素の数で規定すると（Ｐ＋Ｍ－1）×（Ｑ＋Ｎ－1）＝（１７＋５１－１）×（１５＋５－１）＝６７×１９とすることが求められる。

具体的には、本実施形態においては、図６の上段に示す、長さＬ＝２５５の１次元の系列（１次元パターン）を所定の規則に基づき折りたたむことにより２次元の所定のパターンを生成する。本実施形態においては、上記数式（６）、（８）及び（１０）を満たすパラメータａ_ｘ、ａ_ｙ、Ｄ、α、Ｍとして、ａ_ｘ＝１、ａ_ｙ＝２、Ｄ＝５、α＝１、Ｍ＝５の条件を用いている。このようにして、本実施形態においては、図６の下段に示される２次元の所定のパターンを有するバイナリーマスク１０を得ることができる。図６の下段に示されるバイナリーマスク１０の所定のパターンでは、周期的に変位Ｄで位置ずれしながら繰り返される複数の単位アレイｓ（６７×１９）を有する。

このようにすることで、本実施形態においては、光景のアスペクト比とイメージセンサ５０のアスペクト比とがミスマッチであっても、自己相関関数が鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持つだけでなく、当該サイドローブが略一定（望ましくは一定）である、２次元の所定のパターンを有するバイナリーマスク１０を得ることができる。

＜３．５ バイナリーマスク１０の他の例＞
次に、ローリングシャッタ方式（ローリングシャッタ方式の詳細については後述する）に適用可能なバイナリーマスク１０の一例を説明する。図７は、本実施形態に係るバイナリーマスク１０の生成方法を説明するための説明図である。

ここで、６０×８５の画素５２を持つ２次元のイメージセンサ５０（すなわち、６０行の走査ラインを有する）を用い、光景に対する解像度を１５×１７とする場合を考える。さらに、本実施形態では、ローリングシャッタ方式での撮像は、上記イメージセンサ５０上の３行の走査ラインからなる走査ライン群ごとに観測データ（信号）を取得することとなる。すなわち、イメージセンサ５０は２０個に区分けされることとなる。なお、上記の条件では、Ｍ×Ｎ＝Ｐ×Ｑ＝３×８５＝１５×１７＝２５５であり、ＭとＮとが互いに素であり、ＰとＱとが互いに素である条件を満たしている。

具体的には、本実施形態においては、図６の上段に示す、長さＬ＝２５５の１次元の系列（１次元パターン）を所定の規則に基づき折りたたむことにより２次元の所定のパターンを生成する。本実施形態においては、上記数式（６）、（８）及び（１０）を満たすパラメータａ_ｘ、ａ_ｙ、Ｄとして、ａ_ｘ＝１、ａ_ｙ＝１、Ｄ＝１７の条件を用いる。このようにして、本実施形態においては、図７に示される２次元の所定のパターンを有するバイナリーマスク１０を得ることができる。詳細には、図７に示されるバイナリーマスク１０の走査ライン群に対応する領域の所定のパターンは、単位要素の数で規定すると（１５＋３－１）×（１７＋１８－１）のサイズを持つ。さらに、６０行分の解像度をカバーするために、｛１５＋３－１＋（６０－３））｝×（１７＋８５－１）＝７４×１０１のサイズを持つ所定のパターンを有する区画を周期的に変位Ｄで位置ずれしながら繰り返すことにより、図７に示される２次元の所定のパターンを有するバイナリーマスク１０を得ることができる。すなわち、バイナリーマスク１０上の当該７４×１０１のサイズの区画のそれぞれが、イメージセンサ５０の２０個に区分けされたエリアのぞれぞれのためのバイナリーマスクとして同時に使用することができる。

このようにすることで、本実施形態においては、ローリングシャッタ方式に適用可能な、自己相関関数が鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持つだけでなく、当該サイドローブが略一定（望ましくは一定）である、２次元の所定のパターンを有するバイナリーマスク１０を得ることができる。

＜３．６ ２次元のイメージセンサ（エリアセンサ）による１次元の光景の撮像＞
さらに、具体的に、図８及び図９を参照して、本実施形態に係る、２次元のイメージセンサ５０を用いた１次元の光景の撮像を説明する。図８及び図９は、本実施形態を説明するための説明図であって、詳細には、本実施形態に係る、２次元のイメージセンサ５０を用いた１次元の光景の撮像を説明するための説明図である。なお、以下の説明においては、イメージセンサ５０は、画素５２の数で規定するとＭ×Ｎのサイズを持ち、光景のサイズはＭＮ×１（１次元）である（すなわち、光景の解像度はＭＮ×１である）ものとする。

ここで本実施形態においては、撮像装置１００は、図８に示す単位要素の数で規定すると（ＭＮ＋Ｍ－１）×Ｎのサイズのバイナリーマスク１０ｂと、画素５２の数で規定するとＭ×Ｎのサイズの２次元のイメージセンサ（エリアセンサ）５０とを有するものとする。そして、本実施形態においては、光景のＭＮ個の各ポイントは１つの面に１行（詳細のは、例えば、水平方向に沿って）に並んでおり（すなわち、１次元の光景）、これらＭＮ個の各ポイントからの光（Ｖ_１、Ｖ_２、…、Ｖ_ｋ、…、Ｖ_ＭＮ）は、図８に示すようにバイナリーマスク１０ｂを通過してイメージセンサ５０上に投影される。そして、これら光（Ｖ_１、Ｖ_２、…、Ｖ_ｋ、…、Ｖ_ＭＮ）のそれぞれは、バイナリーマスク１０ｂ上の対応するＭ×Ｎのサイズを持つ各領域のパターンにより符号化されることとなる。

本実施形態に係るバイナリーマスク１０ｂの有する所定のパターンは、先に説明したように、鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持ち、さらに当該サイドローブが略一定（望ましくは、一定）である自己相関関数を持つ。そのため、上記バイナリーマスク１０ｂは、光景のＭＮ個の各ポイントからの光をそれぞれ精度よく符号化して投影することが可能である。言い換えると、本実施形態によれば、上記数式（２）をＸについて効率的且つロバストに求めることができる。従って、本実施形態によれば、２次元のイメージセンサ５０を用いた１次元の光景の撮像であっても、再構成された実際の光景の撮像画像の品質が劣化することを避けることができる。

さらに、図９を参照して、より具体的な例を説明する。図９の例では、画素５２の数で規定するとＭ×Ｎ＝１５×１７のサイズの２次元のイメージセンサ５０を使用する。この場合、本実施形態においては、図３の上段に示す、長さＬ＝２５５の１次元の系列（１次元パターン）を折りたたむことにより２次元の所定のパターンを生成する。図９の例では、光景の解像度（Ｐ_ｘ×Ｐ_ｙ）が２５５×１であり、イメージセンサ５０のサイズ（Ｎｘ×Ｎｙ）が１５×１７である。従って、２次元の所定のパターンを生成する際には、上記数式（６）、（８）及び（１０）を満たすパラメータａ_ｘ、ａ_ｙ、Ｄ（数式（７）参照）として、ａ_ｘ＝１、ａ_ｙ＝０、Ｄ＝１の条件を用いることとなる。例えば、図９に示されるバイナリーマスク１０ｂの所定のパターンは、図４の左上に示される破線の矩形に含まれる、周期的に変位Ｄで位置ずれしながら繰り返される複数の単位アレイｓ（ｘ、ｙ）として生成される。詳細には、バイナリーマスク１０ｃは、単位要素の数で規定すると２６９×１７のサイズを持つ。

このように数式（６）、（８）及び（１０）を満たすような、図９に示されるバイナリーマスク１０ｃの所定のパターンは、鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持ち、さらに当該サイドローブが略一定（望ましくは、一定）である自己相関関数を持つ。そのため、上記バイナリーマスク１０ｃは、光景の２５５×１個の各ポイントからの光をそれぞれ精度よく符号化して投影することが可能である。従って、本実施形態によれば、２次元のイメージセンサ５０を用いた１次元の光景（２５５×１）の撮像であっても、再構成された実際の光景の撮像画像の品質が劣化することを避けることができる。

＜３．７ １次元のイメージセンサ（ラインセンサ）による２次元の光景の撮像＞
さらに、具体的に、図１０を参照して、本実施形態に係る、１次元のイメージセンサ（ラインセンサ）５０を用いた２次元の光景の撮像を説明する。図１０は、本実施形態を説明するための説明図であって、詳細には、本実施形態に係る、１次元のイメージセンサ５０を用いた２次元の光景の撮像を説明するための説明図である。なお、以下の説明においては、イメージセンサ５０は、画素５２の数で規定するとＭＮ×１のサイズを持ち、光景のサイズはＭ×Ｎ（２次元）であるものとする。

より具体的には、図１０の例では、画素５２の数で規定すると２５５×１のサイズの１次元のイメージセンサ５０を使用する。この場合、本実施形態においては、図３の上段に示す、長さＬ＝２５５の１次元の系列（１次元パターン）を折りたたむことにより２次元の所定のパターンを生成する。図１０の例では、光景の解像度（Ｐ_ｘ×Ｐ_ｙ）が１５×１７であり、イメージセンサ５０のサイズ（Ｎｘ×Ｎｙ）が２５５×１である。従って、２次元の所定のパターンを生成する際には、上記数式（６）、（８）及び（１０）を満たすパラメータａ_ｘ、ａ_ｙ、Ｄ（数式（７）参照）、α（数式（１０）参照）として、ａ_ｘ＝１、ａ_ｙ＝１、Ｄ＝１７、α＝１の条件を用いることとなる。例えば、図１０に示されるバイナリーマスク１０ｄの所定のパターンは、単位要素の数で規定すると２７１×１５のサイズを持つ。

このように数式（６）、（８）及び（１０）を満たすような、図１０に示されるバイナリーマスク１０ｄの所定のパターンは、鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持ち、さらに当該サイドローブが略一定（望ましくは、一定）である自己相関関数を持つ。そのため、上記バイナリーマスク１０ｄは、光景の１５×１７個の各ポイントからの光をそれぞれ精度よく符号化して投影することが可能である。従って、本実施形態によれば、１次元のイメージセンサ５０を用いた２次元の光景（１５×１７）の撮像であっても、再構成された実際の光景の撮像画像の品質が劣化することを避けることができる。

＜３．８ ２次元のイメージセンサ（エリアセンサ）による２次元の光景の撮像＞
さらに、具体的に、図１１を参照して、本実施形態に係る、２次元のイメージセンサ（エリアセンサ）５０を用いた２次元の光景の撮像を説明する。図１１は、本実施形態を説明するための説明図であって、詳細には、本実施形態に係る、２次元のイメージセンサ５０を用いた２次元の光景の撮像を説明するための説明図である。なお、以下の説明においては、イメージセンサ５０は、画素５２の数で規定するとＭ×Ｎのサイズを持ち、光景のサイズはＰ×Ｑ（２次元）であるものとする。また、ここでは、Ｍ×Ｎ＝Ｐ×Ｑであり、ＭとＮとが互いに素であり、ＰとＱとが互いに素である条件を満たすものとする。

より具体的には、図１１の例では、画素５２の数で規定すると３１×３３のサイズの２次元のイメージセンサ５０を使用する。この場合、本実施形態においては、長さＬ＝１０２３の１次元の系列（１次元パターン）を折りたたむことにより２次元の所定のパターンを生成する。図１１の例では、光景の解像度（Ｐ_ｘ×Ｐ_ｙ）が３４１×３であり、イメージセンサ５０のサイズ（Ｎｘ×Ｎｙ）が３１×３３である。従って、２次元の所定のパターンを生成する際には、上記数式（６）、（８）及び（１０）を満たすパラメータａ_ｘ、ａ_ｙ、Ｄ（数式（７）参照）、α（数式（１０）参照）として、ａ_ｘ＝１、ａ_ｙ＝１、Ｄ＝３７、α＝１の条件を用いることとなる。例えば、図１１に示されるバイナリーマスク１０ｅの所定のパターンは、単位要素の数で規定すると３７１×３５のサイズを持つ。

このように数式（６）、（８）及び（１０）を満たすような、図１１に示されるバイナリーマスク１０ｅの所定のパターンは、鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持ち、さらに当該サイドローブが略一定（望ましくは、一定）である自己相関関数を持つ。そのため、上記バイナリーマスク１０ｅは、光景の３４１×３個の各ポイントからの光をそれぞれ精度よく符号化して投影することが可能である。従って、本実施形態によれば、光景のアスペクト比とイメージセンサ５０のアスペクト比とがミスマッチであっても、２次元のイメージセンサ５０を用いた２次元の光景の撮像において、再構成された実際の光景の撮像画像の品質が劣化することを避けることができる。

＜３．９ ローリングシャッタ方式＞
（基本原理）
次に、本実施形態をローリングシャッタ方式に適用した例について説明する。以下に、図１２を参照して、ローリングシャッタ方式の基本原理について説明する。図１２は、本実施形態における、ローリングシャッタ方式を説明するための説明図である。

ローリングシャッタ方式においては、グローバルシャッタ方式とは異なり、撮像装置１００は、イメージセンサ５０上の複数の画素５２からなる走査ライン（行）ごとに順次観測データ（信号）を取得するように動作する。一方、グローバルシャッタ方式では、撮像装置１００は、イメージセンサ５０上の全ての走査ライン（行）で同時に、言い換えると、イメージセンサ５０上の全ての画素５２で同時に観測データ（信号）を取得するように動作する。

ここで、図１２に示すようなＮ行の走査ラインを有するイメージセンサ５０を有する撮像装置１００が、ローリングシャッタ方式、具体的には、１行の走査ラインごとに順次観測データ（信号）を取得するように動作する場合を考える。この場合、撮像装置１００は、１度の撮影により、Ｎ回分観測データ（信号）を取得することとなり、取得したＮ個の観測データから、図１２の右側に示すように、Ｎ個の撮像画像をそれぞれ再構成することができる。すなわち、ローリングシャッタ方式によれば、一度の撮像で、Ｎ個の撮像画像を再構築することができることから、例えばフレームレートをＦ（ｆｐｓ）からＦＮ（ｆｐｓ）に増加させることができる。

（本実施形態）
そこで、本実施形態においては、これまで説明した本実施形態に係る、２次元の所定のパターンを有するバイナリーマスク１０を、上述したようなローリングシャッタ方式で動作する撮像装置１００に適用する。このようなローリングシャッタ方式の実施形態を図１３から図１７を参照して説明する。図１３から図１７は、本実施形態における、ローリングシャッタ方式を説明するための説明図である。詳細には、図１３は、イメージセンサ５０の１行目の走査ラインでの観測データ（信号）の取得を説明するための図であり、図１４は、イメージセンサ５０の２行目の走査ラインでの観測データ（信号）の取得を説明するための図である。また、図１５は、イメージセンサ５０の３行目の走査ラインでの観測データ（信号）の取得を説明するための図であり、図１６は、イメージセンサ５０のＮ－１行目の走査ラインでの観測データ（信号）の取得を説明するための図である。さらに、図１７は、イメージセンサ５０のＮ行目の走査ラインでの観測データ（信号）の取得を説明するための図である。

図１３から図１７に示すように、本実施形態においては、各走査ラインに対応するように、バイナリーマスク１０の領域（図では矩形で囲まれている）が定められている。そして、本実施形態に係るローリングシャッタ方式の撮像においては、各走査ラインの複数の画素５２は、定められたバイナリーマスク１０の領域を通過した光による観測データ（信号）を走査ラインごとに順次取得することとなる。

この際、適切な符号化を行うことができるように、各走査ラインのアスペクト比を考慮して、各走査ラインに対応するバイナリーマスク１０の領域のサイズや、バイナリーマスク１０の有する所定のパターンを決定する。すなわち、ここでも、上述したような本実施形態に係る、２次元の所定のパターンを有するバイナリーマスク１０の領域を用いることとなる。

図１３から図１７に示す例では、図中上下に隣り合う走査ライン間で、バイナリーマスク１０の領域の一部を共有している。しかしながら、上述したような本実施形態に係る、２次元の所定のパターンを有するバイナリーマスク１０を用いることにより、バイナリーマスク１０の領域の一部を共有している場合であっても、光景の各ポイントからの光に基づく観測データ（信号）のそれぞれに対して、適切に符号化することができる。言い換えると、本実施形態においては、イメージセンサ５０の各走査ラインに対応する観測データを特定することが容易である。その結果、本実施形態によれば、各走査ラインで取得した観測データを再構成することにより複数の撮像画像を得ることができるばかりか、得られた各撮像画像の間の品質を均一に維持することができる。さらに、本実施形態によれば、１回の撮像であっても、各走査ラインで取得した観測データから複数の撮像画像を再構成することができることから、高いフレームレートで連続する複数の撮像画像を取得することができる。例えば、図１３から図１７に示す例では、Ｎ個の走査ラインごとに観測データを取得していることから、Ｎ個の撮像画像を再構成することができ、従って、例えばフレームレートをＦ（ｆｐｓ）からＦＮ（ｆｐｓ）に増加させることができる。

また、本実施形態においては、図１３から図１７に示すように、１行の走査ラインごとに観測データを取得することに限定されるものではなく、所望のフレームレートに応じて、複数の走査ライン（走査ライン群）ごとに観測データを取得してもよい。この場合であっても、適切な符号化を行うことができるように、各走査ライン群のアスペクト比を考慮して、各走査ライン群に対応するバイナリーマスク１０の領域のサイズや、バイナリーマスク１０の有する所定のパターンを決定することとなる。

なお、本開示の実施形態においては、これまで説明した２次元の所定のパターンを有するバイナリーマスク１０を、上述したようなローリングシャッタ方式で動作する撮像装置１００に適用することに限定されるものではなく、例えば、グローバルシャッタ方式で動作する撮像装置１００に適用してもよい。

（実施例１）
次に、図１８を参照して、実施例１を説明する。図１８は、ローリングシャッタ方式での実施例１を説明するための説明図である。ここで、２９１×２４０の画素５２を持つ２次元のイメージセンサ５０を用い、１回の撮像のフレームレートがＦであって、ローリングシャッタにおけるサブフレームレート１８Ｆとし、光景に対する解像度を３９×９７とする場合を考える。

このような場合、ローリングシャッタ方式での撮像は、サブフレームレートが１８Ｆであるため、上記イメージセンサ５０上の１３行の走査ラインからなる走査ライン群ごとに観測データ（信号）を取得することとなる。

そして、この場合、本実施形態においては、長さＬ＝９７×３９＝３７８３の１次元の系列（１次元パターン）を折りたたむことにより２次元の所定のパターンを生成する。光景の解像度（Ｐ_ｘ×Ｐ_ｙ）が９７×３９であり、走査ライン群のサイズ（Ｎｘ×Ｎｙ）が２９１×１３である。従って、２次元の所定のパターンを生成する際には、上記数式（６）、（８）及び（１０）を満たすパラメータａ_ｘ、ａ_ｙ、Ｄ（数式（７）参照）として、ａ_ｘ＝１、ａ_ｙ＝１、Ｄ＝３９の条件を用いることとなる。例えば、図１８に示されるバイナリーマスク１０の走査ライン群に対応する領域の所定のパターンは、単位要素の数で規定すると３２９×１０９のサイズを持つ。さらに、２４０行分の水平方向の解像度をカバーするために、バイナリーマスク１０の全体のサイズは３２９×３３６（１０９－１３＋２４０）となる。

本実施例によれば、上述のようなバイナリーマスク１０を用いることにより、各走査ライン群（１３行の走査ラインからなる走査ライン群）がバイナリーマスク１０の領域の一部を共有している場合であっても、光景の各ポイントからの光に基づく観測データ（信号）のそれぞれに対して、適切に符号化することができる。その結果、本実施例によれば、各走査ライン群で取得した観測データを再構成することにより複数の撮像画像を得ることができるばかりか、得られた各撮像画像の間の品質を均一に維持することができる。さらに、本実施例によれば、１回の撮像であっても、１８個の撮像画像を再構成することができ、フレームレートをＦ（ｆｐｓ）から１８Ｆ（ｆｐｓ）に増加させることができる。

（実施例２）
次に、図１９を参照して、実施例２を説明する。図１９は、本実施形態の変形例に係るバイナリーマスク１０を説明するための説明図である。

ところで、上述した実施例１では、取得した観測データ（信号）がまばらであるため（例えば、図１８の例では、バイナリーマスク１０の光透過の割合が１．６％）、再構成によって得られる撮像画像が暗くなる場合がある。そこで、本実施例においては、撮像画像を明るくするために、１つの光透過フィルタ１２を通過した光と、当該光透過フィルタ１２の周囲の光とを同時に１点に集光するようなバイナリーマスク１０を用いる。このようなバイナリーマスク１０としては、例えば、図１９の左側に示すような、フレネルパターン状に配列した光透過フィルタ１２及び光不透過フィルタ１４からなる所定のパターンを有するバイナリーマスクをあげることができる。

図１９の左側にバイナリーマスク１０は、イメージセンサ５０の画素ピッチが３．０μｍ、バイナリーマスク１０とイメージセンサ５０との間の距離が１．０ｍｍ、光景からの光の平均波長が約５３０ｎｍであることを条件にして、フレネルパターンの分布を決定することにより形成することができる。そして、このようなバイナリーマスク１０を用いることにより、図１９の右側に示すように、良好な明るさ、コンストラスト及び均一性を持った撮像画像を得ることが可能となる。

すなわち、本開示の実施形態においては、２次元格子状に配列した光透過フィルタ１２及び光不透過フィルタ１４からなる所定のパターンを有するバイナリーマスク１０を用いることに限定されるものではない。例えば、本開示の実施形態においては、図１９に示すようなフレネルパターン状に配列した光透過フィルタ１２及び光不透過フィルタ１４からなる所定のパターンを有するバイナリーマスク１０を用いてもよい。さらに、本開示の実施形態においては、回折格子素子を用いてもよく、均一冗長アレイマスクを用いてもよい。さらに、本開示の実施形態においては、複数のバイナリーマスク１０を用いてもよい。

（実施例３）
次に、図２０を参照して、実施例３を説明する。図２０は、実施例３に係るバイナリーマスク１０の図である。ここでは、２．４μｍの画素ピッチを持つ３０７２×２０４８の画素５２を持つ２次元のイメージセンサ５０を用いる場合を想定する。詳細には、ここでは、光景の解像度（Ｐ_ｘ×Ｐ_ｙ）が７２１×３１であり、走査ライン群のサイズ（Ｎｘ×Ｎｙ）が１０３×２１７であるものとする。

本実施例では、２次元の所定のパターンを持つバイナリーマスク１０を得るため、上記数式（６）、（８）及び（１０）を満たすパラメータａ_ｘ、ａ_ｙ、Ｄとして、ａ_ｘ＝１、ａ_ｙ＝１、Ｄ＝３１の条件を用いて、長さＬ＝２２３５１の１次元の系列（１次元パターン）を折り畳むことにより２次元の所定のパターンを生成する。そして、本実施例では、図２０に示すバイナリーマスク１０のサイズは、８２３×２４７となり、具体的なバイナリーマスク１０の長さとしては、３３．６μｍ（１４個の画素５２の長さと等しい）となる。そして、図２０に示すように、本実施例に係るバイナリーマスク１０は、フレネルパターン状に配列した光透過フィルタ及び光不透過フィルタからなる所定のパターンを有するバイナリーマスクであることができる。このようなバイナリーマスク１０は、ガラス基板上に積層された銅薄膜に対するフォトリソグラフィ及びエッチングによって形成することができる。

本実施例では、このようなバイナリーマスク１０を用いることにより、解像度やＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）を向上させることができる。より具体的には、本実施例のバイナリーマスク１０を評価するため、バイナリーマスク１０とイメージセンサ５０との間の距離を１７．２８ｍｍとし、水平軸の視野角が７０度となる条件で、本実施例に係るバイナリーマスク１０を、５５インチのフルハイビジョンディスプレイの前に設置して、画像の再構成を試みた。ここでは、当該ディスプレイにより、縦横の比が異なる（垂直方向が短く、水平方向に長い）パターン及びテキストを表示した。このような条件において、本実施例に係るバイナリーマスク１０を用いて画像の再構築を行ったところ、好適に画像が再構築されたことが確認された。

（実施例４）
次に、図２１を参照して、高いフレームレートを実現することができる、バイナリーマスク１０の実施例を説明する。ここでは、３３１×１１８３の区画を３３個持つ２次元のイメージセンサ５０を用い、光景に対する解像度を２１７×１６９とする場合を想定する。そして、本実施例では、図２１に示すバイナリーマスク１０を用いて、速い移動物体として回転ファンを被写体とした画像の再構築を試みた。

本実施例においては、ローリングシャッタ方式を用いることにより、一度に３３回分の画像データを得ることができる。言い換えると、１つのイメージセンサ５０による１回の画像データから３３個の画像が再構築することができる。従って、本実施例では、当該イメージセンサ５０によって６０ｆｐｓのフレームレートで撮像行うことにより、最終的なフレームレートは、３３×６０ｆｐｓ＝１９８０ｆｐｓとなることから、高いフレームレートを実現することができる。また、このような条件で、画像の再構築を行ったところ、全ての画像において、均一、且つ、好適な画質を持つことが分かった。すなわち、本実施例によれば、本実施形態に係るバイナリーマスク１０を用いることにより、被写体が高速運動するようなものであっても、被写体の高速運動が影響することなく、効率的に画像を再構築することができることが明らかになった。

＜３．１０ 画像処理装置＞
図２２を参照して、本実施形態に係る画像処理装置２００の詳細構成を説明する。図２２は、本実施形態に係る画像処理装置２００の機能構成の一例を示すブロック図である。図２２に示すように、画像処理装置２００は、取得部２０２と、処理部２０４と、出力部２０６と、記憶部２０８とを主に有することができる。以下に、画像処理装置２００の各機能ブロックについて順次説明する。

（取得部２０２）
取得部２０２は、上記撮像装置１００のイメージセンサ５０から出力された観測データ（信号）を取得し、後述する処理部２０４へ出力する。

（処理部２０４）
処理部２０４は、上述した取得部２０２からの観測データ（信号）と、後述する記憶部２０８に格納されたバイナリーマスク１０の所定のパターンの情報とに基づき、所望する光景の撮像画像を再構成する。さらに、処理部２０４は、再構成によって得られた撮像画像を後述する出力部２０６へ出力する。

（出力部２０６）
出力部２０６は、ユーザに対して撮像画像を出力するための機能部であり、例えば、ディスプレイ等により実現される。

（記憶部２０８）
記憶部２０８は、上述した処理部２０４が画像処理を実行するためのプログラム、情報等や、処理によって得た情報等を格納する。詳細には、記憶部２０８は、バイナリーマスク１０の所定のパターン等の情報を格納する。なお、当該記憶部２０８は、例えば、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）等の不揮発性メモリ（ｎｏｎｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）等により実現される。

＜３．１１ 画像処理方法＞
次に、図２３を参照して、本実施形態に係る画像処理方法について説明する。図２３は、本実施形態に係る画像処理方法のフローチャート図である。図２３に示すように、本実施形態に係る画像処理方法は、ステップＳ１０１からステップＳ１０４までのステップを主に含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。

まずは、上述した撮像装置１００で光景の撮影を行う（ステップＳ１０１）。そして、画像処理装置２００は、撮像装置１００から、バイナリーマスク１０を通過した光をイメージセンサ５０で受光することにより発生した観測データ（信号）を取得する。

次に、画像処理装置２００は、上記バイナリーマスク１０の有する所定のパターンの情報であるマスク情報を取得する（ステップＳ１０２）。詳細には、当該マスク情報は、例えば、バイナリーマスク１０の光透過フィルタ１２と光不透過フィルタ１４とからなる２次元の所定のパターン情報等である。

次に、画像処理装置２００は、上述したステップＳ１０２で取得したマスク情報に基づいて、逆行列（疑似逆行列）を算出する。そして、画像処理装置２００は、撮像装置１００から取得した観測データに対して算出した逆行列を乗算することにより、所望の光景の撮像画像を再構成する（ステップＳ１０３）。

さらに、画像処理装置２００は、上述したステップＳ１０３で再構成した撮像画像をユーザ等に向けて出力し（ステップＳ１０４）、当該処理を終了する。

＜３．１２ まとめ＞
以上説明したように、上述した本開示の実施形態によれば、光景のアスペクト比と異なるアスペクト比を有するイメージセンサ５０を用いて、品質を劣化させることなく、実際の光景の撮像画像を再構成することが容易な、撮像装置１００、光学素子（例えば、バイナリーマスク１０）、画像処理装置（画像処理システム）２００及び画像処理方法を提供することができる。

詳細には、本開示の実施形態においては、鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持つ自己相関関数を持つ所定のパターンを有する光学素子（例えば、バイナリーマスク１０）を用いる。当該光学素子によれば、上述のような所定のパターンを有することから、上記数式（２）のＸについて効率的且つロバストに求めることができ、イメージセンサ５０の各画素（領域）５２において重畳して取得された光景の各ポイントからの光に基づく観測データ（信号）のそれぞれに対して、符号化することができる。その結果、本開示の実施形態によれば、上記観測データから実際の光景の撮像画像を再構成することができる。さらに、上記光学素子の所定のパターンは、略一定（望ましくは、一定）のサイドローブを持つことから、光景のアスペクト比とイメージセンサのアスペクト比とがミスマッチであっても、上記数式（２）のＸについて効率的且つロバストに求めることができる。その結果、本開示の実施形態によれば、再構成された撮像画像の品質が劣化することを避けることができる。

また、本実施形態においては、上記光学素子において周期的に位置ずれしながら繰り返される複数の２次元基本パターンからなる２次元の所定のパターンは、略一定（望ましくは、一定）のサイドローブの自己相関関数を持つ１次元パターンを所定の規則に基づき折りたたむことにより容易に生成することができる。

また、本開示の実施形態によれば、撮像装置１００がシンプルな構成であることから、光学素子を上述したパターンを有するように好適に形成することにより、撮像システムのキャリブレーションを不要にすることができ、ひいては撮像を容易に行うことを可能にする。

さらに、本開示の実施形態においては、上記光学素子として、例えば、２次元格子状に配列した光透過フィルタ１２及び光不透過フィルタ１４からなる所定のパターンを有するバイナリーマスク１０を用いることができる。また、本開示の実施形態においては、上記光学素子として、例えば、フレネルパターン状に配列した光透過フィルタ１２及び光不透過フィルタ１４からなる所定のパターンを有するバイナリーマスク１０を用いることができる。さらに、本開示の実施形態においては、上記光学素子として、例えば、回折格子素子を用いることができる。すなわち、本開示の実施形態においては、上記光学素子の設計の自由度は高い。

また、本開示の実施形態においては、ローリングシャッタ方式に適用した場合で、１回の撮影から、高いフレームレートで連続する複数の撮像画像を取得することができる。また、本開示の実施形態によれば、イメージセンサ５０の各走査ライン又は各走査ライン群（詳細には、各走査ライン群は、所定の数の走査ラインからなる）に対応する観測データを特定することが容易である。さらに、本開示の実施形態によれば、各走査ライン又は各走査ライン群で取得した観測データを再構成することにより得られた各撮像画像の間の品質を均一に維持することができる。

＜＜４． ハードウェア構成について＞＞
上述した本開示の実施形態に係る画像処理装置２００は、例えば図２４に示すような構成のコンピュータ１０００によって実現される。以下、本開示の実施形態に係る画像処理装置２００を例に挙げて説明する。図２４は、画像処理装置２００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４００、通信インタフェース１５００、及び入出力インタフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る演算処理プログラムを記録する記録媒体である。

通信インタフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインタフェースである。例えば、ＣＰＵ１１００は、通信インタフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インタフェース１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインタフェースである。例えば、ＣＰＵ１１００は、入出力インタフェース１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が本開示の実施形態に係る画像処理装置２００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた演算処理プログラムを実行することにより、処理部２０４（図２２ 参照）等の機能を実現する。また、ＨＤＤ１４００には、本開示の実施形態に係る画像処理プログラム等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

また、本実施形態に係る画像処理装置２００は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る画像処理装置２００は、例えば、複数の装置により本実施形態に係る画像処理を行う画像処理システムとして実現することも可能である。

＜＜５． 内視鏡手術システムへの応用例＞＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

図２５は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

図２５では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。

内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ:Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１１２０１に送信される。

ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。

光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。

入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。

処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

図２６は、図２５に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。

カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。

レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。

撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。

また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。

駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。

通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。

また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。

カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。

通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。

また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。

画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。

制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。

また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。

カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。

以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１１４０２等に適用され得る。

なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。

＜＜６． 移動体への応用例＞＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検出した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図２８は、撮像部１２０３１の設置位置の例を示す図である。

図２８では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。

＜＜７． 補足＞＞
なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る画像処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。

また、上述した本開示の実施形態の画像処方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
光景と異なるアスペクト比を有するラインセンサ又はエリアセンサと、
所定のパターンを有し、前記ラインセンサ又は前記エリアセンサに重畳される光学素子と、
を備え、
前記光学素子においては、周期的に位置ずれしながら繰り返される複数の基本パターンからなる前記所定のパターンの自己相関関数は、ピークとサイドローブとを持ち、前記サイドローブは一定又は略一定である、
撮像装置。
（２）
前記光学素子は、一定又は略一定のサイドローブの自己相関関数を持つ１次元パターンを所定の規則に基づき折りたたむことにより生成された２次元パターンからなる前記所定のパターンを有する、上記（１）に記載の撮像装置。
（３）
前記光学素子は、２次元格子状に配列した複数の光透過フィルタ及び複数の光不透過フィルタからなる前記所定のパターンを有するバイナリーマスクである、
上記（１）又は（２）に記載の撮像装置。
（４）
前記光学素子は、フレネルパターン状に配列した複数の光透過フィルタ及び複数の光不透過フィルタからなる前記所定のパターンを有するバイナリーマスクである、
上記（１）又は（２）に記載の撮像装置。
（５）
前記光学素子は回折格子である、上記（１）又は（２）に記載の撮像装置。
（６）
前記ラインセンサ又は前記エリアセンサは、複数の画素からなる行を１つ以上有する、上記（１）～（５）のいずれか１つに記載の撮像装置。
（７）
前記エリアセンサは、前記行ごとに異なるタイミングで観測データを取得するローリングシャッタ方式で動作する、上記（６）に記載の撮像装置。
（８）
前記ラインセンサ又は前記エリアセンサは、前記複数の画素が同時に観測データを取得するグローバルシャッタ方式で動作する、上記（６）に記載の撮像装置。
（９）
複数の前記光学素子を備える、上記（１）～（８）のいずれか１つに記載の撮像装置。
（１０）
前記光学素子は、前記ラインセンサ又は前記エリアセンサの各領域において重畳して取得された前記光景の各ポイントからの光に基づく観測データのそれぞれに対して、符号化する、上記（１）～（９）のいずれか１つに記載の撮像装置。
（１１）
前記撮像装置は、レンズレスカメラである、上記（１）～（１０）のいずれか１つに記載の撮像装置。
（１２）
光景と異なるアスペクト比を有するラインセンサ又はエリアセンサと重畳される、所定のパターンを有する光学素子であって、
前記光学素子においては、周期的に位置ずれしながら繰り返される複数の基本パターンからなる前記所定のパターンの自己相関関数は、ピークとサイドローブとを持ち、前記サイドローブは一定又は略一定である、
光学素子。
（１３）
光景と異なるアスペクト比を有するラインセンサ又はエリアセンサによって観測された、前記ラインセンサ又は前記エリアセンサに重畳され、所定のパターンを有する光学素子を透過した前記光景からの光に基づく観測データを取得する取得部と、
前記観測データを再構成することにより、前記光景の撮像画像を生成する処理部と、
を備え、
前記光学素子においては、周期的に位置ずれしながら繰り返される複数の基本パターンからなる前記所定のパターンの自己相関関数は、ピークとサイドローブとを持ち、前記サイドローブは一定又は略一定である、
画像処理システム。
（１４）
光景と異なるアスペクト比を有するラインセンサ又はエリアセンサによって観測された、前記ラインセンサ又は前記エリアセンサに重畳され、所定のパターンを有する光学素子を透過した前記光景からの光に基づく観測データを取得することと、
前記観測データを再構成することにより、前記光景の撮像画像を生成することと、
を含む画像処理方法であって、
前記光学素子においては、周期的に位置ずれしながら繰り返される複数の基本パターンからなる前記所定のパターンの自己相関関数は、ピークとサイドローブとを持ち、前記サイドローブは一定又は略一定である、
画像処理方法。

１０、１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ バイナリーマスク
１２ 光透過フィルタ
１４ 光不透過フィルタ
５０ イメージセンサ
５２、５２ｄ、５２ｅ、５２ｆ 画素
１００ 撮像装置
２００ 画像処理装置
２０２ 取得部
２０４ 処理部
２０６ 出力部
２０８ 記憶部
ａ、ｂ、ｃ 光源

Claims (14)

1. 光景と異なるアスペクト比を有するラインセンサ又はエリアセンサと、
   所定のパターンを有し、前記ラインセンサ又は前記エリアセンサに重畳される光学素子と、
   を備え、
   前記光学素子においては、周期的に位置ずれしながら繰り返される複数の基本パターンからなる前記所定のパターンの自己相関関数は、ピークとサイドローブとを持ち、前記サイドローブは一定又は略一定である、
   撮像装置。
2. 前記光学素子は、一定又は略一定のサイドローブの自己相関関数を持つ１次元パターンを所定の規則に基づき折りたたむことにより生成された２次元パターンからなる前記所定のパターンを有する、請求項１に記載の撮像装置。
3. 前記光学素子は、２次元格子状に配列した複数の光透過フィルタ及び複数の光不透過フィルタからなる前記所定のパターンを有するバイナリーマスクである、
   請求項１に記載の撮像装置。
4. 前記光学素子は、フレネルパターン状に配列した複数の光透過フィルタ及び複数の光不透過フィルタからなる前記所定のパターンを有するバイナリーマスクである、
   請求項１に記載の撮像装置。
5. 前記光学素子は回折格子である、請求項１に記載の撮像装置。
6. 前記ラインセンサ又は前記エリアセンサは、複数の画素からなる行を１つ以上有する、請求項１に記載の撮像装置。
7. 前記エリアセンサは、前記行ごとに異なるタイミングで観測データを取得するローリングシャッタ方式で動作する、請求項６に記載の撮像装置。
8. 前記ラインセンサ又は前記エリアセンサは、前記複数の画素が同時に観測データを取得するグローバルシャッタ方式で動作する、請求項６に記載の撮像装置。
9. 複数の前記光学素子を備える、請求項１に記載の撮像装置。
10. 前記光学素子は、前記ラインセンサ又は前記エリアセンサの各領域において重畳して取得された前記光景の各ポイントからの光に基づく観測データのそれぞれに対して、符号化する、請求項１に記載の撮像装置。
11. 前記撮像装置は、レンズレスカメラである、請求項１に記載の撮像装置。
12. 光景と異なるアスペクト比を有するラインセンサ又はエリアセンサと重畳される、所定のパターンを有する光学素子であって、
    前記光学素子においては、周期的に位置ずれしながら繰り返される複数の基本パターンからなる前記所定のパターンの自己相関関数は、ピークとサイドローブとを持ち、前記サイドローブは一定又は略一定である、
    光学素子。
13. 光景と異なるアスペクト比を有するラインセンサ又はエリアセンサによって観測された、前記ラインセンサ又は前記エリアセンサに重畳され、所定のパターンを有する光学素子を透過した前記光景からの光に基づく観測データを取得する取得部と、
    前記観測データを再構成することにより、前記光景の撮像画像を生成する処理部と、
    を備え、
    前記光学素子においては、周期的に位置ずれしながら繰り返される複数の基本パターンからなる前記所定のパターンの自己相関関数は、ピークとサイドローブとを持ち、前記サイドローブは一定又は略一定である、
    画像処理システム。
14. 光景と異なるアスペクト比を有するラインセンサ又はエリアセンサによって観測された、前記ラインセンサ又は前記エリアセンサに重畳され、所定のパターンを有する光学素子を透過した前記光景からの光に基づく観測データを取得することと、
    前記観測データを再構成することにより、前記光景の撮像画像を生成することと、
    を含む画像処理方法であって、
    前記光学素子においては、周期的に位置ずれしながら繰り返される複数の基本パターンからなる前記所定のパターンの自己相関関数は、ピークとサイドローブとを持ち、前記サイドローブは一定又は略一定である、
    画像処理方法。

Images