JP7515621B2 - イメージング装置、イメージング方法、及びイメージング装置の製造方法 - Google Patents

Description

本発明は、光演算を用いて画像を表す電気信号を生成するイメージング装置、イメージング方法、及びイメージング装置の製造方法に関する。

複数のレンズにより構成された光学系（例えば特許文献１参照）と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などに代表されるイメージセンサとを含むイメージング装置が広く普及している。デジタルスチルカメラ及びデジタルビデオカメラは、このようなイメージング装置の一例である。

市販されているこれらのイメージング装置の多くは、イメージセンサと、記憶部とを一体化したカムコーダーと呼ばれるタイプである。ただし、医療現場で利用される内視鏡のように、イメージング装置には、イメージセンサと記憶部とを別個に分離したタイプもある。

このようなイメージング装置の光学系は、被写体の像をイメージセンサの受光面に結像させるように構成されている。光学系がこのように構成されていることにより、イメージセンサは、被写体にピントがあった画像を表す電気信号を生成することができる。

特開２０２０－０８６３５７号公報

しかしながら、光学系を用いて被写体の像を受光面に結像させるイメージング装置においては、異なる画像を表す電気信号を生成する場合、改めて被写体を撮像することになる。したがって、異なる画像を表す電気信号を高速で、あるいは、高い頻度で、生成することが難しい。なお、異なる画像の例としては、画角が異なる画像や、解像度が異なる画像や、焦点深度が異なる画像（ピントが合っている位置が異なる画像）などが挙げられる。

本発明の一態様は、上述した課題に鑑なされたものであり、その目的は、同じ画像情報を含む電気信号から異なる画像情報を含む電気信号を生成することが可能なイメージング装置、イメージング方法、及びイメージング装置の製造方法を実現することである。

上記の課題を解決するために、本発明の一態様に係るイメージング装置は、第１の光信号に対して光演算を行うことによって、第１の光信号から抽出された特徴量を含む第２の光信号を生成する光演算部と、前記第２の光信号を第１の電気信号に変換するイメージセンサと、前記第１の電気信号に対して電気演算を行うことによって、第２の電気信号を生成する電気演算部と、を備えている。本イメージング装置においては、前記電気演算部は、前記第１の電気信号から前記第２の電気信号を生成する複数のモデルを有しており、前記複数のモデルの各々を用いて同じ画像情報を含む前記第１の電気信号に対して前記電気演算を行うことによって生成される前記第２の電気信号は、異なる画像情報を含む、構成が採用されている。

上記の課題を解決するために、本発明の一態様に係るイメージング方法は、第１の光信号に対して光演算を行うことによって、第１の光信号から抽出された特徴量を含む第２の光信号を生成する光演算工程と、前記第２の光信号を第１の電気信号に変換する変換工程と、前記第１の電気信号に対して電気演算を行うことによって、第２の電気信号を生成する電気演算工程と、を含む。本イメージング方法においては、前記電気演算工程は、前記第１の電気信号から前記第２の電気信号を生成する複数のモデルの各々を用いて実行することが可能であり、前記複数のモデルの各々を用いて前記第１の電気信号に対して前記電気演算を行うことによって生成される前記第２の電気信号は、異なる画像情報を含む、構成が採用されている。

上記の課題を解決するために、本発明の一態様に係るイメージング装置の製造方法は、上述した本発明の一態様に係るイメージング装置の製造方法であって、前記複数のモデルの各々を用いて前記第１の電気信号に対して電気演算を行った場合、異なる画像情報を含む前記第２の電気信号が生成されるように前記光演算部、及び、前記複数のモデルを機械学習によって設計する工程を含んでいる。

本発明の一態様によれば、同じ画像情報を含む電気信号から異なる画像情報を含む電気信号を生成することが可能なイメージング装置、イメージング方法、及びイメージング装置の製造方法を実現することができる。

本発明の一実施形態に係るイメージング装置の構成を示す模式図である。 （ａ）は、被写体の一例である樹木の正面図である。（ｂ）は、図１に示すイメージング装置の光演算部が生成する第２の光信号の一例である。 （ａ）～（ｃ）の各々は、図１に示すイメージング装置の電気演算部が生成する第２の電気信号の各々が表す画像の一例である。 図１に示すイメージング装置の光演算部に含まれる光変調素子の具体例を示す平面図である。 図４に示す光変調素子の一部を拡大した斜視図である。 図１に示すイメージング装置の一変形例が備えている光演算部の構成を示す模式図である。 図６に示す光演算部に含まれる光変調素子の具体例に含まれる光変調素子のマイクロセルの断面図である。

（イメージング装置の構成）
本発明の一実施形態に係るイメージング装置１について、図１～図３を参照して説明する。図１は、イメージング装置１の構成を示す模式図である。図２の（ａ）は、被写体の一例である樹木の正面図である。図２の（ｂ）は、（ｂ）は、イメージング装置１の光演算部１１が生成する光信号Ｌ２の一例である。図３の（ａ）～（ｃ）の各々は、イメージング装置１の電気演算部１３が生成する電気信号Ｅ２の各々が表す画像の一例である。

イメージング装置１は、図１に示すように、光演算部１１と、イメージセンサ１２と、電気演算部１３と、ディスプレイ１４と、を備えている。

なお、図１には図示を省略しているが、イメージング装置１は、光演算部１１の前段に設けられている光学系を更に備えていてもよい。この光学系は、複数のレンズを備えている。この光学系は、光演算部１１に向かって伝搬してくる光を光信号Ｌ１として光演算部１１に入射させる。光演算部１１に向かって伝搬してくる光の例としては、被写体の像、及び、ディスプレイ又はモニターと呼ばれる表示装置により表示された像が挙げられる。被写体の像は、被写体により反射及び／又は散乱された光である物体光により構成されている。なお、この光学系は、後述するイメージセンサ１２の受光面上に被写体の像が結像しないように構成されていることが好ましい。換言すれば、イメージセンサ１２は、イメージセンサ１２の受光面上に被写体の像が結像しないように配置されていることが好ましい。
本実施形態において、光演算部１１は、順番に積層された複数の光変調素子を備えている。本実施形態においては、複数の光変調素子として、４つの光変調素子１１１～１１４を用いている。各光変調素子１１ｉは、透過型光変調素子の一例である。ここで、ｉは、１以上ｎ以下の任意の自然数であり、本実施形態では、ｉ＝４である。各光変調素子１１ｉの具体例については、図４及び図５を参照して後述する。図１に示すように、光信号Ｌ１が進行する特定の光路は、各光変調素子１１ｉを通る直線状光路である。
上述したように、光演算部１１の前段には光学系が設けられていてもよいし、設けられていなくてもよいが、何れの場合であっても、光演算部１１の受光面には、被写体の像を表す光信号Ｌ１（図２の（ａ）参照）が入射する。光信号Ｌ１は、第１の光信号の一例である。

光演算部１１は、光信号Ｌ１に対して光演算を行うことによって、光信号Ｌ１から抽出された特徴量が含まれた光信号Ｌ２を生成する。光信号Ｌ２が表す画像は、図２の（ｂ）に示すように、２次元的な強度分布である２次元強度分布（すなわち、２次元光パターン）を有する。なお、図２の（ｂ）に示す画像は、光信号Ｌ２の一例である。

イメージセンサ１２は、その受光面に入射する光信号Ｌ２を電気信号Ｅ１に変換する。電気信号Ｅ１は、第１の電気信号の一例である。イメージセンサ１２は、マトリクス状に配置された複数の画素を備えている。イメージセンサ１２は、各画素に入射した光の強度を検出し、その光の強度に対応する電気信号を生成する。イメージセンサ１２は、ＣＣＤ（Charge Coupled Device）であってもよいし、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）であってもよい。イメージセンサ１２の態様は、特に限定されず、適宜選択することができる。

本実施形態では、イメージセンサ１２として、白黒のイメージセンサを採用している。ただし、イメージセンサ１２として、カラーのイメージセンサを採用することもできる。

電気演算部１３は、電気信号Ｅ１に対して電気演算を行うことによって、電気信号Ｅ２を生成する。電気演算部１３は、電気信号Ｅ１から電気信号Ｅ２を生成する複数のモデルを有している。本実施形態では、複数のモデルとして、３つのモデルである第１のモデル～第３のモデルを有しているものとして説明する。ただし、電気演算部１３が有しているモデルは、３つに限定されず、適宜定めることができる。電気演算部１３が有しているモデルの数は、１０個であってもよいし、１００個であってもよい。

電気演算部１３は、第１のモデル～第３のモデルの各々を用いて、同じ画像情報を有する電気信号Ｅ１に対して電気演算を行うことによって、図３の（ａ）～（ｃ）に示すように、互いに異なる画像情報を有する電気信号Ｅ２であって、互いに異なる電気信号Ｅ２を生成する。ただし、本発明の一態様において、電気信号Ｅ１は、同じ画像情報を含む電気信号であってもよいし、電気信号Ｅ２は、互いに異なる画像情報を含む電気信号であってもよい。すなわち、「画像情報を有する電気信号」との表現は、「画像情報を含む電気信号」あるいは「画像を表す電気信号」と言い替えられる。
なお、イメージング装置１において実施されるイメージング方法であって、光信号Ｌ１に対して光演算を行うことによって、光信号Ｌ２を生成する光演算工程と、光信号Ｌ２を電気信号Ｅ１に変換する変換工程と、電気信号Ｅ１に対して電気演算を行うことによって、電気信号Ｅ２を生成する電気演算工程と、を含むイメージング方法も、本願発明の範疇に含まれる。本イメージング方法においては、前記電気演算工程は、電気信号Ｅ１から電気信号Ｅ２を生成する複数のモデル（本実施形態では、第１のモデル～第３のモデル）の各々を用いて実行することが可能であり、前記複数のモデルの各々を用いて電気信号Ｅ１に対して前記電気演算を行うことによって生成される電気信号Ｅ２は、異なる画像情報を有する。
図３の（ａ）に示す画像は、ズームレンズにおける画角が狭い場合に対応する画像の一例であり、図３の（ｃ）に示す画像は、ズームレンズにおける画角が広い場合に対応する画像の一例であり、図３の（ｂ）に示す画像は、ズームレンズにおける画角が図３の（ａ）と図３の（ｃ）との中間値である場合に対応する画像の一例である。電気演算部１３では、ズームレンズにおける画角に対応するパラメータをこのように変化させることにより、図３の（ａ）～（ｃ）に示すように、同じ画像を表す電気信号Ｅ１から画角が異なる複数の画像を表す電気信号Ｅ２を生成する。

なお、電気信号Ｅ２が表す複数の画像の各々においては、図３の（ａ）～（ｃ）のように画角が異なっていてもよいし、解像度が異なっていてもよいし、焦点深度がことなっていてもよい。また、電気信号Ｅ２が表す複数の画像の各々においては、画角、解像度、及び焦点深度の組み合わせが異なっていてもよい。

イメージング装置１において、光演算部１１、及び、第１のモデル～第３のモデルは、第１のモデル～第３のモデルの各々を用いて電気信号Ｅ１に対して電気演算を行った場合に、異なる画像を表す電気信号Ｅ２が生成されるように、機械学習によって設計されている。
なお、イメージング装置１の製造方法であって、第１のモデル～第３のモデルの各々を用いて電気信号Ｅ１に対して電気演算を行った場合、異なる画像情報を有する電気信号Ｅ２が生成されるように光演算部１１、及び、第１のモデル～第３のモデルを機械学習によって設計する工程を含んでいる、イメージング装置１の製造方法も本発明の範疇に含まれる。
イメージング装置１は、図１に図示を省略しているユーザインターフェースを用いて、ユーザからの入力を受け付けることができるように構成されている。このユーザインターフェースは、キーボードであってもよいし、マウスであってもよいし、後述するディスプレイ１４の表示パネルに設けられたタッチパネルであってもよい。

ユーザは、ユーザインターフェースを用いて、第１のモデル～第３のモデルの何れを選択するかを表すユーザ選択情報をイメージング装置１に入力することができる。

電気演算部１３は、ユーザ選択情報の内容にしたがって、第１のモデル～第３のモデルのうち、ユーザにより選択されたモデルを用いて、電気信号Ｅ１から電気信号Ｅ２を生成することもできる。図１では、ユーザが第１のモデル～第３のモデルのうち第１のモデルを選択し、そのユーザ選択情報を受けて電気演算部１３が第１のモデルを用いて電気信号Ｅ１から電気信号Ｅ２を生成し、図３の（ａ）に示す画像（電気信号Ｅ２が表す画像）がディスプレイ１４に表示されている場合を模式的に示している。

このように、イメージング装置１は、同じ画像を表す電気信号Ｅ１に対して電気演算を行うことによって、新たな撮像を行うことなく、画角、解像度、及び焦点深度のうち少なくとも何れか１つが異なる画像を表す電気信号Ｅ２を生成することができる。したがって、特定の被写体の像を予め定められたアングルから撮像し、その被写体において予め定められた複数の箇所をそれぞれズームアップした画像を確認する場合に、イメージング装置１は好適に用いることができる。このような使い方をするイメージング装置の例としては、医療現場で利用される内視鏡が挙げられる。
ディスプレイ１４は、電気演算部１３が生成する電気信号Ｅ２を取得したうえで、電気信号Ｅ２が表す画像を表示する。ディスプレイ１４は、液晶ディスプレイであってもよいし、有機ＬＥＤディスプレイであってもよいし、プラズマディスプレイであってもよい。また、ディスプレイ１４の表示パネルには、上述したユーザインターフェースの一例であるタッチパネルが設けられていてもよい。

（透過型の光変調素子の具体例）
光演算部１１を構成する光変調素子１１ｉの具体例について、図４及び図５を参照して説明する。図４は、本具体例に係る光変調素子１１ｉの平面図である。図５は、本具体例に係る光変調素子１１ｉの一部（図４において点線で囲んだ部分）を拡大した斜視図である。光変調素子１１ｉは、透過型光変調素子の一例である。

光変調素子１１ｉは、図２に示すように、位相変調量が互いに独立に設定された複数のマイクロセルＣにより構成されている。光変調素子１１ｉに光信号Ｌ１が入射すると、各マイクロセルＣにて位相変調された光信号Ｌ１が相互に干渉することによって、予め定められた光演算（予め定められた変換規則に従う２次元強度分布の変換）が行われる。各マイクロセルＣの位相変調量は、可変であってもよいし、固定であってもよいが、本具体例においては固定である。

なお、本明細書において、「マイクロセル」とは、例えば、セルサイズが１０μｍ未満のセルのことを指す。また、「セルサイズ」とは、セルの面積の平方根のことを指す。例えば、マイクロセルＣの平面視形状が正方形である場合、マイクロセルＣのセルサイズとは、マイクロセルＣの一辺の長さである。マイクロセルＣのセルサイズの下限は、例えば、１ｎｍである。

図４に例示した光変調素子１１ｉは、マトリックス状に配置された２００×２００個のマイクロセルＣにより構成されている。各マイクロセルＣの平面視形状は、５００ｎｍ×５００ｎｍの正方形であり、光変調素子１１ｉの平面視形状は、１００μｍ×１００μｍの正方形である。

（１）マイクロセルＣの厚みをセル毎に独立に設定することによって、又は、（２）マイクロセルＣの屈折率をセル毎に独立に選択することによって、各マイクロセルＣを透過する信号光の位相変調量をセル毎に独立に設定することができる。本実施形態においては、ナノインプリントにより実現可能な（１）の方法を採用している。この場合、各マイクロセルＣは、図５に示すように、各辺の長さがセルサイズと等しい正方形の底面を有する四角柱状のピラーにより構成される。また、この場合、各マイクロセルＣを透過する信号光の位相変調量は、そのマイクロセルＣを構成するピラーの高さに応じて決まる。すなわち、高さの高いピラーにより構成されるマイクロセルＣを透過する信号光の位相変調量は大きくなり、高さの低いピラーにより構成されるマイクロセルＣを透過する信号光の位相変調量は小さくなる。

各マイクロセルＣの位相変調量の設定は、機械学習を用いて実現することができる。この機械学習において用いられるモデルとしては、例えば、光変調素子１１ｉに入力される光信号Ｌ１の２次元強度分布を入力とし、光変調素子１１ｉから出力される光信号Ｌ２の２次元強度分布を出力とするモデルであって、各マイクロセルＣの位相変調量をパラメータとして含むモデルを用いることができる。ここで、光変調素子１１ｉに入力される光信号Ｌ１の２次元強度分布とは、光変調素子１１ｉを構成する各マイクロセルＣに入力される信号光の強度の集合のことを指す。また、光変調素子１１ｉから出力される光信号Ｌ２の２次元強度分布とは、光変調素子１１ｉの後段に配置された光変調素子１１ｉ＋１を構成する各マイクロセルＣに入力される信号光の強度の集合、又は、光変調素子１１ｉの後段に配置されたイメージセンサ１２を構成する各画素に入力される信号光の強度の集合のことを指す。

（イメージング装置の変形例）
イメージング装置１の一変形例であるイメージング装置について、図６を参照して説明する。図６は、本変形例のイメージング装置が備えている光演算部１１Ａの構成を示す模式図である。

本変形例のイメージング装置は、図１に示すイメージング装置１が備えている光演算部１１を光演算部１１Ａに置換することによって得られる。したがって、本変形例では、光演算部１１Ａについて説明し、イメージセンサ１２、電気演算部１３、及びディスプレイ１４の説明を省略する。

上述した光変調素子の具体例では、透過型の光変調素子について説明した。ただし、本発明の一態様において、光演算部１１に含まれる各光変調素子は、反射型の光変調素子であってもよい。

光演算部１１Ａは、複数の光変調素子１１Ａｉ（本具体例においては、４つの光変調素子１１Ａ１～１１Ａ４）を備えている。ここで、ｉは、１以上ｎ以下の任意の自然数であり、本実施形態では、ｉ＝４である。

光変調素子１１Ａｉは、光変調素子１１ｉと同様に、光演算機能、すなわち、光信号Ｌ１の２次元強度分布を予め定められた変換規則に従って変換する機能を有する素子である。このため、各光変調素子１１Ａｉにて反射された光信号Ｌ１の２次元強度分布は、光信号Ｌ２の２次元強度分布に変換される。各光変調素子１１Ａｉの具体例については、後述する。

光演算部１１Ａにおいて、１段目の光変調素子１１Ａ１は、その反射面が光信号Ｌ１に対して入射角が４５度になるように配置されている。２段目の光変調素子１１Ａ２は、その反射面の一部が、光変調素子１１Ａ１の反射面の一部と対向し、且つ、反射面同士が平行になるように配置されている。光変調素子１１Ａ１によって光演算が行われた光信号は、光変調素子１１Ａ１の反射面から４５度の出射角で出射される。同様に、３段目の光変調素子１１Ａ３は、その反射面の一部が、光変調素子１１Ａ２の反射面の一部と対向し、且つ、反射面同士が平行になるように配置されており、４段目の光変調素子１１Ａ４は、その反射面の一部が、光変調素子１１Ａ３の反射面の一部と対向し、且つ、反射面同士が平行になるように配置されている。図６に示すように、光信号Ｌ１が進行する特定の光路は、各光変調素子１１Ａｉを通る折線状光路である。
（反射型の光変調素子の具体例）

光変調素子１１Ａｉの具体例について、図７を参照して説明する。図７は、本具体例に係る光変調素子１１Ａｉを構成するマイクロセルＣの断面図である。光変調素子１１Ａｉは、反射型光変調素子の一例である。

光変調素子１１Ａｉは、図４に示した光変調素子１１ｉと同様に、複数のマイクロセルＣを備えている。本具体例において、各マイクロセルＣは、位相変調量が互いに独立に設定されている。光変調素子１１Ａｉに光信号Ｌ１が入射すると、各マイクロセルＣにて位相変調された信号光が相互に干渉することによって、予め定められた光演算（予め定められた変換規則に従う２次元強度分布の変換）が行われる。各マイクロセルＣの位相変調量は、可変であってもよいし、固定であってもよいが、本具体例においては、可変である。

図４に示した光変調素子１１ｉと同様に、光変調素子１１Ａｉは、マトリクス状に配置された２００×２００個のマイクロセルにより構成されている。各マイクロセルの平面視形状は、５００ｎｍ×５００ｎｍの正方形であり、光変調素子１１Ａｉの平面視形状は、１００μｍ×１００μｍの正方形である。

光変調素子１１Ａｉを構成する各マイクロセルＣは、例えば図７に示すように、偏光板Ｃ１１と、反射板Ｃ１２と、第１電極Ｃ１３と、磁化自由層Ｃ１４と、絶縁層Ｃ１５と、磁化固定層Ｃ１６と、第２電極Ｃ１７と、により構成することができる。

偏光板Ｃ１１及び反射板Ｃ１２は、互いに対向するように配置されている。第１電極Ｃ１３、磁化自由層Ｃ１４、絶縁層Ｃ１５、磁化固定層Ｃ１６、及び第２電極Ｃ１７は、この順に積層され、偏光板１１と反射板１２との間に挟みこまれている。ここで、第１電極Ｃ１３、磁化自由層Ｃ１４、絶縁層Ｃ１５、磁化固定層Ｃ１６、及び第２電極Ｃ１７の積層方向は、偏光板Ｃ１１及び反射板Ｃ１２の積層方向と直交する。このため、磁化自由層Ｃ１４の第１の側面が偏光板Ｃ１１の一方の主面と面接触し、第１の側面に対向する磁化自由層Ｃ１４の第２の側面が反射板Ｃ１２の一方の主面と面接触する。信号光Ｌは、（１）偏光板Ｃ１１を介して磁化自由層Ｃ１４の内部に入射し、（２）反射板Ｃ１２により反射され、（３）偏光板Ｃ１１を介して磁化自由層Ｃ１４の外部に出射する。

磁化自由層Ｃ１４は、例えば、導電性及び透光性を有する軟磁性材料（例えば、ＣｏＦｅＢ）により構成される。また、磁化固定層Ｃ１６は、例えば、導電性を有する硬磁性材料（例えば、パーマロイ）により構成される。また、偏光板Ｃ１１としては、偏光方向Ｐが磁化固定層Ｃ１６の磁化方向Ｍと平行な偏光成分を選択的に透過する偏光板が選択される。図６においては、磁化方向Ｍ及び偏光方向Ｐが、偏光板Ｃ１１の主面及び磁化固定層Ｃ１６の主面の両方と平行になる場合を例示している。

第１電極Ｃ１３と第２電極Ｃ１７との間に電位差を与えると、トンネル効果によりスピン流（スピン偏極した電子の流れ）が絶縁層Ｃ１５を介して磁化固定層Ｃ１６から磁化自由層Ｃ１４に注入され、磁化自由層Ｃ１４に磁化が生じる。ここで、磁化自由層Ｃ１４に生じる磁化は、磁化固定層Ｃ１６の磁化方向Ｍと平行な磁化、すなわち、偏光板１１を介して磁化自由層Ｃ１４に入射する信号光の偏光方向Ｐと平行な磁化である。このため、信号光の位相は、磁化自由層Ｃ１４を伝搬する過程で横カー効果により遅延する。

ここで、セルＣにおける信号光の位相変化量は、磁化自由層Ｃ１４に生じる磁化の大きさに応じて決まる。また、磁化自由層Ｃ１４に生じる磁化の大きさは、磁化自由層Ｃ１４に注入されるスピン流の大きさに応じて決まる。また、磁化自由層Ｃ１４に注入されるスピン流の大きさは、第１電極Ｃ１３と第２電極Ｃ１７との間に与える電位差に応じて決まる。したがって、第１電極Ｃ１３と第２電極Ｃ１７との間に与える電位差を制御することによって、セルＣの位相変調を制御することができる。

なお、各マイクロセルＣの位相変調量の設定は、例えば、機械学習を用いて実現することができる。この機械学習において用いられるモデルとしては、例えば、光変調素子１１Ａｉに入力される信号光の２次元強度分布を入力とし、光変調素子１１Ａｉから出力される信号光の２次元強度分布を出力とするモデルであって、各マイクロセルＣの位相変調量をパラメータとして含むモデルを用いることができる。ここで、光変調素子１１Ａｉに入力される信号光の２次元強度分布とは、光変調素子１１Ａｉを構成する各マイクロセルＣに入力される信号光の強度の集合のことを指す。また、光変調素子１１Ａｉから出力される信号光の２次元強度分布とは、光変調素子１１Ａｉの後段に配置された光変調素子１１Ａｉ＋１を構成する各マイクロセルＣに入力される信号光の強度の集合、又は、光変調素子１１Ａｉの後段に配置された２次元イメージセンサを構成する各セルに入力される信号光の強度の集合のことを指す。

〔まとめ〕
本発明の各態様は、以下のようにまとめることもできる。

本発明の第１の態様に係るイメージング装置は、第１の光信号に対して光演算を行うことによって、第１の光信号から抽出された特徴量を含む第２の光信号を生成する光演算部と、前記第２の光信号を第１の電気信号に変換するイメージセンサと、前記第１の電気信号に対して電気演算を行うことによって、第２の電気信号を生成する電気演算部と、を備えている。本イメージング装置においては、前記電気演算部は、前記第１の電気信号から前記第２の電気信号を生成する複数のモデルを有しており、前記複数のモデルの各々を用いて同じ画像情報を含む前記第１の電気信号に対して前記電気演算を行うことによって生成される前記第２の電気信号は、異なる画像情報を含む、構成が採用されている。

上記の構成によれば、本イメージング装置は、同じ画像情報を含む前記第１の電気信号に対して電気演算を行うことによって、各々が異なる画像情報を含む第２の電気信号を生成することができる。

また、本発明の第２の態様に係るイメージング装置においては、上述した第１の態様に係るイメージング装置の構成に加えて、前記光演算部、及び、前記複数のモデルは、前記複数のモデルの各々を用いて前記第１の電気信号に対して電気演算を行った場合、異なる画像を表す前記第２の電気信号が生成されるように、機械学習によって設計されている、構成が採用されている。

上記の構成によれば、機械学習を用いることによって、光演算部、及び、複数のモデルを実現することができる。

また、本発明の一態様に係るイメージング装置においては、上述した第１の態様又は第２の態様に係るイメージング装置の構成に加えて、前記電気演算部は、前記複数のモデルのうち、ユーザにより選択されたモデルを用いて、前記第１の電気信号から前記第２の電気信号を生成する、構成が採用されている。

上記の構成によれば、ユーザの意図を反映した画像情報を含む第２の電気信号を生成することができる。

また、本発明の第３の態様に係るイメージング装置においては、上述した第１の態様又は第２の態様に係るイメージング装置の構成に加えて、前記複数のモデルの各々を用いて前記第１の電気信号に対して前記電気演算を行うことによって生成される前記第２の電気信号は、画角の異なる画像を表す、構成が採用されている。

従来のイメージング装置の場合、画角の異なる画像情報を含む電気信号を生成するためには、画角を変更するために光学系に含まれるレンズの配置を機械的に変え、改めて被写体を撮像することになる。上記の構成によれば、レンズの配置を機械的に変え、改めて被写体を撮像することなく、画角の異なる画像情報を含む第２の電気信号を生成することができるので、これらの第２の電気信号の生成を高速化することができる。

また、本発明の第４の態様に係るイメージング装置においては、上述した第１の態様又は第２の態様に係るイメージング装置の構成に加えて、前記複数のモデルの各々を用いて前記第１の電気信号に対して前記電気演算を行うことによって生成される前記第２の電気信号は、解像度の異なる画像情報を含む、構成が採用されている。

従来のイメージング装置の場合、解像度の異なる画像情報を含む電気信号を生成するためには、撮像時に予め定めておく撮像条件の１つである解像度を変更したうえで、改めて被写体を撮像することになる。上記の構成によれば、撮像条件を変えて改めて被写体を撮像することなく、解像度の異なる画像情報を含む第２の電気信号を生成することができるので、これらの第２の電気信号の生成を高速化することができる。

また、本発明の第５の態様に係るイメージング装置においては、上述した第１の態様又は第２の態様に係るイメージング装置の構成に加えて、前記複数のモデルの各々を用いて前記第１の電気信号に対して前記電気演算を行うことによって生成される前記第２の電気信号は、焦点深度の異なる画像情報を含む、構成が採用されている。

従来のイメージング装置の場合、焦点深度の異なる画像情報を含む電気信号を生成するためには、焦点深度を変更するために光学系に含まれるレンズの配置を機械的に変え、改めて被写体を撮像することになる。上記の構成によれば、レンズの配置を機械的に変え、改めて被写体を撮像することなく、焦点深度の異なる画像情報を含む第２の電気信号を生成することができるので、これらの第２の電気信号の生成を高速化することができる。

また、本発明の第６の態様に係るイメージング装置においては、上述した第１の態様～第５の態様の何れか一態様に係るイメージング装置の構成に加えて、前記イメージセンサは、前記イメージセンサの受光面上に被写体の像が結像しないように配置されている、構成が採用されている。

イメージセンサの受光面上に被写体の像が結像するようにイメージセンサが配置されている場合、イメージセンサの画角に含まれる方位のうち何れか１つの方位と、イメージセンサに含まれるマトリクス状に配置された複数の画素のうち何れか１つの画素とが１対１で対応する。

一方、上記の構成によれば、被写体の像がイメージセンサの受光面上に結像していないため、イメージセンサの画角に含まれる方位のうち何れか１つの方位と、イメージセンサに含まれるマトリクス状に配置された複数の画素との対応関係は、１対複数となる。

第１の電気信号に対して電気演算を行うことによって、第２の電気信号を生成する場合には、後者の状態で生成された第１の電気信号を用いる方が様々な情報が含まれているので好ましい。

また、本発明の第７の態様に係るイメージング装置においては、上述した第１の態様～第７の態様の何れか一態様に係るイメージング装置の構成に加えて、前記光演算部は、少なくとも１つの透過型光変調素子であって、厚み又は屈折率が互いに独立に設定された複数のマイクロセルにより構成されている透過型光変調素子からなり、前記第１の光信号が進行する特定の光路は、前記光演算部に属する各光変調素子を通る、構成が採用されている。

上記の構成によれば、透過型光変調素子を用いてイメージング装置の光演算部を実現することができる。なお、透過型光変調素子としては、厚み又は屈折率が互いに独立に設定された複数のマイクロセルが好適である。

また、本発明の第８の態様に係るイメージング装置においては、上述した第１の態様～第７の態様の何れか一態様に係るイメージング装置の構成に加えて、前記光演算部は、少なくとも１つの反射型光変調素子からなり、前記第１の光信号が進行する特定の光路は、前記光演算部に属する各光変調素子を通る折線状光路である、構成が採用されている。

上記の構成によれば、反射型光変調素子を用いてイメージング装置の光演算部を実現することができる。

本発明の第９の態様に係るイメージング方法は、第１の光信号に対して光演算を行うことによって、第１の光信号から抽出された特徴量を含む第２の光信号を生成する光演算工程と、前記第２の光信号を第１の電気信号に変換する変換工程と、前記第１の電気信号に対して電気演算を行うことによって、第２の電気信号を生成する電気演算工程と、を含む。本イメージング方法においては、前記電気演算工程は、前記第１の電気信号から前記第２の電気信号を生成する複数のモデルの各々を用いて実行することが可能であり、前記複数のモデルの各々を用いて前記第１の電気信号に対して前記電気演算を行うことによって生成される前記第２の電気信号は、異なる画像情報を含む、構成が採用されている。

上記の構成によれば、本イメージング方法は、同じ画像情報を含む前記第１の電気信号に対して電気演算を行うことによって、各々が異なる画像情報を含む第２の電気信号を生成することができる。

本発明の第１０の態様に係るイメージング装置の製造方法は、上述した第１の態様～第８の態様の何れか一態様に係るイメージング装置の製造方法であって、前記複数のモデルの各々を用いて前記第１の電気信号に対して電気演算を行った場合、異なる画像情報を含む前記第２の電気信号が生成されるように前記光演算部、及び、前記複数のモデルを機械学習によって設計する工程を含んでいる。

上記の構成によれば、本製造方法は、本発明の一態様に係るイメージング装置と同様の効果を奏する。また、本製造方法によれば、機械学習を用いることによって、光演算部、及び、複数のモデルを実現することができる。

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ イメージング装置
１１，１１Ａ 光演算部
１１１，１１２，１１３，１１４ 光変調素子
１１Ａ１，１１Ａ２，１１Ａ３，１１Ａ４ 光変調素子
Ｃ マイクロセル
１２ イメージセンサ
１３ 電気演算部
Ｌ１ 光信号（第１の光信号）
Ｌ２ 光信号（第２の光信号）
Ｅ１ 電気信号（第１の電気信号）
Ｅ２ 電気信号（第２の電気信号）

Claims (10)

1. 第１の光信号に対して光演算を行うことによって、第１の光信号から抽出された特徴量を含む第２の光信号を生成する光演算部と、
   前記第２の光信号を第１の電気信号に変換するイメージセンサと、
   前記第１の電気信号に対して電気演算を行うことによって、第２の電気信号を生成する電気演算部と、を備え、
   前記光演算部は位相変調量が互いに独立に設定された複数のマイクロセルにより構成された光変調素子を備え、
   前記電気演算部は、前記第１の電気信号から前記第２の電気信号を生成する複数のモデルを有しており、前記複数のモデルの各々を用いて同じ画像情報を含む前記第１の電気信号に対して前記電気演算を行うことによって生成される前記第２の電気信号は、異なる画像情報を含む、
   ことを特徴とするイメージング装置。
2. 前記光演算部、及び、前記複数のモデルは、前記複数のモデルの各々を用いて前記第１の電気信号に対して電気演算を行った場合、異なる画像を表す前記第２の電気信号が生成されるように、機械学習によって設計されている、
   ことを特徴とする請求項１に記載のイメージング装置。
3. 前記複数のモデルの各々を用いて前記第１の電気信号に対して前記電気演算を行うことによって生成される前記第２の電気信号は、画角の異なる画像情報を含む、
   ことを特徴とする請求項１又は２に記載のイメージング装置。
4. 前記複数のモデルの各々を用いて前記第１の電気信号に対して前記電気演算を行うことによって生成される前記第２の電気信号は、解像度の異なる画像情報を含む、
   ことを特徴とする請求項１又は２に記載のイメージング装置。
5. 前記複数のモデルの各々を用いて前記第１の電気信号に対して前記電気演算を行うことによって生成される前記第２の電気信号は、焦点深度の異なる画像情報を含む、
   ことを特徴とする請求項１又は２に記載のイメージング装置。
6. 前記イメージセンサは、前記イメージセンサの受光面上に被写体の像が結像しないように配置されている、
   ことを特徴とする請求項１～５の何れか一項に記載のイメージング装置。
7. 前記光演算部は、少なくとも１つの透過型光変調素子からなり、
   前記第１の光信号が進行する特定の光路は、前記光演算部に属する各光変調素子を通る、
   ことを特徴とする請求項１～６の何れか一項に記載のイメージング装置。
8. 前記光演算部は、少なくとも１つの反射型光変調素子からなり、
   前記第１の光信号が進行する特定の光路は、前記光演算部に属する各光変調素子を通る折線状光路である、
   ことを特徴とする請求項１～６の何れか一項に記載のイメージング装置。
9. 第１の光信号に対して光演算を行うことによって、第１の光信号から抽出された特徴量を含む第２の光信号を生成する光演算工程と、
   前記第２の光信号を第１の電気信号に変換する変換工程と、
   前記第１の電気信号に対して電気演算を行うことによって、第２の電気信号を生成する電気演算工程と、を含み、
   前記光演算工程は、前記第１の光信号が、位相変調量が互いに独立に設定された複数のマイクロセルにより構成された光変調素子に入射し、前記複数のマイクロセルにて位相変調された前記第１の光信号が相互に干渉することで行われ、
   前記電気演算工程は、前記第１の電気信号から前記第２の電気信号を生成する複数のモデルの各々を用いて実行することが可能であり、前記複数のモデルの各々を用いて前記第１の電気信号に対して前記電気演算を行うことによって生成される前記第２の電気信号は、異なる画像情報を含む、
   ことを特徴とするイメージング方法。
10. 請求項１～８の何れか一項に記載のイメージング装置の製造方法であって、
    前記複数のモデルの各々を用いて前記第１の電気信号に対して電気演算を行った場合、異なる画像情報を含む前記第２の電気信号が生成されるように前記光演算部、及び、前記複数のモデルを機械学習によって設計する工程を含んでいる、
    ことを特徴とするイメージング装置の製造方法。

Images