JP2024011041A - 撮像方法、学習方法、学習データ生成装置、及びデータ構造 - Google Patents

Abstract

【課題】広範囲且つ拡大された光学情報を生成する撮像装置を製造する。【解決手段】撮像方法は撮像装置１０を用いて第３の画像ｉｍ３を撮像する。撮像装置１０は撮像素子と光学系と光学素子とを有する。光学系は入射する第１の光を受光領域に結像させる。光学素子は第２の光を受光領域に導く。第２の光は光学系の光軸と光学系に入射する主光線とのなす角度が第１の光と異なる。第３の画像ｉｍ３は第１の画像ｉｍ１及び第２の画像ｉｍ２をディスプレイ１２に同時に表示させた画像である。第１の画像ｉｍ１は第１の光を放射する物点が形成する。第２の画像ｉｍ２は第２の光を放射する物点が形成する。【選択図】図８

Description

本発明は、撮像方法、学習方法、学習データ生成装置、及びデータ構造に関するものである。

観察対象を結像させる撮像光学系は、焦点距離、画角等の多様な物性を有する。焦点距離が長くなると、観察対象が拡大化された像が形成されるので、遠方の観察対象の詳細な光学情報、言換えると拡大された光学情報が得られる。画角は広角化するほど、広範囲に位置する観察対象の光学情報が得られる。しかし、焦点距離と画角とはトレードオフの関係があり、焦点距離が長くなると画角は狭角化し、焦点距離が短くなると画角は広角化する。

それゆえ、状況に応じて望まれる光学情報を得られるように焦点距離の調整が行われている。例えば、撮像光学系に含まれるズームレンズを変位させることにより、焦点距離の調整が行われる。又、複数の単焦点レンズを切替えることにより、焦点距離の調整が行われる（特許文献１、２参照）。

特開平１１―３１１８３２号公報 特開２００４―２７９５５６号公報

特許文献１、２においては、焦点距離の切替えにより、拡大された光学情報及び広範囲の光学情報が別々に提供され得る。しかし、広範囲且つ拡大された光学情報を同時に得ることはできなかった。

かかる点に鑑みてなされた本開示の目的は、広範囲且つ拡大された光学情報を生成する撮像装置を製造させる撮像方法、学習方法、学習データ生成装置、及びデータ構造を提供することである。

第１の観点による撮像方法は、
受光領域を有する撮像素子と、入射する第１の光を前記受光領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記受光領域に導く光学素子と、を有する撮像装置を用いて、
前記第１の光を放射する物点が形成する第１の画像及び前記前記第２の光を放射する物点が形成する第２の画像をディスプレイに同時に表示させた第３の画像を撮像する。

第２の観点による学習方法は、
受光領域を有する撮像素子と、入射する第１の光を前記受光領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記受光領域に導く光学素子と、を有する撮像装置を用いて、
前記第１の光を放射する物点が形成する第１の画像及び前記前記第２の光を放射する物点が形成する第２の画像をディスプレイに同時に表示させた第３の画像を撮像し、
前記第３の画像の撮像により前記撮像装置が生成する第１の重畳画像を、前記第１の画像及び前記第２の画像にそれぞれ対応する画像と関連付けて記憶する撮像方法における前記第３の画像の撮像により前記撮像装置が生成する第１の重畳画像と、前記第１の画像及び前記第２の画像にそれぞれ対応する画像とを用いて、前記撮像装置が撮像する第２の重畳画像を前記第１の光を放射する物点に対応する第１の画像成分と前記第２の光を放射する物点に対応する第２の画像成分とに分離する画像処理モデルの学習を行う。

第３の観点による学習データ生成装置は、
受光領域を有する撮像素子と、入射する第１の光を前記受光領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記受光領域に導く光学素子と、を有する撮像装置と、
前記撮像装置の視野範囲内に位置するディスプレイと、
前記第１の光を放射する物点が形成する第１の画像及び前記第２の光を放射する物点が形成する第２の画像を前記ディスプレイに同時に表示させた第３の画像を前記撮像装置に撮像させる情報処理装置と、を備える。

第４の観点によるデータ構造は、
第１の光を放射する物点に対応する第１の画像成分と第２の光を放射する物点に対応する第２の画像成分とが重畳された第２の重畳画像を、前記第１の画像成分と前記第２の画像成分に分離する画像処理モデルの学習に用いられるデータ構造であって、
前記第１の光を放射する物点が形成する第１の画像と、
前記第２の光を放射する物点が形成する第２の画像と、
前記第１の画像及び前記第２の画像を重畳させた第１の重畳画像と、
前記第１の画像、前記第２の画像、及び前記第１の重畳画像、との対応関係を示す対応情報と、を備え、
前記画像処理モデルを、前記第１画像、前記第２画像、前記第１重畳画像、及び前記対応情報の組合せを教師データとして用いて、学習させる。

本開示によれば、広範囲且つ拡大された光学情報を生成する撮像装置が製造され得る。

本実施形態に係る撮像方法に用いられる撮像装置を含む学習データ生成装置の概略構成を示す外観図である。 図１の撮像装置の概略構成を示す構成図である。 図２の撮像素子及び光学系の物性を説明するための図である。 図２の受光領域に到達する像を説明する概念図である。 図２の受光領域に到達する重畳画像が形成される状況を説明する概念図である。 図２のコントローラにより重畳画像から復元画像を生成する過程を説明するための概念図である。 図１の情報処理装置の概略構成を示す機能ブロック図である。 図１のディスプレイに表示される第３の画像を説明するための図である。 図７のコントローラが実行する第１の生成処理を説明するためのフローチャートである。 図７のコントローラが実行する第２の生成処理を説明するためのフローチャートである。 図７のコントローラが実行する学習処理を説明するためのフローチャートである。

以下、本開示の実施形態について、図面を参照して説明する。以下の図面に示す構成要素において、同じ構成要素には同じ符号を付す。

図１に示すように、本開示の一実施形態に係る撮像方法に用いられる撮像装置１０を含む学習データ生成装置１１は、撮像装置１０、ディスプレイ１２、及び情報処理装置１３を含んで構成される。学習データ生成装置１１は、更に、画像データを提供する提供装置１４を含んで構成されてよい。

学習データ生成装置１１は、撮像装置１０に適用される画像処理モデルの学習用のデータを生成してよい。画像処理モデルは、撮像装置１０が撮像により生成する第２の重畳画像を第１の画像成分及び第２の画像成分に分離する。学習データ生成装置１１は、後述するように、情報処理装置１３がディスプレイ１２に表示させた画像を撮像装置１０で撮像させることにより、学習データを生成する。

撮像装置１０は、量産品であってよい。画像処理モデルのパラメータを付与する前の撮像装置１０が、学習データ生成装置１１に用いられてよい。当該撮像装置１０を用いた学習データ生成装置１１により学習データが生成されてよい。学習データを用いた学習により、画像処理モデルのパラメータが生成されてよい。当該パラメータが、他の撮像装置１０に付与されてよい。

図２に示すように、撮像装置１０は、撮像光学系（光学系）１５、撮像素子１６、及び光学素子１７を含んで構成される。撮像装置１０は、更にメモリ１８及びコントローラ１９を含んで構成されてよい。

撮像光学系１５は、入射する被写体光束を結像させる。撮像光学系１５は、撮像装置１０において、後述する撮像素子１６の受光領域に、入射する第１の光を結像させる。第１の光は、撮像光学系１５の画角内に位置する物点が放射する光であってよい。以後、撮像光学系１５単体、言換えると光学素子１７を含まない構成における画角を、直接画角とも呼ぶ。撮像光学系１５は、位置の異なる物点から放射する光束を、単体で、言換えると光学素子１７無しで、異なる像点に結像させる光学素子によって構成されてよい。撮像光学系１５を構成する光学素子は、例えば、レンズ、ミラー、絞り等である。

撮像光学系１５は、像側テレセントリックでなくてよい。言換えると、撮像光学系１５を通過する任意の光束の主光線の光軸に対する角度は０°より大きくてよい。

撮像素子１６は、受光領域ｒａを有する。撮像素子１６は、撮像光学系１５を介して受光領域ｒａ内に結像する像を撮像する。撮像素子１６は、可視光、赤外線及び紫外線等の不可視光による像を撮像可能であってよい。撮像素子１６は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等である。撮像素子１６は、カラーイメージセンサであってよい。言換えると、撮像素子１６の受光領域ｒａに配置される複数の画素は、例えばＲＧＢのカラーフィルタによって受光領域ｒａ内で均等に分布するように覆われてよい。撮像素子１６は、撮像により受光する画像に相当する画像信号を生成する。撮像素子１６は、３０ｆｐｓ等の所定のフレームレートで画像信号を生成してよい。

撮像素子１６では、後述する光学素子１７が設けられる側の受光領域ｒａの外縁は、撮像光学系１５の射出瞳の外縁よりも外側に位置してよい。射出瞳の外縁より外側とは、撮像光学系１５の光軸ｏｘを基準として外側であることを意味する。受光領域ｒａは、矩形であってよい。

光学素子１７は、第２の光を受光領域に導く。第２の光は、撮像光学系１５の光軸ｏｘと撮像光学系１５に入射する主光線とのなす角度が第１の光と異なる。第２の光は、撮像光学系１５の画角外、言換えると直接画角の外に位置する物点が放射する光であってよい。主光線は、撮像光学系１５の開口絞りの中心を通る光線、撮像光学系１５の入射瞳の中心を通る光線、及び任意の一つの物点から放射され撮像光学系１５に入射する光束の中心の光線のいずれかであってよい。更には、光学素子１７は、撮像光学系１５の直接画角の外から撮像光学系１５に入射する光束の少なくとも一部を撮像素子１６の受光領域ｒａ内に結像させてよい。直接画角は、撮像素子１６の受光領域ｒａに対応し、前述のように撮像光学系１５単体での画角であり、光学素子１７を介することなく受光領域ｒａ内に結像する物点の範囲に相当する画角である。

光学素子１７は、撮像光学系１５に入射した光束の少なくとも一部を反射して受光領域ｒａに導くミラーであってよい。ミラーは、撮像光学系１５に入射する第２の光を受光領域ｒａに結像させてよい。ミラーの反射面は、撮像光学系１５の光軸ｏｘに平行であってよい。ミラーの反射面は、矩形の受光領域ｒａのいずれかの辺に平行であってよい。

ミラーは、撮像光学系１５の光軸ｏｘ方向から見て、当該撮像光学系１５の射出瞳の外側に位置してよい。更に詳細には、反射面が射出瞳の外側に位置するように、ミラーは撮像光学系１５に対して配置されてよい。

ミラーは、複数の平面ミラーを含んでよい。複数の平面ミラーの中の少なくとも１組に属する２つの平面ミラーは、反射面が互いに対向し平行になるように位置してよい。平面ミラーと撮像素子１６の受光領域ｒａの外縁とは、当該平面ミラーの法線方向において密接していてよい。

図３に示すように、反射面が互いに平行な２つの平面ミラーそれぞれと、光軸ｏｘとの間隔Ｈが等しくてよい。互い平行な２つの平面ミラー、撮像光学系１５、及び撮像素子１６は、ＣＲＡ≦ｔａｎ^－１（Ｈ／Ｂ）を満たすように設計され、配置されてよい。ＣＲＡは、直接画角の２倍の角度における物点ｐｐから放射される光束の撮像光学系１５による主光線の光軸ｏｘに対する角度である。Ｂは、撮像光学系１５のバックフォーカスである。

上述のような構成により、図４に示すように、撮像素子１６の受光領域ｒａには、直接画角内の物点、言換えると第１の光を放射する物点に対応する第１の画像成分ｉｃ１が光学素子１７を介することなく到達する。直接画角内の物点に対応する第１の画像成分ｉｃ１とは、より具体的には、直接画角内に位置する被写体像に相当する。又、受光領域ｒａには、直接画角外の物点、言換えると第２の光を放射する物点に対応する第２の画像成分ｉｃ２が光学素子１７を介して反転して到達する。言換えると、第２の画像成分ｉｃ２は、光学素子１７を介して受光領域ｒａに結像する画像成分である。直接画角外の物点に対応する第２の画像成分ｉｃ２とは、より具体的には、直接画角外に位置する被写体像に相当する。

又、上述のような構成により、図５に示すように、第１の画像成分ｉｃ１と、光学素子１７がミラーである構成において反転した第２の画像成分ｉｃ２とが受光領域ｒａにおいて重畳する。したがって、撮像素子１６は、第１の画像成分ｉｃ１と、光学素子１７がミラーである構成において反転した第２の画像成分ｉｃ２との第２の重畳画像ｏｌｉｍ２を撮像する。

メモリ１８は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ１８は、コントローラ１９を機能させる多様なプログラム及びコントローラ１９が用いる多様な情報を記憶してよい。メモリ１８は、例えば、前述の汎用の画像処理モデルのパラメータを記憶してよい。ただし、学習データ生成装置１１に適用される撮像装置１０において、メモリ１８は当該パラメータを記憶していなくてよい。

コントローラ１９は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等であってもよい。コントローラ１９は、撮像素子１６から取得する画像信号に画像処理を施してよい。

図６に示すように、コントローラ１９は、画像処理により、画像信号に相当する第２の重畳画像ｏｌｉｍ２を、第１の画像成分ｉｃ１と、第２の画像成分ｉｃ２とに分離する画像処理を施してよい。コントローラ１９は、画像処理モデルの適用により、第２の重畳画像ｏｌｉｍ２を分離してよい。画像処理モデルは、後述するように、第１の画像及び第２の画像を重畳させた第１の重畳画像に対して、第１の画像及び第２の画像を正解として学習させることにより構築されるモデルである。画像分離モデルは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒモデルのように画像を生成するｇｅｎｅｒａｔｏｒと、生成された画像が偽画像かどうか判定するｄｉｓｃｒｉｍｉｎａｔｏｒとを競わせて、その関係を反映したペア画像を生成するＰｉｘ－ｔｏ－Ｐｉｘを適用したモデルであってよい。コントローラ１９は、分離した第１の画像成分ｉｃ１及び第２の画像成分ｉｃ２を結合させることにより、復元画像ｒｃｉｍを生成してよい。

コントローラ１９は、復元画像ｒｃｉｍを用いて、撮像装置１０周辺において撮像された被写体の測距を行ってよい。コントローラ１９は、例えば、ＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）に基づいて、復元画像ｒｃｉｍを用いて測距を行う。コントローラ１９は、運動視差法（ＳＬＡＭ：Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ、Ｍｏｔｉｏｎ Ｓｔｅｒｅｏ）、Ｄｅｅｐ Ｌｅａｒｎｉｎｇに基づく分離モデル、足元測距法等に基づいて、復元画像ｒｃｉｍを用いた測距を行ってよい。足元測距法は、被写体像の下端が地面に位置することを前提として画像座標に基づいて３次元座標を算出する方法である。

コントローラ１９は、復元画像ｒｃｉｍの各アドレスに対応する距離に基づいて、距離画像を生成してよい。距離画像は、各画素の画素値が距離に対応した画像である。コントローラ１９は、距離画像を外部機器に付与してよい。

図１に示すように、ディスプレイ１２は、画像を表示してよい。ディスプレイ１２は、例えば、ＬＣＤ（ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、及びＯＬＥＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｓｐｌａｙ）を含んでよい。

ディスプレイ１２は、学習データ生成装置１１において、撮像装置１０の視野範囲内に位置する。学習データ生成装置１１において、ディスプレイ１２の表示面が撮像装置１０の視野範囲全体を含むように、ディスプレイ１２は配置されてよい。ディスプレイ１２及び撮像装置１０は、学習データ生成装置１１において、事前に定められた相対位置及び相対姿勢となるように位置づけられてよい。例えば、撮像装置１０の光軸ｏｘがディスプレイ１２の表示面に垂直且つ当該表示面の中心を通るように、ディスプレイ１２及び撮像装置１０は配置されてよい。

提供装置１４は、複数のフレームの画像をディスプレイ１２に提供してよい。複数のフレームの画像は事前に取得されていてよい。複数のフレームの画像は、本願の撮像装置１０とは異なり、光学素子１７を設けることなく直接画角内の光景のみを撮像可能な撮像装置を用いた撮像により生成されてよい。提供装置１４は、例えば、動画を構成する複数のフレームの画像を記憶してよい。提供装置１４は、情報処理装置１３の制御に基づいて、画像をディスプレイ１２に提供してよい。提供装置１４は、情報処理装置１３の制御に基づいて加工した画像をディスプレイ１２に提供してよい。提供装置１４は、情報処理装置１３と一体化されていてよい。

図７に示すように、情報処理装置１３は、入出力インタフェース２０及びコントローラ２１を含んで構成されてよい。

入出力インタフェース２０は、情報処理装置１３の外部機器との情報及び指令を通信してよい。学習データ生成装置１１において入出力インタフェース２０は、撮像装置１０及び提供装置１４に接続されてよい。

コントローラ２１は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ、ＧＰＵ等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ、ＡＳＩＣ等であってもよい。

コントローラ２１は、動作モードとして、第１のモード及び第２のモードを情報処理装置１３に選択的に付与してよい。第１のモードでは、情報処理装置１３は、学習用データを生成してよい。第２のモードでは、情報処理装置１３は、学習用データを用いて画像処理モデルを学習させてよい。コントローラ２１は、情報処理装置１３に設けられるキーボード等の入力デバイスへの操作入力の検出に基づいて、動作モードを第１のモード及び第２のモードのいずれかに切替えてよい。

コントローラ２１は、第１のモードにおいて、提供装置１４を制御することにより、画像をフレーム別にディスプレイ１２に表示させてよい。図８に示すように、各フレームの画像は複数の部分画像を含む。部分画像は、第１の画像ｉｍ１及び第２の画像ｉｍ２を含んでよい。第１の画像ｉｍ１及び第２の画像ｉｍ２を同時にディスプレイ１２に表示する画像を第３の画像ｉｍ３と呼ぶ。

第１の画像ｉｍ１は、直接画角内の物点、言換えると第１の光を放射する物点により形成される領域の部分像である。例えば、第１の画像ｉｍ１は、学習データ生成装置１１のディスプレイ１２において撮像装置１０の直接画角内の全領域に表示される部分画像であってよい。第２の画像ｉｍ２は、撮像装置１０の光学素子１７を介して受光領域ｒａに結像する光束を放射する物点、言換えると第２の光を放射する物点により形成される領域の部分像である。例えば、第２の画像ｉｍ２は、学習データ生成装置１１のディスプレイ１２において、第１の画像ｉｍ１に連続し且つ直接画角よりも広い角度範囲内に含まれる領域に表示される部分画像であってよい。

前述のように、撮像装置１０のディスプレイ１２に対する相対位置及び相対姿勢が事前に定められていてよい。コントローラ２１は、設計上の相対位置及び相対姿勢において、直接画角に対応する領域及び直接画角外の領域を認識してよい。コントローラ２１は、直接画角に対応する領域及び直接画角外の領域を、撮像装置１０の直接画角及び焦点距離等の撮像光学系１５の特性に基づいて算出することにより認識してよい。コントローラ２１は、撮像光学系１５の特性に基づいて予め算出された直接画角に対応する領域及び直接画角外の領域を撮像装置１０等から取得することにより認識してよい。

コントローラ２１は、第１の画像ｉｍ１及び第２の画像ｉｍ２を同時にディスプレイ１２に表示させる。コントローラ２１は、第１の画像ｉｍ１及び第２の画像ｉｍ２を同時に表示させる状態で、同時に表示される第３の画像ｉｍ３を撮像装置１０に撮像させる。コントローラ２１は、第３の画像ｉｍ３の撮像により撮像装置１０が生成する第１の重畳画像を、任意のメモリに記憶させる。任意のメモリは、情報処理装置１３が有するメモリ、情報処理装置１３に接続される外部メモリ、及び提供装置１４の少なくともいずれかを含んでよい。本実施形態において、任意のメモリは提供装置１４であってよい。

コントローラ２１は、第３の画像ｉｍ３の撮像後、当該第３の画像ｉｍ３における第１の画像ｉｍ１及び第２の画像ｉｍ２を個別に順番にディスプレイ１２に表示させる。個別に表示させるとは、第１の画像ｉｍ１の表示時に、直接画角外の異なる物点それぞれから実質的に異なる光量である光学情報を撮像装置１０の受光領域ｒａに到達させないことを意味してよい。例えば、第１の画像ｉｍ１の表示時に、直接画角外の領域が単一の色となるようにディスプレイ１２に表示してよい。又、個別に表示させるとは、第２の画像ｉｍ２の表示時に、直接画角内の異なる物点それぞれから実質的に異なる光量である光学情報を撮像装置１０の受光領域ｒａに到達させないことを意味してよい。

コントローラ２１は、例えば、ディスプレイ１２に表示している第３の画像ｉｍ３の直接画角外の領域を黒色等でマスクする画像処理を行うことにより、第１の画像ｉｍ１を個別に表示させてよい。又、コントローラ２１は、例えば、ディスプレイ１２に表示している第３の画像ｉｍ３の直接画角内の領域を黒色等でマスクする画像処理を行うことにより、第２の画像ｉｍ２を個別に表示させてよい。コントローラ２１は、特定の領域をマスクする画像処理を、コントローラ２１の代わりに提供装置１４に行わせてよい。

コントローラ２１は、第１の画像ｉｍ１が個別表示されている状態で、当該第１の画像ｉｍ１を撮像装置１０に撮像させる。コントローラ２１は、第２の画像ｉｍ２が個別表示されている状態で、当該第２の画像ｉｍ２を撮像装置１０に撮像させる。コントローラ２１は、第１の画像ｉｍ１の撮像により撮像装置１０が生成した画像を第１の画像ｉｍ１に対応する画像として、当該第１の画像ｉｍ１を含む第３の画像ｉｍ３に対応する第１の重畳画像と関連付けて、提供装置１４に記憶させてよい。コントローラ２１は、第２の画像ｉｍ２の撮像により撮像装置１０が生成した画像を第２の画像ｉｍ２に対応する画像として、当該第２の画像ｉｍ２を含む第３の画像ｉｍ３に対応する第１の重畳画像と関連付けて、提供装置１４に記憶させてよい。

コントローラ２１は、第１の画像ｉｍ１及び第２の画像ｉｍ２の個別の表示及び撮像の代わりに、第３の画像ｉｍ３を撮像するたびに、当該第３の画像ｉｍに含まれる第１の画像ｉｍ１及び第２の画像ｉｍ２を提供装置１４から取得してよい。コントローラ２１は、提供装置１４から取得した第１の画像ｉｍ１を第１の画像ｉｍ１に対応する画像として、当該第１の画像ｉｍ１を含む第３の画像ｉｍ３に対応する第１の重畳画像と関連付けて、提供装置１４に記憶させてよい。コントローラ２１は、提供装置１４から取得した第２の画像ｉｍ２を第２の画像ｉｍ２に対応する画像として、当該第２の画像ｉｍ２を含む第３の画像ｉｍ３に対応する第１の重畳画像と関連付けて、提供装置１４に記憶させてよい。

コントローラ２１は、動画像のように複数のフレームの画像群において、フレーム別に第１の重畳画像の生成、及び当該第１の重畳画像と第１の画像ｉｍ１に相当する画像及び第２の画像ｉｍ２に相当する画像とを関連付けた記憶を行ってよい。コントローラ２１は、第１の重畳画像及び当該第１の重畳画像と第１の画像ｉｍ１に相当する画像及び第２の画像ｉｍ２にそれぞれ対応する画像とを関連付けた組合せを、学習用データとして生成する。

コントローラ２１は、第２のモードにおいて、提供装置１４に記憶させた学習用データを用いて、画像処理モデルの学習を行う。言換えると、コントローラ２１は、第１の重畳画像と、第１の画像ｉｍ１及び第２の画像ｉｍ２を個別の撮像により撮像装置１０がそれぞれ生成する画像を用いて、画像処理モデルの学習を行う。又は、コントローラ２１は、第２のモードにおいて、第１の重畳画像と、第１の画像ｉｍ１及び第２の画像ｉｍ２とを用いて画像処理モデルの学習を行う。

次に、本実施形態においてコントローラ２１が実行する、第１の生成処理について、図９のフローチャートを用いて説明する。第１の生成処理は、動作モードが第１のモードに切替えられる場合に開始する。第１の生成処理は、第１の画像ｉｍ１及び第２の画像ｉｍ２を個別に表示及び撮像させることにより学習用データを生成する処理である。

ステップＳ１００において、コントローラ２１は、提供装置１４に格納されている動画の中から、学習用データの生成に用いる動画を認識する。動画の認識は、例えば、情報処理装置１３に設けられるキーボード等の入力デバイスへの操作入力の検出に基づく。認識後、プロセスはステップＳ１０１に進む。

ステップＳ１０１では、コントローラ２１は、ステップＳ１００において認識した動画を構成する複数のフレームの画像の中から１フレームの画像を選択する。フレームは、動画を構成する順番に選択されてよい。選択後、プロセスはステップステップＳ１０２に進む。

ステップＳ１０２では、コントローラ２１は、ステップＳ１０１において選択したフレームの画像における第１の画像ｉｍ１及び第２の画像ｉｍ２を同時にディスプレイ１２表示させる。言換えるとコントローラ２１は、第３の画像ｉｍ３をディスプレイ１２に表示させる。表示後、プロセスはステップＳ１０３に進む。

ステップＳ１０３では、コントローラ２１は、撮像装置１０に第３の画像ｉｍ３を撮像させることにより、第１の重畳画像を生成させる。撮像後、プロセスはステップＳ１０４に進む。

ステップＳ１０４では、コントローラ２１は、ステップＳ１０３において生成した第１の重畳画像を提供装置１４に格納する。格納後、プロセスはステップＳ１０５に進む。

ステップＳ１０５では、コントローラ２１は、ステップＳ１０１において選択したフレームの画像における第１の画像ｉｍ１を個別にディスプレイ１２に表示させる。表示後、プロセスはステップＳ１０６に進む。

ステップＳ１０６では、コントローラ２１は、撮像装置１０に第１の画像ｉｍ１を撮像させることにより、第１の画像ｉｍ１に対応する画像を生成させる。撮像後、プロセスはステップＳ１０７に進む。

ステップＳ１０７では、コントローラ２１は、ステップＳ１０６において生成した第１の画像ｉｍ１に対応する画像を、直前のステップＳ１０４において提供装置１４に格納した第１の重畳画像と関連付けて、提供装置１４に格納する。格納後、プロセスはステップＳ１０８に進む。

ステップＳ１０８では、コントローラ２１は、ステップＳ１０１において選択したフレームの画像における第２の画像ｉｍ２を個別にディスプレイ１２に表示させる。表示後、プロセスはステップＳ１０９に進む。

ステップＳ１０９では、コントローラ２１は、撮像装置１０に第２の画像ｉｍ２を撮像させることにより、第２の画像ｉｍ２に対応する画像を生成させる。撮像後、プロセスはステップＳ１１０に進む。

ステップＳ１１０では、コントローラ２１は、ステップＳ１０９において生成した第２の画像ｉｍ２に対応する画像を、直前のステップＳ１０４において提供装置１４に格納した第１の重畳画像と関連付けて、提供装置１４に格納する。格納後、プロセスはステップＳ１１１に進む。

ステップＳ１１１では、コントローラ２１は、ステップＳ１００において認識した動画を構成する前フレームの画像に対する撮像が終了したか否かを判別する。全フレームの撮像が終了している場合、第１の生成処理は終了する。前フレームの撮像が終了していない場合、プロセスはステップＳ１１２に進む。

ステップＳ１１２では、コントローラ２１は、第１の画像ｉｍ１、第２の画像ｉｍ２、及び第３の画像ｉｍ３の撮像済みであるフレーム画像の他のフレームの画像を選択する。選択後、プロセスはステップＳ１０２に戻る。

次に、本実施形態においてコントローラ２１が実行する、第２の生成処理について、図１０のフローチャートを用いて説明する。第２の生成処理は、動作モードが第１のモードに切替えられる場合に開始する。第２の生成処理は、第１の画像ｉｍ１及び第２の画像ｉｍ２の個別の表示及び撮像を行うことなく学習用データを生成する処理である。

ステップＳ２００からＳ２０４において、コントローラ２１は、第１の生成処理におけるステップＳ１００からＳ１０４と同じ処理を実行する。ステップＳ２０４において、第１の重畳画像の格納後、プロセスはステップＳ２０５に進む。

ステップＳ２０５では、コントローラ２１は、第２の画像ｉｍ２を反転して、撮像装置１０の受光領域ｒａ内に含まれるように変位させる画像処理を行う。画像処理後、プロセスはステップＳ２０６に進む。

ステップＳ２０６では、コントローラ２１は、ステップＳ２０１において選択したフレームの画像の第１の画像ｉｍ１そのものを第１の画像ｉｍ１に対応する画像として、直前のステップＳ２０４において提供装置１４に格納した第１の重畳画像と関連付けて、提供装置１４に格納する。更に、コントローラ２１は、ステップＳ２０５において画像処理を施した第２の画像ｉｍ２を第２の画像ｉｍ２に対応する画像として、直前のステップＳ２０４において提供装置１４に格納した第１の重畳画像と関連付けて、提供装置１４に格納する。格納後、プロセスはステップＳ２０７に進む。

ステップＳ２０７及びＳ２０８では、コントローラ２１は、第１の生成処理におけるステップＳ１１１及びＳ１１２と同じ処理を実行する。

次に、本実施形態においてコントローラ２１が実行する、学習処理について、図１１のフローチャートを用いて説明する。学習処理は、動作モードが第２のモードに切替えられる場合に開始する。

ステップＳ３００において、コントローラ２１は、第１の生成処理又は第２の生成処理により提供装置１４に格納された学習用データを読出す。読出し後、プロセスはステップＳ３０１に進む。

ステップＳ３０１では、コントローラ２１は、ステップＳ３００において読出した学習用データを用いて、画像処理モデルを学習させる。コントローラ２１は、学習させた画像処理モデルのパラメータを生成する。学習後、プロセスはステップＳ３０２に進む。

ステップＳ３０２では、コントローラ２１は、ステップＳ３０１において生成したパラメータを提供装置１４に格納する。格納後、学習処理は終了する。

以上のような構成の本実施形態の情報処理装置１３を用いた撮像方法では、撮像素子１６の受光領域ｒａに対応する撮像光学系１５の直接画角の外から当該撮像光学系１５に入射する光束の少なくとも一部を当該受光領域ｒａ内に結像させる光学素子１７とを備える撮像装置１０を用いて、直接画角内の物点が形成する第１の画像ｉｍ１及び光学素子１７を介して受光領域ｒａ内に結像する光束を放射する物点が形成する第２の画像ｉｍ２をディスプレイ１２に同時に表示させる第３の画像ｉｍ３を撮像する。このような構成により、撮像方法は、情報として事前に取得済みの画像を撮像装置１０に撮像させることにより、第１の重畳画像を生成し得る。事前に取得済みの画像の分離及び一部の反転重畳させる加工を行うことにより得られる重畳画像は、設計上の撮像装置１０が生成する理想的な重畳画像である。それゆえ、当該重畳画像は、実際に製造される撮像装置１０における撮像光学系１５、撮像素子１６、及び光学素子１７の取付誤差の影響が含まれない。それゆえ、当該重畳画像を用いた画像処理モデルの学習では、実際に製造される撮像装置１０が生成する第２の重畳画像の分離精度の向上には限界が生じ得る。一方で、撮像方法は第１の重畳画像を生成し得るので、画像処理による重畳画像を用いる場合に比べて、第２の重畳画像の分離精度を更に向上させるように画像処理モデルを学習させ得る。それゆえ、撮像方法は、広範囲且つ拡大された光学情報を生成する撮像装置１０を製造させ得る。

また、本実施形態の撮像方法では、撮像装置１０を用いて、個別にディスプレイ１２に表示させる第１の画像ｉｍ１及び第２の画像ｉｍ２を撮像する。このような構成により、撮像方法は、第１の重畳画像に対して画素位置を一致させた、重畳していない画像を取得し得る。したがって、撮像方法は、第２の重畳画像の分離精度を更に向上させるように画像処理モデルを学習させ得る。

また、本実施形態の撮像方法では、第１の重畳画像を、第３の画像ｉｍ３が含む第１の画像ｉｍ１及び第２の画像ｉｍ２にそれぞれ対応する画像と関連付けて記憶する。このような構成により、撮像方法は、複数のフレームの第１の重畳画像を生成する際に、それぞれの重畳画像を容易に学習データとして使用させ得る。

一実施形態において、（１）撮像方法は、
受光領域を有する撮像素子と、入射する第１の光を前記受光領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記受光領域に導く光学素子と、を有する撮像装置を用いて、
前記第１の光を放射する物点が形成する第１の画像及び前記前記第２の光を放射する物点が形成する第２の画像をディスプレイに同時に表示させた第３の画像を撮像する。

（２）上記（１）の撮像方法では、
前記撮像装置を用いて、更に、個別に前記ディスプレイに表示させた前記第１の画像及び前記第２の画像を撮像する。

（３）上記（１）又は（２）の撮像方法では、
前記第３の画像の撮像により前記撮像装置が生成する第１の重畳画像を、前記第１の画像及び前記第２の画像にそれぞれ対応する画像と関連付けて記憶する。

（４）上記（３）の撮像方法を適用した学習方法では、
前記撮像方法における前記第３の画像の撮像により前記撮像装置が生成する第１の重畳画像と、前記第１の画像及び前記第２の画像にそれぞれ対応する画像とを用いて、前記第１の光を放射する物点に対応する第１の画像成分と前記第２の光を放射する物点に対応する第２の画像成分とが重畳された第２の重畳画像を、前記第１の画像成分と前記第２の画像成分とに分離する画像処理モデルの学習を行う。

（５）上記（４）の撮像方法を適用した学習方法では、
前記第１の画像及び前記第２の画像にそれぞれ対応する画像は、前記第１の画像及び前記第２の画像の個別の撮像により前記撮像装置がそれぞれ生成する画像である。

（６）上記（４）の撮像方法を適用した学習方法では、
前記第１の画像及び前記第２の画像にそれぞれ対応する画像は、前記第１の画像及び前記第２の画像である。

一実施形態において、（７）学習データ生成装置は、
受光領域を有する撮像素子と、入射する第１の光を前記受光領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記受光領域に導く光学素子と、を有する撮像装置と、
前記撮像装置の視野範囲内に位置するディスプレイと、
前記直接画角内の物点が形成する第１の画像及び前記光学素子を介して前記受光領域内に結像する光束を放射する物点が形成する第２の画像を前記ディスプレイに同時に表示させた第３の画像を前記撮像装置に撮像させる情報処理装置と、を備える。

一実施形態において、（８）データ構造は、
第１の光を放射する物点に対応する第１の画像成分と第２の光を放射する物点に対応する第２の画像成分とが重畳された第２の重畳画像を、前記第１の画像成分と前記第２の画像成分に分離する画像処理モデルの学習に用いられるデータ構造であって、
前記第１の光を放射する物点が形成する第１の画像と、
前記第２の光を放射する物点が形成する第２の画像と、
前記第１の画像及び前記第２の画像を重畳させた第１の重畳画像と、
前記第１の画像、前記第２の画像、及び前記第１の重畳画像、との対応関係を示す対応情報と、を備え、
前記画像処理モデルを、前記第１画像、前記第２画像、前記第１重畳画像、及び前記対応情報の組合せを教師データとして用いて、学習させる。

以上、撮像装置１０を用いた撮像方法の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。

また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。

本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、本実施形態において、情報処理装置１３が、学習用データの生成及び画像処理モデルの学習を行う。しかし、情報処理装置１３は画像処理モデルの学習を行わず、別の情報処理装置が画像処理モデルの学習を行ってよい。

本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。

さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の画像成分は、第２の画像成分と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

１０ 撮像装置
１１ 学習データ生成装置
１２ ディスプレイ
１３ 情報処理装置
１４ 提供装置
１５ 撮像光学系
１６ 撮像素子
１７ 光学素子
１８ メモリ
１９ コントローラ
２０ 入出力インタフェース
２１ コントローラ
ＣＲＡ 直接画角の２倍の角度における物点から放射される光束の撮像光学系による主光線の光軸に対する角度
ｉｃ１ 第１の画像成分
ｉｃ２ 第２の画像成分
ｉｍ１ 第１の画像
ｉｍ２ 第２の画像
ｉｍ３ 第３の画像
ｏｌｉｍ２ 第２の重畳画像
ｏｘ 光軸
ｐｐ 直接画角の２倍の角度における物点
ｒａ 受光領域
ｒｃｉｍ 復元画像

Claims (8)

1. 受光領域を有する撮像素子と、入射する第１の光を前記受光領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記受光領域に導く光学素子と、を有する撮像装置を用いて、
   前記第１の光を放射する物点が形成する第１の画像及び前記前記第２の光を放射する物点が形成する第２の画像をディスプレイに同時に表示させた第３の画像を撮像する
   撮像方法。
2. 請求項１に記載の撮像方法において、
   前記撮像装置を用いて、更に、個別に前記ディスプレイに表示させた前記第１の画像及び前記第２の画像を撮像する
   撮像方法。
3. 請求項１又は２に記載の撮像方法において、
   前記第３の画像の撮像により前記撮像装置が生成する第１の重畳画像を、当該第３の画像が含む前記第１の画像及び前記第２の画像にそれぞれ対応する画像と関連付けて記憶する
   撮像方法。
4. 請求項３に記載の撮像方法における前記第３の画像の撮像により前記撮像装置が生成する第１の重畳画像と、前記第１の画像及び前記第２の画像にそれぞれ対応する画像とを用いて、前記第１の光を放射する物点に対応する第１の画像成分と前記第２の光を放射する物点に対応する第２の画像成分とが重畳された第２の重畳画像を、前記第１の画像成分と前記第２の画像成分に分離する画像処理モデルの学習を行う
   学習方法。
5. 請求項４に記載の学習方法において、
   前記第１の画像及び前記第２の画像にそれぞれ対応する画像は、前記第１の画像及び前記第２の画像の個別の撮像により前記撮像装置がそれぞれ生成する画像である
   学習方法。
6. 請求項４に記載の学習方法において、
   前記第１の画像及び前記第２の画像にそれぞれ対応する画像は、前記第１の画像及び前記第２の画像である
   学習方法。
7. 受光領域を有する撮像素子と、入射する第１の光を前記受光領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記受光領域に導く光学素子と、を有する撮像装置と、
   前記撮像装置の視野範囲内に位置するディスプレイと、
   前記第１の光を放射する物点が形成する第１の画像及び前記第２の光を放射する物点が形成する第２の画像を前記ディスプレイに同時に表示させた第３の画像を前記撮像装置に撮像させる情報処理装置と、を備える
   学習データ生成装置。
8. 第１の光を放射する物点に対応する第１の画像成分と第２の光を放射する物点に対応する第２の画像成分とが重畳された第２の重畳画像を、前記第１の画像成分と前記第２の画像成分に分離する画像処理モデルの学習に用いられるデータ構造であって、
   前記第１の光を放射する物点が形成する第１の画像と、
   前記第２の光を放射する物点が形成する第２の画像と、
   前記第１の画像及び前記第２の画像を重畳させた第１の重畳画像と、
   前記第１の画像、前記第２の画像、及び前記第１の重畳画像、との対応関係を示す対応情報と、を備え、
   前記画像処理モデルを、前記第１画像、前記第２画像、前記第１重畳画像、及び前記対応情報の組合せを教師データとして用いて、学習させる
   データ構造。

Images