JP6807546B2 - 画像形成装置 - Google Patents

Description

本開示は、画像形成装置に関する。

被写体からの光の偏光状態を調べることによって、被写体に関して通常の輝度に基づく観察では得られない情報を得ることが可能であり、偏光の応用に関する種々の研究がなされている。例えば下記の特許文献１および非特許文献１は、半透明の粘膜に覆われた組織表面の微細な構造の観察への偏光撮像の利用を提案している。特許文献１および非特許文献１に記載の技術では、照明光としての直線偏光の偏光面を９０°変えてそれぞれの照明光のもとで平行ニコル画像および直交ニコル画像を取得し、２つの平行ニコル画像を平均化した画像と、２つの直交ニコル画像を平均化した画像とを差分処理する。特許文献１および非特許文献１によれば、このような処理により、被写体の表面の微細な凹凸の強調された画像が得られる。参考のため、特許文献１および非特許文献１の開示内容の全てを本明細書に援用する。

下記の特許文献２は、被写体に関するミュラー行列の情報を取得可能に構成された内視鏡診断装置を開示している。なお、ミュラー行列は、光学素子が偏光状態に与える効果を記述する４行４列の行列である。下記の非特許文献２では、直線偏光成分に注目して３行３列に行列要素の数を低減したミュラー行列の内視鏡診断への応用の可能性が検討されている。

また、被写体に非偏光を照射し、被写体からの反射光の偏光度に基づいて被写体の形状を推定する技術も提案されている。下記の非特許文献３は、非偏光を透明な物体に照射し、反射光の偏光度から透明な物体の表面の法線方向を求め、透明な物体の表面形状を測定する方法を提案している。下記の非特許文献４では、反射光の偏光度を利用して磁器製品の表面形状を測定している。

特開２０１５−１６４５１８号公報 特開２０１２−０４５０２９号公報

Katsuhiro Kanamori, "Image enhancement of surface micro-structure on mucosa for polarimetric endoscopy", Proc. of SPIE, 2015, Vol. 9318, 93180O-1 to 93180O-14 Ji Qi, Menglong Ye, Mohan Singh, Neil T. Clancy, and Daniel S. Elson, "Narrow band 3 × 3 Mueller polarimetric endoscopy", Biomedical Optics Express, 1 November 2013, Vol. 4, No. 11, 2433−2449 宮崎大輔、池内克史、「偏光解析と幾何学的解析に基づく透明物体の表面形状計測」、画像の認識・理解シンポジウム（愛知、２００２／７／３０−２００２／８／１開催）、論文集II、ｐｐ．２６３−２６８ Gary A. Atkinson and Edwin R. Hancock, "Recovery of surface orientation from diffuse polarization", IEEE TRANSACTIONS ON IMAGE PROCESSING, JUNE, 2006, VOL.15, NO.6, pp1653-1664

新規な構成の画像形成装置を提供する。

本開示の一態様に係る画像形成装置は、それぞれが３０°の偏光方向を有する第１の光を出射する１以上の第１光出射部と、それぞれが９０°の偏光方向を有する第２の光を出射する１以上の第２光出射部と、それぞれが１５０°の偏光方向を有する第３の光を出射する１以上の第３光出射部とを有し、前記第１、第２および第３の光の少なくともいずれかで被写体を照明する照明装置と、前記被写体からの戻り光から、０°の偏光方向を有する第１成分、６０°の偏光方向を有する第２成分、および、１２０°の偏光方向を有する第３成分を分離して出射するビーム分離部と、前記第１成分を受ける第１領域、前記第２成分を受ける第２領域および前記第３成分を受ける第３領域を含む撮像面を有する撮像装置と、画像形成回路とを備え、前記画像形成回路は、前記第１、第２および第３の光のうち前記第１の光で前記被写体が照明されているときに前記第１成分、前記第２成分および前記第３成分のそれぞれについて前記撮像装置によって取得される第１の画像群と、前記第１、第２および第３の光のうち前記第２の光で前記被写体が照明されているときに前記第１成分、前記第２成分および前記第３成分のそれぞれについて前記撮像装置によって取得される第２の画像群と、前記第１、第２および第３の光のうち前記第３の光で前記被写体が照明されているときに前記第１成分、前記第２成分および前記第３成分のそれぞれについて前記撮像装置によって取得される第３の画像群とに基づいて、前記被写体の画像を生成する。

なお、包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）などの不揮発性の記録媒体を含む。

本開示によれば、新規な構成の画像形成装置が提供される。本開示の一態様の付加的な恩恵および有利な点は本明細書および図面から明らかとなる。この恩恵および／または有利な点は、本明細書および図面に開示した様々な態様および特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。

図１は、本開示の第１の実施形態による画像形成装置の例示的な構成を示す図である。 図２は、被写体側から見た、複数の光出射部１２２の配置の典型例を示す図である。 図３は、第１のモードにおいて撮像装置１４０Ａによって取得される偏光画像を説明するための模式図である。 図４は、画像形成回路１６４による典型的な処理の概略を示す模式図である。 図５は、偏光画像Ｌ３０Ｃ０およびＬ１５０Ｃ０を合成することによって得られる効果を説明するための図である。 図６は、照明装置１２０Ａ中の偏光子１２６の透過軸の方向と、検光子１４６ａ〜１４６ｃの透過軸の方向との間の関係を示す図である。 図７は、非特許文献２の内視鏡装置における、照明側の偏光子の透過軸の方向と、撮像側の検光子の透過軸の方向との間の関係を比較例として示す図である。 図８は、０°の偏光方向を有する直線偏光の照射のもとで生物の眼球を撮像したときに得られる直交ニコル画像の例を示す図である。 図９は、図８に示す直交ニコル画像の取得時の光源、被写体およびカメラの配置を示す模式図である。 図１０は、平均化直交ニコル画像ＯＡの形成による、十字状の暗いパターンの影響の除去の原理を説明するための模式図である。 図１１は、第２のモードにおける照明装置１２０Ａの動作を説明するための模式図である。 図１２は、被写体からの戻り光の偏光状態と、撮像装置１４０Ａによって取得される３枚の偏光画像との間の関係を模式的に示す図である。 図１３は、画像形成装置１００Ａ中の検光子１４６ａ、１４６ｂおよび１４６ｃの透過軸の方向と、このような透過軸の方向の設定のもとで取得される偏光画像に基づいて決定される正弦曲線との間の関係を示す図である。 図１４は、特許文献２の内視鏡装置における、偏光照射部から被写体に照射される光の偏光方向およびＣＣＤカメラに入射する光の偏光方向の関係を比較例として示す図である。 図１５は、本開示の第２の実施形態による画像形成装置の例示的な構成を示す図である。 図１６は、被写体２００側から見た、画像形成装置１００Ｂの照明装置１２０Ａおよび撮像装置１４０Ｂの配置関係の典型例を示す図である。 図１７は、偏光画像間の視差のキャンセル処理の例を説明するための図である。 図１８は、本開示の第２の実施形態による画像形成装置の変形例を示す図である。 図１９は、本開示の第３の実施形態による画像形成装置の例示的な構成を部分的に示す図である。 図２０は、単位構造１５０ＣＴ、１５０ＵＬ、１５０ＵＲ、１５０ＬＬおよび１５０ＬＲ中の光出射部１２２ａ〜１２２ｃの光源の駆動タイミングの例を示す図である。 図２１は、各単位構造中の光出射部１２２ａ〜１２２ｃの光源の点灯タイミングの典型例を示す図である。 図２２は、照明装置１２０Ｃおよび撮像装置１４０Ｃと、被写体との間の配置を示す図である。 図２３は、単位構造１５０ＣＴによる撮像によって得られる効果を説明する図であり、第１のモードでの照明光および戻り光の関係を模式的に示す図である。 図２４は、単位構造１５０ＣＴによる撮像によって得られる効果を説明する図であり、図２４は、第２のモードでの照明光および戻り光の関係を模式的に示す図である。 図２５は、照明装置１２０Ｃおよび撮像装置１４０Ｃの動作の応用例を説明するための図である。 図２６は、図２５に例示される動作によって得られる効果を説明するための図である。

本開示の一態様の概要は以下のとおりである。

［項目１］
それぞれが３０°の偏光方向を有する第１の光を出射する１以上の第１光出射部と、それぞれが９０°の偏光方向を有する第２の光を出射する１以上の第２光出射部と、それぞれが１５０°の偏光方向を有する第３の光を出射する１以上の第３光出射部とを有し、第１、第２および第３の光の少なくともいずれかで被写体を照明する照明装置と、
被写体からの戻り光から、０°の偏光方向を有する第１成分、６０°の偏光方向を有する第２成分、および、１２０°の偏光方向を有する第３成分を分離して出射するビーム分離部と、
第１成分を受ける第１領域、第２成分を受ける第２領域および第３成分を受ける第３領域を含む撮像面を有する撮像装置と、
画像形成回路と
を備え、
画像形成回路は、
第１、第２および第３の光のうち第１の光で被写体が照明されているときに第１成分、第２成分および第３成分のそれぞれについて撮像装置によって取得される第１の画像群と、
第１、第２および第３の光のうち第２の光で被写体が照明されているときに第１成分、第２成分および第３成分のそれぞれについて撮像装置によって取得される第２の画像群と、
第１、第２および第３の光のうち第３の光で被写体が照明されているときに第１成分、第２成分および第３成分のそれぞれについて撮像装置によって取得される第３の画像群と
に基づいて、被写体の画像を生成する、画像形成装置。

［項目２］
ビーム分離部は、
プリズムと、
透過軸の方向がそれぞれ０°、６０°および１２０°の第１から第３の検光子と
を含む、項目１に記載の画像形成装置。

［項目３］
それぞれが３０°の偏光方向を有する第１の光を出射する１以上の第１光出射部と、それぞれが９０°の偏光方向を有する第２の光を出射する１以上の第２光出射部と、それぞれが１５０°の偏光方向を有する第３の光を出射する１以上の第３光出射部とを有し、第１、第２および第３の光の少なくともいずれかで被写体を照明する照明装置と、
第１から第３の開口が設けられた筐体と、撮像面を有する撮像素子とを含む撮像装置と、
被写体と撮像面との間に位置する１以上の対物レンズと、
第１の開口の位置に配置された、透過軸の方向が０°の第１検光子と、
第２の開口の位置に配置された、透過軸の方向が６０°の第２検光子と、
第３の開口の位置に配置された、透過軸の方向が１２０°の第３検光子と、
画像形成回路と
を備え、
撮像装置の撮像面は、被写体からの戻り光のうち第１検光子を通過した第４の光を受ける第１領域と、被写体からの戻り光のうち第２検光子を通過した第５の光を受ける第２領域と、被写体からの戻り光のうち第３検光子を通過した第６の光を受ける第３領域とを含み、
画像形成回路は、
第１、第２および第３の光のうち第１の光で被写体が照明されているときに第４、第５および第６の光のそれぞれについて撮像装置によって取得される第１の画像群と、
第１、第２および第３の光のうち第２の光で被写体が照明されているときに第４、第５および第６の光のそれぞれについて撮像装置によって取得される第２の画像群と、
第１、第２および第３の光のうち第３の光で被写体が照明されているときに第４、第５および第６の光のそれぞれについて撮像装置によって取得される第３の画像群と
に基づいて、被写体の画像を生成する、画像形成装置。

［項目４］
１以上の対物レンズは、
被写体と第１領域とを結ぶ光路上に位置する第１対物レンズと、
被写体と第２領域とを結ぶ光路上に位置する第２対物レンズと、
被写体と第３領域とを結ぶ光路上に位置する第３対物レンズと
を含む、項目３に記載の画像形成装置。

［項目５］
１以上の対物レンズと撮像面との間に位置するマイクロレンズアレイをさらに備え、
１以上の対物レンズは、第１の開口を通過した光、第２の開口を通過した光、および、第３の開口を通過した光を受ける単一の対物レンズである、項目３に記載の画像形成装置。

［項目６］
第１の画像群は、２つの第１偏光画像と、１つの第１直交ニコル画像とを含み、
第２の画像群は、２つの第２偏光画像と、１つの第２直交ニコル画像とを含み、
第３の画像群は、２つの第３偏光画像と、１つの第３直交ニコル画像とを含み、
画像形成回路は、２つの第１偏光画像、２つの第２偏光画像および２つの第３偏光画像に基づく平均化擬似平行ニコル画像と、１つの第１直交ニコル画像、１つの第２直交ニコル画像および１つの第３直交ニコル画像に基づく平均化直交ニコル画像とを形成し、平均化擬似平行ニコル画像と平均化直交ニコル画像との間の差分を求めることによって被写体の画像を形成する、項目１から５のいずれかに記載の画像形成装置。

［項目７］
照明装置は、さらに、第１、第２および第３の光で被写体を同時に照明し、
撮像装置は、
第１、第２および第３の光で被写体が照明されているとき、第１領域に入射する光、第２領域に入射する光および第３領域に入射する光のそれぞれに対して撮像する、項目１から６のいずれかに記載の画像形成装置。

以下、図面を参照しながら、本開示の実施形態を詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。

（第１の実施形態）
図１は、本開示の第１の実施形態による画像形成装置の例示的な構成を示す。図１に示す画像形成装置１００Ａは、概略的には、複数の光出射部１２２を含む照明装置１２０Ａと、ビーム分離部１４４Ａと、撮像装置１４０Ａと、制御回路１６０とを有する。照明装置１２０Ａは、被写体を直線偏光または非偏光で照射し、撮像装置１４０Ａは、直線偏光または非偏光で照射された被写体を撮像する。図１に例示する構成において、制御回路１６０は、照明制御回路１６２および画像形成回路１６４を含む。

複数の光出射部１２２のそれぞれは、光源１２４と、光源１２４の前面に配置された偏光子１２６とを含む。各光出射部１２２からは、偏光子１２６の透過軸の方向に応じた直線偏光ＰＬが出射される。光源１２４としては、例えば、白色発光ダイオードまたは赤外線発光ダイオードなどの公知の発光素子を用いることができ、偏光子１２６としては、市販の偏光シートまたは金属ワイヤグリッド偏光子などを用いることができる。

後に詳しく説明するように、複数の光出射部１２２は、透過軸の方向が互いに６０°ずつ異なる３種の偏光子を含む。照明装置１２０Ａは、複数の光源１２４のうち、前面に配置された偏光子１２６の透過軸の方向が共通する光源１２４を選択的に点灯させることにより、偏光方向の異なる直線偏光で順次に被写体を照射することができる。また、複数の光源１２４の例えば全てを点灯させることにより、非偏光で被写体を照射することができる。本明細書において、「偏光方向」は、被写体から画像形成装置に向かう方向に沿って見たとき、基準方向（例えば水平方向）から電場ベクトルの振動方向に反時計回りに測った角度のうち、小さい方の角度を意味する。複数の光出射部１２２は、照明制御回路１６２の制御に基づいて駆動され得る。

撮像装置１４０Ａは、対物レンズ１４８Ａと、撮像素子１４２ａ、１４２ｂおよび１４２ｃとを有する。撮像素子１４２ａ〜１４２ｃとしては、ＣＣＤイメージセンサ、ＣＭＯＳ（Complementary MOS）イメージセンサ、および、半導体基板の上方に有機または無機の光電変換層が積層された、いわゆる積層型のイメージセンサなどを用いることができる。

図１に例示する構成において、ビーム分離部１４４Ａは、撮像装置１４０Ａの内部であって、対物レンズ１４８Ａを通過した光が入射する位置に配置されている。ビーム分離部１４４Ａは、典型的には、１以上のプリズム１４４ｐを含み、入射した光（ここでは被写体からの反射光）のビームから３つの光のビームを形成する。この例では、ビーム分離部１４４Ａは、互いに隣接する２つのプリズムの間に反射面Ｍ１およびＭ２を有している。図１において模式的に示すように、入射した光ビームの一部は、反射面Ｍ１において反射され、プリズムと空気との界面においてさらに反射されて撮像素子１４２ｃに向けて出射される。反射面Ｍ１を透過して反射面Ｍ２に到達した光ビームの一部は、反射面Ｍ２において反射され、反射面Ｍ１においてさらに反射されて撮像素子１４２ａに向けて出射される。反射面Ｍ１を透過した光ビームの残りの部分は、反射面Ｍ２をそのまま透過して撮像素子１４２ｂに向けて出射される。反射面Ｍ１は、入射した光ビームのおおよそ１／３の部分を反射させるように反射率が設計され、反射面Ｍ２は、入射した光ビームのおおよそ半分を反射させるように反射率が設計される。反射面Ｍ１およびＭ２が例えば金属膜または誘電体多層膜を有していてもよい。

ここでは、ビーム分離部１４４Ａは、被写体と撮像素子１４２ａとを結ぶ光路上に位置する検光子１４６ａ、被写体と撮像素子１４２ｂとを結ぶ光路上に位置する検光子１４６ｂ、および、被写体と撮像素子１４２ｃとを結ぶ光路上との間に位置する検光子１４６ｃをさらに有する。検光子１４６ａ、１４６ｂおよび１４６ｃには、光出射部１２２の偏光子１２６と同様に、市販の偏光シートまたは金属ワイヤグリッド偏光子などを用いることができる。ビーム分離部１４４Ａから出射されて撮像素子１４２ａに入射する第１の光ビームは、検光子１４６ａを通過した直線偏光のビームである。同様に、ビーム分離部１４４Ａから出射されて撮像素子１４２ｂに入射する第２の光ビームは、検光子１４６ｂを通過した直線偏光のビームであり、ビーム分離部１４４Ａから出射されて撮像素子１４２ｃに入射する第３の光ビームは、検光子１４６ｃを通過した直線偏光のビームである。

検光子１４６ａ、１４６ｂおよび１４６ｃは、互いに６０°ずつ異なる透過軸の方向を有する。検光子１４６ａ、１４６ｂおよび１４６ｃの透過軸の方向は、それぞれ、例えば０°、６０°、１２０°である。したがって、ここでは、ビーム分離部１４４Ａは、被写体からの戻り光から０°の偏光方向を有する第１成分、６０°の偏光方向を有する第２成分および１２０°の偏光方向を有する第３成分を分離し、それぞれ、撮像素子１４２ａ、１４２ｂおよび１４２ｃに向けて出射する。

撮像素子１４２ａの撮像面は、被写体からの戻り光のうち、０°の偏光成分（第１成分）を受け、撮像素子１４２ｂおよび１４２ｃは、被写体からの戻り光のうち、６０°の偏光成分（第２成分）および１２０°の偏光成分（第３成分）をそれぞれ受ける。つまり、撮像装置１４０Ａは、照明装置１２０Ａからの照明光（直線偏光または非偏光）のもとにおいて、被写体に関して、互いに異なる偏光成分に基づく３つの画像（以下、各画像を「偏光画像」と呼ぶことがある。）を一度に取得することができる。ここで、撮像素子１４２ａ、１４２ｂおよび１４２ｃの撮像面の全体を１つの撮像面とみなすと、撮像装置１４０Ａの撮像面が、第１成分を受ける第１領域Ｒａ、第２成分を受ける第２領域Ｒｂおよび第３成分を受ける第３領域Ｒｃを含んでいるということができる。この例では、第１領域Ｒａ、第２領域Ｒｂおよび第３領域Ｒｃは、それぞれ、撮像素子１４２ａ、１４２ｂおよび１４２ｃの撮像面である。

このように、撮像装置１４０Ａは、撮像素子１４２ａ、撮像素子１４２ｂおよび撮像素子１４２ｃによって、それぞれ、偏光方向が０°の光に関する偏光画像Ｃ０、偏光方向が６０°の光に関する偏光画像Ｃ６０および偏光方向が１２０°の光に関する偏光画像Ｃ１２０を１回の撮像で取得する。

図１中、偏光画像Ｃ０、Ｃ６０およびＣ１２０を模式的に示す矩形の内側の太い両矢印は、撮像素子に入射する光の電場ベクトルの振動方向、すなわち、偏光画像を構成する光の偏光方向を示している。ここでは、これらの太い両矢印によって示される方向は、対応する検光子の透過軸の方向に一致する。以下、本開示の他の図面においても、偏光画像を構成する光の偏光方向または検光子の透過軸の方向を太い両矢印によって示すことがある。

本明細書において、検光子の透過軸の方向は、撮像面に向かって見たとき、基準方向（例えば水平方向）から検光子の透過軸に平行な方向に反時計回りに測った角度のうち、小さい方の角度によって表現される。なお、上述の０°、６０°および１２０°の角度は、検光子１４６ａ、１４６ｂおよび１４６ｃの透過軸の絶対的な方向を意味しない。検光子１４６ａ、１４６ｂおよび１４６ｃの間で、透過軸の方向の相対的な関係が一定の関係を有していればよい。また、これらの角度の値は、あくまでも例示であり、検光子の透過軸の方向を示す角度が、本明細書中に示された具体的な値に厳密に一致している必要はない。例えば数°程度のずれは許容される。ただし、ずれが小さい方が光の利用効率の面で有利である。

図１に例示する構成において、制御回路１６０は、照明装置１２０Ａの動作を制御する照明制御回路１６２と、撮像装置１４０Ａからの信号に基づいて被写体の画像を形成する画像形成回路１６４とを含む。制御回路１６０は、例えばＣＰＵ（Central Processing Unit）を有するマイクロコントローラなどであり得る。照明制御回路１６２、ならびに、画像形成回路１６４は、単一のマイクロコントローラの一部であってもよいし、それぞれが独立した処理回路であってもよい。例えば、画像形成回路１６４が、ＤＳＰ（digital signal processor）、ＡＳＩＣ（application specific integrated circuit）またはＦＰＧＡ（field-programmable gate array）などによって実現されてもよい。制御回路１６０が１以上のメモリを有していてもよい。

画像形成装置１００Ａは、例えば、被写体を直線偏光で照射して撮像を実行する第１のモードと、被写体を非偏光で照射して撮像を実行する第２のモードとを選択可能に構成される。後に詳しく説明するように、照明制御回路１６２は、第１のモードでは、複数の光源１２４のうち、前面に配置された偏光子１２６の透過軸の方向が共通する光源１２４が選択的に点灯されるように照明装置１２０Ａを制御する。第１のモードでは、偏光面の角度が互いに６０°ずつ異なる直線偏光が照明装置１２０Ａから被写体に順次に照射される。撮像装置１４０Ａは、例えば制御回路１６０の制御に基づいて、照明装置１２０Ａの直線偏光の切り替えに同期して、偏光面の異なる光の照射ごとに撮像を実行する。すなわち、第１のモードでは、照明光の偏光状態を変えて３回の撮像が実行される。このとき、３回の撮像のそれぞれにおいて３枚の偏光画像Ｃ０、Ｃ６０およびＣ１２０が並列的に取得される。つまり、第１のモードにおいては、合計９枚の偏光画像が取得される。画像形成回路１６４は、これら９枚の偏光画像に基づいて被写体の画像を形成する。第１のモードを表面観察モードと呼んでもよい。

他方、第２のモードでは、照明制御回路１６２は、典型的には、複数の光源１２４の全てが点灯されるように照明装置１２０Ａを制御する。後述するように、このとき、実質的に非偏光で被写体を照明することができる。第２のモードにおいても、撮像装置１４０Ａは、３枚の偏光画像Ｃ０、Ｃ６０およびＣ１２０を取得する。このとき得られる偏光画像Ｃ０、Ｃ６０およびＣ１２０のデータは、被写体の形状の推定に利用可能である。第２のモードを形状測定モードと呼んでもよい。第１および第２のモードの間の切り替えは、例えば、不図示の入力デバイス（ボタン、タッチスクリーンなど）に対するユーザの指示に基づいて実行され得る。あるいは、メモリに保持されたプログラムの指示に沿った制御回路１６０の制御に基づき、これらのモードの間の切り替えが自動的に実行されてもよい。例えば、第１のモードの実行後に連続して自動的に第２のモードが実行されてもよい。第１のモードおよび第２のモードの実行の順序は、逆であってもよい。

本開示の典型的な実施形態によれば、照明光学系および撮像光学系を共通としながら、例えば被写体の表面の微細な凹凸の観察に有利な、直線偏光の照射のもとでの偏光撮像と、被写体の形状の推定に有用な情報を与える、非偏光の照射のもとでの偏光撮像とを単一の装置で切り替えて実行し得る。

図２は、被写体側から見た、複数の光出射部１２２の配置の典型例を示す。図２に示す例において、照明装置１２０Ａの複数の光出射部１２２は、複数の光出射部１２２ａ、１２２ｂおよび１２２ｃを含む。典型的には、光出射部１２２ａ〜１２２ｃは、同一の平面内に配置され、撮像装置１４０Ａの対物レンズ１４８Ａは、例えば、光出射部１２２ａ〜１２２ｃが配置された平面内に位置する。なお、複数の光出射部１２２ａに含まれ、複数の光出射部１２２ａの外部に光を出射する複数の第１面と、複数の光出射部１２２ｂに含まれ、複数の光出射部１２２ｂの外部に光を出射する複数の第２面と、複数の光出射部１２２ｃに含まれ、複数の光出射部１２２ｃの外部に光を出射する複数の第３面は同一の第１平面に配置されてもよい。また、対物レンズ１４８Ａの最先端面は第１平面とは同じ平面であってよい。

図２は、光出射部１２２ａ〜１２２ｃが配置された平面の法線方向に沿って被写体側から見たときの光出射部１２２ａ〜１２２ｃの典型的な配置を示している。この例では、複数の光出射部１２２は、被写体側から照明装置１２０Ａおよび撮像装置１４０Ａを見て撮像装置１４０Ａを取り囲むような配置を有している。複数の光出射部１２２が撮像装置１４０Ａを取り囲むことは必須ではないが、複数の光出射部１２２が撮像装置１４０Ａを取り囲むような配置を有していると装置の小型化に有利である。また、複数の光出射部１２２が撮像装置１４０Ａを取り囲むような配置を有すると、同軸照明に近い照明を実現し得る。

この例では、照明装置１２０Ａは、それぞれ４つの光出射部１２２ａ、１２２ｂおよび１２２ｃを有し、図２において破線の二重の円で示すようにこれらがリング状に配置されている。ここでは、光出射部１２２ａ、１２２ｂおよび１２２ｃの組が、対物レンズ１４８Ａの位置を中心とする円の円周上に沿って反時計回りに４組並んでいる。図２に例示する構成において、光出射部１２２ａ、１２２ｂおよび１２２ｃのそれぞれの中心は、正十二角形の頂点上に位置する。

本開示の典型的な実施形態において、偏光子１２６の透過軸の方向は、光出射部１２２ａ、１２２ｂおよび１２２ｃの間で互いに６０°ずつ異なっている。光出射部１２２ａにおける偏光子１２６の透過軸の方向は、例えば３０°であり、光出射部１２２ｂおよび光出射部１２２ｃにおける偏光子１２６の透過軸の方向は、例えばそれぞれ９０°および１５０°である。検光子の透過軸の方向を示す角度と同様に、偏光子の透過軸の方向を示す角度も、本明細書中に示された具体的な値に厳密に一致している必要はなく、例えば数°程度のずれは許容され得る。本明細書では、被写体から光源１２４に向かって見たとき、上述の基準方向から偏光子１２６の透過軸に平行な方向に反時計回りに測った角度のうち、小さい方の角度によって偏光子１２６の透過軸の方向を表現する。図２中、光出射部１２２ａ、１２２ｂおよび１２２ｃの位置に描かれた円の内側の太い両矢印は、被写体に照射される直線偏光の偏光方向を表しているといえる。本開示の他の図面においても、被写体に照射される直線偏光の偏光方向を円の内側の太い両矢印によって示すことがある。

透過軸の方向が光出射部１２２ａ、１２２ｂおよび１２２ｃの間で互いに６０°ずつ異なっている点は、検光子１４６ａ、１４６ｂおよび１４６ｃにおける透過軸の方向の関係と共通しているといえる。ただし、光出射部１２２ａ、１２２ｂおよび１２２ｃの偏光子１２６と、検光子１４６ａ、１４６ｂおよび１４６ｃとの間で透過軸の方向が一致していないことに注意すべきである。例えば、光出射部１２２ａにおける偏光子１２６の透過軸の方向は、ここでは３０°であり、この角度の値は、検光子１４６ａの透過軸の方向（０°）および検光子１４６ｂの透過軸の方向（６０°）の値から３０°異なっている。

図２に例示するような照明装置１２０Ａの構成によれば、複数の光出射部１２２のうち、光出射部１２２ｂおよび１２２ｃを消灯し、光出射部１２２ａを選択的に点灯させることにより、３０°の偏光方向を有する直線偏光で被写体を照射することができる。光出射部１２２ｂを選択的に点灯させれば、９０°の偏光方向を有する直線偏光で被写体を照射することができ、光出射部１２２ｃを選択的に点灯させれば、１５０°の偏光方向を有する直線偏光で被写体を照射することができる。あるいは、光出射部１２２ａ、１２２ｂおよび１２２ｃを一斉に点灯させることにより、非偏光で被写体を照射することができる。上述したように、ここでは、光出射部１２２ａ、１２２ｂおよび１２２ｃの間で偏光子１２６の透過軸の方向が互いに６０°ずつ異なっているので、光出射部１２２ａ、１２２ｂおよび１２２ｃからの直線偏光を均一に混合でき、実質的に非偏光を得ることができる。

図２に示す例では、例えば４つの光出射部１２２ａは、それぞれの中心が、ある円の円周上に位置するような配置を有し、かつ、４つの光出射部１２２ａのそれぞれの中心は、正方形の頂点上に位置している。換言すれば、４つの光出射部１２２ａの位置を結ぶと、正方形が描かれる。４つの光出射部１２２ｂも同様に、それぞれの中心が、対物レンズ１４８Ａの位置を中心とする正方形の頂点上に位置しており、４つの光出射部１２２ｃの中心も、対物レンズ１４８Ａの位置を中心とする正方形の頂点上に位置している。このように、出射される光の偏光方向が共通する複数の光出射部のそれぞれを結んだ図形の重心が例えば撮像装置の対物レンズの位置に一致するような光出射部の配置を採用することにより、被写体を直線偏光で均一に照明し得る。また、互いに異なる偏光方向を有する光を出射する光出射部の間で、偏光方向が共通する複数の光出射部のそれぞれを結んだ図形の重心が一致していると、被写体を非偏光で均一に照明し得るのでより有益である。

（画像形成装置の動作、第１のモード）
以下、画像形成装置１００Ａの動作の例を説明する。以下では、被写体として、透明または半透明かつ滑らかな表面を有する物体を例示する。このような物体の例は、生体（例えば人または動物）の眼球、錠剤の透明パッケージなどであり、ここでは、被写体として人の眼球を想定する。

まず、第１のモードにおける典型的な動作を説明する。

上述したように、第１のモードでは、照明制御回路１６２（図１参照）は、複数の光源１２４のうち、前面に配置された偏光子１２６の透過軸の方向が共通する光源１２４が選択的に点灯されるように照明装置１２０Ａを制御する。ここでは、光出射部１２２ａの光源１２４、光出射部１２２ｂの光源１２４および光出射部１２２ｃの光源１２４を順次に選択的に点灯させる。このような駆動により、被写体は、３０°の偏光方向を有する第１の直線偏光、９０°の偏光方向を有する第２の直線偏光、および、１５０°の偏光方向を有する第３の直線偏光で順次に照明される。

図３は、第１のモードにおいて撮像装置１４０Ａによって取得される偏光画像を説明するための模式図である。図３において例えば左側には、撮像装置１４０Ａの撮像素子１４２ａ、１４２ｂおよび１４２ｃに入射する光の偏光方向と、第１の直線偏光が照射されているときに撮像装置１４０Ａが取得する３枚の偏光画像との間の対応が模式的に示されている。以下、本明細書および図面において、偏光方向がｘ°の、被写体に照射される直線偏光をＬｘのように表現し、Ｌｘの照明光で被写体が照明されているときに取得される、電場ベクトルの振動方向がｙ°の光に基づく画像をＬｘＣｙと表現する。例えば、偏光方向が３０°の直線偏光で被写体が照明されているときに取得される、偏光方向が０°の状態にある光に基づく偏光画像をＬ３０Ｃ０のように記述する。

光出射部１２２ａの光源１２４が選択的に点灯されているとき、３０°の偏光方向を有する第１の直線偏光が被写体（ここでは人の眼球）に照射される。なお、人の眼球は、透明かつ滑らかな表面の角膜を有し、光出射部１２２ａからの照明光は、眼球の表面およびその近傍で反射され、偏光状態にはほとんど変化は生じない。被写体からの戻り光のビームは、ビーム分離部１４４Ａによって３つの光ビームに分割され、撮像素子１４２ａ、撮像素子１４２ｂおよび撮像素子１４２ｃは、それぞれ、検光子１４６ａ、１４６ｂおよび１４６ｃを通過した光を受ける。例えば撮像素子１４２ａには、０°の方向に偏光した状態にある光が入射する。

３０°の偏光方向を有する照明光Ｌ３０が照射されているとき、図３において左側に模式的に示すように、撮像装置１４０Ａは、撮像素子１４２ａ、撮像素子１４２ｂおよび撮像素子１４２ｃによってそれぞれ偏光画像Ｌ３０Ｃ０、Ｌ３０Ｃ６０およびＬ３０Ｃ１２０を撮像する。これらのうち、偏光画像Ｌ３０Ｃ１２０は、被写体に照射される光の偏光方向と、撮像素子に入射する光の偏光方向とが互いに直交する直交ニコル画像である。

次に、照明制御回路１６２は、光出射部１２２ｂの光源１２４を選択的に点灯させる。図３の中央には、このときに撮像装置１４０Ａが取得する３枚の偏光画像の群を模式的に示している。光出射部１２２ｂの光源１２４が選択的に点灯されているとき、９０°の偏光方向を有する第２の直線偏光が被写体に照射される。このとき、撮像装置１４０Ａは、偏光画像Ｌ９０Ｃ０、Ｌ９０Ｃ６０およびＬ９０Ｃ１２０を撮像する。これらのうち、偏光画像Ｌ９０Ｃ０は、直交ニコル画像である。

さらに、照明制御回路１６２は、光出射部１２２ｃの光源１２４を選択的に点灯させる。図３の右側に模式的に示すように、光出射部１２２ｃの光源１２４が選択的に点灯されているとき、１５０°の偏光方向を有する第３の直線偏光が被写体に照射される。このとき、撮像装置１４０Ａは、偏光画像Ｌ１５０Ｃ０、Ｌ１５０Ｃ６０およびＬ１５０Ｃ１２０を撮像する。これらのうち、偏光画像Ｌ１５０Ｃ１６０は、直交ニコル画像である。図３からわかるように、偏光画像Ｌ３０Ｃ０、Ｌ９０Ｃ０およびＬ１５０Ｃ０は、いずれも、撮像装置１４０Ａの第１領域Ｒａに入射する光の信号によって構成される画像であり、偏光画像Ｌ３０Ｃ６０、Ｌ９０Ｃ６０およびＬ１５０Ｃ６０は、いずれも、撮像装置１４０Ａの第２領域Ｒｂに入射する光の信号によって構成される画像である。偏光画像Ｌ３０Ｃ１２０、Ｌ９０Ｃ１２０およびＬ１５０Ｃ１２０は、いずれも、撮像装置１４０Ａの第３領域Ｒｃに入射する光の信号によって構成される画像である。

画像形成回路１６４（図１参照）は、照明光の偏光状態を変えて取得された合計９枚の偏光画像に基づき、被写体の画像を生成する。以下、画像形成回路１６４による処理の例を説明する。

図４は、画像形成回路１６４による典型的な処理の概略を示す。ここで説明する例では、画像形成回路１６４は、概略的には、被写体の画像として、平均化された平行ニコル画像と、平均化された直交ニコル画像との差分処理の結果である偏光差分画像のデータを生成する。非特許文献１に記載されているように、被写体に関して平行ニコル画像および直交ニコル画像を取得し、これらの差分を求めることにより、被写体の表面の微細な凹凸に起因するコントラストが強調された画像データを得ることができる。平行ニコル画像および直交ニコル画像の差分に基づいて、被写体上の傷、異物などに関する有用な情報を得ることが可能である。

非特許文献１および特許文献１に記載の技術では、０°の偏光方向を有する照明光および９０°の偏光方向を有する照明光のそれぞれの照射のもとで平行ニコル画像と直交ニコル画像とを取得する。さらに、偏光方向が互いに異なる照明光のもとで取得された平行ニコル画像と直交ニコル画像とをそれぞれ平均化し、これらの差分を求めている。本明細書における偏光画像の表記を用いれば、この処理は、（Ｌ０Ｃ０＋Ｌ９０Ｃ９０）／２−（Ｌ０Ｃ９０＋Ｌ９０Ｃ０）／２と表現される。このような処理を採用している理由は、平行ニコル画像および直交ニコル画像のそれぞれの取得において例えば異なる撮像素子および検光子の組を用い、単純にこれらの画像に対して差分処理を施すと、画像取得に用いた撮像光学系の特性の違いに起因して差分処理の結果に比較的大きなノイズが含まれてしまうことがあるからである。

図３を参照して説明したように、第１の直線偏光の照射のもとで得られる３枚の偏光画像、第２の直線偏光の照射のもとで得られる３枚の偏光画像、および、第３の直線偏光の照射のもとで得られる３枚の偏光画像のそれぞれには、必ず１枚の直交ニコル画像が含まれる。したがって、ここでは、図４に模式的に示すように、各直線偏光の照射のもとで得られる直交ニコル画像Ｌ３０Ｃ１２０、Ｌ９０Ｃ０およびＬ１５０Ｃ６０を平均化することにより、平均化直交ニコル画像ＯＡを形成する。ここで、「平均化する」とは、複数の画像の間で対応する画素同士の画素値の算術平均を算出することを意味する。したがって、平均化直交ニコル画像ＯＡを（Ｌ３０Ｃ１２０＋Ｌ９０Ｃ０＋Ｌ１５０Ｃ６０）／３のように表現することができる。

他方、偏光方向を変えて得られる合計９枚の偏光画像には、平行ニコル画像は含まれていない。そのため、ここでは、平行ニコル画像以外の６枚の偏光画像から２枚ずつ偏光画像を選択し、３枚の擬似的な平行ニコル画像を形成する。例えば、偏光画像Ｌ３０Ｃ０およびＬ１５０Ｃ０に注目すると、これらの偏光画像の取得時に被写体に照射される直線偏光の偏光方向は、図５に模式的に示すように、検光子１４６ａの透過軸の方向である０°に対して±３０°ずれた角度である。したがって、偏光画像Ｌ３０Ｃ０およびＬ１５０Ｃ０を平均化した画像ＰＣ０（図４参照）は、偏光方向が０°の直線偏光で被写体を照射したときに得られる平行ニコル画像を擬似的に表現する画像とみなすことができる。同様に、偏光画像Ｌ３０Ｃ６０およびＬ９０Ｃ６０を平均化した画像ＰＣ６０（図４参照）は、偏光方向が６０°の直線偏光でもとで得られる平行ニコル画像を擬似的に表現し、偏光画像Ｌ９０Ｃ１２０およびＬ１５０Ｃ１２０を平均化した画像ＰＣ１２０（図４参照）は、偏光方向が１２０°の直線偏光の照射のもとで得られる平行ニコル画像を擬似的に表現するといえる。

画像ＰＣ０と、画像ＰＣ６０と、画像ＰＣ１２０との平均化は、偏光方向が０°、６０°および１２０°の直線偏光のもとでそれぞれ得られる平行ニコル画像を平均化した結果と同様の結果を与えるといえる。ただし、例えば画像ＰＣ０に注目すると、偏光画像Ｌ３０Ｃ０およびＬ１５０Ｃ０では被写体に照射される直線偏光の偏光方向が検光子１４６ａの透過軸の方向に対して正または負に３０°ずれているので、撮像素子１４２ａに入射する光の強度は、直線偏光の偏光方向が検光子１４６ａの透過軸の方向に一致している場合の強度のｃｏｓ²３０°倍となる。この点を考慮して、図４に模式的に示すように、ここでは、画像形成回路１６４は、直交ニコル画像以外の６枚の偏光画像を平均化した画像ＰＡを形成し、補正係数（１／ｃｏｓ²３０°）＝（４／３）を乗じることにより、平均化擬似平行ニコル画像ＳＰＡを形成する。なお、ＬｘＣｙの表記を用いれば、平均化擬似平行ニコル画像ＳＰＡを、（２／３）＊（Ｌ３０Ｃ０＋Ｌ１５０Ｃ０＋Ｌ３０Ｃ６０＋Ｌ９０Ｃ６０＋Ｌ９０Ｃ１２０＋Ｌ１５０Ｃ１２０）／３と表現することができる。なお、「＊」は、乗算を表す。

画像形成回路１６４は、さらに、被写体の画像として、平均化擬似平行ニコル画像ＳＰＡおよび平均化直交ニコル画像ＯＡを差分処理することによって得られる画像ＰＤを形成する。画像ＰＤは、下記の式（１）のように表現される。

式（１）を変形すれば、下記の式（２）が得られる。

式（２）において、角括弧内の例えば第１項は、透過軸の方向が０°の検光子を透過した光に基づく平行ニコル画像および直交ニコル画像の差分に相当する。式（２）からわかるように、最終的に得られる画像ＰＤは、透過軸の方向が０°の検光子を透過した光に基づく平行ニコル画像および直交ニコル画像の差分と、透過軸の方向が６０°の検光子を透過した光に基づく平行ニコル画像および直交ニコル画像の差分と、透過軸の方向が１２０°の検光子を透過した光に基づく平行ニコル画像および直交ニコル画像の差分とを平均化した結果と実質的に等価な結果を表現する。すなわち、画像ＰＤは、検光子１４６ａと撮像素子１４２ａとの組、検光子１４６ｂと撮像素子１４２ｂとの組、および、検光子１４６ｃと撮像素子１４２ｃとの組によってそれぞれ平行ニコル画像と直交ニコル画像とを取得し、これらの組ごとに平行ニコル画像および直交ニコル画像の差分を求め、３つの差分を平均化したときと同様の結果を与える。

平均化擬似平行ニコル画像ＳＰＡおよび平均化直交ニコル画像ＯＡの差分に基づいて画像ＰＤを求める上述の処理によれば、処理の過程で、ビーム分離部１４４Ａにおける光路の差異、撮像素子１４２ａ〜１４２ｃ間の特性の差異などの影響が平均化される。したがって、これらの差異に起因する画質の劣化を抑制し得る。また、式（２）は、被写体に照射される直線偏光の偏光方向に関しても対称的な形をしており、したがって、上述の処理によれば、光出射部１２２ａ〜１２２ｃの間における光源１２４の特性も平均化され、高品位の被写体画像が得られることがわかる。

図６は、照明装置１２０Ａ中の偏光子１２６の透過軸の方向と、検光子１４６ａ〜１４６ｃの透過軸の方向との間の関係を示す。図６中の白丸「○」および黒丸「●」は、それぞれ、偏光子１２６の透過軸の方向と、検光子１４６ａ〜１４６ｃの透過軸の方向とを示す。図６に示すように、照明装置１２０Ａに含まれる偏光子１２６の透過軸の方向は、３０°、９０°および１５０°の６０°間隔であり、０°〜１８０°の範囲で均等に分布している。検光子１４６ａの透過軸の方向、検光子１４６ｂの透過軸の方向および検光子１４６ｃの透過軸の方向は、それぞれ、０°、６０°および１２０°の６０°間隔であり、これらも０°〜１８０°の範囲で均等に分布している。また、互いに隣接する白丸および黒丸の組の間隔は、いずれの組についても３０°である。

第１モードにおける、第１領域Ｒａに入射する光、第２領域Ｒｂに入射する光、および、第３領域Ｒｃに入射する光のそれぞれについての偏光方向と、被写体を照明する直線偏光の偏光方向との間の関係も、図６のグラフ中の３つの白丸および３つの黒丸の組み合わせと同様の関係を有する。図６に示されるように、本開示の典型的な実施形態では、３つの白丸および３つの黒丸が均等な分布を示すように、例えば偏光子および検光子における透過軸の方向が選ばれる。図６の例のように３つの白丸および３つの黒丸が１８０°の範囲において均等に分布していると、９枚の偏光画像の間で照明光に関する３種の偏光方向と、撮像面に入射する光に関する３種の偏光方向とをバランスよく利用できるので有益である。結果として、平均化擬似平行ニコル画像ＳＰＡおよび平均化直交ニコル画像ＯＡの形成において、照明光および撮像面に入射する光に関する偏光方向の均等化の効果が得られる。

図７は、上述の非特許文献２の内視鏡装置における、照明側の偏光子および撮像側の検光子における透過軸の方向の関係を比較例として示す。図７中の白丸「○」および黒丸「●」は、それぞれ、照明側の偏光子の透過軸の方向と、撮像側の検光子の透過軸の方向とを示す。

この例では、３つの白丸のそれぞれについて、９０°離れた位置に、対応する黒丸が存在している。つまり、このような透過軸の方向の選択によれば、３つの直交ニコル画像を得ることができる。また、０°および９０°の位置に白丸および黒丸の組が存在しているので、照明光の偏光方向が０°および９０°の平行ニコル画像を得ることができる。しかしながら、照明光の偏光方向が１３５°の平行ニコル画像を得ることはできないので、上述したような平均化擬似平行ニコル画像ＳＰＡおよび平均化直交ニコル画像ＯＡの差分をそのまま適用することはできない。また、この例では、互いに隣接する２つの白丸の間隔が４５°であるが、１３５°の位置に白丸が存在しておらず、偏光子の透過軸の方向は、１８０°の範囲で分布に偏りを有する。撮像側の検光子については、互いに隣接する２つの黒丸の間隔が９０°または４５°であり、等間隔ではない。したがって、たとえ照明光の偏光方向が４５°の平行ニコル画像に相当する画像を別個に生成して平均化擬似平行ニコル画像ＳＰＡおよび平均化直交ニコル画像ＯＡの差分処理を適用したとしても、平均化の効果を十分に得ることはできない。なお、このような偏光子の透過軸の方向の選択によっては、偏光方向が互いに異なる３種の偏光をたとえ混合したとしても非偏光を得ることは困難である。

図４を参照しながら説明した、平均化擬似平行ニコル画像ＳＰＡおよび平均化直交ニコル画像ＯＡの差分を求める処理によれば、さらに、以下のような利点も得られる。

図８は、０°の偏光方向を有する直線偏光の照射のもとで生物の眼球を撮像したときに得られる直交ニコル画像の例を示す。図９は、図８に示す直交ニコル画像の取得時の光源、被写体およびカメラの配置を示す。ここでは被写体７０１として魚の眼球を選択し、図９に模式的に示されるように、被写体７０１とカメラ７０４とを結ぶ直線に対して同軸状態に近い５°の方向に光源７１０を配置して撮像している。光源７１０と被写体７０１との間には透過軸の方向が０°の偏光子が配置されている。被写体７０１とカメラ７０４との間には透過軸の方向が９０°の検光子が配置されている。この例では被写体７０１に照射される光は、０°の偏光方向を有する。

生物の眼球を被写体として直交ニコル画像を取得すると、図８に示すように、画像中に十字状の暗いパターン７０５が現れることがある。図８からわかるように、暗いパターン７０５は、瞳孔の位置に生じる。このような暗いパターン７０５の発生は、眼球の角膜および水晶体の複屈折特性に起因する現象とされている。このような暗いパターン７０５の発生は、被写体の画像を劣化させる原因となり得る。また、図８に示す例では、この暗いパターン７０５は、０°の方向に延びる部分と、９０°方向に延びる部分とを有している。つまり、入射する直線偏光の偏光方向およびその直交方向に平行に暗い部分が発生していることがわかる。したがって、暗いパターン７０５の発生には、照明光における電場ベクトルの振動方向の異方性が影響していると推測される。

このように、生物の眼球を被写体とした場合、単純に取得した直交ニコル画像では、画像中に暗いパターン７０５が混入するために、被写体に関して正確な情報が得られない可能性がある。以下に説明するように、被写体の画像として画像ＰＤを形成する処理によれば、このような暗いパターンの影響を除去し得る。

図１０は、平均化直交ニコル画像ＯＡの形成による、十字状の暗いパターンの影響の除去の原理を模式的に示す。図３を参照して説明したように、本開示の典型的な実施形態では、照明光の偏光方向ごとに１枚の直交ニコル画像が取得される。図１０において模式的に示すように、これらの直交ニコル画像（ここでは偏光画像Ｌ９０Ｃ０、Ｌ１５０Ｃ６０およびＬ３０Ｃ１２０）は、十字状の暗いパターン７０５を含み得る。ただし、これらの複数の画像の間で、十字状の暗いパターン７０５中の暗い部分が延びる方向は、互いに異なる。例えば偏光画像Ｌ９０Ｃ０中に現れる暗い部分は、０°および９０°の方向に沿って延び、偏光画像Ｌ１５０Ｃ６０中に現れる暗い部分は、６０°および１５０°の方向に沿って延びる。つまり、照明光の偏光方向が６０°異なっていることに対応して、暗い部分が延びる方向は、偏光画像Ｌ９０Ｃ０およびＬ１５０Ｃ１２０の間で６０°異なる。

図１０において模式的に示すように、平均化直交ニコル画像ＯＡは、偏光画像Ｌ９０Ｃ０、Ｌ１５０Ｃ６０およびＬ３０Ｃ１２０を合成することによって構築することができる。ここで、異なる偏光画像の間で暗い部分の延びる方向が６０°異なるので、各偏光画像中の暗いパターン７０５が空間的に平均化される。ここでは、３つの偏光画像の間で照明光の偏光方向が互いに６０°異なっているので、各偏光画像中の暗いパターン７０５が均等に平均化され、結果として、暗いパターン７０５の影響が除去された平均化直交ニコル画像ＯＡが形成される。すなわち、被写体の画像としての画像ＰＤは、暗いパターン７０５の影響が除去された画像となる。

なお、基準平面、基準平面に含まれる基準直線の周りの第１方向に３０度回転させた第２平面、基準直線の周りの第１方向に９０度回転させた第４平面、および、基準直線の周りの第１方向に１５０度回転させた第６平面を仮定してもよい。

複数の光出射部１２２ａのそれぞれは第２平面に平行な第１平面上で振動する光を透過し、第２平面に平行でない平面で振動する光を透過しない第１偏光子を含んでもよい。複数の光出射部１２２ａは複数の第１平面上で振動する第１光を、第１期間に、被写体に照明してもよい。複数の光出射部１２２ｂのそれぞれは第４平面に平行な第３平面上で振動する光を透過し、第３平面に平行でない平面で振動する光を透過しない第２偏光子を含んでもよい。複数の光出射部１２２ｂは複数の第３平面上で振動する第２光を、第２期間に、被写体に照明してもよい。複数の光出射部１２２ｃのそれぞれは第６平面に平行な第５平面上で振動する光を透過し、第５平面に平行でない平面で振動する光を透過しない第３偏光子を含んでもよい。複数の光出射部１２２ｃは複数の第５平面上で振動する第３光を、第３期間に、被写体に照明してもよい。第１期間は第２期間と重ならず、かつ、第１期間は第３期間と重ならず、かつ、第２期間は第３期間と重ならなくてもよい。

ビーム分離器は、被写体が第１光を反射して出力する第１反射光を受光して第１偏向光、第２偏向光、第３偏向光を出力し、被写体が第２光を反射して出力する第２反射光を受光して、第４偏向光、第５偏向光、第６偏向光を出力し、被写体が第３光を反射して出力する第３反射光を受光して、第７偏向光、第８偏向光、第９偏向光を出力してもよい。ビーム分離部１４４Ａであるビーム分離器は検光子１４６ａである第１検光子、検光子１４６ｂである第２検光子、検光子１４６ｃである第３検光子を備えてもよい。ビーム分離器は受光した第１反射光を分離して第１分離光、第２分離光、第３分離光を生成してもよい。第１検光子は、第１分離光を受光し、第１偏向光を出力してもよい。第２検光子は、第２分離光を受光し、第２偏向光を出力してもよい。第３検光子は、第３分離光を受光し、第３偏向光を出力してもよい。ビーム分離器は受光した第２反射光を分離して第４分離光、第５分離光、第６分離光を生成してもよい。第１検光子は、第４分離光を受光し、第４偏向光を出力してもよい。第２検光子は、第５分離光を受光し、第５偏向光を出力してもよい。第３検光子は、第６分離光を受光し、第６偏向光を出力してもよい。ビーム分離器は受光した第３反射光を分離して第７分離光、第８分離光、第９分離光を生成してもよい。第１検光子は、第７分離光を受光し、第７偏向光を出力してもよい。第８検光子は、第８分離光を受光し、第８偏向光を出力してもよい。第９検光子は、第９分離光を受光し、第９偏向光を出力してもよい。

第１偏向光、第４偏向光、第７偏向光のそれぞれは、基準平面に平行な第７平面上で振動し、第２偏向光、第５偏向光、第８偏向光のそれぞれは、基準平面を、基準平面に含まれる基準直線の周りの第１方向に６０度回転させた第９平面に平行な第８平面上で振動し、第３偏向光、第６偏向光、第９偏向光のそれぞれは、基準平面を、基準直線の周りの第１方向に１２０度回転させた第１１平面に平行な第１０平面上で振動してもよい。

なお、撮像素子１４２ａは複数の第１画素、撮像素子１４２ｂは複数の第２画素、および撮像素子１４２ｃは複数の第３画素を含んでもよい。複数の第１画素は複数の第２画素と１対１に対応し、複数の第１画素は複数の第３画素と１対１に対応してもよい。

複数の第１画素は、第１偏向光を受光し、複数の第１画素のそれぞれに対応する複数の第１画素値を含む偏光画像Ｌ３０Ｃ０を出力してもよい。複数の第２画素は、第２偏向光を受光し、複数の第２画素のそれぞれに対応する複数の第２画素値を含む偏光画像Ｌ３０Ｃ６０を出力してもよい。複数の第３画素は、第３偏向光を受光し、複数の第３画素のそれぞれに対応する複数の第３画素値を含む偏光画像Ｌ３０Ｃ１２０を出力してもよい。複数の第１画素は、第４偏向光を受光し、複数の第１画素のそれぞれに対応する複数の第４画素値を含む偏光画像Ｌ９０Ｃ０を出力してもよい。複数の第２画素は、第５偏向光を受光し、複数の第２画素のそれぞれに対応する複数の第５画素値を含む偏光画像Ｌ９０Ｃ６０を出力してもよい。複数の第３画素は、第６偏向光を受光し、複数の第３画素のそれぞれに対応する複数の第６画素値を含む偏光画像Ｌ９０Ｃ１２０を出力してもよい。複数の第１画素は、第７偏向光を受光し、複数の第１画素のそれぞれに対応する複数の第７画素値を含む偏光画像Ｌ１５０Ｃ０を出力してもよい。複数の第２画素は、第８偏向光を受光し、複数の第２画素のそれぞれに対応する複数の第８画素値を含む偏光画像Ｌ１５０Ｃ６０を出力してもよい。複数の第３画素は、第９偏向光を受光し、複数の第３画素のそれぞれに対応する複数の第９画素値を含む偏光画像Ｌ１５０Ｃ１２０を出力してもよい。

画像形成回路は、画素値ｐ（ｉ）＝（ｐ１（ｉ）＋ｐ２（ｉ）＋ｐ５（ｉ）＋ｐ６（ｉ）＋ｐ７（ｉ）＋ｐ９（ｉ））×（２／９）−（ｐ３（ｉ）＋ｐ４（ｉ）＋ｐ８（ｉ））/３を算出し、算出した画素値に基づいて、被写体の画像を生成してもよい。ｐ１（ｉ）は複数の第１画素値に含まれ、ｐ２（ｉ）は複数の第２画素値に含まれ、ｐ３（ｉ）は複数の第３画素値に含まれ、ｐ４（ｉ）は複数の第４画素値に含まれ、ｐ５（ｉ）は複数の第５画素値に含まれ、ｐ６（ｉ）は複数の第６画素値に含まれ、ｐ７（ｉ）は複数の第７画素値に含まれ、ｐ８（ｉ）は複数の第８画素値に含まれ、ｐ９（ｉ）は複数の第９画素値に含まれてもよい。ｐ１（ｉ）は、ｐ２（ｉ）、ｐ３（ｉ）、ｐ４（ｉ）、ｐ５（ｉ）、ｐ６（ｉ）、ｐ７（ｉ）、ｐ８（ｉ）、ｐ９（ｉ）に対応し、前記ｉは自然数であってもよい。

被写体の画像における、画素値ｐ（ｉ）に対応する画素の位置は、偏光画像Ｌ３０Ｃ０に含まれる画素の位置のうちｐ１（ｉ）に対応する画素の位置、または、偏光画像Ｌ３０Ｃ６０に含まれる画素の位置のうちｐ２（ｉ）に対応する画素の位置、または、偏光画像Ｌ３０Ｃ１２０に含まれる画素の位置のうちｐ３（ｉ）に対応する画素の位置、または、偏光画像Ｌ９０Ｃ０に含まれる画素の位置のうちｐ４（ｉ）に対応する画素の位置、または、偏光画像Ｌ９０Ｃ６０に含まれる画素の位置のうちｐ５（ｉ）に対応する画素の位置、または、偏光画像Ｌ９０Ｃ１２０に含まれる画素の位置のうちｐ６（ｉ）に対応する画素の位置、または、偏光画像Ｌ１５０Ｃ０に含まれる画素の位置のうちｐ７（ｉ）に対応する画素の位置、または、偏光画像Ｌ１５０Ｃ６０に含まれる画素の位置のうちｐ８（ｉ）に対応する画素の位置、または、偏光画像Ｌ１５０Ｃ１２０に含まれる画素の位置のうちｐ９（ｉ）に対応する画素の位置であってもよい。

（画像形成装置の動作、第２のモード）
次に、第２のモードにおける典型的な動作を説明する。

第２のモードは、透明または半透明かつ滑らかな表面を有する物体の形状の推定に有用なモードであり、第２のモードでは、被写体に非偏光を照射し、被写体からの戻り光に基づく画像データを取得する。被写体に非偏光を照射し、被写体からの戻り光の偏光状態に基づいて被写体の形状を推定する技術は、Ｓｈａｐｅ Ｆｒｏｍ Ｐｏｌａｒｉｚａｔｉｏｎと呼ばれる。非特許文献４において説明されているように、Ｓｈａｐｅ Ｆｒｏｍ Ｐｏｌａｒｉｚａｔｉｏｎにおいては、一般に、被写体に対して大域的に非偏光を照射した状態でカメラ側の検光子を回転させて、互いに検光子の透過軸の方向が異なる少なくとも３枚の画像を取得する。以下に説明するように、本開示の実施形態によれば、別途に照明光学系および撮像光学系を設けることなく、Ｓｈａｐｅ Ｆｒｏｍ Ｐｏｌａｒｉｚａｔｉｏｎに必要な画像データを取得可能な画像形成装置を提供することができる。

図１１は、第２のモードにおける照明装置１２０Ａの動作を説明するための模式図である。第２のモードでは、照明制御回路１６２（図１参照）は、光出射部１２２ａ、光出射部１２２ｂおよび光出射部１２２ｃの光源１２４を同時に点灯させる。つまり、照明装置１２０Ａは、３０°の偏光方向を有する光、９０°の偏光方向を有する光および１５０°の偏光方向を有する光で同時に被写体を照明する。このとき、図１１に模式的に示すように、光出射部１２２ａ、１２２ｂおよび１２２ｃからの直線偏光が混合され、実質的に非偏光の照明光ＮＰが被写体に照射される。

図１２は、被写体からの戻り光の偏光状態と、撮像装置１４０Ａによって取得される３枚の偏光画像との間の関係を模式的に示す。図１２に模式的に示すように、被写体からの戻り光は、部分偏光となる。照明装置１２０Ａからの照明光ＮＰの照射時、撮像装置１４０Ａの撮像素子１４２ａは、被写体からの戻り光のうち、偏光方向が０°の光に基づく偏光画像ＮＣ０を取得する。撮像素子１４２ｂおよび１４２ｃは、被写体からの戻り光のうち、偏光方向が６０°の光に基づく偏光画像ＮＣ６０および偏光方向が１２０°の光に基づく偏光画像ＮＣ１２０をそれぞれ取得する。

このように、画像形成装置１００Ａによれば、照明光学系および撮像光学系の構成に変更を加えることなく、選択されたモードに応じて、点灯させる光源を切り替えることによって、Ｓｈａｐｅ Ｆｒｏｍ Ｐｏｌａｒｉｚａｔｉｏｎに利用可能な３枚の偏光画像ＮＣ０、ＮＣ６０およびＮＣ１２０のデータを取得することができる。しかも、これらの３枚の偏光画像を一度の撮像で取得することができ、検光子の角度を変えて少なくとも３回の撮像を実行する従来の手法と比較して、撮像に要する時間を短縮することができる。

偏光画像ＮＣ０、ＮＣ６０およびＮＣ１２０が取得できれば、非特許文献３または非特許文献４に記載されているような手法を適用することにより、偏光画像ＮＣ０、ＮＣ６０およびＮＣ１２０に基づいて被写体の形状を推定することが可能である。例えば非特許文献４に記載されているように、検光子を回転させながら撮像すると、検光子を透過した光の強度（得られる画像中の画素の輝度値といってもよい。）は、１８０°周期の正弦関数状の変化を示す。検光子の角度を変えて被写体に関して少なくとも３枚の画像を得ることにより、検光子を透過した光の強度を表す正弦曲線を決定することができる。この正弦曲線は、位相角φおよび検光子の回転角θ_pの関数であり、この正弦曲線が決定できれば、位相角φから、被写体の表面にたてた法線ベクトルの方位角を決定できる。また、この正弦曲線に基づいて偏光度ρを求めることができ、偏光度ρから、法線ベクトルの天頂角を決定できる。なお、位相角φは、基準方向と、電場ベクトルの振幅が最も大きい、戻り光の偏光成分の電場ベクトルの振動方向とがなす角であり、φ＝θ_pのとき、正弦曲線を表す関数は、最大値をとる。参考のため、非特許文献３および非特許文献４の開示内容の全てを本明細書に援用する。

図１３は、画像形成装置１００Ａ中の検光子１４６ａ、１４６ｂおよび１４６ｃの透過軸の方向と、このような透過軸の方向の設定のもとで取得される偏光画像に基づいて決定される正弦曲線との間の関係を示す。図１３中の黒丸「●」は、検光子１４６ａ〜１４６ｃの透過軸の方向を示す。図１３中のグラフは、偏光画像ＮＣ０、ＮＣ６０およびＮＣ１２０に基づいて決定される正弦曲線であり、検光子の角度を変えて撮像を行ったとした場合に得られる画像中の画素の輝度値の変化を表す。

本開示の典型的な実施形態では、一度の撮像において、偏光方向が互いに６０°ずつ異なる光のそれぞれに関する偏光画像が取得される。図６を参照しながら説明したように、検光子１４６ａ〜１４６ｃの透過軸の方向を示す黒丸は、１８０°の範囲において６０°間隔で均等に分布する。したがって、第２のモードで取得される３枚の偏光画像を利用すれば、例えば非特許文献４のように検光子を０°、４５°および９０°の４５°間隔で回転させて撮像を実行した場合と比較して高精度に正弦曲線を決定できると期待できる。同様の理由から、本開示の典型的な実施形態は、撮像側の検光子の透過軸の方向を０°、９０°および１３５°（−４５°）として撮像を実行する非特許文献２（図７参照）の構成に対しても優位性を有するといえる。また、図６からわかるように、本開示の典型的な実施形態では、偏光子１２６の透過軸の方向が、１８０°の範囲で均等に分布するように選ばれるので、正弦曲線の振幅、平均および位相の３つのパラメータを精度よく決定し得る。

図１４は、上述の特許文献２の内視鏡装置における、偏光照射部から被写体に照射される光の偏光方向およびＣＣＤカメラに入射する光の偏光方向の関係を比較例として示す。図１４中の白丸「○」および黒丸「●」は、それぞれ、偏光照射部から照射される光の偏光方向と、ＣＣＤカメラに入射する光の偏光方向とを示す。この例では、４つの白丸および黒丸が０°、４５°、９０°および１３５°（−４５°）に位置している。

図１４に示す比較例では、４つの白丸および４つの黒丸が４５°間隔で並んでいる。１８０°の範囲で偏光方向を均等に分布させるという点では、図１４に示す偏光方向の選択は、有効であるものの、Ｓｈａｐｅ Ｆｒｏｍ Ｐｏｌａｒｉｚａｔｉｏｎの適用ために偏光方向が互いに４５°ずつ異なる光のそれぞれに関する４枚の偏光画像を一括して取得しようとすると、例えば偏光モザイクフィルタが必要になり、複雑な光学系を用いる必要が生じてしまう。

本開示の典型的な実施形態によれば、１回の撮像で３枚の偏光画像が得られるので、被写体の形状の推定に必要な撮像にかかる時間を短縮し得る。また、撮像面に入射する光に関する３種の偏光方向が１８０°の範囲で均等に設定されているので、被写体の形状の推定に要する計算を効率的に実行し得る。上述した、照明制御回路１６２および画像形成回路１６４の機能は、汎用の処理回路とソフトウェアとの組み合わせによって実現されてもよいし、このような処理に特化したハードウェアによって実現されてもよい。上述の第１のモードおよび第２のモードは、順次に連続して実行されてもよいし、例えば同一の被写体に関して第１のモードによる撮像を実行した後、時間をあけて第２のモードによる撮像を実行してもよい。なお、いずれのモードを先に行うかは、任意に決定してよい。第１のモードおよび第２のモードの一方または両方において、照明光の偏光面を変えての撮像を繰り返してもよい。

（第２の実施形態）
図１５は、本開示の第２の実施形態による画像形成装置の例示的な構成を示す。図１５に示す画像形成装置１００Ｂは、図１を参照して説明した画像形成装置１００Ａと比較して、撮像装置１４０Ａに代えて撮像装置１４０Ｂを有する。第１の実施形態と同様に、照明装置１２０Ａは、被写体２００を直線偏光または非偏光で照明し、撮像装置１４０Ｂは、照明装置１２０Ａからの光（直線偏光または非偏光）で照明された状態にある被写体２００を撮像する。

撮像装置１４０Ｂは、撮像面１４２ｓを有する撮像素子１４２Ｂと、撮像素子１４２Ｂを収容する筐体１４９Ｂとを有する。撮像素子１４２Ｂの撮像面１４２ｓは、第１領域Ｒａ、第２領域Ｒｂおよび第３領域Ｒｃを含む。第１領域Ｒａ、第２領域Ｒｂおよび第３領域Ｒｃのそれぞれは、撮像面１４２ｓの互いに異なる領域である。

筐体１４９Ｂは、複数の開口を有する。この例では、筐体１４９Ｂに３つの開口ＡＰａ、ＡＰｂおよびＡＰｃが設けられている。開口ＡＰａ、ＡＰｂおよびＡＰｃは、撮像時に被写体２００に対向する面に形成される。開口ＡＰａ、ＡＰｂおよびＡＰｃの位置には、検光子１４６ａ、１４６ｂおよび１４６ｃがそれぞれ配置される。検光子１４６ａ、１４６ｂおよび１４６ｃの位置は、被写体２００と撮像素子１４２Ｂとを結ぶ光路上において開口ＡＰａ、ＡＰｂおよびＡＰｃの位置と厳密に一致している必要はなく、例えば、検光子１４６ａ、１４６ｂおよび１４６ｃがそれぞれ開口ＡＰａ、ＡＰｂおよびＡＰｃの近傍かつ筐体１４９Ｂの内部に位置していてもよい。検光子１４６ａ、１４６ｂおよび１４６ｃの透過軸の方向は、第１の実施形態と同様にそれぞれ０°、６０°および１２０°である。

図１５に例示する構成において、検光子１４６ａと撮像素子１４２Ｂとの間には、対物レンズ１４８ａが配置されている。また、検光子１４６ｂと撮像素子１４２Ｂとの間、および、検光子１４６ｃ（図１５において不図示）と撮像素子１４２Ｂとの間には、それぞれ、対物レンズ１４８ｂおよび１４８ｃが配置されている。この例では、対物レンズ１４８ａが検光子１４６ａよりも撮像素子１４２Ｂの近くに配置されている。しかしながら、検光子１４６ａおよび対物レンズ１４８ａの配置は、この例に限定されない。対物レンズ１４８ａは、被写体２００と第１領域Ｒａとを結ぶ光路上に位置していればよく、例えば、対物レンズ１４８ａよりも撮像素子１４２Ｂの近くに検光子１４６ａが位置していてもよい。対物レンズ１４８ｂおよび１４８ｃについても同様であり、対物レンズ１４８ｂおよび１４８ｃは、それぞれ、被写体２００と第２領域Ｒｂとを結ぶ光路上および被写体２００と第３領域Ｒｃとを結ぶ光路上に位置していればよい。

対物レンズ１４８ａは、被写体２００からの戻り光（反射光）のうち、検光子１４６ａを通過した光を撮像面１４２ｓの第１領域Ｒａ上に結像させる。同様に、対物レンズ１４８ｂは、被写体２００からの戻り光のうち、検光子１４６ｂを通過した光を撮像面１４２ｓの第２領域Ｒｂ上に結像させ、対物レンズ１４８ｃは、検光子１４６ｃを通過した光を撮像面１４２ｓの第３領域Ｒｃ上に結像させる。撮像面１４２ｓの第１領域Ｒａ、第２領域Ｒｂおよび第３領域Ｒｃは、それぞれ、被写体２００からの戻り光に含まれる０°の偏光方向を有する成分、６０°の偏光方向を有する成分、および、１２０°の偏光方向を有する成分を受ける部分であるといえる。図１５に例示する構成において、開口ＡＰａ〜ＡＰｃ、検光子１４６ａ〜１４６ｃおよび対物レンズ１４８ａ〜１４８ｃは、図１に示す構成におけるビーム分離部１４４Ａと同様の機能を有し得、これらの集合をビーム分離部と呼んでもよい。

図１６は、被写体２００側から見た、画像形成装置１００Ｂの照明装置１２０Ａおよび撮像装置１４０Ｂの配置関係の典型例を示す。図１６中、開口ＡＰａ、ＡＰｂおよびＡＰｃの位置に示された太い両矢印は、それぞれ、検光子１４６ａ、１４６ｂおよび１４６ｃの透過軸の方向を示している。

典型的には、照明装置１２０Ａの光出射部１２２ａ〜１２２ｃを含む平面と、撮像装置１４０Ｂの開口ＡＰａ〜ＡＰｃを含む平面とは、互いに平行である。図１６は、撮像装置１４０Ｂの開口ＡＰａ〜ＡＰｃを含む平面の法線方向に沿って被写体２００側から見た照明装置１２０Ａおよび撮像装置１４０Ｂを示している。図１６に例示する構成において、上述の法線方向に沿って被写体２００側から見たとき、照明装置１２０Ａの光出射部１２２ａ〜１２２ｃは、撮像装置１４０Ｂの開口ＡＰａ〜ＡＰｃを取り囲んでいる。第２の実施形態においても、照明装置１２０Ａは、第１の実施形態と同様に駆動され得る。すなわち、光出射部１２２ａの光源１２４、光出射部１２２ｂの光源１２４および光出射部１２２ｃの光源１２４（図１５参照）は、順次または同時に点灯される。

この例では、リング状に配置された光出射部１２２ａ〜１２２ｃのほぼ中央に、開口ＡＰａ、ＡＰｂおよびＡＰｃが互いに近接して配置されており、開口ＡＰａ、ＡＰｂおよびＡＰｃは、それぞれの中心が正三角形の頂点上に位置する。互いに隣接する２つの開口の中心間の距離は、例えば１．０ｍｍ以上１０ｍｍ以下程度である。開口ＡＰａ、ＡＰｂおよびＡＰｃのそれぞれの中心が正三角形の頂点上に位置することは必須ではなく、例えば、任意の三角形の頂点上、あるいは、正方形などの他の図形の複数の頂点のうちから選択された３つの頂点上に開口ＡＰａ、ＡＰｂおよびＡＰｃのそれぞれの中心が位置していてもかまわない。

図１５に模式的に示されるように、撮像装置１４０Ｂでは、被写体２００上の同一の点から発せられ、検光子１４６ａを通過した光、検光子１４６ｂを通過した光、および、検光子１４６ｃを通過した光は、撮像面１４２ｓにおいて互いに異なる位置に結像する。したがって、撮像装置１４０Ｂによれば、第１の実施形態における撮像装置１４０Ａと同様に、１回の撮像で、入射する光の偏光方向が６０°ずつ互いに異なる光に基づく偏光画像Ｃ０、Ｃ６０およびＣ１２０が取得される。ただし、開口ＡＰａ、ＡＰｂおよびＡＰｃの位置が互いに異なるので、取得される偏光画像Ｃ０、Ｃ６０およびＣ１２０の間には視差が生じる。そのため、ここでは、撮像素子１４２Ｂからの出力を受け取った画像形成回路１６４は、複数の偏光画像の間の視差をキャンセルする補正処理を実行する。

図１７は、偏光画像間の視差のキャンセル処理の例を説明するための図である。図１７の一番左側の列は、照明装置１２０Ａの動作状態を模式的に示す。照明装置１２０Ａの各動作状態の右側には、動作状態に応じて同一のタイミングで取得される３枚の偏光画像が示されている。

既に説明したように、第１のモードでは、複数の光出射部１２２ａ、複数の光出射部１２２ｂおよび複数の光出射部１２２ｃから順次に直線偏光が出射される。ここでは、あるタイミング（時刻ｔ）において４つの光出射部１２２ａから直線偏光が出射されて撮像が実行される。このとき、図１７において最上段に示されるように、検光子１４６ａを通過した光に基づく偏光画像Ｌ３０Ｃ０と、検光子１４６ｂを通過した光に基づく偏光画像Ｌ３０Ｃ６０と、検光子１４６ｃを通過した光に基づく偏光画像Ｌ３０Ｃ１２０とが撮像装置１４０Ｂによって取得される。また、他のあるタイミング（時刻（ｔ＋１））において４つの光出射部１２２ｂから直線偏光が出射されて撮像が実行され、同様に、検光子１４６ａ、検光子１４６ｂおよび検光子１４６ｃを通過した光のそれぞれに基づく３枚の偏光画像Ｌ９０Ｃ０、Ｌ９０Ｃ６０およびＬ９０Ｃ１２０が取得される。さらに他のあるタイミング（時刻（ｔ＋２））において４つの光出射部１２２ｃから直線偏光が出射されて撮像が実行され、３枚の偏光画像Ｌ１５０Ｃ０、Ｌ１５０Ｃ６０およびＬ１５０Ｃ１２０が取得される。

ここでは、第１の実施形態と同様に、被写体２００として、人の眼球を例示する。人の眼球のように、透明または半透明かつ滑らかな表面を有する被写体に対して、図１５において模式的に示すように複数の位置から直線偏光ＰＬが照射されると、被写体２００には、鏡面反射に起因する複数の輝点ＢＰが生じる。これらの輝点ＢＰの位置は、撮像時に点灯されていた光源１２４の位置を反映する。

図１７を参照して、時刻ｔにおいて４つの光出射部１２２ａの光源１２４が点灯される。ここでは、４つの光出射部１２２ａの中心が、正方形の頂点上に位置している。したがって、図１７において模式的に示すように、このときに取得される偏光画像Ｌ３０Ｃ０、Ｌ３０Ｃ６０およびＬ３０Ｃ１２０には、直交ニコル画像である偏光画像Ｌ３０Ｃ１２０を除いて、４つの輝点ＢＰの像ＢＭが現れる。

偏光画像Ｌ３０Ｃ０、Ｌ３０Ｃ６０およびＬ３０Ｃ１２０は、互いに異なる視点から取得された画像であり、これらの間には視差が存在する。ただし、偏光画像Ｌ３０Ｃ０中の４つの像ＢＭ間の位置関係と、偏光画像Ｌ３０Ｃ６０中の４つの像ＢＭ間の位置関係は、共通している。例えば被写体２００の直上から直線偏光ＰＬの照射と撮像とを実行した場合、偏光画像Ｌ３０Ｃ０中の４つの像ＢＭのそれぞれの中心を結べば正方形が描かれ、また、偏光画像Ｌ３０Ｃ６０中の４つの像ＢＭのそれぞれの中心を結べば同様の正方形が描かれる。以下に説明するように、偏光画像中の像ＢＭの位置を検出し、２枚の偏光画像の間で像ＢＭが重なるようにこれらの偏光画像を平行移動またはその他の画像処理を施すことにより、撮像時の視点の違いの影響をキャンセルすることが可能である。

例えば、画像形成回路１６４は、偏光画像Ｌ３０Ｃ０中の４つの像ＢＭと、偏光画像Ｌ３０Ｃ６０中の４つの像ＢＭとを検出し、それらの座標を求める。像ＢＭのそれぞれの座標は、例えば、予め設定しておいた閾値より高い画素値を有する複数の画素の中央に位置する画素の座標として求めることができる。２つの画像の間で対応する像ＢＭの座標間の距離は、開口ＡＰａおよび開口ＡＰｂの中心間の距離に対応する。さらに、画像形成回路１６４は、例えば、２つの画像の間で対応する像ＢＭの座標が適当な座標に一致するように、偏光画像Ｌ３０Ｃ０およびＬ３０Ｃ６０を平行移動させる。これにより、偏光画像Ｌ３０Ｃ０およびＬ３０Ｃ６０の間の視差がキャンセルされる。

偏光画像Ｌ３０Ｃ６０およびＬ３０Ｃ１２０の間の視差は、時刻（ｔ＋１）に取得される偏光画像Ｌ９０Ｃ６０およびＬ９０Ｃ１２０の間の視差から見積もることができる。図１７の中段に示すように、偏光画像Ｌ９０Ｃ０、Ｌ９０Ｃ６０およびＬ９０Ｃ１２０のうち、偏光画像Ｌ９０Ｃ６０およびＬ９０Ｃ１２０には、撮像時に光源１２４が点灯されていた光出射部１２２ｂの配置に対応する位置に、像ＢＭが現れる。同様の手順により、偏光画像Ｌ９０Ｃ６０およびＬ９０Ｃ１２０の間で対応する像ＢＭの座標が適当な座標に一致するように、これらの画像を平行移動させれば、偏光画像Ｌ９０Ｃ６０およびＬ９０Ｃ１２０の間の視差がキャンセルされる。

ここで、偏光画像Ｌ９０Ｃ６０およびＬ９０Ｃ１２０は、開口ＡＰｂおよびＡＰｃをそれぞれ視点として取得される画像であり、時刻ｔに取得される偏光画像Ｌ３０Ｃ６０およびＬ３０Ｃ１２０もまた、開口ＡＰｂおよびＡＰｃをそれぞれ視点とする画像であるので、偏光画像Ｌ９０Ｃ６０およびＬ９０Ｃ１２０の間の視差と、偏光画像Ｌ３０Ｃ６０およびＬ３０Ｃ１２０の間の視差とは、一致する。したがって、偏光画像Ｌ９０Ｃ６０に施した平行移動と同じ方向に同じ移動量だけ偏光画像Ｌ３０Ｃ６０を平行移動させ、偏光画像Ｌ９０Ｃ１２０に施した平行移動と同じ方向に同じ移動量だけ偏光画像Ｌ３０Ｃ１２０を平行移動させれば、偏光画像Ｌ３０Ｃ６０およびＬ３０Ｃ１２０の間の視差がキャンセルされる。

同様にして、偏光画像Ｌ１５０Ｃ０およびＬ１５０Ｃ１２０中に現れた像ＢＭの位置に基づいて、偏光画像Ｌ１５０Ｃ０およびＬ１５０Ｃ１２０の間の視差と、偏光画像Ｌ３０Ｃ０およびＬ３０Ｃ１２０の間の視差と、偏光画像Ｌ９０Ｃ０およびＬ９０Ｃ１２０の間の視差とを求め、平行移動などによって視差をキャンセルすることが可能である。結局、像ＢＭの位置に基づいて、撮像時の視点の違いの影響がキャンセルされるように、９枚の偏光画像を平行移動させることができる。９枚の偏光画像中から視差をキャンセルすれば、視差がキャンセルされた偏光画像に基づいて、平均化擬似平行ニコル画像ＳＰＡおよび平均化直交ニコル画像ＯＡを形成し、これらの差分に基づき、被写体２００の画像としての画像ＰＤを得ることができる。画像ＰＤは、例えば角膜上の異物、傷などの検出に有利に用いることができる。典型的には、画像ＰＤには、輝点ＢＰの像ＢＭが残るものの、輝点ＢＰの像ＢＭの存在が角膜の観察の大きな妨げになることはほとんどない。図１７では、説明の便宜のために輝点ＢＰの像ＢＭが誇張して大きく描かれているに過ぎない。

なお、第１のモードを実行してから第２のモードを実行すれば、撮像時の視点の違いに起因した視差の大きさを上述の原理によって知ることができるので、第２のモードで取得される偏光画像ＮＣ０、ＮＣ６０およびＮＣ１２０の間の視差をキャンセルすることが可能である。必要に応じ、偏光画像中に現れる輝点ＢＰの像ＢＭのパターンに基づき、平行移動に代えて、あるいは、平行移動に加えて、平行移動以外の処理（例えば回転移動）を実行してもよい。

第２の実施形態によれば、１回の撮像につき３つの視点からの３枚の偏光画像が一括して得られる。さらに、照明光の偏光方向を変えて複数回撮像を実行することにより、撮像時に点灯されていた光源の配置に対応した位置に現れる、偏光画像中の輝点の像の位置に基づいて、複数の偏光画像間の視差をキャンセル可能である。図１７を参照して説明した例では、光源１２４が同じタイミングで点灯される４つの光出射部の中心が正方形の頂点上に位置している。しかしながら、同じタイミングで点灯される複数の光出射部１２２が正方形、正多角形など頂点上に位置している必要はない。上述の視差のキャンセルの処理から明らかなように、複数の光出射部１２２の配置としては、任意の配置を適用し得る。なお、ここでは偏光画像中の像ＢＭ自体の座標を利用したが、例えば、偏光画像中の像ＢＭの位置を結んだ図形の重心の座標が一致するように、複数の偏光画像に平行移動などの処理を施してもよい。

（第２の実施形態の変形例）
図１８は、本開示の第２の実施形態による画像形成装置の変形例を示す。図１８に示す画像形成装置１００Ｂａは、図１５に示す撮像装置１４０Ｂを撮像装置１４０Ｂａに置き換えた構成を有する。撮像装置１４０Ｂと比較して、撮像装置１４０Ｂａは、対物レンズ１４８ａ〜１４８ｃに代えて、開口ＡＰａ、ＡＰｂおよびＡＰｃと撮像素子１４２Ｂとの間に、対物レンズ１４８ｓを有する。対物レンズ１４８ｓは、検光子１４６ａ〜１４６ｃの前面側および背面側のいずれに配置されていてもよい。撮像装置１４０Ｂａは、さらに、対物レンズ１４８ｓと撮像素子１４２Ｂの撮像面１４２ｓとの間に配置されたマイクロレンズアレイ１４４を有する。マイクロレンズアレイ１４４は、各々が撮像素子１４２Ｂの対応する撮像セルに対向する複数のマイクロレンズを含む。

この例では、開口ＡＰａに配置された検光子１４６ａを通過した光、開口ＡＰｂに配置された検光子１４６ｂを通過した光、および、開口ＡＰｃに配置された検光子１４６ｃを通過した光のいずれもが対物レンズ１４８ｓを通過する。ただし、撮像素子１４２の撮像面１４２ｓの前面にマイクロレンズアレイ１４４が配置されているので、開口ＡＰａを通過した光、開口ＡＰｂを通過した光、および、開口ＡＰｃを通過した光は、それぞれ、撮像面１４２ｓの互いに異なる領域Ｒａ、ＲｂおよびＲｃに到達する。撮像装置１４０Ｂａの光学系は、例えば、開口ＡＰａを通過した光、開口ＡＰｂを通過した光、および、開口ＡＰｃを通過した光が、撮像セルのアレイの互いに異なる行（または列）の撮像セル上に結像するように設計され得る。つまり、この場合、被写体２００からの戻り光は、電場ベクトルの振動方向に応じて撮像面１４２ｓ上の互いに異なる領域に到達し、撮像装置１４０Ｂａからは、視差を有する３つの偏光画像がインターリーブされた画像の信号が出力される。

出力信号を後段の画像処理によって３つの偏光画像の信号に分離することにより、検光子１４６ａ〜１４６ｃの透過軸の方向にそれぞれ応じた、視差を有する３つの偏光画像を得ることができる。図１５を参照して説明した画像形成装置１００Ｂと同様に駆動させ、取得される偏光画像に対して画像形成装置１００Ｂと同様の処理を適用することができる。

（第３の実施形態）
図１９は、本開示の第３の実施形態による画像形成装置の例示的な構成を部分的に示す。図１９に示す画像形成装置１００Ｃは、複数の光出射部１２２を含む照明装置１２０Ｃと、撮像装置１４０Ｃと、不図示の制御回路とを有する。照明装置１２０Ｃは、複数の光出射部１２２を含み、撮像装置１４０Ｃは、複数の偏光カメラ１４５を含む。複数の偏光カメラ１４５は、偏光カメラ１４５ａ〜１４５ｃを含む。画像形成装置１００Ｃにおける制御回路は、上述の画像形成装置１００Ａなどと同様の照明制御回路および画像形成回路を有し得る。

図１９は、画像形成装置１００Ｃにおける光出射部１２２ａ〜１２２ｃおよび偏光カメラ１４５ａ〜１４５ｃの配置の例を示す。図１９に示す例において、光出射部１２２ａ〜１２２ｃおよび偏光カメラ１４５ａ〜１４５ｃは、同一の平面内に配置されている。図１９は、光出射部１２２ａ〜１２２ｃおよび偏光カメラ１４５ａ〜１４５ｃが配置された平面の法線方向に沿って被写体側から見たときの光出射部１２２ａ〜１２２ｃおよび偏光カメラ１４５ａ〜１４５ｃの典型的な配置を示している。

この例では、偏光カメラ１４５ａ〜１４５ｃは、それぞれが撮像素子、検光子および対物レンズを含み、被写体に関して、特定の偏光方向の光に基づく偏光画像を取得する。偏光カメラ１４５ａ、１４５ｂおよび１４５ｃは、それぞれ、検光子１４６ａ、１４６ｂおよび１４６ｃを有する。図１９中、網掛けの矩形に重ねて描かれた両矢印は、各検光子の透過軸の方向を示している。検光子１４６ａ、１４６ｂおよび１４６ｃの透過軸の方向は、これまでに説明した例と同様、それぞれ、０°、６０°および１２０°である。なお、図１９において模式的に示すように、光出射部１２２ａ、１２２ｂおよび１２２ｃの偏光子の透過軸の方向もこれまでに説明した例と同様であり、それぞれ、３０°、９０°および１５０°である。

図１９において模式的に示すように、光出射部１２２ａ〜１２２ｃは、それぞれの中心が三角格子の格子点上に位置する配置を有する。この例では、偏光カメラ１４５ａ〜１４５ｃも、それぞれの中心が三角格子の格子点上に位置するように配置されており、各偏光カメラは、互いに隣り合う光出射部１２２ａ、１２２ｂおよび１２２ｃによって形成される三角形の中央に位置している。画像形成装置１００Ｃは、それぞれが光出射部１２２ａ〜１２２ｃと、偏光カメラ１４５ａ〜１４５ｃとを１つずつ含む複数の単位構造を有する。図１９中の破線の円は、５つの単位構造１５０ＣＴ、１５０ＵＬ、１５０ＵＲ、１５０ＬＬおよび１５０ＬＲを示している。画像形成装置１００Ｃは、複数の単位構造がタイリングされた構造を有する。

画像形成装置１００Ｃのある動作例において、画像形成装置１００Ｃの制御回路の照明制御回路および画像形成回路は、複数の単位構造のうちの１つを選択し、順次に駆動させる。図２０は、単位構造１５０ＣＴ、１５０ＵＬ、１５０ＵＲ、１５０ＬＬおよび１５０ＬＲ中の光出射部１２２ａ〜１２２ｃの光源の駆動タイミングの例を示す。

図２０に示す例では、時刻Ｔ１〜Ｔ２において、５つの単位構造のうち、まず、単位構造１５０ＣＴ中の光出射部１２２ａ〜１２２ｃおよび偏光カメラ１４５ａ〜１４５ｃを駆動させる。後述するように、このとき、単位構造１５０ＣＴを例えば第１のモードおよび第２のモードで順次に動作させ、被写体に関する複数の偏光画像を偏光カメラ１４５ａ〜１４５ｃによって取得する。図２０に示すように、時刻Ｔ１〜Ｔ２の間は、単位構造１５０ＵＬ、１５０ＵＲ、１５０ＬＬおよび１５０ＬＲ中の光出射部１２２ａ〜１２２ｃの光源は、いずれもＯＦＦ状態である。

次に、時刻Ｔ２において、単位構造１５０ＣＴ中の光出射部１２２ａ〜１２２ｃの光源をＯＦＦにして、単位構造１５０ＵＬ中の光出射部１２２ａ〜１２２ｃの光源をＯＮとする。つまり、時刻Ｔ２〜Ｔ３において、単位構造１５０ＵＬ中の光出射部１２２ａ〜１２２ｃおよび偏光カメラ１４５ａ〜１４５ｃを駆動させ、被写体に関する複数の偏光画像を単位構造１５０ＵＬの偏光カメラ１４５ａ〜１４５ｃによって取得する。以降、同様にして、被写体に関する複数の偏光画像を、単位構造１５０ＵＲ、１５０ＬＬおよび１５０ＬＲの偏光カメラによって順次取得する。図２０に例示するように、単位構造１５０ＣＴ、１５０ＵＬ、１５０ＵＲ、１５０ＬＬおよび１５０ＬＲによる偏光画像の取得のサイクルを複数回繰り返してもよい。

図２１は、各単位構造中の光出射部１２２ａ〜１２２ｃの光源の点灯タイミングを示している。図２１中の両矢印Ｐ１は、第１のモードでの動作期間を示し、両矢印Ｐ２は、第２のモードでの動作期間を示している。図２１に示すように、期間Ｐ１では、光出射部１２２ａの光源、光出射部１２２ｂの光源および光出射部１２２ｃの光源が順次に選択的に点灯され、それぞれの光源のＯＮの期間に偏光カメラ１４５ａ〜１４５ｃによって３枚の偏光画像が取得され、合計９枚の偏光画像が取得される。期間Ｐ２では、光出射部１２２ａの光源、光出射部１２２ｂの光源および光出射部１２２ｃの光源が同時に点灯され、偏光カメラ１４５ａ〜１４５ｃによって３枚の偏光画像が取得される。期間Ｐ２における３枚の偏光画像の取得の回数は、複数回であり得る。

このように、ここで説明する実施形態では、単位構造ごとに順次に撮像を実行することによって、被写体に関する画像を単位構造ごとに得ることができる。以下に説明するように、画像形成装置１００Ｃは、例えば生体の観察に有利に用いることができる。

図２２は、照明装置１２０Ｃおよび撮像装置１４０Ｃと、被写体との間の配置を示す。図２２に示す例において、画像形成装置１００Ｃの複数の光出射部１２２および複数の偏光カメラ１４５は、基板１５０（例えば配線基板）の一方の主面（以下、説明の便宜のために「センサ面」と呼ぶことがある。）上に配置されている。例えば人の眼球を撮像する場合、照明装置１２０Ｃおよび撮像装置１４０Ｃは、基板１５０上の複数の光出射部１２２および複数の偏光カメラ１４５が顔面に対向するように配置される。撮像時には、被写体である眼球の中心が、基板１５０の中央に立てた法線上に位置するように、複数の光出射部１２２および複数の偏光カメラ１４５と、被写体との間の配置を調整する。

図２２に示されるように側面から照明装置１２０Ｃおよび撮像装置１４０Ｃを見たとき、ある光出射部１２２の中心と、その光出射部１２２に最も近接している偏光カメラ１４５の対物レンズの中心との間の距離をｄ１とすれば、センサ面と眼球の表面との間の距離ｄ２は、典型的には、ｄ１の２０倍以上である。図１９によく表されているように、ここでは、複数の光出射部１２２および複数の偏光カメラ１４５は、２次元的に（平面上または曲面上に）ほぼ均等に分布するような配置を有しており、人の眼球の可動範囲である、上下左右に関して例えばθ＝４５°までの範囲をカバーする。ここで、θは、単位構造１５０ＣＴの中心と眼球の中心とを結ぶ線分、および、注目した偏光カメラ１４５と眼球の中心とを結ぶ線分のなす角である。

単位構造１５０ＣＴ、１５０ＵＬ、１５０ＵＲ、１５０ＬＬおよび１５０ＬＲは、被検者が中央、左上、右上、左下および右下を注視したときのセンサ面上の領域にそれぞれ対応する。各単位構造は、偏光子の透過軸の角度がそれぞれ３０°、９０°および１２０°の光出射部１２２ａ、１２２ｂおよび１２２ｃを含み、かつ、検光子の透過軸の角度がそれぞれ０°、６０°および１５０°の偏光カメラ１４５ａ、１４５ｂおよび１４５ｃを含む。つまり、単位構造１５０ＣＴ、１５０ＵＬ、１５０ＵＲ、１５０ＬＬおよび１５０ＬＲの各々に対して、第２の実施形態による画像形成装置１００Ｂと同様の動作および処理を適用し得る。ここで説明する例では、単位構造１５０ＣＴ、１５０ＵＬ、１５０ＵＲ、１５０ＬＬおよび１５０ＬＲが２次元的に配置され、かつ、その配置が対称的であるので、眼球が動いても眼球の角膜または網膜を確実に撮像し得る。従来の眼球検査用の光学機器を用いる場合、顔をベルトで固定して眼球をなるべく動かさない状態で観察を行う必要があることに対し、第３の実施形態によれば、このような制約を減らして被検者のストレスを低減することが可能である。また、眼鏡型、コンタクトレンズ型の眼球ウェアラブルセンサなどとは異なり、撮像によって、眼球の状態に関する情報を非接触で取得することができる。

なお、図２１に示す例では、同一の単位構造において第１のモードおよび第２のモードを連続して実行している。ある単位構造における第１のモードの実行と、第２のモードの実行との間に、他の単位構造による偏光画像の取得が介在されてももちろんかまわない。ただし、同一の単位構造において第１のモードおよび第２のモードが間隔をあけずに実行される動作の方が、眼球の動きの影響を受けにくいので、眼球の観察には有利である。なお、例えば緑内障の診断では、眼圧検査が行われる。この眼圧検査においては、角膜に風を当てた状態て角膜の変形を調べる。画像形成装置１００Ｃを用いれば、角膜表面の観察と、風による角膜の変形の測定とをそれぞれ第１および第２のモードで続けて実行し得る。

図２２からもわかるように、ここでは、各単位構造中の偏光カメラ１４５ａ、１４５ｂおよび１４５ｃのセンサ面における位置は、互いに異なっている。つまり、偏光カメラ１４５ａ、１４５ｂおよび１４５ｃによって取得される偏光画像の間には、視差が存在する。偏光画像間の視差の影響は、例えば、図１７を参照して説明した、偏光画像中に現れる輝点の像ＢＭの座標を利用した平行移動などにより、第２の実施形態と同様にキャンセルすることができる。偏光画像に平行移動を適用すると、被写体に関するデータの存在しないブランク領域が平行移動後の画像に生じ得る。ただし、ここでは、単位構造１５０ＣＴ、１５０ＵＬ、１５０ＵＲ、１５０ＬＬおよび１５０ＬＲを２次元的に配置しているので、第２の実施形態による画像形成装置１００Ｂを用いて複数の方向から被写体を撮像したときと同様の効果が得られる。換言すれば、撮像時の視点が増加することにより、視野が拡大され、例えば単位構造１５０ＣＴによって取得された偏光画像に生じたブランク領域を、他の単位構造１５０ＵＬ、１５０ＵＲ、１５０ＬＬまたは１５０ＬＲによって取得される偏光画像のデータを用いて補完し得る。なお、ここでは、偏光カメラ１４５ａ、１４５ｂおよび１４５ｃが独立してそれぞれ撮像素子を含む構成を例示しているが、各単位構造の偏光カメラ１４５に、第２の実施形態の撮像装置１４０Ｂまたは１４０Ｂａと同様の構成を適用しても構わない。

図２３および図２４は、単位構造１５０ＣＴによる撮像によって得られる効果を説明する図である。図２３は、第１のモードでの照明光および戻り光の関係を模式的に示し、図２４は、第２のモードでの照明光および戻り光の関係を模式的に示す。

単位構造１５０ＣＴは、センサ面の中央付近に位置し、図１９に示されるように、光出射部１２２ａ〜１２２ｃは、いずれも、単位構造１５０ＣＴ中の３つの偏光カメラ１４５の近傍に位置している。センサ面と眼球の表面との間の距離ｄ２（図２２参照）を、標準的な明視距離である２００ｍｍとしたとき、例えば、ｄ１＝１０ｍｍである。このような配置のもとでは、ｔａｎ３°がおよそ０．０５（＝１／２０）であることから、θ＝３°程度であり、同軸照明に近い状態が実現する。

このような照明のもとでは、第１のモードで撮像を実行することにより、図２３に模式的に示すように、角膜の表面付近で反射された光に基づいて、角膜の表面の凹凸（例えば傷）を検出し得る。また、θを３°程度にまで小さくした配置は、眼底撮像が可能な幾何学的な配置となる。したがって、第２のモードにより、図２４に模式的に示すように、眼底付近にまで光を進入させて戻り光を観察し得る。すなわち、瞳孔を明るく撮像できる。これは、眼底で散乱され、角膜から空気中に出射する光の偏光状態に関する情報を撮像によって取得可能であることを意味する。したがって、本開示の実施形態によれば、取得される画像に基づいて、角膜のうち瞳孔に対応する部分の表面の法線方向、すなわち、角膜のうち瞳孔に対応する部分の形状に関する情報を取得したり、眼底の網膜の病変の有無を診断したりすることが可能になる。

図２５は、照明装置１２０Ｃおよび撮像装置１４０Ｃの動作の応用例を示す。図２５に示す例では、単位構造１５０ＣＴに含まれる光出射部１２２ａ〜１２２ｃの光源をＯＦＦとして、単位構造１５０ＣＴの周囲の光出射部１２２ａ〜１２２ｃの光源をＯＮとした状態で、単位構造１５０ＣＴの偏光カメラ１４５ａ〜１４５ｃを用いて被写体の偏光画像を取得する。

図２６は、図２５に例示される動作によって得られる効果を説明するための図である。図２５に示すような照明のもとでは、θ≧３°となり、瞳孔に入った光は、内部で反射および吸収されて外には出てこない。そのため、瞳孔は暗く撮像され、主として角膜で反射された光を選択的に偏光カメラ１４５に入射させることができる。したがって、第１のモードでは、角膜表面付近で反射した光に関する偏光画像に基づいて、眼球の表面の凹凸（例えば傷）を検出することができる。また、第２のモードでは、角膜に対してほぼ全体を鏡面反射状態とすることができ、角膜表面の法線ベクトルの推定に有用な偏光画像をより確実に取得することができる。

以上に説明したように、本開示の実施形態によれば、別途にハードウエアを追加することなく、透明または半透明かつ滑らかな表面を有する物体の表面の傷などの検出に有用な情報を与える画像と、その物体の形状の測定に有用な情報を与える画像とを単一の装置で取得することが可能である。また、被写体を照明する直線偏光に関する複数の偏光方向、および、撮像素子に入射する光に関する複数の偏光方向がバランスよく選択されているので、撮像の回数の増加を抑制しながら、画質の劣化の少ない画像を構築し得る。複数視点からの撮像への拡張も比較的容易であり、例えば、本開示の実施形態による画像形成装置を非接触の眼球観察用カメラとして利用し得る。

本開示の実施形態は、透明な物体に付着した異物および透明な物体の表面の状態（凹凸、傷など）の検出に利用可能である。また、透明な物体の形状の測定にも利用可能である。本開示の画像形成装置は、生体の眼球の非接触のセンシングに特に有用であり、センシングによる、人、動物（家畜、ペット）などの健康状態の把握、角膜の異常の検出などに本開示の画像形成装置を適用し得る。

１００Ａ〜１００Ｃ、１００Ｂａ 画像形成装置
１２０Ａ、１２０Ｃ 照明装置
１２２、１２２ａ〜１２２ｃ 光出射部
１２４、７１０ 光源
１２６ 偏光子
１４０Ａ〜１４０Ｃ、１４０Ｂａ 撮像装置
１４２、１４２ａ〜１４２ｃ、１４２Ｂ 撮像素子
１４４ マイクロレンズアレイ
１４４Ａ ビーム分離部
１４５、１４５ａ〜１４５ｃ 偏光カメラ
１４６ａ〜１４６ｃ 検光子
１４８Ａ、１４８ａ〜１４８ｃ、１４８ｓ 対物レンズ
１４９Ｂ 筐体
１６０ 制御回路
１６２ 照明制御回路
１６４ 画像形成回路
ＡＰａ〜ＡＰｃ 開口

Claims (7)

1. それぞれが３０°の偏光方向を有する第１の光を出射する１以上の第１光出射部と、それぞれが９０°の偏光方向を有する第２の光を出射する１以上の第２光出射部と、それぞれが１５０°の偏光方向を有する第３の光を出射する１以上の第３光出射部とを有し、前記第１、第２および第３の光の少なくともいずれかで被写体を照明する照明装置と、
   前記被写体からの戻り光から、０°の偏光方向を有する第１成分、６０°の偏光方向を有する第２成分、および、１２０°の偏光方向を有する第３成分を分離して出射するビーム分離部と、
   前記第１成分を受ける第１領域、前記第２成分を受ける第２領域および前記第３成分を受ける第３領域を含む撮像面を有する撮像装置と、
   画像形成回路と
   を備え、
   前記画像形成回路は、
   前記第１、第２および第３の光のうち前記第１の光で前記被写体が照明されているときに前記第１成分、前記第２成分および前記第３成分のそれぞれについて前記撮像装置によって取得される第１の画像群と、
   前記第１、第２および第３の光のうち前記第２の光で前記被写体が照明されているときに前記第１成分、前記第２成分および前記第３成分のそれぞれについて前記撮像装置によって取得される第２の画像群と、
   前記第１、第２および第３の光のうち前記第３の光で前記被写体が照明されているときに前記第１成分、前記第２成分および前記第３成分のそれぞれについて前記撮像装置によって取得される第３の画像群と
   に基づいて、前記被写体の画像を生成する、画像形成装置。
2. 前記ビーム分離部は、
   プリズムと、
   透過軸の方向がそれぞれ０°、６０°および１２０°の第１から第３の検光子と
   を含む、請求項１に記載の画像形成装置。
3. それぞれが３０°の偏光方向を有する第１の光を出射する１以上の第１光出射部と、それぞれが９０°の偏光方向を有する第２の光を出射する１以上の第２光出射部と、それぞれが１５０°の偏光方向を有する第３の光を出射する１以上の第３光出射部とを有し、前記第１、第２および第３の光の少なくともいずれかで被写体を照明する照明装置と、
   第１から第３の開口が設けられた筐体と、撮像面を有する撮像素子とを含む撮像装置と、
   前記被写体と前記撮像面との間に位置する１以上の対物レンズと、
   前記第１の開口の位置に配置された、透過軸の方向が０°の第１検光子と、
   前記第２の開口の位置に配置された、透過軸の方向が６０°の第２検光子と、
   前記第３の開口の位置に配置された、透過軸の方向が１２０°の第３検光子と、
   画像形成回路と
   を備え、
   前記撮像装置の前記撮像面は、前記被写体からの戻り光のうち前記第１検光子を通過した第４の光を受ける第１領域と、前記被写体からの戻り光のうち前記第２検光子を通過した第５の光を受ける第２領域と、前記被写体からの戻り光のうち前記第３検光子を通過した第６の光を受ける第３領域とを含み、
   前記画像形成回路は、
   前記第１、第２および第３の光のうち前記第１の光で前記被写体が照明されているときに前記第４、前記第５および前記第６の光のそれぞれについて前記撮像装置によって取得される第１の画像群と、
   前記第１、第２および第３の光のうち前記第２の光で前記被写体が照明されているときに前記第４、前記第５および前記第６の光のそれぞれについて前記撮像装置によって取得される第２の画像群と、
   前記第１、第２および第３の光のうち前記第３の光で前記被写体が照明されているときに前記第４、前記第５および前記第６の光のそれぞれについて前記撮像装置によって取得される第３の画像群と
   に基づいて、前記被写体の画像を生成する、画像形成装置。
4. 前記１以上の対物レンズは、
   前記被写体と前記第１領域とを結ぶ光路上に位置する第１対物レンズと、
   前記被写体と前記第２領域とを結ぶ光路上に位置する第２対物レンズと、
   前記被写体と前記第３領域とを結ぶ光路上に位置する第３対物レンズと
   を含む、請求項３に記載の画像形成装置。
5. 前記１以上の対物レンズと前記撮像面との間に位置するマイクロレンズアレイをさらに備え、
   前記１以上の対物レンズは、前記第１の開口を通過した光、前記第２の開口を通過した光、および、前記第３の開口を通過した光を受ける単一の対物レンズである、請求項３に記載の画像形成装置。
6. 前記第１の画像群は、２つの第１偏光画像と、１つの第１直交ニコル画像とを含み、
   前記第２の画像群は、２つの第２偏光画像と、１つの第２直交ニコル画像とを含み、
   前記第３の画像群は、２つの第３偏光画像と、１つの第３直交ニコル画像とを含み、
   前記画像形成回路は、前記２つの第１偏光画像、前記２つの第２偏光画像および前記２つの第３偏光画像に基づく平均化擬似平行ニコル画像と、前記１つの第１直交ニコル画像、前記１つの第２直交ニコル画像および前記１つの第３直交ニコル画像に基づく平均化直交ニコル画像とを形成し、前記平均化擬似平行ニコル画像と前記平均化直交ニコル画像との間の差分を求めることによって前記被写体の画像を形成する、請求項１から５のいずれかに記載の画像形成装置。
7. 前記照明装置は、さらに、前記第１、第２および第３の光で前記被写体を同時に照明し、
   前記撮像装置は、
   前記第１、第２および第３の光で前記被写体が照明されているとき、前記第１領域に入射する光、前記第２領域に入射する光および前記第３領域に入射する光のそれぞれに対して撮像する、請求項１から６のいずれかに記載の画像形成装置。

Images