JP6004245B1 - 画像取得装置、画像形成システムおよび画像形成方法 - Google Patents

Abstract

本開示の画像取得装置は、照明システムと、照射方向決定部とを備える。照明システムは、被写体を透過した照明光が撮像素子に入射するように被写体と撮像素子とが一体化されたモジュールに、被写体を基準とする複数の異なる照射方向から、順次、被写体を照射する。モジュールは、複数の異なる照射方向に応じた複数の画像を取得する。照射方向決定部は、複数の異なる照射方向に応じて複数の画像を取得する前に、第１予備画像と、第２予備画像との間の差異に基づいて、複数の異なる照射方向を決定する。第１予備画像は、第１照射方向からの第１照明光で被写体が照射されているときに取得された画像であり、第２予備画像は、第２照射方向からの第２照明光で被写体が照射されているときに取得された画像である。

Description

本開示は、画像取得装置、画像形成システムおよび画像形成方法に関する。

従来、生体組織などにおけるミクロ構造を観察するために光学顕微鏡が用いられてきた。光学顕微鏡は、観察対象を透過した光、あるいは反射した光を利用する。観察者は、レンズによって拡大された像を観察する。顕微鏡のレンズで拡大された像を撮影してディスプレイ上に表示するデジタル顕微鏡も知られている。デジタル顕微鏡を利用することにより、複数人での同時観察、遠隔地での観察などが可能である。

近年、ＣＩＳ（Contact Image Sensing）方式によってミクロ構造を観察する技術が注
目されている。ＣＩＳ方式による場合、観察対象は、イメージセンサの撮像面に近接して配置される。イメージセンサとしては、一般に、多数の光電変換部が撮像面内に行および列状に配列された２次元イメージセンサが用いられる。光電変換部は、典型的には、半導体層または半導体基板に形成されたフォトダイオードであり、入射光を受けて電荷を生成する。

イメージセンサによって取得される画像は、多数の画素によって規定される。各画素は、１つの光電変換部を含む単位領域によって区画されている。したがって、２次元イメージセンサにおける分解能（解像度）は、通常、撮像面上における光電変換部の配列ピッチに依存する。本明細書では、光電変換部の配列ピッチによって決まる分解能を、イメージセンサの「固有分解能」と呼ぶことがある。個々の光電変換部の配列ピッチは、可視光の波長程度まで短くなっているので、固有分解能をさらに向上させることは困難である。

イメージセンサの固有分解能を超える分解能を実現する技術が提案されている。特許文献１は、被写体の結像位置をシフトさせて得られる複数の画像を用いて当該被写体の画像を形成する技術を開示している。

特開昭６２−１３７０３７号公報

本開示は、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性を向上させ得る画像取得装置、画像形成システムおよび画像形成方法を提供する。

本開示の例示的な実施形態として以下が提供される。

被写体と撮像素子とが一体化されたモジュールの前記被写体に対して複数の異なる照射方向から、順次、光照射する照明システムと、前記モジュールは、前記被写体を透過した照明光が前記撮像素子に入射するように前記被写体と前記撮像素子とが一体化されており、前記撮像素子は、前記複数の異なる照射方向に応じた複数の画像を取得し、前記複数の異なる照射方向に応じて前記複数の画像を前記撮像素子によって取得する前に、第１照射方向からの第１照明光で前記被写体が照射されているときに前記撮像素子によって取得された第１予備画像と、第２照射方向からの第２照明光で前記被写体が照射されているときに前記撮像素子によって取得された第２予備画像との間の差異に基づいて、前記複数の異なる照射方向を決定する照射方向決定部と、を備える画像取得装置。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性が向上する。

被写体２の一部を模式的に示す平面図である。 図１Ａに示されている領域の撮像に関わるフォトダイオードを抽出して模式的に示す平面図である。 被写体２を透過してフォトダイオード４ｐに入射する光線の方向を模式的に示す断面図である。 被写体２を透過してフォトダイオード４ｐに入射する光線の方向を模式的に示す断面図である。 ６個のフォトダイオード４ｐによって取得される６個の画素Ｐａを模式的に示す図である。 図２Ａおよび図２Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図２Ａおよび図２Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図３Ａおよび図３Ｂに示す照射方向のもとで取得される６個の画素Ｐｂを模式的に示す図である。 、図２Ａおよび図２Ｂに示す照射方向ならびに図３Ａおよび図３Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図２Ａおよび図２Ｂに示す照射方向ならびに図３Ａおよび図３Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図４Ａおよび図４Ｂに示す照射方向のもとで取得される６個の画素Ｐｃを模式的に示す図である。 図２Ａおよび図２Ｂに示す照射方向、図３Ａおよび図３Ｂに示す照射方向、ならびに図４Ａおよび図４Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図５Ａに示す照射方向のもとで取得される６個の画素Ｐｄを模式的に示す図である。 ４枚のサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄから合成される高分解能画像ＨＲを示す図である。 被写体２の隣接する２つの領域を通過した光線がそれぞれ異なるフォトダイオードに入射するように調整された照射方向を模式的に示す断面図である。 モジュールの断面構造の一例を模式的に示す図である。 図８Ａに示すモジュール１０をイメージセンサ４側から見たときの外観の一例を示す平面図である。 モジュールの作製方法の一例を説明するための図である。 サブ画像の取得時における照射角度の例を示す断面図である。 図１０Ａに示す照射角度とは異なる照射角度で被写体を照射する方法の例を示す断面図である。 被写体２の配置と照射方向との関係の一例を示す模式的な拡大断面図である。 イメージセンサ４の撮像面４Ａからより離れた位置に被写体２が配置されたモジュールにおける、被写体２を透過した照明光とフォトダイオード４ｐとの間の関係を示す模式的な拡大断面図である。 被写体２の配置と照射方向との関係の他の一例を示す模式的な拡大断面図である。 本開示の実施形態による画像取得装置の構成の一例を示す概略図である。 画像取得装置１００ａの例示的な外観を示す斜視図である。 図１３Ａに示す画像取得装置１００ａにおいて蓋部１２０を閉じた状態を示す斜視図である。 画像取得装置１００ａのステージ３２に対するソケット１３０の装填方法の一例を模式的に示す図である。 照射方向を変更する方法の一例を模式的に示す図である。 基準面に対してステージ３２を角度θだけ傾斜させたときの、被写体に入射する光線の方向の変化を模式的に示す図である。 本開示の実施形態による例示的な画像形成方法の概略を示す図である。 照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の一例を模式的に示す断面図である。 図１６Ａに示す状態から第２照射方向を変化させたときにおける、照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の一例を模式的に示す断面図である。 図１６Ｂに示す第１照射方向ＤＲ１からの照射のもとで取得される第１予備画像ＰＳ１を模式的に示す図である。 図１６Ｂに示す第２照射方向ＤＲ２からの照射のもとで取得される第２予備画像ＰＳ２を模式的に示す図である。 図１６Ａに示す第２照射方向ＤＲ２からの照射のもとで取得される第２予備画像ＰＳ２２を模式的に示す図である。 照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の他の一例を模式的に示す断面図である。 図１７Ａに示す被写体２の領域Ｂ１を透過した光がフォトダイオード４ｐａおよびフォトダイオード４ｐｂにそれぞれ入射するような第１照射方向ＤＲ１および第２照射方向ＤＲ２を示す図である。 本開示の実施形態による画像形成システムの一例を示すブロック図である。 画像形成システム５００における動作の一例を示すフローチャートである。 本開示の実施形態による画像形成システムの他の一例を示すブロック図である。 画像形成システム５００における動作の他の一例を示すフローチャートである。 具体例２における第１照射方向ＤＲ１と第２照射方向ＤＲ２の一例を模式的に示す図である。 図２２に示す第２照射方向ＤＲ２からの照射のもとで取得される第２予備画像から生成されるシフト画像ＰＳ３２を模式的に示す図である。 図２２に示す第２照射方向ＤＲ２とは異なる照射方向からの照射のもとで取得される第２予備画像から生成されるシフト画像ＰＳ４２を模式的に示す図である。 本開示の実施形態による画像形成システムのさらに他の一例を示すブロック図である。 具体例３における第１照射方向ＤＲ１と第２照射方向ＤＲ２の一例を模式的に示す図である。 画像形成システム５００における動作のさらに他の一例を示すフローチャートである。 本開示の実施形態による画像形成システムのさらに他の一例を示すブロック図である。 画像形成システム５００における動作のさらに他の一例を示すフローチャートである。 本開示の実施形態による画像形成システムのさらに他の一例を示すブロック図である。 画像形成システム５００における動作のさらに他の一例を示すフローチャートである。 照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の一例を模式的に示す断面図である。 照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の他の一例を模式的に示す断面図である。 照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係のさらに他の一例を模式的に示す断面図である。 本開示の実施形態による画像形成システムのさらに他の一例を示すブロック図である。 画像形成システム５００における動作のさらに他の一例を示すフローチャートである。 ＣＣＤイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図である。 裏面照射型ＣＭＯＳイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図である。 裏面照射型ＣＭＯＳイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図である。 光電変換膜積層型イメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図である。

＜高分解能画像形成の原理＞
本開示の実施形態では、照明光の照射方向を変えて複数回の撮影を実行することにより得られる複数の画像を用いて、それら複数の画像の各々よりも分解能の高い画像（以下、「高分解能画像」と呼ぶ。）を形成する。まず、図１Ａ〜図６を参照して、高分解能画像形成の原理を説明する。ここでは、ＣＣＤ（Charge Coupled Device）イメージセンサを
例示して説明を行う。なお、以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。

図１Ａおよび図１Ｂを参照する。図１Ａは、被写体の一部を模式的に示す平面図である。図１Ａに示す被写体２は、例えば、生物組織の薄片（典型的には、数十μｍ以下の厚さを有する。）である。被写体２の画像の取得時、被写体２は、イメージセンサの撮像面に近接して配置されている。イメージセンサの撮像面から被写体２までの距離は、典型的には１ｍｍ以下であり、例えば１μｍ程度に設定され得る。

図１Ｂは、イメージセンサのフォトダイオードのうち、図１Ａに示されている領域の撮像に関わるフォトダイオードを抽出して模式的に示す平面図である。ここで説明する例では、イメージセンサ４に形成されたフォトダイオード４ｐのうち、６個のフォトダイオードが示されている。なお、参考のために、図１Ｂでは、互いに直交するｘ方向、ｙ方向およびｚ方向を示す矢印が図示されている。ｚ方向は、撮像面の法線方向を示している。図
１Ｂでは、ｘｙ面内においてｘ軸からｙ軸に向かって４５°回転した方向であるｕ方向を示す矢印も図示されている。他の図面においても、ｘ方向、ｙ方向、ｚ方向またはｕ方向を示す矢印を図示することがある。

イメージセンサ４におけるフォトダイオード４ｐ以外の構成要素は、遮光層によって覆われている。図１Ｂ中、ハッチングされた領域は、遮光層によって覆われている領域を示している。ＣＣＤイメージセンサの撮像面上における１つのフォトダイオードの受光面の面積（Ｓ２）は、そのフォトダイオードを含む単位領域の面積（Ｓ１）よりも小さい。画素の面積Ｓ１に対する受光面積Ｓ２の比率（Ｓ２／Ｓ１）は、「開口率」と呼ばれている。ここでは、開口率が２５％であるとして説明を行う。

図２Ａおよび図２Ｂは、被写体２を透過してフォトダイオード４ｐに入射する光線の方向を模式的に示す。図２Ａおよび図２Ｂは、撮像面に対して垂直な方向から光線を入射させた状態を示している。図２Ａおよび図２Ｂにおいて模式的に示すように、ここでは、被写体２とイメージセンサ４との間に結像のためのレンズは配置されておらず、被写体２の画像は、被写体２を透過する実質的に平行な光線を用いて取得される。

図２Ｃは、図２Ａおよび図２Ｂに示す照射方向のもとで取得される画像Ｓａ（第１のサブ画像Ｓａ）を模式的に示す。図２Ｃに示すように、第１のサブ画像Ｓａは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐａから構成される。画素Ｐａの各々は、個々のフォトダイオード４ｐに入射した光の量を示す値（画素値）を持つ。

図２Ａおよび図２Ｂに示すように、撮像面に垂直な方向から被写体２を照射したときには、被写体２の全体のうち、フォトダイオード４ｐの直上に位置する領域を透過した光がフォトダイオード４ｐに入射する。この例では、第１のサブ画像Ｓａは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６（図１Ａ参照）の情報を有している。なお、フォトダイオード４ｐの直上に位置しない領域を透過した光は、フォトダイオード４ｐには入射しない。したがって、第１のサブ画像Ｓａでは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６以外の領域の情報が欠落している。

図３Ａおよび図３Ｂは、図２Ａおよび図２Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図３Ａおよび図３Ｂに示す光線は、ｚ方向に対してｘ方向に傾斜している。このとき、被写体２の全体のうち、フォトダイオード４ｐの直上に位置する領域とは異なる領域を透過した光がフォトダイオード４ｐに入射する。

図３Ｃは、図３Ａおよび図３Ｂに示す照射方向のもとで取得される画像Ｓｂ（第２のサブ画像Ｓｂ）を模式的に示す。図３Ｃに示すように、第２のサブ画像Ｓｂも、６個のフォトダイオード４ｐによって取得される６個の画素から構成されている。ただし、第２のサブ画像Ｓｂを構成する画素Ｐｂは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６とは異なる領域Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５およびＢ６（図１Ａ参照）に関する画素値を持つ。言い換えれば、第２のサブ画像Ｓｂは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６の情報は有しておらず、代わりに、領域Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５およびＢ６の情報を有している。ここでは、例えば領域Ｂ１は、被写体２において領域Ａ１の右側に隣接する領域である（図１Ａ参照）。

図２Ａおよび図２Ｂと、図３Ａおよび図３Ｂとを比較することによって理解されるように、照射方向を適切に変更することにより、被写体２の異なる領域を透過した光線をフォトダイオード４ｐに入射させることができる。その結果、第１のサブ画像Ｓａと第２のサブ画像Ｓｂは、被写体２において異なる位置に対応する画素情報を含むことができる。

図４Ａおよび図４Ｂは、図２Ａおよび図２Ｂに示す照射方向ならびに図３Ａおよび図３Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図４Ａおよび図４Ｂに示す光線は、ｚ方向に対してｙ方向に傾斜している。

図４Ｃは、図４Ａおよび図４Ｂに示す照射方向のもとで取得される画像Ｓｃ（第３のサブ画像Ｓｃ）を模式的に示す。図４Ｃに示すように、第３のサブ画像Ｓｃは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐｃから構成されている。図示するように、第３のサブ画像Ｓｃは、被写体２の全体のうち、図１Ａに示す領域Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５およびＣ６の情報を有している。ここでは、例えば領域Ｃ１は、被写体２において領域Ａ１の上側に隣接する領域である（図１Ａ参照）。

図５Ａは、図２Ａおよび図２Ｂに示す照射方向、図３Ａおよび図３Ｂに示す照射方向、ならびに図４Ａおよび図４Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図５Ａに示す光線は、ｚ方向に対して、ｘｙ面内においてｘ軸と４５°の角をなす方向に傾斜している。

図５Ｂは、図５Ａに示す照射方向のもとで取得される画像Ｓｄ（第４のサブ画像Ｓｄ）を模式的に示す。図５Ｂに示すように、第４のサブ画像Ｓｄは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐｄから構成されている。第４のサブ画像Ｓｄは、被写体２の全体のうち、図１Ａに示す領域Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５およびＤ６の情報を有している。ここでは、例えば領域Ｄ１は、領域Ｃ１の右側に隣接する領域である（図１Ａ参照）。このように、サブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄの各々は、被写体２の異なる部分から構成される像を含んでいる。

図６は、４枚のサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄから合成される高分解能画像ＨＲを示している。図６に示すように、高分解能画像ＨＲの画素数または画素密度は、４枚のサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄの各々の画素数または画素密度の４倍である。

例えば、被写体２における、図１Ａに示す領域Ａ１、Ｂ１、Ｃ１およびＤ１のブロックに着目する。これまでの説明からわかるように、図６に示すサブ画像Ｓａの画素Ｐａ１は、上述のブロック全体ではなく、領域Ａ１のみの情報を有している。したがって、サブ画像Ｓａは、領域Ｂ１、Ｃ１およびＤ１の情報が欠落した画像であるということができる。

しかしながら、被写体２において異なる位置に対応する画素情報を有するサブ画像Ｓｂ、ＳｃおよびＳｄを用いることにより、図６に示すように、サブ画像Ｓａにおいて欠落した情報を補完し、ブロック全体の情報を有する高分解能画像ＨＲを形成することが可能である。個々のサブ画像の分解能がイメージセンサ４の固有分解能に等しいことに対し、この例では、イメージセンサ４の固有分解能の４倍の分解能が得られている。高分解能化（超解像）の程度は、イメージセンサの開口率に依存する。この例では、イメージセンサ４の開口率が２５％であるため、異なる４方向からの光照射によって最大４倍の高分解能化が達成されている。Ｎを２以上の整数するとき、イメージセンサ４の開口率が近似的に１／Ｎに等しければ、最大Ｎ倍の高分解能化が可能である。

このように、被写体を基準にして複数の異なる照射方向から、順次、平行光を照射して被写体の撮像を行うことにより、被写体から「空間的」にサンプリングされる画素情報を増加させることができる。得られた複数のサブ画像を合成することにより、複数のサブ画像の各々よりも分解能の高い高分解能画像を形成することが可能である。もちろん、照射方向は、図２Ａ〜図５Ｂを参照して説明した照射方向に限定されない。

なお、上記の例において、図６に示すサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄは、被写体
２における互いに異なる領域の画素情報を有しており、重なりを有していない。しかしながら、異なるサブ画像間において重なりを有していてもよい。また、上記の例では、被写体２において隣接する２つの領域を通過した光線は、いずれも、同一のフォトダイオードに入射している。しかしながら、照射方向の設定はこの例に限定されない。例えば、図７に示すように、被写体２の隣接する２つの領域を通過した光線が、それぞれ、異なるフォトダイオードに入射するように照射方向が調整されていてもよい。

＜モジュール＞
図１Ａ〜図６を参照して説明した原理に基づく高分解能画像の形成において、サブ画像の取得は、被写体２がイメージセンサ４の撮像面に近接して配置された状態で実行される。本開示の実施形態では、被写体２およびイメージセンサ４が一体化された構造を有するモジュールを用いてサブ画像の取得を行う。以下、図面を参照して、モジュールの構成の一例およびモジュールの作製方法の一例を説明する。

図８Ａは、モジュールの断面構造の一例を模式的に示す。図８Ａに示すモジュール１０では、封入剤６によって覆われた被写体２がイメージセンサ４の撮像面４Ａ上に配置されている。図示する例では、透明プレート（典型的にはガラス板）８が被写体２上に配置されている。すなわち、図８Ａに例示する構成では、被写体２は、イメージセンサ４と透明プレート８との間に挟まれている。モジュール１０が透明プレート８を有すると、作業性が向上するので有益である。透明プレート８としては、例えば、一般的なスライドガラスを使用することができる。なお、図中においては各要素が模式的に表されており、各要素における実際の大きさおよび形状は、図中に現された大きさおよび形状と必ずしも一致しない。以下において参照する他の図面においても同様である。

図８Ａに例示する構成において、イメージセンサ４は、パッケージ５に固定されている。図８Ｂは、図８Ａに示すモジュール１０をイメージセンサ４側から見たときの外観の一例を示す。図８Ａおよび図８Ｂに示すように、パッケージ５は、透明プレート８とは反対側の面に裏面電極５Ｂを有する。この裏面電極５Ｂは、パッケージ５に形成された不図示の配線パターンを介してイメージセンサ４と電気的に接続されている。すなわち、裏面電極５Ｂを介して、イメージセンサ４の出力を取り出すことができる。本明細書では、パッケージとイメージセンサとが一体化された構造物を「撮像素子」と呼ぶ。

図９を参照して、モジュール１０の作製方法の一例を説明する。ここでは、被写体２として生物組織の薄片（組織切片）を例示する。生物組織の薄片を被写体２として有するモジュール１０は、病理診断に利用され得る。

まず、図９に示すように、組織切片Ａ０２を透明プレート８に載せる。透明プレート８は、光学顕微鏡による試料の観察に用いられるスライドガラスであり得る。以下では、透明プレート８としてスライドガラスを例示する。次に、組織切片Ａ０２を透明プレート８ごと染色液Ｓｓに漬けることにより、組織切片Ａ０２を染色する。次に、透明プレート８上に封入剤６を付与することにより、組織切片Ａ０２を染色することによって得られた被写体２を封入剤６によって覆う。封入剤６は、被写体２を保護する機能を有する。次に、撮像素子７を、イメージセンサ４の撮像面が被写体２に対向するようにして被写体２上に配置する。このようにして、モジュール１０が得られる。

モジュール１０は、撮像の対象ごとに作製される。例えば病理診断の場面では、１つの検体から複数（例えば５〜２０枚）の組織切片が用意される。そのため、同一の検体から得られた組織切片を被写体２として有する複数のモジュール１０が作製され得る。これらの複数のモジュール１０のそれぞれについて複数のサブ画像の取得を行えば、複数のモジュール１０のそれぞれに対応した高分解能画像の形成が可能である。

図８Ａに示すように、モジュール１０は、光学顕微鏡による観察に用いられるプレパラートとは異なり、被写体２の画像を取得するイメージセンサ４を備えている。このようなモジュールを「電子プレパラート」と呼んでもよい。図８Ａに示すように被写体２および撮像素子７が一体化された構造を有するモジュール１０を用いることにより、被写体２とイメージセンサ４との間の配置を固定できるという利点が得られる。

モジュール１０を用いて被写体２の画像の取得を実行するとき、透明プレート８を介して被写体２に照明光を照射する。被写体２を透過した照明光がイメージセンサ４に入射する。これにより、被写体２の画像が得られる。光源と被写体との相対的な配置を変えながら、順次、撮像を実行することにより、照射時において角度を変えて複数の異なる画像を取得することができる。例えば、図１０Ａに示すように、イメージセンサ４の直上に光源３１０を配置する。そして、コリメートされた光ＣＬをイメージセンサ４の撮像面４Ａの法線方向から被写体２に照射した状態で撮像を行えば、図２Ｃに示すサブ画像Ｓａと同様のサブ画像が得られる。また、図１０Ｂに示すように、モジュール１０を傾けた状態でコリメートされた光ＣＬを被写体２に照射して撮像を行えば、図３Ｃに示すサブ画像Ｓｂ（あるいは図４Ｃに示すサブ画像Ｓｃ）と同様のサブ画像が得られる。このように、光源に対するモジュール１０の姿勢を変化させながら、順次、撮像を実行することにより、図１Ａ〜図６を参照して説明した原理を適用して高分解能画像を得ることが可能である。

＜本発明者の知見＞
図１Ａ〜図６を参照して説明したように、複数のサブ画像の取得においては、高分解能画像の形成に適したサブ画像が得られるような適切な照射方向からの照射が行われる。しかしながら、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的な配置を予め知ることは困難である。したがって、複数のサブ画像の取得に用いる複数の照射方向を決定することは一般に困難である。たとえ、ある１つのモジュールについて複数の照射方向が決定できたとしても、以下に説明するように、他のモジュールについてもそれらの複数の照射方向が適しているとは限らない。つまり、照明光の照射方向を複数のモジュール間において共通とすると、高分解能画像を適切に形成できないことがある。

図１１Ａは、被写体２の配置と照射方向との関係の一例を模式的に示す。図１１Ａでは、破線の矢印ＤＲａで示す照射方向と、実線の矢印ＤＲｂで示す照射方向との２つの照射方向をあわせて図示している。なお、図１Ａ〜図６を参照して説明した原理から明らかなように、実際の撮像時、矢印ＤＲａで示す方向からの照明光の照射および矢印ＤＲｂで示す方向からの照明光の照射は同時には実行されず、順次に実行される。

図１１Ａに示す例では、イメージセンサ４は、フォトダイオード４ｐの光入射面を被覆する透明層４Ｔを有している。被写体２は、封入剤６に覆われた状態でこの透明層４Ｔ上に位置している。図１１Ａ中、撮像面４Ａと被写体２との間隔を矢印ｄ１により模式的に示す。

図示するように、矢印ＤＲａで示す照射方向から被写体２を照射したときには、被写体２のうち、フォトダイオード４ｐの直上に位置する領域Ａ１を透過した光がフォトダイオード４ｐに入射する。すなわち、このとき、図２Ｃを参照して説明したサブ画像Ｓａと同様のサブ画像が取得される。矢印ＤＲｂで示す照射方向から被写体２を照射したときには、被写体２のうち、図のｘ方向に沿って領域Ａ１に隣接する領域Ｂ１を透過した光がフォトダイオード４ｐに入射する。このとき、図３Ｃを参照して説明したサブ画像Ｓｂと同様のサブ画像が取得される。したがって、これらの２つのサブ画像を用いることにより、図のｘ方向について２倍の高分解能化が実現する（図１Ａおよび図６参照）。

図１１Ｂは、イメージセンサ４の撮像面４Ａからより離れた位置に被写体２が配置されたモジュールにおける、被写体２を透過した照明光とフォトダイオード４ｐとの間の関係を模式的に示す。図１１Ｂに示す例では、撮像面４Ａと被写体２との間隔ｄ２は、図１１Ａに示す例における間隔ｄ１よりも大きい。このように、複数のモジュールの間において、撮像面４Ａと被写体２との間隔にばらつきが生じることがある。このようなばらつきは、例えばモジュールの製作時に、撮像面４Ａと被写体２との間に封入剤６（図９参照）が入り込むことにより生じると考えられる。本発明者の検討によれば、撮像面４Ａと被写体２との間隔は、２〜８μｍ程度の範囲の変動を有し得る。

図１１Ｂに示す例において、矢印ＤＲａで示す照射方向から被写体２を照射したときには、図１１Ａに示す例と同様に、被写体２のうち領域Ａ１を透過した光がフォトダイオード４ｐに入射する。このとき、図２Ｃを参照して説明したサブ画像Ｓａと同様のサブ画像が取得される。一方、矢印ＤＲｂで示す照射方向から被写体２を照射したときには、図１１Ａを参照して説明した例とは異なり、被写体２のうち、領域Ｂ１とは異なる領域を透過した光がフォトダイオード４ｐに入射する。なお、図示する例では、領域Ｂ１を透過した光は、イメージセンサ４のいずれのフォトダイオード４ｐにも入射していない。言い換えれば、矢印ＤＲｂで示す照射方向から被写体２を照射しても、被写体２における領域Ｂ１の情報を有するサブ画像を取得することができない。この例では、矢印ＤＲｂで示す照射方向からの照射によっては、高分解能画像の形成のためのサブ画像が得られない。したがって、高分解能画像を形成することができない。

図１１Ｃは、被写体２の配置と照射方向との関係の他の一例を模式的に示す。図１１Ｃに示す例では、撮像面４Ａと被写体２との間隔ｄ３は、図１１Ａに示す例における間隔ｄ１よりも大きく、図１１Ｂに示す例における間隔ｄ２よりも小さい。この例では、矢印ＤＲｂで示す照射方向から被写体２を照射したとき、フォトダイオード４ｐには、領域Ｂ１のうちの一部を透過した光と、領域Ｂ１とは異なる領域を透過した光とが入射する。このときに得られるサブ画像では、領域Ｂ１の情報の一部が欠落している。したがって、矢印ＤＲａで示す照射方向から被写体２を照射したときに得られたサブ画像と、矢印ＤＲｂで示す照射方向から被写体２を照射したときに得られたサブ画像とを用いても、適切な高分解能画像を形成することはできない。

図１１Ａ〜図１１Ｃからわかるように、あるモジュールについて設定した複数の照射方向は、他のモジュールにおいて複数のサブ画像を取得するための照射方向として適切であるとは限らない。つまり、あるモジュールについて設定した複数の照射方向を他のモジュールにおける複数のサブ画像の取得にそのまま適用すると、それらの複数の照射方向に応じて取得した複数のサブ画像からは適切な高分解能画像を形成できないことがある。なお、複数のモジュールの間において被写体２の厚さにばらつきが存在する場合にも上記と同様の現象が生じる可能性がある。

本発明者は、上記に鑑み検討を重ね、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性を向上させ得る画像取得装置（デジタイザ）、画像形成システムおよび画像形成方法を見出した。

本開示の実施形態を詳細に説明する前に、まず、本開示の実施形態の概要を説明する。本開示の一態様である画像取得装置は、照明システムと、照射方向決定部とを備える。照明システムは、被写体を透過した照明光が撮像素子に入射するように被写体と撮像素子とが一体化されたモジュールに、被写体を基準とする複数の異なる照射方向から、順次、被写体を照射する。このモジュールは、被写体を基準とする複数の異なる照射方向に応じた複数の画像を撮像素子によって取得するように構成されている。照射方向決定部は、複数
の異なる照射方向に応じて複数の画像を撮像素子によって取得する前に、第１予備画像と、第２予備画像との間の差異に基づいて、複数の異なる照射方向を決定する。第１予備画像は、第１照射方向からの第１照明光で被写体が照射されているときに撮像素子によって取得された画像である。第２予備画像は、第２照射方向からの第２照明光で被写体が照射されているときに撮像素子によって取得された画像である。

ある態様において、照射方向決定部は、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるように選択された第１照射方向および第２照射方向に基づいて、複数の異なる照射方向を決定する。

ある態様において、照明システムは、第１照射方向および第２照射方向の少なくとも一方を変化させる。撮像素子は、第１照射方向および第２照射方向の少なくとも一方の変化に応じて１以上の第１予備画像および１以上の第２予備画像を取得する。照射方向決定部は、各々が第１予備画像および第２予備画像から構成される１以上の異なる画像セットから、第１予備画像と第２予備画像との間にある差異が所定レベルよりも小さな画像セットを決定し、当該画像セットに対応する第１照射方向および第２照射方向に基づいて、複数の異なる照射方向を決定する。

ある態様において、照明システムは、第１照射方向および第２照射方向の少なくとも一方を変化させる。撮像素子は、第１照射方向および第２照射方向の少なくとも一方の変化に応じて１以上の第１予備画像および１以上の第２予備画像を取得する。照射方向決定部は、各々が第１予備画像および第２予備画像から構成される、予め設定された個数の異なる画像セットから、第１予備画像と第２予備画像との間にある差異が最小である画像セットを決定し、当該画像セットに対応する第１照射方向および第２照射方向に基づいて、複数の異なる照射方向を決定する。

ある態様において、第１照射方向および第２照射方向は、被写体を基準にして対称な関係にある。

ある態様において、差異は、第１予備画像における画素の輝度と、第２予備画像における画素の輝度とから規定される量である。

ある態様において、照射方向決定部は、第１予備画像を構成する複数の画素の輝度と、第２予備画像を構成する複数の画素の輝度とを比較することにより、第１予備画像と第２予備画像との間にある差異を算出する。

ある態様において、照射方向決定部は、第１予備画像および第２予備画像の少なくとも一方における画素の輝度を補正した後に、第１予備画像と第２予備画像との間にある差異を算出する。

ある態様において、照射方向決定部は、撮像素子に対する被写体の高さを示す位置情報を取得し、位置情報に応じて複数の異なる照射方向を決定する。

ある態様において、照明システムは、モジュールが着脱自在に装填されるように構成されたステージ、および、ステージの姿勢を変更可能に構成されたステージ駆動機構を有する。

本開示の他の一態様である画像形成システムは、上記のいずれかに記載の画像取得装置と、複数の異なる照射方向に応じて取得した複数の画像を合成することにより、複数の画像の各々よりも分解能の高い被写体の高分解能画像を形成する画像処理装置とを備える。

本開示のさらに他の一態様である画像形成方法は、被写体の第１予備画像を取得する工程と、被写体の第２予備画像を取得する工程と、被写体を基準とする複数の異なる照射方向を決定する工程と、複数の異なる照射方向に応じた複数の画像を取得する工程と、被写体の高分解能画像を形成する工程とを含む。第１予備画像を取得する工程において、被写体を透過した照明光が撮像素子に入射するように被写体と撮像素子とが一体化されたモジュールを第１照明光で第１照射方向から照射することによって第１予備画像を取得する。第２予備画像を取得する工程において、モジュールを第２照明光で第２照射方向から照射することによって第２予備画像を取得する。被写体を基準とする複数の異なる照射方向を決定する工程において、第１予備画像と第２予備画像との間の差異に基づいて、複数の異なる照射方向を決定する。複数の異なる照射方向に応じた複数の画像を取得する工程において、複数の異なる照射方向から、順次、被写体を照明光で照射することにより、複数の異なる照射方向に応じた複数の画像を取得する。被写体の高分解能画像を形成する工程において、複数の画像を合成することにより、複数の画像の各々よりも分解能の高い被写体の高分解能画像を形成する。

ある態様において、第１予備画像を取得する工程は、第１照射方向を変えて複数回実行される。

ある態様において、第２予備画像を取得する工程は、第２照射方向を変えて複数回実行される。

ある態様において、第１照射方向および第２照射方向は、被写体を基準にして対称な関係にある。

ある態様では、複数の異なる照射方向を決定する工程において、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるような第１照射方向および第２照射方向に基づいて、複数の異なる照射方向が決定される。

ある態様では、複数の異なる照射方向を決定する工程において、第１予備画像と第２予備画像との間にある差異が最小となるような第１照射方向および第２照射方向に基づいて、複数の異なる照射方向が決定される。

ある態様において、差異は、第１予備画像における画素の輝度と第２予備画像における画素の輝度とから規定される量である。

ある態様において、複数の異なる照射方向を決定する工程は、第１予備画像を構成する複数の画素の輝度と、第２予備画像を構成する複数の画素の輝度とを比較する工程を含む。

ある態様による画像形成方法は、第２予備画像を取得する工程と、複数の異なる照射方向を決定する工程との間に、第２予備画像における画素の輝度を補正する工程を含む。

以下、図面を参照しながら、本開示の実施形態を詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

＜画像取得装置＞
図１２は、本開示の実施形態による画像取得装置の構成の一例の概略を示す。図１２に示す画像取得装置１００ａは、照明システム３０を有する。図１２に例示する構成において、照明システム３０は、照明光を生成する光源３１、モジュール１０が着脱自在に装填されるように構成されたステージ３２、および、ステージ３２の姿勢を変更可能に構成されたステージ駆動機構３３を含んでいる。図１２は、ステージ３２にモジュール１０が装填された状態を模式的に示している。ただし、モジュール１０における封入剤６および透明プレート８の図示は省略している。モジュール１０は、画像取得装置１００ａに必須の構成要素ではない。

モジュール１０は、ステージ３２に接続された状態において、被写体２を透過した照明光が撮像素子７に入射するような配置を有する。照明システム３０は、例えばステージ３２の姿勢を変化させることにより、被写体２を基準とする照射方向を変化させる。本明細書における「姿勢」の変化は、基準面に対する傾斜の変化、基準方位に対する回転角度の変化、および、基準点に対する位置の変化などを広く含む。被写体２を基準とする複数の異なる照射方向から、順次、光源３１によって生成された照明光で被写体２を照射する。照明システム３０の構成の詳細および動作の例は後述する。照射方向を変えて被写体２を照射することにより、複数の異なる照射方向に応じて異なる複数の画像（サブ画像）が撮像素子７によって取得される。得られた複数の画像を用いて、高分解能画像の形成が可能である。

図１２に示す画像取得装置１００ａは、照射方向決定部４０ａを有する。この照射方向決定部４０ａは、撮像素子７による複数のサブ画像の取得時における複数の異なる照射方向を決定する。本開示の実施形態では、サブ画像の取得は、照射方向決定部によって決定された複数の異なる照射方向のもとで実行される。言い換えれば、本開示の実施形態におけるサブ画像は、照射方向決定部によって決定された複数の異なる照射方向に対応した複数の異なる画像である。後に詳しく説明するように、本開示の実施形態では、複数のサブ画像の取得に先立ち、１以上の第１予備画像の取得と１以上の第２予備画像の取得とを行う。照射方向決定部４０ａは、第１予備画像と第２予備画像との間の差異に基づいて、複数のサブ画像の取得時における複数の異なる照射方向を決定する。照射方向決定部４０ａの構成および動作の具体例は、後述する。

次に、図１３Ａ〜図１４Ｂを参照して、被写体を基準とする照明光の照射方向を変更する方法の一例を説明する。

図１３Ａおよび図１３Ｂは、画像取得装置１００ａの例示的な外観を示す。図１３Ａに例示する構成において、画像取得装置１００ａは、光源３１およびステージ３２を含む本体１１０と、本体１１０に開閉可能に連結された蓋部１２０とを有している。蓋部１２０を閉じることにより、画像取得装置１００ａの内部に暗室を形成することができる（図１３Ｂ参照）。

図示する例では、ステージ３２上にモジュール１０を保持するためのソケット１３０が接続されている。ソケット１３０は、ステージ３２に固定されていてもよいし、ステージ３２に着脱可能に構成されていてもよい。ここでは、ソケット１３０がステージ３２に着脱可能に構成されている構成を例示する。ソケット１３０は、例えば、モジュール１０が着脱可能に構成された下部基材１３２と、開口部Ａｐが形成された上部基材１３４とを含む。図１３Ａに例示する構成では、ソケット１３０は、下部基材１３２と上部基材１３４との間にモジュール１０を挟むことにより、モジュール１０を保持する。

下部基材１３２は、モジュール１０の撮像素子７との電気的接続のための電気的接点を
有する電気接続部を有し得る。被写体の画像の取得時、撮像素子７の撮像面が光源３１に対向するようにしてモジュール１０が下部基材１３２に載せられる。このとき、電気接続部の電気的接点と撮像素子７の裏面電極５Ｂ（図８Ａおよび図８Ｂ参照）とが接触することにより、モジュール１０の撮像素子７と下部基材１３２の電気接続部とが電気的に接続される。

図１３Ｃは、画像取得装置１００ａのステージ３２に対するソケット１３０の装填方法の一例を示す。図１３Ｃに例示する構成において、ソケット１３０は、底面から突出する電極１３６を有している。この電極１３６は、下部基材１３２の電気接続部の一部であり得る。また、図１３Ｃに示す例では、画像取得装置１００ａのステージ３２は、ジャック３６が設けられた取付部３４を有している。図１３Ｃに示すように、例えばモジュール１０を保持した状態のソケット１３０は、ジャック３６にソケット１３０の電極１３６が挿入されるようにしてステージ３２に装填される。これにより、ソケット１３０に保持されたモジュール１０中の撮像素子７と、画像取得装置１００ａとの間の電気的接続が確立される。ステージ３２は、モジュール１０を保持するソケット１３０が装填された状態においてイメージセンサ４の出力を受け取る回路を有し得る。本開示の実施形態では、画像取得装置１００ａは、ソケット１３０が有する電気接続部を仲立ちとして被写体２の画像を示す情報（画像信号あるいは画像データ）を取得する。

なお、複数のモジュール１０を用いて複数の被写体の撮像を行う場合、モジュール１０と同数のソケット１３０を用意し、モジュール１０を保持した状態のソケット１３０を換装することによって撮像の対象を変更してもよい。あるいは、ステージ３２に１つのソケット１３０を取り付けた状態のままモジュール１０を換装することにより、撮像の対象を変更してもよい。

図１３Ｃに示すように、ソケット１３０をステージ３２に装填することにより、ソケット１３０の底面と、取付部３４の上面とを密着させ得る。これにより、ステージ３２に対するソケット１３０の配置が固定される。したがって、ステージ３２と、ソケット１３０に保持されたモジュール１０との配置をステージ３２の姿勢の変化の前後において一定に保つことができる。典型的には、ステージ３２にソケット１３０が装填された状態において、モジュール１０の透明プレート８の主面とステージ３２とは、ほぼ平行である。

図１４Ａは、照射方向を変更する方法の一例を示す。図示するように、ソケット１３０に保持されたモジュール１０に、光源３１から出射された照明光ＣＬが照射される。照明光ＣＬは、ソケット１３０に設けられた開口部Ａｐを介して、モジュール１０の被写体に入射する。被写体を透過した光が、モジュール１０の撮像素子７の撮像面に入射する。

光源３１から出射される光は、典型的には、コリメートされた光である。ただし、被写体に入射する光が実質的に平行光であるとみなせる場合には、光源３１から出射される光はコリメートされた光でなくてもよい。

光源３１は、例えばＬＥＤチップを含む。光源３１は、各々が異なる波長帯域にピークを有する複数のＬＥＤチップを含んでいてもよい。例えば、光源３１が、青色の光を出射するＬＥＤチップ、赤色の光を出射するＬＥＤチップ、および緑色の光を出射するＬＥＤチップを含んでいてもよい。複数の発光素子を近接（例えば１００μｍ程度）して配置した場合には、これらを点光源とみなし得る。

互いに異なる色の光を出射する複数の発光素子を使用し、例えば、異なる色の光を照射方向ごとにタイムシーケンシャルに照射することにより、それぞれの色についての複数のサブ画像を取得することができる。例えば、青色サブ画像のセット、赤色サブ画像のセッ
ト、および緑色サブ画像のセットを取得してもよい。取得されたサブ画像のセットを用いれば、カラーの高分解能画像を形成することができる。例えば病理診断の場面では、カラーの高分解能画像を利用することにより、病変の有無などに関するより多くの有益な情報を得ることができる。光源３１として白色ＬＥＤチップを用い、かつ、光路上にカラーフィルタを配置することによって、互いに異なる色の照明光をタイムシーケンシャルに得てもよい。また、イメージセンサ４としてカラー撮像用のイメージセンサを用いてもよい。ただし、イメージセンサ４の光電変換部に入射する光量の低減を抑制する観点からは、カラーフィルタを配置しない構成の方が有利である。

光源３１は、ＬＥＤに限定されず、白熱電球、レーザ素子、ファイバーレーザ、放電管などであってもよい。光源３１から出射される光は、可視光に限定されず、紫外線、赤外線などであってもよい。光源３１が有する発光素子の数および配置も任意に設定可能である。

図１２および図１４Ａに示すように、画像取得装置１００ａは、ステージ駆動機構３３を有する。ステージ駆動機構３３は、ゴニオ機構、回転機構などを含み、本体１１０に対するステージ３２の傾斜および／またはステージ３２の中心を通る軸に関する回転角を変化させる。ステージ駆動機構３３が、ステージ３２を基準面（典型的には水平面）内において平行移動させることが可能なスライド機構を含んでいてもよい。

ステージ駆動機構３３を動作させることにより、ステージ３２の姿勢を変化させることができる。ここでは、モジュール１０を保持した状態のソケット１３０がステージ３２に取り付けられているので、ステージ３２の姿勢を変化させることにより、モジュール１０の姿勢を変化させることができる。例えば、ステージ３２が基準面に対して傾斜していない時における照明光の入射方向がイメージセンサの撮像面の法線方向であるとする。ここでは、基準面に対するステージ３２の傾斜と基準面に対するモジュール１０の傾斜（透明プレート８の傾斜といってもよい。）との間の関係（例えば、平行）が、ステージ３２の姿勢の変化の前後において一定に保たれている。そのため、図１４Ｂに示すように、基準面に対してステージ３２を角度θだけ傾斜させると、被写体に入射する光線の方向も角度θだけ傾斜する。なお、図１４Ｂ中、破線Ｎは、イメージセンサの撮像面の法線を示している。

このように、ステージ３２とともにモジュール１０の姿勢を変化させることにより、被写体２を基準として複数の異なる照射方向から、順次、照明光を被写体に照射することが可能である。したがって、被写体２を基準とする複数の異なる照射方向に応じた複数の画像をモジュール１０の撮像素子７によって取得することができる。被写体２を基準とする照射方向は、例えば、イメージセンサの撮像面の法線Ｎと被写体２への入射光線とがなす角（図１４Ｂに示す天頂角θ）、および撮像面上に設定した基準方位と入射光線の撮像面への射影とがなす角（方位角）の組によって表すことができる。

なお、光源３１を画像取得装置１００ａ内において移動させたり、互いに異なる場所に配置された複数の光源を順次に点灯させたりすることによっても、複数の異なる照射方向から被写体２を照射することが可能である。例えば、光源３１と被写体２とを結ぶ方向に沿って光源３１を移動させることにより、照射方向を変更してもよい。ステージ３２の姿勢の変化と光源３１の移動とを組み合わせることによって照射方向を変化させてもよい。

＜画像形成方法＞
図１５は、本開示の実施形態による例示的な画像形成方法の概略を示す。図１５に例示する画像形成方法は、概略的には、第１予備画像を取得する工程（Ｓ２）と、第２予備画像を取得する工程（Ｓ４）と、第１予備画像と第２予備画像との間の差異に基づいて複数
の照射方向を決定する工程（Ｓ６）と、複数の照射方向に応じた複数の画像を取得する工程（Ｓ８）と、複数の画像を合成することによって高分解能画像を形成する工程（Ｓ１０）とを含む。

第１予備画像および第２予備画像は、それぞれ、被写体と撮像素子とが一体化されたモジュール（例えば図８Ａおよび図８Ｂを参照して説明したモジュール１０）を照明光で第１照射方向および第２照射方向から照射することによって取得される、被写体の画像である。後に具体例を参照して詳しく説明するように、第１予備画像の取得は、第１照射方向を変えて複数回実行され得る。また、第２予備画像の取得も、第２照射方向を変えて複数回実行され得る。第１照射方向は、単一の方向に限定されず、複数の方向を含み得る。したがって、第１予備画像の数は、１つに限定されない。同様に、第２照射方向は、単一の方向に限定されず、複数の方向を含み得る。第２予備画像の数も、１つに限定されない。第１予備画像の取得および第２予備画像の取得の順序は、図１５に例示した順序に限定されない。

第１予備画像および第２予備画像を取得した後、これらの間の差異に基づいて、高分解能画像を形成するためのサブ画像の取得時における複数の照射方向を決定する。本明細書における、第１予備画像および第２予備画像の間の「差異」は、ある１つの第１予備画像と、ある１つの第２予備画像とから構成される画像セットにおいて、その画像セットに含まれる第１予備画像と第２予備画像とから計算される、２つの画像間の類似性を示す値を広く含む。

ある画像セットを構成する第１予備画像および第２予備画像のそれぞれについて、複数の画素を含む画像ブロックに着目する。第１予備画像および第２予備画像の間の「差異」として、これらの間における画素の輝度の差の絶対値の和（Sum of Absolute Difference）または画素の輝度の差の２乗和（Sum of Squared Difference）を用いてもよい。ある
いは、テンプレートマッチングに用いられるNormalized Cross-Correlation、Zero-means
Normalized Cross-Correlationなども第１予備画像および第２予備画像の間の「差異」
として利用可能である。

後に詳しく説明するように、第１予備画像と第２予備画像との間の差異に基づいて決定される複数の照射方向は、撮像素子に対する被写体の高さに応じた照射方向であり得る。本明細書において、撮像素子に対する被写体の高さは、被写体の厚さ方向における中心部から撮像面までの距離を意味する。本開示の実施形態では、第１予備画像と第２予備画像との間の差異に基づいて撮像素子に対する被写体の高さのおおよその目安が決定できれば十分である。被写体の厚さ方向における中心部から撮像面までの厳密な距離を求める必要はないし、撮像素子の撮像面に平行な面内における被写体のあらゆる部分について、撮像素子に対する被写体の高さを決定する必要もない。なお、被写体の画像の取得時における撮像素子の配置は、撮像面が水平であるような配置に限定されない。したがって、本明細書における「高さ」は、撮像素子の撮像面の法線方向に沿って測った長さを意味し、鉛直方向に沿って測った長さに限定されない。

複数の照射方向の決定後、複数のサブ画像を取得する。詳細には、第１予備画像と第２予備画像との間の差異に基づいて決定された複数の照射方向から、順次、照明光を照射することにより、それらの複数の照射方向に応じた複数の画像（サブ画像）を取得する。

複数の照射方向に応じた複数の画像を取得した後、複数の画像を合成することにより、複数の画像の各々よりも分解能の高い被写体の高分解能画像を形成する。高分解能画像の形成には、図１Ａ〜図６を参照して説明した原理を適用することができる。本開示の実施形態によれば、高分解能画像の形成に使用できるサブ画像を確実に取得し得る。なお、上
述の各工程は、連続して実行される必要はない。

＜複数の照射方向の決定に用いられる原理＞
次に、図１６Ａ〜図１７Ｂを参照して、本開示の実施形態における複数の照射方向の決定に用いられる原理を説明する。図１５を参照して説明したように、本開示の実施形態では、複数のサブ画像の取得に先立ち、予備的な撮像を実行する。この予備的な撮像において、１以上の第１予備画像および１以上の第２予備画像を取得する。第１予備画像は、第１照射方向からの照明光で照射されているときに撮像素子によって取得される画像である。第２予備画像は、第２照射方向からの照明光で照射されているときに撮像素子によって取得される画像である。以下に詳しく説明するように、本開示の実施形態における予備的な撮像では、被写体２における同一の領域を透過した光が、互いに異なるフォトダイオードに入射するような第１照射方向および第２照射方向の探索が実行される。以下では、簡単のため、図のｘ方向について２倍の高分解能化を実現する場合を例示する。以下に説明する原理は、イメージセンサの撮像面に平行な面内においてＮ倍の高分解能化を実現する場合にも同様に適用可能である。

図１６Ａは、照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の一例を模式的に示す。図１６Ａでは、実線の矢印ＤＲ１で示す第１照射方向と、実線の矢印ＤＲ２で示す第２照射方向との２つの照射方向をあわせて図示している。なお、これは説明の便宜のためにすぎず、第１照射方向からの照射および第２照射方向からの照射が同時に実行されるわけではない。他の図面においても複数の照射方向を１つの図に示すことがある。

図１６Ａに示す例では、フォトダイオード４ｐａの直上に、被写体２の領域Ａ１が位置しており、フォトダイオード４ｐａに隣接するフォトダイオード４ｐｂの直上に、被写体２の領域Ａ２が位置している。ここでは、被写体２のうち、領域Ａ１と領域Ａ２との間にある領域Ｂ１に着目する。

図示する例では、第１照射方向ＤＲ１から照射したとき、フォトダイオード４ｐａには、被写体２の領域Ｂ１を透過した光が入射する。すなわち、第１照射方向ＤＲ１からの照射のもとで取得される第１予備画像に含まれる複数の画素の輝度（画素値）のうち、フォトダイオード４ｐａに対応する画素の輝度は、被写体２の領域Ｂ１を透過した光の量を示す。一方、図示する例では、第２照射方向ＤＲ２から照射したときには、領域Ａ１の一部分を透過した光と領域Ｂ１の一部分を透過した光とが、フォトダイオード４ｐａに隣接するフォトダイオード４ｐｂに入射する。したがって、このとき、第２照射方向ＤＲ２からの照射のもとで取得される第２予備画像に含まれる複数の画素の輝度のうち、フォトダイオード４ｐｂに対応する画素の輝度は、フォトダイオード４ｐａに対応する画素の輝度とは異なっている。

次に、第２照射方向を変化させ、再度第２予備画像の取得を行ったとする（図１６Ｂ参照）。この例では、図１６Ｂに示す照射角度θ２２は、図１６Ａに示す照射角度θ２１よりも小さい。図１６Ｂに示す第２照射方向ＤＲ２のもとで照射を行ったときには、被写体２の領域Ｂ１を透過した光がフォトダイオード４ｐｂに入射する。すなわち、このときに得られた第２予備画像に含まれる複数の画素の輝度のうち、フォトダイオード４ｐｂに対応する画素の輝度は、第１予備画像に含まれる複数の画素の輝度のうち、フォトダイオード４ｐａに対応する画素の輝度とほぼ同じである。つまり、第１照射方向からの照射のもとで被写体２のある領域を透過した光が、あるフォトダイオード（ここではフォトダイオード４ｐａ）に入射し、かつ、第２照射方向からの照射のもとで被写体２のその領域を透過した光が、そのフォトダイオードに隣接するフォトダイオード（ここではフォトダイオード４ｐｂ）に入射するとき、これらのフォトダイオードによって得られる画素値の間の
差は極小になるといえる。

図１６Ｃおよび図１６Ｄは、それぞれ、図１６Ｂに示す第１照射方向ＤＲ１からの照射のもとで取得される第１予備画像ＰＳ１および図１６Ｂに示す第２照射方向ＤＲ２からの照射のもとで取得される第２予備画像ＰＳ２を模式的に示す。図１６Ｃにおける画素Ｐｐａおよび図１６Ｄにおける画素Ｐｐｂは、それぞれ、フォトダイオード４ｐａおよびフォトダイオード４ｐｂに対応する画素を示す。

この例では、フォトダイオード４ｐａに対応する画素Ｐｐａの輝度と、フォトダイオード４ｐｂに対応する画素Ｐｐｂの輝度とは、ほぼ同じである。ただし、領域Ｂ１の情報を有する画素Ｐｐａおよび画素Ｐｐｂの位置は、第１予備画像ＰＳ１と第２予備画像ＰＳ２との間で１画素分だけずれている。図１６Ｃおよび図１６Ｄからわかるように、この例では、第１予備画像ＰＳ１の輝度分布と、第２予備画像ＰＳ２を図の左右方向に沿って１画素分シフトさせた画像の輝度分布とは、ほぼ一致する。本明細書において、「輝度分布」は、各画素の明るさを示す画素値の空間的な配置を意味する。

図１６Ｅは、図１６Ａに示す第２照射方向ＤＲ２からの照射のもとで取得される第２予備画像ＰＳ２２を模式的に示す。図１６Ｅにおける画素Ｐｐｂは、フォトダイオード４ｐｂに対応する画素を示す。図１６Ｅと図１６Ｃとの比較からわかるように、第１照射方向からの照射のもとでフォトダイオード４ｐａに入射する光と、第２照射方向からの照射のもとでフォトダイオード４ｐｂに入射する光との両方が、被写体２の領域Ｂ１を透過した光でない場合には、フォトダイオード４ｐａに対応する画素Ｐｐａの輝度と、フォトダイオード４ｐｂに対応する画素Ｐｐｂの輝度とは、ほぼ同じにはならない。

図１７Ａを参照する。図１７Ａは、照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の他の一例を模式的に示す。図１７Ａは、図１６Ａおよび図１６Ｂに示す例よりもイメージセンサ４の撮像面４Ａからより遠くに被写体２が位置するモジュールを用いて、図１６Ｂに示す第１照射方向ＤＲ１および図１６Ｂに示す第２照射方向ＤＲ２から照射を行った場合を示している。

図示する例では、第１照射方向ＤＲ１から照射したとき、フォトダイオード４ｐａには、被写体２の領域Ｂ１とは異なる領域を透過した光が入射する。また、第２照射方向ＤＲ２から照射したとき、フォトダイオード４ｐａに隣接するフォトダイオード４ｐｂには、被写体２のうち第１照射方向ＤＲ１からの照明光が通過する領域とも異なり、かつ、被写体２の領域Ｂ１とも異なる領域を透過した光が入射している。したがって、この例では、フォトダイオード４ｐａに対応する画素の輝度と、フォトダイオード４ｐｂに対応する画素の輝度とは異なる。このように、隣接する２つのフォトダイオードによって得られる画素値の間の差が極小になるような第１照射方向と第２照射方向との組み合わせは、モジュールごとに異なり得る。

図１７Ｂは、図１７Ａに示す被写体２の領域Ｂ１を透過した光がフォトダイオード４ｐａおよびフォトダイオード４ｐｂにそれぞれ入射するような第１照射方向ＤＲ１および第２照射方向ＤＲ２を示す。ここでは、図１７Ｂに示す照射角度θ２３は、図１７Ａに示す照射角度θ２２よりも小さい。

図示するように、第１照射方向および／または第２照射方向を適切に調整すれば、第１照射方向からの照明光と第２照射方向からの照明光とが、被写体２における同一の領域（ここでは領域Ｂ１）に入射するようにできる。また、被写体２における同一の領域を透過した光が、互いに隣接するフォトダイオード（ここではフォトダイオード４ｐａおよびフォトダイオード４ｐｂ）にそれぞれ入射するようにできる。このとき、互いに隣接するフ
ォトダイオードによって得られる画素値の間の差は極小となる。このことを言い換えれば、照射方向を変えながら第１予備画像および第２予備画像の撮像を行い、互いに隣接するフォトダイオードによって得られる画素値の間の差が極小となるような第１照射方向と第２照射方向との組み合わせを求めることにより、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。

このように、第１予備画像および第２予備画像を比較することにより、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置がわかれば、複数のサブ画像の取得に適した複数の照射方向を例えば幾何学的に算出することが可能である。

このように、本開示の実施形態によれば、複数のサブ画像の取得の前に、複数のサブ画像の取得に適した複数の照射方向を決定することが可能である。また、上述の手法をモジュールごとに適用すれば、複数のモジュールの間において撮像素子に対する被写体の高さにばらつきが存在する場合であっても、複数のサブ画像の取得に適した複数の照射方向をモジュールごとに算出することができる。これにより、高分解能画像のより確実な形成を実現し得る。

また、図１６Ｂと図１７Ｂとの比較からわかるように、互いに隣接するフォトダイオードによって得られる画素値の間の差が極小となるような第１照射方向と第２照射方向との組み合わせは、撮像素子に対する被写体の高さに応じて異なり得る。このことを利用すれば、互いに隣接するフォトダイオードによって得られる画素値の間の差が極小となるような第１照射方向と第２照射方向との組み合わせを見つけることにより、撮像面と被写体との間隔を示す位置情報または撮像素子に対する被写体の高さを示す位置情報を得ることもできる。このような位置情報を利用して、モジュールごとに、被写体の高さに応じた適切な照射方向を決定してもよい。なお、複数のサブ画像の取得のための複数の照射方向の決定において、図１６Ｂに示す照射角度θ２２を求めることが出来ればよく、撮像素子に対する被写体の高さを示す位置の算出は必須ではない。

＜画像形成システム＞
以下、図面を参照しながら、本開示の実施形態による画像形成システム、および、画像取得装置の構成の具体例を説明する。

図１８は、本開示の実施形態による画像形成システムの一例を示す。図１８に示す画像形成システム５００は、画像取得装置１００ａと、画像処理装置１５０とを有する。図１８では、照明システム３０の図示は省略されている。

画像処理装置１５０は、汎用または専用のコンピュータ（あるいは汎用または専用のプロセッサ）によって実現され得る。画像処理装置１５０は、画像取得装置１００ａと一体であってもよいし、画像取得装置１００ａとは異なる別個の装置であってもよい。画像処理装置１５０は、画像取得装置１００ａと同じ場所に配置されている必要はない。例えば、画像取得装置１００ａとは異なる場所に画像処理装置１５０を配置し、インターネットなどのネットワークを介してこれらを接続してもよい。

図１８に例示する構成において、画像処理装置１５０は、サブ画像取得部１５２および高分解能画像形成部１５４を有している。図１８に示す画像形成システム５００では、画像取得装置１００ａによって取得されたサブ画像のデータが画像処理装置１５０に送られる。画像処理装置１５０のサブ画像取得部１５２は、サブ画像のデータを取得する。画像
処理装置１５０の高分解能画像形成部１５４は、図１Ａ〜図６を参照して説明した原理を用いて複数のサブ画像を合成し、サブ画像の各々よりも分解能の高い、被写体の高分解能画像を形成する。

画像処理装置１５０は、画像取得装置１００ａの各部の動作を制御するための各種のコマンドを供給する制御装置としての機能を有し得る。ここでは、画像処理装置１５０が、画像取得装置１００ａの各部の動作を制御するための各種のコマンドを供給する制御装置１５６を備える構成を例示して説明する。もちろん、画像処理装置１５０と制御装置１５６とが別個の装置であるような構成を有するシステムも可能である。例えば、インターネットなどのネットワークを介して制御装置１５６と画像処理装置１５０とを接続してもよい。制御装置１５６とは別の場所に設置された画像処理装置１５０が、画像取得装置１５０ａによって取得されたサブ画像のデータを受け取り、高分解能画像の形成を実行するような構成であってもよい。

＜照射方向決定部の構成および動作の具体例１＞
図１８に例示する構成において、画像取得装置１００ａは、照射方向決定部４０ａと、メモリ５０とを有する。照射方向決定部４０ａの全体または一部は、デジタルシグナルプロセッサ（digital signal processor（DSP））、ＡＳＩＣ（application specific integrated circuit）、ＡＳＳＰ（Application Specific Standard Produce）、ＦＰＧＡ（Field Programmable Gate Array）、マイクロコンピュータなどによって構成され得る。図示する例では、照射方向決定部４０ａは、第１予備画像取得部１０２、第２予備画像取得部１０４、比較対象画素値算出部１０６ａ、差異算出部１０８、判定部１１０、および照射方向算出部１１２を含んでいる。これらは、それぞれが別個のプロセッサであってもよいし、これらの２以上が１つのプロセッサに含まれていてもよい。

メモリ５０の例は、ＲＡＭである。メモリ５０は、ＲＡＭに限定されず、公知の記憶装置を用いることができる。照射方向決定部４０ａがその一部にメモリ５０を有する構成であってもよい。メモリ５０には、例えば、第１照射方向ＤＲ１および第２照射方向ＤＲ２（例えば図１６Ａ参照）を示す情報が格納される。下記の表１は、第１照射方向ＤＲ１を示す情報および第２照射方向ＤＲ２を示す情報の一例を示す。

ここでは、第１照射方向ＤＲ１を示す第１照射角度の値および第２照射方向ＤＲ２を示す第２照射角度の値がメモリ５０に格納されている。表１に示す第１照射角度の値および第２照射角度の値は、例えば、図１４Ｂに示す角度θの大きさに対応する。表１中、第１列に示すＩＤは、第１照射角度および第２照射角度の組を識別するためのインデックスである。第１照射角度および第２照射角度の組の数、第１照射角度の値および第２照射角度
の値などは任意に設定が可能である。表１に示すリストでは、第１照射角度の値および第２照射角度の値は、それぞれ、５°ステップで設定されている。また、表１に示すリストでは、同一のＩＤにおける第２照射角度の値は、第１照射角度の値に−１を乗じた値である。

図１９は、画像形成システム５００における動作の一例を示す。図１９に示す例では、まず、ステップＳ１２において、メモリ５０に格納されている第１および第２照射角度のリストに、まだ選択されていないＩＤに対応する第１照射角度の値および第２照射角度の値があるか否かが判定される。ここでは、第１および第２照射角度の値の取得はまだ行われていないので、処理はステップＳ１４に進められる。まだ選択されていないＩＤに対応する第１照射角度の値および第２照射角度の値があるか否かの判定は、例えば、第１予備画像取得部１０２または第２予備画像取得部１０４によって実行され得る。

次に、ステップＳ１４において、第１予備画像取得部１０２および第２予備画像取得部１０４により、第１照射方向ＤＲ１を示す情報および第２照射方向ＤＲ２を示す情報が、それぞれ、メモリ５０から読み出される。ここでは、第１照射角度の値として−５°が読み出され、第２照射角度の値として５°が読み出される。表１からわかるように、この例では、第１照射方向ＤＲ１および第２照射方向ＤＲ２は、被写体を基準として対称な関係にある。

次に、ステップＳ１６において、第１予備画像取得部１０２による制御に基づき、第１予備画像が取得される。第１予備画像の取得は、被写体を基準とする照射方向が−５°である状態で実行される。ここでは、照明システム３０（例えば図１４Ａ参照）のステージ駆動機構３３により、ステージ３２の傾斜が変更された後、被写体が照明光で照射される。このときに取得された第１予備画像を示す情報は、メモリ５０に一時的に格納される。

次に、ステップＳ１８において、第２予備画像取得部１０４による制御に基づき、第２予備画像が取得される。このとき、被写体を基準とする照射方向が５°となるようにステージ３２の傾斜が変更される。その後、被写体の撮像が実行される。取得された第２予備画像を示す情報は、メモリ５０に一時的に格納される。

次に、ステップＳ２０において、比較対象画素値取得部１０６ａにより、比較対象画素値が取得される。ここでは、被写体２のうち、互いに隣接する２つのフォトダイオードの直上に位置する２つの領域の間にある領域を透過した光がこれらのフォトダイオードに入射するような第１照射方向および第２照射方向の探索を行う。そのため、第１予備画像における画素の輝度と第２予備画像における画素の輝度との比較を行う場合、これらの予備画像内において同じ位置にある画素同士の輝度を比較するのではなく、ある位置にある画素の輝度と、その位置から１画素分ずれた画素の輝度とを比較する（図１６Ｃおよび図１６Ｄ参照）。ここでは、フォトダイオード４ｐａに対応する画素Ｐｐａの輝度と、フォトダイオード４ｐｂに対応する画素Ｐｐｂの輝度とを比較する例を説明する。つまり、ここでは、比較対象画素値取得部１０６ａは、フォトダイオード４ｐａに隣接しているフォトダイオード４ｐｂに対応する画素Ｐｐｂの輝度を取得する。

次に、ステップＳ２２において、差異算出部１０８により、第１予備画像と第２予備画像との間の差異が算出される。例えば、第１予備画像と第２予備画像との間の差異として、第１予備画像における画素の輝度と、第２予備画像における画素の輝度との差の絶対値が算出される。ここでは、簡単のため、フォトダイオード４ｐａに対応する画素Ｐｐａの輝度と、比較対象画素値取得部１０６ａによって取得された、フォトダイオード４ｐｂに対応する画素Ｐｐｂの輝度との差の絶対値を算出する例を説明する。もちろん、第１予備画像および第２予備画像のそれぞれから２以上の画素を選択し、画素の輝度の比較を行っ
てもよい。例えば、第１予備画像における１つの画素と、その画素に対応する、第２予備画像における１つの画素とから構成される複数の画素の組のそれぞれについて画素間の輝度の差の絶対値を算出し、それらの平均値を第１予備画像と第２予備画像との間の差異として用いてもよい。

次に、ステップＳ２４において、ステップＳ２２において算出された差異が所定レベル以上であるか否かが判定部１１０によって判定される。第１予備画像と第２予備画像との間の差異が、予め設定しておいた所定レベルよりも小さい場合、第１照射方向からの照射のもとで被写体２の領域Ｂ１を透過した光が、フォトダイオード４ｐａに入射し、かつ、第２照射方向からの照射のもとで被写体２の領域Ｂ１を透過した光が、フォトダイオード４ｐｂに入射すると判断できる。第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるような第１照射方向と第２照射方向との組み合わせがわかれば、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置を知ることができる。

判定のためのレベルは、適宜設定可能である。例えば、撮像素子に対する被写体の高さが分かっているモジュールを用いて判定のためのレベルを決定してもよい。撮像素子に対する被写体の高さが分かっているモジュールを用いれば、第１照射方向からの照射のもとで被写体２の領域Ｂ１を透過した光、および、第２照射方向からの照射のもとで被写体２の領域Ｂ１を透過した光が、互いに隣接するフォトダイオードの各々に入射するときにおける、第１予備画像と第２予備画像との間の差異の大きさを求めることが可能である。この差異の大きさを判定のためのレベルとして利用してもよい。

第１予備画像と第２予備画像との間の差異が所定レベルよりも小さいと判定された場合には、処理がステップＳ２６に進められる。一方、第１予備画像と第２予備画像との間の差異が所定レベル以上であると判定された場合には、処理はステップＳ１２に戻される。

処理がステップＳ１２に戻されると、メモリ５０に格納されている第１および第２照射角度のリストに、まだ選択されていないＩＤに対応する第１照射角度の値および第２照射角度の値があるか否かの判定が再び実行される。ここでは、表１に示すＩＤが２〜７である第１および第２照射角度の値の取得はまだ行われていないので、処理はステップＳ１４に進められる。その後、ステップＳ１４において、第１照射方向ＤＲ１を示す情報および第２照射方向ＤＲ２を示す情報が、それぞれ、メモリ５０から読み出される。この例では、ＩＤが２である第１照射角度の値および第２照射角度の値が読み出される。第１および第２照射角度の値の取得後、上述のステップＳ１６〜ステップＳ２４が再度実行される。ステップＳ１６では、被写体を基準とする照射方向が照明システム３０によって−１０°に変更された状態で第１予備画像の取得が実行される。また、ステップＳ１８では、被写体を基準とする照射方向が照明システム３０によって１０°に変更された状態で第２予備画像の取得が実行される。ステップＳ２４において、新たに取得された第１予備画像と第２予備画像との間の差異が所定レベル以上と判定されると、処理がステップＳ１２に戻され、ステップＳ１２〜Ｓ２４の処理が繰り返される。リストに含まれる第１および第２照射角度のうち、まだ選択されていないＩＤに対応する第１および第２照射角度が存在しない場合には、これ以上の第１および第２照射角度の値の取得は行われず、処理が終了する。この場合は、サブ画像の取得に適した複数の照射方向を決定できないので、例えば、画像取得装置１００ａの使用者に対して、エラーの通知、リストの更新を促す情報の表示などが実行される。

ステップＳ２６では、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるような第１照射方向および第２照射方向に基づいて、照射方向算出部１１２により、サブ画像の取得に用いる複数の照射方向が算出される。算出された複数の照射方向を
示す情報は、メモリ５０に保存され、後述するサブ画像取得のステップにおいて使用される。複数の照射方向は、撮像素子に対する被写体の高さを示す位置情報、フォトダイオードの配列ピッチなどを用いて算出され得る。これにより、複数の照射方向が決定される。複数の照射方向が決定された状態とは、例えば複数の照射方向を示す情報（例えば複数の照射角度の値）がメモリなどに保持されることにより、複数の照射方向を指定可能な状態を意味する。なお、サブ画像の取得に用いる複数の照射方向は、第１予備画像の取得に用いられる第１照射方向および第２予備画像の取得に用いられる第２照射方向から選択される照射方向に限定されず、これらとは異なる方向であり得る。

次に、ステップＳ２８において、照射方向算出部１１２によって算出された複数の照射方向に応じた複数のサブ画像が取得される（図２Ａ〜図５Ｂ参照）。次に、ステップS３
０において、取得された複数のサブ画像を用いて、被写体の高分解能画像の形成が実行される（図６参照）。

図１９に示す例では、撮像素子により、第１照射方向および第２照射方向の変化に応じて１以上の第１予備画像および１以上の第２予備画像が取得される。これにより、各々が第１予備画像および第２予備画像を有する１以上の異なる画像セットを構成することが可能である。照射方向決定部４０ａは、これらの画像セットのうちから、第１予備画像と第２予備画像との間にある差異が所定レベルよりも小さな画像セットを決定する。また、照射方向決定部４０ａは、当該画像セットに対応する第１照射方向および第２照射方向に基づいて、複数の異なる照射方向を決定する。

本開示の実施形態によれば、個々のモジュールに応じて、サブ画像の取得に適した複数の照射方向を決定することができる。個々のモジュールに応じた適切な照射方向のもとでサブ画像を取得することにより、適切な高分解能画像の形成を実現し得る。したがって、本開示の実施形態によれば、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性が向上する。

なお、図１９に示す例では、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるような第１照射方向および第２照射方向が見つかると、第１照射方向および第２照射方向の探索が打ち切られる。しかしながら、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるような複数の第１照射方向および第２照射方向の組を決定し、複数の第１および第２照射方向を利用して複数の異なる照射方向を決定してもよい。

＜照射方向決定部の構成および動作の具体例２＞
図２０は、本開示の実施形態による画像形成システムの他の一例を示す。図２０に示す画像取得装置１００ｂが有する照射方向決定部４０ｂと、照射方向決定部４０ａ（図１８参照）との相違点は、照射方向決定部４０ｂが、比較対象画素値算出部１０６ａに代えて輝度正規化部１０５ｂおよび比較対象画像生成部１０６ｂを有している点である。

図２１は、画像形成システム５００における動作の他の一例を示す。以下に説明する例では、第１予備画像の輝度分布と、第２予備画像の輝度分布との間の比較を行う。言い換えれば、第１予備画像を構成する複数の画素の輝度と、第２予備画像を構成する複数の画素の輝度とを比較することにより、サブ画像の取得に用いる複数の異なる照射方向を決定する。

以下に説明する例では、第１予備画像の取得の回数は、１回である。一方、第２予備画像の取得は、第２照射方向を変えて複数回実行される。したがって、ここでは、メモリ５０に、第２照射方向ＤＲ２を示す情報が格納されている。下記の表２は、第２照射方向Ｄ
Ｒ２を示す情報の一例を示す。

まず、ステップＳ１６において、第１予備画像が取得される。ここでは、第１予備画像の取得は、被写体を基準とする照射方向が０°である状態で実行される。このときに取得された第１予備画像を示す情報は、メモリ５０に一時的に格納される。

次に、ステップＳ３２において、メモリ５０に格納されている第２照射角度のリストに、まだ選択されていないＩＤに対応する第２照射角度の値があるか否かが判定される。ここでは、第２照射角度の値の取得はまだ行われていないので、処理はステップＳ３４に進められる。

次に、ステップＳ３４において、第２予備画像取得部１０４により、第２照射方向ＤＲ２を示す情報がメモリ５０から読み出される。ここでは、第２照射角度の値として５°が読み出される。

次に、ステップＳ１８において、第２予備画像が取得される。このとき、被写体を基準とする照射方向が５°である状態で第２予備画像の取得が実行される。取得された第２予備画像を示す情報は、メモリ５０に一時的に格納される。

次に、ステップＳ３６において、輝度正規化部１０５ｂにより、取得された第２予備画像に対して輝度正規化が施される。本明細書において、「輝度正規化」は、輝度正規化の対象の画像に含まれる複数の画素の輝度の和が、基準となる画像に含まれる複数の画素の輝度の和と等しくなるように、各画素の輝度を定数倍する処理を意味する。

ここで説明する例では、第１照射方向ＤＲ１が撮像素子の撮像面の法線方向に平行であることに対して、表２からわかるように、第２照射方向ＤＲ２は、撮像素子の撮像面の法線方向に対して傾いている。すなわち、第１照射方向ＤＲ１から照射したときよりも第２照射方向ＤＲ２から照射したときの方が、被写体を透過した光が撮像面に達するまでに進む距離は大きい。そのため、モジュール内における吸収、散乱などの影響により、第１予備画像と比較して第２予備画像が全体として暗くなることがある。第１予備画像の全体的な輝度の大きさと第２予備画像の全体的な輝度の大きさの間の差が大きいと、第１予備画像と第２予備画像との間の差異の大きさを正しく評価できないおそれがある。

図２１に示す例では、第２予備画像に対して輝度正規化を行う。これにより、第２予備画像における各画素の輝度が適切な大きさに補正され得る。したがって、第１予備画像と第２予備画像との間の差異の大きさのより正確な評価が可能になる。

次に、ステップＳ３８において、比較対象画像生成部１０６ｂにより、第２予備画像を所定の画素数だけシフトさせた画像（以下、単に「シフト画像」と呼ぶことがある。）が生成される。この例では、輝度正規化後の第２予備画像を１画素分シフトさせた画像を生成する。

図２２を参照する。図２２は、具体例２における第１照射方向ＤＲ１と第２照射方向ＤＲ２の一例を模式的に示す。図２２に示す例では、第１照射方向ＤＲ１から照射したとき、被写体２のうち、フォトダイオード４ｐａの直上にある領域Ａ１を透過した光が、フォトダイオード４ｐａに入射している。また、第２照射方向ＤＲ２から照射したとき、被写体２のうち、領域Ａ１を透過した光が、フォトダイオード４ｐａに隣接するフォトダイオード４ｐｂに入射している。したがって、図２２に示すような第１照射方向ＤＲ１および第２照射方向ＤＲ２からの照射のもとでは、図１６Ｃに示す第１予備画像ＰＳ１と同様の第１予備画像と、図１６Ｄに示す第２予備画像ＰＳ２と同様の第２予備画像とが得られる。これに対し、被写体２のうち、領域Ａ１以外の領域を透過した光が、フォトダイオード４ｐｂに入射するような第２照射方向ＤＲ２のもとでは、図１６Ｅに示す第２予備画像ＰＳ２２と同様の第２予備画像が得られる。

図２３Ａは、図２２に示す第２照射方向ＤＲ２からの照射のもとで取得される第２予備画像から生成されるシフト画像ＰＳ３２を模式的に示す。図２３Ｂは、図２２に示す第２照射方向ＤＲ２とは異なる照射方向からの照射のもとで取得される第２予備画像から生成されるシフト画像ＰＳ４２を模式的に示す。図２３Ａと図１６Ｃとの比較からわかるように、第１照射方向からの照射のもとで被写体２のある領域を透過した光が、あるフォトダイオードに入射し、かつ、第２照射方向からの照射のもとで被写体２のその領域を透過した光が、そのフォトダイオードに隣接するフォトダイオードに入射するとき、第１予備画像の輝度分布と、第２予備画像から生成されるシフト画像の輝度分布とは、ほぼ一致する。これに対し、図２３Ｂと図１６Ｃとの比較からわかるように、他の第２照射方向のもとで取得された第２予備画像から生成されるシフト画像の輝度分布は、第１予備画像の輝度分布とは異なる。したがって、第１照射方向からの照射のもとで被写体２のある領域を透過した光が、あるフォトダイオードに入射し、かつ、第２照射方向からの照射のもとで被写体２のその領域を透過した光が、そのフォトダイオードに隣接するフォトダイオードに入射するとき、第１予備画像と第２予備画像の間の差異が極小になるといえる。したがって、図１６Ａ〜図１７Ｂを参照して説明した例と同様に、第１予備画像と第２予備画像の間の差異が極小になるような第１照射方向と第２照射方向との組み合わせを求めることにより、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。

次に、ステップＳ２２（図２１）において、第１予備画像と第２予備画像との間の差異が算出される。例えば、第１予備画像における画素の輝度と、第２予備画像から生成されたシフト画像における画素の輝度との差の絶対値を各画素について算出し、これらの絶対値の和を第１予備画像と第２予備画像との間の差異とする。あるいは、第１予備画像における画素の輝度と、第２予備画像から生成されたシフト画像における画素の輝度との差の２乗を各画素について算出してそれらを足し合わせることによって求めた分散を第１予備画像と第２予備画像との間の差異としてもよい。

次に、ステップＳ２４において、ステップＳ２２において算出された差異が所定レベル以上であるか否かが判定される。第１予備画像と第２予備画像との間の差異が所定レベルよりも小さい場合、図２２〜図２３Ｂを参照して説明したように、第１照射方向からの照射のもとで被写体２のある領域を透過した光が、あるフォトダイオードに入射し、かつ、第２照射方向からの照射のもとで被写体２のその領域を透過した光が、そのフォトダイオードに隣接するフォトダイオードに入射すると判断できる。したがって、このときの第１
照射方向と第２照射方向との組み合わせから、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置を知ることができる。このように、第１予備画像および第２予備画像のいずれか一方を所定の画素数だけシフトさせた画像を生成し、その画像と他方の画像との比較を行うことにより、第１予備画像と第２予備画像とを比較してもよい。

第１予備画像と第２予備画像との間の差異が所定レベルよりも小さいと判定された場合には、処理がステップＳ２６に進められる。以降の処理は、図１９を参照して説明した処理と同様であるので、説明を省略する。一方、第１予備画像と第２予備画像との間の差異が所定レベル以上であると判定された場合には、処理はステップＳ３２に戻される。その後、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるような第１照射方向と第２照射方向との組み合わせが見つかるまで、上述のステップＳ３４〜Ｓ２４が繰り返される。表２に示すリストに含まれる全ての第２照射角度について評価を行っても、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるような第１照射方向と第２照射方向との組み合わせが見つからない場合、処理は終了される。

上記の具体例２では、第１予備画像の取得は１回であり、１つの第１予備画像と、複数の第２照射方向に応じて取得された第２予備画像との間の比較を行う。したがって、第１照射方向および第２照射方向の両方について複数回の撮像を行う場合と比較して、複数の照射方向の決定に要する処理の時間を短縮することが可能である。なお、複数の第２予備画像の取得を行った後に第１予備画像を取得してもよい。

また、上記の具体例２では、第２予備画像の輝度正規化の後に、第１予備画像と第２予備画像との間にある差異を算出している。これにより、第１予備画像と第２予備画像との間の差異の大きさのより正確な評価が可能になる。輝度正規化を施す対象は、第１照射方向および第２照射方向の設定に応じて適宜設定可能である。輝度正規化は、第１予備画像および第２予備画像のいずれか一方または両方に対して実行されてもよい。輝度正規化は、輝度正規化の対象の取得と、複数の異なる照射方向の決定との間において実行されればよい。

＜照射方向決定部の構成および動作の具体例３＞
図２４は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図２４に示す画像取得装置１００ｃが有する照射方向決定部４０ｃと、照射方向決定部４０ｂ（図２０参照）との相違点は、照射方向決定部４０ｃが、輝度正規化部１０５ｂを有しておらず、比較対象画像生成部１０６ｃに接続されたシフト量保持部１０７ｃを有している点である。シフト量保持部１０７ｃは、公知のメモリ素子によって実現され得る。シフト量保持部１０７ｃは、メモリ５０の一部であってもよい。

以下に説明する、照射方向決定部の動作の例では、第１予備画像の取得および第２予備画像の取得は、１回ずつ行われる。下記の表３は、メモリ５０に格納される、第１照射方向ＤＲ１を示す情報および第２照射方向ＤＲ２を示す情報の一例を示す。この例では、第１照射方向ＤＲ１および第２照射方向ＤＲ２は、被写体を基準として対称な関係にある。

上述の具体例２では、第１予備画像および第２予備画像のいずれか一方を１画素分だけ
シフトさせたシフト画像を生成し、そのシフト画像と他方の画像との比較を行うことにより、第１予備画像と第２予備画像とを比較している。しかしながら、シフト画像生成において、取得された画像を何画素分だけシフトさせるかを示すシフト量は、１に限定されない。以下に説明するように、第１予備画像および第２予備画像のうちのいずれか一方を用いて、シフト量が異なる複数のシフト画像を生成し、これらと他方との間の比較を行ってもよい。

図２５は、具体例３における第１照射方向ＤＲ１と第２照射方向ＤＲ２の一例を模式的に示す。図２５に示す例において、第１照射方向ＤＲ１からの照射のもとでは、被写体２のうち、フォトダイオード４ｐａの直上に位置する領域Ａ１を透過した光が、フォトダイオード４ｐａの左側に隣接するフォトダイオード４ｐｃに入射する。また、第２照射方向ＤＲ２からの照射のもとでは、被写体２のうち、領域Ａ１を透過した光が、フォトダイオード４ｐａの右側に隣接するフォトダイオード４ｐｂに入射する。したがって、図２５に示すような第１照射方向ＤＲ１および第２照射方向ＤＲ２のもとでは、第１予備画像の輝度分布と、第２予備画像を図の左右方向に沿って２画素分シフトさせた画像の輝度分布とが、ほぼ一致する。すなわち、シフト量を１以外に設定したときに、第１予備画像と第２予備画像との間の差異が極小になることがあり得る。第１照射方向ＤＲ１および第２照射方向ＤＲ２を固定して、第１予備画像と第２予備画像との間の差異が極小となるようなシフト量を求めることにより、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。

図２６は、画像形成システム５００における動作のさらに他の一例を示す。まず、ステップＳ１４において、第１照射方向ＤＲ１を示す情報および第２照射方向ＤＲ２を示す情報が、それぞれ、メモリ５０から読み出される。ここでは、第１照射角度の値として−３０°が読み出され、第２照射角度の値として３０°が読み出される。

次に、ステップＳ１６において、第１予備画像が取得される。ここでは、第１予備画像の取得は、被写体を基準とする照射方向が−３０°である状態で実行される。このときに取得された第１予備画像を示す情報は、メモリ５０に一時的に格納される。

次に、ステップＳ１８において、第２予備画像が取得される。このとき、被写体を基準とする照射方向が３０°である状態で第２予備画像の取得が実行される。取得された第２予備画像を示す情報は、メモリ５０に一時的に格納される。

次に、ステップＳ４０において、比較対象画像生成部１０６ｃにより、シフト量保持部１０７ｃからシフト量が読み出される。ここでは、シフト量の初期値が、１に設定される。

次に、ステップＳ３８において、比較対象画像生成部１０６ｃにより、第１予備画像または第２予備画像のいずれか一方を１画素分だけシフトさせたシフト画像が生成される。ここでは、第２予備画像からシフト画像を生成する例を説明する。

次に、ステップＳ２２において、第１予備画像およびシフト画像の間の差異が算出される。

次に、ステップＳ２４において、算出された差異が所定レベル以上であるか否かが判定される。第１予備画像およびシフト画像の間の差異が所定レベルよりも小さいと判定された場合には、処理がステップＳ２６に進められる。ステップＳ２６以降の処理は、図１９を参照して説明した処理と同様である。

第１予備画像と第２予備画像との間の差異が所定レベル以上であると判定された場合には、処理はステップＳ４２に進められる。ステップＳ４２において、比較対象画像生成部１０６ｃによりシフト量が更新（典型的にはインクリメント）される。例えば、シフト量が１だけ増加され、シフト量が２に設定される。

ステップＳ４２の後、処理がステップＳ３８に戻される。ステップＳ３８において、第２予備画像を２画素分だけシフトさせたシフト画像が生成される。その後、ステップＳ２２において、新たに生成されたシフト画像と、第１予備画像との間の差異が算出される。さらに、ステップＳ２４において、算出された差異が所定レベル以上であるか否かが判定される。すなわち、この例では、第１予備画像およびシフト画像の間の差異が極小となるようなシフト量が見つかるまで、シフト量を変えて、第１予備画像およびシフト画像の間の差異の評価が実行される。なお、シフト量の更新の回数は、適宜設定可能である。また、シフト量の初期値は、１に限定されず、例えば０であってもよい。

上記の具体例３では、第１予備画像の取得および第２予備画像の取得はともに１回である。したがって、複数の照射方向の決定に要する処理の時間をより短縮することが可能である。第２予備画像の取得を行った後に第１予備画像を取得してもよい。

＜照射方向決定部の構成および動作の具体例４＞
図２７は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図２７に示す画像取得装置１００ｄが有する照射方向決定部４０ｄと、照射方向決定部４０ｂ（図２０参照）との相違点は、照射方向決定部４０ｄが、判定部１１０に代えて差異保持部１１１ｄを有している点である。差異保持部１１１ｄは、公知のメモリ素子によって実現され得る。差異保持部１１１ｄは、メモリ５０の一部であってもよい。

上述の具体例１〜３では、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さいと判定されると、差異の算出はそれ以上実行されない。以下に説明する例では、１以上の第１予備画像の取得および１以上の第２予備画像の取得を行い、各々が第１予備画像および第２予備画像から構成される、予め設定された個数の異なる画像セットを用意する。そして、各画像セットにおける、第１予備画像と第２予備画像との間にある差異を算出し、これらの画像セットの間で、差異の評価を行う。以下に説明する例では、複数の画像セットから、差異が最小である画像セットを決定する。図２２〜図２３Ｂを参照して説明した理由と同様の理由から、第１予備画像と第２予備画像との間にある差異がなるべく小さくなるような第１および第２照射方向の組み合わせは、サブ画像の取得に用いる複数の照射方向の算出に適していると考えられる。そこで、以下に説明する例では、差異が最小である画像セットを決定した後、その画像セットに対応する第１照射方向および第２照射方向に基づいて、サブ画像の取得に用いる複数の異なる照射方向を決定する。

図２８は、画像形成システム５００における動作のさらに他の一例を示す。ここでは、メモリ５０に、上述の表２と同様の、第２照射方向ＤＲ２を示す情報のリストが格納されている。

まず、ステップＳ１６において、第１予備画像が取得される。第１予備画像の取得時における、被写体を基準とする照射方向は、例えば０°である。このときに取得された第１予備画像を示す情報は、メモリ５０に一時的に格納される。

次に、ステップＳ３２において、メモリ５０に格納されている第２照射角度のリストに、まだ選択されていない第２照射角度の値があるか否かが判定される。ここでは、第２照射角度の値の取得はまだ行われていないので、処理はステップＳ３４に進められる。

図２８に示すステップＳ３４〜ステップＳ３８までの処理は、図２１を参照して説明した具体例２における処理と同様であるので説明を省略する。ステップＳ３８の実行後、ステップＳ２２において、第１予備画と第２予備画像との間の差異が算出される。ここで算出された差異は、第１照射角度が０°のもとで取得された第１予備画像と、第２照射角度が５°のもとで取得された第２予備画像とから構成される画像セットに対応する差異である。この例では、差異の算出後、算出された差異を示す情報が差異保持部１１１ｄに一時的に格納される。

その後、処理がステップＳ３２に戻され、ステップＳ３４〜ステップＳ２２の処理が繰り返される。すなわち、第１照射角度が０°のもとで取得された第１予備画像と、第２照射角度を変えて取得される第２予備画像とから構成される複数の画像セットの全てについて、第１予備画像と第２予備画像との間の差異が算出される。なお、表２の第１列に示すＩＤを、各画像セットを識別するためのインデックスとして利用することが可能である。メモリ５０に格納されているリストに含まれる全てのＩＤについて第１予備画像と第２予備画像との間の差異の算出が終了すると、処理がステップＳ４４に進められる。

ステップＳ４４では、照射方向算出部１１２ｄによって、差異保持部１１１ｄに格納されている差異のデータのうちから最小の差異が決定される。言い換えれば、ステップＳ４４において、照射方向算出部１１２ｄは、最小の差異を与える画像セットを決定する。

次に、ステップＳ２６において、照射方向算出部１１２ｄにより、最小の差異を与える画像セットに対応する第１照射方向および第２照射方向に基づいて、サブ画像の取得に用いる複数の異なる照射方向が算出される。以降の処理は、図１９を参照して説明した処理と同様である。このように、複数の画像セットの中から第１予備画像と第２予備画像との間にある差異が最小である画像セットを抽出し、その画像セットに対応する第１照射方向および第２照射方向に基づいて、サブ画像の取得に用いる複数の異なる照射方向を決定してもよい。

＜照射方向決定部の構成および動作の具体例５＞
図２９は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図２９に示す画像取得装置１００ｅが有する照射方向決定部４０ｅと、照射方向決定部４０ｂ（図２０参照）との相違点は、照射方向決定部４０ｅが、予備画像保持部１０１ｅをさらに有している点である。予備画像保持部１０１ｅは、公知のメモリ素子によって実現され得る。予備画像保持部１０１ｅは、メモリ５０の一部であってもよい。

例えば、上述の具体例２では、第２予備画像の取得が、第１予備画像と第２予備画像との間にある差異の算出ごとに第２照射角度を変えて実行される。言い換えれば、各ＩＤに応じて取得された第２予備画像のそれぞれは、第１予備画像と第２予備画像との間にある差異の算出において１度だけ用いられる。しかしながら、以下に説明するように、互いに異なる照射角度に応じて取得された第１予備画像および／または第２予備画像を、互いに異なるＩＤの間で２度以上使用してもよい。

図３０は、画像形成システム５００における動作のさらに他の一例を示す。図３０に示す例では、まず、ステップＳ１２において、メモリ５０に格納されている第１および第２照射角度のリストに、まだ選択されていないＩＤに対応する第１照射角度の値および第２照射角度の値があるか否かが判定される。ここでは、第１および第２照射角度の値の取得はまだ行われていないので、処理はステップＳ１４に進められる。下記の表４は、メモリ５０に格納される、第１照射方向ＤＲ１を示す情報および第２照射方向ＤＲ２を示す情報の一例を示す。この例では、一部の照射角度の値が複数のＩＤ間において共通している。
また、一部の照射角度の値が第１照射角度と第２照射角度との間において共通している。

次に、ステップＳ１４において、第１照射方向ＤＲ１を示す情報および第２照射方向ＤＲ２を示す情報が、それぞれ、メモリ５０から読み出される。ここでは、第１照射角度の値として０°が読み出され、第２照射角度の値として５°が読み出される。

次に、ステップＳ４６において、照射角度が０°のもとで取得された予備画像（第１予備画像または第２予備画像）のデータが予備画像保持部１０１ｅに保存されているか否かが第１予備画像取得部１０２によって判定される。この時点では、まだ第１予備画像の取得も第２予備画像の取得も行われていない。そのため、処理はステップＳ１６に進められる。ステップＳ１６では、第１照射角度が０°のもとで第１予備画像が取得される。このときに取得された第１予備画像を示す情報は、予備画像保持部１０１ｅに一時的に格納される。一方、照射角度が０°のもとで取得された予備画像のデータが既に予備画像保持部１０１ｅに格納されている場合には、ステップＳ１６における第１予備画像の取得の処理はスキップされる。

次に、ステップＳ４８において、照射角度が５°のもとで取得された予備画像のデータが予備画像保持部１０１ｅに保存されているか否かが第２予備画像取得部１０４によって判定される。この時点では、予備画像保持部１０１ｅには、照射角度が０°のもとで取得された第１予備画像のデータだけが保存されている。そのため、処理がステップＳ１８に進められる。ステップＳ１８では、第２照射角度が５°のもとで第２予備画像が取得される。このときに取得された第２予備画像を示す情報は、予備画像保持部１０１ｅに一時的に格納される。一方、照射角度が５°のもとで取得された予備画像のデータが既に予備画像保持部１０１ｅに格納されている場合には、ステップＳ１８における第２予備画像の取得の処理はスキップされる。

次に、ステップＳ３８において、第２予備画像からシフト画像が生成される。その後、ステップＳ２２において、第１予備画像と第２予備画像との間の差異が算出される。必要に応じて、差異の算出に先立ち、輝度正規化部１０５ｂにより輝度正規化を行う。ここでは、予備画像保持部１０１ｅに保存されている第１予備画像のデータと、ステップＳ３８において生成されたシフト画像のデータとを利用して、第１予備画像と第２予備画像との間の差異が算出される。

次に、ステップＳ２４において、ステップＳ２２において算出された差異が所定レベル以上であるか否かが判定される。第１予備画像と第２予備画像との間の差異が所定レベルよりも小さいと判定された場合には、処理がステップＳ２６に進められる。一方、第１予備画像と第２予備画像との間の差異が所定レベル以上であると判定された場合には、処理
はステップＳ１２に戻される。

処理がステップＳ１２に戻されると、まだ選択されていないＩＤに対応する第１照射角度の値および第２照射角度の値があるか否かの判定が再び実行される。ここでは、表４に示すＩＤが２〜６である第１および第２照射角度の値の取得はまだ行われていないので、処理はステップＳ１４に進められる。

次に、ステップＳ１４において、ＩＤが２である第１照射角度の値および第２照射角度の値が読み出される。すなわち、ここでは、第１照射角度の値として５°が読み出され、第２照射角度の値として１５°が読み出される。

次に、ステップＳ４６において、照射角度が５°のもとで取得された予備画像のデータが予備画像保持部１０１ｅに保存されているか否かが判定される。この例では、照射角度が５°のもとで取得された第２予備画像のデータが予備画像保持部１０１ｅに保存されている。したがって、ここでは、ステップＳ１６はスキップされ、第１予備画像の取得は実行されない。

次に、ステップＳ４８において、照射角度が１５°のもとで取得された予備画像のデータが予備画像保持部１０１ｅに保存されているか否かが判定される。この例では、照射角度が１５°のもとで取得された第１予備画像のデータも、照射角度が１５°のもとで取得された第２予備画像のデータも、予備画像保持部１０１ｅに保存されてない。したがって、処理がステップＳ１８に進められる。そして、ステップＳ１８において、第２照射角度が１５°のもとで第２予備画像が取得される。このときに取得された第２予備画像を示す情報も、予備画像保持部１０１ｅに一時的に格納される。

次に、ステップＳ３８において、第２照射角度が１５°のもとで取得された第２予備画像からシフト画像が生成される。

次に、ステップＳ２２において、第１予備画像と第２予備画像との間の差異が算出される。このとき、予備画像保持部１０１ｅに保存されている、照射角度が５°のもとで取得された第２予備画像のデータが、照射角度が５°のもとで取得された第１予備画像のデータとして用いられる。すなわち、ここでは、予備画像保持部１０１ｅに保存されている、照射角度が５°のもとで取得された第２予備画像のデータと、第２照射角度が１５°のもとで取得された第２予備画像から生成されたシフト画像とを利用して差異が算出される。このように、図３０に示す例では、第１照射角度および第２照射角度のリスト中に同一の角度の値が複数個存在する場合には、既に取得されている予備画像のデータを利用して、第１予備画像と第２予備画像との間の差異が算出される。これにより、異なるＩＤごとに第１予備画像および第２予備画像の撮像を行う場合と比較して、撮像の回数を低減することができる。

次に、ステップＳ２４において、ステップＳ２２において算出された差異が所定レベル以上であるか否かが判定される。第１予備画像と第２予備画像との間の差異が所定レベル以上であると判定された場合には、処理はステップＳ１２に戻される。

処理がステップＳ１２に戻されると、まだ選択されていないＩＤに対応する第１照射角度の値および第２照射角度の値があるか否かの判定が再び実行され、処理がステップＳ１４に進められる。

次に、ステップＳ１４において、ＩＤが３である第１照射角度の値および第２照射角度の値が読み出される。すなわち、ここでは、第１照射角度の値として０°が読み出され、
第２照射角度の値として１５°が読み出される。

次に、ステップＳ４６において、照射角度が０°のもとで取得された予備画像のデータが予備画像保持部１０１ｅに保存されているか否かが判定される。この例では、照射角度が０°のもとで取得された第１予備画像のデータが予備画像保持部１０１ｅに保存されている。したがって、ここでは、ステップＳ１６はスキップされる。

また、ステップＳ４８において、照射角度が１５°のもとで取得された予備画像のデータが予備画像保持部１０１ｅに保存されているか否かが判定される。この例では、照射角度が１５°のもとで取得された第２予備画像のデータが予備画像保持部１０１ｅに保存されている。したがって、ここでは、ステップＳ１８もスキップされる。

その後、ステップＳ３８において、予備画像保持部１０１ｅに保存されている、第２照射角度が１５°のもとで取得された第２予備画像から、シフト画像が生成され、ステップＳ２２において、第１予備画像と第２予備画像との間の差異が算出される。このとき、予備画像保持部１０１ｅに保存されている、照射角度が０°のもとで取得された第１予備画像のデータと、ステップＳ３８において生成されたシフト画像とを利用して差異が算出される。

このように、既に取得されている予備画像のデータを利用して第１予備画像と第２予備画像との間の差異を算出する場合には、異なる照射方向ごとに１度ずつ撮像を行えばよい。これにより、撮像に要する時間を短縮して、複数の照射方向の決定に要する処理の時間を短縮することが可能である。なお、メモリ５０が予備画像保持部１０１ｅの機能を有する場合には、図２０に示す照射方向決定部４０ｂと同様の構成によっても、図３０を参照して説明した動作を実現し得る。

＜複数の照射方向の決定に用いられる原理の他の例＞
次に、図３１〜図３３を参照して、本開示の実施形態における複数の照射方向の決定に適用可能な原理の他の一例を説明する。以下に説明する例では、概略的には、撮像素子の撮像面の法線方向から被写体を照射することによって第１予備画像を取得するとともに、取得された第１予備画像からシフト画像を生成する。また、照射方向（第２照射方向）を変えながら撮像を行い、複数の第２予備画像を取得する。これにより、複数の第２照射方向に対応した複数の画像セットを構成することができる。その後、各画像セットについて、第１予備画像と第２予備画像との間の類似度、および、シフト画像と第２予備画像との間の類似度から計算される評価関数の値を求める。各画像セットについて求めた評価関数の値に基づき、サブ画像の取得に用いる複数の照射方向を決定する。以下では、簡単のため、ｘ方向について２倍の高分解能化を実現する場合を例示する。

図３１は、イメージセンサ４の撮像面４Ａの法線方向から被写体を照射した状態を模式的に示す。図３１に示す状態においては、被写体２のうち、領域Ａ１を透過した光線が、フォトダイオード４ｐａに入射し、被写体２のうち、領域Ａ２を透過した光線が、ｘ方向に沿ってフォトダイオード４ｐａに隣接するフォトダイオード４ｐｂに入射している。図３１に示す照射方向ＤＲａのもとでフォトダイオード４ｐａによって取得される画素の輝度は、被写体２の領域Ａ１を透過した光の量を示す。また、図３１に示す照射方向ＤＲａのもとでフォトダイオード４ｐｂによって取得される画素の輝度は、被写体２の領域Ａ２を透過した光の量を示す。このとき、イメージセンサ４の撮像面４Ａの法線Ｎ（図３１において不図示）と被写体２への入射光線とがなす角をΓとすると、Γ＝０である。以下では、図３１に示す照射方向ＤＲａのもとでフォトダイオード４ｐａによって取得される画素の輝度およびフォトダイオード４ｐｂによって取得される画素の輝度を、それぞれ、Ｘａ⁰およびＸｂ⁰と表記する。

図３２は、図３１に示す状態から、撮像面４Ａの法線Ｎと被写体２への入射光線とがなす角度Γを大きくしたときにおける、照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の一例を模式的に示す。図３２に示す照射方向ＤＲｂのもとでは、被写体２のうち、領域Ａ１の一部と、領域Ａ１および領域Ａ２の間に位置する領域Ｂ１の一部とを透過した光線が、フォトダイオード４ｐａに入射している。ここで、撮像面４Ａの法線Ｎと被写体２への入射光線とがなす角の大きさをΓｂ（Γｂ＞０）とし、フォトダイオード４ｐａによって取得される画素の輝度をＸａΓ^bとすれば、輝度ＸａΓ^bは、被写体２のうち、図３２において太い線の矩形により示される領域Ｋｂを透過した光の量を示す。領域Ｋｂは、領域Ａ１の一部を含み、領域Ａ２を含んでいない。そのため、輝度ＸａΓ^bは、一般に、上述の輝度Ｘｂ⁰よりも輝度Ｘａ⁰に近い値を示す。なお、ここでは、Γ≠
０である状態において撮像を行ったときに得られた輝度の値に対しては、輝度正規化が施されているとする。以下の説明においても同様である。

図３３は、図３２に示す状態から、角度Γをさらに大きくしたときにおける、照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の一例を模式的に示す。図３３に示す照射方向ＤＲｃのもとでは、被写体２のうち、領域Ｂ１の一部と、領域Ａ２の一部とを透過した光線が、フォトダイオード４ｐａに入射している。撮像面４Ａの法線Ｎと被写体２への入射光線とがなす角の大きさをΓｃ（Γｃ＞Γｂ）とし、フォトダイオード４ｐａによって取得される画素の輝度をＸａΓ^cとすれば、輝度ＸａΓ^cは、被写体２のうち、図３３において太い線の矩形により示される領域Ｋｃを透過した光の量を示す。領域Ｋｃは、領域Ａ２の一部を含み、領域Ａ１を含んでいない。そのため、輝度ＸａΓ^cは
、一般に、輝度Ｘａ⁰よりも輝度Ｘｂ⁰に近い値を示す。

図３３に示す状態から角度Γをさらに大きくすると、ある角度において、被写体２のうち、領域Ａ２を透過した光線がフォトダイオード４ｐａに入射する。このとき、フォトダイオード４ｐａによって取得される画素の輝度の値は、輝度Ｘｂ⁰にほぼ一致する。つま
り、このときに得られる被写体２の画像の輝度分布は、図３１に示す照射方向ＤＲａのもとで取得される画像を１画素分シフトさせた画像の輝度分布と一致するといってよい。図１Ａ〜図６を参照して説明した原理から明らかなように、フォトダイオード４ｐａによって取得される画素の輝度の値が輝度Ｘｂ⁰にほぼ一致するような照射方向のもとで被写体
２の画像を取得しても、その時に得られる画像は、高分解能化には役立たない。図１Ａ〜図６を参照して説明した原理では、被写体２の異なる部分から構成される像を含む複数のサブ画像を用いて高分解能画像を形成するからである。

以上のことから、サブ画像の取得に適した照射方向は、図３１に示す照射方向と、フォトダイオード４ｐａによって取得される画素の輝度の値が輝度Ｘｂ⁰にほぼ一致するよう
な照射方向との間に存在すると考えられる。特に、被写体２の領域Ａ１と領域Ａ２の間に位置する領域Ｂ１を透過した光線がフォトダイオード４ｐａ（あるいはフォトダイオード４ｐｂ）に入射するような照射方向を見つけることができれば有益である。言い換えれば、撮像面４Ａの法線方向からの照射方向のもとで取得される被写体２の画像と、撮像面４Ａの法線方向からの照射方向のもとで取得される被写体の画像を１画素だけ−ｘ方向にシフトさせた画像のいずれとも異なる画像を取得できるような照射方向を見つければよい。以下、このような照射方向を探索する方法の具体例を説明する。

以下の２つの関数Ｅ⁰（Γ）およびＥ^s（Γ）を定義する。
Ｅ⁰（Γ）＝Σ’（Ｘ_i ⁰−Ｘ_i（Γ））² ・・・ （１）
Ｅ^s（Γ）＝Σ’（Ｘ_i ^s−Ｘ_i（Γ））² ・・・ （２）

式（１）および式（２）中、下付きのｉは、取得された画像に含まれる画素を指定する
インデックスである（ｉ＝１，２，…，Ｍ、Ｍは整数）。式（１）中、Ｘ_i ⁰は、撮像面４Ａの法線方向からの照射方向のもとで取得されたｉ番目の画素の輝度の値を表す。式（１）および式（２）中、Ｘ_i（Γ）は、撮像面４Ａの法線方向から角度Γだけ傾斜した照射
方向のもとで取得されたｉ番目の画素の輝度の値を表す。Ｘ_i ⁰およびＸ_i（Γ）は、ｉ番
目のフォトダイオードによって取得された画素の輝度の値である。式（２）中、Ｘ_i ^sは、撮像面４Ａの法線方向からの照射方向のもとで取得される画像を１画素だけ−ｘ方向にシフトさせた画像（シフト画像）に含まれる画素のうちのｉ番目の画素の輝度の値を表す。Ｘ_i ^sは、（ｉ＋１）番目のフォトダイオードによって取得された画素の輝度の値であり、ここでは、Ｘ_i ^sは、Ｘ_i+1 ⁰にほぼ等しい。なお、このシフト画像はＭ番目の画素を有しない。

式（１）および式（２）における和Σ’は、インデックスｉに関する和を表す。この和は、複数の画素について評価を行う場合に実行する。和は、例えば、ｉ＝１〜（Ｍ−１）の範囲にわたってとる。代表的な画素についてのみ和を求めてもよい。ある固定されたインデックスｉの画素についてのみ評価を行う場合には、ｉに関する和をとる必要はない。

式（１）の関数Ｅ⁰（Γ）の値は、撮像面４Ａの法線方向からの照射方向のもとで取得
された被写体の画像と、撮像面４Ａの法線方向から角度Γだけ傾斜した照射方向のもとで取得された被写体の画像との間の類似度を示すといえる。一方、式（２）の関数Ｅ^s（Γ
）の値は、撮像面４Ａの法線方向からの照射方向のもとで取得された被写体の画像を１画素だけ−ｘ方向にシフトさせた画像と、撮像面４Ａの法線方向から角度Γだけ傾斜した照射方向のもとで取得された被写体の画像との間の類似度を示すといえる。特に、Ｅ⁰（０
）＝０であり、また、フォトダイオード４ｐａによって取得される画素の輝度の値が輝度Ｘｂ⁰にほぼ一致するような照射方向のもとでは、Ｅ^s（Γ）はほぼ０である。

次に、上述の関数Ｅ⁰（Γ）およびＥ^s（Γ）を用いて下記の評価関数Ｆ（Γ）を定義する。
Ｆ（Γ）＝（Ｅ⁰（Γ）Ｅ^s（Γ））／（Ｅ⁰（Γ）＋Ｅ^s（Γ）） ・・・ （３）

式（３）を用いて計算されるＦ（Γ）の値は、第１予備画像および第２予備画像の間の「差異」の一例である。ここで、関数Ｅ⁰（Γ）およびＥ^s（Γ）は、一方が大きな値をとると、それに対応して他方は小さな値をとると考えられる。このことから、撮像面４Ａの法線方向からの照射方向のもとで取得される被写体２の画像と、撮像面４Ａの法線方向からの照射方向のもとで取得される被写体の画像を１画素だけ−ｘ方向にシフトさせた画像のいずれとも異なる画像を取得できるような照射方向を示す角度Γでは、上述の関数Ｆ（Γ）が極大になると考えられる。つまり、Ｆ（Γ）が極大値をとるような角度Γを求めることにより、サブ画像の取得に適した照射方向を見つけることが可能である。このように、Ｆ（Γ）が極大値をとるような角度Γを求めることにより、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。

＜照射方向決定部の構成および動作の具体例６＞
図３４は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図３４に示す画像取得装置１００ｆが有する照射方向決定部４０ｆと、照射方向決定部４０ｂ（図２０参照）との相違点は、照射方向決定部４０ｆが、比較対象画像生成部１０６ｂを有しておらず、第１予備画像取得部１０２に接続された比較対象画像生成部１０６ｆを有している点である。また、判定部１１０に代えて、差異保持部１１１ｄを有している点である。

図３５は、画像形成システム５００における動作の他の一例を示す。以下に説明する例
では、図３１〜図３３を参照して説明した原理を利用して、複数の照射方向を決定する。以下に説明する例では、図２１を参照して説明した具体例２における処理と同様、第１予備画像の取得の回数は、１回である。また、第２予備画像の取得は、第２照射方向を変えて複数回実行される。ここでは、メモリ５０に、第２照射方向ＤＲ２を示す情報が格納されている。下記の表５は、第２照射方向ＤＲ２を示す情報の一例を示す。

まず、ステップＳ１６において、第１予備画像が取得される。ここでは、第１予備画像の取得は、被写体を基準とする照射方向が０°である状態で実行される。このときに取得された第１予備画像を示す情報は、メモリ５０に一時的に格納される。

次に、ステップＳ５０において、比較対象画像生成部１０６ｆにより、第１予備画像を１画素だけ−ｘ方向にシフトさせたシフト画像が生成される。

次に、ステップＳ３２において、メモリ５０に格納されている第２照射角度のリストに、まだ選択されていないＩＤに対応する第２照射角度の値があるか否かが判定される。ここでは、第２照射角度の値の取得はまだ行われていないので、処理はステップＳ３４に進められる。

次に、ステップＳ３４において、第２予備画像取得部１０４により、第２照射方向ＤＲ２を示す情報がメモリ５０から読み出される。ここでは、第２照射角度の値として２°が読み出される。

次に、ステップＳ１８において、第２予備画像が取得される。このとき、被写体を基準とする照射方向が２°である状態で第２予備画像の取得が実行される。取得された第２予備画像を示す情報は、メモリ５０に一時的に格納される。

次に、ステップＳ３６において、輝度正規化部１０５ｂにより、取得された第２予備画像に対して輝度正規化が施される。

次に、ステップＳ５２において、上述した式（３）を用いて評価関数Ｆ（Γ）の値を計算する。評価関数Ｆ（Γ）の値の計算は、例えば差異算出部１０８ｆによって実行される。計算結果は、このときのＩＤ（つまり、照射角度）と関連付けられて差異保持部１１１ｄに一時的に格納される。

その後、処理はステップＳ３２に戻され、上述のステップＳ３２〜Ｓ５２が繰り返される。メモリ５０に格納されている第２照射角度のリストに含まれるＩＤの全てのついて評価関数Ｆ（Γ）の値が得られると、処理はステップＳ５４に進められる。

次に、ステップＳ５４において、差異保持部１１１ｄに格納されている評価関数Ｆ（Γ）の値の比較が行われ、評価関数Ｆ（Γ）の極大を与えるＩＤが決定される。評価関数Ｆ（Γ）の値の比較は、例えば照射方向算出部１１２によって実行される。図３１〜図３３を参照して説明したように、Ｆ（Γ）が極大値をとるような角度Γは、サブ画像の取得に適した照射方向を示すといえる。

次に、ステップＳ５６において、評価関数Ｆ（Γ）の極大を与えるＩＤに基づいて、照射方向算出部１１２により、サブ画像の取得に用いる複数の照射方向が決定あるいは算出される。複数の照射方向を示す情報は、メモリ５０に保存され、後述するサブ画像取得のステップにおいて使用される。

以降の処理は、図１９を参照して説明した処理と同様である。例えば、照射角度０°と、評価関数Ｆ（Γ）の極大を与えるＩＤの照射角度とでそれぞれサブ画像の取得を行い、これらのサブ画像を用いて高分解能画像の形成を行う。

この具体例における第２の照射角度は、任意に設定可能である。ｘ方向についてＮ倍の高分解能化を行う場合には、撮像素子の撮像面の法線方向と、フォトダイオード４ｐａによって取得される画素の輝度の値が輝度Ｘｂ⁰にほぼ一致するような照射方向との間にお
いて、少なくともＮ個の異なる照射方向に関して評価関数Ｆ（Γ）の値を求めればよい。Ｎ個の異なる照射方向は、撮像面から光源までの距離およびフォトダイオードの配列ピッチなどを用いて算出され得る。撮像素子の撮像面の法線方向に関して対称にＮ個の異なる照射方向を設定してもよい。Ｎ個の異なる照射方向の間隔が等間隔である必要はない。ｙ方向あるいはｕ方向などについても、上記の例と同様にサブ画像の取得に適した照射方向を決定することができる。したがって、イメージセンサの撮像面に平行な面内においてＮ倍の高分解能化ももちろん可能である。

＜モジュールに用いられるイメージセンサ＞
なお、本開示の実施形態において、イメージセンサ４は、ＣＣＤイメージセンサに限定されず、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ、また
は、その他のイメージセンサ（一例として、後述する光電変換膜積層型イメージセンサ）であってもよい。ＣＣＤイメージセンサおよびＣＭＯＳイメージセンサは、表面照射型または裏面照射型のいずれであってもよい。以下、イメージセンサの素子構造と、イメージセンサのフォトダイオードに入射する光の関係を説明する。

図３６は、ＣＣＤイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す。図３６に示すように、ＣＣＤイメージセンサは、概略的には、基板８０と、基板８０上の絶縁層８２と、絶縁層８２内に配置された配線８４とを有している。基板８０には、複数のフォトダイオード８８が形成されている。配線８４上には、遮光層（図３６において不図示）が形成される。ここでは、トランジスタなどの図示は省略している。以下の図面においてもトランジスタなどの図示を省略する。なお、概略的には、表面照射型ＣＭＯＳイメージセンサにおけるフォトダイオード近傍の断面構造は、ＣＣＤイメージセンサにおけるフォトダイオード近傍の断面構造とほぼ同様である。そのため、ここでは、表面照射型ＣＭＯＳイメージセンサの断面構造の図示および説明を省略する。

図３６に示すように、照明光が撮像面の法線方向から入射する場合、被写体のうち、フォトダイオード８８の直上にある領域Ｒ１を透過した照射光は、フォトダイオード８８に入射する。一方、被写体のうち、配線８４上の遮光層の直上にある領域Ｒ２を透過した照射光は、イメージセンサの遮光領域（遮光膜が形成された領域）に入射する。したがって、撮像面の法線方向から照射した場合には、被写体のうち、フォトダイオード８８の直上
にある領域Ｒ１を示す画像が得られる。

遮光膜の直上にある領域を示す画像を取得するためには、領域Ｒ２を透過した光がフォトダイオード８８に入射するように、撮像面の法線方向に対して傾いた方向から照射を行えばよい。このとき、照射方向によっては、領域Ｒ２を透過した光のうちの一部が、配線８４によって遮られることがある。図示する例では、ハッチングによって示す部分を通る光線はフォトダイオード８８には届かない。そのため、斜め入射においては、画素値が幾分低下することがある。しかしながら、透過光の全てが遮られるわけではないので、このときに得られたサブ画像を用いた高分解能画像の形成は可能である。

図３７Ａおよび図３７Ｂは、裏面照射型ＣＭＯＳイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す。図３７Ａに示すように、裏面照射型ＣＭＯＳイメージセンサでは、斜め入射の場合であっても透過光が配線８４によって遮られることがない。ただし、被写体のうち、撮像を行いたい領域とは異なる他の領域を透過した光（図３７Ａおよび後述する図３７Ｂ中、太い矢印ＢＡで模式的に示す光）が基板８０に入射することによってノイズが発生し、サブ画像の品質が劣化するおそれがある。このような劣化は、図３７Ｂに示すように、基板においてフォトダイオードが形成された領域以外の領域上に遮光層９０を形成することにより低減することが可能である。

図３８は、有機材料または無機材料で形成した光電変換膜を備えるイメージセンサ（以下、「光電変換膜積層型イメージセンサ」と呼ぶ。）の断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す。

図３８に示すように、光電変換膜積層型イメージセンサは、概略的には、基板８０と、複数の画素電極が設けられた絶縁層８２と、絶縁層８２上の光電変換膜９４と、光電変換膜９４上の透明電極９６とを有している。図示するように、光電変換膜積層型イメージセンサでは、半導体基板に形成されるフォトダイオードの代わりに、光電変換を行う光電変換膜９４が基板８０（例えば半導体基板）上に形成されている。光電変換膜９４および透明電極９６は、典型的には、撮像面の全体にわたって形成される。ここでは、光電変換膜９４を保護する保護膜の図示を省略している。

光電変換膜積層型イメージセンサでは、光電変換膜９４における入射光の光電変換によって発生した電荷（電子または正孔）が画素電極９２によって集められる。これにより、光電変換膜９４に入射した光の量を示す値が得られる。したがって、光電変換膜積層型イメージセンサでは、撮像面において、１つの画素電極９２を含む単位領域が１つの画素に相当するといえる。光電変換膜積層型イメージセンサでは、裏面照射型ＣＭＯＳイメージセンサと同様に斜め入射の場合であっても透過光が配線によって遮られることがない。

図１Ａ〜図６を参照して説明したように、高分解能画像の形成においては、被写体の異なる部分から構成される像を示す複数のサブ画像が用いられる。ところが、典型的な光電変換膜積層型イメージセンサでは、撮像面の全体にわたって光電変換膜９４が形成されているので、例えば垂直入射の場合であっても、被写体の所望の領域以外の領域を透過した光によっても光電変換膜９４において光電変換が生じ得る。このときに発生した余分な電子または正孔が画素電極９２に引き込まれると、適切なサブ画像が得られないおそれがある。したがって、画素電極９２と透明電極９６とが重なる領域（図３８において網掛けされた領域）において発生した電荷を画素電極９２に選択的に引き込むことが有益である。

図３８に例示する構成では、画素電極９２のそれぞれと対応して、画素内にダミー電極９８が設けられている。被写体の像の取得時、画素電極９２とダミー電極９８との間には、適切な電位差が与えられる。これにより、画素電極９２と透明電極９６とが重なる領域
以外の領域で発生した電荷をダミー電極９８に引き込み、画素電極９２と透明電極９６とが重なる領域で発生した電荷を選択的に画素電極９２に引き込むことができる。なお、透明電極９６または光電変換膜９４のパターニングによっても、同様の効果を得ることが可能である。このような構成においては、画素の面積Ｓ１に対する画素電極９２の面積Ｓ３の比率（Ｓ３／Ｓ１）が、「開口率」に相当するということができる。

既に説明したように、Ｎを２以上の整数とするとき、イメージセンサ４の開口率が近似的に１／Ｎに等しければ、最大Ｎ倍の高分解能化が可能になる。言い換えれば、開口率が小さい方が高分解能化には有利である。光電変換膜積層型イメージセンサでは、画素電極９２の面積Ｓ３を調整することによって、開口率に相当する比率（Ｓ３／Ｓ１）を調整することが可能である。この比率（Ｓ３／Ｓ１）は、例えば１０％〜５０％の範囲に設定される。比率（Ｓ３／Ｓ１）が上記の範囲内にある光電変換膜積層型イメージセンサは、超解像に用いられ得る。

なお、図３６および図３７Ｂからわかるように、ＣＣＤイメージセンサおよび表面照射型ＣＭＯＳイメージセンサにおいて被写体と対向する表面は平坦ではない。例えば、ＣＣＤイメージセンサでは、その表面に段差が存在する。また、裏面照射型ＣＭＯＳイメージセンサでは、高分解能画像を形成するためのサブ画像を取得するには、パターニングされた遮光層を撮像面上に設けることが必要であり、被写体と対向する表面は平坦ではない。

これに対し、光電変換膜積層型イメージセンサの撮像面は、図３８からわかるように、ほぼ平坦な面である。したがって、撮像面上に被写体を配置した場合であっても、撮像面の形状に起因する被写体の変形がほとんど生じない。言い換えれば、光電変換膜積層型イメージセンサを用いてサブ画像を取得することによって、被写体のより詳細な構造を観察し得る。

本明細書において説明される上述の種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。

本開示の実施形態によれば、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の適用を容易にし得る、画像取得装置、画像形成方法および画像形成システムの少なくともいずれかが提供される。高分解能画像は、例えば病理診断の場面において有益な情報を提供する。

２ 被写体
７ 撮像素子
８ 透明プレート
１０ モジュール
３０ 照明システム
３１ 光源
３２ ステージ
３３ ステージ駆動機構
４０ａ〜４０ｆ 照射方向決定部
１００ａ〜１００ｆ 画像取得装置
１５０ 画像処理装置
５００ 画像形成システム

Claims (20)

1. 被写体と撮像素子とが一体化されたモジュールの前記被写体に対して複数の異なる照射方向から、順次、光照射する照明システムと、
   前記モジュールは、前記被写体を透過した照明光が前記撮像素子に入射するように前記被写体と前記撮像素子とが一体化されており、
   前記撮像素子は、前記複数の異なる照射方向に応じた複数の画像を取得し、
   前記複数の異なる照射方向に応じて前記複数の画像を前記撮像素子によって取得する前に、第１照射方向からの第１照明光で前記被写体が照射されているときに前記撮像素子によって取得された第１予備画像と、第２照射方向からの第２照明光で前記被写体が照射されているときに前記撮像素子によって取得された第２予備画像との間の差異に基づいて、前記複数の異なる照射方向を決定する照射方向決定部と、
   を備える画像取得装置。
2. 前記照射方向決定部は、前記第１予備画像と前記第２予備画像との間の差異が所定レベルよりも小さくなるように選択された前記第１照射方向および前記第２照射方向に基づいて、前記複数の異なる照射方向を決定するように構成されている、請求項１に記載の画像取得装置。
3. 前記照明システムは、前記第１照射方向および前記第２照射方向の少なくとも一方を変化させ、
   前記撮像素子は、前記第１照射方向および前記第２照射方向の前記少なくとも一方の変化に応じて１以上の前記第１予備画像および１以上の前記第２予備画像を取得し、
   前記照射方向決定部は、各々が前記第１予備画像および前記第２予備画像から構成される１以上の異なる画像セットから、前記第１予備画像と前記第２予備画像との間にある差異が前記所定レベルよりも小さな画像セットを決定し、当該画像セットに対応する前記第１照射方向および前記第２照射方向に基づいて、前記複数の異なる照射方向を決定するように構成されている、請求項２に記載の画像取得装置。
4. 前記照明システムは、前記第１照射方向および前記第２照射方向の少なくとも一方を変化させ、
   前記撮像素子は、前記第１照射方向および前記第２照射方向の前記少なくとも一方の変化に応じて１以上の前記第１予備画像および１以上の前記第２予備画像を取得し、
   前記照射方向決定部は、各々が前記第１予備画像および前記第２予備画像から構成される、予め設定された個数の異なる画像セットから、前記第１予備画像と前記第２予備画像との間にある差異が最小である画像セットを決定し、当該画像セットに対応する前記第１照射方向および前記第２照射方向に基づいて、前記複数の異なる照射方向を決定するように構成されている、請求項１または２に記載の画像取得装置。
5. 前記第１照射方向および前記第２照射方向は、前記被写体を基準にして対称な関係にある、請求項１から４のいずれかに記載の画像取得装置。
6. 前記差異は、前記第１予備画像における画素の輝度と、前記第２予備画像における画素の輝度とから規定される量である、請求項１から５のいずれかに記載の画像取得装置。
7. 前記照射方向決定部は、前記第１予備画像を構成する複数の画素の輝度と、前記第２予備画像を構成する複数の画素の輝度とを比較することにより、前記第１予備画像と前記第２予備画像との間にある差異を算出する、請求項１から６のいずれかに記載の画像取得装置。
8. 前記照射方向決定部は、前記第１予備画像および前記第２予備画像の少なくとも一方に
   おける画素の輝度を補正した後に、前記第１予備画像と前記第２予備画像との間にある差異を算出する、請求項６または７に記載の画像取得装置。
9. 前記照射方向決定部は、前記撮像素子に対する前記被写体の高さを示す位置情報を取得し、前記位置情報に応じて前記複数の異なる照射方向を決定するように構成されている、請求項１から８のいずれかに記載の画像取得装置。
10. 前記照明システムは、前記モジュールが着脱自在に装填されるように構成されたステージ、および、前記ステージの姿勢を変更可能に構成されたステージ駆動機構を有する、請求項１から９のいずれかに記載の画像取得装置。
11. 請求項１から１０のいずれかに記載の画像取得装置と、
    前記複数の異なる照射方向に応じて取得した前記複数の画像を合成することにより、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する画像処理装置と
    を備える画像形成システム。
12. 被写体を透過した照明光が撮像素子に入射するように前記被写体と前記撮像素子とが一体化されたモジュールを第１照明光で第１照射方向から照射することによって前記被写体の第１予備画像を取得する工程と、
    前記モジュールを第２照明光で第２照射方向から照射することによって前記被写体の第２予備画像を取得する工程と、
    前記第１予備画像と前記第２予備画像との間の差異に基づいて、前記被写体を基準とする複数の異なる照射方向を決定する工程と、
    前記複数の異なる照射方向から、順次、前記被写体を前記照明光で照射することにより、前記複数の異なる照射方向に応じた複数の画像を取得する工程と、
    前記複数の画像を合成することにより、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する工程と
    を含む、画像形成方法。
13. 前記第１予備画像を取得する工程は、前記第１照射方向を変えて複数回実行される、請求項１２に記載の画像形成方法。
14. 前記第２予備画像を取得する工程は、前記第２照射方向を変えて複数回実行される、請求項１３に記載の画像形成方法。
15. 前記第１照射方向および前記第２照射方向は、前記被写体を基準にして対称な関係にある、請求項１２に記載の画像形成方法。
16. 前記複数の異なる照射方向を決定する工程において、前記第１予備画像と前記第２予備画像との間の差異が所定レベルよりも小さくなるような前記第１照射方向および前記第２照射方向に基づいて、前記複数の異なる照射方向が決定される、請求項１２から１５のいずれかに記載の画像形成方法。
17. 前記複数の異なる照射方向を決定する工程において、前記第１予備画像と前記第２予備画像との間にある差異が最小となるような前記第１照射方向および前記第２照射方向に基づいて、前記複数の異なる照射方向が決定される、請求項１２から１５のいずれかに記載の画像形成方法。
18. 前記差異は、前記第１予備画像における画素の輝度と前記第２予備画像における画素の
    輝度とから規定される量である、請求項１２から１７のいずれかに記載の画像形成方法。
19. 前記複数の異なる照射方向を決定する工程は、前記第１予備画像を構成する複数の画素の輝度と、前記第２予備画像を構成する複数の画素の輝度とを比較する工程を含む、請求項１２から１８のいずれかに記載の画像形成方法。
20. 前記第２予備画像を取得する工程と、前記複数の異なる照射方向を決定する工程との間に、前記第２予備画像における画素の輝度を補正する工程を含む、請求項１２から１９のいずれかに記載の画像形成方法。

Images