JP6004245B1 - 画像取得装置、画像形成システムおよび画像形成方法 - Google Patents
画像取得装置、画像形成システムおよび画像形成方法 Download PDFInfo
- Publication number
- JP6004245B1 JP6004245B1 JP2016528915A JP2016528915A JP6004245B1 JP 6004245 B1 JP6004245 B1 JP 6004245B1 JP 2016528915 A JP2016528915 A JP 2016528915A JP 2016528915 A JP2016528915 A JP 2016528915A JP 6004245 B1 JP6004245 B1 JP 6004245B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- irradiation direction
- preliminary
- irradiation
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/59—Transmissivity
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0008—Microscopes having a simple construction, e.g. portable microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/086—Condensers for transillumination only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/26—Stages; Adjusting means therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/066—Modifiable path; multiple paths in one sample
- G01N2201/0662—Comparing measurements on two or more paths in one sample
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Microscoopes, Condenser (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本開示の画像取得装置は、照明システムと、照射方向決定部とを備える。照明システムは、被写体を透過した照明光が撮像素子に入射するように被写体と撮像素子とが一体化されたモジュールに、被写体を基準とする複数の異なる照射方向から、順次、被写体を照射する。モジュールは、複数の異なる照射方向に応じた複数の画像を取得する。照射方向決定部は、複数の異なる照射方向に応じて複数の画像を取得する前に、第1予備画像と、第2予備画像との間の差異に基づいて、複数の異なる照射方向を決定する。第1予備画像は、第1照射方向からの第1照明光で被写体が照射されているときに取得された画像であり、第2予備画像は、第2照射方向からの第2照明光で被写体が照射されているときに取得された画像である。
Description
本開示は、画像取得装置、画像形成システムおよび画像形成方法に関する。
従来、生体組織などにおけるミクロ構造を観察するために光学顕微鏡が用いられてきた。光学顕微鏡は、観察対象を透過した光、あるいは反射した光を利用する。観察者は、レンズによって拡大された像を観察する。顕微鏡のレンズで拡大された像を撮影してディスプレイ上に表示するデジタル顕微鏡も知られている。デジタル顕微鏡を利用することにより、複数人での同時観察、遠隔地での観察などが可能である。
近年、CIS(Contact Image Sensing)方式によってミクロ構造を観察する技術が注
目されている。CIS方式による場合、観察対象は、イメージセンサの撮像面に近接して配置される。イメージセンサとしては、一般に、多数の光電変換部が撮像面内に行および列状に配列された2次元イメージセンサが用いられる。光電変換部は、典型的には、半導体層または半導体基板に形成されたフォトダイオードであり、入射光を受けて電荷を生成する。
目されている。CIS方式による場合、観察対象は、イメージセンサの撮像面に近接して配置される。イメージセンサとしては、一般に、多数の光電変換部が撮像面内に行および列状に配列された2次元イメージセンサが用いられる。光電変換部は、典型的には、半導体層または半導体基板に形成されたフォトダイオードであり、入射光を受けて電荷を生成する。
イメージセンサによって取得される画像は、多数の画素によって規定される。各画素は、1つの光電変換部を含む単位領域によって区画されている。したがって、2次元イメージセンサにおける分解能(解像度)は、通常、撮像面上における光電変換部の配列ピッチに依存する。本明細書では、光電変換部の配列ピッチによって決まる分解能を、イメージセンサの「固有分解能」と呼ぶことがある。個々の光電変換部の配列ピッチは、可視光の波長程度まで短くなっているので、固有分解能をさらに向上させることは困難である。
イメージセンサの固有分解能を超える分解能を実現する技術が提案されている。特許文献1は、被写体の結像位置をシフトさせて得られる複数の画像を用いて当該被写体の画像を形成する技術を開示している。
本開示は、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性を向上させ得る画像取得装置、画像形成システムおよび画像形成方法を提供する。
本開示の例示的な実施形態として以下が提供される。
被写体と撮像素子とが一体化されたモジュールの前記被写体に対して複数の異なる照射方向から、順次、光照射する照明システムと、前記モジュールは、前記被写体を透過した照明光が前記撮像素子に入射するように前記被写体と前記撮像素子とが一体化されており、前記撮像素子は、前記複数の異なる照射方向に応じた複数の画像を取得し、前記複数の異なる照射方向に応じて前記複数の画像を前記撮像素子によって取得する前に、第1照射方向からの第1照明光で前記被写体が照射されているときに前記撮像素子によって取得された第1予備画像と、第2照射方向からの第2照明光で前記被写体が照射されているときに前記撮像素子によって取得された第2予備画像との間の差異に基づいて、前記複数の異なる照射方向を決定する照射方向決定部と、を備える画像取得装置。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
本開示によれば、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性が向上する。
<高分解能画像形成の原理>
本開示の実施形態では、照明光の照射方向を変えて複数回の撮影を実行することにより得られる複数の画像を用いて、それら複数の画像の各々よりも分解能の高い画像(以下、「高分解能画像」と呼ぶ。)を形成する。まず、図1A〜図6を参照して、高分解能画像形成の原理を説明する。ここでは、CCD(Charge Coupled Device)イメージセンサを
例示して説明を行う。なお、以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。
本開示の実施形態では、照明光の照射方向を変えて複数回の撮影を実行することにより得られる複数の画像を用いて、それら複数の画像の各々よりも分解能の高い画像(以下、「高分解能画像」と呼ぶ。)を形成する。まず、図1A〜図6を参照して、高分解能画像形成の原理を説明する。ここでは、CCD(Charge Coupled Device)イメージセンサを
例示して説明を行う。なお、以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。
図1Aおよび図1Bを参照する。図1Aは、被写体の一部を模式的に示す平面図である。図1Aに示す被写体2は、例えば、生物組織の薄片(典型的には、数十μm以下の厚さを有する。)である。被写体2の画像の取得時、被写体2は、イメージセンサの撮像面に近接して配置されている。イメージセンサの撮像面から被写体2までの距離は、典型的には1mm以下であり、例えば1μm程度に設定され得る。
図1Bは、イメージセンサのフォトダイオードのうち、図1Aに示されている領域の撮像に関わるフォトダイオードを抽出して模式的に示す平面図である。ここで説明する例では、イメージセンサ4に形成されたフォトダイオード4pのうち、6個のフォトダイオードが示されている。なお、参考のために、図1Bでは、互いに直交するx方向、y方向およびz方向を示す矢印が図示されている。z方向は、撮像面の法線方向を示している。図
1Bでは、xy面内においてx軸からy軸に向かって45°回転した方向であるu方向を示す矢印も図示されている。他の図面においても、x方向、y方向、z方向またはu方向を示す矢印を図示することがある。
1Bでは、xy面内においてx軸からy軸に向かって45°回転した方向であるu方向を示す矢印も図示されている。他の図面においても、x方向、y方向、z方向またはu方向を示す矢印を図示することがある。
イメージセンサ4におけるフォトダイオード4p以外の構成要素は、遮光層によって覆われている。図1B中、ハッチングされた領域は、遮光層によって覆われている領域を示している。CCDイメージセンサの撮像面上における1つのフォトダイオードの受光面の面積(S2)は、そのフォトダイオードを含む単位領域の面積(S1)よりも小さい。画素の面積S1に対する受光面積S2の比率(S2/S1)は、「開口率」と呼ばれている。ここでは、開口率が25%であるとして説明を行う。
図2Aおよび図2Bは、被写体2を透過してフォトダイオード4pに入射する光線の方向を模式的に示す。図2Aおよび図2Bは、撮像面に対して垂直な方向から光線を入射させた状態を示している。図2Aおよび図2Bにおいて模式的に示すように、ここでは、被写体2とイメージセンサ4との間に結像のためのレンズは配置されておらず、被写体2の画像は、被写体2を透過する実質的に平行な光線を用いて取得される。
図2Cは、図2Aおよび図2Bに示す照射方向のもとで取得される画像Sa(第1のサブ画像Sa)を模式的に示す。図2Cに示すように、第1のサブ画像Saは、6個のフォトダイオード4pによって取得される6個の画素Paから構成される。画素Paの各々は、個々のフォトダイオード4pに入射した光の量を示す値(画素値)を持つ。
図2Aおよび図2Bに示すように、撮像面に垂直な方向から被写体2を照射したときには、被写体2の全体のうち、フォトダイオード4pの直上に位置する領域を透過した光がフォトダイオード4pに入射する。この例では、第1のサブ画像Saは、被写体2の全体のうち、領域A1、A2、A3、A4、A5およびA6(図1A参照)の情報を有している。なお、フォトダイオード4pの直上に位置しない領域を透過した光は、フォトダイオード4pには入射しない。したがって、第1のサブ画像Saでは、被写体2の全体のうち、領域A1、A2、A3、A4、A5およびA6以外の領域の情報が欠落している。
図3Aおよび図3Bは、図2Aおよび図2Bに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図3Aおよび図3Bに示す光線は、z方向に対してx方向に傾斜している。このとき、被写体2の全体のうち、フォトダイオード4pの直上に位置する領域とは異なる領域を透過した光がフォトダイオード4pに入射する。
図3Cは、図3Aおよび図3Bに示す照射方向のもとで取得される画像Sb(第2のサブ画像Sb)を模式的に示す。図3Cに示すように、第2のサブ画像Sbも、6個のフォトダイオード4pによって取得される6個の画素から構成されている。ただし、第2のサブ画像Sbを構成する画素Pbは、被写体2の全体のうち、領域A1、A2、A3、A4、A5およびA6とは異なる領域B1、B2、B3、B4、B5およびB6(図1A参照)に関する画素値を持つ。言い換えれば、第2のサブ画像Sbは、被写体2の全体のうち、領域A1、A2、A3、A4、A5およびA6の情報は有しておらず、代わりに、領域B1、B2、B3、B4、B5およびB6の情報を有している。ここでは、例えば領域B1は、被写体2において領域A1の右側に隣接する領域である(図1A参照)。
図2Aおよび図2Bと、図3Aおよび図3Bとを比較することによって理解されるように、照射方向を適切に変更することにより、被写体2の異なる領域を透過した光線をフォトダイオード4pに入射させることができる。その結果、第1のサブ画像Saと第2のサブ画像Sbは、被写体2において異なる位置に対応する画素情報を含むことができる。
図4Aおよび図4Bは、図2Aおよび図2Bに示す照射方向ならびに図3Aおよび図3Bに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図4Aおよび図4Bに示す光線は、z方向に対してy方向に傾斜している。
図4Cは、図4Aおよび図4Bに示す照射方向のもとで取得される画像Sc(第3のサブ画像Sc)を模式的に示す。図4Cに示すように、第3のサブ画像Scは、6個のフォトダイオード4pによって取得される6個の画素Pcから構成されている。図示するように、第3のサブ画像Scは、被写体2の全体のうち、図1Aに示す領域C1、C2、C3、C4、C5およびC6の情報を有している。ここでは、例えば領域C1は、被写体2において領域A1の上側に隣接する領域である(図1A参照)。
図5Aは、図2Aおよび図2Bに示す照射方向、図3Aおよび図3Bに示す照射方向、ならびに図4Aおよび図4Bに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図5Aに示す光線は、z方向に対して、xy面内においてx軸と45°の角をなす方向に傾斜している。
図5Bは、図5Aに示す照射方向のもとで取得される画像Sd(第4のサブ画像Sd)を模式的に示す。図5Bに示すように、第4のサブ画像Sdは、6個のフォトダイオード4pによって取得される6個の画素Pdから構成されている。第4のサブ画像Sdは、被写体2の全体のうち、図1Aに示す領域D1、D2、D3、D4、D5およびD6の情報を有している。ここでは、例えば領域D1は、領域C1の右側に隣接する領域である(図1A参照)。このように、サブ画像Sa、Sb、ScおよびSdの各々は、被写体2の異なる部分から構成される像を含んでいる。
図6は、4枚のサブ画像Sa、Sb、ScおよびSdから合成される高分解能画像HRを示している。図6に示すように、高分解能画像HRの画素数または画素密度は、4枚のサブ画像Sa、Sb、ScおよびSdの各々の画素数または画素密度の4倍である。
例えば、被写体2における、図1Aに示す領域A1、B1、C1およびD1のブロックに着目する。これまでの説明からわかるように、図6に示すサブ画像Saの画素Pa1は、上述のブロック全体ではなく、領域A1のみの情報を有している。したがって、サブ画像Saは、領域B1、C1およびD1の情報が欠落した画像であるということができる。
しかしながら、被写体2において異なる位置に対応する画素情報を有するサブ画像Sb、ScおよびSdを用いることにより、図6に示すように、サブ画像Saにおいて欠落した情報を補完し、ブロック全体の情報を有する高分解能画像HRを形成することが可能である。個々のサブ画像の分解能がイメージセンサ4の固有分解能に等しいことに対し、この例では、イメージセンサ4の固有分解能の4倍の分解能が得られている。高分解能化(超解像)の程度は、イメージセンサの開口率に依存する。この例では、イメージセンサ4の開口率が25%であるため、異なる4方向からの光照射によって最大4倍の高分解能化が達成されている。Nを2以上の整数するとき、イメージセンサ4の開口率が近似的に1/Nに等しければ、最大N倍の高分解能化が可能である。
このように、被写体を基準にして複数の異なる照射方向から、順次、平行光を照射して被写体の撮像を行うことにより、被写体から「空間的」にサンプリングされる画素情報を増加させることができる。得られた複数のサブ画像を合成することにより、複数のサブ画像の各々よりも分解能の高い高分解能画像を形成することが可能である。もちろん、照射方向は、図2A〜図5Bを参照して説明した照射方向に限定されない。
なお、上記の例において、図6に示すサブ画像Sa、Sb、ScおよびSdは、被写体
2における互いに異なる領域の画素情報を有しており、重なりを有していない。しかしながら、異なるサブ画像間において重なりを有していてもよい。また、上記の例では、被写体2において隣接する2つの領域を通過した光線は、いずれも、同一のフォトダイオードに入射している。しかしながら、照射方向の設定はこの例に限定されない。例えば、図7に示すように、被写体2の隣接する2つの領域を通過した光線が、それぞれ、異なるフォトダイオードに入射するように照射方向が調整されていてもよい。
2における互いに異なる領域の画素情報を有しており、重なりを有していない。しかしながら、異なるサブ画像間において重なりを有していてもよい。また、上記の例では、被写体2において隣接する2つの領域を通過した光線は、いずれも、同一のフォトダイオードに入射している。しかしながら、照射方向の設定はこの例に限定されない。例えば、図7に示すように、被写体2の隣接する2つの領域を通過した光線が、それぞれ、異なるフォトダイオードに入射するように照射方向が調整されていてもよい。
<モジュール>
図1A〜図6を参照して説明した原理に基づく高分解能画像の形成において、サブ画像の取得は、被写体2がイメージセンサ4の撮像面に近接して配置された状態で実行される。本開示の実施形態では、被写体2およびイメージセンサ4が一体化された構造を有するモジュールを用いてサブ画像の取得を行う。以下、図面を参照して、モジュールの構成の一例およびモジュールの作製方法の一例を説明する。
図1A〜図6を参照して説明した原理に基づく高分解能画像の形成において、サブ画像の取得は、被写体2がイメージセンサ4の撮像面に近接して配置された状態で実行される。本開示の実施形態では、被写体2およびイメージセンサ4が一体化された構造を有するモジュールを用いてサブ画像の取得を行う。以下、図面を参照して、モジュールの構成の一例およびモジュールの作製方法の一例を説明する。
図8Aは、モジュールの断面構造の一例を模式的に示す。図8Aに示すモジュール10では、封入剤6によって覆われた被写体2がイメージセンサ4の撮像面4A上に配置されている。図示する例では、透明プレート(典型的にはガラス板)8が被写体2上に配置されている。すなわち、図8Aに例示する構成では、被写体2は、イメージセンサ4と透明プレート8との間に挟まれている。モジュール10が透明プレート8を有すると、作業性が向上するので有益である。透明プレート8としては、例えば、一般的なスライドガラスを使用することができる。なお、図中においては各要素が模式的に表されており、各要素における実際の大きさおよび形状は、図中に現された大きさおよび形状と必ずしも一致しない。以下において参照する他の図面においても同様である。
図8Aに例示する構成において、イメージセンサ4は、パッケージ5に固定されている。図8Bは、図8Aに示すモジュール10をイメージセンサ4側から見たときの外観の一例を示す。図8Aおよび図8Bに示すように、パッケージ5は、透明プレート8とは反対側の面に裏面電極5Bを有する。この裏面電極5Bは、パッケージ5に形成された不図示の配線パターンを介してイメージセンサ4と電気的に接続されている。すなわち、裏面電極5Bを介して、イメージセンサ4の出力を取り出すことができる。本明細書では、パッケージとイメージセンサとが一体化された構造物を「撮像素子」と呼ぶ。
図9を参照して、モジュール10の作製方法の一例を説明する。ここでは、被写体2として生物組織の薄片(組織切片)を例示する。生物組織の薄片を被写体2として有するモジュール10は、病理診断に利用され得る。
まず、図9に示すように、組織切片A02を透明プレート8に載せる。透明プレート8は、光学顕微鏡による試料の観察に用いられるスライドガラスであり得る。以下では、透明プレート8としてスライドガラスを例示する。次に、組織切片A02を透明プレート8ごと染色液Ssに漬けることにより、組織切片A02を染色する。次に、透明プレート8上に封入剤6を付与することにより、組織切片A02を染色することによって得られた被写体2を封入剤6によって覆う。封入剤6は、被写体2を保護する機能を有する。次に、撮像素子7を、イメージセンサ4の撮像面が被写体2に対向するようにして被写体2上に配置する。このようにして、モジュール10が得られる。
モジュール10は、撮像の対象ごとに作製される。例えば病理診断の場面では、1つの検体から複数(例えば5〜20枚)の組織切片が用意される。そのため、同一の検体から得られた組織切片を被写体2として有する複数のモジュール10が作製され得る。これらの複数のモジュール10のそれぞれについて複数のサブ画像の取得を行えば、複数のモジュール10のそれぞれに対応した高分解能画像の形成が可能である。
図8Aに示すように、モジュール10は、光学顕微鏡による観察に用いられるプレパラートとは異なり、被写体2の画像を取得するイメージセンサ4を備えている。このようなモジュールを「電子プレパラート」と呼んでもよい。図8Aに示すように被写体2および撮像素子7が一体化された構造を有するモジュール10を用いることにより、被写体2とイメージセンサ4との間の配置を固定できるという利点が得られる。
モジュール10を用いて被写体2の画像の取得を実行するとき、透明プレート8を介して被写体2に照明光を照射する。被写体2を透過した照明光がイメージセンサ4に入射する。これにより、被写体2の画像が得られる。光源と被写体との相対的な配置を変えながら、順次、撮像を実行することにより、照射時において角度を変えて複数の異なる画像を取得することができる。例えば、図10Aに示すように、イメージセンサ4の直上に光源310を配置する。そして、コリメートされた光CLをイメージセンサ4の撮像面4Aの法線方向から被写体2に照射した状態で撮像を行えば、図2Cに示すサブ画像Saと同様のサブ画像が得られる。また、図10Bに示すように、モジュール10を傾けた状態でコリメートされた光CLを被写体2に照射して撮像を行えば、図3Cに示すサブ画像Sb(あるいは図4Cに示すサブ画像Sc)と同様のサブ画像が得られる。このように、光源に対するモジュール10の姿勢を変化させながら、順次、撮像を実行することにより、図1A〜図6を参照して説明した原理を適用して高分解能画像を得ることが可能である。
<本発明者の知見>
図1A〜図6を参照して説明したように、複数のサブ画像の取得においては、高分解能画像の形成に適したサブ画像が得られるような適切な照射方向からの照射が行われる。しかしながら、被写体2において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的な配置を予め知ることは困難である。したがって、複数のサブ画像の取得に用いる複数の照射方向を決定することは一般に困難である。たとえ、ある1つのモジュールについて複数の照射方向が決定できたとしても、以下に説明するように、他のモジュールについてもそれらの複数の照射方向が適しているとは限らない。つまり、照明光の照射方向を複数のモジュール間において共通とすると、高分解能画像を適切に形成できないことがある。
図1A〜図6を参照して説明したように、複数のサブ画像の取得においては、高分解能画像の形成に適したサブ画像が得られるような適切な照射方向からの照射が行われる。しかしながら、被写体2において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的な配置を予め知ることは困難である。したがって、複数のサブ画像の取得に用いる複数の照射方向を決定することは一般に困難である。たとえ、ある1つのモジュールについて複数の照射方向が決定できたとしても、以下に説明するように、他のモジュールについてもそれらの複数の照射方向が適しているとは限らない。つまり、照明光の照射方向を複数のモジュール間において共通とすると、高分解能画像を適切に形成できないことがある。
図11Aは、被写体2の配置と照射方向との関係の一例を模式的に示す。図11Aでは、破線の矢印DRaで示す照射方向と、実線の矢印DRbで示す照射方向との2つの照射方向をあわせて図示している。なお、図1A〜図6を参照して説明した原理から明らかなように、実際の撮像時、矢印DRaで示す方向からの照明光の照射および矢印DRbで示す方向からの照明光の照射は同時には実行されず、順次に実行される。
図11Aに示す例では、イメージセンサ4は、フォトダイオード4pの光入射面を被覆する透明層4Tを有している。被写体2は、封入剤6に覆われた状態でこの透明層4T上に位置している。図11A中、撮像面4Aと被写体2との間隔を矢印d1により模式的に示す。
図示するように、矢印DRaで示す照射方向から被写体2を照射したときには、被写体2のうち、フォトダイオード4pの直上に位置する領域A1を透過した光がフォトダイオード4pに入射する。すなわち、このとき、図2Cを参照して説明したサブ画像Saと同様のサブ画像が取得される。矢印DRbで示す照射方向から被写体2を照射したときには、被写体2のうち、図のx方向に沿って領域A1に隣接する領域B1を透過した光がフォトダイオード4pに入射する。このとき、図3Cを参照して説明したサブ画像Sbと同様のサブ画像が取得される。したがって、これらの2つのサブ画像を用いることにより、図のx方向について2倍の高分解能化が実現する(図1Aおよび図6参照)。
図11Bは、イメージセンサ4の撮像面4Aからより離れた位置に被写体2が配置されたモジュールにおける、被写体2を透過した照明光とフォトダイオード4pとの間の関係を模式的に示す。図11Bに示す例では、撮像面4Aと被写体2との間隔d2は、図11Aに示す例における間隔d1よりも大きい。このように、複数のモジュールの間において、撮像面4Aと被写体2との間隔にばらつきが生じることがある。このようなばらつきは、例えばモジュールの製作時に、撮像面4Aと被写体2との間に封入剤6(図9参照)が入り込むことにより生じると考えられる。本発明者の検討によれば、撮像面4Aと被写体2との間隔は、2〜8μm程度の範囲の変動を有し得る。
図11Bに示す例において、矢印DRaで示す照射方向から被写体2を照射したときには、図11Aに示す例と同様に、被写体2のうち領域A1を透過した光がフォトダイオード4pに入射する。このとき、図2Cを参照して説明したサブ画像Saと同様のサブ画像が取得される。一方、矢印DRbで示す照射方向から被写体2を照射したときには、図11Aを参照して説明した例とは異なり、被写体2のうち、領域B1とは異なる領域を透過した光がフォトダイオード4pに入射する。なお、図示する例では、領域B1を透過した光は、イメージセンサ4のいずれのフォトダイオード4pにも入射していない。言い換えれば、矢印DRbで示す照射方向から被写体2を照射しても、被写体2における領域B1の情報を有するサブ画像を取得することができない。この例では、矢印DRbで示す照射方向からの照射によっては、高分解能画像の形成のためのサブ画像が得られない。したがって、高分解能画像を形成することができない。
図11Cは、被写体2の配置と照射方向との関係の他の一例を模式的に示す。図11Cに示す例では、撮像面4Aと被写体2との間隔d3は、図11Aに示す例における間隔d1よりも大きく、図11Bに示す例における間隔d2よりも小さい。この例では、矢印DRbで示す照射方向から被写体2を照射したとき、フォトダイオード4pには、領域B1のうちの一部を透過した光と、領域B1とは異なる領域を透過した光とが入射する。このときに得られるサブ画像では、領域B1の情報の一部が欠落している。したがって、矢印DRaで示す照射方向から被写体2を照射したときに得られたサブ画像と、矢印DRbで示す照射方向から被写体2を照射したときに得られたサブ画像とを用いても、適切な高分解能画像を形成することはできない。
図11A〜図11Cからわかるように、あるモジュールについて設定した複数の照射方向は、他のモジュールにおいて複数のサブ画像を取得するための照射方向として適切であるとは限らない。つまり、あるモジュールについて設定した複数の照射方向を他のモジュールにおける複数のサブ画像の取得にそのまま適用すると、それらの複数の照射方向に応じて取得した複数のサブ画像からは適切な高分解能画像を形成できないことがある。なお、複数のモジュールの間において被写体2の厚さにばらつきが存在する場合にも上記と同様の現象が生じる可能性がある。
本発明者は、上記に鑑み検討を重ね、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性を向上させ得る画像取得装置(デジタイザ)、画像形成システムおよび画像形成方法を見出した。
本開示の実施形態を詳細に説明する前に、まず、本開示の実施形態の概要を説明する。本開示の一態様である画像取得装置は、照明システムと、照射方向決定部とを備える。照明システムは、被写体を透過した照明光が撮像素子に入射するように被写体と撮像素子とが一体化されたモジュールに、被写体を基準とする複数の異なる照射方向から、順次、被写体を照射する。このモジュールは、被写体を基準とする複数の異なる照射方向に応じた複数の画像を撮像素子によって取得するように構成されている。照射方向決定部は、複数
の異なる照射方向に応じて複数の画像を撮像素子によって取得する前に、第1予備画像と、第2予備画像との間の差異に基づいて、複数の異なる照射方向を決定する。第1予備画像は、第1照射方向からの第1照明光で被写体が照射されているときに撮像素子によって取得された画像である。第2予備画像は、第2照射方向からの第2照明光で被写体が照射されているときに撮像素子によって取得された画像である。
の異なる照射方向に応じて複数の画像を撮像素子によって取得する前に、第1予備画像と、第2予備画像との間の差異に基づいて、複数の異なる照射方向を決定する。第1予備画像は、第1照射方向からの第1照明光で被写体が照射されているときに撮像素子によって取得された画像である。第2予備画像は、第2照射方向からの第2照明光で被写体が照射されているときに撮像素子によって取得された画像である。
ある態様において、照射方向決定部は、第1予備画像と第2予備画像との間の差異が所定レベルよりも小さくなるように選択された第1照射方向および第2照射方向に基づいて、複数の異なる照射方向を決定する。
ある態様において、照明システムは、第1照射方向および第2照射方向の少なくとも一方を変化させる。撮像素子は、第1照射方向および第2照射方向の少なくとも一方の変化に応じて1以上の第1予備画像および1以上の第2予備画像を取得する。照射方向決定部は、各々が第1予備画像および第2予備画像から構成される1以上の異なる画像セットから、第1予備画像と第2予備画像との間にある差異が所定レベルよりも小さな画像セットを決定し、当該画像セットに対応する第1照射方向および第2照射方向に基づいて、複数の異なる照射方向を決定する。
ある態様において、照明システムは、第1照射方向および第2照射方向の少なくとも一方を変化させる。撮像素子は、第1照射方向および第2照射方向の少なくとも一方の変化に応じて1以上の第1予備画像および1以上の第2予備画像を取得する。照射方向決定部は、各々が第1予備画像および第2予備画像から構成される、予め設定された個数の異なる画像セットから、第1予備画像と第2予備画像との間にある差異が最小である画像セットを決定し、当該画像セットに対応する第1照射方向および第2照射方向に基づいて、複数の異なる照射方向を決定する。
ある態様において、第1照射方向および第2照射方向は、被写体を基準にして対称な関係にある。
ある態様において、差異は、第1予備画像における画素の輝度と、第2予備画像における画素の輝度とから規定される量である。
ある態様において、照射方向決定部は、第1予備画像を構成する複数の画素の輝度と、第2予備画像を構成する複数の画素の輝度とを比較することにより、第1予備画像と第2予備画像との間にある差異を算出する。
ある態様において、照射方向決定部は、第1予備画像および第2予備画像の少なくとも一方における画素の輝度を補正した後に、第1予備画像と第2予備画像との間にある差異を算出する。
ある態様において、照射方向決定部は、撮像素子に対する被写体の高さを示す位置情報を取得し、位置情報に応じて複数の異なる照射方向を決定する。
ある態様において、照明システムは、モジュールが着脱自在に装填されるように構成されたステージ、および、ステージの姿勢を変更可能に構成されたステージ駆動機構を有する。
本開示の他の一態様である画像形成システムは、上記のいずれかに記載の画像取得装置と、複数の異なる照射方向に応じて取得した複数の画像を合成することにより、複数の画像の各々よりも分解能の高い被写体の高分解能画像を形成する画像処理装置とを備える。
本開示のさらに他の一態様である画像形成方法は、被写体の第1予備画像を取得する工程と、被写体の第2予備画像を取得する工程と、被写体を基準とする複数の異なる照射方向を決定する工程と、複数の異なる照射方向に応じた複数の画像を取得する工程と、被写体の高分解能画像を形成する工程とを含む。第1予備画像を取得する工程において、被写体を透過した照明光が撮像素子に入射するように被写体と撮像素子とが一体化されたモジュールを第1照明光で第1照射方向から照射することによって第1予備画像を取得する。第2予備画像を取得する工程において、モジュールを第2照明光で第2照射方向から照射することによって第2予備画像を取得する。被写体を基準とする複数の異なる照射方向を決定する工程において、第1予備画像と第2予備画像との間の差異に基づいて、複数の異なる照射方向を決定する。複数の異なる照射方向に応じた複数の画像を取得する工程において、複数の異なる照射方向から、順次、被写体を照明光で照射することにより、複数の異なる照射方向に応じた複数の画像を取得する。被写体の高分解能画像を形成する工程において、複数の画像を合成することにより、複数の画像の各々よりも分解能の高い被写体の高分解能画像を形成する。
ある態様において、第1予備画像を取得する工程は、第1照射方向を変えて複数回実行される。
ある態様において、第2予備画像を取得する工程は、第2照射方向を変えて複数回実行される。
ある態様において、第1照射方向および第2照射方向は、被写体を基準にして対称な関係にある。
ある態様では、複数の異なる照射方向を決定する工程において、第1予備画像と第2予備画像との間の差異が所定レベルよりも小さくなるような第1照射方向および第2照射方向に基づいて、複数の異なる照射方向が決定される。
ある態様では、複数の異なる照射方向を決定する工程において、第1予備画像と第2予備画像との間にある差異が最小となるような第1照射方向および第2照射方向に基づいて、複数の異なる照射方向が決定される。
ある態様において、差異は、第1予備画像における画素の輝度と第2予備画像における画素の輝度とから規定される量である。
ある態様において、複数の異なる照射方向を決定する工程は、第1予備画像を構成する複数の画素の輝度と、第2予備画像を構成する複数の画素の輝度とを比較する工程を含む。
ある態様による画像形成方法は、第2予備画像を取得する工程と、複数の異なる照射方向を決定する工程との間に、第2予備画像における画素の輝度を補正する工程を含む。
以下、図面を参照しながら、本開示の実施形態を詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
<画像取得装置>
図12は、本開示の実施形態による画像取得装置の構成の一例の概略を示す。図12に示す画像取得装置100aは、照明システム30を有する。図12に例示する構成において、照明システム30は、照明光を生成する光源31、モジュール10が着脱自在に装填されるように構成されたステージ32、および、ステージ32の姿勢を変更可能に構成されたステージ駆動機構33を含んでいる。図12は、ステージ32にモジュール10が装填された状態を模式的に示している。ただし、モジュール10における封入剤6および透明プレート8の図示は省略している。モジュール10は、画像取得装置100aに必須の構成要素ではない。
図12は、本開示の実施形態による画像取得装置の構成の一例の概略を示す。図12に示す画像取得装置100aは、照明システム30を有する。図12に例示する構成において、照明システム30は、照明光を生成する光源31、モジュール10が着脱自在に装填されるように構成されたステージ32、および、ステージ32の姿勢を変更可能に構成されたステージ駆動機構33を含んでいる。図12は、ステージ32にモジュール10が装填された状態を模式的に示している。ただし、モジュール10における封入剤6および透明プレート8の図示は省略している。モジュール10は、画像取得装置100aに必須の構成要素ではない。
モジュール10は、ステージ32に接続された状態において、被写体2を透過した照明光が撮像素子7に入射するような配置を有する。照明システム30は、例えばステージ32の姿勢を変化させることにより、被写体2を基準とする照射方向を変化させる。本明細書における「姿勢」の変化は、基準面に対する傾斜の変化、基準方位に対する回転角度の変化、および、基準点に対する位置の変化などを広く含む。被写体2を基準とする複数の異なる照射方向から、順次、光源31によって生成された照明光で被写体2を照射する。照明システム30の構成の詳細および動作の例は後述する。照射方向を変えて被写体2を照射することにより、複数の異なる照射方向に応じて異なる複数の画像(サブ画像)が撮像素子7によって取得される。得られた複数の画像を用いて、高分解能画像の形成が可能である。
図12に示す画像取得装置100aは、照射方向決定部40aを有する。この照射方向決定部40aは、撮像素子7による複数のサブ画像の取得時における複数の異なる照射方向を決定する。本開示の実施形態では、サブ画像の取得は、照射方向決定部によって決定された複数の異なる照射方向のもとで実行される。言い換えれば、本開示の実施形態におけるサブ画像は、照射方向決定部によって決定された複数の異なる照射方向に対応した複数の異なる画像である。後に詳しく説明するように、本開示の実施形態では、複数のサブ画像の取得に先立ち、1以上の第1予備画像の取得と1以上の第2予備画像の取得とを行う。照射方向決定部40aは、第1予備画像と第2予備画像との間の差異に基づいて、複数のサブ画像の取得時における複数の異なる照射方向を決定する。照射方向決定部40aの構成および動作の具体例は、後述する。
次に、図13A〜図14Bを参照して、被写体を基準とする照明光の照射方向を変更する方法の一例を説明する。
図13Aおよび図13Bは、画像取得装置100aの例示的な外観を示す。図13Aに例示する構成において、画像取得装置100aは、光源31およびステージ32を含む本体110と、本体110に開閉可能に連結された蓋部120とを有している。蓋部120を閉じることにより、画像取得装置100aの内部に暗室を形成することができる(図13B参照)。
図示する例では、ステージ32上にモジュール10を保持するためのソケット130が接続されている。ソケット130は、ステージ32に固定されていてもよいし、ステージ32に着脱可能に構成されていてもよい。ここでは、ソケット130がステージ32に着脱可能に構成されている構成を例示する。ソケット130は、例えば、モジュール10が着脱可能に構成された下部基材132と、開口部Apが形成された上部基材134とを含む。図13Aに例示する構成では、ソケット130は、下部基材132と上部基材134との間にモジュール10を挟むことにより、モジュール10を保持する。
下部基材132は、モジュール10の撮像素子7との電気的接続のための電気的接点を
有する電気接続部を有し得る。被写体の画像の取得時、撮像素子7の撮像面が光源31に対向するようにしてモジュール10が下部基材132に載せられる。このとき、電気接続部の電気的接点と撮像素子7の裏面電極5B(図8Aおよび図8B参照)とが接触することにより、モジュール10の撮像素子7と下部基材132の電気接続部とが電気的に接続される。
有する電気接続部を有し得る。被写体の画像の取得時、撮像素子7の撮像面が光源31に対向するようにしてモジュール10が下部基材132に載せられる。このとき、電気接続部の電気的接点と撮像素子7の裏面電極5B(図8Aおよび図8B参照)とが接触することにより、モジュール10の撮像素子7と下部基材132の電気接続部とが電気的に接続される。
図13Cは、画像取得装置100aのステージ32に対するソケット130の装填方法の一例を示す。図13Cに例示する構成において、ソケット130は、底面から突出する電極136を有している。この電極136は、下部基材132の電気接続部の一部であり得る。また、図13Cに示す例では、画像取得装置100aのステージ32は、ジャック36が設けられた取付部34を有している。図13Cに示すように、例えばモジュール10を保持した状態のソケット130は、ジャック36にソケット130の電極136が挿入されるようにしてステージ32に装填される。これにより、ソケット130に保持されたモジュール10中の撮像素子7と、画像取得装置100aとの間の電気的接続が確立される。ステージ32は、モジュール10を保持するソケット130が装填された状態においてイメージセンサ4の出力を受け取る回路を有し得る。本開示の実施形態では、画像取得装置100aは、ソケット130が有する電気接続部を仲立ちとして被写体2の画像を示す情報(画像信号あるいは画像データ)を取得する。
なお、複数のモジュール10を用いて複数の被写体の撮像を行う場合、モジュール10と同数のソケット130を用意し、モジュール10を保持した状態のソケット130を換装することによって撮像の対象を変更してもよい。あるいは、ステージ32に1つのソケット130を取り付けた状態のままモジュール10を換装することにより、撮像の対象を変更してもよい。
図13Cに示すように、ソケット130をステージ32に装填することにより、ソケット130の底面と、取付部34の上面とを密着させ得る。これにより、ステージ32に対するソケット130の配置が固定される。したがって、ステージ32と、ソケット130に保持されたモジュール10との配置をステージ32の姿勢の変化の前後において一定に保つことができる。典型的には、ステージ32にソケット130が装填された状態において、モジュール10の透明プレート8の主面とステージ32とは、ほぼ平行である。
図14Aは、照射方向を変更する方法の一例を示す。図示するように、ソケット130に保持されたモジュール10に、光源31から出射された照明光CLが照射される。照明光CLは、ソケット130に設けられた開口部Apを介して、モジュール10の被写体に入射する。被写体を透過した光が、モジュール10の撮像素子7の撮像面に入射する。
光源31から出射される光は、典型的には、コリメートされた光である。ただし、被写体に入射する光が実質的に平行光であるとみなせる場合には、光源31から出射される光はコリメートされた光でなくてもよい。
光源31は、例えばLEDチップを含む。光源31は、各々が異なる波長帯域にピークを有する複数のLEDチップを含んでいてもよい。例えば、光源31が、青色の光を出射するLEDチップ、赤色の光を出射するLEDチップ、および緑色の光を出射するLEDチップを含んでいてもよい。複数の発光素子を近接(例えば100μm程度)して配置した場合には、これらを点光源とみなし得る。
互いに異なる色の光を出射する複数の発光素子を使用し、例えば、異なる色の光を照射方向ごとにタイムシーケンシャルに照射することにより、それぞれの色についての複数のサブ画像を取得することができる。例えば、青色サブ画像のセット、赤色サブ画像のセッ
ト、および緑色サブ画像のセットを取得してもよい。取得されたサブ画像のセットを用いれば、カラーの高分解能画像を形成することができる。例えば病理診断の場面では、カラーの高分解能画像を利用することにより、病変の有無などに関するより多くの有益な情報を得ることができる。光源31として白色LEDチップを用い、かつ、光路上にカラーフィルタを配置することによって、互いに異なる色の照明光をタイムシーケンシャルに得てもよい。また、イメージセンサ4としてカラー撮像用のイメージセンサを用いてもよい。ただし、イメージセンサ4の光電変換部に入射する光量の低減を抑制する観点からは、カラーフィルタを配置しない構成の方が有利である。
ト、および緑色サブ画像のセットを取得してもよい。取得されたサブ画像のセットを用いれば、カラーの高分解能画像を形成することができる。例えば病理診断の場面では、カラーの高分解能画像を利用することにより、病変の有無などに関するより多くの有益な情報を得ることができる。光源31として白色LEDチップを用い、かつ、光路上にカラーフィルタを配置することによって、互いに異なる色の照明光をタイムシーケンシャルに得てもよい。また、イメージセンサ4としてカラー撮像用のイメージセンサを用いてもよい。ただし、イメージセンサ4の光電変換部に入射する光量の低減を抑制する観点からは、カラーフィルタを配置しない構成の方が有利である。
光源31は、LEDに限定されず、白熱電球、レーザ素子、ファイバーレーザ、放電管などであってもよい。光源31から出射される光は、可視光に限定されず、紫外線、赤外線などであってもよい。光源31が有する発光素子の数および配置も任意に設定可能である。
図12および図14Aに示すように、画像取得装置100aは、ステージ駆動機構33を有する。ステージ駆動機構33は、ゴニオ機構、回転機構などを含み、本体110に対するステージ32の傾斜および/またはステージ32の中心を通る軸に関する回転角を変化させる。ステージ駆動機構33が、ステージ32を基準面(典型的には水平面)内において平行移動させることが可能なスライド機構を含んでいてもよい。
ステージ駆動機構33を動作させることにより、ステージ32の姿勢を変化させることができる。ここでは、モジュール10を保持した状態のソケット130がステージ32に取り付けられているので、ステージ32の姿勢を変化させることにより、モジュール10の姿勢を変化させることができる。例えば、ステージ32が基準面に対して傾斜していない時における照明光の入射方向がイメージセンサの撮像面の法線方向であるとする。ここでは、基準面に対するステージ32の傾斜と基準面に対するモジュール10の傾斜(透明プレート8の傾斜といってもよい。)との間の関係(例えば、平行)が、ステージ32の姿勢の変化の前後において一定に保たれている。そのため、図14Bに示すように、基準面に対してステージ32を角度θだけ傾斜させると、被写体に入射する光線の方向も角度θだけ傾斜する。なお、図14B中、破線Nは、イメージセンサの撮像面の法線を示している。
このように、ステージ32とともにモジュール10の姿勢を変化させることにより、被写体2を基準として複数の異なる照射方向から、順次、照明光を被写体に照射することが可能である。したがって、被写体2を基準とする複数の異なる照射方向に応じた複数の画像をモジュール10の撮像素子7によって取得することができる。被写体2を基準とする照射方向は、例えば、イメージセンサの撮像面の法線Nと被写体2への入射光線とがなす角(図14Bに示す天頂角θ)、および撮像面上に設定した基準方位と入射光線の撮像面への射影とがなす角(方位角)の組によって表すことができる。
なお、光源31を画像取得装置100a内において移動させたり、互いに異なる場所に配置された複数の光源を順次に点灯させたりすることによっても、複数の異なる照射方向から被写体2を照射することが可能である。例えば、光源31と被写体2とを結ぶ方向に沿って光源31を移動させることにより、照射方向を変更してもよい。ステージ32の姿勢の変化と光源31の移動とを組み合わせることによって照射方向を変化させてもよい。
<画像形成方法>
図15は、本開示の実施形態による例示的な画像形成方法の概略を示す。図15に例示する画像形成方法は、概略的には、第1予備画像を取得する工程(S2)と、第2予備画像を取得する工程(S4)と、第1予備画像と第2予備画像との間の差異に基づいて複数
の照射方向を決定する工程(S6)と、複数の照射方向に応じた複数の画像を取得する工程(S8)と、複数の画像を合成することによって高分解能画像を形成する工程(S10)とを含む。
図15は、本開示の実施形態による例示的な画像形成方法の概略を示す。図15に例示する画像形成方法は、概略的には、第1予備画像を取得する工程(S2)と、第2予備画像を取得する工程(S4)と、第1予備画像と第2予備画像との間の差異に基づいて複数
の照射方向を決定する工程(S6)と、複数の照射方向に応じた複数の画像を取得する工程(S8)と、複数の画像を合成することによって高分解能画像を形成する工程(S10)とを含む。
第1予備画像および第2予備画像は、それぞれ、被写体と撮像素子とが一体化されたモジュール(例えば図8Aおよび図8Bを参照して説明したモジュール10)を照明光で第1照射方向および第2照射方向から照射することによって取得される、被写体の画像である。後に具体例を参照して詳しく説明するように、第1予備画像の取得は、第1照射方向を変えて複数回実行され得る。また、第2予備画像の取得も、第2照射方向を変えて複数回実行され得る。第1照射方向は、単一の方向に限定されず、複数の方向を含み得る。したがって、第1予備画像の数は、1つに限定されない。同様に、第2照射方向は、単一の方向に限定されず、複数の方向を含み得る。第2予備画像の数も、1つに限定されない。第1予備画像の取得および第2予備画像の取得の順序は、図15に例示した順序に限定されない。
第1予備画像および第2予備画像を取得した後、これらの間の差異に基づいて、高分解能画像を形成するためのサブ画像の取得時における複数の照射方向を決定する。本明細書における、第1予備画像および第2予備画像の間の「差異」は、ある1つの第1予備画像と、ある1つの第2予備画像とから構成される画像セットにおいて、その画像セットに含まれる第1予備画像と第2予備画像とから計算される、2つの画像間の類似性を示す値を広く含む。
ある画像セットを構成する第1予備画像および第2予備画像のそれぞれについて、複数の画素を含む画像ブロックに着目する。第1予備画像および第2予備画像の間の「差異」として、これらの間における画素の輝度の差の絶対値の和(Sum of Absolute Difference)または画素の輝度の差の2乗和(Sum of Squared Difference)を用いてもよい。ある
いは、テンプレートマッチングに用いられるNormalized Cross-Correlation、Zero-means
Normalized Cross-Correlationなども第1予備画像および第2予備画像の間の「差異」
として利用可能である。
いは、テンプレートマッチングに用いられるNormalized Cross-Correlation、Zero-means
Normalized Cross-Correlationなども第1予備画像および第2予備画像の間の「差異」
として利用可能である。
後に詳しく説明するように、第1予備画像と第2予備画像との間の差異に基づいて決定される複数の照射方向は、撮像素子に対する被写体の高さに応じた照射方向であり得る。本明細書において、撮像素子に対する被写体の高さは、被写体の厚さ方向における中心部から撮像面までの距離を意味する。本開示の実施形態では、第1予備画像と第2予備画像との間の差異に基づいて撮像素子に対する被写体の高さのおおよその目安が決定できれば十分である。被写体の厚さ方向における中心部から撮像面までの厳密な距離を求める必要はないし、撮像素子の撮像面に平行な面内における被写体のあらゆる部分について、撮像素子に対する被写体の高さを決定する必要もない。なお、被写体の画像の取得時における撮像素子の配置は、撮像面が水平であるような配置に限定されない。したがって、本明細書における「高さ」は、撮像素子の撮像面の法線方向に沿って測った長さを意味し、鉛直方向に沿って測った長さに限定されない。
複数の照射方向の決定後、複数のサブ画像を取得する。詳細には、第1予備画像と第2予備画像との間の差異に基づいて決定された複数の照射方向から、順次、照明光を照射することにより、それらの複数の照射方向に応じた複数の画像(サブ画像)を取得する。
複数の照射方向に応じた複数の画像を取得した後、複数の画像を合成することにより、複数の画像の各々よりも分解能の高い被写体の高分解能画像を形成する。高分解能画像の形成には、図1A〜図6を参照して説明した原理を適用することができる。本開示の実施形態によれば、高分解能画像の形成に使用できるサブ画像を確実に取得し得る。なお、上
述の各工程は、連続して実行される必要はない。
述の各工程は、連続して実行される必要はない。
<複数の照射方向の決定に用いられる原理>
次に、図16A〜図17Bを参照して、本開示の実施形態における複数の照射方向の決定に用いられる原理を説明する。図15を参照して説明したように、本開示の実施形態では、複数のサブ画像の取得に先立ち、予備的な撮像を実行する。この予備的な撮像において、1以上の第1予備画像および1以上の第2予備画像を取得する。第1予備画像は、第1照射方向からの照明光で照射されているときに撮像素子によって取得される画像である。第2予備画像は、第2照射方向からの照明光で照射されているときに撮像素子によって取得される画像である。以下に詳しく説明するように、本開示の実施形態における予備的な撮像では、被写体2における同一の領域を透過した光が、互いに異なるフォトダイオードに入射するような第1照射方向および第2照射方向の探索が実行される。以下では、簡単のため、図のx方向について2倍の高分解能化を実現する場合を例示する。以下に説明する原理は、イメージセンサの撮像面に平行な面内においてN倍の高分解能化を実現する場合にも同様に適用可能である。
次に、図16A〜図17Bを参照して、本開示の実施形態における複数の照射方向の決定に用いられる原理を説明する。図15を参照して説明したように、本開示の実施形態では、複数のサブ画像の取得に先立ち、予備的な撮像を実行する。この予備的な撮像において、1以上の第1予備画像および1以上の第2予備画像を取得する。第1予備画像は、第1照射方向からの照明光で照射されているときに撮像素子によって取得される画像である。第2予備画像は、第2照射方向からの照明光で照射されているときに撮像素子によって取得される画像である。以下に詳しく説明するように、本開示の実施形態における予備的な撮像では、被写体2における同一の領域を透過した光が、互いに異なるフォトダイオードに入射するような第1照射方向および第2照射方向の探索が実行される。以下では、簡単のため、図のx方向について2倍の高分解能化を実現する場合を例示する。以下に説明する原理は、イメージセンサの撮像面に平行な面内においてN倍の高分解能化を実現する場合にも同様に適用可能である。
図16Aは、照明光の照射方向と、被写体2のうち、照明光が透過する領域との関係の一例を模式的に示す。図16Aでは、実線の矢印DR1で示す第1照射方向と、実線の矢印DR2で示す第2照射方向との2つの照射方向をあわせて図示している。なお、これは説明の便宜のためにすぎず、第1照射方向からの照射および第2照射方向からの照射が同時に実行されるわけではない。他の図面においても複数の照射方向を1つの図に示すことがある。
図16Aに示す例では、フォトダイオード4paの直上に、被写体2の領域A1が位置しており、フォトダイオード4paに隣接するフォトダイオード4pbの直上に、被写体2の領域A2が位置している。ここでは、被写体2のうち、領域A1と領域A2との間にある領域B1に着目する。
図示する例では、第1照射方向DR1から照射したとき、フォトダイオード4paには、被写体2の領域B1を透過した光が入射する。すなわち、第1照射方向DR1からの照射のもとで取得される第1予備画像に含まれる複数の画素の輝度(画素値)のうち、フォトダイオード4paに対応する画素の輝度は、被写体2の領域B1を透過した光の量を示す。一方、図示する例では、第2照射方向DR2から照射したときには、領域A1の一部分を透過した光と領域B1の一部分を透過した光とが、フォトダイオード4paに隣接するフォトダイオード4pbに入射する。したがって、このとき、第2照射方向DR2からの照射のもとで取得される第2予備画像に含まれる複数の画素の輝度のうち、フォトダイオード4pbに対応する画素の輝度は、フォトダイオード4paに対応する画素の輝度とは異なっている。
次に、第2照射方向を変化させ、再度第2予備画像の取得を行ったとする(図16B参照)。この例では、図16Bに示す照射角度θ22は、図16Aに示す照射角度θ21よりも小さい。図16Bに示す第2照射方向DR2のもとで照射を行ったときには、被写体2の領域B1を透過した光がフォトダイオード4pbに入射する。すなわち、このときに得られた第2予備画像に含まれる複数の画素の輝度のうち、フォトダイオード4pbに対応する画素の輝度は、第1予備画像に含まれる複数の画素の輝度のうち、フォトダイオード4paに対応する画素の輝度とほぼ同じである。つまり、第1照射方向からの照射のもとで被写体2のある領域を透過した光が、あるフォトダイオード(ここではフォトダイオード4pa)に入射し、かつ、第2照射方向からの照射のもとで被写体2のその領域を透過した光が、そのフォトダイオードに隣接するフォトダイオード(ここではフォトダイオード4pb)に入射するとき、これらのフォトダイオードによって得られる画素値の間の
差は極小になるといえる。
差は極小になるといえる。
図16Cおよび図16Dは、それぞれ、図16Bに示す第1照射方向DR1からの照射のもとで取得される第1予備画像PS1および図16Bに示す第2照射方向DR2からの照射のもとで取得される第2予備画像PS2を模式的に示す。図16Cにおける画素Ppaおよび図16Dにおける画素Ppbは、それぞれ、フォトダイオード4paおよびフォトダイオード4pbに対応する画素を示す。
この例では、フォトダイオード4paに対応する画素Ppaの輝度と、フォトダイオード4pbに対応する画素Ppbの輝度とは、ほぼ同じである。ただし、領域B1の情報を有する画素Ppaおよび画素Ppbの位置は、第1予備画像PS1と第2予備画像PS2との間で1画素分だけずれている。図16Cおよび図16Dからわかるように、この例では、第1予備画像PS1の輝度分布と、第2予備画像PS2を図の左右方向に沿って1画素分シフトさせた画像の輝度分布とは、ほぼ一致する。本明細書において、「輝度分布」は、各画素の明るさを示す画素値の空間的な配置を意味する。
図16Eは、図16Aに示す第2照射方向DR2からの照射のもとで取得される第2予備画像PS22を模式的に示す。図16Eにおける画素Ppbは、フォトダイオード4pbに対応する画素を示す。図16Eと図16Cとの比較からわかるように、第1照射方向からの照射のもとでフォトダイオード4paに入射する光と、第2照射方向からの照射のもとでフォトダイオード4pbに入射する光との両方が、被写体2の領域B1を透過した光でない場合には、フォトダイオード4paに対応する画素Ppaの輝度と、フォトダイオード4pbに対応する画素Ppbの輝度とは、ほぼ同じにはならない。
図17Aを参照する。図17Aは、照明光の照射方向と、被写体2のうち、照明光が透過する領域との関係の他の一例を模式的に示す。図17Aは、図16Aおよび図16Bに示す例よりもイメージセンサ4の撮像面4Aからより遠くに被写体2が位置するモジュールを用いて、図16Bに示す第1照射方向DR1および図16Bに示す第2照射方向DR2から照射を行った場合を示している。
図示する例では、第1照射方向DR1から照射したとき、フォトダイオード4paには、被写体2の領域B1とは異なる領域を透過した光が入射する。また、第2照射方向DR2から照射したとき、フォトダイオード4paに隣接するフォトダイオード4pbには、被写体2のうち第1照射方向DR1からの照明光が通過する領域とも異なり、かつ、被写体2の領域B1とも異なる領域を透過した光が入射している。したがって、この例では、フォトダイオード4paに対応する画素の輝度と、フォトダイオード4pbに対応する画素の輝度とは異なる。このように、隣接する2つのフォトダイオードによって得られる画素値の間の差が極小になるような第1照射方向と第2照射方向との組み合わせは、モジュールごとに異なり得る。
図17Bは、図17Aに示す被写体2の領域B1を透過した光がフォトダイオード4paおよびフォトダイオード4pbにそれぞれ入射するような第1照射方向DR1および第2照射方向DR2を示す。ここでは、図17Bに示す照射角度θ23は、図17Aに示す照射角度θ22よりも小さい。
図示するように、第1照射方向および/または第2照射方向を適切に調整すれば、第1照射方向からの照明光と第2照射方向からの照明光とが、被写体2における同一の領域(ここでは領域B1)に入射するようにできる。また、被写体2における同一の領域を透過した光が、互いに隣接するフォトダイオード(ここではフォトダイオード4paおよびフォトダイオード4pb)にそれぞれ入射するようにできる。このとき、互いに隣接するフ
ォトダイオードによって得られる画素値の間の差は極小となる。このことを言い換えれば、照射方向を変えながら第1予備画像および第2予備画像の撮像を行い、互いに隣接するフォトダイオードによって得られる画素値の間の差が極小となるような第1照射方向と第2照射方向との組み合わせを求めることにより、被写体2において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。
ォトダイオードによって得られる画素値の間の差は極小となる。このことを言い換えれば、照射方向を変えながら第1予備画像および第2予備画像の撮像を行い、互いに隣接するフォトダイオードによって得られる画素値の間の差が極小となるような第1照射方向と第2照射方向との組み合わせを求めることにより、被写体2において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。
このように、第1予備画像および第2予備画像を比較することにより、被写体2において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。被写体2において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置がわかれば、複数のサブ画像の取得に適した複数の照射方向を例えば幾何学的に算出することが可能である。
このように、本開示の実施形態によれば、複数のサブ画像の取得の前に、複数のサブ画像の取得に適した複数の照射方向を決定することが可能である。また、上述の手法をモジュールごとに適用すれば、複数のモジュールの間において撮像素子に対する被写体の高さにばらつきが存在する場合であっても、複数のサブ画像の取得に適した複数の照射方向をモジュールごとに算出することができる。これにより、高分解能画像のより確実な形成を実現し得る。
また、図16Bと図17Bとの比較からわかるように、互いに隣接するフォトダイオードによって得られる画素値の間の差が極小となるような第1照射方向と第2照射方向との組み合わせは、撮像素子に対する被写体の高さに応じて異なり得る。このことを利用すれば、互いに隣接するフォトダイオードによって得られる画素値の間の差が極小となるような第1照射方向と第2照射方向との組み合わせを見つけることにより、撮像面と被写体との間隔を示す位置情報または撮像素子に対する被写体の高さを示す位置情報を得ることもできる。このような位置情報を利用して、モジュールごとに、被写体の高さに応じた適切な照射方向を決定してもよい。なお、複数のサブ画像の取得のための複数の照射方向の決定において、図16Bに示す照射角度θ22を求めることが出来ればよく、撮像素子に対する被写体の高さを示す位置の算出は必須ではない。
<画像形成システム>
以下、図面を参照しながら、本開示の実施形態による画像形成システム、および、画像取得装置の構成の具体例を説明する。
以下、図面を参照しながら、本開示の実施形態による画像形成システム、および、画像取得装置の構成の具体例を説明する。
図18は、本開示の実施形態による画像形成システムの一例を示す。図18に示す画像形成システム500は、画像取得装置100aと、画像処理装置150とを有する。図18では、照明システム30の図示は省略されている。
画像処理装置150は、汎用または専用のコンピュータ(あるいは汎用または専用のプロセッサ)によって実現され得る。画像処理装置150は、画像取得装置100aと一体であってもよいし、画像取得装置100aとは異なる別個の装置であってもよい。画像処理装置150は、画像取得装置100aと同じ場所に配置されている必要はない。例えば、画像取得装置100aとは異なる場所に画像処理装置150を配置し、インターネットなどのネットワークを介してこれらを接続してもよい。
図18に例示する構成において、画像処理装置150は、サブ画像取得部152および高分解能画像形成部154を有している。図18に示す画像形成システム500では、画像取得装置100aによって取得されたサブ画像のデータが画像処理装置150に送られる。画像処理装置150のサブ画像取得部152は、サブ画像のデータを取得する。画像
処理装置150の高分解能画像形成部154は、図1A〜図6を参照して説明した原理を用いて複数のサブ画像を合成し、サブ画像の各々よりも分解能の高い、被写体の高分解能画像を形成する。
処理装置150の高分解能画像形成部154は、図1A〜図6を参照して説明した原理を用いて複数のサブ画像を合成し、サブ画像の各々よりも分解能の高い、被写体の高分解能画像を形成する。
画像処理装置150は、画像取得装置100aの各部の動作を制御するための各種のコマンドを供給する制御装置としての機能を有し得る。ここでは、画像処理装置150が、画像取得装置100aの各部の動作を制御するための各種のコマンドを供給する制御装置156を備える構成を例示して説明する。もちろん、画像処理装置150と制御装置156とが別個の装置であるような構成を有するシステムも可能である。例えば、インターネットなどのネットワークを介して制御装置156と画像処理装置150とを接続してもよい。制御装置156とは別の場所に設置された画像処理装置150が、画像取得装置150aによって取得されたサブ画像のデータを受け取り、高分解能画像の形成を実行するような構成であってもよい。
<照射方向決定部の構成および動作の具体例1>
図18に例示する構成において、画像取得装置100aは、照射方向決定部40aと、メモリ50とを有する。照射方向決定部40aの全体または一部は、デジタルシグナルプロセッサ(digital signal processor(DSP))、ASIC(application specific integrated circuit)、ASSP(Application Specific Standard Produce)、FPGA(Field Programmable Gate Array)、マイクロコンピュータなどによって構成され得る。図示する例では、照射方向決定部40aは、第1予備画像取得部102、第2予備画像取得部104、比較対象画素値算出部106a、差異算出部108、判定部110、および照射方向算出部112を含んでいる。これらは、それぞれが別個のプロセッサであってもよいし、これらの2以上が1つのプロセッサに含まれていてもよい。
図18に例示する構成において、画像取得装置100aは、照射方向決定部40aと、メモリ50とを有する。照射方向決定部40aの全体または一部は、デジタルシグナルプロセッサ(digital signal processor(DSP))、ASIC(application specific integrated circuit)、ASSP(Application Specific Standard Produce)、FPGA(Field Programmable Gate Array)、マイクロコンピュータなどによって構成され得る。図示する例では、照射方向決定部40aは、第1予備画像取得部102、第2予備画像取得部104、比較対象画素値算出部106a、差異算出部108、判定部110、および照射方向算出部112を含んでいる。これらは、それぞれが別個のプロセッサであってもよいし、これらの2以上が1つのプロセッサに含まれていてもよい。
メモリ50の例は、RAMである。メモリ50は、RAMに限定されず、公知の記憶装置を用いることができる。照射方向決定部40aがその一部にメモリ50を有する構成であってもよい。メモリ50には、例えば、第1照射方向DR1および第2照射方向DR2(例えば図16A参照)を示す情報が格納される。下記の表1は、第1照射方向DR1を示す情報および第2照射方向DR2を示す情報の一例を示す。
ここでは、第1照射方向DR1を示す第1照射角度の値および第2照射方向DR2を示す第2照射角度の値がメモリ50に格納されている。表1に示す第1照射角度の値および第2照射角度の値は、例えば、図14Bに示す角度θの大きさに対応する。表1中、第1列に示すIDは、第1照射角度および第2照射角度の組を識別するためのインデックスである。第1照射角度および第2照射角度の組の数、第1照射角度の値および第2照射角度
の値などは任意に設定が可能である。表1に示すリストでは、第1照射角度の値および第2照射角度の値は、それぞれ、5°ステップで設定されている。また、表1に示すリストでは、同一のIDにおける第2照射角度の値は、第1照射角度の値に−1を乗じた値である。
の値などは任意に設定が可能である。表1に示すリストでは、第1照射角度の値および第2照射角度の値は、それぞれ、5°ステップで設定されている。また、表1に示すリストでは、同一のIDにおける第2照射角度の値は、第1照射角度の値に−1を乗じた値である。
図19は、画像形成システム500における動作の一例を示す。図19に示す例では、まず、ステップS12において、メモリ50に格納されている第1および第2照射角度のリストに、まだ選択されていないIDに対応する第1照射角度の値および第2照射角度の値があるか否かが判定される。ここでは、第1および第2照射角度の値の取得はまだ行われていないので、処理はステップS14に進められる。まだ選択されていないIDに対応する第1照射角度の値および第2照射角度の値があるか否かの判定は、例えば、第1予備画像取得部102または第2予備画像取得部104によって実行され得る。
次に、ステップS14において、第1予備画像取得部102および第2予備画像取得部104により、第1照射方向DR1を示す情報および第2照射方向DR2を示す情報が、それぞれ、メモリ50から読み出される。ここでは、第1照射角度の値として−5°が読み出され、第2照射角度の値として5°が読み出される。表1からわかるように、この例では、第1照射方向DR1および第2照射方向DR2は、被写体を基準として対称な関係にある。
次に、ステップS16において、第1予備画像取得部102による制御に基づき、第1予備画像が取得される。第1予備画像の取得は、被写体を基準とする照射方向が−5°である状態で実行される。ここでは、照明システム30(例えば図14A参照)のステージ駆動機構33により、ステージ32の傾斜が変更された後、被写体が照明光で照射される。このときに取得された第1予備画像を示す情報は、メモリ50に一時的に格納される。
次に、ステップS18において、第2予備画像取得部104による制御に基づき、第2予備画像が取得される。このとき、被写体を基準とする照射方向が5°となるようにステージ32の傾斜が変更される。その後、被写体の撮像が実行される。取得された第2予備画像を示す情報は、メモリ50に一時的に格納される。
次に、ステップS20において、比較対象画素値取得部106aにより、比較対象画素値が取得される。ここでは、被写体2のうち、互いに隣接する2つのフォトダイオードの直上に位置する2つの領域の間にある領域を透過した光がこれらのフォトダイオードに入射するような第1照射方向および第2照射方向の探索を行う。そのため、第1予備画像における画素の輝度と第2予備画像における画素の輝度との比較を行う場合、これらの予備画像内において同じ位置にある画素同士の輝度を比較するのではなく、ある位置にある画素の輝度と、その位置から1画素分ずれた画素の輝度とを比較する(図16Cおよび図16D参照)。ここでは、フォトダイオード4paに対応する画素Ppaの輝度と、フォトダイオード4pbに対応する画素Ppbの輝度とを比較する例を説明する。つまり、ここでは、比較対象画素値取得部106aは、フォトダイオード4paに隣接しているフォトダイオード4pbに対応する画素Ppbの輝度を取得する。
次に、ステップS22において、差異算出部108により、第1予備画像と第2予備画像との間の差異が算出される。例えば、第1予備画像と第2予備画像との間の差異として、第1予備画像における画素の輝度と、第2予備画像における画素の輝度との差の絶対値が算出される。ここでは、簡単のため、フォトダイオード4paに対応する画素Ppaの輝度と、比較対象画素値取得部106aによって取得された、フォトダイオード4pbに対応する画素Ppbの輝度との差の絶対値を算出する例を説明する。もちろん、第1予備画像および第2予備画像のそれぞれから2以上の画素を選択し、画素の輝度の比較を行っ
てもよい。例えば、第1予備画像における1つの画素と、その画素に対応する、第2予備画像における1つの画素とから構成される複数の画素の組のそれぞれについて画素間の輝度の差の絶対値を算出し、それらの平均値を第1予備画像と第2予備画像との間の差異として用いてもよい。
てもよい。例えば、第1予備画像における1つの画素と、その画素に対応する、第2予備画像における1つの画素とから構成される複数の画素の組のそれぞれについて画素間の輝度の差の絶対値を算出し、それらの平均値を第1予備画像と第2予備画像との間の差異として用いてもよい。
次に、ステップS24において、ステップS22において算出された差異が所定レベル以上であるか否かが判定部110によって判定される。第1予備画像と第2予備画像との間の差異が、予め設定しておいた所定レベルよりも小さい場合、第1照射方向からの照射のもとで被写体2の領域B1を透過した光が、フォトダイオード4paに入射し、かつ、第2照射方向からの照射のもとで被写体2の領域B1を透過した光が、フォトダイオード4pbに入射すると判断できる。第1予備画像と第2予備画像との間の差異が所定レベルよりも小さくなるような第1照射方向と第2照射方向との組み合わせがわかれば、被写体2において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置を知ることができる。
判定のためのレベルは、適宜設定可能である。例えば、撮像素子に対する被写体の高さが分かっているモジュールを用いて判定のためのレベルを決定してもよい。撮像素子に対する被写体の高さが分かっているモジュールを用いれば、第1照射方向からの照射のもとで被写体2の領域B1を透過した光、および、第2照射方向からの照射のもとで被写体2の領域B1を透過した光が、互いに隣接するフォトダイオードの各々に入射するときにおける、第1予備画像と第2予備画像との間の差異の大きさを求めることが可能である。この差異の大きさを判定のためのレベルとして利用してもよい。
第1予備画像と第2予備画像との間の差異が所定レベルよりも小さいと判定された場合には、処理がステップS26に進められる。一方、第1予備画像と第2予備画像との間の差異が所定レベル以上であると判定された場合には、処理はステップS12に戻される。
処理がステップS12に戻されると、メモリ50に格納されている第1および第2照射角度のリストに、まだ選択されていないIDに対応する第1照射角度の値および第2照射角度の値があるか否かの判定が再び実行される。ここでは、表1に示すIDが2〜7である第1および第2照射角度の値の取得はまだ行われていないので、処理はステップS14に進められる。その後、ステップS14において、第1照射方向DR1を示す情報および第2照射方向DR2を示す情報が、それぞれ、メモリ50から読み出される。この例では、IDが2である第1照射角度の値および第2照射角度の値が読み出される。第1および第2照射角度の値の取得後、上述のステップS16〜ステップS24が再度実行される。ステップS16では、被写体を基準とする照射方向が照明システム30によって−10°に変更された状態で第1予備画像の取得が実行される。また、ステップS18では、被写体を基準とする照射方向が照明システム30によって10°に変更された状態で第2予備画像の取得が実行される。ステップS24において、新たに取得された第1予備画像と第2予備画像との間の差異が所定レベル以上と判定されると、処理がステップS12に戻され、ステップS12〜S24の処理が繰り返される。リストに含まれる第1および第2照射角度のうち、まだ選択されていないIDに対応する第1および第2照射角度が存在しない場合には、これ以上の第1および第2照射角度の値の取得は行われず、処理が終了する。この場合は、サブ画像の取得に適した複数の照射方向を決定できないので、例えば、画像取得装置100aの使用者に対して、エラーの通知、リストの更新を促す情報の表示などが実行される。
ステップS26では、第1予備画像と第2予備画像との間の差異が所定レベルよりも小さくなるような第1照射方向および第2照射方向に基づいて、照射方向算出部112により、サブ画像の取得に用いる複数の照射方向が算出される。算出された複数の照射方向を
示す情報は、メモリ50に保存され、後述するサブ画像取得のステップにおいて使用される。複数の照射方向は、撮像素子に対する被写体の高さを示す位置情報、フォトダイオードの配列ピッチなどを用いて算出され得る。これにより、複数の照射方向が決定される。複数の照射方向が決定された状態とは、例えば複数の照射方向を示す情報(例えば複数の照射角度の値)がメモリなどに保持されることにより、複数の照射方向を指定可能な状態を意味する。なお、サブ画像の取得に用いる複数の照射方向は、第1予備画像の取得に用いられる第1照射方向および第2予備画像の取得に用いられる第2照射方向から選択される照射方向に限定されず、これらとは異なる方向であり得る。
示す情報は、メモリ50に保存され、後述するサブ画像取得のステップにおいて使用される。複数の照射方向は、撮像素子に対する被写体の高さを示す位置情報、フォトダイオードの配列ピッチなどを用いて算出され得る。これにより、複数の照射方向が決定される。複数の照射方向が決定された状態とは、例えば複数の照射方向を示す情報(例えば複数の照射角度の値)がメモリなどに保持されることにより、複数の照射方向を指定可能な状態を意味する。なお、サブ画像の取得に用いる複数の照射方向は、第1予備画像の取得に用いられる第1照射方向および第2予備画像の取得に用いられる第2照射方向から選択される照射方向に限定されず、これらとは異なる方向であり得る。
次に、ステップS28において、照射方向算出部112によって算出された複数の照射方向に応じた複数のサブ画像が取得される(図2A〜図5B参照)。次に、ステップS3
0において、取得された複数のサブ画像を用いて、被写体の高分解能画像の形成が実行される(図6参照)。
0において、取得された複数のサブ画像を用いて、被写体の高分解能画像の形成が実行される(図6参照)。
図19に示す例では、撮像素子により、第1照射方向および第2照射方向の変化に応じて1以上の第1予備画像および1以上の第2予備画像が取得される。これにより、各々が第1予備画像および第2予備画像を有する1以上の異なる画像セットを構成することが可能である。照射方向決定部40aは、これらの画像セットのうちから、第1予備画像と第2予備画像との間にある差異が所定レベルよりも小さな画像セットを決定する。また、照射方向決定部40aは、当該画像セットに対応する第1照射方向および第2照射方向に基づいて、複数の異なる照射方向を決定する。
本開示の実施形態によれば、個々のモジュールに応じて、サブ画像の取得に適した複数の照射方向を決定することができる。個々のモジュールに応じた適切な照射方向のもとでサブ画像を取得することにより、適切な高分解能画像の形成を実現し得る。したがって、本開示の実施形態によれば、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性が向上する。
なお、図19に示す例では、第1予備画像と第2予備画像との間の差異が所定レベルよりも小さくなるような第1照射方向および第2照射方向が見つかると、第1照射方向および第2照射方向の探索が打ち切られる。しかしながら、第1予備画像と第2予備画像との間の差異が所定レベルよりも小さくなるような複数の第1照射方向および第2照射方向の組を決定し、複数の第1および第2照射方向を利用して複数の異なる照射方向を決定してもよい。
<照射方向決定部の構成および動作の具体例2>
図20は、本開示の実施形態による画像形成システムの他の一例を示す。図20に示す画像取得装置100bが有する照射方向決定部40bと、照射方向決定部40a(図18参照)との相違点は、照射方向決定部40bが、比較対象画素値算出部106aに代えて輝度正規化部105bおよび比較対象画像生成部106bを有している点である。
図20は、本開示の実施形態による画像形成システムの他の一例を示す。図20に示す画像取得装置100bが有する照射方向決定部40bと、照射方向決定部40a(図18参照)との相違点は、照射方向決定部40bが、比較対象画素値算出部106aに代えて輝度正規化部105bおよび比較対象画像生成部106bを有している点である。
図21は、画像形成システム500における動作の他の一例を示す。以下に説明する例では、第1予備画像の輝度分布と、第2予備画像の輝度分布との間の比較を行う。言い換えれば、第1予備画像を構成する複数の画素の輝度と、第2予備画像を構成する複数の画素の輝度とを比較することにより、サブ画像の取得に用いる複数の異なる照射方向を決定する。
以下に説明する例では、第1予備画像の取得の回数は、1回である。一方、第2予備画像の取得は、第2照射方向を変えて複数回実行される。したがって、ここでは、メモリ50に、第2照射方向DR2を示す情報が格納されている。下記の表2は、第2照射方向D
R2を示す情報の一例を示す。
R2を示す情報の一例を示す。
まず、ステップS16において、第1予備画像が取得される。ここでは、第1予備画像の取得は、被写体を基準とする照射方向が0°である状態で実行される。このときに取得された第1予備画像を示す情報は、メモリ50に一時的に格納される。
次に、ステップS32において、メモリ50に格納されている第2照射角度のリストに、まだ選択されていないIDに対応する第2照射角度の値があるか否かが判定される。ここでは、第2照射角度の値の取得はまだ行われていないので、処理はステップS34に進められる。
次に、ステップS34において、第2予備画像取得部104により、第2照射方向DR2を示す情報がメモリ50から読み出される。ここでは、第2照射角度の値として5°が読み出される。
次に、ステップS18において、第2予備画像が取得される。このとき、被写体を基準とする照射方向が5°である状態で第2予備画像の取得が実行される。取得された第2予備画像を示す情報は、メモリ50に一時的に格納される。
次に、ステップS36において、輝度正規化部105bにより、取得された第2予備画像に対して輝度正規化が施される。本明細書において、「輝度正規化」は、輝度正規化の対象の画像に含まれる複数の画素の輝度の和が、基準となる画像に含まれる複数の画素の輝度の和と等しくなるように、各画素の輝度を定数倍する処理を意味する。
ここで説明する例では、第1照射方向DR1が撮像素子の撮像面の法線方向に平行であることに対して、表2からわかるように、第2照射方向DR2は、撮像素子の撮像面の法線方向に対して傾いている。すなわち、第1照射方向DR1から照射したときよりも第2照射方向DR2から照射したときの方が、被写体を透過した光が撮像面に達するまでに進む距離は大きい。そのため、モジュール内における吸収、散乱などの影響により、第1予備画像と比較して第2予備画像が全体として暗くなることがある。第1予備画像の全体的な輝度の大きさと第2予備画像の全体的な輝度の大きさの間の差が大きいと、第1予備画像と第2予備画像との間の差異の大きさを正しく評価できないおそれがある。
図21に示す例では、第2予備画像に対して輝度正規化を行う。これにより、第2予備画像における各画素の輝度が適切な大きさに補正され得る。したがって、第1予備画像と第2予備画像との間の差異の大きさのより正確な評価が可能になる。
次に、ステップS38において、比較対象画像生成部106bにより、第2予備画像を所定の画素数だけシフトさせた画像(以下、単に「シフト画像」と呼ぶことがある。)が生成される。この例では、輝度正規化後の第2予備画像を1画素分シフトさせた画像を生成する。
図22を参照する。図22は、具体例2における第1照射方向DR1と第2照射方向DR2の一例を模式的に示す。図22に示す例では、第1照射方向DR1から照射したとき、被写体2のうち、フォトダイオード4paの直上にある領域A1を透過した光が、フォトダイオード4paに入射している。また、第2照射方向DR2から照射したとき、被写体2のうち、領域A1を透過した光が、フォトダイオード4paに隣接するフォトダイオード4pbに入射している。したがって、図22に示すような第1照射方向DR1および第2照射方向DR2からの照射のもとでは、図16Cに示す第1予備画像PS1と同様の第1予備画像と、図16Dに示す第2予備画像PS2と同様の第2予備画像とが得られる。これに対し、被写体2のうち、領域A1以外の領域を透過した光が、フォトダイオード4pbに入射するような第2照射方向DR2のもとでは、図16Eに示す第2予備画像PS22と同様の第2予備画像が得られる。
図23Aは、図22に示す第2照射方向DR2からの照射のもとで取得される第2予備画像から生成されるシフト画像PS32を模式的に示す。図23Bは、図22に示す第2照射方向DR2とは異なる照射方向からの照射のもとで取得される第2予備画像から生成されるシフト画像PS42を模式的に示す。図23Aと図16Cとの比較からわかるように、第1照射方向からの照射のもとで被写体2のある領域を透過した光が、あるフォトダイオードに入射し、かつ、第2照射方向からの照射のもとで被写体2のその領域を透過した光が、そのフォトダイオードに隣接するフォトダイオードに入射するとき、第1予備画像の輝度分布と、第2予備画像から生成されるシフト画像の輝度分布とは、ほぼ一致する。これに対し、図23Bと図16Cとの比較からわかるように、他の第2照射方向のもとで取得された第2予備画像から生成されるシフト画像の輝度分布は、第1予備画像の輝度分布とは異なる。したがって、第1照射方向からの照射のもとで被写体2のある領域を透過した光が、あるフォトダイオードに入射し、かつ、第2照射方向からの照射のもとで被写体2のその領域を透過した光が、そのフォトダイオードに隣接するフォトダイオードに入射するとき、第1予備画像と第2予備画像の間の差異が極小になるといえる。したがって、図16A〜図17Bを参照して説明した例と同様に、第1予備画像と第2予備画像の間の差異が極小になるような第1照射方向と第2照射方向との組み合わせを求めることにより、被写体2において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。
次に、ステップS22(図21)において、第1予備画像と第2予備画像との間の差異が算出される。例えば、第1予備画像における画素の輝度と、第2予備画像から生成されたシフト画像における画素の輝度との差の絶対値を各画素について算出し、これらの絶対値の和を第1予備画像と第2予備画像との間の差異とする。あるいは、第1予備画像における画素の輝度と、第2予備画像から生成されたシフト画像における画素の輝度との差の2乗を各画素について算出してそれらを足し合わせることによって求めた分散を第1予備画像と第2予備画像との間の差異としてもよい。
次に、ステップS24において、ステップS22において算出された差異が所定レベル以上であるか否かが判定される。第1予備画像と第2予備画像との間の差異が所定レベルよりも小さい場合、図22〜図23Bを参照して説明したように、第1照射方向からの照射のもとで被写体2のある領域を透過した光が、あるフォトダイオードに入射し、かつ、第2照射方向からの照射のもとで被写体2のその領域を透過した光が、そのフォトダイオードに隣接するフォトダイオードに入射すると判断できる。したがって、このときの第1
照射方向と第2照射方向との組み合わせから、被写体2において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置を知ることができる。このように、第1予備画像および第2予備画像のいずれか一方を所定の画素数だけシフトさせた画像を生成し、その画像と他方の画像との比較を行うことにより、第1予備画像と第2予備画像とを比較してもよい。
照射方向と第2照射方向との組み合わせから、被写体2において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置を知ることができる。このように、第1予備画像および第2予備画像のいずれか一方を所定の画素数だけシフトさせた画像を生成し、その画像と他方の画像との比較を行うことにより、第1予備画像と第2予備画像とを比較してもよい。
第1予備画像と第2予備画像との間の差異が所定レベルよりも小さいと判定された場合には、処理がステップS26に進められる。以降の処理は、図19を参照して説明した処理と同様であるので、説明を省略する。一方、第1予備画像と第2予備画像との間の差異が所定レベル以上であると判定された場合には、処理はステップS32に戻される。その後、第1予備画像と第2予備画像との間の差異が所定レベルよりも小さくなるような第1照射方向と第2照射方向との組み合わせが見つかるまで、上述のステップS34〜S24が繰り返される。表2に示すリストに含まれる全ての第2照射角度について評価を行っても、第1予備画像と第2予備画像との間の差異が所定レベルよりも小さくなるような第1照射方向と第2照射方向との組み合わせが見つからない場合、処理は終了される。
上記の具体例2では、第1予備画像の取得は1回であり、1つの第1予備画像と、複数の第2照射方向に応じて取得された第2予備画像との間の比較を行う。したがって、第1照射方向および第2照射方向の両方について複数回の撮像を行う場合と比較して、複数の照射方向の決定に要する処理の時間を短縮することが可能である。なお、複数の第2予備画像の取得を行った後に第1予備画像を取得してもよい。
また、上記の具体例2では、第2予備画像の輝度正規化の後に、第1予備画像と第2予備画像との間にある差異を算出している。これにより、第1予備画像と第2予備画像との間の差異の大きさのより正確な評価が可能になる。輝度正規化を施す対象は、第1照射方向および第2照射方向の設定に応じて適宜設定可能である。輝度正規化は、第1予備画像および第2予備画像のいずれか一方または両方に対して実行されてもよい。輝度正規化は、輝度正規化の対象の取得と、複数の異なる照射方向の決定との間において実行されればよい。
<照射方向決定部の構成および動作の具体例3>
図24は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図24に示す画像取得装置100cが有する照射方向決定部40cと、照射方向決定部40b(図20参照)との相違点は、照射方向決定部40cが、輝度正規化部105bを有しておらず、比較対象画像生成部106cに接続されたシフト量保持部107cを有している点である。シフト量保持部107cは、公知のメモリ素子によって実現され得る。シフト量保持部107cは、メモリ50の一部であってもよい。
図24は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図24に示す画像取得装置100cが有する照射方向決定部40cと、照射方向決定部40b(図20参照)との相違点は、照射方向決定部40cが、輝度正規化部105bを有しておらず、比較対象画像生成部106cに接続されたシフト量保持部107cを有している点である。シフト量保持部107cは、公知のメモリ素子によって実現され得る。シフト量保持部107cは、メモリ50の一部であってもよい。
以下に説明する、照射方向決定部の動作の例では、第1予備画像の取得および第2予備画像の取得は、1回ずつ行われる。下記の表3は、メモリ50に格納される、第1照射方向DR1を示す情報および第2照射方向DR2を示す情報の一例を示す。この例では、第1照射方向DR1および第2照射方向DR2は、被写体を基準として対称な関係にある。
上述の具体例2では、第1予備画像および第2予備画像のいずれか一方を1画素分だけ
シフトさせたシフト画像を生成し、そのシフト画像と他方の画像との比較を行うことにより、第1予備画像と第2予備画像とを比較している。しかしながら、シフト画像生成において、取得された画像を何画素分だけシフトさせるかを示すシフト量は、1に限定されない。以下に説明するように、第1予備画像および第2予備画像のうちのいずれか一方を用いて、シフト量が異なる複数のシフト画像を生成し、これらと他方との間の比較を行ってもよい。
シフトさせたシフト画像を生成し、そのシフト画像と他方の画像との比較を行うことにより、第1予備画像と第2予備画像とを比較している。しかしながら、シフト画像生成において、取得された画像を何画素分だけシフトさせるかを示すシフト量は、1に限定されない。以下に説明するように、第1予備画像および第2予備画像のうちのいずれか一方を用いて、シフト量が異なる複数のシフト画像を生成し、これらと他方との間の比較を行ってもよい。
図25は、具体例3における第1照射方向DR1と第2照射方向DR2の一例を模式的に示す。図25に示す例において、第1照射方向DR1からの照射のもとでは、被写体2のうち、フォトダイオード4paの直上に位置する領域A1を透過した光が、フォトダイオード4paの左側に隣接するフォトダイオード4pcに入射する。また、第2照射方向DR2からの照射のもとでは、被写体2のうち、領域A1を透過した光が、フォトダイオード4paの右側に隣接するフォトダイオード4pbに入射する。したがって、図25に示すような第1照射方向DR1および第2照射方向DR2のもとでは、第1予備画像の輝度分布と、第2予備画像を図の左右方向に沿って2画素分シフトさせた画像の輝度分布とが、ほぼ一致する。すなわち、シフト量を1以外に設定したときに、第1予備画像と第2予備画像との間の差異が極小になることがあり得る。第1照射方向DR1および第2照射方向DR2を固定して、第1予備画像と第2予備画像との間の差異が極小となるようなシフト量を求めることにより、被写体2において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。
図26は、画像形成システム500における動作のさらに他の一例を示す。まず、ステップS14において、第1照射方向DR1を示す情報および第2照射方向DR2を示す情報が、それぞれ、メモリ50から読み出される。ここでは、第1照射角度の値として−30°が読み出され、第2照射角度の値として30°が読み出される。
次に、ステップS16において、第1予備画像が取得される。ここでは、第1予備画像の取得は、被写体を基準とする照射方向が−30°である状態で実行される。このときに取得された第1予備画像を示す情報は、メモリ50に一時的に格納される。
次に、ステップS18において、第2予備画像が取得される。このとき、被写体を基準とする照射方向が30°である状態で第2予備画像の取得が実行される。取得された第2予備画像を示す情報は、メモリ50に一時的に格納される。
次に、ステップS40において、比較対象画像生成部106cにより、シフト量保持部107cからシフト量が読み出される。ここでは、シフト量の初期値が、1に設定される。
次に、ステップS38において、比較対象画像生成部106cにより、第1予備画像または第2予備画像のいずれか一方を1画素分だけシフトさせたシフト画像が生成される。ここでは、第2予備画像からシフト画像を生成する例を説明する。
次に、ステップS22において、第1予備画像およびシフト画像の間の差異が算出される。
次に、ステップS24において、算出された差異が所定レベル以上であるか否かが判定される。第1予備画像およびシフト画像の間の差異が所定レベルよりも小さいと判定された場合には、処理がステップS26に進められる。ステップS26以降の処理は、図19を参照して説明した処理と同様である。
第1予備画像と第2予備画像との間の差異が所定レベル以上であると判定された場合には、処理はステップS42に進められる。ステップS42において、比較対象画像生成部106cによりシフト量が更新(典型的にはインクリメント)される。例えば、シフト量が1だけ増加され、シフト量が2に設定される。
ステップS42の後、処理がステップS38に戻される。ステップS38において、第2予備画像を2画素分だけシフトさせたシフト画像が生成される。その後、ステップS22において、新たに生成されたシフト画像と、第1予備画像との間の差異が算出される。さらに、ステップS24において、算出された差異が所定レベル以上であるか否かが判定される。すなわち、この例では、第1予備画像およびシフト画像の間の差異が極小となるようなシフト量が見つかるまで、シフト量を変えて、第1予備画像およびシフト画像の間の差異の評価が実行される。なお、シフト量の更新の回数は、適宜設定可能である。また、シフト量の初期値は、1に限定されず、例えば0であってもよい。
上記の具体例3では、第1予備画像の取得および第2予備画像の取得はともに1回である。したがって、複数の照射方向の決定に要する処理の時間をより短縮することが可能である。第2予備画像の取得を行った後に第1予備画像を取得してもよい。
<照射方向決定部の構成および動作の具体例4>
図27は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図27に示す画像取得装置100dが有する照射方向決定部40dと、照射方向決定部40b(図20参照)との相違点は、照射方向決定部40dが、判定部110に代えて差異保持部111dを有している点である。差異保持部111dは、公知のメモリ素子によって実現され得る。差異保持部111dは、メモリ50の一部であってもよい。
図27は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図27に示す画像取得装置100dが有する照射方向決定部40dと、照射方向決定部40b(図20参照)との相違点は、照射方向決定部40dが、判定部110に代えて差異保持部111dを有している点である。差異保持部111dは、公知のメモリ素子によって実現され得る。差異保持部111dは、メモリ50の一部であってもよい。
上述の具体例1〜3では、第1予備画像と第2予備画像との間の差異が所定レベルよりも小さいと判定されると、差異の算出はそれ以上実行されない。以下に説明する例では、1以上の第1予備画像の取得および1以上の第2予備画像の取得を行い、各々が第1予備画像および第2予備画像から構成される、予め設定された個数の異なる画像セットを用意する。そして、各画像セットにおける、第1予備画像と第2予備画像との間にある差異を算出し、これらの画像セットの間で、差異の評価を行う。以下に説明する例では、複数の画像セットから、差異が最小である画像セットを決定する。図22〜図23Bを参照して説明した理由と同様の理由から、第1予備画像と第2予備画像との間にある差異がなるべく小さくなるような第1および第2照射方向の組み合わせは、サブ画像の取得に用いる複数の照射方向の算出に適していると考えられる。そこで、以下に説明する例では、差異が最小である画像セットを決定した後、その画像セットに対応する第1照射方向および第2照射方向に基づいて、サブ画像の取得に用いる複数の異なる照射方向を決定する。
図28は、画像形成システム500における動作のさらに他の一例を示す。ここでは、メモリ50に、上述の表2と同様の、第2照射方向DR2を示す情報のリストが格納されている。
まず、ステップS16において、第1予備画像が取得される。第1予備画像の取得時における、被写体を基準とする照射方向は、例えば0°である。このときに取得された第1予備画像を示す情報は、メモリ50に一時的に格納される。
次に、ステップS32において、メモリ50に格納されている第2照射角度のリストに、まだ選択されていない第2照射角度の値があるか否かが判定される。ここでは、第2照射角度の値の取得はまだ行われていないので、処理はステップS34に進められる。
図28に示すステップS34〜ステップS38までの処理は、図21を参照して説明した具体例2における処理と同様であるので説明を省略する。ステップS38の実行後、ステップS22において、第1予備画と第2予備画像との間の差異が算出される。ここで算出された差異は、第1照射角度が0°のもとで取得された第1予備画像と、第2照射角度が5°のもとで取得された第2予備画像とから構成される画像セットに対応する差異である。この例では、差異の算出後、算出された差異を示す情報が差異保持部111dに一時的に格納される。
その後、処理がステップS32に戻され、ステップS34〜ステップS22の処理が繰り返される。すなわち、第1照射角度が0°のもとで取得された第1予備画像と、第2照射角度を変えて取得される第2予備画像とから構成される複数の画像セットの全てについて、第1予備画像と第2予備画像との間の差異が算出される。なお、表2の第1列に示すIDを、各画像セットを識別するためのインデックスとして利用することが可能である。メモリ50に格納されているリストに含まれる全てのIDについて第1予備画像と第2予備画像との間の差異の算出が終了すると、処理がステップS44に進められる。
ステップS44では、照射方向算出部112dによって、差異保持部111dに格納されている差異のデータのうちから最小の差異が決定される。言い換えれば、ステップS44において、照射方向算出部112dは、最小の差異を与える画像セットを決定する。
次に、ステップS26において、照射方向算出部112dにより、最小の差異を与える画像セットに対応する第1照射方向および第2照射方向に基づいて、サブ画像の取得に用いる複数の異なる照射方向が算出される。以降の処理は、図19を参照して説明した処理と同様である。このように、複数の画像セットの中から第1予備画像と第2予備画像との間にある差異が最小である画像セットを抽出し、その画像セットに対応する第1照射方向および第2照射方向に基づいて、サブ画像の取得に用いる複数の異なる照射方向を決定してもよい。
<照射方向決定部の構成および動作の具体例5>
図29は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図29に示す画像取得装置100eが有する照射方向決定部40eと、照射方向決定部40b(図20参照)との相違点は、照射方向決定部40eが、予備画像保持部101eをさらに有している点である。予備画像保持部101eは、公知のメモリ素子によって実現され得る。予備画像保持部101eは、メモリ50の一部であってもよい。
図29は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図29に示す画像取得装置100eが有する照射方向決定部40eと、照射方向決定部40b(図20参照)との相違点は、照射方向決定部40eが、予備画像保持部101eをさらに有している点である。予備画像保持部101eは、公知のメモリ素子によって実現され得る。予備画像保持部101eは、メモリ50の一部であってもよい。
例えば、上述の具体例2では、第2予備画像の取得が、第1予備画像と第2予備画像との間にある差異の算出ごとに第2照射角度を変えて実行される。言い換えれば、各IDに応じて取得された第2予備画像のそれぞれは、第1予備画像と第2予備画像との間にある差異の算出において1度だけ用いられる。しかしながら、以下に説明するように、互いに異なる照射角度に応じて取得された第1予備画像および/または第2予備画像を、互いに異なるIDの間で2度以上使用してもよい。
図30は、画像形成システム500における動作のさらに他の一例を示す。図30に示す例では、まず、ステップS12において、メモリ50に格納されている第1および第2照射角度のリストに、まだ選択されていないIDに対応する第1照射角度の値および第2照射角度の値があるか否かが判定される。ここでは、第1および第2照射角度の値の取得はまだ行われていないので、処理はステップS14に進められる。下記の表4は、メモリ50に格納される、第1照射方向DR1を示す情報および第2照射方向DR2を示す情報の一例を示す。この例では、一部の照射角度の値が複数のID間において共通している。
また、一部の照射角度の値が第1照射角度と第2照射角度との間において共通している。
また、一部の照射角度の値が第1照射角度と第2照射角度との間において共通している。
次に、ステップS14において、第1照射方向DR1を示す情報および第2照射方向DR2を示す情報が、それぞれ、メモリ50から読み出される。ここでは、第1照射角度の値として0°が読み出され、第2照射角度の値として5°が読み出される。
次に、ステップS46において、照射角度が0°のもとで取得された予備画像(第1予備画像または第2予備画像)のデータが予備画像保持部101eに保存されているか否かが第1予備画像取得部102によって判定される。この時点では、まだ第1予備画像の取得も第2予備画像の取得も行われていない。そのため、処理はステップS16に進められる。ステップS16では、第1照射角度が0°のもとで第1予備画像が取得される。このときに取得された第1予備画像を示す情報は、予備画像保持部101eに一時的に格納される。一方、照射角度が0°のもとで取得された予備画像のデータが既に予備画像保持部101eに格納されている場合には、ステップS16における第1予備画像の取得の処理はスキップされる。
次に、ステップS48において、照射角度が5°のもとで取得された予備画像のデータが予備画像保持部101eに保存されているか否かが第2予備画像取得部104によって判定される。この時点では、予備画像保持部101eには、照射角度が0°のもとで取得された第1予備画像のデータだけが保存されている。そのため、処理がステップS18に進められる。ステップS18では、第2照射角度が5°のもとで第2予備画像が取得される。このときに取得された第2予備画像を示す情報は、予備画像保持部101eに一時的に格納される。一方、照射角度が5°のもとで取得された予備画像のデータが既に予備画像保持部101eに格納されている場合には、ステップS18における第2予備画像の取得の処理はスキップされる。
次に、ステップS38において、第2予備画像からシフト画像が生成される。その後、ステップS22において、第1予備画像と第2予備画像との間の差異が算出される。必要に応じて、差異の算出に先立ち、輝度正規化部105bにより輝度正規化を行う。ここでは、予備画像保持部101eに保存されている第1予備画像のデータと、ステップS38において生成されたシフト画像のデータとを利用して、第1予備画像と第2予備画像との間の差異が算出される。
次に、ステップS24において、ステップS22において算出された差異が所定レベル以上であるか否かが判定される。第1予備画像と第2予備画像との間の差異が所定レベルよりも小さいと判定された場合には、処理がステップS26に進められる。一方、第1予備画像と第2予備画像との間の差異が所定レベル以上であると判定された場合には、処理
はステップS12に戻される。
はステップS12に戻される。
処理がステップS12に戻されると、まだ選択されていないIDに対応する第1照射角度の値および第2照射角度の値があるか否かの判定が再び実行される。ここでは、表4に示すIDが2〜6である第1および第2照射角度の値の取得はまだ行われていないので、処理はステップS14に進められる。
次に、ステップS14において、IDが2である第1照射角度の値および第2照射角度の値が読み出される。すなわち、ここでは、第1照射角度の値として5°が読み出され、第2照射角度の値として15°が読み出される。
次に、ステップS46において、照射角度が5°のもとで取得された予備画像のデータが予備画像保持部101eに保存されているか否かが判定される。この例では、照射角度が5°のもとで取得された第2予備画像のデータが予備画像保持部101eに保存されている。したがって、ここでは、ステップS16はスキップされ、第1予備画像の取得は実行されない。
次に、ステップS48において、照射角度が15°のもとで取得された予備画像のデータが予備画像保持部101eに保存されているか否かが判定される。この例では、照射角度が15°のもとで取得された第1予備画像のデータも、照射角度が15°のもとで取得された第2予備画像のデータも、予備画像保持部101eに保存されてない。したがって、処理がステップS18に進められる。そして、ステップS18において、第2照射角度が15°のもとで第2予備画像が取得される。このときに取得された第2予備画像を示す情報も、予備画像保持部101eに一時的に格納される。
次に、ステップS38において、第2照射角度が15°のもとで取得された第2予備画像からシフト画像が生成される。
次に、ステップS22において、第1予備画像と第2予備画像との間の差異が算出される。このとき、予備画像保持部101eに保存されている、照射角度が5°のもとで取得された第2予備画像のデータが、照射角度が5°のもとで取得された第1予備画像のデータとして用いられる。すなわち、ここでは、予備画像保持部101eに保存されている、照射角度が5°のもとで取得された第2予備画像のデータと、第2照射角度が15°のもとで取得された第2予備画像から生成されたシフト画像とを利用して差異が算出される。このように、図30に示す例では、第1照射角度および第2照射角度のリスト中に同一の角度の値が複数個存在する場合には、既に取得されている予備画像のデータを利用して、第1予備画像と第2予備画像との間の差異が算出される。これにより、異なるIDごとに第1予備画像および第2予備画像の撮像を行う場合と比較して、撮像の回数を低減することができる。
次に、ステップS24において、ステップS22において算出された差異が所定レベル以上であるか否かが判定される。第1予備画像と第2予備画像との間の差異が所定レベル以上であると判定された場合には、処理はステップS12に戻される。
処理がステップS12に戻されると、まだ選択されていないIDに対応する第1照射角度の値および第2照射角度の値があるか否かの判定が再び実行され、処理がステップS14に進められる。
次に、ステップS14において、IDが3である第1照射角度の値および第2照射角度の値が読み出される。すなわち、ここでは、第1照射角度の値として0°が読み出され、
第2照射角度の値として15°が読み出される。
第2照射角度の値として15°が読み出される。
次に、ステップS46において、照射角度が0°のもとで取得された予備画像のデータが予備画像保持部101eに保存されているか否かが判定される。この例では、照射角度が0°のもとで取得された第1予備画像のデータが予備画像保持部101eに保存されている。したがって、ここでは、ステップS16はスキップされる。
また、ステップS48において、照射角度が15°のもとで取得された予備画像のデータが予備画像保持部101eに保存されているか否かが判定される。この例では、照射角度が15°のもとで取得された第2予備画像のデータが予備画像保持部101eに保存されている。したがって、ここでは、ステップS18もスキップされる。
その後、ステップS38において、予備画像保持部101eに保存されている、第2照射角度が15°のもとで取得された第2予備画像から、シフト画像が生成され、ステップS22において、第1予備画像と第2予備画像との間の差異が算出される。このとき、予備画像保持部101eに保存されている、照射角度が0°のもとで取得された第1予備画像のデータと、ステップS38において生成されたシフト画像とを利用して差異が算出される。
このように、既に取得されている予備画像のデータを利用して第1予備画像と第2予備画像との間の差異を算出する場合には、異なる照射方向ごとに1度ずつ撮像を行えばよい。これにより、撮像に要する時間を短縮して、複数の照射方向の決定に要する処理の時間を短縮することが可能である。なお、メモリ50が予備画像保持部101eの機能を有する場合には、図20に示す照射方向決定部40bと同様の構成によっても、図30を参照して説明した動作を実現し得る。
<複数の照射方向の決定に用いられる原理の他の例>
次に、図31〜図33を参照して、本開示の実施形態における複数の照射方向の決定に適用可能な原理の他の一例を説明する。以下に説明する例では、概略的には、撮像素子の撮像面の法線方向から被写体を照射することによって第1予備画像を取得するとともに、取得された第1予備画像からシフト画像を生成する。また、照射方向(第2照射方向)を変えながら撮像を行い、複数の第2予備画像を取得する。これにより、複数の第2照射方向に対応した複数の画像セットを構成することができる。その後、各画像セットについて、第1予備画像と第2予備画像との間の類似度、および、シフト画像と第2予備画像との間の類似度から計算される評価関数の値を求める。各画像セットについて求めた評価関数の値に基づき、サブ画像の取得に用いる複数の照射方向を決定する。以下では、簡単のため、x方向について2倍の高分解能化を実現する場合を例示する。
次に、図31〜図33を参照して、本開示の実施形態における複数の照射方向の決定に適用可能な原理の他の一例を説明する。以下に説明する例では、概略的には、撮像素子の撮像面の法線方向から被写体を照射することによって第1予備画像を取得するとともに、取得された第1予備画像からシフト画像を生成する。また、照射方向(第2照射方向)を変えながら撮像を行い、複数の第2予備画像を取得する。これにより、複数の第2照射方向に対応した複数の画像セットを構成することができる。その後、各画像セットについて、第1予備画像と第2予備画像との間の類似度、および、シフト画像と第2予備画像との間の類似度から計算される評価関数の値を求める。各画像セットについて求めた評価関数の値に基づき、サブ画像の取得に用いる複数の照射方向を決定する。以下では、簡単のため、x方向について2倍の高分解能化を実現する場合を例示する。
図31は、イメージセンサ4の撮像面4Aの法線方向から被写体を照射した状態を模式的に示す。図31に示す状態においては、被写体2のうち、領域A1を透過した光線が、フォトダイオード4paに入射し、被写体2のうち、領域A2を透過した光線が、x方向に沿ってフォトダイオード4paに隣接するフォトダイオード4pbに入射している。図31に示す照射方向DRaのもとでフォトダイオード4paによって取得される画素の輝度は、被写体2の領域A1を透過した光の量を示す。また、図31に示す照射方向DRaのもとでフォトダイオード4pbによって取得される画素の輝度は、被写体2の領域A2を透過した光の量を示す。このとき、イメージセンサ4の撮像面4Aの法線N(図31において不図示)と被写体2への入射光線とがなす角をΓとすると、Γ=0である。以下では、図31に示す照射方向DRaのもとでフォトダイオード4paによって取得される画素の輝度およびフォトダイオード4pbによって取得される画素の輝度を、それぞれ、Xa0およびXb0と表記する。
図32は、図31に示す状態から、撮像面4Aの法線Nと被写体2への入射光線とがなす角度Γを大きくしたときにおける、照明光の照射方向と、被写体2のうち、照明光が透過する領域との関係の一例を模式的に示す。図32に示す照射方向DRbのもとでは、被写体2のうち、領域A1の一部と、領域A1および領域A2の間に位置する領域B1の一部とを透過した光線が、フォトダイオード4paに入射している。ここで、撮像面4Aの法線Nと被写体2への入射光線とがなす角の大きさをΓb(Γb>0)とし、フォトダイオード4paによって取得される画素の輝度をXaΓbとすれば、輝度XaΓbは、被写体2のうち、図32において太い線の矩形により示される領域Kbを透過した光の量を示す。領域Kbは、領域A1の一部を含み、領域A2を含んでいない。そのため、輝度XaΓbは、一般に、上述の輝度Xb0よりも輝度Xa0に近い値を示す。なお、ここでは、Γ≠
0である状態において撮像を行ったときに得られた輝度の値に対しては、輝度正規化が施されているとする。以下の説明においても同様である。
0である状態において撮像を行ったときに得られた輝度の値に対しては、輝度正規化が施されているとする。以下の説明においても同様である。
図33は、図32に示す状態から、角度Γをさらに大きくしたときにおける、照明光の照射方向と、被写体2のうち、照明光が透過する領域との関係の一例を模式的に示す。図33に示す照射方向DRcのもとでは、被写体2のうち、領域B1の一部と、領域A2の一部とを透過した光線が、フォトダイオード4paに入射している。撮像面4Aの法線Nと被写体2への入射光線とがなす角の大きさをΓc(Γc>Γb)とし、フォトダイオード4paによって取得される画素の輝度をXaΓcとすれば、輝度XaΓcは、被写体2のうち、図33において太い線の矩形により示される領域Kcを透過した光の量を示す。領域Kcは、領域A2の一部を含み、領域A1を含んでいない。そのため、輝度XaΓcは
、一般に、輝度Xa0よりも輝度Xb0に近い値を示す。
、一般に、輝度Xa0よりも輝度Xb0に近い値を示す。
図33に示す状態から角度Γをさらに大きくすると、ある角度において、被写体2のうち、領域A2を透過した光線がフォトダイオード4paに入射する。このとき、フォトダイオード4paによって取得される画素の輝度の値は、輝度Xb0にほぼ一致する。つま
り、このときに得られる被写体2の画像の輝度分布は、図31に示す照射方向DRaのもとで取得される画像を1画素分シフトさせた画像の輝度分布と一致するといってよい。図1A〜図6を参照して説明した原理から明らかなように、フォトダイオード4paによって取得される画素の輝度の値が輝度Xb0にほぼ一致するような照射方向のもとで被写体
2の画像を取得しても、その時に得られる画像は、高分解能化には役立たない。図1A〜図6を参照して説明した原理では、被写体2の異なる部分から構成される像を含む複数のサブ画像を用いて高分解能画像を形成するからである。
り、このときに得られる被写体2の画像の輝度分布は、図31に示す照射方向DRaのもとで取得される画像を1画素分シフトさせた画像の輝度分布と一致するといってよい。図1A〜図6を参照して説明した原理から明らかなように、フォトダイオード4paによって取得される画素の輝度の値が輝度Xb0にほぼ一致するような照射方向のもとで被写体
2の画像を取得しても、その時に得られる画像は、高分解能化には役立たない。図1A〜図6を参照して説明した原理では、被写体2の異なる部分から構成される像を含む複数のサブ画像を用いて高分解能画像を形成するからである。
以上のことから、サブ画像の取得に適した照射方向は、図31に示す照射方向と、フォトダイオード4paによって取得される画素の輝度の値が輝度Xb0にほぼ一致するよう
な照射方向との間に存在すると考えられる。特に、被写体2の領域A1と領域A2の間に位置する領域B1を透過した光線がフォトダイオード4pa(あるいはフォトダイオード4pb)に入射するような照射方向を見つけることができれば有益である。言い換えれば、撮像面4Aの法線方向からの照射方向のもとで取得される被写体2の画像と、撮像面4Aの法線方向からの照射方向のもとで取得される被写体の画像を1画素だけ−x方向にシフトさせた画像のいずれとも異なる画像を取得できるような照射方向を見つければよい。以下、このような照射方向を探索する方法の具体例を説明する。
な照射方向との間に存在すると考えられる。特に、被写体2の領域A1と領域A2の間に位置する領域B1を透過した光線がフォトダイオード4pa(あるいはフォトダイオード4pb)に入射するような照射方向を見つけることができれば有益である。言い換えれば、撮像面4Aの法線方向からの照射方向のもとで取得される被写体2の画像と、撮像面4Aの法線方向からの照射方向のもとで取得される被写体の画像を1画素だけ−x方向にシフトさせた画像のいずれとも異なる画像を取得できるような照射方向を見つければよい。以下、このような照射方向を探索する方法の具体例を説明する。
以下の2つの関数E0(Γ)およびEs(Γ)を定義する。
E0(Γ)=Σ’(Xi 0−Xi(Γ))2 ・・・ (1)
Es(Γ)=Σ’(Xi s−Xi(Γ))2 ・・・ (2)
E0(Γ)=Σ’(Xi 0−Xi(Γ))2 ・・・ (1)
Es(Γ)=Σ’(Xi s−Xi(Γ))2 ・・・ (2)
式(1)および式(2)中、下付きのiは、取得された画像に含まれる画素を指定する
インデックスである(i=1,2,…,M、Mは整数)。式(1)中、Xi 0は、撮像面4Aの法線方向からの照射方向のもとで取得されたi番目の画素の輝度の値を表す。式(1)および式(2)中、Xi(Γ)は、撮像面4Aの法線方向から角度Γだけ傾斜した照射
方向のもとで取得されたi番目の画素の輝度の値を表す。Xi 0およびXi(Γ)は、i番
目のフォトダイオードによって取得された画素の輝度の値である。式(2)中、Xi sは、撮像面4Aの法線方向からの照射方向のもとで取得される画像を1画素だけ−x方向にシフトさせた画像(シフト画像)に含まれる画素のうちのi番目の画素の輝度の値を表す。Xi sは、(i+1)番目のフォトダイオードによって取得された画素の輝度の値であり、ここでは、Xi sは、Xi+1 0にほぼ等しい。なお、このシフト画像はM番目の画素を有しない。
インデックスである(i=1,2,…,M、Mは整数)。式(1)中、Xi 0は、撮像面4Aの法線方向からの照射方向のもとで取得されたi番目の画素の輝度の値を表す。式(1)および式(2)中、Xi(Γ)は、撮像面4Aの法線方向から角度Γだけ傾斜した照射
方向のもとで取得されたi番目の画素の輝度の値を表す。Xi 0およびXi(Γ)は、i番
目のフォトダイオードによって取得された画素の輝度の値である。式(2)中、Xi sは、撮像面4Aの法線方向からの照射方向のもとで取得される画像を1画素だけ−x方向にシフトさせた画像(シフト画像)に含まれる画素のうちのi番目の画素の輝度の値を表す。Xi sは、(i+1)番目のフォトダイオードによって取得された画素の輝度の値であり、ここでは、Xi sは、Xi+1 0にほぼ等しい。なお、このシフト画像はM番目の画素を有しない。
式(1)および式(2)における和Σ’は、インデックスiに関する和を表す。この和は、複数の画素について評価を行う場合に実行する。和は、例えば、i=1〜(M−1)の範囲にわたってとる。代表的な画素についてのみ和を求めてもよい。ある固定されたインデックスiの画素についてのみ評価を行う場合には、iに関する和をとる必要はない。
式(1)の関数E0(Γ)の値は、撮像面4Aの法線方向からの照射方向のもとで取得
された被写体の画像と、撮像面4Aの法線方向から角度Γだけ傾斜した照射方向のもとで取得された被写体の画像との間の類似度を示すといえる。一方、式(2)の関数Es(Γ
)の値は、撮像面4Aの法線方向からの照射方向のもとで取得された被写体の画像を1画素だけ−x方向にシフトさせた画像と、撮像面4Aの法線方向から角度Γだけ傾斜した照射方向のもとで取得された被写体の画像との間の類似度を示すといえる。特に、E0(0
)=0であり、また、フォトダイオード4paによって取得される画素の輝度の値が輝度Xb0にほぼ一致するような照射方向のもとでは、Es(Γ)はほぼ0である。
された被写体の画像と、撮像面4Aの法線方向から角度Γだけ傾斜した照射方向のもとで取得された被写体の画像との間の類似度を示すといえる。一方、式(2)の関数Es(Γ
)の値は、撮像面4Aの法線方向からの照射方向のもとで取得された被写体の画像を1画素だけ−x方向にシフトさせた画像と、撮像面4Aの法線方向から角度Γだけ傾斜した照射方向のもとで取得された被写体の画像との間の類似度を示すといえる。特に、E0(0
)=0であり、また、フォトダイオード4paによって取得される画素の輝度の値が輝度Xb0にほぼ一致するような照射方向のもとでは、Es(Γ)はほぼ0である。
次に、上述の関数E0(Γ)およびEs(Γ)を用いて下記の評価関数F(Γ)を定義する。
F(Γ)=(E0(Γ)Es(Γ))/(E0(Γ)+Es(Γ)) ・・・ (3)
F(Γ)=(E0(Γ)Es(Γ))/(E0(Γ)+Es(Γ)) ・・・ (3)
式(3)を用いて計算されるF(Γ)の値は、第1予備画像および第2予備画像の間の「差異」の一例である。ここで、関数E0(Γ)およびEs(Γ)は、一方が大きな値をとると、それに対応して他方は小さな値をとると考えられる。このことから、撮像面4Aの法線方向からの照射方向のもとで取得される被写体2の画像と、撮像面4Aの法線方向からの照射方向のもとで取得される被写体の画像を1画素だけ−x方向にシフトさせた画像のいずれとも異なる画像を取得できるような照射方向を示す角度Γでは、上述の関数F(Γ)が極大になると考えられる。つまり、F(Γ)が極大値をとるような角度Γを求めることにより、サブ画像の取得に適した照射方向を見つけることが可能である。このように、F(Γ)が極大値をとるような角度Γを求めることにより、被写体2において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。
<照射方向決定部の構成および動作の具体例6>
図34は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図34に示す画像取得装置100fが有する照射方向決定部40fと、照射方向決定部40b(図20参照)との相違点は、照射方向決定部40fが、比較対象画像生成部106bを有しておらず、第1予備画像取得部102に接続された比較対象画像生成部106fを有している点である。また、判定部110に代えて、差異保持部111dを有している点である。
図34は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図34に示す画像取得装置100fが有する照射方向決定部40fと、照射方向決定部40b(図20参照)との相違点は、照射方向決定部40fが、比較対象画像生成部106bを有しておらず、第1予備画像取得部102に接続された比較対象画像生成部106fを有している点である。また、判定部110に代えて、差異保持部111dを有している点である。
図35は、画像形成システム500における動作の他の一例を示す。以下に説明する例
では、図31〜図33を参照して説明した原理を利用して、複数の照射方向を決定する。以下に説明する例では、図21を参照して説明した具体例2における処理と同様、第1予備画像の取得の回数は、1回である。また、第2予備画像の取得は、第2照射方向を変えて複数回実行される。ここでは、メモリ50に、第2照射方向DR2を示す情報が格納されている。下記の表5は、第2照射方向DR2を示す情報の一例を示す。
では、図31〜図33を参照して説明した原理を利用して、複数の照射方向を決定する。以下に説明する例では、図21を参照して説明した具体例2における処理と同様、第1予備画像の取得の回数は、1回である。また、第2予備画像の取得は、第2照射方向を変えて複数回実行される。ここでは、メモリ50に、第2照射方向DR2を示す情報が格納されている。下記の表5は、第2照射方向DR2を示す情報の一例を示す。
まず、ステップS16において、第1予備画像が取得される。ここでは、第1予備画像の取得は、被写体を基準とする照射方向が0°である状態で実行される。このときに取得された第1予備画像を示す情報は、メモリ50に一時的に格納される。
次に、ステップS50において、比較対象画像生成部106fにより、第1予備画像を1画素だけ−x方向にシフトさせたシフト画像が生成される。
次に、ステップS32において、メモリ50に格納されている第2照射角度のリストに、まだ選択されていないIDに対応する第2照射角度の値があるか否かが判定される。ここでは、第2照射角度の値の取得はまだ行われていないので、処理はステップS34に進められる。
次に、ステップS34において、第2予備画像取得部104により、第2照射方向DR2を示す情報がメモリ50から読み出される。ここでは、第2照射角度の値として2°が読み出される。
次に、ステップS18において、第2予備画像が取得される。このとき、被写体を基準とする照射方向が2°である状態で第2予備画像の取得が実行される。取得された第2予備画像を示す情報は、メモリ50に一時的に格納される。
次に、ステップS36において、輝度正規化部105bにより、取得された第2予備画像に対して輝度正規化が施される。
次に、ステップS52において、上述した式(3)を用いて評価関数F(Γ)の値を計算する。評価関数F(Γ)の値の計算は、例えば差異算出部108fによって実行される。計算結果は、このときのID(つまり、照射角度)と関連付けられて差異保持部111dに一時的に格納される。
その後、処理はステップS32に戻され、上述のステップS32〜S52が繰り返される。メモリ50に格納されている第2照射角度のリストに含まれるIDの全てのついて評価関数F(Γ)の値が得られると、処理はステップS54に進められる。
次に、ステップS54において、差異保持部111dに格納されている評価関数F(Γ)の値の比較が行われ、評価関数F(Γ)の極大を与えるIDが決定される。評価関数F(Γ)の値の比較は、例えば照射方向算出部112によって実行される。図31〜図33を参照して説明したように、F(Γ)が極大値をとるような角度Γは、サブ画像の取得に適した照射方向を示すといえる。
次に、ステップS56において、評価関数F(Γ)の極大を与えるIDに基づいて、照射方向算出部112により、サブ画像の取得に用いる複数の照射方向が決定あるいは算出される。複数の照射方向を示す情報は、メモリ50に保存され、後述するサブ画像取得のステップにおいて使用される。
以降の処理は、図19を参照して説明した処理と同様である。例えば、照射角度0°と、評価関数F(Γ)の極大を与えるIDの照射角度とでそれぞれサブ画像の取得を行い、これらのサブ画像を用いて高分解能画像の形成を行う。
この具体例における第2の照射角度は、任意に設定可能である。x方向についてN倍の高分解能化を行う場合には、撮像素子の撮像面の法線方向と、フォトダイオード4paによって取得される画素の輝度の値が輝度Xb0にほぼ一致するような照射方向との間にお
いて、少なくともN個の異なる照射方向に関して評価関数F(Γ)の値を求めればよい。N個の異なる照射方向は、撮像面から光源までの距離およびフォトダイオードの配列ピッチなどを用いて算出され得る。撮像素子の撮像面の法線方向に関して対称にN個の異なる照射方向を設定してもよい。N個の異なる照射方向の間隔が等間隔である必要はない。y方向あるいはu方向などについても、上記の例と同様にサブ画像の取得に適した照射方向を決定することができる。したがって、イメージセンサの撮像面に平行な面内においてN倍の高分解能化ももちろん可能である。
いて、少なくともN個の異なる照射方向に関して評価関数F(Γ)の値を求めればよい。N個の異なる照射方向は、撮像面から光源までの距離およびフォトダイオードの配列ピッチなどを用いて算出され得る。撮像素子の撮像面の法線方向に関して対称にN個の異なる照射方向を設定してもよい。N個の異なる照射方向の間隔が等間隔である必要はない。y方向あるいはu方向などについても、上記の例と同様にサブ画像の取得に適した照射方向を決定することができる。したがって、イメージセンサの撮像面に平行な面内においてN倍の高分解能化ももちろん可能である。
<モジュールに用いられるイメージセンサ>
なお、本開示の実施形態において、イメージセンサ4は、CCDイメージセンサに限定されず、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ、また
は、その他のイメージセンサ(一例として、後述する光電変換膜積層型イメージセンサ)であってもよい。CCDイメージセンサおよびCMOSイメージセンサは、表面照射型または裏面照射型のいずれであってもよい。以下、イメージセンサの素子構造と、イメージセンサのフォトダイオードに入射する光の関係を説明する。
なお、本開示の実施形態において、イメージセンサ4は、CCDイメージセンサに限定されず、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ、また
は、その他のイメージセンサ(一例として、後述する光電変換膜積層型イメージセンサ)であってもよい。CCDイメージセンサおよびCMOSイメージセンサは、表面照射型または裏面照射型のいずれであってもよい。以下、イメージセンサの素子構造と、イメージセンサのフォトダイオードに入射する光の関係を説明する。
図36は、CCDイメージセンサの断面構造と、被写体の相対的な透過率Tdの分布の例とを示す。図36に示すように、CCDイメージセンサは、概略的には、基板80と、基板80上の絶縁層82と、絶縁層82内に配置された配線84とを有している。基板80には、複数のフォトダイオード88が形成されている。配線84上には、遮光層(図36において不図示)が形成される。ここでは、トランジスタなどの図示は省略している。以下の図面においてもトランジスタなどの図示を省略する。なお、概略的には、表面照射型CMOSイメージセンサにおけるフォトダイオード近傍の断面構造は、CCDイメージセンサにおけるフォトダイオード近傍の断面構造とほぼ同様である。そのため、ここでは、表面照射型CMOSイメージセンサの断面構造の図示および説明を省略する。
図36に示すように、照明光が撮像面の法線方向から入射する場合、被写体のうち、フォトダイオード88の直上にある領域R1を透過した照射光は、フォトダイオード88に入射する。一方、被写体のうち、配線84上の遮光層の直上にある領域R2を透過した照射光は、イメージセンサの遮光領域(遮光膜が形成された領域)に入射する。したがって、撮像面の法線方向から照射した場合には、被写体のうち、フォトダイオード88の直上
にある領域R1を示す画像が得られる。
にある領域R1を示す画像が得られる。
遮光膜の直上にある領域を示す画像を取得するためには、領域R2を透過した光がフォトダイオード88に入射するように、撮像面の法線方向に対して傾いた方向から照射を行えばよい。このとき、照射方向によっては、領域R2を透過した光のうちの一部が、配線84によって遮られることがある。図示する例では、ハッチングによって示す部分を通る光線はフォトダイオード88には届かない。そのため、斜め入射においては、画素値が幾分低下することがある。しかしながら、透過光の全てが遮られるわけではないので、このときに得られたサブ画像を用いた高分解能画像の形成は可能である。
図37Aおよび図37Bは、裏面照射型CMOSイメージセンサの断面構造と、被写体の相対的な透過率Tdの分布の例とを示す。図37Aに示すように、裏面照射型CMOSイメージセンサでは、斜め入射の場合であっても透過光が配線84によって遮られることがない。ただし、被写体のうち、撮像を行いたい領域とは異なる他の領域を透過した光(図37Aおよび後述する図37B中、太い矢印BAで模式的に示す光)が基板80に入射することによってノイズが発生し、サブ画像の品質が劣化するおそれがある。このような劣化は、図37Bに示すように、基板においてフォトダイオードが形成された領域以外の領域上に遮光層90を形成することにより低減することが可能である。
図38は、有機材料または無機材料で形成した光電変換膜を備えるイメージセンサ(以下、「光電変換膜積層型イメージセンサ」と呼ぶ。)の断面構造と、被写体の相対的な透過率Tdの分布の例とを示す。
図38に示すように、光電変換膜積層型イメージセンサは、概略的には、基板80と、複数の画素電極が設けられた絶縁層82と、絶縁層82上の光電変換膜94と、光電変換膜94上の透明電極96とを有している。図示するように、光電変換膜積層型イメージセンサでは、半導体基板に形成されるフォトダイオードの代わりに、光電変換を行う光電変換膜94が基板80(例えば半導体基板)上に形成されている。光電変換膜94および透明電極96は、典型的には、撮像面の全体にわたって形成される。ここでは、光電変換膜94を保護する保護膜の図示を省略している。
光電変換膜積層型イメージセンサでは、光電変換膜94における入射光の光電変換によって発生した電荷(電子または正孔)が画素電極92によって集められる。これにより、光電変換膜94に入射した光の量を示す値が得られる。したがって、光電変換膜積層型イメージセンサでは、撮像面において、1つの画素電極92を含む単位領域が1つの画素に相当するといえる。光電変換膜積層型イメージセンサでは、裏面照射型CMOSイメージセンサと同様に斜め入射の場合であっても透過光が配線によって遮られることがない。
図1A〜図6を参照して説明したように、高分解能画像の形成においては、被写体の異なる部分から構成される像を示す複数のサブ画像が用いられる。ところが、典型的な光電変換膜積層型イメージセンサでは、撮像面の全体にわたって光電変換膜94が形成されているので、例えば垂直入射の場合であっても、被写体の所望の領域以外の領域を透過した光によっても光電変換膜94において光電変換が生じ得る。このときに発生した余分な電子または正孔が画素電極92に引き込まれると、適切なサブ画像が得られないおそれがある。したがって、画素電極92と透明電極96とが重なる領域(図38において網掛けされた領域)において発生した電荷を画素電極92に選択的に引き込むことが有益である。
図38に例示する構成では、画素電極92のそれぞれと対応して、画素内にダミー電極98が設けられている。被写体の像の取得時、画素電極92とダミー電極98との間には、適切な電位差が与えられる。これにより、画素電極92と透明電極96とが重なる領域
以外の領域で発生した電荷をダミー電極98に引き込み、画素電極92と透明電極96とが重なる領域で発生した電荷を選択的に画素電極92に引き込むことができる。なお、透明電極96または光電変換膜94のパターニングによっても、同様の効果を得ることが可能である。このような構成においては、画素の面積S1に対する画素電極92の面積S3の比率(S3/S1)が、「開口率」に相当するということができる。
以外の領域で発生した電荷をダミー電極98に引き込み、画素電極92と透明電極96とが重なる領域で発生した電荷を選択的に画素電極92に引き込むことができる。なお、透明電極96または光電変換膜94のパターニングによっても、同様の効果を得ることが可能である。このような構成においては、画素の面積S1に対する画素電極92の面積S3の比率(S3/S1)が、「開口率」に相当するということができる。
既に説明したように、Nを2以上の整数とするとき、イメージセンサ4の開口率が近似的に1/Nに等しければ、最大N倍の高分解能化が可能になる。言い換えれば、開口率が小さい方が高分解能化には有利である。光電変換膜積層型イメージセンサでは、画素電極92の面積S3を調整することによって、開口率に相当する比率(S3/S1)を調整することが可能である。この比率(S3/S1)は、例えば10%〜50%の範囲に設定される。比率(S3/S1)が上記の範囲内にある光電変換膜積層型イメージセンサは、超解像に用いられ得る。
なお、図36および図37Bからわかるように、CCDイメージセンサおよび表面照射型CMOSイメージセンサにおいて被写体と対向する表面は平坦ではない。例えば、CCDイメージセンサでは、その表面に段差が存在する。また、裏面照射型CMOSイメージセンサでは、高分解能画像を形成するためのサブ画像を取得するには、パターニングされた遮光層を撮像面上に設けることが必要であり、被写体と対向する表面は平坦ではない。
これに対し、光電変換膜積層型イメージセンサの撮像面は、図38からわかるように、ほぼ平坦な面である。したがって、撮像面上に被写体を配置した場合であっても、撮像面の形状に起因する被写体の変形がほとんど生じない。言い換えれば、光電変換膜積層型イメージセンサを用いてサブ画像を取得することによって、被写体のより詳細な構造を観察し得る。
本明細書において説明される上述の種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。
本開示の実施形態によれば、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の適用を容易にし得る、画像取得装置、画像形成方法および画像形成システムの少なくともいずれかが提供される。高分解能画像は、例えば病理診断の場面において有益な情報を提供する。
2 被写体
7 撮像素子
8 透明プレート
10 モジュール
30 照明システム
31 光源
32 ステージ
33 ステージ駆動機構
40a〜40f 照射方向決定部
100a〜100f 画像取得装置
150 画像処理装置
500 画像形成システム
7 撮像素子
8 透明プレート
10 モジュール
30 照明システム
31 光源
32 ステージ
33 ステージ駆動機構
40a〜40f 照射方向決定部
100a〜100f 画像取得装置
150 画像処理装置
500 画像形成システム
Claims (20)
- 被写体と撮像素子とが一体化されたモジュールの前記被写体に対して複数の異なる照射方向から、順次、光照射する照明システムと、
前記モジュールは、前記被写体を透過した照明光が前記撮像素子に入射するように前記被写体と前記撮像素子とが一体化されており、
前記撮像素子は、前記複数の異なる照射方向に応じた複数の画像を取得し、
前記複数の異なる照射方向に応じて前記複数の画像を前記撮像素子によって取得する前に、第1照射方向からの第1照明光で前記被写体が照射されているときに前記撮像素子によって取得された第1予備画像と、第2照射方向からの第2照明光で前記被写体が照射されているときに前記撮像素子によって取得された第2予備画像との間の差異に基づいて、前記複数の異なる照射方向を決定する照射方向決定部と、
を備える画像取得装置。 - 前記照射方向決定部は、前記第1予備画像と前記第2予備画像との間の差異が所定レベルよりも小さくなるように選択された前記第1照射方向および前記第2照射方向に基づいて、前記複数の異なる照射方向を決定するように構成されている、請求項1に記載の画像取得装置。
- 前記照明システムは、前記第1照射方向および前記第2照射方向の少なくとも一方を変化させ、
前記撮像素子は、前記第1照射方向および前記第2照射方向の前記少なくとも一方の変化に応じて1以上の前記第1予備画像および1以上の前記第2予備画像を取得し、
前記照射方向決定部は、各々が前記第1予備画像および前記第2予備画像から構成される1以上の異なる画像セットから、前記第1予備画像と前記第2予備画像との間にある差異が前記所定レベルよりも小さな画像セットを決定し、当該画像セットに対応する前記第1照射方向および前記第2照射方向に基づいて、前記複数の異なる照射方向を決定するように構成されている、請求項2に記載の画像取得装置。 - 前記照明システムは、前記第1照射方向および前記第2照射方向の少なくとも一方を変化させ、
前記撮像素子は、前記第1照射方向および前記第2照射方向の前記少なくとも一方の変化に応じて1以上の前記第1予備画像および1以上の前記第2予備画像を取得し、
前記照射方向決定部は、各々が前記第1予備画像および前記第2予備画像から構成される、予め設定された個数の異なる画像セットから、前記第1予備画像と前記第2予備画像との間にある差異が最小である画像セットを決定し、当該画像セットに対応する前記第1照射方向および前記第2照射方向に基づいて、前記複数の異なる照射方向を決定するように構成されている、請求項1または2に記載の画像取得装置。 - 前記第1照射方向および前記第2照射方向は、前記被写体を基準にして対称な関係にある、請求項1から4のいずれかに記載の画像取得装置。
- 前記差異は、前記第1予備画像における画素の輝度と、前記第2予備画像における画素の輝度とから規定される量である、請求項1から5のいずれかに記載の画像取得装置。
- 前記照射方向決定部は、前記第1予備画像を構成する複数の画素の輝度と、前記第2予備画像を構成する複数の画素の輝度とを比較することにより、前記第1予備画像と前記第2予備画像との間にある差異を算出する、請求項1から6のいずれかに記載の画像取得装置。
- 前記照射方向決定部は、前記第1予備画像および前記第2予備画像の少なくとも一方に
おける画素の輝度を補正した後に、前記第1予備画像と前記第2予備画像との間にある差異を算出する、請求項6または7に記載の画像取得装置。 - 前記照射方向決定部は、前記撮像素子に対する前記被写体の高さを示す位置情報を取得し、前記位置情報に応じて前記複数の異なる照射方向を決定するように構成されている、請求項1から8のいずれかに記載の画像取得装置。
- 前記照明システムは、前記モジュールが着脱自在に装填されるように構成されたステージ、および、前記ステージの姿勢を変更可能に構成されたステージ駆動機構を有する、請求項1から9のいずれかに記載の画像取得装置。
- 請求項1から10のいずれかに記載の画像取得装置と、
前記複数の異なる照射方向に応じて取得した前記複数の画像を合成することにより、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する画像処理装置と
を備える画像形成システム。 - 被写体を透過した照明光が撮像素子に入射するように前記被写体と前記撮像素子とが一体化されたモジュールを第1照明光で第1照射方向から照射することによって前記被写体の第1予備画像を取得する工程と、
前記モジュールを第2照明光で第2照射方向から照射することによって前記被写体の第2予備画像を取得する工程と、
前記第1予備画像と前記第2予備画像との間の差異に基づいて、前記被写体を基準とする複数の異なる照射方向を決定する工程と、
前記複数の異なる照射方向から、順次、前記被写体を前記照明光で照射することにより、前記複数の異なる照射方向に応じた複数の画像を取得する工程と、
前記複数の画像を合成することにより、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する工程と
を含む、画像形成方法。 - 前記第1予備画像を取得する工程は、前記第1照射方向を変えて複数回実行される、請求項12に記載の画像形成方法。
- 前記第2予備画像を取得する工程は、前記第2照射方向を変えて複数回実行される、請求項13に記載の画像形成方法。
- 前記第1照射方向および前記第2照射方向は、前記被写体を基準にして対称な関係にある、請求項12に記載の画像形成方法。
- 前記複数の異なる照射方向を決定する工程において、前記第1予備画像と前記第2予備画像との間の差異が所定レベルよりも小さくなるような前記第1照射方向および前記第2照射方向に基づいて、前記複数の異なる照射方向が決定される、請求項12から15のいずれかに記載の画像形成方法。
- 前記複数の異なる照射方向を決定する工程において、前記第1予備画像と前記第2予備画像との間にある差異が最小となるような前記第1照射方向および前記第2照射方向に基づいて、前記複数の異なる照射方向が決定される、請求項12から15のいずれかに記載の画像形成方法。
- 前記差異は、前記第1予備画像における画素の輝度と前記第2予備画像における画素の
輝度とから規定される量である、請求項12から17のいずれかに記載の画像形成方法。 - 前記複数の異なる照射方向を決定する工程は、前記第1予備画像を構成する複数の画素の輝度と、前記第2予備画像を構成する複数の画素の輝度とを比較する工程を含む、請求項12から18のいずれかに記載の画像形成方法。
- 前記第2予備画像を取得する工程と、前記複数の異なる照射方向を決定する工程との間に、前記第2予備画像における画素の輝度を補正する工程を含む、請求項12から19のいずれかに記載の画像形成方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014239443 | 2014-11-27 | ||
JP2014239443 | 2014-11-27 | ||
PCT/JP2015/005545 WO2016084310A1 (ja) | 2014-11-27 | 2015-11-05 | 画像取得装置、画像形成システムおよび画像形成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6004245B1 true JP6004245B1 (ja) | 2016-10-05 |
JPWO2016084310A1 JPWO2016084310A1 (ja) | 2017-04-27 |
Family
ID=56073909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016528915A Expired - Fee Related JP6004245B1 (ja) | 2014-11-27 | 2015-11-05 | 画像取得装置、画像形成システムおよび画像形成方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10241315B2 (ja) |
EP (1) | EP3225975A4 (ja) |
JP (1) | JP6004245B1 (ja) |
CN (1) | CN105829867A (ja) |
AU (1) | AU2015351876B2 (ja) |
WO (1) | WO2016084310A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016214512A (ja) * | 2015-05-19 | 2016-12-22 | 株式会社東芝 | センサ |
WO2017130304A1 (ja) * | 2016-01-27 | 2017-08-03 | 株式会社日立ハイテクノロジーズ | 計測装置、方法および表示装置 |
CN113454511B (zh) * | 2018-12-21 | 2023-11-14 | 斯科皮奥实验室有限公司 | 显微图像的压缩获取 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998030022A1 (fr) * | 1996-12-26 | 1998-07-09 | Sony Corporation | Dispositif d'acquisition d'images a haute resolution et procede de capture d'images |
JPH1164215A (ja) * | 1997-05-28 | 1999-03-05 | Micronas Intermetall Gmbh | 測定装置 |
JPH1175099A (ja) * | 1997-08-28 | 1999-03-16 | Canon Electron Inc | 撮像装置及び光学装置 |
JP2013509618A (ja) * | 2009-10-28 | 2013-03-14 | アレンティック マイクロサイエンス インコーポレイテッド | 顕微撮像法 |
WO2014196202A1 (ja) * | 2013-06-07 | 2014-12-11 | パナソニックIpマネジメント株式会社 | 画像取得装置、画像取得方法、およびプログラム |
WO2014196203A1 (ja) * | 2013-06-06 | 2014-12-11 | パナソニックIpマネジメント株式会社 | 画像取得装置、画像取得方法、およびプログラム |
WO2016027448A1 (ja) * | 2014-08-22 | 2016-02-25 | パナソニックIpマネジメント株式会社 | 画像取得装置および画像形成システム |
WO2016067508A1 (ja) * | 2014-10-27 | 2016-05-06 | パナソニックIpマネジメント株式会社 | 画像形成システム、画像形成方法、撮像素子、およびプログラム |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4411489A (en) * | 1976-08-23 | 1983-10-25 | Mcgrew Steve P | System for synthesizing strip-multiplexed holograms |
US4806776A (en) * | 1980-03-10 | 1989-02-21 | Kley Victor B | Electrical illumination and detecting apparatus |
JPS62137037A (ja) | 1985-12-11 | 1987-06-19 | 株式会社東芝 | X線撮影装置 |
JP2002118799A (ja) * | 2000-05-10 | 2002-04-19 | Canon Inc | 画像表示装置、画像表示システムおよび画像表示素子 |
TW200520225A (en) * | 2003-10-24 | 2005-06-16 | Matsushita Electric Ind Co Ltd | Pixel arranging apparatus, solid-state image sensing apparatus, and camera |
JP4255819B2 (ja) * | 2003-12-11 | 2009-04-15 | パナソニック株式会社 | 信号処理方法および画像取得装置 |
JP4353246B2 (ja) * | 2004-11-08 | 2009-10-28 | パナソニック株式会社 | 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法 |
CN1908717A (zh) * | 2005-08-05 | 2007-02-07 | 宇东电浆科技股份有限公司 | 具有光学路径调整机构的光机组件 |
US7865076B2 (en) * | 2006-04-21 | 2011-01-04 | Panasonic Corporation | Compound eye-camera module |
EP2189102A4 (en) * | 2007-08-13 | 2015-02-18 | Olympus Medical Systems Corp | BODY INTERIOR OBSERVATION SYSTEM, AND BODY INTERIOR OBSERVATION METHOD |
JP2010051538A (ja) * | 2008-08-28 | 2010-03-11 | Panasonic Corp | 撮像装置 |
TWI390960B (zh) * | 2008-10-15 | 2013-03-21 | Realtek Semiconductor Corp | 影像處理裝置與影像處理方法 |
JP5237874B2 (ja) * | 2009-04-24 | 2013-07-17 | 株式会社日立ハイテクノロジーズ | 欠陥検査方法および欠陥検査装置 |
US8509492B2 (en) * | 2010-01-07 | 2013-08-13 | De La Rue North America Inc. | Detection of color shifting elements using sequenced illumination |
DE102011004584A1 (de) * | 2011-02-23 | 2012-08-23 | Krones Aktiengesellschaft | Verfahren und Vorrichtung zum Erkennen von Blasen und/oder Falten auf etikettierten Behältern |
KR101376450B1 (ko) * | 2011-06-01 | 2014-03-19 | 다이닛뽕스크린 세이조오 가부시키가이샤 | 화상취득장치, 패턴검사장치 및 화상취득방법 |
WO2013019640A1 (en) * | 2011-07-29 | 2013-02-07 | The Regents Of The University Of California | Lensfree holographic microscopy using wetting films |
JP6156787B2 (ja) * | 2012-07-25 | 2017-07-05 | パナソニックIpマネジメント株式会社 | 撮影観察装置 |
RU2675083C2 (ru) * | 2012-12-04 | 2018-12-14 | Конинклейке Филипс Н.В. | Устройство и способ получения информации об основных показателях состояния организма живого существа |
US9560284B2 (en) * | 2012-12-27 | 2017-01-31 | Panasonic Intellectual Property Corporation Of America | Information communication method for obtaining information specified by striped pattern of bright lines |
WO2014125529A1 (ja) * | 2013-02-15 | 2014-08-21 | パナソニック株式会社 | 画像処理装置および内視鏡 |
JP6408259B2 (ja) * | 2014-06-09 | 2018-10-17 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
-
2015
- 2015-11-05 JP JP2016528915A patent/JP6004245B1/ja not_active Expired - Fee Related
- 2015-11-05 AU AU2015351876A patent/AU2015351876B2/en not_active Ceased
- 2015-11-05 CN CN201580002651.7A patent/CN105829867A/zh active Pending
- 2015-11-05 EP EP15864158.9A patent/EP3225975A4/en not_active Withdrawn
- 2015-11-05 WO PCT/JP2015/005545 patent/WO2016084310A1/ja active Application Filing
-
2016
- 2016-08-01 US US15/224,712 patent/US10241315B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998030022A1 (fr) * | 1996-12-26 | 1998-07-09 | Sony Corporation | Dispositif d'acquisition d'images a haute resolution et procede de capture d'images |
JPH1164215A (ja) * | 1997-05-28 | 1999-03-05 | Micronas Intermetall Gmbh | 測定装置 |
JPH1175099A (ja) * | 1997-08-28 | 1999-03-16 | Canon Electron Inc | 撮像装置及び光学装置 |
JP2013509618A (ja) * | 2009-10-28 | 2013-03-14 | アレンティック マイクロサイエンス インコーポレイテッド | 顕微撮像法 |
WO2014196203A1 (ja) * | 2013-06-06 | 2014-12-11 | パナソニックIpマネジメント株式会社 | 画像取得装置、画像取得方法、およびプログラム |
WO2014196202A1 (ja) * | 2013-06-07 | 2014-12-11 | パナソニックIpマネジメント株式会社 | 画像取得装置、画像取得方法、およびプログラム |
WO2016027448A1 (ja) * | 2014-08-22 | 2016-02-25 | パナソニックIpマネジメント株式会社 | 画像取得装置および画像形成システム |
WO2016067508A1 (ja) * | 2014-10-27 | 2016-05-06 | パナソニックIpマネジメント株式会社 | 画像形成システム、画像形成方法、撮像素子、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3225975A1 (en) | 2017-10-04 |
WO2016084310A1 (ja) | 2016-06-02 |
AU2015351876B2 (en) | 2017-11-23 |
EP3225975A4 (en) | 2017-11-29 |
CN105829867A (zh) | 2016-08-03 |
AU2015351876A1 (en) | 2016-08-18 |
US10241315B2 (en) | 2019-03-26 |
JPWO2016084310A1 (ja) | 2017-04-27 |
US20160341947A1 (en) | 2016-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6631886B2 (ja) | 画像形成システム、画像形成方法、撮像素子、およびプログラム | |
JP6307770B2 (ja) | 撮像素子 | |
US20200310100A1 (en) | Method and device for high-resolution color imaging using merged images from holographic and lens-based devices | |
US20190049710A1 (en) | Image forming apparatus, image forming method, image forming system, and recording medium | |
TW201126624A (en) | System and method for inspecting a wafer (2) | |
WO2014017092A1 (ja) | 撮像システム | |
JP6004245B1 (ja) | 画像取得装置、画像形成システムおよび画像形成方法 | |
US20190018231A1 (en) | Spectrally-resolved scanning microscope | |
US20110249155A1 (en) | Image pickup device | |
US20170146790A1 (en) | Image acquisition device and image formation system | |
US10048485B2 (en) | Image output device, image transmission device, image reception device, image output method, and non-transitory recording medium | |
US10962757B2 (en) | System for the simultaneous videographic or photographic acquisition of multiple images | |
JP7112994B2 (ja) | 蛍光撮影装置 | |
JP2017045430A (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
WO2021039952A1 (ja) | 皮膚検査装置 | |
JP2018082355A (ja) | 画像生成システム及び画像生成方法 | |
Frost et al. | Use of fast-responding voltage-sensitive dyes for large-scale recording of neuronal spiking activity with single-cell resolution | |
JP6257294B2 (ja) | 顕微鏡装置 | |
JP2022156634A (ja) | 観察装置用照明装置、観察装置及び観察システム | |
RU2525152C2 (ru) | Способ формирования изображения микрообъекта (варианты) и устройство для его осуществления (варианты) | |
CN111982865A (zh) | 一种全玻片荧光超光谱快速获取方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160627 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160824 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6004245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |