JP6739061B2 - 画像生成装置、画像生成方法及びプログラム - Google Patents

画像生成装置、画像生成方法及びプログラム Download PDF

Info

Publication number
JP6739061B2
JP6739061B2 JP2017038653A JP2017038653A JP6739061B2 JP 6739061 B2 JP6739061 B2 JP 6739061B2 JP 2017038653 A JP2017038653 A JP 2017038653A JP 2017038653 A JP2017038653 A JP 2017038653A JP 6739061 B2 JP6739061 B2 JP 6739061B2
Authority
JP
Japan
Prior art keywords
image
cross
pixel
focused
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017038653A
Other languages
English (en)
Other versions
JP2018082416A (ja
Inventor
加藤 弓子
弓子 加藤
太一 佐藤
太一 佐藤
好秀 澤田
好秀 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2018082416A publication Critical patent/JP2018082416A/ja
Application granted granted Critical
Publication of JP6739061B2 publication Critical patent/JP6739061B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52Combining or merging partially overlapping images to an overall image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/4133Refractometers, e.g. differential
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/8422Investigating thin films, e.g. matrix isolation method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30044Fetus; Embryo

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Computing Systems (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)

Description

本開示は、レンズレス顕微鏡における、複数の光源による複数の撮影画像に基づいて生成する仮想的な合焦面を用いて対象物の画像を生成する技術に関する。
培養細胞を染色することなく連続的に観察したいという要求は、治療用の細胞の産生、薬効の試験等、培養細胞を医療、産業に用いる多くの分野にある。しかしながら、細胞の多くは、ほとんど無色透明であるため、透過光による光学顕微鏡での撮影では、培養細胞の立体構造がわかりにくい。
特許文献1では、細胞の断面形状を評価するために、対物レンズに平行であって、対象物に対して焦点の高さ位置が異なる多数の画像(すなわちピントを対象物の高さ方向にずらしながら撮影した多数の画像)から、対物レンズと平行でない面の合焦画像(擬似断面画像)を生成する方法を示している。
ところで、培養細胞の連続的観察は、細胞を培養するための多湿な環境を維持するためのインキュベータという限られた空間内で行われる。このような多湿な限られた空間内での観察のために、特許文献2は、レンズを用いずに微小な細胞を観察することのできるレンズレス顕微鏡を開示している。複数の異なる位置から照射する照明によって撮影された複数の画像を重ね合わせて(Ptychography)、解像度を高める方法を開示している。
特開2013−101512号公報 米国特許出願公開第2014/0133702号明細書
しかしながら、特許文献1の方法では、撮影した後に各高さ位置の画像から部分画像を切り出し、切り出された部分画像をつなぎ合わせるので、部分画像のつなぎ目に不連続が発生する。その結果、擬似断面画像の画質は、不連続により劣化する。また、不連続による画質劣化を低減するために不連続部分にぼかし処理が施されれば、擬似断面画像の鮮鋭さが低下する。
そこで、本開示の非限定的で例示的な一態様は、複数の撮影画像を用いて生成した仮想的な焦点面の高画質な合焦画像を用いて対象物の画像を生成することができる画像生成装置等を提供する。
本開示の一態様に係る画像生成装置は、複数の照明器と、対象物が載置される表面と複数のセンサ画素とを有するイメージセンサと、前記複数の照明器及び前記イメージセンサの間に位置する仮想的な複数の基準焦点面に対応する複数の基準合焦画像を生成し、前記複数の基準合焦画像を用いて、前記対象物の3次元画像を生成する制御回路とを備え、前記イメージセンサは、前記複数の照明器のそれぞれが照明する毎に、前記複数のセンサ画素で受光される光に基づく輝度値を用いて、複数の撮影画像を取得し、前記複数の基準合焦画像は、複数の合焦画素で構成されており、前記制御回路は、(a1)前記イメージセンサにより撮影された複数の撮影画像を取得し、(a2)前記複数の基準焦点面の情報を取得し、ここで、前記複数の基準焦点面は、前記対象物を通り且つ互いに間隔をあけて位置しており、(a3)前記複数の基準焦点面の情報と前記複数の撮影画像とを用いて、前記複数の基準合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記複数の基準合焦画像を生成し、(a4)前記複数の基準合焦画像のうちの前記対象物の輪郭のコントラストが最も高い前記基準合焦画像を用いて、前記対象物の輪郭を抽出し、(a5)抽出した前記対象物の輪郭に基づき前記対象物の立体的な輪郭を特定し、(a6)前記複数の基準合焦画像それぞれから、前記立体的な輪郭の外側に相当する領域を除去することによって、前記対象物の複数の基準断面画像を生成し、(a7)前記複数の基準断面画像を用いて、前記対象物の3次元画像を生成し、前記3次元画像を表示画面に表示させる。
なお、この包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD−ROM(Compact Disc−Read Only Memory)などの不揮発性の記録媒体を含む。
本開示の一態様に係る画像生成方法は、イメージセンサ上に位置する対象物の画像を生成する画像生成方法であって、(b1)複数の照明器のそれぞれを照明する毎に、前記イメージセンサの複数のセンサ画素で受光される光に基づく輝度値を用いて、複数の撮影画像を取得し、(b2)前記複数の照明器及び前記イメージセンサの間に位置する仮想的な複数の基準焦点面を設定し、ここで、前記複数の基準焦点面は、前記対象物を通り且つ互いに間隔をあけて位置し、(b3)前記複数の基準焦点面に対応する複数の基準合焦画像を生成することであって、前記複数の基準焦点面の情報と前記複数の撮影画像とを用いて、前記複数の基準合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記複数の基準合焦画像を生成し、(b4)前記複数の基準合焦画像のうちから前記対象物の輪郭のコントラストが最も高い前記基準合焦画像を用いて、前記対象物の輪郭を抽出し、(b5)抽出した前記対象物の輪郭に基づき前記対象物の立体的な輪郭を特定し、(b6)前記複数の基準合焦画像それぞれから、前記立体的な輪郭の外側に相当する領域を除去することによって、前記対象物の複数の基準断面画像を生成し、(b7)前記複数の基準断面画像を用いて、前記対象物の3次元画像を生成し、前記3次元画像を表示画面に表示させ、前記(b1)〜(b7)の少なくとも1つは制御回路により実行される。
本開示の一態様に係るプログラムは、コンピュータに実行させるプログラムであって、(e1)イメージセンサ上に位置する対象物の複数の撮影画像を取得し、ここで、前記複数の撮影画像は、複数の照明器のそれぞれを照明する毎に、前記イメージセンサの複数のセンサ画素で受光される光に基づく輝度値を用いて、前記イメージセンサによって取得され、(e2)前記複数の照明器及び前記イメージセンサの間に位置する仮想的な複数の基準焦点面を設定し、ここで、前記複数の基準焦点面は、前記複数の照明器及び前記イメージセンサの間で、前記対象物を通り且つ互いに間隔をあけて位置し、(e3)前記複数の基準焦点面に対応する複数の基準合焦画像を生成することであって、前記複数の基準焦点面の情報と前記複数の撮影画像とを用いて、前記複数の基準合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記複数の基準合焦画像を生成し、(e4)前記複数の基準合焦画像のうちから前記対象物の輪郭のコントラストが最も高い前記基準合焦画像を用いて、前記対象物の輪郭を抽出し、(e5)抽出した前記対象物の輪郭に基づき前記対象物の立体的な輪郭を特定し、(e6)前記複数の基準合焦画像それぞれから、前記立体的な輪郭の外側に相当する領域を除去することによって、前記対象物の複数の基準断面画像を生成し、(e7)前記複数の基準断面画像を用いて、前記対象物の3次元画像を生成し、前記3次元画像を表示画面に表示させる。
本開示によれば、複数の撮影画像を用いて生成した仮想的な焦点面の高画質な合焦画像を用いて対象物の画像を生成することができる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び/又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その1以上を得るために全てが必要ではない。
実施の形態1に係る画像生成システムの機能的な構成の一例を示すブロック図である。 実施の形態1に係る照明器の構造の一例を模式的に示す図である。 実施の形態1に係る照明器の構造の一例を模式的に示す図である。 実施の形態1に係る照明器の構造の一例を模式的に示す図である。 実施の形態1に係る照明器に含まれるピンホールが満たすべき大きさ条件を説明する模式図である。 実施の形態1に係る記憶部が記憶する内容の一例を示す図である。 実施の形態1に係る画像生成システムの動作の一例を示すフローチャートである。 座標と焦点面との関係の一例を示す模式図である。 実施の形態1に係る撮影装置の動作の一例を示すフローチャートである。 実施の形態1に係るリフォーカス処理部の動作の一例を示すフローチャートである。 実施の形態1に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態1に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態1に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態1に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態1に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態1に係るリフォーカス処理部の動作の一例を示すフローチャートである。 撮影対象物の一例の胚の斜視図を示す図である。 複数の基準焦点面の基準合焦画像をその配置順序に従って一列に積み重ねて示す模式図である。 複数の基準合焦画像を画像として表示した例の写真を示す図である。 複数の背景除去合焦画像をそれぞれに対応する基準焦点面の配置順序に従って一列に積み重ねて示す図である。 複数の背景除去合焦画像を画像として表示した例の写真を示す図である。 輪郭基準合焦画像の一例を示す模式図である。 胚の3次元的な輪郭の一例を示す模式図である。 複数の基準断面画像の一例を示す図である。 複数の基準断面画像を画像として表示した例の写真を示す図である。 表示部がその表示画面上に表示する胚の3Dモデルの一例を示す図である。 表示部がその表示画面上に表示する胚の3Dモデルの一例を示す図である。 表示部がその表示画面上に表示する胚の3Dモデルの一例を示す図である。 図26Cを表示画面上に表示した例の一部を写真で示す図である。 実施の形態1に係る画像生成システムによる胚の詳細な断面画像の表示動作の一例を示すフローチャートである。 詳細に表示する胚の断面に交差する2つの基準焦点面の基準断面画像の画素を用いて、当該断面上の画素の輝度値を推定するケースの例を示す図である。 詳細に表示する胚の断面上の画素の算出に用いられる当該画素と2つの基準断面画像の画素との関係を示す図である。 実施の形態2に係る画像生成システムの機能的な構成の一例を示すブロック図である。 第1記録部が記憶する初期胚モデルの一例を示す図である。 第1記録部が記憶する最適断面設定テーブルの一例を示す図である。 実施の形態2に係る画像生成システムの最適断面画像の表示動作の一例を示すフローチャートである。 複数の照明器を、照明器からイメージセンサに向かう方向で見た平面図を示す図である。 撮影画像群内の複数の撮影画像の間での各要素の対応関係を示す図である。 複数の撮影画像の各要素の中心の位置を示す図である。 複数の撮影画像間の各要素の中心の位置関係を示す図である。 複数の撮影画像の要素の中心と照明器との位置関係を示す図である。 胚に含まれる2つの細胞の中心の間の位置関係を示す図である。 胚の最適断面画像が表示部の表示画面上に表示される一例を示す図である。 胚の最適断面画像を画像として表示した例の写真を示す図である。 表示部がその表示画面上に表示する焦点面変更画面の一例を示す図である。 焦点面変更画面を画像として表示した例の写真を示す図である。 実施の形態の変形例1に係るリフォーカス処理部の動作の一例を示すフローチャートである。 実施の形態の変形例2に係るリフォーカス処理部の動作の一例を示すフローチャートである。 実施の形態の変形例2に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態の変形例2に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態の変形例2に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態の変形例2に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態の変形例3に係る画像生成システムの機能的な構成の一例を示すブロック図である。 実施の形態の変形例3における照明位置の範囲の一例を模式的に示す図である。 レンズの焦点距離及び被写界深度の関係と、リフォーカシングする際の点光源の配置及び被写界深度の関係とを対応付けて示した模式図である。 実施の形態の変形例3に係る画像生成システムの動作の一例を示すフローチャートである。
本開示の一態様に係る画像生成装置は、複数の照明器と、対象物が載置される表面と複数のセンサ画素とを有するイメージセンサと、前記複数の照明器及び前記イメージセンサの間に位置する仮想的な複数の基準焦点面に対応する複数の基準合焦画像を生成し、前記複数の基準合焦画像を用いて、前記対象物の3次元画像を生成する制御回路とを備え、前記イメージセンサは、前記複数の照明器のそれぞれが照明する毎に、前記複数のセンサ画素で受光される光に基づく輝度値を用いて、複数の撮影画像を取得し、前記複数の基準合焦画像は、複数の合焦画素で構成されており、前記制御回路は、(a1)前記イメージセンサにより撮影された複数の撮影画像を取得し、(a2)前記複数の基準焦点面の情報を取得し、ここで、前記複数の基準焦点面は、前記対象物を通り且つ互いに間隔をあけて位置しており、(a3)前記複数の基準焦点面の情報と前記複数の撮影画像とを用いて、前記複数の基準合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記複数の基準合焦画像を生成し、(a4)前記複数の基準合焦画像のうちの前記対象物の輪郭のコントラストが最も高い前記基準合焦画像を用いて、前記対象物の輪郭を抽出し、(a5)抽出した前記対象物の輪郭に基づき前記対象物の立体的な輪郭を特定し、(a6)前記複数の基準合焦画像それぞれから、前記立体的な輪郭の外側に相当する領域を除去することによって、前記対象物の複数の基準断面画像を生成し、(a7)前記複数の基準断面画像を用いて、前記対象物の3次元画像を生成し、前記3次元画像を表示画面に表示させる。
本態様によれば、対象物を通る複数の焦点面についての複数の合焦画像つまり基準合焦画像を生成し、生成した合焦画像を使用して対象物の3次元画像の生成が可能である。対象物を通る複数の焦点面についての合焦画像を用いることによって、対象物が半透明又は透明であっても、対象物の3次元画像は対象物の内部に含まれる内包物も含めて立体的に表示され得る。また、対象物の全ての領域において、合焦画像を生成するのではなく、複数の焦点面についての合焦画像を生成するため、対象物の3次元画像の生成に要する処理量の低減も可能である。なお、対象物が載置されるイメージセンサの表面は、イメージセンサのセンサ画素の上の表面を含む。
本開示の一態様に係る画像生成装置において、前記制御回路は、外部から入力される指令に従って、表示している前記対象物の3次元画像上で前記対象物の断面を選択し、選択した前記対象物の断面の画像を、前記複数の基準合焦画像を構成する複数の画素の輝度を用いて生成し、前記対象物の断面の画像を構成する複数の断面画素の輝度値をそれぞれ、前記断面画素上の前記基準合焦画像の画素の輝度値又は前記断面画素の近傍の前記基準合焦画像の画素の輝度値を用いて、算出してもよい。
本態様によれば、対象物の3次元画像を用いて任意の断面を選択し、選択した断面の画像の表示が可能である。対象物の断面画像を構成する複数の断面画素の輝度値が、断面画素上の基準合焦画像の画素の輝度値又は断面画素の近傍の基準合焦画像の画素の輝度値を用いて算出されるため、対象物の断面画像は、途切れ、ぼやけ等を低減した鮮明な画像となり得る。
本開示の一態様に係る画像生成装置において、前記断面画素の輝度値の算出に用いられる前記断面画素の近傍の前記基準合焦画像の画素は、前記断面画素を挟んで位置する2つの前記基準焦点面それぞれの前記基準合焦画像の画素であってもよい。本態様によれば、断面画素の輝度値は、断面画素を挟んで両側の基準焦点面の基準合焦画像の画素を用いて算出されるため、高い精度を有し得る。
本開示の一態様に係る画像生成装置において、前記制御回路は、前記対象物の参考用断面を示す参考断面画像を生成し且つ前記参考断面画像を前記表示画面に表示させ、前記制御回路は、前記参考断面画像を構成する複数の画素の輝度値を、前記参考断面画像の画素上の前記基準合焦画像の画素の輝度値とすることによって、前記参考断面画像を生成してもよい。本態様によれば、ユーザは、参考断面画像を参照しつつ、表示すべき対象物の断面を選定することができる。また、参考断面画像の画素の輝度値は、基準合焦画像の画素の輝度値をそのまま用いたものであるため、参考断面画像の生成が簡易である。
本開示の一態様に係る画像生成装置において、前記制御回路は、前記照明器の位置と前記合焦画素の位置と前記センサ画素の位置とが直線上に並ぶ関係にある前記センサ画素それぞれの輝度値を用いることによって、前記合焦画素の輝度値を算出してもよい。本態様によれば、焦点面における合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を反映することができ、対象物の高画質な合焦画像を生成することができる。
本開示の一態様に係る画像生成装置において、前記対象物は胚であり、前記基準合焦画像に含まれる前記胚の輪郭は、円状であり、前記胚の立体的な輪郭は、球状であってもよい。本態様において、胚内の細胞は、胚の外部から透けて見える。イメージセンサは、照明器によって照明された胚及び細胞の撮影画像を取得することができる。このような構成を有する胚は、画像生成装置による画像の生成に好適である。
本開示の一態様に係る画像生成方法は、イメージセンサ上に位置する対象物の画像を生成する画像生成方法であって、(b1)複数の照明器のそれぞれを照明する毎に、前記イメージセンサの複数のセンサ画素で受光される光に基づく輝度値を用いて、複数の撮影画像を取得し、(b2)前記複数の照明器及び前記イメージセンサの間に位置する仮想的な複数の基準焦点面を設定し、ここで、前記複数の基準焦点面は、前記対象物を通り且つ互いに間隔をあけて位置し、(b3)前記複数の基準焦点面に対応する複数の基準合焦画像を生成することであって、前記複数の基準焦点面の情報と前記複数の撮影画像とを用いて、前記複数の基準合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記複数の基準合焦画像を生成し、(b4)前記複数の基準合焦画像のうちから前記対象物の輪郭のコントラストが最も高い前記基準合焦画像を用いて、前記対象物の輪郭を抽出し、(b5)抽出した前記対象物の輪郭に基づき前記対象物の立体的な輪郭を特定し、(b6)前記複数の基準合焦画像それぞれから、前記立体的な輪郭の外側に相当する領域を除去することによって、前記対象物の複数の基準断面画像を生成し、(b7)前記複数の基準断面画像を用いて、前記対象物の3次元画像を生成し、前記3次元画像を表示画面に表示させ、前記(b1)〜(b7)の少なくとも1つは制御回路により実行される。
本開示の一態様に係る画像生成方法において、(c1)前記対象物の3次元画像上で前記対象物の断面を選択し、(c2)選択した前記対象物の断面の画像を、前記複数の基準合焦画像を構成する複数の画素の輝度を用いて生成し、(c3)前記対象物の断面の画像を構成する複数の断面画素の輝度値をそれぞれ、前記断面画素上の前記基準合焦画像の画素の輝度値又は前記断面画素の近傍の前記基準合焦画像の画素の輝度値を用いて、算出してもよい。
さらに、本開示の一態様に係る画像生成方法において、前記断面画素の輝度値の算出では、前記断面画素の近傍の前記基準合焦画像の画素として、前記断面画素を挟んで位置する2つの前記基準焦点面それぞれの前記基準合焦画像の画素を用いてもよい。
本開示の一態様に係る画像生成方法において、(d1)前記対象物の参考用断面を示す参考断面画像を生成し且つ前記参考断面画像を前記表示画面に表示させ、前記参考断面画像の生成では、前記参考断面画像を構成する複数の画素の輝度値を、前記参考断面画像の画素上の前記基準合焦画像の画素の輝度値としてもよい。
本開示の一態様に係る画像生成方法において、前記照明器の位置と前記合焦画素の位置と前記センサ画素の位置とが直線上に並ぶ関係にある前記センサ画素それぞれの輝度値を用いて、前記合焦画素の輝度値を算出してもよい。
本開示の一態様に係る画像生成方法において、前記対象物は胚であり、前記基準合焦画像に含まれる前記胚の輪郭は、円状であり、前記胚の立体的な輪郭は、球状であってもよい。
本開示の一態様に係るプログラムは、コンピュータに実行させるプログラムであって、(e1)イメージセンサ上に位置する対象物の複数の撮影画像を取得し、ここで、前記複数の撮影画像は、複数の照明器のそれぞれを照明する毎に、前記イメージセンサの複数のセンサ画素で受光される光に基づく輝度値を用いて、前記イメージセンサによって取得され、(e2)前記複数の照明器及び前記イメージセンサの間に位置する仮想的な複数の基準焦点面を設定し、ここで、前記複数の基準焦点面は、前記複数の照明器及び前記イメージセンサの間で、前記対象物を通り且つ互いに間隔をあけて位置し、(e3)前記複数の基準焦点面に対応する複数の基準合焦画像を生成することであって、前記複数の基準焦点面の情報と前記複数の撮影画像とを用いて、前記複数の基準合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記複数の基準合焦画像を生成し、(e4)前記複数の基準合焦画像のうちから前記対象物の輪郭のコントラストが最も高い前記基準合焦画像を用いて、前記対象物の輪郭を抽出し、(e5)抽出した前記対象物の輪郭に基づき前記対象物の立体的な輪郭を特定し、(e6)前記複数の基準合焦画像それぞれから、前記立体的な輪郭の外側に相当する領域を除去することによって、前記対象物の複数の基準断面画像を生成し、(e7)前記複数の基準断面画像を用いて、前記対象物の3次元画像を生成し、前記3次元画像を表示画面に表示させる。
本開示の他の態様に係る画像生成装置は、複数の照明器と、対象物が載置される表面を有するイメージセンサと、前記複数の照明器及び前記イメージセンサの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する制御回路とを備え、前記対象物は、第一対象物と、前記第一対象物内に含まれる第二対象物とを含み、前記制御回路は、(a1)前記複数の照明器のそれぞれが照明する際に前記イメージセンサが撮影した複数の撮影画像を取得し、(a2)取得した前記撮影画像それぞれに含まれる前記第二対象物の特徴点を特定し、(a3)前記撮影画像それぞれの前記第二対象物の特徴点の位置と、前記複数の照明器の位置とに基づき、前記第二対象物の特徴点の立体的な位置を算出し、(a4)前記第二対象物の特徴点を最も多く含む前記第一対象物の断面を求めて、前記断面の合焦画像を生成し、前記断面の合焦画像を表示画面に表示させる。
本態様によれば、画像生成装置は、第一対象物内の第二対象物の特徴点を最も多く含む断面を選定し、選定した断面の合焦画像を表示する。表示される断面の合焦画像は、第一対象物の内部の多くの特徴を表示することができる。よって、画像生成装置は、ユーザに有益な情報を自動的に生成し提供することができる。
本開示の他の態様に係る画像生成装置において、前記制御回路は、前記第二対象物の特徴点を特定する際、前記撮影画像間で前記第二対象物の特徴点を対応付けてもよい。本態様によれば、撮影画像間において対応する第二対象物の特徴点が特定される。例えば、2つ以上の特徴点が設定される場合、撮影画像間で対応する特徴点の位置関係の算出が可能になる。これにより、2つ以上の第二対象物がある場合、画像生成装置は、各第二対象物と特徴点とを対応付けることによって、断面の合焦画像に、より多くの第二対象物を表示することができる。
本開示の他の態様に係る画像生成装置において、前記第一対象物は、球形状の胚であり、前記第二対象物は、細胞であり、前記特徴点は、前記細胞の中心点であってもよい。本態様において、胚内の細胞は、胚の外部から透けて見える。イメージセンサは、照明器によって照明された胚及び細胞の撮影画像を取得することができる。このような構成を有する胚は、画像生成装置による画像の生成に好適である。
本開示の他の態様に係る画像生成方法は、前記画像生成方法が、複数の照明器及びイメージセンサの間に位置する仮想的な焦点面の合焦画像を用いて、前記イメージセンサ上に位置する対象物の画像を生成し、前記対象物が、第一対象物と、前記第一対象物内に含まれる第二対象物とを含む画像生成方法であって、(b1)前記複数の照明器を順番に照明して撮影された複数の撮影画像を取得し、(b2)取得した前記撮影画像それぞれに含まれる前記第二対象物の特徴点を特定し、(b3)前記撮影画像それぞれの前記第二対象物の特徴点の位置と、前記複数の照明器の位置とに基づき、前記第二対象物の特徴点の立体的な位置を算出し、(b4)前記第二対象物の特徴点を最も多く含む前記第一対象物の断面を求めて、前記断面の合焦画像を生成し、前記断面の合焦画像を表示画面に表示させ、前記(b1)〜(b4)の少なくとも1つは制御回路により実行される。
本開示の他の態様に係る画像生成方法において、前記第二対象物の特徴点を特定する際、前記撮影画像間で前記第二対象物の特徴点を対応付けてもよい。
また、本開示の他の態様に係る画像生成方法において、前記第一対象物は、球形状の胚であり、前記第二対象物は、細胞であり、前記特徴点は、前記細胞の中心点であってもよい。
本開示の他の態様に係るプログラムは、コンピュータに実行させるプログラムであって、(c1)複数の照明器それぞれが照明する際にイメージセンサによって撮影された対象物の複数の撮影画像を取得し、前記対象物は、前記イメージセンサ上に位置し、前記対象物が、第一対象物と、前記第一対象物内に含まれる第二対象物とを含み、(c2)取得した前記撮影画像それぞれに含まれる前記第二対象物の特徴点を特定し、(c3)前記撮影画像それぞれの前記第二対象物の特徴点の位置と、前記複数の照明器の位置とに基づき、前記第二対象物の特徴点の立体的な位置を算出し、(c4)前記第二対象物の特徴点を最も多く含む前記第一対象物の断面を求めて、前記断面を仮想的な焦点面とする合焦画像を生成し、前記合焦画像を表示画面に表示させる。
本開示の他の態様に係るプログラムにおいて、前記第二対象物の特徴点を特定する際、前記撮影画像間で前記第二対象物の特徴点を対応付けてもよい。
また、本開示の他の態様に係るプログラムにおいて、前記第一対象物は、球形状の胚であり、前記第二対象物は、細胞であり、前記特徴点は、前記細胞の中心点であってもよい。
なお、これら画像生成装置及び画像生成方法の全般的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能なCD−ROMなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。例えば、画像生成方法は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)などのプロセッサ、LSIなどの回路、ICカード又は単体のモジュール等によって、実現されてもよい。
また、これらプログラムは、実施の形態での処理は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよい。例えば、上記プログラム及び上記プログラムからなるデジタル信号は、コンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリ等に記録したものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実施されてもよい。
以下、本開示の一態様に係る画像生成システムについて、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数%程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。
[実施の形態1]
実施の形態1に係る画像生成装置を含む画像生成システムは、イメージセンサ上に位置する対象物に複数の照明器が順に照明し、照明する毎に対象物を撮影することで得られた複数の撮影画像を用いて、複数の照明器とイメージセンサとの間に位置する仮想的な焦点面における対象物の画像を生成する。なお、この複数の撮影画像を用いて生成された画像を合焦画像又はリフォーカシング画像とも呼び、撮影画像を用いて仮想的な焦点面における対象物の画像を生成することをリフォーカス処理とも呼ぶ。リフォーカス処理では、撮影画素を用いて仮想的な焦点面における画素が求められてもよい。画像生成システムは、複数の仮想的な焦点面における合焦画像を生成し、生成した複数の合焦画像を用いて、対象物の3次元モデル(3Dモデル)を生成する。さらに、画像生成システムは、3Dモデルに含まれる複数の合焦画像を用いて、3Dモデルにおける任意の断面画像を生成する。
[1−1.画像生成システムの構成]
[1−1−1.画像生成システムの全体構成]
図1は、実施の形態1に係る画像生成システム10の機能ブロック図である。図1に示される画像生成システム10は、撮影装置100と、画像生成装置200と、記憶部120と、表示部150とを備える。画像生成システム10は、さらに、予め定められた焦点面及び撮影対象物の形状等の情報を記憶している第1記録部121と、リフォーカス処理済みの画素の情報を記録する第2記録部122と、焦点面を指定する指定情報の入力を受け付ける焦点面入力部130と、表示部150に表示される表示物に与えられる動作指令の入力を受け付けるCG操作入力部140とを備えてもよい。表示部150は、ディスプレイによって実現され、画像操作部260、断面画像生成部270によって生成される画像等を表示する。焦点面入力部130及びCG操作入力部140は、コンピュータ装置などのキーボード、マウス、タッチパッド等の種々の入力装置によって実現されてもよく、表示部150を構成するタッチスクリーン等の画面を介した入力装置によって実現されてもよい。
[1−1−2.撮影装置の構成]
まず、撮影装置100の構成について説明する。撮影装置100は、複数の照明器101と、イメージセンサ102と、撮影制御部103とを備える。撮影装置100は、対象物の撮影画像(photographic image)を取得する。ここでは、撮影装置100は、フォーカスレンズを有さない。
撮影の対象物は、例えばイメージセンサ102の表面上に配置される複数の半透明の物質である。具体的には、対象物は、後述するイメージセンサ102が有するセンサ画素としての複数の画素の上に、載置される。対象物が載置されるイメージセンサ102の表面は、イメージセンサ102の画素の上の表面を含む。対象物の具体例は、脊椎動物の受精卵の初期胚、つまり球状の胚である。対象物内において、複数の物質が3次元的に重なって位置する。複数の物質の具体例は、球状の細胞である。ここで、胚は、第一対象物の一例であり、細胞は、第二対象物の一例である。以下、胚を用いて、実施の形態1を説明する。なお、第一対象物としての撮影の対象物の形状は、球形状に限定されず、いかなる形状であってもよい。例えば、撮影の対象物の形状は、楕円体、柱状体、多面体等であってもよい。第二対象物としての複数の物質の形状は、球形状に限定されず、いかなる形状であってもよい。例えば、複数の物質の形状は、楕円体、柱状体、多面体等であってもよい。第一対象物としての撮影の対象物は、撮影されるときに、その内部の第二対象物としての複数の物質も撮影されるように、例えば、透明又は半透明に形成されてもよい。第二対象物としての複数の物質は、照明器101の光が透過するように、例えば、透明又は半透明に形成されてもよいが、透明及び半透明以外の構成を有してもよい。第二対象物としての物質は、複数の物質で構成されなくてもよく、1つの物質で構成されてもよい。
複数の照明器101は、例えば、線形上又は面状に配列されて設置される。複数の照明器101の各々は、平行光を出力する照明器、又は拡散光を出力する照明器である。複数の照明器101は、第1の照明器及び第2の照明器を含む。第1の照明器及び第2の照明器のそれぞれは、交錯しない光を照射する。すなわち、第1の照明器から照射された第1の光を表す複数の第1の光線は、互いに交わらない。また、第2の照明器から照射された第2の光を表す複数の第2の光線も、互いに交わらない。したがって、第1の照明器及び第2の照明器のどちらか一方から光を照射した場合に、第1の照明器及び第2の照明器の当該一方からの光は、イメージセンサ102に含まれる1つの画素に単一の方向から到達する。つまり、1つの画素に対して2つ以上の方向から光が到達しない。
以下において、このような照明を非交錯照明と呼ぶ。非交錯照明は、例えば平行光、または、点光源からの拡散光によって実現できる。複数の照明器101は、順に、光を照射する。複数の照明器101は、互いに異なる位置に配置され、互いに異なる方向から対象物に光を照射する。
イメージセンサ102は、複数の画素をセンサ画素として有する。イメージセンサ102の各画素は、受光面に配置され、複数の照明器101から照射された光の強度を取得する。イメージセンサ102は、各画素により取得された光の強度に基づいて、撮影画像を取得する。
イメージセンサ102の例は、CMOS(Complementary Metal−Oxide Semiconductor)イメージセンサ又はCCD(Complementary Metal−Oxide Semiconductor)イメージセンサである。
撮影制御部103は、複数の照明器101による光の照射及びイメージセンサ102による撮影を制御する。具体的には、撮影制御部103は、複数の照明器101が光を照射する順番、複数の照明器101が光を照射する時間間隔を制御する。撮影制御部103は、CPU、RAM(Random Access Memory)、ROM(Read−Only Memory)などからなるコンピュータシステム(図示せず)により構成される。撮影制御部103の構成要素の一部又は全部の機能は、CPUがRAMを作業用のメモリとして用いてROMに記録されたプログラムを実行することによって達成されてもよい。また、撮影制御部103の構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。
イメージセンサ102の受光面に対して互いに異なる位置に配置された複数の照明器101から照射される光は、受光面に対して異なる入射角で入射する。複数の照明器101が平行光を照射する場合は、複数の照明器101は、イメージセンサ102の受光面に対する入射角が互いに異なる平行光を照射する。平行光は、例えば図2に示すように、遮光板101Bに形成されたピンホール101Cを介してLED光源101Aから射出された光をコリメートレンズ101Dにより屈折させることにより得られる。
図3は、複数の照明器101の構造の一例を説明する模式図である。図3の複数の照明器101の例では、平行光を照射する複数の光源101Eがイメージセンサ102の受光面に対して異なる角度で固定されている。図3の例では複数の光源101Eは、イメージセンサ102を覆う半球101Fの内面に配置されている。複数の光源101Eからイメージセンサ102の受光面に到達する光の受光面への入射角は互いに異なる。
図4は、複数の照明器101の構造の別の一例を説明する模式図である。図4の複数の照明器101の例では、複数の擬似点光源101Gが、イメージセンサ102の受光面と平行な平面101H上の異なる位置に、イメージセンサ102側に向けて配置されている。複数の擬似点光源101Gからの光は、イメージセンサ102の受光面の各画素に対して、異なる方向から入射する。複数の擬似点光源101Gの各々は、例えば、LED光源101Aの近傍にピンホール101Cを有する遮光板101Bを置くことで実現される。ピンホール101Cの大きさは、イメージセンサ102の画素ピッチと、イメージセンサ102とピンホール101Cとの距離、合焦画像を生成する点のイメージセンサ102からの距離とによって制限される。
図5は、ピンホールが満たすべき大きさの条件を説明する模式図である。ここで、d1は、ピンホール101Cの直径を表す。h1は、イメージセンサ102の受光面からピンホール101Cまでの距離を表す。h2は、イメージセンサ102の受光面から合焦点101J(すなわち合焦画像中の任意の画素の焦点面上の位置にある点)までの距離を表す。d2は、ピンホール101Cから合焦点を透過してイメージセンサ102の受光面に到達する光の広がりの直径を表す。pは、イメージセンサ102の画素ピッチを表す。
このとき、ピンホール101Cから射出された光は、合焦点101Jを通過してイメージセンサ102の受光面の1点に到達することが理想である。すなわち、ピンホール101Cから射出された光は、合焦点101Jを通過してイメージセンサ102の1画素にのみ到達することが望ましい。したがって、d2がイメージセンサの画素ピッチpを超えない大きさであることが望ましい。つまり、以下の式1に示すようにd2<pが非交錯照明を実現するための条件である。
d1が満たすべき条件は、この式1を変形することにより以下の式2のように表すことができる。
例えば、画素ピッチpが0.001mmであり、イメージセンサ102の受光面からピンホール101Cまでの距離h1が2mm、イメージセンサ102から合焦点101Jまでの距離h2が0.1mmである場合、ピンホールの直径d1は0.19mm未満であってもよい。
[1−1−3.画像生成装置の構成]
次に、画像生成装置200の構成について説明する。画像生成装置200は、制御回路によって実現される。図1に示すように、画像生成装置200は、焦点面決定部210と、リフォーカス処理部220と、合焦画像生成部230と、対象物抽出部240と、3D画像生成部250と、画像操作部260と、断面画像生成部270とを備える。
焦点面決定部210は、例えば制御回路又はプロセッサによって実現され、複数の照明器101及びイメージセンサ102の間に位置する仮想的な焦点面を決定する。具体的には、焦点面決定部210は、例えば、第1記録部121に記録された予め定められた焦点面の情報に基づいて焦点面を決定する。また例えば、焦点面決定部210は、焦点面入力部130を介して外部から入力された情報に従って焦点面を決定してもよい。本実施の形態では、焦点面決定部210は、イメージセンサ102の受光面に略平行である複数の焦点面を決定する。言い換えると、本実施形態における焦点面は平面である。
記憶部120は、例えば半導体メモリ又はハードディスクドライブ等によって実現され、イメージセンサ102で撮影された画像を、当該撮影に用いられた照明器の位置情報とともに記憶する。
図6は、記憶部120が記憶する内容の一例を示す。記憶部120には、撮影装置100によって撮影された画像ファイルごとに、当該画像ファイルの取得時に用いられた照明器の位置情報が組み合わされて記憶されている。図6の例では、照明器の位置情報は、イメージセンサ102に対する相対的な位置を示す。以下において、この照明器の位置情報を照明位置情報とも呼ぶ。照明位置情報は、画像ファイルのファイルIDとともに記憶されており、画像データとファイルIDを介して結合されている。なお、照明位置情報は、画像ファイルの一部(例えばヘッダ情報)に記録されてもよい。
図1を参照すると、リフォーカス処理部220は、例えば制御回路又はプロセッサによって実現され、複数の画像と、複数の照明器101の位置情報と、仮想的な焦点面の情報とから、当該焦点面における合焦画像を構成する画素ごとの光の強度を計算する。本実施の形態では、リフォーカス処理部220は、複数の焦点面における合焦画像を構成する画素ごとの光の強度を計算する。このリフォーカス処理の詳細は後述する。
合焦画像生成部230は、例えば制御回路又はプロセッサによって実現され、リフォーカス処理部220で計算された画素ごとの輝度値から、各焦点面における合焦画像を生成する。
対象物抽出部240は、例えば制御回路又はプロセッサによって実現される。対象物抽出部240は、各焦点面の合焦画像において、対象物が写し出されている領域である写出領域の輪郭を特定し、この輪郭の外側にある背景を合焦画像から除去する。つまり、対象物抽出部240は、背景除去合焦画像を生成する。
3D画像生成部250は、例えば制御回路又はプロセッサによって実現される。3D画像生成部250は、複数の背景除去合焦画像のうちから、写出領域の輪郭のコントラストが最も強い画像である輪郭基準合焦画像を抽出する。3D画像生成部250は、輪郭基準合焦画像に含まれる2次元的な輪郭の形状と、第1記録部121に記憶される対象物の形状とから、対象物の具体的な3次元的輪郭を特定する。さらに、3D画像生成部250は、複数の背景除去合焦画像と対象物の3次元的輪郭とを関連付け、複数の背景除去合焦画像それぞれにおいて3次元的輪郭外に含まれる領域を除去する。これにより、複数の背景除去合焦画像それぞれに対応する対象物の断面画像が生成されることになる。これらの断面画像は、予め設定された焦点面での断面画像であり、基準断面画像と呼ぶ。3D画像生成部250は、複数の基準断面画像を用いて対象物の3Dモデルを生成する。この3Dモデルは、対象物の3次元的輪郭及び複数の基準断面画像に関する情報を含み得る。
画像操作部260は、例えば制御回路又はプロセッサによって実現される。画像操作部260は、3D画像生成部250が生成した対象物の3Dモデルを表示部150に表示する。このとき、画像操作部260は、対象物の3次元的な輪郭等を表示部150に表示する。さらに、画像操作部260は、対象物の断面の位置が選択されたとき、選択された断面の簡易画像を、対象物の3次元的な輪郭とともに表示部150に表示する。この際、3D画像生成部250は、複数の基準断面画像に含まれる情報を用いて、対象物の簡易的な断面画像である参考断面画像を生成する。このため、例えば、選択された断面が、複数の基準断面画像に対応する焦点面(以下、基準断面画像平面とも呼ぶ)と交差する断面である場合、複数の基準断面画像平面間の領域は、参考断面画像には明確に表示されない。画像操作部260は、CG操作入力部140を介して表示すべき参考断面画像の位置を選択する指令を受け付け、この指令に基づき対象物の参考断面画像を表示する。画像操作部260は、例えば制御回路又はプロセッサによって実現される。画像操作部260は、3D画像生成部250が生成した対象物の3Dモデルを表示部150に表示する。
断面画像生成部270は、例えば制御回路又はプロセッサによって実現される。断面画像生成部270は、表示すべき対象物の断面の位置と、複数の基準断面画像に含まれる情報とを用いて、表示すべき対象物の断面の詳細な画像を生成し、表示部150に表示する。具体的には、断面画像生成部270は、表示すべき対象物の断面において、基準断面画像平面と重なる又は交差する部分の画素の輝度値として、当該基準断面画像の画素の輝度値を使用する。断面画像生成部270は、表示すべき対象物の断面において、基準断面画像平面と重なりも交差もしない領域内の画素の輝度値を、この画素の近傍に位置する基準断面画像平面の基準断面画像の画素の輝度値を使用して、算出する。つまり、断面画像生成部270は、表示すべき対象物の断面において基準断面画像の画素が適用される画素の間に存在する画素(以下、補間画素とも呼ぶ)の輝度値を算出する。そして、断面画像生成部270は、基準断面画像に含まれる画素の輝度値と、補間画素の輝度値とを用いて、対象物の断面の詳細な画像を生成する。断面画像生成部270は、生成した画像を表示部150に表示する。断面画像生成部270は、CG操作入力部140を介して表示すべき対象物の断面の位置が与えられ得る。具体的には、表示すべき対象物の断面は、CG操作入力部140を介して、表示部150に表示される対象物の参考断面画像のうちから選択することによって決定されてもよい。
[1−2.画像生成システムの動作]
[1−2−1.画像生成システムのリフォーカス処理の概略動作]
次に、以上のように構成された画像生成システム10によるリフォーカス処理の概略動作つまり合焦画像の生成の概略動作について説明する。図7は、実施の形態1に係る画像生成システム10の合焦画像の生成動作の一例を示すフローチャートである。図8は、座標と焦点面との関係の一例を示す模式図である。
(ステップS1100)
まず、撮影装置100の撮影制御部103は、複数の照明器101を順に用いて対象物を照明し、当該対象物の複数の画像を撮影する。具体的には、撮影制御部103は、複数の照明器101のそれぞれが対象物を照明するたびに、イメージセンサ102の受光面の各画素に到達した光の強度を記録することにより、対象物の画像を取得する。取得された画像は、撮影時に対象物を照明していた照明器の位置情報とともに記憶部120で記憶される。ここでは、複数の照明器101の位置は、イメージセンサ102に対して固定されており、複数の照明器101の各々の位置情報は予め定められている。撮影処理の詳細は後述する。
(ステップS1200)
画像生成装置200の焦点面決定部210は、焦点面を決定する。具体的には、焦点面決定部210は、イメージセンサ102に対する焦点面の位置及び傾き(角度)を決定する。例えば、焦点面決定部210は、第1記録部121に記憶される予め定められた焦点面の情報に基づいて焦点面を決定してもよい。または、焦点面決定部210は、焦点面入力部130によりユーザから受け付けられた、焦点面を指定する指定情報に基づいて、焦点面を決定してもよい。焦点面は、合焦画像が生成される仮想的な面に相当する。つまり、焦点面における対象物の合焦画像に含まれる複数の画素は、焦点面上の複数の点に一対一で対応する。例えば、焦点面決定部210は、焦点面の角度及び位置を用いて焦点面を決定する。焦点面の角度及び位置は、例えば図8に示すxyz空間によって定義される。
図8において、xy平面は、イメージセンサ102の受光面と一致する。z軸は、イメージセンサ102の受光面に直交する。このとき、焦点面の角度は、イメージセンサ102の受光面の中心を原点とするxyz空間においてx軸及びy軸に対する角度で定義される。焦点面の位置は、焦点面の中心点の座標で定義される。断面画像生成部270は、例えば制御回路又はプロセッサによって実現される。断面画像生成部270は、表示すべき対象物の断面の位置と、複数の基準断面画像に含まれる情報とを用いて、表示すべき対象物の断面の詳細な画像を生成し、表示部150に表示する。
(ステップS1300)
リフォーカス処理部220は、複数の撮影画像と、複数の照明器101の位置情報と、焦点面の情報とに基づいて、リフォーカス処理を行い、焦点面上の各画素つまり各点の輝度を求める。リフォーカス処理の詳細は後述する。
(ステップS1400)
合焦画像生成部230は、ステップS1300で行われたリフォーカス処理の結果に基づきディスプレイ等に出力可能な画像データとしての焦点面の合焦画像を生成する。
[1−2−2.撮影処理]
ここでステップS1100の撮影装置100の動作、具体的には撮影制御部103の動作の詳細を説明する。図9は、撮影装置100の動作の一例を示すフローチャートである。
(ステップS1110)
撮影制御部103は、予め定められた複数の照明位置、または図示しない外部入力によって指定された複数の照明位置のリスト(以下、照明位置リストという)を参照して、各照明位置から照明された対象物の撮影が終了したか否かを判定する。複数の照明器101と照明位置リストに含まれる複数の照明位置は1対1に対応する。
ここで、照明位置リストに含まれるすべての照明位置からの照明による撮影が終了している場合(ステップS1110においてyes)、焦点面を決定するためのステップS1200へ進む。一方、照明位置リスト内のいずれかの照明位置からの照明による撮影が終了していない場合(ステップS1110においてno)、ステップS1120へ進む。
(ステップS1120)
撮影制御部103は、照明位置リストに含まれる複数の照明位置の中から、まだ照明が行われていない照明位置を選択し、複数の照明器101へ制御信号を出力する。なお、撮影制御部103は、まだ照明が行われていない照明位置が複数存在する場合は、一つの照明位置を選択する。照明位置リストにおいて、各照明位置は、例えば、照明位置ごとに割り当てられた番号によって示される。あるいは、各照明位置は、例えば、図8に示すxyz空間における座標値によって示される。照明位置の選択は、例えば、リストの昇順に行われる。
(ステップS1130)
複数の照明器101は、ステップS1120で撮影制御部103より出力された制御信号に従って、対象物への照明を開始する。つまり、ステップS1120で選択された照明位置にある照明器が光の照射を開始する。
(ステップS1140)
照明器によって対象物が照明されている間に、イメージセンサ102は、当該照明器から対象物を透過した光によって形成される画像を取得する。
(ステップS1150)
その後、撮影制御部103は、複数の照明器101へ制御信号を出力して、対象物への照明を停止する。なお、照明の停止は、撮影制御部103からの制御信号に従って行われなくてもよい。例えば、複数の照明器101は、照明を開始してからの時間長を計時して、計時した時間長が予め定められた時間長を超えたら照明を能動的に停止してもよい。あるいはステップS1140でイメージセンサ102が画像の取得を終了した後に、イメージセンサ102は、照明を停止するための制御信号を複数の照明器101に出力してもよい。
(ステップS1160)
次いで、撮影制御部103は、ステップS1140で取得された画像と、ステップS1130で用いられた照明器の位置情報とを記憶部120へ出力する。そして、記憶部120は、画像データと照明位置の情報とを対応付けて記憶する。ステップS1160の後、ステップS1110へ戻る。
ステップS1110からステップS1160までの処理が繰り返されることで、照明位置リストに含まれるすべての照明位置の照明器から順次対象物に光が照射され、対象物に光が照射されるたびに画像を取得する。
[1−2−3.画像生成システムのリフォーカス処理の詳細動作]
さらに、ステップS1300のリフォーカス処理部220の動作の詳細を説明する。図10は、実施の形態1に係るリフォーカス処理部220の動作の一例を示すフローチャートである。図11〜図15は、リフォーカス処理の計算方法の具体例を説明する模式図である。
以下に、図11〜図15を参照しながら、図10の各ステップについて説明する。
(ステップS1310)
リフォーカス処理部220は、ステップS1200で決定された焦点面の情報を焦点面決定部210から取得する。
焦点面の情報は、例えば、焦点面の中心の座標値と、焦点面の傾きを示す値とを含む。焦点面の傾きは、例えば、焦点面及びxz平面の交線とx軸とが成す角度によって表される。また例えば、焦点面の傾きは、焦点面及びyz平面の交線とy軸とが成す角度によって表される。焦点面の中心の座標値は、合焦画像の中心の画素に対応する焦点面上の点の座標値である。
図11は、撮影装置100及び対象物1000の、xz平面における断面図の一例を示す。対象物1000は、照明器101a、101bとイメージセンサ102との間に位置し、かつイメージセンサ102上に位置する。リフォーカス処理部220は、焦点面1100の情報を取得する。
(ステップS1320)
リフォーカス処理部220は、合焦画像に含まれる全画素についてリフォーカス処理が終了したか否かを判定する。ここでは、リフォーカス処理とは、ステップS1320からステップS1390までの処理を意味する。
合焦画像に含まれる全画素についてリフォーカス処理が終了している場合(ステップS1320においてyes)、リフォーカス処理部220は、リフォーカス処理を終了する(ステップS1400へ進む)。
合焦画像に含まれるいずれかの画素についてリフォーカス処理が終了していない場合(ステップS1320においてno)、リフォーカス処理部220は、リフォーカス処理を続行する(ステップS1330へ進む)。
合焦画像は、複数の画素を含む。合焦画像に含まれる複数の画素は、焦点面上の複数の点に一対一で対応する。図12は、合焦画像に含まれる複数の画素に対応する、焦点面1100上の複数の点1102a〜1102eを示す。なお、図12に示す焦点面1100上の複数の点1102a〜1102eは、対象物1000上の点であったが、対象物1000上ではない点が合焦画像の画素に対応してもよい。
(ステップS1330)
リフォーカス処理部220は、合焦画像に含まれる複数の画素の中から1つの画素を選択する。ここで選択される1つの画素は、合焦画像に含まれる複数の画素のうち、リフォーカス処理がまだ実行されていない画素である。なお、合焦画像の画素値の初期値は0である。
例えば、図1に示した第2記録部122に、合焦画像のうちすでにリフォーカス処理が実行された画素の情報が記憶されている。後述するステップS1390の処理の後、リフォーカス処理部220は、第2記録部122にリフォーカス処理した画素の情報を記録する。リフォーカス処理部220は、第2記録部122に記録された画素の情報を参照して、リフォーカス処理がまだ実行されていない画素を選択する。以下、図13に示すように、点1102aに対応する画素が選択された場合について説明する。また、点1102aに対応する画素を選択画素とも表記する。
(ステップS1340)
リフォーカス処理部220は、すべての照明位置に対する加算処理が終了しているか否かを判定する。
ここで、すべての照明位置に対する加算処理が終了している場合(ステップS1340においてyes)、リフォーカス処理部220の処理は、ステップS1320に戻る。
一方、いずれかの照明位置に対する加算処理が終了していない場合(ステップS1340においてno)、リフォーカス処理部220は加算処理を続行する(ステップS1350に進む)。ここで、加算処理とは、ステップS1340からステップS1390までの処理を意味する。
(ステップS1350)
リフォーカス処理部220は、撮影に用いたすべての照明位置の中からまだ加算処理が終了していない照明位置を選択する。
(ステップS1360)
リフォーカス処理部220は、選択された照明位置と焦点面における選択画素の位置とを通る直線が、イメージセンサ102の受光面と交差する点の位置を計算する。
図14は、照明器101aの位置と選択画素に対応する点1102aとを通る直線1200と、イメージセンサ102の受光面との交点1103aを示す。以下において、交点1103aを、加算処理を行う対象の点である対象点とも表記する。
イメージセンサ102の受光面上の対象点は、例えば、図8に示すxy平面上の座標値で表される。
(ステップS1370)
リフォーカス処理部220は、選択された照明位置に対応する画像を記憶部120から取得する。つまり、リフォーカス処理部220は、選択された照明位置にある照明器を用いて撮影された画像を記憶部120から取得する。具体的には、リフォーカス処理部220は、図6に示した照明位置情報と画像との対応関係に従って、記憶部120に記憶された画像を取得する。例えば、リフォーカス処理部220は、図13に示す照明器101aの位置に対応する画像を取得する。
(ステップS1380)
リフォーカス処理部220は、ステップS1360で計算されたイメージセンサ102上の対象点の撮影画像中の位置を決定する。具体的には、リフォーカス処理部220は、撮影画像の画素の配列を基準に撮影画像における対象点の位置を決定する。
撮影画像における対象点の位置が複数の画素の中間位置である場合、リフォーカス処理部220は、対象点の位置に隣接する複数の画素の輝度値を用いて補間処理を行うことにより、撮影画像における対象点の輝度値を計算する。具体的には、リフォーカス処理部220は、例えば、対象点に隣接する複数の画素(例えば4画素)のそれぞれの画素と対象点との距離を求め、対象点と各画素との距離の比を各画素の輝度値に乗じて加算することで、撮影画像における対象点の輝度値を求める。
図15は、ステップS1380における対象点の輝度値の計算を説明するための模式図である。図15において、対象点に隣接する4つの画素A〜画素Dと対象点との距離は、それぞれ、a、b、c、及びdと表されている。この場合、対象点の輝度値Ltは、以下の式3で求められる。
ここで、La、Lb、Lc及びLdは、それぞれ、画素A、画素B、画素C及び画素Dの輝度値を表す。
(ステップS1390)
リフォーカス処理部220は、合焦画像上の選択画素の輝度値にステップS1380で計算した対象点の輝度値を加算する。
ステップS1340からステップS1390までの処理を繰り返すことにより、全ての照明位置について、撮影された画像中の対象点の輝度値が選択画素の輝度値に加算された結果が、選択画素の輝度値として計算される。
このような加算処理によって、焦点面上の各点について、当該点を透過した複数の方向からの光によって形成された複数の画像が合焦画像の1つの画素に重ねられる。
図14において、照明器101aから照射された光は、選択画素に対応する焦点面1100上の点1102aを透過してイメージセンサ102の受光面上の対象点(交点1103a)に到達する。したがって、照明器101aによって撮影された画像中の対象点(交点1103a)の位置には、焦点面1100上の点1102aにおける画像が含まれている。
また、図14において、照明器101bから照射された光は、選択画素に対応する焦点面1100上の点1102aを透過してイメージセンサ102の受光面上の対象点(交点1103b)に到達する。したがって、照明器101bによって撮影された画像中の対象点(交点1103b)の位置には、焦点面1100上の点1102aにおける画像が含まれている。
このような対象点(交点1103a)における画像(輝度値)及び対象点(交点1103b)における画像(輝度値)が加算されることにより、複数の方向からの光によって形成された複数の画像が合焦画像の選択画素に重ねられる。
上述のようなリフォーカス処理によれば、焦点面上における画素の位置及び照明器の位置を結ぶ直線とイメージセンサ102の受光面との交点である対象点の輝度値を、当該画素の輝度値に適用することができる。したがって、仮想的な焦点面における合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を反映することができ、対象物の高画質な合焦画像を生成することができる。
なお、上述のリフォーカス処理では、照明器の位置と選択画素に対応する点とを通る直線と、イメージセンサ102の受光面との交点である対象点を用いていた。つまり、照明器の位置と選択画素に対応する点とイメージセンサ102の受光面上の対象点との関係に基づき、選択画素の輝度値に加算すべき輝度値を有する対象点を特定していた。しかしながら、点同士の関係ではなく、照明器の位置と選択画素とイメージセンサ102の受光面上の画素との関係に基づき、選択画素の輝度値に加算すべき輝度値を有する画素を特定してもよい。例えば、照明器から出射されて選択画素の領域内を通った後、イメージセンサ102の受光面上に到達する光を受光するイメージセンサ102の画素が検知する輝度値が、選択画素の輝度値に加算されるように構成されてもよい。つまり、照明器の位置と選択画素とイメージセンサ102の画素とが直線上に並ぶ位置関係にあるイメージセンサ102の画素により検知される輝度値が、選択画素の輝度値に加算されてもよい。
[1−2−4.画像生成システムの詳細動作]
次に、以上のように構成された画像生成システム10の動作について、図16を参照しつつ、詳細に説明する。図16は、実施の形態1に係る画像生成システム10の動作の一例を示すフローチャートである。なお、以下では、撮影する対象物として、図17に示すような脊椎動物の半透明な受精卵の初期胚である胚Sを適用した場合の例を説明する。図17は、対象物の一例の胚Sの斜視図を示す。図17では、球形状の胚Sは、2つに分割した球形状の細胞S1及びS2を含んでいる。
(ステップS2100)
まず、撮影装置100の撮影制御部103は、複数の照明器101を順に用いて、イメージセンサ102の受光面上に配置された半透明な胚Sを照明し、当該胚Sの複数の画像を撮影する。本実施の形態では、複数の照明器101の位置は、イメージセンサ102に対して固定されており、複数の照明器101の各々の位置情報は予め定められている。撮影制御部103は、複数の照明器101のそれぞれが胚Sを照明するたびに、イメージセンサ102の受光面の各画素に到達した光の強度を記録することにより、胚Sの画像を取得する。取得された画像は、撮影時に胚Sを照明していた照明器の位置情報とともに記憶部120で記憶される。
(ステップS2200)
画像生成装置200の焦点面決定部210は、基準として用いるための焦点面である複数の基準焦点面を決定する。本例では、イメージセンサ102の受光面に略平行であり且つ互いに間隔をあけて配置される複数の基準焦点面が、決定される。具体的には、約100μmの直径を有する胚Sに対して、約1μmの間隔で受光面と平行に配置される複数の基準焦点面が、決定される。複数の基準焦点面は、受光面から約110μmの距離に至る領域にわたって配置される。これにより、複数の基準焦点面が存在する領域の中に胚Sの全てが含まれる。そして、複数の基準焦点面の多くが、胚Sと交差する。なお、上記の具体的な数値は、一例であり、これらによって各要素の数値は限定されない。
(ステップS2300)
リフォーカス処理部220は、複数の撮影画像と、複数の照明器101の位置情報と、基準焦点面の情報とに基づいて、リフォーカス処理を行い、各基準焦点面上の各画素つまり各点の輝度値を求める。
(ステップS2400)
合焦画像生成部230は、ステップS2300で行われたリフォーカス処理の結果に基づき、ディスプレイ等に出力可能である複数の基準焦点面の合焦画像である基準合焦画像を生成する。なお、基準焦点面は、合焦画像が形成される面であるため、合焦画像平面又はリフォーカシング画像平面とも呼ぶ。図18において、胚Sの複数の基準焦点面FPの基準合焦画像Iaが、例示される。図18は、複数の基準焦点面FPの基準合焦画像Iaをその配置順序に従って一列に積み重ねて示す模式図である。図18では、複数の基準合焦画像Iaの一部が示されている。また、一列に並ぶ基準合焦画像Iaを表示部150の表示画面151に画像として表示した例が、図19に示される。図19は、基準合焦画像Iaを画像として表示した例の写真を示す図であるが、胚Sに4つの細胞が含まれる例を示す。各基準焦点面FPの基準合焦画像Iaでは、胚Sを通った光を受光する画素の領域、つまり胚Sの像が映し出される写出領域Mが、形成される。
(ステップS2500)
対象物抽出部240は、図20に示すように、各基準焦点面FPの基準合焦画像Iaにおいて、胚Sの像が写し出されている写出領域Mの輪郭を特定し、この輪郭の外側にある背景を基準合焦画像Iaから除去した背景除去合焦画像Ibを生成する。輪郭の特定は、例えば以下のように行ってもよい。対象物抽出部240は、ハフ変換(Hough変換)を利用して画像から円を検出し、検出された円のうち、最も半径の大きいものを輪郭としてもよい。あるいは対象物抽出部240は、対象物である胚の大きさ例えば直径100μmを基準として、検出された円のうち直径の大きさが、最も基準に近い円を輪郭としてもよい。胚Sの輪郭の特定の一例を説明する。胚Sの形状の一例は、約100μmの半径を有する球である。対象物抽出部240は、胚Sのエッジ点を抽出するために、画像Iaにラプラシアンフィルタをかける。対象物抽出部240は、フィルタリング結果を用いて、画像Iaに含まれる複数の画素を分類する。例えば、対象物抽出部240は、入力画像(ここでは画像Ia)の輝度分布に基づいて、閾値を設定する。閾値の例は、輝度のヒストグラムを用いて、低輝度の画素が全画素数の25%になる境界点である。対象物抽出部240は、閾値以下の輝度を有する画素をエッジ点として抽出する。対象物抽出部240は、抽出したエッジ点に対して、ハフ変換(Hough transform)を行って、円を抽出する。例えば、80μmから120μmの範囲の半径を有する円を抽出することで、胚Sに対応する円を抽出する。ハフ変換により、円の中心と半径が導出されるため、画像Ia上に輪郭としての円を特定することができる。なお、図20は、複数の背景除去合焦画像Ibをそれぞれに対応する基準焦点面FPの配置順序に従って一列に積み重ねて示す、図18と同様の模式図である。また、一列に積み重ねられて並ぶ背景除去合焦画像Ibを表示部150の表示画面151に画像として表示した例が、図21に示される。図21は、背景除去合焦画像Ibを画像として表示した例の写真を示す図であるが、胚Sに4つの細胞が含まれる例を示す。
(ステップS2600)
図22に示すように、3D画像生成部250は、複数の背景除去合焦画像Ibのうちから、胚Sの写出領域Mが最も強いコントラストの輪郭を含む輪郭基準合焦画像Ibaを抽出する。3D画像生成部250は、以下のように、第1輪郭基準合焦画像Iba1及び第2輪郭基準合焦画像Iba2のいずれが強いコントラストの輪郭を有するか否かを判定しても良い。例えば、第1輪郭基準合焦画像Iba1に含まれる輪郭と判断された画素がa1個ある。3D画像生成部250は、輪郭と判断された画素ごとに、複数の隣接する画素との輝度差の最大値を求める。この最大値の合計をA1とする。例えば、第2輪郭基準合焦画像Iba2に含まれる輪郭と判断された画素がa2個ある。3D画像生成部250は、輪郭と判断された画素ごとに、複数の隣接する画素との輝度差の最大値を求める。この最大値の合計をA2とする。3D画像生成部250は、{(A1)/(a1)}>{(A2)/(a2)}であれば、第1輪郭基準合焦画像Iba1が、第2輪郭基準合焦画像Iba2より強いコントラストの輪郭を含むと判断する。
なお、図22は、輪郭基準合焦画像Ibaの一例を示す模式図である。写出領域Mの輪郭のコントラストを最も強くする画素の輝度は、イメージセンサ102の受光面と垂直な方向で胚Sの真上から胚Sに光が照射したときに、胚Sの周縁及びその近傍を通る光をイメージセンサ102の画素が検知する輝度に相当する。このため、輪郭基準合焦画像Ibaにおける写出領域Mの円形状の輪郭Maは、胚Sの中心を通る断面の輪郭つまり胚Sの胚膜の2次元的な輪郭に相当し、胚Sをイメージセンサ102の受光面と垂直な方向で見たときの胚Sの平面形状の輪郭に相当する。そして、3D画像生成部250は、輪郭基準合焦画像Ibaから胚Sの輪郭Maを抽出する。これにより、胚Sの2次元的な輪郭Maが抽出される。第1輪郭基準合焦画像Iba1と第2輪郭基準合焦画像Iba2のどちらが強いコントラストの輪郭を含むかは以下のようして判定してもよい。第1輪郭基準合焦画像Iba1に含まれる輪郭と判断された画素の輝度値平均をa1、第2輪郭基準合焦画像Iba2に含まれる輪郭と判断された画素の輝度値平均をa2とし、第1輪郭基準合焦画像Iba1に含まれる輪郭と判断された画素に隣接する画素の輝度平均をb1、第2輪郭基準合焦画像Iba2に含まれる輪郭と判断された画素に隣接する画素の輝度平均をb2とした場合、|a1−b1|>|a2−b2|であれば、第1輪郭基準合焦画像Iba1は、第2輪郭基準合焦画像Iba2より強いコントラストの輪郭を含むと判断する。
(ステップS2700)
3D画像生成部250は、輪郭基準合焦画像Ibaから抽出された2次元的な輪郭の形状と、第1記録部121に記憶される胚Sの形状とから、胚Sの立体的な輪郭つまり3次元的な輪郭を特定する。例えば、第1記録部121は「胚Sの形状は球形である」ことを記憶している。具体的には、図22及び図23に示すように、3D画像生成部250は、輪郭基準合焦画像Iba内の写出領域Mの円形状の輪郭Maと、第1記録部121に記憶される胚Sの形状は球形であることから、胚Sの3次元的な輪郭Scを、輪郭Maの半径を半径とする球形であると特定する。図23は、胚Sの3次元的な輪郭の一例を示す模式図である。
(ステップS2800)
3D画像生成部250は、複数の背景除去合焦画像Ibと胚Sの3次元的な輪郭Scとを関連付け、複数の背景除去合焦画像Ibそれぞれから3次元的な輪郭Scの外部に相当する領域を除去して基準断面画像Icを生成する。基準断面画像Icは、ステップS2200で決定された複数の基準焦点面FPでの胚Sの断面画像に相当する。
具体的には、3D画像生成部250は、各背景除去合焦画像Ibに対応する基準焦点面FPと胚Sの球形輪郭Scとの位置関係を特定する。このとき、3D画像生成部250は、輪郭基準合焦画像Ibaを含む基準焦点面FPが、3次元的な輪郭Scの中心を通り且つイメージセンサ102の受光面に略平行な面であると決定する。さらに、3D画像生成部250は、上記決定に基づき、他の背景除去合焦画像Ibを含む基準焦点面FPの3次元的な輪郭Scに対する位置を算出する。次いで、3D画像生成部250は、図24に示すように、複数の背景除去合焦画像Ibそれぞれから胚Sの球形輪郭Sc外の領域を除去して、複数の基準断面画像Icを生成する。図24は、複数の基準断面画像Icの一例を示す、図18と同様の模式図である。図24では、複数の基準断面画像Icがそれぞれの基準焦点面FPの配置順序に従って一列に並べて示されている。基準断面画像Icは、基準焦点面FPでの胚Sの断面画像である。また、胚Sの球形輪郭Sc外の領域が除去された複数の基準断面画像Icを表示部150の表示画面151に画像として表示した例が、図25に示される。図25は、基準断面画像Icを画像として表示した例の写真を示す図である。図25の状態Aでは、全ての基準断面画像Icが示されており、胚Sの球形輪郭Scの外形を形成している。図25の状態Bでは、基準断面画像Icのうちの一部が示されている。
なお、ステップS2500において、背景除去合焦画像Ibの形成は必ずしも実施されなくてもよい。例えば、ステップS2800での胚Sの球形輪郭Sc外の領域を除去する処理によって、基準合焦画像Iaにおける写出領域Mの輪郭の外側の背景が、一緒に除去されてもよい。つまり、ステップS2500の処理が、ステップS2800の処理に含まれてもよい。この場合、ステップS2600〜S2800の処理は、基準合焦画像Iaに対して実施される。
(ステップS2900)
3D画像生成部250は、胚Sの3次元的な輪郭Sc及び複数の基準断面画像Icを用いて、胚Sの3次元モデルである3DモデルAを、ディスプレイ等に出力可能な画像データとして生成する。3DモデルAは、胚Sの球形輪郭Sc及び複数の基準断面画像Icに関する情報を含み、基準断面画像Icをその断面画像として含む。3DモデルAは、表示部150の表示画面151に画像として表示される場合、図25の状態Aと同様となる。
(ステップS3000)
画像操作部260は、3D画像生成部250が生成した胚Sの3DモデルAを動作可能に表示部150に表示する。画像操作部260は、CG操作入力部140に入力される指令に基づき、表示部150上の胚Sの3DモデルAを移動する。画像操作部260は、CG操作入力部140を介して胚Sにおける種々の位置の断面の選択を受け付ける。さらに、画像操作部260は、選択された断面の簡易画像としての参考断面画像Biを胚Sの3DモデルA上、又は3DモデルAと別に表示し得る。
例えば、図26A、図26B及び図26Cに示すように、画像操作部260は、表示部150の表示画面151に、胚Sの3DモデルAを画面上で操作可能な状態で表示する。なお、図26A、図26B及び図26Cはそれぞれ、表示部150がその表示画面151上に表示する胚Sの3Dモデルの一例を示す図である。図26A、図26B及び図26Cで示される画面は、ユーザが、胚Sの3DモデルAを用いて詳細に表示すべき断面を選択し表示させることができる画面である。
表示画面151では、胚Sの3DモデルAの位置が、xyz空間によって定義される。xy平面は、イメージセンサ102の受光面と平行に設定されている。さらに、球形の胚Sの3DモデルAの中心を通る基準軸Cが設定され、基準軸Cの向きが、xyz空間によって定義される。また、基準軸Cに垂直な胚Sの3DモデルAの断面Bの位置が、xyz空間によって定義される。
図26A及び図26Bに示すように、表示画面151では、CG操作入力部140から入力される指令に従って、基準軸Cが、3DモデルAの球中心Acを基準に回動され、その向きを自在に変える。表示画面151の縁付近には、横移動スクロールバー152と縦移動スクロールバー153とが示されている。横移動スクロールバー152でのスクロール操作によって、基準軸Cは、3DモデルAの球中心Acを基準にxy平面に沿う方向に回動する、つまり、3DモデルAの中心を通るz軸と平行な軸を中心に回動する。縦移動スクロールバー153でのスクロール操作によって、基準軸Cは、3DモデルAの中心を基準にyz平面に沿う方向に回動する、つまり、3DモデルAの中心を通るx軸と平行な軸を中心に回動する。これにより、基準軸Cの向きが任意に変えられる。また、表示画面151上で右側上部に位置する移動位置表示部155には、基準軸Cの方向ベクトルが、x座標、y座標及びz座標を用いて示される。基準軸Cの向きは、移動位置表示部155のx座標、y座標及びz座標の欄に数値を入力することによって、決定されてもよい。なお、基準軸Cを移動させる構成は、上記構成に限定されず、いかなる構成であってもよい。
さらに、図26B及び図26Cに示すように、3DモデルAの断面Bは、CG操作入力部140から入力される指令に従って、基準軸C上を軸方向に自在にスライドする。そして、3DモデルAの断面Bには、簡易的に作成された断面Bの画像である参考断面画像Biが、断面Bの位置に応じてその表示内容を変えつつ表示される。例えば、図26Cの3DモデルAを表示部150の表示画面151に画像として表示した例が、図27に示される。図27は、図26Cを表示画面上に表示した例の一部を写真で示す図である。なお、参考断面画像Biは、断面Bと別の位置に表示されてもよい。
表示画面151の縁付近には、断面移動スクロールバー154が示されている。断面移動スクロールバー154でのスクロール操作によって、参考断面画像Biを含む断面Bが、その表示内容を変えつつ基準軸C上をスライドする、つまり平行移動する。また、表示画面151上で右側中央付近に位置する断面位置表示部156には、3DモデルAの断面Bと基準軸Cとの交点である断面Bの中心点Bcの位置が、x座標、y座標及びz座標を用いて示される。断面Bの位置は、断面位置表示部156のx座標、y座標及びz座標の欄に数値を入力することによって、決定されてもよい。なお、断面Bを移動させる構成は、上記構成に限定されず、いかなる構成であってもよい。
よって、基準軸Cの回動と断面Bのスライドとを組み合わせることにより、3DモデルAにおける任意の位置の参考断面画像Biが、表示部150の表示画面151に表示され得る。なお、本例では、基準軸C及び断面Bが移動し、3DモデルAは移動しないが、3DモデルAが回転等の移動を伴って表示されてもよい。断面Bの位置を変える構成は、いかなる構成であってもよい。
参考断面画像Biは、3DモデルAに含まれる情報、つまり、胚Sの球形輪郭Sc内の複数の基準断面画像Icに含まれる情報を使用して、生成される。例えば、断面Bの参考断面画像Biでは、参考断面画像Biにおける基準断面画像Icの基準焦点面FPとの交差部分の画素は、基準断面画像Icの画素の輝度を用いて表示される。上記交差部分以外の領域の画素は、その近傍の基準断面画像Icの画素の輝度等を用いて表示されるか、又は、表示されない。このため、参考断面画像Biは、断面Bの簡易的な画像を示す。
また、本実施の形態に係る画像生成システム10は、詳細に表示すべき胚Sの断面の位置情報が与えられることによって、当該断面の詳細な画像を生成し、表示部150に表示するように構成される。このとき、画像生成装置200の断面画像生成部270は、断面の詳細な画像を生成し、表示部150に表示する。詳細に表示すべき胚Sの断面の位置情報は、表示部150の表示画面151に現在表示されている胚Sの参考断面画像BiをCG操作入力部140を介して選択及び決定することによって、与えられてもよい。
画像生成システム10による胚Sの詳細な断面画像の表示動作の例を、図28を参照しつつ、説明する。図28は、実施の形態1に係る画像生成システム10による胚Sの詳細な断面画像の表示動作の一例を示すフローチャートである。以下では、表示部150に表示されている胚Sの3DモデルAを用いて、詳細に表示すべき胚Sの断面の位置が決定される例を説明する。
(ステップS4100)
画像生成装置200の画像操作部260は、胚Sの3DモデルAを、3DモデルAの基準軸Cの回動、断面Bのスライド等の動作を可能に、表示部150に表示する。
(ステップS4200)
画像操作部260は、図26A〜図26Cに示すように、CG操作入力部140を介して入力される指令に従い、表示部150の表示画面151上の胚Sの3DモデルAの基準軸Cを回動させる、又は断面Bをスライドさせ、それにより、3DモデルAの種々の参考断面画像Biを表示する。そして、表示されている断面Bの位置が所望の位置となる、又は表示されている参考断面画像Biが所望の断面である場合、つまり、表示画面151で所望の断面又はその位置が示されている場合、ユーザが、CG操作入力部140を介して、当該断面の詳細を表示する指令を与える(ステップS4200でyes)。これにより、詳細に表示すべき胚Sの断面の位置も決定される。このとき、CG操作入力部140での入力により、表示画面151上のリフォーカスアイコン157が選択され実行される。この結果、断面画像生成部270は、表示すべき胚Sの断面を生成するために、ステップS4300に進む。一方、リフォーカスアイコン157が実行されない、胚Sの断面を詳細に表示する指令が発せられない場合(ステップS4200でnо)、画像操作部260は、ステップS4100の動作を実施する。
(ステップS4300)
断面画像生成部270は、決定された断面の位置と、複数の基準断面画像Icに含まれる情報とを用いて、決定された断面の詳細な画像を生成する。具体的には、断面画像生成部270は、リフォーカス処理により、決定された断面を焦点面とする合焦画像を生成する。つまり、断面画像生成部270は、決定された断面において、基準断面画像Icの基準焦点面FPと重なる又は交差する部分の画素の輝度値に、当該基準断面画像Icの画素の輝度値をそのまま適用する。断面画像生成部270は、決定された断面において、基準断面画像Icの基準焦点面FPと重なりも交差もしない領域内の画素である補間画素の輝度値を、この補間画素の近傍に位置する基準焦点面FPの基準断面画像Icの画素の輝度値を使用して、算出する。そして、断面画像生成部270は、基準断面画像Icの画素の輝度値と、補間画素の輝度値とを用いて、決定された胚Sの断面の合焦画像である詳細な断面画像をディスプレイ等に出力可能な画像データとして生成し、表示画面151に表示する。
上述より、画像生成システム10のユーザは、CG操作入力部140を操作して、表示部150の表示画面151に胚Sの3DモデルAにおける所望の参考断面画像Bi又はその位置を表示させることができる。さらに、ユーザは、CG操作入力部140を操作して、表示された参考断面画像Bi又はその位置を選択することによって、参考断面画像Biの詳細な断面画像を得ることができる。
ここで、図29及び図30を参照して、詳細に表示すべき断面Bdが基準断面画像Icの基準焦点面FPと交差する場合における当該断面Bd上の画素の輝度値の算出方法を説明する。なお、図29は、詳細に表示すべき断面Bdに交差する2つの基準焦点面FPa及びFPbの基準断面画像Ica及びIcbの画素を用いて、断面Bd上の画素の輝度値を推定するケースの例を示す図である。図30は、詳細に表示すべき断面Bd上の画素の算出に用いられる当該画素と2つの基準断面画像Ica及びIcbの画素との関係を示す図である。
断面Bdは、互いに隣り合う2つの基準断面画像Ica及びIcbの基準焦点面FPa及びFPbと交差している。輝度値を推定すべき断面Bd上の画素Bdaは、基準焦点面FPa及びFPbの間に位置している補間画素である。基準焦点面FPa及びFPbは、補間画素Bdaの位置の近傍の合焦画像平面である。そして、補間画素Bdaの輝度値は、補間画素Bdaの位置の近傍に位置する基準断面画像Icaの2つの画素Ica1及びIca2と、補間画素Bdaの位置の近傍に位置する基準断面画像Icbの2つの画素Icb1及びIcb2とを用いて、推定される。このため、補間画素Bdaの輝度値に影響を与える画素を基準断面画像に含む基準焦点面FPa及びFPbは、補間画素Bdaの位置から最も近いものであってもよい。
補間画素Bdaの位置から画素Ica1、Ica2、Icb1及びIcb2それぞれの位置までの距離は、a1、a2、b1及びb2である。画素Ica1、Ica2、Icb1及びIcb2それぞれの輝度値は、La1、La2、Lb1及びLb2である。よって、補間画素Bdaでの輝度値LBdaは、以下の式4で求められる。
よって、推定すべき断面Bd上の補間画素Bdaの輝度値は、画素Bdaに隣接する2つの基準焦点面FPa及びFPbの基準断面画像Ica及びIcbの画素の輝度値を用いて、推定される。
詳細に表示すべき断面Bdの合焦画像は、断面Bdと基準断面画像Icの基準焦点面FPとの重なり部分又は交差部分における基準断面画像Icの画素の輝度値と、補間画素の近傍の基準焦点面FPの基準断面画像Icの画素の輝度値を用いて算出される補間画素の輝度値とを用いて、生成される。よって、断面Bの合焦画像は、予め生成されている基準断面画像Icに含まれる情報を用いたリフォーカス処理により生成される。このため、基準断面画像Icのように複数の撮影画像を用いたリフォーカス処理により合焦画像を生成する場合と比較して、断面Bdの合焦画像の生成は、簡易且つ迅速である。なお、補間画素Bdaの算出に、基準断面画像Icaの3つ以上の画素が用いられてもよく、基準断面画像Icbの3つ以上の画素が用いられてもよい。また、詳細に表示すべき断面Bdが基準断面画像Icの基準焦点面FPと平行である場合も、上述と同様にして、断面Bd上の画素の輝度値の算出は可能である。
[1−3.効果]
以上のように、本実施の形態に係る画像生成装置200によれば、対象物である胚Sを通る複数の基準焦点面についての複数の基準合焦画像を生成し、生成した基準合焦画像を使用して胚Sの3次元画像の生成が可能である。胚Sを通る複数の基準焦点面についての基準合焦画像を用いることによって、胚Sが半透明又は透明であっても、胚Sの3次元画像はその内部に含む細胞等の要素も含めて立体的に表示され得る。また、胚Sの全ての領域において、合焦画像を生成するのではなく、複数の基準焦点面について合焦画像を生成するため、胚Sの3次元画像の生成に要する処理量の低減も可能である。
また、本実施の形態に係る画像生成装置200によれば、胚Sの3次元画像を用いて任意の断面を選択し、選択した画像の表示が可能である。胚Sの断面画像を構成する複数の断面画素の輝度値が、断面画素上の基準合焦画像の画素の輝度値又は断面画素の近傍の基準合焦画像の画素の輝度値を用いて算出されるため、胚Sの断面画像は、途切れ、ぼやけ等を低減した鮮明な画像となり得る。さらに、胚Sの断面画像を構成する断面画素の輝度値は、断面画素を挟んで両側の基準焦点面の基準合焦画像の画素を用いて算出されるため、高い精度を有し得る。
また、本実施の形態に係る画像生成装置200によれば、胚Sの参考用断面を示す参考断面画像が生成され且つ表示画面に表示される。参考断面画像を構成する複数の画素の輝度値は、参考断面画像の画素上の基準合焦画像の画素の輝度値とされ得る。これにより、ユーザは、参考断面画像を参照しつつ、表示すべき胚Sの断面を選定することができる。また、参考断面画像の画素の輝度値は、基準合焦画像の画素の輝度値をそのまま用いたものであるため、参考断面画像の生成が簡易である。
また、本実施の形態に係る画像生成装置200によれば、照明器101の位置と基準合焦画像の合焦画素の位置とイメージセンサ102のセンサ画素の位置とが直線上に並ぶ関係にあるセンサ画素それぞれの輝度値が、合焦画素の輝度値に適用され、合焦画素の輝度値が算出される。これにより、焦点面における合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を反映することができ、胚Sの高画質な合焦画像を生成することができる。
[実施の形態2]
次に、実施の形態2について説明する。実施の形態2では、画像生成システムが、表示部150の表示画面151に、胚Sの3DモデルAに先行して、胚Sの代表的な断面画像である最適断面画像を表示する点が、実施の形態1と異なる。以下に、実施の形態2について、実施の形態1と異なる点を中心に説明する。
[2−1.画像生成システムの構成]
図31を参照すると、実施の形態2に係る画像生成システム10Aの機能的な構成の一例を示すブロック図が示されている。本実施の形態では、撮影装置100の複数の照明器101は、平坦な面上で格子状に配列されて設置されている。画像生成装置200Aは、実施の形態1の画像生成システム10の画像生成装置200に対して、最適断面決定部280及び最適断面画像生成部290をさらに備えている。第1記録部121は、予め定められた焦点面及び撮影対象物である胚Sの形状等の情報に加え、胚Sの初期胚モデルを予め記憶している。画像生成システム10Aは、表示部150に表示すべき胚Sのモデルを第1記録部121の初期胚モデルから選択する指令の入力を受け付ける胚モデル入力部160を、備えている。
第1記録部121に記憶される胚Sの初期胚モデルには、胚Sに含まれる細胞数が含まれている。胚Sの初期胚モデルでは、胚Sに含まれる細胞数と胚Sの培養を開始してからの経過時間とが、関連付けられて記憶されてもよい。この場合、胚Sの初期胚モデルは、図32に示すようなテーブルとして記憶されてもよい。図32は、第1記録部121が記憶する初期胚モデルの一例を示す。図32の例では、初期胚モデルのモデルIDと、胚の培養開始からの経過時間である培養時間と、上記培養時間において胚に含まれ得る細胞数と、上記培養時間における胚の例示的な模式図とが、組み合わされて記憶されている。
最適断面決定部280は、例えば制御回路又はプロセッサによって実現される。最適断面決定部280は、胚Sを表示部150に表示する場合に、最初に例示として表示すべき胚Sの最適断面を決定する。このとき、最適断面決定部280は、胚モデル入力部160を介して選択された胚モデルに含まれる細胞数に基づき、最適断面の候補数と、最適断面に含まれ得る細胞数とを決定する。最適断面決定部280は、決定した各要素に基づき、最適断面の位置を算出し、リフォーカス処理部220に送る。
具体的には、最適断面決定部280は、第1記録部121に予め記録されている図33に示すような最適断面設定テーブルを参照し、この最適断面設定テーブルに基づき、最適断面に関する上記要素の決定を行う。上記要素の決定後、最適断面決定部280は、後述するように、胚Sにおける最適断面の位置を決定する。なお、図33は、第1記録部121が記憶する最適断面設定テーブルの一例を示す。図33の例では、胚内の細胞数と、最適断面つまり最適焦点面の候補数と、最適焦点面での胚の断面画像である最適断面画像に含まれ得る細胞の最大数とが、組み合わされて記憶されている。
図33の最適断面設定テーブルでは、最適焦点面の候補数が1つである場合、最適焦点面が胚内の細胞の中心若しくは中心から5μmの領域内を通る場合における最適焦点面が通り得る細胞の数の最大値が、最適焦点面での最適断面画像に含まれ得る細胞の最大数とされ得る。又は、各細胞の中心からの距離が最小となる位置を最適焦点面が通る場合における最適焦点面が通り得る細胞の数の最大値が、最適焦点面での最適断面画像に含まれ得る細胞の最大数とされ得る。このとき、各細胞の中心からの距離が最小となるとは、各細胞の中心からの距離の総和が最小となることとされてよい。
最適焦点面の候補数が2つ以上である場合、最適焦点面の数は、胚内の細胞数に応じて設定される。さらに、複数の細胞の中心からの距離が最小となる位置を最適焦点面が通る場合における最適焦点面が通り得る細胞の数の最大値が、最適焦点面での最適断面の画像に含まれ得る細胞の最大数とされ得る。このとき、複数の細胞の中心からの距離が最小となるとは、複数の細胞の中心からの距離の総和が最小となることとされてもよく、全ての細胞の中心からの距離の総和が最小となることとされてもよい。
最適断面画像生成部290は、例えば制御回路又はプロセッサによって実現される。最適断面画像生成部290は、リフォーカス処理部220で計算された画素ごとの輝度値から、最適焦点面における合焦画像、つまり最適断面の画像を生成し、表示部150に表示する。
[2−2.画像生成システムの動作]
以上のように構成された画像生成システム10Aによる表示部150への最適断面画像の表示動作について説明する。図34は、実施の形態2に係る画像生成システム10Aの最適断面画像の表示動作の一例を示すフローチャートである。なお、以下では、胚Sが、図17に示すような2つの細胞S1及びS2を含む場合について説明する。
(ステップS5100)
画像生成システム10Aの画像生成装置200Aの最適断面決定部280は、表示部150に、第1記録部121に記憶されている胚Sの胚モデルを表示する。
(ステップS5200)
画像生成システム10Aのユーザは、図32に示されるような表示部150に示される胚Sの胚モデルのテーブルを参照し、胚モデル入力部160による入力を介して、表示部150に最適断面画像を表示すべき胚のモデルIDを選択する。このとき、ユーザは、例えば、照明器101による撮影時の胚の培養時間等と、胚モデルのテーブルに示される培養時間とを比較することによって、撮影時に対応する胚のモデルを選定してもよい。
(ステップS5300)
最適断面決定部280は、選択された胚モデルに含まれる細胞の数と、図33に示されるような第1記録部121に記憶されている最適断面設定テーブルとに基づき、最適断面つまり最適焦点面の要素を決定する。具体的には、最適断面決定部280は、最適焦点面の数と、最適焦点面での断面画像に含まれ得る最大細胞数とを、決定する。
(ステップS5400)
次いで、最適断面決定部280は、胚Sにおける最適焦点面の位置を算出する。このとき、最適断面決定部280は、記憶部120から、複数の照明器101の位置情報と対応付けられた複数の撮影画像を取得する。さらに、最適断面決定部280は、図35に示されるように、平坦面上に格子状に並んで配置された複数の照明器101のうちの直線上に並ぶ照明器101による照明器群Gを選定する。そして、最適断面決定部280は、取得した撮影画像の中から、照明器群Gの照明器101それぞれの照明時に撮影された撮影画像を選定し、これらの撮影画像からなる撮影画像群を形成する。なお、図35は、複数の照明器を、照明器からイメージセンサ102に向かう方向で見た際の照明の配置図を示す。図35中の丸で示された照明器101は点光源であり、例えば光源と直径10μmのピンホールによって実現されている。図中の丸は照明器101の中心位置を示している。照明器101の間隔ptは例えば300μmである。図35中に点線で示した円は胚Sの平面位置であり、胚Sは図中黒丸で示した照明器101のほぼ真下に配置されている。胚Sは直径約100μmである。さらに、最適断面決定部280は、撮影画像群の撮影画像それぞれにおいて、胚S及び胚S内の2つの細胞S1及びS2の形状に適合する線を抽出する。具体的には、胚S及び2つの細胞S1及びS2は、いずれも球形であるため、最適断面決定部280は、胚Sの円形状と、胚Sの円形状の中に含まれる2つの細胞S1及びS2の円形状とを、各撮影画像から抽出する。胚Sの輪郭は例えば以下のように特定する。胚の形状は凡そ球であり、その半径は約100μmである。まずエッジ点を抽出するために、画像Iaにラプラシアンフィルタをかける。フィルタリング結果を閾値で分類する。閾値は例えば入力画像(ここでは画像Ia)の輝度分布に基づいて設定する。例えば輝度のヒストグラムより、低輝度の画素が全画素数の25%になる点を閾値とする。輝度が閾値以下の画素をエッジ点として抽出する。抽出したエッジ点に対して、ハフ変換(Hough transform)を行って、円を抽出する。このとき、半径を、例えば80μmから120μmの範囲として円を抽出することで、胚Sに対応する円を抽出する。ハフ変換により、円の中心と半径が導出されるため、画像Ia上に輪郭としての円を特定することができる。さらに細胞S1及びS2は、決定された胚Sの輪郭である円の内側のエッジ点を用いて、ハフ変換を行うことで抽出する。ハフ変換の際に、半径を30μm以上60μm以下の範囲で抽出するものとし、2つの円は重なりを許して抽出する。
(ステップS5500)
最適断面決定部280は、撮影画像群内の複数の撮影画像の間で、撮影画像に含まれる同一の要素を特定する。例えば、最適断面決定部280は、図36に示すように、撮影画像群内の複数の撮影画像A、B及びCの間で、胚Sの形状を示す円1と、胚S内の2つの細胞のうちの第1の細胞S1の形状を示す円2と、2つの細胞のうちの第2の細胞S2の形状を示す円3とを、互いに対応付けて特定する。なお、図36は、撮影画像群内の複数の撮影画像A、B及びCの間での各要素の対応関係を示す図である。図36では、撮影画像A、B及びCが用いられているが、撮影画像群内の複数の撮影画像の全てが用いられてもよい。このとき、最適断面決定部280は、円2及び3を含む円1と、円2及び3とは交差しないという条件のもと、円1、円2及び円3を特定してもよい。さらに、最適断面決定部280は、複数の撮影画像の間で、円が同等の大きさを有すること、円の位置が規則性を伴ってずれていること等の条件のもと、円1、円2及び円3を特定してもよい。
なお、図35及び図36を参照すると、撮影画像Aは、照明器群Gの一方の端部に位置する照明器101gaの照明時に撮影された画像である。撮影画像Bは、照明器群Gの他方の端部に位置する照明器101gbの照明時に撮影された画像である。撮影画像Cは、照明器群Gの中間に位置する照明器101gcの照明時に撮影された画像である。このため、撮影画像Aから撮影画像Bに遷移するに従って、各撮影画像の間で円1、円2及び円3の位置はそれぞれ、規則性を伴ってずれる。
(ステップS5600)
最適断面決定部280は、図37に示すように、撮影画像A、B及びCそれぞれにおいて特定した円1、円2及び円3の特徴点である中心の位置を算出する。最適断面決定部280は特定された円の円周上に含まれる複数の点から同じ距離である点を円の中心の位置として算出してもよい。図37は、撮影画像A、B及びCの各要素の中心の位置を示す図である。これら円1、円2及び円3の中心の位置は、イメージセンサ102の受光面の画素の位置に対応する。このため、最適断面決定部280は、撮影画像A、B及びCそれぞれに対する円1、円2及び円3の中心の相対的な位置を算出してもよい。ここで、第1の細胞S1の円2の中心、及び第2の細胞S2の円3の中心は、撮影画像における第二対象物の特徴点の一例である。しかしながら、撮影画像における第二対象物の特徴点は、円の中心に限定されない。第二対象物が、細胞S1及びS2のように球形状を有さない場合、重心、内心、外心、垂心、頂点、偶角点等の、位置の特定が可能な点が、特徴点とされてもよい。例えば、第二対象物が多角形である場合、撮影画像上の第二対象物に対して、重心、内心、外心、垂心又は頂点等の特徴点が設定される。ステップS5500及びS5600の処理によって、撮影画像間で、胚S、細胞S1及び細胞S2の特徴点が、対応付けられる。本例では、撮影画像間で胚S、細胞S1及び細胞S2それぞれが対応付けられた後に、各撮影画像において胚S、細胞S1及び細胞S2の特徴点が設定されていたが、これに限定されない。各撮影画像において胚S、細胞S1及び細胞S2の特徴点が設定された後に、撮影画像間で、胚S、細胞S1及び細胞S2、並びに、胚S、細胞S1及び細胞S2の特徴点が対応付けられてもよい。
(ステップS5700)
最適断面決定部280は、撮影画像A、B及びCの間における同一の円の中心位置の距離を算出する、つまり、撮影画像A、B及びCの間における同一の円の中心の位置関係を算出する。具体的には、図38に示すように、最適断面決定部280は、撮影画像A、B及びCそれぞれの円1の中心位置間の距離、つまり撮影画像A、B及びC間における円1の中心位置のずれ量を算出する。同様に、最適断面決定部280は、撮影画像A、B及びCそれぞれの円2の中心位置間の距離を算出する。さらに、最適断面決定部280は、撮影画像A、B及びCそれぞれの円3の中心位置間の距離を算出する。図38は、撮影画像A、B及びC間の各要素の中心の位置関係を示す図である。なお、撮影画像A、B及びCの間における同一の円の中心位置間の距離とは、当該円の中心をそれぞれ通る3つの平行線の間の距離である。図38では、撮影画像A、B及びCの間における同一の円の中心位置間の距離は、照明器群Gの照明器101の配列方向に沿った距離としている。
(ステップS5800)
最適断面決定部280は、撮影画像A、B及びCの間における同一の円の中心位置間の距離と、撮影画像A、B及びCに対応する照明器101の位置とから、胚S、第1の細胞S1及び第2の細胞S2それぞれの外形を形成する球の中心の位置を算出する。例えば、図39に示すように、撮影画像Aの円1の中心Caと撮影画像Cの円1の中心Ccとの距離D1と、撮影画像Cの円1の中心Ccと撮影画像Bの円1の中心Cbとの距離D2とに従って、中心Ca、Cb及びCcが、イメージセンサ102の受光面上に並べられる。なお、図39は、撮影画像A、B及びCの要素の中心と照明器との位置関係を示す図である。
このとき、中心Ca、Cb及びCcは略一直線上に並び得る。そして、撮影画像Aに使用された照明器つまり撮影画像Aに対応する照明器101gaの位置と中心Caとが直線L1で結ばれる。同様に、撮影画像Bに対応する照明器101gbの位置と中心Cbとが直線L2で結ばれる。撮影画像Cに対応する照明器101gcの位置と中心Ccとが直線L3で結ばれる。最適断面決定部280は、直線L1、L2及びL3の交点C1の位置を胚Sの中心の立体的な位置つまり3次元的な位置に決定する。直線L1、L2及びL3の交点C1のイメージセンサ102の受光面からの高さ位置が、胚Sの中心の高さ位置となる。なお、直線L1、L2及びL3が、1つの点で交わらないとき、直線L1、L2及びL3それぞれまでの距離の合計が最短となる点の位置を、胚Sの中心位置としてもよい。また、最適断面決定部280は、円2及び円3についても、上述と同様の処理を実施し、第1の細胞S1及び第2の細胞S2の中心位置を算出する。
(ステップS5900)
最適断面決定部280は、第1の細胞S1の中心及び第2の細胞S2の中心を含む平面を最適焦点面つまり最適断面と決定する。例えば、図40に示すように、ステップS5800において、撮影画像A、B及びCでの第1の細胞S1の円2の3つの中心の位置と、照明器101ga、101gb及び101gcの位置とによって、第1の細胞S1の中心C2の立体的な位置が算出されている。同様に、撮影画像A、B及びCでの第2の細胞S2の円3の3つの中心の位置と、照明器101ga、101gb及び101gcの位置とによって、第2の細胞S2の中心C3の立体的な位置が算出されている。なお、図40は、胚Sに含まれる2つの細胞S1及びS2の中心C2及びC3の間の位置関係を示す図である。なお、本実施の形態では細胞は細胞S1と細胞S2の2つであるため、第1の細胞S1の中心及び第2の細胞S2の中心を含む平面を最適断面とした。細胞が3つ以上の場合には、複数個の細胞の中心について、最も多くの細胞の中心を含む平面を、最適断面と決定してもよい。また、複数個の細胞の中心について、それぞれの細胞の中心から求める平面への垂線の長さの合計が最小となる平面を、最適断面と決定してもよい。
最適断面決定部280は、中心C2及びC3を通る平面を最適焦点面に決定する。このとき、最適断面決定部280は、中心C2及びC3を通る平面のうち、イメージセンサ102の受光面に平行な面に近くなるように、最適焦点面を決定してもよい。具体的には、最適断面決定部280は、イメージセンサ102の受光面に平行な面に対して10度以下の傾斜角度を有するように、最適焦点面を決定してもよい。
また、最適断面決定部280は、胚Sの中に3つの以上の細胞が含まれる場合、上述と同様の処理を行って中心の位置が得られた細胞の中心を最適焦点面が最も多く含むように、最適焦点面を決定してもよい。上記条件と共に又は別に、最適断面決定部280は、全ての細胞の中心から最適焦点面までの距離が最も小さくなる、つまり、全ての細胞の中心からの距離の合計が最も小さくなるように、最適焦点面を決定してもよい。上記条件と共に又は別に、最適断面決定部280は、上述と同様の処理を行って中心の位置が得られた細胞のうちの3つの細胞の中心を最適焦点面が通り且つ他の細胞の中心から最適焦点面までの距離が最も小さくなるように、最適焦点面を決定してもよい。さらに上記決定において、最適断面決定部280は、最適焦点面を、イメージセンサ102の受光面に平行な面に近くなるように決定してもよい。
また、図33に示すように、最適焦点面の候補数が2つ以上ある場合、最適断面決定部280は、2つの最適焦点面を算出し、2つの最適焦点面の両方を採用してもよく一方を採用してもよい。そして、以下で説明する最適焦点面の最適断面画像の表示についても、2つの最適焦点面の最適断面画像が表示されてもよく、2つの最適焦点面の一方の最適断面画像が表示されてもよい。
(ステップS6000)
最適断面決定部280は、決定した最適焦点面の位置情報をリフォーカス処理部220に送る。リフォーカス処理部220は、記憶部120に記憶されている撮影画像を使用して、複数の撮影画像と、複数の照明器101の位置情報と、最適焦点面の位置情報とに基づいて、リフォーカス処理を行い、最適焦点面上の各画素の輝度を求める。なお、リフォーカス処理部220は、実施の形態1において断面画像生成部270による断面画像生成動作と同様に、基準焦点面FPの基準断面画像Icに含まれる情報を利用して、最適焦点面上の各画素の輝度を求めてもよい。
(ステップS6100)
最適断面画像生成部290は、ステップS6000で行われたリフォーカス処理の結果に基づきディスプレイ等に出力可能な画像データである最適断面画像を合焦画像として生成し、表示部150に表示する。表示部150の表示画面151上での最適断面画像の表示例が、図41及び図42に示される。図41は、胚Sの最適断面画像が表示部150の表示画面151上に表示される一例を示す図である。図42は、胚Sの最適断面画像を画像として表示した例の写真を示す図であるが、胚Sに4つの細胞が含まれる例を示す。
(ステップS6200)
表示画面151上では、胚Sの最適断面画像Iоに加えて、焦点面変更アイコン158が表示されている。画像生成システム10Aのユーザは、胚Sの他の断面画像を表示させる場合、CG操作入力部140を介して焦点面変更アイコン158を選択し実行させる(ステップS6200でyes)。一方、CG操作入力部140を介した最適断面画像Iоからの表示断面の変更の指令が発せられない場合、最適断面画像Iоが表示され続ける(ステップS6200でnо)。
(ステップS6300)
焦点面変更アイコン158の実行後、画像生成装置200Aの画像操作部260は、表示部150の表示画面151上に、図43及び図44に示すような焦点面変更画面を表示する。なお、図43は、表示部150がその表示画面151上に表示する焦点面変更画面の一例を示す図である。図44は、焦点面変更画面を画像として表示した例の写真を示す図であるが、胚Sに4つの細胞が含まれる例を示す。
焦点面変更画面には、実施の形態1と同様に、xyz空間によって定義された胚Sの3DモデルA、横移動スクロールバー152、縦移動スクロールバー153、断面移動スクロールバー154、移動位置表示部155、断面位置表示部156及びリフォーカスアイコン157が、表示されている。3DモデルAには、3DモデルAの中心を通る基準軸C及び断面平面Bが表示されている。CG操作入力部140の操作を介して、基準軸Cは、3DモデルAの中心を基準に回動可能であり、断面平面Bは、基準軸C上をスライド可能である。なお、3DモデルA自体が、任意に回転し、固定された基準軸Cに沿って断面平面Bがスライドするように構成されてもよい。いずれの場合も、断面平面Bは、3DモデルAの任意の断面を示すことができる。さらに、焦点面変更画面には、断面平面Bでの胚Sの詳細な断面画像159が示される。
(ステップS6400)
CG操作入力部140の操作を介してリフォーカスアイコン157を実行する(ステップS6400でyes)ことによって、画像生成装置200Aの画像操作部260は、表示されている断面平面Bの位置を胚Sの詳細な断面画像を表示すべき断面の位置として決定する。そして、画像生成装置200Aのリフォーカス処理部220及び合焦画像生成部230は、断面平面Bを焦点面とした合焦画像である胚Sの詳細な断面画像を生成し、表示画面151に表示する(ステップS6500)。胚Sの詳細な断面画像の生成は、実施の形態1での断面画像生成部270による生成と同様に実施されてもよい。しかしながら、記憶部120に記憶されている撮影画像を用いて、断面平面Bを焦点面とするリフォーカス処理を実施することによって、胚Sの詳細な断面画像が生成されてもよい。また、リフォーカスアイコン157が実行されない場合(ステップS6400でnо)、表示部150の表示画面151において、表示されている胚Sの断面画像が維持される。
また、胚Sの3DモデルAの生成は、実施の形態1での3D画像生成部250等による3Dモデルの生成と同様に実施されてもよい。
なお、本実施の形態2の胚Sの3DモデルAの生成方法の別例として、以下のような構成が挙げられる。
3D画像生成部250は、最適断面決定部280が求めた胚Sの中心C1の位置、第1の細胞S1の中心の位置C2及び第2の細胞S2の中心の位置C3の情報を取得する。さらに、3D画像生成部250は、イメージセンサ102の受光面と垂直な方向で中心C1、C2及びC3それぞれの真上又は真上に最も近い位置に位置する照明器101の照明時の撮影画像を記憶部120から取得する。そして、3D画像生成部250は、各撮影画像において、最もコントラストが強い輪郭、具体的には、円形状の輪郭を抽出する。
中心C1の真上又は真上に最も近い位置の照明器101の照明に対応する撮影画像から抽出される輪郭は、胚Sの中心を通る断面の輪郭に相当する、つまり、胚Sをイメージセンサ102の受光面と垂直な方向で見たときの平面形状の2次元輪郭に相当する。これにより、3D画像生成部250は、胚Sの球形状を特定する。
同様に、中心C2の真上又は真上に最も近い位置の照明器101の照明に対応する撮影画像から抽出される輪郭は、第1の細胞S1の中心を通る断面の輪郭に相当する、つまり、第1の細胞S1をイメージセンサ102の受光面と垂直な方向で見たときの平面形状の2次元輪郭に相当する。これにより、3D画像生成部250は、第1の細胞S1の球形状を特定する。
中心C3の真上又は真上に最も近い位置の照明器101の照明に対応する撮影画像から抽出される輪郭は、第2の細胞S2の中心を通る断面の輪郭に相当する、つまり、第2の細胞S2をイメージセンサ102の受光面と垂直な方向で見たときの平面形状の2次元輪郭に相当する。これにより、3D画像生成部250は、第2の細胞S2の球形状を特定する。
よって、3D画像生成部250は、胚S、第1の細胞S1及び第2の細胞S2それぞれの中心位置及び球形状に基づき、胚Sの3DモデルAを生成する。このとき、3D画像生成部250は、胚Sの3DモデルAを、第1の細胞S1及び第2の細胞S2の配置が確認できる半透明又は透明な状態で表示することができる。
[2−3.効果]
以上のように、本実施の形態に係る画像生成装置200Aによれば、撮影対象物である胚Sの特徴点である細胞の中心を最も多く含む断面が選定され、選定された断面の合焦画像が表示される。表示される断面の合焦画像は、胚Sの多くの特徴を表示することができる。よって、画像生成装置200Aは、ユーザに有益な情報を自動的に生成し提供することができる。
[実施の形態の変形例1]
次に、実施の形態1及び2の変形例1について説明する。本変形例は、画像生成システムによるリフォーカス処理に関する変形例である。上記実施の形態では、図10のステップS1350で照明位置が選択されたが、本変形例では、撮影画像が選択される。以下に、本変形例について、実施の形態と異なる点を中心に説明する。
図45は、実施の形態の変形例1に係るリフォーカス処理部220の動作の一例を示すフローチャートである。図45では、図10におけるステップS1340〜ステップS1390の代わりに、ステップS1341〜ステップS1390が実行される。なお、図45において、図10と実質的に同一のステップについては同一の符号を付し、適宜説明を省略する。
図45において、撮影画像のすべてが加算処理に使用された場合(ステップS1341においてyes)は、ステップS1320へ戻る。一方、撮影画像のいずれかが加算処理に使用されていない場合(ステップS1341においてno)は、ステップS1351へ進む。リフォーカス処理部220は、記憶部120に記憶された撮影画像のうち1つを選択する(ステップS1351)。ここでは、加算処理にまだ使用されていない撮影画像が選択される。
リフォーカス処理部220は、ステップS1351で選択された撮影画像に対応する照明位置情報を記憶部120から取得する(ステップS1359)。その後は、ステップS1370で画像を取得する動作がない以外は図10に示した動作と同様である。
以上のように、本変形例に係る画像生成システムのリフォーカス処理方法によれば、照明位置の選択を撮影画像の選択に代えても、実施の形態と同様に、合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を適用することができ、対象物の高画質な合焦画像を生成することができる。
[実施の形態の変形例2]
次に、実施の形態1及び2の変形例2について説明する。本変形例は、画像生成システムによるリフォーカス処理に関する変形例である。上記実施の形態では、図10のステップS1320及びステップS1330で、合焦画像内の画素が順に選択されたが、本変形例では、撮影画像内の画素が順に選択される。つまり、本変形例では、先に撮影画像内の画素が選択され、その選択された画素に対応する焦点面上の点が後で決定される点が上記実施の形態と異なる。このように決定された焦点面上の点に対応する合焦画像内の画素に、撮影画像内の選択された画素の輝度値が反映される。以下に、本変形例について、実施の形態と異なる点を中心に説明する。
図46は、実施の形態の変形例2に係るリフォーカス処理部220の動作の一例を示すフローチャートである。図46において、図10と実質的に同一のステップについては、同一の符号を付し、適宜説明を省略する。
(ステップS1322)
リフォーカス処理部220は、ステップS1100で撮影した画像のすべてについてリフォーカス処理が終了したかどうかを判定する。リフォーカス処理とは、ステップS1322からステップS1392までの処理を意味する。すべての画像についてすでにリフォーカス処理が終了している場合(ステップS1322においてyes)は、リフォーカス処理部220は、ステップS1400へ進む。ステップS1100で撮影した画像のいずれかについてリフォーカス処理が終了していない場合(ステップS1322においてno)は、リフォーカス処理部220は、ステップS1332へ進む。
(ステップS1332)
リフォーカス処理部220は、記憶部120に記憶されている、ステップS1100で撮影された画像の中から、1つの撮影画像を選択する(ステップS1332)。ここで選択される1つの撮影画像は、リフォーカス処理がまだ行われていない画像である。以下において、ステップS1332で選択された1つの画像を選択画像という。
(ステップS1333)
リフォーカス処理部220は、選択画像に対応する照明位置情報を取得する。例えば、リフォーカス処理部220は、図6に示した画像と照明位置情報との対応関係を参照して照明位置情報を取得する。ここでは、照明器101aの位置情報が取得された場合について説明する。
(ステップS1342)
リフォーカス処理部220は、選択画像の全画素に対して、加算処理が終了したかを判定する(ステップS1342)。ここで、選択画像の全画素について加算処理が終了している場合(ステップS1342においてyes)は、加算処理を終了してステップS1322へ戻る。一方、選択画像のいずれかの画素について加算処理が終了していない場合(ステップS1342においてno)は、ステップS1352へ進む。加算処理とは、ステップS1342からステップS1392までの処理を意味する。
(ステップS1352)
リフォーカス処理部220は、選択画像中の1つの画素を選択する。ここで選択される1つの画素は、加算処理がまだ行われていない画素である。図47に、選択画像に含まれる複数の画素に対応する受光面上の複数の点1302a〜1302eを示す。ここでは、図48に示すように、受光面上の点1302aに対応する画素を選択画像から選択した場合について説明する。なお、以後、ステップS1352で選択された画素を加算画素とも表記する。
(ステップS1372)
リフォーカス処理部220は、図48に示すように、受光面上の点1302aと照明器101aの位置とを結ぶ直線と焦点面1100とが交差する交点1303aの位置を計算する。以下において、交点1303aを加算点とも表記する。
(ステップS1382)
リフォーカス処理部220は、受光面上の点1302aに対応する選択画像内の加算画素の輝度値を、焦点面上の加算点(交点1303a)に対応する合焦画像内の1以上の画素の輝度値に加算する。
例えば、合焦画像において、交点1303aの位置がどの画素(整数画素)の位置とも一致しない場合、リフォーカス処理部220は、合焦画像において交点1303aに隣接する複数の画素に加算するための輝度値をそれぞれ計算する。具体的には、リフォーカス処理部220は、合焦画像の画素の配列を基準に、ステップS1372で計算された焦点面上の加算点(交点1303a)に対応する合焦画像内の位置を決定する。
例えば、図49のように、合焦画像において4つの画素(画素A〜画素D)に囲まれた位置が加算点の位置として決定される。この場合、リフォーカス処理部220は、合焦画像において加算点に隣接する各画素(画素A〜画素D)と加算点との距離を計算する。リフォーカス処理部220は、計算された距離と加算画素の輝度値とを用いて、加算点に隣接する各画素に加算するための輝度値を計算する。例えば、リフォーカス処理部220は、合焦画像内において加算点に隣接する画素と加算点との距離が相対的に大きい画素ほど輝度値が相対的に大きくなるように、各画素に加算するための輝度値を計算する。具体的には、リフォーカス処理部220は、例えば画素Aに加算するための輝度値Laを、以下の式4に従って計算する。
ここで、aは、合焦画像における画素Aと加算点との間の距離である。bは、合焦画像における画素Bと加算点との間の距離である。cは、合焦画像における画素Cと加算点との間の距離である。dは、画素Dと加算点との間の距離である。Lは、撮影画像に含まれる加算画素の輝度値である。
(ステップS1392)
リフォーカス処理部220は、合焦画像中の1つ以上の画素の輝度値に、ステップS1382で計算された輝度値を加算する。
ステップS1342からステップS1392までの処理を繰り返すことで、選択画像中のすべての画素の輝度値を合焦画像の画素の輝度値に反映させることができる。
さらに、ステップS1322からステップS1392を繰り返すことですべての撮影画像中のすべての画素について加算処理が行われ、焦点面における合焦画像を生成することができる。
図46のフローチャートについて各ステップの具体例を図50を参照しながら説明する。ここでは、イメージセンサ102及び焦点面等が以下の条件を満たす場合について説明する。イメージセンサ102の受光面の長辺(すなわちx軸と平行な辺)の長さが6mmであり、受光面の短辺(すなわちy軸と平行な辺)の長さが4mmである。焦点面のx軸に対する傾きが30度である。焦点面のy軸に対する傾きが0度である。焦点面の面積は、イメージセンサ102の受光面の面積と同じである。すなわち、焦点面は、6mm×4mmの矩形の平面である。焦点面の一方の短辺は、図50のようにyz平面上にあり、y軸に平行に延びている。焦点面の他方の短辺は、xy平面上にあり、x座標が約5.2mmの位置でy軸と平行に延びている。焦点面の中心の座標(x,y,z)は、(2.6,2,1.5)である。
ここで、ステップS1332で画像が選択され、ステップS1333で画像に対応する照明位置(7.5,2,10)が取得され、ステップS1352で加算画素(1.7,2,0)が選択されたとする。この場合、ステップS1372において、加算画素(1.7,2,0)と照明位置(7.5,2.0,10)とを通る直線と焦点面との交点である加算点の座標(2.6,2,1.5)が計算される。そして、ステップS1382において、合焦画像における加算点の近傍の画素の輝度値に、加算画素の輝度値が分配されて加算される。
以上のように、本変形例によれば、イメージセンサ102の受光面上における第1画素の位置及び照明器の位置を結ぶ直線と焦点面との交点の位置に対応する合焦画像の1以上の第2画素の輝度値に、撮影画像の第1画素の輝度値を適用することができる。したがって、撮影画像の各画素の輝度値を合焦画像の画素の輝度値に反映することができ、対象物の高画質な合焦画像を生成することができる。
[実施の形態の変形例3]
次に、実施の形態1及び2の変形例3について説明する。本変形例は、画像生成システムに関する変形例である。本変形例では、決定された焦点面に応じて適応的に照明位置を決定し、決定された照明位置にある照明器を用いて対象物を撮影する点が実施の形態と異なる。以下に、本変形例について、実施の形態と異なる点を中心に説明する。
[画像生成システムの構成]
図51は、変形例3に係る画像生成システム10Bの機能的な構成を示すブロック図である。図51において、図1と実質的に同一の構成要素については、同一の符号を付し、適宜説明を省略する。画像生成システム10Bは、撮影装置100と、画像生成装置200Bと、記憶部120と、表示部150とを備える。
[撮影装置の構成]
撮影装置100は、複数の照明器101と、画素ごとに光の強度を記録するイメージセンサ102と、撮影制御部103とを備える。
撮影制御部103は、後述する照明範囲決定部300から取得した照明範囲情報に従って、複数の照明器101及びイメージセンサ102の動作を制御する。具体的には、撮影制御部103は、異なる位置にある複数の照明器101から光を順に照射させる。そして、複数の照明器101のいずれかから光が照射されるたびに、イメージセンサ102に対象物の画像を撮影させる。
[画像生成装置の構成]
画像生成装置200Bは、焦点面決定部210と、照明範囲決定部300と、リフォーカス処理部220と、合焦画像生成部230と、対象物抽出部240と、3D画像生成部250と、画像操作部260と、断面画像生成部270とを備える。
照明範囲決定部300は、焦点面決定部210によって決定された焦点面に対応する照明位置を決定する。ここで、図52及び図53を参照しながら照明位置の決定の具体例を説明する。
図52は、変形例3における照明位置の決定方法を模式的に示した説明図である。図53は、レンズの焦点距離及び被写界深度の関係と、リフォーカシングする際の点光源の配置及び被写界深度の関係とを対応付けて示した模式図である。図53の(a)は、レンズの焦点距離及び被写界深度の関係を示し、図53の(b)は、リフォーカシングする際の点光源の配置及び被写界深度の関係を示す。
図53において、fは、レンズの焦点距離を示す。sは、被写体距離を示す。tは、レンズから結像面までの距離を示す。Fは、F値を示す。εは、焦点深度の1/2を示す。δは、許容錯乱円直径を示す。Snは、近点距離を示す。Sfは、遠点距離を示す。Dnは、前方被写界深度を示す。Dfは、後方被写界深度を示す。
リフォーカシングによる被写界深度は照明位置の分布範囲の広さによって決定される。図53の(b)において、点線で示す照明位置の分布範囲は、図53の(a)のレンズ径に対応する。図53の(a)に示したレンズの場合には、被写体(Subject)表面で反射された光はレンズを通過して焦点面(Focal Plane)で結像する。被写界深度(Depth of Field)は、前方被写界深度Dnと後方被写界深度Dfの和である。本開示では、透過光の撮影でのリフォーカシングであるため、図53の(a)の被写体の位置に相当するのが焦点面である。図53の(b)において、イメージセンサは焦点面よりも左側に位置する。本変形例では、点光源の配列より図中右側には実際には何も無いが、許容錯乱円として、イメージセンサの画素ピッチを設定することで、被写界深度を計算しうる。
例えば、図52に示した、焦点面の合焦画像を生成するために必要な照明位置の範囲は、図53に示すように、焦点面に平行に設置されたレンズの大きさに対応する。レンズを用いると、焦点位置に置かれた被写体を観測するために、被写体から5mmの距離に置かれた直径10mmのレンズ径が必要な場合の照明位置の範囲は、次のような円で表される。つまり、照明位置の範囲は、図52のように焦点面に平行で、焦点面からの距離が5mm、焦点面の中心を通る焦点面の法線と焦点面に平行な平面との交点を中心とした直径10mmの円で表される。実際の点光源の配置平面あるいは曲面(例えば、図3に示した曲面や、図4に示した平面)に、この照明位置の範囲を写像した領域内に配置された照明器の位置が、焦点面決定部210によって決定された焦点面に適した照明位置となる。
[画像生成システムのリフォーカス処理動作]
次に、上述のように構成される画像生成システム10Bのリフォーカス処理動作について説明する。図54は、変形例3に係る画像生成システム10Bのリフォーカス処理動作の一例を示すフローチャートである。図54において、図7と実質的に同一のステップについては、同一の符号を付し、適宜説明を省略する。
図54に示されるように、まず、焦点面決定部210は、焦点面を決定する(ステップS1200)。
照明範囲決定部300は、ステップS1200で決定された焦点面に対応する照明位置の範囲を決定する(ステップS2200)。
撮影装置100は、複数の照明器101のうち、ステップS2200で決定された照明位置の範囲に対応する照明器を順に用いて、対象物を照明する。そして、撮影装置100は、照明器が対象物を照明するたびに、イメージセンサ102の受光面に到達した光の強度を記録することにより、対象物の画像を取得する。取得された画像は、撮影時に対象物を照明していた照明器の位置情報とともに記憶部120で記憶される(ステップS2300)。具体的には、撮影装置100の撮影制御部103は、ステップS2200で決定された照明位置の範囲に基づいて、複数の照明器101の中から、決定された照明位置の範囲に含まれる2以上の照明器を選択する。そして、撮影制御部103は、予め定められた順番で、選択された2以上の照明器に光を照射させ、イメージセンサ102に撮影させる。撮影装置100が、対象物に対する照明と、対象物の撮影とを繰り返すことにより、決定された照明位置の範囲内の照明器を用いて、対象物の画像を取得する。これ以降の動作は、基本的に実施の形態1の図7と同様であるので説明を省略する。
以上のように、変形例3に係る画像生成システムによれば、焦点面の情報に基づいて照明位置の範囲を決定し、決定された照明位置の範囲に対応する照明器によって対象物を順番に照明することができる。したがって、焦点面における合焦画像の生成に適した照明器を用いて対象物を撮影することができ、撮影時間を短縮することができる。
(他の実施の形態)
以上、1つ又は複数の態様に係る画像生成システムについて、実施の形態及びその変形例に基づいて説明したが、本開示は、これら実施の形態及び変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態及び変形例に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、1つ又は複数の態様の範囲内に含まれてもよい。
本開示は、培養中の細胞あるいは胚等の細胞塊の画像を生成する装置に広く利用可能であり、インキュベータ内で対象物を撮影する際に有用である。
10、10A、10B 画像生成システム
100 撮影装置
101、101a、101b 照明器
102 イメージセンサ
150 表示部
151 表示画面
200、200A、200B 画像生成装置
210 焦点面決定部
220 リフォーカス処理部
230 合焦画像生成部
240 対象物抽出部
250 3D画像生成部
260 画像操作部
270 断面画像生成部
280 最適断面決定部
290 最適断面画像生成部
300 照明範囲決定部
Bi 参考断面画像
S 胚(対象物)

Claims (13)

  1. 複数の照明器と、
    対象物が載置される表面と複数のセンサ画素とを有するイメージセンサと、
    前記複数の照明器及び前記イメージセンサの間に位置する仮想的な複数の基準焦点面に対応する複数の基準合焦画像を生成し、前記複数の基準合焦画像を用いて、前記対象物の3次元画像を生成する制御回路とを備え、
    前記イメージセンサは、前記複数の照明器のそれぞれが照明する毎に、前記複数のセンサ画素で受光される光に基づく輝度値を用いて、複数の撮影画像を取得し、
    前記複数の基準合焦画像は、複数の合焦画素で構成されており、
    前記制御回路は、
    (a1)前記イメージセンサにより撮影された複数の撮影画像を取得し、
    (a2)前記複数の基準焦点面の情報を取得し、ここで、前記複数の基準焦点面は、前記対象物を通り且つ互いに間隔をあけて位置しており、
    (a3)前記複数の基準焦点面の情報と前記複数の撮影画像とを用いて、前記複数の基準合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記複数の基準合焦画像を生成し、
    (a4)前記複数の基準合焦画像のうちの前記対象物の輪郭のコントラストが最も高い前記基準合焦画像を用いて、前記対象物の輪郭を抽出し、
    (a5)抽出した前記対象物の輪郭に基づき前記対象物の立体的な輪郭を特定し、
    (a6)前記複数の基準合焦画像それぞれから、前記立体的な輪郭の外側に相当する領域を除去することによって、前記対象物の複数の基準断面画像を生成し、
    (a7)前記複数の基準断面画像を用いて、前記対象物の3次元画像を生成し、前記3次元画像を表示画面に表示させる
    画像生成装置。
  2. 前記制御回路は、
    外部から入力される指令に従って、表示している前記対象物の3次元画像上で前記対象物の断面を選択し、
    選択した前記対象物の断面の画像を、前記複数の基準合焦画像を構成する複数の画素の輝度を用いて生成し、
    前記対象物の断面の画像を構成する複数の断面画素の輝度値をそれぞれ、前記断面画素上の前記基準合焦画像の画素の輝度値又は前記断面画素の近傍の前記基準合焦画像の画素の輝度値を用いて、算出する
    請求項1に記載の画像生成装置。
  3. 前記断面画素の輝度値の算出に用いられる前記断面画素の近傍の前記基準合焦画像の画素は、前記断面画素を挟んで位置する2つの前記基準焦点面それぞれの前記基準合焦画像の画素である
    請求項2に記載の画像生成装置。
  4. 前記制御回路は、前記対象物の参考用断面を示す参考断面画像を生成し且つ前記参考断面画像を前記表示画面に表示させ、
    前記制御回路は、前記参考断面画像を構成する複数の画素の輝度値を、前記参考断面画像の画素上の前記基準合焦画像の画素の輝度値とすることによって、前記参考断面画像を生成する
    請求項2または3に記載の画像生成装置。
  5. 前記制御回路は、前記照明器の位置と前記合焦画素の位置と前記センサ画素の位置とが直線上に並ぶ関係にある前記センサ画素それぞれの輝度値を用いることによって、前記合焦画素の輝度値を算出する
    請求項1〜4のいずれか一項に記載の画像生成装置。
  6. 前記対象物は胚であり、前記基準合焦画像に含まれる前記胚の輪郭は、円状であり、前記胚の立体的な輪郭は、球状である
    請求項1〜5のいずれか一項に記載の画像生成装置。
  7. イメージセンサ上に位置する対象物の画像を生成する画像生成方法であって、
    (b1)複数の照明器のそれぞれを照明する毎に、前記イメージセンサの複数のセンサ画素で受光される光に基づく輝度値を用いて、複数の撮影画像を取得し、
    (b2)前記複数の照明器及び前記イメージセンサの間に位置する仮想的な複数の基準焦点面を設定し、ここで、前記複数の基準焦点面は、前記対象物を通り且つ互いに間隔をあけて位置し、
    (b3)前記複数の基準焦点面に対応する複数の基準合焦画像を生成することであって、前記複数の基準焦点面の情報と前記複数の撮影画像とを用いて、前記複数の基準合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記複数の基準合焦画像を生成し、
    (b4)前記複数の基準合焦画像のうちから前記対象物の輪郭のコントラストが最も高い前記基準合焦画像を用いて、前記対象物の輪郭を抽出し、
    (b5)抽出した前記対象物の輪郭に基づき前記対象物の立体的な輪郭を特定し、
    (b6)前記複数の基準合焦画像それぞれから、前記立体的な輪郭の外側に相当する領域を除去することによって、前記対象物の複数の基準断面画像を生成し、
    (b7)前記複数の基準断面画像を用いて、前記対象物の3次元画像を生成し、前記3次元画像を表示画面に表示させ、
    前記(b1)〜(b7)の少なくとも1つは制御回路により実行される
    画像生成方法。
  8. (c1)前記対象物の3次元画像上で前記対象物の断面を選択し、
    (c2)選択した前記対象物の断面の画像を、前記複数の基準合焦画像を構成する複数の画素の輝度を用いて生成し、
    (c3)前記対象物の断面の画像を構成する複数の断面画素の輝度値をそれぞれ、前記断面画素上の前記基準合焦画像の画素の輝度値又は前記断面画素の近傍の前記基準合焦画像の画素の輝度値を用いて、算出する
    請求項7に記載の画像生成方法。
  9. 前記断面画素の輝度値の算出では、前記断面画素の近傍の前記基準合焦画像の画素として、前記断面画素を挟んで位置する2つの前記基準焦点面それぞれの前記基準合焦画像の画素を用いる
    請求項8に記載の画像生成方法。
  10. (d1)前記対象物の参考用断面を示す参考断面画像を生成し且つ前記参考断面画像を前記表示画面に表示させ、前記参考断面画像の生成では、前記参考断面画像を構成する複数の画素の輝度値を、前記参考断面画像の画素上の前記基準合焦画像の画素の輝度値とする
    請求項8または9に記載の画像生成方法。
  11. 前記照明器の位置と前記合焦画素の位置と前記センサ画素の位置とが直線上に並ぶ関係にある前記センサ画素それぞれの輝度値を用いて、前記合焦画素の輝度値を算出する
    請求項7〜10のいずれか一項に記載の画像生成方法。
  12. 前記対象物は胚であり、前記基準合焦画像に含まれる前記胚の輪郭は、円状であり、前記胚の立体的な輪郭は、球状である
    請求項7〜11のいずれか一項に記載の画像生成方法。
  13. コンピュータに実行させるプログラムであって、
    (e1)イメージセンサ上に位置する対象物の複数の撮影画像を取得し、ここで、前記複数の撮影画像は、複数の照明器のそれぞれを照明する毎に、前記イメージセンサの複数のセンサ画素で受光される光に基づく輝度値を用いて、前記イメージセンサによって取得され、
    (e2)前記複数の照明器及び前記イメージセンサの間に位置する仮想的な複数の基準焦点面を設定し、ここで、前記複数の基準焦点面は、前記複数の照明器及び前記イメージセンサの間で、前記対象物を通り且つ互いに間隔をあけて位置し、
    (e3)前記複数の基準焦点面に対応する複数の基準合焦画像を生成することであって、前記複数の基準焦点面の情報と前記複数の撮影画像とを用いて、前記複数の基準合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記複数の基準合焦画像を生成し、
    (e4)前記複数の基準合焦画像のうちから前記対象物の輪郭のコントラストが最も高い前記基準合焦画像を用いて、前記対象物の輪郭を抽出し、
    (e5)抽出した前記対象物の輪郭に基づき前記対象物の立体的な輪郭を特定し、
    (e6)前記複数の基準合焦画像それぞれから、前記立体的な輪郭の外側に相当する領域を除去することによって、前記対象物の複数の基準断面画像を生成し、
    (e7)前記複数の基準断面画像を用いて、前記対象物の3次元画像を生成し、前記3次元画像を表示画面に表示させる
    プログラム。
JP2017038653A 2016-03-18 2017-03-01 画像生成装置、画像生成方法及びプログラム Active JP6739061B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016056168 2016-03-18
JP2016056168 2016-03-18
JP2016217674 2016-11-07
JP2016217674 2016-11-07

Publications (2)

Publication Number Publication Date
JP2018082416A JP2018082416A (ja) 2018-05-24
JP6739061B2 true JP6739061B2 (ja) 2020-08-12

Family

ID=59847062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017038653A Active JP6739061B2 (ja) 2016-03-18 2017-03-01 画像生成装置、画像生成方法及びプログラム

Country Status (3)

Country Link
US (1) US10295525B2 (ja)
JP (1) JP6739061B2 (ja)
CN (1) CN107203034B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014109687B4 (de) * 2014-07-10 2020-03-19 Carl Zeiss Microscopy Gmbh Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
DE102015107517B3 (de) 2015-05-13 2016-06-23 Carl Zeiss Ag Vorrichtung und Verfahren zur Bildaufnahme mit erhöhter Schärfentiefe
DE102016116309A1 (de) 2016-05-02 2017-11-02 Carl Zeiss Microscopy Gmbh Beleuchtungsmodul für winkelselektive Beleuchtung
JP7026333B2 (ja) * 2017-03-01 2022-02-28 パナソニックIpマネジメント株式会社 画像生成装置及び画像生成方法
CN112132163B (zh) * 2020-09-21 2024-04-02 杭州睿琪软件有限公司 识别对象边缘的方法、系统及计算机可读存储介质
US11770513B1 (en) * 2022-07-13 2023-09-26 Rovi Guides, Inc. Systems and methods for reducing a number of focal planes used to display three-dimensional objects

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6640004B2 (en) * 1995-07-28 2003-10-28 Canon Kabushiki Kaisha Image sensing and image processing apparatuses
JPH0946730A (ja) * 1995-07-28 1997-02-14 Canon Inc 立体形状抽出装置
DE10234755A1 (de) * 2002-07-30 2004-02-26 Leica Microsystems Wetzlar Gmbh Trägervorrichtung für ein biologisches, mittels Laser-Mikrodissektion schneidbares Präparat
KR20080075123A (ko) * 2005-11-30 2008-08-14 가부시키가이샤 니콘 관찰장치
US9643184B2 (en) * 2010-10-26 2017-05-09 California Institute Of Technology e-Petri dishes, devices, and systems having a light detector for sampling a sequence of sub-pixel shifted projection images
US9569664B2 (en) * 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
JP2013542468A (ja) * 2010-10-26 2013-11-21 カリフォルニア インスティチュート オブ テクノロジー 走査型投影レンズレス顕微鏡システム
US9767341B2 (en) * 2010-12-14 2017-09-19 The Regents Of The University Of California Method and device for holographic opto-fluidic microscopy
JP5992456B2 (ja) * 2011-03-03 2016-09-14 カリフォルニア インスティチュート オブ テクノロジー 装置、システム及び方法
JP5891719B2 (ja) 2011-11-08 2016-03-23 大日本印刷株式会社 細胞断面解析装置、細胞断面解析方法、及び細胞断面解析プログラム
JP2014063151A (ja) * 2012-08-29 2014-04-10 Canon Inc 顕微鏡用照明光学系およびこれを用いた顕微鏡
DE102013021542A1 (de) * 2013-12-18 2015-06-18 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
JP2015156011A (ja) * 2014-01-15 2015-08-27 キヤノン株式会社 画像取得装置およびその制御方法

Also Published As

Publication number Publication date
US20170270662A1 (en) 2017-09-21
US10295525B2 (en) 2019-05-21
CN107203034A (zh) 2017-09-26
JP2018082416A (ja) 2018-05-24
CN107203034B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
JP6799821B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP6739061B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP6765057B2 (ja) 画像生成装置、画像生成方法およびプログラム
JP2008242658A (ja) 立体物体の撮像装置
JP2015143691A (ja) カット石を撮像する方法およびシステム
KR20170005009A (ko) 3d 라돈 이미지의 생성 및 사용
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2016020891A (ja) 形状計測システムおよび撮像装置
US9426443B2 (en) Image processing system, terminal device, and image processing method
JP6301416B2 (ja) 画像処理方法、画像処理装置、および撮像装置
JP6234401B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2015041169A (ja) 画像処理装置およびその制御方法、プログラム
EP2826243B1 (en) Method and system for identifying depth data associated with an object
CN108535853B (zh) 图像生成装置及图像生成方法
JP6333318B2 (ja) 画像処理方法、画像処理装置、および撮像装置
JP7030986B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP6767689B2 (ja) 画像生成システム及び画像生成方法
CN106950687B (zh) 图像生成系统以及图像生成方法
JP2023099555A (ja) 培養状態判定装置、培養状態判定方法及びプログラム
JP3639869B2 (ja) 対象物表面の色を再現した立体画像を作成する立体観察装置および方法
JP2016119890A (ja) 画像出力装置、画像出力方法、及びプログラム
JP6263589B1 (ja) 画像処理方法、画像処理装置、および撮像装置
JPWO2020091965A5 (ja)
JP2018120363A (ja) 画像生成装置及び画像生成方法
JP2018082355A (ja) 画像生成システム及び画像生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200703

R151 Written notification of patent or utility model registration

Ref document number: 6739061

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151