JP6765057B2 - 画像生成装置、画像生成方法およびプログラム - Google Patents
画像生成装置、画像生成方法およびプログラム Download PDFInfo
- Publication number
- JP6765057B2 JP6765057B2 JP2017023557A JP2017023557A JP6765057B2 JP 6765057 B2 JP6765057 B2 JP 6765057B2 JP 2017023557 A JP2017023557 A JP 2017023557A JP 2017023557 A JP2017023557 A JP 2017023557A JP 6765057 B2 JP6765057 B2 JP 6765057B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- sphere
- generated
- focal plane
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 85
- 210000001161 mammalian embryo Anatomy 0.000 claims description 101
- 239000002131 composite material Substances 0.000 claims description 77
- 230000004044 response Effects 0.000 claims description 10
- 210000004027 cell Anatomy 0.000 description 96
- 238000005286 illumination Methods 0.000 description 83
- 230000008569 process Effects 0.000 description 65
- 238000003860 storage Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 34
- 230000004048 modification Effects 0.000 description 33
- 238000012986 modification Methods 0.000 description 33
- 238000003384 imaging method Methods 0.000 description 17
- 239000000284 extract Substances 0.000 description 16
- 239000012528 membrane Substances 0.000 description 15
- 238000000605 extraction Methods 0.000 description 14
- 239000000126 substance Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 210000004748 cultured cell Anatomy 0.000 description 4
- 239000002609 medium Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000012258 culturing Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 210000002257 embryonic structure Anatomy 0.000 description 2
- 230000004720 fertilization Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 241000251539 Vertebrata <Metazoa> Species 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000001963 growth medium Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000020509 sex determination Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0008—Microscopes having a simple construction, e.g. portable microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Image Analysis (AREA)
- Geometry (AREA)
Description
実施の形態1では、イメージセンサ上に位置する対象物に複数の照明器が順に照明し、照明する毎に対象物を撮影することで得られた複数の撮影画像を用いて、複数の照明器とイメージセンサとの間に位置する仮想的な焦点面における対象物の画像を生成する。以下において、この複数の撮影画像を用いて生成された画像を合焦画像ともいう。
図1は、実施の形態1に係る画像生成システムの機能ブロック図である。図1に示される画像生成システム10は、撮影装置100Aと、画像生成装置100Bと、記憶部120と、表示部150とを備える。画像生成システム10は、さらに、予め定められた焦点面の情報を記憶している第1記録部111と、リフォーカス処理済みの画素の情報を記録する第2記録部121と、焦点面を指定する指定情報の入力を受け付ける入力部112とを備えてもよい。
まず、撮影装置100Aの構成について説明する。撮影装置100Aは、複数の照明器101と、イメージセンサ102と、撮影制御部103とを備える。撮影装置100Aは、対象物の撮影画像(photographic image)を取得する。ここでは、撮影部100は、フォーカスレンズを有さない。
次に、画像生成装置100Bの構成について説明する。画像生成装置100Bは、制御回路によって実現される。図1に示すように、画像生成装置100Bは、焦点面決定部110と、リフォーカス処理部130と、画像生成部140とを備える。
次に、以上のように構成された画像生成システム10の動作について説明する。図7は、実施の形態1に係る画像生成システム10の動作の一例を示すフローチャートである。図8は、座標と焦点面との関係の一例を示す模式図である。
まず、撮影部100は、複数の照明器101を順に用いて対象物を照明し、当該対象物の複数の画像を撮影する。具体的には、撮影部100は、複数の照明器101のそれぞれが対象物を照明するたびに、イメージセンサ102の受光面に到達した光の強度を記録することにより、対象物の画像を取得する。取得された画像は、撮影時に対象物を照明していた照明器の位置情報とともに記憶部120で記憶される。ここでは、複数の照明器101の位置は、イメージセンサ102に対して固定されており、複数の照明器101の各々の位置情報は予め定められている。撮影処理の詳細は後述する。
焦点面決定部110は、焦点面を決定する。具体的には、焦点面決定部110は、イメージセンサ102に対する焦点面の位置及び傾き(角度)を決定する。例えば、焦点面決定部110は、第1記録部111に記憶される予め定められた焦点面の情報に基づいて焦点面を決定してもよい。または、焦点面決定部110は、入力部112によりユーザから受け付けられた、焦点面を指定する指定情報に基づいて、焦点面を決定してもよい。
リフォーカス処理部130は、複数の撮像画像と、複数の照明器101の位置情報と、焦点面の情報とに基づいて、リフォーカス処理を行い、焦点面上の各点の輝度を求める。リフォーカス処理の詳細は後述する。
画像生成部140は、ステップS1300で行われたリフォーカス処理の結果に基づきディスプレイ等に出力可能な画像データを生成する。画像生成部140は、生成された画像データを表示部150に出力する。
表示部150は、ステップS1400で生成された画像を表示する。
ここでステップS1100の撮影部100の動作の詳細を説明する。図9は、撮影装置100Aの動作の一例を示すフローチャートである。
撮影制御部103は、予め定められた複数の照明位置、または図示しない外部入力によって指定された複数の照明位置のリスト(以下、照明位置リストという)を参照して、各照明位置から照明された対象物の撮影が終了したか否かを判定する。複数の照明器101と照明位置リストに含まれる複数の照明位置は1対1に対応する。
撮影制御部103は、照明位置リストに含まれる複数の照明位置の中から、まだ照明が行われていない照明位置を選択し、複数の照明器101へ制御信号を出力する。なお、撮影制御部103は、まだ照明が行われていない照明位置が複数存在する場合は、一つの照明位置を選択する。照明位置リストにおいて、各照明位置は、例えば、照明位置ごとに割り当てられた番号によって示される。あるいは、各照明位置は、例えば、図8に示すxyz空間における座標値によって示される。照明位置の選択は、例えば、リストの昇順に行われる。
複数の照明器101は、ステップS1120で撮影制御部103より出力された制御信号に従って、対象物への照明を開始する。つまり、ステップS1120で選択された照明位置にある照明器が光の照射を開始する。
照明器によって対象物が照明されている間に、イメージセンサ102は、当該照明器から対象物を透過した光によって形成される画像を取得する。
その後、撮影制御部103は、複数の照明器101へ制御信号を出力して、対象物への照明を停止する。なお、照明の停止は、撮影制御部103からの制御信号に従って行われなくてもよい。例えば、複数の照明器101は、照明を開始してからの時間長を計時して、計時した時間長が予め定められた時間長を超えたら照明を能動的に停止してもよい。あるいはステップS1140でイメージセンサ102が画像の取得を終了した後に、イメージセンサ102は、照明を停止するための制御信号を複数の照明器101に出力してもよい。
次いで、撮影制御部103は、ステップS1140で取得された画像と、ステップS1130で用いられた照明器の位置情報を記憶部120へ出力する。そして、記憶部120は、画像データと照明位置の情報とを対応付けて記憶する。ステップS1160の後、ステップS1110へ戻る。
さらに、ステップS1300のリフォーカス処理部130の動作の詳細を説明する。図10は、実施の形態1に係るリフォーカス処理部130の動作の一例を示すフローチャートである。図11〜図15は、リフォーカス処理の計算方法の具体例を説明する模式図である。
リフォーカス処理部130は、ステップS1200で決定された焦点面の情報を焦点面決定部110から取得する。
リフォーカス処理部130は、合焦画像に含まれる全画素についてリフォーカス処理が終了したか否かを判定する。ここでは、リフォーカス処理とは、ステップS1320からステップS1390までの処理を意味する。
リフォーカス処理部130は、合焦画像に含まれる複数の画素の中から1つの画素を選択する。ここで選択される1つの画素は、合焦画像に含まれる複数の画素のうち、リフォーカス処理がまだ実行されていない画素である。なお、合焦画像の画素値の初期値は0である。
リフォーカス処理部130は、すべての照明位置に対する加算処理が終了しているか否かを判定する。
リフォーカス処理部130は、撮影に用いたすべての照明位置の中からまだ加算処理が終了していない照明位置を選択する。
リフォーカス処理部130は、選択された照明位置と焦点面における選択画素の位置とを通る直線が、イメージセンサ102の受光面と交差する点の位置を計算する。
リフォーカス処理部130は、選択された照明位置に対応する画像を記憶部120から取得する。つまり、リフォーカス処理部130は、選択された照明位置にある照明器を用いて撮影された画像を記憶部120から取得する。具体的には、リフォーカス処理部130は、図6に示した照明位置情報と画像との対応関係に従って、記憶部120に記憶された画像を取得する。例えば、リフォーカス処理部130は、図13に示す照明器101aの位置に対応する画像を取得する。
リフォーカス処理部130は、ステップS1360で計算されたイメージセンサ102上の対象点の撮影画像中の位置を決定する。具体的には、リフォーカス処理部130は、撮影画像の画素の配列を基準に撮影画像における対象点の位置を決定する。
リフォーカス処理部130は、合焦画像上の選択画素の輝度値にステップS1390で計算した対象点の輝度値を加算する。
以上のように、本実施の形態に係る画像生成システムによれば、焦点面上における画素の位置及び照明器の位置を結ぶ直線とイメージセンサ102の受光面との交点である対象点の輝度値を、当該画素の輝度値に適用することができる。したがって、仮想的な焦点面における合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を反映することができ、対象物の高画質な合焦画像を生成することができる。
次に、実施の形態1の変形例1について説明する。上記実施の形態1では、図10のステップS1350で照明位置が選択されたが、本変形例では、撮影画像が選択される。以下に、実施の形態1の変形例1について、実施の形態1と異なる点を中心に説明する。
次に、実施の形態1の変形例2について説明する。上記実施の形態1では、図10のステップS1320及びステップS1330で、合焦画像内の画素が順に選択されたが、本変形例では、撮影画像内の画素が順に選択される。つまり、本変形例では、先に撮影画像内の画素が選択され、その選択された画素に対応する焦点面上の点が後で決定される点が上記実施の形態1と異なる。このように決定された焦点面上の点に対応する合焦画像内の画素に、撮影画像内の選択された画素の輝度値が反映される。以下に、実施の形態1の変形例2について、実施の形態1と異なる点を中心に説明する。
リフォーカス処理部130は、ステップS1100で撮影した画像のすべてについてリフォーカス処理が終了したかどうかを判定する。リフォーカス処理とは、ステップS1322からステップS1392までの処理を意味する。すべての画像についてすでにリフォーカス処理が終了している場合(ステップS1322においてyes)は、リフォーカス処理部130は、ステップS1400へ進む。ステップS1100で撮影した画像のいずれかについてリフォーカス処理が終了していない場合(ステップS1322においてno)は、ステップS1332へ進む。
リフォーカス処理部130は、記憶部120に記憶されている、ステップS1100で撮影された画像の中から、1つの撮影画像を選択する(ステップS1332)。ここで選択される1つの撮影画像は、リフォーカス処理がまだ行われていない画像である。以下において、ステップS1332で選択された1つの画像を選択画像という。
リフォーカス処理部130は、選択画像に対応する照明位置情報を取得する。例えば、リフォーカス処理部130は、図6に示した画像と照明位置情報との対応関係を参照して照明位置情報を取得する。ここでは、照明器101aの位置情報が取得された場合について説明する。
リフォーカス処理部130は、選択画像の全画素に対して、加算処理が終了したかを判定する(ステップS1342)。ここで、選択画像の全画素について加算処理が終了している場合(ステップS1342においてyes)は、加算処理を終了してステップS1322へ戻る。一方、選択画像のいずれかの画素について加算処理が終了していない場合(ステップS1342においてno)は、ステップS3152へ進む。加算処理とは、ステップS1342からステップS1392までの処理を意味する。
リフォーカス処理部130は、選択画像中の1つの画素を選択する。ここで選択される1つの画素は、加算処理がまだ行われていない画素である。
リフォーカス処理部130は、図19に示すように、受光面上の点1302aと照明器101aの位置とを結ぶ直線と焦点面1100とが交差する交点1303aの位置を計算する。以下において、交点1303aを加算点とも表記する。
リフォーカス処理部130は、受光面上の点1302aに対応する選択画像内の加算画素の輝度値を、焦点面上の加算点(交点1303a)に対応する合焦画像内の1以上の画素の輝度値に加算する。
リフォーカス処理部130は、合焦画像中の1以上の画素の輝度値に、ステップS1382で計算された輝度値を加算する。
次に、実施の形態2について説明する。実施の形態2では、決定された焦点面に応じて適応的に照明位置を決定し、決定された照明位置にある照明器を用いて対象物を撮影する点が実施の形態1と異なる。以下に、実施の形態2について、実施の形態1と異なる点を中心に説明する。
図22は、実施の形態2に係る画像生成システム20の機能的な構成を示すブロック図である。図22において、図1と実質的に同一の構成要素については、同一の符号を付し、適宜説明を省略する。
撮影装置200Aは、複数の照明器101と、画素ごとに光の強度を記録するイメージセンサ102と、撮影制御部203とを備える。
画像生成装置200Bは、焦点面決定部210と、照明範囲決定部211と、リフォーカス処理部130と、画像生成部140とを備える。
次に、上述のように構成される画像生成システム20の動作について説明する。
以上のように、本実施の形態に係る画像生成システムによれば、焦点面の情報に基づいて照明位置の範囲を決定し、決定された照明位置の範囲に対応する照明器によって対象物を順番に照明することができる。したがって、焦点面における合焦画像の生成に適した照明器を用いて対象物を撮影することができ、撮影時間を短縮することができる。
次に、実施の形態2の変形例について説明する。本変形例では、予め取得されたパイロット画像を用いて対象領域を決定し、当該対象領域に基づいて照明位置の範囲を決定する点が実施の形態2と異なる。以下に、実施の形態2の変形例について、実施の形態2と異なる点を中心に説明する。
図26は、実施の形態2の変形例に係る画像生成システム30の機能的な構成を示すブロック図である。図26において、図22と実質的に同一の構成要素については、同一の符号を付し、適宜説明を省略する。
次に、上述のように構成される画像生成システム30の動作について説明する。
以上のように、本変形例に係る画像生成システム30によれば、焦点面に加えて対象領域に基づいて照明位置の範囲を決定することができ、さらに撮影時間を短縮することができる。
次に、実施の形態3について説明する。実施の形態3は、対象物の状態に基づいて焦点面を決定する点が実施の形態1と異なる。例えば、本実施の形態では、受精卵や初期胚のように、対象物の状態が培養時間に応じて変化する場合に、培養時間に対応する対象物の状態に基づいて、焦点面の数及び角度を決定する。以下に、実施の形態3について、実施の形態1と異なる点を中心に説明する。
図28は、実施の形態3に係る画像生成システム40の機能的な構成を示すブロック図である。図28において、図1と実質的に同一の構成要素については、同一の符号を付し、適宜説明を省略する。
次に、上述のように構成される画像生成システム40の動作について説明する。
以上のように、本実施の形態に係る画像生成システム40によれば、対象物の状態に応じて焦点面の数を決定することができ、対象物の観察に適した合焦画像を生成することが可能となる。
実施の形態3の変形例では、まず、イメージセンサの受光面に平行な焦点面において合焦画像を生成し、生成された合焦画像における対象物(例えば細胞)の立体的配置に応じて、他の焦点面を自動的に決定する点が上記実施の形態3と異なる。以下に、実施の形態3の変形例について、実施の形態3と異なる点を中心に説明する。
次に、上述のように構成される画像生成システム50の動作について説明する。
以上のように、本変形例に係る画像生成システム50によれば、対象物である初期胚における細胞の配置に応じて、焦点面の位置及び角度を決定することができる。したがって、初期胚の観察に適した合焦画像を生成することができる。
実施の形態4における画像生成装置は、表示される合焦画像の焦点面をユーザに選ばせるためのガイドとなる合成画像を表示する。なお、実施の形態4における画像生成装置は、上記実施の形態1〜3およびそれらの変形例における画像生成装置100B、200B、300B、400Bおよび500Bと同様にリフォーカス処理を行う。
図39は、実施の形態4における画像生成システムの機能ブロック図である。
。
画像生成装置600Bは、図39に示すように、リフォーカス処理部610と、球画像生成部620と、合成画像生成部630とを備える。なお、この画像生成装置600Bは、制御回路によって実現される。また、この画像生成装置600Bは、複数の照明器101と、対象物が載置される表面を有するイメージセンサ102とを備えていてもよい。
図41は、球画像生成部620の詳細な機能構成を示すブロック図である。
図44は、実施の形態4に係る画像生成装置600Bの動作の一例を示すフローチャートである。
まず、リフォーカス処理部610は、画像取得部710によって取得された対象物の複数の撮影画像を用いて、複数の初期焦点面のそれぞれにおける対象物の合焦画像を生成する。
次に、球画像生成部620は、生成された複数の合焦画像に映っている対象物の断面の輪郭を抽出して、抽出された輪郭に沿った形状の円周をそれぞれ有する少なくとも1つの球の立体画像である球画像を生成する。
次に、合成画像生成部630は、その少なくとも1つの球の断面が現れるように球画像を加工することによって合成画像を生成してディスプレイ760に表示させる。
次に、リフォーカス処理部610は、合焦画像の要求、つまりリフォーカス処理の要求が焦点面入力部730に受け付けられたか否かを判定する。
リフォーカス処理部610は、ステップS130において、その要求が受け付けられたと判定すると(ステップS130のYes)、合焦画像を生成する。つまり、リフォーカス処理部610は、ユーザからの要求に応じて、ディスプレイ760に表示されている断面に対応する焦点面における対象物の合焦画像を、複数の撮影画像を用いて生成する。なお、複数の撮影画像は、画像取得部710によって取得された、対象物の複数の撮影画像である。
リフォーカス処理部610は、その生成された合焦画像をディスプレイ760に表示させる。
ステップS130において、合焦画像の要求が受け付けられていないとリフォーカス処理部610によって判定されると(ステップS130のNo)、合成画像生成部630は、ユーザによる画面の操作が操作部740に受け付けられたか否かを判定する。ここで、画面の操作が受け付けられていないと合成画像生成部630によって判定されると(ステップS160のNo)、画像生成装置600Bは処理を終了する。
一方、合成画像生成部630は、画面の操作が受け付けられたと判定すると(ステップS160のYes)、表示されている合成画像をその操作にしたがって変更する。つまり、合成画像生成部630は、ユーザによる操作に応じて、表示されている合成画像における断面の位置を変更する。そして、画像生成装置600Bは、ステップS130からの処理を繰り返し実行する。
まず、球画像生成部620の輪郭抽出部621は、複数の初期焦点面のそれぞれにおける合焦画像に映っている対象物の断面の輪郭を抽出する。
同一性判定部622は、対象物に含まれる少なくとも1つの構成要素のそれぞれについて、同一の構成要素に対応する複数の輪郭を、ステップS111で抽出された複数の輪郭の中から選択する。
高さ決定部623は、対象物に含まれる少なくとも1つの構成要素のそれぞれについて、同一の構成要素に対応する複数の輪郭の高さ(z座標)を特定する。そして、高さ決定部623は、特定された複数の輪郭の高さの中心を、構成要素の中心の高さとして決定する。
形状決定部624は、対象物に含まれる少なくとも1つの構成要素のそれぞれについて、構成要素を球にモデル化する。つまり、形状決定部624は、初期胚モデル720と、構成要素の中心の高さと、その高さの合焦画像から抽出された輪郭とを用いて、構成要素を球にモデル化する。
立体画像生成部625は、対象物に含まれる少なくとも1つの構成要素のそれぞれのモデル化によって得られる少なくとも1つの球からなる立体画像である球画像を生成する。
上記実施の形態4における画像生成装置600Bは、複数の照明器101と、制御回路とによって実現される。
まず、制御回路60は、複数の照明器101が対象物を順番に照明するごとに行われるイメージセンサ102による撮影によって得られた対象物の複数の撮影画像を用いて、予め定められた複数の焦点面のそれぞれにおける対象物の合焦画像を生成する。
次に、制御回路60は、生成された複数の合焦画像に映っている対象物の少なくとも1つの断面の輪郭を抽出する。
次に、制御回路60は、その少なくとも1つの断面の輪郭に基づいて、少なくとも1つの円周を生成する。
次に、制御回路60は、生成された少なくとも1つの円周のそれぞれを有する少なくとも1つの球の立体画像である球画像A0を生成する。
そして、制御回路60は、その少なくとも1つの球の断面B1が現れるように球画像A0を加工することによって合成画像Mを生成してディスプレイ760に表示させる。
以上、1つ又は複数の態様に係る画像生成システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、1つ又は複数の態様の範囲内に含まれてもよい。
100A、200A 撮影装置
100B、200B、300B、400B、500B 画像生成装置
101 複数の照明器
101a、101b 照明器
101A LED光源
101B 遮光板
101C ピンホール
101D コリメートレンズ
101E 光源
101F 半球
101G 擬似点光源
101H 平面
101J 合焦点
102 イメージセンサ
103、203 撮影制御部
110、210、410、510 焦点面決定部
111 第1記録部
112 入力部
120、320、525 記憶部
121 第2記録部
130、230、530 リフォーカス処理部
140、540 画像生成部
150 表示部
211、311 照明範囲決定部
212、312 対象領域決定部
213、313 処理範囲切り出し部
420 胚情報テーブル
430 計時部
511 水平面決定部
513 細胞位置判定部
514 位置傾き決定部
521 3Dモデルデータベース
522 回転処理部
523 2D化処理部
524 比較部
600B 画像生成装置
610 リフォーカス処理部
620 球画像生成部
621 輪郭抽出部
622 同一性判定部
623 高さ決定部
624 形状決定部
625 立体画像生成部
630 合成画像生成部
710 画像取得部
720 初期胚モデル
730 焦点面入力部
740 操作部
760 ディスプレイ
1000 対象物
1100 焦点面
1102a、1102b、1102c、1102d、1102e、1302a、1302b、1302c、1302d、1302e 点
1103a、1103b 交点
1303a 交点
3501、3502、3503、3504 細胞
Claims (21)
- 複数の照明器と、
対象物が載置される表面を有するイメージセンサと、
前記複数の照明器と前記イメージセンサとの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する制御回路とを備え、
前記制御回路は、
(a)前記複数の照明器が前記対象物を順番に照明するごとに行われる前記イメージセンサによる撮影によって得られた前記対象物の複数の撮影画像を用いて、予め定められた複数の焦点面のそれぞれにおける前記対象物の合焦画像を生成し、
(b)生成された複数の前記合焦画像に映っている前記対象物の少なくとも1つの断面の輪郭を抽出し、
(c)前記少なくとも1つの断面の輪郭に基づいて、少なくとも1つの円周を生成し、
(d)生成された前記少なくとも1つの円周のそれぞれを有する少なくとも1つの球の立体画像である球画像を生成し、
(e)前記少なくとも1つの球の断面が現れるように前記球画像を加工することによって合成画像を生成して、前記合成画像をディスプレイに表示させる
画像生成装置。 - 前記制御回路は、
前記(b)では、
生成された複数の前記合焦画像のそれぞれに映っている前記対象物の断面の輪郭から、複数の前記合焦画像のそれぞれにおいて同一の位置にあって同一のサイズおよび形状の複数の輪郭を抽出し、
前記(c)では、
抽出された前記複数の輪郭のうちの最大のエッジ強度を有する輪郭に基づいて円周を生成する
請求項1に記載の画像生成装置。 - 前記制御回路は、
前記(c)では、
前記最大のエッジ強度を有する輪郭に内接または外接する円周を生成する
請求項2に記載の画像生成装置。 - 前記制御回路は、
前記(d)では、
生成された前記円周と同一の中心および半径を有する球の立体画像を含む前記球画像を生成する
請求項3に記載の画像生成装置。 - 前記制御回路は、
前記(d)では、球面が互いに交わらない複数の球の立体画像を、前記球画像として生成する
請求項1〜4の何れか1項に記載の画像生成装置。 - 前記対象物は胚であり、
前記少なくとも1つの球は、胚の外形を表す外球と、前記外球に内包され、それぞれ細胞の外形を表す少なくとも1つの内球とからなる
請求項1〜5の何れか1項に記載の画像生成装置。 - 前記制御回路は、さらに、
(f)ユーザによる操作に応じて、表示されている前記合成画像における前記断面の位置を前記ディスプレイに変更させ、
(g)ユーザからの要求に応じて、ディスプレイに表示されている前記断面に対応する焦点面における前記対象物の合焦画像を、前記複数の撮影画像を用いて生成して、ディスプレイに表示させる
請求項1〜6の何れか1項に記載の画像生成装置。 - 複数の照明器と、対象物が載置されるイメージセンサとの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する画像生成方法であって、
(a)前記複数の照明器が前記対象物を順番に照明するごとに行われる前記イメージセンサによる撮影によって得られた前記対象物の複数の撮影画像を用いて、予め定められた複数の焦点面のそれぞれにおける前記対象物の合焦画像を生成し、
(b)生成された複数の前記合焦画像に映っている前記対象物の少なくとも1つの断面の輪郭を抽出し、
(c)前記少なくとも1つの断面の輪郭に基づいて、少なくとも1つの円周を生成し、
(d)生成された前記少なくとも1つの円周のそれぞれを有する少なくとも1つの球の立体画像である球画像を生成し、
(e)前記少なくとも1つの球の断面が現れるように前記球画像を加工することによって合成画像を生成して、前記合成画像をディスプレイに表示させる
画像生成方法。 - 前記(b)では、
生成された複数の前記合焦画像のそれぞれに映っている前記対象物の断面の輪郭から、複数の前記合焦画像のそれぞれにおいて同一の位置にあって同一のサイズおよび形状の複数の輪郭を抽出し、
前記(c)では、
抽出された前記複数の輪郭のうちの最大のエッジ強度を有する輪郭に基づいて円周を生成する
請求項8に記載の画像生成方法。 - 前記(c)では、
前記最大のエッジ強度を有する輪郭に内接または外接する円周を生成する
請求項9に記載の画像生成方法。 - 前記(d)では、
生成された前記円周と同一の中心および半径を有する球の立体画像を含む前記球画像を生成する
請求項10に記載の画像生成方法。 - 前記(d)では、球面が互いに交わらない複数の球の立体画像を、前記球画像として生成する
請求項8〜11の何れか1項に記載の画像生成方法。 - 前記対象物は胚であり、
前記少なくとも1つの球は、胚の外形を表す外球と、前記外球に内包され、それぞれ細胞の外形を表す少なくとも1つの内球とからなる
請求項8〜12の何れか1項に記載の画像生成方法。 - 前記画像生成方法は、さらに、
(f)ユーザによる操作に応じて、表示されている前記合成画像における前記断面の位置を前記ディスプレイに変更させ、
(g)ユーザからの要求に応じて、ディスプレイに表示されている前記断面に対応する焦点面における前記対象物の合焦画像を、前記複数の撮影画像を用いて生成して、ディスプレイに表示させる
請求項8〜13の何れか1項に記載の画像生成方法。 - 複数の照明器と、対象物が載置されるイメージセンサとの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成するためのプログラムであって、
前記プログラムは、
(a)前記複数の照明器が前記対象物を順番に照明するごとに行われる前記イメージセンサによる撮影によって得られた前記対象物の複数の撮影画像を用いて、予め定められた複数の焦点面のそれぞれにおける前記対象物の合焦画像を生成し、
(b)生成された複数の前記合焦画像に映っている前記対象物の少なくとも1つの断面の輪郭を抽出し、
(c)前記少なくとも1つの断面の輪郭に基づいて、少なくとも1つの円周を生成し、
(d)生成された前記少なくとも1つの円周のそれぞれを有する少なくとも1つの球の立体画像である球画像を生成し、
(e)前記少なくとも1つの球の断面が現れるように前記球画像を加工することによって合成画像を生成して、前記合成画像をディスプレイに表示させる
ことをコンピュータに実行させるプログラム。 - 前記(b)では、
生成された複数の前記合焦画像のそれぞれに映っている前記対象物の断面の輪郭から、複数の前記合焦画像のそれぞれにおいて同一の位置にあって同一のサイズおよび形状の複数の輪郭を抽出し、
前記(c)では、
抽出された前記複数の輪郭のうちの最大のエッジ強度を有する輪郭に基づいて円周を生成する
請求項15に記載のプログラム。 - 前記(c)では、
前記最大のエッジ強度を有する輪郭に内接または外接する円周を生成する
請求項16に記載のプログラム。 - 前記(d)では、
生成された前記円周と同一の中心および半径を有する球の立体画像を含む前記球画像を生成する
請求項17に記載のプログラム。 - 前記(d)では、球面が互いに交わらない複数の球の立体画像を、前記球画像として生成する
請求項15〜18の何れか1項に記載のプログラム。 - 前記対象物は胚であり、
前記少なくとも1つの球は、胚の外形を表す外球と、前記外球に内包され、それぞれ細胞の外形を表す少なくとも1つの内球とからなる
請求項15〜19の何れか1項に記載のプログラム。 - 前記プログラムは、さらに、
(f)ユーザによる操作に応じて、表示されている前記合成画像における前記断面の位置を前記ディスプレイに変更させ、
(g)ユーザからの要求に応じて、ディスプレイに表示されている前記断面に対応する焦点面における前記対象物の合焦画像を、前記複数の撮影画像を用いて生成して、ディスプレイに表示させる
ことを前記コンピュータに実行させる
請求項15〜20の何れか1項に記載のプログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016056249 | 2016-03-18 | ||
JP2016056249 | 2016-03-18 | ||
JP2016216720 | 2016-11-04 | ||
JP2016216720 | 2016-11-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018078880A JP2018078880A (ja) | 2018-05-24 |
JP6765057B2 true JP6765057B2 (ja) | 2020-10-07 |
Family
ID=59848307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017023557A Active JP6765057B2 (ja) | 2016-03-18 | 2017-02-10 | 画像生成装置、画像生成方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10191265B2 (ja) |
JP (1) | JP6765057B2 (ja) |
CN (1) | CN107204030B (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6455829B2 (ja) * | 2013-04-01 | 2019-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
DE102014109687B4 (de) * | 2014-07-10 | 2020-03-19 | Carl Zeiss Microscopy Gmbh | Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung |
DE102015107517B3 (de) | 2015-05-13 | 2016-06-23 | Carl Zeiss Ag | Vorrichtung und Verfahren zur Bildaufnahme mit erhöhter Schärfentiefe |
WO2018200685A2 (en) | 2017-04-27 | 2018-11-01 | Ecosense Lighting Inc. | Methods and systems for an automated design, fulfillment, deployment and operation platform for lighting installations |
DE102016116311A1 (de) | 2016-05-02 | 2017-11-02 | Carl Zeiss Microscopy Gmbh | Winkelselektive Beleuchtung |
JP7026333B2 (ja) * | 2017-03-01 | 2022-02-28 | パナソニックIpマネジメント株式会社 | 画像生成装置及び画像生成方法 |
WO2019106945A1 (ja) * | 2017-11-28 | 2019-06-06 | パナソニックIpマネジメント株式会社 | 培養状態判定装置、培養状態判定方法及びプログラム |
CN110111842B (zh) * | 2018-01-29 | 2021-06-29 | 深圳华大智造科技股份有限公司 | 图像清晰度分析及对焦方法、测序仪、系统与存储介质 |
JPWO2019229834A1 (ja) * | 2018-05-29 | 2021-06-24 | オリンパス株式会社 | 観察装置、傾き検出方法および傾き検出プログラム |
US10902605B2 (en) | 2018-06-21 | 2021-01-26 | Intel Corporation | Apparatus and method for conservative morphological antialiasing with multisampling |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5061645B2 (ja) * | 2007-02-26 | 2012-10-31 | ソニー株式会社 | 情報抽出方法、情報抽出装置、プログラム、登録装置及び照合装置 |
CN102711626B (zh) * | 2010-01-07 | 2014-12-10 | 株式会社日立医疗器械 | 医用图像诊断装置和医用图像的轮廓提取处理方法 |
JP2013542468A (ja) * | 2010-10-26 | 2013-11-21 | カリフォルニア インスティチュート オブ テクノロジー | 走査型投影レンズレス顕微鏡システム |
US9569664B2 (en) * | 2010-10-26 | 2017-02-14 | California Institute Of Technology | Methods for rapid distinction between debris and growing cells |
JP5992456B2 (ja) * | 2011-03-03 | 2016-09-14 | カリフォルニア インスティチュート オブ テクノロジー | 装置、システム及び方法 |
JP5891719B2 (ja) | 2011-11-08 | 2016-03-23 | 大日本印刷株式会社 | 細胞断面解析装置、細胞断面解析方法、及び細胞断面解析プログラム |
CN104660900B (zh) * | 2013-10-30 | 2018-03-02 | 株式会社摩如富 | 图像处理装置及图像处理方法 |
US9720506B2 (en) * | 2014-01-14 | 2017-08-01 | Microsoft Technology Licensing, Llc | 3D silhouette sensing system |
JP6394960B2 (ja) * | 2014-04-25 | 2018-09-26 | パナソニックIpマネジメント株式会社 | 画像形成装置および画像形成方法 |
JP6424020B2 (ja) * | 2014-06-09 | 2018-11-14 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP6260871B2 (ja) * | 2014-06-27 | 2018-01-17 | パナソニックIpマネジメント株式会社 | プレパラート部品セット、プレパラート、プレパラートの作製方法、画像撮影装置、および画像撮影方法 |
-
2017
- 2017-02-10 JP JP2017023557A patent/JP6765057B2/ja active Active
- 2017-02-23 CN CN201710099112.0A patent/CN107204030B/zh active Active
- 2017-03-06 US US15/450,329 patent/US10191265B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018078880A (ja) | 2018-05-24 |
US20170269344A1 (en) | 2017-09-21 |
CN107204030B (zh) | 2022-12-27 |
US10191265B2 (en) | 2019-01-29 |
CN107204030A (zh) | 2017-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6765057B2 (ja) | 画像生成装置、画像生成方法およびプログラム | |
JP6799821B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP6947841B2 (ja) | 病理学用の拡張現実顕微鏡 | |
CN107203034B (zh) | 图像生成装置、图像生成方法以及记录介质 | |
EP4268757A2 (en) | Generation of one or more edges of luminosity to form three-dimensional models of objects | |
Rodriguez et al. | Automated reconstruction of three-dimensional neuronal morphology from laser scanning microscopy images | |
IL304063A (en) | Method and system for three-dimensional modeling of gemstones | |
JP2020508496A (ja) | 試料の三次元画像を撮影および表示するための顕微鏡装置 | |
US20140028667A1 (en) | Three-Dimensional Representation of Objects | |
CN113822852A (zh) | 图像处理方法、程序以及记录介质 | |
JP6767689B2 (ja) | 画像生成システム及び画像生成方法 | |
JP7026333B2 (ja) | 画像生成装置及び画像生成方法 | |
CN106950687B (zh) | 图像生成系统以及图像生成方法 | |
JP2023099555A (ja) | 培養状態判定装置、培養状態判定方法及びプログラム | |
JP2022001983A (ja) | 画像処理方法、プログラムおよび記録媒体 | |
EP3259631B1 (en) | Device and method for creating an optical tomogram of a microscopic sample | |
JP2008204318A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN106646845A (zh) | 实现自动对焦和三维重建的显微系统及其图像获取方法 | |
JP3639869B2 (ja) | 対象物表面の色を再現した立体画像を作成する立体観察装置および方法 | |
JP2018174787A (ja) | 画像生成装置、画像生成システム、画像生成方法及びプログラム | |
JP2019078884A (ja) | 画像処理装置および顕微鏡システム | |
JP2018120363A (ja) | 画像生成装置及び画像生成方法 | |
Sturm | Stereoscopic imaging of diatoms in light and electron microscopy | |
JP2002176659A (ja) | 立体観察装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200826 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6765057 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |