JPWO2019044408A1 - 画像処理装置、方法およびプログラム - Google Patents

画像処理装置、方法およびプログラム Download PDF

Info

Publication number
JPWO2019044408A1
JPWO2019044408A1 JP2019539128A JP2019539128A JPWO2019044408A1 JP WO2019044408 A1 JPWO2019044408 A1 JP WO2019044408A1 JP 2019539128 A JP2019539128 A JP 2019539128A JP 2019539128 A JP2019539128 A JP 2019539128A JP WO2019044408 A1 JPWO2019044408 A1 JP WO2019044408A1
Authority
JP
Japan
Prior art keywords
image
container
captured
overlapping
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019539128A
Other languages
English (en)
Inventor
隆史 涌井
隆史 涌井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019044408A1 publication Critical patent/JPWO2019044408A1/ja
Priority to JP2022003658A priority Critical patent/JP7167369B2/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

画像処理装置、方法およびプログラムにおいて、容器内の液体の液面に形成されたメニスカスの影響が抑制された合成画像を取得できるようにする。隣り合う観察領域の一部を互いに重複させて観察領域の位置を変更しつつ、容器を複数回撮影することにより取得された複数の撮影画像を取得し、重複領域選択部51が、撮影画像Giのそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域について、コントラストが最も高い撮影画像を重複領域の画像として選択する。合成画像生成部52が、重複領域の画像が選択された複数の撮影画像を繋ぎ合わせて合成画像Gsを生成する。

Description

本発明は、観察対象が収容された容器が設置されたステージと観察対象の像を結像させる結像光学系とを相対的に移動させることによって取得された複数の撮影画像を処理する画像処理装置、方法およびプログラムに関するものである。
ES(Embryonic Stem)細胞およびiPS(Induced Pluripotent Stem)細胞等の多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明等において応用が可能なものとして注目されている。
そして、ES細胞およびiPS細胞等の多能性幹細胞、または分化誘導された細胞等を顕微鏡等で撮像し、その画像の特徴を捉えることで細胞の分化状態等を評価する方法が提案されている。
一方、上述したように細胞を顕微鏡で撮像する際、高倍率な広視野画像を取得するため、いわゆるタイリング撮影を行うことが提案されている。具体的には、例えばウェルプレート等が設置されたステージを、結像光学系に対して移動させることによってウェル内の各観察領域を走査して各観察領域を撮影した後、観察領域毎の撮影画像を繋ぎ合わせて合成画像を生成する方法が提案されている。
また、タイリング撮影を行う際に、撮影画像のつなぎ目を目立たなくするために、隣り合う観察領域の一部を互いに重複させることも行われている。例えば、特許文献1においては、ウェルプレートをタイリング撮影する際に観察領域の一部を重複させ、撮影画像における重複する領域の画素に対して適宜重み付けをすることにより、つなぎ目を目立たなくする手法が提案されている。
特開2017−68302号公報
ここで、上述したウェルプレート等を用いて細胞を培養する際、ウェル内には細胞および培養液等の液体が収容されるが、その液体の表面にはメニスカスが形成されることが知られている。
特に、位相差顕微鏡装置を用いて細胞の画像を撮影する場合には、撮影画像に対するメニスカスの影響が大きい。このようなメニスカスの影響により、メニスカスが形成されているメニスカス領域は、メニスカスが形成されていない非メニスカス領域の撮影画像と比較するとコントラストが低い画像となってしまう。したがって、メニスカス領域を含む撮影画像から生成される合成画像においては、とくにメニスカス領域において、細胞の評価を高精度に行うことができない。
本発明は上記事情に鑑みなされたものであり、容器内の液体の液面に形成されたメニスカスの影響が抑制された合成画像を取得できるようにすることを目的とする。
本発明の画像処理装置は、観察対象を収容した容器および観察対象を容器よりも小さい観察領域毎に撮影する撮像部を備えた撮影装置により、容器および撮像部の少なくとも一方を他方に対して相対的に移動させ、かつ隣り合う観察領域の一部を重複させて、観察領域の位置を変更しつつ、容器を複数回撮影することにより取得された複数の撮影画像を処理する画像処理装置であって、
撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を重複領域の画像として選択する重複領域選択部と、
重複領域の画像が選択された複数の撮影画像を繋ぎ合わせて合成画像を生成する合成画像生成部とを備える。
なお、本発明による画像処理装置においては、重複領域選択部は、容器の中心に最も近い側にある撮影画像を重複領域の画像として選択するものであってもよい。
容器の中心に最も近い側にある撮影画像とは、例えば撮影画像の中心および重心等の代表点と容器の中心との距離を比較した場合において、距離が最も小さい撮影画像を意味する。
なお、本発明による画像処理装置においては、重複領域選択部は、重複領域における複数の撮影画像の容器の中心からの距離が同一の場合、重複領域における複数の撮影画像のコントラストを算出し、算出したコントラストが最も大きい撮影画像を重複領域の画像として選択するものであってもよい。
また、本発明による画像処理装置においては、重複領域選択部は、撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域のコントラストを算出し、算出したコントラストが最も大きい撮影画像を重複領域の画像として選択するものであってもよい。
この場合、重複領域選択部は、撮影画像における容器の領域についてのみコントラストを算出するものであってもよい。
本発明による画像処理方法は、観察対象を収容した容器および観察対象を容器よりも小さい観察領域毎に撮影する撮像部を備えた撮影装置により、容器および撮像部の少なくとも一方を他方に対して相対的に移動させ、かつ隣り合う観察領域の一部を重複させて、観察領域の位置を変更しつつ、容器を複数回撮影することにより取得された複数の撮影画像を処理する画像処理方法であって、
撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を重複領域の画像として選択し、
重複領域の画像が選択された複数の撮影画像を繋ぎ合わせて合成画像を生成する。
なお、本発明による画像処理方法をコンピュータに実行させるプログラムとして提供してもよい。
本発明による他の画像処理装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
観察対象を収容した容器および観察対象を容器よりも小さい観察領域毎に撮影する撮像部を備えた撮影装置により、容器および撮像部の少なくとも一方を他方に対して相対的に移動させ、かつ隣り合う観察領域の一部を重複させて、観察領域の位置を変更しつつ、容器を複数回撮影することにより取得された複数の撮影画像を処理するに際し、
撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を重複領域の画像として選択し、
重複領域の画像が選択された複数の撮影画像を繋ぎ合わせて合成画像を生成する処理を実行する。
本発明によれば、撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を重複領域の画像として選択し、重複領域の画像が選択された複数の撮影画像を繋ぎ合わせて合成画像を生成するようにした。このように、重複領域についてはコントラストが最も高い撮影画像を選択することにより、合成画像のコントラストを全体的に高くすることができる。したがって、メニスカスの影響が抑制された合成画像を取得することができる
本発明の画像処理装置を適用した顕微鏡観察システムの一実施形態の概略構成を示す図 ウェルプレートにおける各観察領域の走査軌跡を示す図 画像処理装置の構成を示す概略ブロック図 培養容器に対して取得された複数の撮影画像を示す図 図4における左上隅にある撮影画像の拡大図 培養容器の側断面図および上面図 培養容器内の各観察領域の撮影画像をつなぎ合わせた合成画像の一例を示す図 重複領域における画像の選択の一例を説明するための図 合成画像の生成を説明するための図 本実施形態において行われる処理を示すフローチャート 重複領域における画像の選択の他の例を説明するための図
以下、本発明の実施形態について説明する。図1は本発明の実施形態による画像処理装置を適用した顕微鏡観察システムの概略構成を示す図である。本実施形態の顕微鏡観察システムは、図1に示すように、顕微鏡装置1、顕微鏡制御装置2、入力装置3、および表示装置4を備える。なお、顕微鏡装置1が撮影装置に対応する。
本実施形態において、顕微鏡装置1は位相差顕微鏡であり、観察対象として、例えば培養された細胞の位相差画像を撮影画像として撮像するものである。具体的には、顕微鏡装置1は、図1に示すように、照明光照射部10、結像光学系30、ステージ61、および撮像部40を備える。
ステージ61上には、細胞等の観察対象Sおよび培養液Cが収容された培養容器60が設置される。ステージ61の中央には、矩形の開口が形成されている。この開口を形成する部材の上に培養容器60が設置され、培養容器60内の観察対象Sの像が開口を通過するように構成されている。
培養容器60としては、例えば複数のウェル(本発明の容器に相当する)を有するウェルプレートが用いられるが、これに限らず、シャーレまたはディッシュ等を用いるようにしてもよい。また、培養容器60に収容される観察対象Sとしては、iPS細胞およびES細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞等がある。
ステージ61上に設置された培養容器60は、その底面が観察対象Sの設置面Pであり、設置面Pに観察対象Sが配置される。培養容器60内には培養液Cが満たされており、この培養液Cの液面には、凹形状のメニスカスが形成される。なお、本実施形態においては、培養液中で培養される細胞を観察対象Sとしたが、観察対象Sとしてはこのような培養液中のものに限らず、水、ホルマリン、エタノール、およびメタノール等の液体中において固定された細胞を観察対象Sとしてもよい。この場合も、容器内のこれらの液体の液面にメニスカスが形成される。
照明光照射部10は、ステージ61上の培養容器60内に収容された観察対象Sに対して、いわゆる位相差計測のための照明光を照射するものであり、本実施形態では、その位相差計測用の照明光としてリング状照明光を照射する。
具体的には、本実施形態の照明光照射部10は、位相差計測用の白色光を出射する白色光源11、リング形状のスリットを有し、白色光源11から出射された白色光が入射されてリング状照明光を出射するスリット板12、およびスリット板12から出射されたリング状照明光が入射され、入射されたリング状照明光を観察対象Sに対して照射するコンデンサレンズ13を備える。
スリット板12は、白色光源11から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状照明光が形成される。コンデンサレンズ13は、スリット板12から出射されたリング状照明光を観察対象Sに向かって収束させる。
ステージ61上に設置された培養容器60内には、観察対象Sとして、培養された細胞群(細胞コロニー)が配置される。培養された細胞としては、iPS細胞およびES細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞等がある。培養容器60としては、シャーレおよび複数のウェルが配列されたウェルプレート等を用いることができる。なお、本実施形態においては、複数のウェルが配列されたウェルプレートを培養容器60として用いるものとする。
結像光学系30は、培養容器60内の観察対象Sの像を撮像部40に結像するものであり、対物レンズ31、位相板32および結像レンズ33を備える。
位相板32は、リング状照明光の波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板12のスリットの大きさは、この位相リングと共役な関係にある。
位相リングは、入射された光の位相を1/4波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相板32に入射された直接光は位相リングを通過することによって位相が1/4波長ずれ、かつその明るさが弱められる。一方、観察対象Sによって回折された回折光は大部分が位相板32の透明板の部分を通過し、その位相および明るさは変化しない。
結像レンズ33は、位相板32を通過した直接光および回折光が入射され、これらの光を撮像部40に結像する。
撮像部40は、結像レンズ33によって結像された観察対象Sの像を受光し、観察対象Sを撮像して位相差画像を観察画像として出力する撮像素子を備える。撮像素子としては、CCD(charge-coupled device)イメージセンサ、およびCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等を用いることができる。
ここで、ステージ61は、不図示のステージ駆動部により駆動されて、水平面内において直交するX方向およびY方向に移動する。ステージ61の移動によって、ウェルプレートの各ウェル内における、ウェルよりも小さい各観察領域が走査され、観察領域毎の撮影画像が撮像部40により取得される。この際、隣り合う観察領域の一部を重複させて、各観察領域が走査される。観察領域毎の撮影画像は顕微鏡制御装置2に出力される。
図2は、6つのウェル71を有するウェルプレート70を用いた場合における、各観察領域の走査軌跡を実線77で示した図である。図2に示すように、ウェルプレート70内の各観察領域は、ステージ61のX方向およびY方向の移動によって走査開始点75から走査終了点76までの実線77に沿って走査される。
なお、本実施形態においては、ステージ61を移動させることによってウェル内の観察領域毎の撮影画像を取得するようにしたが、これに限らず、結像光学系30をステージ61に対して移動させることによって観察領域毎の撮影画像を取得するようにしてもよい。または、ステージ61と結像光学系30の両方を移動させるようにしてもよい。
顕微鏡制御装置2は、CPU(Central Processing Unit)、半導体メモリおよびハードディスク等を備えたコンピュータから構成される。そして、ハードディスクに本発明の判別器の学習プログラムを含む、システムを制御するプログラムがインストールされている。顕微鏡制御装置2は、顕微鏡観察システムの全体を制御するものであり、図1に示すように、制御部21および画像処理装置22を備える。
制御部21は、照明光照射部10、ステージ61を駆動するステージ駆動部(不図示)、結像光学系30および撮像部40の駆動を制御して観察対象Sの撮影画像を取得する。
画像処理装置22は、撮影画像に含まれる観察対象Sの状態を評価する。図3は画像処理装置22の構成を示す概略ブロック図である。図3に示すように、画像処理装置22は、画像取得部50、重複領域選択部51および合成画像生成部52を備える。
本実施形態において、画像処理装置22は、観察領域毎の撮影画像を取得し、撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を重複領域の画像として選択し、重複領域の画像が選択された複数の撮影画像を繋ぎ合わせて合成画像を生成する。
画像取得部50は、撮像部40により撮像された観察対象Sの撮影画像を取得する。本実施形態においては、培養容器60は複数のウェルが配列されたウェルプレートであるため、各ウェル内における各観察領域の撮影画像が取得される。
ここで、本実施形態においては、上述したように、隣り合う観察領域の一部を重複させて、各観察領域が走査される。このため、図4に示すように、培養容器60がウェルプレート70である場合において、1つのウェル71の各観察領域に対応する複数の撮影画像が取得されるが、各撮影画像Gi(iは撮影画像の数)は隣り合う撮影画像と重複する重複領域を含むものとなっている。なお、図4においては、上の行から順に撮影画像G1〜G5、G6〜G12、G13〜G21、G22〜G30、G31〜G39、G40〜G48、G49〜G57、G58〜G64、G65〜G69が取得されている。
図4における左上隅にある撮影画像の拡大図を図5に示す。図5に示すように、図4における左上隅にある撮影画像G1は、その右に隣接する撮影画像G2との重複領域K1、重複領域K1の下にある撮影画像G2、撮影画像G7および撮影画像G8との重複領域K2、重複領域K2の左にある撮影画像G7との重複領域K3、並びに重複領域K3の左にある撮影画像G6および撮影画像G7との重複領域K4を含む。
重複領域選択部51は、撮影画像Giのそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を重複領域の画像として選択する。
ここで、培養容器60内には、観察対象Sおよび培養液Cが収容されるが、培養液Cの液面には、メニスカスが形成される。図6は培養容器60、すなわちウェルプレートにおける1つのウェルの側断面図および上面図である。図7は培養容器60内の各観察領域の撮影画像をつなぎ合わせた合成画像の一例を示す図である。図7において矩形領域で分割された各領域62が、各観察領域に相当する。なお、実際には上述したように隣り合う観察領域は一部が重複しているが、図7においては、説明のために、観察領域は重複させていない。図6に示すように、培養容器60においては、培養液Cの液面にメニスカスMが形成される。そして、培養容器60の上方から入射する光は、メニスカス領域R1においては矢印A1に示すように屈折し、非メニスカス領域R2においては矢印A0に示すように直進する。その結果、図6および図7に示すように、非メニスカス領域R2の撮影画像はコントラストが高く、メニスカス領域R1の撮影画像は非メニスカス領域R2よりもコントラストが低くなる。したがって、メニスカス領域R1の撮影画像については、個々の細胞の画像が明確に表されていないものとなる。
ここで、非メニスカス領域R2は、培養容器60の中心に形成される。このため、複数の撮影画像Giのうち、培養容器60の中心に近い位置にある撮影領域の撮影画像ほど、コントラストが高くなる。ここで、撮像画像Giが培養容器60の中心に近い位置にあるとは、撮像画像Giの中心が培養容器60の中心に近いことをいう。また、撮影画像Giが培養容器60の中心に近い位置にあるとは、撮影画像Giが培養容器60の壁面 から遠い位置にあることと同義である。
重複領域選択部51は、撮影画像Giのそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、培養容器60の中心に近い側にある撮影画像を重複領域の画像として選択する。例えば、図5に示す撮影画像G1の重複領域K1については、撮影画像G2の中心の方が撮影画像G1の中心よりも培養容器60の中心に近い側にあるため、撮影画像G2を重複領域K1の画像として選択する。また、重複領域K2については、撮影画像G8の中心が撮影画像G2の中心および撮影画像G7の中心よりも培養容器60の中心に最も近い側にあるため、撮影画像G8を重複領域K2の画像として選択する。また、重複領域K3については、撮影画像G7の中心の方が撮影画像G1の中心よりも培養容器60の中心に近い側にあるため、撮影画像G7を重複領域K3の画像として選択する。また、重複領域K4については、撮影画像G7が培養容器60の中心に最も近い側にあるため、撮影画像G7を重複領域K4の画像として選択する。したがって、撮影画像G1については、図8に示すように、重複領域K1〜K4について、それぞれ撮影画像G2,G8,G7,G7が選択される。
合成画像生成部52は、重複領域の画像が選択された複数の撮影画像を繋ぎ合わせて合成画像を生成する。図9は合成画像の生成を説明するための図である。図9に示すように、各撮影画像の重複領域においては、重複領域選択部51が選択した撮影画像が選択されて、撮影画像および選択された画像が繋ぎ合わせられて合成画像Gsが生成される。
入力装置3は、マウスおよびキーボード等を備え、ユーザによる種々の設定入力を受け付けるものである。
表示装置4は、合成画像生成部52により生成された合成画像を表示するものであり、例えば液晶ディスプレイ等を備える。また、表示装置4をタッチパネルによって構成し、入力装置3と兼用するようにしてもよい。
次いで、本実施形態において行われる処理について説明する。図10は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部50が、撮像部40により撮像された観察対象Sの撮影画像Giを取得する(ステップST1)。次いで、重複領域選択部51が、撮影画像Giのそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域について、コントラストが最も高い撮影画像を重複領域の画像として選択する(ステップST2)。そして、合成画像生成部52が、重複領域の画像が選択された複数の撮影画像Giを繋ぎ合わせて合成画像Gsを生成し(ステップST3)、処理を終了する。生成された合成画像Gsは、表示装置4に表示され、観察に供される。
このように、本実施形態においては、撮影画像Giのそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を重複領域の画像として選択し、重複領域の画像が選択された複数の撮影画像を繋ぎ合わせて合成画像Gsを生成するようにした。このように、重複領域についてはコントラストが最も高い撮影画像の画像を選択することにより、合成画像Gsのコントラストを全体的に高くすることができる。したがって、合成画像Gsにおいて、撮影画像に含まれるメニスカスの影響を抑制することができる
ここで、本実施形態において取得される複数の撮影画像のうち、容器の中心に近い撮影画像ほどメニスカスの影響が小さく、コントラストが高いものとなっている。このため、容器の中心に近い側にある撮影画像を重複領域の画像として選択することにより、重複領域の画像を選択することが容易となり、その結果、合成画像Gsにおいて、撮影画像に含まれるメニスカスの影響を容易に抑制することができる。
なお、上記実施形態においては、培養容器60の中心に近い側にある撮影画像を重複領域の画像として選択している。しかしながら、隣り合う少なくとも1つの撮影画像との重複領域のそれぞれについてのコントラストを算出し、算出したコントラストが最も大きい撮影画像を重複領域の画像として選択してもよい。なお、コントラストとしては、例えば撮影画像の全領域、または撮影画像の中心付近等の局所的な領域における最小値と最大値との差、若しくは撮影画像における微分値の最大値等を用いることができる。また、コントラストの算出は、撮影画像における容器の領域についてのみ行う。すなわち、図4に示す複数の撮影画像Giにおいて、培養容器60内の領域においてのみコントラストを算出する。
この場合において、図5に示す撮影画像G1の重複領域K1について、撮影画像G1の方がコントラストが高い場合、撮影画像G1を重複領域K1の画像として選択する。また、重複領域K2について、撮影画像G2が最もコントラストが高い場合、撮影画像G2を重複領域K2の画像として選択する。また、重複領域K3について、撮影画像G7が最もコントラストが高い場合、撮影画像G7を重複領域K3の画像として選択する。また、重複領域K4について、撮影画像G6が最もコントラストが高い場合、撮影画像G6を重複領域K4の画像として選択する。したがって、撮影画像G1については、図8に示すように、重複領域K1〜K4について、それぞれ撮影画像G1,G2,G7,G6が選択される。
一方、容器の中心に近い撮影画像を重複領域の画像として選択する場合、重複領域における複数の撮影画像と容器の中心との距離が同一となる場合がある。すなわち、重複領域における複数の撮影画像と容器の壁面との距離が同一となる場合がある。このような場合は、いずれの撮影画像を用いてもよいが、重複領域における複数の撮影画像のコントラストを算出し、算出したコントラストが最も大きい撮影画像を重複領域の画像として選択することが好ましい。
なお、上記実施形態は、本発明を位相差顕微鏡に適用したものであるが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡等のその他の顕微鏡に適用することができる。
以下、本実施形態の作用効果について説明する。
複数の撮影画像のうち、容器の中心に近い撮影画像ほどメニスカスの影響が小さく、コントラストが高いものとなっている。このため、容器の中心に近い側にある撮影画像を重複領域の画像として選択することにより、重複領域の画像を選択することが容易となり、その結果、合成画像のコントラストを容易に高くすることができる。
1 顕微鏡装置
2 顕微鏡制御装置
3 入力装置
4 表示装置
10 照明光照射部
11 白色光源
12 スリット板
13 コンデンサレンズ
21 制御部
22 画像処理装置
30 結像光学系
31 対物レンズ
32 位相板
33 結像レンズ
40 撮像部
50 画像取得部
51 重複領域選択部
52 合成画像生成部
60 培養容器
61 ステージ
62 領域
70 ウェルプレート
71 ウェル
75 走査終了点
76 走査開始点
77 走査軌跡を示す実線
A0,A1 矢印
C 培養液
Gi 撮影画像
Gs 合成画像
K1〜K4 重複領域
M メニスカス
P 設置面
R1 メニスカス領域
R2 非メニスカス領域
S 観察対象

Claims (7)

  1. 観察対象を収容した容器および前記観察対象を前記容器よりも小さい観察領域毎に撮影する撮像部を備えた撮影装置により、前記容器および前記撮像部の少なくとも一方を他方に対して相対的に移動させ、かつ隣り合う前記観察領域の一部を重複させて、前記観察領域の位置を変更しつつ、前記容器を複数回撮影することにより取得された複数の撮影画像を処理する画像処理装置であって、
    前記撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を前記重複領域の画像として選択する重複領域選択部と、
    前記重複領域の画像が選択された前記複数の撮影画像を繋ぎ合わせて合成画像を生成する合成画像生成部とを備えた画像処理装置。
  2. 前記重複領域選択部は、前記容器の中心に最も近い側にある撮影画像を前記重複領域の画像として選択する請求項1に記載の画像処理装置。
  3. 前記重複領域選択部は、前記重複領域における複数の撮影画像の前記容器の中心からの距離が同一の場合、前記重複領域における複数の撮影画像のコントラストを算出し、算出した該コントラストが最も大きい撮影画像を前記重複領域の画像として選択する請求項2に記載の画像処理装置。
  4. 前記重複領域選択部は、前記撮影画像のそれぞれにおいて、前記隣り合う少なくとも1つの撮影画像との重複領域のコントラストを算出し、算出した該コントラストが最も大きい撮影画像を前記重複領域の画像として選択する請求項1に記載の画像処理装置。
  5. 前記重複領域選択部は、前記撮影画像における前記容器の領域についてのみ前記コントラストを算出する請求項4に記載の画像処理装置。
  6. 観察対象を収容した容器および前記観察対象を前記容器よりも小さい観察領域毎に撮影する撮像部を備えた撮影装置により、前記容器および前記撮像部の少なくとも一方を他方に対して相対的に移動させ、かつ隣り合う前記観察領域の一部を重複させて、前記観察領域の位置を変更しつつ、前記容器を複数回撮影することにより取得された複数の撮影画像を処理する画像処理方法であって、
    前記撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を前記重複領域の画像として選択し、
    前記重複領域の画像が選択された前記複数の撮影画像を繋ぎ合わせて合成画像を生成する画像処理方法。
  7. 観察対象を収容した容器および前記観察対象を前記容器よりも小さい観察領域毎に撮影する撮像部を備えた撮影装置により、前記容器および前記撮像部の少なくとも一方を他方に対して相対的に移動させ、かつ隣り合う前記観察領域の一部を重複させて、前記観察領域の位置を変更しつつ、前記容器を複数回撮影することにより取得された複数の撮影画像を処理する画像処理方法をコンピュータに実行させる画像処理プログラムであって、
    前記撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を前記重複領域の画像として選択する手順と、
    前記重複領域の画像が選択された前記複数の撮影画像を繋ぎ合わせて合成画像を生成する手順とをコンピュータに実行させる画像処理プログラム。
JP2019539128A 2017-08-31 2018-08-06 画像処理装置、方法およびプログラム Pending JPWO2019044408A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022003658A JP7167369B2 (ja) 2017-08-31 2022-01-13 画像処理装置、方法およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017166708 2017-08-31
JP2017166708 2017-08-31
PCT/JP2018/029488 WO2019044408A1 (ja) 2017-08-31 2018-08-06 画像処理装置、方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022003658A Division JP7167369B2 (ja) 2017-08-31 2022-01-13 画像処理装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2019044408A1 true JPWO2019044408A1 (ja) 2020-02-27

Family

ID=65525581

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019539128A Pending JPWO2019044408A1 (ja) 2017-08-31 2018-08-06 画像処理装置、方法およびプログラム
JP2022003658A Active JP7167369B2 (ja) 2017-08-31 2022-01-13 画像処理装置、方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022003658A Active JP7167369B2 (ja) 2017-08-31 2022-01-13 画像処理装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US11127180B2 (ja)
EP (1) EP3677667B1 (ja)
JP (2) JPWO2019044408A1 (ja)
WO (1) WO2019044408A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005514589A (ja) * 2001-12-05 2005-05-19 ザ・レジェンツ・オブ・ザ・ユニバーシティ・オブ・カリフォルニア ロボット顕微鏡検査システム
US7778485B2 (en) * 2004-08-31 2010-08-17 Carl Zeiss Microimaging Gmbh Systems and methods for stitching image blocks to create seamless magnified images of a microscope slide
JP2017068302A (ja) * 2015-09-28 2017-04-06 株式会社Screenホールディングス 画像作成装置および画像作成方法
WO2017096248A1 (en) * 2015-12-02 2017-06-08 Clearlight Diagnostics Llc Methods for preparing and analyzing tumor tissue samples for detection and monitoring of cancers

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
JP4653041B2 (ja) * 2005-08-31 2011-03-16 クラリエント・インコーポレーテッド イメージ・ブロックを合成し顕微鏡スライドのシームレスな拡大イメージを作成するシステム及び方法
US9357920B2 (en) * 2009-09-04 2016-06-07 University Of Virginia Patent Foundation Hand-held portable fundus camera for screening photography
JP6411294B2 (ja) * 2015-06-30 2018-10-24 富士フイルム株式会社 位相差顕微鏡および撮像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005514589A (ja) * 2001-12-05 2005-05-19 ザ・レジェンツ・オブ・ザ・ユニバーシティ・オブ・カリフォルニア ロボット顕微鏡検査システム
US7778485B2 (en) * 2004-08-31 2010-08-17 Carl Zeiss Microimaging Gmbh Systems and methods for stitching image blocks to create seamless magnified images of a microscope slide
JP2017068302A (ja) * 2015-09-28 2017-04-06 株式会社Screenホールディングス 画像作成装置および画像作成方法
WO2017096248A1 (en) * 2015-12-02 2017-06-08 Clearlight Diagnostics Llc Methods for preparing and analyzing tumor tissue samples for detection and monitoring of cancers

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OPT. EXPRESS, vol. 18, no. 11, JPN7020003403, 2010, pages 11607 - 11621, ISSN: 0004635214 *
SCI. REP., vol. 7: 4988, JPN6021021130, 2017, ISSN: 0004518529 *

Also Published As

Publication number Publication date
EP3677667A1 (en) 2020-07-08
JP7167369B2 (ja) 2022-11-08
JP2022062049A (ja) 2022-04-19
US11127180B2 (en) 2021-09-21
US20200193664A1 (en) 2020-06-18
WO2019044408A1 (ja) 2019-03-07
EP3677667A4 (en) 2020-09-02
EP3677667B1 (en) 2024-06-19

Similar Documents

Publication Publication Date Title
JP6718024B2 (ja) 判別器の学習装置、方法およびプログラム、並びに判別器
US11243386B2 (en) Microscope apparatus, observation method, and microscope apparatus-control program
WO2018003181A1 (ja) 撮影装置および方法並びに撮影制御プログラム
JP6594223B2 (ja) 位相差顕微鏡および撮像方法
JP6580012B2 (ja) 撮影画像評価装置および方法並びにプログラム
JP6619315B2 (ja) 観察装置および方法並びに観察装置制御プログラム
JP7167369B2 (ja) 画像処理装置、方法およびプログラム
EP3457192A1 (en) Imaging device and method, and imaging device control program
JP6698421B2 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6667411B2 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6993423B2 (ja) 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム
JP6522535B2 (ja) 細胞観察装置および方法
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム
US20200217781A1 (en) Imaging device, and operation method and imaging control program of imaging device
WO2019044416A1 (ja) 撮影処理装置、撮影処理装置の制御方法および撮影処理プログラム
JP6580242B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JPWO2019088034A1 (ja) 観察領域設定装置、撮像制御装置、観察領域設定装置の作動方法、及び観察領域設定プログラム
JP2016212337A (ja) 撮像装置および方法並びに撮像制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210701

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211109