JP6841140B2 - 画像解析装置、画像解析システム、及び、プログラム - Google Patents

画像解析装置、画像解析システム、及び、プログラム Download PDF

Info

Publication number
JP6841140B2
JP6841140B2 JP2017079786A JP2017079786A JP6841140B2 JP 6841140 B2 JP6841140 B2 JP 6841140B2 JP 2017079786 A JP2017079786 A JP 2017079786A JP 2017079786 A JP2017079786 A JP 2017079786A JP 6841140 B2 JP6841140 B2 JP 6841140B2
Authority
JP
Japan
Prior art keywords
image
well
captured
image analysis
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017079786A
Other languages
English (en)
Other versions
JP2018179761A (ja
Inventor
智紀 赤井
智紀 赤井
晶 佐波
晶 佐波
勇司 都築
勇司 都築
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2017079786A priority Critical patent/JP6841140B2/ja
Publication of JP2018179761A publication Critical patent/JP2018179761A/ja
Application granted granted Critical
Publication of JP6841140B2 publication Critical patent/JP6841140B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Description

本発明は、受精卵などの対象物の状態を画像に基づいて解析する技術に関する。
不妊治療分野では、治療率や患者のQOL(Quality Of Life)の観点から、胚の着床率を予測し、移植対象の胚を選別することが行われている。従来、胚を非侵襲的に評価する手法として、顕微鏡による形態観察と、その際の形態から発育状況を判定することが行われてきた。
近年、タイムラプス装置の普及により、上記に加えて経時的な変化をも捉えることが可能となり、大量の画像を用いて、複数の発育予測指標を解析し、発育を予測することも可能となってきた。このような大量の画像を解析するため、画像解析の自動化も試みられている。例えば、特許文献1には、対象細胞における複数の細胞画像の関連性を認識させつつ、当該対象細胞の状態を確認することが可能な画像処理装置が提案されている。
特開2016−90234号公報
タイムラプス装置では、通常、1枚の容器には同一患者の受精卵が1つまたは複数治められ、同時に複数枚の容器を収容・観察することが可能である。この場合、1つの受精卵に対して、照明や撮影装置の焦点位置など、複数の撮影条件が存在するが、これらは装置として同一条件に設定していても、容器内の受精卵の配置箇所によって微妙に異なったものとなる。そのため、同じ解析アルゴリズムを用いても、受精卵の配置箇所が異なり、画像の質が異なるため、解析結果の精度が変わってしまうという課題があった。また、時系列的に画像が生成されるため、解析対象の画像は、複数の撮影条件下での大量の画像となり、解析処理の負荷も非常に高くなるという課題があった。
本発明は、複数の撮影画像のうち、撮影条件が適正な特定の撮影画像を抽出して解析することにより、容器内の受精卵の配置箇所の違いによって精度の低下を生じることなく対象物の画像解析を行うとともに、解析処理の負荷を低減することが可能な画像解析装置を提供することを主な目的とする。
本発明の1つの観点では、画像解析装置は、1つの容器に収容された複数の対象物を撮影した複数の撮影画像を取得する取得部と、前記複数の撮影画像から、基準となる撮影条件下で撮影された撮影画像である1つの基準撮影画像を特定する特定部と、前記1つの基準撮影画像を含む、前記複数の撮影画像の総数より少ない数の撮影画像を解析して解析結果を出力する解析部と、を備える。
上記の画像解析装置は、まず、1つの容器に収容された複数の対象物を撮影した複数の撮影画像を取得する。そして、複数の撮影画像から、基準となる撮影条件下で撮影された撮影画像である1つの基準撮影画像を特定し、その基準撮影画像を含む、複数の撮影画像の総数より少ない数の撮影画像を解析して解析結果を出力する。この画像解析装置では、複数の撮影画像のうち、基準となる撮影条件下で撮影された撮影画像を含む、前記複数の撮影画像の総数より少ない数の撮影画像を解析することにより、解析処理の負荷を低減することができる。なお、「解析」とは、画像に含まれる対象物の状態などを解析することに加えて、撮影画像の画質(例えば輝度、鮮明度など)を評価し、その後の解析処理に使用すべきか否かを判定するような処理も含む。よって、例えば画像解析が複数のステップを含み、第1ステップで画像のピント状態を判定してピントの合った画像のみを抽出し、第2ステップでピントの合った画像のみについて対象物の状態などを解析するというような場合、上記の解析部による解析は、上記の第1ステップにおけるピント状態の判定を含む。
上記の画像解析装置の一態様では、前記特定部は、前記複数の対象物が配置された位置のうち、前記対象物の実際の位置に基づいて予め決められた基準位置において撮影された撮影画像を前記基準撮影画像と特定する。この態様では、前記対象物の実際の位置に基づいて決められた基準位置において得られた撮影画像に基づいて画像解析を行うので、容器内の受精卵の配置箇所の違いによる精度の低下を生じることなく画像解析が可能となる。
上記の画像解析装置の他の一態様では、前記撮影画像の各々には、前記対象物が配置された位置を示す情報が付与されており、前記特定部は、前記位置を示す情報に基づいて、前記基準撮影画像を特定する。この態様では、対象物が配置された位置を示す情報に基づいて、基準撮影画像を容易に特定することができる。
上記の画像解析装置の他の一態様では、前記複数の対象物はそれぞれウェル内に収容されており、前記撮影画像は、前記対象物及び前記ウェルの画像を含み、前記特定部は、前記撮影画像における前記ウェルの位置に基づいて前記基準撮影画像を特定する。この態様では、複数の撮影画像に基づいて基準撮影画像を特定することができる。好適な例では、前記特定部は、前記複数の撮影画像のうち、当該撮影画像における前記ウェルの位置が最も中央に近い撮影画像を前記基準撮影画像と特定する。
上記の画像解析装置の他の一態様では、前記複数の対象物はそれぞれウェル内に収容されており、前記ウェルの各々には、各ウェルの識別情報が付されており、前記特定部は、前記基準位置に対応するウェルの識別情報を予め記憶しており、当該識別情報に基づいて前記基準撮影画像を特定する。この態様では、各ウェルに付された識別情報から、基準位置に対応するウェルの識別情報を見つけることにより、基準撮影画像を特定することができる。
上記の画像解析装置の他の一態様では、前記基準撮影画像は、前記複数の対象物が配置された位置のうち、前記対象物の実際の位置に基づいて設定された照明条件下で撮影された撮影画像である。この態様では、最適な照明条件で撮影された基準撮影画像を利用することにより、容器内の受精卵の配置箇所の違いによる精度の低下を生じることなく画像解析を行うことができる。
上記の画像解析装置の他の一態様では、前記解析部は、前記1つの基準撮影画像に加えて1つ又は複数の補助撮影画像を解析し、前記解析部が解析の対象とする撮影画像の総数は、前記複数の撮影画像の総数よりも少ない。この態様では、基準撮影画像を含む、複数の撮影画像の総数よりも少ない数の画像を解析するので、画像解析処理の負荷を軽減することができる。
上記の画像解析装置の他の一態様では、前記解析部は、前記基準撮影画像及び前記補助撮影画像に基づいて、前記撮影画像を補正して解析を行う。この態様では、基準撮影画像及び補助撮影画像を利用した補正により、容器内の受精卵の配置箇所の違いによる撮影画像内容の違いを補正することが可能となる。
本発明の他の観点では、上記のいずれかの画像解析装置と、前記撮影画像を生成する撮影装置とを備える画像解析システムにおいて、前記撮影装置は、同一の容器内に配列された前記複数の対象物を撮影して前記複数の撮影画像を生成する撮影部と、前記複数の撮影画像を記憶する記憶部と、を備える。この画像解析システムによれば、撮影装置により生成された複数の撮影画像が記憶部に記憶され、画像解析装置は、記憶部から複数の撮影画像を取得することできる。
本発明の他の観点では、コンピュータを備える画像解析装置により実行されるプログラムは、複数の対象物を撮影した複数の撮影画像を取得する取得部、前記複数の撮影画像から、基準となる撮影条件下で撮影された撮影画像である1つの基準撮影画像を特定する特定部、前記1つの基準撮影画像を含む、前記複数の撮影画像の総数より少ない数の撮影画像を解析して解析結果を出力する解析部、として前記コンピュータを機能させる。このプログラムをコンピュータで実行することにより、上記の画像解析装置を実現することができる。
実施形態に係る受精卵の画像解析システムの構成を示す。 培養容器及び受精卵の撮影画像の例を示す。 受精卵の撮影方法を説明する図である。 照明装置の基準位置の例を示す。 画像解析装置による画像解析処理のフローチャートである。 基準ウェルを特定する第3の方法を説明する図である。 基準ウェルを特定する第4の方法を説明する図である。 撮影画像の補正を伴う解析方法の一例を示す。
以下、本発明の好適な実施形態について説明する。
[システム構成]
図1は、実施形態に係る受精卵の画像解析システムの構成を示す。図示のように、画像解析システム100は、大別して撮影装置50と、画像解析装置60とを備える。撮影装置50は、培養容器10内の受精卵の画像を撮影し、記憶する。培養容器10内には複数の受精卵が載置されており、撮影装置50は受精卵を識別するための識別情報、例えば、受精卵が収容されているウェルの識別情報などと対応付けて撮影画像を記憶する。画像解析装置60は、撮影装置50から画像を取得し、画像の解析を行う。
撮影装置50は、照明装置51と、カメラ52と、制御部53と、記憶部54とを備える。照明装置51は、撮影のために培養容器10内の受精卵を上方から照明する。照明装置51は、点光源であっても面光源であっても、複数の点光源、面光源であってもよい。基本的に照明装置51は培養容器10に対して固定して設置される。照明装置51による照明は、制御部53により制御される。
カメラ52は、培養容器10の下方に移動可能に配置され、照明装置51により照明された状態の受精卵を撮影する。カメラ52は図示しないアクチュエータなどにより移動する。アクチュエータによるカメラ52の移動、及び、カメラ52による撮影は、制御部53により制御される。カメラ52は、同じ培養容器10内の複数の受精卵を、異なる時刻で撮影する。カメラ52は、本発明の撮影部の一例である。なお、他の例では、カメラ52が移動する代わりに培養容器10が移動する構造でもよく、カメラ52と培養容器10のいずれも移動せずに培養容器10内の受精卵全体を撮影する構造であってもよい。
制御部53は、照明装置51による照明、カメラ52の移動及びカメラ52による撮影を制御する。また、制御部53は、カメラ52から撮影画像を取得し、記憶部54に記憶する。
画像解析装置60は、PC(Personal Computer)などにより構成され、同一の受精卵についての異なる時刻の撮影画像を解析することにより、受精卵の状態を解析する。例えば、画像解析装置60は、受精卵に存在する前核の数を判定し、判定結果として出力する。他の例では、画像解析装置60は、受精卵の大きさや、内部の細胞の数、形、大きさ、フラグメントの状態などを判定し、判定結果として出力する。また、画像解析装置60による画像解析は、撮影画像の画質(例えば輝度、鮮明度など)を評価し、その後の解析処理に使用すべきか否かを判定するような処理を含んでも良い。画像解析装置60は、本発明の取得部、特定部及び解析部の一例である。
[撮影画像]
図2は、培養容器10及び受精卵の撮影画像の例を示す。培養容器10は円形の容器であり、中央部に収容部11が形成されている。収容部11内には、複数(図2の例では5×5=25個)のウェル12が形成されている。ウェル12は受精卵を収容するための窪みであり、1つのウェル12に1つの受精卵が収容される。図2(A)に示すように、収容部11は培養液13で満たされている。
図2(B)には、1つのウェル12の部分の撮影画像20が示されている。ウェル12内に受精卵が収容されている場合、撮影画像20は、ウェル12と、ウェル12内にある受精卵30とを含む。撮影装置50は、同一の受精卵(即ち、同一のウェル12)についての撮影画像を所定時間間隔で複数生成し、記憶する。なお、撮影装置50は、ウェル12毎に画像を撮影するものとする。
図3は、受精卵の撮影方法を説明する図である。図3(A)は、1つの培養容器10内の収容部11を上方から見た図である。収容部11には、横方向(X方向)と縦方向(Y方向)に5個ずつ、合計25個のウェル12が形成されている。以下、X方向の位置を「1」〜「5」で示し、Y方向の位置を「A」〜「E」で示すことにすると、図3(A)の左上のウェル12は、位置「A1」のウェル(以下、「ウェルA1」とも記す。)となる。図3(A)の例では、ウェルA1〜C4までの14個のウェル12に受精卵30が収容されている。
受精卵の撮影時には、照明装置51が予め決められた固定位置に配置され、カメラ52が移動して各ウェル12内の受精卵を撮影する。例えば、カメラ52は、まずウェルA1を撮影し、次にX方向に移動してウェルA2を撮影し、さらにX方向に移動してウェルA3を撮影し、という具合に各ウェル12を撮影する。X方向に移動してウェルA1〜A5の撮影が終わると、カメラ52はY方向に移動して、ウェルB1〜B5の撮影を行う。こうして、カメラ52はX方向及びY方向に移動しつつ、受精卵が収容されている全てのウェル12の撮影を行う。
撮影装置50はカメラ52を培養容器10の上下方向(Z方向)にも移動することができる。撮影装置50は、カメラ52をZ方向に移動することにより、受精卵に対するカメラ52の焦点位置を調整し、1つのウェル12内の受精卵を異なる焦点位置で撮影することができる。図3(B)は、受精卵に対するカメラの焦点位置の例を示す。図3(B)において、位置「M」は受精卵の略中心を通る面内のカメラの焦点位置を示し、撮影画像としてはZ方向の位置Mで受精卵をスライスした画像が得られる。位置「H」は受精卵の上部よりを通る面内のカメラ52の焦点位置を示し、撮影画像としてはZ方向の位置Hで受精卵をスライスした画像が得られる。位置「L」は受精卵の下部よりを通る面内のカメラ52の焦点位置を示し、撮影画像としてはZ方向の位置Lで受精卵をスライスした画像が得られる。この例では、撮影装置50は、各ウェル12内の受精卵を「H」、「M」、「L」の3つの焦点位置(スライス面)で撮影した画像を生成する。
撮影装置50の制御部53は、カメラ52による撮影画像に対して、上記のようにX方向、Y方向、Z方向の位置情報に基づくファイル名を付加して記憶部54に記憶する。例えば、ある容器IDを有する培養容器10について、ウェルA1の受精卵を、Z方向のMの焦点位置で時刻t1に撮影した場合、制御部53はその画像に、
「容器ID−ウェル位置−焦点位置−撮影時刻」、
というファイル名、例えば、「容器ID−A1−M−t1」などのファイル名を付与して記憶部54に記憶する。これにより、記憶部54に記憶された多数の撮影画像をファイル名に基づいて識別することができる。
次に、実際の撮影における照明装置51の位置について説明する。上記のように複数のウェル12内の受精卵を撮影する際、照明装置51は1つの培養容器10内の複数のウェル12のうち予め決められた1つのウェル12(以下、「基準ウェル」とも呼ぶ。)に対応する位置(以下、「基準位置」と呼ぶ。)に固定配置される。例えば、図4に示すように、基準ウェルをウェルA1とする場合、照明装置51は基準ウェルA1の真上に固定配置される。そして、カメラ52を基準ウェルA1の下方に移動し、撮影を行う。この際、Z方向においては、撮影装置50は基準ウェルA1内に存在する受精卵を検出し、その受精卵の略中心を通る面内の位置Mに焦点が合うようにカメラ52を制御する。
次に、隣のウェルA2の撮影を行う場合、照明装置51は基準位置に固定されたまま、カメラ52のみがウェルA2の下方に移動して撮影を行う。こうして、撮影装置50は、カメラ52のみを移動しつつ各ウェル12内の受精卵の撮影を行う。
さて、上記のように、照明装置51を固定配置した状態で複数のウェル12内の受精卵を撮影する場合、照明装置51による照明状態は、各ウェル12によって微妙に異なるものとなる。具体的には、基準ウェルA1に対しては照明光が真上から入射するため影などができることは無いが、基準ウェルA1から離れるにつれて照明光がウェル12に対して斜めに入射することになるため、図4に示すようにウェル12の端部に影70ができやすくなる。
また、上記のように、カメラ52は基準ウェルA1内の受精卵の略中心を通る面に対応する位置Mに焦点が合うように配置されている。しかし、各ウェル12内において受精卵は様々な位置にあり、ウェル12内における受精卵の位置は必ずしも一致しない。これは、個々の受精卵の発育状態によってサイズが異なるため、受精卵の中心のZ位置が異なるからである。また、図4に示すようにウェル12の底面に傾斜が設けられていると、ウェル12内で受精卵の位置が多少横方向にずれることにより受精卵の高さが変わることも原因の一つとなる。このため、基準ウェルA1内の受精卵を基準に決定されたカメラ52の焦点位置で別のウェル12内の受精卵を撮影すると、カメラの焦点は受精卵の中心位置を通る面に一致するとは限らない。即ち、基準ウェルA1以外のウェルにおける撮影画像は、焦点位置がZ方向に微妙にずれているということが起こりうる。
このように、1つの培養容器10に設けられた複数のウェルに対して1つの基準ウェルを決定し、基準ウェルに合わせて照明装置51やカメラ52を調整して複数のウェル12を撮影した場合、撮影装置50としては同一条件で撮影を行っているにも拘わらず、照明装置51による各ウェル12内の照明状態や各ウェル12内における受精卵の位置のばらつきなどに起因して撮影画像の画質が異なってしまい、その結果、解析装置60による解析結果の精度が変わってしまうという課題が生じうる。また、上記のように、複数のウェル12についてZ方向に複数のカメラ位置を設定し、かつ、異なる時刻に撮影を行う場合には、画像解析装置60による解析の対象となる撮影画像は大量となり、解析処理の負荷も非常に大きくなる。
そこで、本実施形態では、撮影装置50は1つの培養容器10に設けられた複数のウェル12についての撮影画像を生成して記憶部54に記憶するが、画像解析装置60はそのうちの基準ウェルの撮影画像のみを選択して画像解析を行うこととする。これにより、撮影画像の解析処理の負荷を小さくすることができる。また、前述のように、基準ウェルは照明装置51により最適な条件で照明がなされるウェルであり、かつ、カメラ52のZ方向位置も基準ウェル12x内の受精卵を用いて決定されているので、基準ウェルの撮影画像が最も適した条件下で撮影された画像であるということができる。よって、基準ウェルのみの撮影画像を解析することにより、ウェル12内における受精卵の位置のばらつきに起因して撮影画像の画質が低下し、画像解析の精度が低下してしまうという課題を解決し、精度の高い解析結果を効率的に得ることができる。
[画像解析処理]
図5は、画像解析処理のフローチャートである。この処理は、主として画像解析装置60により行われる。実際には、画像解析装置60を構成するコンピュータが予め用意されたプログラムを実行することにより行われる。なお、前提として、撮影装置50により、同一患者に対応する1つの培養容器10内の受精卵について複数の撮影画像が生成され、記憶部54に記憶されているものとする。
まず、画像解析装置60は、撮影装置50の記憶部54に記憶されている、特定の患者に対応する、1つの培養容器10内の受精卵の複数の撮影画像にアクセスする(ステップS11)。次に、画像解析装置60は、それら複数の撮影画像から、基準ウェルの撮影画像を特定する(ステップS12)。そして、画像解析装置60は、特定した基準ウェルの撮影画像に対して所定の画像解析を行い(ステップS13)、解析結果を出力する(ステップS14)。このように、画像解析装置60は、複数の撮影画像のうち、基準ウェルの撮影画像のみを解析するので、効率的に各患者の受精卵を解析することができる。
なお、ここでの画像解析は、撮影画像の画質(例えば輝度、鮮明度など)を判定し、その後の解析処理に使用すべきか否かを判定するような処理であっても良い。例えば、全体としての画像解析が複数のステップを含み、第1ステップで画像のピント状態を判定してピントの合った画像のみを抽出し、第2ステップでピントの合った画像のみについて対象物の状態などを解析するというような場合、ステップS13で基準ウェルの撮影画像のみに対して実行される画像解析は、上記の第1ステップにおける撮影画像の画質の判定とすると効果的である。
なお、画像解析装置60は、何らかの理由で基準ウェルを特定できない場合には、エラー表示などのエラー処理を行う。その場合、画像解析装置60は、いずれのウェルの解析結果も出力しない。
次に、ステップS12における基準ウェルの特定方法について詳しく説明する。画像解析装置60は、以下のいずれかの方法により基準ウェルを特定することができる。
(第1の方法)
第1の方法では、撮影装置50は、撮影画像の画像ファイルを収容したフォルダ内に、基準ウェルであることを示す情報又は基準ウェルのウェル番号などを含めておく。例えば、同一患者の受精卵の撮影画像を収容したフォルダ内に、「基準ウェル=A1」などと記述したファイルを含める。これにより、画像解析装置60は、撮影画像のフォルダ内に含まれる上記のファイルを参照し、基準ウェルを特定することができる。
(第2の方法)
第2の方法では、撮影装置50は、撮影時に、撮影画像のファイルに基準ウェルであることを示す情報を埋め込む。例えば、前述のように、画像ファイルのファイル名を、
「容器ID−ウェル位置−焦点位置−撮影時刻」
とする場合、基準ウェル12xの画像ファイルのファイル名には基準ウェルであることを示す符号「REF」を付与し、
「容器ID−ウェル位置−焦点位置−撮影時刻−REF」
などとする。これにより、画像解析装置60は、ファイル名の最後に「REF」がついているファイルを基準ウェルの画像ファイルと特定することができる。
(第3の方法)
上記の第1、第2の方法は、撮影装置50側で基準ウェルに関する情報を撮影画像のフォルダやファイルなどに付与する必要がある。これに対し、第3の方法では、画像解析装置60側で撮影画像を分析することにより基準ウェルを特定する。図6は、第3の方法を説明する図である。
図6(A)は、複数のウェル12を上方から見た図である。なお、基準ウェルは、ウェルA1であるものとする。この例で、培養容器10に形成された複数のウェル12は、X方向及びY方向に間隔dをもって形成されているものとする。この場合、撮影時におけるカメラ52のX方向及びY方向の移動量Mをウェル12の間隔dと等しくすれば(即ち、移動量M=d)、各撮影画像においてウェル12はほぼ中央に位置することになる。その代わりに、図6(A)に示すように、カメラ52の移動量Mをウェル12の間隔dよりも小さくすると(即ち、移動量M<d)、撮影画像の範囲25はウェル12に対してずれていき、撮影画像におけるウェル12の位置は中央から右寄りにずれていく。例えば、ウェル12の間隔d=400μmである場合、カメラ52のX方向の移動量M=380μmとすると、図6(B)に示すように、基準ウェルA1の撮影画像においては、基準ウェル12は撮影画像内のほぼ中央に位置する。しかし、ウェルA2の撮影画像では撮影画像内におけるウェル12の位置は撮影画像の中央よりも右に20μmずれ、ウェルA3の撮影画像では撮影画像内におけるウェル12の位置は撮影画像の中央よりも右に40μmずれる。
同様に、図6(A)から理解されるように、カメラ52のY方向における移動量もM<dの関係を有するので、ウェルB1、ウェルC1の撮影画像においては、撮影画像内におけるウェル12の位置は撮影画像の中央よりも下寄りにずれていく。
従って、画像解析装置60は、複数の撮影画像について、撮影画像全体に対するウェル12の位置を解析し、ウェル12が最も中央に写っている撮影画像を、基準ウェルの撮影画像であると判定すればよい。なお、この判定では、撮影画像内におけるウェル12の位置が問題であり、撮影画像内における受精卵の位置は問題ではない。
(第4の方法)
図7は、第4の方法を説明する図である。第4の方法では、各ウェル12の近傍に、識別情報として、ウェルの識別マークが形成されている培養容器10aを使用する。図7に示す培養容器10aは、収容部11内に8個のウェル12aが形成されている。加えて、各ウェル12aの右横には、マーク13及び14が形成されている。ここで、マーク13は、8個のウェル12aの識別マークであり、図中の縦方向の3か所の位置におけるマークの有無によりNo.1〜No.8の8個のウェル12aを識別している。マーク14は、培養容器10の配置方向を規定しており、図7の例ではマーク14が右下に位置するように培養容器10を配置するのが正しい配置となっている。なお、図7における各ウェル12aの番号「(No.1)」などは、説明の便宜上付したものであり、実際の培養容器10aにこのような番号が設けられているわけではない。
第4の方法では、No.1〜No.8のいずれのウェル12aが基準ウェル12xであるかが予め決められている。例えば、撮影装置50において、No.1のウェル12aを基準ウェルとするように照明装置51が配置され、各ウェルの撮影画像が生成されて記憶部54に記憶される。ここで、撮影装置50は、各ウェルと共に、各ウェルの識別情報である識別マーク13及び14を同一の画像内に含むように撮影を行う。また、No.1のウェルが基準ウェルである旨の情報が画像解析装置60に与えられている。そして、画像解析装置60は、No.1〜No.8の各ウェル12aの撮影画像を記憶部54から取得し、マーク13を参照してNo.1のウェルに対応する撮影画像を基準ウェルの画像として特定し、解析を行う。
なお、第4の方法では、各ウェル12aに対して識別情報としてマーク13が形成されているが、その代わりに、各ウェル12の画像的特徴に基づいて基準ウェルを特定しても良い。培養容器10は、実際には樹脂の成型により製造されるため、成型のための型に依存してウェル12の周辺などに傷、凹凸、樹脂の流れなどの特徴物が形成されることがある。よって、そのような特徴物を利用して基準ウェルを特定することとしてもよい。例えば、ある型を用いて製造した培養容器10aは、8個のウェル12aのうちのNo.2のウェル12a内に同じ所定形状の傷が形成されるという特徴を有する場合、No.2のウェル12aを基準ウェルとして利用すればよい。即ち、撮影装置50では、No.2のウェル12aを基準ウェルとして各ウェル12aの撮影画像を生成して記憶部54に記憶する。画像解析装置60は、各ウェルの12aの撮影画像を取得し、上記の所定形状の傷が映っているNo.2のウェル12aを基準ウェルと特定すればよい。
他の例として、培養容器10の成型時にウェル12間に樹脂の流れで線(ウェルド)が付くことがあり、これを利用することもできる。ウェルドは、程度が酷いと窪みのような形状に反映されるレベルとなり、程度が軽い場合には形状にはならないものの光学的には境界線が見えるレベルとなる。例えば、図3(A)の例で左から右へ樹脂が流れていく場合、ウェルA1とA2の間、ウェルA2とA3の間、ウェルB1とB2の間などにウェルドが付く。そこで、例えば「ウェル12の左側にウェルドが確認されないウェル12を基準ウェルとする」、と決めておいた場合、基準ウェルをA1、B1、C1、D1、E1の5つまで絞り込むことができる。あとは、撮影画像の視野次第であるが、例えばウェルA1が基準ウェルである場合、ウェルA1の上(画像の上の方)にはウェル12の端は見えず、ウェルA1の下(画像の下の方)にはウェル12の端が見えるとすると、そのウェルがウェルA1であることが判定できる。
[変形例]
次に、上記の画像解析システムの変形例について説明する。以下の変形例は、適宜組み合わせて実施することができる。
(変形例1)
上記の実施形態では、複数のウェルから1つの基準ウェルを決定し、画像解析装置60は基準ウェルの撮影画像のみを解析して結果を出力している。その代わりに、1つの基準ウェルに加えて1つ又は複数の補助ウェルを決定し、画像解析装置60は基準ウェル及び補助ウェルについて撮影画像を解析して結果を出力するようにしてもよい。これにより、補助ウェルの画像解析結果を参考として取得することができるようになる。この場合、基準ウェルと補助ウェルの合計数を、撮影画像の総数より少なくすることが好ましい。例えば、補助ウェルの数を、1つの容器につき10個以下、好ましくは5個以下、さらに好ましくは3個以下などとしてもよい。他の例では、補助ウェルの数を1つの培養容器10における撮影画像の総数(図2(B)の例では25枚)の50%以下、好ましくは25%以下、さらに好ましくは10%以下などとしてもよい。
(変形例2)
上記の実施形態のように基準ウェルのみについて画像解析結果が得られた後、他のウェルの画像解析を行う際には、基準ウェルの画像解析結果を利用して必要な補正を行うこととしてもよい。また、変形例1のように基準ウェル及び1つ以上の補助ウェルについて画像解析結果が得られた場合には、その後に他のウェルの解析を行う際、基準ウェルと補助ウェルの画像解析結果を用いて他のウェルの画像を補正しつつ解析を行ってもよい。
図8は、基準ウェルと補助ウェルの画像解析結果を利用して、他のウェルの画像解析において補正を行う例を示す。この例では、基準ウェルをウェルA1とし、補助ウェルをウェルE5とする。画像解析装置60は、基準ウェルA1と補助ウェルE5の画像解析を行い、その結果を出力する。この場合、基準ウェルがウェルA1であるので、照明装置51は基準ウェルA1の上方に配置されており、基準ウェルA1には照明光の影は発生せず、撮影画像にも影は発生しない。一方、補助ウェルE5には照明装置51からの照明光が斜めに入射するため、図示のように補助ウェルE5の照明装置51側の端部には影71ができ、撮影画像にも影の領域75ができる。よって、画像解析装置60は、補助ウェルE5の画像解析を行う際、撮影画像から影の領域75の部分を検出し、領域75の明るさを補う(輝度を上げる)補正を行ってから画像解析を行う。
さて、その後に、基準ウェルA1と補助ウェルE5以外のウェルについても画像解析が必要になったとする。その場合、画像解析装置60は、基準ウェルA1の撮影画像と、補助ウェルE5の撮影画像とを用いて、他のウェルの撮影画像の影の領域を補正する。例えば、基準ウェルA1と補助ウェルE5との中間位置にあるウェルC3の解析が必要となった場合、画像解析装置60は、基準ウェルA1の撮影画像(影なし)と、補助ウェルE5(影の領域75あり)とに基づいて、それらの相互の位置関係からウェルC3には補助ウェルE5の領域75の半分程度の影が生じるであろうと推定してウェルC3の影の領域76の領域を推定し、その領域76について明るさを補う補正を行ってからウェルC3の画像解析を行う。このように、基準ウェルと補助ウェルの画像解析結果を他のウェルの画像解析に利用することにより、基準ウェル以外のウェルについても画像解析の精度を向上させることが可能となる。
(変形例3)
上記の画像解析システムでは、培養容器10に複数のウェル12が形成され、受精卵は各ウェル12に収容されているが、培養容器10にウェルが形成されていることは必須ではない。即ち、ウェルが形成されていない容器を使用する場合でも、同一の容器内に複数の受精卵が収容され、複数の受精卵の撮影画像が撮影される場合には本発明を適用することが可能である。
また、ウェルが形成されていない容器を使用する場合でも、上記の変形例1のように、画像解析装置60は、照明装置51の基準位置に対応する位置の受精卵を撮影した基準撮影画像に加えて、それ以外の位置の受精卵を撮影した補助撮影画像を解析して結果を出力することとしてもよい。この場合も、基準撮影画像と補助撮影画像の合計数は撮影画像の総数よりも少なくすることが好ましい。例えば、補助撮影画像の数を1つの容器につき10枚以下、好ましくは5枚以下、さらに好ましくは3枚以下などとしてもよい。他の例では、補助撮影画像の数を1つの培養容器10における撮影画像の総数の50%以下、好ましくは25%以下、さらに好ましくは10%以下などとしてもよい。
(変形例4)
一般的に、同一の培養容器10には同一の患者の受精卵が収容される。よって、培養容器10毎に識別番号を付与しておき、多数の患者の画像解析を行う際には、制限された数の患者についてのみ画像解析を行うこととしてもよい。例えば、培養容器10に患者毎にユニークな識別番号を付与しておき、画像解析装置60は、予め決められた識別番号を有する培養容器10のみを画像解析の対象とするようにしてもよい。これにより、多数の患者のうちの所定数の患者のみを対象として画像解析を行うことができる。なお、識別番号は、培養容器10に貼り付けたバーコードシールやICタグにより付与することができる。また、培養容器10に手書きした患者名や患者IDなどを手入力してもよい。
(変形例5)
上記の実施例では、カメラ52をX方向及びY方向に移動して1つのウェル12又は1つの受精卵毎に1枚の撮影画像を生成しているが、本発明の適用はこれには限られない。他の例では、複数のウェル又は受精卵を1視野内で1枚の全体画像として撮影し、画像処理により全体画像を各ウェル毎又は各受精卵毎の画像に分割することにより、ウェル又は受精卵毎の撮影画像を生成することとしてもよい。この場合でも、全体画像を分割して得られたウェル又は受精卵毎の複数の画像に対して、上述の第1〜第4の方法のいずれかを適用して基準撮影画像を特定し、解析を行えばよい。また、その場合に、変形例1のように、基準撮影画像に加えて補助撮影画像の解析を行っても良い。
(変形例6)
上記の実施例では、1つのウェルに1つの受精卵が収容されているが、その代わりに、1つのウェルに複数(例えば2つ)の受精卵を収容してもよい。また、ウェルが形成されていない培養容器10を使用する場合でも、複数の受精卵を1つのグループとして容器に収容してもよい。この場合でも、画像解析装置60は、1つのウェル又は1つのグループの受精卵の単位で生成された複数の撮影画像から基準撮影画像を特定し、解析すればよい。また、基準撮影画像に加えて補助撮影画像を解析しても良い。
(変形例7)
上記の実施形態では、撮影装置50は、撮影画像に対して患者ID、ウェル位置、カメラの焦点位置、撮影時刻などを示す属性情報をファイル名などに付加して記憶部54に記憶しているが、その際に、CRCコード、チェックサムデータなどを付加してもよい。これにより、撮影後に撮影画像のデータが改変されたり、誤ってファイル名が変更されたりして撮影画像の取り違えなどが生じることを防止することが可能となる。
同一の培養容器10から生成される同一患者の受精卵画像グループを識別する方法として、画像の撮影時刻から判定することができる。ウェル12間のカメラ52の移動は短時間であるが、培養容器10間のカメラ52の移動は長時間を要するため、所定の閾値を設けて判定する。例えば、解析負荷を下げるため、3分の1の容器だけ解析するものとする。培養を開始して、撮影する培養容器10の順番を仮にI,II,III,・・・と表記すると、例えば、I,IV,VII,・・・と飛ばして解析すれば、解析負荷を3分の1にできる。ここで、カメラが培養容器10間を移動することを認識する手段として、撮影のタイミングを利用できる。培養容器I内のウェル12を観察する際の移動距離は小さいため、撮影間隔が短いが、培養容器Iから培養容器IIに移動するときには移動距離が長くなり、撮影間隔が長くなる。撮影間隔が長いタイミングを培養容器10が変わったタイミングと解釈すると、等間隔で飛ばして解析することが可能となる。また、別の方法として、培養容器10を格納するチャンバーが複数ある際に、チャンバーごとに解析対象か対象でないかを決めておいても良い。なお、チャンバー位置は、カメラのXY座標位置で判別することができる。
10 培養容器
12 ウェル
20 撮影画像
30 受精卵
50 撮影装置
51 照明
52 カメラ
53 制御部
54 記憶部
60 画像解析装置

Claims (11)

  1. 1つの容器に収容された複数の対象物を撮影した複数の撮影画像を取得する取得部と、
    前記複数の撮影画像から、基準となる撮影条件下で撮影された撮影画像である1つの基準撮影画像を特定する特定部と、
    前記1つの基準撮影画像を含む、前記複数の撮影画像の総数より少ない数の撮影画像を解析して解析結果を出力する解析部と、
    を備えることを特徴とする画像解析装置。
  2. 前記特定部は、前記複数の対象物が配置された位置のうち、前記対象物の実際の位置に基づいて予め決められた基準位置において撮影された撮影画像を前記基準撮影画像と特定することを特徴とする請求項1に記載の画像解析装置。
  3. 前記撮影画像の各々には、前記対象物が配置された位置を示す情報が付与されており、
    前記特定部は、前記位置を示す情報に基づいて、前記基準撮影画像を特定することを特徴とする請求項2に記載の画像解析装置。
  4. 前記複数の対象物はそれぞれウェル内に収容されており、
    前記撮影画像は、前記対象物及び前記ウェルの画像を含み、
    前記特定部は、前記撮影画像における前記ウェルの位置に基づいて前記基準撮影画像を特定することを特徴とする請求項1に記載の画像解析装置。
  5. 前記特定部は、前記複数の撮影画像のうち、当該撮影画像における前記ウェルの位置が最も中央に近い撮影画像を前記基準撮影画像と特定することを特徴とする請求項4に記載の画像解析装置。
  6. 前記複数の対象物はそれぞれウェル内に収容されており、
    前記ウェルの各々には、各ウェルの識別情報が付されており、
    前記特定部は、前記基準位置に対応するウェルの識別情報を予め記憶しており、当該識別情報に基づいて前記基準撮影画像を特定することを特徴とする請求項2に記載の画像解析装置。
  7. 前記基準撮影画像は、前記複数の対象物が配置された位置のうち、前記対象物の実際の位置に基づいて設定された照明条件下で撮影された撮影画像であることを特徴とする請求項1乃至6のいずれか一項に記載の画像解析装置。
  8. 前記解析部は、前記1つの基準撮影画像に加えて1つ又は複数の補助撮影画像を解析し、
    前記解析部が解析の対象とする撮影画像の総数は、前記複数の撮影画像の総数よりも少ないことを特徴とする請求項1乃至7のいずれか一項に記載の画像解析装置。
  9. 前記解析部は、前記基準撮影画像及び前記補助撮影画像に基づいて、前記撮影画像を補正して解析を行うことを特徴とする請求項8に記載の画像解析装置。
  10. 請求項1乃至9のいずれか一項に記載の画像解析装置と、前記撮影画像を生成する撮影装置とを備える画像解析システムであって、
    前記撮影装置は、
    同一の容器内に配列された前記複数の対象物を撮影して前記複数の撮影画像を生成する撮影部と、
    前記複数の撮影画像を記憶する記憶部と、
    を備えることを特徴とする画像解析システム。
  11. コンピュータを備える画像解析装置により実行されるプログラムであって、
    1つの容器に収容された複数の対象物を撮影した複数の撮影画像を取得する取得部、
    前記複数の撮影画像から、基準となる撮影条件下で撮影された撮影画像である1つの基準撮影画像を特定する特定部、
    前記1つの基準撮影画像を含む、前記複数の撮影画像の総数より少ない数の撮影画像を解析して解析結果を出力する解析部、
    として前記コンピュータを機能させることを特徴とするプログラム。
JP2017079786A 2017-04-13 2017-04-13 画像解析装置、画像解析システム、及び、プログラム Active JP6841140B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017079786A JP6841140B2 (ja) 2017-04-13 2017-04-13 画像解析装置、画像解析システム、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017079786A JP6841140B2 (ja) 2017-04-13 2017-04-13 画像解析装置、画像解析システム、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2018179761A JP2018179761A (ja) 2018-11-15
JP6841140B2 true JP6841140B2 (ja) 2021-03-10

Family

ID=64275077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017079786A Active JP6841140B2 (ja) 2017-04-13 2017-04-13 画像解析装置、画像解析システム、及び、プログラム

Country Status (1)

Country Link
JP (1) JP6841140B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7485728B2 (ja) 2022-06-20 2024-05-16 株式会社Screenホールディングス 基板処理装置、基板処理装置の制御方法

Also Published As

Publication number Publication date
JP2018179761A (ja) 2018-11-15

Similar Documents

Publication Publication Date Title
CN111352227B (zh) 显微镜系统中样本平面的距离确定
US8098956B2 (en) Digital microscope slide scanning system and methods
JP4970869B2 (ja) 観察装置および観察方法
US9145572B2 (en) Observation system, recording medium, and control method of observation system
CN109417602B (zh) 图像处理方法、图像处理装置、摄像装置及摄像方法
EP3065105B1 (en) Technique for determining the state of a cell aggregation, image processing program and image processing device using the technique, and method for producing a cell aggregation
US20090015666A1 (en) Automated protein crystallization imaging
CN111985292A (zh) 用于图像处理结果的显微镜方法、显微镜和具有验证算法的计算机程序
US20200080992A1 (en) Device and method for determining the action of active ingredients on nematodes and other organisms in aqueous tests
JP7097686B2 (ja) 画像解析装置
JP6841140B2 (ja) 画像解析装置、画像解析システム、及び、プログラム
JP5430188B2 (ja) 細胞画像解析装置及び細胞の画像を撮像する方法
US11215808B2 (en) Microscope parameter setting method and observation method recognizing the shape of a cell
JP7112181B2 (ja) 画像処理方法および画像処理装置
JP5343762B2 (ja) 制御装置、およびその制御装置を用いた顕微鏡システム
JP2018019319A (ja) 画像処理方法、画像処理装置、および撮像装置
CN114326074A (zh) 用于生成样品概览图像的方法和显微镜
CN113947562A (zh) 用于处理显微镜图像的显微系统、方法和计算机程序
JP6980898B2 (ja) 細胞画像処理装置
KR20210099028A (ko) 클론 선택을 가능하게 하기 위한 시스템 및 방법
WO2023220725A2 (en) Method of calibrating a microscope system
EA043190B1 (ru) Системы и способы способствования клональной селекции
CN114729925A (zh) 趋性解析方法、癌症评价方法、趋性解析系统以及程序
JP2019017316A (ja) 画像表示装置、プログラム及び制御方法
JP2019017319A (ja) 画像表示装置、プログラム及び制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210201

R150 Certificate of patent or registration of utility model

Ref document number: 6841140

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150