JP6931418B2 - 画像処理方法、画像処理装置、ユーザインタフェース装置、画像処理システム、サーバ、および画像処理プログラム - Google Patents

Description

本発明は、画像処理方法、画像処理装置、ユーザインタフェース装置、画像処理システム、サーバ、および画像処理プログラムに関するものである。

従来、画像内の被写体の外見的特徴に基づいて被写体を認識する画像処理技術が知られている（例えば、特許文献１参照。）。特許文献１では、１枚の画像を複数の小領域に分割し、外見的特徴を表す特徴量を各小領域について算出し、特徴量に基づいて各小領域のカテゴリを判別している。このような方法によれば、１枚の画像内に異なる外見的特徴を有する複数の被写体が含まれる場合に、複数の被写体を区別して認識することができる。

一方で、近年、培養細胞を使用した研究において、細胞または細胞群の外見的特徴から、細胞の質または活性を示すパラメータ（管理パラメータ）を推測する技術が注目されている。管理パラメータとは、例えば、細胞群の増殖率、生存率、または細胞数である。

特開２０１７−５３８９号公報

しかしながら、小領域のサイズに応じて小領域から算出される特徴量が異なることがある。また、どの程度のサイズの被写体の外見的特徴が管理パラメータと相関するかが不明であることがある。
例えば、ある一定数の細胞が特徴的な構造を形成する場合、その特徴的な構造を正確に表す特徴量を得るためには、小領域が一定数の細胞を含むように小領域のサイズが設定される必要がある。小領域のサイズが一定数の細胞全体のサイズに対して小さすぎる、または大きすぎる場合、特徴的な構造を正確に表す特徴量を小領域から算出することができない。さらに、どの程度の数の細胞が特徴的な構造を形成するかという知見が存在しないことがある。

本発明は、上述した事情に鑑みてなされたものであって、被写体の外見的特徴を表す特徴量の算出に適したサイズの分割画像に被写体画像を分割することができる画像処理方法、画像処理装置、ユーザインタフェース装置、画像処理システム、サーバ、および画像処理プログラムを提供することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、被写体を撮像した被写体画像を取得する工程と、前記被写体画像を複数の分割画像に分割する工程と、前記複数の分割画像の内、少なくとも一部の特徴量を算出し、該特徴量が前記被写体の外見的特徴を表す量である、工程と、前記特徴量に基づいて分割補助情報を作成する工程と、前記被写体の内的性質に関する管理パラメータを取得する工程と、を含み、前記分割補助情報が、前記被写体画像の分割方法の決定に用いられる情報であり、前記被写体画像の前記管理パラメータに対応する態様で表示される画像処理方法である。

本態様によれば、被写体画像が複数の分割画像に分割され、各分割画像の特徴量が算出される。特徴量は、各分割画像内の被写体の外見的特徴を表す量である。続いて、特徴量に基づいて分割補助情報が作成される。このような分割補助情報に基づいて、被写体の外見的特徴をより正確に表す特徴量を算出することができる被写体画像の分割方法を決定することができる。

上記態様においては、前記分割補助情報が、前記特徴量の分布図を含み、該分布図において、前記特徴量の大きさを表す軸上に個々の前記特徴量を示すプロットが表示されていてもよい。
この構成によって、軸上のプロットの分布に基づいて、分割画像のサイズが特徴量の算出に適しているか否かを判断することができる。例えば、外見的特徴が異なる複数の被写体が被写体画像に含まれている場合、分割画像のサイズが適切であるときには、個々の外見的特徴を反映した特徴量が算出されるため、特徴量間のばらつきは大きくなり、軸上のプロットの分布範囲は広くなる。一方、分割画像のサイズが不適切であるときには、分割画像のサイズが適切であるときと比較して、特徴量間のばらつきが小さくなり、軸上のプロットの分布範囲は狭くなる。

上記態様においては、前記分割補助情報が、前記特徴量のヒストグラムに基づく統計値を含んでいてもよい。
特徴量のヒストグラムの統計値は、ヒストグラムの幅または分散を表す統計値であることが好ましい。特徴量のヒストグラムの統計値に基づいて、分割画像のサイズが特徴量の算出に適しているか否かを判断することができる。例えば、外見的特徴が異なる複数の被写体が被写体画像に含まれている場合、分割画像のサイズが適切であるときには、個々の外見的特徴を反映した特徴量が算出されるため、特徴量間のばらつきは大きくなり、ヒストグラムの統計値は大きくなる。一方、分割画像のサイズが不適切であるときには、分割画像のサイズが適切であるときと比較して、特徴量間のばらつきが小さくなり、ヒストグラムの統計値は小さくなる。

上記態様においては、前記分割補助情報が、各前記プロットと関連付けられた前記分割画像を含んでいてもよい。
この構成によって、分割画像と特徴量との比較が容易である分割補助情報を提供することができる。

上記態様においては、前記管理パラメータをその大きさによって複数のクラスのいずれかに分類する工程を含み、前記プロットが、前記被写体画像の管理パラメータのクラスに対応する態様で表示されてもよい。
この構成によって、特徴量と管理パラメータとの相関の有無および相関の程度を分布図から認識することができる。

上記態様においては、前記被写体が、培養される細胞群であり、前記管理パラメータが、前記細胞群の増殖率、培養終了後の所定時間経過時における前記細胞群の生存率、または、培養終了後の所定時間経過時における前記細胞群の細胞数であってもよい。
この構成によって、被写体画像内の細胞群の外見的特徴に基づいて、当該細胞群の内的性質である増殖率、生存率または細胞数を推定することができる。

上記態様においては、前記被写体画像の分割方法を前記分割補助情報に基づいて決定された分割方法に変更する工程と、変更された分割方法で前記被写体画像を複数の分割画像に分割する工程とを含んでいてもよい。
変更された分割方法で被写体画像を複数の分割画像に再度分割することによって、被写体の外見的特徴をより正確に表す特徴量を算出可能な分割画像を得ることができる。

上記態様においては、前記分割方法を変更する工程において、前記分割画像のサイズが変更されてもよい。
この構成によって、外見的特徴が被写体のサイズと関連している場合に、あるサイズの分割画像から算出された特徴量と他のサイズの分割画像から算出された特徴量とを比較することで、外見的特徴をより正確に表す特徴量が算出される分割画像のサイズを特定することができる。

上記態様においては、前記分割補助情報をユーザインタフェース装置に送信する工程を含んでいてもよい。
この構成によって、ユーザは、ユーザインタフェース装置を使用して分割補助情報を確認することができる。

上記態様においては、前記ユーザインタフェース装置からの前記分割方法の変更の要求を受け付ける工程を含んでいてもよい。
この構成によって、ユーザがユーザインタフェース装置から送信した分割方法の変更の要求に従って、被写体画像の分割方法を変更することができる。

本発明の他の態様は、プロセッサを備え、該プロセッサが、被写体を撮像した被写体画像を取得する工程と、前記被写体画像を複数の分割画像に分割する工程と、前記複数の分割画像の内、少なくとも一部の特徴量を算出し、該特徴量が前記被写体の外見的特徴を表す量である、工程と、前記特徴量に基づいて分割補助情報を作成する工程と、前記被写体の内的性質に関する管理パラメータを取得する工程とを実行し、前記分割補助情報が、前記被写体画像の分割方法の決定に用いられる情報であり、前記被写体画像の前記管理パラメータに対応する態様で表示される、画像処理装置である。

本発明の他の態様は、上記画像処理装置と通信ネットワークによって接続され、前記画像処理装置から受信した分割補助情報を表示するディスプレイを備えるユーザインタフェース装置である。
本発明の他の態様は、上記画像処理装置と、上記ユーザインタフェース装置とを備える画像処理システムである。
本発明の他の態様は、上記画像処理装置と通信ネットワークによって接続され、前記分割補助情報を受信および記憶するサーバである。

本発明によれば、被写体の外見的特徴を表す特徴量の算出に適したサイズの分割画像に被写体画像を分割することができるという効果を奏する。

本発明の一実施形態に係る画像処理システムの全体構成図である。 図１のモニタリング装置、画像処理装置およびＵＩ装置の内部構成図である。 本発明の一実施形態に係る画像処理方法を示すフローチャートである。 元画像および分割画像の一例である。 外見的特徴が相互に異なる複数の細胞群を含む元画像の一例である。 画像処理装置によって作成される分割補助情報およびＵＩ装置の画面の一例である。 画像処理装置によって作成される分割補助情報およびＵＩ装置の画面の他の例である。 スライダによる元画像の分割数の変更を説明する図である。 画像処理装置によって作成される分割補助情報およびＵＩ装置の画面の他の例である。 図３の画像処理方法の変形例を示すフローチャートである。 図１の画像処理システムの変形例の全体構成図である。

以下に、本発明の一実施形態に係る画像処理装置、ユーザインタフェース装置、画像処理システム、およびサーバについて図面を参照して説明する。
本実施形態に係る画像処理システム１００は、図１に示されるように、培養容器４内で培養される細胞群（被写体）の画像を生成するモニタリング装置１と、モニタリング装置１から細胞群の画像を取得し細胞群の画像を処理する画像処理装置２と、ユーザによって使用されるユーザインタフェース（ＵＩ）装置３とを備えている。

モニタリング装置１は、図２に示されるように、撮像デバイス５と、プロセッサ６と、通信装置７とを備えている。撮像デバイス５、プロセッサ６および通信装置７は、密閉された箱型の筐体８（図１参照。）内に収容されている。筐体８の透明な天板８ａは、培養容器４が載置されるステージとして使用される。モニタリング装置１は、培養期間中、培養容器４と一緒にインキュベータ（図示略）内に配置される。

撮像デバイス５は、ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサのような撮像素子（図示略）を有する。撮像デバイス５は、撮像素子によってステージ８ａ上の培養容器４の内部を撮像し、細胞群の画像（被写体画像）を生成する。
プロセッサ６は、予め設定されたスケジュールに従って、または、画像処理装置２からの指示に従って、撮像デバイス５に撮像を実行させる。

通信装置７は、画像処理装置２の通信装置１２（後述）と通信ネットワーク２１によって接続され、画像処理装置２との間でデータ、情報および信号を送受信する。通信ネットワーク２１は、例えば、インターネット、イントラネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、またはこれらの組み合わせである。通信ネットワーク２１は、無線および有線のいずれであってもよい。通信装置７は、撮像デバイス５から画像を受け取り、画像を画像処理装置２の通信装置１２へ送信する。

画像処理装置２は、メモリ１０と、プロセッサ１１と、通信装置１２とを備えている。画像処理装置２は、インキュベータの外に配置され、通信装置１２，７間の通信によって、インキュベータ内のモニタリング装置１から細胞群の画像（元画像）を受信する。
メモリ１０には、プロセッサ１１に所定の処理を実行させるための画像処理プログラムが格納されている。プロセッサ１１は、メモリ１０から画像処理プログラムを読み出し画像処理プログラムに従って処理を実行することによって、分割補助情報を作成する。プロセッサ１１が実行する画像処理および分割補助情報については後で詳述する。

通信装置１２は、ＵＩ装置３の通信装置１６（後述）と通信ネットワーク２２によって接続され、ＵＩ装置３との間でデータ、情報および信号を送受信する。通信ネットワーク２２は、例えば、インターネット、イントラネット、ＬＡＮ、ＷＡＮ、またはこれらの組み合わせであり、無線および有線のいずれであってもよい。通信装置１２は、プロセッサ１１によって作成された分割補助情報をＵＩ装置３の通信装置１６へ送信する。

ＵＩ装置３は、ユーザが画像処理装置２との間でデータ、情報および信号を送受信するために使用するデバイス、例えば汎用のタブレット型コンピュータである。ＵＩ装置３は、ディスプレイ１４と、プロセッサ１５と、通信装置１６とを備える。
ＵＩ装置３には、画像処理装置２から受信した分割補助情報を表示するための専用のアプリケーションソフトウェアがインストールされている。ユーザは、後述するように、このアプリケーションソフトウェアを使用して、分割補助情報をディスプレイ１４に表示したり分割補助情報の変更の要求を画像処理装置２に送信したりすることができる。

画像処理システム１００は、図１に示されるように、複数組のモニタリング装置１、画像処理装置２およびＵＩ装置３を備えていてもよい。
さらに、システム１００は、複数台の画像処理装置２と通信ネットワーク２３によって接続されたサーバ３０を備えていてもよい。通信ネットワーク２３は、例えば、インターネット、イントラネット、ＬＡＮ、ＷＡＮ、またはこれらの組み合わせであり、無線および有線のいずれであってもよい。サーバ３０は、例えば、インターネット上のクラウドサーバ、または、任意の場所に設置されたコンピュータである。

サーバ３０は、複数台の画像処理装置２から分割補助情報を受信し記憶する。サーバ３０は、一の画像処理装置２から受信した分割補助情報を他の画像処理装置２に送信してもよい。ユーザは、１台のＵＩ装置３を使用して、複数台の画像処理装置２によって作成された分割補助情報を受信し表示させることができる。

次に、画像処理装置２が実行する画像処理方法について説明する。
本実施形態に係る画像処理方法は、図３に示されるように、元画像を取得するステップＳ１と、元画像の管理パラメータを取得するステップＳ２と、管理パラメータを分類するステップＳ３と、元画像を複数の分割画像に分割するステップＳ４と、分割画像の特徴量を算出するステップＳ５と、特徴量に基づいて分割補助情報を作成するステップＳ６と、分割補助情報をＵＩ装置３に送信するステップＳ７と、元画像の分割方法の変更を受け付けるステップＳ８と、変更された分割方法で元画像を複数の分割画像に再度分割するステップＳ９とを含む。

ステップＳ１において、モニタリング装置１から元画像が画像処理装置２に入力される。画像処理装置２は、単一の元画像を取得してもよく、図４に示されるように、一度に複数枚の元画像Ａ，Ｂ，Ｃを取得してもよい。図４の例において、元画像Ａ，Ｂ，Ｃは、異なる培養における細胞群の画像である。

次に、ステップＳ２において、元画像の管理パラメータが画像処理装置２に入力される。管理パラメータは、元画像内の細胞群の質または活性等、細胞群の内的性質に関するパラメータである。例えば、管理パラメータは、細胞群の増殖率、培養終了後の所定時間経過時における細胞群の生存率、または、培養終了後の所定時間経過時における細胞数である。

管理パラメータは、培養中または培養終了後に細胞群を測定することによって得られる。例えば、培養によって生産された細胞を出荷する場合、出荷時生存率が管理パラメータとして使用される。出荷時生存率とは、培養終了後の所定時間経過時の培養容器４内の細胞群の生存率である。管理パラメータは、例えば、ユーザによってＵＩ装置３に入力され、ＵＩ装置３から画像処理装置２に送信される。

次に、ステップＳ３において、管理パラメータが、その大きさによって、複数のクラスのいずれかに分類される。例えば、図４に示されるように、元画像Ａの出荷時生存率は最も高いクラスＩに分類され、元画像Ｂの出荷時生存率は真ん中のクラスＩＩに分類され、元画像Ｃの出荷時生存率は最も低いクラスＩＩＩに分類される。管理パラメータの種類およびクラスは、元画像と関連付けられてメモリ１０に記憶される。
ステップＳ２，Ｓ３において画像処理装置２が取得および分類する管理パラメータは、１種類のみであってもよく、２種類以上であってもよい。１枚の元画像に対して、１種類当たり１個の管理パラメータが与えられる。

次に、ステップＳ４において、初期設定された分割方法で元画像が複数の分割画像に分割される（ステップＳ４３）。具体的には、図４に示されるように、元画像は、予め設定された初期分割数に等分され、１枚の元画像から同一サイズの初期分割数の分割画像が生成される。図４の例において、初期分割数は４であり、３枚の元画像Ａ，Ｂ，Ｃが４枚の分割画像Ａ１〜Ａ４，Ｂ１〜Ｂ４，Ｃ１〜Ｃ４にそれぞれ分割されている。

ステップＳ４において、細胞群の種類および元画像の画角が設定され（ステップＳ４１）、細胞群の種類および元画像の画角に基づいて初期分割数が決定されてもよい（ステップＳ４２）。細胞群の種類および元画像の画角に関する情報は、例えば、培養開始時にユーザによってモニタリング装置１に設定され、元画像と一緒にモニタリング装置１から画像処理装置２に送信される。

次に、ステップＳ５において、ステップＳ４で生成された全ての分割画像の特徴量が算出される。特徴量は、各分割画像内の細胞群の外見的特徴、例えば、形状、色、大きさ、または、配向のばらつきを示す量である。特徴量は、ニューラルネットワーク等の人工知能によって自動生成された、人間には認識できない特徴量であってもよい。特徴量は、分割画像に含まれる情報、例えば、各画素の輝度、色、またはエッジ方向に基づいて算出され、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ)特徴量を用いて算出されてもよい。

図５に示されるように、同一の培養容器４内で培養される同一種の細胞群であっても、外見的特徴に差異が生じ得る。例えば、領域Ｒ１の細胞群は、小さい略真円形であり、単層構造を形成している。領域Ｒ２の細胞群は、楕円形であり、重層化し、不規則に配向している。領域Ｒ３の細胞群は、細長く、単層構造を形成し、同一方向に配向している。このように、１枚の元画像Ａ内に相互に異なる外見的特徴を有する複数の細胞群が含まれている場合、複数の分割画像Ａ１，Ａ２、Ａ３，Ａ４の特徴量にばらつきが生じる。

ステップＳ５において、全ての分割画像ではなく、一部の分割画像の特徴量が算出されてもよい。例えば、全ての分割画像の中から所定数の分割画像が選択され、選択された分割画像のみの特徴量が算出されてもよい。

次に、ステップＳ６において、元画像の分割方法の決定に用いられる分割補助情報が作成される。分割補助情報４０は、図６に示されるように、特徴量の１次元分布図を含む。１次元分布図において、特徴量の大きさを表す軸４１が定義され、軸４１上に個々の特徴量を示す吹き出し状のプロット４２が表示されている。プロット４２は、矢印、丸または多角形等の任意の図形であってよい。

プロット４２は、管理パラメータのクラスに応じた態様で表示される。態様とは、例えば、プロット４２の色である。図６の例において、プロット４２のハッチングの向きの違いは、表示態様の違いを表している。例えば、元画像Ａ，Ｂ，Ｃの出荷時生存率のクラスＩ，ＩＩ，ＩＩＩが相互に異なる場合、分割画像Ａ１〜Ａ４の特徴量のプロット４２と、分割画像Ｂ１〜Ｂ４の特徴量のプロット４２と、分割画像Ｃ１〜Ｃ４の特徴量のプロット４２は、相互に異なる色で表示される。

１次元分布図のプロットとして、図形に代えて、分割画像Ａ１〜Ａ４，Ｂ１〜Ｂ４，Ｃ１〜Ｃ４が用いられてもよい。あるいは、図７に示されるように、分割補助情報４０に、プロット４２と視覚的に関連付けられて表示される分割画像Ａ１〜Ａ４，Ｂ１〜Ｂ４，Ｃ１〜Ｃ４が含まれていてもよい。

次に、ステップＳ７において、分割補助情報４０が通信装置１２，１６間の通信によって画像処理装置２からＵＩ装置３に送信される。
次に、ステップＳ８において、ＵＩ装置３からの元画像の分割方法の変更の要求が受け付けられる。

ユーザは、ＵＩ装置３にインストールされたアプリケーションソフトウェアを使用して、画像処理装置２から受信した分割補助情報４０をディスプレイ１４に表示させる。図６および図７は、ＵＩ装置３のディスプレイ１４に表示される画面の一例を示している。画面には、分割補助情報４０を表示する領域５１と、管理パラメータの種類を表示する領域５２と、元画像の分割数を変更するためのスライダ５３とが表示される。

ユーザは、領域５１に表示される分割補助情報４０から、特徴量が管理パラメータと相関しているか否かを知ることができる。
例えば、図６および図７の例において、特徴量の小さい側にクラスＩのプロット４２が偏って分布し、特徴量の大きい側にクラスＩＩＩのプロット４２が偏って分布している。このような場合には、特徴量が出荷時生存率と相関していると判断することができる。一方、クラスＩ，ＩＩ，ＩＩＩ間でプロット４２の分布に差異が認められない場合には、特徴量が出荷時生存率と相関していないと判断することができる。

図８に示されるように、ユーザは、スライダ５３の操作によって、元画像の分割方法、具体的には元画像の分割数を変更することができる。分割数の変更によって、分割画像のサイズが変更される。分割数を変更したい場合、ユーザは、スライダ５３の操作によって初期分割数とは異なる分割数を決定し、決定された分割数への変更の要求をＵＩ装置３から画像処理装置２へ送信する。

ステップＳ８において、画像処理装置２は、分割補助情報４０のデータをＵＩ装置３に送信した後、一定期間、分割方法の変更を受け付ける。一定期間が経過した時点で分割方法の変更の要求がＵＩ装置３から無い場合には（ステップＳ８のＮＯ）、画像処理装置２は、一連の処理を終了する。一方、一定期間内にＵＩ装置３から分割数の変更の要求が有った場合には（ステップＳ８のＹＥＳ）、画像処理装置２は、次にステップＳ９を実行する。

ステップＳ９において、ユーザによって決定された変更後の分割数に元画像が等分され、変更後の分割数の分割画像が生成される。
次に、ステップＳ９において生成された分割画像の特徴量が算出され（ステップＳ５）、分割補助情報が新たに作成され（ステップＳ６）、新たに作成された分割補助情報が画像処理装置２からＵＩ装置３に送信される（ステップＳ７）。

分割数が変更されると、分割画像のサイズが変化し、各分割画像に含まれる細胞群のサイズが変化し、分割画像の特徴量が変化し、１次元分布図におけるプロット４２の分布が変化する。

例えば、特徴量が細胞群の配向のばらつきを表す量である場合を考える。
分割画像が単一の細胞群を含むとき、配向のばらつきを最も明確に表す特徴量が算出される。したがって、複数の分割画像の特徴量間にばらつきが生じ、１次元分布図においてプロット４２が広い範囲に分布する。
一方、分割画像が、相互に配向特性が異なる複数の細胞群を含むとき、複数の細胞群の配向のばらつきが平均化された特徴量が算出される。したがって、複数の分割画像の特徴量間のばらつきは小さくなり、１次元分布図においてプロット４２が狭い範囲内に分布する。

本実施形態によれば、ユーザが元画像の分割数の変更の要求を画像処理装置２に送信する度に、ＵＩ装置３の画面に表示される１次元分布図が更新される。これにより、ユーザは、各分割数における特徴量のばらつきを分割数を変更しながら確認し、細胞群の外見的特徴を最も明確に表す特徴量の算出に最適な分割数を特定することができる。また、最適な分割数を用いて生成された分割画像の特徴量に基づいて、管理パラメータと特徴量との相関の有無および相関の程度を正確に知ることができる。

また、管理パラメータと相関する特徴量が一度特定された後は、管理パラメータが未知である細胞群の画像から、当該細胞群の管理パラメータを推定することができる。すなわち、管理パラメータが未知である細胞群の元画像を最適な分割数で分割し、生成された分割画像の特徴量を算出し、算出された特徴量に基づいて管理パラメータを推定することができる。

各元画像に複数種類の管理パラメータが関連付けられている場合には、プロット４２と対応付ける管理パラメータの種類を変更可能であってもよい。例えば、領域５２のプルダウンメニューの中から所望の種類の管理パラメータを選択可能であってもよい。管理パラメータの種類が変更されると、ＵＩ装置３に表示される１次元分布図のプロット４２の表示態様、例えば色が変化する。

本実施形態において、スライダ５３によって選択可能な最大分割数または分割画像の最小サイズは、培養容器４内の細胞の分裂回数に応じて決定されてもよい。
培養期間中に細胞がＮ回分裂した場合、１個の細胞が２^Ｎ個の細胞に増える。１枚の分割画像に少なくとも約２^Ｎ個の細胞が含まれるように、元画像の最大分割数または分割画像の最小サイズが決定されてもよい。細胞の分裂回数Ｎは、培養時間から推定することができる。

本実施形態においては、画像処理装置２が、分割補助情報４０として、特徴量の１次元分布図を作成することとしたが、これに代えて、図９に示されるように、特徴量の２次元分布図を作成してもよい。
この場合、ステップＳ５において、相互に異なる外見的特徴を表す第１の特徴量および第２の特徴量が算出される。２次元分布図において、第１の特徴量の大きさを表す軸４１ａと、第２の特徴量の大きさを表す軸４１ｂが定義される。

本実施形態においては、ユーザが、ＵＩ装置３に表示された分割補助情報４０に基づいて、分割数を変更するか否かの判断および分割数の決定を行うこととしたが、これに代えて、画像処理装置２が分割数の変更の判断および分割数の決定を行ってもよい。すなわち、画像処理装置２は、図１０に示されるように、ステップＳ６からＳ８に代えて、ステップＳ１０からＳ１２を実行してもよい。

ステップＳ５の後、特徴量のヒストグラムが作成され（ステップＳ１０）、ヒストグラムの統計値が分割補助情報として算出される（ステップＳ１１）。統計値は、ヒストグラムの幅または分散を表す値であり、好ましくは、ヒストグラムの半値幅である。半値幅は、例えば、ヒストグラムを近似するガウス曲線の半値幅である。ヒストグラムの半値幅は、１次元分布図におけるプロット４２の分布幅と同様に、特徴量の平均化の程度を示す指標であり、分割画像のサイズに応じて変化する。

半値幅が所定の閾値よりも大きい場合（ステップＳ１１のＹＥＳ）、分割数の変更は行われず、処理が終了する。一方、半値幅が所定の閾値以下である場合（ステップＳ１１のＮＯ）、分割数が変更され（ステップＳ１２）、続いてステップＳ９が実行される。
ステップＳ１２において、分割数は、ヒストグラムの半値幅が大きくなる方向に変更されることが好ましい。また、ステップＳ５，Ｓ１０，Ｓ１１，Ｓ１２，Ｓ９の処理を繰り返しながら分割数とヒストグラムの半値幅とが対応付けられたテーブルが作成され、テーブルに基づいて、分割数の変更の方向および分割数が決定されてもよい。
ヒストグラムおよび半値幅は、分割数が変更される度にＵＩ装置３に表示されてもよく、最終結果のみがＵＩ装置３に表示されてもよい。

本実施形態においては、元画像を等分することによって複数の分割画像が生成されることとしたが、元画像の分割方法はこれに限定されるものではなく、他の方法で元画像が分割されてもよい。
例えば、元画像全体から個々の細胞が抽出され、１個の細胞に対応する最小ユニットに元画像が分割され、相互に隣接する所定数の最小ユニットを結合することによって分割画像が生成されてもよい。また、最小ユニットの結合数を変更することによって、分割画像のサイズが変更されてもよい。

本実施形態においては、細胞の種類、培養条件、または管理パラメータの種類から、好ましい初期分割数を予測することができる場合に、ステップＳ４において、細胞の種類、培養条件、および管理パラメータの種類の少なくとも１つに基づいて初期分割数が決定されてもよい。
例えば、接着培養系でのｉＰＳ細胞の培養において、細胞生存率が、数十個の細胞の重層構造と相関することが確認されている。したがって、接着培養されたｉＰＳ細胞の生存率と特徴量との相関を調べる場合には、元画像の初期分割数が、各分割画像に数十個の細胞が含まれるような値に設定されてもよい。また、ステップＳ１２において、数十個の細胞が分割画像に含まれる方向に、分割数が変更されてもよい。

本実施形態においては、被写体が、培養容器４内で培養される細胞群であることとしたが、他の被写体であってもよい。例えば、被写体が、内視鏡によって観察される病変部であり、病変部の悪性度と相関の高い粘膜の外見的特徴の特徴量を算出してもよい。

本実施形態においては、ステップＳ１において、画像処理装置２がモニタリング装置１から元画像を受信することとしたが、これに代えて、画像処理装置２が、自身で培養容器４内の細胞群を撮像し元画像を生成してもよい。すなわち、画像処理装置２が、撮像デバイス５および筐体８を備え、インキュベータ内で元画像の生成および画像処理の両方を実行してもよい。

本実施形態においては、図１１に示されるように、上述した画像処理がサーバ３０によって実行されてもよい。すなわち、本実施形態に係る画像処理装置がサーバとして実現されてもよい。
この場合、サーバ３０は、メモリ１０およびプロセッサ１１と同様に構成されたメモリおよびプロセッサを備え、モニタリング装置１およびＵＩ装置３と通信ネットワーク２３によって接続される。元画像はモニタリング装置１からサーバ３０に送信され、サーバ３０において上述した画像処理によって分割補助情報が作成され、サーバ３０からＵＩ装置３に分割補助情報が送信される。
多くの処理を必要とする画像処理を実現するためには、高い処理能力が要求される。画像処理を、サーバ３０、特にクラウドサーバに担わせることで、画像処理システム１００の簡素化および低コスト化を図ることができる。

１ モニタリング装置
２ 画像処理装置
３ ユーザインタフェース装置
４ 培養容器
５ 撮像デバイス
６，１１，１５ プロセッサ
７，１２，１６ 通信装置
８ 筐体
８ａ 天板
１０ メモリ
１４ ディスプレイ
２１，２２，２２，２３ 通信ネットワーク
３０ サーバ
４０ 分割補助情報
４１，４１ａ，４１ｂ 軸
４２ プロット
１００ 画像処理システム
Ａ，Ｂ，Ｃ 元画像
Ａ１〜Ａ４，Ｂ１〜Ｂ４，Ｃ１〜Ｃ４ 分割画像

Claims (17)

1. 被写体を撮像した被写体画像を取得する工程と、
   前記被写体画像を複数の分割画像に分割する工程と、
   前記複数の分割画像の内、少なくとも一部の特徴量を算出し、該特徴量が前記被写体の外見的特徴を表す量である、工程と、
   前記特徴量に基づいて分割補助情報を作成する工程と、
   前記被写体の内的性質に関する管理パラメータを取得する工程と、を含み、
   前記分割補助情報が、前記被写体画像の分割方法の決定に用いられる情報であり、前記被写体画像の前記管理パラメータに対応する態様で表示される画像処理方法。
2. 前記分割補助情報が、前記特徴量の分布図を含み、該分布図において、前記特徴量の大きさを表す軸上に個々の前記特徴量を示すプロットが表示されている請求項１に記載の画像処理方法。
3. 前記分割補助情報が、前記特徴量のヒストグラムに基づく統計値を含む請求項１に記載の画像処理方法。
4. 前記分割補助情報が、各前記プロットと関連付けられた前記分割画像を含む請求項２に記載の画像処理方法。
5. 前記管理パラメータをその大きさによって複数のクラスのいずれかに分類する工程を含む請求項２または請求項４に記載の画像処理方法。
6. 前記被写体が、培養される細胞群であり、
   前記管理パラメータが、前記細胞群の増殖率、培養終了後の所定時間経過時における前記細胞群の生存率、または、培養終了後の所定時間経過時における前記細胞群の細胞数である請求項５に記載の画像処理方法。
7. 前記被写体画像の分割方法を前記分割補助情報に基づいて決定された分割方法に変更する工程と、
   変更された分割方法で前記被写体画像を複数の分割画像に分割する工程とを含む請求項１から請求項６のいずれかに記載の画像処理方法。
8. 前記分割方法を変更する工程において、前記分割画像のサイズが変更される請求項７に記載の画像処理方法。
9. 前記分割補助情報をユーザインタフェース装置に送信する工程を含む請求項７または請求項８に記載の画像処理方法。
10. ユーザインタフェース装置からの前記分割方法の変更の要求を受け付ける工程を含む請求項７から請求項９のいずれかに記載の画像処理方法。
11. ユーザインタフェース装置に入力される前記分割方法に関する変更の要求を受け付ける工程と、
    前記要求に基づいて変更された分割方法で前記被写体画像を複数の新たな分割画像に分割する工程と、を含む請求項１に記載の画像処理方法。
12. 前記新たな分割画像から算出される特徴量に基づいて新たな分割補助情報を作成し、該新たな分割補助情報を表示する工程を含む請求項１１に記載の画像処理方法。
13. プロセッサを備え、
    該プロセッサが、
    被写体を撮像した被写体画像を取得する工程と、
    前記被写体画像を複数の分割画像に分割する工程と、
    前記複数の分割画像の内、少なくとも一部の特徴量を算出し、該特徴量が前記被写体の外見的特徴を表す量である、工程と、
    前記特徴量に基づいて分割補助情報を作成する工程と、
    前記被写体の内的性質に関する管理パラメータを取得する工程とを実行し、
    前記分割補助情報が、前記被写体画像の分割方法の決定に用いられる情報であり、前記被写体画像の管理パラメータに対応する態様で表示される、画像処理装置。
14. 請求項１３に記載の画像処理装置と通信ネットワークによって接続され、前記画像処理装置から受信した分割補助情報を表示するディスプレイを備えるユーザインタフェース装置。
15. 請求項１３に記載の画像処理装置と、
    請求項１４に記載のユーザインタフェース装置とを備える画像処理システム。
16. 請求項１３に記載の画像処理装置と通信ネットワークによって接続され、前記分割補助情報を受信および記憶するサーバ。
17. 被写体を撮像した被写体画像を取得する工程と、
    前記被写体画像を複数の分割画像に分割する工程と、
    前記複数の分割画像の内、少なくとも一部の特徴量を算出し、該特徴量が前記被写体の外見的特徴を表す量である、工程と、
    前記特徴量に基づいて分割補助情報を作成する工程と、
    前記被写体の内的性質に関する管理パラメータを取得する工程と、をコンピュータに実行させ、
    前記分割補助情報が、前記被写体画像の分割方法の決定に用いられる情報であり、前記被写体画像の前記管理パラメータに対応する態様で表示される画像処理プログラム。

Images