JPH08287261A - 画像認識システム及び画像認識制御システム - Google Patents

Abstract

(57)【要約】 【課題】時間の経過と共に状態が変化する対象物の状態
監視の精度を高める。 【解決手段】対象物を撮像する撮像装置と画像処理装置
とを含む画像認識システムにおいて、対象物を第１の倍
率で撮像する手段と、第１の倍率よりも高い第２の倍率
で撮像する手段とを備える。 【効果】時々刻々と状態が変化する対象物を正確に画像
認識でき、かつ対象物の制御因子を制御することができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は時間と共に状態が変
化する対象物を異なった倍率で撮像し、得られた対象物
の画像を画像処理し、それによって２種以上の情報を得
て、これを対象物の状態診断や制御因子の制御に利用す
る画像診断システム、画像診断システム，画像診断方
法，画像診断制御方法等に関する。本発明の典型的な応
用例として、動・植物細胞，微生物等の生体培養システ
ムがあり、特に、上記生体の活性を、生理的条件下で診
断する活性診断方法，活性診断装置及び該活性診断装置
を組み込み、かつ、この診断結果を基に、培養環境条件
を制御する手段を具備した生体培養システムがある。

【０００２】

【従来の技術】以下の説明では、主として生体培養診
断，制御システムを例にとって説明するが、本発明がこ
れに限られるものではないことは明らかである。

【０００３】生体培養システムは、医薬・診断薬分
野，食品分野では、動・植物細胞，微生物，酵母を培養
した、有用物質の生産システムとして、医療分野で
は、免疫療法等細胞の活性化システムとして、排水処
理分野では、微生物による有害物質除去システムとし
て、水産分野では、魚介類等の養殖システムとして、
広く利用され、また、実用化のための研究が進められて
おり、，では生産性の向上、では活性化効率の向
上、では運転の安定性向上等、いずれも、高効率化の
要望が強い。

【０００４】では、細胞の産生する有用物質の量は、
数ｎｇ〜数μｇ／１０⁵cclls・日と極めて微量であり、
工業的にこれらの物質を得るためには、培養液中の細胞
濃度の向上と、培養槽の大容量化及び細胞の活性化(細
胞１個当りの産生能力の向上)が必要である。細胞濃度
を向上させるとは、すなわち細胞の増殖を促進し、死滅
を抑えることであるが、このためには細胞の濃度と細胞
総数のうちの生細胞数の比率（生存率）、さらには、生
細胞数のうちの分裂可能な細胞数の比率（分裂細胞比
率）や細胞の活性化には分泌活性の高い細胞数の比率
（分泌細胞比率）等の情報をきめ細かに得、培養条件の
制御に速やかに反映させる必要がある。従来、この作業
は、特開平2−27977号公報に記載されているように、死
細胞を染色剤で染色して生細胞との区別を明らかにした
のちに顕微鏡で拡大した像を観察して行っていた。

【０００５】現在、細胞の数を指標とする活性診断は、
人が目で見て行うのが主流であるが、画像処理を用いて
培養細胞を計数する技術の公知例もいくつか存在する。
特開昭62−201332号公報、及び特開昭64−29765 号公報
には、線形空間フィルターを用い、染色されない生細胞
と染色された死細胞とを認識する方法が示されている。
また、前述の特開平2−27977号公報では、染色剤を培養
液に注入せず、生細胞と死細胞とをその大きさにより判
明することを線形空間フィルターを用いて行う方法が示
されているが、いずれも、生存率の情報のみを得るもの
である。上記、有用物質の生産システムでは、分泌細胞
比率が特に重要な情報であり、また、では生きの良い
細胞の割合の指標となる分裂細胞比率が重要な情報とな
るが、細胞の生理的条件下でこれらの情報を得る方法は
提案されていない。の活性汚泥処理システムでは、シ
ステムの安定した運転のために、活性汚泥が沈降しなく
なるバルキング現象を防止する必要があり、これには、
活性汚泥群に出現する微生物相が重要な情報で、現在、
凝集性微生物と糸状性微生物の割合で、活性汚泥の沈降
性を評価しているが、より高精度な評価に基づく制御が
望まれている。

【０００６】また、特開昭61−21786 号公報には、汚水
中の微生物を観察するにあたり、異なった倍率で撮像す
ることが述べられている。ここでは画像処理することは
述べられていない。

【０００７】特開昭61−32182 号公報には、顕微鏡で細
胞標本を異なった倍率で撮像し、それぞれの画像情報か
ら細胞を識別する方法が開示されている。ここでは血球
など増殖能力のない細胞を扱っており、観察期間中には
本質的に変化しない対象を扱っている。また、撮像され
た画像を画像処理することも述べられている。

【０００８】特開昭64−53157 号公報には、顕微鏡で皮
膚細胞サンプルをある倍率で観察し、その位置を記憶し
たあと高倍率で顕微鏡観察し、画像処理して細胞の特性
を測定する方法が開示されている。

【０００９】

【発明が解決しようとする課題】生体細胞の場合を例に
述べると、死細胞を染色剤で染色して生細胞との区別を
明らかにしたのちに顕微鏡で拡大した像を観察すること
による培養動物細胞の活性診断方法には、以下の欠点が
ある。

【００１０】(1）一般に、生体培養は純粋培養であるた
め培養系は系外とは遮断され、対象とする生体以外の生
体の混入を防止する必要がある。培養液の試料を採取し
染色剤を注入する際に、一時的に培養システムの無菌的
な閉鎖系を開き、系外と接触させざるを得ない。そのた
め、雑菌侵入のおそれがあり、以後の培養の継続に支障
をきたしかねない。

【００１１】(2）染色剤を注入した培養液は培養槽に戻
せないため、試料採取の都度培養液が失われていくこと
になる。このため、細胞の活性診断の頻度を増やすこと
には限界がある。

【００１２】(3）透明なカルチャーフラスコ中での増養
の場合、液をフラスコにいれたまま顕微鏡に載せて細胞
の像を観察できるにもかかわらず、染色剤注入のために
サンプリングの手順を経ざるを得なくなっている。

【００１３】(4）死ぬ過程にあり、染色されつつある細
胞は、人が判別する場合も、画像処理で認識する場合
も、生細胞とするか死細胞とするかの判断は難しい。

【００１４】さらに、システムの高効率化のための (5）分裂細胞比率の情報が得られない。

【００１５】(6）分泌細胞比率の情報が得られない。

【００１６】(7）従って、システムの高効率化が困難で
ある。

【００１７】これらの課題は、生体が微生物（組換え微
生物を含む）、酵母（組換え酵母を含む）等であっても
同様であり、また、活性診断を目視で行うか、画像処理
によるかには依存しない。特開平2−27977号公報で示さ
れた、画像処理により培養細胞の大きさの分布から生死
判別する方法では、上記(1）〜(4）欠点を解決できる
が、(5）〜(7）の欠点は解決できない。

【００１８】そこで、発明者らは培養過程における生体
の数及び形態の変化を詳細に検討し、各種活性（生存
率，分裂細胞比率，分泌細胞比率）と形態との関連を明
らかにし本発明に至った。

【００１９】更に、ボイラのバーナの火焔を観察し、そ
の画像を画像処理することにより得られる情報に基づい
て燃焼制御する技術が提案されているが、火焔の状態を
より細かに分析することにより、精度の良い燃焼制御が
期待される。

【００２０】そのほか、活性汚泥の状態を監視する方法
などにおいても豊富な画像情報を利用すればより信頼性
の高い監視，制御ができるわけである。

【００２１】本発明の目的は、時間の経過と共に状態が
変化する対象物の監視，状態監視の精度をより高めるこ
とである。

【００２２】

【課題を解決するための手段】本発明の目的は、時間の
経過と共に状態が変化する対象物を撮影する撮像装置
と、該撮像装置で取り込んだ画像を処理する画像処理装
置とを具備した画像認識制御システムにおいて、前記対
象物を第１の倍率で撮像する手段と、該第１の倍率より
も高倍率の第２の倍率で撮像する手段とを備えた撮像装
置と、該撮像装置で第１の培率で得られた画像を処理し
て対象物の第１の状態量を求め、第２の倍率で得られた
画像を処理して対象物の第２の状態量を求める画像処理
装置とを具備した画像認識システムによって達成され
る。

【００２３】本発明は、時間の経過と共に状態が変化す
る対象物を撮影する撮像装置、該撮像装置で取り込んだ
画像を処理する画像処理装置、該画像処理装置で得た結
果に基づいて対象物の状態に影響を与える因子を制御す
る制御装置を具備した画像認識制御システムにおいて、
前記対象物を第１の倍率で撮像する手段と、該第１の倍
率よりも高倍率の第２の倍率で撮像する手段とを備えた
撮像装置と、該撮像装置で第１の倍率で得られた画像を
処理して対象物の第１の状態量を求め、第２の倍率で得
られた画像を処理して対象物の第２の状態量を求める画
像処理装置と、該画像処理装置で得られた情報に基づい
て対象物の状態を制御する制御装置を具備した画像認識
制御システムを提供するものである。特に、第１の倍率
の撮像と第２の倍率の撮像を時間的に同一の対象物とな
るように画像メモリ等を利用するのがよい。

【００２４】更に本発明は、上記画像認識制御システム
において、液中の状態を撮影する撮像装置、該撮像装置
で取り込んだ画像を処理する画像処理装置、該画像処理
装置で得た結果に基づいて液の状態に影響を与える因子
を制御する制御装置を具備した画像認識制御システムを
提供する。この場合、前記液中の生体の状態を第１の倍
率で撮像する手段と、該第１の倍率よりも高倍率の第２
の倍率で撮像する手段とを備えた撮像装置と、該撮像装
置で第１の倍率で得られた画像を処理して液中の生体の
総数を求め、第２の倍率で得られた画像を処理して特定
生体の数あるいは種類を求める画像処理装置、該画像処
理装置で得られた生体の総数と特定生体の数あるいは種
類とから液中の状態を制御する制御装置を具備した画像
認識制御システムとすることができる。

【００２５】本発明は、微小球体を放出する性質を有す
る生体の培養システムにおいて、該生体が懸濁した培養
液の画像を任意の時間間隔で夫々複数回異なる倍率で拡
大して撮像する撮像装置、該撮像装置で取り込んだある
倍率の画像により生体を認識し、他の異なる倍率で取り
込んだ画像により該生体から放出された微小球体或いは
／及び微小球体を放出過程にある生体を認識する画像認
識装置、該画像認識装置で認識した画像を解析して生体
の濃度、該生体から放出された微小球体の濃度或いは／
及び微小球体を放出過程にある生体の濃度を各時間毎に
求める画像処理装置、該画像処理装置で得られた生体の
濃度と該生体から放出された微小球体の濃度或いは／及
び微小球体を放出過程にある生体の濃度との割合を指標
として、培養液中の生体の活性状態の変化を診断する生
体活性診断装置、及び該生体活性診断装置の診断結果に
基づいて培養液の状態に影響を与える因子を制御する培
養条件制御装置を具備した生体培養システムを提供する
ものである。

【００２６】本発明において、該生体が懸濁した培養液
の画像を撮像する撮像装置、該撮像装置で取り込んだ画
像を処理して生体、該生体から放出された微小球体或い
は／及び微小球体を放出過程にある生体を認識する画像
認識装置、該画像認識装置で認識した画像を解析して生
体の濃度、該生体から放出された微小球体の濃度或いは
／及び微小球体を放出過程にある生体の濃度を求める統
計処理装置、該統計処理装置で得られた生体の濃度と、
該生体から放出された微小球体の濃度或いは／及び微小
球体を放出過程にある生体の濃度との割合を指標として
培養液中の生体の活性状態を診断する生体活性診断装
置、及び該生体活性診断装置の診断結果に基づいて培養
液の状態に影響を与える因子を制御する培養条件制御手
段を具備した生体培養システムが提供される。

【００２７】本発明は更に、生体と生体以外の粒子とを
含む培養液中の生体培養システムにおいて、該生体が懸
濁した培養液中の生体を観察するために該培養液の画像
をｍ倍に拡大する画像拡大手段と生体以外の粒子を観察
するために該培養液の画像をｎ倍に拡大する拡大手段を
備えた培養液撮像装置、該撮像装置で取り込んだｍ倍画
像を処理して生体を認識し、ｎ倍画像を処理して生体以
外の粒子を認識する画像認識装置、該画像認識装置で認
識された生体及び生体以外の粒子を統計処理して夫々の
濃度を求める統計処理装置、該統計処理で得られた生体
の濃度と生体以外の粒子の濃度の割合を指標として生体
の活性状態を診断する生体活性診断装置、及び該生体活
性診断装置の診断結果に基づいて培養液の状態に影響を
与える因子を制御する培養条件制御手段を具備した生体
培養システムを提供する。

【００２８】本発明によれば、微小球体を放出する性質
を有する生体の活性診断システムにおいて、該生体が懸
濁した培養液の画像を撮影する撮像装置、該生体が懸濁
した培養液の画像を処理して生体、該生体から放出され
た微小球体或いは／及び微小球体を放出過程にある生体
を認識する画像認識装置、該画像認識装置で認識した画
像を解析して生体の濃度、該生体から放出された微小球
体の濃度或いは／及び微小球体を放出過程にある生体の
濃度を求める統計処理装置、該統計処理装置で得られた
生体の濃度と、該生体から放出された微小球体の濃度或
いは／及び微小球体を放出過程にある生体の濃度との割
合を指標として培養液中の生体の活性状態を診断する生
体活性診断装置を具備した生体活性診断システムが提供
される。この活性予測システムにおいて、該生体が懸濁
した培養液の画像を任意の時間間隔で夫々複数回異なる
倍率で拡大して撮像する撮像装置、該撮像装置で取り込
んだある倍率の画像により生体を認識し、上記他の異な
る倍率で取り込んだ画像により該生体から放出された微
小球体或いは／及び微小球体を放出過程にある生体を認
識する画像認識装置、該画像認識装置で認識した画像を
解析して生体の濃度、該生体から放出された微小球体の
濃度或いは／及び微小球体を放出過程にある生体の濃度
を各時間毎に夫々求める画像処理装置、該画像処理装置
で得られた生体の濃度と該生体から放出された微小球体
の濃度との割合を指標とし、該指標の時間経過に伴う変
化から培養液中の生体の活性状態の今後の推移を予測す
る生体活性診断装置を具備した生体活性診断予測システ
ムでもよい。

【００２９】本発明は、時間の経過と共に状態が変化す
る対象物を撮像し、該撮像によって取り込んだ画像を画
像処理すること、画像処理によって得た結果に基づいて
対象物の状態を診断することを含む画像認識による診断
システムにおいて、前記対象物の状態を第１の倍率で撮
像すること、該第１の倍率よりも高倍率の第２の倍率で
撮像すること、第１の倍率で得られた画像を画像処理し
て対象物の第１の状態量を求めること、第２の倍率で得
られた画像を画像処理して対象物の第２の状態量を求め
ること、第１の状態量及び第２の状態量に関する画像処
理情報に基づいて対象物の状態を診断する画像認識によ
る診断方法に係わる。

【００３０】更に、微小球体を放出する性質を有する生
体が懸濁した培養液中の生体の活性状態を診断する方法
において、該生体が懸濁した培養液の画像を撮像する撮
像段階、該撮像段階で取り込んだ画像を画素ごとの輝度
差に基づいて処理し、生体、該生体から放出された微小
球体或いは／及び微小球体を放出過程にある生体を夫々
認識する画像認識段階、該画像認識段階で認識した結果
に基づいて生体の濃度、該生体から放出された微小球体
の濃度或いは／及び微小球体を放出過程にある生体の濃
度を夫々求める濃度計測段階、該濃度計測段階で得られ
た生体の濃度と、該生体から放出された微小球体の濃度
或いは／及び微小球体を放出過程にある生体の濃度との
割合を指標として培養液中の生体の活性状態を診断する
活性診断段階を含む生体活性診断方法に係わる。

【００３１】本発明を動植物細胞，酵母，微生物等生体
を例にとって説明する。これらの生体は分裂あるいは出
芽により増殖する。培養過程は、一般に、指数関数的に
増加する対数増殖期，増殖期，見かけ上濃度が一定とな
る定常期及び濃度が減少する死滅期と移行する。培養シ
ステムでは、短時間に濃度を増加させ、高密度状態と
し、その後の定常期を長期間継続することが必要であ
る。

【００３２】上記、培養過程と生体の形態を対応させる
と、動植物細胞では、対数増殖期及び増殖期において、
ほとんど完全な球体であるが、定常期に入ると球体がゆ
がみ、定常期も中半を過ぎると表面にポリープ状の突起
を形成したもの、突起が細胞から脱離した小球体が観察
できる。これらの影響と活性との関係を表１に示した。

【００３３】

【表１】

【００３４】一般に、動物細胞の大きさは十数μｍ〜数
十μｍであり、上記小球体の大きさは数μｍ程度であ
る。

【００３５】図２は細胞総数に対する小球体数の比率
（小球体比率）と生存率の関係を示す実験データを示す
が、両者は直線関係にあり、小球体比率を求めることに
より、生存率を得ることができる。また、形態の違いを
認識し、それぞれを計数することにより、分泌細胞比率
を得ることができる。形態の違いの認識は下記で行い得
る。

【００３６】図３（ａ）に示すように、形状が完全な円
の場合、外周の長さは、 半径×２×π で表される。ところが、図３（ｂ）のように凹凸がある
と、面積が等しい物体でも外周の長さは次第に長くなっ
てくる。円の面積から求めた半径の長さ

【００３７】

【数１】

【００３８】から計算した外周の長さＬを、実際の外周
の長さＬ′で割った値（形状係数）

【００３９】

【数２】

【００４０】によって、物体の形状がどこまで完全な円
に近いかの指標とすることができる（凹凸がおおいほど
０，円に近いほど１に近づく）。

【００４１】細胞を認識した２値画像では、活きの良い
細胞のものほどすなわち、分裂活性の高いものほど完全
な円に近くなる。従って、上記、形状係数を用いて、上
記形態の違いを認識し、活性診断ができる。

【００４２】上記、活性診断するためには、基本的に、 (ａ)細胞総数の計測 (ｂ)小球体数の計測 (ｃ)形状係数の算出 が必要である。ところが、微小な小球体は、細胞を認識
しやすい倍率で撮像した画像を処理したのでは認識でき
ないおそれが多い。細胞懸濁液の画像は背景に汚れが入
っている場合が多く雑音処理は欠かせないが、微小球体
がこれにひっかかってノイズとして除去されてしまうお
それが多い。

【００４３】一方、微小球体を認識しやすい倍率では、
細胞が画像をまたいで認識される頻度が多くなり、細胞
の個数を計測するうえでの誤差が大きくなる。

【００４４】また、形状係数で細胞の活性を診断しよう
とする場合、外周の凹凸をも正確に認識する必要があ
り、解像度（１画面あたりの画素数）を変更し得ない画
像処理装置を用いるときには、光学顕微鏡での倍率を高
めにしなければならない。

【００４５】すなわち、上記（ａ）と（ｂ）あるいは
（ｃ）は倍率を変えて行うことが必要で、これが本発明
のポイントでもある。

【００４６】生体が酵母の場合には、出芽によって増殖
するため、形態と活性との関係は表２のようになる。

【００４７】

【表２】

【００４８】突起を有する細胞が多い場合には増殖活性
が高く、球体あるいは楕円体の細胞が多いときには分泌
活性が高く、上記動植物細胞の場合とは反対になる。し
かし、形状係数により、形状の違いを認識し、分裂細胞
比率、分泌細胞比率を得ることができる。同様に、上記
（ａ）と（ｃ）を倍率を変えて行うことが本発明のポイ
ントである。

【００４９】活性汚泥では、一般に凝集性細菌が多いと
きは沈降性がよいが、系状性微生物が多いと沈降性が悪
い。しかし、系状性微生物の種類，凝集性細菌と系状性
微生物が形成するフロックの形態によっても、沈降性が
変化するため、上記形態情報を的確に得る必要がある。
このためには、凝集性細菌と系状性微生物の割合は低倍
率で、系状性微生物の種類及びフロック形態は高倍率で
観察する必要がある。生体の総数を、低倍率で得られた
画像を処理して求め、特定生体（小球体，分裂活性の高
い細胞，分泌活性の高い細胞等）の数や種類（系状性微
生物）を、高倍率で得られた画像を処理して求め、これ
を基に、生存率，分裂細胞比率，分泌細胞比率の情報を
得、培養環境の適否を診断する。診断結果に基づき、所
定の培養環境に制御することでシステムの高効率化をは
かる。

【００５０】培養環境の制御因子には温度，ｐＨ，浸透
圧，溶存酸素濃度，液の滞留時間，生体濃度等がある。
この内、温度，ｐＨ，浸透圧，溶存酸素濃度は高い生存
率を維持するため、それぞれ、適正な範囲に制御され
る。分裂細胞比率及び分泌細胞比率を制御するには、
（生体濃度）×（液の滞留時間）の値を操作する。（生
体濃度）×（液の滞留時間）の値を大きくすれば、分泌
細胞比率を増大でき、（生体濃度）×（液の滞留時間）
の値を小さくすれば、分裂細胞比率を増大できる。有用
物質の生産システムでは、培養初期において（生体濃
度)×(液の滞留時間）の値を小さく設定し、短時間で高
密度化し、しかる後、(生体濃度)×(液の滞留時間)の値
を大きく設定し、生体の分泌活性を高め、生産性を向上
する。免疫療法等の細胞活性化システムでは、（生体濃
度）×（液の滞留時間）の値をできるだけ小さく設定
し、活きの良い生体の濃度をできるだけ高くする。活性
汚泥処理では、（生体濃度）×（液の滞留時間）の値を
大きく設定し、分裂細胞比率を減少させ、生体濃度の余
分な増加を押え、余剰汚泥を減らす。同時に、系状微生
物の増殖を押え、系状微生物の割合を減少させ、沈降性
を向上できる。

【００５１】

【発明の実施の形態】本発明の実施例を図面を用いて説
明する。

【００５２】図４は、本発明の一実施例による画像認識
制御システムの構成の例を示す。反応・増殖等が制御さ
れるべき生体が懸濁した液の容器１０から、液の一部を
採取し、撮像装置２０に導く。この撮像装置２０におい
て、液の像を光学的に２種の異なる倍率で光学的に拡大
し、それぞれをテレビカメラ等の撮像手段により、電気
的な画像信号として撮影する。これらの画像信号を画像
処理装置３０に入力し、第１の倍率で得られた画像を処
理して液中の生体の濃度を、また第２の倍率で得られた
画像を処理して特定生体の濃度を、それぞれ求める。画
像処理装置３０で計測されたそれらの生体の濃度データ
を制御装置４０に入力し、容器１０内の液の状態を制御
する。

【００５３】図１は、撮像装置２０を実現するための構
成例を示す。透明容器２１は、ガラス，プラスチック等
の透明な材質でできており、中に観察対象とする液を液
容器１０から導く。この場合、観察対象である微生物等
の生理的状態を保ったまま扱えるように、例えば特開平
2−27977号公報に記載された技術を採用するのが良い。
光学顕微鏡２２は、透明容器２１中の液の像を拡大す
る。テレビカメラ２４は、拡大された像を電気的な画像
信号（アナログ）に変換する。Ａ／Ｄ変換器２５で、テ
レビカメラからのアナログ画像信号を、画像処理装置３
０で処理することのできるディジタル信号の形式に変換
して、画像処理装置３０に入力する。対物レンズ自動切
り替え機構２３は、画像処理装置からの駆動信号を受け
て、光学顕微鏡２２の対物レンズを切り替え、液の像の
拡大倍率を変更する。

【００５４】図５は、本発明の他の実施例を示す。タイ
マ−３３から駆動信号が発せられると細胞が懸濁した培
養液が採取され、撮像装置２０に導かれる。この場合、
撮像装置２０は液の供給のために、ポンプ等の機構を内
蔵している必要がある。撮像装置２０では、複数回異な
る倍率で液の像を拡大し撮像する。タイマーからの駆動
信号は、同時に画像認識装置３１にも送信され、撮影さ
れた液の画像を遅滞なく処理し、物体を認識する。この
画像認識装置３１では、撮像装置２０で取り込まれた複
数の画像のうち、ある倍率のものを処理して細胞、他の
異なる倍率のものを処理して、細胞から放出された微小
球体と、微小球体を放出する過程にある細胞とのうちの
どちらか、またはそれらの両方が「１」の値となった２
値画像を生成する（認識する）。

【００５５】画像処理装置３２では、画像認識装置３１
から送られた２値画像を解析して、生体（細胞，微小球
体，微小球体を放出過程の細胞のいずれか）の画面内に
存在する個数を計測し、液中の濃度を計算する。細胞活
性診断装置５０では、画像処理装置３２で得られた生体
の濃度を用い、細胞の濃度と、微小球体の濃度との２変
量、細胞の濃度と微小球体を放出中の細胞の濃度との２
変量、あるいは細胞の濃度、微小球体の濃度、微小球体
を放出過程の細胞の濃度の３変量で比率を計算して、培
養液中の細胞の活性を診断する。培養条件制御装置４１
では、細胞活性診断装置５０の診断結果に基づいて、細
胞培養槽１１内の液の状態に影響を与える因子を制御す
る。

【００５６】タイマーからの駆動信号は、以上の例では
撮像装置２０と画像認識装置３１とだけに送信されるよ
うになっているが、これは、画像処理装置３２以降の装
置は画像信号を待機する状態にしておくことで、処理の
周期がうまく取れるためである。もちろん、すべての装
置をタイマーで駆動する仕組みにしておくことも可能で
ある。

【００５７】図６は、更に他の実施例を示す。この例で
は、撮像装置２０で撮影される培養液の画像は単一であ
り、画像認識装置３１でも細胞と微小球体とを一緒に認
識する。そして、統計処理装置３４で、生体の認識面積
によって細胞が微小球体かを判別，計数して、液中の濃
度を計算する。細胞活性診断装置５０及び培養条件制御
装置４１の機能は、図５に示した実施例の場合と同様で
ある。

【００５８】以上の実施例として、液を採取したのちに
撮像する例を示したが、その他に撮像装置を培養槽に直
かに設置し、槽内にある状態で液の像を撮像するシステ
ムでもよい。

【００５９】図７は、更に他の実施例を示す。細胞培養
槽１１から採取した培養液を２つの撮像装置２６，２７
とに導く。このうち、２６は拡大倍率がｍ倍に設定され
ており、細胞が観察するための画像を撮影する。また、
撮像装置２７は拡大倍率がｎ倍に設定されており、細胞
以外の粒子を観察するための画像を撮影する。２つの撮
像装置で撮像された画像を、時間をずらして１台の画像
認識装置３１に入力し、撮像装置２６の画像から細胞
を、また撮像装置２７の画像から粒子をそれぞれ認識す
る。統計処理装置３４では、画像認識装置３１で認識さ
れた細胞及び細胞以外の粒子を統計処理して、それぞれ
の濃度を求める。この図における、細胞活性診断装置５
０及び培養条件制御装置４１もまた、機能は図５のそれ
らと同様である。

【００６０】図８は、２つの撮像装置を実現するための
装置構成の例を示す。細胞培養槽１１から採取した培養
液を撮像装置に供給するためのチューブを分岐して、左
右２つの透明容器２１に導く。対物レンズの設定をｍ倍
とｎ倍にした２台の光学顕微鏡２２でそれぞれ像を拡大
し、テレビカメラ２４で撮影する。Ａ／Ｄ変換器２５を
２基用いてそれぞれの画像信号をディジタルに変換し、
画像認識装置３１に入力する。すなわち、ハードウエア
的には、全く同一の装置一式を２組用意すればよいこと
になる。

【００６１】培養液中に放出される微小粒子の量と、細
胞の生存率との間には、図２に示すような線形の関係が
あり、これを利用して活性状態を判定するシステムを構
築できる。判定のためのパラメータを何らかの方法で決
定する必要があるが、過去のデータを元にして判定手段
を作成しておくことができる。また、この過去のデータ
から作成された判定手段と現在の培養液の撮像画像から
求めた指標とを比較して活性状態を判定する手段も合わ
せ持つことができる。

【００６２】他の発明の実施態様においては、経時的に
細胞と微小球体との濃度を計測するシステムにおいて、
それらの濃度の変化速度を将来の時間に補外計算するこ
とで、細胞の活性状態の今後の推移を予測する機能を持
った細胞活性診断装置を備えたシステムが構成される。
この計算は、微分方程式によって達成可能である。

【００６３】図９は、細胞活性診断方法に準拠する処理
の実施例の骨子を示す。工程１１０では細胞と微小球体
が混在して懸濁する培養液の像を拡大し、撮像する。工
程１２０では、工程１１０で撮像された画像内にある細
胞及び、微小球体と微小球体を放出過程にある細胞のど
ちらか一方または両方を、画像内での当該生体周辺の輝
度パターンを利用して認識する。工程１３０では、工程
１２０で認識された細胞，微小球体の濃度を、生体の種
類毎に計測する。工程１４０では、細胞の濃度及び、微
小球体または微小球体を放出過程にある細胞のどちらか
一方、またはそれらの両方の濃度から計算される割合を
指標として、培養液中の細胞の活性状態を診断する。

【００６４】図１０（ａ)，(ｂ）は、ある種の細胞の周
辺が画像内でどのような輝度パターンを示すかを図示す
る。輪郭の部分が低い輝度，細胞の部分は高い輝度にな
っている。また輪郭と細胞との間には大きな輝度差が存
在する。このような特徴は、微小球体にも共通なもの
で、そのため細胞と微小球体は同様な手順で認識するこ
とができる。

【００６５】図１１は、上記の輝度パターンを利用し
て、細胞や微小球体を認識し、図９の工程１２０を実現
する方法の一例を示す。

【００６６】この認識法は、生体の一部分を認識する段
階及び、認識部分を拡張して細胞の全体像を把握する段
階に分けられる。

【００６７】細胞の一部分を認識する工程では、原画像
に極小値フィルターをかけ、その結果から原画像を減算
する（工程２１０〜２２０）。これらの処理は、互いに
隣接し、かつ輝度差の大きい２画素に対して、高輝度側
の画素にその輝度値を、低輝度側の画素に０を、それぞ
れ新たな輝度の値として与える効果を持つ。動物細胞の
培養液が撮像された画像にこれらの処理を適用する場
合、細胞や小面積粒子の輪郭に当る画素は低輝度になっ
ているので、その直ぐ内側が高輝度になって濃淡画像が
得られる。この画像を固定２値化し、輝度の高い個所を
選択することにより、細胞の内側に相当する画素群のう
ち、輪郭の接する何画素かを認識した２値画素が得られ
る（工程２３０）。

【００６８】細胞の輪郭とその外周の背景に当る画素と
の間には、細胞と輪郭との輝度差に準じた大きな輝度差
が存在することがあり、工程２１０〜２３０の処理では
これらを誤って生体と認識してしまう恐れが大きい。こ
のような個所の輝度は一般的な細胞内部の輝度の水準よ
りは低いことが多く、原画素を直接２値化した２値画像
との論理積によってかなりの割合で除去可能である（工
程２４０〜２５０）。以上の生体の一部分を認識する工
程が終了した時点では各生体の認識面積は小さく、生体
の認識個数も１個の生体を何個にも分割して認識するた
め、大変不正確である。そこで、認識部分の拡張を行
う。この工程は、各々の細胞の内部がほぼ一定の輝度水
準になっていることを利用するものである。

【００６９】まず、前工程までで認識された生体の部分
を原画像にマスキングする（工程２６０）。マスキング
とは、２値画像で１となっている画素と座標が同一な濃
淡画像画素の輝度値を残し、それ以外の全ての画素の輝
度値を０とした濃淡画像を得る処理である。この処理に
よって拡張の起点となる個所を前工程で認識された部分
に限定する。

【００７０】次に、この濃淡画像に極大値フィルターを
かける（工程２７０）。この処理によって、前工程まで
で認識された部分及びその部分に隣接する画素の輝度が
正、それ以外の背景画素の輝度値が０となった濃淡画像
が得られる。この濃淡画像から原画像を減算すると、背
景は負、輪郭は高輝度、物体内部は０前後の輝度になっ
た濃淡画面が得られる（工程２８０）。２つのしきい
値、例えばマイナス５とプラス１５というような値の間
の輝度を持った部分を１とする条件でこの濃淡画像を２
値化すると、生体内部に当る個所だけが抽出される（工
程２９０）。このときの認識部分には、拡張前の生体部
分に隣接し、その部分との輝度差の小さい画素も含まれ
ている。すなわち、１画素分の拡張ができたことにな
る。

【００７１】ここでも、原画像との論理積演算を行う
（工程３００）。ここでの論理積演算の目的は、生体を
認識した部分から輪郭を越え、背景に向かって拡張が起
こることの防止である。

【００７２】以上の認識部分拡張工程を、拡張がそれ以
上進まなくなるまで反復する。反復回数は５〜１０回が
目安であるが、多すぎても生体の認識への悪影響はな
い。

【００７３】図１２は、図９の工程１２０で一緒に認識
された細胞と微小球体とを、それら生体の認識面積に基
づいて判別する処理の例を示す。この処理は、図９にお
いては工程１３０の一部となる。

【００７４】この判別方法は、認識生体１個ごとの面積
を計測し、その値が一定値以上であるか否かによって進
められる。まず、生体が認識された２種画像中の生体の
各々に番号をつける（ラベリング、工程３１０）。ラベ
リングが終了すると、最後の番号がすなわちその画面内
の生体数である。生体数を代入するために用意した変数
にこの値を入れておく（工程３２０）。次に、番号順に
１個ずつ、細胞か小面積球体かを判別する。すなわち、
その番号の生体の面積を計測し（工程３４０）、その値
が一定値以上ならば細胞、一定値に満たないならば小面
積球体と判別する（工程３５０）という作業を生体数と
同じ回数反復する（工程３３０）。

【００７５】図１３は、一緒に認識した正常な細胞と微
小球体放出過程の細胞との判別を形状係数とよばれる係
数によって行う処理を示す。形状係数は、生体の形状が
どの程度、真円に近いかを示す係数であり、生体が円で
あると仮定したときの生体の面積を周囲長から求め、実
際の面積と比較する。数式で表すと、

【００７６】

【数３】

【００７７】となる。また、生体が真円と仮定したとき
の周囲長を生体の面積から求め、実際の周囲長と比較す
る

【００７８】

【数４】

【００７９】もまた、用いることができる。どちらの値
とも、凹凸が多いほど０、円に近いほど１に近づく。

【００８０】細胞の観察に用いる場合には、微小球体が
細胞から分かれて外に出ようとしているときに、形状係
数が小さくなる。

【００８１】図１４に従った処理は、以下のような工程
からなる。まず、生体が認識された２値画像中の生体の
各々に番号をつける（ラベリング、工程３１０）。ラベ
リングが終了すると、最後の番号がすなわちその画面内
の生体数である。生体数を代入するために用意した変数
にこの値を入れておく（工程３２０）。次に、番号順に
１個ずつ、正常な細胞が微小球体放出過程の細胞かを判
別する。すなわち、その番号の生体の面積（工程３４
０）及び周囲長（工程３６０）を計測し、上記の形状係
数計算式のいずれか一方によって、形状係数を計算する
（工程３７０）。そして、形状係数が一定値よりも大き
くて１に近ければ正常細胞、小さくて０に近ければ微小
生体を放出過程の細胞と判別する（工程３８０）。これ
らの判別ルーチンを生体の番号順に１番から最後の番号
のものまで反復する（工程３３０）。

【００８２】図１４は、細胞が懸濁した培養液の像を、
初めから複数の異なる倍率で拡大して撮像する場合の処
理の流れの例を示す。

【００８３】工程１１１では、低めの拡大倍率で細胞が
懸濁する培養液の像を拡大し、撮像する。その画像内に
存在する細胞を工程１２１で認識する。また、工程１１
２では、工程１１１と同時に採取した培養液の像を当該
工程よりも高めの拡大倍率で拡大し、撮像する。工程１
１２から得られた画像からは、微小球体と微小球体を放
出過程にある細胞のうちのどちらか一方、或いはそれら
の両方を認識する。工程１３０で細胞や微小球体の濃度
を、生体の種類ごとに計測し、工程１４０でそれらの濃
度から培養液の活性を診断する。

【００８４】本発明によれば、細胞活性診断装置内に、
過去に培養液を採取したときの細胞の活性のデータを蓄
積しておく手段を設け、その手段から読み出されたデー
タと今回の活性とを微分方程式等の計算式に入れ、今後
細胞の活性状態がどのように変化していくか予測する段
階を含む細胞活性予測診断方法が提供できる。図１５に
おいて、工程１１０乃至１４０は図９と同一である。そ
のあとに、過去の活性データを格納する手段１６０との
データ交換をしながら今後の活性状態の変化を予測する
工程１５０が、付加されている。

【００８５】以上の実施例では、細胞の活性を診断する
ところまでで処理を打ち切ることになっていたが、得ら
れた活性のデータを利用して、培養液の状態に影響を与
える因子を制御する段階を後に付加することもできる。
図１６と図１７においては、それぞれ図９と図１４と同
一の工程のあとに、工程１４０で診断した結果得られた
細胞の活性のデータを利用して、培養液の状態に影響を
与える因子を制御する工程１７０が付加されている。ま
た、図１８においては、図１５と同一の工程の後に、工
程１４０からの活性診断結果と、工程１５０の予測結果
との両方を利用して培養液の状態に影響を与える因子を
制御する工程１７０が付加されている。以上の実施例で
は、細胞の種類は特に限定していなかったが、本発明の
好適な応用例では培養動物細胞培養である。動物細胞の
中には、死細胞に至る前に細胞とは認められない微小球
体を放出する性質を持つものがあり、これまでに述べた
細胞の活性診断方法，培養方法を適用できる。

【００８６】以上、液中の生体形態により、生体の活性
を診断し、その診断結果に基づき、プラントを制御する
場合を例に述べたが、本発明はこれに限らず、気相ある
いは液相中の物体形状、さらには、気相中の気体性状に
基づく画像診断制御システムにも適用できる。

【００８７】気相あるいは液相中の物体形状画像診断制
御システムの例では、充填層内の充填剤充填状況を第１
の倍率で撮像し、個々の充填剤形状を第２の倍率で撮像
し、第１の倍率で撮像した画像を処理して充填剤配列の
適否を、第２の倍率で撮像した画像を処理して充填剤の
形状変化からその消耗度合を診断し、これに基づき、充
填層に供給する気体あるいは液体の量と質を制御する。
このシステムは活性炭，ゼオライト，合成樹脂等の吸着
剤，イオン交換樹脂，濾過剤，触媒等これらを充填した
充填層を有するプラントあるいは装置を適用できる。

【００８８】気相中の気体性状画像診断制御システムの
例では、火炎の状態診断に基づく燃焼制御システムがあ
る。火炎の状態を第１の倍率で撮像し、撮像した画像を
処理して炉内の輝度分布を求め、これより、炉内の温度
分布を得る。つぎに、特定温度領域部（高温部間に存在
する低温部）を第２の倍率で撮像し、撮像した画像を処
理して、化学種，ＮＯｘ，ＳＯｘ等の発生状況を診断す
る。以上の温度分布やＮＯｘ，ＳＯｘ等の発生状況に基
づき、炉内に供給する燃料や空気の量を制御する。

【００８９】

【発明の効果】本発明によれば、時々刻々状態が変化す
る対象物を正確に画像認識でき、かつ対象物の制御因子
を制御することができる。

【図面の簡単な説明】

【図１】本発明において用いられる撮像装置の詳細な構
成例を示す概略図。

【図２】生存率と細胞に対する小球体数の比率との間に
存在する関係を示すグラフ。

【図３】（ａ)，(ｂ）は細胞の形態例を示す概略図。

【図４】本発明の実施例による画像認識制御システムの
構成例を示す線図。

【図５】他の実施例の細胞培養システムの構成例を示す
線図。

【図６】他の実施例の細胞培養システムの構成例を示す
線図。

【図７】他の実施例の細胞培養システムの構成例を示す
線図。

【図８】図７中にある２つの撮像装置を実現するための
装置構成の例を示す概略図。

【図９】他の実施例の細胞活性診断方法による処理法の
例を示すフロー図。

【図１０】（ａ）は原画像における細胞近辺の輝度の状
況を示す図。（ｂ）は輝度の状況に対応する画素位置と
輝度の関係を示すグラフ。

【図１１】輝度差利用認識による生体認識の手順を示す
フロー図。

【図１２】図９内の工程１２０で一緒に認識された細胞
と微小球体とを生体の面積に基づいて判別する処理の例
を示すフロー図。

【図１３】図９内の工程１２０で一緒に認識された細胞
と微小球体放出過程にある細胞との判別を形状係数に基
づいて行う処理の例を示すフロー図。

【図１４】細胞が懸濁した培養液を初めから複数の異な
る倍率が拡大して撮像する場合の処理の例を示すフロー
図。

【図１５】図９の後に、過去の活性データを格納する手
段とのデータ交換をしながら今後の活性状態の変化を予
測する工程が付加された場合の処理の例を示すフロー
図。

【図１６】図９の後に、得られた活性のデータを基に培
養液の状態に影響を与える因子を制御する工程が付加さ
れた場合の処理の流れの例を示すフロー図。

【図１７】図１４の後に、得られた活性のデータを基に
培養液の状態に影響を与える因子を制御する工程が付加
された場合の処理の流れの例を示すフロー図。

【図１８】図１５の後に、得られた活性のデータを基に
培養液の状態に影響を与える因子を制御する工程が付加
された場合の処理の流れの例を示すフロー図。

【符号の説明】

１０…反応・増殖等が制御されるべき生体が懸濁した液
の容器、１１…細胞培養槽、２０…撮像装置、２１…透
明容器、２２…光学顕微鏡、２３…対物レンズ自動切替
機構、２４…テレビカメラ、２５…Ａ／Ｄ変換器、２６
…細胞液の像をｍ倍に拡大する手段を備えた撮像装置、
２７…細胞液の像をｎ倍に拡大する手段を備えた撮像装
置、３０…画像処理装置、３１…画像認識装置、３２…
画像処理装置、３３…タイマー、３４…統計処理装置、
４０…制御装置、４１…培養条件制御装置、５０…細胞
活性診断装置、１１０，１１１，１１２，１２０，１２
１，１２２，１３０，１４０，１５０，１６０，１７
０，２１０，２２０，２３０，２４０，２５０，２６
０，２７０，２８０，２９０，３００，３１０，３２
０，３３０，３４０，３５０，３６０，３７０，３８０
…活性診断，培養液制御の単位工程。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松崎 晴美 茨城県日立市久慈町4026番地 株式会社日 立製作所日立研究所内 (72)発明者 中野 隆盛 山口県下松市東豊井794番地 株式会社日 立製作所笠戸工場内

Claims (5)

【特許請求の範囲】
1. 【請求項１】時間の経過と共に状態が変化する対象物を
   撮影する撮像装置と、該撮像装置で取り込んだ画像を処
   理する画像処理装置とを具備した画像認識制御システム
   において、前記対象物の状態を第１の倍率で撮像する手
   段と、該第１の倍率よりも高倍率の第２の倍率で撮像す
   る手段とを備えた撮像装置と、該撮像装置で第１の倍率
   で得られた画像を処理して対象物の第１の状態量を求
   め、第２の倍率で得られた画像を処理して対象物の第２
   の状態量を求める画像処理装置とを具備したことを特徴
   とする画像認識システム。
2. 【請求項２】時間の経過と共に状態が変化する対象物を
   撮影する撮像装置、該撮像装置で取り込んだ画像を処理
   する画像処理装置、該画像処理装置で得た結果に基づい
   て対象物の状態に影響を与える因子を制御する制御装置
   を具備した画像認識制御システムにおいて、前記対象物
   の状態を第１の倍率で撮像する手段と、該第１の倍率よ
   りも高倍率の第２の倍率で撮像する手段とを備えた撮像
   装置と、該撮像装置で第１の倍率で得られた画像を処理
   して対象物の第１の状態量を求め、第２の倍率で得られ
   た画像を処理して対象物の第２の状態量を求める画像処
   理装置と、該画像処理装置で得られた情報に基づいて対
   象物の状態を制御する制御装置を具備したことを特徴と
   する画像認識システム。
3. 【請求項３】時間の経過と共に状態が変化する対象物を
   撮影する撮像装置、該撮像装置で取り込んだ画像を処理
   する画像処理装置、該画像処理装置で得た結果に基づい
   て対象物の状態に影響を与える因子を制御する制御装置
   を具備した画像認識制御システムにおいて、前記対象物
   の状態を第１の倍率で撮像する手段と、該第１の倍率よ
   りも高倍率の第２の倍率で、第１の倍率で撮像した対象
   物と時間的に実質同一の対象物を撮像する手段とを備え
   た撮像装置と、該撮像装置で第１の倍率で得られた画像
   を処理して対象物の第１の状態量を求め、第２の倍率で
   得られた画像を処理して対象物の第２の状態量を求める
   画像処理装置と、該画像処理装置で得られた情報に基づ
   いて対象物の状態を制御する制御装置を具備したことを
   特徴とする画像認識制御システム。
4. 【請求項４】生体が懸濁した液を撮影する撮像装置、該
   撮像装置で取り込んだ画像を処理する画像処理装置、該
   画像処理装置で得た結果に基づいて前記液の状態に影響
   を与える因子を制御する制御装置を具備した画像認識制
   御システムにおいて、前記液中の生体の状態を第１の倍
   率で撮像する手段と、該第１の倍率よりも高倍率の第２
   の倍率で撮像する手段とを備えた撮像装置と、該撮像装
   置で第１の倍率で得られた画像を処理して液中の生体の
   総数を求め、第２の倍率で得られた画像を処理して特定
   生体の数あるいは種類を求める画像処理装置、該画像処
   理装置で得られた生体の総数と特定生体の数あるいは種
   類とから液中の状態を制御する制御装置を具備したこと
   を特徴とする画像認識制御システム。
5. 【請求項５】時間の経過と共に状態が変化する対象物を
   撮像し、該撮像によって取り込んだ画像を画像処理する
   こと、画像処理によって得た結果に基づいて対象物の状
   態を診断することを含む画像認識による診断方法におい
   て、前記対象物の状態を第１の倍率で撮像すること、該
   第１の倍率よりも高倍率の第２の倍率で撮像すること、
   第１の倍率で得られた画像を画像処理して対象物の第１
   の状態量を求めること、第２の倍率で得られた画像を画
   像処理して対象物の第２の状態量を求めること、第１の
   状態量及び第２の状態量に関する画像処理情報に基づい
   て対象物の状態を診断することを特徴とする画像認識に
   よる診断方法。