JP7011904B2 - 装置、試料における気泡の状態の判別方法、及び分析システム - Google Patents

Description

本発明は、免疫分析装置等を備える自動分析システムにおいて、分析する試料の状態を画像処理により判別する技術に関する。

免疫分析装置等の分析装置では、血液及び尿等の試料の成分等を分析するために、試料及び試薬を反応させて発色及び発光の状態を測定する。

試薬を反応させる試料は、試料の入った容器から分注プローブ等を用いて採取される。分注プローブの先端を試料に浸漬させて試料を吸引するため、分注プローブの先端及び外壁に試料が付着する。

分注プローブの浸漬量が多い場合、分注プローブに付着する試料の量は増加するため、次に新たな試料を採取する場合に持込まれる試料の量が増加するという問題がある。従って、現在、試料の持込を低減する液面検出機能を有する自動分析装置が普及している。液面を検出することによって分注プローブ先端の浸漬量を制御できるため、試料の持込を低減し、かつ、適切な量の試料を吸引することができる。

しかし、試料表面に気泡が存在する場合、気泡表面を液面と誤って検出し、分注プローブが試料に接触できないまま吸引動作が行われる。従って、試料表面に気泡が存在する場合、十分な量の試料を吸引できず、正確な分析結果を得られないという課題がある。そのため、分析時に試料表面の状態を判別する必要がある。

この問題に対して特許文献１及び特許文献２に記載の技術が知られている。特許文献１には、容器の開口部側から試料表面の画像を撮像し、画像処理により容器内の気泡を検出する方法が記載されている。また、特許文献２には、培養器内の画像を撮像し、周囲の培地との色の違いから培養器内の気泡領域を抽出する方法が記載されている。

米国特許出願公開第２０１３／０３１５４８６号明細書 特表２０１６－５１０２１１号

特許文献１に記載の手法では、容器の開口部側から試料表面を撮像した画像に対して、画像内の小領域毎にエッジ成分のヒストグラムを算出することによって気泡の分布を得ている。また、容器開口部の境界及び容器開口部の中心座標を検出し、容器開口部の中心付近を気泡の検出範囲としている。

しかし、特許文献１に記載の手法は気泡の大きさが考慮されていない。従って、分析に影響しない小さな気泡であっても試料の吸引は行われないため、分析効率が低下する。また、気泡の検出範囲を覆う大きな気泡が容器内に存在する場合、気泡の境界付近のエッジは検出範囲の内側ではなく外側に発生するため、エッジ成分等で気泡を検出する手法では気泡を検出できない。

また、特許文献２に記載の技術では、培地との色の違いから気泡領域を抽出している。しかし、免疫分析装置等の自動分析装置においては、試料の種類及び色調、液面の高さ、照明の強弱、容器の種別、液面振動の有無、分離剤及びビーズの有無、脂質の有無、並びに試験管の印字映込み等、様々な要因の組合せによって、膨大なパターンの画像が入力される可能性がある。従って、色の違いのみから気泡領域を抽出することは難しい。

本発明は、分析精度及び分析効率を低下させることなく分析時の試料の状態を判別することを目的とする。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、容器に収められた分析対象の試料における気泡の状態を判別する装置であって、演算装置及び前記演算装置に接続される記憶装置を備え、前記演算装置は、前記試料の表面を上部から撮像した画像を取得し、前記画像を用いて、前記画像に設定される検出範囲に対する気泡の位置及び大きさを解析し、前記解析の結果に基づいて、前記試料における前記気泡の状態が、前記検出範囲に存在しない第１状態、前記検出範囲に分析に影響を与えない大きさで存在する第２状態、又は前記検出範囲に分析に影響を与える大きさで存在する第３状態のいずれかに該当するかを判別することを特徴とする。

本発明によれば、検出範囲に対する検出対象物の位置及び大きさを考慮することによって、分析精度及び分析効率を低下させることなく分析時の試料の状態を判別できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

実施例１の自動分析システムの構成例を示す図である。 実施例１の画像処理装置に閾値を設定するためのＧＵＩの一例を示す図である。 実施例１の画像取得装置に対する容器の設置状態と検出範囲との間の関係を説明する図である。 実施例１の画像取得装置に対する容器の設置状態と検出範囲との間の関係を説明する図である。 実施例１の画像処理装置のハードウェア構成及びソフトウェア構成の一例を示す図である。 実施例１の特徴量算出部が実行するＣｏｎｖｏｌｕｔｉｏｎ処理の概念を示す図である。 実施例１の特徴量算出部が実行するＰｏｏｌｉｎｇ処理の概念を示す図である。 実施例１の試料表面の状態の分類の一例を示す図である。 実施例１の試料表面の状態の分類の一例を示す図である。 実施例１の試料表面の状態の分類の一例を示す図である。 実施例１の教師あり機械学習の一例を示す図である。 実施例１の画像処理装置が実行する試料の表面状態の判別処理の一例を示す図である。 実施例２の画像処理装置のソフトウェア構成の一例を示す図である。 実施例２の画像補正処理の一例を示す図である。 実施例２の画像処理装置が実行する試料の表面状態の判別処理の一例を示す図である。 実施例３の画像処理装置のソフトウェア構成の一例を示す図である。 実施例３の画像処理装置によって表示されるＧＵＩの一例を示す図である。 実施例３の学習部が実行する処理の一例を説明するフローチャートである。

以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態を示しているが、これらは本発明の理解のためのものであり、本発明を限定的に解釈するために用いられるものではない。

本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装及び形態も可能であり、本発明の技術的思想の範囲と精神を逸脱することなく構成及び構造の変更並びに多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

さらに、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装してもよいし、専用ハードウェアやファームウェア、又はソフトウェアとハードウェアとファームウェアとの組み合わせで実装してもよい。

以下では、機能部を主語（動作主体）として本発明の各処理について説明する場合、各機能部を実現するプログラムに従って演算装置が処理を実行していることを表す。また、各機能部を実現するプログラムの一部又は全ては専用ハードウェアを用いて実現してもよく、また、モジュール化されていてもよい。各種プログラムはプログラム配布サーバや記憶メディアによって画像処理装置にインストールされてもよい。

実施例１では、装置が、試料容器内の試料表面を撮像した試料表面の画像に基づいて、画像内の検出範囲に対する検出対象物（気泡等）の位置及び大きさから試料表面の状態を判別する画像処理を実行する装置及び当該装置を含むシステムを説明する。

図１は、実施例１の自動分析システムの構成例を示す図である。

自動分析システムは、画像処理装置１０１、照明装置１０２、画像取得装置１０３、試料取得装置１０４、試料分析装置１０６、及び出力装置１０７を含み、また、試料１１１が入れられた容器１１０を設置する装置を含む。

試料１１１は、血液及び尿等の分析対象となる試料である。試料表面１１２は、試料１１１の液面である。容器１１０は、試料１１１を入れる試験管等の容器である。

試料取得装置１０４は、試料１１１を吸引するための分注プローブ等を有する吸引装置である。試料取得装置１０４は、分注プローブ１０５を制御して、容器１１０に納められた試料１１１を取得する。

照明装置１０２は、容器１１０の開口部側から試料表面１１２に向けて光を照射するＬＥＤ等の装置である。画像取得装置１０３は、開口部側から試料表面１１２の画像を取得するカメラ等の装置である。

本実施例の画像取得装置１０３は、試料表面１１２の画像を取得し、画像取得範囲１２０で示す範囲の画像を画像処理装置１０１に出力する。図１に示す画像は、容器１１０の開口部側から試料表面１１２を撮影した画像である。

検出対象物１１５は、試料１１１の取得制御に関与する物体及び物質等である。本実施例では、気泡が検出対象物１１５となる。また、検出範囲１２５は、画像内に設定された範囲であり、かつ、検出対象物１１５を検出する範囲である。検出範囲１２５は、画像取得範囲１２０に対して設定される範囲であることから、画像内の容器１１０の位置及び大きさに依存しない。

画像処理装置１０１は、画像取得装置１０３から入力された画像を解析することによって、試料表面１１２の状態を判別する。

ここで、自動分析システムの処理の概要について説明する。

まず、試料１１１が入れられた容器１１０が、画像取得装置１０３に対して所定の位置に設置される。図１に示す例では、画像取得装置１０３の直下に容器１１０が配置される。

照明装置１０２は、試料表面１１２の明度が適切になるように光の角度及び強度を調整する。画像取得装置１０３は、試料表面１１２の画像を取得し、取得した画像を画像処理装置１０１に出力する。このとき、試料取得装置１０４は、画像取得装置１０３による画像の取得を妨げない位置に移動しているものとする。

画像処理装置１０１は、画像が入力された場合、画像内の検出範囲１２５に対する検出対象物１１５の位置及び大きさに基づいて、試料表面１１２の状態を判別する。画像処理装置１０１は、判別結果を試料取得装置１０４に出力する。また、画像処理装置１０１は、必要に応じて、判別結果等のデータを出力装置１０７に出力する。

本実施例では、画像処理装置１０１は、独立した計算機として記載しているが、免疫分析装置等の自動分析装置に機能として実装してもよい。

試料取得装置１０４は、画像処理装置１０１から判別結果を受け付けた場合、判別結果に基づいて制御内容を決定する。具体的には、試料取得装置１０４は、容器１１０から試料１１１を取得するか否かを判定する。試料１１１を取得すると判定された場合、試料取得装置１０４は、分注プローブ１０５を試料１１１に向かって降下させる。試料取得装置１０４は、分注プローブ１０５が試料表面１１２に接した場合、液面検出機能によって液面を検出し、分注プローブ１０５の降下を停止する。試料取得装置１０４は、分注プローブ１０５の先端が試料表面１１２にわずかに浸漬した状態で試料１１１を吸引等する動作を行わせる。以上の処理によって、容器１１０から試料１１１が取得される。

試料分析装置１０６は、試料取得装置１０４によって取得された試料１１１を分析する装置であり、例えば、免疫分析装置等である。試料分析装置１０６は、分析結果を出力装置１０７に出力する。

出力装置１０７は、ユーザに分析結果を提示する装置であり、例えば、ディスプレイ、プリンタ、及び通信装置等である。また、出力装置１０７は、画像処理装置１０１から出力される情報をユーザに提示する。

特許文献１等の従来技術では、装置は、検出対象物の有無を判定する場合、ハフ変換等に基づいて容器の境界又は開口部の中心座標を算出し、容器の開口部の中心付近を検出範囲に設定する。一般的に、容器の開口部の中心座標を算出する処理は、処理コスト及び処理時間が増大する要因となる。そのため、処理コスト及び処理時間を削減するためには、容器の開口部の中心座標を算出することなく、検出対象物の位置及び大きさを判定する手法が望ましい。

本実施例の画像処理装置１０１は、画像内の容器１１０の位置及び大きさに依存しない検出範囲１２５と検出対象物１１５との間の相対的な位置関係、及び、検出範囲１２５の大きさと検出対象物１１５の大きさとの間の相対的な大きさの関係に基づいて、試料表面１１２の状態を判別する。

本実施例では、試料表面１１２の状態を判別するための情報として、検出範囲１２５及び分析に影響を与えない検出対象物１１５の大きさの閾値が設定されている。

検出対象物１１５の大きさは、分析に影響を与えるか否かを判定する指標の一つであるため、検出対象物１１５の大きさも考慮する必要がある。例えば、分析に影響を与えない検出対象物１１５の最大半径を閾値に設定することが考えられる。

なお、閾値は、ユーザがＧＵＩを用いて設定してもよい。図２は、実施例１の画像処理装置１０１に閾値を設定するためのＧＵＩの一例を示す図である。

ＧＵＩ２００は、閾値入力欄２０１及び決定ボタン２０２を含む。閾値入力欄２０１は、閾値として設定する値を入力する欄である。決定ボタン２０２は、閾値入力欄２０１に入力された値を画像処理装置１０１に設定するための操作ボタンである。

ユーザは、閾値入力欄２０１に、気泡の最大半径を示す値等を設定し、決定ボタン２０２を押下する。これによって、閾値が画像処理装置１０１に設定される。

なお、図２に示すＧＵＩ２００は一例であって、検出範囲１２５及び画像取得範囲１２０を設定する入力欄を設けてもよい。

また、直接数値を入力する代わりに、処理時間及び処理負荷等の選択肢を表示してもよい。この場合、選択肢に応じた閾値が画像処理装置１０１に設定される。

図３Ａ及び図３Ｂは、実施例１の画像取得装置１０３に対する容器１１０の設置状態と検出範囲１２５との間の関係を説明する図である。

画像取得範囲１２０は、画像処理装置１０１に出力する画像の範囲を示す。本実施例では、容器１１０の設置位置のズレ等を考慮して、画像取得範囲１２０は容器１１０より大きくなるように設定されている。画像取得範囲１２０の画像には、容器１１０、試料表面１１２、及び検出対象物１１５が含まれる。画像取得範囲１２０に対して検出範囲１２５が設定されている。なお、画像取得範囲１２０は、容器１１０を包含した範囲でなくてもよく、任意に設定できる。

検出範囲１２５を包含する大きな検出対象物１１５を検出するために、画像取得範囲１２０は検出対象物１１５の分布範囲より大きく設定することが望ましい。本実施例では、画像取得範囲１２０は、画像の中心を原点とする（Ｅ×Ｅ）ピクセルの領域を設定する。なお、縦及び横のサイズを示すＥは、容器１１０の直径より大きい値を設定する。

検出範囲１２５は、分注プローブ１０５の先端が試料表面１１２に接する点を原点とする範囲であり、容器１１０の中心座標に依存しない範囲である。なお、検出範囲１２５は、半径Ｒピクセルの円形状の範囲として設定される。

画像取得装置１０３に対する容器１１０の設置角度及び設置位置は変動する場合がある。このような変動に対して分析に適した量の試料１１１を吸引するためには、試料表面１１２と接する分注プローブ１０５の先端の周辺に検出対象物１１５が存在するか否かを判定することが重要である。そこで、本実施例では、検出範囲１２５を基準に検出対象物１１５の有無等が判定される。

本実施例の判別方法では、容器１１０の開口部の中心を基準としていないため、容器１１０の開口部の中心を算出する必要がない。従って、従来技術より処理時間及び処理負荷を低減できる。

図３Ａ及び図３Ｂには、二つの検出範囲１２５、１２６を示す。検出範囲１２５は、本発明が採用する検出範囲であり、分注プローブ１０５の先端が試料表面１１２に接する点を原点とする半径Ｒピクセルの範囲である。検出範囲１２６は、従来技術で採用される検出範囲であり、容器１１０の開口部の中心を原点とする半径Ｒピクセルの範囲である。

図３Ａは、画像取得装置１０３に対する容器１１０の設置角度に変動が生じた状態を示す。このとき、容器１１０の開口部の中心と、画像取得範囲１２０の中心との間にはズレが生じる。従って、検出範囲１２５及び検出範囲１２６との間にも図３Ａに示すようにズレが生じる。

図３Ａに示すように、検出範囲１２５には検出対象物１１５が含まれるが、検出範囲１２６には検出対象物１１５が含まれない。試料１１１の取得時に分注プローブ１０５の先端が接するのは検出範囲１２５の内側である。従って、図３Ａに示す状態の場合、分析に影響のある検出対象物１１５が存在する状態と判別することが望ましい。

検出範囲１２５に基づく判別処理を実行した場合、検出対象物１１５が存在する状態と判別される。一方、検出範囲１２６に基づく判別処理を実行した場合、検出対象物１１５が存在しない状態と判別される。従って、検出範囲１２５に基づく判別処理では、精度よく検出対象物１１５を検出できるが、検出範囲１２６に基づく判別処理では前述したようなズレによって検出精度が向上しない。

図３Ｂは、画像取得装置１０３に対する容器１１０の設置位置に変動が生じた状態を示す。このとき、容器１１０の開口部の中心と、画像取得範囲１２０の中心との間にはズレが生じる。従って、検出範囲１２５及び検出範囲１２６との間にも図３Ｂに示すようにズレが生じる。

図３Ｂに示すように、検出範囲１２５には検出対象物１１５は含まれないが、検出範囲１２６には検出対象物１１５が含まれる。試料１１１の取得時に分注プローブ１０５の先端が接するのは検出範囲１２５の内側である。従って、図３Ｂに示す状態の場合、分析に影響のある検出対象物１１５が存在しない状態と判別することが望ましい。

検出範囲１２５に基づく判別処理を実行した場合、検出対象物１１５が存在しない状態と判別される。一方、検出範囲１２６に基づく判別処理を実行した場合、検出対象物１１５が存在する状態と判別される。従って、検出範囲１２５に基づく判別処理では検出対象物１１５の過剰な検出を回避できるが、検出範囲１２６に基づく判別処理では検出対象物１１５の過剰な検出が発生する。

以上の述べたように、本実施例では、分注プローブ１０５の先端が試料表面１１２に接する点を中心とした検出範囲１２５を用いることによって、容器１１０の傾き及び設置位置の変更が起きる場合であっても、検出対象物１１５の影響がある状態か否かを高い精度で判別できる。また、本実施例では、容器１１０の開口部の中心座標を算出する必要がないため、従来技術より処理コスト及び処理時間を削減することができる。

次に、実施例１に係る画像処理装置１０１の詳細について説明する。図４は、実施例１の画像処理装置１０１のハードウェア構成及びソフトウェア構成の一例を示す図である。

画像処理装置１０１は、演算装置４０１、記憶装置４０２、入力装置４０３、及び出力装置４０４を有する。

演算装置４０１は、記憶装置４０２に格納されるプログラムを実行する装置であり、例えば、ＣＰＵ及びＦＰＧＡ等である。演算装置４０１は、プログラムに従って処理を実行することによって、所定の機能を実現する機能部（モジュール）として動作する。以下の説明では、機能部を主語に処理を説明する場合、演算装置４０１が当該機能部を実現するプログラムを実行していることを示す。

なお、画像処理装置１０１が有する各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を複数の機能部に分けてもよい。

記憶装置４０２は、演算装置４０１が実行するプログラム及び当該プログラムが使用する情報を格納する装置であり、例えば、メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等である。なお、記憶装置４０２は、プログラムが一時的に使用するワークエリアを含む。記憶装置４０２に格納されるプログラム及び情報については後述する。

入力装置４０３は、画像処理装置１０１にデータを入力するための装置であり、例えば、ネットワークインタフェース又はキーボード、マウス、及びタッチパネル等である。本実施例では、入力装置４０３を介して画像取得装置１０３が取得した画像が入力される。

なお、入力される画像は、ＢＭＰ、ＰＮＧ、及びＪＰＥＧ等の静止画像でもよいし、ＭＰＥＧ、Ｈ．２６４等の動画から一定の間隔で抽出したフレーム画像でもよい。

出力装置４０４は、画像処理装置１０１がデータを出力するための装置であり、例えば、ネットワークインタフェース、又はディスプレイ若しくはプリンタである。本実施例では、出力装置４０４を介して、判別結果が試料取得装置１０４に出力される。

ここで、記憶装置４０２に格納されるプログラム及び情報について説明する。

記憶装置４０２は、画像入力部４１１、特徴量算出部４１２、試料状態判別部４１３、及び記憶部４１４を実現するプログラムを格納する。

画像入力部４１１は、入力装置４０３を介して入力された画像を受け付けて、特徴量算出部４１２に出力する。

特徴量算出部４１２は、画像から画像特徴量を算出し、画像特徴量を試料状態判別部４１３に出力する。

試料状態判別部４１３は、画像特徴量に基づいて画像内の検出範囲に対する検出対象物の位置及び大きさを解析し、解析結果に基づいて試料表面１１２の状態を判別する。

記憶部４１４は、試料表面１１２の状態を判別するための判別モデルの情報を格納する。具体的には、記憶部４１４は、特徴量算出部４１２及び試料状態判別部４１３が使用する係数を格納する。

次に、特徴量算出部４１２及び試料状態判別部４１３の動作の詳細について説明する。

まず、特徴量算出部４１２の動作について説明する。特徴量算出部４１２は、記憶部４１４から係数を読み出し、係数及び画像を用いて画像特徴量を算出する。特徴量算出部４１２が使用する係数は、予め機械学習等に基づいて導出され、記憶部４１４に格納されている。係数の導出方法については後述する。

本実施例では、画像特徴量の算出方法の一例としてＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）を用いた算出方法を説明する。ＣＮＮは、Ｃｏｎｖｏｌｕｔｉｏｎ処理、Ｐｏｏｌｉｎｇ処理、及びＡｃｔｉｖａｔｉｏｎ処理の三種類の処理から構成される。

図５は、実施例１の特徴量算出部４１２が実行するＣｏｎｖｏｌｕｔｉｏｎ処理の概念を示す図である。

Ｃｏｎｖｏｌｕｔｉｏｎ処理では、特徴量算出部４１２は式（１）を用いて特徴量を算出する。なお、矢印に示すように画像の左上から右下の方向に式（１）の演算が実行される。

ここで、Ｉｃは入力データ、Ｗｃは乗算係数、Ｂｃは加算係数、Ｏｃは出力データを表す。また、ｃｈはチャンネル、ｙ及びｆｙは垂直方向位置、ｘ及びｆｘは水平方向位置、ｄは特徴量番号を表す。

入力データＩｃは、チャンネルｃｈ、垂直方向位置ｙ、及び水平方向位置ｘの次元を持つデータである。乗算係数Ｗｃは特徴量番号ｄ、チャンネルｃｈ、垂直方向位置ｆｙ、水平方向位置ｆｘの次元を持つ係数である。加算係数Ｂｃは特徴量番号ｄの次元を持つ係数である。出力データ３０３は特徴量番号ｄ、垂直方向位置ｙ、及び水平方向位置ｘの次元を持つデータである。

乗算係数Ｗｃ及び加算係数Ｂｃは、画像特徴量を算出するための係数であり、記憶部４１４には、乗算係数Ｗｃ及び加算係数Ｂｃが格納される。

図６は、実施例１の特徴量算出部４１２が実行するＰｏｏｌｉｎｇ処理の概念を示す図である。

Ｐｏｏｌｉｎｇ処理では、特徴量算出部４１２は、出力データＯｃに対して左上から右下に向かって一定の刻み幅で部分領域を抽出し、部分領域から代表値を算出し、出力データＯｐを出力する。代表値としては、例えば、最大値又は平均値が用いられる。

Ａｃｔｉｖａｔｉｏｎ処理では、特徴量算出部４１２は、出力データＯｐに対して、式（２）に示すｔａｎｈ関数、又は、式（３）に示すＲｅＬＵ関数等の非線形関数を用いた演算処理を実行する。ここで、ｘには出力データＯｐが入力される。

ＣＮＮでは、Ｃｏｎｖｏｌｕｔｉｏｎ処理、Ｐｏｏｌｉｎｇ処理、及びＡｃｔｉｖａｔｉｏｎ処理を繰り返し実行することによって、画像特徴量が算出される。特徴量算出部４１２は、規定回数に達した場合、最終的なＡｃｔｉｖａｔｉｏｎ処理によって算出された値を画像特徴量として出力する。

次に、試料状態判別部４１３の動作について説明する。試料状態判別部４１３は、特徴量算出部４１２によって算出された画像特徴量と、記憶部４１４に格納された係数を用いて、画像内の検出範囲１２５に対する検出対象物１１５の位置及び大きさを解析し、解析結果に基づいて試料表面１１２の状態を判別する。具体的には、試料状態判別部４１３は、入力された画像が予め設定された状態のどれに属するかを分類する。試料状態判別部４１３が使用する係数は、予め機械学習等に基づいて導出され、記憶部４１４に格納されている。係数の導出方法については後述する。

まず、試料表面１１２の状態の分類について説明する。図７Ａ、図７Ｂ、及び図７Ｃは、実施例１の試料表面１１２の状態の分類の一例を示す図である。

状態としては、大きく分けて、検出範囲１２５に分析に影響を与える検出対象物１１５が存在する状態と、検出範囲１２５に分析に影響を与える検出対象物１１５が存在しない状態とが存在する。装置、試料、分析性能、分析目的等に応じて前述の二つの状態に属する画像は、様々なパターンが存在する。本実施例では、状態の識別精度を考慮して、画像内の検出範囲１２５に対する検出対象物１１５の位置及び大きさの関係から試料表面１１２の状態を三つに分類する。それぞれの状態にはラベル０、ラベル１、及びラベル２が付与される。

図７Ａは、ラベル０の画像の一例を示す。当該画像では、検出範囲１２５に検出対象物１１５が存在しない。

図７Ｂは、ラベル１の画像の一例を示す。当該画像では、検出範囲１２５に半径ｄ１が閾値Ｄより小さい検出対象物１１５が存在する。すなわち、検出範囲１２５に分析に影響しない大きさの検出対象物１１５が存在する状態である。

図７Ｃは、ラベル２の画像の一例を示す。左側の画像では、検出範囲１２５に、半径ｄ２が閾値Ｄ以上である検出対象物１１５が存在する。右側の画像では、半径ｄ３が閾値Ｄ以上である検出対象物１１５が検出範囲１２５を覆うように存在する。すなわち、検出範囲１２５に分析に影響する大きさの検出対象物１１５が存在する状態である。

本実施例では、ラベル０及びラベル１の試料表面１１２の状態は、検出範囲１２５に分析に影響を与える検出対象物１１５が存在しない状態に含まれ、ラベル２の試料表面１１２は、検出範囲１２５に分析に影響を与える検出対象物１１５が存在状態に含まれる。このように、画像内の検出範囲１２５に対する検出対象物１１５の位置及び大きさに応じて、分類する試料表面１１２の状態を定めておく。本実施例では、学習用画像には、試料表面１１２の状態に対応するラベル（教師信号）が付与される。

本実施例では、ラベル０又はラベル１に分類された場合、試料取得装置１０４は試料１１１を取得するように制御され、画像がラベル２に分類された場合、試料取得装置１０４は、試料を取得しないように制御される。

次に、試料表面１１２の状態の判別方法の一例としてＬｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎを用いた判別方法を説明する。式（４）は、Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎで使用する式である。また、式（５）は、式（４）のｓｏｆｔｍａｘ関数の計算方法を示す。

ここで、Ｐ（ｃ）は出力値、Ｆは画像特徴量、Ｗｒは乗算係数、Ｂｒは加算係数を表す。また、ｙは垂直方向位置、ｘは水平方向位置、ｄは特徴量番号、ｃは出力ユニット番号を表す。本実施例では、出力ユニット番号はラベル０、ラベル１、及びラベル２に対応する。Ｐ（ｃ）は出力ユニットに対応するラベルの尤度を表す値である。

画像特徴量Ｆは、特徴量番号ｄ、垂直方向位置ｙ、及び水平方向位置ｘの次元を持つデータである。乗算係数Ｗｒは、出力ユニット番号ｃ、特徴量番号ｄ、垂直方向位置ｙ、及び水平方向位置ｘの次元を持つ係数である。加算係数Ｂｒは、出力ユニット番号ｃの次元を持つ係数である。また、出力値Ｐ（ｃ）は出力ユニット番号ｃの次元を持つ値である。

乗算係数Ｗｒ及び加算係数Ｂｒは、判別結果を算出するための係数であり、記憶部４１４には、乗算係数Ｗｒ及び加算係数Ｂｒが格納される。

試料状態判別部４１３は、三つのラベルの尤度の組Ｐ（ｃ）を出力信号Ｐとして出力する。なお、各ラベルの尤度は式（４）に基づいて算出される値である。

試料状態判別部４１３は、出力信号Ｐに基づいて、試料表面１１２の状態がどのラベルの状態に一致するか特定する。すなわち、検出範囲１２５に対する検出対象物１１５の位置及び大きさが解析される。さらに、試料状態判別部４１３は、特定されたラベルの状態に基づいて、判別結果を出力する。例えば、試料状態判別部４１３は、ラベルを判別結果として出力する。また、試料状態判別部４１３は、ラベルに基づいて試料表面１１２が試料１１１を取得できる状態か否かを判定してもよい。

次に、記憶部４１４に格納される係数の導出方法について説明する。一例として、機械学習の一種である教師あり学習に基づく係数の導出方法を説明する。

図８は、実施例１の教師あり機械学習の一例を示す図である。

教師あり学習では、予め学習部を有する装置が、教師信号が付与された学習用データ（学習用画像）の入力を受け付け、特徴量算出部４１２及び試料状態判別部４１３に処理を実行させ、出力信号が教師信号（ラベル）に対応する目標信号と一致するように判別器等の学習を行う。本実施例では、教師あり学習に基づいて、式（１）及び式（４）のそれぞれの係数が最適化される。これによって、入力された画像に対して精度の高い判別結果を得るための係数を設定できる。なお、学習部を有する装置が特徴量算出部４１２及び試料状態判別部４１３と同等の構成を含んでもよい。

なお、図７Ａ、図７Ｂ、及び図７Ｃに示すような三つの状態に分類するためには、予め、検出範囲１２５に対する検出対象物１１５の位置及び大きさに応じて教師信号（ラベル）を学習用画像に付与する必要がある。

なお、学習処理開始前の係数の初期値は、乱数等を用いて任意に設定してもよいし、前回の学習処理に基づいて設定してもよい。

具体的には、学習部は、以下のような処理に従って記憶部４１４に格納する係数を導出する。

（ステップＳ１）学習部は、教師信号付の学習用画像の入力を受け付け、特徴量算出部４１２及び試料状態判別部４１３に入力することによって出力信号を取得する。学習部は、式（６）に示す出力信号及び目標信号の目標関数を定義する。式（６）は、負の対数尤度を表す。

ここで、Ｔ（ｃ）は目標信号の要素を表す。本実施例の目標信号Ｔは、三つのラベルの目標値を表すＴ（ｃ）の配列である。目標信号Ｔの各要素の値は、ラベルに対応する要素のみが「１．０」であり、他の要素は全て「０．０」である。図８では、ラベル０が付与された学習用画像が入力されているため、目標信号Ｔはラベル０に対応するＴ（ｃ）のみが「１．０」であり、他のラベルに対応するＴ（ｃ）は全て「０．０」となっている。

なお、学習部が特徴量算出部４１２及び試料状態判別部４１３と同一の機能を保持していてもよい。

（ステップＳ２）学習部は、勾配降下法を用いて、目標関数の値が極小値となる係数を求めることによって、係数Ｗｃ、Ｂｃ、Ｗｒ、Ｂｒを更新する。具体的には、式（７）に従って係数が更新される。

ここで、ｗ_ｉは、ＣＮＮの係数Ｗｃ及びＢｃ、並びに、Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎの係数Ｗｒ及びＢｒのいずれかに対応する係数を表す。ｉは、更新回数を表す。また、ηは、更新の幅を決めるパラメータである学習率を表す。式（７）の第２項は、係数ｗ_ｉの偏微分である。

学習部は、式（７）に基づく演算処理を繰り返し実行することによって、目標関数を極小にする係数Ｗｃ、Ｂｃ、Ｗｒ、Ｂｒを導出する。本実施例では、以上の処理で導出された係数を予め記憶部４１４に格納する。

これまで説明した原理、特徴、及び処理を踏まえた上で、実施例１の画像処理装置１０１が試料１１１の分析時に実行する処理について説明する。図９は、実施例１の画像処理装置１０１が実行する試料１１１の表面状態の判別処理の一例を示す図である。

画像処理装置１０１の画像入力部４１１は、画像取得装置１０３からの画像の入力を受け付ける（ステップＳ９０１）。

画像処理装置１０１の特徴量算出部４１２は、記憶部４１４から係数Ｗｃ、Ｂｃを読み出し、画像及び係数を用いて画像特徴量を算出する（ステップＳ９０２）。

画像処理装置１０１の試料状態判別部４１３は、記憶部４１４から係数Ｗｒ、Ｂｒを読み出し、画像特徴量及び係数を用いて出力信号を出力する（ステップＳ９０３）。さらに、試料状態判別部４１３は、出力信号に基づいて、試料表面１１２の状態を判別する（ステップＳ９０４）。

画像処理装置１０１の試料状態判別部４１３は、判別結果を出力する（ステップＳ９０５）。試料状態判別部４１３は、判別結果をそのまま出力してもよいし、出力先に応じて判別結果のデータ形式及び内容を変換してもよい。例えば、出力先がディスプレイである場合、試料状態判別部４１３は、文字列及び画像等のデータに変換する。

なお、本実施例では、試料表面１１２の状態がラベル２の状態である場合には、試料１１１の取得が行われないように制御していたがこれに限定されない。例えば、試料取得装置１０４が検出対象物１１５を除去する装置又は機能を有し、ラベル２を示す判別結果が入力された場合、当該装置又は機能を用いて、検出対象物１１５を除去し、その後、試料１１１を取得するようにしてもよい。なお、検出対象物１１５を除去する装置としては、空気を吐出するノズル等の除去装置及び超音波を照射する除去装置等がある。

なお、画像特徴量の算出方法としてＣＮＮに基づく画像特徴量の算出方法を説明したが、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）及びハフ変換による円検知等の他の特徴量の算出方法でもよい。

なお、試料表面１１２の状態の判別方法として、Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎを用いて判別方法を説明したがＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）及び線形回帰等を用いた判別方法でもよい。

なお、機械学習に基づいて係数を導出する場合、画像内の検出範囲１２５に対する検出対象物１１５の位置及び大きさに応じたラベルを付与していたがこれに限定されない。例えば、画像内の検出範囲１２５に対する検出対象物１１５の位置を分類するラベルと、検出対象物１１５の大きさを分類するラベルとを用意してもよい。この場合、試料状態判別部４１３は、種類の異なるラベルを判別する判別器を有する。また、記憶部４１４に格納される係数は、各ラベルについて機械学習を実行することによって算出される。試料状態判別部４１３は、二つの判別器の判別結果を組み合わせて最終的な判別結果を得ることができる。

また、画像内の検出範囲１２５に対する検出対象物１１５の位置又は大きさに対して複数の閾値を定義して、ラベルの種類又は数を増やしてもよい。また、ラベル０及びラベル１等を同一ラベルとして扱うことによってラベルの数を削減してもよい。

なお、本実施例では、画像処理装置１０１の判別結果は、試料取得装置１０４の制御に使用されていたかこれに限定されない。画像処理装置１０１の判別結果は、試料の分析に関する様々な制御の内容を決定する情報として用いることができる。また、画像処理装置１０１は、図１に示すような自動分析システム以外のシステムにも適用することができる。

以上で説明したように、実施例１によれば、画像処理装置１０１は、画像内の検出範囲１２５に対する検出対象物１１５の位置及び大きさに基づいて、試料表面１１２の状態を精度よく判別できる。これによって、容器１１０から分析する試料１１１を効率よく、かつ、正確に取得できるため、検査効率を低下させることなく正確な試料１１１の分析が可能となる。

実施例２では、画像処理装置１０１が画像取得装置１０３から入力された画像を補正し、補正された画像を用いて実施例１と同様の処理を実行する。以下、実施例１との差異を中心に実施例２について説明する。

実施例２のシステムの構成は、実施例１のシステムの構成と同一である。実施例２の画像処理装置１０１のハードウェア構成は、実施例１の画像処理装置１０１のハードウェア構成と同一である。実施例２では、画像処理装置１０１のソフトウェア構成が一部異なる。図１０は、実施例２の画像処理装置１０１のソフトウェア構成の一例を示す図である。

実施例２では、記憶装置４０２に画像補正部１００１を実現するプログラムが格納される点が実施例１と異なる。また、実施例２では、記憶部４１４に画像補正部１００１が使用するパラメータが格納される点が実施例１と異なる。

なお、画像入力部４１１、特徴量算出部４１２、及び試料状態判別部４１３は実施例１と同一のものである。

画像補正部１００１は、画像入力部４１１から画像を受け付けた場合、記憶部４１４からパラメータを読み出し、画像補正処理を実行する。画像補正処理としては、座標変換及び画素値の正規化等がある。

図１１は、実施例２の画像補正処理の一例を示す図である。

図１１では、図７Ｃの左の画像に対して極座標変換を行った場合の結果を示す。

検出範囲１２５は円形であるため、直交座標において、検出対象物１１５が検出範囲１２５に含まれるか否かを判定するためには、垂直方向及び水平方向のそれぞれの位置から判定する必要がある。一方、極座標変換が実行された場合、検出範囲１２５は、矩形で表現され、検出対象物１１５が検出範囲１２５に含まれるか否かは、垂直方向の位置のみから判定できる。

直交座標における画素位置（ｘ，ｙ）と、極座標における画素位置（ｔ，ｒ）との間には、式（８）及び式（９）の関係が成り立つ。

ここで、ｒＳｔｅｐは動径方向の刻み幅、ｔＳｔｅｐは偏角方向の刻み幅を表す。また、（Ｃｙ，Ｃｘ）は極座標変換の原点となる画像内の座標であり、ここでは検出範囲１２５の中心座標とする。

次に、実施例２の記憶部４１４に格納される情報について説明する。実施例２の記憶部４１４には、係数の他に、極座標変換に使用する動径方向の刻み幅ｒＳｔｅｐ及び偏角方向の刻み幅ｔＳｔｅｐ等、画像補正処理に使用するパラメータが格納される。

図１２は、実施例２の画像処理装置１０１が実行する試料１１１の表面状態の判別処理の一例を示す図である。

実施例２では、ステップＳ９０１の処理の後に、画像処理装置１０１の画像補正部１００１が、記憶部４１４からパラメータを読み出し、画像補正処理を実行し、補正画像を算出する（ステップＳ１２０１）。画像補正部１００１は、特徴量算出部４１２に補正画像を出力する。

ステップＳ９０２では、特徴量算出部４１２は、補正画像に対して実施例１で説明した処理を実行する点が実施例１と異なる。ステップＳ９０１、ステップＳ９０３からステップＳ９０５までの処理は実施例１と同一の処理である。

なお、画像補正処理の一例として極座標変換を説明したが、極座標変換以外の座標変換、輝度及び色相等の平均値及び分散値を正規化する処理、コントラスト強調処理、及びエッジ強調処理、又は、これらを組み合わせた処理でもよい。

実施例２によれば、画像補正処理を実行することによって、画像処理の精度を向上及び計算量の低下等が可能となる。例えば、画像内の検出範囲１２５に対する検出対象物１１５の位置をより正確かつ効率的に把握できる。

実施例３では、分析時に取得された画像を新たな学習用画像として用いて、周期的又は逐次的に係数が更新される点が実施例１と異なる。以下、実施例１との差異を中心に実施例３について説明する。

実施例３のシステムの構成は、実施例１のシステムの構成と同一である。実施例３の画像処理装置１０１のハードウェア構成は、実施例１の画像処理装置１０１のハードウェア構成と同一である。実施例３では、画像処理装置１０１のソフトウェア構成が一部異なる。図１３は、実施例３の画像処理装置１０１のソフトウェア構成の一例を示す図である。図１４は、実施例３の画像処理装置１０１によって表示されるＧＵＩの一例を示す図である。

実施例３では、記憶装置４０２にユーザ操作入力部１３０１、学習部１３０２、及び画像表示部１３０３を実現するプログラムが格納される点が実施例１と異なる。また、実施例３では、記憶部４１４に分析時に取得した画像等が格納される点が実施例１と異なる。

実施例３では、画像入力部４１１は、入力された画像を記憶部４１４に格納する。また、試料状態判別部４１３は、出力信号を記憶部４１４に格納する。記憶部４１４は、試料状態の判別が行われた画像及び画像に対応する出力信号を対応付けて管理する。

画像表示部１３０３は、学習部１３０２によって選択された画像をユーザに提示するための表示情報を生成し、出力装置４０４を介して表示情報を出力する。当該出力情報に基づいて、図１４に示すようなＧＵＩ１４００が表示される。

ＧＵＩ１４００は、画像表示欄１４０１、教師信号選択欄１４０２、及び決定ボタン１４０３を含む。なお、ＧＵＩ１４００には、前述した以外の表示欄を含んでもよい。例えば、補助的な情報を提示する表示欄を含んでいてもよい。図１４では、検出範囲１２５を示す領域が補助的な情報として提示される。

画像表示欄１４０１は、学習部１３０２によって選択された画像を表示する欄である。教師信号選択欄１４０２は、画像に付与する教師信号を選択する欄である。一番上のラジオボタンはラベル０に対応する教師信号を指定するためのボタンである。真ん中のラジオボタンはラベル１に対応する教師信号を指定するためのボタンである。一番下のラジオボタンは、ラベル２に対応する教師信号を指定するためのボタンである。決定ボタン１４０３は、教師信号選択欄１４０２に入力された値を含む操作情報を出力するための操作ボタンである。

以上が、ＧＵＩ１４００の説明である。図１３の説明に戻る。

ユーザ操作入力部１３０１は、ＧＵＩ１４００を操作することによって出力された操作情報を受け付け、ＧＵＩ１４００に提示された画像に対応する教師信号を生成する。例えば、教師信号選択欄１４０２の一番下のラジオボタンが操作された場合、ユーザ操作入力部１３０１は、ラベル２の教師信号を生成する。

学習部１３０２は、分析時に記憶部４１４に格納された画像の中からユーザに提示する画像を選択し、選択された画像を画像表示部１３０３に出力する。また、学習部１３０２は、選択した画像及びユーザ操作入力部１３０１から入力された教師信号を対応付けて記憶部４１４に格納する。さらに、学習部１３０２は、教師信号付の画像を用いた機械学習を実行することによって、記憶部４１４に格納される係数（判別モデル）を更新する。

実施例３の試料表面１１２の状態の判別処理の流れは、実施例１の処理の流れと同一である。ただし、ステップＳ９０１及びステップＳ９０４の処理が一部異なる。ステップＳ９０１では、画像入力部４１１が、画像を記憶部４１４に格納する。ステップＳ９０４では、試料状態判別部４１３が、出力信号を記憶部４１４に格納する。

図１５は、実施例３の学習部１３０２が実行する処理の一例を説明するフローチャートである。

学習部１３０２は、分析時に新たな画像が取得された場合、又は、周期的に、記憶部４１４に格納される画像の中からユーザに提示する画像を選択する（ステップＳ１５０１）。学習部１３０２は、選択した画像を画像表示部１３０３に出力する。

画像の選択方法としては、例えば、試料状態判別部４１３によって算出された出力信号の最大尤度及び最小尤度の差が最も小さい画像を選択する方法がある。

ここで、尤度は、ｓｏｆｔｍａｘ関数で全尤度の総和が１．０になるように正規化されている。そのため、分類が困難な画像の場合、最大尤度及び最小尤度の差が小さくなる。そこで、このような画像をユーザに提示し、新たな学習用画像として入力することによって効率的に判別精度を向上することができる。

次に、学習部１３０２は、ユーザ操作入力部１３０１から教師信号を受け付ける（ステップＳ１５０２）。学習部１３０２は、選択された画像に教師信号を付与し、新たな学習用画像として記憶部４１４に格納する。このように、画像処理装置１０１は、画像の提示及び操作情報の受け付けを繰り返し実行することによって、新たな学習用画像を収集できる。

次に、学習部１３０２は、新たに蓄積された学習用画像の数が閾値より大きいか否かを判定する（ステップＳ１５０３）。ステップＳ１５０３の処理は、新たに機械学習を実行する契機を検出するための処理である。従って、他の判定方法を用いてもよい。例えば、ユーザから実行指示を受け付けた場合、又は、一定時間経過した場合に、機械学習を実行するようにしてもよい。

新たに蓄積された学習用画像の数が閾値以下であると判定された場合、学習部１３０２は、ステップＳ１５０１に戻り、同様の処理を実行する。

新たに蓄積された学習用画像の数が閾値より大きいと判定された場合、学習部１３０２は、新たな学習用画像を用いた機械学習を実行する（ステップＳ１５０４）。なお、機械学習は、実施例１で説明した処理と同様の方法で行われる。機械学習の実行結果として新たな係数が算出される。

次に、学習部１３０２は係数を更新するか否かを判定する（ステップＳ１５０５）。具体的には、学習部１３０２は、任意の評価方法に従って、算出された係数を評価し、当該係数を記憶部４１４に格納するか否かを判定する。

例えば、学習部１３０２は、他の構成と連携して、新たな係数を用いた場合の正解付き画像の判別精度を算出する。判別精度が閾値より大きい場合、学習部１３０２は、係数を更新すると判定する。

係数を更新しないと判定された場合、学習部１３０２は、ステップＳ１５０７に進む。

係数を更新すると判定された場合、学習部１３０２は、記憶部４１４に新たな係数を格納する（ステップＳ１５０６）。

例えば、学習部１３０２は、記憶部４１４に格納される係数に、新たに算出された係数を上書きする。また、学習部１３０２は、更新前の係数及び新たに算出された係数を記憶部４１４に格納してもよい。この場合、ユーザ操作に応じて使用する係数を選択できるようにすればよい。

ステップＳ１５０５の判別結果がＮＯ、又は、ステップＳ１５０６の処理の後、学習部１３０２は、係数の更新を終了するか否かを判定する（ステップＳ１５０７）。

例えば、判別精度が閾値より大きい場合、又は、ユーザから終了指示を受け付けた場合、学習部１３０２は、係数の更新を終了すると判定する。

係数の更新を終了しないと判定された場合、学習部１３０２は、ステップＳ１５０１に戻り同様の処理を実行する。

係数の更新を終了すると判定された場合、学習部１３０２は、処理を終了する。

特徴量算出部４１２及び試料状態判別部４１３は、係数が更新された場合、更新された係数をすぐに読み出してもよいし、実際に処理する場合に更新された係数を読み出してもよい。

なお、学習部１３０２は、分析時に取得された画像を新たな学習用画像としていたが、予め、基本となる教師信号付の学習用画像を記憶部４１４に格納しておいてもよい。

なお、学習部１３０２は、任意の評価方法を用いて求められた評価結果に基づいて自動的に係数を更新するか否かを判定していたがこれに限定されない。例えば、学習部１３０２は、ユーザに評価結果を提示し、ユーザに係数を更新するか否かを判定させるようにしてもよい。

なお、新たな学習用画像に付与する教師信号はユーザが手動で選択していたがこれに限定されない。例えば、学習部１３０２等が、出力信号に含まれる尤度の中で最も大きい尤度の出力ユニットに対応するラベルを仮の教師信号に決定し、仮の教師信号及び画像をユーザに提示し、ユーザが仮の教師信号を修正するようにしてもよい。このとき、画像の提示から一定時間修正がなかった場合、学習部１３０２は、正式な教師信号として採用する方法も考えられる。

実施例３によれば、係数を更新することによって、装置及び環境に対応した係数を用いて試料表面１１２の状態を判別できるため、判別精度を向上させることができる。

本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム又は装置に提供し、そのシステム又は装置のコンピュータ（又はＣＰＵ及びＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等が用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。さらに、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点において限定のためではなく説明のためである。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウェアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、単独又は如何なる組み合わせでも使用することができる。

１０１ 画像処理装置
１０２ 照明装置
１０３ 画像取得装置
１０４ 試料取得装置
１０５ 分注プローブ
１０６ 試料分析装置
１０７ 出力装置
１１０ 容器
１１１ 試料
１１２ 試料表面
１１５ 検出対象物
１２０ 画像取得範囲
１２５ 検出範囲
４０１ 演算装置
４０２ 記憶装置
４０３ 入力装置
４０４ 出力装置
４１１ 画像入力部
４１２ 特徴量算出部
４１３ 試料状態判別部
４１４ 記憶部
１００１ 画像補正部
１３０１ ユーザ操作入力部
１３０２ 学習部
１３０３ 画像表示部

Claims (14)

1. 容器に収められた分析対象の試料における気泡の状態を判別する装置であって、
   演算装置及び前記演算装置に接続される記憶装置を備え、
   前記演算装置は、
   前記試料の表面を上部から撮像した画像を取得し、
   前記画像を用いて、前記画像に設定される検出範囲に対する気泡の位置及び大きさを解析し、
   前記解析の結果に基づいて、前記試料における前記気泡の状態が、前記検出範囲に存在しない第１状態、前記検出範囲に分析に影響を与えない大きさで存在する第２状態、又は前記検出範囲に分析に影響を与える大きさで存在する第３状態のいずれかに該当するかを判別することを特徴とする装置。
2. 請求項１に記載の装置であって、
   前記演算装置は、
   前記容器の開口部側の前記画像を取得し、
   前記検出範囲に対する前記気泡の位置及び大きさを評価する値を算出し、
   前記算出された値に基づいて、前記試料における前記気泡の状態を判別することを特徴とする装置。
3. 請求項２に記載の装置であって、
   前記記憶装置は、前記試料における前記気泡の状態を示す値が付与された学習用画像を用いた機械学習によって生成された、前記試料における前記気泡の状態を判別するための判別モデルを格納することを特徴とする装置。
4. 請求項３に記載の装置であって、
   前記演算装置は、
   前記試料における前記気泡の状態を示す値と、前記画像とを対応付けて、新たな学習用画像として前記記憶装置に格納し、
   前記新たな学習用画像を用いた機械学習を実行することによって前記判別モデルを更新することを特徴とする装置。
5. 請求項４に記載の装置であって、
   前記演算装置は、
   前記画像を表示するための表示情報を生成し、
   前記表示情報に基づく表示を参照したユーザから前記試料における前記気泡の状態を示す値を受け付け、
   前記受け付けた値と前記画像とを対応付けて、前記新たな学習用画像として前記記憶装置に格納することを特徴とする装置。
6. 請求項２に記載の装置であって、
   前記演算装置は、
   前記画像に対して任意の画像補正処理を実行し、
   前記画像補正処理が実行された画像を用いて、前記検出範囲に対する前記気泡の位置及び大きさを解析することを特徴とする装置。
7. 請求項２に記載の装置であって、
   前記試料を採取する取得機構を有する取得装置と接続し、
   前記検出範囲は、前記取得装置が前記試料の採取時に、前記取得機構が前記試料の表面に接する位置を中心とする範囲であることを特徴とする装置。
8. 容器に収められた分析対象の試料における気泡の状態を判別する装置が実行する試料における気泡の状態の判別方法であって、
   前記装置は、演算装置及び前記演算装置に接続される記憶装置を備え、
   前記試料における気泡の状態の判別方法は、
   前記演算装置が、前記試料の表面を上部から撮像した画像を取得する第１のステップと、
   前記演算装置が、前記画像を用いて、前記画像に設定される検出範囲に対する気泡の位置及び大きさを解析する第２のステップと、
   前記演算装置が、前記解析の結果に基づいて、前記試料における前記気泡の状態が、前記検出範囲に存在しない第１状態、前記検出範囲に分析に影響を与えない大きさで存在する第２状態、又は前記検出範囲に分析に影響を与える大きさで存在する第３状態のいずれかに該当するかを判別する第３のステップと、を含むことを特徴とする試料における気泡の状態の判別方法。
9. 請求項８に記載の試料における気泡の状態の判別方法であって、
   前記第１のステップでは、前記演算装置が、前記容器の開口部側の前記画像を取得し、
   前記第２のステップでは、前記演算装置が、前記検出範囲に対する前記気泡の位置及び大きさを評価する値を算出し、
   前記第３のステップでは、前記演算装置が、前記算出された値に基づいて、前記試料における前記気泡の状態を判別することを特徴とする試料における気泡の状態の判別方法。
10. 請求項９に記載の試料における気泡の状態の判別方法であって、
    前記記憶装置は、前記試料における前記気泡の状態を示す値が付与された学習用画像を用いた機械学習によって生成された、前記試料における前記気泡の状態を判別するための判別モデルを格納することを特徴とする試料における気泡の状態の判別方法。
11. 請求項１０に記載の試料における気泡の状態の判別方法であって、
    前記演算装置が、前記画像を表示するための表示情報を生成するステップと、
    前記演算装置が、前記表示情報に基づく表示を参照したユーザによって指定された前記試料における前記気泡の状態を示す値と、前記画像とを対応付けて、新たな学習用画像として前記記憶装置に格納するステップと、
    前記演算装置が、前記新たな学習用画像を用いた機械学習を実行することによって前記判別モデルを更新するステップと、を含むことを特徴とする試料における気泡の状態の判別方法。
12. 試料を分析する分析システムであって、
    容器に納められた試料の表面を上部から撮像した画像を取得する画像取得装置と、前記画像を解析することによって前記容器に収められた前記試料における気泡の状態を判別する画像処理装置と、前記容器から前記試料を取得する取得装置と、前記試料を分析する分析装置とを備え、
    前記画像取得装置は、前記画像を取得して、前記画像処理装置に出力し、
    前記画像処理装置は、
    前記画像を用いて、前記画像に設定される検出範囲に対する前記気泡の位置及び大きさを解析し、
    前記解析の結果に基づいて、前記試料における前記気泡の状態が、前記検出範囲に存在しない第１状態、前記検出範囲に分析に影響を与えない大きさで存在する第２状態、又は前記検出範囲に分析に影響を与える大きさで存在する第３状態のいずれかに該当するかを判別し、
    前記取得装置を制御するための情報として、前記試料における前記気泡の状態に関する情報を出力することを特徴とする分析システム。
13. 請求項１２に記載の分析システムであって、
    前記画像取得装置は、前記容器の開口部側の前記画像を取得し、
    前記画像処理装置は、
    前記検出範囲に対する前記気泡の位置及び大きさを評価する値を算出し、
    前記算出された値に基づいて、前記試料における前記気泡の状態を判別することを特徴とする分析システム。
14. 請求項１３に記載の分析システムであって、
    前記画像処理装置は、前記試料における前記気泡の状態を示す値が付与された学習用画像を用いた機械学習によって生成された、前記試料における前記気泡の状態を判別するための判別モデルを保持することを特徴とする分析システム。

Images