JP2024002211A - 試料状態判定装置、試料状態判定方法及び試料検査装置 - Google Patents

Abstract

【課題】画像内の試料容器の検査可否判定を行う。【解決手段】試料状態判定装置は、対象試料容器の画像に対して画像処理するためのプログラムを実行するプロセッサと、画像処理の結果を格納するためのメモリとを含む。プロセッサは、画像を入力する処理と、画像から境界位置を検出する処理と、各境界位置の上下領域の種類を判定して各含有物の境界位置を決定する処理と、各含有物の境界位置に基づいて対象試料容器の検査可否を判定する処理とを実行する。【選択図】図１

Description

本発明は、試料状態判定装置、試料状態判定方法及び試料検査装置に関し、例えば、撮影した画像内に含まれる特定の試料内含有物（例えば、血清(血漿)等）を検出、識別するための機械学習を用いた画像処理技術に関するものである。

近年、血液検査の重要性が高まっており、血液分析においても検査数や検査項目数が増加し、検査効率の向上が求められている。検査効率を向上するために、血清等の正確な含有量を検出する、もしくは検査可能な検体容器を検査前に判定するニーズが増している。血清等の含有量を検出するために、例えば、特許文献１、２、３に提案される技術がある。当該特許文献１では、複数の色抽出手段を用いて、血清の上部と下部の境界位置を検出する。当該特許文献２では、彩度情報を用いて、血清部分と他部分との境界位置を求め、血清の量を算出している。当該特許文献３では、赤外線を照射、受光する機構を上下に移動し、分離剤、血清及び血餅の位置を検出する。

特開平１０－２３２２２８号公報 特開平９－１３３６８７号公報 特開２００５－２６５８１３号公報

しかしながら、検体上に気泡が発生する場合があり、特許文献１の複数の色抽出手段、特許文献２の彩度情報、特許文献３の赤外線の照射、受光機構を用いても、気泡の影響を抑制できず、血清等の正確な境界位置を求めることができないという課題が存在する。また、特許文献１、２、３では、血清、分離剤、血餅等のあらゆる含有物の含有量を判定できない、もしくはそれらの含有物の組合せから構成される検体を収容している検体容器に対して、対象の検体容器が検査可能か否かを判定できないという課題が存在する。

本発明はこのような状況に鑑みてなされたものであり、画像内の血清(血漿)等の境界位置の検出及び検査可能な試料容器の正確な判定を実現できる技術を提供するものである。

本発明の一態様の試料状態判定装置は、対象試料容器の画像に対して画像処理するためのプログラムを実行するプロセッサと、前記画像処理の結果を格納するためのメモリと、を含み、前記プロセッサは、前記画像を入力する処理と、前記画像から１以上の境界位置を検出する処理と、前記１以上の境界位置の各境界位置の上下領域の性質（種類）を判定して、各含有物の境界位置を決定する処理と、前記決定した各含有物の境界位置に基づいて前記対象試料容器の検査可否を判定する処理とを実行する。

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。

本明細書の記述は典型的な例示に過ぎず、本発明の特許請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。

本発明の一態様によれば、画像内の境界位置の検出及び検査可能な試料容器の正確な判定を実現できる。

第１の実施形態による試料状態判定装置の機能を示すブロック図である。 第１の実施形態による試料状態判定装置のハードウェア構成例を示す図である。 容器識別部の動作の一例を説明するための図である。 境界位置検出部の動作の一例を説明するための図である。 含有物判定部の動作の一例を説明するための図である。 境界位置補正部の動作の一例を説明するための図である。 含有量算出部の動作の一例を説明するための図である。 含有物判定部の動作の一例を説明するための図である。 含有物判定部の各境界の上下領域識別の一例を説明するための図である。 境界位置補正部の各境界識別の一例を説明するための図である。 境界位置補正部の気泡識別の一例を説明するための図である。 含有量算出部の動作の一例を説明するための図である。 検体状態判定部の動作の一例を説明するための図である。 出力部の判定結果等の表示の一例を説明するための図である。 第１の実施形態による試料状態判定装置１の全体動作を説明するためのフローチャートである。 実施形態の試料状態判定装置を搭載した第２の実施形態による検体検査装置の概略構成を示す図である。

本明細書の実施形態は、複数の含有物の境界位置を検出しつつ境界位置周辺の含有物の種類（性質）を判定し、さらに、境界位置を補正しつつ含有量を算出し、複数の境界位置及び含有物の判定結果から容器内検体の各含有物（例えば、血清（血漿）、分離剤、血餅、尿等）の有無を判定することで、各含有物（例えば、血清（血漿）、分離剤、血餅、尿等）の含有量の高精度な判定及び対象の検体容器の検査可否の判定を実現する試料状態判定装置及び試料状態判定方法を提供する。

以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。

以下では「プログラムとしての各処理部（例えば、含有物判定部等）」を主語（動作主体）として本発明の実施形態における各処理について説明を行うが、プログラムはプロセッサ（ＣＰＵ等）によって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。

本明細書の一実施形態の試料状態判定装置は、容器内の境界位置を検出して含有物を判定する機能、及び試料容器の状態を判定する機能を含んでよい。試料容器は、容器及び当該容器が収容している試料の組み合わせである。試料状態判定装置は、さらに、境界位置を補正する機能を含んでよい。本明細書の一実施形態は、境界位置の近傍に気泡等が存在する場合でも、境界位置を検出して境界位置周辺の含有物及び気泡等を判定し、境界位置周辺の境界の確からしさを詳細に解析して境界位置を補正する。これにより、画像内の血清（血漿）等の境界位置及び含有量の高精度な判定を実現することができるようになる。また、複数の境界位置及び含有物の判定結果から容器内の各含有物（血清（血漿）、分離剤、血餅、尿等）の有無を判定することで、対象の検体容器の検査可否を判定することが可能となる。

（１）第１の実施形態
＜試料状態判定装置の機能構成＞
図１は、実施形態による試料状態判定装置の機能構成を示すブロック図である。試料状態判定装置１は、入力部１０と、容器識別部１１と、境界位置検出部１２と、含有物判定部１３と、境界位置補正部１４と、含有量算出部１５と、検体状態判定部１６と、制御部１９と、メモリ９０と、を有している。ただし、当該試料状態判定装置において、予め容器情報が与えられている場合は容器識別部１１は必要構成ではない。当該試料状態判定装置１は、後述する（第２の実施形態）ように、検体検査装置内に実装してもよい。また、以下に説明する実施形態は、人から採取された検体と異なる試料に対して適用することができる。

試料状態判定装置１における、容器識別部１１、境界位置検出部１２、含有物判定部１３、境界位置補正部１４、含有量算出部１５、及び検体状態判定部１６は、プログラムによって実現しても良いし、モジュール化して実現しても良い。

入力部１０には画像データが入力される。例えば、入力部１０は、画像取得装置にビルトインされたカメラ等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ等を取得して、その画像を入力画像としてもよい。また、入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像としてもよい。また、入力部１０は、撮像手段がバスやネットワーク等を介して取得した画像を入力画像としてもよい。また、入力部１０は、脱着可能な記録媒体に、既に記憶されていた画像を入力画像としてもよい。入力部１０から入力した画像は、メモリ９０を介して容器識別部１１、境界位置検出部１２、含有物判定部１３、境界位置補正部１４に出力される。

容器識別部１１は、容器全体もしくは容器の一部を検出するネットワーク（例えば、ＹＯＬＯ等の容器検出器）を用いて、入力画像から容器を検出及び識別する。また、容器識別部１１は算出した容器情報をメモリ９０に格納する。

境界位置検出部１２は、各境界位置及びバーコードの境界を検出するネットワーク（例えば、ＹＯＬＯ等の境界位置検出器）を用いて、入力画像から各境界位置及びバーコードの境界を検出する。境界位置は、含有物と含有物または含有物と他の物質との界面である。バーコードは、例えば、検体又は検体を採取した患者の情報等を示す。境界位置検出部１２は算出した各境界位置及びバーコードの境界等の情報をメモリ９０に格納する。

含有物判定部１３は、境界位置検出部１２にて検出した各境界位置及びバーコードの上部、下部領域の含有物（例えば、血清（血漿）、分離剤、血餅、尿等の含有物等）や含有物以外（例えば、背景等）及びバーコードを識別するネットワーク（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ等）で構成される識別器を用いて、各境界位置及びバーコードの上部、下部領域の識別結果を算出する。また、含有物判定部１３は算出した各境界位置及びバーコードの上部、下部領域の識別結果等の情報をメモリ９０に格納する。

境界位置補正部１４は、各境界位置を詳細に識別するネットワーク（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ等）で構成される識別器を用いて、境界位置検出部１２で検出した各境界位置の周辺を詳細に識別し、正確な位置の境界位置を検出して境界位置を補正する。また、境界位置周辺の泡有無を識別するネットワーク（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ等）で構成される識別器を用いて、泡有無を識別し、泡が存在する場合、泡の最下端に境界位置を補正する。また、境界位置補正部１４は補正した各境界位置等の情報をメモリ９０に格納する。

含有量算出部１５は、境界位置補正部１４で補正した各境界位置、及び容器情報もしくは容器識別部１１で識別した容器情報から、容器内の対象となる含有物（例えば、血清（血漿）、分離剤、血餅、尿等）の含有量を算出する。また、含有量算出部１５は算出した容器内各含有物の含有量等の情報をメモリ９０に格納する。

検体状態判定部１６は、含有量算出部１５で算出した含有量及び、もしくは含有物判定部１３で求めた各領域の識別結果を用いて、対象検体容器（検体を収容している容器）の検査可否を判定する。また、検体状態判定部１６は対象容器の検査可否の判定結果等の情報をメモリ９０に格納する。

制御部１９は、プロセッサで実現され、試料状態判定装置１内の各要素に接続される。試料状態判定装置１の各要素の動作は、上述した各構成要素の自律的な動作、又は制御部１９の指示により動作する。

このように本実施形態の試料状態判定装置１では、容器識別部１１は容器のタイプを識別する。境界位置検出部１２は容器の各境界位置及びバーコードの境界位置を検出する。含有物判定部１３は、容器の各境界位置及びバーコードの上部、下部領域の識別結果を算出する。境界位置補正部１４は、各境界位置の周辺を詳細に識別して境界位置を補正し、含有量算出部１５は、容器内の対象となる含有物の含有量を算出する。検体状態判定部１６は、算出した含有量及び各境界位置の周辺領域の識別結果を用いて容器内の検体の状態を判定することで、画像から容器内の含有物の含有量を高精度に検出すること、及び対象容器の検査可否を判定することを特徴とする。

＜識別器生成装置のハードウェア構成＞
図２は、本発明の実施形態による試料状態判定装置１のハードウェア構成例を示す図である。

試料状態判定装置１は、各種プログラムを実行するＣＰＵ（プロセッサ）２０１と、各種プログラムを格納するメモリ２０２と、各種データを格納する記憶装置（メモリ９０に相当）２０３と、各境界位置や各含有量や対象容器の検査可否の判定結果等を出力するための出力装置２０４と、ユーザによる指示や画像等を入力するための入力装置２０５と、を有し、これらがバス２０７によって相互に接続されている。

ＣＰＵ２０１は、必要に応じてメモリ２０２から各種プログラムを読み込み、実行する。メモリ２０２は、プログラムとしての、入力部１０と、容器識別部１１と、境界位置検出部１２と、含有物判定部１３と、境界位置補正部１４と、含有量算出部１５と、検体状態判定部１６を格納する。

記憶装置２０３は、入力画像、容器識別部１１によって識別した容器のタイプの情報、境界位置検出部１２によって検出した容器の各境界位置及びバーコードの境界位置の情報、含有物判定部１３によって判定した容器の各境界位置及びバーコードの上部、下部領域の識別結果、境界位置補正部１４によって補正した境界位置の情報、含有量算出部１５によって算出した容器内の対象となる含有物の含有量の情報、検体状態判定部１６によって判定した対象容器の検査可否の判定結果等を記憶している。

出力装置２０４は、ディスプレイ、プリンタ、スピーカー等のデバイスで構成される。例えば、出力装置２０４は、容器識別部１１、境界位置検出部１２、含有物判定部１３、境界位置補正部１４、含有量算出部１５、検体状態判定部１６によって生成されたデータをディスプレイ画面上に表示する。

入力装置２０５は、キーボード、マウス、マイク等のデバイスで構成される。入力装置２０５によってユーザによる指示（入力画像の入力の決定を含む）が試料状態判定装置１に入力される。

本発明の試料状態判定装置は、容器タイプを識別し、容器の各境界位置及びバーコードの境界位置を検出し、容器の各境界位置及びバーコードの上部、下部領域の識別結果を算出し、各境界位置の周辺を詳細に識別して境界位置を補正し、容器内の対象となる含有物の含有量を算出し、さらに、算出した含有量及び各境界位置の周辺領域の識別結果を用いて容器内の検体の状態を判定することで、画像から容器内の含有物の含有量を高精度に検出しつつ精度よく対象容器の検査可否を判定する。

＜各部の構成と動作＞
以下、各要素の構成と動作について詳細に説明する。

（ｉ）容器識別部１１
容器の一例を図３に示す。容器識別部１１は、容器全体もしくは容器の一部を検出するネットワーク（例えば、ＹＯＬＯ等の容器検出器）を用いて、入力画像から容器を検出及び識別して容器タイプｃｔ及び容器上部３１の位置を求め、また、算出した容器タイプｃｔとメモリ９０内の容器情報から図３に示す容器底３６の画像内位置を算出する。容器識別部１１は、識別した容器タイプの情報、容器上部及び容器底の画像内位置をメモリ９０に保存する。

（ｉｉ）境界位置検出部１２
境界位置検出部１２は、容器内の含有物それぞれの境界位置（界面又は境界）及びバーコードの境界を検出する。図３は、バーコード３２、血清３３、分離剤３４、及び血餅３５を示す。図４は、境界位置検出の一例を示す。境界位置検出部１２は、容器内の各境界位置（含有物の境界等）及びバーコードの境界を検出するネットワーク（例えば、ＹＯＬＯ等の境界位置検出器）を用いて、図４に示すように、入力画像から各境界位置及びバーコード３２の境界を検出する。図４に示す例において、血清（血漿）３３と背景の境界４１、血清３３と分離剤３４の境界４２、血餅と分離剤との境界４３が検出される。また、バーコード３２の上部境界４４及び下部境界４５が検出される。

境界位置検出部１２は、境界位置等の境界が一つも検出できない場合、境界位置検出結果ｌｒに０を設定し、メモリに境界位置検出結果ｌｒを格納する。また、境界位置検出部１２は、境界位置等の境界を一つ以上検出した場合、境界位置検出結果ｌｒに検出した境界数を設定する。境界位置検出部１２は、算出した境界位置検出結果ｌｒと検出した各境界位置の情報をメモリ９０に保存する。

（ｉｉｉ）含有物判定部１３
含有物判定部１３は、図５に示すように、境界位置検出部１２で検出した各境界位置及びバーコードの境界の上部と下部領域について、含有物（例えば、血清（血漿）、分離剤、血餅、尿等の含有物）や含有物以外（例えば、背景、バーコード等）を識別するネットワーク（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ等）で構成される識別器を用いて、各境界位置及びバーコードの上部、下部領域の識別結果を算出する。また、容器に透明タイプの容器、不透明タイプの容器等の様々な材質の容器が含まれる場合、含有物判定部１３は、容器識別部１１にて識別した容器タイプの情報を用いて容器に適した識別器を選択し、選択した識別器を用いて、各境界位置及びバーコードの上部、下部領域の識別結果を算出する。

一例として、識別結果を求める例を図９に示す。入力画像Ａ１は、特徴抽出器Ａ９１に入力され、特徴量ＦＡｉが出力される。ロジスティック回帰層９２は、特徴量ＦＡｉから入力画像Ａ１内の領域を識別する。図９のＣＮＮは、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを表す。

含有物判定部１３は、式（１）、（２）の重みｗ、フィルター係数ｗｊ、オフセット値ｂとｂｉをメモリ９０から読込む。

例えば、特徴抽出器Ａ９１を用いて、式（１）により、入力画像Ａ１内の各境界位置及びバーコードの上部と下部領域について、含有物（例えば、血清（血漿）、分離剤、血餅、尿等の含有物）や含有物以外（例えば、背景、バーコード等）の特徴量ＦＡｉを求める。

式（１）に示すフィルター係数ｗｊは、各含有物を各含有物（例えば、血清（血漿）を血清（血漿）、分離剤を分離剤、血餅を血餅、尿を尿等）と識別するように、また、各含有物以外を含有物以外（例えば、背景を背景、バーコードをバーコード等）と識別するように、機械学習等により求めた係数である。

式（１）において、ｐｊは画素値、ｂｉはオフセット値、ｍはフィルター係数の数、ｈは非線形関数を示す。式（１）を用いて、対象画像の各領域の左上から右下に対して、各フィルターの計算結果を求めることで、任意のフィルターｉの特徴量ｆｉを求める。例えば、特徴抽出器Ａ９１で求めた特徴量ｆｉの行列を入力画像Ａ１の特徴量ＦＡｉとする。

図９に示すように、算出した特徴抽出器Ａ９１の特徴量ＦＡｉ（行列ｆ）を用いて、識別器のロジスティック回帰層９２にて、式（２）により、検出すべき含有物や含有物以外らしさ（血清（血漿）らしさ、分離剤らしさ、血餅らしさ、背景らしさ、バーコードらしさ等）の値を算出して、入力画像Ａ１内の各領域（例えば、境界位置の上部・下部領域）が検出すべき含有物（例えば、血清（血漿）、分離剤、血餅、尿等）か検出すべき含有物以外（例えば、背景、バーコード等）かを判定する。

式（２）において、ｗは重みの行列、ｂはオフセット値、ｇは非線形関数、ｙは識別結果をそれぞれ示し、公知の機械学習の技術により、学習用画像を用いて事前にｗの重みとｂのオフセット値を求める。例えば、機械学習の技術として、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを用いてもよい。また、学習時に求めたｗの重みとｂのオフセット値を用いて、対象画像の各領域を識別し、識別結果ｙを算出する。

含有物判定部１３は、境界位置検出部１２で検出した各境界位置やバーコードの境界の上部領域と下部領域の識別結果ｙに基づき、各境界が何かを決定する。例えば、図８に示すように、上部領域の識別結果が背景、下部領域の識別結果がバーコード３２であれば、その境界をバーコード上部４４と判定する（判定結果ｐｒにｐ１を設定）。また、上部領域の識別結果がバーコード３２、下部領域の識別結果が血清３３、血餅３５、分離剤３４、背景のいずれかであれば、その境界をバーコード下部４５と判定する（判定結果ｐｒにｐ２を設定）。

また、上部領域の識別結果が背景、下部領域の識別結果が血清３３であれば、その境界４１を血清上部と判定する（判定結果ｐｒにｐ３を設定）。また、上部領域の識別結果が血清３３、下部領域の識別結果が分離剤３４、血餅３５のいずれかであれば、その境界４２を血清下部と判定する（判定結果ｐｒにｐ４を設定）。また、上部領域の識別結果が分離剤３４、下部領域の識別結果が血餅３５、容器底のいずれかであれば、その境界４３を分離剤下部と判定する（判定結果ｐｒにｐ５を設定）。

また、上部領域の識別結果が分離剤３４、血清３３、背景のいずれかで、下部領域の識別結果が血餅３５であれば、その境界４３を血餅上部と判定する（判定結果ｐｒにｐ６を設定）。また、上部領域の識別結果が血餅３５、下部領域の識別結果が分離剤３４であれば、その境界（不図示）を血餅下部と判定する（判定結果ｐｒにｐ７を設定）。また、容器底の上部領域の識別結果が血餅３５であれば、その境界４４を血餅下部と判定する（判定結果ｐｒにｐ８を設定）。

また、容器底の上部領域の識別結果が血清３３であれば、その境界（不図示）を血清下部と判定する（判定結果ｐｒにｐ９を設定）。また、容器底の上部領域の識別結果が分離剤３４であれば、その境界（不図示）を分離剤下部と判定する（判定結果ｐｒにｐ１０を設定）。また、上部領域の識別結果が血清３３、背景、血餅３５のいずれかで、下部領域の識別結果が分離剤３４であれば、その境界４２を分離剤上部と判定する（判定結果ｐｒにｐ１１を設定）。例えば、図５の場合、境界の判定結果ｐｒには、ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６、ｐ８、ｐ１１が設定される。

含有物判定部１３は、境界位置検出部１２で検出した各境界位置やバーコードの境界ではない境界候補を排除する。

含有物判定部１３は、算出した識別結果ｙと各境界の判定結果ｐｒをメモリ９０に格納する。

（ｉｖ）境界位置補正部１４
境界位置補正部１４は、含有物判定部１３で算出した各含有物の境界について、含有物（例えば、血清（血漿）、分離剤、血餅、尿等の含有物）の境界を詳細に識別するネットワーク（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ等）で構成される識別器（特徴抽出器Ｂを含む）を用いて、式（１）、（２）により、図６に示すように、探索範囲６１の中で識別エリア６２を画素単位に移動しながら識別し、最も識別結果ｙの値が大きい位置で、各含有物の境界位置を補正する。一例として、識別結果を求める例を図１０に示す。入力画像Ａ１は、特徴抽出器Ｂ１０１に入力され、特徴量ＦＢｉが出力される。ロジスティック回帰層１０２は、特徴量ＦＢｉから入力画像Ａ１内の境界を識別する。図１０のＣＮＮは、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを表す。

境界位置補正部１４は、各含有物の境界を識別するための式（１）、（２）の重みｗ、フィルター係数ｗｊ、オフセット値ｂとｂｉをメモリ９０から読込み、境界らしさの識別結果ｙを算出する。例えば、血清境界周辺の探索範囲６１の中で識別エリア６２を画素単位に上下に移動しながら血清境界を識別し、識別結果ｙが最も大きい位置に血清の境界位置を補正する。

また、境界位置補正部１４は、含有物判定部１３で血清上部と判定した含有物の境界について、気泡６３を識別するネットワーク（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ等）で構成される識別器（特徴抽出器Ｃを含む）を用いて、式（１）、（２）により、識別エリア６２内の気泡有無を識別し、気泡があると識別された場合、泡の最下端の位置に、血清上部の境界位置を補正してもよい。一例として、識別結果を求める例を図１１に示す。入力画像Ａ１は、特徴抽出器Ｃ１１１に入力され、特徴量ＦＣｉが出力される。ロジスティック回帰層１１２は、特徴量ＦＣｉから入力画像Ａ１内の気泡有無を判定する。図１１のＣＮＮは、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを表す。

境界位置補正部１４は、気泡有無を識別するための式（１）、（２）の重みｗ、フィルター係数ｗｊ、オフセット値ｂとｂｉをメモリ９０から読込み、気泡６３の識別結果ｙを算出する。

境界位置補正部１４は、補正した各境界位置やバーコードの境界の位置及びそれらの識別結果や気泡の識別結果をメモリ９０に保存する。

（ｖ）含有量算出部１５
含有量算出部１５は、境界位置補正部１４で補正した各含有物の上部と下部の境界位置を用いて、図７に示すような各含有物の含有量ｌｖを算出する。例えば、容器識別部１１で識別した容器タイプの情報から、容器底からの高さと該当の高さでの容器内側の面積の含有量情報をメモリ９０から読込み、血清上部の高さから血清下部の高さまでの各含有量を足し合わせて、血清３３の含有量ｌｖを算出する。また、含有量算出部１５は、容器識別部１１で算出した容器上部の位置から血清上部の境界までの距離ｄｓを算出する。

図１２に示すように、撮影時のカメラのレンズの視点等により、上下方向に向かう程、画素情報の歪が生じる場合がある。そこで、含有量算出部１５は、例えば、式（３）から式（８）を用いて、血清上部と血清下部の境界位置のそれぞれの画素情報（ｘ１，ｙ１）を（ｘ３，ｙ３）に補正後、血清の含有量ｌｖを算出してもよい。ただし、式（３）のｘ、ｙはカメラ座標上の歪を含む点、ｘ１、ｙ１は画像座標上の歪を含む点、ｃｘ、ｃｙは画像中心、ｆｘ、ｆｙは焦点距離、式（５）のｋ１、ｋ２は半径方向の歪係数、式（６）のｐ１、ｐ２は円周方向の歪係数、式（７）のｘ２、ｙ２はカメラ座標上の歪を補正した点、式（８）のｘ３、ｙ３は画像座標上の歪を補正した点をそれぞれ表す。

含有量算出部１５は、算出した含有量ｌｖ及び距離ｄｓをメモリ９０に保存する。

（ｖｉ）検体状態判定部１６
検体状態判定部１６は、境界位置検出部１２が算出した境界位置検出結果ｌｒ、含有物判定部１３が算出した各境界の判定結果ｐｒ、含有量算出部１５が算出した含有量ｌｖを用いて、対象容器の検査可否を判定する。図１３に、検体状態判定部１６のフローチャートを示す。

検体状態判定部１６は、例えば、境界位置検出結果ｌｒが０であれば、対象容器は空容器と判定し、検査可否判定結果に０（検査不可）、検査可否判定理由に空容器を設定する。また、また、含有量ｌｖが閾値ＴＨ未満の場合、検査可否判定結果に０（検査不可）、検査可否判定理由に「含有量不足」を設定する。

また、境界の判定結果ｐｒにｐ３とｐ４、もしくはｐ３とｐ９を含まない場合、検査可否判定結果に０（検査不可）、検査可否判定理由に「血清なし」を設定する。また、境界位置検出結果ｌｒが１以上かつ含有量ｌｖが閾値ＴＨ以上かつ境界の判定結果ｐｒにｐ３とｐ４、もしくはｐ３とｐ９を含む場合、検査可否判定結果ｉａｊｒに１（検査可）、検査可否判定理由に「血清あり」を設定する。

＜検体状態判定部１６の処理手順＞
（ｉ）ステップ１３０１
検体状態判定部１６は、境界位置検出結果ｌｒが０か否かを判定する。ｌｒが０以外の場合、処理はステップ１３０２に移行する。ｌｒが０の場合、処理はステップ１３０７に移行する。

（ｉｉ）ステップ１３０２
検体状態判定部１６は、含有量算出部１５が算出した含有量ｌｖが閾値ＴＨ（例えば、４μｌ）以上か否かを判定する。含有量ｌｖが閾値ＴＨ以上の場合、処理はステップ１３０３に移行する。含有量ｌｖが閾値ＴＨ未満の場合、処理はステップ１３０７に移行する。

（ｉｉｉ）ステップ１３０３
検体状態判定部１６は、含有物判定部１３が算出した各境界の判定結果ｐｒがｐ３を含むか否かを判定する。各境界の判定結果ｐｒがｐ３を含む場合、処理はステップ１３０４に移行する。各境界の判定結果ｐｒがｐ３を含まない場合、処理はステップ１３０７に移行する。

（ｉｖ）ステップ１３０４
検体状態判定部１６は、含有物判定部１３が算出した各境界の判定結果ｐｒがｐ４を含むか否かを判定する。各境界の判定結果ｐｒがｐ４を含む場合、処理はステップ１３０５に移行する。各境界の判定結果ｐｒがｐ４を含まない場合、処理はステップ１３０６に移行する。

（ｖ）ステップ１３０５
検体状態判定部１６は、検査可否判定結果ｉａｊｒに１（検査可）を設定する。

（ｖｉ）ステップ１３０６
検体状態判定部１６は、含有物判定部１３が算出した各境界の判定結果ｐｒがｐ９を含むか否かを判定する。各境界の判定結果ｐｒがｐ９を含む場合、処理はステップ１３０５に移行する。各境界の判定結果ｐｒがｐ９を含まない場合、処理はステップ１３０７に移行する。

（ｖｉｉ）ステップ１３０７
検体状態判定部１６は、検査可否判定結果ｉａｊｒに０（検査不可）を設定する。

検体状態判定部１６は、算出した検査可否判定結果ｉａｊｒと検査可否判定理由をメモリ９０に保存する。

（ｖｉｉ）出力部１７
出力部１７は、一例として、図１４に示すＧＵＩ（グラフィカルユーザーインタフェース）にて、容器識別部１１で算出した容器タイプｃｔ、境界位置検出部１２で検出した各境界の線、含有物判定部１３で判定した各境界の上部領域と下部領域の識別結果と境界判定結果、境界位置補正部１４で補正した各境界の線（例えば、境界（補正））、含有量算出部１５で算出した各含有物の含有量ｌｖと距離ｄｓ、検体状態判定部１６で求めた対象容器の検査可否の判定結果及び判定理由を表示する。

図１４は、対象容器に血清、分離剤、血餅が含まれ、血清の境界位置が補正された場合の一例を示す図である。図１４では、対象容器の検査可否は「可」、検査可否判定理由は「血清あり」、容器タイプは「Ａ」、含有量（血清）は２０μｌ、境界判定結果は、ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６、ｐ８、ｐ１１、気泡の識別結果は「有」、容器上部からの距離は１８ｍｍ、血清上部の境界線と補正後の血清上部の境界線、血清下部の境界線（分離剤上部の境界線）、分離剤下部の境界線（血餅上部の境界線）、容器底の境界線を表示した例である。

出力部１７は、試料状態判定装置１としては必須の構成ではなく、検体検査装置に出力部が含まれる場合には、試料状態判定装置１は出力部１７を保持していなくても良い。

＜試料状態判定装置の処理手順＞
図１５は、本発明の実施形態による試料状態判定装置１の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、含有物判定部１３等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。

（ｉ）ステップ１５０１
入力部１０は、対象画像を受け付け、当該入力画像を容器識別部１１に出力する。

（ｉｉ）ステップ１５０２
容器識別部１１は、容器検出器を用いて、入力画像から容器を検出し、さらに容器タイプｃｔを識別し、容器上部と容器底の位置を検出し、求めた情報をメモリ９０に保存する。

（ｉｉｉ）ステップ１５０３
境界位置検出部１２は、境界位置検出器を用いて、容器内の各境界位置（含有物の境界等）及びバーコードの境界を検出し、求めた情報をメモリ９０に保存する。

（ｉｖ）ステップ１５０４
含有物判定部１３は、式（１）、式（２）により、各境界位置やバーコードの境界の上部領域と下部領域の識別結果及び各境界の判定結果ｐｒを算出し、求めた情報をメモリ９０に保存する。

（ｖ）ステップ１５０５
境界位置補正部１４は、式（１）、式（２）により、補正した各境界位置やバーコードの境界の位置及びそれらの識別結果や気泡の識別結果を求め、求めた情報をメモリ９０に保存する。

（ｖｉ）ステップ１５０６
含有量算出部１５は、容器上部の位置及び各含有物の上部と下部の境界位置の情報を用いて、各含有物の含有量ｌｖ及び容器上部から血清上部までの距離ｄｓを求め、求めた情報をメモリ９０に保存する。また、含有量算出部１５は、式（３）から式（８）により、各境界位置の情報を補正し、補正した各境界位置の情報から各含有物の含有量ｌｖ及び容器上部から血清上部までの距離ｄｓを求め、各含有量ｌｖ及び距離ｄｓをメモリ９０に保存する。

（ｖｉｉ）ステップ１５０７
検体状態判定部１６は、境界位置検出部１２が算出した境界位置検出結果ｌｒ、含有物判定部１３が算出した各境界の判定結果ｐｒ、含有量算出部１５が算出した含有量ｌｖを用いて、対象容器の検査可否を判定し、算出した検査可否判定結果ｉａｊｒをメモリ９０に保存する。

第１の実施形態によれば、容器タイプを識別し、容器の各境界位置及びバーコードの境界位置を検出し、容器の各境界位置及びバーコードの上部、下部領域の識別結果を算出し、各境界位置の周辺を詳細に識別して境界位置を補正し、容器内の対象となる含有物の含有量を算出し、さらに、算出した含有量及び各境界位置の周辺領域の識別結果を用いて容器内の検体の状態を判定することで、画像から容器内の含有物の含有量を高精度に検出しつつ精度よく対象容器の検査可否を判定することが可能となる。

また、画像から容器内の含有物の含有量を高精度に検出することで、患者から採取する検体量を微量に抑制することが可能となる。

（２）第２の実施形態
図１６は、本発明の第２の実施形態による検体検査装置１６００の構成を示す機能ブロック図である。検体検査装置１６００は、第１の実施形態による試料状態判定装置１と、検体吸引装置１６０１と、表示装置１６０２を有する。

検体吸引装置１６０１は、例えば吸引ノズルを備えた検体サンプリング機構を制御し、吸引した検体と試薬を用いて、検体に関する検査項目の分析結果（例えば、生化学、免疫分析に関するＨｂＡ１ｃ、ＴＰ、ＡＳＴ等）を算出する装置を有している。

検体吸引装置１６０１は、試料状態判定装置１から検査可否情報（検査可否判定結果ｉａｊｒ等）を受け取り、検査可否判定結果ｉａｊｒが１（検査可）の場合、検体サンプリング機構を制御して検体の一部を吸引し、試薬を用いて各検査項目の分析結果を算出する。表示装置１６０２は、分析結果を表示画面に表示する。一方、検査可否判定結果ｉａｊｒが０（検査不可）の場合、検体サンプリング機構では検体を吸引せず、表示装置１６０２は、表示画面の検査可否について「不可」と表示する。また、検体吸引装置１６０１は、試料状態判定装置１から容器上部からの距離ｄｓの情報を受け取り、検体サンプリング機構の吸引ノズルの吸引位置を制御する。

検体吸引装置１６０１として、検体サンプリング機構を備えた生化学分析装置、免疫分析装置等を用いてもよい。

第２の実施形態によれば、試料状態判定装置で判定した検査可否情報を用いて検体吸引装置で精度よく検体の吸引可否を制御し、吸引した検体と試薬を用いて検体に関する各検査項目の分析を行い、表示装置で各検査項目の分析結果を表示することで、効率よく検査でき、さらに患者からの検体採取量を微量に抑制できる検体検査装置を提供することが可能となる。

以上説明した各実施形態については、次のような変形が可能である。含有物判定部１３、境界位置補正部１４では、機械学習によりフィルターを用いて複数特徴量を求めたが、ＨＯＧ等の他の特徴量を用いてもよく、同様の効果を有する。

また、容器識別部１１、境界位置検出部１２では、容器検出器や境界位置検出器としてＹＯＬＯを用いて容器や境界位置を検出したが、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ等を用いてもよく、同様の効果を有する。

本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。

加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。

１・・・試料状態判定装置
１０・・・入力部
１１・・・容器識別部
１２・・・境界位置検出部
１３・・・含有物判定部
１４・・・境界位置補正部
１５・・・含有量算出部
１６・・・検体状態判定部
１７・・・出力部
１９・・・制御部
１６００・・・検体検査装置

Claims (11)

1. 対象試料容器の画像に対して画像処理するためのプログラムを実行するプロセッサと、
   前記画像処理の結果を格納するためのメモリと、を含み、
   前記プロセッサは、
   前記画像を入力する処理と、
   前記画像から境界位置を検出する処理と、
   前記検出した各境界位置の上下領域の種類を判定して、各含有物の境界位置を決定する処理と、
   前記決定した各含有物の境界位置に基づいて前記対象試料容器の検査可否を判定する処理と、
   を実行する、試料状態判定装置。
2. 請求項１に記載の試料状態判定装置であって、
   前記プロセッサは、前記検出した各境界位置を、前記検出した各境界位置の上下領域の前記判定した種類に基づいて補正する処理、を実行する、試料状態判定装置。
3. 請求項１に記載の試料状態判定装置であって、
   前記プロセッサは、
   前記画像から容器を識別して容器情報を算出する処理と、
   前記容器情報に応じて検出器を選択する処理と、
   前記選択した検出器を用いて検出した各境界位置の上下領域の種類を判定して、各含有物の境界位置を決定する処理と、を実行し、
   前記決定した各含有物の境界位置に基づいて前記対象試料容器の検査可否を判定する、試料状態判定装置。
4. 請求項１、２または３に記載の試料状態判定装置であって、
   前記プロセッサは、
   前記決定した各含有物の境界位置に基づいて含有量を算出する処理、を実行し、
   算出した前記含有量に基づいて前記対象試料容器の検査可否を判定する、試料状態判定装置。
5. 請求項２に記載の試料状態判定装置であって、
   前記プロセッサは、
   前記画像から容器を識別して容器情報を算出する処理を実行し、
   前記容器情報と前記決定した各含有物の境界位置とに基づいて含有量を算出する処理を実行し、
   算出した前記含有量に基づいて前記対象試料容器の検査可否を判定する、試料状態判定装置。
6. 画像内の対象試料容器の状態を判定する試料状態判定方法であって、
   入力された画像に対して画像処理するためのプログラムを実行するプロセッサが、
   対象試料容器の画像を入力し、
   前記画像から境界位置を検出し、
   前記検出した各境界位置の上下領域の種類を判定して、各含有物の境界位置を決定し、
   前記決定した各含有物の境界位置に基づいて前記対象試料容器の検査可否を判定する、試料状態判定方法。
7. 請求項６に記載の試料状態判定方法であって、
   前記プロセッサが、前記検出した各境界位置を、前記検出した各境界位置の上下領域の前記判定した種類に基づいて補正する、試料状態判定方法。
8. 請求項６に記載の試料状態判定方法であって、
   前記プロセッサが、
   前記画像から容器を識別して容器情報を算出し、
   前記容器情報に応じて検出器を選択し、
   前記選択した検出器を用いて、検出した各境界位置の上下領域の種類を判定して、各含有物の境界位置を決定し、
   前記決定した各含有物の境界位置に基づいて前記対象試料容器の検査可否を判定する、試料状態判定方法。
9. 請求項６、７または８に記載の試料状態判定方法であって、
   前記プロセッサが、
   前記決定した各含有物の境界位置に基づいて含有量を算出し、
   算出した前記含有量に基づいて前記対象試料容器の検査可否を判定する、試料状態判定方法。
10. 請求項７に記載の試料状態判定方法であって、
    前記プロセッサが、
    前記画像から容器を識別して容器情報を算出し、
    前記容器情報と前記決定した各含有物の境界位置とに基づいて含有量を算出し、
    算出した前記含有量に基づいて前記対象試料容器の検査可否を判定する、試料状態判定方法。
11. 請求項１、２または３に記載の試料状態判定装置と、
    試料吸引可否を制御して試料の検査項目を分析する試料吸引装置と、
    分析結果を表示する表示装置と、を含み、
    前記試料吸引装置は、前記試料状態判定装置にて判定した検査可否の情報を用いて前記試料容器内の試料の吸引可否を制御し、吸引した前記試料と試薬とを用いて前記試料に関する検査項目を分析し、
    前記表示装置は、前記検査項目の分析結果を表示する、試料検査装置。

Images