JP7443938B2 - 物品の認識方法、プログラム、および情報処理装置 - Google Patents

Description

本開示は、領域における物品の認識に関し、特に、物品の識別情報を表す識別部を利用した当該物品の認識に関する。

従来、物品ごとに付与された管理番号を用いて各物品を管理する技術が提案されている。たとえば、特開２００８－１３５０７２号公報（特許文献１）および特開２００８－２３５５０４号公報（特許文献２）等に記載されるように、物品に管理番号を表す識別部（バーコードなど）を付し、物品に付された識別部に含まれる情報をバーコードリーダーなどの読取装置で読み取り、管理用の装置が読み取り結果を取得することによって各物品を認識する技術を開示している。

特開２００８－１３５０７２号公報 特開２００８－２３５５０４号公報

従来の技術では、識別部が汚れたり欠損したりすると、読取装置は識別部を読み取れなくなり、管理用の装置は物品を認識するための情報を得られなくなる。この場合、作業員は、物品に手描きで管理番号を記入し、記入された管理番号を手動で管理用の装置に入力することを必要とされ、多くの労力を必要とされている。

本開示は、係る実情に鑑み考え出されたものであり、その目的は、物品に付された識別部が汚れたり破損したりした場合であっても作業員の労力の増大を抑制するための技術を提供することである。

本開示のある局面に従うと、コンピューターによって実行される方法であって、物品に割り当てられた識別情報と、物品の画像情報とを関連付けて登録するステップを含み、物品は、識別情報を表す識別部を含み、物品に関する作業対象の領域の画像を取得するステップと、領域の画像において物品の存在を認識するステップとを含み、認識するステップは、領域の画像において、識別部の画像から識別情報を読み出せる場合に、識別情報を用いて物品の存在を認識することと、領域の画像において、識別情報を読み出せない場合であって物品の画像情報が認識できた場合に、識別部の画像情報を識別情報に関連付けて登録することと、識別部の画像情報が識別情報と関連付けられている場合に、領域の画像において、識別部の画像情報を用いて物品の存在を認識することとを含む、物品の認識方法が提供される。

識別部の画像情報を識別情報と関連付けて登録することは、識別部の画像の特徴量を登録することを含んでいてもよい。物品の存在を認識することは、領域の画像において登録された特徴量を認識することを含んでいてもよい。

物品は、病理診断の対象である検体または検体の容器であってもよい。

物品の画像情報は、検体の容器の画像を含んでいてもよい。

物品の画像情報は、検体の画像を含んでいてもよい。

画像を取得するステップは、２以上の領域のそれぞれの画像を取得することを含んでいてもよい。物品が存在を認識された領域に関連付けて物品の存在を登録するステップと、をさらに含んでいてもよい。

物品の認識方法は、領域の画像における作業員と物品との位置関係に基づいて、領域における作業の開始のタイミングと終了のタイミングを特定するステップをさらに含んでいてもよい。存在を登録するステップは、領域における作業の開始のタイミングと終了のタイミングを特定する情報を登録することを含んでいてもよい。

作業員と物品との位置関係は、作業員の所与の部位と物品との距離を含んでいてもよい。

本開示の他の局面に従うと、コンピューターのプロセッサーによって実行されることにより、コンピューターに上記の方法を実施させる、プログラムが提供される。

本開示のさらに他の局面に従うと、上記プログラムを格納した記憶装置と、記憶装置に格納されたプログラムを実行するプロセッサーとを備える、情報処理装置が提供される。

本開示によれば、物品の画像情報と識別部の識別情報とが関連付けられて登録されているため、コンピューターは、物品の識別部から識別情報が読み出せない場合、物品の画像情報に関連付けられた識別情報に識別部の画像情報を関連付ける。これにより、コンピューターは、物品の識別部から識別情報を読み出せない場合、物品の識別部の画像情報を取得し、当該画像情報に関連付けられた識別情報を認識することにより、物品を認識することができる。すなわち、物品の識別部において汚れや欠損が生じても、作業員に識別情報の入力のための労力を要することなく、物品の認識が可能になる。

物品管理システムの構成例を示す図である。 管理装置１００のハードウェア構成の一例を示す図である。 サンプルデータベースのデータ構成例を表す図である。 工程データベースのデータ構造例を表す図である。 画像情報データベースのデータ構造例を表す図である。 検体の新たな形態の出現の一例を示す図である。 新たなサンプルＩＤを登録されたサンプルデータベースのデータ構成例を示す図である。 検体の新たな形態の出現の他の例を示す図である。 新たなサンプルＩＤを登録されたサンプルデータベースのデータ構成例を示す図である。 コード用紙からの識別情報の読み出しの阻害事由を含まない、標本の一例を示す図である。 コード用紙からの識別情報の読み出しの阻害事由を含む、標本の一例を示す図である。 コード用紙からの識別情報の読み出しの阻害事由を含む、標本の他の例を示す図である。 物品管理システムにおいて検体が受け入れられたときに管理装置１００が実行する処理のフローチャートである。 物品管理システムの各工程において検体（または標本）を管理するために管理装置１００が実行する処理のフローチャートである。 新しいサンプルＩＤを登録されたサンプルデータベースのデータ構造例を示す図である。 サンプルＩＤと画像を登録された、画像情報データベースのデータ構成例を示す図である。 作業の開始および終了のタイミングの特定に利用される画像の具体例を示す図である。 作業の開始および終了のタイミングの特定に利用される画像の具体例を示す図である。 開始時刻を登録された工程データベースのデータ構成例を示す図である。 ステップＳ２２２のサブルーチンのフローチャートである。 ステップＳ３０８において新しいサンプルＩＤを登録されたサンプルデータベースのデータ構成例を示す図である。 ステップＳ３１０において新しいサンプルＩＤを登録された工程データベースのデータ構成例を示す図である。 ステップＳ３１２において新しいサンプルＩＤを登録された画像情報データベースのデータ構成例を示す図である。 終了時刻を登録された工程データベースのデータ構成例を示す図である。 工程データベースのデータ構成例を示す図である。 物品管理システムにおける複数の工程の領域を説明するための図である。 カメラからの画像の一例を示す図である。

以下に、図面を参照しつつ、物品管理方法の一実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。

［１．物品管理方法が実現されるシステムの構成例］
図１は、物品管理システムの構成例を示す図である。物品管理システムでは、作業員５００が、検体の病理診断のための作業を管理する。作業は、１以上の工程を含む。工程は、たとえば、標本作製（検体の包埋、スライス、ガラス板への貼り付け、など）、診断（画像撮影、診断結果生成、など）である。検体は、物品管理システムにおける管理対象の物品の一例であり、たとえば、病理診断の対象である細胞片や組織片によって構成される。

ある作業では、検体はガラス板９００に貼り付けられた状態で取り扱われる。ガラス板９００は、検体の容器の一例である。ガラス板には、検体の識別情報を表すコード用紙９０１が貼り付けられている。コード用紙９０１には、ＱＲ（Quick Response）コード（登録商標）などの、識別情報を表すコードが印刷されている。コード用紙９０１は、検体の識別情報を表す識別部の一例である。

物品管理システムでは、検体が搬入される領域がカメラ２００によって撮影される。物品管理システムにおけるカメラ２００の台数は、１台であってもよいし、複数台であってもよい。

物品管理システムでは、管理装置１００によって情報が管理される。管理装置１００は、カメラ２００によって撮影される画像を検体の管理に利用する。物品管理システムは、作業員５００に対して作業の内容などを提示する端末６００を含む。端末６００は、たとえば、タブレット端末などの汎用の情報処理装置によって実現される。

［２．管理装置のハードウエア構成］
図２は、管理装置１００のハードウェア構成の一例を示す図である。管理装置１００は、たとえば汎用のコンピューターによって実現され、プロセッサー１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、通信インターフェイス１０４と、記憶装置１０５と、入力装置１０６と、表示装置１０７とを含む。

プロセッサー１０１は、管理装置１００の動作を制御する。ＲＯＭ１０２は、プロセッサー１０１によって実行されるプログラムを格納する。ＲＡＭ１０３は、プロセッサー１０１によるプログラム実行の作業領域として利用される。通信インターフェイス１０４は、外部の機器との通信においてインターファイスとして利用され、たとえば、ネットワークカードによって実現される。記憶装置１０５は、プロセッサー１０１によるプログラム実行におけるパラメータなどの各種のデータを格納し、たとえば、ハードディスクドライブによって実現される。入力装置１０６は、管理装置１００への情報の入力に利用され、たとえばキーボードおよび／またはマウスによって実現される。表示装置１０７は、管理装置１００において実行される処理の状態を表示し、たとえば、液晶表示装置などのディスプレイによって実現される。

一実現例では、管理装置１００は、ＬＡＮ（Local Area Network）などのネットワークを介してカメラ２００と接続される。カメラ２００は、管理装置１００に直接接続されてもよい。

［３．データベースのデータ構成例］
記憶装置１０５には、検体の管理のために、種々のデータベースが格納され得る。以下、それぞれのデータ構成例を説明する。

（１）サンプルデータベース
図３は、サンプルデータベースのデータ構成例を表す図である。物品管理システムでは、１つの検体に対して複数のサンプルＩＤが付与され得る。サンプルデータベースは、１つの検体に対して複数のサンプルＩＤが付与された場合、当該複数のサンプルＩＤを互いに関連付けて格納する。

より具体的には、サンプルデータベースは、項目として、サンプルＩＤ（外来）、サンプルＩＤ（システム受付）、サンプルＩＤ（１）、および、サンプルＩＤ（２）を含む。

「サンプルＩＤ（外来）」は、物品管理システムに検体が搬入された際に当該検体に付与されていた識別情報を表す。

「サンプルＩＤ（システム受付）」は、物品管理システムに検体が搬入された際に当該検体に付与される識別情報を表す。

図３の例では、「サンプルＩＤ（外来）」として「Ｘ０００１」が示され、「サンプルＩＤ（システム受付）」として「Ｐ０００１」が示されている。このことは、物品管理システムがサンプルＩＤ「Ｘ０００１」を付与された検体を受け入れ、当該検体に対してサンプルＩＤ「Ｐ０００１」を付与したことを意味する。より具体的には、物品管理システムの作業員は、検体を受け入れたときに、入力装置１０６を利用して、「サンプルＩＤ（外来）」として「Ｘ０００１」を入力し、「サンプルＩＤ（システム受付）」として「Ｐ０００１」を入力する。入力されたデータがサンプルデータベースに登録される。

「サンプルＩＤ（１）」および「サンプルＩＤ（２）」のそれぞれは、物品管理システムにおいて、検体の標本が作成されることなどによって検体の新たな形態が出現した場合に、新たな形態に対して付与されたサンプルＩＤを表す。サンプルＩＤの付与については、図６～図９を参照して後述される。

（２）工程データベース
図４は、工程データベースのデータ構造例を表す図である。工程データベースは、物品管理システムにおける各工程での各検体（または標本）のサンプルＩＤを、各検体（または標本）に対する作業の状況を表す情報に関連付けて格納する。

より具体的には、工程データベースは、項目として、サンプルＩＤ、開始、および終了を含む。「開始」「終了」のそれぞれは、工程における作業の開始時刻と終了時刻のそれぞれを表す。

（３）画像情報データベース
図５は、画像情報データベースのデータ構造例を表す図である。画像情報データベースは、サンプルＩＤと、当該サンプルＩＤで特定される検体（または標本）の画像に関する情報とを関連付ける。画像に関する情報は、画像そのものであってもよいし、画像から抽出された特徴であってもよい。

図５の例では、サンプルＩＤ「Ｐ０００１」に対して「ＩＭ０００１」が関連付けられている。「ＩＭ０００１」は画像ファイルを特定する情報である。すなわち、図５の例では、サンプルＩＤ「Ｐ０００１」に、「ＩＭ０００１」で特定される画像ファイルが関連付けられている。

物品管理システムでは、検体または標本に新たなサンプルＩＤが付与された場合、当該検体または標本の外観の少なくとも一部を含む画像が撮影され、登録されてもよい。図５の例は、サンプルＩＤ「Ｐ０００１」の外観が撮影されることによって画像ファイルが生成され、当該画像ファイルが「ＩＭ０００１」として特定されることを意味する。登録された画像ファイルは、たとえば記憶装置１０５に格納される。

［４．サンプルＩＤの付与の具体例］
図６～図９を参照して、検体の新たな形態の出現におけるサンプルＩＤの付与について説明する。

図６は、検体の新たな形態の出現の一例を示す図である。図６の例では、容器８００に入れられた検体から、当該検体がスライスされてガラス板９００に張り付けられた標本が作製されている。容器８００には、コード用紙８０１が貼り付けられている。ガラス板９００には、コード用紙９０１が貼り付けられている。

図６に示されたように、上記標本が新たに出現したことに応じて、作業員は、上記標本に対して新たなサンプルＩＤを付与し、当該新たなサンプルＩＤをサンプルデータベースに登録する。

図７は、新たなサンプルＩＤを登録されたサンプルデータベースのデータ構成例を示す図である。図３と比較して、図７では、サンプルＩＤ「Ｘ０００１」に関連付けられたサンプルＩＤとして、サンプルＩＤ「Ｐ０００２」が追加されている。すなわち、図７の例は、サンプルＩＤ「Ｘ０００１」を付された検体に対して、物品管理システムでの受入時にサンプルＩＤ「Ｐ０００１」が付与され、さらに、当該検体から標本が作製されたときに、当該標本に対してサンプルＩＤ「Ｐ０００２」が付与されたこと、を意味する。

なお、コード用紙８０１に印刷されたコードはサンプルＩＤ「Ｐ０００１」を表し、コード用紙９０１に印刷されたコードはサンプルＩＤ「Ｐ０００２」を表す。

図８は、検体の新たな形態の出現の他の例を示す図である。図８の例では、容器８００内の検体から、ガラス板９１０，９２０，９３０のそれぞれに張り付けられた３つの標本が作製されている。ガラス板９１０，９２０，９３０のそれぞれには、コード用紙９１１，９２１，９３１のそれぞれが貼り付けられている。

図８に示されたように、３つの標本が新たに出現したことに応じて、作業員は、上記標本のそれぞれに対して新たなサンプルＩＤを付与し、当該新たなサンプルＩＤをサンプルデータベースに登録する。

図９は、新たなサンプルＩＤを登録されたサンプルデータベースのデータ構成例を示す図である。図３と比較して、図９では、サンプルＩＤ「Ｘ０００１」に関連付けられたサンプルＩＤとして、３つのサンプルＩＤ「Ｐ００１１」「Ｐ００１２」「Ｐ００１３」が追加されている。すなわち、図９の例は、サンプルＩＤ「Ｘ０００１」を付された検体に対して、物品管理システムでの受入時にサンプルＩＤ「Ｐ０００１」が付与され、さらに、当該検体から３つの標本が作製されたときに、当該３つの標本のそれぞれに対してサンプルＩＤ「Ｐ００１１」「Ｐ００１２」「Ｐ００１３」のそれぞれが付与されたこと、を意味する。コード用紙９１１，９２１，９３１のそれぞれに貼り付けられたコードは、サンプルＩＤ「Ｐ００１１」「Ｐ００１２」「Ｐ００１３」のそれぞれを表す。

［５．識別部からの識別情報の読み出しが阻害される事由の具体例］
物品管理システムは、カメラ２００が領域を撮影することによって生成された画像からコード用紙に印刷されたコードが抽出され、当該コードが識別情報を表すと判断されると、カメラ２００によって撮影された領域における、上記識別情報に関連付けられた物品の存在が認識される。本明細書では、適宜、コード用紙からコードを抽出することと、抽出されたコードが識別情報を表すと判断することとを併せて、「コード用紙からの識別情報の読み出し」とも称する。

コード用紙からの識別情報の読み出しは、種々の事由によって阻害され得る。図１０～図１２を参照して、コード用紙からの識別情報の読み出しが阻害される事由の具体例を説明する。

図１０は、コード用紙からの識別情報の読み出しの阻害事由を含まない、標本の一例を示す図である。図１０に示されたガラス板９００には、コード用紙９０１が貼り付けられている。なお、ガラス板９００には検体片９０３が張り付けられ、当該検体片９０３の上にはカバーガラス９０２が載置されている。図１０に示された状態では、コード用紙９０１は、コード全体を提示可能である。

図１１は、コード用紙からの識別情報の読み出しの阻害事由を含む、標本の一例を示す図である。図１１に示された状態では、コード用紙９０１に汚れ９０１Ａが付着している。汚れ９０１Ａにコードの一部を覆われることによって、コード用紙９０１は、コード全体を提示できなくなっている。図１１に示された状態では、汚れ９０１Ａの存在により、コード用紙９０１からの識別情報の読み出しが阻害される。

図１２は、コード用紙からの識別情報の読み出しの阻害事由を含む、標本の他の例を示す図である。図１２に示された状態では、コード用紙９０１は、欠損部９０１Ｂとして示されるようにその一部が欠損している。コード用紙９０１は、コードの一部を欠損部９０１Ｂとして示されるように欠いているため、コード全体を提示できなくなっている。図１２に示された状態では、欠損部９０１Ｂの存在により、コード用紙９０１からの識別情報の読み出しが阻害される。

物品管理システムでは、基本的には、コード用紙９０１から読み出された識別情報によって検体（または標本）が認識される。なお、［７．工程におけるサンプル管理の処理の流れ］において後述されるように、物品管理システムでは、コード用紙９０１自体の画像情報がサンプルＩＤと関連付けられるため、コード用紙９０１からの識別情報の読み出しが阻害されても、検体（または標本）が認識され得る。

［６．検体受入時の処理の流れ］
図１３は、物品管理システムにおいて検体が受け入れられたときに管理装置１００が実行する処理のフローチャートである。管理装置１００は、たとえばプロセッサー１０１に所与のプログラムを実行させることにより、図１３の処理を実現する。

ステップＳ１００にて、管理装置１００は、「サンプルＩＤ（外来）」を取得する。一実現例では、外部から検体を受け入れた作業員が、当該検体に付与されているサンプルＩＤを管理装置１００に入力することに応じて、管理装置１００は「サンプルＩＤ（外来）」を取得する。

ステップＳ１０２にて、管理装置１００は、「サンプルＩＤ（システム受付）」を取得する。一実現例では、作業員が、外部から受け入れた検体に対して物品管理システムにおいて新たに付与されたサンプルＩＤを入力することにより、管理装置１００は、「サンプルＩＤ（システム受付）」を取得する。

ステップＳ１０４にて、管理装置１００は、検体の画像を取得する。一実現例では、作業員が、外部から受け入れた検体を撮影し、当該検体の画像を管理装置１００に登録することにより、管理装置１００は、検体の画像を取得する。

ステップＳ１０８にて、管理装置１００は、ステップＳ１００～ステップＳ１０４において取得したサンプルＩＤと画像をデータベースに登録して、図１３の処理を終了させる。

たとえば、物品管理システムに外部からサンプルＩＤ「Ｘ０００１」を付与された検体が受け入れられ、当該検体に対してサンプルＩＤ「Ｐ０００１」が付与され、当該検体の画像がファイル名「ＩＭ０００１」で特定される場合、サンプルデータベースには、図３に示されるようにデータが登録され、画像情報データベースには、図５に示されるようにデータが登録される。

［７．工程における検体管理の処理の流れ］
図１４は、物品管理システムの各工程において検体（または標本）を管理するために管理装置１００が実行する処理のフローチャートである。管理装置１００は、たとえば、プロセッサー１０１に所与のプログラムを実行させることによって、図１４の処理を実現する。

ステップＳ２００にて、管理装置１００は、サンプルデータベースに登録されているサンプルＩＤのいずれかを取得したか否かを判断する。一実現例では、管理装置１００は、カメラ２００によって生成される画像を監視し、当該画像に含まれるコード用紙の画像からサンプルＩＤを読み出すことにより、サンプルＩＤを取得する。

カメラ２００は、図１４の処理に対応する工程が対象とする領域の画像を生成する。１つの工程が対象とする領域が、２以上のカメラ２００によって撮影されてもよい。この場合、管理装置１００は、当該２以上のカメラ２００のそれぞれによって生成された画像を取得し、それらの画像からのサンプルＩＤの読み出しを試みる。

管理装置１００は、サンプルＩＤを取得できたと判断するまでステップＳ２００に制御を留め（ステップＳ２００にてＮＯ）、サンプルＩＤを取得できたと判断すると（ステップＳ２００にてＹＥＳ）、ステップＳ２０２へ制御を進める。

たとえば、ステップＳ２００では、管理装置１００は、カメラ２００から工程Ａ（工程の一例）の作業領域の画像を取得し、当該画像からサンプルＩＤを読み出すことができたか否かを判断する。検体（または標本）がカメラ２００の撮影対象領域に搬入されると、カメラ２００によって生成される画像はコード用紙の画像を含む。これにより、管理装置１００は、コード用紙からサンプルＩＤを取得する。すなわち、上記領域に検体（または標本）が搬入されると、管理装置１００は、ステップＳ２００からステップＳ２０２へ制御を進める。

ステップＳ２０２にて、管理装置１００は、検体に新しいサンプルＩＤが付与されるか否かを判断する。たとえば、作業員は、検体から新たな標本を作製することを、端末６００を介して、管理装置１００に通知する。一実現例では、管理装置１００は、当該通知を受信すると、検体に新しいサンプルＩＤが付与されると判断する。

管理装置１００は、検体に新しいサンプルＩＤが付与されると判断すると（ステップＳ２０２にてＹＥＳ）、ステップＳ２０４へ制御を進め、そうでなければ（ステップＳ２０２にてＮＯ）、ステップＳ２０８へ制御を進める。

ステップＳ２０４にて、管理装置１００は、新しいサンプルＩＤを取得する。一実現例では、端末６００を介して作業員から新しいサンプルＩＤが管理装置１００へ送信されることにより、管理装置１００は新しいサンプルＩＤを取得する。

ステップＳ２０６にて、管理装置１００は、新しいサンプルＩＤを、ステップＳ２００にて取得したサンプルＩＤに関連付けて、サンプルデータベースに登録する。

図１５は、新しいサンプルＩＤを登録されたサンプルデータベースのデータ構造例を示す図である。図１５では、図３と比較して、サンプルＩＤ（１）として「Ｐ０００２」がさらに登録されている。図１５の例は、たとえば、物品管理システムにおける受入時にサンプルＩＤ「Ｐ０００１」を付与された検体から新たな標本が作製され、当該標本にサンプルＩＤ「Ｐ０００２」が付与されたことを意味する。

図１４に戻って、ステップＳ２０８にて、管理装置１００は、検体の画像を取得する。管理装置１００は、たとえば、作業員が、工程に搬入された検体をカメラ２００で撮影した際に、カメラ２００が生成した画像を取得することによって検体の画像を取得する。工程において検体が標本として取り扱われる場合、作業員は、カメラ２００で、当該標本を撮影する。

ステップＳ２１０にて、管理装置１００は、サンプルＩＤと画像を画像情報データベースに登録する。

図１６は、サンプルＩＤと画像を登録された、画像情報データベースのデータ構成例を示す図である。図１６では、図５と比較して、画像情報データベースにはサンプルＩＤ「Ｐ０００２」に関するデータが追加されている。より具体的には、画像情報データベースには、サンプルＩＤ「Ｐ０００２」が追加され、さらに、サンプルＩＤ「Ｐ０００２」に関連付けられた画像情報「ＩＭ０００２」が追加されている。画像情報「ＩＭ０００２」は、ステップＳ２０６においてサンプルデータベースにサンプルＩＤを追加された、新たな標本の画像であって、ステップＳ２０８において取得した画像の、ファイル名を表す。

なお、図１４が対象とする工程において新たに標本が作製されることがなければ、ステップＳ２０６において新たにサンプルＩＤが登録されない。このような場合、ステップＳ２１０では新たなサンプルＩＤの登録は省略され、ステップＳ２００にて取得したサンプルＩＤ（図５の例では、サンプルＩＤ「Ｐ０００１」）に関連付けられて、ステップＳ２０８において取得された画像が登録される。たとえば、サンプルＩＤ「Ｐ０００１」の画像情報が「ＩＭ０００１」から「ＩＭ０００２」へと変更される。

図１４に戻って、ステップＳ２１２にて、管理装置１００は、サンプルＩＤを工程データベースに登録する。管理装置１００は、ステップＳ２０４において新たなサンプルＩＤを取得していれば、ステップＳ２１２にて当該新しいサンプルＩＤを工程データベースに登録し、ステップＳ２０４において新たなサンプルＩＤを取得していなければ、ステップＳ２１２ではステップＳ２００にて取得したサンプルＩＤを工程データベースに登録する。

図４の例では、図１４が対象とする工程の工程データベースに、サンプルＩＤ「Ｐ０００２」が登録された状態が示される。

図１４に戻って、ステップＳ２１４にて、管理装置１００は、図１４が対象とする工程において、検体に対する作業が開始されたか否かを判断する。

一実現例では、管理装置１００は、カメラ２００によって生成された画像における、作業員の手と標本との位置関係に基づいて、作業の開始および終了のタイミングを特定する。図１７および図１８は、作業の開始および終了のタイミングの特定に利用される画像の具体例を示す図である。

図１７の画像１７００は、４つの要素１７１０，１７１１，１７１２，１７１３を含む。要素１７１０は、作業台を表す。要素１７１１は、標本（ガラス板）を表す。要素１７１２，１７１３のそれぞれは、作業員の左手，右手のそれぞれを表す。管理装置１００は、既存の画像認識技術を利用して各要素が対応物（作業台、標本、左手、右手）を識別し、画像１７００から、作業台において、作業員の手が標本から距離Ｄ１だけ離れた場所に位置することを特定する。

図１８の画像１８００は、４つの要素１８１０，１８１１，１８１２，１８１３を含む。要素１８１０は、作業台を表す。要素１８１１は、標本（ガラス板）を表す。要素１８１２，１８１３のそれぞれは、作業員の左手，右手のそれぞれを表す。管理装置１００は、既存の画像認識技術を利用して各要素が対応物（作業台、標本、左手、右手）を識別し、画像１８００から、作業台において作業員の手が標本と重なっていることを特定する。

管理装置１００は、たとえば、作業台において作業員の手が標本と重なったタイミングを作業が開始されたタイミングとして規定し、作業員の手が標本から所与の閾値以上離れた時間が一定時間以上継続したタイミングを作業が終了したタイミングとして規定する。なお、管理装置１００は、作業の開始および終了のタイミングを、作業員の手以外の部分（腕、頭、など）と標本との位置関係に基づいて規定してもよい。

なお、カメラの画像に基づく方法は、作業の開始および終了のタイミングの特定の方法の単なる一例である。開始および終了のタイミングの少なくとも一方は、作業員が端末６００を介して所与のデータを管理装置１００に送信したタイミングとして特定されてもよい。

図１４に戻って、管理装置１００は、作業が開始されたと判断すると判断するまでステップＳ２１４へ制御を留め（ステップＳ２１４にてＮＯ）、作業が開始されたと判断すると（ステップＳ２１４にてＹＥＳ）、ステップＳ２１６へ制御を進める。

ステップＳ２１６にて、管理装置１００は、開始時刻（ステップＳ２１４にて作業が開始したと判断した時刻）を工程データベースに登録する。

図１９は、開始時刻を登録された工程データベースのデータ構成例を示す図である。図４と比較して、図１９では、開始時刻が追加されている。

図１４に戻って、ステップＳ２１８にて、管理装置１００は、カメラ２００から作業の対象領域の画像を取得し、当該画像から、工程データベースに登録されているサンプルＩＤを読み出せたか否かを判断する。管理装置１００は、上記サンプルＩＤを読み出せたと判断すると（ステップＳ２１８にてＹＥＳ）、ステップＳ２２４へ制御を進め、そうでなければ（ステップＳ２１８にてＮＯ）、ステップＳ２２０へ制御を進める。

ステップＳ２２０にて、管理装置１００は、作業の対象領域の画像から、工程データベースに登録されているサンプルＩＤについて、画像情報データベースに登録されている画像の特徴を抽出できたか否かを判断する。管理装置１００は、上記特徴を抽出できたと判断すると（ステップＳ２２０にてＹＥＳ）、ステップＳ２２４へ制御を進め、そうでなければ（ステップＳ２２０にてＮＯ）、ステップＳ２２２へ制御を進める。

画像情報データベースへの特徴の登録については、図２０を参照して後述する。

ステップＳ２２２にて、管理装置１００は、追加のサンプルＩＤを登録する。

図２０は、ステップＳ２２２のサブルーチンのフローチャートである。図２０を参照して、ステップＳ２２２における追加のサンプルＩＤの登録について説明する。

ステップＳ３００にて、管理装置１００は、作業の対象領域の画像から、工程データベースに登録されたサンプルＩＤに関連付けられた画像と所与の割合以上一致する部分の抽出を試みる。管理装置１００は、上記部分の抽出に成功すると（ステップＳ３００にてＹＥＳ）、ステップＳ３０４へ制御を進め、そうでなければ（ステップＳ３００にてＮＯ）、ステップＳ３０２へ制御を進める。

ステップＳ３０２にて、管理装置１００は、エラーを出力して、図１４および図２０の処理を終了させる。

ステップＳ３０４にて、管理装置１００は、ステップＳ３００において抽出した部分から識別部（コード用紙）に対応する部分を抽出する。識別部（コード用紙）に対応する部分は、たとえば、コード用紙の特徴（たとえば、ＱＲコードとしての画像を規定する特徴）を所定の割合以上含む領域として抽出される。

ステップＳ３０６にて、管理装置１００は、ステップＳ３０４において抽出された領域の特徴を検出する。検出される特徴は、コード用紙上の汚れや欠損の形状および／または位置であってもよいし、当該形状が近似する図形（円形、三角形、四角形、など）であってもよいし、汚れや欠損に対応する部分の色であってもよいし、これらの組合せであってもよい。

ステップＳ３０８にて、管理装置１００は、新しいサンプルＩＤをサンプルデータベースに登録する。

ステップＳ３１０にて、管理装置１００は、新しいサンプルＩＤ（ステップＳ３０８においてサンプルデータベースに登録されたもの）を工程データベースに登録する。

ステップＳ３１２にて、管理装置１００は、新しいサンプルＩＤと、ステップＳ３０６において検出された特徴とを、互いに関連付けて、画像情報データベースに登録する。その後、管理装置１００は、図１４に制御を戻す。

図２１は、ステップＳ３０８において新しいサンプルＩＤを登録されたサンプルデータベースのデータ構成例を示す図である。図１５と比較して、図２１では、サンプルデータベースにサンプルＩＤ「Ｐ０００３」が追加されている。図２１のサンプルデータベースは、管理装置１００は、サンプルＩＤ「Ｐ０００２」として特定される検体に対する作業中に、作業の対象領域の画像からサンプルＩＤを読み出せなくなったため、当該検体に対して新たにサンプルＩＤ「Ｐ０００３」を付与したことを意味する。

図２２は、ステップＳ３１０において新しいサンプルＩＤを登録された工程データベースのデータ構成例を示す図である。図１９と比較して、図２２では、工程データベースに登録されているサンプルＩＤが「Ｐ０００２」から「Ｐ０００３」へと変更されている。図２２の工程データベースは、工程の対象（検体または標本）が、サンプルＩＤ「Ｐ０００２」によって特定されるものから、サンプルＩＤ「Ｐ０００３」へと変更されたことを意味する。

図２３は、ステップＳ３１２において新しいサンプルＩＤを登録された画像情報データベースのデータ構成例を示す図である。図１６と比較して、図２３では、サンプルＩＤ「Ｐ０００３」が追加され、また、サンプルＩＤ「Ｐ０００３」に関連付けられている画像情報「ＦＴ０００３」が追加されている。画像情報「ＦＴ０００３」は、ステップＳ３０６において抽出された、特徴を表すデータである。すなわち、図２３の画像情報データベースには、工程の新たな対象（検体または標本を表すサンプルＩＤ）と、当該新たな対象のコード用紙に相当する部分の外観の特徴とが、新たに登録されている。

図１４に戻って、ステップＳ２２４にて、管理装置１００は、工程において、検体に対する作業が終了したか否かを判断する。管理装置１００は、作業が終了したことを、たとえば図１７および図１８を参照して説明した方法で特定する。

管理装置１００は、検体に対する作業が終了したと判断すると（ステップＳ２２４にてＹＥＳ）、ステップＳ２２６へ制御を進め、そうでなければ（ステップＳ２２４にてＮＯ）、ステップＳ２１８へ制御を戻す。

ステップＳ２２６にて、管理装置１００は、工程データベースに終了時刻を登録して、ステップＳ２００へ制御を戻す。

図２４は、終了時刻を登録された工程データベースのデータ構成例を示す図である。図２２と比較して、図２４では、サンプルＩＤ「Ｐ０００３」について、終了時刻が追加されている。

以上、図１４～図２４を参照して説明された処理では、管理装置１００は、工程において処理対象の検体の存在を、カメラ２００からの画像から、検体（または容器としてのガラス板）のコード用紙上のサンプルＩＤを読み出すことによって認識する。

管理装置１００は、検体の外観の画像を画像情報データベースに登録する。コード用紙上のサンプルＩＤを読み出せない場合、管理装置１００は、カメラ２００からの画像から、検体の外観の画像と所与の割合以上一致する部分を抽出し、さらに、当該部分からコード用紙に対応する領域を抽出し、新たなサンプルＩＤを規定し、当該領域の画像の特徴を新たなサンプルＩＤとともに画像情報データベースに登録する。

管理装置１００は、上記特徴の登録後、カメラ２００からの画像からサンプルＩＤを読み出せない場合、カメラ２００からの画像から登録された特徴を抽出できれば（ステップＳ２２０にてＹＥＳ）、工程における処理対象の検体の存在を認識する。

管理装置１００は、工程において処理対象の検体の存在が認識する限り、エラーを出力せず、工程において処理対象の検体の存在が認識できなければ、ステップＳ３０２においてエラーを出力する。

工程データベースは、各工程の情報を管理する。記憶装置１０５には、複数の工程のそれぞれの工程データベースが格納されてもよい。

工程データベースは、複数の工程の情報を含んでいてもよい。図２５は、工程データベースのデータ構成例を示す図である。

図２５の例では、工程データベースは複数の工程（工程Ａおよび工程Ｂ）についての開始時刻および終了時刻を含む。管理装置１００は、ステップＳ２１６およびステップＳ２２６では、図１４の処理が対象としている工程について、開始時刻および終了時刻を登録する。図２５の工程データベースを参照することにより、１つの検体が複数の工程のそれぞれの対象となった時刻を追跡することができる。

図２６は、物品管理システムにおける複数の工程の領域を説明するための図である。図２６において、領域２６１０は工程Ａのための領域であり、領域２６２０は工程Ｂのための領域であるとする。カメラ２００Ａは、領域２６１０を撮影し、カメラ２００Ｂは、領域２６２０を撮影する。管理装置１００は、カメラ２００Ａからの画像から読み出したサンプルＩＤについては、工程Ａにデータを登録し、カメラ２００Ｂからの画像から読み出したサンプルＩＤについては、工程Ｂにデータを登録してもよい。

図２６には、領域２６３１，２６３２がさらに示される。領域２６３１，２６３２のそれぞれは、領域２６１０から領域２６２０へ、または、領域２６２０から領域２６１０へ、検体を受け渡すための領域である。

物品管理システムは、領域２６３１，２６３２のそれぞれを撮影するためのカメラをさらに備えていてもよく、管理装置１００は、当該カメラからの画像からサンプルＩＤを読み出すことによって、検体が領域２６３１，２６３２を通過した時刻を管理しても良い。

管理装置１００は、また、カメラからの画像からサンプルＩＤを読み出す場合、検体が作業され得る範囲（たとえば、作業台）を読み出しの対象としてもよい。

図２７は、カメラからの画像の一例を示す図である。要素２７１０は、作業台を表す。管理装置１００は、カメラからの画像のうち作業台に相当する領域、すなわち、要素２７１０の内側のみを、サンプルＩＤの読み出しの対象としてもよい。これにより、図２７の例では、要素２７１０の内側に位置する要素ＰＬ１はサンプルＩＤの読み出し対象になるが、要素２７１０の外側に位置する要素ＰＬ２はサンプルＩＤの読み出し対象にはならない。

病理診断の現場では、検査結果の入れ違いを防止するなどの観点から各物品の管理が特に慎重に行われる必要がある一方で、検体の染色に利用される薬品によって識別部が汚れる場面が多く想定される。本開示によれば、識別部が汚れたり、識別部の一部が欠損したりしても、カメラからの画像において検体の外観が特定されれば（ステップＳ３００にてＹＥＳ）、当該検体について新しいサンプルＩＤが規定され、新しいサンプルＩＤは、識別部（コード用紙）の画像情報に関連付けて格納される。その後、検体は、識別部（コード用紙）の画像情報によって特定され得る。これにより、識別部が汚れたり破損したりした場合でも、作業員の労力の増大が抑制され得る。

「検体の外観」は、検体の容器の外観であってもよいし、検体そのものの外観であってもよい。すなわち、画像情報に登録される「ＩＭ０００１」「ＩＭ０００２」などの画像は、容器に入れられた検体の画像であってもよいし、容器に収容されていない検体そのものの画像であってもよい。たとえば、ステップＳ２０８において取得される画像として、作業員は、カメラに、ガラス板のカバーガラスに覆われた部分の画像を撮影されてもよい。これにより、ステップＳ２１０では、カバーガラスを通して視認され得る検体片を含む画像が、登録され得る。管理装置１００は、ステップＳ３００にて、コード用紙の汚れまたは欠損などによってサンプルＩＤの読み出しに失敗した場合、ガラス板上の検体片のパターンで検体を特定し得る。

今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合わせても、実施することが意図される。

１００ 管理装置、２００，２００Ａ，２００Ｂ カメラ、５００ 作業員、６００ 端末、８００ 容器、８０１，９０１，９１１，９２１，９３１ コード用紙、９００，９１０，９２０，９３０ ガラス板、９０１Ａ 汚れ、９０１Ｂ 欠損部、９０２ カバーガラス、９０３ 検体片。

Claims (10)

1. コンピューターによって実行される方法であって、
   物品に割り当てられた識別情報と、前記物品の画像情報とを関連付けて登録するステップを含み、
   前記物品は、前記識別情報を表す識別部を含み、
   前記物品に関する作業対象の領域の画像を取得するステップと、
   前記領域の画像において前記物品の存在を認識するステップとを含み、
   前記認識するステップは、
   前記領域の画像において、前記識別部の画像から前記識別情報を読み出せる場合に、前記識別情報を用いて前記物品の存在を認識することと、
   前記領域の画像において、前記識別情報を読み出せない場合であって前記物品の画像情報が認識できた場合に、前記識別部の画像情報を前記識別情報に関連付けて登録することと、
   前記識別部の画像情報が前記識別情報と関連付けられている場合に、前記領域の画像において、前記識別部の画像情報を用いて前記物品の存在を認識することとを含む、物品の認識方法。
2. 前記識別部の画像情報を前記識別情報と関連付けて登録することは、前記識別部の画像の特徴量を登録することを含み、
   前記物品の存在を認識することは、前記領域の画像において登録された特徴量を認識することを含む、請求項１に記載の物品の認識方法。
3. 前記物品は、病理診断の対象である検体または検体の容器である、請求項１または請求項２に記載の物品の認識方法。
4. 前記物品の画像情報は、検体の容器の画像を含む、請求項１～請求項３のいずれか１項に記載の物品の認識方法。
5. 前記物品の画像情報は、検体の画像を含む、請求項３に記載の物品の認識方法。
6. 前記画像を取得するステップは、２以上の領域のそれぞれの画像を取得することを含み、
   前記物品が存在を認識された領域に関連付けて前記物品の存在を登録するステップと、をさらに含む、請求項１～請求項５のいずれか１項に記載の物品の認識方法。
7. 前記領域の画像における作業員と物品との位置関係に基づいて、前記領域における作業の開始のタイミングと終了のタイミングを特定するステップをさらに含み、
   前記存在を登録するステップは、前記領域における作業の開始のタイミングと終了のタイミングを特定する情報を登録することを含む、請求項６に記載の物品の認識方法。
8. 前記作業員と物品との位置関係は、前記作業員の所与の部位と物品との距離を含む、請求項７に記載の物品の認識方法。
9. コンピューターのプロセッサーによって実行されることにより、前記コンピューターに請求項１～請求項８のいずれか１項に記載の物品の認識方法を実施させる、プログラム。
10. 請求項９に記載のプログラムを格納した記憶装置と、
    前記記憶装置に格納されたプログラムを実行するプロセッサーとを備える、情報処理装置。

Images