JP7443938B2 - 物品の認識方法、プログラム、および情報処理装置 - Google Patents

物品の認識方法、プログラム、および情報処理装置 Download PDF

Info

Publication number
JP7443938B2
JP7443938B2 JP2020095511A JP2020095511A JP7443938B2 JP 7443938 B2 JP7443938 B2 JP 7443938B2 JP 2020095511 A JP2020095511 A JP 2020095511A JP 2020095511 A JP2020095511 A JP 2020095511A JP 7443938 B2 JP7443938 B2 JP 7443938B2
Authority
JP
Japan
Prior art keywords
article
image
sample
specimen
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020095511A
Other languages
English (en)
Other versions
JP2021189842A (ja
Inventor
美沙紀 船渡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2020095511A priority Critical patent/JP7443938B2/ja
Publication of JP2021189842A publication Critical patent/JP2021189842A/ja
Application granted granted Critical
Publication of JP7443938B2 publication Critical patent/JP7443938B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Sampling And Sample Adjustment (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Image Analysis (AREA)

Description

本開示は、領域における物品の認識に関し、特に、物品の識別情報を表す識別部を利用した当該物品の認識に関する。
従来、物品ごとに付与された管理番号を用いて各物品を管理する技術が提案されている。たとえば、特開2008-135072号公報(特許文献1)および特開2008-235504号公報(特許文献2)等に記載されるように、物品に管理番号を表す識別部(バーコードなど)を付し、物品に付された識別部に含まれる情報をバーコードリーダーなどの読取装置で読み取り、管理用の装置が読み取り結果を取得することによって各物品を認識する技術を開示している。
特開2008-135072号公報 特開2008-235504号公報
従来の技術では、識別部が汚れたり欠損したりすると、読取装置は識別部を読み取れなくなり、管理用の装置は物品を認識するための情報を得られなくなる。この場合、作業員は、物品に手描きで管理番号を記入し、記入された管理番号を手動で管理用の装置に入力することを必要とされ、多くの労力を必要とされている。
本開示は、係る実情に鑑み考え出されたものであり、その目的は、物品に付された識別部が汚れたり破損したりした場合であっても作業員の労力の増大を抑制するための技術を提供することである。
本開示のある局面に従うと、コンピューターによって実行される方法であって、物品に割り当てられた識別情報と、物品の画像情報とを関連付けて登録するステップを含み、物品は、識別情報を表す識別部を含み、物品に関する作業対象の領域の画像を取得するステップと、領域の画像において物品の存在を認識するステップとを含み、認識するステップは、領域の画像において、識別部の画像から識別情報を読み出せる場合に、識別情報を用いて物品の存在を認識することと、領域の画像において、識別情報を読み出せない場合であって物品の画像情報が認識できた場合に、識別部の画像情報を識別情報に関連付けて登録することと、識別部の画像情報が識別情報と関連付けられている場合に、領域の画像において、識別部の画像情報を用いて物品の存在を認識することとを含む、物品の認識方法が提供される。
識別部の画像情報を識別情報と関連付けて登録することは、識別部の画像の特徴量を登録することを含んでいてもよい。物品の存在を認識することは、領域の画像において登録された特徴量を認識することを含んでいてもよい。
物品は、病理診断の対象である検体または検体の容器であってもよい。
物品の画像情報は、検体の容器の画像を含んでいてもよい。
物品の画像情報は、検体の画像を含んでいてもよい。
画像を取得するステップは、2以上の領域のそれぞれの画像を取得することを含んでいてもよい。物品が存在を認識された領域に関連付けて物品の存在を登録するステップと、をさらに含んでいてもよい。
物品の認識方法は、領域の画像における作業員と物品との位置関係に基づいて、領域における作業の開始のタイミングと終了のタイミングを特定するステップをさらに含んでいてもよい。存在を登録するステップは、領域における作業の開始のタイミングと終了のタイミングを特定する情報を登録することを含んでいてもよい。
作業員と物品との位置関係は、作業員の所与の部位と物品との距離を含んでいてもよい。
本開示の他の局面に従うと、コンピューターのプロセッサーによって実行されることにより、コンピューターに上記の方法を実施させる、プログラムが提供される。
本開示のさらに他の局面に従うと、上記プログラムを格納した記憶装置と、記憶装置に格納されたプログラムを実行するプロセッサーとを備える、情報処理装置が提供される。
本開示によれば、物品の画像情報と識別部の識別情報とが関連付けられて登録されているため、コンピューターは、物品の識別部から識別情報が読み出せない場合、物品の画像情報に関連付けられた識別情報に識別部の画像情報を関連付ける。これにより、コンピューターは、物品の識別部から識別情報を読み出せない場合、物品の識別部の画像情報を取得し、当該画像情報に関連付けられた識別情報を認識することにより、物品を認識することができる。すなわち、物品の識別部において汚れや欠損が生じても、作業員に識別情報の入力のための労力を要することなく、物品の認識が可能になる。
物品管理システムの構成例を示す図である。 管理装置100のハードウェア構成の一例を示す図である。 サンプルデータベースのデータ構成例を表す図である。 工程データベースのデータ構造例を表す図である。 画像情報データベースのデータ構造例を表す図である。 検体の新たな形態の出現の一例を示す図である。 新たなサンプルIDを登録されたサンプルデータベースのデータ構成例を示す図である。 検体の新たな形態の出現の他の例を示す図である。 新たなサンプルIDを登録されたサンプルデータベースのデータ構成例を示す図である。 コード用紙からの識別情報の読み出しの阻害事由を含まない、標本の一例を示す図である。 コード用紙からの識別情報の読み出しの阻害事由を含む、標本の一例を示す図である。 コード用紙からの識別情報の読み出しの阻害事由を含む、標本の他の例を示す図である。 物品管理システムにおいて検体が受け入れられたときに管理装置100が実行する処理のフローチャートである。 物品管理システムの各工程において検体(または標本)を管理するために管理装置100が実行する処理のフローチャートである。 新しいサンプルIDを登録されたサンプルデータベースのデータ構造例を示す図である。 サンプルIDと画像を登録された、画像情報データベースのデータ構成例を示す図である。 作業の開始および終了のタイミングの特定に利用される画像の具体例を示す図である。 作業の開始および終了のタイミングの特定に利用される画像の具体例を示す図である。 開始時刻を登録された工程データベースのデータ構成例を示す図である。 ステップS222のサブルーチンのフローチャートである。 ステップS308において新しいサンプルIDを登録されたサンプルデータベースのデータ構成例を示す図である。 ステップS310において新しいサンプルIDを登録された工程データベースのデータ構成例を示す図である。 ステップS312において新しいサンプルIDを登録された画像情報データベースのデータ構成例を示す図である。 終了時刻を登録された工程データベースのデータ構成例を示す図である。 工程データベースのデータ構成例を示す図である。 物品管理システムにおける複数の工程の領域を説明するための図である。 カメラからの画像の一例を示す図である。
以下に、図面を参照しつつ、物品管理方法の一実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。
[1.物品管理方法が実現されるシステムの構成例]
図1は、物品管理システムの構成例を示す図である。物品管理システムでは、作業員500が、検体の病理診断のための作業を管理する。作業は、1以上の工程を含む。工程は、たとえば、標本作製(検体の包埋、スライス、ガラス板への貼り付け、など)、診断(画像撮影、診断結果生成、など)である。検体は、物品管理システムにおける管理対象の物品の一例であり、たとえば、病理診断の対象である細胞片や組織片によって構成される。
ある作業では、検体はガラス板900に貼り付けられた状態で取り扱われる。ガラス板900は、検体の容器の一例である。ガラス板には、検体の識別情報を表すコード用紙901が貼り付けられている。コード用紙901には、QR(Quick Response)コード(登録商標)などの、識別情報を表すコードが印刷されている。コード用紙901は、検体の識別情報を表す識別部の一例である。
物品管理システムでは、検体が搬入される領域がカメラ200によって撮影される。物品管理システムにおけるカメラ200の台数は、1台であってもよいし、複数台であってもよい。
物品管理システムでは、管理装置100によって情報が管理される。管理装置100は、カメラ200によって撮影される画像を検体の管理に利用する。物品管理システムは、作業員500に対して作業の内容などを提示する端末600を含む。端末600は、たとえば、タブレット端末などの汎用の情報処理装置によって実現される。
[2.管理装置のハードウエア構成]
図2は、管理装置100のハードウェア構成の一例を示す図である。管理装置100は、たとえば汎用のコンピューターによって実現され、プロセッサー101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、通信インターフェイス104と、記憶装置105と、入力装置106と、表示装置107とを含む。
プロセッサー101は、管理装置100の動作を制御する。ROM102は、プロセッサー101によって実行されるプログラムを格納する。RAM103は、プロセッサー101によるプログラム実行の作業領域として利用される。通信インターフェイス104は、外部の機器との通信においてインターファイスとして利用され、たとえば、ネットワークカードによって実現される。記憶装置105は、プロセッサー101によるプログラム実行におけるパラメータなどの各種のデータを格納し、たとえば、ハードディスクドライブによって実現される。入力装置106は、管理装置100への情報の入力に利用され、たとえばキーボードおよび/またはマウスによって実現される。表示装置107は、管理装置100において実行される処理の状態を表示し、たとえば、液晶表示装置などのディスプレイによって実現される。
一実現例では、管理装置100は、LAN(Local Area Network)などのネットワークを介してカメラ200と接続される。カメラ200は、管理装置100に直接接続されてもよい。
[3.データベースのデータ構成例]
記憶装置105には、検体の管理のために、種々のデータベースが格納され得る。以下、それぞれのデータ構成例を説明する。
(1)サンプルデータベース
図3は、サンプルデータベースのデータ構成例を表す図である。物品管理システムでは、1つの検体に対して複数のサンプルIDが付与され得る。サンプルデータベースは、1つの検体に対して複数のサンプルIDが付与された場合、当該複数のサンプルIDを互いに関連付けて格納する。
より具体的には、サンプルデータベースは、項目として、サンプルID(外来)、サンプルID(システム受付)、サンプルID(1)、および、サンプルID(2)を含む。
「サンプルID(外来)」は、物品管理システムに検体が搬入された際に当該検体に付与されていた識別情報を表す。
「サンプルID(システム受付)」は、物品管理システムに検体が搬入された際に当該検体に付与される識別情報を表す。
図3の例では、「サンプルID(外来)」として「X0001」が示され、「サンプルID(システム受付)」として「P0001」が示されている。このことは、物品管理システムがサンプルID「X0001」を付与された検体を受け入れ、当該検体に対してサンプルID「P0001」を付与したことを意味する。より具体的には、物品管理システムの作業員は、検体を受け入れたときに、入力装置106を利用して、「サンプルID(外来)」として「X0001」を入力し、「サンプルID(システム受付)」として「P0001」を入力する。入力されたデータがサンプルデータベースに登録される。
「サンプルID(1)」および「サンプルID(2)」のそれぞれは、物品管理システムにおいて、検体の標本が作成されることなどによって検体の新たな形態が出現した場合に、新たな形態に対して付与されたサンプルIDを表す。サンプルIDの付与については、図6~図9を参照して後述される。
(2)工程データベース
図4は、工程データベースのデータ構造例を表す図である。工程データベースは、物品管理システムにおける各工程での各検体(または標本)のサンプルIDを、各検体(または標本)に対する作業の状況を表す情報に関連付けて格納する。
より具体的には、工程データベースは、項目として、サンプルID、開始、および終了を含む。「開始」「終了」のそれぞれは、工程における作業の開始時刻と終了時刻のそれぞれを表す。
(3)画像情報データベース
図5は、画像情報データベースのデータ構造例を表す図である。画像情報データベースは、サンプルIDと、当該サンプルIDで特定される検体(または標本)の画像に関する情報とを関連付ける。画像に関する情報は、画像そのものであってもよいし、画像から抽出された特徴であってもよい。
図5の例では、サンプルID「P0001」に対して「IM0001」が関連付けられている。「IM0001」は画像ファイルを特定する情報である。すなわち、図5の例では、サンプルID「P0001」に、「IM0001」で特定される画像ファイルが関連付けられている。
物品管理システムでは、検体または標本に新たなサンプルIDが付与された場合、当該検体または標本の外観の少なくとも一部を含む画像が撮影され、登録されてもよい。図5の例は、サンプルID「P0001」の外観が撮影されることによって画像ファイルが生成され、当該画像ファイルが「IM0001」として特定されることを意味する。登録された画像ファイルは、たとえば記憶装置105に格納される。
[4.サンプルIDの付与の具体例]
図6~図9を参照して、検体の新たな形態の出現におけるサンプルIDの付与について説明する。
図6は、検体の新たな形態の出現の一例を示す図である。図6の例では、容器800に入れられた検体から、当該検体がスライスされてガラス板900に張り付けられた標本が作製されている。容器800には、コード用紙801が貼り付けられている。ガラス板900には、コード用紙901が貼り付けられている。
図6に示されたように、上記標本が新たに出現したことに応じて、作業員は、上記標本に対して新たなサンプルIDを付与し、当該新たなサンプルIDをサンプルデータベースに登録する。
図7は、新たなサンプルIDを登録されたサンプルデータベースのデータ構成例を示す図である。図3と比較して、図7では、サンプルID「X0001」に関連付けられたサンプルIDとして、サンプルID「P0002」が追加されている。すなわち、図7の例は、サンプルID「X0001」を付された検体に対して、物品管理システムでの受入時にサンプルID「P0001」が付与され、さらに、当該検体から標本が作製されたときに、当該標本に対してサンプルID「P0002」が付与されたこと、を意味する。
なお、コード用紙801に印刷されたコードはサンプルID「P0001」を表し、コード用紙901に印刷されたコードはサンプルID「P0002」を表す。
図8は、検体の新たな形態の出現の他の例を示す図である。図8の例では、容器800内の検体から、ガラス板910,920,930のそれぞれに張り付けられた3つの標本が作製されている。ガラス板910,920,930のそれぞれには、コード用紙911,921,931のそれぞれが貼り付けられている。
図8に示されたように、3つの標本が新たに出現したことに応じて、作業員は、上記標本のそれぞれに対して新たなサンプルIDを付与し、当該新たなサンプルIDをサンプルデータベースに登録する。
図9は、新たなサンプルIDを登録されたサンプルデータベースのデータ構成例を示す図である。図3と比較して、図9では、サンプルID「X0001」に関連付けられたサンプルIDとして、3つのサンプルID「P0011」「P0012」「P0013」が追加されている。すなわち、図9の例は、サンプルID「X0001」を付された検体に対して、物品管理システムでの受入時にサンプルID「P0001」が付与され、さらに、当該検体から3つの標本が作製されたときに、当該3つの標本のそれぞれに対してサンプルID「P0011」「P0012」「P0013」のそれぞれが付与されたこと、を意味する。コード用紙911,921,931のそれぞれに貼り付けられたコードは、サンプルID「P0011」「P0012」「P0013」のそれぞれを表す。
[5.識別部からの識別情報の読み出しが阻害される事由の具体例]
物品管理システムは、カメラ200が領域を撮影することによって生成された画像からコード用紙に印刷されたコードが抽出され、当該コードが識別情報を表すと判断されると、カメラ200によって撮影された領域における、上記識別情報に関連付けられた物品の存在が認識される。本明細書では、適宜、コード用紙からコードを抽出することと、抽出されたコードが識別情報を表すと判断することとを併せて、「コード用紙からの識別情報の読み出し」とも称する。
コード用紙からの識別情報の読み出しは、種々の事由によって阻害され得る。図10~図12を参照して、コード用紙からの識別情報の読み出しが阻害される事由の具体例を説明する。
図10は、コード用紙からの識別情報の読み出しの阻害事由を含まない、標本の一例を示す図である。図10に示されたガラス板900には、コード用紙901が貼り付けられている。なお、ガラス板900には検体片903が張り付けられ、当該検体片903の上にはカバーガラス902が載置されている。図10に示された状態では、コード用紙901は、コード全体を提示可能である。
図11は、コード用紙からの識別情報の読み出しの阻害事由を含む、標本の一例を示す図である。図11に示された状態では、コード用紙901に汚れ901Aが付着している。汚れ901Aにコードの一部を覆われることによって、コード用紙901は、コード全体を提示できなくなっている。図11に示された状態では、汚れ901Aの存在により、コード用紙901からの識別情報の読み出しが阻害される。
図12は、コード用紙からの識別情報の読み出しの阻害事由を含む、標本の他の例を示す図である。図12に示された状態では、コード用紙901は、欠損部901Bとして示されるようにその一部が欠損している。コード用紙901は、コードの一部を欠損部901Bとして示されるように欠いているため、コード全体を提示できなくなっている。図12に示された状態では、欠損部901Bの存在により、コード用紙901からの識別情報の読み出しが阻害される。
物品管理システムでは、基本的には、コード用紙901から読み出された識別情報によって検体(または標本)が認識される。なお、[7.工程におけるサンプル管理の処理の流れ]において後述されるように、物品管理システムでは、コード用紙901自体の画像情報がサンプルIDと関連付けられるため、コード用紙901からの識別情報の読み出しが阻害されても、検体(または標本)が認識され得る。
[6.検体受入時の処理の流れ]
図13は、物品管理システムにおいて検体が受け入れられたときに管理装置100が実行する処理のフローチャートである。管理装置100は、たとえばプロセッサー101に所与のプログラムを実行させることにより、図13の処理を実現する。
ステップS100にて、管理装置100は、「サンプルID(外来)」を取得する。一実現例では、外部から検体を受け入れた作業員が、当該検体に付与されているサンプルIDを管理装置100に入力することに応じて、管理装置100は「サンプルID(外来)」を取得する。
ステップS102にて、管理装置100は、「サンプルID(システム受付)」を取得する。一実現例では、作業員が、外部から受け入れた検体に対して物品管理システムにおいて新たに付与されたサンプルIDを入力することにより、管理装置100は、「サンプルID(システム受付)」を取得する。
ステップS104にて、管理装置100は、検体の画像を取得する。一実現例では、作業員が、外部から受け入れた検体を撮影し、当該検体の画像を管理装置100に登録することにより、管理装置100は、検体の画像を取得する。
ステップS108にて、管理装置100は、ステップS100~ステップS104において取得したサンプルIDと画像をデータベースに登録して、図13の処理を終了させる。
たとえば、物品管理システムに外部からサンプルID「X0001」を付与された検体が受け入れられ、当該検体に対してサンプルID「P0001」が付与され、当該検体の画像がファイル名「IM0001」で特定される場合、サンプルデータベースには、図3に示されるようにデータが登録され、画像情報データベースには、図5に示されるようにデータが登録される。
[7.工程における検体管理の処理の流れ]
図14は、物品管理システムの各工程において検体(または標本)を管理するために管理装置100が実行する処理のフローチャートである。管理装置100は、たとえば、プロセッサー101に所与のプログラムを実行させることによって、図14の処理を実現する。
ステップS200にて、管理装置100は、サンプルデータベースに登録されているサンプルIDのいずれかを取得したか否かを判断する。一実現例では、管理装置100は、カメラ200によって生成される画像を監視し、当該画像に含まれるコード用紙の画像からサンプルIDを読み出すことにより、サンプルIDを取得する。
カメラ200は、図14の処理に対応する工程が対象とする領域の画像を生成する。1つの工程が対象とする領域が、2以上のカメラ200によって撮影されてもよい。この場合、管理装置100は、当該2以上のカメラ200のそれぞれによって生成された画像を取得し、それらの画像からのサンプルIDの読み出しを試みる。
管理装置100は、サンプルIDを取得できたと判断するまでステップS200に制御を留め(ステップS200にてNO)、サンプルIDを取得できたと判断すると(ステップS200にてYES)、ステップS202へ制御を進める。
たとえば、ステップS200では、管理装置100は、カメラ200から工程A(工程の一例)の作業領域の画像を取得し、当該画像からサンプルIDを読み出すことができたか否かを判断する。検体(または標本)がカメラ200の撮影対象領域に搬入されると、カメラ200によって生成される画像はコード用紙の画像を含む。これにより、管理装置100は、コード用紙からサンプルIDを取得する。すなわち、上記領域に検体(または標本)が搬入されると、管理装置100は、ステップS200からステップS202へ制御を進める。
ステップS202にて、管理装置100は、検体に新しいサンプルIDが付与されるか否かを判断する。たとえば、作業員は、検体から新たな標本を作製することを、端末600を介して、管理装置100に通知する。一実現例では、管理装置100は、当該通知を受信すると、検体に新しいサンプルIDが付与されると判断する。
管理装置100は、検体に新しいサンプルIDが付与されると判断すると(ステップS202にてYES)、ステップS204へ制御を進め、そうでなければ(ステップS202にてNO)、ステップS208へ制御を進める。
ステップS204にて、管理装置100は、新しいサンプルIDを取得する。一実現例では、端末600を介して作業員から新しいサンプルIDが管理装置100へ送信されることにより、管理装置100は新しいサンプルIDを取得する。
ステップS206にて、管理装置100は、新しいサンプルIDを、ステップS200にて取得したサンプルIDに関連付けて、サンプルデータベースに登録する。
図15は、新しいサンプルIDを登録されたサンプルデータベースのデータ構造例を示す図である。図15では、図3と比較して、サンプルID(1)として「P0002」がさらに登録されている。図15の例は、たとえば、物品管理システムにおける受入時にサンプルID「P0001」を付与された検体から新たな標本が作製され、当該標本にサンプルID「P0002」が付与されたことを意味する。
図14に戻って、ステップS208にて、管理装置100は、検体の画像を取得する。管理装置100は、たとえば、作業員が、工程に搬入された検体をカメラ200で撮影した際に、カメラ200が生成した画像を取得することによって検体の画像を取得する。工程において検体が標本として取り扱われる場合、作業員は、カメラ200で、当該標本を撮影する。
ステップS210にて、管理装置100は、サンプルIDと画像を画像情報データベースに登録する。
図16は、サンプルIDと画像を登録された、画像情報データベースのデータ構成例を示す図である。図16では、図5と比較して、画像情報データベースにはサンプルID「P0002」に関するデータが追加されている。より具体的には、画像情報データベースには、サンプルID「P0002」が追加され、さらに、サンプルID「P0002」に関連付けられた画像情報「IM0002」が追加されている。画像情報「IM0002」は、ステップS206においてサンプルデータベースにサンプルIDを追加された、新たな標本の画像であって、ステップS208において取得した画像の、ファイル名を表す。
なお、図14が対象とする工程において新たに標本が作製されることがなければ、ステップS206において新たにサンプルIDが登録されない。このような場合、ステップS210では新たなサンプルIDの登録は省略され、ステップS200にて取得したサンプルID(図5の例では、サンプルID「P0001」)に関連付けられて、ステップS208において取得された画像が登録される。たとえば、サンプルID「P0001」の画像情報が「IM0001」から「IM0002」へと変更される。
図14に戻って、ステップS212にて、管理装置100は、サンプルIDを工程データベースに登録する。管理装置100は、ステップS204において新たなサンプルIDを取得していれば、ステップS212にて当該新しいサンプルIDを工程データベースに登録し、ステップS204において新たなサンプルIDを取得していなければ、ステップS212ではステップS200にて取得したサンプルIDを工程データベースに登録する。
図4の例では、図14が対象とする工程の工程データベースに、サンプルID「P0002」が登録された状態が示される。
図14に戻って、ステップS214にて、管理装置100は、図14が対象とする工程において、検体に対する作業が開始されたか否かを判断する。
一実現例では、管理装置100は、カメラ200によって生成された画像における、作業員の手と標本との位置関係に基づいて、作業の開始および終了のタイミングを特定する。図17および図18は、作業の開始および終了のタイミングの特定に利用される画像の具体例を示す図である。
図17の画像1700は、4つの要素1710,1711,1712,1713を含む。要素1710は、作業台を表す。要素1711は、標本(ガラス板)を表す。要素1712,1713のそれぞれは、作業員の左手,右手のそれぞれを表す。管理装置100は、既存の画像認識技術を利用して各要素が対応物(作業台、標本、左手、右手)を識別し、画像1700から、作業台において、作業員の手が標本から距離D1だけ離れた場所に位置することを特定する。
図18の画像1800は、4つの要素1810,1811,1812,1813を含む。要素1810は、作業台を表す。要素1811は、標本(ガラス板)を表す。要素1812,1813のそれぞれは、作業員の左手,右手のそれぞれを表す。管理装置100は、既存の画像認識技術を利用して各要素が対応物(作業台、標本、左手、右手)を識別し、画像1800から、作業台において作業員の手が標本と重なっていることを特定する。
管理装置100は、たとえば、作業台において作業員の手が標本と重なったタイミングを作業が開始されたタイミングとして規定し、作業員の手が標本から所与の閾値以上離れた時間が一定時間以上継続したタイミングを作業が終了したタイミングとして規定する。なお、管理装置100は、作業の開始および終了のタイミングを、作業員の手以外の部分(腕、頭、など)と標本との位置関係に基づいて規定してもよい。
なお、カメラの画像に基づく方法は、作業の開始および終了のタイミングの特定の方法の単なる一例である。開始および終了のタイミングの少なくとも一方は、作業員が端末600を介して所与のデータを管理装置100に送信したタイミングとして特定されてもよい。
図14に戻って、管理装置100は、作業が開始されたと判断すると判断するまでステップS214へ制御を留め(ステップS214にてNO)、作業が開始されたと判断すると(ステップS214にてYES)、ステップS216へ制御を進める。
ステップS216にて、管理装置100は、開始時刻(ステップS214にて作業が開始したと判断した時刻)を工程データベースに登録する。
図19は、開始時刻を登録された工程データベースのデータ構成例を示す図である。図4と比較して、図19では、開始時刻が追加されている。
図14に戻って、ステップS218にて、管理装置100は、カメラ200から作業の対象領域の画像を取得し、当該画像から、工程データベースに登録されているサンプルIDを読み出せたか否かを判断する。管理装置100は、上記サンプルIDを読み出せたと判断すると(ステップS218にてYES)、ステップS224へ制御を進め、そうでなければ(ステップS218にてNO)、ステップS220へ制御を進める。
ステップS220にて、管理装置100は、作業の対象領域の画像から、工程データベースに登録されているサンプルIDについて、画像情報データベースに登録されている画像の特徴を抽出できたか否かを判断する。管理装置100は、上記特徴を抽出できたと判断すると(ステップS220にてYES)、ステップS224へ制御を進め、そうでなければ(ステップS220にてNO)、ステップS222へ制御を進める。
画像情報データベースへの特徴の登録については、図20を参照して後述する。
ステップS222にて、管理装置100は、追加のサンプルIDを登録する。
図20は、ステップS222のサブルーチンのフローチャートである。図20を参照して、ステップS222における追加のサンプルIDの登録について説明する。
ステップS300にて、管理装置100は、作業の対象領域の画像から、工程データベースに登録されたサンプルIDに関連付けられた画像と所与の割合以上一致する部分の抽出を試みる。管理装置100は、上記部分の抽出に成功すると(ステップS300にてYES)、ステップS304へ制御を進め、そうでなければ(ステップS300にてNO)、ステップS302へ制御を進める。
ステップS302にて、管理装置100は、エラーを出力して、図14および図20の処理を終了させる。
ステップS304にて、管理装置100は、ステップS300において抽出した部分から識別部(コード用紙)に対応する部分を抽出する。識別部(コード用紙)に対応する部分は、たとえば、コード用紙の特徴(たとえば、QRコードとしての画像を規定する特徴)を所定の割合以上含む領域として抽出される。
ステップS306にて、管理装置100は、ステップS304において抽出された領域の特徴を検出する。検出される特徴は、コード用紙上の汚れや欠損の形状および/または位置であってもよいし、当該形状が近似する図形(円形、三角形、四角形、など)であってもよいし、汚れや欠損に対応する部分の色であってもよいし、これらの組合せであってもよい。
ステップS308にて、管理装置100は、新しいサンプルIDをサンプルデータベースに登録する。
ステップS310にて、管理装置100は、新しいサンプルID(ステップS308においてサンプルデータベースに登録されたもの)を工程データベースに登録する。
ステップS312にて、管理装置100は、新しいサンプルIDと、ステップS306において検出された特徴とを、互いに関連付けて、画像情報データベースに登録する。その後、管理装置100は、図14に制御を戻す。
図21は、ステップS308において新しいサンプルIDを登録されたサンプルデータベースのデータ構成例を示す図である。図15と比較して、図21では、サンプルデータベースにサンプルID「P0003」が追加されている。図21のサンプルデータベースは、管理装置100は、サンプルID「P0002」として特定される検体に対する作業中に、作業の対象領域の画像からサンプルIDを読み出せなくなったため、当該検体に対して新たにサンプルID「P0003」を付与したことを意味する。
図22は、ステップS310において新しいサンプルIDを登録された工程データベースのデータ構成例を示す図である。図19と比較して、図22では、工程データベースに登録されているサンプルIDが「P0002」から「P0003」へと変更されている。図22の工程データベースは、工程の対象(検体または標本)が、サンプルID「P0002」によって特定されるものから、サンプルID「P0003」へと変更されたことを意味する。
図23は、ステップS312において新しいサンプルIDを登録された画像情報データベースのデータ構成例を示す図である。図16と比較して、図23では、サンプルID「P0003」が追加され、また、サンプルID「P0003」に関連付けられている画像情報「FT0003」が追加されている。画像情報「FT0003」は、ステップS306において抽出された、特徴を表すデータである。すなわち、図23の画像情報データベースには、工程の新たな対象(検体または標本を表すサンプルID)と、当該新たな対象のコード用紙に相当する部分の外観の特徴とが、新たに登録されている。
図14に戻って、ステップS224にて、管理装置100は、工程において、検体に対する作業が終了したか否かを判断する。管理装置100は、作業が終了したことを、たとえば図17および図18を参照して説明した方法で特定する。
管理装置100は、検体に対する作業が終了したと判断すると(ステップS224にてYES)、ステップS226へ制御を進め、そうでなければ(ステップS224にてNO)、ステップS218へ制御を戻す。
ステップS226にて、管理装置100は、工程データベースに終了時刻を登録して、ステップS200へ制御を戻す。
図24は、終了時刻を登録された工程データベースのデータ構成例を示す図である。図22と比較して、図24では、サンプルID「P0003」について、終了時刻が追加されている。
以上、図14~図24を参照して説明された処理では、管理装置100は、工程において処理対象の検体の存在を、カメラ200からの画像から、検体(または容器としてのガラス板)のコード用紙上のサンプルIDを読み出すことによって認識する。
管理装置100は、検体の外観の画像を画像情報データベースに登録する。コード用紙上のサンプルIDを読み出せない場合、管理装置100は、カメラ200からの画像から、検体の外観の画像と所与の割合以上一致する部分を抽出し、さらに、当該部分からコード用紙に対応する領域を抽出し、新たなサンプルIDを規定し、当該領域の画像の特徴を新たなサンプルIDとともに画像情報データベースに登録する。
管理装置100は、上記特徴の登録後、カメラ200からの画像からサンプルIDを読み出せない場合、カメラ200からの画像から登録された特徴を抽出できれば(ステップS220にてYES)、工程における処理対象の検体の存在を認識する。
管理装置100は、工程において処理対象の検体の存在が認識する限り、エラーを出力せず、工程において処理対象の検体の存在が認識できなければ、ステップS302においてエラーを出力する。
工程データベースは、各工程の情報を管理する。記憶装置105には、複数の工程のそれぞれの工程データベースが格納されてもよい。
工程データベースは、複数の工程の情報を含んでいてもよい。図25は、工程データベースのデータ構成例を示す図である。
図25の例では、工程データベースは複数の工程(工程Aおよび工程B)についての開始時刻および終了時刻を含む。管理装置100は、ステップS216およびステップS226では、図14の処理が対象としている工程について、開始時刻および終了時刻を登録する。図25の工程データベースを参照することにより、1つの検体が複数の工程のそれぞれの対象となった時刻を追跡することができる。
図26は、物品管理システムにおける複数の工程の領域を説明するための図である。図26において、領域2610は工程Aのための領域であり、領域2620は工程Bのための領域であるとする。カメラ200Aは、領域2610を撮影し、カメラ200Bは、領域2620を撮影する。管理装置100は、カメラ200Aからの画像から読み出したサンプルIDについては、工程Aにデータを登録し、カメラ200Bからの画像から読み出したサンプルIDについては、工程Bにデータを登録してもよい。
図26には、領域2631,2632がさらに示される。領域2631,2632のそれぞれは、領域2610から領域2620へ、または、領域2620から領域2610へ、検体を受け渡すための領域である。
物品管理システムは、領域2631,2632のそれぞれを撮影するためのカメラをさらに備えていてもよく、管理装置100は、当該カメラからの画像からサンプルIDを読み出すことによって、検体が領域2631,2632を通過した時刻を管理しても良い。
管理装置100は、また、カメラからの画像からサンプルIDを読み出す場合、検体が作業され得る範囲(たとえば、作業台)を読み出しの対象としてもよい。
図27は、カメラからの画像の一例を示す図である。要素2710は、作業台を表す。管理装置100は、カメラからの画像のうち作業台に相当する領域、すなわち、要素2710の内側のみを、サンプルIDの読み出しの対象としてもよい。これにより、図27の例では、要素2710の内側に位置する要素PL1はサンプルIDの読み出し対象になるが、要素2710の外側に位置する要素PL2はサンプルIDの読み出し対象にはならない。
病理診断の現場では、検査結果の入れ違いを防止するなどの観点から各物品の管理が特に慎重に行われる必要がある一方で、検体の染色に利用される薬品によって識別部が汚れる場面が多く想定される。本開示によれば、識別部が汚れたり、識別部の一部が欠損したりしても、カメラからの画像において検体の外観が特定されれば(ステップS300にてYES)、当該検体について新しいサンプルIDが規定され、新しいサンプルIDは、識別部(コード用紙)の画像情報に関連付けて格納される。その後、検体は、識別部(コード用紙)の画像情報によって特定され得る。これにより、識別部が汚れたり破損したりした場合でも、作業員の労力の増大が抑制され得る。
「検体の外観」は、検体の容器の外観であってもよいし、検体そのものの外観であってもよい。すなわち、画像情報に登録される「IM0001」「IM0002」などの画像は、容器に入れられた検体の画像であってもよいし、容器に収容されていない検体そのものの画像であってもよい。たとえば、ステップS208において取得される画像として、作業員は、カメラに、ガラス板のカバーガラスに覆われた部分の画像を撮影されてもよい。これにより、ステップS210では、カバーガラスを通して視認され得る検体片を含む画像が、登録され得る。管理装置100は、ステップS300にて、コード用紙の汚れまたは欠損などによってサンプルIDの読み出しに失敗した場合、ガラス板上の検体片のパターンで検体を特定し得る。
今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合わせても、実施することが意図される。
100 管理装置、200,200A,200B カメラ、500 作業員、600 端末、800 容器、801,901,911,921,931 コード用紙、900,910,920,930 ガラス板、901A 汚れ、901B 欠損部、902 カバーガラス、903 検体片。

Claims (10)

  1. コンピューターによって実行される方法であって、
    物品に割り当てられた識別情報と、前記物品の画像情報とを関連付けて登録するステップを含み、
    前記物品は、前記識別情報を表す識別部を含み、
    前記物品に関する作業対象の領域の画像を取得するステップと、
    前記領域の画像において前記物品の存在を認識するステップとを含み、
    前記認識するステップは、
    前記領域の画像において、前記識別部の画像から前記識別情報を読み出せる場合に、前記識別情報を用いて前記物品の存在を認識することと、
    前記領域の画像において、前記識別情報を読み出せない場合であって前記物品の画像情報が認識できた場合に、前記識別部の画像情報を前記識別情報に関連付けて登録することと、
    前記識別部の画像情報が前記識別情報と関連付けられている場合に、前記領域の画像において、前記識別部の画像情報を用いて前記物品の存在を認識することとを含む、物品の認識方法。
  2. 前記識別部の画像情報を前記識別情報と関連付けて登録することは、前記識別部の画像の特徴量を登録することを含み、
    前記物品の存在を認識することは、前記領域の画像において登録された特徴量を認識することを含む、請求項1に記載の物品の認識方法。
  3. 前記物品は、病理診断の対象である検体または検体の容器である、請求項1または請求項2に記載の物品の認識方法。
  4. 前記物品の画像情報は、検体の容器の画像を含む、請求項1~請求項3のいずれか1項に記載の物品の認識方法。
  5. 前記物品の画像情報は、検体の画像を含む、請求項3に記載の物品の認識方法。
  6. 前記画像を取得するステップは、2以上の領域のそれぞれの画像を取得することを含み、
    前記物品が存在を認識された領域に関連付けて前記物品の存在を登録するステップと、をさらに含む、請求項1~請求項5のいずれか1項に記載の物品の認識方法。
  7. 前記領域の画像における作業員と物品との位置関係に基づいて、前記領域における作業の開始のタイミングと終了のタイミングを特定するステップをさらに含み、
    前記存在を登録するステップは、前記領域における作業の開始のタイミングと終了のタイミングを特定する情報を登録することを含む、請求項6に記載の物品の認識方法。
  8. 前記作業員と物品との位置関係は、前記作業員の所与の部位と物品との距離を含む、請求項7に記載の物品の認識方法。
  9. コンピューターのプロセッサーによって実行されることにより、前記コンピューターに請求項1~請求項8のいずれか1項に記載の物品の認識方法を実施させる、プログラム。
  10. 請求項9に記載のプログラムを格納した記憶装置と、
    前記記憶装置に格納されたプログラムを実行するプロセッサーとを備える、情報処理装置。
JP2020095511A 2020-06-01 2020-06-01 物品の認識方法、プログラム、および情報処理装置 Active JP7443938B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020095511A JP7443938B2 (ja) 2020-06-01 2020-06-01 物品の認識方法、プログラム、および情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020095511A JP7443938B2 (ja) 2020-06-01 2020-06-01 物品の認識方法、プログラム、および情報処理装置

Publications (2)

Publication Number Publication Date
JP2021189842A JP2021189842A (ja) 2021-12-13
JP7443938B2 true JP7443938B2 (ja) 2024-03-06

Family

ID=78848534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020095511A Active JP7443938B2 (ja) 2020-06-01 2020-06-01 物品の認識方法、プログラム、および情報処理装置

Country Status (1)

Country Link
JP (1) JP7443938B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4328833A4 (en) 2021-04-22 2024-03-06 Decurret DCP Inc. INFORMATION PROCESSING APPARATUS AND INFORMATION PROCESSING METHOD

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293141A (ja) 2004-03-31 2005-10-20 Canon Inc マーカ検出方法及び装置並びに位置姿勢推定方法
JP2015211363A (ja) 2014-04-28 2015-11-24 富士通株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP2016115268A (ja) 2014-12-17 2016-06-23 富士通株式会社 情報処理方法、情報処理プログラム、及び情報処理装置
WO2017163532A1 (ja) 2016-03-22 2017-09-28 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
JP2021157537A (ja) 2020-03-27 2021-10-07 日本電気通信システム株式会社 二次元マーカの認識装置、方法、プログラム及びシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293141A (ja) 2004-03-31 2005-10-20 Canon Inc マーカ検出方法及び装置並びに位置姿勢推定方法
JP2015211363A (ja) 2014-04-28 2015-11-24 富士通株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP2016115268A (ja) 2014-12-17 2016-06-23 富士通株式会社 情報処理方法、情報処理プログラム、及び情報処理装置
WO2017163532A1 (ja) 2016-03-22 2017-09-28 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
JP2021157537A (ja) 2020-03-27 2021-10-07 日本電気通信システム株式会社 二次元マーカの認識装置、方法、プログラム及びシステム

Also Published As

Publication number Publication date
JP2021189842A (ja) 2021-12-13

Similar Documents

Publication Publication Date Title
US8229194B2 (en) Feature-based registration of sectional images
US8315445B2 (en) Tissue sample identification system and apparatus
JP5800903B2 (ja) 光学的アセットの識別及び位置追跡
CA2628317C (en) Automated lean methods in anatomical pathology
DE112015003933T5 (de) Vorrichtung und Verfahren zum Ausführen eines Sachen-Auswahlprozesses
JP2008507029A5 (ja)
CN110503151B (zh) 一种影像的处理方法和系统
JP7443938B2 (ja) 物品の認識方法、プログラム、および情報処理装置
JP2008158890A5 (ja)
CN114429826A (zh) 抗原检测结果的处理方法、系统、电子设备及存储介质
JP2009230266A (ja) 住戸管理支援システム、住戸管理支援方法、およびプログラム
WO2019240016A1 (ja) 製造管理システム及び方法
US11231348B2 (en) Histological specimens traceability apparatus and method
JP2005327170A (ja) 建築現場における品質確認システム
CN115294505B (zh) 风险物体检测及其模型的训练方法、装置及电子设备
JP7324794B2 (ja) 研究室資源を追跡するための方法およびデバイス
US7346214B2 (en) Method for capturing a complete data set of forms provided with graphic characters
CN113516131A (zh) 图像处理方法、装置、设备和存储介质
JP2019133348A (ja) 検品システム、検品方法、およびプログラム
JP5310623B2 (ja) 光学的情報検証機
JP2024021341A (ja) 情報処理装置、情報処理方法、物品の製造方法、プログラム、及び記録媒体
CN110956422A (zh) 商品入库的管理方法、装置及系统、可读存储介质
CN115223293B (zh) 用于耗材柜的取用验证方法、装置、系统及设备
CN112632308B (zh) 用户首访识别方法、装置、电子设备及存储介质
JP2001331762A (ja) 検査方法及び検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240205

R150 Certificate of patent or registration of utility model

Ref document number: 7443938

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150