WO2020044933A1 - 対象物照合装置及び対象物照合方法 - Google Patents

Abstract

本発明は、分割可能な医療用物品の画像を良好な精度でマッチングでき、またマッチング結果を容易に確認できる対象物照合装置及び対象物照合方法を提供することを目的とする。第１の態様に係る対象物照合装置では、対象物が分割されていると判定された場合に、第１のマッチング用画像と、分割されていない状態の対象物についてのマッチング用画像（第２のマッチング画像）とを照合するので、マッチング対象の領域が狭くなることがなく、分割可能な医療用物品の画像を良好な精度でマッチングすることができる。また、同一種類の対象物が映っていると判断された表示用画像について第１，第２の表示処理を行うので、マッチング結果を容易に確認することができる。

Description

対象物照合装置及び対象物照合方法

　本発明は分割可能な医療用物品の画像をマッチングする対象物照合装置及び対象物照合方法に関する。

　病院施設、薬局等では、薬剤の監査や持参薬の鑑別が行われる。これらを目視で行うと薬剤師等の作業負担が大きいため、監査あるいは鑑別を支援する技術が開発されている。監査や鑑別を行う場合、処方内容等の条件によっては錠剤が分割される場合があり、そのような分割された錠剤（異形錠錠剤）に対する監査を行うシステムも知られている。

　例えば特許文献１では、異形錠錠剤の形状パターンである異形錠錠剤パターンと薬包帯画像とをパターンマッチングさせることにより異形錠錠剤の個数を監査することが記載されている。

ＷＯ１３／０２１５４３号公報

　錠剤を分割すると、印字や刻印等、錠剤に付された識別情報が途切れる場合がある。また、錠剤を撮影した画像における印字、刻印等の向きは不規則であり、撮影した画像やマッチングに用いた画像をそのまま表示したのではユーザにとって見づらく、確認が困難である。しかしながら上述した特許文献１では、異形錠錠剤（分割錠剤）の個数をカウントしているだけでこれらの問題を考慮しておらず、監査結果を確認することが困難であった。また、特許文献１では、標準形状錠剤パターン（分割していない錠剤のパターン）を異形錠錠剤の分割数で分割することにより異形錠錠剤パターンを生成し、異形錠錠剤の撮影画像と分割した状態の標準形状錠剤パターンとをマッチングしているが、分割した状態のマスタ画像を用いてマッチングを行うとマッチング対象の領域が狭くなり、異なる錠剤が僅かに一致しただけでも「同一の錠剤である」と誤って判断される可能性がある。さらに、特許文献１では錠剤の分割以外については考慮されていない。

　このように、従来の技術では分割可能な医療用物品の画像のマッチング精度が低く、またマッチング結果の確認が困難であった。

　本発明はこのような事情に鑑みてなされたもので、分割可能な医療用物品の画像を良好な精度でマッチングでき、またマッチング結果を容易に確認できる対象物照合装置及び対象物照合方法を提供することを目的とする。

　上述した目的を達成するため、本発明の第１の態様に係る対象物照合装置は、分割可能な医療用物品である対象物についての第１の撮影画像に基づく第１のマッチング用画像を取得する第１の画像取得部と、分割されていない状態の対象物についての第２の撮影画像に基づく第２のマッチング用画像を取得する第２の画像取得部と、第１の撮影画像に映っている対象物が分割されているか否かを判定する分割判定部と、対象物が分割されていると判定された場合に、第１のマッチング用画像と第２のマッチング用画像との照合を行う照合部と、照合の結果に基づいて第１のマッチング用画像のうち同一種類の対象物が映っていると判断された表示用画像を表示装置に表示させる表示制御部であって、対象物の外形の向きを揃えて表示させる第１の表示処理、または対象物に付された識別情報の向きを揃えて表示させる第２の表示処理を行う表示制御部と、を備える。

　第１の態様では、対象物が分割されていると判定された場合に、第１のマッチング用画像と、分割されていない状態の対象物についてのマッチング用画像（第２のマッチング画像）とを照合するので、上述した特許文献のようにマッチング対象の領域が狭くなることがなく、分割可能な医療用物品の画像を良好な精度でマッチングすることができる。また、同一種類の対象物が映っていると判断された表示用画像について第１，第２の表示処理を行うので、マッチング結果を容易に確認することができる。なお、第１，第２のマッチング用画像は第１，第２の撮影画像をそのまま用いてもよいし、第１，第２の撮影画像に対し画像処理（例えば、拡大、縮小、回転、領域抽出、領域強調）を施した画像を用いてもよい。なお、「分割可能な医療用物品」は物品が分割可能であればよく、物品それ自体が使用されるか否かは問わない（例えば、錠剤等の包装体には分割可能なタイプが存在するが、包装体それ自体が使用されるものではなく、使用されるのは錠剤である）。

　第２の態様に係る対象物照合装置は第１の態様において、第１の画像取得部は対象物の表面及び裏面について第１のマッチング用画像を取得し、第２の画像取得部は分割されていない状態の対象物の表面及び裏面について第２のマッチング用画像を取得し、照合部は、対象物の表面及び裏面について照合を行い、表示制御部は、対象物の表面及び／または裏面についての第１のマッチング用画像を選択して表示装置に表示させる。

　第３の態様に係る対象物照合装置は第１または第２の態様において、表示制御部は、第１の表示処理において、対象物の分割により生じる分割線の向きを揃えることにより外形の向きを揃える。分割線の例としては円形の対象物を分割した際に生じる直線を挙げることができるがこれに限定されるものではない。なお、第１，第２の表示処理の際には、分割線の向きを揃えることに加えて、分割線に対する対象物の位置を揃える（例えば、対象物が分割線に対し上下左右方向のいずれかに位置させて揃える）ことが好ましい。

　第４の態様に係る対象物照合装置は第１から第３の態様のいずれか１つにおいて、照合部は対象物の外形及び／または識別情報に基づいて照合を行う。

　第５の態様に係る対象物照合装置は第１から第４の態様のいずれか１つにおいて、照合部は、第１のマッチング用画像のうち対象物及び／または識別情報を含む一部の領域を抽出し、一部の領域について照合を行う。

　第６の態様に係る対象物照合装置は第１から第５の態様のいずれか１つにおいて、分割判定部は、対象物の外形があらかじめ規定された形状である場合に対象物が分割されていると判定する。例えば、撮影画像における対象物を示す画素の分布に基づいて判定を行うことができる。なお、「あらかじめ規定された形状」として例えば半円形状、半楕円形状、縦横比が規定範囲の矩形を挙げることができるが、これらの例に限定されるものではない。

　第７の態様に係る対象物照合装置は第１から第６の態様のいずれか１つにおいて、照合部は、第１のマッチング用画像及び／または第２のマッチング用画像として識別情報を強調する処理を施した画像を用いて照合を行う。第７の態様によれば、良好な精度でマッチングを行うことができる。

　第８の態様に係る対象物照合装置は第１から第７の態様のいずれか１つにおいて、医療用物品は錠剤、錠剤が収納された包装体、カプセル型薬剤が収納された包装体のいずれかである。錠剤の形状は特に限定されない。また、包装体は錠剤あるいはカプセル型薬剤が一錠ずつ、あるいは１カプセルずつ取り出せるように収納されたシート状の包装体であってもよい。

　第９の態様に係る対象物照合装置は第１から第８の態様のいずれか１つにおいて、識別情報は対象物に付された印字及び／または刻印を含む。印字、刻印は文字、数字、記号、図形及びこれらの組み合わせにより行うことができ、色彩が付されていてもよい。

　上述した目的を達成するため、本発明の第１０の態様に係る対象物照合方法は分割可能な医療用物品である対象物についての第１の撮影画像に基づく第１のマッチング用画像を取得する第１の画像取得工程と、分割されていない状態の対象物についての第２の撮影画像に基づく第２のマッチング用画像を取得する第２の画像取得工程と、第１の撮影画像に映っている対象物が分割されているか否かを判定する分割判定工程と、対象物が分割されていると判定された場合に、第１のマッチング用画像と第２のマッチング用画像との照合を行う照合工程と、照合の結果に基づいて第１のマッチング用画像のうち同一種類の対象物が映っていると判断された表示用画像を表示装置に表示させる表示制御工程であって、対象物の外形の向きを揃えて表示させる第１の表示処理、または対象物に付された識別情報の向きを揃えて表示させる第２の表示処理を行う表示制御工程と、を備える。

　第１０の態様によれば、第１の態様と同様に分割可能な医療用物品の画像を良好な精度でマッチングすることができる。また、マッチング結果を容易に確認することができる。

　なお、第１０の態様に係る対象物照合方法に対し、第２から第９の態様と同様の構成をさらに含めてもよい。また、これら態様の対象物照合方法を対象物照合装置あるいはコンピュータに実行させるプログラム、及びそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の態様として挙げることができる。

　以上説明したように、本発明の対象物照合装置及び対象物照合方法によれば、分割可能な医療用物品の画像を良好な精度でマッチングでき、またマッチング結果を容易に確認することができる。

図１は、第１の実施形態に係る薬剤特定装置の構成を示す図である。 図２は、分包された薬剤が搬送される様子を示す図である。 図３は、光源及びカメラの配置を示す側面図である。 図４は、光源及びカメラの配置を示す平面図である。 図５は、処理部の構成を示す図である。 図６は、記憶部に記憶される情報を示す図である。 図７は、第１の実施形態に係る薬剤特定方法を示す図である。 図８は、分割錠剤であるか否かの判断の様子を示す図である。 図９は、分割錠剤であるか否かの判断の様子を示す他の図である。 図１０は、テンプレートマッチングの様子を示す図である。 図１１は、半錠領域の切り出しの様子を示す図である。 図１２は、テンプレートマッチングのための領域拡大の様子を示す図である。 図１３は、薬剤領域画像、マスク画像、及び刻印の抽出結果を示す図である。 図１４は、マッチングスコアを算出する様子を示す図である。 図１５は、錠剤の例を示す図である。 図１６は、第１の表示処理による表示の例を示す図である。 図１７は、第２の表示処理による表示の例を示す図である。 図１８は、楕円型の錠剤についてのマッチングを説明するための図である。 図１９は、楕円型の錠剤についてのマッチングを説明するための他の図である。 図２０は、楕円型の錠剤についてのマッチングを説明するための他の図である。 図２１は、楕円型の錠剤についてのマッチングスコアの算出について説明するための図である。 図２２は、薬剤の鑑別を行う場合の光源及びカメラの配置を示す側面図である。 図２３は、薬剤の鑑別を行う場合の光源及びカメラの配置を示す平面図である。 図２４は、分割錠剤に外接する矩形の回転角度を示す図である。 図２５は、外接矩形を直立表示した状態を示す図である。 図２６は、錠剤が収納されたシートの例（分割されていない状態）を示す斜視図である。 図２７は、錠剤が収納されたシートの例（分割されていない状態）を示す正面図である。 図２８は、錠剤が収納されたシートの例（分割された状態）を示す図である。 図２９は、第１の表示処理の例を示す図である。 図３０は、第２の表示処理の例を示す図である。

　以下、添付図面を参照しつつ、本発明に係る対象物照合装置及び対象物照合方法の実施形態について詳細に説明する。

　＜第１の実施形態＞
　図１は、本発明の第１の実施形態に係る錠剤特定装置１０（対象物照合装置、錠剤特定装置）の構成を示す図である。錠剤特定装置１０は処理部１００と、記憶部３００と、表示部４００と、操作部５００と、搬送機構２４０と、を備え、処理部１００には照明部２００，カメラ２１０（第１の画像取得部），カメラ２２０（第１の画像取得部），及び処方箋リーダ２３０が接続されている。

　カメラ２１０及びカメラ２２０はデジタルカメラにより構成される。図２に示すように、分包袋７０２（薬包）が連続して構成される薬包帯７００の鉛直上側（図３の＋Ｚ側）にカメラ２１０が配置され、薬包帯７００の鉛直下側（図３の－Ｚ側）にカメラ２２０が配置されて、分包袋７０２に分包された錠剤８００（錠剤、対象物）を上下（複数の異なる方向）から撮影して、表面及び裏面について画像（第１の撮影画像）を取得する。分包袋７０２（薬包帯７００）は搬送機構２４０により図２の＋Ｘ方向（薬包帯７００の長手方向に沿った軸；図２の矢印方向）に搬送され、撮影の際には照明部２００が有する複数の光源２０２が４方向から分包袋７０２を照明する。図３において、複数の光源２０２のそれぞれとカメラ２１０，２２０の撮影光軸１００１との間隔（ｄ１，ｄ２，ｄ３，ｄ４）は同じである。つまり、複数の光源２０２と撮影光軸１００１とが等間隔（ｄ１＝ｄ２＝ｄ３＝ｄ４）である。

　処方箋リーダ２３０は、処方箋情報を読み取る。例えばＯＣＲ（Optical Character Recognition）により、紙に記載された処方箋から患者氏名、処方された薬剤及びその数量等の情報を読み取る。処方された薬剤に関する情報を示すバーコード等が処方箋に記録されている場合は、処方された薬剤及びその数量等の情報をバーコードから読み取ってもよい。また、医師や薬剤師等のユーザが処方箋を読み取り、操作部５００のキーボード５１０及び／またはマウス５２０等の入力デバイスにより処方箋情報（処方データ）を入力してもよい。

　＜処理部の構成＞
　処理部１００は、カメラ２１０，２２０で撮影した画像、及び処方箋リーダ２３０で読み取った情報等に基づいて分包袋７０２に分包された薬剤の特定を行う。図５に示すように、処理部１００は処方データ取得部１００Ａ（処方データ取得部）、画像取得部１００Ｂ（画像取得部、第１の画像取得部）、マスタ画像取得部１００Ｃ（マスタ画像取得部、第２の画像取得部）、錠剤判断部１００Ｄ（錠剤判断部、分割判定部）、画像生成部１００Ｅ（画像生成部）、錠剤特定部１００Ｆ（錠剤特定部）、表示制御部１００Ｇ（表示制御部）、全錠剤特定部１００Ｈ（全錠剤特定部）、及び前処理部１００Ｉ（前処理部、照合部）を備える。また、処理部１００はＣＰＵ１１０（ＣＰＵ：Central Processing Unit）、ＲＯＭ１２０（ＲＯＭ：Read Only Memory）、及びＲＡＭ１３０（ＲＡＭ：Random Access Memory）を備える。

　上述した処理部１００の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

　各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、コンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。

　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ１２０（ROM：Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る対象物照合方法や後述する錠剤特定方法を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ１３０（ＲＡＭ：Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。これらのプロセッサあるいは電気回路が行う処理は、ＣＰＵ１１０により統括される。

　＜記憶部の構成＞
　記憶部３００はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成され、図６に示す情報が互いに関連づけて記憶される。処方データ３００Ａは、処方箋リーダ２３０で読み取った処方箋の情報、または処方箋に基づいてユーザが入力、編集等した情報である。処方データ３００Ａは、例えば処方箋に記載されている薬剤の一般名称に基づいて特定の薬剤の名称を入力する、あるいは先発医薬品と後発医薬品とを相互に変更する、等が行われていてもよい。撮影画像３００Ｂ（第１の撮影画像）はカメラ２１０，２２０で撮影した薬剤の画像であり、薬剤の表面及び裏面についての画像が含まれる。撮影画像に複数の薬剤（錠剤）が含まれる場合は、撮影画像から単一の薬剤についての領域を抽出した画像を撮影画像３００Ｂとしてもよい。マッチング用画像３００Ｃ（第１の撮影画像に基づく第１のマッチング用画像）は分割錠剤であると判断された錠剤についての、撮影画像から生成された錠剤領域を含む画像であり、マスタ画像とのテンプレートマッチングに用いられる。マスク画像３００Ｄは錠剤領域抽出用マスク画像である第１のマスク画像と、刻印及び／または印字領域抽出用マスク画像である第２のマスク画像とを含む。これらマスク画像は２値化されていてもよい。マスタ画像３００Ｅ（第２の撮影画像に基づく第２のマッチング用画像）は分割されていない状態の錠剤（対象物）の表面及び裏面についての画像であり、テンプレートマッチングの際の基準となる画像である。特定結果３００Ｆはマッチング用画像が示す錠剤の種類及び面の特定結果である。

　＜表示部及び操作部の構成＞
　表示部４００はモニタ４１０（表示装置）を備えており、入力した画像、処理結果、記憶部３００に記憶された情報等を表示することができる。操作部５００は入力デバイス及び／またはポインティングデバイスとしてのキーボード５１０及びマウス５２０を含んでおり、ユーザはこれらのデバイス及びモニタ４１０の画面を介して、画像の撮影指示、錠剤の特定指示、表示態様（第１の表示処理または第２の表示処理）の選択等、本発明に係る対象物照合方法や後述する錠剤特定方法の実行に必要な操作を行うことができる（後述）。なお、モニタ４１０をタッチパネルにより構成し、そのタッチパネルを介して操作を行ってもよい。

　＜錠剤特定方法の処理＞
　図７のフローチャートを参照しつつ、上述した構成の錠剤特定装置１０による対象物照合方法（錠剤特定方法）の処理について説明する。

　処方データ取得部１００Ａは、処方箋リーダ２３０を介して処方箋情報を入力する（ステップＳ１００：処方データ取得工程）。入力した処方箋情報をそのまま処方データとして取得してもよいし、処方箋に基づきユーザが操作部５００を介して入力、編集等した情報を処方データとして取得してもよい。また、処方データ取得部１００Ａは、ユーザが目視等で認識した薬剤の特徴（例えば、錠剤の種類、形状、色等）、あるいはいわゆる「お薬手帳」等の手帳に記載された薬剤名称、数量、服用方法等の情報をユーザの操作に応じて関連情報として入力し、処方データに加えて、またはこれに代えて使用してもよい。

　画像取得部１００Ｂは、カメラ２１０，２２０を制御して、分包袋７０２に分包された薬剤（錠剤）を複数の異なる方向（図２，３の±Ｚ方向；鉛直上下方向）から撮影した撮影画像（第１の撮影画像）を取得する（ステップＳ１１０：画像取得工程、第１の画像取得工程）。この際、照明部２００及び光源２０２により分包袋７０２を照明する。

　マスタ画像取得部１００Ｃは、取得した処方データに基づいて、分割されていない状態の錠剤（対象物）の表面及び裏面についてのマスタ画像を取得する（ステップＳ１２０：マスタ画像取得工程、第２の画像取得工程）。マスタ画像取得部１００Ｃは、記憶部３００に記憶されたマスタ画像３００Ｅを取得してもよいし、図示せぬ通信回線を介して外部のサーバ、データベース等からマスタ画像を取得してもよい。また、マスタ画像取得部１００Ｃは、カメラ２１０，カメラ２２０、及び画像取得部１００Ｂを介して分割されていない状態の錠剤（対象物）について画像（第２の撮影画像）を撮影し、撮影した画像に必要な画像処理を施してマスタ画像として取得してもよい。

　＜分割錠剤の判定＞
　錠剤判断部１００Ｄ（分割判定部）は、撮影画像（第１の撮影画像）に映っている錠剤（対象物）が分割錠剤であるか否か（分割されているか否か）を判断（判定）する（ステップＳ１３０：錠剤判断工程、分割判定工程）。この判断は例えば以下の手法１、２により行うことができ、錠剤判断部１００Ｄはこれらの手法により「全錠剤」と特定されていない錠剤、及び「不明」と判断された錠剤を「分割錠剤である」と判断することができる。なお、第１の実施形態において錠剤は「分割可能な医療用物品」の一態様である。

　＜手法１：撮影画像及びマスタ画像に基づく特定＞
　全錠剤特定部１００Ｈ（分割判定部）は、分割されていない錠剤（全錠剤）の種類を撮影画像及びマスタ画像に基づいて特定する。具体的には、撮影画像とマスタ画像とのテンプレートマッチングにより全錠剤を特定する。テンプレートマッチングは、公知の手法（例えば特開２０１４－６７３４２号に記載の方法）により行うことができる。

　＜手法２：マスク画像に基づく判断＞
　錠剤判断部１００Ｄ（分割判定部）は、以下のようにマスク画像における画素分布の対称性（非対称性）に基づいて判断を行うことができる。全錠剤は（水平もしくは垂直に向きを揃えた状態では）水平方向、垂直方向とも対称の場合が多いが、分割錠剤は以下に示すように非対称性があると考えられる。図８は機械学習により構築された階層型ネットワーク（例えば、領域抽出用ニューラルネットワーク；第１の階層型ネットワーク）を用いて撮影画像に映った錠剤の２値化マスク画像を生成し、マスク画像に外接する矩形の向きから回転角を推定して、その回転角分矩形を回転させた状態を示す図である。具体的には、図８の（ａ）部分、（ｂ）部分はそれぞれ分割錠剤（全錠剤の１／２）、立ち錠（切断面が載置面に接触している状態の錠剤）についての２値化マスク画像の錠剤領域（画素値２５５の領域）に外接する矩形を示す図である。この状態で、図９に示すように矩形の領域を複数（例えば水平方向に２分割、垂直方向に２分割で計４つ）に分割し、各領域の白画素（画素値２５５の画素）の割合を算出して、画素値の分布に基づいて上述の判断を行うことができる。具体的には、分割錠剤（半錠）の場合図９の（ａ）部分に示すように＋Ｘ側と－Ｘ側で非対称、＋Ｙ側と－Ｙ側で対称であり、立ち錠の場合は図９の（ｂ）部分に示すように＋Ｘ側と－Ｘ側、＋Ｙ側と－Ｙ側ともほぼ対称になる。したがって錠剤判断部１００Ｄは、＋Ｘ側と－Ｘ側で非対称ならば分割錠剤（半錠）、対称ならば立ち錠と判断する（全錠と判断されたものは除く）ことができる。すなわち、錠剤（対象物）の外形があらかじめ規定された形状である（上述した対称性を有する）場合に錠剤が分割されていると判定する。なお、上述した領域抽出用ニューラルネットワークは、別途作成したマスク画像を教師データとして与えた条件付きＧＡＮ等の機械学習（ＧＡＮ：Generative Adversarial Networks）により構成することができる。

　＜マッチング処理の概要＞
　錠剤特定装置１０におけるマッチング処理（第１のマッチング用画像と、マスタ画像である第２のマッチング用画像との照合）の概要について説明する。図１０の（ａ）部分は分割錠剤が映った撮影画像の例であり、このような撮影画像に対し領域抽出用ニューラルネットワーク（第１の階層型ネットワーク）を用いて２値化マスク画像を生成する（同図の（ｂ）部分）。そして撮影画像と２値化マスク画像とを乗算し、前処理（刻印抽出、２値化、反転等）を施してマッチング用画像を生成する（同図の（ｃ）部分）。そしてマッチング用画像とマスタ画像とを相対的に回転させながらマッチングスコアを算出し、スコアが最大になる回転角度を求めて（同図の（ｄ）部分）、その回転角度だけ錠剤領域画像を逆回転して印字あるいは刻印の向きをマスタ画像と揃える（同図の（ｅ）部分；第２の表示処理の場合）。このようなマッチング処理について、以下で詳細に説明する。

　＜マッチング用画像の生成＞
　画像生成部１００Ｅ（第１の画像取得部）は、撮影画像（第１の撮影画像）に含まれる分割錠剤について、マッチング用画像（第１のマッチング用画像）を生成する（ステップＳ１４０：画像生成工程、第１の画像取得工程）。錠剤の表面及び裏面を特定するため、画像生成部１００Ｅはカメラ２１０，２２０で上下方向から撮影した画像のそれぞれについてマッチング用画像を生成し、対応付ける。以下、マッチング用画像の生成について説明する。

　画像生成部１００Ｅは、領域抽出用ニューラルネットワーク（第１の階層型ネットワーク）によりマスク用画像を生成し、生成したマスク画像に２値化、クロージングによる整形等の前処理を施す。領域抽出用ニューラルネットワークは、上述した分割錠剤の判断で用いたものを使用することができる。そして、画像生成部１００Ｅは前処理後のマスク画像と撮影画像とを乗算して錠剤領域を抽出し、ノイズの除去等を行う。さらに、画像生成部１００Ｅは錠剤領域を含む矩形（例えば、錠剤領域に外接する矩形）を求め、撮影画像からその矩形を含む正方形の範囲を切り出してマッチング用画像とする。なお、矩形は回転角を算出し直立させておくことが好ましい。図１１は、このようにして生成した分割錠剤領域、矩形、及びマッチング用画像（分割錠剤領域８３０、矩形８３２、マッチング用画像８３４）の関係の例を示す図である。

　＜マッチング用画像に対する前処理＞
　前処理部１００Ｉ（照合部）は、マッチング用画像及び／またはマスタ画像に対し、領域拡大処理、２値化処理、画像反転処理、印字及び／または刻印の領域（識別情報を含む一部の領域）を抽出する処理、印字及び／または刻印を強調する処理のうち少なくとも１つを、前処理として施す（ステップＳ１５０：前処理工程、照合工程）。なお、２値化処理、画像反転処理、印字及び／または刻印の領域を抽出する処理、印字及び／または刻印を強調する処理（識別情報を強調する処理）を行うかどうかは、マッチング用画像とマスタ画像とで揃えることが好ましい。また、画像の拡大または縮小によりマッチング用画像とマスタ画像の大きさを揃えることが好ましい。

　＜領域拡大＞
　前処理としての領域拡大においては、前処理部１００Ｉはマッチング用画像が錠剤領域の外接円を含むように領域を拡大する。例えば、図１２の（ａ）部分に示す領域拡大前のマッチング用画像８３４の辺の長さが“ａ”である場合、図１２の（ｂ）部分に示すように錠剤領域の外接円８３５の一部がマッチング用画像８３４の外にはみ出る場合がある。このため、同図の（ｃ）部分に示すように両側に０．２５ａずつ拡大し、辺の長さを“１．５ａ”とすれば外接円を含むように領域を拡大することができ、図１２の（ｄ）部分に示すマッチング用画像８３６が得られる。なお、図１２の（ｅ）部分は、刻印部分抽出の前処理を施したマスタ画像の例（マスタ画像８３８）を示す図である。

　前処理部１００Ｉは、マッチング用画像８３６から外接円８３５に余白領域を考慮した正方形の範囲を切り出し、拡大または縮小してマスタ画像と大きさを揃えてマッチング用画像としてもよい。この余白領域は、例えば外接円に対し（１／１０）×ａから（１／１２）×ａ程度とすることができる（“ａ”は上述した回転矩形を含む正方形の一辺の長さ）。余白領域を確保するのは、アオリ誤差等を考慮して広めの領域としたものである。

　前処理部１００Ｉは、上述した領域拡大に加えて、または領域拡大に代えて、２値化処理、画像反転処理、刻印抽出処理をマッチング用画像に施してもよい。刻印抽出は、刻印抽出用ニューラルネットワーク（第２の階層型ネットワーク）を用いて生成したマスク画像との乗算により行うことができる。錠剤特定部１００Ｆは、このような前処理後のマッチング用画像８３６とマスタ画像とを用いてテンプレートマッチングを行う。第２の階層型ネットワークは、印字及び／または刻印を抽出した画像を教師データとして与えて機械学習を行うことにより構成することができる。

　＜錠剤領域画像、マスク画像、及び刻印抽出結果の例＞
　図１３は、錠剤領域画像、領域抽出用及び刻印抽出用のマスク画像、刻印等の抽出結果の例を示す図である。参照符号８１０の列は、撮影画像から上述した矩形（図１１の矩形８３２に相当）の部分を切り出した画像（錠剤の表または裏）を示し、参照符号８１２の列は参照符号８１０の列に示す画像の反対側の面（錠剤の裏または表）を示す。参照符号８１４，８１６の列は刻印抽出用の２値化マスク画像（表面または裏面；参照符号８１０，８１２の画像に対応）を示し、参照符号８１８，８２０の列は錠剤領域抽出用の２値化マスク画像（表面または裏面；参照符号８１０，８１２の画像に対応）を示す。刻印抽出用マスク画像は、アオリに起因する側面や断面の映り込みの影響を排除するため、錠剤領域抽出用のマスク画像よりも小さくなっている。参照符号８２２，８２４の列は、参照符号８１０，８１２の列に示す画像から刻印を抽出した結果（表面または裏面）を示す。これらの画像において、同じ行の画像は同じ錠剤についての画像である。

　＜マッチングスコアの算出＞
　錠剤特定部１００Ｆ（照合部）は、マッチング用画像（第１のマッチング用画像）とマスタ画像（第２のマッチング用画像）とを相対的に回転させながらマッチングスコアを算出し、回転角度を変えながらマッチングスコアの算出を繰り返す（ステップＳ１６０：錠剤特定工程、照合工程）。図１４は撮影画像の表面及び裏面についてのマッチング用画像と、錠剤の表面及び裏面についてのマスタ画像のマッチングスコアを算出する様子を示す概念図である。画像８０２Ａ，８０２Ｂは分割錠剤の画像を示し、一方が表面、他方が裏面である。マスタ画像８０４Ａ，８０４Ｂはそれぞれ表面，裏面についてのマスタ画像である。このような状況において、錠剤特定部１００Ｆは各回転角度において、マッチングスコアＳ１０～Ｓ４０を算出する。マッチングスコアＳ１０，Ｓ２０は、それぞれ画像８０２Ａ，８０２Ｂ（マッチング用画像）とマスタ画像８０４Ａ（表面）についてのマッチングスコアであり、マッチングスコアＳ３０，Ｓ４０は、それぞれ画像８０２Ａ，８０２Ｂ（マッチング用画像）とマスタ画像８０４Ｂ（裏面）についてのマッチングスコアである。

　マッチングスコアの算出においては、（ａ）マッチング用画像とマスタ画像の中心を一致させた状態でこれら画像を相対的に少しずつ回転させながらマッチングスコアを算出してもよいし、（ｂ）回転角度が異なる画像を複数作成しておき、各画像を移動させてマッチングスコアを算出してもよい。また、回転角度の変化を小さくする（例えば、回転角度が１ｄｅｇずつ異なる３６０枚の画像を用いる）ことで正確なマッチングを行うことができるが、処理に時間を要する場合がある。この場合、回転角度の変化を大きくした画像を少数作成して粗いマッチングを行い（例えば、回転角度が１０ｄｅｇずつ異なる３６枚の画像を用いる）、次いで粗いマッチングの結果スコアが大きくなる角度の付近で、変化を小さくした画像を用いてマッチングを行う（例えば、回転角度が１ｄｅｇずつ異なる１０枚の画像を用いる）ことで、処理を高速化することができる。

　＜分割錠剤の特性を考慮したマッチングスコアの算出＞
　通常のテンプレートマッチングでは、相関スコア値（規格化済み）を用いることが一般的である。しかしながら分割錠剤の特性を考慮すると、以下のようなマッチングスコア（修正スコア）を用いることが好ましい。具体的には、錠剤特定部１００Ｆは（テンプレートマッチングでの相関スコア値（規格化済み））×（マッチング用画像の印字及び／または刻印を示す画像の画素数）×（マスタ画像の印字及び／または刻印部分を示す画像の画素数）をマッチングスコアとして算出し、このマッチングスコアに基づいて錠剤の種類及び面を特定することが好ましい。「相関スコア値（規格化済み）」に「マッチング用画像の印字及び／または刻印を示す画像の画素数」及び「マスタ画像の印字及び／または刻印部分を示す画像の画素数」を乗じるのは、印字及び／または刻印の面積が大きいほどスコアが大きくなるようにし、また「相関スコア値（規格化済み）」が同じでも複雑な印字及び／または刻印に対して重み付けをすることで、マッチングの確度を高めるためである。なお、このような修正スコアの算出において、「印字及び／または刻印部分を示す画像の画素数」としては、例えば図１３の参照符号８２２，８２４の列に示す画像（分割錠剤の印字及び／または刻印部分を示す画像）における白いがその画素数、図１２の（ｅ）部分（マスタ画像の印字及び／または刻印部分を示す画像）における白い画素の画素数を用いることができる。また、マスタ画像について「印字及び／または刻印部分を示す画像の画素数」を求める際に割線部分の画素数を除外してもよい。

　＜錠剤の種類の特定＞
　１つの分包袋に複数種類の分割錠剤が分包されることは少ないので、通常は１種類のマスタ画像についてマッチングを行えばよいが、複数種類の分割錠剤が含まれている場合は、錠剤特定部１００Ｆは個々のマスタ画像に対するマッチングスコアの最大値どうしを比較し「マッチング用画像は、マッチングスコアの最大値が最も大きくなるマスタ画像と同一の錠剤を示す」と特定することができる。

　＜回転角度の特定＞
　錠剤特定部１００Ｆは、マッチングスコアが最大になる角度を錠剤の回転角度として特定する。

　＜表面及び裏面の特定＞
　錠剤特定部１００Ｆは、例えば以下の基準により錠剤の面（表面または裏面）を特定する。

　（１）（マッチングスコアＳ１０の最大値）＞（マッチングスコアＳ３０の最大値）、かつ（マッチングスコアＳ２０の最大値）≦（マッチングスコアＳ４０の最大値）ならば、画像８０２Ａが表面を示し画像８０２Ｂが裏面を示す。

　（２）（マッチングスコアＳ２０の最大値）＞（マッチングスコアＳ４０の最大値）、かつ（マッチングスコアＳ１０の最大値）≦（マッチングスコアＳ３０の最大値）ならば、画像８０２Ａが裏面を示し画像８０２Ｂが表面を示す。

　錠剤特定部１００Ｆは全ての分割錠剤についての処理が終了したか否かを判断し（ステップＳ１７０）、判断が肯定されるまでステップＳ１４０からＳ１６０までの処理を繰り返す。ステップＳ１７０の判断が肯定されたら１つの分包袋についての処理を終了してステップＳ１８０に進み、全ての分包袋についての処理が終了するまで（ステップＳ１８０の判断が肯定されるまで）ステップＳ１１０～Ｓ１７０の処理を繰り返す。ステップＳ１７０の判断が肯定されたらステップＳ１９０に進む。

　＜表示処理＞
　表示制御部１００Ｇは、錠剤の種類及び面の特定の結果に基づいて、マスタ画像と、マスタ画像と同一の錠剤及び同一の面を示すと特定されたマッチング用画像（第１のマッチング用画像のうち同一種類の錠剤（対象物）が映っていると判断された表示用画像）とをモニタ４１０（表示装置）に表示させる（ステップＳ１９０：表示制御工程）。ステップＳ１９０では、分割錠剤の直線部分である弦の向きを揃えて表示させる第１の表示処理、または分割錠剤の印字及び／または刻印の向きを揃えて表示させる第２の表示処理を行う。表示制御部１００Ｇは、ユーザの指示に応じていずれかの表示処理を行ってもよいし、ユーザの指示によらずにいずれかの表示処理を行ってもよい。なお、第１，第２の表示処理において、マッチング用画像ではなく撮影画像、錠剤領域画像を表示してもよい。また、マッチング用画像を表示する場合、前処理を施していない画像を用いてもよいし、前処理を施した画像を用いてもよい。

　＜第１の表示処理＞
　第１の表示処理では、マッチング用画像における弦の向き（対象物の外形の向きの一例）を揃えて表示させる。錠剤の弦は、対象物である錠剤の分割により生じる分割線の一例であり、錠剤に割線が施されている場合は割線付近が分割線になることが多い。表示制御部１００Ｇは、例えば、マッチング用画像あるいはマスク画像で曲率の小さい辺、短い辺、外接円の中心に近い辺等を弦と判断することができる。弦の向きの算出において、表示制御部１００Ｇは図２４に示すように分割錠剤（半錠）に外接する矩形８４０（外接矩形）の頂点座標、及び外接矩形のＸ軸（水平方向）からの回転角θを特定する。そして表示制御部１００Ｇは外接矩形を（９０ｄｅｇ－θｄｅｇ）回転して外接矩形を直立させ、分割錠剤が直立した画像を得る（図２５の矩形８４１または矩形８４２の状態のいずれか）。表示制御部１００Ｇは直立させた分割錠剤の画素分布を調べ、矩形８４１のように右側半分に明るい画素が多いか、矩形８４２のように明るい画素が多いかを特定する（「分割錠剤の判定」の手法２で述べたようなマスク画像における白画素の分布に基づいて特定できる）。矩形８４１の状態であれば時計回りに９０ｄｅｇ、矩形８４２の状態であれば反時計回りに９０ｄｅｇ回転させることで、弦の向きを水平方向に揃えることができる。なお、表示する際は弦の向きを水平方向ではなく垂直方向、あるいは斜めに揃えてもよい。また、複数の錠剤について表示する場合、各錠剤の弦の向きに加えて弓（分割錠剤の曲線部分）の向き（対象物の外形の向きの一例）を揃えて表示してもよい（図１６を参照）。

　＜第２の表示処理＞
　第２の表示処理では、マッチング用画像における印字及び／または刻印（対象物に付された識別情報の一例）の向きを揃えて表示させる。表示制御部１００Ｇは、マッチング用画像を上述の処理により特定した回転角度の分逆回転させることにより印字及び／または刻印の向きを揃えることができる。

　＜表示処理の具体例＞
　上述した第１，第２の表示処理の具体例について説明する。対象とする錠剤は図１５に示す「バルサルタン錠８０ｍｇＦＦＰ」である。図１５の（ａ）部分は錠剤の正面図（表面）であり、印字及び割線が施されている。同図の（ｂ）部分は側面図である。割線と印字の方向との関係は錠剤により異なり、割線が印字に対し水平方向あるいは垂直方向に施されている場合もある。また、図１５の（ｃ）部分及び（ｄ）部分は背面図（裏面）である。表面と同様に裏面にも印字が施されているが、表面と裏面とで印字の方向は一定ではない。例えば、図１５の（ａ）部分に示す表面に対し、裏面は（ｃ）部分のようになっている（表面と印字の方向が同じ）場合もあるし、（ｄ）部分のようになっている（表面と印字の方向が異なる）場合もある。

　上述した錠剤に対する第１の表示処理の例を図１６に示す。同図の（ａ）部分はマスタ画像の表面（白線の左側の領域）及びマッチング用画像の表面（白線の右側の領域）についての表示であり、同図の（ｂ）部分はマスタ画像の裏面（白線の左側の領域）及びマッチング用画像の裏面（白線の右側の領域）についての表示である。図１６において、（ａ）部分と（ｂ）部分とで同じ位置に存在する画像は同一の錠剤を示している。また、第２の表示処理の例を図１７に示す。同図の（ａ）部分はマスタ画像の表面（白線の左側の領域）及びマッチング用画像の表面（白線の右側の領域）についての表示であり、同図の（ｂ）部分はマスタ画像の裏面（白線の左側の領域）及びマッチング用画像の裏面（白線の右側の領域）についての表示である。図１７においても、（ａ）部分と（ｂ）部分とで同じ位置に存在する画像は同一の錠剤を示している。なお、第１，第２の表示処理の際に、表示制御部１００Ｇは錠剤（対象物）の表面及び／または裏面についてのマッチング用画像（第１のマッチング用画像）を選択してモニタ４１０（表示装置）に表示させる。表面の画像だけ、あるいは裏面の画像だけを表示してもよいし、両方の画像を表示してもよい。また、マスタ画像を併せて表示してもよいし、表示を省略してもよい。

　以上説明したように、第１の実施形態によれば分割錠剤を良好な精度でマッチングでき、また第１，第２の表示処理によりマッチング結果を容易に確認することができる。

　＜楕円錠剤を分割した場合のマッチング＞
　楕円型の錠剤を分割した場合のマッチングについて説明する。図１８は楕円錠剤のマスタ画像の例であり、同図の（ａ）部分は錠剤の表面を示す。表面の左右には、それぞれ“Ａ”、“Ｂ”の刻印（または印字）が施されている。また、同図の（ｂ）部分は錠剤の裏面を示す。裏面の左右には、それぞれ“Ｃ”、“Ｄ”の刻印（または印字）が施されている。この錠剤には、中央に割線が付されている。図１８の錠剤を分割した状態を図１９に示す。図１９の（ａ１），（ａ２）部分はそれぞれ表面の左側、右側を示し、同図の（ｂ１），（ｂ２）部分はそれぞれ裏面の左側、右側を示す。このような楕円型の錠剤では、表面と裏面との対応関係が異なる（上述したバルサルタン錠のように、表面と裏面とで刻印の向きが異なる）錠剤が存在する。例えば、図２０の（ａ１），（ａ２）部分に示すように表面と裏面とで刻印の向き（上下方向）が一致している場合と、同図の（ｂ１），（ｂ２）部分に示すように刻印の向きが異なっている場合とがある。

　＜楕円錠剤の場合のマッチングスコアの算出＞
　図２１は、図１８～２０に示す楕円錠剤のマッチングの様子を示す図である。図２１で「上」と記載されているのは例えばカメラ２１０により上方から撮影した画像であり、「下」と記載されているのは例えばカメラ２２０により下方から撮影した画像である。撮影画像にはＡ，Ｂ，Ｃ，Ｄのうちいずれかが刻印されており、図２１に示す撮影画像の刻印は例示したものである。このような状況で、錠剤特定部１００Ｆは以下のマッチングスコアＳ１～Ｓ８を算出する（図７のステップＳ１６０、錠剤特定工程に相当）。この際、上述した修正スコア値と同様に、分割錠剤の特性を加味したマッチングスコアを算出することが好ましい。なお、以下の説明において「マッチングスコアＳ１」を「Ｓ１」と記載する場合がある（マッチングスコアＳ２～Ｓ８についても同様である）。

　マッチングスコアＳ１：撮影画像（上方から撮影）とマスタ画像（表面の左側）についてのマッチングスコア
　マッチングスコアＳ２：撮影画像（上方から撮影）とマスタ画像（表面の右側）についてのマッチングスコア
　マッチングスコアＳ３：撮影画像（上方から撮影）とマスタ画像（裏面の左側）についてのマッチングスコア
　マッチングスコアＳ４：撮影画像（上方から撮影）とマスタ画像（裏面の右側）についてのマッチングスコア
　マッチングスコアＳ５：撮影画像（下方から撮影）とマスタ画像（表面の左側）についてのマッチングスコア
　マッチングスコアＳ６：撮影画像（下方から撮影）とマスタ画像（表面の右側）についてのマッチングスコア
　マッチングスコアＳ７：撮影画像（下方から撮影）とマスタ画像（裏面の左側）についてのマッチングスコア
　マッチングスコアＳ８：撮影画像（下方から撮影）とマスタ画像（裏面の右側）についてのマッチングスコア
　なお、例えばマッチングスコアＳ１は、撮影画像（上方から撮影）に対し、マスタ画像（表面の左側）を回転角度０ｄｅｇ～３５９ｄｅｇの範囲で回転させてテンプレートマッチングしたスコア値のうち、スコア最大となった回転角におけるスコア値を示す。

　マッチングスコアどうしの対応関係としては、（Ｓ１，Ｓ７），（Ｓ１，Ｓ８），（Ｓ２，Ｓ７），（Ｓ２，Ｓ８），（Ｓ３，Ｓ５），（Ｓ３，Ｓ６），（Ｓ４，Ｓ５），（Ｓ４，Ｓ６）があり得る。ここで、例えば（Ｓ１，Ｓ７）は「上方から撮影した画像が表面の左側を示し、下方から撮影した画像が裏面の左側を示す」ことを意味する。

　＜面の特定＞
　上述した状況で、錠剤特定部１００Ｆは以下の第１，第２の方式により楕円型の分割錠剤の面を特定する。これにより楕円型の分割錠剤を良好な精度でマッチングして錠剤の面を特定することができる。なお、錠剤の種類は別途特定されているものとする（処方データ、あるいは分包袋の撮影画像において分割錠剤が１種類のみである場合を含む）。

　（第１の方式）
　錠剤特定部１００ＦはスコアＴ１＝Ｓ１＋Ｓ２＋Ｓ７＋Ｓ８、スコアＴ２＝Ｓ３＋Ｓ４＋Ｓ５＋Ｓ６を算出し、スコアＴ１，Ｔ２の大小を比較する。その結果、スコアＴ１＞Ｔ２ならば、錠剤特定部１００Ｆは「上方から撮影した画像が表面、下方から撮影した画像が裏面」と特定する。一方、スコアＴ１＜Ｔ２ならば、錠剤特定部１００Ｆは「上方から撮影した画像が裏面、下方から撮影した画像が表面」と特定する。

　（第２の方式）
　錠剤特定部１００ＦはスコアＴ１＝Ｓ１＋Ｓ７、スコアＴ２＝Ｓ１＋Ｓ８、スコアＴ２＝Ｓ２＋Ｓ７、スコアＴ４＝Ｓ２＋Ｓ８、スコアＴ５＝Ｓ３＋Ｓ５、スコアＴ６＝Ｓ３＋Ｓ６、スコアＴ７＝Ｓ４＋Ｓ５、スコアＴ８＝Ｓ４＋Ｓ６を算出し、スコアＴ１～Ｔ８の中の最大スコアを特定する。その結果、最大スコアがスコアＴ１，Ｔ２，Ｔ７，Ｔ８のいずれかの場合は、錠剤特定部１００Ｆは「上方から撮影した画像が表面、下方から撮影した画像が裏面」と特定する。一方最大スコアがスコアＴ３，Ｔ４，Ｔ５，Ｔ６のいずれかの場合は、錠剤特定部１００Ｆは「上方から撮影した画像が裏面、下方から撮影した画像が表面」と特定する。

　＜表示処理＞
　上述した楕円型の錠剤の場合も、表示制御部１００Ｇは分割錠剤の直線部分である弦の向きを揃えて表示させる第１の表示処理、または分割錠剤の印字及び／または刻印の向きを揃えて表示させる第２の表示処理を行い、結果を図１６，１７のようにモニタ４１０（表示装置）に表示させることができる。これによりマッチング結果を容易に確認することができる。

　＜薬剤の鑑別の場合＞
　上述した実施形態では、主として薬剤監査支援で行われる分包薬剤の特定について説明したが、本発明の対象物照合装置（錠剤特定装置）及び対象物照合方法（錠剤特定方法）は患者が病院、薬局等に持参した薬剤の鑑別にも適用することができる。鑑別を行う場合、図２２の側面図に示すように分包袋に代えてシャーレ等の容器７１０に錠剤８００を入れて撮影を行う。図２３は図２２に示す状態の平面図である。鑑別を行う場合のその他の構成は、上述した錠剤特定装置１０と同様である。錠剤の特定処理も上述した態様と同様に行うことができるが、持参薬の鑑別を行う場合は処方箋が確認できない場合がある。この場合、処方データ取得部１００Ａは、目視等で認識した薬剤の特徴（例えば、錠剤の種類、形状、色等）、あるいはいわゆる「お薬手帳」等の手帳に記載された薬剤名称、数量、服用方法等の情報を、ユーザの操作に応じて関連情報として入力し、処方データに代えて用いてもよい。

　薬剤の鑑別を行う場合も、本発明の対象物照合装置（錠剤特定装置）及び対象物照合方法（錠剤特定方法）により分割錠剤（分割可能な医療用物品である対象物）を良好な精度でマッチングでき、また第１，第２の表示処理によりマッチング結果を容易に確認することができる。

　＜錠剤またはカプセル型薬剤が収納された包装体についての照合＞
　上述した例では、錠剤について照合を行う場合について説明したが、本発明に係る対象物照合装置及び対象物照合方法は錠剤が収納された包装体、カプセル型薬剤が収納された包装体にも適用することができる。例えば、いわゆるＰＴＰ包装シート（ＰＴＰ：press through pack）は錠剤やカプセルをプラスチックとアルミ箔で挟んで収納したシート状の包装体であり、錠剤あるいはカプセル型薬剤の形状に合わせて立体的に形成されるプラスチック部分を強く押す事でアルミ箔が破け、中の錠剤等を１つずつ取り出すことができる。また、一般にＰＴＰ包装シートには複数のミシン目が付されており、このミシン目に沿って分割することができる。すなわち、ＰＴＰ包装シートは分割可能な医療用物品の他の例である。

　図２６は錠剤が収納されたＰＴＰ包装シートであるシート９００（分割されていない状態）を表面側から見た斜視図であり、図２７は正面図である。シート９００は端部９０２及び本体部９０４に薬剤の名称、有効成分量等が文字、数字により印字されており（識別情報の一例；裏面にも同様の情報が印字される）、また本体部９０４をミシン目９０４Ｂに沿って切り取る（分割する）ことで錠剤部９０４Ａの数を調節し、必要な数の錠剤９１０を得ることができる。なお、図２６，２７における識別情報は説明の便宜のために記載したものであり、実際の製品の表示を正確に再現したものではない。図２８は本体部９０４の一部を切り取った状態のシート９００の例を示す図である。処方内容により分割されて患者に提供された場合や、錠剤を取り出した部分を切り取った場合にこのような状態になる。

　＜錠剤の包装体についての照合＞
　このようなシート９００についても、上述した錠剤の場合と同様に照合を行うことができる。具体的には、図２６，２７に示すように分割されていない状態のシート９００（対象物）の表面及び裏面について、カメラ２１０、カメラ２２０、画像取得部１００Ｂ、マスタ画像取得部１００Ｃによりマスタ画像（第２の撮影画像に基づく第２のマッチング用画像）を取得し、照合対象のシート９００（分割されていない状態、または分割された状態）の表面及び裏面について第１の撮影画像に基づく第１のマッチング用画像を取得する。これ以降の処理は錠剤の場合と同様に図７に示すフローチャートに従って実行することができる。

　＜包装体についての表示例＞
　図２９は分割されたシート９００について第１の表示処理を行った状態を示す例である。この例では、分割線であるミシン目９０４Ｂの向き（及び分割線に対する対象物の向き）を揃えることによりシート９００の外形の向きを揃えている。なお、図２９は表面についての表示例であるが、裏面についても同様に表示することができる（図１６の例を参照）。一方、図３０は分割されたシート９００について第２の表示処理を行った状態を示す例である。シート９００は必ずしもミシン目９０４Ｂで切り離されるとは限らず、ハサミ等によりミシン目９０４Ｂと直交する方向に切り離される場合があり、この場合錠剤の数が同じでも分割後のシート９００の形状が同じになるとは限らない。このような場合は、シート９００に付された識別情報（この場合薬剤の名称等の印字）の向きを揃えて表示させる第２の表示処理を行うことができる。なお図３０は表面についての表示例であるが、裏面についても同様に表示することができる（図１７の例を参照）。

　以上、図２６～３０を参照しつつ錠剤が収納された包装体（ＰＴＰシート）の場合について説明したが、カプセル型薬剤が収納されたシートの場合も同様に照合を行って結果を第１，第２の表示処理により表示させることができる。なお、錠剤を個別に収納する袋状の収納部が連続してシート状に形成されるタイプの包装体についても、同様に照合及び表示処理を行うことができる。

　錠剤が収納された包装体、カプセル型薬剤が収納された包装体の場合も、錠剤の場合と同様に包装体を良好な精度でマッチングでき、また第１，第２の表示処理によりマッチング結果を容易に確認することができる。

　（付記）
　上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。

　（付記１）
　付記１に係る錠剤特定装置は、錠剤を複数の異なる方向から撮影した撮影画像を取得する画像取得部と、分割されていない錠剤の表面及び裏面についてのマスタ画像を取得するマスタ画像取得部と、撮影画像に映っている錠剤が分割された分割錠剤であるか否かを判断する錠剤判断部と、分割錠剤であると判断された錠剤についての撮影画像から錠剤領域を含むマッチング用画像を生成する画像生成部と、マッチング用画像とマスタ画像とのテンプレートマッチングによりマッチング用画像が示す錠剤の種類及び面を特定する錠剤特定部と、特定の結果に基づいて、マスタ画像と、マスタ画像と同一の錠剤及び同一の面を示すと特定されたマッチング用画像とを表示装置に表示させる表示制御部であって、分割錠剤の直線部分である弦の向きを揃えて表示させる第１の表示処理、または分割錠剤の印字及び／または刻印の向きを揃えて表示させる第２の表示処理を行う表示制御部と、を備える。

　付記１の構成では、分割錠剤に関しマッチング結果を分割錠剤の直線部分である弦の向きを揃えて表示させる第１の表示処理、または分割錠剤の印字及び／または刻印の向きを揃えて表示させる第２の表示処理により表示させるので、ユーザは錠剤の種類及び面の特定結果（マッチング結果）を視覚により容易に把握することができる。また、付記１の構成では分割されていない錠剤についてのマスタ画像を用いてテンプレートマッチングを行うので、画像の僅かな部分どうしの一致により誤ったマッチングがされる可能性を低減し、正確なマッチングを行うことができる。このように、付記１の構成によれば、分割錠剤を良好な精度でマッチングでき、またマッチング結果を容易に確認することができる。

　付記１の構成において、画像取得部は複数の対向する方向から撮影した画像を取得することが好ましい。鉛直上下方向等、錠剤の表面及び裏面を撮影した画像を取得することがさらに好ましい。また、マスタ画像は処方データ（処方箋に記載された薬剤の情報、及びその情報に基づいて医師、薬剤師等が入力した情報）に基づいて取得してもよい。なお、錠剤の「特定」は薬剤の監査、持参薬等の鑑別等において行うことができる。

　（付記２）
　付記２に係る錠剤特定装置は付記１の構成において、表示制御部は、マスタ画像及びマッチング用画像を錠剤の表面及び裏面について表示させる。付記２の構成によれば特定結果（マッチング結果）をいっそう容易に把握することができる。なお付記２の構成において、特定結果はマスタ画像及びマッチング用画像の表面ごと、及び裏面ごとに一括して表示することが好ましい。

　（付記３）
　付記３に係る錠剤特定装置は付記１または付記２の構成において、分割されていない錠剤の種類を撮影画像及びマスタ画像に基づいて特定する全錠剤特定部をさらに備え、錠剤判断部は、全錠剤特定部により種類が特定されていない錠剤について判断を行う。付記３の構成によれば、全錠剤特定部により種類が特定されていない錠剤について分割錠剤であるか否かを判断することで、効率的に処理を行うことができる。

　（付記４）
　付記４に係る錠剤特定装置は付記１から付記３の構成のいずれか１つにおいて、錠剤判断部は、撮影画像から錠剤領域を含むマスク画像を生成し、マスク画像における画素値の分布に基づいて判断を行う。分割されていない錠剤は一般に円形、楕円形等対称な形状であるが、分割により非対称な方向が生じる。このため付記４の構成では、マスク画像における画素値の分布（例えば非対称性）に基づいて分割錠剤であるか否かを判断している。なお、撮影画像からノイズ等不要な部分を除去し錠剤領域を含む画像をマスク画像とすることができ、２値化されていてもよい。また、マスク画像の範囲は例えば錠剤領域に外接する矩形とすることができるが、このような態様に限定されるものではない。また、立っている錠剤（分割面あるいは切断面が錠剤の載置面に接触している状態；いわゆる「立ち錠」）についても、画素値の分布に基づいて判断することができる。

　（付記５）
　付記５に係る錠剤特定装置は付記４の構成において、錠剤判断部は、機械学習により構築された第１の階層型ネットワークを用いてマスク画像を生成する。第１の階層型ネットワークはニューラルネットワークとすることができ、例えばＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）等を用いて、マスク画像を教師データとして与えて深層学習等の機械学習を行うことにより構成することができる。

　（付記６）
　付記６に係る錠剤特定装置は付記５の構成において、画像生成部は、撮影画像の画素値とマスク画像の画素値とを画素ごとに乗算してマッチング用画像を生成する。付記６の構成はマッチング用画像生成処理の具体的態様を規定するもので、マスク画像との乗算により不要な部分を除去したマッチング用画像を生成することができる。

　（付記７）
　付記７に係る錠剤特定装置は付記１から付記６の構成のいずれか１つにおいて、マッチング用画像及び／またはマスタ画像に対し領域拡大処理、２値化処理、画像反転処理、印字及び／または刻印の領域を抽出する処理、印字及び／または刻印を強調する処理のうち少なくとも１つを前処理として施す前処理部をさらに備え、錠剤特定部は、前処理を施したマッチング用画像及び／またはマスタ画像を用いてテンプレートマッチングを行う。付記７の構成では、上述した前処理によりさらに正確にマッチングを行うことができる。これらの前処理はユーザの指示に応じて実施する処理の種類及び／または程度を決定してもよいし、ユーザの指示によらずに錠剤特定装置が決定してもよい。なお、前処理としての２値化処理、画像反転処理、印字及び／または刻印の領域を抽出する処理、印字及び／または刻印を強調する処理を行うかどうかは、マッチング用画像とマスタ画像とで揃えることが好ましい。

　（付記８）
　付記８に係る錠剤特定装置は付記７の構成において、前処理部は、機械学習により構築された第２の階層型ネットワークにより印字及び／または刻印を抽出する処理を施す。第２の階層型ネットワークはニューラルネットワークとすることができ、例えばＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）等を用いて、印字及び／または刻印を抽出した画像を教師データとして与えて深層学習等の機械学習を行うことにより構成することができる。

　（付記９）
　付記９に係る錠剤特定装置は付記１から付記８の構成のいずれか１つにおいて、錠剤特定部は、マッチング用画像とマスタ画像とを相対的に回転させながらマッチングスコアを算出し、マッチングスコアに基づいて特定を行う。付記９の構成では、複数の方向のそれぞれについてのマッチング用画像と、マスタ画像の表面及び裏面とについてマッチングスコアを算出し、この結果に基づいて錠剤の種類及び面を特定することができる。なお、マッチング用画像における錠剤領域の外接円の中心とマスタ画像の中心とを一致させた状態で画像を回転させてもよいし、あらかじめ回転させた画像を移動しながらマッチングを行っても良い。また、マッチングにおいて画像の相対的な移動（平行移動）があってもよい。

　（付記１０）
　付記１０に係る錠剤特定装置は付記９の構成において、表示制御部は、第２の表示処理において、特定した面に対してマッチングスコアが最大になる回転の角度を算出し、マッチング用画像を角度だけ逆回転させてマッチング用画像における印字及び／または刻印の方向をマスタ画像と揃える。付記１０の構成は、第２の表示処理においてマッチング用画像における印字及び／または刻印の方向をマスタ画像と揃える処理を具体的に規定するものである。

　（付記１１）
　付記１１に係る錠剤特定装置は付記９のまたは付記１０の構成において、錠剤特定部は、マッチング用画像とマスタ画像との相関スコア値、印字及び／または刻印を示す画像の画素数、及びマスタ画像の印字及び／または刻印を示す画像の画素数を用いてマッチングスコアを算出する。付記１１の構成は、分割錠剤の特性を考慮して正確にマッチングを行うためのスコアの算出について規定するものである。

　（付記１２）
　付記１２に係る錠剤特定方法は錠剤を複数の異なる方向から撮影した撮影画像を取得する画像取得工程と、分割されていない錠剤の表面及び裏面についてのマスタ画像を取得するマスタ画像取得工程と、撮影画像に映っている錠剤が分割された分割錠剤であるか否かを判断する錠剤判断工程と、分割錠剤であると判断された錠剤についての撮影画像から錠剤領域を含むマッチング用画像を生成する画像生成工程と、マッチング用画像とマスタ画像とのテンプレートマッチングによりマッチング用画像が示す錠剤の種類及び面を特定する錠剤特定工程と、特定の結果に基づいて、マスタ画像と、マスタ画像と同一の錠剤及び同一の面を示すと特定されたマッチング用画像とを表示装置に表示させる表示制御工程であって、分割錠剤の直線部分である弦の向きを揃えて表示させる第１の表示処理、または分割錠剤の印字及び／または刻印の向きを揃えて表示させる第２の表示処理を行う表示制御工程と、を有する。

　付記１２の構成によれば、付記１の構成と同様に分割錠剤を良好な精度でマッチングでき、またマッチング結果を容易に確認することができる。

　なお、付記１２に係る錠剤特定方法に対し、付記２から付記１１と同様の構成をさらに含めてもよい。また、それら態様の錠剤特定方法を錠剤特定装置あるいはコンピュータに実行させるプログラム、並びにそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。

　以上で本発明の実施形態及び他の態様に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０　　　錠剤特定装置
１００　　処理部
１００Ａ　処方データ取得部
１００Ｂ　画像取得部
１００Ｃ　マスタ画像取得部
１００Ｄ　錠剤判断部
１００Ｅ　画像生成部
１００Ｆ　錠剤特定部
１００Ｇ　表示制御部
１００Ｈ　全錠剤特定部
１００Ｉ　前処理部
１１０　　ＣＰＵ
１２０　　ＲＯＭ
１３０　　ＲＡＭ
２００　　照明部
２０２　　光源
２１０　　カメラ
２２０　　カメラ
２３０　　処方箋リーダ
２４０　　搬送機構
３００　　記憶部
３００Ａ　処方データ
３００Ｂ　撮影画像
３００Ｃ　マッチング用画像
３００Ｄ　マスク画像
３００Ｅ　マスタ画像
３００Ｆ　特定結果
４００　　表示部
４１０　　モニタ
５００　　操作部
５１０　　キーボード
５２０　　マウス
７００　　薬包帯
７０２　　分包袋
７１０　　容器
８００　　錠剤
８０２Ａ　画像
８０２Ｂ　画像
８０４Ａ　マスタ画像
８０４Ｂ　マスタ画像
８３０　　分割錠剤領域
８３２　　矩形
８３４　　マッチング用画像
８３５　　外接円
８３６　　マッチング用画像
８３８　　マスタ画像
８４０　　矩形
８４１　　矩形
８４２　　矩形
９００　　シート
９０２　　端部
９０４　　本体部
９０４Ａ　錠剤部
９０４Ｂ　ミシン目
９１０　　錠剤
１００１　撮影光軸
θ　　　　回転角
Ｓ１　　　マッチングスコア
Ｓ２　　　マッチングスコア
Ｓ３　　　マッチングスコア
Ｓ４　　　マッチングスコア
Ｓ５　　　マッチングスコア
Ｓ６　　　マッチングスコア
Ｓ７　　　マッチングスコア
Ｓ８　　　マッチングスコア
Ｓ１０　　マッチングスコア
Ｓ２０　　マッチングスコア
Ｓ３０　　マッチングスコア
Ｓ４０　　マッチングスコア
Ｓ１００～Ｓ１９０　錠剤特定方法の各ステップ
Ｔ１　　　スコア
Ｔ２　　　スコア
Ｔ３　　　スコア
Ｔ４　　　スコア
Ｔ５　　　スコア
Ｔ６　　　スコア
Ｔ７　　　スコア
Ｔ８　　　スコア

Claims (10)

1. 　分割可能な医療用物品である対象物についての第１の撮影画像に基づく第１のマッチング用画像を取得する第１の画像取得部と、
   　分割されていない状態の前記対象物についての第２の撮影画像に基づく第２のマッチング用画像を取得する第２の画像取得部と、
   　前記第１の撮影画像に映っている前記対象物が分割されているか否かを判定する分割判定部と、
   　前記対象物が分割されていると判定された場合に、前記第１のマッチング用画像と前記第２のマッチング用画像との照合を行う照合部と、
   　前記照合の結果に基づいて前記第１のマッチング用画像のうち同一種類の前記対象物が映っていると判断された表示用画像を表示装置に表示させる表示制御部であって、前記対象物の外形の向きを揃えて表示させる第１の表示処理、または前記対象物に付された識別情報の向きを揃えて表示させる第２の表示処理を行う表示制御部と、
   　を備える対象物照合装置。
2. 　前記第１の画像取得部は前記対象物の表面及び裏面について前記第１のマッチング用画像を取得し、
   　前記第２の画像取得部は前記分割されていない状態の前記対象物の表面及び裏面について前記第２のマッチング用画像を取得し、
   　前記照合部は、前記対象物の表面及び裏面について前記照合を行い、
   　前記表示制御部は、前記対象物の表面及び／または裏面についての前記第１のマッチング用画像を選択して前記表示装置に表示させる請求項１に記載の対象物照合装置。
3. 　前記表示制御部は、前記第１の表示処理において、前記対象物の分割により生じる分割線の向きを揃えることにより前記外形の向きを揃える請求項１または２に記載の対象物照合装置。
4. 　前記照合部は前記対象物の前記外形及び／または前記識別情報に基づいて前記照合を行う請求項１から３のいずれか１項に記載の対象物照合装置。
5. 　前記照合部は、前記第１のマッチング用画像のうち前記対象物及び／または前記識別情報を含む一部の領域を抽出し、前記一部の領域について前記照合を行う請求項１から４のいずれか１項に記載の対象物照合装置。
6. 　前記分割判定部は、前記対象物の前記外形があらかじめ規定された形状である場合に前記対象物が分割されていると判定する請求項１から５のいずれか１項に記載の対象物照合装置。
7. 　前記照合部は、前記第１のマッチング用画像及び／または前記第２のマッチング用画像として前記識別情報を強調する処理を施した画像を用いて前記照合を行う請求項１から６のいずれか１項に記載の対象物照合装置。
8. 　前記医療用物品は錠剤、錠剤が収納された包装体、カプセル型薬剤が収納された包装体のいずれかである請求項１から７のいずれか１項に記載の対象物照合装置。
9. 　前記識別情報は前記対象物に付された印字及び／または刻印を含む請求項１から８のいずれか１項に記載の対象物照合装置。
10. 　分割可能な医療用物品である対象物についての第１の撮影画像に基づく第１のマッチング用画像を取得する第１の画像取得工程と、
    　分割されていない状態の前記対象物についての第２の撮影画像に基づく第２のマッチング用画像を取得する第２の画像取得工程と、
    　前記第１の撮影画像に映っている前記対象物が分割されているか否かを判定する分割判定工程と、
    　前記対象物が分割されていると判定された場合に、前記第１のマッチング用画像と前記第２のマッチング用画像との照合を行う照合工程と、
    　前記照合の結果に基づいて前記第１のマッチング用画像のうち同一種類の前記対象物が映っていると判断された表示用画像を表示装置に表示させる表示制御工程であって、前記対象物の外形の向きを揃えて表示させる第１の表示処理、または前記対象物に付された識別情報の向きを揃えて表示させる第２の表示処理を行う表示制御工程と、
    　を備える対象物照合方法。

Images