JP5414879B1 - 薬剤認識装置、薬剤認識方法及び薬剤認識プログラム - Google Patents

Abstract

【課題】包装材を撮像した画像に基づく薬剤の認識精度を向上すると共に、薬剤の認識結果を迅速に得る。
【解決手段】薬剤の包装を読み取った読取画像から複数の局所特徴量を抽出し、認識され得る複数の薬剤の画像夫々について抽出された局所特徴量が複数の薬剤夫々に関連付けられて登録されている登録画像データベース１０２を参照し、読取画像から抽出された複数の局所特徴量を、登録されている局所特徴量のうち最も近い局所特徴量に関連付け、関連付けられた局所特徴量の数に従って複数の薬剤を順位付けする順位付け部１１２と、薬剤の画像を変換するための変換情報を、夫々抽出された局所特徴量に基づいて求める回転処理部１１３と、求められた変換情報を用いて変換を行い、前記薬剤の画像と前記読取画像とが同一であるか否かを判断する検証処理部１１３とを含む。
【選択図】図３

Description

本発明は、薬剤認識装置、薬剤認識方法及び薬剤認識プログラムに関し、特に、撮像による薬剤の認識処理に関する。

医師の処方に応じて薬剤を提供する調剤薬局においては非常に多種の薬剤を取り扱っている。薬剤は生命に関わるものであり、投薬過誤はあってはならないため、薬剤の提供に際しては多種の薬剤の中から医師の処方に従った正確な薬剤の提供が求められる。様々な種類の薬剤のうち、例えばブリスタパックに梱包された薬剤は外観的に類似したものが多く存在するため、提供時における薬剤の確認作業は薬剤師にとっての大きな負担となっている。

このような負担を軽減するため、薬剤を直接包装している包装材の画像を読み取って生成された画像から薬剤名を認識して、正確な薬剤が選択されているか否かを確認する方法が提案されている（例えば、特許文献１参照）。

特開２００４−１６７１５８号公報

特許文献１に開示された技術においては、包装材の画像から薬剤名を認識可能な薬剤名画像部分を照合することが前提となっている。しかしながら、薬剤に印字されている薬剤名には特別なフォントが用いられている場合があるため、高精度な文字認識を行うことが困難な場合があり得る。

また、薬剤の包装材に表示されている画像には、薬剤名以外にも薬剤の認識に有効な情報が含まれている場合もあるが、特許文献１において開示された技術ではそのような情報を有効に活用できていない。尚、このような課題はブリスタパックによって包装された薬剤に限定されたものではなく、包装材に薬剤を識別可能な情報が表示された薬剤であれば同様に課題となり得る。

本発明は、上記実情を考慮してなされたものであり、包装材を撮像した画像に基づく薬剤の認識精度を向上すると共に、薬剤の認識結果を迅速に得ることを目的とする。

上記課題を解決するために、本発明の一態様は、薬剤の包装を撮像することにより生成された読取画像に基づいて薬剤を認識する薬剤認識装置であって、前記読取画像を取得する画像取得部と、前記読取画像から複数の局所特徴量を抽出し、認識され得る複数の薬剤の画像夫々について抽出された局所特徴量が前記複数の薬剤夫々に関連付けられて登録されている登録画像データベースを参照し、前記読取画像から抽出された複数の局所特徴量を、前記登録画像データベースに登録されている局所特徴量のうち最も近い局所特徴量に関連付け、関連付けられた局所特徴量の数に従って前記複数の薬剤を順位付けする順位付け部と、前記薬剤の画像と前記読取画像とが重ね合わせられるように、前記薬剤の画像及び前記読取画像の一方を変換するための変換情報を、前記薬剤の画像及び前記読取画像から夫々抽出された局所特徴量に基づいて求める変換情報取得部と、求められた前記変換情報を用いて前記薬剤の画像及び前記読取画像の一方を変換し、前記薬剤の画像及び前記読取画像とを比較することにより前記薬剤の画像と前記読取画像とが同一であるか否かを判断する検証処理部とを含み、前記変換情報取得部は、順位付けされた前記複数の薬剤の順位の順に前記変換情報を求め、前記検証処理部は、順番に求められた変換情報を用いて前記薬剤の画像及び前記読取画像の一方を変換して前記薬剤の画像と前記読取画像とが同一であるか否かを判断し、同一であると判断した前記薬剤の画像に対応する薬剤を前記読取画像に対する薬剤の認識結果として出力することを特徴とする。

また、本発明の他の態様は、薬剤の包装を撮像することにより生成された読取画像に基づいて薬剤を認識する薬剤認識方法であって、前記読取画像を取得し、前記読取画像から複数の局所特徴量を抽出し、認識され得る複数の薬剤の画像夫々について抽出された局所特徴量が前記複数の薬剤夫々に関連付けられて登録されている登録画像データベースを参照し、前記読取画像から抽出された複数の局所特徴量を、前記登録画像データベースに登録されている局所特徴量のうち最も近い局所特徴量に関連付け、関連付けられた局所特徴量の数に従って前記複数の薬剤を順位付けし、前記薬剤の画像と前記読取画像とが重ね合わせられるように、前記薬剤の画像及び前記読取画像の一方を変換するための変換情報を、順位付けされた前記複数の薬剤の順位の順に、前記薬剤の画像及び前記読取画像から夫々抽出された局所特徴量に基づいて求め、順位付けされた前記複数の薬剤の順位の順に求められた前記変換情報を用いて前記薬剤の画像及び前記読取画像の一方を変換し、前記薬剤の画像及び前記読取画像とを比較することにより前記薬剤の画像と前記読取画像とが同一であるか否かを判断し、同一であると判断した前記薬剤の画像に対応する薬剤を前記読取画像に対する薬剤の認識結果として出力することを特徴とする。

また、本発明の更に他の態様は、薬剤の包装を撮像することにより生成された読取画像に基づいて薬剤を認識する薬剤認識プログラムであって、前記読取画像を取得するステップと、前記読取画像から複数の局所特徴量を抽出するステップと、認識され得る複数の薬剤の画像夫々について抽出された局所特徴量が前記複数の薬剤夫々に関連付けられて登録されている登録画像データベースを参照し、前記読取画像から抽出された複数の局所特徴量を、前記登録画像データベースに登録されている局所特徴量のうち最も近い局所特徴量に関連付けるステップと、関連付けられた局所特徴量の数に従って前記複数の薬剤を順位付けるステップと、前記薬剤の画像と前記読取画像とが重ね合わせられるように、前記薬剤の画像及び前記読取画像の一方を変換するための変換情報を、順位付けされた前記複数の薬剤の順位の順に、前記薬剤の画像及び前記読取画像から夫々抽出された局所特徴量に基づいて求めるステップと、順位付けされた前記複数の薬剤の順位の順に求められた前記変換情報を用いて前記薬剤の画像及び前記読取画像の一方を変換し、前記薬剤の画像及び前記読取画像とを比較することにより前記薬剤の画像と前記読取画像とが同一であるか否かを判断するステップと、同一であると判断した前記薬剤の画像に対応する薬剤を前記読取画像に対する薬剤の認識結果として出力するステップとを情報処理装置に実行させることを特徴とする。

本発明によれば、包装材を撮像した画像に基づく薬剤の認識精度を向上すると共に、薬剤の認識結果を迅速に得ることが可能となる。

本発明の薬剤認識装置の外観及び内部構成を示す図である。 本発明の実施形態に係る薬剤認識装置のハードウェア構成を示すブロック図である。 本発明の実施形態に係る薬剤認識装置の機能構成を示す図である。す図である。 本発明の実施形態に係る登録画像データベースの例を示す図である。 本発明の実施形態に係る登録画像、参照画像及び特徴点の抽出例を示す図である。 本発明の実施形態に係る読取画像の例を示す図である。 本発明の実施形態に係る特徴点の対応付けの例を示す図である。 本発明の実施形態に係る特徴点の対応付けの例を示す図である。 本発明の実施形態に係る順位付け結果の例を示す図である。 本発明の実施形態に係る回転処理部及び検証処理部の動作を示すフローチャートである。 本発明の実施形態に係る回転処理部の動作を示すフローチャートである。 本発明の実施形態に係る参照画像の読み取り画像への射影を概念的に示す図である。 本発明の実施形態に係る読取画像の例を示す図である。 本発明の実施形態に係る類似画像の例を示す図である。 本発明の実施形態に係る類似画像データベースの例を示す図である。 本発明の実施形態に係る検証領域座標の例を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、薬剤の包装を撮像して得られた画像に基づき、その薬剤の種類を認識してユーザに通知する薬剤認識装置を例として説明する。

図１は、本実施形態に係る薬剤認識装置１の外観及び内部構成を示す斜視図である。図１に示すように、本実施形態に係る薬剤認識装置１は、箱状の筐体２にタッチパネル３が設置されて構成されている。筐体２の上面の一部は透明の板で構成されており、その透明部分が撮像対象の薬剤を置く撮像台４となる。

筐体２内部には、撮像台４の上に置かれた薬剤を撮像するためのカメラ６が設置されており、カメラ６の周囲から撮像台４に対向するようにボール型照明５が設けられている。このボール型照明５の効果により、撮像台４に置かれた薬剤には多方向から光が照射され、陰影の排除された薬剤の画像がカメラ６によって撮像される。

筐体２内部にはコントローラ装置７が設けられており、カメラ６によって撮像されて生成された画像がコントローラ装置７に入力される。コントローラ装置７は、カメラ６から取得した薬剤の画像を処理して薬剤の認識処理を行い、タッチパネル３に認識結果を表示する。

図２は、本実施形態に係る薬剤認識装置１のハードウェア構成を示すブロック図である。図１に示すように、本実施形態に係る薬剤認識装置１は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理端末と同様の構成に加えて、上述したカメラ６を含む。即ち、本実施形態に係る薬剤認識装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１３及びＩ／Ｆ１４がバス１７を介して接続されている。また、Ｉ／Ｆ１４には、画像カメラ６、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１５及び操作部１６が接続されている。

ＣＰＵ１０は演算手段であり、薬剤認識装置１全体の動作を制御する。ＲＡＭ１１は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ１２は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ１３は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納されている。Ｉ／Ｆ１４は、バス１８と各種のハードウェアやネットワーク等を接続し制御する。

ＬＣＤ１５は、装置のオペレータが薬剤認識装置１の状態を確認するための視覚的ユーザインタフェースである。操作部１６は、オペレータが薬剤認識装置１に情報を入力するためのユーザインタフェースである。本実施形態においては、ＬＣＤ１５及び操作部１６によって、図１に示すタッチパネル３が構成される。

このようなハードウェア構成において、ＲＯＭ１２やＨＤＤ１４若しくは図示しない光学ディスク等の記録媒体に格納されたプログラムがＲＡＭ１１に読み出され、そのプログラムに従ってＣＰＵ１０が演算を行う事により、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る薬剤認識装置１の機能を実現する機能ブロックが構成される。

次に、図３を参照して、本実施形態に係る薬剤認識装置１のコントローラ装置７の機能構成について説明する。図３は、本実施形態に係るコントローラ装置７の機能構成を示すブロック図である。図３に示すように、本実施形態に係るコントローラ装置７は、カメラ６を駆動するカメラドライバ１０１、及びＬＣＤ１５を駆動するディスプレイドライバ１０３に加えて、登録画像データベース１−２及び画像処理部１１０を含む。

尚、カメラドライバ１０１、ディスプレイドライバ１０３及び画像処理部１１０は、上述したように、ＲＡＭ１１に読み出されたプログラムに従ってＣＰＵ１０が演算を行う事により実現されるソフトウェア制御部とハードウェアとが連動することにより機能する。画像処理部１１０は、カメラ６によって撮像された撮像台４上に置かれた薬剤の画像をカメラドライバ１０１を介して取得し、その画像に基づいて薬剤の認識処理を行う。

登録画像データベース１０２は、撮像台４上に置かれて認識対象となり得る薬剤の画像（以降、「登録画像」とする）に関する情報を記憶している情報記憶部である。図４は、登録画像データベース１０２に記憶されている情報の例を示す図である。図４に示すように、本実施形態に係る登録画像データベース１０２は、認識対象となり得る薬剤を識別する“薬剤ＩＤ”、認識対象となり得る薬剤の名称を示す“薬剤名”、認識対象となり得る薬剤の包装の画像が格納されている記憶領域を示す“データパス”の情報が関連付けられた情報である。

図４に示すように、本実施形態に係る“薬剤名”は、「ＡＢＣ錠」のような薬剤の名称そのものの部分と、「２５０ｍｇ」のような薬剤の分量の部分とを含む。また、本実施形態に“データパス”は、例えば図２において説明したＨＤＤ１３内の記憶領域を示すデータパスであるが、ネットワークドライブ等、薬剤認識装置１外部の記憶領域であってもよい。

図５（ａ）は、本実施形態に係る登録画像の例を示す図である。図５（ａ）に示すように、一般的な薬剤の包装においては、その片面上に薬剤の名称や分量などが繰り返し表示されている。本実施形態に係る薬剤認識装置１においては、このような薬剤の名称や分量などが繰り返し表示されている面の画像が予め登録されている。

図５（ｂ）は、図５（ａ）に示す薬剤の名称や分量の表示範囲の１つ分を抽出した画像である。本実施形態に薬剤認識装置１においては、図５（ａ）に示す薬剤の包装全体の画像の他、図５（ｂ）に示すような薬剤の認識において特徴となり得る部分の画像（以降、「参照画像」とする）が予め登録されている。

図３に示すように、本実施形態に係る画像処理部１１０は、画像取得部１１１、順位付け部１１２、回転処理部１１３及び検証処理部１１４を含む。画像取得部１１１は、カメラドライバ１０１を介して、カメラ６が撮像して生成した画像（以降、「読取画像」とする）を取得する。順位づけ部１１２は、画像取得部１１１が取得した読取画像と登録画像データベース１０２に“データパス”が登録されている登録画像との比較処理を行い、読取画像に類似する順に登録画像の順位付けを行う。

回転処理部１１３は、読取画像において薬剤が傾いたり回転したりして読み取られていることを考慮し、読取画像に含まれる画像比較のキーとなる部分と、登録画像との向きを合わせるように画像の回転処理を行う。即ち、回転処理部１１３が、読取画像と登録画像とが重ね合わせられるように、どちらか一方を変換するための変換情報を求める変換情報取得部として機能する。検証処理部１１４は、回転処理部１１３によって回転処理された読取画像のキー部分と登録画像とを、順位付け部１１２によって生成された順位の順に比較し、両者が同一の画像であるか否かを検証して検証結果を表示するための情報を出力する。

このような構成において、本実施形態に係る要旨は、順位付け部１１２、回転処理部１１３における処理において関連するパラメータを用いることにより、夫々の処理を高精度且つ高速に行うことにある。以下、本実施形態の要旨に係る処理について説明する。本実施形態に係る薬剤認識装置１の動作に際しては、まずは上述したようにオペレータが薬剤を撮像台４上に置き、カメラ６による薬剤の撮像が実行される。カメラ６による撮像の実行に際しては、薬剤が撮像台４上に置かれたことをカメラ６がリアルタイムに検知して実行しても良いし、オペレータがタッチパネル３を操作することにより実行しても良い。

図６（ａ）は、撮像台４に置かれた薬剤を撮像することにより生成された読取画像の例を示す図である。カメラ６による撮像によって生成された読取画像は、オペレータによる薬剤の撮像台４への置き方に応じて、図６（ａ）に示すように薬剤が傾いた状態となる。画像取得部１１１は、このように生成された読み取り画像をカメラドライバ１０１を介して取得する。

画像取得部１１１が読取画像を取得すると、順位付け部１１２は、画像取得部１１１が取得した読取画像に基づき、この読取画像に類似している順に、登録画像データベース１０２に情報が登録されている登録画像の順位付けを行う。この順位付け部１１２による処理の詳細が、本実施形態に係る要旨の１つである。本実施形態に係る順位付け部１１２は、読取画像及び登録画像を入力とし、局所特徴量に基づく最近傍探索処理によって順位付けを行う。

局所特徴量の抽出処理は、画像中において認識に有効なキーポイントを抽出する処理と、抽出したキーポイント夫々について特徴量を生成する処理とを含む。図６（ｂ）は、図６（ａ）に示す読取画像に基づいてキーポイント抽出を行った結果の例を示す図である。このようなキーポイント抽出処理は、例えば、単純なコーナー検知フィルタによってコーナーの画素を抽出することにより実現可能である。その場合、局所スケールについては、予め定められたスケールを用いることができる。また、Ｆａｓｔ−Ｈｅｓｓｉａｎ Ｄｅｔｅｃｔｅｒを用いてキーポイント抽出を行うことも可能である。

図６（ｂ）に示すようなキーポイント抽出が完了すると、順位付け部１１２は、抽出したキーポイント周囲の画像に基づいて特徴量抽出を行う。この特徴量抽出処理に際しては、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、ＦＲＥＡＫ（Ｆａｓｔ Ｒｅｔｉｎａ Ｋｅｙｐｏｉｎｔ）等を用いることができる。この処理により、図６（ｂ）に示すように抽出されたキーポイント毎に、特徴量が抽出される。

このような処理により抽出される特徴量の内容は、上述した夫々のアルゴリズムのいずれかを用いるかによって異なるが、いずれも画像の内容に応じて算出し、若しくは抽出される情報である。例えばＳＩＦＴを用いる場合、１２８次元の特徴量を抽出することができる。

尚、本実施形態に係る順位付け部１１２は、上述したキーポイント抽出及び特徴量抽出の処理を登録画像データベース１０２に情報が登録されている画像に対しても予め実行しておく。図５（ｃ）は、この予め実行しておく処理の例を示す図である。図５（ｃ）に示すように、本実施形態に係る順位付け部１１２は、登録画像データベース１０２に情報が登録されている画像のうち、図５（ｂ）に示す参照画像について、キーポイント抽出及び特徴量抽出を予め実行し、その結果を登録画像データベース１０２に格納しておく。

このようにして求められた読取画像の局所特徴量ｆ_ｑ及び参照画像の局所特徴量ｆ_ｔは、例えば以下の式（１）、（２）によって示される。
ここで、式（１）、（２）に示すｐ_ｑ及びｐ_ｔは、夫々特徴点の位置であり、例えば画像における画素の座標によって示される。また、σ_ｑ及びσ_ｔは、夫々特徴点のスケールである。また、ｄ_ｑ及びｄ_ｔは、夫々特徴点の特徴を示す記述子である。

このようにして読取画像及び参照画像から局所特徴量を抽出すると、順位付け部１１２は、最近傍探索処理によって読取画像から抽出された夫々の特徴点をキーとして、夫々の特徴点に対応する特徴点を参照画像において探索する。最近傍探索において、順位付け部１１２は、読取画像から抽出された特徴点を順番に参照し、その特徴点のｄ_ｑに最も近いｄ_ｔを登録画像データベースに登録されている情報から選択して関連付ける。

図７においては、対応付けられた読み取り画像中の特徴点と参照画像中の特徴点とが破線で結ばれて示されている。尚、図７においては図示の容易化のため、読取画像中の一部の特徴点、具体的には、１まとまりである薬剤名の表示部分の１つ分に対して対応付けの破線を示しているが、実際には、最近傍探索により、読取画像中に含まれる全ての特徴点が、登録画像データベースに情報が登録されているいずれかの登録画像の特徴点に関連付けられる。

即ち、図７の例においては、読取画像において複数表示されている薬剤名の部分の特徴点の夫々が参照画像中の特徴点に関連付けられることにより、読取画像中の複数の特徴点が、参照画像中の１つの特徴点に重複して関連付けられることが起こり得る。

図７の場合、読取画像の薬剤と参照画像の薬剤とが同一の場合を示している。図８は、図７と同一の読み取り画像について、異なる参照画像、即ち、異なる薬剤との間で対応付けられた特徴点の例を示す図である。図８に示すように、読取画像の薬剤と参照画像の薬剤とが異なる場合、当然特徴量も異なるため、特徴点が関連付けられたとしてもその数は少ないものとなる。

順位付け部１１２は、このような処理により、１つの読み取り画像に対して、登録画像データベース１０２に情報が登録されている全ての登録画像を探索対象として最近傍探索による特徴点の関連付けを行う。尚、最近傍探索においては、処理の高速化のために近似を行うことが好ましい近似最近傍探索の具体的な処理としては、例えばＨｉｅｒａｒｃｈｉｃａｌ Ｋ−Ｍｅａｎｓ Ｔｒｅｅや、ＡＮＮ（Ａｐｐｒｏｘｉｍａｔｅ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）を用いることができる。

このように読取画像に基づく最近傍探索が完了すると、順位付け部１１２は、夫々の参照画像について読取画像中の特徴点との対応付けが行われた特徴点の数を投票数として集計し、夫々の参照画像に対する投票数を求める。換言すると、順位付け部１１２は、読取画像において抽出された特徴点の数ｎを合計の票数として、夫々の参照画像がｎ票のうちの何票を獲得するかをカウントする。

このような処理によれば、読取画像と同一の薬剤であれば、ｎ票のうちの多くの票数を占めることになると共に、読取画像に類似した画像であればある程度の票数を獲得することとなる。このような票数のカウント処理を行った順位付け部１１２は、夫々の参照画像毎にカウントした票数に基づいて参照画像の順位付けを行う。図９に、このような票数のカウント及び順位付けの結果の例を示す。

尚、本実施形態においては、読取画像から抽出された特徴点を、参照画像から抽出された特徴点に関連付ける場合を例として説明するが、順位付け部１１２による順位付けにおいては、参照画像ではなく図５（ａ）に示す登録画像から抽出された特徴点に対して読取画像から抽出された特徴点を関連付けても良い。

多くの場合、順位付け部１１２の処理によって１位を獲得した参照画像に対応する薬剤が正確な認識結果を表すこととなり、図９の例においても、薬剤ＩＤが「０００１」である「ＡＢＣ錠２５０ｍｇ」として、正確な認識結果が１位を獲得している。しかしながら、類似する画像の存在によっては、最近傍探索によって異なった薬剤の画像中の特徴点に対して対応付けがなされ、正確な認識結果が１位にならない場合があり得る。

そのため、本実施形態に係る薬剤認識装置１においては、回転処理部１１３及び検証処理部１１４による処理により、順位付け結果の検証処理が実行される。そのため、順位付け部１１２は、図９に示す順位付け結果と、読取画像及び局所特徴量の抽出結果並びに特徴点の対応付け結果を回転処理部１１３に入力する。

図１０は、回転処理部１１３及び検証処理部１１４によって実行される処理の順序を示すフローチャートである。図１０に示すように、順位付け部１１２から上述した情報を取得した回転処理部１１３は、図９に示す順位付け結果の順に参照画像を選択し、選択した参照画像を、対応する特徴点を一致させて読取画像に射影するための変換行列Ｈを求める（Ｓ１００１）。変換行列Ｈは、例えばＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）を用いて求めることができる。ＲＡＮＳＡＣを用いて変換行列Ｈを求める場合の処理について、図１１を参照して以下に説明する。

図１１に示すように、変換行列Ｈの算出処理において、回転処理部１１３は、まず参照画像中に含まれる特徴点と読取画像中に含まれる特徴点との対応付けを行う（Ｓ１１０１）。Ｓ１１０１の処理において、回転処理部１１３は、上述したｆ_ｑ−ｉ及びｆ_ｔ−ｊを用い、以下の式（３）、（４）に示す制約を満たすｆ_ｑ−ｉ及びｆ_ｔ−ｊの組を対応点として対応付けて対応点Ｃ＝｛ｐ_ｑ−ｉ，ｐ_ｔ−ｊ｝を求める。

ここで、式（３）は、ＦＲＥＡＫの場合はハミング距離を算出する式であり、ＳＩＦＴ、ＳＵＲＦの場合はユークリッド距離を算出する式である。従って、“Ｔ_ｄ”はハミング距離またはユークリッド距離に対し設定される。即ち、参照画像中の特徴点の特徴量と読取画像中の特徴点の特徴量とが近いと判断するための閾値である。また、参照画像は、カメラ６による撮像の解像度と同一の解像度で保存されているため、スケール差異の閾値を示すＴ_ｓについては、例えば“１”を用いることができる。

このような対応付け処理によれば、図６に示すように参照画像と同一の画像が複数表示された読取画像の場合、参照画像中の特徴点１つに対して、読取画像中の複数の特徴点に対応付けられることとなる。そのような場合であっても、上記対応点Ｃ＝｛ｐ_ｑ−ｉ，ｐ_ｔ−ｊ｝は、別個の対応点として求められる。そのような対応点から１つの対応点を選択して変換行列Ｈを求めるための処理が以降の処理である。

尚、上記式（３）、（４）による特徴点の対応付け処理は、順位付け部１１２による特徴点の関連付けにおいても用いることが可能である。その場合、順位付け部１１２による関連付けの結果を、Ｓ１１０１における対応付けの結果として採用することも可能である。特に順位付けの結果が１位である参照画像については、多くの特徴点が関連付けられていることが予測されるため、再度上記式（３）、（４）に基づいて特徴点の対応付けを行ったとしても、多くの特徴点が同一の対応付け結果となることが予測される。従って、順位付け部１１２による特徴点の関連付け結果をＳ１１０１における対応付けの結果として採用することにより、処理の精度を落とすことなく、処理量を低減して迅速に結果を得ることが可能である。

Ｓ１１０１の処理を完了した回転処理部１１３は、次に、Ｓ１１０１において対応付けられた対応点をランダムに１つ選択する（Ｓ１１０２）と共に、選択された対応点を中心として読取画像側において所定範囲内である他の対応点を参照画像側からランダムに２点選択する（Ｓ１１０３）。この所定範囲は、例えば図５（ｂ）に示す参照画像の対角線を半径とする範囲である。

読取画像側の所定範囲内から合計で３つの対応点を取得すると、回転処理部１１３は、夫々の対応点の位置｛ｐ_ｑ−ｉ，ｐ_ｔ−ｊ｝に基づき、アフィン変換に従って参照画像側の特徴点を読取画像側に射影するための変換行列Ｈを求める（Ｓ１１０４）。アフィン変換におけるパラメータ数は６つであるため、３つの特徴点夫々に含まれる２つのパラメータを用いてアフィン変換に従って変換行列Ｈを求めることが可能である。

変換行列Ｈを算出すると、回転処理部１１３は、算出したＨを用いて参照画像中の特徴点を読取画像中に射影し（Ｓ１１０５）、読取画像中に射影された参照画像の特徴点と、それに対応する読取画像の特徴点との位置の差、即ち対応する特徴点間の距離が所定の閾値の範囲内である対応点の個数をＩｎｌｉｅｒとしてカウントする（Ｓ１１０６）。この所定の閾値は例えばピクセル数で設定することが可能であり、数ピクセル〜十数ピクセルのような比較的小さい値が参照画像の解像度に応じて設定される。

回転処理部１１３はこのようなＳ１１０２からの処理を、様々な対応点の選択状態において繰り返し実行し（Ｓ１１０７／ＮＯ）、規定回数の繰り返しを完了すると（Ｓ１１０７／ＹＥＳ）、夫々の対応点の選択状態においてカウントされたＩｎｌｉｅｒのカウント数を比較し、カウント数が最も多かった場合に求められた変換行列Ｈを、最終的な変換行列Ｈとして確定して（Ｓ１１０８）、処理を終了する。尚、Ｓ１１０８の処理において、複数の対応点の選択状態においてＩｎｌｉｅｒのカウント数が同一となる場合もあり得る。そのような場合、いずれか１つを選択すれば良い。

尚、読取画像の薬剤と参照画像の薬剤とが異なる場合、Ｓ１１０４においてアフィン変換の条件に合致する変換行列Ｈの算出が不可能な場合もあり得る。その場合、回転処理部１１３は、選択中の対応点のいずれかの対応付けが誤っていると判断し、Ｓ１１０２に戻って他の特徴点を選択する。

また、カウント数が最も多かった場合に求められた変換行列Ｈを最終的な変換行列Ｈとして確定する場合の他、カウント数が最も多かった場合のＩｎｌｉｅｒの対応点の位置関係に基づき、夫々の対応点毎の位置の差が最小となるような変換行列Ｈを再計算しても良い。このような手法はＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）と呼ばれる。

また、図１１のＳ１１０４においては、アフィン変換を用いる場合を例として説明したが、図１に示すように、本実施形態に係る薬剤認識装置１においては撮像台４に置かれた薬剤を撮像するため、アフィン変換が必要となるような画像の歪みはほとんど生じない。従って、アフィン変換ではなくユークリッド変換を用いることも可能である。この場合、ユークリッド変換は３点ではなく２点の特徴点を選択すれば計算可能であり、アフィン変換の場合よりも処理負荷を低減して薬剤認識結果を得るまでの時間を短縮することができる。

図１０に戻り、回転処理部１１３は、このような処理により変換行列Ｈを求めると、求めた変換行列Ｈを検証処理部１１４に入力する。検証処理部１１４はこのようにして回転処理部１１３から取得した変換行列Ｈに基づき、選択中の参照画像を読取画像に射影する。参照画像が読取画像に射影されることにより、図１２に示すように、読取画像中において参照画像に相当する範囲を、参照画像の外枠に基づいて抽出することが可能となる。

検証処理部１１４は、このような処理により読取画像中において参照画像に相当する範囲の画像、即ち、「ＡＢＣ錠２５０ｍｇ」のような薬剤を識別する上で特徴的な部分の画像（以降、「薬剤表示単位画像」とする）を読取画像から切り出し、切り出した薬剤表示単位画像と、変換行列Ｈによって変換された参照画像との比較処理を行うことにより、両画像が同一であるか否か、即ち、順位付け部１１２によって読取画像に類似するものとして上位にランク付けされた参照画像の正確性を検証する（Ｓ１００２）。

検証処理部１１４による画像の比較処理は、例えば正規化相関による形状の類似度の算出や、ＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）系によって生成した色ヒストグラムの比較による類似度の算出を行い、算出された値に対する閾値判断を行うことにより実現可能である。また、上述した形状の類似度や色の類似度に対する閾値判断を組み合わせて用いることにより、検証精度を向上することが可能である。

本実施形態に係る回転処理部１１３及び検証処理部１１４は、図９に示すように生成された順位の順に夫々変換行列Ｈの算出処理及び検証処理を行う。そして、検証処理部１１４が、判断中の参照画像が読取画像であると判断した場合、即ち検証をパスすると（Ｓ１００３／ＹＥＳ）、その時点で判断処理を終了し、判断結果を表示するための情報を生成してディスプレイドライバ１０３に出力することにより、ＬＣＤ１５に判断結果、即ち、撮像台４に置かれた薬剤の認識結果を表示させる。

他方、検証処理部１１４は、判断中の参照画像が読取画像ではないと判断した場合（Ｓ１００３／ＮＯ）、その判断結果を回転処理部１１３に通知する。これにより、回転処理部１１３は、図９に示すような順位において次に順位の高い参照画像について、図１１において説明した処理を実行する。これにより、検証処理部１１４は次に順位の高い参照画像について検証処理を実行することとなる。このような処理が図９に示すような順位付けの順に繰り返されることにより、薬剤の正確な認識結果を得ることが可能となる。

本実施形態に係る薬剤認識装置１においては、上述したように局所特徴量による参照画像の順位付けを行った上で、その順位に従って検証処理部１１４による詳細な比較検査を行う。そのため、詳細な比較検査によって薬剤認識の正確性を向上することが可能であると共に、予め局所特徴量を用いた順位付けが行われているため、正確である可能性の高い参照画像から順に比較件を行って、正確性が確認された時点で薬剤認識結果を確定するため、多くの参照画像について詳細な比較検査を行う必要がなく、処理負荷を低減して迅速に薬剤の認識結果を得ることが可能である。

また、本実施形態に係る薬剤認識装置１においては、検証処理部１１４による高精度な比較検査を可能とするため、回転処理部１１３による変換行列Ｈの算出処理を行い、読取画像の傾きを補正して参照画像と向きを揃えている、また、読取画像中において参照画像に相当する部分、即ち、検証処理部１１４に高精度な比較検査を行わせる対象となる部分を抽出している。

この回転処理部１１３による変換行列Ｈの算出処理及び読取画像からの比較対象の抽出処理においても、順位付け部１１２によって求めた局所特徴量の対応付け結果を用いるため、順位付け部１１２の処理と回転処理部１１３の処理とを連動させることが可能であり、効率的な処理を実現して、上述した迅速な薬剤の認識結果の取得に貢献している。

以上、説明したように、本実施形態に係る薬剤認識装置１によれば、包装材を撮像した画像に基づく薬剤の認識精度を向上すると共に、薬剤の認識結果を迅速に得ることが可能である。また、上記実施形態においては、薬剤の放送に表示されている画像が「ＡＢＣ錠２５０ｍｇ」のような文字情報である場合を例として説明したが、本実施形態に係る手法は文字情報に限らず適用可能であり、様々な包装形態の薬剤に対して幅広く適用可能である。

尚、上記実施形態においては、薬剤の認識処理の結果として、ＬＣＤ１５への表示を例として説明した。しかしながらこれは一例であり、例えば、認識された薬剤の薬剤名を音声により読みあげても良い。また、処方箋の情報等、提供するべき薬剤を示す情報があれば、検証処理部１１４による認識結果と提供するべき薬剤を示す情報とを比較することにより、薬剤が正確に選択されているか否かを判断して薬剤師に通知することも可能である。

尚、図１１において説明した処理においては、Ｓ１１０８において、Ｉｎｌｉｅｒのカウント数が最も高かった場合の変換行列Ｈを採用するため、図５（ａ）に示すように読取画像に複数表示されている薬剤表示単位画像のうちの１つを抽出して比較処理を行う場合を例として説明した。しかしながら、Ｓ１１０２において、読取画像中の全体からまんべんなく対応点を選択するようにすれば、図５（ａ）に示すように読取画像において複数表示されている薬剤表示単位画像全てに対応する変換行列Ｈを求めることが可能である。

そして、読取画像において複数表示されている薬剤表示単位画像全てに対応する変換行列Ｈを求めることができれば、その変換行列Ｈの数に基づき、読取画像中に含まれる薬剤表示単位画像の数を判断することができる。薬剤によっては、１つの包装材において表示されている薬剤表示単位画像の数は予め定まっているため、このようにして判断した薬剤表示単位画像の数を、薬剤認識において用いることが可能である。そのような場合、図４において説明した登録画像データベース１０２において、夫々の薬剤毎に薬剤表示単位画像の数を登録しておくことにより実現可能である。

また、薬剤の処方によっては、図１３に示すように、ブリスタパックの１つのパッケージ分ではなく、分断された状態で薬剤が処方される場合もあり得る。そのような場合において、上述したように読取画像中に含まれる薬剤表示単位画像の数を判断することにより、処方された薬剤の量を判断することも可能である。これにより、実際に提供される薬剤の量が医師の処方に合致しているものであるか否かを判断することが可能となる。

尚、薬剤の包装において表示されている薬剤表示単位画像の数と薬剤の量、例えば錠剤の数が対応しているとは限らない。その場合、ブリスタパック１つのパッケージに含まれる薬剤表示単位画像の数を夫々の薬剤毎に登録画像データベース１０２に登録しておき、読取画像から判断された薬剤表示単位画像の数との割合に基づいて求めても良いし、認識された薬剤表示単位画像の数に応じた薬剤の量を、夫々の薬剤毎に登録画像データベース１０２に登録しておいても良い。

また、上記実施形態においては、検証処理部１１４における正規化相関等の処理によって検証を終了する場合を例として説明した。この他、参照画像が非常に類似している薬剤の組み合わせを予めデータベース化しておき、そのデータベースに登録されている薬剤が認識された場合には、更に詳細な検証を行うようにしても良い。

図１４に示すように、薬剤の種類は同一で分量が異なる場合があり得る。図１４の例の場合、画像として異なるのは「２５０ｍｇ」の“２”の部分と「１５０ｍｇ」の“１”の部分のみであり、仮に読取画像が「２５０ｍｇ」の場合であったとしても、「１５０ｍｇ」が順位付け部１１２によって１位として順位付けされた場合、検証処理部１１４による検証処理において検証をパスしてしまう場合があり得る。

図１５は、類似する薬剤が登録されたデータベース（以降、「類似薬剤データベース」とする）の例を示す図である。図１５に示すように、類似薬剤データベースにおいては、例えば、参照画像が類似している薬剤の薬剤ＩＤが互いに関連付けられて登録されていると共に、その薬剤ＩＤの参照画像が検証処理部１１４において検証をパスした場合に、更に検証するべき参照画像中の領域を示す座標の情報が“検証領域座標”として関連付けられている。

図１６は、検証領域座標によって特定されている座標範囲の例を示す図である。図１６において破線で示されているように、類似する画像の組において異なる部分が検証領域として特定される。これにより、検証処理部１１４は、図１０のＳ１００３において検証パスした参照画像に対応する薬剤ＩＤが類似薬剤データベースに登録されている場合、その薬剤ＩＤに関連付けられている検証領域座標について再度検証処理、即ち、上述した正規相関による形状の類似度の算出や、ＨＳＶ系によって生成した色ヒストグラムの比較による類似度の算出を行う。これにより、類似画像についての認識精度を向上することが可能である。

また、このような類似画像についての再検証において検証エラーとなった場合、図１０のＳ１００１に戻って検証を繰り返すのではなく、図１５に示すように類似する薬剤として関連付けられている薬剤ＩＤに対応する薬剤を認識結果することにより、再度の検証処理を行うことなく迅速に認識結果を出力することが可能である。

その他、再度の認識処理を行う場合においても、類似画像として検証エラーとなった参照画像において求められた変換行列Ｈをそのまま用いることが可能であると考えられるため、図１０のＳ１００１の処理、即ち、図１１のフロー全てを省略して、正規化相関等による検証処理のみを行っても良い。エラーとなった参照画像において求められた変換行列Ｈをそのまま用いる場合、類似画像との検証処理において読取画像と参照画像との間に位置ずれが発生する可能性もある。この位置ずれについては、正規化相関の処理において吸収することも可能であり、このような処理によって処理量を低減して認識結果を迅速に得ることが可能となる。

また、上記実施形態においては、順位付け部１１２による順位付けを行った後、必ず検証処理部１１４による検証処理を行って認識結果の精度を確保する場合を例として説明した。しかしながら、図９に示すように順位付けされた結果において、１位と２位との差に基づいて明らかに１位が正確であると判断できる場合には、回転処理部１１３及び検証処理部１１４による処理を省略し、図９に示す１位の結果を認識結果として出力しても良い。

このような場合、順位付け部１１２は、図９に示す順位付けの結果、例えば２位の票数が１位の票数の１％以下であった場合、１位の薬剤ＩＤに対応する薬剤が正しい認識結果であると判断して、検証処理部１１４に代わって認識結果を表示するための情報を生成してディスプレイドライバ１０３に出力することにより、ＬＣＤ１５に判断結果、即ち、撮像台４に置かれた薬剤の認識結果を表示させる。

また、本実施形態においては、変換行列Ｈとして参照画像を読取画像に重ね合わせるための情報を算出する場合を例として説明した。これは一例であり、読取画像を参照画像に重ね合わせるための情報を算出しても良い。

１ 薬剤認識装置
２ 筐体
３ タッチパネル
４ 撮像台
５ ボール型照明
６ カメラ
７ コントローラ装置
１０ ＣＰＵ
１１ ＲＡＭ
１２ ＲＯＭ
１３ ＨＤＤ
１４ Ｉ／Ｆ
１５ ＬＣＤ
１６ 操作部
１７ バス
１０１ カメラドライバ
１０２ 登録画像データベース
１０３ ディスプレイドライバ
１１０ 画像処理部
１１１ 画像取得部
１１２ 順位付け部
１１３ 回転処理部
１１４ 検証処理部

Claims (11)

1. 薬剤の包装を撮像することにより生成された読取画像に基づいて薬剤を認識する薬剤認識装置であって、
   前記読取画像を取得する画像取得部と、
   前記読取画像から複数の局所特徴量を抽出し、認識され得る複数の薬剤の画像夫々について抽出された局所特徴量が前記複数の薬剤夫々に関連付けられて登録されている登録画像データベースを参照し、前記読取画像から抽出された複数の局所特徴量を、前記登録画像データベースに登録されている局所特徴量のうち最も近い局所特徴量に関連付け、関連付けられた局所特徴量の数に従って前記複数の薬剤を順位付けする順位付け部と、
   前記薬剤の画像と前記読取画像とが重ね合わせられるように、前記薬剤の画像及び前記読取画像の一方を変換するための変換情報を、前記薬剤の画像及び前記読取画像から夫々抽出された局所特徴量に基づいて求める変換情報取得部と、
   求められた前記変換情報を用いて前記薬剤の画像及び前記読取画像の一方を変換し、前記薬剤の画像及び前記読取画像とを比較することにより前記薬剤の画像と前記読取画像とが同一であるか否かを判断する検証処理部とを含み、
   前記変換情報取得部は、順位付けされた前記複数の薬剤の順位の順に前記変換情報を求め、
   前記検証処理部は、順番に求められた変換情報を用いて前記薬剤の画像及び前記読取画像の一方を変換して前記薬剤の画像と前記読取画像とが同一であるか否かを判断し、同一であると判断した前記薬剤の画像に対応する薬剤を前記読取画像に対する薬剤の認識結果として出力することを特徴とする薬剤認識装置。
2. 前記変換情報取得部は、前記順位付け部による前記局所特徴量の関連付けの結果に基づいて前記変換情報を求めることを特徴とする請求項１に記載の薬剤認識装置。
3. 前記登録画像データベースは、前記複数の薬剤夫々について、前記薬剤の画像のうち薬剤の認識において特徴となり得る部分の画像を関連付けて記憶しており、
   前記変換情報取得部は、前記特徴となり得る部分の画像が、前記読取画像において対応する部分に重ね合わせられるように前記変換情報を求め、
   前記検証処理部は、求められた前記変換情報を用いて前記特徴となり得る部分の画像を変換し、前記読取画像のうち前記特徴となり得る部分の画像が重ね合わせられた部分の画像と前記特徴となり得る部分の画像とを比較することを特徴とする請求項１に記載の薬剤認識装置。
4. 前記変換情報取得部は、前記特徴となり得る部分の画像が、前記読取画像において複数含まれる場合に、求められた変換情報の数に基づいて前記読取画像に含まれる前記特徴となり得る部分の画像の数を判断し、
   前記検証処理部は、前記読取画像に含まれる前記特徴となり得る部分の画像の数に基づいて前記読取画像の生成に際して撮像された薬剤の包装に含まれる薬剤の量を判断することを特徴とする請求項３に記載の薬剤認識装置。
5. 前記登録画像データベースは、前記複数の薬剤夫々について、前記特徴となり得る部分の画像が含まれる数を関連付けて記憶しており、
   前記変換情報取得部は、前記特徴となり得る部分の画像が、前記読取画像において複数含まれる場合に、求められた変換情報の数に基づいて前記読取画像に含まれる前記特徴となり得る部分の画像の数を判断し、
   前記検証処理部は、前記読取画像に含まれる前記特徴となり得る部分の画像の数と、前記登録画像データベースに記憶されている前記特徴となり得る部分の画像が含まれる数とを比較して、前記薬剤の画像と前記読取画像とが同一であるか否かを判断することを特徴とする請求項３に記載の薬剤認識装置。
6. 前記変換情報取得部は、前記薬剤の画像から抽出された局所特徴量を、前記読取画像から抽出された局所特徴量のうち、差異が所定の範囲内である局所特徴量に関連付け、関連付けた局所特徴量を複数選択し、選択した局所特徴量が前記薬剤の画像及び前記読取画像の一方から他方に射影されるような変換情報を算出することを特徴とする請求項１に記載の薬剤認識装置。
7. 前記変換情報取得部は、選択した局所特徴量が前記薬剤の画像及び前記読取画像の一方から他方に射影されるような変換情報をアフィン変換またはユークリッド変換に従って算出することを特徴とする請求項６に記載の薬剤認識装置。
8. 前記検証処理部は、認識され得る複数の薬剤の画像のうち、類似している画像の組が登録されている類似画像データベースを参照し、同一であると判断した前記薬剤の画像が登録されている場合には、再検証を行うことを特徴とする請求項１に記載の薬剤認識装置。
9. 前記類似画像データベースは、類似している画像の組と、類似ている画像の組において異なる画像の部分を示す情報とを関連付けて記憶しており、
   前記検証処理部は、同一であると判断した前記薬剤の画像が前記類似画像データベースに登録されている場合、前記異なる画像の部分について前記薬剤の画像及び前記読取画像とを比較することにより再検証を行うことを特徴とする請求項８に記載の薬剤認識装置。
10. 薬剤の包装を撮像することにより生成された読取画像に基づいて薬剤を認識する薬剤認識方法であって、
    前記読取画像を取得し、
    前記読取画像から複数の局所特徴量を抽出し、
    認識され得る複数の薬剤の画像夫々について抽出された局所特徴量が前記複数の薬剤夫々に関連付けられて登録されている登録画像データベースを参照し、前記読取画像から抽出された複数の局所特徴量を、前記登録画像データベースに登録されている局所特徴量のうち最も近い局所特徴量に関連付け、
    関連付けられた局所特徴量の数に従って前記複数の薬剤を順位付けし、
    前記薬剤の画像と前記読取画像とが重ね合わせられるように、前記薬剤の画像及び前記読取画像の一方を変換するための変換情報を、順位付けされた前記複数の薬剤の順位の順に、前記薬剤の画像及び前記読取画像から夫々抽出された局所特徴量に基づいて求め、
    順位付けされた前記複数の薬剤の順位の順に求められた前記変換情報を用いて前記薬剤の画像及び前記読取画像の一方を変換し、前記薬剤の画像及び前記読取画像とを比較することにより前記薬剤の画像と前記読取画像とが同一であるか否かを判断し、
    同一であると判断した前記薬剤の画像に対応する薬剤を前記読取画像に対する薬剤の認識結果として出力することを特徴とする薬剤認識方法。
11. 薬剤の包装を撮像することにより生成された読取画像に基づいて薬剤を認識する薬剤認識プログラムであって、
    前記読取画像を取得するステップと、
    前記読取画像から複数の局所特徴量を抽出するステップと、
    認識され得る複数の薬剤の画像夫々について抽出された局所特徴量が前記複数の薬剤夫々に関連付けられて登録されている登録画像データベースを参照し、前記読取画像から抽出された複数の局所特徴量を、前記登録画像データベースに登録されている局所特徴量のうち最も近い局所特徴量に関連付けるステップと、
    関連付けられた局所特徴量の数に従って前記複数の薬剤を順位付けるステップと、
    前記薬剤の画像と前記読取画像とが重ね合わせられるように、前記薬剤の画像及び前記読取画像の一方を変換するための変換情報を、順位付けされた前記複数の薬剤の順位の順に、前記薬剤の画像及び前記読取画像から夫々抽出された局所特徴量に基づいて求めるステップと、
    順位付けされた前記複数の薬剤の順位の順に求められた前記変換情報を用いて前記薬剤の画像及び前記読取画像の一方を変換し、前記薬剤の画像及び前記読取画像とを比較することにより前記薬剤の画像と前記読取画像とが同一であるか否かを判断するステップと、
    同一であると判断した前記薬剤の画像に対応する薬剤を前記読取画像に対する薬剤の認識結果として出力するステップとを情報処理装置に実行させることを特徴とする薬剤認識プログラム。