JP7375049B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、画像処理装置及び方法に係り、特に、薬剤を撮影した画像を処理する画像処理装置及び方法に関する。

薬剤師による調剤薬の監査業務を支援する技術として、機械監査が知られている。機械監査では、画像認識により監査処理が行われる。

特許文献１には、一包化された薬剤に対し、分包単位で機械監査を実施し、その結果を分包単位で表示する装置が開示されている。特許文献１の装置では、機械監査の結果と共に、一包化されている薬剤の撮影画像が表示される。一包化された薬剤の撮影画像が機械監査の結果と共に表示されることで、薬剤師による目視による監査を支援できる。

国際公開第WO2016/047569号

特許文献１の装置では、各薬剤が同じ条件で撮影される。このため、特許文献１の装置では、各薬剤の撮影画像が、同じ背景色で表示される。

薬剤の色は、さまざまである。このため、特許文献１の装置では、撮影画像を表示した際に、薬剤の視認性が著しく低下する場合がある。たとえば、透明な薬剤の場合、背景が黒くなる条件で撮影すると、薬剤が背景と同化して、薬剤の視認性が著しく低下する。同種の問題は、薬剤の色が背景色と同系色となる場合にも発生する。

本発明は、このような事情に鑑みてなされたもので、薬剤の視認性を向上できる画像処理装置及び方法を提供することを目的とする。

（１）プロセッサを備え、プロセッサは、薬剤を撮影した第１撮影画像を取得し、第１撮影画像から薬剤を検出し、検出した薬剤の画像を第１撮影画像から切り出して個別薬剤画像を生成し、視認性の悪い個別薬剤画像に対し、視認性を向上させる処理を行う、画像処理装置。

（２）プロセッサは、個別薬剤画像の視認性の良否を判定し、視認性の悪い個別薬剤画像に対し、視認性を向上させる処理を行う、（１）の画像処理装置。

（３）プロセッサは、個別薬剤画像の薬剤の領域の画素値と基準値との差分に基づいて、個別薬剤画像の視認性の良否を判定する、（２）の画像処理装置。

（４）基準値が、個別薬剤画像又は第１撮影画像の薬剤以外の領域の画素値である、（３）の画像処理装置。

（５）薬剤が処方箋情報に基づいて調剤される場合において、プロセッサは、処方箋情報を取得し、処方箋情報に基づいて、個別薬剤画像の視認性の良否を判定する、（２）の画像処理装置。

（６）プロセッサは、処方箋情報に基づいて特定される薬剤の種類の情報に基づいて、個別薬剤画像の視認性の良否を判定する、（５）の画像処理装置。

（７）プロセッサは、透明又は半透明な薬剤の場合に、個別薬剤画像の視認性が悪いと判定する、（６）の画像処理装置。

（８）プロセッサは、第１撮影画像の背景色と同系色の薬剤の場合に、個別薬剤画像の視認性が悪いと判定する、（６）の画像処理装置。

（９）プロセッサは、視認性の悪い個別薬剤画像に対し、薬剤のエッジを強調する画像処理を施して、視認性を向上させる、（１）から（８）のいずれか一の画像処理装置。

（１０）プロセッサは、薬剤を第１撮影画像とは異なる背景色となる条件で撮影した第２撮影画像を取得し、視認性の悪い個別薬剤画像に対し、第２撮影画像から切り出した画像に置き替えて、視認性を向上させる、（１）から（８）のいずれか一の画像処理装置。

（１１）プロセッサは、個別薬剤画像を一覧表示した表示画像を生成する、（１）から（１０）のいずれか一の画像処理装置。

（１２）プロセッサは、表示画像を表示装置に表示する、（１１）の画像処理装置。

（１３）第１撮影画像が、一包化された薬剤を撮影した画像である、（１）から（１２）のいずれか一の画像処理装置。

（１４）薬剤を撮影した第１撮影画像を取得するステップと、第１撮影画像から薬剤を検出するステップと、検出した薬剤の画像を第１撮影画像から切り出して個別薬剤画像を生成するステップと、視認性の悪い個別薬剤画像に対し、視認性を向上させる処理を行うステップと、を含む画像処理方法。

本発明によれば、薬剤の視認性を向上できる。

薬剤検査支援システムのシステム構成の一例を示すブロック図 一包化された薬剤の一例を示す平面図 撮影装置の概略構成を示す平面図 撮影装置の概略構成を示す側面図 薬剤検査支援装置の概略構成を示すブロック図 処理装置が実現する機能のブロック図 個別薬剤画像の抽出の概念図 個別薬剤画像の中央部分の画素値を求めて薬剤の領域の画素値を求める方法の概念図 画像処理の一例を模式的に示す図 エッジ強調の一例を示す図 検査結果の表示画像の一例を示す図 薬剤検査支援システムを用いた薬剤の検査の手順を示すフローチャート 個別薬剤画像の視認性を向上させる処理の手順を示すフローチャート 撮影装置の概略構成を示す平面図 撮影装置の概略構成を示す側面図 撮影により得られる画像の一例を示す図 処理装置が実現する機能のブロック図 画像の切り替えの一例を模式的に示す図 検査結果の表示画像の一例を示す図 片面についてのみ表示を切り替えた場合の表示画像の一例を示す図 処理装置が実現する機能の一例を示すブロック図 薬剤ＤＢの一例を示す図 薬剤を撮影した画像を表示する場合の他の一例を示す図

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

［第１の実施の形態］
ここでは、一包化された薬剤に対し、薬剤師が行う検査を支援する装置に本発明を適用した場合を例に説明する。「一包化（ワンドーズパッケージ）」とは、複数の薬剤を纏めて一包にすることをいう。一包化は、主に服用時点が同一の薬剤に対して行われる。薬剤師は、処方箋情報に基づいて、薬剤を調剤し、一包化する。一包化する薬剤に対しては、一包化後に、薬剤が処方箋どおりに一包化されているか、薬剤師によって確認される。本実施の形態の薬剤検査支援装置は、この薬剤師による事後的な確認作業を支援する。

［システム構成］
図1は、薬剤検査支援システムのシステム構成の一例を示すブロック図である。

同図に示すように、薬剤検査支援システム１は、撮影装置１０、処方箋情報入力装置２０及び薬剤検査支援装置３０を備える。

［撮影装置］
撮影装置１０は、一包化された薬剤を撮影する。撮影装置１０によって撮影された画像は、薬剤検査支援装置３０に入力される。

図２は、一包化された薬剤の一例を示す平面図である。

同図に示すように、一包化により１つの薬包ＴＰに複数の薬剤Ｔが封入される。なお、同図は、薬包ＴＰが帯状に連なった形態のもの（薬包帯）を示している。薬包ＴＰは、薬剤Ｔを封入したまま撮影できるように、透明体（半透明体を含む）で構成される。一包化される薬剤Ｔは、主に錠剤及びカプセル剤等である。一包化の処理は、たとえば、分包装置等を用いて行われる。

図３及び図４は、それぞれ撮影装置の概略構成を示す平面図及び側面図である。

撮影装置１０は、２台のカメラ（第１カメラ１２Ａ及び第２カメラ１２Ｂ）を有し、透明なステージ１４の上に載置された薬包ＴＰの両面を撮影する。

ステージ１４は、水平に設置される。第１カメラ１２Ａ及び第２カメラ１２Ｂは、ステージ１４を挟んで互いに対向して配置される。第１カメラ１２Ａは、薬包ＴＰの第１面（表面）に正対し、薬包ＴＰの第１面を撮影する。第２カメラ１２Ｂは、薬包ＴＰの第２面（裏面）に正対し、薬包ＴＰの第２面を撮影する。なお、薬包ＴＰは、ステージ１４に接する面を第２面とし、第２面と反対側の面を第１面とする。

ステージ１４を挟んで、第１カメラ１２Ａの側には、第１照明装置１６Ａが備えられ、第２カメラ１２Ｂの側には、第２照明装置１６Ｂが備えられる。

第１照明装置１６Ａは、ステージ１４に載置された薬包ＴＰの第１面に照明光を照射する。第１照明装置１６Ａは、放射状に配置された４つの発光部１６Ａ１～１６Ａ４を有し、直交する４方向から照明光を照射する。各発光部１６Ａ１～１６Ａ４の発光は、個別に制御される。

第２照明装置１６Ｂは、ステージ１４に載置された薬包ＴＰの第２面に照明光を照射する。第２照明装置１６Ｂは、放射状に配置された４つの発光部１６Ｂ１～１６Ｂ４を有し、直交する４方向から照明光を照射する。各発光部１６Ｂ１～１６Ｂ４の発光は、個別に制御される。

撮影は、次のように行われる。まず、第１カメラ１２Ａを用いて、薬包ＴＰの第１面（表面）が撮影される。撮影の際には、第１照明装置１６Ａの各発光部１６Ａ１～１６Ａ４が発光される。次に、第２カメラ１２Ｂを用いて、薬包ＴＰの第２面（裏面）が撮影される。撮影の際には、第２照明装置１６Ｂの各発光部１６Ｂ１～１６Ｂ４が発光される。このように撮影することで、薬包ＴＰの第１面及び第２面が撮影される。上記のように、薬包ＴＰは透明である。したがって、薬包ＴＰを撮影すると、その薬包ＴＰに封入された薬剤Ｔが撮影される。すなわち、一包化された薬剤Ｔが撮影される。

なお、撮影は暗室の状態で行われる。したがって、撮影の際に薬包ＴＰに照射される光は、第１照明装置１６Ａ及び第２照明装置１６Ｂからの照明光のみである。このように撮影された薬包ＴＰは、背景が黒くなって、各薬剤Ｔが撮影される。

薬包ＴＰは、回転するローラ１８にニップされて、ステージ１４に搬送される。薬包ＴＰは、搬送過程で均しが行われ、重なりが解消される。複数の薬包ＴＰが帯状に連なった薬包帯の場合は、１つの薬包ＴＰの撮影が終わると、１包分の送りが与えられ、次の薬包ＴＰの撮影が行われる。

［処方箋情報入力装置］
処方箋情報入力装置２０は、検査対象とする薬剤の処方箋情報を薬剤検査支援装置３０に入力する。処方箋情報は、処方箋に記載された情報である。処方箋情報には、処方された薬剤の名称、数量、用法、用量、識別情報等の情報が含まれる。なお、処方箋情報は、必ずしも処方箋に記載されたすべての情報を入力する必要はない。処方箋に記載された情報のうち薬剤の検査に必要な情報が入力されればよい。

処方箋情報入力装置２０は、たとえば、レセプトコンピュータで構成できる。この場合、処方箋情報入力装置２０を構成するレセプトコンピュータと薬剤検査支援装置３０とが通信可能に接続される。薬剤検査支援装置３０は、レセプトコンピュータと通信し、処方箋情報を取得する。

この他、処方箋情報入力装置２０は、処方箋に記載された文字情報を光学的に読み取って処方箋情報を取得し、薬剤検査支援装置３０に入力する方式、処方箋に記載されたコード（たとえば、バーコード、二次元コード等）を読み取って処方箋情報を取得し、薬剤検査支援装置３０に入力する方式、処方箋に記載された情報をキーボード等で薬剤検査支援装置３０に入力する方式等を採用できる。

なお、処方箋情報には、処方箋に記載された情報そのものでもよいし、処方箋に記載された情報に基づいて医師、及び／又は、薬剤師が設定、変更等した情報でもよい。たとえば、処方箋に先発医薬品の名称が記載されている場合に後発医薬品（ジェネリック医薬品）に変更する、あるいは、薬剤の一般名称しか記載されていない場合に先発医薬品又は後発医薬品を選択する等を行って得られた情報も「処方箋情報」に含めることができる。

［薬剤検査支援装置］
図５は、薬剤検査支援装置の概略構成を示すブロック図である。

同図に示すように、薬剤検査支援装置３０は、処理装置３２、操作装置３４、表示装置３６及び記憶装置３８等を備える。

処理装置３２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備えたコンピュータで構成される。処理装置３２は、ＣＰＵが所定のプログラムを実行することにより、各種機能を実現する。処理装置３２が実現する機能については後述する。処理装置３２は、画像処理装置の一例である。

操作装置３４は、ユーザからの操作入力を受け付ける。操作装置３４は、たとえば、キーボード、マウス、タッチパネル等で構成される。

表示装置３６は、各種情報を表示する。表示装置３６は、たとえば、液晶ディスプレイ（liquid crystal display；ＬＣＤ）、有機エレクトロルミネッセンスディスプレイ（organic electro-luminescence display；ＯＥＬＤ）等で構成される。

記憶装置３８は、各種情報を記憶する。記憶装置３８は、たとえば、ＨＤＤ（Hard Disk Drive）で構成される。処理装置３２のＣＰＵが実行するプログラム及びプログラムの実行に必要な情報は、記憶装置３８又はＲＯＭに記憶される。

図６は、処理装置が実現する機能のブロック図である。

処理装置３２は、ＣＰＵが所定のプログラムを実行することで、撮影制御部３２Ａ、撮影画像取得部３２Ｂ、個別薬剤画像抽出部３２Ｃ、処方箋情報取得部３２Ｄ、マスタ画像取得部３２Ｅ、照合部３２Ｆ、検査結果判定部３２Ｇ、視認性判定部３２Ｈ、画像処理部３２Ｉ、表示画像生成部３２Ｊ及び表示制御部３２Ｋの機能を実現する。

撮影制御部３２Ａは、撮影装置１０による薬包の撮影を制御する。上記のように、撮影装置１０は、薬包の第１面（表面）及び第２面（裏面）の画像を撮影する。

撮影画像取得部３２Ｂは、撮影装置１０で撮影された薬包の撮影画像を撮影装置１０から取得する。上記のように、撮影装置１０から取得される薬包の撮影画像は、一包化された薬剤の撮影画像である。当該画像は、第１撮影画像の一例である。

個別薬剤画像抽出部３２Ｃは、薬包の撮影画像（一包化された薬剤の撮影画像）から個々の薬剤の画像（個別薬剤画像）を抽出する。抽出は、一例として、次の手順で行われる。

図７は、個別薬剤画像の抽出の概念図である。まず、取得した薬包の撮影画像ＩＴＰから個々の薬剤Ｔを検出する。薬剤Ｔの検出には、公知の技術を採用できる。たとえば、機械学習、深層学習等により生成した画像認識モデルを用いて、薬剤Ｔを検出する手法を採用できる。次に、検出した個々の薬剤Ｔを矩形の枠Ｆで囲う。枠Ｆは、薬剤Ｔを囲い得る最小のサイズで薬剤Ｔを囲う。枠Ｆで囲った領域を切り出し、個々の薬剤Ｔの画像を抽出する。これにより、個々の薬剤を写した個別薬剤画像ＩＴが生成される。生成された個別薬剤画像ＩＴは、背景を含んだ画像となる。本実施の形態の薬剤検査支援装置３０では、黒色の背景の個別薬剤画像ＩＴが生成される。個別薬剤画像ＩＴの抽出は、すべての撮影画像ＩＴＰに対して行われる。

処方箋情報取得部３２Ｄは、検査対象とする薬剤の処方箋情報を処方箋情報入力装置２０から取得する。

マスタ画像取得部３２Ｅは、処方箋情報取得部３２Ｄで取得した処方箋情報に基づいて、処方箋に含まれる薬剤のマスタ画像を薬剤ＤＢ（ＤＢ；Data Base）から取得する。薬剤ＤＢは、記憶装置３８に格納される。薬剤ＤＢには、各種の薬剤（調剤され得る薬剤）の情報が格納される。薬剤の情報には、その薬剤の画像（マスタ画像）が含まれる。マスタ画像は、薬剤の表面の画像及び裏面の画像が用意される。表裏のない薬剤（たとえば、カプセル錠など）については、刻印又は印刷のある面を表面、その反対側の面を裏面として、２枚の画像が用意される。刻印及び印刷のない薬剤については、ある面を表面、その反対側の面を裏面として、２枚の画像が用意される。

照合部３２Ｆは、個別薬剤画像抽出部３２Ｃで抽出された個別薬剤画像を、マスタ画像取得部３２Ｅで取得されたマスタ画像と照合する。個別薬剤画像をマスタ画像と照合することにより、各個別薬剤画像に写されている薬剤の種類を特定できる。また、検査対象の薬包に封入された薬剤（一包化された薬剤）が、処方箋どおりに一包化されているか否かを判定できる。照合処理には、公知の技術が採用される。たとえば、個別薬剤画像から特徴量を抽出し、その特徴量と、マスタ画像から抽出された特徴量とを比較することで行われる。

検査結果判定部３２Ｇは、照合部３２Ｆによる照合結果に基づいて、検査対象の薬包に封入された薬剤（一包化された薬剤）が、処方箋どおりに一包化されているか否かを判定する。判定は、薬包単位で行われる。すなわち、薬包ごと封入されている薬剤の過不足の有無が判定される。

視認性判定部３２Ｈは、個別薬剤画像抽出部３２Ｃで抽出された個別薬剤画像の視認性の良否を判定する。視認性の良否は、個別薬剤画像を表示装置３６に表示させた場合に薬剤が見やすいか否かによって判断される。一見して、薬剤が背景と明確に区別できる画像は、視認性の良い画像とされる。一方、薬剤が背景と区別しにくい画像は、視認性の悪い画像とされる。本実施の形態の薬剤検査支援装置３０において、視認性判定部３２Ｈは、個別薬剤画像の薬剤の領域の画素値に基づいて、個別薬剤画像の視認性の良否を判定する。具体的には、個別薬剤画像の薬剤の領域の画素値Ｖ１及び薬剤以外の領域の画素値Ｖ２を求め、その差分（Ｖ１－Ｖ２）に基づいて、個別薬剤画像の視認性の良否を判定する。差分（Ｖ１－Ｖ２）が閾値以上の場合、視認性が良いと判定される。一方、差分（Ｖ１－Ｖ２）が閾値未満の場合、視認性が悪いと判定される。

薬剤の領域の画素値Ｖ１は、たとえば、個別薬剤画像から薬剤の領域を抽出し、抽出した薬剤の領域の画素値の平均を求めて取得する。一方、薬剤以外の領域の画素値Ｖ２は、薬剤の領域を除く領域の画素値の平均を求めて取得する。

なお、個別薬剤画像は、切り出しの性質上、中央に薬剤が配置される。したがって、個別薬剤画像の中央部分の画素値は、薬剤の領域の画素値を示す。したがって、薬剤の領域の画素値Ｖ１は、個別薬剤画像の中央部分の画素値を求めて取得する構成とすることもできる。図８は、個別薬剤画像の中央部分の画素値を求めて薬剤の領域の画素値を求める方法の概念図である。同図に示すように、個別薬剤画像ＩＴの中央部分に所定のサイズの検出枠ＦＤを設定し、その検出枠ＦＤ内の画素値の平均を求めて、薬剤の領域の画素値Ｖ１を求める。

また、薬剤以外の領域、すなわち、背景については、どの個別薬剤画像も同じであり、その画素値は既知の値となる。したがって、薬剤以外の領域の画素値Ｖ２については、固定値として設定することもできる。この場合、事前に個別薬剤画像又は薬包の撮影画像から薬剤以外の領域の画素値を求めて、薬剤以外の領域の画素値Ｖ２を取得する。取得した画素値Ｖ２は、比較のための基準値として使用できる。

個別薬剤画像が、ＲＧＢ画像（１つの画素の色を、R（Red；赤）、G（Green；緑）、B（Blue；青）の3原色で表わした画像）で構成される場合、グレースケールに変換し、各領域の画素値を求める構成としてもよい。また、特定のチャンネル（たとえば、Ｇ）の画素値を求める構成としてもよい。

通常、黒い背景となる条件で撮影した場合、透明な薬剤については、視認性が著しく低下する。また、背景色と同系色の薬剤についても、視認性が低下する。同系色とは、Ｄ５０環境下のＬａｂ表色系で色差１３以下が例示される。

画像処理部３２Ｉは、視認性判定部３２Ｈにおいて、視認性が悪いと判定された個別薬剤画像に対し、所定の画像処理を施して、その画像中の薬剤の視認性を向上させる。

図９は、画像処理の一例を模式的に示す図である。同図（Ａ）は、画像処理前の個別薬剤画像ＩＴ０を模式的に示している。また、同図（Ｂ）は、画像処理後の個別薬剤画像ＩＴ１を模式的に示している。同図に示す例では、薬剤の輪郭を明確にして、視認性を向上させている。画像の輪郭を明確にする画像処理の一つとして、エッジ強調を例示できる。

図１０は、エッジ強調の一例を示す図である。同図（Ａ）は、画像処理前の個別薬剤画像ＩＴ０を示している。また、同図（Ｂ）は、画像処理後の個別薬剤画像ＩＴ１を示している。同図に示すように、視認性の悪い画像に対し、エッジ強調処理を施すことにより、薬剤と背景の境界が明確になり、薬剤の視認性を向上できる。

画像中の薬剤の視認性を向上させる処理は、これに限定されず、他の手法を採用することもできる。たとえば、明るさを変える処理、コントラストを変える処理等を採用できる。また、これら複数の処理を組み合わせて、画像中の薬剤の視認性を向上させることもできる。

また、画像に加工を施して、画像中の薬剤の視認性を向上させることもできる。たとえば、薬剤の輪郭を抽出し、輪郭に線を付して、薬剤領域の視認性を向上させることもできる。

表示画像生成部３２Ｊは、検査結果判定部３２Ｇによる検査の判定結果に基づいて、検査結果の表示画像を作成する。この際、各包の検査結果と共に、各包に封入されている薬剤の画像（個別薬剤画像）を表示した画像を作成する。

図１１は、検査結果の表示画像の一例を示す図である。同図は、１４包分の検査結果の一例を示している。また、各包に５つの薬剤（Ａカプセル、Ｂ錠、Ｃ錠、Ｄ錠、Ｅ錠）が封入されている場合の例を示しており、Ｅ錠が、透明な薬剤の場合の例を示している。

同図に示すように、検査結果の表示画像ＩＤには、処方された薬剤の名称、処方された薬剤のマスタ画像、各包に封入された薬剤の画像（個別薬剤画像）、及び、各包の検査結果が表示される。

処方された薬剤の名称、及び、そのマスタ画像は、処方薬剤情報表示欄Ｃ１に表示される。薬剤の名称は、処方薬剤情報表示欄Ｃ１に縦一列に並べて表示される。各薬剤の名称に対応して、その薬剤のマスタ画像が、右隣の列に表示される。なお、図１１において、各名称に対応して表示される２つのマスタ画像のうち上段の画像は表面の画像であり、下段の画像は裏面の画像である。

各包に封入された薬剤の画像及び検査結果は、検査結果表示欄Ｃ２に表示される。各包に封入された薬剤の画像は、縦一列に並べて表示される。したがって、同じ列に表示された画像は、同じ薬包に封入された薬剤の画像を示す。また、各薬剤の画像は、処方薬剤情報表示欄Ｃ１に表示された薬剤の名称の並びと同じ並びで表示される。したがって、処方薬剤情報表示欄Ｃ１に表示された薬剤の名称と同じ行に表示された画像は、その名称の薬剤の画像を示す。同じ行には、マスタ画像が表示されるので、目視による検査を容易に行うことができる。

各列の先頭（上端）には、各薬包の検査順（画像の撮影順）を示す番号が付される。この番号は、検査結果の表示に使用される。具体的には、処方箋通りに薬剤が封入（一包化）されていない場合、その薬包の番号が反転して表示される。すなわち、文字と背景の色が反転して表示される。たとえば、処方箋通りに薬剤が封入されている場合は、白い背景に黒い文字で番号が表示される（いわゆる黒抜き表示）。一方、処方箋通りに薬剤が封入されていない場合、黒い背景に白い文字で番号が表示される（いわゆる白抜き表示）。図１１は、１３番目の薬包（表示番号「０１３」）が、処方箋と異なる場合の例を示している。１３番目の薬包は、Ｃ錠が不足している。この場合、１３番目の薬包については、Ｃ錠の個別薬剤画像が表示されない。したがって、個別薬剤画像の表示を確認することで、不足している薬剤を認識できる。

検査結果表示欄Ｃ２に表示する各薬剤の画像は、撮影画像から切り出して生成した個別薬剤画像である。しかし、そのまま表示すると、薬剤の視認性が悪い場合がある。したがって、表示画像生成部３２Ｊは、視認性判定部３２Ｈで視認性が悪いと判定された個別薬剤画像がある場合、当該画像を画像処理部３２Ｉによる画像処理後の画像に置き替えて、表示画像を生成する。これにより、個別薬剤画像を目視して確認する際の確認作業を容易にできる。

表示制御部３２Ｋは、表示装置３６への表示を制御する。表示画像生成部３２Ｊで検査結果の表示画像が生成されると、表示制御部３２Ｋは、生成された表示画像を表示装置３６に表示させる。

［動作］
図１２は、薬剤検査支援システムを用いた薬剤の検査の手順を示すフローチャートである。

まず、薬剤検査支援装置３０に対し、検査対象とする薬剤の処方箋情報が入力される（ステップＳ１０）。処方箋情報は、処方箋情報入力装置２０から薬剤検査支援装置３０に入力される。

薬剤検査支援装置３０は、入力された処方箋情報を取得する。薬剤検査支援装置３０は、取得した処方箋情報に基づいて、処方箋に含まれる薬剤のマスタ画像を薬剤ＤＢから取得する（ステップＳ１１）。

一方、撮影装置１０では、検査対象とする薬剤が撮影される（ステップＳ１２）。撮影は、薬包を撮影することにより行われる。薬包を撮影することにより、その薬包に封入された薬剤、すなわち、一包化された薬剤が撮影される。撮影された薬包の画像（一包化された薬剤の画像）は、薬剤検査支援装置３０に出力される。

薬剤検査支援装置３０は、撮影装置１０から出力された薬包の撮影画像（第１撮影画像）を取得する（ステップＳ１３）。

薬剤検査支援装置３０は、取得した薬包の撮影画像（一包化された薬剤の撮影画像）から個別の薬剤の画像（個別薬剤画像）を抽出する（ステップＳ１４）。抽出は、画像から薬剤を検出し、検出した薬剤を切り出すことにより行われる。

個別薬剤画像の抽出後、薬剤検査支援装置３０は、抽出した個別薬剤画像をマスタ画像と照合する（ステップＳ１５）。照合後、薬剤検査支援装置３０は、照合結果に基づいて、検査結果を判定する（ステップＳ１６）。すなわち、検査対象の薬包に封入された薬剤（一包化された薬剤）が、処方箋どおりに一包化されているか否かを判定する。

また、薬剤検査支援装置３０は、個別薬剤画像の抽出後、視認性の悪い個別薬剤画像に対し、視認性を向上させる処理を行う（ステップＳ２０）。

図１３は、個別薬剤画像の視認性を向上させる処理の手順を示すフローチャートである。

まず、個別薬剤画像の視認性の良否を判定する処理が行われる（ステップＳ２１）。視認性の良否は、個別薬剤画像の薬剤の領域の画素値と薬剤以外の領域の画素値との差分に基づいて判定される。

次に、判定された結果が、悪いか否かが判断される（ステップＳ２２）。判定結果が悪い場合、すなわち、視認性が悪い場合、視認性を向上させる画像処理が行われる（ステップＳ２３）。

一方、判定結果が良い場合、すなわち、視認性が良い場合は、画像処理は行われず、そのまま表示用の画像として使用される。

このように、個別薬剤画像の視認性を向上させる処理では、まず、画像の視認性の良否が判定され、視認性が悪いと判定された画像に対してのみ、視認性を向上させる画像処理が施される。この処理は、抽出したすべての個別薬剤画像に対し行われる。したがって、すべての個別薬剤画像の判定が終了したか否かが判定される（ステップＳ２４）。すべての個別薬剤画像の判定が終了すると、個別薬剤画像の視認性を向上させる処理が終了する。

全体の流れに戻り、視認性の向上処理及び検査結果の判定処理が完了すると、薬剤検査支援装置３０は、検査結果を示す表示画像を生成する（ステップＳ１７）。薬剤検査支援装置３０は、生成した表示画像を表示装置３６に表示する（ステップＳ１８）。

検査結果の表示画像は、図１１に示すように、処方された薬剤の名称、処方された薬剤のマスタ画像、各包に封入された薬剤の画像（個別薬剤画像）、及び、各包の検査結果が表示される。

ここで、個別薬剤画像については、視認性を向上させる処理が行われた場合、処理後の画像が表示される。すなわち、撮影画像からそのまま切り出した画像ではなく、処理後の画像に置き替えられて表示される。処理後の画像は、画像中の薬剤の視認性が向上しているので、目視による確認作業を容易にできる。

以上説明したように、本実施の形態の薬剤検査支援装置３０によれば、撮影した薬剤の画像を表示する際に、必要に応じて視認性が向上される。これにより、目視による薬剤の検査を軽減できる。

［第２の実施の形態］
上記実施の形態では、視認性の悪い個別薬剤画像に対し、画像処理を施して、視認性を向上させている。本実施の形態では、視認性の悪い個別薬剤画像がある場合、異なる条件で撮影した画像に置き替えて、視認性を向上させる。具体的には、異なる背景色となる条件で撮影した画像に置き替えて、視認性を向上させる。

［撮影装置］
撮影装置は、異なる背景色となる条件で薬剤を撮影できるように構成される。図１４及び図１５は、それぞれ本実施の形態の撮影装置の概略構成を示す平面図及び側面図である。

本実施の形態の撮影装置１０は、第１撮影板４０Ａ及び第２撮影板４０Ｂを備える点で上記第１の実施の形態の撮影装置と相違する。したがって、ここでは、第１撮影板４０Ａ及び第２撮影板４０Ｂの構成及び機能についてのみ説明する。

第１撮影板４０Ａ及び第２撮影板４０Ｂは、白色の板で構成される。第１撮影板４０Ａ及び第２撮影板４０Ｂは、ステージ１４を挟んで上下に配置され、かつ、それぞれステージ１４と平行に配置される。第１撮影板４０Ａは、第１カメラ１２Ａ側に配置され、第２撮影板４０Ｂは、第２カメラ１２Ｂ側に配置される。

第１撮影板４０Ａ及び第２撮影板４０Ｂは、それぞれ図示しない駆動機構に駆動されて、撮影位置と退避位置との間を水平にスライド移動する。第１撮影板４０Ａは、撮影位置に移動することで、ステージ１４の真上に移動する（図１４参照）。これにより、ステージ１４の上に載置された薬包の上面（表面）が第１撮影板４０Ａで覆われる。第１撮影板４０Ａは、退避位置に移動することで、ステージ外の位置に移動する。第２撮影板４０Ｂは、撮影位置に移動することで、ステージ１４の真下に移動する。これにより、ステージ１４の上に載置された薬包の下面（裏面）が第２撮影板４０Ｂで覆われる。第２撮影板４０Ｂは、退避位置に移動することで、ステージ外の位置に移動する。

［撮影装置による薬包の撮影］
薬包の撮影（一包化された薬剤の撮影）は、次のように行われる。

まず、第１撮影板４０Ａ及び第２撮影板４０Ｂを退避位置に退避させた状態で、薬包ＴＰの第１面（表面）及び第２面（裏面）が撮影される。薬包ＴＰの第１面は、第１カメラ１２Ａで撮影され、第１照明装置１６Ａを発光させて撮影される。薬包ＴＰの第２面は、第２カメラ１２Ｂで撮影され、第２照明装置１６Ｂを発光させて撮影される。

次に、第２撮影板４０Ｂを撮影位置に位置させて、薬包ＴＰの第１面が撮影される。撮影は、第１カメラ１２Ａを用いて行われ、第１照明装置１６Ａを発光させて撮影される。撮影後、第２撮影板４０Ｂは、退避位置に退避される。

次に、第１撮影板４０Ａを撮影位置に位置させて、薬包ＴＰの第２面が撮影される。撮影は、第２カメラ１２Ｂを用いて行われ、第２照明装置１６Ｂを発光させて撮影される。撮影後、第２撮影板４０Ｂは、退避位置に退避される。

図１６は、撮影により得られる画像の一例を示す図である。

同図（Ａ）及び（Ｂ）は、第１撮影板４０Ａ及び第２撮影板４０Ｂを退避させて撮影した場合に得られる撮影画像の一例を示す図である。同図（Ａ）は、薬包の第１面を撮影した場合に得られる撮影画像ＩＴＰ１の一例を示している。同図（Ｂ）は、薬包の第２面を撮影した場合に得られる撮影画像ＩＴＰ２の一例を示している。同図（Ａ）及び（Ｂ）に示すように、第１撮影板４０Ａ及び第２撮影板４０Ｂを退避させて撮影すると、黒い背景で各薬剤が撮影される。撮影画像ＩＴＰ１、ＩＴＰ２は、第１撮影画像の一例である。

同図（Ｃ）及び（Ｄ）は、第１撮影板４０Ａ及び第２撮影板４０Ｂを入れて撮影した場合に得られる撮影画像の一例を示す図である。同図（Ｃ）は、第２撮影板４０Ｂを入れて、薬包の第１面を撮影した場合に得られる撮影画像ＩＴＰ３の一例を示している。同図（Ｄ）は、第１撮影板４０Ａを入れて、薬包の第２面を撮影した場合に得られる撮影画像ＩＴＰ４の一例を示している。同図（Ｃ）及び（Ｄ）に示すように、第１撮影板４０Ａ及び第２撮影板４０Ｂを入れて撮影すると、白（ないしグレー）の背景で各薬剤が撮影される。撮影画像ＩＴＰ３、ＩＴＰ４は、第２撮影画像の一例である。

［薬剤検査支援装置］
図１７は、本実施の形態の薬剤検査支援装置の処理装置が実現する機能のブロック図である。

同図に示すように、本実施の形態の薬剤検査支援装置の処理装置３２は、画像処理部３２Ｉ（図６参照）に代えて、画像切替部３２Ｌの機能を有する点で上記実施の形態の処理装置３２と相違する。

処理装置３２の基本動作は、上記第１の実施の形態と同じであり、黒色の背景の撮影画像（第１撮影画像）から抽出した個別薬剤画像を用いて、マスタ画像との照合が行われる。また、検査結果を表示する場合も、原則として、黒色の背景の撮影画像から抽出した個別薬剤画像が使用される。ただし、その画像の視認性が悪い場合、白色の背景の撮影画像（第２撮影画像）から抽出した個別薬剤画像が使用される。

画像切替部３２Ｌは、視認性判定部３２Ｈの判定結果に基づいて、検査結果の表示に使用する個別薬剤画像を切り替える。具体的には、黒色の背景の撮影画像から切り出した個別薬剤画像の視認性が悪い場合、白色の背景の撮影画像から切り出した個別薬剤画像に切り替える。なお、切り出しの処理は、個別薬剤画像抽出部３２Ｃで行われる。この際、薬剤の検出は、黒色の背景の撮影画像で行った検出の結果を利用できる。

図１８は、画像の切り替えの一例を模式的に示す図である。同図（Ａ）は、黒色の背景の撮影画像から抽出した個別薬剤画像ＩＴ２を模式的に示している。また、同図（Ｂ）は、白色の背景の撮影画像から抽出した個別薬剤画像ＩＴ３を模式的に示している。同図に示すように、背景色が異なる画像に切り替えることにより、視認性を向上できる。

表示画像生成部３２Ｊは、画像の切り替えが行われた場合、切り替え後の画像を用いて、検査結果の表示画像を生成する。

図１９は、検査結果の表示画像の一例を示す図である。同図は、Ｅ錠の画像をすべて白色の背景の画像に置き替えて表示した場合の例を示している。

同図に示すように、黒い背景の撮影画像から切り出した個別薬剤画像の視認性が悪い場合、白い背景の撮影画像から切り出した個別薬剤画像に置き替えられて表示される。背景色の異なる条件で撮影した画像を表示することにより、薬剤の視認性を向上できる。

［変形例］
上記実施の形態では、薬包の第１面及び第２面のそれぞれについて、背景色の異なる画像を撮影する構成としているが、背景色を変えた撮影は、片面についてのみ実施する構成としてもよい。たとえば、第１面についてのみ背景色を変えて撮影してもよい。この場合、結果を表示する際、第１面の画像のみが切り替えられる。

図２０は、片面についてのみ表示を切り替えた場合の表示画像の一例を示す図である。同図は、Ｅ錠について、すべて片面（第１面）の画像を白色の背景の画像に切り替えている。このように、片面の画像を切り替えるだけでも、目視による検査を容易にできる。

なお、片面についてのみ背景色を変えて撮影する場合、撮影板（第１撮影板４０Ａ及び第２撮影板４０Ｂ）は、少なくとも一方に備えられていればよい。

また、上記実施の形態では、白色の撮影板（第１撮影板４０Ａ及び第２撮影板４０Ｂ）を入れて撮影することで、背景色の異なる画像を撮影する構成としているが、背景色の異なる画像を撮影する方法は、これに限定されるものではない。特に、撮影板を入れる位置、照明の条件等については、適宜変更できる。

［その他の実施の形態］
［視認性の判定方法の変形例］
あらかじめ定められた撮影条件で薬剤を撮影する場合、撮影される画像の視認性は、主に薬剤の色（透明を含む）によって定まる。薬剤の色は、薬剤の種類で特定できる。したがって、事前に薬剤の種類が特定できれば、その薬剤の視認性を推定できる。たとえば、透明な薬剤の場合、背景が黒くなる条件で撮影すると、視認性が低下する。同様に、得られる画像の背景色と同系色の薬剤については、視認性が低下する。薬剤の種類は、処方箋情報から特定できる。処方箋情報に基づいて調剤される薬剤については、処方箋情報を取得することにより、その個別薬剤画像の視認性の良否を判定（推定）できる。

図２１は、処方箋情報に基づいて、個別薬剤画像の視認性を判定する場合に処理装置が実現する機能の一例を示すブロック図である。

この場合、処理装置３２は、色情報取得部３２Ｍの機能を実現する。色情報取得部３２Ｍは、処方箋情報取得部３２Ｄが取得した処方箋情報に基づいて、薬剤ＤＢから検査対象とする薬剤の色情報を取得する。視認性判定部３２Ｈは、色情報取得部３２Ｍが取得した色情報に基づいて、個別薬剤画像の視認性を判定する。たとえば、背景が黒くなる条件で薬剤を撮影する場合において、取得した薬剤の色が、透明又は半透明な場合、当該薬剤の個別薬剤画像は、薬剤の視認性が悪いと判定する。同様に、取得した薬剤の色が、黒系統（黒、茶色等）の場合、当該薬剤の個別薬剤画像は、薬剤の視認性が悪いと判定する。

視認性判定部３２Ｈで視認性が悪いと判定された場合、視認性を向上させる処理が行われる。すなわち、視認性が悪いと判定された薬剤の個別薬剤画像に対し、画像処理が施され、視認性が向上される。あるいは、視認性のよい画像（異なる背景色となる条件で撮影した画像）に切り替えて、視認性が向上される。

上記のように、薬剤の色情報は、薬剤ＤＢから取得される。図２２は、薬剤ＤＢの一例を示す図である。同図に示すように、薬剤の色の情報（色情報）が、薬剤の名称（及びマスタ画像）に関連付けられて格納される。したがって、薬剤の名称が特定されれば、その薬剤の色が特定される。

なお、上記の例では、薬剤の色情報を薬剤ＤＢに格納し、その薬剤ＤＢから取得した薬剤の色情報に基づいて、視認性の良否を判定する例で説明したが、薬剤の視認性の良否を薬剤ＤＢに直接格納する構成としてもよい。この場合、薬剤の種類（名称）から直接視認性の良否を判別できる。

また、薬剤の撮影画像から視認性の良否を判定する場合において、画像の画素値を比較して判定する場合、ＲＧＢ画像で比較してもよいし、単チャネルで比較してもよい。また、Ｌａｂ画像、ｈｓｖ画像、ｌｃｈ変換等も用いることもできる。

［検査対象の他の例］
上記実施の形態では、処方箋に基づいて調剤されて一包化された薬剤を検査する装置に本発明を適用した場合を例に説明したが、本発明の適用は、これに限定されるものではない。一包化されていない薬剤、処方箋に基づかずに調剤された薬剤等を検査する場合にも本発明を適用できる。

［撮影の変形例］
上記実施の形態では、一包化された薬剤を撮影する際、薬包に封入された状態の薬剤を撮影する構成としているが、薬包に封入する前の状態の薬剤を撮影する構成とすることもできる。たとえば、トレイに載置された状態の薬剤を撮影する構成とすることもできる。

また、上記実施の形態では、薬剤の表裏両面を撮影する構成としているが、片面のみ撮影する構成とすることもできる。この場合、表示する画像は片面のみとなる。

［表示の変形例］
上記実施の形態では、複数の薬包の検査結果を一覧表示する場合を例に説明したが、検査結果の表示形態は、これに限定されるものではない。１包分ずつを個別に表示する構成とすることもできる。また、薬剤を１つずつ表示する構成とすることもできる。

また、上記実施の形態では、視認性の悪い薬剤の個別薬剤画像を表示する際、視認性を向上させた画像処理後を表示する構成としているが、ユーザからの指示に応じて、画像処理前の画像の表示に切り替えられるようにしてもよい。すなわち、画像処理前の画像（いわゆるオリジナルの画像）の表示と画像処理後の画像の表示とを任意に切り替えられるようにしてもよい。この場合、たとえば、画面に切り替えボタンを表示し、その切り替えボタンの押下（クリック）により、表示が切り替えられる構成とする。視認性を向上させた画像に置き替える場合も同様である。

［その他の装置への適用］
上記実施の形態では、本発明を薬剤検査支援装置に適用した場合を例に説明したが、本発明の適用は、これに限定されるものではない。薬剤を撮影した画像を表示する装置全般に適用できる。

図２３は、薬剤を撮影した画像を表示する場合の他の一例を示す図である。同図は、薬剤の撮影画像をスマートフォンに表示する場合の一例を示している。特に、同図は、一包化された薬剤の撮影画像をスマートフォンに表示する場合の例を示している。各薬剤の画像（個別薬剤画像）は、薬包を撮影した画像から切り出して生成される。同図は、Ｅ錠の個別薬剤画像の視認性が悪いと判定された場合の例を示しており、視認性のよい画像（異なる背景色となる条件で撮影した画像）に置き替えて表示した場合の例を示している。本例において、スマートフォンのディスプレイは、表示装置の一例である。

［処理装置の他の例］
薬剤検査支援装置を構成する処理装置は、次に示すような各種のプロセッサを含んで構成できる。各種のプロセッサには、上記実施の形態で説明したＣＰＵの他、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。処理装置の機能は、これら各種のプロセッサのうちの１つで実現されてもよいし、同種又は異種の２つ以上のプロセッサ（たとえば、複数のＦＰＧＡあるいはＣＰＵとＦＰＧＡの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで実現する例としては、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の機能を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウエア的な構造として、上述した各種のプロセッサを１つ以上用いて実現される。さらに、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。

プロセッサあるいは電気回路がプログラムを実行する際は、実行するプログラムのコードをＲＯＭ、及び／又は、フラッシュＲＯＭ等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る薬剤検査支援方法を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には、たとえば、ＶＲＡＭ（Video RAM）、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が一時的記憶領域として用いられ、また、たとえば、不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。

１ 薬剤検査支援システム
１０ 撮影装置
１２Ａ 第１カメラ
１２Ｂ 第２カメラ
１４ ステージ
１６Ａ 第１照明装置
１６Ａ１ 発光部
１６Ｂ 第２照明装置
１６Ｂ１ 発光部
１８ ローラ
２０ 処方箋情報入力装置
３０ 薬剤検査支援装置
３２ 処理装置
３２Ａ 撮影制御部
３２Ｂ 撮影画像取得部
３２Ｃ 個別薬剤画像抽出部
３２Ｄ 処方箋情報取得部
３２Ｅ マスタ画像取得部
３２Ｆ 照合部
３２Ｇ 検査結果判定部
３２Ｈ 視認性判定部
３２Ｉ 画像処理部
３２Ｊ 表示画像生成部
３２Ｋ 表示制御部
３２Ｌ 画像切替部
３２Ｍ 色情報取得部
３４ 操作装置
３６ 表示装置
３８ 記憶装置
４０Ａ 第１撮影板
４０Ｂ 第２撮影板
Ｃ１ 処方薬剤情報表示欄
Ｃ２ 検査結果表示欄
Ｆ 枠
ＦＤ 検出枠
ＩＴ 個別薬剤画像
ＩＴ０ 個別薬剤画像
ＩＴ１ 個別薬剤画像
ＩＴ２ 個別薬剤画像
ＩＴ３ 個別薬剤画像
ＩＴＰ 撮影画像
ＩＴＰ１ 撮影画像
ＩＴＰ２ 撮影画像
ＩＴＰ３ 撮影画像
ＩＴＰ４ 撮影画像
Ｔ 薬剤
ＴＰ 薬包
Ｓ１０～Ｓ１８ 薬剤の検査の手順
Ｓ２０～Ｓ２４ 個別薬剤画像の視認性を向上させる処理の手順

Claims (7)

1. プロセッサを備え、
   前記プロセッサは、
   薬剤を撮影した第１撮影画像を取得し、
   前記第１撮影画像から前記薬剤を検出し、
   検出した前記薬剤の画像を前記第１撮影画像から切り出して個別薬剤画像を生成し、
   前記個別薬剤画像又は前記第１撮影画像の前記薬剤以外の領域の画素値を基準値とした場合に、前記個別薬剤画像の前記薬剤の領域の画素値と前記基準値との差分に基づいて、前記個別薬剤画像の視認性の良否を判定し、
   視認性の悪い前記個別薬剤画像に対し、画像処理を施して、視認性を向上させる処理を行う、
   画像処理装置。
2. 前記プロセッサは、視認性の悪い前記個別薬剤画像に対し、前記薬剤のエッジを強調する画像処理を施して、視認性を向上させる、
   請求項１に記載の画像処理装置。
3. 前記プロセッサは、
   前記薬剤を前記第１撮影画像とは異なる背景色となる条件で撮影した第２撮影画像を取得し、
   視認性の悪い前記個別薬剤画像に対し、前記第２撮影画像から切り出した画像に置き替えて、視認性を向上させる、
   請求項１又は２に記載の画像処理装置。
4. 前記プロセッサは、前記個別薬剤画像を一覧表示した表示画像を生成する、
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記プロセッサは、前記表示画像を表示装置に表示する、
   請求項４に記載の画像処理装置。
6. 前記第１撮影画像が、一包化された薬剤を撮影した画像である、
   請求項１から５のいずれか１項に記載の画像処理装置。
7. 薬剤を撮影した第１撮影画像を取得するステップと、
   前記第１撮影画像から前記薬剤を検出するステップと、
   検出した前記薬剤の画像を前記第１撮影画像から切り出して個別薬剤画像を生成するステップと、
   前記個別薬剤画像又は前記第１撮影画像の前記薬剤以外の領域の画素値を基準値とした場合に、前記個別薬剤画像の前記薬剤の領域の画素値と前記基準値との差分に基づいて、前記個別薬剤画像の視認性の良否を判定するステップと、
   視認性の悪い前記個別薬剤画像に対し、画像処理を施して、視認性を向上させる処理を行うステップと、
   を含む画像処理方法。

Images