JP7821189B2 - 医薬品パッケージコンテンツを医薬品パッケージングシステムの特徴に基づいて検証する為の方法、システム及びコンピュータプログラム製品 - Google Patents

Description

関連出願
本出願は、2021年2月18日に出願された米国仮出願第63/150,820号の優先権及びその利益を主張するものであり、その開示は参照によってその全体が本明細書内に組み込まれる。

本開示は、一般的に、医薬品のパッケージングに関し、特に、医薬品のパッケージコンテンツを該医薬品のパッケージングシステムの特徴に基づいて検証する為の方法、システム及びコンピュータプログラム製品に関する。

医薬品パッケージングシステムは、施設、例えば、薬局、病院、長期介護施設等、において、処方箋を満たす為に医薬品を調剤する為に使用されうる。これらの医薬品パッケージングシステムは、様々な容器タイプ、例えば、パウチ、バイアル、ボトル、ブリスターカード、ストリップパッケージングを包含するがこれらに限定されない上記の様々な容器タイプで医薬品を包装するように設計されたシステムを備えうる。ストリップパッケージングは、特定の日付、場合によっては特定の時間、に投与する為に、薬剤が個々のパウチ内に包装されるパッケージングの一種である。典型的に、個々のパウチは取り外し可能に結合されており、ロール状で提供される場合が多い。該パウチは必要に応じて該ロールから切り離されることができる。

幾つかの種類の医薬品パッケージ、例えば、パウチ及びブリスターカード、には例えば、その上に個人健康情報（PHI：Personal Health Information）、製造者情報、例えばロゴ、名前、連絡先情報等、及び／又は該医薬品パッケージのコンテントに関する他の詳細、例えば、医薬品の数、医薬品名称、投与時間、投与強度（dosing strength）、バーコード等、のコンテント、が印刷されている場合がある。該医薬品パッケージの該表面上のそのようなコンテントは、該医薬品パッケージの画像化を通じて該医薬品パッケージのコンテントを検証することをより困難にする場合がある。

その上、異なる医薬品パッケージングシステムは、医薬品をパッケージングする際に使用される材料の種類、及び／又は医薬品パッケージのコンテンツを検証する際に使用される検証システムに関して異なる特徴を有しうる。異なる医薬品パッケージングシステム間のこれらの差異は、包装された医薬品のコンテントを確認する為に撮影された画像の評価を更に複雑にしうる。

課題を解決する為の手段

本発明の概念の幾つかの実施態様において、方法は、１以上の医薬品を含む医薬品パッケージの画像を受信すること；医薬品パッケージングシステムに関連付けられた該画像の特徴を、人工知能エンジンを使用して検出すること；及び、該医薬品パッケージの修正された画像を、該医薬品パッケージングシステムの特徴に基づいて生成することを含む。

他の実施態様において、該医薬品パッケージングシステムの該特徴が、１以上の画像キャプチャ光源特徴、１以上の画像キャプチャ表面特徴、１以上のパッケージング物質特徴、及び／又は１以上のカメラ特徴を含む。

更に他の実施態様において、該１以上の光源特徴が、画像キャプチャ光源のストレングス（strength）、該画像キャプチャ光源のインテンシティ（intensity）、及び／又は該画像キャプチャ光源の位置を含む。

更に他の実施態様において、該１以上の画像キャプチャ表面特徴が、背景位置及び／又は背景色を含む。

更に他の実施態様において、該１以上のパッケージング物質特徴が、パッケージング物質の透明度、パッケージング物質の影、ラベルの色、パッケージング物質の色、及び／又はパッケージング物質のホットスポットを含む。

更に他の実施態様において、該１以上のカメラ特徴が、カメラ番号、カメラ位置、カメラ解像度、及び／又はカメラ画像タイプを含む。

更に他の実施態様において、該画像が第１の画像であり、該医薬品パッケージが第１の医薬品パッケージであり、及び該修正された画像が第１の修正された画像である。該第１の画像の該特徴を、該人工知能エンジンを使用して検出することが、複数の医薬品パッケージングシステムのうちの第１のものに関連付けられた該第１の画像の特徴を、該人工知能エンジンを使用して検出することを含む。該第１の修正された画像を生成することが、該第１の医薬品パッケージの該第１の修正された画像を、該複数の医薬品パッケージングシステムのうちの該第１のものの特徴に基づいて生成することを含む。

更に他の実施態様において、該方法が、１以上の医薬品を含む第２の医薬品パッケージの第２の画像を受信すること；複数の該医薬品パッケージングシステムのうちの第２のものに関連付けられた該第２の画像の特徴を、該人工知能エンジンを使用して検出すること；及び、該第２の医薬品パッケージの第２の修正された画像を、該複数の医薬品パッケージングシステムのうちの該第２のものの特徴に基づいて生成することを更に含む。

更に他の実施態様において、該方法は、該医薬品パッケージの表面上のラベルコンテントを、人工知能エンジンを使用して検出することを更に含む。該医薬品パッケージの該修正された画像を生成することが、該表面から該ラベルコンテントが除去された該医薬品パッケージの該修正された画像を生成することを含む。

更に他の実施態様において、該人工知能エンジンが第１の人工知能エンジンであり、及び該修正された画像が第１の修正された画像である。該方法が、該１以上の医薬品についての注文情報と該医薬品パッケージについての識別子とを受信すること；該第１の修正された画像内の該１以上の医薬品の個々の医薬品を、第２の人工知能エンジンを使用して検出すること；並びに、該１以上の医薬品の該個々の医薬品を区別し且つ該１以上の医薬品を該注文情報及び該医薬品パッケージについての該識別子に関連付けるところの指標を含む、該医薬品パッケージの第２の修正された画像を生成することを更に含む。

更に他の実施態様において、該注文情報が、該医薬品パッケージ内の該１以上の医薬品についての名称を含む。該方法が、第２の修正された画像内の該１以上の医薬品の少なくとも一部を、第３の人工知能エンジンを使用して、該１以上の医薬品についての該名称に基づいて識別することを更に含む。該名称は、参照データベース内の医薬品属性に関連付けられる。

更に他の実施態様において、該方法が、該医薬品パッケージの該画像を受信したことに応答して、該医薬品パッケージの該画像に対してガンマ補正を実行して、該医薬品パッケージのガンマ補正された画像を生成すること；該医薬品パッケージの該ガンマ補正された画像に対してガウスぼかしノイズ除去を実行して、該医薬品パッケージのノイズ低減された画像を生成すること；及び、該医薬品パッケージの該ノイズ低減された画像に対して自動画像閾値処理を実行して、該医薬品パッケージの前景と背景とが分離された画像を生成することを更に含む。該ラベルコンテントを、該人工知能エンジンを使用して検出することが、該医薬品パッケージの該前景と背景とが分離された画像の該表面上の該ラベルコンテントを、該人工知能エンジンを使用して検出することを含む。

本発明の概念の幾つかの実施態様において、システムが、プロセッサ；及び、該プロセッサに接続されたメモリを備えており、ここで、該メモリは、命令を実行する為の該プロセッサによって実行可能な、該メモリ内に具現化されたコンピュータ可読プログラムコードを含み、該命令が、１以上の医薬品を含む医薬品パッケージの画像を受信すること；医薬品パッケージングシステムに関連付けられた該画像の特徴を、人工知能エンジンを使用して検出すること；及び、該医薬品パッケージの修正された画像を、該医薬品パッケージングシステムの特徴に基づいて生成することを含む。

更なる実施態様において、該医薬品パッケージングシステムの該特徴が、１以上の画像キャプチャ光源特徴、１以上の画像キャプチャ表面特徴、１以上のパッケージング物質特徴、及び／又は１以上のカメラ特徴を含む。

なお更なる実施態様において、該１以上の光源特徴が、画像キャプチャ光源のストレングス、該画像キャプチャ光源のインテンシティ、及び／又は該画像キャプチャ光源の位置を含む。

なお更なる実施態様において、該１以上の画像キャプチャ表面特徴が、背景位置及び／又は背景色を含む。

なお更なる実施態様において、該１以上のパッケージング物質特徴が、パッケージング物質の透明度、パッケージング物質の影、ラベルの色、パッケージング物質の色、及び／又はパッケージング物質のホットスポットを含む。

なお更なる実施態様において、該１以上のカメラ特徴が、カメラ番号、カメラ位置、カメラ解像度、及び／又はカメラ画像タイプを含む。

なお更なる実施態様において、該画像が第１の画像であり、該医薬品パッケージが第１の医薬品パッケージであり、及び該修正された画像が第１の修正された画像である。該第１の画像の該特徴を、該人工知能エンジンを使用して検出することが、複数の医薬品パッケージングシステムのうちの第１のものに関連付けられた該第１の画像の特徴を、該人工知能エンジンを使用して検出することを含む。該第１の修正された画像を生成することが、該第１の医薬品パッケージの該第１の修正された画像を、該複数の医薬品パッケージングシステムのうちの該第１のものの特徴に基づいて生成することを含む。

なお更なる実施態様において、１以上の医薬品を含む第２の医薬品パッケージの第２の画像を受信すること；複数の該医薬品パッケージングシステムのうちの第２のものに関連付けられた該第２の画像の特徴を、該人工知能エンジンを使用して検出すること；及び、該第２の医薬品パッケージの第２の修正された画像を、該複数の医薬品パッケージングシステムのうちの該第２のものの特徴に基づいて生成することを更に含む。

本発明の概念の幾つかの実施態様において、コンピュータプログラム製品が、非一時的コンピュータ可読ストレージ媒体を備えており、ここで、該非一時的コンピュータ可読ストレージ媒体は、命令を実行する為の該プロセッサによって実行可能な、該媒体内に具現化されたコンピュータ可読プログラムコードを含み、該命令が、１以上の医薬品を含む医薬品パッケージの画像を受信すること；医薬品パッケージングシステムに関連付けられた該画像の特徴を、人工知能エンジンを使用して検出すること；及び、該医薬品パッケージの修正された画像を、該医薬品パッケージングシステムの特徴に基づいて生成することを含む。

本発明の概念の実施態様に従う、他の方法、システム、製造品及び／又はコンピュータプログラム製品は、添付の図面及び以下の詳細な説明を検討することで、当業者に明らかであるか又は明らかになるであろう。そのような追加のシステム、方法、製造品及び／又はコンピュータプログラム製品は全て、本明細書内に含まれ、本発明の主題の範囲内にあり、添付の特許請求の範囲によって保護されることが意図される。

実施態様の他の特徴は、添付の図面と併せて読む場合に、その特定の実施態様の以下の発明の詳細な説明からより容易に理解されるであろう。

図1は、本発明の概念の幾つかの実施態様に従う、異なる医薬品パッケージングシステム間の差異を考慮することができる人工知能（AI：Artificial Intelligence）支援医薬品パッケージ解析システムを備えている通信ネットワークを示すブロック図である。 図2は、本発明の概念の幾つかの実施態様に従う、図1のAI支援医薬品パッケージ解析システムのブロック図である。 図3は、本発明の概念の幾つかの実施態様に従う、医薬品パッケージの表面のラベルコンテントを検出する為の畳み込みニューラルネットワークのブロック図であり、それは、異なる医薬品パッケージングシステム間の差異を考慮することができる。 図4は、本発明の概念の幾つかの実施態様に従う、医薬品パッケージ画像の前処理を示すブロック図である。 図5は、本発明の概念の幾つかの実施態様に従う、図3の畳み込みニューラルネットワークの複数の畳み込み層間のスキップ接続配置のブロック図である。 図6は、本発明の概念の幾つかの実施態様に従う、異なる医薬品パッケージングシステム間の差異を考慮しながら医薬品パッケージ解析を実行する為の動作を示すフローチャート図である。 図7は、本発明の概念の幾つかの実施態様に従う、異なる医薬品パッケージングシステム間の差異を考慮しながら医薬品パッケージ解析を実行する為の動作を示すフローチャート図である。 図8は、本発明の概念の幾つかの実施態様に従う、異なる医薬品パッケージングシステム間の差異を考慮しながら医薬品パッケージ解析を実行する為の動作を示すフローチャート図である。 図9は、本発明の概念の幾つかの実施態様に従う、異なる医薬品パッケージングシステム間の差異を考慮しながら医薬品パッケージ解析を実行する為の動作を示すフローチャート図である。 図10は、本発明の概念の幾つかの実施態様に従う、異なる医薬品パッケージングシステム間の差異を考慮しながら医薬品パッケージ解析を実行する為の動作を示すフローチャート図である。 図11は、本発明の概念の幾つかの実施態様に従う、異なる医薬品パッケージングシステム間の差異を考慮しながら医薬品パッケージ解析を実行する為の動作を示すフローチャート図である。 図12は、本発明の概念の幾つかの実施態様に従う、図1のAI支援医薬品パッケージ解析システムにおける１以上のサーバを実装する為に使用されうるデータ処理システムである。 図13は、本発明の概念の幾つかの実施態様に従う、図1のAI支援医薬品パッケージ解析システムにおいて使用する為のソフトウェアアーキテクチャ／ハードウェアアーキテクチャを示すブロック図である。

発明を実施する為の形態

以下の発明の詳細な説明において、本発明の概念の実施態様を十分に理解する為に、多数の具体的な詳細が記載されている。しかしながら、本発明は、それらの具体的な詳細無しに実施されうることが当業者によって理解されるであろう。場合によっては、本発明の概念を不明瞭にしないように、周知の方法、手順、コンポーネント及び回路は詳細に記載されていない。本明細書において開示された全ての実施態様は、別個に実施すること、又は任意の方法及び／又は組み合わせで組み合わせられることが意図される。１つの実施態様に関して記載されている観点は、それに関して特に記載されていないが、異なる実施態様に組み込まれてもよい。すなわち、全ての実施態様及び／又は任意の実施態様の特徴は、任意の方法及び／又は組み合わせにおいて組み合わせられることができる。

本明細書において使用される場合に、語「データ処理設備」は、ハードウェア要素、ファームウェアコンポーネント、及び／又はソフトウェアコンポーネントを包含するが、これらに限定されない。データ処理システムは、１以上のデータ処理設備を備えて構成されてもよい。

本明細書において使用される場合に、語「医薬品パッケージングシステム」は、あらゆるタイプの医薬製剤調剤システムを云い、該医薬品調剤システムは、バイアル、ボトル、容器、パウチ、ブリスターカード等に医薬品を充填する自動化システム；バイアル、ボトル、容器、パウチ、ブリスターカード等に医薬品を充填する半自動化システム；及び医薬品パッケージに医薬品を充填する自動化システムと半自動化システムとの任意の組み合わせを包含するが、これらに限定されない。医薬品パッケージングシステムはまた、医薬製剤代替品、例えば栄養補助食品及び／又はバイオ医薬品、の為のパッケージングシステムを包含する。

本明細書において使用される場合に、語「医薬製剤」（pharmaceutical）及び語「薬」（medication）は、互換可能であり、ヒト又は動物のいずれかの患者に処方される医薬（medicament）を云う。医薬品又は薬は、ピル剤、カプセル剤、タブレット剤等を包含するがこれらに限定されない様々な方法で具現化されうる。

語「医薬品」（drug product）は、自動化及び半自動化の医薬品パッケージングシステムによってバイアル、ボトル、容器、パウチ、ブリスターカード等に包装することができるあらゆるタイプの医薬品を云い、これは、ピル、カプセル、タブレット、カプレット、ゲルキャップ、トローチ等を包含するが、これらに限定されない。医薬品はまた、医薬製剤代替品、例えば、栄養補助食品及び／又は生物学的製剤、を云う。医薬品パッケージングシステム、例えば、パッケージング注文を満たす為の管理技術を包含する上記の医薬品パッケージングシステム、の例は、米国特許第１0,492,987号に記載されており、その開示は参照によって本明細書内に組み込まれる。

語「医薬品パッケージ」は、医薬品、例えば、バイアル、ボトル、容器、パウチ、ブリスターカード等を包含する上記の医薬品、を保持することができるあらゆるタイプの物体を云う。

語「ナショナル・ドラッグ・コード（NDC：National Drug Code）」は、NDC情報及び「薬剤識別番号（DIN：Drug Identification Number）」情報の両方を表す為に使用されうる。

本発明の概念の実施態様は、１以上の機械学習エンジン及び人工知能（AI）エンジンを備えている医薬品パッケージング解析エンジンの文脈において本明細書に記載されている。本発明の概念の実施態様は、該医薬品パッケージング解析エンジンの特定の実装に限定されず、様々なタイプのAIシステム、例えば、多層ニューラルネットワーク、ディープラーニングシステム、自然言語処理システム、及び／又はコンピュータビジョンシステムを包含するがこれらに限定されない上記の様々なタイプのAIシステム、が使用されうることが理解されるであろう。その上、該多層ニューラルネットワークは、人工ニューロン又はノードを備えている多層人工ニューラルネットワークであり、実際の生物学的ニューロンを備えている生物学的ニューラルネットワークを包含しないことが理解されるであろう。本発明の概念の実施態様は、複数のAIシステムを用いて実装されてもよく、又は様々な機能をより少ない若しくは単一のAIシステムと一緒にすることによって実装されてもよい。

本発明の概念の幾つかの実施態様は、例えば、医薬品パッケージ、例えばパウチ又はブリスターカード、のコンテンツを検証するときに、異なる医薬品パッケージングシステムは、例えば、使用される物理的パッケージングにおける差異、並びに該医薬品パッケージの画像をキャプチャする為に異なる医薬品パッケージングシステムによって使用される画像キャプチャシステムにおける差異に起因して、検証プロセスに影響を及ぼすことができる異なる特徴を有しうるという認識に由来する。例えば、該医薬品パッケージングシステムの特徴は、１以上の画像キャプチャ光源特徴、1以上の画像キャプチャ表面特徴、1以上のパッケージング物質特徴、及び／又は1以上のカメラ特徴を含みうる。該１以上の光源特徴は例えば、画像キャプチャ光源のストレングス、該画像キャプチャ光源のインテンシティ、及び／又は該画像キャプチャ光源の位置を含みうる。周囲光はまた、該医薬品パッケージングシステムに関連付けられた画像キャプチャシステムの構造に基づいて、光源特徴に影響を及ぼしうる。該１以上の画像キャプチャ表面特徴は、背景位置及び／又は背景色を含みうる。該１以上のパッケージング物質特徴は、パッケージング物質の透明度、パッケージング物質の影、ラベルの色、パッケージング物質の色、及び／又はパッケージング物質のホットスポットを含みうる。色は、医薬品を区別する為に医薬品パッケージ上で使用されてもよく、及び各色は異なる薬剤クラスを表してもよい。例えば、青色のラベルはオピオイドを識別する為に使用されてもよく、蛍光赤色は神経筋遮断薬を識別する為に使用されてもよく、黄色は誘導剤を識別する為に使用されてもよく、オレンジ色は精神安定剤を識別する為に使用されてもよく、紫色は血管圧降薬を識別する為に使用されてもよく、及び緑色は抗コリン薬を識別する為に使用されてもよい。青色バイアルは、小児の手の届かないところに保管する必要がある医薬品を識別する為に使用されうる。青色のピル瓶は、一般的に長持ちするポリエチレン材料で作られていてもよい。該ピル瓶は、安全な輸送及び保管の為に、異なる量及びサイズの医薬品を確保しうる。ピル瓶は、歴史的に使用されてきた琥珀色の瓶を模倣する為に、半透明のオレンジ色であってもよい。該オレンジ色の着色は、紫外線によるその中に含まれている医薬品の損傷を低減しうる。該１以上のカメラ特徴は、カメラ番号、カメラ位置、カメラ解像度、及び／又はカメラ画像タイプを含む。上述された特徴を含むプロファイル情報は、医薬品パッケージングシステム固有の画像認識を支援する為に、医薬品パッケージングシステムの各々について記憶されうる。各医薬品パッケージングシステムのプロファイル情報は、静的なものでなくてもよく、外部環境における変化、部品の変更／摩耗等により、時間の経過と共に変化しうる。従って、該医薬品パッケージングシステムの特徴が進化するにつれて、AIシステムも同様に、時間と共に進化する特徴を認識するように訓練されうる。慣用的な医薬品パッケージコンテント検証システムは典型的に、特定の医薬品パッケージングシステムに合わせて調整されている。AIシステムの使用を通じて医薬品パッケージのコンテンツを検証する際に、異なる医薬品パッケージングシステムにおいて使用されるパッケージング及び／又は画像キャプチャシステムにおける差異を考慮することにより、該医薬品パッケージング検証の精度が向上されることができる。その上、該医薬品パッケージのコンテント検証は全部又は一部をネットワークロケーション、例えばクラウド、に移動させ、薬局又は他の医薬品パッケージング施設が、複数のタイプの医薬品パッケージングシステムで訓練されたAIベースの医薬品パッケージ検証システムにアクセスすることを可能にする。新しい医薬品パッケージングシステムが開発されると、該AIシステムは、新しい医薬品パッケージングシステムの特定の特徴を認識するように訓練されうる。他の実施態様において、ある施設は、ネットワーク経由でなく、例えばクラウドでなく、ローカルで医薬品パッケージコンテンツの検証を実行することを望む場合がある。他の実施態様において、該AIシステムは、特定の薬局又は医薬品パッケージング施設でローカルに実行するように変更されてもよく、及び他の医薬品パッケージングシステムをサポートすること無しに、その薬局又は施設において使用される特定の医薬品パッケージングシステムをサポートするように縮小されてもよい。

図1を参照すると、本発明の概念の幾つかの実施態様に従う、異なる医薬品パッケージングシステム間の差異を考慮することができるAI支援医薬品パッケージ解析システムを備えている通信ネットワーク100は、図示されているように、ネットワーク140を介して接続される、薬局管理システム（PMS：：pharmacy management system）又はホストシステム110、パッケージングシステムサーバ120、１以上のパッケージ解析エンジンのサーバ155、及び１以上の医薬品パッケージングシステム130a及び130bを備えている。

PMSシステム110は、顧客の為の処方箋を管理し且つ充填するように構成されうる。本明細書において使用される場合に、PMSシステムは、薬局において使用されうるか、又は他の用途、例えば栄養補助食品若しくは生物製剤の調剤、の為のバッチ生成システムとして一般的に使用されうる。PMSシステム110は、様々なタイプの施設、例えば、薬局、病院、長期ケア施設等、に関連付けられうる。PMSシステム又はホストシステム110は、有効な処方箋を１以上の製品パッケージングシステム130a及び130bに送信することができる任意のシステムであってもよい。パッケージングシステムサーバ120は、パッケージングシステムインタフェースモジュール135を備えていてもよく、並びに医薬品パッケージングシステム130a及び130bの動作を管理するように構成されていてもよい。例えば、パッケージングシステムサーバ120は、PMSシステム110からパッケージング注文を受信するように、及び該医薬品パッケージングシステム130a及び130bのいずれかが特定の個々の注文又は注文のバッチを包装する為に使用されるべきかを識別するように構成されうる。幾つかの実施態様において、例えば、「ORGANIZATION OF SCRIPT PAGAGING SEQUENCE AND PAGAGING SYSTEM SELECTION FOR DRUG PRODUCTS USING AN ARTIFICIAL INTELLIGENCE ENGINE」と題する2021年10月26日付出願の米国特許出願第１7／510,635号（その内容は参照により本明細書に組み込まれる）に記載されているように、AIシステムが、特定の医薬品パッケージングシステムへの医薬品パッケージング注文のインテリジェントなルーティングを容易にする為に使用されうる。

加えて、パッケージングシステムサーバ120は、医薬品パッケージングシステム130a及び130bの動作を管理するように構成されうる。例えば、パッケージングシステムサーバ120は、医薬品パッケージングシステム130a及び130bの各々を通じて利用可能な医薬品の在庫を管理するように、医薬品パッケージングシステム130a及び130bの１以上に割り当てられた若しくは登録された医薬品調剤キャニスタを管理するように、医薬品パッケージングシステム130a及び130bの動作状態を一般的に管理するように、及び／又はパッケージング注文、医薬品在庫、注文請求等の状態（例えば、割り当て、完了等）に関するレポートを管理するように構成されうる。ユーザ150、例えば薬剤師又は薬局技術者、は、有線接続及び／又は無線接続を介して任意の適切なコンピューティングデバイスを使用して、パッケージングシステムサーバ120と通信しうる。図1においてユーザ150が直接接続を介してパッケージングシステムサーバ120と通信している様子が示されているが、ユーザ150は１以上のネットワーク接続を介してパッケージングシステムサーバ120と通信してもよいことが理解されるであろう。ユーザ150は、医薬品パッケージングシステム130a及び130bを操作する際にパッケージングシステムサーバ120によってなされる様々な推奨を承認又は上書きする為に、パッケージングシステムサーバ120と対話しうる。ユーザ150はまた、医薬品パッケージングシステム130a及び130bについて上述されたような様々なレポートの実行を開始しうる。２つの医薬品パッケージングシステム130a及び130bのみが図1において示されているが、３以上の医薬品パッケージングシステムがパッケージングシステムサーバ120によって管理されてもよいことが理解されるであろう。医薬品パッケージングシステム130a及び130bは、同じタイプの医薬品パッケージングシステムであってもよく、又は異なるタイプの医薬品パッケージングシステムであってもよい。その上、医薬品パッケージングシステム130a及び130bは、同じ施設内にあってもよく、又は異なる施設内にあってもよい。結果として、医薬品パッケージングシステム130a及び130bは、例えば、使用される物理的パッケージングにおける差異、並びに該医薬品パッケージの画像をキャプチャする為に異なる医薬品パッケージングシステムによって使用される画像キャプチャシステムにおける差異に起因して、該医薬品パッケージのコンテンツの検証プロセスに影響を与えることができる異なる特徴を有しうる。

AI支援医薬品パッケージ解析システムは、１以上のパッケージ解析エンジンのサーバ155A及び／又は155Bを備えていてもよく、該１以上のパッケージ解析エンジンのサーバ155A及び／又は155Bは、異なる医薬品パッケージングシステム130a及び130bの特徴間の差異を考慮しながら、医薬品パッケージのコンテンツの検証を容易にする為の1以上のパッケージ解析エンジンのモジュール160A及び160Bを備えている。本発明の概念の様々な実施態様に従って、該医薬品パッケージ解析サービスは、パッケージエンジン解析エンジンのサーバ155Bによって、ネットワーク接続、例えばクラウドサービス、を介して提供されてもよく、パッケージ解析エンジンのサーバ155Bは、パッケージエンジン解析エンジンのサーバ155A及びパッケージ解析エンジンのモジュール160Aによって、例えば薬局又は医薬品パッケージング施設においてローカルに提供されてもよい。本明細書において記載されるように、該AI支援医薬品パッケージ解析サービスは、AIシステムが複数のタイプの医薬品パッケージングシステムを説明するように訓練される混成サービスとして提供されてもよく、又は単一のタイプの医薬品パッケージングシステムを説明するように標的サービスとして提供されてもよい。薬局又は他の医薬品パッケージング施設は、薬局又は施設において使用される特定の医薬品パッケージングシステムを標的とする該AI支援医薬品パッケージ解析サービスをローカルに実行することを望むかもしれない。他の実施態様において、薬局又は医薬品パッケージング施設は、クラウドサービスとして該医薬品パッケージ解析サービスにアクセスすることを望むかもしれない。その場合に、薬局又は医薬品パッケージング施設は、複数のタイプの医薬品パッケージングシステムを使用してもよく、又は該医薬品パッケージ解析サービスを実行する為にローカルにリソースをセットアップすることを望まないかもしれない故に、該AIシステムは、複数のタイプの医薬品パッケージングシステムの様々な特徴を考慮するように訓練される。該パッケージエンジン解析エンジンのサーバ155B及び該パッケージ解析エンジンのモジュール160Bは、該パッケージエンジン解析エンジンのサーバ155A及び該パッケージ解析エンジンのモジュール160Aと共に、本明細書において、パッケージ解析エンジンのサーバ155及びパッケージ解析エンジンのモジュール160と総称する。パッケージ解析エンジンのサーバ155及びパッケージ解析エンジンのモジュール160は、同じ物理的位置において及び複数の物理的位置にまたがる医薬品パッケージングシステムの医薬品パッケージングシステムの特徴における差異を考慮しながら、該医薬品パッケージコンテンツを検証する為のAI支援医薬品パッケージ解析を容易にしうる。

１以上のパッケージ解析エンジンのサーバ155及び１以上のパッケージ解析エンジンのモジュール160は、１以上のAIシステムを表してもよく、該１以上のAIシステムは、医薬品パッケージの修正された画像を該医薬品パッケージングシステムの該特徴に基づいて生成するように、１以上の表面からラベルコンテントが除去された該医薬品パッケージの該修正された画像を生成するように、該医薬品パッケージ中に含まれている１以上の医薬品の個々の医薬品を該医薬品パッケージ画像内で検出するように、及び／又は該医薬品パッケージ画像内で検出されたそれらの医薬品を識別するように構成されうる。本発明の概念の幾つかの実施態様に従って、該医薬品パッケージングシステムの該特徴は、１以上の画像キャプチャ光源特徴、１以上の画像キャプチャ表面特徴、１以上のパッケージング物質特徴、及び／又は１以上のカメラ特徴を含んでいてもよい。本発明の概念の様々な実施態様に従って、該ラベルコンテントは、該医薬品パッケージの複数の表面を包含する医薬品パッケージ上の任意の表面、例えば、バイアルの上面、底面、側面、パウチ及びブリスターパックの表裏面等、から除去されることができる。

パッケージングシステムサーバ120／パッケージングシステムインタフェースモジュール135と、1以上のパッケージ解析エンジンのサーバ155／1以上のパッケージ解析エンジンのモジュール160との間の本明細書において記載されている機能性の分割は一例であることが理解されるであろう。本発明の概念の異なる実施態様に従って、パッケージングシステムサーバ120／パッケージングシステムインタフェースモジュール135と、1以上のパッケージ解析エンジンのサーバ155／1以上のパッケージ解析エンジンのモジュール160との間で様々な機能性及び能力が移されることができる。その上、幾つかの実施態様において、パッケージングシステムサーバ120／パッケージングシステムインタフェースモジュール135、及び1以上のパッケージ解析エンジンのサーバ155／1以上のパッケージ解析エンジンのモジュール160は、単一の論理的エンティティ及び／又は物理的エンティティとして統合されてもよい。

ネットワーク140は、医薬品パッケージングシステム130a及び130b、PMSシステム110、該パッケージエンジン解析エンジンのサーバ155B、並びにパッケージングシステムサーバ120を互いに接続する。ネットワーク140は、グローバルネットワーク、例えばインターネット又は他の一般的にアクセス可能なネットワーク、でありうる。ネットワーク140の様々な要素は、ワイドエリアネットワーク、ローカルエリアネットワーク、イントラネット、及び／又は他のプライベートネットワーク、ローカルエリアネットワーク、イントラネット及び／又は他のプライベートネットワークによって相互接続されてもよく、それらは、一般公衆によってアクセス可能でなくてもよい。従って、通信ネットワーク140は、パブリックネットワークとプライベートネットワークとの組み合わせ、又は仮想プライベートネットワーク（VPN：virtual private network）を表してもよい。ネットワーク140は、無線ネットワーク若しくは有線ネットワークであってもよく、又は無線ネットワークと有線ネットワークとの両方の組み合わせであってもよい。幾つかの実施態様において、１以上のパッケージ解析エンジンのサーバ155がまた、ネットワーク140に接続されてもよい。

幾つかの実施態様において、１以上のパッケージ解析エンジンのサーバ155及び１以上のパッケージ解析エンジンのモジュール160を通じて提供されるAI支援医薬品パッケージ解析サービスは、クラウドサービスとして、例えばパッケージエンジン解析エンジンのサーバ155B及びパッケージ解析エンジンのモジュール160Bを通じて、実装されてもよい。幾つかの実施態様において、該AI支援医薬品パッケージ解析サービスは、リプレゼンテーショナル・ステート・トランスファー・ウェブサービス（Representational State Transfer Web Service）（RESTful Web Service）として実装されてもよい。

図1は、異なる医薬品パッケージングシステム間の差異を考慮することができるAI支援医薬品パッケージ解析システムを備えている例示的な通信ネットワークを示しているが、本発明の主題の実施態様は、そのような構成に限定されるものでなく、本明細書において記載されている動作を実行することができる任意の構成を包含することが意図されていることが理解されるであろう。

上述されているように、１以上のパッケージ解析エンジンのサーバ155及び１以上のパッケージ解析エンジンのモジュール160は、１以上のAIシステムを表してもよく、該１以上のAIシステムは、異なる医薬品パッケージングシステム間の差異を考慮するように、表面からラベルコンテントが除去された医薬品パッケージの修正された画像を生成するように、該医薬品パッケージ中に含まれている１以上の医薬品の個々の医薬品を該医薬品パッケージ画像内で検出するように、及び／又は該医薬品パッケージ画像内で検出されたそれらの医薬品を識別するように構成されうる。図2は、AIシステム、例えば機械学習システム、を実装する為の１以上のパッケージ解析エンジンのモジュール160のブロック図であり、該AIシステムは、該医薬品パッケージ中に含まれている１以上の医薬品の個々の医薬品を該医薬品パッケージ画像内で検出する為に、及び／又は該医薬品を包装する為に使用される該医薬品パッケージングシステムの特徴における差異を考慮しながら、該医薬品パッケージ画像内で検出されたこれらの医薬品を識別する為に使用されることができる。図2のAIシステムは、該医薬品パッケージ中に含まれている１以上の医薬品の個々の医薬品を該医薬品パッケージ画像内で検出する為に、該医薬品を包装する為に使用される該医薬品パッケージングシステムの特徴における差異を考慮しながら、該医薬品パッケージ画像内で検出されたこれらの医薬品を識別する為に、単一のAIシステムとして実装されてもよい。他の実施態様において、図2のAIシステムのアーキテクチャが複製されて、該医薬品パッケージ中に含まれている１以上の医薬品の個々の医薬品を該医薬品パッケージ画像内で検出し、該医薬品を包装する為に使用される医薬品パッケージングシステムの特徴における差異を考慮しながら、該医薬品パッケージ画像内で検出されたこれらの医薬品を夫々識別する為に、別個のAIシステムを形成してもよい。図2において示されているように、１以上のパッケージ解析エンジンのモジュール160は、訓練モジュールと、該医薬品を包装する為に使用される医薬品パッケージングシステムの特徴における差異を考慮しながら、該医薬品パッケージ画像内の医薬品を検出及び／又は識別する為の新しいデータを処理する為に使用されるモジュールとの両方を備えていてもよい。１以上のパッケージ解析エンジンのモジュール160の訓練部分において使用されるモジュールは、訓練データモジュール205、特徴付けモジュール225、ラベル付けモジュール230、及び機械学習エンジン240を備えている。

訓練データ205は、1つの医薬品パッケージの１以上の画像を含み、該画像の各々がその中に１以上の医薬品を含む。1以上の医薬品パッケージは、その表面上にラベルコンテントを含み得、該ラベルコンテントは、商業マーケティング情報、患者識別情報、及び／又はパーソナルヘルスケア情報（PHI）を含みうるが、これらに限定されない。該商業マーケティング情報は、例えば、ロゴ、及び／又はビジネス名を包含しうる。該患者識別情報は例えば、患者名、患者の電話番号、患者の住所、及び／又は患者の識別番号を含みうる。該パーソナルヘルスケア情報は、例えば、該医薬品パッケージ中に含まれている１以上の医薬品の名称、該１以上の医薬品の各々の投与時間、該１以上の医薬品に関連付けられた１以上のバーコード、処方オーダー、患者アカウント、識別番号、及び／又は他の情報を包含しうる。幾つかの実施態様において、図3を参照して以下に記載されているAIシステム、例えばニューラルネットワーク、の使用を通じて、その表面上に含まれているラベルコンテントの少なくとも一部が除去されるように、該医薬品パッケージ画像が修正されうる。幾つかの実施態様において、該医薬品パッケージ中に含まれている１以上の医薬品の個々の医薬品を、その表面上のラベルコンテントの少なくとも一部が除去された修正された医薬品パッケージ画像内で検出する為に、訓練データ205は、該医薬品パッケージ中に含まれている１以上の医薬品についての注文情報及び／又は該医薬品パッケージについての識別子を更に含みうる。更なる実施態様において、該医薬品パッケージ画像内で検出されたこれらの医薬品を識別する為に、訓練データ205中に含まれている注文情報は、該医薬品パッケージ内の該１以上の医薬品の名称を含んでいてもよい。異なる医薬品パッケージングシステムは、医薬品パッケージング内の１以上の医薬品の検出／識別に、及び／又は医薬品パッケージからのラベルコンテントの除去に影響を与える可能性があるところの特徴に関して互いに異なりうる。従って、訓練データ205は、該医薬品を包装する為に使用される該医薬品パッケージングシステムに関連付けられた該１以上の画像の特徴に関連する情報を含みうる。これらの特徴は、１以上の画像キャプチャ光源特徴、１以上の画像キャプチャ表面特徴、１以上のパッケージング物質特徴、及び／又は１以上のカメラ特徴を含みうる。該１以上の光源特徴は例えば、画像キャプチャ光源のストレングス、該画像キャプチャ光源のインテンシティ、及び／又は該画像キャプチャ光源の位置を含みうる。該１以上の画像キャプチャ表面特徴は、背景位置及び／又は背景色を含みうる。該１以上のパッケージング物質特徴は、パッケージング物質の透明度、パッケージング物質の影、ラベルの色、パッケージング物質の色、及び／又はパッケージング物質のホットスポットを含みうる。該１以上のカメラ特徴は、カメラ番号、カメラ位置、カメラ解像度、及び／又はカメラ画像タイプを含む。訓練データ205は、医薬品基準パッケージ画像、例えば、医薬品パッケージ特徴及び／又はその中に含まれているコンテントを識別する情報を包含する上記の医薬品基準パッケージ画像、を更に含みうる。これらの既知の基準パッケージは、機械学習エンジン240が学習し、AIエンジン245が既知の基準画像に対する異なる医薬品パッケージングシステムの特徴における逸脱を認識する為のベースラインとして役立ちうる。

特徴付けモジュール225は、該１以上の医薬品を包装する差異に使用される該医薬品パッケージングシステムの特徴を考慮しながら、１以上の医薬品を検出及び／又は識別する為に、例えばラベルコンテントが除去された医薬品パッケージ画像内の１以上の医薬品を検出及び／又は識別する為に、１以上のパッケージ解析エンジンのモジュール160によって使用される個々の独立変数を識別するように構成され、それは、１以上の従属変数と見なされうる。例えば、訓練データ205は一般的に、加工されていなくてもよく又はフォーマット化されていてもよく、並びに医薬品情報及び／又は医薬品パッケージング情報に加えて余分な情報を含んでいてもよい。例えば、訓練データ205は、口座コード、ビジネスアドレス情報等を含んでいてもよく、それらは特徴付けモジュール225によってフィルタリングされてもよい。訓練データ205から抽出された特徴は属性と呼ばれてもよく、及び特徴の数は次元と呼ばれてもよい。ラベル付けモジュール230は、入力された特徴及び生成された出力の両方について一貫した命名規則を保証する為に、定義されたラベルを、訓練データ並びに検出された及び／又は識別された医薬品に割り当てるように構成されうる。機械学習エンジン240は、特徴付けされた訓練データ205、例えばラベル付けモジュール230によって提供されたラベルを包含する上記の訓練データ205、の両方を処理してもよく、特徴付けされ且つラベル付けされた入力データと生成された出力との間の定量的関係を確立する為に多数の関数をテストするように構成されてもよい。機械学習エンジン240は、モデリング技術を使用して、該生成された出力に対する様々な入力データの特徴の影響を評価しうる。次に、これらの効果は、特徴付けされ且つラベル付けされた入力データと該生成された出力との間の定量的関係を調整し且つ洗練する為に使用されうる。機械学習エンジン240によって生成された特徴付けされ且つラベル付けされた入力データ間の調整され且つ洗練された定量的関係は、AIエンジン245において使用する為に出力される。機械学習エンジン240は、機械学習アルゴリズムとして言及されうる。図2において示されているように、機械学習エンジン240は、パッケージングシステムAのモジュール242A及びパッケージングシステムBのモジュール242Bによって表されるように、複数の個々のパッケージングシステムをサポートするように訓練されてもよい。更なる実施態様において、機械学習エンジン240は、混成パッケージングシステムのモジュール242Cによって表されるように、複数のパッケージングシステムのうちの１以上からの医薬品パッケージング画像の解析をサポートするように訓練されてもよい。

医薬品パッケージ中に含まれている１以上の医薬品の個々の医薬品を医薬品パッケージ画像内で検出する為に及び／又は該医薬品パッケージ画像内で検出されたこれらの医薬品を、該医薬品パッケージを生成する為に使用される該医薬品パッケージングシステムの特徴に基づいて識別する為に使用されるモジュールは、新しいデータモジュール255、特徴付けモジュール265、AIエンジンモジュール245、並びに医薬品パッケージ処理及び解析モジュール275を備えている。新しいデータ255は、新しいデータ255が訓練目的でなく、新しい医薬品パッケージの解析の為に使用されることを除いて、コンテント及び形式において訓練データ205と同じデータ／情報であってもよい。同様に、特徴付けモジュール265は、特徴付けモジュール225が訓練データ205に対して実行するのと同じ機能を新しいデータ255に対して実行する。AIエンジン245は実質的に、特徴付けされ且つラベル付けされた入力データと出力された医薬品パッケージコンテント解析との間に決定された定量的関係の形で、機械学習エンジン240によって生成されてもよい。幾つかの実施態様において、AIエンジン245は、AIモデルとして言及されうる。機械学習エンジン240と同様に、AIエンジン245は、パッケージングシステムAのモジュール247A及びパッケージングシステムBのモジュール247Bによって表されるように、複数の個々のパッケージングシステムをサポートする。機械学習エンジン240は、混成パッケージングシステムモジュール247Cによって表されるように、複数のパッケージングシステムのうちの１以上からの医薬品パッケージ画像の解析を更にサポートしてもよい。AIエンジン245は、１以上の医薬品を包装する為に使用される医薬品パッケージングシステムの特徴に基づいて、１以上の医薬品を注文情報及び／又は該医薬品パッケージングの識別子と関連付けながら、その中に含まれている１以上の医薬品の個々の医薬品を区別するところの指標を含む医薬品パッケージの修正された画像を生成するように構成されうる。該指標は、様々な方法、例えば、境界ボックス（boundary boxes）、すなわち、多角形；円；囲まれた形状、例えば直線及び曲面を包含する囲まれた形状；曲面のみを含む囲まれた形状；及び／又は、１以上の医薬品間の境界を画定する線又は記号を包含するがこれらに限定されない上記の様々な方法、で具現化されうる。幾つかの実施態様において、該指標は、該医薬品の形状に近似した形状をとりうる。AIエンジン245はまた、１以上の医薬品を医薬品の名称に基づいて識別するように構成されてもよい。AIエンジン245は、医薬品パッケージ中に含まれている１以上の医薬品の個々の医薬品を医薬品パッケージ画像内で検出する為に、及び本発明の概念の異なる実施態様に従って該医薬品パッケージ画像内で検出されたこれらの医薬品を識別する為に、様々なモデリング技術、例えば、回帰技法、ニューラルネットワーク技法、自己回帰積分移動平均（ARIMA：Autoregressive Integrated Moving Average）技法、ディープラーニング技法、線形判別解析技法、決定木技法、ナイーブベイズ（naive Bayes）技法、K-最近傍技法、学習ベクトル量子化技法、サポートベクターマシン技法、及び／又はバギング／ランダムフォレスト技法を包含する上記様々なモデリング技術、を使用しうるがこれらに限定されない。

医薬品パッケージ処理及び解析モジュール275は、１以上の医薬品の名称と共に、印（indicial）、例えば境界ボックス、の表示によって識別された１以上の医薬品を有する修正された医薬品パッケージ画像を医薬品パッケージ検証システムに出力するように構成されうる。

上述されているように、１以上のパッケージ解析エンジンのサーバ155及び１以上のパッケージ解析エンジンのモジュール160は１以上のAIシステムを表してもよく、該１以上のAIシステムは、その表面からラベルコンテントが除去された医薬品パッケージの修正された画像を、包装において使用される医薬品パッケージングシステムの特徴に基づいて生成するように構成されうる。図3は、異なる医薬品パッケージングシステム間の差異を考慮しながら、その表面からラベルコンテントが除去された医薬品パッケージの該修正された画像を生成する為に使用されることができるニューラルネットワークによるAIシステムを実装する為の１以上のパッケージ解析エンジンのモジュール160のブロック図である。図3の例示的な実施態様において、該ニューラルネットワークは畳み込みニューラルネットワークである。しかしながら、医薬品パッケージング画像からラベルコンテントを、包装の為に使用される医薬品パッケージングシステムの特徴に基づいて除去する為のAIシステムは、本発明の概念の他の実施態様に従って、完全に接続されたニューラルネットワーク（fully connected neural network）として具現化されうることが理解されるであろう。しかしながら、畳み込みニューラルネットワークは、画素数が多く、その結果、ニューラルネットワーク層で管理する為の重みの数が多くなる故に、画像を処理又は分類するときに有用でありうる。畳み込みニューラルネットワークは、畳み込みを通じて、主画像行列を、第１の層においてより低い次元を有する行列に減少させてもよく、それにより、使用される重みの数が減少し、且つ学習時間への影響が減少する。

ここで図3を参照すると、画像プリプロセッサ305は、その表面に表示されたラベルコンテントを含む医薬品パッケージの１以上の画像を受信しうる。図4において示されているように、該画像プリプロセッサは、ガンマ補正モジュール405、ガウスぼかしノイズ除去モジュール410、及び自動画像閾値化モジュール415を備えていてもよく、それらは、該画像データに対する様々な補正、例えば、夫々、例えばガンマ補正、ノイズ除去、及び／又は画像セグメンテーション若しくは画像閾値化を包含する上記の様々な補正、を実行しうる。本発明の概念の幾つかの実施態様に従う画像前処理動作が下記に記載されている。前処理された医薬品パッケージ画像は、次元AxBx3（ここで、数3は、赤、緑、及び青の色を表す）の行列によって表される画像であってもよく、次に、マルチパッケージングシステム畳み込みニューラルネットワーク310に提供されてもよい。本明細書に記載された実施態様に従うと、該マルチパッケージングシステムは、医薬品パッケージ画像を処理する場合に、１以上の個々の医薬品パッケージングシステムの複数の特徴を考慮するように訓練された畳み込みニューラルネットワークであってもよい。マルチパッケージングシステム畳み込みニューラルネットワーク310は、医薬品パッケージ画像を処理する際に、複数の医薬品パッケージングシステムの混成（composite）を考慮するように訓練されてもよく、ここで、各パッケージングシステムは、その独自の複数の特徴を含む。図3において示されているように、マルチパッケージングシステム畳み込みニューラルネットワーク310は、第１のプーリング層325及び第２のプーリング層335と共に、第１の畳み込み層320及び第２の畳み込み層330を備えている。第１の畳み込み層320及び第２の畳み込み層330の各々は、入力行列よりも小さい次元の行列であり、及び畳み込み演算を同じ次元を有する入力行列の一部と実行するように構成されうる。対応する要素の積の合計が該畳み込み層の出力である。該畳み込み層の各々の出力はまた、0未満の任意の数が0に変換され及び任意の正の数が変更されずに残されるところの正規化線形単位演算（rectified linear unit operation）を介して処理されてもよい。マルチパッケージングシステム畳み込みニューラルネットワーク310は、第１のプーリング層325及び第２のプーリング層335を更に備えている。該プーリング層325及び335は夫々、ダウンサンプリング演算（down sampling operation）を実行することによって、第１の畳み込み層320及び第２の畳み込み層330の出力夫々をフィルタリングするように構成されうる。プーリング動作又はフィルタのサイズは、入力特徴マップのサイズよりも小さく、幾つかの実施態様において、2ピクセルのストライドで適用される2×2ピクセルである。このことは、該プーリング層は常に各特徴マップのサイズを2分の1に縮小し、例えば各次元を半分に縮小し、各特徴マップにおけるピクセル数又は値を4分の1のサイズに縮小する。例えば、6×6（36ピクセル）の特徴マップに施与されたプーリング層は、3×3（9ピクセル）の特徴マップをプールされた出力を結果として生じるであろう。最終出力層は、通常の完全に接続されたニューラルネットワーク層340であり、それは、その表面上のラベルコンテントの少なくとも一部が除去された修正された医薬品パッケージ画像345として出力を与える。

本発明の概念の幾つかの実施態様において、マルチパッケージングシステム畳み込みニューラルネットワーク310は、第１の畳み込み層320と第２の畳み込み層330との間でスキップ接続が使用されるところの残余のニューラルネットワークであってもよい。該スキップ接続の例が図5において示されている。具体的には、スキップ接続において、畳み込みニューラルネットワークは、前の畳み込み層の出力と該前の畳み込み層への入力との両方を入力として受け取る畳み込み層を含む。

２つの畳み込み層320及び330が図3の例示的なマルチパッケージングシステム畳み込みニューラルネットワーク310において説明の目的の為に示されているが、本発明の概念の様々な実施態様に従う畳み込みニューラルネットワークは、多数の畳み込み層を備えていてもよく、幾つかの実施態様において100層を超えうることが理解されるであろう。

図6～図11は、本発明の概念の幾つかの実施態様に従う、異なる医薬品パッケージングシステム間の差異を考慮しながら、その中のコンテンツの検証を容易にする為に、ラベルコンテントをそこから除去することを含む医薬品パッケージ解析を実行する為の動作を示すフローチャート図である。ここで、図6を参照すると、動作はブロック600から開始され、ここでは、AIエンジン245及び／又はマルチパッケージングシステム畳み込みニューラルネットワーク310が、その中に１以上の医薬品を含む医薬品パッケージの画像を受信する。幾つかの実施態様において、医薬品パッケージは、その中に１以上の医薬品パッケージを備えている外側パッケージでありうる。例えば、大きなパウチ又はバッグは、複数のバーコード付きの、ブリスターパック、パウチ、及び／又はストリップを含みうる。ブロック605では、医薬品パッケージングシステムに関連付けられた画像の特徴が、AIエンジン245及び／又はマルチパッケージングシステム畳み込みニューラルネットワーク310を使用して検出されうる。上述されているように、機械学習エンジン240を訓練する為に使用される訓練データ205は、医薬品パッケージ特徴及び／又はその中に含まれているコンテンツを識別する情報を含む医薬品基準パッケージ画像を含みうる。これらの既知の医薬品基準パッケージ画像は、ベースライン画像との比較によって認識されるべき、様々な医薬品パッケージングシステム画像に関連付けられた医薬品パッケージ画像についてのベースライン特徴からの逸脱を可能にするベースラインとして機能しうる。本発明の概念の様々な実施態様に従って、該特徴は、１以上の画像キャプチャ光源特徴、１以上の画像キャプチャ表面特徴、１以上のパッケージング物質特徴、及び／又は１以上のカメラ特徴を包含しうる。該１以上の光源特徴は例えば、画像キャプチャ光源のストレングス（strength）、該画像キャプチャ光源のインテンシティ（intensity）、及び／又は該画像キャプチャ光源の位置を含みうる。該１以上の画像キャプチャ表面特徴は、背景位置及び／又は背景色を含みうる。該１以上のパッケージング物質特徴は、パッケージング物質の透明度、パッケージング物質の影、ラベルの色、パッケージング物質の色、及び／又はパッケージング物質のホットスポットを含みうる。該１以上のカメラ特徴は、カメラ番号、カメラ位置、カメラ解像度、及び／又はカメラ画像タイプを含む。次に、ブロック610では、AIエンジン245及び／又はマルチパッケージングシステム畳み込みニューラルネットワーク310は、該医薬品パッケージングシステムの該特徴に基づいて該医薬品パッケージングの修正された画像を生成しうる。

上述されているように、本発明の概念の実施態様は、混成パッケージングシステムモジュール242C、混成パッケージングシステムモジュール247C、及びマルチパッケージングシステム畳み込みニューラルネットワーク310を通じて、異なる医薬品パッケージングシステム間の差異を考慮する為に使用されることができるAI支援医薬品パッケージ解析システムを提供しうる。従って、本発明の概念の実施態様は、異なる医薬品パッケージングシステムからの医薬品パッケージングの画像を処理し、そして、異なる医薬品パッケージングシステムの特徴に基づく夫々の修正された画像を生成する為に使用されうる。ここで図7を参照すると、動作はブロック700で開始し、AIエンジン245及び／又はマルチパッケージングシステム畳み込みニューラルネットワーク310が、医薬品パッケージの第１の画像を受信する。ブロック705では、複数の医薬品パッケージングシステムのうちの第１のものに関連付けられる第１の画像の特徴が、AIエンジン245及び／又はマルチパッケージングシステム畳み込みニューラルネットワーク310を使用して検出されうる。次に、ブロック710では、AIエンジン245及び／又はマルチパッケージングシステム畳み込みニューラルネットワーク310は、医薬品パッケージの第１の修正された画像を、複数の医薬品パッケージングシステムのうちの第１のものの特徴に基づいて生成しうる。ブロック715では、AIエンジン245及び／又は複数パッケージングシステム畳み込みニューラルネットワーク310は、医薬品パッケージの第2の画像を更に受信しうる。ブロック720では、複数の医薬品パッケージングシステムのうちの第2のものに関連付けられている該第2の画像の特徴が、AIエンジン245及び／又はマルチパッケージングシステム畳み込みニューラルネットワーク310を使用して検出されうる。次に、ブロック725では、AIエンジン245及び／又はマルチパッケージングシステム畳み込みニューラルネットワーク310は、医薬品パッケージの第2の修正された画像が、該複数の医薬品パッケージングシステムのうちの第2のものの特徴に基づいて生成されうる。図6の実施態様と同様に、該複数の医薬品パッケージングシステムの様々なものの特徴は、１以上の画像キャプチャ光源特徴、１以上の画像キャプチャ表面特徴、１以上のパッケージング物質特徴、及び／又は１以上のカメラ特徴を含みうる。該１以上の光源特徴は例えば、画像キャプチャ光源のストレングス、該画像キャプチャ光源のインテンシティ、及び／又は該画像キャプチャ光源の位置を含みうる。該１以上の画像キャプチャ表面特徴は、背景位置及び／又は背景色を含みうる。該１以上のパッケージング物質特徴は、パッケージング物質の透明度、パッケージング物質の影、ラベルの色、パッケージング物質の色、及び／又はパッケージング物質のホットスポットを含みうる。該１以上のカメラ特徴は、カメラ番号、カメラ位置、カメラ解像度、及び／又はカメラ画像タイプを含む。

本発明の概念の実施態様は１以上のAIシステムを提供し得、該１以上のAIシステムは、医薬品パッケージングの該修正された画像を医薬品パッケージングシステムの特徴に基づいて生成すること、その１以上の表面からラベルコンテントが除去された医薬品パッケージの修正された画像を生成すること、該医薬品パッケージに含まれている１以上の医薬品の個々の医薬品を医薬品パッケージング画像内で検出すること、及び／又は該医薬品パッケージ画像で検出されたこれらの医薬品を識別することによって、該医薬品パッケージのコンテンツの検証を容易にしうる。医薬品パッケージ内の１以上の医薬品の個々の医薬品を検出すること、及びこれらの識別された医薬品を名称によって識別することを含む、ラベルコンテントが少なくとも部分的に除去された医薬品パッケージのコンテンツを検証する為の実施態様の精度は、該医薬品パッケージ画像を解析するときに、該医薬品を包装する為に使用される該医薬品パッケージングシステムの特定の特徴を考慮することを通じて更に改善されうる。その１以上の表面からラベルコンテントが除去された医薬品パッケージの修正された画像を生成し、該医薬品パッケージ中に含まれている１以上の医薬品の個々の医薬品を該医薬品パッケージ画像内で検出し及び／又は該医薬品パッケージ画像内で検出されたこれらの医薬品を識別する為の実施態様は、下記に記載されており、及び2022年1月28日に出願された「METHODS，SYSTEMS，AND COMPUTER PROGRAM PRODUCT FOR REMOVING EXTRANEOUS CONTENT FROM DRUG PRODUCT PACKAGING TO FACILITATE VALIDATION OF THE CONTENTS THEREIN」（医薬品パッケージングから余分なコンテントを除去し、該医薬品パッケージング中のコンテンツの検証を容易にする為の方法、システム及びコンピュータプログラム製品）と題する米国特許出願第１7/649,208号（その内容は参照により本明細書に組み込まれる）に記載されている。

ここで図8を参照すると、マルチパッケージングシステム畳み込みニューラルネットワーク310は、その表面上に表示されたラベルコンテントを有する医薬品パッケージの画像を受信しうる。該ラベルコンテントは、商業マーケティング情報、患者識別情報及び／又はパーソナルヘルスケア情報（PHI）を含みうるが、これらに限定されない。該商業マーケティング情報は、例えば、ロゴ及び／又はビジネス名を包含しうる。該患者識別情報は例えば、患者名、患者の電話番号、患者の住所及び／又は患者の識別番号を含みうる。該パーソナルヘルスケア情報は、例えば、該医薬品パッケージ中に含まれている１以上の医薬品の名称、該１以上の医薬品の各々の投与時間、該１以上の医薬品に関連付けられた１以上のバーコード、処方オーダー、患者アカウント、識別番号、及び／又は他の情報を包含しうる。ブロック800では、該医薬品パッケージの表面上のラベルコンテントが、マルチパッケージングシステム畳み込みニューラルネットワーク310を使用して検出されうる。次に、マルチパッケージングシステム畳み込みニューラルネットワーク310は、ブロック805において、その表面からラベルコンテントが除去された医薬品パッケージの該修正された画像を生成しうる。

上述されているように、該医薬品パッケージ画像は、該画像データに様々な補正を行う為の前処理を受けうる。ここで図4及び図9を参照すると、該動作はブロック900において始まり、ガンマ補正モジュール405が医薬品パッケージ画像に対してガンマ補正を実行して、ガンマ補正された画像を生成する。１以上のカメラは画像を暗くする場合があるが、該ガンマ補正は該画像を明るくして、マルチパッケージングシステム畳み込みニューラルネットワーク310が該画像内に表示された様々な要素のエッジをよりよく認識することができることを可能にしうる。ガンマ補正は、低輝度の場合を除き、べき乗変換（power law transform）として具現化される場合があり、輝度ゼロで無限導関数が生じるのを避ける為に線形になる場合がある。このことは、SDR画像をエンコードする為に適用される古典的な非線形性である。指数、すなわち「ガンマ」、は、0.45の値を有していてもよいが、曲線の下部の線形部分により、最終的なガンマ補正関数は、0.5のべき乗低指数、すなわち平方根変換、に近くなる場合があり、それ故に、該ガンマ補正は、明るさ知覚（brightness perception）のDeVries-Rose法則に準拠しうる。ブロック905では、ガウスぼかしノイズ除去モジュール410が、該ガンマ補正された画像に対してガウスぼかしノイズ除去を実行して、ノイズ低減された画像を生成する為に使用される。該ガウスぼかしノイズ除去モジュール又はフィルタ410は、線形フィルタでありうる。これは、画像をぼかす為に及び／又はノイズを低減する為に使用されうる。出力が「アンシャープマスキング」（unsharp masking）（エッジ検出）の為に減算されるように、２つのガウスぼかしノイズ除去フィルタ410が使用されうる。該ガウスぼかしノイズ除去モジュール又はフィルタ410は、エッジをぼかし、そして、コントラストを低減しうる。メディアンフィルタは、画像におけるノイズを低減する方法として使用されうる非線形フィルタである。ブロック910では、自動画像閾値処理モジュール415は、前景と背景とが分離された画像を生成する為に、該ノイズ低減された画像に対して自動画像閾値処理を実行しうる。該閾値処理は、画像セグメンテーションアプリケーションにおいて使用される技術である。該閾値処理は、グレーレベル分布（gray-level distribution）に基づいて画像内の関心のあるオブジェクトを背景から分離する為の所望のグレーレベル閾値を選択することを含む。大津法は、画像のグレー値のみに依存する大域的閾値処理（global thresholding）の一種である。該大津法は、グレーレベルヒストグラムを計算することを含むグローバルな閾値選択法である。1次元だけで適用されるときに、画像が十分にセグメント化されない場合がある。各画素のグレーレベル閾値、並びに該画素を取り囲む近傍との空間相関情報の両方に基づく2次元の大津法が用いられうる。その結果、大津法がノイズの多い画像に適用されるときに、満足のいくセグメント化を提供しうる。図4の前処理モジュールからの出力画像は、医薬品パッケージ修正エンジン、例えば、図3のマルチパッケージングシステム畳み込みニューラルネットワーク310、に適用されうる。

ここで図10を参照すると、ブロック1000では、該医薬品パッケージ画像は、その表面から除去されたラベルコンテントを有する修正された画像内の１以上の医薬品の個々の医薬品を検出することによって、その中のコンテンツの検証を容易にするように更に処理されうる。該検出は、該医薬品パッケージ中に含まれている１以上の医薬品についての注文情報及び／又は該医薬品パッケージについての識別子と共に、その表面からラベル付け内容が除去された修正された医薬品パッケージ画像に基づいて、AIエンジン、例えば、図2に関して上述されたAIエンジン245、を使用して実行されてもよい。ブロック1005では、該AIエンジンは、該医薬品パッケージの第2の修正された画像を生成し得、該第2の修正された画像は、医薬品の個々の医薬品を区別し且つ医薬品を注文情報及び医薬品パッケージについての識別子と関連付けるところの指標を含む。幾つかの実施態様において、バウンディングボックスが、該医薬品の個々の医薬品を区別する指標として使用されうる。

ここで図11を参照すると、ブロック1100では、該医薬品パッケージ画像は、検出された医薬品の個々の医薬品を有する第2の修正された画像内の１以上の医薬品の少なくとも一部を１以上の医薬品の名称に基づいて識別することによって、そのコンテンツの検証を容易にするように更に処理されてもよい。該識別は、検出された１以上の医薬品の個々の医薬品を含む修正された医薬品パッケージ画像と注文情報（該医薬品パッケージ内の１以上の医薬品についての名称を包含する）とに基づいて、AIエンジン、例えば、図2に関して上述されたAIエンジン245、を使用して実行されうる。本発明の概念の幾つかの実施態様に従って、該名称は、参照データベース内の医薬品属性に関連付けられうる。これらの属性は、医薬品の形状、色、１以上のエッチング、１以上の刻印（imprint）、重量、及び／又は１以上のラベルを包含するがこれらに限定されない。該識別された１以上の医薬品は、例えば、該医薬品の全部又は一部を粉末にするような該医薬品の損傷に起因する破片の識別を更に含みうる。該医薬品パッケージ画像内の該１以上の医薬品の名称による識別は、該医薬品の一部及びパッケージの破片の識別と共に、該医薬品パッケージのコンテンツを検証する際に使用する為の、該医薬品パッケージ内の該医薬品の数の生成を容易にしうる。該医薬品パッケージ画像には、該１以上の医薬品について決定された名称が注釈付されうるが、AIエンジンが該医薬品パッケージ画像内の１以上の医薬品について名称を決定することができない状況がありうる。名称を決定することができなかった医薬品が1つ又は数個しかない場合に、これらの医薬品には、新しい又は以前には見られなかった仮の名称又はナショナル・ドラッグ・コード（NDC：National Drug Code）を注釈付けしうる。

本発明の概念の幾つかの実施態様に従うと、図8～図11に関して上述された動作は、医薬品パッケージのコンテンツを検証する差異に使用する為に、AIシステム245及び／又はマルチパッケージングシステム畳み込みニューラルネットワークによって生成された該修正された画像を、該医薬品をパッケージングする為に使用される医薬品パッケージングシステムの特徴に基づくことによって補足されうる。

ここで図12を参照すると、本発明の概念の幾つかの実施態様に従う、図1の１以上の医薬品パッケージ画像解析エンジンのサーバ155を実装する為に使用されうるデータ処理システム1200は、１以上の入力デバイス1202、例えば、キーボード又はキーパッド、バーコードスキャナ又はRFIDリーダ、と、ディスプレイ1204と、プロセッサ1208と通信するメモリ1206とを備えている。データ処理システム1200は、ストレージシステム1210、スピーカ1212、及びプロセッサ1208とまた通信する１以上の入力／出力（I／O）データポート1214を更に備えていてもよい。プロセッサ1208は、例えば、市販又はカスタムのマイクロプロセッサであってもよい。ストレージシステム1210は、リムーバブル及び／又は固定媒体、例えばフロッピーディスク、ZIPドライブ又はハードディスク等、並びに仮想ストレージ、例えばRAMDISK、を包含しうる。１以上のI／Oデータポート1214は、データ処理システム1200と他のコンピュータシステム又はネットワーク（例えば、インターネット）との間で情報を転送する為に使用されうる。これらのコンポーネントは、慣用的なコンポーネント、例えば、慣用的な多くのコンピューティングデバイスにおいて使用されているコンポーネント、であってもよく、慣用的な動作に関するそれらの機能は当業者に一般的に知られている。メモリ1206は、本発明の概念の幾つかの実施態様に従って、医薬品パッケージングシステムの特徴における差異を考慮しながら、医薬品パッケージのコンテンツを検証する為のAI支援医薬品パッケージ解析を容易にする為に、コンピュータ可読プログラムコード1216で構成されうる。

図13は、本発明の概念の幾つかの実施態様に従って、医薬品パッケージングシステムの特徴における差異を考慮しながら、該医薬品パッケージのコンテンツを検証する為にAI支援医薬品パッケージ解析を容易にする為に、データ処理システム、例えば、図1の１以上の医薬品パッケージ解析エンジンのサーバ155及び図12のデータ処理システム1200夫々、の実施態様において使用されうるメモリ1305を示す。メモリ1305は、本明細書において記載されているように、１以上の医薬品パッケージ解析エンジンのサーバ155及び１以上の医薬品パッケージ解析エンジンのモジュール160の動作を容易にする為に使用されるソフトウェア及びデータを含む１以上のメモリデバイスの代表である。メモリ1305は、デバイスの下記の種類を包含しうるがこれらに限定されない：キャッシュ、ROM、PROM、EPROM、EEPROM、フラッシュ、SRAM及びDRAM。図13において示されているように、メモリ1305は、オペレーティングシステム1310、医薬品パッケージ処理及び１以上の解析エンジンのモジュール1325、及び通信モジュール1340の5以上のカテゴリのソフトウェア及び／又はデータを含みうる。特に、オペレーティングシステム1310は、データ処理システムのソフトウェアリソース及び／又はハードウェアリソースを管理し、及びプロセッサによるプログラムの実行を調整しうる。１以上の医薬品パッケージ処理及び解析エンジンのモジュール1325は、機械学習エンジンモジュール1330及びAIエンジンモジュール1335を備えていてもよい。機械学習エンジンモジュール1330は、機械学習エンジン240、畳み込みニューラルネットワーク310、並びに図6～図11のフローチャート図に関して上述された１以上の動作を実行するように構成されてもよい。AIエンジンモジュール1325は、AIエンジン245、マルチパッケージングシステム畳み込みニューラルネットワーク310、並びに図6～図11のフローチャート図に関して上述された１以上の動作を実行するように構成されてもよい。通信モジュール1340は、例えば、１以上の医薬品パッケージ解析エンジンのサーバ155と、例えば医薬品パッケージ検証システムと、の間の通信をサポートするように構成されてもよい。

図12～図13は、本発明の概念の幾つかの実施態様に従って、データ処理システム、例えば、図1の１以上の医薬品パッケージ解析エンジンのサーバ155及び図12のデータ処理システム1200夫々、において使用されうるハードウェアアーキテクチャ／ソフトウェアアーキテクチャを示しているが、本発明の実施態様はそのような構成に限定されるものでなく、本明細書において記載されている動作を実行することができる任意の構成を包含することが意図されていることが理解されるであろう。

図1～図13に関して上述されたデータ処理システムの動作を実行する為のコンピュータプログラムコードは、開発の便宜上、高水準プログラミング言語、例えば、Python、Java、C、及び／又はC++等、で記述されうる。加えて、本発明の動作を実行する為のコンピュータプログラムコードはまた、他のプログラミング言語、例えば限定されるものでないがインタプリタ型言語、で記述されうる。幾つかのモジュール又はルーチンは、性能及び／又はメモリ使用量を高める為に、アセンブリ言語又はマイクロコードで記述されてもよい。プログラムモジュールのいずれか又は全ての機能はまた、個々のハードウェアコンポーネント、１以上の特定用途向け集積回路（ASIC：application specific integrated circuit）、又はプログラムされたデジタル信号プロセッサ若しくはマイクロコントローラを使用して実装されうることが更に理解されるであろう。

その上、図1の１以上の医薬品パッケージ解析エンジンのサーバ155及び図12のデータ処理システム1200の機能は夫々、本発明の概念の様々な実施態様に従って、単一のプロセッサシステム、マルチプロセッサシステム、マルチコアプロセッサシステム、又はスタンドアロンコンピュータシステムのネットワークとして実装されうる。これらのプロセッサ／コンピュータシステムの各々は、「プロセッサ」又は「データ処理システム」として言及されうる。

図1～図13に関して本明細書において記載されているデータ処理装置は、本明細書において記載されている本発明の概念の幾つかの実施態様に従って、医薬品パッケージングシステムの差異特徴を考慮しながら、医薬品パッケージのコンテンツを検証する為に、AI支援医薬品パッケージ解析を容易にする為に使用されうる。これらの装置は、ソフトウェア、ファームウェア及び／又はハードウェアの任意の好適な組み合わせを使用してデータを受信、送信、処理及び記憶するように動作可能であり、スタンドアロンであってもよく、又はインターネットとして知られるグローバル通信ネットワークの全部又は一部を包含するパブリックネットワーク及び／又はプライベートネットワーク、リアルネットワーク及び／又は仮想ネットワーク、有線ネットワーク及び／又は無線ネットワークによって相互接続されてもよい、１以上の企業、アプリケーション、個人、広帯域及び／又は組込みのコンピュータシステム及び／又は装置として具現化され得、並びに様々なタイプの有形、非一時的コンピュータ可読媒体を含みうる。特に、プロセッサに接続されたときのメモリ1305は、該プロセッサによって実行されるときに、該プロセッサに、図1～図13に関して本明細書において記載されている動作のうちの１以上を含む動作を実行させるコンピュータ可読プログラムコードを含む。

上述されているように、本発明の概念の実施態様はAI支援医薬品パッケージ解析システムを提供し得、該AI支援医薬品パッケージ解析システムは、例えば、使用されている物理的パッケージングにおける違い並びに該医薬品パッケージングの画像をキャプリャする為に異なる医薬品パッケージングシステムによって使用される該画像キャプチャシステムにおける違いに起因して、検証プロセスに影響を与えうる、異なる医薬品パッケージングシステムの特徴における差異を考慮しながら、医薬品パッケージング、例えばパウチ又はブリスターカード、のコンテンツを検証する為に、AI技術、例えば畳み込みニューラルネットワーク、を使用しうる。本発明の概念の幾つかの実施態様に従うと、該AIシステムは、そこに含まれているコンテンツの検証を容易にする為に、医薬品パッケージの画像を修正しながら、医薬品パッケージングシステムの特徴における違いを考慮するように訓練されうる。例えば、本発明の概念の幾つかの実施態様に従うAIシステムは、医薬品パッケージの表面上のラベルコンテントを検出して、ラベルコンテントが除去された医薬品パッケージの修正された画像を生成する為の畳み込みニューラルネットワークと、該医薬品パッケージに含まれている医薬品を検出し且つ識別する為の１以上の機械学習エンジンとを使用しうる。これにより、例えば、薬局又は医療センターが顧客又は患者にパッケージ化された医薬品を渡す前のパッケージ検証プロセスの精度が向上しうる。

更なる定義及び実施態様：

本開示の様々な実施態様の上記記載において、本開示の観点は、任意の新規且つ有用なプロセス、機械、製造、若しくは物質の組成物、又はそれらの任意の新規かつ有用な改良を包含する、多数の特許可能なクラス又はコンテキストのいずれかにおいて、本明細書において例示且つ記載されうる。従って、本開示の観点は、完全にハードウェアで実装されてもよく、完全にソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコード等を包含する）で実装されてもよく、又はソフトウェア実装とハードウェア実装とを組み合わせて実装されてもよく、これらは全て、「回路」、「モジュール」、「コンポーネント」又は「システム」として本明細書において一般的に言及されうる。その上、本開示の観点は、その上に具現化されたコンピュータ可読プログラムコードを有する１以上のコンピュータ可読媒体を含むコンピュータプログラム製品の形態をとりうる。

１以上のコンピュータ可読媒体の任意の組み合わせが使用されうる。該コンピュータ可読媒体は、コンピュータ可読信号媒体であってもよく、又はコンピュータ可読ストレージ媒体であってもよい。コンピュータ可読ストレージ媒体は、例えば、電子、磁気、光学、電磁気、又は半導体のシステム、装置、若しくはデバイス、又はそれらの任意の適切な組み合わせであってもよいがこれらに限定されない。該コンピュータ可読ストレージ媒体のより具体的な例（非網羅的なリスト）は下記を包含する：ポータブルコンピュータディスケット（登録商標）、ハードディスク、ランダムアクセスメモリ（RAM：random access memory）、読み取り専用メモリ（ROM：read-only memory）、消去可能なプログラム可能な読み取り専用メモリ（EPROM：erasable programmable read-only memory、すなわちフラッシュメモリ）、中継器を備えた適切な光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（CD-ROM：compact disc read-only memory）、光学ストレージデバイス、磁気ストレージデバイス、又は上述されたものの任意の適切な組み合わせ。本明細書の文脈において、コンピュータ可読ストレージ媒体は、命令実行システム、装置若しくはデバイスによる使用又はそれらに関連して使用する為のプログラムを含む又は記憶することができる任意の有形媒体でありうる。

コンピュータ可読信号媒体は、例えば、ベースバンドにおいて又は搬送波の一部として、その中にコンピュータ可読プログラムコードが具現化された伝搬されたデータ信号を含みうる。そのような伝搬された信号は、様々な形態、例えば、電磁気的、光学的又はそれらの任意の適切な組合せを包含する上記の様々な形態、のいずれかをとりうるがこれらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体でなく、命令実行システム、装置若しくは又はデバイスによる使用又はそれらに関連して使用する為のプログラムを通信、伝播又は伝送することができる任意のコンピュータ可読媒体でありうる。コンピュータ可読信号媒体上に具現化されたプログラムコードは、任意の適切な媒体、例えば、無線、有線、光ファイバケーブル、RF等、又は上述されたものの任意の適切な組み合わせを包含するがこれらに限定されない上記の任意の適切な媒体、を使用して伝送されうる。

本開示の観点の為の動作を実行する為のコンピュータプログラムコードは、オブジェクト指向プログラミング言語、例えば、Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等；慣用的な手続き型プログラミング言語、例えば、「C」プログラミング言語、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP；動的プログラミング言語、例えば、Python、Ruby、Groovy；又は、他のプログラミング言語を包含する１以上のプログラミング言語の任意の組み合わせで記述されうる。該コンピュータプログラムコードは、スタンドアロンソフトウェアパッケージとしてユーザのコンピュータ上で完全に実行されてもよく、スタンドアロンソフトウェアパッケージとしてユーザのコンピュータ上で部分的に実行されてもよく、ユーザのコンピュータ上で部分的に且つリモートコンピュータ上で部分的に実行されてもよく、又はリモートコンピュータ若しくはサーバ上で完全に実行されてもよい。後者のシナリオにおいて、該リモートコンピュータは、任意のタイプのネットワーク、例えば、ローカルエリアネットワーク（LAN：local area network）若しくはワイドエリアネットワーク（WAN：wide area network）を包含する上記の任意のタイプのネットワーク、を介してユーザのコンピュータに接続されてもよく、又は該接続は、外部コンピュータ（例えば、インターネットサービスプロバイダを使用しインターネットを介して）若しくはクラウドコンピューティング環境で行われるか、或いはサービス、例えば、サービスとしてのソフトウェア（SaaS：Software as a Service）、として提供されてもよい。

本開示の観点が、本開示の実施態様に従う、方法、装置（システム）及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して本明細書において記載されている。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図における複数のブロックの組み合わせは、コンピュータプログラム命令によって実装されることができることが理解されるであろう。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊用途コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサに提供され、コンピュータ又は他のプログラム可能な命令実行装置のプロセッサを介して実行される命令が、フローチャート図及び／又はブロック図の1以上のブロックにおいて指定された機能／行為を実装する為の機構を生成するように機械を作成しうる。

これらのコンピュータプログラム命令はまた、コンピュータ可読媒体内に記憶され、実行されるときに、フローチャート図及び／又はブロック図の1以上の指定された機能／行為をコンピュータに実行させる命令を含む製造品を作成するように、コンピュータ、他のプログラム可能なデータ処理装置、又は他の装置に特定の方法で機能するように指示することができる。コンピュータプログラム命令はまた、コンピュータ、他のプログラム可能な命令実行装置、又は他の装置にロードされて、コンピュータに実装されたプロセスを生成する為の一連の動作工程をコンピュータ、他のプログラム可能な装置、又は他の装置上で実行させてもよく、従って、コンピュータ、他のプログラム可能な装置、又は他の装置上で実行される命令が、フローチャート図及び／又はブロック図の1以上のブロックで指定された機能／行為を実装する為のプロセスを提供する。

図面中のフローチャート図及びブロック図は、本発明の様々な実施態様に従う、システム、方法及びコンピュータプログラム製品若しくはコンピュータプログラムのありうる実装の、アーキテクチャ、機能及び動作を示す。これに関連して、該フローチャート図又は該ブロック図における各ブロックは、命令のモジュール、セグメント、又はその一部を表し得、それは、特定された１以上の論理機能を実装する為の１以上の実行可能命令を含む。幾つかの代替的な実装において、ブロック図に記載された機能は、図面に記載された順序から外れて生じる場合があることがまた留意されるべきである。例えば、連続して示されている2つのブロックは、実際には、実質的に同時に実行されてもよく、又は複数のブロックは、関与する機能に依存して、逆の順序で実行される場合がありうる。ブロック図及び／又はフローチャート図の各ブロック、並びにブロック図及び／又はフローチャート図の複数のブロックの組み合わせは、特定された機能又は行為を実行する特別な目的のハードウェアベースのシステム、又は特別な目的のハードウェアとコンピュータ命令との組み合わせによって実装されることができることにまた留意されたい。

本明細書において使用される語は、特定の実施態様を説明することのみを目的としており、本開示を限定することを意図していない。本明細書において使用される場合、単数形「１つ」（a）、「１つ」（an）及び「該」（the）は、文脈が明確に別段の指示をしない限り、複数形をまた含むことが意図されている。本明細書において使用される場合、語「含む」（comprises）、「含んでいる」（comprising）、「包含する」（include）、「包含している」（including）、「包含する」（includes）、「有する」（have）、「有する」（has）、「有している」（having）、又はそれらの変形は、記載された特徴、整数、工程、操作、要素及び／又はコンポーネントの存在を特定するが、１以上の他の特徴、整数、工程、操作、要素、コンポーネント及び／又はそれらのグループの存在又は追加を排除するものでない。本明細書において使用される場合、語「及び／又は」は、関連付けられた列挙された項目の１以上の任意の及び全ての組み合わせを含む。同様の参照番号は、図面の説明全体を通して同様の要素を意味する。

本明細書において様々な要素を記載する為に第１、第2等の語が使用されうるが、これらの要素はこれらの語によって限定されるべきものでないことがまた理解されるであろう。これらの語は、ある要素を別の要素から区別する為に使用されているに過ぎない。

別段に定義されていなければ、本明細書で使用される全ての語（技術用語及び科学用語を含む）は、この発明が属する、技術分野の当業者によって通常理解されるものと同じ意味を有する。語、例えば通常使用される辞書において定義されるもの、は、本出願及び関連技術分野の文脈において、それらの意味と一致する意味を有するものと解釈されるべきであり、本明細書において明示的にそのように定義されていなければ、理想化された意味又は過度に形式的な意味で解釈されるべきでないことが、更に理解されよう。周知の機能又は構造は、簡潔さ及び／又は明瞭さの為に詳細に説明されない場合がある。

本開示の説明は、例示及び説明の目的の為に提示されているが、開示された形態における本開示を網羅的又は限定的に説明することを意図するものでない。多くの修正及び変形が、本開示の範囲及び精神から逸脱すること無しに当業者に明らかであろう。本明細書における本開示の観点は、本開示の原理及び実際の適用を最もよく説明する為に、並びに他の当業者が、企図される特定の用途に適した様々な修正を加えて本開示を理解できるようにする為に選択され且つ記載されている。
なお、本開示は、以下のとおりに構成されてもよい。
［項１］
１以上の医薬品を含む医薬品パッケージの画像を受信すること；
医薬品パッケージングシステムに関連付けられた前記画像の特徴を、人工知能エンジンを使用して検出すること；及び、
前記医薬品パッケージの修正された画像を、前記医薬品パッケージングシステムの特徴に基づいて生成すること
を含む、方法。
［項２］
前記医薬品パッケージングシステムの前記特徴が、１以上の画像キャプチャ光源特徴、１以上の画像キャプチャ表面特徴、１以上のパッケージング物質特徴、及び／又は１以上のカメラ特徴を含む、項１に記載の方法。
［項３］
前記１以上の光源特徴が、画像キャプチャ光源のストレングス、前記画像キャプチャ光源のインテンシティ、及び／又は前記画像キャプチャ光源の位置を含む、項２に記載の方法。
［項４］
前記１以上の画像キャプチャ表面特徴が、背景位置及び／又は背景色を含む、項２に記載の方法。
［項５］
前記１以上のパッケージング物質特徴が、パッケージング物質の透明度、パッケージング物質の影、ラベルの色、パッケージング物質の色、及び／又はパッケージング物質のホットスポットを含む、項２に記載の方法。
［項６］
前記１以上のカメラ特徴が、カメラ番号、カメラ位置、カメラ解像度、及び／又はカメラ画像タイプを含む、項２に記載の方法。
［項７］
前記画像が第１の画像であり、前記医薬品パッケージが第１の医薬品パッケージであり、及び前記修正された画像が第１の修正された画像であり、
ここで、前記第１の画像の前記特徴を、前記人工知能エンジンを使用して検出することが、複数の医薬品パッケージングシステムのうちの第１のものに関連付けられた前記第１の画像の特徴を、前記人工知能エンジンを使用して検出することを含み；及び、
ここで、前記第１の修正された画像を生成することが、前記第１の医薬品パッケージの前記第１の修正された画像を、前記複数の医薬品パッケージングシステムのうちの前記第１のものの特徴に基づいて生成することを含む、
項１に記載の方法。
［項８］
１以上の医薬品を含む第２の医薬品パッケージの第２の画像を受信すること；
複数の前記医薬品パッケージングシステムのうちの第２のものに関連付けられた前記第２の画像の特徴を、前記人工知能エンジンを使用して検出すること；及び、
前記第２の医薬品パッケージの第２の修正された画像を、前記複数の医薬品パッケージングシステムのうちの前記第２のものの特徴に基づいて生成すること
を更に含む、項７に記載の方法。
［項９］
前記医薬品パッケージの表面上のラベルコンテントを、人工知能エンジンを使用して検出すること
を更に含み、
ここで、前記医薬品パッケージの前記修正された画像を生成することが、前記表面から前記ラベルコンテントが除去された前記医薬品パッケージの前記修正された画像を生成することを含む、
項１に記載の方法。
［項１０］
前記人工知能エンジンが第１の人工知能エンジンであり、及び前記修正された画像が第１の修正された画像であり、
前記方法が、
前記１以上の医薬品についての注文情報と前記医薬品パッケージについての識別子とを受信すること；
前記第１の修正された画像内の前記１以上の医薬品の個々の医薬品を、第２の人工知能エンジンを使用して検出すること；並びに、
前記１以上の医薬品の前記個々の医薬品を区別し且つ前記１以上の医薬品を前記注文情報及び前記医薬品パッケージについての前記識別子に関連付けるところの指標を含む、前記医薬品パッケージの第２の修正された画像を生成すること
を更に含む、項９に記載の方法。
［項１１］
前記注文情報が、前記医薬品パッケージ内の前記１以上の医薬品についての名称を含み、
前記方法が、
第２の修正された画像内の前記１以上の医薬品の少なくとも一部を、第３の人工知能エンジンを使用して、前記１以上の医薬品についての前記名称に基づいて識別すること
を更に含み、
ここで、前記名称が、参照データベース内の医薬品属性に関連付けられている、
項１０に記載の方法。
［項１２］
前記医薬品パッケージの前記画像を受信したことに応答して、前記医薬品パッケージの前記画像に対してガンマ補正を実行して、前記医薬品パッケージのガンマ補正された画像を生成すること；
前記医薬品パッケージの前記ガンマ補正された画像に対してガウスぼかしノイズ除去を実行して、前記医薬品パッケージのノイズ低減された画像を生成すること；及び、
前記医薬品パッケージの前記ノイズ低減された画像に対して自動画像閾値処理を実行して、前記医薬品パッケージの前景と背景とが分離された画像を生成すること
を更に含み、
ここで、前記ラベルコンテントを、前記人工知能エンジンを使用して検出することが、
前記医薬品パッケージの前記前景と背景とが分離された画像の前記表面上の前記ラベルコンテントを、前記人工知能エンジンを使用して検出すること
を含む、
項１に記載の方法。
［項１３］
システムであって、該システムが、
プロセッサ；及び、
前記プロセッサに接続されたメモリ
を備えており、ここで、該メモリは、命令を実行する為の前記プロセッサによって実行可能な、前記メモリ内に具現化されたコンピュータ可読プログラムコードを含み、
前記命令が、
１以上の医薬品を含む医薬品パッケージの画像を受信すること；
医薬品パッケージングシステムに関連付けられた前記画像の特徴を、人工知能エンジンを使用して検出すること；及び、
前記医薬品パッケージの修正された画像を、前記医薬品パッケージングシステムの特徴に基づいて生成すること
を含む、
前記システム。
［項１４］
前記医薬品パッケージングシステムの前記特徴が、１以上の画像キャプチャ光源特徴、１以上の画像キャプチャ表面特徴、１以上のパッケージング物質特徴、及び／又は１以上のカメラ特徴を含む、項１３に記載のシステム。
［項１５］
前記１以上の光源特徴が、画像キャプチャ光源のストレングス、前記画像キャプチャ光源のインテンシティ、及び／又は前記画像キャプチャ光源の位置を含む、項１４に記載のシステム。
［項１６］
前記１以上の画像キャプチャ表面特徴が、背景位置及び／又は背景色を含む、項１４に記載のシステム。
［項１７］
前記１以上のパッケージング物質特徴が、パッケージング物質の透明度、パッケージング物質の影、ラベルの色、パッケージング物質の色、及び／又はパッケージング物質のホットスポットを含む、項１４に記載のシステム。
［項１８］
前記１以上のカメラ特徴が、カメラ番号、カメラ位置、カメラ解像度、及び／又はカメラ画像タイプを含む、項１４に記載のシステム。
［項１９］
前記画像が第１の画像であり、前記医薬品パッケージが第１の医薬品パッケージであり、及び前記修正された画像が第１の修正された画像であり、
ここで、前記第１の画像の前記特徴を、前記人工知能エンジンを使用して検出することが、複数の医薬品パッケージングシステムのうちの第１のものに関連付けられた前記第１の画像の特徴を、前記人工知能エンジンを使用して検出することを含み；及び、
ここで、前記第１の修正された画像を生成することが、前記第１の医薬品パッケージの前記第１の修正された画像を、前記複数の医薬品パッケージングシステムのうちの前記第１のものの特徴に基づいて生成することを含む、
項１３に記載のシステム。
［項２０］
前記命令が、
１以上の医薬品を含む第２の医薬品パッケージの第２の画像を受信すること；
複数の前記医薬品パッケージングシステムのうちの第２のものに関連付けられた前記第２の画像の特徴を、前記人工知能エンジンを使用して検出すること；及び、
前記第２の医薬品パッケージの第２の修正された画像を、前記複数の医薬品パッケージングシステムのうちの前記第２のものの特徴に基づいて生成すること
を更に含む、項１９に記載のシステム。
［項２１］
コンピュータプログラム製品であって、該コンピュータプログラム製品が、
非一時的コンピュータ可読ストレージ媒体
を備えており、ここで、該非一時的コンピュータ可読ストレージ媒体は、命令を実行する為の前記プロセッサによって実行可能な、該媒体内に具現化されたコンピュータ可読プログラムコードを含み、
前記命令が、
１以上の医薬品を含む医薬品パッケージの画像を受信すること；
医薬品パッケージングシステムに関連付けられた前記画像の特徴を、人工知能エンジンを使用して検出すること；及び、
前記医薬品パッケージの修正された画像を、前記医薬品パッケージングシステムの特徴に基づいて生成すること
を含む、
前記コンピュータプログラム製品。

Claims (21)

1. １以上の医薬品を含む医薬品パッケージの画像を受信すること；
   複数の医薬品パッケージングシステムのうちの第１の医薬品パッケージングシステムに関連付けられており且つ前記第１の医薬品パッケージングシステムを前記複数の医薬品パッケージングシステムのうちの他の複数のものと区別する前記画像の特徴を、前記複数の医薬品パッケージングシステムそれぞれに関連付けられた複数の医薬品パッケージングシステム固有の特徴セットで訓練された人工知能エンジンを使用して検出すること；及び、
   前記医薬品パッケージの修正された画像を、前記第１の医薬品パッケージングシステムに関連付けられた前記画像の前記特徴に基づいて生成すること
   を含む、方法。
2. 前記医薬品パッケージングシステムの前記特徴が、１以上の画像キャプチャ光源特徴、１以上の画像キャプチャ表面特徴、１以上のパッケージング物質特徴、及び／又は１以上のカメラ特徴を含む、請求項１に記載の方法。
3. 前記１以上の光源特徴が、画像キャプチャ光源のストレングス、前記画像キャプチャ光源のインテンシティ、及び／又は前記画像キャプチャ光源の位置を含む、請求項２に記載の方法。
4. 前記１以上の画像キャプチャ表面特徴が、背景位置及び／又は背景色を含む、請求項２に記載の方法。
5. 前記１以上のパッケージング物質特徴が、パッケージング物質の透明度、パッケージング物質の影、ラベルの色、パッケージング物質の色、及び／又はパッケージング物質のホットスポットを含む、請求項２に記載の方法。
6. 前記１以上のカメラ特徴が、カメラ番号、カメラ位置、カメラ解像度、及び／又はカメラ画像タイプを含む、請求項２に記載の方法。
7. 前記画像が第１の画像であり、及び前記修正された画像が第１の修正された画像であり、
   前記方法が、
   １以上の医薬品を含む第２の医薬品パッケージの第２の画像を受信すること；
   前記複数の医薬品パッケージングシステムのうちの第２の医薬品パッケージングシステムに関連付けられており且つ前記第２の医薬品パッケージングシステムを前記複数の医薬品パッケージングシステムのうちの前記他の複数のものと区別する前記第２の画像の特徴を、前記人工知能エンジンを使用して検出すること；及び、
   前記第２の医薬品パッケージの第２の修正された画像を、前記第２の医薬品パッケージングシステムに関連付けられた前記第２の画像の特徴に基づいて生成すること
   を更に含む、請求項１に記載の方法。
8. 前記医薬品パッケージの表面上のラベルコンテントを、前記人工知能エンジンを使用して検出すること
   を更に含み、
   ここで、前記医薬品パッケージの前記修正された画像を生成することが、前記表面から前記ラベルコンテントが除去された前記医薬品パッケージの前記修正された画像を生成することを含む、
   請求項１に記載の方法。
9. 前記人工知能エンジンが第１の人工知能エンジンであり、及び前記修正された画像が第１の修正された画像であり、
   前記方法が、
   前記１以上の医薬品についての注文情報と前記医薬品パッケージについての識別子とを受信すること；
   前記第１の修正された画像内の前記１以上の医薬品の個々の医薬品を、第２の人工知能エンジンを使用して検出すること；並びに、
   前記１以上の医薬品の前記個々の医薬品を区別し且つ前記１以上の医薬品を前記注文情報及び前記医薬品パッケージについての前記識別子に関連付けるところの指標を含む、前記医薬品パッケージの第２の修正された画像を生成すること
   を更に含む、請求項８に記載の方法。
10. 前記注文情報が、前記医薬品パッケージ内の前記１以上の医薬品についての名称を含み、
    前記方法が、
    第２の修正された画像内の前記１以上の医薬品の少なくとも一部を、第３の人工知能エンジンを使用して、前記１以上の医薬品についての前記名称に基づいて識別すること
    を更に含み、
    ここで、前記名称が、参照データベース内の医薬品属性に関連付けられている、
    請求項９に記載の方法。
11. 前記医薬品パッケージの前記画像を受信したことに応答して、前記医薬品パッケージの前記画像に対してガンマ補正を実行して、前記医薬品パッケージのガンマ補正された画像を生成すること；
    前記医薬品パッケージの前記ガンマ補正された画像に対してガウスぼかしノイズ除去を実行して、前記医薬品パッケージのノイズ低減された画像を生成すること；及び、
    前記医薬品パッケージの前記ノイズ低減された画像に対して自動画像閾値処理を実行して、前記医薬品パッケージの前景と背景とが分離された画像を生成すること
    を更に含み、
    ここで、前記ラベルコンテントを検出することが、
    前記医薬品パッケージの前記前景と背景とが分離された画像の表面上の前記ラベルコンテントを検出すること
    を含む、
    請求項８に記載の方法。
12. システムであって、該システムが、
    プロセッサ；及び、
    前記プロセッサに接続されたメモリ
    を備えており、ここで、該メモリは、命令を実行する為の前記プロセッサによって実行可能な、前記メモリ内に具現化されたコンピュータ可読プログラムコードを含み、
    前記命令が、
    １以上の医薬品を含む医薬品パッケージの画像を受信すること；
    複数の医薬品パッケージングシステムのうちの第１の医薬品パッケージングシステムに関連付けられており且つ前記第１の医薬品パッケージングシステムを前記複数の医薬品パッケージングシステムのうちの他の複数のものと区別する前記画像の特徴を、前記複数の医薬品パッケージングシステムそれぞれに関連付けられた複数の医薬品パッケージングシステム固有の特徴セットで訓練された人工知能エンジンを使用して検出すること；及び、
    前記医薬品パッケージの修正された画像を、前記第１の医薬品パッケージングシステムに関連付けられた前記画像の前記特徴に基づいて生成すること
    を含む、
    前記システム。
13. 前記医薬品パッケージングシステムの前記特徴が、１以上の画像キャプチャ光源特徴、１以上の画像キャプチャ表面特徴、１以上のパッケージング物質特徴、及び／又は１以上のカメラ特徴を含む、請求項１２に記載のシステム。
14. 前記１以上の光源特徴が、画像キャプチャ光源のストレングス、前記画像キャプチャ光源のインテンシティ、及び／又は前記画像キャプチャ光源の位置を含む、請求項１３に記載のシステム。
15. 前記１以上の画像キャプチャ表面特徴が、背景位置及び／又は背景色を含む、請求項１３に記載のシステム。
16. 前記１以上のパッケージング物質特徴が、パッケージング物質の透明度、パッケージング物質の影、ラベルの色、パッケージング物質の色、及び／又はパッケージング物質のホットスポットを含む、請求項１３に記載のシステム。
17. 前記１以上のカメラ特徴が、カメラ番号、カメラ位置、カメラ解像度、及び／又はカメラ画像タイプを含む、請求項１３に記載のシステム。
18. 前記画像が第１の画像であり、及び前記修正された画像が第１の修正された画像であり、
    前記命令が、
    １以上の医薬品を含む第２の医薬品パッケージの第２の画像を受信すること；
    複数の前記医薬品パッケージングシステムのうちの第２の医薬品パッケージングシステムに関連付けられており且つ前記第２の医薬品パッケージングシステムを前記複数の医薬品パッケージングシステムのうちの前記他の複数のものと区別する前記第２の画像の特徴を、前記人工知能エンジンを使用して検出すること；及び、
    前記第２の医薬品パッケージの第２の修正された画像を、前記第２の医薬品パッケージングシステムに関連付けられた前記第２の画像の特徴に基づいて生成すること
    を更に含む、請求項１２に記載のシステム。
19. コンピュータ可読ストレージ媒体であって、該コンピュータ可読ストレージ媒体は、
    １以上の医薬品を含む医薬品パッケージの画像を受信すること；
    複数の医薬品パッケージングシステムのうちの第１の医薬品パッケージングシステムに関連付けられており且つ前記第１の医薬品パッケージングシステムを前記複数の医薬品パッケージングシステムのうちの他の複数のものと区別する前記画像の特徴を、前記複数の医薬品パッケージングシステムそれぞれに関連付けられた複数の医薬品パッケージングシステム固有の特徴セットで訓練された人工知能エンジンを使用して検出すること；及び、
    前記医薬品パッケージの修正された画像を、前記第１の医薬品パッケージングシステムに関連付けられた前記画像の前記特徴に基づいて生成すること
    を実行することをプロセッサに行わせるプログラムを記録している、
    前記コンピュータ可読ストレージ媒体。
20. コンピュータプログラムであって、プロセッサに請求項１～１１のいずれか１項に記載の方法の各工程を実行させる前記コンピュータプログラム。
21. 請求項２０に記載のコンピュータプログラムを記録したコンピュータプログラム可読媒体。