JP6341299B2 - 画像処理システム、プログラム及び画像処理方法 - Google Patents
画像処理システム、プログラム及び画像処理方法 Download PDFInfo
- Publication number
- JP6341299B2 JP6341299B2 JP2017000153A JP2017000153A JP6341299B2 JP 6341299 B2 JP6341299 B2 JP 6341299B2 JP 2017000153 A JP2017000153 A JP 2017000153A JP 2017000153 A JP2017000153 A JP 2017000153A JP 6341299 B2 JP6341299 B2 JP 6341299B2
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- data
- substance
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
1.システムの概要
2.画像処理装置の構成例
2−1.ハードウェア構成
2−2.機能構成
3.端末装置の構成例
3−1.ハードウェア構成
3−2.機能構成
4.第1の実施例
5.第2の実施例
6.第3の実施例
7.第4の実施例
8.変形例
9.まとめ
図1は、一実施形態に係る画像処理システムの概要について説明するための説明図である。図1を参照すると、一例としての画像処理システム1が示されている。画像処理システム1は、画像処理装置100及び端末装置200を含む。
[2−1.ハードウェア構成]
図2は、一実施形態に係る画像処理装置100のハードウェア構成の一例を示すブロック図である。図2を参照すると、画像処理装置100は、撮像部102、入力部104、記憶部106、表示部110、通信部112、バス116及び制御部118を備える。
撮像部102は、画像を撮像するカメラモジュールである。撮像部102は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて被写体を撮像し、撮像画像を生成する。撮像部102は、必ずしも画像処理装置100の一部でなくてもよい。例えば、図1の例のように、画像処理装置100と有線又は無線で接続される撮像装置が撮像部102として扱われてもよい。
入力部104は、ユーザが画像処理装置100を操作し又は画像処理装置100へ情報を入力するために使用される入力デバイスである。入力部104は、例えば、表示部110の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに(又はそれに加えて)、入力部104は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部104は、キーボード、キーパッド、ボタン、スイッチ又はリモートコントローラなどのその他の種類の入力デバイスを含んでもよい。
記憶部106は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置100による処理のためのプログラム及びデータを記憶する。記憶部106により記憶されるデータは、例えば、撮像部102により生成される撮像画像データ及び後に説明するデータベース内の様々なデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部又は全部は、記憶部106により記憶されることなく、外部のデータソース(例えば、データサーバ、ネットワークストレージ又は外付けメモリなど)から取得されてもよい。
表示部110は、LCD(Liquid Crystal Display)、OLED(Organic light-Emitting Diode)又はCRT(Cathode Ray Tube)などにより構成される表示モジュールである。なお、表示部110もまた、必ずしも画像処理装置100の一部でなくてもよい。例えば、画像処理装置100と有線又は無線で接続される表示装置が表示部110として扱われてもよい。
通信部112は、画像処理装置100による他の装置(例えば、端末装置200)との間の通信を仲介する通信インタフェースである。通信部112は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
バス116は、撮像部102、入力部104、記憶部106、表示部110、通信部112及び制御部118を相互に接続する。
制御部118は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)などのプロセッサに相当する。制御部118は、記憶部106又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置100の様々な機能を動作させる。
図3は、図2に示した画像処理装置100の記憶部106及び制御部118により実現される論理的機能の構成の一例を示すブロック図である。図3を参照すると、画像処理装置100は、画像取得部120、オブジェクト識別部130、オブジェクトデータベース(DB)140、イベント検出部150、属性DB160、属性制御部170、データ配信部180及びユーザインタフェース部190を含む。
画像取得部120は、撮像部102により生成される撮像画像を入力画像として取得する。入力画像には、医療行為、食品加工行為又はその他の種類の行為に関与するオブジェクトが映される。画像取得部120により取得される一連の入力画像は、典型的には動画を構成する。画像取得部120は、取得した入力画像を、オブジェクト識別部130へ順次出力する。
オブジェクト識別部130は、実空間に存在するオブジェクトを入力画像内で識別する。オブジェクト識別部130は、例えば、入力画像から抽出される画像特徴量を各オブジェクトについて事前に抽出される画像特徴量と照合することにより、入力画像に映るオブジェクトを識別してもよい。また、オブジェクト識別部130は、各オブジェクトに貼付され、印刷され又は装着されるバーコード又は2次元コード(例えば、QRコード(登録商標))などの識別情報を解釈することにより、入力画像に映るオブジェクトを識別してもよい。また、オブジェクト識別部130は、各オブジェクトの表面上の文字列又はラベルなどを読み取ることにより、入力画像に映るオブジェクトを識別してもよい。なお、後に説明する1つの実施例では、入力画像に映る人物もまたオブジェクトとして識別される。人物の識別は、例えば、事前に抽出される顔画像の特徴量を用いて行われ得る。本実施形態では、一例として、画像特徴量の照合によりオブジェクトが識別される例を主に説明する。
オブジェクトDB140は、履歴管理の対象となる行為に関与するオブジェクトについてのデータを記憶するデータベースである。オブジェクトDB140により記憶されるデータは、オブジェクト識別部130によるオブジェクトの識別、イベント検出部150によるイベントの検出及び属性制御部170によるオブジェクトの属性の制御のために用いられ得る。本実施形態において、オブジェクトDB140は、少なくとも各オブジェクトの既知の画像特徴量を含むオブジェクトデータ142を記憶する。さらに、オブジェクトDB140は、属性の制御のパターンを定義する属性制御テーブル144を記憶し得る。これらデータの具体的な例について、後に例を挙げて説明する。
イベント検出部150は、オブジェクト識別部130により識別される複数のオブジェクトの間の物理的作用に対応するイベントを、入力画像を用いて検出する。本明細書において、オブジェクト間の「物理的」作用とは、作業行為に関与する複数のオブジェクト(物体及び人物の双方を含み得る)の間の実空間における何らかの作用をいう。例えば、2つのオブジェクトの接触又は接近は、これらオブジェクトの間の物理的作用に相当し得る。ある人物の何らかの物体を対象とする動作もまた、当該人物と当該物体の間の物理的作用に相当し得る。これら物理的作用に対応するイベントは、実空間内の上述した物理的作用に応じて実行すべき処理のトリガとなる。どのような物理的作用についてイベントを検出すべきかは、アプリケーションの用途に合わせて定義され得る。後に説明する4つの実施例では、次のような物理的作用についてのイベントが検出される。
第1の実施例)医療行為における薬液の移送
第2の実施例)調剤行為における薬品の調合
第3の実施例)患者による薬の服用
第4の実施例)食品加工行為における食材及び調味料の配合
なお、これらは説明のための例に過ぎず、他の行為におけるオブジェクト間の物理的作用についてイベントが検出されてもよい。
属性DB160は、各オブジェクトについて行われた行為の履歴を把握可能とするためのデータを記憶するデータベースである。属性DB160により記憶されるデータは、後に説明する属性制御部170により管理される。本実施形態において、属性DB160は、各オブジェクトに関連付けられる属性を示す属性データ162を記憶する。属性データ162は、一部のオブジェクトに予め関連付けられる初期の属性と、上述したイベントの検出に応じて他のオブジェクトに関連付けられる事後的な属性との双方を示し得る。かかる属性データ162を閲覧することにより、各オブジェクトについて行われた行為の履歴が把握され得る。さらに、属性DB160は、上述したイベントの都度の各オブジェクトの属性の変化を示す履歴データ164を記憶し得る。
属性制御部170は、各オブジェクトに関連付けられる属性を制御する。例えば、本実施形態において、属性制御部170は、イベント検出部150による上述したイベントの検出に応じて、検出されたイベントに対応する物理的作用に関与した第1のオブジェクトに関連付けられている属性データを第2のオブジェクトに関連付ける。
データ配信部180は、いずれかのオブジェクトを映した画像を表示する装置に当該オブジェクトに関連付けられている属性データを配信し、配信された属性データを当該装置の画面上に表示させる。例えば、データ配信部180は、図1に例示した端末装置200から送信されるデータ要求を受け付ける。当該データ要求は、端末装置200により撮像される画像又は当該画像から抽出される特徴量を含み得る。データ配信部180は、データ要求に含まれる画像又は画像特徴量をオブジェクト識別部130へ出力し、画像に映るオブジェクトを識別させる。なお、端末装置200により撮像される画像に映るオブジェクトのオブジェクトID(識別子)がデータ要求に含まれる場合には、オブジェクト識別部130によるオブジェクトの識別は省略されてよい。次に、データ配信部180は、識別されたオブジェクトのオブジェクトIDに関連付けられている属性データを、属性DB160から取得する。そして、データ配信部180は、取得した属性データを端末装置200へ配信する。データ配信部180は、識別されたオブジェクトの画像内の位置を示す位置データをさらに端末装置200へ配信してもよい。
ユーザインタフェース部190は、アプリケーションの目的に合わせて、様々なユーザインタフェースをユーザに提供し得る。例えば、ユーザインタフェース部190は、オブジェクトデータ142、属性制御テーブル144、属性データ162又は履歴データ164をユーザが閲覧し又は編集するためのUI画面を提供してもよい。また、ユーザインタフェース部190は、属性データの更新についてユーザからの承認を受け付けるための承認画面をユーザに提供してもよい。
[3−1.ハードウェア構成]
図5は、一実施形態に係る端末装置200のハードウェア構成の一例を示すブロック図である。図5を参照すると、端末装置200は、撮像部202、入力部204、記憶部206、表示部210、通信部212、音声出力部214、バス216及び制御部218を備える。
撮像部202は、画像を撮像するカメラモジュールである。撮像部202は、CCD又はCMOSなどの撮像素子を用いて被写体を撮像し、撮像画像を生成する。撮像部202は、必ずしも端末装置200の一部でなくてもよい。例えば、端末装置200と有線又は無線で接続される撮像装置が撮像部202として扱われてもよい。
入力部204は、ユーザが端末装置200を操作し又は端末装置200へ情報を入力するために使用される入力デバイスである。入力部204は、例えば、表示部210の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに(又はそれに加えて)、入力部204は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部204は、キーボード、キーパッド、ボタン、スイッチ又はリモートコントローラなどのその他の種類の入力デバイスを含んでもよい。
記憶部206は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、端末装置200による処理のためのプログラム及びデータを記憶する。記憶部206により記憶されるデータは、例えば、上述した画像処理装置100から配信されるデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部又は全部は、記憶部206により記憶されることなく、外部のデータソース(例えば、データサーバ、ネットワークストレージ又は外付けメモリなど)から取得されてもよい。
表示部210は、LCD、OLED又はCRTなどにより構成される表示モジュールである。なお、表示部210もまた、必ずしも端末装置200の一部でなくてもよい。例えば、端末装置200と有線又は無線で接続される表示装置が表示部210として扱われてもよい。
通信部212は、端末装置200による他の装置(例えば、画像処理装置100)との間の通信を仲介する通信インタフェースである。通信部212は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
音声出力部214は、例えばスピーカにより構成される音声出力モジュールである。なお、音声出力部214もまた、必ずしも端末装置200の一部でなくてもよい。例えば、端末装置200と有線又は無線で接続される音声出力装置が音声出力部214として扱われてもよい。
バス216は、撮像部202、入力部204、記憶部206、表示部210、通信部212、音声出力部214及び制御部218を相互に接続する。
制御部218は、CPU又はDSPなどのプロセッサに相当する。制御部218は、記憶部206又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する端末装置200の様々な機能を動作させる。
図6は、図5に示した端末装置200の記憶部206及び制御部218により実現される論理的機能の構成の一例を示すブロック図である。図6を参照すると、端末装置200は、画像取得部220、データ取得部230、表示制御部240及びユーザインタフェース部250を含む。
画像取得部220は、撮像部202により生成される撮像画像を入力画像として取得する。入力画像には、実空間に存在する様々なオブジェクトが映される。画像取得部220は、取得した入力画像を、データ取得部230及び表示制御部240へ出力する。
データ取得部230は、画像取得部220により取得される入力画像内で識別されるオブジェクトに関連付けられている属性データを取得する。例えば、データ取得部230は、入力画像又は入力画像の画像特徴量を含むデータ要求を画像処理装置100へ送信する。データ取得部230は、入力画像に映るオブジェクトを識別し、識別したオブジェクトのオブジェクトIDをデータ要求に含めてもよい。そして、データ取得部230は、データ要求に応じて画像処理装置100から配信される属性データを取得し得る。属性データに加えて、識別されたオブジェクトの画像内の位置を示す位置データが画像処理装置100からさらに取得されてもよい。そして、データ取得部230は、取得した属性データ(及び位置データ)を表示制御部240へ出力する。
表示制御部240は、端末装置200における画像及びデータの表示を制御する。例えば、表示制御部240は、入力画像に映るオブジェクトに関連付けられている属性データがデータ取得部230により取得された場合に、取得された属性データを入力画像に重畳する。属性データは、関連付けられているオブジェクトの位置に依存することなく、オブジェクトID又はオブジェクトの名称と共に表示されてもよい。その代わりに、属性データは、関連付けられているオブジェクトの画像内の位置に重なるように、又は当該位置を指し示すように表示されてもよい。
ユーザインタフェース部250は、アプリケーションの目的に合わせて、様々なユーザインタフェースをユーザに提供し得る。例えば、ユーザインタフェース部250は、ユーザからデータ取得部230に属性データの取得を明示的に指示するためのUI画面を提供してもよい。
図8は、第1の実施例におけるオブジェクトデータの一例について説明するための説明図である。図8を参照すると、オブジェクトDB140により記憶される一例としてのオブジェクトデータ142aが示されている。オブジェクトデータ142aは、「オブジェクトID」、「名称」、「品番」、「タイプ」及び「特徴量」という5つのデータ項目を有する。
“SOURCE”…物質の移送元のオブジェクトを示すタイプである
“TRANSPORTER”…物質を移送可能なオブジェクトを示すタイプである
“DESTINATION”…物質の移送先のオブジェクトを示すタイプである
図8の例では、オブジェクトObj11のタイプは“SOURCE”、オブジェクトObj12のタイプは“TRANSPORTER”、オブジェクトObj13のタイプは“DESTINATION”である。
本実施例において、イベント検出部150は、オブジェクト識別部130により識別される医療器具の間の物理的作用に対応するイベントを検出する。例えば、図8に例示したオブジェクトが関与するイベントとして、次のようなイベントが挙げられる。
イベントEv11)バイアルから注射器への薬液の抽出
イベントEv12)注射器から点滴バッグへの薬液の注入
条件C11)2つのオブジェクトの間の距離が閾値を下回る。
条件C12)条件C11が連続的に満たされている時間が閾値を上回る。
条件C13)2つのオブジェクトを扱う人物の所定のジェスチャが認識される。
条件C11における距離は、入力画像内の2次元的な距離であってもよく、又は公知の3次元構造認識技術に基づいて認識される実空間内の3次元的な距離であってもよい。条件C11及びC12における閾値は、オブジェクトに依存することなく共通的に定義されても、各オブジェクトについて個別に定義されてもよい。
本実施例において、属性制御部170は、検出されたイベントに関与するオブジェクトについて定義されているタイプが所定の属性制御条件を満たす場合に、それらオブジェクトの属性を更新する。属性制御条件は、上述した属性制御テーブルにおいて定義される。
図10A及び図10Bは、本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される4つの入力画像Im11〜Im14が順に示されており、右側には各時点の属性データ162aの部分的な内容が示されている。
図12は、本実施例において端末装置200により表示される出力画像の一例について説明するための説明図である。図12を参照すると、一例としての出力画像Im19が示されている。出力画像Im19には、バイアルObj11及び点滴バッグObj13が映っている。また、出力画像Im19には、バイアルObj11を指し示すメッセージMSG11及び点滴バッグObj13を指し示すメッセージMSG12が重畳されている。メッセージMSG11は、バイアルObj11が物質SB11を収容していることを表す。メッセージMSG12は、点滴バッグObj13が物質SB11及びSB12を収容していることを表す。端末装置200のユーザは、例えば、このようなメッセージMSG12を閲覧することにより、点滴バッグObj13に適切な薬液が注入されたかを容易に把握することができる。
(6−1)属性制御処理
図13は、本実施例における画像処理装置100による属性制御処理の流れの一例を示すフローチャートである。図13に示した属性制御処理は、画像取得部120により順次取得される入力画像について繰り返される。
図14は、本実施例における端末装置200による表示制御処理の流れの一例を示すフローチャートである。図14に示した表示制御処理は、端末装置200の画像取得部220により順次取得される入力画像について繰り返されてもよく、又はスナップショットとして取得される1つの入力画像について単発的に実行されてもよい。
第2の実施例では、履歴管理の対象として、調剤行為における薬品の調合を例示する。従って、画像処理装置100は、医師、看護師又は薬剤師などの人物が薬品を取り扱う際に用いる調剤器具の間の物理的作用に対応するイベントを検出する。なお、説明の簡明さのために、本実施例において第1の実施例と重複する事項についての説明は省略する。
図15は、第2の実施例におけるオブジェクトデータの一例について説明するための説明図である。図15を参照すると、オブジェクトDB140により記憶される一例としてのオブジェクトデータ142bが示されている。オブジェクトデータ142bは、第1の実施例に係るオブジェクトデータ142aと同様、「オブジェクトID」、「名称」、「品番」、「タイプ」及び「特徴量」という5つのデータ項目を有する。
“SOURCE”…物質の移送元のオブジェクトを示すタイプである
“TRANSPORTER1”…物質を移送可能なオブジェクトを示すタイプである
“TRANSPORTER2”…物質を移送可能なオブジェクトを示すタイプである
“SCALE”…物質を計量可能なオブジェクトを示すタイプである
“DESTINATION”…物質の移送先のオブジェクトを示すタイプである
図15の例では、オブジェクトObj21のタイプは“SOURCE”、オブジェクトObj22のタイプは“TRANSPORTER1”、オブジェクトObj23のタイプは“TRANSPORTER2”、オブジェクトObj24のタイプは“SCALE”、オブジェクトObj25のタイプは“DESTINATION”である。
本実施例において、イベント検出部150は、オブジェクト識別部130により識別される調剤器具の間の物理的作用に対応するイベントを検出する。例えば、図15に例示したオブジェクトが関与するイベントとして、次のようなイベントが挙げられる。
イベントEv21)薬瓶からさじへの薬品の取り出し
イベントEv22)さじから薬包紙への薬品の移し替え
イベントEv23)さじからパッケージへの薬品の移し入れ
イベントEv24)薬包紙からパッケージへの薬品の移し入れ
イベントEv25)薬包紙に収容される薬品の計量器による計量
条件C21)2つのオブジェクトの間の距離が閾値を下回る。
条件C22)一方のオブジェクトの上方に他方のオブジェクトが位置する。
条件C23)条件C21又はC22が連続的に満たされている時間が閾値を上回る。
条件C24)2つのオブジェクトを扱う人物の所定のジェスチャが認識される。
条件C21における距離は、入力画像内の2次元的な距離であってもよく、又は公知の3次元構造認識技術に基づいて認識される実空間内の3次元的な距離であってもよい。条件C21及びC23における閾値は、オブジェクトに依存することなく共通的に定義されても、各オブジェクトについて個別に定義されてもよい。
本実施例においても、属性制御部170は、検出されたイベントに関与するオブジェクトについて定義されているタイプが所定の属性制御条件を満たす場合に、それらオブジェクトの属性を更新する。属性制御条件は、属性制御テーブルにおいて定義される。
図17A及び図17Bは、本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される6つの入力画像Im21〜Im26が順に示されており、右側には各時点の属性データ162bの部分的な内容が示されている。
図18は、本実施例において端末装置200により表示される出力画像の一例について説明するための説明図である。図18を参照すると、一例としての出力画像Im29が示されている。出力画像Im29には、パッケージObj25が映っている。また、出力画像Im29には、パッケージObj25を指し示すメッセージMSG21が重畳されている。メッセージMSG21は、パッケージObj25が物質SB21を3.0g収容していることを表す。端末装置200のユーザは、例えば、このようなメッセージMSG21を閲覧することにより、パッケージObj25に現在いずれの薬品がどれだけの数量収容されているかを容易に把握することができる。
図19は、本実施例における画像処理装置100による属性制御処理の流れの一例を示すフローチャートである。図19に示した属性制御処理は、画像取得部120により順次取得される入力画像について繰り返される。
第3の実施例では、履歴管理の対象として、患者による薬の服用を例示する。従って、画像処理装置100は、患者と薬との間の物理的作用、即ち薬の服用行為に対応するイベントを検出する。なお、説明の簡明さのために、本実施例において先行するいずれかの実施例と重複する事項についての説明は省略する。
図20は、第3の実施例におけるオブジェクトデータの一例について説明するための説明図である。図20を参照すると、オブジェクトDB140により記憶される一例としてのオブジェクトデータ142cが示されている。オブジェクトデータ142cは、人物オブジェクトについての人物データと、処方薬オブジェクトについての処方薬データとを含む。
本実施例において、イベント検出部150は、オブジェクト識別部130により識別される人物による処方薬の服用行為に対応するイベントを検出する。イベント検出部150は、例えば、公知のジェスチャ認識技術を用いて、人物による服用行為のジェスチャを検出してもよい。本実施例におけるイベント検出条件は、次のような条件となる。
条件C31)人物オブジェクトが処方薬オブジェクトを服用するジェスチャが認識される。
属性制御部170は、イベント検出部150により服用行為に対応するイベントが検出されると、服用行為に関与する人物オブジェクト及び処方薬オブジェクトの属性を更新する。例えば、属性制御部170は、処方薬オブジェクトに含まれる物質の種類と1回当たりの服用量とを示す属性を人物オブジェクトに新たに関連付けてもよい。また、属性制御部170は、処方薬オブジェクトの属性から、1回当たりの服用量に相当する数量を削除してもよい。さらに、属性制御部170は、これらオブジェクトの属性を更新すると、更新の履歴を示すレコードを履歴データ164cに記憶させる。
図22は、本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される3つの入力画像Im31〜Im33が順に示されており、右側には各時点の属性データ162cの部分的な内容が示されている。
図23は、本実施例において端末装置200により表示される出力画像の一例について説明するための説明図である。図23を参照すると、一例としての出力画像Im39が示されている。出力画像Im39には、患者Obj31が映っている。また、出力画像Im39には、患者Obj31を指し示すメッセージMSG31が重畳されている。メッセージMS31は、患者Obj31が2011年11月1日14時に“X1錠”を2錠服用したことを表す。端末装置200のユーザは、例えば、このようなメッセージMSG31を閲覧することにより、患者が適切な時刻に適切な処方薬を服用したかを容易に把握することができる。
図24は、本実施例における画像処理装置100による属性制御処理の流れの一例を示すフローチャートである。図24に示した属性制御処理は、画像取得部120により順次取得される入力画像について繰り返される。
第4の実施例では、履歴管理の対象として、食品加工行為における食材及び調味料の配合を例示する。従って、画像処理装置100は、シェフ、レストランの従業員又は食品加工工場の従業員などの人物が食材及び調味料を取り扱う際の物理的作用に対応するイベントを検出する。なお、説明の簡明さのために、本実施例において先行するいずれかの実施例と重複する事項についての説明は省略する。
図25は、第4の実施例におけるオブジェクトデータの一例について説明するための説明図である。図25を参照すると、オブジェクトDB140により記憶される一例としてのオブジェクトデータ142dが示されている。オブジェクトデータ142dは、第1の実施例に係るオブジェクトデータ142aと同様、「オブジェクトID」、「名称」、「品番」、「タイプ」及び「特徴量」という5つのデータ項目を有する。
“SOURCE”…食材又は調味料の移送元のオブジェクトを示すタイプである。食材若しくは調味料の容器、又は食材そのものなどに相当し得る
“TRANSPORTER”…食材又は調味料を移送可能なオブジェクトを示すタイプである
“CONTAINER”…調理される食品を収容可能なオブジェクトを示すタイプである
“FOOD_ITEM”…調理される食品のオブジェクトを示すタイプである
図25の例では、オブジェクトObj41(ひき肉)及びオブジェクトObj42(コショウ瓶)のタイプは“SOURCE”である。オブジェクトObj43(おたま)のタイプは“TRANSPORTER”である。オブジェクトObj44(ボウル)、オブジェクトObj45(フライパン)及びオブジェクトObj46(トレイ)のタイプは“CONTAINER”である。オブジェクトObj50(食品)のタイプは“FOOD_ITEM”である。
本実施例において、イベント検出部150は、オブジェクト識別部130により識別されるオブジェクトの間の物理的作用に対応するイベントを検出する。例えば、図25に例示したオブジェクトが関与するイベントとして、次のようなイベントが挙げられる。
イベントEv41)ボウルへのひき肉の投入
イベントEv42)コショウ瓶からボウルへのコショウの投入
イベントEv43)ボウルからフライパンへの食品の移し替え
イベントEv44)フライパンからトレイへの食品の移し替え
条件C41)一方のオブジェクトの上方に他方のオブジェクトが位置する。
条件C42)条件C41が連続的に満たされている時間が閾値を上回る。
条件C43)2つのオブジェクトを扱う人物の所定のジェスチャが認識される。
条件C42における閾値は、オブジェクトに依存することなく共通的に定義されても、各オブジェクトについて個別に定義されてもよい。
本実施例においても、属性制御部170は、検出されたイベントに関与するオブジェクトについて定義されているタイプが所定の属性制御条件を満たす場合に、それらオブジェクトの属性を更新する。属性制御条件は、属性制御テーブルにおいて定義される。
図27A及び図27Bは、本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される5つの入力画像Im41〜Im45が順に示されており、右側には各時点の属性データ162dの部分的な内容が示されている。
図28は、本実施例において端末装置200により表示される出力画像の一例について説明するための説明図である。図28を参照すると、一例としての出力画像Im49が示されている。出力画像Im49には、トレイObj46及び食品Obj50が映っている。また、出力画像Im49には、食品Obj50を指し示すメッセージMSG41が重畳されている。メッセージMSG41は、食品Obj50が物質SB41、SB43及びSB42にそれぞれ相当し得る牛肉、豚肉及びコショウを含有していることを表す。端末装置200のユーザは、例えば、このようなメッセージMSG41を閲覧することにより、食品Obj50にどのような成分が含まれているかを容易に把握することができる。
図29は、本実施例における画像処理装置100による属性制御処理の流れの一例を示すフローチャートである。図29に示した属性制御処理は、画像取得部120により順次取得される入力画像について繰り返される。
上述した実施形態では、画像処理装置100及び端末装置200が物理的に異なる装置として構成される例について主に説明した。しかしながら、画像処理装置100及び端末装置200は、図30に例示する画像処理装置300のように、一体の装置として構成されてもよい。
ここまで、本開示に係る技術の一実施形態及びその4つの実施例について詳細に説明した。本開示に係る技術によれば、実空間に存在するオブジェクトが入力画像内で識別され、識別されたオブジェクト間の物理的作用に対応するイベントの検出に応じて、第1のオブジェクトに関連付けられている属性データが第2のオブジェクトに関連付けられる。従って、これらオブジェクト間の物理的作用を生じさせる様々な作業行為の履歴を、オブジェクトの属性という形式で管理することが可能となる。その際、属性データの更新は画像認識技術を用いて自動的に行われるため、行為者に負担が課されることがない。
(1)
実空間に存在するオブジェクトを入力画像内で識別する識別部と、
前記識別部により識別される第1のオブジェクトと第2のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、
前記イベントの検出に応じて、前記第1のオブジェクトに関連付けられている属性データを前記第2のオブジェクトに関連付ける属性制御部と、
を備える画像処理装置。
(2)
前記第1のオブジェクト及び前記第2のオブジェクトは、物質を収容可能なオブジェクトである、前記(1)に記載の画像処理装置。
(3)
前記属性データは、関連付けられるオブジェクトに収容される物質の少なくとも種類を示す、前記(2)に記載の画像処理装置。
(4)
前記属性データは、関連付けられるオブジェクトに収容される物質の数量をさらに表す、前記(3)に記載の画像処理装置。
(5)
前記検出部は、前記第1のオブジェクトと前記第2のオブジェクトとの間の位置関係が第1の条件を満たすことを、前記イベントとして検出する、前記(1)〜(4)のいずれか1項に記載の画像処理装置。
(6)
前記第1の条件は、前記第1のオブジェクトと前記第2のオブジェクトとの間の距離が所定の閾値を下回ることを含む、前記(5)に記載の画像処理装置。
(7)
前記第2のオブジェクトは、人物であり、
前記検出部は、前記第2のオブジェクトの前記第1のオブジェクトに対する所定のジェスチャを前記イベントとして検出する、
前記(1)〜(4)のいずれか1項に記載の画像処理装置。
(8)
前記第1のオブジェクト及び前記第2のオブジェクトは、人物により扱われる器具であり、
前記検出部は、前記第1のオブジェクト及び前記第2のオブジェクトに対する前記人物の所定のジェスチャを前記イベントとして検出する、
前記(1)〜(4)のいずれか1項に記載の画像処理装置。
(9)
前記属性制御部は、前記第1のオブジェクト及び前記第2のオブジェクトについて予め定義されるタイプが第2の条件を満たす場合に、前記第1のオブジェクトに関連付けられている前記属性データを前記第2のオブジェクトに関連付ける、前記(1)〜(8)のいずれか1項に記載の画像処理装置。
(10)
前記第2の条件は、前記第1のオブジェクト及び前記第2のオブジェクトについて予め定義される前記タイプの少なくとも一方が物質を移送可能なオブジェクトを示す第1のタイプであることを含む、前記(9)に記載の画像処理装置。
(11)
前記第2の条件は、前記第1のオブジェクトのタイプが前記第1のタイプであって、第2のオブジェクトのタイプが物質の移送先のオブジェクトを示す第2のタイプであること、をさらに含む、前記(10)に記載の画像処理装置。
(12)
前記第2の条件は、前記第2のオブジェクトのタイプが前記第1のタイプであって、第1のオブジェクトのタイプが物質の移送元のオブジェクトを示す第3のタイプであること、をさらに含む、前記(10)に記載の画像処理装置。
(13)
前記検出部は、前記第2のオブジェクトと第3のオブジェクトとの間の物理的作用に対応するさらなるイベントを検出し、
前記属性制御部は、前記第3のオブジェクトについて予め定義されるタイプが物質を計量可能なオブジェクトを示す第4のタイプである場合に、固定的に定義され又は前記入力画像から読み取られる物質の数量を前記属性データに付加する、
前記(9)〜(12)のいずれか1項に記載の画像処理装置。
(14)
前記属性制御部は、前記第1のオブジェクト及び前記第2のオブジェクトについて予め定義されるタイプが第3の条件を満たす場合に、第4のオブジェクトを新たに生成し、前記第1のオブジェクトに関連付けられている前記属性データを前記第4のオブジェクトに関連付ける、前記(9)〜(13)のいずれか1項に記載の画像処理装置。
(15)
前記属性制御部は、生成した前記第4のオブジェクトの画像特徴量を前記入力画像から抽出し、抽出した当該画像特徴量を前記第4のオブジェクトにさらに関連付ける、前記(14)に記載の画像処理装置。
(16)
前記属性制御部は、前記イベントの検出時刻に対応する時刻認証データ及び前記属性データを、前記第2のオブジェクトに関連付けて記憶媒体に記憶させる、前記(1)〜(15)のいずれか1項に記載の画像処理装置。
(17)
前記画像処理装置は、前記第1のオブジェクトに関連付けられている前記属性データを前記第2のオブジェクトに関連付けることについての承認をユーザから受け付けるユーザインタフェース部、をさらに備え、
前記属性制御部は、前記ユーザインタフェース部が前記承認を受け付けた場合にのみ、前記属性データを前記第2のオブジェクトに関連付ける、
前記(1)〜(16)のいずれか1項に記載の画像処理装置。
(18)
前記画像処理装置は、前記第2のオブジェクトを映した画像を表示する端末装置に前記第2のオブジェクトに関連付けられている前記属性データを配信して、前記端末装置に前記属性データを表示させるデータ配信部、をさらに備える、前記(1)〜(17)のいずれか1項に記載の画像処理装置。
(19)
前記識別部、前記検出部及び前記属性制御部のうち少なくとも1つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、前記(1)〜(18)のいずれか1項に記載の画像処理装置。
(20)
画像処理装置を制御するコンピュータを、
実空間に存在するオブジェクトを入力画像内で識別する識別部と、
前記識別部により識別される第1のオブジェクトと第2のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、
前記イベントの検出に応じて、前記第1のオブジェクトに関連付けられている属性データを前記第2のオブジェクトに関連付ける属性制御部と、
として機能させるためのプログラム。
(21)
実空間に存在するオブジェクトを入力画像内で識別することと、
識別された第1のオブジェクトと第2のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出することと、
前記イベントの検出に応じて、前記第1のオブジェクトに関連付けられている属性データを前記第2のオブジェクトに関連付けることと、
を含む画像処理方法。
(22)
実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と、
第1のオブジェクトとの間の物理的作用に関与する、前記入力画像内で識別される第2のオブジェクトに関連付けられている属性データを取得するデータ取得部と、
前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と、
を備え、
前記属性データは、前記物理的作用に対応するイベントの検出前に前記第1のオブジェクトに関連付けられており、前記イベントの検出に応じて前記第2のオブジェクトに新たに関連付けられるデータである、
端末装置。
(23)
端末装置を制御するコンピュータを、
実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と、
第1のオブジェクトとの間の物理的作用に関与する、前記入力画像内で識別される第2のオブジェクトに関連付けられている属性データを取得するデータ取得部と、
前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と、
として機能させ、
前記属性データは、前記物理的作用に対応するイベントの検出前に前記第1のオブジェクトに関連付けられており、前記イベントの検出に応じて前記第2のオブジェクトに新たに関連付けられるデータである、
プログラム。
120 画像取得部
130 オブジェクト識別部
140 オブジェクトDB
142 オブジェクトデータ
144 属性制御テーブル
150 イベント検出部
160 属性DB
162 属性データ
164 履歴データ
170 属性制御部
180 データ配信部
190 ユーザインタフェース部
200 端末装置
220 画像取得部
230 データ取得部
240 表示制御部
250 ユーザインタフェース部
Claims (21)
- 実空間に存在するオブジェクトを入力画像内で画像認識の結果に基づいて識別する識別部と、
前記識別部により識別される第1のオブジェクトであって前記第1のオブジェクトのオブジェクトデータに関連付けられる属性データにより表現される物質に関連する当該第1のオブジェクトから、前記識別部により識別される第2のオブジェクトへの前記物質の移動に対応するイベントを、前記入力画像を用いた画像認識の結果に基づいて、前記第1のオブジェクトと前記第2のオブジェクトとの間の位置関係、前記第1のオブジェクト及び前記第2のオブジェクトの少なくとも一方に対する所定の移動ジェスチャ、並びに前記第1のオブジェクト及び前記第2のオブジェクトの近傍に存在する第3のオブジェクトの状態変化、のうちの少なくとも1つを判定することにより検出する検出部と、
前記イベントの検出に応じて、前記第1のオブジェクトの前記オブジェクトデータに関連付けられている前記物質を表現する前記属性データを前記第2のオブジェクトのオブジェクトデータに関連付ける属性制御部と、
前記属性データの移動履歴を記憶する記憶部と、
を備え、
前記第1のオブジェクトは、前記物質の移動元のオブジェクト、又は前記物質をオブジェクト内部に収容可能なオブジェクトであり、
前記第2のオブジェクトは、前記物質の移動先のオブジェクト、又は前記物質をオブジェクト内部に収容可能なオブジェクトであり、
前記識別部、前記検出部、前記属性制御部、及び前記記憶部、のうちの少なくとも1つはクラウドコンピューティング環境上に存在する、
画像処理システム。 - 前記第1のオブジェクト及び前記第2のオブジェクトの少なくとも一方は、前記物質をオブジェクト内部に収容可能なオブジェクトである、請求項1に記載の画像処理システム。
- 前記属性データは、オブジェクト内部に収容される前記物質の少なくとも種類を示す、請求項2に記載の画像処理システム。
- 前記属性データは、オブジェクト内部に収容される前記物質の数量をさらに表す、請求項3に記載の画像処理システム。
- 前記検出部は、前記第1のオブジェクトと前記第2のオブジェクトとの間の距離が閾値を下回る場合に前記イベントを検出する、請求項1〜4のいずれか1項に記載の画像処理システム。
- 前記検出部は、前記第1のオブジェクトが前記第2のオブジェクトの上方に位置する場合に前記イベントを検出する、請求項1〜4のいずれか1項に記載の画像処理システム。
- 前記第2のオブジェクトは、人物であり、
前記検出部は、前記第2のオブジェクトの前記第1のオブジェクトに対する前記所定の移動ジェスチャを前記イベントとして検出する、
請求項1〜4のいずれか1項に記載の画像処理システム。 - 前記第1のオブジェクト及び前記第2のオブジェクトの少なくとも一方は、人物により扱われる器具であり、
前記検出部は、前記第1のオブジェクト及び前記第2のオブジェクトに対する前記人物の前記所定の移動ジェスチャを前記イベントとして検出する、
請求項1〜4のいずれか1項に記載の画像処理システム。 - 前記第3のオブジェクトは、前記物質を計量可能な機器であり、
前記属性制御部は、前記第3のオブジェクトの前記状態変化についての画像認識の結果に基づいて前記入力画像から読み取られる物質の数量を、前記物質の数量を示す属性として前記第2のオブジェクトの前記オブジェクトデータに関連付けられる前記属性データに付加する、
請求項1〜8のいずれか1項に記載の画像処理システム。 - 前記第1のオブジェクトが固定的な数量ごとに前記物質を計量可能なオブジェクトである場合に、前記属性制御部は、前記第1のオブジェクトについて予め定義される前記固定的な数量を、前記物質の数量を示す属性として前記第2のオブジェクトの前記オブジェクトデータに関連付けられる前記属性データに付加する、
請求項1〜8のいずれか1項に記載の画像処理システム。 - 前記属性制御部は、前記検出部により検出された前記イベントが新たなオブジェクトの生成に対応するイベントである場合に、第4のオブジェクトのオブジェクトデータを新たに生成し、前記第1のオブジェクトに関連付けられている前記属性データを前記第4のオブジェクトの前記オブジェクトデータに関連付ける、請求項1〜8のいずれか1項に記載の画像処理システム。
- 前記属性制御部は、前記第4のオブジェクトの画像特徴量を前記入力画像から抽出し、抽出した当該画像特徴量を前記第4のオブジェクトの前記オブジェクトデータに付加する、請求項11に記載の画像処理システム。
- 前記属性制御部は、前記第4のオブジェクトの外観の変化が検出された場合に、前記入力画像から抽出される前記画像特徴量を、前記第4のオブジェクトの前記オブジェクトデータに付加する、請求項12に記載の画像処理システム。
- 前記属性制御部は、前記イベントの検出時刻に対応する時刻認証データ及び前記属性データを、前記第2のオブジェクトに関連付けて前記記憶部に記憶させる、請求項1〜13のいずれか1項に記載の画像処理システム。
- 前記画像処理システムは、前記第1のオブジェクトの前記オブジェクトデータに関連付けられている前記属性データを前記第2のオブジェクトの前記オブジェクトデータに関連付けることについての承認をユーザから受け付けるユーザインタフェース部、をさらに備え、
前記属性制御部は、前記ユーザインタフェース部が前記承認を受け付けた場合にのみ、前記属性データを前記第2のオブジェクトの前記オブジェクトデータに関連付ける、
請求項1〜14のいずれか1項に記載の画像処理システム。 - 前記画像処理システムは、前記第2のオブジェクトを映した画像を表示する端末装置に前記第2のオブジェクトの前記オブジェクトデータに関連付けられている前記属性データを配信して、前記端末装置に前記属性データを表示させるデータ配信部、をさらに備える、請求項1〜15のいずれか1項に記載の画像処理システム。
- 前記物質は、薬液、薬品又は薬である、請求項1〜16のいずれか1項に記載の画像処理システム。
- 前記物質は、食品又は調味料である、請求項1〜16のいずれか1項に記載の画像処理システム。
- 前記識別部は、前記物質ではない前記実空間に存在するオブジェクトを前記入力画像内で前記画像認識の結果に基づいて識別し、
前記検出部は、前記第2のオブジェクトへの前記物質の移動に対応する前記イベントを、前記画像認識により前記物質を直接的に認識することなく、前記第1のオブジェクトと前記第2のオブジェクトとの間の前記位置関係、前記第1のオブジェクト及び前記第2のオブジェクトの少なくとも一方に対する前記所定の移動ジェスチャ、並びに前記第1のオブジェクト及び前記第2のオブジェクトの近傍に存在する前記第3のオブジェクトの前記状態変化、のうちの前記少なくとも1つを判定することにより検出する、
請求項1〜18のいずれか1項に記載の画像処理システム。 - コンピュータを、
実空間に存在するオブジェクトを入力画像内で画像認識の結果に基づいて識別する識別部と、
前記識別部により識別される第1のオブジェクトであって前記第1のオブジェクトのオブジェクトデータに関連付けられる属性データにより表現される物質に関連する当該第1のオブジェクトから、前記識別部により識別される第2のオブジェクトへの前記物質の移動に対応するイベントを、前記入力画像を用いた画像認識の結果に基づいて、前記第1のオブジェクトと前記第2のオブジェクトとの間の位置関係、前記第1のオブジェクト及び前記第2のオブジェクトの少なくとも一方に対する所定の移動ジェスチャ、並びに前記第1のオブジェクト及び前記第2のオブジェクトの近傍に存在する第3のオブジェクトの状態変化、のうちの少なくとも1つを判定することにより検出する検出部と、
前記イベントの検出に応じて、前記第1のオブジェクトの前記オブジェクトデータに関連付けられている前記物質を表現する前記属性データを前記第2のオブジェクトのオブジェクトデータに関連付ける属性制御部と、
として機能させるためのプログラムであって、
前記属性データの移動履歴は記憶部により記憶され、
前記第1のオブジェクトは、前記物質の移動元のオブジェクト、又は前記物質をオブジェクト内部に収容可能なオブジェクトであり、
前記第2のオブジェクトは、前記物質の移動先のオブジェクト、又は前記物質をオブジェクト内部に収容可能なオブジェクトであり、
前記識別部、前記検出部、前記属性制御部、及び前記記憶部、のうちの少なくとも1つはクラウドコンピューティング環境上に存在する、
プログラム。 - コンピュータの識別部において、実空間に存在するオブジェクトを入力画像内で画像認識の結果に基づいて識別することと、
コンピュータの検出部において、前記識別部により識別される第1のオブジェクトであって前記第1のオブジェクトのオブジェクトデータに関連付けられる属性データにより表現される物質に関連する当該第1のオブジェクトから、前記識別部により識別される第2のオブジェクトへの前記物質の移動に対応するイベントを、前記入力画像を用いた画像認識の結果に基づいて、前記第1のオブジェクトと前記第2のオブジェクトとの間の位置関係、前記第1のオブジェクト及び前記第2のオブジェクトの少なくとも一方に対する所定の移動ジェスチャ、並びに前記第1のオブジェクト及び前記第2のオブジェクトの近傍に存在する第3のオブジェクトの状態変化、のうちの少なくとも1つを判定することにより検出することと、
コンピュータの属性制御部において、前記イベントの検出に応じて、前記第1のオブジェクトの前記オブジェクトデータに関連付けられている前記物質を表現する前記属性データを前記第2のオブジェクトのオブジェクトデータに関連付けることと、
前記属性データの移動履歴を記憶部に記憶させることと、
を含み、
前記第1のオブジェクトは、前記物質の移動元のオブジェクト、又は前記物質をオブジェクト内部に収容可能なオブジェクトであり、
前記第2のオブジェクトは、前記物質の移動先のオブジェクト、又は前記物質をオブジェクト内部に収容可能なオブジェクトであり、
前記識別部、前記検出部、前記属性制御部、及び前記記憶部、のうちの少なくとも1つはクラウドコンピューティング環境上に存在する、
画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017000153A JP6341299B2 (ja) | 2017-01-04 | 2017-01-04 | 画像処理システム、プログラム及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017000153A JP6341299B2 (ja) | 2017-01-04 | 2017-01-04 | 画像処理システム、プログラム及び画像処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011257561A Division JP6069826B2 (ja) | 2011-11-25 | 2011-11-25 | 画像処理装置、プログラム、画像処理方法及び端末装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017076437A JP2017076437A (ja) | 2017-04-20 |
JP6341299B2 true JP6341299B2 (ja) | 2018-06-13 |
Family
ID=58550261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017000153A Active JP6341299B2 (ja) | 2017-01-04 | 2017-01-04 | 画像処理システム、プログラム及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6341299B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022038648A1 (ja) * | 2020-08-17 | 2022-02-24 | 株式会社Peco | 健康管理支援システム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4481663B2 (ja) * | 2004-01-15 | 2010-06-16 | キヤノン株式会社 | 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム |
JP5074112B2 (ja) * | 2007-06-27 | 2012-11-14 | 株式会社根本杏林堂 | 薬液注入装置、透視撮像システム、コンピュータプログラム |
JP2010033326A (ja) * | 2008-07-29 | 2010-02-12 | Nec Corp | 食事・健康管理システム、方法及びプログラム |
JP2011107768A (ja) * | 2009-11-12 | 2011-06-02 | Sharp Corp | 食行動改善支援システム |
NL2004295C2 (nl) * | 2010-02-24 | 2011-08-25 | Geijn Partners B V Van De | Inrichting voor het monitoren van medicatiegebruik, werkwijze en computer programma produkt. |
-
2017
- 2017-01-04 JP JP2017000153A patent/JP6341299B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017076437A (ja) | 2017-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6069826B2 (ja) | 画像処理装置、プログラム、画像処理方法及び端末装置 | |
CN105069730A (zh) | 基于云计算的健康管理系统与方法 | |
JP2016529024A (ja) | 薬剤の手作業の調合を監視するため、記録に残すため、及び支援するための方法及び装置 | |
CN105005685A (zh) | 一种医嘱执行监督管理系统 | |
JP2016521616A (ja) | 医薬品容器、医薬品容器用のハウジング及びディスプレイ | |
JP6361249B2 (ja) | 服薬指導支援システム、服薬指導支援方法 | |
JP2011150395A (ja) | 医療データのグラフ表示システム、グラフ表示装置および表示プログラム | |
JP2021152940A (ja) | 薬剤管理システム及び薬剤管理方法 | |
CN112017746A (zh) | 用于捕获医疗事件的图像以减少医疗错误的便携式设备 | |
JP2019071146A (ja) | 臨床検査値を表示する表示装置、サーバ、表示方法及びプログラム | |
JP2014016763A (ja) | 情報処理装置および方法、並びにプログラム | |
JP5245954B2 (ja) | 処方オーダ発行プログラム、処方オーダ発行装置及び方法 | |
JP2018128931A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5494018B2 (ja) | 入力支援プログラム、入力支援装置、入力支援システム、及び入力支援方法 | |
JP6040112B2 (ja) | 治験支援装置、治験支援方法、治験支援プログラム及び携帯端末装置 | |
JP2017045372A (ja) | 薬剤服用管理システム、薬剤服用管理方法及びプログラム | |
JP6341299B2 (ja) | 画像処理システム、プログラム及び画像処理方法 | |
Takacs et al. | A prototype home robot with an ambient facial interface to improve drug compliance | |
JP6545446B2 (ja) | 処方箋情報送信システム、患者情報管理サーバ、情報送信方法及びプログラム | |
JP7142093B2 (ja) | 情報提供システム、情報提供サーバ、情報提供方法、情報提供ソフトウエア、及び対話型ソフトウエア | |
CN113450889A (zh) | 一种对象处理方法及其装置 | |
US20150224792A1 (en) | Device for printing information on a label | |
KR19980071912A (ko) | 약품정보검색방법 | |
Hwang et al. | Multi-modal infusion pump real-time monitoring technique for improvement in safety of intravenous-administration patients | |
Hiremath et al. | Automatic Medication Dispensing System using Machine Learning, Internet of Things and Cloud Computing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180430 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6341299 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |