JP6734653B2 - コンピュータ視覚ベースのプロセス認識 - Google Patents

Description

本開示は、コンピュータ視覚ベースのプロセス認識に関し、より具体的には、コンピュータ視覚技術を使用して、段階、物体、および分量をプロセスにおいて検証する、検証方法およびシステムに関する。

製薬会社および薬局は、薬剤を製造または配送するための安全で信頼できるプロセスを確保しなければならない。製品の品質を確保するために、会社は、制御された手順を生産の全ての局面で実施する。加えて、製薬会社は、一般的に、有効化要件を統合して、医薬製品を生産するために使用されるプロセスを評価する。同様の要件は、食品の調理および包装など、他の産業において実施されている。

先行技術における１つの手法では、後の点検のためにカメラでプロセスを監視する。人間の点検者は、静止画像または画像フレームを精査して、薬剤が適切に調合されたこと、すなわち、全ての段階が正確に実行されたこと、を検証する。この手法は、手動の段階を行う技術者に依存して、画像を精査している人間の点検者に警告を与えてよい。例えば、技術者は、プロセスの一部を行っている際、手動でバーコードを走査し得る。別の例において、技術者は、薬剤成分を測定または混合する際に測定データを入力し得る。例えば、技術者は、エントリを入力としてコンピュータ内へキー入力し得る。人間の点検者は、測定の任意の記録に対して警告が生じた画像を検索し得る。例えば、先行技術の手法において、人間の点検者は、既知の位置の目盛りを撮像画像において検索することができ、目盛りの示度が技術者により入力される測定値と一致することを検証し得る。これらの検証方法は、技術者により行われる第１の手動の段階、および、検証動作のために人間の点検者により行われる第２の手動の点検、が必要であるため、重複している。代替的に、人間の点検者は、技術者により提供される対応の入力を伴わない、画像の目盛りの示度を検索し得る。この手法は、製品を生産するために使用される薬剤成分の分量を有効化するため、製品の品質が確保される。

撮像された画像データを点検する人間の実施者に依存する任意の検証プロセスは、コストの増大および非効率性をもたらし得る。さらに、人間の実施者は、画像コンテンツの誤読、または、不適切な技術者による取扱いの見逃しなど、エラーの影響を受けやすい。さらに、人間の実施者が画像を手動で処理するために必要な持続時間は、顧客への製品の配送に遅延を生じさせる可能性があり、最終的に会社の潜在的な利益を失わせ得る。

製品が正確に調合されることを検証するために、より頑健性が高く効率的な検証プロセスが、望まれている。複雑で多段階の活動の中で行動を検証する検証プロセスが、望まれている。追加的に、製品の製造において、分量を自動的に有効化する方法およびシステムが、望まれている。

本開示の１つの実施形態は、人間の実施者の活動ワークフローを有効化するためのコンピュータ視覚ベースの方法に関する。本方法は、対象の活動と関連付けられる、行動の予期配列を判定することを含む。本方法は、映像ストリームを、関連する人間の実施者により行われる活動を監視する画像撮像デバイスから受信することを含む。本方法は、外部キューを映像ストリームにおいて判定することを含む。本方法は、外部キューを撮像するフレームを、キーフレーム配列における第１のフレームと見なすことを含む。本方法は、関連する人間の実施者により行われる行動を、キーフレーム配列において判定することを含む。キーフレーム配列における行動が、対象の活動における予期行動と一致すると判定することに応答して、本方法は、監視される活動において行われる行動を検証することを含む。キーフレーム配列における行動を判定しないことに応答して、本方法は、監視される活動においてエラーを示す警告を生成することを含む。

本開示の別の実施形態は、人間の実施者の活動ワークフローを有効化するためのシステムに関する。システムは、プロセッサと通信するメモリを含むコンピュータデバイスを含む。プロセッサは、対象の活動と関連付けられる、行動の予期配列を判定するよう構成される。プロセッサは、映像ストリームを、関連する人間実施者により行われる活動を監視する画像撮像デバイスから受信するよう構成される。プロセッサは、外部キューを映像ストリームにおいて判定するよう構成される。さらに、プロセッサは、外部キューを撮像するフレームを、キーフレーム配列における第１のフレームと見なすよう構成される。プロセッサは、関連する人間の実施者により行われる行動をキーフレーム配列において判定するよう構成される。キーフレーム配列における行動が、対象の活動における予期行動と一致すると判定することに応答して、プロセッサは、監視される活動において行われる行動を検証するよう構成される。キーフレーム配列における行動を判定しないことに応答して、プロセッサは、監視される活動においてエラーを示す警告を生成／誘引するよう構成される。

本開示の別の実施形態は、人間の実施者の活動ワークフローを有効化するためのコンピュータ視覚ベースの方法に関する。本方法は、対象の活動を特定することを含む。本方法は、対象の活動と関連付けられる行動の予期配列を判定することを含む。本方法は、映像ストリームを、関連する人間の実施者により行われる活動を監視する画像撮像デバイスから受信することを含む。本方法は、関連する人間の実施者により行われる行動を、監視される映像ストリームにおいて判定することを含む。行動が、監視される映像ストリームにおける予期行動と一致すると判定することに応答して、本方法は、監視される活動において行われる行動を検証することを含む。監視される映像ストリームにおける行動を判定しないことに応答して、本方法は、監視される活動においてエラーを示す警告を生成することを含む。

図１は、人間の実施者の活動ワークフローを検証する方法の概略を描写するフローチャートである。 図２は、プロセス検証のためのコンピュータ視覚ベースのシステムの概略図である。 図３は、人間の実施者の活動ワークフローを有効化する方法を描写する、詳細なフローチャートである。 図４Ａは、定量化のための物体の実例的な例である。 図４Ｂは、撮像された画像フレームから分離された図４Ａの物体を示す二値画像である。 図４Ｃは、水平方向に回転された図４Ｂの配置物体を示す。 図４Ｄは、図４Ｃの回転された二値画像を描いた画素加算を示す。 図５は、錠剤を含む物体を示す。

本開示は、コンピュータ視覚ベースのプロセス認識に関し、より具体的には、コンピュータ視覚技術を使用して、段階、物体、および分量を、製品を生産するために使用される品質評価のためのプロセスにおいて検証する、検証方法およびシステムに関する。

本明細書に開示される検証プロセスは、製薬業界における用途を考慮しているが、本開示の用途は、任意の１つの業界に限定されない。本開示は、食品（包装）業界および化粧品業界など、品質評価測定を実施する他の同様の業界に適用され得る。具体的には、製薬会社は、医薬品を生産するのに使用される段階、装置（「物体」）、および、（例えば、医薬成分の）分量、を検証し得る。それらに関わらず、本開示は、人間の実施者により行われるプロセスを検証するために考慮され、それにより、人間は、物体を使用して段階を行い、および／または、成分の分量を測定または混合する。

本明細書において使用される「行動」という用語は、プロセスにおける段階を指す。行動は、段階、プロセスの一部またはサブプロセス、を指し得る。

本明細書において使用される「活動（単数または複数）」という用語は、行動の配列を指し、一部の実施形態において、プロセス全体における段階の配列を指す。

本明細書において使用される「対象の活動」という用語は、特定の製品または結果を産み出すために必要なプロセスを指す。

「予期行動」は、特定の製品または結果を生成するための対象の活動に含まれる段階である。

図１は、人間の実施者の活動ワークフローを検証する方法１０の概略を描写するフローチャートである。本方法は、Ｓ１２で開始される。前処理の局面において、システムは、分類器を活動における行動に関して訓練する。処理の局面において、システムは、Ｓ１４で、人間の実施者によるジェスチャーなどの外部キューを、ジェスチャー認識を使用して判定することにより、関連画像フレームを判定する。代替的に、システムは、以下のような他のキューを使用して、関連画像フレームを判定し得る：物体検出による特定の物体の外観；動きの欠落を含むセグメントを検出するための映像分析；音響フィードバック；音声認識；および、例えば、ＧＵＩでの人間の実施者およびシステムによる、キーストロークまたはバーコードの走査の入力。本明細書において、検証プロセスを誘引するために使用される行動またはジェスチャーの種類に対する限定はない。考慮される実施形態において、監視エリアにおいて撮像される人間の実施者は、システムに、配列におけるフレームおよび／または後続フレームを撮像させる、または、継続撮像モードが使用される場合、開始フレームの位置をラベル化させる、ジェスチャーを行い得る。このジェスチャーは、人間の実施者により故意に行われ得る。代替的に、ジェスチャーは、予期される手の動きまたは物体の配置など、人間の実施者による自然な動きの一部であり得る。ジェスチャーは、行動が発生する外部キューとして扱われる。主として、ジェスチャーを認識することに応答して、システムは、Ｓ１６で、撮像された映像において発生する行動に対するキー画像フレームを処理する。１つの実施形態において、システムは、特性をキー画像フレームから抽出して、訓練された分類器を特性に適用することができ、動作クラスを出力する。Ｓ１８で、システムは、検出／分類された行動の配列を、対象の活動に対する予期配列と比較して、全ての行動が存在し、順番に行われるか判定する。システムは、Ｓ２０で、行動が欠けている場合、または、順番から外れて行われる場合、警告を生成する。Ｓ２２で、システムは、検出／分類された行動が予期行動および／または行動の配列と一致する場合、活動が人間の実施者により正確に行われたことを検証する。

さらに、ジェスチャーを認識することに応答して、システムは、追加的な検証データに対するキー画像フレームを処理する。システムは、Ｓ２４で、行動と関連付けられる物体を検出して、映像フレームから分離する。システムは、Ｓ２６で、物体に対応する画像データを処理して、物体と関連付けられる測定値を判定する。１つの実施形態において、システムは、Ｓ２８で、測定情報を映像データにメタデータとして埋め込み得る。埋め込まれた測定情報は、Ｓ３０で、所定の値と比較されて、行動（「物体指向性の行動」）を行うために使用される物体に対応する分量を検証し得る。システムは、Ｓ２０で、測定値が所定の値と一致しない場合、警告を生成する。システムは、Ｓ２２で、測定値が所定の値と一致する場合、活動が人間の実施者により正確に行われたことを検証する。本方法は、Ｓ３２で終了する。

図２は、プロセス検証のためのコンピュータ視覚ベースのシステム（「システム１００」）の概略図である。システム１００は、本明細書においてネットワークと称される通信リンクにより相互に結合される、プロセス検証ユニット１０２およびユーザデバイス１０４を含む。１つの実施形態において、システム１００は、さらに、画像撮像デバイス１０６と通信してよい。これらのコンポーネントは、以下に詳細に記載される。

図２に図示されるプロセス検証ユニット１０２は、プロセス検証ユニット１０２の一部であるか、または、プロセス検証ユニット１０２と関連付けられる、コントローラ１１０を含む。例示的なコントローラ１１０は、システム１００により受信される映像データの分析を制御するために適用される。コントローラ１１０は、プロセッサ１１２と接続されるメモリ１１４に保存される処理命令の実行により、プロセス検証ユニット１０２の動作全体を制御する、プロセッサ１１２を含む。

メモリ１１４は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気ディスクまたはテープ、光ディスク、フラッシュメモリ、または、ホログラフィックメモリなど、任意の種類の有形のコンピュータ可読媒体を表してよい。１つの実施形態において、メモリ１１４は、ランダムアクセスメモリと読み出し専用メモリとの組合せを備える。デジタルプロセッサ１１２は、単一コアプロセッサ、デュアルコアプロセッサ（または、より一般的には、マルチコアプロセッサ）、デジタルプロセッサおよび協働数値演算コプロセッサ、デジタルコントローラなどにより、様々に具現化され得る。デジタルプロセッサは、プロセス検証ユニット１０２の動作を制御することに加えて、メモリ１１４に保存される、図１および図３に概要が記載される方法の一部を行うための命令を実行する。一部の実施形態において、プロセッサ１１２およびメモリ１１４は、単一チップにおいて組み合わされてよい。

プロセス検証ユニット１０２は、画像撮像デバイス１０６などのネットワーク接続デバイスにおいて具現化されてよいが、さらに、プロセス検証ユニット１０２は、セントラルサーバ、ネットワーク接続コンピュータなど、システム１００が接続されるネットワーク上の任意の場所に配置されてよく、または、ネットワーク全体に分散されてよく、または、アクセス可能であってよいことが、考慮される。言い換えると、処理は、画像撮像デバイス１０６内において現地で、または、中央処理オフラインで、または、サーバコンピュータで、映像データを、ネットワークを介して伝達した後に行われ得る。１つの実施形態において、画像撮像デバイス１０６が適用されて、映像データ１３２をプロセス検証ユニット１０２へ中継および／または送信し得る。別の実施形態において、映像データ１３２は、ワークステーション、データベース、ディスクなどのメモリ保存デバイスなど、任意の適切なソースから入力されてよい。画像撮像デバイス１０６は、プロセッサ１１２およびメモリ１１４を包含するコントローラ１１０と通信する。

本明細書に開示される段階は、プロセッサ１１２により、メモリ１１４に包含される命令にしたがって行われる。具体的には、メモリ１１４は以下を保存する：映像データ１３２から抽出される特性を、動作クラスに属すると分類するよう動作する、事前に訓練された分類器１１６（例えば、サポートベクターマシン（ＳＶＭ）、ニューラルネットワーク、ランダムフォレスト（ＲＦ）など）；映像データを画像撮像デバイス１０６から取得する、映像取得／緩衝モジュール１１８；映像データを処理して、撮像される動作を映像データにおいて判定する、動作認識モジュール１２０；映像データにおいて行われる動作の配列を判定して、活動が配列を使用して適切に行われたか判定する、活動認識モジュール１２２；所定の物体（複数可）を検索および検出するために映像データを処理する、物体検出モジュール１２４；および、検出物体に関する定量化を行って、物体と関連付けられる測定量を判定する、定量化モジュール１２６。これらの命令が、単一モジュールにおいて、または、異なるデバイスにおいて具現化される複数のモジュールとして、保存され得る実施形態が、考慮される。モジュール１１６〜１２６は、例示的な方法を参照して、後に記載される。

本明細書において使用されるソフトウェアモジュールは、プロセス検証ユニット１０２または他のデジタルシステムにより実行可能な、命令の任意の集合またはセットを網羅して、コンピュータまたは他のデジタルシステムを、ソフトウェアの意図するタスクを行うよう構成することを意図する。本明細書において使用される「ソフトウェア」という用語は、ＲＡＭ、ハードディスク、光ディスクなどの保存媒体に保存される、このような命令を網羅することを意図しており、さらに、ＲＯＭなどに保存されるソフトウェアである、いわゆる「ファームウェア」を網羅することを意図する。このようなソフトウェアは様々な手法で体系化されてよく、ライブラリ、リモートサーバなどに保存されるインターネットベースのプログラム、ソースコード、解釈コード、オブジェクトコード、直接的に実行可能なコードなどとして体系化される、ソフトウェアコンポーネントを含んでよい。ソフトウェアは、システムレベルのコード、または、サーバ（図示せず）または他の位置に常駐する他のソフトウェアに対する呼出し、を起動して、特定の機能を行うことが、考慮される。プロセス検証ユニット１０２の様々なコンポーネントは、バス１２８により全て接続されてよい。

引き続き図２を参照すると、プロセス検証ユニット１０２は、さらに、ネットワークインタフェースなど、外部デバイスと通信するための１つ以上の通信インタフェース１３０を含む。通信インタフェース１３０は、例えば、モデム、ルータ、ケーブル、および／またはイーサネット（登録商標）ポートなど、を含んでよい。通信インタフェース１３０は、映像データ１３２を入力として受信するよう適用されてよい。

プロセス検証ユニット１０２は、サーバコンピュータ、コントローラ、または、例示的な方法を行うための命令を実行可能な任意の他の計算デバイスなど、１つ以上の専用または汎用計算デバイスを含んでよい。

画像撮像デバイス１０６は、ビデオカメラまたは静止ショットカメラを含み得る。考慮される実施形態において、画像撮像デバイスは、例えば、１つの例において実験室など、対象エリアから、映像を撮像する１つ以上の監視カメラ（「ビデオカメラ１０６」）を含む。カメラの数は、監視されるエリアの規模により様々であってよい。複数のカメラの組み合わされた視界は、典型的には、監視エリアを取り囲むエリア全体を包含することが考慮される。ビデオカメラ１０６は、対象エリアの選択部分を拡大するよう動作する拡大鏡を含み得る。

引き続き図２を参照すると、システム１００は、プロセス検証ユニット１０２の一部であるか、または、プロセス検証ユニット１０２と通信する、保存デバイス１０８を含み得る。考慮される実施形態において、プロセス検証ユニット１０２は、保存デバイス１０８などの処理デバイスおよびメモリを含むか、または、対象の活動と関連付けられる予期行動および配列を保存するための保存デバイス１０８へアクセス可能な、サーバ（図示せず）と通信し得る。

映像データ１３２は、プロセス検証ユニット１０２により処理され、検証データ（例えば、定量的データが埋め込まれた映像データ、および、警告など）１３４を出力する。さらに、システム１００は、出力１３４を適切な形式でグラフィックユーザインタフェース（ＧＵＩ）１３６上に表示し得る。ＧＵＩ１３６は、情報をユーザへ表示するためのディスプレイ、および、命令を入力として受信するための、キーボードまたはタッチスクリーンまたは書き込み可能スクリーンなどのユーザ入力デバイス、および／または、ユーザ入力情報および命令選択をプロセッサ１１２へ伝達するための、マウス、タッチパッド、トラックボールなどのカーソル制御デバイス、を含み得る。代替的に、プロセス検証ユニット１０２は、検証出力をユーザデバイス１０４へ、さらなるユーザ点検のために提供し得る。

図３は、人間の実施者の活動ワークフローを有効化するための方法３００を描写する詳細なフローチャートを示す。本方法は、Ｓ３０２で開始される。映像緩衝モジュール１１８は、Ｓ３０４で、映像データを画像撮像デバイスから取得する。Ｓ３０６で、行動認識モジュール１２０は、映像データのキーフレームを処理して、人間の実施者により行われる行動を映像ストリームにおいて判定する。１つの実施形態においてキーフレームを特定するために、システムにより監視および認識される人間の実施者によるジェスチャーは、システムが、システムに対する意図的なジェスチャーを行うことにより処理して認識するべきフレームに、信号を送り得る。代替的に、キーフレームは、音響フィードバックおよび音声認識など、他のキューを介して特定される。さらに、別の代替手段において、キーフレームは、例えば、人間の実施者によるキーストロークまたはバーコードの走査などのＧＵＩと、プロセス検証ユニット１０２と、の間の通信を介して、特定される。他の実施形態において、キーフレームは、特定の物体の外観により物体検出を介して、特定され得る。さらなる実施形態において、キーフレームは、映像データに対する映像分析を介して特定され、動きの欠落を含むセグメントを検出し得る。別の実施形態において、システムは、予期行動の知識を有し、映像データの予期行動と一致する行動を、人間の実施者が指示することなく検索する。

モジュール１２０は、映像データのキーフレームにおいて行われる行動を、行動を局所化することにより判定する。人間の行動を映像データにおいて検出および分類するために使用される、１つの当該の手法は、同時係属で米国整理番号第１４／５９６５９２号が共通して割り当てられている、２０１５年１月１４日出願のＪａｙａｎｔ Ｋｕｍａｒらによる開示「Ａｄａｐｔｉｖｅ Ｓａｍｐｌｉｎｇ Ｆｏｒ Ｅｆｆｉｃｉｅｎｔ Ａｎａｌｙｓｉｓ Ｏｆ Ｅｇｏｃｅｎｔｒｉｃ Ｖｉｄｅｏｓ（一人称視点の映像の効率的な分析のための適応サンプリング）」に提供されている。この手法は、映像の重要な（サブ）領域において高密度のサンプリングを、および、重要でない領域において低密度のサンプリングを、生じさせる。適応サンプリングは、サンプリングを、フレームのサブ領域に特定の期間にわたって行って、時空間（ＳＴ）パッチまたは記述子をサブ領域から取得する。

行動が行われるか判定しようとする際、モジュール１２０は、映像ストリームの行動または物体移動などの視覚表現（すなわち、オプティカルフロー）を検索し得る。必然的に、モジュール１２０は、予期行動の近辺を認識しようとする。一般的に、モジュール１２０は、Ｓ３０８で、映像フレームにおける対象領域（または、ＳＴパッチ）の周囲の特性の縮小セットを抽出する。映像から抽出される特性の種類に対する限定はないが、限定されない例は、ＳＩＦＴ（スケール不変特徴量変換）およびＨＯＧ（勾配方向のヒストグラム）特性、局所的な二値パターン（ＬＢＰ）、３Ｄ化された特性を、空間時間対象点（ＳＴＩＰ）等と併せて、含み得る。対象領域は、映像フレームに現れることが予期される物体（例えば、人間実施者の手など）の位置を含み得る。

実例的な例として、適応サンプリングは、人間の実施者の手を含むサブ領域において行われてよい。手は、同時係属の開示に記載されている、ハンドセグメンテーションアルゴリズムを介して検出されてよい。１つ以上の特性は、人間の実施者の手を含むサブ領域内で特定されるＳＴパッチから抽出されてよい。言い換えると、この手法は、手のジェスチャーを認識することにより行動を分割する。ジェスチャー認識は、後続の映像フレームにおいて行動が生じる可能性があるシステムを警告する。したがって、システムは、行動を既知の行動と一致させることを目的とする。したがって、Ｓ３１０で、行動分類器は、その後１つ以上の特性に適用されて、適応的にサンプリングされる１つ以上のフレームにおいて起こっている行動を特定する。

分類器が行動クラスを出力することに応答して、モジュール１２０は、出力を、人間の実施者により行われる行動と見なす。言い換えると、システムは、行動を、監視される映像ストリームにおける予期行動と一致すると見なす。システムは、Ｓ３１２で、監視される活動において人間の実施者により適切に果たされたと認識される行動を検証する。分類器が低い分類スコアを出力することに応答して、モジュール１２０は、出力を、予期行動が監視活動に存在しないことを示すと見なす。監視される映像ストリームにおいて行動が検出されないことに応答して、システムは、Ｓ３１４で、監視される活動におけるエラーを表す警告を生成し得る。

引き続き図３を参照すると、行動モジュール１２０は、検出／認識された行動を、行動の配列を使用して活動を認識する、活動認識モジュール１２２へ提供する。前処理の局面の間、活動認識モジュール１２２は、映像ストリームにおいて行われることが予期される対象の活動に関する入力を受信する。この対象の活動は、検証プロセスにおいて使用される基準活動として扱われる。モジュール１２２は、保存デバイスから、対象の活動と関連付けられる、行動の予期配列を取得する。言い換えれば、モジュール１２２は、映像ストリームにおいて検出されるべき段階の配列を判定して、監視される活動が適合していること、および／または、適切に行われること、を検証する。

活動認識モジュール１２２は、検出／認識された行動を、行動認識モジュール１２０から受信する。１つの実施形態において、行動認識モジュール１２０は、各々が検出される際に、行動をリアルタイムで、活動認識モジュール１２２へ送信し得る。活動認識モジュール１２２は、各行動を予期配列と比較し得る。別の実施形態において、行動認識モジュール１２０は、検出された行動の数を併せて活動認識モジュール１２２へ送信し得る。活動認識モジュール１２２は、行動を、映像データにおいて行動が検出された配列内へ順序付ける。モジュール１２０は、Ｓ３１６で、検出された行動の配列を、行動の予期配列と比較する。判定された行動の配列が行動の予期配列と一致することに応答して、システムは、Ｓ３１８で、人間の実施者により適切に果たされたとして活動を検証する。判定された行動の配列が予期配列と一致しないことに応答して、システムは、Ｓ３１４で、監視される活動におけるエラーを示す警告を生成／誘引し得る。

同様に、検出された行動が、配列において予期行動を満たすが、配列に属さない（すなわち、順番から外れている）ことに応答して、システムは、監視される活動におけるエラーを示す警告を生成／誘引し得る。しかしながら、対象の活動が、動作の順番において余裕を容認する場合、活動認識モジュール１２２は、保存デバイスから、予期行動が現れるべき所定の配列の範囲を受信し得る。モジュール１２２は、認識された行動が行動の配列において検出された箇所に閾値化動作を行い、活動が正確に行われたか否か判定する。検出された行動が所定の配列の範囲内にあることに応答して、システムは、活動が正確に行われたことを検証し得る。検出された行動が所定の配列の範囲内にないことに応答して、システムは、監視される活動におけるエラーを示す警告を生成／誘引し得る。

１つの実施形態において、警告はリアルタイムで、例えば、ＧＵＩ上のメッセージ、可聴メッセージ、または触覚メッセージとして、提供され得る。別の実施形態において、システムにより生成される警告は、ユーザデバイス１０４へ提供される通知を含み得る。１つの考慮される実施形態において、通知は、特定の段階またはプロセス全体が、さらなる精査を受けることを提案および／または表示し得る。追加的な精査を支援するために、以下に述べられるように、警告には、映像データにシステムにより埋め込まれた情報が提供され得る。

引き続き図３を参照すると、この精査または追加的な検証を支援するために、システムは、映像データから抽出される表現または物体を分析する。特定の物体は、予期行動と関連付けられる。これらの物体は、人間の実施者が行動を行う際に使用する機器を含み得る。人間の実施者（実験助手など）が成分を測定または混合する、実例的な例において、物体は、注射器、秤皿、または小瓶などを含み得る。行動を検出することに応答して、システムは、物体の分析、または、物体に対応する測定の読み込み、を行って、行動が適切に行われたか判定し得る。

本明細書において、物体を構成するものに対する限定はないが、本開示は、予期される測定値が活動の特定の局面で物体と関連付けられ得ることを考慮している。主として、保存デバイスは、物体および／または予期行動に対応する所定の測定データを保存する。１つの実施形態において、定量化モジュール１２６は、物体を領域画像において分析し、物体と関連付けられる定量化を判定する。例えば、予期行動が、成分を注射器内へ注入することを含んだ場合、および、認識プロセスが、行動が行われたと判定した場合、本開示は、さらに、正しい量の成分が注射器内へ注入されたことを、定量化を所定の測定値と比較することにより検証し得る。図４Ａは、注射器４００を含む物体の実例的な例である。注射器は、プラスチックの円筒／注射器管４０２、プランジャーヘッド４０４、およびゴムのプランジャーヘッド／ストッパ４０６を含む。

物体が注射器または同様の機器／デバイスを含む場合、定量化は、液体の必要量測定を含み得る。同様に、予期行動が、小瓶をカプセルで満たすことを含む場合、および、認識プロセスが、行動が適切に行われたことを判定した場合、システムは、さらに、正確な錠剤数が実際に小瓶に追加されたことを検証し得る。行動が、ボトル、容器、または小瓶を満たす場合、物体（複数可）は、小瓶内へ配送する製品である。図５は、錠剤を含む物体を示す。

最初に、物体検出モジュール１２４は、物体が行動の配列中に現れる時点に対応する、映像フレームを選択し得る。したがって、物体検出モジュール１２４は、Ｓ３２０で、物体を検出する。対象の物体は、関連する映像フレームにおいて、物体検出および位置確認のための任意の既知のコンピュータ視覚アルゴリズムを使用して、検出されてよい。１つの実施形態において、モジュール１２４は、二値画像（または、濃淡画像）を生成して、物体が画像フレームにおいて配置されている場所を判定する。図４Ｂは、撮像された画像フレームと分離された、図４Ａの注射器／対象物体を示す二値画像である。物体の色、形状、および、変形可能なパートモデル（Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔ Ｍｏｄｅｌ）などの技術は、画像において物体を分離して、充填または未充填部分を分割し得る。より洗練された方法が、背景シーンが、より複雑になる場合、および、物体が異なる形状である場合に、適用され得る。

実例的な例において、注射器は、関連する映像フレームにおいて検出され、人間の検閲者が後に円筒４０２の液体の量を検証する。定量化モジュール１２６は、Ｓ３２２で、物体／注射器と関連付けられる測定値を判定する。１つの実施形態において、定量化モジュール１２６は、ストッパの位置を、二値画像の画素を合計することにより特定し得る。この動作を緩和するために、二値画像は、水平または垂直位置へ回転され得る。図４Ｃは、水平方向に回転された、図４Ｂの注射器の二値画像を示す。図４Ｄは、列指標として画素和により描画された、回転された二値画像の画素加算を示す。定量化モジュール１２６は、プロットにおけるストッパの位置を特定し、このプロット位置を使用して、円筒４０２に収容される液体の容量または充填レベルを、計算または判定し得る。１つの実施形態において、保存デバイスは、ストッパ位置を充填レベルと関連付けるＬＵＴを保存することができ、モジュール１２６は、ＬＵＴにアクセスして、プロットにおけるストッパの相対的な位置を、注射器における液体の容量（「測定値」）で変換し得る。しかしながら、本明細書において、液体の充填レベルを計算するために使用される手法に限定はない。

上述したように、物体検出および分割技術により、システムは、連続した分量の測定を行うことができる。類似の技術は、定量化モジュール１２６により使用されて、錠剤などの可算分量に対する測定値（すなわち、数）を判定し得る（図５参照）。定量化／測定値は、さらに、ＯＣＲを秤皿のデジタル読み出しに対して行うなど、機器から数字を読み込むことにより、記録され得る。

図３に戻ると、定量化モジュール１２６は、Ｓ３２４で、測定値を映像ストリームまたは画像フレーム内へメタデータとして埋め込み得る。この方法の１つの態様では、人間の実施者は中断された中間タスクではなく、手動で値をコンピュータへ入力する。言い換えると、定量化特性により、例えば、行動が精査を受けるべきであることを警告が示す際、後の自動または手動の点検のための自動測定判定が可能となる。潜在性または活動ワークフローと関連付けられる潜在的エラーの表示を受信することに応答して、システムは、埋め込まれた映像データをユーザデバイスへ提供し得る。別の実施形態において、システムは、埋め込まれた測定値を映像データから抽出し、抽出された測定値をユーザデバイスへ提供し得る。さらに別の実施形態において、システムは、抽出された測定値を所定の値と比較し得る。抽出された測定値と所定の値との間の差が、所定の閾値を満たし、所定の閾値より大きいことに応答して、警告通知（および／または、埋め込まれた映像データ、測定値など）を、ユーザデバイスへ提供し得る。さらに別の実施形態において、システムは、活動が検証されることに応答して、埋め込まれた映像データをユーザデバイスへ提供し得る。本方法は、Ｓ３２６で終了する。

活動が限定された人物により制御設定下で繰り返し行われる、特定の用途において、プロセスフロー認識段階は簡略化されて、以前に確認された記録映像（複数可）と照合され得る。この想定において、潜在的なエラーが検出されてよく、および、逸脱の度合い（エラーの大きさ）が測定されてよい。

制御方法が連続する行為または事象の形式で上記に図示および記載されているが、本開示の様々な方法またはプロセスが、このような行為または事象の図示される順番により限定されないことに留意されたい。この点において、以下に特に提供されない限り、一部の行為または事象は、異なる順番で起こってよく、および／または、本開示にしたがって本明細書に図示および記載されるものと異なる他の行為または事象と同時に起こってよい。さらに、全ての図示された段階が、プロセスまたは方法を本開示にしたがって実施するのに必要であるわけではなく、１つ以上のこのような行為が組み合わされてよいことに、留意されたい。本開示の図示される方法および他の方法は、ハードウェア、ソフトウェア、または、これらの組合せにおいて、本明細書に記載される制御機能性を提供するために実施されてよく、上記で図示されたシステム１００を含むが、それに限定されない、任意のシステムに適用されてよい。ここで、本開示は、本明細書に図示および記載される特定用途および実施形態に限定されない。

Claims (8)

1. 人間の実施者の活動ワークフローを検証するためのコンピュータにより実行される方法であって、前記方法は、サーバコンピュータにおいて、
   前記サーバコンピュータと通信する保存デバイスから、対象の活動と関連付けられる行動の予期配列を取得すること、
   映像ストリームを、関連する人間の実施者により行われる活動を監視する画像撮像デバイスから受信すること、
   外部キューを前記映像ストリームにおいて検出すること、
   前記外部キューを撮像するフレームを、キーフレーム配列における第１のフレームと見なすこと、
   前記キーフレーム配列から特性を抽出すること、
   前記抽出された特性を少なくとも１つの分類器に適用して、前記関連する人間の実施者により前記キーフレーム配列において行われる行動を判定すること、
   前記キーフレーム配列における前記行動が前記対象の活動における予期行動と一致すると判定することに応答して、前記行動を前記監視される活動において行われるとして検証すること、
   前記検証された行動の順序付けられた配列を前記予期配列と比較すること、
   前記順序づけられた配列が前記キーフレーム配列と一致しないことに応答して、前記監視される活動におけるエラーを示す警告を生成すること、
   前記順序づけられた配列が前記キーフレーム配列と一致することに応答して、前記キーフレーム配列における物体に関する定量化を行って、前記物体と関連付けられる測定値を判定すること、および
   前記サーバコンピュータと通信するユーザデバイスに、前記測定値を前記映像ストリームにおいてメタデータとして転送すること、
   を備える、方法。
2. 前記外部キューは、
   物体検出による特定の物体の外観、
   動きの欠落を含むセグメントを検出するための映像分析、
   監視される前記人間の実施者によるジェスチャー、
   音響フィードバック、
   音声認識、
   ＧＵＩでの前記関連する人間の実施者による入力、および、
   上記の組合せ、
   からなる群から選択される、請求項１に記載の方法。
3. 前記定量化は、
   画像フレームに配置される前記物体の二値画像を生成すること、および、
   前記二値画像における画素を合計して前記測定値を計算すること、
   を含む、請求項１に記載の方法。
4. エラーが前記活動ワークフローと関連付けられることに応答して、前記方法は、
   前記抽出された測定値を所定の値と比較すること、および、
   前記抽出された測定値と前記所定の値との間の差が、所定の閾値を満たし、所定の閾値を超えることに応答して、警告を生成すること、
   をさらに備える、請求項１に記載の方法。
5. 人間の実施者の活動ワークフローを検証するシステムであって、
   命令が保存された保存デバイスであって、前記命令は、
   対象の活動と関連付けられる行動の予期配列を取得すること、
   映像ストリームを、関連する人間の実施者により行われる活動を監視する画像撮像デバイスから受信すること、
   外部キューを映像ストリームにおいて検出すること、
   前記外部キューを撮像するフレームを、キーフレーム配列における第１のフレームと見なすこと、
   前記キーフレーム配列から特性を抽出すること、
   前記抽出された特性を少なくとも１つの分類器に適用して、前記関連する人間の実施者により行われる行動を前記キーフレーム配列において判定すること、
   前記キーフレーム配列における前記行動が前記対象の活動における予期行動と一致すると判定することに応答して、前記行動を、前記監視される活動において行われるものとして検証すること、
   前記検証された行動の順序を、前記キーフレーム配列のための予期配列と比較すること、
   前記順序づけられた配列が前記キーフレーム配列と一致しないことに応答して、前記監視される活動におけるエラーを示す警告を生成すること、
   前記順序づけられた配列が前記キーフレーム配列と一致することに応答して、前記キーフレーム配列における物体に関する定量化を行って、前記物体と関連付けられる測定値を判定すること、および
   前記測定値を映像ストリームにおいてメタデータとして転送すること、
   を含む保存デバイスと、
   コンピュータデバイスの一部をなし、前記命令を実行するように構成された少なくとも１つのハードウェアプロセッサと、
   前記コンピュータデバイスと通信し、前記メタデータを受信するユーザデバイスと、
   を備える、システム。
6. 前記外部キューは、
   物体検出による特定の物体の外観、
   動きの欠落を含むセグメントを検出するための映像分析、
   監視される前記人間の実施者によるジェスチャー、
   音響フィードバック、
   音声認識、
   ＧＵＩでの前記関連する人間の実施者による入力、および、
   上記の組合せ、
   からなる群から選択される、請求項５に記載のシステム。
7. 前記命令は、
   画像フレームに配置される前記物体の二値画像を生成すること、および、
   前記二値画像における画素を合計して前記測定値を計算すること、
   をさらに含む、請求項５に記載のシステム。
8. 人間の実施者の活動ワークフローを有効化するためのコンピュータにより実行される方法であって、前記方法は、サーバコンピュータにおいて、
   対象の活動と関連付けられる行動の予期配列を判定すること、
   映像ストリームを、関連する人間の実施者により行われる活動を監視する画像撮像デバイスから受信すること、
   前記関連する人間の実施者により行われる少なくとも２つの行動を前記監視される映像ストリームにおいて判定するために、選択されたフレームから抽出された特性を分類器に適用すること、
   前記少なくとも２つの行動の配列が前記監視される映像ストリームにおける予期行動と一致すると判定することに応答して、前記監視される活動により調合された関連する製品の品質を検証することであって、前記検証することは、前記映像ストリームのキーフレーム配列における物体を検出することを含む、検証すること、
   前記物体に関する定量化を行って、前記映像ストリームにおいて測定値をメタデータとして判定すること、
   前記測定値を前記メタデータとして前記映像ストリームに埋め込むこと、
   前記監視される映像ストリームにおける前記行動を判定しないことに応答して、前記監視される活動におけるエラーを示す警告を生成すること、および、
   前記メタデータと前記警告との一方を、前記サーバコンピュータと通信するユーザデバイスに転送すること、
   を備える、方法。

Images