JP6751806B2 - エンティティに関連する欠落情報を補足するために複数のデータストリームを使用するエンティティ認識 - Google Patents

Description

本開示は、全般的に、複数のデータストリームを使用するエンティティ認識のためのデバイスおよび方法に関する。

知識グラフは、特定のカテゴリ、プロパティを、または或るドメインのクラス、トピック、データおよび／もしくはエンティティの間の関係を、表現、指定および／または定義するために使用され得る。知識グラフは、或るドメインのクラス、トピック、データおよび／またはエンティティを表現するノードと、そのドメインのクラス、トピック、データおよび／またはエンティティ間の関係を表現しノードをリンクするエッジとを含み得る。知識グラフは、分類システム、機械学習、コンピュータ処理および／または同様のものにおいて使用され得る。

一部の実装によれば、方法は、第１のデータストリームおよび第２のデータストリームを受信するステップ、第１のデータストリームの画像データ内に複数のエンティティが存在すると判断するステップ、第１のデータストリームの画像データ内で複数のエンティティのうちの或るエンティティが認識不能であると判断するために、第１のデータストリームを分析するステップ、第１のデータストリームおよび第２のデータストリームに関連する共通知識グラフをデバイスによって取得するステップであって、共通知識グラフは、複数のエンティティについての情報を含む、取得するステップ、第１のアノテーション付き知識グラフを生成するために、第１のデータストリーム内の複数のエンティティの第１の対応する認識可能な特性を用いて、共通知識グラフにアノテーションを付けるステップ、第２のアノテーション付き知識グラフを生成するために、第２のデータストリーム内の複数のエンティティの第２の対応する認識可能な特性を用いて、共通知識グラフにアノテーションを付けるステップ、第１のアノテーション付き知識グラフおよび第２のアノテーション付き知識グラフに基づきエンティティが認識可能であるかどうかを判断するステップ、ならびに／またはエンティティが認識可能であるかどうかに基づき、第１のデータストリームに関連するアクションを実行するステップを含んでもよい。

上記の方法の一部の可能な実装によれば、複数のエンティティについての情報は、複数のエンティティのうちの１つ以上の、対応するアイデンティティを示してもよい。

上記の方法の一部の可能な実装によれば、本方法は、画像データがエンティティの認識不能な特性を含むことに基づき、エンティティが認識不能であると判断するステップをさらに含んでもよい。

上記の方法の一部の可能な実装によれば、本方法は、第１のアノテーション付き知識グラフと第２のアノテーション付き知識グラフとを比較することに基づきエンティティが認識可能である確率を判断するステップをさらに含んでもよく、アクションを実行するステップは、エンティティが認識可能である確率を第１のデータストリームに関連するメタデータの中で示すステップを含んでもよい。

上記の方法の一部の可能な実装によれば、アクションを実行するステップは、第１のアノテーション付き知識グラフと第２のアノテーション付き知識グラフとを比較することに基づきエンティティが認識可能である確率を判断するステップと、確率が閾値を満たすと判断するステップと、確率が閾値を満たすことに基づき、エンティティの認識不能な特性に対応する、第２のデータストリームからの認識可能な特性を含むように第１のデータストリームを補足するステップと、を含んでもよい。

上記の方法の一部の可能な実装によれば、第１のデータストリームおよび第２のデータストリームは、同じ事象、同じ場所、同じ人または同じ期間のうちの少なくとも１つに関連してもよい。

上記の方法の一部の可能な実装によれば、画像データは、第１の画像データを含んでもよく、第２のデータストリームは、第２の画像データを含み、第２の画像データは、複数のエンティティの第２の対応する認識可能な特性を含んでもよい。

上記の方法の一部の可能な実装によれば、第２のデータストリームは、画像データ、オーディオデータ、テキストデータまたはセンサデータのうちの少なくとも１つを含んでもよい。

一部の実装によれば、デバイスは、１つ以上のメモリと、１つ以上のメモリに通信結合された１つ以上のプロセッサと、を含んでもよく、１つ以上のプロセッサは、第１のデータストリームおよび第２のデータストリームを受信すること、第１のデータストリームおよび第２のデータストリームに関連する共通知識グラフを取得することであって、共通知識グラフは、第１のデータストリームおよび第２のデータストリームに関連する情報を含む、取得すること、エンティティが第１のデータストリーム内の認識不能な特性を有することに基づき、エンティティが第１のデータストリーム内の認識不能なエンティティであると検出すること、第１のアノテーション付き知識グラフを生成するために、認識不能な特性および第１のデータストリーム内で識別されたエンティティの第１の対応する認識可能な特性を用いて共通知識グラフにアノテーションを付けること、第２のアノテーション付き知識グラフを生成するために、第２のデータストリーム内で識別されたエンティティの第２の対応する認識可能な特性を用いて共通知識グラフにアノテーションを付けること、第２のアノテーション付き知識グラフ内の第２の対応する認識可能な特性のうちの１つが第１のアノテーション付き知識グラフ内の認識不能な特性に対応するかどうかを、第１のアノテーション付き知識グラフおよび第２のアノテーション付き知識グラフに基づき判断すること、第２の対応する認識可能な特性のうちの１つが認識不能な特性に対応するかどうかに基づき、エンティティが識別可能なエンティティである確率を判断すること、および／または確率に基づきアクションを実行すること、をする。

上記のデバイスの一部の可能な実装によれば、共通知識グラフは、第１のデータストリームを提供する１つ以上のデータストリームデバイスにより監視される事象、場所、人または期間のうちの少なくともに関連してもよい。

上記のデバイスの一部の可能な実装によれば、共通知識グラフは、エンティティが第１のデータストリームおよび第２のデータストリームに含まれていることを示してもよい。

上記のデバイスの一部の可能な実装によれば、１つ以上のプロセッサは、第１のアノテーション付き知識グラフを生成するために共通知識グラフにアノテーションを付けるとき、第１のデータストリーム内で識別されたエンティティの第１の対応する認識可能な特性を識別するために、第１のオブジェクト認識手法を使用して第１のデータストリームを分析することであって、第１のオブジェクト認識手法は、第１のデータストリームの第１のタイプに関連する、第１のデータストリームを分析することと、第１のアノテーション付き知識グラフを生成するために、第１の対応する認識可能な特性と、共通知識グラフの対応するノードとを関連付けることと、認識不能な特性が、認識不能な特性に対応する共通知識グラフの特定のノードに関連することを示すことと、をしてもよく、１つ以上のプロセッサは、第２のアノテーション付き知識グラフを生成するために共通知識グラフにアノテーションを付けるとき、第２のデータストリーム内で識別されたエンティティの第２の対応する認識可能な特性を識別するために、第２のオブジェクト認識手法を使用して第２のデータストリームを分析することであって、第２のオブジェクト認識手法は、第２のデータストリームの第２のタイプに関連する、第２のデータストリームを分析することと、第２のアノテーション付き知識グラフを生成するために、第２の対応する認識可能な特性と、共通知識グラフの対応するノードとを関連付けることと、をしてもよい。

上記のデバイスの一部の可能な実装によれば、第１のデータストリームは、当初受信された第１のデータストリームであってもよく、１つ以上のプロセッサは、アクションを実行するとき、再構築された第１のデータストリームをもたらすために、認識不能な特性に関連するデータを第２の対応する認識可能な特性のうちの認識可能な特性に関連するデータにより置き換えることにより、当初受信された第１のデータストリームを再構築することと、再構築された第１のデータストリームを、当初受信された第１のデータストリームに関連して格納することと、をしてもよい。

上記のデバイスの一部の可能な実装によれば、１つ以上のプロセッサは、アクションを実行するとき、第２の対応する認識可能な特性のうちの１つが認識不能な特性に対応することに基づき、第２の対応する認識可能な特性のうちの１つに関連するメタデータを用いて第１のデータストリームを補足してもよい。

一部の実装によれば、非一時的コンピュータ可読媒体は、命令を格納してもよく、命令は、１つ以上の命令を含み、１つ以上の命令は、１つ以上のプロセッサにより実行されると１つ以上のプロセッサに、第１のデータストリームおよび第２のデータストリームを受信することと、第１のデータストリームおよび第２のデータストリームに関連する共通知識グラフを取得することと、エンティティが共通知識グラフ内に表現されていると判断することと、第１のデータストリーム内のエンティティの認識不能な特性を判断することと、第１のアノテーション付き知識グラフを生成するために、認識不能な特性および第１のデータストリーム内で識別されたエンティティの第１の対応する認識可能な特性を用いて共通知識グラフにアノテーションを付けることと、第２のアノテーション付き知識グラフを生成するために、第２のデータストリーム内で識別されたエンティティの第２の対応する認識可能な特性を用いて共通知識グラフにアノテーションを付けることと、第１のアノテーション付き知識グラフおよび第２のアノテーション付き知識グラフに基づき、エンティティの認識可能な特性が第２のデータストリーム内にあると判断することであって、第２のデータストリーム内のエンティティの認識可能な特性は、第１のデータストリーム内の前記エンティティの認識不能な特性に対応する、第２のデータストリーム内にあると判断することと、エンティティの認識可能な特性が第２のデータストリーム内にあると判断することに基づき、アクションを実行することとをさせる。

上記の非一時的コンピュータ可読媒体の一部の可能な実装によれば、第１のデータストリームは、第２のデータストリームと異なる期間に関連してもよい。

上記の非一時的コンピュータ可読媒体の一部の可能な実装によれば、第１のデータストリームと第２のデータストリームとは、異なるタイプのデータストリームであってもよい。

上記の非一時的コンピュータ可読媒体の一部の可能な実装によれば、１つ以上のプロセッサにアクションを実行させる１つ以上の命令は、１つ以上のプロセッサに、第１のアノテーション付き知識グラフと第２のアノテーション付き知識グラフとを比較することに基づき、認識不能な特性がエンティティに関連する確率を判断することと、確率が閾値を満たすと判断することと、確率が閾値を満たすことに基づき、認識可能な特性を含むように第１のデータストリームを補足することと、をさせてもよい。

上記の非一時的コンピュータ可読媒体の一部の可能な実装によれば、第１のデータストリームは、当初受信された第１のデータストリームであってもよく、１つ以上のプロセッサにアクションを実行させる１つ以上の命令は、１つ以上のプロセッサに、再構築された第１のデータストリームをもたらすために、認識不能な特性に関連するデータを認識可能な特性に関連するデータにより置き換えることにより、当初受信された第１のデータストリームを再構築することと、再構築された第１のデータストリーム内でエンティティが識別されるとの通知を提供することと、をさせてもよい。

上記の非一時的コンピュータ可読媒体の一部の可能な実装によれば、１つ以上のプロセッサにアクションを実行させる１つ以上の命令は、１つ以上のプロセッサに、認識不能な特性に対応する認識可能な特性に基づき、認識可能な特性に関連するメタデータを用いて第１のデータストリームを補足させてもよい。

本願明細書に記載される例示の実装の図である。 本願明細書に記載される例示の実装の図である。 本願明細書に記載される例示の実装の図である。 本願明細書に記載されるシステムおよび／または方法が実装され得る例示の環境の図である。 図３の１つ以上のデバイスの例示のコンポーネントの図である。 エンティティに関連する欠落情報を補足するために複数のデータストリームを使用してエンティティを認識する例示のプロセスのフローチャートである。 エンティティに関連する欠落情報を補足するために複数のデータストリームを使用してエンティティを認識する例示のプロセスのフローチャートである。 エンティティに関連する欠落情報を補足するために複数のデータストリームを使用してエンティティを認識する例示のプロセスのフローチャートである。

以下の例示の実装の詳細な説明は、添付の図面を参照する。異なる図面にある同じ参照番号は、同じまたは類似の要素を特定することがある。

データストリーム（例えばビデオストリーム、オーディオストリーム、テキストストリームおよび／または同様のもの）の中のエンティティを認識することは、データマイニング、ｅディスカバリ、ユーザプロファイリングおよび／または同様のものなど、様々な用途において有用であろう。データストリームは、情報を含む一連のデータまたはデータのシーケンスを含み得る。データストリームは、カメラ、マイクロフォン、ユーザデバイス、サーバおよび／または同様のものなどの１つ以上のデバイスにより提供され得る。様々な手法（例えばオブジェクト認識、文字認識、音声認識、発話テキスト化手法および／または同様のもの）を、データストリームの中のエンティティを認識するために使用できる。しかしながら、場合によっては、エンティティの特定の特性が、エンティティを認識不能にさせることもある。例として、ビデオストリーム（画像データまたは画像のストリームを含み得る）において、（例えば、人の背中がビデオストリームの画像を捕捉するカメラに向かっていることが理由で）ビデオストリームのいずれの画像または部分の中にも人の識別可能な特徴（例えば人の顔）が含まれていない場合、その人は認識可能でないかもしれない。さらに、または代わりに、テキストデータ（例えば、（例えばエンティティの）プロファイル、会話を文字起こししたもの、書籍、新聞記事および／または同様のものなどのテキストファイル）またはテキストストリーム（例えば一連のテキストメッセージ、電子メールおよび／もしくは同様のもの、ならびに／または同様のもの）において、人についてテキストストリーム内で議論されているがその人の名前がテキストストリームの中に含まれない（例えばその人が代名詞で言及されている）場合、その議論されている人は識別可能でないかもしれない。

本願明細書に記載される一部の実装は、データストリームアナライザが、データストリームの中の欠落情報を検出して、データストリームに関連する別のデータストリームからの情報を使用して当該欠落情報を補足できるようにする。例として、本願明細書に記載されるように、データストリームアナライザは、データストリーム内の認識不能なエンティティまたは認識不能な特性を有するエンティティを検出し、別のデータストリーム（またはデータのセット）からのデータおよび／または情報を使用して、エンティティを認識しまたは認識不能なエンティティに対応するエンティティの認識可能な特性を識別してもよい。したがって、そのような事例において、データストリーム内の認識不能なエンティティを、別のデータストリームからの情報を使用して認識できる（またはエンティティが特定のエンティティである確率を少なくとも認識できる）。例として、（例えばエンティティの認識可能な特性（例えばエンティティの名前、エンティティの顔、エンティティに関連する音および／または同様のもの）がビデオストリームにないことが理由で）或る事象に関連するビデオストリームの中のエンティティが認識できない場合、データストリームアナライザは、別のデータストリーム（例えば事象の別のビデオストリーム、事象のオーディオストリーム、事象に関連するテキストストリーム（または会話）、事象の文字起こしをしたものおよび／または同様のもの）を使用し、別のデータストリーム内のデータおよび／または情報を使用してエンティティを認識してもよい。一部の実装において、１つ以上の知識グラフが使用および／または生成されて、１つのデータストリーム内のエンティティの認識不能な特性が識別され、別のデータストリーム内のエンティティの対応する認識可能な特性が識別されてもよい。例として、データストリームアナライザは、各データストリーム内の識別可能な情報を用いて共通知識グラフ（例えば両方のデータストリームまたはデータストリームのセットに関連する知識グラフ）にアノテーションを付けて、データストリームのアノテーション付き知識グラフを生成してもよい。データストリームアナライザは、アノテーション付き知識グラフを比較して、１つのデータストリーム内の欠落情報が別のデータストリームに含まれているかどうか、および／または１つのデータストリーム内の欠落情報が別のデータストリーム内にある情報に対応する確率を判断してもよい。

このようにして、データストリームを分析してデータストリーム内の１つ以上のエンティティ（またはデータストリームの中で表現された１つ以上のエンティティ）を認識するプロセスの異なるいくつかの段階が自動化され、これにより、プロセスから人間の主観性および無駄を除去でき、プロセスの速度および効率性を改善してコンピューティングリソース（例えばプロセッサリソース、メモリリソースおよび／または同様のもの）を節約できる。さらに、本願明細書に記載された実装は、以前は実行されなかった、または以前は人間の主観的な直感もしくは入力を使用して実行されていたタスクまたは役割を実行するために、コンピュータによる的確なプロセスを使用する。例として、現在、（例えばエンティティが認識不能な特性を有することに基づき）第１のデータストリーム内のエンティティが認識不能であると判断し、第２のデータストリームからのデータを使用して当該エンティティを認識する手法は存在しない。したがって、先行する手法を使用してエンティティがデータストリームの中に含まれていないと間違って判断することに関連するコンピューティングリソースを節約できる。最後に、データストリーム内の認識不能なエンティティを別のデータストリームからの情報を使用して識別するプロセスを自動化することで、他の場合であればエンティティを識別するためにデータストリームおよび／または他のデータストリームをスキャンしてユーザにより浪費されるであろうコンピューティングリソース（例えばプロセッサリソース、メモリリソースおよび／または同様のもの）が節約される。

図１は、本願明細書に記載される例示の実装１００の図である。例示の実装１００は、１つのデータストリーム内の欠落情報を識別して当該欠落情報を別のデータストリームからの情報を用いて補足するように構成されたデータストリームアナライザに関連してもよく、且つ／またはそれを介して実装されてもよい。本願明細書にさらに記載されるように、データストリームアナライザは、複数のデータストリームを受信し、共通知識グラフに関連して複数のデータストリームの中の情報を識別し、共通知識グラフおよび／または１つのデータストリームの特性に基づき１つのデータストリーム内の欠落情報を識別し、他の１つ以上のデータストリームの中の対応する情報を発見して、欠落情報の内容を、または欠落情報の内容が何であり得るかの確率を少なくとも、判断してもよい。したがって、例示の実装１００において、１つのデータストリーム内で欠落している情報を、別のデータストリーム（例えば１つのデータストリームの同じ事象、場所、エンティティ、期間および／または同様のものに関連する別のデータストリーム）からの情報を用いて補足できる。よって、データストリームアナライザは、他のデータストリームからの情報を使用して、１つのデータストリームの中のエンティティを適切に識別し、且つ／またはそれに応じて、１つのデータストリームのデータに基づき当該１つのデータストリームの中のエンティティが認識不能であるにもかかわらず当該エンティティを含むものとして１つのデータストリームを分類することができる。

図１に、参照番号１１０により示されているように、データストリームアナライザは、複数のデータストリームおよび共通知識グラフを受信して、認識不能なエンティティについてデータストリームを分析する。本願明細書で使用されるとき、エンティティとは、データストリームの中で表現され得る任意のオブジェクト、特徴、人、物、風景、場所および／または同様のものを指すことができる。さらに、本願明細書に記載されるとき、エンティティがデータストリームの中にあるとの記載は、エンティティを表す情報および／またはデータがデータストリームの中にあることを指す。図１の例に示されているように、データストリームアナライザは、１つ以上のビデオおよび／または画像ストリーム（本願明細書においてビデオストリームと呼ばれる）、オーディオストリーム、テキストストリームおよび／またはセンサストリームを受信し得るが、他のタイプのデータストリームおよび／または複数データストリームの組み合わせが受信されてもよい。

データストリームは、別のデバイス（例えばコンピュータ、携帯電話、タブレットコンピュータ、サーバおよび／または同様のものなどのユーザデバイス）から、データ構造（例えばデータベース、テーブル、タスクグラフ、インデックスおよび／または同様のもの）から、さらに／またはデータストリームを生成する１つ以上のデバイスから受信されてもよい。データストリームを生成するかかるデバイスは、カメラ、マイクロフォン、発話テキスト化デバイス、センサデバイス（例えばウェアラブルデバイスのセンサ、ヘルスモニタ、位置感知もしくは検出デバイス、モーションセンサ、モノのインターネット（ＩｏＴ：ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイスおよび／または同様のもの）および／または同様のもののうちの１つ以上を含み得る。一部の実装において、データストリームアナライザは、１つ以上の事象、場所、人、物および／または同様のものを監視するように構成されてもよい。例として、複数のデバイス（例えばカメラ、マイクロフォンおよび／または同様のもの）が、シーンを監視するように構成されてもよい。そのような事例において、複数のデバイスは、複数のデータストリームをデータストリームアナライザに提供して、データストリームアナライザが本願明細書に記載されるようにシーンの中のエンティティ（例えば人、オブジェクト、テキストおよび／または同様のもの）を識別できるようにしてもよい。一部の実装において、データストリームは同じ期間に関連してもよい。例として、同じ事象または同じ所の複数のビデオストリームが同時に捕捉されてもよい。さらに、または代わりに、データストリームは別々の期間に関連してもよい。例として、同じカメラからの複数のビデオストリームが、別々の瞬間（例えば、互いに数時間、数日、数週間、数ヶ月および／または同様に離れた時）に捕捉されてもよい。

共通知識グラフは、データストリームに関連する情報を含む知識グラフであってもよい。共通知識グラフは、データストリームの中で識別可能かもしれないエンティティまたはエンティティの特性についての非特異的情報を含む、一般および／または参照知識グラフであってもよい。例として、共通知識グラフは、特定のエンティティ（例えば人、オブジェクト、動物、場所、組織および／または同様のもの）がデータストリームの中で言及されているかもしれないこと、およびエンティティが物理的特徴（例えば人は顔、手、脚および／または同様のものを有するかもしれない）、名前、音（例えば人は認識可能な声を有するかもしれない）、年齢、アクションを実行する能力および／または同様のものなどの一般的特性を有するかもしれないことを示してもよい。さらに、または代わりに、共通知識グラフは、複数のデータストリームに共通して既知である情報を含んでもよい。例として、共通知識グラフは、データストリームの中で識別され得るエンティティの対応する特性（例えばエッジを介してエンティティにリンクされたノードとして）を伴う、既知の、またはデータストリームの中にある可能性が高い、識別可能なエンティティ（例えばノードとして）の知識グラフを含んでもよい。したがって、共通知識グラフは、複数のデータストリームに共通する情報を含む任意のタイプの知識グラフであってもよい。

このように、データストリームアナライザは、本願明細書に記載されるように、データストリームを受信し、且つ／またはデータストリームに関連する共通知識グラフを取得して、データストリームを分析し、且つ／またはデータストリームの中のエンティティを認識してもよい。

図１に、参照番号１２０によりさらに示されているように、データストリームアナライザは、（例えば共通知識グラフを使用して）データストリーム内の認識不能なエンティティを識別するためにメタデータを構造化してもよい。一部の実装によれば、データストリームアナライザは、メタデータを構造化して、データストリーム内のエンティティに関連するいずれかの情報が欠落しているかどうか、または認識不能であるかどうかを判断してもよい。例として、データストリームアナライザは、１つ以上のエンティティが認識不能な１つ以上の特性を有することに基づき、データストリームのうちの１つにおける１つ以上のエンティティが認識可能でないと判断してもよい。図１に示されているように、（例えばオブジェクト（または人）認識手法を使用して）３つのエンティティを備えたビデオストリームのフレームが検出されてもよい。３つのエンティティのうちの２つは、（例えば顔認識手法を使用して）ボブおよびジョンとして認識可能であってもよい。一部の実装において、ボブおよびジョンの年齢が、ビデオストリームに関連する追加情報（例えばメタデータ、会話の文脈（例えば、ボブおよびジョンが対応する年齢について議論した））および／または別のストリームに関連する追加情報を使用して取得されてもよい。第３のエンティティは、（例えば、エンティティの背中がカメラに面していて、顔認識手法がエンティティの顔を検出できなかったことが理由で）認識不能なエンティティであってもよい。よって、例示のビデオストリームからの認識可能な特性が、ビデオストリームのメタデータの中に構造化され、ビデオストリーム内に年齢４０のボブおよび年齢２５のジョンがいると示してもよい。一部の実装において、メタデータは、ビデオストリームに付加されること、ビデオストリームに関連して格納されること、および／またはビデオストリームに関連するデータ構造（例えばテーブル、インデックスおよび／または同様のもの）に格納されることが可能である。

一部の実装において、データストリームアナライザは、機械学習を使用してデータストリームに関連する情報および／またはメタデータを識別するモデルを訓練してもよい。例として、データストリームアナライザは、１つ以上のパラメータ（例えばエンティティもしくは特性の画像、エンティティもしくは特性の識別子（例えば名前、数および／もしくは同様のもの）、エンティティもしくは特性に関連する音および／もしくは同様のもの）ならびに／または１つ以上のオブジェクト認識手法、顔認識手法、発話認識手法、文字認識手法および／もしくは同様のものなどのエンティティおよび／もしくはエンティティの特性を検出する手法に基づき、エンティティおよび／またはエンティティの特性を検出するためにモデルを訓練してもよい。データストリームアナライザは、エンティティおよび／またはエンティティの特性の検出に関連する過去のデータを使用して（例えば、複数のデータストリームまたは他のデータストリームの以前の分析を使用して）モデルを訓練してもよい。エンティティまたは特性を検出するために過去のデータならびに１つ以上のパラメータおよび／または手法を使用して（例えば１つ以上のパラメータまたは手法をエンティティまたは特性を検出するモデルに対する入力として使用して）、データストリームアナライザは、エンティティ（または特定のエンティティ）および／またはエンティティの特性がデータストリームの中で表現されていると検出してもよい。

このように、データストリームアナライザは、データストリームの中の認識可能なエンティティおよび／または認識不能なエンティティ、ならびにデータストリームの中のエンティティの対応する認識可能な特性および／または認識不能な特性を識別するために、メタデータを構造化してもよい。

図１に、参照番号１３０によりさらに示されているように、データストリームアナライザは、認識可能なエンティティおよび／またはエンティティの認識可能な特性に関連する情報を用いてデータストリームの共通知識グラフにアノテーションを付ける。一部の実装によれば、データストリームアナライザは、共通知識グラフのノードおよび／またはエッジに対応する情報を付加および／または書き込みすることにより、共通知識グラフにアノテーションを付けてもよい。例として、人に対応する共通知識グラフのエンティティノードについて、データストリームアナライザは、データストリーム内で識別された人の特性を用いて人ノードの周りのノードにアノテーションを付けてもよい。例として、人ノードは、共通知識グラフ内の内部ノードであってもよく、人の一般的特性は、人ノードにリンクされたノードであってもよい。よって、データストリームアナライザは、データストリームからの情報を用いて共通知識グラフにアノテーションを付けることにより、対応するデータストリームのアノテーション付き知識グラフを生成してもよい。

共通知識グラフにアノテーションを付けるために、データストリームアナライザは、任意の適切なデータ分析手法（例えばオブジェクト認識手法、顔認識手法、発話認識手法、文字認識手法および／または同様のもの）を使用して、データストリーム内のエンティティの認識可能な特性を識別してもよい。データストリームアナライザは、認識可能な特性を、共通知識グラフの対応するノードに関連付けてもよい。例として、エンティティの名前が識別されれば、データストリームアナライザは、名前を識別する情報またはデータを用いて名前ノードにアノテーションを付けてもよく、エンティティの顔が識別されれば、データストリームアナライザは、エンティティの顔を表す情報またはデータを用いて顔ノードにアノテーションを付けてもよい。一部の実装において、データストリームアナライザは、認識不能な特性が、認識不能な特性に対応する共通知識グラフの特定のノードに対応することを示してもよい。例として、エンティティの背中が画像内で識別されれば（これはエンティティがあるがその特定のエンティティが認識不能であるとの判断を可能にする）、データストリームアナライザは、エンティティの背中を表すデータを用いて背中ノードにアノテーションを付けてもよい。

一部の実装において、データストリームアナライザは、機械学習を使用して、データストリーム内の情報を識別しその情報を用いて共通知識グラフにアノテーションを付けるモデルを訓練してもよい。例として、データストリームアナライザは、１つ以上のパラメータ（例えばエンティティのタイプもしくは特性のタイプの画像、エンティティのタイプもしくは特性のタイプの識別子、エンティティのタイプもしくは特性のタイプに関連する音および／もしくは同様のもの）ならびに／または１つ以上のオブジェクト認識手法、顔認識手法、発話認識手法、文字認識手法および／もしくは同様のものなどのエンティティのタイプおよび／もしくはエンティティのタイプ特性を検出する手法に基づき、エンティティのタイプおよび／またはエンティティの特性のタイプを検出するためにモデルを訓練してもよい。データストリームアナライザは、（例えば複数のデータストリームまたは他のデータストリームの以前の分析を使用して）エンティティのタイプおよび／またはエンティティの特性のタイプを検出すること、ならびにエンティティおよび／またはエンティティの特性に関連する対応する識別された情報を用いて共通知識グラフ（または他の共通知識グラフ）にアノテーションを付けることに関連する過去のデータを使用して、モデルを訓練してもよい。エンティティのタイプまたは特性のタイプを検出するために過去のデータおよび１つ以上のパラメータおよび／または手法を使用して（例えば１つ以上のパラメータまたは手法を共通知識グラフにアノテーションを付けるモデルに対する入力として使用して）、データストリームアナライザは、エンティティのタイプ（または特定のエンティティ）および／またはエンティティの特性のタイプ（または特定の特性）がデータストリームの中で表現されていると検出してもよい。

したがって、データストリームアナライザは、共通知識グラフおよびデータストリーム内で識別された情報を使用して、データストリームのアノテーション付き知識グラフを生成してもよい。共通知識グラフにアノテーションを付ける例が、少なくとも、図２Ａの例示の実装２００に関連して本願明細書に記載される。

図１に、参照番号１４０によりさらに示されているように、データストリームアナライザは、アノテーション付き知識グラフを比較して、１つのデータストリーム内で認識不能な特性を有し得るが別のデータストリーム内で認識可能な特性を有し得る候補エンティティを識別する。かかる事例において、データストリームアナライザは、アノテーション付き知識グラフに基づきエンティティが認識可能かどうかを判断してもよい。例として、エンティティの、例えば名前などの特性が１つのデータストリームの中でアノテーションを付けられていない（例えば、データストリームの認識可能な特性から名前が認識不能である）が、別のデータストリームの中でエンティティの対応する特性（名前）がアノテーションを付けられていれば、データストリームアナライザは、認識可能な特性がエンティティに対応すると判断してもよい。その結果、１つのデータストリーム内の当該エンティティに名前を割り当てることにより、認識可能な特性を使用してエンティティが認識されてもよい。

かかる事例において、複数のデータストリーム内で識別されたエンティティのアノテーション付き知識グラフが比較されてもよく、その結果、データストリーム内のエンティティの認識可能な特性および／または認識不能な特性が比較されて、どのエンティティが複数のデータストリームのうちの少なくとも２つ以上に共通するかを判断することができる。したがって、より多くの共通特性を示すエンティティの当該アノテーション付き知識グラフは、より少ない共通特性を有するアノテーション付き知識グラフ内の当該エンティティよりも、エンティティが同じエンティティであるより高い確率を示し得る。

一部の実装によれば、データストリームアナライザは、エンティティが特定のエンティティである確率を、複数のデータストリームのアノテーション付き知識グラフの比較に基づき判断してもよい。例として、データストリームアナライザは、複数のデータストリーム内で識別されたエンティティをスコアリングできるスコアリングシステムを使用してもよい。スコアリングシステムは、データストリームの共通知識グラフおよび／またはアノテーション付き知識グラフのエンティティの特定の特性に、特定の加重を適用してもよい。例として、人の顔の特性は、人の音声プロファイルよりも大きく加重されてもよく（例えば、おそらく、使用される顔認識手法が使用される音声認識手法よりも正確であることが理由で）、または人の名前が、人が特定の場所に関連するという事実よりも大きく加重されてもよく（例えば、そのことは必ずしもその人がデータストリームの捕捉時にその場所にいたことを示すとは限らないことが理由で）、且つ／または同様のことがされてもよい。一部の実装によれば、加重および／またはスコアリングシステムは、ユーザ入力を使用して調節可能であってもよく、且つ／または再設定されてもよい。

一部の実装において、データストリームアナライザは、機械学習を使用して、認識不能なエンティティが別のデータストリームの特定のエンティティである確率を判断する（または確率の判断に関連するスコアリングシステムを調節する）モデルを訓練してもよい。例として、データストリームアナライザは、エンティティがデータストリームの認識不能なエンティティである確率を、エンティティを含む別のデータストリームおよびデータストリームの、１つ以上のパラメータに基づき判断するためにモデルを訓練してもよい。１つ以上のパラメータは、別のデータストリーム内のエンティティの画像、別のデータストリーム内のエンティティの名前、データストリームおよび別のデータストリーム内のエンティティの存在に関連するタイミング、エンティティとデータストリームの事象および別のデータストリームの事象との関連付け、データストリームまたは別のデータストリームで言及されるエンティティの識別子、別のデータストリーム内で検出されるエンティティの音声、データストリームまたは別のデータストリームに関連する場所および／または同様のものを含んでもよい。データストリームアナライザは、認識不能なエンティティが認識可能なエンティティである確率の特定に関連する過去のデータを使用して（例えば、複数のデータストリームまたは他のデータストリームの以前の分析を使用して）モデルを訓練してもよい。過去のデータおよび１つ以上のパラメータを使用して（例えば特定のエンティティが認識不能なエンティティである確率を特定するモデルへの入力として１つ以上のパラメータを使用して）、データストリームアナライザは、データストリームのエンティティが別のデータストリームの中で認識された特定のエンティティである確率を判断してもよい。

このように、データストリームアナライザは、１つ以上のデータストリーム内の認識されたエンティティが別のデータストリーム内の認識不能なエンティティであるかどうかを判断してもよい。アノテーション付き知識グラフを比較して、１つのアノテーション付き知識グラフ内の認識されたエンティティが別のアノテーション付き知識グラフ内の認識不能なエンティティであるかどうかを判断する例は、図２Ｂの例示の実装２００に少なくとも関連して本願明細書に記載されている。

図１に、参照番号１５０によりさらに示されているように、データストリームアナライザは、データストリーム内の認識不能なエンティティのメタデータを決定する。例として、データストリームアナライザは、別のデータストリームに関連するアノテーション付き知識グラフ内の認識可能なエンティティからの特性（例えば名前、声、顔および／または同様のもの）を含むメタデータを決定してもよい。さらに、または代わりに、メタデータは、別のデータストリーム内の認識可能なエンティティがデータストリームの認識不能なエンティティである確率を含んでもよい。確率は、上述のように、アノテーション付き知識グラフ内のエンティティの特性の比較に基づきエンティティが認識可能であるかどうかに対応してもよい。

一部の実装において、データストリームアナライザは、データストリームアナライザの設定および／または構成に基づいてメタデータを決定してもよい。データストリームアナライザの設定および／または構成は、ユーザ入力および／またはデフォルト設定に従って設定されてもよい。一部の実装において、データストリームアナライザは、機械学習を使用して、データストリームの認識不能なエンティティおよび／または別のストリームの認識可能なエンティティに関連するメタデータを決定するモデルを訓練してもよい。例として、データストリームアナライザは、１つ以上のパラメータ（例えば特性のタイプ、類似した特性の数、特性が認識可能な特性であるかもしくは認識不能な特性であるか、および／または同様のもの）に基づき別のデータストリームのエンティティの特性を判断するためにモデルを訓練してもよい。データストリームアナライザは、データストリームの認識不能なエンティティのメタデータの決定に関連する過去のデータを使用して（例えば、複数のデータストリームまたは他のデータストリームの以前の分析を使用して）モデルを訓練してもよい。メタデータを決定しながら過去のデータおよび１つ以上のパラメータを使用して（例えばメタデータを決定するモデルへの入力として１つ以上のパラメータを使用して）、データストリームアナライザは、メタデータを決定し、且つ／またはデータストリームに関連してどのようにメタデータが提供されるかを選択してもよい。

このように、データストリームアナライザは、データストリームの中で、および／またはそれに関連して、どのメタデータが提供、付加および／または補足されるかを決定してもよい。よって、メタデータは、データストリームの中の認識不能なエンティティに関連する欠落情報を示し、且つ／またはデータストリームの中のエンティティを認識してもよい。例として、メタデータは、エンティティを識別するために情報（例えば識別情報）を画像に重ねさせてもよく、認識不能な特性をエンティティの認識可能な特性により置き換えてもよく、さらに／または同様のことをしてもよい。

図１に、参照番号１６０によりさらに示されているように、データストリームアナライザは、認識不能なエンティティに関連するメタデータを示す出力を提供する。図１に示されているように、データストリームアナライザは、データストリームからの認識不能なエンティティが年齢５０のポールである確率（例えば９１％）を提供してもよい。さらに、または代わりに、データストリームアナライザは、メタデータの中で、エンティティが（例えば複数のデータストリームに関連する任意のエンティティとして）認識可能である確率を示してもよい。メタデータは、データストリームに付加されてもよく、データストリームに関連して格納されてもよく、且つ／またはデータストリームに関連するデータ構造に格納されてもよい。一部の実装によれば、メタデータは（例えばユーザインターフェースを介して）ユーザに提供されてもよく、データストリームに付加されてもよく、（例えば図１のビデオストリームの中にエンティティの名前を含めることにより）データストリームの中に埋め込まれてもよく、且つ／または同様のことをされてもよい。

一部の実装において、データストリームアナライザは、複数のプロファイルを提供して、他のエンティティが認識不能なエンティティであり得る確率を示してもよい（例えばデータストリームアナライザにより受信された複数のデータストリームの中の、関連するかまたは含まれる他のエンティティ）。例として、２つ以上のエンティティがデータストリームの認識不能なエンティティに対応し得る確率が閾値を満たせば、メタデータは、両方のエンティティ（およびそのエンティティの対応する確率）に対応する情報を含んでもよい。したがって、ユーザは、複数のプロファイルそれぞれの情報からエンティティを識別してもよく、且つ／または複数のプロファイルにおいて提供される情報に基づきさらなる分析を実行してもよい。

一部の実装において、例として、或るエンティティがデータストリーム内の認識不能なエンティティに対応する確率が閾値（例えば９８％の可能性、９０％の可能性、８０％の可能性および／または同様のもの）を満たす場合、データストリームアナライザは、別のデータストリームからの認識可能な特性を用いて、認識不能なエンティティの認識不能な特性のデータおよび／または特性を補足してもよい。さらに、または代わりに、データストリームアナライザは、データストリームを再構築して、エンティティの認識不能な特性をエンティティの認識可能な特性により置き換えてもよい。具体的な例として、データストリームがテキストストリームであれば、データストリームアナライザは、テキストストリーム内のエンティティを指す代名詞を、別のデータストリームから判断されたエンティティの名前により置き換えてもよい。一部の実装において、再構築されたデータストリームを、当初のデータストリームの代わりに、且つ／または当初のデータストリームに関連して格納できる。

したがって、データストリームアナライザは、データストリーム内の認識不能なエンティティが別のデータストリーム内の認識されたエンティティである、またはエンティティであり得ると判断することに関連したアクションを実行してもよい。データストリームアナライザは、別のデータストリーム内で認識された単数または複数のエンティティに関連するメタデータを提供してもよい。

したがって、図１の例示の実装１００に関連して本願明細書に記載されたように、データストリームアナライザは、複数のデータストリームを使用して、１つ以上のエンティティおよび／または１つ以上のエンティティの対応する１つ以上の特性を認識してもよい。よって、複数のデータストリームのうちの１つが、情報が欠落している且つ／または認識不能なエンティティを含む場合、複数のデータストリームのうちの残りのデータストリームの少なくとも１つが、欠落情報および／または認識不能なエンティティに関連する情報を補足および／または提供するために使用されてもよい。その結果、エンティティおよび／またはデータストリームを、特定のエンティティに関連する情報を含むものとして、または或る確率でデータストリームの中で特定のエンティティが表現されているものとして、正確に分類および／または類別できる。

上記で指摘されたように、図１は単に例として示されている。他の例が可能であり、図１に関して記載されたものとは異なってもよい。

図２Ａおよび図２Ｂは、本願明細書に記載される例示の実装２００の図である。例示の実装２００に示されているように、１つのデータストリームについて共通知識グラフにアノテーションを付けて、１つのデータストリームのアノテーション付き知識グラフを生成することができる。アノテーション付き知識グラフが別のデータストリームの別のアノテーション付き知識グラフと比較されて、１つのデータストリーム内のエンティティの認識不能な特性に対応する別のデータストリーム内のエンティティおよび／またはエンティティの認識可能な特性を認識することができる。

図２Ａに、参照番号２１０により示されているように、人の共通知識グラフが特定される。例として、１つのデータストリームを分析するために使用されるデータ分析手法（例えばオブジェクト認識手法、人物認識手法および／または同様のもの）が、１つのデータストリームに関して人が存在すると判断してもよい。したがって、データストリームアナライザは、人についての共通知識グラフを取得してもよい。例示の実装に示されているように、共通知識グラフは、内部ノードとしての「人」、および内部ノードに接続されたノード内の人の特性を含んでもよい。図２Ａでは、そのような例示の特性は、人が「顔」を有すること、「音」（例えば声）に関連すること、「背中」を有することおよび「アクション」（例えば「話す」）を実行できることを含んでもよい。

図２Ａに、参照番号２２０によりさらに示されているように、人が１つのデータストリーム内で検出されると（ただしその人は認識不能であってもよい）、データストリームアナライザは、１つのデータストリームからの認識可能な情報を用いて共通知識グラフにアノテーションを付けてもよい。例として、点線により示されているように、１つのデータストリーム内の人は、既知の年齢、背中（その人の背中に関連するデータを用いてアノテーションを付け、且つ／またはその人の背中がデータストリーム内に存在することを示すようにアノテーションを付けることができる）を有してもよく、その人が特定の声を有すること、ならびにその人がボブおよびジョンと話していること。図のように、人のアイデンティティなどの認識不能な特性が知識グラフ内に示される。

図２Ｂに、参照番号２３０により示されているように、１つのデータストリームのアノテーション付き知識グラフが、別のデータストリームのアノテーション付き知識グラフと比較される。例として、そのような比較は、アノテーション付き知識グラフ双方が、その人が同じ年齢であること、その人がボブおよびジョンに話しかけていること、ならびにその人が同じ声を有することを示すことを表す。したがって、（例えば顔が検出可能でないこと、または名前が検出可能でないことが理由で）１つのデータストリームからその人が認識不能であるにもかかわらず、データストリームアナライザは、別のデータストリームのアノテーション付き知識グラフからの情報を使用して、１つのデータストリーム内の人のアイデンティティ（例えばポール）を判断し得る。よって、参照番号２４０により示されているように、１つのデータストリーム内の人のアイデンティティが、ポールであると判断できる。さらに、または代わりに、本願明細書に記載されているように、１つのデータストリーム内の人のアイデンティティがポールである確率を（例えば、アノテーション付き知識グラフのどの特性が互いに一致するか、どの特性が互いに一致しないか、および／またはアノテーション付き知識グラフ内のどの特性が認識不能かに基づき）計算できる。

したがって、本願明細書に記載されているように、データストリームアナライザは、共通知識グラフを使用してもよく、１つ以上のアノテーション付き知識グラフ（共通知識グラフおよび対応するデータストリームからの情報から生成される）が、別のデータストリームからの情報を使用してデータストリームの中の認識不能なエンティティを識別するために使用されてもよい。

上記で指摘されたように、図２Ａおよび図２Ｂは単に例として示されている。他の例が可能であり、図２Ａおよび図２Ｂに関して記載されたものとは異なってもよい。

図３は、本願明細書に記載されるシステムおよび／または方法が実装され得る例示の環境３００の図である。図３に示されているように、環境３００は、ストリーミングデバイス３０５（個々に「ストリーミングデバイス３０５」または集合的に「ストリーミングデバイス群３０５」と呼ばれ得る）、データストリームアナライザ３１０、コンピューティングリソース３１５、クラウドコンピューティング環境３２０、ネットワーク３３０およびユーザデバイス３４０を含んでもよい。環境３００のデバイスは、有線接続、無線接続または有線接続と無線接続との組み合わせを介して相互に接続してもよい。

ストリーミングデバイス３０５は、データストリームに関連する情報を取得、生成、格納、処理および／または提供できる１つ以上のデバイスを含む。例として、ストリーミングデバイス３０５は、ユーザデバイス（例えば携帯電話（例えばスマートフォン、無線電話など）などの通信および／またはコンピューティングデバイス、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、ゲーム用デバイス、ウェアラブル通信デバイス（例えばスマート腕時計、スマート眼鏡など）および／または同様のもの）、カメラ、マイクロフォン、文字起こしデバイス（例えば発話テキスト化機能を備えたデバイス）、センサデバイス、ＩｏＴデバイスおよび／または同様のものを含んでもよい。ストリーミングデバイス３０５は、特定の事象に関連する、特定の場所での、特定の人もしくはエンティティに関連する、特定の期間に関連する、および／または同様の１つ以上のエンティティを識別するために使用されてもよい。

データストリームアナライザ３１０は、エンティティに関連する欠落情報を補足するために複数のデータストリームを使用してエンティティを認識することに関連する情報を受信、生成、格納、処理および／または提供できる１つ以上のコンピューティングリソースまたはデバイスを含む。例として、データストリームアナライザ３１０は、図１、図２Ａおよび／または図２Ｂに関連して記載されたデータストリームアナライザに対応してもよい。一部の実装において、データストリームアナライザ３１０は、１つのデータストリーム内でエンティティが認識不能であると判断し、別のデータストリームからの情報を使用してエンティティを認識し、且つ／または１つのデータストリーム内の欠落情報を別のデータストリーム内で識別された対応する情報を用いて補足することができる、クラウドコンピューティング環境３２０により実装されたプラットフォームであってもよい。一部の実装において、データストリームアナライザ３１０は、クラウドコンピューティング環境３２０のコンピューティングリソース３１５により実装される。

データストリームアナライザ３１０は、サーバデバイスまたはサーバデバイスのグループを含んでもよい。一部の実装において、データストリームアナライザ３１０は、クラウドコンピューティング環境３２０においてホストされてもよい。特に、本願明細書に記載される実装は、データストリームアナライザ３１０がクラウドコンピューティング環境３２０においてホストされるものとして記載するが、一部の実装では、データストリームアナライザ３１０はクラウドベースでなくてもよく、または部分的にクラウドベースであってもよい。

クラウドコンピューティング環境３２０は、サービスとしてコンピュータ処理を提供する環境を含み、それによって共有リソース、サービスなどがユーザデバイスに提供されてもよい。クラウドコンピューティング環境３２０は、サービスを提供するシステムおよび／またはデバイスの物理的な場所および構成についてエンドユーザの知識を要求しない演算、ソフトウェア、データアクセス、ストレージおよび／または他のサービスを提供してもよい。図のように、クラウドコンピューティング環境３２０は、データストリームアナライザ３１０およびコンピューティングリソース３１５を含んでもよい。

コンピューティングリソース３１５は、１つ以上のパーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、または別のタイプの演算および／もしくは通信デバイスを含む。一部の実装において、コンピューティングリソース３１５はデータストリームアナライザ３１０をホストしてもよい。クラウドリソースは、コンピューティングリソース３１５において実行される演算インスタンス、コンピューティングリソース３１５内に設けられるストレージデバイス、コンピューティングリソース３１５により提供されるデータ転送デバイスなどを含んでもよい。一部の実装において、コンピューティングリソース３１５は、有線接続、無線接続または有線接続と無線接続との組み合わせを介して他のコンピューティングリソース３１５と通信してもよい。

図３にさらに示されるように、コンピューティングリソース３１５は、１つ以上のアプリケーション（「ＡＰＰ（ａｐｐｌｉｃａｔｉｏｎ）」）３１５−１、１つ以上の仮想マシン（「ＶＭ（ｖｉｒｔｕａｌ ｍａｃｈｉｎｅ）」）３１５−２、仮想化ストレージ（「ＶＳ（ｖｉｒｔｕａｌｉｚｅｄ ｓｔｏｒａｇｅ）」）３１５−３、１つ以上のハイパーバイザ（「ＨＹＰ（ｈｙｐｅｒｖｉｓｏｒ）」）３１５−４または同様のものなどのクラウドリソースのグループを含んでもよい。

アプリケーション３１５−１は、ストリーミングデバイス３０５に提供されても、またはストリーミングデバイス３０５によりアクセスされてもよい１つ以上のソフトウェアアプリケーションを含む。アプリケーション３１５−１は、ストリーミングデバイス３０５上でソフトウェアアプリケーションをインストールして実行する必要性をなくしてもよい。例として、アプリケーション３１５−１は、データストリームアナライザ３１０に関連したソフトウェア、および／またはクラウドコンピューティング環境３２０を介して提供できる他の任意のソフトウェアを含んでもよい。一部の実装において、１つのアプリケーション３１５−１は、仮想マシン３１５−２を介して他の１つ以上のアプリケーション３１５−１との間で情報を送受信してもよい。

仮想マシン３１５−２は、物理マシンのようにプログラムを実行するマシン（例えばコンピュータ）のソフトウェア実装を含む。仮想マシン３１５−２は、用途、および仮想マシン３１５−２の任意の実マシンとの類似の程度に応じて、システム仮想マシンまたはプロセス仮想マシンのいずれかとされ得る。システム仮想マシンは、完全なオペレーティングシステム（「ＯＳ（ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）」）の実行をサポートする完全なシステムプラットフォームを提供してもよい。プロセス仮想マシンは、単一のプログラムを実行してもよく、単一のプロセスをサポートしてもよい。一部の実装において、仮想マシン３１５−２は、ユーザ（例えばストリーミングデバイス３０５）の代わりに実行してもよく、さらにデータ管理、同期化または長期データ転送など、クラウドコンピューティング環境３２０のインフラストラクチャの管理をしてもよい。

仮想化ストレージ３１５−３は、コンピューティングリソース３１５のストレージシステムまたはデバイスの中で仮想化手法を使用する１つ以上のストレージシステムおよび／または１つ以上のデバイスを含む。一部の実装において、ストレージシステムの文脈の中で、仮想化のタイプはブロック仮想化およびファイル仮想化を含んでもよい。ブロック仮想化は、物理ストレージからの論理ストレージの抽象化（または分離）を指してもよく、その結果、物理ストレージまたはヘテロジニアス構造と無関係にストレージシステムがアクセスされ得る。この分離は、ストレージシステムの管理者がエンドユーザに対しどのようにストレージを管理するかの点で、柔軟性を管理者に認めてもよい。ファイル仮想化は、ファイルレベルでアクセスされるデータと、ファイルが物理的に格納される場所との間の依存関係をなくしてもよい。これは、ストレージ使用の最適化、サーバコンソリデーションおよび／または無停止ファイルマイグレーションの実行を可能にしてもよい。

ハイパーバイザ３１５−４は、複数のオペレーティングシステム（例えば「ゲストオペレーティングシステム」）がコンピューティングリソース３１５などのホストコンピュータ上で同時に実行できるようにするハードウェア仮想化手法を提供する。ハイパーバイザ３１５−４は、ゲストオペレーティングシステムに仮想オペレーティングプラットフォームを提示してもよく、ゲストオペレーティングシステムの実行を管理してもよい。様々なオペレーティングシステムの複数のインスタンスが、仮想化ハードウェアリソースを共有してもよい。

ネットワーク３３０は、１つ以上の有線ネットワークおよび／または無線ネットワークを含む。例として、ネットワーク３３０は、セルラネットワーク（例えばロングタームエボリューション（ＬＴＥ：ｌｏｎｇ−ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）ネットワーク、符号分割多元接続（ＣＤＭＡ：ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）ネットワーク、３Ｇネットワーク、４Ｇネットワーク、５Ｇネットワーク、別のタイプの次世代ネットワークなど）、公衆陸上モバイルネットワーク（ＰＬＭＮ：ｐｕｂｌｉｃ ｌａｎｄ ｍｏｂｉｌｅ ｎｅｔｗｏｒｋ）、ローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ワイドエリアネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、メトロポリタンエリアネットワーク（ＭＡＮ：ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、電話網（例えば公衆交換電話網（ＰＳＴＮ：Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワーク、クラウドコンピューティングネットワークもしくは同様のものおよび／またはこれらもしくはその他タイプのネットワークの組み合わせを含んでもよい。

ユーザデバイス３４０は、（例えばデータストリームの中のエンティティを検出するために）１つ以上のデータストリームを分析することに関連する情報を、受信、生成、格納、処理および／または提供できる１つ以上のデバイスを含む。例としてユーザデバイス３４０は、携帯電話（例えばスマートフォン、無線電話など）、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、ゲーム用デバイス、ウェアラブル通信デバイス（例えばスマート腕時計、スマート眼鏡など）または類似のタイプのデバイスなどの通信および／またはコンピューティングデバイスを含んでもよい。

図３に示されたデバイスおよびネットワークの数および配置は、例として示されている。実際には、図３に示されたものと比べて、追加のデバイスおよび／もしくはネットワーク、より少数のデバイスおよび／もしくはネットワーク、異なるデバイスおよび／もしくはネットワークまたは別様に配置されたデバイスおよび／もしくはネットワークがあってもよい。さらに、図３に示されている２つ以上のデバイスが単一のデバイスの中に実装されてもよく、または、図３に示されている単一のデバイスが複数の分散型デバイスとして実装されてもよい。さらに、または代わりに、環境３００のデバイスのセット（例えば１つ以上のデバイス）が、環境３００のデバイスの別のセットにより実行されるものとして記載されている１つ以上の機能を実行してもよい。

図４は、デバイス４００の例示のコンポーネントの図である。デバイス４００は、ストリーミングデバイス３０５、データストリームアナライザ３１０、コンピューティングリソース３１５および／またはユーザデバイス３４０に対応し得る。一部の実装において、ストリーミングデバイス３０５、データストリームアナライザ３１０、コンピューティングリソース３１５および／またはユーザデバイス３４０は、１つ以上のデバイス４００および／またはデバイス４００の１つ以上のコンポーネントを含んでもよい。図４に示されているように、デバイス４００は、バス４１０、プロセッサ４２０、メモリ４３０、ストレージコンポーネント４４０、入力コンポーネント４５０、出力コンポーネント４６０および通信インターフェース４７０を含んでもよい。

バス４１０は、デバイス４００のコンポーネント間の通信を可能にするコンポーネントを含む。プロセッサ４２０は、ハードウェア、ファームウェアまたはハードウェアとソフトウェアとの組み合わせにおいて実装される。プロセッサ４２０は、中央処理ユニット（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、グラフィックス処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、アクセラレーテッド処理ユニット（ＡＰＵ：ａｃｃｅｌｅｒａｔｅｄ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）または別のタイプの処理コンポーネントである。一部の実装において、プロセッサ４２０は、機能を実行するようにプログラムされることが可能な１つ以上のプロセッサを含む。メモリ４３０は、プロセッサ４２０により使用される情報および／または命令を格納するランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）および／または別のタイプの動的もしくは静的ストレージデバイス（例えばフラッシュメモリ、磁気メモリおよび／または光学メモリ）を含む。

ストレージコンポーネント４４０は、デバイス４００の動作および使用に関係する情報および／またはソフトウェアを格納する。例としてストレージコンポーネント４４０は、ハードディスク（例えば磁気ディスク、光学ディスク、光磁気ディスクおよび／またはソリッドステートディスク）、コンパクトディスク（ＣＤ：ｃｏｍｐａｃｔ ｄｉｓｃ）、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）、フロッピーディスク、カートリッジ、磁気テープおよび／または別のタイプの非一時的コンピュータ可読媒体を、対応するドライブとともに含んでもよい。

入力コンポーネント４５０は、デバイス４００が、ユーザ入力（例えばタッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチおよび／またはマイクロフォン）などを介して情報を受信することを可能にするコンポーネントを含む。さらに、または代わりに、入力コンポーネント４５０は、情報を感知するセンサ（例えばグローバルポジショニングシステム（ＧＰＳ：ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）コンポーネント、加速度計、ジャイロスコープおよび／またはアクチュエータ）を含んでもよい。出力コンポーネント４６０は、デバイス４００からの出力情報を提供するコンポーネントを含む（例えばディスプレイ、スピーカおよび／または１つ以上の発光ダイオード（ＬＥＤ：ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ））。

通信インターフェース４７０は、デバイス４００が有線接続、無線接続または有線接続と無線接続との組み合わせなどを介して他のデバイスと通信することを可能にする、トランシーバのようなコンポーネント（例えばトランシーバならびに／または別々の受信機および送信機）を含む。通信インターフェース４７０は、デバイス４００が、別のデバイスから情報を受信し、且つ／または別のデバイスに情報を提供することを可能にしてもよい。例として通信インターフェース４７０は、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（ＲＦ：ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）インターフェース、ユニバーサルシリアルバス（ＵＳＢ：ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）インターフェース、Ｗｉ−Ｆｉインターフェース、セルラネットワークインターフェースまたは同様のものを含んでもよい。

デバイス４００は、本願明細書に記載された１つ以上のプロセスを実行してもよい。デバイス４００は、メモリ４３０および／またはストレージコンポーネント４４０などの非一時的コンピュータ可読媒体により格納されたソフトウェア命令をプロセッサ４２０が実行するのに基づいてこれらのプロセスを実行してもよい。本願明細書において、コンピュータ可読媒体は非一時的メモリデバイスと定義される。メモリデバイスは、単一の物理ストレージデバイス内のメモリ空間、または複数の物理ストレージデバイスにまたがったメモリ空間を含む。

ソフトウェア命令は、メモリ４３０および／またはストレージコンポーネント４４０に別のコンピュータ可読媒体から、または通信インターフェース４７０を介して別のデバイスから読み込まれてもよい。メモリ４３０および／またはストレージコンポーネント４４０に格納されたソフトウェア命令は、実行されると本願明細書に記載された１つ以上のプロセスをプロセッサ４２０に実行させてもよい。さらに、または代わりに、本願明細書に記載の１つ以上のプロセスを実行するために、配線による回路構成がソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて使用されてもよい。したがって、本願明細書に記載された実装は、ハードウェア回路構成とソフトウェアとのいかなる特定の組み合わせにも限定されない。

図４に示されたコンポーネントの数および配置は、例として示されている。実際には、デバイス４００は、図４に示されたものと比べて、追加のコンポーネント、より少少数のコンポーネント、異なるコンポーネントまたは別様に配置されたコンポーネントを含んでもよい。さらに、または代わりに、デバイス４００のコンポーネントのセット（例えば１つ以上のコンポーネント）が、デバイス４００のコンポーネントの別のセットにより実行されるものとして記載されている１つ以上の機能を実行してもよい。

図５は、エンティティに関連する欠落情報を補足するために複数のデータストリームを使用してエンティティを認識する例示のプロセス５００のフローチャートである。一部の実装において、図５の１つ以上のプロセスブロックは、データストリームアナライザ（例えばデータストリームアナライザ３１０）により実行されてもよい。一部の実装において、図５の１つ以上のプロセスブロックは、ストリーミングデバイス（例えばストリーミングデバイス３０５）および／またはユーザデバイス（例えばユーザデバイス３４０）など、データストリームアナライザ（例えばデータストリームアナライザ３１０）とは別個であるかまたはそれを含む、別のデバイスまたはデバイスのグループにより実行されてもよい。

図５に示されているように、プロセス５００は、第１のデータストリームおよび第２のデータストリームを受信することを含んでもよい（ブロック５１０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０、入力コンポーネント４５０、通信インターフェース４７０および／または同様のものを使用する）は、第１のデータストリームおよび第２のデータストリームを受信してもよい。

図５にさらに示されているように、プロセス５００は、第１のデータストリームの画像データ内に複数のエンティティが存在すると判断することを含んでもよい（ブロック５２０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０、入力コンポーネント４５０および／または同様のものを使用する）は、第１のストリームの画像データ内に複数のエンティティが存在すると判断してもよい。

図５にさらに示されているように、プロセス５００は、第１のデータストリームの画像データ内で複数のエンティティのうちの或るエンティティが認識不能であると判断するために第１のデータストリームを分析することを含んでもよい（ブロック５３０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０および／または同様のものを使用する）は、第１のデータストリームの画像データ内で複数のエンティティのうちの或るエンティティが認識不能であると判断するために第１のデータストリームを分析してもよい。

図５にさらに示されているように、プロセス５００は、第１のデータストリームおよび第２のデータストリームに関連する共通知識グラフを取得することを含んでもよく、共通知識グラフは、複数のエンティティについての情報を含む（ブロック５４０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０、入力コンポーネント４５０、通信インターフェース４７０および／または同様のものを使用する）は、第２のデータストリーム内の第１のデータストリームに関連する共通知識グラフを取得してもよい。一部の実装において、共通知識グラフは、複数のエンティティについての情報を含む。

図５にさらに示されているように、プロセス５００は、第１のアノテーション付き知識グラフを生成するために、第１のデータストリーム内の複数のエンティティの第１の対応する認識可能な特性を用いて共通知識グラフにアノテーションを付けることを含んでもよい（ブロック５５０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０および／または同様のものを使用する）は、第１のアノテーション付き知識グラフを生成するために、第１のデータストリーム内の複数のエンティティの第１の対応する認識可能な特性を用いて共通知識グラフにアノテーションを付けてもよい。

図５にさらに示されているように、プロセス５００は、第２のアノテーション付き知識グラフを生成するために、第２のデータストリーム内の複数のエンティティの第２の対応する認識可能な特性を用いて共通知識グラフにアノテーションを付けることを含んでもよい（ブロック５６０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０および／または同様のものを使用する）は、第２のアノテーション付き知識グラフを生成するために、第２のデータストリーム内の複数のエンティティの第２の対応する認識可能な特性を用いて共通知識グラフにアノテーションを付けてもよい。

図５にさらに示されているように、プロセス５００は、第１のアノテーション付き知識グラフおよび第２のアノテーション付き知識グラフに基づきエンティティが認識可能であるかどうかを判断することを含んでもよい（ブロック５７０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０および／または同様のものを使用する）は、第２のアノテーション付き知識グラフ内の第１のアノテーション付き知識グラフに基づきエンティティが認識可能であるかどうかを判断してもよい。

図５にさらに示されているように、プロセス５００は、エンティティが認識可能であるかどうかに基づき、第１のデータストリームに関連するアクションを実行することを含んでもよい（ブロック５８０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０、出力コンポーネント４６０、通信インターフェース４７０および／または同様のものを使用する）は、エンティティが認識可能であるかどうかに基づき第１のデータストリームに関連するアクションを実行してもよい。

プロセス５００は、後述される、および／または本願明細書の他の箇所に記載された他の１つ以上のプロセスに関連して記載される、任意の単一の実装または任意の実装の組み合わせなど、追加の実装を含んでもよい。

一部の実装において、複数のエンティティについての情報は、複数の事象のうちの１つ以上の、対応するアイデンティティを示す。一部の実装において、データストリームアナライザは、画像データの略奪およびエンティティの認識不能な特性に基づき、エンティティが認識不能であると判断してもよい。

一部の実装において、データストリームアナライザは、第２のアノテーション付き知識グラフ内の第１のアノテーション付き知識グラフを比較することに基づきエンティティが認識可能である確率を判断してもよい。一部の実装において、アクションを実行するとき、データストリームアナライザは、エンティティが認識可能である確率を、第１のデータストリームに関連するメタデータの中で示してもよい。

一部の実装において、データストリームアナライザは、アクションを実行するとき、第２のアノテーション付き知識グラフ内の第１のアノテーション付き知識グラフをペアリングすることに基づき、エンティティが認識可能である確率を判断してもよく、確率が閾値を満たすと判断した、さらに確率が閾値を満たすことに基づき、エンティティの認識不能な特性に対応する、第２のデータストリームからの認識可能な特性を含むように第１のデータストリームを補足してもよい。一部の実装において、第２のデータストリーム内の第１のデータストリームは、同じ事象、同じ場所、同じ人または同じ期間のうちの少なくとも１つに関連する。

一部の実装において、画像データは、第１の画像データを含んでもよく、第２のデータストリームは、第２の画像データを含んでもよい。一部の実装において、第２の画像データは、複数のエンティティの第２の対応する認識可能な特性を含む。一部の実装において、第２のデータストリームは、画像データ、オーディオデータ、テキストデータまたはセンサデータのうちの少なくとも１つを含む。

図５はプロセス５００の例示のブロックを示すが、一部の実装ではプロセス５００は、図５に示されたものと比べて追加のブロック、より少数のブロック、異なるブロックまたは別様に配置されたブロックを含んでもよい。さらに、または代わりに、プロセス５００のブロックの２つ以上が並列実行されてもよい。

図６は、エンティティに関連する欠落情報を補足するために複数のデータストリームを使用してエンティティを認識する例示のプロセス６００のフローチャートである。一部の実装において、図６の１つ以上のプロセスブロックは、データストリームアナライザ（例えばデータストリームアナライザ３１０）により実行されてもよい。一部の実装において、図６の１つ以上のプロセスブロックは、ストリーミングデバイス（例えばストリーミングデバイス３０５）および／またはユーザデバイス（例えばユーザデバイス３４０）など、データストリームアナライザ（例えばデータストリームアナライザ３１０）とは別個であるかまたはそれを含む、別のデバイスまたはデバイスのグループにより実行されてもよい。

図６に示されているように、プロセス６００は、第１のデータストリームおよび第２のデータストリームを受信することを含んでもよい（ブロック６１０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０、入力コンポーネント４５０、通信インターフェース４７０および／または同様のものを使用する）は、第１のデータストリームおよび第２のデータストリームを受信してもよい。

図６にさらに示されているように、プロセス６００は、第１のデータストリームおよび第２のデータストリームに関連する共通知識グラフを取得することを含んでもよく、共通知識グラフは、第１のデータストリームおよび第２のデータストリームに関連する情報を含む（ブロック６２０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０、入力コンポーネント４５０、通信インターフェース４７０および／または同様のものを使用する）は、第２のデータストリーム内の第１のデータストリームに関連する共通知識グラフを取得してもよい。一部の実装において、共通知識グラフは、第２のデータストリーム内の第１のデータストリームに関連する情報を含む。

図６にさらに示されているように、プロセス６００は、第１のデータストリーム内の認識不能な特性をエンティティが有することに基づき、エンティティが第１のデータストリーム内の認識不能なエンティティであると検出することを含んでもよい（ブロック６３０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０、入力コンポーネント４５０および／または同様のものを使用するコンピューティングリソース３１５）は、第１のデータストリーム内の認識不能な特性をエンティティが有することに基づき、エンティティが第１のデータストリーム内の認識不能なエンティティであると検出してもよい。

図６にさらに示されているように、プロセス６００は、第１のアノテーション付き知識グラフを生成するために、認識不能な特性および第１のデータストリーム内で識別されたエンティティの第１の対応する認識可能な特性を用いて共通知識グラフにアノテーションを付けることを含んでもよい（ブロック６４０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０および／または同様のものを使用する）は、第１のアノテーション付き知識グラフを生成するために、認識不能な特性および第１のデータストリーム内で識別されたエンティティの第１の対応する認識可能な特性を用いて共通知識グラフにアノテーションを付けてもよい。

図６にさらに示されているように、プロセス６００は、第２のアノテーション付き知識グラフを生成するために、第２のデータストリーム内で識別されたエンティティの第２の対応する認識可能な特性を用いて共通知識グラフにアノテーションを付けることを含んでもよい（ブロック６５０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０および／または同様のものを使用する）は、第２のアノテーション付き知識グラフを生成するために、第２のデータストリーム内で識別されたエンティティの第２の対応する認識可能な特性を用いて共通知識グラフにアノテーションを付けてもよい。

図６にさらに示されているように、プロセス６００は、第２のアノテーション付き知識グラフ内の第２の対応する認識可能な特性のうちの１つが第１のアノテーション付き知識グラフ内の認識不能な特性に対応するかどうかを、第１のアノテーション付き知識グラフおよび第２のアノテーション付き知識グラフに基づき判断することを含んでもよい（ブロック６６０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０および／または同様のものを使用する）は、第２のアノテーション付き知識グラフ内の第２の対応する認識可能な特性のうちの１つが第１のアノテーション付き知識グラフ内の認識不能な特性に対応するかどうかを、第２のアノテーション付き知識グラフ内の第１のアノテーション付き知識グラフに基づき判断してもよい。

図６にさらに示されているように、プロセス６００は、第２の対応する認識可能な特性のうちの１つが認識不能な特性に対応するかどうかに基づき、エンティティが識別可能なエンティティである確率を判断することを含んでもよい（ブロック６７０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０および／または同様のものを使用する）は、第２の対応する認識可能な特性のうちの１つが認識不能な特性に対応するかどうかに基づき、エンティティが識別可能なエンティティである確率を判断してもよい。

図６にさらに示されているように、プロセス６００は、確率に基づきアクションを実行することを含んでもよい（ブロック６８０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０、出力コンポーネント４６０、通信インターフェース４７０および／または同様のものを使用する）は、確率に基づきアクションを実行してもよい。

プロセス６００は、後述される、および／または本願明細書の他の箇所に記載された他の１つ以上のプロセスに関連して記載される、任意の単一の実装または任意の実装の組み合わせなど、追加の実装を含んでもよい。

一部の実装において、共通知識グラフは、場所の事象、人または時間のうちの少なくとも１つに関連する。それは、第１のデータストリームを提供する１つ以上のデータストリームデバイスにより監視される。一部の実装において、共通知識グラフは、エンティティが第１のデータストリームおよび第２のデータストリームに含まれていることを示す。

一部の実装において、データストリームアナライザは、第１のアノテーション付き知識グラフを生成するために共通知識グラフにアノテーションを付けるとき、第１のデータストリーム内で識別されたエンティティの第１の対応する認識可能な特性を識別するために、第１のオブジェクト認識手法を使用して第１のデータストリームを分析し、第１のアノテーション付き知識グラフを生成するために、第１の対応する認識可能な特性と、共通知識グラフの対応するノードとを関連付け、認識不能な特性が、認識不能な特性に対応する共通知識グラフの特定のノードに関連することを示してもよい。一部の実装において、第１のオブジェクト認識手法は、第１のデータストリームの第１のタイプに関連する。一部の実装において、データストリームアナライザは、第２のアノテーション付き知識グラフを生成するために共通知識グラフにアノテーションを付けるとき、第２のデータストリーム内で識別されたエンティティの第２の対応する認識可能な特性を識別するために第２のオブジェクト認識手法を使用して第２のデータストリームを分析し、第２のアノテーション付き知識グラフを生成するために、第２の対応する認識可能な特性と、共通知識グラフの対応するノードとを関連付けてもよい。一部の実装において、第２のオブジェクト認識手法は、第２のデータストリームの第２のタイプに関連する。

一部の実装において、第１のデータストリームは、当初受信された第１のデータストリームであり、データストリームアナライザは、アクションを実行するとき、再構築された第１のデータストリームをもたらすために、認識不能な特性に関連するデータを認識可能な特性に関連するデータにより置き換えることにより、当初受信された第１のデータストリームを再構築し、再構築された第１のデータストリームを、当初受信された第１のデータストリームに関連して格納してもよい。一部の実装において、データストリームアナライザは、アクションを実行するとき、第２の対応する認識可能な特性のうちの１つが認識不能な特性に対応することに基づき、第２の対応する認識可能な特性のうちの１つに関連するメタデータを用いて第１のデータストリームを補足してもよい。

図６はプロセス６００の例示のブロックを示すが、一部の実装ではプロセス６００は、図６に示されたものと比べて追加のブロック、より少数のブロック、異なるブロックまたは別様に配置されたブロックを含んでもよい。さらに、または代わりに、プロセス６００のブロックの２つ以上が並列実行されてもよい。

図７は、エンティティに関連する欠落情報を補足するために複数のデータストリームを使用してエンティティを認識する例示のプロセス７００のフローチャートである。一部の実装において、図７の１つ以上のプロセスブロックは、データストリームアナライザ（例えばデータストリームアナライザ３１０）により実行されてもよい。一部の実装において、図７の１つ以上のプロセスブロックは、ストリーミングデバイス（例えばストリーミングデバイス３０５）および／またはユーザデバイス（例えばユーザデバイス３４０）など、データストリームアナライザ（例えばデータストリームアナライザ３１０）とは別個であるかまたはそれを含む、別のデバイスまたはデバイスのグループにより実行されてもよい。

図７に示されているように、プロセス７００は、第１のデータストリームおよび第２のデータストリームを受信することを含んでもよい（ブロック７１０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０、入力コンポーネント４５０、通信インターフェース４７０および／または同様のものを使用する）は、第１のデータストリームおよび第２のデータストリームを受信してもよい。

図７にさらに示されているように、プロセス７００は、第１のデータストリームおよび第２のデータストリームに関連する共通知識グラフを取得することを含んでもよい（ブロック７２０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０、入力コンポーネント４５０、通信インターフェース４７０および／または同様のものを使用する）は、第２のデートストリーム内の第１のデータストリームに関連する共通知識グラフを取得してもよい。

図７にさらに示されているように、プロセス７００は、エンティティが共通知識グラフ内に表現されていると判断することを含んでもよい（ブロック７３０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０および／または同様のものを使用する）は、エンティティが共通知識グラフ内に表現されていると判断してもよい。

図７にさらに示されているように、プロセス７００は、第１のデータストリーム内のエンティティの認識不能な特性を判断することを含んでもよい（ブロック７４０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０および／または同様のものを使用する）は、第１のデータストリーム内のエンティティの認識不能な特性を判断してもよい。

図７にさらに示されているように、プロセス７００は、第１のアノテーション付き知識グラフを生成するために、認識不能な特性および第１のデータストリーム内で識別されたエンティティの第１の対応する認識可能な特性を用いて共通知識グラフにアノテーションを付けることを含んでもよい（ブロック７５０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０および／または同様のものを使用する）は、第１のアノテーション付き知識グラフを生成するために、認識不能な特性および第１のデータストリーム内で識別されたエンティティの第１の対応する認識可能な特性を用いて共通知識グラフにアノテーションを付けてもよい。

図７にさらに示されているように、プロセス７００は、第２のアノテーション付き知識グラフを生成するために、第２のデータストリーム内で識別されたエンティティの第２の対応する認識可能な特性を用いて共通知識グラフにアノテーションを付けることを含んでもよい（ブロック７６０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０および／または同様のものを使用する）は、第２のアノテーション付き知識グラフを生成するために、第２のデータストリーム内で識別されたエンティティの第２の対応する認識可能な特性の共通知識グラフにアノテーションを付けてもよい。

図７にさらに示されているように、プロセス７００は、第１のアノテーション付き知識グラフおよび第２のアノテーション付き知識グラフに基づき、エンティティの認識可能な特性が第２のデータストリーム内にあると判断することを含んでもよく、第２のデータストリーム内のエンティティの認識可能な特性は、第１のデータストリーム内のエンティティの認識不能な特性に対応する（ブロック７７０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０および／または同様のものを使用する）は、第１のアノテーション付き知識グラフおよび第２のアノテーション付き知識グラフに基づき、エンティティの認識可能な特性が第２のデータストリーム内にあると判断してもよい。一部の実装において、第２のデータストリーム内のエンティティの認識可能な特性は、第１のデータストリーム内のＴの認識不能な特性に対応する。

図７にさらに示されているように、プロセス７００は、エンティティの認識可能な特性が第２のデータストリーム内にあると判断することに基づき、アクションを実行することを含んでもよい（ブロック７８０）。例として、データストリームアナライザ（例えばコンピューティングリソース３１５、プロセッサ４２０、出力コンポーネント４６０、通信インターフェース４７０および／または同様のものを使用する）は、エンティティの認識可能な特性が第２のデータストリーム内にあると判断することに基づき、アクションを実行してもよい。

プロセス７００は、後述される、および／または本願明細書の他の箇所に記載された他の１つ以上のプロセスに関連して記載される、任意の単一の実装または任意の実装の組み合わせなど、追加の実装を含んでもよい。

一部の実装において、第１のデータストリームは異なる時間に関連する。第２のデータストリーム内。一部の実装において、第２のデータストリーム内の第１のデータストリームは、異なるタイプのデータストリームである。一部の実装において、データストリームアナライザは、アクションを実行するとき、第１のアノテーション付き知識グラフと第２の名前アノテーション付き知識グラフとを比較することに基づき、認識不能な特性がエンティティに関連する確率を判断してもよく、確率が閾値を満たすと判断した、さらに確率が閾値を満たすことに基づき、認識可能な特性を含むように第１のデータストリームを補足してもよい。

一部の実装において、第１のデータストリームは、当初受信された第１のデータストリームである。一部の実装において、データストリームアナライザは、アクションを実行するとき、認識不能な特性に関連するデータを認識可能な特性に関連するデータにより置き換えることにより、当初受信された第１のデータストリームを再構築して、再構築された第１のデータストリームをもたらし、再構築された第１のデータストリーム内でエンティティが識別されるとの通知を提供してもよい。一部の実装において、データストリームアナライザは、アクションを実行するとき、認識不能な特性に対応する認識可能な特性に基づき、認識可能な特性に関連するメタデータを用いて第１のデータストリームを補足してもよい。

図７はプロセス７００の例示のブロックを示すが、一部の実装ではプロセス７００は、図７に示されたものと比べて追加のブロック、より少数のブロック、異なるブロックまたは別様に配置されたブロックを含んでもよい。さらに、または代わりに、プロセス７００のブロックの２つ以上が並列実行されてもよい。

したがって、本願明細書に記載されるように、データストリームアナライザ３１０は、第１のデータストリーム内の認識不能な１つ以上のエンティティを、第１のデータストリームに関連する他のデータストリームの情報および／または分析を使用して自動的に認識してもよい。よって、データストリームアナライザ３１０は、データストリームに関連する情報を類別および／または提供して、以前の手法に従っては認識できなかったデータストリームの中の１つ以上のエンティティの存在を示すために使用されてもよい。よって、本願明細書に記載された一部の実装は、分類目的、データ分析および／または同様のものにおいて、データストリームの適切な分析および／またはデータストリームの使用を可能にする。したがって、本願明細書に記載されたように、エンティティを誤って認識すること、および／またはデータストリームを特定のエンティティを含まないものとして間違って類別することに関連して浪費されるプロセッサリソース、メモリリソースおよび／または同様のものを節約できる。

１人以上の個人を認識することに関連する、本願明細書において提供された例示の実装は、１人以上の個人との事前の合意により可能となり得る。例として、業務環境において、１人以上の個人（例えば従業員）が、会議室の中など業務の中で監視デバイスを介して認識されることに同意し得る。

前述の開示は、例示および説明を提供するが、網羅的であることも、実装を開示された厳密な形態に限定することも意図していない。変更および変形が、上記の開示を考慮して可能であり、または実装の実施から習得されるかもしれない。

本願明細書で使用されるとき、コンポーネントという用語は、ハードウェア、ファームウェアおよび／またはハードウェアとソフトウェアとの組み合わせとして広く解釈されるよう意図される。

一部の実装は、閾値に関連して本願明細書に記載された。本願明細書で使用されるとき、閾値を満たすとは、値が閾値より大きいこと、閾値を超えること、閾値より高いこと、閾値以上であること、閾値未満であること、閾値より少ないこと、閾値より低いこと、閾値以下であること、閾値と等しいことまたは同様のことを指すことができる。

特定のユーザインターフェースが本願明細書に記載され、且つ／または図面に示された。ユーザインターフェースは、グラフィカルユーザインターフェース、非グラフィカルユーザインターフェース、テキストベースのユーザインターフェースまたは同様のものを含んでもよい。ユーザインターフェースは、情報を表示のために提供してもよい。一部の実装において、ユーザは、ユーザインターフェースを表示のために提供するデバイスの入力コンポーネントを介して入力を提供することなどにより、情報と相互作用してもよい。一部の実装において、ユーザインターフェースは、デバイスおよび／またはユーザにより設定可能であってもよい（例えばユーザがユーザインターフェースのサイズ、ユーザインターフェースを介して提供される情報、ユーザインターフェースを介して提供される情報のポジションなどを変更してもよい）。さらに、または代わりに、ユーザインターフェースは、標準の設定、ユーザインターフェースが表示されるデバイスのタイプに基づく特定の設定ならびに／またはユーザインターフェースが表示されるデバイスに関連する能力および／もしくは仕様に基づく設定のセットに事前設定されてもよい。

当然のことながら、本願明細書に記載されたシステムおよび／または方法は、異なる形態のハードウェア、ファームウェアまたはハードウェアとソフトウェアとの組み合わせに実装されてもよい。これらのシステムおよび／または方法を実装するために使用される実際の専用制御ハードウェアまたはソフトウェアコードは、実装を限定しない。したがって、システムおよび／または方法の動作および挙動は、特定のソフトウェアコードを参照することなく本願明細書に記載されたが、当然のことながら、ソフトウェアおよびハードウェアを、本願明細書の記載に基づきシステムおよび／または方法を実装するよう設計できる。

特徴の特定の組み合わせが特許請求の範囲に記載され且つ／または明細書で開示されるが、これらの組み合わせは可能な実装の開示を限定することを意図されたものではない。実際には、これらの特徴の多くが、具体的に特許請求の範囲に記載および／または明細書に開示されなかった形で組み合わされてもよい。下記に列挙される各従属クレームは、１つのみのクレームに直接従属するかもしれないが、考えられる実装の開示は、クレームセットの中の他のすべてのクレームと組み合わせた各従属クレームを含む。

本願明細書で使用されるいずれの要素、動作または命令も、重要または必須とは、そのように明示的に記載されない限りは、解釈されてはならない。さらに、本願明細書で使用されるとき、冠詞「或る（ａおよびａｎ）」は、１つ以上の項目を含むよう意図され、「１つ以上の（ｏｎｅ ｏｒ ｍｏｒｅ）」と交換可能なように使用され得る。さらに、本願明細書で使用されるとき、「セット（ｓｅｔ）」という用語は、１つ以上の項目（例えば関係する項目、無関係の項目、関係する項目と無関係の項目との組み合わせなど）を含むよう意図され、「１つ以上の（ｏｎｅ ｏｒ ｍｏｒｅ）」と交換可能なように使用され得る。１つのみの項目が意図される場合、「１つの（ｏｎｅ）」という用語または同様の文言が使用される。さらに、本願明細書で使用されるとき、「有する（ｈａｓ、ｈａｖｅ、ｈａｖｉｎｇ）」という用語または同様のものは、非限定的な用語であるものと意図される。さらに、「基づく（ｂａｓｅｄ ｏｎ）」という語句は、別段の記載が明示的にされない限り「少なくとも部分的に基づく（ｂａｓｅｄ，ａｔ ｌｅａｓｔ ｉｎ ｐａｒｔ，ｏｎ）」を意味するよう意図される。

Claims (20)

1. 第１のデータストリームおよび第２のデータストリームをデバイスによって受信するステップと、
   画像データにオブジェクト認識手法を適用することに基づき、前記第１のデータストリームの前記画像データ内に複数のエンティティが存在すると、前記デバイスによって判断するステップと、
   顔認識手法が前記エンティティの顔を検出しないことに基づき、前記第１のデータストリームの前記画像データ内で前記複数のエンティティのうちの或るエンティティが認識不能であると判断するために、前記デバイスによって前記第１のデータストリームを分析するステップと、
   前記第１のデータストリームおよび前記第２のデータストリームに関連する共通知識グラフを前記デバイスによって取得するステップであって、
   前記共通知識グラフは、前記複数のエンティティについての情報を含む、
   前記取得するステップと、
   第１のアノテーション付き知識グラフを生成するために、前記第１のデータストリーム内の前記複数のエンティティの第１の対応する認識可能な特性を用いて、前記デバイスによって前記共通知識グラフにアノテーションを付けるステップと、
   第２のアノテーション付き知識グラフを生成するために、前記第２のデータストリーム内の前記複数のエンティティの第２の対応する認識可能な特性を用いて、前記デバイスによって前記共通知識グラフにアノテーションを付けるステップと、
   前記第１のアノテーション付き知識グラフおよび前記第２のアノテーション付き知識グラフに基づき前記エンティティが認識可能であるかどうかを、前記デバイスによって判断するステップと、
   前記第１のアノテーション付き知識グラフおよび前記第２のアノテーション付き知識グラフに基づき、前記デバイスによって前記エンティティのメタデータを生成するステップと、
   前記第１のデータストリームの前記画像データに前記エンティティの情報を重ねること、または
   前記エンティティの認識不能な特性を前記エンティティの認識可能な特性により置き換えること
   のうちの少なくとも１つのために、前記デバイスによって前記メタデータを前記第１のデータストリームに付加するステップと、
   を含む方法。
2. 前記複数のエンティティについての前記情報は、前記複数のエンティティのうちの１つ以上の、対応するアイデンティティを示す、請求項１に記載の方法。
3. 前記画像データが前記エンティティの前記認識不能な特性を含むことに基づき、前記エンティティが認識不能であると判断するステップ
   をさらに含む、請求項１に記載の方法。
4. 前記方法は、
   前記第１のアノテーション付き知識グラフと前記第２のアノテーション付き知識グラフとを比較することに基づき前記エンティティが認識可能である確率を判断するステップと、
   前記エンティティが認識可能である前記確率を前記第１のデータストリームに関連する前記メタデータの中で示すステップと
   をさらに含む、請求項１に記載の方法。
5. 前記方法は、
   前記第１のアノテーション付き知識グラフと前記第２のアノテーション付き知識グラフとを比較することに基づき前記エンティティが認識可能である確率を判断するステップと、
   前記確率が閾値を満たすと判断するステップと、
   前記確率が前記閾値を満たすことに基づき、前記エンティティの前記認識不能な特性に対応する、前記第２のデータストリームからの認識可能な特性を含むように前記第１のデータストリームを補足するステップと、
   をさらに含む、請求項１に記載の方法。
6. 前記第１のデータストリームおよび前記第２のデータストリームは、同じ事象、同じ場所、同じ人または同じ期間のうちの少なくとも１つに関連する、請求項１に記載の方法。
7. 前記画像データは、第１の画像データを含み、前記第２のデータストリームは、第２の画像データを含み、
   前記第２の画像データは、前記複数のエンティティの前記第２の対応する認識可能な特性を含む、請求項１に記載の方法。
8. 前記第２のデータストリームは、画像データ、オーディオデータ、テキストデータまたはセンサデータのうちの少なくとも１つを含む、請求項１に記載の方法。
9. １つ以上のメモリと、
   前記１つ以上のメモリに通信結合された１つ以上のプロセッサと、
   を含むデバイスであって、前記１つ以上のプロセッサは、
   第１のデータストリームおよび第２のデータストリームを受信することと、
   前記第１のデータストリームおよび前記第２のデータストリームに関連する共通知識グラフを取得することであって、
   前記共通知識グラフは、前記第１のデータストリームおよび前記第２のデータストリームに関連する情報を含む、
   前記取得することと、
   エンティティが前記第１のデータストリーム内の認識不能な特性を有することに基づき、前記エンティティが前記第１のデータストリーム内の認識不能なエンティティであると検出することであって、
   顔認識手法が前記エンティティの顔を検出しないことに基づき、前記認識不能な特性が識別される、
   前記検出することと、
   第１のアノテーション付き知識グラフを生成するために、前記認識不能な特性および前記第１のデータストリーム内で識別されたエンティティの第１の対応する認識可能な特性を用いて前記共通知識グラフにアノテーションを付けることと、
   第２のアノテーション付き知識グラフを生成するために、前記第２のデータストリーム内で識別されたエンティティの第２の対応する認識可能な特性を用いて前記共通知識グラフにアノテーションを付けることと、
   前記第２のアノテーション付き知識グラフ内の前記第２の対応する認識可能な特性のうちの１つが前記第１のアノテーション付き知識グラフ内の前記認識不能な特性に対応するかどうかを、前記第１のアノテーション付き知識グラフおよび前記第２のアノテーション付き知識グラフに基づき判断することと、
   前記第２の対応する認識可能な特性のうちの前記１つが前記認識不能な特性に対応するかどうかに基づき、前記エンティティが識別可能なエンティティである確率を判断することと、
   前記確率に基づき、前記エンティティのメタデータを生成することと、
   前記第１のデータストリームの画像データに前記エンティティの情報を重ねること、または
   前記エンティティの認識不能な特性を前記エンティティの認識可能な特性により置き換えること、
   のうちの少なくとも１つのために、前記メタデータを前記第１のデータストリームに付加することと、
   をする、デバイス。
10. 前記共通知識グラフは、前記第１のデータストリームを提供する１つ以上のデータストリームデバイスにより監視される事象、場所、人または期間のうちの少なくとも１つに関連する、請求項９に記載のデバイス。
11. 前記共通知識グラフは、前記エンティティが前記第１のデータストリームおよび前記第２のデータストリームに含まれることを示す、請求項９に記載のデバイス。
12. 前記１つ以上のプロセッサは、前記第１のアノテーション付き知識グラフを生成するために前記共通知識グラフにアノテーションを付けるとき、
    前記第１のデータストリーム内で識別された前記エンティティの前記第１の対応する認識可能な特性を識別するために、第１のオブジェクト認識手法を使用して前記第１のデータストリームを分析することであって、
    前記第１のオブジェクト認識手法は、前記第１のデータストリームの第１のタイプに関連する、
    前記第１のデータストリームを分析することと、
    前記第１のアノテーション付き知識グラフを生成するために、前記第１の対応する認識可能な特性と、前記共通知識グラフの対応するノードとを関連付けることと、
    前記認識不能な特性が、前記認識不能な特性に対応する前記共通知識グラフの特定のノードに関連することを示すことと、
    をし、前記１つ以上のプロセッサは、前記第２のアノテーション付き知識グラフを生成するために前記共通知識グラフにアノテーションを付けるとき、
    前記第２のデータストリーム内で識別された前記エンティティの前記第２の対応する認識可能な特性を識別するために、第２のオブジェクト認識手法を使用して前記第２のデータストリームを分析することであって、
    前記第２のオブジェクト認識手法は、前記第２のデータストリームの第２のタイプに関連する、
    前記第２のデータストリームを分析することと、
    前記第２のアノテーション付き知識グラフを生成するために、前記第２の対応する認識可能な特性と、前記共通知識グラフの対応するノードとを関連付けることと、
    をする、請求項９に記載のデバイス。
13. 前記第１のデータストリームは、当初受信された第１のデータストリームであり、前記１つ以上のプロセッサはさらに、
    再構築された第１のデータストリームをもたらすために、前記認識不能な特性に関連するデータを、前記第２の対応する認識可能な特性のうちの在る認識可能な特性に関連するデータにより置き換えることにより、前記当初受信された第１のデータストリームを再構築することと、
    前記再構築された第１のデータストリームを、前記当初受信された第１のデータストリームに関連して格納することと、
    をする、請求項９に記載のデバイス。
14. 前記１つ以上のプロセッサはさらに、
    前記第２の対応する認識可能な特性のうちの前記１つが前記認識不能な特性に対応することに基づき、前記第２の対応する認識可能な特性のうちの前記１つに関連するメタデータを用いて前記第１のデータストリームを補足する、請求項９に記載のデバイス。
15. 命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、
    １つ以上の命令
    を含み、前記１つ以上の命令は、１つ以上のプロセッサにより実行されると前記１つ以上のプロセッサに、
    第１のデータストリームおよび第２のデータストリームを受信することと、
    前記第１のデータストリームおよび前記第２のデータストリームに関連する共通知識グラフを取得することと、
    エンティティが前記共通知識グラフ内に表現されていると判断することと、
    顔認識手法が前記エンティティの顔を検出しないことに基づき、前記第１のデータストリーム内の前記エンティティの認識不能な特性を判断することと、
    第１のアノテーション付き知識グラフを生成するために、前記認識不能な特性および前記第１のデータストリーム内で識別されたエンティティの第１の対応する認識可能な特性を用いて前記共通知識グラフにアノテーションを付けることと、
    第２のアノテーション付き知識グラフを生成するために、前記第２のデータストリーム内で識別されたエンティティの第２の対応する認識可能な特性を用いて前記共通知識グラフにアノテーションを付けることと、
    前記第１のアノテーション付き知識グラフおよび前記第２のアノテーション付き知識グラフに基づき、前記エンティティの認識可能な特性が前記第２のデータストリーム内にあると判断することであって、
    前記第２のデータストリーム内の前記エンティティの前記認識可能な特性は、前記第１のデータストリーム内の前記エンティティの前記認識不能な特性に対応する、
    前記第２のデータストリーム内にあると前記判断することと、
    前記第１のアノテーション付き知識グラフおよび前記第２のアノテーション付き知識グラフに基づき、前記エンティティのメタデータを生成することと、
    前記第１のデータストリームの画像データに前記エンティティの情報を重ねること、または
    前記エンティティの認識不能な特性を前記エンティティの前記認識可能な特性により置き換えること
    のうちの少なくとも１つのために、前記メタデータを前記第１のデータストリームに付加することと、
    をさせる、非一時的コンピュータ可読媒体。
16. 前記第１のデータストリームは、前記第２のデータストリームと異なる期間に関連する、請求項１５に記載の非一時的コンピュータ可読媒体。
17. 前記第１のデータストリームと前記第２のデータストリームとは、異なるタイプのデータストリームである、請求項１５に記載の非一時的コンピュータ可読媒体。
18. 前記１つ以上の命令は、前記１つ以上のプロセッサによって実行されると前記１つ以上のプロセッサに、
    前記第１のアノテーション付き知識グラフと前記第２のアノテーション付き知識グラフとを比較することに基づき、前記認識不能な特性が前記エンティティに関連する確率を判断することと、
    前記確率が閾値を満たすと判断することと、
    前記確率が前記閾値を満たすことに基づき、前記認識可能な特性を含むように前記第１のデータストリームを補足することと、
    をさらにさせる、請求項１５に記載の非一時的コンピュータ可読媒体。
19. 前記第１のデータストリームは、当初受信された第１のデータストリームであり、前記１つ以上の命令は、前記１つ以上のプロセッサによって実行されると前記１つ以上のプロセッサに、
    再構築された第１のデータストリームをもたらすために、前記認識不能な特性に関連するデータを前記認識可能な特性に関連するデータにより置き換えることにより、前記当初受信された第１のデータストリームを再構築することと、
    前記再構築された第１のデータストリーム内で前記エンティティが識別されるとの通知を提供することと、
    をさらにさせる、請求項１５に記載の非一時的コンピュータ可読媒体。
20. 前記１つ以上の命令は、前記１つ以上のプロセッサによって実行されると前記１つ以上のプロセッサにさらに、
    前記認識不能な特性に対応する前記認識可能な特性に基づき、前記認識可能な特性に関連するメタデータを用いて前記第１のデータストリームを補足させる、請求項１５に記載の非一時的コンピュータ可読媒体。
    

Images