JP6964647B2 - オブジェクトのプライバシが保護されるイメージフレームのシーケンスをエンコーディング及びデコーディングする方法及びデバイス - Google Patents

Description

本発明は、ビデオエンコーディング及びデコーディングの分野に関する。本発明は、特に、プライバシが保護されるべきオブジェクトを描くイメージフレームのシーケンスのエンコーディング及びデコーディングに関する。

ビデオカメラは、店舗、駐車場、駅などの公共エリアの監視に一般に使用される。撮像されたビデオは、一般の人々の安全性を守るために好適に使用されてよい。しかし、撮像されたビデオの欠点は、そこに描かれている人のインテグリティを損なうおそれがあることである。近年、収集されて、保存され得る個人データを制限することにより、人々のインテグリティを保護する努力が、各種の規制を通してなされている。そのような個人データは、人物が特定され得るビデオを含む。

ビデオカメラの製造業者は、撮像されたビデオにおいて、人物又は他のオブジェクトのプライバシを保護できる、様々なソリューションを考え出している。一般的なアプローチとしては、ビデオを分析し、保護されるべきオブジェクトを見つけることが挙げられる。オブジェクトは、顔、人物、スクリーン、自動車などであってよい。これらのオブジェクトは続いて、ビデオからのオブジェクトの特定を不可能にする、プライバシマスクと呼ばれるものにて覆われる。しかし、インシデントが発生した場合、警察又は専門のセキュリティスタッフなどの許可されたユーザが、プライバシマスクのないビデオを見ることができ、犯人、被害者、及び目撃者を特定できることが依然として望ましい。したがって、一般のユーザは、プライバシマスクのあるビデオを見ることのみが許可されるべきであり、許可されたユーザは、マスクされていないビデオを見ることができるべきである。一般のユーザは、セキュリティスタッフメンバであってよく、許可されたユーザは、報告されたインシデントを調べる警察官、専門のシニアセキュリティスタッフメンバ、又は、特定のインシデントを扱うためのセキュリティトレーニングを受けたセキュリティスタッフメンバであってよい。

それらの要件を満たすため、ビデオカメラは、撮像されたビデオから２つの別個のストリームを生成してよい。第１のストリームでは、オブジェクトには、プライバシマスクが提供されてよい一方で、第２のストリームでは、プライバシマスクは提供されない。許可されていないユーザが第２のストリームを見ることを防ぐため、第２のストリームは、暗号化キーを所持するユーザのみが見ることができるよう、暗号化されてよい。

２つの別個のストリームのアプローチは、種々の欠点を有する。例えば、１つではなく、２つのストリームを有することは、ビットレートに悪影響を与え、受信エンドでのさらなるストレージスペースを必要とする。さらに、２つの別個のストリームはペアをなし、受信エンドでのハンドリング中に、２つの別個のストリーム間の関連付けを維持するための労力が必要となる。例えば、そのような労力は、２つのストリームの保存中に必要となる。さらに、受信エンドでのビデオマネジメントシステムは、通常の１つではなく、２つの別個のストリームを受信するよう特別に設計されなければならないであろう。通常、ビデオマネジメントシステムは、非常に多岐にわたる、様々なセットアップを有し得るカメラからのビデオを扱うために使用される。別個のストリームを受信することをサポートするビデオマネジメントシステムは稀であり得、利用可能なビデオマネジメントシステムの多くは、単一のストリームを扱うことにのみ設計されている。したがって、改善の余地がある。

上記を鑑み、本発明の目的はしたがって、上記の欠点を緩和しつつ、許可されたユーザにはオリジナルのビデオを見ることを許可する一方で、一般のユーザには、プライバシマスクのあるビデオを見ることのみを許可するビデオを依然として提供することである。

第１の態様によると、プライバシが保護されるべきオブジェクトを描くイメージフレームのシーケンスをエンコーディングする方法により、上記の目的が達成される。この方法は、
エンコードされるイメージフレームのシーケンスであって、プライバシが保護されるべきオブジェクトを描くイメージフレームのシーケンスを受信することと、
イメージフレームのシーケンスの第１のバージョン及び第２のバージョンを生成することであって、
そのシーケンスの、第２のバージョンではない、第１のバージョンのイメージフレームには、プライバシマスクが提供され、イメージフレームのシーケンスに描かれたオブジェクトのプライバシが保護される、イメージフレームのシーケンスの第１のバージョン及び第２のバージョンを生成することと、
イメージフレームのシーケンスの第１のバージョンを、イントラコードされたイメージフレーム及びインターコードされたイメージフレームの第１のエンコードされたシーケンスとしてエンコーディングすることと、
イメージフレームのシーケンスの第２のバージョンを、インターコードされたイメージフレームの第２のエンコードされたシーケンスとしてエンコーディングすることであって、
第２のエンコードされたシーケンスのインターコードされたイメージフレームは、第１のエンコードされたシーケンスのイントラコードされたイメージフレームを使用してエンコードされる、エンコーディングすることと、
第２のエンコードされたシーケンスのインターコードされたイメージフレームを暗号化することと、
第１のエンコードされたシーケンス及び第２のエンコードされたシーケンスのイメージフレームをインターリービングすることにより、第１のエンコードされたシーケンス及び第２のエンコードされたシーケンスを、単一の出力シーケンスに結合することと、
を含む。

描かれたオブジェクトは、１つ又はそれ以上の静止しているオブジェクト又は動いているオブジェクトであってよい。オブジェクトのプライバシを保護することの理由は、ＥＵの一般データ保護規制（ＥＵ Ｇｅｎｅｒａｌ Ｄａｔａ Ｐｒｏｔｅｃｔｉｏｎ Ｒｅｇｕｌａｔｉｏｎ）などの規制によるものであり得る。

ここで使用されるように、プライバシマスクは、特定のエリアが見られることを制限する、電子的に適用されるマスクである。そのようにして、制限されたエリアのプライベートが維持される。

ここで使用されるように、イントラコードされたフレームとは、それ自体を参照してのみエンコードされたイメージフレームを指す。イントラコードされたフレームはしたがって、自己完結型である。イントラコードされたフレームは、Ｉフレームとしてもまた知られる。

ここで使用されるように、インターコードされたフレームとは、１つ又はそれ以上の他のイメージフレームを参照してエンコードされたイメージフレームを指す。１つ又はそれ以上の他のイメージフレームは通常、前にイントラコードされたフレーム又は前にインターコードされたフレームなどの、前にエンコードされたフレームのデコードされたバージョンである。インターコードされたフレームの例として、Ｐフレーム及びＢフレームが挙げられる。

エンコーディングの前に、様々なタイプの処理が、受信した、イメージフレームのシーケンスに行われてよい。この処理の結果として、イメージフレームのシーケンスの第１のバージョン及び第２のバージョンが生成される。ここで使用されるように、受信した、イメージフレームのシーケンスのバージョンとはしたがって、受信した、イメージフレームのシーケンスから生じた、又はこれに基づいて生成された、イメージフレームのシーケンスを指す。イメージフレームのシーケンスのバージョンは、イメージフレームのシーケンスと同じであってよい。しかし、それはまた、イメージフレームのシーケンスとは異なってもよい。例えば、受信した、イメージフレームのシーケンスの第１のバージョンは、受信した、イメージフレームのシーケンスと異なってよい。なぜなら、第１のバージョン内のプライバシマスクにより、オブジェクトが遮蔽されているからである。受信した、イメージフレームのシーケンスの第２のバージョンは、いくつかの実施形態では、受信した、イメージフレームのシーケンスと同じである。他の実施形態では、第２のバージョンは、受信した、イメージフレームのシーケンスの変更されたバージョンであってよい。

この構成により、イメージシーケンスの２つのバージョンが処理される。そのシーケンスの第１のバージョンでは、保護される、描かれたオブジェクトには、プライバシマスクが提供される。第１のバージョン及び第２のバージョンは続いて、エンコードされる。しかし、これら２つのバージョンは、互いに独立してエンコードされない。さらに詳細には、別個のイントラコードされたフレームは、第２のバージョン（プライバシマスクのないバージョン）用にエンコードされない。その代わりに、第２のバージョンは、エンコードされた第１のバージョンのイントラフレームをシェアする。具体的には、第２のバージョンは、インターコードされたフレームのみを使用してエンコードされる。これらのインターコードされたフレームは、エンコードされた第１のバージョンのイントラコードされたフレームを開始点として取り込んでエンコードされる。このようにして、イントラコードされたフレームは、第２のバージョン用にエンコードされない。イントラコードされたフレームは、ビットレートの点において、インターコードされたフレームよりも大きいため、イメージシーケンスのエンコードされた第１のバージョン及び第２のバージョンの合計ビットレートは、２つのバージョンを互いに独立してエンコーディングすることと比較して、非常に低い。いくつかのテストより、これは、合計ビットレートにおいて３０％の削減をもたらし得ることがわかっている。ビットレートをさらに削減するため、イメージフレームのシーケンスの第１のバージョン（プライバシマスクのあるバージョン）をエンコーディングする際に、イメージフレームのシーケンスの第２のもの（プライバシマスクのないバージョン）をエンコーディングする際の圧縮よりも高い圧縮が使用され得る。設計により、プライバシマスクのあるバージョンは、細部が少なくなる。これは、監視の点から好ましく、したがってさらに圧縮されてよい。

エンコーディング後、イメージシーケンスのエンコードされた第２のバージョンは暗号化される。そのようにして、許可されたユーザのみが、エンコードされた第２のバージョン内の保護されたオブジェクトを見ることができる。

さらに、単一の出力シーケンスである単一のストリームが、２つの別個のストリームに代わって、出力として提供される。単一のストリームでは、プライバシマスクを含む、エンコードされたフレーム、及び、プライバシマスクを含まない、暗号化された、エンコードされたフレームが、インターリービングすることにより組み合わされる。したがって、受信エンドは、２つの別個のストリームを受信するよう特別に構成されることも、２つの別個のストリームをペアとして扱うことも、必要でない。

第２のエンコードされたシーケンスのイメージフレームは、出力シーケンス内にて隠されてよい。これは、第２のエンコードされたシーケンスのインターコードされたイメージフレームに、標準イメージデコーダによりデコードされることを防ぐインジケーションを付与することにより達成されてよい。このようにして、標準デコーダは、第２のエンコードされたシーケンスのイメージフレームを無視してよく、したがって、第１のエンコードされたシーケンスのイントラコードされたフレーム及びインターコードされたフレームのみをデコードする。したがって、標準デコーダは、オブジェクトがプライバシマスクを用いて保護されているイメージシーケンスのバージョンをデコードする。しかし、隠れているイメージフレームをデコードするために、専用デコーダが必要である。

標準デコーダとは、標準ビデオコーディングフォーマットに準拠するビデオをデコードするよう構成されているデコーダを意味する。そのような標準の例として、Ｈ．２６４／ＡＶＣ／ＭＰＥＧ−４パート１０及びＨ．２６５／ＨＥＶＣ／ＭＰＥＧ−Ｈパート２が挙げられる。

このインジケーションは、第２のエンコードされたシーケンスのインターコードされたイメージフレームのヘッダに付与されてよい。このようにして、デコーダは、フレームをデコードする必要なく、情報に容易にアクセスし得る。

インジケーションは、例えば、ヘッダにフラグを設定することによってなど、様々な方法にて実施されてよい。隠れているイメージフレームを示すことに便利な方法の１つに、現在の標準にしたがう、未指定のヘッダにて、ビット又はビットの組み合わせを使用できるようにすることが挙げられる。例えば、Ｈ．２６４及びＨ．２６５の標準では、ネットワークアブストラクションレイヤ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ又はＮＡＬ）ユニットには、ＮＡＬユニットのタイプを含むヘッダ情報が提供される。このインジケーションは、第２のエンコードされたシーケンスのインターコードされたイメージフレームに関連付けられた、ＮＡＬユニットのユニットタイプであるＮＡＬの値を設定することにより付与されてよい。この値は、標準デコーダによりＮＡＬユニットがデコードされるべきでないことを示すよう設定されてよい。したがって、インジケーションをこのようにして付与することにより、標準デコーダは、ＮＡＬユニットに関連付けられた、インターコードされたイメージフレームを自動的に無視する。専用デコーダがしかし、これらのインターコードされたフレームをインジケーションに基づいて特定するために、特別に設計されてよい。

上述するように、標準デコーダが、第２のエンコードされたシーケンスのインターコードされたフレームを無視してよい一方で、専用デコーダがその代わりに、第２のエンコードされたシーケンスのインターコードされたフレームを特定し、デコードしてよい。第２のエンコードされたシーケンスは、イントラコードされたフレームを、第１のエンコードされたシーケンスとシェアするため、専用デコーダは、第２のエンコードされたシーケンスのインターコードされたフレームをデコードするために、第１のエンコードされたシーケンスのイントラコードされたフレームをデコードする必要がある。しかし、第１のエンコードされたシーケンスの、デコードされた、イントラコードされたフレームは、専用デコーダに表示されるべきでない。なぜならこれらは、プライバシマスクを含むからである（専用デコーダの役割は、プライバシマスクのないシーケンスをデコードすることである）。

第１のエンコードされたシーケンスのイントラコードされたフレームが、専用デコーダに表示されることを回避するには、種々の方法がある。

第１のアプローチでは、専用デコーダは、表示を意図とする、最後のデコードされたシーケンスに、イントラコードされたフレームを含まないように特別に設計されている。

第２のアプローチでは、第１のエンコードされたシーケンスのイントラコードされたフレームに、エンコーディング中、それらが表示されるべきでないことのインジケーションが付与される。そのようにして、専用デコーダは、イントラコードされたフレームを表示しない。しかし、それらのアプローチの欠点としては、標準デコーダが、イントラコードされたフレームを表示しないということもまた挙げられる。それらの欠点に対処するため、この方法は、イントラコードされたイメージフレームのそれぞれの後に、空の、インターコードされたイメージフレームを、第１のエンコードされたシーケンスに加えることをさらに含んでよい。デコードされて表示されると、空の、インターコードされたイメージフレームは、イントラコードされたイメージフレームのコピーとして現れる。

イメージフレームのシーケンスは、プライバシが保護されるべき様々なタイプのオブジェクトを描いてよい。例えば、オブジェクトのタイプの１つは、人物であってよく、別のタイプは、ライセンスプレートであってよく、さらに別のタイプは、特定の建物であってよい。別の例では、オブジェクトのタイプの１つは、第１のカテゴリの人物（店舗内の客など）であり、別のタイプのオブジェクトは、第２のカテゴリの人物（店舗内のスタッフなど）である。そのようなシチュエーションでは、そのシーケンスの第１のバージョンのイメージフレームには、プライバシマスクが提供され、プライバシが保護されるべきすべてのタイプのオブジェクトのプライバシを保護してよく、そのシーケンスの第２のバージョンのイメージフレームには、プライバシマスクが提供され、プライバシが保護されるべき第１のタイプのオブジェクト以外のすべてのプライバシを保護してよい。これにより、他のタイプのオブジェクト以外の、第１のタイプのオブジェクトを見る許可を、ユーザに与えることができる。

上記のアプローチは、様々なオブジェクトタイプへの許可を、様々なユーザに与えることができるよう、拡張されてよい。より具体的には、この方法は、
イメージフレームのシーケンスの第３のバージョンを生成することと、
そのシーケンスの第３のバージョンのイメージフレームには、プライバシマスクが提供され、プライバシが保護されるべき第２のタイプのオブジェクト以外のすべてのプライバシを保護することと、
イメージフレームのシーケンスの第３のバージョンを、インターコードされたイメージフレームの第３のエンコードされたシーケンスとしてエンコーディングすることであって、
第３のエンコードされたシーケンスのインターコードされたイメージフレームは、第１のエンコードされたシーケンスのイントラコードされたイメージフレームを使用してエンコードされる、エンコーディングすることと、
第３のエンコードされたシーケンスのインターコードされたイメージフレームを暗号化することと、
第１のエンコードされたシーケンス、第２のエンコードされたシーケンス、及び第３のエンコードされたシーケンスのイメージフレームをインターリービングすることにより、第３のエンコードされたシーケンスを、第１のエンコードされたシーケンス及び第２のエンコードされたシーケンスと共に、単一の出力シーケンスに結合することと、
をさらに含んでよい。

このアプローチにより、イメージフレームのシーケンスの第３のバージョンが生成される。第３のバージョンでは、プライバシマスクが提供され、第２のタイプのオブジェクト以外のすべてのオブジェクトのプライバシを保護する。そのシーケンスの第３のバージョンは続いて、第１のエンコードされたシーケンスのイントラコードされたフレームを使用して、そのシーケンスの第２のバージョンと同様にエンコードされる。第２のエンコードされたシーケンスのイメージフレームから、許可されたユーザは、第２のタイプのオブジェクトを復号し、デコードし、表示してよい。第３のエンコードされたシーケンスのイメージフレームから、許可されたユーザは、第３のタイプのオブジェクトを復号し、デコードし、表示してよい。

第２のエンコードされたシーケンスは通常、インターコードされたイメージフレームのみを含む。これらのインターコードされたイメージフレームは、連続する、インターコードされたイメージフレームのサブシーケンスに配置されてよい。サブシーケンスは、第１のエンコードされたシーケンスのイントラコードされたイメージフレームを、エンコーディングの開始点として使用してエンコードされてよい。例えば、サブシーケンスの、最初のインターコードされたフレームは、イントラコードされたイメージフレームの、デコードされたバージョンを参照してエンコードされてよい。サブシーケンスの、次のインターコードされたフレームは、第１のインターコードされたイメージフレームの、デコードされたバージョンを参照してエンコードされてよい。以降同様。

第２の態様によると、プライバシが保護されるべきオブジェクトを描くイメージフレームのシーケンスをエンコーディングするデバイスが提供される。このデバイスは、
エンコードされるイメージフレームのシーケンスであって、プライバシが保護されるべきオブジェクトを描くイメージフレームのシーケンスを受信するよう構成されているレシーバと、
イメージフレームのシーケンスの第１のバージョンを生成するよう構成されているプライバシマスカであって、そのシーケンスの第１のバージョンのイメージフレームには、プライバシマスクが提供され、イメージフレームのシーケンスに描かれたオブジェクトのプライバシを保護する、プライバシマスカと、
イメージフレームのシーケンスの第１のバージョンを、イントラコードされたイメージフレーム及びインターコードされたイメージフレームの第１のエンコードされたシーケンスとしてエンコードし、イメージフレームのシーケンスの第２のバージョンを、インターコードされたイメージフレームの第２のエンコードされたシーケンスとしてエンコードするよう構成されているエンコーダであって、イメージフレームのシーケンスの第２のバージョンのイメージフレームには、プライバシマスクが提供されず、イメージフレームのシーケンスに描かれたオブジェクトのプライバシを保護せず、第２のエンコードされたシーケンスのインターコードされたイメージフレームは、第１のエンコードされたシーケンスのイントラコードされたイメージフレームを使用してエンコードされる、エンコーダと、
第２のエンコードされたシーケンスのインターコードされたフレームを暗号化するよう構成されているエンクリプタと、
第１のエンコードされたシーケンス及び第２のエンコードされたシーケンスのイメージフレームをインターリービングすることにより、第１のエンコードされたシーケンス及び第２のエンコードされたシーケンスを、単一の出力シーケンスに結合するよう構成されているインターリーバと、
を含む。

第３の態様によると、カメラが提供される。このカメラは、
プライバシが保護されるべきオブジェクトを描くイメージフレームのシーケンスを撮像するよう構成されているイメージセンサと、
イメージセンサにより撮像されたイメージフレームのシーケンスを受信し、受信した、イメージフレームのシーケンスを、単一の出力シーケンスにエンコードするよう配置されている、第２の態様に係るデバイスと、
を含む。

第４の態様によると、プロセッサにより実行されると、第１の態様に係る方法を実施するよう適合されているコンピュータコード命令を保存している、（非一時的）コンピュータ可読媒体が提供される。

第２、第３、及び第４の態様は一般に、第１の態様と同じ特徴及び利点を有してよい。

第５の態様によると、オブジェクトのプライバシが保護される、エンコードされた、イメージフレームのシーケンスをデコーディングする方法が提供される。この方法は、
エンコードされた、イメージフレームのシーケンスを受信することであって、
エンコードされた、イメージフレームのシーケンスは、イメージフレームの第１のエンコードされたシーケンス及び第２のエンコードされたシーケンスのインターリーブされたイメージフレームを含み、
イメージフレームの第２のエンコードされたシーケンスは、第１のエンコードされたシーケンスのイントラコードされたイメージフレームを使用してエンコードされた、インターコードされたイメージフレームを含み、
オブジェクトのプライバシは、第１のエンコードされたシーケンスのイメージフレーム内のプライバシマスクにより、及び、第２のエンコードされたシーケンス内の暗号化により保護される、イメージフレームのシーケンスを受信することと、
エンコードされた、イメージフレームのシーケンスから、第１のエンコードされたシーケンスのイントラコードされたイメージフレーム及び第２のエンコードされたシーケンスのインターコードされたイメージフレームを抽出することと、
第２のエンコードされたシーケンスのインターコードされたイメージフレームを復号することと、
第１のエンコードされたシーケンスのイントラコードされたフレーム及び第２のエンコードされたシーケンスの復号された、インターコードされたイメージフレームをデコーディングするであって、
復号された、インターコードされたイメージフレームは、第１のエンコードされたシーケンスのデコードされた、イントラコードされたフレームを使用してデコードされる、インターコードされたイメージフレームをデコーディングすることと、
表示用のデコードされたシーケンスを、第２のエンコードされたシーケンスのデコードされ、復号された、インターコードされたイメージフレームから、形成することと、
を含む。

上記のデコーディング方法は、専用デコーダにて行われてよい。この専用デコーダはしたがって、第１のエンコードされたシーケンスのイントラコードされたフレーム及び第２のエンコードされたシーケンスのインターコードされたフレームをデコードしてよい。しかし、専用デコーダは、デコードされた、インターコードされたフレームのみを、結果として生じる、表示用のシーケンスに含む。

上述するように、第２のエンコードされたシーケンスのインターコードされたイメージフレームに、標準デコーダによりデコードされることを防ぐインジケーションが付与されてよい。抽出することでは、このインジケーションは、エンコードされた、イメージフレームのシーケンス内のインターコードされたイメージフレームを特定するために使用されてよい。このインジケーションはしたがって、受信した、エンコードされたシーケンスから抽出するのはどのフレームであるかをデコーダに示す。

受信した、エンコードされたシーケンス内のフレームは、それらの表示時点を示すタイムスタンプに関連付けられる。具体的には、第１のエンコードされたシーケンスのイントラコードされたフレーム及び第２のエンコードされたシーケンスのインターコードされたイメージフレームには、それらの表示時点を示すタイムスタンプが提供される。しかし、デコーダは、イントラコードされたフレームを表示シーケンスに含まないため、イントラコードされたフレームが存在すべき表示シーケンスには、タイムスタンプ間のギャップが生じる。それらの問題に対処するため、この方法は、表示用のデコードされたシーケンスに含まれていない、第１のエンコードされたシーケンスのイントラコードされたフレームを補償するよう、第２のエンコードされたシーケンスのインターコードされたイメージフレームのタイムスタンプを調整することをさらに含んでよい。

第６の態様によると、オブジェクトのプライバシが保護される、エンコードされた、イメージフレームのシーケンスをデコーディングするデバイスが提供される。このデバイスは、
エンコードされた、イメージフレームのシーケンスを受信するよう構成されているレシーバであって、
エンコードされた、イメージフレームのシーケンスは、イメージフレームの第１のエンコードされたシーケンス及び第２のエンコードされたシーケンスのインターリーブされたイメージフレームを含み、
イメージフレームの第２のエンコードされたシーケンスは、第１のエンコードされたシーケンスのイントラコードされたイメージフレームを使用してエンコードされた、インターコードされたイメージフレームを含み、
オブジェクトのプライバシは、第１のエンコードされたシーケンスのイメージフレーム内のプライバシマスクにより、及び、第２のエンコードされたシーケンス内の暗号化により保護される、レシーバと、
エンコードされた、イメージフレームのシーケンスから、第１のエンコードされたシーケンスのイントラコードされたイメージフレーム及び第２のエンコードされたシーケンスのインターコードされたイメージフレームを抽出するよう構成されているフレームエキストラクタと、
第２のエンコードされたシーケンスのインターコードされたイメージフレームを復号するよう構成されているデクリプタと、
第１のエンコードされたシーケンスのイントラコードされたフレーム及び第２のエンコードされたシーケンスの復号された、インターコードされたイメージフレームをデコードし、復号された、インターコードされたイメージフレームは、第１のエンコードされたシーケンスのデコードされた、イントラコードされたフレームを使用してデコードされ、第２のエンコードされたシーケンスのデコードされ、復号された、インターコードされたイメージフレームから、表示用のデコードされたシーケンスを形成するよう構成されているデコーダと、
を含む。

第６の態様は一般に、第５の態様と同じ特徴及び利点を有してよい。本発明は更に、特に明白に言及していない限り、すべての可能な特徴の組み合わせに関連することに留意されたい。

本発明の、上記及び更なる目的、特徴、並びに利点は、添付図面を参照しての、本発明の実施形態の、以下に記載する例示的且つ非限定の詳細説明を通して良好に理解される。ここでは、同様のコンポーネントには同じ参照番号が用いられる。

図１は、本発明の実施形態のそれぞれが実施されてよいシステムを模式的に示す。 図２は、実施形態のそれぞれに係るエンコーディングデバイスを模式的に示す。 図３は、実施形態のそれぞれに係るエンコーディング方法のフローチャートである。 図４は、さらなる実施形態のそれぞれに係るエンコーディングデバイスを模式的に示す。 図５は、依然としてさらなる実施形態のそれぞれに係るエンコーディングデバイスを模式的に示す。 図６は、実施形態のそれぞれに係るデコーディング方法のフローチャートである。 図７は、実施形態のそれぞれに係る専用デコーディングデバイスを模式的に示す。 図８は、標準デコーディングデバイスの作動を模式的に示す。

図１は、ビデオカメラ１１と、クライアントデバイス１２と、を含むシステム１を示す。ビデオカメラ１１は、クライアントデバイス１２と、例えば有線ネットワーク又は無線ネットワークを介して通信するよう配置されている。ビデオカメラ１１は、モニタリングカメラであってよい。

カメラ１１は、イメージセンサ１１１と、エンコーディングデバイス１１３と、を含む。カメラ１１はまた、処理デバイス１１２も含んでよい。処理デバイス１１２及びエンコーディングデバイス１１３は、カメラ１１のイメージ処理パイプライン１１４の一部であってよい。

イメージセンサ１１１は、イメージフレームのシーケンス１１５、つまりビデオを撮像するよう配置されている。イメージフレームのシーケンス１１５は、プライバシが保護される、１つ又はそれ以上のオブジェクトを描いてよい。例えば、描かれている１つ又はそれ以上のオブジェクトは、人物、自動車のライセンスプレート、建物、サインなどであってよい。

イメージセンサ１１１は、イメージフレームのシーケンス１１５を、イメージ処理パイプライン１１４の処理デバイス１１２に転送してよく、そこにて、当業者に知られるようなイメージ処理の対象となる。この処理の結果として、処理デバイス１１２は、処理されたイメージフレームのシーケンス１１６を、エンコーディングデバイス１１３に提供する。

さらに詳細に後述するエンコーディングデバイス１１３は、イメージフレームのシーケンス１１６を受信し、それを、エンコードされたイメージフレームの単一の出力シーケンス１１７にエンコードする。つまり、出力シーケンス１１７は、１つ又はそれ以上のオブジェクトが、プライバシマスクを用いて保護されている、エンコードされたイメージフレームと、１つ又はそれ以上のオブジェクトが、暗号化を用いて保護されている、エンコードされたイメージフレームと、の双方を含む。

クライアントデバイス１２は、標準デコーディングデバイス１２１、専用デコーディングデバイス１２２、又はそれら双方を含んでよい。標準デコーディングデバイス１２１は、Ｈ．２６４又はＨ．２６５などの標準に準拠しており、現在の標準の仕様にしたがうビデオをデコードする。一方、専用デコーダ１２２は、１つ又はそれ以上のオブジェクトが、プライバシマスクを用いて保護されている、エンコードされたイメージフレームと、１つ又はそれ以上のオブジェクトが、暗号化を用いて保護されている、エンコードされたイメージフレームと、の双方を含む、エンコードされた、イメージフレームのシーケンス１１７をデコードするよう、特別に設計されている。

クライアントデバイス１２はまた、デコードされたビデオの表示用ディスプレイ１２３も含んでよい。代替的に、クライアントデバイス１２は、デコードされたビデオを、外部ディスプレイに送信してよい。

標準デコーディングデバイス１２１及び／又は専用デコーディングデバイス１２２は、エンコードされた、イメージフレームのシーケンス１１７を受信する。さらに詳細に後述するように、標準デコーディングデバイス１２１は、１つ又はそれ以上のオブジェクトが、暗号化を用いて保護されている、エンコードされたイメージフレームを無視する。その代わりに、１つ又はそれ以上のオブジェクトが、プライバシマスクを用いて保護されているイメージフレームをデコードする。したがって、標準デコーディングデバイス１２１は、１つ又はそれ以上のオブジェクトが、プライバシマスクにより保護されているイメージフレームのみをデコードする。したがって、標準デコーディングデバイス１２１は、１つ又はそれ以上のオブジェクトが、プライバシマスクにより保護されている、デコードされたイメージフレームのシーケンス１２４を生成する。

一方、専用デコーディングデバイス１２２は、１つ又はそれ以上のオブジェクトを見ることができる、デコードされたイメージフレームのシーケンス１２５を生成する。

エンコーディングデバイス１１３を、図２にさらに詳細に示す。これは、レシーバ２０１と、プライバシマスカ２０２と、エンコーダ２０３と、エンクリプタ２０４と、インターリーバ２０５と、を含む。

エンコーディングデバイス１１３はしたがって、デバイス１１３の機能を実施するよう構成されている様々なコンポーネント２０１、２０２、２０３、２０４、及び２０５を含む。特に、それぞれは、デバイス１１３の機能に対応するコンポーネントを示す。一般的に、デバイス１１３は、コンポーネント２０１、２０２、２０３、２０４、及び２０５を実装する、より具体的には、それらの機能を実施するよう構成されている回路を含んでよい。

ハードウェアの実装では、コンポーネント２０１、２０２、２０３、２０４、及び２０５のそれぞれは、コンポーネントの機能を提供する専門の、具体的に設計された回路に相当してよい。この回路は、１つ又はそれ以上の特定用途向け集積回路、若しくは、１つ又はそれ以上のフィールドプログラマブルゲートアレイなどの、１つ又はそれ以上の集積回路の形態であってよい。例として、エンコーダ２０３はしたがって、使用中、イメージフレームのシーケンスの第１のバージョン及び第２のバージョンをエンコードする回路を含んでよい。

ソフトウェアの実装では、回路はその代わりに、不揮発性メモリなどの、（非一時的）コンピュータ可読媒体上に保存されたコンピュータコード命令と関連して、デバイス１０４に、ここに開示するいずれの方法を実施させるマイクロプロセッサなどの、プロセッサの形態であってよい。不揮発性メモリの例として、読み取り専用メモリ、フラッシュメモリ、強誘電性ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ又はＲＡＭ）、磁気コンピュータストレージデバイス、光学ディスク、などが挙げられる。ソフトウェアの場合では、コンポーネント２０１、２０２、２０３、２０４、及び２０５のそれぞれはしたがって、プロセッサにより実行されると、デバイス１１３に、コンポーネントの機能を実施させる、コンピュータ可読媒体上に保存されたコンピュータコード命令の部位に相当してよい。

ハードウェアの実装及びソフトウェアの実装の組み合わせもまた可能であるということが理解されるであろう。これは、コンポーネント２０１、２０２、２０３、２０４、及び２０５のいくつかの機能がハードウェアにて実装され、その他がソフトウェアにて実装されるということを意味する。

プライバシが保護されるべきオブジェクトを描くイメージフレームのシーケンスをエンコーディングする際の、エンコーディングデバイス１１３の作動を、図２と、図３のフローチャートと、を参照して説明する。

ステップＥ０２にて、レシーバ２０１は、イメージフレームのシーケンス１１６を受信する。イメージフレームのシーケンス１１６のイメージフレームは、順次受信される。エンコーディングデバイス１１３は、イメージフレームを、受信した順に１つずつ処理する。イメージフレームのシーケンスを、レシーバブロック２０１内の白いボックスのシーケンスとして示す。

レシーバ２０１は、イメージフレームのシーケンス１１６を、プライバシマスカ２０２に転送する。プライバシマスカ２０２は、ステップＥ０４にて、イメージフレームのシーケンス２１６の第１のバージョン２１６ａを生成する。そのシーケンスの第１のバージョン２１６ａでは、イメージフレームには、１つ又はそれ以上のプライバシマスクが提供され、受信したシーケンス１１６のイメージフレーム内に描かれている、１つ又はそれ以上のオブジェクトを保護する。そのようにするために、プライバシマスカ２０２はまず、受信したシーケンス１１６のイメージフレーム内にてプライバシが保護されるべき１つ又はそれ以上のオブジェクトを検出してよい。その目的のために、プライバシマスカ２０２は、オブジェクトを検出するいずれの既知の方法を使用してよい。例えば、１つ又はそれ以上のオブジェクトが人間である場合、画像内の人間を検出するいずれの既知の方法が使用されてよい。１つ又はそれ以上のオブジェクトが、動いているオブジェクトである場合、プライバシマスカ２０２は、受信した、イメージフレームのシーケンス１１６内のイメージフレーム間のモーションを観察することにより、オブジェクトを検出することができる、モーション検出又はトラッキング方法を使用してよい。

例として、プライバシマスカ２０２は、背景画像を保存してよい、又は、背景画像へのアクセスを有してよい。背景画像は、いずれの前景オブジェクトなく、シーン内の背景を描く。プライバシマスカ２０２は、イメージフレームを背景画像と比較することにより、シーケンス１１６のイメージフレーム内の１つ又はそれ以上のオブジェクトを検出してよい。そのようにして、プライバシマスカ２０２は、１つ又はそれ以上のオブジェクトに対応する、イメージフレーム内のそれらのピクセルを特定してよい。プライバシマスカ２０２はさらに、シーケンス１１６のイメージフレームに基づいて、背景画像を更新してよい。例えば、プライバシマスカ２０２は、背景画像内のピクセルと、１つ又はそれ以上のオブジェクトに対応しない、イメージフレーム内のピクセルと、の重み付けされた平均を形成してよい。更新された背景画像は続いて、シーケンス１１６内の後続のイメージフレーム内の１つ又はそれ以上のオブジェクトを検出する際に使用されてよい。

１つ又はそれ以上のオブジェクトが検出されると、プライバシマスカ２０２は、１つ又はそれ以上のプライバシマスクを使用して、シーケンス１１６のイメージフレーム内の１つ又はそれ以上のオブジェクトを隠すことにより、イメージシーケンスの第１のバージョン２１６ａを生成してよい。代替的に、プライバシマスカ２０２は、１つ又はそれ以上のプライバシマスクを、１つ又はそれ以上のオブジェクトを検出することに使用された背景画像に加えることにより、イメージシーケンスの第１のバージョン２１６ａを生成してよい。プライバシマスクは、検出された１つ又はそれ以上のオブジェクトに対応する位置のピクセルをカバーするために加えられてよい。

プライバシマスクは一般的に、オブジェクトが閲覧されることを防ぐいずれのものであってよい。これは、オブジェクトに対応するイメージデータを差し替えるために、又はこれをカバーするために使用されてよい。プライバシマスクは、カバーされたオブジェクトの詳細を閲覧できないように、例えば、均一の色をそのエリアに加えてよい。代替的に、マスクは、いずれの鮮明な詳細が閲覧されることを防ぐよう、画像のエリアを不明瞭又は不鮮明にしてよい。プライバシマスクは、そのシーンを、そのマスクを通して見ることができないよう、単一色であってよい。プライバシマスクは、矩形の形状を有してよい。好ましくは、しかし、プライバシマスクは、オブジェクトの輪郭に沿っており、オブジェクトのジェスチャ又はポーズなどの動きが見えるようになっている。例えば、これによりユーザは、特定のエリア内に人が何人おり、そしてその人たちが走っているか、格闘しているか、又は、攻撃的な行動をとっているか、を見ることができる。プライバシマスクが背景画像に加えられた場合、そのプライバシマスクは、オブジェクトの後ろの背景が、マスクを通して光っているように見えるように、透過的なものであってよい。

プライバシマスカ２０２は、イメージフレームのシーケンスの第１のバージョン２１６ａを、エンコーダ２０３に転送する。イメージフレームのシーケンスの第１のバージョン２１６ａを、プライバシマスクブロック２０２内に、ドットパターンのボックスのシーケンスとして示す。

レシーバ２０１はさらに、受信した、イメージフレームのシーケンス１１６を、エンコーダ２０３に、イメージフレームのシーケンスの第２のバージョン２１６ｂとして転送する。図２の実施形態では、イメージフレームのシーケンスの第２のバージョン２１６ｂはしたがって、受信した、イメージフレームのシーケンス１１６と同じである。エンコーディングデバイス１１３はしたがって、ステップＥ０４にて、受信した、イメージフレームのシーケンス１１６と同じである、受信した、イメージフレームのシーケンス１１６の第２のバージョン２１６ｂを生成する。

エンコーダ２０３は続いて、ステップＥ０６にて、イメージフレームのシーケンスの第１のバージョン２１６ａをエンコードし、第１のエンコードされたシーケンス２０７を生成する。エンコーダ２０３は、例えば、Ｈ．２６５標準のＨ．２６４にしたがい、イントラコードされたフレーム（Ｉフレーム）及びインターコードされたフレーム（Ｐフレーム及び／又はＢフレーム）を使用して、そのシーケンスの第１のバージョン２１６ａ内のイメージフレームをエンコードする。イメージフレームは、どのフレームがイントラコードされるべきであり、どのフレームがインターコードされるべきであるかを規定する、連続する写真のグループ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅ又はＧＯＰ）としてエンコードされてよい。通常、ＧＯＰのそれぞれは、イントラコードされたフレームにより始まり、１つ又はそれ以上の、インターコードされたフレームのシーケンスがこれに続く。例として、第１のエンコードされたシーケンス２０７のＧＯＰの一部を、エンコーダブロック２０３の上部に示す。ＧＯＰ内の１つ目のフレームは、イントラコードされる（Ｉと示す）。２つ目のフレームは、このイントラコードされたフレームを参照してインターコードされる（Ｐと示す）。３つ目のフレームは、この２つ目のフレームを参照してインターコードされる。以降同様。

エンコーダ２０３はさらに、ステップＥ０８にて、イメージフレームのシーケンスの第２のバージョン２１６ｂを、第２のエンコードされたシーケンス２０８としてエンコードする。第２のエンコードされたシーケンス２０８は、インターコードされたイメージフレームのみを含む。そのシーケンスの第２のバージョン２１６ｂをエンコーディングする際には、エンコーダ２０３は、そのシーケンスの第１の、プライバシマスクのあるバージョン２０６のイントラコードされたフレームを使用できるようにする。第２のエンコードされたシーケンス２０８は、連続する、インターコードされたイメージフレームのサブシーケンスを含む。これらのサブシーケンスのそれぞれは、第１のエンコードされたシーケンス２０７内のイントラコードされたフレームに関連付けられている。第１のエンコードされたシーケンス２０７内のイントラコードされたフレームは、第２のエンコードされたシーケンス２０８のフレームの、関連付けられたサブシーケンスのエンコーディングのための開始点として、つまり、開始基準フレームとして使用される。第１のエンコードされたシーケンス２０７内のイントラコードされたフレームは、第２のエンコードされたシーケンス２０８の、関連付けられたサブシーケンス内の第１のインターコードされたフレームに対する基準フレームとして使用されるが、第２のエンコードされたシーケンス２０８の、関連付けられたサブシーケンス内の後続のインターコードされたフレームに対する基準フレームとしてもまた使用されてよい。第２のエンコードされたシーケンス２０８のインターコードされたフレームのサブシーケンスを、エンコーダブロック２０３の下部に示す。ここに示すサブシーケンスは、エンコーダブロック２０３の上部に示す、ＧＯＰのイントラコードされたフレームに関連付けられている。このサブシーケンスの最初の、インターコードされたフレームは、イントラコードされたフレームを参照してエンコードされる一方で、このサブシーケンスの後続のインターコードされたフレームは、このサブシーケンス内の、前のフレームを参照してエンコードされる。

第１のエンコードされたシーケンス２０７のイントラコードされたフレーム、及び、そのイントラコードされたフレームに関連付けられたサブシーケンスの第１のインターコードされたフレームは、撮像されたビデオ内の同じフレームに対応することに留意すべきである。これら２つの違いは、オブジェクトが、最初のものではマスクされている一方で、他方ではマスクされていないことである。したがって、イントラコードされたフレームに戻って参照することにより、第２のエンコードされたシーケンスのインターコードされたフレームが保持する情報のみが、第１のエンコードされたシーケンス内の、プライバシマスクのある、１つ又はそれ以上のオブジェクトである。

エンコーダ２０３は、第１のエンコードされたシーケンス２０７を、インターリーバ２０５に転送し、第２のエンコードされたシーケンス２０８を、エンクリプタ２０４に転送する。

エンクリプタ２０４は、ステップＥ１０にて、第２のエンコードされたシーケンス２０８のインターコードされたイメージフレームを暗号化し、インターリーバ２０５に転送される、暗号化され、エンコードされた第２のシーケンス２０９を生成する。具体的には、エンクリプタ２０４は、インターコードされたイメージフレームのペイロード、つまり、これらのフレームが保持する、エンコードされたデータをエンコードする。この目的のため、いずれの既知の暗号化スキームが使用されてよい。例えば、ＡＥＳ２５６などの対称暗号化アルゴリズムや、同様のアルゴリズムが使用されてよい。第２のエンコードされたシーケンス２０８のインターコードされたフレームは、第１のエンコードされたシーケンス２０７内の、プライバシマスクのある、１つ又はそれ以上のオブジェクトに関する情報のみを含むため、暗号化とは、その１つ又はそれ以上のオブジェクトのみが暗号化されることを暗示する。暗号化された、第２のエンコードされたシーケンス２０９を、暗号化ブロック２０４の下部に、斜線パターンのボックスのシーケンスを用いて示す。図２に示すように、暗号化は、エンコーディング後に好適に行われる。しかし、このエンコーディングが、暗号化にダメージ与える、というリスクがある。

インターリーバ２０５は、ステップＥ１２にて、第１のエンコードされたシーケンス２０７及び第２のエンコードされたシーケンス２０９を結合し、エンコードされたフレームの単一の出力シーケンス１１７を生成する。そのようにするために、インターリーバ２０５は、第１のエンコードされたシーケンス２０７及び第２のエンコードされたシーケンス２０９のフレームをインターリーブする。例えば、インターリーバブロック２０５に示すように、インターリーバ２０５は、出力シーケンス１１７内に、第１のエンコードされたシーケンス２０７及び第２のエンコードされたシーケンス２０９からのフレームを交互に含んでよい。ステップＥ１０及びステップＥ１２は、反対方向に行われてよいことが理解される。換言すると、第２のエンコードされたシーケンスに基づく、インターコードされたフレームは、第１のエンコードされたシーケンスのフレームと共にインターリーブされた後に暗号化されてよい。

第２のエンコードされたシーケンス２０９のインターコードされたフレームは、標準デコーディングデバイス１２１が、それらのフレームを無視するように、出力シーケンス１１７内に隠されてよい。これらのフレームを隠すために、エンコーダ２０３は、第２のエンコードされたシーケンス２０８のイメージフレームに、標準デコーディングデバイス１２１によりデコードされることを防ぐインジケーションを付与してよい。このインジケーションは、標準デコーディングデバイス１２１に、関連するフレームを無視させる、いずれのタイプのインジケーションであってよい。このインジケーションは、第２のエンコードされたシーケンスのインターコードされたイメージフレームのヘッダに付与されてよい。さらに詳細には、コードされたビデオデータ、つまり、イントラコードされたイメージフレーム及びインターコードされたイメージフレームは、出力シーケンス１１７内にＮＡＬユニットにてまとめられてよい。Ｈ．２６４及びＨ．２６５の標準では、ＮＡＬユニットには、ＮＡＬユニットでのデータのタイプを含むヘッダ情報が提供される。ヘッダ情報には、ヘッダが指定するタイプのペイロードデータが続く。例えば、ＮＡＬユニットが、イントラコードされたフレームのデータを保持する場合、ヘッダ情報は、そのデータが、イントラコードされたフレームであることを指定してよい。このインジケーションは、第２のエンコードされたシーケンスのインターコードされたイメージフレームに関連付けられた、ＮＡＬユニットのユニットタイプであるＮＡＬの値を設定することにより付与されてよい。この値は、標準デコーダによりＮＡＬユニットがデコードされるべきでないことを示すよう設定されてよい。より具体的には、３２の可能な値を与える５つのビットが、Ｈ．２６４にしたがう、ＮＡＬユニットのタイプを示すよう設定されてよい。これらの値のいくつか、すなわち、０の値、又は、２４から３１の範囲内の値は、この標準において指定されておらず、デコーディング処理に影響しない。したがって、ＮＡＬユニットのタイプを、これらの値の１つに設定することにより、標準デコーダ１２１は、これらのＮＡＬユニットに関連付けられた、インターコードされたイメージフレームを自動的に無視する。専用デコーダがしかし、さらに詳細に後述するように、これらのインターコードされたフレームをインジケーションに基づいて特定するために、特別に設計されてよい。

いくつかの実施形態では、エンコーダ２０３は、第１のエンコードされたシーケンス２０７のイントラコードされたフレームを、Ｈ．２６５の標準にサポートされるように、非表示フレームに設定してよい。これは、標準デコーダ１２１も、専用デコーダ１２２も、ディスプレイ１２３に送信される、デコードされた出力シーケンス１２４及び１２５内に、イントラコードされたフレームのデコードされたバージョンを含めないことを暗示する。しかし、標準デコーディングデバイス１２１が依然として、イントラコードされたフレームのコンテンツを表示することが望ましくあってよいため、エンコーダ２０３は、第１のエンコードされたシーケンス２０７内のイントラコードされたイメージフレームのそれぞれの後に、空の、インターコードされたフレームを加えてよい。そのような空のフレームは、Ｐスキップフレームとして実施されてよい。空のフレームには、先の、イントラコードされたフレームと同じタイムスタンプが提供されてよい。

図４は、そのプライバシが検出される、様々なタイプのオブジェクトがシーン内にある場合に有益であってよい、代替的な実施形態を示す。図４に示すエンコーディングデバイス４１３は、以下の点において、図２に示すそれとは異なる。すなわち、エンコーディングデバイス４１３は、イメージフレームのシーケンスの第２のバージョン４１６ｂを生成するプライバシマスカ４０２を含む。プライバシマスカ４０２は、プライバシマスカ２０２と同様に作動し、イメージフレームのシーケンスの第２のバージョン４１６ｂのイメージフレームには、プライバシマスクを提供する。しかし、プライバシマスカ２０２が、第１のバージョン２１６ａのイメージフレーム内の様々なタイプのオブジェクトのすべてをプライバシマスクにて保護する一方で、プライバシマスカ４０２は、第１のタイプのオブジェクトに、プライバシマスクを提供することを抑制する。したがって、第１のタイプのオブジェクト以外のすべては、プライバシマスカ４０２の出力である、そのシーケンスの第２のバージョン４１６ｂのイメージフレーム内にて隠される。これを、部分的なドットパターンの、プライバシマスクブロック４０２内のボックスのシーケンスに示す。

図５は、同じテーマのさらなる代替的な実施形態を示す。図５のエンコーディングデバイス５１３は、以下の点において、図４のエンコーディングデバイス４１３とは異なる。すなわち、プライバシマスカ４０２は、イメージフレームのシーケンスの第３のバージョン５１６ｂをさらに生成する。プライバシマスカ４０２は、そのシーケンスの第３のバージョン５１６ｂのイメージフレームには、プライバシマスクを提供する。さらに詳細には、プライバシマスカは、第２のタイプのオブジェクト以外のすべてを、プライバシマスクにて隠す。したがって、プライバシマスカ４０２の出力である、第２のバージョン４１６ｂ及び第３のバージョン５１６ｂにて、様々なタイプのオブジェクトを見ることができる。エンコーディングデバイス５１３はしかし、第３のバージョン５１６ｂを、第２のバージョン４１６ｂと同じように扱う。したがって、結果として生じる出力ストリーム１１７では、第１のエンコードされたシーケンス２０７、第２のエンコードされたシーケンス２０９、及び第３のエンコードされたシーケンス５０９のエンコードされたフレームが交互になっている。

図５の実施形態は、イメージシーケンスのバージョンが、３つを超えて生成されるケースを一般化するものであることが理解される。ここでは、第２のバージョン、第３のバージョン、第４のバージョンなどの異なるそれぞれにおいて、様々なタイプのオブジェクトがマスクされる。画像のシーケンスの様々なバージョンにおいて、多くの様々なオブジェクトタイプがマスクされる実施形態があることもまた理解される。例えば、第１のバージョンでは、すべてのオブジェクトタイプがマスクされ、第２のバージョンでは、１つのオブジェクトタイプ以外のすべてがマスクされ、第３のバージョンでは、２つのオブジェクトタイプ以外のすべてがマスクされる。

専用デコーディングデバイス１２２の作動を、図６のフローチャートと、専用デコーディングデバイス１２２をさらに詳細に示す図７と、を参照して説明する。エンコーディングデバイス１１３と同様に、デコーディングデバイス１２２の様々なコンポーネント７０１、７０２、７０３、７０４、及び７０５は、図２を参照して上述するように、ソフトウェア及び／又はハードウェアにて実装されてよい。

ステップＤ０２にて、デコーディングデバイス１２２のレシーバ７０１は、エンコーディングデバイス１１３により生成された、エンコードされた、イメージフレームのシーケンス１１７を受信する。エンコードされた、イメージフレームのシーケンス１１７は、フレームエキストラクタ７０２に転送される。

フレームエキストラクタ７０２は、ステップＤ０４にて、第１のエンコードされたシーケンス２０７のイントラコードされたフレームと、第２のエンコードされたシーケンス２０９のインターコードされたフレームと、を抽出する。換言すると、フレームエキストラクタ７０２は、受信した、イメージフレームのシーケンスの第２のバージョン２１６ｂ（又は、図４及び図５の実施形態での、第２のバージョン４１６ｂ及び第３のバージョン５１６ｂ）を再構築するために必要なフレームを抽出する。エンコードされた、イメージフレームのシーケンス１１７が、エンコードされたシーケンス５０９のインターコードされたイメージフレームもまたさらに含む、図５に示すシチュエーションでは、フレームエキストラクタ７０２は、それらのインターコードされたフレームを同様に抽出する。

エンコードされた、イメージフレームのシーケンス１１７からフレームを抽出する際には、フレームエキストラクタ７０２は、フレームのタイプを指定するヘッダ情報を使用できるようにしてよい。ヘッダ情報は、フレームが、イントラコードされたフレームであるか、又は、インターコードされたフレームであるか、を指定してよい。例えば、フレームのタイプは、ＮＡＬユニットのタイプを介して示されてよい。したがって、フレームエキストラクタ７０２は、イントラコードされたフレームとして指定されるすべてのフレームを抽出してよい。第２のエンコードされたシーケンス２０９のインターコードされたフレームを、第１のエンコードされたシーケンス２０７のそれらから分別するために、フレームエキストラクタ７０２は、標準デコーダ１２１によりフレームがデコードされるべきでないことを示す、上述するインジケーションを使用してよい。具体的には、フレームエキストラクタ７０２は、そのようなインジケーションを含むインターコードされたフレームを特定し、それらをシーケンス１１７から抽出してよい。

抽出されたフレーム７０６は、デクリプタ７０３に転送される。デクリプタ７０３は、ステップＤ０６にて、抽出された、インターコードされたフレームのペイロードを復号する。特に、これは、デクリプタ７０３には、エンコーディングデバイス１１３のエンクリプタ２０４が使用した暗号化キーに合致する復号キーが提供されることを必要とする。したがって、その復号キーを所持するユーザのみが、インターコードされたフレームを復号してよい。

次に、デコーダ７０４は先に進み、ステップＤ０８にて、イントラコードされたフレーム及び復号された、インターコードされたフレームのシーケンス７０７をデコードする。デコーダ７０４は、この点において、標準的なＨ．２６４又はＨ．２６５デコーダとして作動してよい。デコーダ７０４はしたがって、デコードされたフレームのシーケンス７０８を生成する。イントラコードされたフレームに対応する、デコードされたフレーム７０８のいくつかでは、オブジェクトのプライバシを保護するプライバシマスクがある一方で、インターコードされたフレームに対応する他のものでは、少なくとも１つのタイプのオブジェクトには、プライバシマスクが提供されない。後者のフレーム、つまり、プライバシマスクのないフレームのみが表示されるべきであるため、デコーダ７０４は、ステップＤ１０にて、復号され、デコードされた、インターコードされたフレームに対応するフレームのみを含む表示シーケンス１２５を形成する。したがって、最後の表示シーケンス１２５では、１つ又はそれ以上のオブジェクトを見ることができる。

通常、イントラコードされたフレーム及びインターコードされたフレームのシーケンス７０７のフレームは、タイムスタンプに関連付けられる。タイムスタンプは、フレームが表示される時点を示す。これらのタイムスタンプは、好ましくは、イントラコードされたフレームに対応するフレームを、表示シーケンス１２５に含まないことに対して補償するよう調整される。そのような調整がないと、表示シーケンス１２５の再生時に、イントラコードされたフレームの時点付近にてジャンプが発生するおそれがある。この調整は、インターコードされたフレームのタイムスタンプを時間的にシフトし、引き伸ばすことにより達成されてよい。具体的には、インターコードされたフレームのタイムスタンプは、それらが経時的に均一に分布するよう、時間的に補間されてよい。例として、シーケンス７０７が、フレームを、以下にしたがうタイムスタンプと共に含むものと仮定する：

イントラコードされたフレームが移動すると、タイムスタンプは、以下にしたがってシフトされ、引き伸ばされてよい：

したがって、ＧＯＰの、最初のインターコードされたフレームのタイムスタンプは、ＧＯＰが始まる、イントラコードされたフレームのタイムスタンプが与えられるよう、時間的にシフトされてよい。ＧＯＰの他のインターコードされたフレームのタイムスタンプは、ＧＯＰが始まる、イントラコードされたフレームのタイムスタンプと、次のＧＯＰの、イントラコードされたフレームのタイムスタンプと、に広がる時間間隔にわたってそれらが均一に分布するよう補間されてよい。

図８は、標準デコーダ１２１が、エンコードされたイメージのシーケンス１１７をどのように扱うかを示す。標準デコーダ１２１は、エンコードされたイメージのシーケンス１１７を受信する。受信したシーケンス１１７を読む際に、標準デコーダ１２１は、第２のエンコードされたシーケンスに対応するインターコードされたフレーム（図８の斜線フレーム）を無視する。具体的には、標準デコーダ１２１は、それらのフレームが、標準デコーダによりデコードされるべきでないことのインジケーションを理由として、それらのフレームを無視する。したがって、標準デコーダ１２１は先に進み、第１のエンコードされたシーケンス２０７に対応するフレームをデコードし、これにより、オリジナルのイメージシーケンスの、プライバシマスクのある第１のバージョン２１６ｂに対応する表示シーケンス１２４を生成する。したがって、表示シーケンス１２４では、１つ又はそれ以上のオブジェクトが、プライバシマスクにより保護される。

当業者であれば、上記の実施形態を多くの方法にて変更でき、上記の実施形態に示すような、本発明の利点を依然として使用できることが理解されるであろう。本発明は従って、ここに示す実施形態に限定されるべきではなく、特許請求の範囲によってのみ定義されるべきである。更に、当業者が理解するように、ここに示す実施形態は組み合わせることも可能である。

Claims (10)

1. プライバシが保護されるべきオブジェクトを描くイメージフレームのシーケンス（１１６）をエンコードする方法であって、
   エンコードすべきイメージフレームのシーケンス（１１６）を受信すること（Ｅ０２）であって、プライバシが保護されるべき様々なタイプのオブジェクトを描く前記イメージフレームのシーケンス（１１６）を受信すること（Ｅ０２）と、
   前記イメージフレームのシーケンス（１１６）の第１のバージョン（２１６ａ）及び第２のバージョン（４１６ｂ）を生成すること（Ｅ０４）であって、前記イメージフレームのシーケンスの前記第１のバージョン（２１６ａ）を生成する際には、前記第１のバージョン（２１６ａ）のイメージフレームにプライバシマスクが提供され、プライバシが保護されるべきすべてのタイプのオブジェクトのプライバシが保護される、生成すること（Ｅ０４）と、
   前記イメージフレームのシーケンスの前記第１のバージョン（２１６ａ）を、イントラコードされたイメージフレーム及びインターコードされたイメージフレームの第１のエンコードされたシーケンス（２０７）としてエンコードすること（Ｅ０６）と、
   前記イメージフレームのシーケンスの前記第２のバージョン（４１６ｂ）を、インターコードされたイメージフレームの第２のエンコードされたシーケンス（２０８）としてエンコードすること（Ｅ０８）であって、前記第２のエンコードされたシーケンス（２０８）の前記インターコードされたイメージフレームは、前記第１のエンコードされたシーケンス（２０７）の前記イントラコードされたイメージフレームを使用してエンコードされる、エンコードすること（Ｅ０８）と、
   前記第２のエンコードされたシーケンス（２０８）の前記インターコードされたイメージフレームを暗号化すること（Ｅ１０）と、
   前記第１のエンコードされたシーケンス（２０７）及び前記第２のエンコードされたシーケンス（２０９）のイメージフレームをインターリービングすることにより、前記第１のエンコードされたシーケンス（２０７）及び前記第２のエンコードされたシーケンス（２０９）を、単一の出力シーケンス（１１７）に結合すること（Ｅ１２）と、
   を含み、
   前記イメージフレームのシーケンスの前記第２のバージョン（４１６ｂ）を生成する際には、前記シーケンスの前記第２のバージョン（４１６ｂ）のイメージフレームにプライバシマスクが提供され、プライバシが保護されるべきオブジェクトであって、第１のタイプのオブジェクト以外のすべてのタイプのオブジェクトのプライバシが保護されることを特徴とする、方法。
2. 前記第２のエンコードされたシーケンス（２０８）の前記インターコードされたイメージフレームに、標準イメージデコーダ（１２１）によりデコードされることを防ぐインジケーションを付与することをさらに含む、請求項１に記載の方法。
3. 前記インジケーションは、前記第２のエンコードされたシーケンス（２０８）の前記インターコードされたイメージフレームのヘッダに付与される、請求項２に記載の方法。
4. 前記インジケーションは、前記第２のエンコードされたシーケンス（２０８）の前記インターコードされたイメージフレームに関連付けられたＮＡＬユニットのユニットタイプである、ネットワークアブストラクションレイヤ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ又はＮＡＬ）の値を設定することにより付与され、前記値は、前記ＮＡＬユニットが、前記標準イメージデコーダ（１２１）によりデコードされるべきでないことを示す、請求項２又は３に記載の方法。
5. 前記第１のエンコードされたシーケンス（２０７）の前記イントラコードされたイメージフレームに、当該イントラコードされたイメージフレームが表示されるべきでないことのインジケーションを付与することと、
   前記第１のエンコードされたシーケンス（２０７）に対し、前記イントラコードされたイメージフレームのそれぞれの後にＰスキップフレームを加えることと、
   をさらに含む、請求項１から４のいずれか一項に記載の方法。
6. 前記イメージフレームのシーケンス（１１６）の第３のバージョン（５１６ｂ）を生成することであって、前記シーケンスの前記第３のバージョン（５１６ｂ）のイメージフレームにプライバシマスクが提供され、プライバシが保護されるべきオブジェクトであって、第２のタイプのオブジェクト以外のすべてのタイプのオブジェクトのプライバシが保護される、第３のバージョン（５１６ｂ）を生成することと、
   前記イメージフレームのシーケンスの前記第３のバージョン（５１６ｂ）を、インターコードされたイメージフレームの第３のエンコードされたシーケンス（５０８）としてエンコードすることであって、前記第３のエンコードされたシーケンス（５０８）の前記インターコードされたイメージフレームは、前記第１のエンコードされたシーケンス（２０７）の前記イントラコードされたイメージフレームを使用してエンコードされる、エンコードすることと、
   前記第３のエンコードされたシーケンス（５０８）の前記インターコードされたイメージフレームを暗号化することと、
   前記第１のエンコードされたシーケンス（２０７）、前記第２のエンコードされたシーケンス（２０９）、及び前記第３のエンコードされたシーケンス（５０９）のイメージフレームをインターリービングすることにより、前記第３のエンコードされたシーケンス（５０９）を、前記第１のエンコードされたシーケンス（２０７）及び前記第２のエンコードされたシーケンス（２０９）と共に、前記単一の出力シーケンス（１１７）に結合することと、
   をさらに含む、請求項５に記載の方法。
7. 前記第２のエンコードされたシーケンス（２０８）は、前記第１のエンコードされたシーケンス（２０７）のイントラコードされたイメージフレームをエンコードの開始点として使用してエンコードされた、連続する、インターコードされたイメージフレームのサブシーケンスを含む、請求項１から６のいずれか一項に記載の方法。
8. プライバシが保護されるべきオブジェクトを描くイメージフレームのシーケンス（１１６）をエンコードするデバイス（１１３、４１３、５１３）であって、
   エンコードされるイメージフレームのシーケンス（１１６）を受信するよう構成されているレシーバ（２０１）であって、前記イメージフレームのシーケンス（１１６）は、プライバシが保護されるべき様々なタイプのオブジェクトを描く、レシーバ（２０１）と、
   前記イメージフレームのシーケンスの第１のバージョン（２１６ａ）を生成するよう構成されている第１のプライバシマスカ（２０２）であって、前記第１のバージョン（２１６ａ）のイメージフレームを生成する際には、前記シーケンスの前記第１のバージョン（２１６ａ）の前記イメージフレームにプライバシマスクを提供し、プライバシが保護されるべきすべての様々なタイプのオブジェクトのプライバシを保護するよう構成されている、第１のプライバシマスカ（２０２）と、
   前記イメージフレームのシーケンスの前記第１のバージョン（２１６ａ）を、イントラコードされたイメージフレーム及びインターコードされたイメージフレームの第１のエンコードされたシーケンス（２０７）としてエンコードし、前記イメージフレームのシーケンスの第２のバージョン（４１６ｂ）を、インターコードされたイメージフレームの第２のエンコードされたシーケンス（２０８）としてエンコードするよう構成されているエンコーダ（２０３）であって、前記第２のエンコードされたシーケンス（２０８）の前記インターコードされたイメージフレームは、前記第１のエンコードされたシーケンス（２０７）の前記イントラコードされたイメージフレームを使用してエンコードされる、エンコーダ（２０３）と、
   前記第２のエンコードされたシーケンス（２０８）の前記インターコードされたイメージフレームを暗号化するよう構成されているエンクリプタ（２０４）と、
   前記第１のエンコードされたシーケンス（２０７）及び前記第２のエンコードされたシーケンスのイメージフレーム（２０９）をインターリービングすることにより、前記第１のエンコードされたシーケンス（２０７）及び前記第２のエンコードされたシーケンス（２０９）を、単一の出力シーケンス（１１７）に結合するよう構成されているインターリーバ（２０５）と、
   を含み、
   前記イメージフレームのシーケンスの前記第２のバージョン（４１６ｂ）を生成するよう構成されている第２のプライバシマスカ（４０２）であって、前記第２のバージョン（４１６ｂ）のイメージフレームを生成する際には、前記第２のバージョン（４１６ｂ）の前記イメージフレームにプライバシマスクを提供し、プライバシが保護されるべきオブジェクトであって、第１のタイプのオブジェクト以外のすべてのタイプのオブジェクトのプライバシを保護するよう構成されている、第２のプライバシマスカ（４０２）をさらに含むことを特徴とする、デバイス。
9. プライバシが保護されるべきオブジェクトを描くイメージフレームのシーケンスを撮像するよう構成されているイメージセンサ（１１１）と、
   前記イメージセンサ（１１１）により撮像された前記イメージフレームのシーケンスを受信し、受信した前記イメージフレームのシーケンスを、単一の出力シーケンスにエンコードするよう配置されている、請求項８に記載のデバイス（１１３、４１３、５１３）と、
   を含む、カメラ（１１）。
10. プロセッサにより実行されると、請求項１から７のいずれか一項に記載の方法を実施するよう適合されているコンピュータコード命令を保存している、コンピュータ可読媒体。

Images