それゆえに、上記を考慮して、従来技術に伴う欠点を軽減すること、およびカメラの、特に、ビデオストリームを取り込む際にプライバシーを守ることが可能なカメラの設置を容易にするための技術を提供することが、本発明の目的である。
本発明の第1の態様によれば、上記の目的は、カメラの設置を容易にするための、カメラによって実行される方法によって達成される。この方法は、第1の視野でカメラが設置されている場合にシーンのビデオストリームを取り込むことを含み、そのシーンは、1つまたは複数の被写体を含む。この方法はさらに、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおけるサイズを推定することと、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおける推定されたサイズが、第1のしきい値を上回っていて、かつ第2のしきい値を下回っている限り、ビデオストリームにおいて描写されている1つまたは複数の被写体のプライバシーを守るために、ビデオストリームの第1のエッジフィルタリングされたバージョンを提供することとを含む。さらに、この方法は、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおける推定されたサイズが、少なくとも1つの被写体のプライバシーが明らかにされるリスクがあるということを示す第2のしきい値を上回っていることに応答して、オペレーションの強化された安全なプライバシーモードに入ることを含み、オペレーションの強化された安全なプライバシーモードは、第1の視野とは異なる第2の視野でカメラを再設置するように設置者に促すアラートを生成することと、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供を無効にすることとを含む。
1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおける推定されたサイズが、第1のしきい値を上回っていて、かつ第2のしきい値を下回っている限り、ビデオストリームの第1のエッジフィルタリングされたバージョンを提供することによって、ビデオストリームにおいて描写されている1つまたは複数の被写体のプライバシーが、ビデオストリームの第1のエッジフィルタリングされたバージョンによって提供される1つまたは複数の被写体の匿名化のおかげで守られる。
さらに、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおける推定されたサイズが、少なくとも1つの被写体のプライバシーが明らかにされるリスクがあるということを示す第2のしきい値を上回っている場合に、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供を無効にすることによって、1つまたは複数の被写体のプライバシーが守られる。
1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおける推定されたサイズが第2のしきい値を上回っている場合に、カメラを再設置するように設置者に促すアラートを生成することによって、設置者は、今後において、すなわち、ビデオストリームの来たる取り込みにおいてプライバシーを守るために、第1の視野とは異なる第2の視野でカメラを再設置する必要があることに気づかされる。それゆえに、第2の視野が選択されるべきであり、それによって第2の視野は、ビデオストリームにおいて取り込まれた1つまたは複数の被写体のプライバシーを提供することになる。
本開示において使用される場合の設置という用語は、場所、たとえば物理的な場所における、シーンにおけるカメラの取り付け、および/または特定の視野でシーンのビデオストリームを取り込むためのカメラの構成を指す。それゆえに、設置は、カメラが取り付けられる地理的場所、ならびに/またはビデオストリームを取り込むために使用される特定のパン、チルト、および/もしくはズーム設定などのカメラ設定を指す場合がある。
本明細書において使用される際には、視野という用語は、カメラの空間における特定の位置および向きで、ならびにカメラの特定のズーム設定で、カメラを通して見えるシーンの部分を指す。特定の位置は、設置場所によって与えられ、向きは、カメラのパン設定および/またはチルト設定によって与えられる。それゆえに、視野は、1つまたは複数の異なるカメラパラメータに依存し得るということを理解されたい。たとえば、視野は、地上高さ、カメラのズーム設定、カメラのパン設定、および/またはカメラのチルト設定などのカメラの設置場所に依存し得る。
1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおける推定されたサイズは、その少なくとも1つの部分がビデオストリームの少なくとも1つの方向に沿って構成するピクセルの数として特定されることが可能である。たとえば、少なくとも1つの部分の推定されたサイズは、ビデオストリームの画像フレームの垂直(高さ)方向および/または水平(幅)方向におけるピクセルの数として与えられることが可能である。ピクセルは、画素と呼ばれる場合もあり、画像フレームにおける最も小さい単一の要素である。画像フレームの空間解像度に応じて、画像フレームは、ほんのいくつかの例を挙げると、1920×1080(幅×高さ)ピクセル、2560×1440ピクセル、2560×1920ピクセル、または3840×2160ピクセルを含むことが可能である。
第2のしきい値を下回っているすべての推定されたサイズに関してビデオストリームの第1のエッジフィルタリングされたバージョンが提供されるべきであるケースにおいては、第1のしきい値は、ゼロピクセルであることが可能である。しかしながら、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおける推定されたサイズが十分に小さい場合には、取り込まれたビデオストリームは、1つまたは複数の被写体のプライバシーを明らかにするリスクを伴わずにそのまま提供されることが可能である。何が十分に小さい推定されたサイズとみなされるべきであるかは、目前の状況に依存するが、第1のしきい値は、ビデオストリームにおいて描写されている1つまたは複数の被写体のプライバシーを明らかにすることなく、ビデオストリームがそのまま提供されることが可能である場合に関する上限しきい値を提供するように設定されるべきである。そのようなシナリオにおいては、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおける推定されたサイズが、第1のしきい値を上回っているが、第2のしきい値を下回っている場合に、ビデオストリームの第1のエッジフィルタリングされたバージョンが提供される。
第2のしきい値は、取り込まれたビデオストリームの第1のエッジフィルタリングされたバージョンが提供されるべきである場合に関する上限しきい値を提供するように設定されるべきである。この第2のしきい値を上回ると、ビデオストリームの第1のエッジフィルタリングされたバージョンが提供されるならば1つまたは複数の被写体のプライバシーが明らかにされるリスクがあり、そのため、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供が無効にされる。
第1および第2のしきい値は、カメラパラメータおよび設置場所に基づいて特定されることが可能である。たとえば、しきい値は、レンズのタイプなどのカメラの光学系、ならびにカメラの解像度および視野に基づいて特定されることが可能である。追加として、または代替として、しきい値は、取り込まれたビデオストリームのエッジフィルタリングされたバージョンを提供するために使用されるエッジフィルタに、およびエッジフィルタのカーネルのサイズに基づいて特定されることも可能である。カーネルは、カーネルと画像フレームとの間において畳み込みを実行する場合のエッジ検知において使用される小さなマトリックスである。さらに、ある国においてカメラ設置に関して特定された第1および第2のしきい値は、国のプライバシー規制における違いに起因して、別の国においてカメラ設置に関して特定された第1および第2のしきい値とは異なる場合がある。第1および第2のしきい値は、テストを実行することによって、または以前のカメラ設置において使用された第1および第2のしきい値に基づいて特定されることが可能である。第1および第2のしきい値は、機械学習技術を用いて、たとえば、ビデオストリームにおける1つまたは複数の被写体を検知および/または認識するように構成されているニューラルネットワークを用いて特定されることも可能である。
ビデオストリームは、シーンの少なくとも1つの画像フレームを含むということを理解されたい。それゆえに、ビデオストリームは、1つの画像フレームまたは複数の画像フレーム、たとえば、複数の時間的に後続の画像フレームを含むことが可能である。
シーンは、シーンを記録するカメラの視野によって定義されるサイズおよび形状を有する任意の3次元の物理的な空間であることが可能である。
本明細書において使用される場合の被写体という用語によって、被写体そのものに関する、被写体を所持している人間に関する、または被写体に関連付けられている人間に関するプライバシー情報を明らかにすることが可能である任意の種類の被写体が意味される。それゆえに、被写体は、ほんのいくつかの例を挙げると、人間またはその一部分(顔または体の部分など)、人々のグループ、車両またはその一部分(車両のナンバープレートなど)であることが可能である。
ビデオストリームのエッジフィルタリングされたバージョンは、エッジポイントが強調されて非エッジポイントが抑制されているビデオストリームの一バージョンである。エッジポイントとは、画像の明るさが急激に変化する、またはより正式には不連続性を有している、ビデオストリームの画像フレームにおけるポイントに対応する。それに対応して、非エッジポイントとは、画像の明るさが急激に変化しない、またはより正式には不連続性を有していない、画像フレームにおけるピクセルに対応する。ビデオストリームのエッジフィルタリングされたバージョンにおいては、エッジポイントは強調され、通常は、被写体の境界、表面マーキングの境界を示すつながれた曲線のセット、および/または表面配向における不連続性に対応する曲線のセットとして示される。ビデオストリームのエッジフィルタリングされたバージョンにおいては、非エッジポイントは抑制されるので、エッジポイントによって強調された境界内のポイントは、抑制される。たとえば、ビデオストリームのエッジフィルタリングされたバージョンにおいて顔の輪郭が強調される場合には、顔の輪郭内の表面テクスチャは抑制されることになり、顔のある程度の匿名化をもたらす。匿名化の程度は、ビデオストリームのエッジフィルタリングされたバージョンにおける強調の程度および抑制の程度に依存する。しかしながら、匿名化の程度は、ビデオストリームの空間解像度にも依存するということを理解されたい。
この方法のいくつかの変形形態においては、オペレーションの強化された安全なプライバシーモードは、1つまたは複数の被写体のプライバシーがさらに守られるビデオストリームの第2のバージョンを提供することを含む。
1つまたは複数の被写体のプライバシーがさらに守られるビデオストリームの第2のバージョンを提供することによって、1つまたは複数の被写体のプライバシーは、そのプライバシーがビデオストリームの第1のエッジフィルタリングされたバージョンにおいて保証されることが可能ではなかった場合に保証されることが可能であり、そのため、ビデオストリームの第1のエッジフィルタリングされたバージョンは、無効にされる。それによって、ビデオストリームの第2のバージョンは、いかなるプライバシー機密情報も明らかにすることなく、モニタリングのためにユーザに、または格納のためにストレージに提供されることが可能である。
この方法のいくつかの変形形態においては、ビデオストリームの第2のバージョンの提供は、ビデオストリームにおいて描写されている1つまたは複数の被写体のプライバシーを守るためにビデオストリームの少なくとも一部にプライバシーマスクを適用することによってビデオストリームの第2のバージョンを生成することを含む。
これは、1つまたは複数の被写体のプライバシーを保証するためにビデオストリームの第2のバージョンを提供することの第1の代替方法である。
本開示において使用される場合のプライバシーマスクという用語は、マスクされたエリアを用いて視界から画像フレームの部分を隠すことによって個人のプライバシーを保護するために使用されるプライバシーマスキング機能として理解されるべきである。プライバシーマスクは、静的または動的であることが可能である。静的なプライバシーマスクは、典型的には、オペレータがそれらを移動または除去することを決定するまで、その場にとどまる。動的なプライバシーマスクは、時間とともに変化することが可能であり、オペレータは、いつプライバシーマスクが適用されるべきであるかを定義することも可能である。たとえば、オペレータは、マスクされたエリア内で顔が検知された場合には、その顔がマスクアウトされることになるが、そうでない場合には、そのエリアにマスクが適用されることがないように、動的なプライバシーマスクを定義することが可能である。
プライバシーマスクは、オーバーレイとして画像に適用される場合が多い。プライバシーマスクは、多角形の形状を有することが可能であるが、その他の形状も可能であり、それらの形状は、塞ぐエリアの形状にさらに緊密に沿う。いくつかのプライバシーマスクは、不透明なエリア(たとえば、均一に黒色のまたは青色のエリア)の形態を取り、その一方でその他のプライバシーマスクは、ぼかしの形態を取り、その場合、画像データは、プライバシーマスクエリアまたはピクシレーションにわたって「塗り」つぶされる。ピクシレーションとは、単一のピクセル値(多くの場合、コーディングユニット内の複数のまたはすべてのピクセルの平均値)がコーディングユニットにおけるすべてのピクセルを置き換えるプロセスである。ピクシレーションは、たとえば8と64との間における係数で画像フレームをダウンスケーリングすることと、その後に最近傍アルゴリズムなどのちょっとしたスケーリングアルゴリズムを使用して画像フレームをアップスケーリングすることとによって達成されることが可能である。しかし一般には、プライバシーマスキングのためのぼかしは、ピクシレーションよりも望ましいとみなされている。なぜならぼかしは、より滑らかなエッジを可能にし、そのため、見栄えがよくなるからである。しかしながら、ぼかしは、ハードウェアブロックにおいて現在経済的に実行可能であるものよりも、達成するのがより困難であり、実施するのにさらに多くの計算リソースを必要とする。
ビデオストリームにおいて、プライバシーマスクは、ビデオストリームにおいて描写されている1つまたは複数の被写体のプライバシーを隠すためにビデオストリームのそれぞれの画像フレームに適用される。たとえば、プライバシーマスクは、人間の顔または体の部分に適用されることが可能であり、それによって、それらの部分を、見られないようにおよび識別されないように隠す。プライバシーマスクは、ビデオストリームにおいて描写されている1つまたは複数の被写体をカバーするエリアを特定することによって、および上述されているように、単色、ぼかし、またはピクシレーションを使用してそのエリアを提示することによって、ビデオストリームの少なくとも1つの部分に適用されることが可能である。そのエリアは、たとえば、1つまたは複数の被写体の外形として特定されることが可能である。しかしながら、そのエリアは、ビデオストリームの少なくとも1つの部分をカバーするのに適した別の形状(たとえば、円形、長方形、楕円形)を有することが可能である。
この方法のいくつかの変形形態においては、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供は、ビデオストリームにエッジフィルタを適用してビデオストリームにおけるエッジポイントを強調すること、およびビデオストリームにおける非エッジポイントを抑制することによってビデオストリームの第1のエッジフィルタリングされたバージョンを生成することを含み、ビデオストリームのピクセル値は、量子化レベルの第1の数を使用して表される。
上述されているように、ビデオストリームの第1のエッジフィルタリングされたバージョンを生成することによって、ビデオストリームにおいて描写されている1つまたは複数の被写体のプライバシーが、ビデオストリームの第1のエッジフィルタリングされたバージョンによって提供される1つまたは複数の被写体の匿名化のおかげで守られる。
エッジフィルタは、エッジポイントを強調して非エッジポイントを抑制するフィルタである。それゆえに、ビデオストリームにエッジフィルタを適用することによって、エッジポイントが強化されることになり、その一方で非エッジポイントが抑制されることになる。たとえば、エッジフィルタは、エッジ検知フィルタと呼ばれる場合もあり、ほんのいくつかの例を挙げると、Sobelフィルタ、Cannyフィルタ、DoG(Difference of Gaussian)フィルタ、Laplacianフィルタ、Prewittフィルタ、またはScharrフィルタであることが可能である。使用事例に適合するために、エッジフィルタの出力、すなわち、ビデオストリームのエッジフィルタリングされたバージョンは、正の勾配と負の勾配との間を区別しないための絶対値演算、強度を調整するためのゲイン演算子、エッジポイントを黒色に、および非エッジポイントを白色にするためのオフセット演算子、ならびに/または、画像における実際のエッジもしくはその他の構造の一部ではない不要なまばらな黒色のエッジピクセルを除去するためのノイズリダクション演算子など、1つまたは複数の演算を使用して修正されることが可能である。
上述されているように、ビデオストリームにおけるピクセルは、量子化レベルの第1の数を使用して表される。たとえば、ピクセルは、256の量子化レベルに対応する8ビットを使用して表されることが可能である。それゆえに、それぞれのピクセルは、256の可能な色のうちの1つを表すために0と255との間における値を取ることが可能である。ビデオストリームにエッジフィルタを適用した後に、結果として生じる、ビデオストリームのエッジフィルタリングされたバージョンは通常、グレースケール上の値を有するピクセルから構成され、つまり、それらのピクセルは、光の量を表すだけであり、すなわち、それぞれのピクセルは、強度情報のみを表す。8ビット表示のケースにおいては、ビデオストリームのエッジフィルタリングされたバージョンのそれぞれのピクセルは、グレースケールを使用して0と255との間における強度のレベルを表すことが可能であるだろう。それゆえに、0が白色によって表されて、255が黒色によって表される場合には、それらの間にグレーの254の色調がある。
この方法のいくつかの変形形態においては、ビデオストリームの第2のバージョンの提供は、ビデオストリームにエッジフィルタを適用する前に、ビデオストリームの空間解像度を低減して、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおけるサイズを、第2のしきい値を下回るように低減することによって、ビデオストリームの第2のエッジフィルタリングされたバージョンとしてビデオストリームの第2のバージョンを生成することを含む。
これは、1つまたは複数の被写体のプライバシーを保証するためにビデオストリームの第2のバージョンを提供することの第2の代替方法である。いくつかの使用事例に関しては、これは、1つまたは複数の被写体のプライバシーを保証するための効果的な方法である場合がある。
本明細書において使用される場合の空間解像度という用語は、ビデオストリームの構築において、たとえば、ビデオストリームの1つまたは複数の画像フレームの構築において利用されるピクセルの数を指す。ビデオストリームの空間解像度を低減することによって、ビデオストリームの1つまたは複数の画像フレームを構成するピクセルの数が低減される。これは、ダウンスケーリングまたはダウンサンプリングと呼ばれる場合がある。それに対応して、ビデオストリームの空間解像度を増大することによって、すなわち、ビデオストリームをアップスケーリング/アップサンプリングすることによって、ビデオストリームの1つまたは複数の画像フレームを構成するピクセルの数が増大される。それぞれのピクセルのサイズは同じままであり、その結果、空間解像度が低減される場合には画像サイズが低減され、空間解像度が増大される場合には画像サイズが増大されるということを理解されたい。それによって、ビデオストリーム、たとえば、元の取り込まれたビデオストリーム、ビデオストリームの第1のバージョン、およびビデオストリームの第2のバージョンは、ユーザに提供された場合には、プライバシーのレベルに関係なく、すべて同じピクセルサイズを有することになる。しかしながら、ビデオストリームのダウンスケーリング後に、ビデオストリームのアップスケーリングが実行されて、ビデオストリームを同じピクセル数で保つことが可能であるが、ダウンスケーリング中に画像詳細が失われるので、機密情報は少なくなるということを理解されたい。
1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおけるサイズが第2のしきい値を下回るようにビデオストリームの空間解像度を低減することによって、1つまたは複数の被写体のプライバシーがビデオストリームの第2のエッジフィルタリングされたバージョンにおいて得られるということが保証される。
この方法のいくつかの変形形態においては、ビデオストリームの第2のバージョンの提供は、ビデオストリームに第1のエッジフィルタを適用する前に、ビデオストリームのピクセル値を表すために使用される量子化レベルの数を量子化レベルの第1の数から量子化レベルの第2の数へ低減することによって、ビデオストリームの第2のエッジフィルタリングされたバージョンとしてビデオストリームの第2のバージョンを生成することを含む。
これは、1つまたは複数の被写体のプライバシーを保証するためにビデオストリームの第2のバージョンを提供することの第3の代替方法である。ビデオストリームの第2のエッジフィルタリングされたバージョンにおけるピクセル値は、量子化レベルの第2の数を使用して表されることになるということを理解されたい。
ビデオストリームにおける量子化レベルの数を量子化レベルの第1の数から量子化レベルの第2のさらに低い数へ低減することによって、量子化レベルの第1の数におけるそれぞれの量子化レベルによって表されることになる強度の数に比較した、量子化レベルの第2の数におけるそれぞれの量子化レベルによって表されることになる強度のさらに大きな数に起因して、ビデオストリームの第2のエッジフィルタリングされたバージョンにおけるグラニュラー雑音が増大されることになる。より大きなグラニュラー雑音のおかげで、ビデオストリームの第2のエッジフィルタリングされたバージョンにおいて描写されている1つまたは複数の被写体のプライバシーが守られる。
たとえば、量子化レベルの第1の数が、8ビット表示を使用して上述のように256であった場合には、第2の量子化レベルの数は、(2ビット表示を使用して)4であることが可能である。そのようなケースにおいては、1つの強度をそれぞれが表す量子化レベルの第1の数の256の量子化レベルは、64の量子化レベルの4つのグループへとグループ化される。第1のグループは、量子化レベルの第2の数の第1の量子化レベル(たとえば0)へと組み合わされることが可能である。それゆえに、量子化レベルの第2の数のこの第1の量子化レベル(たとえば0)は、量子化レベルの第1の数の量子化レベル0~63によって表される64の異なる強度のうちのそれぞれの強度を表すことになる。そのため、ビデオストリームの第2のエッジフィルタリングされたバージョンにおいては、ビデオストリームの第1のエッジフィルタリングされたバージョンにおける量子化レベルの第1の数の量子化レベル0~63によって表される64の異なる強度どうしの間におけるいかなる違いも見ることは可能ではないだろう。それに対応して、第2のグループは、量子化レベルの第2の数の第2の量子化レベル(たとえば1)へと組み合わされることが可能であり、この第2の量子化レベル(たとえば1)は、量子化レベルの第1の数の量子化レベル64~127によって表される64の異なる強度のうちのそれぞれの強度を表すことになる。そのため、ビデオストリームの第2のエッジフィルタリングされたバージョンにおいては、ビデオストリームの第1のエッジフィルタリングされたバージョンにおける量子化レベルの第1の数の量子化レベル64~127によって表される64の異なる強度どうしの間におけるいかなる違いも見ることは可能ではないだろう。同じことは、第3および第4のグループにも当てはまる。
この方法のいくつかの変形形態においては、ビデオストリームの第2のバージョンの提供は、ビデオストリームの第1のエッジフィルタリングされたバージョンの空間解像度を低減して、1つまたは複数の被写体の少なくとも1つの部分のサイズが第2のしきい値を下回る、ビデオストリームの第2のエッジフィルタリングされたバージョンを得ることによって、ビデオストリームの第2のエッジフィルタリングされたバージョンとしてビデオストリームの第2のバージョンを生成することを含む。
これは、1つまたは複数の被写体のプライバシーを保証するためにビデオストリームの第2のバージョンを提供することの第4の代替方法である。
ビデオストリームの第1のエッジフィルタリングされたバージョンの空間解像度を低減して、1つまたは複数の被写体の少なくとも1つの部分のサイズが第2のしきい値を下回る、ビデオストリームの第2のエッジフィルタリングされたバージョンを得ることによって、1つまたは複数の被写体のプライバシーが守られる。
この方法のいくつかの変形形態においては、ビデオストリームの第2のバージョンの提供は、ビデオストリームの第1のエッジフィルタリングされたバージョンにおけるエッジ強度しきい値を下回るエッジ強度を有するエッジポイントを、ビデオストリームの第2のエッジフィルタリングされたバージョンにおける非エッジポイントとして表すことによって、ビデオストリームの第2のエッジフィルタリングされたバージョンとしてビデオストリームの第2のバージョンを生成することを含む。
これは、1つまたは複数の被写体のプライバシーを保証するためにビデオストリームの第2のバージョンを提供することの第5の代替方法である。ビデオストリームの第1のエッジフィルタリングされたバージョンにおけるエッジ強度しきい値を下回るエッジ強度を有するエッジポイントを、ビデオストリームの第2のエッジフィルタリングされたバージョンにおける非エッジポイントとして表すことによって、1つまたは複数の被写体の輪郭は、さらに強調され、1つまたは複数の被写体の輪郭内の表面テクスチャは、さらに抑制される。その結果、1つまたは複数の被写体の匿名化の程度が高くなり、それによって、1つまたは複数の被写体のプライバシーを守る。「エッジ強度」という表現は、エッジの度合いと、エッジにおいて画像の明るさがどれぐらい急激に変化するかを指す。
この方法のいくつかの変形形態においては、ビデオストリームの第1のエッジフィルタリングされたバージョンを提供することは、ビデオストリームの第1のエッジフィルタリングされたバージョンを受信機へ送信することを含み、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供を無効にすることは、受信機へのビデオストリームの第1のエッジフィルタリングされたバージョンの送信を無効にすることを含む。
受信機は、直接に、またはネットワークを介して間接的に、のいずれかで、有線を介して、またはワイヤレスにカメラに動作可能に接続されている任意のデバイスであることが可能である。たとえば、受信機は、ストレージ、ユーザ端末、サーバ、またはクラウドデバイスであることが可能である。
この方法のいくつかの変形形態においては、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供を無効にすることは、カメラがビデオストリームを取り込むことを無効にすることを含む。カメラがビデオストリームを取り込むことを無効にすることは、ビデオストリームの取り込みが終了されるということを意味する。それによって、提供された場合に1つまたは複数の被写体のプライバシーを明らかにするリスクを有する可能性がある取り込まれたビデオストリームはなくなる。
この方法のいくつかの変形形態においては、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供を無効にすることは、取り込まれたビデオストリームを作成するために使用される画像情報をカメラの画像センサが伝達するのを無効にすることを含む。
取り込まれたビデオストリームを作成するために使用される画像フレームを画像センサが伝達するのを無効にすることによって、処理する画像情報はなくなり、ひいては、提供された場合にプライバシーを明らかにする可能性がある取り込まれたビデオストリームはなくなる。
この方法のいくつかの変形形態においては、この方法はさらに、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおける推定されたサイズが第1のしきい値を下回っている場合には、取り込まれたビデオストリームを提供することを含む。
それゆえに、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおけるサイズが第1のしきい値を下回っている場合には、取り込まれたビデオストリームは、そのまま提供された場合にプライバシーを明らかにすることはないということが結論付けられる。そのため、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおけるサイズが第1のしきい値を下回っている場合には、取り込まれたビデオストリームが提供される。
本発明の第2の態様によれば、上記の目的は、カメラの設置を容易にするためのカメラによって達成される。このカメラは、第1の視野でカメラが設置されている場合にシーンのビデオストリームを取り込むように構成されている画像取り込みモジュールであって、そのシーンが1つまたは複数の被写体を含む、画像取り込みモジュールと、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおけるサイズを推定するように構成されているサイズ推定コンポーネントと、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおける推定されたサイズが、第1のしきい値を上回っていて、かつ第2のしきい値を下回っている限り、ビデオストリームにおいて描写されている1つまたは複数の被写体のプライバシーを守るために、ビデオストリームの第1のエッジフィルタリングされたバージョンを提供するように構成されている提供コンポーネントとを含む。1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおける推定されたサイズが、少なくとも1つの被写体のプライバシーが明らかにされるリスクがあるということを示す第2のしきい値を上回っていることに応答して、カメラは、オペレーションの強化された安全なプライバシーモードに入るように構成されており、アラート生成コンポーネントが、第1の視野とは異なる第2の視野でカメラを再設置するように設置者に促すアラートを生成するように構成されており、提供コンポーネントは、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供を無効にするように構成されている。
本発明の第3の態様によれば、上記の目的は、コンピュータコード命令をその上に格納してある非一時的コンピュータ可読メディアによって達成され、それらのコンピュータコード命令は、処理能力を有するデバイスによって実行されたときに、第1の態様の方法を実行するように適合されている。
第2および第3の態様は、第1の態様と同じ特徴および利点を全般的に有することが可能である。本発明は、別段の明示がない限り、本明細書において開示されている特徴どうしのすべての可能な組合せに関連しているということにさらに留意されたい。
本発明の上記の、ならびにさらなる目的、特徴、および利点は、添付の図面への参照とともに、本発明の実施形態についての以降の例示的かつ非限定的で詳細な記述を通じて、よりよく理解されるであろう。添付の図面では、同様の要素に対して同じ参照番号が使用される。
本発明は、添付の図面を参照しながら、以降でさらに十分に記述され、添付の図面においては、本発明の実施形態が示されている。
図1は、本発明のさまざまな実施形態が実施されることが可能である例示的な環境100の概略図を示している。図1において見て取れるように、被写体104、たとえば、建物106に向かって歩いている人を伴うシーン102が、ポール109に取り付けられているカメラ108によって取り込まれている。シーン102の描写は、例示の目的のための単純化した図にすぎないということに留意されたい。シーン102は、より一般的な意味においては、そのシーンを記録するカメラの視野によって画定されるサイズおよび形状を有する任意の3次元の物理的な空間として記述されることが可能である。さらに、カメラ108は、建物上に、天井に、壁またはフェンス上になど、その他の適切な場所に取り付けられることが可能であるということと、それゆえにポール109における取り付けは、例として与えられているだけであるということとを理解されたい。
カメラ108は、モニタリングカメラであることが可能であり、これは、監視カメラと呼ばれる場合もある。さらにカメラは、固定されたカメラ、たとえば定置型カメラ、または移動可能なカメラ、たとえばパンチルトズーム(PTZ)カメラもしくはボディーウォーンカメラ(BWC)であることが可能である。カメラ108は、可視光カメラ、赤外線(IR)感受性カメラ、または熱(長波長赤外線(LWIR))カメラであることが可能である。
図1において示されているように、カメラ108は、無線リンク110を介して有線ネットワーク112へワイヤレスに、そして最終的には、ネットワーク112に接続されることが可能であるクライアント114および/またはサーバ116へビデオストリームを送信するように構成されている。使用されることが可能であるワイヤレスおよび有線の送信モデルの多くの組合せがあるということ、ならびに図1は一例を示しているにすぎないということを理解されたい。
クライアント114は、ディスプレイを有することが可能であり、そのディスプレイでは、オペレータがカメラからの画像および/またはビデオストリームを見ることが可能である。典型的には、クライアント114はまた、サーバ116に接続されており、サーバ116では、画像および/またはビデオストリームがさらに格納および/または処理されることが可能である。多くの場合、クライアント114はまた、たとえば、オペレータがクライアント114において制御コマンドを発行することによって、カメラ108を制御するために使用される。たとえば、オペレータは、シーン102の特定の細部上でズームアウトするようにカメラに指示することが可能である。これは、1つまたは複数の被写体104の一部分のビデオストリームにおけるサイズが、第1の視野、たとえば第1のズーム設定を使用してビデオストリームを取り込む際に第2のしきい値を上回ると推定される場合に当てはまることが可能であり、設置者に対してアラートが生成され、設置者は、その1つまたは複数の被写体のその部分上でズームアウトして、その部分のビデオストリームにおけるサイズを、第1の視野とは異なる第2の視野、たとえば第2のズーム設定を使用してビデオストリームを取り込む際に第2のしきい値を下回るように低減するようカメラに指示することが可能である。それによって、その1つまたは複数の被写体のプライバシーが守られることが可能である。しかしながら、オペレータがカメラを制御せず、カメラ108は定置型であり、クライアント120上でオペレータが見るためのビデオストリームを提供するだけである状況もある。そのようなシナリオにおいては、設置者は、第2の視野を使用してビデオストリームを取り込む際に、その部分のビデオストリームにおけるサイズが第2のしきい値を下回るこの第2の視野を得るために、カメラ108を別の物理的な場所に再設置する必要がある場合がある。それゆえに、異なる物理的な場所でのカメラ108の再設置は、1つまたは複数の被写体の求められている守られたプライバシーを得ることも可能である。その異なる物理的な場所は、第1の視野で設置された場合の1つまたは複数の被写体までの距離に比較して、1つまたは複数の被写体からさらに遠い距離にある場所であることが可能である。
図2は、カメラ108の実施形態を概略的に示している。
カメラ108は、レンズ202を含み、レンズ202は、シーン102を取り込み、そのシーン102を画像センサ204上へ投影する。ともに、レンズ202および画像センサ204は、画像取り込みモジュール206を形成することが可能である。画像センサ204は、ビデオストリームを形成する画像フレームを取り込む。カメラはさらに、画像処理パイプライン(IPP)208、エンコーダ210、および入力/出力インターフェース212を含む。
画像処理パイプライン208は、画像センサ204から受信された画像フレーム上で、ある範囲のさまざまなオペレーションを実行するように構成されている。そのようなオペレーションは、フィルタリング、デモザイキング、色補正、空間的なおよび/または時間的なノイズを除去するためのノイズフィルタリング、たとえば、バレル歪みの影響を除去するための歪み補正、たとえば、広い範囲の強度を含むシーンの画像処理を可能にするグローバルおよび/またはローカルトーンマッピング、変換、たとえば、回転、たとえば、口径食の影響の除去のためのフラットフィールド補正、オーバーレイ、たとえば、プライバシーマスク、説明テキストなどの適用を含むことが可能である。しかしながら、これらのオペレーションのうちのいくつか、たとえば、バレル歪みの補正、回転等などの変換オペレーションは、画像処理パイプライン208の外側に、たとえば、画像処理パイプライン208とエンコーダ210との間における1つまたは複数のユニットに配置されている1つまたは複数のモジュール、コンポーネント、または回路によって実行されることが可能であるということに留意されたい。
画像処理パイプライン208に続いて、画像フレームは、エンコーダ210へ転送され、そこで画像フレームは、エンコーディングプロトコルに従ってエンコードされ、入力/出力インターフェース212を使用してネットワーク112を介して、受信機、たとえば、クライアント114および/またはサーバ116へ転送される。図2において示されているカメラ108はまた、プロセッサ、メモリ等など、多くのその他のコンポーネントを含み、それらは、従来のカメラシステムにおいて一般的であり、それらの目的およびオペレーションは、当業者によく知られているということに留意されたい。そのようなコンポーネントは、明確さの理由から、図2の図示および記述から省略されている。
カメラ108は、ビデオストリームの取り込みに関連しているデータと、カメラ108の設置を容易にするための方法に関連しているデータとを格納するためのデータストレージ214を含むことも可能である。それゆえに、データストレージは、ほんのいくつかの例を挙げると、取り込まれたビデオストリーム、ビデオストリームの第1および第2のバージョン、第1および第2のしきい値、第1および第2の視野、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおける推定されたサイズを格納することが可能である。データストレージは、SDカードなど、不揮発性メモリであることが可能である。
複数の従来のビデオエンコーディングフォーマットがある。本発明のさまざまな実施形態とともに機能するいくつかの一般的なビデオエンコーディングフォーマットは、ほんのいくつかの例を挙げると、JPEG、MJPEG(Motion JPEG)、HEVC(High Efficiency Video Coding)(H.265およびMPEG-H Part 2としても知られている)、AVC(Advanced Video Coding)(H.264およびMPEG-4 Part 10としても知られている)、VVC(Versatile Video Coding)(H.266、MPEG-I Part 3、およびFVC(Future Video Coding)としても知られている)、VP9、VP10、ならびにAV1(AOMedia Video 1)を含む。
言及されているように、入力および出力インターフェース212は、カメラ108と、ネットワーク112と、クライアント114およびサーバ116などの1つまたは複数の受信デバイスとの間における通信インターフェースとしての役割を果たすように構成されている。それゆえに、カメラ108は、クライアント114から命令を受信することが可能であり、入力および出力インターフェース212を介してクライアントおよび/またはサーバ116へビデオストリームを送信することが可能である。
画像処理パイプライン208、エンコーダ210、および入力/出力インターフェース212は、画像処理/エンコーディングモジュール214を形成することが可能であり、画像処理/エンコーディングモジュール214は、画像取り込みモジュール206に接続されている。画像取り込みモジュール206および画像処理/エンコーディングモジュール214は、互いから距離を置いて配置されていて互いと通信状態にある2つの別個のユニットとして配置されることが可能である。そのようなシナリオにおいては、カメラ108は、カメラシステムと呼ばれる場合もある。あるいは、画像取り込みモジュール206および画像処理/エンコーディングモジュール214は、カメラ108に含まれている単一のユニットとして配置されることが可能である。さらに、画像取り込みモジュール206は、たとえばパンおよび/またはチルト方向において、移動可能であり得、その一方で画像処理/エンコーディングモジュール214は、定置型であることが可能である。
ここで図3のフローチャートを参照しながら、ならびに図2および図4を参照しながら、カメラ108の設置を容易にするための方法が記述される。図4は、実施形態による画像処理パイプライン208を概略的に示している。示されているように、画像処理パイプライン208の実施形態は、サイズ推定コンポーネント402、提供コンポーネント404、およびアラート生成コンポーネント406を含む。しかしながら、サイズ推定コンポーネント402、提供コンポーネント404、およびアラート生成コンポーネント406のうちの1つまたは複数は、別の方法でカメラ108に配置されることが可能であるということを理解されたい。たとえば、カメラ108は、サイズ推定コンポーネント402、提供コンポーネント404、およびアラート生成コンポーネント406のうちの1つまたは複数を、互いに、ならびに画像処理パイプライン208、エンコーダ210、入力および出力インターフェース212、およびデータストレージ214などのカメラ108のその他の部分に通信可能に接続されている別個のユニットとして含むことが可能である。
さらに、図3において示されている方法は、カメラ108の別々の部分によって実行されることが可能であるということ、ステップのうちのいくつかは、任意選択であることが可能であるということ、およびステップは、別の適切な順序で行われることが可能であるということを理解されたい。さらに、本開示においては、1つまたは複数のステップが、取り込まれたビデオストリームの画像フレーム上で実行されるものとして記述されている。これは、1つまたは複数のステップがビデオストリームの一時的な部分で実行されることが可能であるということとして理解されることが可能である。
ステップS302において、第1の視野でカメラ108が設置されている場合に、シーン102のビデオストリームが取り込まれる。このステップは、画像取り込みモジュール206によって、たとえば、レンズ202および画像センサ204によって実行される。
前述されているように、シーン102は、1つまたは複数の被写体104を含む。
やはり前述されているように、視野という用語は、カメラ108の空間における特定の位置および向きで、ならびにカメラ108の特定のズーム設定で、カメラ108を通して見えるシーンの部分を指す。特定の位置は、設置場所によって与えられ、向きは、カメラのパン設定および/またはチルト設定によって与えられる。それゆえに、第1の視野は、1つまたは複数の異なるカメラパラメータに依存し得るということを理解されたい。たとえば、第1の視野は、地上高さなどのカメラ108の設置場所、カメラ108のズーム設定、カメラ108のパン設定、および/またはカメラのチルト設定に依存し得る。
さらに、前述されているように、1つまたは複数の被写体104は、被写体そのものに関する、被写体を所持している人間に関する、または被写体に関連付けられている人間に関するプライバシー情報を明らかにすることが可能である任意の種類の被写体であることが可能である。それゆえに、被写体は、ほんのいくつかの例を挙げると、人間またはその一部分(顔または体の部分など)、人々のグループ、車両またはその一部分(車両のナンバープレートなど)であることが可能である。
図5は、4つの被写体104、たとえば、舗道の上を歩いている4人の個人104a、104b、104c、104dを描写している取り込まれたビデオストリームの画像フレーム500を概略的に示している。
ステップS304において、1つまたは複数の被写体104の少なくとも1つの部分のビデオストリームにおけるサイズが推定される。このステップは、サイズ推定コンポーネント402によって実行されることが可能である。1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおけるサイズは、その少なくとも1つの部分がビデオストリームの少なくとも1つの方向に沿って構成するピクセルの数として推定されることが可能である。たとえば、少なくとも1つの部分の推定されたサイズは、ビデオストリームの画像フレームの垂直(高さ)方向および/または水平(幅)方向におけるピクセルの数として与えられることが可能である。それゆえに、推定されたサイズは、ピクセルの数として与えられる長さ、高さ、幅、または2つの点の間における距離であることが可能である。たとえば、推定されたサイズは、個人の両目の間におけるピクセルの数、または個人の顔の左側と、その顔の右側との間におけるピクセルの数であることが可能である。しかしながら、推定されたサイズは、少なくとも1つの部分、たとえば、あるエリアが画像フレームに含むピクセルの数であることも可能である。推定されたサイズが個人の顔のビデオストリームにおけるサイズとして推定される実施形態においては、推定コンポーネント402は、ビデオストリームにおける顔を検知するように構成されている顔検知器(402a)を含むことが可能であり、またはその顔検知器(402a)に接続されることが可能である。しかしながら、推定コンポーネント402は、車両およびナンバープレートなど、その他の被写体またはそれらの部分を検知するように構成されている1つまたは複数のその他の被写体検知器(402b)を追加として、または代替として含むこと、またはそれらの被写体検知器(402b)に接続されることが可能である。図5において、境界ボックス104a’、104b’、104c’、104d’は、たとえば顔検知器402aによって検知された個人104a~104dの顔を概略的に示している。取り込まれたビデオにおける車両のサイズは、たとえば被写体検知器402bが、取り込まれたビデオストリームにおいて車両のヘッドランプどうしの間における距離を推定すること、または車両のナンバープレートのサイズを推定することによって検知されることが可能である。
ステップS306において、1つまたは複数の被写体104の少なくとも1つの部分のビデオストリームにおける推定されたサイズが、第1のしきい値を上回っていて、かつ第2のしきい値を下回っている限り、ビデオストリームにおいて描写されている1つまたは複数の被写体104のプライバシーを守るために、ビデオストリームの第1のエッジフィルタリングされたバージョンが提供される。このステップは、提供コンポーネント404によって実行される。
いくつかの実施形態においては、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供は、ビデオストリームにエッジフィルタを適用してビデオストリームにおけるエッジポイントを強調すること、およびビデオストリームにおける非エッジポイントを抑制することによってビデオストリームの第1のエッジフィルタリングされたバージョンを生成することを含む。ビデオストリームのピクセル値、およびビデオストリームの第1のエッジフィルタリングされたバージョンのピクセル値は、量子化レベルの第1の数を使用して表される。
ビデオストリームの第1のエッジフィルタリングされたバージョンの提供は、ビデオストリームの第1のエッジフィルタリングされたバージョンを受信機へ送信することを含むことが可能である。前述されているように、受信機は、有線を介して、またはワイヤレスにカメラ108に動作可能に接続されている、またはカメラ108内に含まれている任意のデバイスであることが可能である。それゆえに、ビデオストリームの第1のエッジフィルタリングされたバージョンは、クライアント114、サーバ116、および/またはデータストレージ214へ送信されることが可能であるということを理解されたい。
図7は、4つの被写体104、たとえば4人の個人104a、104b、104c、104dを描写している取り込まれたビデオストリームの第1のエッジフィルタリングされたバージョンのエッジフィルタリングされた画像フレーム700を概略的に示している。エッジフィルタリングされた画像フレーム700は、画像フレーム500にSobelフィルタを適用することによって得られ、可能な限り最も高い空間解像度を有する。可能な限り最も高い空間解像度によって意味されるのは、エッジフィルタリングされた画像フレームの空間解像度が、取り込まれたビデオストリームの対応する画像フレームと同じであるということである。言い換えれば、エッジフィルタリングされた画像フレーム700の空間解像度は、画像フレーム500の空間解像度と同じである。図7において見て取れるように、個人のプライバシーは、それらの個人がカメラに近づくにつれて、ひいては、たとえば画像フレーム700における彼らの顔のサイズが大きくなったときに明らかにされる。そのため、プライバシーが明らかにされる前に、たとえば既に1つまたは複数の被写体のプライバシーが明らかにされるリスクがある場合には、取り込まれたビデオストリームの第1のエッジフィルタリングされたバージョンの提供は、無効にされるべきである。
そのため、ステップS308において、1つまたは複数の被写体104の少なくとも1つの部分のビデオストリームにおける推定されたサイズが、少なくとも1つの被写体のプライバシーが明らかにされるリスクがあるということを示す第2のしきい値を上回っていることに応答して、カメラ108は、オペレーションの強化された安全なプライバシーモードに入る。
オペレーションの強化された安全なプライバシーモードにある場合には、ステップS310において、第1の視野とは異なる第2の視野でカメラ108を再設置するように設置者に促すアラートが生成され、そしてステップS312において、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供が、無効にされる。ビデオストリームの第1のエッジフィルタリングされたバージョンの提供は、所定の期間にわたって、たとえば1日もしくは複数日に、またはカメラ108の再設置のために必要とされると予想される期間に対応する期間にわたって無効にされることが可能である。
第2の異なる視野を得るためのカメラ108の再設置は、カメラ設定を第1のパンレベルから第2の異なるパンレベルへ、および/または第1のチルト設定から第2の異なるチルト設定へ、および/または第1のズーム設定から第2の異なるズーム設定へ変更することを含むことが可能であるということを理解されたい。第2のズーム設定は、好ましくは、第1のズーム設定に比較してズームアウト設定である。代替として、または追加として、再設置は、カメラ108が第1の物理的な場所から第2の異なる物理的な場所へ、すなわち、地上のポール上に取り付けることから高い建物上で上に高く取り付けることへ移動されることを含むことが可能である。
第2の視野でのカメラ108の再設置の後に、方法ステップは、今度は第2の視野が新たな第1の視野、すなわち、ステップS302~S312において言及されている第1の視野である状態でステップS302から繰り返されることが可能である。
ステップS310は、アラート生成コンポーネント406によって実行されることが可能であり、ステップS312は、提供コンポーネント404によって実行されることが可能である。
いくつかの実施形態においては、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供を無効にすることは、受信機へのビデオストリームの第1のエッジフィルタリングされたバージョンの送信を無効にすることを含む。これは、いくつかの実施形態においては、カメラ108が、ビデオストリームの第1のエッジフィルタリングされたバージョンを記録するのを停止することを意味する。たとえば、ビデオストリームの第1のエッジフィルタリングされたバージョンは、データストレージ214に格納されない。
あるいは、いくつかの実施形態においては、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供を無効にすることは、カメラがビデオストリームを取り込むことを無効にすることを含む。これは、ビデオストリームの第2のバージョンが必要とされていない、または望まれていない場合に当てはまることが可能であり、ひいてはカメラ108は、ビデオストリームの第1のエッジフィルタリングされたバージョンが1つまたは複数の被写体のプライバシーを保証することが可能ではない場合には、非アクティブ化される。そのようなケースにおいては、画像取り込みモジュール206、たとえば、レンズ202および/または画像センサ204は、ビデオストリームを取り込むことを無効にされることが可能である。
いくつかの実施形態においては、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供を無効にすることは、取り込まれたビデオストリームを作成するために使用される画像情報をカメラの画像センサが伝達するのを無効にすることを含む。それゆえに、いくつかのケースにおいては、取り込まれたビデオストリームを作成するために使用される画像フレームを画像センサ204が伝達することを無効にすることによって、カメラ108が無効にされる。たとえば、画像センサ204は、画像フレームをカメラ108の画像処理/エンコーディングモジュール214へ伝達することを無効にされることが可能である。
任意選択のステップS314において、オペレーションの強化された安全なプライバシーモードはさらに、1つまたは複数の被写体104のプライバシーがさらに守られるビデオストリームの第2のバージョンを提供することを含む。このステップは、上記のステップS312において言及されている所定の期間中に実行されることが可能であり、その期間中には、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供が無効にされて、カメラ108の再設置を待つ。以降で記述されるように、ビデオストリームの第2のバージョンの提供は、さまざまな方法で達成されることが可能である。
第1の代替方法においては、ビデオストリームの第2のバージョンの提供は、ビデオストリームにおいて描写されている1つまたは複数の被写体104のプライバシーを守るためにビデオストリームの少なくとも一部にプライバシーマスクを適用することによってビデオストリームの第2のバージョンを生成することを含む。プライバシーマスクは、カラーマスクまたはモザイク(ピクセル)マスクであることが可能である。たとえば、プライバシーマスクは、設定されている背景シーンとライブカメラビューを比較して、変化(基本的には動いている被写体)のエリアに動的なマスキングを適用することによって、ライブおよび録画されたビデオストリームにおける被写体の素性をマスクする。さらに、必要とされるマスキングのレベルを設定することが可能であり得る。カラーマスキングは、動きを見ることを可能にしながら、2つのうちで最大のプライバシー保護を提供することが可能である。モザイクマスキングは、動いている被写体を低解像度で示すものであり、被写体全体に単一のマスキングカラーを適用するカラーマスクに比較して、被写体のさまざまな色を見ることによって、形を区別することがより容易になり得る。
図6は、4つの被写体104、たとえば4人の個人104a、104b、104c、104dのプライバシーを守る、取り込まれたビデオストリームのプライバシーマスクされた画像フレーム600を概略的に示している。
第2の代替方法においては、ビデオストリームの第2のバージョンの提供は、ビデオストリームにエッジフィルタを適用する前に、ビデオストリームの空間解像度を低減して、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおけるサイズを、第2のしきい値を下回るように低減することによって、ビデオストリームの第2のエッジフィルタリングされたバージョンとしてビデオストリームの第2のバージョンを生成することを含む。前述されているように、エッジフィルタを適用する前に、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおけるサイズが第2のしきい値を下回るようにビデオストリームの空間解像度を低減することによって、1つまたは複数の被写体のプライバシーが、ビデオストリームの第2のエッジフィルタリングされたバージョンにおいて守られる。
図8は、取り込まれたビデオストリームの第2のエッジフィルタリングされたバージョンのエッジフィルタリングされた画像フレーム800の例を概略的に示している。エッジフィルタリングされた画像フレーム800の空間解像度は、エッジフィルタリングされた画像フレーム700の空間解像度の半分である。エッジフィルタリングされた画像フレーム700、800を比較することによって見て取れるように、エッジフィルタリングされた画像フレーム800のサイズは、エッジフィルタリングされた画像フレーム700の画像サイズに比較して低減されている。しかしながら、エッジフィルタリングされた画像フレーム800において見られるように、4人の個人のプライバシーは守られていない。プライバシーを守るためには、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおけるサイズを、第2のしきい値を下回るように低減する目的で、エッジフィルタを適用する前に空間解像度がさらにいっそう低減されるべきである。図9は、取り込まれたビデオストリームの別の第2のエッジフィルタリングされたバージョンのエッジフィルタリングされた画像フレーム900の例を概略的に示している。エッジフィルタリングされた画像フレーム900の空間解像度は、エッジフィルタリングされた画像フレーム700の空間解像度の4分の1である。図9において示されているように、4人の個人のプライバシーは、エッジフィルタリングされた画像フレーム900において守られている。
第3の代替方法においては、ビデオストリームの第2のバージョンの提供は、ビデオストリームにエッジフィルタを適用する前に、ビデオストリームのピクセル値を表すために使用される量子化レベルの数を量子化レベルの第1の数から量子化レベルの第2の数へ低減することによって、ビデオストリームの第2のエッジフィルタリングされたバージョンとしてビデオストリームの第2のバージョンを生成することを含む。
ビデオストリームの第2のエッジフィルタリングされたバージョンのピクセル値は、量子化レベルの第2の数を使用して表されることが可能であるということを理解されたい。
しかしながら、可能な量子化レベルの数は、量子化レベルの第1の数に対応するように再び増大されることが可能であるということ、およびそのようなシナリオにおいては、ビデオストリームの第2のエッジフィルタリングされたバージョンのピクセル値を表すために、量子化レベルの第2の数に対応する量子化レベルの数のみが使用されるということも理解されたい。たとえば、ビデオストリームの量子化レベルの第1の数が256(8ビット)に対応し、量子化レベルの第2の数が16(4ビット)である場合には、ビデオストリームの第2のエッジフィルタリングされたバージョンは、4ビットのビデオストリームであることが可能であり、ピクセル値を表すために16の量子化レベルが使用されるか、または量子化レベルのその数は、256(8ビット)に増大されることが可能であるが、256の量子化レベルのうちの16の量子化レベルのみが、ピクセル値を表すために使用される。
前述されているように、ビデオストリームにおいて使用される量子化レベルの数を量子化レベルの第1の数から量子化レベルの第2のさらに低い数へ低減することによって、量子化レベルの第1の数におけるそれぞれの量子化レベルによって表されることになる強度の数に比較した、量子化レベルの第2の数におけるそれぞれの量子化レベルによって表されることになる強度のさらに大きな数に起因して、ビデオストリームの第2のエッジフィルタリングされたバージョンにおけるグラニュラー雑音が増大されることになる。より大きなグラニュラー雑音のおかげで、ビデオストリームの第2のエッジフィルタリングされたバージョンにおいて描写されている1つまたは複数の被写体のプライバシーが守られる。
図11は、取り込まれたビデオストリームの第2のエッジフィルタリングされたバージョンのエッジフィルタリングされた画像フレーム1100の例を概略的に示しており、プライバシーを守るために量子化レベルの数が低減されている。この例示している図においては、エッジフィルタリングされた画像フレーム1100における量子化レベルの数は、エッジフィルタリングされた画像フレーム700における256の量子化レベル(8ビット)に比較して、8(3ビット)である。
第4の代替方法においては、ビデオストリームの第2のバージョンの提供は、ビデオストリームの第1のエッジフィルタリングされたバージョンの空間解像度を低減して、1つまたは複数の被写体の少なくとも1つの部分のサイズが第2のしきい値を下回る、ビデオストリームの第2のエッジフィルタリングされたバージョンを得ることによって、ビデオストリームの第2のエッジフィルタリングされたバージョンとしてビデオストリームの第2のバージョンを生成することを含む。前述されているように、ビデオストリームの第1のエッジフィルタリングされたバージョンの空間解像度を低減することによって、ビデオストリームの第1のエッジフィルタリングされたバージョンの1つまたは複数の画像フレームを構成するピクセルの数が低減される。さらに、ビデオストリームの第1のエッジフィルタリングされたバージョンの空間解像度を、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームの第2のエッジフィルタリングされたバージョンにおけるサイズが第2のしきい値を下回るように低減することによって、1つまたは複数の被写体のプライバシーは、ビデオストリームの第1のエッジフィルタリングされたバージョンにおいてプライバシーが保証されることが可能ではなかった場合には、ビデオストリームの第2のエッジフィルタリングされたバージョンにおいて守られる。
取り込まれたビデオストリームのさまざまなエリアにおいて描写されている被写体に関するプライバシーを守るために、第1の被写体を描写するエッジフィルタリングされた画像フレームの第1のエリアの第1の画像解像度は、第2の被写体を描写するエッジフィルタリングされた画像フレームの第2のエリアの第2の画像とは異なることが可能である。第1のエリアの第1の画像解像度は、第1のエリアにおける画像詳細の量に関連し、それに対応して、第2のエリアの第2の画像解像度は、第2のエリアにおける画像詳細の量に関連する。第1および第2の画像解像度は、第1および第2のエリアを別々にダウンスケーリングして、次いでそれらを、それらの元のピクセル数を含むようにアップスケーリングすることによって得られることが可能である。前述されているように、ダウンスケーリングは、ピクセルの数を低減して、画像詳細が失われることにつながり、アップスケーリングは、ピクセルの数を増やすが、失われた画像詳細を復元することはできない。それゆえに、第1および第2のエリアを別々にダウンスケーリングすることによって、第1および第2のエリアにおいて別々の量の画像詳細が失われることになり、別々の量の匿名化が生じる。ダウンスケーリング後に、第1および第2のエリアをそれらの元のピクセル数へアップスケーリングすることによって、第1および第2のエリアは、エッジフィルタリングされた画像フレームにおいてそれらの元のサイズを有することになる。図10は、取り込まれたビデオストリームの第2のエッジフィルタリングされたバージョンのエッジフィルタリングされた画像フレーム1000の例を概略的に示している。この例においては、エッジフィルタリングされた画像フレーム1000の第1のエリア1002の第1の解像度は、エッジフィルタリングされた画像フレーム700の画像解像度の半分であり、エッジフィルタリングされた画像フレーム1000の第2のエリア1004の第2の解像度は、エッジフィルタリングされた画像フレーム700の画像解像度の4分の1である。
第5の代替方法においては、ビデオストリームの第2のバージョンの提供は、ビデオストリームの第1のエッジフィルタリングされたバージョンにおけるエッジ強度しきい値を下回るエッジ強度を有するエッジポイントを、ビデオストリームの第2のエッジフィルタリングされたバージョンにおける非エッジポイントとして表すことによって、ビデオストリームの第2のエッジフィルタリングされたバージョンとしてビデオストリームの第2のバージョンを生成することを含む。図12は、取り込まれたビデオストリームの第2のエッジフィルタリングされたバージョンのエッジフィルタリングされた画像フレーム1200の例を概略的に示しており、エッジ強度しきい値を下回るエッジ強度を有するエッジポイントは、それらをビデオストリームの第2のエッジフィルタリングされたバージョンにおける非エッジポイントとして表すことによって抑制される。それによって、1つまたは複数の被写体104のプライバシーが高められる。さらにエッジ強度しきい値を増大することによって、1つまたは複数の被写体104のさらなる匿名化が得られることになり、ひいては、1つまたは複数の被写体104のさらにいっそう安全なプライバシーも得られることになるということを理解されたい。
任意選択のステップS316において、少なくとも1つの部分のビデオストリームにおける推定されたサイズが第1のしきい値を下回っている場合には、取り込まれたビデオストリームが提供される。取り込まれたビデオストリームは、その取り込まれたビデオストリームを受信機へ送信することによって提供されることが可能である。前述されているように、受信機は、有線を介して、またはワイヤレスにカメラ108に動作可能に接続されている、またはカメラ108内に含まれている任意のデバイスであることが可能である。それゆえに、取り込まれたビデオストリームは、クライアント114、サーバ116へ、および/またはデータストレージ214へ送信されることが可能であるということを理解されたい。
実施形態はまた、カメラ108の設置を容易にするためのカメラ108に関する。カメラ108は、カメラ108が第1の視野で設置されている場合にシーン102のビデオストリームを取り込むように構成されている画像取り込みモジュール206を含み、そのシーン102は、1つまたは複数の被写体104を含む。
カメラ108は、1つまたは複数の被写体104の少なくとも1つの部分のビデオストリームにおけるサイズを推定するように構成されているサイズ推定コンポーネント402も含む。
さらに、カメラ108は、1つまたは複数の被写体104の少なくとも1つの部分のビデオストリームにおける推定されたサイズが、第1のしきい値を上回っていて、かつ第2のしきい値を下回っている限り、ビデオストリームにおいて描写されている1つまたは複数の被写体のプライバシーを守るためにビデオストリームの第1のエッジフィルタリングされたバージョンを提供するように構成されている提供コンポーネント404を含む。
提供コンポーネント404は、取り込まれたビデオストリームにおいてエッジポイントを検知して強調するように、および非エッジポイントを抑制するように、ならびに、取り込まれたビデオストリームのエッジフィルタリングされたバージョン、たとえば、上述されている取り込まれたビデオストリームの第1および第2のエッジフィルタリングされたバージョンを提供するように構成されている。提供コンポーネント404は、取り込まれたビデオストリームのエッジフィルタリングされたバージョンを提供するように構成されているエッジ検知器であることが可能であり、またはそのエッジ検知器を含むことが可能である。
さらに、提供コンポーネント404は、カメラ108がオペレーションの強化された安全なプライバシーモードにある場合には、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供を無効にするように構成されている。
いくつかの実施形態においては、提供コンポーネント404は、取り込まれたビデオストリームの第2のバージョンを提供するように構成されており、その第2のバージョンは、取り込まれたビデオストリームのプライバシーマスクされたバージョンまたは第2のエッジフィルタリングされたバージョンであることが可能である。
提供コンポーネント404は、1つまたは複数の被写体104の少なくとも1つの部分のビデオストリームにおけるサイズの推定値が第1のしきい値を下回っている場合には、取り込まれたビデオストリームを提供するように構成されることも可能である。
カメラ108は、1つまたは複数の被写体104の少なくとも1つの部分のビデオストリームにおける推定されたサイズが、少なくとも1つの被写体のプライバシーが明らかにされるリスクがあるということを示す第2のしきい値を上回っていることに応答して、オペレーションの強化された安全なプライバシーモードに入るように構成されている。
さらに、カメラ108は、カメラ108がオペレーションの強化された安全なプライバシーモードにある場合に、第1の視野とは異なる第2の視野でカメラを再設置するように設置者に促すアラートを生成するように構成されているアラート生成コンポーネント406を含む。
実施形態はまた、コンピュータコード命令をその上に格納してある非一時的コンピュータ可読メディアに関し、それらのコンピュータコード命令は、処理能力を有するデバイスによって実行されたときに、本明細書において記述されている方法の実施形態を実行するように適合されている。
上述されているように、カメラ108は、カメラ108の設置を容易にするための方法を実施するように構成されることが可能である。この目的のために、カメラ108は、本明細書において記述されているさまざまな方法ステップを実施するように構成されている回路を含むことが可能である。
ハードウェア実施態様においては、回路は、方法ステップのうちの1つまたは複数を実施するための専用であること、およびそのために特別に設計されることが可能である。回路は、1つもしくは複数の特定用途向け集積回路または1つもしくは複数のフィールドプログラマブルゲートアレイなど、1つまたは複数の集積回路の形態であることが可能である。例として、カメラ108は、これゆえに回路を含むことが可能であり、その回路は、使用時に、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおけるサイズを推定し、使用時に、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおける推定されたサイズが、第1のしきい値を上回っていて、かつ第2のしきい値を下回っている限り、ビデオストリームにおいて描写されている1つまたは複数の被写体のプライバシーを守るためにビデオストリームの第1のエッジフィルタリングされたバージョンを提供する。カメラ108は、回路をさらに含むことが可能であり、その回路は、使用時に、1つまたは複数の被写体の少なくとも1つの部分のビデオストリームにおける推定されたサイズが、少なくとも1つの被写体のプライバシーが明らかにされるリスクがあるということを示す第2のしきい値を上回っていることに応答して、オペレーションの強化された安全なプライバシーモードに入る。さらに、カメラ108は、回路を含むことが可能であり、その回路は、使用時に、強化された安全なプライバシーモードにある場合に、第1の視野とは異なる第2の視野でカメラを再設置するように設置者に促すアラートを生成し、ビデオストリームの第1のエッジフィルタリングされたバージョンの提供を無効にする。
ソフトウェア実施態様においては、回路は、代わりに、マイクロプロセッサなどのプロセッサの形態であることが可能であり、そのプロセッサは、不揮発性メモリなどの(非一時的な)コンピュータ可読メディア上に格納されているコンピュータコード命令に関連して、本明細書において開示されているいずれかの方法をカメラ108に実行させる。不揮発性メモリの例は、読み取り専用メモリ、フラッシュメモリ、強誘電体RAM、磁気コンピュータストレージデバイス、光ディスクなどを含む。ソフトウェアのケースにおいては、上述されている方法ステップのうちのそれぞれは、それゆえに、コンピュータ可読メディア上に格納されているコンピュータコード命令の一部分に対応することが可能であり、その部分は、プロセッサによって実行されたときに、本明細書において開示されているいずれかの方法をカメラ108に実行させる。
ハードウェアとソフトウェア実施態様との組合せを有することも可能であり、これは、いくつかの方法ステップがハードウェアにおいて実施され、その他の方法ステップがソフトウェアにおいて実施されることを意味するということを理解されたい。
上述の実施形態を多くの方法で修正することと、それでもなお、上記の実施形態において示されている本発明の利点を使用することとが当業者には可能であるということが理解されるであろう。たとえば、カメラ108は、1つの場所において画像取り込みモジュール206と画像処理/エンコーディングモジュール214とを含む単一のユニットである必要はなく、仮想ユニットであることが可能であり、画像取り込み部206および画像処理/エンコーディングモジュール214は、ともに動作するが、それらは、別々の場所において提供される。さらに、サイズ推定コンポーネント402、提供コンポーネント404、およびアラート生成コンポーネント406は、画像処理パイプライン208に配置されることを必要とせず、画像処理/エンコーディングモジュール214の別々のユニットとして配置されることが可能であり、画像処理パイプライン208、エンコーダ210、入力および出力インターフェース212、ならびにデータストレージ214との通信状態に配置されることが可能である。それゆえに、本発明は、示されている実施形態に限定されるべきではなく、添付の特許請求の範囲によってのみ定義されるべきである。加えて、当業者なら理解するように、示されている実施形態どうしは、組み合わされることが可能である。