JP6979041B2 - プライバシー対応データを記録するための方法およびシステム - Google Patents

Description

本発明は、非公開データを記録することに同意する人または非同意である人が存在する雑多な場面において、プライバシー対応データを記録することができる方法およびシステムに関する。

今日、映像データは、多くの場所で、多くの様々な装置によって記録されている。このデータは、たとえば、監視カメラにより監視目的で記録することができる。当然のこととして、こうした監視システムは、人々および彼らの行動が容易に認識できる画像データを生成する。ある特定の目的の環境上で生成される映像データの他の用途は、車における先進運転者支援システム用の車線検出または交通信号検出などの、特別な機能を実現するために使用することができる。しかし、日常生活の他の装置も、映像データを使用してユーザの満足を増大させる。例として、装置の真の所有者がロック解除を求めていることを顔認識アルゴリズムが示したときにロックが解除される、スマートフォンまたは任意の他の装置を挙げることができる。

多くの場合、データを揮発性メモリに保持し、その揮発性メモリのみに基づいてデータを処理することが可能である。これは、たとえば、装置がロック解除されるまでのみデータが問題となるロック解除ルーチンの場合である。その後、データは装置から削除することができる。もちろん、これは監視目的で生成される映像データとは異なる。この点で、データを不揮発性メモリに記録し、記憶することは興味深いことであろう。しかし、特に新しいディープラーニング技術は、訓練するために大量のデータを必要とするので、機能性を改善するためにも、データを記憶することは有用なことであろう。

個人に関する情報は、こうした記憶されたデータから導出できるので、一部の人が自身の非公開データを記録されたくないことは明らかである。映像データが一度に１人だけを監視する限りは、たとえば、スマートフォンのユーザのように、いつでもデータ記録の同意を与えることができる。しかし、複数の人が、同一の対象、たとえば、所謂「スマートハウス」の一部屋または少なくとも「スマートルーム」を利用するといった、他の状況がある。この場合、非公開データの記録への同意について確認を求められるのは１人だけでなく、複数の異なる人々である。というのも、こうした異なる人々は、まさに同時に記録される可能性があるからである。多くの場合、こうした人々たとえば訪問者は、事前に知らされることすらない。

通常、個人のデータが記録されないことを保証するために、厳しいルールが使用される。たとえば、特許文献１は、データが送信または記録される前に、機密に関わる画像部分が暗号化されるシステムを記載している。しかし、同意を与えた人と、たとえば非公開データの記録に対する非同意を積極的に表明した人との間に区別はない。

他のアプローチが、たとえば、特許文献２に開示されている。ここでは、映像通信システムは、画像の最前面にいる人は自身の画像の送信に興味を持っているが、背景に見ることができる他のすべての人々はこうした興味を持たないものと仮定し、すべての背景情報が不明瞭化される。

これらのすべてのアプローチは、人によって与えられる個々の同意が全く考慮されず、したがって環境監視からの情報を使用する可能性は極めて限られている、という問題を有している。

米国特許出願公開第２００７／０２９６８１７（Ａ１）号 米国特許出願公開第２０１４／０１７６６６３（Ａ１）号

したがって、本発明の目的は、人のプライバシーを侵害することなく、監視データについての、可能な限り広範なデータベースを提供することである。

この目的は、独立請求項による方法およびシステムによって達成される。有利な態様は従属請求項で定義される。

本発明によれば、環境の区域（ａｒｅａ）が、１つまたは複数のセンサによって検知される。１つまたは複数のセンサによって生成される監視データは、検知された環境に関する情報を含み、したがって、人に関する情報もまた含む可能性がある。本発明によれば、監視された環境に存在する人々が判定され、監視された人々の中の、自身の非公開データの記録に同意しなかった人が特定される。人々の存在を判定し特定するために、マイクロプロセッサを使用して監視データを処理する。監視データから、マイクロプロセッサはさらに、自身の非公開データの記録に同意しなかった人々の非公開データを不明瞭化することにより、プライバシー対応監視データを生成する。最終的に、このプライバシー対応監視データは、後の分析、またはたとえばディープラーニングアルゴリズムに利用できるように、記憶される。本発明の大きな利点は、たとえば取り込まれた画像内の特定可能なすべての非公開データを、削除し、不明瞭にし、または暗号化する必要があるわけではなく、自身の非公開データの記録に同意せず、したがって同意を与えなかった人のデータのみを対象にすればよいことである。

特に、たとえば複数の異なる人々が同時にまたは時間順に存在することのある場所で監視カメラを使用するシステムにおいては、このことが、後の処理で使用することができるデータ量を劇的に増大させる。スマートルームまたはスマートハウスの部屋の例に戻ると、このことは、たとえば部屋の中で人の存在に気づくセンサは、システムを向上させるための重要な情報を提供することができることを意味する。他方で、自身の非公開データについての利用やその他の処理を望まない人のプライバシーは、依然として尊重される。

監視データは、特に、取り込まれた静止画または取り込まれた動画、音声ファイル、および独自に入手されたセンサデータから導出されたメタデータ、のうちの少なくとも１つを含む。こうしたメタデータは、たとえば移動パターンまたは人であり得る。以下の説明では、もっぱら画像取り込みの例について言及するが、同じ原理が音声データまたはメタデータにも当てはまることは明白である。

監視データが、少なくとも１つの重要区域（ｃｒｉｔｉｃａｌ ａｒｅａ）を含む画像データの場合、プライバシー対応情報は、画像内で特定されたこの一つ又は複数の重要区域を不明瞭化することによって生成される。重要区域とは、たとえば人の顔、全身、もしくは人によって運転される車両のナンバープレートなどのプライバシー関連情報、または、より一般的には、直接または間接に人の特定が可能な任意の情報を含む画像内の区域をいう。不明瞭化は、たとえば、重要区域を不鮮明にする、重要区域内でランダム化された画素交換を行う、重要区域の画素を黒い画素もしくは白い画素で置き換える、所定の代替顔を使用して顔の置き換えを行う、または、重要区域の画素を背景画素で置き換えることによって行われる。もちろん、不明瞭化の様々な方法を組み合わせることも可能である。

環境検知が複数のカメラを使用して行われると、特に有利である。システムが複数のカメラを備え、これらの複数のカメラすべてが同時に画像（静止画、一連の静止画、動画のいずれでも）を取り込む場合、画像内の重要区域を、他のカメラで同時に取り込まれた背景画素で置き換えることが可能である。これらのカメラがキャリブレート（較正）されている場合には、１つのカメラによって取り込まれた画像内の重要区域の位置は、複数のカメラのうちの他の１台のカメラによって取り込まれた画像内の位置情報に変換することができる。これにより、他のカメラの画像内の対応する区域もまた、不明瞭化が可能となる。さらに、１つの画像内において遮蔽された（物影に隠れた）背景画素を、こうした位置情報に基づいて抽出することができる。これにより、特に、背景画素により重要区域の画素の置き換えが行われる場合、常に近時関係を有する画素を使用できるという利点がある。たとえば、周囲の明かりが時刻につれて変化する場合でも、照明が同質であるという印象が維持される。

顔認識アルゴリズムによって人を特定することが特に好ましい。こうした顔認識アルゴリズムについての有利な例は、ニューラルネットワークを用いて顔を高次元ベクトルに変換し、新しい顔からの高次元ベクトルの距離を、訓練された顔の基準ベクトルのセットと比較することである。こうしたニューラルネットワークを使用することにより、高い認識率を得ることができるという利点がある。さらに、非公開データを記録または記憶することについて人が同意を与えた場合に、その人の顔の特徴を記述する高次元ベクトルを記憶しておくことができる。

他方、自身の非公開データを記憶することに明白に非同意を示した人に対しては、実際の顔の画像の代わりに、その人の顔の低次元バイナリベクトルを記憶することが可能であると有利である。このアプローチにより、自身の非公開データを記録することに非同意を示した人は、なおも自動的に特定され得るものの、こうした低次元バイナリベクトルのリバースエンジニアリングは不良設定問題（ａｎ ｉｌｌ−ｐｏｓｅｄ ｐｒｏｂｌｅｍ）であり、したがって、個々人のプライバシーは維持されることが保証される。これを行わない場合、こうした人々は、画像に現れ且つシステムにとって未知の人であると判定されるたびに、確認を求められることが必要となろう。すなわち、このようにベクトルの次元を減らして当該ベクトルを記録しておくものとすれば、確認を求められて非同意を示した人と、以前に現れたことがなかったためにシステムにとって完全に未知な人と、を区別することが可能となる。

明白に非同意を示した人だけでなく全く特定することができない人の非公開データも、不明瞭化することが好ましい。すなわち、同意を与えた人であると積極的に特定された人のデータのみが不明瞭化されず、したがって、それらの人たちの非公開データを記録することができる。これにより、システムは、いかなる人のプライバシーも侵害することなく自動的に動作し得ることが保証される。

実際のバイナリベクトルを記憶するのではなく、記録に非同意を示した人からのすべてのバイナリベクトルまたは顔に関して、分類子（ｃｌａｓｓｉｆｉｅｒ）またはクラスタアルゴリズム（たとえば、Ｋ平均法）を訓練するものとすることができ、これによりセキュリティがさらに一層向上する。すなわち、上述のリバースエンジニアリングは、さらに困難となる。１つの顔をリバースエンジニアリングする努力は、訓練される人の顔のベクトルの数につれて増大する。さらに、非同意を示した人からのバイナリベクトルを使用したこのような分類子またはクラスタアルゴリズムにより、非同意を示した人と、システムにとって完全に未知の人と、の区別が可能となる。これにより、自身の非公開データが記録されるか否かについて同意するかどうかを全く知られていない人に対して確認を求める機会ができる。その結果、非同意を示した人のバイナリベクトルおよび同意した人の顔ベクトルを保持する不揮発性メモリに記憶されたデータベースを、継続的に強化することができる。もちろん、ある人がデータの記録に実際に同意したという情報と共に、このような記録の設定がよりきめ細かなものとなり得る。特に、例えばある人は経路を追跡して記録することには同意したが、鮮明なカメラフレームを記憶することには同意しなかった、というような個々の人の好み（ｐｒｅｆｅｒｅｎｃｅ）を記憶することが可能である。この場合には、その人が大体においては非公開データの記録に同意していても、その人の重要領域においては画像を不明瞭化する、といったことが可能となる。

基準ベクトルをＲＦＩＤ装置（無線自動識別装置）に記憶しておくと、特に有利である。この場合、個人特有のデータは、その人の管理下にあるＲＦＩＤ以外には記憶されず、マイクロプロセッサによる顔認識を行う必要があるときにのみ、そのＲＩＤにアクセスされるものとすることができる。

１つの有利な実施形態によれば、環境検知では、一連の画像が取り込まれて人の特定が行われ、当該一連の複数の画像にわたってそれらの人が追跡される。これにより、現在の画像に人の認識および特定に使用される顔が現れていない場合でも、取り込まれた画像において認識される任意の人についての、正しい特定および関連付けが可能となる。上記追跡は、時間において後方（過去）または前方（将来）に向かって行うことができる。ただし、特に、時間において後方への追跡では、過去の画像が取り込まれた当時には同意したのか非同意を申し立てたのかが不明な人についてのデータを、正しく不明瞭化しまたは記録することができる。その人の顔が後の画像において最初に観測され顔認識プロセスまたはアルゴリズムが実行できるようになって初めて、その人の非公開データに関して正しく動作することが可能となる。

上述した好みやプライバシーについての設定により、特に、移動や軌跡などについての第２レベルのデータの記憶が可能となる。ただし、そのような場合でも、記憶され又は記録されたデータは特定の人の直接的な推定を可能とするものではないことが保証される。

データベースを強化すべく、人についての特定が行えなかったときにはその都度、その人に対し、非公開データの記憶に明白に同意するか非同意を示すかについて確認を求めることが有利である。

本発明の他の有利な態様によれば、上述の処理が、揮発性メモリの上でのみ行われる。すなわち、１つまたは複数のセンサによって生成されたすべての監視データは揮発性メモリに保持され、このデータに関するすべての処理、プライバシー対応データの不明瞭化および生成は、すべてこの揮発性メモリ上で行われる。その後に、当該生成されたプライバシー対応データのみが、不揮発性メモリに書き込まれて記録される。このアプローチにより、予めその人が同意を与えていない限り、たとえ電源障害が発生した場合であってもその人の非公開データが不揮発性メモリに記憶されることはないことが保証される。その時点でまだ不明瞭化されていないデータは、揮発性メモリにのみ保持され、したがって電源障害の場合には消失する。

さらに有利な態様によれば、本システムはまた、たとえばスマートルームを利用する人が携行し得るＮＦＣ（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ、近距離無線通信）カードなどのＲＦＩＤ（ｒａｄｉｏ−ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）装置を備える。こうしたＲＦＩＤ装置は、たとえばアクセス制御システムで使用することができるので、スマートルームを使用する人は必ずこのＲＦＩＤ装置を携行することとなる。このカードは、その人がスマートルームへのアクセス許可を得たときにその人に対して発行され、その人は、その時点で非公開データの記録に同意するか非同意を示すかについての確認を求められるものとすることができる。この確認に関する情報は、このＲＦＩＤ装置に記憶されるものとすることができ、アクセスが制御されたその部屋に誰かが入るたびに、システムはそのキーカードによってその人を認識し、したがって、データ記録が許可されているか否かを知る。アクセス制御が使用されるこうしたシステムにおいては、入室を監視するための専用カメラを使用することが特に有利である。これにより、部屋に入ると直ちに個人の特定がなされることが保証される。

本発明の有利な態様は、以下に述べる添付の図面に基づく記載から、より一層明らかになるであろう。

本発明のシステムのブロック図である。 主な方法ステップを示すフロー図である。 重要区域を背景画素により置き換えるための画素の抽出を示す図である。 後方追跡（過去方向追跡）および前方追跡（将来方向追跡）を示す図である。

図１は、本発明の方法を実行するシステム１のブロック図である。システム１は、少なくとも１つのセンサユニット２を備える。センサユニット２は、本ケースでは複数のセンサ２を備えている。複数のセンサ２は、具体的に、第１のカメラ２．１、第２のカメラ２．２、およびマイクロフォン２．３を含み得る。カメラ２．１およびカメラ２．２の撮影可能範囲は、その監視区域が少なくとも部分的に重複するような範囲である。監視区域のこうした重複は、不明瞭化される重要区域に関する情報を共有するために極めて有利なだけでなく、他のカメラによって取り込まれた画像についての重要区域の画素の置き換えに用いることのできる背景画素を決定する目的においても極めて有利である。後者は、図３に関連してより詳細に説明する。情報を共有することにより、位置変換に基づいて複数のカメラの画像中の重要区域を不明瞭化することが可能となる。

前置き部においてすでに述べたように、以下で述べる説明は、１つまたは複数のカメラによって取り込まれた画像、特に、監視データを形成する取り込まれた動画の例に関してなされる。しかし、個人を特定するために適切な、１つまたは複数のセンサ２によって生成された任意の他の信号を、代わりに使用してもよい。明らかな例は、マイクロフォン２．３を使用して作成された音声ファイルであって、特定の人に特徴的な人の声を取り込んだ音声ファイルである。

センサユニット２によって生成された監視データは、揮発性メモリ３に送信される。揮発性メモリ３は、マイクロプロセッサ５がそのデータを完全に処理する間に限り、監視データを保持する。マイクロプロセッサ５は、センサユニット２によって生成されたデータについての監視データ処理の全てを担当するだけでなく、後述する処理によりプライバシー対応データを生成して不揮発性メモリ４に記録することも行う。後述においてより詳細に記述するように、マイクロプロセッサ５は、自身の非公開データの記録に同意しなかった人の非公開データのみを選択的に不明瞭化したプライバシー対応データを生成する。これにより、たとえば、同時に又は時系列的に複数の異なる人々を含み得る動画が、自身の非公開データの記録に同意しなかった人のデータのみが不明瞭化されて記録され得る。他方で、人によって記録することが許可されている事項については、そのすべての詳細が細部にわたって不揮発性メモリ４に記憶される。

不揮発性メモリ４は、さらに、個人の特定に使用される基準ベクトルが保存されたデータベース４．１を記憶する。すなわち、監視データが揮発性メモリ３に存在しているときは、マイクロプロセッサ５が判定アルゴリズムを実行することにより顔認識が実行され、ある人が画像中に存在することがそのデータから判定される。こうした顔認識の実行には、人工ニューラルネットワークを使用することが好ましい。こうしたネットワークは、人の顔をビット列によって表される低次元空間に変換するように事前訓練（ｐｒｅ−ｔｒａｉｎ）される。この学習された変換は、ビュー（ｖｉｅｗ）が異なっても同じ顔は同じビット列に、異なる顔は異なるビット列に変換されように強化される。すなわち、一つの顔について一つの画像があれば、顔認識の事後訓練（ｐｏｓｔ ｔｒａｉｎ）には十分である。後で他の顔のビット列と比較して顔認識を行うべく、その顔のビット列を記憶するだけでよい。このビット列はデータベース４．１に記憶され、新たな画像内で人が特定されると、マイクロプロセッサによりこのビット列との比較が実行される。

データベース４．１は、純粋なビット列は当然ながら、それに加えて、個人の特定情報（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を記憶し、及び有利にはその人のプライバシーの設定または好みを記憶するものとし得ることに留意されたい。こうしたプライバシー設定（または好み）は、マイクロプロセッサ５によりデータベース４．１から取り出されて、非公開データまたはその一部を正しく不明瞭化するために使用されるものとすることができる。たとえば、ある人が非公開データの記録に概ね同意している場合でも、その人が詳細な画像データは記録しないことを選択している可能性がある。したがって、データを不揮発性メモリ４に記憶する前に、その画像内の顔の区域を、マイクロプロセッサ５によって不鮮明にするものとすることができる。

データベース４．１に記憶されたデータ、特に基準ベクトル（顔ベクトル）またはビット列は、代替としてＲＦＩＤ装置６に記憶するものとすることができる点に留意されたい。その場合、マイクロプロセッサ５は、基準ベクトルだけでなく、プライバシー設定、特定情報などのそれぞれの情報を入手するために、ＲＦＩＤ装置６と通信を行う必要がある。特定対象である人がＲＦＩＤ装置を携行していない場合や、より一般的にはＲＦＩＤへのアクセスができない場合には、その人はシステムにとって未知であるものとして扱われるであろう。ＲＦＩＤ装置に少なくとも基準ベクトルを記憶する利点は、システムの他の部分、すなわち不揮発性メモリ４、およびここでは特にデータベース４．１が、個人に特有のいかなるデータも全く記憶しないことである。ここに示す本発明の説明では、記載を簡潔にすべく、基準ベクトル及びその他の情報がデータベース４．１に記憶されるものとしているが、以下で述べるすべての説明は、ＲＦＩＤ装置６を、当該ＲＦＩＤ装置６との通信（データの保存及び取り出し）を行うことのできるマイクロプロセッサ５と共に備えるシステムについても、同様に当てはまることは明らかである。

画像が最終的に不揮発性メモリ４に記憶される前に、画像データ内の重要区域が不明瞭化される。こうした不明瞭化は、重要区域の不鮮明化を含んでもよいが、重要区域内にある区域の画素を無作為に交換すること、重要区域内の画素を黒い画素のみ、または白い画素のみ、または黒と白の画素からなるパターンによって置き換えることを含んでもよい。他のアプローチは、重要区域が人の顔である場合に、この重要区域を所定の代替顔で置き換えることである。当該所定の代替顔は、たとえば、不揮発性メモリ４に記憶された標準的な顔または人工的な顔であるものとすることができる。最後に、重要区域の画素は、また、背景画像から取られた画素によって置き換えるものとすることができる。一つの方法として、重要区域に対応する背景画素は、同じカメラ２．１または２．２によってある時点で取り込まれた、その区域が当該特定された人によって遮蔽されていない他の画像から取ることができる。他の方法として、上記背景画素は、特に、同一の時点において他のカメラによって撮られた画像から抽出するものとすることができる。

上述の説明では、重要区域は、常に顔であるものとした。ただし、重要区域は、直接または間接に特定可能な、その画像中の任意の部分、たとえばナンバープレートであってもよい。

図２は、本発明の簡略化されたフロー図を示す。上述したように、ステップＳ１における環境監視は、センサユニット２およびすべての利用可能なセンサ２によって行われる。これらのセンサ２は、たとえば、スマートルームで使用される複数のセンサ２であるものとすることができ、また、テレビ画面の前のソファーに向けられたカメラを含むものとすることができる。当該カメラが取り込んだ画像内で人がソファーに座っていることが検出された場合、例えばテレビの電源が自動的にオンされ得る。

センサユニット２によって生成された監視データは、当該監視データを処理することができるように、ステップＳ２において揮発性メモリ３に保持される。揮発性メモリ３に保存された監視データ中の一または複数の人を当該揮発性メモリ３上で判定すべく、マイクロプロセッサ５により処理が実行される。ステップＳ３において人の識別が行われ、監視データ内で人が識別された場合、ステップＳ４において、好ましい実施形態にしたがって顔ベクトル判定が実行され、個人が特定される。顔ベクトル判定それ自体は当分野でよく知られており、高次元顔ベクトルを使用することが好ましい。

上述したように、非公開データを記録することについて既に同意または非同意を示した人の顔ベクトルは、データベース４．１（またはＲＦＩＤ６）に記憶される。ステップS５において、識別された人についての識別された顔ベクトルを、記憶されている顔ベクトルと比較することにより、現在監視されている顔がデータベースに既に記録されているか否かを判断することができる。

その比較の結果が、その顔はすでにデータベース４．１に記録されている、というものである場合、その顔ベクトルに関連付けられた人が、非公開データを記録することに同意しているか否かがさらに判定される。ステップＳ６におけるこの判定がイエスの場合、すなわち、その人が非公開データの記録に同意している場合には、監視データは、プライバシー対応データの生成に際して変更されることなく維持される。

逆に、顔がデータベース４．１に記憶されていない場合、すなわち、その人がシステム１にとっては全くの未知である場合には、その人は、ステップＳ８において、非公開データの記録に同意するかについて確認を求められる。その後、ステップＳ９において、その人が実際に同意をしたか否かが判定される。イエスの場合、ステップＳ１０において、顔ベクトルと、オプション（任意選択）としての何らかの好みまたはプライバシーの設定と、がデータベース４．１に記憶される。

もちろん、非公開データの記録に同意することについて確認を求められた人は、こうした記録に明白に非同意を示すこともできる。ステップＳ９において、たとえばユーザインタフェースにより、同意が得られないことがシステム１へ入力されると、本方法はステップＳ１１へ進む。そうした場合、顔ベクトルの次元は低減され、低減された次元を有する顔ベクトルがデータベース４．１に記憶される。このような次元が低減された顔ベクトルを記憶することにより、リバースエンジニアリングはほとんど不可能となり、したがって、システムのセキュリティがたとえ侵害されたとしても、特定の人を識別することは不可能であることが保証される。他方で、取り込まれた画像中に人が存在すると判定されたとき、この特定の人が、以前にすでにデータ記録に同意するかについて確認を求められたか否かを判定することも可能である。このようにすれば、要求の繰り返しを避けることでき、その人を煩わせることはない。

顔ベクトルの次元が低減され、低減された顔ベクトルがデータベース４．１に記憶されたあとで、この人に関する非公開データがステップＳ１２で不明瞭化される。次いで、この不明瞭化されたデータを使用して、ステップＳ７でプライバシー対応データが生成され、ステップＳ１３において、このデータは、既に述べたように記憶される。

１つの画像または特定の連続した画像に、複数の人が同時に存在する可能性があることは明らかである。もちろん、プライバシー対応データの記録は、最後にのみ行われる。あらゆる人のそれぞれに対して、データの関連部分が、必要であれば最初に不明瞭化される。同意がなされている場合には、その人の非公開データは、プライバシー設定における設定に従ってとり扱われ、非同意である場合には、関連する非公開データは、上述したいずれかの方法で不明瞭化される。最後に、それぞれの人に対応するそれぞれの重要区域が、すべてその人によって示された同意又は非同意に従って処理されることにより、プライバシー対応データにより画像生成が行われ、その後に、場合によってはそれぞれに相異なる処理が行われた複数の重要区域を含む画像の全体が、ステップＳ１３において不揮発性メモリ４に記録される。

図３は、カメラ２．１によって撮影された画像内の重要区域を置き換えるために使用されることとなる背景画素の決定方法の例を示す。カメラ２．１およびカメラ２．２は、少なくとも部分的に重なり合った区域に向けられている。ある人６が部屋の中に立っており、したがってカメラ２．１の視点から矢印で示した床の一定の区域１５が見えなくなる。カメラ２．１および２．２はキャリブレート（較正）されているので、カメラ２．１の画像内の区域を、カメラ２．２の画像へ位置変換することができる。したがって、カメラ２．１の画像内で得られた位置情報に基づいて、カメラ２．２の画像内の対応する画素を決定することが可能である。次いで、こうした画素を使用して、カメラ２．１の画像内の重要区域のそれぞれの画素を置き換えることになる。ただし、カメラ２．２の画像内のその人の顔の不明瞭化も、こうした位置変換に基づいて行うことができる。

最後に、図４は、前方追跡（将来方向追跡）および後方追跡（過去方向追跡）を説明するための簡単な図を示す。タイムラインに沿って、複数の画像（フレーム）が少なくとも１つのカメラによって取り込まれる。簡略化したこの例においては、４つの連続した画像、ｓ、ｉ−１、ｉ、ｉ＋１、およびｅを用いて説明する。フレームｓにおいて、すでに人が存在すると判定され得る。しかしながら、顔認識ができないために、その人を特定することができないこととなり得る。これは、たとえば、その人を背後からしか取り込めないような方向にカメラが向いている場合に起こり得る。この例では、その人は、フレームｉが取り込まれるときだけ、向きが変わって顔認識が可能となる。その後、異なる複数のフレームで常に見えていたその人を後方追跡することにより、その特定された人を、フレームｓおよびフレームｉ−１において見えていた人に関連付けることができる。このように、フレームｉでのみ顔が視認可能で、且つ、その後に、その人が、自身を何らかの方法で特定できるような任意の非公開データが記録されることに完全に非同意を示していると判断される場合にも、その人が特定された最初のフレームをも含むすべてにおいて、データの不鮮明化を行うことができる。すなわち、人が存在していると判定されるもののその人の特定ができないという場合には、それらのフレームは揮発性メモリ３に保持される。

他方で、フレームｉから開始する前方追跡により、顔認識の反復実行を要することなく、判定された人を直接特定することができる。

上述したように、本発明は、スマートルームや、カメラで強化された装置において使用するのが特に適している。ただし、もちろん、この基本原理は、個人に関する情報を含んだ環境監視からデータを生成することのできる任意の装置またはシステムに適用することができる。

Claims (30)

1. プライバシーを侵害することなく監視データを記録するための方法であって、
   環境を検知し、前記検知された環境に関する情報を含む監視データを生成するステップ（Ｓ１）と、
   前記検知された環境内の１人または複数人の存在を判定するために、前記監視データを処理するステップ（Ｓ３）と、
   前記存在する人（々）のうちで、自身の非公開データを記憶することに同意しなかった人（々）を特定するステップ（Ｓ４、Ｓ５）と、
   そのような人々の前記非公開データを不明瞭化することにより、プライバシー対応監視データを生成するステップ（Ｓ７）と、
   前記プライバシー対応監視データを記憶するステップ（Ｓ１３）と、を含み、
   前記監視データは、少なくとも１つの重要区域を含む、取り込まれた静止画または動画を含み、前記重要区域は、プライバシー関連情報を含む画像区域であり、
   前記環境の検知は、複数のカメラ（２．１、２．２）を使用して行われ、
   前記複数のカメラ（２．１、２．２）は、一のカメラ（２．１）によって取り込まれた画像内の重要区域の位置が、前記複数のカメラのうちの他のカメラ（２．２）によって取り込まれた画像内の位置に変換できるように較正され、
   こうした位置変換に基づいて、不明瞭化は、少なくとも前記重要区域の画素を、前記他のカメラ（２．２）によって取り込まれた少なくとも１つの画像から抽出された背景画素により置き換えることによって実行される方法。
2. 前記監視データは、音声ファイル、および、もともと入手されたセンサデータから導出されたメタデータ、のうちの少なくとも１つを更に含む、
   ことを特徴とする、請求項１に記載の方法。
3. 顔認識（Ｓ４）によって人が特定される、
   ことを特徴とする、請求項１または２に記載の方法。
4. 顔認識のために、ニューラルネットワークを使用して顔の画像を高次元ベクトルに変換し、新しい顔からの前記高次元ベクトルの距離が訓練された顔の基準ベクトルのセットと比較される（Ｓ５）ことを特徴とする、請求項３に記載の方法。
5. 個人関連データを記憶することに同意した各人に対して、顔を記述する基準ベクトルが記憶されることを特徴とする、請求項４に記載の方法。
6. 同意した人の基準ベクトルがＲＦＩＤ装置に記憶されることを特徴とする、請求項４または５に記載の方法。
7. 非公開データの記憶に不同意を表明した人に関して低次元バイナリベクトルが記憶される（Ｓ１１）ことを特徴とする、請求項４ないし６のいずれか一項に記載の方法。
8. 明白に非同意を示した人、および全く特定することができない人のデータに関して、非公開データの不明瞭化が実行されることを特徴とする、請求項７に記載の方法。
9. 非公開データの記憶に非同意を示した人に関して代表的なベクトルが生成されることを特徴とする、請求項７または８に記載の方法。
10. 前記環境の検知は、一連の画像を取り込むことを含み、
    特定された人が、一連の画像（フレームｓ、フレームｉ−１、フレームｉ、フレームｉ＋１、フレームｅ）にわたって追跡される、
    ことを特徴とする、請求項１ないし９のいずれか一項に記載の方法。
11. 追跡が、時間において後方に遡って実行されることを特徴とする、請求項１０に記載の方法。
12. プライバシー設定に応じて、特定の人を直接推定することができない第２レベルのデータが記憶されることを特徴とする、請求項１ないし１１のいずれか一項に記載の方法。
13. 全く特定することができない人に、非公開データを記憶することに明白に同意するか非同意を示すかについての確認を求める（Ｓ８）ことを特徴とする、請求項１ないし１２のいずれか一項に記載の方法。
14. 監視データが揮発性メモリ（３）に保持され、不明瞭化を含むデータ処理が前記揮発性メモリ（３）上で実行され、プライバシー対応データの記憶が不揮発性メモリ（４）上で実行される（Ｓ１３）ことを特徴とする、請求項１ないし１３のいずれか一項に記載の方法。
15. 非公開データを記憶することへの同意に関する情報が、ＲＦＩＤ装置に記憶されることを特徴とする、請求項１ないし１４のいずれか一項に記載の方法。
16. プライバシーを侵害することなく監視データを記録するためのシステムであって、
    環境を検知し、および前記検知された環境に関する情報を含む監視データを生成する複数のカメラ（２．１、２．２、２．３）と、
    前記検知された環境内の１人または複数人の存在を判定し、前記存在する人（々）のうちで、自身の非公開データを記憶することに同意しなかった人（々）を特定し、こうした人々の前記非公開データを不明瞭化することによりプライバシー対応監視データを生成する（Ｓ７）、よう構成された、前記監視データを処理するマイクロプロセッサ（５）と、
    前記プライバシー対応監視データを記憶するメモリ（４）と、
    を備え、
    前記監視データは、少なくとも１つの重要区域を含む、取り込まれた静止画または動画を含み、前記重要区域は、プライバシー関連情報を含む画像区域であり、
    前記環境の検知は、複数のカメラ（２．１、２．２）を使用して行われ、
    前記複数のカメラ（２．１、２．２）は、一のカメラ（２．１）によって取り込まれた画像内の重要区域の位置が、前記複数のカメラのうちの他のカメラ（２．２）によって取り込まれた画像内の位置に変換できるように較正され、
    こうした位置変換に基づいて、不明瞭化は、少なくとも前記重要区域の画素を、前記他のカメラ（２．２）によって取り込まれた少なくとも１つの画像から抽出された背景画素により置き換えることによって実行されるシステム。
17. 前記環境を検知するマイクロフォン（２．３）を更に含むことを特徴とする、請求項１６に記載のシステム。
18. 前記マイクロプロセッサ（５）は、顔認識により人を特定するように構成されていることを特徴とする、請求項１６または１７に記載のシステム。
19. 顔認識のために、ニューラルネットワークを使用して顔の画像を高次元ベクトルに変換し、新しい顔からの前記高次元ベクトルの距離が訓練された顔の基準ベクトルのセットと比較される（Ｓ５）ことを特徴とする、請求項１８に記載のシステム。
20. 前記マイクロプロセッサ（５）は、個人関連データを記憶することに同意した各人に対して、顔を記述する基準ベクトルを記憶する（Ｓ１０）よう構成されている、
    ことを特徴とする、請求項１９に記載のシステム。
21. 前記マイクロプロセッサ（５）は、ＲＦＩＤ装置と通信して前記ＲＦＩＤ装置上で基準ベクトルを取り出し及び記憶することができるように構成されている、
    ことを特徴とする、請求項２０に記載のシステム。
22. 前記マイクロプロセッサ（５）は、非公開データの記録に不同意を表明した人に関して低次元バイナリベクトルを生成し記憶するよう構成されている、
    ことを特徴とする、請求項１９ないし２１のいずれか一項に記載のシステム。
23. 前記マイクロプロセッサ（５）は、明白に非同意を示した人、および全く特定することができない人のデータに関して、非公開データの不明瞭化を実行するよう構成されている、
    ことを特徴とする、請求項２２に記載のシステム。
24. 前記マイクロプロセッサ（５）は、非公開データの記憶に非同意を示した人に関して代表的なベクトルを生成するよう構成されている、
    ことを特徴とする、請求項２０ないし２３のいずれか一項に記載のシステム。
25. 前記環境の検知は、一連の画像を取り込むことを含み、
    特定された人が、前記一連の画像（フレームｓ、フレームｉ−１、フレームｉ、フレームｉ＋１、フレームｅ）にわたって追跡される、
    ことを特徴とする、請求項１６ないし２４のいずれか一項に記載のシステム。
26. 前記マイクロプロセッサ（５）は、時間において後方に遡って追跡を実行するよう構成されている、
    ことを特徴とする、請求項２５に記載のシステム。
27. 前記マイクロプロセッサ（５）は、プライバシー設定に応じて、特定の人を直接推定することができない第２レベルのデータを記憶するよう構成されている、
    ことを特徴とする、請求項１６ないし２６のいずれか一項に記載のシステム。
28. 全く特定することができない人に、非公開データを記憶することに明白に同意するか非同意を示すかについて確認を求める（Ｓ８）ことを特徴とする、請求項１６ないし２７のいずれか一項に記載のシステム。
29. 前記システム（１）は、揮発性メモリ（３）を備え、
    前記マイクロプロセッサ（５）は、
    不明瞭化を含むデータ処理を前記揮発性メモリ（３）上で実行し、
    プライバシー対応データを不揮発性メモリ（４）に記憶する、
    よう構成されている、
    ことを特徴とする、請求項１６ないし２８のいずれか一項に記載のシステム。
30. 前記システム（１）は、ＲＦＩＤ装置を備え、
    非公開データを記憶することへの同意に関する情報が、ＲＦＩＤ装置上に記憶される、
    ことを特徴とする、請求項１６ないし２８のいずれか一項に記載のシステム。

Images