JP7206343B2 - アノニマス再識別の構想 - Google Patents

アノニマス再識別の構想 Download PDF

Info

Publication number
JP7206343B2
JP7206343B2 JP2021149755A JP2021149755A JP7206343B2 JP 7206343 B2 JP7206343 B2 JP 7206343B2 JP 2021149755 A JP2021149755 A JP 2021149755A JP 2021149755 A JP2021149755 A JP 2021149755A JP 7206343 B2 JP7206343 B2 JP 7206343B2
Authority
JP
Japan
Prior art keywords
identification code
media data
identification
processing circuitry
deformation parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021149755A
Other languages
English (en)
Other versions
JP2022051695A (ja
Inventor
ヤコブセン トーマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Grazper Technologies ApS
Original Assignee
Grazper Technologies ApS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Grazper Technologies ApS filed Critical Grazper Technologies ApS
Publication of JP2022051695A publication Critical patent/JP2022051695A/ja
Application granted granted Critical
Publication of JP7206343B2 publication Critical patent/JP7206343B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/065—Encryption by serially and continuously modifying data stream elements, e.g. stream cipher systems, RC4, SEAL or A5/3
    • H04L9/0656—Pseudorandom key sequence combined element-for-element with data sequence, e.g. one-time-pad [OTP] or Vernam's cipher
    • H04L9/0662—Pseudorandom key sequence combined element-for-element with data sequence, e.g. one-time-pad [OTP] or Vernam's cipher with particular pseudorandom sequence generator
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0872—Generation of secret information including derivation or calculation of cryptographic keys or passwords using geo-location information, e.g. location data, time, relative position or proximity to other entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0894—Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02—Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Power Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Storage Device Security (AREA)

Description

実施例は、アノニマス（匿名）再識別（re-identification：短略形でｒｅ-ｉｄ）の構想（コンセプト）に関し、より具体的には、非排他的ではあるが、アノニマス再識別を実施するための、及びアノニマス再識別に使用する機械学習モデルを訓練するためのシステム、装置、方法及びコンピュータプログラムに関する。
視覚的人物再識別システムは、人物の絶対識別を（通常、顔の特徴から）確立しようとする識別（身元確認）システムとは対照的に、人物の外観単独で認識又は再識別する目的に供する。例えば、システムでの再識別使用は、関係するすべての人物に対する実際識別での演繹的知識の欠如に端を発するものであるが、再識別使用は、外的に強制される個人情報保護（プライバシー）に関する方針に起因するものでもあり得る。
本開示の種々の実施例は、幾つかの再識別システムが、所与の再識別コードが人物の絶対識別にリンク付けされる場合に遡及的に濫用されるおそれがある、及び再識別コードが時間及び／又は場所にわたり同一のまま維持されるという気付きに基づく。したがって、例えば、強力に保護されたクローズドなシステムを使用して、再識別コードを安全に記憶及び送信する追加努力が必要とされ、このことは、とくに、再識別コードが再識別用の中央サーバーに送信される多くのカメラを有するシステムにおける実装の複雑さが増すことにつながるおそれがある。再識別コードは、さらに、将来の分析目的のために記憶することもできる。この場合、人物の正確な照合は、ハンガリアンアルゴリズムのような適正なグラフ理論ベースのアルゴリズムを用いて実施することができる。
他のアプローチは、通常、プライバシー問題又は匿名化の取扱いを再識別プロセス自体に取り込まない。むしろ、分散情報は匿名性ではなく、したがって、上述した追加努力は、いつでも安全にデータを取り扱う上で必要とされ、これはすなわち、データは、潜在的に（望ましくない）識別に使用されるおそれがあるからである。この制約は、しばしばシステム全体を安全かつ規約準拠状態に維持するため追加の技術的努力を行っていくことにつながる。
本開示の様々な実施例は、プライバシー・バイ・デザイン（設計）のパラダイムに基づくアノニマス再識別構想を提供することにより、これら難題に対処する。
本開示の様々な実施例は（アノニマス）再識別のための装置に関する。前記装置は、インタフェースを介してメディアデータを取得するよう構成された処理回路を備える。前記処理回路は、ハッシングアルゴリズムの使用により前記メディアデータの少なくとも一部分を表している再識別コードを生成するよう構成される。前記処理回路は、変形機能性の使用により前記再識別コードを変形して、変形済み再識別コードを取得するよう構成される。前記変形機能性は、前記再識別コードが類似性メトリックに従って前記ハッシングアルゴリズムによって生成した他の再識別コードに類似する場合、前記変形済み再識別コードが他の再識別コードの変形バージョンである他の変形済み再識別コードに類似するように、前記再識別コードを変形するよう構成されている。前記変形機能性は、時間及び／又は場所に依存する変形パラメータに基づいて前記再識別コードを変形するよう構成されている。前記処理回路は、前記変形済み再識別コードを供給するよう構成されている。前記再識別コードを変形することによって、再識別コードは、時間及び／又は場所にわたり人物を追跡するのを断念させるよう十分変更され得るとともに、同一時間フレーム又は同一場所からの再識別コードに対する再識別機能性を維持することができる。したがって、結果として得られる変形済み再識別コードは、遡及的な識別をしようとする傾向が大幅に少なくなり、したがって、該変形済み再識別コードをより少ない労力で記憶できるようになる。
様々な実施例において、前記変形パラメータは時間に依存する。前記処理回路は、所定時間スケジュールに従って前記変形パラメータを適応させるよう構成することができる。前記処理回路は、前記所定時間スケジュールに従って前記変形パラメータを適応（すなわち、変化）させることによって、経時的に人物を追跡することを不可能にすることができる。
例えば、前記処理回路は、前記変形パラメータを適応させた後に、先に使用した変形パラメータを削除するよう構成することができる。前記変形パラメータなしには、元の再識別コードは復元可能とはなり得ない。
幾つかの実施例において、変形パラメータ間の漸次的遷移を使用する。例えば、前記処理回路は、２つの時点に対して２つの変形パラメータを生成するよう構成することができる。前記処理回路は、前記２つの変形パラメータ間における線形的補間に基づいて前記変形パラメータを前記２つの時点間内に漸次的に適応させるよう構成することができる。前記漸次的適応化により、再識別コードのマッチングは、時間の摺動窓にわたってのみ可能となり得る。
様々な実施例において、前記変形パラメータは暗号秘密から抽出する。変形パラメータのための基礎として暗号秘密を使用することによって、悪意のある行為者による変形パラメータの復元を断念させることができる。さらに、暗号秘密は、装置を使用するデバイスに対して変形パラメータを配給する必要がないように、変形パラメータのシーケンスを推進するのに使用することができる。
前記変形機能性は、前記変形パラメータに基づいて前記再識別コードの線形的変形を実施するよう構成することができる。前記線形的変形は、前記再識別コードの変形に対して遂行の複雑さを少なくすることができる。
幾つかの実施形態において、前記変形機能性は、回転行列の使用により前記再識別コードを変形するよう構成される。前記回転行列は、前記変形パラメータに基づく。例えば、回転行列のエントリーは、前記変形パラメータから抽出される擬似乱数に基づくものとすることができる。回転行列に基づく変形は、変形済み再識別コード相互間再識別機能性を維持する上で必要とされる、いわゆる「同値類保存（equivalence class preserving）」特性を満足させる。
幾つかの実施例において線形的変形の代わりに、非線形的変形を選択することができる。換言すれば、前記変形機能性は、前記再識別コードの非線形的変形を実施するよう構成することができる。非線形的変形は、実装の複雑さ及び検証可能性の経費がかかるものの、より高いレベルのセキュリティをもたらすことができる。例えば、前記変形機能性は、機械学習モデルを使用して、前記非線形的変形を実施するよう構成することができる。換言すれば、前記機械学習モデルは、前記再識別コードの非線形的変形を実施するのに使用することができる。
再識別システムは、様々なタイプのメディアを使用することができる。人物の画像データは別として、再識別システムは、車両又は動物の画像にも適用することができ、又は他タイプメディアを一緒に使用することができる。例えば、メディアデータは、画像データ、ビデオデータ、音声データ、物体運動の３次元表現、及びテキストベースのメディアデータのうちの１つとすることができる。これらタイプのメディアを適当な再識別システム及びハッシングアルゴリズムで使用することができる。
本開示の様々な実施例は、人物、車両、動物等々のビデオ監視及び／又は追跡に使用することができる。例えば、前記処理回路は、カメラの画像センサから前記メディアデータを取得するよう構成することができる。この事例において、前記メディアデータは、画像データ及びビデオデータのうち一方とすることができる。例えば、装置は、画像センサと同一場所に設置することができる、又はメディアデータは、１つより多いカメラに対して再識別コードを形成かつ変形するのに使用される装置に供給することができる。例えば、本開示の様々な実施例は、画像センサ及び前記装置を備えるカメラデバイスを設ける。
上述したように、幾つかの実施例において、前記装置は、１つより多いカメラ、又はより全般的には１つより多いメディアデータ生成デバイスを使用することができる。この事例において、前記装置は、（コンピュータ）ネットワークを介してアクセスすることができ、また１つより多いメディアデータ生成デバイスに対して再識別コードを形成かつ変形するのに使用することができる。換言すれば、前記処理回路は、ネットワークを介して１つ又はそれ以上のメディアデータ生成デバイスからメディアデータを取得するよう構成することができる。
先に指摘したように、変形パラメータはデバイスの場所に依存し得る。したがって、異なる場所に設置されているメディアデータ生成デバイスとともにネットワークベースの装置を使用している場合、異なる変形パラメータを使用することができる。換言すれば、処理回路は、異なる場所に設置されている２つまたはそれ以上のメディアデータ生成デバイスからメディアデータを取得するよう構成することができる。処理回路は、異なる場所に設置されている２つまたはそれ以上のメディアデータ生成デバイスに対して異なる変形パラメータの使用により変形を実施するよう構成することができる。したがって、変形済み再識別コードによって特徴付けられる物体は、場所にわたり追跡可能とはなり得ない（変形パラメータの構成に基づいて）。
変形パラメータの時間ベースの漸次的適応化と同様に、漸次的適応化は場所相互間で漸次的に実施することもでき、例えば、隣接して設置されたカメラではあるが、遠く離れて配置されたカメラではないカメラの画像間での再識別を可能にする。例えば、前記処理回路は、異なる場所に設置されている第１、第2及び第３のメディアデータ生成デバイス（例えば、カメラ）から前記メディアデータを取得するよう構成され、前記第２メディアデータ生成デバイスは、前記第１メディアデータ生成デバイスと前記第３メディアデータ生成デバイスとの間に設置されているものとすることができる。前記処理回路は、前記第１及び第３のメディアデータ生成デバイスから取得したメディアデータに対して使用される変形パラメータ間における線形的補間に基づいて、前記第２メディアデータ生成デバイスから取得したメディアデータに対して変形パラメータを生成するよう構成することができる。その結果、前記第１及び第２のメディアデータ生成デバイスの変形済み再識別コード間、かつ前記第２及び第３のメディアデータ生成デバイスの変形済み再識別コード間ではあるが、前記第１及び第３のメディアデータ生成デバイスの変形済み再識別コード間ではない、該変形済み再識別コード間での再識別が可能となり得る。
様々な実施例において、所定インタフェースを介して、データベース、例えば、複数デバイスがアクセスできるデータベースに変形済み再識別コードを供給するよう構成される。例えば、複数装置は、生成した変形済み再識別コードをデータベースに供給するよう構成することができる。例えば、実際の再識別は、データベースにアクセスする評価デバイスによって実施することができる。
前記処理回路は、再識別コードを生成するため機械学習モデルを使用するよう構成することができる。機械学習技術の使用により再識別コードを生成するための様々なフレームワークがある。
概して、前記変形機能性は、前記再識別コードと前記他の再識別コードとの間における類似性レベルが、前記変形済み再識別コードと前記他の変形済み再識別コードとの間における類似性レベルに等しくなるよう、再識別コードを変形するよう構成することができ、前記類似性レベルは類似性メトリックに基づくものとすることができる。換言すれば、前記変形は、後続の再識別が非対称（スキュー）にならず、また同値類保存特性が満足されるよう実施することができる。
本開示の様々な実施例は、再識別に対応する方法に関する。本開示方法は、メディアデータ（例えば、インタフェースを介して）を取得するステップを備える。本開示方法は、ハッシングアルゴリズムの使用によりメディアデータの少なくとも一部分を表している再識別コードを生成するステップを備える。本開示方法は、変形済み再識別コードを得る変形機能性の使用により再識別コードを変形するステップを備える。前記変形機能性は、前記再識別コードが類似性メトリックに従って前記ハッシングアルゴリズムによって生成した他の再識別コードに類似する場合、前記変形済み再識別コードが他の再識別コードの変形バージョンである他の変形済み再識別コードに類似するように、前記再識別コードを変形する。前記変形機能性は、変形パラメータに基づいて前記再識別コードを変形する。前記変形パラメータは、時間及び／又は場所に依存する。本開示方法は、変形済み再識別コードを供給する（例えば、インタフェースを介して）ステップを備える。
幾つかの実施形態において、変形パラメータの時間ベース又は場所ベースの適応化は、例えば、閉じたシステムにおいては、なしで済ませることができる。この事例において、変形済み再識別コードを生成する後続の装置を使用できる。概して、該装置は上述した装置と１つ又はそれ以上の特徴を共有できる。該装置は、インタフェースを介してメディアデータを取得するよう構成された処理回路を備える。前記処理回路は、ハッシングアルゴリズムの使用によりメディアデータの少なくとも一部分を表している再識別コードを生成するよう構成される。前記処理回路は、変形済み再識別コードを得るため、類似性保存変形機能性の使用により再識別コードを変形するよう構成される。前記処理回路は、前記変形済み再識別コードを供給するよう構成される。
実施例は、さらに、変形済み再識別コードを形成する対応の方法を提供する。前記方法は、メディアデータ（例えば、インタフェースを介して）を取得するステップを備える。前記方法は、ハッシングアルゴリズムの使用によりメディアデータの少なくとも一部分を表している再識別コードを生成するステップを備える。前記方法は、変形済み再識別コードを得る類似性保存変形機能性の使用により前記再識別コードを変形するステップを備える。前記方法は、（例えば、インタフェースを介して）前記変形済み再識別コードを供給するステップを備える。
本開示の様々な実施例は、さらに、再識別のための２つ又はそれ以上の装置を備えるシステム、又は変形済み再識別コードを形成するための２つ又はそれ以上の装置を提供する。時間ベース又は場所ベースの変形因数は、２つ又はそれ以上の装置を扱うとき、関連性が増加する。
上述したように、変形パラメータは時間に依存し得る。例えば、２つ又はそれ以上の装置は、同一時刻に同一変形パラメータを使用するよう構成することができる。同一時刻に同一変形パラメータを使用することによって、変形済み再識別コードが同一時刻に生成されていても（その場合のみ）、２つ又はそれ以上の装置における変形済み再識別コードにわたり再識別を実施することができる。
他の幾つかの実施例において、変形パラメータは場所に依存し得る。２つ又はそれ以上の装置は、２つ又はそれ以上の場所由来のメディアデータを処理し、また２つ又はそれ以上の場所由来のメディアデータのための異なる変形パラメータを使用するよう構成することができる。したがって、異なる場所にわたる再識別は、意図的に制限され得る。
本開示の様々な実施例は、再識別のための少なくとも１つの装置又は変形済み再識別コードを形成するための少なくとも１つの装置、及び評価デバイスを備えるシステムを提供する。前記評価デバイスは、前記少なくとも１つの装置から変形済み再識別コードを取得し、また類似性メトリックに従って前記少なくとも１つの装置によって供給された変形済み再識別コードを比較するよう構成する。したがって、変形済み再識別コードに基づく再識別は、別個の実体によって実施することができる。
上述したように、幾つかの事例において、再識別コードを変形するのに非線形的変形を使用することができ、この非線形的変形は、機械学習モデルに基づくものとすることができる。以下に、このような機械学習モデルを訓練する方法及び装置を提示する。この方法は、機械学習モデルを訓練するための訓練データを取得するステップを備える。訓練データは、少なくとも複数の再識別コードを有する。前記方法は、前記訓練データの使用により前記機械学習モデルを訓練するステップを備える。前記機械学習モデルは、前記複数の再識別コードを複数の変形済み再識別コードに非線形的に変形するよう訓練し、この変形は、再識別コードが類似性メトリックに従って他の再識別コードに類似する場合、前記変形済み再識別コードが他の再識別コードの変形バージョンである他の変形済み再識別コードに類似するように行って、訓練する。
機械学習モデルを訓練するのに対応する装置は、機械学習モデルを訓練するための訓練データを取得するよう構成された処理回路を備える。前記訓練データは、少なくとも複数の再識別コードを有する。前記処理回路は、前記訓練データの使用により前記機械学習モデルを訓練するよう構成される。前記機械学習モデルは、前記複数の再識別コードを複数の変形済み再識別コードに非線形的に変形するよう訓練され、この変形は、再識別コードが類似性メトリックに従って他の再識別コードに類似する場合、前記変形済み再識別コードが他の再識別コードの変形バージョンである他の変形済み再識別コードに類似するように行って、訓練する。
幾つかの事例において、（元の）再識別コードの変形及び形成の双方を行うために、それぞれの機械学習モデルを採用することができる。双方の機械学習モデルを一緒に訓練することは有益であり得る。換言すれば、複数の識別コードは、他の機械学習モデルの使用によりメディアデータに基づいて形成することができる。処理回路は、前記機械学習モデル及び前記他の機械学習モデルをともに訓練するよう構成することができる。
本開示の実施例は、さらに、上述した方法のうち少なくとも１つを実施するためのプログラムコードを有するコンピュータプログラムを提供し、このコンピュータプログラムは、コンピュータ、プロセッサ、又はプログラム可能なハードウェアコンポーネント上で実行される。
装置及び／又は方法の幾つかの実施例を以下に単なる例として、図面につき説明する。
再識別システムの概略図を示す。 再識別装置の実施例、又は変形済み再識別コード生成装置の実施例における概略的ブロック図を示す。 再識別装置の実施例、又は変形済み再識別コード生成装置の実施例における概略的ブロック図を示す。 再識別方法の実施例、又は変形済み再識別コード生成方法の実施例におけるフローチャートを示す。 再識別方法の実施例、又は変形済み再識別コード生成方法の実施例におけるフローチャートを示す。 少なくとも１つの再識別装置、又は少なくとも１つの変形済み再識別コード生成装置を備えるシステムの実施例における概略的ブロック図を示す。 少なくとも１つの再識別装置、又は少なくとも１つの変形済み再識別コード生成装置を備えるシステムの実施例における概略的ブロック図を示す。 機械学習モデル錬成方法の実施例におけるフローチャートを示す。 機械学習モデル錬成装置の実施例におけるフローチャートを示す。
幾つかの実施例を以下に添付図面につきより詳細に説明する。しかし、他のあり得る実施例は、これら実施形態のより詳細に説明した特徴に限定されない。他の実施例としては、これら特徴の変更、並びにこれら特徴に等価なもの及び代替的なものもあり得る。さらにまた、若干の実施例を説明するのに本明細書で使用する用語は、他のあり得る実施例に制限するものではない。
図面の説明全体にわたる同一又は類似の参照符号は、同一又は類似の要素及び／又は特徴に言及し、これら要素及び／又は特徴は、変更した形態で同一又は実装されるとともに、同一又は類似の機能を提供することができる。図におけるライン、レイヤ及び／又はエリアの太さ（厚み）は分かり易くするため誇張することもあり得る。
２つの要素Ａ及びＢが「又は（or）」を使用して組み合わされるとき、個々のケースでそれ以外を明記しない限り、すべてのあり得る組合せ、すなわち、Ａのみ、Ｂのみ、並びにＡ及びＢを開示するものと理解すべきである。同一組合せに対する代替的言い回しとして、「Ａ及びＢのうち少なくとも一方（at least one of A and B）」又は「Ａ及び／又はＢ」を使用することができる。このことは、２つより多い要素の組合せにも等しく適用する。
「a」、「an」、「the」のような単数形を使用し、また単独要素のみの使用が明示的又は非明示的に必須なものとして定義されない場合、他の実施例は数個の要素を使用して同一機能を実現することもできる。機能が複数要素を用いて実現されるものとして説明される場合、他の実施例は単独要素又は単独処理実体の使用により同一機能を実現することができる。さらに、用語「含む（include）」、「含んでいる（including）」、「備える（comprise）」、「備えている（comprising）」を使用するときは、特定の特徴、整数、ステップ、オペレーション、プロセス、要素、コンポーネント及び／又はそれらのグループの存在を記述するが、１つ又はそれ以上の他の特徴、整数、ステップ、オペレーション、プロセス、要素、コンポーネント及び／又はそれらのグループの存在若しくは付加を排除しない。
本開示の種々の態様は、アノニマス再識別の方法、装置、システム及びコンピュータプログラムに関する。
以下の説明において、再識別の基本原理を展開する実施例が与えられる。この実施例において、２つの監視カメラが使用されている。これらカメラから２つの画像が撮像され、各カメラが単独の人物を見ることができる。これら画像は、異なる角度から、かつ異なる照明条件の下で（又は同一カメラではあるが、異なる時点におけることさえもある）取得されている場合があり得る。再識別システムは、実際の身元に対する知識が何らなくとも、２つの画像が同一人物を描写しているか否か、又は実際の画像が２人の異なる人物を示しているか否かを推測しようと努力する。さらにまた、再識別は、画像内における人物の検出に限定されず、例えば、再識別は動物又は物体に対して、また３次元モデル、テキスト又は音声のような他タイプのメディア（媒体）を使用して再識別を実施することができる。
図１は、変形コンポーネントのない例示的再識別システムにおける異なるコンポーネントの概略的説明図を示す。３つのカメラ１２０ａ、１２０ｂ、及び１２０ｃを使用して、２人の人物１１０ａ、１１０ｂを記録し、カメラ１２０ａ、１２０ｂが同一人物１１０ａを記録する。結果として得られる画像１３０ａ、１３０ｂ、及び１３０ｃは異なる角度から撮られる。画像に基づいて、再識別コード１４０ａ、１４０ｂ、及び１４０ｃが生成され、画像１３０ａ、１３０ｂは同一人物を描写しているため、再識別コード１４０ａ、１４０ｂは類似し、また再識別コード１４０ｃは他の再識別コード１４０ａ、１４０ｂから非類似（すなわち、異なる）のものである。換言すれば、最初の２つの画像１３０ａ、１３０ｂ（異なる角度から同一人物を特徴付ける）に対する再識別コード１４０ａ、１４０ｂは類似するとともに、最後の２つの画像１３０ｂ、１３０ｃに対するコード１４０ｂ、１４０ｃは異なる（これら画像は２人の異なる人物であるため）。
例えば、単日中の特別な場所における一意的ビジターをカウントするときの２重検出をフィルタリングするため、各終点にセンサを用いて明確に区別できる２つの場所間で移動する時間を推定する、単一場所における顧客の滞在時間を計算する、オーバーラップしないカメラを用いてワイドエリアでの人物追跡をするために、再識別が絶対識別を確立するシステムに代わって使用することができる、多用途使用の場合がある。
幾つかのシステムにおいて、再識別は、いわゆる再識別コードを生成するため、ハッシュ関数を各画像に適用することによって遂行される。生成されたハッシュコードは、対応する画像内で見える人物、動物又は物体を表し、また類似性メトリックを用いて比較することができる。
本開示の様々な実施例は、変形済み再識別コードを生成するため、再識別コードの頂部に「暗号化レイヤ」を追加することによって、再識別コードのコンセプトを拡大する。適用されるハッシュ関数は、その変形とともに、いわゆる「同値類保存（equivalence class preserving）」（ＥＣＰ）特性（プロパティ）を有し、この特性は、変形済み再識別コード間の距離が等しくない場合でも、変形済み再識別コードが由来する再識別コード間の距離に少なくとも類似するとき、アイソメトリー特性又は「（ほぼ）距離保存（(almost) distance-preserving）」特性とすることもできる。ＥＣＰ特性は、局所性感知ハッシング（ＬＳＨ：locality-sensitive hashing）の特性に類似し、またこの特性を以下に説明する。
数学的用語、ｆをハッシュ関数、ｅをＥＣＰ保存変形関数（暗号化関数）とし、またｈ１＝ｅ（ｆ（Ｉ１））及びｈ２＝ｅ（ｆ（Ｉ２））をそれぞれ２つの画像Ｉ１及びＩ２の対応する再識別コードとする。ＥＣＰ特性は、２つの変形済み再識別コードが何らかの適当な類似性メトリックでほぼ類似する、すなわち、画像が異なる角度で撮像される場合であっても、画像Ｉ１における人物が画像Ｉ２における人物と同一である場合、及び同一である場合にのみ、ｈ１≒ｈ２であることを保証する。したがって、２つの画像におけるハッシュ関数を評価した後、２つの再識別コード間の距離が小さい場合、人物は同一であると結論付けることができる。他方で、距離が大きい場合、画像が異なる人物を含んでいる可能性が高い。
種々の方法は、このような視覚的再識別用のシステムを実現するのに使用することができる。多数のシステムは手作りの視覚的特徴（性別、年齢、顔の特徴、衣服の色、ヘアスタイル、身体タイプ等々のような）を使用するが、できる限り最高の精度を得るために、多くのアプローチは、三重項損失（triplet loss）に基づくディープラーニング（深層学習）をベースとする技術に依存する。しかし、再識別コードを計算するのに使用される的確な方法は、このコンセプトを説明するのに重要ではない。
幾つかのシステムにおいて、特定人物用のｒｅ-ｉｄコード（再識別コードの短略形）は、個別人物の潜在的絶対識別に至る、異なる日付に対して同一であり得る。このことは、従来の再識別コードが長い期間にわたり一定であるという事実に起因し得る。例えば、或る人物が特定時刻ｔ１に１台の特定カメラで撮られたその人の画像を有する場合、相当な時間経過後のｔ２にその人を識別することができ、このことは、潜在的に、例えば、１つの画像がその人たちのパスポート又は運転免許証から得られた場合にその人たちの身元に関する知識に至ることができる。このようにして再識別が適用される場合、期せずして人物の非匿名識別を可能にするおそれがある。多くのシステムにおいて、この識別特性は、データ漏洩に至るおそれがあるため、望ましくないものである。例えば、必要な再識別能力を喪失しることなく、再識別コードを暗号化することによってこの欠点を軽減するため、正攻法の暗号化方法を使用することはできない。上述したアプローチに頼る個別デバイスは、プライバシー・バイ・デザインを提案しないため、このような分散型再識別システムは、例えば、安全デバイスを使用する又は安全ネットワーク上で通信することによって、すべての通信を秘密に維持し、また再識別値を安全に記憶することがあり得る。多くのデバイスを通信状態にする分散型多重カメラシステムにおいて、このことは、システム設計全体に重荷を付加することになり得る。さらに、この問題は、従来型暗号化方法では軽減することはできず、これはすなわち、すべての既存暗号化方法が暗号アバランシェ効果に起因して、「同値類保存（equivalence class preserving）」特性を欠如し、これにより非暗号化データにおける僅かな変化も暗号化データにおける大きな変化に導き、したがって、再識別能力を維持できないからである。換言すれば、幾つかの再識別方法は、プライバシー・バイ・デザイン（設計）をもたらすことができない。
本開示の種々の実施例は異なるアプローチをとり、このアプローチにおいて、複数場所又は長い期間にわたる再識別はデザイン（設計）によって制約される。実施例は、アノニマス再識別方法を提供し、またしたがって、プライバシー・バイ・デザインを可能にする（周期的又は局所的、効率的かつ不可逆的に再識別ハッシュ関数を変化させることによって）。このことは、プライバシー規制に違反することなく、再識別コードの送信及び記憶の双方を安全でないものにすることができ、これはすなわち、変形済みコードがプライバシーに関する保証をすることなく任意な記憶システム内に記憶される場合であっても、プライバシーを保護することができるからである。提案されたコンセプトは、既存の（プライバシーを高めることがない、非匿名の、共通に使用される）再識別ハッシュ関数を変形機能性により、例えば、追加的に専用化した暗号プリミティブを使用して補強することに基づく。秘密に対する従来型の暗号化スキームとは対照的に、提案したコンセプトは、再識別コードを暗号化した後であっても、再識別を実施する能力を排除しない（ＥＣＰ特性を維持することによって）。幾つかの他のシステムとは対照的に、再識別コードのマッチングは、安全でないサーバー上で、又は信頼性がない第三者によってさえも実施することができる。さらに、変形済み再識別コードは、プライバシーを犠牲にすることなく、信頼性がないデータベースに無制限に記憶させることができる。提案したコンセプトは、再識別のコンセプトを改善することができ、これはすなわち、新たな付加的プリミティブを頂部に追加することで、プライバシー・バイ・デザインにより既存の再識別アルゴリズムを向上させることができるからである。提案したコンセプトは、（動的）暗号プリミティブ（すなわち、変形関数）を有する既存の又は新規な再識別システムを、ＥＣＰ特性（再識別システムの頂部における）に組み合わせることができる。
以下において、再識別コードを計算し、及びこれに続いて暗号化するシステムをカメラに組み込むと仮定する。このことは、提案したコンセプトを機能させる上で必須ではないが、使用事例を説明するのに有用である。方法は内蔵又はエッジデバイス上で有用であるが、以下に提示する装置又は評価デバイスをクラウドに実装するクラウドベース実装でも機能することができる。
図２ａ及び２ｂは、再識別装置２０、又は変形済み再識別コードを生成する装置２０の実施例の概略的ブロック図を示す。装置は、インタフェース２２及び処理回路２４を備える。随意的に、装置は、１つ又はそれ以上の記憶デバイス２６を備える。処理回路は、インタフェースに、また随意的な１つ又はそれ以上の記憶デバイスに接続する。概して、装置の機能性は処理回路によって、例えば、インタフェースと関連して（情報交換のため）、及び／又は１つ又はそれ以上の記憶デバイスと関連して（情報記憶のため）付与される。
処理回路２４は、インタフェース２２を介してメディアデータを取得するよう構成される。処理回路は、ハッシングアルゴリズムを用いてメディアデータの少なくとも一部分を表している再識別コードを生成するよう構成される。処理回路は、変形済み再識別コードを得るよう、変形機能性の使用により再識別コードを変形するよう構成される。この変形機能性は、再識別コードが、類似性メトリックに従ってハッシングアルゴリズムにより生成された他の再識別コードに類似する場合、変形済み再識別コードがこの他の再識別コードの変形バージョンである他の変形済み再識別コードに類似するよう該再識別コードを変形するよう構成される。変形機能性は、変形パラメータに基づいて再識別コードを変形するよう構成される。例えば、この変形パラメータは時間及び／又は場所に依存する。処理回路は、変形済み再識別コードを供給する（例えば、インタフェース２２を介して）よう構成される。図２ｂは、さらに、装置２２を備えるカメラデバイス２００を示す。例えば、カメラデバイス２００は、さらに、メディアデータ、例えば画像データを生成する画像センサを備えることができる。
図２ｃ及び２ｄは、対応する再識別方法、又は変形済み再識別コードを生成する方法のフローチャートを示す。概して、この方法は、図２ａ及び／又は２ｂの装置における機能性をカバーすることができる。したがって、この装置に関連して導入される特徴は、対応方法にも同様に適用することができる（その逆もあり得る）。この方法は、メディアデータを（例えば、インタフェースを介して）取得するステップ２１０を備え、この取得は、例えば、画像をセンサから取得することによって行う。この方法は、ハッシングアルゴリズムを用いてメディアデータの少なくとも一部分を表している再識別コードを形成（すなわち、計算）するステップ２２０を備える。この方法は、変形機能性の使用により変形済み再識別コードを得るよう再識別コードを変形（すなわち、暗号化）するステップ２３０を備える。この変形機能性は、再識別コードが、類似性メトリックに従ってハッシングアルゴリズムにより生成された他の再識別コードに類似する場合、変形済み再識別コードがこの他の再識別コードの変形バージョンである他の変形済み再識別コードに類似するよう該再識別コードを変形する。変形機能性は、変形パラメータに基づいて再識別コードを変形するように構成される。例えば、この変形パラメータは時間及び／又は場所に依存する。この方法は、変形済み再識別コードを供給するステップ２４０を備える。
以下の説明は、図２ａ及び／又は２ｂの装置２０又はカメラデバイス２００、並びに図２ｃ及び／又は２ｄの対応する方法の双方に関する。
本開示の様々な態様は、再識別のための装置、方法及びコンピュータプログラムすなわち、再識別システムに使用する再識別コードを生成する装置に関する。他の様々なシステムとは対照的に、本発明装置、方法及びコンピュータプログラムは、再識別の全体的コンセプト実現に際して、変形レイヤを追加して構築するものであり、この変形レイヤは、再識別能力を保持するとともに、時間経過にわたり又は異なる場所にわたり、遡及的に人物又は物体を追跡する能力を阻止する。例えば、再識別コードを変形することによって、再識別コードを変形機能性によって暗号化することができる。したがって、本開示の様々な態様は、アノニマス再識別のための装置、方法及びコンピュータプログラムに関する。
提案したコンセプトは、既存再識別機能の頂部に、ＥＣＰ特性を維持する動的変化暗号化レイヤ（すなわち、変形関数）を追加することによってこの問題に対処する。言い換えると、この提案したコンセプトは、その外側では目的達成するよう機能しない組込み時間インターバル（又は場所制約）を有する再識別コードの構成を可能にする。このアプローチは、結果としてアノニマス再識別及びプライバシー・バイ・デザインをもたらし、これにより再識別値を安全でないデバイスにも又は安全でないネットワーク上ででも転送することができ、また再識別コードのマッチングプロセスは、後の時点で信頼性のないサーバーによって又は第三者によってでさえも行うことができる。概して、提案したコンセプトは、（動的に）再識別スキームを効率的に変化させる、例えば、日付毎に、又は場所にわたって、変化させることに基づき、これにより、再識別コードは、異なる日付及び／又は場所間で一致しないとともに、各個別の日付中又は各場所内での一致を保存する。
概して、アノニマス再識別は、少なくとも２つの新規な態様、すなわち、同値類保存特性を保存する再識別コードの変形、及び変形の時間又は場所依存性、を用いて遂行される。第１態様は、同一（又は類似）の変形パラメータに由来する変形済み再識別コード間でのみ再識別機能性を保持することを目指し、また第２態様は、異なる変形パラメータが使用されている環境を特定することを目指す。例えば、異なる変形パラメータを異なる時間に対して使用している場合、異なる時間にわたる人物の追跡を阻止することができる。同様に、異なる変形パラメータを異なる場所に対して使用している場合、異なる場所にわたる人物の追跡を阻止することができる。結果として生ずる変形済み再識別コードは、潜在的に安全でないシステム上に記憶及び／又は送信することができ、必要とされる遂行努力を軽減する。
再識別コードはメディアデータに基づいて生成される。概して、メディアデータは、視覚、音声、又は音声-視覚によるメディアデータとすることができる。例えば、メディアデータは、画像データ、ビデオデータ、音声データ、物体運動の３次元表現（すなわち、３次元身体運動）、及びテキストベースのメディアデータ／入力のうちの１つとすることができる。メディアデータは、したがって、様々なタイプのメディアデータ生成デバイス、例えば、カメラ若しくはカメラセンサ、マイクロフォン、３次元スキャナ、又はテキスト取得システムに由来するものとすることができる。
処理回路は、局所的又は（コンピュータネットワーク）を介して、１つ又はそれ以上のメディアデータ生成デバイスからメディアデータを取得するよう構成することができる。したがって、インタフェース２２は、デバイス内通信のためのローカルインタフェースとする若しくは有するものとすることができ、又はインタフェース２２は、インターネット若しくはローカルネットワークのようなコンピュータネットワークを介する通信のためのインタフェースとする若しくは有するものとすることができる。例えば、幾つかのケースにおいて、装置は、１つより多いメディアデータ生成デバイスであって、これらメディアデータ生成デバイスが異なる場所に設置されている、該メディアデータ生成デバイスからのメディアデータに対して再識別コードを生成するのに使用できる。したがって、メディアデータは、異なる場所に設置されている２つ若しくはそれ以上のメディアデータ生成デバイスから取得する、又はそれに由来するものとすることができる。
例えば、上述してきたように、装置は、カメラセンサ２８を有するカメラデバイス２００の一部とすることができる。この場合、メディアデータ生成デバイスはカメラデバイス、又はカメラデバイスのカメラセンサ２８とすることができ、処理回路はカメラセンサ２８からメディアデータを取得することができる。しかし、幾つかのケースにおいて、装置はカメラデバイスの外部にあるものとし、処理回路は装置外部のカメラからメディアデータを取得するよう構成される。例えば、装置は、ネットワークデバイス、エッジデバイス（すなわち、ネットワークデバイスがメディアデータ生成デバイスの近傍に設置されている）、又はクラウドサーバー内に実装することができる。双方のケースにおいて、汎用用語として、処理回路は、メディアデータが画像データ及びビデオデータのうち一方であるカメラの画像センサからのメディアデータを取得するよう構成される。
メディアデータのタイプに基づいて、再識別コードを生成するよう適正なハッシングアルゴリズムを選択することができる。処理回路は、入手したメディアデータに対して好適なハッシングアルゴリズムを用いて、メディアデータの少なくとも一部分を表している再識別コードを生成するよう構成される。提案したシステムは人物再識別の域を越えて他にも使用することができる。例えば、提案したコンセプトは、自転車運転者、自動車、手荷物、及び他の物体又は動物に適用することができる。例えば、イェ氏ら（Ye et al）の文献（“Deep Learning for Person Re-identification: A Survey and Outlook”, (2020)）は、ディープラーニング（深層学習）に基づく再識別用ハッシングアルゴリズムの例を提示している。したがって、処理回路は、機械学習モデル、例えばディープラーニング・ネットワークを使用して、再識別コードを生成するよう構成される。従来使用されてきた再識別システムを使用する代わりに、より新しい技術も採用することもできる、又は再識別システムを（動的）暗号プリミティブで機能するよう改善することができる。
様々なタイプの再識別コードがある。以下に所与の実施例は、ハッシュ値をベースとする再識別コードを想定する。実施例は、再識別コードが１２８個の値を有するベクトルである実施例を仮定する。しかし、変形機能性の適正適応により、他タイプの再識別コードも使用することができる。
再識別コードはメディアデータの少なくとも一部分を表す。例えば、再識別コードはメディアデータが提示する物体又は人物を表すことができる。したがって、変形済み再識別コードは、メディアデータが提示する物体又は人物を表すことができる。
極めて労力を要するプロセスである基本再識別システム全体を定期的に再構築する必要なしに上述したプロセスを実施するため、追加レイヤ、すなわち、変形関数を既存再識別システムの頂部に付加する。したがって、処理回路は、変形済み再識別コードを得るため、変形機能性の使用により再識別コード（既存又は新規の再識別システム／アルゴリズムを使用して生成される）を変形するよう構成される。変形機能性の付加レイヤは、例えば、ＥＣＰ特性を有するキー（鍵）依存動的暗号プリミティブとすることができ、これにより、再識別コードが暗号化されているにも係わらず、再識別特性を維持することができる（上述したように、再識別特性を喪失する標準的暗号化スキームとは対照的である）。
数学的用語において、ｆは、再識別コードを生成するのに使用される既存（従来型）再識別システムを示す。所定スケジュールに従って、例えば、毎日、又は場所毎に、新しい秘密キーκをすべてのデバイスに配給する（例えば、従来型公開キーインフラストラクチャを用いて）。例えば、秘密キーκは変形パラメータとすることができる、又はκは変形パラメータが抽出される暗号秘密とすることができる。ｅκは、暗号化して安全なＥＣＰ特性を有する全単射変形関数とし、これは共有秘密キーκに依存する。次に、提案され、また画像Ｉに対して演算する最終アノニマス動的再識別関数ｃκは、動的暗号レイヤｅκ及び既存再識別関数ｆの組合せによって与えられる、すなわち、ｃκ（Ｉ）＝ ｅκ（ｆ(Ｉ)）である。
以下に、秘密キーは毎日変化する、すなわち、変形関数は時間に基づくものと仮定する。κｔ－１は昨日からの秘密キーを示し、またκｔは本日からの秘密キーを示すものとする。毎日、すべてのデバイスは、昨日からのキーκｔ－１及びこれに対応する暗号関数は安全に破壊される（例えば、関連メモリ及び記憶領域を上書きすることによって）。キーは毎日変化するため、昨日からの再識別コードを本日からの再識別コードと比較することは不可能となり得る。換言すれば、以下のアノニマス再識別特性が満足される。すなわち、
Figure 0007206343000001
 しかし、
Figure 0007206343000002
換言すれば、類似保存又は同値類保存の特性が満足される。したがって、変形機能性は、再識別コードが類似性メトリックに従うハッシングアルゴリズムによって生成された他の再識別コードに類似する場合、変形済み再識別コードが他の再識別コードの変形バージョンである他の変形済み再識別コードに類似するように、該再識別コードを変形する構成とされる。他方で、再識別コードが類似性メトリックに従うハッシングアルゴリズムによって生成された他の再識別コードに非類似である場合、変形済み再識別コードは、他の変形済み再識別コードとは非類似であるべき、又はむしろ非類似である。より大まかに言えば、変形機能性は、類似性レベルは類似性メトリックに基づくものとして、再識別コードと他の再識別コードとの間における類似性レベルが、変形済み再識別コードと他の変形済み再識別コードとの間における類似性レベルに等しくなるよう、再識別コードを変形するよう構成することができる。例えば、類似性レベルが高い場合、２つの再識別コード及び２つの変形済み再識別コードはそれぞれ類似するものとすることができ、また類似性レベルが低い場合、２つの再識別コード及び２つの変形済み再識別コードはそれぞれ非類似とすることができる。
様々な実施例において、変形関数は再識別コードを線形的に変形するのに使用することができる。換言すれば、変形機能性は、変形パラメータに基づく再識別コードの線形的変形を実施するよう構成することができる。線形的変形の特別な遂行の１つは、回転行列に基づく変形である。換言すれば、変形機能性は、変形パラメータに基づく回転行列を使用して再識別コードを変形するよう構成することができる。概して、回転行列は、所与の座標空間内でベクトルを回転行列で乗算することによって回転（例えば、ベクトルの）を実施するのに使用される行列である。
以下に、ＥＣＰ特性を有する動的暗号化関数の特別な構造を紹介する。以下において分かり易くするために、原初再識別コードｈはそれぞれが－１から＋１までの１２８個のフロート（浮動小数点）値のベクトルであると仮定することができる。概して、フロートベースの成分を有する１２８次元ベクトルの使用という仮定は、任意な次元及び他の数値ドメイン、例えば、整数又はブール値に変更することができる。変形機能性のために使用される暗号化関数としてｅκを選択するとき、この関数は、ｅκ（ｈ）＝ Ｒκ× ｈ によって与えられ、ここでＲκは、キーκに不可逆的に依存する１２８・１２８個のランダム回転行列であり、演算×は行列積を示す。回転は距離保存であるため、結果として得られる関数は再識別プロセスの機能を維持するのに必要なＥＣＰ特性を依然として有する。Ｒκは、κを使用して安全な乱数発生器を初期化することによって暗号的に安全なように生成することができ、これに引き続き、ランダムな１２８Ｄの回転行列をサンプリングする（例えば、暗号的に安全な乱数発生器を使用して、正規分布から個別行列成分をサンプリングし、またこれに引き続き、グラム・シュミット直交化法を実施することによって行列を正規化することによって）。換言すれば、回転行列の登録（エントリー）は、変形パラメータから抽出する、例えば、変形パラメータの暗号秘密から抽出する擬似乱数に基づくことができる。次に、生成された行列の擬似乱数はグラム・シュミット直交化法の使用により正規化することができる。例えば、処理回路は、擬似乱数を生成し、また結果として得られる行列を正規化することによって、変形パラメータに基づく回転行列を生成するよう構成することができる。暗号化演算子行列に多くの自由パラメータがあるため、また暗号的に強力な構築プロセスであるため、Ｒκのような線形的演算子であっても、これを使用することは最もあり得る攻撃シナリオで十分なセキュリティをもたらすことができる。
代案的に、変形機能性は、再識別コードの非線形的変形を実施するよう構成することができる。例えば、行列乗算の代わりに、より複雑なハッシュ関数を採用することができる。幾つかの実施形態において、より複雑で、より非線形的な関数を生ずる（ただし、依然として同値類保存特性を維持して）ようディープラーニングを採用することができる。換言すれば、変形機能性は、機械学習モデルの使用により非線形的変形を実施するよう構成することができる。例えば、機械学習モデルは、入力として再識別コード及び変形パラメータを取り込み、また出力側に変形済み再識別コードを供給できる。好適な機械学習モデルの訓練（トレーニング）を、図４ａ及び４ｂにつきより詳細に説明する。さらにまた、複合ディープネットワーク（動的暗号化スキームと組み合わせた根底の再識別システム）の徹底した訓練は、より高い堅牢性及び精度を可能にするのに使用することができる。
概して、長時間及び／又は場所にわたる人物又は物体の追跡を挫折させるため、変形パラメータ及びひいては変形自体は、時間及び／又は場所に依存する。概して、装置が再識別コードのほぼ瞬間的に生成及び変形するのに使用されるとき、時間は、再識別コードの変形が実施される時間であって、メディアデータが取得される時間でもあり得る、該時間に言及することができる。幾つかの事例において、２つの瞬間的時間を分断することができる、例えば、先に生成されたメディアデータに対して変形を遡及的に適用することができる。他方、場所は、メディアが由来する場所（例えば、異なる場所に設置された異なるメディアデータ生成デバイスからのメディアデータに対して変形済み再識別コードを形成するのに１つの装置が使用されるシステムにおける場所）に関連し得る、又は例えば、異なるメディアデータ生成デバイスのメディアデータを同一変形パラメータの使用により処理されるものである場合、装置自体の場所、又はメディアデータ生成デバイスと一緒に設置されている装置の場所に関連し得る。
以下に、時間に依存する変形パラメータの実施形態を紹介し、次に場所に依存する変形パラメータを紹介する。
本開示の様々な実施例は、日にちに跨る再識別、及びひいては絶対識別の危険を回避するため時間とともに変化する変形パラメータを使用することができる。したがって、タイムスケジュールに基づいて適応させることができ、これにより時間とともに新たな又は適応した変形パラメータを適用できるようにする。換言すれば、処理回路は、所定タイムスケジュールに従うよう変形パラメータを適応させるよう構成することができる。例えば、処理回路は、所望レベルのプライバシーに基づいて、毎日、又は半日毎、又は週毎に変形パラメータを適応させるよう構成することができる。例えば、処理回路は、所定タイムスケジュールに従って新たな変形パラメータを生成又は選択するよう構成することができる。変形パラメータを適応させた後、変形済み再識別コードの遡及的再生を阻止するため、先に使用したパラメータを放棄する、又はむしろ削除することができる。換言すれば、処理回路は、変形パラメータを適応させた後、先に使用した変形パラメータを削除するよう構成することができる。例えば、変形パラメータ又は根底にある暗号化キーが周期的に破壊される場合、デバイスが何らかの時点で情報漏洩にさらされることが起こった事態であっても、先行する日にちからの元再識別コードを取得することは不可能となり得る。したがって、結果として得られる変形済み再識別コードは、誰かの身元を危険にさらすことなく、誰とでも自由に共有することができ、これによりアノニマス再識別コードを供給することができる。
幾つかの実施例において、増分／差分キー変化を変形関数に採用することができる。例えば、変形関数が時間に依存する場合、例えば、午前零時から午前零時までの現行固定窓の代わりに、匿名化の変動する一時的な窓を生ずる結果となる。換言すれば、処理回路は、２つの時点（例えば、２日それぞれにおける午前零時）に対して２つの変形パラメータを生成するよう構成することができる。これら２つの変形パラメータは、２つの変形パラメータにわたり人物又は物体を追跡するのはできなくなるほど十分異なるものであり得る。処理回路は、２つの時点間での２つの変形パラメータ間における線形的補間に基づいて、徐々に変形パラメータを適応させるよう構成することができる。換言すれば、２つの時点間において再識別コードを変形するのに使用される変形パラメータは、２つの変形パラメータにおける第１のものから２つの変形パラメータにおける第２のものへと、線形的補間に基づいて徐々に適応させることができる。回転行列を例にとると、それぞれが複数の要素を有する第１及び第２の回転行列を生成することができる。線形的補間を使用して、第３回転行列を生成することができ、この第３回転行列の各要素は、第１及び第２の行列におけるそれぞれの要素間の線形的補間に基づく。これに引き続き、第３行列を正規化することができる。
同様に、増分／差分キー変化を地域の様々な場所にわたって使用することができる。地域内で場所が離れていれば離れるほど、結果として生ずる再識別コードは類似しなくなる。例えば、上述したように、処理回路は、異なる場所に設置されている２つ又はそれ以上のメディアデータ生成デバイスからメディアデータを取得するよう構成することができる。概して、処理回路は、例えば、２つの場所に由来するメディアデータ用に形成される変形済み再識別コード間で再識別をできなくなるようにするため、異なる場所に設置されている２つまたはそれ以上のメディアデータ生成デバイスに対して、異なる変形パラメータを使用して変形を実施するよう構成することができる。しかし、第３メディアデータ生成デバイスを２つのメディアデータ生成デバイス間に設置することができる。この第３メディアデータ生成デバイス用の変形パラメータは、最初の２つの場所に由来するメディアデータのために生成される変形済み再識別コードに対して再識別が可能となるよう、選択することができる。換言すれば、処理回路は、異なる場所に設置されている第１、第２及び第３のメディアデータ生成デバイスからメディアデータを取得するよう構成することができ、第２メディアデータ生成デバイスは、第１メディアデータ生成デバイスと第３メディアデータ生成デバイスとの間に設置されるものとする。時間とともに徐々に適応化させる実施例と同様に、第１及び第３のメディアデータ生成デバイスから取得したメディアデータに対して使用される変形パラメータ間における線形的補間に基づいて、第２メディアデータ生成デバイスから取得したメディアデータに対して変形パラメータを生成するよう構成することができる。この結果、第１及び第２のメディアデータ生成デバイスに由来するメディアデータに基づいて生成される変形済み再識別コード間、かつ第２及び第３のメディアデータ生成デバイスに由来するメディアデータに基づいて生成される変形済み再識別コード間であって、ただし第１及び第３のメディアデータ生成デバイスに由来するメディアデータに基づいて生成される変形済み再識別コード間ではない、該変形済み再識別コード間において再識別が可能となり得る。様々な実施例において、より細かい粒度のシステムをも使用することができ、この場合、メディアデータ生成デバイスのグループにおけるどちらかのサイドに位置付けされる２つの任意な場所に対して２つの変形パラメータが形成され、また２つの変形パラメータ間における場所ベースの線形的補間に基づいてメディアデータ生成デバイスの変形パラメータが形成される。
概して、適当な変形パラメータを得るには様々な選択肢がある。例えば、変形パラメータは、オンデバイスで、すなわち、同一の変形パラメータ（例えば、時間に依存する）を生成するよう構成されている装置間で共通され得る暗号秘密に基づいて処理回路によって、生成することができる。換言すれば、変形パラメータは暗号秘密から抽出することができる。したがって、処理回路は、変形パラメータ、例えば、暗号秘密に基づいて、かつ時間及び／又は場所に基づいて、変形機能性によって採用されている機械学習モデルのための回転行列、又は入力パラメータを生成するよう構成することができる。暗号秘密は、時間及び／又は場所とともに使用して、変形パラメータ用の擬似乱数を生成するためのシード（種）を生成し得る。例えば、単独の共有秘密から新たなキー（すなわち、変形パラメータ）又は暗号化方法を構築するために、暗号的に強力な方法を使用することができる。高度なセキュリティのために不可逆なキーの生成を使用することができる。例えば、幾つかの実施例において、不可逆的で共有された動的変形パラメータ（すなわち、キー値）を、持続的ネットワーク接続なしに使用することができる。初期秘密シードを共有した後、以下の方法、すなわち、κｔ ＝ ＡＥＳ（κｔ－１, κｔ－１）を適用でき、ここで、演算ＡＥＳ（ｘ, κ）は、先進暗号化標準（Advanced Encryption Standard）をテキストｘにキー（すなわち、暗号秘密）κを用いて、すなわち、本日キーκｔを得るために適用し、昨日キーκｔ－１をそれ自体で暗号化し、またそれに引き続き破壊することができる。
最後に、処理回路は、例えば、インタフェース２２を介して変形済み再識別コードを供給するよう構成される。概して、処理回路は、例えば、１つ又はそれ以上の記憶デバイスを用いて、又はデータベース、例えば、所定インタフェースを介して複数デバイスがアクセス可能な、並びに／又は装置及び／若しくはカメラデバイスの外部にある、データベースを用いて、再識別コードを記憶することによって設けることができる。換言すれば、処理回路は、変形済み再識別コードをデータベースに供給するよう構成することができる。例えば、変形済み再識別コードは、そのデータベースにアクセスした評価デバイスによって処理することができる。
提案したコンセプトはコンピューター・ビジョン及び暗号化法の組合せを提供する。とくに、分散型で内蔵したカメラベースのシステム上における安全なビデオ解析を用いて、プライバシー向上視覚的人物再識別を提供することができる。
インタフェース２２は、特定コードに従うデジタル（ビット）値であり得る情報を、モジュール内で、モジュール間で、若しくは異なる実体のモジュール間で受信及び／又は送信するための１つ又はそれ以上の入力及び／又は出力に対応することができる。例えば、インタフェース２２は、情報を受信及び／又は送信するよう構成されたインタフェース回路を有することができる。例えば、インタフェース２２は、カメラデバイス２００内で通信するのに好適なものとすることができる。付加的又は代案的に、インタフェース２２は、コンピュータネットワークを介して、例えば、無線又は有線コンピュータネットワークを介して通信するのに好適なものとすることができる。
処理回路２４は、１つ又はそれ以上の処理ユニット、１つ又はそれ以上の処理デバイス、プロセッサのような任意な処理手段、コンピュータ、又は適応的に適合したソフトウェアで動作可能なプログラム可能ハードウェアコンポーネントを用いて実現することができる。換言すれば、処理回路２４の上述した機能は、ソフトウェアで実現することもでき、このソフトウェアは、１つ又はそれ以上のプログラム可能ハードウェアコンポーネント上で実行される。このようなハードウェアコンポーネントは、中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、マイクロコントローラ、等々のような汎用プロセッサを有することができる。
少なくとも幾つかの実施形態において、１つ又はそれ以上の記憶デバイス２６は、磁気的又は光学的記憶媒体のようなコンピュータ可読記憶媒体グループのうち少なくとも１つの要素、例えば、ハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、プログラマブル・リード・オンリー・メモリ（ＰＲＯＭ）、消去可能プログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭ）、電子的消去可能プログラマブル・リード・オンリー・メモリ（ＥＥＰＲＯＭ）、又はネットワーク記憶装置を有することができる。
図２ａ～２ｄに関連して紹介した、カメラデバイスの、方法、装置及びコンピュータプログラムの、より細部及び態様を、提案したコンセプト又は上述した若しくは以下の（例えば、図１ａ及び図３ａ～４ｂの）１つ若しくはそれ以上の実施例につき、説明する。このカメラデバイス並びに方法、装置及びコンピュータプログラムは、提案したコンセプトの１つ若しくはそれ以上の態様、又は先に説明した若しくは以下に説明する１つ若しくはそれ以上の実施例に対応する１つ若しくはそれ以上の随意的な追加特徴を有することができる。
図３ａ及び３ｂは、再識別のための少なくとも１つの装置２０、又は変形済み再識別コードを生成するための少なくとも１つの装置２０を備えるシステム３００、３１０の実施例における概略的ブロック図を示す。再識別コードを生成し、また変形する装置を図２ａ～２ｄにつき紹介するとともに、図３ａ～３ｂは、この装置を使用することができる背景を示す。概して、システムは、例えば、カメラデバイス２００の一部として、単一の装置２０を備えることができる。図３ａのシステム３００は、図示のように、それぞれが装置２０を有する２台のカメラデバイス２００（より一般的には、２台のメディアデータ生成デバイス２００）を備える。図３ｂのシステム３１０は、それぞれが装置２０を有する複数のカメラデバイス２００を備える。換言すれば、システム３００、３１０は、２つまたはそれ以上の装置２０を備える。図３ｂに示すように、装置２０は、１つ又はそれ以上の随意的コンポーネント、例えば、ランダム・アクセス・メモリ（ＲＡＭ）３１２、又は１つ若しくはそれ以上の随意的コンポーネント３１４を有することができる。図３ｂに示す装置２０は、図２ａ及び２ｂにつき紹介したインタフェース２２の一部であり得るネットワークインタフェース２２ａを有する。
装置２０、又は装置２０を有するカメラデバイスに加えて、システムは、随意的に評価デバイスを有することができ、この評価デバイスは、変形済み再識別コードの使用で再識別を実施するのに用いることができる。換言すれば、図３ａ及び３ｂに示すシステムは、装置２０に接続されるデータベース（例えば、図２ａ～２ｄにつき紹介したデータベース）を有する随意的評価デバイス３０を備える。図３ｂに示すように、評価デバイス３０は、データベース３２と通信することができる再識別コードマッチングサーバー３０として実装することができる。この評価デバイスは、少なくとも１つの装置２０から変形済み再識別コードを取得し、また類似性メトリックに従って少なくとも１つの装置によって供給される変形済み再識別コードを比較するよう構成することができる。例えば、評価デバイスは、データベース３２を介して少なくとも１つの装置２０から変形済み再識別コードを取得するよう構成することができる。概して、評価デバイスは、装置の変形済み再識別コードに基づいて再識別を実施するよう構成することができる。概して、評価デバイス３０は装置２０の外部にあるものとすることができる。しかし、幾つかの実施例においては、装置のうち１つが評価デバイス３０を有することができる。図３ｂに示すように、評価デバイス３０は、エンドユーザーに対して可視化物３４を与えることができる。例えば、この可視化物は、評価デバイス３０が実施する再識別の結果を示すことができる。
視覚化できる様々なタイプの結果がある。例えば、評価デバイスは、各終点におけるセンサの画像データに基づいて生成される変形済み再識別コードを使用して、２つの明確に異なる場所間での人物、動物又は乗り物の移動時間を推定するよう構成することができる。したがって、可視化物は、異なる人物、動物若しくは乗り物の移動における推定時間の視覚的表示、及び／又はそれらの統計的評価を示すことができる。
代案的又は付加的に、評価デバイスは、変形済み再識別コードに基づいて単一日中の特定場所における一意的ビジターをカウントするとき、重複検出をフィルタリングするよう構成することができる。可視化物は、その特定場所におけるフィルタリング済み一意的ビジターのカウントの視覚的表示、及び／又はその統計学的評価、例えば、経時的ヒストグラムを示すことができる。
幾つかの実施例において、評価デバイスは、変形済み再識別コードに基づいて単一場所における顧客の滞在時間を計算するよう構成することができる。したがって、可視化物は、その場所における顧客の滞在時間の視覚的表示、及び／又はその統計学的評価、例えば、経時的ヒストグラムを示すことができる。
評価デバイスは、変形済み再識別コードに基づいて、オーバーラップしないカメラを用いて広域にいる人々の追跡を実施するよう構成することができる。例えば、人々の２次元画像及び３次元表示の双方を用いて追跡することができる。したがって、可視化物は追跡される人々の視覚的表示を示すことができる。
装置又は複数装置によって使用されている変形パラメータが時間又は場所のどちらに基づくかに基づいて、使用されている変形パラメータが異なる基準を満足させることができる。例えば、変形パラメータは時間（すなわち、その装置における現在時間）に基づく。２つまたはそれ以上の装置は、同一時刻における同一変形パラメータを使用するよう、すなわち、同一時刻に生成された変形済み再識別コードが再識別に使用されるのが好適となるよう構成することができる。
他方、変形パラメータが場所に依存する場合、変形パラメータは、それぞれに対応するメディアデータが由来した場所に基づいて異なる。換言すれば、１つ若しくはそれ以上（又は２つ若しくはそれ以上）の装置は、図２ａ～２ｄにつき説明してきたように、２つまたはそれ以上の場所由来のメディアデータを処理し、また２つまたはそれ以上の場所由来のメディアデータに対して異なる変形パラメータを使用するよう構成することができる。さらに、メディアデータがそれぞれ由来する対応の場所に基づく変形パラメータの漸次的適応化を、例えば、３つまたはそれ以上のメディアデータ生成デバイスを有するシナリオに適用することもできる。
システムのより細部及び態様を、提案したコンセプト、又は上述した若しくは以下の１つ若しくはそれ以上の実施例（例えば、図１～２ｄ、図４ａ～４ｂ）につき説明する。システムは、提案したコンセプトの１つ若しくはそれ以上の態様、又は上述した若しくは以下の１つ若しくはそれ以上の実施例に対応する、１つ若しくはそれ以上の随意的な追加特徴を有することができる。
以下において、再識別コードの非線形的変形を実施するのに使用できる機械学習モデルを訓練するための様々な実施例を紹介する。図４ａは、機械学習モデル訓練方法の実施例におけるフローチャートを示す。この方法は、機械学習モデルを訓練するための訓練データを取得するステップ４１０を備える。この訓練データは、少なくとも複数再識別コードを有する。この方法は、訓練データの使用により機械学習モデルを訓練するステップ４２０を備える。機械学習モデルは、複数の再識別コードを複数の変形済み再識別コードに非線形的に変形するよう訓練され、この訓練は、再識別コードが類似性メトリックに基づいて他の再識別コードに類似している場合、変形済み再識別コードが、他の再識別コードの変形バージョンである他の変形済み再識別コードに類似するように行う。
図４ｂは、機械学習モデルを訓練するための対応する装置４０の実施例における概略的ブロック図を示す。概して、装置４０は図４ａの方法を実施するよう構成された処理回路４４を備える。例えば、この処理回路は、機械学習モデルを訓練するための訓練データを取得するよう構成される。この処理回路は、訓練データの使用により機械学習モデルを訓練するよう構成される。随意的に、装置４０は、さらに、訓練データ及び機械学習モデルに関する情報を交換するためのインタフェース４２と、及びを訓練データ及び機械学習モデルに関する情報を記憶する１つ又はそれ以上の記憶装置４６と、を備える。この処理回路は、インタフェース及び１つ又はそれ以上の記憶装置に接続する。
以下の説明は、図４ａの方法及び図４ｂの対応する装置４０の双方に関する。
図４ａ及び４ｂは、非線形的に再識別コードを変形するのに採用できる機械学習モデルの訓練に関する。概して、機械学習とは、明確な命令使用することなく、その代わり、モデル及び推測を頼りにして、特定タスクを実施するのにコンピュータシステムを使用することができるアルゴリズム及び統計的モデルに言及する。例えば、機械学習において、規範ベースのデータ変形の代わりに、履歴データ及び／又は訓練データの解析から推測されるデータ変形を使用することができる。例えば、機械学習モデルを用いて、又は機械学習アルゴリズムを用いて、画像の中身を解析することができる。機械学習モデルが画像の内容を解析するため、機械学習モデルは、入力として訓練画像及び訓練内容情報を使用し、また出力として分類情報を使用して、訓練することができる。多数の訓練画像及び関連する訓練内容情報により機械学習モデルを訓練することによって、機械学習モデルは、画像の内容を認識するよう「学習」し、これにより訓練画像に含まれていない画像の内容を、機械学習モデルの使用により認識することができるようになる。同一の原理は他の種類のセンサデータにも使用することができ、訓練センサデータ及び所望の出力の使用により機械学習モデルを訓練することによって、機械学習モデルは、センサデータと出力との間における変形を「学習」し、この変形は、非訓練センサデータに基づき、また機械学習モデルに供給される出力を供給するのに使用することができる。本開示で提示したコンセプトにおいて、機械学習は、２つの態様、すなわち、再識別コードの非線形的変形に対して、及び第１場所における再識別コード生成に対して使用することができる。
機械学習モデルは訓練データの使用により訓練される。上述した特別な実施例は「監視下学習（supervised learning）」と称される訓練方法を使用する。監視下学習において、機械学習モデルは複数の訓練サンプルの使用により訓練され、各サンプルは、複数の入力データ値及び複数の出力データ値を有する、すなわち、各訓練サンプルは所望出力値に関連する。訓練サンプル及び所望出力値の双方を特定することによって、機械学習モデルは、訓練中に得られたサンプルに類似する入力サンプルに基づいてどの出力値を供給するかを「学習する」。
同様のアプローチは、訓練データに基づいて機械学習モデルを訓練するよう選択することができる。例えば、訓練データは、入力データ値として複数の再識別コード、及び付加的に複数の代表的変形パラメータと、並びに複数の代表的変形パラメータを考慮して複数の再識別コードの望ましい非線形的変形を表している複数の望ましい出力値と、を有することができる。
メディア間の類似性を決定するのに使用される１つのタイプの機械学習アルゴリズムとしては、三重項損失（triplet loss）がある。三重項損失において、ベースライン入力を正の入力及び負の入力と比較する。例えば、第１場所で再識別コードを生成するために、機械学習モデルを訓練するのに三重項損失を使用することができる。しかし、三重項損失は、再識別コードを変形するために機械学習モデルを訓練するのに使用することもできる。例えば、訓練入力として複数の再識別コードを、複数の代表的変形パラメータとともに使用することができる。機械学習モデルは、複数の代表的変形パラメータに基づいて複数の再識別コードを非線形的に変形するよう、訓練することができ、この訓練は、入力に供給される所与の再識別コードに対して、該所与の再識別コードに類似する再識別コードの変形済みバージョンが肯定入力として供給され、所与の再識別コードに非類似である変形済みバージョン、又は所与の再識別コード自体が負の入力として供給されるよう、機械学習モデルを訓練することによって行う。
強化学習は他のグループの機械学習アルゴリズムである。換言すれば、強化学習は機械学習モデルを訓練するために使用することができる。強化学習において、１つ又はそれ以上のソフトウェアアクター（いわゆる「ソフトウェアエージェント」）が環境内でアクションをとるよう訓練される。とられたアクションに基づいて、報酬が計算される。強化学習は、アクションを選択するよう１つ又はそれ以上のソフトウェアエージェントを訓練することに基づき、この訓練は、累積する報酬が増大し、与えられるタスクでよりよくなる（報酬が増加することで証明される）ようソフトウェアエージェントを導くことで行われる。
例えば、強化学習は機械学習モデルを訓練するのに使用することができる。この事例において、複数の再識別コードは、a) 同値類保存特性を満足し、またb) 非線形的変形である出力を報酬とする報酬関数を用いる強化学習によって反復的に適応化できる、機械学習モデルによって処理することができる。
概して、複数の識別コードは、他の機械学習モデルの使用によりメディアデータに基づいて生成することができる。この他の機械学習モデルは、図2ａ及び／又は２ｂにつき紹介したハッシング関数を実装することができる。該他の機械学習モデルの訓練は、結果として生ずる再識別コードの変形による機械学習に基づいて適応化することができる。換言すれば、機械学習モデル及び他の機械学習モデルをともに訓練することができる。訓練に基づく合成三重項損失を他の機械学習モデル及び機械学習モデルの双方に適用することができ、他の機械学習モデルの訓練入力はメディアデータに基づき、また機械学習モデルの入力は、他の機械学習モデルによって供給される再識別コードに基づく。
機械学習アルゴリズムは、通常、機械学習モデルに基づき、用語「機械学習アルゴリズム（machine-learning algorithm）」は、機械学習モデルを創成、訓練又は使用するのに用い得る１組の命令セットを示すことができる。用語「機械学習モデル（machine-learning model）」は、例えば、機械学習アルゴリズムが実施した訓練に基づく学習した知識を表すデータ構造及び／又はルールセットを示すことができる。例えば、機械学習アルゴリズムの使用は、根底にある機械学習モデル（又は根底にある複数の機械学習モデル）の使用を含意することができる。機械学習アルゴリズムの使用は、機械学習モデル、及び／又は機械学習モデルであるデータ構造ルールセットが機械学習アルゴリズムによって訓練されることを含意することができる。
例えば、機械学習モデルは人工ニューラルネットワーク（ＡＮＮ）とすることができる。ＡＮＮｓは、例えば、脳内で見られる生物学的神経回路網によって触発されたシステムである。ＡＮＮｓは、相互接続された複数のノードと、ノード間におけるいわゆるエッジと称される複数の接続部とを有する。通常、３つのノードがある、すなわち、入力値を受信する入力ノード、他のノードに接続される（だけの）隠れノード、及び出力値を供給する出力ノードがある。各ノードは人工ニューロンを表すことができる。各エッジは１つのノードから他のノードに情報を伝達することができる。ノードの出力は、その入力合計の（非線形的）関数として定義することができる。ノードの入力は、エッジの、又は入力を供給するノードの「重み」に基づいて該関数に使用することができる。ノード及び／又はエッジの重みは学習プロセスにおいて調整することができる。換言すれば、人工ニューラルネットワークの訓練は、人工ニューラルネットワークにおけるノード及び／又はエッジの重みを調整する、すなわち、所与の入力に対して所望出力を得るように調整するステップを有することができる。少なくとも幾つかの実施例において、機械学習モデルは、深層ニューラルネットワークとすることができる、例えば、隠れノードの１つ又はそれ以上の層（すなわち、隠れレイヤ）、好適には、隠れノードの複数の層を有するニューラルネットワークとすることができる。例えば、三重項損失関数を使用している場合、ＡＮＮは、いわゆるシャムニューラルネットワーク（ＳＮＮ）とすることができる。
インタフェース４２は、情報を送信及び／又は受信するための１つ又はそれ以上の入力及び／又は出力に対応し、この情報は、モジュール内、モジュール間、又は異なる実体のモジュール間における特定コードによるデジタル（ビット）値とすることができる。例えば、インタフェース４２は、情報を送信及び／又は受信するよう構成されたインタフェース回路を有することができる。付加的又は代案的に、インタフェース４２は、コンピュータネットワークを介して、例えば、無線又は有線のコンピュータネットワークを介して通信するのに適したものとすることができる。
処理回路４４は、１つ又はそれ以上の処理ユニット、１つ又はそれ以上の処理デバイス、プロセッサのような任意な処理手段、コンピュータ、又は適応的に適合したソフトウェアで動作可能なプログラム可能ハードウェアコンポーネントを用いて実現することができる。換言すれば、処理回路２４の上述した機能は、ソフトウェアで実現することもでき、このソフトウェアは、１つ又はそれ以上のプログラム可能ハードウェアコンポーネント上で実行される。このようなハードウェアコンポーネントは、中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、マイクロコントローラ、等々のような汎用プロセッサを有することができる。様々な実施例において、処理回路は、アクセラレータ回路、例えば、機械学習モデルの訓練を速める回路、又はＧＰＧＰＵ（General-Purpose Graphics Processing Unit）回路を有することができる。
少なくとも幾つかの実施形態において、１つ又はそれ以上の記憶デバイス４６は、磁気的又は光学的記憶媒体のようなコンピュータ可読記憶媒体グループのうち少なくとも１つの要素、例えば、ハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、プログラマブル・リード・オンリー・メモリ（ＰＲＯＭ）、消去可能プログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭ）、電子的消去可能プログラマブル・リード・オンリー・メモリ（ＥＥＰＲＯＭ）、又はネットワーク記憶装置を有することができる。
様々な実施例における１つの特定実施例につき説明した態様及び特徴は、１つ又はそれ以上の他の実施例と組み合わせることもでき、該他の実施例における同一又は類似の特徴と交換する、又は該特徴を該他の実施例に付加的に組み込むことができる。
実施例は、さらに、プログラムコードを含む（コンピュータ）プログラムとする又は関連することができ、該プログラムがコンピュータ、プロセッサ若しくは他のプログラム可能ハードウェアコンポーネント上で実行されるとき、上述した方法のうち１つ又はそれ以上を実行する。したがって、上述した方法における異なる方法のステップ、動作、又はプロセスも、プログラム化したコンピュータ、プロセッサ、又は他のプログラム可能ハードウェアコンポーネントによって実行することができる。実施例は、マシン可読、プロセッサ可読、若しくはコンピュータ可読であり、マシン実行可能、プロセッサ実行可能、若しくはコンピュータ実行可能なプログラム及び命令をコード化する及び／又は含む、デジタルデータ記憶媒体のようなプログラム記憶装置をカバーすることができる。プログラム記憶装置は、例えば、デジタル記憶デバイス、磁気ディスク及び磁気テープのような磁気記憶媒体、ハードディスクドライブ、又は光学的に可読のデジタルデータ記憶媒体を含む又はとすることができる。他の実施例は、さらに、コンピュータ、プロセッサ、制御ユニット、（フィールド）プログラマブル論理アレー（(F)ＰＬＡs）、（フィールド）プログラマブルゲートアレー（(F)ＰＧＡs）、グラフィックス・プロセッサ・ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣｓ）、集積回路（ＩＣｓ）、又は上述した方法におけるステップを実行するようプログラムされたシステム・オン・チップ（ＳｏＣｓ）システムを含むことができる。
本明細書又は特許請求の範囲で開示される数個のステップ、プロセス、動作又は機能に関する開示は、それらの動作が、個別のケースで明記されない限り、又は技術的理由から必須でない限り、必ずしも記載された順序に従うものであることを意味すると解すべきではない。したがって、上述の説明は、数個のステップ又は機能の実行は所定順序に限定しない。さらにまた、他の実施例において、単一のステップ、機能、プロセス若しくは動作としては、数個のステップ、プロセス、動作を含む及び／又は分解することができる。
幾つかの態様をデバイス又はシステムにつき説明してきたが、これら態様は、対応する方法の説明として理解すべきである。例えば、デバイス又はシステムにおけるブロック、デバイスの若しくは機能的態様は、対応する方法の方法ステップのような特徴に対応することができる。したがって、方法に関連して説明した態様は、対応するブロック、対応する要素、対応するデバイス又は対応するシステムにおける特性的若しくは機能的特徴として理解すべきである。
ここで特許請求の範囲を詳細な説明内に組み入れ、各請求項は別個の実施例として個々に立脚することができる。特許請求の範囲において、従属項は１つ又はそれ以上の他の請求項との特別な組合せを意味するが、他の実施例は、任意な他の独立請求項又は従属請求項における要旨に対する従属請求項の組合せをも含むことができる。このような組合せは、個別事例において特別な組合せを意図しないと記述しない限り、このような組合せは明確にここに提案される。さらにまた、請求項の特徴は、任意な他の独立請求項に含めることができ、これは該請求項が該他の独立請求項に従属するものとは直接定義しない場合であっても言える。

Claims (14)

  1. 処理回路（２４）を備える再識別のための装置（２０）であって、前記処理回路（２４）は、
    インタフェース（２２）を介してメディアデータを取得し、
    ハッシングアルゴリズムの使用により前記メディアデータの少なくとも一部分を表している再識別コードを生成し、
    変形機能性の使用により前記再識別コードを変形して、変形済み再識別コードを取得し、
    前記変形機能性は、前記再識別コードが類似性メトリックに従って前記ハッシングアルゴリズムによって生成した他の再識別コードに類似する場合、前記変形済み再識別コードが他の再識別コードの変形バージョンである他の変形済み再識別コードに類似するように、前記再識別コードを変形するよう構成されているものであり、
    前記変形機能性は、時間及び／又は場所に依存する変形パラメータに基づいて前記再識別コードを変形するよう構成されているものであり、また
    前記変形済み再識別コードを供給する
    よう構成されている、該処理回路（２４）を備える、装置。
  2. 請求項１記載の装置において、前記変形パラメータは時間に依存し、前記処理回路は、所定時間スケジュールに従って前記変形パラメータを適応させるよう構成されている、装置。
  3. 請求項２記載の装置において、前記処理回路は、前記変形パラメータを適応させた後に、先に使用した変形パラメータを削除するよう構成されている、装置。
  4. 請求項２又は３記載の装置において、前記処理回路は、２つの時点に対して２つの変形パラメータを生成し、そして前記２つの変形パラメータ間における線形的補間に基づいて前記変形パラメータを前記２つの時点間内に漸次的に適応させるよう構成されている、装置。
  5. 請求項１～４のうちいずれか１項記載の装置において、前記変形パラメータは暗号秘密から抽出する、装置。
  6. 請求項１～５のうちいずれか１項記載の装置において、前記変形機能性は、前記再識別コードの非線形的変形を実施するよう構成されている、装置。
  7. 請求項６記載の装置において、前記変形機能性は、機械学習モデルを使用して、前記非線形的変形を実施するよう構成されている、装置。
  8. 請求項１～７のうちいずれか１項記載の装置において、前記メディアデータは、画像データ、ビデオデータ、音声データ、物体運動の３次元表現、及びテキストベースのメディアデータのうちの１つである、装置。
  9. 請求項１～８のうちいずれか１項記載の装置において、前記処理回路は、カメラの画像センサから前記メディアデータを取得するよう構成され、前記メディアデータは、画像データ及びビデオデータのうち一方であり、又は
    前記処理回路は、ネットワークを介して１つ又はそれ以上のメディアデータ生成デバイスから前記メディアデータを取得するよう構成されている、装置。
  10. 請求項９記載の装置において、前記処理回路は、異なる場所に設置されている２つまたはそれ以上のメディアデータ生成デバイスから前記メディアデータを取得するよう構成され、前記処理回路は、異なる場所に設置されている２つ又はそれ以上のメディアデータ生成デバイスに対して異なる変形パラメータを使用して、前記変形を実施するよう構成されている、装置。
  11. 請求項１０記載の装置において、前記処理回路は、異なる場所に設置されている第１、第2及び第３のメディアデータ生成デバイスから前記メディアデータを取得するよう構成され、前記第２メディアデータ生成デバイスは、前記第１メディアデータ生成デバイスと前記第３メディアデータ生成デバイスとの間に設置されているものであり、前記処理回路は、前記第１及び第３のメディアデータ生成デバイスから取得したメディアデータに対して使用される変形パラメータ間における線形的補間に基づいて、前記第２メディアデータ生成デバイスから取得したメディアデータに対して変形パラメータを生成するよう構成されている、装置。
  12. カメラデバイス（２００）であって、画像センサ（２８）と、請求項１～１１のうちいずれか１項記載の装置（２０）とを備える、カメラデバイス。
  13. システム（３００；３１０）であって、請求項１～１１のうちいずれか１項記載の２つまたはそれ以上の装置（２０）を備える、システム。
  14. 請求項１３記載のシステムにおいて、前記変形パラメータは時間に依存し、前記２つまたはそれ以上の装置は、同一時刻に同一変形パラメータを使用するよう構成されている、又は
    前記変形パラメータは場所に依存し、前記２つまたはそれ以上の装置は、２つまたはそれ以上の場所由来のメディアデータを処理し、そして前記２つまたはそれ以上の場所由来のメディアデータに対して異なる変形パラメータを使用するよう構成されている、システム。
JP2021149755A 2020-09-22 2021-09-14 アノニマス再識別の構想 Active JP7206343B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20197542.2A EP3971797A1 (en) 2020-09-22 2020-09-22 A concept for anonymous re-identification
EP20197542 2020-09-22

Publications (2)

Publication Number Publication Date
JP2022051695A JP2022051695A (ja) 2022-04-01
JP7206343B2 true JP7206343B2 (ja) 2023-01-17

Family

ID=72615636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021149755A Active JP7206343B2 (ja) 2020-09-22 2021-09-14 アノニマス再識別の構想

Country Status (4)

Country Link
US (2) US12008078B2 (ja)
EP (1) EP3971797A1 (ja)
JP (1) JP7206343B2 (ja)
CN (1) CN114255440A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3971797A1 (en) * 2020-09-22 2022-03-23 Grazper Technologies ApS A concept for anonymous re-identification
CN114861892B (zh) * 2022-07-06 2022-10-21 深圳时识科技有限公司 芯片在环代理训练方法及设备、芯片及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090034791A1 (en) 2006-12-04 2009-02-05 Lockheed Martin Corporation Image processing for person and object Re-identification
WO2015072084A1 (ja) 2013-11-12 2015-05-21 日本電気株式会社 匿名化装置、情報処理システム、匿名化方法、情報処理方法、および、コンピュータ・プログラムを記録する記録媒体
US20150193472A1 (en) 2013-02-26 2015-07-09 Adience Ser Ltd. Generating user insights from user images and other data
JP2016001447A (ja) 2014-06-12 2016-01-07 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
JP2017504849A (ja) 2013-11-08 2017-02-09 マイクロソフト テクノロジー ライセンシング，エルエルシー 生体ｉｄ、フィードバックおよびユーザインタラクション状態の相関表示
US20200184256A1 (en) 2018-12-10 2020-06-11 Canon Kabushiki Kaisha Method, system and apparatus for performing re-identification in images

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596274A (en) * 1992-12-31 1997-01-21 Schlumberger Technology Corporation Determining bound and unbound fluid volumes using nuclear magnetic resonance pulse sequences
US6064738A (en) * 1996-12-10 2000-05-16 The Research Foundation Of State University Of New York Method for encrypting and decrypting data using chaotic maps
FR2903513B1 (fr) * 2006-07-10 2008-12-05 Sagem Defense Securite Procede d'identification d'un individu utilisant une fonctio n de transformation et dispositif d'identification associe
US9396412B2 (en) 2012-06-21 2016-07-19 Siemens Aktiengesellschaft Machine-learnt person re-identification
US9178877B1 (en) * 2013-09-25 2015-11-03 Juniper Networks, Inc. Providing a service based on time and location based passwords
CN103500345A (zh) 2013-09-29 2014-01-08 华南理工大学 一种基于距离度量学习行人重验证的方法
AU2014240213B2 (en) 2014-09-30 2016-12-08 Canon Kabushiki Kaisha System and Method for object re-identification
US9837101B2 (en) * 2014-11-25 2017-12-05 Facebook, Inc. Indexing based on time-variant transforms of an audio signal's spectrogram
US9436895B1 (en) 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images
US20190289017A1 (en) * 2018-03-14 2019-09-19 Ca, Inc. Time and location based authentication credentials
US10176405B1 (en) 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
EP3971797A1 (en) * 2020-09-22 2022-03-23 Grazper Technologies ApS A concept for anonymous re-identification
EP3971734B1 (en) * 2020-09-22 2024-07-10 Grazper Technologies ApS Evaluation device for re-identification and corresponding method, system and computer program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090034791A1 (en) 2006-12-04 2009-02-05 Lockheed Martin Corporation Image processing for person and object Re-identification
US20150193472A1 (en) 2013-02-26 2015-07-09 Adience Ser Ltd. Generating user insights from user images and other data
JP2017504849A (ja) 2013-11-08 2017-02-09 マイクロソフト テクノロジー ライセンシング，エルエルシー 生体ｉｄ、フィードバックおよびユーザインタラクション状態の相関表示
WO2015072084A1 (ja) 2013-11-12 2015-05-21 日本電気株式会社 匿名化装置、情報処理システム、匿名化方法、情報処理方法、および、コンピュータ・プログラムを記録する記録媒体
JP2016001447A (ja) 2014-06-12 2016-01-07 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
US20200184256A1 (en) 2018-12-10 2020-06-11 Canon Kabushiki Kaisha Method, system and apparatus for performing re-identification in images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROOIJEN, A. V. et al.，Anonymized person re-identification in surveillance cameras，Proceeings of SPIE，2020年09月20日，Vol.11542，pp.115420A 1-5，URL:https://doi.org/10.1117/12.2571943

Also Published As

Publication number Publication date
EP3971797A1 (en) 2022-03-23
US20220092343A1 (en) 2022-03-24
US12008078B2 (en) 2024-06-11
US20240320306A1 (en) 2024-09-26
JP2022051695A (ja) 2022-04-01
CN114255440A (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN113688855B (zh) 数据处理方法、联邦学习的训练方法及相关装置、设备
JP7206343B2 (ja) アノニマス再識別の構想
Li et al. TIPRDC: task-independent privacy-respecting data crowdsourcing framework for deep learning with anonymized intermediate representations
US10924632B2 (en) Apparatus and methods for determining and providing anonymized content within images
Chen et al. Privacy preservation for image data: a gan‐based method
Wen et al. IdentityMask: deep motion flow guided reversible face video de-identification
JP7227326B2 (ja) 再識別のための評価デバイスおよび対応する方法、ならびにシステムおよびコンピュータプログラム
Kovalchuk et al. An efficient image encryption scheme using projective transformations
Sultan et al. A novel image-based homomorphic approach for preserving the privacy of autonomous vehicles connected to the cloud
Kumar et al. Security standards for real time video surveillance and moving object tracking challenges, limitations, and future: a case study
US20230012736A1 (en) Method and electronic device for securely sharing of data
CN116957103A (zh) 基于联邦学习的模型训练方法及装置
CN116091891A (zh) 图像识别方法及系统
CN114912624B (zh) 针对业务模型的纵向联邦学习方法及装置
Ghani et al. Enhancing Security and Privacy in Distributed Face Recognition Systems through Blockchain and GAN Technologies
Jeon et al. Balancing Privacy and Utility in Surveillance Systems: An Overview
Lindskog et al. Federated learning for drowsiness detection in connected vehicles
Zhang et al. Enable portrait privacy protection in photo capturing and sharing
Kitayama et al. Difficulty in estimating visual information from randomly sampled images
Arachchige et al. Privacy preserving face recognition utilizing differential privacy
KR102660745B1 (ko) 연합학습 및 비지도 학습 기반 뉴럴 네트워크를 이용한 개인정보를 보호하는 영상 변환 방법 및 그 장치
US20240095602A1 (en) Privacy preserving joint training of machine learning models
Ligier Functional encryption applied to privacy-preserving classification: practical use, performances and security
Kaushik Enhancing Privacy and Security in AI using Fully Homomorphic Encryption
Tanwar et al. Privacy-Preserving Video Surveillance System over Cloud

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230104

R150 Certificate of patent or registration of utility model

Ref document number: 7206343

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150