JP6891379B2 - 画像のサーチのための方法およびデバイス - Google Patents

画像のサーチのための方法およびデバイス Download PDF

Info

Publication number
JP6891379B2
JP6891379B2 JP2017556824A JP2017556824A JP6891379B2 JP 6891379 B2 JP6891379 B2 JP 6891379B2 JP 2017556824 A JP2017556824 A JP 2017556824A JP 2017556824 A JP2017556824 A JP 2017556824A JP 6891379 B2 JP6891379 B2 JP 6891379B2
Authority
JP
Japan
Prior art keywords
image
search
fingerprint
compressed
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017556824A
Other languages
English (en)
Other versions
JP2018522312A (ja
Inventor
バルセシア、ディエゴ
コルッシア、ギウリオ
ビアンチ、ティジアノ
マグリ、エンリコ
Original Assignee
ポリテクニコ ディ トリノ
ポリテクニコ ディ トリノ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ポリテクニコ ディ トリノ, ポリテクニコ ディ トリノ filed Critical ポリテクニコ ディ トリノ
Publication of JP2018522312A publication Critical patent/JP2018522312A/ja
Application granted granted Critical
Publication of JP6891379B2 publication Critical patent/JP6891379B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • G06F18/21375Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps involving differential geometry, e.g. embedding of pattern manifold
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/80Recognising image objects characterised by unique random patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/22Source localisation; Inverse modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/90Identifying an image sensor based on its output data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)

Description

本発明は、画像のサーチのための方法およびデバイスに関し、特に、画像を取得したセンサのフィンガープリントを用いた、メモリ手段における画像のサーチのための方法およびデバイスに関する。
既知であるように、画像センサの不完全性は、特定の取得デバイスを識別する一意的なフィンガープリントと見なされ得、従って、J.Fridrichによる文献「Digital image forensics」、2009に例示されているように、デバイスの識別、デバイスの接続、処理履歴の復元およびデジタル偽造の検出などのいくつかの重要なフォレンジックアクティビティに有益となっている。最も一般的なカメラフィンガープリントは、デジタル画像センサのPRNU(「感度不均一性(Photo−Response Non−Uniformity)」)である(J.Lukas,J.Fridrich and M.Goljan,"Determining digital image origin using sensor imperfections,"in Proc.SPIE Electronic Imaging,Image and Video Communication and Processing,vol.5685,2005,pp.249−260も参照)。画像センサのPRNUは、光子を電子へと変換するための1つ1つの光センサの能力の違いによって判定されるので、センサの各アレイに固有の特性である。この違いは、センサを製造するために用いられるシリコンウェハの不純物により主にもたらされ、その影響は、特定のノイズパターンとなって、特定のセンサにより取得されたあらゆる画像に影響を与える。PRNUは、所与の画像または画像のセットを取得するために用いられるセンサの広帯域デジタルフィンガープリントと見なされ得るということになる。PRNUは乗法的であり、画像センサが、他のノイズ源を考慮することなく、均等な強度iで理想的に照らされる場合、センサ出力はo=i+i×kとなることを意味する。ここで、kはPRNU値を特徴付ける行列を表し、i×kは、iおよびkの要素ごとの積を示す。項目kは、以下の特性を有することに注目されたい。
−センサと同一のピクセルサイズを有する。
−例えば、各光センサがただ1つのPRNUを有するなど、特定のセンサを一義的に識別する。
−(その乗法的な性質に起因して)完全に暗い画像を除き、特定のセンサにより取得されたあらゆる画像に存在する。
−種々の環境条件(例えば、異なる温度/湿気、種々のカメラバッテリの充電レベルなど)において、安定的である。
−様々な信号処理演算に対してロバストである。
PRNUのこの性質は、特定のセンサ、すなわち特定のデバイス(カメラ、スマートフォンまたは同様のもの)により取得された写真について、任意のデータバンク(例えば、Flickr(登録商標)、Instagram(登録商標)または同様のものなどの、インターネットを介してアクセス可能なデータバンク)をサーチするために特に興味深いものとなる。
しかしながら、この応用は、いくつかの技術的な問題を提起する。なぜなら、PRNUの場合、センサのデジタルフィンガープリントは、実質的にセンサと同一サイズのパターンであり、それは、現在の最新技術によると、数千万のピクセルに達するからである。従って、それぞれの写真と関連付けられた数千のセンサフィンガープリントの現実的なデータベースは、圧縮されていないフォーマットで、単一のピクセル値の1010を超える記憶容量を必要とし得る。
そのような大きな次元となることが、データベース内の各デジタルフィンガープリントと、サーチされるべきフィンガープリントとの間の相関インデックスの計算を典型的に必要とする大規模データベースにおいて、特定のデジタルフィンガープリントを見つけることを非常に困難にもし得る。これは、サーチごとの特に高い計算負荷を意味し得、従って、単位時間当たりにサーチされ得る画像の数を限定する。
何人かの著者が、デジタルカメラフィンガープリントの大規模データベースの管理に関連する問題に最近取り組み始めた。
M.Goljan、J.FridrichおよびT.Fillerによる文献「Managing a large database of camera fingerprints」、2010、およびY.Hu、B.YuおよびC.Jianによる文献「Source camera identification using large components of sensor pattern noise」、2009において、著者は、デジタルフィンガープリントのいわゆる「選択(selection)」を提案している。それは、最大デジタルフィンガープリント値およびそれらの位置の一定数だけを保持することにより動作し、これにより、データベースは、センサ解像度に依存しなくなるであろう。
デジタルフィンガープリントの選択に基づくサーチの改善は、Y.Hu、C.−T.Li、Z.LaiおよびS.Zhangによる文献「Fast camera fingerprint search algorithm for source camera identification」、2012において提案されている。
しかしながら、これらの提案された解決手法は、センサフィンガープリントのサイズを低減する処理中、元のフィンガープリントに元から含まれていたものと比較して、十分に大きい情報量が維持されるであろうことを確実にするものではない。
時間複雑性の低減を実現する代替的な解決手法は、センサフィンガープリントを量子化されたバイナリ形式で表すことであり、S.Bayram、H.SencarおよびN.Memonによる「Efficient sensor fingerprint matching through fingerprint binarization」、2012において示されている。バイナリデジタルフィンガープリントの次元は、センサ解像度に依存するにもかかわらず、バイナリ化が、デジタルフィンガープリントの照合処理を大幅にスピードアップできる。しかしながら、この場合においても、処理されたフィンガープリントに含まれている情報量が、元のフィンガープリントに元から含まれていたものと比較して十分に多くなるという保証はない。
上述の文献の何れも、どのようにして、特定のセンサにより取得された画像の識別を可能にするデジタルフィンガープリント照合処理の有効性を維持すると同時に、デジタルカメラフィンガープリントのデータベースのサイズを著しく低減させるかは示していない。
実際のところ、ロスレス技術(例えば、LZWまたは同様のもの)を介したセンサフィンガープリントの圧縮は、より小さいフィンガープリントのデータベースをもたらし得るが、2つのフィンガープリントの間の有意な比較は、それらを展開した後にのみ行うことができ、無駄な計算時間を結果として生じるので、より高い計算コスト(すなわち、時間複雑性の増加)をまた意味し得る。
本発明は、添付の特許請求の範囲に記載されるように、画像のサーチのための方法を提供することにより、これらおよび他の課題を解決することを目的とする。
加えて、本発明は、添付の特許請求の範囲に記載されるように、画像のサーチのためのデバイスを提供することにより、これらおよび他の課題を解決することを目的とする。
本発明の基本的な考え方は、ランダムプロジェクション技術(Johnson−Lindenstraussプロジェクションの特定の場合)を用いて、センサフィンガープリントを圧縮することである。
この解決手法は、圧縮されたフィンガープリントに、元のフィンガープリントの点の間の距離を保つことを可能にし、これにより、可能な限り多くの情報を保存する。このようにして、2つのフィンガープリントは、展開を必要とすることなく、有意な方式で(例えば、相関インデックスを計算することにより)比較され得る。従って、空間における複雑性(フィンガープリントは、常に圧縮された形式で処理される)および時間における複雑性(処理済みデータの量がより小さいことで、実行されるべき演算がより少なくなることをもたらす)を低減する。本発明のさらなる有利な特徴が、添付の特許請求の範囲に記載されるであろう。
非限定的な例として供される添付された図面に示されているように、これらの特徴ならびに本発明のさらなる利点が、本明細書の一実施形態の以下の説明からより明らかになるであろう。
本発明に係る画像のサーチのためのデバイスのブロック図を示す。 図1のデバイスを備えるシステムを示す。 本発明に係る方法を例示するフローチャートである。
本明細書における「一実施形態(an embodiment)」への任意の参照は、特定の構成、構造、または特徴が、本発明の少なくとも1つの実施形態に備えられていることを示すであろう。従って、本明細書の種々の部分に存在し得る「一実施形態において(in an embodiment)」という表現、および他の類似表現は、必ずしも全てが同一の実施形態には関連していないであろう。さらに、任意の特定の構成、構造、または特徴は、1または複数の実施形態において、適切と見なされる任意の方法で組み合わせられてよい。従って、以下の参照は、簡潔さのためだけに用いられており、様々な実施形態の保護範囲を限定しない。
図1を参照すると、本発明に係るデバイス1の一実施形態は、以下のコンポーネントを備える。
−好適な命令の実行を介して、好ましくはプログラマブルな方式でデバイス1の動作を管理する、例えば1または複数のCPUである、制御処理手段11。
−制御処理手段11との信号通信における、例えばランダムアクセスメモリRAMである、揮発性メモリ手段12であって、デバイス1が動作状態にあるとき、揮発性メモリ手段12は、少なくとも、制御処理手段11により読み取られ得る命令を格納する、揮発性メモリ手段12。
−制御処理手段11との、および揮発性メモリ手段12との信号通信における好ましくは、1または複数の磁気ディスク(ハードディスク)またはフラッシュメモリまたは同様のものである大容量メモリ手段13であって、メモリ手段13は、少なくとも、1または複数の画像および/または画像への参照(例えばポインタ、URLユニバーサルアドレスまたは同様のもの)を格納し、各画像および/またはそれへの参照について、画像および/または参照と関連付けられ、かつ画像を取得したセンサに関連する少なくとも1つのセンサフィンガープリントを格納する、大容量メモリ手段13。
−IEEE803.2(Ethernet(登録商標)としても既知)または802.11(WiFi(登録商標)としても既知)または802.16(WiMAX(登録商標)としても既知)ファミリの規格により動作する、好ましくはネットワークインタフェース、または、デバイス1がデータネットワークを介して他のデバイスと通信することを可能にする、GSM(登録商標)/GPRS/UMTS/LTEまたはTETRAデータネットワークのインタフェースであり、後者のデバイスは、さらに以下で説明されている、通信手段14。
−例えば、デバイス1を周辺機器(例えば、他の大容量メモリ手段へのアクセスを可能にする1または複数のインタフェース。これにより、好ましくは後者から大容量メモリ手段13へ情報をコピーすることを可能にする)へ、または(制御処理手段11が実行する必要があるであろう)命令をメモリ手段12へと書き込むために構成されるプログラミング端末へ、接続するために用いられてよい入力/出力(I/O)手段15であって、そのような入力/出力手段15は、例えば、USB、ファイヤワイヤ、RS232、IEEE1284アダプタまたは同様のものを備えてよい、入力/出力手段15。
−制御処理手段11、揮発性メモリ手段12、大容量メモリ手段13、通信手段14、および入力/出力手段15の間で情報が交換されることを可能にする通信バス17。
通信バス17の代替として、制御処理手段11、揮発性メモリ手段12、大容量メモリ手段13、フィールド通信手段14、ネットワーク通信手段15、および入力/出力手段16が、スターアーキテクチャによって接続されてよい。
大容量メモリ手段13は、デバイス1に備えられていないリモート大容量メモリ手段(例えば、ストレージエリアネットワーク−SAN)に置き換えられてよいことに、まず注目されたい。そのような目的で、入力/出力(I/O)手段15は、例えば、FC(ファイバーチャネル)および/またはiSCSI(インターネットSCSI)などの1または複数の大容量メモリアクセスインタフェースを備えてよく、これにより、デバイス1は、リモート大容量メモリ手段へアクセスするために構成され得る。
図2も参照して、デバイス1の典型的な使用シナリオを以下で説明する。ここで画像サーチシステムSは、デバイス1、少なくとも1つのクライアントアクセス端末2(クライアントとも称される)およびデータ取得デバイス3を備える。
デバイス1は、クラスタを形成するよう適切に構成される1または複数のサーバからなり得、好ましくはクライアントアクセス端末2から、センサに関連する少なくとも1つのサーチセンサフィンガープリントを備える少なくとも1つのクエリを受信するために好ましくは構成され、それにより取得される画像は、サーチされるためのものである。実際に、本明細書でさらに説明されるであろうように、デバイス1は、クエリ内で指定されたサーチセンサフィンガープリントに可能な限り類似するフィンガープリントを有するセンサにより取得された、デバイス1にアクセス可能な揮発性メモリ手段12または(ローカルまたはリモート)大容量メモリ手段13に含まれる全ての画像(またはそれらへの参照)をサーチするために構成される。このため、以下でさらに説明されるであろう少なくとも1つのセンサフィンガープリントが、メモリ手段12、13に格納される各画像と関連付けられる。この情報は、例えば、リレーショナルまたはオブジェクトベースのデータベース管理システム(DBMS)など、効果的なデータ管理(すなわち、データの追加、編集または削除)を可能にする好適なデータ構造へと編成される。それら命令は、デバイス1または別のデバイスにより実行される。
端末2は、パーソナルコンピュータ、ラップトップ、スマートフォン、またはセンサフィンガープリントを備えるクエリのフォーミュレーションを可能にする別の電子デバイスから代替的に構成されてよい。
デバイス1は、通信手段14を介してクエリを受信するために構成されてよく、これにより、端末2は、データネットワーク(例えば、Ethernet(登録商標)ベースのプライベートネットワークおよび/またはインターネットなどの公共ネットワーク)を介してクエリをデバイス1に伝送することができる。このために、デバイス1は、好ましくはウェブサーバ機能を実装する命令を実行するために構成されてよく、これにより、1または複数のHTMLページを介するクエリの好ましいフォーミュレーションを可能にし、それを介して画像のサーチのために用いられるべき1または複数のサーチセンサフィンガープリントをロードすることが可能であろう。
デバイス1および端末2は、1つのエンティティにともに設けられてもよく、すなわち、ユーザは、デバイス1上に直接クエリを生成してもよいことに注目されたい。
データ取得デバイス3は、データバンクの情報を更新するため、すなわち、それに以下の動作を行わせる命令を実行するために構成される。
−画像アーカイブ(例えばFlickr(登録商標)、Instagram(登録商標)、Facebook(登録商標)または同様のもの)、ウェブサイトのセットまたは同様のものを検索し、そこに含まれる画像を見つけること。
−デバイス1にアクセス可能なメモリ手段にまだ存在しない場合、見つけられた各画像に関してセンサフィンガープリントを生成し、以下でより詳細に説明されるであろうように、場合によっては、生成されたセンサフィンガープリントを圧縮すること。
−見つけられた画像およびそれらと関連付けられた圧縮されたセンサフィンガープリントをデバイス1にアクセス可能なメモリ手段へと好ましくは、インクリメンタル/デファレンシャル方式で(すなわち、メモリ手段にまだ存在しない画像またはそれらへの参照だけ)格納すること。
デバイス1およびデータ取得デバイス3は、1つのエンティティにともに設けられてもよく、すなわち、デバイス1は、どんな手段によってでも、例えばウェブ検索処理(クローラ)により、それらが利用可能になされると直ちに、新しい画像(およびそれらのセンサフィンガープリント)を入力することにより、メモリ手段を更新することを請け負うであろうことにまた注目されたい。
図3も参照して、以下に、デバイス1が動作状態にあるときに、デバイス1により好ましくは実行される、本発明に係る画像のサーチのための方法を説明する。方法は、以下の段階を備える。
−サーチセンサフィンガープリントが読み取られる、フィンガープリント読み取り段階P1であって、通信手段14を介して、デバイス2により受信された要求メッセージに好ましくは含まれるクエリに好ましくは備えられ、要求メッセージは、端末2のユーザとのインターアクションに続いて、または端末2による命令のシーケンスの自律的な実行に際し、端末2により好ましくは生成される、フィンガープリント読み取り段階P1。
−以下でさらに説明されるであろうランダムプロジェクション技術を用いて、前の段階P1中に読み取られたフィンガープリントが、デバイス1の制御処理手段11により圧縮される、フィンガープリント圧縮段階P2。
−段階P2において圧縮されたフィンガープリントが、制御処理手段11を介して、デバイス1にアクセス可能なメモリ手段12、13に格納される圧縮されたフィンガープリントのうち少なくとも1つと比較され、画像(またはそれらへの参照)が、圧縮されたサーチセンサフィンガープリントと、画像(またはそれらへの参照)と関連付けられた圧縮されたセンサフィンガープリントのうちの1つとの間で計算された相関インデックスに基づいて、選択されるかまたは破棄されるかのいずれかであり、例えば、サーチセンサフィンガープリントの少なくとも1つの部分と、評価されている画像と関連付けられたフィンガープリントの少なくとも1つの部分との比較が、閾値を超すと、画像は、選択されてよく、そうでなければ、破棄されてよい、サーチ段階P3。
−段階P3中にデバイス1により選択されたあらゆる画像(またはそれらへの参照)は、1または複数の応答メッセージへと好ましくは組み込まれ、要求メッセージ(例えば端末2またはデバイス1で動作している処理または同様のもの)の送信者に送信される、結果出力段階P4。
デバイス1が動作状態にあるとき、制御処理手段11は、段階P1−P4をシーケンシャルな方式で循環的に実行してよい。
上記の代替として、デバイス1は、厳密にはシーケンシャルではない方式で段階を実行するために構成されてもよい。すなわち、段階P3は、段階P2がまだ完了していないときに始まってよく、段階P4は、段階P2および/または段階P3がまだ完了していないときに始まってよい。
前述されているように、この方法は、メモリ手段12、13に含まれるデジタルフィンガープリント、およびサーチフィンガープリントを非常に少ない情報損失で、または理想的には情報損失なしに圧縮する。より具体的には、方法は、次元縮小の強力および単純な方法であるランダムプロジェクション(RP)技術に基づく。RP技術の基本的な考え方は、ランダム行列
Figure 0006891379
を用いて、元のn次元のデータをm次元のサブ空間上に投影することであり、m<nである。結果として、N個のn次元のデータ
Figure 0006891379
の集合が、次式に従って1つのm次元のサブ空間
Figure 0006891379
に低減される。
Figure 0006891379
RP技術の根本的な主要特性は、高次元ユークリッド空間から低次元ユークリッド空間への歪みの少ない点の埋め込みに関する(本明細書の不可欠な部分であると見なされる)Johnson−Lindenstrauss補題である。この補題は、点の間の距離が(ほとんど)保たれるような方式で、高次元空間の小規模の点が、はるかに低次元の空間に埋め込まれ得るということを示している。
この前提に基づいて、本発明の方法は、ランダムプロジェクション、すなわち、圧縮行列をセンサフィンガープリントを表す行列で乗算(行列積)(または、逆もまた同様)することによってシステムSにより処理される各センサフィンガープリントの圧縮されたバージョンを計算するために提供され、ここで圧縮行列は、カメラのセンサフィンガープリントを表す行列の行よりも少ない数の行(または列)を有する。
画像は、行列であり、列ごとに画像列の行列を読み取ることにより得られる列ベクトルとして表されることができる。同様に、同一画像から抽出された(圧縮されていない)デジタルカメラフィンガープリントは、画像ベクトルと同一の次元を有する列ベクトルとして表されることもでき、すなわち、2つの対応する列ベクトルは、同一の数の要素を有するということに考慮されたい。
上記と併せて、圧縮行列は、好ましくはランダムな巡回行列、特にランダムな部分巡回行列であってよい。「巡回」という用語は、その行が第1行の巡回的に変換されたバージョンである行列、すなわち、テプリッツ行列の特定の場合を意味している。「部分」という用語は、センシング行列の行の数が、デジタルフィンガープリントの行の数より少ない、すなわち、圧縮行列が、列より行が少ない矩形行列であることを意味している。「ランダム」という用語は、センシング行列の第1行が選択された分布によって生成された確率変数(例えばガウス確率変数)を備えることを意味している。この種の行列は、そのような行列の全ての行が同一の値を含むので、行列により占有される空間を低減し、圧縮されたフィンガープリントの計算の複雑性を有利に可能にする。従って、行列は、単に1つの行を生成して、次に行列の他の行を取得するために巡回的に変換されることにより生成され得る。これにより、センサフィンガープリント(例えば、圧縮段階P2中のサーチセンサフィンガープリント)を圧縮するために、制御処理手段11により読み取られる必要がある別個のパラメータの数を低減できるので、従って、デバイス1が単位時間当たりにサーチを実行し得る画像の数を増加させることが可能である。
さらに、ランダム巡回行列の使用は、高速フーリエ変換(FFT)を用いて、圧縮されていないフィンガープリントとランダム巡回行列との間の積を得ることを可能にする。高速フーリエ変換は、
Figure 0006891379
から
Figure 0006891379
にフィンガープリントを圧縮するために実行される必要がある乗算の数を低減すること、すなわち、この演算の計算の複雑性を低減することを有利に可能にする。これにより、フィンガープリント(メモリ手段およびサーチセンサフィンガープリント内の両方のもの)が圧縮される速度が増加し得るので、デバイス1が単位時間当たりにサーチを実行し得るより多くの数の画像を促進するであろう。
当業者は、しかしながら本発明の教示から逸脱することなく、例えば、独立同分布(i.i.d.)のガウス確率変数、またはi.i.d.ラーデマッヘル確率変数、またはベルヌーイ確率変数、または決定論的なセンシング行列さえを備える完全なランダム行列などの他の種類の圧縮行列を用いてもよい。
本発明の本実施形態において、相関インデックスが閾値を超えている値を有する画像(または画像への参照)のみを選択することにより、デバイス1は、圧縮されたサーチセンサフィンガープリントとデバイス1にアクセス可能なメモリ手段12、13に格納される圧縮されたフィンガープリントの各々との間の相関インデックスをサーチ段階P3中に計算するために構成される。
この相関インデックスは、ハミング距離に基づいて好ましくは決定され、この特定の場合には、サーチセンサフィンガープリントをサーチセンサフィンガープリントが比較される画像のフィンガープリントへと変換するために必要なビット置換の数を測定し、逆もまた同様である。すなわち、ハミング距離は、サーチセンサフィンガープリントが、画像のうち1つと関連付けられた圧縮されたフィンガープリントとは異なるようにするビットの数を表す。
同一の長さ(L)を有する2つのフィンガープリント(a、b)間のハミング距離
Figure 0006891379
は、以下のように計算され得ることに注目されたい。
Figure 0006891379
示されるように、ハミング距離の計算は、2つのフィンガープリント間でのビット単位の排他的論理和(XOR)論理演算の結果において、論理値1を有するビットの数をカウントすることにより行われ得る。これらの演算は、制御処理手段11により、いかなる浮動小数点演算なしで非常に効率的な方式で有利に行われることができ、これにより、デバイス1が単位時間当たりにサーチを実施し得る画像の数を増加させることが可能であろう。
サーチ段階P3の時間効率および空間効率を改善するため、デバイス1は、一回の反復で画像をサーチ(すなわち、サーチセンサフィンガープリントとメモリ手段に格納されたフィンガープリントの各々とを比較)しないが、2つまたはそれより多くの反復を行うために構成されてもよい。より詳細には、デバイス1は、第1の反復中、または最後の反復に先行する任意の反復中、サーチフィンガープリントの一部と、画像と関連付けられたフィンガープリントの各々の一部との間の比較を行うため、閾値を超えている相関インデックスを有するフィンガープリントと関連付けられたこれらの画像(または画像への参照)を選択するために構成されてよく、これにより、最後の反復の過程において、サーチフィンガープリントと、先行する反復中に選択された画像と関連付けられたフィンガープリントとの間の比較が行われるであろう。このようにして、実行されるべき比較演算の数が低減され得る。実際に、ハミング距離が相関インデックスとして用いられたとき、サーチを実施するために制御処理手段11が実行する必要がある排他的論理和(XOR)演算の数を低減すること、すなわち、サーチフィンガープリントと、メモリ手段に格納された画像と関連付けられたフィンガープリントとを比較することが可能であり、デバイス1が単位時間当たりにサーチを実行することが可能であろう、より多くの数のフィンガープリント(従って、画像)をもたらす。
最後の反復中に比較されたフィンガープリントのサイズは、前の段階中に比較されたフィンガープリントのサイズより大きいことに注目されたい。このため、2つまたはそれより多くの異なるサイズ設定のフィンガープリントが、各画像と関連付けられてよく、サーチフィンガープリントは、それらの次元が、画像と関連付けられたフィンガープリントの次元と互換性がある、2つまたはより多くのフィンガープリントを得るような方式で圧縮される必要がある。
上記の代替として、単一のフィンガープリントは、各画像と常に関連付けられてよく、一方で、より小さいフィンガープリント(すなわち、最後の反復に先行する反復中に用いられるべきもの)が、より大きなフィンガープリント(すなわち、最後の反復中に用いられるべきもの)に基づいて得られる。従って、より小さなフィンガープリントは、より大きなフィンガープリントへと埋め込まれることが示され得る。これは、サーチの空間における複雑性を低減するであろう。なぜなら、デバイスにアクセス可能なメモリ手段に含まれる各画像について、2つまたはより多くのフィンガープリントを格納する必要はなく、より小さいフィンガープリントを生成すべく、より大きなフィンガープリントのうちどのビットが制御処理手段11により選択される、および/または読み取られる必要があるかを知らせることを可能にする静的なインデックスだけを格納する必要があるであろうからである。これは、格納され得る画像の数を増加させ、従って、デバイス1がサーチを実行することが可能であろう画像の数を増加させる。
加えて、空間における効率は、デバイス1により処理されるフィンガープリントの点の値を量子化することにより改善され得る。量子化という用語は、フィンガープリントの各点の値を予め定義されたかつ限定された値のセット(例えば0および1、またはより大きなセット)へと変換することを指す。このようにして、より多数の画像に関連付けられたフィンガープリントをデバイス1にアクセス可能なメモリ手段へと格納することが可能であろう。これにより、サーチは、より大きな数量の画像に対して実行され得る。当然ながら、これまでに説明された実施形態は、多くの変形の対象となり得る。
上述の実施形態の第1の変形例によると、デバイス1は、(より大きな圧縮されたフィンガープリントから始まってより小さいフィンガープリントを得ることを可能にする)上述の静的なインデックスに代わって、圧縮されたサーチセンサフィンガープリントの特徴点の位置に基づくインデックス、すなわち、所与の閾値より大きい値、またはフィンガープリントの点の値の平均より大きい値を有するフィンガープリントの点を生成するような方式で構成される。そのような点は、「外れ値」としても既知でもある。従って、より小さいフィンガープリントは、デバイス1が、要求メッセージに含まれるサーチセンサフィンガープリントの圧縮されたバージョンを生成していたときのみ生成され得る。なぜなら、その時点においてのみ、サーチセンサフィンガープリントにおける外れ値の位置を知ることが可能となるからである。この手法は、本手法において、取得センサのおよび/またはフィンガープリント抽出演算のノイズ閾値をはるかに上まわる値を有するフィンガープリントの点の間のみで比較が行われるという点において、重要な情報(例えば、1または複数の外れ値)を含むフィンガープリントの部分が考慮されない場合、第1の反復中(前の実施形態に関連する説明の一部を参照)に発生し得るフォールスネガティブ(誤って破棄されるフィンガープリント/画像)の数を制限する。このようにして、本発明に係る方法の精度およびリコールへの不利益なく、デバイス1が単位時間当たりにサーチを実行し得る画像の数を増加することが可能であろう。
上記の代替としてまたは上記と併せて、デバイス1がサーチを実施する各画像について、位置(座標)を揮発性メモリ手段12へとロードし、任意で、画像に関連付けられた圧縮されたフィンガープリントの外れ値の値、すなわち特徴点、つまり、所与の閾値より大きい値、またはフィンガープリントの他の点の値の平均より大きい値を有する点をすなわち、揮発性メモリ手段12へとロードすることがまた可能である。
このように、制御処理手段11は、大容量メモリ手段13からのロードされるべきデータを必要とすることなく、どの画像(またはそれらへの参照)が同一位置において、および任意で、同一の値について外れ値を有するかを判定でき、従ってデバイス1により単位時間当たりにサーチされる画像の数を増加させる。
さらに、上述された手法の両方を組み合わせる、すなわち、位置(座標)および任意で画像部分(例えば、選択される確率が最も高いもの)に関連付けられた圧縮されたフィンガープリントの外れ値の値を、揮発性メモリ手段12へとロードするためにデバイス1を構成し、すなわち、サーチ中に大容量メモリ手段13からロードするために、サーチセンサフィンガープリントの外れ値の位置に基づいて、残りの画像部分と関連付けられた(より小さい)フィンガープリントを判定するためにデバイス1を構成することも可能である。このようにして、単位時間当たりにサーチが行われ得る画像の数が、有利に増加することが可能であるとともに、サーチを実施するために必要な揮発性メモリの数量を限定もするであろう。
空間における効率の改善のために、揮発性メモリ手段12へとロードされた外れ値の位置(座標)に関する情報は、圧縮されたフィンガープリントの解像度より少ない(空間)解像度で符号化され得る。これにより、占有空間が等しい状態で、より多数の画像に関する情報が、揮発性メモリ手段12へとロードされ得る。従って、揮発性メモリにおける空間が等しい状態で、本発明に係る方法の精度およびリコールへの不利益なく、デバイス1がサーチを実施し得る画像の数を増加することが、可能であろう。
サーチを実施するために必要な揮発性メモリの空間を(例えば、空間効率を増加させるため)またさらに低減すべく、外れ値の位置、および任意で外れ値の値が、サーチの時間性能を損なわないであろう好適な符号化を用いて圧縮されてよい。位置は、例えば、好ましくは制御処理手段11を介して、以下の段階を実行することにより圧縮されてよい。
−外れ値の位置を昇順でソートする。
−できる限り最少の数のビットを用いて、第1の位置を符号化する。
−異なる方式で(例えば差分符号化を用いて)、すなわち、第2の位置と第1の位置との間の差異、第3の位置と第2の位置との間の差異などを計算することにより、第1の位置の後の位置を符号化する。
−k次指数ゴロム符号を用いて、位置の差異を符号化する。
前に説明された2つの実施形態と何れかの方法で組み合わせられてよい、本発明の第3の実施形態において、1つだけとは対照的に複数の圧縮行列が用いられ、これにより、種々の解像度を有するサーチセンサフィンガープリントを用いてクエリを実行することを可能にする。より詳細には、制御処理手段11は、フィンガープリントの圧縮段階P2中、圧縮行列のセットに含まれる複数の行列から、1または複数の圧縮行列(圧縮される必要があるセンサフィンガープリントにより乗算される、または圧縮される必要があるセンサフィンガープリントを乗算する必要がある)を、圧縮される必要があるセンサフィンガープリントの解像度(すなわち、次元)に基づいて選択するために構成される。このようにして、種々の解像度を有する画像にサーチを実施する、または種々の解像度を有するセンサフィンガープリントを使用することが有利に可能となり、それにより、サーチが実行され得る画像の数を増加させるであろう。
上記と併せて、制御処理手段11は、フィンガープリント圧縮段階P2中、好ましくは選択された第1の圧縮行列と、選択されたセンサフィンガープリントと、選択された第2の圧縮行列との間のそれらの(行列)積が、予め定義された、かつ一定の次元を有する圧縮されたセンサフィンガープリントを生成するようサイズ設定された2つまたはそれより多い圧縮行列を選択するために構成される。すなわち、これにより、圧縮行列のサイズは、圧縮されるべきフィンガープリントのサイズが変化するにしても、常に同一となるであろう。フィンガープリントの何れかのリスケーリング演算を実行する必要なく、圧縮されたフィンガープリントを直接比較することが従って可能であり、それにより、計算負荷を低減するであろう。加えて、予め定義されたサイズを有するフィンガープリントを用いることで、デバイス1のハードウェア(例えば、DSP、FPGA、CPLDまたは同様のものなどの専用の高性能処理手段を生成することまたは構成することにより)、および/またはフィンガープリント照合動作をできる限り早く実行すべく、デバイス1により実行され、従ってサーチが実施され得る画像の数を増加させるソフトウェアを最適化することが有利に可能であろう。
前に説明された最初の2つの実施形態と、どんな方法で組み合わせられてもよい、本発明の第4の実施形態において、デバイス1にアクセス可能なサーチセンサフィンガープリントの各々および画像(またはそれらへの参照)と関連付けられたフィンガープリントの各々は、好ましくはデバイス1により、および/またはデータ取得デバイス3により、以下のように生成される。
−(デバイス3から抽出された、または要求メッセージに含まれていた)フィンガープリントが読み取られ、各々が種々の解像度を有する所与の数のバージョンが生成される。
−フィンガープリントの各バージョンは、本発明の他の実施形態に関連して前に説明されたように、ランダムプロジェクション技術を用いて圧縮される。
−圧縮されたフィンガープリントの各バージョンは、ベクトルへと(前に説明されたように)変換され、全てのベクトルは、一緒に連結され、それにより、圧縮されたフィンガープリントの種々のバージョンの全てを(種々の解像度全てで)含む単一のベクトルを(元のフィンガープリントの各々について)生成する。
このように、画像(またはそれらへの参照と)と関連付けられたセンサフィンガープリントを生成することにより、サーチの過程において、サーチフィンガープリントの解像度の関数として、デバイス1が、フィンガープリントのうち少なくとも1つの解像度を変化させる必要があり得ることが有利に回避されるであろう。実際に、本発明のこの実施形態は、サーチ中、サーチフィンガープリント単体に関して、種々の解像度で圧縮された複数のフィンガープリントを含む圧縮されたフィンガープリントを生成することを可能にする。このようにして、サーチ過程において、何れの解像度の変換(アップスケーリング、またはダウンスケーリング)を実行する必要なく、好ましくは、ハミング距離を計算することにより、こうして生成されたサーチフィンガープリントを、類似の方式で生成された画像(またはそれらへの参照)と関連付けられた他のフィンガープリントと直接比較することが可能になるであろう。これは、デバイス1が、単位時間当たりにサーチを実施することが可能となる画像の数を増加させることをもたらす。
前に説明された2つの実施形態と、どんな方法で組み合わせられてもよい、本発明の第5の実施形態において、サーチは、複数のデバイス1を備えるコンピューティングシステムにより、または複数のCPUおよび/または複数のコアを含む1または複数のCPUを備える処理手段11が設けられたデバイス1により実施される。これにより、サーチの実行の速度を増加させる。これを行うべく、各CPUおよび/またはコアおよび/またはデバイス1は、(全体の)サーチが実施される必要がある画像のサブセットに部分的サーチ(サーチのサブ段階)を行うために構成され、サブセットは、他のCPUおよび/またはコアおよび/またはデバイス1によりサーチされる他のサブセットから切り離されることが好ましい。このように、各部分的サーチ(サーチのサブ段階)が他のものに依存しなくなるため、計算負荷は、種々のCPU/コア/デバイス1の間で分散されるであろう。これが、サーチが実施され得る画像の数を増加させることをもたらす。
本明細書は、考えられる変形例のいくつかに取り組んできたが、他の実施形態が実装されてもよいことが、当業者にとって明らかであろう。いくつかの要素は、他の技術的に同等の要素と置き換えられてよい。本発明は、従って、本明細書で説明されている例示的な例に限定されないが、以下の特許請求の範囲で述べられている基本的な発明の概念から逸脱することなく、同等の部分および要素の多くの修正、改善、または置換の対象となり得る。

Claims (35)

  1. メモリ手段における画像のサーチのための方法であって、
    前記メモリ手段は、
    −1または複数の画像および前記画像への参照のうち少なくとも1つと、
    −各画像およびそれへの参照のうち少なくとも1つに対して、前記画像および前記参照のうち少なくとも1つと関連付けられた、かつ前記画像を取得したセンサに関連する、少なくとも1つのセンサフィンガープリントとを少なくとも含み、
    前記方法は、
    −読み取り手段を介してサーチセンサフィンガープリントが読み取られる、読み取り段階と、
    −コンピューティング手段を介して前記メモリ手段に含まれる、前記画像および画像の参照の各々のうち少なくとも1つが、前記画像のうち1つの前記センサフィンガープリントの少なくとも1つの部分と、前記サーチセンサフィンガープリントの少なくとも1つの部分との間の少なくとも1つの比較に基づいて、選択されるかまたは破棄されるかである、サーチ段階とを備え、
    前記方法は、さらに、
    前記サーチ段階の前に実行されるべき圧縮段階を備え、前記サーチセンサフィンガープリント、および、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記センサフィンガープリントのうち少なくとも1つが、ランダムプロジェクション技術を用いて、前記コンピューティング手段を介して圧縮される、方法。
  2. 前記サーチセンサフィンガープリント、および、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記センサフィンガープリントの各々は、少なくとも1つの圧縮行列を前記サーチセンサフィンガープリントおよび前記センサフィンガープリントの各々で乗算することにより圧縮され、逆もまた同様である、請求項1に記載の方法。
  3. 前記少なくとも1つの圧縮行列は、部分巡回行列である、請求項2に記載の方法。
  4. 前記少なくとも1つの圧縮行列と、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記センサフィンガープリントのうち少なくとも1つとの間の前記乗算は、高速フーリエ変換を用いて実行される、請求項3に記載の方法。
  5. 前記少なくとも1つの圧縮行列は、圧縮行列のセットから、圧縮されるべき前記サーチセンサフィンガープリントまたは前記センサフィンガープリントのサイズに基づいて選択される、請求項2から4の何れか一項に記載の方法。
  6. 2つまたはそれより多い圧縮行列が、圧縮行列の前記セットから、圧縮されるべき前記サーチセンサフィンガープリントまたは前記センサフィンガープリントのサイズに基づいて選択され、前記選択された圧縮行列の次元は、前記圧縮行列と圧縮されるべき前記サーチセンサフィンガープリントまたは前記センサフィンガープリントとの間の積が、予め定義されたサイズを有する圧縮されたセンサフィンガープリントを生成するものである、請求項5に記載の方法。
  7. 各センサフィンガープリントは、異なる解像度を有する前記センサフィンガープリントの複数のバージョンを連結することにより、前記コンピューティング手段を介して圧縮され、前記センサフィンガープリントの各バージョンは、ランダムプロジェクション技術を用いて圧縮される、請求項1から4の何れか一項に記載の方法。
  8. 前記サーチ段階中、相関インデックスが、前記圧縮されたサーチセンサフィンガープリントと、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記圧縮されたフィンガープリントの各々との間で前記コンピューティング手段を介して計算され、前記画像または前記画像への前記参照は、前記相関インデックスの値に基づいて選択されるかまたは破棄されるかである、請求項1から7の何れか一項に記載の方法。
  9. 前記相関インデックスは、前記圧縮されたサーチセンサフィンガープリントと前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記圧縮されたフィンガープリントの各々との間でハミング距離に基づいて計算される、請求項8に記載の方法。
  10. 前記サーチ段階中、2つまたはそれより多いサーチ反復が前記コンピューティング手段を介して実行され、最後の反復に先行する前記反復のうち少なくとも1つの前記反復中、相関インデックスが、前記圧縮されたサーチフィンガープリントの少なくとも1つの部分と、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記圧縮されたフィンガープリントの各々の少なくとも1つの部分との間で計算され、前記画像のセットまたは前記画像への参照が、前記相関インデックスに基づいて選択され、最後の反復中、前記サーチフィンガープリントと、画像および前記画像のセットに含まれる前記画像への前記参照のうち少なくとも1つと関連付けられた前記フィンガープリントの各々との間で比較が行われる、請求項8または9に記載の方法。
  11. 最後の反復に先行する前記反復のうち少なくとも1つの前記反復中、前記圧縮されたサーチセンサフィンガープリントと比較される、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記圧縮されたフィンガープリントの各々の前記部分が、前記圧縮されたサーチセンサフィンガープリントの特徴点の位置に基づいて判定され、前記特徴点は、特定の閾値より大きい値、または前記フィンガープリントの点の平均値より大きい値を有する、圧縮されたフィンガープリントの点である、請求項10に記載の方法。
  12. 前記サーチ段階の前に実行される、メモリをロードする段階も備え、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記センサフィンガープリントの前記特徴点の位置を含むサーチ情報は、揮発性メモリ手段へとロードされる、請求項11に記載の方法。
  13. 前記サーチ情報に含まれる位置は、画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記圧縮されたフィンガープリントの解像度より低い前記解像度で符号化される、請求項12に記載の方法。
  14. 前記サーチ情報に含まれる位置は、k次指数ゴロム符号を用いることにより、異なる方式で符号化される、請求項12または13に記載の方法。
  15. 前記サーチ段階は、複数のサーチのサブ段階を備え、前記サブ段階の各々は、前記コンピューティング手段を介して、他のものに依存せずに実行でき、前記サブ段階の各々は、前記メモリ手段に含まれる前記画像のサブセットに実行される、請求項1から14の何れか一項に記載の方法。
  16. サーチのサブ段階が実行される、前記メモリ手段に含まれる前記画像の各サブセットは、他のサブセットから切り離される、請求項15に記載の方法。
  17. 前記圧縮段階中、前記圧縮されたフィンガープリントの点の各々の値は、前記コンピューティング手段を介して、限定された値のセットの範囲内に含まれる値へと変換される、請求項1から16のいずれか一項に記載の方法。
  18. 請求項1から17の何れか一項に記載の画像サーチ方法をコンピュータに実行させるためのコンピュータプログラム。
  19. 画像のサーチのためのデバイスであって、
    −大容量メモリ手段にアクセスするために適合される入力/出力手段であって、
    前記大容量メモリ手段は、
    1または複数の画像および前記画像への参照のうち少なくとも1つと、
    各画像およびそれへの参照のうち少なくとも1つについて、前記画像および前記参照のうち少なくとも1つと関連付けられた、および前記画像を取得したセンサに関連した少なくとも1つのセンサフィンガープリントとを少なくとも含む、入力/出力手段と、
    −サーチセンサフィンガープリントを読み取るための読み取り手段と、
    −前記センサフィンガープリントの少なくとも一部がロードできる揮発性メモリ手段と、
    −前記大容量メモリ手段、前記揮発性メモリ手段、および前記読み取り手段との信号通信におけるコンピューティング手段であって、前記コンピューティング手段は、前記画像および前記画像への前記参照のうち少なくとも1つの間でサーチを実行し、前記大容量メモリ手段および前記揮発性メモリ手段に含まれる前記画像および前記画像への前記参照の各々のうち少なくとも1つは、前記画像の前記センサフィンガープリントの少なくとも1つの部分と、前記サーチセンサフィンガープリントの少なくとも1つの部分との間の少なくとも1つの比較に基づいて選択されるかまたは破棄されるかである、コンピューティング手段とを備え、
    前記コンピューティング手段は、さらに前記サーチを行う前に、前記サーチセンサフィンガープリントと、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記センサフィンガープリントのうち少なくとも1つとをランダムプロジェクション技術を用いて圧縮するデバイス。
  20. 前記サーチセンサフィンガープリント、および、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記センサフィンガープリントの各々は、少なくとも1つの圧縮行列を前記サーチセンサフィンガープリントおよび前記センサフィンガープリントの各々で乗算することにより圧縮され、逆もまた同様である、請求項19に記載のデバイス。
  21. 前記少なくとも1つの圧縮行列は、部分巡回行列である、請求項20に記載のデバイス。
  22. 前記コンピューティング手段は、さらに、前記少なくとも1つの圧縮行列を、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記センサフィンガープリントのうち少なくとも1つで乗算すべく、高速フーリエ変換を実行する請求項21に記載のデバイス。
  23. 前記コンピューティング手段は、さらに、圧縮されるべき前記サーチセンサフィンガープリントまたは前記センサフィンガープリントのサイズに基づいて、圧縮行列のセットから前記少なくとも1つの圧縮行列を選択する請求項19から22の何れか一項に記載のデバイス。
  24. 前記コンピューティング手段は、圧縮行列の前記セットから、2つまたはそれより多い圧縮行列を圧縮されるべき前記サーチセンサフィンガープリントまたは前記センサフィンガープリントのサイズに基づいて選択され、前記選択された圧縮行列の次元は、前記圧縮行列と圧縮されるべき前記サーチセンサフィンガープリントまたは前記センサフィンガープリントとの間の積が、予め定義されたサイズを有する圧縮されたセンサフィンガープリントを生成するものである、請求項23に記載のデバイス。
  25. 前記コンピューティング手段は、さらに、異なる解像度を有する前記センサフィンガープリントの複数のバージョンを連結することにより、各センサフィンガープリントを圧縮し、前記センサフィンガープリントの各バージョンは、ランダムプロジェクション技術を用いることにより、前記コンピューティング手段によって圧縮される、請求項19から22の何れか一項に記載のデバイス。
  26. 前記コンピューティング手段は、さらに、前記サーチ中、前記圧縮されたサーチセンサフィンガープリントと、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記圧縮されたフィンガープリントの各々との間の相関インデックスを計算し、前記コンピューティング手段は、前記画像および前記画像への参照のうち少なくとも1つを前記相関インデックスの値に基づいて、選択または破棄する、請求項19から25の何れか一項に記載のデバイス。
  27. 前記コンピューティング手段は、前記圧縮されたサーチセンサフィンガープリントと、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記圧縮されたフィンガープリントの各々との間でハミング距離に基づいて前記相関インデックスを計算する、請求項26に記載のデバイス。
  28. 前記コンピューティング手段は、さらに、前記サーチ中、2つまたはそれより多いサーチ反復を実行し、最後の反復に先行する前記反復のうち少なくとも1つの前記反復中、前記コンピューティング手段は、前記圧縮されたサーチフィンガープリントの少なくとも1つの部分と、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記圧縮されたフィンガープリントの各々の1つの部分との間の相関インデックスを計算し、画像のセットまたは前記画像への参照を前記相関インデックスに基づいて選択し、最後の反復中、前記コンピューティング手段は、前記サーチフィンガープリントと、前記画像のセットに含まれる、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記フィンガープリントの各々との間で比較が行われる、請求項26または27に記載のデバイス。
  29. 前記コンピューティング手段は、さらに、最後の反復に先行する前記反復のうち少なくとも1つの前記反復中、前記圧縮されたサーチセンサフィンガープリントと比較される、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記圧縮されたフィンガープリントの各々の前記部分を、前記圧縮されたサーチセンサフィンガープリントの特徴点の位置に基づいて判定し、前記特徴点は、特定の閾値より大きい値、または前記フィンガープリントの点の平均値より大きい値を有する圧縮されたフィンガープリントの点である、請求項28に記載のデバイス。
  30. コンピューティング手段は、さらに、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記センサフィンガープリントの前記特徴点の位置を含むサーチ情報を、前記サーチの前に、前記揮発性メモリ手段へとロードする、請求項29に記載のデバイス。
  31. 前記コンピューティング手段は、さらに、前記サーチ情報に含まれる位置を、前記画像および前記画像への前記参照のうち少なくとも1つと関連付けられた前記圧縮されたフィンガープリントの解像度より低い前記解像度で符号化する、請求項30に記載のデバイス。
  32. 前記コンピューティング手段は、さらに、前記サーチ情報に含まれる位置をk次指数ゴロム符号を用いることにより、異なる方式で、符号化する、請求項30または31に記載のデバイス。
  33. 前記コンピューティング手段は、さらに、前記圧縮されたフィンガープリントの点の各々の値を限定された値のセットの範囲内に含まれる値へと変換する、請求項19から32の何れか一項に記載のデバイス。
  34. 前記デバイスの各々は、サーチ部分を実行し、各部分は、他のものに依存せずに実行でき、前記サーチ部分の各々は、前記大容量メモリ手段に含まれる前記画像のサブセットに実行される、請求項19から33の何れか一項に記載の複数のデバイスを備えるコンピューティングシステム。
  35. サーチ部分が実行される、前記大容量メモリ手段に含まれる前記画像の各サブセットは、他のサブセットから切り離される、請求項34に記載のコンピューティングシステム。
JP2017556824A 2015-06-23 2016-06-20 画像のサーチのための方法およびデバイス Active JP6891379B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT102015000026649 2015-06-23
ITUB20151608 2015-06-23
PCT/IB2016/053656 WO2016207774A1 (en) 2015-06-23 2016-06-20 Method and device for searching images

Publications (2)

Publication Number Publication Date
JP2018522312A JP2018522312A (ja) 2018-08-09
JP6891379B2 true JP6891379B2 (ja) 2021-06-18

Family

ID=54064511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017556824A Active JP6891379B2 (ja) 2015-06-23 2016-06-20 画像のサーチのための方法およびデバイス

Country Status (8)

Country Link
US (1) US10515112B2 (ja)
EP (1) EP3314534B1 (ja)
JP (1) JP6891379B2 (ja)
CN (1) CN107735783B (ja)
ES (1) ES2898868T3 (ja)
IL (1) IL256105B (ja)
PL (1) PL3314534T3 (ja)
WO (1) WO2016207774A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201515615D0 (en) * 2015-09-03 2015-10-21 Functional Technologies Ltd Clustering images based on camera fingerprints
IT201600105253A1 (it) * 2016-10-19 2018-04-19 Torino Politecnico Dispositivo e metodi per l'autenticazione di unn apparato d'utente
CN106656210B (zh) * 2017-01-03 2020-06-19 重庆邮电大学 一种基于完备循环差集的可快速编码的type-II QC-LDPC码构造方法
US11405358B2 (en) * 2017-03-01 2022-08-02 Siemens Aktiengesellschaft Network security monitoring of network traffic
CN107760633A (zh) * 2017-11-30 2018-03-06 成都欧林生物科技股份有限公司 肺炎链球菌的固体培养基
US11146445B2 (en) * 2019-12-02 2021-10-12 Alibaba Group Holding Limited Time series decomposition
CN114422757B (zh) * 2020-04-14 2023-06-02 华为技术有限公司 一种摄像机的认证方法及控制装置
CN111522973B (zh) * 2020-04-16 2023-03-31 重庆邮电大学 一种融合压缩感知的隐私保护图像检索方法
WO2022099696A1 (zh) * 2020-11-16 2022-05-19 华为技术有限公司 一种摄像头标识方法、认证方法、系统及终端
CN115880734A (zh) * 2022-05-10 2023-03-31 神盾股份有限公司 生物特征检测传感器及其信号处理方法及电子产品

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091634A (ja) * 1996-08-15 1998-04-10 Hewlett Packard Co <Hp> 写真画像検索システム
US7092017B2 (en) * 2002-09-13 2006-08-15 Eastman Kodak Company Fixed pattern noise removal in CMOS imagers across various operational conditions
JP2004258963A (ja) * 2003-02-26 2004-09-16 Fujitsu Ltd 多段階照合による高速idレス照合方法およびシステム
JP4032241B2 (ja) * 2003-02-28 2008-01-16 日本電気株式会社 指紋照合装置及びその方法
US7251372B2 (en) * 2004-01-14 2007-07-31 Nec Solutions (America) Inc. Method and system for compressing digitized fingerprint images by a uniform degree of compression
JP4428067B2 (ja) * 2004-01-28 2010-03-10 ソニー株式会社 画像照合装置、プログラム、および画像照合方法
WO2006044917A2 (en) * 2004-10-15 2006-04-27 The Regents Of The University Of Colorado, A Body Corporate Revocable biometrics with robust distance metrics
US7616237B2 (en) * 2005-12-16 2009-11-10 The Research Foundation Of State University Of New York Method and apparatus for identifying an imaging device
US7787030B2 (en) * 2005-12-16 2010-08-31 The Research Foundation Of State University Of New York Method and apparatus for identifying an imaging device
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
JP2011077958A (ja) * 2009-09-30 2011-04-14 Chiba Univ 次元圧縮装置、次元圧縮方法及び次元圧縮プログラム
US8731236B2 (en) * 2011-01-14 2014-05-20 Futurewei Technologies, Inc. System and method for content protection in a content delivery network
US8374386B2 (en) * 2011-01-27 2013-02-12 Polytechnic Institute Of New York University Sensor fingerprint matching in large image and video databases
US8571306B2 (en) * 2011-08-10 2013-10-29 Qualcomm Incorporated Coding of feature location information
CN102508144A (zh) * 2011-10-26 2012-06-20 西安电子科技大学 测量ccd芯片暗信号非均匀性和光子响应非均匀性的方法
GB2486987B (en) * 2012-01-03 2013-09-04 Forensic Pathways Ltd Methods for automatically clustering images acquired by unknown devices
EP2901329A4 (en) * 2012-08-02 2016-07-13 Agency Science Tech & Res TEST EQUIPMENT, SERVER AND METHOD FOR CONTROLLING A TEST APPARATUS
CN103020641A (zh) * 2012-11-18 2013-04-03 郑州大学 一种基于dft交叉相关分析的数码照片来源识别方法
EP3172700B1 (en) * 2014-07-21 2021-04-28 Politecnico Di Torino Improved method for fingerprint matching and camera identification, device and system

Also Published As

Publication number Publication date
CN107735783B (zh) 2021-10-15
PL3314534T3 (pl) 2022-01-17
US20180157680A1 (en) 2018-06-07
IL256105A (en) 2018-02-28
WO2016207774A1 (en) 2016-12-29
CN107735783A (zh) 2018-02-23
EP3314534A1 (en) 2018-05-02
ES2898868T3 (es) 2022-03-09
EP3314534B1 (en) 2021-09-01
US10515112B2 (en) 2019-12-24
JP2018522312A (ja) 2018-08-09
IL256105B (en) 2022-02-01

Similar Documents

Publication Publication Date Title
JP6891379B2 (ja) 画像のサーチのための方法およびデバイス
JP6780220B2 (ja) 方法、デバイス、システム、およびプログラム
US20240022648A1 (en) Systems and methods for data deduplication by generating similarity metrics using sketch computation
US10062083B2 (en) Method and system for clustering and classifying online visual information
JP5926291B2 (ja) 類似画像を識別する方法および装置
US20170038978A1 (en) Delta Compression Engine for Similarity Based Data Deduplication
US11119995B2 (en) Systems and methods for sketch computation
US20160019211A1 (en) A process for obtaining candidate data from a remote storage server for comparison to a data to be identified
EP4078340A1 (en) Systems and methods for sketch computation
Cattaneo et al. A scalable approach to source camera identification over Hadoop
JP6192804B2 (ja) データ圧縮装置およびデータ圧縮方法
Barbarioli et al. Hierarchical residual encoding for multiresolution time series compression
CN109213972B (zh) 确定文档相似度的方法、装置、设备和计算机存储介质
US20210191640A1 (en) Systems and methods for data segment processing
Wang et al. Chunk2vec: A novel resemblance detection scheme based on Sentence‐BERT for post‐deduplication delta compression in network transmission
CN114205424B (zh) 账单文件解压方法、装置、计算机设备和存储介质
Netalkar et al. Distributed compression and decompression for big image data: LZW and Huffman coding
US10037148B2 (en) Facilitating reverse reading of sequentially stored, variable-length data
Valsesia et al. Image retrieval based on compressed camera sensor fingerprints
US20240354342A1 (en) Compact Probabilistic Data Structure For Storing Streamed Log Lines
Rani A Hybrid Approach for Effective ImageDeduplication Using PCA, SPIHT and Compressive Sensing
CN112487426A (zh) 一种系统白名单的确定方法、系统及服务器
Zhang et al. Improving Storage Efficiency for Raw Image Photo Repository by Exploiting Similarity

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200827

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210506

R150 Certificate of patent or registration of utility model

Ref document number: 6891379

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250