JP7010336B2 - 情報処理装置、容疑者情報生成方法及びプログラム - Google Patents

情報処理装置、容疑者情報生成方法及びプログラム Download PDF

Info

Publication number
JP7010336B2
JP7010336B2 JP2020114685A JP2020114685A JP7010336B2 JP 7010336 B2 JP7010336 B2 JP 7010336B2 JP 2020114685 A JP2020114685 A JP 2020114685A JP 2020114685 A JP2020114685 A JP 2020114685A JP 7010336 B2 JP7010336 B2 JP 7010336B2
Authority
JP
Japan
Prior art keywords
information
face image
registered
dna
dna information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020114685A
Other languages
English (en)
Other versions
JP2020187763A (ja
Inventor
稔 麻生川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2020187763A publication Critical patent/JP2020187763A/ja
Priority to JP2022003067A priority Critical patent/JP7287511B2/ja
Application granted granted Critical
Publication of JP7010336B2 publication Critical patent/JP7010336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B20/00ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Biotechnology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Molecular Biology (AREA)
  • Genetics & Genomics (AREA)
  • Biophysics (AREA)
  • Analytical Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)

Description

(関連出願についての記載)
本発明は、日本国特許出願:特願2016-035861号(2016年2月26日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、情報処理装置、容疑者情報生成方法及びプログラムに関する。特に、犯罪捜査に用いられる情報を扱う情報処理装置、容疑者情報生成方法及びプログラムに関する。
犯行現場に残された血痕などから犯人のDNA(deoxyribonucleic acid)情報を取得して、犯人特定に役立てる犯罪捜査が確立されている(例えば、特許文献1を参照)。また、英国等では、犯罪者のDNA情報がデータベース化されており、上記犯罪捜査と組み合わせて犯人特定などに役立てられている。
また、近年、防犯カメラ等により撮影された映像データを活用した犯罪捜査も行われている。画像処理に関する要素技術が、以下の文献に記載されている。特許文献2において、入力画像から顔画像を抽出する際の技術が開示されている。また、特許文献3において、画像から特徴点を抽出する際の技術が開示されている。
特開平10-115616号公報 特開2014-170979号公報 特開2015-097000号公報
以下の分析は、本発明の観点からなされたものである。なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。
上述のデータベースを用いた犯罪捜査は、犯人がデータベースに登録されている前科者(即ち、再犯者)である場合には有用であるが、犯人が初犯者である場合には犯人特定に有益な情報が得られないという問題点がある。
本発明は、犯罪捜査を円滑に進めるための情報を提供することに寄与する情報処理装置、容疑者情報生成方法及びプログラムを提供することを目的とする。
本発明の第1の視点によれば、容疑者のDNA情報と、複数の顔画像に関する情報を含む顔画像情報と、を入力する入力部と、データベースに登録された複数のDNA情報のなかから、前記容疑者の血縁者であると推定される人物のDNA情報を特定し、前記特定されたDNA情報により前記容疑者の血縁者であると推定される人物からなる血縁者リストを生成する、血縁者リスト生成部と、前記血縁者リストの人物の顔画像と、前記顔画像情報に含まれる前記複数の顔画像それぞれと、の間の類似度を算出し、前記算出された類似度に基づき、前記顔画像情報に含まれる前記複数の顔画像のなかから、前記血縁者リストの人物の顔画像に似る顔画像を検索する、類似画像検索部と、前記検索された顔画像に関する情報と、前記血縁者リストの人物であって前記検索された顔画像に似る人物に関する情報と、を対応付けて容疑者情報として生成する、容疑者情報生成部と、を含む、情報処理装置が提供される。
本発明の第2の視点によれば、容疑者のDNA情報と、複数の顔画像に関する情報を含む顔画像情報と、を入力するステップと、データベースに登録された複数のDNA情報のなかから、前記容疑者の血縁者であると推定される人物のDNA情報を特定し、前記特定されたDNA情報により前記容疑者の血縁者であると推定される人物からなる血縁者リストを生成するステップと、前記血縁者リストの人物の顔画像と、前記顔画像情報に含まれる前記複数の顔画像それぞれと、の間の類似度を算出し、前記算出された類似度に基づき、前記顔画像情報に含まれる前記複数の顔画像のなかから、前記血縁者リストの人物の顔画像に似る顔画像を検索するステップと、前記検索された顔画像に関する情報と、前記血縁者リストの人物であって前記検索された顔画像に似る人物に関する情報と、を対応付けて容疑者情報として生成するステップと、を含む、容疑者情報生成方法が提供される。
本発明の第3の視点によれば、容疑者のDNA情報と、複数の顔画像に関する情報を含む顔画像情報と、を入力する処理と、データベースに登録された複数のDNA情報のなかから、前記容疑者の血縁者であると推定される人物のDNA情報を特定し、前記特定されたDNA情報により前記容疑者の血縁者であると推定される人物からなる血縁者リストを生成する処理と、前記血縁者リストの人物の顔画像と、前記顔画像情報に含まれる前記複数の顔画像それぞれと、の間の類似度を算出し、前記算出された類似度に基づき、前記顔画像情報に含まれる前記複数の顔画像のなかから、前記血縁者リストの人物の顔画像に似る顔画像を検索する処理と、前記検索された顔画像に関する情報と、前記血縁者リストの人物であって前記検索された顔画像に似る人物に関する情報と、を対応付けて容疑者情報として生成する処理と、を、コンピュータに実行させるプログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
本発明の各視点によれば、犯罪捜査を円滑に進めるための情報を提供することに寄与する情報処理装置、容疑者情報生成方法及びプログラムが、提供される。
一実施形態の概要を説明するための図である。 第1の実施形態に係る容疑者情報出力システムの構成の一例を示す図である。 容疑者DNA情報の一例を示す図である。 顔画像情報の一例を示す図である。 第1の実施形態に係るDNAデータベースが記憶する情報の一例を示す図である。 第1の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 第1の実施形態に係る情報処理装置の処理構成の一例を示すブロック図である。 血縁者リスト生成部の動作の一例を示すフローチャートである。 DNA情報の一例を示す図である。 血縁者リスト生成部の動作を説明するための図である。 血縁者リストの一例を示す図である。 類似画像検索部の動作の一例を示すフローチャートである。 顔画像情報の顔画像から算出した特徴量ベクトルを図4に示す顔画像情報に反映した図である。 類似画像検索部による類似判定の結果が反映された血縁者リストの一例を示す図である。 容疑者情報の一例を示す図である。 第1の実施形態に係る情報処理装置の動作の一例を示すフローチャートである。 DNAを利用した血縁者の絞り込みを説明するための図である。
初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。
一実施形態に係る情報処理装置100は、入力部101と、血縁者リスト生成部102と、類似画像検索部103と、容疑者情報生成部104と、を備える(図1参照)。入力部101は、容疑者のDNA情報と、複数の顔画像に関する情報を含む顔画像情報と、を入力する。血縁者リスト生成部102は、データベースに登録された複数のDNA情報のなかから、容疑者の血縁者であると推定される人物のDNA情報を特定し、特定されたDNA情報により容疑者の血縁者であると推定される人物からなる血縁者リストを生成する。類似画像検索部103は、血縁者リストの人物の顔画像と、顔画像情報に含まれる複数の顔画像それぞれと、の間の類似度を算出し、算出された類似度に基づき、顔画像情報に含まれる複数の顔画像のなかから、血縁者リストの人物の顔画像に似る顔画像を検索する。容疑者情報生成部104は、検索された顔画像に関する情報と、血縁者リストの人物であって検索された顔画像に似る人物に関する情報と、を対応付けて容疑者情報として生成する。
情報処理装置100は、犯行現場に残された血痕等を解析することで得られるDNA情報に対応する人物を容疑者のDNA情報として扱う。情報処理装置100は、データベースに格納されたDNA情報のなかから、容疑者の血縁者であると推定される人物のDNA情報を検索し、特定する。また、情報処理装置100は、顔画像情報を、犯行現場及びその周辺に設置された防犯カメラ等から得られる複数の顔画像の中に犯人の顔画像を含む情報として扱い、複数の顔画像から容疑者の顔画像を検索する。具体的には、情報処理装置100は、血縁者リストにより特定された人物の顔と類似する顔を複数の顔画像の中から検索し、検索された顔画像の人物を容疑者とし、その関連情報(例えば、容疑者の顔画像と血縁者の氏名等)を出力する。
このように、情報処理装置100は、個人識別能力に優れたDNA情報を用いて、容疑者と血縁関係を有する人物の絞り込みを行う。次に、血縁関係にある者同士の顔は似ていることを前提とし、情報処理装置100は、犯行現場及びその周辺に居た人物のなかから、容疑者と似た顔を有する人物の絞り込みを行う。情報処理装置100は、上記の2段階の絞り込みを行うことで、犯行現場及びその周辺の防犯カメラから得られる多数の顔画像のなかから、容疑者の顔画像と容疑者の血縁者の情報を捜査機関に提供できる。即ち、犯行現場及びその周辺に居た人物の中から犯行の容疑が高い人物が選出されるので、犯行現場に残された犯人のDNA情報に基づく容疑者の絞り込みという点で犯罪捜査に寄与することができる。
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
図2は、第1の実施形態に係る容疑者情報出力システムの構成の一例を示す図である。図2を参照すると、容疑者情報出力システムは、情報処理装置10と、DNAデータベース20と、を含んで構成される。情報処理装置10とDNAデータベース20はネットワーク(図示せず)を介して接続されている。
情報処理装置10には、容疑者DNA情報と、顔画像情報とが入力される。情報処理装置10は、これらの情報と、DNAデータベース20にアクセスすることで得られる情報と、に基づいて容疑者情報を生成し、出力する。
容疑者DNA情報は、犯行現場に残された血痕等の検体に対するDNA解析により得られるDNA情報を含む。DNA情報とは、個人識別に用いられるマイクロサテライトにおける縦列型反復配列(STR;Short Tandem Repeat)のリピート数を含む情報である。例えば、容疑者DNA情報は、犯行現場から採取した検体のID(Identifier;以下、検体IDと表記する)と、マイクロサテライトのローカス(例えば、vWA等)と、リピート数とを対応付けたDNA情報を含む(図3参照)。
顔画像情報は、犯行現場及びその周辺に設置された防犯カメラ等の映像機器により記憶されたデータから生成される情報である。例えば、警察等の捜査機関は、犯行現場及びその周辺に設置された防犯カメラが記憶した映像データを取得する。その後、捜査機関(捜査官)は、映像データに写る人物の顔画像を抽出する。捜査官等は、抽出された顔画像と当該顔画像に関連する情報を関連付けて顔画像情報を生成する。
図4は、顔画像情報の一例を示す図である。図4を参照すると、例えば、顔画像情報は、抽出された顔画像を識別するID(以下、顔画像IDと表記する)及びその実体ファイル(抽出した顔画像)と、抽出された顔画像の人物が撮影された位置(カメラ等の場所)及び日時に関する情報と、が1つのエントリとして関係付けられて生成される。
なお、映像データから顔画像を抽出する際には種々の技術を用いることができる。
例えば、特許文献2に開示されているように、入力画像(顔画像を含む映像データ)と、顔画像のテンプレート画像と、を比較し、両者の差分が閾値以下であるか否かにより、顔画像を抽出してもよい。また、色情報やエッジの方向や密度を組み合わせたモデルをあらかじめ記憶しておき、入力フレームからモデルに類似した領域が検出された場合に顔が存在すると判定し、顔画像を抽出することもできる。さらに、顔(頭部)の輪郭は楕円、目や口は矩形形状をしていることを利用して作成したテンプレートを使用し、顔画像を検出することも可能である。さらにまた、頬や額の部分は輝度が高く、目や口の部分の輝度は低いという輝度分布の特性を利用した顔検出手法や、顔の対称性や肌色領域と位置を利用して顔検出を行う手法等を用いてもよい。あるいは、大量の顔と非顔の学習サンプルから得られた特徴量分布を統計的に学習し、入力画像から得られる特徴量が顔と非顔のどちらの分布に属するかを判定する手法を用いてもよい。即ち、サポートベクターマシン等の機械学習に係る技術を顔画像の抽出に用いてもよい。
捜査官等は、上記の顔画像抽出処理が実装されたコンピュータ等を用いて、顔画像情報を生成する。なお、顔画像情報に含まれる顔画像の抽出源(ソース)は映像データに限定されない。写真等の画像データから顔画像を抽出し、顔画像情報に登録してもよい。
DNAデータベース20は、前科者を含む多人数のDNA情報(以下、登録DNA情報と表記する)と顔画像などの個人識別情報とを対応付けて記憶する装置である。具体的な一例を挙げると、DNAデータベース20は、図5に示すように、個人識別情報と登録DNA情報とを対応付けて記憶する。個人識別情報は、顔画像(顔写真)、氏名、生年月日、血液型、人種、肌の色、眼の色などの個人識別に用いられる情報である。登録DNA情報は、マイクロサテライトのローカス(vWA等)とSTRのリピート数(16、18等)とを対応付けた情報である。なお、DNAデータベース20は、諸外国で既に運用されている犯罪者データベースも含み得る。以下では、DNAデータベース20に登録される情報を「登録情報」と表記し、各登録情報を識別するIDを登録IDと表記する。
情報処理装置10は、容疑者DNA情報と、顔画像情報と、DNAデータベース20に格納された登録情報と、に基づいて容疑者情報を生成し、出力する装置である。
図6は、第1の実施形態に係る情報処理装置10のハードウェア構成の一例を示すブロック図である。情報処理装置10は、所謂、コンピュータであり、図6に例示する構成を備える。例えば、情報処理装置10は、内部バスにより相互に接続される、CPU(Central Processing Unit)11、メモリ12、入出力インターフェイス13及びNIC(Network Interface Card)14等を備える。情報処理装置10は、NIC14を介してDNAデータベース20等と通信を行う。なお、図6に示す構成は、情報処理装置10のハードウェア構成を限定する趣旨ではない。情報処理装置10は、図示しないハードウェアを含んでもよい。
メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)等である。
入出力インターフェイス13は、図示しない入出力装置のインターフェイスとなる手段である。入出力装置には、例えば、表示装置、操作デバイス、外部記憶装置、印刷装置等が含まれる。表示装置は、例えば、液晶ディスプレイ等である。操作デバイスは、例えば、キーボードやマウス等である。外部記憶装置は、例えば、USB(Universal Serial Bus)メモリ等である。
図7は、第1の実施形態に係る情報処理装置10の処理構成の一例を示すブロック図である。図7を参照すると、情報処理装置10は、入力部201と、DNA情報処理部202と、出力部203と、を含んで構成される。上記の各処理モジュールは、例えば、メモリ12に格納されたプログラムをCPU11が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能を何らかのハードウェア、及び/又は、ソフトウェアで実行する手段があればよい。
入力部201は、上述の容疑者DNA情報と顔画像情報を入力する手段である。例えば、入力部201は、入出力インターフェイス13を介して、容疑者DNA情報や顔画像情報が格納された外部記憶装置にアクセスし、当該情報を取得する。あるいは、入力部201は、NIC14を介してネットワークのサーバにアクセスし上記の情報を取得してもよい。入力部201は、入力した容疑者DNA情報と顔画像情報をDNA情報処理部202に引き渡す。
DNA情報処理部202は、上記の容疑者DNA情報等に基づいて容疑者情報を生成する手段である。DNA情報処理部202は、DNA情報比較部211と、血縁者リスト生成部212と、類似画像検索部213と、容疑者情報生成部214と、を含んで構成される。
入力部201から容疑者DNA情報と顔画像情報を取得すると、DNA情報処理部202は、NIC14を介してDNAデータベース20にアクセスし、当該データベースに格納された「登録情報」を取得する。DNA情報処理部202は、登録情報の取得が終了すると、DNA情報比較部211を起動する。
DNA情報比較部211は、入力部201から取得した容疑者DNA情報と、DNAデータベース20から取得した登録DNA情報と、を比較する。比較の結果、容疑者DNA情報に一致する登録DNA情報がDNAデータベース20に存在すれば、DNA情報比較部211は、当該登録DNA情報に対応する人物が容疑者である旨と該当人物の個人識別情報を容疑者情報生成部214に通知する。即ち、容疑者DNA情報に一致する登録DNA情報がDNAデータベース20に登録されていれば、DNAデータベース20に容疑者に関する情報が登録されている旨の通知が容疑者情報生成部214に対して行われる。
容疑者DNA情報と登録DNA情報の比較の結果、容疑者DNA情報に一致する登録DNA情報が存在しなければ、DNA情報処理部202は、主に血縁者リスト生成部212と類似画像検索部213を用いて容疑者情報を生成する。
血縁者リスト生成部212は、DNAデータベース20に登録された複数の登録DNA情報のなかから、容疑者の血縁者であると推定される人物のDNA情報を特定し、当該特定されたDNA情報により容疑者の血縁者であると推定される人物からなる血縁者リストを生成する手段である。具体的には、血縁者リスト生成部212は、容疑者DNA情報に含まれるマイクロサテライトのローカスとDNAデータベース20に登録されたDNA情報の対応するローカスとの間でマッチング判定を行い、マッチング判定を行ったローカスの総数に対するマッチと判定されたローカスの数に応じて、容疑者の血縁者であると推定される人物のDNA情報の特定を行う。
図8は、血縁者リスト生成部212の動作の一例を示すフローチャートである。図8を参照しつつ、血縁者リスト生成部212の動作を説明する。
ステップS101において、血縁者リスト生成部212は、DNAデータベース20から取得した複数の登録情報のうち、1つの登録情報を選択する(1つの登録DNA情報を選択する)。
ステップS102において、血縁者リスト生成部212は、選択した登録DNA情報の各ローカスと、対応する容疑者DNA情報のローカスと、の間のマッチング判定を行う。例えば、選択された登録DNA情報は図9(a)のとおりであり、容疑者DNA情報は図9(b)のとおりであるとする。この場合、ローカスvWAに着目すると、登録DNA情報におけるローカスvWAのリピート数の1つと、容疑者DNA情報のローカスvWAのリピート数の1つが一致する(リピート数が16で一致する)。そのため、血縁者リスト生成部212は、2つのDNA情報におけるローカスvWAは「マッチ」と判定する。一方、ローカスFGAに着目すると、登録DNA情報と容疑者DNA情報のローカスFGAにおけるリピート数はいずれも一致しない。従って、血縁者リスト生成部212は、2つのDNA情報におけるローカスFGAは「非マッチ」と判定する。このように、血縁者リスト生成部212は、容疑者DNA情報に含まれるマイクロサテライトのローカスごとに、2つのリピート数のうちいずれか一方が、登録DNA情報の対応するローカスの2つのリピート数のうちいずれか一方に一致するか否かを判定する。
血縁者リスト生成部212は、上記のようなマッチング判定処理を選択された登録DAN情報に含まれるローカスについて繰り返し、図10に示すような判定結果を得る。
ステップS103において、血縁者リスト生成部212は、前ステップでの判定結果に基づき、選択された登録DNA情報に対応する人物が、容疑者DNA情報に対応する人物の血縁者か否かを判定する。具体的には、血縁者リスト生成部212は、登録DNA情報に含まれるローカスの総数に対する、マッチと判定されたローカスの数の割合に応じて、血縁者か否かの判定を行う。例えば、登録DNA情報のローカスのほぼ全て(例えば、95%以上)が、「マッチ」と判定されているような場合には、血縁者リスト生成部212は、当該登録DNA情報に対応する人物を容疑者DNA情報に対応する人物の「親」又は「子」と推定する。あるいは、登録DNA情報のローカスの凡そ半分以上(例えば、45%以上95%未満)が、マッチと判定されているような場合には、血縁者リスト生成部212は、当該登録DNA情報に対応する人物を、容疑者DNA情報に対応する人物の「祖父母」、「兄弟姉妹」及び「孫」のいずれか1つと推定する。即ち、血縁者リスト生成部212は、登録DNA情報のマッチング判定結果に対して閾値処理を施すことにより、当該DNA情報に対応する人物が、容疑者DNA情報に対応する人物の血縁者か否かの判定と、2者(DNAデータベース20の登録者と容疑者)の血縁関係を推定する。
ステップS104において、血縁者リスト生成部212は、DNAデータベース20から取得した登録情報の選択が終了したか否かを判定する。血縁者リスト生成部212は、選択が終了していなければステップS101以降の処理を継続し、選択が終了していれば、ステップS105の処理を実行する。
ステップS105において、血縁者リスト生成部212は、ステップS103における血縁者に関する判定及び推定の結果をまとめて、血縁者リストとして生成し、類似画像検索部213に引き渡す。例えば、血縁者リスト生成部212は、図11に示すような血縁者リストを生成し、類似画像検索部213に引き渡す。
類似画像検索部213は、顔画像情報に含まれる複数の顔画像のなかから、血縁者リストにより特定される人物の顔画像に類似する顔画像を検索する手段である。具体的には、類似画像検索部213は、血縁者リストの人物の顔画像と、顔画像情報に含まれる複数の顔画像それぞれと、の間の類似度を算出し、当該算出された類似度に基づき、顔画像情報に含まれる複数の顔画像のなかから、血縁者リストの人物の顔画像に似る顔画像を検索する。
図12は、類似画像検索部213の動作の一例を示すフローチャートである。図12を参照しつつ、類似画像検索部213の動作を説明する。
ステップS201において、類似画像検索部213は、顔画像情報の各顔画像から特徴量ベクトルを算出する。顔画像からの特徴量ベクトル算出に関しては、例えば、特許文献3に開示されているように、顔画像から特徴点(例えば、目、鼻、口等の中心点や端点)を抽出し、当該抽出した特徴点の位置関係、特徴点近傍の濃淡値や特性(周期性、方向性、色分布等)を特徴量として算出し、当該特徴量を並べて(特徴量の組を作って)特徴量ベクトルとすることができる。ここで、特徴量ベクトル算出の元となった顔画像が異なれば、特徴量ベクトルも異なる。換言するならば、特徴量ベクトル算出の元となった顔画像が同一であれば、特徴量ベクトルも同一又はほぼ同一となる。なお、以降の説明において、顔画像情報の顔画像から算出した特徴量ベクトルを第1特徴量ベクトルと表記する。
なお、後述のように、第1特徴量ベクトルとDNAデータベース20に登録された顔画像から算出された特徴量ベクトル(以下、第2特徴量ベクトルと表記する)の類似判定が行われる。その際、DNAデータベース20に登録された顔画像間の撮影条件(カメラまでの距離、カメラに対する角度や方向)の変動は少ないものと想定される。具体的には、人物の正面から一定の距離離れて撮像された顔画像のデータがDNAデータベース20に登録されるものと想定される。一方、顔画像情報に含まれる顔画像は、防犯カメラ等により記憶された映像データから切り出されたものである。そのため、当該顔画像は、正面から撮影されたものではなく、人物とカメラの距離もまちまちであると想定される。このような場合、顔画像情報の顔画像とDNAデータベース20の顔画像の人物が同一であっても、両者から算出した特徴量ベクトルに違いが出る可能性がある。そこで、顔画像情報の顔画像に対して幾何的な変換(例えば、顔が正面を向くように画像を回転、顔のサイズが所定の大きさとなるように画像を拡大縮小)を施した上で、第1特徴量ベクトルの算出をするのが望ましい。
類似画像検索部213が算出した第1特徴量ベクトルと、図4に示す顔画像情報と、を関係付けると図13に示すような情報が得られる。
なお、特徴量ベクトルの次数(算出する特徴量の個数)は、後述する類似判定の精度や処理量(演算量)に応じて任意に設定できる。通常、1つの顔画像から数十~数百個程度の特徴量が算出される。
ステップS202において、類似画像検索部213は、取得した血縁者リストに含まれる1つの登録情報を選択する。
ステップS203において、類似画像検索部213は、選択した登録情報に含まれる顔画像から第2特徴量ベクトルを算出する。その際、類似画像検索部213は、第1特徴量ベクトルと同じ要素(同じ種類の特徴量)、同じ次元の特徴量ベクトルを算出する。
ステップS204において、類似画像検索部213は、顔画像情報の顔画像から算出した第1特徴量ベクトルのそれぞれに関し、上記登録情報から算出した第2特徴量ベクトルとの類似度を算出する。例えば、類似画像検索部213は、2つの特徴量ベクトル間のカイ二乗距離やユークリッド距離等を算出する。算出されたカイ二乗距離やユークリッド距離は、2つの特徴量ベクトル(特徴量ベクトルにより特徴付けられる2つの顔画像)間の類似度を示す指標となる。なお、2つの特徴量ベクトルの類似度を示す指標は上記のユークリッド距離やカイ二乗距離に限定されない。上記指標は、2つの特徴量ベクトルの相関値(Correlation)等であってもよい。
ステップS205において、類似画像検索部213は、ステップS204にて算出された類似度に基づき、ステップS202にて選択した登録情報(血縁者リストの登録情報)に含まれる顔画像に類似する顔画像を、顔画像情報に含まれる複数の顔画像の中から検索する。具体的には、類似画像検索部213は、予め定めた基準よりも高い類似度を有する顔画像を顔画像情報の複数の顔画像のなかから検索する。例えば、類似度としてユークリッド距離やカイ二乗距離を採用した場合には、これらの値(ユークリッド距離、カイ二乗距離)が所定の閾値よりも低い場合に、顔画像情報に含まれる当該顔画像は血縁者リストにより特定される人物の顔画像と似ていると判定され、抽出(検索)される。
ステップS206において、類似画像検索部213は、血縁者リストに含まれる登録情報の選択が終了したか否かを判定する。類似画像検索部213は、選択が終了していなければステップS202以降の処理を継続し、選択が終了していれば、ステップS207の処理を実行する。
ステップS207において、類似画像検索部213は、血縁者リストに上記ステップS205における検索結果を反映する。例えば、類似画像検索部213は、図11に示す血縁者リストに、ステップS205の結果を反映することで図14に示すような情報を得る。
ステップS208において、類似画像検索部213は、類似する顔画像の検索結果が反映された血縁者リストを容疑者情報生成部214に出力する。
容疑者情報生成部214は、容疑者情報を生成する手段である。
DNA情報比較部211からDNAデータベース20に容疑者に関する情報が登録されている旨の通知を受けた場合には、容疑者情報生成部214は、併せて取得した登録情報の個人識別情報の全部又は一部を容疑者情報に設定し、出力部203に引き渡す。即ち、容疑者情報生成部214は、容疑者DNA情報に含まれる各ローカスのリピート数に一致する登録DNA情報がDNAデータベース20に登録されていれば、容疑者DNA情報に一致するDNA情報を有する人物の個人識別情報を容疑者情報として生成する。つまり、容疑者情報生成部214は、容疑者DNA情報に一致する登録DNA情報に関連付けられた人物を容疑者と定め、その登録情報(個人識別情報;氏名、生年月日等)から容疑者情報を生成する。
類似画像検索部213から血縁者リスト(類似顔画像に関する情報を含む血縁者リスト)を取得した場合には、容疑者情報生成部214は、当該血縁者リストに基づき、容疑者情報を生成する。具体的には、容疑者情報生成部214は、取得した血縁者リストのエントリであって、類似顔画像が設定されているエントリを検索する。その後、容疑者情報生成部214は、例えば、処理の対象となっている検体IDと、当該検索されたエントリの顔画像IDと、上記検索されたエントリの登録IDに関連付けられた個人識別情報の全部又は一部と、を対応付けることで容疑者情報を生成する。
例えば、容疑者情報生成部214は、図14に示すような血縁者リストを取得した場合には、上から2番目のエントリに記載された「顔画像ID=FI04」と、「登録ID=R05」から取得可能な個人識別情報と、血縁者リストの「推定される血縁関係」と、を対応付けて容疑者情報を生成する(図15参照)。
容疑者情報生成部214は、生成した容疑者情報を出力部203に引き渡す。
出力部203は、容疑者情報を外部に出力する。例えば、出力部203は、表示装置に容疑者情報を表示する。または、出力部203は、印刷装置に容疑者情報に係るデータを出力し、その印刷を指示してもよい。あるいは、出力部203は、NIC14を介して、ネットワークに接続された端末やサーバに容疑者情報を出力してもよい。
第1の実施形態に係る情報処理装置10の動作をまとめると図16に示すフローチャートのとおりとなる。
ステップS01において、入力部201は、容疑者DNA情報と顔画像情報を入力する。
ステップS02において、DNA情報処理部202は、DNAデータベース20にアクセスし、登録情報を取得する。
ステップS03において、DNA情報比較部211は、容疑者DNA情報に一致する登録DNA情報が取得した登録情報の中に存在するか否かを判定する。容疑者DNA情報に一致する登録DNA情報が取得した登録情報の中に存在する場合(ステップS03、Yes分岐)には、ステップS06に遷移する。容疑者DNA情報に一致する登録DNA情報が取得した登録情報の中に存在しない場合(ステップS03、No分岐)には、ステップS04に遷移する。
ステップS04において、血縁者リスト生成部212は、容疑者DNA情報と登録DNA情報との間のマッチング判定を行い、DNAデータベース20に登録された多数の人物から容疑者の血縁者であると推定される人物を特定する(血縁者リストを生成する)。
ステップS05において、類似画像検索部213は、顔画像情報に含まれる各顔画像と、血縁者リストから導かれる顔画像と、の間の類似度を算出し、血縁者リストの人物の顔画像に類似する顔画像(類似顔画像)を検索する。
ステップS06において、容疑者情報生成部214は、DNA情報比較部211又は類似画像検索部213から取得する情報に基づき、容疑者情報を生成する。
ステップS07において、出力部203は、容疑者情報を外部に出力する。即ち、出力部203は、犯罪捜査に利用可能な容疑者情報を捜査官等に提供する。
なお、血縁者リスト生成部212により検出されるのは犯罪者の血縁者候補であり、犯罪者とは無関係の人物(血縁関係にない人物)も検出される可能性がある。しかしながら、例えば、あるローカスについて、10種のリピート数が存在する場合には、DNAデータベース20に登録された人物の中で36%がそのローカスに関して犯人と一致すると判断される。概念的には、図17に示すように、全ての人物が100升目のうちのいずれかに分類されるが、犯人がタイプ1及びタイプ3のリピート数を有する場合には、犯人と一致すると判断されるのは色付きの36個の升目に分類される人物である。ここで、20個のローカスについて、10種のリピート数が存在すると仮定すると、全てのローカスについて一致すると判断される可能性は0.3620=1.33×10-9であり、犯人と血縁関係が無い人物が犯人の「親」又は「子」として検出される可能性は非常に低いと考えられる。
以上のように、第1の実施形態に係る情報処理装置10は、処理要求として犯行現場から採取された検体のDNA情報が入力されると、当該DNA情報(容疑者DNA情報)と、DNAデータベース20に登録されたDNA情報と、によるマッチング判定を行い容疑者の血縁者を推定する。さらに、情報処理装置10は、推定された血縁者と犯行現場及びその周辺に設置された防犯カメラ等に写っている人物の間の顔画像類似判定を行い、推定された血縁者と似ている人物が検出されれば、当該検出された人物を犯行の容疑が高い人物として選出する。その結果、犯行現場及びその周辺に居た人物の中から犯行の容疑が高い人物が選出されるので、犯行現場に残された犯人のDNA情報に基づく容疑者の絞り込みという点で犯罪捜査に寄与することができる。
なお、上記実施形態にて説明した容疑者情報出力システムの構成(図2)は例示であって、システムの構成を限定する趣旨ではない。例えば、顔画像情報に含ませる顔画像の抽出は、情報処理装置10とは異なる装置にて実行されるのではなく、情報処理装置10にて実行されてもよい。この場合、捜査官等は、防犯カメラ等から取得した映像データを情報処理装置10に入力する。また、情報処理装置10にて顔画像の抽出を行う場合には、上述の幾何変換を顔画像の抽出時に実行し、その後の幾何変換処理(画像の正規化処理)を省略してもよい。
あるいは、情報処理装置10は、容疑者の血縁者に関する処理や類似画像の検索処理を外部の装置に委任してもよい。例えば、DNAデータベース20に血縁者リスト生成部212に相当する機能が実装され、DNAデータベース20に容疑者DNA情報が提供されと、血縁者リストが情報処理装置10に通知されてもよい。
また、情報処理装置10による登録情報の入手先は、DNAデータベース20のような外部装置に限らず、内部の記憶装置に格納された情報を用いてもよい。さらに、情報処理装置10がアクセスするデータベースは、単一のデータベースや国内のデータベースに限定されず、海外の捜査機関等が構築したデータベースを併せて利用してもよい。
上記実施形態では、親、子、祖父母、兄弟姉妹、孫を容疑者の血縁者として推定する場合を説明したが、類似度に対する閾値処理に使用する閾値を調整することで、推定する血縁関係を拡大してもよい(ひ孫等まで血縁関係を拡大してもよい)。
上記実施形態では、推定された血縁者や検索された類似画像の確かさ(信憑性)に関する言及をしていないが、これらの情報に対する信頼度を生成し、容疑者情報に反映させてもよい。
上記実施形態では、1つの血縁者リストから1つの類似顔画像が検索される場合を説明したが、1つの血縁者リストから複数の類似顔画像が検索されることがあるのは当然である。つまり、1つの検体から複数の容疑者が提示されることもある。
上記実施形態では、顔画像情報の顔画像(容疑者の顔画像)を容疑者情報に含ませる場合を説明したが、DNAデータベース20から得られる顔画像(血縁者の顔画像)も容疑者情報に含ませてもよい。この場合、捜査官等は、容疑者と血縁者の顔画像を容易に比較することができ、より有益な情報提供が行える。
上記実施形態では、1つの検体から得られた容疑者DNA情報が情報処理装置10に入力され、当該容疑者情報DNAに対応する容疑者情報が情報処理装置10から出力される場合について説明した。従って、犯行現場から複数人物の血痕等が採取された場合には、各検体から得られた容疑者DNA情報を1つずつ情報処理装置10に入力し、対応する容疑者情報を得ればよい。あるいは、複数の容疑者DNA情報をまとめて情報処理装置10に入力し、対応する複数の容疑者情報を出力する形態であってもよい。
なお、上述したコンピュータプログラムをコンピュータに実行させることにより、コンピュータにより犯罪捜査に利用される容疑者情報を生成する方法(容疑者情報生成方法)を実行することができる。
また、上述の説明で用いた複数のフローチャートでは、複数の工程(ステップ、処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。
上記の実施形態は、以下のようにも記載され得るが、以下には限られない。
[形態1]
上述の第1の視点に係る情報処理装置のとおりである。
[形態2]
前記DNA情報は、DNA鑑定に利用されるマイクロサテライトにおける縦列型反復配列のリピート数を含み、
前記血縁者リスト生成部は、
前記容疑者のDNA情報に含まれるマイクロサテライトのローカスと前記データベースに登録されたDNA情報の対応するローカスとの間でマッチング判定を行い、
前記マッチング判定を行ったローカスの総数に対するマッチと判定されたローカスの数の割合に応じて、前記容疑者の血縁者であると推定される人物のDNA情報を特定する、形態1の情報処理装置。
[形態3]
前記血縁者リスト生成部は、
前記マッチング判定を行ったローカスの総数に対するマッチと判定されたローカスの数の割合に対する閾値処理により、血縁者であると推定された人物と容疑者との間の血縁関係を推定する、形態2の情報処理装置。
[形態4]
前記データベースには、複数の人物それぞれについて、顔画像を含む個人識別情報及びDNA情報が登録されている、形態1乃至3のいずれか一に記載の情報処理装置。
[形態5]
前記容疑者情報生成部は、
前記容疑者のDNA情報に一致するDNA情報が、前記データベースに登録されている場合には、前記容疑者のDNA情報に一致するDNA情報を有する人物の前記個人識別情報を前記容疑者情報として生成する、形態4の情報処理装置。
[形態6]
前記類似画像検索部は、
前記データベースに登録された顔画像を特徴付ける特徴量ベクトルと、前記顔画像情報に含まれる顔画像を特徴付ける特徴量ベクトルと、から前記類似度を算出する、形態4又は5の情報処理装置。
[形態7]
前記類似画像検索部は、
前記類似度として、ユークリッド距離又はカイ二乗距離を算出する、形態6の情報処理装置。
[形態8]
上述の第2の視点に係る容疑者情報生成方法のとおりである。
[形態9]
上述の第3の視点に係るプログラムのとおりである。
なお、形態8及び形態9は、形態1と同様に、形態2~形態7の形態に展開することが可能である。
また、本発明は、以下の好ましい形態のようにも記載され得る。
(好ましい形態1)
容疑者のDNA情報と、複数の顔画像に関する情報を含む顔画像情報と、を入力する入力部と、
データベースに登録された複数のDNA情報のなかから、前記容疑者の血縁者であると推定される人物のDNA情報を特定し、前記特定されたDNA情報により前記容疑者の血縁者であると推定される人物からなる血縁者リストを生成する、血縁者リスト生成部と、
前記血縁者リストの人物の顔画像と、前記顔画像情報に含まれる前記複数の顔画像それぞれと、の間の類似度を算出し、前記算出された類似度に基づき、前記顔画像情報に含まれる前記複数の顔画像のなかから、前記血縁者リストの人物の顔画像に似る顔画像を検索する、類似画像検索部と、
前記検索された顔画像に関する情報と、前記血縁者リストの人物であって前記検索された顔画像に似る人物に関する情報と、を対応付けて容疑者情報として生成する、容疑者情報生成部と、を含み、
前記DNA情報は、DNA鑑定に利用されるマイクロサテライトにおける縦列型反復配列のリピート数を含み、
前記血縁者リスト生成部が、前記容疑者のDNA情報に含まれるマイクロサテライトのローカスと前記データベースに登録されたDNA情報の対応するローカスとの間でマッチング判定を行い、前記マッチング判定を行ったローカスの総数に対するマッチと判定されたローカスの数の割合に応じて、前記容疑者の血縁者であると推定される人物のDNA情報を特定し、
前記データベースには、複数の人物それぞれについて、顔画像を含む個人識別情報及びDNA情報が登録されており、
前記類似画像検索部が、前記データベースに登録された顔画像を特徴付ける特徴量ベクトルと、前記顔画像情報に含まれる顔画像を特徴付ける特徴量ベクトルと、から前記類似度を算出する、ことを特徴とする、
情報処理装置。
(好ましい形態2)
前記血縁者リスト生成部は、
前記マッチング判定を行ったローカスの総数に対するマッチと判定されたローカスの数の割合に対する閾値処理により、血縁者であると推定された人物と容疑者との間の血縁関係を推定する、好ましい形態1の情報処理装置。
(好ましい形態3)
前記容疑者情報生成部は、
前記容疑者のDNA情報に一致するDNA情報が、前記データベースに登録されている場合には、前記容疑者のDNA情報に一致するDNA情報を有する人物の前記個人識別情報を前記容疑者情報として生成する、好ましい形態1又は2の情報処理装置。
(好ましい形態4)
前記類似画像検索部は、
前記類似度として、ユークリッド距離又はカイ二乗距離を算出する、好ましい形態1乃至3のいずれかに記載の情報処理装置。
(好ましい形態5)
容疑者のDNA情報と、複数の顔画像に関する情報を含む顔画像情報と、を入力するステップと、
データベースに登録された複数のDNA情報のなかから、前記容疑者の血縁者であると推定される人物のDNA情報を特定し、前記特定されたDNA情報により前記容疑者の血縁者であると推定される人物からなる血縁者リストを生成するステップと、
前記血縁者リストの人物の顔画像と、前記顔画像情報に含まれる前記複数の顔画像それぞれと、の間の類似度を算出し、前記算出された類似度に基づき、前記顔画像情報に含まれる前記複数の顔画像のなかから、前記血縁者リストの人物の顔画像に似る顔画像を検索するステップと、
前記検索された顔画像に関する情報と、前記血縁者リストの人物であって前記検索された顔画像に似る人物に関する情報と、を対応付けて容疑者情報として生成するステップと、
を含み、
前記DNA情報は、DNA鑑定に利用されるマイクロサテライトにおける縦列型反復配列のリピート数を含み、
前記血縁者リストを生成するステップにおいて、前記容疑者のDNA情報に含まれるマイクロサテライトのローカスと前記データベースに登録されたDNA情報の対応するローカスとの間でマッチング判定を行い、前記マッチング判定を行ったローカスの総数に対するマッチと判定されたローカスの数の割合に応じて、前記容疑者の血縁者であると推定される人物のDNA情報を特定し、
前記データベースには、複数の人物それぞれについて、顔画像を含む個人識別情報及びDNA情報が登録されており、
前記顔画像を検索するステップにおいて、前記データベースに登録された顔画像を特徴付ける特徴量ベクトルと、前記顔画像情報に含まれる顔画像を特徴付ける特徴量ベクトルと、から前記類似度を算出する、ことを特徴とする、
容疑者情報生成方法。
(好ましい形態6)
容疑者のDNA情報と、複数の顔画像に関する情報を含む顔画像情報と、を入力する処理と、
データベースに登録された複数のDNA情報のなかから、前記容疑者の血縁者であると推定される人物のDNA情報を特定し、前記特定されたDNA情報により前記容疑者の血縁者であると推定される人物からなる血縁者リストを生成する処理と、
前記血縁者リストの人物の顔画像と、前記顔画像情報に含まれる前記複数の顔画像それぞれと、の間の類似度を算出し、前記算出された類似度に基づき、前記顔画像情報に含まれる前記複数の顔画像のなかから、前記血縁者リストの人物の顔画像に似る顔画像を検索する処理と、
前記検索された顔画像に関する情報と、前記血縁者リストの人物であって前記検索された顔画像に似る人物に関する情報と、を対応付けて容疑者情報として生成する処理と、を、コンピュータに実行させ、
前記DNA情報は、DNA鑑定に利用されるマイクロサテライトにおける縦列型反復配列のリピート数を含み、
前記血縁者リストを生成する処理において、前記容疑者のDNA情報に含まれるマイクロサテライトのローカスと前記データベースに登録されたDNA情報の対応するローカスとの間でマッチング判定を行い、前記マッチング判定を行ったローカスの総数に対するマッチと判定されたローカスの数の割合に応じて、前記容疑者の血縁者であると推定される人物のDNA情報を特定し、
前記データベースには、複数の人物それぞれについて、顔画像を含む個人識別情報及びDNA情報が登録されており、
前記顔画像を検索する処理において、前記データベースに登録された顔画像を特徴付ける特徴量ベクトルと、前記顔画像情報に含まれる顔画像を特徴付ける特徴量ベクトルと、から前記類似度を算出する、ことを特徴とする、
プログラム。
(好ましい形態7)
被捜索者のDNA情報と、複数の顔画像に関する情報を含む顔画像情報と、を入力する入力部と、
データベースに登録された複数のDNA情報のなかから、前記被捜索者の血縁者であると推定される人物のDNA情報を特定し、前記特定されたDNA情報により前記被捜索者の血縁者であると推定される人物からなる血縁者リストを生成する、血縁者リスト生成部と、
前記血縁者リストの人物の顔画像と、前記顔画像情報に含まれる前記複数の顔画像それぞれと、の間の類似度を算出し、前記算出された類似度に基づき、前記顔画像情報に含まれる前記複数の顔画像のなかから、前記血縁者リストの人物の顔画像に似る顔画像を検索する、類似画像検索部と、
前記検索された顔画像に関する情報と、前記血縁者リストの人物であって前記検索された顔画像に似る人物に関する情報と、を対応付けて被捜索者情報として生成する、被捜索者情報生成部と、を含み、
前記DNA情報は、DNA鑑定に利用されるマイクロサテライトにおける縦列型反復配列のリピート数を含み、
前記血縁者リスト生成部が、前記被捜索者のDNA情報に含まれるマイクロサテライトのローカスと前記データベースに登録されたDNA情報の対応するローカスとの間でマッチング判定を行い、前記マッチング判定を行ったローカスの総数に対するマッチと判定されたローカスの数の割合に応じて、前記被捜索者の血縁者であると推定される人物のDNA情報を特定し、
前記データベースには、複数の人物それぞれについて、顔画像を含む個人識別情報及びDNA情報が登録されており、
前記類似画像検索部が、前記データベースに登録された顔画像を特徴付ける特徴量ベクトルと、前記顔画像情報に含まれる顔画像を特徴付ける特徴量ベクトルと、から前記類似度を算出する、ことを特徴とする、
情報処理装置。
(好ましい形態8)
前記血縁者リスト生成部は、
前記マッチング判定を行ったローカスの総数に対するマッチと判定されたローカスの数の割合に対する閾値処理により、血縁者であると推定された人物と被捜索者との間の血縁関係を推定する、好ましい形態7の情報処理装置。
(好ましい形態9)
前記被捜索者情報生成部は、
前記被捜索者のDNA情報に一致するDNA情報が、前記データベースに登録されている場合には、前記被捜索者のDNA情報に一致するDNA情報を有する人物の前記個人識別情報を前記被捜索者情報として生成する、好ましい形態7又は8の情報処理装置。
(好ましい形態10)
前記類似画像検索部は、
前記類似度として、ユークリッド距離又はカイ二乗距離を算出する、好ましい形態7乃至9のいずれかに記載の情報処理装置。
また、本発明は、以下の付記のようにも記載され得る。
(付記1)
DNA情報を取得する第1取得手段と、
複数の顔画像を含む顔画像情報が記憶される第1データベースから前記顔画像情報を取得する第2取得手段と、
登録顔画像と登録DNA情報とが関連付けられて登録される第2データベースを記憶する記憶手段と、
前記第2データベースに登録された登録DNA情報と、前記DNA情報と、を照合する照合手段と、
前記照合結果に基づき、前記DNA情報が示す人物の血縁者の血縁者DNA情報を前記登録DNA情報から選択する選択手段と、
前記選択された血縁者DNA情報に関連付けられた登録顔画像を前記第2データベースから取得する第3取得手段と、
前記取得された登録顔画像における顔に類似する顔の顔画像を前記取得された顔画像情報から抽出する抽出手段と、
を備える情報処理システム。
(付記2)
前記DNA情報及び前記登録DNA情報は、DNA鑑定に利用されるDNA配列情報を含み、
前記選択手段は、前記DNA情報に含まれるマイクロサテライトのローカスと前記登録DNA情報の対応するローカスとの間でマッチング判定を行い、前記マッチング判定を行ったローカスに対するマッチと判定されたローカスの割合に応じて、前記血縁者DNA情報を選択する、付記1に記載の情報処理システム。
(付記3)
前記選択手段は、前記マッチング判定を行ったローカスに対するマッチと判定されたローカスに対する情報処理により、前記血縁者DNA情報を選択する、付記2に記載の情報処理システム。
(付記4)
前記抽出手段は、前記登録顔画像を特徴付ける特徴量ベクトルと、前記顔画像を特徴付ける特徴量ベクトルと、を用いて算出される類似度に基づき、前記取得された登録顔画像における顔に類似する顔の顔画像を前記取得された顔画像情報から抽出する、付記1乃至3のいずれかに記載の情報処理システム。
(付記5)
前記類似度は、ユークリッド距離又はカイ二乗距離である、付記4に記載の情報処理システム。
(付記6)
DNA情報を取得するステップと、
複数の顔画像を含む顔画像情報が記憶される第1データベースから前記顔画像情報を取得するステップと、
登録顔画像と登録DNA情報とが関連付けられて登録される第2データベースに登録された登録DNA情報と、前記DNA情報と、を照合するステップと、
前記照合結果に基づき、前記DNA情報が示す人物の血縁者の血縁者DNA情報を前記登録DNA情報から選択するステップと、
前記選択された血縁者DNA情報に関連付けられた登録顔画像を前記第2データベースから取得するステップと、
前記取得された登録顔画像における顔に類似する顔の顔画像を前記取得された顔画像情報から抽出するステップと、
を含む情報処理方法。
(付記7)
DNA情報を取得する処理と、
複数の顔画像を含む顔画像情報が記憶される第1データベースから前記顔画像情報を取得する処理と、
登録顔画像と登録DNA情報とが関連付けられて登録される第2データベースに登録された登録DNA情報と、前記DNA情報と、を照合する処理と、
前記照合結果に基づき、前記DNA情報が示す人物の血縁者の血縁者DNA情報を前記登録DNA情報から選択する処理と、
前記選択された血縁者DNA情報に関連付けられた登録顔画像を前記第2データベースから取得する処理と、
前記取得された登録顔画像における顔に類似する顔の顔画像を前記取得された顔画像情報から抽出する処理と、
をコンピュータに実行させるプログラム。
(付記8)
DNA情報を取得する処理と、
複数の顔画像を含む顔画像情報が記憶される第1データベースから前記顔画像情報を取得する処理と、
登録顔画像と登録DNA情報とが関連付けられて登録される第2データベースに登録された登録DNA情報と、前記DNA情報と、を照合する処理と、
前記照合結果に基づき、前記DNA情報が示す人物の血縁者の血縁者DNA情報を前記登録DNA情報から選択する処理と、
前記選択された血縁者DNA情報に関連付けられた登録顔画像を前記第2データベースから取得する処理と、
前記取得された登録顔画像における顔に類似する顔の顔画像を前記取得された顔画像情報から抽出する処理と、
をコンピュータに実行させるプログラムを記憶する記憶媒体。
なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
10、100 情報処理装置
11 CPU(Central Processing Unit)
12 メモリ
13 入出力インターフェイス
14 NIC(Network Interface Card)
20 DNAデータベース
101、201 入力部
202 DNA情報処理部
203 出力部
211 DNA情報比較部
102、212 血縁者リスト生成部
103、213 類似画像検索部
104、214 容疑者情報生成部

Claims (8)

  1. DNA情報を取得する第1取得手段と、
    複数の顔画像を含む顔画像情報が記憶される第1データベースから前記顔画像情報を取得する第2取得手段と、
    登録顔画像と登録DNA情報とが関連付けられて登録される第2データベースを記憶する記憶手段と、
    前記第2データベースに登録された登録DNA情報と、前記DNA情報と、を照合する照合手段と、
    前記照合結果に基づき、前記DNA情報が示す人物の血縁者の血縁者DNA情報を前記登録DNA情報から選択する選択手段と、
    前記選択された血縁者DNA情報に関連付けられた登録顔画像を前記第2データベースから取得する第3取得手段と、
    前記取得された登録顔画像における顔に類似する顔の顔画像を前記取得された顔画像情報から抽出する抽出手段と、
    を備える情報処理システム。
  2. 前記DNA情報及び前記登録DNA情報は、DNA鑑定に利用されるDNA配列情報を含み、
    前記選択手段は、前記DNA情報に含まれるマイクロサテライトのローカスと前記登録DNA情報の対応するローカスとの間でマッチング判定を行い、前記マッチング判定を行ったローカスに対するマッチと判定されたローカスの割合に応じて、前記血縁者DNA情報を選択する、請求項1に記載の情報処理システム。
  3. 前記選択手段は、前記マッチング判定を行ったローカスに対するマッチと判定されたローカスに対する情報処理により、前記血縁者DNA情報を選択する、請求項2に記載の情報処理システム。
  4. 前記抽出手段は、前記登録顔画像を特徴付ける特徴量ベクトルと、前記顔画像を特徴付ける特徴量ベクトルと、を用いて算出される類似度に基づき、前記取得された登録顔画像における顔に類似する顔の顔画像を前記取得された顔画像情報から抽出する、請求項1乃至3のいずれかに記載の情報処理システム。
  5. 前記類似度は、ユークリッド距離又はカイ二乗距離である、請求項4に記載の情報処理システム。
  6. DNA情報を取得するステップと、
    複数の顔画像を含む顔画像情報が記憶される第1データベースから前記顔画像情報を取得するステップと、
    登録顔画像と登録DNA情報とが関連付けられて登録される第2データベースに登録された登録DNA情報と、前記DNA情報と、を照合するステップと、
    前記照合結果に基づき、前記DNA情報が示す人物の血縁者の血縁者DNA情報を前記登録DNA情報から選択するステップと、
    前記選択された血縁者DNA情報に関連付けられた登録顔画像を前記第2データベースから取得するステップと、
    前記取得された登録顔画像における顔に類似する顔の顔画像を前記取得された顔画像情報から抽出するステップと、
    を含む情報処理方法。
  7. DNA情報を取得する処理と、
    複数の顔画像を含む顔画像情報が記憶される第1データベースから前記顔画像情報を取得する処理と、
    登録顔画像と登録DNA情報とが関連付けられて登録される第2データベースに登録された登録DNA情報と、前記DNA情報と、を照合する処理と、
    前記照合結果に基づき、前記DNA情報が示す人物の血縁者の血縁者DNA情報を前記登録DNA情報から選択する処理と、
    前記選択された血縁者DNA情報に関連付けられた登録顔画像を前記第2データベースから取得する処理と、
    前記取得された登録顔画像における顔に類似する顔の顔画像を前記取得された顔画像情報から抽出する処理と、
    をコンピュータに実行させるプログラム。
  8. DNA情報を取得する処理と、
    複数の顔画像を含む顔画像情報が記憶される第1データベースから前記顔画像情報を取得する処理と、
    登録顔画像と登録DNA情報とが関連付けられて登録される第2データベースに登録された登録DNA情報と、前記DNA情報と、を照合する処理と、
    前記照合結果に基づき、前記DNA情報が示す人物の血縁者の血縁者DNA情報を前記登録DNA情報から選択する処理と、
    前記選択された血縁者DNA情報に関連付けられた登録顔画像を前記第2データベースから取得する処理と、
    前記取得された登録顔画像における顔に類似する顔の顔画像を前記取得された顔画像情報から抽出する処理と、
    をコンピュータに実行させるプログラムを記憶する記憶媒体。
JP2020114685A 2016-02-26 2020-07-02 情報処理装置、容疑者情報生成方法及びプログラム Active JP7010336B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022003067A JP7287511B2 (ja) 2016-02-26 2022-01-12 情報処理装置、容疑者情報生成方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016035861 2016-02-26
JP2016035861 2016-02-26

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018501806A Division JP6729678B2 (ja) 2016-02-26 2017-02-24 情報処理装置、容疑者情報生成方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022003067A Division JP7287511B2 (ja) 2016-02-26 2022-01-12 情報処理装置、容疑者情報生成方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020187763A JP2020187763A (ja) 2020-11-19
JP7010336B2 true JP7010336B2 (ja) 2022-01-26

Family

ID=59685303

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018501806A Active JP6729678B2 (ja) 2016-02-26 2017-02-24 情報処理装置、容疑者情報生成方法及びプログラム
JP2020114685A Active JP7010336B2 (ja) 2016-02-26 2020-07-02 情報処理装置、容疑者情報生成方法及びプログラム
JP2022003067A Active JP7287511B2 (ja) 2016-02-26 2022-01-12 情報処理装置、容疑者情報生成方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018501806A Active JP6729678B2 (ja) 2016-02-26 2017-02-24 情報処理装置、容疑者情報生成方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022003067A Active JP7287511B2 (ja) 2016-02-26 2022-01-12 情報処理装置、容疑者情報生成方法及びプログラム

Country Status (3)

Country Link
US (2) US11341378B2 (ja)
JP (3) JP6729678B2 (ja)
WO (1) WO2017146229A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3558445B1 (en) * 2016-12-21 2023-06-07 Duke University Device with temporal pattern of nervous system stimulation
JP6979979B2 (ja) * 2019-03-15 2021-12-15 ヤフー株式会社 アカウント管理装置、アカウント管理方法およびアカウント管理プログラム
JP2020203420A (ja) * 2019-06-17 2020-12-24 起範 金 Dnaプロフィール表示体及びdnaプロフィールの表示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020524A (ja) 2008-07-10 2010-01-28 Id Solution:Kk Dna認証システム
JP2011070277A (ja) 2009-09-24 2011-04-07 Seiko Epson Corp 画像処理装置
JP2014041486A (ja) 2012-08-22 2014-03-06 Canon Inc 信号処理方法及び信号処理装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05143651A (ja) * 1991-11-15 1993-06-11 Mitsubishi Electric Corp 顔画像検索装置
JPH09134428A (ja) 1995-11-09 1997-05-20 Hitachi Vlsi Eng Corp 個人識別方法および個人識別装置
JPH10115616A (ja) 1996-10-15 1998-05-06 Rohto Pharmaceut Co Ltd 人血検査装置
GB9917309D0 (en) * 1999-07-23 1999-09-22 Sec Dep Of The Home Department Improvements in and relating to forensic investigations
US20070037182A1 (en) 2002-05-28 2007-02-15 Gaskin James Z Multiplex assays for inferring ancestry
US20040229231A1 (en) 2002-05-28 2004-11-18 Frudakis Tony N. Compositions and methods for inferring ancestry
JP2006514553A (ja) * 2002-08-19 2006-05-11 ディーエヌエープリント ジェノミクス インコーポレーティッド 祖先を推論するための組成物および方法
US9582639B2 (en) * 2006-08-11 2017-02-28 University Of Tennessee Research Foundation Method and apparatus for mobile disaster victim identification
JP5358083B2 (ja) * 2007-11-01 2013-12-04 株式会社日立製作所 人物画像検索装置及び画像検索装置
US20080201327A1 (en) * 2007-02-20 2008-08-21 Ashoke Seth Identity match process
EP3276526A1 (en) * 2008-12-31 2018-01-31 23Andme, Inc. Finding relatives in a database
JP2011107997A (ja) * 2009-11-18 2011-06-02 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2014170979A (ja) 2011-05-12 2014-09-18 Nec Corp 情報処理装置、情報処理方法および情報処理プログラム
US9116882B1 (en) * 2012-08-02 2015-08-25 23Andme, Inc. Identification of matrilineal or patrilineal relatives
US8673325B1 (en) 2012-09-06 2014-03-18 Dignity Sciences Limited Cosmetic compositions comprising EPA and salicylic acid and methods of making and using same
US9390225B2 (en) * 2013-03-15 2016-07-12 Ancestry.Com Dna, Llc Family networks
JP6268960B2 (ja) 2013-11-15 2018-01-31 オムロン株式会社 画像認識装置及び画像認識装置に対するデータ登録方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020524A (ja) 2008-07-10 2010-01-28 Id Solution:Kk Dna認証システム
JP2011070277A (ja) 2009-09-24 2011-04-07 Seiko Epson Corp 画像処理装置
JP2014041486A (ja) 2012-08-22 2014-03-06 Canon Inc 信号処理方法及び信号処理装置

Also Published As

Publication number Publication date
JPWO2017146229A1 (ja) 2019-01-10
US20220253650A1 (en) 2022-08-11
WO2017146229A1 (ja) 2017-08-31
JP6729678B2 (ja) 2020-07-22
JP2020187763A (ja) 2020-11-19
US11341378B2 (en) 2022-05-24
JP7287511B2 (ja) 2023-06-06
US20190026424A1 (en) 2019-01-24
US11776660B2 (en) 2023-10-03
JP2022044654A (ja) 2022-03-17

Similar Documents

Publication Publication Date Title
JP7010336B2 (ja) 情報処理装置、容疑者情報生成方法及びプログラム
CN102646190B (zh) 一种基于生物特征的认证方法、装置及系统
Klare et al. Matching forensic sketches to mug shot photos
JP5801601B2 (ja) 画像認識装置、画像認識装置の制御方法、およびプログラム
US9864902B2 (en) Apparatus and method of collating categories of images
CN108875341A (zh) 一种人脸解锁方法、装置、系统及计算机存储介质
JP2014182480A (ja) 人物認識装置、及び方法
US11126827B2 (en) Method and system for image identification
JP7107598B2 (ja) 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体
EP3862895B1 (en) Biometric authentication device, biometric authentication method, and biometric authentication program
JP5787686B2 (ja) 顔認識装置、及び顔認識方法
Haji et al. Real time face recognition system (RTFRS)
EP3944188A1 (en) Image processing device, image processing method, and recording medium in which program is stored
US9002115B2 (en) Dictionary data registration apparatus for image recognition, method therefor, and program
CN112041847A (zh) 提供具有隐私标签的图像
Domingues et al. Deep learning-based facial detection and recognition in still images for digital forensics
JP2012221053A (ja) 画像認識装置、画像認識方法、及びプログラム
CN111783725A (zh) 人脸识别方法、装置及存储介质
WO2015129318A1 (ja) 画像検索方法、サーバ及び画像検索システム
Muthukumaran et al. Face and Iris based Human Authentication using Deep Learning
Kanhangad et al. Securing palmprint authentication systems using spoof detection approach
JP2013218604A (ja) 画像認識装置、画像認識方法及びプログラム
JP7415640B2 (ja) 認証方法、情報処理装置、及び認証プログラム
EP3570514B1 (en) Method for performing a biometric function between a client and a server
JP2007310703A (ja) パターン認識装置及びその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211227