JP7104546B2 - 情報処理装置、情報処理方法 - Google Patents
情報処理装置、情報処理方法 Download PDFInfo
- Publication number
- JP7104546B2 JP7104546B2 JP2018077796A JP2018077796A JP7104546B2 JP 7104546 B2 JP7104546 B2 JP 7104546B2 JP 2018077796 A JP2018077796 A JP 2018077796A JP 2018077796 A JP2018077796 A JP 2018077796A JP 7104546 B2 JP7104546 B2 JP 7104546B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel array
- dimensional
- dimensional pixel
- information processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
前記第1領域の1次元画素配列の一部若しくは全部である第1画素配列と、前記第2領域の1次元画素配列において該第1領域の1次元画素配列と重複しない部分である第2画素配列と、を連結した連結1次元画素配列を生成する生成手段と、
前記連結1次元画素配列と重み係数との畳み込み演算に基づいて前記チャンネルの異なる複数の2次元画像の特徴量を求める計算手段と
を備え、
前記生成手段は、前記チャンネルの異なる複数の2次元画像における前記第1画素配列の同位置の要素をチャンネル順に並べた要素列と、前記チャンネルの異なる複数の2次元画像における前記第2画素配列の同位置の要素をチャンネル順に並べた要素列と、を連結した連結1次元画素配列を生成する
ことを特徴とする。
先ず、本実施形態に係るシステムの構成例について、図1のブロック図を用いて説明する。図1に示す如く、本実施形態に係るシステムは、情報処理装置1と、カメラ2と、を有し、情報処理装置1とカメラ2とはネットワークを介して互いにデータ通信が可能なように構成されている。ネットワークは無線のネットワークであっても良いし、有線のネットワークであっても良いし、無線のネットワークと有線のネットワークとを組み合わせたネットワークであっても良い。
撮像画像から検出した顔の画像上の座標に基づいて、該撮像画像から顔画像を切り出す。このとき、切り出した顔画像に対する顔の位置が一定になるように該顔画像に対して画像正規化を施す。例えば、顔の両目をつなぐ線分の長さが、切り出す顔画像の幅に対して一定となるように拡大・縮小する。この線分が切り出す顔画像に対して水平になるように回転させる等の処理を施す。そして、撮像画像から検出されたそれぞれの顔画像について、以下のステップS1014~S1018の処理が行われる。
ここでΣは、F(j,n)I(i-j)を全てのjについて加算することを示す。また、iは出力ベクトルのインデックス、nは出力ベクトル及び重み係数のチャンネル、jは重み係数のインデックスである。演算部125による畳み込み演算処理を模式的に示した図が図8である。
畳み込み処理部113は、畳み込み処理部111と同様の構成(図5)を有しており、プーリング処理部112による結果に対して畳み込み処理部111と同様の処理を行う。畳み込み処理部113が行う畳み込み演算処理は、入力データのサイズや重み係数が異なるだけで畳み込み処理部111と同様であるから、畳み込み処理部113に係る説明は省略する。プーリング処理部114は、畳み込み処理部113による畳み込み演算処理の結果に対して、プーリング処理部112と同様のプーリング処理を行う。
ここで、「x・y」は特徴ベクトル(特徴量)xと特徴ベクトル(特徴量)yとの内積演算を表し、|x|、|y|はそれぞれ、特徴ベクトルx、特徴ベクトルyの大きさを表し、Sは特徴ベクトルxと特徴ベクトルyとの間の類似度を表す。
第1の実施形態では、撮像画像をグレイスケールのシングルチャンネル画像として取得し、このような撮像画像から抽出した顔画像(グレイスケールのシングルチャンネル画像)に対する畳み込み演算処理を説明した。しかし、実際にはカラー画像のようにマルチチャンネル画像の撮像画像が入力される場合も多い。本実施形態では、マルチチャンネル画像の撮像画像から検出された顔画像(マルチチャンネル画像)に対する畳み込み演算処理について説明する。以下では第1の実施形態との差分について説明し、以下で特に触れない限りは、第1の実施形態と同様であるものとする。本実施形態では、図6のフローチャートに従って以下のような処理が実行される。
第1,2の実施形態では、2次元画像に対する畳み込み演算処理について説明してきたが、より大きな次元の入力に対する畳み込み演算処理においても、上記の実施形態を適用することができる。例えば、以下の文献は3次元の入力データに対する畳み込み処理が開示されており、この例に上記の実施形態を適用することができる。
以下では第1の実施形態との差分について説明し、以下で特に触れない限りは、第1の実施形態と同様であるものとする。本実施形態では、1つの顔を撮像した複数フレームの撮像画像のそれぞれから検出された顔画像(グレイスケール画像)の時系列シーケンス(複数フレームの顔画像を積層した立体)の特徴量を求めるケースについて説明する。本実施形態では、図6のフローチャートに従って以下のような処理が実行される。
第1~3の実施形態では、変換ベクトル(1次元画素配列、2次元画素配列)がどのような形状なのかを説明するために、いくつかの模式図と手順を用いて説明したが、必ずしもこの通りに処理しなくてもよい。最終的には、低次元のベクトルと重み係数の畳み込みに帰着されるため、変換したベクトルが上で述べたように、設定領域の重複部分の要素を共有する構造になっていればよい。
上記の実施形態では、カメラ2と情報処理装置1とを別個の装置として説明した。しかし、カメラ2と情報処理装置1とを一体化させて1つの装置としても良い。つまり、カメラ2が情報処理装置1の機能として上述した各機能を実行するように構成しても構わない。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (8)
- チャンネルの異なる複数の2次元画像上に部分的に重複するように設定される第1領域および第2領域のそれぞれの2次元画素配列を1次元画素配列に変換する変換手段と、
前記第1領域の1次元画素配列の一部若しくは全部である第1画素配列と、前記第2領域の1次元画素配列において該第1領域の1次元画素配列と重複しない部分である第2画素配列と、を連結した連結1次元画素配列を生成する生成手段と、
前記連結1次元画素配列と重み係数との畳み込み演算に基づいて前記チャンネルの異なる複数の2次元画像の特徴量を求める計算手段と
を備え、
前記生成手段は、前記チャンネルの異なる複数の2次元画像における前記第1画素配列の同位置の要素をチャンネル順に並べた要素列と、前記チャンネルの異なる複数の2次元画像における前記第2画素配列の同位置の要素をチャンネル順に並べた要素列と、を連結した連結1次元画素配列を生成する
ことを特徴とする情報処理装置。 - 前記計算手段は、
前記連結1次元画素配列と重み係数との畳み込み演算の結果に対してプーリング処理を行い、該プーリング処理の結果に対して前記畳み込み演算および前記プーリング処理を行うことで前記特徴量を求めることを特徴とする請求項1に記載の情報処理装置。 - 前記情報処理装置は更に、前記特徴量と、ユーザにより入力された被写体に係る情報と、を登録辞書に登録する登録手段を備えることを特徴とする請求項1または2に記載の情報処理装置。
- 前記情報処理装置は更に、前記計算手段が求めた特徴量と、前記登録辞書に登録されている特徴量と、の類似度に基づいて、前記チャンネルの異なる複数の2次元画像に対する認証を行う認証手段を備えることを特徴とする請求項3に記載の情報処理装置。
- 前記情報処理装置は更に、前記認証手段による認証の結果を出力する出力手段を備えることを特徴とする請求項4に記載の情報処理装置。
- 前記チャンネルの異なる複数の2次元画像はカラー画像であることを特徴とする請求項1ないし5のいずれか1項に記載の情報処理装置。
- 情報処理装置が行う情報処理方法であって、
前記情報処理装置の変換手段が、チャンネルの異なる複数の2次元画像上に部分的に重複するように設定される第1領域および第2領域のそれぞれの2次元画素配列を1次元画素配列に変換する変換工程と、
前記情報処理装置の生成手段が、前記第1領域の1次元画素配列の一部若しくは全部である第1画素配列と、前記第2領域の1次元画素配列において該第1領域の1次元画素配列と重複しない部分である第2画素配列と、を連結した連結1次元画素配列を生成する生成工程と、
前記情報処理装置の計算手段が、前記連結1次元画素配列と重み係数との畳み込み演算に基づいて前記チャンネルの異なる複数の2次元画像の特徴量を求める計算工程と
を備え、
前記生成工程では、前記チャンネルの異なる複数の2次元画像における前記第1画素配列の同位置の要素をチャンネル順に並べた要素列と、前記チャンネルの異なる複数の2次元画像における前記第2画素配列の同位置の要素をチャンネル順に並べた要素列と、を連結した連結1次元画素配列を生成する
ことを特徴とする情報処理方法。 - コンピュータを請求項1乃至6の何れか1項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018077796A JP7104546B2 (ja) | 2018-04-13 | 2018-04-13 | 情報処理装置、情報処理方法 |
US16/379,882 US10909353B2 (en) | 2018-04-13 | 2019-04-10 | Information processing apparatus, information processing method, non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018077796A JP7104546B2 (ja) | 2018-04-13 | 2018-04-13 | 情報処理装置、情報処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019185548A JP2019185548A (ja) | 2019-10-24 |
JP2019185548A5 JP2019185548A5 (ja) | 2021-05-27 |
JP7104546B2 true JP7104546B2 (ja) | 2022-07-21 |
Family
ID=68161769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018077796A Active JP7104546B2 (ja) | 2018-04-13 | 2018-04-13 | 情報処理装置、情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10909353B2 (ja) |
JP (1) | JP7104546B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10752253B1 (en) * | 2019-08-28 | 2020-08-25 | Ford Global Technologies, Llc | Driver awareness detection system |
JP7448721B2 (ja) | 2021-03-08 | 2024-03-12 | 株式会社日立国際電気 | 撮像装置及び映像処理システム |
CN113837923A (zh) * | 2021-09-26 | 2021-12-24 | 安徽寒武纪信息科技有限公司 | 数据处理装置、数据处理方法及相关产品 |
CN113837921A (zh) * | 2021-09-26 | 2021-12-24 | 安徽寒武纪信息科技有限公司 | 数据处理装置、数据处理方法及相关产品 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001312729A (ja) | 2000-04-28 | 2001-11-09 | Minolta Co Ltd | 画像処理装置,画像処理方法及び画像処理プログラムを記録した記録媒体 |
US20100014718A1 (en) | 2008-04-17 | 2010-01-21 | Biometricore, Inc | Computationally Efficient Feature Extraction and Matching Iris Recognition |
JP2011086265A (ja) | 2009-10-19 | 2011-04-28 | Canon Inc | 画像処理装置及び方法、プログラム及び記憶媒体 |
US20160162402A1 (en) | 2014-12-04 | 2016-06-09 | Nvidia Corporation | Indirectly accessing sample data to perform multi-convolution operations in a parallel processing system |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5577135A (en) * | 1994-03-01 | 1996-11-19 | Apple Computer, Inc. | Handwriting signal processing front-end for handwriting recognizers |
US6408107B1 (en) * | 1996-07-10 | 2002-06-18 | Michael I. Miller | Rapid convolution based large deformation image matching via landmark and volume imagery |
US7634137B2 (en) | 2005-10-14 | 2009-12-15 | Microsoft Corporation | Unfolded convolution for fast feature extraction |
JP5364982B2 (ja) * | 2007-06-26 | 2013-12-11 | コニカミノルタ株式会社 | 情報処理システム |
JP5202037B2 (ja) | 2008-02-29 | 2013-06-05 | キヤノン株式会社 | 特徴点位置決定方法及び装置 |
US8160388B2 (en) | 2008-06-17 | 2012-04-17 | International Business Machines Corporation | Spatially selective transformation of a spatially varying optical characteristic of an image in an array of pixels |
US10067669B1 (en) * | 2017-07-13 | 2018-09-04 | King Fahd University Of Petroleum And Minerals | Online character recognition |
-
2018
- 2018-04-13 JP JP2018077796A patent/JP7104546B2/ja active Active
-
2019
- 2019-04-10 US US16/379,882 patent/US10909353B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001312729A (ja) | 2000-04-28 | 2001-11-09 | Minolta Co Ltd | 画像処理装置,画像処理方法及び画像処理プログラムを記録した記録媒体 |
US20100014718A1 (en) | 2008-04-17 | 2010-01-21 | Biometricore, Inc | Computationally Efficient Feature Extraction and Matching Iris Recognition |
JP2011086265A (ja) | 2009-10-19 | 2011-04-28 | Canon Inc | 画像処理装置及び方法、プログラム及び記憶媒体 |
US20160162402A1 (en) | 2014-12-04 | 2016-06-09 | Nvidia Corporation | Indirectly accessing sample data to perform multi-convolution operations in a parallel processing system |
Non-Patent Citations (3)
Title |
---|
Arjun Agrawal et al.,"Feature Based Iris Recognition System Functioning on Extraction of 2D Features",2012 6th International Conference on Applicaton of Information and Communication Technologies (AICT),米国,IEEE,2012年10月17日,pp.1-5 |
斎藤 康毅,"ゼロから作るDeep Learning",第1版,日本,株式会社オライリー・ジャパン,2016年09月28日,pp.221-227 |
浅川 伸一,"Pythonで体験する深層学習",第1版,日本,株式会社コロナ社,2016年08月18日,pp.99-119 |
Also Published As
Publication number | Publication date |
---|---|
JP2019185548A (ja) | 2019-10-24 |
US20190318157A1 (en) | 2019-10-17 |
US10909353B2 (en) | 2021-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7104546B2 (ja) | 情報処理装置、情報処理方法 | |
CN110717851B (zh) | 图像处理方法及装置、神经网络的训练方法、存储介质 | |
US10832069B2 (en) | Living body detection method, electronic device and computer readable medium | |
EP3540635B1 (en) | Method for identifying an object within an image and mobile device for executing the method | |
WO2018174623A1 (ko) | 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법 | |
KR101991763B1 (ko) | 조밀 탐색 방법 및 화상 처리 장치 | |
WO2021012494A1 (zh) | 基于深度学习的人脸识别方法、装置及计算机可读存储介质 | |
JP2018055259A (ja) | 情報処理装置、情報処理方法及びプログラム | |
EP3346425A1 (en) | Hardware accelerator engine and method | |
JP6292911B2 (ja) | 画像処理方法、画像処理プログラムおよび画像処理装置 | |
JP6656988B2 (ja) | 画像処理装置、半導体装置、画像認識装置、移動体装置、及び画像処理方法 | |
JP2015099559A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5936561B2 (ja) | 画像における外観及びコンテキストに基づく物体分類 | |
US20130243330A1 (en) | Method and apparatus for constructing image blur pyramid, and an image feature extracting circuit | |
JP5258506B2 (ja) | 情報処理装置 | |
US20180160071A1 (en) | Feature Detection In Compressive Imaging | |
JP2017191458A (ja) | 画像識別システム | |
US20230394870A1 (en) | Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and mobile device for executing the method | |
Kyrkou et al. | A hardware architecture for real-time object detection using depth and edge information | |
KR102634186B1 (ko) | 사용자의 생체 특성을 가지는 이미지 내에서 객체를 식별하고 생체 특성을 포함하는 이미지의 일부를 이미지의 다른 부분으로부터 분리함으로써 사용자의 신원을 식별하기 위한 방법(Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image) | |
WO2020240672A1 (ja) | 移動状況学習装置、移動状況認識装置、モデル学習方法、移動状況認識方法、及びプログラム | |
CN113887373A (zh) | 基于城市智慧体育的并行融合网络的姿态识别方法和系统 | |
JP2015232765A (ja) | 画像生成装置、コンピュータプログラム及び画像生成方法 | |
JP7444585B2 (ja) | 認識装置、認識方法 | |
CN115335848A (zh) | 视频块处理方法及装置、神经网络的训练方法和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210401 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220610 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220708 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7104546 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |