JP7419189B2 - 画像照合処理装置、方法およびプログラム - Google Patents
画像照合処理装置、方法およびプログラム Download PDFInfo
- Publication number
- JP7419189B2 JP7419189B2 JP2020135173A JP2020135173A JP7419189B2 JP 7419189 B2 JP7419189 B2 JP 7419189B2 JP 2020135173 A JP2020135173 A JP 2020135173A JP 2020135173 A JP2020135173 A JP 2020135173A JP 7419189 B2 JP7419189 B2 JP 7419189B2
- Authority
- JP
- Japan
- Prior art keywords
- image matching
- image
- model
- image data
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 131
- 238000000034 method Methods 0.000 title claims description 46
- 230000008569 process Effects 0.000 claims description 28
- 238000010606 normalization Methods 0.000 claims description 23
- 230000010365 information processing Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims 2
- 230000006870 function Effects 0.000 description 24
- 238000004458 analytical method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
(構成例)
(1)システム
図1は、この発明の一実施形態に係る画像照合処理装置を映像解析エンジンに備えたシステムの構成の一例を示すブロック図である。
図2は、映像解析エンジンVEのソフトウェア構成を示す機能ブロック図である。
カメラI/F30は、監視カメラCMから出力される映像データを受信して画像照合処理部ADへ出力する機能を有する。
次に、以上のように構成された映像解析エンジンVEによる画像照合処理の動作例を説明する。
図3は、モデル41~4nを用いた画像照合処理部ADの処理手順と処理内容を示すフローチャートである。
先ず、システム運用前の学習フェーズにおいて、映像解析エンジンVEで使用されるまたは使用する予定の複数のモデルの各々について学習を行う。そして、学習により得られた重み情報(weight)と、モデル毎に決められる入力画像の縦(高さ)方向のサイズ(height)および横幅方向のサイズ(width)と、モデル毎のアーキテクチャ名(architecture)とがシリアライズされたモデルファイル21~2nを作成し、記憶部20に記憶させる。図4および図5に示すソースコード1,2は、それぞれアーキテクチャ名AC1,AC2に対応するモデルファイルを定義するソースコードの一例を示したものである。
(2-1)モデルの呼び出し
システムの運用が開始されると、画像照合処理部ADの情報処理部10は、先ずモデル呼出処理部11の制御の下、ステップS10において、記憶部20に記憶された複数のモデルファイル21~2nの中から、使用するモデルに対応するモデルファイルを選択し、その保存情報を読み込む。例えば、いまアーキテクチャ名AC1に対応するモデルが指定されていれば、当該モデルに対応するモデルファイル21を選択し、当該モデルファイル21から図4に示す保存情報を読み込む。
次に画像照合処理部ADの情報処理部10は、画像データ取得処理部12の制御の下、ステップS12において、監視カメラCMにより撮像された映像データを、カメラI/F30からフレーム単位で画像データとして取得する。なお、画像データの取得は、複数フレーム毎または一定の時間間隔で行われるようにしてもよい。画像データ取得処理部12は、取得された画像データを記憶部20内の画像記憶領域に一旦保存する。
続いて画像照合処理部ADの情報処理部10は、画像前処理部13の制御の下、ステップS13において、上記画像記憶領域から画像データを読み出し、当該画像データに対し、先にモデルファイルから読み込んだ保存情報に含まれる画像サイズを示す情報(height,width)に従い画像リサイズなどの前処理を行う。そして、画像前処理部13は、ステップS14において、上記前処理後の画像データを対応するモデル41に入力する。上記前処理は、図6に示すソースコード3においては、第14行~15行に示される。
画像データが入力されると、特徴量抽出処理部14として機能するモデルは、ステップS15において、先にモデルファイルから読み込んだ保存情報に含まれる重み情報(weight)に従い、上記画像データから人物の全身または半身の特徴量を抽出する。そして、抽出された特徴量を類似度算出処理部15に渡す。この特徴量抽出処理は、図6に示すソースコード3では第16行に示される。同図では、特徴量をyで示している。
特徴量が得られると、類似度算出処理部15として機能するモデルは、ステップS16において、抽出された上記入力画像の類似度と、予め設定された人物のクエリ画像から抽出した特徴量との間の距離を計算し、これにより各画像間の類似度スコアを求める。
画像照合処理部ADの情報処理部10は、正規化・出力処理部16の制御の下、ステップS18において、上記算出された正規化処理後の類似度スコアをストリーム処理部SBへ出力する。ストリーム処理部SBは、上記正規化処理後の類似度スコアをWebサーバSVへ送信する。
以上述べたように一実施形態では、映像解析エンジンVEに設けられる画像照合処理部ADにおいて、以下のような処理を行っている。すなわち、使用されるモデルおよび使用を予定している新しいモデルの各々に対応して、学習済のパラメータ情報としての重み情報(weight)と、画像の縦方向(高さ方向)の画像サイズ(height)および横幅方向の画像サイズ(width)を指定する情報と、アーキテクチャ名(architecture)を指定する情報を含むモデルファイルを作成して記憶部20に保存する。またそれと共に、上記各モデルに対し共通に機能するクラスCLASS1を定義し、このクラスCLASS1で定義される呼出関数に上記各モデルに対応する処理手順を示すソースコードを記述する。そして、上記CLASS1で定義される処理手順に従い、モデルファイルから読み込んだアーキテクチャ名に従い対応するモデルを呼び出す処理、画像データを取得する処理、取得された画像データに対しモデルファイルで定義された画像サイズに従い画像リサイズを行う前処理、前処理後の画像データを上記モデルに入力して特徴量を抽出する処理、抽出された特徴量をもとに検知対象画像の特徴量との類似度スコアを算出する処理を行うようにしている。
前記一実施形態では、人物の全身または半身の照合を行う場合を例にとって説明したが、人物の顔を照合する場合にもこの発明は適用可能である。その他、画像照合処理装置の構成やその処理手順および処理内容、モデルの種類やモデルファイルに保存される情報の種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
VE…映像解析エンジン
AD…画像照合処理部
SB…ストリーム処理部
SV…Webサーバ
MT…モニタ装置
10…情報処理部
11…モデル呼出処理部
12…画像データ取得処理部
13…画像前処理部
14…特徴量抽出処理部
15…類似度算出処理部
16…正規化・出力処理部
20…記憶部
21~2n…モデルファイル
30…カメラI/F
41~4n…画像照合用のモデル
50…Webアプリケーション実行部
60…ファイルサーバ
70…データベースサーバ
Claims (6)
- カメラから取得される画像データに対し、アルゴリズムの異なる複数の画像照合モデルを選択的に用いて画像照合処理を行う画像照合処理装置であって、
前記複数の画像照合モデルの各々に対応する、学習済のパラメータ情報と、前記画像照合モデルを識別するアーキテクチャ情報とを少なくとも含むモデルファイルを保存する記憶部と、
前記モデルファイルに含まれる前記アーキテクチャ情報をもとに対応する前記画像照合モデルを呼び出し、呼び出された前記画像照合モデルに前記画像データと前記モデルファイルに含まれる前記パラメータ情報を与え、当該画像照合モデルにより前記画像データから特徴量を抽出する処理と抽出された前記特徴量をもとに画像照合結果を生成する処理を行い、前記画像照合結果を前記画像照合モデルから受け取って外部へ出力する情報処理部と
を備える画像照合処理装置。 - 前記記憶部に保存される前記モデルファイルは、前記画像データの画像サイズを指定する情報をさらに含み、
前記情報処理部は、前記画像データに対し前記モデルファイルに含まれる画像サイズを指定する情報に従い画像リサイズを含む前処理をさらに行う、
請求項1に記載の画像照合処理装置。 - 前記情報処理部は、前記画像照合モデルにより、前記画像データから抽出された前記特徴量と予め設定された対象画像の特徴量との間の類似度を算出し、算出された類似度を含む前記画像照合結果を生成する、請求項1に記載の画像照合処理装置。
- 前記情報処理部は、算出された類似度を予め設定された判定閾値の範囲内にするための正規化する処理をさらに行う、請求項3に記載の画像照合処理装置。
- カメラから取得される画像データに対し、アルゴリズムの異なる複数の画像照合モデルを選択的に用いて画像照合処理を行う装置が実行する画像照合処理方法であって、
前記複数の画像照合モデルの各々に対応する、学習済のパラメータ情報と、前記画像照合モデルを識別するアーキテクチャ情報とを少なくとも含むモデルファイルを生成し、記憶部に保存する過程と、
前記モデルファイルに含まれる前記アーキテクチャ情報をもとに対応する前記画像照合モデルを呼び出す過程と、
呼び出された前記画像照合モデルに、前記画像データと前記モデルファイルに含まれる前記パラメータ情報を与え、当該画像照合モデルにより前記画像データから特徴量を抽出する処理と抽出された前記特徴量をもとに画像照合結果を生成する処理を行う過程と、
前記画像照合結果を前記画像照合モデルから受け取って外部へ出力する過程と
を備える画像照合処理方法。 - 請求項1乃至4のいずれかに記載の画像照合処理装置が備える前記情報処理部による各処理を、前記画像照合処理装置が備えるプロセッサに実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020135173A JP7419189B2 (ja) | 2020-08-07 | 2020-08-07 | 画像照合処理装置、方法およびプログラム |
PCT/JP2021/028966 WO2022030551A1 (ja) | 2020-08-07 | 2021-08-04 | 画像照合処理装置、方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020135173A JP7419189B2 (ja) | 2020-08-07 | 2020-08-07 | 画像照合処理装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022030869A JP2022030869A (ja) | 2022-02-18 |
JP7419189B2 true JP7419189B2 (ja) | 2024-01-22 |
Family
ID=80117528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020135173A Active JP7419189B2 (ja) | 2020-08-07 | 2020-08-07 | 画像照合処理装置、方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7419189B2 (ja) |
WO (1) | WO2022030551A1 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6817625B2 (ja) * | 2016-12-14 | 2021-01-20 | 株式会社グルーヴノーツ | サービス構築装置、サービス構築方法及びサービス構築プログラム |
JP6697042B2 (ja) * | 2018-08-31 | 2020-05-20 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像システム、固体撮像方法及びプログラム |
-
2020
- 2020-08-07 JP JP2020135173A patent/JP7419189B2/ja active Active
-
2021
- 2021-08-04 WO PCT/JP2021/028966 patent/WO2022030551A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2022030869A (ja) | 2022-02-18 |
WO2022030551A1 (ja) | 2022-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102409204B1 (ko) | 모듈화된 인공지능 모델 플랫폼 서비스 제공 방법, 장치 및 컴퓨터프로그램 | |
CN112183166B (zh) | 确定训练样本的方法、装置和电子设备 | |
US20170208080A1 (en) | Computer-readable recording medium, detection method, and detection apparatus | |
KR20180104609A (ko) | 다수의 이미지 일치성을 바탕으로 보험클레임 사기 방지를 실현하는 방법, 시스템, 기기 및 판독 가능 저장매체 | |
CN111191532A (zh) | 基于施工区域的人脸识别方法、装置、计算机设备 | |
CN110848897B (zh) | 一种空调智能调节的方法及计算机可读存储介质 | |
WO2018036277A1 (zh) | 车辆检测的方法、装置、服务器及存储介质 | |
CN110780965B (zh) | 基于视觉的流程自动化方法、设备及可读存储介质 | |
CN112507314B (zh) | 客户身份核实方法、装置、电子设备及存储介质 | |
CN110795714A (zh) | 一种身份验证方法、装置、计算机设备及存储介质 | |
CN111881740B (zh) | 人脸识别方法、装置、电子设备及介质 | |
CN112699758A (zh) | 基于动态手势识别的手语翻译方法、装置、计算机设备及存储介质 | |
CN111191507A (zh) | 智慧社区的安全预警分析方法及系统 | |
CN114187561A (zh) | 异常行为的识别方法、装置、终端设备及存储介质 | |
US20220076005A1 (en) | Person authentication apparatus, control method, and non-transitory storage medium | |
CN114332925A (zh) | 电梯内宠物检测方法、系统、装置及计算机可读存储介质 | |
JP7419189B2 (ja) | 画像照合処理装置、方法およびプログラム | |
CN113762312A (zh) | 页面的埋点分析方法和装置 | |
KR20220000493A (ko) | 인공지능 모듈 플랫폼 서비스 제공 방법 | |
CN112988337A (zh) | 任务处理系统、方法、装置、电子设备、存储介质 | |
CN112686156A (zh) | 一种情绪监测方法、装置、计算机设备及可读存储介质 | |
CN116028246A (zh) | 数据处理的调度方法、系统和计算机设备和存储介质 | |
CN110716778A (zh) | 应用兼容性测试方法、装置及系统 | |
KR102343348B1 (ko) | 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램 | |
KR20230060439A (ko) | 실물 촬영 이미지 여부 식별 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220131 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7419189 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |