JP6991771B2 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6991771B2 JP6991771B2 JP2017147944A JP2017147944A JP6991771B2 JP 6991771 B2 JP6991771 B2 JP 6991771B2 JP 2017147944 A JP2017147944 A JP 2017147944A JP 2017147944 A JP2017147944 A JP 2017147944A JP 6991771 B2 JP6991771 B2 JP 6991771B2
- Authority
- JP
- Japan
- Prior art keywords
- lighting
- information
- acquired
- image
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Description
照明条件の影響を軽減する技術として、事前に登録した物体の画像から、様々な照明条件が反映された際のそれらの物体の画像である変動画像を生成し、認証に使用する手法がある。
例えば、特許文献1には、以下のような技術が開示されている。即ち、事前に二次元画像、又は標準三次元モデルから様々な照明条件が反映された画像である変動画像を生成しておき、入力画像と変動画像とを比較し最も類似する変動画像を入力画像の照明条件に類似しているとし、照合に使用する技術が開示されている。これにより、入力画像により近い照明条件同士の比較が可能となり、精度向上が期待できる。
特許文献2では、三次元モデルに対して、あらかじめ設定しておいた照明の位置、強度といったパラメタを適用し、変動画像をレンダリングする方法が開示されている。三次元モデルを用いることで、二次元画像から変動画像を作るよりも、よりリアルな変動画像を生成することができる。
特許文献1では、二次元画像や標準三次元モデルをもとにするため、人の顔のような凹凸がある物体における凹凸による陰影が再現できない。また、特許文献1では、照明条件が照明基底を用いた統計的な表現で表されており、現実環境の照明条件とは異なる照明条件を反映した変動画像が生成される可能性がある。
特許文献2では、個人毎の三次元モデルを用いているため、人の顔の凹凸による陰影は再現できる。しかし、特許文献2では、照明条件が照明の位置・角度で表される簡易なモデルを用いて表されており、現実環境の複雑な照明条件を反映した変動画像を生成することはできない。
そのため、従来手法では、物体の照合の精度には限界があった。
本実施形態では、照合対象の物体として人物の顔を照合する画像処理システムが、ゲートにおける入退室制御を行う例について説明する。建物の入り口付近に設置されるゲートの周囲の環境は、室内の照明変化だけでなく、外光による影響を受け、室内の環境等に比べて照明条件が大きく変化する。そこで、画像処理システムは、ゲートの周囲の環境における複数の照明条件を測定し、測定した照明条件に基づいて、照合対象の物体に照明条件を反映させた変動画像を生成し、生成した画像と入力される画像とを照合する。
図1は、本実施形態の画像処理システムのシステム構成等の一例を示す図である。図1の例では、照合対象の人物が、ゲートを通過しようとしている状況が示される。
画像処理システムは、情報処理装置1、三次元データ取得装置3、照明分布取得装置4、撮像装置5、ゲート制御装置6、フラッパー7を含む。情報処理装置1、三次元データ取得装置3、照明分布取得装置4、撮像装置5、ゲート制御装置6は、ネットワーク2を介して、相互に通信可能に接続されている。以下では、フラッパー7により通行の可否が制御されるゲート制御装置6の間隙を、ゲートとする。
情報処理装置1は、ネットワーク2を介して、三次元データ取得装置3、照明分布取得装置4、撮像装置5、ゲート制御装置6と通信し、照合対象の人物がゲートを通過してよい人物か否かを判定し、判定結果をゲート制御装置6に出力する。情報処理装置1は他例えば、パーソナルコンピュータ(PC)、サーバ装置、タブレット装置等の情報処理装置である。
ネットワーク2は、ローカルエリアネットワークであり、情報処理装置1、三次元データ取得装置3、照明分布取得装置4、撮像装置5、ゲート制御装置6の間の通信に用いられる。また、ネットワーク2は、インターネット等の他のネットワークであってもよい。
照明分布取得装置4は、周囲の三次元空間上の照明条件を測定する魚眼レンズが装着されたカメラ等の撮像装置であり、測定した照明条件を、ネットワーク2を介して、情報処理装置1に送信する。照明分布取得装置4は、照明条件として、照明分布取得装置4の周囲の現実環境における照明の方向、照明の強度、照明の色温度等を測定する。
建物の入口のように、外光の影響のある場所では、太陽のような証明強度のレンジが広い照明条件をより正確に測定するため、照明分布取得装置4は、HDR(High Dinamic Range)撮影のできる撮像装置であるのが好ましい。本実施形態では、照明分布取得装置4は、魚眼レンズ装着の撮像装置とした。しかし、照明分布取得装置4は、例えば、通常のカメラと自動雲台との組を複数含み、複数の視点から画像を複数撮影し、スティッチ処理を加えることで、照明分布を生成してもよい。また、照明分布取得装置4は、通常のカメラとミラーボール、反射鏡等を組み合わせて、照明分布を生成するようにしてもよい。また、照明分布取得装置4は、後の照合処理の際に色温度が不要であるなら、色温度を測定せずに、照明方向と照明強度とを測定することとしてもよい。
また、照明分布取得装置4は、照明分布を生成し、生成した照明分布を情報処理装置1に送信することとした。しかし、照明分布取得装置4が測定した照明条件の情報を情報処理装置1に送信し、情報処理装置1が照明分布を生成することとしてもよい。
ゲート制御装置6は、情報処理装置1から取得した照合対象の人物の認証結果に応じて、開閉を制御する制御信号をフラッパー7の駆動部に送信する。ゲート制御装置6は、フラッパー7を開閉させることで、人物の入場を制御する。
フラッパー7は、開閉部と、開閉部を駆動する駆動部を含み、人物のゲートの通過を物理的に制御する。
また、本実施形態では、画像処理システムの各要素は、それぞれ別個の要素であるとする。しかし、ある要素が他の要素の機能を有することとして、画像処理システムが、その他の要素を含まないこととしてもよい。例えば、照明分布取得装置4は、撮像装置5と同一の装置であるとして、撮像装置5との機能を有し、照合対象の物体を撮影することとしてもよい。また、情報処理装置1は、ゲート制御装置6と同一の装置であるとし、ゲート制御装置6の機能を有し、フラッパー7を制御することとしてもよい。
また、本実施形態では、三次元データ取得装置3は、ゲート制御装置6と異なる場所に配置されているとするが、ゲート制御装置6の近傍(例えば、ゲート制御装置6と同室内、ゲート制御装置6との距離が5メートル以下等)に配置されることとしてもよい。
図2は、情報処理装置1のハードウェア構成の一例を示す図である。情報処理装置1は、CPU11、ROM12、RAM13、二次記憶装置14、通信装置15、映像出力装置16、操作入力装置17を含む。各要素は、接続バス18を介して、相互に通信可能に接続されている。
CPU11は、ROM12やRAM13に格納された制御プログラムを実行することにより、本装置全体の制御を行う。
ROM12は、不揮発性メモリであり、制御プログラムや各種パラメタデータ等を記憶する。制御プログラムは、CPU11により実行され、図4~6等で後述する各処理が実現される。
RAM13は、揮発性メモリであり、画像のデータ、制御プログラムの実行結果のデータ等を一時的に記憶する。
通信装置15は、有線通信ユニットであり、ネットワーク2を介して他の装置との通信に利用する。通信装置15は、無線通信ユニットであってもよい。
映像出力装置16は、CRTやTFT液晶等のモニタであり、RAM13からCPU11により送信された画像や制御プログラムの実行結果等を表示する。
操作入力装置17は、キーボードやマウス等のユーザによる操作を介した入力を受付ける装置である。
CPU11が、ROM12、二次記憶装置14等に記憶されたプログラムに基づき処理を実行することで、図3、8で後述する情報処理装置1の機能及び図4~6で後述するフローチャートの処理等が実現される。
図3は、本実施形態における情報処理装置1の機能構成の一例を示す図である。情報処理装置1は、三次元データ取得部101、生成部102、入力部103、検出部104、特徴抽出部105、記憶部106、登録部107、照明分布取得部108、選択部109、照合部110、出力部111を含む。
三次元データ取得部101は、三次元データ取得装置3を介して、被写体の三次元データを取得し、二次記憶装置14に記憶する。本実施形態では、三次元データ取得部101は、照合処理の対象となる人物の顔の三次元データを取得する。
生成部102は、三次元データ取得部101により取得された三次元データと、記憶部106により記憶された照明分布と、に基づいて、照明分布が示す照明条件が反映された人物の顔の画像である変動画像を生成する。変動画像は、例えば、照明分布が示す照明条件下における人物の顔の三次元データからレンダリングされた二次元画像である。生成部102は、生成した変動画像に、どの照明分布から生成されたのかを示す照明分布情報を紐づけて、検出部104へ送信する。照明分布情報としては、例えば、照明分布が取得された時刻の情報、照明分布を識別する番号等がある。
入力部103は、撮像装置5を介して、ゲートを通過しようとする人物等の物体の二次元の画像を撮影し、検出部104へ送信する。入力部103により撮像装置5を介して撮影された物体の画像は、入力画像の一例である。
特徴抽出部105は、検出部104から送信された顔領域のデータから特徴量を抽出する。また、特徴抽出部105は、抽出した特徴量を、登録部107、又は照合部110へ送信する。また、特徴抽出部105は、照明分布情報と紐づけられた顔領域のデータから抽出した特徴量については、抽出した特徴量にその照明分布情報を紐付けて、登録部107、又は照合部110へ送信する。
記憶部106は、照明分布取得部108から送信された照明分布を二次記憶装置14に記憶し、生成部102、又は選択部109へ送信する。
照明分布取得部108は、照明分布取得装置4を介して、照明分布取得装置4の周囲の現実環境における三次元空間上の照明条件を測定し、測定した照明条件に基づいて、照明分布を取得し、記憶部106へ記憶する。
選択部109は、照明分布取得部108により取得された照明分布に基づいて、二次記憶装置14に記憶されている過去の登録データから、照合に使用される特徴量を含む登録データを選択する。選択部109は、選択した登録データの情報を照合部110に送信する。
照合部110は、特徴抽出部105から送信された入力部103により取得された画像から抽出された特徴量と、選択部109から送信された登録データに含まれる特徴量と、を照合し、照合結果を出力部111へ送信する。
出力部111は、例えば、照合部110から送信された照合結果を、通信装置15を介して、ゲート制御装置6等に外部装置に出力する。
本実施形態では、画像処理システムは、複数の人物、複数の照明分布それぞれについて、登録データを生成し、二次記憶装置14に記憶することで登録する。
本実施形態では、画像処理システムは、照合対象の人物についての登録データを、新たに登録する物体登録処理、新たな照明分布が取得された場合に、その照明分布に応じた登録データを登録する照明分布登録処理、物体を照合する照合処理等の処理を実行する。画像処理システムは、照明分布登録処理を、照合処理のバックグラウンドで実行することとしてもよい。以下、それぞれの処理について説明する。
物体登録処理は、照合対象の候補となる人物についての登録データを登録する処理である。物体登録処理は、新たに取得された人物の三次元モデルと、既に記憶されている照明分布と、を用いて、変動画像を生成し、生成した変動画像から照合に用いられる特徴量を抽出し、登録データを生成し、登録する処理である。
図4は、物体登録処理の一例を示すフローチャートである。
S1101において、三次元データ取得部101は、三次元データ取得装置3を介して、照合対象の候補となる人物の顔の三次元データを取得する。三次元データ取得部101は、物体の三次元データとして、物体の形状を示すポリゴンメッシュと、物体の質感を表現するテクスチャと、を含むデータを取得する。本実施形態では、三次元データ取得部101は、ポリゴンメッシュとして顔の形状、テクスチャとして顔画像をそれぞれ取得する。
S1103において、生成部102は、S1102で取得した全ての照明分布から1つを選択し、選択した照明分布について、S1104~S1108の処理を実行するよう制御する。生成部102は、この処理を繰り返し、S1102で取得した全ての照明分布について、S1104~S1108の処理を実行するよう制御する。
参考文献1:DEBEVEC、 P.、 ‘‘Image-Based Lighting、’’ IEEE Computer Graphics and Applications、 Vol. 22、 No. 2、 March/April、 2002.
参考文献2:Rapid object detection using a boosted cascade of simple features: P. Viola、 M. Jones: 2001
検出部104は、例えば、顔の検出結果として、画像中における顔の領域を表す矩形領域の座標を決定する。検出部104は、検出した顔領域に対して、顔サイズや顔の傾きが一定になるよう正規化処理を施す。また、検出部104は、顔の目や鼻といった特徴点を抽出し、顔の部分領域を出力するようにしてもよい。検出部104は、例えば、以下の参考文献3に開示されている手法を用いて、顔の特徴点を抽出する。
参考文献3:特開2009-211177号公報
S1108において、生成部102は、S1102で取得した全ての照明分布について、S1103~S1107の処理が完了しているか否かを判定する。生成部102は、S1102で取得した全ての照明分布について、S1103~S1107の処理が完了していると判定した場合、図4の処理を終了する。生成部102は、S1102で取得した照明分布の中に、S1103~S1107の処理が完了していないものがあると判定した場合、S1103の処理に進む。
本実施形態では、情報処理装置1は、照合対象の物体の三次元データを取得した後に照明分布を取得することとしたが、この順番はこの限りではなく、照明分布を取得した後で、照合対象の物体の三次元データを取得してもよい。
本実施形態では、情報処理装置1は、二次記憶装置14に記憶されている全ての照明分布それぞれについて、対応する変動画像を生成したが、一部の照明分布だけについて生成してもよい。例えば、類似する照明分布が複数記憶されている場合、情報処理装置1は、類似する複数の照明分布のうちの1つを、代表の照明分布として、代表の照明分布に基づいて、変動画像を生成し、他の照明分布は使用しないようにしてもよい。照明分布が類似しているか否か判定する処理の詳細は、図7で後述する。
以下では、照明分布登録処理について説明する。照明分布登録処理は、照明分布が新たに取得された場合、取得された照明分布に対応する登録データを生成し、登録する処理である。即ち、照明分布登録処理は、新たに取得された照明分布と、その時点で既に取得されている照合対象である物体の三次元データと、に基づいて変動画像を生成し、登録する処理である。画像処理システムは、照明分布登録処理により、リアルタイムに変化する照明分布を記録し、その照明分布に応じた登録データを生成し、登録することができる。
図5は、照明分布登録処理の一例を示すフローチャートである。
S1201において、照明分布取得部108は、照明分布の取得を実行するか否かを判定する。本実施形態では、画像処理システムは、予め定められた間隔毎に周期的に照明分布を取得することとする。そのため、照明分布取得部108は、前回、照明分布を取得してから、経過した時間が、予め定められた時間以上であれば、照明分布の取得を実行すると判定する。また、照明分布取得部108は、前回、照明分布を取得してから、経過した時間が、予め定められた時間未満であれば、照明分布の取得を実行しないと判定する。
照明分布取得部108は、照明分布の取得を実行すると判定した場合、S1203の処理に進み、照明分布の取得を実行しないと判定した場合、S1202の処理に進む。
S1203において、照明分布取得部108は、照明分布を取得する。照明分布取得部108は、例えば、照明分布取得装置4を介して、照明分布を取得する。
S1204において、記憶部106は、S1203で取得された照明分布を、二次記憶装置14に記憶する。
S1205において、生成部102は、三次元データ取得部101により二次記憶装置14に記憶された物体の三次元モデルを取得し、二次記憶装置14からS1203で取得された照明分布を取得する。
S1206において、生成部102は、S1205で取得した全ての三次元モデルから、1つを選択し、選択した三次元モデルについて、S1207~S1211の処理が実行されるよう制御する。そして、生成部102は、この処理を繰り返すことで、S1205で取得した全ての三次元モデルについて、S1207~S1211の処理が実行されるよう制御する。
S1208において、検出部104は、S1207で生成された変動画像から人物の顔を検出する。
S1209において、特徴抽出部105は、S1208で検出された変動画像の顔領域から特徴量を抽出する。
S1210において、登録部107は、抽出した特徴量と、その特徴量が誰の顔から抽出されたかを示す人物情報と、S1203で取得された照明分布を示す照明分布情報と、の組を、登録データとして二次記憶装置14に記憶する。登録部107は、例えば、人物情報として、人物名を示す文字列や人物を識別する数字等の情報を記憶する。
S1212において、照明分布取得部108は、操作入力装置17を介したユーザによる入力操作に基づいて、照明分布登録処理の終了指示を受付けたか否かを判定する。照明分布取得部108は、照明分布登録処理の終了指示を受付けたと判定した場合、図5の処理を終了し、照明分布登録処理の終了指示を受付けていないと判定した場合、S1201の処理に進む。
本実施形態では、三次元データ、照明分布、特徴量のデータは、それぞれ個別の情報処理装置1の機能構成要素が管理しているとするが、1つの機能構成要素が、全てのデータを管理することとしてもよい。
本実施形態では、照明分布取得部108は、S1201で、前回、照明分布を取得した時刻から予め定められた時間が経過している場合、照明分布の取得を行うこととした。しかし、照明分布取得部108は、例えば、過去に取得した照明分布に対応する照明条件に対して、照明分布取得装置4を介して取得した現在の照明条件が類似している場合、S1203以降の処理を行わないこととしてもよい。また、照明分布取得部108は、例えば、過去に取得した照明分布に対応する照明条件に対して、照明分布取得装置4を介して取得した現在の照明条件が類似していない場合、S1203以降の処理を行うこととしてもよい。
そこで、照明分布取得部108は、過去に取得した照明分布に対応する照明条件と、照明分布取得装置4を介して取得した現在の照明条件と、が類似している場合、S1203以降の処理を行わないようにすることで、以下のような効果を奏することができる。即ち、画像処理システムは、不要な処理の負担を軽減することができる。照明分布が類似しているか否か判定する処理は、図7で後述する。
以下では、照合処理について説明する。
図6は、照合処理の一例を示すフローチャートである。
S1301において、入力部103は、撮像装置5を介して、ゲートを通過しようとする人物の顔の画像を撮影する。
S1302において、検出部104は、S1301で撮影された画像から人物の顔を検出する。ゲートを通過しようとする人物がいれば、S1302で検出部104により、検出され、照合されることになる。検出部104は、S1301で撮影された画像中におけるゲートを通過する人物が写り得る範囲として予め定められた範囲から検出する。これにより、検出部104は、ゲートから離れた位置にいる人を照合して、ゲートが誤動作する可能性を低減できる。また、検出部104は、S1301で撮影された画像の全領域から顔を検出してもよい。
S1303において、検出部104は、S1302で1つ以上の顔が検出されたか否かを判定する。検出部104は、S1302で1つ以上の顔が検出されたと判定した場合、S1304の処理に進み、S1302で1つも顔が検出されなかったと判定した場合、S1301の処理に進む。
S1305において、照明分布取得部108は、照明分布取得装置4を介して、照明分布を取得する。これにより、照明分布取得部108は、人物がゲートを通過しようとする際の現実環境における照明条件を取得できる。
S1306において、選択部109は、S1305で取得された照明分布に基づいて、記憶部106に記憶されている複数の登録データの中から、照合に用いられる特徴量を含む登録データを選択する。
図7の下段には、登録部107により二次記憶装置14に記憶された登録データが示されている。図7の下段に示されるように、登録データは、特徴量(ベクトル)と、人物情報と、特徴量を抽出した変動画像に使われた照明分布の照明分布情報と、の組の情報である。図7を用いて、選択部109が登録データを選択する手法の一例について説明する。
S=(A・B)/(|A||B|) (式1)
式1で、Aは、S1305で取得された照明分布の画素値を並べたベクトルである。Bは、S1305で取得された照明分布と比較される過去の照明分布の画素値を並べたベクトルである。A、B∈RDである。Dは、次元数であり、例えば、照明分布の画素数である。
また、選択部109は、2つの照明分布の比較に用いられる距離尺度として、cos類似度以外の距離尺度を用いてもよい。選択部109は、例えば、正規化相互相関を用いてもよい。また、選択部109は、距離関数を学習によって計算するメトリックラーニングの手法を用いて、2つの照明分布の比較を行ってもよい。また、選択部109は、式1を用いて取得した類似度を所定の範囲の値になるように正規化してもよい。
続いて、選択部109は、図7の下段の表に示される二次記憶装置14に記憶された登録データのうち、対応する照明分布情報が、特定した照明分布に対応する照明分布情報と一致する登録データを選択する。選択部109に特定されたNo.2の照明分布に対応する照明分布情報は、「2016/01/02 11:00:00」である。そのため、選択部109は、二次記憶装置14に記憶されている登録データの中から、対応する照明分布情報が、「2016/01/02 11:00:00」であるものを選択する。選択部109は、図7下段の表のNo.2、No.5、No.7の登録データ(図中の矢印箇所)を選択する。
以上が、登録データの選択手法の一例の説明である。画像処理システムは、照明分布同士の比較を行い、S1305で取得された照明分布と類似する照明分布を特定することとした。これにより、画像処理システムは、変動画像や特徴量同士を比較して、S1305で取得された照明分布と類似する照明分布を特定する場合よりも、処理の負荷を軽減できる。
これは、照合処理のバックグラウンドで、照明分布登録処理が実行されているが、変動画像の生成、及び特徴量抽出が間に合っていないためである。このような場合、画像処理システムは、照明分布情報「2016/01/02 12:00:00」の照明分布を、S1305で取得された照明分布と類似する照明分布として特定したならば、以下の処理を行う。即ち、画像処理システムは、照明分布情報「2016/01/02 12:00:00」に対応する全人物の登録データが二次記憶装置14に記憶されていないことを検知する。そして、画像処理システムは、過去の照明分布から、S1305で取得された照明分布と、次に類似(類似度が次に高い)する照明分布を特定し、特定した照明分布に対応する全人物の登録データが存在する場合、その登録データに含まれる特徴量を用いて照合を行う。
また、画像処理システムは、S1305で取得された照明分布と類似する照明分布がない場合(S1308で取得された類似度のうち、予め定められた閾値以上のものがない場合)がある。そのような場合には、画像処理システムは、照明分布登録処理により、新たな照明分布をもとにした登録データが登録されるまで、待機してもよい。また、画像処理システムは、S1308で取得された類似度のうち最も高いものに対応する照明分布に対応する登録データに含まれる特徴量に基づいて、照合してもよい。また、画像処理システムは、S1308で取得された類似度のうち、最も高いものから予め定められた個数(例えば、3個等)の類似度に対応する照明分布それぞれに対応する登録データに含まれる特徴量に基づいて、照合してもよい。
S1308において、照合部110は、以下のような処理を行うことで、ゲートを通過しようとする人物の顔を照合する。照合部110は、S1304で抽出された特徴量と、S1307で選択された登録データに含まれる特徴量と、の類似の度合いを示す類似度を取得する。照合部110は、例えば、式1を用いて、特徴量同士の類似度を取得する。この場合、式1のAは、S1304で抽出された特徴量を示すベクトルであり、式1のBは、S1307で選択された登録データに含まれる特徴量を示すベクトルである。
S1309において、照合部110は、S1306で選択された登録データの全てに含まれる特徴量について、S1308の処理を実行したか否かを判定する。照合部110は、S1306で選択された登録データの全てについて、S1308の処理を実行したと判定した場合、S1311の処理に進む。照合部110は、S1306で選択された登録データに、S1308の処理を実行していないものがあると判定した場合、S1307の処理に進む。
S1311において、出力部111は、S1310での認証処理の結果を、ゲート制御装置6等の外部装置に送信する。ゲート制御装置6は、受信した認証処理の結果に応じて、フラッパー7の開閉を制御する。これにより、画像処理システムは、人物がゲートを通過できるか否かを制御する入退室管理を実現できる。
S1312において、照合部110は、操作入力装置17を介したユーザによる入力操作に基づいて、照合処理の終了指示を受付けたか否かを判定する。照合部110は、照合処理の終了指示を受付けたと判定した場合、図6の処理を終了し、照合処理の終了指示を受付けていないと判定した場合、S1301の処理に進む。
このように、画像処理システムは、照合の現場で撮影した照明分布と、記録しておいた過去の照明分布とを比較し、類似する照明分布を特定し、特定した照明分布に対応する登録データに含まれる特徴量を用いて、照合することとした。このように、画像処理システムは、照合の現場で撮影した照明分布と類似する照明分布に応じた特徴量を用いることで、照合の精度を向上させることができる。
本実施形態では、入力部103は、撮像装置5を介して、撮影することで、照合処理を行う二次元画像を取得した。しかし、入力部103は、例えば、撮像装置5を介して、三次元画像を取得した上で、取得した三次元画像に基づいて、レンダリングした二次元画像を取得して照合してもよい。また、入力部103は、外部の装置から照合処理を行う二次元画像を、ネットワークを介して、取得してもよい。
これにより、画像処理システムは、処理の負担を軽減できる。
また、本実施形態では、画像処理システムは、照明分布登録処理を、照合処理のバックグラウンドで実行するとした。しかし、画像処理システムは、照合処理を止めて、照明分布登録処理を実行する期間を設けてもよい。これにより、画像処理システムは、登録データをより効率よく蓄積できる。
このように、画像処理システムは、実際の照明条件を反映した変動画像を生成し、照合に用いることで、より精度良く人物を照合することができる。
即ち、画像処理システムは、照合の際に改めて、照明分布取得装置4を介して取得された照明分布を用いて、照合に用いられる変動画像を生成したり、特徴量を抽出したりする必要がない。これにより、画像処理システムは、人物の照合処理を高速化できる。
実施形態1では、画像処理システムは、複数の登録データの中から、照合に用いられる特徴量を含む登録データを選択するために、照合の際に取得された照明分布と、過去に取得された照明分布と、の比較を行った。本実施形態では、画像処理システムは、過去に取得された照明分布のそれぞれに、照明分布が取得された際の現実環境に関する情報である環境情報を紐付けて二次記憶装置14に記憶する。そして、画像処理システムは、照合の際に照合が行われる場所の現実環境の環境情報を取得し、取得した環境情報に基づいて、二次記憶装置に記憶された過去の照明分布から、照合の際の現実環境の照明条件を示す照明分布に類似する照明分布を特定する。
本実施形態の画像処理システムのシステム構成は、実施形態1と同様である。また、情報処理装置1のハードウェア構成についても、実施形態1と同様である。
環境情報取得部212は、照明分布取得部108により照明分布取得装置4を介して、照明分布が取得された際の環境情報を取得し、取得された照明分布に対応する登録データに、取得した環境情報を含ませる。記憶部106は、環境情報を含む登録データを二次記憶装置に記憶することとなる。環境情報とは、日時や天気、気温、湿度、場所、周囲の人の数といった現実環境に関する情報である。環境情報取得部212は、例えば、温度センサ、感光センサ、湿度センサ、GPSセンサ、人感センサ等のセンサを介して、気温、湿度、場所、周囲の人の数等の環境情報を取得することができる。また、環境情報取得部212は、撮像装置5を介して撮影された画像から、人物を検出することで、周囲の人の数を取得することができる。また、環境情報取得部212は、例えば、Webから情報を検索することで、日時や天気等の環境情報を取得することができる。
本実施形態の選択部109による処理の一例を説明する。選択部109は、実施形態1と異なり、照明分布同士の比較を行わずに環境情報同士を比較することとなる。選択部109は、照合の際に、照合が行われる場所(ゲート付近)の環境情報を取得する。取得された環境情報は、前記入力画像が撮影された際の現実環境に関する情報である第2の環境情報の一例である。そして、選択部109は、取得した環境情報と、過去の照明分布と紐付けて記憶されている環境情報と、に基づいて、過去の照明分布の中から照合の際の現実環境の照明条件を示す照明分布に類似する照明分布を選択する。過去の照明分布と紐付けて記憶されている環境情報は、過去に照明分布が取得された際の現実環境に関する情報である第1の環境情報の一例である。
また、選択部109は、過去の照明分布と紐付けて記憶されている環境情報から、対応する天気、気温、場所の情報が、照合の際に取得された環境情報と一致するものを特定してもよい。そして、選択部109は、特定した環境情報に紐付けられた照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定してもよい。
また、選択部109は、過去の照明分布に紐付けられた環境情報から、日時、天気、湿度、気温、場所、周囲の人の数等のうちの予め定められた少なくとも1以上の情報が、照合の際に取得された環境情報と一致するものを特定してもよい。そして、選択部109は、特定した環境情報に紐付けられた照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定してもよい。例えば、周囲の人の数が多い場合、照明が人に遮られて照明分布が変わることがある。そのため、選択部109は、周囲の人の数を選択の基準にすることで、このような場合でも適切な照明分布を特定できる。
選択部109は、例えば、過去の照明分布と紐付けて記憶されている環境情報と、照合の際に取得された環境情報と、の差分が予め定められた閾値以下である場合、以下の処理を行う。即ち、選択部109は、その過去の照明分布と紐付けて記憶されている環境情報に対応する照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定する。選択部109は、例えば、過去の照明分布と紐付けて記憶されている環境情報と、照合の際に取得された環境情報と、の温度、湿度、場所の差分が予め定められた閾値以下である場合、以下の処理を行うこととしてもよい。即ち、選択部109は、その過去の照明分布と紐付けて記憶されている環境情報に対応する照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定してもよい。
また、画像処理システムは、照合の際に周囲の人の数が少ない場合、即ち、ゲートを通過しようとする人が予め定められた閾値(例えば、2等)以下である場合、より素早く照合するよりも、より精度よく照合するために、以下の処理を行うこととしてもよい。即ち、画像処理システムは、照合の際に照明分布取得装置4を介して取得された照明分布に基づいて、登録データを生成する。そして、画像処理システムは、生成した登録データに含まれる特徴量と、照合の際に撮像装置5を介して撮影された画像から抽出された特徴量と、に基づいて、照合を行うこととしてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
実施形態1のように、画像処理システムが、予め定められた間隔毎に照明分布を取得し、登録データを生成していると、天気の急激な変化や照明設備の点灯・消灯等に対応できない場合が有りうる。その場合は、画像処理システムは、照明分布取得装置4を介して、照明分布を取得する時間的な間隔を予め定められた値以下にして、照明分布を取得する度に、以下の処理を行うようにすればよい。即ち、画像処理システムは、取得した照明分布と、過去の最新の照明分布と、を比較し、類似していない場合のみ取得した照明分布を記録し、対応する登録データの生成、登録を行えばよい。その場合、情報処理装置1は、照明分布の記録と登録データの生成を繰り返す計算負荷に耐えられる処理リソースを有することとすればよい。また、画像処理システムは、照合処理が行われていない場合のみ、以上のような処理を行うこととしてもよい。
実施形態1、2では、画像処理システムは、人物の顔の照合を行ったが、人物の全体、人物の上半身、車、動物、貨物等の他の物体の照合を行ってもよい。
実施形態1、2では、情報処理装置1は単体の情報処理装置であるとしたが、複数のPC、サーバ装置、タブレット装置等であるとしてもよい。その場合、情報処理装置1に含まれる各情報処理装置のCPUが、各情報処理装置の補助記憶装置に記憶されるプログラムに基づき、連携して処理を実行することで、図3、8の機能及び図4~6のフローチャートの処理等が実現される。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。
4 照明分布取得装置
5 撮像装置
Claims (16)
- 入力画像における照明条件を取得する第1の取得手段と、
特定の物体のデータと、複数の照明条件と、に基づいて、前記照明条件のそれぞれにおける前記特定の物体の画像である変動画像を生成する生成手段と、
前記入力画像における照明条件に基づいて、前記入力画像における照明条件と類似した照明条件における前記変動画像から前記特定の物体の特徴量を取得する第2の取得手段と、
前記第2の取得手段によって取得された前記特定の物体の特徴量に基づいて、該入力画像に含まれる物体が前記特定の物体であるか否かを照合する照合手段と、
を有する情報処理装置。 - 前記第1の取得手段は、前記入力画像が撮像された際の現実環境の照明条件を、光学的に測定する測定装置から取得する請求項1記載の情報処理装置。
- 前記照明条件は、照明の方向と、照明の強度と、に関する条件を含む請求項1または2記載の情報処理装置。
- 前記照明条件は、照明の色温度に関する条件を含む請求項1乃至3何れか1項記載の情報処理装置。
- 前記第2の取得手段は、前記入力画像における照明条件と、複数の前記照明条件と、の類似の度合いを示す類似度に基づいて、前記類似度が所定の値より大きい照明条件における前記変動画像から前記特定の物体の特徴量を取得する請求項1乃至4何れか1項記載の情報処理装置。
- 前記第1の取得手段は、前記変動画像の所定の領域における照明条件を取得し、
前記第2の取得手段は、前記変動画像の前記所定の領域における前記所定の照明条件と、前記入力画像における前記所定の領域の照明条件と、の類似の度合いを示す類似度に基づいて、前記類似度が所定の値より大きい照明条件における前記変動画像から前記特定の物体の特徴量を取得する請求項1乃至4何れか1項記載の情報処理装置。 - 前記変動画像を記憶部に記憶する記憶手段をさらに有し、
前記記憶手段は、対応する照明条件が前記生成手段により生成された変動画像と類似する変動画像が前記記憶部に記憶されている場合、前記生成手段により生成された変動画像を前記記憶部に記憶しない請求項1乃至6何れか1項記載の情報処理装置。 - 前記第2の取得手段は、前記変動画像それぞれが撮像された際の現実環境に関する情報である第1の環境情報と、前記入力画像が撮影された際の現実環境に関する情報である第2の環境情報と、に基づいて、前記第2の環境情報に類似する前記第1の環境情報に対応する前記変動画像から前記特定の物体の特徴量を取得する請求項5または6記載の情報処理装置。
- 前記第1の環境情報と前記第2の環境情報とには、前記第1または第2の取得手段により照明条件が取得されたときの時刻の情報が含まれ、
前記第2の取得手段は、前記第1の環境情報に含まれる照明条件が取得された時刻の情報と、前記第2の環境情報に含まれる照明条件が取得された時刻の情報と、に基づいて、前記第2の環境情報に類似する前記第1の環境情報における前記特定の物体の特徴量を取得する請求項8記載の情報処理装置。 - 前記第1の環境情報と前記第2の環境情報とには、前記第1または第2の取得手段により照明条件が取得されたときの天気の情報が含まれ、
前記第2の取得手段は、前記第1の環境情報に含まれる照明条件が取得された天気の情報と、前記第2の環境情報に含まれる照明条件が取得された天気の情報と、に基づいて、前記第2の環境情報に類似する前記第1の環境情報における前記特定の物体の特徴量を取得する請求項8記載の情報処理装置。 - 前記第1の環境情報と前記第2の環境情報とには、場所の情報が含まれ、
前記第2の取得手段は、前記第1の環境情報に含まれる照明条件が取得された場所の情報と、前記第2の環境情報に含まれる照明条件が取得された場所の情報と、に基づいて、前記第2の環境情報に類似する前記第1の環境情報における前記特定の物体の特徴量を取得する請求項8記載の情報処理装置。 - 前記第1の環境情報と前記第2の環境情報とには、場所に存在する人の数の情報が含まれ、
前記第2の取得手段は、前記第1の環境情報に含まれる照明条件が取得された場所に存在する人の数の情報と、前記第2の環境情報に含まれる照明条件が取得された場所に存在する人の数の情報と、に基づいて、前記特定の物体の特徴量を取得する請求項8記載の情報処理装置。 - 前記特定の物体は、人の顔である請求項1乃至12何れか1項記載の情報処理装置。
- 入力画像における照明条件を取得する第1の取得手段と、
特定の物体のデータと、複数の照明条件と、に基づいて、前記照明条件のそれぞれにおける前記特定の物体の画像である変動画像を生成する生成手段と、
前記入力画像における照明条件に基づいて、前記入力画像における照明条件と類似した照明条件における前記変動画像から前記特定の物体の特徴量を取得する第2の取得手段と、
前記第2の取得手段によって取得された前記特定の物体の特徴量に基づいて、該入力画像に含まれる物体が前記特定の物体であるか否かを照合する照合手段と、
を有する情報処理システム。 - 入力画像における照明条件を取得する第1の取得工程と、
特定の物体のデータと、複数の照明条件と、に基づいて、前記照明条件のそれぞれにおける前記特定の物体の画像である変動画像を生成する生成工程と、
前記入力画像における照明条件に基づいて、前記入力画像における照明条件と類似した照明条件における前記変動画像から前記特定の物体の特徴量を取得する第2の取得工程と、
前記第2の取得工程で取得された前記特定の物体の特徴量に基づいて、該入力画像に含まれる物体が前記特定の物体であるか否かを照合する照合工程と、
を有する情報処理方法。 - コンピュータを、請求項1乃至13何れか1項記載の情報処理装置の各手段として、機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017147944A JP6991771B2 (ja) | 2017-07-31 | 2017-07-31 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
US16/047,614 US10885316B2 (en) | 2017-07-31 | 2018-07-27 | Apparatus for authenticating an object and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017147944A JP6991771B2 (ja) | 2017-07-31 | 2017-07-31 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019028764A JP2019028764A (ja) | 2019-02-21 |
JP2019028764A5 JP2019028764A5 (ja) | 2020-08-27 |
JP6991771B2 true JP6991771B2 (ja) | 2022-01-13 |
Family
ID=65137969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017147944A Active JP6991771B2 (ja) | 2017-07-31 | 2017-07-31 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10885316B2 (ja) |
JP (1) | JP6991771B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI742534B (zh) | 2019-02-20 | 2021-10-11 | 日商旭化成股份有限公司 | 硬化物、硬化物改質體及硬化方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005284394A (ja) | 2004-03-26 | 2005-10-13 | Matsushita Electric Ind Co Ltd | 特徴検出装置 |
JP2006221355A (ja) | 2005-02-09 | 2006-08-24 | Hitachi Ltd | 監視装置及び監視システム |
JP2012203668A (ja) | 2011-03-25 | 2012-10-22 | Sony Corp | 情報処理装置、物体認識方法、プログラム及び端末装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001283216A (ja) | 2000-04-03 | 2001-10-12 | Nec Corp | 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体 |
JP2008217803A (ja) | 2002-02-27 | 2008-09-18 | Nec Corp | 画像認識システム及びその認識方法並びにプログラム |
JP4552431B2 (ja) * | 2003-12-08 | 2010-09-29 | 日本電気株式会社 | 画像照合装置、画像照合方法及び画像照合プログラム |
JP4446383B2 (ja) * | 2004-08-12 | 2010-04-07 | Kddi株式会社 | 画像処理装置および画像認識装置 |
WO2007119870A1 (ja) * | 2006-04-14 | 2007-10-25 | Nec Corporation | 照合装置および照合方法 |
JP5202037B2 (ja) | 2008-02-29 | 2013-06-05 | キヤノン株式会社 | 特徴点位置決定方法及び装置 |
JP6268960B2 (ja) * | 2013-11-15 | 2018-01-31 | オムロン株式会社 | 画像認識装置及び画像認識装置に対するデータ登録方法 |
JP6410450B2 (ja) * | 2014-03-31 | 2018-10-24 | キヤノン株式会社 | オブジェクト識別装置、オブジェクト識別方法及びプログラム |
-
2017
- 2017-07-31 JP JP2017147944A patent/JP6991771B2/ja active Active
-
2018
- 2018-07-27 US US16/047,614 patent/US10885316B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005284394A (ja) | 2004-03-26 | 2005-10-13 | Matsushita Electric Ind Co Ltd | 特徴検出装置 |
JP2006221355A (ja) | 2005-02-09 | 2006-08-24 | Hitachi Ltd | 監視装置及び監視システム |
JP2012203668A (ja) | 2011-03-25 | 2012-10-22 | Sony Corp | 情報処理装置、物体認識方法、プログラム及び端末装置 |
Also Published As
Publication number | Publication date |
---|---|
US10885316B2 (en) | 2021-01-05 |
US20190034705A1 (en) | 2019-01-31 |
JP2019028764A (ja) | 2019-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11922707B2 (en) | Method and apparatus for training face detection model, and apparatus for detecting face key point | |
US20190095701A1 (en) | Living-body detection method, device and storage medium | |
JP6700791B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2000306095A (ja) | 画像照合・検索システム | |
JP5361524B2 (ja) | パターン認識システム及びパターン認識方法 | |
CN109299658B (zh) | 脸部检测方法、脸部图像渲染方法、装置及存储介质 | |
JP2006293644A (ja) | 情報処理装置、情報処理方法 | |
JPWO2020079741A1 (ja) | 虹彩認証装置、虹彩認証方法、虹彩認証プログラムおよび記録媒体 | |
KR20170015639A (ko) | 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 | |
JP7484985B2 (ja) | 認証システム、認証方法、及び、プログラム | |
JP5963525B2 (ja) | 認識装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 | |
JP2019032694A (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
JP6991771B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
Zhang et al. | A virtual proctor with biometric authentication for facilitating distance education | |
US9286707B1 (en) | Removing transient objects to synthesize an unobstructed image | |
JP6875646B2 (ja) | 画像処理装置、および、画像処理プログラム | |
JP7020567B2 (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
CN108875472B (zh) | 图像采集装置及基于该图像采集装置的人脸身份验证方法 | |
Cruz et al. | Multiple Face Recognition Surveillance System with Real-Time Alert Notification using 3D Recognition Pattern | |
JP2022058833A (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
KR20150011714A (ko) | 영상 방향 판단 장치 | |
JP6820489B2 (ja) | 画像処理装置、および、画像処理プログラム | |
JP2020135369A (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
US20240314426A1 (en) | Electronic apparatus for obtaining biometric information of companion animal, and operation method thereof | |
CN113822222B (zh) | 人脸反作弊方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200713 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200713 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6991771 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |