JP6991771B2 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6991771B2
JP6991771B2 JP2017147944A JP2017147944A JP6991771B2 JP 6991771 B2 JP6991771 B2 JP 6991771B2 JP 2017147944 A JP2017147944 A JP 2017147944A JP 2017147944 A JP2017147944 A JP 2017147944A JP 6991771 B2 JP6991771 B2 JP 6991771B2
Authority
JP
Japan
Prior art keywords
lighting
information
acquired
image
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017147944A
Other languages
English (en)
Other versions
JP2019028764A (ja
JP2019028764A5 (ja
Inventor
敦夫 野本
嘉則 伊藤
博 佐藤
哲 八代
英生 野呂
俊亮 中野
潔考 高橋
貴久 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017147944A priority Critical patent/JP6991771B2/ja
Priority to US16/047,614 priority patent/US10885316B2/en
Publication of JP2019028764A publication Critical patent/JP2019028764A/ja
Publication of JP2019028764A5 publication Critical patent/JP2019028764A5/ja
Application granted granted Critical
Publication of JP6991771B2 publication Critical patent/JP6991771B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
画像中の人物等の物体と予め辞書に登録された物体とを比較することにより、同一の物体か否かを判定する物体認証技術が提案されている。物体認証技術には、例えば、人の顔の認証を行う顔認証技術等がある。物体認証技術の応用先として、入退室管理を顔パスで実現するセキュリティ用途や、撮り貯めた画像データベースの中から特定の人物を探し出す検索用途、デジタルカメラ等の撮影パラメタを人物毎に自動で切り換える機器制御用途等がある。このような用途において、画像は、様々な照明条件で撮影される。そこで、照明条件の変動に頑健な物体認証技術が求められている。
照明条件の影響を軽減する技術として、事前に登録した物体の画像から、様々な照明条件が反映された際のそれらの物体の画像である変動画像を生成し、認証に使用する手法がある。
例えば、特許文献1には、以下のような技術が開示されている。即ち、事前に二次元画像、又は標準三次元モデルから様々な照明条件が反映された画像である変動画像を生成しておき、入力画像と変動画像とを比較し最も類似する変動画像を入力画像の照明条件に類似しているとし、照合に使用する技術が開示されている。これにより、入力画像により近い照明条件同士の比較が可能となり、精度向上が期待できる。
特許文献2では、三次元モデルに対して、あらかじめ設定しておいた照明の位置、強度といったパラメタを適用し、変動画像をレンダリングする方法が開示されている。三次元モデルを用いることで、二次元画像から変動画像を作るよりも、よりリアルな変動画像を生成することができる。
特許第5574033号公報 特開2001-283216号公報
しかし、従来手法では、現実環境の照明条件を精度よく反映した変動画像を生成することができない。
特許文献1では、二次元画像や標準三次元モデルをもとにするため、人の顔のような凹凸がある物体における凹凸による陰影が再現できない。また、特許文献1では、照明条件が照明基底を用いた統計的な表現で表されており、現実環境の照明条件とは異なる照明条件を反映した変動画像が生成される可能性がある。
特許文献2では、個人毎の三次元モデルを用いているため、人の顔の凹凸による陰影は再現できる。しかし、特許文献2では、照明条件が照明の位置・角度で表される簡易なモデルを用いて表されており、現実環境の複雑な照明条件を反映した変動画像を生成することはできない。
そのため、従来手法では、物体の照合の精度には限界があった。
本発明の情報処理装置は、入力画像における照明条件を取得する第1の取得手段と、特定の物体のデータと、複数の照明条件と、に基づいて、前記照明条件のそれぞれにおける前記特定の物体の画像である変動画像を生成する生成手段と、前記入力画像における照明条件に基づいて、前記入力画像における照明条件と類似した照明条件における前記変動画像から前記特定の物体の特徴量を取得する第2の取得手段と、前記第2の取得手段によって取得された前記特定の物体の特徴量に基づいて、該入力画像に含まれる物体が前記特定の物体であるか否かを照合する照合手段と、を有する。
本発明によれば、より精度良く物体を照合することができる。
画像処理システムのシステム構成等の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 情報処理装置の機能構成の一例を示す図である。 物体登録処理の一例を示すフローチャートである。 照明分布登録処理の一例を示すフローチャートである。 照合処理の一例を示すフローチャートである。 登録データの選択方法の一例を説明する図である。 情報処理装置の機能構成の一例を示す図である。 照明分布の一例を示す図である。
以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。
<実施形態1>
本実施形態では、照合対象の物体として人物の顔を照合する画像処理システムが、ゲートにおける入退室制御を行う例について説明する。建物の入り口付近に設置されるゲートの周囲の環境は、室内の照明変化だけでなく、外光による影響を受け、室内の環境等に比べて照明条件が大きく変化する。そこで、画像処理システムは、ゲートの周囲の環境における複数の照明条件を測定し、測定した照明条件に基づいて、照合対象の物体に照明条件を反映させた変動画像を生成し、生成した画像と入力される画像とを照合する。
(画像処理システムのシステム構成)
図1は、本実施形態の画像処理システムのシステム構成等の一例を示す図である。図1の例では、照合対象の人物が、ゲートを通過しようとしている状況が示される。
画像処理システムは、情報処理装置1、三次元データ取得装置3、照明分布取得装置4、撮像装置5、ゲート制御装置6、フラッパー7を含む。情報処理装置1、三次元データ取得装置3、照明分布取得装置4、撮像装置5、ゲート制御装置6は、ネットワーク2を介して、相互に通信可能に接続されている。以下では、フラッパー7により通行の可否が制御されるゲート制御装置6の間隙を、ゲートとする。
情報処理装置1は、ネットワーク2を介して、三次元データ取得装置3、照明分布取得装置4、撮像装置5、ゲート制御装置6と通信し、照合対象の人物がゲートを通過してよい人物か否かを判定し、判定結果をゲート制御装置6に出力する。情報処理装置1は他例えば、パーソナルコンピュータ(PC)、サーバ装置、タブレット装置等の情報処理装置である。
ネットワーク2は、ローカルエリアネットワークであり、情報処理装置1、三次元データ取得装置3、照明分布取得装置4、撮像装置5、ゲート制御装置6の間の通信に用いられる。また、ネットワーク2は、インターネット等の他のネットワークであってもよい。
三次元データ取得装置3は、三次元スキャナであり、物体の三次元データを取得し、ネットワーク2を介して、情報処理装置1に出力する。三次元データ取得装置3は、予め、照合対象の物体(例えば、人物等)の三次元データを取得し、取得した三次元データを、情報処理装置1に送信する。情報処理装置1は、送信された三次元データの情報を、予め図2で後述する二次記憶装置14に記憶することで登録する。本実施形態では、三次元データ取得装置3は、ゲート制御装置6と異なる場所に配置される。三次元データ取得装置3は、三次元スキャナでなく、複数の撮像装置と接続された情報処理装置であってもよい。この場合、三次元データ取得装置3は、接続された複数の撮像装置を介して、物体の二次元画像を複数視点から撮影し、撮影した二次元画像に基づいて、ステレオマッチングにより物体の三次元データを取得してもよい。また、情報処理装置1が、複数の撮像装置を介して、物体の二次元画像を複数視点から撮影し、撮影した二次元画像に基づいて、ステレオマッチングにより物体の三次元データを取得することとしてもよい。
照明分布取得装置4は、周囲の三次元空間上の照明条件を測定する魚眼レンズが装着されたカメラ等の撮像装置であり、測定した照明条件を、ネットワーク2を介して、情報処理装置1に送信する。照明分布取得装置4は、照明条件として、照明分布取得装置4の周囲の現実環境における照明の方向、照明の強度、照明の色温度等を測定する。
照明分布取得装置4は、現実環境における周囲の照明条件を測定し、測定した照明条件を示す二次元画像を生成する。照明分布取得装置4は、例えば、以下のような処理により、測定した照明条件を示す二次元画像を生成する。照明分布取得装置4は、照明分布取得装置4を中心とした現実環境における空間に対応する球形又はドーム形状の空間の画像を生成する。そして、照明分布取得装置4は、画像内の球形又はドーム形状の空間の表面に、照明の方向に対応する位置に、照明の強度に応じた大きさの円状のオブジェクトを配置させる。また、照明分布取得装置4は、画像内の球形又はドーム形状の空間の表面の表示態様を、対応する照明の色温度を示す模様や色となるように更新する。そして、照明分布取得装置4は、表面の表示態様を更新した画像を、測定した照明条件を示す二次元画像とする。以下では、照明分布取得装置4により測定された照明条件を示す二次元画像を、照明分布とする。照明分布取得装置4は、生成した照明分布を情報処理装置1に送信する。
建物の入口のように、外光の影響のある場所では、太陽のような証明強度のレンジが広い照明条件をより正確に測定するため、照明分布取得装置4は、HDR(High Dinamic Range)撮影のできる撮像装置であるのが好ましい。本実施形態では、照明分布取得装置4は、魚眼レンズ装着の撮像装置とした。しかし、照明分布取得装置4は、例えば、通常のカメラと自動雲台との組を複数含み、複数の視点から画像を複数撮影し、スティッチ処理を加えることで、照明分布を生成してもよい。また、照明分布取得装置4は、通常のカメラとミラーボール、反射鏡等を組み合わせて、照明分布を生成するようにしてもよい。また、照明分布取得装置4は、後の照合処理の際に色温度が不要であるなら、色温度を測定せずに、照明方向と照明強度とを測定することとしてもよい。
また、照明分布取得装置4は、照明分布を生成し、生成した照明分布を情報処理装置1に送信することとした。しかし、照明分布取得装置4が測定した照明条件の情報を情報処理装置1に送信し、情報処理装置1が照明分布を生成することとしてもよい。
撮像装置5は、光学レンズと、映像センサと、通信ユニットと、を含むネットワークカメラであり、照合対象の人物を撮影し、撮像した画像を、ネットワーク2を介して、情報処理装置1へ送信する。撮像装置5は、1つの撮像装置であるとするが、複数の撮像装置であってもよい。
ゲート制御装置6は、情報処理装置1から取得した照合対象の人物の認証結果に応じて、開閉を制御する制御信号をフラッパー7の駆動部に送信する。ゲート制御装置6は、フラッパー7を開閉させることで、人物の入場を制御する。
フラッパー7は、開閉部と、開閉部を駆動する駆動部を含み、人物のゲートの通過を物理的に制御する。
また、本実施形態では、画像処理システムの各要素は、それぞれ別個の要素であるとする。しかし、ある要素が他の要素の機能を有することとして、画像処理システムが、その他の要素を含まないこととしてもよい。例えば、照明分布取得装置4は、撮像装置5と同一の装置であるとして、撮像装置5との機能を有し、照合対象の物体を撮影することとしてもよい。また、情報処理装置1は、ゲート制御装置6と同一の装置であるとし、ゲート制御装置6の機能を有し、フラッパー7を制御することとしてもよい。
また、本実施形態では、三次元データ取得装置3は、ゲート制御装置6と異なる場所に配置されているとするが、ゲート制御装置6の近傍(例えば、ゲート制御装置6と同室内、ゲート制御装置6との距離が5メートル以下等)に配置されることとしてもよい。
(情報処理装置のハードウェア構成)
図2は、情報処理装置1のハードウェア構成の一例を示す図である。情報処理装置1は、CPU11、ROM12、RAM13、二次記憶装置14、通信装置15、映像出力装置16、操作入力装置17を含む。各要素は、接続バス18を介して、相互に通信可能に接続されている。
CPU11は、ROM12やRAM13に格納された制御プログラムを実行することにより、本装置全体の制御を行う。
ROM12は、不揮発性メモリであり、制御プログラムや各種パラメタデータ等を記憶する。制御プログラムは、CPU11により実行され、図4~6等で後述する各処理が実現される。
RAM13は、揮発性メモリであり、画像のデータ、制御プログラムの実行結果のデータ等を一時的に記憶する。
二次記憶装置14は、ハードディスク、ソリッドステートドライブ、フラッシュメモリー等の書き換え可能な二次記憶装置であり、各種プログラム、各種設定情報、画像のデータや三次元データ、照明分布のデータ、各種閾値の情報等を記憶する。また、二次記憶装置14は、制御プログラム、各種設定内容、処理結果等を記憶し、制御プログラムがCPU11により実行される際にRAM13に出力される。
通信装置15は、有線通信ユニットであり、ネットワーク2を介して他の装置との通信に利用する。通信装置15は、無線通信ユニットであってもよい。
映像出力装置16は、CRTやTFT液晶等のモニタであり、RAM13からCPU11により送信された画像や制御プログラムの実行結果等を表示する。
操作入力装置17は、キーボードやマウス等のユーザによる操作を介した入力を受付ける装置である。
CPU11が、ROM12、二次記憶装置14等に記憶されたプログラムに基づき処理を実行することで、図3、8で後述する情報処理装置1の機能及び図4~6で後述するフローチャートの処理等が実現される。
(情報処理装置の機能構成)
図3は、本実施形態における情報処理装置1の機能構成の一例を示す図である。情報処理装置1は、三次元データ取得部101、生成部102、入力部103、検出部104、特徴抽出部105、記憶部106、登録部107、照明分布取得部108、選択部109、照合部110、出力部111を含む。
三次元データ取得部101は、三次元データ取得装置3を介して、被写体の三次元データを取得し、二次記憶装置14に記憶する。本実施形態では、三次元データ取得部101は、照合処理の対象となる人物の顔の三次元データを取得する。
生成部102は、三次元データ取得部101により取得された三次元データと、記憶部106により記憶された照明分布と、に基づいて、照明分布が示す照明条件が反映された人物の顔の画像である変動画像を生成する。変動画像は、例えば、照明分布が示す照明条件下における人物の顔の三次元データからレンダリングされた二次元画像である。生成部102は、生成した変動画像に、どの照明分布から生成されたのかを示す照明分布情報を紐づけて、検出部104へ送信する。照明分布情報としては、例えば、照明分布が取得された時刻の情報、照明分布を識別する番号等がある。
入力部103は、撮像装置5を介して、ゲートを通過しようとする人物等の物体の二次元の画像を撮影し、検出部104へ送信する。入力部103により撮像装置5を介して撮影された物体の画像は、入力画像の一例である。
検出部104は、入力部103から送信された画像、又は生成部102から送信された変動画像から物体を検出する。本実施形態では、検出部104は、検出対象の物体として人物の顔を検出し、入力部103から送信された画像と生成部102から送信された変動画像とのそれぞれから、検出した顔領域を抽出して、抽出した顔領域のデータを、特徴抽出部105へ送信する。検出部104は、生成部102と同様に、変動画像から抽出した顔領域のデータに、どの照明分布から生成されたかを示す照明分布情報を紐づけておく。画像処理システムが人物の顔以外の物体の照合を行う場合、検出部104は、照合対象の物体を検出することとなる。
特徴抽出部105は、検出部104から送信された顔領域のデータから特徴量を抽出する。また、特徴抽出部105は、抽出した特徴量を、登録部107、又は照合部110へ送信する。また、特徴抽出部105は、照明分布情報と紐づけられた顔領域のデータから抽出した特徴量については、抽出した特徴量にその照明分布情報を紐付けて、登録部107、又は照合部110へ送信する。
記憶部106は、照明分布取得部108から送信された照明分布を二次記憶装置14に記憶し、生成部102、又は選択部109へ送信する。
登録部107は、特徴抽出部105から送信された特徴量と、特徴量に紐づけられた照明分布情報と、を二次記憶装置14に記憶し、選択部109、又は照合部110に送信する。このとき、登録部107は、特徴抽出部105から送信された特徴量と、特徴量に紐づけられた照明分布情報と、を、誰の顔の特徴量であるかを示す人物情報と紐付けて、二次記憶装置14に記憶する。登録部107は、人物情報を、操作入力装置17を介したユーザによる入力操作に基づいて、取得する。以下では、照明分布情報と、その照明分布情報が示す照明分布に基づいて生成された変動画像内の顔の領域から抽出された特徴量と、その特徴量が誰の顔の領域の特徴量であるかを示す人物情報と、の組の情報を、登録データとする。
照明分布取得部108は、照明分布取得装置4を介して、照明分布取得装置4の周囲の現実環境における三次元空間上の照明条件を測定し、測定した照明条件に基づいて、照明分布を取得し、記憶部106へ記憶する。
選択部109は、照明分布取得部108により取得された照明分布に基づいて、二次記憶装置14に記憶されている過去の登録データから、照合に使用される特徴量を含む登録データを選択する。選択部109は、選択した登録データの情報を照合部110に送信する。
照合部110は、特徴抽出部105から送信された入力部103により取得された画像から抽出された特徴量と、選択部109から送信された登録データに含まれる特徴量と、を照合し、照合結果を出力部111へ送信する。
出力部111は、例えば、照合部110から送信された照合結果を、通信装置15を介して、ゲート制御装置6等に外部装置に出力する。
(画像処理システムの処理の概要)
本実施形態では、画像処理システムは、複数の人物、複数の照明分布それぞれについて、登録データを生成し、二次記憶装置14に記憶することで登録する。
本実施形態では、画像処理システムは、照合対象の人物についての登録データを、新たに登録する物体登録処理、新たな照明分布が取得された場合に、その照明分布に応じた登録データを登録する照明分布登録処理、物体を照合する照合処理等の処理を実行する。画像処理システムは、照明分布登録処理を、照合処理のバックグラウンドで実行することとしてもよい。以下、それぞれの処理について説明する。
(物体登録処理)
物体登録処理は、照合対象の候補となる人物についての登録データを登録する処理である。物体登録処理は、新たに取得された人物の三次元モデルと、既に記憶されている照明分布と、を用いて、変動画像を生成し、生成した変動画像から照合に用いられる特徴量を抽出し、登録データを生成し、登録する処理である。
図4は、物体登録処理の一例を示すフローチャートである。
S1101において、三次元データ取得部101は、三次元データ取得装置3を介して、照合対象の候補となる人物の顔の三次元データを取得する。三次元データ取得部101は、物体の三次元データとして、物体の形状を示すポリゴンメッシュと、物体の質感を表現するテクスチャと、を含むデータを取得する。本実施形態では、三次元データ取得部101は、ポリゴンメッシュとして顔の形状、テクスチャとして顔画像をそれぞれ取得する。
S1102において、生成部102は、記憶部106により二次記憶装置14に記憶された照明分布を全て取得する。二次記憶装置14には、予め、記憶部106により過去に記憶された照明分布が複数記憶されているものとする。照明分布の記憶に係る処理の詳細は、図5で後述する。照明分布は、照明分布取得装置4の周囲の現実環境の照明条件を示す二次元画像である。人手によるライティングを行わずに、リアルなライティングを実現するイメージ・ベースド・ライティングと呼ばれる手法がある。本実施形態では、画像処理システムは、照合対象の人物がいる現場のライティングをリアルに表現するためにイメージ・ベースド・ライティングを使用する。
S1103において、生成部102は、S1102で取得した全ての照明分布から1つを選択し、選択した照明分布について、S1104~S1108の処理を実行するよう制御する。生成部102は、この処理を繰り返し、S1102で取得した全ての照明分布について、S1104~S1108の処理を実行するよう制御する。
S1104において、生成部102は、S1103で選択した照明分布と、S1101で取得された三次元データと、に基づいて、その照明分布が示す照明条件における照合対象の候補となる人物の顔の画像である変動画像を生成する。生成部102は、S1104で、照明分布(二次元画像)を使ってライティングを行うイメージベースドライティング(IBL)という手法を用いて変動画像を生成する。生成部102は、例えば、以下の参考文献1に開示されている手法を用いて、変動画像を生成する。
参考文献1:DEBEVEC、 P.、 ‘‘Image-Based Lighting、’’ IEEE Computer Graphics and Applications、 Vol. 22、 No. 2、 March/April、 2002.
S1105において、検出部104は、S1104で生成された変動画像から人物の顔を検出する。検出部104は、例えば、以下の参考文献2に開示されている手法を用いて、顔の検出を行う。
参考文献2:Rapid object detection using a boosted cascade of simple features: P. Viola、 M. Jones: 2001
検出部104は、例えば、顔の検出結果として、画像中における顔の領域を表す矩形領域の座標を決定する。検出部104は、検出した顔領域に対して、顔サイズや顔の傾きが一定になるよう正規化処理を施す。また、検出部104は、顔の目や鼻といった特徴点を抽出し、顔の部分領域を出力するようにしてもよい。検出部104は、例えば、以下の参考文献3に開示されている手法を用いて、顔の特徴点を抽出する。
参考文献3:特開2009-211177号公報
S1106において、特徴抽出部105は、S1105で検出された人物の顔の領域から特徴量を抽出する。特徴抽出部105は、例えば、LBP(Local Binary Pattern)特徴量を抽出する。また、特徴抽出部105は、例えば、HOG(Histogram of Oriented Gradient)特徴量、SIFT(Scale-Invariant Feature Transform)特徴量等の特徴量を抽出してもよい。また、特徴抽出部105は、例えば、LBP特徴量、HOG特徴量、SIFT特徴量等のうち、複数を混合した特徴量を抽出することとしてもよい。また、特徴抽出部105は、ニューラルネットワークを用いて、特徴量を抽出してもよい。また、特徴抽出部105は、抽出した特徴量をPCA(Principal Component Analysis)等の手法を用いて次元圧縮したものを、新たに特徴量としてもよい。
S1107において、登録部107は、S1106で抽出した特徴量と、その特徴量が誰の顔から抽出されたかを示す人物情報と、その特徴量がどの照明分布に基づき生成されたかを示す照明分布情報と、の組を、登録データとして二次記憶装置14に記憶する。
S1108において、生成部102は、S1102で取得した全ての照明分布について、S1103~S1107の処理が完了しているか否かを判定する。生成部102は、S1102で取得した全ての照明分布について、S1103~S1107の処理が完了していると判定した場合、図4の処理を終了する。生成部102は、S1102で取得した照明分布の中に、S1103~S1107の処理が完了していないものがあると判定した場合、S1103の処理に進む。
以上、物体登録処理について説明した。
本実施形態では、情報処理装置1は、照合対象の物体の三次元データを取得した後に照明分布を取得することとしたが、この順番はこの限りではなく、照明分布を取得した後で、照合対象の物体の三次元データを取得してもよい。
本実施形態では、情報処理装置1は、二次記憶装置14に記憶されている全ての照明分布それぞれについて、対応する変動画像を生成したが、一部の照明分布だけについて生成してもよい。例えば、類似する照明分布が複数記憶されている場合、情報処理装置1は、類似する複数の照明分布のうちの1つを、代表の照明分布として、代表の照明分布に基づいて、変動画像を生成し、他の照明分布は使用しないようにしてもよい。照明分布が類似しているか否か判定する処理の詳細は、図7で後述する。
(照明分布登録処理)
以下では、照明分布登録処理について説明する。照明分布登録処理は、照明分布が新たに取得された場合、取得された照明分布に対応する登録データを生成し、登録する処理である。即ち、照明分布登録処理は、新たに取得された照明分布と、その時点で既に取得されている照合対象である物体の三次元データと、に基づいて変動画像を生成し、登録する処理である。画像処理システムは、照明分布登録処理により、リアルタイムに変化する照明分布を記録し、その照明分布に応じた登録データを生成し、登録することができる。
図5は、照明分布登録処理の一例を示すフローチャートである。
S1201において、照明分布取得部108は、照明分布の取得を実行するか否かを判定する。本実施形態では、画像処理システムは、予め定められた間隔毎に周期的に照明分布を取得することとする。そのため、照明分布取得部108は、前回、照明分布を取得してから、経過した時間が、予め定められた時間以上であれば、照明分布の取得を実行すると判定する。また、照明分布取得部108は、前回、照明分布を取得してから、経過した時間が、予め定められた時間未満であれば、照明分布の取得を実行しないと判定する。
照明分布取得部108は、照明分布の取得を実行すると判定した場合、S1203の処理に進み、照明分布の取得を実行しないと判定した場合、S1202の処理に進む。
S1202において、照明分布取得部108は、予め定められた時間、待機する。
S1203において、照明分布取得部108は、照明分布を取得する。照明分布取得部108は、例えば、照明分布取得装置4を介して、照明分布を取得する。
S1204において、記憶部106は、S1203で取得された照明分布を、二次記憶装置14に記憶する。
S1205において、生成部102は、三次元データ取得部101により二次記憶装置14に記憶された物体の三次元モデルを取得し、二次記憶装置14からS1203で取得された照明分布を取得する。
S1206において、生成部102は、S1205で取得した全ての三次元モデルから、1つを選択し、選択した三次元モデルについて、S1207~S1211の処理が実行されるよう制御する。そして、生成部102は、この処理を繰り返すことで、S1205で取得した全ての三次元モデルについて、S1207~S1211の処理が実行されるよう制御する。
S1207において、生成部102は、S1206で選択された三次元データと、S1203で取得された照明分布と、に基づいて、変動画像を生成する。
S1208において、検出部104は、S1207で生成された変動画像から人物の顔を検出する。
S1209において、特徴抽出部105は、S1208で検出された変動画像の顔領域から特徴量を抽出する。
S1210において、登録部107は、抽出した特徴量と、その特徴量が誰の顔から抽出されたかを示す人物情報と、S1203で取得された照明分布を示す照明分布情報と、の組を、登録データとして二次記憶装置14に記憶する。登録部107は、例えば、人物情報として、人物名を示す文字列や人物を識別する数字等の情報を記憶する。
S1211において、生成部102は、S1205で取得した全ての三次元モデルについて、S1207~S1210の処理が完了しているか否かを判定する。生成部102は、S1205で取得した全ての三次元モデルについて、S1207~S1210の処理が完了していると判定した場合、S1212の処理に進む。生成部102は、S1205で取得した三次元モデルの中に、S1207~S1210の処理が完了していないものがあると判定した場合、S1206の処理に進む。
S1212において、照明分布取得部108は、操作入力装置17を介したユーザによる入力操作に基づいて、照明分布登録処理の終了指示を受付けたか否かを判定する。照明分布取得部108は、照明分布登録処理の終了指示を受付けたと判定した場合、図5の処理を終了し、照明分布登録処理の終了指示を受付けていないと判定した場合、S1201の処理に進む。
以上、照明分布登録処理について説明した。
本実施形態では、三次元データ、照明分布、特徴量のデータは、それぞれ個別の情報処理装置1の機能構成要素が管理しているとするが、1つの機能構成要素が、全てのデータを管理することとしてもよい。
本実施形態では、照明分布取得部108は、S1201で、前回、照明分布を取得した時刻から予め定められた時間が経過している場合、照明分布の取得を行うこととした。しかし、照明分布取得部108は、例えば、過去に取得した照明分布に対応する照明条件に対して、照明分布取得装置4を介して取得した現在の照明条件が類似している場合、S1203以降の処理を行わないこととしてもよい。また、照明分布取得部108は、例えば、過去に取得した照明分布に対応する照明条件に対して、照明分布取得装置4を介して取得した現在の照明条件が類似していない場合、S1203以降の処理を行うこととしてもよい。
画像処理システムは、過去に取得された照明分布と、過去に取得された人物の三次元モデルと、に対応する登録データを二次記憶装置14に蓄積していくことで、様々な照明条件に応じた照合に利用される特徴量を蓄積していく。これにより、画像処理システムは、照合対象として、入力された画像に対して、様々な照明条件を考慮した照合処理を行うことができるようになる。そのため、類似する照明分布に対応する登録データを再度登録することが不要である場合がある。
そこで、照明分布取得部108は、過去に取得した照明分布に対応する照明条件と、照明分布取得装置4を介して取得した現在の照明条件と、が類似している場合、S1203以降の処理を行わないようにすることで、以下のような効果を奏することができる。即ち、画像処理システムは、不要な処理の負担を軽減することができる。照明分布が類似しているか否か判定する処理は、図7で後述する。
(照合処理)
以下では、照合処理について説明する。
図6は、照合処理の一例を示すフローチャートである。
S1301において、入力部103は、撮像装置5を介して、ゲートを通過しようとする人物の顔の画像を撮影する。
S1302において、検出部104は、S1301で撮影された画像から人物の顔を検出する。ゲートを通過しようとする人物がいれば、S1302で検出部104により、検出され、照合されることになる。検出部104は、S1301で撮影された画像中におけるゲートを通過する人物が写り得る範囲として予め定められた範囲から検出する。これにより、検出部104は、ゲートから離れた位置にいる人を照合して、ゲートが誤動作する可能性を低減できる。また、検出部104は、S1301で撮影された画像の全領域から顔を検出してもよい。
S1303において、検出部104は、S1302で1つ以上の顔が検出されたか否かを判定する。検出部104は、S1302で1つ以上の顔が検出されたと判定した場合、S1304の処理に進み、S1302で1つも顔が検出されなかったと判定した場合、S1301の処理に進む。
S1304において、特徴抽出部105は、S1301で撮影された画像中のS1302で検出された顔の領域から特徴量を抽出する。特徴抽出部105は、S1302で検出された顔が複数ある場合、顔のサイズが最も大きいものから特徴量を抽出する。特徴抽出部105は、S1301で撮影された画像中の予め定められた座標範囲内で検出された顔を、特徴量を抽出する対象の顔として決定してもよい。これにより、情報処理装置1は、照合対象の人物がゲートを通過する際、別の人物から抽出された特徴量に応じた照合が行われ、フラッパー7が開閉する可能性を軽減できる。特徴抽出部105は、S1302で検出されたすべての顔の領域それぞれから特徴量を抽出してもよい。その場合、情報処理装置1は、顔を追尾する等して、それぞれの人物がフラッパー7の直前に来たときに開閉を制御するようにすることとなる。
S1305において、照明分布取得部108は、照明分布取得装置4を介して、照明分布を取得する。これにより、照明分布取得部108は、人物がゲートを通過しようとする際の現実環境における照明条件を取得できる。
S1306において、選択部109は、S1305で取得された照明分布に基づいて、記憶部106に記憶されている複数の登録データの中から、照合に用いられる特徴量を含む登録データを選択する。
図7は、登録データの選択方法の一例を説明する図である。図7の上段の左部に記憶部106により二次記憶装置14に記憶された過去の照明分布を示す表が示される。また、図7の上段の右部に、照合の際に取得された照明分布(S1305で取得された照明分布)が示される。記憶部106により二次記憶装置14に記憶された照明分布の情報は、それぞれの照明分布がいつ撮影されたかを示す照明分布情報が紐づけられている。照明分布は、球状又はドーム状の図形を含む二次元画像である。
図7の下段には、登録部107により二次記憶装置14に記憶された登録データが示されている。図7の下段に示されるように、登録データは、特徴量(ベクトル)と、人物情報と、特徴量を抽出した変動画像に使われた照明分布の照明分布情報と、の組の情報である。図7を用いて、選択部109が登録データを選択する手法の一例について説明する。
選択部109は、まず、過去の照明分布と、S1305で取得された照明分布と、を比較し、過去の照明分布の中から、S1305で取得された照明分布に類似する照明分布を特定する。照明分布は、二次元画像である。そのため、選択部109は、以下のような公知の比較手法を用いて、照明分布の比較を行うことができる。選択部109は、例えば、cos類似度を用いて、照明分布の比較を行うことができる。類似度をSとすると、cos類似度は、以下の式1で表される。
S=(A・B)/(|A||B|) (式1)
式1で、Aは、S1305で取得された照明分布の画素値を並べたベクトルである。Bは、S1305で取得された照明分布と比較される過去の照明分布の画素値を並べたベクトルである。A、B∈RDである。Dは、次元数であり、例えば、照明分布の画素数である。
選択部109は、二次記憶装置14に記憶されている過去の照明分布それぞれについて、式1を用いて、S1305で取得された照明分布との類似度Sを取得する。そして、選択部109は、最も大きい類似度Sに対応する過去の照明分布を、S1305で取得された照明分布と類似する照明分布として特定する。また、選択部109は、予め定められた閾値以上の類似度Sに対応する過去の照明分布を、S1305で取得された照明分布と類似する照明分布として特定することとしてもよい。
また、選択部109は、2つの照明分布の比較に用いられる距離尺度として、cos類似度以外の距離尺度を用いてもよい。選択部109は、例えば、正規化相互相関を用いてもよい。また、選択部109は、距離関数を学習によって計算するメトリックラーニングの手法を用いて、2つの照明分布の比較を行ってもよい。また、選択部109は、式1を用いて取得した類似度を所定の範囲の値になるように正規化してもよい。
選択部109は、過去の照明分布の中から、S1305で取得された照明分布と類似する照明分布を特定したら、特定した照明分布に対応する登録データを選択する。選択部109は、S1305で取得された照明分布と類似する照明分布として、例えば、図7上段の左部の表のNo.2(図中の矢印箇所)の照明分布が特定されたとする。
続いて、選択部109は、図7の下段の表に示される二次記憶装置14に記憶された登録データのうち、対応する照明分布情報が、特定した照明分布に対応する照明分布情報と一致する登録データを選択する。選択部109に特定されたNo.2の照明分布に対応する照明分布情報は、「2016/01/02 11:00:00」である。そのため、選択部109は、二次記憶装置14に記憶されている登録データの中から、対応する照明分布情報が、「2016/01/02 11:00:00」であるものを選択する。選択部109は、図7下段の表のNo.2、No.5、No.7の登録データ(図中の矢印箇所)を選択する。
以上が、登録データの選択手法の一例の説明である。画像処理システムは、照明分布同士の比較を行い、S1305で取得された照明分布と類似する照明分布を特定することとした。これにより、画像処理システムは、変動画像や特徴量同士を比較して、S1305で取得された照明分布と類似する照明分布を特定する場合よりも、処理の負荷を軽減できる。
また、本実施形態では、S1305で取得された照明分布と類似する照明分布として特定された照明分布に対応する登録データが、全人物について二次記憶装置14に記憶されているとした。しかし、情報処理装置1は、照合の際に、全人物について、ある照明分布に応じた登録データを二次記憶装置14に記憶できていない場合がある。例えば、図7下段の表において、人物Aについて、照明分布情報「2016/01/02 12:00:00」の登録データ(No.3)が記憶されている。しかし、人物B、Cについては、照明分布情報「2016/01/02 12:00:00」の登録データが記憶されていない。
これは、照合処理のバックグラウンドで、照明分布登録処理が実行されているが、変動画像の生成、及び特徴量抽出が間に合っていないためである。このような場合、画像処理システムは、照明分布情報「2016/01/02 12:00:00」の照明分布を、S1305で取得された照明分布と類似する照明分布として特定したならば、以下の処理を行う。即ち、画像処理システムは、照明分布情報「2016/01/02 12:00:00」に対応する全人物の登録データが二次記憶装置14に記憶されていないことを検知する。そして、画像処理システムは、過去の照明分布から、S1305で取得された照明分布と、次に類似(類似度が次に高い)する照明分布を特定し、特定した照明分布に対応する全人物の登録データが存在する場合、その登録データに含まれる特徴量を用いて照合を行う。
また、本実施形態では、選択部109は、過去の照明分布から、S1305で取得された照明分布と類似する照明分布を一つだけ特定したが、S1305で取得された照明分布と類似する照明分布を複数特定してもよい。その場合、選択部109は、特定した照明分布それぞれに対応する登録データを選択することとなる。
また、画像処理システムは、S1305で取得された照明分布と類似する照明分布がない場合(S1308で取得された類似度のうち、予め定められた閾値以上のものがない場合)がある。そのような場合には、画像処理システムは、照明分布登録処理により、新たな照明分布をもとにした登録データが登録されるまで、待機してもよい。また、画像処理システムは、S1308で取得された類似度のうち最も高いものに対応する照明分布に対応する登録データに含まれる特徴量に基づいて、照合してもよい。また、画像処理システムは、S1308で取得された類似度のうち、最も高いものから予め定められた個数(例えば、3個等)の類似度に対応する照明分布それぞれに対応する登録データに含まれる特徴量に基づいて、照合してもよい。
S1307において、照合部110は、S1306で選択された登録データから、1つ選択し、選択した登録データに含まれる特徴量について、S1308~S1309の処理を実行するよう制御する。照合部110は、この処理を繰り返すことで、S1306で選択された登録データに含まれる特徴量の全てについて、S1308~S1309の処理を実行するよう制御する。
S1308において、照合部110は、以下のような処理を行うことで、ゲートを通過しようとする人物の顔を照合する。照合部110は、S1304で抽出された特徴量と、S1307で選択された登録データに含まれる特徴量と、の類似の度合いを示す類似度を取得する。照合部110は、例えば、式1を用いて、特徴量同士の類似度を取得する。この場合、式1のAは、S1304で抽出された特徴量を示すベクトルであり、式1のBは、S1307で選択された登録データに含まれる特徴量を示すベクトルである。
S1309において、照合部110は、S1306で選択された登録データの全てに含まれる特徴量について、S1308の処理を実行したか否かを判定する。照合部110は、S1306で選択された登録データの全てについて、S1308の処理を実行したと判定した場合、S1311の処理に進む。照合部110は、S1306で選択された登録データに、S1308の処理を実行していないものがあると判定した場合、S1307の処理に進む。
S1310において、照合部110は、S1308で取得された類似度に基づいて、ゲートを通過しようとしている人物を認証するか否かの最終的な認証結果を決定する。より具体的には、照合部110は、S1308で取得された類似度のうち、最も高い類似度を特定し、特定した類似度が予め定められた閾値以上である場合、以下の処理を行う。即ち、照合部110は、ゲートを通過しようとする人物の顔と、その特定した類似度がS1308で取得された際に、S1307で選択されていた登録データに含まれる人物情報が示す人物の顔と、が同一であると照合する。この人物情報が示す人物の顔は、第1の物体の一例である。また、ゲートを通過しようとする人物の顔は、第2の物体の一例である。照合部110は、ゲートを通過しようとする人物の顔と、この人物情報が示す人物の顔と、が同一であると照合した場合、ゲートを通過しようとする人物を認証する。また、照合部110は、その特定した類似度が予め定められた閾値未満である場合、ゲートを通過しようとする人物が登録されている人物のうちの誰でもないとして、認証しない。
S1311において、出力部111は、S1310での認証処理の結果を、ゲート制御装置6等の外部装置に送信する。ゲート制御装置6は、受信した認証処理の結果に応じて、フラッパー7の開閉を制御する。これにより、画像処理システムは、人物がゲートを通過できるか否かを制御する入退室管理を実現できる。
S1312において、照合部110は、操作入力装置17を介したユーザによる入力操作に基づいて、照合処理の終了指示を受付けたか否かを判定する。照合部110は、照合処理の終了指示を受付けたと判定した場合、図6の処理を終了し、照合処理の終了指示を受付けていないと判定した場合、S1301の処理に進む。
以上、照合処理の一例について説明した。
このように、画像処理システムは、照合の現場で撮影した照明分布と、記録しておいた過去の照明分布とを比較し、類似する照明分布を特定し、特定した照明分布に対応する登録データに含まれる特徴量を用いて、照合することとした。このように、画像処理システムは、照合の現場で撮影した照明分布と類似する照明分布に応じた特徴量を用いることで、照合の精度を向上させることができる。
本実施形態では、入力部103は、撮像装置5を介して、撮影することで、照合処理を行う二次元画像を取得した。しかし、入力部103は、例えば、撮像装置5を介して、三次元画像を取得した上で、取得した三次元画像に基づいて、レンダリングした二次元画像を取得して照合してもよい。また、入力部103は、外部の装置から照合処理を行う二次元画像を、ネットワークを介して、取得してもよい。
また、本実施形態では、画像処理システムは、2つの照明分布同士の比較において、照明分布全体の画素値を並べたベクトルを用いて、類似度を取得した。しかし、例えば、現実環境の一部の領域の照明条件が、他の領域における照明条件よりも影響が強い場合がある。例えば、晴れた日の日中の室内においては、窓際の領域における照明条件が、他の領域における照明条件よりも強くなる。そこで、画像処理システムは、S1306で、照明分布に含まれる予め定められた領域(例えば、窓際の領域等)に対応する部分について、S1305で取得された照明分布と、過去に取得された照明分布と、の類似度を取得してもよい。また、画像処理システムは、照明分布取得装置4を介して、予め定められた領域(例えば、窓際の領域等)についての照明条件を取得し、取得した照明条件を示す照明分布を生成することとしてもよい。
これにより、画像処理システムは、処理の負担を軽減できる。
また、本実施形態では、画像処理システムは、照明分布登録処理を、照合処理のバックグラウンドで実行するとした。しかし、画像処理システムは、照合処理を止めて、照明分布登録処理を実行する期間を設けてもよい。これにより、画像処理システムは、登録データをより効率よく蓄積できる。
以上、本実施形態では、画像処理システムは、照明分布取得装置4を介して、光学的に現実環境の照明条件を取得し、取得した照明条件を示す照明分布を生成した。画像処理システムは、生成した照明分布と照合対象の物体である人物の顔の三次元モデルとに基づいて、変動画像を生成した。そして、画像処理システムは、撮像装置5により撮影されたゲートを通過しようとする人物の画像から抽出された顔領域の特徴量と、生成した変動画像から抽出された顔領域の特徴量と、に基づいて、以下の処理を実行した。即ち、画像処理システムは、ゲートを通過しようとする人物が変動画像に対応する人物と同一か否かを照合することで、ゲートを通過しようとする人物の認証を実行した。
このように、画像処理システムは、実際の照明条件を反映した変動画像を生成し、照合に用いることで、より精度良く人物を照合することができる。
また、本実施形態では、画像処理システムは、予め、照合対象の各人物の三次元モデルと、過去に取得された照明分布と、に基づいて、変動画像を生成した。そして、画像処理システムは、生成した変動画像から顔領域を検出し、検出した顔領域から特徴量を抽出し、抽出した特徴量を、対応する人物情報と、対応する照明分布情報と、紐付けて、登録データとして二次記憶装置14に記憶した。画像処理システムは、ゲートを通過しようとする人物の認証を行う際に、照明分布取得装置4を介して、照明分布を取得し、過去に取得された照明分布のうち取得した照明分布に類似する照明分布を特定し、特定した照明分布に対応する登録データを選択した。そして、画像処理システムは、選択した登録データに含まれる特徴量と、撮像装置5を介して撮影したゲートを通過しようとする人物の画像の顔領域から抽出した特徴量と、に基づいて、ゲートを通過しようとする人物の照合を実行した。
即ち、画像処理システムは、照合の際に改めて、照明分布取得装置4を介して取得された照明分布を用いて、照合に用いられる変動画像を生成したり、特徴量を抽出したりする必要がない。これにより、画像処理システムは、人物の照合処理を高速化できる。
<実施形態2>
実施形態1では、画像処理システムは、複数の登録データの中から、照合に用いられる特徴量を含む登録データを選択するために、照合の際に取得された照明分布と、過去に取得された照明分布と、の比較を行った。本実施形態では、画像処理システムは、過去に取得された照明分布のそれぞれに、照明分布が取得された際の現実環境に関する情報である環境情報を紐付けて二次記憶装置14に記憶する。そして、画像処理システムは、照合の際に照合が行われる場所の現実環境の環境情報を取得し、取得した環境情報に基づいて、二次記憶装置に記憶された過去の照明分布から、照合の際の現実環境の照明条件を示す照明分布に類似する照明分布を特定する。
本実施形態の画像処理システムのシステム構成は、実施形態1と同様である。また、情報処理装置1のハードウェア構成についても、実施形態1と同様である。
図8は、本実施形態の情報処理装置1の機能構成の一例を示す図である。本実施形態の情報処理装置1は、図3に示される各機能構成要素に加えて、環境情報取得部212を含む。
環境情報取得部212は、照明分布取得部108により照明分布取得装置4を介して、照明分布が取得された際の環境情報を取得し、取得された照明分布に対応する登録データに、取得した環境情報を含ませる。記憶部106は、環境情報を含む登録データを二次記憶装置に記憶することとなる。環境情報とは、日時や天気、気温、湿度、場所、周囲の人の数といった現実環境に関する情報である。環境情報取得部212は、例えば、温度センサ、感光センサ、湿度センサ、GPSセンサ、人感センサ等のセンサを介して、気温、湿度、場所、周囲の人の数等の環境情報を取得することができる。また、環境情報取得部212は、撮像装置5を介して撮影された画像から、人物を検出することで、周囲の人の数を取得することができる。また、環境情報取得部212は、例えば、Webから情報を検索することで、日時や天気等の環境情報を取得することができる。
記憶部106は、照明分布取得部108から取得した照明分布と、環境情報取得部212が取得した環境情報と、を紐づけて、二次記憶装置に記憶することで、過去の照明分布の情報を蓄積する。図9は、記憶部106に記憶された照明分布の情報の一例を示す図である。選択部109は、この情報を用いて、二次記憶装置14に記憶された過去の照明分布から、照合の際に取得された照明分布と類似する照明分布を特定する。
本実施形態の選択部109による処理の一例を説明する。選択部109は、実施形態1と異なり、照明分布同士の比較を行わずに環境情報同士を比較することとなる。選択部109は、照合の際に、照合が行われる場所(ゲート付近)の環境情報を取得する。取得された環境情報は、前記入力画像が撮影された際の現実環境に関する情報である第2の環境情報の一例である。そして、選択部109は、取得した環境情報と、過去の照明分布と紐付けて記憶されている環境情報と、に基づいて、過去の照明分布の中から照合の際の現実環境の照明条件を示す照明分布に類似する照明分布を選択する。過去の照明分布と紐付けて記憶されている環境情報は、過去に照明分布が取得された際の現実環境に関する情報である第1の環境情報の一例である。
より具体的には、選択部109は、例えば、環境情報の一致性に基づいて、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布を選択する。選択部109は、例えば、過去の照明分布と紐付けて記憶されている環境情報から、照合の際に取得された環境情報と一致するものを特定する。そして、選択部109は、特定した環境情報に紐付けられた照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定する。
また、選択部109は、過去の照明分布と紐付けて記憶されている環境情報から、対応する天気、気温、場所の情報が、照合の際に取得された環境情報と一致するものを特定してもよい。そして、選択部109は、特定した環境情報に紐付けられた照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定してもよい。
また、選択部109は、過去の照明分布に紐付けられた環境情報から、日時、天気、湿度、気温、場所、周囲の人の数等のうちの予め定められた少なくとも1以上の情報が、照合の際に取得された環境情報と一致するものを特定してもよい。そして、選択部109は、特定した環境情報に紐付けられた照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定してもよい。例えば、周囲の人の数が多い場合、照明が人に遮られて照明分布が変わることがある。そのため、選択部109は、周囲の人の数を選択の基準にすることで、このような場合でも適切な照明分布を特定できる。
また、選択部109は、例えば、過去の照明分布と紐付けて記憶されている環境情報から、照合の際に取得された環境情報と類似するものを特定してもよい。そして、選択部109は、特定した環境情報に紐付けられた照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定してもよい。
選択部109は、例えば、過去の照明分布と紐付けて記憶されている環境情報と、照合の際に取得された環境情報と、の差分が予め定められた閾値以下である場合、以下の処理を行う。即ち、選択部109は、その過去の照明分布と紐付けて記憶されている環境情報に対応する照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定する。選択部109は、例えば、過去の照明分布と紐付けて記憶されている環境情報と、照合の際に取得された環境情報と、の温度、湿度、場所の差分が予め定められた閾値以下である場合、以下の処理を行うこととしてもよい。即ち、選択部109は、その過去の照明分布と紐付けて記憶されている環境情報に対応する照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定してもよい。
また、画像処理システムは、照合の際に周囲の人の数が少ない場合、即ち、ゲートを通過しようとする人が予め定められた閾値(例えば、2等)以下である場合、より素早く照合するよりも、より精度よく照合するために、以下の処理を行うこととしてもよい。即ち、画像処理システムは、照合の際に照明分布取得装置4を介して取得された照明分布に基づいて、登録データを生成する。そして、画像処理システムは、生成した登録データに含まれる特徴量と、照合の際に撮像装置5を介して撮影された画像から抽出された特徴量と、に基づいて、照合を行うこととしてもよい。
以上、本実施形態では、画像処理システムは、環境情報を比較し、照合の際の照明条件を示す照明分布に類似する照明分布を特定することとした。これにより、画像処理システムは、照明分布同士を比較する場合よりも、処理の量を軽減できる。照明分布は、屋外の場合、季節や時間、場所といった環境情報に依存するため、画像処理システムは、環境情報に基づいて、照合の際の照明条件を示す照明分布に類似する照明分布を特定できる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
例えば、上述した画像処理システムの機能構成の一部又は全てをハードウェアとして情報処理装置1に実装してもよい。
実施形態1のように、画像処理システムが、予め定められた間隔毎に照明分布を取得し、登録データを生成していると、天気の急激な変化や照明設備の点灯・消灯等に対応できない場合が有りうる。その場合は、画像処理システムは、照明分布取得装置4を介して、照明分布を取得する時間的な間隔を予め定められた値以下にして、照明分布を取得する度に、以下の処理を行うようにすればよい。即ち、画像処理システムは、取得した照明分布と、過去の最新の照明分布と、を比較し、類似していない場合のみ取得した照明分布を記録し、対応する登録データの生成、登録を行えばよい。その場合、情報処理装置1は、照明分布の記録と登録データの生成を繰り返す計算負荷に耐えられる処理リソースを有することとすればよい。また、画像処理システムは、照合処理が行われていない場合のみ、以上のような処理を行うこととしてもよい。
実施形態1、2では、画像処理システムは、人物の顔の照合を行ったが、人物の全体、人物の上半身、車、動物、貨物等の他の物体の照合を行ってもよい。
実施形態1、2では、情報処理装置1は単体の情報処理装置であるとしたが、複数のPC、サーバ装置、タブレット装置等であるとしてもよい。その場合、情報処理装置1に含まれる各情報処理装置のCPUが、各情報処理装置の補助記憶装置に記憶されるプログラムに基づき、連携して処理を実行することで、図3、8の機能及び図4~6のフローチャートの処理等が実現される。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。
1 情報処理装置
4 照明分布取得装置
5 撮像装置

Claims (16)

  1. 入力画像における照明条件を取得する第1の取得手段と、
    特定の物体のデータと、複数の照明条件と、に基づいて、前記照明条件のそれぞれにおける前記特定の物体の画像である変動画像を生成する生成手段と、
    前記入力画像における照明条件に基づいて、前記入力画像における照明条件と類似した照明条件における前記変動画像から前記特定の物体の特徴量を取得する第2の取得手段と、
    前記第2の取得手段によって取得された前記特定の物体の特徴量に基づいて、該入力画像に含まれる物体が前記特定の物体であるか否かを照合する照合手段と、
    を有する情報処理装置。
  2. 前記第1の取得手段は、前記入力画像が撮像された際の現実環境の照明条件を、光学的に測定する測定装置から取得する請求項1記載の情報処理装置。
  3. 前記照明条件は、照明の方向と、照明の強度と、に関する条件を含む請求項1または2記載の情報処理装置。
  4. 前記照明条件は、照明の色温度に関する条件を含む請求項1乃至3何れか1項記載の情報処理装置。
  5. 前記第2の取得手段は、前記入力画像における照明条件と、複数の前記照明条件と、の類似の度合いを示す類似度に基づいて、前記類似度が所定の値より大きい照明条件における前記変動画像から前記特定の物体の特徴量を取得する請求項1乃至4何れか1項記載の情報処理装置。
  6. 前記第1の取得手段は、前記変動画像の所定の領域における照明条件を取得し、
    前記第2の取得手段は、前記変動画像の前記所定の領域における前記所定の照明条件と、前記入力画像における前記所定の領域の照明条件と、の類似の度合いを示す類似度に基づいて、前記類似度が所定の値より大きい照明条件における前記変動画像から前記特定の物体の特徴量を取得する請求項1乃至4何れか1項記載の情報処理装置。
  7. 前記変動画像を記憶部に記憶する記憶手段をさらに有し、
    前記記憶手段は、対応する照明条件が前記生成手段により生成された変動画像と類似する変動画像が前記記憶部に記憶されている場合、前記生成手段により生成された変動画像を前記記憶部に記憶しない請求項1乃至6何れか1項記載の情報処理装置。
  8. 前記第2の取得手段は、前記変動画像それぞれが撮像された際の現実環境に関する情報である第1の環境情報と、前記入力画像が撮影された際の現実環境に関する情報である第2の環境情報と、に基づいて、前記第2の環境情報に類似する前記第1の環境情報に対応する前記変動画像から前記特定の物体の特徴量を取得する請求項5または6記載の情報処理装置。
  9. 前記第1の環境情報と前記第2の環境情報とには、前記第1または第2の取得手段により照明条件が取得されたときの時刻の情報が含まれ、
    前記第2の取得手段は、前記第1の環境情報に含まれる照明条件が取得された時刻の情報と、前記第2の環境情報に含まれる照明条件が取得された時刻の情報と、に基づいて、前記第2の環境情報に類似する前記第1の環境情報における前記特定の物体の特徴量を取得する請求項記載の情報処理装置。
  10. 前記第1の環境情報と前記第2の環境情報とには、前記第1または第2の取得手段により照明条件が取得されたときの天気の情報が含まれ、
    前記第2の取得手段は、前記第1の環境情報に含まれる照明条件が取得された天気の情報と、前記第2の環境情報に含まれる照明条件が取得された天気の情報と、に基づいて、前記第2の環境情報に類似する前記第1の環境情報における前記特定の物体の特徴量を取得する請求項記載の情報処理装置。
  11. 前記第1の環境情報と前記第2の環境情報とには、場所の情報が含まれ、
    前記第2の取得手段は、前記第1の環境情報に含まれる照明条件が取得された場所の情報と、前記第2の環境情報に含まれる照明条件が取得された場所の情報と、に基づいて、前記第2の環境情報に類似する前記第1の環境情報における前記特定の物体の特徴量を取得する請求項記載の情報処理装置。
  12. 前記第1の環境情報と前記第2の環境情報とには、場所に存在する人の数の情報が含まれ、
    前記第2の取得手段は、前記第1の環境情報に含まれる照明条件が取得された場所に存在する人の数の情報と、前記第2の環境情報に含まれる照明条件が取得された場所に存在する人の数の情報と、に基づいて、前記特定の物体の特徴量を取得する請求項記載の情報処理装置。
  13. 前記特定の物体は、人の顔である請求項1乃至1何れか1項記載の情報処理装置。
  14. 入力画像における照明条件を取得する第1の取得手段と、
    特定の物体のデータと、複数の照明条件と、に基づいて、前記照明条件のそれぞれにおける前記特定の物体の画像である変動画像を生成する生成手段と、
    前記入力画像における照明条件に基づいて、前記入力画像における照明条件と類似した照明条件における前記変動画像から前記特定の物体の特徴量を取得する第2の取得手段と、
    前記第2の取得手段によって取得された前記特定の物体の特徴量に基づいて、該入力画像に含まれる物体が前記特定の物体であるか否かを照合する照合手段と、
    を有する情報処理システム。
  15. 入力画像における照明条件を取得する第1の取得工程と、
    特定の物体のデータと、複数の照明条件と、に基づいて、前記照明条件のそれぞれにおける前記特定の物体の画像である変動画像を生成する生成工程と、
    前記入力画像における照明条件に基づいて、前記入力画像における照明条件と類似した照明条件における前記変動画像から前記特定の物体の特徴量を取得する第2の取得工程と、
    前記第2の取得工程で取得された前記特定の物体の特徴量に基づいて、該入力画像に含まれる物体が前記特定の物体であるか否かを照合する照合工程と、
    を有する情報処理方法。
  16. コンピュータを、請求項1乃至1何れか1項記載の情報処理装置の各手段として、機能させるためのプログラム。
JP2017147944A 2017-07-31 2017-07-31 情報処理装置、情報処理システム、情報処理方法及びプログラム Active JP6991771B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017147944A JP6991771B2 (ja) 2017-07-31 2017-07-31 情報処理装置、情報処理システム、情報処理方法及びプログラム
US16/047,614 US10885316B2 (en) 2017-07-31 2018-07-27 Apparatus for authenticating an object and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017147944A JP6991771B2 (ja) 2017-07-31 2017-07-31 情報処理装置、情報処理システム、情報処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2019028764A JP2019028764A (ja) 2019-02-21
JP2019028764A5 JP2019028764A5 (ja) 2020-08-27
JP6991771B2 true JP6991771B2 (ja) 2022-01-13

Family

ID=65137969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017147944A Active JP6991771B2 (ja) 2017-07-31 2017-07-31 情報処理装置、情報処理システム、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US10885316B2 (ja)
JP (1) JP6991771B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI742534B (zh) 2019-02-20 2021-10-11 日商旭化成股份有限公司 硬化物、硬化物改質體及硬化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284394A (ja) 2004-03-26 2005-10-13 Matsushita Electric Ind Co Ltd 特徴検出装置
JP2006221355A (ja) 2005-02-09 2006-08-24 Hitachi Ltd 監視装置及び監視システム
JP2012203668A (ja) 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283216A (ja) 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
JP2008217803A (ja) 2002-02-27 2008-09-18 Nec Corp 画像認識システム及びその認識方法並びにプログラム
JP4552431B2 (ja) * 2003-12-08 2010-09-29 日本電気株式会社 画像照合装置、画像照合方法及び画像照合プログラム
JP4446383B2 (ja) * 2004-08-12 2010-04-07 Kddi株式会社 画像処理装置および画像認識装置
US8295614B2 (en) * 2006-04-14 2012-10-23 Nec Corporation Collation apparatus and collation method
JP5202037B2 (ja) 2008-02-29 2013-06-05 キヤノン株式会社 特徴点位置決定方法及び装置
JP6268960B2 (ja) * 2013-11-15 2018-01-31 オムロン株式会社 画像認識装置及び画像認識装置に対するデータ登録方法
JP6410450B2 (ja) * 2014-03-31 2018-10-24 キヤノン株式会社 オブジェクト識別装置、オブジェクト識別方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284394A (ja) 2004-03-26 2005-10-13 Matsushita Electric Ind Co Ltd 特徴検出装置
JP2006221355A (ja) 2005-02-09 2006-08-24 Hitachi Ltd 監視装置及び監視システム
JP2012203668A (ja) 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置

Also Published As

Publication number Publication date
JP2019028764A (ja) 2019-02-21
US20190034705A1 (en) 2019-01-31
US10885316B2 (en) 2021-01-05

Similar Documents

Publication Publication Date Title
US11922707B2 (en) Method and apparatus for training face detection model, and apparatus for detecting face key point
US20190095701A1 (en) Living-body detection method, device and storage medium
JP6700791B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
JP2000306095A (ja) 画像照合・検索システム
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
JP2006293644A (ja) 情報処理装置、情報処理方法
JPWO2020079741A1 (ja) 虹彩認証装置、虹彩認証方法、虹彩認証プログラムおよび記録媒体
JP7484985B2 (ja) 認証システム、認証方法、及び、プログラム
JP5963525B2 (ja) 認識装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
JP2019032694A (ja) 情報処理装置、システム、情報処理方法及びプログラム
JP6991771B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
Zhang et al. A virtual proctor with biometric authentication for facilitating distance education
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
JP6875646B2 (ja) 画像処理装置、および、画像処理プログラム
JP7020567B2 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
CN108875472B (zh) 图像采集装置及基于该图像采集装置的人脸身份验证方法
Cruz et al. Multiple Face Recognition Surveillance System with Real-Time Alert Notification using 3D Recognition Pattern
JP2022058833A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
KR20150011714A (ko) 영상 방향 판단 장치
JP6820489B2 (ja) 画像処理装置、および、画像処理プログラム
JP2020135369A (ja) 情報処理装置、システム、情報処理方法及びプログラム
US20240314426A1 (en) Electronic apparatus for obtaining biometric information of companion animal, and operation method thereof
CN113822222B (zh) 人脸反作弊方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200713

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211208

R151 Written notification of patent or utility model registration

Ref document number: 6991771

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151