JPWO2020095400A1 - 特徴点抽出装置、特徴点抽出方法およびコンピュータプログラム - Google Patents

Abstract

画像に含まれる対象物の傾きが大きい場合にも、画像から対象物の特徴点を抽出でき、かつ、計算量の増加を抑制するために、特徴点抽出装置７０は次の構成を備える。特徴点抽出装置７０は、削減部７１と第一抽出部７２と補正部７３と第二抽出部７４を備える。削減部７１は、画像のデータ量を削減する。第一抽出部７２は、データ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出する。補正部７３は、第一抽出部７２により抽出された特徴点を用いて、データ量が削減される前の画像における対象物の傾きを補正する。第二抽出部７４は、傾きが補正された画像から対象物の特徴点を抽出する。

Description

本発明は、画像から対象物の特徴点を抽出する技術に関する。

顔認証で利用する撮影画像中の人物の顔は、設定の基準状態（例えば、正面を向き且つ鼻筋を通る顔画像の中心線が、撮影画像に定められている上下方向に伸びる基準線に沿う状態）であるとは限らない。このため、顔認証において、撮影画像中の人物の顔が、設定の基準状態からずれている状態、例えば、顔画像の中心線が撮影画像の上下方向の基準線に対して傾いている状態である場合にも顔の特徴点（以下、顔特徴点とも記す）を抽出する手法が求められる。

顔の撮影画像から顔特徴点を抽出する手法として、深層学習（ディープラーニング）を利用する手法がある。

深層学習を利用しない手法の一例が特許文献１に開示されている。特許文献１では、撮影画像から顔を検出する顔検出処理において目の位置座標が検出される。この検出された目の位置座標を利用して、顔の傾きを正規化する正規化処理が実行され、正規化後の顔の画像から顔特徴点が抽出される。

特許文献２には、ｈａａｒ−ｌｉｋｅ特徴を利用して顔の各部位を検出する手法が開示されている。

特開２００８−３７４９号公報 特開２０１０−１３４８６６号公報

先行技術の顔特徴点検出手法には、撮影画像における顔の傾きが大きい場合（顔画像の中心線が撮影画像の基準線に対して傾いている角度が大きい場合）を考慮して画像から顔特徴点を抽出できるようにすると、計算量が増加するという課題がある。

本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、画像に含まれる対象物の傾き（画像に設定された基準線に対する、対象物に設定された例えば中心線の傾き）が大きい場合にも、画像から対象物の特徴点を抽出でき、かつ、顔認証に係る計算量の増加を抑制できる技術を提供することにある。

上記目的を達成するために、本発明に係る特徴点抽出装置の一実施形態は、
画像のデータ量を削減する削減部と、
前記削減部によりデータ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出する第一抽出部と、
前記第一抽出部により抽出された前記特徴点を用いて、前記データ量が削減される前の画像における対象物の傾きを補正する補正部と、
前記傾きが補正された画像から前記対象物の特徴点を抽出する第二抽出部と
を備える。

また、本発明に係る特徴点抽出方法の一実施形態は、
コンピュータによって、
画像のデータ量を削減し、
前記データ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出し、
抽出された前記特徴点を用いて、前記データ量が削減される前の画像における対象物の傾きを補正し、
前記傾きが補正された画像から前記対象物の特徴点を抽出する。

さらに、本発明に係るプログラム記憶媒体の一実施形態は、
画像のデータ量を削減する処理と、
前記データ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出する処理と、
抽出された前記特徴点を用いて、前記データ量が削減される前の画像における対象物の傾きを補正する処理と、
前記傾きが補正された画像から前記対象物の特徴点を抽出する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。

本発明によれば、画像に含まれる対象物の傾きが大きい場合にも、画像から対象物の特徴点を抽出でき、かつ、計算量の増加を抑制できる。

本発明に係る第１実施形態の特徴点抽出装置の構成を簡略化して表すブロック図である。 顔検出処理の一例を説明する図である。 顔検出領域における顔の傾きを補正する処理の一例を説明する図である。 さらに、顔検出領域における顔の画像の傾きを補正する処理の一例を説明する図である。 第１実施形態の特徴点抽出装置における特徴点抽出に関わる動作の一例を表すフローチャートである。 特徴点抽出装置により抽出される特徴点を利用する装置の一例である認証装置の構成を簡略化して表すブロック図である。 特徴点抽出装置により抽出される特徴点を利用する装置の別の例である分析装置の構成を簡略化して表すブロック図である。 本発明に係るその他の実施形態の特徴点抽出装置の構成を簡略化して表すブロック図である。

以下に、本発明に係る一実施形態を、図面を参照しつつ説明する。

＜第１実施形態＞
図１は、第１実施形態の特徴点抽出装置の構成を撮影装置および表示装置と共に表すブロック図である。第１実施形態の特徴点抽出装置１０は、コンピュータにより構成されている。特徴点抽出装置１０は、撮影画像から、人の顔認証で利用される人の顔の特徴点（顔特徴点）を抽出する機能を備えている。対象物とは、特徴点を抽出する対象となるものを意味している。第１実施形態では、撮影画像から特徴点を抽出する対象物は人の顔であり、抽出する特徴点は顔特徴点である。顔特徴点は、画像中の顔の特徴から検出される。顔の特徴は、例えば、画素や設定領域内での輝度差や輝度勾配に基づいて検出され、顔の骨格や器官によって定まる。特徴点は、その特徴を抽出した位置を表す。

特徴点抽出装置１０は、撮影装置２０に接続されている。撮影装置２０は、例えば、動画や静止画を撮影するカメラにより構成され、撮影画像の画像データを出力する機能を備えている。また、撮影装置２０は、可搬型の端末装置（スマートフォン、タブレットなど）や、ノート型や据置型のパーソナルコンピュータや、入場を許可するか否かの判断が必要とされるゲートなどに、認証対象の人の顔を撮影できるように設置される。

特徴点抽出装置１０は、ハードウェア構成として、通信ユニット１１と、記憶装置１２と、入出力IF（Interface）１３と、制御装置（プロセッサ）１４とを備えている。これら通信ユニット１１と記憶装置１２と入出力IF１３と制御装置１４は、互いに通信可能な状態で接続されている。

通信ユニット１１は、例えば、情報通信網（図示せず）を介して外部の装置との通信を実現する機能を備えている。入出力ＩＦ１３は、外部装置との情報（信号）の通信を実現する機能を備えている。外部装置としては、例えば、映像や文字などを表示する表示装置（ディスプレイ）３０や、装置の操作者（ユーザ）が情報を入力するキーボードやタッチパネル等の入力装置（図示せず）がある。撮影装置２０は、通信ユニット１１あるいは入出力ＩＦ１３を介して特徴点抽出装置１０と接続される。

記憶装置１２は、データやコンピュータプログラム（プログラム）を格納する記憶媒体であり、プログラム記憶媒体として機能する。記憶媒体にはハードディスクやＳＳＤ（Solid State Drive）などの様々な種類が有り、記憶装置１２を構成する記憶媒体の種類は限定されず、ここでは、その説明は省略する。また、特徴点抽出装置１０が複数種の記憶媒体を備える場合があるが、ここでは、それら記憶媒体をまとめて記憶装置１２として表している。

制御装置１４は、１つあるいは複数のプロセッサにより構成される。プロセッサの一例としては、ＣＰＵ（Central Processing Unit）がある。制御装置１４は、記憶装置１２に格納されているプログラムを読み出し当該プログラムを制御装置１４の内部のメモリに書き込んで実行することにより、特徴点抽出装置１０の動作を制御する次のような機能部を実現する。

制御装置１４は、機能部として、取得手段を担う取得部４１、検出手段を担う検出部４２、削減手段を担う削減部４３、第一抽出手段を担う第一抽出部４４、補正手段を担う補正部４５および第二抽出手段を担う第二抽出部４６を実現する。

取得部４１は、撮影装置２０により撮影された撮影画像を画像データの形態でもって通信ユニット１１あるいは入出力ＩＦ１３を介して取得する機能を備えている。なお、第１実施形態では、画像は、画像データにより構成されるものであり、各機能部４１〜４６は画像の画像データを処理するが、以下の説明において、画像の画像データを単に画像と略して記す場合もある。

取得部４１は、例えば、予め設定された時間間隔毎に撮影装置２０から送信されてくる撮影画像を取得する。また、取得部４１は、取得した撮影画像を記憶装置１２に格納する機能を備えている。

検出部４２は、取得部４１により取得された撮影画像において人の顔を含む領域（以下、顔検出領域とも記す）を検出する機能を備えている。例えば、検出部４２は、記憶装置１２に予め登録されている顔検出用の参考データを利用して、撮影画像における顔検出領域を検出する。顔検出用の参考データを利用して顔検出領域を検出する手法には、例えば、機械学習による参考データとのマッチング結果を利用した統計処理など、様々な手法があり、ここでは何れの手法を採用してもよく、その詳細な説明は省略する。ただ、第１実施形態では、検出部４２により検出される顔検出領域は、図２に表されるように、撮影装置２０による矩形状の撮影画像２２の外形の縦と横の辺にそれぞれ平行な縦と横の辺を持つ矩形状の顔検出領域Ｚとする。また、撮影画像において、顔が横向きや下向きなどのために顔の一部が不明瞭な場合には顔検出領域が検出されないという如く、顔が撮影されていても顔検出領域が検出されない場合がある。さらに、顔検出用の参考データの形態は、検出部４２が採用する顔検出領域の検出手法に応じて定まる形態である。

削減部４３は、検出部４２により検出された顔検出領域Ｚの画像（換言すれば、対象物が含まれる画像）を示す画像データのデータ量を削減する機能を備えている。このデータ量を削減する処理としては、例えば、カラー画像をモノクロ画像に変換するというように画像に含まれる色情報を削減する処理や、画像のサイズを小さくする処理や、解像度を下げる処理などがある。第１実施形態では、削減部４３は、画像に含まれる色情報を削減する処理と、画像サイズを縮小する処理と、解像度を下げる処理とのうちの少なくとも一つを含む処理によって、顔検出領域Ｚの画像のデータ量を削減する。なお、データ量を削減することにより、顔検出領域Ｚの画像から顔の特徴（例えば、輝度差や輝度勾配）が抽出される点は減ることとなる。しかしながら、特徴を抽出しやすい顔の器官の特徴がなくなることはない。

第一抽出部４４は、削減部４３によりデータ量が削減された顔検出領域Ｚの画像から当該画像に含まれる顔の特徴点を抽出する機能を備えている。顔特徴点とは、前述したように顔の器官や骨格により定まる顔の特徴の位置を表す点であり、第１実施形態では、少なくとも瞳が顔特徴点として第一抽出部４４により抽出される。第一抽出部４４により抽出される顔特徴点は、補正部４５が実行する処理で利用するデータであり、顔検出領域Ｚの画像における顔の傾きの算出に利用される。ここでいう顔の傾きとは、顔の前から後頭部に向かう方向に沿う顔の前後軸まわりに回転する（顔（頭）を左右に傾ける）ことを意味する。別の言い方をすれば、顔の傾きとは、図２に表されるような矩形状の顔検出領域Ｚの縦の辺に沿う仮想線を基準線とした場合に、この基準線に対する鼻筋を通る顔の仮想中心線（換言すれば対象物の中心線）の傾きである。あるいは、顔の傾きとは、図２に表されるような矩形状の顔検出領域Ｚの横の辺に沿う仮想線を基準線とした場合には、この基準線に対する両目を通る仮想線の傾きである。

例えば、第一抽出部４４は、予め記憶装置１２に登録される顔特徴点抽出用の参考データを利用して、データ量が削減された顔検出領域Ｚの画像から顔特徴点を抽出する。第一抽出部４４が参考データを利用して顔検出領域Ｚの画像から顔特徴点を抽出する手法は特に限定されるものではなく、その手法の説明は省略する。ただし、第一抽出部４４が利用する顔特徴点抽出用の参考データは、データ量が削減されている顔検出領域Ｚであって傾きの大きな顔が含まれている顔検出領域Ｚの画像からも顔特徴点を抽出できる参考データである。なお、傾きの大きな顔とは、前述したような顔の傾き（顔検出領域Ｚの縦の辺に沿う基準線に対する顔の鼻筋を通る仮想中心線の傾き、あるいは、顔検出領域Ｚの横の辺に沿う基準線に対する両目を通る仮想線の傾き）が例えば４５度以上である顔を表す。また、第一抽出部４４は、顔特徴点として、瞳だけでなく、鼻の頭頂部や口角をも顔特徴点として抽出してもよい。

第一抽出部４４が抽出する顔特徴点は、顔検出領域Ｚにおける顔の傾きの算出に利用されるデータであり、顔認証に利用されるデータではないから、その抽出精度は、顔認証で利用される顔特徴点を抽出する場合の抽出精度よりも低くてよい。図２には、第一抽出部４４による顔特徴点の抽出位置の例が×印により表されている。図２の例では、第一抽出部４４により抽出された瞳の抽出位置は、瞳の中心から外れ、また、顔の左側の口角の抽出位置は、口角から外れているが、そのずれは顔の傾きの算出に悪影響を及ぼさない程度となっている。

また、第一抽出部４４は、抽出した顔特徴点の位置を、例えば撮影画像２２に設定された二次元直交座標系を利用して表す位置データを生成する機能をさらに備える。具体例としては、図２に表される撮影画像２２において、横の辺に沿うｘ軸と縦の辺に沿うｙ軸により定まる二次元直交座標系が設定される。この場合に、左目の瞳の特徴点の位置を表す座標は、（ｘｌ，ｙｌ）と表され、右目の瞳の特徴点の位置を表す座標は、（ｘｒ，ｙｒ）と表されるとする。このような座標により表される位置データは、例えば、特徴点が抽出された撮影画像２２を識別する識別情報に関連付けられて記憶装置１２に格納される。

補正部４５は、第一抽出部４４により抽出された顔特徴点を用いて、検出部４２により検出されたデータ量が削減される前の顔検出領域Ｚの画像における顔の傾きを補正する機能を備える。例えば、補正部４５は、まず、第一抽出部４４により抽出された右目の瞳の特徴点と左目の瞳の特徴点を通る図３に表されるような仮想線Ｌｖと、顔検出領域Ｚの横の辺に沿う仮想線Ｌｓとの成す角度θを下式（１）に従って顔の傾き角度として算出する。
θ＝arctan（（ｙｌ−ｙｒ）／（ｘｌ−ｘｒ））・・・・・・（１）
なお、ｙｌは、左目の瞳の特徴点のｙ座標を表し、ｙｒは、右目の瞳の特徴点のｙ座標を表し、ｘｌは、左目の瞳の特徴点のｘ座標を表し、ｘｒは、右目の瞳の特徴点のｘ座標を表している。

さらに、補正部４５は、図４に表されるように、撮影画像２２において、検出部４２により検出された顔検出領域（つまり、データ量が削減されていない顔検出領域）Ｚを、算出された傾き角度θ分、傾きを補正する方向に回転し、回転後の顔検出領域Ｚｔを設定する。顔検出領域の回転の中心は、例えば、顔の中心（例えば、鼻の頭頂部）であってもよいし、顔検出領域の中心（重心）であってもよい。

補正部４５による顔検出領域の回転により、顔検出領域Ｚｔに対する顔は、傾き補正された状態と等価な状態となる。すなわち、補正部４５は、このようにして、顔検出領域における顔の傾きを補正することができ、傾きが補正された顔を含む顔検出領域Ｚｔを得ることができる。

第二抽出部４６は、傾きが補正された顔を含む顔検出領域Ｚｔの画像（データ量が削減されていない画像）から顔特徴点を抽出する機能を備えている。第二抽出部４６が抽出する顔特徴点は顔認証に利用される特徴点であり、例えば、目の瞳の中心や、鼻の頭頂部や、左右の口角である。

第二抽出部４６は、例えば、予め記憶装置１２に登録される顔特徴点抽出用の参考データを利用して、顔検出領域Ｚｔの画像から顔特徴点を抽出する。第二抽出部４６が参考データを利用して顔検出領域Ｚｔから顔特徴点を抽出する手法は特に限定されるものではなく、第一抽出部４４が顔特徴点を抽出する手法と異なる場合もあるし、同じ場合もある。ただし、第二抽出部４６が利用する参考データは、第一抽出部４４が利用する参考データとは異なるデータである。すなわち、第一抽出部４４が利用する参考データは、前述したようにデータ量が削減されている顔検出領域Ｚであって傾きの大きな顔が含まれている顔検出領域Ｚの画像からも顔特徴点を抽出できる参考データである。これに対し、第二抽出部４６は、傾きが補正された顔を含む顔検出領域Ｚｔの画像から顔特徴点を抽出する。このことから、第二抽出部４６が利用する参考データは、第一抽出部４４に比べれば顔の傾きが大きいことは考慮しなくてよく、主に、顔特徴点の抽出精度を高めることを考慮して生成されたデータである。第二抽出部４６は、そのような参考データを利用して顔検出領域Ｚｔの画像から顔特徴点を抽出するために、第一抽出部４４による顔特徴点の抽出精度（図２参照）に比べて、図４の×印に表されているように顔特徴点を精度良く抽出できる。また、第一抽出部４４と第二抽出部４６は、上述したような参考データを利用するために、第一抽出部４４は、顔検出領域において、顔特徴点を抽出可能な顔の傾きの範囲が第二抽出部４６よりも広くなっている。

第１実施形態の特徴点抽出装置１０は上記のような構成を備えている。次に、特徴点抽出装置１０における特徴点抽出に係る動作の一例を図５のフローチャートに基づいて説明する。なお、図５におけるフローチャートは、コンピュータにより構成された特徴点抽出装置１０による特徴点抽出方法をも示している。

まず、制御装置１４の取得部４１が撮影装置２０による撮影画像を取得すると（ステップＳ１０１）、検出部４２が、その取得された撮影画像において、顔検出処理により顔検出領域（人の顔を含む画像）があるか否かを判断する（ステップＳ１０２）。そして、顔検出領域が無い（つまり、検出部４２が顔検出領域を検出できない）場合には、制御装置１４は次の撮影画像の取得に備える。

一方、撮影画像において顔検出領域Ｚがあって検出部４２が顔検出領域Ｚを検出できた場合には、削減部４３が、検出された顔検出領域Ｚのデータ量を削減する処理を実行する（ステップＳ１０３）。そして、第一抽出部４４が、補正部４５で利用する顔特徴点を得るべく、データ量が削減された顔検出領域Ｚから顔特徴点を抽出する（ステップＳ１０４）。然る後に、補正部４５が、第一抽出部４４により抽出された顔特徴点を利用して、検出部４２により検出された顔検出領域Ｚにおける顔の傾きを補正する（ステップＳ１０５）。

さらに、第二抽出部４６が、傾きを補正された顔の画像を含む顔検出領域Ｚｔから、顔認証で利用する顔特徴点を抽出する（ステップＳ１０６）。そして、第二抽出部４６は、抽出した顔特徴点のデータを予め指定されている出力先に出力する（ステップＳ１０７）。例えば、図６に表されるように、特徴点抽出装置１０が認証装置５０に組み込まれている場合には、顔特徴点の情報は、認証装置５０に備えられている認証部５１に出力される。認証部５１は、例えば、記憶装置に予め登録されている登録者の顔特徴点のデータに、特徴点抽出装置１０から出力された顔特徴点のデータを照合する機能を備える。さらに、認証部５１は、その照合結果に基づいて、撮影装置２０により撮影された顔を認証するか否かを判断する機能を備える。なお、認証部５１は、例えば、認証装置５０を構成するＣＰＵにより実現される。認証装置５０に特徴点抽出装置１０が組み込まれる場合には、その認証部５１を実現するＣＰＵが特徴点抽出装置１０の制御装置１４としても機能する。

また、第二抽出部４６により抽出された顔特徴点のデータは、表示装置３０の表示動作を制御する表示制御部（図示せず）に出力されてもよい。この場合には、表示制御部によって表示装置３０のディスプレイ（画面）に、例えば、撮影画像と共に抽出された顔特徴点の位置が表示される。

第１実施形態の特徴点抽出装置１０は、次のような効果を得ることができる。すなわち、第１実施形態の特徴点抽出装置１０は、削減部４３と第一抽出部４４を備えている。このため、特徴点抽出装置１０では、撮影画像から検出された顔検出領域Ｚのデータ量が削減部４３により削減され、当該データ量が削減された顔検出領域Ｚから第一抽出部４４により顔の画像の傾き補正に利用する傾き補正用の顔特徴点が抽出される。これにより、特徴点抽出装置１０は、顔検出領域Ｚから、データ量を削減せずに傾き補正用の顔特徴点を抽出する場合に比べて、傾き補正用の顔特徴点を抽出する処理での計算量を抑制することができる。

また、第二抽出部４６は、顔検出領域Ｚｔ（つまり、補正部４５により傾き補正され、かつ、データ量を削減していない顔を含む画像）から、顔特徴点を抽出することから、顔特徴点を抽出する精度を低下させることなく、顔特徴点を抽出できる。

よって、特徴点抽出装置１０は、撮影画像における人の顔（対象物）が傾いている場合をも考慮し、計算量の増加を抑制しつつ、撮影画像から顔特徴点（対象物の特徴点）を抽出する精度を低下させることなく、顔特徴点を抽出できる。

さらに、特徴点抽出装置１０は、検出部４２を備え、検出部４２によって撮影画像から顔検出領域Ｚを検出し、さらに、データ量が削減された顔検出領域Ｚの画像から第一抽出部４４により傾き補正用の顔特徴点を抽出する構成を備えている。つまり、特徴点抽出装置１０は、撮影画像全体からではなく、撮影画像から検出された顔検出領域Ｚの画像から傾き補正用の顔特徴点を抽出する。このため、特徴点抽出装置１０は、撮影画像全体から傾き補正用の顔特徴点を抽出する場合に比べて、傾き補正用の顔特徴点を抽出する処理での計算量を抑制できる。

さらに、第一抽出部４４は、補正部４５により顔の傾きが補正される前の顔検出領域Ｚの画像から顔特徴点を抽出する。このため、第１実施形態では、第一抽出部４４は、顔特徴点を抽出可能な顔の傾きの範囲が、第二抽出部４６が特徴点を抽出可能な顔の傾きの範囲よりも広い構成としている。これにより、特徴点抽出装置１０は、撮影画像２２において顔の傾きが大きくとも、計算量の増加を抑制しつつ、顔特徴点を抽出できるという効果が得られる。

＜その他の実施形態＞
本発明は第１実施形態に限定されるものでなく、様々な実施の形態を採り得る。例えば、第１実施形態では、取得部４１は、撮影装置２０から撮影画像を取得しているが、例えば、撮影装置２０による撮影画像が記憶される記憶装置（図示せず）から撮影画像を取得する構成としてもよい。

また、第１実施形態では、特徴点抽出装置１０は、検出部４２を備え、当該検出部４２によって、撮影画像における顔検出領域Ｚを検出し、当該検出した顔検出領域Ｚのデータ量が削減部４３により削減されている。これに代えて、例えば、撮影画像において顔検出領域Ｚを検出する処理が特徴点抽出装置１０とは別の装置によって行われ、特徴点抽出装置１０は、その検出された顔検出領域Ｚ（対象物（顔）を含む画像）を取得するとする。この場合には、特徴点抽出装置１０は、検出部４２の処理を行わなくてよいので、検出部４２は省略されてもよい。

さらに、例えば、撮影画像に映し出される顔が大きいために撮影画像と顔検出領域Ｚがほぼ同じとなることが多いと想定される場合には、検出部４２が省略され撮影画像から顔検出領域Ｚを検出する処理が省略されてもよい。この場合には、削減部４３は撮影画像全体のデータ量を削減し、補正部４５は撮影画像を顔の傾きに応じて回転する処理を行う。

さらに、第１実施形態では、特徴点を抽出する対象物は、人の顔である。これに代えて、特徴点を抽出する対象物は人の顔以外であってもよく、例えば、人の肩や肘であってもよいし、人体以外であってもよい。このような場合には、抽出される特徴点は、例えば、対象物の動きの分析に利用される。換言すれば、図７に表されるように、特徴点抽出装置１０は分析装置６０に組み込まれ、特徴点抽出装置１０により抽出された特徴点は、分析装置６０に備えられている分析部６１による分析処理に利用されてもよい。なお、分析部６１は、例えば、分析装置６０を構成するＣＰＵにより実現される。分析装置６０に特徴点抽出装置１０が組み込まれる場合には、その分析部６１を実現するＣＰＵが特徴点抽出装置１０の制御装置１４としても機能する。

さらに、第１実施形態では、顔検出領域Ｚ（換言すれば、対象物（顔）を含む画像）は矩形状であるが、顔検出領域は矩形状以外の形状であってもよい。また、このように顔検出領域の形状が矩形状以外である場合には、例えば、予め定められた基準の向きで撮影されている対象物の向きに基づいて、顔検出領域に対する顔（対象物）の傾きを表す基準となる基準線が予め設定される。

さらに、特徴点抽出装置１０は、補正部４５により補正された顔検出領域Ｚｔを表示装置３０により報知する構成を備えていてもよい。さらに、制御装置１４は、異なる種類のプロセッサにより構成されてもよい。例えば、制御装置１４はＣＰＵとＧＰＵ（Graphics Processing Unit）により構成されてもよい。この場合には、例えば、第一抽出部４４をＣＰＵが担い、第一抽出部４４よりも計算負荷が高い第二抽出部４６をＧＰＵが担うようにしてもよい。この構成によれば、顔特徴点を抽出する処理を第一実施形態による処理よりも高速化することができるという効果をもたらす。

図８は、本発明に係る特徴点抽出装置のその他の実施形態の構成を簡略化して表すブロック図である。図８における特徴点抽出装置７０は、削減手段を担う削減部７１、第一抽出手段を担う第一抽出部７２、補正手段を担う補正部７３、および第二抽出手段を担う第二抽出部７４を備えている。削減部７１は、画像のデータ量を削減する機能を有する。第一抽出部７２は、削減部７１によりデータ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出する機能を備える。補正部７３は、第一抽出部７２により抽出された特徴点を用いて、データ量を削減される前の画像における対象物の傾きを補正する機能を備える。第二抽出部７４は、傾きが補正された画像から対象物の特徴点を抽出する機能を備える。

図８の特徴点抽出装置７０は、画像における対象物の傾きが大きい場合にも、画像から対象物の特徴点を抽出でき、かつ、計算量の増加を抑制できるという効果が得られる。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

１０ 特徴点抽出装置
１２ 記憶装置
２０ 撮影装置
４１ 取得部
４２ 検出部
４３ 削減部
４４ 第一抽出部
４５ 補正部
４６ 第二抽出部

Claims (7)

1. 画像のデータ量を削減する削減手段と、
   前記削減手段によりデータ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出する第一抽出手段と、
   前記第一抽出手段により抽出された前記特徴点を用いて、前記データ量が削減される前の画像における対象物の傾きを補正する補正手段と、
   前記傾きが補正された画像から前記対象物の特徴点を抽出する第二抽出手段と
   を備える特徴点抽出装置。
2. 前記特徴点抽出装置は、
   撮影装置による撮影画像において前記対象物を含む画像の領域を検出する検出手段をさらに備え、
   前記削減手段は、前記撮影画像において前記検出手段により検出された領域のデータ量を削減する
   請求項１に記載の特徴点抽出装置。
3. 前記第一抽出手段は、前記特徴点を抽出可能な前記対象物の傾きの範囲が、前記第二抽出手段が前記特徴点を抽出可能な前記対象物の傾きの範囲よりも広い請求項１又は請求項２に記載の特徴点抽出装置。
4. 前記削減手段は、画像に含まれる色情報を削減する処理と、画像サイズを縮小する処理と、解像度を下げる処理とのうちの少なくとも一つを含む処理によって、前記画像のデータ量を削減する請求項１乃至請求項３の何れか一項に記載の特徴点抽出装置。
5. 前記対象物は、人の顔である請求項１乃至請求項４の何れか一項に記載の特徴点抽出装置。
6. コンピュータによって、
   画像のデータ量を削減し、
   前記データ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出し、
   抽出された前記特徴点を用いて、前記データ量が削減される前の画像における対象物の傾きを補正し、
   前記傾きが補正された画像から前記対象物の特徴点を抽出する特徴点抽出方法。
7. 画像のデータ量を削減する処理と、
   前記データ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出する処理と、
   抽出された前記特徴点を用いて、前記データ量が削減される前の画像における対象物の傾きを補正する処理と、
   前記傾きが補正された画像から前記対象物の特徴点を抽出する処理と
   をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。

Images