JP6514140B2 - 撮像支援装置、方法及びプログラム - Google Patents

撮像支援装置、方法及びプログラム Download PDF

Info

Publication number
JP6514140B2
JP6514140B2 JP2016054472A JP2016054472A JP6514140B2 JP 6514140 B2 JP6514140 B2 JP 6514140B2 JP 2016054472 A JP2016054472 A JP 2016054472A JP 2016054472 A JP2016054472 A JP 2016054472A JP 6514140 B2 JP6514140 B2 JP 6514140B2
Authority
JP
Japan
Prior art keywords
unit
imaging
face
presentation
face area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016054472A
Other languages
English (en)
Other versions
JP2017167973A (ja
Inventor
智一 河原
智一 河原
山口 修
修 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2016054472A priority Critical patent/JP6514140B2/ja
Priority to US15/260,669 priority patent/US10212336B2/en
Publication of JP2017167973A publication Critical patent/JP2017167973A/ja
Application granted granted Critical
Publication of JP6514140B2 publication Critical patent/JP6514140B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

本発明の実施形態は、撮像支援装置、方法及びプログラムに関する。
従来から、撮像部により撮像された対象者の顔の画像を用いて対象者を認識する顔認識技術が知られている。
このような顔認識技術において、複数台の撮像部を用いて対象者の顔の画像を撮像し、撮像された複数の顔の画像の中から顔認識に好適な画像を選択し、選択した画像を用いて当該対象者を認識する技術が知られている。
特開2005−310103号公報
しかしながら、上述した従来技術のように、複数の撮像部を用いて対象者の顔の画像を撮像する場合、対象者は、複数の撮像部のうちのいずれの撮像部が対象者の顔の画像の撮像に適した所定撮像部であるか分からず、所定撮像部による撮像のために向けるべき方向に顔を向けられないおそれがある。この場合、所定撮像部であっても顔認識に好適な画像を撮像できない。
本発明が解決しようとする課題は、顔認識に好適な画像の撮像を支援することができる撮像支援装置、方法及びプログラムを提供することである。
実施形態の撮像支援装置は、取得部と、抽出部と、特定部と、提示制御部と、を備える。取得部は、複数の撮像部で対象者の顔を撮像した複数の画像を取得する。抽出部は、前記複数の画像それぞれから、顔領域を抽出する。特定部は、前記複数の画像それぞれにおける前記顔領域の位置に基づいて、前記複数の撮像部の中から前記対象者の顔の撮像に適した撮像部である所定撮像部を特定する。提示制御部は、前記所定撮像部による撮像のために前記対象者が向けるべき顔の方向を提示部に提示させる。
第1実施形態の撮像支援装置の例を示す構成図。 第1実施形態の撮像部の一例を示す模式図。 第1実施形態の撮像部により撮像された画像の例を示す図。 第1実施形態の撮像部により撮像された画像の例を示す図。 第1実施形態の撮像部により撮像された画像の例を示す図。 第1実施形態の発光部の例を示す模式図。 第1実施形態の処理例を示すフローチャート。 変形例1の発光部の例を示す模式図。 変形例2の識別情報の例を示す模式図。 変形例2の提示部の例を示す模式図。 変形例3の識別情報の例を示す模式図。 変形例3の提示部の例を示す模式図。 変形例4の提示部の例を示す模式図。 第2実施形態の撮像支援装置の例を示す構成図。 第2実施形態の処理例を示すフローチャート。 第2実施形態の撮像支援装置の例を示す構成図。 第2実施形態の処理例を示すフローチャート。 各実施形態及び各変形例の撮像支援装置のハードウェア構成例を示す構成図。
以下、添付図面を参照しながら、実施形態を詳細に説明する。
(第1実施形態)
図1は、第1実施形態の撮像支援装置1の一例を示す構成図である。図1に示すように、撮像支援装置1は、撮像部10−1〜10−N(Nは2以上の自然数)と、取得部11と、抽出部13と、特定部15と、提示制御部17と、提示部30と、を備える。
撮像部10−1〜10−Nは、例えば、動画像を撮像可能なビデオカメラや静止画を連続して撮像可能なカメラなどの撮像装置により実現できる。なお、以下の説明では、撮像部の台数が3台(N=3)である場合を例に取り説明するが、これに限定されるものではない。また、以下の説明では、撮像部10−1〜10−Nを各々区別する必要がない場合は、単に撮像部10と称する場合がある。
取得部11、抽出部13、特定部15、及び提示制御部17は、例えば、CPU(Central Processing Unit)などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。
第1実施形態では、提示部30は、発光部31−1〜31−M(Mは2以上の自然数)により構成される。発光部31−1〜31−Mは、例えば、LED(Light Emitting Diode)やランプなどの発光装置により実現できる。なお、以下の説明では、発光部の台数が3台(M=3)である場合を例に取り説明するが、これに限定されるものではない。また、以下の説明では、発光部31−1〜31−Mを各々区別する必要がない場合は、単に発光部31と称する場合がある。
撮像部10−1〜10−3は、対象者の顔を撮像する。対象者は、顔認識の対象となる人物である。第1実施形態では、撮像部10−1〜10−3を縦方向に配置しており、撮像部10−1〜10−3の配置位置及び向きは固定されている。これは、対象者の身長が高い場合であっても低い場合であっても、撮像部10の配置位置や向きを変更せずに、撮像部10−1〜10−3のいずれかで顔認識に好適な顔の画像を撮像できるようにするためである。
第1実施形態における顔認識に好適な顔の画像とは、顔が正面を向き、かつ顔に歪みが生じていない(顔の歪みが抑えられた)画像である。画像上に写る顔の歪みは、撮像部10が有する撮像レンズ(図示省略)の影響で生じ、撮像レンズの光軸から離れるほど歪みが大きくなる。このため、第1実施形態における顔認識に好適な顔の画像は、対象者の顔が向いた方向に正対して位置する撮像部10から対象者を撮像することで得られる。
第1実施形態では、上述のように、撮像部10−1〜10−3を縦方向に配置しているので、対象者の身長が高い場合であっても低い場合であっても、撮像部10−1〜10−3のいずれかが対象者の顔と略同一の高さに位置することになる。ここで、上述した顔認識に好適な顔の画像を撮像するためには、対象者は、自身の顔と略同一の高さに位置する撮像部10に自身の顔を向ける必要がある。しかしながら、対象者は、自身の顔と略同一の高さに位置する撮像部10が、対象者の顔の撮像に適した撮像部10であることが分からず、いずれの方向(詳細には、いずれの撮像部10)に自身の顔を向ければよいか分からないことが想定される。
このため、第1実施形態の撮像支援装置1は、撮像部10により顔認識に好適な顔の画像を撮像できるようにするために、対象者に対し、顔を向けるべき方向を提示する。以下では、第1実施形態の手法について説明する。
撮像部10−1〜10−3は、対象者の顔を撮像する。なお、この時点での撮像部10−1〜10−3による対象者の顔の撮像では、対象者は、いずれの方向に顔を向けていても構わない。
図2は、第1実施形態の撮像部10−1〜10−3の一例を示す模式図である。図2に示す例では、撮像部10−1〜10−3は、縦方向に一列に配置されており、撮像地点に位置する対象者51の顔を撮像する。但し、撮像部10−1〜10−3は、縦方向に配置されていればよく、必ずしも一列に配置されている必要はない。例えば、撮像部10−1〜10−3をマトリクス上に配置したり、円状に配置したりしてもよい。また、撮像部10−1〜10−3は、それぞれ、正面を向くように固定されており、俯角や仰角はついていない。
取得部11は、撮像部10−1〜10−3で対象者の顔を撮像した複数の画像を取得する。
図3は、第1実施形態の撮像部10−1により撮像された画像の一例を示す図であり、図4は、第1実施形態の撮像部10−3により撮像された画像の一例を示す図であり、図5は、第1実施形態の撮像部10−2により撮像された画像の一例を示す図である。
図2に示すように、撮像部10−1は、対象者51の顔よりも高い位置に配置されているため、対象者51の顔は、撮像部10−1の撮像レンズの光軸よりも下側に位置する。このため、撮像部10−1で対象者51の顔を撮像した画像では、図3に示すように、対象者51の顔52が、画像の下側に位置し、撮像レンズのレンズ歪みの影響を受けてしまう。
また図2に示すように、撮像部10−3は、対象者51の顔よりも低い位置に配置されているため、対象者51の顔は、撮像部10−3の撮像レンズの光軸よりも上側に位置する。このため、撮像部10−3で対象者51の顔を撮像した画像では、図4に示すように、対象者51の顔52が、画像の上側に位置し、撮像レンズのレンズ歪みの影響を受けてしまう。
また図2に示すように、撮像部10−2は、対象者51の顔と略同一の高さの位置に配置されているため、対象者51の顔は、撮像部10−2の撮像レンズの光軸近辺に位置する。このため、撮像部10−2で対象者51の顔を撮像した画像では、図5に示すように、対象者51の顔52が、画像の中心付近に位置し、撮像レンズのレンズ歪みの影響を受けていない(レンズ歪みの影響が抑えられている)。
抽出部13は、取得部11により取得された複数の画像それぞれから、顔領域を抽出する。顔領域の抽出は、公知の顔検出技術を用いて行えばよく、例えば、Takeshi Mita, Toshimitsu Kaneko, Bjorn Stenger, Osamu Hori: “Discriminative Feature Co-Occurrence Selection for Object Detection”. IEEE Transaction Pattern Analysis and Machine Intelligence Volume 30, Number 7, July 2008, pp. 1257-1269に開示されている技術などを用いればよい。なお、抽出される顔領域の形状は、矩形や円などどのような形状であってもよい。
特定部15は、取得部11により取得された複数の画像それぞれにおける抽出部13により抽出された顔領域の位置に基づいて、撮像部10−1〜10−3の中から対象者の顔の撮像に適した撮像部10である所定撮像部を特定する。所定撮像部は、対象者の顔と略同一の高さに位置する撮像部10である。
具体的には、特定部15は、取得部11により取得された画像毎に、当該画像の中心と抽出部13により当該画像から抽出された顔領域の中心との距離を計算する。そして特定部15は、取得部11により取得された複数の画像の中から、画像の中心と顔領域の中心との距離が最も短い画像を撮像した撮像部10を所定撮像部に特定する。
これにより、図2〜図5に示す例であれば、図5に示す画像を撮像した撮像部10−2が所定撮像部に特定される。
提示制御部17は、特定部15により特定された所定撮像部による撮像のために対象者が向けるべき顔の方向を提示部30に提示させる。
第1実施形態では、前述したように、提示部30は、発光部31−1〜31−3により構成されており、図6に示すように、発光部31−1〜31−3は、それぞれ、撮像部10−1〜10−3に対応付けて設けられている。
そして提示制御部17は、特定部15により特定された所定撮像部に対応付けて設けられた発光部31を発光させる。図2〜図6に示す例であれば、図5に示す画像を撮像した撮像部10−2に対応付けて設けられた発光部31−2が発光される。
これにより、対象者に対し、発光した発光部31の方向(詳細には、発光した発光部31に対応付けられた所定撮像部の方向)に顔を向けることが提示される。この結果、対象者が、発光した発光部31の方向に顔を向ければ、対象者の顔は、対象者の顔に略正対して位置する所定撮像部の方向に向けられるため、所定撮像部は、顔認識に好適な顔の画像、即ち、顔が正面を向き、かつ顔に歪みが生じていない(顔の歪みが抑えられた)画像の撮像が可能となる。
図7は、第1実施形態の撮像支援装置1で行われる処理の流れの一例を示すフローチャートである。
まず、取得部11は、撮像部10−1〜10−3それぞれから、対象者の顔を撮像した画像を取得する(ステップS101)。
続いて、抽出部13は、取得部11により取得された複数の画像それぞれから、顔領域を抽出する(ステップS103)。
続いて、特定部15は、取得部11により取得された複数の画像それぞれにおける抽出部13により抽出された顔領域の位置に基づいて、撮像部10−1〜10−3の中から対象者の顔の撮像に適した撮像部10である所定撮像部を特定する(ステップS105)。
続いて、提示制御部17は、特定部15により特定された所定撮像部に対応付けて設けられた発光部31を発光させる(ステップS107)。
なお、ステップS103において、顔領域が抽出できない場合は、ステップS101に戻り、処理をやり直せばよい。
以上のように第1実施形態では、撮像部10−1〜10−3のうちいずれの撮像部10が、対象者の顔の撮像に適した(対象者の顔と略同一の高さに位置する)所定撮像部であるか、及び当該所定撮像部の方向に顔を向けることが提示される。従って第1実施形態によれば、所定撮像部は、顔認識に好適な顔の画像、即ち、顔が正面を向き、かつ顔に歪みが生じていない(顔の歪みが抑えられた)画像の撮像が可能となり、顔認識に好適な画像の撮像を支援することができる。
(変形例1)
上記第1実施形態では、撮像部10と発光部31とが1対1で対応している場合を例に取り説明したがこれに限定されるものではない。例えば、撮像部10の台数よりも発光部31の台数を多くしてもよい(N<Mとしてもよい)。
例えば、図8に示す例では、発光部の台数が12台(M=12)であり、撮像部10−1〜10−3の周囲に発光部31−1〜31−12が配置されている。そして提示制御部17は、所定撮像部による撮像のために対象者が向けるべき顔の方向に位置する発光部31を発光させる。
変形例1によれば、第1実施形態よりも詳細に、対象者に顔を向けさせる方向を提示できる。
なお変形例1では、提示制御部17は、特定部15により特定された所定撮像部だけでなく、所定撮像部により撮像された画像の中心と当該画像上の顔領域の中心との位置関係を用いて、発光部31−1〜31−12の中から発光させる発光部31を決定してもよい。
例えば、特定部15により撮像部10−2が所定撮像部に特定され、所定撮像部により撮像された画像の中心よりも上に顔領域の中心が位置するとする。この場合、対象者の顔の位置は、所定撮像部よりもやや高いことが想定されるため、提示制御部17は、対象者の顔と最も正対すると考えられる発光部31−5を発光させるようにしてもよい。
(変形例2)
上記第1実施形態では、発光部31が撮像部10に対応付けられて設けられている場合を例に取り説明したがこれに限定されるものではない。例えば、撮像部10に当該撮像部10を識別するための識別情報を対応付けて設けておき、提示制御部17は、所定撮像部に対応付けられた識別情報を提示部30に提示させるようにしてもよい。この場合、提示部30は、ディスプレイや、LEDやランプなどが埋め込まれたボードなどにより実現できる。
なお提示部30は、撮像部10と並べて設けられていてもよいし、対象者の手元に設けられていてもよいし、どこに設けられていてもよい。例えば、撮像部10による撮像に対象者による操作が必要な場合には、操作盤上に提示部30を設けてもよいし、顔認識のための顔認識情報(例えば、写真)などの読み取りが必要な場合には、読み取り装置に併設して提示部30を設けてもよい。
例えば、図9に示す例では、撮像部10−1に当該撮像部10−1を識別するためのマーク32−1が対応付けられ、撮像部10−2に当該撮像部10−2を識別するためのマーク32−2が対応付けられ、撮像部10−3に当該撮像部10−3を識別するためのマーク32−3が対応付けられている。
また、図10に示す例では、提示部30は、LEDが埋め込まれたボードなどにより実現されている。詳細には、提示部30には、マーク32−1〜32−3にそれぞれ対応するマーク33−1〜33−3が描かれており、埋め込まれたLEDによりマーク33−1〜33−3を個々に点灯できるように構成されている。
なお、以下の説明では、マーク32−1〜32−3を各々区別する必要がない場合は、単にマーク32と称し、マーク33−1〜33−3を各々区別する必要がない場合は、単にマーク33と称する場合がある。
この場合、提示制御部17は、提示部30において、特定部15により特定された所定撮像部に対応付けて設けられたマーク32に対応するマーク33を点灯する。これにより、対象者に対し、点灯したマーク33に対応するマーク32の方向(詳細には、当該マーク32に対応付けられた所定撮像部の方向)に顔を向けることが提示される。
(変形例3)
上記変形例2では、撮像部10と識別情報とが1対1で対応している場合を例に取り説明したがこれに限定されるものではない。例えば、撮像部10の台数よりも識別情報の数を多くしてもよい。
例えば、図11に示す例では、撮像部10−1〜10−3の周囲に、識別情報として身長を表す数値(110〜190)が配置されている。
また、図12に示す例では、提示部30には、身長を表す数値(110〜190)が描かれており、埋め込まれたLEDにより身長を表す数値(110〜190)を個々に点灯できるように構成されている。
この場合、提示制御部17は、提示部30において、所定撮像部による撮像のために対象者が向けるべき顔の方向に位置する数値を点灯する。変形例3によれば、変形例2よりも詳細に、対象者に顔を向けさせる方向を提示できる。
なお変形例3でも、変形例1と同様の手法により、提示制御部17は、特定部15により特定された所定撮像部だけでなく、所定撮像部により撮像された画像の中心と当該画像上の顔領域の中心との位置関係を用いて、身長を表す数値(110〜190)の中から点灯させる数値を決定してもよい。
(変形例4)
上記第1実施形態では、発光部31が撮像部10に対応付けられて設けられている場合を例に取り説明したがこれに限定されるものではない。例えば、提示制御部17は、所定撮像部の方向に対象者の顔を向けさせることを提示部30に提示させるようにしてもよい。この場合、提示部30は、ディスプレイなどにより実現できる。
なお提示部30は、撮像部10と並べて設けられていてもよいし、対象者の手元に設けられていてもよいし、どこに設けられていてもよい。例えば、撮像部10による撮像に対象者による操作が必要な場合には、操作盤上に提示部30を設けてもよいし、顔認識のための顔認識情報(例えば、写真)などの読み取りが必要な場合には、読み取り装置に併設して提示部30を設けてもよい。
この場合、提示制御部17は、図13に示すように、撮像部10−1〜10−3のいずれが所定撮像部であるかを提示部30上で提示させるとともに、所定撮像部の方向に対象者の顔を向けさせることを提示部30に提示させる。
(第2実施形態)
第2実施形態では、所定撮像部により撮像された顔認識に好適な顔の画像を用いた顔認識処理について説明する。以下では、第1実施形態との相違点の説明を主に行い、第1実施形態と同様の機能を有する構成要素については、第1実施形態と同様の名称・符号を付し、その説明を省略する。
図14は、第2実施形態の撮像支援装置101の一例を示す構成図である。図14に示すように、第2実施形態の撮像支援装置101では、取得部111、抽出部113、判定部119、読取部121、認識部123、及び制御部125が、第1実施形態と相違する。
なお、対象者に対する顔を向けるべき方向の提示までは、第1実施形態と同様である。
取得部111は、提示部30による提示後に所定撮像部により対象者の顔を撮像した認識用画像を更に取得する。つまり、取得部111は、所定撮像部から、顔認識に好適な顔の画像、即ち、対象者の顔が正面を向き、かつ対象者の顔に歪みが生じていない(対象者の顔の歪みが抑えられた)画像を取得する。
抽出部113は、取得部111により取得された認識用画像から顔領域を抽出する。なお、顔領域の抽出手法は、第1実施形態と同様である。
判定部119は、抽出部113により抽出された顔領域に基づいて、当該顔領域が照合に適しているか否かを判定する。具体的には、判定部119は、取得部111により取得された認識用画像における抽出部113により抽出された顔領域の位置や向きなどに基づいて、当該顔領域が照合に適しているか否かを判定する。
例えば、判定部119は、取得部111により取得された認識用画像の中心と抽出部113により抽出された顔領域の中心との距離を計算し、計算した距離が距離用の閾値以下であれば、顔に歪みが生じておらず(対象者の顔の歪みが抑え)、当該顔領域が照合に適し、計算した距離が距離用の閾値を超えていれば、顔に歪みが生じており(顔の歪みが大きく)、当該顔領域が照合に適さないと判定する。
また例えば、判定部119は、抽出部113により抽出された顔領域(認識用画像に写る顔)が正面を向いていれば当該顔領域が照合に適し、正面を向いていなければ当該顔領域が照合に適さないと判定する。
なお、顔の向きの識別は、公知の識別技術を用いて行えばよく、例えば、Tomoki Watanabe, Satoshi Ito, Kentaro Yoko: “Co-occurrence Histogram of Oriented Gradients for Human Detection”, IPSJ Transaction on Computer Vision and Applications Volume 2 March 2010, pp.39-47に開示されている技術などを用いればよい。但し、この技術では、2クラス識別器を用いて、入力されたパターンが「人物」であるか「非人物」であるかを識別するものであるため、第2実施形態では、この2クラス識別器を、「正面を向いた顔」であるか「正面を向いていない顔」であるかを識別する識別器とすればよい。
読取部121は、照合元人物の顔情報を読み取る。第2実施形態では、読取部121は、対象者が所持するカードや冊子に埋め込まれたICから照合元人物の顔情報を読み取るものとするが、これに限定されるものではない。第2実施形態では、照合元人物の顔情報は、照合元人物の顔画像であるものとするが、これに限定されず、照合元人物の顔の特徴量などであってもよい。
認識部123は、判定部119により、抽出部113により抽出された顔領域が照合に適していると判定された場合、読取部121から照合元人物の顔情報を取得し、当該顔情報に基づいて抽出部113により抽出された顔領域に写る顔を照合し、対象者が照合元人物であるか否かを認識する。
具体的には、認識部123は、取得部111により取得された認識用画像から抽出部113により抽出された顔領域を切り出し、顔画像とする。なお、顔領域の矩形の左上の座標を(x1、y1)、右下の座標を(x2、y2)とすると、切り出された横幅x2−x1、縦幅y2−y1の顔領域の画像が顔画像となる。但し、顔画像は、これに限定されず、認識部123は、例えば、認識用画像に対する顔特徴点検出及び特徴点に基づく顔領域の正規化で生成した画像を顔画像としてもよい。
なお、認識部123は、読取部121から取得した照合元人物の顔情報(顔画像)についても、必要であれば、認識用画像と同様の処理を施す。
次に、認識部123は、両顔画像それぞれから顔特徴量を抽出する。第2実施形態では、顔特徴量は、輝度値を並べたベクトルを長さ1に正規化した特徴量とするが、これに限定されず、顔画像にソーベルフィルタやガボールフィルタを掛けて得られる画像の輝度値を並べたベクトルとしてもよい。なお、認識部123は、抽出した顔特徴量に白色化変換などの線型変換を更に施してもよい。
次に、認識部123は、両顔特徴量の顔類似度を算出する。第2実施形態では、顔類似度は、顔特徴量同士の内積であるものとするが、これに限定されず、ベクトルの距離などとしてもよい。なお、顔特徴量は長さ1のベクトルなので、内積は単純類似度と同じである。
従って、第2実施形態では、顔類似度は、x1y1+x2y2+・・・+xdydとなる。但し、(x1、...、xd)、及び(y1、...、yd)は顔特徴量の長さ1のベクトルである。
なお、照合元人物の顔情報が照合元人物の顔の特徴量である場合、認識部123は、認識用画像の顔画像から抽出した顔特徴量と照合元人物の顔の特徴量との顔類似度を、上述の手法で算出する。
そして認識部123は、算出した顔類似度が顔認識用の閾値を超えていれば、対象者が照合元人物であると認識し、顔認識用の閾値以下であれば、対象者が照合元人物でないと認識する。
制御部125は、認識部123の認識結果に応じた制御を行う。例えば、制御部125は、認識部123により対象者が照合元人物であると認識されれば、ゲートを開けたり、扉を開錠したりする制御を行い、認識部123により対象者が照合元人物でないと認識されれば、ゲートを開けたり、扉を開錠したりする制御を行わない。
図15は、第2実施形態の撮像支援装置101で行われる処理の流れの一例を示すフローチャートである。
まず、取得部111は、提示部30による提示後に所定撮像部により対象者の顔を撮像した認識用画像を取得する(ステップS201)。
続いて、抽出部113は、取得部111により取得された認識用画像から顔領域を抽出する(ステップS203)。
続いて、判定部119は、抽出部113により抽出された顔領域に基づいて、当該顔領域が照合に適しているか否かを判定する(ステップS205)。なお、顔領域が照合に適していない場合は(ステップS205でNo)、ステップS201に戻り、処理をやり直す。
一方、顔領域が照合に適している場合(ステップS205でYes)、読取部121は、照合元人物の顔情報を読み取り、認識部123は、読取部121から照合元人物の顔情報を取得し、当該顔情報に基づいて抽出部113により抽出された顔領域に写る顔を照合し、対象者が照合元人物であるか否かを認識する(ステップS207)。
続いて、制御部125は、認識部123の認識結果に応じた制御を行う(ステップS209)。
なお、ステップS203において、顔領域が抽出できない場合は、ステップS201に戻り、処理をやり直せばよい。
以上のように第2実施形態では、認識用画像は、顔認識に好適な顔の画像、即ち、顔が正面を向き、かつ顔に歪みが生じていない(顔の歪みが抑えられた)画像であるため、顔認識における認識精度を向上できる。
(第3実施形態)
第3実施形態では、所定撮像部により最初に撮像された画像が顔認識に好適な顔の画像であれば、この画像を用いて顔認識処理を行う例について説明する。以下では、第2実施形態との相違点の説明を主に行い、第2実施形態と同様の機能を有する構成要素については、第2実施形態と同様の名称・符号を付し、その説明を省略する。
図16は、第3実施形態の撮像支援装置201の一例を示す構成図である。図16に示すように、第3実施形態の撮像支援装置201では、判定部219が、第2実施形態と相違する。
判定部219は、特定部15により特定された所定撮像部により撮像された画像から抽出された顔領域に基づいて、当該顔領域が照合に適しているか否かを判定する。なお、顔領域が照合に適しているか否かの判定手法は、第1実施形態と同様である。
図17は、第3実施形態の撮像支援装置201で行われる処理の流れの一例を示すフローチャートである。
まず、ステップS301〜S305までの処理は、図7に示すフローチャートのステップS101〜S105までの処理と同様である。
続いて、判定部219は、特定部15により特定された所定撮像部により撮像された画像から抽出部113により抽出された顔領域に基づいて、当該顔領域が照合に適しているか否かを判定する(ステップS307)。なお、顔領域が照合に適している場合は(ステップS307でYes)、ステップS317に進む。
一方、顔領域が照合に適していない場合(ステップS307でNo)、提示制御部17は、特定部15により特定された所定撮像部に対応付けて設けられた発光部31を発光させる(ステップS309)。
以降のステップS311〜S319までの処理は、図15に示すフローチャートのステップS201〜S209までの処理と同様である。
以上のように第3実施形態では、所定撮像部により最初に撮像された画像が顔認識に好適な顔の画像であれば、この画像を用いて顔認識を行うため、認識に要する時間(詳細には、認識までに要する時間)を短縮できる。
(変形例5)
上記第2、3実施形態では、照合元人物の顔情報を読取部121が読み取る場合を例にとり説明したが、これに限定されず、照合元人物の顔情報を撮像支援装置が備える記憶部などに予め記憶しておいてもよい。
(ハードウェア構成)
図18は、上記各実施形態及び各変形例の撮像支援装置のハードウェア構成の一例を示す構成図である。図18に示すように、上記各実施形態及び各変形例の撮像支援装置は、CPUなどの制御装置901と、ROMやRAMなどの主記憶装置902と、HDDやSSDなどの補助記憶装置903と、LED、ランプ、又はディスプレイなどの提示装置904と、マウスやキーボードなどの入力装置905と、カメラなどの撮像装置906とを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。
上記各実施形態及び各変形例の撮像支援装置で実行されるプログラムは、ROM等に予め組み込んで提供される。
また、上記各実施形態及び各変形例の撮像支援装置で実行されるプログラムを、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、CD−R、メモリカード、DVD、フレキシブルディスク(FD)等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するようにしてもよい。
また、上記各実施形態及び各変形例の撮像支援装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態及び各変形例の撮像支援装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。
上記各実施形態及び各変形例の撮像支援装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、制御装置901が補助記憶装置903からプログラムを主記憶装置902上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
以上説明したとおり、上記各実施形態及び各変形例によれば、顔認識に好適な画像の撮像を支援することができる。
なお本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。
1、101、201 撮像支援装置
10−1〜10−N(10) 撮像部
11、111 取得部
13、113 抽出部
15 特定部
17 提示制御部
30 提示部
31−1〜31−M(31) 発光部
119、219 判定部
121 読取部
123 認識部
125 制御部

Claims (13)

  1. 複数の撮像部で対象者の顔を撮像した複数の画像を取得する取得部と、
    前記複数の画像それぞれから、顔領域を抽出する抽出部と、
    前記複数の画像それぞれにおける前記顔領域の位置に基づいて、前記複数の撮像部の中から前記対象者の顔の撮像に適した撮像部である所定撮像部を特定する特定部と、
    前記所定撮像部による撮像のために前記対象者が向けるべき顔の方向を提示部に提示させる提示制御部と、
    を備える撮像支援装置。
  2. 前記提示部は、前記複数の撮像部にそれぞれ対応付けて設けられた複数の発光部であり、
    前記提示制御部は、前記所定撮像部に対応付けて設けられた発光部を発光させる請求項1に記載の撮像支援装置。
  3. 前記提示部は、複数の発光部であり、
    前記提示制御部は、前記対象者が向けるべき顔の方向に位置する発光部を発光させる請求項1に記載の撮像支援装置。
  4. 前記複数の撮像部それぞれには、当該撮像部を識別するための識別情報が対応付けて設けられおり、
    前記提示制御部は、前記所定撮像部に対応付けられた識別情報を前記提示部に提示させる請求項1に記載の撮像支援装置。
  5. 前記複数の撮像部の周辺には、複数の識別情報が設けられており、
    前記提示制御部は、前記所定撮像部による撮像のために前記対象者が向けるべき顔の方向に位置する識別情報を前記提示部に提示させる請求項1に記載の撮像支援装置。
  6. 前記提示制御部は、前記所定撮像部の方向に前記対象者の顔を向けさせることを前記提示部に提示させる請求項1に記載の撮像支援装置。
  7. 前記複数の撮像部は、縦方向に配置されている請求項1に記載の撮像支援装置。
  8. 前記取得部は、前記提示部による提示後に前記所定撮像部により撮像された認識用画像を更に取得し、
    前記抽出部は、前記認識用画像から顔領域を抽出し、
    照合元人物の顔情報を取得し、当該顔情報に基づいて前記顔領域に写る顔を照合し、前記対象者が前記照合元人物であるか否かを認識する認識部を更に備える請求項1に記載の撮像支援装置。
  9. 前記顔領域に基づいて、当該顔領域が照合に適しているか否かを判定する判定部を更に備え、
    前記認識部は、前記顔領域が照合に適している場合、前記対象者が前記照合元人物であるか否かを認識する請求項8に記載の撮像支援装置。
  10. 前記所定撮像部により撮像された前記画像から抽出された前記顔領域に基づいて、当該顔領域が照合に適しているか否かを判定する判定部と、
    前記顔領域が照合に適している場合、照合元人物の顔情報を取得し、当該顔情報に基づいて前記顔領域に写る顔を照合し、前記対象者が前記照合元人物であるか否かを認識する認識部と、
    を更に備える請求項1に記載の撮像支援装置。
  11. 前記複数の撮像部及び前記提示部を更に備える請求項1に記載の撮像支援装置。
  12. 複数の撮像部で対象者の顔を撮像した複数の画像を取得する取得ステップと、
    前記複数の画像それぞれから、顔領域を抽出する抽出ステップと、
    前記複数の画像それぞれにおける前記顔領域の位置に基づいて、前記複数の撮像部の中から前記対象者の顔の撮像に適した撮像部である所定撮像部を特定する特定ステップと、
    前記所定撮像部による撮像のために前記対象者が向けるべき顔の方向を提示部に提示させる提示制御ステップと、
    を備える撮像支援方法。
  13. 複数の撮像部で対象者の顔を撮像した複数の画像を取得する取得ステップと、
    前記複数の画像それぞれから、顔領域を抽出する抽出ステップと、
    前記複数の画像それぞれにおける前記顔領域の位置に基づいて、前記複数の撮像部の中から前記対象者の顔の撮像に適した撮像部である所定撮像部を特定する特定ステップと、
    前記所定撮像部による撮像のために前記対象者が向けるべき顔の方向を提示部に提示させる提示制御ステップと、
    をコンピュータに実行させるためのプログラム。
JP2016054472A 2016-03-17 2016-03-17 撮像支援装置、方法及びプログラム Active JP6514140B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016054472A JP6514140B2 (ja) 2016-03-17 2016-03-17 撮像支援装置、方法及びプログラム
US15/260,669 US10212336B2 (en) 2016-03-17 2016-09-09 Imaging support apparatus, imaging support method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016054472A JP6514140B2 (ja) 2016-03-17 2016-03-17 撮像支援装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017167973A JP2017167973A (ja) 2017-09-21
JP6514140B2 true JP6514140B2 (ja) 2019-05-15

Family

ID=59856237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016054472A Active JP6514140B2 (ja) 2016-03-17 2016-03-17 撮像支援装置、方法及びプログラム

Country Status (2)

Country Link
US (1) US10212336B2 (ja)
JP (1) JP6514140B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171182B (zh) * 2017-12-29 2022-01-21 Oppo广东移动通信有限公司 电子装置、人脸识别方法及相关产品
IT202100026369A1 (it) * 2021-10-14 2023-04-14 Secom Srl Sistema per acquisizione sicura di fotografie di volti umani

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2081041C (en) * 1992-01-03 1996-08-06 Robert Louis Beecher Camera field of view indicator
JP2001056859A (ja) 1999-08-19 2001-02-27 Toshiba Corp 顔画像認識装置および通行制御装置
JP3541765B2 (ja) * 1999-12-21 2004-07-14 日本電気株式会社 テレビ電話装置
JP2002183734A (ja) * 2000-12-15 2002-06-28 Toshiba Corp 顔認証装置および顔認証方法
JP2005070955A (ja) * 2003-08-21 2005-03-17 Make Softwear:Kk 写真自動販売機および写真自動販売機における写真撮影方法
US7693308B2 (en) 2004-03-24 2010-04-06 Fujifilm Corporation Authentication system, authentication method, machine readable medium storing thereon authentication program, certificate photograph taking apparatus, and certificate photograph taking method
JP2005310103A (ja) 2004-03-24 2005-11-04 Fuji Photo Film Co Ltd 認証システム、認証方法、認証プログラム、証明写真撮影装置、及び証明写真撮影方法
JP2007067510A (ja) 2005-08-29 2007-03-15 Toshiba Corp 映像撮影システム
US7806604B2 (en) * 2005-10-20 2010-10-05 Honeywell International Inc. Face detection and tracking in a wide field of view
JP4265600B2 (ja) 2005-12-26 2009-05-20 船井電機株式会社 複眼撮像装置
JP2008061092A (ja) * 2006-09-01 2008-03-13 Sega Corp 自動撮影装置
JP2010028501A (ja) * 2008-07-22 2010-02-04 Nikon Systems Inc テレビジョンカメラシステム
WO2010053473A1 (en) * 2008-11-04 2010-05-14 Hewlett-Packard Development Company, L.P. Controlling a video window position relative to a video camera position
US20110096137A1 (en) * 2009-10-27 2011-04-28 Mary Baker Audiovisual Feedback To Users Of Video Conferencing Applications
US9560321B2 (en) * 2011-01-11 2017-01-31 Panasonic Intellectual Property Management Co., Ltd. Image capturing system, camera control device for use therein, image capturing method, camera control method, and computer program
US20130021488A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Adjusting Image Capture Device Settings
US8963991B2 (en) * 2012-12-28 2015-02-24 Citrix Systems, Inc. Systems and methods for causing a user to look into a camera
JP2014153817A (ja) * 2013-02-06 2014-08-25 Toshiba Corp 通行制御装置、その方法、及び、そのプログラム
JP6117089B2 (ja) 2013-12-12 2017-04-19 セコム株式会社 人物検出装置
US9584763B2 (en) * 2014-11-06 2017-02-28 Cisco Technology, Inc. Automatic switching between dynamic and preset camera views in a video conference endpoint

Also Published As

Publication number Publication date
US10212336B2 (en) 2019-02-19
US20170272647A1 (en) 2017-09-21
JP2017167973A (ja) 2017-09-21

Similar Documents

Publication Publication Date Title
JP4241763B2 (ja) 人物認識装置及びその方法
US20230117712A1 (en) Feature density object classification, systems and methods
CN106203305B (zh) 人脸活体检测方法和装置
WO2015165365A1 (zh) 一种人脸识别方法及系统
CN113424197A (zh) 机器学习辅助自改进对象识别系统和方法
JP2018026108A (ja) 物体追跡方法、物体追跡装置およびプログラム
JP5725012B2 (ja) 異物判定装置、異物判定方法および異物判定プログラム
WO2019033572A1 (zh) 人脸遮挡检测方法、装置及存储介质
JP2019523929A5 (ja)
JP4783331B2 (ja) 顔認証装置
CN111212594B (zh) 电子设备和利用电子设备确定结膜充血程度的方法
JP5959093B2 (ja) 人物検索システム
JP6322986B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2019033569A1 (zh) 眼球动作分析方法、装置及存储介质
JP6570786B2 (ja) 動作学習装置、技能判別装置および技能判別システム
US11423246B2 (en) Medicine inspection assistance device, image processing device, image processing method, and program
JP5800175B2 (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
US10521679B2 (en) Human detection device, human detection system, human detection method, and human detection program
JP2010039788A (ja) 画像処理装置及びその方法並びに画像処理プログラム
JP2013206458A (ja) 画像における外観及びコンテキストに基づく物体分類
Hartl et al. Real-time detection and recognition of machine-readable zones with mobile devices.
JP6514140B2 (ja) 撮像支援装置、方法及びプログラム
JP2007025900A (ja) 画像処理装置、画像処理方法
WO2018030048A1 (ja) 物体追跡方法、物体追跡装置およびプログラム
JP6123265B2 (ja) 情報処理装置、車両識別方法、及び車両識別プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190411

R151 Written notification of patent or utility model registration

Ref document number: 6514140

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151