JP4957030B2 - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP4957030B2 JP4957030B2 JP2006071680A JP2006071680A JP4957030B2 JP 4957030 B2 JP4957030 B2 JP 4957030B2 JP 2006071680 A JP2006071680 A JP 2006071680A JP 2006071680 A JP2006071680 A JP 2006071680A JP 4957030 B2 JP4957030 B2 JP 4957030B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- imaging device
- face
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、認識処理に最適な画像を得ることができるようにする画像処理装置および画像処理方法、並びにプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program, and more particularly, to an image processing apparatus, an image processing method, and a program that can obtain an optimal image for recognition processing.
ユーザの顔を撮像装置で撮像し、画像処理装置で認識処理する認識処理システムにおいて、高速に、あるいは、簡単に認識処理することができるようにする様々な技術が提案されている(例えば、特許文献1,2参照)。従来、これらの撮像装置では、自動露出(露光)によって撮像が行われている。
しかしながら、自動露出では、撮像領域全体に対して、レンズを通して入ってくる光の強さと同等になるように、撮像装置のEV値が決定されるため、例えば、顔の認識を行う場合に、顔の領域以外の背景の明るさによって、認識対象としての顔領域の画素値が変化してしまい、認識ができないことがあった。 However, in the automatic exposure, the EV value of the imaging device is determined so that the entire imaging area is equivalent to the intensity of light entering through the lens. For example, when performing facial recognition, Depending on the brightness of the background other than this area, the pixel value of the face area as the recognition target may change, and recognition may not be possible.
本発明は、このような状況に鑑みてなされたものであり、認識処理に最適な画像を得ることができるようにするものである。 The present invention has been made in view of such a situation, and makes it possible to obtain an image optimal for recognition processing.
本発明の一側面の画像処理装置は、撮像装置で撮像された画像に含まれる顔が、登録されている本人であるかどうかを認証する基準となる基準画像を記憶する基準画像記憶手段と、前記画像から顔の領域を検出する顔領域検出手段と、前記画像中の前記顔の領域において各画素の画素値のヒストグラムを作成するヒストグラム作成手段と、前記画像のうちの前記顔の領域の各画素の画素値のヒストグラムと、前記基準画像の各画素の画素値のヒストグラムとの誤差が所定内か否かを判断し、前記誤差が所定内にないときは所定内となるように、前記画像を撮像した前記撮像装置の露出量を決定する決定手段と、決定された前記露出量になるように、前記撮像装置を制御する制御手段と、前記誤差が前記所定内と判断された前記画像と、前記基準画像記憶手段に記憶されている前記基準画像とを比較することにより、前記撮像装置で撮像された前記画像に含まれる前記顔が、登録されている本人であるかどうかを認証する認証手段とを備える。 An image processing apparatus according to an aspect of the present invention includes a reference image storage unit that stores a reference image that serves as a reference for authenticating whether or not a face included in an image captured by an imaging apparatus is a registered person, A face area detecting means for detecting a face area from the image; a histogram creating means for creating a histogram of pixel values of each pixel in the face area in the image; and each face area in the image. It is determined whether or not an error between a pixel value histogram of a pixel and a pixel value histogram of each pixel of the reference image is within a predetermined range, and the image is set to be within a predetermined range when the error is not within the predetermined range. determining means for determining an exposure amount of the imaging apparatus of the captured, so that the determined the amount of exposure, and a control means for controlling the imaging device, and the image in which the error is determined to the predetermined inside The group By comparing the reference image stored in the image storage means, the face included in the image captured by the imaging device, and an authentication means for authenticating whether the person is registered Prepare.
本発明の一側面の画像処理装置においては、撮像装置で撮像された画像に含まれる顔が、登録されている本人であるかどうかを認証する基準となる基準画像が基準画像記憶手段に記憶され、画像から顔の領域が検出され、その画像中の顔の領域において各画素の画素値のヒストグラムが作成される。そして、画像のうちの顔の領域の各画素の画素値のヒストグラムと、基準画像の各画素の画素値のヒストグラムとの誤差が所定内か否かが判断され、誤差が所定内にないときは所定内となるように、画像を撮像した撮像装置の露出量が決定され、その決定された露出量になるように、撮像装置が制御され、誤差が所定内と判断された画像と、基準画像記憶手段に記憶されている基準画像とを比較することにより、撮像装置で撮像された画像に含まれる顔が、登録されている本人であるかどうかが認証される。従って、認識処理に最適な画像を得て、認証処理を行うことができる。 In the image processing apparatus according to one aspect of the present invention, a reference image serving as a reference for authenticating whether or not the face included in the image captured by the imaging apparatus is a registered person is stored in the reference image storage unit. Then, a face area is detected from the image, and a histogram of pixel values of each pixel is created in the face area in the image. Then, it is determined whether or not the error between the pixel value histogram of each pixel in the face area of the image and the pixel value histogram of each pixel of the reference image is within a predetermined range. The exposure amount of the imaging device that captured the image is determined so as to be within the predetermined range , the imaging device is controlled so that the determined exposure amount is within the predetermined range, and the reference image By comparing with the reference image stored in the storage means, it is authenticated whether or not the face included in the image captured by the imaging device is a registered person . Therefore, it is possible to obtain an image optimal for recognition processing and perform authentication processing .
この顔領域検出手段、ヒストグラム作成手段、および決定手段は、例えば、CPUなどにより構成され、制御手段は、例えば、IEEE1394,Ethernet(登録商標)やUSB(Universal Serial Bus)等に準じた有線通信やIEEE(The Institute of Electrical and Electronic Engineers)802.11a,802.11b、および802.11gなどの無線LAN(Local Area Network)、またはBluetooth等様々な無線通信を行う通信部により構成される。基準画像記憶手段は、例えば、ハードディスクなどにより構成される。 The face area detection means, histogram creation means, and determination means are configured by, for example, a CPU, and the control means is, for example, wired communication conforming to IEEE1394, Ethernet (registered trademark), USB (Universal Serial Bus), or the like. It is composed of a wireless LAN (Local Area Network) such as IEEE (The Institute of Electrical and Electronic Engineers) 802.11a, 802.11b, and 802.11g, or a communication unit that performs various wireless communications such as Bluetooth. The reference image storage means is composed of, for example, a hard disk.
前記基準画像を前記基準画像記憶手段に記憶させる基準画像登録手段をさらに設け、前記制御手段には、前記基準画像登録手段が前記基準画像を前記基準画像記憶手段に記憶させる場合、それぞれが異なる露出量となるように複数回の制御を行わせ、前記基準画像登録手段には、異なる露出量で前記撮像装置により撮像された複数枚の画像を取得し、取得された前記複数枚の画像の一枚を、前記基準画像として、前記基準画像記憶手段に記憶させるようにすることができる。
前記基準画像登録手段には、取得された前記複数枚の画像のなかで、各画像の前記顔の領域の各画素の画素値のヒストグラムの中心値が、画素値が取り得る範囲の中心値に近く、かつ、分布の広がりの大きい画像を、前記基準画像として、前記基準画像記憶手段に記憶させるようにすることができる。
前記決定手段には、前記撮像装置のシャッタ速度またはF値を決定することにより、前記撮像装置の露出量を決定させることができる。従って、認識処理に最適な画像を得ることができる。
Reference image registration means for storing the reference image in the reference image storage means is further provided, and the control means has different exposures when the reference image registration means stores the reference image in the reference image storage means. The reference image registration unit obtains a plurality of images captured by the imaging device with different exposure amounts, and obtains one of the acquired images. A sheet can be stored in the reference image storage means as the reference image.
In the reference image registration unit, the center value of the histogram of the pixel values of the pixels of the face area of each image among the plurality of acquired images is set to the center value of the range that the pixel value can take. An image having a close and wide distribution can be stored in the reference image storage unit as the reference image.
The determining means can determine the exposure amount of the imaging apparatus by determining the shutter speed or F value of the imaging apparatus. Therefore, an image optimal for recognition processing can be obtained.
前記決定手段には、前記顔の領域の各画素の画素値のヒストグラムの中心値と、前記基準画像の各画素の画素値のヒストグラムの中心値との誤差が所定内となるように、前記撮像装置の露出量を決定させることができる。従って、認識処理に最適な画像を得ることができる。 In the determination unit, the imaging is performed so that an error between a center value of a pixel value histogram of each pixel of the face area and a center value of a histogram of pixel values of each pixel of the reference image is within a predetermined range. The amount of exposure of the device can be determined. Therefore, an image optimal for recognition processing can be obtained.
本発明の一側面の画像処理方法は、撮像装置で撮像された画像に含まれる顔が、登録されている本人であるかどうかを認証する基準となる基準画像が所定の記憶部に記憶されており、前記画像から顔の領域を検出し、前記画像中の前記顔の領域において各画素の画素値のヒストグラムを作成し、前記画像のうちの前記顔の領域の各画素の画素値のヒストグラムと、前記基準画像の各画素の画素値のヒストグラムとの誤差が所定内か否かを判断し、前記誤差が所定内にないときは所定内となるように、前記画像を撮像した前記撮像装置の露出量を決定し、決定された前記露出量になるように、前記撮像装置を制御し、前記誤差が前記所定内と判断された前記画像と、前記記憶部に記憶されている前記基準画像とを比較することにより、前記撮像装置で撮像された前記画像に含まれる前記顔が、登録されている本人であるかどうかを認証するステップを含む。 According to an image processing method of one aspect of the present invention, a reference image serving as a reference for authenticating whether or not a face included in an image captured by an imaging device is a registered person is stored in a predetermined storage unit. And detecting a face area from the image, creating a histogram of pixel values of each pixel in the face area of the image, and a histogram of pixel values of each pixel of the face area of the image; the error between the histogram of pixel values of each pixel of the reference image is determined whether or not a predetermined inside, the so error is given in when not within a predetermined, of the imaging device imaging the image An exposure amount is determined, the image pickup apparatus is controlled so as to be the determined exposure amount, the image for which the error is determined to be within the predetermined range, and the reference image stored in the storage unit By comparing the imaging The face contained in the image captured by the location comprises the step of authenticating whether a person has been registered.
本発明の一側面のプログラムは、撮像装置で撮像された画像に含まれる顔が、登録されている本人であるかどうかを認証する基準となる基準画像が所定の記憶部に記憶されており、前記画像から顔の領域を検出し、前記画像中の前記顔の領域において各画素の画素値のヒストグラムを作成し、前記画像のうちの前記顔の領域の各画素の画素値のヒストグラムと、前記基準画像の各画素の画素値のヒストグラムとの誤差が所定内か否かを判断し、前記誤差が所定内にないときは所定内となるように、前記画像を撮像した前記撮像装置の露出量を決定し、決定された前記露出量になるように、前記撮像装置を制御し、前記誤差が前記所定内と判断された前記画像と、前記記憶部に予め記憶されている前記基準画像とを比較することにより、前記撮像装置で撮像された前記画像に含まれる前記顔が、登録されている本人であるかどうかを認証するステップを含む処理をコンピュータに実行させる。 In a program according to one aspect of the present invention, a reference image that serves as a reference for authenticating whether a face included in an image captured by an imaging device is a registered person is stored in a predetermined storage unit, Detecting a face area from the image, creating a histogram of pixel values of each pixel in the face area of the image, and a histogram of pixel values of each pixel of the face area of the image; error between the histogram of the pixel value of each pixel of the reference image is determined whether or not a predetermined inside, the exposure amount of the error is such that the predetermined when it is not within the predetermined, the imaging device imaging the image The image pickup apparatus is controlled so that the determined exposure amount is obtained, and the image in which the error is determined to be within the predetermined range and the reference image stored in advance in the storage unit By comparing The face contained in the image captured by the device to execute processing comprising the step of authenticating whether a person is registered in the computer.
本発明の一側面の画像処理方法およびプログラムにおいては、撮像装置で撮像された画像に含まれる顔が、登録されている本人であるかどうかを認証する基準となる基準画像が所定の記憶部に記憶されており、画像から顔の領域が検出され、その画像中の顔の領域において各画素の画素値のヒストグラムが作成される。そして、画像のうちの顔の領域の各画素の画素値のヒストグラムと、基準画像の各画素の画素値のヒストグラムとの誤差が所定内か否かが判断され、誤差が所定内にないときは所定内となるように、画像を撮像した撮像装置の露出量が決定され、その決定された露出量になるように、撮像装置が制御され、誤差が所定内と判断された画像と、記憶部に記憶されている基準画像とを比較することにより、撮像装置で撮像された画像に含まれる顔が、登録されている本人であるかどうかが認証される。従って、認識処理に最適な画像を得て、認証処理を行うことができる。 In the image processing method and program according to one aspect of the present invention, a reference image serving as a reference for authenticating whether or not the face included in the image captured by the imaging device is a registered person is stored in a predetermined storage unit. The face area is detected from the image, and a histogram of pixel values of each pixel is created in the face area in the image. Then, it is determined whether or not the error between the pixel value histogram of each pixel in the face area of the image and the pixel value histogram of each pixel of the reference image is within a predetermined range. The exposure amount of the imaging device that has captured the image is determined so as to be within the predetermined range , the imaging device is controlled so that the determined exposure amount is within the predetermined range, and the storage unit Is compared with the reference image stored in the image, it is authenticated whether or not the face included in the image captured by the imaging device is a registered person . Therefore, it is possible to obtain an image optimal for recognition processing and perform authentication processing .
本発明によれば、認識処理に最適な画像を得ることができる。 According to the present invention, an image optimal for recognition processing can be obtained.
図1は、本発明を適用した画像処理システムの第1の実施の形態の構成例を示している。なお、図1において、太線の実線は、画像データを表し、細線の実線は、制御データを表している。 FIG. 1 shows a configuration example of a first embodiment of an image processing system to which the present invention is applied. In FIG. 1, a thick solid line represents image data, and a thin solid line represents control data.
図1の画像処理システム1は、認識対象としての人間の顔を撮像する撮像装置11と、撮像装置11から供給される顔が含まれた画像(以下、顔画像と称する)の認識処理を行う画像処理装置12とにより構成されている。
The
撮像装置11は、画像処理装置12から供給される、撮像のタイミングを表すタイミング信号に基づいて、認識対象としての顔を撮像し、その結果得られる顔画像を画像処理装置12に供給する。この撮像装置11は、自動露出(露光)による撮像と、手動露出による撮像とが可能である。
The
自動露出(露光)によって撮像する場合、撮像装置11は、設定した露出量を画像処理装置12に供給する。この露出量は、一般に、EV値として表すことができ、EV値は、絞り値F、シャッタ速度T、およびフィルム感度に相当するイメージャの感度ISOによって決定され、次式で表される。
EV値=log2F2−Log2T−log2(ISO/100)
When imaging is performed by automatic exposure (exposure), the
EV value = log 2 F 2 -Log 2 T-log 2 (ISO / 100)
イメージャの感度ISOは、撮像装置ごとに固定値となるので、画像処理装置12に予め記憶するようになされており、撮像装置11は、撮像時に設定した絞り値Fとシャッタ速度Tを画像処理装置12に供給する。なお、イメージャの感度ISOを、絞り値Fとシャッタ速度Tとともに、その都度供給してもよい。
Since the sensitivity ISO of the imager is a fixed value for each imaging device, it is stored in advance in the
一方、手動露出によって撮像する場合には、撮像装置11は、画像処理装置12から供給される絞り値Fとシャッタ速度Tで撮像する。
On the other hand, when imaging is performed by manual exposure, the
画像処理装置12は、フレームメモリ21、顔領域検出部22、画像判定部23、認識処理部24、基準画像記憶部25、および通信部26により構成されている。
The
フレームメモリ21は、撮像装置11から供給される顔画像を一時的に記憶し、必要に応じて、顔領域検出部22および画像判定部23に供給する。顔領域検出部22は、フレームメモリ21から供給される顔画像から、顔の領域を検出し、その結果得られる顔の領域を表す情報(顔領域情報)を画像判定部23に供給する。なお、顔領域検出部22が行う顔の領域の検出方法については特に限定せずに任意の方法を採用することができる。例えば、顔領域検出部22は、供給された顔画像から輪郭部を抽出し、抽出された輪郭部のうち顔の輪郭に合致するものを検出することにより、顔の領域を検出する。また例えば、顔領域検出部22は、供給された顔画像をラベリングし、ラベリングされた画像のうちの、最も大きいサイズ、または、所定範囲内のサイズの画像を顔の領域として検出する。
The
画像判定部23には、フレームメモリ21から顔画像が供給されるとともに、顔領域検出部22から顔領域情報が供給される。画像判定部23は、顔領域検出部22から供給される顔領域情報に基づいて、顔画像から顔の領域の画像(顔領域画像)を特定する。そして、画像判定部23は、特定された顔領域画像が認識処理に適した画像か否かを判定する。具体的には、画像判定部23は、顔領域画像の輝度分布の中心値と、基準画像記憶部25に記憶されている、認識処理の基準となる基準画像の輝度分布の中心値との誤差が所定内であるか否かにより、顔領域画像が認識処理に適した画像か否かを判定する。ここで、基準画像または顔領域画像の輝度分布の中心値は、横軸を画素値、縦軸を画素数として表される画素値のヒストグラムのうち、画素値の(最大値−最小値)/2で得られる値とする。なお、基準画像または顔領域画像の輝度分布の中心値を、画素数の最も多い画素値や、画素値の平均値としてもよい。即ち、基準画像または顔領域画像の輝度分布の中心値は、顔領域画像全体または基準画像全体の明るさの度合いを表すものであればよい。なお、以下において、基準画像と顔領域画像を特に区別する必要がない場合、認識画像と称する。
A face image is supplied from the
顔領域画像が認識処理に適した画像であると判定された場合、画像判定部23は、その顔領域画像を認識処理部24に供給する。一方、顔領域画像が認識処理に適した画像ではないと判定された場合、画像判定部23は、顔領域画像の輝度分布の中心値と基準画像の輝度分布の中心値との誤差が少なくなるような絞り値Fとシャッタ速度Tを決定し、通信部26に供給する。
When it is determined that the face area image is an image suitable for recognition processing, the
認識処理部24は、画像判定部23から供給された顔領域画像と、基準画像記憶部25に記憶されている基準画像とを比較することによって、撮像装置11で撮像された顔が登録されている本人であるかどうかを認証する。
The
基準画像記憶部25は、撮像装置11で撮像された顔が登録されている本人であるかどうかを認証する基準となる、基準画像を記憶する。この基準画像は、顔画像を撮像する前に予め撮像装置11で撮像されて、基準画像記憶部25に記憶される。
The reference
通信部26は、撮像装置11を制御する。具体的には、通信部26は、画像判定部23からの絞り値Fとシャッタ速度Tを撮像装置11に送信する。また、通信部26は、図示せぬ操作部または制御部からの制御信号に基づいてタイミング信号も撮像部11に送信する。
The
以上のように構成される画像処理システム1の画像処理装置12では、撮像装置11で撮像された顔画像から顔の領域が検出される。そして、検出された顔の領域の画像の明るさ(輝度分布)が基準画像の分布と同様になるように撮像装置11の露出量が制御される。これにより、認識処理に最適な顔領域画像を得ることができる。
In the
図2は、図1の撮像装置11の詳細な構成例を示している。
FIG. 2 shows a detailed configuration example of the
撮像装置11は、レンズ41、絞り42、イメージセンサ43、A/D変換部44、および撮像制御部45により構成されている。
The
レンズ41および絞り42を通った被写体からの光は、イメージセンサ43に入射される。イメージセンサ43は、例えば、CMOS(Complementary Mental Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどにより構成され、撮像制御部45からのタイミング信号に従って撮像する。即ち、イメージセンサ43は、受光した被写体からの光に対応するアナログの電気信号をA/D変換部44に供給する。
The light from the subject that has passed through the
A/D(Analog/Digital)変換部44は、イメージセンサ43から供給されるアナログの電気信号を、所定ビット数のデジタル信号に変換し、画像信号として画像処理装置12に出力する。なお、A/D変換部44としては、8ビットのデジタル信号に変換するA/Dコンバータが使用されることが多い。この場合、A/D変換部44から出力される画像は、256階調で表される。
The A / D (Analog / Digital)
撮像制御部45は、画像処理装置12から供給されるタイミング信号をイメージセンサ43に供給することにより、撮像のタイミングを制御する。また、撮像制御部45は、自動露出モードでは、図示せぬ露出計で測光した被写体の照度と同等になるように、絞り42およびイメージセンサ43のシャッタ速度を制御する。一方、手動露出モードでは、撮像制御部45は、絞り42およびイメージセンサ43のシャッタ速度を、画像処理装置12から供給される絞り値Fおよびシャッタ速度Tに設定する。
The
以上のように構成される撮像装置11では、自動露出または画像処理装置12から送信された絞り値Fおよびシャッタ速度Tにより、認識対象としての顔を含む顔画像が撮像されて、8ビットのデジタル信号にA/D変換された後、画像処理装置12に出力される。
In the
図3は、画像処理装置12の画像判定部23の詳細な構成例を示している。
FIG. 3 shows a detailed configuration example of the
画像判定部23は、分布作成部61、判定部62、およびEV補正計算部63により構成されている。
The
画像判定部23の分布作成部61は、顔領域検出部22から供給される顔領域情報に基づいて、顔画像から顔の領域部分を特定する。ここで特定された領域の画像が、顔領域画像である。また、分布作成部61は、顔領域画像の輝度分布と、基準画像記憶部25に記憶されている基準画像の輝度分布を作成し、顔領域画像の輝度分布の中心値と、基準画像の輝度分布の中心値をそれぞれ求める。
The
判定部62は、顔領域画像の輝度分布の中心値と、基準画像の輝度分布の中心値との誤差が所定内であるか否かにより、顔領域画像が認識処理に適した画像か否かを判定する。
The
判定部62は、顔領域画像が認識処理に適した画像であると判定した場合、顔領域画像を認識処理部24に供給する。一方、判定部62が、顔領域画像が認識処理に適した画像ではないと判定した場合、顔領域画像の明るさ(画素値)を補正するための絞り値Fとシャッタ速度Tを、EV補正計算部63に計算させる。
If the
EV補正計算部63は、通信部26から、顔領域画像が撮像されたときに撮像装置11で設定された絞り値Fとシャッタ速度Tを取得する。また、EV補正計算部63は、判定部62において顔領域画像が認識処理に適した画像ではないと判定された場合に、顔領域画像の輝度分布の中心値と、基準画像の輝度分布の中心値との誤差が所定内となるように、撮像装置11の露出量を決定する。
The EV
ここで、露出量(EV値)は、上述したように、イメージャの感度が固定値であるので、絞り値Fとシャッタ速度Tにより決定され、EV値を実現する絞り値Fとシャッタ速度Tは、その組み合わせにより何通りか存在する。例えば、絞り値F=2かつシャッタ速度T=1/1000秒、絞り値F=4かつシャッタ速度T=1/250秒、絞り値F=8かつシャッタ速度1/60秒のそれぞれは、互いに同一の露出量(EV値)となる。また、自動露出で決定されたEV値を基準EV値とすると、基準EV値に対して2倍、4倍、・・・の明るさであるEV値は、基準EV値+1、基準EV値+2、・・・となり、基準EV値に対して光量が1/2、1/4・・・の明るさであるEV値は、基準EV値−1、基準EV値−2、・・・となる。なお、以下において、・・・、−2EV値、−1EV値、+1EV値、+2EV値、・・・は、基準EV値を基準とする相対のEV値を表す。
Here, as described above, since the sensitivity of the imager is a fixed value, the exposure amount (EV value) is determined by the aperture value F and the shutter speed T, and the aperture value F and the shutter speed T that realize the EV value are Depending on the combination, there are several ways. For example, aperture value F = 2 and shutter speed T = 1/1000 seconds, aperture value F = 4 and shutter speed T = 1/250 seconds, aperture value F = 8 and
従って、顔領域画像の輝度分布の中心値と、基準画像の輝度分布の中心値との誤差が所定内となるような露出量を決定するためには、絞り値Fか、または、シャッタ速度Tのいずれか一方を変更するようにしても良いし、その両方を変更しても良い。本実施の形態では、EV補正計算部63は、絞り値Fを固定して、シャッタ速度Tを変更することにより、撮像装置11の露出量を、基準画像の輝度分布の中心値との誤差が所定内となるように決定する。例えば、基準EV値で撮像された顔画像から、明るさを2倍にするためには、絞り値Fを変更せずに、シャッタ速度を1/2倍の時間にさせる。
Therefore, in order to determine the exposure amount such that the error between the central value of the luminance distribution of the face area image and the central value of the luminance distribution of the reference image is within a predetermined range, the aperture value F or the shutter speed T Either one of them may be changed, or both of them may be changed. In the present embodiment, the EV
EV補正計算部63は、決定された絞り値Fおよびシャッタ速度Tを通信部26に供給する。そして、通信部26によって、絞り値Fとシャッタ速度Tが撮像装置11に供給される。
The EV
以上のように構成される画像判定部23では、顔領域画像が認識処理に適した画像であるか否かを判定する。そして、顔領域画像が認識処理に適した画像であると判定された場合、その顔領域画像が認識処理部24に供給される。一方、顔領域画像が認識処理に適した画像ではないと判定された場合、認識処理に最適な顔領域画像を得るための絞り値Fおよびシャッタ速度Tが求められる。
The
次に、図4のフローチャートを参照して、認識処理において基準画像と比較される比較画像として、最適な顔画像を取得する比較画像取得処理について説明する。この処理は、画像処理装置12の図示せぬ操作部または制御部によって、認識処理の開始が指示されたときに開始される。
Next, with reference to the flowchart of FIG. 4, a comparison image acquisition process for acquiring an optimal face image as a comparison image to be compared with the reference image in the recognition process will be described. This process is started when the start of the recognition process is instructed by an operation unit or a control unit (not shown) of the
初めに、ステップS1において、通信部26は、撮像装置11にタイミング信号を供給する。そして、通信部26からのタイミング信号によって撮像装置11で撮像された顔画像がフレームメモリ21に入力され、フレームメモリ21は、ステップS2において、撮像装置11からの顔画像を記憶する。
First, in step S <b> 1, the
ステップS3において、顔領域検出部22は、フレームメモリ21から供給される顔画像から、顔の領域を検出し、その結果得られる顔領域情報を画像判定部23に供給する。
In step S <b> 3, the face
ステップS4において、画像判定部23の分布作成部61は、フレームメモリ21から供給される顔画像の輝度分布と基準画像記憶部25に記憶されている基準画像の輝度分布とを作成する。また、分布作成部61は、顔領域検出部22から供給される顔領域情報に基づいて、顔画像の輝度分布の顔の領域部分を特定する。さらに、ステップS4において、分布作成部61は、顔領域画像の輝度分布の中心値と、基準画像の輝度分布の中心値をそれぞれ求める。
In step S <b> 4, the
ステップS5において、画像判定部23の判定部62は、顔領域画像の輝度分布の中心値と、基準画像の輝度分布の中心値との誤差が所定内であるあるか否かにより、いま撮像装置11で撮像された顔領域画像が認識処理に適した画像か否かを判定する。
In step S5, the
ステップS5で、いま撮像装置11で撮像された顔領域画像が認識処理に適した画像ではないと判定された場合、ステップS6において、EV補正計算部63は、通信部26を介して、顔領域画像が撮像されたときの絞り値Fとシャッタ速度Tを撮像装置11から取得するとともに、顔領域画像の輝度分布の中心値と、基準画像の輝度分布の中心値との誤差が所定内となるように、撮像装置11の露出量を計算し、決定する。この例では、撮像装置11から供給された絞り値Fとシャッタ速度Tのうちの、シャッタ速度Tのみを変更した補正量が計算される。
When it is determined in step S5 that the face area image currently captured by the
そして、ステップS7において、通信部26は、画像判定部23のEV補正計算部63から供給された絞り値Fおよびシャッタ速度Tを撮像装置11に送信する。その後、処理はステップS1に戻り、それ以降の処理が繰り返される。
In step S <b> 7, the
一方、ステップS5で、いま撮像装置11で撮像された顔領域画像が認識処理に適した画像であると判定された場合、ステップS8において、判定部62は、顔領域検出部22から供給された顔領域画像を、比較画像として認識処理部24に供給し、処理を終了する。これにより、認識処理部24では、判定部62からの最適な顔領域画像を、基準画像記憶部25に記憶されている基準画像と比較することにより、撮像装置11で撮像された顔画像に映っている顔(ユーザ)が登録されている本人であるかどうかを認証する認証処理を行うことができる。
On the other hand, when it is determined in step S5 that the face area image currently captured by the
次に、図5のフローチャートを参照して、顔認証処理において基準となる基準画像を基準画像記憶部25に登録する基準画像登録処理について説明する。この処理は、図4に示した比較画像取得処理より前に、予め行われる。
Next, a reference image registration process for registering a reference image serving as a reference in the face authentication process in the reference
初めに、ステップS21において、通信部26は、撮像装置11にタイミング信号を供給する。そして、通信部26からのタイミング信号によって撮像装置11で撮像された顔画像がフレームメモリ21に入力され、フレームメモリ21は、ステップS22において、撮像装置11からの顔画像を記憶する。ステップS21の処理は後述するように何回か繰り返されるが、初回の処理では、撮像装置11が自動露出で撮影した顔画像がフレームメモリ21に入力される。2回目以降の処理では、後述するステップS27の処理で撮像装置11に送信された絞り値Fおよびシャッタ速度Tで撮影された顔画像がフレームメモリ21に入力される。
First, in step S <b> 21, the
ステップS23において、顔領域検出部22は、フレームメモリ21から供給される顔画像から、顔の領域を検出し、その結果得られる顔領域情報を画像判定部23に供給する。
In
ステップS24において、分布作成部61は、フレームメモリ21から供給される顔画像の輝度分布を作成する。また、分布作成部61は、顔領域検出部22から供給される顔領域情報に基づいて、顔画像の輝度分布のうちの顔の領域部分を特定する。
In step S <b> 24, the
ステップS25において、画像判定部23の判定部62は、撮像装置11の露出量(EV値)をいくつか変更して、所定回数の顔領域画像の輝度分布を求めたか否かを判定する。画像処理装置12では、基準画像登録処理において、露出量を、例えば、基準EV値と、+2EV値、+1EV値、−1EV値乃至−3EV値にそれぞれ変えて、計6回の顔領域画像の分布を求めることが予め記憶されており、ステップS25では、その所定回数分の顔領域画像の輝度分布が求められたか否かが判定される。
In step S25, the
ステップS25で、所定回数分の顔領域画像の輝度分布が求められていないと判定された場合、ステップS26において、EV補正計算部63は、まだ求めていないEV値となるようにシャッタ速度Tを変更する。
If it is determined in step S25 that the luminance distribution of the face area image for the predetermined number of times has not been obtained, in step S26, the EV
ステップS27において、通信部26は、画像判定部23のEV補正計算部63から供給された絞り値Fおよびシャッタ速度Tを撮像装置11に送信する。その後、処理はステップS21に戻り、それ以降の処理が繰り返される。
In step S <b> 27, the
一方、ステップS25で、所定回数分の顔領域画像の輝度分布が求められたと判定された場合、ステップS28において、判定部62は、ステップS21乃至S24の処理を繰り返し実行することにより求められた、EV値のそれぞれ異なる顔領域画像の輝度分布から、基準画像として最適な顔領域画像を選択し、基準画像記憶部25に記憶させて、処理を終了する。ステップS28では、判定部62は、所定回数の撮像により得られた所定個数の顔領域画像の輝度分布のうち、輝度分布の中心値が0乃至255(256階調)の画素値の中心値127に近く、かつ、分布の広がりの大きい(分散の大きい)顔画像が、基準画像として選択され、基準画像記憶部25に記憶される。
On the other hand, when it is determined in step S25 that the luminance distribution of the face area image for a predetermined number of times has been obtained, in step S28, the
図6は、図5の基準画像登録処理で求められた、EV値がそれぞれ異なる顔領域画像の輝度分布を示している。 FIG. 6 shows the luminance distribution of face area images with different EV values obtained by the reference image registration process of FIG.
図6に示した−3EV値乃至+2EV値までの6個の顔領域画像の輝度分布では、自動露出(基準EV値)よりも明るさを1/2倍にした−1EV値で撮像されたときの顔領域画像が、基準画像として選択され、基準画像記憶部25に記憶される。
In the luminance distribution of the six face area images from -3EV value to + 2EV value shown in FIG. 6, when the image is captured with the -1EV value that is 1/2 the brightness than the automatic exposure (reference EV value). Are selected as a reference image and stored in the reference
以上のように、図1の画像処理システム1によれば、撮像装置11で認識対象の顔を含んで撮像された顔画像のうちの、顔の領域だけの輝度分布を用いて、基準画像を登録する。また、顔の領域だけの輝度分布を用いて、より具体的には、顔領域画像の輝度分布の中心値と基準画像の輝度分布の中心値との誤差が所定内となるように、撮像装置11の絞り値Fまたはシャッタ速度Tを制御したので、認識処理に最適な画像を得ることができる。
As described above, according to the
次に、上述したCMOSセンサやCCDセンサなどのイメージセンサよりもダイナミックレンジの広いイメージセンサを採用することにより、絞り値Fおよびシャッタ速度Tを調整することがないようにした実施の形態について説明する。 Next, an embodiment in which the aperture value F and the shutter speed T are not adjusted by employing an image sensor having a wider dynamic range than the image sensor such as the above-described CMOS sensor or CCD sensor will be described. .
図7は、画像処理システムの第2の実施の形態を示している。なお、図7において、上述した第1の実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。 FIG. 7 shows a second embodiment of the image processing system. In FIG. 7, portions corresponding to those in the first embodiment described above are denoted by the same reference numerals, and description thereof is omitted as appropriate.
図7の画像処理システム101は、約170dBの非常に広いダイナミックレンジを有するHDRC(High Dynamic Range CMOS)(登録商標)撮像装置111と、第1の実施の形態と同様の画像処理装置12とにより構成されている。
The
HDRC撮像装置111は、図8および図9を参照して後述するように、対数変換型の撮像素子を用いて約170dBの非常に広いダイナミックレンジで認識対象としての顔を撮像し、画像処理装置112に供給する。なお、HDRC撮像装置111は、上述した撮像装置11と同様に、画像処理装置112から供給されるタイミング信号に基づいて撮像を行う。
As will be described later with reference to FIGS. 8 and 9, the HDRC
図7の画像処理装置12のフレームメモリ21、顔領域検出部22、画像判定部23、認識処理部24、基準画像記憶部25、および通信部26は、基本的に、図1を参照して説明した処理と同様の処理を行う。但し、図7においては、通信部26は、タイミング信号のみをHDRC撮像装置111に供給し、絞り値Fおよびシャッタ速度TについてはHDRC撮像装置111に供給しない。
The
図8は、図7のHDRC撮像装置111の詳細な構成例を示している。
FIG. 8 shows a detailed configuration example of the
HDRC撮像装置111は、レンズ141、絞り142、対数変換型イメージセンサ143、対数変換部144、A/D変換部144、および撮像制御部45により構成されている。
The
レンズ141および絞り142を通った被写体からの光は、対数変換型イメージセンサ143に入射される。対数変換型イメージセンサ143は、例えば、HDRCなどにより構成され、撮像制御部146からのタイミング信号に従って撮像する。即ち、対数変換型イメージセンサ143は、タイミング信号に同期して、入射された光の明るさ(照度)に応じた電荷を蓄積し、その蓄積された電荷を対数変換部144に供給する。
Light from the subject that has passed through the
対数変換部144は、例えば、複数のMOSFET(Metal Oxide Semiconductor Field Effect Transistor)などにより構成される。対数変換部144は、MOSFETのサブスレッショルド特性を利用して、対数変換型イメージセンサ143から供給される電荷を、画素ごとに電荷の数(電流の強さ)の対数(被写体の光の光量の対数)にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部144は、生成したアナログの電気信号をA/D変換部145に供給する。
The
A/D変換部145は、対数変換部144から供給されるアナログの電気信号を、所定ビット数のデジタル信号に変換し、画像処理装置12に出力する。なお、HDRC撮像装置111のA/D変換部145では、広いダイナミックレンジに対応するため、14ビットのビット数が採用されている。従って、顔画像の画素値は、最も暗い0から最も明るい214−1の範囲の値をとる。
The A /
撮像制御部146は、画像処理装置12から供給されるタイミング信号を対数変換型イメージセンサ143に供給することにより、撮像のタイミングを制御する。
The
以上のように構成されるHDRC撮像装置111は、対数変換型イメージセンサ143に入射された光の明るさ(入射光量)の対数に比例した画素値からなるデジタルの画像信号を出力する。ここで、“比例”とは、ほぼ比例するものも含む。なお、対数変換型のイメージセンサについては、例えば、特表平7−506932公報などにその詳細が開示されている。また、対数変換型イメージセンサ143では、電荷を蓄積せずに、そのまま対数変換部144に供給させるようにすることも可能である。
The
図9は、対数変換型イメージセンサ143、CCDセンサ、銀塩フィルム、および、人の目の感度特性を示すグラフである。図9の横軸は、入射光の照度(単位は、ルクス(lux))の対数値を示し、縦軸は入射光の照度に対する感度を示している。曲線L1は対数変換型イメージセンサ143の感度特性を示し、曲線L2はCCDセンサの感度特性を示し、曲線L3は銀塩フィルムの感度特性を示し、曲線L4は人の目の感度特性を示している。
FIG. 9 is a graph showing sensitivity characteristics of the logarithmic conversion
対数変換型イメージセンサ143は、上述したように、入射光量の対数に比例した画素値からなる画像信号を出力することにより、対数変換型イメージセンサ143を構成するフォトダイオードやMOSFETなどの容量を飽和させずに、CCDセンサ、銀塩フィルム、および、人の目より広い、約1ミリルクスから太陽光の輝度より高い約500キロルクスまでの約170dBのダイナミックレンジで被写体を撮像することができる。
As described above, the logarithmic conversion
従って、対数変換型イメージセンサ143を用いた撮像装置111は、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、絞り値Fやシャッタ速度Tを調整して入射光量を調整する必要がない。すなわち、撮像装置111は、入射光量を調整しなくても、被写体の詳細な輝度分布を忠実に再現することができる。
Accordingly, the
例えば、昼間に顔を撮像する場合、画角内に太陽が入っていても、撮像装置111により撮像された画像は、入射光量を調整しなくても、太陽と顔の輝度の分布を忠実に再現した画像となる。また、夜間に顔を撮像する場合でも、撮像装置111により撮像された画像は、入射光量を調整しなくても、顔と顔以外の領域の輝度の分布を忠実に再現した画像となる。
For example, when a face is imaged in the daytime, even if the sun is within the angle of view, the image captured by the
なお、対数変換型イメージセンサ143のダイナミックレンジは、上述した170dBに限定されるものではなく、利用目的に応じて、約100dBあるいは200dBなど、必要なダイナミックレンジに対応したものを用いることができる。
Note that the dynamic range of the logarithmic conversion
また、CCDセンサおよび銀塩フィルムでは、曲線L2および曲線L3に示されるように、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比べて、対数変換型イメージセンサ143では、感度特性が入射光の照度の対数に比例する。このことから、対数変換型イメージセンサ143を用いた撮像装置111は、輝度クリッピングの発生、入射光量の調整、ガンマ特性の影響を受けないため、撮像装置111により撮像された画像の画素値は、被写体の輝度の変動および被写体の動きをほぼ忠実に反映するという特徴も有している。
Further, in the CCD sensor and the silver salt film, as shown by the curves L2 and L3, the logarithmic conversion
以上のように、図7の画像処理システム101によれば、HDRC撮像装置111が非常に広いダイナミックレンジを有しているので、絞り値Fやシャッタ速度Tを調整して入射光量を調整する必要がない。
As described above, according to the
しかしながら、HDRC撮像装置111から出力される顔画像は、図10に示すように、14ビット、即ち、0乃至214−1の画素値で表されるが、そのなかの顔の領域部分は、僅かに数ビット(図10では、2または3ビット)分の階調でしか表されていない。即ち、HDRC撮像装置111は、ダイナミックレンジが広い分、顔の領域の画素値が占める割合が少ない。
However, as shown in FIG. 10, the face image output from the
また、A/D変換処理するA/Dコンバータは、8ビットのビット数までは一般的な電気回路で多く使用されるため安価であるが、8ビットより大きいビット数のものは高価である。即ち、HDRC撮像装置111を用いた画像処理システム101では、高価な14ビットのA/Dコンバータが必要であるが、実際に認識処理に必要な顔の領域には、その数ビット分しか利用されていないという問題がある。
An A / D converter that performs A / D conversion processing is inexpensive because it is frequently used in a general electric circuit up to the number of bits of 8 bits, but one with a number of bits larger than 8 bits is expensive. In other words, the
図11は、正確な認識処理を行うために、最低何階調程度の画素値が必要かを調べた結果を示すグラフである。 FIG. 11 is a graph showing the result of examining the minimum number of gradations of pixel values required for performing accurate recognition processing.
図11に示すグラフの横軸は、被写体の照度(単位は、ルクス)を表し、グラフの右側の縦軸は、基準画像と比較画像の類似度を表す。なお、実験の結果から、類似度が、粗い点線で示される550以上である場合に、信頼性の高い認識処理を行うことができることが判っている。また、グラフの左側の縦軸は、10ビットでの顔領域画像の画素値を表している。 The horizontal axis of the graph shown in FIG. 11 represents the illuminance (unit is lux) of the subject, and the vertical axis on the right side of the graph represents the similarity between the reference image and the comparison image. From the experimental results, it is known that a highly reliable recognition process can be performed when the similarity is 550 or more indicated by a rough dotted line. Also, the vertical axis on the left side of the graph represents the pixel value of the face area image in 10 bits.
図11において、細かい点線は、画素値の最大値を表し、2点鎖線は、画素値の最小値を表している。また、1点鎖線は、画素値の最大値から最小値を引いた差分を表し、実線は、基準画像と比較画像の類似度を表している。 In FIG. 11, a fine dotted line represents the maximum pixel value, and a two-dot chain line represents the minimum pixel value. A one-dot chain line represents a difference obtained by subtracting a minimum value from a maximum value of pixel values, and a solid line represents a similarity between the reference image and the comparison image.
図11に示すグラフは、類似度が550を超えるためには、被写体の照度が少なくとも30ルクス程度必要であることを表している。また、図11に示すグラフは、類似度が550となったときの画素値の差分は、1点鎖線で示されるように175程度となっており、基準画像および比較画像が、7ビット(128階調)以上の階調を必要としていることを表している。 The graph shown in FIG. 11 indicates that the illuminance of the subject needs to be at least about 30 lux in order for the similarity to exceed 550. In the graph shown in FIG. 11, the difference between the pixel values when the similarity is 550 is about 175 as indicated by a one-dot chain line, and the reference image and the comparison image are 7 bits (128 bits). This indicates that a gradation greater than (gradation) is required.
そこで、第3の実施の形態として、14ビットのA/D変換部に代えて、8ビットのA/D変換部を採用し、図12に示すように、HDRC撮像装置で得られた0乃至214−1の画素値のうちの顔の領域の画素値の最小値から最大値の範囲の階調数が、例えば、8ビット(256階調)に対して所定の割合(例えば、80%乃至90%)となるような画素値の下限値M1から上限値M2までの電気信号を、8ビットのA/D変換部に入力させることを考える。逆に言えば、画素値の下限値M1と上限値M2を、HDRC撮像装置で得られた0乃至214−1の画素値のうちの顔の領域の画素値の最小値から最大値の範囲のK倍(1≦K)となるようにする。例えば、上述の所定の割合を80%とした場合、顔の領域は、256×0.8=204階調の画素値で表されることになり、上述した175程度以上という条件を満たすことができる。 Therefore, as a third embodiment, instead of the 14-bit A / D conversion unit, an 8-bit A / D conversion unit is employed, and as shown in FIG. Of the 2 14 -1 pixel values, the number of gradations in the range from the minimum value to the maximum value of the pixel values in the face region is, for example, a predetermined ratio (for example, 80%) with respect to 8 bits (256 gradations). It is assumed that an electrical signal from the lower limit value M1 to the upper limit value M2 of the pixel value that is equal to or 90% is input to the 8-bit A / D conversion unit. In other words, the lower limit value M1 and the upper limit value M2 of the pixel value are set in a range from the minimum value to the maximum value of the pixel values in the face area among the pixel values of 0 to 2 14 −1 obtained by the HDRC imaging apparatus. To K times (1 ≦ K). For example, when the predetermined ratio is 80%, the face area is represented by a pixel value of 256 × 0.8 = 204 gradations, and the above condition of about 175 or more is satisfied. it can.
図13は、そのような画像処理システムの第3の実施の形態を示している。 FIG. 13 shows a third embodiment of such an image processing system.
図13の画像処理システム201は、HDRC撮像装置211と画像処理装置212とにより構成されている。なお、図13において、上述した実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
An image processing system 201 in FIG. 13 includes an
画像処理システム201では、基準画像を画像処理装置212に登録するとき、および、比較画像を画像処理装置212に入力するときのいずれも、HDRC撮像装置211で少なくとも2回撮像する必要がある。1回目の基準画像または比較画像は、顔領域画像が所定の割合で含まれる画素値の下限値M1および上限値M2を決定するために利用される。2回目の基準画像または比較画像は、1回目の顔画像で決定された画素値の下限値M1および上限値M2に従って抽出された画像となり、認証処理用の画像として利用される。なお、2回目にHDRC撮像装置211で撮像されて出力される画像を補正後の画像とも称する。また、画像処理装置212において、入力された画像が1回目の画像であるのか、2回目の画像であるのかは、操作部または制御部からの指示により認識することができるようになされている。
In the image processing system 201, it is necessary to capture at least twice with the
HDRC撮像装置211は、対数変換型の撮像素子を用いて約170dBの非常に広いダイナミックレンジで認識対象としての顔を撮像し、その結果得られるアナログの画像信号を8ビットのデジタル信号に変換して、画像処理装置212に供給する。なお、HDRC撮像装置211は、図7の撮像装置111と同様に、画像処理装置212から供給されるタイミング信号に基づいて撮像を行う。
The
画像処理装置212は、フレームメモリ21、顔領域検出部22、補正量決定部221、認識処理部24、基準画像記憶部25、および通信部222により構成されている。
The
即ち、画像処理装置212は、フレームメモリ21、顔領域検出部22、認識処理部24、および基準画像記憶部25を有している点において、図7の画像処理装置12と共通し、図7の画像判定部23および通信部26に代えて、補正量決定部221および通信部222を有している点において、図7の画像処理装置12と相違する。
That is, the
補正量決定部221には、フレームメモリ21から顔画像が供給されるとともに、顔領域検出部22から顔領域情報が供給される。補正量決定部221は、顔領域検出部22から供給される顔領域情報に基づいて、顔画像から顔領域画像を特定する。そして、補正量決定部221は、顔領域画像の画素値の最小値と最大値を求め、その求められた顔の領域の画素値の範囲が、全体の、例えば、80%となるような画素値の下限値M1および上限値M2を決定する。さらに、補正量決定部221は、決定された画素値の下限値M1および上限値M2を通信部222に供給する。
The correction
通信部222は、補正量決定部221から供給される、補正量としての画素値の下限値M1および上限値M2を撮像装置211に供給する。また、通信部26は、図示せぬ操作部または制御部からの制御信号に基づいてタイミング信号も撮像部11に供給する。
The
図14は、図13のHDRC撮像装置211の詳細な構成例を示している。
FIG. 14 shows a detailed configuration example of the
HDRC撮像装置211は、レンズ141、絞り142、対数変換型イメージセンサ143、対数変換部144、信号補正部241、A/D変換部242、および撮像制御部243により構成されている。
The
即ち、図14のHDRC撮像装置211は、レンズ141、絞り142、対数変換型イメージセンサ143、および対数変換部144を有する点において、図8のHDRC撮像装置111と共通し、A/D変換部144および撮像制御部45に代えて、信号補正部241、A/D変換部242、および撮像制御部243を有する点において、図8のHDRC撮像装置111と相違する。
That is, the
信号補正部241は、例えば、アナログの信号処理回路であり、撮像制御部243から補正量としての画素値の下限値M1および上限値M2が供給された場合、画素値の下限値M1および上限値M2をA/D変換前の電圧値に変換する。以下において、画素値の下限値M1および上限値M2に対応する電圧値を、下限電圧値および上限電圧値と称する。信号補正部241は、対数変換部144から供給されるアナログの電気信号のうち、下限電圧値から上限電圧値までのアナログ信号を抽出し、A/D変換部242に供給する。一方、信号補正部241は、撮像制御部243から補正量が供給されない場合には、対数変換部144から供給されるアナログの電気信号をそのままA/D変換部に供給する。
The
A/D変換部242は、例えば、A/Dコンバータであり、対数変換部144から供給されるアナログの電気信号を、8ビットのデジタル信号に変換し、画像信号として画像処理装置212に出力する。
The A /
撮像制御部243は、画像処理装置212から供給されるタイミング信号を対数変換型イメージセンサ143に供給することにより、撮像のタイミングを制御する。また、撮像制御部243は、画像処理装置212から補正量としての画素値の下限値M1および上限値M2が供給された場合、それを信号補正部241に供給する。
The
図15は、図13の補正量決定部221の詳細な構成例を示している。
FIG. 15 shows a detailed configuration example of the correction
補正量決定部221は、分布作成部261および上下限値決定部262により構成されている。
The correction
分布作成部261は、フレームメモリ21から供給される顔画像の輝度分布を作成する。上下限値決定部262は、顔領域検出部22から供給される顔領域情報に基づいて、顔画像の輝度分布のうちの顔の領域部分を特定する。そして、上下限値決定部262は、特定された顔の領域部分の画素値の最小値と最大値から、顔の領域部分の画素値の範囲が所定の割合(例えば、80%)となるような画素値の下限値M1および上限値M2を決定する。決定された画素値の下限値M1および上限値M2は、通信部222に供給される。
The
図16のフローチャートを参照して、画像処理システム201の認識画像取得処理について説明する。 The recognized image acquisition process of the image processing system 201 will be described with reference to the flowchart of FIG.
初めに、ステップS61において、画像処理装置212からHDRC撮像装置211にタイミング信号が供給され、HDRC撮像装置211の対数変換型イメージセンサ143は、認識対象としての顔を撮像する。そして、撮像されることにより得られたアナログの電気信号が、対数変換部144から信号補正部241に供給される。
First, in step S61, a timing signal is supplied from the
ステップS62において、信号補正部241は、対数変換部144からのアナログ信号をそのままA/D変換部242に供給する。さらに、ステップS62において、A/D変換部242は、信号補正部241からのアナログの電気信号を8ビットのデジタル信号に変換し、画像信号として画像処理装置212に出力する。
In step S <b> 62, the
ステップS63において、画像処理装置212のフレームメモリ21は、HDRC撮像装置211からの顔画像を記憶する。フレームメモリ21に記憶された顔画像は、顔領域検出部22と補正量決定部221に供給される。
In step S <b> 63, the
ステップS64において、顔領域検出部22は、フレームメモリ21から供給された顔画像から、顔の領域を検出し、その結果得られる顔領域情報を補正量決定部221に供給する。
In step S 64, the face
ステップS65において、補正量決定部221の分布作成部261は、フレームメモリ21から供給される顔画像の輝度分布を作成する。
In step S <b> 65, the
ステップS66において、補正量決定部221の上下限値決定部262は、顔領域検出部22から供給される顔領域情報に基づいて、顔画像の輝度分布のうちの顔の領域部分を特定する。そして、上下限値決定部262は、特定された顔の領域部分の画素値の最小値と最大値から、顔の領域部分の画素値の範囲が全体の所定の割合(例えば、80%)となるような画素値の下限値M1および上限値M2を決定する。
In step S <b> 66, the upper and lower limit
ステップS67において、決定された画素値の下限値M1および上限値M2が、通信部222に供給され、通信部222は、それをHDRC撮像装置211に供給する。
In step S <b> 67, the lower limit value M <b> 1 and the upper limit value M <b> 2 of the determined pixel value are supplied to the
ステップS68において、HDRC撮像装置211の撮像制御部243は、画像処理装置212から供給された画素値の上限値M1および下限値M2を信号補正部241に供給する。そして、信号補正部241は、画素値の下限値M1および上限値M2をA/D変換前の電圧値(下限電圧値および上限電圧値)に変換する。
In step S <b> 68, the
ステップS69において、画像処理装置212からHDRC撮像装置211にタイミング信号が供給され、HDRC撮像装置211の対数変換型イメージセンサ143は、顔を撮像する。そして、撮像されることにより得られたアナログの電気信号が、対数変換部144から信号補正部241に供給される。
In step S69, a timing signal is supplied from the
ステップS70において、HDRC撮像装置211の信号補正部241は、対数変換部144から供給されるアナログの電気信号のうち、下限電圧値から上限電圧値までのアナログ信号を抽出し、A/D変換部242に供給する。
In step S70, the
ステップS71において、HDRC撮像装置211のA/D変換部242は、信号補正部241からのアナログの電気信号を8ビットのデジタル信号に変換し、画像信号として画像処理装置212に出力する。
In step S71, the A /
ステップS72において、画像処理装置212のフレームメモリ21は、HDRC撮像装置211からの顔画像を記憶する。フレームメモリ21に記憶された顔画像は、補正量決定部221に供給される。
In step S <b> 72, the
ステップS73において、補正量決定部221は、フレームメモリ21から供給される顔画像を認識処理部24に供給して、処理を終了する。これにより、認識処理部24では、補正量決定部221からの顔領域画像と、基準画像記憶部25に記憶されている基準画像とで、認証処理を行うことができる。
In step S73, the correction
以上のように、画像処理システム201の認識画像取得処理によれば、1回目の撮像で得られた顔画像から、顔の領域部分の画素値の最小値から最大値の範囲を求め、2回目の撮像では、その範囲の画像信号(アナログの電気信号)だけをA/D変換部242に入力させるようにしたので、200階調程度の、認識処理を行うのに十分な階調数を有する顔領域画像を得ることができる。即ち、認識処理に最適な画像を得ることができる。
As described above, according to the recognition image acquisition process of the image processing system 201, the range of the maximum value is obtained from the minimum value of the pixel values of the face area portion from the face image obtained by the first imaging. In this imaging, only the image signal (analog electrical signal) in that range is input to the A /
また、画像処理システム201において撮像に用いられるHDRC撮像装置211は、約170dBの広ダイナミックレンジで被写体を撮像することができるので、絞り値Fやシャッタ速度Tを調整して入射光量を調整する必要がない。また、HDRC撮像装置211のA/D変換部242は、8ビットのデジタル信号に変換すればよいので、8ビットよりもビット数の多い、高価なA/Dコンバータを使用する必要がなく、コストを抑制することができる。
The HDRC
なお、画像処理システム201では、基準画像についても同様に、図16の認識画像取得処理によって求めて、基準画像記憶部25に記憶させることができる。
In the image processing system 201, the reference image can be similarly obtained by the recognized image acquisition process of FIG. 16 and stored in the reference
以上の画像処理システム201では、画像処理装置212で補正量を決定し、HDRC撮像装置211に供給するようにしたが、HDRC撮像装置自身で補正量を求め、8ビットの階調で表される補正後の画像を出力するようにさせることもできる。
In the image processing system 201 described above, the correction amount is determined by the
図17は、HDRC撮像装置自身で補正量を求め、8ビットの階調で表される補正後の画像を出力するようにしたHDRC撮像装置の構成例を示している(第4の実施の形態)。図17において、上述した実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。 FIG. 17 shows a configuration example of an HDRC imaging apparatus in which the HDRC imaging apparatus itself obtains a correction amount and outputs a corrected image represented by 8-bit gradation (fourth embodiment). ). In FIG. 17, parts corresponding to those in the above-described embodiment are given the same reference numerals, and the description thereof is omitted as appropriate.
図17のHDRC撮像装置301は、レンズ141、絞り142、対数変換型イメージセンサ143、対数変換部144、信号補正部241、およびA/D変換部242を有する点において、図14のHDRC撮像装置211と共通し、フレームメモリ21、顔領域検出部22、補正量決定部221、スイッチ(SW)311、および撮像制御部312を有する点において、図14のHDRC撮像装置211と相違する。但し、HDRC撮像装置301のフレームメモリ21、顔領域検出部22、および補正量決定部221は、図13の画像処理装置212が有するものと同一のものである。
The
スイッチ311は、撮像制御部312の制御により、A/D変換部242からの電気信号を、図示せぬ後段の装置に出力するか、または、フレームメモリ21に供給するかを切替える。A/D変換部242からの電気信号を後段の装置に出力する場合には、端子部311aが選択され、フレームメモリ21に供給する場合には、端子部311bが選択される。
The
撮像制御部312は、タイミング信号を対数変換型イメージセンサ143に供給することにより、撮像のタイミングを制御する。また、撮像制御部312は、スイッチ311に、A/D変換部242からの電気信号を、図示せぬ後段の装置に出力するか、または、フレームメモリ21に供給するかを切替えさせる。なお、撮像制御部312は、定期的にタイミング信号を供給したり、スイッチ311を切替させても良いし、他の装置からの制御信号に基づいて、タイミング信号を供給したり、スイッチ311を切替させても良い。図17では、撮像制御部312からスイッチ311への制御線の図示が省略されている。
The
図18は、認識画像としての補正後の画像を出力する、図17のHDRC撮像装置301の認識画像出力処理のフローチャートである。
FIG. 18 is a flowchart of the recognized image output process of the
認識画像出力処理では、初めに、ステップS101において、撮像制御部312は、スイッチ311をフレームメモリ21側、即ち、端子部311bに設定させる。
In the recognition image output process, first, in step S101, the
ステップS102において、対数変換型イメージセンサ143は、撮像制御部312からのタイミング信号に基づいて、認識対象としての顔を撮像する。そして、撮像されることにより得られたアナログの電気信号が、対数変換部144から信号補正部241に供給される。
In step S <b> 102, the logarithmic conversion
ステップS103において、信号補正部241は、対数変換部144からのアナログ信号をそのままA/D変換部242に供給する。さらに、ステップS103において、A/D変換部242は、アナログの電気信号を8ビットのデジタル信号に変換し、スイッチ311に供給する。スイッチ311では、端子部311bが選択されているため、A/D変換部242から供給された電気信号は、フレームメモリ21に供給される。
In step S <b> 103, the
ステップS104において、フレームメモリ21は、スイッチ311を介してA/D変換部242から供給された顔画像を記憶する。
In step S <b> 104, the
ステップS105において、顔領域検出部22は、フレームメモリ21から供給される顔画像から、顔の領域を検出し、その結果得られる顔領域情報を補正量決定部221に供給する。
In step S <b> 105, the face
ステップS106において、補正量決定部221の分布作成部261は、フレームメモリ21から供給される顔画像の輝度分布を作成する。
In step S <b> 106, the
ステップS107において、補正量決定部221の上下限値決定部262は、顔領域検出部22から供給される顔領域情報に基づいて、顔画像の輝度分布のうちの顔の領域部分を特定する。そして、上下限値決定部262は、特定された顔の領域部分の画素値の最小値と最大値から、顔の領域部分の画素値の範囲が所定の割合(例えば、80%)となるような画素値の下限値M1および上限値M2を決定し、信号補正部241に供給する。
In step S <b> 107, the upper and lower limit
ステップS108において、信号補正部241は、画素値の下限値M1および上限値M2をA/D変換前の電圧値(下限電圧値および上限電圧値)に変換する。
In step S108, the
ステップS109において、撮像制御部312は、スイッチ311を外部出力側、即ち、端子部311aに設定させる。
In step S109, the
ステップS110において、対数変換型イメージセンサ143は、撮像制御部312からのタイミング信号に基づいて、顔を撮像する。そして、撮像されることにより得られたアナログの電気信号が、対数変換部144から信号補正部241に供給される。
In step S <b> 110, the logarithmic conversion
ステップS111において、信号補正部241は、対数変換部144から供給されるアナログの電気信号のうち、下限電圧値から上限電圧値までのアナログ信号を抽出し、A/D変換部242に供給する。
In step S <b> 111, the
ステップS112において、A/D変換部242は、信号補正部241からのアナログの電気信号を8ビットのデジタル信号に変換し、画像信号として出力し、処理を終了する。
In step S112, the A /
以上のようにして、1回目の撮像で得られた顔画像から、顔の領域の画素値の最小値から最大値の範囲を求め、その範囲が所定の割合となる下限値M1から上限値M2の画像信号(アナログの電気信号)だけを、2回目の撮像でA/D変換部242に入力させることにより、顔の領域の画素値の範囲が認識処理を行うのに十分な階調数を有する顔領域画像を出力することができる。即ち、認識処理に最適な画像を得ることができる。
As described above, the range of the maximum value is obtained from the minimum value of the pixel values of the face region from the face image obtained by the first imaging, and the upper limit value M2 from the lower limit value M1 at which the range becomes a predetermined ratio. Only the image signal (analog electrical signal) is input to the A /
図17のHDRC撮像装置301では、2回の撮像を行う必要があったが、図19は、1回の撮像でできるようにしたHDRC撮像装置の構成例を示している(第5の実施の形態)。なお、図19において、上述した実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
In the
即ち、図19のHDRC撮像装置401は、フレームメモリ21、顔領域検出部22、レンズ141、絞り142、対数変換型イメージセンサ143、対数変換部144、補正量決定部221、信号補正部241、およびA/D変換部242を有する点において、図17のHDRC撮像装置301と共通し、対数変換部144と信号補正部241との間に遅延部411と、対数変換部144とフレームメモリ21との間にA/D変換部412が設けられている点において、図17のHDRC撮像装置301と相違する。
19 includes a
遅延部411は、対数変換部144から供給されたアナログの電気信号を、所定時間遅延させ、その後、信号補正部241に供給する。具体的には、補正量決定部221が画素値の下限値M1および上限値M2を求め、信号補正部241に供給するまでの間、遅延部411は、対数変換部144から供給されたアナログの電気信号を遅延させる。
The
A/D変換部412は、対数変換部144から供給されるアナログの電気信号を、8ビットのデジタル信号に変換し、フレームメモリ21に供給する。
The A /
次に、図20のフローチャートを参照して、図19のHDRC撮像装置401による認識画像出力処理について説明する。
Next, a recognition image output process by the
初めに、ステップS161において、対数変換型イメージセンサ143は、撮像制御部243からのタイミング信号に基づいて、認識対象としての顔を撮像する。そして、撮像されることにより得られたアナログの電気信号が、対数変換部144から遅延部411およびA/D変換部412に供給される。
First, in step S <b> 161, the logarithmic conversion
ステップS162において、遅延部411は、対数変換部144から供給されたアナログの電気信号を、所定時間遅延させてから、信号補正部241に供給する。
In step S <b> 162, the
ステップS163において、A/D変換部412は、アナログの電気信号を8ビットのデジタル信号に変換し、フレームメモリ21に供給する。
In step S <b> 163, the A /
ステップS164において、フレームメモリ21は、A/D変換部412から供給された顔画像を記憶する。
In step S164, the
ステップS165において、顔領域検出部22は、フレームメモリ21から供給される顔画像から、顔の領域を検出し、その結果得られる顔領域情報を補正量決定部221に供給する。
In
ステップS166において、補正量決定部221の分布作成部261は、フレームメモリ21から供給される顔画像の輝度分布を作成する。
In step S166, the
ステップS167において、補正量決定部221の上下限値決定部262は、顔領域検出部22から供給される顔領域情報に基づいて、顔画像の輝度分布のうちの顔の領域部分を特定する。そして、上下限値決定部262は、特定された顔の領域部分の画素値の最小値と最大値から、顔の領域部分の画素値の範囲が所定の割合(例えば、80%)となるような画素値の下限値M1および上限値M2を決定し、信号補正部241に供給する。
In
ステップS168において、信号補正部241は、画素値の下限値および上限値をA/D変換前の電圧値(下限電圧値および上限電圧値)に変換する。
In step S168, the
ステップS169において、信号補正部241は、遅延部411から供給されるアナログの電気信号のうち、下限電圧値から上限電圧値までのアナログ信号を抽出し、A/D変換部242に供給する。
In step S <b> 169, the
ステップS170において、A/D変換部242は、信号補正部241からのアナログの電気信号を8ビットのデジタル信号に変換し、画像信号として出力し、処理を終了する。
In step S170, the A /
以上のようにして、顔の領域部分の画素値の最小値から最大値の範囲を求め、その範囲の信号を、遅延させたアナログの電気信号から抽出して、A/D変換部242に入力させることにより、認識処理を行うのに十分な階調数を有する顔領域画像を出力することができる。即ち、認識処理に最適な画像を得ることができる。
As described above, the range of the maximum value is obtained from the minimum value of the pixel values of the face region portion, and the signal in the range is extracted from the delayed analog electric signal and input to the A /
上述した第1乃至第5の実施の形態では、認識対象としての顔の領域を検出して、顔の領域の画像の輝度分布が、認識処理するのに最適な画像を取得する例について説明したが、顔の領域自体を検出することが難しい場合には、カーソル等により、顔の領域をユーザに指定させてもよい。従って、画像処理システムでは、HDRC撮像装置で撮像して得られた画像のなかの所定の領域を指定し、その指定された所定の領域の輝度分布が認識処理するのに最適となるような画像を求めることができる。 In the first to fifth embodiments described above, an example has been described in which a face area as a recognition target is detected, and an image in which the luminance distribution of the face area image is optimal for recognition processing is acquired. However, when it is difficult to detect the face area itself, the user may designate the face area with a cursor or the like. Therefore, the image processing system designates a predetermined area in the image obtained by imaging with the HDRC imaging device, and an image in which the luminance distribution of the designated predetermined area is optimal for recognition processing. Can be requested.
図21は、指定された所定の領域の輝度分布が認識処理するのに最適となるような画像を求める画像処理システムの構成例を示している(第6の実施の形態)。なお、図21において、図13と対応する部分については同一の符号を付してあり、その説明は適宜省略する。 FIG. 21 shows a configuration example of an image processing system that obtains an image in which the luminance distribution of a specified predetermined region is optimal for recognition processing (sixth embodiment). In FIG. 21, portions corresponding to those in FIG. 13 are denoted by the same reference numerals, and description thereof is omitted as appropriate.
図21の画像処理システム501は、HDRC撮像装置211と画像処理装置511とにより構成されている。また、画像処理装置511は、フレームメモリ21、認識処理部24、基準画像記憶部25、補正量決定部221、通信部222、領域指定部521、および指定領域検出部522により構成されている。
An image processing system 501 in FIG. 21 includes an
図21の画像処理システム501は、図13の画像処理システム201と比較して、HDRC撮像装置211と、フレームメモリ21、認識処理部24、基準画像記憶部25、補正量決定部221、および通信部222とが共通し、領域指定部521および指定領域検出部522が相違する。なお、第6の実施の形態では、HDRC撮像装置211が撮像して画像処理装置511に出力する画像を顔画像と区別して撮影画像と称する。
Compared with the image processing system 201 in FIG. 13, the image processing system 501 in FIG. 21 includes the
領域指定部521は、HDRC撮像装置211から供給される画像から、認識処理の対象とする領域を指定する。例えば、領域指定部521は、図示せぬディスプレイにHDRC撮像装置211から供給される撮影画像とともに領域指定枠を表示させ、ユーザに領域指定枠を所望の位置および大きさに設定させる。
The
指定領域検出部522は、領域指定部521で指定された領域を、認識処理の対象領域として内部に記憶する。また、指定領域検出部522は、フレームメモリ21から供給される撮影画像から、領域指定部521によって指定された領域を検出し、その結果得られる指定領域情報を補正量決定部221に供給する。
The designated
次に、図22のフローチャートを参照して、画像処理装置511による領域指定処理について説明する。
Next, the area designation process by the
ステップS181において、領域指定部521は、領域を指定させるための領域指定枠をディスプレイに表示させる。
In step S181, the
ステップS182において、領域指定部521は、領域が確定されたか否かを判定し、領域が確定されたと判定するまで待機する。例えば、ユーザは、ディスプレイに表示された領域指定枠を所望の位置、大きさに設定し、決定したら確定ボタン等を操作する。これにより、ステップS182では、領域が確定されたと判定される。
In step S182, the
ステップS182で、領域が確定されたと判定された場合、ステップS183において、指定領域検出部522は、領域指定部521で指定された領域を、認識処理の対象領域として記憶する。
If it is determined in step S182 that the area has been determined, in step S183, the designated
次に、図23のフローチャートを参照して、画像処理システム501の認識画像取得処理について説明する。 Next, the recognized image acquisition process of the image processing system 501 will be described with reference to the flowchart of FIG.
初めに、ステップS201において、画像処理装置511からHDRC撮像装置211にタイミング信号が供給され、HDRC撮像装置211の対数変換型イメージセンサ143は、被写体を撮像する。そして、撮像されることにより得られたアナログの電気信号が、対数変換部144から信号補正部241に供給される。
First, in step S201, a timing signal is supplied from the
ステップS202において、信号補正部241は、対数変換部144からのアナログ信号をそのままA/D変換部242に供給する。さらに、ステップS202において、A/D変換部242は、アナログの電気信号を8ビットのデジタル信号に変換し、画像信号として画像処理装置511に出力する。
In step S202, the
ステップS203において、画像処理装置511のフレームメモリ21は、HDRC撮像装置211からの撮影画像を記憶する。フレームメモリ21に記憶された撮影画像は、指定領域検出部522と補正量決定部221に供給される。
In step S <b> 203, the
ステップS204において、指定領域検出部522は、フレームメモリ21から供給された撮影画像から、上述した領域指定処理によって指定された指定領域を検出し、その結果得られる指定領域情報を補正量決定部221に供給する。
In step S <b> 204, the designated
ステップS205において、補正量決定部221の分布作成部261は、フレームメモリ21から供給される撮影画像の輝度分布を作成する。
In step S <b> 205, the
ステップS206において、補正量決定部221の上下限値決定部262は、指定領域検出部22から供給される指定領域情報に基づいて、撮影画像の輝度分布のうちの指定領域部分を特定する。そして、上下限値決定部262は、特定された指定領域部分の画素値の最小値と最大値から、指定領域部分の画素値の範囲が所定の割合(例えば、80%)となるような画素値の下限値M1および上限値M2を決定する。
In step S <b> 206, the upper / lower
ステップS207において、決定された画素値の下限値M1および上限値M2が、通信部222に供給され、通信部222は、それをHDRC撮像装置211に供給する。
In step S <b> 207, the lower limit value M <b> 1 and the upper limit value M <b> 2 of the determined pixel value are supplied to the
ステップS208において、HDRC撮像装置211の撮像制御部243は、画像処理装置511から供給された画素値の上限値M1および下限値M2を信号補正部241に供給する。そして、信号補正部241は、画素値の下限値および上限値をA/D変換前の電圧値(下限電圧値および上限電圧値)に変換する。
In step S <b> 208, the
ステップS209において、画像処理装置511からHDRC撮像装置211にタイミング信号が供給され、HDRC撮像装置211の対数変換型イメージセンサ143は、被写体を撮像する。そして、撮像されることにより得られたアナログの電気信号が、対数変換部144から信号補正部241に供給される。
In step S209, a timing signal is supplied from the
ステップS210において、HDRC撮像装置211の信号補正部241は、対数変換部144から供給されるアナログの電気信号のうち、下限電圧値から上限電圧値までのアナログ信号を抽出し、A/D変換部242に供給する。
In step S210, the
ステップS211において、HDRC撮像装置211のA/D変換部242は、信号補正部241からのアナログの電気信号を8ビットのデジタル信号に変換し、画像信号として画像処理装置511に出力する。
In step S211, the A /
ステップS212において、画像処理装置511のフレームメモリ21は、HDRC撮像装置211からの撮影画像を記憶する。フレームメモリ21に記憶された撮影画像は、補正量決定部221に供給される。
In step S <b> 212, the
ステップS213において、補正量決定部221は、フレームメモリ21から供給される撮影画像を認識処理部24に供給して、処理を終了する。
In step S213, the correction
以上のように、画像処理システム501の認識画像取得処理によれば、1回目の撮像で得られた撮影画像から、予め指定された指定領域部分の画素値の最小値から最大値の範囲を求め、2回目の撮像では、その範囲の画像信号(アナログの電気信号)だけをA/D変換部242に入力させるようにしたので、認識処理を行うのに十分な階調数を有する指定領域画像を得ることができる。即ち、認識処理に最適な画像を得ることができる。
As described above, according to the recognized image acquisition processing of the image processing system 501, the range of the maximum value is obtained from the minimum value of the pixel value of the designated area portion designated in advance from the photographed image obtained by the first imaging. In the second imaging, only the image signal (analog electrical signal) within that range is input to the A /
また、画像処理システム501において撮像に用いられるHDRC撮像装置211は、約170dBの広ダイナミックレンジで被写体を撮像することができるので、絞り値Fやシャッタ速度Tを調整して入射光量を調整する必要がない。HDRC撮像装置211のA/D変換部242には、8ビットよりもビット数の多い、高価なA/Dコンバータを使用する必要がないので、コストを抑制することができる。
Further, since the
図24のHDRC撮像装置601と図25のHDRC撮像装置701は、図17のHDRC撮像装置301と図19のHDRC撮像装置401を、それぞれ、顔領域の代わりに、指定された領域を検出するようにした場合の構成例を示している。
The
図24のHDRC撮像装置601および図25のHDRC撮像装置701では、それぞれ、図17のHDRC撮像装置301および図19のHDRC撮像装置401の顔領域検出部22に代えて、領域指定部521および指定領域検出部522が設けられている。図24および図25の領域指定部521および指定領域検出部522は、図21における場合と同様であるので、その説明を省略する。また、図24のHDRC撮像装置601および図25のHDRC撮像装置701の認識画像出力処理は、図18のステップS105処理および図20のステップS165の処理が顔領域から指定領域となっただけであるので、その説明を省略する。領域を指定する領域指定処理についても図22を参照して説明した処理と同様である。
In the
図24のHDRC撮像装置601および図25のHDRC撮像装置701においても、指定領域部分の画素値の最小値から最大値の範囲を求め、その範囲が所定の割合となる下限値M1から上限値M2の信号だけを、遅延させたアナログの電気信号から抽出して、A/D変換部242に入力させることにより、認識処理を行うのに十分な階調数を有する指定領域画像を出力することができる。即ち、認識処理に最適な画像を得ることができる。
Also in the
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。 The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a network or a recording medium into a general-purpose personal computer or the like.
図26は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。CPU(Central Processing Unit)801は、ROM(Read Only Memory)802、または記憶部808に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)803には、CPU801が実行するプログラムやデータなどが適宜記憶される。これらのCPU801、ROM802、およびRAM803は、バス804により相互に接続されている。
FIG. 26 is a block diagram illustrating a configuration example of a computer that executes the above-described series of processing by a program. A CPU (Central Processing Unit) 801 executes various processes according to a program stored in a ROM (Read Only Memory) 802 or a
CPU801にはまた、バス804を介して入出力インタフェース805が接続されている。入出力インタフェース805には、キーボード、マウス、マイクロホンなどよりなる入力部806、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、スピーカなどよりなる出力部807が接続されている。CPU801は、入力部806から入力される指令に対応して各種の処理を実行する。そして、CPU801は、処理の結果を出力部807に出力する。
An input /
入出力インタフェース805に接続されている記憶部808は、例えばハードディスクからなり、CPU801が実行するプログラムや各種のデータを記憶する。通信部809は、インターネットやローカルエリアネットワークなどのネットワークを介して、または直接に接続された外部の装置と通信する。
A
なお、通信部809は、無線または有線による通信を行うものでもよいし、無線と有線の両方の通信が可能なものでもよい。さらに、その通信方式も特に限定されず、例えば、無線の場合、IEEE(The Institute of Electrical and Electronic Engineers)802.11a,802.11b、および802.11gなどの無線LAN(Local Area Network)、またはBluetooth等様々な無線通信方式が利用可能である。同様に、有線の場合も、IEEE1394,Ethernet(登録商標)やUSB(Universal Serial Bus)等に準じた有線通信方式が利用可能である。
Note that the
入出力インタフェース805に接続されているドライブ810は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア821が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部808に転送され、記憶される。また、プログラムやデータは、通信部809を介して取得され、記憶部808に記憶されてもよい。
The
撮像部811は、CCD、CMOS、HDRC等の撮像素子により構成され、被写体を撮像し、撮像した被写体の画像データを、入出力インタフェース805を介してCPU801等に供給する。
The
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the steps described in the flowcharts are executed in parallel or individually even if they are not necessarily processed in time series, as well as processes performed in time series in the described order. It also includes processing.
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。 Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.
1 画像処理システム
11 撮像装置
22 顔領域検出部
23 画像判定部
26 通信部
61 分布作成部
62 判定部
63 EV補正計算部
101 画像処理システム
111 HDRC撮像装置
201 画像処理システム
211 HDRC撮像装置
221 補正量決定部
222 通信部
241 信号補正部
242 A/D変換部
261 分布作成部
262 上下限値決定部
301,401 HDRC撮像装置
501 画像処理システム
521 領域指定部
522 指定領域検出部
601,701 HDRC撮像装置
DESCRIPTION OF
Claims (7)
前記画像から顔の領域を検出する顔領域検出手段と、
前記画像中の前記顔の領域において各画素の画素値のヒストグラムを作成するヒストグラム作成手段と、
前記画像のうちの前記顔の領域の各画素の画素値のヒストグラムと、前記基準画像の各画素の画素値のヒストグラムとの誤差が所定内か否かを判断し、前記誤差が所定内にないときは所定内となるように、前記画像を撮像した前記撮像装置の露出量を決定する決定手段と、
決定された前記露出量になるように、前記撮像装置を制御する制御手段と、
前記誤差が前記所定内と判断された前記画像と、前記基準画像記憶手段に記憶されている前記基準画像とを比較することにより、前記撮像装置で撮像された前記画像に含まれる前記顔が、登録されている本人であるかどうかを認証する認証手段と
を備える画像処理装置。 Reference image storage means for storing a reference image serving as a reference for authenticating whether or not the face included in the image captured by the imaging device is a registered person;
Face area detecting means for detecting a face area from the image;
A histogram creating means for creating a histogram of pixel values of each pixel in the face area in the image;
It is determined whether or not an error between a pixel value histogram of each pixel in the face area of the image and a pixel value histogram of each pixel of the reference image is within a predetermined range, and the error is not within the predetermined range. to be within a predetermined when a determining means for determining an exposure amount of the imaging device imaging the image,
Control means for controlling the imaging device so as to achieve the determined exposure amount ;
By comparing the image in which the error is determined to be within the predetermined range and the reference image stored in the reference image storage unit, the face included in the image captured by the imaging device is An image processing apparatus comprising authentication means for authenticating whether or not the person is registered .
前記制御手段は、前記基準画像登録手段が前記基準画像を前記基準画像記憶手段に記憶させる場合、それぞれが異なる露出量となるように複数回の制御を行い、 When the reference image registration means stores the reference image in the reference image storage means, the control means performs a plurality of controls so that each has a different exposure amount,
前記基準画像登録手段は、異なる露出量で前記撮像装置により撮像された複数枚の画像を取得し、取得された前記複数枚の画像の一枚を、前記基準画像として、前記基準画像記憶手段に記憶させる The reference image registration unit acquires a plurality of images captured by the imaging device with different exposure amounts, and uses the acquired one of the plurality of images as the reference image in the reference image storage unit. Remember
請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1.
請求項2に記載の画像処理装置。 The image processing apparatus according to claim 2.
請求項1ないし3のいずれかに記載の画像処理装置。 It said determination means, by determining the shutter speed or F value of the imaging device, an image processing apparatus according to any one of claims 1 to 3 for determining the exposure amount of the imaging device.
請求項1ないし3のいずれかに記載の画像処理装置。 The determination unit is configured to determine whether an error between a center value of a histogram of pixel values of each pixel of the face area and a center value of a histogram of pixel values of each pixel of the reference image is within a predetermined range. the image processing apparatus according to any one of claims 1 to determine the amount of exposure to 3.
前記画像から顔の領域を検出し、
前記画像中の前記顔の領域において各画素の画素値のヒストグラムを作成し、
前記画像のうちの前記顔の領域の各画素の画素値のヒストグラムと、前記基準画像の各画素の画素値のヒストグラムとの誤差が所定内か否かを判断し、前記誤差が所定内にないときは所定内となるように、前記画像を撮像した前記撮像装置の露出量を決定し、
決定された前記露出量になるように、前記撮像装置を制御し、
前記誤差が前記所定内と判断された前記画像と、前記記憶部に記憶されている前記基準画像とを比較することにより、前記撮像装置で撮像された前記画像に含まれる前記顔が、登録されている本人であるかどうかを認証する
ステップを含む画像処理方法。 A reference image that serves as a reference for authenticating whether or not the face included in the image captured by the imaging device is a registered person is stored in a predetermined storage unit,
Detecting a face region from the image,
Creating a histogram of pixel values of each pixel in the face region in the image;
It is determined whether or not an error between a pixel value histogram of each pixel in the face area of the image and a pixel value histogram of each pixel of the reference image is within a predetermined range, and the error is not within the predetermined range. to be within a predetermined when determines the exposure amount of the imaging device imaging the image,
Controlling the imaging device to achieve the determined exposure amount ;
The face included in the image captured by the imaging device is registered by comparing the image in which the error is determined to be within the predetermined range and the reference image stored in the storage unit. An image processing method including the step of authenticating whether or not the person is a person .
前記画像から顔の領域を検出し、
前記画像中の前記顔の領域において各画素の画素値のヒストグラムを作成し、
前記画像のうちの前記顔の領域の各画素の画素値のヒストグラムと、前記基準画像の各画素の画素値のヒストグラムとの誤差が所定内か否かを判断し、前記誤差が所定内にないときは所定内となるように、前記画像を撮像した前記撮像装置の露出量を決定し、
決定された前記露出量になるように、前記撮像装置を制御し、
前記誤差が前記所定内と判断された前記画像と、前記記憶部に予め記憶されている前記基準画像とを比較することにより、前記撮像装置で撮像された前記画像に含まれる前記顔が、登録されている本人であるかどうかを認証する
ステップを含む処理をコンピュータに実行させるプログラム。 A reference image that serves as a reference for authenticating whether or not the face included in the image captured by the imaging device is a registered person is stored in a predetermined storage unit,
Detecting a face region from the image,
Creating a histogram of pixel values of each pixel in the face region in the image;
It is determined whether or not an error between a pixel value histogram of each pixel in the face area of the image and a pixel value histogram of each pixel of the reference image is within a predetermined range, and the error is not within the predetermined range. to be within a predetermined when determines the exposure amount of the imaging device imaging the image,
Controlling the imaging device to achieve the determined exposure amount ;
The face included in the image captured by the imaging device is registered by comparing the image in which the error is determined to be within the predetermined range and the reference image stored in advance in the storage unit. A program that causes a computer to execute a process including a step of authenticating whether or not the user is a registered person .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006071680A JP4957030B2 (en) | 2006-03-15 | 2006-03-15 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006071680A JP4957030B2 (en) | 2006-03-15 | 2006-03-15 | Image processing apparatus, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007251558A JP2007251558A (en) | 2007-09-27 |
JP4957030B2 true JP4957030B2 (en) | 2012-06-20 |
Family
ID=38595395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006071680A Expired - Fee Related JP4957030B2 (en) | 2006-03-15 | 2006-03-15 | Image processing apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4957030B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104182721A (en) * | 2013-05-22 | 2014-12-03 | 华硕电脑股份有限公司 | Image processing system and image processing method capable of improving face identification rate |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101411910B1 (en) | 2008-01-04 | 2014-06-26 | 삼성전자주식회사 | Digital photographing apparatus and method for controlling the same |
JP4888838B2 (en) * | 2008-05-12 | 2012-02-29 | トヨタ自動車株式会社 | Driver imaging device and driver imaging method |
CN110569822A (en) * | 2019-09-16 | 2019-12-13 | 深圳市商汤科技有限公司 | image processing method and device, electronic equipment and storage medium |
JP7095714B2 (en) | 2019-09-24 | 2022-07-05 | カシオ計算機株式会社 | Image processing equipment, image processing methods and programs |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001346172A (en) * | 2000-05-31 | 2001-12-14 | Mitsubishi Electric Corp | Image transmitter and portable terminal |
JP4483038B2 (en) * | 2000-06-27 | 2010-06-16 | ソニー株式会社 | Inspection device |
JP4794786B2 (en) * | 2001-09-28 | 2011-10-19 | 株式会社リコー | Imaging apparatus, automatic exposure method, and program for computer to execute the method |
JP2004152127A (en) * | 2002-10-31 | 2004-05-27 | Toshiba Corp | Face collating device and face collating method |
JP2005084815A (en) * | 2003-09-05 | 2005-03-31 | Toshiba Corp | Face recognition device, face recognition method and passage control apparatus |
-
2006
- 2006-03-15 JP JP2006071680A patent/JP4957030B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104182721A (en) * | 2013-05-22 | 2014-12-03 | 华硕电脑股份有限公司 | Image processing system and image processing method capable of improving face identification rate |
Also Published As
Publication number | Publication date |
---|---|
JP2007251558A (en) | 2007-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9571742B2 (en) | Image capture apparatus and control method thereof | |
US7444075B2 (en) | Imaging device, camera, and imaging method | |
KR20090127602A (en) | Method and apparatus for obtaining images using entropy | |
JP2007124604A (en) | Image processing apparatus and processing method therefor | |
EP3162048B1 (en) | Exposure metering based on background pixels | |
US8873800B2 (en) | Image processing apparatus and method, and program | |
JP4694424B2 (en) | Authentication device | |
US8368804B2 (en) | Imaging control apparatus, imaging control method, and computer-readable storage medium | |
JP2012118817A (en) | Image processing device and image processing method, program, and storage medium | |
JP4957030B2 (en) | Image processing apparatus, image processing method, and program | |
WO2020032585A1 (en) | Electronic device which adjusts white balance of image according to attributes of object in image and method for processing image by electronic device | |
US11394874B2 (en) | Imaging apparatus | |
JP2020071809A (en) | Image processing device and image processing method | |
CN113452922A (en) | Information processing apparatus, image pickup apparatus, information processing method, and storage medium | |
JP2016066892A (en) | Image processing device, control method for the same and program | |
JP2018201156A (en) | Image processing apparatus and image processing method | |
JP2007251560A (en) | Image processing system, image processing apparatus and image processing method, imaging apparatus and imaging method, and program | |
JP4629002B2 (en) | Imaging device | |
JP5744490B2 (en) | Image processing method, image processing apparatus, storage medium, and program | |
JP4274316B2 (en) | Imaging system | |
JP2010147817A (en) | Imaging apparatus, method and program for controlling same | |
JP6554009B2 (en) | IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, PROGRAM, AND RECORDING MEDIUM | |
EP3442218A1 (en) | Imaging apparatus and control method for outputting images with different input/output characteristics in different regions and region information, client apparatus and control method for receiving images with different input/output characteristics in different regions and region information and displaying the regions in a distinguishable manner | |
JP2003179809A (en) | Camera and signal processing method thereof | |
WO2022097559A1 (en) | Information processing device, image capturing device, program, storage medium, and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100811 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120305 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150330 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |