JP5081186B2 - 撮影対象物の撮影位置検出方法 - Google Patents

Description

本発明は、カメラによって撮影される対象物が最適な位置に置かれているか否かを判定する方法および装置に関するものである。

近年、指静脈を用いた個人認証装置、すなわち、指に近赤外線（近赤外光）を照射し、その透過光または反射光を撮影し、その画像データから指の静脈パターンを抽出し、個人認証に利用するための装置が普及しつつある。
従来、下記の特許文献１に開示された個人認証装置がある。

特開２００７−１３３６２３

指静脈の撮影において重要なことは、装置と指の間隔について言えば、常に同じ間隔を保って撮影を行うことである。しかしながら、一定の間隔を置いて指を静止させることは事実上極めて困難であるため、装置に軽く接触する位置に指を置くように運用している場合が多い。
装置に指が触れているか否かを判定する方法としては、タッチセンサ等のハードウェア的な部品を実装する方法があるが、装置の部品点数が多くなり、コスト的に不利になるという問題点がある。

本発明の目的は、ハードウェア的な部品を用いずに、撮影した画像データのみによって、撮影対象である指が、撮影に適した位置にあるか否かを判定することができる方法を提供することにある。

上記目的を達成するために、本発明に係る撮影対象物の撮影位置検出方法は、撮影対象物体である指の側面に照明光を照射して撮影し、撮影した画像を指の軸方向における中心から径方向に走査し、撮影対象物体が所定の位置に置かれているかを検出する装置における撮影位置検出方法であって、
前記装置が、
前記撮影した画像を対象として指の軸方向における中心から径方向に走査し、特定の明るさを連続して超える連続画素数を検出すると共に、特定の明るさが出現する画素の平均位置を検出するステップと、検出した連続画素数と前記平均位置とを第１の閾値、第２の閾値とそれぞれ比較し、第１の閾値を超える大きさの明るさの領域が存在し、かつその領域が第２の閾値で定めた範囲の位置に存在するか否かによって撮影対象物体が所定の撮影位置に置かれているかを判定するステップを備えることを特徴とする。
また、前記照明光が近赤外光であることを特徴とする。

また、本発明に係る撮影対象物の最適撮影位置検出装置は、撮影対象物体である指の側面に照明光を照射して撮影し、撮影した画像を指の軸方向における中心から径方向に走査し、撮影対象物体が所定の位置に置かれているかを検出する装置であって、
前記装置が、
前記撮影した画像を対象として指の軸方向における中心から径方向に走査し、特定の明るさを連続して超える連続画素数を検出すると共に、特定の明るさが出現する画素の平均位置を検出する手段と、検出した連続画素数と前記平均位置とを第１の閾値、第２の閾値とそれぞれ比較し、第１の閾値を超える大きさの明るさの領域が存在し、かつその領域が第２の閾値で定めた範囲の位置に存在するか否かによって撮影対象物体が所定の撮影位置に存在するかを判定する手段を備えることを特徴とする。
また、前記照明光が近赤外光であることを特徴とする。

本発明によれば、次のような効果がある。
（１）撮影した画像データのみで装置と指の間隔が撮影に適しているか否かを判定できるので、タッチセンサ等のハードウェアを搭載する必要が無い。

本発明の最適撮影位置検出方法を用いた装置の実施の形態を示すブロック構成図である。 撮影対象物である指が最適位置に置かれている場合の照明装置と指の関係、及び撮影画像の例を示す説明図である。 撮影対象物である指が最適位置から少し離れて置かれている場合の照明装置と指の関係、及び撮影画像の例を示す説明図である。 撮影対象物である指が最適位置から相当離れて置かれている場合の照明装置と指の関係、及び撮影画像の例を示す説明図である。 画像の走査方法を説明する図である。 最適撮影位置を検出するために設けたカウンタを説明する図である。 本発明の最適撮影位置検出方法を示すフローチャートである。 図７の続きを示すフローチャートである。 最適撮影位置に置かれた画像の例と置かれていない画像の例を示す図である。

以下、本発明を適用した最適撮影位置検出方法の一実施の形態について説明する。
図１は、本発明による最適撮影位置検出方法を実施するシステムの構成成図であり、制御部１が指定する出力で赤外線照明装置２が撮影対象である指に対して近赤外線を照射し、その状態で制御部１からの指示を受けたカメラ３が指を撮影し、その指の画像データを記憶装置５に出力し、さらに制御部１からの指示を受けた最適位置判定装置４が記憶装置５に格納された指の画像データを読出し、画像処理を行って、指の位置が最適位置にあるのか否かを検出するものである。

図２（ａ）は、本発明による最適撮影位置検出方法を実施する赤外線照明装置２とカメラ、及び指の位置関係を示す図であり、指２０１を上面側（手の甲側）から見た上面図である。
図２の上面図に示すように、指２０１の軸方向の左右の側面に指向性を持った近赤外線発光ダイオード（LED）２０２を複数個配置する。
図２（ｂ）の断面図は、指２０１と近赤外線発光ダイオード２０２の位置関係を示しており、指２０１の側面のやや下方向の位置２０４(太線で示した部分)に向けて近赤外線を照射するようにしている。
カメラ３は近赤外線発光ダイオード２０２によって照射された指２０１の表面を撮影し、画像データを出力するものである。最適位置２０３は、カメラ３が指２０１を撮影するのに最も適した位置を示す。
指２０１が最適位置２０３に置かれている場合、近赤外線ダイオード２０２はその指向特性により、位置２０４(太線で示した部分)の部分を特に強く照射する。
図２（ｃ）の撮影画像２１０は、この状態で撮影された画像の例であり、位置２０４に対応する領域２１１の部分が特に明るく撮影される。

図３（ａ）の断面図は、最適位置２０３から少し離れた位置に指２０１が置かれた場合の状態を示し、近赤外線ダイオード２０２はその指向特性により、位置２０５(太線で示した部分)の部分を特に強く照射する。
図３（ｂ）の撮影画像３１０は、この状態でカメラ３により撮影された画像の例であり、位置２０５に対応する領域３１１の部分が特に明るく撮影される。図２（ｃ）の画像と比較して明るい部分の面積が多くなる。

図４（ａ）の断面図は、最適位置２０３から相当に離れた位置に指２０１が置かれた場合の状態を示し、近赤外線発光ダイオード２０２は指２０１を照射できない状態になっている。
図４（ｂ）の撮影画像４１０は、この状態でカメラ３により撮影された画像の例であり、明るく撮影されている部分の面積が図２の撮影画像２１０や図３の撮影画像３１０に比べて非常に少なくなる

以上のように、撮影される画像を用いて、本発明による位置検出を行うには、撮影された画像について次のように処理を行い、指２０１が最適位置に置かれているかを検出する。
図５の画像５０１は指２０１が最適位置に置かれている状態での画像である。
中心線５０２は、撮影範囲のy方向の中心（指の軸方向における撮影範囲の中心線）を示すものである。座標の原点は、画像データの左上であり、x方向は右側が正、y方向は下側が正である。
本発明では、図６に示すように、上側ｙ座標発見カウンタ６０４、下側ｙ座標発見カウンタ６０５、上側ｙ座標積算カウンタ６０６、下側ｙ座標積算カウンタ６０７、上側画素数積算カウンタ６０８、下側画素数積算カウンタ６０９とを設ける。そして、撮影範囲をy方向の中心位置であるＨ／２（Ｈ＝画像データのｙ方向の大きさ）の位置からｙ方向に走査し、その走査が終わったならばｘ座標位置をｘ＝ｘ＋１として再び、ｙ方向に走査する処理をｘ＝Ｗ（Ｗ＝撮影範囲のｘ方向の大きさ）に達するまで繰り返す。

この走査の繰り返しの過程で、ｙ方向に特定の明るさＢｒを越える画素が幾つ存在するかを上側ｙ座標発見カウンタ６０４、下側ｙ座標発見カウンタ６０５でカウントする。
詳しくは、y方向の中心位置（Ｈ／２の位置）から下側に走査したとき、特定の明るさＢｒを越える画素が幾つ存在するかを下側ｙ座標発見カウンタ６０５によりカウントし、特定の明るさＢｒを越える画素を発見したならばｙｃ１＝ｙｃ１＋１とし、またＨ／２の位置から上側に走査したとき、特定の明るさＢｒを越える画素が幾つ存在するかを上側ｙ座標発見カウンタ６０４によりカウントし、特定の明るさＢｒを越える画素を発見したならばｙｃ０＝ｙｃ０＋１とする。

また、特定の明るさＢｒを越える画素を発見したならば、そのｙ座標位置の情報を下側ｙ座標積算カウンタ６０７及び上側ｙ座標積算カウンタ６０６で積算し、それぞれｙｇ１＝ｙｇ１＋ｉ、ｙｇ０＝ｙｇ０＋ｉとする。ここで、ｉは特定の明るさＢｒを越えた画素のｙ座標値である。例えば下方向に走査しているときに、ｙ＝１００、ｙ＝１０１で特定の明るさＢｒを越えた場合、ｙｇ１＝１００＋１０１＝２０１となる。
また、下側画素数積算カウンタ６０９、上側画素数積算カウンタ６０８により、特定の明るさＢｒを超える画素の連続する個数を積算する。例えば、図５の特定の明るさＢｒを越えた画素５０４からＢｒを下回る画素５０５の座標をそれぞれｙ０、ｙ１とすると、上側画素数積算カウンタ６０８にｃｔｒ０＝ｃｔｒ０＋１＝ｙ０−ｙ１を積算する。

同様に、図５の特定の明るさＢｒを越えた画素５０６からＢｒを下回る画素５０７の座標をそれぞれｙ２、ｙ３とすると、下側画素数積算カウンタ６０９にｃｔｒ１＝ｃｔｒ１＋１＝ｙ３−ｙ２を積算する。

この上側画素数積算カウンタ６０８、下側画素数積算カウンタ６０９のカウント値ｃｔｒ０、ｃｔｒ１によれば、図９（ａ）のような画像であった場合は、特定の明るさＢｒを連続して超える画素数が少ないのでカウント値ｃｔｒ０、ｃｔｒ１が閾値Ｂａを下回ることになり、適切でない撮影位置であると看做すことができる。

また、図９（ｂ）のように特定の明るさＢｒを越える部分が少ない画像であった場合、上側ｙ座標発見カウンタ６０４、下側ｙ座標発見カウンタ６０５のカウント値ｙｃ０、ｙｃ１の値が閾値Ｙａを下回ることになり、適切でない撮影位置であると看做すことができる。

また、図９（ｃ）に示すような画像であった場合、特定の明るさＢｒを超える画素の座標値の平均値ｙｇ１／ｙｃ１，ｙｇ０／ｙｃ０との差「ｙｇ１／ｙｃ１−ｙｇ０／ｙｃ０」が小さくなるため、閾値Ｙｗと比較し、これを下回る場合には、適切でない撮影位置であると看做すことができる。

また、図９（ｄ）に示すような画像であった場合、特定の明るさＢｒを連続して超える画素数が閾値Ｂａを超え、かつ特定の明るさＢｒを越える画素のカウント値ｙｃ０、ｙｃ１の値が閾値Ｙａが閾値Ｙａを超え、かつ特定の明るさＢｒを超える画素の座標値の平均値ｙｇ１／ｙｃ１，ｙｇ０／ｙｃ０との差が閾値Ｙｗを超えるため、適切な撮影位置であると看做すことができる。

図7及び図８は、本発明による最適撮影位置検出方法を適用した装置において、最適な位置か否かを判定するためのフローチャートである。
ステップ７０１は、指の画像を撮影するものである。このときに得られる画像の幅はW、高さはHとする。
ステップ７０２は、判定処理に必要なカウンタを初期設定するものである。
yg0およびyg1は上側および下側のy座標積算カウンタ、yc0およびyc1は上側および下側のy座標発見カウンタ、ctr0およびctr1は、上側および下側の画素数積算カウンタであり、このステップ７０２でカウント値＝０に初期化する。

ステップ７０３は、下側の画像走査におけるx方向の走査を行うためのカウンタ値ｊを初期設定するものである。
ステップ７０４は、x方向の走査が終了したかどうかを判定するものであり、画像の幅Ｗよりｊの値が小さい場合にはｘ方向の走査が終了していないことになるのでステップ７０５に進む。
ステップ７０５は、y方向の走査を行うためのカウンタ値ｉを画像の高さＨの１／２の値に初期設定するものである。

ステップ７０６は、y方向の走査が終了したかどうかを判定するものであり、カウンタ値ｉとＨとを比較し、ｉ＜Ｈの場合にはy方向の走査が終了していないのでステップ７０７に進む。
ステップ７０７は、着目画素（x位置=j、 y位置=ｉ）が、特定の明るさＢｒを超えているかどうかを判定するものである。

ステップ７０８は、特定の明るさＢｒを超えているy座標を発見したことをカウントする処理と、発見したy座標を積算する処理を行うものである。

具体的には、ｙｃ１＝ｙｃ１＋１、とし、かつｙｇ１＝ｙｇ１＋ｉ（ｉ＝ｙ方向の走査座標位置）とする。例えば、走査座標位置ｙ＝１００において特定の明るさＢｒを超える最初の画素が発見された場合、ｙｃ１＝１、ｙｇ１＝１００となる。
ステップ７０９は、y方向の走査が終了したかどうかを判定するものであり、ｉ＜Ｈならばy方向の走査が終了していないので、ステップ７１０に進む。

ステップ７１０は、着目画素（x位置=j、 y位置=I）が特定の明るさＢｒを下回るかどうか（特定の明るさより暗いか）を判定するものであり、特定の明るさよりも暗くない場合にはステップ７１１に進む。特定の明るさよりも暗い場合にはステップ７１５に進む。
ステップ７１１は、特定の明るさを超える画素数をカウントする処理であり、ｃｔｒ１＝ｃｔｒ１＋１とする。

ステップ７１２は、y方向走査のためのカウンタ値ｉをインクリメントする処理であり、ｉ＝ｉ＋１とする。インクリメントした後、ステップ７０９に戻り、ｉ＜Ｈかどうかを判定し、ｉ＜Ｈならばｙ方向の走査が終了していないので、再度ステップ７１０〜７１２の処理を繰り返し、特定の明るさＢｒより明るい画素の連続数を積算する。

ｉ＜Ｈとなり、ｙ方向の走査が終了したならばステップ７１４に進み、ｊ＝ｊ＋１としてｘ方向の走査位置をインクリメントする。
ｙ方向の走査が終了していない段階で、特定の明るさＢｒより暗い画素が出現したならばステップ７１０からステップ７１４に進み、x方向走査のためのカウンタ値ｊをインクリメントする。
ステップ７１３は、y方向走査のためのカウント値ｉをｉ＋１にインクリメントする処理である。
ステップ７１４は、x方向走査のためのカウンタ値ｊをインクリメントする処理である。
以上でｙ方向下側の走査が終了する。

ステップ７１５は、上側画像走査におけるx方向の走査を行うためのカウンタ値ｊを初期設定するものである。
ステップ７１６は、x方向の走査が終了したかどうかを判定するものであり、ｊ＜Ｗの場合は上側画像走査におけるx方向の走査が終了していないのでステップ７１７に進む。
ステップ７１７は、y方向走査の最初の位置を初期設定するものである。
ステップ７１８は、上側画像走査におけるy方向の走査が終了したかどうかを判定するものであり、ｉ≧０の場合は上側画像操作におけるy方向の走査が終了していないので、ステップ７１９に進む。

ステップ７１９は、着目画素（x位置=j， y位置=I）が、特定の明るさＢｒを超えているかどうかを判定するものであり、特定の明るさＢｒを超えている場合にはステップ７２０に進む。
ステップ７２０は、特定の明るさＢｒを超えているy座標を発見したことをカウントする上側ｙ座標発見カウンタｙｃ０をｙｃ０＝ｙｃ０＋１に更新する処理と、発見したy座標を積算する処理ｙｇ０＝ｙｇ０＋１を行うものである。
ステップ７２１は、y方向の走査が終了したかどうかどうかを判定（ｉ≧０かどうか）するものであり、ｉ≧０であり、y方向の走査が終了していない場合にはステップ７２２に進む。
ステップ７２２は、着目画素（x位置=j、y位置=ｉ）が特定の明るさＢｒを下回っているかどうかを判定するものであり、特定の明るさＢｒを下回っている場合にはステップ７２６に進み、超える場合にはステップ７２３に進む。
ステップ７２３は、特定の明るさを超える画素数をカウントする処理であり、上側画素数積算カウンタｃｔｒ０を＋１更新する。

ステップ７２４は、y方向走査のためのカウンタの値ｉをインクリメントする処理であり、更新後、ステップ７２１に戻り、特定の明るさＢｒを超える画素の連続数をカウントする処理を繰り返す。
ステップ７２５は、y方向走査のためのカウンタをインクリメントする処理である。
ステップ７２６は、x方向走査のためのカウンタをインクリメントする処理であり、y方向走査が終了するたびに実行され、ｊ＞Ｗになったならばｘ方向走査が終了したことになるので、ステップ７２７に進む。

ステップ７２７は、y座標発見カウンタのカウント値ｙｃ０またはｙｃ１が、しきい値Ｙaを下回っていないかどうかを、上側走査領域と下側走査領域について判定する処理であり、下回っていた場合には、最適位置ではないと判定する。
ステップ７２８は、特定の明るさＢｒの画素の連続数をカウントするカウンタｃｔｒ０またはｃｔｒ１のカウント値が、しきい値Ｂａを超過していないかどうかを、上側走査領域と下側走査領域について判定する処理であり、下回っている場合には最適位置ではないと判定する。
ステップ７２９は、特定の明るさＢｒを超える画素の上側のy座標の平均値ｙｇ０／ｙｃ０と、下側のy座標の平均値ｙｇ１／ｙｃ０との差が、しきい値Ywを上回っているかどうかを判定する処理であり、下回っている場合には最適位置ではないと判定する。

本発明においては、撮影範囲のｙ方向の中心線を中心に、下側方向、上側方向に画像を走査し、特定の明るさＢｒよりも明るい画素が連続する数、特定の明るさＢｒが出現する平均的なｙ方向座標、特定の明るさＢｒより明るい画素の数を検出し、その検出結果に基づき、撮影対象の指の位置が最適撮影位置にあるかを判定しているので、子供の指であっても、大人の指であっても最適撮影位置であるかを判定することができる。
すなわち、特定の明るさＢｒよりも明るい画素が出現する位置が、指の軸方向の中心線の左右両側の閾値Ｙｗを下回らない範囲であり、かつ明るい領域の大きさ（あるいは面積）が閾値Ｂａで定まる大きさを超えない場合には最適位置に置かれているものと判定する。
これによれば、図３（ｂ）の画像は特定の明るさＢｒよりも明るい領域の大きさが閾値Ｂａより多いが、特定の明るさＢｒよりも明るい画素が出現する位置が閾値Ｙｗを下回る範囲の位置であり、帯状の暗い領域の幅が小さいので、最適撮影位置から離れた不適切な位置に置かれているものと判定することができる。
また、図２（ｃ）の画像のように、指の軸方向の中心の両側の所定の幅の暗い領域を挟んで、その両側に特定の明るさより明るい領域が所定の大きさより少なく存在する場合には、大人、子供に拘わらず、最適位置に置かれているものと判定することができる。
なお、実施形態においては、指を撮影した画像データを指の軸方向に直交する方向に走査しているが、本発明はこれに限定されるものではなく、軸方向に走査するように構成することができる。
また、照明光は指静脈の像を撮影する関係で近赤外光としているが、撮影対象が他の物体であれば近赤外光以外の照明光を用いるように構成することができる。

１ 制御部
２ 赤外線照明装置
３ カメラ
４ 最適位置判定装置
２０１ 撮影対象の指
２０２ 近赤外線LED
２０３ 最適位置
２１０ 撮影画像

Claims (4)

1. 撮影対象物の撮影位置検出方法は、撮影対象物体である指の側面に照明光を照射して撮影し、撮影した画像を指の軸方向における中心から径方向に走査し、撮影対象物体が所定の位置に置かれているかを検出する装置における撮影位置検出方法であって、
   前記装置が、
   前記撮影した画像を対象として指の軸方向における中心から径方向に走査し、特定の明るさを連続して超える連続画素数を検出すると共に、特定の明るさが出現する画素の平均位置を検出するステップと、検出した連続画素数と前記平均位置とを第１の閾値、第２の閾値とそれぞれ比較し、第１の閾値を超える大きさの明るさの領域が存在し、かつその領域が第２の閾値で定めた範囲の位置に存在するか否かによって撮影対象物体が所定の撮影位置に置かれているかを判定するステップを備えることを特徴とする撮影対象物の撮影位置検出方法。
2. 前記照明光が近赤外光であることを特徴とする請求項１に記載の撮影対象物の撮影位置検出方法。
3. 撮影対象物体である指の側面に照明光を照射して撮影し、撮影した画像を指の軸方向における中心から径方向に走査し、撮影対象物体が所定の位置に置かれているかを検出する装置であって、
   前記装置が、
   前記撮影した画像を対象として指の軸方向における中心から径方向に走査し、特定の明るさを連続して超える連続画素数を検出すると共に、特定の明るさが出現する画素の平均位置を検出する手段と、検出した連続画素数と前記平均位置とを第１の閾値、第２の閾値とそれぞれ比較し、第１の閾値を超える大きさの明るさの領域が存在し、かつその領域が第２の閾値で定めた範囲の位置に存在するか否かによって撮影対象物体が所定の撮影位置に存在するかを判定する手段を備えることを特徴とする撮影対象物の撮影位置検出装置。
4. 前記照明光が近赤外光であることを特徴とする請求項３に記載の撮影対象物の撮影位置検出装置。

Images