JP5027604B2 - 指先適正押圧状態報知方法及び装置 - Google Patents

Description

本発明は、指先を押圧面に押圧した際の適正な押圧状態を装置使用者に報知する指先適正押圧状態報知方法及び装置に関する。

近年、健康管理器具に興味を持つ人が増えており、体脂肪計や脈波計、簡易的な心電計測器など個人で所有できるものも増えている。中でも脈波計にあっては、検出した脈波を分析することで、個人の精神状態（平常／異常）等を推測し、例えば自動車の運転手の脈拍から精神状態を推測することで、安全運行に役立てることが考えられている。

精神状態の推測に用いるのみでなく、当然ながら脈波（脈拍）データは、血圧や心電波等のデータと並んで、健康管理上において体調判断の重要な指標となるものである。
脈波を採取する装置としては、例えば指や耳朶を挟むクリップ式センサ等があるが、このような専用器具を利用しなくても、常時携帯可能で任意の時に容易に使用できるような小型の脈拍検出装置が要望されている。

このような要望に応えるものとして、例えば腕時計にあってはＬＥＤ及びホトトランジスタを組み込んで脈拍を検出し、その検出した脈拍数を表示するものが知られている。
脈波は、カメラや携帯電話機等に搭載されている皮膜ガラス付カメラでも採取することができる。皮膜ガラス付カメラで脈波を採取する場合には、皮膜部に指先を接触（押圧）させて、該接触させた指先部を撮影することになる。しかし、現在の皮膜ガラス付カメラでは、指先の押圧状態が変動しやすく脈波の安定的な採取が困難である。

また、上記いずれの測定方法によっても、その測定によって得られる脈波データは、外部光による雑音信号が混入したり、その逆に正常な信号を検出し損なう場合が多い。それにも拘わらず、測定が実行されて、その誤った測定に基づく脈波データが表示装置に表示されると、精度が低くなるという問題が発生する。

一方、指先を皮膜ガラスなどの皮膜部に押圧した際の適正な押圧状態を検知するものとして、ＣＣＤカメラのカバーを押圧面として、その押圧面を可動にし、その押圧面に指を接触させ、指先で押圧面を押込んだ状態（押圧が加わった状態）で、指先による押圧力が所定の大きさのときに、ＣＣＤカメラによって指紋検知を行う指紋検知装置が提案されている（例えば、特許文献１参照）。
特開平１１−２２５９９８号公報（第３頁、図１）

ところで、特許文献１では、指紋採取を目的としており、指紋の採取時間は一瞬の時間でよいので、押圧を加えていきながら所望の押圧状態となったときに指紋を検出する構成となっている。

ところが、脈波を採取するには、少なくとも脈波の数サイクル（複数の脈動間隔）を採取する必要がある。この脈波の計測のように一定時間を必要とする計測を目的とする場合は、つまり脈波の計測に限らずデータ採取に指先による押圧が一定の時間、一定の状態に保たれることを条件とするような測定を目的とする場合は、構成の目的が異なるので、特許文献１の装置は不向きである。

本発明の課題は、上記従来の実情に鑑み、皮膜つきカメラを利用した例えば脈波などの検出において、外光が変化する環境下においても、安定的かつ高精度で検出データの採取ができるように、指先を皮膜面に押圧した際の適正な押圧状態を被験者に報知する指先適正押圧状態報知方法及び装置を提供することである。

本発明で開示する指先適正押圧状態報知方法は、カメラにより撮影された、透明板状部材に接触させた指先の画像を所定の時間間隔で複数フレーム取得する指先画像取得工程と、該指先画像取得工程により取得された上記指先の画像の各フレーム毎に平均輝度を算出するフレーム輝度算出工程と、該平均輝度算出工程により算出された平均輝度から振幅を取得する振幅取得工程と、該振幅取得工程により取得される振幅の複数の閾値をグループ分けして記憶する振幅閾値記憶工程と、該振幅閾値記憶工程に記憶される上記閾値グループの中から、上記指先の画像の連続する複数フレームの平均輝度に基づいて一つの閾値グループを選択する閾値選択工程と、該閾値選択工程により選択された上記閾値グループの各閾値に基づいて、上記振幅取得工程により取得される振幅が所定の閾値を越えているか否かを判断し、該判断結果を報知装置に出力する判断結果出力工程と、を含んで構成される。

本発明によれば、指先画像の平均輝度が高い場合には計測結果の脈波振幅が大きくなることに着目して、指先画像の平均輝度の高低に応じて閾値とする振幅も大小に変化させるので、外光が変化する状況下であっても、常に同様な指先の押圧状態を識別でき、これにより、指先を皮膜面に押圧した際の適正な押圧状態を装置使用者に報知する指先適正押圧状態報知方法及び装置を提供することが可能となる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

図１は、本発明における指先の適正な押圧状態を検知するための検出装置を示す図である。同図に示すように、検出装置１は、装置筐体２と、この装置筐体２の中に配設された撮像部３を備えている。

撮像部３は、底部にＣＣＤ撮像素子４を備え、その上方に鏡枠５に保持されたレンズ６を備え、レンズ６の上方にレンズを保護するための透明板状部材であるガラス板７を備えている。なお、ガラス板７は、その部材をガラスかつ板状に限るものではなく、透明、または有色であっても光を透過させる部材で、指先８の押圧により変形しない程度の固さがある部材であれば、どのようなものであっても構わない。また、ガラス板７を設置せず、レンズ６に指を直接接触させてもよい。

このガラス板７の上面に、装置使用者がその指先８を載せて、不図示の入力操作部から、例えば脈波の計測を指示すると、後述する制御部からの制御のもとに脈波の計測が開始される。

この脈波の計測では、指先の血管を流れる血流量が脈拍に応じて変化することにより、指先８の周囲から射し込む外光９による指先透過光量が変化する。
その指先の画像をＣＣＤ撮像素子４により所定の時間隔（携帯電話のカメラ（ＣＣＤ撮像素子）では７．５、１０、１５、３０フレーム/秒などが多い)で撮像し、１フレーム毎の輝度平均を算出する。

ＣＣＤ撮像素子４により撮影されるフレームの輝度平均は指先の血液の脈流によって変化するので、輝度平均の変化を追跡すれば、脈波の振幅及び周期を検出することができる。

脈波を検出するためには、１フレーム毎の平均輝度の極大（＝血流少）／極小（＝血流大）状態の振幅繰り返しを検出する必要がある。振幅が大きいほどＳ／Ｎ比が向上するので正確に検知しやすくなる。 また、計測された脈波の振幅は、指先８のガラス板７への接触圧が所定の範囲から外れるほど小さくなる傾向がある。即ち、指圧の強さが弱→中→強となるに応じて、計測される脈波の振幅は小→大→小となる。

従って、正確に脈波を検出するためには、検出に要する時間の間(例えば約５秒以上)、被験者（装置の使用者）が所定範囲の指圧（上記の指圧の強さが中）で指をガラス板７に押圧し続けることが望ましい。

被験者に所定範囲の指圧で指をガラス板７に押圧させ続けるためには、被験者に、装置の操作状態(指による押圧状態)が脈波検知に適した状態になっているか否かを知らせる必要がある。そのためには、指の押圧状態（以下、指圧という）を適切に被験者へ通知する仕組が必要になる。

一方、指圧による振幅変化とは独立した事象として、後述するように、フレームの平均輝度の振幅は画像の平均輝度が明るくなる状態（＝外光量が多い、もしくは指が小さい/薄いなど）で計測されるほど大きくなる傾向もある。従って、同一被験者が同じ指圧で脈波を計測した場合あっても、画像の平均輝度が明るくなる状態、即ち外光量が多い状態であるほど大きな振幅が得られることになる。

同じ指圧であっても、外光量の変化（例えば、歩きながら計測して外光状態が変化する等）に応じて検知への適否が異なるかたちで被験者に通知されると、被験者の操作容易性を損なうので、外光量の変化に関わらず、指圧が同程度であれば検知への適否状態も同程度として被験者へ通知されることが望ましい。

さらには、簡便性を維持するために、専用の脈波検出装置ではなく、携帯端末へＣＣＤカメラを搭載する以外の装置を追加することなく、上記のような脈波検知のための指圧状態の適否の被験者への通知を実現することが望ましい。

このように、本発明の目的は、脈波を検出することにあるのでは無く、指先の適正な押圧状態を一定時間維持するために、適正であるべき押圧状態に対して現在実行中の押圧状態がどの押圧レベルであるかを装置使用者に報知することにある。

図２(a) は、外光の明るさを一定にしたときの指圧の弱から強への変化と、そのときの検出脈波の輝度及び波形との関係を示す図である。図２(b) は同図(a) の波形１１又は１３の部分の拡大図であり、同図(c) は同図(a) の波形１２の部分の拡大図である。

尚、図２(a) は、横軸に指圧の強さを示し、縦軸に検出脈波の輝度を示している。また、外光は指先の脇からも幾分入射し、この指先の脇から入射する外光は画像の雑音信号となるが、指先画像の輝度は、指先の血液の脈流の強弱に応じて上下し、脈波の上下のピークは輝度の上下で決まるので、指圧が正常な脈流を妨げない程度の強さで一定していればよい。

ところで、図２(a) では、波形１１に示すように、指圧が低いと指先画像の輝度が低下
すると共に脈波の波形も不安定な状態になることがわかる。
そして、波形１２に示すように、指圧が或る程度強くなると指先画像の輝度が上昇すると共に脈波の波形が安定し、脈波計測のための理想的な状態となることがわかる。

そして、波形１３に示すように、更に指圧が強くなると、輝度も更に上昇するが、脈波の波形は再び不安定な状態になることが判明する。
これらの状態は、指圧が低いと指先が厚くなり、外光の透過率が悪くなって輝度が下がると共に、血液の脈流の強弱も画像の輝度に明瞭に反映されなくなり、脈波の波形が不安定になるためと推測される。

また、極端に指圧が強いと、指先が薄くなり、その分、外光の透過率が良くなって輝度は上がるが、強い指圧で血管が圧迫されるので脈流が妨げられ、脈流の強弱が画像の輝度に明瞭に反映されなくなり、この場合も脈波の波形が不安定になるためと推測される。

したがって、正しい脈波を検出しようとする場合は、一定時間、例えば１０秒くらいの間、波形１２の状態になるよう指圧を一定に維持することが重要となる。
そこで、指圧の状態（レベル）を、例えば５段階に区分し、図２(a) の波形１２の状態をレベル５とし、この波形１２を中心にして左（指圧が弱くなる）右（指圧が高くなる）のいずれかに変化するほど、レベル４、３、２、１と、レベルを下げていき、このレベルを装置使用者に報知するようにすれば、装置使用者は、そのレベルの報知を視認して最適な指圧レベル５に指圧を維持するように努力することができると考えられる。

図３は、図１の指先８のガラス板７への押圧状態を一定にして、外光９の明るさを暗から明に変化させたときの外光９の明るさと脈波振幅の変化の関係を示す図である。
尚、同図は横軸に指先画像の明るさを示し、縦軸に振幅の大きさを示している。また、外光９の明るさの変化の影響は、例えば、外光９の光源を指先８の背に、遠いところから徐々に近づけることによって確認可能である。

図３に示すように、指先の押圧状態が一定であれば、外光９が明るくなる、つまり指先の画像が明るくなる、換言すれば、指先画像の輝度が大きくなるに従い、脈波の振幅は大きく検出されることが分かる。

図４(a) は、指先の検出装置の具体的な例を示す図であり、図４(b) は、指先押圧状態の強弱を示す指圧レベルを装置使用者に報知する場合の具体的な報知例を示す図である。
図４(a) は、検出装置として、携帯電話１５の撮像部を利用する例を示している。また、図４(a) は、装置使用者が携帯電話１５を右手に持ち、左手の人差指１６の指先を携帯電話１５の撮像部の皮膜ガラス（図では指先の下に隠れているため見えない）の上に押圧している状態を示している。

携帯電話１５の撮像部の上方には、表示部１７が設けられている。表示部１７には、脈拍数を示す「７０」と、人差指１６の指圧レベルを示すハートマークが表示されている。
装置使用者に指圧レベルを報知する情報である指圧レベルのハートマークには、種々の表示方法がある。同図(b) に示す例は、内部の記憶装置に記憶される指圧レベルと報知されるマークとの関係を示すテーブルである。

同図(b) には、最上段の左から右へ、指圧レベル５、４、３、２、１が設定されており、その下に、指圧レベル５、４、３、２、１にそれぞれ対応する報知マークのグループが設定されている。

第１の報知グループ２１は、ハートマークの大きさが、指圧レベルに応じて順次変化す
るものである。そして、例えば、指圧レベル５のときに最大の大きさ、指圧レベル１のときに最小の大きさで表示されるようになっている。

また、第２の報知グループ２２は、ハートマークの濃さが指圧レベルに応じて順次変化するものである。そして、例えば、指圧レベル５のときに最高濃度、指圧レベル１のときに最低濃度で表示されるようになっている。

また、第３の報知グループ２３は、ハートマークの色が指圧レベルに応じて順次変化するものである。そして、例えば、指圧レベル５のときは「良し」を示す「緑」、指圧レベル４のときは「良しに近いが外れている」ことを示す「黄緑」、指圧レベル３のときは「要注意」を示す「黄」、指圧レベル２のときは「悪い」示す「橙」、指圧レベル１のときは「危険」を示す「赤」、といった色分けになっている。

また、第４の報知グループ２４は、ハートマークではなく、ブロックの積み重ね数が指圧レベルに応じて順次変化するものである。例えば、指圧レベル５のときにブロックが最大数の５個、指圧レベル１のときにブロックが最少数の１個となって表示されるようになっている。

また、第５の報知グループ２５も、ハートマークではなく、不等号記号のような矢印「＞」の表示数が、指圧レベルに応じて順次増減して変化するものである。例えば、指圧レベル５のときには矢印は「＞＞＞＞＞」のように５個表示され、指圧レベル１のときには矢印は「＞」のように１個表示されるようになっている。なお、指圧レベルを報知するために出力する情報は、上述の５種類に限るものではなく、指圧レベルにより内容が変化する情報で、装置使用者がそれを視認できる情報であれば、どのようなものであっても構わない。

装置使用者は、上記のような報知マークを予め選択してから、指先で携帯電話１５の撮像部の皮膜ガラスを押圧し、報知マークの変化を見ながら最適な指圧レベル５に対応する報知マークが出るように指圧レベルを加減して、指圧レベル５に対応する報知マークが出たところで、その指圧レベルを維持すればよい。
ところで、図１に示したＣＣＤ４で撮像した指先画像の平均輝度から取得される脈波の波形は、外光の明るさによって振幅が異なることは前述した。

図５は、指先の押圧状態を強弱変化させたときに、外光が明るいときは検出される脈波の振幅が全体に大きくなり、外光が暗いときは脈波の振幅が全体に小さくなることを示す図である。図中において、脈波計測に適した状態をレベル５とし、適した状態から離れるほどにレベルの数字が下がるようにレベル分けがされており、各レベルを区別するための閾値として、脈波の振幅の幅、即ち、ＣＣＤ４により撮像された指先画像のフレームの平均輝度の変化によって形成される各振幅の極大値と極小値との輝度値の差分を用いている。

ここで、同図の下方に示すように、外光が暗いときの脈波の振幅（フレーム平均輝度の各振幅の極大値と極小値との輝度値の差分）を基準として、中央に指圧レベル５を設定し、その左右に順次低下していく指圧レベル４、３、２、１を設定したとする。

同図の下方に示す外光が暗いときの指圧レベルの設定は、ほぼ等間隔に近い状態で設定されているので、装置の使用者の目には、指圧の強弱に応じて変化する指圧レベルの報知マークの変化する時間的間隔は比較的緩やかである。

一方、同図の上方に示す外光が明るいときの指圧レベルの設定で、外光が暗いときと同
様の基準で、つまり振幅が全体に小さいときの基準で、指圧レベルを設定すると、外光が明るいときの脈波の振幅は全体に大きくなるので、振幅が小さくなることに対応して順次小さく設定されている指圧レベル４、３、２、１は、中央より遠く離れて、左右の端に固まってしまう。

したがって、装置の使用者の目には、指圧の強弱に応じて変化する指圧レベルの報知マークが、指圧が弱すぎるときと強すぎるときの左右両端で、変化の時間的間隔が短くなり、指圧が弱すぎるときも強すぎるときも、指圧レベルの報知マークが、めまぐるしく変化するように見えてしまう。

これでは、装置の使用者は、外光の明るいところでは、指圧レベルをちょうど良い中央部分に調節しようとしても、めまぐるしく変化する報知マークの表示に、指先の調節が追随していくことが出来ず、調節することが困難になってくる。

そこで、本例では、前述したように外光が明るいときには脈波の振幅が全体に大きくなることが分かっているので、撮像した指先の画像が明るいときほど、計測した脈波の振幅（フレーム平均輝度の各振幅の極大値と極小値との輝度値の差分）に対して設定するレベルの境界値となる振幅閾値を、大きく設定する。

図６は、指先画像の明るさに応じて計測脈波の振幅を５段階のレベルに区分するために用いられるレベル毎の振幅閾値の設定用特性曲線（図では直線）である。同図は横軸に指先画像の明るさを示し、縦軸に計測した脈波の振幅を示している。

なお、同図の横軸に示す指先画像の明るさは、Ｎフレームの平均輝度によって求めている。尚、本例では秒当りの撮影フレーム数は、１５枚であるが、これに限ることなく２０枚であってもよく、また、それ以上であってもよい。要は、そのときの測定環境における輝度が求まればよい。

また、図６に示すように、画像が明るくなるにつれて、測定した脈波の振幅（フレーム平均輝度の各振幅の極大値と極小値との輝度値の差分）に対する各レベルの設定値（閾値）が高くなっているが、この設定は、実験を繰り返した結果として得られた経験値である。

図７は、上記のレベル毎の振幅閾値の設定用特性曲線を用いることで指先画像の明るさに関係なく計測脈波の振幅を同じ５段階のレベルに区分できることを示す図である。同図は横軸に指圧を示している。そして、縦軸の上方に外光が明るい場合の指先画像の輝度変化と振幅の変化を示し、下方に外光が暗い場合の指先画像の輝度変化と振幅の変化を示している。

図６に示したレベル毎の振幅閾値の設定用特性曲線を用いて明るさに応じた各レベルごとの閾値を設定すれば、図７に示すように、外光が明るいときも暗いときも、装置使用者の同じ指圧レベルに対しては、輝度の上限と下限の間に、同じ範囲の指圧レベルの領域分割が設定される。

したがって、外光が明るいときも暗いときも、装置使用者の同じ指圧レベルに対しては同様に指圧レベルの報知マークが変化する。これにより、装置の使用者は、外光が明るいときも暗いときも、指圧を最適な状態にもっていくまでの押圧の調節に違和感なく対処することができる。

尚、図６では、レベル毎の振幅閾値の設定に、振幅閾値の設定用特性曲線を用いている
が、所定の許容差を持った「振幅の範囲」と数フレームの輝度から求めた「Ｎフレームの輝度平均」とに「振幅閾値」を対応させたレベル毎の振幅閾値の設定用テーブルを用いるようにしてもよい。

図８は、指先画像の明るさに応じて計測されたフレームの輝度値の振幅を５段階のレベルに区分するために用いられるレベル毎の振幅閾値の設定用テーブル（レベル評価用テーブルともいう）を示す図である。

図８は上段の横欄に、計測環境の明るさを示すＮフレームの輝度平均を１９以下（「〜１９」）、２０から３９まで（「２０〜３９」）、４０から５９まで（「４０〜５９」）、６０から７９まで（「６０〜７９」）、８０以上（「８０〜」）の５段階で示している。これら５段階に分けた輝度平均の変化は図６の横軸の値の変化に相当する。

また、図８の左側縦欄には、振幅の範囲（フレーム平均輝度の各振幅の極大値と極小値との輝度値の差分）を振幅０．２５以下から０．２５刻みに昇順に振幅６以上まで示している。これら振幅の範囲の変化は図６の縦軸の値の変化に相当する。

尚、この縦欄に示す振幅の範囲で、例えば「０．２５〜０．５」として示される数値の「０．２５」は、「０．２５」を含まず「０．２５を超えて」の意味であり、それ以下に示す他の範囲を示す左側に来る数値についても同様である。

そして、図８の横欄の「Ｎフレームの輝度平均」と縦欄「振幅範囲」に対応するテーブルの各升目には、１〜５までのレベルを示す数値が格納されている。以下の説明では、このレベルを示す数値を「評価値」ということにする。

これらの評価値のなかで背景を濃くして表示されている評価値は、単に図８を見やすくするために、評価値が変わる境界の評価値に目印を付けたものである。
図８において、「Ｎフレームの輝度平均」が最左端の「〜１９」のときの「振幅範囲」に対する評価値は、振幅範囲０．５以下（「〜０．２５」、「０．２５〜０．５」）が評価値「１」、振幅範囲０．５を超えて振幅範囲１以下（「０．５〜０．７５」、「０．７５〜１」）が評価値「２」、・・・、となっている。

「Ｎフレームの輝度平均」がテーブルの右方へ大きくなっていくに従って、「振幅範囲」に対する評価値が変わる境界の振幅範囲の値が大きい方に移動している。
これにより、この振幅閾値の設定用テーブルを使用した場合でも、図７に示したよう、外光が明るいときも暗いときも、装置使用者の同じ指圧レベルに対しては、輝度の上限と下限の間に、同じ範囲の指圧レベルの領域分割を設定することができる。

尚、上記図８の、評価値が変わる境目の評価値に対応する左端縦列の振幅範囲の値が、図６に示した指圧レベルごとの振幅の閾値に相当している。
尚、図８に示すテーブルの各値は、あくまでも例として示したものであって、計測装置に実装されるテーブルが、図８の値に設定されるということではない。

図９は、本例の検出装置１において指先適正押圧状態報知を行う制御回路ブロック図である。同図に示すように、検出装置の制御回路は、ＣＰＵ(central processing unit）３１に対しバス３２を介して接続されたＲＯＭ(read only memory)３３、ＲＡＭ(Random Access Memory)３４、記憶部３５、通信部３６、入出力部３７、表示部３８を備えている。

ＲＯＭ３３には、この検出装置１が例えば携帯用端末であれば、携帯用端末の一般的な動作を制御するプログラムの他に、指先適正押圧状態報知を行うプログラムなどが格納さ
れている。

ＲＡＭ３４は、プログラム領域とデータ領域に分かれており、プログラム領域には、ＣＰＵ３１により必要に応じてＲＯＭ３３から読み出されたプログラムが一時的に記憶され、ＣＰＵ３３は、そのプログラムに従って各部の制御を行う。

一方、ＲＡＭ３４のデータ領域には、ＣＰＵ３３が演算途中の中間データや演算結果のデータが一時的に記憶される。
記憶部３５は、内蔵または外付けのハードディスクやフラッシュメモリ等を着脱自在に備えており、これらの記録装置には、予め設定されている例えば図８に示したレベル毎の振幅閾値の設定用テーブル（レベル評価用テーブル）などが格納されている。

通信部３６は、この検出装置１が例えば携帯用端末であれば、基地局との電話網による電話通信、インターネット網によるインターネット通信まどの機能を備えている。また、パーソナルコンピュータとのＵＳＢ規格の有線通信や赤外線又はブルートゥースによる無線通信機能を備えている。

入出力部３７には、例えばＣＣＤ４から出力される指先の撮像画像データが入力され、各種の演算結果が表示部３８に出力される。
表示部３８は、液晶表示装置であり、この検出装置１が例えば携帯用端末であれば、電話やインターネット通信用の大型の主画面と、自分撮影時の画像や、指先押圧時の指圧レベルを表示報知する小型の副画面を備えている。

図１０は、上記の制御回路により指先適正押圧状態報知を行う処理の機能ブロック図である。図１０に示すように、指先適正押圧状態報知を行う処理は、入力部３７ａ、輝度平均算出部３８、データ記憶部３９、レベル評価部４０、脈拍検出部４１、及び出力部３７ｂから成る機能に基づいて行われる。

上記の脈拍検出部４１は、ピーク間隔検出部４２と脈拍算出部４３の機能を備えている。また、レベル評価部４０の細部の機能は図１１に示される。
図１１は、図１０の機能ブロックにおけるレベル評価部４０の機能を更に詳しく説明するブロック図である。図１１に示すように、レベル評価部４０は、タイミング制御部４５、振幅算出部４６、Ｎフレーム輝度平均算出部４７、振幅評価部４８、判定テーブル４９の機能を備えている。

図１２は、上記構成の機能ブロックにおいて、データ記憶部３９に格納される、カメラにより撮影されて入力部３７ａに入力されるフレーム毎の輝度平均値のデータテーブルの例を示す図である。同図には指先の撮影画像のフレームＮｏ．１からＮｏ．６４までが示され、それらのフレームから輝度平均算出部３８により算出された輝度平均値、例えば「３４．８８７」、「３４．００７」、「３３．６５２」・・・等が、フレーム番号に対応付けられている。

図１３は、図１２のデータテーブルの輝度平均の値をプロットして得られるグラフの例を示す図である。同図は横軸に計測時刻を示し、縦軸にフレーム毎の輝度平均を示している。この図１３に示す波形が、図２(a) 、図５、図７に示した脈波の波形に対応する。そして、各波の極大値と極小値との差分が、振幅閾値と比較される対象となる振幅となる。

以下、上記の図１０〜図１３を用いて、制御回路による指先適正押圧状態報知を行う処理について説明する。
先ず、カメラ（図１に示すＣＣＤ４）から入力部３７ａに、指先８を撮影した画像デー
タが例えば毎秒１５フレームの割合で入力される。この撮影画像データは輝度平均算出部３８に転送される。

輝度平均算出部３８では、１フレーム毎に画像データの輝度平均を算出する。輝度平均は１フレームの画素毎の輝度を平均したものである。尚、このように、１フレームの輝度を表す数値として上記のような輝度平均とせず、１フレームの画素毎の輝度の総和を採用するようにしてもよい。

あるいは、輝度ではなく、画像データのＲＧＢ要素のＲ成分を用いても良く、あるいは、画像データがテレビ放送やデジタルビデオの録画形式で一般的に使われているＹＵＶフォーマットもしくはＹＩＱフォーマットのときは、Ｙ成分を用いることもできる。なお、画像フォーマットや使用する成分はこれらに限るものではなく、脈波が採取できれば画像のフォーマット、成分はどのようなものでも良い。

いずれにしても、この処理により図１２に示したようなフレーム毎の輝度データのテーブル（又は輝度データに相当するデータ）が生成され、このフレーム毎の輝度データが、レベル評価部４０、データ記憶部３９及び脈拍検出部４１に送信される。

データ記憶部３９では、上記のフレームの輝度に関する情報（フレーム毎の輝度平均もしくは輝度総和）を受信すると、受信した順に時系列に、輝度データを格納する。
この輝度データの格納数は、例えば図１２に示したように６４フレームに対応する６４個の輝度データであり、６５個目以降の輝度データを受信すると、テーブル内の最古のデータを上書きして更新する。これにより、常に最新の６４フレーム分の輝度データがデータ記憶部３９に保持されることになる。なお、データ格納数は６４に限るものではない。

また、データ記憶部３９は、脈波検出用アプリケーションが終了したことを検出した（検出方法は問わない）ときには、テーブルの輝度データをクリアする。
脈波検出部４１は、毎秒例えば１５フレームの割合で入力される輝度データから、先ず、ピーク間隔検出部４２によりピーク間隔を検出する。このピーク間隔を検出するための輝度データのピーク値は、最高値でも最低値でもよい。いずれにしても、図１３に示す輝度の波形から、最高又は最低のピーク値と次のピーク値との時間間隔が検出される。

脈拍算出部４３では、上記の最高又は最低のピーク値の出現時間間隔のデータをピーク間隔検出部４２から受け取って、波形の周期を算出し、その算出した波形周期を脈拍数として、出力部３７ｂに出力する。

出力部３７ｂは、その脈拍数を、表示部３８に出力し、表示部３８は、例えば表示装置の、指圧レベル表示報知領域の上方に脈拍数を表示する。図４(a) に示す例では、脈拍数が「７０」と表示されている。

一方、レベル評価部４０では、図１１に示すように、先ず、タイミング制御部４５が、指圧レベル計測開始のタイミングを振幅算出部４６に通知する。例えばタイミング制御部４５が、例えば１秒毎に指圧レベル計測開始のタイミングを通知すれば、以降の処理もそれに従って１秒毎に起動されることになる。従って、表示部３８に出力される指圧レベルの値も、１秒毎に表示が更新されることになる。なお、タイミング制御部４５は必須の構成ではなく、振幅算出部４６が波形もしくは波形のピークを算出するたびに、後段の処理を行うようにしても構わない。

振幅算出部４６は、データ記憶部３９から図１２に示すような輝度データを読出し、この輝度データから図１３に示すように生成される波形データから振幅を算出し、その算出
した振幅値を振幅評価部４８に送信する。

これと平行して他方では、Ｎフレーム輝度平均算出部４７が、同じく図１２に示すような輝度データをデータ記憶部３９から読出して、指圧レベル計測開始のタイミングから予め設定されているＮフレーム分の輝度データから輝度平均を算出し、その算出した輝度平均値を振幅評価部４８に送信する。

振幅評価部４８は、判定テーブル４９に予め格納されている例えば図８に示すようなレベル評価用テーブルを参照し、振幅算出部４６から通知された振幅値が、レベル評価用テーブルの左端縦欄のどの振幅範囲に対応するかを認識するとともに、Ｎフレーム輝度平均算出部４７から送信されたＮフレーム輝度平均値が、レベル評価用テーブルの上段のＮフレーム輝度平均欄のどの輝度平均値の範囲に対応するかを認識する。

この認識に基づいて、その認識した輝度平均値の範囲と振幅範囲とに対応する中央部升目の評価値をレベル評価用テーブルから読み出して、その読み出した評価値を出力部３７ｂに出力する。

例えば、図１３において、計測時刻が０から１５程度までに検出された波を例にとれば、極小値が３３．６５２（図１２のフレームＮｏ．３）、極大値が３５．２１６（図１２のフレームＮｏ．１０）であるので、振幅すなわち極大値と極小値との差分としては１．５６４という値になる。Ｎフレーム輝度平均値は、フレームＮｏ．３からフレームＮｏ．１０までの平均値とすると、３４．５９８になる。そして、この１．５６４という値及び３４．５９８に基づいて図８に示すようなレベル評価用テーブルを参照すると、評価値は「３」であることが求められる。 出力部３７ｂは、その評価値を、表示部３８に出力し、表示部３８は、例えば表示装置の、指圧レベル表示報知領域に、上記の評価値に対応する表示を図４(b) に示すいずれかの表示方法で表示する。

このように、本発明によれば、指先画像の平均輝度が高い場合には脈波振幅が大きくなることに着目して、指先画像の平均輝度の高低に応じて閾値とする振幅も大小に変化させるので、外光が明るく又は暗く変化する状況下であっても、常に同様な指先の押圧状態を識別でき、これにより、指先を押圧面に押圧した際の適正な押圧状態を装置使用者に報知する指先適正押圧状態報知方法及び装置を提供することが可能となる。

尚、上記の例では、検出装置１を携帯電話とし、携帯電話のみで全ての処理を実行するようにしているが、これに限ることなく、携帯電話ではＣＣＤカメラと表示機能のみを使用し、脈波検出部４１による脈波の検出や、レベル評価部４０による指圧レベルの評価処理は、携帯電話とネットワークで接続しているサーバ上で行うようにしてもよい。

この場合、輝度データの記憶部（データ記憶部３９）をサーバ上に設けるようにしてもよく、その場合は、画像データを携帯電話の識別情報と対応づけてサーバに送信して、サーバの記憶部に格納するようにするとよい。

また、指圧レベル設定の方法として、図６のレベル毎の振幅閾値の設定用特性曲線を用いることや、図８のレベル評価用テーブルを用いることを説明しているが、指圧レベルを設定するための振幅閾値の設定はこれに限ることなく、計算式に拠ってもよい。

例えば、図８に示すレベル評価用テーブルのＮフレーム輝度平均２０未満（〜１９）に対応する５段階レベルの振幅閾値をｔ１＝０．２５、ｔ２＝０．７５、ｔ３＝１．２５、ｔ４＝１．７５、ｔ５＝２．２５とする。

そのとき他の輝度平均Ｙに対応する５段階レベルの振幅閾値は、Ｔｈn ＝ｔn ×Ｙ÷２０（ただし２０≦Ｙ≦１００、n ＝１、２、３、４、５）の式（評価式）で算出するようにするとよい。
なお、上記の演算では、Ｙ≦２０ときはＹ＝２０として演算し、Ｙ≧１００のときはＹ＝１００として演算する。

（付記１）
カメラにより撮影された、透明板状部材に接触させた指先の画像を所定の時間間隔で複数フレーム取得する指先画像取得工程と、該指先画像取得工程により取得された前記指先の画像の各フレーム毎に平均輝度を算出するフレーム輝度算出工程と、該フレーム輝度算出工程により算出された平均輝度から振幅を取得する振幅取得工程と、該振幅取得工程により取得される振幅の幅に対する複数の閾値をグループ分けして記憶する振幅閾値記憶工程と、該振幅閾値記憶工程に記憶される前記閾値グループの中から、前記指先の画像の連続する複数フレームの平均輝度に基づいて一つの閾値グループを選択する閾値選択工程と、該閾値選択工程により選択された前記閾値グループの各閾値に基づいて、前記振幅取得工程により取得される振幅の幅が所定の閾値を越えているか否かを判断し、該判断結果を報知装置に出力する判断結果出力工程と、を含むことを特徴とする指先適正押圧状態報知方法。
（付記２）
前記閾値グループの各閾値に対応する振幅は、前記連続する複数フレームの平均輝度が高い場合には大きく設定され、前記平均輝度が低い場合には小さく設定されていることを特徴とする付記１記載の指先適正押圧状態報知方法。
（付記３）
前記フレーム輝度算出工程は、前記平均輝度に代えて前記フレーム内画素の輝度総和、ＲＧＢ要素のＲ成分、又はＹＵＶフォーマットもしくはＹＩＱフォーマットのＹ成分のいずれかを用いる、ことを特徴とする付記１記載の指先適正押圧状態報知方法。
（付記４）
カメラにより撮影された、透明板状部材に接触させた指先の画像を所定の時間間隔で複数フレーム取得する指先画像取得手段と、該指先画像取得手段により取得された前記指先の画像の各フレーム毎に平均輝度を算出するフレーム輝度算出手段と、該フレーム輝度算出手段により算出された平均輝度から振幅を取得する振幅取得手段と、該振幅取得手段により取得される振幅の幅に対する複数の閾値をグループ分けして記憶する振幅閾値記憶手段と、該振幅閾値記憶手段に記憶される前記閾値グループの中から、前記指先の画像の連続する複数フレームの平均輝度に基づいて一つの閾値グループを選択する閾値選択手段と、該閾値選択手段により選択された前記閾値グループの各閾値に基づいて、前記振幅取得手段により取得される振幅の幅が所定の閾値を越えているか否かを判断し、該判断結果を報知装置に出力する判断結果出力手段と、を有することを特徴とする指先適正押圧状態報知装置。
（付記５）
前記閾値グループの各閾値に対応する振幅は、前記連続する複数フレームの平均輝度が高い場合には大きく設定され、前記平均輝度が低い場合には小さく設定されていることを特徴とする付記４記載の指先適正押圧状態報知装置。
（付記６）
前記フレーム輝度算出手段は、前記平均輝度に代えて前記フレーム内画素の輝度総和、ＲＧＢ要素のＲ成分、又はＹＵＶフォーマットもしくはＹＩＱフォーマットのＹ成分のいずれかを用いる、ことを特徴とする付記４記載の指先適正押圧状態報知装置。
（付記７）
コンピュータを指先適正押圧状態報知装置として動作させるためのプログラムであって、該コンピュータをカメラにより撮影された、透明板状部材に接触させた指先の画像を所定の時間間隔で複数フレーム取得する指先画像取得工程と、該指先画像取得工程により取得された前記指先の画像の各フレーム毎に平均輝度を算出するフレーム輝度算出工程と、該フレーム輝度算出工程により算出された平均輝度から振幅を取得する振幅取得工程と、
該振幅取得工程により取得される振幅の幅に対する複数の閾値をグループ分けして記憶する振幅閾値記憶工程と、該振幅閾値記憶工程に記憶される前記閾値グループの中から、前記指先の画像の連続する複数フレームの平均輝度に基づいて一つの閾値グループを選択する閾値選択工程と、該閾値選択工程により選択された前記閾値グループの各閾値に基づいて、前記振幅取得工程により取得される振幅の幅が所定の閾値を越えているか否かを判断し、該判断結果を報知装置に出力する判断結果出力工程と、して動作させることを特徴とするプログラム。
（付記８）
前記閾値グループの各閾値に対応する振幅は、前記連続する複数フレームの平均輝度が高い場合には大きく設定され、前記平均輝度が低い場合には小さく設定されていることを特徴とする付記７記載のプログラム。
（付記９）
前記フレーム輝度算出工程は、前記平均輝度に代えて前記フレーム内画素の輝度総和、ＲＧＢ要素のＲ成分、又はＹＵＶフォーマットもしくはＹＩＱフォーマットのＹ成分のいずれかを用いる、ことを特徴とする付記７記載のプログラム。

本発明における指先の適正な押圧状態を検知するための検出装置を示す図である。 (a) ，(b) ，(c) は外光の明るさを一定にしたときの指先の押圧状態（指圧）の弱から強への変化と検出脈波の輝度及び波形との関係を示す図である。 指先の押圧状態を一定にして外光の明るさを暗から明に変化させたときの外光の明るさと脈波振幅の変化の関係を示す図である。 (a) は指先の検出装置の具体的な例を示す図、(b) は指先押圧状態の強弱を装置使用者に報知する場合の具体的な報知例を示す図である。 指先の押圧状態を強弱変化させたときに外光が明るいときは脈波の振幅が全体に大きくなり外光が暗いときは脈波の振幅が全体に小さくなることを示す図である。 指先画像の明るさに応じて計測脈波の振幅を５段階のレベルに区分するために用いられるレベル毎の振幅閾値の設定用特性曲線（図では直線）である。 レベル毎の振幅閾値の設定用特性曲線を用いることで指先画像の明るさに関係なく計測脈波の振幅を同じ５段階のレベルに区分できることを示す図である。 指先画像の明るさに応じて計測されたフレームの輝度値の振幅を５段階のレベルに区分するために用いられるレベル毎の振幅閾値の設定テーブルを示す図である。 本例の検出装置において指先適正押圧状態報知を行う制御回路ブロック図である。 制御回路により指先適正押圧状態報知を行う処理の機能ブロック図である。 図１０の機能ブロックにおけるレベル評価部の機能を更に詳しく説明するブロック図である。 データ記憶部に格納されるフレーム毎の輝度平均値のデータテーブルの例を示す図である。 図１２のデータテーブルの輝度平均の値をプロットして得られるグラフの例を示す図である。

符号の説明

１ 検出装置
２ 装置筐体
３ 撮像部
４ ＣＣＤ撮像素子
５ 鏡枠
６ レンズ
７ ガラス板
８ 指先
９ 外光
１１、１３ 不安定波形
１２ 安定波形
１５ 携帯電話
１６ 人差指
１７ 表示部
２１ 第１の報知グループ
２２ 第２の報知グループ
２３ 第３の報知グループ
２４ 第４の報知グループ
２５ 第５の報知グループ
３１ ＣＰＵ(central processing unit）
３２ バス
３３ ＲＯＭ(read only memory)
３４ ＲＡＭ(Random Access Memory)
３５ 記憶部
３６ 通信部
３７ 入出力部

Claims (5)

1. カメラにより撮影された、透明板状部材に接触させた指先の画像を所定の時間間隔で連続して複数フレーム取得する指先画像取得工程と、
   該指先画像取得工程により取得された前記指先の画像の各フレーム毎に平均輝度を算出するフレーム輝度算出工程と、
   該フレーム輝度算出工程により算出された平均輝度から輝度値の振幅を取得する振幅取得工程と、
   該振幅取得工程により取得される振幅の幅に対する複数の閾値をグループ分けして記憶する振幅閾値記憶工程と、
   該振幅閾値記憶工程に記憶される前記閾値グループの中から、前記指先の画像の連続する複数フレームの平均輝度に基づいて一つの閾値グループを選択する閾値選択工程と、
   該閾値選択工程により選択された前記閾値グループの各閾値に基づいて、前記振幅取得工程により取得される振幅の幅が所定の閾値を越えているか否かを判断し、該判断結果を報知装置に出力する判断結果出力工程と、
   を含むことを特徴とする指先適正押圧状態報知方法。
2. 前記閾値グループの各閾値に対応する振幅は、前記連続する複数フレームの平均輝度が高い場合には大きく設定され、前記平均輝度が低い場合には小さく設定されていることを特徴とする請求項１記載の指先適正押圧状態報知方法。
3. 前記フレーム輝度算出工程は、前記平均輝度に代えて前記フレーム内画素の輝度総和、ＲＧＢ要素のＲ成分、又はＹＵＶフォーマットのＹ成分のいずれかを用いる、ことを特徴とする請求項１記載の指先適正押圧状態報知方法。
4. カメラにより撮影された、透明板状部材に接触させた指先の画像を所定の時間間隔で複数フレーム取得する指先画像取得手段と、
   該指先画像取得手段により取得された前記指先の画像の各フレーム毎に平均輝度を算出するフレーム輝度算出手段と、
   該フレーム輝度算出手段により算出された平均輝度から振幅を取得する脈波振幅取得手段と、
   該脈波振幅取得手段により取得される振幅の幅に対する複数の閾値をグループ分けして記憶する振幅閾値記憶手段と、
   該振幅閾値記憶手段に記憶される前記閾値グループの中から、前記指先の画像の連続する複数フレームの平均輝度に基づいて一つの閾値グループを選択する閾値選択手段と、
   該閾値選択手段により選択された前記閾値グループの各閾値に基づいて、前記振幅取得手段により取得される振幅の幅が所定の閾値を越えているか否かを判断し、該判断結果を報知装置に出力する判断結果出力手段と、
   を有することを特徴とする指先適正押圧状態報知装置。
5. コンピュータを指先適正押圧状態報知装置として動作させるためのプログラムであって、該コンピュータを
   カメラにより撮影された、透明板状部材に接触させた指先の画像を所定の時間間隔で複数フレーム取得する指先画像取得工程と、
   該指先画像取得工程により取得された前記指先の画像の各フレーム毎に平均輝度を算出するフレーム輝度算出工程と、
   該フレーム輝度算出工程により算出された平均輝度から振幅を取得する振幅取得工程と、
   該脈波振幅取得工程により取得される振幅の幅に対する複数の閾値をグループ分けして記憶する振幅閾値記憶工程と、
   該振幅閾値記憶工程に記憶される前記閾値グループの中から、前記指先の画像の連続する複数フレームの平均輝度に基づいて一つの閾値グループを選択する閾値選択工程と、
   該閾値選択工程により選択された前記閾値グループの各閾値に基づいて、前記振幅取得工程により取得される振幅の幅が所定の閾値を越えているか否かを判断し、該判断結果を報知装置に出力する判断結果出力工程と、
   して動作させることを特徴とするプログラム。

Images