JP5027604B2 - 指先適正押圧状態報知方法及び装置 - Google Patents

指先適正押圧状態報知方法及び装置 Download PDF

Info

Publication number
JP5027604B2
JP5027604B2 JP2007245606A JP2007245606A JP5027604B2 JP 5027604 B2 JP5027604 B2 JP 5027604B2 JP 2007245606 A JP2007245606 A JP 2007245606A JP 2007245606 A JP2007245606 A JP 2007245606A JP 5027604 B2 JP5027604 B2 JP 5027604B2
Authority
JP
Japan
Prior art keywords
amplitude
fingertip
threshold
luminance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007245606A
Other languages
English (en)
Other versions
JP2009072438A (ja
Inventor
あゆ 宮川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2007245606A priority Critical patent/JP5027604B2/ja
Publication of JP2009072438A publication Critical patent/JP2009072438A/ja
Application granted granted Critical
Publication of JP5027604B2 publication Critical patent/JP5027604B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Description

本発明は、指先を押圧面に押圧した際の適正な押圧状態を装置使用者に報知する指先適正押圧状態報知方法及び装置に関する。
近年、健康管理器具に興味を持つ人が増えており、体脂肪計や脈波計、簡易的な心電計測器など個人で所有できるものも増えている。中でも脈波計にあっては、検出した脈波を分析することで、個人の精神状態(平常/異常)等を推測し、例えば自動車の運転手の脈拍から精神状態を推測することで、安全運行に役立てることが考えられている。
精神状態の推測に用いるのみでなく、当然ながら脈波(脈拍)データは、血圧や心電波等のデータと並んで、健康管理上において体調判断の重要な指標となるものである。
脈波を採取する装置としては、例えば指や耳朶を挟むクリップ式センサ等があるが、このような専用器具を利用しなくても、常時携帯可能で任意の時に容易に使用できるような小型の脈拍検出装置が要望されている。
このような要望に応えるものとして、例えば腕時計にあってはLED及びホトトランジスタを組み込んで脈拍を検出し、その検出した脈拍数を表示するものが知られている。
脈波は、カメラや携帯電話機等に搭載されている皮膜ガラス付カメラでも採取することができる。皮膜ガラス付カメラで脈波を採取する場合には、皮膜部に指先を接触(押圧)させて、該接触させた指先部を撮影することになる。しかし、現在の皮膜ガラス付カメラでは、指先の押圧状態が変動しやすく脈波の安定的な採取が困難である。
また、上記いずれの測定方法によっても、その測定によって得られる脈波データは、外部光による雑音信号が混入したり、その逆に正常な信号を検出し損なう場合が多い。それにも拘わらず、測定が実行されて、その誤った測定に基づく脈波データが表示装置に表示されると、精度が低くなるという問題が発生する。
一方、指先を皮膜ガラスなどの皮膜部に押圧した際の適正な押圧状態を検知するものとして、CCDカメラのカバーを押圧面として、その押圧面を可動にし、その押圧面に指を接触させ、指先で押圧面を押込んだ状態(押圧が加わった状態)で、指先による押圧力が所定の大きさのときに、CCDカメラによって指紋検知を行う指紋検知装置が提案されている(例えば、特許文献1参照)。
特開平11−225998号公報(第3頁、図1)
ところで、特許文献1では、指紋採取を目的としており、指紋の採取時間は一瞬の時間でよいので、押圧を加えていきながら所望の押圧状態となったときに指紋を検出する構成となっている。
ところが、脈波を採取するには、少なくとも脈波の数サイクル(複数の脈動間隔)を採取する必要がある。この脈波の計測のように一定時間を必要とする計測を目的とする場合は、つまり脈波の計測に限らずデータ採取に指先による押圧が一定の時間、一定の状態に保たれることを条件とするような測定を目的とする場合は、構成の目的が異なるので、特許文献1の装置は不向きである。
本発明の課題は、上記従来の実情に鑑み、皮膜つきカメラを利用した例えば脈波などの検出において、外光が変化する環境下においても、安定的かつ高精度で検出データの採取ができるように、指先を皮膜面に押圧した際の適正な押圧状態を被験者に報知する指先適正押圧状態報知方法及び装置を提供することである。
本発明で開示する指先適正押圧状態報知方法は、カメラにより撮影された、透明板状部材に接触させた指先の画像を所定の時間間隔で複数フレーム取得する指先画像取得工程と、該指先画像取得工程により取得された上記指先の画像の各フレーム毎に平均輝度を算出するフレーム輝度算出工程と、該平均輝度算出工程により算出された平均輝度から振幅を取得する振幅取得工程と、該振幅取得工程により取得される振幅の複数の閾値をグループ分けして記憶する振幅閾値記憶工程と、該振幅閾値記憶工程に記憶される上記閾値グループの中から、上記指先の画像の連続する複数フレームの平均輝度に基づいて一つの閾値グループを選択する閾値選択工程と、該閾値選択工程により選択された上記閾値グループの各閾値に基づいて、上記振幅取得工程により取得される振幅が所定の閾値を越えているか否かを判断し、該判断結果を報知装置に出力する判断結果出力工程と、を含んで構成される。
本発明によれば、指先画像の平均輝度が高い場合には計測結果の脈波振幅が大きくなることに着目して、指先画像の平均輝度の高低に応じて閾値とする振幅も大小に変化させるので、外光が変化する状況下であっても、常に同様な指先の押圧状態を識別でき、これにより、指先を皮膜面に押圧した際の適正な押圧状態を装置使用者に報知する指先適正押圧状態報知方法及び装置を提供することが可能となる。
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
図1は、本発明における指先の適正な押圧状態を検知するための検出装置を示す図である。同図に示すように、検出装置1は、装置筐体2と、この装置筐体2の中に配設された撮像部3を備えている。
撮像部3は、底部にCCD撮像素子4を備え、その上方に鏡枠5に保持されたレンズ6を備え、レンズ6の上方にレンズを保護するための透明板状部材であるガラス板7を備えている。なお、ガラス板7は、その部材をガラスかつ板状に限るものではなく、透明、または有色であっても光を透過させる部材で、指先8の押圧により変形しない程度の固さがある部材であれば、どのようなものであっても構わない。また、ガラス板7を設置せず、レンズ6に指を直接接触させてもよい。
このガラス板7の上面に、装置使用者がその指先8を載せて、不図示の入力操作部から、例えば脈波の計測を指示すると、後述する制御部からの制御のもとに脈波の計測が開始される。
この脈波の計測では、指先の血管を流れる血流量が脈拍に応じて変化することにより、指先8の周囲から射し込む外光9による指先透過光量が変化する。
その指先の画像をCCD撮像素子4により所定の時間隔(携帯電話のカメラ(CCD撮像素子)では7.5、10、15、30フレーム/秒などが多い)で撮像し、1フレーム毎の輝度平均を算出する。

CCD撮像素子4により撮影されるフレームの輝度平均は指先の血液の脈流によって変化するので、輝度平均の変化を追跡すれば、脈波の振幅及び周期を検出することができる。
脈波を検出するためには、1フレーム毎の平均輝度の極大(=血流少)/極小(=血流大)状態の振幅繰り返しを検出する必要がある。振幅が大きいほどS/N比が向上するので正確に検知しやすくなる。 また、計測された脈波の振幅は、指先8のガラス板7への接触圧が所定の範囲から外れるほど小さくなる傾向がある。即ち、指圧の強さが弱→中→強となるに応じて、計測される脈波の振幅は小→大→小となる。
従って、正確に脈波を検出するためには、検出に要する時間の間(例えば約5秒以上)、被験者(装置の使用者)が所定範囲の指圧(上記の指圧の強さが中)で指をガラス板7に押圧し続けることが望ましい。
被験者に所定範囲の指圧で指をガラス板7に押圧させ続けるためには、被験者に、装置の操作状態(指による押圧状態)が脈波検知に適した状態になっているか否かを知らせる必要がある。そのためには、指の押圧状態(以下、指圧という)を適切に被験者へ通知する仕組が必要になる。
一方、指圧による振幅変化とは独立した事象として、後述するように、フレームの平均輝度の振幅は画像の平均輝度が明るくなる状態(=外光量が多い、もしくは指が小さい/薄いなど)で計測されるほど大きくなる傾向もある。従って、同一被験者が同じ指圧で脈波を計測した場合あっても、画像の平均輝度が明るくなる状態、即ち外光量が多い状態であるほど大きな振幅が得られることになる。
同じ指圧であっても、外光量の変化(例えば、歩きながら計測して外光状態が変化する等)に応じて検知への適否が異なるかたちで被験者に通知されると、被験者の操作容易性を損なうので、外光量の変化に関わらず、指圧が同程度であれば検知への適否状態も同程度として被験者へ通知されることが望ましい。
さらには、簡便性を維持するために、専用の脈波検出装置ではなく、携帯端末へCCDカメラを搭載する以外の装置を追加することなく、上記のような脈波検知のための指圧状態の適否の被験者への通知を実現することが望ましい。
このように、本発明の目的は、脈波を検出することにあるのでは無く、指先の適正な押圧状態を一定時間維持するために、適正であるべき押圧状態に対して現在実行中の押圧状態がどの押圧レベルであるかを装置使用者に報知することにある。
図2(a) は、外光の明るさを一定にしたときの指圧の弱から強への変化と、そのときの検出脈波の輝度及び波形との関係を示す図である。図2(b) は同図(a) の波形11又は13の部分の拡大図であり、同図(c) は同図(a) の波形12の部分の拡大図である。
尚、図2(a) は、横軸に指圧の強さを示し、縦軸に検出脈波の輝度を示している。また、外光は指先の脇からも幾分入射し、この指先の脇から入射する外光は画像の雑音信号となるが、指先画像の輝度は、指先の血液の脈流の強弱に応じて上下し、脈波の上下のピークは輝度の上下で決まるので、指圧が正常な脈流を妨げない程度の強さで一定していればよい。
ところで、図2(a) では、波形11に示すように、指圧が低いと指先画像の輝度が低下
すると共に脈波の波形も不安定な状態になることがわかる。
そして、波形12に示すように、指圧が或る程度強くなると指先画像の輝度が上昇すると共に脈波の波形が安定し、脈波計測のための理想的な状態となることがわかる。
そして、波形13に示すように、更に指圧が強くなると、輝度も更に上昇するが、脈波の波形は再び不安定な状態になることが判明する。
これらの状態は、指圧が低いと指先が厚くなり、外光の透過率が悪くなって輝度が下がると共に、血液の脈流の強弱も画像の輝度に明瞭に反映されなくなり、脈波の波形が不安定になるためと推測される。
また、極端に指圧が強いと、指先が薄くなり、その分、外光の透過率が良くなって輝度は上がるが、強い指圧で血管が圧迫されるので脈流が妨げられ、脈流の強弱が画像の輝度に明瞭に反映されなくなり、この場合も脈波の波形が不安定になるためと推測される。
したがって、正しい脈波を検出しようとする場合は、一定時間、例えば10秒くらいの間、波形12の状態になるよう指圧を一定に維持することが重要となる。
そこで、指圧の状態(レベル)を、例えば5段階に区分し、図2(a) の波形12の状態をレベル5とし、この波形12を中心にして左(指圧が弱くなる)右(指圧が高くなる)のいずれかに変化するほど、レベル4、3、2、1と、レベルを下げていき、このレベルを装置使用者に報知するようにすれば、装置使用者は、そのレベルの報知を視認して最適な指圧レベル5に指圧を維持するように努力することができると考えられる。
図3は、図1の指先8のガラス板7への押圧状態を一定にして、外光9の明るさを暗から明に変化させたときの外光9の明るさと脈波振幅の変化の関係を示す図である。
尚、同図は横軸に指先画像の明るさを示し、縦軸に振幅の大きさを示している。また、外光9の明るさの変化の影響は、例えば、外光9の光源を指先8の背に、遠いところから徐々に近づけることによって確認可能である。
図3に示すように、指先の押圧状態が一定であれば、外光9が明るくなる、つまり指先の画像が明るくなる、換言すれば、指先画像の輝度が大きくなるに従い、脈波の振幅は大きく検出されることが分かる。
図4(a) は、指先の検出装置の具体的な例を示す図であり、図4(b) は、指先押圧状態の強弱を示す指圧レベルを装置使用者に報知する場合の具体的な報知例を示す図である。
図4(a) は、検出装置として、携帯電話15の撮像部を利用する例を示している。また、図4(a) は、装置使用者が携帯電話15を右手に持ち、左手の人差指16の指先を携帯電話15の撮像部の皮膜ガラス(図では指先の下に隠れているため見えない)の上に押圧している状態を示している。
携帯電話15の撮像部の上方には、表示部17が設けられている。表示部17には、脈拍数を示す「70」と、人差指16の指圧レベルを示すハートマークが表示されている。
装置使用者に指圧レベルを報知する情報である指圧レベルのハートマークには、種々の表示方法がある。同図(b) に示す例は、内部の記憶装置に記憶される指圧レベルと報知されるマークとの関係を示すテーブルである。
同図(b) には、最上段の左から右へ、指圧レベル5、4、3、2、1が設定されており、その下に、指圧レベル5、4、3、2、1にそれぞれ対応する報知マークのグループが設定されている。
第1の報知グループ21は、ハートマークの大きさが、指圧レベルに応じて順次変化す
るものである。そして、例えば、指圧レベル5のときに最大の大きさ、指圧レベル1のときに最小の大きさで表示されるようになっている。
また、第2の報知グループ22は、ハートマークの濃さが指圧レベルに応じて順次変化するものである。そして、例えば、指圧レベル5のときに最高濃度、指圧レベル1のときに最低濃度で表示されるようになっている。
また、第3の報知グループ23は、ハートマークの色が指圧レベルに応じて順次変化するものである。そして、例えば、指圧レベル5のときは「良し」を示す「緑」、指圧レベル4のときは「良しに近いが外れている」ことを示す「黄緑」、指圧レベル3のときは「要注意」を示す「黄」、指圧レベル2のときは「悪い」示す「橙」、指圧レベル1のときは「危険」を示す「赤」、といった色分けになっている。
また、第4の報知グループ24は、ハートマークではなく、ブロックの積み重ね数が指圧レベルに応じて順次変化するものである。例えば、指圧レベル5のときにブロックが最大数の5個、指圧レベル1のときにブロックが最少数の1個となって表示されるようになっている。
また、第5の報知グループ25も、ハートマークではなく、不等号記号のような矢印「>」の表示数が、指圧レベルに応じて順次増減して変化するものである。例えば、指圧レベル5のときには矢印は「>>>>>」のように5個表示され、指圧レベル1のときには矢印は「>」のように1個表示されるようになっている。なお、指圧レベルを報知するために出力する情報は、上述の5種類に限るものではなく、指圧レベルにより内容が変化する情報で、装置使用者がそれを視認できる情報であれば、どのようなものであっても構わない。
装置使用者は、上記のような報知マークを予め選択してから、指先で携帯電話15の撮像部の皮膜ガラスを押圧し、報知マークの変化を見ながら最適な指圧レベル5に対応する報知マークが出るように指圧レベルを加減して、指圧レベル5に対応する報知マークが出たところで、その指圧レベルを維持すればよい。
ところで、図1に示したCCD4で撮像した指先画像の平均輝度から取得される脈波の波形は、外光の明るさによって振幅が異なることは前述した。
図5は、指先の押圧状態を強弱変化させたときに、外光が明るいときは検出される脈波の振幅が全体に大きくなり、外光が暗いときは脈波の振幅が全体に小さくなることを示す図である。図中において、脈波計測に適した状態をレベル5とし、適した状態から離れるほどにレベルの数字が下がるようにレベル分けがされており、各レベルを区別するための閾値として、脈波の振幅の幅、即ち、CCD4により撮像された指先画像のフレームの平均輝度の変化によって形成される各振幅の極大値と極小値との輝度値の差分を用いている。
ここで、同図の下方に示すように、外光が暗いときの脈波の振幅(フレーム平均輝度の各振幅の極大値と極小値との輝度値の差分)を基準として、中央に指圧レベル5を設定し、その左右に順次低下していく指圧レベル4、3、2、1を設定したとする。
同図の下方に示す外光が暗いときの指圧レベルの設定は、ほぼ等間隔に近い状態で設定されているので、装置の使用者の目には、指圧の強弱に応じて変化する指圧レベルの報知マークの変化する時間的間隔は比較的緩やかである。
一方、同図の上方に示す外光が明るいときの指圧レベルの設定で、外光が暗いときと同
様の基準で、つまり振幅が全体に小さいときの基準で、指圧レベルを設定すると、外光が明るいときの脈波の振幅は全体に大きくなるので、振幅が小さくなることに対応して順次小さく設定されている指圧レベル4、3、2、1は、中央より遠く離れて、左右の端に固まってしまう。
したがって、装置の使用者の目には、指圧の強弱に応じて変化する指圧レベルの報知マークが、指圧が弱すぎるときと強すぎるときの左右両端で、変化の時間的間隔が短くなり、指圧が弱すぎるときも強すぎるときも、指圧レベルの報知マークが、めまぐるしく変化するように見えてしまう。
これでは、装置の使用者は、外光の明るいところでは、指圧レベルをちょうど良い中央部分に調節しようとしても、めまぐるしく変化する報知マークの表示に、指先の調節が追随していくことが出来ず、調節することが困難になってくる。
そこで、本例では、前述したように外光が明るいときには脈波の振幅が全体に大きくなることが分かっているので、撮像した指先の画像が明るいときほど、計測した脈波の振幅(フレーム平均輝度の各振幅の極大値と極小値との輝度値の差分)に対して設定するレベルの境界値となる振幅閾値を、大きく設定する。
図6は、指先画像の明るさに応じて計測脈波の振幅を5段階のレベルに区分するために用いられるレベル毎の振幅閾値の設定用特性曲線(図では直線)である。同図は横軸に指先画像の明るさを示し、縦軸に計測した脈波の振幅を示している。
なお、同図の横軸に示す指先画像の明るさは、Nフレームの平均輝度によって求めている。尚、本例では秒当りの撮影フレーム数は、15枚であるが、これに限ることなく20枚であってもよく、また、それ以上であってもよい。要は、そのときの測定環境における輝度が求まればよい。
また、図6に示すように、画像が明るくなるにつれて、測定した脈波の振幅(フレーム平均輝度の各振幅の極大値と極小値との輝度値の差分)に対する各レベルの設定値(閾値)が高くなっているが、この設定は、実験を繰り返した結果として得られた経験値である。
図7は、上記のレベル毎の振幅閾値の設定用特性曲線を用いることで指先画像の明るさに関係なく計測脈波の振幅を同じ5段階のレベルに区分できることを示す図である。同図は横軸に指圧を示している。そして、縦軸の上方に外光が明るい場合の指先画像の輝度変化と振幅の変化を示し、下方に外光が暗い場合の指先画像の輝度変化と振幅の変化を示している。
図6に示したレベル毎の振幅閾値の設定用特性曲線を用いて明るさに応じた各レベルごとの閾値を設定すれば、図7に示すように、外光が明るいときも暗いときも、装置使用者の同じ指圧レベルに対しては、輝度の上限と下限の間に、同じ範囲の指圧レベルの領域分割が設定される。
したがって、外光が明るいときも暗いときも、装置使用者の同じ指圧レベルに対しては同様に指圧レベルの報知マークが変化する。これにより、装置の使用者は、外光が明るいときも暗いときも、指圧を最適な状態にもっていくまでの押圧の調節に違和感なく対処することができる。
尚、図6では、レベル毎の振幅閾値の設定に、振幅閾値の設定用特性曲線を用いている
が、所定の許容差を持った「振幅の範囲」と数フレームの輝度から求めた「Nフレームの輝度平均」とに「振幅閾値」を対応させたレベル毎の振幅閾値の設定用テーブルを用いるようにしてもよい。
図8は、指先画像の明るさに応じて計測されたフレームの輝度値の振幅を5段階のレベルに区分するために用いられるレベル毎の振幅閾値の設定用テーブル(レベル評価用テーブルともいう)を示す図である。
図8は上段の横欄に、計測環境の明るさを示すNフレームの輝度平均を19以下(「〜19」)、20から39まで(「20〜39」)、40から59まで(「40〜59」)、60から79まで(「60〜79」)、80以上(「80〜」)の5段階で示している。これら5段階に分けた輝度平均の変化は図6の横軸の値の変化に相当する。
また、図8の左側縦欄には、振幅の範囲(フレーム平均輝度の各振幅の極大値と極小値との輝度値の差分)を振幅0.25以下から0.25刻みに昇順に振幅6以上まで示している。これら振幅の範囲の変化は図6の縦軸の値の変化に相当する。
尚、この縦欄に示す振幅の範囲で、例えば「0.25〜0.5」として示される数値の「0.25」は、「0.25」を含まず「0.25を超えて」の意味であり、それ以下に示す他の範囲を示す左側に来る数値についても同様である。
そして、図8の横欄の「Nフレームの輝度平均」と縦欄「振幅範囲」に対応するテーブルの各升目には、1〜5までのレベルを示す数値が格納されている。以下の説明では、このレベルを示す数値を「評価値」ということにする。
これらの評価値のなかで背景を濃くして表示されている評価値は、単に図8を見やすくするために、評価値が変わる境界の評価値に目印を付けたものである。
図8において、「Nフレームの輝度平均」が最左端の「〜19」のときの「振幅範囲」に対する評価値は、振幅範囲0.5以下(「〜0.25」、「0.25〜0.5」)が評価値「1」、振幅範囲0.5を超えて振幅範囲1以下(「0.5〜0.75」、「0.75〜1」)が評価値「2」、・・・、となっている。
「Nフレームの輝度平均」がテーブルの右方へ大きくなっていくに従って、「振幅範囲」に対する評価値が変わる境界の振幅範囲の値が大きい方に移動している。
これにより、この振幅閾値の設定用テーブルを使用した場合でも、図7に示したよう、外光が明るいときも暗いときも、装置使用者の同じ指圧レベルに対しては、輝度の上限と下限の間に、同じ範囲の指圧レベルの領域分割を設定することができる。
尚、上記図8の、評価値が変わる境目の評価値に対応する左端縦列の振幅範囲の値が、図6に示した指圧レベルごとの振幅の閾値に相当している。
尚、図8に示すテーブルの各値は、あくまでも例として示したものであって、計測装置に実装されるテーブルが、図8の値に設定されるということではない。
図9は、本例の検出装置1において指先適正押圧状態報知を行う制御回路ブロック図である。同図に示すように、検出装置の制御回路は、CPU(central processing unit)31に対しバス32を介して接続されたROM(read only memory)33、RAM(Random Access Memory)34、記憶部35、通信部36、入出力部37、表示部38を備えている。
ROM33には、この検出装置1が例えば携帯用端末であれば、携帯用端末の一般的な動作を制御するプログラムの他に、指先適正押圧状態報知を行うプログラムなどが格納さ
れている。
RAM34は、プログラム領域とデータ領域に分かれており、プログラム領域には、CPU31により必要に応じてROM33から読み出されたプログラムが一時的に記憶され、CPU33は、そのプログラムに従って各部の制御を行う。
一方、RAM34のデータ領域には、CPU33が演算途中の中間データや演算結果のデータが一時的に記憶される。
記憶部35は、内蔵または外付けのハードディスクやフラッシュメモリ等を着脱自在に備えており、これらの記録装置には、予め設定されている例えば図8に示したレベル毎の振幅閾値の設定用テーブル(レベル評価用テーブル)などが格納されている。
通信部36は、この検出装置1が例えば携帯用端末であれば、基地局との電話網による電話通信、インターネット網によるインターネット通信まどの機能を備えている。また、パーソナルコンピュータとのUSB規格の有線通信や赤外線又はブルートゥースによる無線通信機能を備えている。
入出力部37には、例えばCCD4から出力される指先の撮像画像データが入力され、各種の演算結果が表示部38に出力される。
表示部38は、液晶表示装置であり、この検出装置1が例えば携帯用端末であれば、電話やインターネット通信用の大型の主画面と、自分撮影時の画像や、指先押圧時の指圧レベルを表示報知する小型の副画面を備えている。
図10は、上記の制御回路により指先適正押圧状態報知を行う処理の機能ブロック図である。図10に示すように、指先適正押圧状態報知を行う処理は、入力部37a、輝度平均算出部38、データ記憶部39、レベル評価部40、脈拍検出部41、及び出力部37bから成る機能に基づいて行われる。
上記の脈拍検出部41は、ピーク間隔検出部42と脈拍算出部43の機能を備えている。また、レベル評価部40の細部の機能は図11に示される。
図11は、図10の機能ブロックにおけるレベル評価部40の機能を更に詳しく説明するブロック図である。図11に示すように、レベル評価部40は、タイミング制御部45、振幅算出部46、Nフレーム輝度平均算出部47、振幅評価部48、判定テーブル49の機能を備えている。
図12は、上記構成の機能ブロックにおいて、データ記憶部39に格納される、カメラにより撮影されて入力部37aに入力されるフレーム毎の輝度平均値のデータテーブルの例を示す図である。同図には指先の撮影画像のフレームNo.1からNo.64までが示され、それらのフレームから輝度平均算出部38により算出された輝度平均値、例えば「34.887」、「34.007」、「33.652」・・・等が、フレーム番号に対応付けられている。
図13は、図12のデータテーブルの輝度平均の値をプロットして得られるグラフの例を示す図である。同図は横軸に計測時刻を示し、縦軸にフレーム毎の輝度平均を示している。この図13に示す波形が、図2(a) 、図5、図7に示した脈波の波形に対応する。そして、各波の極大値と極小値との差分が、振幅閾値と比較される対象となる振幅となる。
以下、上記の図10〜図13を用いて、制御回路による指先適正押圧状態報知を行う処理について説明する。
先ず、カメラ(図1に示すCCD4)から入力部37aに、指先8を撮影した画像デー
タが例えば毎秒15フレームの割合で入力される。この撮影画像データは輝度平均算出部38に転送される。
輝度平均算出部38では、1フレーム毎に画像データの輝度平均を算出する。輝度平均は1フレームの画素毎の輝度を平均したものである。尚、このように、1フレームの輝度を表す数値として上記のような輝度平均とせず、1フレームの画素毎の輝度の総和を採用するようにしてもよい。
あるいは、輝度ではなく、画像データのRGB要素のR成分を用いても良く、あるいは、画像データがテレビ放送やデジタルビデオの録画形式で一般的に使われているYUVフォーマットもしくはYIQフォーマットのときは、Y成分を用いることもできる。なお、画像フォーマットや使用する成分はこれらに限るものではなく、脈波が採取できれば画像のフォーマット、成分はどのようなものでも良い。
いずれにしても、この処理により図12に示したようなフレーム毎の輝度データのテーブル(又は輝度データに相当するデータ)が生成され、このフレーム毎の輝度データが、レベル評価部40、データ記憶部39及び脈拍検出部41に送信される。
データ記憶部39では、上記のフレームの輝度に関する情報(フレーム毎の輝度平均もしくは輝度総和)を受信すると、受信した順に時系列に、輝度データを格納する。
この輝度データの格納数は、例えば図12に示したように64フレームに対応する64個の輝度データであり、65個目以降の輝度データを受信すると、テーブル内の最古のデータを上書きして更新する。これにより、常に最新の64フレーム分の輝度データがデータ記憶部39に保持されることになる。なお、データ格納数は64に限るものではない。
また、データ記憶部39は、脈波検出用アプリケーションが終了したことを検出した(検出方法は問わない)ときには、テーブルの輝度データをクリアする。
脈波検出部41は、毎秒例えば15フレームの割合で入力される輝度データから、先ず、ピーク間隔検出部42によりピーク間隔を検出する。このピーク間隔を検出するための輝度データのピーク値は、最高値でも最低値でもよい。いずれにしても、図13に示す輝度の波形から、最高又は最低のピーク値と次のピーク値との時間間隔が検出される。
脈拍算出部43では、上記の最高又は最低のピーク値の出現時間間隔のデータをピーク間隔検出部42から受け取って、波形の周期を算出し、その算出した波形周期を脈拍数として、出力部37bに出力する。
出力部37bは、その脈拍数を、表示部38に出力し、表示部38は、例えば表示装置の、指圧レベル表示報知領域の上方に脈拍数を表示する。図4(a) に示す例では、脈拍数が「70」と表示されている。
一方、レベル評価部40では、図11に示すように、先ず、タイミング制御部45が、指圧レベル計測開始のタイミングを振幅算出部46に通知する。例えばタイミング制御部45が、例えば1秒毎に指圧レベル計測開始のタイミングを通知すれば、以降の処理もそれに従って1秒毎に起動されることになる。従って、表示部38に出力される指圧レベルの値も、1秒毎に表示が更新されることになる。なお、タイミング制御部45は必須の構成ではなく、振幅算出部46が波形もしくは波形のピークを算出するたびに、後段の処理を行うようにしても構わない。
振幅算出部46は、データ記憶部39から図12に示すような輝度データを読出し、この輝度データから図13に示すように生成される波形データから振幅を算出し、その算出
した振幅値を振幅評価部48に送信する。
これと平行して他方では、Nフレーム輝度平均算出部47が、同じく図12に示すような輝度データをデータ記憶部39から読出して、指圧レベル計測開始のタイミングから予め設定されているNフレーム分の輝度データから輝度平均を算出し、その算出した輝度平均値を振幅評価部48に送信する。
振幅評価部48は、判定テーブル49に予め格納されている例えば図8に示すようなレベル評価用テーブルを参照し、振幅算出部46から通知された振幅値が、レベル評価用テーブルの左端縦欄のどの振幅範囲に対応するかを認識するとともに、Nフレーム輝度平均算出部47から送信されたNフレーム輝度平均値が、レベル評価用テーブルの上段のNフレーム輝度平均欄のどの輝度平均値の範囲に対応するかを認識する。
この認識に基づいて、その認識した輝度平均値の範囲と振幅範囲とに対応する中央部升目の評価値をレベル評価用テーブルから読み出して、その読み出した評価値を出力部37bに出力する。
例えば、図13において、計測時刻が0から15程度までに検出された波を例にとれば、極小値が33.652(図12のフレームNo.3)、極大値が35.216(図12のフレームNo.10)であるので、振幅すなわち極大値と極小値との差分としては1.564という値になる。Nフレーム輝度平均値は、フレームNo.3からフレームNo.10までの平均値とすると、34.598になる。そして、この1.564という値及び34.598に基づいて図8に示すようなレベル評価用テーブルを参照すると、評価値は「3」であることが求められる。 出力部37bは、その評価値を、表示部38に出力し、表示部38は、例えば表示装置の、指圧レベル表示報知領域に、上記の評価値に対応する表示を図4(b) に示すいずれかの表示方法で表示する。
このように、本発明によれば、指先画像の平均輝度が高い場合には脈波振幅が大きくなることに着目して、指先画像の平均輝度の高低に応じて閾値とする振幅も大小に変化させるので、外光が明るく又は暗く変化する状況下であっても、常に同様な指先の押圧状態を識別でき、これにより、指先を押圧面に押圧した際の適正な押圧状態を装置使用者に報知する指先適正押圧状態報知方法及び装置を提供することが可能となる。
尚、上記の例では、検出装置1を携帯電話とし、携帯電話のみで全ての処理を実行するようにしているが、これに限ることなく、携帯電話ではCCDカメラと表示機能のみを使用し、脈波検出部41による脈波の検出や、レベル評価部40による指圧レベルの評価処理は、携帯電話とネットワークで接続しているサーバ上で行うようにしてもよい。
この場合、輝度データの記憶部(データ記憶部39)をサーバ上に設けるようにしてもよく、その場合は、画像データを携帯電話の識別情報と対応づけてサーバに送信して、サーバの記憶部に格納するようにするとよい。
また、指圧レベル設定の方法として、図6のレベル毎の振幅閾値の設定用特性曲線を用いることや、図8のレベル評価用テーブルを用いることを説明しているが、指圧レベルを設定するための振幅閾値の設定はこれに限ることなく、計算式に拠ってもよい。
例えば、図8に示すレベル評価用テーブルのNフレーム輝度平均20未満(〜19)に対応する5段階レベルの振幅閾値をt1=0.25、t2=0.75、t3=1.25、t4=1.75、t5=2.25とする。
そのとき他の輝度平均Yに対応する5段階レベルの振幅閾値は、Thn =tn ×Y÷20(ただし20≦Y≦100、n =1、2、3、4、5)の式(評価式)で算出するようにするとよい。
なお、上記の演算では、Y≦20ときはY=20として演算し、Y≧100のときはY=100として演算する。
(付記1)
カメラにより撮影された、透明板状部材に接触させた指先の画像を所定の時間間隔で複数フレーム取得する指先画像取得工程と、該指先画像取得工程により取得された前記指先の画像の各フレーム毎に平均輝度を算出するフレーム輝度算出工程と、該フレーム輝度算出工程により算出された平均輝度から振幅を取得する振幅取得工程と、該振幅取得工程により取得される振幅の幅に対する複数の閾値をグループ分けして記憶する振幅閾値記憶工程と、該振幅閾値記憶工程に記憶される前記閾値グループの中から、前記指先の画像の連続する複数フレームの平均輝度に基づいて一つの閾値グループを選択する閾値選択工程と、該閾値選択工程により選択された前記閾値グループの各閾値に基づいて、前記振幅取得工程により取得される振幅の幅が所定の閾値を越えているか否かを判断し、該判断結果を報知装置に出力する判断結果出力工程と、を含むことを特徴とする指先適正押圧状態報知方法。
(付記2)
前記閾値グループの各閾値に対応する振幅は、前記連続する複数フレームの平均輝度が高い場合には大きく設定され、前記平均輝度が低い場合には小さく設定されていることを特徴とする付記1記載の指先適正押圧状態報知方法。
(付記3)
前記フレーム輝度算出工程は、前記平均輝度に代えて前記フレーム内画素の輝度総和、RGB要素のR成分、又はYUVフォーマットもしくはYIQフォーマットのY成分のいずれかを用いる、ことを特徴とする付記1記載の指先適正押圧状態報知方法。
(付記4)
カメラにより撮影された、透明板状部材に接触させた指先の画像を所定の時間間隔で複数フレーム取得する指先画像取得手段と、該指先画像取得手段により取得された前記指先の画像の各フレーム毎に平均輝度を算出するフレーム輝度算出手段と、該フレーム輝度算出手段により算出された平均輝度から振幅を取得する振幅取得手段と、該振幅取得手段により取得される振幅の幅に対する複数の閾値をグループ分けして記憶する振幅閾値記憶手段と、該振幅閾値記憶手段に記憶される前記閾値グループの中から、前記指先の画像の連続する複数フレームの平均輝度に基づいて一つの閾値グループを選択する閾値選択手段と、該閾値選択手段により選択された前記閾値グループの各閾値に基づいて、前記振幅取得手段により取得される振幅の幅が所定の閾値を越えているか否かを判断し、該判断結果を報知装置に出力する判断結果出力手段と、を有することを特徴とする指先適正押圧状態報知装置。
(付記5)
前記閾値グループの各閾値に対応する振幅は、前記連続する複数フレームの平均輝度が高い場合には大きく設定され、前記平均輝度が低い場合には小さく設定されていることを特徴とする付記4記載の指先適正押圧状態報知装置。
(付記6)
前記フレーム輝度算出手段は、前記平均輝度に代えて前記フレーム内画素の輝度総和、RGB要素のR成分、又はYUVフォーマットもしくはYIQフォーマットのY成分のいずれかを用いる、ことを特徴とする付記4記載の指先適正押圧状態報知装置。
(付記7)
コンピュータを指先適正押圧状態報知装置として動作させるためのプログラムであって、該コンピュータをカメラにより撮影された、透明板状部材に接触させた指先の画像を所定の時間間隔で複数フレーム取得する指先画像取得工程と、該指先画像取得工程により取得された前記指先の画像の各フレーム毎に平均輝度を算出するフレーム輝度算出工程と、該フレーム輝度算出工程により算出された平均輝度から振幅を取得する振幅取得工程と、
該振幅取得工程により取得される振幅の幅に対する複数の閾値をグループ分けして記憶する振幅閾値記憶工程と、該振幅閾値記憶工程に記憶される前記閾値グループの中から、前記指先の画像の連続する複数フレームの平均輝度に基づいて一つの閾値グループを選択する閾値選択工程と、該閾値選択工程により選択された前記閾値グループの各閾値に基づいて、前記振幅取得工程により取得される振幅の幅が所定の閾値を越えているか否かを判断し、該判断結果を報知装置に出力する判断結果出力工程と、して動作させることを特徴とするプログラム。
(付記8)
前記閾値グループの各閾値に対応する振幅は、前記連続する複数フレームの平均輝度が高い場合には大きく設定され、前記平均輝度が低い場合には小さく設定されていることを特徴とする付記7記載のプログラム。
(付記9)
前記フレーム輝度算出工程は、前記平均輝度に代えて前記フレーム内画素の輝度総和、RGB要素のR成分、又はYUVフォーマットもしくはYIQフォーマットのY成分のいずれかを用いる、ことを特徴とする付記7記載のプログラム。
本発明における指先の適正な押圧状態を検知するための検出装置を示す図である。 (a) ,(b) ,(c) は外光の明るさを一定にしたときの指先の押圧状態(指圧)の弱から強への変化と検出脈波の輝度及び波形との関係を示す図である。 指先の押圧状態を一定にして外光の明るさを暗から明に変化させたときの外光の明るさと脈波振幅の変化の関係を示す図である。 (a) は指先の検出装置の具体的な例を示す図、(b) は指先押圧状態の強弱を装置使用者に報知する場合の具体的な報知例を示す図である。 指先の押圧状態を強弱変化させたときに外光が明るいときは脈波の振幅が全体に大きくなり外光が暗いときは脈波の振幅が全体に小さくなることを示す図である。 指先画像の明るさに応じて計測脈波の振幅を5段階のレベルに区分するために用いられるレベル毎の振幅閾値の設定用特性曲線(図では直線)である。 レベル毎の振幅閾値の設定用特性曲線を用いることで指先画像の明るさに関係なく計測脈波の振幅を同じ5段階のレベルに区分できることを示す図である。 指先画像の明るさに応じて計測されたフレームの輝度値の振幅を5段階のレベルに区分するために用いられるレベル毎の振幅閾値の設定テーブルを示す図である。 本例の検出装置において指先適正押圧状態報知を行う制御回路ブロック図である。 制御回路により指先適正押圧状態報知を行う処理の機能ブロック図である。 図10の機能ブロックにおけるレベル評価部の機能を更に詳しく説明するブロック図である。 データ記憶部に格納されるフレーム毎の輝度平均値のデータテーブルの例を示す図である。 図12のデータテーブルの輝度平均の値をプロットして得られるグラフの例を示す図である。
符号の説明
1 検出装置
2 装置筐体
3 撮像部
4 CCD撮像素子
5 鏡枠
6 レンズ
7 ガラス板
8 指先
9 外光
11、13 不安定波形
12 安定波形
15 携帯電話
16 人差指
17 表示部
21 第1の報知グループ
22 第2の報知グループ
23 第3の報知グループ
24 第4の報知グループ
25 第5の報知グループ
31 CPU(central processing unit)
32 バス
33 ROM(read only memory)
34 RAM(Random Access Memory)
35 記憶部
36 通信部
37 入出力部

Claims (5)

  1. カメラにより撮影された、透明板状部材に接触させた指先の画像を所定の時間間隔で連続して複数フレーム取得する指先画像取得工程と、
    該指先画像取得工程により取得された前記指先の画像の各フレーム毎に平均輝度を算出するフレーム輝度算出工程と、
    該フレーム輝度算出工程により算出された平均輝度から輝度値の振幅を取得する振幅取得工程と、
    該振幅取得工程により取得される振幅の幅に対する複数の閾値をグループ分けして記憶する振幅閾値記憶工程と、
    該振幅閾値記憶工程に記憶される前記閾値グループの中から、前記指先の画像の連続する複数フレームの平均輝度に基づいて一つの閾値グループを選択する閾値選択工程と、
    該閾値選択工程により選択された前記閾値グループの各閾値に基づいて、前記振幅取得工程により取得される振幅の幅が所定の閾値を越えているか否かを判断し、該判断結果を報知装置に出力する判断結果出力工程と、
    を含むことを特徴とする指先適正押圧状態報知方法。
  2. 前記閾値グループの各閾値に対応する振幅は、前記連続する複数フレームの平均輝度が高い場合には大きく設定され、前記平均輝度が低い場合には小さく設定されていることを特徴とする請求項1記載の指先適正押圧状態報知方法。
  3. 前記フレーム輝度算出工程は、前記平均輝度に代えて前記フレーム内画素の輝度総和、RGB要素のR成分、又はYUVフォーマットのY成分のいずれかを用いる、ことを特徴とする請求項1記載の指先適正押圧状態報知方法。
  4. カメラにより撮影された、透明板状部材に接触させた指先の画像を所定の時間間隔で複数フレーム取得する指先画像取得手段と、
    該指先画像取得手段により取得された前記指先の画像の各フレーム毎に平均輝度を算出するフレーム輝度算出手段と、
    該フレーム輝度算出手段により算出された平均輝度から振幅を取得する脈波振幅取得手段と、
    該脈波振幅取得手段により取得される振幅の幅に対する複数の閾値をグループ分けして記憶する振幅閾値記憶手段と、
    該振幅閾値記憶手段に記憶される前記閾値グループの中から、前記指先の画像の連続する複数フレームの平均輝度に基づいて一つの閾値グループを選択する閾値選択手段と、
    該閾値選択手段により選択された前記閾値グループの各閾値に基づいて、前記振幅取得手段により取得される振幅の幅が所定の閾値を越えているか否かを判断し、該判断結果を報知装置に出力する判断結果出力手段と、
    を有することを特徴とする指先適正押圧状態報知装置。
  5. コンピュータを指先適正押圧状態報知装置として動作させるためのプログラムであって、該コンピュータを
    カメラにより撮影された、透明板状部材に接触させた指先の画像を所定の時間間隔で複数フレーム取得する指先画像取得工程と、
    該指先画像取得工程により取得された前記指先の画像の各フレーム毎に平均輝度を算出するフレーム輝度算出工程と、
    該フレーム輝度算出工程により算出された平均輝度から振幅を取得する振幅取得工程と、
    該脈波振幅取得工程により取得される振幅の幅に対する複数の閾値をグループ分けして記憶する振幅閾値記憶工程と、
    該振幅閾値記憶工程に記憶される前記閾値グループの中から、前記指先の画像の連続する複数フレームの平均輝度に基づいて一つの閾値グループを選択する閾値選択工程と、
    該閾値選択工程により選択された前記閾値グループの各閾値に基づいて、前記振幅取得工程により取得される振幅の幅が所定の閾値を越えているか否かを判断し、該判断結果を報知装置に出力する判断結果出力工程と、
    して動作させることを特徴とするプログラム。
JP2007245606A 2007-09-21 2007-09-21 指先適正押圧状態報知方法及び装置 Active JP5027604B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007245606A JP5027604B2 (ja) 2007-09-21 2007-09-21 指先適正押圧状態報知方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007245606A JP5027604B2 (ja) 2007-09-21 2007-09-21 指先適正押圧状態報知方法及び装置

Publications (2)

Publication Number Publication Date
JP2009072438A JP2009072438A (ja) 2009-04-09
JP5027604B2 true JP5027604B2 (ja) 2012-09-19

Family

ID=40608053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007245606A Active JP5027604B2 (ja) 2007-09-21 2007-09-21 指先適正押圧状態報知方法及び装置

Country Status (1)

Country Link
JP (1) JP5027604B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10813561B2 (en) 2016-12-27 2020-10-27 Samsung Electronics Co., Ltd. Touch-type blood pressure measurement apparatus and method

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5107979B2 (ja) * 2009-08-25 2012-12-26 株式会社ケープ 接触圧測定方法
EP3142067B1 (en) * 2009-10-06 2020-01-01 Koninklijke Philips N.V. Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof
US8761853B2 (en) * 2011-01-20 2014-06-24 Nitto Denko Corporation Devices and methods for non-invasive optical physiological measurements
JP2013110327A (ja) * 2011-11-22 2013-06-06 Shinryo Corp 太陽電池用シリコン基板の製造方法
US20140073969A1 (en) * 2012-09-12 2014-03-13 Neurosky, Inc. Mobile cardiac health monitoring
JP6139148B2 (ja) * 2013-01-25 2017-05-31 Winフロンティア株式会社 自律神経機能評価装置、自律神経機能評価システム、自律神経機能評価サーバー、自律神経機能評価装置プログラム、および、自律神経機能評価サーバープログラム
JP2015181908A (ja) * 2014-03-26 2015-10-22 京セラ株式会社 測定装置、測定システム、測定方法、及び測定装置を備える電子機器
JP6481241B2 (ja) * 2014-07-18 2019-03-13 Winフロンティア株式会社 メンタルゲーム装置、メンタルゲームシステム、メンタルゲームサーバー装置、メンタルゲーム装置プログラム、メンタルゲームサーバー装置プログラム。
JP6673213B2 (ja) * 2014-10-29 2020-03-25 日本電気株式会社 生体認証装置及び生体認証方法
EP3278721B1 (en) * 2015-03-31 2020-11-04 Equos Research Co., Ltd. Pulse wave detection device and pulse wave detection program
JP6308161B2 (ja) 2015-03-31 2018-04-11 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム
JP6455761B2 (ja) * 2015-03-31 2019-01-23 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム
JP7556203B2 (ja) * 2020-03-24 2024-09-26 カシオ計算機株式会社 電子装置、電子装置の制御プログラム及び電子装置の制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10813561B2 (en) 2016-12-27 2020-10-27 Samsung Electronics Co., Ltd. Touch-type blood pressure measurement apparatus and method

Also Published As

Publication number Publication date
JP2009072438A (ja) 2009-04-09

Similar Documents

Publication Publication Date Title
JP5027604B2 (ja) 指先適正押圧状態報知方法及び装置
US9854976B2 (en) Pulse wave velocity measurement method
TWI556793B (zh) 非接觸式即時生理訊號及動作偵測方法
US10339357B2 (en) Device and method for the direct recording of prints of rolled fingers
US10357203B2 (en) Biological information detection device
JP6256488B2 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
JP5515192B2 (ja) 画像記録装置、画像記録方法および制御プログラム
EP3466324A1 (en) Skin diagnostic device and skin diagnostic method
CN104102435A (zh) 一种在使用设备时调整用户姿势的方法及设备
JP2007265125A (ja) コンテンツ表示装置
JP2007319246A (ja) 電子機器及び電子機器を用いた脈拍検出方法
US20200394817A1 (en) Lamp and method for detecting a sitting posture of a user
CN111556727A (zh) 血压测量装置、以及、血压测量方法
US20170116952A1 (en) Automatic parameter adjustment system and method for display device, and display device
JP5333284B2 (ja) 生体状態判定装置
JP2014221172A (ja) 脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システム
US20100268094A1 (en) Consumer electronic camera photoplethysmograph
CN111820870A (zh) 生物影像处理方法以及生理信息检测装置
JP2006243927A (ja) 表示装置
JP5482080B2 (ja) 手認識装置
TWI384383B (zh) 視線察覺裝置及其方法
JP2009125154A (ja) 瞬目計測装置
JP6198530B2 (ja) 画像処理装置
US11257201B2 (en) Computer-implemented method and system for preventing sight deterioration caused by prolonged use of electronic visual displays in low-light conditions
JP2021183079A (ja) 脈波測定装置、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120619

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120622

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5027604

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150