以下、本発明の実施形態について、図を用いて説明する。以下の説明は、実施例1は請求項1、13及び25に、実施例2は請求項2及び14に、実施例3は請求項3及び15に、実施例4は請求項4及び16に、実施例5は請求項5及び17に、実施例6は請求項8及び18に、実施例7は請求項6及び19に、実施例8は請求項7及び20に、実施例8は請求項9及び21に、実施例9は請求項10及び22に、実施例11は請求項11及び23に、実施例12は請求項12及び24に、それぞれ対応する。なお、本発明の内容は、以下の実施例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得る。
<概要>
本実施例の発明は、光を当てた際の瞳孔の変化を動画撮影して、撮影画像の瞳孔変化を時間単位で演算するための機能を携帯端末装置に読取実行可能に記録したプログラムである。また、そのプログラムが読取実行可能に記録された携帯端末装置である。これらは、携帯端末に限らず、デスクトップパソコンなどの端末によっても実現され得るが、以下では、一例として携帯端末を用いた場合について説明する。
以下、本実施例の携帯端末装置の機能及びハードウェアの内容、並びに、処理の流れについて、詳細に説明する。
<機能的構成>
図1は、本実施例の携帯端末装置の機能ブロックの一例である。この図にあるように、本実施例の携帯端末装置(0101)は、カメラ部(0102)と動画ON部(0103)とライト部(0104)とライトON部(0105)と瞳孔認識部(0106)と瞳孔変化演算部(0107)とを有する。
なお、以下に記載する本携帯端末装置を構成する機能ブロックは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。具体的には、コンピュータを利用するものであれば、CPUや主メモリ、バス、あるいは二次記憶装置(ハードディスクや不揮発性メモリ、CD−ROMやDVD−ROMなどの記憶メディアとそれらメディアの読取ドライブなど)、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部やその外部周辺機器用のI/Oポート、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、情報入力に利用されるユーザーインターフェースなどが挙げられる。
また、これらハードウェアやソフトウェアは、主メモリ上に展開したプログラムをCPUで演算処理したり、メモリやハードディスク上に保持されているデータや、インターフェースを介して入力されたデータなどを加工、蓄積、出力処理したり、あるいは各ハードウェア構成部の制御を行ったりするために利用される。また、この発明は装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を記録媒体に固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。
≪カメラ部、ライト部の働き≫
「カメラ部」は、動画又は/及び静止画の撮影のための機能を有する。また、「ライト部」は、携帯端末の撮影側面に備えられているライトの機能を有する。「カメラ部」及び「ライト」部は、表面と裏面に存在する場合があるが、いずれであっても本発明の目的は達成し得る。
図31から図33は、携帯端末装置のうちいわゆるスマートフォンの概略図である。(a)が表面、(b)が裏面であり、実際には図示しないマイクが存在する。
図31の携帯端末装置(4601)の表面には、操作ボタン(4602)と受話部(4603)の他に、カメラ(4604)及びライト(4605)並びに画面(4606)が存在するが裏面にはカメラもライトも存在しない。
図32の携帯端末装置(4701)の表面には、操作ボタン(4702)と受話部(4703)と画面(4706)が存在するもののカメラもライトも存在しないが、裏面にはカメラ(4704)及びライト(4705)が存在する。
図33の携帯端末装置(4801)の表面には、操作ボタン(4802)と受話部(4803)の他に、カメラ(4804)及びライト(4805)並びに画面(4806)が存在し、裏面にもカメラ(4804)もライト(4805)が存在する。
例えば、図31又は図33のような携帯端末を用いた場合、ユーザは、画面を見ながら動画撮影をすることができる。そのため、携帯端末は、図31のように、画面のある表側にカメラとライトが存在しているものを使用することが望ましい。
これに対して、図32のような携帯端末を用いた場合、ライトを瞳孔に当てるためには、ユーザの側には画面の裏側がくることになる。そうすると、ユーザは、自分の目や瞳孔が、画面のいずれの部分に存在するかを把握することができずに、操作の容易性に問題を抱えることとなる。そのため、例えば、瞳孔が画面の中央付近にない場合には「右」「左」などと指示音声で知らせる、他方、瞳孔が画面の中心付近にきた場合には「ピー」という音でユーザに知らせる等の瞳孔位置把握手段を備えていても良い。瞳孔位置把握手段は、音以外でも、例えば、ライトの照度変化によってユーザに瞳孔が画面の中心付近にきていることを知らせることでも良い。
瞳孔の大きさは、赤外線を用いることで容易に認識することができる。そのため、カメラは、赤外線カメラ機能が付いていることが望ましい。
また、ユーザ側に画面が向いている場合において、画面の面にカメラのみが存在する携帯端末装置の場合、画面の一部を照度の強い白色光映像とすることにより、ライトに代えることもできる。照度の強い白色光映像については、画面の上半分であっても良いし、下半分であっても良いし、さらに上と下の4分の1ずつであっても良い。また、撮影画像が表示される部分と照度の強い白色光映像の部分の比率は、1:1に限られず、瞳孔対光反応を測定することができるのに十分な割合であれば良い。
図46は、画面の一部を照度の強い白色光映像とする場合の携帯端末装置の図である。携帯端末装置(6101)は、カメラ(6102)があるもののライトがないので、画面(6103)の下半分が照度の強い白色光映像(6104)となっている。これにより、ライトに代替することができる。
≪動画ON部、ライトON部の働き≫
「動画ON部」は、携帯端末の動画撮影機能をONにする働きをする。また、「ライトON部」は、携帯端末の撮影側面に備えられているライトを含むライト部をONにする働きをする。本発明の最も基本的な構成として、光を当てた際の瞳孔を動画撮影する必要がある。ユーザは、動画ON部の働きによって、瞳孔部分を動画撮影することができるようになる。また、ユーザは、ライトON部の働きによって、瞳孔に対して光を当てることができる。
この動画ON部における「撮影」とは、同時に録画する場合を含むが、録画を必須としない。例えば、動画ON部においては動画を撮影するだけで、その撮影中の動画を後述する「瞳孔認識部」及び「瞳孔変化演算部」にてリアルタイムで演算するという態様も本実施例に含まれるものである。
また、撮影されている動画には、ライトを当てている最中の動画のみではなく、ライトを当てる前、及びライトを当てた後の動画も含まれていることが望ましい。このようにライトで照射している前後の動画も含むことにより、瞳孔対光反応を精度よく測定することができる。
ここにおける撮影中の動画には、瞳孔が含まれていることが前提になるが、瞳孔のみではなく、瞳孔以外の瞳孔周辺の身体の部分も含まれていることが望ましい。人間の眼球には、その者の健康状態が様々な形で現れる。例えば、アレルギー性結膜炎や感染性結膜炎やぶどう膜炎あるいはドライアイなどにおいては、目の充血を引き起こすがある。そのため、結膜に生じた例えば目の充血の事実によって、上記の症状を知ることができるという作用がある。
次に、「携帯端末」は、例えば、スマートフォンや携帯電話、ノートパソコン、タブレットPC、時計型コンピュータ、ウェアラブルコンピュータ、デジタルカメラ、PDA、PocketPC、Palm、ライトとカメラが付いている専用端末などを広く含むものである。通常であれば、カメラ機能及びライト機能付の機器を前提とするが、本発明では、販売されている単位としてはカメラ機能やライト機能を有しない機器であっても、外付けでカメラを搭載した場合や外付けでライトを搭載した場合には、当該機器と外付けカメラないし外付けライトを一体として「携帯端末」と捉えるものとする。
ライトON部によって照射するライトの強度は、瞳孔が対光反応を起こすに足りる強度であれば良い。それに加えて、眼底検査が瞳孔に光を当てて行うものであることに鑑み、例えば眼底検査を行うに適した光の強度とすることも考えられる。そうすることによって、ストレス強度の測定と同時に眼底検査をも行うことができる。
さらに、携帯端末装置は、動画撮影機能とライトのON・OFFを制御するための制御部を備えていても良い。この制御部によって、ユーザがスウィッチをONにするだけで、自動的に適切なタイミングで動画撮影機能とライトのON・OFFの制御が行われる。
また、その制御部においては、予め設定してある所定の時間になると自動的に動画撮影機能とライトをONにするようにしても良い。そうすることによって、特定の時間の瞳孔対光反応を計測することができるし、例えば、作業中に自動的に測定することも可能となる。
これらにより、光を当てた際の瞳孔を動画撮影することができる。
≪瞳孔認識部≫
「瞳孔認識部」は、撮影中の像の中から人を含む動物の目の瞳孔を認識する働きをする。本発明の課題のポイントは、例えばスマートフォンなどの携帯端末装置による撮影の場合、瞳孔の大きさの変化を把握することができないという点にある。具体的には、携帯端末の動画撮影機能において、例えば顔認識機能については浸透しているものの、眼球のうち瞳孔の部分を認識するための機能は一般的ではない。本発明の課題を解決するためには、瞳孔の大きさを動画情報をもとに演算する必要があるところ、瞳孔の大きさを認識できなければ、そのような演算も不可能である。瞳孔認識部は、瞳孔の大きさを認識することを可能にするものであり、本発明の課題を解決する上で重要な機能である。
瞳孔を認識するための機能としては、瞳孔を撮影した上、瞳孔の動画又は静止画情報をもとに瞳孔の色彩又は明度を登録しておき、登録されている色彩又は明度と同じ色彩又は明度をもつ部分を特定することによって、瞳孔を認識することが考えられる。
また、携帯端末装置は、瞳孔の色彩又は明度を登録していなくとも自動的に瞳孔部分を認識するための手段を備えていても良い。具体的に図38を用いて説明すると、まず眼球の濃色部分(A)薄色部分(B)白色部分(C)及び肌部分(D)を色彩又は明度によって認識する色彩明度認識手段を有し、次に眼球の薄色部分(B)と白色部分(C)の境界Eを発見する虹彩認識手段、最後に眼球の濃色部分(A)と薄色部分(B)の境界である境界Fを発見する瞳孔発見手段を有するという方法であっても良い。
そして、瞳孔部分に微動が生じたとしても、トレースして識別を継続することが望ましい。また、瞳孔部分の微動を防止するため、例えば、図50のように、携帯端末装置(6801)を横向きにして、かつ、カメラ(6802)やライト(6803)に近い場所の画面(6804)上に動画などの画像(6805)を表示させることによって、1点を見させることで瞳孔部分を固定するという工夫が考えられる。この場合、画面(6804)に白色光を表示させれば、ライトの光に代えることができる。動画などの画像を表示させる場所は、カメラ(6802)の中心線上に動画の中心線がくるように位置付けることが望ましい。また、画像中に注目しておくべき注目点(6806)を明示しても良い。
瞳孔部分については、その円周が一層濃い色となっている場合もある。そのような場合、その一層濃い色となっている部分の内側を境界Fとしても良いし、外側を境界Fとしても良いし、中間点を境界Fとしても良い。もっとも、情報の精度を上げるため、計測毎に異なるのは望ましくなく、統一した設定であることが望ましい。
この点につき、図45を用いて説明する。図45は、人の目の部分を輪郭線のみで示した図である。人の目(6001)には、虹彩境界部分(6002)と瞳孔境界部分(6003)が存在し、瞳孔の内側に点線で示した箇所まで一層濃い色となっている部分(6004)が存在する場合がある。そのような場合、一層濃い色となっている部分(6004)を境界Fとしても良いし、瞳孔境界部分(6003)を境界Fとしても良いし、中間点を境界Fとしても良い。
図34は、瞳孔を認識した場合の画面を示す図である。携帯端末装置(4901)を用いて左図のように瞳孔を含んだ目の部分を撮影して、瞳孔部分の認識に成功した場合、右図のように、瞳孔を認識済みであることを示すように瞳孔部分(4902)を浮き上がらせる構成としても良い。これにより、瞳孔認識に成功したことをユーザに伝えることができる。その他にも、瞳孔認識に成功したことを伝える手段としては、例えば「ピー」という通知音や照度の変化などを通して伝えるという方法であっても良いし、それらに限らない。
自動で瞳孔を認識するため、カメラは、焦点を自動で合わせるためのオートフォーカス機能が付いていることが望ましい。また、ユーザが操作する上で手ぶれが生ずる可能性があるので、手ぶれ防止機能を有することが望ましい。これにより、正確な瞳孔認識をすることができる。
また、動画撮影中は、基本的に瞬きをしないことから、ユーザは、目が乾くなどの症状に襲われる。そこで、ユーザとしては、経過秒数又は残り秒数などを把握できれば便利である。そこで、動画撮影中においても、撮影の残り時間を音などで知らせる工夫があることが望ましい。
また、瞬きをした場合には演算の精度が下がってしまうものの、瞬きをしたことをユーザが気付かない場合がある。そのため、瞬きを認識した場合には、動画撮影をやり直すため、通知音ないしライトのON・OFFや色や照度などで知らせる機能を備えていても良い。また、瞬きを認識した場合には、動画撮影を最初からやり直すのではなく、撮影時間(計測時間)を延長するための延長機能を有していても良い。
≪瞳孔変化演算部≫
「瞳孔変化演算部」は、認識した瞳孔の開き具合の時間変化である瞳孔変化を演算する働きをする。前述のとおり、ストレスやリラックスの程度は、瞳孔対光反応の度合いとの関係において相関関係を有する。したがって、瞳孔変化演算部は、瞳孔対光反応を演算するものである。そして、その瞳孔対光反応とは、具体的には、瞳孔に光を当てたことによる瞳孔の大きさの時間変化である。
演算の対象となる瞳孔のデータは、瞳孔の直径である場合や瞳孔の面積である場合などが考えられる。例えば、瞳孔の直径であれば、まつ毛などで瞳孔の全体像が遮られていたり、瞼が完全に開いていないなどのときであっても、より正確に測定することが可能であるという点では望ましい。他方、瞳孔の面積であれば、上記のような事情がなければ瞳孔の大きさを精度よく捉えることができるという点で望ましい。
また、演算内容については、直径値や面積値に加えて、瞳孔が最小になるまでに要した時間、縮瞳率や縮瞳速度及び縮瞳加速度などを求めることが考えられる。ユーザは、この演算によって求められた値などによって、自己の瞳孔対光反応の情報を得ることができる。そうすれば、それとストレスやリラックスの度合いとの相関関係を踏まえた分析をユーザが行うことによって、ユーザは、自己のストレスやリラックスの度合いを客観的に知ることができる。
また、さらに演算の内容として、縮瞳した瞳孔が正常(元の状態)になるまでに要した時間、散瞳率や散瞳速度及び散瞳加速度など求めることが考えられる。そのためには、さらに携帯端末の撮影側面に備えられているライトをOFFにする「ライトOFF部」を有していても良い。これによれば、さらに正確なストレス度合いを知ることができる。
瞳孔演算の具体的内容については、撮影部分との距離が一定ではないことを考えると、動画中の瞳孔部分の大きさを漫然と測定しても正確な瞳孔変化を測定することができない。正確な測定を実現するためには、撮影部分との距離や角度などによる影響が小さい構成があることが望ましい。具体的には、たとえば図39を用いて説明すると、虹彩部分(5401)の直径αと瞳孔部分(5402)の直径βとを除算により比較することで値を求めれば、撮影部分との距離や角度などによって左右されない。例えば、図39の例でいえば、演算結果は、「α/β」又は「β/α」である。そのため、虹彩部分の直径αと瞳孔部分の直径βとを比較する構成であることが望ましい。
このような比較を実現するためには、前記図38において説明した虹彩発見手段と瞳孔発見手段を踏まえた上で、虹彩部分及び瞳孔部分の直径を動画上で測定する直径測定手段、及び測定した直径について除算を実施する除算手段を有することで実現可能である。
≪その他≫
その他にも、ユーザを特定するための識別情報として、氏名、年齢及び生年月日、食事傾向などの登録情報を受け付ける登録情報受付部を有していても良い。そして、この登録情報と関連付けて、ユーザの虹彩情報を受け付けると良い。それにより、携帯端末装置のカメラにより虹彩認識をすることにより、ユーザIDなどによらずに、確実なユーザ管理を行うことができる。
また、携帯端末装置に外付けのファンを付けることにより、ファンを起動させて同時に眼圧検査をすることもできる。眼圧検査においては、瞬きをすると眼圧が高く測定されてしまう傾向があるため、前記の瞬きした場合の通知機能が眼底検査に役立つものである。眼底検査により、緑内障、網膜剥離、脈絡剥離、虹彩毛様体炎などの病気が判明する。
また、瞳孔変化の情報の価値を高めるためにも、氏名、性別、生年月日、出身地、計測時刻、計測場所(例えば、住居、大学、職場、居酒屋、電車内、公園など)、食前・食後の別、食後の場合には食品成分、職業、計測日の仕事の有無及び強度、及び体組成データや治療履歴などの付加情報を合わせて保持することが望ましい。特に、生年月日については、ストレス評価をするにあたってノイズとなり得るバイオリズムについて、それを加味したストレス評価を実現するために必要なものである。また、携帯端末装置にGPSが搭載されている場合には、そのGPS機能を用いて、測定場所の経度・緯度を認識し、その情報から高度を割り出す機能を備えていても良い。ストレスは、酸素の濃度でも影響を受け得ることから、付加情報としての意味をもつ。
さらに、瞳孔変化を一覧で出力する瞳孔変化一覧出力部を有していることが望ましい。一覧表示の方法としては、グラフや表やカレンダーなどが考えられる。
図35は、瞳孔変化一覧出力部において処理される統計情報の内容を示す図である。ユーザAについて、日付ごとに瞳孔変化が一覧で示されている。これに加えて、例えば、日付欄の部分に測定条件などの情報が記されていても良い。例えば、測定した場所の明るさ、測定時刻、食前・食後の別、前日の睡眠時間、計測日の仕事の有無及び強度などの情報と一緒に示されていれば、ユーザは、自己のストレスの原因を知ることができ、ストレスを減らすための生活を考えることに役立つ。
また、瞳孔の境界が分かりにくい場合には、図36のように、瞳孔認識部で認識した瞳孔部分を目立たせる工夫をしても良い。図36では、瞳孔の輪郭が明確になる工夫がされている。
加えて、携帯端末装置は、演算終了後、撮影した動画をリプレイするためのリプレイ部を備えていることが望ましい。このリプレイにおいては、瞳孔認識部における瞳孔認識が正確か否かを確認できるよう、瞳孔と認識した部分について白抜きなどするか、又は、図51にあるように径として測定に用いた部分を明示する構成にすることが望ましい。
さらには、撮影直後に瞳孔変化を確認できるように、画面中に瞳孔収縮に関するデータを表示しても良い。図52は、画面中に瞳孔収縮に関するデータを表示した一例である。ライトが明るくなったタイミング、ライトの照度、瞳孔の変化の推移などが一覧になっており、ユーザが一目して演算結果がわかるようになっている。
≪まとめ≫
以上のような機能を有することによって、携帯端末装置において、ストレスとの相関関係のある他覚症状によって、ストレスの状態を測定するための技術を提供することができる。
<ハードウェア的構成>
図2は、上記機能的な各構成要件をハードウェアとして実現した際の携帯端末装置における構成の一例を示す図である。この図を利用して本装置での各処理におけるそれぞれのハードウェア構成部の働きについて説明する。
この図にあるように、本実施例の携帯端末装置は、各種演算処理を行う「CPU(中央演算装置)」(0201)と、「主メモリ」(0202)と、を備えている。また、「HDD」(0203)や、外部機器(0206)の「I/F(インターフェイス)」(0207)と情報の送受信を行うための「ネットワークI/F(ネットワークインターフェイス)」(0204)や、カメラやライトやディスプレイなどとの間で情報の送受信を行うための「I/O(インプット・アウトプット)」(0208)も備えている。そして、それらが「システムバス」(0205)などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。ここにおける「外部機器」とは、通常は、管理者端末又は統計処理装置などを指すが、例えばユーザ端末や医療機関の端末を含むものである。
また、「主メモリ」は、各種処理を行うプログラムを「CPU」に実行させるために読み出すと同時にそのプログラムの作業領域でもあるワーク領域を提供する。また、この「主メモリ」や「HDD」、図示しない「フラッシュメモリ」にはそれぞれ複数のアドレスが割り当てられており、「CPU」で実行されるプログラムは、そのアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。本実施例において格納されているプログラムは、携帯端末の動画撮影機能をONにする動画ONプログラムと、携帯端末の撮影側面に備えられているライトをONにするライトONプログラムと、撮影中の像の中から人を含む動物の目の瞳孔を認識する瞳孔認識プログラムと、認識した瞳孔の開き具合の時間変化である瞳孔変化を演算する瞳孔変化演算プログラムなどである。
携帯端末装置の動画ONプログラムによって取得されたユーザの瞳孔画像は、「主メモリ」及び「HDD」のアドレスに格納する。そして、携帯端末装置の「CPU」において、「主メモリ」に格納されている動画情報を用いて、論理演算処理によって認識した瞳孔の時間変化を演算するという具合である。なお、撮影した動画を録画する場合には、このように動画情報を「HDD」に格納するが、他方、撮影した録画をリアルタイムで瞳孔を認識・演算する場合には動画情報を「HDD」に格納しないこととなる。
<処理の流れ>
図3は、本実施例の携帯端末装置における処理の流れの一例を示すフローチャートである。以下に示すステップは、媒体に記録された計算機(携帯端末)を制御するためのプログラムを構成する処理ステップであっても構わない。
この図の(a)にあるように、まず、携帯端末の動画撮影機能をONにする(S0301)。次に、携帯端末の撮影側面に備えられているライトをONにする(S0302)。そして、撮影中の像の中から人を含む動物の目の瞳孔を認識する(S0303)。最後に、認識した瞳孔の開き具合の時間変化である瞳孔変化を演算する(S0304)。
図の(b)にあるように、携帯端末の動画撮影機能をONにする動画ONステップ(S0301)と携帯端末の撮影側面に備えられているライトをONにするライトONステップ(S0302)は、順番が逆であっても良い。つまり、まず携帯端末の撮影側面に備えられているライトをONにする。次に、携帯端末の動画撮影機能をONにする。そして、撮影中の像の中から人を含む動物の目の瞳孔を認識する。最後に、認識した瞳孔の開き具合の時間変化である瞳孔変化を演算するという処理の流れでも良い。
また、図(c)にあるように、携帯端末の撮影側面に備えられているライトをONにするライトONステップ(S0302)と撮影中の像の中から人を含む動物の目の瞳孔を認識する瞳孔認識ステップ(S0303)は、順番が逆であっても良い。つまり、まず携帯端末の動画撮影機能をONにする。次に、撮影中の像の中から人を含む動物の目の瞳孔を認識する。そして、携帯端末の撮影側面に備えられているライトをONにする。最後に、認識した瞳孔の開き具合の時間変化である瞳孔変化を演算するという処理の流れでも良い。
なお、以上のような処理の流れの順番については、本実施例以外の実施例についても同様である。
また、さらに縮瞳した瞳孔が正常(元の状態)になるまでに要した時間、散瞳率や散瞳速度及び散瞳加速度など求めるため、携帯端末の撮影側面に備えられているライトをOFFにする「ライトOFFステップ」を有していても良い。これによれば、さらに正確なストレス度合いを知ることができる。
図53は、ライトOFFステップを有する場合の処理の流れを示す図である。まず、動画ONステップ(S7101)、ライトONステップ(S7102)が存在する。次に、瞳孔認識ステップ(S7103)として認識がスタートし、瞳孔認識に成功したか否かを確認し(S7104)、瞳孔認識に成功するまで認識ステップが繰り返される。この瞳孔認識は、全体の処理が終了するまで継続する。次に、瞳孔変化演算ステップ(S7105)が存在する。この瞳孔変化演算は、全体の処理が終了するまで継続する。次に、ライトOFFステップの内容として、ライトをOFFにするかの確認があり(S7106)、YESであればライトをOFFにし(S7108)、NOであればYESになるまで処理を継続する。ここでのライトをOFFにするかの確認は、予め定められた時間の経過時、あるいは縮動停止時又は一定以下の速度となった時にライトをOFFにするということが考えられる。縮瞳速度などの生体反応に個人差があることを考えると、ライトをOFFにするタイミングは、一律ではなく、縮動停止時又は一定以下の速度となった時とすることが望ましい。最後に、全体の処理が終了か否かの確認があり、NOであれば処理を継続し、YESであれば全体の処理を終える。全体の処理が終了か否かの確認は、予め定められた時間の経過時、散動停止時又は一定以下の速度となった時、あるいは認識時の瞳孔の大きさに戻った時にYESにするということが考えられる。
図40は、以上のステップをタイムチャートにした場合の一例を示す図である。ユーザがスウィッチ(SW)をONにすることにより、動画撮影及び瞳孔認識が開始する。その上で、認識が完了して瞳孔認識機能がON(high)になると同時に又は若干遅れて、瞳孔演算が開始する。その後、予め定められた時間の経過時、あるいは縮動停止時又は一定以下の速度(図面のαで示されている範囲)となった時にライトがOFFになる。そして、更に予め定められた時間の経過時、あるいは散動停止時又は一定以下の速度(図面のβで示されている範囲)となった時、あるいは認識時の瞳孔の大きさに戻った時に全体の処理が終了する。
図40を用いて縮瞳の推移を検討すれば、ライトがONになっている間に縮瞳し、OFFになってから散瞳を始め、一定程度散瞳したところで散瞳が止まるということが分かる。
このタイムチャートにおいて、例えば、動画撮影について、瞳孔演算において重要な部分である虹彩部分及び瞳孔部分だけを自動追尾する段階(High)があってもいい。これにより、瞳孔演算を精度よく実施することができる。
図44は、瞳孔演算の態様を説明するための図である。モデルデータとして、A及びBのデータがあったとして、Aの線のライトを当てた際の縮瞳速度(a1)、最も縮瞳した時の縮瞳率(ha)、ライトを切った後の散瞳速度(a2)、ライトをOFFにしてから散瞳が止まるまでの時間(ta)などを測定することになる。Bの線についても、同じく、ライトを当てた際の縮瞳速度(b1)、最も縮瞳した時の縮瞳率(hb)、ライトを切った後の散瞳速度(b2)、ライトをOFFにしてから散瞳が止まるまでの時間(tb)などを測定することになる。このように、ライトをONにしてから縮瞳が始まり、ライトをOFFにしてから散瞳が始まる。そして、この2つのモデルデータについて、縮瞳及び散瞳のいずれも速度が速い方がストレスが弱いという前提で分析をすれば、モデルデータAよりもモデルデータBの方がストレスが弱いということが分かる。
以上のステップにより、携帯端末装置を用いて、ストレスとの相関関係のある他覚症状によって、ストレスの状態を測定することができる。
<概要>
本実施例は、より望ましい実施形態として、実施例1の構成に加えて、ライトの照度を時間経過とともに変化させる機能を有する携帯端末装置を提供する。
以下、本実施例における装置の機能及びハードウェアの内容、並びに、処理の流れについて、詳細に説明する。
<機能的構成>
図4は、本実施例の携帯端末装置の機能ブロックの一例を示す図である。この図にあるように、本実施例の携帯端末装置(0401)は、カメラ部(0402)、動画ON部(0403)とライト部(0404)とライトON部(0405)と瞳孔認識部(0406)と瞳孔変化演算部(0407)と照度変化部(0408)とを有する。本実施例の特徴は、照度変化部の内容にある。そのため、照度変化部の機能的構成を中心に説明する。なお、その他の機能については、既述の説明と同様であるので、説明を省略する。
「照度変化部」(0406)は、ライトON部にてONにされたライトの照度を時間経過とともに変化させる働きをする。例えば、瞳孔を認識するためには瞳孔に光を当てる必要があるものの、他方で、光の照度が強すぎると瞳孔対光反応を起こしてしまう。そうすると、瞳孔認識部で瞳孔を認識する前に変化が開始してしまい、演算の精度が損なわれる。そこで、照度変化部の働きによって、例えば、瞳孔認識までは弱い照度の光を当てて、それにより瞳孔を認識した時点から、瞳孔対光反応を起こす程度の照度の光を当てることとで、精度の高い演算結果を得ることができる。
さらに、瞳孔変化は、暗室で行うことが望ましいところ、照度変化部の働きによって、最小限の光を利用した操作が可能となり、携帯端末を用いての暗室での利用が可能になる。
<ハードウェア的構成>
図5は、上記機能的な各構成要件をハードウェアとして実現した際の携帯端末装置における構成の一例を示す図である。携帯端末装置は、「CPU(中央演算装置)」(0501)、「主メモリ」(0502)、「HDD」(0503)、「ネットワークI/F」(0504)、「I/O」(0508)、「システムバス」(0505)を有しており、外部機器(0506)は、「I/F」(0507)を有している。
これらの図を利用して、本装置での各処理におけるそれぞれのハードウェア構成部のうち本実施例の特徴的な部分について説明し、その他の部分については既述の実施例の説明と同様である。
本実施例における携帯端末装置においては、「主メモリ」に格納されているプログラムの内容として、照度変化プログラムが追加されている。
そのため、「CPU」での働きにおいて、ライトONプログラムを用いてONにされたライトの照度は、時間経過とともに変化することになる。
<処理の流れ>
図6は、本実施例の携帯端末装置における処理の流れの一例を示すフローチャートである。以下に示すステップは、媒体に記録された計算機(携帯端末)を制御するためのプログラムを構成する処理ステップであっても構わない。
まず、動画ONステップ(S0601)、ライトlow ONステップ(S0602)が存在する。次に、瞳孔認識ステップ(S0603)として認識がスタートし、瞳孔認識に成功したか否かを確認し(S0604)、瞳孔認識に成功するまで認識ステップが繰り返される。この瞳孔認識は、全体の処理が終了するまで継続する。
次に、瞳孔変化演算ステップ(S0605)が存在する。この瞳孔変化演算は、全体の処理が終了するまで継続する。次に、照度変化ステップの内容として、ライトを「high」にするか「low」にするかの確認があり(S0606)、「high」であればライトをhighにする処理(S0607)をし、「low」であればライトをlowにする処理(S0608)をする。ここでのライトを「high」にするか「low」にするかの確認は、例えば、1回目はライトをhighにし、その後、予め定められた時間の経過時、あるいは縮動停止時又は一定以下の速度となった時にライトをlowにするということが考えられる。縮瞳速度などの生体反応に個人差があることを考えると、ライトをlowにするタイミングは、一律ではなく、縮動停止時又は一定以下の速度となった時とすることが望ましい。
最後に、全体の処理が終了か否かの確認があり、全体の処理が終了でなければ、ライトを「high」にするか「low」にするかの確認(S0606)に戻り、全体が終了であれば、全体の処理を終える。全体の処理が終了か否かの確認は、予め定められた時間の経過時、散動停止時又は一定以下の速度となった時、あるいは認識時の瞳孔の大きさに戻った時にYESにするということが考えられる。
本実施例における処理においては、照度変化ステップを有している。「照度変化ステップ」とは、ライトON部にてONにされたライトの照度を時間経過とともに変化させる段階である。
図43は、以上のステップをタイムチャートにした場合の一例を示す図である。ユーザがスウィッチ(SW)をONにすることにより、動画撮影、ライト及び瞳孔認識が開始する。その上で、認識が完了して瞳孔認識状態がHighになると同時に又は若干遅れて、瞳孔演算が開始し、ライトの照度が上がる。その後、予め定められた時間の経過時、あるいは縮動停止時又は一定以下の速度(図面のαで示されている範囲)となった時にライトがlowになる。そして、更に予め定められた時間の経過時、あるいは散動停止時又は一定以下の速度(図面のβで示されている範囲)となった時に全体の処理が終了する。
次に、図54は、認識時の瞳孔の大きさに戻ったときに処理を終了するという構成を可能とするためのタイムチャートを示す図である。ユーザがスウィッチ(SW)をONにすることにより、動画撮影、ライト及び瞳孔認識が開始する。その上で、認識が完了して瞳孔認識状態がHighになると同時に又は若干遅れて、瞳孔演算が開始し、元の状態の瞳孔の演算をした後、ライトの照度が上がる。その後、予め定められた時間の経過時、あるいは縮動停止時又は一定以下の速度(図面のαで示されている範囲)となった時にライトがlowになる。そして、更に予め定められた時間の経過時、あるいは散動停止時又は一定以下の速度(図面のβで示されている範囲)となった時、あるいは認識時の瞳孔の大きさに戻った時に全体の処理が終了する。このように、ライトの照度がhighになる前に演算を実施することにより、元の状態の瞳孔を演算して、その演算結果との一致をもって、全体の処理を終了するという構成をとることができる。
図43を用いて縮瞳の推移を検討すれば、ライトがlowでONになっている間に縮瞳が緩やかに始まり、ライトがhighになると縮動速度が加速し、ライトが再びlowになると散瞳が始まり、一定程度散瞳したところで散瞳が止まるということが分かる。
機能的構成でも述べたように、このような処理の流れにより、精度の高い演算結果を得ることができ、かつ、携帯端末を用いての暗室での利用が可能になる。
<概要>
本実施例は、より望ましい実施形態として、実施例1から2のいずれか一の構成に加えて、ストレスの度合いを評価する機能を有する携帯端末装置を提供する。
以下、本実施例における装置の機能及びハードウェアの内容、並びに、処理の流れについて、詳細に説明する。
<機能的構成>
図7は、本実施例の携帯端末装置の機能ブロックの一例を示す図である。この図にあるように、本実施例の携帯端末装置(1001)は、カメラ部(1002)と動画ON部(1003)とライト部(1004)とライトON部(1005)と瞳孔認識部(1006)と瞳孔変化演算部(1007)とストレス評価部(1008)とを有する。本実施例の特徴は、ストレス評価部の内容にある。そのため、ストレス評価部の機能的構成を中心に説明する。なお、その他の機能については、既述の説明と同様であるので、説明を省略する。
「ストレス評価部」は、瞳孔変化演算部にて演算されて得られた瞳孔変化に基づいてストレス度合いを評価してストレス評価結果を得る働きをする。例えば、瞳孔変化演算部にて演算されて得られた直径値、面積値、瞳孔が最小になるまでに要した時間、縮瞳率、縮瞳速度、縮瞳加速度などのデータをもとに、ストレス度合いを算出する。
ストレス度合いは、%などでの数値であっても良いし、大・中・小などの段階方式でも良い。また、前日比や最大値・最小値との比較値などもしても良い。さらに、睡眠時間や仕事の強度との相関が見て取れる場合には、その相関をもとに、ストレスの原因を導き出しても良い。
図49は、ストレス評価の方法を示した図である。2000人の統計データが図面のような曲線になる場合、縮瞳後散瞳までの時間について、中央値tからの距離を測定することにより、ストレス評価を示すという方法が考えられる。例えば、図49では、「+1σ」よりも中央側については「正常」、「+1σ」のうち中央値tよりも反対側のゾーンの場合には「弱いストレスあり」、「+2σ」のうち中央値tよりの場合には「中度のストレスあり」、「+2σ」のうち中央値tよりも反対側のゾーンの場合には「強いストレスあり」などと判断することが考えられる。さらには「+2σ」よりも中央値tと離れた「over」部分の場合には、「とても強いストレスあり」と判断することが考えられる。
さらに、ストレスの度合いが一定程度を超えた場合には、アラーム音などで知らせる等の機能を備えていても良い。また、親子間や仕事の使用者・労働者間での情報共有を図り、例えば子どもや従業員がストレスを一定程度抱えている場合には、その旨の通知が親や使用者(会社など)に届くというシステムがあれば望ましい。
さらに、ストレス評価結果を一覧で出力するストレス評価一覧出力部が存在することが望ましい。一覧表示の方法としては、グラフや表やカレンダーなどが考えられる。
図37は、ストレス評価結果出力部において出力される統計情報の内容を示す図である。日付ごとのストレス評価結果がカレンダー方式で一覧になって示されている。これにより、ユーザのストレス度合いを一覧することができ、曜日毎のストレス度合いの特徴等を知ることができる。これに加えて、例えば、日付欄の部分に瞳孔変化情報や測定条件などの情報が記されていても良い。例えば、測定した場所の明るさ、測定時刻、食前・食後の別、前日の睡眠時間、計測日の仕事の有無及び強度などの情報と一緒に示されていれば、ユーザは、自己のストレスの原因を知ることができ、ストレスを減らすための生活を考えることに役立つ。
この機能により、ユーザは、ストレス度合いを数値やマークなどによって一目で分かるようになる。また、原因を導くことができれば、それを普段の生活などに生かすことができる。加えて、アラーム機能を備えたり、他者への通知機能を備えていることにより、ストレスが原因の1つとなるような交通事故などを未然に防ぐことに繋がる。
さらに、実施例3に追加した構成であれば、取得した体組成データとストレス評価結果とを一覧で出力する一覧出力部が存在することが望ましい。このように一覧で表示することにより、体組成データの中で、ストレスに影響を与えている要素が何かを瞳孔変化である場合よりも一見して知ることができる。
<ハードウェア的構成>
図8は、上記機能的な各構成要件をハードウェアとして実現した際の携帯端末装置における構成の一例を示す図である。携帯端末装置は、「CPU(中央演算装置)」(1101)、「主メモリ」(1102)、「HDD」(1103)、「ネットワークI/F」(1104)、「I/O」(1108)、「システムバス」(1105)を有しており、外部機器(1106)は、「I/F」(1107)を有している。
これらの図を利用して、本装置での各処理におけるそれぞれのハードウェア構成部のうち本実施例の特徴的な部分について説明し、その他の部分については既述の実施例の説明と同様である。
本実施例における携帯端末装置においては、「主メモリ」に格納されているプログラムの内容として、ストレス評価プログラムが追加されている。
そのため、「CPU」での働きにおいて、瞳孔変化演算プログラムによって得られた瞳孔変化に基づいて、ストレス度合いを評価することになる。
<処理の流れ>
図9は、本実施例の携帯端末装置における処理の流れの一例を示すフローチャートである。以下に示すステップは、媒体に記録された計算機(携帯端末)を制御するためのプログラムを構成する処理ステップであっても構わない。
動画ONステップ(S1201)、ライトONステップ(S1202)、瞳孔認識ステップ(S1203)、瞳孔変化演算ステップ(S1204)、ストレス評価ステップ(S1205)を有している。これらの図を利用して、本装置での各処理の流れのうち本実施例の特徴的な部分について説明し、その他の部分については、既述の実施例の説明と同様である。
本実施例における処理においては、ストレス評価ステップを有している。「ストレス評価ステップ」とは、瞳孔変化演算ステップにて演算されて得られた瞳孔変化に基づいてストレス度合いを評価してストレス評価結果を得る段階である。
機能的構成でも述べたように、ストレス度合いは、%などでの数値であっても良いし、大・中・小などの段階方式でも良い。また、前日比や最大値・最小値との比較値などもしても良い。さらに、睡眠時間や仕事の強度との相関が見て取れる場合には、その相関をもとに、ストレスの原因を導き出しても良い。
さらに、ストレスの度合いが一定程度を超えた場合には、アラーム音などで知らせる等のアラームステップを備えていても良い。また、親子間や仕事の使用者・労働者間での情報共有を図り、例えば子どもや従業員がストレスを一定程度抱えている場合には、その旨のアラームが親や使用者(会社など)に届くというシステムがあれば更に望ましい。
さらに、ストレス評価結果を一覧で出力するストレス評価一覧出力ステップが存在することが望ましい。一覧表示の方法としては、グラフや表やカレンダーなどが考えられる。
このような処理の流れにより、ユーザは、ストレス度合いを数値やマークなどによって一目で分かるようになる。また、原因を導くことができれば、それを普段の生活などに生かすことができる。加えて、アラーム機能を備えたり、他者への通知機能を備えていることにより、ストレスが原因の1つとなるような交通事故などを未然に防ぐことに繋がる。
さらに、実施例3に追加した構成であれば、取得した体組成データとストレス評価結果とを一覧で出力する一覧出力ステップが存在することが望ましい。このように一覧で表示することにより、体組成データの中で、ストレスに影響を与えている要素が何かを瞳孔変化である場合よりも一見して知ることができる。
<概要>
本実施例は、より望ましい実施形態として、実施例1から3のいずれか一の構成に加えて、瞳孔変化を所定のアドレスに対して送信する機能を有する携帯端末装置を提供する。
以下、本実施例における装置の機能及びハードウェアの内容、並びに、処理の流れについて、詳細に説明する。
<機能的構成>
図10は、本実施例の携帯端末装置の機能ブロックの一例を示す図である。この図にあるように、本実施例の携帯端末装置(1301)は、カメラ部(1302)と動画ON部(1303)とライト部(1304)とライトON部(1305)と瞳孔認識部(1306)と瞳孔変化演算部(1307)と瞳孔変化送信部(1308)とを有する。本実施例の特徴は、瞳孔変化送信部の内容にある。そのため、瞳孔変化送信部の機能的構成を中心に説明する。なお、その他の機能については、既述の説明と同様であるので、説明を省略する。
「瞳孔変化送信部」は、瞳孔変化演算部にて演算されて得られた瞳孔変化を所定のアドレスに対して送信する働きをする。例えば、外部機器の一例である統計処理のための統計処理装置の格納領域であるHDDや主メモリに対して瞳孔変化情報を送信する。
また、これらに加えて、外部機器においてストレス評価がなされた場合には、その外部機器からストレス評価結果が送信されてくるという構成にしておくことが望ましい。そうすると、携帯端末装置においては、ストレス評価結果受信部を備えていることが望ましい。
また、外部機器においてストレス評価値と関連付けて対策紹介情報を保持しておき、ストレス評価値が高い場合には、例えばストレス原因となっている要素を解消するような提案や病院・店舗の紹介などの紹介情報を共に受信しても良い。
<ハードウェア的構成>
図11は、上記機能的な各構成要件をハードウェアとして実現した際の携帯端末装置における構成の一例を示す図である。携帯端末装置は、「CPU(中央演算装置)」(1401)、「主メモリ」(1402)、「HDD」(1403)、「ネットワークI/F」(1404)、「I/O」(1408)、「システムバス」(1405)を有しており、外部機器(1406)は、「I/F」(1407)を有している。
これらの図を利用して、本装置での各処理におけるそれぞれのハードウェア構成部のうち本実施例の特徴的な部分について説明し、その他の部分については既述の実施例の説明と同様である。
本実施例における携帯端末装置においては、「主メモリ」に格納されているプログラムの内容として、瞳孔変化送信プログラムが追加されている。
そのため、「CPU」での働きにおいて、瞳孔変化演算プログラムによって得られた瞳孔変化情報について、例えば携帯端末装置の「HDD」や「主メモリ」に格納したり、あるいは外部機器又は図示しない統計処理装置の主メモリまたはHDDに送信することになる。
<処理の流れ>
図12は、本実施例の携帯端末装置における処理の流れの一例を示すフローチャートである。以下に示すステップは、媒体に記録された計算機(携帯端末)を制御するためのプログラムを構成する処理ステップであっても構わない。
動画ONステップ(S1501)、ライトONステップ(S1502)、瞳孔認識ステップ(S1503)、瞳孔変化演算ステップ(S1504)、瞳孔変化送信ステップ(S1505)を有している。これらの図を利用して、本装置での各処理の流れのうち本実施例の特徴的な部分について説明し、その他の部分については、既述の実施例の説明と同様である。
本実施例における処理においては、瞳孔変化送信ステップを有している。「瞳孔変化送信ステップ」とは、瞳孔変化演算ステップにて演算されて得られた瞳孔変化を所定のアドレスに対して送信する段階である。機能的構成でも述べたように、送信先は、当該携帯端末装置であっても良いし、統計処理装置であっても良い。
以上により、瞳孔変化情報を蓄積するために必要な携帯端末装置の記憶領域を節約することができる。また、統計処理を携帯端末以外で実施することにより、携帯端末装置の負荷を軽減することができる。
<概要>
本実施例は、より望ましい実施形態として、実施例3又は3に追加された実施例4の構成に加えて、ストレス評価結果を所定のアドレスに対して送信する機能を有する携帯端末装置を提供する。
以下、本実施例における装置の機能及びハードウェアの内容、並びに、処理の流れについて、詳細に説明する。
<機能的構成>
図13は、本実施例の携帯端末装置の機能ブロックの一例を示す図である。この図にあるように、本実施例の携帯端末装置(1901)は、カメラ部(1902)と動画ON部(1903)とライト部(1904)とライトON部(1905)と瞳孔認識部(1906)と瞳孔変化演算部(1907)とストレス評価部(1908)とストレス評価結果送信部(1909)を有する。本実施例の特徴は、ストレス評価結果送信部の内容にある。そのため、ストレス評価結果送信部の機能的構成を中心に説明する。なお、その他の機能については、既述の説明と同様であるので、説明を省略する。
「ストレス評価結果送信部」は、ストレス評価部にて得られたストレス評価結果を所定のアドレスに対して送信する働きをする。例えば、携帯端末装置のHDDや主メモリの所定のアドレスに対してストレス評価を送信する。あるいは、統計処理のための統計処理装置の格納領域であるHDDや主メモリに対してストレス評価情報を送信する。それにより、ストレス評価情報の蓄積が可能となる。
<ハードウェア的構成>
図14は、上記機能的な各構成要件をハードウェアとして実現した際の携帯端末装置における構成の一例を示す図である。携帯端末装置は、「CPU(中央演算装置)」(2001)、「主メモリ」(2002)、「HDD」(2003)、「ネットワークI/F」(2004)、「I/O」(2008)、「システムバス」(2005)を有しており、外部機器(2006)は、「I/F」(2007)を有している。
これらの図を利用して、本装置での各処理におけるそれぞれのハードウェア構成部のうち本実施例の特徴的な部分について説明し、その他の部分については既述の実施例の説明と同様である。
本実施例における携帯端末装置においては、「主メモリ」に格納されているプログラムの内容として、ストレス評価結果送信プログラムが追加されている。
そのため、「CPU」での働きにおいて、ストレス評価プログラムにより生成されたストレス評価情報について、例えば外部機器又は図示しない統計処理装置の主メモリまたはHDDに送信することになる。
<処理の流れ>
図15は、本実施例の携帯端末装置における処理の流れの一例を示すフローチャートである。以下に示すステップは、媒体に記録された計算機(携帯端末)を制御するためのプログラムを構成する処理ステップであっても構わない。
動画ONステップ(S2101)、ライトONステップ(S2102)、瞳孔認識ステップ(S2103)、瞳孔変化演算ステップ(S2104)、ストレス評価ステップ(S2105)、ストレス評価結果送信ステップ(S2106)を有している。これらの図を利用して、本装置での各処理の流れのうち本実施例の特徴的な部分について説明し、その他の部分については、既述の実施例の説明と同様である。
本実施例における処理においては、ストレス評価結果送信ステップを有している。「ストレス評価結果送信ステップ」とは、ストレス評価ステップにて得られたストレス評価結果を所定のアドレスに対して送信する段階である。送信先としては、例えば、統計処理のために設けられた統計処理装置であっても良い。
以上により、ストレス評価結果を蓄積するために必要な携帯端末装置の記憶領域を節約することができる。また、統計処理を携帯端末以外で実施することにより、携帯端末装置の負荷を軽減することができる。
<概要>
本実施例の発明は、光を当てた際の瞳孔の変化を連続静止画撮影して、撮影画像の瞳孔変化を時間単位で演算するための機能を携帯端末装置に読取実行可能に記録したプログラムである。また、そのプログラムが読取実行可能に記録された携帯端末装置である。なお、本実施例の構成に実施例2から5のいずれか一の構成を追加したものも、本発明に含まれる。
通常、動画よりも静止画の方が解像度が高い。そのため、動画に代えて連続静止画とすることにより、解像度が上がり、瞳孔の境界部分の認識が正確になる。
以下、本実施例の携帯端末装置の機能及びハードウェアの内容、並びに、処理の流れについて、詳細に説明する。
<機能的構成>
図16は、本実施例の携帯端末装置の機能ブロックの一例である。この図にあるように、本実施例の携帯端末装置(2501)は、カメラ部(2502)と連続ON部(2503)とライト部(2504)とライトON部(2505)と瞳孔認識部(2506)と瞳孔変化演算部(2507)とを有する。本実施例の特徴的な機能は、連続ON部にある。そのため、本実施例では、連続ON部の機能を中心に説明する。
「連続ON部」は、携帯端末の連続静止画撮影機能をONにする働きをする。この場合でも、瞳孔対光反応を調べるためには連続静止画を撮影していない時にもライトを瞳孔に充てておくことが必要なので、「ライトON部」は、前述の実施例と同じように、「ライト部」を継続的にONにするものである。
この連続ON部における「撮影」とは、同時に撮影した静止画を保存する場合を含むが、保存を必須としない。例えば、連続ON部においては連続静止画を撮影するだけで、その撮影中の連続静止画を後述する「瞳孔認識部」及び「瞳孔変化演算部」にてリアルタイムで演算するという態様も本実施例に含まれるものである。
ここにおける撮影中の連続静止画には、瞳孔が含まれていることが前提になるが、瞳孔のみではなく、瞳孔以外の瞳孔周辺の身体の部分も含まれていることが望ましい。人間の眼球には、その者の健康状態が様々な形で現れる。例えば、アレルギー性結膜炎や感染性結膜炎やぶどう膜炎あるいはドライアイなどにおいては、目の充血を引き起こすがある。そのため、結膜に生じた例えば目の充血の事実によって、上記の症状を知ることができるという作用がある。
この連続静止画の撮影間隔については、短い間隔である方が望ましい。短ければ、動画に近い情報を得ることができ、正確な瞳孔が最小になるまでに要した時間、縮瞳率や縮瞳速度及び縮瞳加速度を求めることができるからである。短い間隔とは、例えば、2秒間に1枚、更には1秒間に1枚の静止画を撮影するなどである。
さらに、この撮影間隔については、瞳孔変化演算部での演算に影響するので、瞳孔変化情報と関連付けた情報として存在することが望ましい。例えば、1秒間に1枚の静止画を撮影するのであれば、静止画により、1秒間ごとの瞳孔変化が明らかになっていることになる。
<ハードウェア的構成>
図17は、上記機能的な各構成要件をハードウェアとして実現した際の携帯端末装置における構成の一例を示す図である。この図を利用して本装置での各処理におけるそれぞれのハードウェア構成部の働きについて説明する。
この図にあるように、本実施例の携帯端末装置は、各種演算処理を行う「CPU」(2601)と、「主メモリ」(2602)と、を備えている。また、「HDD」(2603)や、外部機器(2606)の「I/F」(2607)と情報の送受信を行うための「ネットワークI/F」(2604)や、カメラやライトやディスプレイなどとの間で情報の送受信を行うための「I/O」(2608)も備えている。そして、それらが「システムバス」(2605)などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。
本実施例において格納されているプログラムは、携帯端末の動画撮影機能をONにする連続ONプログラムと、携帯端末の撮影側面に備えられているライトをONにするライトONプログラムと、撮影中の像の中から人を含む動物の目の瞳孔を認識する瞳孔認識プログラムと、認識した瞳孔の開き具合の時間変化である瞳孔変化を演算する瞳孔変化演算プログラムなどである。本実施例における特徴的なプログラムは、連続ONプログラムである。その他のプログラムについては、既述の説明と同様である。
携帯端末装置の連続ONプログラムによって取得されたユーザの瞳孔画像は、「主メモリ」及び「HDD」のアドレスに格納する。そして、携帯端末装置の「CPU」において、「主メモリ」に格納されている連続静止画情報を用いて、論理演算処理によって認識した瞳孔の時間変化を演算するという具合である。なお、撮影した連続静止画を保存する場合には、このように連続静止画情報を「HDD」に格納するが、他方、撮影した連続静止画をリアルタイムで瞳孔を認識・演算する場合には連続静止画情報を「HDD」に格納しないこととなる。
<処理の流れ>
図18は、本実施例の携帯端末装置における処理の流れの一例を示すフローチャートである。なお、以下に示すステップは、媒体に記録された計算機(携帯端末)を制御するためのプログラムを構成する処理ステップであっても構わない。
この図にあるように、まず、携帯端末の連続静止画撮影機能をONにする(S2701)。次に、携帯端末の撮影側面に備えられているライトをONにする(S2702)。そして、撮影中の像の中から人を含む動物の目の瞳孔を認識する(S2703)。最後に、認識した瞳孔の開き具合の時間変化である瞳孔変化を演算する(S2704)。
ここにおける携帯端末の連続静止画撮影機能をONにする連続ONステップ(S2701)と携帯端末の撮影側面に備えられているライトをONにするライトONステップ(S2702)は、順番が逆であっても良い。つまり、まず携帯端末の撮影側面に備えられているライトをONにする。次に、携帯端末の連続静止画撮影機能をONにする。そして、撮影中の像の中から人を含む動物の目の瞳孔を認識する。最後に、認識した瞳孔の開き具合の時間変化である瞳孔変化を演算するという処理の流れでも良い。
以上のステップにより、携帯端末装置を用いて、ストレスとの相関関係のある他覚症状によって、ストレスの状態を測定することができる。
<概要>
本実施例は、より望ましい実施形態として、実施例4又は瞳孔変化送信部を有する実施例6の構成を備えた携帯端末装置と繋がれている統計処理装置を提供する。統計処理装置の構成の概要としては、携帯端末装置から瞳孔変化情報を受信して、瞳孔変化情報を蓄積して、統計処理を行うというものである。
このような統計処理をすることにより、例えば、ユーザからすれば、適切な診断を得られる点、及び適切な将来予測を立てられるという点にメリットがある。また、提供者からすれば、膨大なユーザ情報を獲得して診断の精度を上げる、有料の情報提供サービスをする、サプリメント・薬や癒し音楽などの商品又は役務の提供及び開発に生かす、医学的研究に生かすというメリットがある。このことは、本実施例に限らず、他の実施例における統計処理についても妥当する。
以下、本実施例における装置の機能及びハードウェアの内容、並びに、処理の流れについて、詳細に説明する。
<機能的構成>
図19は、本実施例の携帯端末装置及び統計処理装置の機能ブロックの一例を示す図である。この図にあるように、本実施例の携帯端末装置(2801)は、カメラ部(2801)と動画ON部(2803)とライト部(2804)とライトON部(2805)と瞳孔認識部(2806)と瞳孔変化演算部(2807)と瞳孔変化送信部(2808)とを有する。そして、本実施例における統計処理装置(2809)は、瞳孔変化受信部(2810)、瞳孔変化蓄積部(2811)、瞳孔変化統計処理部(2812)とを有する。そして、瞳孔変化統計処理部は、ユーザ(2813)や管理者(2814)や医療機関などの第三者(2815)と繋がっている。このユーザ(2813)は、瞳孔変化送信部から瞳孔変化を統計処理装置に送信した当該携帯端末装置を含むものである。本実施例の特徴は、統計処理装置の各部の内容にある。そのため、統計処理装置の各部の機能的構成を中心に説明する。なお、その他の機能については、既述の説明と同様であるので、説明を省略
する。
「瞳孔変化受信部」は、携帯端末装置から送信された瞳孔変化を受信する働きをする。そのため、例えば、直径値や面積値に加えて、瞳孔が最小になるまでに要した時間、縮瞳率や縮瞳速度及び縮瞳加速度などの情報を統計処理装置が受信することとなる。また、これに合わせて、氏名、性別、生年月日、出身地、計測時刻、計測場所(例えば、住居、大学、職場、居酒屋、電車内、公園など)、食前・食後の別、食後の場合には食品成分、職業、計測日の仕事の有無及び強度、及び体温・心拍・血圧・皮膚電気抵抗・体動・呼吸とその変動などの生体データ、並びに体組成データや治療履歴などの付加情報についても受信することが望ましい。そして、この付加情報については、後の統計処理に用いやすいように、瞳孔変化情報と関連付けて保持することが望ましい。
「瞳孔変化蓄積部」は、受信した瞳孔変化を蓄積する働きをする。蓄積の態様については、まずは、ユーザごとに蓄積する態様が考えられる。そうすれば、ユーザのストレス状態の変化を、蓄積された瞳孔変化情報の比較という形で把握することができる。また、次に、ユーザでは分けることなく、日にちごとに分けるという方法がある。この方法によれば、例えば天候がストレスに与える影響などを分析するための蓄積が可能となる。
「瞳孔変化統計処理部」は、蓄積された瞳孔変化を統計処理する働きをする。統計処理としては、前記のように、ユーザごとに統計処理する方法、日付ごとに統計処理する方法、付加情報ごとに統計処理する方法等が考えられる。
前記のように、統計処理をすることのメリットとしては、ユーザからすれば、適切な診断を得られる点、及び適切な将来予測を立てられるという点にあり、また、提供者からすれば、膨大なユーザ情報を獲得して診断の精度を上げる、有料の情報提供サービスをする、サプリメント・薬や癒し音楽などの商品又は役務の提供及び開発に生かす、医学的研究に生かすという点にある。そこで、統計処理装置は、統計処理した結果をユーザ等に開示するための機能を備えていても良い。開示するための機能としては、例えば、統計処理装置において、ユーザ等の端末に対して統計情報を送信するための統計情報送信部を有し、かつ、ユーザ等の端末において、統計処理装置から送信された統計情報を受信するための統計情報受信部を備えている構成が考えられる。その上で、ユーザ等の端末において、統計情報を出力するための統計情報出力部を有していれば、例えば、ユーザは、携帯端末装置のディスプレイ等を通して統計情報を認識することができる。
例えば、ユーザから自覚しているストレス度合いを入力してもらい、そのストレス度合いと瞳孔変化によって導かれるストレス度合いを比較するという方法が考えられる。図41は、縮瞳速度を横軸にとり、ストレス度合いを縦軸にとった場合の図である。統計値としてのデータが曲線(5601)のようになったとき、ユーザの自覚症状としてのストレス度合いがY1の部分(5602)であったとしても、縮瞳速度からすればストレス度合いがY2の部分(5603)である場合には、統計処理及び実際の縮瞳速度に基づいて、Y2の部分に相当するストレス度合いであると診断し、その旨を出力することができるという具合である。このようにすることで、ユーザは、適切な診断を得ることができる。
次に、図42は、縮瞳速度を横軸にとり、ストレス度合いを縦軸にとった場合の特定の作業中の時間毎のストレス変化を示す図である。統計処理の結果導き出された曲線(5701)は、例えば、Z0の部分から1時間後にはZ1の部分に、その1時間後にはZ2の部分に、という具合に時間毎のストレス変化を表している。この図において、例えば、当該特定の作業の現時点でのストレス状態がZ2の部分であるとすれば、その3時間後に対応する部分はZ5の部分であり、ストレス強度としてはY3の部分(5702)であることが予測できる。このように、時間毎のストレス変化を統計処理することによって、適切な将来予測をすることができる。
これらの統計処理は、前記のように付加情報についても同時に受信していれば、時間毎の変化に限らず、天候、食事、仕事環境、趣味等ごとに統計処理をすることができる。そうすれば、これらを総合的に組み合わせることによって、精度の高いストレス診断をすることができるし、ストレス原因を特定するための情報を得ることもできる。また、そのストレス原因は、個人ごとのストレス原因であっても良いし、全ユーザに共通する事項の場合には一般に妥当するストレス原因であると考えることもできる。このように一般的に妥当するストレス原因の場合には、その事実を物語る情報の価値は社会的に高くなるので、有料での情報提供をすることにも繋がる。さらに、ストレス原因の特定に加えて、ストレスを軽くする要素を発見できれば、その要素を提示したり、ストレス原因を解消するような解決案を提示したりする機能を備えていても良い。これらの統計処理の意義や使い道については、本実施例に限らず、本発明における統計処理の全般に妥当するものである。
<ハードウェア的構成>
図20は、上記機能的な各構成要件をハードウェアとして実現した際の携帯端末装置及び統計処理装置における構成の一例を示す図である。携帯端末装置は、「CPU(中央演算装置)」(2901)、「主メモリ」(2902)、「HDD」(2903)、「ネットワークI/F」(2904)、「I/O」(2912)、「システムバス」(2905)を有しており、統計処理装置(2906)は、「I/F」(2907)、「ディスプレイ」(2908)、「主メモリ」(2909)、「CPU」(2910)、「フレームメモリ」(2911)を有している。
これらの図を利用して、本装置での各処理におけるそれぞれのハードウェア構成部のうち本実施例の特徴的な部分について説明し、その他の部分については既述の実施例の説明と同様である。
本実施例における特徴は、統計処理装置にある。携帯端末装置においては、携帯端末装置の「主メモリ」に格納されている動画情報と瞳孔変化情報が「瞳孔変化送信プログラム」によって「ネットワークI/F」を通じて統計処理装置に送信され、統計処理装置においては、それらの情報が「瞳孔変化受信プログラム」によって「I/F」を通じて受信され、それが統計処理装置上の「主メモリ」ないし図示しない「HDD」に格納され、「瞳孔変化蓄積プログラム」によって瞳孔変化情報が「主メモリ」ないし図示しない「HDD」に蓄積される。その蓄積された瞳孔変化情報が、統計処理装置の「CPU」の働きによって、「瞳孔変化統計処理プログラム」を用いて統計処理を行う、という具合である。
さらに、機能的構成で述べたように、統計処理装置の「主メモリ」には、統計処理結果を携帯端末に送信するための統計情報送信プログラムを格納していても良いし、携帯端末装置の「主メモリ」には、送信された統計処理結果を統計処理装置から受信するための統計情報受信プログラム、及びその統計情報を出力するための統計情報出力プログラムを格納していても良い。
<処理の流れ>
図21は、本実施例の携帯端末装置及び統計処理装置における処理の流れの一例を示すフローチャートである。以下に示すステップは、媒体に記録された計算機(携帯端末及び統計処理端末)を制御するためのプログラムを構成する処理ステップであっても構わない。
携帯端末装置は、動画ONステップ(S3001)、ライトONステップ(S3002)、瞳孔認識ステップ(S3003)、瞳孔変化演算ステップ(S3004)、瞳孔変化送信ステップ(S3005)を有している。そして、統計処理装置は、瞳孔変化受信ステップ(S3006)、瞳孔変化蓄積ステップ(S3007)、瞳孔変化統計処理ステップ(S3008)を有している。これらの図を利用して、本装置での各処理の流れのうち本実施例の特徴的な部分について説明し、その他の部分については、既述の実施例の説明と同様である。
本実施例における処理においては、統計処理装置内での処理ステップが加わる。統計処理装置における「瞳孔変化受信ステップ」とは、携帯端末装置における瞳孔変化送信ステップを実行した結果として送信された瞳孔変化を受信する段階である。また、統計処理装置における「瞳孔変化蓄積ステップ」とは、受信した瞳孔変化を蓄積する段階である。そして、統計処理装置における「瞳孔変化統計処理ステップ」とは、蓄積された瞳孔変化を統計処理する段階である。
機能的構成でも述べたように、統計処理の態様としてはユーザごとに限定されない。また、例えば、測定した場所の明るさ、測定時刻、食前・食後の別、前日の睡眠時間、計測日の仕事の有無及び強度などの情報と関連付けることにより、ユーザに開示される際には、ユーザのストレス原因の分析などに資する。
ユーザに統計情報を開示するための工夫として、さらに、統計処理装置において、携帯端末に対して統計情報を送信するための統計情報送信ステップを有し、かつ、携帯端末装置において、統計処理装置から送信された統計情報を受信するための統計情報受信ステップと、受信した統計情報を出力するための統計情報出力ステップとを有する処理の流れとすることも考えられる。
このような処理の流れにより、瞳孔対光反応の統計処理を行うことができ、もって、ユーザが自己のストレス原因の特徴等を知るための情報を生成することができる。
<概要>
本実施例は、より望ましい実施形態として、実施例4に実施例5の構成が追加された携帯端末装置と繋がれている統計処理装置を提供する。統計処理装置の構成の概要としては、携帯端末装置からストレス評価結果と瞳孔変化を受信して、それらを蓄積して、統計処理を行うというものである。
以下、本実施例における装置の機能及びハードウェアの内容、並びに、処理の流れについて、詳細に説明する。
<機能的構成>
図22は、本実施例の携帯端末装置及び統計処理装置の機能ブロックの一例を示す図である。この図にあるように、本実施例の携帯端末装置(3401)は、カメラ部(3402)と動画ON部(3403)とライト部(3404)とライトON部(3405)と瞳孔認識部(3406)と瞳孔変化演算部(3407)とストレス評価部(3408)と、ストレス評価結果送信部(3409)と瞳孔変化送信部(3414)を有する。そして、本実施例における統計処理装置(3410)は、ストレス評価結果受信部(3411)、ストレス評価結果蓄積部(3412)、ストレス評価統計処理部(3413)と瞳孔変化受信部(3415)と瞳孔変化蓄積部(3416)を有する。そして、ストレス評価統計処理部は、ユーザ(3417)や管理者(3418)や医療機関などの第三者(3419)と繋がっている。本実施例の特徴は、統計処理装置の各部の内容にある。そのため、統計処理装置の各部の機能的構成を中心に説明する。なお、その他の機能については、既述の説明と同様であるので、説明を省略する。
「ストレス評価結果受信部」は、携帯端末装置から送信されたストレス評価結果を受信する働きをする。そのため、例えば、ストレスの度合いを%などでの数値、大・中・小などの段階、前日比や最大値・最小値との比較値などで示したストレス評価を統計処理装置が受信することとなる。
「ストレス評価結果蓄積部」は、受信したストレス評価結果を蓄積する働きをする。蓄積の態様については、ユーザごとに蓄積する態様が考えられる。そうすれば、ユーザのストレス評価結果の変化を、蓄積されたストレス評価結果の変化という形で把握することができる。また、次に、ユーザでは分けることなく、日にちごとに分けるという方法がある。この方法によれば、例えば天候がストレス評価結果に与える影響などを分析するための蓄積が可能となる。
「ストレス評価統計処理部」は、蓄積されたストレス評価結果及び瞳孔変化を統計処理する働きをする。統計処理としては、前記のように、ユーザごとに統計処理する方法、日付ごとに統計処理する方法等が考えられる。
さらに、前記の実施例でも述べたように、統計処理装置は、統計処理した結果をユーザ等に開示するための機能を備えていても良い。開示するための機能としては、例えば、統計処理装置において、ユーザ等の端末に対して統計情報を送信するための統計情報送信部を有し、かつ、ユーザ等の端末において、統計処理装置から送信された統計情報を受信するための統計情報受信部を備えている構成が考えられる。
図47は、ユーザ側での出力の態様を示す図である。縦軸をストレス評価値として、横軸を瞳孔変化速度としたグラフである。瞳孔変化速度が高ければ高いほどストレス評価値が小さくなるということが分かる。
さらに、図48は、ユーザ側での出力の態様を示す図である。縦軸をストレス評価値として、横軸を体組成量としたグラフである。体脂肪率、体重、BMI、脈拍については、体組成量が高ければ高いほどストレス評価値が高くなるということが分かる。他方、基礎代謝については、体組成量が高ければ高いほどストレス評価値が低くなるということが分かる。このような統計情報が得られれば、ユーザ等は、ストレスの原因を客観的に分析することができるようになる。しかも、瞳孔変化との比較より、ストレス評価値の方がストレスとの相関が明確なので、一見して分かり易い。
以上により、統計処理装置においてすべきストレス評価の処理を欠くユーザの携帯端末装置で行ってから受信することができ、サーバでの負担を軽減するという効果がある。
<ハードウェア的構成>
図23は、上記機能的な各構成要件をハードウェアとして実現した際の携帯端末装置及び統計処理装置における構成の一例を示す図である。携帯端末装置は、「CPU(中央演算装置)」(3501)、「主メモリ」(3502)、「HDD」(3503)、「ネットワークI/F」(3504)、「I/O」(3512)、「システムバス」(3505)を有しており、統計処理装置(3506)は、「I/F」(3507)、「ディスプレイ」(3508)、「主メモリ」(3509)、「CPU」(3510)、「フレームメモリ」(3511)を有している。
これらの図を利用して、本装置での各処理におけるそれぞれのハードウェア構成部のうち本実施例の特徴的な部分について説明し、その他の部分については既述の実施例の説明と同様である。
本実施例における特徴は、統計処理装置にある。携帯端末装置においては、携帯端末装置の「主メモリ」に格納されているストレス評価情報が「ストレス評価結果送信プログラム」によって「ネットワークI/F」を通じて統計処理装置に送信され、統計処理装置においては、それらの情報が「ストレス評価結果受信プログラム」によって「I/F」を通じて受信され、それが統計処理装置上の「主メモリ」ないし図示しない「HDD」に格納され、「ストレス評価結果蓄積プログラム」によってストレス評価情報が「主メモリ」ないし図示しない「HDD」に蓄積される。その蓄積されたストレス評価情報が、統計処理装置の「CPU」の働きによって、「ストレス評価統計処理プログラム」を用いて統計処理を行う、という具合である。
さらに、統計処理装置の「主メモリ」には、統計処理結果を携帯端末に送信するための統計情報送信プログラムを格納していても良いし、携帯端末装置の「主メモリ」には、送信された統計処理結果を統計処理装置から受信するための統計情報受信プログラム、及びその統計情報を出力するための統計情報出力プログラムを格納していても良い。
<処理の流れ>
図24は、本実施例の携帯端末装置及び統計処理装置における処理の流れの一例を示すフローチャートである。以下に示すステップは、媒体に記録された計算機(携帯端末、統計処理端末)を制御するためのプログラムを構成する処理ステップであっても構わない。
携帯端末装置は、動画ONステップ(S3601)、ライトONステップ(S3602)、瞳孔認識ステップ(S3603)、瞳孔変化演算ステップ(S3603)、ストレス評価ステップ(S3604)、ストレス評価結果送信ステップ(S3605)、瞳孔変化送信ステップ(S3606)を有している。そして、統計処理装置は、瞳孔変化受信ステップ(S3607)、瞳孔変化蓄積ステップ(S3608)、ストレス評価結果受信ステップ(S3609)、ストレス評価結果蓄積ステップ(S3610)、ストレス評価統計処理ステップ(S3611)を有している。これらの図を利用して、本装置での各処理の流れのうち本実施例の特徴的な部分について説明し、その他の部分については、既述の実施例の説明と同様である。
本実施例における処理においては、統計処理装置内での処理ステップが加わる。統計処理装置における「ストレス評価結果受信ステップ」とは、携帯端末装置におけるストレス評価結果送信ステップを実行した結果として送信されたストレス評価結果を受信する段階である。このストレス評価結果は、瞳孔変化と関連付けて送られることになる。それにより、統計処理装置内でストレス評価をする負担を軽減することができる。また、統計処理装置におけるストレス評価結果蓄積ステップ」とは、受信したストレス評価結果を蓄積する段階である。そして、統計処理装置における「ストレス評価統計処理ステップ」とは、蓄積されたストレス評価結果を統計処理する段階である。
「ストレス評価結果受信ステップ」は、携帯端末装置でのストレス評価結果送信ステップの後であれば、統計処理装置内での先後関係を問わない。例えば、瞳孔変化受信ステップよりも先であっても良い。次に、「ストレス評価結果蓄積部」は、統計処理装置内での体組成データ受信ステップの後であれば、他の処理との先後関係を問わない。同様に、「瞳孔変化受信ステップ」と「瞳孔変化蓄積ステップ」についても、ストレス評価結果受信ステップ及びストレス評価結果蓄積ステップとの先後関係を問わない。もっとも、「ストレス評価統計処理ステップ」は、蓄積した瞳孔変化とストレス評価結果を用いたものになるので、ストレス評価結果蓄積ステップと瞳孔変化蓄積ステップのいずれもが終了した後になされる。
統計処理の態様としてはユーザごとに限定されない。また、例えば、測定した場所の明るさ、測定時刻、食前・食後の別、前日の睡眠時間、計測日の仕事の有無及び強度などの情報と関連付けることにより、ユーザに開示される際には、ユーザの体組成データの分析などに資する。
ユーザに統計情報を開示するための工夫として、さらに、統計処理装置において、携帯端末に対して統計情報を送信するための統計情報送信ステップを有し、かつ、携帯端末装置において、統計処理装置から送信された統計情報を受信するための統計情報受信ステップと、受信した統計情報を出力するための統計情報出力ステップとを有する処理の流れとすることも考えられる。
<概要>
本実施例の発明は、光を当てた際の瞳孔の変化を動画撮影して、瞳孔変化を時間単位で演算するための動画情報を保持し、外部機器に送信するための機能を携帯端末装置に読取実行可能に記録したプログラムである。また、そのプログラムが読取実行可能に記録された携帯端末装置である。
以下、本実施例の携帯端末装置の機能及びハードウェアの内容、並びに、処理の流れについて、詳細に説明する。
<機能的構成>
図25は、本実施例の携帯端末装置の機能ブロックの一例である。この図にあるように、本実施例の携帯端末装置(4001)は、カメラ部(4002)と動画ON部(4003)とライト部(4004)とライトON部(4005)と瞳孔認識部(4006)と動画保持部(4007)と動画送信部(4008)とを有する。本実施例の特徴は、動画保持部及び動画送信部の内容にある。そのため、以下では、動画保持部及び動画送信部の内容を中心に説明する。
既述の実施例は、いずれも、携帯端末装置において瞳孔変化の演算を実施するという内容である。これは、携帯端末装置において演算を完了することができる点で優れているものであるが、本発明の課題を達成するためには、必ずしも、瞳孔変化の演算については、携帯端末装置内で完了している必要はない。そのため、本実施例における携帯端末装置は、外部機器において瞳孔変化の演算が行われることを前提として、携帯端末装置においては瞳孔認識部において瞳孔が認識された動画を保持し、外部機器に送信するという機能を備えることで、本発明の課題を達成しようとするものである。すなわち、外部機器は、実施例1における瞳孔変化演算部に相当する機能を有することが前提となり、さらには実施例3におけるストレス評価部に相当する機能を有していれば望ましい。
「動画保持部」とは、動画ON部にて撮影された動画を保持する働きをする。この保持される動画は、瞳孔部分が非瞳孔部分と区別されている状態であっても良い。
「動画送信部」とは、保持された動画を所定のアドレスに送信する働きをする。これにより、外部機器に対して、ユーザの瞳孔を撮影した動画情報を送信することができる。
これらにより、携帯端末装置内で瞳孔変化演算をすることなく、ストレスとの相関関係のある他覚症状によって、外部機器においてストレスの状態を測定することができる。そして、この動画情報は、外部機器のフレームメモリに蓄積され、所定のフレーム毎に外部機器のディスプレイなどで出力されることになる。また、ストレス評価された情報などは、他の実施例と同様に、携帯端末装置を含むユーザ端末などに一覧表示されることが望ましい。
以上により、携帯端末装置での処理を軽減し、携帯端末装置の負荷を軽減することができる。
<ハードウェア的構成>
図26は、上記機能的な各構成要件をハードウェアとして実現した際の携帯端末装置における構成の一例を示す図である。この図を利用して本装置での各処理におけるそれぞれのハードウェア構成部の働きについて説明する。
この図にあるように、本実施例の携帯端末装置は、各種演算処理を行う「CPU」(4101)と、「主メモリ」(4102)と、を備えている。また、「HDD」(4103)や、外部機器(4106)の「I/F」(4107)と情報の送受信を行うための「ネットワークI/F」(4104)や、カメラやライトやディスプレイなどとの間で情報の送受信を行うための「I/O」(4108)も備えている。そして、それらが「システムバス」(4105)などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。外部機器は、「フレームメモリ」(4109)と「ディスプレイ」(4110)と「CPU」(4111)を備えている。
また、本実施例において「主メモリ」に格納されているプログラムは、携帯端末の動画撮影機能をONにする動画ONプログラムと、携帯端末の撮影側面に備えられているライトをONにするライトONプログラムと、撮影中の像の中から人を含む動物の目の瞳孔を認識する瞳孔認識プログラムと、保持された動画を所定のアドレスに送信する動画送信プログラムなどである。
携帯端末装置の動画ONプログラムによって取得されたユーザの瞳孔画像は、「主メモリ」及び「HDD」のアドレスに格納する。そして、携帯端末装置の「CPU」において、「主メモリ」に格納されている動画情報を、「ネットワークI/F」を通じて外部機器の「I/F」に向けて送信する、という具合である。
<処理の流れ>
図27は、本実施例の携帯端末装置における処理の流れの一例を示すフローチャートである。なお、以下に示すステップは、媒体に記録された計算機(携帯端末)を制御するためのプログラムを構成する処理ステップであっても構わない。
この図にあるように、まず、携帯端末の動画撮影機能をONにする(S4201)。次に、携帯端末の撮影側面に備えられているライトをONにする(S4202)。次に、撮影中の像の中から人を含む動物の目の瞳孔を認識する(S4203)。そして、動画ONステップにて撮影された動画を保持する。最後に、保持された動画を所定のアドレスに送信する(S4204)。
ここにおける携帯端末の動画撮影機能をONにする動画ONステップ(S4201)と携帯端末の撮影側面に備えられているライトをONにするライトONステップ(S4202)は、順番が逆であっても良い。つまり、まず携帯端末の撮影側面に備えられているライトをONにする。次に、携帯端末の動画撮影機能をONにする。次に、撮影中の像の中から人を含む動物の目の瞳孔を認識する。そして、動画ONステップにて撮影された動画を保持する。最後に、保持された動画を所定のアドレスに送信するという処理の流れでも良い。
以上のステップにより、携帯端末装置内で瞳孔変化演算をすることなく、ストレスとの相関関係のある他覚症状によって、ストレスの状態を測定することができる。
<概要>
本実施例の発明は、光を当てた際の瞳孔の変化を連続静止画撮影して、瞳孔変化を時間単位で演算するための連続静止画情報を保持し、外部機器に送信するための機能を携帯端末装置に読取実行可能に記録したプログラムである。また、そのプログラムが読取実行可能に記録された携帯端末装置である。
以下、本実施例の携帯端末装置の機能及びハードウェアの内容、並びに、処理の流れについて、詳細に説明する。
<機能的構成>
図28は、本実施例の携帯端末装置の機能ブロックの一例である。この図にあるように、本実施例の携帯端末装置(4301)は、カメラ部(4302)と連続ON部(4303)とライト部(4304)とライトON部(4305)と瞳孔認識部(4306)と連続静止画保持部(4307)と連続静止画送信部(4308)とを有する。本実施例の特徴は、連続静止画保持部及び連続静止画送信部の内容にある。そのため、以下では、動画保持部及び動画送信部の内容を中心に説明する。
本実施例は、実施例9と同じく、外部機器において瞳孔変化の演算が行われることを前提として、携帯端末装置においては瞳孔認識部において瞳孔が認識された連続静止画を保持し、外部機器に送信するという機能を備えることで、本発明の課題を達成しようとするものである。実施例9と異なる点は、撮影する画像が連続静止画であるため、保持して送信する画像が連続静止画である点である。連続静止画を撮影する点については、既述の実施例で説明済みであるので、以下では、連続静止画保持部と連続静止画送信部について説明する。
「連続静止画保持部」とは、携帯端末にて撮影された連続静止画を保持する働きをする。この保持される動画は、瞳孔部分が非瞳孔部分と区別されている状態であっても良い。
「連続静止画送信部」とは、保持された連続静止画を所定のアドレスに送信する働きをする。これにより、外部機器に対して、ユーザの瞳孔を撮影した連続静止画情報を送信することができる。
これらにより、携帯端末装置内で瞳孔変化演算をすることなく、ストレスとの相関関係のある他覚症状によって、ストレスの状態を測定することができる。
<ハードウェア的構成>
図29は、上記機能的な各構成要件をハードウェアとして実現した際の携帯端末装置における構成の一例を示す図である。この図を利用して本装置での各処理におけるそれぞれのハードウェア構成部の働きについて説明する。
この図にあるように、本実施例の携帯端末装置は、各種演算処理を行う「CPU」(4401)と、「主メモリ」(4402)と、を備えている。また、「HDD」(4403)や、外部機器(4406)の「I/F」(4407)と情報の送受信を行うための「ネットワークI/F」(4404)や、カメラやライトやディスプレイなどとの間で情報の送受信を行うための「I/O」(4408)も備えている。そして、それらが「システムバス」(4405)などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。
また、「主メモリ」は、各種処理を行うプログラムを「CPU」に実行させるために読み出すと同時にそのプログラムの作業領域でもあるワーク領域を提供する。また、この「主メモリ」や「HDD」、図示しない「フラッシュメモリ」にはそれぞれ複数のアドレスが割り当てられており、「CPU」で実行されるプログラムは、そのアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。本実施例において格納されているプログラムは、携帯端末の連続静止画撮影機能をONにする連続ONプログラムと、携帯端末の撮影側面に備えられているライトをONにするライトONプログラムと、撮影中の像の中から人を含む動物の目の瞳孔を認識する瞳孔認識プログラムと、保持された連続静止画を所定のアドレスに送信する連続静止画送信プログラムなどである。
携帯端末装置の連続ONプログラムによって取得されたユーザの瞳孔画像は、「主メモリ」及び「HDD」のアドレスに格納する。そして、携帯端末装置の「CPU」において、「主メモリ」に格納されている連続静止画情報を、「ネットワークI/F」を通じて外部機器の「I/F」に向けて送信する、という具合である。
<処理の流れ>
図30は、本実施例の携帯端末装置における処理の流れの一例を示すフローチャートである。なお、以下に示すステップは、媒体に記録された計算機(携帯端末)を制御するためのプログラムを構成する処理ステップであっても構わない。
この図にあるように、まず、携帯端末の連続静止画撮影機能をONにする(S4501)。次に、携帯端末の撮影側面に備えられているライトをONにする(S4502)。次に、撮影中の像の中から人を含む動物の目の瞳孔を認識する(S4503)。そして、連続ONステップにて撮影された連続静止画を保持する。最後に、保持された連続静止画を所定のアドレスに送信する(S4504)。
ここにおける携帯端末の連続静止画撮影機能をONにする連続ONステップ(S4501)と携帯端末の撮影側面に備えられているライトをONにするライトONステップ(S4502)は、順番が逆であっても良い。つまり、まず携帯端末の撮影側面に備えられているライトをONにする。次に、携帯端末の連続静止画撮影機能をONにする。次に、撮影中の像の中から人を含む動物の目の瞳孔を認識する。そして、連続ONステップにて撮影された連続静止画を保持する。最後に、保持された連続静止画を所定のアドレスに送信するという処理の流れでも良い。
以上のステップにより、携帯端末装置内で瞳孔変化演算をすることなく、ストレスとの相関関係のある他覚症状によって、ストレスの状態を測定することができる。
<概要>
本実施例は、携帯端末装置から受信した動画をもとに瞳孔対光反応を演算するための機能を有する演算装置を提供する。
以下、本実施例における装置の機能及びハードウェアの内容、並びに、処理の流れについて、詳細に説明する。
<機能的構成>
図55は、本実施例の演算装置の機能ブロックの一例を示す図である。この図にあるように、本実施例の演算装置(7301)は、動画受信部(7302)、瞳孔認識部(7303)と瞳孔変化演算部(7304)を有する。また、本実施例において、携帯端末は、通常、実施例1におけるカメラ部とライト部と動画ON部とライトON部を有している。その場合の携帯端末のカメラ部とライト部と動画ON部とライトON部の特徴は、実施例1と同様である。また、さらに携帯端末は、通常、動画を本実施例における演算装置に送信するための動画送信部を有している。
「動画受信部」は、携帯端末(7305)から人を含む動物の目を含む動画を受信する働きをする。これにより、ユーザから、人を含む動物の目を含む動画を受信することができる。
さらに、瞳孔認識部は、受信した動画の中から人を含む動物の目の瞳孔を認識する機能を有する。また、瞳孔変化演算部は、認識した瞳孔の開き具合の時間変化である瞳孔変化を演算する機能を有する。
瞳孔認識部と瞳孔変化演算部の機能の詳細は、実施例1における携帯端末装置の瞳孔認識部及び瞳孔変化演算部の詳細と同様である。
さらに、演算装置は、受信した動画について瞳孔を認識することができなかった場合にユーザに対して通知を発信する通知発信部を有していても良い。そうすれば、ユーザが、通知を受信することで再度動画を撮影して送信することができるので、演算装置の側で瞳孔変化の演算ができないという事態を改善することができる。このような効果をより一層高めるためにも、通知には、認識できなかった理由を付記する理由付記手段を備えていても良い。
さらに、ユーザに対して演算結果である瞳孔変化情報を送信すれば、ユーザは、自己のストレス状態を知ることができる。また、ユーザ以外の第三者に提供すれば、第三者がストレスを客観的に把握することができるので、例えば医療機関であれば診察の際の有意義な情報になるし、ユーザの勤務先であればストレスによる病気や事故を防ぐことにも繋がる。このように、瞳孔変化情報について、例えば、管理者(7306)、ユーザ(7307)、第三者(7308)に対して送信するための機能を備えていることが望ましい。そのため、演算装置は、所定のアドレスに対して瞳孔変化を送信する瞳孔変化送信部を有していても良い。
これにより、携帯端末装置に必要な機能としては、カメラ部とライト部と動画ON部とライトON部と動画送信部があれば良いことになるから、スマートフォンなどの携帯端末で特別な機能を有しなくとも演算を実施することができる。そのため、ユーザは、必ずしも専用端末や専用アプリを用意する必要がないので、本発明を気軽に利用できることになる。
<ハードウェア的構成>
図56は、上記機能的な各構成要件をハードウェアとして実現した際の演算装置における構成の一例を示す図である。演算装置は、「CPU」(7401)、「主メモリ」(7402)、「HDD」(7403)、「ネットワークI/F」(7404)、「I/O」(7408)、「システムバス」(7405)を有しており、携帯端末装置(7406)と「ネットワークI/F」を通じて繋がっている。
これらの図を利用して、本装置での各処理におけるそれぞれのハードウェア構成部について説明する。
本実施例における演算装置においては、「主メモリ」に格納されているプログラムの内容は、動画受信プログラム、瞳孔認識プログラム、瞳孔変化演算プログラムである。
「CPU」での働きにおいて、動画受信プログラムを実行して、携帯端末装置から送信されてくる人を含む動物の目を含む動画を、「ネットワークI/F」を通じて受信し、その受信した動画は、「HDD」及び「主メモリ」に格納される。その上で、瞳孔認識プログラムを実行して、受信した動画の中から人を含む動物の目の瞳孔を認識し、瞳孔変化演算プログラムを実行して、認識した瞳孔の開き具合の時間変化である瞳孔変化を演算するという具合である。演算結果は、瞳孔変化情報として、「HDD」及び「主メモリ」に格納される。
<処理の流れ>
図57は、本実施例の演算装置における処理の流れの一例を示すフローチャートである。なお、以下に示すステップは、媒体に記録された計算機(携帯端末、演算端末)を制御するためのプログラムを構成する処理ステップであっても構わない。
この図にあるように、まず、携帯端末から人を含む動物の目を含む動画を受信する(S7501)。次に、受信した動画の中から人を含む動物の目の瞳孔を認識する(S7502)。次に、認識した瞳孔の開き具合の時間変化である瞳孔変化を演算する(S7503)。
瞳孔認識ステップ(S7502)と瞳孔変化演算ステップ(S7503)の機能の詳細は、実施例1における携帯端末装置の瞳孔認識ステップ及び瞳孔変化演算ステップの詳細と同様である。
さらに、演算装置は、受信した動画について瞳孔を認識することができなかった場合にユーザに対して通知を発信する通知発信ステップを有していても良い。また、通知には、認識できなかった理由を付記する理由付記サブステップを備えていても良い。
また、所定のアドレスに対して瞳孔変化を送信する瞳孔変化送信ステップを有していても良い。
これにより、スマートフォンなどの携帯端末で特別な機能を有しなくとも演算を実施することができる。そのため、ユーザは、必ずしも専用端末や専用アプリを用意する必要がないので、本発明を気軽に利用できることになる。
<概要>
本実施例は、携帯端末装置から受信した連続静止画をもとに瞳孔対光反応を演算するための機能を有する演算装置を提供する。
以下、本実施例における装置の機能及びハードウェアの内容、並びに、処理の流れについて、詳細に説明する。
<機能的構成>
図58は、本実施例の演算装置の機能ブロックの一例を示す図である。この図にあるように、本実施例の演算装置(7601)は、連続静止画受信部(7602)、瞳孔認識部(7603)と瞳孔変化演算部(7604)を有する。また、本実施例において、携帯端末は、通常、実施例6におけるカメラ部とライト部と連続ON部とライトON部を有している。その場合の携帯端末のカメラ部とライト部と連続ON部とライトON部の特徴は、実施例6と同様である。また、さらに携帯端末は、通常、連続静止画を本実施例における演算装置に送信するための連続静止画送信部を有している。
「連続静止画受信部」は、携帯端末(7605)から人を含む動物の目を含む連続静止画を受信する働きをする。これにより、ユーザから、人を含む動物の目を含む連続静止画を受信することができる。
さらに、瞳孔認識部は、受信した連続静止画の中から人を含む動物の目の瞳孔を認識する機能を有する。また、瞳孔変化演算部は、認識した瞳孔の開き具合の時間変化である瞳孔変化を演算する機能を有する。瞳孔認識部と瞳孔変化演算部の機能の詳細は、実施例1における携帯端末装置の瞳孔認識部及び瞳孔変化演算部の詳細と同様である。
さらに、実施例11と同様に、演算装置は、受信した連続静止画について瞳孔を認識することができなかった場合にユーザに対して通知を発信する通知発信部を有していても良い。また、通知には、認識できなかった理由を付記する理由付記手段を備えていても良い。
さらに、瞳孔変化情報について、例えば、管理者(7606)、ユーザ(7607)、第三者(7608)に対して送信するための機能を備えていることが望ましい。そのため、演算装置は、所定のアドレスに対して瞳孔変化を送信する瞳孔変化送信部を有していても良い。
これにより、携帯端末装置に必要な機能としては、カメラ部とライト部と連続ON部とライトON部と連続静止画送信部があれば良いことになるから、スマートフォンなどの携帯端末で特別な機能を有しなくとも演算を実施することができる。そのため、ユーザは、必ずしも専用端末や専用アプリを用意する必要がないので、本発明を気軽に利用できることになる。
<ハードウェア的構成>
図59は、上記機能的な各構成要件をハードウェアとして実現した際の演算装置における構成の一例を示す図である。演算装置は、「CPU」(7701)、「主メモリ」(7702)、「HDD」(7703)、「ネットワークI/F」(7704)、「I/O」(7708)、「システムバス」(7705)を有しており、携帯端末装置(7706)と「ネットワークI/F」を通じて繋がっている。
これらの図を利用して、本装置での各処理におけるそれぞれのハードウェア構成部について説明する。
本実施例における演算装置においては、「主メモリ」に格納されているプログラムの内容は、連続静止画受信プログラム、瞳孔認識プログラム、瞳孔変化演算プログラムである。
「CPU」での働きにおいて、連続静止画受信プログラムを実行して、携帯端末装置から送信されてくる人を含む動物の目を含む連続静止画を、「ネットワークI/F」を通じて受信し、その受信した連続静止画は、「HDD」及び「主メモリ」に格納される。その上で、瞳孔認識プログラムを実行して、受信した連続静止画の中から人を含む動物の目の瞳孔を認識し、瞳孔変化演算プログラムを実行して、認識した瞳孔の開き具合の時間変化である瞳孔変化を演算するという具合である。演算結果は、瞳孔変化情報として、「HDD」及び「主メモリ」に格納される。
<処理の流れ>
図60は、本実施例の演算装置における処理の流れの一例を示すフローチャートである。なお、以下に示すステップは、媒体に記録された計算機(携帯端末、演算端末)を制御するためのプログラムを構成する処理ステップであっても構わない。
この図にあるように、まず、携帯端末から人を含む動物の目を含む連続静止画を受信する(S7801)。次に、受信した連続静止画の中から人を含む動物の目の瞳孔を認識する(S7802)。次に、認識した瞳孔の開き具合の時間変化である瞳孔変化を演算する(S7803)。
瞳孔認識ステップ(S7802)と瞳孔変化演算ステップ(S7803)の機能の詳細は、実施例1における携帯端末装置の瞳孔認識ステップ及び瞳孔変化演算ステップの詳細と同様である。
さらに、演算装置は、受信した連続静止画について瞳孔を認識することができなかった場合にユーザに対して通知を発信する通知発信ステップを有していても良い。また、通知には、認識できなかった理由を付記する理由付記サブステップを備えていても良い。
また、所定のアドレスに対して瞳孔変化を送信する瞳孔変化送信ステップを有していても良い。
これにより、スマートフォンなどの携帯端末で特別な機能を有しなくとも演算を実施することができる。そのため、ユーザは、必ずしも専用端末や専用アプリを用意する必要がないので、本発明を気軽に利用できることになる。