JP2024041678A - 生体活動量に応じてユーザの視界を制御するデバイス、プログラム及び表示方法 - Google Patents
生体活動量に応じてユーザの視界を制御するデバイス、プログラム及び表示方法 Download PDFInfo
- Publication number
- JP2024041678A JP2024041678A JP2022146621A JP2022146621A JP2024041678A JP 2024041678 A JP2024041678 A JP 2024041678A JP 2022146621 A JP2022146621 A JP 2022146621A JP 2022146621 A JP2022146621 A JP 2022146621A JP 2024041678 A JP2024041678 A JP 2024041678A
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- biological activity
- field
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004071 biological effect Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 12
- 230000003190 augmentative effect Effects 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000008921 facial expression Effects 0.000 claims description 25
- 239000008280 blood Substances 0.000 claims description 8
- 210000004369 blood Anatomy 0.000 claims description 8
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 7
- 230000036772 blood pressure Effects 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 7
- 210000003128 head Anatomy 0.000 claims description 7
- 229910052760 oxygen Inorganic materials 0.000 claims description 7
- 239000001301 oxygen Substances 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 5
- 210000004243 sweat Anatomy 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 2
- 239000004984 smart glass Substances 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 9
- 239000000306 component Substances 0.000 description 8
- 230000036544 posture Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004630 mental health Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 210000005037 parasympathetic nerve Anatomy 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 210000000653 nervous system Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002889 sympathetic effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000012503 blood component Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001002 parasympathetic nervous system Anatomy 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000002820 sympathetic nervous system Anatomy 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
【課題】視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させるデバイス、プログラム及び表示方法を提供する。【解決手段】ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスにおいて、カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、ユーザの生体活動量を取得する生体活動量取得手段と、生体活動量が、所定条件を満たすか否かを判定する判定手段と、判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段とを有する。生体活動量取得手段は、ユーザの身体に装着されたウェアラブルデバイス、又は、ユーザの身体に接着するセンサから、生体活動量を取得する。【選択図】図２
Description
本発明は、拡張現実(Augmented Reality)に基づくスマートグラスの技術に関する。
スマートグラスは、ユーザの視界前方に眼鏡のように装着され、カメラと網膜投射型レンズディスプレイとを搭載する。ユーザの視界には、現実空間に対して、仮想現実(Virtual Reality)の非現実空間が重畳的に映し出される。
従来、聴衆の面前におけるプレゼンテーションについて、ユーザが、次にどの方向を向けばよいかを練習することができる技術がある（例えば特許文献１参照）。この技術によれば、ユーザの頭部に装着されたデバイスから当該ユーザの頭の向きを検出し、その向きに対応した方向の視野画像を表示する。そして、頭部の向きを示す視野画像上の位置とは異なる視野画像上の位置を、レンズディスプレイに表示させる。ユーザは、その位置を向けばよいと認識することができる。
また、ユーザの視界前方の人々の表情を笑顔に見せるスマートグラスの技術もある（例えば非特許文献１参照）。この技術によれば、スマートグラスを通した周囲の人々の表情を、笑顔となるように画像補正する。笑顔への補正は、人物の顔面の口角を上げるようにする。笑顔には、ストレス緩和に有効なポジティブ感情を喚起する効果があり、隣人や友人の表情は伝播するとされている。周囲の人物の表情が笑顔に見えるような状況を作り出すことによって、デバイスを装着したユーザに対して笑顔及びポジティブ感情を引き起こすことができる。
尚、近年、「デジタル・セラピューティクス(Digital Therapeutics)」と称され、特定の病状を予防、管理、治療するために臨床的に検証されたデジタルデバイスの開発が注目されている（例えば非特許文献７参照）。例えば、心理的疾患を持つユーザにとっては、視覚的に映り込む人に対して、恐怖感や不安が襲う場合もある。そのような、対人関係に基づくメンタルヘルスを改善することは、重要な課題となっている。
村田百葉、山本祐輔、「Smile Glasses: 笑顔形成を促進するARメガネ」、静岡大学情報学部、データ工学と情報マネジメントに関するフォーラム、DEIM2020 A1-4 (day1 p2)、[online]、［令和４年８月２８日検索］、インターネット＜URL:https://proceedings-of-deim.github.io/DEIM2020/papers/A1-4.pdf＞
株式会社KDDI総合研究所、「マスク着用時の表情認識AI技術を開発」、[online]、［令和４年８月２８日検索］、インターネット＜URL:https://www.kddi-research.jp/newsrelease/2021/022401.html＞
KDDI株式会社、株式会社KDDI総合研究所、株式会社アクロディア、「5G時代を見据えた先端テクノロジー スポーツ行動認識AI×IoT」、[online]、［令和４年８月２８日検索］、インターネット＜URL:https://news.kddi.com/kddi/corporate/newsrelease/2019/10/07/4060.html＞
秋元@サイボウズラボ・プログラマー・ブログ、「消すAR－画面を通すとそこにあるものが見えなくなるDiminished Reality」、[online]、［令和４年８月２８日検索］、インターネット＜URL:https://labs.cybozu.co.jp/blog/akky/2010/10/ar-diminished/＞
アナログデバイセズ、「心電センサを使ってストレスを可視化するヘルスケアIoTを作ろう！」、[online]、［令和４年８月２８日検索］、インターネット＜URL:https://www.analog.com/jp/education/landing-pages/003/iot_lectureship/content_08.html＞
株式会社KDDI総合研究所、「31種類のトレーニング動作や姿勢を認識する宅内行動認識AIを開発」、[online]、［令和４年８月２８日検索］、インターネット＜URL:https://www.kddi-research.jp/newsrelease/2018/100901.html＞
「DTx（デジタルセラピューティクス）とは何か。デジタル治療の市場、サービス、課題は」、[online]、［令和４年８月２８日検索］、インターネット＜URL:https://www.sbbit.jp/article/cont1/52514＞
ユーザは、聴衆を面前にしたプレゼンテーションの際に、聴衆に意識が強く向けられ、緊張を強いられることが多い。このとき、ユーザは、スムーズなプレゼンテーションができなくなることもある。
ユーザによっては、聴衆が多くなるほど、心理状態に強いストレスがかかる場合がある。また、聴衆の個々の顔表情を見過ぎてしまうことによって、ネガティブな心理状態になりやすい場合もある。これらの場合、ユーザは、あえて聴衆から目を逸らせることによって、気持ちを落ち着かせてプレゼンテーションを進めようとする。
ユーザによっては、聴衆が多くなるほど、心理状態に強いストレスがかかる場合がある。また、聴衆の個々の顔表情を見過ぎてしまうことによって、ネガティブな心理状態になりやすい場合もある。これらの場合、ユーザは、あえて聴衆から目を逸らせることによって、気持ちを落ち着かせてプレゼンテーションを進めようとする。
特許文献１によれば、プレゼンテーションの際におけるユーザの心理状況に影響を与えるものではない。一方で、非特許文献１によれば、デバイスを装着したユーザに、聴衆の笑顔の顔表情を強制的に見せることによって、ポジティブな心理状態が作り出されるかもしれない。
しかしながら、視界に映る状況によって、ストレスを受けてネガティブな心理状態になる度合いは、ユーザによって全く異なる。
これに対し、本願の発明者らは、視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させることができないか、と考えた。例えば、デジタルセラピューティックスとして、ユーザの視界を制御することによって、ユーザにおける対人関係に基づくメンタルヘルスの改善に役立つのではないか、と考えた。
これに対し、本願の発明者らは、視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させることができないか、と考えた。例えば、デジタルセラピューティックスとして、ユーザの視界を制御することによって、ユーザにおける対人関係に基づくメンタルヘルスの改善に役立つのではないか、と考えた。
そこで、本発明は、視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させることができるデバイス、プログラム及び表示方法を提供することを目的とする。
本発明によれば、ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスにおいて、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、
ユーザの生体活動量を取得する生体活動量取得手段と、
生体活動量が、所定条件を満たすか否かを判定する判定手段と、
判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段と
を有することを特徴とする。
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、
ユーザの生体活動量を取得する生体活動量取得手段と、
生体活動量が、所定条件を満たすか否かを判定する判定手段と、
判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段と
を有することを特徴とする。
本発明のデバイスにおける他の実施形態によれば、
当該デバイスは、ユーザの頭部の目の前に装着される眼鏡状のものであり、
拡張現実画像生成手段は、ユーザの視界に映る映像の中から、所定対象物の画像領域を隠蔽する拡張現実映像を生成する
ことも好ましい。
当該デバイスは、ユーザの頭部の目の前に装着される眼鏡状のものであり、
拡張現実画像生成手段は、ユーザの視界に映る映像の中から、所定対象物の画像領域を隠蔽する拡張現実映像を生成する
ことも好ましい。
本発明のデバイスにおける他の実施形態によれば、
生体活動量取得手段は、ユーザの身体に装着されたウェアラブルデバイス、又は、ユーザの身体に接着するセンサから、生体活動量を取得する
ことも好ましい。
生体活動量取得手段は、ユーザの身体に装着されたウェアラブルデバイス、又は、ユーザの身体に接着するセンサから、生体活動量を取得する
ことも好ましい。
本発明のデバイスにおける他の実施形態によれば、
生体活動量は、心拍数、血中酸素濃度、皮膚温、血圧、脈拍、発汗量、気圧、環境音のいずれか又はそれらの組み合わせであり、
判定手段は、生体活動量からストレスレベルを推定し、当該ストレスレベルが所定閾値を超えた際に、真と判定する
ことも好ましい。
生体活動量は、心拍数、血中酸素濃度、皮膚温、血圧、脈拍、発汗量、気圧、環境音のいずれか又はそれらの組み合わせであり、
判定手段は、生体活動量からストレスレベルを推定し、当該ストレスレベルが所定閾値を超えた際に、真と判定する
ことも好ましい。
本発明のデバイスにおける他の実施形態によれば、
物体認識手段は、所定対象物として、複数の人物を検出する
ことも好ましい。
物体認識手段は、所定対象物として、複数の人物を検出する
ことも好ましい。
本発明のデバイスにおける他の実施形態によれば、
拡張現実画像生成手段は、ユーザの視界に映る映像における人数が所定割合で減少するように、人物の画像領域を隠蔽するべく拡張現実画像を生成する
ことも好ましい。
拡張現実画像生成手段は、ユーザの視界に映る映像における人数が所定割合で減少するように、人物の画像領域を隠蔽するべく拡張現実画像を生成する
ことも好ましい。
本発明のデバイスにおける他の実施形態によれば、
判定手段は、ストレスレベルに応じて、ユーザの視界に映る映像における人数を減少させる割合を設定する
ことも好ましい。
判定手段は、ストレスレベルに応じて、ユーザの視界に映る映像における人数を減少させる割合を設定する
ことも好ましい。
本発明のデバイスにおける他の実施形態によれば、
物体認識手段は、人物の画像領域から顔表情を認識し、当該顔表情が所定条件を満たす人物のみを、所定対象物として検出する
ことも好ましい。
物体認識手段は、人物の画像領域から顔表情を認識し、当該顔表情が所定条件を満たす人物のみを、所定対象物として検出する
ことも好ましい。
本発明のデバイスにおける他の実施形態によれば、
物体認識手段は、顔表情が、所定条件としてネガティブと認識された人物のみを、所定対象物として検出する
ことも好ましい。
物体認識手段は、顔表情が、所定条件としてネガティブと認識された人物のみを、所定対象物として検出する
ことも好ましい。
本発明のデバイスにおける他の実施形態によれば、
物体認識手段は、所定属性となる人物のみを、所定対象物として検出する
ことも好ましい。
物体認識手段は、所定属性となる人物のみを、所定対象物として検出する
ことも好ましい。
本発明のデバイスにおける他の実施形態によれば、
物体認識手段は、人物の画像領域から姿勢を認識し、当該姿勢が所定条件を満たす人物のみを、所定対象物として検出する
ことも好ましい。
物体認識手段は、人物の画像領域から姿勢を認識し、当該姿勢が所定条件を満たす人物のみを、所定対象物として検出する
ことも好ましい。
本発明によれば、ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスに搭載されたコンピュータを機能させるプログラムにおいて、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、
ユーザの生体活動量を取得する生体活動量取得手段と、
生体活動量が、所定条件を満たすか否かを判定する判定手段と、
判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段と
してコンピュータを機能させることを特徴とする。
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、
ユーザの生体活動量を取得する生体活動量取得手段と、
生体活動量が、所定条件を満たすか否かを判定する判定手段と、
判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段と
してコンピュータを機能させることを特徴とする。
本発明によれば、ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスの表示方法において、
デバイスは、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する第１のステップと、
ユーザの生体活動量を取得する第２のステップと、
生体活動量が、所定条件を満たすか否かを判定する第３のステップと、
第３のステップによって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する第４のステップと
を実行することを特徴とする。
デバイスは、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する第１のステップと、
ユーザの生体活動量を取得する第２のステップと、
生体活動量が、所定条件を満たすか否かを判定する第３のステップと、
第３のステップによって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する第４のステップと
を実行することを特徴とする。
本発明におけるデバイス、プログラム及び表示方法によれば、ユーザの生体活動量に応じて視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させることができる。
以下、本発明の実施形態について、図面を用いて詳細に説明する。
図１は、スマートグラム及びスマートウォッチが接続されたシステム構成図である。
＜スマートグラス１＞
スマートグラス１は、ユーザの頭部の目の前に装着されるシースルー型の眼鏡状のものである。
図１によれば、スマートグラス１は、ハードウェアとして、レンズディスプレイ１０１と、カメラ１０２と、無線通信部１０３とを有する。
レンズディスプレイ１０１は、拡張現実画像をユーザの視界に映し出す。
カメラ１０２は、ユーザの視界から見える映像を撮影する。例えばプレゼンテーションの場合、ユーザの面前の聴衆が映像に映り込むこととなる。
無線通信部１０３は、例えばBluetooth（登録商標）であって、スマートウォッチやウェアラブルデバイスのような他のデバイスと無線で通信する。
スマートグラス１は、ユーザの頭部の目の前に装着されるシースルー型の眼鏡状のものである。
図１によれば、スマートグラス１は、ハードウェアとして、レンズディスプレイ１０１と、カメラ１０２と、無線通信部１０３とを有する。
レンズディスプレイ１０１は、拡張現実画像をユーザの視界に映し出す。
カメラ１０２は、ユーザの視界から見える映像を撮影する。例えばプレゼンテーションの場合、ユーザの面前の聴衆が映像に映り込むこととなる。
無線通信部１０３は、例えばBluetooth（登録商標）であって、スマートウォッチやウェアラブルデバイスのような他のデバイスと無線で通信する。
ここで、本発明の実施形態として、デバイスとしては、スマートグラスのような透過型（シースルー）であるとして説明するが、ヘッドマウントレンズディスプレイのような非透過型であってもよい。
透過型デバイスである場合、カメラ１０２の映像に対して周囲の画素値から補間処理を施した拡張現実画像を、ユーザに視界に映し出す。
非透過型デバイスである場合、カメラ１０２の映像に対して画像加工を施した画像を、ユーザの視界に映し出す。
いずれのデバイスであっても、ユーザの頭部の向きに応じた映像に対して画像補間や画像加工をする、
透過型デバイスである場合、カメラ１０２の映像に対して周囲の画素値から補間処理を施した拡張現実画像を、ユーザに視界に映し出す。
非透過型デバイスである場合、カメラ１０２の映像に対して画像加工を施した画像を、ユーザの視界に映し出す。
いずれのデバイスであっても、ユーザの頭部の向きに応じた映像に対して画像補間や画像加工をする、
＜スマートウォッチ２＞
スマートウォッチ２は、ユーザの腕に装着されるウェアラブルデバイスである。
スマートウォッチ２は、１つ以上の生体センサを搭載し、ユーザの「生体活動量」を計測することができる。生体センサとしては、例えば心拍数センサ、血中酸素濃度センサ、皮膚温センサ、血圧センサ、気圧センサ、環境マイクなどがある。
スマートウォッチ２は、ユーザの腕に装着されるウェアラブルデバイスである。
スマートウォッチ２は、１つ以上の生体センサを搭載し、ユーザの「生体活動量」を計測することができる。生体センサとしては、例えば心拍数センサ、血中酸素濃度センサ、皮膚温センサ、血圧センサ、気圧センサ、環境マイクなどがある。
「心拍数センサ」は、スマートウォッチ２の背面から腕の皮膚に接触し、ユーザの「心拍数」を計測する。例えば光学式の場合、ＬＥＤ(Light Emitting Diode)から光を照射し、血流によって反射される散乱光の量を感知し、血中のヘモグロビンの動態変化によって心拍数を計測する。
「血中酸素濃度センサ」は、皮膚に光をあてた動脈血成分の光の減衰から「血中酸素濃度（SpO2）」を測定する。
「皮膚温センサ」は、スマートウォッチ２の背面における皮膚に接触し、その「皮膚温」を検知する。
「血圧センサ」は、心拍数と血流量との組み合わせによって、「血圧」を計測する。
「気圧センサ」は、周囲の「気圧」を計測する。
「環境マイク」は、周囲の「環境音」を検知する。
生体活動量は、これら計測値（心拍数、血中酸素濃度、皮膚温、血圧、脈拍、発汗量、気圧、環境音）のいずれか又はそれらの組み合わせであってもよい。
「血中酸素濃度センサ」は、皮膚に光をあてた動脈血成分の光の減衰から「血中酸素濃度（SpO2）」を測定する。
「皮膚温センサ」は、スマートウォッチ２の背面における皮膚に接触し、その「皮膚温」を検知する。
「血圧センサ」は、心拍数と血流量との組み合わせによって、「血圧」を計測する。
「気圧センサ」は、周囲の「気圧」を計測する。
「環境マイク」は、周囲の「環境音」を検知する。
生体活動量は、これら計測値（心拍数、血中酸素濃度、皮膚温、血圧、脈拍、発汗量、気圧、環境音）のいずれか又はそれらの組み合わせであってもよい。
尚、図１によれば、スマートグラス１とスマートウォッチ２との間に、スマートフォン３が介在するものであってもよい。
スマートフォン３は、Bluetooth（登録商標）を介してスマートウォッチ２とペアリングされる。そして、スマートフォン３は、スマートウォッチ２から生体活動量を常時受信し、所定のアプリで処理する。
また、スマートフォン３は、Bluetoothを介してスマートグラス１とも、スマートフォン１とペアリングされる。そして、スマートフォン３は、所定のアプリから、スマートグラス１を制御することができる。
スマートフォン３は、Bluetooth（登録商標）を介してスマートウォッチ２とペアリングされる。そして、スマートフォン３は、スマートウォッチ２から生体活動量を常時受信し、所定のアプリで処理する。
また、スマートフォン３は、Bluetoothを介してスマートグラス１とも、スマートフォン１とペアリングされる。そして、スマートフォン３は、所定のアプリから、スマートグラス１を制御することができる。
図２は、本発明におけるスマートグラスの機能構成図である。
図２によれば、スマートグラス１は、物体認識部１１と、生体活動量取得部１２と、判定部１３と、拡張現実画像生成部１４とを有する。これら機能構成部は、スマートグラスに搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これらの機能構成部の処理の流れは、スマートグラスの表示方法としても理解できる。
尚、図２で説明するスマートグラス１のソフトウェア的な処理を、スマートフォン１の所定のアプリで実行するものであってもよい。
尚、図２で説明するスマートグラス１のソフトウェア的な処理を、スマートフォン１の所定のアプリで実行するものであってもよい。
［物体認識部１１］
物体認識部１１は、カメラ１０２によって撮影された映像から、物体認識によって「所定対象物」の画像領域を検出する。
物体認識部１１の処理機能として、領域切り出し機能と、特徴検出機能とを有する。
物体認識部１１は、カメラ１０２によって撮影された映像から、物体認識によって「所定対象物」の画像領域を検出する。
物体認識部１１の処理機能として、領域切り出し機能と、特徴検出機能とを有する。
＜領域切り出し機能＞
物体認識部１１は、カメラ１０２によって撮影された映像フレームの画像から、所定対象物の画像領域（例えばバウンディングボックス）を切り出す。具体的には、Ｒ－ＣＮＮ(Regions with Convolutional Neural Networks)やＳＳＤ(Single Shot Multibox Detector)を用いる。
Ｒ－ＣＮＮは、四角形の画像領域を、畳み込みニューラルネットワークの特徴と組み合わせて、所定対象物のサブセットを検出する（領域提案）。次に、領域提案からＣＮＮ特徴量を抽出する。そして、ＣＮＮ特徴量を用いて予め学習したサポートベクタマシンによって、領域提案のバウンディングボックスを調整する。
ＳＳＤは、機械学習を用いた一般物体検知のアルゴリズムであって、デフォルトボックス(default boxes)という長方形の枠（バウンディングボックス）を決定する。１枚の画像上に、大きさの異なるデフォルトボックスを多数重畳させることができる。
物体認識部１１は、カメラ１０２によって撮影された映像フレームの画像から、所定対象物の画像領域（例えばバウンディングボックス）を切り出す。具体的には、Ｒ－ＣＮＮ(Regions with Convolutional Neural Networks)やＳＳＤ(Single Shot Multibox Detector)を用いる。
Ｒ－ＣＮＮは、四角形の画像領域を、畳み込みニューラルネットワークの特徴と組み合わせて、所定対象物のサブセットを検出する（領域提案）。次に、領域提案からＣＮＮ特徴量を抽出する。そして、ＣＮＮ特徴量を用いて予め学習したサポートベクタマシンによって、領域提案のバウンディングボックスを調整する。
ＳＳＤは、機械学習を用いた一般物体検知のアルゴリズムであって、デフォルトボックス(default boxes)という長方形の枠（バウンディングボックス）を決定する。１枚の画像上に、大きさの異なるデフォルトボックスを多数重畳させることができる。
＜特徴検出機能＞
物体認識部１１は、バウンディングボックスの画像領域から、所定対象物を特定する。
検出される「所定対象物」としては、人物であってもよいし、それに限らない物体であってもよい。
例えばプレゼンテーションを想定する場合、ユーザが心理的にストレスを受けるような物体の特徴を予め設定しておく。一般的に、ユーザが心理的にストレスを受ける物体が聴衆である場合、人物の特徴を予め設定しておくことによって、ユーザの視界に映り込む映像から、人物のみを検出することができる。
物体認識部１１は、バウンディングボックスの画像領域から、所定対象物を特定する。
検出される「所定対象物」としては、人物であってもよいし、それに限らない物体であってもよい。
例えばプレゼンテーションを想定する場合、ユーザが心理的にストレスを受けるような物体の特徴を予め設定しておく。一般的に、ユーザが心理的にストレスを受ける物体が聴衆である場合、人物の特徴を予め設定しておくことによって、ユーザの視界に映り込む映像から、人物のみを検出することができる。
物体認識部１１は、小型ＩｏＴデバイスに実装できるように、学習モデルが軽量化されている。学習済みモデルの中間層特徴の選別（レイヤの削除）と、軽量化アーキテクチャの置換とによって、計算量を大幅に削減している。具体的には、Ｃ＋＋Nativeライブラリを用いて、スマートグラスのような小型デバイスであっても、１万人を１秒で識別可能となっている。
［生体活動量取得部１２］
生体活動量取得部１２は、ユーザの「生体活動量」を取得する。
生体活動量取得部１２は、ユーザの身体に装着されたウェアラブルデバイス、又は、ユーザの身体に接着するセンサから、生体活動量を取得する。図１によれば、スマートウォッチ２から、生体活動量を受信する。
前述したように、生体活動量としては、例えば心拍数、血中酸素濃度、皮膚温、血圧、脈拍、発汗量、気圧、環境音のいずれか又はそれらの組み合わせであってもよい。
生体活動量取得部１２は、ユーザの「生体活動量」を取得する。
生体活動量取得部１２は、ユーザの身体に装着されたウェアラブルデバイス、又は、ユーザの身体に接着するセンサから、生体活動量を取得する。図１によれば、スマートウォッチ２から、生体活動量を受信する。
前述したように、生体活動量としては、例えば心拍数、血中酸素濃度、皮膚温、血圧、脈拍、発汗量、気圧、環境音のいずれか又はそれらの組み合わせであってもよい。
［判定部１３］
判定部１３は、生体活動量が、所定条件を満たすか否かを判定する。
具体的には、判定部１３は、生体活動量からユーザの「ストレスレベル」を推定し、当該ストレスレベルが所定閾値を超えた際に、真と判定する。
判定部１３は、生体活動量が、所定条件を満たすか否かを判定する。
具体的には、判定部１３は、生体活動量からユーザの「ストレスレベル」を推定し、当該ストレスレベルが所定閾値を超えた際に、真と判定する。
一般的に、人体における自律神経系は、血液循環・呼吸・体温調節など、意識の介在なしに制御するシステムであって、「交感神経系」と「副交感神経系」とがある（例えば非特許文献５参照）。「交感神経系」は、身体の活動レベルや運動能力を高める方向に働き、「副交感神経系」は、心身の鎮静化・エネルギーの消費抑制と蓄えの方向に働く。心拍数（HRV）は、交感神経と副交感神経の両方に影響を与える。
ここで、以下のようなアルゴリズムで、ストレスレベルを判定する。
（Ｓ１）単位時間当たりの心拍数から、心拍間の時間(RRI)を計測する。
（Ｓ２）線形補間によって、再サンプリングを実行する。
（Ｓ３）周波数解析（フーリエ変換）によって、パワースペクトラムに変換する。
（Ｓ４）ＬＦ(Low Frequency)成分0.05Hz～0.15Hzと、ＨＦ(High Frequency)成分0.15Hz～0.40Hzとに区分する。
ＬＦ成分は、交感神経又は副交感神経が活性化しているときに増加する。
ＨＦ成分は、副交感神経が活性化している場合のみ増加する。
（Ｓ５）ＨＦ成分に対するＬＦ成分の計測比率（ＬＦ／ＨＦ）が、高い場合はストレスがあり、低い場合はリラックスしているといえる。即ち、閾値比率を予め設定し、計測比率が閾値以上であれば、そのユーザのストレスが高いと判定することができる。
ここで、以下のようなアルゴリズムで、ストレスレベルを判定する。
（Ｓ１）単位時間当たりの心拍数から、心拍間の時間(RRI)を計測する。
（Ｓ２）線形補間によって、再サンプリングを実行する。
（Ｓ３）周波数解析（フーリエ変換）によって、パワースペクトラムに変換する。
（Ｓ４）ＬＦ(Low Frequency)成分0.05Hz～0.15Hzと、ＨＦ(High Frequency)成分0.15Hz～0.40Hzとに区分する。
ＬＦ成分は、交感神経又は副交感神経が活性化しているときに増加する。
ＨＦ成分は、副交感神経が活性化している場合のみ増加する。
（Ｓ５）ＨＦ成分に対するＬＦ成分の計測比率（ＬＦ／ＨＦ）が、高い場合はストレスがあり、低い場合はリラックスしているといえる。即ち、閾値比率を予め設定し、計測比率が閾値以上であれば、そのユーザのストレスが高いと判定することができる。
［拡張現実画像生成部１４］
拡張現実画像生成部１４は、判定部１３によって真と判定された際に、ユーザの視界に映る映像における「所定対象物の画像領域」を加工した拡張現実画像を生成する。
拡張現実画像生成部１４は、判定部１３によって真と判定された際に、ユーザの視界に映る映像における「所定対象物の画像領域」を加工した拡張現実画像を生成する。
ここで、拡張現実画像における加工として、所定対象物の画像領域を消滅させることがある。即ち、所定対象物の画像領域における視覚的な色を、周囲と同色にして、ユーザの視界から隠蔽する（例えば非特許文献４参照）。最も簡単には、所定対象物の画像領域の周囲の色で、その画像領域を重畳的に塗りつぶすものであってよい。
そして、拡張現実画像生成部１４は、画像現実画像を、レンズディスプレイ１０１へ出出力する。
例えばシースルー型のスマートグラスの場合、拡張現実画像生成部１４が生成する拡張現実画像は、所定対象物の画像領域と同じ視覚的位置に、塗りつぶした色範囲だけのものとなる。これによって、ユーザの視界から、所定対象物が消滅したように見える。
例えばシースルー型のスマートグラスの場合、拡張現実画像生成部１４が生成する拡張現実画像は、所定対象物の画像領域と同じ視覚的位置に、塗りつぶした色範囲だけのものとなる。これによって、ユーザの視界から、所定対象物が消滅したように見える。
本発明によれば、ユーザの視界から消滅される所定対象物が「人物」であるとして、例えば以下のような実施形態がある。ユーザにとって、視界に映る人に対するストレスが緩和され、デジタルセラピューティックスとして機能する。
＜第１の実施形態＞
ユーザの視界に映る人物の人数を削減させる。
＜第２の実施形態＞
ユーザの視界に映る人物の中で、予め設定された顔表情の人物を消滅させる。
＜第３の実施形態＞
ユーザの視界に映る人物の中で、予め設定された属性の人物を消滅させる。
＜第４の実施形態＞
ユーザの視界に映る人物の中で、予め設定された姿勢の人物を消滅させる。
＜第１の実施形態＞
ユーザの視界に映る人物の人数を削減させる。
＜第２の実施形態＞
ユーザの視界に映る人物の中で、予め設定された顔表情の人物を消滅させる。
＜第３の実施形態＞
ユーザの視界に映る人物の中で、予め設定された属性の人物を消滅させる。
＜第４の実施形態＞
ユーザの視界に映る人物の中で、予め設定された姿勢の人物を消滅させる。
＜第１の実施形態＞
ユーザの視界に映る人物の人数を削減させる。
ユーザの視界に映る人物の人数を削減させる。
図３は、本発明のスマートグラスにおける第１の実施形態のフローチャートである。
図３によれば、ユーザがプレゼンテーションをしている際を想定している。ユーザの視界には多数の聴衆（人物）が見えているとする。このとき、ユーザは、聴衆が多いと緊張し、不安を抱きやすい性格であるとする。
図３によれば、ユーザがプレゼンテーションをしている際を想定している。ユーザの視界には多数の聴衆（人物）が見えているとする。このとき、ユーザは、聴衆が多いと緊張し、不安を抱きやすい性格であるとする。
物体認識部１１は、ユーザの視界に映る映像から、多数の人物を認識する。
次に、生体活動量取得部１２は、プレゼンテーションをしているユーザの生体活動量を取得する。
次に、判定部１３は、ユーザの生体活動量から、ストレスレベルが所定閾値以上であるか否かを判定する。
そして、拡張現実画像生成部１４は、判定部１３で真と判定された場合、ユーザの視界に映る人物の人数を、所定割合（％）で削減する。偽と判定された場合、拡張現実画像生成部１４は機能しないようにする。
次に、生体活動量取得部１２は、プレゼンテーションをしているユーザの生体活動量を取得する。
次に、判定部１３は、ユーザの生体活動量から、ストレスレベルが所定閾値以上であるか否かを判定する。
そして、拡張現実画像生成部１４は、判定部１３で真と判定された場合、ユーザの視界に映る人物の人数を、所定割合（％）で削減する。偽と判定された場合、拡張現実画像生成部１４は機能しないようにする。
ここで、判定部１３及び拡張現実画像生成部１４は、ストレスレベル（ＬＦ／ＨＦ×α）に応じて、ユーザの視界に映る人物の人数の削除割合を決定するものであってもよい。即ち、ストレスレベルが高いほど、削除割合を高く決定し、削除される人数も多くなる。一方で、ストレスレベルが低いほど、削除割合を低く決定し、削除される人数も少なくなる。
勿論、ストレスレベルや、そのストレスレベルに応じた削除割合は、ユーザ自身で予め設定可能なものであってもよい。
勿論、ストレスレベルや、そのストレスレベルに応じた削除割合は、ユーザ自身で予め設定可能なものであってもよい。
＜第２の実施形態＞
ユーザの視界に映る人物の中で、予め設定された顔表情の人物を消滅させる。
ユーザの視界に映る人物の中で、予め設定された顔表情の人物を消滅させる。
図４は、本発明のスマートグラスにおける第２の実施形態のフローチャートである。
図４も、図３と同様に、ユーザがプレゼンテーションをしている際を想定している。ユーザの視界には多数の聴衆（人物）が見えているとする。このとき、ユーザは、ネガティブな顔表情の人を見ると、不安を抱きやすい性格であるとする。
図４も、図３と同様に、ユーザがプレゼンテーションをしている際を想定している。ユーザの視界には多数の聴衆（人物）が見えているとする。このとき、ユーザは、ネガティブな顔表情の人を見ると、不安を抱きやすい性格であるとする。
物体認識部１１は、ユーザの視界に映る映像から、多数の人物を認識する。
ここで、物体認識部１１は、人物の顔表情の検出し、その人物の顔特徴から顔表情を認識するものであってもよい（例えば非特許文献２参照）。
切り出された人物領域を、顔認識モデルを用いて、128/256/512次元の特徴量（ユークリッド距離）に変換する。顔領域から得られる特徴量としては、目の周辺領域の特徴量（例えば目を閉じている、眉間にシワを寄せている）に限らず、例えば、鼻・口・頬・顔面の筋肉の領域も検出する。これによって、ポジティブ／ネガティブ／ニュートラルの３つの表情を判定することができる。勿論、「目を閉じている」「眉間にシワを寄せている」のような顔表情そのものを認識するものであってもよい。
顔認識モデルとしては、具体的にはGoogle（登録商標）のFacenet（登録商標）アルゴリズムを用いることもできる。これによって、顔領域から多次元ベクトルの特徴量に変換することができる。
ここで、物体認識部１１は、人物の顔表情の検出し、その人物の顔特徴から顔表情を認識するものであってもよい（例えば非特許文献２参照）。
切り出された人物領域を、顔認識モデルを用いて、128/256/512次元の特徴量（ユークリッド距離）に変換する。顔領域から得られる特徴量としては、目の周辺領域の特徴量（例えば目を閉じている、眉間にシワを寄せている）に限らず、例えば、鼻・口・頬・顔面の筋肉の領域も検出する。これによって、ポジティブ／ネガティブ／ニュートラルの３つの表情を判定することができる。勿論、「目を閉じている」「眉間にシワを寄せている」のような顔表情そのものを認識するものであってもよい。
顔認識モデルとしては、具体的にはGoogle（登録商標）のFacenet（登録商標）アルゴリズムを用いることもできる。これによって、顔領域から多次元ベクトルの特徴量に変換することができる。
次に、生体活動量取得部１２は、プレゼンテーションをしているユーザの生体活動量を取得する。
次に、判定部１３は、ユーザの生体活動量から、ストレスレベルが所定閾値以上であるか否かを判定する。
そして、拡張現実画像生成部１４は、判定部１３で真と判定された場合、ユーザの視界に映る人物の中で、予め設定された顔表情の人物を消滅させた拡張現実画像を生成する。例えば、「ネガティブ」を顔表情として予め設定することによって、ネガティブと認識された人物を消滅させる。勿論、「目を閉じている」「眉間にシワを寄せている」のような顔表情毎に、その人物を消滅させるか否かを予め設定したものであってもよい。
尚、他の実施形態として、例えば「ネガティブ」と認識された人物について、非特許文献１の技術を用いて、その人物の顔表情を「笑顔」に変換した拡張現実画像を生成するものであってもよい。ネガティブと認識された人物を笑顔に変換するか否かについても、ユーザ自ら予め設定しておくことができる。
これによって、ユーザは、プレゼンテーションをしている際に、好意的な顔表情をした聴衆しか見えないため、ストレスを緩和することができる。
＜第３の実施形態＞
ユーザの視界に映る人物の中で、予め設定された属性の人物を消滅させる。
物体認識部１１は、所定属性となる人物のみを、所定対象物として検出する。所定属性としては、例えば性別、年代であってもよい。例えば５０歳以上の男性のみや、３０歳以下の女性のみを、認識するものであってもよい。
これによって、ユーザは、プレゼンテーションの場面に限らず、自ら苦手とする属性の人物が視界に映らないため、ストレスが緩和される。ユーザにとって恐怖感や不安を抱きやすい容姿の人が視界に映り込んだ場合であっても、メンタルヘルスを改善することができる。
ユーザの視界に映る人物の中で、予め設定された属性の人物を消滅させる。
物体認識部１１は、所定属性となる人物のみを、所定対象物として検出する。所定属性としては、例えば性別、年代であってもよい。例えば５０歳以上の男性のみや、３０歳以下の女性のみを、認識するものであってもよい。
これによって、ユーザは、プレゼンテーションの場面に限らず、自ら苦手とする属性の人物が視界に映らないため、ストレスが緩和される。ユーザにとって恐怖感や不安を抱きやすい容姿の人が視界に映り込んだ場合であっても、メンタルヘルスを改善することができる。
＜第４の実施形態＞
ユーザの視界に映る人物の中で、予め設定された姿勢の人物を消滅させる。
物体認識部１１は、人物の画像領域から姿勢を認識し、当該姿勢が所定条件を満たす人物のみを、所定対象物として検出する。例えば、姿勢が「下を向いている」「寝ている」「腕を組んでいる」「身体を揺っている」「隣の人と話をしている」などの行動認識のＡＩエンジンを用いることもできる（例えば非特許文献６参照）。
これによって、ユーザは、プレゼンテーションの場面に限らず、好意的でない行動の人物が視界に映らないために、ストレスが緩和される。ユーザにとって恐怖感や不安を抱きやすい姿勢の人が視界に映り込んだ場合であっても、メンタルヘルスを維持することができる。
ユーザの視界に映る人物の中で、予め設定された姿勢の人物を消滅させる。
物体認識部１１は、人物の画像領域から姿勢を認識し、当該姿勢が所定条件を満たす人物のみを、所定対象物として検出する。例えば、姿勢が「下を向いている」「寝ている」「腕を組んでいる」「身体を揺っている」「隣の人と話をしている」などの行動認識のＡＩエンジンを用いることもできる（例えば非特許文献６参照）。
これによって、ユーザは、プレゼンテーションの場面に限らず、好意的でない行動の人物が視界に映らないために、ストレスが緩和される。ユーザにとって恐怖感や不安を抱きやすい姿勢の人が視界に映り込んだ場合であっても、メンタルヘルスを維持することができる。
以上、詳細に説明したように、本発明におけるデバイス、プログラム及び表示方法によれば、ユーザの生体活動量に応じて視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させることができる。
尚、これにより、例えば「ユーザの心理的なストレスを低減させる」ことから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標８「すべての人々のための包摂的かつ持続可能な経済成長、雇用およびディーセント・ワークを推進する」に貢献することが可能となる。
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ スマートグラス
１０１ レンズディスプレイ
１０２ カメラ
１０３ 無線通信部
１１ 物体認識部
１２ 生体活動量取得部
１３ 判定部
１４ 拡張現実画像生成部
２ スマートウォッチ、ウェアラブルデバイス
３ スマートフォン
１０１ レンズディスプレイ
１０２ カメラ
１０３ 無線通信部
１１ 物体認識部
１２ 生体活動量取得部
１３ 判定部
１４ 拡張現実画像生成部
２ スマートウォッチ、ウェアラブルデバイス
３ スマートフォン
Claims (13)
- ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスにおいて、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、
ユーザの生体活動量を取得する生体活動量取得手段と、
生体活動量が、所定条件を満たすか否かを判定する判定手段と、
判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段と
を有することを特徴とするデバイス。 - 当該デバイスは、ユーザの頭部の目の前に装着される眼鏡状のものであり、
拡張現実画像生成手段は、ユーザの視界に映る映像の中から、所定対象物の画像領域を隠蔽する拡張現実映像を生成する
ことを特徴とする請求項１に記載のデバイス。 - 生体活動量取得手段は、ユーザの身体に装着されたウェアラブルデバイス、又は、ユーザの身体に接着するセンサから、生体活動量を取得する
ことを特徴とする請求項１に記載のデバイス。 - 生体活動量は、心拍数、血中酸素濃度、皮膚温、血圧、脈拍、発汗量、気圧、環境音のいずれか又はそれらの組み合わせであり、
判定手段は、生体活動量からストレスレベルを推定し、当該ストレスレベルが所定閾値を超えた際に、真と判定する
ことを特徴とする請求項３に記載のデバイス。 - 物体認識手段は、所定対象物として、複数の人物を検出する
ことを特徴とする請求項１に記載のデバイス。 - 拡張現実画像生成手段は、ユーザの視界に映る映像における人数が所定割合で減少するように、人物の画像領域を隠蔽するべく拡張現実画像を生成する
ことを特徴とする請求項５に記載のデバイス。 - 判定手段は、ストレスレベルに応じて、ユーザの視界に映る映像における人数を減少させる割合を設定する
ことを特徴とする請求項６に記載のデバイス。 - 物体認識手段は、人物の画像領域から顔表情を認識し、当該顔表情が所定条件を満たす人物のみを、所定対象物として検出する
ことを特徴とする請求項５に記載のデバイス。 - 物体認識手段は、顔表情が、所定条件としてネガティブと認識された人物のみを、所定対象物として検出する
ことを特徴とする請求項６に記載のデバイス。 - 物体認識手段は、所定属性となる人物のみを、所定対象物として検出する
ことを特徴とする請求項５に記載のデバイス。 - 物体認識手段は、人物の画像領域から姿勢を認識し、当該姿勢が所定条件を満たす人物のみを、所定対象物として検出する
ことを特徴とする請求項５に記載のデバイス。 - ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスに搭載されたコンピュータを機能させるプログラムにおいて、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、
ユーザの生体活動量を取得する生体活動量取得手段と、
生体活動量が、所定条件を満たすか否かを判定する判定手段と、
判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段と
してコンピュータを機能させることを特徴とするプログラム。 - ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスの表示方法において、
デバイスは、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する第１のステップと、
ユーザの生体活動量を取得する第２のステップと、
生体活動量が、所定条件を満たすか否かを判定する第３のステップと、
第３のステップによって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する第４のステップと
を実行することを特徴とするデバイスの表示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022146621A JP2024041678A (ja) | 2022-09-14 | 2022-09-14 | 生体活動量に応じてユーザの視界を制御するデバイス、プログラム及び表示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022146621A JP2024041678A (ja) | 2022-09-14 | 2022-09-14 | 生体活動量に応じてユーザの視界を制御するデバイス、プログラム及び表示方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024041678A true JP2024041678A (ja) | 2024-03-27 |
Family
ID=90416977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022146621A Pending JP2024041678A (ja) | 2022-09-14 | 2022-09-14 | 生体活動量に応じてユーザの視界を制御するデバイス、プログラム及び表示方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2024041678A (ja) |
-
2022
- 2022-09-14 JP JP2022146621A patent/JP2024041678A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10524667B2 (en) | Respiration-based estimation of an aerobic activity parameter | |
| JP2019519053A (ja) | 視覚機能データを獲得し、分析し、生成する、かつデータに基づいてメディアを修正するための方法およびシステム | |
| US20200201434A1 (en) | Bioresponsive virtual reality system and method of operating the same | |
| US20180107275A1 (en) | Detecting facial expressions | |
| US10638938B1 (en) | Eyeglasses to detect abnormal medical events including stroke and migraine | |
| CN112034977A (zh) | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 | |
| US12093457B2 (en) | Creation of optimal working, learning, and resting environments on electronic devices | |
| Nie et al. | SPIDERS: Low-cost wireless glasses for continuous in-situ bio-signal acquisition and emotion recognition | |
| US11291405B2 (en) | Determining and conveying sleep factors | |
| KR20190020418A (ko) | 가상현실을 이용한 심리 모니터링 시스템 및 이를 이용한 심리치료 시스템 | |
| Nie et al. | SPIDERS+: A light-weight, wireless, and low-cost glasses-based wearable platform for emotion sensing and bio-signal acquisition | |
| Colantonio et al. | Computer vision for ambient assisted living: Monitoring systems for personalized healthcare and wellness that are robust in the real world and accepted by users, carers, and society | |
| US20190274630A1 (en) | Output control device, output control method, and program | |
| US20210202078A1 (en) | Patient-Observer Monitoring | |
| US20240164672A1 (en) | Stress detection | |
| WO2017016941A1 (en) | Wearable device, method and computer program product | |
| JP2024041678A (ja) | 生体活動量に応じてユーザの視界を制御するデバイス、プログラム及び表示方法 | |
| JP7279121B2 (ja) | ユーザ行動支援装置、方法およびプログラム | |
| WO2023037348A1 (en) | System and method for monitoring human-device interactions | |
| WO2023283161A1 (en) | Enhanced meditation experience based on bio-feedback | |
| US20240221301A1 (en) | Extended reality assistance based on user understanding | |
| WO2023032617A1 (ja) | 判定システム、判定方法、及び、プログラム | |
| Abbas et al. | Eye-to-text communication based on human-computer interface method | |
| KR102543337B1 (ko) | 아바타를 생성한 사용자의 생체정보 기반 색채힐링콘텐츠를 제공하기 위한 사용자 맞춤 색채힐링콘텐츠 제공 시스템 및 방법 | |
| US20230418372A1 (en) | Gaze behavior detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240716 |