JP3492942B2 - Wearable information presenting apparatus and method, and storage medium - Google Patents

Wearable information presenting apparatus and method, and storage medium

Info

Publication number
JP3492942B2
JP3492942B2 JP18464699A JP18464699A JP3492942B2 JP 3492942 B2 JP3492942 B2 JP 3492942B2 JP 18464699 A JP18464699 A JP 18464699A JP 18464699 A JP18464699 A JP 18464699A JP 3492942 B2 JP3492942 B2 JP 3492942B2
Authority
JP
Japan
Prior art keywords
information
wearable
reproduction
user
measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18464699A
Other languages
Japanese (ja)
Other versions
JP2001013941A (en
Inventor
美和子 土井
玄宗 松下
一男 住田
秀樹 平川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP18464699A priority Critical patent/JP3492942B2/en
Publication of JP2001013941A publication Critical patent/JP2001013941A/en
Application granted granted Critical
Publication of JP3492942B2 publication Critical patent/JP3492942B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本願発明は、装着型の電子機
器を危険な状態で使用できないようにする装着型情報呈
示装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a wearable information presenting apparatus for preventing wearable electronic equipment from being used in a dangerous state.

【0002】[0002]

【従来の技術】近年パーソナルコンピュータの小型化が
進み、ノートブック型コンピュータなどを鞄などに入れ
て持ち歩いて使うスタイルが出現している。このような
モバイルコンピュータは、会議などで机上で会議をしな
がらの議事録作成、あるいは製品の在庫チェックや納入
スケジュールの確認、会議の予定を決定する際の参加者
の確認などに使われる。また、客先との打ち合わせ後、
次の客先への移動中の電車内あるいは喫茶店などで、打
ち合わせ結果を記録するために使われる。いずれにして
もモバイルコンピュータを用いるには、机やひざの上な
どに置いて、ディスプレイを見ながらキーボードを打つ
体勢、すなわち座った状態でなければならない。これに
対し、ハンドフリーで座った状態でなくても使えるコン
ピュータ(装着型コンピュータあるいはウェアラブルコ
ンピュータ)が大学などで研究され始めている。ウェア
ラブルコンピュータでは、フェイスマウントディスプレ
イ(FMD)あるいはヘッドマウントディスプレイ(H
MD)と呼ばれる装着型のモニタを利用者の頭部に装着
させ、電源,CPU本体を腹部に装着させることで、座
ることなく立ったままのの姿勢でディスプレイを見るこ
とができる。さらにウェアラブルコンピュータでは、立
ったままだけでなく、歩行しながらでも使用することが
可能である。
2. Description of the Related Art In recent years, personal computers have become smaller and smaller, and a notebook computer or the like is put in a bag or the like and carried around. Such a mobile computer is used for creating minutes while holding a desk meeting at a meeting, checking product inventory, confirming delivery schedule, and checking participants when deciding a meeting schedule. Also, after meeting with the customer,
It is used to record the meeting results on the train or coffee shop while moving to the next customer. In any case, in order to use a mobile computer, it must be placed on a desk or a lap and be in a position to hit the keyboard while looking at the display, that is, in a sitting state. On the other hand, computers (wearable computers or wearable computers) that can be used hands-free without sitting are being studied in universities. In wearable computers, face mount display (FMD) or head mount display (H
By attaching a wearable monitor called MD) to the user's head and attaching the power supply and the CPU main body to the abdomen, the display can be viewed in a standing posture without sitting. Furthermore, the wearable computer can be used not only while standing, but also while walking.

【0003】しかし、実際にはFMDやHMDに表示さ
れている文字などの情報を見ると、目(視覚)の注意が
ディスプレイに行ってしまい、外部の状況が全く分から
なくなってしまうという問題がある。これに音声出力が
加わると、耳(聴覚)の注意もコンピュータにとられ、
外界の状況が、使用者に届かなってしまうという問題が
起こる。また、多くのHMDは通常のビデオ信号(NT
SC)を入力信号とし、表示できるようになっている。
このため、ゲーム専用のTVモニタの代わりにHMDを
用いたり、個人専用のTVモニタとしてHMDを用いる
ことも行われている。一方、DVDなど映像再生機器の
小型化が進み、携帯可能なものも出現している。この携
帯型の映像再生機器とHMD,イヤホンを組み合わせる
ことで、移動中にも映像を見ることが可能となる。この
場合、HMDを見るために視野の注意は奪われ、イヤホ
ンからの音声を聞くために視覚の注意は奪われ、外界か
ら遮断された状態になってしまう。また、HMDを用い
て横になってTVや映像を見る場合、HMDを装着した
まま眠ってしまう可能性もある。
However, when actually looking at the information such as characters displayed on the FMD or HMD, eyes (visual) attention goes to the display, and there is a problem that the external situation is completely unknown. . When voice output is added to this, the attention of the ear (hearing) is also taken by the computer,
There arises a problem that the external situation reaches the user. Also, many HMDs use normal video signals (NT
SC) is an input signal and can be displayed.
Therefore, the HMD is used instead of the TV monitor dedicated to the game, or the HMD is used as the TV monitor dedicated to the individual. On the other hand, the miniaturization of video reproducing devices such as DVD has progressed, and portable devices have appeared. By combining this portable video playback device with an HMD and earphones, it is possible to view video even while moving. In this case, the attention of the visual field is lost to see the HMD, the visual attention is lost to hear the sound from the earphone, and the state is cut off from the outside world. Further, when using the HMD to lie down and watch TV or video, there is a possibility that the user will fall asleep while wearing the HMD.

【0004】[0004]

【発明が解決しようとする課題】装着型のウェアラブル
コンピュータなどのように、映像や文字,地図などの情
報を呈示する機器においては、歩行中など視野や聴覚を
覆うことで、外界から遮断され危険な状態が発生する。
つまり、静止状態など安全が確保されているときのみに
情報呈示が行われるというような配慮が為されていない
という問題がある。また、HMDを装着したまま眠り込
んでしまうと、視聴していないのに再生が続き、電力を
無駄に消費してしまうという問題が発生する。
In a device such as a wearable wearable computer that presents information such as images, characters, and maps, covering the field of view or hearing while walking may cause a danger of being shielded from the outside world. This happens.
In other words, there is a problem that no consideration is given such that information is presented only when safety is ensured such as in a stationary state. Further, if the user sleeps with the HMD attached, there is a problem in that reproduction continues even though he / she is not watching and power is wasted.

【0005】[0005]

【課題を解決するための手段】以上のような問題点を解
決するために、本願発明は、文字,映像,あるいは音声
などの記録されたあるいは受信した再生すべき情報を再
生するための再生手段と、利用者が装着可能で、前記再
生手段によって再生された情報を呈示するための装着型
呈示手段と、この装着型呈示手段を装着している前記使
用者の危険状態を計測するための危険計測手段と、この
危険計測手段の計測結果に基づいて、前記再生手段での
再生や前記装着型呈示手段での呈示を制御するための再
生呈示制御手段とを有することを特徴とする。好ましく
は、前記危険計測手段は、装着している使用者の移動中
などの行動を計測するための行動計測手段を有すること
を特徴とする。また、好ましくは、前記行動計測手段
は、使用者の静止,歩行,走行などの身体の活動状態を
計測するためのセンサを有することを特徴とする。ま
た、前記行動計測手段は、使用者が覚醒しているかどう
かを計測するための覚醒検出手段を有することを特徴と
する。また、前記危険計測手段は、前記装着型呈示手段
を装着している使用者の環境を計測する環境計測手段を
有することを特徴とする。
In order to solve the above problems, the present invention is a reproducing means for reproducing recorded or received information to be reproduced, such as characters, video or audio. A wearable presentation means that can be worn by the user and presents the information reproduced by the reproduction means, and a risk for measuring the dangerous state of the user wearing the wearable presentation means. It is characterized by having a measuring means and a reproduction presenting control means for controlling reproduction by the reproducing means and presentation by the wearable presenting means based on the measurement result of the danger measuring means. Preferably, the risk measuring means has an action measuring means for measuring an action of a user who is wearing the device while the user is moving. Further, it is preferable that the behavior measuring means has a sensor for measuring a physical activity state of the user such as stationary, walking, and running. Further, the behavior measuring means includes an awakening detecting means for measuring whether or not the user is awake. Further, the danger measuring means has environment measuring means for measuring the environment of the user wearing the wearable presenting means.

【0006】また、前記環境計測手段は、周囲から使用
者への聴覚あるいは視覚への働きかけを検出することを
特徴とする。また、前記再生呈示制御手段は、前記危険
計測手段の計測結果に応じて、視覚野や聴覚野などの確
保のため、前記再生手段での再生の停止、前記装着型呈
示手段での呈示の停止を行うことを特徴とする。また、
前記再生呈示制御手段は、前記危険予測手段の計測結果
に応じて、視覚野の確保のため、前記装着型呈示手段で
の呈示を注視野から周辺視野に移行することを特徴とす
る。また、前記再生呈示制御手段は、前記危険計測手段
の計測結果に応じて、前記再生手段での情報の再生を停
止するとき、前記停止箇所を記録し、前記再生手段での
情報の再生を再開するとき、記録した前記停止箇所から
情報の再生を再開することを特徴とする。さらに、好ま
しくは、使用者の自宅あるいはサービスセンターと交信
するための交信手段を有し、前記再生呈示制御手段は、
前記危険計測手段の計測結果に応じて、前記再生手段で
の再生を停止するとき、停止した個所以降の情報の記録
を交信手段を通じて指示することを特徴とする。
Further, the environment measuring means is characterized by detecting an auditory or visual action from the surroundings to the user. Further, the reproduction presentation control means stops reproduction by the reproduction means and stops presentation by the wearable presentation means in order to secure the visual cortex and the auditory cortex in accordance with the measurement result of the risk measuring means. It is characterized by performing. Also,
The reproduction presentation control means is characterized by shifting the presentation by the wearable presentation means from the gazing field to the peripheral visual field in order to secure the visual cortex in accordance with the measurement result of the risk prediction means. Further, the reproduction presentation control means records the stop location and restarts the reproduction of the information by the reproduction means when the reproduction of the information by the reproduction means is stopped according to the measurement result of the danger measuring means. At this time, the reproduction of the information is restarted from the recorded stop position. Further, preferably, it has a communication means for communicating with a user's home or a service center, and the reproduction presentation control means,
According to the measurement result of the risk measuring means, when the reproduction by the reproducing means is stopped, recording of information after the stopped portion is instructed through the communication means.

【0007】[0007]

【発明の実施の形態】[実施例1]図1に第1の実施例
の概略構成図を示す。装着型呈示部3は、文字や地図あ
るいは映像などの視覚情報を表示するために、HMDや
FMDのように利用者の頭部に装着あるいは腕時計のよ
うに腕に装着する装着型のディスプレイと、音楽や音声
などの聴覚情報を出力するためのイヤホンから構成され
る。記憶部5は、この装着型呈示部3で呈示する文字や
地図あるいは映像などの視覚情報や、音楽や音声などの
聴覚情報を格納している記憶媒体(例えば、DVDやC
D−ROMのように映像や音楽などの記憶媒体)を挿入
するためのものである。再生部6は、記憶部5にセット
された記憶媒体から情報を再生する。行動計測センサ2
は、使用者が安全に情報提供を受けられる状態(電車に
乗っている,ホームやバス停に立っているなどの歩行せ
ずに停止している状態)であることを検出するための加
速度センサ,接触センサなどで構成される。入力部1
は、電源のON/OFFなどの指示を行うためのボタ
ン、あるいは音声入力で指示を行うためのマイクなどで
構成される。再生呈示制御部4は、行動計測センサ2の
計測結果に応じて、静止状態でないときはこの再生部6
の再生を停止したり、装着型呈示部3での呈示を中止な
どを行う。
DESCRIPTION OF THE PREFERRED EMBODIMENTS [Embodiment 1] FIG. 1 shows a schematic configuration diagram of a first embodiment. The wearable presentation unit 3 is a wearable display that is worn on a user's head like an HMD or FMD or worn on an arm like a wristwatch in order to display visual information such as characters, maps or images. It is composed of earphones for outputting auditory information such as music and voice. The storage unit 5 stores a storage medium (for example, a DVD or a C that stores visual information such as characters, maps, or images presented by the wearable presentation unit 3 and auditory information such as music or voice).
This is for inserting a storage medium such as video and music) such as a D-ROM. The reproduction unit 6 reproduces information from the storage medium set in the storage unit 5. Behavior measurement sensor 2
Is an acceleration sensor for detecting that the user can safely receive information (a state where he / she is on a train, stopped at home or at a bus stop without walking), It is composed of contact sensors. Input section 1
Is composed of a button for instructing ON / OFF of a power source, a microphone for instructing by voice input, or the like. According to the measurement result of the action measurement sensor 2, the reproduction presentation control unit 4 reproduces this reproduction unit 6 when not in the stationary state.
Is stopped, or the presentation by the wearable presentation unit 3 is stopped.

【0008】図2は、装着型呈示部3としてFMD20
とイヤホン21、入力部1としてマイク22、再生部6
や記憶部5,行動計測センサ2,再生呈示制御部4が一
体になった筐体23を胸ポケットに装着した状態を示す
図である。同様に図3は、FMD20の代わりに腕時計
型のディスプレイ24を装着した状態を示す図である。
図4は、DVDやCD−ROMなどの記憶媒体から情報
を得る代わりに、無線などの通信手段により外部と情報
の送受信を行う場合の構成図である。図1の記憶部5の
代わりに送受信部7を有している点が異なり、あとは図
1と同じ構成である。図5は、再生呈示制御部4での処
理の流れを示す図である。以下、この流れ図に沿って説
明する。まず、再生呈示部4は、行動計測センサ2が取
得したデータを読み取る(ステップS501)。行動計
測センサ2は、例えば靴の裏に設置された接触センサの
データを用いて、 「if 接触と非接触状態が周期的 then 歩行/走行 else 静止」 のような規則に従って、静止か否かを計測する。また
は、衣服の袖の部分やズボンの裾の部分、あるいは靴に
装着された加速度センサのデータを用いて、 「if 加速度が変化 then 歩行/走行 else 静止」 のような規則に従い、静止状態と歩行、走行状態を計測
することができる。
FIG. 2 shows the FMD 20 as the wearable presentation unit 3.
And earphone 21, microphone 22 as input unit 1, playback unit 6
It is a figure which shows the state which mounted | worn the housing | casing 23 with which the memory | storage part 5, the action measurement sensor 2, and the reproduction presentation control part 4 were integrated in the chest pocket. Similarly, FIG. 3 is a diagram showing a state in which a wristwatch type display 24 is attached instead of the FMD 20.
FIG. 4 is a configuration diagram in the case of transmitting / receiving information to / from the outside by a communication unit such as wireless instead of obtaining information from a storage medium such as a DVD or a CD-ROM. The structure is the same as that of FIG. 1 except that a transmission / reception unit 7 is provided instead of the storage unit 5 of FIG. FIG. 5 is a diagram showing a flow of processing in the reproduction presentation control unit 4. Hereinafter, description will be given along this flow chart. First, the reproduction presentation unit 4 reads the data acquired by the behavior measurement sensor 2 (step S501). The action measuring sensor 2 uses data of a contact sensor installed on the back of the shoe, for example, to determine whether or not it is stationary according to a rule such as “if contact and non-contact state is periodic then walking / running else stationary”. measure. Alternatively, by using the data of the acceleration sensor attached to the sleeve part of the clothes, the hem part of the pants, or the shoes, according to a rule such as "if acceleration changes then walking / running else stationary" The running condition can be measured.

【0009】さらに、精度を高めるためには接触と非接
触状態が周期的に続く時間や、加速度の変化の度合いや
変化時間など、パラメータを増すことも可能である。一
定時間静止が続かない場合静止状態と見なさないように
することで、単にちょっと立ち止まっただけで、急に再
生が始まったりする危険性を防ぐことができる。再生制
御部4は、行動計測センサ2が取得したデータが静止状
態か否か判別する(ステップS502)。静止していな
ければ、次に情報が再生中か否か判別する(ステップS
503)。歩行や走行の状態でも情報が再生されていな
ければ問題ないので、そのまま行動計測センサ2による
データ取得を続行する(S501)。情報の再生中であ
れば、歩行や走行状態での情報呈示は危険であるので情
報の再生を中止する。のちに、利用者が停止した個所か
ら抜け落ちがなく情報を再生できるように、この停止個
所を記録しておく(ステップS504)。図4の構成の
ように、DVDやCD−ROMのような記憶媒体から情
報を読み出し再生するのではなく、送受信部7が受信し
た情報を再生する場合、停止個所だけでなく該当情報も
記録する。これにより、再度情報を使用者の自宅あるい
はサービスセンターや情報プロバイダより読み出すとき
に、該当情報を容易に識別し、停止個所より再開するこ
とが可能となる。
Further, in order to improve the accuracy, it is possible to increase the parameters such as the time during which the contact state and the non-contact state continue, the degree of change in acceleration, and the change time. By not considering it as a stationary state when it does not continue for a certain period of time, it is possible to prevent the risk of sudden playback starting just by stopping for a while. The reproduction control unit 4 determines whether the data acquired by the behavior measurement sensor 2 is in a stationary state (step S502). If it is not stationary, it is next determined whether or not the information is being reproduced (step S).
503). Since there is no problem if the information is not reproduced even in the walking or running state, the data acquisition by the action measuring sensor 2 is continued as it is (S501). If the information is being reproduced, presentation of the information while walking or running is dangerous, so the reproduction of the information is stopped. After that, this stop location is recorded so that the user can reproduce the information without missing from the stop location (step S504). When the information received by the transmission / reception unit 7 is reproduced instead of reading the information from a storage medium such as a DVD or a CD-ROM and reproducing the information as in the configuration of FIG. 4, not only the stop position but also the corresponding information is recorded. . As a result, when the information is read again from the user's home, the service center, or the information provider, the information can be easily identified and restarted from the stop point.

【0010】次に、イヤホンから流れる音声,音楽を停
止し、図2のような頭部への装着型の表示手段を用いて
いる場合には、それらHMDやFMDなどの呈示を停止
するとともに、表示画面を見やすくするため非透過モー
ドであるHMDやFMDを、透過モードに変更して外界
が見えるようにする(ステップS505)。また、図3
のように腕部に装着型の表示手段の場合には、単に表示
を停止するだけでよい。その後、再度行動計測センサ2
からのデータの読み出しを続ける(ステップS50
1)。利用者の状態が静止に戻ったときには、再生が可
能なので、再生を開始する。そのときには、再生中であ
るかを判断し(ステップS506)、再生中でない場合
はステップS504で記録した停止個所があるか否かを
判別し(ステップS507)、停止個所があればその個
所から再生する(ステップS508)再生時には、イヤ
ホンから音声や音楽を流し、さらにHMDやFMDは表
示される情報を見やすくするために、非透過モードに変
更する。図4の構成のように、DVDやCD−ROMの
ような記憶媒体から情報を読み出し再生するのではな
く、送受信部7が受信した情報を再生する構成では、再
生時に送受信部7から再生すべき情報の識別記号と停止
個所を、使用者の自宅あるいはサービスセンターや情報
プロバイダに送り、該当情報を該当個所より受信し再生
するものである。
Next, when the voice and music flowing from the earphones are stopped and the head-mounted display means as shown in FIG. 2 is used, the presentation of the HMD or FMD is stopped, and In order to make the display screen easier to see, the non-transparent mode HMD or FMD is changed to the transparent mode so that the outside world can be seen (step S505). Also, FIG.
In the case of the arm-worn display means as described above, it is sufficient to simply stop the display. After that, the behavior measurement sensor 2 again
Continues to read data from (step S50
1). When the user's state returns to the still state, the reproduction is possible, and the reproduction is started. At that time, it is determined whether the reproduction is being performed (step S506). If the reproduction is not being performed, it is determined whether or not there is the stop portion recorded in step S504 (step S507). If there is the stop portion, the reproduction is performed from that portion. Yes (step S508) During reproduction, voice or music is played from the earphone, and the HMD or FMD is changed to the non-transparent mode in order to make the displayed information easy to see. As in the configuration of FIG. 4, in a configuration in which the information received by the transceiver 7 is reproduced instead of reading the information from a storage medium such as a DVD or a CD-ROM and reproducing the information, the information should be reproduced from the transceiver 7 during reproduction. The information identification symbol and the stop location are sent to the user's home, a service center, or an information provider, and the relevant information is received from the relevant location and reproduced.

【0011】ステップS508で再生を開始するときに
は、使用者に再生を開始するか否かの確認を音声にて知
らせることも可能である。所定時間経っても、ユーザか
ら再生不可の指示がなければ、そのまま再生を開始す
る。再生不可の指示がユーザからあれば、再生をしない
ようにする。これにより、単に立ち止まっただけの時
に、むやみに情報を再生し始めることを防ぐことができ
る。また、DVDやCD−ROMなどの記憶媒体から読
み出して再生を行っている場合では、記憶されている情
報の最後で(ステップS509)終了する。続けて再生
するリピート機能になっている場合、情報の再生を続行
し、行動計測センサからのデータ取得を続ける(ステッ
プS501)。また、新規の再生であれば(ステップS
507)、新規に再生を行う(ステップS510)。こ
のとき、頭部装着型の表示手段(HMDなど)を用いて
いる場合には、ディスプレイの透過モードから非透過モ
ードにするなどの制御を行うことはステップS508と
同様である。図6は実施例1の変形例の処理の流れ図を
示す。図5とは、ステップS503とS505の代わり
に、ステップS511があり、ステップS507の代わ
りにステップS513、ステップS508の代わりにス
テップS514がある点で異なっている。
When the reproduction is started in step S508, it is possible to inform the user by voice whether the reproduction is started or not. If the user does not indicate that reproduction is not possible even after a predetermined time, the reproduction is started as it is. If the user gives an instruction that reproduction is not possible, the reproduction is not performed. As a result, it is possible to prevent the information from being unnecessarily started to be reproduced when the player just stops. In the case of reading from a storage medium such as a DVD or a CD-ROM for reproduction, the process ends at the end of the stored information (step S509). When the repeat function of continuously reproducing is set, the reproduction of information is continued and the data acquisition from the action measuring sensor is continued (step S501). If it is a new reproduction (step S
507), new reproduction is performed (step S510). At this time, when the head-mounted display means (HMD or the like) is used, control such as switching from the transparent mode to the non-transparent mode of the display is performed as in step S508. FIG. 6 shows a flow chart of processing of a modified example of the first embodiment. It differs from FIG. 5 in that instead of steps S503 and S505, step S511 is provided, step S513 is provided instead of step S507, and step S514 is provided instead of step S508.

【0012】図6の変形例は、図2のような頭部装着型
の表示手段(HMDやFMDなど)を用いて静止状態で
ないときに、単に表示を停止する代わりに表示位置をユ
ーザが周囲の状況を認識するのに邪魔にならない位置つ
まり注視野から周辺視野に移動することで対処する。ス
テップS503では、静止状態でなければ情報の再生を
停止し、ステップS505でHMDやFMDなどの表示
装置への表示を取りやめる処理を行っていたが、変形例
におけるステップS511では、表示を取りやめるので
はなく、ユーザが物体を注視する際の注視野(視野角,
約20度)への表示をやめ、その代わりに注視の邪魔に
ならない周辺視野に表示を移動するものである。このと
き外界が見えるように非透過モードから透過モードへの
切替えも行う。また、逆に静止状態になって再生を再開
するときは、周辺視野に表示されているか否か判別する
(ステップS513)。周辺視野に表示されていれば再
生中か否か判別し(ステップS506)、注視野に表示
位置を移動する(ステップS514)。図7は、他の変
形例の処理の流れ図である。図5のステップS502の
静止状態か否か判別する処理の代わりに、ステップS5
12として、覚醒しているか否かを判別する処理が入っ
ている。ここでの行動計測センサ2は加速度センサや接
触センサの代わりにHMDやFMDに取り付けられた赤
外センサを用いて、ユーザの目の動きを計測する。単純
には赤外センサにより、目玉が検出でなければ目をつぶ
っている、つまり眠っている(非覚醒状態)と判断する
(ステップS512)。
In the modification of FIG. 6, when the head-mounted display means (HMD, FMD, etc.) as shown in FIG. 2 is not used, instead of merely stopping the display, the user can move around the display position. To deal with the situation, move from a position that does not interfere with recognizing the situation, that is, from the gaze field to the peripheral vision. In step S503, the reproduction of information is stopped unless it is in the still state, and the process of canceling the display on the display device such as the HMD or FMD is performed in step S505. However, in step S511 in the modification, the display is not canceled. The field of view (viewing angle,
The display is stopped at about 20 degrees, and instead the display is moved to the peripheral visual field that does not disturb the gaze. At this time, the non-transparent mode is also switched to the transparent mode so that the outside world can be seen. On the contrary, when the reproduction is resumed in the stationary state, it is determined whether or not it is displayed in the peripheral visual field (step S513). If it is displayed in the peripheral visual field, it is determined whether or not it is being reproduced (step S506), and the display position is moved to the gaze visual field (step S514). FIG. 7 is a flowchart of the process of another modification. Instead of the process of determining whether the stationary state in step S502 of FIG. 5, step S5 is performed.
As 12, the processing for determining whether or not the person is awake is included. The behavior measurement sensor 2 here uses an infrared sensor attached to the HMD or FMD instead of the acceleration sensor or the contact sensor to measure the movement of the user's eyes. If the eyeball is not detected simply by the infrared sensor, it is determined that the eyes are closed, that is, the person is sleeping (non-awakening state) (step S512).

【0013】非覚醒状態であれば眠っているので、情報
を呈示するのは電力消費の点でも無駄が多いので、図5
の静止状態と同様に再生を停止する処理を行う。 [実施例1の効果]以上のように本願発明によれば、ユ
ーザは静止状態でのみ情報の呈示を受けることができる
ので、装着型情報呈示装置を安全に使用することができ
る。また、静止しないと使えないので、他の動作をしな
がら使用することで注意が散漫になり、他者に迷惑を及
ぼすこともないので、社会的にも装着型情報呈示装置の
利用を容認してもらうのに、大きな効果を発揮する。 [実施例2]実施例1では、ユーザの行動を計測してそ
の状態に応じて、情報の再生,呈示の制御を行うこと
で、ユーザが危険か状態で装着型情報呈示装置を使用す
ることを防いでいた。しかし、実際にはユーザが歩行や
走行せずに静止していたとしても、必ずしも安全ではな
い。例えば、街頭で静止していても、そばを車が猛スピ
ードで通り過ぎようとしているのを気づかなければ危険
である。この実施例2ではこのような問題点を解決する
ものである。実施例1ではユーザ自身の状態を検知する
行動計測センサ2を用いていたが、ユーザの環境を検知
するセンサなどを用いて環境を検知し、ユーザに注意を
促すような手段は具備していなかった。実施例2では、
このようなユーザの環境を検知する手段を有するもので
ある。
Since there is much sleep in the non-wake state, presenting information is wasteful in terms of power consumption.
The process of stopping the reproduction is performed as in the stationary state of. [Effects of Embodiment 1] As described above, according to the present invention, the user can receive the information presentation only in the stationary state, so that the wearable information presentation device can be safely used. In addition, since it cannot be used unless it is stationary, using it while doing other actions distracts attention and does not disturb others, so socially accepting the use of wearable information display devices. It has a great effect on getting people to receive it. [Embodiment 2] In Embodiment 1, by measuring the behavior of the user and controlling the reproduction and presentation of information according to the state, the user can use the wearable information presentation device in a dangerous state. Was being prevented. However, in reality, even if the user stands still without walking or running, it is not always safe. For example, even if you are stationary on the street, it is dangerous if you do not notice that a car is passing by very fast. The second embodiment solves such a problem. In the first embodiment, the behavior measurement sensor 2 that detects the state of the user himself / herself is used, but there is no means for detecting the environment using a sensor or the like that detects the user's environment and calling the user's attention. It was In Example 2,
It has means for detecting such a user environment.

【0014】図8は、この実施例2の概略構成図であ
る。実施例1の入力部1に代わってユーザの音声だけで
なく、外界の音情報の入力を行うための音情報入力部1
0と、ユーザの表情や外界の映像情報を入力を行うため
の映像情報入力部9とを有している。音情報入力部10
は、例えば図2や図3の使用イメージ図のように、マイ
クのヘッドセットから音声認識のための入力と、周囲の
音情報を入力する。映像入力部9は、CCDなどの小型
カメラで例えば図2のFMDのフレーム部の前面と後面
に実装し、ユーザの前面と後面を撮像する。小型カメラ
が撮像する画像は、静止画や動画の両方が可能である。
ただし、動画の場合には環境情報分析部8において、解
析の対象となる動画像を保存しておくために容量の大き
なフレームメモリが必要となる。しかし、大きなフレー
ムメモリをもつことは消費電力の増大につながる。消費
電力の増大を防ぐために、動画のほかに10秒に1枚の
速度で撮像された静止画を用いることも可能である。環
境情報分析部8は、音情報入力部10と映像入力部9か
ら入力された音情報や映像情報を解析し、危険な状態に
あるか否か分析するものである。
FIG. 8 is a schematic configuration diagram of the second embodiment. The sound information input unit 1 for inputting not only the user's voice but also sound information of the outside world in place of the input unit 1 of the first embodiment.
0 and a video information input unit 9 for inputting the facial expression of the user and the video information of the outside world. Sound information input unit 10
For example, as shown in the usage image diagrams of FIGS. 2 and 3, the microphone input is used for voice recognition and ambient sound information is input. The image input unit 9 is a small camera such as a CCD, and is mounted on the front and rear surfaces of the frame portion of the FMD shown in FIG. 2, for example, and images the front and rear surfaces of the user. Images captured by the small camera can be both still images and moving images.
However, in the case of a moving image, the environment information analysis unit 8 requires a frame memory having a large capacity to store a moving image to be analyzed. However, having a large frame memory leads to an increase in power consumption. In order to prevent an increase in power consumption, it is possible to use a still image captured at a speed of once every 10 seconds in addition to a moving image. The environmental information analysis unit 8 analyzes the sound information and the video information input from the sound information input unit 10 and the video input unit 9 and analyzes whether or not the sound information is in a dangerous state.

【0015】図10は、実施例2の変形例の概略構成図
である。図8に示す実施例2の構成に、ユーザ自身の行
動状態を検知するための行動計測センサ2を追加したも
のである。このような構成にすることで、ユーザには環
境情報分析部8と行動計測センサ2の双方からの状態を
知らせることができるので、二重に安全機構が働くよう
になっている。図9は、図8での構成における環境情報
分析部8と再生呈示制御部4の処理の流れのうち、実施
例1と異なる部分を記載したものである。まず、再生が
中断されたか否かを示す再生中断フラグIを初期化(I
=0)する(ステップS901)。続いて、映像情報入
力部9と音情報入力部10からの入力情報を読み取る
(ステップS902)。次に、環境情報分析部8ではこ
の入力情報の分析を行う。入力情報の分析は、危険を察
知すること、ユーザに外部からの接触を知らせることを
目的とするものである。危険を察知するためには、情報
再生中にユーザの周囲で、車の急ブレーキなどの大きな
音や車が急接近しているなどの音を検知し、情報の再生
を中止し危険として検知した音や映像をユーザに知らせ
ることが必要となる。一方、外部からの接触とは、例え
ば「XX駅」で下車予定の車中において、情報を再生し
ていて「XX駅」に到着したことを知りたい場合、「X
X駅」という車中あるいは駅でのアナウンスを認識して
知らせるようなことを想定している。あるいは、情報再
生中に知人が近づいてきたら、その顔を認識してユーザ
に知らせることも外部からの接触の検知に相当する。
FIG. 10 is a schematic configuration diagram of a modified example of the second embodiment. The action measurement sensor 2 for detecting the action state of the user himself is added to the configuration of the second embodiment shown in FIG. With such a configuration, the user can be notified of the states from both the environmental information analysis unit 8 and the behavior measurement sensor 2, so that the safety mechanism is doubly activated. FIG. 9 illustrates a part different from that of the first embodiment in the processing flow of the environment information analysis unit 8 and the reproduction presentation control unit 4 in the configuration of FIG. 8. First, a reproduction interruption flag I indicating whether or not reproduction is interrupted is initialized (I
= 0) (step S901). Then, the input information from the video information input unit 9 and the sound information input unit 10 is read (step S902). Next, the environment information analysis unit 8 analyzes this input information. The analysis of the input information is intended to detect danger and inform the user of external contact. In order to detect a danger, a loud noise such as a sudden braking of a car or a sound such as a sudden approach of a car is detected around the user during the information reproduction, and the reproduction of the information is stopped and detected as a danger. It is necessary to inform the user of sounds and images. On the other hand, the contact from the outside means, for example, when the user is going to get off at "XX station" and wants to know that the player has arrived at "XX station" while reproducing the information.
It is supposed to recognize and announce the announcement in the car or at the station called "X station". Alternatively, if an acquaintance approaches during the information reproduction, recognizing the face and notifying the user also corresponds to detection of external contact.

【0016】ステップS903までは、以上のような危
険や外部からの接触検知の有無を探るために、入力され
た音情報と映像情報に関しての解析を行う。とりあえず
図9は、危険を察知するための解析処理を当てた流れ図
になっている。ここでは簡単のために、騒音量(dB
値)の大きさなどをまとめて音情報変化値Dsとしてい
る。つまり、非常に大きな音がして危険が迫っていると
いうときには、騒音値の変化Dsがある閾値αを越えた
か否かを判定する。また、急速に車が接近している場合
を検知するには、例えば動きの変化を示すオプティカル
フローのベクトルの長さを求める。これが一つの映像情
報変化値Diとなる。つまり、所定の速さ以上で近づく
物体があるか否かを映像情報変化値Diがある閾値βを
越えたか否かで判定する。ステップS904からS90
6では、ステップS903で算出した変化値DsとDi
に基づいた判定を行う。ステップS904では、音情報
変化値Dsも映像情報変化値Diもともに閾値αとβを
越えていないかどうかを判定する。変化値DsとDiが
閾値α,βともに越えていなければ、ステップS907
で再生中断フラグIをみて、何かの危険を感知して再生
が中断されたものであるか否かを判定する。
Up to step S903, the input sound information and video information are analyzed in order to search for the above danger and the presence or absence of external contact detection. For the time being, FIG. 9 is a flow chart to which an analysis process for detecting a danger is applied. Here, for simplicity, the noise amount (dB
The value and the like are collectively referred to as the sound information change value Ds. That is, when a very loud sound is generated and the danger is approaching, it is determined whether or not the change Ds of the noise value exceeds a certain threshold value α. Further, in order to detect the case where the vehicle is approaching rapidly, for example, the length of the vector of the optical flow indicating the change in the movement is obtained. This becomes one video information change value Di. That is, whether or not there is an object approaching at a predetermined speed or more is determined by whether or not the video information change value Di exceeds a certain threshold β. Steps S904 to S90
6, the change values Ds and Di calculated in step S903
The judgment is made based on. In step S904, it is determined whether neither the sound information change value Ds nor the video information change value Di exceeds the thresholds α and β. If the change values Ds and Di do not exceed the threshold values α and β, step S907.
Then, by checking the reproduction interruption flag I, it is determined whether the reproduction is interrupted by sensing some danger.

【0017】再生が中断されているのでなければ、その
ままの状態をつづければよいので、そのままステップS
902に戻り、外部情報の読み出しを続ける。再生が中
断されたのであれば、再生を再開し(ステップS90
8)、再生中断フラグを戻すために初期化のステップ
(S901)に戻る。音情報変化値Dsも映像情報変化
値Diもともに閾値α,βを越えていれば、大変な危険
が迫っている状態である(ステップS905)。従っ
て、ステップS909では即座に再生と表示を停止す
る。ここで、再生中断フラグIを1にする(ステップS
909)。また、検知した音をユーザにイヤホンで知ら
せるとともに、危険が迫っていることを知らせるように
例えば、警報を鳴らし、イヤホンを通じて知らせる。ス
テップS906では、音情報変化値Dsのみが閾値αを
越え、映像情報変化値Diが閾値βを越えていない場
合、つまり、近くで大きな音はしているが、車が高速で
近づくなどの映像としての危険は検知されていないこと
を判定する。この場合は、再生と表示を停止し、再生中
断フラグIを2にセットする(ステップS910)。ま
た、注意音を出してユーザに注意を喚起し、近くで発生
している音を聞かせる。
If the reproduction is not interrupted, it is sufficient to continue the state as it is, so that the step S is performed as it is.
Returning to 902, the reading of external information is continued. If the reproduction is interrupted, the reproduction is restarted (step S90
8) Return to the initialization step (S901) to return the reproduction interruption flag. If both the sound information change value Ds and the video information change value Di exceed the thresholds α and β, it is in a very dangerous state (step S905). Therefore, in step S909, reproduction and display are immediately stopped. Here, the reproduction interruption flag I is set to 1 (step S
909). Further, the detected sound is notified to the user by the earphone, and for example, an alarm is sounded to notify that the danger is imminent and the user is notified through the earphone. In step S906, when only the sound information change value Ds exceeds the threshold value α and the video information change value Di does not exceed the threshold value β, that is, when a loud sound is made in the vicinity but a car approaches at a high speed. It is determined that the danger as is not detected. In this case, the reproduction and display are stopped and the reproduction interruption flag I is set to 2 (step S910). In addition, a caution sound is emitted to call the user's attention and hear the sound generated nearby.

【0018】ステップS911では、音としての危険は
ないが、映像としての危険があるか否かを判断する。こ
の場合は、再生中断フラグIを3にセットし、ユーザに
映像として危険が迫っていることを示す注意音を呈示す
る。図9が危険を検知し、警告するための処理の流れで
あったが、図11は外部からの接触を検知し、ユーザに
呈示するための処理の流れ図である。認識したい音情報
としては、例えば図12に示すように、電車から降りる
降車駅名や、他人から呼ばれる自分の名前などがある。
認識したい映像情報としては、例えば知人の顔などがあ
る。ステップS912では、図12にあるような認識す
べき対象の情報とマッチするか否かを解析する。ここで
は簡単のため認識した対象の個数をカウントし、それに
応じた処理を行う。 ステップS912で算出した音情
報認識度Rsと映像情報認識度Riに基づいた判定を行
う。ステップS913では、音情報認識度Rsも映像情
報認識度Riもともに閾値γとδを越えていないかどう
かを判定する。認識度RsとRiが閾値γ,δともに越
えていなければ、ステップS907で再生中断フラグI
をみて、認識対象を感知して再生が中断されたものであ
るか否かを判定する。
In step S911, it is determined whether or not there is a danger as an image, although there is no danger as a sound. In this case, the reproduction interruption flag I is set to 3, and the user is presented with a caution sound indicating that the image is in danger. FIG. 9 is a flow of processing for detecting and warning a danger, while FIG. 11 is a flow chart of processing for detecting an external contact and presenting it to the user. As the sound information to be recognized, for example, as shown in FIG. 12, there is a name of a disembarking station from a train, a name of oneself called by another person, and the like.
The image information to be recognized includes, for example, the face of an acquaintance. In step S912, it is analyzed whether or not it matches the information of the target to be recognized as shown in FIG. Here, for the sake of simplicity, the number of recognized objects is counted, and processing is performed accordingly. A determination is made based on the sound information recognition degree Rs and the video information recognition degree Ri calculated in step S912. In step S913, it is determined whether neither the sound information recognition degree Rs nor the video information recognition degree Ri exceeds the thresholds γ and δ. If the recognition degrees Rs and Ri do not exceed the thresholds γ and δ, the reproduction interruption flag I is determined in step S907.
Then, the recognition target is sensed to determine whether or not the reproduction is interrupted.

【0019】再生が中断されているのでなければ、その
ままの状態をつづければよいので、そのままステップS
902に戻り、外部情報の読み出しを続ける。再生が中
断されたのであれば、再生を再開し(ステップS90
8)、再生中断フラグを戻すために初期化のステップ
(S901)に戻る。音情報認識度Rsも映像情報認識
度Riもともに閾値γ,δを越えていれば、音と映像と
もに認識した状態である(ステップS914)。従っ
て、ステップS916では即座に再生と表示を停止す
る。ここで、再生中断フラグIを1にする(ステップS
916)。また、検知した音をユーザにイヤホンで知ら
せるとともに、危険が迫っていることを知らせるように
例えば、警報を鳴らし、イヤホンを通じて知らせる。ス
テップS915では、音情報認識度Rsのみが閾値γを
越え、映像情報認識度Riが閾値δを越えていない場
合、つまり、近くで認識すべき音はしているが、映像と
しては認識されていないことを判定する。この場合は、
再生と表示を停止し、再生中断フラグIを2にセットす
る(ステップS917)。また、注意音を出してユーザ
に注意を喚起し、近くで発生している音を聞かせる。
If the reproduction is not interrupted, it is sufficient to continue the state as it is.
Returning to 902, the reading of external information is continued. If the reproduction is interrupted, the reproduction is restarted (step S90
8) Return to the initialization step (S901) to return the reproduction interruption flag. If both the sound information recognition degree Rs and the image information recognition degree Ri exceed the thresholds γ and δ, both the sound and the image are recognized (step S914). Therefore, in step S916, reproduction and display are immediately stopped. Here, the reproduction interruption flag I is set to 1 (step S
916). Further, the detected sound is notified to the user by the earphone, and for example, an alarm is sounded to notify that the danger is imminent and the user is notified through the earphone. In step S915, when only the sound information recognition degree Rs exceeds the threshold value γ and the video information recognition degree Ri does not exceed the threshold value δ, that is, the sound to be recognized in the vicinity is made, but it is recognized as the image. Determine that there is no. in this case,
The reproduction and the display are stopped, and the reproduction interruption flag I is set to 2 (step S917). In addition, a caution sound is emitted to call the user's attention and hear the sound generated nearby.

【0020】判定結果がそうであれば、ユーザに注意を
促して認識した音(この場合は車掌による車内放送な
ど)をユーザに聞かせる。これにより、ユーザは目的の
駅に着いたことを知ることができるので、情報の再生に
夢中になって乗り過ごすことを防げる。また、ここでは
駅名のアナウンスの認識により、目的の駅をユーザに通
知することを示しているが、例えば記憶部5に記憶され
たユーザのスケジュール(PIM:personal informat
ion manager)の情報を用いて、さらに正確な通知を行
うことも可能である。 ステップS917では、音とし
ての認識はないが、対象の映像を認識したか否かを判断
する。この場合は、再生中断フラグIを3にセットし、
ユーザに対象の映像を認識したことを示す注意音を呈示
する。 [実施例2の効果]実施例2によれば、ユーザは周囲の
音や映像情報を的確に知ることができるので、環境に融
合した使い勝手を得ることができる。 [記憶媒体による本願発明の実現]また、本願発明の実
施例における処理をコンピュータで実行可能なプログラ
ムで実現し、このプログラムをコンピュータで読み取り
可能な記憶媒体として実現することも可能である。
If the determination result is yes, the user is warned and the recognized sound (in this case, the in-vehicle broadcast by the conductor) is heard. As a result, the user can know that he / she has arrived at the target station, and can prevent the user from being overwhelmed by the information reproduction. Further, here, although it is shown that the user is notified of the target station by recognizing the announcement of the station name, for example, the schedule of the user (PIM: personal informat) stored in the storage unit 5 is shown.
It is also possible to make more accurate notifications using the information of the ion manager). In step S917, although it is not recognized as a sound, it is determined whether the target video is recognized. In this case, set the reproduction interruption flag I to 3,
The user is presented with a caution sound indicating that the target video has been recognized. [Effects of Second Embodiment] According to the second embodiment, the user can accurately know the surrounding sound and the image information, and thus, the usability integrated with the environment can be obtained. [Implementation of the Present Invention by Storage Medium] It is also possible to implement the processing in the embodiment of the present invention by a computer-executable program, and implement this program as a computer-readable storage medium.

【0021】なお、本願発明における記憶媒体として
は、磁気ディスク、フロッピー(登録商標)ディスク、
ハードディスク、光ディスク(CD−ROM,CD−
R,DVD等)、光磁気ディスク(MO等)、半導体メ
モリ等、プログラムを記憶でき、かつコンピュータが読
み取り可能な記憶媒体であれば、その記憶形式は何れの
形態であってもよい。また、記憶媒体からコンピュータ
にインストールされたプログラムの指示に基づきコンピ
ュータ上で稼動しているOS(オペレーションシステ
ム)や、データベース管理ソフト、ネットワーク等のM
W(ミドルウェア)等が本実施形態を実現するための各
処理の一部を実行してもよい。さらに、本願発明におけ
る記憶媒体は、コンピュータと独立した媒体に限らず、
LANやインターネット等により伝送されたプログラム
をダウンロードして記憶または一時記憶した記憶媒体も
含まれる。また、記憶媒体は1つに限らず、複数の媒体
から本実施形態における処理が実行される場合も、本発
明における記憶媒体に含まれ、媒体の構成は何れの構成
であってもよい。なお、本願発明におけるコンピュータ
は、記憶媒体に記憶されたプログラムに基づき、本実施
形態における各処理を実行するものであって、パソコン
等の1つからなる装置、複数の装置がネットワーク接続
されたシステム等の何れの構成であってもよい。
As the storage medium in the present invention, a magnetic disk, a floppy (registered trademark) disk,
Hard disk, optical disk (CD-ROM, CD-
R, DVD, etc.), magneto-optical disk (MO, etc.), semiconductor memory, etc., may be of any storage format as long as it is a storage medium capable of storing programs and readable by a computer. In addition, an operating system (OS) running on the computer based on the instructions of the program installed in the computer from the storage medium, database management software, and M such as a network.
W (middleware) or the like may execute a part of each process for realizing the present embodiment. Further, the storage medium in the present invention is not limited to a medium independent of a computer,
A storage medium in which a program transmitted via a LAN or the Internet is downloaded and stored or temporarily stored is also included. Further, the number of storage media is not limited to one, and when the processing in the present embodiment is executed from a plurality of media, it is included in the storage media of the present invention, and the configuration of the medium may be any configuration. The computer according to the invention of the present application executes each process in the present embodiment based on a program stored in a storage medium, and is a system in which one device such as a personal computer or a plurality of devices are network-connected. And the like.

【0022】また、本願発明におけるコンピュータと
は、パソコンに限らず、情報処理機器に含まれる演算処
理装置、マイコン等も含み、プログラムによって本願発
明の機能を実現することが可能な機器、装置を総称して
いる。
Further, the computer in the present invention is not limited to a personal computer but also includes an arithmetic processing unit, a microcomputer and the like included in information processing equipment, and is a general term for equipment and devices capable of realizing the functions of the present invention by a program. is doing.

【0023】[0023]

【発明の効果】本願発明によれば、装着型情報呈示装置
において、静止状態など安全が確保されているときのみ
に情報呈示が行われるというような配慮を施すことがで
きる。また、周囲の情報をも的確に知ることができる。
According to the present invention, in the wearable information presenting apparatus, consideration can be given such that information is presented only when safety is ensured such as in a stationary state. In addition, the surrounding information can be accurately known.

【図面の簡単な説明】[Brief description of drawings]

【図1】本願発明の実施例1の概略構成図。FIG. 1 is a schematic configuration diagram of a first embodiment of the present invention.

【図2】本願発明の実施例1の使用イメージの一例。FIG. 2 is an example of a usage image of the first embodiment of the present invention.

【図3】本願発明の実施例1の使用イメージの一例。FIG. 3 is an example of a usage image of the first embodiment of the present invention.

【図4】本願発明の実施例1の変形例の概略構成図。FIG. 4 is a schematic configuration diagram of a modified example of the first embodiment of the present invention.

【図5】本願発明の実施例1の処理の流れ図。FIG. 5 is a flowchart of the process of the first embodiment of the present invention.

【図6】本願発明の実施例1の変形例の処理の流れの
図。
FIG. 6 is a flowchart of the process of a modified example of the first embodiment of the present invention.

【図7】本願発明の実施例1の変形例の処理の流れの
図。
FIG. 7 is a flowchart of the process of a modified example of the first embodiment of the present invention.

【図8】本願発明の実施例2の概略構成図。FIG. 8 is a schematic configuration diagram of a second embodiment of the present invention.

【図9】本願発明の実施例2の処理の流れ図。FIG. 9 is a flowchart of the process of the second embodiment of the present invention.

【図10】本願発明の実施例2の変形例の概略構成図。FIG. 10 is a schematic configuration diagram of a modified example of the second embodiment of the present invention.

【図11】本願発明の実施例2の変形例の処理の流れの
図。
FIG. 11 is a flowchart of the process of a modified example of the second embodiment of the present invention.

【図12】本願発明の実施例2の変形例の認識対象の
例。
FIG. 12 is an example of a recognition target of a modified example of the second embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1…入力部 2…行動計測センサ 3…装着型呈示部 4…再生呈示制御部 5…記憶部 6…再生部 7…送受信部 8…環境情報分析部 9…映像情報入力部 10…音情報入力部 1 ... Input section 2… Behavior measurement sensor 3 ... Wearable presentation section 4 Reproduction presentation control unit 5 ... storage unit 6 ... Playback section 7 ... Transceiver 8 ... Environmental Information Analysis Department 9 ... Video information input section 10 ... Sound information input section

───────────────────────────────────────────────────── フロントページの続き (72)発明者 平川 秀樹 神奈川県川崎市幸区小向東芝町1番地 株式会社東芝 研究開発センター内 (56)参考文献 特開 平7−311362(JP,A) 特開 平5−304646(JP,A) 特開 平6−86192(JP,A) 特開 平7−294844(JP,A) 特開 平3−223789(JP,A) 特開 平11−161188(JP,A) 特表 平10−504917(JP,A) (58)調査した分野(Int.Cl.7,DB名) G09G 5/00 - 5/42 G06F 3/14 - 3/153 H04N 5/64 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Hideki Hirakawa, Hideki Hirakawa 1 Komukai Toshiba-cho, Saiwai-ku, Kawasaki-shi, Kanagawa Toshiba Research & Development Center Co., Ltd. (56) Reference JP-A-7-311362 (JP, A) Kaihei 5-304646 (JP, A) JP 6-86192 (JP, A) JP 7-294844 (JP, A) JP 3-223789 (JP, A) JP 11-161188 ( JP, A) Special table 10-504917 (JP, A) (58) Fields investigated (Int.Cl. 7 , DB name) G09G 5/00-5/42 G06F 3/14-3/153 H04N 5 / 64

Claims (10)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 文字,映像,あるいは音声などの記録さ
れたあるいは受信した再生すべき情報を再生するための
再生手段と、 利用者が装着可能で、前記再生手段によって再生された
情報を呈示するための装着型呈示手段と、 この装着型呈示手段を装着している前記使用者の危険状
態を計測するための危険計測手段と、 この危険計測手段の計測結果に基づいて、前記再生手段
での再生および前記装着型呈示手段での呈示を注視野か
ら周辺視野に移行する制御のための再生呈示制御手段と
を有することを特徴とする装着型情報呈示装置。
1. A reproducing means for reproducing recorded or received information to be reproduced, such as characters, video or audio, and presentable by the user, the information reproduced by said reproducing means. Wearable presenting means, a risk measuring means for measuring a dangerous state of the user wearing the wearable presenting means, and a replay means for measuring the dangerous state based on the measurement result of the risk measuring means. A wearable information presenting apparatus, comprising: a reproduction presentation control means for controlling reproduction and transition of presentation by the wearable presentation means from a gaze field to a peripheral visual field.
【請求項2】 前記危険計測手段は、装着している使用
者の移動中などの行動を計測するための行動計測手段を
有することを特徴とする請求項1記載の装着型情報呈示
装置。
2. The wearable information presenting apparatus according to claim 1, wherein the risk measuring means has a behavior measuring means for measuring a behavior of a user who is wearing the moving body.
【請求項3】 前記行動計測手段は、使用者の静止,歩
行,走行などの身体の活動状態を計測するためのセンサ
を有することを特徴とする請求項2記載の装着型情報呈
示装置。
3. The wearable information presenting apparatus according to claim 2, wherein the action measuring means has a sensor for measuring a physical activity state of the user such as resting, walking and running.
【請求項4】 前記行動計測手段は、使用者が覚醒して
いるかどうかを計測するための覚醒検出手段を有するこ
とを特徴とする請求項2記載の装着型情報呈示装置。
4. The wearable information presenting apparatus according to claim 2, wherein the action measuring means has an awakening detecting means for measuring whether or not the user is awake.
【請求項5】 前記危険計測手段は、前記装着型呈示手
段を装着している使用者の環境を計測する環境計測手段
を有することを特徴とする請求項1記載の装着型情報呈
示装置。
5. The wearable information presenting apparatus according to claim 1, wherein the danger measuring means has an environment measuring means for measuring an environment of a user wearing the wearable presenting means.
【請求項6】 前記環境計測手段は、周囲から使用者へ
の聴覚あるいは視覚への働きかけを検出することを特徴
とする請求項5記載の装着型情報呈示装置。
6. The wearable information presenting apparatus according to claim 5, wherein the environment measuring means detects an auditory or visual action on the user from the surroundings.
【請求項7】 前記再生呈示制御手段は、前記危険計測
手段の計測結果に応じて、視覚野や聴覚野などの確保の
ため、前記再生手段での再生の停止、前記装着型呈示手
段での呈示の停止を行うことを特徴とする請求項1記載
の装着型情報呈示装置。
7. The reproduction / presentation control means stops the reproduction by the reproduction means or the wearable presentation means in order to secure a visual cortex, an auditory cortex or the like according to the measurement result of the danger measuring means. The wearable information presenting apparatus according to claim 1, wherein the presenting is stopped.
【請求項8】 前記再生呈示制御手段は、前記危険計測
手段の計測結果に応じて、前記再生手段での情報の再生
を停止するとき、前記停止箇所を記録し、前記再生手段
での情報の再生を再開するとき、記録した前記停止箇所
から情報の再生を再開することを特徴とする請求項1記
載の装着型情報呈示装置。
8. The reproduction presentation control means records the stop location when stopping the reproduction of the information by the reproduction means in accordance with the measurement result of the danger measuring means, and records the stop position of the information by the reproduction means. The wearable information presenting apparatus according to claim 1, wherein when the reproduction is resumed, the reproduction of the information is resumed from the recorded stop position.
【請求項9】 文字,映像,あるいは音声などの記録さ
れたあるいは受信した再生すべき情報を、利用者が装着
可能な装着型呈示手段によって呈示し、 この装着型呈示手段を装着している前記使用者の危険状
態を計測し、 この計測結果に基づいて、情報の再生および前記装着型
呈示手段での呈示を注視野から周辺視野に移行する制御
をすることを特徴とする装着型情報呈示方法。
9. Recorded or received information to be reproduced, such as characters, video or audio, is presented by a wearable presentation means that can be worn by a user, and the wearable presentation means is worn. A wearable information presenting method characterized by measuring a dangerous state of a user, and controlling reproduction of information and transition of presentation by the wearable presenting means from a gazing field to a peripheral visual field based on the measurement result. .
【請求項10】 装着型の電子機器を制御するためのプ
ログラムをコンピュータ実行可能なように記憶させた記
憶媒体であって、 文字,映像,あるいは音声などの記録されたあるいは受
信した再生すべき情報を再生させ、 利用者が装着可能な装着型呈示手段によって、再生され
た前記情報を呈示させ、 この装着型呈示手段を装着している前記使用者の危険状
態を計測させ、 この計測結果に基づいて、情報の再生および前記装着型
呈示手段での呈示を注視野から周辺視野に移行する制御
をさせるプログラムを記憶したコンピュータ読取り可能
な記憶媒体。
10. A storage medium in which a program for controlling a wearable electronic device is stored so that it can be executed by a computer, and recorded or received information such as characters, video, or audio to be reproduced. Is reproduced, and the reproduced information is presented by the wearable presentation means that the user can wear, and the dangerous state of the user wearing this wearable presentation means is measured, and based on this measurement result And a computer-readable storage medium storing a program for controlling reproduction of information and transition of presentation by the wearable presenting means from a gaze field to a peripheral visual field.
JP18464699A 1999-06-30 1999-06-30 Wearable information presenting apparatus and method, and storage medium Expired - Fee Related JP3492942B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18464699A JP3492942B2 (en) 1999-06-30 1999-06-30 Wearable information presenting apparatus and method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18464699A JP3492942B2 (en) 1999-06-30 1999-06-30 Wearable information presenting apparatus and method, and storage medium

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003292332A Division JP2004109995A (en) 2003-08-12 2003-08-12 Mount type information presentation device and method, and storage medium

Publications (2)

Publication Number Publication Date
JP2001013941A JP2001013941A (en) 2001-01-19
JP3492942B2 true JP3492942B2 (en) 2004-02-03

Family

ID=16156886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18464699A Expired - Fee Related JP3492942B2 (en) 1999-06-30 1999-06-30 Wearable information presenting apparatus and method, and storage medium

Country Status (1)

Country Link
JP (1) JP3492942B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9947289B2 (en) 2014-07-29 2018-04-17 Samsung Electronics Co., Ltd. User interface apparatus and user interface method

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318876A (en) * 2001-04-24 2002-10-31 Victor Co Of Japan Ltd Electronic voting device
WO2004061519A1 (en) 2002-12-24 2004-07-22 Nikon Corporation Head mount display
CN1922651A (en) * 2004-06-10 2007-02-28 松下电器产业株式会社 Wearable type information presentation device
WO2006067930A1 (en) * 2004-12-22 2006-06-29 Nikon Corporation Video display apparatus
JP5228305B2 (en) 2006-09-08 2013-07-03 ソニー株式会社 Display device and display method
JP2009075610A (en) * 2008-12-04 2009-04-09 Olympus Corp See-through type display device with hazard prevention function and hazard prevention method when see-through type display device is used
US20130151722A1 (en) * 2011-12-13 2013-06-13 Motorola Mobility, Inc. Method and Apparatus for Utilizing Streaming Content at an Electronic Device
KR101874895B1 (en) * 2012-01-12 2018-07-06 삼성전자 주식회사 Method for providing augmented reality and terminal supporting the same
JP6520119B2 (en) * 2012-08-06 2019-05-29 ソニー株式会社 Image processing apparatus and image processing method
JP6136162B2 (en) * 2012-09-25 2017-05-31 セイコーエプソン株式会社 Head-mounted display device and method for controlling head-mounted display device
JP2013174898A (en) * 2013-04-10 2013-09-05 Sony Corp Imaging display device, and imaging display method
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9729864B2 (en) 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
WO2015125364A1 (en) * 2014-02-21 2015-08-27 ソニー株式会社 Electronic apparatus and image providing method
JP6404709B2 (en) * 2014-12-26 2018-10-10 株式会社Nttドコモ Sound output device and sound reproduction method in sound output device
JP6528263B2 (en) * 2015-01-27 2019-06-12 国立大学法人 名古屋工業大学 Head mounted display
US10838210B2 (en) 2016-07-25 2020-11-17 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9947289B2 (en) 2014-07-29 2018-04-17 Samsung Electronics Co., Ltd. User interface apparatus and user interface method
US10665203B2 (en) 2014-07-29 2020-05-26 Samsung Electronics Co., Ltd. User interface apparatus and user interface method

Also Published As

Publication number Publication date
JP2001013941A (en) 2001-01-19

Similar Documents

Publication Publication Date Title
JP3492942B2 (en) Wearable information presenting apparatus and method, and storage medium
CN108028957B (en) Information processing apparatus, information processing method, and machine-readable medium
CN104380237B (en) Reactive user interface for head-mounted display
US8914818B2 (en) Media device power management techniques
WO2017140054A1 (en) Emotion adjustment apparatus, wearable device and hat for easing emotion
US9848796B2 (en) Method and apparatus for controlling media play device
JP6402718B2 (en) Information processing apparatus, control method, and program
KR20160074408A (en) Device and method for rearranging contents displayed on the screen
KR20170019081A (en) Portable apparatus and method for displaying a screen
KR20160101497A (en) Wearable device and method for operating thereof
KR20080041584A (en) Imaging apparatus, display apparatus, imaging method, and display method
JP6820431B2 (en) Underwear-based body data monitoring methods and equipment
JP2005315802A (en) User support device
KR20150037251A (en) Wearable computing device and user interface method
JP2004109995A (en) Mount type information presentation device and method, and storage medium
US11016723B2 (en) Multi-application control of augmented reality audio
JP6904352B2 (en) Content output system, terminal device, content output method, and program
CN109061903B (en) Data display method and device, intelligent glasses and storage medium
KR20160149100A (en) Method and wearable device for providing information on exercise
KR101759621B1 (en) Behavior analysis system and analysis device using sensing of movement pattern and sound pattern using the same
CN110708630B (en) Method, device and equipment for controlling earphone and storage medium
US20210193172A1 (en) Information processing system, information processing method, and recording medium
JP7455167B2 (en) Head-mounted information processing device
US10653366B2 (en) Haptic feedback device, system and method
KR20200120105A (en) Electronic device and method for providing information to relieve stress thereof

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081114

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091114

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees