JP7260673B2 - 映像表示装置及び映像表示方法 - Google Patents

映像表示装置及び映像表示方法 Download PDF

Info

Publication number
JP7260673B2
JP7260673B2 JP2021566701A JP2021566701A JP7260673B2 JP 7260673 B2 JP7260673 B2 JP 7260673B2 JP 2021566701 A JP2021566701 A JP 2021566701A JP 2021566701 A JP2021566701 A JP 2021566701A JP 7260673 B2 JP7260673 B2 JP 7260673B2
Authority
JP
Japan
Prior art keywords
exercise
display device
specific object
display
viewer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021566701A
Other languages
English (en)
Other versions
JPWO2021130986A1 (ja
Inventor
眞弓 中出
仁 秋山
宣隆 奥山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of JPWO2021130986A1 publication Critical patent/JPWO2021130986A1/ja
Priority to JP2023061871A priority Critical patent/JP2023098955A/ja
Application granted granted Critical
Publication of JP7260673B2 publication Critical patent/JP7260673B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0658—Position or arrangement of display
    • A63B2071/0661—Position or arrangement of display arranged on the user
    • A63B2071/0666—Position or arrangement of display arranged on the user worn on the head or face, e.g. combined with goggles or glasses
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/803—Motion sensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、映像表示装置及び映像表示方法に関する。
ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ、以下「ＨＭＤ」と記載する）、スマートフォン、タブレット端末等の映像表示装置でコンテンツを視聴する際に、視聴者が長時間に亘って同じ姿勢を取り続けることで眼精疲労を感じることがある。この眼精疲労の解消に貢献する技術として、特許文献１には「画像表示装置の画面上で水平方向に往復移動する所定のオブジェクトの画像を生成する画像生成手段と、オブジェクトの画像を、画像表示装置の画面に自動的に表示する表示制御手段と、を有し、オブジェクトの画像は、下方を見るユーザがこれを目で追うようにすることで、ユーザの疲労を回復させられるようになっている、疲労回復支援装置（要約抜粋）」が開示されている。
また、特許文献２には「コンテンツの視聴者がまばたきすることを促す電子機器であって、前記視聴者が前記コンテンツを視聴する際に、前記視聴者にまばたきのタイミングを報知するまばたき報知手段を含む電子機器、及び前記視聴者が前記コンテンツを視聴する際に、前記視聴者による入力操作を検知する入力操作検知手段を含み、入力操作検知手段が、前記視聴者による入力操作を第一の所定の時間以上連続して検知しなかった場合に、まばたき報知手段は、前記視聴者に前記まばたきのタイミングを報知する（要約抜粋）」との記載がある。
特開２００５－２６６１７０号公報 特開２００９－０６０４６５号公報
上記特許文献１、２は、長時間映像表示装置や電子機器を使用すると視聴者の状況に関係な目の運動を促すことで眼精疲労の軽減の効果が期待できる。しかし視聴者が感じる疲労は眼精疲労だけでなく、首や肩のこり等、視聴者の体の広い部分にも生じうる。この体の広い部分に生じうる疲労の軽減については特許文献１、２では考慮されておらず、課題が残る。
本発明は、上記課題を解決するためになされたものであり、映像表示装置でコンテンツを視聴する際に視聴者の目の疲労に限定することなく、より広い部位に生じる疲労の解消が期待できる映像表示装置及び映像表示方法を提供することを目的とする。
上記課題を解決するために、本発明は請求の範囲に記載の構成を有する。その一例をあげるならば、本発明は映像表示装置であって、ディスプレイと、前記ディスプレイに表示されたコンテンツを視聴している際の前記映像表示装置の運動量を検出してセンサ情報を出力する運動量検出センサと、前記コンテンツの視聴時間を計測するタイマーと、前記ディスプレイ、前記運動量検出センサ、及び前記タイマーの其々に接続されたプロセッサと、を備え、前記プロセッサは、前記タイマーから前記視聴時間を取得し、予め定められた長さの視聴時間内に取得された前記センサ情報に基づいて前記映像表示装置の運動量を演算し、前記運動量と前記視聴者に対して運動を促進するかを判定するための運動促進閾値とを比較し、前記運動量が前記運動促進閾値以下になると、前記ディスプレイの表示領域内に特定オブジェクトを表示し、前記特定オブジェクトの表示位置は、前記ディスプレイの表示領域内の画素の位置を示す２次元座標系と実空間の位置を示す外部座標系とを対応付けた座標系で定義され、前記プロセッサは、前記外部座標系に従って前記特定オブジェクトの表示位置を前記表示領域の内側から外側に向かって移動させる、ことを特徴とする。
本発明によれば、映像表示装置でコンテンツを視聴する際に視聴者の目の疲労に限定することなく、より広い部位に生じる疲労の解消が期待できる。上記以外の目的、構成、効果については下記の実施形態において明らかにされる。
ヘッドマウントディスプレイの外観図 ＨＭＤにおける内部構成の一例を示すハードウェア構成図 ＨＭＤにおける機能ブロック構成の一例を示すブロック図 ＨＭＤの全体の処理の流れを示すフローチャート 運動促進モードの処理の流れを示すフローチャート 通常視聴モードの視聴状態を示す図 運動促進モードの視聴状態を示す図 運動テーブルを示す図 決定された疲労回復運動の運動パターンを示す図 特定オブジェクトの表示位置の規定する外部座標系と表示領域の２次元座標系との対応関係を示す図 運動確認リスト例を示す図 装着者が没入型のＨＭＤで映像を視聴している状態を示す図 装着者が没入型のＨＭＤで映像を視聴している状態を示す図 第３実施形態における視聴状態を示す図 第３実施形態の処理の流れを示すフローチャート 第５実施形態の処理の流れを示すフローチャート スマートフォンの正面図 スマートフォンの背面図 第６実施形態の処理の流れを示すフローチャート スマートフォンと装着者の顔が正対している場合を示す図 スマートフォンと装着者の顔が正対していない場合を示す図
以下、本発明の実施形態を図面を用いて説明する。全図を通じて同一の構成には同一の符号を付し、重複説明を省略する。
＜第１実施形態＞
図１は、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１の外観図である。図１のＨＭＤ１は、シースルー方式のＨＭＤ１である。ＨＭＤ１は、透過あるいは半透過のディスプレイ７３を有する。ＨＭＤ１を装着した装着者２（図６参照）は、ディスプレイ７３に表示された仮想オブジェクトや映像を外景に重畳して見ることができる。なお、本実施形態では、図示はしていないが、没入型のＨＭＤにも適用可能である。没入型のＨＭＤを装着した装着者２は、直接周囲の景色を見ることはなく、ＶＲの世界（仮想現実）を見る。更に、没入型のＨＭＤは、ビデオスルー方式、即ち、アウトカメラ７２（図２参照）で撮像した外界映像のデータを使い、外界映像に仮想オブジェクトを重畳した映像を視認する。本実施形態は、上記いずれの方式にも適用可能であるが、シースルー方式のＨＭＤ１を例に挙げて説明する。
［ＨＭＤのハードウェア構成例］
図２は、ＨＭＤ１における内部構成の一例を示すハードウェア構成図である。
ＨＭＤ１は、システムバス３と、システムバス３に接続されたメインプロセッサ２０、ＲＡＭ４１、ＲＯＭ４２、フラッシュメモリ４３、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信器５１、地磁気センサ５２、距離センサ５３、加速度センサ５４、ジャイロセンサ５５、タイマー５６、無線通信Ｉ／Ｆ６１、電話網通信Ｉ／Ｆ６２、インカメラ７１、アウトカメラ７２、ディスプレイ７３、マイク８１、スピーカ８２、オーディオデコーダ８３、ボタンスイッチ９１、及びタッチパネル９２を含む。
メインプロセッサ２０は、所定の動作プログラムに従ってＨＭＤ１全体を制御する。ＣＰＵ、ＭＰＵ、専用の論理回路等、構成部品は限定されない。
システムバス３は、メインプロセッサ２０とＨＭＤ１内の各構成要素とを相互に接続するデータ通信路である。メインプロセッサ２０とＨＭＤ１内の各構成要素とは、システムバス３を介して各種コマンドやデータなどの送受信を行う。
ＲＡＭ４１は、メインプロセッサ２０が各種プログラムを実行する際に使用するワークエリアなどの書き替え可能なプログラム作業領域を構成する。
ＲＯＭ４２及びフラッシュメモリ４３は、ＨＭＤ１の機能を実現するための各種プログラムと、動作設定値、後述するセンサからの検出値を含むセンサ情報、仮想オブジェクト及びコンテンツなどの各種表示用データを記憶する。ＲＯＭ４２及びフラッシュメモリ４３は、ＨＭＤ１に外部から電源が供給されていない状態であっても記憶している情報を保持する、所謂不揮発性ストレージである。
フラッシュメモリ４３は、ネットワーク上からダウンロードした動作プログラムや前記動作プログラムで作成した各種データ等を記憶する。フラッシュメモリ４３に記憶された各動作プログラムは、ネットワーク上の各サーバ装置からのダウンロード処理により更新及び機能拡張することが可能である。
更にフラッシュメモリ４３は、ネットワーク上からダウンロードした動画や静止画や音声等のコンテンツを記憶可能である。また、インカメラ７１又はアウトカメラ７２が撮影した動画や静止画等のデータを記憶可能である。
ＲＡＭ４１、ＲＯＭ４２、フラッシュメモリ４３はストレージの一例であり、他のデバイス、例えばＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの半導体素子メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの磁気ディスクドライブ等のデバイスが用いられてもよい。
メインプロセッサ２０は、ＧＰＳ受信器５１、地磁気センサ５２、距離センサ５３、加速度センサ５４、及びジャイロセンサ５５の其々のセンサ情報を取得し、タイマー５６が計測した視聴時間も取得する。そして、センサ情報及び視聴時間を用いてＨＭＤ１の位置、傾き、方角、動き等を検出する。また、ＨＭＤ１が、照度センサ、近接センサ、高度センサ等、他のセンサを更に備えていても良い。
無線通信Ｉ／Ｆ６１は、無線アクセスポイント等を介してインターネット等のネットワークと接続され、前記ネットワーク上の各サーバとデータの送受信を行う。無線アクセスポイント等との接続はＷｉ－Ｆｉ（登録商標）や、ＢｌｕｅＴｏｏｔｈ（登録商標）を用いてもよい。
電話網通信Ｉ／Ｆ６２は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式やＣＤＭＡ２０００方式、ＵＭＴＳ（Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）方式などの第３世代移動通信システム（以下「３Ｇ」と表記する）、またはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、第４世代（４Ｇ）、第５世代（５Ｇ）と呼ばれる通信方式で、移動体通信網を利用して基地局を通して通信ネットワークに接続され、通信ネットワーク上のサーバと情報の送受信を行う。
無線通信Ｉ／Ｆ６１と電話網通信Ｉ／Ｆ６２は、それぞれ符号化回路や復号回路やアンテナ等を備える。
また、ＨＭＤ１は、赤外線通信Ｉ／Ｆ等、他の通信Ｉ／Ｆを備えていても良い。
インカメラ７１及びアウトカメラ７２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、周囲や対象物の画像データを入力するカメラである。
ディスプレイ７３は、例えば液晶パネル等の表示デバイスであり、画像データをＨＭＤ１の装着者２に提供する。ＨＭＤ１は、図示を省略したビデオＲＡＭを備える。前記ビデオＲＡＭに入力された画像データに基づいてディスプレイ７３の画面上に仮想オブジェクトや映像が表示される。
マイク８１は、装着者２の声などを音声データに変換して入力する。
スピーカ８２は、音声情報等を出力する。
オーディオデコーダ８３は、必要に応じて、符号化音声信号の復号処理を行う。
ボタンスイッチ９１及びタッチパネル９２は、ＨＭＤ１に対する操作指示の入力を行う操作デバイスである。操作デバイスは、ボタンスイッチ９１やタッチパネル９２に限定されない。例えば有線通信または無線通信により接続された別体の携帯端末機器（例えばスマートフォンやタブレット端末）からＨＭＤ１の操作信号を送信し、ＨＭＤ１が操作信号を受信し、この操作信号に従って操作してもよい。またマイク８１から音声を入力し、メインプロセッサ２０が音声認識処理を実行して操作信号を生成し、ＨＭＤ１の動作制御を行ってもよい。
なお、図２に示したＨＭＤ１の構成例は、本実施形態に必須ではない構成も含んでいるが、これらが備えられていない構成であっても本実施形態の効果を損なうことはない。また、デジタル放送受信機能や電子マネー決済機能等、図示していない構成が更に加えられていても良い。
［ＨＭＤ１の機能ブロック］
図３は、ＨＭＤ１における機能ブロック構成の一例を示すブロック図である。図３に示す各機能ブロック部は、メインプロセッサ２０がＲＯＭ４２やフラッシュメモリ４３に格納されたプログラムをＲＡＭ４１にロードして実行することにより構成される。
主制御部３０は、ＨＭＤ１の動作を制御する。
センサ情報取得部３１は、ＧＰＳ受信器５１、地磁気センサ５２、距離センサ５３、加速度センサ５４、及びジャイロセンサ５５の其々から、センサ情報を取得する。センサ情報取得部３１は、取得したセンサ情報をストレージ（例えばフラッシュメモリ４３）の作業領域からなるセンサ情報記憶部３２に格納する。センサ情報取得部３１は、タイマー５６が計測した視聴時間も取得し、運動量解析部３３や運動量監視部３５が視聴時間を参照する。
運動量解析部３３は、センサ情報記憶部３２に格納された一定期間ごとのセンサ情報を読み出し、装着者２の移動量、移動速度、移動方向を解析し運動量情報を生成する。運動量解析部３３は、運動量情報をストレージ（例えばフラッシュメモリ４３）の作業領域からなる運動量情報記憶部３４に格納する。
運動量監視部３５は、運動量情報記憶部３４に格納された運動量情報を読み出し、設定された時間の運動量情報を累積する。そして累積値に基づいて、ＨＭＤ１の装着者２の運動状態を監視する。
運動促進部３６は、運動量監視部３５の累積値に基づいて、ＨＭＤ１の装着者２に対して運動を促進させるための映像を表示するための制御を行う。
［ＨＭＤ１の処理内容］
図４は、ＨＭＤ１の全体の処理の流れを示すフローチャートである。
ＨＭＤ１の処理は、大きく分けて、通常視聴モードと運動量監視モード及びそれに続く運動促進モードがある。通常視聴モードは、ＨＭＤ１の装着者２が自由に操作してコンテンツやアプリを楽しむモードである。運動量監視モードは、通常視聴モード中におけるＨＭＤ１の装着者２の頭部の運動量を監視し、必要に応じて疲労を解消するための疲労回復運動を促進する運動促進モードへと遷移させるモードである。ＨＭＤ１は、主電源がＯＮになると通常視聴モードと運動量監視モードとを並列で実行する。
［通常視聴モード］
通常視聴モードとして、例えばコンテンツの表示処理を例に挙げて説明する。ＨＭＤ１のメインプロセッサ２０は、コンテンツの表示開始指示の入力をボタンスイッチ９１やタッチパネル９２から受け付けるまで待機する（Ｓ１０１：ＮＯ）。メインプロセッサ２０が表示開始指示の入力を受け付けると（Ｓ１０１：ＹＥＳ）、コンテンツの表示処理を開始する（Ｓ１０２）。
［運動量監視モード］
主制御部３０は、コンテンツの視聴時間Ｔを計測するタイマー５６を０にリセットし、かつ累積運動量Ｍ１、Ｍ２、Ｍ３の値を０にリセットする（Ｓ２０１）。本実施形態ではＨＭＤ１の装着者２（図６参照）の頭部の運動量として、頭の回転・平行・上下移動量の計測を行う。そこで、ＨＭＤ１の装着者の頭部の運動量を計測するためのセンサ情報として特に地磁気センサ５２、加速度センサ５４及びジャイロセンサ５５を用いる。地磁気センサ５２のセンサ情報の累積値を第１累積運動量Ｍ１、加速度センサ５４のセンサ情報の累積値を第２累積運動量Ｍ２、及びジャイロセンサ５５のセンサ情報の累積値を第３累積運動量Ｍ３で表す。
センサ情報取得部３１は、ＧＰＳ受信器５１、地磁気センサ５２、距離センサ５３、加速度センサ５４、及びジャイロセンサ５５からセンサ情報を取得し、センサ情報記憶部３２に格納する。またタイマー５６による視聴時間Ｔの計測も開始する（Ｓ２０２）。
運動量解析部３３は、センサ情報記憶部３２から地磁気センサ５２、加速度センサ５４及びジャイロセンサ５５のセンサ情報を読み出し、Ｍ１、Ｍ２、Ｍ３を其々演算し、その演算結果を運動量情報として運動量情報記憶部３４に格納する。
運動量監視部３５は、Ｍ１、Ｍ２、Ｍ３の其々について予め設定された第１下限運動量（Ｍ１ｔｈ）、第２下限運動量（Ｍ２ｔｈ）、第３下限運動量（Ｍ３ｔｈ）をストレージから読み出す。また運動量監視部３５は、運動量情報記憶部３４からＭ１、Ｍ２、Ｍ３を読み出す。そして、下式（１）～（３）の判定処理を行う（Ｓ２０３）。
Ｍ１＞Ｍ１ｔｈ・・・（１）
Ｍ２＞Ｍ２ｔｈ・・・（２）
Ｍ３＞Ｍ３ｔｈ・・・（３）
式（１）から式（３）の判定結果に一つでも肯定であれば（Ｓ２０３：ＹＥＳ）、ステップＳ２０１へ戻る。この場合、ＨＭＤ１の装着者の頭部は運動促進が必要となるほどには静止していないと推定される。
一方、式（１）～式（３）の判定結果が全て否定であれば（Ｓ２０３：ＮＯ）、ステップＳ２０４へ進む。この場合、ＨＭＤ１の装着者２の頭部の運動量が少ないため運動促進が必要と推定される。
運動量監視部３５は、視聴時間Ｔと予め設定された許容時間閾値Ｔｔｈを用いて下式（４）の判定処理を行う（Ｓ２０４）
Ｔ＞Ｔｔｈ・・・（４）
式（４）の判定結果が否定であれば（Ｓ２０４：ＮＯ）、ステップＳ２０２へ戻る。この場合、ＨＭＤ１の装着者２の頭部の運動量は運動促進が必要な程度に少ないと推定されたものの、運動量が少ない状態が許容時間閾値Ｔｔｈ以上には続いていないので、運動促進は現時点では不要と判定される。
一方、式（４）の判定結果が肯定であれば（Ｓ２０４：ＹＥＳ）、通常視聴モードを中断し（Ｓ１０３）、運動促進モードに遷移する（Ｓ３００）。この場合、ＨＭＤ１の装着者２の頭部の運動量が少ない状態が長く続いており、ＨＭＤ１の装着者２に運動を促進すべきと推定される。
［運動促進モード］
図５は、運動促進モードの処理の流れを示すフローチャートである。
運動促進部３６は、疲労回復運動に用いるオブジェクト（以下「特定オブジェクト」という）をディスプレイ７３の表示領域１００内に表示する（Ｓ３０１）。
図６は、通常視聴モードの視聴状態を示す図である。
図６（ａ）は、通常視聴モードにおいてＨＭＤ１の装着者２が視認している風景を示す。通常視聴モードでは、ディスプレイ７３の表示領域１００にコンテンツ１１１を表示する。装着者２は現実の風景にコンテンツ１１１を重畳して視聴する。
図６（ｂ）は、現実空間の３次元空間における装着者２の位置とコンテンツ１１１が仮想的に見える位置との関係を示す。通常視聴モードで表示されるコンテンツ１１１は、装着者２が移動しても見たいコンテンツであるので、表示領域１００に対して固定された位置に表示される。
また、現実空間の３次元空間に仮想的に配置されている仮想オブジェクトであれば、現実空間内の３次元座標に対して固定的に配置される。例えば、テーブル１１２に対して固定されたコップの仮想オブジェクト１１３は、装着者２が頭を動かすことで表示領域１００と装着者２の視線の延長上に仮想オブジェクト１１３がある場合にのみ、装着者２が視聴できる。そのため、図６では装着者２は仮想オブジェクト１１３を視聴できていない。
図７は運動促進モードの視聴状態を示す図である。
運動促進部３６は、ディスプレイ７３の表示領域１００内に特定オブジェクト１２０を表示する（図７（ａ））。図７（ｂ）は、現実空間の３次元空間における装着者２の位置と特定オブジェクト１２０が仮想的に見える位置との関係を示す。図６（ｂ）の装着者２の頭部の位置及び角度と図７（ｂ）の装着者２の頭部の位置及び角度とは変化ないものとする。
図５の説明に戻る。運動促進部３６は、図８の運動リストを参照し、装着者２に促す疲労回復運動で用いる運動パターンを決定する（Ｓ３０２）。
図８は、運動テーブルを示す図である。運動テーブルでは、頭部の運動として回転運動、左右運動、上下運動が登録されており、最初に装着者２に向かせる方向や、回転方向、速度、運動の回数が設定されている。ここで、速度は５段階に設定できるとした場合の中間の速度であると設定した例である。
運動促進部３６が疲労回復運動を決定するアルゴリズムはいくつかあるが、例えば、式（１）～式（３）のうち、運動促進閾値以下となった運動量を補間するように決定してもよい。より詳しくは、運動促進部３６がＭ１、Ｍ２、Ｍ３の値を解析し、装着者２の頭部の運動方向と運動量を演算する。そして、運動量が少ない運動方向から順に従って、疲労回復運動に用いる運動種類、順序、及び回数を決定してもよい。
図９は、決定された疲労回復運動の運動パターンを示す図である。疲労回復運動では、図８に登録された運動から選択された種類と、実行順番と、実行回数が規定されている。
運動促進部３６は、回復運動に規定された運動パターンに従って表示領域１００内における特定オブジェクト１２０の表示位置を移動させる（Ｓ３０３）。
図１０は、特定オブジェクト１２０の表示位置の規定する外部座標系と表示領域１００の２次元座標系との対応関係を示す図である。
運動促進部３６は、ＧＰＳ受信器５１からＨＭＤ１の現在位置を取得する。この現在位置は、ＧＰＳ座標系、即ち現実世界の３次元座標系で定義された座標であり本明細書では外部座標系と称する。なお、屋内にいる場合等、ＧＰＳ受信器５１から正確な現在位置が取得できない場合がある。その場合、ＧＰＳ受信器５１から正確な現在位置が記録された地点から、ＨＭＤ１に搭載された加速度センサ５４等の情報から算出した移動距離を加味して現在位置としてもよい。また、ＨＭＤ１の起動時点の位置を外部座標系の原点として処理し、ＧＰＳ受信器５１から正確な現在位置が取得された後に現在位置を補正することも可能である。また、図１０では片眼の表示例を用いて説明するが、両眼表示で３次元表示をする場合は、現実世界の３次元座標系にある特定オブジェクト１２０を各々の目の表示領域に変換して表示する。
運動促進部３６は、表示領域１００内の画素Ｐ０、Ｐ１、Ｐ２、Ｐ３を、表示領域１００内の２次元座標系（ｓｔ座標系）と現実空間の位置を示す外部座標系（ｘｙｚ座標系）とを対応付けた座標系とを対応付けて表示領域１００の２次元座標系を外部座標系に変換するキャリブレーションデータを生成する。
Ｐ０：（ｓ０，ｔ０）（ｘ０，ｙ０，ｚ０）
Ｐ１：（ｓ１，ｔ０）（ｘ１，ｙ０，ｚ０）
Ｐ２：（ｓ０，ｔ２）（ｘ０，ｙ２，ｚ０）
Ｐ３：（ｓ１，ｔ２）（ｘ１，ｙ２，ｚ０）
運動促進部３６は、特定オブジェクト１２０の表示位置を外部座標系に沿って移動させる。その際、特定オブジェクト１２０の表示位置の外部座標系の座標を、上記キャリブレーションを用いて表示領域１００の２次元座標に変換することで、外部座標系の所望の位置に特定オブジェクトを表示できる。
又は、運動促進部３６は、特定オブジェクト１２０の外部座標系で示された表示位置が、表示領域１００を含む面の法線ベクトルＶであって、表示領域１００の画素を通る法線ベクトルＶ上にある場合はディスプレイ７３に特定オブジェクト１２０を表示するように構成してもよい。この場合、特定オブジェクト１２０の表示位置が２次元座標系のいずれかの点の法線ベクトルＶ上にない場合は、特定オブジェクト１２０をディスプレイに表示しない。
運動促進部３６は、Ｐ０、Ｐ１、Ｐ２、Ｐ３の外部座標系の座標を下式（５）に適用し、表示領域１００を含む面の外部座標系で定義された式を求める。
ａｘ+ｂｙ+ｃｚ＝ｄ・・・（５）
その後運動促進部３６は、式（５）に基づいてＰ０、Ｐ１、Ｐ２、Ｐ３の各点を通る表示領域１００を含む面の法線ベクトルＶ０、Ｖ１、Ｖ２、Ｖ３を求める。Ｖ０、Ｖ１、Ｖ２、Ｖ３で囲まれた３次元空間内１０１に特定オブジェクト１２０がある場合は、表示領域１００を透過する装着者２の視線上に特定オブジェクト１２０があるので、装着者２に視認させるために表示領域１００に表示する。
図１０において特定オブジェクト１２０を表示領域１００の内側から図１０の紙面左方向に沿って外側に向けて移動させた結果、３次元空間内１０１から特定オブジェクト１２０が逸脱すると、装着者２は視認できなくなる。よって、運動促進部３６は外部座標系に沿って特定オブジェクト１２０の表示位置を移動させた結果、３次元空間内１０１から逸脱し始めると特定オブジェクト１２０＿ｏｕｔに示すように、３次元空間内１０１から逸脱した部分から順に表示領域１００に非表示にする。つまり、特定オブジェクト１２０の表示位置の外部座標系の座標に対応する表示領域１００内の画素が存在する場合は、当該画素に特定オブジェクト１２０を表示し、特定オブジェクト１２０の表示位置の外部座標系の座標に対応する表示領域１００内の画素が存在しない場合は、ディスプレイ７５に表示しない。
図７（ｃ）は、特定オブジェクト１２０を図７（ａ）よりも更に上方に移動させた状態を示している。図７（ｄ）では、装着者２は頭を仰角方向に動かすので（即ち、頭部が運動している）、現実空間に対するＨＭＤ１の表示領域１００も移動し、特定オブジェクト１２０を見ている状態を示している。
運動促進部３６は、装着者２の頭部の傾き角度（例えば仰角）θが予め定められた実行判定閾値θｔｈ以上であるかを下式（６）により判定する（Ｓ３０４）。
θ≧θｔｈ・・・（６）
図１１は、運動確認リスト例を示す図である。運動確認リストには、各運動のポイント毎に頭の角度について、運動が達成できたかを判定するための実行判定閾値θｔｈが規定されている。
式（６）が否定の場合（Ｓ３０４：ＮＯ）、ステップＳ３０３へ戻り特定オブジェクトの移動を継続する。式（６）が肯定の場合（Ｓ３０４：ＹＥＳ）、その運動は実行済みであると推定できるので次の運動又は疲労回復運動を終了する。そこで、運動促進部３６は、図９で規定した運動パターン及び回数が全て終了していなければ（Ｓ３０５：ＮＯ）、次の移動方向を選択し（即ち移動方向を変更し）（Ｓ３０６）、その移動方向に向かって特定オブジェクト１２０を移動させる（Ｓ３０３）。上記では、上を向かせる表示について説明したが、同様に特定オブジェクト１２０を下や左右へ移動、更に、周囲を移動させることにより、装着者２の頭を動かすように促すことができる。
一方、図９で決定した疲労回復運動の運動パターンと回数を全て終了していれば（Ｓ３０５：ＹＥＳ）、疲労回復運動を終了させる。メインプロセッサ２０は、通常視聴モードを再開する（Ｓ１０１）と共に、運動量監視モードも再開する（Ｓ２０１）。
本実施形態によれば、装着者２が通常視聴モードでコンテンツ１１１を視聴している間、装着者２の頭部の運動量を監視し、運動量が小さい状態が許容時間閾値Ｔｔｈ経過すると、運動促進モードに移行する。そして、特定オブジェクト１２０の表示位置を強制的に、即ち装着者２の操作指示によらずに移動させることにより、装着者２が特定オブジェクト１２０を目で覆う結果、頭部に動きが生じる。更に装着者２に頭部の運動量を確認することで、疲労回復運動が適切に実行されていることを確認することができる。その結果、装着者２がＨＭＤ１のコンテンツ１１１の視聴に集中し、頭部の運動量が減少した場合に、より効果的に頭部や首の運動を促進させることができる。
＜第２実施形態＞
［没入型ＨＭＤイメージ］
図１２及び図１３は、装着者２が、没入型のＨＭＤ１で映像を視聴している状態を示す図である。没入型のＨＭＤ１の場合、装着者２は、アウトカメラ７２で撮影した外部映像をディスプレイ７３の表示領域１００に表示して現実世界の風景を視認する。また外部映像に仮想オブジェクトやコンテンツを重畳して視認する。図１２（ａ）は、アウトカメラ７２が撮像した現実世界の部分領域を映した外部映像が表示領域１００に表示された状態を視認している状況を示す。図１２（ｂ）は、図１２（ａ）の映像を装着者２が視認しているときの装着者２の頭部の姿勢例を示す。
第１実施形態と第２実施形態との違いは、第１実施形態における特定オブジェクト１２０が仮想オブジェクトを用いた実施形態であったが、第２実施形態では、特定オブジェクトとして仮想オブジェクトではなく、外部映像を縮小表示した特定オブジェクト１２１（図１３（ａ）参照）を用いる点である。
運動促進部３６は、運動促進モードに移行すると、運動促進モードに入る直前の映像を、表示領域１００の大きさから徐々に縮小して特定オブジェクト１２１を生成する。そして第１実施形態と同様に、特定オブジェクト１２１を移動させる。特定オブジェクト１２１は通常視聴モードにより表示されていたコンテンツの縮小映像でもよいし、通常視聴モードとしてコンテンツが表示されず、外部映像のみが表示されている場合は、外部映像の縮小映像でもよい。
運動促進部３６は、特定オブジェクト１２１の周辺部分（背景領域）は、特定オブジェクト１２１との輝度差をつける為、暗くする。なお、特定オブジェクト１２１が暗い画面の場合は、縮小するとともに特定オブジェクト１２１全体の明るさを徐々に上げていき、背景領域との輝度差をつけることにより認識しやすくしてもよい。
特定オブジェクト１２１として、直前の外部映像を縮小した画像を用いることにより、装着者２が、コンテンツや外部映像の視聴を中断することなく、疲労回復運動を行うことができる。
＜第３実施形態＞
疲労回復運動では、特定オブジェクト１２０、１２１を表示領域１００の外部に向けて移動させる。そのため、装着者２が特定オブジェクト１２０、１２１の移動に追従できずに見失うことがある。そこで第３実施形態では、特定オブジェクト１２０、１２１を見失った場合のガイドを行う。以下では特定オブジェクト１２０を例に挙げて説明する。
図１４は、第３実施形態における視聴状態を示す図である。図１４では、特定オブジェクト１２０が表示領域１００の内部にない。これは図１０において、Ｖ０、Ｖ１、Ｖ２、Ｖ３で囲まれた３次元空間内１０１の外側に特定オブジェクト１２０が位置している状態に相当する。従って、装着者２は左右又は前後のどちらを向けば特定オブジェクト１２０が視聴できるかがわからない。
そこで、運動促進部３６は、特定オブジェクト１２０が表示領域１００から外れたと判定した場合は、装着者２に特定オブジェクト１２０がある方向を知らせる処理を行う。
例えば運動促進部３６は、特定オブジェクト１２０の方向を通知するガイド１３０を表示する。図１５に、特定オブジェクトの方向を通知する処理である第３実施形態の処理の流れを示すフローチャートを示す。図５と同じものには同じ番号を付し、説明は省略する。ステップＳ３１０は、特定オブジェクトが表示領域１００内にあるか否かを判定する。表示領域１００内にある場合にはステップＳ３０４に進むが、表示領域１００内にない場合、ステップＳ３１１で特定オブジェクト１２０と表示領域１００との相対位置を算出する。次に、ステップＳ３１２で、図１４に示したような、頭の動き方向の動作を示す、動き補助情報であるガイド１３０を表示する。
また運動促進部３６は、特定オブジェクト１２０を表示領域１００に再配置し、装着者２を向かせたい方向に再度移動させてもよい。この場合、装着者２が特定オブジェクト１２０の移動の速さに追従できなかったと判定し、最初に移動した速さより速度を下げることにより装着者２がより追従し易くすることができる。
また運動促進部３６は、ＨＭＤ１に設けられたスピーカ８２からの音声により、方向を通知してもよい。なお、スピーカ８２を音源の方向が分かる３次元スピーカとし、特定オブジェクト１２０の方向から音を出すことで装着者２に特定オブジェクト１２０の位置を知らせてもよい。
本実施形態によれば、特定オブジェクト１２０を見失っても、ガイド１３０により特定オブジェクト１２０の移動方向を装着者２に知らせることにより、特定オブジェクト１２０を見つけることができ、疲労回復運動が可能になる。
＜第４実施形態＞
第４実施形態は、装着者２の眼球の疲労回復を促進させる実施形態である。第４実施形態ではインカメラ７１で装着者２の眼を撮像する。そして、運動量監視部３５は、インカメラ７１の画像を基に装着者２の視点の動きを検出する。疲労回復運動の要否を決定するために設けた疲労回復判定時間内に、装着者２の視点の動きの累積値Ｍｅｙｅが、視点の動きに対して予め設けられた運動促進閾値Ｍｅｙｅｔｈ以下であるかを判定する。
ＭｅｙｅがＭｅｙｅｔｈ以下である場合、運動促進部３６は、特定オブジェクト１２０を生成し、表示位置を移動させる。表示位置の移動範囲は、視点運動が行えればよいので、表示領域１００内に留めてもよい。
コンテンツの視聴をしている間、装着者２の視点はコンテンツの表示位置から動きが少なくなり、眼精疲労が蓄積する虞がある。本実施形態によれば、インカメラ７１で装着者２の視点の動きをトラッキングし、必要に応じて眼球の疲労回復運動を促すことで、装着者２の眼精疲労の軽減が期待できる。
また運動量監視部３５は、特定オブジェクト１２０を装着者２の身体から遠ざかる方向に動かし、装着者２を歩かせたり、手を伸ばさせたりする運動を疲労回復運動として行わせてもよい。例えば図６（ａ）で示したコップの仮想オブジェクト１１３を特定オブジェクトとして用い、装着者２に仮想オブジェクト１１３を把持するように音声ガイドを流してもよい。装着者は、音声ガイドを聞いた時点では視認できていない仮想オブジェクト１１３を視認するために首を動かし、手を仮想オブジェクト１１３にむけて伸ばすので、運動をさせることができる。また、妖精を模した特定オブジェクト１２０を捕まえるように音声ガイドを流すことで、装着者２に立ち上がったり、歩行させたりすることができる。
＜第５実施形態＞
［運動促進モードへの遷移判定］
装着者２の状況によっては運動促進モードに遷移するのが適さない状況がある。そこで第５実施形態では、運動促進モードへの遷移の可否を判定する。
図１６は、第５実施形態の処理の流れを示すフローチャートである。
運動量監視部３５は、ステップＳ２０４で肯定と判定すると、各種センサ、アウトカメラ７２、マイク８１の少なくとも一つからのセンサ情報、外部映像、又は音声の少なくとも一つを取得し、装着者２の状況を判定する。
例えば、運動量監視部３５はＧＰＳ受信器５１や加速度センサ５４のセンサ情報から装着者２が移動中と判定した場合、疲労回復運動の実施は危険なため、運動促進処理モードには遷移せず、通常視聴モードを継続し、状況判定処理を継続する（Ｓ２０５：ＮＯ）。
また、例えば、運動量監視部３５がアウトカメラ７２の外部映像やマイク８１の音声から、装着者２が他の人と話していると判定した場合は、疲労回復運動をするのは不適切なタイミングとして運動促進処理モードには遷移せず、通常視聴モードを継続し、状況判定処理を継続する（Ｓ２０５：ＮＯ）。
運動量監視部３５は、運動促進モードへの遷移が不適と判定した状況がなくなると（Ｓ２０５：ＹＥＳ）、運動促進モードに遷移する。
本実施形態によれば、運動量監視部３５が装着者２の状況を判定し、許容される場合にのみ運動促進部３６による運動促進モードが開始される。これにより、装着者２が疲労回復運動をしても問題が無い状況で、疲労回復運動を促すことができる。
以上、運動促進モードへの遷移の可否の判定処理を追加する実施形態について説明したが、装着者２が例えばボタンスイッチ９１やタッチパネル９２を用いて運動促進モードへの遷移を回避できるように構成してもよい。
＜第６実施形態＞
第６実施形態は、ＨＭＤ１以外の携帯型映像表示装置、例えばスマートフォン２１０やタブレット端末に本発明を適用した実施形態である。
図１７Ａは、スマートフォン２１０の正面図、図１７Ｂはスマートフォン２１０の背面図である。
スマートフォン２１０の正面には、タッチパネル９２を搭載したディスプレイ７３、自分撮りが可能なインカメラ７１、スピーカ８２が備えられる。また、スマートフォン２１０の背面には、アウトカメラ７２、ＬＥＤ等の撮影用ライト７４、マイク８１が備えられる。スマートフォン２１０の筐体の内部には、ＨＭＤ１と同様に各種センサが搭載されており、スマートフォン２１０自体の方向を検知することができる。更に、図示はしていないが、スマートフォン２１０の正面に装着者２の顔の３次元認証に使用する距離センサを配置、更に、背面に被写体までの距離や被写体の形状を検知する距離センサを配置されることもある。
図１８は、第６実施形態の処理の流れを示すフローチャートである。第１実施形態の処理と異なる点は、ステップＳ３０３で特定オブジェクト１２０の表示位置を移動した後、運動促進部３６は、スマートフォン２１０の移動方向を解析して、スマートフォン２１０の少なくとも傾きθｓ及び移動量Ｍｓの少なくとも一つと予め設定された閾値θｓｔｈ、Ｍｓｔｈとの比較を行う（Ｓ４０１）。スマートフォン２１０の傾きや移動量が移動判定閾値未満であれば（Ｓ４０１：ＮＯ）、スマートフォン２１０と装着者２との相対位置は移動判定閾値内の移動しか生じていない。従って、装着者２が特定オブジェクト１２０を目で追っていると判定できるので、ステップＳ３０３に戻り、特定オブジェクト１２０の表示位置の移動を続ける。
運動促進部３６は、スマートフォン２１０の傾きや移動量が移動判定閾値以上であると判定すると（Ｓ４０１：ＹＥＳ）、装着者２が正しくスマートフォン２１０に正対しているかを判定する（Ｓ４０２）。スマートフォン２１０はＨＭＤ１とは異なり、スマートフォン２１０と装着者２の頭の動きは一致しないので、装着者２の頭が動いているかを判定する必要がある。
そこで運動促進部３６は、インカメラ７１で装着者２の顔を撮影し、顔の向きを判定する。顔の向きは、例えば、運動処理に入る時、あるいは、コンテンツ視聴中に装着者２の顔の正面映像を撮影し、運動処理中に撮影した装着者２の顔の映像と比較することにより、装着者２の顔がスマートフォン２１０と正対しているか否かを判定する。
運動促進部３６は、装着者２の顔の向きが正対していると判定した場合（Ｓ４０２：ＹＥＳ）は、運動パターンが終了しているかを判定し（Ｓ３０５）、終了していれば、通常視聴モード及び運動量監視モードに遷移する。
一方、運動促進部３６は、装着者２の顔の向きが正対していないと判定した場合（Ｓ４０２：ＮＯ）は、警告処理を行う（Ｓ４０３）。警告処理では、例えば、装着者２の頭の動きを促す注意を表示領域１００に表示する、あるいは音声で頭の動きを促す。
図１９は、スマートフォン２１０と装着者２の顔が正対している場合を示す図である。図１９（ａ）はスマートフォン２１０の表示領域１００に表示されている映像であり、このとき図１９（ｂ）に示すように装着者２はスマートフォン２１０の表示領域１００に正対している。図１９（ａ）では特定オブジェクト１２０は画面内にあり、スマートフォン２１０も所定の方向をむいている。
図２０は、スマートフォン２１０と装着者２の顔が正対していない場合を示す図である。図２０（ｂ）では、スマートフォン２１０と装着者２の顔は正対しておらず、装着者２が正しく運動できているとは言えない。このような時に図２０（ａ）に示すように警告表示４５０を表示する。
更に、スマートフォン２１０と装着者２の顔の向きが所定の位置になるまで、ステップＳ４０１からステップＳ４０３を繰り返し、運動パターンの終了判定ステップＳ３０５に進む。
本実施形態によれば、頭の動きとは連動しないスマートフォン２１０のような携帯映像情報端末においても、ある一定時間毎に疲労回復運動を促し、かつ正しく疲労回復運動ができているかを確認することができる。
上記実施形態において、インカメラ７１に代わり、スマートフォン２１０の正面に配置された距離センサを用いて、装着者２の目や鼻、口の位置から顔の向きを検出し、その情報からスマートフォン２１０との位置関係を判定してもよい。
上記各実施形態は本発明の実施形態の一例を示したものであり、本発明は、上記実施形態に限定されず、様々な変形例が考えられる。例えば、ある実施形態の構成の一部を他の実施形態の構成と置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。
前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現しても良い。ハードウェアとソフトウェアを併用しても良い。前記ソフトウェアは、製品出荷の時点で、予めＨＭＤや携帯映像表示装置のプログラム部等に格納された状態であっても良い。製品出荷後に、インターネット上の各種サーバ等から取得するものであっても良い。また、メモリカードや光ディスク等で提供される前記ソフトウェアを取得するものであっても良い。
また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。
１ ：ＨＭＤ
２ ：装着者
２ａ ：視聴者
３ ：システムバス
２０ ：メインプロセッサ
３０ ：主制御部
３１ ：センサ情報取得部
３２ ：センサ情報記憶部
３３ ：運動量解析部
３４ ：運動量情報記憶部
３５ ：運動量監視部
３６ ：運動促進部
４１ ：ＲＡＭ
４２ ：ＲＯＭ
４３ ：フラッシュメモリ
５１ ：ＧＰＳ受信器
５２ ：地磁気センサ（運動量検出センサ）
５３ ：距離センサ
５４ ：加速度センサ（運動量検出センサ）
５５ ：ジャイロセンサ（運動量検出センサ）
５６ ：タイマー
６１ ：無線通信Ｉ／Ｆ
６２ ：電話網通信Ｉ／Ｆ
７１ ：インカメラ
７２ ：アウトカメラ
７３ ：ディスプレイ
７４ ：撮影用ライト
８１ ：マイク
８２ ：スピーカ
８３ ：オーディオデコーダ
９１ ：ボタンスイッチ
９２ ：タッチパネル
１００ ：表示領域
１０１ ：３次元空間内
１１１ ：コンテンツ
１１２ ：テーブル
１１３ ：仮想オブジェクト
１２０ ：特定オブジェクト
１２０＿ｏｕｔ ：特定オブジェクト
１２１ ：特定オブジェクト
１３０ ：ガイド
２１０ ：スマートフォン
４５０ ：警告表示

Claims (11)

  1. 映像表示装置であって、
    ディスプレイと、
    前記ディスプレイに表示されたコンテンツを視聴している際の前記映像表示装置の運動量を検出してセンサ情報を出力する運動量検出センサと、
    前記コンテンツの視聴時間を計測するタイマーと、
    前記ディスプレイ、前記運動量検出センサ、及び前記タイマーの其々に接続されたプロセッサと、を備え、
    前記プロセッサは、
    前記タイマーから前記視聴時間を取得し、
    予め定められた長さの視聴時間内に取得された前記センサ情報に基づいて前記映像表示装置の運動量を演算し、
    前記運動量と視聴者に対して運動を促進するかを判定するための運動促進閾値とを比較し、
    前記運動量が前記運動促進閾値以下になると、前記ディスプレイの表示領域内に特定オブジェクトを表示し、
    前記特定オブジェクトの表示位置は、前記ディスプレイの表示領域内の画素の位置を示す２次元座標系と実空間の位置を示す外部座標系とを対応付けた座標系で定義され、
    前記プロセッサは、前記外部座標系に従って前記特定オブジェクトの表示位置を前記表示領域の内側から外側に向かって移動させる、
    ことを特徴とする映像表示装置。
  2. 請求項１記載の映像表示装置において、
    前記プロセッサは、前記特定オブジェクトが前記表示領域外にある場合に、前記特定オブジェクトを視認するために前記映像表示装置を動かす方向を通知する、
    ことを特徴とする映像表示装置。
  3. 請求項１記載の映像表示装置において、
    前記プロセッサは、前記特定オブジェクトを表示した後に前記運動量検出センサが出力したセンサ情報を取得し、前記特定オブジェクトを表示した後の運動量を演算し、
    前記特定オブジェクトを表示した後の運動量と前記視聴者が運動を行ったかを判定するための実行済閾値とを比較し、前記特定オブジェクトを表示した後の運動量が前記実行済閾値以上になると、前記特定オブジェクトの表示を終了する、
    ことを特徴とする映像表示装置。
  4. 請求項１記載の映像表示装置において、
    前記プロセッサは、前記センサ情報に基づいて前記視聴者が移動しているか否かを判定し、移動中であると判定した場合は、前記特定オブジェクトを表示しない、
    ことを特徴とする映像表示装置。
  5. 請求項１記載の映像表示装置において、
    マイク及び前記映像表示装置の外界風景を撮像するアウトカメラの少なくとも一つを更に備え、
    前記プロセッサは、前記マイクが集音した音声情報及び前記アウトカメラが撮像した外界映像の少なくとも一つに基づいて前記視聴者が会話中であるか否かを判定し、会話中であると判定した場合は、前記特定オブジェクトを表示しない、
    ことを特徴とする映像表示装置。
  6. 請求項１記載の映像表示装置において、
    前記映像表示装置はヘッドマウントディスプレイであって、
    前記運動量検出センサは、ＧＰＳ受信器、地磁気センサ、距離センサ、加速度センサ、ジャイロセンサの少なくとも一つである、
    ことを特徴とする映像表示装置。
  7. 請求項１記載の映像表示装置において、
    前記映像表示装置は、携帯映像表示装置であって、
    前記携帯映像表示装置は、前記ディスプレイに表示されたコンテンツを視認する視聴者を撮影するインカメラを更に備え、
    前記プロセッサは前記インカメラに更に接続され、
    前記特定オブジェクトを表示した後の運動量と前記視聴者が運動を行ったかを判定するための実行済閾値とを比較し、前記特定オブジェクトを表示した後の運動量が前記実行済閾値以上であり、かつ前記インカメラが撮像した映像に基づいて前記視聴者が前記ディスプレイに正対しているかを判定した結果、前記視聴者が前記ディスプレイに正対していると判定すると、前記特定オブジェクトの表示を停止する、
    ことを特徴とする映像表示装置。
  8. 請求項１記載の映像表示装置において、
    前記プロセッサは、仮想オブジェクトからなる前記特定オブジェクトを表示する、
    ことを特徴とする映像表示装置。
  9. 請求項１記載の映像表示装置において、
    前記プロセッサは、前記コンテンツの表示サイズを縮小した縮小映像からなる前記特定オブジェクトを表示する、
    ことを特徴とする映像表示装置。
  10. 請求項１の映像表示装置であって、
    前記プロセッサは、前記特定オブジェクトの表示位置の外部座標系の座標に対応する前記ディスプレイの表示領域内の画素が存在する場合は、当該画素に前記特定オブジェクトを表示し、前記特定オブジェクトの表示位置の外部座標系の座標に対応する前記表示領域内の画素が存在しない場合は、前記ディスプレイに表示しない、
    ことを特徴とする映像表示装置。
  11. 映像表示方法であって、
    映像表示装置に搭載されたディスプレイにコンテンツを表示するステップと、
    前記ディスプレイに表示されたコンテンツを視聴している視聴者の運動量を検出して得られたセンサ情報を取得するステップと、
    予め定められた長さの視聴時間内に取得された前記センサ情報に基づいて前記視聴者の運動量を演算するステップと、
    前記運動量と前記視聴者に対して運動を促進するかを判定するための運動促進閾値とを比較し、前記運動量が前記運動促進閾値以下になると、前記ディスプレイの表示領域内に特定オブジェクトを表示し、
    前記特定オブジェクトの表示位置は、前記ディスプレイの表示領域内の画素の位置を示す２次元座標系と実空間の位置を示す外部座標系とを対応付けた座標系で定義され、前記特定オブジェクトの表示位置を前記外部座標系に従って前記表示領域の内側から外側に向かって移動させるステップと、
    を含むことを特徴とする映像表示方法。
JP2021566701A 2019-12-26 2019-12-26 映像表示装置及び映像表示方法 Active JP7260673B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023061871A JP2023098955A (ja) 2019-12-26 2023-04-06 映像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/051235 WO2021130986A1 (ja) 2019-12-26 2019-12-26 映像表示装置及び映像表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023061871A Division JP2023098955A (ja) 2019-12-26 2023-04-06 映像表示装置

Publications (2)

Publication Number Publication Date
JPWO2021130986A1 JPWO2021130986A1 (ja) 2021-07-01
JP7260673B2 true JP7260673B2 (ja) 2023-04-18

Family

ID=76573794

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021566701A Active JP7260673B2 (ja) 2019-12-26 2019-12-26 映像表示装置及び映像表示方法
JP2023061871A Pending JP2023098955A (ja) 2019-12-26 2023-04-06 映像表示装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023061871A Pending JP2023098955A (ja) 2019-12-26 2023-04-06 映像表示装置

Country Status (4)

Country Link
US (3) US11714486B2 (ja)
JP (2) JP7260673B2 (ja)
CN (1) CN115280408A (ja)
WO (1) WO2021130986A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004236241A (ja) 2003-01-31 2004-08-19 Nikon Corp 表示装置
JP2005266170A (ja) 2004-03-17 2005-09-29 Scalar Corp 疲労回復支援装置、情報処理装置、コンピュータプログラムおよび疲労回復方法
US20120092172A1 (en) 2010-10-15 2012-04-19 Wong Glenn A User Fatigue
JP2014130204A (ja) 2012-12-28 2014-07-10 Seiko Epson Corp 表示装置、表示システム、および、表示装置の制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5245026B2 (ja) 2007-08-31 2013-07-24 ＭｇダイニングＳａｐｐｏｒｏ株式会社 まばたきすることを促す電子機器及びプログラム
JP2019114822A (ja) 2016-03-23 2019-07-11 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置
JP6932007B2 (ja) 2017-02-22 2021-09-08 株式会社ジンズホールディングス 情報処理方法、情報処理装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004236241A (ja) 2003-01-31 2004-08-19 Nikon Corp 表示装置
JP2005266170A (ja) 2004-03-17 2005-09-29 Scalar Corp 疲労回復支援装置、情報処理装置、コンピュータプログラムおよび疲労回復方法
US20120092172A1 (en) 2010-10-15 2012-04-19 Wong Glenn A User Fatigue
JP2014130204A (ja) 2012-12-28 2014-07-10 Seiko Epson Corp 表示装置、表示システム、および、表示装置の制御方法

Also Published As

Publication number Publication date
US20240220007A1 (en) 2024-07-04
US11714486B2 (en) 2023-08-01
JPWO2021130986A1 (ja) 2021-07-01
CN115280408A (zh) 2022-11-01
US20230315199A1 (en) 2023-10-05
JP2023098955A (ja) 2023-07-11
WO2021130986A1 (ja) 2021-07-01
US11977673B2 (en) 2024-05-07
US20230044455A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
JP6266736B1 (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US10311640B2 (en) Method and apparatus for providing virtual space, and non-transitory computer readable data storage medium storing program causing computer to perform method
US9599818B2 (en) Obstacle avoidance apparatus and obstacle avoidance method
JP6342038B1 (ja) 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
US11487354B2 (en) Information processing apparatus, information processing method, and program
CN109002164B (zh) 头戴显示设备的显示方法、装置及头戴显示设备
US9412190B2 (en) Image display system, image display apparatus, image display method, and non-transitory storage medium encoded with computer readable program
JP2018007175A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
WO2019155840A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020012955A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112241199B (zh) 虚拟现实场景中的交互方法及装置
WO2018198499A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP2017130793A (ja) 情報処理装置およびユーザガイド提示方法
JP2019092216A (ja) 情報処理装置、情報処理方法及びプログラム
KR20200144196A (ko) 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법
WO2017022769A1 (ja) ヘッドマウントディスプレイ、表示制御方法及びプログラム
JP2012108793A (ja) 情報表示システム、装置、方法及びプログラム
JP7260673B2 (ja) 映像表示装置及び映像表示方法
CN111796740A (zh) 基于可穿戴智能设备的无人车控制方法、装置及系统
CN111279410B (zh) 显示设备和显示设备控制方法
WO2016012516A1 (en) Head mounted display assembly comprising a sensor assembly having a rear view sensing area direction
CN116615704A (zh) 用于姿势检测的头戴式设备
US12111463B2 (en) Head-mounted display apparatus and operating method thereof
US11908090B2 (en) Information processing device, information processing method, and program
JP2018097879A (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230406

R150 Certificate of patent or registration of utility model

Ref document number: 7260673

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150