JP6278490B2 - 表示システム、アタッチメント、表示方法、ならびに、プログラム - Google Patents

Description

本発明は、表示システム、アタッチメント、表示方法、ならびに、プログラムに関する。本発明は、頭部近接型映像表示装置を頭部に近接させたユーザに対して映像を表示する頭部近接型映像表示システム及びこれに使用される頭部近接体、頭部近接型映像表示プログラムに好適である。

従来より盛んに研究されているバーチャルリアリティ（ＶＲ）技術は、種々の映像やコンピュータグラフィックス（ＣＧ）を用いて仮想世界や遠隔地の空間を創出し、人間の動作に応じてコンピュータにより映像を変化させるものである。これにより視聴者に、あたかもその場にいるような臨場感を抱かせることができる。しかし、ある程度の臨場感は得られても、それを現実に目の前でおきているものとして感じさせることはできなかった。このようなＶＲ技術の問題点を解決するために、ＳＲ（Substitutional Reality System）システムという新しい技術が開発された。

ＳＲシステムとは、仮想の代替世界と現実を差し替え、被験者に仮想と現実を区別無く体験させることを念頭に置いた技術である。このＳＲ技術を実現するためには、現実において起きている事象を真実であると確信したり、或いは現実の中につじつまの合わない事象が発生した場合にそれに疑いを持ったりする、いわゆるメタ認知と呼ばれるヒトの高次認知機能をうまく操作する必要がある。従来において、このメタ認知の操作に伴う様々な技術的限界のため、ＳＲシステムは未だ実用化に至っていないのが現状であった。即ち、このＳＲシステムの実用化を検討する上では、例えば、過去の映像や異なる場所の映像等、現実的に目の前で起きていない仮想的な代替事象を、いかに現実に目の前で起きている事象として視聴者に認識させるかが大きな課題となっている。

実際にこのような代替現実状態を実現する上で従来において試行された技術として、「拡張現実」、「テレプレゼンス技術」、「Google glass(登録商標)」がある。

「拡張現実」とは、ユーザの視点から見える実際のライブ映像上に、ＣＧ（Computer Graphics）技術による視覚映像を重ね合わせ、例えばヘッドマウントディスプレイ等の表示装置を介して映し出す技術である。この「拡張現実」とは、本来現実には存在しない情報を新しく付加することが可能な技術である。この「拡張現実」に関して検討された従来技術として、例えば特許文献１〜３の開示技術が提案されている。しかし、この「拡張現実」は、重ね合わせる視覚画像がモノレイヤーであるため、これに重ね合わされたＣＧの背面に表示されている現実画像の情報が削られることになるという問題点がある。

「テレプレゼンス技術」とは、遠隔地に設けられたカメラによって撮像される映像を、視聴者の頭部に装着されたヘッドマウントディスプレイを介してリアルタイムに映し出す。これとともに、この「テレプレゼンス技術」では、その視聴者の頭部の動きに連動してカメラの撮像方向を遠隔操作する。これにより、遠隔地のメンバーとその場で対面しているかのような臨場感を提供することも可能となる。しかしながら、この「テレプレゼンス技術」では、遠隔地に置かれたカメラによる撮像情報を視聴者に与えることを目的としたものであり、現実空間に新たな情報を付加することを目的とした技術ではない。

また最近において、「Google glass(登録商標)」と呼ばれる、メガネ型の拡張現実ウェアラブルコンピュータが提案されている。Google glass(登録商標)は、メガネを通じて視聴者に視認される現実空間に様々な情報を埋め込むというコンセプトであり、ハンズフリーに情報を表示し、自然言語音声コマンドでインターネットを使用することができるようになっている。しかしながら、このGoogle glass(登録商標)は、情報の表示領域が狭いため、複数の情報を表示する際には排他的にならざるをえず、これらを互いに重ね合わせた場合、下に隠れた情報を視聴者に視認させることができないという問題点があった。また、表示映像を現実と思わせる効果は考慮されておらず、持ち運び可能な小型モニターという用途を超えていない。

特開平１０−５１７１１号公報 特開２０００−８２１０７号公報 特開２００６−４８６７２号公報

このように、従来の「拡張現実」、「テレプレゼンス技術」、「Google glass(登録商標)」では、現実的に目の前で起きていない仮想の代替事象を、現実に目の前で起きている事象として視聴者に認識させるまでには至らない。即ち、仮想の代替事象を描写した映像そのもののＣＧや映像シーンの不自然さ等により、その仮想の代替事象を現実の事象として認識させる上で様々なメタ認知的な阻害要因が存在する。例えば「拡張現実」では、ライブ映像に重ね合わされたＣＧの不自然さにより、視聴者は、そのＣＧ部分が人工的なものであると判断してしまう。また、「テレプレゼンス」では、そもそも遠隔地の映像が画面上に映し出されるため、視聴者がその映像を視認しても現実のものと解することはない。

仮想の代替事象を描写した代替映像を映し出す上で、ＣＧ映像がいかに精巧であっても、殆どの場合、視聴者は、明らかに現実とは異なる代替事象を描写した映像を視聴しているという認識は拭い去ることはできないという問題点があった。

これに加えて、上述した従来技術では、何れもヘッドマウントディスプレイや、メガネ型の拡張現実ウェアラブルコンピュータ等、特別なデバイスが必要となるため、システム全体が高価なものとなってしまい、普及に時間がかかってしまうという問題があった。

そこで、本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、ヘッドマウントディスプレイ等の代替となる安価で簡易に実現可能な表示システム、表示方法、アタッチメント、ならびに、プログラムを提供することにある。本発明は、現実的に目の前で起きていない事象を、現実に目の前で起きている事象として視聴者に認識させることが可能であり、しかも既に普及しているスマートフォン等を始めとした携帯端末を利用することにより容易に実現でき、安価なシステムとしてユーザに提供可能な頭部近接型映像表示システム及びこれに使用される頭部近接体、頭部近接型映像表示プログラムの提供に好適である。

本発明者は、上述した課題を解決するために、現実的に目の前で起きていない事象を、現実に目の前で起きている事象として視聴者に認識させることを、普及しているスマートフォン等を始めとした携帯端末のアプリケーションプログラムとして実装した頭部近接型映像表示システム及びこれに使用される頭部近接体、頭部近接型映像表示プログラムに適用するのに好適な、表示システム、表示方法、アタッチメント、ならびにプログラムを発明した。
ここで、本発明の表示システムは、
画面を有する携帯端末と、
携帯端末を、画面がユーザにより視認可能に収容するアタッチメントと、
を備え、
携帯端末は、
携帯端末が有するセンサにより、アタッチメントを介したユーザによるアクションを検知し、
検知されたアクションに応じて画面に表示する映像を制御する。

本発明の頭部近接型映像表示システムは、１以上の代替映像が記録されている記録手段と、少なくとも上記記録手段に記録されている代替映像を表示する表示手段と、自らの動きを検出する動きセンサとを有する携帯端末と、映像視認時において当該ユーザの眼前に上記表示手段が位置するように上記携帯端末が収容される収容手段を有する頭部近接体とを備え、上記表示手段は、上記動きセンサにより検出された動きに応じて上記代替映像の表示を開始し又は停止する。

また、本発明の頭部近接型映像表示システムにおいて、上記携帯端末は、ユーザと略同一の視点で現実空間をライブ映像として撮像する撮像手段を更に有し、上記表示手段は、上記動きセンサにより検出された動きに応じて、上記記録手段に記録されている代替映像又は上記撮像手段により撮像されたライブ映像の表示、停止を行い、又は上記代替映像と上記ライブ映像の表示の切り替えを行う。

また、本発明の頭部近接型映像表示システムにおいて、上記頭部近接体は、映像視認時において上記ユーザの頭部に近接させる頭部フレームと、互いに上記ユーザの頭部よりも狭い間隔で上記頭部フレームにおける両側から突出された開閉自在の突出片とを有し、上記動きセンサは、ユーザによる突出片の開閉動作に応じた動きを検出する。

また、本発明の頭部近接型映像表示システムにおいて、上記動きセンサは、映像視認開始時において上記頭部近接体を頭部の手前まで移動させる動作と、頭部の手前において上記突出片の開閉動作に伴う減速とを検出する。

また、本発明の頭部近接型映像表示システムにおいて、上記頭部近接体は、上記収容手段に収容した上記携帯端末の表示手段により表示される映像を拡大するためのレンズを更に有する。

また、本発明の頭部近接型映像表示システムにおいて、発明において、上記ユーザの頭部を略中心とした全方位について事前に時系列的に撮像した映像、もしくはリアルタイムに作成されたコンピューターグラフィックスなどの仮想的映像を一の代替映像として取得する代替映像取得手段を更に備え、上記携帯端末は、当該一の代替映像を再生する場合には、上記ユーザの視線又は頭部の動きに基づいて当該一の代替映像から表示すべき映像を上記時系列に沿って切り出す映像制御手段を更に有する。

また、本発明の頭部近接型映像表示システムにおいて、上記代替映像取得手段は、公衆通信網に随時アクセスすることにより取得した情報、又は予め蓄積した情報を一の代替映像に加工する。

また、本発明の頭部近接型映像表示システムにおいて、音声データを取得する音声データ取得手段を更に備え、上記映像制御手段は、上記音声データ取得手段により取得された音声データを上記再生すべき代替映像に連動させて再生する。

また、本発明の頭部近接体は、上記の頭部近接型映像表示システムに使用され、映像視認時において上記ユーザの眼前に上記表示手段が位置するように上記携帯端末が収容される収容手段を有する。

また、本発明の頭部近接体において、映像視認時において上記ユーザの頭部に近接させる頭部フレームと、互いに上記ユーザの頭部よりも狭い間隔で上記頭部フレームにおける両側から突出された開閉自在の突出片とを有することを特徴とする。

本発明の頭部近接型映像表示プログラムは、頭部近接体を頭部に近接させたユーザに対して映像を表示することを携帯端末により実行させる頭部近接型映像表示プログラムにおいて、１以上の代替映像を記録する代替映像記録ステップと、上記携帯端末の動きを検出する動き検出ステップと、上記代替映像記録ステップにおいて記録した１以上の代替映像を表示することを、上記動き検出ステップにより検出された動きに応じて開始し、又は停止する表示ステップとを携帯端末により実行させる。

上述した構成からなる本発明によれば、表示システム、表示方法、アタッチメント、ならびに、プログラムを提供することができる。本発明によれば、代替現実技術（現在と過去の映像を切り目無く、現実の延長として体験する技術）を利用することにより、いわば視覚情報空間を拡張することができる。特に本発明によれば、既に普及しているスマートフォン等を始めとした携帯端末を利用することにより容易に実現できるものであるから、安価なシステムとしてユーザに提供可能であり、急速な普及も期待できる。

特に上述した構成からなる本発明によれば、頭部近接体に携帯端末を収容させてユーザに使用させることで、ユーザに対してはあたかもヘッドマウントディスプレイを装着したかのような臨場感を持たせることが可能となり、しかも表示パネルによる映像表示の開始を、この頭部近接体の近接動作を通じて自動的にコントロールすることが可能となる。

特に本発明では、携帯端末を頭部近接体に収容した状態で使用する。このため、頭部近接体に覆われた携帯端末を操作することはユーザにとって非常に煩雑なものとなるが、本発明では、自然な近接動作のみで、映像の開始を自動的に行うことができるため、非常に操作性にも優れたものとなる。また、本発明によればワイヤレスで動作する携帯端末を介して動作可能なものであるため、システム全体の完全なワイヤレス化を実現させることが可能となる。

このような視覚情報空間の拡張により、ユーザが主体的に情報空間を操作し、代替映像を表示させて必要な情報にアクセスすることが可能となる。従来システムによれば、デバイスの持つ単一レイヤ上のスクリーンを通じてしか情報にアクセスすることができなかったため、新しい情報を付加するには、それを上書きしてオリジナルの情報を削除しなければならず、アクセシビリティが低かった。これに対して本発明によれば、ライブ映像として表示されている現実空間に、代替映像を介してオリジナルの情報を殆ど失うこと無く様々な情報を埋め込むことが可能となり、まるで現実の視覚情報空間の情報量が拡大したかのような印象をユーザに与えることを携帯端末により実現可能となる。

本発明を適用した頭部近接型映像表示システムの全体構成図である。 パノラマビデオカメラの構成について説明するための図である。 頭部近接体の外観形状を示す図である。 頭部近接体の分解斜視図である。 本発明を適用した頭部近接型映像表示システムの使用方法について説明するための図である。 (a)、(b)は、携帯端末の外観形状について説明するための図である。 携帯端末のブロック構成を示す図である。 制御アプリケーションのステップ構成について説明するための図である。 (a)、(b)は、動きセンサによる頭部近接体の近接動作の検出例について説明するための図である。 (a)、(b)は、動きセンサによる頭部近接体の近接動作の検出例について説明するための図である。 動きセンサによる携帯端末の動き検出の詳細について説明するための図である。 (a)、(b)は、代替映像として過去に撮像した過去映像を適用する例について説明するための図である。 (a)、(b)、(c)、(d)は、携帯端末の包装箱によりアタッチメントを構成する手順の説明図である。 (a)、(b)、(c)は、携帯端末の包装箱によりアタッチメントを構成する手順の説明図である。 (a)、(b)は、携帯端末の包装箱により構成されたアタッチメントの説明図である。

以下、本発明に係る表示システムを代替現実コンテンツの提供に応用した頭部近接型映像表示システムの実施の形態について図面を参照しながら詳細に説明する。

図1は、本発明を適用した頭部近接型映像表示システム１の全体構成図を示している。この頭部近接型映像表示システム１は、携帯端末２を中心とし、これに接続された録画モジュール３と、頭部近接体４とを備え、更に携帯端末２を介して通信網５に接続されている。

携帯端末２は、この頭部近接型映像表示システム１の全体を制御する、いわゆる中央制御機器としての役割を担う。この携帯端末２は、例えばスマートフォン、携帯電話機、タブレット型端末等として具現化されるが、これに限定されるものではなく、携帯型のゲーム機器、携帯型の音楽プレーヤー、ウェアラブル端末等、あらゆる携帯型の電子機器端末を含む概念である。

通信網５は、有線又は無線による通信ネットワークであればいかなるものであってもよく、例えばインターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（value added network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等である。

録画モジュール３は、現実の事象とは別に、過去の事象に基づく代替映像を予め録画するために使用されるものであり、パノラマビデオカメラ３１を備えている。

パノラマビデオカメラ３１は、例えば図2に示すように、基台３１１と、この基台３１１上に設けられたカメラアレイ３１２とを有している。基台３１１は、必要に応じて高さ調整が可能とされ、所望の映像を録画する上でふさわしい高さに随時設定される。カメラアレイ３１２は、本体３２０と、この本体３２０の内部に実装された複数の撮像装置３２１とを備えている。本体３２０には形成された開口にはそれぞれ撮像装置３２１が実装されており、当該開口を介して事物を撮像可能とされている。これら複数の撮像装置３２１は、互いに異なる方向を撮像可能とするため、その画角及び撮像方向がそれぞれ設定されている。また、各撮像装置３２１は、例えば図2に示すように本体３２０における全ての方向（水平方向に３６０°、鉛直方向に３６０°）を洩れなく撮像可能なように実装されていてもよい。しかも、この撮像装置３２１によれば、全ての方向について同時に撮像を行うことが可能となる。このため、部屋の中に居る人を撮像する際において、人が移動した場合には、その移動した人をカメラ本体内に構築される仮想的な一つの視点を中心とした全周囲で撮像した映像が生成されることとなる。ちなみにこの録画モジュール３は、上述した構成に限定されるものではなく、本体３２０の全ての方向を撮像可能な構成であればいかなるものに代替されるものであってもよい。

撮像装置３２１は、このようにして撮像した映像をそれぞれＣＣＤ（Charge Coupled Device）等の固体撮像素子を利用し、レンズを介して入射される被写体像を撮像面上に結像させ、光電変換により映像信号を生成し、これをインターフェース３３０を介して携帯端末２へもしくは記録用コンピュータへと送信する。

また、撮像装置３２１には図示しないマイクが実装されている場合もあり、この図示しないマイクは、周辺の音声を集音し、音声信号に変換する。この図示しないマイクは、変換したこの音声信号をインターフェース３３０を介して携帯端末２もしくは記録用コンピュータへと送信する。

頭部近接体４は、携帯端末２のアタッチメントであり、当該アタッチメントに携帯端末２を収容することによって、図3の斜視図、及び図4の組立図に示すような、いわゆる視聴者に頭部に近接させ、ひいては装着も可能な、擬似的なヘッドマウントディスプレイとして構成される。この頭部近接体４に携帯端末２を収容することによって、メガネ型又はゴーグル型の表示装置が実現され、頭部近接体４は、大きく分類して近接ユニット４１と、端末収容ユニット４２とを備えている。アタッチメント頭部近接体４(アタッチメント)の各構成要素には、用途・機能に応じて、模様、色彩、装飾等を施すことができる。

近接ユニット４１は、段ボール等の紙製、樹脂製等で構成されるが、これに限定されるものではなく、セラミック材料や金属等いかなる材料で構成されていてもよく、映像視認時においてユーザの頭部に近接させる頭部フレーム１０２と、この頭部フレーム１０２における両側から突出された突出片１０１ａ、１０１ｂとを備えている。

頭部フレーム１０２は、断面矩形状の筒状体で構成されている。この筒状の頭部フレーム１０２の内部には、端末収容ユニット４２が挿入可能とされている。近接ユニット４１は、この頭部フレーム１０２におけるＣ方向に向けてユーザの頭部へと近接させ、ひいては装着されることとなる。この頭部フレーム１０２は、互いに対向する側板１０２ａ、１０２ｂが形成され、この側板１０２ａには、突出片１０１ａがＣ方向に向けて突出するように取り付けられ、側板１０２ｂには、突出片１０１ａがＣ方向に向けて突出するように取り付けられている。頭部フレーム１０２における側板１０２ａ、１０２ｂの間隔は、ユーザの一般的な頭部の幅とほぼ同等又はそれ以下である。

突出片１０１ａ、突出片１０１ｂは、それぞれ側板１０２ａ、１０２ｂに取り付けられていることから、これら突出片１０１ａ、突出片１０１ｂ間の間隔は、ユーザの一般的な頭部と同等又はそれ以下とされている。この突出片１０１ａは、側板１０２ａに対してヒンジ機構１０３を介してＤ方向に開閉自在とされている。同様に突出片１０１ｂは、側板１０２ｂに対してヒンジ機構１０３を介してＤ方向に開閉自在とされている。なお、突出片１０１ａ、１０１ｂは、ゴムや紐等を介して互いに連結可能とされていてもよく、これらをユーザの頭部に被せることにより強固に装着することが可能となる。ユーザは突出片の角度Dを自由に調整し、外光からの影響を最小化することができる。

このヒンジ機構１０３は、近接ユニット４１が段ボールで構成されている場合には、このヒンジ機構１０３は、単にその段ボールの折り曲げ部分として構成されていればよい。またヒンジ機構１０３は、近接ユニット４１が金属製や樹脂製等の場合には、突出片１０１、側板１０２の互いの接合位置に図示しない貫通孔を上下方向に設け、この図示しない貫通孔の軸を挿通させることにより、開閉自在なヒンジを構成するようにしてもよい。但し、この突出片１０１は、映像を視認しない、いわゆる通常状態において、Ｄ方向に開いた状態ではなく、突出片１０１ａ、１０１ｂ同士がユーザの頭部よりも狭い状態とされていることが望ましい。

端末収容ユニット４２は、段ボール等の紙製、樹脂製等で構成されるが、これに限定されるものではなく、セラミック材料や金属等いかなる材料で構成されていてもよく、近接ユニット４１に挿入可能なサイズで構成されており、Ｃ方向に設けられる後板１１０と、この後板１１０に形成されるレンズ１１１と、後板１１０、レンズ１１１と対向する、換言すればＣ方向と反対方向に設けられた前板１１２と、前板１１２と後板１１０との間に設けられ、特に前板１１２により近接させて配置される押さえ片１１３とを備えている。この前板１１２と押さえ片１１３との間には、携帯端末２を収容するための収容部１１４が形成されている。

レンズ１１１は、携帯端末２の表示パネル６２から発せられる可視光を屈折させることが可能なレンズ媒体である。このレンズ１１１を通じて携帯端末２の表示パネル６２上で表示される画像を拡大してユーザの視界に表示させることが可能となる。
レンズ111としては、非球面レンズ、たとえば、凸レンズ、平凸レンズ、フレネルレンズなどを採用することができるが、軽量かつ薄型であり、安価である点で、フレネルレンズは特に好適である。
このほか、視差を用いたステレオグラムやランダムドットによる立体映像を携帯端末2から提示する場合には、左右の視界を明確に分けた方が、ユーザにとって視認が容易となる。この場合には、左右に二つの接眼用の開口を空けることにより1枚のレンズを用いて2眼レンズを構成することもできるし、2枚のレンズを左右に配置しすることにより2眼レンズを構成することもできる。このように、多眼レンズを採用する場合には、レンズをその数だけ用意しても良いし、接眼用開口のそれぞれに個別のレンズを嵌め込んでも良い。さらに、左右の視界を遮る壁を、近接ユニット41内に設けても良い。

収容部１１４は、前板１１２と押さえ片１１３とが、携帯端末２を収容可能な程度の間隔を設けて構成される。携帯端末２は、表示パネル６２側を図中Ｃ方向に向け、撮像部４４側をＣ方向と反対方向に向けた状態で、この収容部１１４内に収容される。押さえ片１１３は、端末収容ユニット４２における側板１３２ａ、１３２ｂから内部に向けてそれぞれ突出されてなり、携帯端末２における端部を支持可能な程度のサイズ及び形状とされている。その結果、携帯端末２における表示パネル６２からの表示画像が押さえ片１１３により遮られてしまうのを防止することが可能となる。また、前板１１２には、溝１２３、１２４が２箇所に亘り設けられている。溝１２３は、ユーザが携帯端末２を取り出す場合において、これを手で掴みやすくするために設けられている。溝１２４は、携帯端末２の収容時においてちょうど撮像部４４の位置に応じた箇所に設けられている。これにより撮像部４４による撮影方向が、溝１２４により開放されることとなり、前板１１２により遮られることが無くなる。

図3に示すように、頭部近接体４は、上述した構成からなる端末収容ユニット４２における収容部１１４に携帯端末２を収容させるとともに、当該端末収容ユニット４２を近接ユニット４１へ挿入することにより利用可能となる。実際に頭部近接体４をユーザに近接させる場合には、図5に示すように突出片１０１ａ、１０１ｂを開いた状態とし、近接ユニット４１における頭部フレーム１０２をユーザの頭部に近接させる。これにより、ユーザの視界は、突出片１０１並びに頭部フレーム１０２を介して遮蔽され、レンズ１１１を介して拡大表示される携帯端末２の表示パネル６２の表示画像に長時間に亘り集中させることが可能となる。その結果、ユーザは、あたかもヘッドマウントディスプレイを装着しているのと同等の没入感を味わうことが可能となる。この状態で、ユーザは、例えば近接ユニット４１に挿入されている端末収容ユニット４２を、ユーザに対して近接させ、又は離間させるようにしてもよい。これにより、ユーザの目と、レンズ１１１との距離を変更することができ、表示パネル６２上に表示される画像への焦点を自在に合わせることが可能となる。

図6（ａ）は携帯端末２の平面図であり、図6（ｂ）は、その底面図を示している。 携帯端末２は、図6に示すように、表示パネル６２と、ヘッドホン４３と、撮像部４４と、動きセンサ５９とを備えている。

ヘッドホン４３は、ユーザの耳に装着可能とされている。このヘッドホン４３は、ユーザの耳を完全に被包するような形状、サイズで構成される場合に限定されるものではなく、小型のイヤホン式で構成されていてもよい。また、このヘッドホン４３の構成は必須ではなく、必要に応じて省略するようにしてもよいが、使用時にはノイズキャンセリング機能を持つものが望ましい。

図7は、この携帯端末２のブロック構成を示している。携帯端末２は、上述した動きセンサ５９、表示パネル６２、ヘッドホン４３、撮像部４４に加え、マイク６０、記録部６９とを更に有している。携帯端末２は、周辺インターフェース（Ｉ／Ｆ）５７と制御アプリケーション２０とを備えている。電源スイッチ５８、操作部６５はこの周辺Ｉ／Ｆ５７に接続されている。動きセンサ５９、マイク６０、表示パネル６２、ヘッドホン４３、撮像部４４、記録部４４はそれぞれ周辺Ｉ／Ｆ５７に接続されている。

表示パネル６２は、撮像部４４により撮像された映像、又は制御アプリケーション２０から送信されてくる映像を表示する。この表示パネル６２は、映像信号が入力された場合に、当該映像信号に基づいて画像を生成するための要素となる各信号（Ｒ，Ｇ，Ｂの３原色の信号）を発生する。また、発生した各ＲＧＢ信号に基づく光を出射して合波し、その光を２次元に走査する。２次元に走査された光は、その中心線がユーザの瞳孔に収束するように変換され、ユーザの眼の網膜に投影される。

ヘッドホン４３は、携帯端末２から送信されてくる音声信号が入力される。ヘッドホン４３は、この入力されてくる音声信号に基づいた音声を出力する。

周辺Ｉ／Ｆ５７は、動きセンサ５９やマイク６０、操作部６５等から取得した情報を制御アプリケーション２０へ伝達するための各種情報の送受信を中継する役割を担うインターフェースである。

電源スイッチ５８は、例えば外部に露出した押圧可能なボタン型のスイッチで構成され、ユーザがこれを押圧することで、携帯端末２による処理動作を開始し、或いは当該処理動作を終了させる。

動きセンサ５９は、携帯端末２の動きを検出する。この動きセンサ５９は、ジャイロセンサ、加速度センサ、地磁気センサ等が用いられ、携帯端末２、ひいてはこれが収容された頭部近接体４の角度や傾き、更には速度を検出する。この動きセンサ５９は、携帯端末２の位置そのものを検出するものであってもよい。また動きセンサ５９は、体験環境に設置した図示しないカメラによるモーションキャプチャーシステムに置換するようにしてもよい。この動きセンサ５９により取得されたユーザの頭部の動きに関するデータは、周辺Ｉ／Ｆ５７を介して制御アプリケーション２０へと送信される。

マイク６０は、周囲の音声を集音し、これを音声信号に変換する。マイク６０は、この変換した音声信号を周辺Ｉ／Ｆ５７を介してヘッドホン４３へと送信することができる。この送信される過程で、音声信号に何らかの処理が施されるようにしてもよい。なお、携帯端末２がアタッチメントである頭部近接体４に収容されている間は、マイク６０もその内部に配置される。したがって、ユーザが頭部近接体４に触れたり、頭部近接体４を叩いたり、摩擦したり、突出片１０１ａ、１０１ｂを開閉する等して頭部近接体４を変形したり、等のユーザのアクションに起因する音は、頭部近接体４により共鳴して、マイク６０により集音される。したがって、頭部近接体４固有の共鳴周波数帯でフィルタリング等をすることにより、外界の音声と、アタッチメントである頭部近接体４に対するユーザのアクションを区別することができる。

操作部６５は、ユーザが自らの意思に基づく入力を行うためのいわゆるユーザインターフェースである。この操作部６５は、ボタン、あるいは表示パネル６６も兼ねたタッチスクリーン等で構成され、ユーザがこれを介して入力を行う。この操作部６５において何らかの入力が行われた場合、その情報は、周辺Ｉ／Ｆ５７を介して制御アプリケーション２０へと送信される。ただし、携帯端末２がアタッチメントである頭部近接体４に収容されている間は、タッチスクリーンもその内部に配置される。そこで、後述するように、頭部近接体４にユーザの指が1本程度通るような小さな開口を設け、その開口を介してタッチスクリーンにタッチできるようにしても良い。開口を大きくすると、指がタッチできる領域も広がるが、外光が侵入しやすくなるため、没入感が劣る。そこで、指がタッチできる領域は狭くなるものの、小さい開口を設け、後述する方策によって、タッチスクリーン内に表示されたアイコンやボタン等の操作対象に対するタッチを可能とすることができる。

記録部６９は、画像、映像その他各種データを記録するためのストレージである。この記録部６９におけるデータの書き込み、読み出しは、制御アプリケーション２０による制御に基づいて実行される。

制御アプリケーション２０は、頭部近接型映像表示システム１全体を制御するためのアプリケーションソフトウェアである。この制御アプリケーションのソフトウェアそのものは、記録部６９や図示しないメモリ等に記録されることとなる。

図8は、携帯端末２における制御アプリケーション２０のステップ構成を示している。携帯端末２は、再生制御ステップＳ２８につながる映像蓄積ステップＳ２２と、ライブ映像取得ステップＳ２３と、映像切出し方向更新ステップＳ２５と、音声データ取得ステップＳ３５と、動き検出ステップＳ３８を有している。映像蓄積ステップＳ２２は、代替映像取得ステップＳ２１から連続するものであり、映像切出し方向更新ステップＳ２５は、頭部方向特定ステップＳ２４から連続するものである。

代替映像取得ステップＳ２１は、パノラマビデオカメラ３１により撮像された映像を代替映像として取得する。また、この代替映像取得ステップＳ２１では、通信網５を介して取得した各種情報やデータに基づいて加工した代替映像を取得する。さらには、この代替映像取得ステップＳ２１では、フラッシュメモリや記録媒体を介して入力されてくる情報も代替映像として取得するようにしてもよいし、携帯端末２における図示しないユーザインターフェースを介して入力された情報に基づくものであってもよい。

映像蓄積ステップＳ２２は、代替映像取得ステップＳ２１において取得された代替映像を蓄積する。この映像蓄積ステップＳ２２における代替映像の蓄積は、例えば、記録部６９において実行するようにしてもよい。なお、この映像蓄積ステップＳ２２は、この代替映像取得ステップＳ２１からの代替映像のみならず、当初から予め各種コンテンツや情報を蓄積しておき、これを代替映像として記憶するようにしてもよい。この映像蓄積ステップＳ２２において記録部６９により記録された代替映像は、再生制御ステップＳ２８による制御の下で読み出される。

ライブ映像取得ステップＳ２３は、撮像部４４により撮像された映像信号を取得する。

頭部方向特定ステップＳ２４は、携帯端末２における動きセンサ５９により検出された携帯端末２の動きを介して、ユーザの頭部の動きに関するデータを取得する。この頭部方向特定ステップＳ２４は、取得したユーザの頭部の動きに関するデータから、実際にユーザの頭部の方向を特定する。

映像切出し方向更新ステップＳ２５は、頭部方向特定ステップＳ２４によって特定されたユーザの頭部の方向に基づいて、携帯端末２における表示パネル６２に表示すべき映像の切出し方向を更新する。

音声データ取得ステップＳ３５は、外部から音声を取得し、これを蓄積する。外部からの音声の取得方法としては、例えば公衆通信網から有線、無線を介して取得するようにしてもよいし、記録媒体に記録された音声データを読み出してこれを記録するようにしてもよい。ちなみに、この音声データ取得ステップＳ３５は、一度取得した音声データを蓄積し、これを読み出して利用する場合に限定されるものではなく、外部から取得した音声データをそのままリアルタイムに音声出力させるようにしてもよい。音声データ取得ステップＳ３５により取得された音声データ、或いは外部から取得した音声データは、ヘッドホン４３により出力される。

再生制御ステップＳ２８は、映像蓄積ステップＳ２２において記録部６９に蓄積されている代替映像や、ライブ映像取得ステップＳ２３において取得されているライブ映像を再生するための処理を行う。再生制御ステップＳ２８は、自らの再生動作において、映像切出し方向更新部ステップＳ２５による情報を用いて映像再生の制御を行う。この再生制御ステップＳ２８において制御された再生映像は、上述した表示パネル６２に表示される。

動き検出ステップＳ３８は、携帯端末２における動きセンサ５９により、携帯端末２の動きを検出することを行う。以下、この動き検出ステップＳ３８による詳細な動作について説明をする。

この動き検出ステップＳ３８は、図9、10に示すような頭部近接体４の近接動作を検出する。先ずユーザは、図9（ａ）に示すように、収容部１１４に携帯端末２を収容させた頭部近接体４を把持する。この段階で、制御アプリケーション２０の動作は、操作部６５を介してスタート状態となっているが、表示パネル６２による映像の表示は未だ開始されていない。

次に図9（ｂ）に示すようにこの頭部近接体４をユーザの頭部の手前まで移動させる。動きセンサ５９は、この頭部近接体４の移動を、これに収容されている携帯端末２を介して検出していく。この段階でユーザは、頭部近接体４を近接させようとするが、実際のところ頭部フレーム１０２における側板１０２ａ、１０２ｂの間隔は、ユーザの一般的な頭部の幅とほぼ同等又はそれ以下とされている。このため、ユーザは図9（ａ）に示すように、自らの頭部の大きさに合わせて側板１０２ａ、１０２ｂを開く動作を行うこととなる。その結果、頭部近接体４は、このユーザによる側板１０２ａ、１０２ｂの開く動作に伴い、図9（ｂ）に示すようなユーザの頭部の手前まで移動させる速度と比較して減速することとなる。動きセンサ５９は、この頭部近接体４の移動速度の減速を、これに収容されている携帯端末２を介して検出する。
なお、この動作の際には、一般には、頭部近接体４の向きも変化する。たとえば、頭部近接体４を把持する段階で、携帯端末２の撮像部４４が地面を向いていたとしても、頭部近接体４をユーザの頭部の手間まで移動する段階では、携帯端末２の撮像部４４は水平方向に幾分起き上がることもある。
ただし、図9（ａ）（ｂ）、ならびに、後述する図10（ａ）においては、ユーザの動作を大袈裟に表現し、頭部近接体４の向きの変化は起きていないかのように図示している。
さて、ユーザは、この側板１０２ａ、１０２ｂを開く動作を行った後、図10（ｂ）に示すように、頭部フレーム１０２を頭部に近接させ、両側に形成された側板１０２により頭部の側方を遮蔽させる。ちなみに、この後の動作として、例えば側板１０２ａ、１０２ｂがゴムや紐等を介して互いに連結されている場合には、これらをユーザの頭部に被せることにより強固に装着するようにしてもよい。但し、本発明でいうところの装着は、このようなゴムや紐等をユーザの頭部に被せる強固な装着のみならず、図10（ｂ）に示すようにユーザが手で把持しながら利用する場合も含まれる。

動きセンサ５９は、このような頭部近接体４の動きを、全て携帯端末２を介して検出していく。図11は、この近接過程における頭部近接体４に収容された携帯端末２の動きを、ユーザの側面から視認した状態を示している。当初の図9（ａ）に示すような頭部近接体４の把持状態をＥとし、また図9（ｂ）、図10（ａ）に示すような側板１０２ａ、１０２ｂの開く動作を行っている状態をＦとする。また、ユーザの頭部への近接状態をＧとする。このとき、Ｅ〜Ｆまでの移動速度は高速であるのに対して、Ｆ〜Ｇは低速になる。しかもＦの到達時には、側板１０２ａ、１０２ｂを開く動作が必須となるため、Ｆ近傍において携帯端末２の移動速度は必ず低速になる。しかも、携帯端末２の傾きについても、状態Ｅでは、表示パネル６２がほぼ上向きになっている場合が多いのに対して、状態Ｆ、Ｇでは、表示パネル６２の向きがほぼ横向きになっている。

このため、このような携帯端末２の向きと、速度は、これを頭部近接体４に実装して頭部近接型映像表示システム１として利用する場合に起こりえる、特有の動きであるといえる。制御アプリケーション２０は、動きセンサ５９により、映像視認時において頭部近接体４を頭部の手前まで移動させる動作と、頭部の手前において突出片１０１の開閉動作に伴う減速とを検出した場合には、ユーザが表示パネル６２を介した映像表示の開始を望んで、頭部近接体４を近接したものと判別し、実際にこの表示パネル６２による映像表示を開始させる。これにより、ＳＲ映像体験のスタートを、ユーザの行動とスムーズに連動させることが可能となる。

このように、本発明では、携帯端末２を頭部近接体４に収容した状態で使用する。このため、頭部近接体４に覆われた携帯端末２を操作することはユーザにとって非常に煩雑なものとなるが、本発明では、自然な近接動作のみで、映像の開始を自動的に行うことができるため、非常に操作性にも優れたものとなる。

また、本発明によればワイヤレスで動作する携帯端末２を介して動作可能なものであるため、システム全体の完全なワイヤレス化を実現させることが可能となる。

一方、動きセンサ５９により上述した携帯端末２の動きが検出されなかった場合には、制御アプリケーション２０は、表示パネル６２を介した映像表示の開始を特段行うことはしない。実際に図11に示すような携帯端末２の動きは、本発明を利用するとき以外では、殆ど起こりえないものであるから、通常の携帯端末２の使用時には、上述した動きが動きセンサ５９により殆ど検出されることはない。このため、通常の携帯端末２の使用時において、意図していないにもかかわらず誤って制御アプリケーション２０が表示パネル６２を介して映像の表示を開始することを防止することができる。

ちなみに、ユーザが映像視認を終了させる場合には、
図10（ｂ）、図10（ａ）、図9（ｂ）、図9（ａ）の順に終了動作を行うのが通常である。図11でいうところの、Ｇ〜Ｆ、Ｆ〜Ｅの動作が順次行われることとなる。かかる場合において、Ｇ〜Ｆの動作速度と、Ｆ〜Ｅの動作速度では、後者の方が速い。このため、このような速度変化を動きセンサ５９を介して検出することにより、ユーザが表示パネル６２を介した映像表示の停止を望んで、頭部近接体４から離間したものと判別し、実際にこの表示パネル６２による映像表示を終了させる。これにより、ＳＲ映像体験の終了を、ユーザの行動とスムーズに連動させることが可能となる。
また、停止動作は、上述の方法に限定されるものではなく、ユーザ自らが携帯端末２を頭部近接体４から取り出して、通常の操作部６５による操作を通じて映像の視認の停止を指示するようにしてもよい。
また、本実施形態において、頭部近接体４をユーザの頭から外してから、映像の再生が停止されるまでには、一定の時間を要する。このため、ユーザが映画やビデオなどの映像コンテンツを代替映像として視聴している場合には、携帯端末２は、頭部近接体４をユーザの頭から外し始めた時点(図11の段階G)から再生が停止された時点(図11の段階E)までの経過時間を計測しておく。そして、頭部近接体４をユーザの頭に装着して表示を再開する際には、携帯端末２は、計測された経過時間、もしくは、これにある程度の猶予時間を加算した時間だけ、映像コンテンツを巻き戻してから、映像コンテンツの再生を再開することが望ましい。これにより、ユーザは、映像コンテンツを途切れなく視聴することが可能となる。

なお、本発明は、上述した頭部近接型映像表示システム１として具現化される場合に限定されるものではなく、ブレインマシンインターフェイス技術を用いて脳に直接情報を与えることでもよく、またこれを実現するためのアプリケーションプログラムとして具現化されるものであってもよい。

次に、本発明を適用した頭部近接型映像表示システム１について、携帯端末２による表示パネル６２の表示動作について説明する。

携帯端末２は、ライブ映像の表示と、代替映像の表示の何れかを表示パネル６２上に表示させるか、或いはライブ映像と代替映像とを互いに組み合わせて表示パネル６２上に表示させる。

ライブ映像表示では、撮像部４４により撮像を行う。撮像部４４により撮像されるライブ映像は、頭部近接体４に収容された携帯端末２の方向や位置に応じたものとなる。実際には、この頭部近接体４は、ユーザに近接されるため、ユーザの頭の向きや位置に応じたライブ映像がこの撮像部４４を介して撮像される。撮像部４４を介して撮像された被写体像は、撮像素子、レンズを介して撮像面上に結像され、光電変換により映像信号が生成される。

携帯端末２は、このような映像信号を、ライブ映像取得ステップＳ２３で受信し、再生制御ステップＳ２８により、ライブ映像として再生されるための処理が施される。撮像されたライブ映像は、携帯端末２を介して表示パネル６２へ送信される。

表示パネル６２へ送られたライブ映像は、その映像信号に基づいて画像を生成するための要素となる各ＲＧＢ信号に基づく光として出射され２次元的に走査される。これによりユーザの眼の網膜には撮像部４４により撮像されたライブ映像が投影される。

上述したように、この撮像部４４による撮影範囲は、ユーザの頭部の動きに応じたものなっている。このため、ユーザは、自らの頭部の動きに応じたライブ映像を表示パネル６２を介して視認することが可能となるため、あたかも表示パネル６２を介してユーザと略同一の視点で現実空間を視認しているのと同様の感覚を覚えさせることが可能となる。

このようなライブ映像表示を連続して実行していく過程で、携帯端末２は、代替映像の表示機会を常に、或いは間隔をおいて検出する。この代替映像の表示機会の検出の意味するところは、ユーザが代替映像の表示に関して何らかの意思を示した場合、或いは、ユーザの意思に関わらずに代替映像を表示する何らかの機会を捉えた場合を示すものである。

このユーザの意思に基づく代替映像の表示機会の検出は、例えば動きセンサ５９により検出されたユーザの頭部の動きに基づくものであってもよい。また、上述した頭部近接体４の近接動作を動きセンサ５９により検出し、これに応じて代替映像を表示するようにしてもよい。かかる場合には、当初からライブ映像を表示するのではなく、代替映像を表示することとなる。更には、代替映像の表示機会の検出は、操作部６５を介してユーザからの何らかの意思表示が行われた場合であってもよいし、マイク６０を介した音声入力を介して検出されるものであってもよく、さらには脳波、振動、運動、位置情報等、ユーザから取得したあらゆる情報に基づくものであってもよい。或いはユーザを含めて周囲の環境、例えば、何らかの匂いや熱、触感に基づいて代替映像の表示機会を検出してもよい。

なお、上述した操作部６５を介した入力や、マイク６０を介した音声入力があった場合には、その入力タイミングと同時に代替映像を表示する場合に加え、表示タイミングと入力タイミングとの間で時間的なタイムラグを意図的に発生させるようにしてもよい。これにより、ユーザに対して代替映像の表示を自分の感覚に基づいて行っているものと認識させることができ、当該代替映像の再生表示をより違和感無く実現できる。

またユーザの意思に基づかない代替映像の表示機会の検出としては、例えば間隔をおいて代替映像の表示に強制移行するものであってもよいし、或いは通信網５から受信した情報に基づいて代替映像の表示機会を検出するようにしてもよい。また、携帯端末２内に組み込まれた所定のプログラムやアルゴリズムに基づいて発生させたイベントを、代替映像の表示機会と捉えるようにしてもよい。

代替映像を表示するモードに移行した場合には、代替映像を表示パネル６２上に表示させる。代替映像の表示方法の具体的な例は、後述する。

このような代替映像の表示を終了後、再び通常のライブ映像のみの表示に戻るようにしてもよい。このライブ映像に戻る場合には、上述した代替映像の表示機会として検出する各種イベントを検出したことを期に行うようにしてもよい。

なお本発明では、代替映像取得ステップＳ２１において、１以上の代替映像を取得することを前提とする。ちなみに、この代替映像取得ステップＳ２１では、２以上の代替映像を取得する場合には、予め２層以上に亘る、いわゆるマルチレイヤに亘る代替映像を取得し、これを記録部６９へと記録しておく。そして、再生制御ステップＳ２８による制御の下で、このマルチレイヤの代替映像の中から、１以上の代替映像を選択し、これをライブ映像と並列させて、或いは重ね合わせて再生する。

また、本発明によればライブ映像と代替映像とを組み合わせて表示するようにしてもよい。かかる場合において、ライブ映像と代替映像とを互いに重ね合わせて表示する場合には、少なくとも一方の映像に対して背景を除去したり、人物を抽出したりする等の加工を施すようにしてもよい。これにより、現実に存在するものと認識されていた人物や自分自身の身体等の対象物を過去映像に対しても表示することができ、代替映像の現実感をより向上させることが可能となる。

また、例えば、代替映像とライブ映像の画質が、同一又は近似するものとして設定してもよい。これにより、ユーザは、ライブ映像と代替映像を重ね合わせて再生しても、違和感を覚えなくなる。これらの効果は、代替映像とライブ映像を重ね合わせる場合のみならず、これらを互いに切り換えて表示する場合や、互いに並列させて表示する場合も同様の効果を得ることが可能となる。

また、代替映像とライブ映像との重ね合わせの映像を生成する上で、その代替映像の不透明度と、ライブ映像の不透明度は、再生制御ステップＳ２８においてそれぞれ調整する。例えば、ライブ映像の透明度のみを制御するようにしてもよいし、ライブ映像のみならず代替映像の不透明度も制御するようにしてもよい。これにより、ライブ映像による映像表示を薄く残しつつ、代替映像を表示させることも可能となる。このときライブ映像に対して代替映像がフェードイン又はフェードアウトするような構成を採用するようにしてもよい。これにより、ライブ画像には存在しない人物、建物、情報等が出現又は消滅しても、ユーザは違和感を覚えることが無くなる。

なお、代替映像とライブ映像の不透明度は、表示パネル６２の画素毎に設定することが可能である。代替映像とライブ映像を常時重ね合わせる場合においても、実際に重ね合わせが起きているのは、空間全体の一部だけに留めることも可能となる。また、画素単位で代替映像とライブ映像の不透明度を自由に設定することにより、代替映像とライブ映像が互いに混合する環境空間の範囲や、その形状を自由に変化させることが可能である。更にその画素毎の不透明度の変化を時系列的に変化させ、動きセンサ５９等により検出したユーザのアクションに基づいて動的に変化させるようにしてもよい。

また、本発明では、代替映像を表示する際において、匂い、熱、振動、触覚、音声の少なくとも１つをユーザに対して及ぼすための手段を別途設けるようにしてもよい。例えば、代替映像として、天災に関する緊急速報を流す場合において、ユーザに注意喚起するために振動や音声でそれを通知するようにしてもよい。

更に、本発明では、一の代替映像をライブ映像と重ね合わせて、或いは並行して再生する場合に限定されるものではない。映像蓄積部２２には２以上の代替映像が蓄積されていることから、２以上の代替映像をライブ映像と重ね合わせて、或いは並行して再生するようにしてもよい。

このように、本発明では、代替映像を２つ以上に予めマルチレイヤ化しておき、このうち所望の１以上の代替映像を選んでライブ映像と組み合わせて表示させることが可能となる。また、本発明によれば、この表示すべき代替映像のうち、所望のものを順次切り換えることもできる。

所望の代替映像の選択や切替は、或いは代替映像とライブ映像の切り替えをユーザの頭部の動き、ひいてはその頭部に近接させた頭部近接体４の動きに基づいて実行するようにしてもよい。かかる場合には、動きセンサ５９により検出した頭部の動きに基づいて、切替を行うようにしてもよい。またこれに限定されるものではなく、操作部６５を介してユーザからの何らかの意思表示が行われた場合であってもよいし、マイク６０を介した音声入力を介して検出されるものであってもよく、さらには脳波、振動、位置情報等、ユーザから取得したあらゆる情報に基づくものであってもよい。或いはユーザを含めて周囲の環境、例えば、何らかの匂いや熱、触感に基づいて代替映像の表示機会を検出してもよい。

また、上述した実施の形態においては、１以上の代替映像を代替映像取得ステップＳ２１において事前に取得してこれを記録部６９に記録し、必要に応じてこの記録部６９から代替映像を読み出す場合を例にとり説明をしたが、これに限定されるものでない。例えば、ライブ映像の表示時において、代替映像が新たに必要となった場合、その新たに必要となる代替映像を、その都度通信網５から取得するようにしてもよい。

本発明によれば、代替現実技術（現在と過去の映像を切り目無く、現実の延長として体験する技術）を利用することにより、いわば視覚情報空間を拡張することができる。このような視覚情報空間の拡張により、ユーザが主体的に情報空間を操作し、代替映像を表示させて必要な情報にアクセスすることが可能となる。

更に本発明によれば、音声データ取得ステップＳ３５において取得した音声データを一緒に再生するようにしてもよい。かかる場合には、携帯端末２は、再生すべき代替映像に連動させてこの音声データを再生するようにしてもよい。例えば、再生すべき映像が地図情報であるのであれば、これに連動したアナウンスを音声データとして連動させて再生するようにしてもよい。また再生すべき映像がゲームに関するコンテンツ映像であれば、当該コンテンツに連動させた効果音や音楽を音声データとして連動させて再生するようにしてもよい。

また、本発明によれば、携帯端末２とは異なる他の電子機器、又は他の携帯端末との間でワイアレスで連動させて動作させるようにしてもよい。これにより、複数のユーザ間でＳＲ映像体験を同期させることもできる。実際には、この制御アプリケーション２０は、外部からも制御可能であるため、他の電子機器又は他の携帯端末から同期のための制御を行わせることで、ＳＲ映像体験の共有化を実現できる。

また映像視認時における携帯端末２の操作は、操作部６５を介して行う場合に限定されるものではない。ユーザが突出片１０１をタップすることを動きセンサ５９により検出することで、操作部６５の操作に代替させるようにしてもよい。かかる場合には、突出片１０１のタップの回数を動きセンサ５９が検出することで、映像の再生や停止を行ったり、早送り等を自在に行わせることが可能となる。

以下の実施例において、代替映像の例について説明をする。但し、この代替映像は以下の実施例に限定されるものではなく、他のいかなるコンテンツ、データを代替映像化するようにしてもよい。

(代替映像)
以下、代替映像の例について説明をする。但し、この代替映像は以下の実施例に限定されるものではなく、他のいかなるコンテンツ、データを代替映像化するようにしてもよい。

代替映像の例としては、先ず通信網５から取得したあらゆる情報を用いることができる。上述の例では、携帯端末２は、ユーザの位置情報を取得して、その位置情報に対応する、建物や道路等の地理的な表示（地図情報）を通信網５から取得する。そして、ライブ映像に表示されている事象に合わせてその地図情報を表示する。

(過去映像)
この代替映像としては、過去に撮像した過去映像を適用するようにしてもよい。この過去映像の撮影は、録画モジュール３を用いて行う。具体的には、この録画モジュール３におけるパノラマビデオカメラ３１により、全方位に向けて時系列的に撮像を行う。図12（ａ）の平面図は、位置Ｐに配置されたパノラマビデオカメラ３１により、全方位に向けて映像を撮影している状態を示している。パノラマビデオカメラ３１における撮像装置３２１により、水平方向に向けて３６０°に亘り洩れなく撮像を行う。この撮像は、垂直方向に向けても同時に撮像されるが、以下の例では、この水平方向への撮像を例にとり説明をする。

このようにして、過去映像の撮像が行われると、複数の撮像装置３２１により各方向に対して時系列的に順次画像が撮像される。そして撮像された画像は、携帯端末２へと送られることとなる。このため、過去映像の撮像が終了した段階で、携帯端末２における映像蓄積部２２には、位置Ｐを中心にして水平方向全方位に亘って撮像された動画像が蓄積されている状態となる。このとき、図示しないマイクにより音声を同時に収録しておいてもよい。

次にこの過去映像を代替映像として撮像する場合には、
図12（ｂ）に示すように、かつて過去映像の撮影を行った、同じ位置Ｐに頭部近接体４を近接させたユーザが存在するものとする。過去映像を表示パネル６２上に表示させる際には、携帯端末２は、記録部６９において蓄積されている過去映像を読み出し、上述の同様のプロセスで表示パネル６２上にこれを表示する。

このとき、動きセンサ５９により検出した頭部の動きにより検出した視線方向を、表示パネル６２上の表示に反映させるようにしてもよい。携帯端末２には動きセンサ５９を介して検出された、ユーザの頭部の向きや視線方向に関する情報を送られてくる。動きセンサ５９による頭部方向に関する情報は、頭部方向特定ステップＳ２４により、実際のユーザの頭部方向が特定される。

次に頭部方向特定ステップＳ２４を介して、実際にユーザが捉らえようとする視覚を特定する。仮にユーザが正面を向いている場合を特定した場合には、
図12（ｂ）の実線で示す範囲の視覚に反映される映像を切り出せばよい。しかしながら、頭部方向特定ステップＳ２４により、ユーザが点線で示される領域を視覚として捉えている場合には、映像切出し方向更新ステップＳ２５により、切り出すべき映像の範囲を矢印方向へとシフトさせる。再生制御ステップＳ２８は、このようにシフトさせた範囲の映像を記録部６９に記録されている映像から切り出す。このとき、過去映像は時系列的に録画されているものであるから、この切り出すタイミングもかかる時系列に沿って切り出すことが望ましい。携帯端末２における表示パネル６２に、このようにシフトした範囲で切り出した映像を表示することで、ユーザに対して、あたかも自らの頭部の向き等に応じた視覚で映像を視認している現実感覚を持たせることが可能となる。過去映像を撮像したパノラマビデオカメラ３１の位置Ｐと、携帯端末２を近接させたユーザの頭部の位置Ｐが同一であることから、そのような感覚を植え付けることが可能となる。

このような過去映像としての代替映像のみを表示パネル６２上に表示させるようにしてもよいし、ライブ映像と組み合わせて表示させるようにしてもよい。ユーザは、当初ライブ映像を視認しているが、気づかぬ間にこの過去映像に切り換えられる。しかし、ユーザは、当初からライブ映像を視認していることから、過去映像に切り換えられていても、自分自身はライブ映像を視認している意識のままでいる。つまり、当初にあえてライブ映像をユーザに視認させることで、過去映像への切り替えに気づかせ難くさせている。このとき、代替映像の表示に切り替わった後に、図示しないマイクにより録音した音声もヘッドホン４３を介して流すことで、よりユーザに対し、ライブ映像をあたかも視認している感覚を与えることができる。

なお、過去映像を代替映像として表示する際には、上述した実施の形態に限定されるものではない。例えば、過去映像を撮像したパノラマビデオカメラ３１の位置Ｐと、頭部近接体４を近接させたユーザの頭部の位置Ｐが同一である場合に限定されず、互いに異なる位置であってもよい。また、頭部方向や視線方向の双方を識別して過去映像の切り出しを行う場合に限定されず、頭部方向、視線方向の何れか一方を識別して過去映像の切り出しを行うようにしてもよい。

なお、この過去映像を代替映像として表示する際には、以下に説明するような各種工夫を盛り込むようにしてもよい。

例えば、過去映像とライブ映像の画質が、同一又は近似するものとして設定してもよい。かかる場合には、携帯端末２は、ライブ映像、過去映像のそれぞれを撮像した撮像素子の特性データから求められた調整値を介して画質調整を行う。或いはこの携帯端末２は、予め画質標準を定めておき、これにライブ映像、過去映像の画質が近似するように自動的に画質調整を行うようにしてもよい。これにより、ユーザは、ライブ映像から過去映像への切り替わりにつき違和感を覚えなくなり、過去映像をあたかもライブ映像を視認しているような感覚を味合わせることが可能となる。これらの効果は、過去映像とライブ映像を切り換えて表示する場合のみならず、互いに並列させて表示する場合、或いは互いに重ね合わせて表示する場合も同様の効果を得ることが可能となる。

特に代替映像を過去映像とする場合において、過去映像に表示される対象物とライブ映像に表示される対象物を混在させるようにしてもよい。これにより、過去映像と現在映像との区別をより難しくすることが可能となる。

(ゲーム等のコンテンツ映像)
代替映像としては、例えばゲームに関するコンテンツ映像を当てはめるようにしてもよい。近年は、ヘッドマウントディスプレイを利用したゲームが制作されているが、これらを代替映像に当てはめ、プレイヤーとしてのユーザからのアクション（動きセンサ５９、操作部６５等による入力に基づく）をそのゲームに反映させる。代替映像は、複数に亘りレイヤ化されていることから、ゲームコンテンツに関する映像も複数に亘りレイヤ化しておき、場面に応じてこれらを順次読み出して表示する。このときレイヤ化されているゲームコンテンツ映像を互いに重ね合わせ、或いはこれらを互いにフェードアウト、フェードインさせることでユーザに対して、違和感の無い代替画像間の移り変わりを表現することが可能となる。

(映画等の映像コンテンツ)
代替映像として、例えば映画等を始めとした映像コンテンツを再生するようにしてもよい。係る場合には、第１の代替映像として通常の映画コンテンツを再生し、第２の代替映像として、その映画コンテンツに関する付随情報を再生するようにしてもよい。この付随情報としては、例えば映画コンテンツに関する視聴者からのコメントを通信網から取得して流すようにしてもよいし、キャストや今までのあらすじ、人物関係等を表示するようにしてもよい。また、第３の代替映像には、映画と関係の無いニュースや天気予報等を再生するようにしてもよい。

(投資情報等のリアルタイムコンテンツ)
代替映像として、投資情報（株、為替、債権、先物取引）をリアルタイムに再生するようにしてもよい。かかる場合には、第１の代替映像において、ある銘柄の５分足のチャートを、また第２の代替映像では、その銘柄の日足のチャートを表示するようにしてもよい。また第１の代替映像には、日足、月足のチャートを並べて表示し、第２の代替映像には、為替のチャートを載せてもよいし、或いはリアルタイムに取得したニュース、さらには気配値を表示するようにしてもよい。何れの場合においても、通信網５からリアルタイムに投資情報を取得して、これを複数レイヤに亘る代替情報とする。ユーザは、この複数レイヤからなる代替情報のうち、自らが確認したい投資情報を指定することで、これらが読み出されて表示パネル６２上に表示されることとなる。

(アプリケーションによる表示)
携帯情報端末（携帯電話、スマートフォン）や、タブレット型端末、ＰＣ等に適用される各種アプリケーションを代替映像として再生するようにしてもよい。かかる場合には、これらのアプリケーションを通信網５から取得して記録部６９に蓄積しておく。必要に応じてアプリケーションが記録部６９から読み出され、代替映像として再生されることとなる。

(他の場所で撮影された映像)
ユーザが実際にライブ映像や代替映像を視聴している地点と異なる地点で撮像された映像、代替映像としてこれを再生するようにしてもよい。かかる場合には、異なる場所に設置した録画モジュール３により、事前に又はリアルタイムに映像を撮像し、これを携帯端末２へと送信する。代替映像取得ステップＳ２１では、この送信されてくる映像を代替映像として取得し、事前に撮像した映像であれば、これを記録部６９に一度蓄積する。ライブ映像の背景を取り除き、上記代替映像と重ねて表示する事で、離れた場所に自分自身がいるかのような感覚を作り出す事が可能である。

(付随情報)
ライブ映像として劇場で観劇をする場合、或いは競技場等でスポーツ観戦をする場合に、これに関する付随情報を代替映像として再生するようにしてもよい。例えば携帯端末２の位置情報等を取得した上で、その位置が競技場であればその時間帯において行われる競技の情報を、またその位置が劇場であればその時間帯において公演予定の劇に関する情報を通信網５から取得する。そして、この通信網５から取得した情報を代替映像として再生する。もしくは、複数のパノラマカメラからとった映像を複数の代替映像としてもよく、それらを使用者の意図に応じて切り替える事もできる。

(電子メール)
電子メールの画面を代替映像として表示するようにしてもよい。携帯端末２は、通信網５を介して受信したメール又はこれに関する情報を代替映像として、これを再生する。

(テレビジョン放送)
代替映像としては、テレビジョン放送を適用するようにしてもよい。これにより、ユーザは、ライブ映像と組み合わせて代替映像からテレビジョン放送を視聴することも可能となる。

上記の実施例では、本発明を代替映像を提供するために応用していたが、本発明は、ヘッドマウントディスプレイ等の代替となるものを安価かつ簡易に提供する表示システムにかかるものであり、その最小構成は、画面を有する携帯端末２を、頭部近接体４であるアタッチメントに収容することで実現される。

たとえば、携帯端末２において、ビデオ映像を再生し、これをユーザが視聴する場合を想定する。ビデオ映像の視聴にあたっては、再生、一時停止、早送り、巻き戻しなどの操作を行いたい状況がある。

携帯端末２がタッチスクリーンを有するスマートフォンにより構成され、アタッチメントに収容されていない状況では、タッチスクリーンに表示されたアイコンやボタン等をタッチすることでこのような操作が可能となる。

一方、携帯端末２がアタッチメントに収容されている状況では、タッチスクリーンもアタッチメントの内部に配置されてしまう。そこで、本実施例では、タッチスクリーンにユーザがタッチできるように、端末収容ユニット４２の底面に指1本が通る程度の小さな開口を設ける。開口を小さくするのは、アタッチメント内部に外光が侵入することをできるだけ防止するためである。

ユーザは、アタッチメントの開口を介して、タッチスクリーンに触れることができる。開口が小さいため、その全面に触れることはできない。たとえば、右利きのユーザ用に、ユーザから見て右側底面に開口を設けた場合には、ユーザは、タッチスクリーンの右側にはタッチ可能であるが、左側には指が届かないため、タッチできない。すなわち、タッチ可能領域は、タッチスクリーンの一部に限定される。

そこで、本実施例では、携帯端末２を収容したアタッチメントの傾きを、携帯端末２の動きセンサ５９により検知する。そして、この傾きに応じて、タッチスクリーン内に表示される操作対象の位置を変化させる。

たとえば、操作対象が一列に並べられている場合には、検知された傾きの方向に、その列を巡回的に進行させる。そして、進行の経路が、タッチ可能領域を通過するようにする。

すると、所望の操作対象がタッチ可能領域外に表示されていたとしても、携帯端末２を収容したアタッチメントを傾けることで、その操作対象をタッチ可能領域内に移動させることができる。タッチ可能領域内に所望の操作対象が移動した後は、ユーザの指を、アタッチメント底部の開口を介してタッチスクリーンに表示された所望の操作対象にタッチすることで、当該操作対象に対応付けられる処理が実行される。

複数の操作対象をどのように並べるか、検知された傾きに応じてどのように移動させるか、は任意である。

たとえば、複数行複数列に操作対象が並んでいる場合には、一回傾けて戻すごとに、その傾きの方向に、行と列が1つずつ巡回、すなわち、斜めに巡回スクロールするようにしても良い。

このほか、容器の中に粘性のある液体を入れ、その中に物体を投入して、容器を傾ける物理シミュレーションを利用しても良い。すなわち、検知された傾きを容器の傾きに適用し、操作対象を物体に対応付ける。ユーザは、携帯端末２を収容したアタッチメントの傾きを調整することで、開口を介してアタッチメント内部に挿入した指に所望の操作対象を近付けた後、当該操作対象にタッチすることができる。

上記実施例では、アタッチメントの突出片１０１の開閉やタップ、アタッチメントの開口を介した携帯端末２のタッチスクリーンへのタッチ等により、携帯端末２により表示される映像を制御していた。ここで、アタッチメントは箱のような形状をしている。このため、その表面を叩いたり、摩擦したり、少しだけ凹ませて戻したり、あるいは突出片１０１を開閉したりタップしたり、など、アタッチメントへの接触をともなうアクションをユーザが行うと、そのアクションに起因する音声が発生し、その箱形状によって共鳴する。共鳴した音声は、携帯端末２のマイク６０から集音することができる。

また、上記のようなアクションを行った場合には、アタッチメントに収容された携帯端末２の位置や向きも変化する。この動きは、動きセンサ５９により検知することが可能である。

そこで、本実施形態では、ユーザによる上記のようなアクションによって生じる音声ならびに動きの一方もしくは双方によって、アタッチメントに収容された携帯端末２により表示される映像の制御を行う。

上記のように、アタッチメントへの接触をともなうアクションに起因してアタッチメントが発生させる音声は、アタッチメントにより共鳴されてから、マイク６０により集音させる。したがって、集音された音声に対して、アタッチメントにより共鳴される周波数帯のみを通過させるバンドパスフィルタを適用する等の手法により、外界の音声との分離を簡易に行うことができる。

このほか、同一のアタッチメントに対して複数のユーザに同じ操作(たとえば同じ箇所に対するタップ操作)をさせ、そのときに検知された音声や動きを記録して、音声や動きのテンプレートをあらかじめ抽出しておく手法もある。

たとえば、アタッチメントの右側を1回タップすると、マイク６０を介してタップ音が検出されるとともに、携帯端末２が1回だけ微小に左に移動してから右に戻る動きが検出される。アタッチメントの右側を摩擦すると、マイク６０を介して摩擦音が検出されるとともに、携帯端末２が振動する動きが検出されるが、左側の振動は右側の振動に比べて小さい。このような音声や動きの特徴を実験により収集することで、各アクションに対するテンプレートを用意することが可能である。

そして、携帯端末２は、運用時に検出された音声や動きを、あらかじめ用意されたテンプレートと対比して、その類似度が所定の比較基準において十分に高いテンプレートを選び出し、当該テンプレートに対応付けられたアクションをユーザが実行した、と判断する。

たとえば、映像再生中は、右側1回タップで再生と停止の切り換え、右側2回タップで早送り、左側2回タップで巻き戻し、右側を摩擦するとメニュー表示、などようにアクションと処理を対応付けることができる。メニューが表示された後は、右側の摩擦もしくは左側の摩擦でメニュー内のアイテムを指すカーソルを移動させ、右側1回タップでカーソルに指されたアイテムを選択、などのようにアクションと処理を対応付けることができる。ここで、アクションの種類や回数と処理の対応付けは、任意に変更が可能である。

本実施例によれば、突出片１０１の有無にかかわらず、ユーザによるアタッチメントへの接触を伴うアクションを識別することで、ユーザの没入感を損わずに携帯端末２を制御することができる。

本実施例に係るアタッチメントは、携帯端末２の運搬や販売時に携帯端末２を包装する箱により構成される。
ここで、包装とは、物品の輸送、保管などにあたって価値及び状態を保護するために適切な材料、容器などを物品に施す技術および施した状態のことであり、個装、内装、外装に分類される。また、包装は、その目的に応じて、輸送を目的とした工業包装、輸送包装、配送包装など、販売を目的とした商業包装などに区別され、工業包装、輸送包装、配送包装などを梱包とも称する。本願における包装は、上記の全てを含む概念である。
図13(a)、(b)、(c)、(d)は、携帯端末の包装箱によりアタッチメントを構成する手順の説明図である。以下、本図を参照して説明する。本図では、携帯端末２およびこれを包装する箱の断面が図示されている。本図では、理解を容易にするため、各部の厚さや大きさ、隙間を誇張して図示している。

携帯端末2を包装する箱501は、蓋502、本体503、トレー504からなる。蓋502は本体503を覆い、トレー504は携帯端末2をその上に載せた状態で、本体503の内部に収納されている(本図(a))。蓋502および本体503は、段ボール等の紙、あるいは各種の樹脂等で構成することができるが、これに限定されるものではなく、セラミック材料や金属等いかなる材料で構成されていてもよく、その素材は任意に選択が可能である。また、これらに対しては、その用途や機能に応じて、模様、色彩、装飾等を施すことができる。

一般には、携帯端末2の出荷時には、トレー504の底面に、携帯端末2の画面とは反対側の面(背面)が接するように、携帯端末2がトレー504の上に載せられる。また、トレー504のうち、携帯端末2が収まる領域の一部には、爪と呼ばれる突起が生成されており、携帯端末2を嵌め込むことによって、携帯端末2を容易に固定することができる。本図では、爪がある箇所の断面が示されている。

トレー504は、透明なプラスチックなどの素材で構成されており、携帯端末2を載せる領域の中央部分に薄型のレンズとして、フレネルレンズ505が一体形成されている。ユーザは、本体503から携帯端末2とトレー502を取り出した後、ミシン目もしくは切取り線に沿ってトレー504を切断をすることで、フレネルレンズ505を得ることができる(本図(b))。また、蓋502にもミシン目もしくは切取り線が設けられており、これに沿って切断をすることで、ユーザが接眼するための開口506が得られる(本図(b))。

ユーザが蓋502の開口506に、フレネルレンズ505を取り付けると(本図(c))、近接ユニット41に相当する部材が完成する。フレネルレンズ505は、たとえば蓋502の開口506の縁に切れ目を入れ、これに挟むことにより固定したり、粘着テープなどを利用して接着することができる。

ユーザは、トレー504を裏返して携帯端末2を固定し、本体503に挿入する(本図(c))ことで、携帯端末2を本体503に固定する。これにより、携帯端末2が収容された端末収容ユニット42に相当する部材が完成する。

この後は、ユーザは、蓋502を本体503に被せる(本図(d))と携帯端末2を収容した頭部近接体4(アタッチメント)が完成する。ユーザは、蓋502を本体503に被せる位置を調整することで、携帯端末2の画面にピントを合わせることができる。

なお、本体503には、あらかじめ用意されたミシン目もしくは切取り線に沿って切断を行うことで、携帯端末2のタッチスクリーンに指をタッチさせるための開口や、携帯端末2からヘッドホン用のコードを出すための開口を作成することができる。

また、フレネルレンズ505は、トレー504と一体成形する必要はなく、別途添付しても良いし、出荷当初から蓋502に取り付けておいても良い。また、上記説明では、トレー504を裏返して挿入することで、携帯端末2を固定しているが、トレー504を使わずに、本体503の底や壁面に切り掛きや突起を設け、これをストッパとして携帯端末2を固定することとしても良い。この態様では、携帯端末2の出荷時に利用される梱包箱(化粧箱)のみならず、各種の通信販売の輸送用の段ボール箱などから頭部近接体4(アタッチメント)を作成することができる。

このほか、フレネルレンズ505がトレー504とは別に用意されており、トレー504の底面が透明な素材でできている場合には、携帯端末2をトレー504に対して裏返し、トレー504の底面に携帯端末2の画面が接するように載せて、携帯端末を固定した後、携帯端末2の画面がトレー504の底面を介して外側に見えるように、本体503内にトレー504を裏返して収める。

そして、蓋502の開口506に設置されたフレネルレンズ505を介して携帯端末2の画面が見えるように、蓋502を本体503に被せれば良い。

このほかにもトレー504からフレネルレンズ505を切り離さずに済ませる手法がある。図14(a)、(b)、(c)は、携帯端末の包装箱によりアタッチメントを構成する手順の説明図である。以下、本図を参照して説明する。

本態様も、上記態様と同様に、トレー504底面にフレネルレンズ505が成形されている(本図(a))。

そこで、携帯端末2を取り出して本体503の底に、切り欠き等を利用したストッパ(図示せず)で固定する(本図(b))。すると、本体収容ユニット42ができる。

一方、トレー504は裏返して本体502に挿入する(本図(b))。これにより、最も簡易な接眼ユニット41ができる。

すなわち、トレー504を裏返して本体502に挿入することで、最も簡易なアタッチメントとすることができる。トレー504の側面からの外光の侵入を防止するため、トレー504の側面には不透明な素材を使用しても良いし、透明な素材を使用する場合には、トレー504の側面に遮光用のシールやテープなどを貼り付けることとしても良い。

この態様では、本体503にフラップ(図示せず。)を用意しておくと、当該フラップを、収容ユニット42の突出片101として利用することもできる。

このほか、蓋501に開口506を設けて、トレー504の爪を蓋501に設けられた溝に差し込む(図示せず。)などの固定方法により、蓋501にトレー504を固定した上で、本体502にトレー504を挿入しても良い(本図(c))。この態様では、蓋501にトレー504を裏返して固定することで、接眼ユニット41とする。この態様では、収容ユニット42の内部と外部の両方の面で接眼ユニット41に接することとなるので、摩擦が十分に働き、ピントの調整をした後も、収容ユニット42と接眼ユニット41がずれにくくなる。

また、トレー504にフレネルレンズ505が設けられている態様では、トレー504を裏返す必要は必ずしもない。図15(a)、(b)は、携帯端末の包装箱により構成されたアタッチメントの説明図である。本図(a)に示すように、一旦トレー504を本体502から外し、本体502の底面に携帯端末2を固定してから、トレー504を再度本体502に同じ向きで挿入すると、トレー504の底面のフレネルレンズ505を介して携帯端末2の画面を視認することができる。

また、本図(b)に示すように、開口506を設けた蓋501にトレー502を接着等により固定してから、本体502に被せることとすれば、外光を効率良く遮断しながら、トレー504の底面のフレネルレンズ505を介して携帯端末2の画面を視認することができる。

上記例では、1枚のフレネルレンズ505を接眼用に利用したが、トレー502の底面に2つの丸型の凸レンズを成形しても良い。この場合には、蓋501に2つの丸型の開口を設けて被せるか、あるいは、トレー502の凸レンズ以外の部分を不透明な部材で成形したり、あるいは、シールや紙等の不透明な部材で遮光することで、簡易にアタッチメント4を構成することもできる。

このように、本実施例によれば、安価かつ簡易にヘッドマウントディスプレイ等の代替となる表示システムをユーザに提供することができる。

(総括)
以上説明した通り、本願に係る表示システムは、
画面を有する携帯端末と、
前記携帯端末を、前記画面がユーザにより視認可能に収容するアタッチメントと、
を備える表示システムであって、
前記携帯端末は、
前記携帯端末が有するセンサにより、前記アタッチメントを介した前記ユーザによるアクションを検知し、
前記検知されたアクションに応じて前記画面に表示する映像を制御する。

また、本願発明の表示システムにおいて、
前記携帯端末は、
前記アタッチメントから発せられる音声ならびに前記携帯端末の動きを前記センサにより検知し、
前記検知された音声ならびに動きが、前記ユーザによる前記アタッチメントへの接触、前記アタッチメントの摩擦、もしくは前記アタッチメントの変形を含むアクションに起因して発せられたものであるか否かを識別し、
前記識別されたアクションに応じて、前記画面に表示する前記映像を制御する..ように構成することができる。

また、本願発明の表示システムにおいて、
前記携帯端末は、
前記アタッチメントから発せられる音声を前記センサにより検知し、
前記検知された音声が、前記ユーザによる前記アタッチメントへの接触、前記アタッチメントの摩擦、もしくは前記アタッチメントの変形を含むアクションに起因して発せられたものであるか否かを識別し、
前記識別されたアクションに応じて、前記画面に表示する前記映像を制御する
ように構成することができる。

また、本願発明の表示システムにおいて、
前記携帯端末は、
前記検知された音声の周波数成分をアタッチメントが共鳴する周波数帯か否かにより分類して、前記アクションに起因して発せられたものであるか否かを識別する
ように構成することができる。

また、本願発明の表示システムにおいて、
前記携帯端末は、
前記携帯端末の動きを前記センサにより検知し、
前記検知された動きが、前記ユーザによる前記アタッチメントへの接触、前記アタッチメントの摩擦、もしくは前記アタッチメントの変形を含むアクションに起因して発せられたものであるか否かを識別し、
前記識別されたアクションに応じて、前記画面に表示する前記映像を制御する
ように構成することができる。

また、本願発明の表示システムにおいて、
前記画面はタッチスクリーンであり、
前記アタッチメントは、前記ユーザが前記タッチスクリーンの一部の領域にタッチ可能とするための開口を有し、
前記携帯端末は、
前記検出された動きに基づいて、前記映像に含まれる操作対象の位置を前記タッチ可能な領域の内外に移動させ、
前記タッチスクリーンにより、前記ユーザが前記タッチ可能な領域の内に移動した前記操作対象に対するタッチが検知されると、当該タッチに応じて、前記画面に表示する前記映像を制御する
ように構成することができる。

また、本願発明の表示システムにおいて、
前記携帯端末は、前記画面を前記ユーザが視認する方向を撮影方向とするカメラを有し、
前記アタッチメントは、前記カメラが現実空間のライブ映像を撮影可能に、前記携帯端末を収容し、
前記識別されたアクションに応じて、前記画面に表示する前記映像を前記ライブ映像もしくは非ライブ映像に切り換える
ように構成することができる。

また、本願発明の表示システムにおいて、
前記携帯端末は、
前記非ライブ映像が前記画面に表示される間、前記センサにより検出された動きに基づいて、パノラマ映像ならびに3次元映像を含む代替映像から部分映像を切り出して、前記切り出された部分映像を前記非ライブ映像とする
ように構成することができる。

また、本願発明の表示システムにおけるアタッチメントにおいて、
前記アタッチメントは、
前記携帯端末をトレーにより固定し、前記トレーを本体に収納し、前記本体を蓋で覆うことにより、前記携帯端末を包装する箱において、
前記トレーの底面の一部を切除することにより、前記トレーに設けられた開口を介して、前記携帯端末の画面が視認可能なように前記携帯端末を固定し、
前記開口が設けられ、前記携帯端末を固定する前記トレーを前記本体に収納し、
前記蓋の上面の一部を切除することにより前記蓋に設けられた開口を介して、前記携帯端末の前記画面を視認可能なように前記蓋で前記本体を覆う
ことにより構成されるようにすることができる。

また、本願発明の表示システムにおけるアタッチメントにおいて、
前記トレーは、前記底面の一部をレンズとした透明体により構成され、
前記蓋に設けられた開口に、前記トレーから切除されたレンズが装着される
ように構成することができる。

また、本願発明の表示システムにおけるアタッチメントにおいて、
前記アタッチメントは、
前記携帯端末をトレーにより固定し、前記トレーを本体に収納し、前記本体を蓋で覆うことにより、前記携帯端末を包装する箱において、
前記トレーは、前記底面の一部をレンズとした透明体により構成され、
前記携帯端末の画面が視認可能なように前記携帯端末を前記本体の底面に固定し、
前記レンズを介して前記携帯端末の前記画面が視認可能なように前記トレーを前記本体に収納する
ことにより構成されるようにすることができる。

また、本願発明の表示システムにおけるアタッチメントにおいて、
前記アタッチメントは、
前記携帯端末をトレーにより固定し、前記トレーを本体に収納し、前記本体を蓋で覆うことにより、前記携帯端末を包装する箱において、
前記トレーは、前記底面の一部をレンズとした透明体により構成され、
前記トレーの底面から前記レンズを切除することにより前記トレーに設けられた開口を介して、前記携帯端末の画面が視認可能なように前記携帯端末を固定し、
前記開口が設けられ、前記携帯端末を固定する前記トレーを前記本体に収納し、
前記蓋の上面の一部を切除することにより前記蓋に設けられた開口に、前記トレーから切除されたレンズを装着し、
前記開口に装着された前記レンズを介して、前記携帯端末の前記画面を視認可能なように前記蓋で前記本体を覆う
ことにより構成されるようにすることができる。

本願発明のアタッチメントは、
画面を有する携帯端末を、前記画面がユーザにより視認可能に収容するアタッチメントであって、
前記ユーザによる前記アタッチメントに対する接触をともなうアクションに起因して発生した音声もしくは動きを、前記携帯端末に伝達し、
前記アタッチメントは、
前記携帯端末をトレーにより固定し、前記トレーを本体に収納し、前記本体を蓋で覆うことにより、前記携帯端末を包装する箱において、
前記トレーは、前記底面の一部をレンズとした透明体により構成され、
前記携帯端末の画面が視認可能なように前記携帯端末を前記本体の底面に固定し、
前記レンズを介して前記携帯端末の前記画面が視認可能なように前記トレーを前記本体に収納する。

本願発明に係る表示方法は、
携帯端末が実行する表示方法であって、前記携帯端末は画面を有し、前記携帯端末は、前記画面がユーザにより視認可能にアタッチメントに収容され、
前記携帯端末が、前記携帯端末が有するセンサにより、前記アタッチメントを介した前記ユーザによるアクションを検知する検知ステップ、
前記検知されたアクションに応じて前記画面に表示する映像を制御する制御ステップ
を備える。

本願発明に係るプログラムは、携帯端末を制御するプログラムであって、前記携帯端末は画面を有し、前記携帯端末は、前記画面がユーザにより視認可能にアタッチメントに収容され、
前記プログラムは、前記携帯端末に、
前記携帯端末が有するセンサにより、前記アタッチメントを介した前記ユーザによるアクションを検知し、
前記検知されたアクションに応じて前記画面に表示する映像を制御する。

前記プログラムは、コンピュータ読取可能な非一時的(non-transitory)な情報記録媒体に記録することができる。当該情報記録媒体は、本願発明に係る携帯端末を実現するためのコンピュータとは独立して配布、販売することができる。また、前記プログラムは、インターネット等のコンピュータ通信網による一時的(transitory)な通信媒体を介して配布サーバから本願発明に係る携帯端末を実現するためのコンピュータへ配布、販売することも可能である。

本発明によれば、ヘッドマウントディスプレイ等の代替となる安価で簡易に実現可能な表示システム、表示方法、アタッチメント、ならびに、プログラムを提供することができる。

なお、本出願においては、2014年3月28日に日本国に出願した特許出願特願2014-067716を基礎とする優先権を主張するものとし、指定国の法令が許す限り当該基礎出願の内容を本願に取り込むものとする。

１ 頭部近接型映像表示システム
２ 携帯端末
３ 録画モジュール
４ 頭部近接体(アタッチメント)
５ 通信網
２０ 制御アプリケーション
２２ 映像蓄積部
３１ パノラマビデオカメラ
４１ 近接ユニット
４２ 端末収容ユニット
４３ ヘッドホン
４４ 撮像部
５８ 電源スイッチ
５９ 動きセンサ
６０ マイク
６２ 表示パネル
６５ 操作部
６６ 表示パネル
６９ 記録部
１０１ 突出片
１０２ 側板
１０２ 頭部フレーム
１０３ ヒンジ機構
１１０ 後板
１１１ レンズ
１１２ 前板
１１３ 押さえ片
１１４ 収容部
１２３ 溝
１２４ 溝
３１１ 基台
３１２ カメラアレイ
３２０ 本体
３２１ 各撮像装置
３２１ 撮像装置
３３０ インターフェース
５０１ 箱
５０２ 蓋
５０３ 本体
５０４ トレー
５０５ フレネルレンズ
５０６ 開口
Ｓ２１ 代替映像取得ステップ
Ｓ２２ 映像蓄積ステップ
Ｓ２３ ライブ映像取得ステップ
Ｓ２４ 頭部方向特定ステップ
Ｓ２５ 方向更新ステップ
Ｓ２５ 方向更新部ステップ
Ｓ２８ 再生制御ステップ
Ｓ３５ 音声データ取得ステップ
Ｓ３８ 検出ステップ

Claims (11)

1. 画面を有する携帯端末と、
   前記携帯端末を、前記画面がユーザにより視認可能に収容するアタッチメントと、
   を備える表示システムであって、
   前記携帯端末は、
   前記携帯端末が有するセンサにより、前記アタッチメントから発せられる音声を検知し、
   前記検知された音声が、前記ユーザによる前記アタッチメントへの接触、前記アタッチメントの摩擦、もしくは前記アタッチメントの変形を含むアクションに起因して発せられたものであるか否かを識別し、
   前記識別されたアクションに応じて、前記画面に表示する映像を制御する
   ことを特徴とする表示システム。
2. タッチスクリーンからなる画面を有する携帯端末と、
   前記携帯端末を、前記画面がユーザにより視認可能に収容し、前記ユーザが前記タッチスクリーンの一部の領域にタッチ可能とするための開口を有するアタッチメントと、
   を備える表示システムであって、
   前記携帯端末は、
   前記携帯端末が有するセンサにより、前記携帯端末の動きを検知し、
   前記検知された動きが、前記ユーザによる前記アタッチメントへの接触、前記アタッチメントの摩擦、もしくは前記アタッチメントの変形を含むアクションに起因して発せられたものであるか否かを識別し、
   前記識別されたアクションに応じて、前記画面に表示する映像を制御し、
   前記検知された動きに基づいて、前記映像に含まれる操作対象の位置を前記タッチ可能な領域の内外に移動させ、
   前記タッチスクリーンにより、前記ユーザが前記タッチ可能な領域の内に移動した前記操作対象に対するタッチが検知されると、当該タッチに応じて、前記画面に表示する前記映像を制御する
   ことを特徴とする表示システム。
3. 前記携帯端末は、前記画面を前記ユーザが視認する方向を撮影方向とするカメラを有し、
   前記アタッチメントは、前記カメラが現実空間のライブ映像を撮影可能に、前記携帯端末を収容し、
   前記携帯端末は、
   前記識別されたアクションに応じて、前記画面に表示する前記映像を前記ライブ映像もしくは非ライブ映像に切り換え、
   前記非ライブ映像が前記画面に表示される間、前記センサにより検知された動きに基づいて、パノラマ映像ならびに3次元映像を含む代替映像から部分映像を切り出して、前記切り出された部分映像を前記非ライブ映像とする
   ことを特徴とする請求項2に記載の表示システム。
4. 画面を有する携帯端末と、
   前記携帯端末を、前記画面がユーザにより視認可能に収容するアタッチメントと、
   を備え、前記携帯端末が、
   前記携帯端末が有するセンサにより、前記アタッチメントを介した前記ユーザによるアクションを検知し、
   前記検知されたアクションに応じて前記画面に表示する映像を制御する
   表示システムにおけるアタッチメントであって、
   前記アタッチメントは、
   前記携帯端末をトレーにより固定し、前記トレーを本体に収納し、前記本体を蓋で覆うことにより、前記携帯端末を包装する箱において、
   前記トレーの底面の一部を切除することにより、前記トレーに設けられた開口を介して、前記携帯端末の画面が視認可能なように前記携帯端末を固定し、
   前記開口が設けられ、前記携帯端末を固定する前記トレーを前記本体に収納し、
   前記蓋の上面の一部を切除することにより前記蓋に設けられた開口を介して、前記携帯端末の前記画面を視認可能なように前記蓋で前記本体を覆う
   ことにより構成されることを特徴とするアタッチメント。
5. 前記トレーは、前記トレーの底面の一部をレンズとした透明体により構成され、
   前記蓋に設けられた開口に、前記トレーから切除されたレンズが装着される
   ことを特徴とする請求項4に記載のアタッチメント。
6. 画面を有する携帯端末と、
   前記携帯端末を、前記画面がユーザにより視認可能に収容するアタッチメントと、
   を備え、前記携帯端末が、
   前記携帯端末が有するセンサにより、前記アタッチメントを介した前記ユーザによるアクションを検知し、
   前記検知されたアクションに応じて前記画面に表示する映像を制御する
   表示システムにおけるアタッチメントであって、
   前記アタッチメントは、
   前記携帯端末をトレーにより固定し、前記トレーを本体に収納し、前記本体を蓋で覆うことにより、前記携帯端末を包装する箱において、
   前記トレーは、前記トレーの底面の一部をレンズとした透明体により構成され、
   前記携帯端末の画面が視認可能なように前記携帯端末を前記本体の底面に固定し、
   前記レンズを介して前記携帯端末の前記画面が視認可能なように前記トレーを前記本体に収納する
   ことにより構成されることを特徴とするアタッチメント。
7. 画面を有する携帯端末と、
   前記携帯端末を、前記画面がユーザにより視認可能に収容するアタッチメントと、
   を備え、前記携帯端末が、
   前記携帯端末が有するセンサにより、前記アタッチメントを介した前記ユーザによるアクションを検知し、
   前記検知されたアクションに応じて前記画面に表示する映像を制御する
   表示システムにおけるアタッチメントであって、
   前記アタッチメントは、
   前記携帯端末をトレーにより固定し、前記トレーを本体に収納し、前記本体を蓋で覆うことにより、前記携帯端末を包装する箱において、
   前記トレーは、前記トレーの底面の一部をレンズとした透明体により構成され、
   前記トレーの底面から前記レンズを切除することにより前記トレーに設けられた開口を介して、前記携帯端末の画面が視認可能なように前記携帯端末を固定し、
   前記開口が設けられ、前記携帯端末を固定する前記トレーを前記本体に収納し、
   前記蓋の上面の一部を切除することにより前記蓋に設けられた開口に、前記トレーから切除されたレンズを装着し、
   前記開口に装着された前記レンズを介して、前記携帯端末の前記画面を視認可能なように前記蓋で前記本体を覆う
   ことにより構成されることを特徴とするアタッチメント。
8. 画面を有する携帯端末を、前記画面がユーザにより視認可能に収容するアタッチメントであって、
   前記ユーザによる前記アタッチメントに対する接触をともなうアクションに起因して発生した音声もしくは動きを、前記携帯端末に伝達し、
   前記アタッチメントは、
   前記携帯端末をトレーにより固定し、前記トレーを本体に収納し、前記本体を蓋で覆うことにより、前記携帯端末を包装する箱において、
   前記トレーは、前記トレーの底面の一部をレンズとした透明体により構成され、
   前記携帯端末の画面が視認可能なように前記携帯端末を前記本体の底面に固定し、
   前記レンズを介して前記携帯端末の前記画面が視認可能なように前記トレーを前記本体に収納する
   ことにより構成されることを特徴とするアタッチメント。
9. １以上の代替映像が記録されている記録手段と、少なくとも前記記録手段に記録されている代替映像を表示する表示手段と、自らの動きを検出する動きセンサとを有する携帯端末と、
   映像視認時においてユーザの眼前に前記表示手段が位置するように前記携帯端末が収容される収容手段を有する頭部近接体とを備え、
   前記表示手段は、前記動きセンサにより検出された動きに応じて前記代替映像の表示を開始し又は停止し、
   前記頭部近接体は、映像視認時において前記ユーザの頭部に近接させる頭部フレームと、互いに前記ユーザの頭部よりも狭い間隔で前記頭部フレームにおける両側から突出された開閉自在の突出片とを有し、
   前記動きセンサは、ユーザによる突出片の開閉動作に応じた動きを検出すること
   を特徴とする頭部近接型映像表示システム。
10. 前記動きセンサは、
    映像視認開始時において前記頭部近接体を頭部の手前まで移動させる動作と、頭部の手前において前記突出片の開閉動作に伴う減速とを検出すること
    を特徴とする請求項9記載の頭部近接型映像表示システム。
11. １以上の代替映像が記録されている記録手段と、少なくとも前記記録手段に記録されている代替映像を表示する表示手段と、自らの動きを検出する動きセンサとを有する携帯端末と、
    映像視認時においてユーザの眼前に前記表示手段が位置するように前記携帯端末が収容される収容手段を有する頭部近接体とを備え、
    前記表示手段は、前記動きセンサにより検出された動きに応じて前記代替映像の表示を開始し又は停止する
    頭部近接型映像表示システムにおける頭部近接体であって、
    映像視認時において前記ユーザの頭部に近接させる頭部フレームと、互いに前記ユーザの頭部よりも狭い間隔で前記頭部フレームにおける両側から突出された開閉自在の突出片を有すること
    を特徴とする頭部近接体。

Images