JP6487589B1 - 筒状映像処理装置、筒状映像処理システム及び筒状映像処理方法 - Google Patents

筒状映像処理装置、筒状映像処理システム及び筒状映像処理方法 Download PDF

Info

Publication number
JP6487589B1
JP6487589B1 JP2018105656A JP2018105656A JP6487589B1 JP 6487589 B1 JP6487589 B1 JP 6487589B1 JP 2018105656 A JP2018105656 A JP 2018105656A JP 2018105656 A JP2018105656 A JP 2018105656A JP 6487589 B1 JP6487589 B1 JP 6487589B1
Authority
JP
Japan
Prior art keywords
video
wearer
information
head
cylindrical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018105656A
Other languages
English (en)
Other versions
JP2019211877A (ja
Inventor
竜二 川瀬
竜二 川瀬
泰士 西田
泰士 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Mode Co Ltd
Original Assignee
Japan Mode Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Mode Co Ltd filed Critical Japan Mode Co Ltd
Priority to JP2018105656A priority Critical patent/JP6487589B1/ja
Application granted granted Critical
Publication of JP6487589B1 publication Critical patent/JP6487589B1/ja
Publication of JP2019211877A publication Critical patent/JP2019211877A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】頭部装着型映像表示装置を装着した場合でも、手足を自由に動かすことができ、映像とリアリティを体験することができ、周囲に安全な映像の制御を行う筒状映像処理装置を提供する。
【解決手段】頭部装着型映像表示装置7に表示する映像の取得と出力を制御する筒状映像処理装置10であって、頭部装着型映像表示装置の装着者100の身体に関する状態情報を取得し、その取得した状態情報に基づき、頭部装着型映像表示装置の表示部に表示する映像の設定を変更し、変更された設定の映像で頭部装着型映像表示装置に表示することを特徴とする。
【選択図】図1

Description

本発明は、頭部装着型映像表示装置を装着した装着者に表示する映像の制御を行う筒状映像処理装置、及び筒状映像処理方法に関する。
近年、仮想現実(VR:Virtual Reality)や拡張現実(AR:Augmented Reality)、複合現実(MR:Mixed Reality)といった技術向上し、特にVRに関しては、映し出される仮想空間内の映像に「触れる」という印象や体験が得られるようなクオリティやリアリティのある操作や視聴が可能となってきている。
これらの操作や視聴は、利用者の頭部に装着される頭部装着型映像表示装置(HMD:Head Mounted Display)と呼ばれる表示部を頭部に装着し、その表示部を介して観ることできる。HMDには、装着型デバイスとHMDに内蔵されたジャイロセンサーや地磁気センサー(コンパス)、加速度センサーを用いて装着者の頭の動きや視線方向を検出し、それらの装着者からのセンサーの入力に応じて表示内容を変化させながらHMDの表示部に表示される映像の情報処理を行う。
例えば、クオリティは表示される映像の質に関する表現であり、リアリティはHMDの仮想空間を「触れる」という表現になる。リアリティの場合は、VRの可能性を広げたものであり、例えば、サッカー、ボクシング、バスケットボール、野球、陸上競技など、激しいスポーツにおいてもVRでの体感が可能となってきている。これからはより一層、HMDで表示される表示部の表示面積が広く、クオリティ面では、画質の高い解像度と広い視野角の表示部を備えるHMDでの閲覧が可能となる。
一般的に、これら映像のHMDで見る場合は、利用者はHMDを頭部に装着し、椅子に座った状態、あるいは、立っている場合は、ある程度の周囲スペースを確保し、映像を楽しむ。
また最近において、より軽量なメガネ型の拡張現実ウェアラブルコンピュータが出てきており、例えば、装着者が着用するホロレンズ(登録商標)を通じて、装着者に視認される現実空間に様々な情報を埋め込み、ハンズフリーな状態でメガネの先に情報を表示される。表示に対する操作は、コントロ−ラーなどの操作デバイスを持つことなく、装着者自身の発話(自然言語音声コマンド)や視野前方に指先などでジェスチャーすることで、これらジェスチャー行為をメガネに備わるセンサーが判別し、所定のアプリケーションや通常に閲覧などしているインターネットを使用することができるようになっている。
特許文献1には、頭部装着型映像表示装置を頭部に装着させた装着者に対して、2以上の映像を表示し、装着者と略同一の視点で現実空間をライブ映像と重ね合わせて表示することについて開示されている。
しかしながら、このようなメガネ型の表示デバイスでは、アプリケーションやインターネットなどの情報を表示するための表示部の表示領域が狭い。そのため、その表示領域の中に複数の情報目の前の現実場面と重ね合わさり表示するのは、映像自体が仮想現実の世界に没入できるように制作されているため、周囲に危険が迫っていても気付きにくいケースがある。
例えば、事故の一例として、HMDを頭に装着した装着者が、VRの映像サービスを受けている最中に誤って転倒し、手前にあったガラス製のテーブルに激突し、その割れたガラスで傷を負ったケースがある。立ってVRの映像を楽しむ場合は、HMDの表示部に表示される映像が原因で、恐怖を感じるような映像の場合は、無意識にしゃがみこんだり、何かしらの物体とぶつかりそうになるような映像の場合は、急に避けたり、手で払い除けたりする。そのため、HMDの映像を見ている装着者だけでなく、周囲でHMDの装着者を見ているだけの傍観者も危険となることがある。
一方、VRの新しい映像サービスで、仮想空間を「触れる」というリアリティさの表現の演出がある。装着者は、この高いリアリティさにより、映し出される色々なアクションを通じて体を動かすが、前述のように椅子に座っている場合でも、立位で映像を見る場合でも、大きな動きをとる可能性がある。事前に分かっている、説明を受け理解したとしても、VRで表示される映像のリアリティさ、クオリティさにより、装着者自身だけでなく、周囲の傍観者を危険に巻き込んでしまうことがある。
危険への対応や対策を最優先とすることで、HMDに表示される映像を見る際、シートに着座したり、安全バーに捉まって体験することもある。このような場合だと、映像で表示されるコンテンツの種類が、例えば、グランドや大草原を歩く・走る、というようなシーンの場合は、手や足、全身を使ったコンテンツやアクションのような場合、装着者は自分の思いに合った動きが取りづらく、リアリティさに欠けてしまう。そのため、せっかくのリアリティ、クオリティの高いコンテンツが準備されていたとしても、制限されることとなり、HMDで映し出される仮想空間内の映像に「触れる」という表現、印象の体験を受けることができない。
特開2015−4948号公報
そこで、本発明は、前述した問題に鑑みて案出されたものであり、その目的とするところは、頭部装着型映像表示装置を装着した場合でも、手足を自由に動かすことができ、映像とリアリティを体験することができ、周囲に安全な映像の制御を行う筒状映像処理装置を提供することにある。
請求項1記載の発明は、頭部装着型映像表示装置に表示する映像の取得と出力とを制御する筒状映像処理装置であって、上記頭部装着型映像表示装置を頭部に装着し、仰臥位する装着者を被覆し、前記装着者の状態又は上記取得した映像に連動可能な筒状の被覆部と、上記被覆部の内側に備わり、上記被覆部の内部に仰臥位する上記装着者の身体に関する状態情報として上記装着者と離間して取得する全身の計測情報とともに、上記装着者のバイタル情報及び映像情報を取得する状態取得部と、上記頭部装着型映像表示装置に表示する映像を、上記装着者の全身の計測情報と対応付けて記録する映像記録部と、上記映像記録部に記録される映像の制御を行う映像制御部とを備え、上記映像制御部は、上記状態取得部で取得した仰臥位する上記装着者の身体に関する状態情報に基づき、上記頭部装着型映像表示装置に表示する映像の設定を変更して表示させることを特徴とする。
請求項2記載の発明は、請求項1記載の発明において、状態取得部は、被覆部の内部設定に備わるセンサー、動的測定装置、または撮像部であることを特徴とする。
請求項3記載の発明は、請求項1又は2記載の発明において、身体に関する状態情報は、装着者に関する視線、呼吸、顔の筋肉、頭部、首、手、腕、身体、足、重心、または声の少なくとも何れかに関するデータであることを特徴とする。
請求項4記載の発明は、請求項1〜3記載の何れか1項記載の発明において、バイタル情報は、装着者に関する心拍数、体温、覚醒状態、興奮状態、リラックス状態に関するデータであることを特徴とする。
請求項5記載の発明は、請求項1〜4の何れか1項記載の発明において、装着者に関する顔、表情、全身、着衣、姿勢、またはポーズの少なくとも何れかに関する画像または映像であることを特徴とする。
請求項6記載の発明は、請求項1〜5の何れか1項記載の発明において、状態取得部で取得した状態情報に基づき、頭部装着型映像表示装置に表示する映像のシーン及び登場キャラクターに関するシナリオ、役割、映像及び画像に関する設定を変更し、該変更した設定で映像を表示することを特徴とする。
請求項7記載の発明は、請求項6記載の発明において、映像のシーンは、少なくとも試合観戦、街中、学校、公園、電車内、飲食店を含む日常生活に関する場面であり、役割は、少なくとも舞台主役、ゲーム主役、スポーツ主役、学校主役を含む日常生活に関する主人公の立場であることを特徴とする。
請求項8記載の発明は、請求項7記載の発明において、変更した設定で表示される映像の視聴前、視聴中、視聴後における装着者の身体情報及びバイタル情報を映像記録部に記録し、該記録した履歴データに基づいて、該装着者の視聴前、視聴中、視聴後における乖離率を算出することを特徴とする。
請求項9記載の発明は、請求項8記載の発明において、算出された乖離率に基づいて、映像の設定をさらに変更することを特徴とする。
請求項10に記載の発明は、頭部装着型映像表示装置に表示する映像の取得と出力とを制御する筒状映像処理システムであって、頭部装着型映像表示装置を頭部に装着し、仰臥位する装着者を被覆し、装着者の状態又は取得した映像に連動可能な筒状の被覆部と、被覆部の内側に備わり、被覆部の内部に仰臥位する装着者の身体に関する状態情報として、装着者と離間して取得する全身の計測情報とともに、装着者のバイタル情報及び映像情報を取得する状態取得部と、頭部装着型映像表示装置に表示する映像を、仰臥位する装着者の全身の計測情報と対応付けて記録する映像記録部と、映像記録部に記録される映像の制御を行う映像制御部とを備え、映像制御部は、状態取得部で取得した仰臥位する装着者の身体に関する状態情報に基づき、頭部装着型映像表示装置に表示する映像の設定を変更して表示させることを特徴とする。
請求項11記載の発明は、頭部装着型映像表示装置に表示する映像の取得と出力を制御する筒状映像処理方法であって、頭部装着型映像表示装置を頭部に装着し、仰臥位する装着者を被覆し、装着者の状態又は取得した映像に連動可能な筒状の被覆部の内側に備わる状態取得部を介して、被覆部の内部に仰臥位する装着者の身体に関する状態情報として、装着者と離間して取得する全身の計測情報とともに、装着者のバイタル情報及び映像情報を取得する第一工程と、頭部装着型映像表示装置に表示する映像を、仰臥位した装着者の全身の計測情報と対応付けて記録する第二工程と、第二工程により記録される映像の制御を行う第三工程とを備え、仰臥位する装着者の身体に関する状態情報に基づき、頭部装着型映像表示装置に表示する映像の設定を変更して表示させることを特徴とする。
請求項1〜10記載の発明によれば、頭部装着型映像表示装置を頭に装着した装着者を被覆する筒状の被覆部を備え、この中で装着者は仰臥位で映像を表示する。このため装着者は、転んだり、倒れたりということがない。これにより、頭部装着型映像表示装置を装着した場合でも、手足を自由に動かすことができ、映像とリアリティある体験を安全な体勢で体験することが可能となる。
さらに、本筒状映像処理装置に備わる筒状の被覆部は、この筒状の被覆部の内部には装着者の身体に関する状態情報を取得する状態取得部を備える。このため、この状態情報に含まれる身体情報、バイタル情報、または映像情報の少なくとも何れかの情報を取得することができる。これにより、装着者の頭部や目線の動き、または身体の情報に基づき、頭部装着型映像表示装置で表示する映像の動きを装着者の状態情報に応じて制御することができ、よりリアリティある仮想空間の表示が可能となる。
請求項2記載の発明によれば状態取得部は、筒状の被覆部の内部に備わり、装着者の身体に関する状態情報を取得する。このため、被覆部の内部に備わる状態取得部と装着者との距離を一定に保つことができる。これにより、映像とリアリティある体験をすることが可能となる。
さらに、装着者の背景や周囲に余計な物や他の人が映りこむことがない。これにより、装着者の姿勢や動き、表情を検出できる。また、装着者の画像を撮影し、切り出すことができる。このため、映像とリアリティある体験をすることが可能となる。
請求項3記載の発明によれば、身体情報は、装着者に関する視線、呼吸、顔の筋肉、頭部、首、手、腕、身体、足、重心、または声の少なくとも何れかに関するデータである。これにより、装着者の細かい姿勢や動き、顔の表情などの変化を測定することができる。このため、映像とリアリティある体験をすることが可能となる。
請求項4記載の発明によれば、バイタル情報は、装着者に関する心拍数、体温、覚醒状態、興奮状態、リラックス状態の少なくとも何れかに関するデータ含む。これにより、装着者の細かい姿勢や動き、顔の表情などの変化を測定することができる。このため、映像とリアリティある体験をすることが可能となる。
請求項5記載の発明によれば、装着者に関する顔、表情、全身、着衣、姿勢、またはポーズの少なくとも何れかに関する画像または映像を取得する。これにより、装着者の細かい姿勢や動き、顔の表情などの変化を測定することができる。このため、映像とリアリティある体験をすることが可能となる。
請求項6記載の発明によれば、取得した状態情報に基づき、頭部装着型映像表示装置に表示する映像のシーン及び登場キャラクターに関するシナリオ、役割、映像及び画像に関する設定を変更する。これにより、変更した設定で映像を表示することができる。これにより、このため、映像とリアリティある体験をすることが可能となる。
請求項7記載の発明によれば、映像のシーンは、少なくとも試合観戦、街中、学校、公園、電車内、飲食店を含む日常生活に関する場面である。これにより、役割は、少なくとも舞台主役、ゲーム主役、スポーツ主役、学校主役を含む日常生活に関する主人公の立場とすることが可能となる。このため、映像とリアリティある体験をすることが可能となる。
請求項8記載の発明によれば、状態取得部は、変更した設定で表示される映像の視聴前、視聴中、視聴後における装着者の身体情報及びバイタル情報を記録する。このため、記録した履歴データに基づいて、該装着者の視聴前、視聴中、視聴後における乖離率を算出することができる。これにより、映像とリアリティある体験をすることが可能となる。
請求項9記載の発明によれば、映像制御部は、算出された乖離率に基づき、表示する映像の設定をさらに変更する。このため、算出された乖離率の変化の量に応じた映像を取得できる。これにより、映像とリアリティある体験をすることが可能となる。
請求項10記載の発明によれば、頭部装着型映像表示装置を頭に装着した装着者を被覆する筒状の被覆部を備え、この中で装着者は仰臥位で映像を表示する。このため装着者は、転んだり、倒れたりということがない。これにより、頭部装着型映像表示装置を装着した場合でも、手足を自由に動かすことができ、映像とリアリティある体験を安全な体勢で体験することが可能となる。
請求項11記載の発明によれば、頭部装着型映像表示装置を頭に装着した装着者を被覆する筒状の被覆部を備え、この中で装着者は仰臥位で映像を表示する。このため装着者は、転んだり、倒れたりということがない。これにより、頭部装着型映像表示装置を装着した場合でも、手足を自由に動かすことができ、映像とリアリティある体験を安全な体勢で体験することが可能となる。
図1(a)は、本発明を適用した筒状映像処理装置の正面図であり、図1(b)は、本発明を適用した筒状映像処理装置の右側面図であり、図1(c)は、本発明を適用した筒状映像処理装置の上面図である。 図2(a)は、本発明を適用した筒状映像処理装置の正面図であり、図2(b)は、本発明を適用した筒状映像処理装置の右側面図であり、図2(c)は、本発明を適用した筒状映像処理装置の上面図である。 図3(a)は、本発明を適用した筒状映像処理装置の正面図であり、図3(b)は、本発明を適用した筒状映像処理装置の右側面図であり、図3(c)は、本発明を適用した筒状映像処理装置の上面図である。 図4(a)は、本発明を適用した筒状映像処理装置の正面図であり、図4(b)は、本発明を適用した筒状映像処理装置の右側面図であり、図4(c)は、本発明を適用した筒状映像処理装置の上面図である。 図5は、実施形態における全体構成図の一例を示すブロック図である。 図6は、実施形態における参照データテーブル(登録コンテンツ)の一例を示す模式図である。 図7は、実施形態における参照データテーブル(効果情報)の一例を示す模式図である。 図8は、実施形態における参照データテーブルの一例を示す模式図である。 図9は、実施形態における参照データテーブルの一例を示す模式図である。 図10は、実施形態における参照データテーブルの一例を示す模式図である。 図11は、実施形態における筒状映像処理装置の動作の一例を示すフローチャートである。 図12は、実施形態における設定の変更の一例を示す模式図である。 図13は、実施形態における頭部装着型映像表示装置での表示の一例を示す模式図である。 図14は、実施形態における筒状映像処理装置の動作の第2変形例を示すフローチャートである。
以下、本発明の実施形態における筒状映像処理装置の一例について、図面を参照しながら説明する。なお、各図における符号については、同様の構成をもった構造には、特別な事情のない限り、同じ符号を用いるものとする。
(実施形態:筒状映像処理装置10の構成)
図1を参照して、実施形態における筒状映像処理装置10の構成の一例について説明する。図1(a)は、本発明を適用した筒状映像処理装置10の正面図であり、図1(b)は、本発明を適用した筒状映像処理装置10の右側面図であり、図1(c)は、本発明を適用した筒状映像処理装置10の上面図である。
図1(a)〜(c)に示すように、筒状映像処理装置10は、筒状の被覆部1、被覆部1の内側の内壁部2、撮像部3、センサー4、映像制御部5、通信部6を備え、装着者100は頭部装着型映像表示装置7を頭部に装着し、情報通信端末(スマートフォン)13が備わる。被覆部1は、頭部装着型映像表示装置を頭部に装着した装着者を被覆する。被覆部1の内側の内壁部2には、装着者100の身体に関する状態情報として、身体情報、バイタル情報、映像情報を取得する。身体情報およびバイタル情報はセンサー4、映像情報は撮像部3により状態取得部12(図示せず)の状態情報として、装着者100に関する情報として対応付けられる。映像制御部5は、頭部装着型映像表示装置7に表示する映像を記録する。映像制御部5は、頭部装着型映像表示装置7に表示する映像の制御を行う。映像制御部5は、状態取得部12で取得した装着者100の身体に関する状態情報に基づき、映像記録部11から装着者100によって選択された映像の設定を変更し、設定を変更した映像を頭部装着型映像表示装置7に表示させる。
筒状映像処理装置10の入口は、被覆部1の前後の開口部となる。また、被覆部1は、筒状の形状の他に、四角柱などの形状でもよい。さらに、被覆部1は、マット状の平面の形状であり、その端から丸めることで、筒状を形成するようにしてもよい。被覆部1の内部を照らす照明具(例えば、LED照明など)が内壁部2の上面に備わる(図示せず)。
被覆部1の内部の内壁部2は、例えば、スポンジ状やクッションなどの弾力性のある素材で形成されている。これにより、装着者100が被覆部1の内部で手足を動かして内壁にぶつかったとしても、怪我することがない。なお、被覆部1は構造上、弾性ある構造としているが、より空間を広く持たせた複数階層の構造体としてもよい。さらに、被覆部1の外面を硬い素材の構造で覆い、内部は柔らかいソフトな素材としてもよい。被覆部1の左右上下の内壁部2の色は、例えば白系色の他に、グリーン系地またはブルー系地であってもよい。内壁部2の色をグリーン系地またはブルー系地とした場合は、被覆部1の内部をカメラなどの撮像部3で撮影すると、映像制御部5の処理で、仰臥位した状態で撮影された装着者100(対象物)と装着者100の背景(被覆部1の床面部)の画像を判別し、装着者100の画像領域だけを切り出すことができる。これにより、内壁部2の背景色と異なる色の装着者100の身体の部分だけを区別することが可能となり、映像制御部5での処理において、他の画像や映像の一部分、または背景に重ね合わせて表示するよう編集や設定が可能となる。
なお、撮像部3は、被覆部1の内部を動画または静止画で撮影可能である。撮影した動画または静止画は、筒状映像処理装置10の映像記録部11に記録される。また、所定の動画映像などのコンテンツも同様に映像記録部11に記録される。これらの映像は、筒状映像処理システム20(図示せず)の映像記録部28(図示せず)にも記録されており、通信部6の処理により、映像のダウンロード、オンデマンドの視聴が可能となる。
撮像部3は、例えば、カメラ機能付きの情報通信端末(スマートフォン)13などであってもよい。カメラ機能付きの情報通信端末(スマートフォン)13に画像切り分けの機能を有している場合は、前述の背景と装着者100の切り分け処理は、カメラ機能付きの情報通信端末(スマートフォン)13側で行われ、切り出した装着者100の画像だけを被覆部1に送信してもよい。さらに撮像部3は、被覆部1の内壁部2の一部に固定されるが、取り外しが可能なように設置されてもよい。情報通信端末(スマートフォン)13は装着者100が使用している機器であってもよく、その場合、被覆部1、頭部装着型映像表示装置7などとの通信設定、認証などの設定の後に、装着者100の情報通信端末(スマートフォン)13を介した操作や設定、撮像機能の使用、装着者100の情報通信端末(スマートフォン)13の記憶部(メモリー)に記録されている画像などの登録やクラウドに登録してある画像などの呼び出しが可能となる。そしてそれらは、頭部装着型映像表示装置7での表示や頭部装着型映像表示装置7から情報通信端末(スマートフォン)13の操作も可能となる。
センサー4は、装着者100の状態情報に含まれる情報のうち、身体情報とバイタル情報を取得する。センサー4は、身体情報として、装着者100に関する視線、呼吸、顔の筋肉、頭部、首、手、腕、身体、足、重心、または声の少なくとも何れかに関するデータを取得する。また、バイタル情報として、装着者100に関する心拍数、体温、覚醒状態、興奮状態、またはリラックス状態の少なくとも何れかに関するデータを取得する。これら取得した情報は、筒状映像処理装置10の映像記録部11、または筒状映像処理システム20の映像管理サーバ21の管理情報データベース27(図示せず)または映像記録部28に装着者100の情報と対応付けられて記録される。
センサー4は、仰臥位の装着者100の全身が計測できるように、被覆部1の内部の上側に装着される。これにより、装着者100の動きに変化があっても、仰臥位の位置からの距離を一定とすることができ、装着者100の正確な身体や手足などの部位の検知や計測、また、装着者100の全身や頭、手、足などの画像の判別が容易となる。なお、被覆部1は、外観の形状が筒状であるため、内壁部2に備わる照明具(図示せず)により、内部の明るさを均一に照らすことが可能となるので、マーカーセンサーなどをカメラで識別する場合であっても、正確にマーカーの位置を検出することができる。さらに、コンテンツの設定情報(シーン、登場人物、役割、BGMなど)と画像や映像など対応づけて映像記録部11が記録する。
映像制御部5は、CPUと、ROMと、RAMと、記憶部と、I/Fなどを備える。これら各構成は、内部バスにより接続される。CPU(Central Processing Unit)は、筒状映像処理装置10全体を制御する。ROM(Read Only Memory)は、CPUの動作コードを格納する。RAM(Random Access Memory)は、CPUの動作時に使用される作業領域である。記憶部は、各種情報が記憶される。記憶部として、例えばHDD(Hard Disk Drive)の他、SSD(Solid State Drive)や超小型のカード型などのデータ保存装置(開示せず)が用いられる。
さらに、映像制御部5は、状態取得部12で取得した状態情報に基づき、頭部装着型映像表示装置7に表示する映像のシーン及び登場キャラクターに関するシナリオ、役割、映像及び画像に関する設定を変更する。そして変更した設定で、頭部装着型映像表示装置7の表示部に表示する。映像のシーンは、映像記録部11(または映像記録部28)に格納されているコンテンツの内容で分類されており、例えば、少なくとも試合観戦、街中、学校、公園、電車内、飲食店を含む日常生活に関する場面である。また、登場キャラクターの役割は、例えば、少なくとも舞台主役、ゲーム主役、スポーツ主役、学校主役を含む日常生活に関する主人公の立場である。
また、映像制御部5は、状態取得部12によって取得される装着者100の映像の視聴前、視聴中、視聴後における状態情報(身体情報、バイタル情報)を映像記録部11に記録する。映像制御部5は、記録した履歴データに基づいて、装着者100の視聴前、視聴中、視聴後における乖離率を算出する。そして、上記映像制御部は、算出した乖離率に基づいて、映像の各シーンにおける設定をさらに変更する。例えば、視聴前と視聴後の乖離率が高い場合は、映像が合っていないと判断し、次回の視聴では乖離率を低くするような映像を提示する。または、別のシーンや登場キャラクターの設定を行う。
被覆部1は、被覆部1の内部に状態取得部12を備え、状態取得部12は複数の撮像部3、センサー4で構成される他、例えば図3に示す動的測定装置(マット)8を備える。映像制御部5、上位システムである映像管理サーバ21との通信を行う通信部6を備える。他の装置や機器との通信(連携)は、各機器に備わる通信機能を介して設定される。例えば、筒状映像処理装置10の電源を入れ、頭部装着型映像表示装置7との通信接続の設定などにより行われる。通信接続は、例えば、無線LAN(Local Area Network)、Wi-Fi(登録商標)、Bluetooth(登録商標)などであり、この通信機能を備える情報通信端末(スマートフォン)13や他の機器とも同様に設定することができる。センサー4は、装着者100の身体情報、バイタル情報を計測する。センサー4は、身体の動きを感知、計測するセンサーの他に、声を集積する音声センサーであってもよく、また、装着者100が身に付けたり、装着するセンサーであってもよい。
次に、図2を参照して、実施形態における筒状映像処理装置10の構成の一例について説明する。図2(a)は、本発明を適用した筒状映像処理装置の正面図であり、図2(b)は、本発明を適用した筒状映像処理装置の右側面図であり、図2(c)は、本発明を適用した筒状映像処理装置の上面図である。
図1との違いは、図2で示される被覆部1の内部に装着されるライン状のセンサー4は、被覆部1の中に仰臥位する装着者100の身体情報をより正確に計測できるように内壁部2の面に沿って装着される。これにより、装着者100の上半身、下半身などと分けて状態情報の取得が可能となる。
次に、図3を参照して、実施形態における筒状映像処理装置10の構成の一例について説明する。図3(a)は、本発明を適用した筒状映像処理装置の正面図であり、図3(b)は、本発明を適用した筒状映像処理装置の右側面図であり、図3(c)は、本発明を適用した筒状映像処理装置の上面図である。
図1〜2との違いは、図3で示される被覆部1の内部の底面に動的測定装置(マット)8を備える。このマットは、例えば低反発の素材で形成されるマットであってもよい。これにより装着者100は、身体が包まれ、無重力状態にいるような感覚で、手足を自由に動かすことが可能となる。色は、装着者100の動きを映像から判別する場合は、例えば、グリーン系地またはブルー系地となるが、映像以外のセンサーで装着者100の動きを検知、計測する場合は、他の色であってもよい。
さらに、マットは仰臥位する装着者100の体重や体温を検知するセンサー、またはマイクを備えていてもよい。これにより、装着者100の体温や体重移動のデータ、または装着者100の声を計測でき、その計測されたデータや蓄積されたデータ量の推移、装着者100の映像の視聴前後の気持ち(バイタル情報)の差分を示す乖離の度合いに応じた映像の制御を行う。
次に、図4を参照して、実施形態における筒状映像処理装置10の構成の一例について説明する。図4(a)は、本発明を適用した筒状映像処理装置の正面図であり、図4(b)は、本発明を適用した筒状映像処理装置の右側面図であり、図4(c)は、本発明を適用した筒状映像処理装置の上面図である。
図1〜3との違いは、図4で示される被覆部1の下位に収納部9及びローラーを備える。収納部9は、収納部9の内部に空間があり、収納部9の上面が開口することで、被覆部1を収納部9の内部に収納することができる。被覆部1は、例えば、収納部9が開口されると、収納部9から自然と広がるような形状や構成、材質であってもよい。
ローラーは、被覆部1の下位に備わる。可動は、センサー4によって取得された状態情報に基づき装着者100の動きに応じて可動する。または、映像制御部5によって装着者100が装着する頭部装着型映像表示装置7で表示される映像の設定内容に合わせ可動する。可動は、筒状の被覆部1の下位の弧形状に合わせ左右に可動する。ローラーの可動は、例えば、小型のモーター機構により可動するようにしてもよい。
図5を参照して、実施形態における全体構成の一例について説明する。筒状映像処理装置10は、例えば公衆通信網30(ネットワーク)、Wi-Fi、Bluetoothなどを介して、筒状映像処理装置10の筒状映像処理システム20と接続されるほか、例えばコンテンツプロバイダー40などと接続されてもよい。
筒状映像処理装置10は、前述の被覆部1、映像制御部5、通信部6、映像記録部11、状態取得部12により構成される。被覆部1は装着者100を被覆する筒状の形状を有しており、その内部に内壁部2をさらに備え、内壁部2には装着者100の状態情報を取得する。状態取得部12は、さらに撮像部3(カメラ)、センサー4、装着者100が装着する頭部装着型映像表示装置7、動的測定装置8(マット)と接続される。
撮像部3は、被覆部1の内部に備わるが、例えば、モニターカメラや装着者100が保有するカメラ機能付きの情報通信端末(スマートフォン)13であってもよい。撮像部3は、装着者100の姿勢や表情、動きを撮影するカメラを制御するカメラ制御部、撮影した画像または映像を映像制御部5に送信する映像送受信部、撮影した画像または映像を撮影時の設定と対応付けて記憶する映像記憶部などにより構成される。
センサー4は、例えば、装着者100の身体の動きや状態などを計測する各種センサーの対象計測部、計測状態を判定する状態判定部、音声などを集音するマイクにより構成される。例えば、センサー4で取得した各情報の値に不具合がある場合は、情報判定部の判定の結果に応じて、取得する設定値が変更される。
頭部装着型映像表示装置7は、装着者100の頭部に装着され、頭部装着型映像表示装置7の表示部(図示せず)に映像が表示される。さらに頭部装着型映像表示装置7に備わるスピーカ(イヤホン)により音声が出力され、筒状映像処理装置10の映像制御部5と連動した処理が行われる。
さらに、頭部装着型映像表示装置7は、頭部装着型映像表示装置7で映像の表示や効果の程度を制御する映像制御部、音声の大小や効果音などを制御する音声制御部、それらの表示の状態または装着者100の頭部の位置や傾きを判定する状態判定部を備える。
筒状映像処理システム20、例えば、映像管理サーバ21などで電子機器が用いられる。映像管理サーバ21は、管理部22内にCPUと、ROMと、RAMと、記憶部と、I/Fとを備える。これら各構成は、内部バスにより接続される。
CPU(Central Processing Unit)は、映像管理サーバ21全体を制御する。ROM(Read Only Memory)は、CPUの動作コードを格納する。RAM(Random Access Memory)は、CPUの動作時に使用される作業領域である。記憶部は、各種情報が記憶される。記憶部として、例えばHDD(Hard Disk Drive)の他、SSD(Solid State Drive)やフロッピーディスクなどのデータ保存装置(開示せず)が用いられる。
なお、例えば映像管理サーバ21は、図示しないGPU(Graphics Processing Unit)を有してもよい。GPUを有することで、通常よりも高速演算処理が可能となる。筒状映像処理装置10についても、同様の構成を有する。
さらに、映像制御部5、コンテンツ登録部25、状態判定部26を備える。映像制御部5は、筒状映像処理装置10に送信する映像の制御を行う。例えば、複数の筒状映像処理装置10が接続されるような場合、統合的な映像制御を行う。
ここで、図6を参照して、実施形態における登録コンテンツのコンテンツ登録テーブル200の一例について説明する。コンテンツ登録部25は、例えば、コンテンツ登録テーブル200に示すような新規コンテンツの登録を行う。新規コンテンツには、設定情報として、例えば、コンテンツタイトル、カテゴリ、映像時間、シーン、登場キャラクター、課金などの情報が付されている。
頭部装着型映像表示装置7における通常表示は、コンテンツ登録テーブル200に設定されている初期情報に基づき映像が表示されるが、例えば、状態取得部12による装着者100の状態または装着者100の設定指示に基づき、映像のシーン、登場キャラクターが変更され、変更されたシーンなどの設定で映像が表示される。各設定は、接続される頭部装着型映像表示装置7または情報通信端末(スマートフォン)13の操作で行われる。
なお、各コンテンツの映像のシーンは、各コンテンツ、カテゴリに応じて、複数設定され、例えば、コンテンツタイトルが『ハイスクールメモリーズ(文化祭編)』、コンテンツのカテゴリは『学園ロマンス』、映像の時間は『hh:mm:dd』、このコンテンツのシーンは『1(学校)、2(街中)、3(公園)、・・・』と複数あり、登場キャラクターは『本人(装着者100)、主役、主役の彼女、主役の友人、・・・』、そのコンテンツの閲覧する課金として『¥300』が設定される。
なお、シーンは、カテゴリの『学園ロマンス』の設定として、例えば、試合観戦、街中、学校、公園、電車内、飲食店を含む日常生活などに関する場面がある。また、登場キャラクターの役割は、例えば、舞台主役、ゲーム主役、スポーツ主役、学校主役を含む日常生活に関する主人公の立場がある。これらは、各コンテンツのカテゴリによって設定されており、その他のコンテンツ、カテゴリでは、別の設定がなされる。
次に、図7を参照して、実施形態における効果情報の効果情報テーブル300の一例について説明する。コンテンツ登録部25は、筒状映像処理装置10に備わる各装置の効果として、例えば、コンテンツタイトル、映像の効果、音響の効果、振動などのバイブレーションの効果、背景画像との重ね合わせ効果などが合わせて登録を行う。
これらの制御は映像制御部5によって制御され、頭部装着型映像表示装置7での表示の他に、マット、ローラーが筒状映像処理装置10に備わる場合は、それらの効果の制御を行う。初期状態では、効果情報テーブルに設定の各情報に基づいて映像表示と合わせた効果が行われるが、例えば、状態取得部12による装着者100の状態または装着者100の設定指示に基づき、映像の効果(映像)、効果(音響)、効果(バイブ)が変更され、変更された効果の設定で映像が表示される。
例えば、コンテンツタイトルが『ハイスクールメモリーズ(文化祭編)』、効果(映像)〜効果(バイブ)は『モード(文化祭)』が設定される。映像制御部5は、頭部装着型映像表示装置7での表示、筒状映像処理装置10に備わる傾きや振動などの効果と映像の各シーンに合わせ行う。これにより、文化祭の雰囲気にあった効果を映像制御部5で制御され、映像に合った表示や音声、傾きなどを体験できる。
なお、効果(背景映像)は、装着者100の状態情報に基づいて、背景映像への合成の有無を設定する。例えば、この効果設定が『合成オン』の場合は、シーン、登場キャラクターでの合成が可能となり、重ね合わされた映像で表示される。各状態情報に基づき変更され、変更された映像が頭部装着型映像表示装置7に表示される。
管理情報データベース27は、例えば、筒状映像処理システム20で管理するそれぞれの装着者100に関する氏名、年齢、性別、趣向などの利用者情報、表示したコンテンツに関する情報、各々対応付けて登録する。
映像記録部28は、例えば、コンテンツ登録テーブル200に示すような頭部装着型映像表示装置7で表示する映像などのコンテンツに関する情報を記録する。I/Fは、通信部6として、公衆通信網30(ネットワーク)を介して各種映像の提供サービスを行うコンテンツプロバイダー40などとの各種情報および新作コンテンツなどの送受信を行うためのインターフェースである。I/Fは、入力部分との情報の送受信を行うためのインターフェースである。
各入力部分として、頭部装着型映像表示装置7のインターフェースの他に、例えば音声入力または外部情報端末などが用いられる。頭部装着型映像表示装置7は、図示しない表示部に表示される入力部分をジェスチャーなどの入力指示を介して、各種情報または映像制御部5、外部接続機器からの制御コマンドなどが実行される。I/Fは、出力部分との各種情報の送受信を行うためのインターフェースである。出力部分は、映像制御部5により映像記録部11に保存された各種情報に基づき変更された映像または画像を表示する。出力部分として、頭部装着型映像表示装置7のディスプレイが用いられる。
次に、図8を参照して、実施形態における身体情報の身体情報テーブル400の一例について説明する。筒状映像処理装置10の状態取得部12は、映像を視聴する前、視聴中、視聴後の頭部装着型映像表示装置7を装着する装着者100の身体情報を取得する。その取得した身体情報と比較されるためのパターンデータである。身体情報テーブル400に設定される身体情報の乖離パターンとして、例えば、身体情報(視線、呼吸、顔の筋肉、頭・首、手・腕、身体、足、重心、声、など)で各々設定される。
次に、図9を参照して、実施形態におけるバイタルデータのバイタル情報テーブル500の一例について説明する。筒状映像処理装置10の状態取得部12は、映像を視聴する前、視聴中、視聴後の頭部装着型映像表示装置7を装着する装着者100のバイタル情報を取得する。その取得したバイタル情報と乖離率のパターンデータとを比較する。バイタル情報テーブル500に設定されるバイタル情報の乖離パターンとしては、例えば、バイタル情報(心拍数、体温、睡眠状態など)で各々設定される所定の数値範囲と比較され、その差分値などから乖離パターンが決定される。
次に、図10を参照して、実施形態における乖離判定の乖離判定テーブル600の一例について説明する。筒状映像処理装置10の状態取得部12は、映像を視聴する前、視聴中、視聴後の頭部装着型映像表示装置7を装着する装着者100の身体情報およびバイタル情報を各々取得し、取得した身体情報およびバイタル情報に基づいて、映像の視聴前、視聴中の各シーン、視聴後の乖離率を各コンテンツで判定する。
状態取得部12は、この判定された乖離率に基づいて、例えば、表示する映像の設定を変更する。例えば、判定した乖離率が小さければ、選択した映像の種類や各設定が合っていると判断し、一方、乖離率が大きければ、選択した映像の種類や各設定に相違があると判断し、相違に応じた処理を行う。例えば、変更の幅を少なくする、あるいは、効果を控えめとするような設定を行い、その変更設定でそれ以降のシーン映像の表示を行う。
(実施形態:筒状映像処理装置10の動作)
次に、本実施形態における筒状映像処理装置10の動作の一例について説明する。図11は、本実施形態における筒状映像処理装置10の動作の一例を示すフローチャートである。
<接続準備手段S100〜接続確認手段S101>
先ず、筒状映像処理装置10は、頭部装着型映像表示装置7を頭部に装着した装着者100の、頭部装着型映像表示装置7の表示部を介して各機器の接続状態を確認する。この準備は、装着者100が保有する情報通信端末(スマートフォン)13から行ってもよく、各機器が備える共通の通信方法を介して、被覆部1の内部の機器と確認がされ、その確認結果は、頭部装着型映像表示装置7の表示部または装着者100が保有する情報通信端末(スマートフォン)13の表示部に表示される。
<状態情報取得手段S102〜状態登録手段S105>
次に、状態取得部12は、内壁部2に備わる撮像部3およびセンサー4、装着者100の頭部に装着される頭部装着型映像表示装置7から装着者100の身体情報、バイタル情報、映像情報を各々取得する。ここで、状態情報(身体情報、バイタル情報および映像情報)を取得できない状態の装置があれば、装着者100の表示部にアラートを出して、各情報の取得を繰り返す。取得した各情報は、筒状映像処理装置10の記録部に記録してもよい。
例えば、装着者100に身体の位置や部位を識別するマーカーが備わる場合は、その身体情報と対応付け、撮像部3で取得した映像情報が対応付けて各センサー、撮像部で取得した画像を記録する。その記録された各々の情報(身体情報、バイタル情報、映像情報)に基づいて、装着者100の状態のみを判別するようにしてもよい。
判別は、状態取得部12によって取得した各情報に基づいて、例えば、装着者100の身体に関する体型(身長、体型、厚みなど)や各部位の時間後との変化量から動きを判別する。その判別の結果から、その装着者100を『細身:長身:俊敏』、または『中肉:小柄:ゆっくり』などとし、選択した映像のシーンやキャラクターのスタイルや動きに関する設定の変更の候補として表示される。
なお、映像情報は、撮像部3で撮影されるリアルタイムでの装着者100の撮影でなくてもよく、撮像部3の映像記録部11、または映像管理サーバ21側の映像記録部28、あるいは情報通信端末(スマートフォン)13の記憶部(図示せず)に保存されている画像でもよい。この場合、状態取得部12の映像情報の確認の処理で、装着者100によって(映像管理サーバ21側の映像記録部28)に記録されている映像が選択され、選択された映像を装着者100の映像としてもよい。この場合、例えば顔の映像は映像記録部11(映像管理サーバ21側の映像記録部28)に記録されている画像とし、装着者100の動きをセンサー4で取得した身体情報としてもよい。
<映像確認手段S106〜変更設定登録手段S109>
次に、映像記録部11(映像記録部28)で選択された頭部装着型映像表示装置7に表示する映像の確認を行う。表示する映像は、例えば、コンテンツ登録テーブル200に示すような形式で映像の各コンテンツが登録されており、一覧表示が可能である。一覧表示された結果、自分が入りこみたいコンテンツの映像を選択し、表示の順番や登場キャラクターの設定を確認する。なお、コンテンツ一本の選択も可能だが、例えば、自分が主役となりたいコンテンツや、記憶に残っているシーンなどを選択することも可能である。この場合、そのシーンだけ映像に入り込こむことが可能で、表示される。
さらに、複数の異なるコンテンツの映像を選択することもでき、ある同一主役で異なる映像の表示を楽しむことも可能である。この場合、コンテンツ映像のタイトルと所望のシーンを複数選択し、複数選択したコンテンツのタイトル、シーンなどの表示全体の設定を確認の後、登録を行う。登録された設定で各コンテンツ、各シーンなどが登録される。
<詳細設定登録手段S110〜詳細設定解除手段S113>
次に、登場キャラクター、振る舞いなどに関する設定を行う。変更設定登録手段S109において、コンテンツ、シーンの設定がされているので、これら設定されたコンテンツ、シーンを繋ぎ合わせ、その繋ぎ合わせたシーンでのシナリオ、登場キャラクター、役割を設定する。登場キャラクターは、例えば、本人(装着者100)の設定であってもいいし、そのコンテンツのキャラクターの映像は元のコンテンツの設定であってもよく、動きだけを被覆部1の内部の自分の動きと連動させてもよい。
このような設定とすることで、理想のシーンやキャラクターの表示で、状態取得された被覆部1の内部の自分の動きでキャラクターの動きで表示することが可能となる。撮像された自分の映像と置き換えて表示する場合は、内壁部2がグリーン地、またはブルー地の被覆部1が望ましい。このような内壁部2であれば、撮像部3で撮影した装着者100の映像から、背景映像と装着者100の画像の領域を判別し、装着者100だけを切り出すことができる。そして、グリーン地またはブルー地の背景だった部分に、他のコンテンツの映像や画像を重ね合わせる処理を映像制御部5にて行い、頭部装着型映像表示装置7の表示部に表示する。
ここで、図12および図13を参照して、実施形態における筒状映像処理装置10における映像の重ね合わせ表示の一例について説明する。図12は実施形態における設定の変更の一例を示す模式図である。図12(a)は、本発明を適用した筒状映像処理装置の上面図であり、状態取得部12により装着者100の状態情報に含まれる身体情報、バイタル情報および映像情報が取得される。これらの画像は、すでに装着者100によって表示したい映像が選択され(例:バスケットボール)、そのシーンおよび登場キャラクターが設定されていることとする。
図12(b)〜(c)は、コンテンツの登場キャラクターとして設定されているキャラクターの一例で、例えば、(b)が『ボールマン』、(c)が『ロボット』、(d)が『バスケットボール選手』と設定されているものとする。装着者100は、キャラクターの動きだけを用意されている登場キャラクターで楽しみたいときは、自分の画像の映像の登録の設定は行わずに、映像記録部11に登録済みのキャラクターを選択し、設定した後、映像や効果を楽しむ。
例えば、(d)を選択した場合は、選択した映像で、バスケットボール選手になりきった動き、またはバスケットボール選手の目線での動きの映像として表示される。例えば、この時のバスケットボール選手の映像は、動きの他に取得された状態情報に含まれるバイタル情報に応じて変更することが可能である。変更すると、バスケットボール選手の動きが変化する。例えば、取得したバイタルデータの心拍数が高ければ、高い数値のパターンが決定される、この心拍数におうじてバスケットボール選手の動きが変化するよう構成してもよい。
図13は、実施形態における頭部装着型映像表示装置での表示の一例を示す模式図である。例えば、映像のタイトルを『バスケットボール試合観戦』、シーンを『ダンクシュート』、キャラクターを『主将』などとして設定した場合、指定した条件(シーン、キャラクター、役割など)で選択したシーン、キャラクターで映像を楽しむことができる。これにより、普段の自分の生活や環境では体験することのできない激しい動きやプレイを、頭部装着型映像表示装置7の映像や筒状映像処理装置10に備わる効果を通して体験することができる。装着者100は、激しく動いたとしても、被覆部1で全身を覆われており、仰臥位した状態で視聴するので倒れたり、転んだりすることがない。
装着者100の動きは、内壁部2に備わる状態取得部12の各センサーにより、装着者100の動きを計測し、その計測した動きを頭部装着型映像表示装置7の映像で表示できる。被覆部1の内壁部2に備わるセンサー4は、他の形状として、例えば装着者100が着込むようなセンサー(識別マーカーなど)などがプリント、または装着された着衣であってもよい。この場合、装着者100の着衣のセンサーの位置を状態取得部12の撮像部3で取得し、その認識されたセンサー(識別マーカーなど)の位置および距離や方向に応じて、選択されているシーンやキャラクターから、各シーンやキャラクターの詳細な設定が決定され、本人の体型通りのキャラクター体型が設定され、本人の動きに応じた映像で頭部装着型映像表示装置7の表示部に表示される。
例えば、本人ではない別のキャラクター(例えば、動物や乗り物など)としてもよく、その場合、本人が痩せている場合は、別のキャラクターは痩せた動物、または細い乗り物が表示され、ゲームなどのキャラクターでも同様の設定で、状態取得部12によって取得された各情報に基づき、元のキャラクター設定を変更でき、変更された各設定でゲームを開始するようにしてもよい。
ことが可能となる。
また、例えば、映像を『宇宙の映像』と設定した場合、状態取得部12に備わる撮像部3で撮影された装着者100(本人)の動きで、宇宙遊泳の疑似体験を楽しむことが可能となる。装着者100の動きは、内壁部2の複数のセンサーによって計測され、その計測結果に応じて、映像と重ね合わせ、頭部装着型映像表示装置7の表示部に表示することが可能となる。これにより、装着者100は、被覆部1の中でマットの上で手足を自由に動かすことができる。
さらに、表示される映像とローラー部の可動と連動し、頭部装着型映像表示装置7の表示部で表示される映像によりリアリティを体験することができる。
<実施形態における筒状映像処理装置の動作の第2変形例>
次に、図14を参照して、本実施形態における筒状映像処理装置10の動作の第2変形例について説明する。上述した第1実施例の動作と、第2変形例の動作との違いは、装着者100が視聴する映像の視聴前、視聴中、視聴後で、身体情報、バイタル情報を取得し、取得した各情報から乖離パターンを算出し、その算出の結果に応じて、映像の設定を変更し、変更した設定で映像を表示することにある。
<状態取得手段S200〜視聴前モード制御手段S206>
まず、筒状映像処理装置10に備わる状態取得部12により、装着者100の映像を視聴する前の身体情報およびバイタル情報の各情報の取得を行う。取得した視聴前の装着者100の身体情報およびバイタル情報から視聴前の乖離パターンを求める。同様の乖離率の算出を、映像の各シーンの視聴中に行い(視聴中の身体・バイタルチェック手段S207〜判定手段S212)と、そして、同様に視聴後の乖離率を算出も行い(市中後の乖離率算出手段)、視聴前は視聴前の乖離率に応じて、視聴中は視聴中の各シーンで算出し、視聴後は視聴中との乖離率を算出する。
ここで算出された各乖離率に応じて、その前後の数値から、表示する映像の設定を変更する。例えば、判定した乖離率が小さければ、選択した映像の種類や各設定が合っていると判断し、一方、乖離率が大きければ、選択した映像の種類や各設定に相違があると判断し、相違に応じた処理を行う。例えば、変更の幅を少なくする、あるいは、効果を控えめとするような設定を行い、その変更設定でそれ以降のシーン映像の表示を行う。
これにより、乖離率の割合により、各シーン、登場キャラクターなどの設定や変更を細かく確認できので、手足を自由に動かせる、映像とリアリティをより楽しめる設定に変更できる。
さらに、本実施形態では、1台の筒状映像処理装置10の例について説明したが、複数の筒状映像処理装置10が相互に複数が接続された形態であってもよい。この場合、それぞれの筒状映像処理装置10が互いの通信部6を介して接続し合い、例えば、同じコンテンツの映像を表示し、それぞれ好きなキャラクターとして登場するようにしてもよい。
さらに、筒状映像処理システム20として統合的に複数の筒状映像処理装置10を管理してもよい。この場合、筒状映像処理システム20に接続される複数の筒状映像処理装置10の接続は、管理部22によって確認され、それらの履歴は管理情報データベース27に記録される。これにより、複数の利用者の身体に関する状態情報および映像の視聴履歴を保存でき、映像制御部5は、参加者ごとの状態情報の演算値などを用いることで、ゲームの場合の対戦や協力などを実行できる。
本発明の実施形態を説明したが、各実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均などの範囲に含まれる。
1:被覆部
10:筒状映像処理装置
11:映像記録部
12:状態取得部
13:情報通信端末(スマートフォン)
2:内壁部
20:筒状映像処理システム
21:映像管理サーバ
22:管理部
25:コンテンツ登録部
26:状態判定部
27:管理情報データベース
28:映像記録部
3:撮像部
30:公衆通信網
4:センサー
40:コンテンツプロバイダー
5:映像制御部
6:通信部
7:頭部装着型映像表示装置
8:動的測定装置
9:収納部
100:装着者
200:コンテンツ登録テーブル
300:効果情報テーブル
400:身体情報テーブル
500:バイタル情報テーブル
600:乖離判定テーブル
S100:接続準備手段
S101:接続確認手段
S102:状態情報取得手段
S105:状態登録手段
S106:映像確認手段
S109:変更設定登録手段
S110:詳細設定登録手段
S113:詳細設定解除手段
S200:状態取得手段
S206:視聴前モード制御手段
S207:バイタルチェック手段
S212:判定手段

Claims (11)

  1. 頭部装着型映像表示装置に表示する映像の取得と出力とを制御する筒状映像処理装置であって、
    上記頭部装着型映像表示装置を頭部に装着し、仰臥位する装着者を被覆し、前記装着者の状態又は上記取得した映像に連動可能な筒状の被覆部と、
    上記被覆部の内側に備わり、上記被覆部の内部に仰臥位する上記装着者の身体に関する状態情報として上記装着者と離間して取得する全身の計測情報とともに、上記装着者のバイタル情報及び映像情報を取得する状態取得部と、
    上記頭部装着型映像表示装置に表示する映像を、上記装着者の全身の計測情報と対応付けて記録する映像記録部と、
    上記映像記録部に記録される映像の制御を行う映像制御部と
    を備え、
    上記映像制御部は、上記状態取得部で取得した仰臥位する上記装着者の身体に関する状態情報に基づき、上記頭部装着型映像表示装置に表示する映像の設定を変更して表示させること
    を特徴とする筒状映像処理装置。
  2. 上記状態取得部は、上記被覆部の内部に備わるセンサー、動的測定装置、または撮像部であること
    を特徴とする請求項1記載の筒状映像処理装置。
  3. 上記身体に関する状態情報は、上記装着者に関する視線、呼吸、顔の筋肉、頭部、首、手、腕、身体、足、重心、または声の少なくとも何れかに関するデータであること
    を特徴とする請求項1又は2記載の筒状映像処理装置。
  4. 上記バイタル情報は、上記装着者に関する心拍数、体温、覚醒状態、興奮状態、リラックス状態の少なくとも何れかに関するデータであること
    を特徴とする請求項1〜3の何れか1項記載の筒状映像処理装置。
  5. 上記映像情報は、上記装着者に関する顔、表情、全身、着衣、姿勢、またはポーズの少なくとも何れかに関する画像または映像であること
    を特徴とする請求項1〜4の何れか1項記載の筒状映像処理装置。
  6. 上記映像制御部は、上記状態取得部で取得した状態情報に基づき、上記頭部装着型映像表示装置に表示する映像のシーン及び登場キャラクターに関するシナリオ、役割、映像及び画像に関する設定を変更し、該変更した設定で上記映像を表示すること
    を特徴とする請求項1〜5の何れか1項記載の筒状映像処理装置。
  7. 上記映像のシーンは、少なくとも試合観戦、街中、学校、公園、電車内、飲食店を含む日常生活に関する場面であり、上記役割は、少なくとも舞台主役、ゲーム主役、スポーツ主役、学校主役を含む日常生活に関する主人公の立場であること
    を特徴とする請求項6記載の筒状映像処理装置。
  8. 上記状態取得部は、上記変更した設定で表示される映像の視聴前、視聴中、視聴後における上記装着者の身体情報及びバイタル情報を上記映像記録部に記録し、該記録した履歴データに基づいて、該装着者の視聴前、視聴中、視聴後における乖離率を算出すること
    を特徴とする請求項7記載の筒状映像処理装置。
  9. 上記映像制御部は、上記算出された乖離率に基づいて、上記映像の設定をさらに変更すること
    を特徴とする請求項8記載の筒状映像処理装置。
  10. 頭部装着型映像表示装置に表示する映像の取得と出力とを制御する筒状映像処理システムであって、
    上記頭部装着型映像表示装置を頭部に装着し、仰臥位する装着者を被覆し、前記装着者の状態又は上記取得した映像に連動可能な筒状の被覆部と、
    上記被覆部の内側に備わり、上記被覆部の内部に仰臥位する上記装着者の身体に関する状態情報として上記装着者と離間して取得する全身の計測情報とともに、上記装着者のバイタル情報及び映像情報を取得する状態取得部と、
    上記頭部装着型映像表示装置に表示する映像を、上記仰臥位する装着者の全身の計測情報と対応付けて記録する映像記録部と、
    上記映像記録部に記録される映像の制御を行う映像制御部と
    を備え、
    上記映像制御部は、上記状態取得部で取得した仰臥位する上記装着者の身体に関する状態情報に基づき、上記頭部装着型映像表示装置に表示する映像の設定を変更して表示させること
    を特徴とする筒状映像処理システム。
  11. 頭部装着型映像表示装置に表示する映像の取得と出力を制御する筒状映像処理方法であって、
    上記頭部装着型映像表示装置を頭部に装着し、仰臥位する装着者を被覆し、上記装着者の状態又は上記取得した映像に連動可能な筒状の被覆部の内側に備わる状態取得部を介して、上記被覆部の内部に仰臥位する上記装着者の身体に関する状態情報として上記装着者と離間して取得する全身の計測情報とともに、上記装着者のバイタル情報及び映像情報を取得する第一工程と、
    上記頭部装着型映像表示装置に表示する映像を、上記仰臥位した装着者の全身の計測情報と対応付けて記録する第二工程と、
    上記第二工程により記録される映像の制御を行う第三工程と
    を備え、
    仰臥位する上記装着者の上記身体に関する状態情報に基づき、上記頭部装着型映像表示装置に表示する映像の設定を変更して表示させること
    を特徴とする筒状映像処理方法。
JP2018105656A 2018-05-31 2018-05-31 筒状映像処理装置、筒状映像処理システム及び筒状映像処理方法 Expired - Fee Related JP6487589B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018105656A JP6487589B1 (ja) 2018-05-31 2018-05-31 筒状映像処理装置、筒状映像処理システム及び筒状映像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018105656A JP6487589B1 (ja) 2018-05-31 2018-05-31 筒状映像処理装置、筒状映像処理システム及び筒状映像処理方法

Publications (2)

Publication Number Publication Date
JP6487589B1 true JP6487589B1 (ja) 2019-03-20
JP2019211877A JP2019211877A (ja) 2019-12-12

Family

ID=65802265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018105656A Expired - Fee Related JP6487589B1 (ja) 2018-05-31 2018-05-31 筒状映像処理装置、筒状映像処理システム及び筒状映像処理方法

Country Status (1)

Country Link
JP (1) JP6487589B1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152997A (ja) * 1998-11-21 2000-06-06 Kikuchiseisakusho Co Ltd 酸素吸入安息装置
JP2000348198A (ja) * 1999-06-03 2000-12-15 Mitsubishi Electric Corp 表示制御装置
JP2002262258A (ja) * 2001-03-05 2002-09-13 Sharp Corp コンテンツ配信システムおよびそれに用いるサーバーおよびそれに用いるクライアント端末およびコンテンツ配信方法およびその方法をコンピュータに実行させるためのプログラムを記録した記録媒体
JP2002344904A (ja) * 2001-02-06 2002-11-29 Sony Corp コンテンツ再生装置、コンテンツ受信装置、コンテンツ呈示制御方法、コンテンツ評価収集解析方法、コンテンツ評価収集解析装置、コンテンツ評価集計管理方法およびコンテンツ評価集計管理装置
JP2007324829A (ja) * 2006-05-31 2007-12-13 Toshiba Corp 振動体感再生装置及び振動体感再生方法
JP2009260824A (ja) * 2008-04-18 2009-11-05 Toshiba Corp 映像音声出力装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152997A (ja) * 1998-11-21 2000-06-06 Kikuchiseisakusho Co Ltd 酸素吸入安息装置
JP2000348198A (ja) * 1999-06-03 2000-12-15 Mitsubishi Electric Corp 表示制御装置
JP2002344904A (ja) * 2001-02-06 2002-11-29 Sony Corp コンテンツ再生装置、コンテンツ受信装置、コンテンツ呈示制御方法、コンテンツ評価収集解析方法、コンテンツ評価収集解析装置、コンテンツ評価集計管理方法およびコンテンツ評価集計管理装置
JP2002262258A (ja) * 2001-03-05 2002-09-13 Sharp Corp コンテンツ配信システムおよびそれに用いるサーバーおよびそれに用いるクライアント端末およびコンテンツ配信方法およびその方法をコンピュータに実行させるためのプログラムを記録した記録媒体
JP2007324829A (ja) * 2006-05-31 2007-12-13 Toshiba Corp 振動体感再生装置及び振動体感再生方法
JP2009260824A (ja) * 2008-04-18 2009-11-05 Toshiba Corp 映像音声出力装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
「カプセルホテルの1ユニットを個人でも購入で・・・」, JPN6018035227, 2 March 2005 (2005-03-02) *
「ライフスタイル 快適度はビジネスホテル級! 「進化型カプセルホテル」6選(GETNAVI WEB)」, JPN6018035231, 25 June 2017 (2017-06-25) *
VRCAPTURE, JPN6018035229, 21 November 2016 (2016-11-21) *
國田豊(外3名): "「カメラの走査線を利用したイメージベーストレンダリング」", 映像情報メディア学会技術報告, vol. 21, no. 33, JPN6019005183, 3 June 1997 (1997-06-03), JP, pages 第27〜32頁 *
桜花一門, 「VRコンテンツ最前線」, vol. 初版, JPN6019005179, 1 August 2016 (2016-08-01), JP, pages 第165〜180頁 *
舘すすむ(外5名): "「再帰性投影技術と全周囲裸眼3Dディスプレイを用いて存在感と臨場感を実現する相互テレイグジスタンスシ", 日本バーチャルリアリティ学会論文誌, vol. 17, no. 1, JPN6019005181, 31 March 2012 (2012-03-31), JP, pages 第11〜21頁 *

Also Published As

Publication number Publication date
JP2019211877A (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
CN109643162A (zh) 用现实世界内容增强虚拟现实内容
US20120194648A1 (en) Video/ audio controller
JP6470859B1 (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
US11460696B2 (en) Head-mountable apparatus and methods
JPH10153946A (ja) 感覚情報提示装置
JP7369674B2 (ja) プログラム、方法、および視聴端末
CN105920818A (zh) 一种投篮训练系统和方法
JP2023015061A (ja) プログラム
JP2023027113A (ja) プログラム、電子機器および制御方法
KR20220052363A (ko) 프로그램, 방법, 및 단말 장치
JP2019128721A (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
US11941177B2 (en) Information processing device and information processing terminal
JP6487589B1 (ja) 筒状映像処理装置、筒状映像処理システム及び筒状映像処理方法
KR20220014254A (ko) 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법 및 시스템
JP2023095862A (ja) プログラム及び情報処理方法
EP4083854A1 (en) System and method of head mounted display personalisation
US20230033892A1 (en) Information processing device and information processing terminal
WO2021145024A1 (ja) 情報処理装置、情報処理端末及びプログラム
KR102433084B1 (ko) 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템
JP2019160295A (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
US11983324B2 (en) Information processing device, information processing terminal, and program
JP7412613B1 (ja) 情報処理システムおよびプログラム
JP6643783B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP2024018447A (ja) 仮想空間移動装置、仮想空間移動方法、及び仮想空間移動プログラム
JP2024016015A (ja) プログラム、情報処理方法、及び情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180531

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180531

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190221

R150 Certificate of patent or registration of utility model

Ref document number: 6487589

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees