JP6626604B2 - 頭部装着装置 - Google Patents

Description

本発明は、デジタルカメラで撮影した周辺画像の変化で装着した人の動きや速度を検出する、ヘッドマウントディスプレイ、ＶＲゴーグル、ヘルメット等の頭部装着装置に関する。

図６を用いて、特許文献１で開示された振動発生装置を備えたヘッドマウントディスプレイについて説明する。同図において、遊技者１０３がゲーム機１００に接続されたヘッドマウントディスプレイ１０１を遊技者１０３の頭に装着し、遊技者１０３の腕１０４にゲーム機１００に接続された動作センサー１０２を装着してゲーム機１００に記憶されるゲームを行う。

そして、遊技者１０３が腕１０４を動かすと、動作センサー１０２が腕１０４の動きに応じた検知信号をゲーム機１００に伝え、ゲーム機１００は動作センサー１０２から入力された検知信号に基づく遊技者１０３の腕１０４の動きをゲームに反映した映像信号と振動制御信号とをヘッドマウントディスプレイ１０１に出力し、ヘッドマウントディスプレイ１０１がゲーム機１００からの映像信号に基づいた映像を表示し、ヘッドマウントディスプレイ１０１に設けられた振動体が振動制御信号に基づいて振動する。

しかしながら、特許文献１で開示されたヘッドマウントディスプレイ１０１を飛行機や自動車又は自転車又はオートバイ或いはロケット等の乗り物の中で使用すると、動作センサー１０２が遊技者１０３の腕１０４の動きとは異なる乗り物の動きで誤動作する欠点がある。

特開２００３−１２５３１３号公報

本発明は、上記背景技術に鑑みてなされたものであり、デジタルカメラで撮影した周辺画像の変化で装着した人の動きや速度を検出し、乗り物の動きに起因する誤動作を防止する、頭部装着装置の提供を目的とする。

本発明は、人の頭部に装着するための頭部装着体に設けられたデジタルカメラと、このデジタルカメラで上記人を撮影した基準画像及び測定画像を記憶する記憶部と、この記憶部に記憶された基準画像及び測定画像を比較して上記人の動きや速度を解析する画像解析部を備えたことを特徴とする。

本発明によれば、デジタルカメラで撮影した周辺画像の変化で装着した人の動きや速度を検出するので、飛行機、自動車、自転車、オートバイ、ロケット等の乗り物に乗った人が頭部装着装置を使用しても、上記乗り物の動きに起因する誤動作を防止できる。本発明において、頭部装着体が仮想現実コンテンツを体験するためのフレームであり、画像解析部による解析の結果として測定画像が基準画像に比較して変化した場合に仮想現実コンテンツを制御すれば、フレームの傾きや移動速度、周辺からの相対的な位置を判断できる。本発明において、頭部装着体がヘルメットの帽体であり、画像解析部による解析の結果として測定画像の基準画像に比較した変化がしきい値を越えた時に上記帽体又は人の装着するジャケットに設けられた頭部用エアバッグを展開させれば、衝撃のみで判断して起こるエアバッグの誤作動を防止できる。

発明を実施するための形態１に係るＶＲゴーグル示した構成図。 発明を実施するための形態１に係るＶＲゴーグルを人に装着した状態を示した右側面図。 Ａ〜Ｄ図は発明を実施するための形態１に係るＶＲゴーグルを装着した人の頭部の動きと画像の変化とを示した図表。 発明を実施するための形態１に係るＶＲゴーグルの処理を示したフローチャート。 発明を実施するための形態２に係るヘルメットを示した構成図。 特許文献１のヘッドマウントディスプレイを示した構成図。

図１を用いて、発明の実施の形態１に係る頭部装着装置としてＶＲゴーグルを例示して説明する。図１に示したＶＲゴーグルは、ＶＲヘッドセットとも表現され、ＶＲ（仮想現実）コンテンツを体験するために使用するゴーグル形状の装置であって、スマートフォン等の携帯端末のディスプレイに左右分割されて表示された２つの画面を２つの異なる焦点を持つレンズを通して人が閲覧することで、その閲覧した人が１つの画像に見える錯覚を起こし、その閲覧した人に仮想現実を体験させる装置である。上記２つの画像に、閲覧した人の両目の視差分のずれを反映すると、画像は立体に見えるようになっている。

図１において、ＶＲゴーグルの構造について説明すると、１は頭部装着体としてのフレーム、２，３は窓、４，５は互いに異なる焦点を持つ凸レンズ、６，７，８はデジタルカメラ、９は操作部、１０は処理装置、１１は画像入力部、１２は記憶部、１３は基準画像データ部、１４は測定画像データ部、１５は画像解析部、１６はＶＲコンテンツを表示するためのスマートフォン等の携帯端末を示す。

フレーム１は、背面と下面とが開放され、前面と左右側面と上面とで囲まれた空間を構成する。窓２，３は、フレーム１の前面に設けられ、左右に分かれ、前後方向に貫通する。凸レンズ４，５は、互いに異なる焦点を有し、窓２，３を個別に覆い、フレーム１の前面に取り付けられる。凸レンズ４，５を２つの異なる焦点を有する１個のレンズで構成しても良い。２つのデジタルカメラ６，７は、撮影方向を下方に向け、フレーム１の左右側面に１個ずつ取り付けられる。デジタルカメラ８は、撮影方向を下方に向け、フレーム１の前面の下部に取り付けられる。操作部９は、電源の供給で作動を開始し、フレーム１を装着した人により操作された操作信号を処理装置１０に無線又は有線で出力する。

操作部９及び処理装置１０は、フレーム１に設けてられも良く、フレーム１以外の例えばフレーム１を装着した人の腕や服装等に装着されても良く、電源の供給で作動を開始し、画像入力部１１が操作部９からの指示に従いデジタルカメラ６乃至８で撮影された画像に相当する画像データを記憶部１２の基準画像データ部１３又は測定画像データ部１４に記憶し、画像解析部１５が操作部９からの指示に従い基準画像データ部１３に記憶された基準画像データとしての基準画像と測定画像データ部１４に記憶された測定画像データとしての測定画像を比較した結果で携帯端末１６のディスプレイに表示されたＶＲコンテンツを無線又は有線で制御するようになっている。

図１において、フレーム１が人１７の頭部１８に装着された状態を正面から見た場合には、デジタルカメラ６，７が人１７の両耳の側に配置され、デジタルカメラ８が人１７の顎の側に配置され、フレーム１の上面が人１７の額の側に配置され、凸レンズ４，５が人１７の目と対向し、フレーム１の裏側で左右側面に跨って設けられたバンド２３（図２参照）が頭部１８の後頭部を前側に押すよう支持し、フレーム１が人１７の頭部１８に装着されている。そして、デジタルカメラ６，７が下向きの撮影方向１９，２０を撮影すると、デジタルカメラ６が人１７の右肩２１及びその周辺部を撮影し、デジタルカメラ７が人１７の左肩２２及びその周辺部を撮影することができるようになっている。

図１に示したＶＲゴーグルの動作について説明する。フレーム１を装着した人が正面を向いた自然体に立ち操作部９の基準画像作成スイッチを操作すると、操作部９が基準画像作成信号を処理装置１０に出力し、画像入力部１１がデジタルカメラ６乃至８に撮影開始を指示し、デジタルカメラ６乃至８がフレーム１を装着した人の肩や胸元等を撮影した画像を処理装置１０に出力する。処理装置１０では、画像入力部１１が、デジタルカメラ６乃至８から入力された画像データを基準画像データとして記憶部１２の基準画像データ部１３に記憶する。

上記のように基準画像データが基準画像データ部１３に記憶され、携帯端末１６がＶＲコンテンツを携帯端末１６のディスプレイに表示した状態でかつ音響を携帯端末１６のスピーカから出すことが可能になった状態において、人１７が操作部９の測定画像作成スイッチを操作し、操作部９が測定画像作成信号を処理装置１０に出力すると、デジタルカメラ６乃至８が所定時間連続して撮影した動画としての画像データを処理装置１０に出力する。処理装置１０では、画像入力部１１が、入力されて動画としての画像データを測定画像データとして記憶部１２の測定画像データ部１４に記憶しかつ解析開始信号を画像解析部１５に出力する。

そして、画像解析部１５が基準画像データ部１３に記憶された基準画像データとしての基準画像と測定画像データ部１４に記憶に記憶された測定画像データとしての測定画像とを比較し、測定画像が基準画像と同じであれば、画像解析部１５は変化なしと判断しＶＲコンテンツ表示源としての携帯端末１６に制御信号を出力しない。これに対し、例えば、上記デジタルカメラ６〜８が人１７の操作で所定時間連続して撮影した動画を測定画像として記憶部１２に保存する場合において、フレーム１を装着した人１７が頭部１８を右又は左又は下に向けるなどのように動かすと、画像解析部１５が基準画像と測定画像とを比較した場合に測定画像が基準画像から変化したことになるので、画像解析部１５は基準画像に対する測定画像の画像変化による動きや速度を算出し、その算出した動きや速度に基づく制御信号を無線又は有線で携帯端末１６に出力する。これにより、携帯端末１６のディスプレイに表示されているＶＲコンテンツや音響に変化を与えることができる。

尚、携帯端末１６を利用したＶＲゴーグル以外に、携帯端末１６を利用せず仮想現実コンテンツをフレーム１の凸レンズ４，５に表示して体験させるヘッドマウントディスプレイでも適用可能である。

図２を用いて、発明の実施の形態１に係るＶＲゴーグルのフレーム１が人１７の頭部１８に装着された状態を右側面から見た場合について説明する。図３において、フレーム１が人１７の頭部１８に装着された状態は図２と同じであり、バンド２３が頭部１８の後頭部を前側に押すよう支持している。そして、デジタルカメラ８が下向きの撮影方向２４を撮影すると、デジタルカメラ８が人１７の胸部２５及びその周辺部を撮影することができるようになっている。

図３を用いて、発明の実施の形態１に係るＶＲゴーグルのフレーム１を装着し、人１７が頭部１８を動かして右側のデジタルカメラ６で撮影した画像について説明する。図３のＡ図に示したように、人１７がフレーム１を頭部１８に装着し、頭部１８を図３のＢ図に示した正面を向いた状態からＣ図に示した斜め右方向に向けた状態及びＤ図に示した右横を向いた状態を例示する。図３のＢ図は、人１７が頭部１８を正面に向け、デジタルカメラ６が人１７の胸部２５や部屋の人１７よりも右側の壁２６が撮影された画像である。図３のＣ図は人１７が頭部１８を斜め右方向に向け、デジタルカメラ６が人１７の胸部２５の右側や肩２１が図３のＡ図より多く撮影され、部屋における人１７よりも前側の壁２７も撮影された画像である。図３のＤ図は、人１７が頭部１８を右方向の真横に向け、デジタルカメラ６が人１７の右の肩２１が撮影された画像である。

図１，４を用いて、発明の実施の形態１に係るＶＲゴーグルにおける処理装置１０（図１参照）による処理について説明する。まず、図１に示したようにフレーム１を装着した人１７が正面を向いた自然体に立ち、デジタルカメラ６乃至８が電力の供給で撮影可能になった状態において、人１７が操作部９の基準画像作成スイッチを操作する。この操作により、処理装置１０が図４のステップ４０１に示した基準画像取得処理を実行する。即ち、ステップ４０１の基準画像取得処理では、上記基準画像作成スイッチの操作により、デジタルカメラ６乃至８がフレーム１を装着して正面を向いて自然体に立ったまま人１７の肩や胸元等を撮影した画像を処理装置１０に出力し、処理装置１０がデジタルカメラ６乃至８から入力された画像データを基準画像データとして記憶部１２の基準画像データ部１３に記憶する。

次に、図１に示したデジタルカメラ６乃至８が電力の供給で撮影可能まま、フレーム１を装着した人１７が頭部１８を右又は左又は下に向けるなどのように動かして操作部９の測定画像作成スイッチを操作する。この操作により、処理装置１０が図４のステップ４０２に示した測定画像取得処理を実行する。即ち、ステップ４０２の測定画像取得処理では、上記測定画像作成スイッチの操作により、デジタルカメラ６乃至８が所定時間連続して人１７の肩や胸元等を撮影した動画としての画像データを処理装置１０に出力し、処理装置１０がデジタルカメラ６乃至８から入力された動画としての画像データを測定画像データとして記憶部１２の測定画像データ部１４に記憶しかつ解析開始信号を画像解析部１５に出力する。

上記解析開始信号が画像解析部１５に入力されると、画像解析部１５が図４のステップ４０３に示した判断処理を実行する。即ち、ステップ４０３の判断処理では、画像解析部１５がステップ４０１で記憶した基準画像とステップ４０２で記憶した測定画像とを比較し、測定画像が基準画像から変化しているかを判断する。この判断において、測定画像が基準画像と同じであれば、画像解析部１５は変化なしと判断しＶＲコンテンツ表示源としての携帯端末１６に制御信号を出力せず、ステップ４０３がＮＯとなり、ステップ４０２に戻る。又、上記判断において、測定画像が基準画像から変化した場合は、ステップ４０３がＹＥＳとなり、ステップ４０４に進む。

ステップ４０４では、画像解析部１５が画像解析でＶＲゴーグルのフレーム１の状態検出処理を実行する。即ち、ステップ４０４のフレーム１の状態検出処理では、画像解析部１５が基準画像に対する測定画像の画像変化による動きや速度を算出し、その算出した動きや速度に基づく制御信号を携帯端末１６に出力する。フレーム１を装着した人が正面を向いて自然体に立った状態から例えば頭部１８を右方向にゆっくりと動かした場合と素早く動かした場合とでは、画像の変化による向きは同じであっても、速度が異なる。よって、頭部１８をゆっくり動かした場合に画像解析部１５から携帯端末１６に出力される制御信号と、頭部１８を素早く動かした場合に画像解析部１５から携帯端末１６に出力される制御信号とを異なる信号となり、携帯端末１６のディスプレイに表示されているＶＲコンテンツの変化や音響に変化を与えることができる。

図５を用いて、発明の実施の形態２に係る頭部装着装置としてヘルメットを例示して説
明する。図５に示したヘルメットは、自転車３０やオートバイ等の二輪車に乗る時に頭部
を保護するために装着する装置であって、頭部装着体としての帽体３１が頭部を覆い保護
するシェルを構成し、帽体３１の外面にデジタルカメラ３２を設置し、帽体３１の内側に
頭部用エアバッグ３３を折り畳んで設置した構造になっている。操作部９及び処理装置１
０は、帽体３１に設けてられも良く、帽体３１以外の例えば帽体３１を装着した人１７の
腕や服装又は人１７が乗る自転車３０等に装着されても良い。

そして、人１７が自転車３０に乗って運転する自然体において、操作部９及び処理装置１０並びにデジタルカメラ３２が電源の供給で作動を開始し、自転車３０に乗った人１７が操作部９の基準画像作成スイッチを操作すると、操作部９が無線又は有線で基準画像作成信号を処理装置１０に出力し、画像入力部１１がデジタルカメラ３２に撮影開始を指示し、デジタルカメラ３２が自転車３０を自然体で運転する人１７のハンドル周辺部を撮影した画像を処理装置１０に出力し、画像入力部１１がデジタルカメラ３２から入力された画像データを基準画像データとして記憶部１２の基準画像データ部１３に記憶する。

上記ように基準画像データが基準画像データ部１３に記憶され操作部９及び処理装置１０並びにデジタルカメラ３２が電源の供給で作動を開始し、人１７が自転車３０に乗って走行を行う場合において、人１７が操作部９の測定画像作成スイッチを操作し、操作部９が測定画像作成信号を処理装置１０に出力すると、デジタルカメラ３２が連続撮影した動画としての画像データを処理装置１０に出力し、画像入力部１１が入力されて動画としての画像データを測定画像データとして記憶部１２の測定画像データ部１４に記憶しかつ解析開始信号を画像解析部１５に出力する。

上記の状態において、画像解析部１５は画像解析部１５に設定された時間間隔で画像解析部１５が基準画像データ部１３に記憶された基準画像データとしての基準画像と測定画像データ部１４に記憶に記憶された測定画像データとしての測定画像とを比較し、測定画像が基準画像と同じであれば、画像解析部１５は変化なしと判断し頭部用エアバッグ３３に制御信号を出力せず、測定画像が基準画像から変化した場合は、画像解析部１５は基準画像に対する測定画像の画像変化による動きや速度を算出し、その算出した動きや速度が画像解析部１５に設定されたしきい値以上を超えると、画像解析部１５が頭部用エアバッグ３３に制御信号を出力する。これにより、頭部用エアバッグ３３が頭部用エアバッグ３３に付設された圧縮ガスの供給により矢印３４の先に図示したように展開して人１７の頭部を包み込んで首を損傷したり大けがしたりすることを防止できる。

尚、頭部用エアバッグ３３は帽体３１に内蔵された構造でも、人１７が着るオートバイジャケット等のジャケットの襟周りに収容された構造でも良い。

１ フレーム（頭部装着体）
２ 窓
３ 窓
４ 凸レンズ
５ 凸レンズ
６ デジタルカメラ
７ デジタルカメラ
８ デジタルカメラ
９ 操作部
１０ 処理装置
１１ 画像入力部
１２ 記憶部
１３ 基準画像データ部
１４ 測定画像データ部
１５ 画像解析部
１６ 携帯端末
１７ 人
１８ 人１７の頭部
１９ 撮影方向
２０ 撮影方向
２１ 人１７の肩
２２ 人１７の肩
２３ バンド
２４ 撮影方向
２５ 人１７の胸部
２６ 壁
２７ 壁
３０ 自転車
３１ 帽体（頭部装着体）
３２ デジタルカメラ
３３ 頭部用エアバッグ
３４ 展開した頭部用エアバッグ３３を示す矢印

Claims (3)

1. ディスプレイに表示された仮想現実コンテンツを人の頭部に装着される頭部装着体に設けられた２つの異なる焦点を持つレンズを通して前記頭部装着体を頭部に装着した人が閲覧することで当該人に仮想現実を体験させる頭部装着装置であって、前記頭部装着体を頭部に装着して正面を向いた人を撮影できるように前記頭部装着体に設けられた複数のデジタルカメラと、記憶部と、画像解析部とを備え、前記複数のデジタルカメラが前記頭部装着体を頭部に装着して正面を向いた人の胸元や肩を撮影し、これら複数のデジタルカメラで撮影された前記頭部装着体を頭部に装着して正面を向いた人の胸元や肩の画像データとしての基準画像が前記記憶部に記憶され、その後、前記仮想現実コンテンツが前記ディスプレイに表示された状態において、前記複数のデジタルカメラが連続して撮影した動画としての画像データを前記画像解析部に出力し、前記画像解析部が前記複数のデジタルカメラで連続して撮影した動画からなる画像データとしての測定画像と前記記憶部に記憶された基準画像とを比較し、前記人の頭部の動きにより、前記測定画像が前記基準画像から変化すると、前記画像解析部が前記測定画像の前記基準画像に対する画像変化による動きや速度を算出しその算出した動きや速度に基づき前記ディスプレイに表示された仮想現実コンテンツを制御することを特徴とする頭部装着装置。
2. 前記複数のデジタルカメラが３個であって、当該３個のデジタルカメラのうちの２個のデジタルカメラが前記頭部装着体の左右側面に１個ずつ取り付けられ、前記２個のデジタルカメラのうちの１個のデジタルカメラが前記頭部装着体を装着した人の右肩及びその周辺部を撮影し、前記２個のデジタルカメラのうちのもう１個のデジタルカメラが前記人の左肩及びその周辺部を撮影することができるようになっている一方、前記３個のデジタルカメラのうちの残る１つのデジタルカメラが前記頭部装着体の前側に取り付けられ、この頭部装着体の前側に取り付けられた残る１つのデジタルカメラが前記人の胸部及びその周辺部を撮影することができるようになっていることを特徴とする請求項１に記載の頭部装着装置。
3. 二輪車に乗る人の頭部に装着されるヘルメットと、このヘルメットの外側に設けられたデジタルカメラと、前記ヘルメットの内側又は前記ヘルメットを装着した人の着るジャケットに設けられたエアバッグと、記憶部と、画像解析部とを備えた頭部装着装置であって、前記人が前記二輪車に乗って運転する自然体において前記デジタルカメラが前記二輪車を運転する前記人のハンドル周辺部を撮影し、このデジタルカメラで撮影されたハンドル周辺部の画像データなる基準画像データとしての基準画像が前記記憶部に記憶された状態において、前記人が前記二輪車に乗って走行を行う場合において前記デジタルカメラが連続撮影した動画としての画像データを前記画像解析部に出力し、前記画像解析部が前記デジタルカメラで連続撮影された動画としての画像データからなる測定画像と前記記憶部に記憶された前記基準画像とを比較し、前記測定画像が前記基準画像から変化した場合は、前記画像解析部が前記基準画像に対する前記測定画像の変化による動きや速度を算出し、その算出した動きや速度が前記画像解析部に設定されたしきい値を超えると、前記画像解析部が前記エアバッグに制御信号を出力して前記エアバッグを展開させることを特徴とする頭部装着装置。