JP7029376B2 - 携帯端末 - Google Patents

Description

本発明は、仮想空間を提供するための携帯端末を装着する端末装着装置に装着される携帯端末に関する。

ＶＲ（VirtualReality）ゴーグルなどのＨＭＤ（Head Mount Display）を用いたＶＲサービスが一般的になりつつある。特にスマートフォン装着型のＨＭＤの登場により手軽にＶＲサービスを楽しむことができる。下記特許文献１には、スマートフォンを装着して、当該スマートフォンによる仮想空間を提供することができる携帯機器挿入式ヘッドマウントディスプレイが記載されている。

特開２０１５－１０６９１５号公報

しかしながら、特許文献１に記載されているような、スマートフォン装着型のヘッドマウントディスプレイにおいては、ユーザ入力操作の方法に問題がある。例えば、ユーザは、スマートフォンを直接操作することが困難であることから、専用の外付けコントローラを用意する必要となる。したがって、持ち運びの面で手軽さが失われる。

また、加速度センサとスマートフォンの画面の一部を導電性樹脂で拡張して実現するボタンとを組み合わせることで、操作は、可能であるが、複雑な操作が困難となる。
そこで、上述の問題を解決するために、本発明は、専用のコントローラを用いることなく入力操作を可能にする端末装着装置に装着できる携帯端末を提供することを目的とする。

上述の課題を解決するために、本発明の携帯端末は、撮影部を有する携帯端末の表示画面を、仮想空間としてユーザに提供するために、前記表示画面を前記ユーザの目に対して正対させる位置に固定して、前記ユーザが前記表示画面を視認可能に、前記携帯端末を装着可能にする装着部を有し、前記ユーザの頭部に装着可能な形状である筐体部と、前記携帯端末の発光部が発行した光を、前記筐体部の上面に配置されたユーザが触れることが可能な操作面に導光するための第２導光部材と、前記携帯端末の撮影部に向けて、前記操作面の操作状態を示した画像を導光することができる第１導光部材と、を備える端末装着装置に装着される携帯端末において、前記操作面を撮影する撮影部と、前記撮影部により撮影された操作面の操作情報を判断する判断部と、前記判断部により判断された操作情報に基づいた処理を行う処理部と、を備え、前記判断部は、前記操作面の操作情報として、前記ユーザが触れた接地面の大きさに基づいて前記操作面に対する圧力を判断する。

この構成によれば、専用のコントローラを用いることなく、携帯端末が備える撮影機能を利用して、ユーザ操作を判断させることができる。したがって、簡単かつ安価な構成でユーザによる操作を可能にする。

本発明によると、専用のコントローラを用いることなく、簡単な構成で入力操作を行うことができる。

本開示における実施形態の端末装着装置１０の全体斜視図である。 端末装着装置１０の側断面図である。 ユーザが操作面１３ａにタッチしたときの、カメラ１０３が撮影した画像を示す図である。 操作面１３ａの形状を説明する図である。 操作面１３ａを、柔らかさの異なる素材で形成した場合の、カメラ１０３が撮影した画像の違いを模式的に示す図である。 携帯端末１００の機能を示すブロック図である。 携帯端末１００の動作を示すフローチャートである。 本開示の一実施の形態に係る携帯端末１００のハードウェア構成の一例を示す図である。

添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、本開示における実施形態の端末装着装置１０の全体斜視図である。図１に示されるとおり、本実施形態の端末装着装置１０は、いわゆるＶＲゴーグルの形状をとり、ユーザの頭部に装着可能な形状の筐体部１０ａを有する。

この筐体部１０ａは、携帯端末１００のディスプレイを、当該端末装着装置１０を装着したユーザの目に対して正対させる位置に固定して、ユーザが当該ディスプレイを視認可能にする。例えば、筐体部１０ａは、携帯端末１００と略同じ大きさの固定板１０ｂを用いて、当該携帯端末１００の厚み程度の隙間を形成する。そして、筐体部１０ａは、固定板１０ｂの固定面を用いて、その隙間に装着された携帯端末１００を、その厚み方向で挟むようにして、固定する。

また、筐体部１０ａは、ユーザが顔に端末装着装置１０を装着した際に、装着機構１１で装着した携帯端末１００のディスプレイ面に外部光があたらないように、外部光を遮蔽する。

さらに、筐体部１０ａ内において、装着した携帯端末１００とユーザの目との間には、左右一対のレンズが配置される。当該レンズは、携帯端末１００のディスプレイが表示する画像を仮想空間としてユーザに提供可能にするためのレンズである。

筐体部１０ａの上面および固定板１０ｂには、導光部材１３（導光部材１３ｂおよび１３ｃ：第２導光部材）が配置される。この導光部材１３は、装着された携帯端末１００の発光部１０２が発光した光を、筐体部１０ａの上面に配置された導光部材１３ｃに形成される操作面１３ａに導光する。導光部材１３は、例えば所定の厚みをもったアクリル板であり、発光した光を、そのアクリル板内で乱反射させながら導光する。具体的な導光部材１３の配置およびその他の構成は以下の通りである。

固定板１０ｂには、装着された携帯端末１００の背面側（ディスプレイの反対側）に備えられている発光部１０２（トーチライト）が発光した光を導光するための穴部１２が形成されている。

そして、導光部材１３は、固定板１０ｂの穴部１２を覆うように配置される導光部材１３ｂと、筐体部１０ａの上面に配置される導光部材１３ｃとを含んで構成される。

導光部材１３ｂは、携帯端末１００の発光部１０２が発光した光を拡散させるために穴部１２から筐体部１０ａの導光部材１３ｃに向けて、その幅が大きくなるように形成されている。例えば、導光部材１３ｂは、扇状に形成されており、導光部材１３ｃの幅と合うように形成されている。

さらに、導光部材１３ｃは、筐体部１０ａの上面に、導光部材１３ｂからの光を導光可能に連接されている。この導光部材１３ｃは、一定の幅をもった矩形状に形成されており、その上面にはユーザがタッチ操作するための操作面１３ａが形成されている。

操作面１３ａは、ユーザがタッチ操作をするために形成された部分である。この操作面１３ａは、ユーザがタッチ操作しやすい箇所に形成されるとともに、そのタッチしたことを携帯端末１００のカメラが撮影可能な位置とする。この操作面１３ａは、ユーザが操作部分であることを視認することなく、認識することを可能にするために、特別な形状としてもよい。例えば、特別な形状として、くぼみを形成する、また一または複数の突起を形成する、などが考えられる。

図１においては、その図示を省略しているが、ユーザの頭部に端末装着装置１０を装着するための、バンドなどの装着部材を有してもよい。

図２は、端末装着装置１０の側断面図である。端末装着装置１０の筐体部１０ａは、その内部においてレンズ１４と反射板１５とを備える。レンズ１４は、携帯端末１００のタッチパネルディスプレイ１０４に表示されている画像を、仮想空間として提供するための光学処理を行うためのレンズである。

反射板１５は、操作面１３ａをタッチしたユーザの指などの画像を携帯端末１００のカメラ１０３に反射するための部材であり、いわゆる、ミラーである。筐体部１０ａの上面には、導光部材１３ｃ上に形成される操作面１３ａの位置に合わせて、穴部が形成されており、操作面１３ａのタッチ操作をカメラ１０３が撮影可能にしている。

また、携帯端末１００は、いわゆるインカメラと呼ばれるカメラ１０３を、タッチパネルディスプレイ１０４の近傍に配置している。本実施形態の端末装着装置１０は、このカメラ１０３に向けて、操作面１３ａの操作状態を示した画像を反射するための反射板１５（第１導光部材）を備える。なお、本実施形態において、反射板１５に限定するものではなく、カメラ１０３が操作状態を示した画像を撮影可能に、操作面を導光または反射するものであればよい。例えば、画像を導光することができる導光部材（アクリル板など）としてもよい。本実施形態において、反射板１５は、導光部材の一種として扱う。

導光部材１３ｃは、アクリル板で形成されており、発光部１０２から発光された光に加えて、環境光を含んだ光を反射板１５に対して導光する。反射板１５は、それら光（操作面１３ａの状態及び環境光）をカメラ１０３に反射する。操作面１３ａに対するユーザによる操作状態によって、カメラ１０３に導光される光の明暗の程度またはその画像が異なる。携帯端末１００は、カメラ１０３に入光した光または操作面１３ａの画像に基づいて操作面１３ａに対する操作状態を判断することができる。

図２から明らかなとおり、導光部材１３ｂは、反射板１３ｂ１とアクリル板１３ｂ２とを含むように、カバーで覆うように構成されている。この導光部材１３ｂの内面には、アクリル板１３ｂ２が導光する光が外部に漏れないように、ミラーが形成されている。図２においては、アクリル板である導光部材１３ｃの一部を覆うように導光部材１３は構成されている。また、導光部材１３ｂと導光部材１３ｃとの連接部分を、導光しやすいように、他の部分と比較して厚みをもたせた形状としている。

導光部材１３ｂおよび１３ｃの形状およびその配置については、図１および図２に記載にものに限られない。導光部材１３ｃを、端末装着装置１０の左右いずれかの側面に配置し、そこに操作面１３ａを形成するとともに、反射板１５で、その操作面１３ａを撮影可能にしてもよい。また、複数の導光部材１３ｃを備え、その操作面１３ａを複数形成してもよい。その場合、それぞれの操作面１３ａの形成位置を携帯端末１００が認識できるようにすることが必要である。

つぎに、このように構成された端末装着装置１０に装着される携帯端末１００におけるタッチ操作の判断原理について説明する。本実施形態において、携帯端末１００は、操作面１３ａの操作状態に基づいてタッチ操作の有無およびその座標位置を判断することができる。図３は、ユーザが操作面１３ａにタッチしたときの、カメラ１０３が撮影した画像を示す図である。図３（ａ）は、タッチ圧を大きい場合の画像を示し、図３（ｂ）は、図３（ａ）よりタッチ圧が小さい場合の映像を示す。

図３に示されるとおり、タッチ圧に応じて、乱反射部分であるタッチしたユーザの指の大きさが違うことが分かる。図３（ａ）のうち、ａ１は、指の画像を示し、ａ２はその画像を二値化した画像である。図３（ｂ）についても同様である。携帯端末１００は、二値化した画像に対して、認識処理を行うことにより、タッチ圧を正確に判断することができ、したがって、複雑な入力操作を判断することができる。図３においては、二段階のタッチ圧を示したが、これに限るものではなく、三段階以上のタッチ圧を判断することも可能である。図示していないが、複数の指がタッチされたこと、またはタッチされた指の種類（親指、人差し指など）を区別して判断することもできる。また、どの指がどの位置にタッチされたかも当然に判断することができる。

図４は、操作面１３ａの形状を説明する図である。上述したとおり、操作面１３ａの形状を適宜定めることができる。図４（ａ）においては、操作面１３ａのタッチ面に複数のドーム状の突起物を形成している。このドーム状（半球状）の突起部は、環境光を透過する。したがって、指が操作面１３ａに触れていない場合には（図４（ｂ））、透明または白色の画像が光ったようにして、カメラ１０３により撮影される。なお、説明の便宜上、楕円で、撮影対象となる部分を示す。

一方で、ドーム状の突起物は接触した部分のみ光る仕組みであり、ユーザが操作面１３ａをタッチ操作すると（図４（ｃ））、カメラ１０３は、指と突起物との間にできる黒くなった隙間を撮影することができる。楕円で示された部分は、指の接地面を示し、図に示されるとおり、黒くなった部分を認識可能にしている。携帯端末１００は、この黒く撮影された突起物を認識することで、ユーザによるタッチ操作の有無を判断することができる。

なお、操作面１３ａに形成される突起物の大きさ、形状、またはその隙間を変えることで、操作面１３ａに対するタッチ操作をした位置または圧力に応じて、その撮影画像を変えることができる。その場合、撮影画像に応じてタッチ位置またはタッチ圧力を判断することもできる。 なお、図４においては、ドーム状の突起物を例に挙げたが、これに限定するものではなく、メッシュ状の溝、市松模様など他の形状または模様により、同様の作用効果を得られる。

このように、ドーム状の突起物が操作面１３ａに形成されていない場合には、可視光を利用することに伴って環境光の影響を受けやすい。すなわち、ユーザはタッチ操作をしていないにもかかわらず、携帯端末１００は、タッチ操作したと誤認識してしまう場合がある（またはその逆もあり得る）。しかしながら、操作面１３ａに突起物または凹凸が形成されると、タッチ操作に応じて撮影した画像に違いが出てくるため、携帯端末１００は、その認識を正確に行うことができる。

図５は、突起物を形成することに加えて、さらに操作面１３ａを、柔らかさの異なる素材で形成した場合の、カメラ１０３が撮影した操作面１３ａの画像の違いを模式的に示す図である。楕円で示された部分は、指の接地面を示す。図５に示されるとおり、タッチ操作されると、素材の柔らかさによって、突起物周辺にできる隙間の大きさは異なる。図５においては、タッチ操作されると、柔らかい素材の突起物は、その隙間が大きくなる傾向にある。これを利用して、柔らかい素材で突起物を形成することで、タッチ操作の認識精度を向上させたり、また多段階に認識することを可能にする。

なお、図５においては、複数の突起物を操作面１３ａに形成した場合の例を示したが、操作面１３ａを平坦な形状で、その素材を柔らかいものとしてもよい。その場合、タッチ操作した接地面の形状がゆがむため、タッチ操作の有無、その操作位置、または操作圧力などを判断することができる。

操作面１３ａに突起物を形成したり、操作面１３ａの素材を柔らかいものなどにすることによって、ユーザはタッチ操作の感覚を得ることができる、という効果も奏する。また、操作面１３ａに模様を印刷することによっても、その感触によってタッチ操作感を得ることができる。

また、操作面１３ａに触れる部分が、柔らかい物体、硬い物体によって、認識される画像が異なる。例えば、例えば指の腹のような柔らかい物体で触れた場合はドーム状の突起物でできる影が小さくなる。一方、骨張った部分で触れれば影が大きくなる。映像としては、図５に示される画像と同様となる。したがって、認識される画像において、突起物の影の大小に応じて、どのような部分で操作されたかを認識することができる。例えば、携帯端末１００において、影の大きさ（幅など）が、所定値以下であれば、指の腹で操作されたと判断し、それに応じた処理を行うことができる。

つぎに、上述した端末装着装置１０に装着される携帯端末１００の機能について説明する。この携帯端末１００は、カメラ１０３が撮影した画像に基づいて、操作面１３ａに対してタッチ操作がなされたか否かを判断することができる。

図６は、携帯端末１００の機能を示すブロック図である。図６に示されるとおり、携帯端末１００は、カメラ１０１、発光部１０２、カメラ１０３（撮影部）、タッチパネルディスプレイ１０４、制御部１０５（判断部、処理部、撮影制御部）、および通信部１０６を含んで構成されている。

カメラ１０１は、いわゆるスマートフォンの背面側に備えられているカメラであって、画像を撮影する部分である。

発光部１０２は、トーチライト部であって、撮影動作とともにまたは継続的に発光する部分である。

カメラ１０３は、いわゆるインカメラであって、タッチパネルディスプレイ１０４の近傍に配置されている。カメラ１０１と同様に、画像を撮影する部分である。

タッチパネルディスプレイ１０４は、タッチ操作を受け付けるとともに画像などの情報を表示する部分である。本実施形態においては、仮想空間をユーザに提供するための画像を表示する。

制御部１０５は、携帯端末１００を制御する部分であって、本実施形態においては、カメラ１０３が撮影した撮影画像に基づいて操作面１３ａに対してユーザがタッチ操作をしたか否か、またどの程度のタッチ圧で操作したか、またタッチ操作の座標などを判断する部分である。

通信部１０６は、携帯端末１００として通信処理を実行する部分である。

このように構成された携帯端末１００の動作について説明する。図７は、携帯端末１００の動作を示すフローチャートである。図７に示されるとおり、ユーザが携帯端末１００を端末装着装置１０に装着する前に、所定の操作（ＶＲ用アプリケーションの起動など）を行うと、発光部１０２は、発光する。そして、ユーザは、携帯端末１００を端末装着装置１０に装着することで、発光部１０２からの光は、導光部材１３を介して、操作面１３ａに対して導光される（Ｓ１０１）。

カメラ１０３は、操作面１３ａを、反射板１５を介して常時撮影して、その操作面１３ａの画像情報を取得する（Ｓ１０２）。制御部１０５は、取得した画像情報に基づいて操作状態を判断する（Ｓ１０３）。上述したとおり、制御部１０５は、カメラ１０３が取得した画像情報に対して二値化処理などを行い、操作面１３ａに対するタッチ面の大きさ、操作面１３ａに突起物が形成されていた場合には、その突起物の間隔の大きさなどに基づいて、操作面１３ａに対するタッチの有無、タッチ圧の程度などの操作状態を判断する（Ｓ１０３）。

制御部１０５は、操作面１３ａに対する操作状態に応じた処理を実行する（Ｓ１０４）。例えば、仮想空間内におけるゲームのアプリケーションが起動されている場合には、携帯端末１００は、タッチ操作に応じて、ゲーム内の所定の動作を実行する。

このように、携帯端末１００は、操作面１３ａの操作状態に基づいて、タッチ操作の有無を判断し、その判断に応じた処理を行うことができる。

上述実施形態においては、携帯端末１００における、操作面１３ａに対するタッチ操作の有無を判断する処理について説明したが、タッチ操作の有無判断以外に、ユーザがタッチ操作したときに取得可能な生態情報を判断し、それに基づいた処理も可能である。

例えば、携帯端末１００の制御部１０５は、カメラ１０３が撮影したユーザの指の画像情報から、指紋、脈拍、脈波、または酸素飽和量などの生態情報を判断することができる。例えば、脈拍および脈波については、制御部１０５は、指先の撮影した画像に基づいて、色情報の時系列変化を観測することによって、測定することができる。また、制御部１０５は、同様にタッチした指の血中における酸素飽和量を、カメラ１０３（ＲＧＢカメラの機能であることが好ましい）が撮影した指の色情報を用いて判断することができる。

携帯端末１００は、生態情報とタッチ操作の有無とに基づいた制御を行うことができる。例えば、事前に指紋情報を登録することで、認証処理に利用することができる。また、例えば、ユーザが端末装着装置１０を装着して、仮想空間に存在している場合において、携帯端末１００は、ユーザの生態情報を用いてユーザが緊張状態である、などを判断することができる。脈拍の速さや、酸素飽和量の低下などに応じて、緊張状態などを判断できる。そして、それに応じたユーザの状態を、仮想空間を実現しているアプリケーションに反映させることができる。反映の具体例としては、仮想空間に存在しているアバターなどのキャラクタの外見をかえる（顔色を変える）などである。

また、携帯端末１００において、制御部１０５は、ユーザがタッチ操作していないときの操作面１３ａの画像情報、またはユーザがタッチ操作をした部分以外の操作面１３ａを撮影した画像情報に基づいて、ユーザの周囲の環境情報を取得して、その環境を判断することができる。環境情報としては、室内の明るさ、色味、室内の形状、およびユーザの移動量などが挙げられる。制御部１０５は、環境情報を考慮した処理を行うことができる。

たとえば、携帯端末１００が、環境情報に基づいて、ユーザが暖色系の落ち着いた部屋にいると判断すると、その内容をＶＲ画面内に反映する画像処理を行う。また、屋外にいるようであればその状況（空の映像）を反映して、屋外の画像をＶＲ画面に映し出すなどする。また、ユーザの移動量については、例えば屋内であれば天井がどれだけ動いて見えたか（オプティカルフロー等）の情報を用いることで判断可能であり、その移動量をＶＲ画面に反映させることができる。

また、携帯端末１００において、制御部１０５は、発光部１０２が発光した光の色味、または光量などの発光特性に基づいて、カメラ１０３のホワイトバランス、露出条件、タッチ操作の有無の判断のための閾値を動的に変化させてもよい。一般的に、発光部１０２から発せられる光の色温度、発光強度、操作面に指がタッチされたときの明るさ、およびその色は一定である。したがって、タッチ操作の有無の判断のための条件（突起物の隙間の色合い、または間隔など）以外の部分に反応しないよう、カメラ１０３の色温度、露出条件、ホワイトバランスを事前に調整しておき、画像処理上でタッチされたと判定する画素値を制限するなどの事前調整を行うことがよい。

つぎに、本実施形態の端末装着装置１０および携帯端末１００の作用効果について説明する。本実施形態の端末装着装置１０は、撮影部であるカメラ１０３を有する携帯端末１００の表示画面を形成するタッチパネルディスプレイ１０４を、仮想空間としてユーザに提供するために携帯端末１００を装着可能にする筐体部１０ａ（装着部）および固定板１０ｂ（装着部）を備える。反射板１５（第１導光部材）は、筐体部１０ａおよび固定板１０ｂを用いて装着された携帯端末１００におけるカメラ１０３が、操作面１３ａを撮影可能にするために、筐体部１０ａ内に配置される。

この構成により、専用のコントローラを用いることなく、携帯端末が備える撮影機能を利用して、ユーザ操作を判断させることができる。したがって、簡単かつ安価な構成でユーザによる操作を可能にする。また、携帯端末１００のカメラ１０３を利用していることから、特別なセンサ機構も不要である。また、操作面１３ａがアクリル板などの部材で構成されている場合には、ユーザは実際に触れることになるため、物理的なフィードバックがあるタッチパッドのようにタッチ操作をすることができ、そのタッチ操作を容易とする。

なお、上記実施形態においては、導光部材１３を用いた説明をしているが、反射板１５の反射を利用してカメラ１０３が操作面１３ａを撮影可能な構成とすればよい。操作面１３ａは、必ずしも導光部材１３の一部に形成される必要はなく、単なる透明部材であればよい。

また、端末装着装置１０は、ユーザが触れることが可能な操作面１３ａを形成するとともに、装着された携帯端末１００の発光部１０２から発光された光を操作面に導光する導光部材１３（第２導光部材）をさらに備える。この導光部材１３は、筐体部１０ａおよび固定板１０ｂに配設される。この導光部材１３は、可視光を導光する。

この構成により、操作面１３ａを照らすことができ、ユーザがタッチ操作したことの有無を携帯端末１００側は容易に判断することができる。また、導光部材１３をアクリル板で構成した場合、その製造等が安価なものになる。また、携帯端末１００の発光部１０２を導光し、これをカメラ１０３が観測すればよいため、導光部材１３の設置の自由度および形状の自由度が高い。当然に導光部材１３は、板状である必要はない。

このように構成された端末装着装置１０に装着される携帯端末１００は、そのタッチ操作を認識するために、操作面１３ａを撮影するカメラ１０３と、カメラ１０３により撮影された操作面１３ａに対する操作情報を判断し、判断された操作情報に基づいた処理を行う制御部１０５と、を備える。

この構成により、ユーザがタッチ操作したことの有無を容易に判断することができる。すなわち、携帯端末１００は、簡単な画像認識処理（２値化処理および領域検出処理のみ）を行うだけでよく、複雑な処理を不要とし、高速に動作することができる。

また、携帯端末１００において、制御部１０５は、操作面１３ａの操作情報として、ユーザが触れた接地面の大きさに基づいて操作面１３ａに対する圧力を判断する。

この構成により、ユーザの細かなタッチ操作を区別して認識することができる。したがって、ユーザによるきめ細かなタッチ操作を認識することができる。

また、携帯端末１００において、制御部１０５は、操作面１３ａの操作情報として、ユーザが触れた接地面の画像に基づいて、予め定めた生態情報を判断する。生態情報としは、指紋、脈拍、脈波、酸素飽和量が考えらえる。

この構成により、ユーザの生態情報に基づいてユーザの状態を判断し、それに応じた処理を行うことができる。たとえば、生態情報を用いた認証処理を行ったり、仮想空間におけるアバターなどにユーザ状態をリアルに反映させことができる。

また、携帯端末１００において、制御部１０５は、操作面１３ａの操作情報として、ユーザが触れた指の種類および指の本数の少なくともいずれか一方を判断する。

この構成により、ユーザの細かなタッチ操作を区別して認識することができる。したがって、複雑な入力操作を受け付けることができる。

また、携帯端末１００において、制御部１０５は、操作面１３ａの操作情報として、カメラ１０３により撮影された操作面１３ａの形状、模様、または柔らかさのいずれかを利用して、操作面に触れられたことを判断する。

この構成により、環境光、そのほかの要因による誤認識を防止することができる。たとえば、操作面１３ａの形状、模様、または素材の柔らかさによって、タッチ操作した際における画像に特徴的な状態が生ずる場合がある。この特徴的な状態（たとえば、突起物の隙間が黒い、突起物の間隔が広くなる・狭くなるなど）を判断することで、タッチ操作をしていないにもかかわらず、タッチ操作をしたなどの誤認識を防止することができる。

また、携帯端末１００において、制御部１０５は、操作面１３ａの操作情報として、カメラ１０３により撮影された操作面１３ａの形状、模様、または柔らかさのいずれかを利用して、操作面１３ａの操作位置または操作圧力を判断する。

この構成により、環境光、そのほかの要因による誤認識を防止することができる。たとえば、操作面１３ａの形状、模様、または素材の柔らかさによって、タッチ操作した位置またはその圧力に特徴的な状態が生ずる。この特徴的な状態（たとえば、突起物の隙間が黒い、突起物の間隔が広くなる・狭くなる）を判断することで、タッチ操作をしていないにもかかわらず、タッチ操作をしたなどの誤認識を防止することができる。

また、携帯端末１００において、制御部１０５は、ユーザが操作していないときの操作面１３ａの画像に基づいて、当該ユーザの周囲の環境を示す環境情報を判断する。環境情報としては、室内の明るさ、色味、またはユーザの移動量の少なくとも一つを含むものとする。そして、制御部１０５は、環境情報を考慮して処理を行う。例えば、ユーザが存在する場所を屋内としたり、屋外とするなど、仮想空間を提供するためのＶＲ画面を生成する。また、ユーザの移動量については、例えば屋内であれば天井がどれだけ動いて見えたか（オプティカルフロー等）の情報を用いることで判断可能であり、その移動量をＶＲ画面に反映させることができる。

この構成により、ユーザの環境に応じた処理を行うことができる。したがって、よりリアルな仮想空間を提供することができる。

また、携帯端末１００において、発光部１０２と、発光部１０２により導光部材１３を介して投光された操作面１３ａを撮影するカメラ１０３と、カメラ１０３が、発光部１０２により投光された操作面１３ａを撮影することよって、カメラ１０３における発光特性を判断し、カメラ１０３の撮影条件を制御する制御部１０５と、を備える。

この構成により、操作面１３ａに対するタッチ操作を誤認識しないよう撮影条件を制御することができる。したがって、タッチ操作の認識精度を向上させることができる。

上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

例えば、本開示の一実施の形態における携帯端末１００などは、本開示のタッチ操作判断方法の処理を行うコンピュータとして機能してもよい。図８は、本開示の一実施の形態に係る携帯端末１００のハードウェア構成の一例を示す図である。上述の携帯端末１００は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。携帯端末１００のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

携帯端末１００における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述の制御部１０５は、プロセッサ１００１によって実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、制御部１０５は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係るタッチ操作判断方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）及び時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、上述の通信部１０６は、通信装置１００４によって実現されてもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、携帯端末１００は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

情報の通知は、本開示において説明した態様／実施形態に限られず、他の方法を用いて行われてもよい。例えば、情報の通知は、物理レイヤシグナリング（例えば、ＤＣＩ（Downlink Control Information）、ＵＣＩ（Uplink Control Information））、上位レイヤシグナリング（例えば、ＲＲＣ（Radio Resource Control）シグナリング、ＭＡＣ（Medium Access Control）シグナリング、報知情報（ＭＩＢ（Master Information Block）、ＳＩＢ（System Information Block）））、その他の信号又はこれらの組み合わせによって実施されてもよい。また、ＲＲＣシグナリングは、ＲＲＣメッセージと呼ばれてもよく、例えば、ＲＲＣ接続セットアップ（RRC Connection Setup）メッセージ、ＲＲＣ接続再構成（RRC Connection Reconfiguration）メッセージなどであってもよい。

本開示において説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ（4th generation mobile communication system）、５Ｇ（5th generation mobile communication system）、ＦＲＡ（Future Radio Access）、ＮＲ（new Radio）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ（登録商標））、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥ及びＬＴＥ－Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及びシンボルの少なくとも一方は信号（シグナリング）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ：Component Carrier）は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。

上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。

本開示においては、「移動局（ＭＳ：Mobile Station）」、「ユーザ端末（user terminal）」、「ユーザ装置（ＵＥ：User Equipment）」、「端末」などの用語は、互換的に使用され得る。

携帯端末を含む移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。

基地局及び移動局の少なくとも一方は、送信装置、受信装置、通信装置などと呼ばれてもよい。なお、基地局及び移動局の少なくとも一方は、移動体に搭載されたデバイス、移動体自体などであってもよい。当該移動体は、乗り物（例えば、車、飛行機など）であってもよいし、無人で動く移動体（例えば、ドローン、自動運転車など）であってもよいし、ロボット（有人型又は無人型）であってもよい。なお、基地局及び移動局の少なくとも一方は、必ずしも通信動作時に移動しない装置も含む。例えば、基地局及び移動局の少なくとも一方は、センサなどのＩｏＴ（Internet of Things）機器であってもよい。

本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

１０…端末装着装置、１０ａ…筐体部、１０ｂ…固定板、１１…装着機構、１２…穴部、１３…導光部材、１３ｂ…導光部材、１３ｃ…導光部材、１３ａ…操作面、１４…レンズ、１５…反射板、１００…携帯端末、１０１…カメラ、１０２…発光部、１０３…カメラ、１０４…タッチパネルディスプレイ、１０５…制御部、１０６…通信部。

Claims (6)

1. 撮影部を有する携帯端末の表示画面を、仮想空間としてユーザに提供するために、前記表示画面を前記ユーザの目に対して正対させる位置に固定して、前記ユーザが前記表示画面を視認可能に、前記携帯端末を装着可能にする装着部を有し、前記ユーザの頭部に装着可能な形状である筐体部と、
   前記携帯端末の発光部が発行した光を、前記筐体部の上面に配置されたユーザが触れることが可能な操作面に導光するための第２導光部材と、
   前記携帯端末の撮影部に向けて、前記操作面の操作状態を示した画像を導光することができる第１導光部材と、
   を備える端末装着装置に装着される携帯端末において、
   前記操作面を撮影する撮影部と、
   前記撮影部により撮影された操作面の操作情報を判断する判断部と、
   前記判断部により判断された操作情報に基づいた処理を行う処理部と、
   を備え、
   前記判断部は、前記操作面の操作情報として、前記ユーザが触れた接地面の大きさに基づいて前記操作面に対する圧力を判断する、
   携帯端末。
2. 撮影部を有する携帯端末の表示画面を、仮想空間としてユーザに提供するために、前記表示画面を前記ユーザの目に対して正対させる位置に固定して、前記ユーザが前記表示画面を視認可能に、前記携帯端末を装着可能にする装着部を有し、前記ユーザの頭部に装着可能な形状である筐体部と、
   前記携帯端末の発光部が発行した光を、前記筐体部の上面に配置されたユーザが触れることが可能な操作面に導光するための第２導光部材と、
   前記携帯端末の撮影部に向けて、前記操作面の操作状態を示した画像を導光することができる第１導光部材と、
   を備える端末装着装置に装着される携帯端末において、
   前記操作面を撮影する撮影部と、
   前記撮影部により撮影された操作面の操作情報を判断する判断部と、
   前記判断部により判断された操作情報に基づいた処理を行う処理部と、
   を備え、
   前記判断部は、前記操作面の操作情報として、前記撮影部により撮影された前記操作面の形状、模様、または柔らかさのいずれかを利用して、前記操作面に触れられたことを判断する、携帯端末。
3. 撮影部を有する携帯端末の表示画面を、仮想空間としてユーザに提供するために、前記表示画面を前記ユーザの目に対して正対させる位置に固定して、前記ユーザが前記表示画面を視認可能に、前記携帯端末を装着可能にする装着部を有し、前記ユーザの頭部に装着可能な形状である筐体部と、
   前記携帯端末の発光部が発行した光を、前記筐体部の上面に配置されたユーザが触れることが可能な操作面に導光するための第２導光部材と、
   前記携帯端末の撮影部に向けて、前記操作面の操作状態を示した画像を導光することができる第１導光部材と、
   を備える端末装着装置に装着される携帯端末において、
   前記操作面を撮影する撮影部と、
   前記撮影部により撮影された操作面の操作情報を判断する判断部と、
   前記判断部により判断された操作情報に基づいた処理を行う処理部と、
   を備え、
   前記判断部は、前記操作面の操作情報として、前記撮影部により撮影された前記操作面の形状、模様、または柔らかさのいずれかを利用して、前記操作面の操作位置または操作圧力を判断する、携帯端末。
4. 前記判断部は、前記操作面の操作情報として、前記ユーザが触れた接地面の画像に基づいて、予め定めた生態情報を判断する、請求項１～３のいずれか一項に記載の携帯端末。
5. 前記判断部は、前記操作面の操作情報として、前記ユーザが触れた接地面の画像に基づいて、前記ユーザが触れた指の種類および指の本数の少なくともいずれか一方を判断する、請求項１～４のいずれか一項に記載の携帯端末。
6. 前記判断部は、前記ユーザが操作をしていないときにおける前記撮影部が撮影した前記操作面の画像に基づいて、当該ユーザの周囲の環境を示す環境情報を判断し、前記環境情報を考慮した処理を行う、請求項１～５のいずれか一項に記載の携帯端末。

Images