JP6977991B2 - 入力装置および画像表示システム - Google Patents

入力装置および画像表示システム Download PDF

Info

Publication number
JP6977991B2
JP6977991B2 JP2017188009A JP2017188009A JP6977991B2 JP 6977991 B2 JP6977991 B2 JP 6977991B2 JP 2017188009 A JP2017188009 A JP 2017188009A JP 2017188009 A JP2017188009 A JP 2017188009A JP 6977991 B2 JP6977991 B2 JP 6977991B2
Authority
JP
Japan
Prior art keywords
virtual
unit
input device
input
elastic layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017188009A
Other languages
English (en)
Other versions
JP2018088240A (ja
Inventor
憲彦 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAITO INVENTIVE CORP.
Original Assignee
SAITO INVENTIVE CORP.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAITO INVENTIVE CORP. filed Critical SAITO INVENTIVE CORP.
Publication of JP2018088240A publication Critical patent/JP2018088240A/ja
Priority to JP2021116813A priority Critical patent/JP7209310B2/ja
Application granted granted Critical
Publication of JP6977991B2 publication Critical patent/JP6977991B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、入力装置および画像表示システムに関するものである。
従来から、三次元仮想空間に仮想立体構造物をアウトプットする装置として、3D立体テレビやヘッドマウントディスプレイ等が知られている。また、3D立体テレビやヘッドマウントディスプレイの三次元仮想空間に表示する仮想立体構造物は、例えばCAD(Computer−aided design)によって作成することができる。また、作成した仮想立体構造物の加工を行う際のデータ入力装置としては、一般的に、特許文献1に示すような公知のマウス、キーボード、コントローラー等が使用される。
特表2008−541268号公報
しかしながら、マウス、キーボード、コントローラー等の既存の入力装置では、繊細で直感的な入力を行うことができない。
本発明の目的は、繊細で直感的な入力を行うことのできる入力装置および画像表示システムを提供することにある。
このような目的は、下記の本発明により達成される。
(1) 互いに離間して設定された第1位置基準部および第2位置基準部を有する第1部材と、
互いに離間して設定された第3位置基準部および第4位置基準部を有する第2部材と、を有し、
前記第1位置基準部、前記第2位置基準部、前記第3位置基準部および前記第4位置基準部で定まる仮想面の情報が生成されることを特徴とする入力装置。
(2) 前記情報には、前記仮想面の形状、前記仮想面の傾きおよび前記仮想面の位置の少なくとも1つが含まれる上記(1)に記載の入力装置。
(3) 外力が入力される第1面および前記第1面の反対側の第2面が規定される弾性層と、
前記弾性層に配置され、前記弾性層の変形に伴って変位するマーカーと、
前記弾性層の前記第2面側に位置づけられ、前記マーカーの変位に基づいて前記弾性層の変形を検出する検出部と、を備える上記(1)または(2)に記載の入力装置。
(4) 前記マーカーは、前記弾性層の厚さ方向にずれて配置された第1マーカーおよび第2マーカーを有する上記(3)に記載の入力装置。
(5) 前記第1部材および前記第2部材は、分離されている上記(1)ないし(4)のいずれかに記載の入力装置。
(6) 前記第1部材および前記第2部材は、回動可能に連結されている上記(1)ないし(4)のいずれかに記載の入力装置。
(7) 前記第1部材および前記第2部材は、接近および離間が可能である上記(6)に記載の入力装置。
(8) 前記第1部材および前記第2部材は、合体および分離が可能である上記(6)または(7)に記載の入力装置。
(9) 前記第1部材および前記第2部材の一方は、使用者の右手に把持され、他方は、使用者の左手に把持される上記(1)ないし(8)のいずれかに記載の入力装置。
(10) 基体と、
前記基体に設けられ、互いに離間した第1位置基準部および第2位置基準部と、
前記基体に設けられ、所定方向を検出する方向検出部と、を有し、
前記第1位置基準部および前記第2位置基準部で定まる仮想直線と、前記所定方向と、で定まる仮想面の情報が生成されることを特徴とする入力装置。
(11) 前記所定方向は、鉛直方向である上記(10)に記載の入力装置。
(12) 前記仮想加工用具は、仮想物体に接触させる接触部を有し、
前記接触部は、前記仮想直線によって定められる上記(10)または(11)に記載の入力装置。
(13) 前記接触部を変形させる弾性入力部を有する上記(12)に記載の入力装置。
(14) 前記弾性入力部は、外力が入力される第1面および前記第1面の反対側の第2面が規定される弾性層と、
前記弾性層に配置され、前記弾性層の変形に伴って変位するマーカーと、
前記弾性層の前記第2面側に位置づけられ、前記マーカーの変位に基づいて前記弾性層の変形を検出する検出部と、を備える上記(13)に記載の入力装置。
(15) 仮想現実または拡張現実により生成される仮想物体の表面に前記仮想面を押し当てることで、前記仮想物体を加工することができる上記(1)ないし(14)のいずれかに記載の入力装置。
(16) 仮想現実または拡張現実に、前記仮想面に対応した仮想加工用具が表示される上記(15)に記載の入力装置。
(17) 前記仮想加工用具の前記仮想物体への接触を報知する報知部を有している上記(16)に記載の入力装置。
(18) 前記報知部は、振動部を有している上記(17)に記載の入力装置。
(19) 上記(1)ないし(18)のいずれかに記載の入力装置と、
画像を表示する画像表示装置と、を有することを特徴とする画像表示システム。
本発明によれば、第1位置基準部、第2位置基準部、第3位置基準部および第4位置基準部で定まる仮想面の情報に応じた信号を生成することができる。例えば、一方の手で第1部材を把持し、他方の手で第2部材を把持し、第1部材と第2部材とを捩じるようにして捜査して仮想面の形状を変形させたり、第1部材と第2部材との相対的位置関係を維持したままこれらを移動させたりすることで、繊細で直感的な入力を行うことができる。
また、本発明によれば、第1位置基準部および第2位置基準部で定まる仮想直線と、方向検出部で検出される所定方向と、で定まる仮想平面の情報に応じて入力信号が生成されるようになっている。そのため、例えば、基体を把持し、基体の姿勢を変化させたり、基体を移動させたりすることで、繊細で直感的な入力を行うことができる。
本発明の第1実施形態に係る画像表示システムの構成図である。 図1に示す画像表示装置に表示される仮想立体構造物の一例を示す図である。 入力装置の斜視図である。 入力装置によって形成される仮想面の一例を示す図である。 入力装置によって形成される仮想面の一例を示す図である。 入力装置によって形成される仮想面の一例を示す図である。 仮想立体構造物の加工方法を示す図である。 仮想立体構造物の加工方法を示す図である。 仮想立体構造物の別の加工方法を示す図である。 報知部の作動を説明するための図である。 報知部の作動を説明するための図である。 報知部の作動を説明するための図である。 報知部の変形例を示す図である。 本発明の第2実施形態の入力装置を示す平面図である。 図14に示す入力装置が有する弾性入力部の断面図である。 図15に示す弾性入力部への入力方法を示す断面図である。 図15に示す弾性入力部の機能を説明する図である。 図15に示す弾性入力部の機能を説明する図である。 弾性入力部の変形例を示す断面図である。 弾性入力部の変形例を示す断面図である。 弾性入力部の変形例を示す断面図である。 本発明の第3実施形態の入力装置を示す平面図である。 本発明の第4実施形態の入力装置を示す平面図である。 本発明の第5実施形態の入力装置を示す斜視図である。 図24に示す入力装置の側面図である。 図24に示す入力装置の使用方法の一例を示す図である。 本発明の第6実施形態の入力装置を示す断面図である。 本発明の第7実施形態の入力装置を示す断面図である。 本発明の第8実施形態の入力装置を示す断面図である。 本発明の第9実施形態の入力装置を示す断面図である。 本発明の第10実施形態の入力装置を示す断面図である。 本発明の第11実施形態の入力装置を示す断面図である。 本発明の第12実施形態の入力装置を示す断面図である。 本発明の第13実施形態の入力装置を示す断面図である。 本発明の第14実施形態の入力装置を示す断面図である。 本発明の第14実施形態の入力装置を示す断面図である。 本発明の第14実施形態の入力装置を示す断面図である。 本発明の第15実施形態の入力装置を示す平面図である。 仮想立体構造物の一例を示す図である。 仮想立体構造物の加工方法を示す図である。 報知部の作動を説明するための図である。 報知部の作動を説明するための図である。 報知部の作動を説明するための図である。 本発明の第16実施形態の入力装置を示す平面図である。 図44に示す入力装置の側面図である。 図44に示す入力装置が有する弾性入力部を示す横断面図である。 弾性入力部の機能を説明する図である。 弾性入力部の機能を説明する図である。
以下、本発明の入力装置および画像表示システムを添付図面に示す好適な実施形態に基づいて詳細に説明する。
<第1実施形態>
まず、本発明の第1実施形態に係る画像表示システムについて説明する。
図1は、本発明の第1実施形態に係る画像表示システムの構成図である。図2は、図1に示す画像表示装置に表示される仮想立体構造物の一例を示す図である。図3は、入力装置の斜視図である。図4ないし図6は、それぞれ、入力装置によって形成される仮想面の一例を示す図である。図7および図8は、それぞれ、仮想立体構造物の加工方法を示す図である。図9は、仮想立体構造物の別の加工方法を示す図である。図10ないし図12は、それぞれ、報知部の作動を説明するための図である。図13は、報知部の変形例を示す図である。
図1に示す画像表示システム100は、入力装置200と、画像表示装置300と、端末400と、を有している。
[画像表示装置]
画像表示装置300は、使用者の頭部に固定して用いられるVR(仮想現実)用のヘッドマウントディスプレイであり、公知のものを用いることができる。また、画像表示装置300は、ポジショントラッキング機能を有していることが好ましい。これにより、空間内での使用者の位置を認識することができ、使用者の移動に応じて画像表示装置300の画像を変化(追従)させることができる。そのため、より現実感のある画像表示システム100となる。
なお、画像表示装置300としては、AR(拡張現実)用のヘッドマウントディスプレイを用いてもよい。また、画像表示装置300としては、仮想立体構造物(仮想物体)を表示することができればヘッドマウントディスプレイに限定されず、使用者の周囲に設置されているディスプレイであってもよい。また、スクリーンとプロジェクターを用いたものであってもよい。
[端末]
端末400は、特に限定されず、例えば、パーソナルコンピューター、タブレット端末、ワークステーション、ゲームマシン、スマートフォン等で構成されている。また、端末400は、例えば、CAD(Computer−aided design)等のシステムを用いて、図2に示すように、画面310に、仮想立体構造物Xおよび仮想立体構造物Xを加工するための仮想加工用具900を表示する。また、端末400は、入力装置200からの入力信号に基づいて画面310内で仮想加工用具900を動かし、仮想加工用具900の動きに応じて仮想立体構造物Xの形状を変化させる。これにより、使用者は、仮想立体構造物Xが仮想加工用具900によって加工される様を確認できる。
[入力装置]
入力装置200は、使用者が把持して使用するものである。図3に示すように、入力装置200は、対をなし、互いに分離された第1部材210および第2部材220を有している。そして、第1部材210および第2部材220の一方は、使用者の右手に把持され、他方は、使用者の左手に把持される。なお、図3では、第1部材210を右手で把持し、第2部材220を左手で把持している。
また、第1部材210には互いに離間して設定された第1位置基準部231および第2位置基準部232が設けられており、第2部材220には互いに離間して設定された第3位置基準部233および第4位置基準部234が設けられている。そして、入力装置200では、第1位置基準部231、第2位置基準部232、第3位置基準部233および第4位置基準部234で定まる仮想面Fの情報(以下、「仮想面情報」ともいう。)が生成されるようになっている。なお、第1位置基準部231、第2位置基準部232、第3位置基準部233および第4位置基準部234で定まる仮想面Fとは、例えば、第1位置基準部231、第2位置基準部232、第3位置基準部233および第4位置基準部234と交わる仮想面Fや、第1位置基準部231、第2位置基準部232、第3位置基準部233および第4位置基準部234を角とする略矩形状の仮想面Fのことを言う。
画像表示システム100は、仮想面情報を生成する生成部500を有している。このような生成部500は、例えば、第1部材210または第2部材220に内蔵されていたり、端末400や画像表示装置300に内蔵されていたりする。なお、本実施形態では、生成部500は、端末400に内蔵されている。
また、生成部500が生成する仮想面情報には、仮想面Fの形状、仮想面Fの傾きおよび仮想面Fの位置の少なくとも1つが含まれていることが好ましく、これら全てが含まれていることがより好ましい。このような情報が仮想面情報に含まれていることで、後述するような仮想立体構造物Xの加工をより精度よく行うことができる。
第1位置基準部231〜第4位置基準部234の構成としては、それぞれ、現実空間内での位置を検知することができれば特に限定されず、例えば、各種ポジショントラッキング技術に用いられる構成とすることができる。例えば、第1位置基準部231〜第4位置基準部234は、それぞれ、赤外線を出射する赤外線出射部を備える構成とすることができる。この場合、各第1位置基準部231〜第4位置基準部234から出射された赤外線を、空間内に配置した複数の赤外線カメラで検知することで、空間内での各第1位置基準部231〜第4位置基準部234の位置を検知することができる。また、第1位置基準部231〜第4位置基準部234は、それぞれ、ポイント(マーカー)であり、これらポイントを空間内に配置した複数のカメラで検知することで、空間内での各第1位置基準部231〜第4位置基準部234の位置を検知してもよい。
また、第1位置基準部231〜第4位置基準部234の構成としては、例えば、GPS(Globle Postioning System)等の空間内での位置を検知する装置や、気圧センサー等の空間内での高さ(高度)を検知する装置や、3軸加速度センサー(互いに直交するX軸、Y軸およびZ軸のそれぞれの軸方向の加速度を検知することのできるセンサー)および3軸角速度センサー(互いに直交するX軸、Y軸およびZ軸のそれぞれの軸まわりの角速度を検知することのできるセンサー)を組み合わせた6軸モーションセンサー等の傾きを検知する装置を用いてもよく、これらのうちの2つ以上を組み合わせて用いてもよい。
ここで、第1部材210は、略矩形の板状をなしており、その側面に、使用時に第2部材220に対向させる第1対向面211を有している。同様に、第2部材220は、板状をなしており、その側面に、使用時に第1部材210に対向させる第2対向面221を有している。すなわち、入力装置200は、第1部材210の第1対向面211と第2部材220の第2対向面221とを対向させた状態で使用される。そのため、第1部材210と第2部材220とが面状に配置され、使用者が仮想面Fをイメージし易くなる。ただし、第1部材210および第2部材220のそれぞれの形状としては、特に限定されず、例えば、板状をなしていなくてもよい。
また、第1対向面211と第2対向面221とを対向させて配置したとき、これら第1、第2対向面211、221の並び方向であって、第1部材210の第1対向面211と反対側の端部には第1部材210を把持するための把持部212が設けられており、第2部材220の第2対向面221と反対側の端部には第2部材220を把持するための把持部222が設けられている。把持部212は、第1部材210を第1対向面211とは反対側から握るように形成(形状付け)されており、把持部222は、第2部材220を第2対向面221とは反対側から握るように形成(形状付け)されている。そのため、第1部材210を右手で把持し、第2部材220を左手で把持すると、第1対向面211と第2対向面221とが自然に向き合うようになっている。このような構成とすることで、入力装置200の操作性が向上する。
また、第1部材210に設けられた第1、第2位置基準部231、232は、第1対向面211に沿って配置されている。すなわち、第1、第2位置基準部231、232を結ぶ線分が第1対向面211とほぼ平行となっている。特に、本実施形態では、第1、第2位置基準部231、232を結ぶ線分が第1部材210の厚さ方向に対してほぼ直交している。同様に、第2部材220に設けられた第3、第4位置基準部233、234は、第2対向面221に沿って配置されている。すなわち、第3、第4位置基準部233、234を結ぶ線分が第2対向面221とほぼ平行となっている。特に、本実施形態では、第3、第4位置基準部233、234を結ぶ線分が第2部材220の厚さ方向に対してほぼ直交している。第1位置基準部231〜第4位置基準部234をこのような配置とすることで、使用者が仮想面Fをイメージし易くなる。
次に、画像表示システム100の使用方法(入力装置200の操作方法)について一例をあげて説明する。以下では、画像表示システム100を用いて自動車のデザインを行う方法について説明するが、画像表示システム100の使用方法(入力装置200の入力方法)については、特に限定されない。
図2に示すように、画面310には、加工対象である仮想立体構造物Xと、仮想面Fに対応し、仮想立体構造物Xを加工するための仮想加工用具900(例えば「ヘラ」のような工具)とが表示される。仮想立体構造物Xは、工業用クレイに見立てたものであり、仮想空間での位置が固定されている。そのため、使用者が移動することで、仮想立体構造物Xを前方から見たり、後方から見たり、横側から見たりすることができる。一方、仮想加工用具900は、板状の本体910と、本体910に設けられ、仮想立体構造物Xに接触させる刃部920(接触部)とを有している。このような仮想加工用具900は、仮想面Fに対応しており(仮想面F上に表示され)、特に、刃部920の位置および傾きは、仮想面Fの下辺の位置および傾きに対応している。そのため、使用者は、自身が把持している入力装置200を刃部920と対応付けることができ、より直感的な入力(操作)が可能となる。また、画面310に仮想加工用具900が表示されることで、より現実空間に近い状態(感覚)で、仮想立体構造物Xを加工することができる。
例えば、図4に示すように、第1部材210と第2部材220とが同一平面上に位置しているとき、仮想面Fは、矩形状の平坦面となり、対応する仮想加工用具900も矩形状で、刃部920が直線状のものとなる。なお、以下では、この状態を「基準状態」ともいる。
また、図5に示すように、基準状態から第2部材220を奥側に回転させると、仮想面Fは、捩じれた湾曲面となる。そのため、仮想加工用具900は、基準状態から捩じれた形状となる。また、第1部材210と第2部材220とを離間させると、仮想面Fが伸びる。そのため、仮想加工用具900は、基準状態から伸びた形状となる。また、図6に示すように、第1部材210と第2部材220と円弧状(扇状)に離間させると、仮想面Fは、円弧状に湾曲した平坦面となる。そのため、仮想加工用具900は、基準状態から円弧状に湾曲した形状となる。このように、第1、第2部材210、220を操作することで、仮想加工用具900の形状を自在に変化させることができる。
このような仮想加工用具900は、第1位置基準部231、第2位置基準部232、第3位置基準部233および第4位置基準部234のそれぞれの位置情報を取得した生成部500により生成され、画像表示装置300の画面310に表示されると共に、入力装置200の変位に応じて画面310内で変位する。
このような構成では、刃部920を仮想立体構造物Xに接触させることで、刃部920によって仮想立体構造物Xを加工することができる。具体的には、例えば、図7に示すように、仮想加工用具900の刃部920を仮想立体構造物Xの角に押し当てながらスライドさせると、その角を削り取ることができる。また、この際、刃部920を湾曲させることで、仮想立体構造物Xの角に丸みを付けることもできる。また、例えば、図8に示すように、刃部920の端921を仮想立体構造物Xの面に押し当てながらスライドさせると、その面に溝や段差を形成することができる。このように、入力装置200を用いて仮想加工用具900を操作し、仮想立体構造物Xを加工することで、自動車をデザインすることができる。特に、入力装置200によれば、第1、第2部材210、220を両手で操作するため、仮想立体構造物の加工が現実の動作に近くなる。そのため、繊細で直感的な入力を行うことができ、仮想立体構造物Xの加工をより精密に行うことができる。
また、別の具体例として、例えば、画面310には、図9に示すように、仮想面Fから下方に突出し、かつ仮想面Fに対して直交する仮想加工用具900が表示されるようになっている。そして、この仮想加工用具900を仮想立体構造物Xに接触させることで、仮想立体構造物Xを加工するようになっていてもよい。なお、本実施形態では、仮想面Fの中央部から突出するように仮想加工用具900が配置されているが、仮想加工用具900の配置としては、特に限定されず、例えば、仮想面Fの端部に配置されていてもよい。
ここで、図3に示すように、入力装置200には少なくとも1つのボタンを有する入力部290が設けられている。入力部290としては、特に限定されず、例えば、図7ないし図9に示したような仮想立体構造物Xへの入力(加工)をキャンセルすることのできるキャンセルボタンや、仮想立体構造物Xを回転させるためのボタンや、仮想面Fの形状を固定するボタン等を含む構成とすることができる。このような入力部290を有することで、仮想立体構造物Xの加工をより容易に行うことができる。なお、入力部290のボタンの配置としては、特に限定されないが、使用者が第1部材210および第2部材220を把持した状態で操作し易い場所に配置することが好ましい。本実施形態では、第1部材210の把持部212近傍と、第2部材220の把持部222近傍とにそれぞれ3つずつ配置されており、それぞれの手の親指で操作できるようになっている。
また、図3に示すように、入力装置200には報知部250が設けられている。報知部250は、第1部材210に配置された第1報知部251と、第2部材220に配置された第2報知部252と、を有し、第1報知部251および第2報知部252によって仮想立体構造物Xに対する仮想加工用具900の接触状態が報知されるようになっている。ここで、前記「接触状態」には、例えば、仮想立体構造物Xに対する仮想加工用具900の接触強度や接触角度が挙げられる。このような報知部250を有することで、使用者が仮想立体構造物Xに対する仮想加工用具900の接触状態を認識し易くなり、仮想立体構造物Xをより思い通りに加工することができる。
ここで、第1報知部251は、振動部2511を有しており、第2報知部252は、振動部2521を有している。これら振動部2511、2521は、それぞれ、例えば、携帯電話(スマートフォンを含む)に内蔵されているようなバイブレーターで構成することができる。第1報知部251および第2報知部252をこのような構成とすることで、より確実に、仮想立体構造物Xに対する仮想加工用具900の接触状態を使用者に報知することができる。
特に、本実施形態では、振動部2511は、第1位置基準部231と第2位置基準部232とに対応するように2つ配置されている。すなわち、第1位置基準部231の近傍に一方の振動部2511が配置されており、第2位置基準部232の近傍に他方の振動部2511が配置されている。同様に、振動部2521は、第3位置基準部233と第4位置基準部234とに対応するように2つ配置されている。すなわち、第3位置基準部233の近傍に一方の振動部2521が配置されており、第4位置基準部234の近傍に他方の振動部2521が配置されている。
例えば、図10に示すように、仮想加工用具900を仮想立体構造物Xに押し当てた際、その接触強度が強い程、報知部250全体の振動が大きくなる。なお、接触強度は、仮想加工用具900が仮想立体構造物Xと接触する状態に対応する入力装置200の位置と、現実の入力装置200の位置とのずれに基づいて求めることができる。すなわち、入力装置200が図10の実線で示す状態のときに、仮想加工用具900が仮想立体構造物Xに接触するとすれば、その位置と現実の入力装置200の位置(鎖線で示す状態)との接触方向(押し当て方向)におけるずれ量が大きい程、接触強度が大きいとすることができる。
また、例えば、図11に示すように、仮想加工用具900を仮想立体構造物Xに押し当てた際、第1部材210側の接触強度と第2部材220側の接触強度とが等しい場合には、第1報知部251の振動強度と第2報知部252の振動強度とを等しくする。また、第1部材210側の接触強度が第2部材220側の接触強度よりも大きい場合には、第1報知部251の振動強度を第2報知部252の振動強度よりも大きくし、第1部材210側の接触強度と第2部材220側の接触強度との差が大きい程、第1報知部251の振動強度と第2報知部252の振動強度との差が大きくなる。反対に、第1部材210側の接触強度が第2部材220側の接触強度よりも小さい場合には、第1報知部251の振動強度を第2報知部252の振動強度よりも小さくし、第1部材210側の接触強度と第2部材220側の接触強度との差が大きい程、第1報知部251の振動強度と第2報知部252の振動強度との差が大きくなる。
また、例えば、図12に示すように、仮想加工用具900を仮想立体構造物Xの角に押し当てた際、刃部920が仮想立体構造物Xの角に均等に接している場合、すなわち、刃部920と面X1とのなす角θ1と、刃部920と面X2とのなす角θ2が等しい場合には、第1報知部251の振動強度と第2報知部252の振動強度とを等しくする。これに対して、刃部920が面X1側に傾いている場合、すなわち、θ1<θ2の場合には、第1報知部251の振動強度を第2報知部252の振動強度よりも大きくし、θ1とθ2との差が大きい程、第1報知部251の振動強度と第2報知部252の振動強度との差が大きくなる。反対に、刃部920が面X2側に傾いている場合、すなわち、θ1>θ2の場合には、第1報知部251の振動強度を第2報知部252の振動強度よりも小さくし、θ1とθ2との差が大きい程、第1報知部251の振動強度と第2報知部252の振動強度との差が大きくなる。
このように、接触状態によって報知部250の全体の振動強度を変化させたり、第1報知部251と第2報知部252の振動強度に差を付けたりすることで、使用者が仮想立体構造物Xに対する仮想加工用具900の接触状態を認識し易くなり、仮想立体構造物Xをより思い通りに加工することができる。
なお、振動部2511、2521の数や配置は、特に限定されない。例えば、図13に示すような配置で、振動部2511、2521が設けられていてもよい。
<第2実施形態>
次に、本発明の第2実施形態に係る画像表示システムについて説明する。
図14は、本発明の第2実施形態の入力装置を示す平面図である。図15は、図14に示す入力装置が有する弾性入力部の断面図である。図16は、図15に示す弾性入力部への入力方法を示す断面図である。図17および図18は、それぞれ、図15に示す弾性入力部の機能を説明する図である。図19ないし図21は、それぞれ、弾性入力部の変形例を示す断面図である。
本実施形態に係る画像表示システムは、入力装置の構成が異なること以外は、前述した第1実施形態の画像表示システムと同様である。
なお、以下の説明では、第2実施形態の画像表示システムに関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図14ないし図20では前述した実施形態と同様の構成について、同一符号を付している。
図14に示すように、本実施形態の入力装置200は、入力部290とは別に、入力部290とは異なる構成の弾性入力部600を有している。このような弾性入力部600は、第1部材210および第2部材220のうちの一方にのみ設けられていてもよいし、両方に設けられていてもよい。なお、本実施形態では、弾性入力部600は、第1部材210にのみ設けられている。
図15に示すように、弾性入力部600は、中空状の筐体610と、筐体610の外側に配置され、筐体610の外周面に配置された弾性層620と、弾性層620に配置されたマーカーMと、筐体610の内側に配置され、弾性層620の変形を検出する検出部630と、弾性層620を照らす光源640と、検出部630の検出結果から入力信号を生成する信号生成部650と、を有している。
筐体610は、弾性層620を内側から支持している。また、筐体610は、中空の半球体をなし、その内側に内部空間Sを有している。筐体610の外周面には弾性層620が配置されており、内部空間Sに検出部630および光源640が収納されている。なお、筐体610の形状としては、特に限定されず、入力装置200の用途によって適宜設定することができる。
また、筐体610は、硬質な部材、具体的には指による押圧程度では実質的に変形しない程度の硬さを有する部材で構成されている。また、筐体610は、光透過性を有している。本実施形態では、筐体610は、樹脂材料で構成されており、実質的に無色透明である。なお、筐体610は、例えば、弾性層620が筐体610に支持されなくても実質的に一定の形状を保つことができるような場合等には、省略してもよい。
弾性層620は、使用者により操作される入力部としての機能を有する。例えば、弾性層620を押したり、摘まんだり、伸ばしたりすることで弾性入力部600への入力を行うことができる。これらの各動作は、人間が日常、特に意識することなく行っている動作である。また、弾性層620は、反発によって弾性層620に触れた使用者に対して「何か物に触れている」との感覚を与えることもできる。そのため、使用者は、弾性層620への直感的な入力が可能となる。また、使用者は、弾性層620への入力の強さ、方向、速度等を繊細なタッチ(感覚)で自由に決定することができるため、より細かい入力が可能となる。
また、弾性層620は、外力が入力される外周面620a(第1面)および外周面620aの反対側の内周面620b(第2面)が規定される層である。このような弾性層620は、弾性を有しており、弾性変形が可能である。具体的には、弾性層620は、使用者が押したり、引っ張ったり、摘まんだりすることで弾性変形する程度に柔らかい弾性を有している。
また、弾性層620は、筐体610の外周面側に位置し、筐体610を覆って配置されている。そのため、弾性層620は、その内周面620b側から筐体610に支持されていると言える。また、弾性層620は、筐体610の外形に倣った形状、すなわち半球状となっている。このように、弾性層620を半球状、すなわち凸状に湾曲した部分を有する形状とすることで、弾性層620への入力をより自然に行うことができる。また、弾性層620を引っ張り易くもなるし、摘まみ易くもなるため、その分、より繊細な入力を行うことができる。
このような弾性層620には、弾性層620の変形によって変位するマーカーMが配置されている。このマーカーMは、検出部630で検出可能な検出対象である。マーカーMは、弾性層620の厚さ方向にずれて配置された第1マーカー621、第2マーカー622および第3マーカー623を有している。また、第1マーカー621、第2マーカー622および第3マーカー623は、それぞれ、ドット状すなわち点形状をなしている。また、これら第1マーカー621、第2マーカー622および第3マーカー623は、筐体610からの距離が互いに異なっている。
これら第1マーカー621、第2マーカー622および第3マーカー623は、それぞれ、弾性層620の変形に伴って変位する。そのため、第1マーカー621、第2マーカー622および第3マーカー623の変位に基づいて弾性層620の変形を検出でき、さらには、弾性層620の変形から弾性層620への入力を検出することができる。
また、弾性層620は、筐体610の外周に配置され、第1マーカー621を有する第1弾性層624(第1マーカー配置層)と、第1弾性層624上に配置され、第2マーカー622を有する第2弾性層625(第2マーカー配置層)と、第2弾性層625上に配置され、第3マーカー623を有する第3弾性層626(第3マーカー配置層)と、第3弾性層626上に配置された保護層627と、を有している。
第1弾性層624は、光透過性および弾性(復元力)を有している。そして、第1弾性層624の表面に複数の第1マーカー621が互いに離間して配置されている。また、第2弾性層625は、光透過性および弾性(復元力)を有している。そして、第2弾性層625の表面に複数の第2マーカー622が互いに離間して配置されている。また、第3弾性層626は、光透過性および弾性(復元力)を有している。そして、第3弾性層626の表面に複数の第3マーカー623が互いに離間して配置されている。
本実施形態では、これら第1、第2、第3弾性層624、625、626は、それぞれ、実質的に無色透明である。ただし、第1、第2、第3弾性層624、625、626は、光透過性を有していれば、その少なくとも1つが、例えば、有色透明であってもよい。
なお、第1、第2、第3弾性層624、625、626の構成材料としては、特に限定されず、例えば、ポリウレタン系エラストマー、スチレン系熱可塑性エラストマー、オレフィン系熱可塑性エラストマー、塩ビ系熱可塑性エラストマー、エステル系熱可塑性エラストマー、アミド系熱可塑性エラストマー、シリコーン系熱可塑性エラストマー、フッ素系熱可塑性エラストマー等の各種熱可塑性エラストマー、アクリル系ゴム、シリコーン系ゴム、ブタジエン系ゴム、スチレン系ゴム等の各種ゴム材料等が挙げられ、これらのうちの1種または2種以上を組み合わせて(例えば2層以上の積層体として)用いることができる。
また、第1、第2、第3弾性層624、625、626の弾性率(ヤング率)は、それぞれ、特に限定されず、互いに等しくてもよいし、互いに異なっていてもよい。第1、第2、第3弾性層624、625、626の弾性率を異ならせる場合には、例えば、第1弾性層624のヤング率をE1とし、第2弾性層625のヤング率をE2とし、第3弾性層626のヤング率をE3としたとき、E1<E2<E3の関係を満足するように設計してもよいし、反対に、E1>E2>E3の関係を満足するように設計してもよい。
例えば、E1>E2>E3の関係を満足するように設計した場合、弱い力F1の入力では、最も柔らかい第3弾性層626だけを実質的に変形させ、力F1よりも大きい力F2の入力では、第2、第3弾性層625、626だけを実質的に変形させ、力F2よりも大きい力F3の入力では、第1、第2、第3弾性層624、625、626を変形させるといった設計を実現することができる。この場合には、どの弾性層のマーカーMが変位したかを検出することで、入力強度を大まかに検出することができる。
また、第1、第2、第3マーカー621、622、623は、形状および色彩の少なくとも一方が互いに異なっており、検出部630によって識別可能となっている。本実施形態では、第1、第2、第3マーカー621、622、623は、互いに色彩が異なっており、例えば、第1マーカー621が赤色、第2マーカー622が緑色、第3マーカー623が青色となっている。なお、第1、第2、第3マーカー621、622、623の色彩ではなく形状を互いに異ならせる場合には、例えば、第1マーカー621を円形、第2マーカー622を三角形、第3マーカー623を四角形とすることができる。もちろん、色彩および形状を共に異ならせてもよいし、色彩や形状を異ならせる以外の方法によって第1、第2、第3マーカー621、622、623を検出部630で識別可能としてもよい。
また、第1、第2、第3マーカー621、622、623は、自然状態において、検出部630のカメラ631から見て互いに重ならないように配置されていることが好ましい。すなわち、カメラ631によって撮像される画像上で、第2マーカー622がその手前にある第1マーカー621に隠れることなく、第3マーカー623がその手前にある第1、第2マーカー621、622に隠れることがないように配置されていることが好ましい。これにより、カメラ631によって、弾性層620への入力時における第1、第2、第3マーカー621、622、623の変位をそれぞれより正確に捉えることができる。そのため、信号生成部650は、より精度のよい入力信号を生成することができる。なお、前記「自然状態」とは、例えば、静止した状態で、弾性層620に使用者が触れていない状態(言い換えると、実質的に重力以外の外力が加わっていない状態)を言う。
なお、第1、第2、第3マーカー621、622、623の構成は、それぞれ、検出部630で検出可能であれば、特に限定されない。例えば、第1、第2、第3マーカー621、622、623は、ドット状すなわち点形状に限定されず、線形状、面形状、立体形状等であってもよい。また、例えば、第1、第2、第3マーカー621、622、623は、それぞれ、第1、第2、第3弾性層624、625、626の表面に貼着されたものであってもよいし、第1、第2、第3弾性層624、625、626の表面にインク等を用いて印刷されたものであってもよい。また、例えば、弾性層620を覆うように被せる球状のシート体にマーカーMを配置した構成であってもよい。また、例えば、第1、第2、第3マーカー621、622、623は、それぞれ、第1、第2、第3弾性層624、625、626内に埋設されていてもよい。
保護層627は、主に、第3弾性層626を保護する機能を有している。また、保護層627は、第1、第2、第3弾性層624、625、626と同様に、光透過性および弾性を有している。本実施形態では、保護層627は、無色透明である。ただし、保護層627は、有色透明であってもよい。このような保護層627の構成材料としては、特に限定されないが、例えば、前述した第1、第2、第3弾性層624、625、626の構成材料と同様の材料が挙げられる。
以上のような弾性入力部600では、弾性層620を押したり、摘まんだり、伸ばしたりすることで入力が行われる。これらの動作は、人間が日常で行っている動作であるため、直感的な入力が可能となる。また、弾性層620への入力の強さ、方向、速度等を繊細なタッチ(感覚)で行うことができるため、繊細な入力が可能となる。なお、本実施形態では、弾性入力部600は、使用者の親指で操作できるようになっている。親指を用いることで、弾性入力部600への入力がし易くなると共に、より繊細な入力が可能となる。
検出部630は、ステレオ写真法によって、弾性層620の変形を三次元的に検出する。このように、ステレオ写真法を用いることで、弾性層620の変形を比較的簡単に、かつ、精度よく検出することができる。
検出部630は、内部空間S内に配置された複数のカメラ631を有している。各カメラ631は、弾性層620の方を向いて配置されており、弾性層620を撮像可能となっている。また、弾性層620の各部は、少なくとも2つのカメラ631で撮像できるようになっており、これにより、弾性層620の各部を三次元画像認識、すなわちステレオ画像認識することができるようになっている。カメラ631としては、特に限定されず、例えば、CCDカメラ、CMOSカメラ等を用いることができる。
なお、本実施形態では、2つのカメラ631を用いて弾性層620の各部を三次元画像認識しているが、これに限定されず、例えば、複数の光軸を有するレンズを用いて1つのカメラ631で複数の画像を時分割で取得し、これらの画像を用いて弾性層620の各部を三次元画像認識してもよい。このような構成によれば、撮像部の小型化および低コスト化を図ることができる。
また、検出部630は、各カメラ631からの画像情報に基づいて弾性層620の三次元画像認識を行う処理部632を有している。処理部632は、例えば、各カメラ631等の各部を制御するCPU632a、メモリー632b、フラッシュメモリー等の記憶部632c等を含んでおり、所定のプログラム(コード)を実行できるように構成されている。なお、前記プログラムは、例えば、記憶媒体に記憶されていてもよいし、外部のサーバーからダウンロードしてもよい。
ここで、前述したように、弾性入力部600への入力は、弾性層620を押したり、摘まんだり、伸ばしたり、引っ張ったりすることで行われる。そして、この入力に応じて弾性層620が変形し、当該変形に伴って第1、第2、第3マーカー621、622、623がそれぞれ変位する。具体的な例を挙げれば、例えば、図16に示すように、弾性層620のある部分が押されて変形した場合には、その直下および周囲に位置する第1、第2、第3マーカー621、622、623がそれぞれ受けた力に応じて変位する。処理部632は、このような第1、第2、第3マーカー621、622、623の変位を三次元画像認識によって検出し、その検出結果に基づいて、入力位置、入力方向、入力強度、入力速度、入力加速度等を含む入力情報(接触入力情報)を得る。
このように、弾性層620に第1、第2、第3マーカー621、622、623が配置されていることで、検出部630は、第1、第2、第3マーカー621、622、623の変位に基づいて、弾性層620の変形をより精度よく検出することができる。特に、本実施形態では、第1、第2、第3マーカー621、622、623が弾性層620の厚さ方向にずれて配置されている。そのため、検出部630は、弾性層620の厚さ方向に異なる位置での変形を検出することができ、弾性層620の変形をより詳細に検出することができる。
ここで、処理部632による入力情報の取得方法の一例について簡単に説明する。処理部632の記憶部632cには予め各カメラ631の3次元座標が記憶されている。そして、処理部632は、所定マーカーMの変位を検出するのに用いられる2台のカメラ631によって同時刻における画像を取得し、両画像中の所定マーカーMの2次元座標を取得する。次に、処理部632は、両画像中の所定マーカーMの2次元座標のずれと各カメラ631の3次元座標とに基づいて所定マーカーMの3次元座標を取得し、記憶部632cに記憶する。処理部632は、この作業をフレーム毎に連続的に行う。そして、処理部632は、前回取得した前記所定マーカーMの3次元座標と、今回新たに取得した前記所定マーカーMの3次元座標とを比較することで、その間に生じた所定マーカーMの変位を検出する。処理部632は、このような作業を全マーカーMについて行うことで、入力情報を得ることができる。なお、各カメラ631のフレームレートとしては、特に限定されず、例えば、15フレーム/秒、30フレーム/秒、60フレーム/秒等とすることができる。
以上、処理部632による入力情報の取得方法について説明したが、入力情報の取得方法は、これに限定されない。例えば、全マーカーMについて上述の作業を行うと処理量が膨大となってしまい、処理部632の性能等によっては処理が追いつかない場合が考えられる。また、用途によっては、大まかな入力情報が得られれば、それで足りる場合も考えられる。そのため、このような場合には、例えば、処理部632は、予め選択した一部のマーカーMについてのみ上述の作業を行うようにしてもよい。
また、処理部632は、例えば、自然状態における弾性層620の各部の画像を基準画像として記憶しておき、この基準画像と、上述のように得られた画像とをリアルタイムに比較して第1、第2、第3マーカー621、622、623の変位を特定することで、上記の入力情報を得てもよい。
なお、処理部632での処理方法としては、上述の方法に限定されず、例えば、自然状態における画像と入力が行われた状態における画像とをリアルタイムに比較して、第1、第2、第3マーカー621、622、623の変位を特定することで、上記の入力信号を生成することもできる。
信号生成部650は、検出部630が取得した入力情報(接触入力情報)を受信し、受信した入力情報に基づいて入力信号(接触入力信号)を生成する。なお、このような信号生成部650は、検出部630に含まれていてもよい。
なお、本実施形態では、処理部632および信号生成部650が入力装置200内に配置されているが、これに限定されず、例えば、端末400や画像表示装置300が有していてもよいし、クラウド上に有していてもよい。
ここで、本実施形態では、弾性層620の各層624、625、626、627が無色透明である。そのため、カメラ631は、弾性層620を介して弾性入力部600の外界を撮像することができる。そのため、処理部632は、使用者の指の動きを捉えることができ、弾性層620に触れることのない入力、または、マーカー621、622、623が変位しない程度に軽く触れた状態での入力が可能となる。具体的には、例えば、弾性層620を撫でるように親指を動かすと、この親指の動きを処理部632が認識し、その動きに基づく入力情報から入力信号を生成することが可能となる。前述したような接触型の入力に加えて、このような非接触型の入力が可能となることで、弾性入力部600への入力の多様性が増し、操作性および利便性が向上する。
例えば、非接触型の入力に基づく入力信号は、画像認識した指と重なる部分のマーカー621、622、623が変位していない場合に生成され、画像認識した指と重なる部分のマーカー621、622、623が変位している場合には、接触型の入力に基づいた入力信号のみを生成するようになっていることが好ましい。これにより、誤った入力信号の生成を低減することができる。また、接触型の入力と非接触型の入力とを同時に行うことができるようになっていてもよい。すなわち、例えば、ある指で接触型の入力をしつつ、別の指で非接触型の入力を行うことができるようになっていてもよい。
なお、非接触型の入力は、必須ではなく、できなくてもよい。この場合、保護層627は、光透過性を有する必要がないため、光透過性を有していなくてもよい。保護層627が光透過性を有しなければ、光源640の光が弾性入力部600の外部に漏れることがないため、使用者が眩しく感じることがなくなる。
光源640は、筐体610の内側から弾性層620を照らすことができる。図15に示すように、光源640は、内部空間S内に配置された少なくとも1つの発光部641を有している。発光部641としては、特に限定されず、例えば、LEDを用いることができる。また、発光部641は、可視光を出射してもよいし、NIR光(近赤外光)を出射してもよいし、紫外光を出射してもよい。発光部641として可視光を出射するものを用いる場合には、各カメラ631を可視光に対応した構成とし、発光部641としてNIR光を出射するものを用いる場合には、各カメラ631をNIR光に対応した構成とし、発光部641として紫外光を出射するものを用いる場合には、各カメラ631を紫外光に対応した構成とすればよい。特に、NIR光や紫外光は、人間の目には見えないため、弾性層620を介して外部に漏れたとしても使用者が眩しく思うことがない。また、特に、各カメラ631が紫外光を出射する場合には、マーカーMは、蛍光体であってもよい。これにより、マーカーMをカメラ631によってより鮮明に撮像することができる。
なお、光源640は、例えば、外界からの光によって弾性層620を画像認識可能な程に十分に明るく保てる場合等には省略してもよい。また、内部空間Sに輝度センサーを配置して、この輝度センサーにより検知された内部空間Sの明るさに基づいて、発光部641の駆動が制御されるようになっていてもよい。これにより、例えば、内部空間S内をほぼ一定の明るさに保つことができ、検出部630による弾性層620(マーカーM)の画像認識をより安定して行うことができる。
以上、弾性入力部600について説明した。次に、このような弾性入力部600を備えた入力装置200の使用方法について一例をあげて説明する。図17および図18に、画像表示装置300の画面310に表示される仮想加工用具900を示す。図17に示すように、通常状態(弾性入力部600からの入力が行われていない状態)では仮想加工用具900の刃部920が直線状となっている。この状態から、例えば、図18に示すように、弾性入力部600を押圧すると、当該押圧により生成された入力信号に基づいて、仮想加工用具900の刃部920が変形するようになっている。そして、刃部920を思い通りの形状に変形させた状態で仮想立体構造物Xに接触させることで、仮想立体構造物Xを刃部920の形状に倣って加工することができる。このように、刃部920の形状が弾性入力部600への入力によって変形可能に構成されていることで、仮想立体構造物Xをより繊細に加工することができる。特に、弾性入力部600を押せば刃部920が凹むようにして変形し(図18参照)、弾性入力部600を摘まめば刃部920が突出するように変形するようになっていることで、すなわち、弾性層620の変形と刃部920の変形とを連動(対応)させることで、より直感的で繊細な入力が可能となる。
このような第2実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。
なお、弾性入力部600の構成としては、上記の構成に限定されない。例えば、本実施形態では、弾性層620は、第1弾性層624と、第2弾性層625と、第3弾性層626と、を有しているが、弾性層620としては、第1弾性層624を有していれば、特に限定されず、例えば、第2弾性層625および第3弾性層626の少なくとも1つを省略してもよい。
また、例えば、弾性層620は、その弾性力が可変となっていてもよい。この場合の弾性層620の構成としては、特に限定されないが、例えば、筐体610を覆い、筐体610との間に第1気密空間を有する第1被覆部と、第1被覆部の表面に配置された第1マーカー621と、第1被覆部を覆い、第1被覆部との間に第2気密空間を有する第2被覆部と、第2被覆部の表面に配置された第2マーカー622と、第2被覆部を覆い、第2被覆部との間に第3気密空間を有する第3被覆部と、第3被覆部の表面に配置された第3マーカー623と、第3被覆部を覆い、第3被覆部との間に第4気密空間を有する保護被覆部と、を有し、ポンプ等によって、第1気密空間、第2気密空間、第3気密空間、第4気密空間のそれぞれに空気、希ガス等の気体を供給することで、これら各空間の圧力が調整可能となっている構成が挙げられる。また、この場合には、例えば、第1気密空間内に配置された実質的に伸縮しない紐のようなもので、筐体610と第1被覆部とを数か所接続し、筐体610に対する第1被覆部の不本意な変位を抑制しておくことが好ましい。第2、第3、保護被覆部についても同様である。
また、本実施形態では、マーカーMが、筐体610からの距離が互いに異なる第1、第2、第3マーカー621、622、623を有しているが、少なくとも1つのマーカーを有していれば、第1、第2、第3マーカー621、622、623の少なくとも1つを省略してもよい。
また、本実施形態では、第1弾性層624に第1マーカー621を配置し、第2弾性層625に第2マーカー622を配置し、第3弾性層626に第3マーカー623を配置しているが、例えば、図19に示すように、筐体610からの距離が異なるように、1層の弾性層620内に複数のマーカーMが規則的または不規則に配置されていてもよい。
また、弾性入力部600は、弾性層620の変形によって変位せず、検出部630によって検出可能な基準マーカーを有していてもよい。具体的には、例えば、図20に示すように、弾性入力部600は、弾性層620が押されたり、引っ張られたりしても実質的に変位しない基準マーカー628を有していてもよい。なお、図20の構成では、基準マーカー628は、第1弾性層624と筐体610との間であって筐体610の外周面に配置されているが、基準マーカー628の配置としては、これに限定されず、例えば、筐体610の内周面に配置されていてもよい。
基準マーカー628は、各カメラ631との相対的位置関係が一定であり、検出部630が第1、第2、第3マーカー621、622、623の変位を検出する際の基準として機能する。このような構成によれば、例えば、検出部630は、基準マーカー628に対する第1、第2、第3マーカー621、622、623の変位を検出することで、より精度のよい入力情報を得ることができる。なお、基準マーカー628は、検出部630が第1、第2、第3マーカー621、622、623のそれぞれと区別(識別)できるように、例えば、第1、第2、第3マーカー621、622、623と形状および色彩の少なくとも一方が異なっていることが好ましい。
また、本実施形態では、弾性層620が保護層627を有しているが、図21に示すように、保護層627を省略してもよい。この場合には、弾性層620の表面に第3マーカー623が位置することになる。すなわち、弾性層620は、弾性層620の表面に露出する露出マーカーとしての第3マーカー623を有している。弾性層620の表面は、入力を直接的に受ける場所であるため、このような位置に第3マーカー623を配置することで、より繊細な入力が可能となる。
また、第3マーカー623が弾性層620の表面に露出している場合、第3マーカー623は、弾性層620の表面から突出する部分を有することが好ましい。これにより、第3マーカー623に、弾性層620を押圧する指が引っかかり易くなり、特に、弾性層620の表面で指を滑らせるような入力に対する応答性が向上する。また、この場合、第3マーカー623のヤング率は、第3弾性層626のヤング率よりも大きいことが好ましい。すなわち、第3マーカー623は、第3弾性層626よりも硬いことが好ましい。これにより、第3マーカー623にさらに指が引っかかり易くなり、上述した効果がより顕著なものとなる。
また、本実施形態では、筐体610が硬質な部材で形成されているが、例えば、筐体610が入力時に撓む程度の軟質な部材で形成されていてもよい。すなわち、弾性層620への入力があった際に、筐体610が弾性層620と共に変形してもよい。これにより、第1、第2、第3マーカー621、622、623の変位量をそれぞれより大きくすることができる。そのため、検出部630は、より高精度の入力情報を得ることができる。
また、入力装置200は、弾性層620への入力を行う指に触覚を提供する触覚提供部を有していてもよい。これにより、入力の感覚がより現実に近くなり、より直感的な入力が可能となる。触覚提供部の構成としては、特に限定されないが、例えば、筐体610内に複数のスピーカーを配置し、これらスピーカーのうちの少なくとも1つから弾性層620の入力箇所に向けて超音波(音波)を出力することで、弾性層620への入力を行っている指に触覚を提供するように構成されていてもよい。特に、複数のスピーカーから超音波を出力し、弾性層620の入力箇所に音の焦点を形成することで、より効果的に、前記指に触覚を提供することができる。
また、入力装置200は、筐体610の内側から筐体610の内周面に向けて映像光を投影し、弾性層620の外側から視認可能な画像(映像)を表示する画像投影部を有していてもよい。前記画像としては、特に限定されないが、例えば、弾性層620への入力を補助、案内する画像が挙げられる。これにより、弾性入力部600の操作性が向上し、弾性層620への入力が容易となる。なお、前記画像投影部としては、特に限定されないが、例えば、液晶型のプロジェクター、光走査型のプロジェクター等を有する構成とすることができる。
<第3実施形態>
次に、本発明の第3実施形態に係る画像表示システムについて説明する。
図22は、本発明の第3実施形態の入力装置を示す平面図である。
本実施形態に係る画像表示システムは、入力装置の構成が異なること以外は、前述した第1実施形態の画像表示システムと同様である。
なお、以下の説明では、第3実施形態の画像表示システムに関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図22では前述した実施形態と同様の構成について、同一符号を付している。
図22に示すように、本実施形態の入力装置200は、第1部材210と第2部材220とが、第1対向面211と第2対向面221とが対向した状態で回動可能に連結している。また、本実施形態の入力装置200では、第1部材210と第2部材220とが第1対向面211と第2対向面221の並び方向に接近および離間が可能となっている。このような構成とすることで、例えば、第1実施形態のような第1部材210と第2部材220とが分離している構成と比較して、第1部材210と第2部材220との位置関係を把握し易く、その分、仮想立体構造物Xの加工がし易くなる。
このような第3実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。
<第4実施形態>
次に、本発明の第4実施形態に係る画像表示システムについて説明する。
図23は、本発明の第4実施形態の入力装置を示す平面図である。
本実施形態に係る画像表示システムは、入力装置の構成が異なること以外は、前述した第1実施形態の画像表示システムと同様である。
なお、以下の説明では、第4実施形態の画像表示システムに関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図23では前述した実施形態と同様の構成について、同一符号を付している。
本実施形態の入力装置200では、第1部材210および第2部材220は、合体および分離が可能である。なお、図23に示すように、第1部材210と第2部材220とが合体した状態では、第1対向面211と第2対向面221とが対向しており、仮想面Fが平坦面となっている。このような構成によれば、第1部材210と第2部材220とを分離させることで、前述した第1実施形態で説明したように仮想面Fの形状を変化させることができるし、第1部材210と第2部材220とを合体させることで、仮想面Fの形状を固定することができる。そのため、仮想面Fを変化させたい場合と固定したい場合との両方に対応することができる入力装置200となり、その操作性が向上する。
なお、第1部材210および第2部材220を合体、分離させる構造としては特に限定されず、例えば、磁石を利用した構成や凹凸嵌合を利用した構成とすることができる。なお、本実施形態では、凹凸嵌合を利用しており、第1、第2対向面211、221に設けられた突起281と、第1、第2対向面211、221に設けられ、突起281と嵌合可能な凹部282と、を有している。
このような第4実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。
<第5実施形態>
次に、本発明の第5実施形態に係る画像表示システムについて説明する。
図24は、本発明の第5実施形態の入力装置を示す斜視図である。図25は、図24に示す入力装置の側面図である。図26は、図24に示す入力装置の使用方法の一例を示す図である。
本実施形態に係る画像表示システムは、入力装置の構成が異なること以外は、前述した第1実施形態の画像表示システムと同様である。
なお、以下の説明では、第5実施形態の画像表示システムに関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図24および図25では前述した実施形態と同様の構成について、同一符号を付している。
図24および図25に示すように、本実施形態の入力装置200では、第1部材210および第2部材220は、一方の手で握って把持される形状となっている。そして、第1部材210および第2部材220のそれぞれに弾性入力部600が設けられている。また、本実施形態では、弾性入力部600は、略球状となっている。また、図25に示すように、第1部材210内には、第1位置基準部231および第2位置基準部232が配置されており、さらに、報知部250(第1報知部251)が配置されている。なお、図示しないが、第2部材220内には、第1部材210と同じように、第3位置基準部233および第4位置基準部234が配置されており、さらに、報知部250(第2報知部252)が配置されている。
このような第5実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。
なお、本実施形態の入力装置200は、例えば、図26に示すように、第1部材210および第2部材220を揃えた状態(例えば弾性入力部600同士を接触させた状態)で、入力装置200を手前側に引くようにして使用することができる。この動きは、「ヘラ」の動かし方と似ているため、より直感的な入力が可能となる。
<第6実施形態>
次に、本発明の第6実施形態に係る画像表示システムについて説明する。
図27は、本発明の第6実施形態の入力装置を示す断面図である。
本実施形態に係る画像表示システムは、入力装置の弾性入力部の構成が異なること以外は、前述した第2実施形態の画像表示システムと同様である。
なお、以下の説明では、第6実施形態の画像表示システムに関し、前述した第2実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図27では前述した実施形態と同様の構成について、同一符号を付している。
図27に示すように、本実施形態の入力装置200では、弾性層620は、筐体610の外周面に配置された光透過層620Aと、光透過層620Aの表面に積層された光反射層620Bと、を有している。光透過層620Aは、光透過性を有しており、特に、本実施形態では実質的に無色透明である。一方、光反射層620Bは、後述する光Lを反射する光反射性を有している。また、光透過層620Aは、弾性入力部600への入力時に光反射層620Bと共に変形し、光反射層620Bの内面620B’の形状変化を許容する機能を有している。
検出部810は、光プローブ法によって弾性層620の変形を三次元的に検出する。光プローブ法を用いることで、弾性層620の変形を比較的簡単に、かつ、精度よく検出することができる。以下、検出部810について説明する。
図27に示すように、検出部810は、光反射層620Bの内面620B’に向けて光Lを出射する光源811と、スポット状の光の一次元の位置を受光面上で検出することのできるフォトダイオードから構成される半導体位置検出素子812(PSD)と、を有する光学システム813を備えている。なお、光源811としては、特に限定されず、例えば、LD(レーザーダイオード)を用いることができる。
光源811から出射された光Lは、レンズ系814によって細い光束に絞られ、光反射層620Bの内面620B’上に光スポットLSを形成する。この光スポットLSは、レンズ系815によって半導体位置検出素子812の表面に結像される。このような構成では、光学システム813と光スポットLSとの間の相対的変位量Z1は、半導体位置検出素子812の表面上の像の移動量Aとして観察される。すなわち、移動量Aから相対的変位量Z1を求めることができ、内面620B’の光スポットLSが形成されている部分の座標値を求めることができる。
このような構成の検出部810によれば、例えば、自然状態における内面620B’の各部の座標値を基準座標値として記憶しておき、この基準座標値と、内面620B’の各部の座標値と、をリアルタイムに比較することで、内面620B’の変形を検出することができる。さらに、検出部810は、内面620B’の変形に基づいて、弾性層620の変形、すなわち弾性層620への入力を検出することができる。
なお、前述したように、検出部810では内面620B’の変形に基づいて弾性層620の変形を検出しているため、光反射層620Bは、薄い方が好ましい。例えば、光反射層620Bは、光透過層620Aの厚さよりも薄いことが好ましい。これにより、内面620B’を弾性層620の表面(入力が行われる面)の近くに配置することができるため、内面620B’を入力に対してより正確にかつより大きく変形させることができる。そのため、検出部810の検出精度が向上する。このようなことから、本実施形態では、光反射層620BがマーカーMとして機能しているとも言える。
このような第6実施形態によっても、前述した第2実施形態と同様の効果を発揮することができる。なお、検出部810は、1つの光学システム813を用いて内面620B’の各部の座標値を求めてもよいし、複数の光学システム813を用いて内面620B’の各部の座標値を求めてもよい。
<第7実施形態>
次に、本発明の第7実施形態に係る画像表示システムについて説明する。
図28は、本発明の第7実施形態の入力装置を示す断面図である。
本実施形態に係る画像表示システムは、入力装置の検出部の構成が異なること以外は、前述した第6実施形態の画像表示システムと同様である。
なお、以下の説明では、第7実施形態の画像表示システムに関し、前述した第6実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図28では前述した実施形態と同様の構成について、同一符号を付している。
本実施形態の検出部820は、光プローブ法によって、弾性層620の変形を三次元的に検出する。図28に示すように、検出部820は、光反射層620Bの内面620B’に向けて光Lを出射する光源821(例えばLD)と、光Lを集光するレンズ系822と、光源821とレンズ系822との間に配置されたビームスプリッタ823と、ディテクタ824(フォトダイオード)と、レンズ系822を移動させるモータ825と、を有する光学システム826を備えている。
光源821から出射された光Lは、レンズ系822によって集光され、光反射層620Bの内面620B’上に光スポットLSを形成する。そして、内面620B’で反射した光Lは、レンズ系822を通ってビームスプリッタ823で反射した後結像する。そして、当該結像点にはディテクタ824が配置されている。また、ディテクタ824に結像点が常に位置するように、モータ825によってレンズ系822を光軸方向に移動させる。この時のレンズ系822の移動量に基づいて、内面620B’の光スポットLSが形成されている部分の座標値を求めることができる。
このような構成の検出部820によれば、例えば、自然状態における内面620B’の各部の座標値を基準座標値として記憶しておき、この基準座標値と、内面620B’の各部の座標値と、をリアルタイムに比較することで、内面620B’の変形を検出することができる。さらに、検出部820は、内面620B’の変形に基づいて、弾性層620の変形、すなわち弾性層620への入力を検出することができる。
このような第7実施形態によっても、前述した第6実施形態と同様の効果を発揮することができる。なお、検出部820は、1つの光学システム826を用いて内面620B’の各部の座標値を求めてもよいし、複数の光学システム826を用いて内面620B’の各部の座標値を求めてもよい。
<第8実施形態>
次に、本発明の第8実施形態に係る画像表示システムについて説明する。
図29は、本発明の第8実施形態の入力装置を示す断面図である。
本実施形態に係る画像表示システムは、入力装置の検出部の構成が異なること以外は、前述した第6実施形態の画像表示システムと同様である。
なお、以下の説明では、第8実施形態の画像表示システムに関し、前述した第6実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図29では前述した実施形態と同様の構成について、同一符号を付している。
本実施形態の検出部830は、光プローブ法によって、弾性層620の変形を三次元的に検出する。図29に示すように、検出部830は、光反射層620Bの内面620B’に向けて光Lを出射する光源831(例えばLD)と、光Lを拡大平行光とするレンズ系832と、レンズ系832を通過した光Lを集光するレンズ系833と、レンズ系832、833の間に位置する偏光ビームスプリッタ834と、偏光ビームスプリッタ834とレンズ系833との間に位置するλ/4板835と、内面620B’で反射した光Lを分割する波面分割ミラー836と、波面分割ミラー836で分割された一方の光Lを受光する第1ディテクタ837(フォトダイオード)および他方の光Lを受光する第2ディテクタ838(フォトダイオード)と、を有する光学システム839を備えている。
このような構成では、内面620B’がレンズ系833の焦点位置から変位すると、反射光束が変化し、第1、第2ディテクタ837、838の光量に差が生じる。そのため、この差に基づいて、内面620B’の光Lが照射されている部分の座標値を求めることができる。
このような構成の検出部830によれば、例えば、自然状態における内面620B’の各部の座標値を基準座標値として記憶しておき、この基準座標値と、内面620B’の各部の座標値と、をリアルタイムに比較することで、内面620B’の変形を検出することができる。さらに、検出部830は、内面620B’の変形に基づいて、弾性層620の変形、すなわち弾性層620への入力を検出することができる。
このような第7実施形態によっても、前述した第6実施形態と同様の効果を発揮することができる。なお、検出部830は、1つの光学システム839を用いて内面620B’の各部の座標値を求めてもよいし、複数の光学システム839を用いて内面620B’の各部の座標値を求めてもよい。
<第9実施形態>
次に、本発明の第9実施形態に係る画像表示システムについて説明する。
図30は、本発明の第9実施形態の入力装置を示す断面図である。
本実施形態に係る画像表示システムは、入力装置の検出部の構成が異なること以外は、前述した第6実施形態の画像表示システムと同様である。
なお、以下の説明では、第9実施形態の画像表示システムに関し、前述した第6実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図30では前述した実施形態と同様の構成について、同一符号を付している。
本実施形態の検出部840は、断面計測法、特に光切断法によって、弾性層620の変形を三次元的に検出する。具体的には、スリット状の光Lを内面620B’に照射し、内面620B’に写った光Lの形状に基づいて、弾性層620の変形を検出する。このような断面計測法(光切断法)を用いることで、弾性層620の変形を比較的簡単に、かつ、精度よく検出することができる。
図30に示すように、検出部840は、光反射層620Bの内面620B’に向けて光Lを出射する光源841と、光Lをスリット状にするスリット光形成部842と、光Lの光軸からずれた位置に設けられ、内面620B’に写ったスリット状の光Lを撮像する撮像素子844と、内面620B’と撮像素子844との間に位置するレンズ系845と、を有する光学システム846を備えている。
このような構成では、撮像素子844によって取得された画像、すなわち内面620B’に写る光Lの形状に基づいて、内面620B’の光Lが写っている部分の断面形状を取得することができる。そのため、例えば、スリット状の光Lを内面620B’の全域に走査し、内面620B’の各部の断面形状を取得することで、内面620B’の形状を検出することができる。
このような構成の検出部840によれば、例えば、自然状態における内面620B’の形状を基準形状として記憶しておき、この基準形状と内面620B’の形状とをリアルタイムに比較することで、内面620B’の変形を検出することができる。さらに、検出部840は、内面620B’の変形に基づいて、弾性層620の変形、すなわち弾性層620への入力を検出することができる。
このような第9実施形態によっても、前述した第6実施形態と同様の効果を発揮することができる。なお、検出部840は、1つの光学システム846を用いて内面620B’の全域の形状を検出してもよいし、複数の光学システム846を用いて内面620B’の全域の形状を検出してもよい。
<第10実施形態>
次に、本発明の第10実施形態に係る画像表示システムについて説明する。
図31は、本発明の第10実施形態の入力装置を示す断面図である。
本実施形態に係る画像表示システムは、入力装置の検出部の構成が異なること以外は、前述した第6実施形態の画像表示システムと同様である。
なお、以下の説明では、第10実施形態の画像表示システムに関し、前述した第6実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図31では前述した実施形態と同様の構成について、同一符号を付している。
本実施形態の検出部850は、等高線計測法、特に、モアレ縞を用いたモアレトポグラフィー法によって、弾性層620の変形を三次元的に検出する。具体的には、内面620B’のモアレ縞画像を取得し、このモアレ縞画像に基づいて、弾性層620の変形を検出する。このような等高線計測法を用いることで、弾性層620の変形を比較的簡単に、かつ、精度よく検出することができる。以下、検出部850について簡単に説明する。
図31に示すように、検出部850は、光Lを出射する光源851と、撮像素子852と、光源851および撮像素子852と内面620B’との間に設けられた格子853と、を有する光学システム854を備えている。
このような構成では、格子853を通った光源851からの光Lと、格子853を通して撮像素子852で見える部分と、が交差する部分が撮像素子852により撮像される部分であり、この交点を連ねた面に実質的な等高面が作られ、撮像素子852で取得した画像には、前記等高面に応じたモアレ縞が映し出される。この画像をモアレ縞画像とすれば、当該モアレ縞画像に基づいて、内面620B’の形状を取得することができる。
このような構成の検出部850によれば、例えば、自然状態における内面620B’の形状を基準形状として記憶しておき、この基準形状と、リアルタイムに求められた内面620B’の形状と、を比較することで、内面620B’の変形を検出することができる。さらに、検出部850は、内面620B’の変形に基づいて、弾性層620の変形、すなわち弾性層620への入力を検出することができる。
このような第10実施形態によっても、前述した第6実施形態と同様の効果を発揮することができる。なお、検出部850は、1つの光学システム854を用いて内面620B’の全域の形状を検出してもよいし、複数の光学システム854を用いて内面620B’の全域の形状を検出してもよい。
<第11実施形態>
次に、本発明の第11実施形態に係る画像表示システムについて説明する。
図32は、本発明の第11実施形態の入力装置を示す断面図である。
本実施形態に係る画像表示システムは、入力装置の検出部の構成が異なること以外は、前述した第6実施形態の画像表示システムと同様である。
なお、以下の説明では、第11実施形態の画像表示システムに関し、前述した第6実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図32では前述した実施形態と同様の構成について、同一符号を付している。
本実施形態の検出部860は、パターン投影法によって、弾性層620の変形を検出する。パターン投影法を用いることで、弾性層620の変形を比較的簡単に、かつ、精度よく検出することができる。図32に示すように、検出部860は、光Lからなる基準パターンを内面620B’に投影する画像投影部861と、画像投影部861の光軸からずれた位置から内面620B’に投影された基準パターンを撮像する撮像素子862と、を有する光学システム863を備えている。このような構成では、撮像素子862で取得した画像に写る基準パターンの形状に基づいて、基準パターンが投影されている部分の内面620B’の形状を検出することができる。そのため、例えば、内面620B’の全域に基準パターンを投影することで、内面620B’の形状を検出することができる。なお、内面620B’に投影する基準パターンとしては、特に限定されず、例えば、平行な直線が離間して並ぶ格子状のパターンを用いることができる。
このような構成の検出部860によれば、例えば、自然状態における内面620B’の形状を基準形状として記憶しておき、この基準形状と、リアルタイムに求められた内面620B’の形状と、を比較することで、内面620B’の変形を検出することができる。さらに、検出部860は、内面620B’の変形に基づいて、弾性層620の変形、すなわち弾性層620への入力を検出することができる。
このような第11実施形態によっても、前述した第6実施形態と同様の効果を発揮することができる。なお、検出部860は、1つの光学システム863を用いて内面620B’の全域の形状を検出してもよいし、複数の光学システム863を用いて内面620B’の全域の形状を検出してもよい。
<第12実施形態>
次に、本発明の第12実施形態に係る画像表示システムについて説明する。
図33は、本発明の第12実施形態の入力装置を示す断面図である。
本実施形態に係る画像表示システムは、入力装置の検出部の構成が異なること以外は、前述した第6実施形態の画像表示システムと同様である。
なお、以下の説明では、第12実施形態の画像表示システムに関し、前述した第6実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図33では前述した実施形態と同様の構成について、同一符号を付している。
本実施形態の検出部870は、位相シフト法によって、弾性層620の変形を検出する。位相シフト法を用いることで、弾性層620の変形を比較的簡単に、かつ、精度よく検出することができる。図33に示すように、検出部870は、基準パターンを内面620B’に投影する画像投影部871と、画像投影部871の光軸からずれた位置から内面620B’に投影された基準パターンを撮像する撮像素子872と、を有する光学システム873を備えている。
このような構成では、例えば、基準パターンとして、輝度値の明暗で正弦波を表した縞パターンを内面620B’に投影し、内面620B’に投影された基準パターンを撮像素子872で撮像する。基準パターンは、π/2ずつずらして4回投影され、その都度、撮像素子872で撮像する。こうして得られた4つの画像から、基準パターンが投影されている部分の内面620B’の形状を検出することができる。なお、基準パターンや基準パターンのずらし方等は、特に限定されない。
このような構成の検出部870によれば、例えば、自然状態における内面620B’の形状を基準形状として記憶しておき、この基準形状と、リアルタイムに求められた内面620B’の形状と、を比較することで、内面620B’の変形を検出することができる。さらに、検出部870は、内面620B’の変形に基づいて、弾性層620の変形、すなわち弾性層620への入力を検出することができる。
このような第12実施形態によっても、前述した第6実施形態と同様の効果を発揮することができる。なお、検出部870は、1つの光学システム873を用いて内面620B’の全域の形状を検出してもよいし、複数の光学システム873を用いて内面620B’の全域の形状を検出してもよい。
なお、前述した第6実施形態から本実施形態まで、光学的な方法によって内面620B’の形状変化を検出し、これにより、弾性入力部600への入力を検出する方法について説明したが、内面620B’の形状変化を検出する方法としては、第6実施形態から本実施形態に限定されない。すなわち、内面620B’の形状を検出することができれば、如何なる方法を用いてもよい。例えば、いわゆる「点計測式」の方法であれば、前述した第6、第7、第8実施形態で説明した光プローブ方式の他にも、超音波プローブを用いた超音波方式、磁気を利用した磁気方式等を用いることができる。また、いわゆる「面計測式」の方法であれば、シルエット法、光包絡線法、前述した第9実施形態で説明した光切断法等を含む断面計測方式、干渉縞法、ホログラフィ法、前述した第10実施形態のモアレトポグラフィー法等を含む等高線計測方式を用いることができる。
<第13実施形態>
次に、本発明の第13実施形態に係る画像表示システムについて説明する。
図34は、本発明の第13実施形態の入力装置を示す断面図である。
本実施形態に係る画像表示システムは、入力装置の弾性入力部の構成が異なること以外は、前述した第2実施形態の画像表示システムと同様である。
なお、以下の説明では、第13実施形態の画像表示システムに関し、前述した第2実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図34では前述した実施形態と同様の構成について、同一符号を付している。
図34に示すように、弾性層620は、筐体610の外周面に配置された光透過層620Aと、光透過層620Aの表面に積層された画像表示層620Cと、を有している。光透過層620Aは、光透過性を有しており、特に、本実施形態では実質的に無色透明である。一方、画像表示層620Cは、光反射性を有しており、後述する画像投影部890からの光によって画像が表示される層である。光透過層620Aは、弾性入力部600への入力時に画像表示層620Cと共に変形し、画像表示層620Cの内面620C’の形状変化を許容する機能を有している。
また、本実施形態の入力装置200は、筐体610内に配置された画像投影部890を有している。なお、画像投影部890としては、特に限定されないが、例えば、液晶型のプロジェクター、光走査型のプロジェクター等を有する構成とすることができる。
そして、画像投影部890からの光によって画像表示層620Cの内面620C’に所定の画像が表示されるようになっている。特に、本実施形態では、画像投影部890によって画像表示層620Cの内面620C’に、マーカーMが表示される。すなわち、本実施形態の入力装置200では、内面620C’にマーカーMを表示することで、弾性層620にマーカーMを配置している。これにより、マーカーMのパターンを目的に応じて変更することができるため、入力装置200は、優れた利便性を発揮することができる。
このようなマーカーMは、内面620C’の変形に伴って変位するため、検出部630は、マーカーMの変位を検出することで、内面620C’の変形を検出することができる。さらに、検出部630は、内面620C’の変形に基づいて、弾性層620の変形、すなわち弾性層620への入力を検出することができる。
このような第13実施形態によっても、前述した第2実施形態と同様の効果を発揮することができる。
<第14実施形態>
次に、本発明の第14実施形態に係る画像表示システムについて説明する。
図35ないし図37は、それぞれ、本発明の第14実施形態の入力装置を示す断面図である。
本実施形態に係る画像表示システムは、入力装置の弾性入力部の構成が異なること以外は、前述した第2実施形態の画像表示システムと同様である。
なお、以下の説明では、第14実施形態の画像表示システムに関し、前述した第2実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図35ないし図37では前述した実施形態と同様の構成について、同一符号を付している。
図35に示すように、本実施形態の入力装置200では、第1マーカー621は、第1弾性層624と第2弾性層625との間に配置され、膜状(シート状)をなしている。また、第2マーカー622は、第2弾性層625と第3弾性層626との間に配置され、膜状(シート状)をなしている。また、第3マーカー623は、第3弾性層626と保護層627との間に配置され、膜状(シート状)をなしている。これら第1、第2、第3マーカー621、622、623は、それぞれ、弾性層620の変形に伴って変形する。
また、第1マーカー621、第2マーカー622および第3マーカー623は、それぞれ、特定の波長の光を反射し、それ以外の波長の光を透過する。また、第1マーカー621、第2マーカー622および第3マーカー623は、それぞれ、反射する光の波長が異なっている。このような第1マーカー621、第2マーカー622および第3マーカー623としては、例えば、ダイクロイックフィルター等の光学フィルターを用いることができる。
また、本実施形態の入力装置200は、前述した第6実施形態で用いられている検出部810を有している。また、図35〜図37に示すように、検出部810は、第1マーカー621の変形を検出する第1検出部810Aと、第2マーカー622の変形を検出する第2検出部810Bと、第3マーカー623の変形を検出する第3検出部810Cと、を有している。
図35に示すように、第1検出部810Aでは、光源811から第1マーカー621で反射される波長の光L1が出射される。一方、半導体位置検出素子812には、光L1を透過し、後述する光L2、L3の透過を阻止する図示しないバンドパスフィルターが配置されている。そのため、第1検出部810Aは、光L1を用いて、第1マーカー621の変形を検出することができる。第1検出部810Aは、例えば、自然状態における第1マーカー621の各部の座標値を基準座標値として記憶しておき、この基準座標値と、第1マーカー621の各部の座標値と、をリアルタイムに比較することで、第1マーカー621の変形を検出することができる。
また、図36に示すように、第2検出部810Bでは、光源811から第2マーカー622で反射される波長の光L2が出射される。なお、この光L2は、第1マーカー621を透過する。一方、半導体位置検出素子812には、光L2を透過し、光L1、L3の透過を阻止する図示しないバンドパスフィルターが配置されている。そのため、第2検出部810Bは、光L2を用いて、第2マーカー622の変形を検出することができる。第2検出部810Bは、例えば、自然状態における第2マーカー622の各部の座標値を基準座標値として記憶しておき、この基準座標値と、第2マーカー622の各部の座標値と、をリアルタイムに比較することで、第2マーカー622の変形を検出することができる。
また、図37に示すように、第3検出部810Cでは、光源811から第3マーカー623で反射される波長の光L3が出射される。なお、この光L3は、第1マーカー621および第2マーカー622を透過する。一方、半導体位置検出素子812には、光L3を透過し、光L1、L2の透過を阻止する図示しないバンドパスフィルターが配置されている。そのため、第3検出部810Cは、光L3を用いて、第3マーカー623の変形を検出することができる。第3検出部810Cは、例えば、自然状態における第3マーカー623の各部の座標値を基準座標値として記憶しておき、この基準座標値と、第3マーカー623の各部の座標値と、をリアルタイムに比較することで、第3マーカー623の変形を検出することができる。
このような構成の検出部810によれば、第1検出部810Aで検出された第1マーカー621の変形、第2検出部810Bで検出された第2マーカー622の変形および第3検出部810Cで検出された第3マーカー623の変形に基づいて弾性層620の変形を検出することができる。
このような第14実施形態によっても、前述した第2実施形態と同様の効果を発揮することができる。なお、本実施形態では、3つの検出部810A、810B、810Cを有しているが、これに限定されず、1つの検出部810を有する構成であってもよい。この場合には、例えば、光源811が光L1、L2、L3を周期的に切り替えて出射するように構成し、第1、第2、第3マーカー621、622、623の変形を時分割で検出するようにすればよい。
また、検出部810に替えて、例えば、前述した第7実施形態から第12実施形態で説明したような検出部820、830、840、850、860、870を用いてもよい。
<第15実施形態>
次に、本発明の第15実施形態に係る画像表示システムについて説明する。
図38は、本発明の第15実施形態の入力装置を示す平面図である。図39は、仮想立体構造物の一例を示す図である。図40は、仮想立体構造物の加工方法を示す図である。図41ないし図43は、それぞれ、報知部の作動を説明するための図である。
本実施形態に係る画像表示システムは、入力装置の構成が異なること以外は、前述した第1実施形態の画像表示システムと同様である。
入力装置700は、図38に示すように、使用者が把持して使用するものである。入力装置700は、長尺な板状をなす基体710を有している。基体710は、例えば、両端部において両手で把持される。基体710の形状としては、特に限定されず、例えば、棒状をなしていてもよい。また、図示しないが、基体710には、例えば、腕を通すことのできるストラップ等の、基体710の落下を防止することのできる落下防止部が設けられていることが好ましい。
また、入力装置700は、基体710に設けられ、互いに離間した第1位置基準部720および第2位置基準部730と、基体710に設けられ、所定方向Zを検出する方向検出部740と、を有している。そして、第1位置基準部720および第2位置基準部730で定まる仮想直線Lvと、所定方向Zと、で定まる仮想面Fの情報(以下、「仮想面情報」ともいう。)が生成されるようになっている。なお、仮想直線Lvは、第1位置基準部720および第2位置基準部730を結ぶ仮想直線として定めることができ、また、第1位置基準部720および第2位置基準部730を結ぶ仮想直線とほぼ平行な仮想直線として定めることができる。また、仮想面Fは、例えば、上記のようにして定められた仮想直線Lvと、この仮想直線Lvと交わり所定方向Zに沿う軸と、を含む仮想面として定めることができる。
特に、本実施形態では、所定方向Zは、鉛直方向である。そのため、仮想面Fは、鉛直方向と平行な平面、言い換えると、鉛直方向を面内に含む平面で構成される。このような向きの仮想面Fとすることで、後述するように、仮想面Fに基づいて画面310中に表示される仮想加工用具900の姿勢が自然なものとなり、仮想加工用具900を用いて仮想立体構造物Xを加工し易くなる。なお、所定方向Zは、鉛直方向に限定されず、例えば、水平方向であってもよいし、鉛直方向および水平方向の両方に対して傾斜した方向であってもよい。
画像表示システム100は、仮想面情報を生成する生成部500を有している。生成部500は、例えば、基体710に内蔵されていたり、端末400や画像表示装置300に内蔵されていたりする。なお、本実施形態では、生成部500は、端末400に内蔵されている。また、生成部500が生成する仮想面情報には、仮想面Fの傾きおよび仮想面Fの位置が含まれている。
第1位置基準部720および第2位置基準部730の構成は、それぞれ、現実空間内でのその位置を検知することができれば特に限定されず、例えば、GPS(Globle Postioning System)等の空間内での位置を検知する装置や、気圧センサー等の空間内での高さ(高度)を検知する装置や、3軸加速度センサー(互いに直交するX軸、Y軸およびZ軸のそれぞれの軸方向の加速度を検知することのできるセンサー)および3軸角速度センサー(互いに直交するX軸、Y軸およびZ軸のそれぞれの軸まわりの角速度を検知することのできるセンサー)を組み合わせた6軸モーションセンサー等の傾きを検知する装置や、複数のカメラを用いた空間認識技術において各カメラで捉えられるポイント(マーカー)等の1つを用いてもよいし、2つ以上を組み合わせて用いてもよい。
また、第1位置基準部720および第2位置基準部730は、長尺状の基体710の両端部に設けられている。そのため、第1位置基準部720と第2位置基準部730を結ぶ線分(すなわち、仮想直線Lv)は、基体710の長手方向(延在方向)とほぼ一致している。後述するように、仮想面Fに基づいて画面310中に表示される仮想加工用具900は、仮想立体構造物Xと接触し、仮想立体構造物Xを削る刃部(接触部)920を有しており、刃部920の傾きは、仮想直線Lvの傾きに対応している。そのため、仮想直線Lvを基体710の長手方向(延在方向)とほぼ一致させることで、基体710の長手方向の傾きが刃部920の傾きに対応することになる。よって、使用者に、刃部920の傾きをイメージさせ易くなり、使用者は、画面310中において、より自然に、仮想立体構造物Xを加工することができる。
方向検出部740は、所定方向Z(本実施形態では鉛直方向)を検出することができれば、特に限定されず、例えば、加速度センサーやジャイロセンサー、3軸加速度センサー(互いに直交するX軸、Y軸およびZ軸のそれぞれの軸方向の加速度を検知することのできるセンサー)や、3軸角速度センサー(互いに直交するX軸、Y軸およびZ軸のそれぞれの軸まわりの角速度を検知することのできるセンサー)や、これら加速度センサーと角速度センサーを組み合わせた軸モーションセンサー等の傾きを検知する装置を用いることができる。
次に、画像表示システム100の使用方法について一例を挙げて説明する。なお、以下では、画像表示システム100を用いて自動車のデザインを行う方法について説明するが、画像表示システム100の使用方法については、特に限定されない。
図39に示すように、画面310には、加工対象である仮想立体構造物Xと、仮想面Fに対応し、仮想立体構造物Xを加工するための仮想加工用具900と、が表示される。仮想加工用具900は、例えば、ヘラのような工具である。仮想加工用具900は、板状の本体910と、本体910に設けられ、仮想立体構造物Xに接触させる刃部920(接触部)とを有している。本体910の板面(主面)911は、仮想面Fと平行であり、刃部920の位置および傾きは、仮想直線Lv(基体710の延在方向)の位置および傾きに対応している。そのため、使用者は、自身が把持している入力装置700を刃部920と対応付けることができ、より直感的な入力(操作)が可能となる。また、画面310に仮想加工用具900が表示されることで、より現実空間に近い状態(感覚)で、仮想立体構造物Xを加工することができる。
仮想立体構造物Xは、工業用クレイに見立てたものであり、仮想空間での位置が固定されている。そのため、使用者が移動することで、仮想立体構造物Xを前方から見たり、後方から見たり、横側から見たりすることができる。
刃部920を仮想立体構造物Xに接触させることで、刃部920によって仮想立体構造物Xを加工することができる。具体的には、例えば、図40に示すように、入力装置700を操作して、仮想加工用具900の刃部920を仮想立体構造物Xの角に押し当てながらスライドさせると、その角を削り取ることができる。このように、入力装置700を用いて仮想加工用具900を操作し、仮想立体構造物Xを加工することで、自動車をデザインすることができる。
ここで、図38に示すように、入力装置700には少なくとも1つのボタンを有する入力部790が設けられている。入力部790としては、特に限定されず、例えば、仮想立体構造物Xの加工をキャンセルすることのできるキャンセルボタンや、仮想加工用具900の種類を変更する変更ボタン等を含む構成とすることができる。このような入力部790を有することで、仮想立体構造物Xの加工をより容易に行うことができる。なお、入力部790のボタンの配置としては、特に限定されないが、使用者が基体710を把持した状態で操作し易い場所に配置することが好ましい。本実施形態では、それぞれの手の親指で操作し易い位置に設けられている。
また、図38に示すように、入力装置700には報知部750が設けられている。報知部750は、基体710の一方の端部に配置された第1報知部751と、他方の端部に配置された第2報知部752と、を有している。そして、報知部750は、第1報知部751および第2報知部752によって、仮想立体構造物Xに対する刃部920の接触状態が報知されるようになっている。なお、前記「接触状態」には、例えば、仮想立体構造物Xに対する刃部920の接触強度や接触角度が挙げられる。報知部750により、使用者が仮想立体構造物Xに対する刃部920の接触状態を認識し易くなり、仮想立体構造物Xをより思い通りに加工することができる。
また、第1報知部751および第2報知部752は、それぞれ、振動可能な振動部を有している。これら振動部としては、例えば、携帯電話(スマートフォンを含む)に内蔵されているような小型のバイブレーターを用いることができる。これにより、報知部750は、振動によって前記接触状態を使用者に報知することができる。そのため、より確実に、前記接触状態を使用者に報知することができる。ただし、報知部750の構成としては、接触状態を使用者に報知することができれば、特に限定されず、例えば、振動以外の手段(音、光等)で使用者に報知する構成となっていてもよい。
例えば、図41に示すように、刃部920を仮想立体構造物Xに押し当てた際、その接触強度が強い程、報知部750全体の振動が大きくなる。接触強度は、刃部920が仮想立体構造物Xと接触する状態に対応する入力装置700の位置と、現実の入力装置700の位置とのずれに基づいて求めることができる。すなわち、入力装置700が図41の実線で示す状態のときに、刃部920が仮想立体構造物Xに接触するとすれば、その位置と現実の入力装置700の位置(鎖線で示す状態)との接触方向(押し当て方向)におけるずれ量が大きい程、接触強度が大きいと判断することができる。
また、図42に示すように、刃部920を仮想立体構造物Xに押し当てた際、第1報知部751側の端部の接触強度と第2報知部752側の端部の接触強度とが等しい場合には、第1報知部751の振動強度と第2報知部752の振動強度とが等しくなる。
また、第1報知部751側の端部の接触強度が、第2報知部752側の端部の接触強度よりも大きい場合には、第1報知部751の振動強度が第2報知部752の振動強度よりも大きくなり、これらの接触強度の差が大きい程、第1報知部751の振動強度と第2報知部752の振動強度との差が大きくなる。
反対に、第1報知部751側の端部の接触強度が、第2報知部752側の端部の接触強度よりも小さい場合には、第1報知部751の振動強度が第2報知部752の振動強度よりも小さくなり、これらの接触強度の差が大きい程、第1報知部751の振動強度と第2報知部752の振動強度との差が大きくなる。
また、例えば、図43に示すように、刃部920を仮想立体構造物Xの角に押し当てた際、刃部920が仮想立体構造物Xの角に均等に接している場合、すなわち、刃部920と面X1とのなす角θ1と、刃部920と面X2とのなす角θ2が等しい場合には、第1報知部751の振動強度と第2報知部752の振動強度とが等しくなる。
また、刃部920が面X1側に傾いている場合、すなわち、θ1<θ2の場合には、第1報知部751の振動強度が第2報知部752の振動強度よりも大きくなり、θ1とθ2との差が大きい程、第1報知部751の振動強度と第2報知部752の振動強度との差が大きくなる。
反対に、刃部920が面X2側に傾いている場合、すなわち、θ1>θ2の場合には、第1報知部751の振動強度が第2報知部752の振動強度よりも小さくなり、θ1とθ2との差が大きい程、第1報知部751の振動強度と第2報知部752の振動強度との差が大きくなる。
このように、接触状態によって報知部750の全体の振動強度を変化させたり、第1報知部751と第2報知部752の振動強度に差を付けたりすることで、使用者が仮想立体構造物Xに対する刃部920の接触状態を認識し易くなり、仮想立体構造物Xをより思い通りに加工することができる。
このような第15実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。
<第16実施形態>
次に、本発明の第16実施形態に係る画像表示システムについて説明する。
図44は、本発明の第16実施形態の入力装置を示す平面図である。図45は、図44に示す入力装置の側面図である。図46は、図44に示す入力装置が有する弾性入力部を示す横断面図である。図47および図48は、それぞれ、弾性入力部の機能を説明する図である。
本実施形態に係る画像表示システムは、入力装置の構成が異なること以外は、前述した第1実施形態の画像表示システムと同様である。
なお、以下の説明では、第16実施形態の画像表示システムに関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図44ないし図48では前述した実施形態と同様の構成について、同一符号を付している。
図44および図45に示すように、本実施形態の入力装置700は、前述した第15実施形態の構成に加えて、仮想加工用具900の刃部920を変形させる弾性入力部600を有している。また、弾性入力部600は、基体710の下端部に設けられており、基体710の長手方向(仮想直線Lv)に沿って延在して配置されている。なお、現実世界において、弾性入力部600は、刃部920に見立てられる。このような構成によれば、使用者は、入力装置700と仮想加工用具900とをより直感的に対応付けることができ、繊細で直感的な入力を行うことのできる入力装置700となる。
図46に示すように、弾性入力部600は、中空状の筐体610と、筐体610の外側に配置され、筐体610の外周面に配置された弾性層620と、弾性層620に配置されたマーカーMと、筐体610の内側に配置され、弾性層620の変形を検出する検出部630と、弾性層620を照らす光源640と、検出部630の検出結果から入力信号を生成する信号生成部650と、を有している。なお、弾性入力部600は、主に弾性層620の形状が異なること以外は、前述した第2実施形態と同様の構成であるため、その説明を省略する。
次に、弾性入力部600の使用方法について説明する。例えば、図47に示すように、弾性入力部600の一部を押し込むと、押し込まれた箇所および変位量に対応して、仮想加工用具900の刃部920がくぼみ変形する。また、例えば、図48に示すように、弾性入力部600の一部を摘まむ(引っ張る)と、摘ままれた箇所および変位量に対応して、仮想加工用具900の刃部920が突出変形する。このように、弾性入力部600による入力によって、刃部920の形状を自在に変形することができる。そして、変形させた状態の刃部920で仮想立体構造物Xを加工することで、より多彩な加工を行うことができる。
このような第16実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。
以上、本発明の入力装置および画像表示システムについて、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物が付加されていてもよい。また、各実施形態を適宜組み合わせてもよい。
100 画像表示システム
200 入力装置
210 第1部材
211 第1対向面
212 把持部
220 第2部材
221 第2対向面
222 把持部
231 第1位置基準部
232 第2位置基準部
233 第3位置基準部
234 第4位置基準部
250 報知部
251 第1報知部
252 第2報知部
281 突起
282 凹部
290 入力部
300 画像表示装置
310 画面
400 端末
500 生成部
600 弾性入力部
610 筐体
620 弾性層
620A 光透過層
620B 光反射層
620B’ 内面
620C 画像表示層
620C’ 内面
620a 外周面
620b 内周面
621 第1マーカー
622 第2マーカー
623 第3マーカー
624 第1弾性層
625 第2弾性層
626 第3弾性層
627 保護層
628 基準マーカー
630 検出部
631 カメラ
632 処理部
632a CPU
632b メモリー
632c 記憶部
640 光源
641 発光部
650 信号生成部
700 入力装置
710 基体
720 第1位置基準部
730 第2位置基準部
740 方向検出部
750 報知部
751 第1報知部
752 第2報知部
790 入力部
810 検出部
810A 第1検出部
810B 第2検出部
810C 第3検出部
811 光源
812 半導体位置検出素子
813 光学システム
814 レンズ系
815 レンズ系
820 検出部
821 光源
822 レンズ系
823 ビームスプリッタ
824 ディテクタ
825 モータ
826 光学システム
830 検出部
831 光源
832 レンズ系
833 レンズ系
834 偏光ビームスプリッタ
835 λ/4板
836 波面分割ミラー
837 第1ディテクタ
838 第2ディテクタ
839 光学システム
840 検出部
841 光源
842 スリット光形成部
844 撮像素子
845 レンズ系
846 光学システム
850 検出部
851 光源
852 撮像素子
853 格子
854 光学システム
860 検出部
861 画像投影部
862 撮像素子
863 光学システム
870 検出部
871 画像投影部
872 撮像素子
873 光学システム
890 画像投影部
900 仮想加工用具
910 本体
911 板面
920 刃部
921 端
2511 振動部
2521 振動部
A 移動量
F 仮想面
L 光
L1 光
L2 光
L3 光
LS 光スポット
Lv 仮想直線
M マーカー
S 内部空間
X 仮想立体構造物
X1 面
X2 面
Z1 相対的変位量
θ1 角
θ2 角

Claims (13)

  1. 互いに離間して設定された第1位置基準部および第2位置基準部を有する第1部材と、
    互いに離間して設定された第3位置基準部および第4位置基準部を有する第2部材と、
    前記第1部材および前記第2部材の少なくとも一方に配置された弾性入力部と、
    を有し、
    前記第1位置基準部、前記第2位置基準部、前記第3位置基準部および前記第4位置基準部で定まる仮想面の情報が生成され
    前記弾性入力部は、
    外力が入力される第1面および前記第1面の反対側の第2面が規定される弾性層と、
    前記弾性層に配置され、前記弾性層の変形に伴って変位するマーカーと、
    前記弾性層の前記第2面側に位置づけられ、前記マーカーの変位に基づいて前記弾性層の変形を検出する検出部と、を備えることを特徴とする入力装置。
  2. 前記情報には、前記仮想面の形状、前記仮想面の傾きおよび前記仮想面の位置の少なくとも1つが含まれる請求項1に記載の入力装置。
  3. 前記マーカーは、前記弾性層の厚さ方向にずれて配置された第1マーカーおよび第2マーカーを有する請求項1または2に記載の入力装置。
  4. 前記第1部材および前記第2部材は、分離されている請求項1ないしのいずれか1項に記載の入力装置。
  5. 前記第1部材および前記第2部材は、回動可能に連結されている請求項1ないしのいずれか1項に記載の入力装置。
  6. 前記第1部材および前記第2部材は、接近および離間が可能である請求項に記載の入力装置。
  7. 前記第1部材および前記第2部材は、合体および分離が可能である請求項またはに記載の入力装置。
  8. 前記第1部材および前記第2部材の一方は、使用者の右手に把持され、他方は、使用者の左手に把持される請求項1ないしのいずれか1項に記載の入力装置。
  9. 仮想現実または拡張現実により生成される仮想物体の表面に前記仮想面を押し当てることで、前記仮想物体を加工することができる請求項1ないし8のいずれか1項に記載の入力装置。
  10. 仮想現実または拡張現実に、前記仮想面に対応した仮想加工用具が表示される請求項に記載の入力装置。
  11. 前記仮想加工用具の前記仮想物体への接触を報知する報知部を有している請求項10に記載の入力装置。
  12. 前記報知部は、振動部を有している請求項11に記載の入力装置。
  13. 請求項1ないし12のいずれか1項に記載の入力装置と、
    画像を表示する画像表示装置と、を有することを特徴とする画像表示システム。
JP2017188009A 2016-11-24 2017-09-28 入力装置および画像表示システム Active JP6977991B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021116813A JP7209310B2 (ja) 2016-11-24 2021-07-15 入力装置および画像表示システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016227941 2016-11-24
JP2016227941 2016-11-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021116813A Division JP7209310B2 (ja) 2016-11-24 2021-07-15 入力装置および画像表示システム

Publications (2)

Publication Number Publication Date
JP2018088240A JP2018088240A (ja) 2018-06-07
JP6977991B2 true JP6977991B2 (ja) 2021-12-08

Family

ID=62494608

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017188009A Active JP6977991B2 (ja) 2016-11-24 2017-09-28 入力装置および画像表示システム
JP2021116813A Active JP7209310B2 (ja) 2016-11-24 2021-07-15 入力装置および画像表示システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021116813A Active JP7209310B2 (ja) 2016-11-24 2021-07-15 入力装置および画像表示システム

Country Status (1)

Country Link
JP (2) JP6977991B2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60135861D1 (de) * 2000-08-31 2008-10-30 Toudai Tlo Ltd Optischer tastsensor
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
JP2005349153A (ja) * 2004-06-08 2005-12-22 Wan Shaorin コンピュータ或は類似する機器のアクション類電子ゲームの真実性を高める為の装置と方法
JP2009087161A (ja) * 2007-10-01 2009-04-23 Canon Inc 画像処理装置、画像処理方法
JP5912290B2 (ja) * 2011-05-24 2016-04-27 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
EP3019913A4 (en) * 2013-07-10 2017-03-08 Real View Imaging Ltd. Three dimensional user interface

Also Published As

Publication number Publication date
JP2018088240A (ja) 2018-06-07
JP7209310B2 (ja) 2023-01-20
JP2021180019A (ja) 2021-11-18

Similar Documents

Publication Publication Date Title
JP6931509B2 (ja) 入力装置および画像表示システム
US11747901B1 (en) Fiducial rings in virtual reality
CN103970265B (zh) 具有触觉反馈的增强现实用户接口
CN110476168B (zh) 用于手部跟踪的方法和系统
US8180114B2 (en) Gesture recognition interface system with vertical display
JP6090140B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8648802B2 (en) Collapsible input device
JP5926184B2 (ja) コンピュータ装置の遠隔制御
US8589824B2 (en) Gesture recognition interface system
EP2144448B1 (en) Floating Image Interaction Device
TW201508561A (zh) 用於移動追蹤的光斑感測
JP7299302B2 (ja) 制御装置の磁気ユーザ入力アセンブリ
US20110043446A1 (en) Computer input device
KR20060117164A (ko) 관성 감지 입력장치
US20220155881A1 (en) Sensing movement of a hand-held controller
CN115777091A (zh) 检测装置及检测方法
JP6977991B2 (ja) 入力装置および画像表示システム
Matsumaru et al. Three-dimensional aerial image interface, 3DAII
Caruso et al. AR-Mote: A wireless device for Augmented Reality environment
JP2020027537A (ja) 入力装置および移動体
JP2013164736A (ja) 携帯型情報機器用入力装置
JP2023008663A (ja) 制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210630

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210714

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210714

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211102

R150 Certificate of patent or registration of utility model

Ref document number: 6977991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150