JP6259172B1 - 入力装置および画像表示システム - Google Patents

入力装置および画像表示システム Download PDF

Info

Publication number
JP6259172B1
JP6259172B1 JP2017541405A JP2017541405A JP6259172B1 JP 6259172 B1 JP6259172 B1 JP 6259172B1 JP 2017541405 A JP2017541405 A JP 2017541405A JP 2017541405 A JP2017541405 A JP 2017541405A JP 6259172 B1 JP6259172 B1 JP 6259172B1
Authority
JP
Japan
Prior art keywords
elastic layer
input
input device
marker
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017541405A
Other languages
English (en)
Other versions
JPWO2017169641A1 (ja
Inventor
憲彦 齋藤
憲彦 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAITO INVENTIVE CORP.
Original Assignee
SAITO INVENTIVE CORP.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAITO INVENTIVE CORP. filed Critical SAITO INVENTIVE CORP.
Priority to JP2017235079A priority Critical patent/JP6931509B2/ja
Application granted granted Critical
Publication of JP6259172B1 publication Critical patent/JP6259172B1/ja
Publication of JPWO2017169641A1 publication Critical patent/JPWO2017169641A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

入力装置200は、外力が入力される外周面220aおよび外周面220aの反対側の内周面220cが規定される弾性層220と、弾性層220に配置され、弾性層220の変形に伴って変位するマーカーMと、を有する弾性入力部280と、弾性層220の内周面220b側に位置づけられ、マーカーMの変位に基づいて弾性層220の変形を検出する検出部230と、を備えている。

Description

本発明は、入力装置および画像表示システムに関するものである。
従来から、三次元仮想空間に仮想立体構造物をアウトプットする装置として、3D立体テレビやヘッドマウントディスプレイ等が知られている。また、3D立体テレビやヘッドマウントディスプレイの三次元仮想空間に表示する仮想立体構造物は、例えばCAD(Computer−aided design)によって作成することができる。また、作成した仮想立体構造物の加工を行う際のデータ入力装置としては、一般的に、特許文献1に示すような公知のマウス、キーボード、コントローラー等が使用される。
特表2008−541268号公報
しかしながら、マウス、キーボード、コントローラー等の既存の入力装置では、直感的な入力を行うことができない。
本発明の目的は、直感的な入力を行うことのできる入力装置および画像表示システムを提供することにある。
このような目的は、下記の本発明により達成される。
(1) 外力が入力される第1面および前記第1面の反対側の第2面が規定される弾性層と、前記弾性層に配置され、前記弾性層の変形に伴って変位するマーカーと、を有する弾性入力部と、
前記弾性層の前記第2面側に位置づけられ、前記マーカーの変位に基づいて前記弾性層の変形を検出する検出部と、を備えることを特徴とする入力装置。
(2) 画像投影部を有し、
前記マーカーは、前記画像投影部によって前記弾性層に表示される上記(1)に記載の入力装置。
(3) 前記マーカーは、前記弾性層の厚さ方向にずれて配置された第1マーカーおよび第2マーカーを有する上記(1)または(2)に記載の入力装置。
(4)前記弾性層は、前記第1マーカーを有する第1弾性層と、前記第1弾性層上に配置され、前記第2マーカーを有する第2弾性層と、を有する上記(3)に記載の入力装置。
(5) 前記第1マーカーおよび前記第2マーカーは、形状および色彩の少なくとも一方が互いに異なっている上記(3)または(4)に記載の入力装置。
(6) 前記マーカーは、前記第1面に露出する露出マーカーを有する上記(1)ないし(5)のいずれかに記載の入力装置。
(7) 前記弾性入力部は、前記弾性部の変形によって変位せず、前記検出部によって検出可能な基準マーカーを有する上記(1)ないし(6)のいずれかに記載の入力装置。
(8) 前記検出部は、前記弾性層を撮像する撮像部を有し、前記撮像部が撮像した前記弾性層の画像データに基づいて前記弾性層の変形を検出する上記(1)ないし(7)のいずれかに記載の入力装置。
(9) 前記検出部は、ステレオ写真法によって前記弾性層の変形を検出する上記(8)に記載の入力装置。
(10) 前記第1面は、前記第2面と反対側に向けて凸となる形状である上記(1)ないし(9)のいずれかに記載の入力装置。
(11) 前記弾性層を前記第2面側から支持する支持部を備える上記(1)ないし(10)のいずれかに記載の入力装置。
(12) 前記弾性入力部に接続された接続部を有する上記(1)ないし(11)のいずれかに記載の入力装置。
(13) 前記接続部に配置された入力部を有する上記(12)に記載の入力装置。
(14) 前記接続部は、使用者に把持される把持部である上記(12)または(13)に記載の入力装置。
(15) 上記(1)ないし(14)のいずれかに記載の入力装置と、
画像を表示する画像表示装置と、を有していることを特徴とする画像表示システム。
本発明によれば、例えば、使用者が弾性層を押すことにより弾性層が変形し、この変形を検出部が検出することで、弾性入力部への入力を検出することができる。特に、弾性層の反発によって何か物を触れているとの感覚を使用者に与えることができるため、使用者は、直感的な入力が可能となる。
図1は、本発明の第1実施形態に係る画像表示システムの構成図である。 図2は、図1に示す画像表示装置に表示される仮想立体構造物の一例を示す図である。 図3は、図1に示す入力装置の部分断面斜視図である。 図4は、入力装置の入力方法の一例を示す図である。 図5は、入力装置が有する弾性層の断面斜視図である。 図6は、入力装置が有する支持部材の変形例を示す斜視図である。 図7は、入力装置が有する支持部材の変形例を示す斜視図である。 図8は、入力装置の入力方法の一例を示す図である。 図9は、入力装置の入力方法の一例を示す図である。 図10は、画像表示システムの使用方法の一例を示す図である。 図11は、画像表示システムの使用方法の一例を示す図である。 図12は、画像表示システムの使用方法の一例を示す図である。 図13は、画像表示システムの使用方法の一例を示す図である。 図14は、入力装置が有する弾性入力部の変形例を示す断面図である。 図15は、入力装置が有する弾性入力部の変形例を示す断面図である。 図16は、入力装置が有する弾性入力部の変形例を示す断面図である。 図17は、入力装置が有する弾性入力部の変形例を示す断面図である。 図18は、入力装置が有する弾性入力部の変形例を示す断面図である。 図19は、入力装置が有する弾性入力部の変形例を示す断面図である。 図20は、本発明の第2実施形態が有する入力装置の断面斜視図である。 図21は、本発明の第3実施形態に係る画像表示システムの構成図である。 図22は、図21に示す入力装置の斜視図である。 図23は、図22に示す入力装置の側面図である。 図24は、図22に示す入力装置を把持した状態を示す側面図である。 図25は、図22に示す入力装置が有する弾性入力部の部分断面斜視図である。 図26は、画像表示システムの使用方法の一例を示す図である。 図27は、画像表示システムの使用方法の一例を示す図である。 図28は、画像表示システムの使用方法の一例を示す図である。 図29は、画像表示システムの使用方法の一例を示す図である。 図30は、画像表示システムの使用方法の一例を示す図である。 図31は、入力装置の変形例を示す斜視図である。 図32は、入力装置の変形例を示す側面図である。 図33は、本発明の第4実施形態の入力装置の斜視図である。 図34は、図33に示す入力装置の変形例を示す斜視図である。 図35は、図33に示す入力装置の変形例を示す斜視図である。 図36は、本発明の第5実施形態の入力装置の斜視図である。 図37は、本発明の第6実施形態の入力装置の斜視図である。 図38は、本発明の第7実施形態の入力装置の斜視図である。 図39は、本発明の第8実施形態の入力装置の斜視図である。 図40は、本発明の第9実施形態の入力装置の側面図である。 図41は、本発明の第10実施形態の入力装置の斜視図である。 図42は、本発明の第11実施形態の入力装置の断面図である。 図43は、本発明の第12実施形態の入力装置の断面図である。 図44は、本発明の第13実施形態の入力装置の断面図である。 図45は、本発明の第14実施形態の入力装置の断面図である。 図46は、本発明の第15実施形態の入力装置の断面図である。 図47は、本発明の第16実施形態の入力装置の断面図である。 図48は、本発明の第17実施形態の入力装置の断面図である。 図49は、本発明の第18実施形態の入力装置の断面図である。 図50は、本発明の第19実施形態の入力装置の断面図である。 図51は、本発明の第19実施形態の入力装置の断面図である。 図52は、本発明の第19実施形態の入力装置の断面図である。
以下、本発明の入力装置および画像表示システムを添付図面に示す好適な実施形態に基づいて詳細に説明する。
<第1実施形態>
まず、本発明の第1実施形態に係る画像表示システムについて説明する。
図1は、本発明の第1実施形態に係る画像表示システムの構成図である。図2は、図1に示す画像表示装置に表示される仮想立体構造物の一例を示す図である。図3は、図1に示す入力装置の部分断面斜視図である。図4は、入力装置の入力方法の一例を示す図である。図5は、入力装置が有する弾性層の断面斜視図である。図6および図7は、それぞれ、入力装置が有する支持部材の変形例を示す斜視図である。図8および図9は、入力装置の入力方法の一例を示す図である。図10ないし図13は、それぞれ、画像表示システムの使用方法の一例を示す図である。図14ないし図19は、それぞれ、入力装置が有する弾性入力部の変形例を示す断面図である。
図1に画像表示システム100の構成図を示す。画像表示システム100は、入力装置200と、画像表示装置300と、端末400と、を有している。このように、画像表示システム100は、入力装置200を有している。そのため、後述する入力装置200の効果を享受することができ、信頼性が高く、かつ、高精度な画像表示システム100を実現することができる。
画像表示装置300は、使用者の頭部に固定して用いられるAR(拡張現実)用またはVR(仮想現実)用のヘッドマウントディスプレイであり、公知のものを用いることができる。このように、画像表示装置300としてヘッドマウントディスプレイを用いることで、操作に没入することができる。ただし、画像表示装置300としては、使用者に装着して用いられるものに限定されず、例えば、タブレット端末や、使用者の周囲に設置されているディスプレイ、具体的にはTVモニタ、PCモニタ等の各種モニタであってもよいし、画像を投影するプロジェクタであってもよい。
端末400は、特に限定されないが、例えば、パーソナルコンピュータ、タブレット端末、ワークステーション、ゲームマシン、スマートフォン等で構成されている。端末400は、CAD(Computer−aided design)等のシステムを用いて仮想立体構造物Xを生成し、入力装置200からの入力信号に基づいて仮想立体構造物Xを加工する機能を有している。図2に示すように、端末400で生成された仮想立体構造物Xは、画像表示装置300の画面310に表示される。
そして、本実施形態では、入力装置200を操作することで、画面310上において仮想立体構造物Xを加工することができる。また、画面310上において、仮想立体構造物Xが加工される様を確認することもできる。このような端末400の機能の一部または全部は、入力装置200や画像表示装置300が有していてもよいし、クラウド上に有していてもよい。
なお、画像表示システム100の用途は、これに限定されず、例えば、仮想立体構造物Xを加工できなくてもよい。また、端末400によって画面310上に表示される表示物としては、前述した仮想立体構造物Xに限定されない。
図3に示すように、入力装置200は、略球状の弾性入力部280と、弾性入力部280を支持する脚部270と、を有している。また、弾性入力部280は、筐体210(支持部)と、筐体210の外周面に配置された弾性層220と、弾性層220に配置されたマーカーMと、筐体210の内側に配置され、弾性層220の変形を検出する検出部230と、弾性層220を照らす光源240と、検出部230の検出結果から入力信号を生成する信号生成部250と、信号生成部250で生成された入力信号を端末400へ送信する送信部260と、を有している。
弾性入力部280の直径としては、特に限定されないが、例えば、20cm以上、40cm以下であることが好ましい。これにより、一般的な人間の手に適した大きさの弾性入力部280となり、入力装置200の操作性が向上する。すなわち、弾性入力部280への入力がし易くなる。
筐体210は、弾性層220を内側から支持している。また、筐体210は、略球状である。また、筐体210は、中空であり内部空間Sを有している。筐体210の外周面には弾性層220が配置されており、内部空間Sには検出部230、光源240、信号生成部250および送信部260が収納されている。なお、筐体210の形状としては、特に限定されず、例えば、半球状、扁平球状、正四面体状、正六面体状、正八面体状等の多面体状、平板状等であってもよく、入力装置200の用途によって適宜設定することができる。
また、筐体210は、硬質な部材、具体的には指による押圧程度では実質的に変形しない程度の硬さを有する部材で構成されている。また、筐体210は、光透過性を有している。本実施形態では、筐体210は、樹脂材料で構成されており、実質的に無色透明である。なお、筐体210は、例えば、弾性層220が筐体210に支持されなくても実質的に一定の形状を保つことができるような場合等には、省略してもよい。
弾性層220は、使用者により操作される入力部としての機能を有する。例えば、図4に示すように、弾性層220を押したり、摘まんだり、伸ばしたりすることで入力装置200への入力を行うことができる。これらの各動作は、人間が日常、特に意識することなく行っている動作である。また、弾性層220は、反発によって弾性層220に触れた使用者に対して「何か物に触れている」との感覚を与えることもできる。そのため、使用者は、弾性層220への直感的な入力が可能となる。また、使用者は、弾性層220への入力の強さ、方向、速度等を繊細なタッチ(感覚)で自由に決定することができるため、より細かい入力が可能となる。
図5に示すように、弾性層220は、外力が入力される外周面220a(第1面)および外周面220aの反対側の内周面220b(第2面)が規定される層である。このような弾性層220は、弾性を有しており、弾性変形が可能である。具体的には、弾性層220は、使用者が押したり、引っ張ったり、摘まんだりすることで弾性変形する程度に柔らかい弾性を有している。
また、弾性層220は、筐体210の外周面側に位置し、筐体210を覆って配置されている。そのため、弾性層220は、その内周面220b側から筐体210に支持されていると言える。また、弾性層220は、筐体210の外形に倣った形状、すなわち略球状となっている。このように、弾性層220を球状、すなわち凸状に湾曲した部分を有する形状とすることで、弾性層220に両手を添え易くなり(図9参照)、弾性層220への入力をより自然に行うことができる。また、弾性層220を引っ張り易くもなるし、摘まみ易くもなるため、その分、より繊細な入力を行うことができる。ただし、弾性層220の形状としては、特に限定されず、球状の他にも、例えば、半球状、扁平球状、正四面体状、正六面体状、正八面体状等の多面体状、平板状等であってもよい。
このような弾性層220には、弾性層220の変形によって変位するマーカーMが配置されている。このマーカーMは、検出部230で検出可能な検出対象である。図5に示すように、マーカーMは、弾性層220の厚さ方向にずれて配置された第1マーカー221、第2マーカー222および第3マーカー223を有している。また、第1マーカー221、第2マーカー222および第3マーカー223は、それぞれ、ドット状すなわち点形状をなしている。また、これら第1マーカー221、第2マーカー222および第3マーカー223は、筐体210からの距離が互いに異なっている。また、これら第1マーカー221、第2マーカー222および第3マーカー223は、それぞれ、弾性層220の変形に伴って変位する。そのため、これら第1マーカー221、第2マーカー222および第3マーカー223の変位に基づいて弾性層220の変形を検出でき、さらには、弾性層220の変形から弾性層220への入力を検出することができる。
図5に示すように、弾性層220は、筐体210の外周に配置され、第1マーカー221を有する第1弾性層224(第1マーカー配置層)と、第1弾性層224上に配置され、第2マーカー222を有する第2弾性層225(第2マーカー配置層)と、第2弾性層225上に配置され、第3マーカー223を有する第3弾性層226(第3マーカー配置層)と、第3弾性層226上に配置された保護層227と、を有している。
第1弾性層224は、光透過性および弾性(復元力)を有している。そして、第1弾性層224の表面に複数の第1マーカー221が互いに離間して配置されている。また、第2弾性層225は、光透過性および弾性(復元力)を有している。そして第2弾性層225の表面に複数の第2マーカー222が互いに離間して配置されている。また、第3弾性層226は、光透過性および弾性(復元力)を有している。そして、第3弾性層226の表面に複数の第3マーカー223が互いに離間して配置されている。
本実施形態では、これら第1、第2、第3弾性層224、225、226は、それぞれ、実質的に無色透明である。ただし、第1、第2、第3弾性層224、225、226は、光透過性を有していれば、その少なくとも1つが、例えば、有色透明であってもよい。
なお、第1、第2、第3弾性層224、225、226の構成材料としては、特に限定されず、例えば、ポリウレタン系エラストマー、スチレン系熱可塑性エラストマー、オレフィン系熱可塑性エラストマー、塩ビ系熱可塑性エラストマー、エステル系熱可塑性エラストマー、アミド系熱可塑性エラストマー、シリコーン系熱可塑性エラストマー、フッ素系熱可塑性エラストマー等の各種熱可塑性エラストマー、アクリル系ゴム、シリコーン系ゴム、ブタジエン系ゴム、スチレン系ゴム等の各種ゴム材料等が挙げられ、これらのうちの1種または2種以上を組み合わせて(例えば2層以上の積層体として)用いることができる。
第1、第2、第3弾性層224、225、226の厚さとしては、それぞれ、特に限定されないが、例えば、1mm以上、20mm以下であることが好ましく、5mm以上、10mm以下であることがより好ましい。これにより、入力時に第1、第2、第3弾性層224、225、226がそれぞれ十分に変形するため、第1、第2、第3マーカー221、222、223をそれぞれ十分に変位させることができる。また、入力時の弾性層220の変形量が適度なものとなる。そのため、操作感が向上すると共に、弾性層220の変形をより精度よく検出することができる。
また、第1、第2、第3弾性層224、225、226の弾性率(ヤング率)は、それぞれ、特に限定されず、互いに等しくてもよいし、互いに異なっていてもよい。第1、第2、第3弾性層224、225、226の弾性率を異ならせる場合には、例えば、第1弾性層224のヤング率をE1とし、第2弾性層225のヤング率をE2とし、第3弾性層226のヤング率をE3としたとき、E1<E2<E3の関係を満足するように設計してもよいし、反対に、E1>E2>E3の関係を満足するように設計してもよい。
例えば、E1>E2>E3の関係を満足するように設計した場合、弱い力F1の入力では、最も柔らかい第3弾性層226だけを実質的に変形させ、力F1よりも大きい力F2の入力では、第2、第3弾性層225、226だけを実質的に変形させ、力F2よりも大きい力F3の入力では、第1、第2、第3弾性層224、225、226を変形させるといった設計を実現することができる。この場合には、どの弾性層のマーカーMが変位したかを検出することで、入力強度を大まかに検出することができる。
複数の第1マーカー221の配置としては、特に限定されず、規則的に配置されていてもよいし、不規則に配置されていてもよい。本実施形態では、第1弾性層224の表面に、隣り合う3つが正三角形の頂点に位置するように均一に配置されている。第2マーカー222および第3マーカー223についても同様である。これにより、複数の第1マーカー221を規則的に配列することができ、弾性層220の全域にわたって過不足なく配置することができる。そのため、弾性層220の各部について、その変形を検出部230でより精度よく検出することができる。
ただし、第1、第2、第3マーカー221、222、223の配置としては、それぞれ、上述の配置に限定されない。以下、第1、第2、第3マーカー221、222、223の配置の変形例を、第1マーカー221を例に挙げて説明するが、第2、第3マーカー222、223についても同様である。
例えば、互いに直交する3軸をX軸、Y軸およびZ軸としたとき、第1弾性層224の表面に、YZ平面内で延在し、互いにX軸方向に等間隔に離間して配置された複数のリング状の第1線分と、XZ平面内で延在し、互いにY軸方向に等間隔に離間して配置された複数のリング状の第2線分と、を設定し、第1線分と第2線分との交点に第1マーカー221を配置してもよい。
また、例えば、上述した第1線分および第2線分に加えて、第1弾性層224の表面に、XY平面内で延在し、互いにZ軸方向に等間隔に離間して配置された複数のリング状の第3線分を設定し、これら第1、第2、第3線分上に等間隔に第1マーカー221を配置してもよい。
また、例えば、筐体210の中心と交わるYZ平面を筐体210の中心を通るY軸まわりに等角度間隔で回転させて複数の面を設定し、各面と第1弾性層224の表面との交差部に形成されるリング状の第1線分を複数設定する。さらに、筐体210の中心と交わるXY平面を筐体210の中心とを通るX軸まわりに等角度間隔で回転させて複数の面を設定し、各面と第1弾性層224の表面との交差部に形成されるリング状の第2線分を複数設定する。そして、第1線分と第2線分との交点に第1マーカー221を配置してもよい。
また、第1、第2、第3マーカー221、222、223の配設密度としては、それぞれ、求められる入力精度、検出部230の検出精度、具体的には後述するカメラ231の解像度、信号生成部250の処理速度等によっても異なるが、例えば、カメラ231の解像度で識別可能な限り高いことが好ましい。これにより、第1、第2、第3マーカー221、222、223の数をより多くすることができ、検出部230は、より精度よく、より詳細に、弾性層220の変形を検出することができる。そのため、信号生成部250は、より精度のよい入力信号を生成することができる。
また、第1、第2、第3マーカー221、222、223は、形状および色彩の少なくとも一方が互いに異なっており、検出部230によって識別可能となっている。本実施形態では、第1、第2、第3マーカー221、222、223は、互いに色彩が異なっており、例えば、第1マーカー221が赤色、第2マーカー222が緑色、第3マーカー223が青色となっている。なお、第1、第2、第3マーカー221、222、223の色彩ではなく形状を互いに異ならせる場合には、例えば、第1マーカー221が円形、第2マーカー222が三角形、第3マーカー223が四角形とすることができる。もちろん、色彩および形状を共に異ならせてもよいし、色彩や形状を異ならせる以外の方法によって、第1、第2、第3マーカー221、222、223を検出部230で識別可能としてもよい。
また、第1、第2、第3マーカー221、222、223は、自然状態において、検出部230のカメラ231から見て互いに重ならないように配置されていることが好ましい。すなわち、カメラ231によって撮像される画像上で、第2マーカー222がその手前にある第1マーカー221に隠れることなく、第3マーカー223がその手前にある第1、第2マーカー221、222に隠れることがないように配置されていることが好ましい。これにより、カメラ231によって、弾性層220への入力時における第1、第2、第3マーカー221、222、223の変位をそれぞれより正確に捉えることができる。そのため、信号生成部250は、より精度のよい入力信号を生成することができる。なお、前記「自然状態」とは、例えば、静止した状態で、弾性層220に使用者が触れていない状態(言い換えると、実質的に重力以外の外力が加わっていない状態)を言う。
なお、第1、第2、第3マーカー221、222、223の構成は、それぞれ、検出部230で検出可能であれば、特に限定されない。例えば、第1、第2、第3マーカー221、222、223は、ドット状すなわち点形状に限定されず、線形状、面形状、立体形状等であってもよい。また、例えば、第1、第2、第3マーカー221、222、223は、それぞれ、第1、第2、第3弾性層224、225、226の表面に貼着されたものであってもよいし、第1、第2、第3弾性層224、225、226の表面にインク等を用いて印刷されたものであってもよい。また、例えば、弾性層220を覆うように被せる球状のシート体にマーカーMを配置した構成であってもよい。また、例えば、第1、第2、第3マーカー221、222、223は、それぞれ、第1、第2、第3弾性層224、225、226内に埋設されていてもよい。
保護層227は、主に、第3弾性層226を保護する機能を有している。また、保護層227は、第1、第2、第3弾性層224、225、226と同様に、光透過性および弾性を有している。本実施形態では、保護層227は、無色透明である。ただし、保護層227は、有色透明であってもよい。このような保護層227の構成材料としては、特に限定されないが、例えば、前述した第1、第2、第3弾性層224、225、226の構成材料と同様の材料が挙げられる。
以上、弾性層220について説明した。このような弾性層220は、例えば、次のように形成(製造)することができる。まず、筐体210の外周面に材料を塗布して第1弾性層224を形成し、第1弾性層224の表面に複数の第1マーカー221を配置する。次に、第1弾性層224の表面に材料を塗布して第2弾性層225を形成し、第2弾性層225の表面に複数の第2マーカー222を配置する。次に、第2弾性層225の表面に材料を塗布して第3弾性層226を形成し、第3弾性層226の表面に複数の第3マーカー223を配置する。次に、第3弾性層226の表面に材料を塗布して保護層227を形成する。以上により、弾性層220を形成することができる。ただし、弾性層220の形成方法は、これに限定されない。
検出部230は、ステレオ写真法によって、弾性層220の変形を三次元的に検出する。このように、ステレオ写真法を用いることで、弾性層220の変形を比較的簡単に、かつ、精度よく検出することができる。
図3に示すように、検出部230は、内部空間S内に配置された撮像部としての複数のカメラ231を有している。ここで、内部空間Sの中央部には筐体210に固定された支持部材211が配置されており、この支持部材211に各カメラ231が支持されている。各カメラ231は、弾性層220の方を向いて放射状に配置されており、弾性層220を撮像可能となっている。また、弾性層220の各部は、少なくとも2つのカメラ231で撮像できるようになっており、これにより、弾性層220の各部を三次元画像認識、すなわちステレオ画像認識することができるようになっている。
カメラ231としては、特に限定されず、例えば、CCDカメラ、CMOSカメラ等を用いることができる。また、本実施形態では、2つのカメラ231を用いて弾性層220の各部を三次元画像認識しているが、例えば、複数の光軸を有するレンズを用いて1つのカメラ231で複数の画像を時分割で取得し、これらの画像を用いて弾性層220の各部を三次元画像認識してもよい。このような構成によれば、撮像部の小型化および低コスト化を図ることができる。
本実施形態では、図3に示すように、支持部材211が正六面体をなし、この正六面体の各頂点に位置するように8つのカメラ231が配置されている。ただし、複数のカメラ231の配置や光軸の向きとしては、弾性層220の各部を少なくとも2つのカメラ231で撮像することができれば、特に限定されない。各カメラ231の画角等によっても異なるが、例えば、図6に示すように、支持部材211を正八面体とし、この正八面体の各頂点に位置するように複数のカメラ231を配置してもよいし、図7に示すように、支持部材211を正十二面体とし、この正十二面体の各頂点に位置するように複数のカメラ231を配置してもよい。なお、前記「弾性層220の各部」とは、弾性層220の全域を意味する場合もあれば、弾性層220の選択された一部の領域を意味する場合もある。
また、図8に示すように、検出部230は、各カメラ231からの画像情報に基づいて弾性層220の三次元画像認識を行う処理部232を有している。処理部232は、例えば、各カメラ231等の各部を制御するCPU232a、メモリー232b、フラッシュメモリー等の記憶部232c等を含んでおり、所定のプログラム(コード)を実行できるように構成されている。なお、前記プログラムは、例えば、記憶媒体に記憶されていてもよいし、外部のサーバーからダウンロードしてもよい。
ここで、前述したように、入力装置200への入力は、弾性層220を押したり、摘まんだり、伸ばしたり、引っ張ったりすることで行われる。そして、この入力に応じて弾性層220が変形し、当該変形に伴って第1、第2、第3マーカー221、222、223がそれぞれ変位する。具体的な例を挙げれば、例えば、図8に示すように、弾性層220のある部分が押されて変形した場合には、その直下および周囲に位置する第1、第2、第3マーカー221、222、223がそれぞれ受けた力に応じて変位する。処理部232は、このような第1、第2、第3マーカー221、222、223の変位を三次元画像認識によって検出し、その検出結果に基づいて、入力位置、入力方向、入力強度、入力速度、入力加速度等を含む入力情報(接触入力情報)を得る。
このように、弾性層220に第1、第2、第3マーカー221、222、223が配置されていることで、検出部230は、第1、第2、第3マーカー221、222、223の変位に基づいて、弾性層220の変形をより精度よく検出することができる。特に、本実施形態では、第1、第2、第3マーカー221、222、223が弾性層220の厚さ方向にずれて配置されている。そのため、検出部230は、弾性層220の厚さ方向に異なる位置での変形を検出することができ、弾性層220の変形をより詳細に検出することができる。
ここで、処理部232による入力情報の取得方法の一例について簡単に説明する。処理部232の記憶部232cには予め各カメラ231の3次元座量が記憶されている。そして、処理部232は、所定マーカーMの変位を検出するのに用いられる2台のカメラ231によって同時刻における画像を取得し、両画像中の所定マーカーMの2次元座標を取得する。次に、処理部232は、両画像中の所定マーカーMの2次元座標のずれと各カメラ231の3次元座標とに基づいて所定マーカーMの3次元座標を取得し、記憶部232cに記憶する。処理部232は、この作業をフレーム毎に連続的に行う。そして、処理部232は、前回取得した前記所定マーカーMの3次元座標と、今回新たに取得した前記所定マーカーMの3次元座標とを比較することで、その間に生じた所定マーカーMの変位を検出することができる。処理部232は、このような作業を全マーカーMについて行うことで、入力情報を得ることができる。なお、各カメラ231のフレームレートとしては、特に限定されず、例えば、15フレーム/秒、30フレーム/秒、60フレーム/秒等とすることができる。
以上、処理部232による入力情報の取得方法について説明したが、入力情報の取得方法は、これに限定されない。例えば、全マーカーMについて上述の作業を行うと処理量が膨大となってしまい、処理部232の性能等によっては処理が追いつかない場合が考えられる。また、用途によっては、大まかな入力情報が得られれば、それで足りる場合も考えられる。そのため、このような場合には、例えば、処理部232は、予め選択した一部のマーカーMについてのみ上述の作業を行うようにしてもよい。
また、処理部232は、例えば、自然状態における弾性層220の各部の画像を基準画像として記憶しておき、この基準画像と、上述のように得られた画像とをリアルタイムに比較して第1、第2、第3マーカー221、222、223の変位を特定することで、上記の入力情報を得てもよい。
図8に示すように、信号生成部250は、検出部230が取得した入力情報(接触入力情報)を受信し、受信した入力情報に基づいて入力信号(接触入力信号)を生成する。このような信号生成部250は、検出部230に含まれていてもよい。
なお、本実施形態では、処理部232および信号生成部250が支持部材211内に配置されているが、これらの配置としては、特に限定されず、例えば、脚部270内に配置されていてもよい。また、処理部232および信号生成部250は、入力装置200ではなく、例えば、端末400や画像表示装置300が有していてもよいし、クラウド上に有していてもよい。
光源240は、筐体210の内側から弾性層220を照らすことができる。図3に示すように、光源240は、内部空間S内に配置された複数の発光部241を有している。各発光部241としては、特に限定されず、例えば、LEDを用いることができる。また、各発光部241は、可視光を出射してもよいし、NIR光(近赤外光)を出射してもよいし、紫外光を出射してもよい。発光部241として可視光を出射するものを用いる場合には、各カメラ231を可視光に対応した構成とし、発光部241としてNIR光を出射するものを用いる場合には、各カメラ231をNIR光に対応した構成とし、発光部241として紫外光を出射するものを用いる場合には、各カメラ231を紫外光に対応した構成とすればよい。特に、NIR光や紫外光は、人間の目には見えないため、弾性層220を介して外部に漏れたとしても使用者が眩しく思うことがない。また、特に、各カメラ231が紫外光を出射する場合には、マーカーMは蛍光体であってもよい。これにより、マーカーMをカメラ231によってより鮮明に撮像することができる。
また、複数の発光部241は、それぞれ、支持部材211に支持されており、これら複数の発光部241からの光で、弾性層220のほぼ全域が照明される。このような光源240を有することで、検出部230が、弾性層220の画像認識をより高い解像度で行うことができる。そのため、検出部230は、より高精度な入力情報を取得することができる。なお、本実施形態では、支持部材211が正六面体をなしているため、この正六面体の各面の中心部に位置するように複数の発光部241が配置されている。ただし、複数の発光部241の配置としては、特に限定されず、例えば、前述したように支持部材211が正八面体であれば、この正八面体の各面の中心部に位置するように配置してもよいし、支持部材211が正十二面体であれば、この正十二面体の各面の中心部に位置するように配置してもよい。
なお、光源240は、例えば、外界からの光によって弾性層220を画像認識可能な程に十分に明るく保てる場合等には省略してもよい。また、内部空間Sに輝度センサーを配置して、この輝度センサーにより検知された内部空間Sの明るさに基づいて、各発光部241の駆動が制御されるようになっていてもよい。これにより、例えば、内部空間S内をほぼ一定の明るさに保つことができ、検出部230による弾性層220(マーカーM)の画像認識をより安定して行うことができる。
図8に示すように、送信部260は、信号生成部250で生成された入力信号を受信し、受信した入力信号を端末400に送信する。送信方法としては、特に限定されず、有線、無線(例えば、Bluetooth(登録商標)、Wi−Fi等の無線LAN)を問わない。なお、本実施形態では、送信部260が支持部材211内に配置されているが、送信部260の配置としては、特に限定されず、例えば、脚部270内に配置されていてもよい。また、前述したように、端末400が処理部232および信号生成部250を有している場合等には、送信部260は、各カメラ231からの画像情報を端末400に送信すればよい。
なお、前述したように、本実施形態では、第1、第2、第3弾性層224、225、226および保護層227が無色透明である。そのため、各カメラ231は、弾性層220を介して弾性層220の外界を撮像することができる。したがって、各カメラ231を用いて、使用者の両手の動きを捉えることができ、弾性層220に触れることのない入力や、第1、第2、第3マーカー221、222、223が変位しない程度に軽く弾性層220に触れた状態での入力が可能となる。
具体的には、例えば、図9に示すように、筐体210を包み込むように両手を弾性層220に非接触で配置し、筐体210を回転させるように両手を動かすと、この両手の動きを処理部232がカメラ231からの画像に基づいて検出し、その動きに基づく入力情報(非接触入力情報)を得る。このようにして得られた入力情報も、信号生成部250に送信され、信号生成部250は、受信した入力情報に基づいて入力信号(非接触入力信号)を生成する。このような構成によれば、前述した接触型の入力に加えて、非接触型の入力が可能となり、入力装置200の操作性および利便性がさらに向上する。
なお、検出部230は、手(指)と重なる部分の第1、第2、第3マーカー221、222、223が変位していない場合には非接触入力情報だけを取得し、手(指)と重なる部分の第1、第2、第3マーカー221、222、223が変位している場合には接触入力情報だけを取得することが好ましい。また、信号生成部250は、手(指)と重なる部分の第1、第2、第3マーカー221、222、223が変位していない場合には非接触入力信号だけを生成し、第1、第2、第3マーカー221、222、223が変位している場合には接触入力情報だけを生成することが好ましい。これにより、誤った入力信号の生成を低減することができる。
また、入力装置200は、接触型の入力と非接触型の入力とを同時に行うことができるようになっていてもよい。すなわち、例えば、一方の手で接触型の入力をしつつ、他方の手で非接触型の入力を行うことができるようになっていてもよい。この場合は、接触型の入力と非接触型の入力とを弾性層220の異なる領域で行うことが好ましい。これにより、検出部230による接触入力情報および非接触入力情報の取得が比較的容易となる。
なお、非接触型の入力は必須ではなく、できなくてもよい。この場合、保護層227は、光透過性を有する必要がないため、光透過性を有していなくてもよい。保護層227が光透過性を有しなければ、光源240の光が弾性層220の外部に漏れることがないため例えば、光源240からの光量が大きい場合等に、使用者が眩しく感じることがなくなる。
図3に示すように、脚部270は、筐体210に連結されており、筐体210を安定した姿勢で床や机に配置可能にしている。なお、脚部270の構成としては、筐体210を安定した姿勢で支持することができれば、特に限定されない。例えば、脚部270は、高さを調節できるようになっていてもよいし、筐体210に対して着脱自在となっていてもよい。また、脚部270には、各種情報を表示可能なディスプレイを備える表示部が設けられていたり、ボタン等の入力部が設けられていたり、入力装置200の電源バッテリー等の各種部品が内蔵されていたりしてもよい。特に、入力装置200が電源バッテリーを有することで、ワイヤレスの入力装置200を実現することができ、利便性が向上する。
以上、入力装置200について説明した。このような入力装置200は、上述した構成の他にも必要に応じて種々の構成を付加することができる。このような構成としては、例えば、近接センサー、方位センサー、磁場センサー、輝度センサー、気圧センサー、温度センサー等があげられる。例えば、近接センサーを有している場合には、近接センサーを入力装置200の電源スイッチとして用いることができ、使用者が入力装置200に手をかざすと入力装置200が駆動するような構成が可能となる。また、方位センサー、磁場センサー、輝度センサー、気圧センサー、温度センサーを有している場合には、現実世界の方位、磁場、明るさ、気圧、温度を画面310内の仮想三次元空間に反映させることができる。そのため、画面310内に、より現実世界に近い仮想三次元空間を形成することができる。
次に画像表示システム100の具体的な使用方法の一例を説明する。例えば、使用者が装着している画像表示装置300の画面310には、図10に示すような人間の頭部の仮想立体構造物Xが表示されている。そして、使用者は、図11に示すように、弾性層220を人間の頭部に見立てて、弾性層220の頬に相当する部分を引っ張ることで、仮想立体構造物Xの頬を引っ張ることができる。同様に、図12に示すように、弾性層220の頬に相当する部分を押すことで、仮想立体構造物Xの頬を押すことができる。また、図13に示すように、非接触型の入力を行うことで、仮想立体構造物Xを回転させることもでき、仮想立体構造物Xを好きな向きにすることができる。このように、入力装置200によれば、直感的な入力が可能である。また、入力装置200によれば、弾性層220の反発によって何か物を触れているとの感覚を使用者に与えることができる。そのため、入力装置200によれば、直感的かつ繊細な入力が可能となる。
なお、画像表示システム100の使用方法としては、特に限定されず、例えば、各種ゲーム、家電、自動車、飛行機等の工業製品のデザインや、設計シミュレーション等に用いることができる。また、上述した使用方法では、仮想立体構造物Xを3次元的に加工する例について説明したが、さらに、時間軸を加えた4次元的な加工が可能となっていてもよい。
以上、本実施形態の入力装置200について説明した。前述したように、入力装置200は、外力が入力される外周面220a(第1面)および外周面220aの反対側の内周面220b(第2面)が規定される弾性層220と、弾性層220に配置され、弾性層220の変形に伴って変位するマーカーMと、を有する弾性入力部280と、弾性層220の内周面220b側に位置づけられ、マーカーMの変位に基づいて弾性層220の変形を検出する検出部230と、を備えている。そのため、使用者が弾性層220を押したり、引っ張ったり、摘まんだりすることで弾性層220が変形し、この変形を検出部230が検出することで、弾性入力部280への入力を検出することができる。押す、引っ張る、摘まむ等の指を用いた動作は、人間の日常的な動作であるため、このような動作を入力として用いることのできる入力装置200によれば、より繊細で直感的な入力を実現することができる。さらには、弾性層220の反発によって何か物に触れているとの感覚を使用者に与えることができるため、使用者は、より直感的な入力が可能となる。
また、前述したように、入力装置200では、マーカーMは、弾性層220の厚さ方向にずれて配置された第1マーカー221および第2マーカー222を有している。そのため、検出部230は、弾性層220の厚さ方向の各部(例えば、外面付近、中央付近、内面付近)における変形をそれぞれ取得することができる。そのため、検出部230によって、弾性層220の変形をより精度よく検出することができる。特に、本実施形態では、第1、第2マーカー221、222に加えて第3マーカー223を有しているため、上述の効果がより顕著となる。
また、前述したように、入力装置200では、第1マーカー221および第2マーカー222は、形状および色彩の少なくとも一方が互いに異なっている。これにより、検出部230が第1マーカー221および第2マーカー222を識別し易くなる。そのため、検出部230によって、第1マーカー221および第2マーカー222のそれぞれ変位をより精度よく検出することができる。
また、前述したように、入力装置200では、検出部230は、弾性層220を撮像する撮像部としてのカメラ231を有し、カメラ231が撮像した弾性層220の画像データに基づいて弾性層220の変形を検出する。これにより、比較的簡単な構成で、弾性層220の変形を検出することができる。特に、本実施形態では、検出部230は、ステレオ写真法によって弾性層220の変形を検出する。そのため、比較的簡単に、かつ、高精度に弾性層220の変形を検出することができる。
また、前述したように、入力装置200では、弾性層220の外周面220a(第1面)は、内周面220b(第2面)と反対側に向けて凸となる形状である。そのため、弾性層220に両手を添え易くなり(図9参照)、弾性層220への入力をより自然に行うことができる。また、弾性層220を引っ張り易くもなり、摘まみ易くもなるため、その分、より繊細な入力を行うことができる。
また、前述したように、入力装置200では、弾性層220を内周面220b(第2面)側から支持する支持部としての筐体210を備えている。これにより、弾性層220の形状が安定し、弾性層220の意図しない変形、すなわち入力以外の外力による弾性層220の変形が抑制される。そのため、より高精度に弾性入力部280への入力を行うことができる。
なお、入力装置200の構成としては、上述の構成に限定されない。例えば、本実施形態では、弾性層220は、第1弾性層224と、第2弾性層225と、第3弾性層226と、を有しているが、弾性層220としては、第1弾性層224を有していれば、特に限定されず、例えば、第2弾性層225および第3弾性層226の少なくとも1つを省略してもよい。
また、例えば、弾性層220は、その弾性力が可変となっていてもよい。これにより、画面310上に表示された仮想立体構造物Xの硬さに合わせて弾性層220の弾性力を変化させることができ、さらに直感的で違和感の少ない入力が可能となる。この場合の弾性層220の構成としては、特に限定されないが、例えば、筐体210を覆い、筐体210との間に第1気密空間を有する第1被覆部と、第1被覆部の表面に配置された第1マーカー221と、第1被覆部を覆い、第1被覆部との間に第2気密空間を有する第2被覆部と、第2被覆部の表面に配置された第2マーカー222と、第2被覆部を覆い、第2被覆部との間に第3気密空間を有する第3被覆部と、第3被覆部の表面に配置された第3マーカー223と、第3被覆部を覆い、第3被覆部との間に第4気密空間を有する保護被覆部と、を有し、ポンプ等によって、第1気密空間、第2気密空間、第3気密空間、第4気密空間のそれぞれに空気、希ガス等の気体を供給することで、これら各空間の圧力が調整可能となっている構成が挙げられる。また、この場合には、例えば、第1気密空間内に配置された実質的に伸縮しない紐のようなもので、筐体210と第1被覆部とを数か所接続し、筐体210に対する第1被覆部の不本意な変位を抑制しておくことが好ましい。第2、第3、保護被覆部についても同様である。
また、本実施形態では、マーカーMが、筐体210からの距離が互いに異なる第1、第2、第3マーカー221、222、223を有しているが、例えば、第1、第2、第3マーカー221、222、223の少なくとも1つを省略してもよい。
また、本実施形態では、第1弾性層224に第1マーカー221を配置し、第2弾性層225に第2マーカー222を配置し、第3弾性層226に第3マーカー223を配置しているが、例えば、図14に示すように、筐体210からの距離が異なるように、1層の弾性層220内に複数のマーカーMが規則的または不規則に配置されていてもよい。
また、弾性入力部280は、弾性層220の変形によって変位せず、検出部230によって検出可能な基準マーカーを有していてもよい。具体的には、例えば、図15に示すように、弾性入力部280は、弾性層220が押されたり、引っ張られたりしても実質的に変位しない基準マーカー228を有していてもよい。なお、図15の構成では、基準マーカー228は、第1弾性層224と筐体210との間であって筐体210の外周面に配置されているが、基準マーカー228の配置としては、これに限定されず、例えば、筐体210の内周面に配置されていてもよい。
基準マーカー228は、各カメラ231との相対的位置関係が一定であり、検出部230が第1、第2、第3マーカー221、222、223の変位を検出する際の基準として機能する。このような構成によれば、例えば、検出部230は、基準マーカー228に対する第1、第2、第3マーカー221、222、223の変位を検出することで、より精度のよい入力情報を得ることができる。なお、基準マーカー228は、検出部230が第1、第2、第3マーカー221、222、223のそれぞれと区別(識別)できるように、例えば、第1、第2、第3マーカー221、222、223と形状および色彩の少なくとも一方が異なっていることが好ましい。
また、本実施形態では、弾性層220が保護層227を有しているが、図16に示すように、保護層227を省略してもよい。この場合には、弾性層220の表面に第3マーカー223が露出する。すなわち、マーカーMは、弾性層220の外周面220a(第1面)に露出する露出マーカー229を有している。弾性層220の外周面220aは、外力が入力される場所である。そのため、弾性層220の外周面220aに露出する露出マーカー229を配置することで、入力に対するマーカーMの追従性がより高まる。そのため、検出部230は、より精度のよい入力情報を得ることができる。
また、露出マーカー229は、弾性層220の外周面220aから突出する部分を有することが好ましい。これにより、露出マーカー229に指が引っかかり易くなる。そのため、特に、弾性層220の外周面220aで指を滑らせるような入力に対する弾性層220の応答性が向上する。また、この場合、露出マーカー229のヤング率は、弾性層220の外周面220aを構成する層、本実施形態では第3弾性層226のヤング率よりも大きいことが好ましい。すなわち、露出マーカー229は、第3弾性層226よりも硬いことが好ましい。これにより、露出マーカー229にさらに指が引っかかり易くなり、上述した効果がより顕著なものとなる。
なお、図16に示す構成では、露出マーカー229が第3マーカー223で構成されている場合について説明したが、露出マーカー229の構成としては、特に限定されず、第3マーカー223以外のマーカーで構成されていてもよい。
また、本実施形態では、第1マーカー221、第2マーカー222および第3マーカー223がそれぞれドット状をなしているが、これらの形状としては、特に限定されず、例えば、線状であってもよいし、線と当該線上に離間して配置された複数のドットとを組み合わせた形状であってもよい。また、第1マーカー221(第2マーカー222および第3マーカー223についても同様)が線状の場合には、例えば、複数の第1マーカー221を同心円状に配置してもよいし、例えば、指紋(紋様)のように、複数の第1マーカー221が年輪状に、互いに沿って規則性なく湾曲していてもよい。
また、本実施形態では、カメラ231が内部空間S内に配置されているが、カメラ231の配置としては、特に限定されず、例えば、図17に示すように、脚部270内に配置されていてもよい。この場合は、例えば、内部空間S内にレンズLEを配置し、このレンズLEで集光した光を光ファイバー等の導光部Qを介してカメラ231まで導く構成とすることができる。このような構成によれば、カメラ231を内部空間S内に配置する必要がなくなり、筐体210の小型化を図ることができる。
また、本実施形態では、筐体210が硬質な部材で形成されているが、例えば、図18に示すように、筐体210が入力時に撓む程度の軟質な部材で形成されていてもよい。すなわち、弾性層220への入力があった際に、筐体210が弾性層220と共に変形してもよい。これにより、第1、第2、第3マーカー221、222、223の変位量をそれぞれより大きくすることができる。そのため、検出部230は、より高精度の入力情報を得ることができる。
また、入力装置200は、弾性層220への入力を行う指に触覚を提供する触覚提供部を有していてもよい。これにより、入力の感覚がより現実に近くなり、より直感的な入力が可能となる。触覚提供部の構成としては、特に限定されないが、例えば、筐体210内に複数のスピーカーを配置し、これらスピーカーのうちの少なくとも1つから弾性層220の入力箇所に向けて超音波(音波)を出力することで、弾性層220への入力を行っている指に触覚を提供するように構成されていてもよい。特に、複数のスピーカーから超音波を出力し、弾性層220の入力箇所に音の焦点を形成することで、より効果的に、前記指に触覚を提供することができる。
また、入力装置200は、弾性層220を加熱する加熱部を有していてもよい。これにより、画面310上に表示された仮想立体構造物Xの温度に合わせて弾性層220の温度を変化させることができ、さらに直感的で違和感の少ない入力が可能となる。また、この場合、加熱部は、弾性層220を全体的にほぼ均一に加熱できるようになっていてもよいし、弾性層220の一部だけを加熱できるようになっていてもよい。また、加熱部としては、特に限定されず、例えば、赤外線によって弾性層220を加熱する構成とすることができる。これとは、逆に、入力装置200は、弾性層220を冷却する冷却部を有していてもよい。これにより、加熱部と同様の効果を発揮することができる。もちろん、入力装置200は、加熱部と冷却部の両方を有していてもよい。
また、図19に示すように、入力装置200は、筐体210の内側から筐体210の内周面に向けて映像光を投影し、弾性層220の外側から視認可能な画像(映像)を表示する画像投影部700を有していてもよい。前記画像としては、特に限定されないが、例えば、弾性層220への入力を補助、案内する画像が挙げられる。これにより、入力装置200の操作性が向上し、弾性層220への入力が容易となる。なお、画像投影部700としては、特に限定されないが、例えば、液晶型のプロジェクタ、光走査型のプロジェクタ等を有する構成とすることができる。
図19に示す構成の別の使用方法として、入力装置200をキーボードとして使用する方法がある。この場合、例えば、画像投影部700によって、QWERTY配列に代表されるキー配列で配置されたアルファベット、数字、アイコン等を画像として弾性層220に表示する。そして、使用者は、弾性層220の入力したい文字が表示されている部分を押圧することで、その文字を入力することができる。このような構成によれば、画像を変更するだけで、文字の配置変更や言語の変更を容易に行うことができるため、優れた利便性を発揮することのできるキーボードとなる。なお、例えば、入力装置200を主にキーボードとして使用する場合等には、弾性層220にアルファベット、数字等が印刷、シールの貼着等によって物理的に付されていてもよい。また、アルファベット、数字等が印刷されたシートを弾性層220に被せることで、入力装置200をキーボードとして使用できるようになっていてもよい。
なお、図19の構成では、画像投影部700を用いて弾性層220の外側から視認可能な画像を表示しているが、画像の表示方法としては、これに限定されない。例えば、画像表示装置300の画面310に、弾性層220と重畳させて仮想的な画像を表示してもよい。すなわち、現実世界では弾性層220には何ら画像が表示されていないが、画面310を通して弾性層220を視認すると弾性層220に画像が表示されて見える構成としてもよい。これにより、図19に示す構成と同様の効果を発揮することができる。また、画像投影部700が不要なことから、図19に示す構成と比べて、入力装置200の簡易化、低コスト化、小型化等を図ることができる。
<第2実施形態>
次に、本発明の第2実施形態に係る画像表示システムについて説明する。
図20は、本発明の第2実施形態が有する入力装置の断面斜視図である。
本実施形態に係る画像表示システムは、入力装置の構成が異なること以外は、前述した第1実施形態の画像表示システムと同様である。
なお、以下の説明では、第2実施形態の画像表示システムに関し、前述した第1実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図20では前述した実施形態と同様の構成について、同一符号を付している。
本実施形態の入力装置200は、前述した第1実施形態の構成から脚部270を省略した構成となっており、例えば、図20に示すように、使用者が手に持って使用することができる。また、本実施形態の入力装置200は、内部空間S内に配置され、入力装置200の変位(姿勢の変化、移動等)を検出する変位検出部290を有している。なお、本実施形態では、支持部材211内に変位検出部290が配置されているが、変位検出部290の配置としては、特に限定されない。
変位検出部290は、例えば、加速度を検出する加速度センサー291と、角速度を検出する角速度センサー292と、を有し、これらの検出結果に基づいて、入力装置200の姿勢変化、移動軌跡、移動時に加わった加速度や角速度等を含む変位情報を得る。そして、信号生成部250は、変位検出部290が検出した変位情報に基づいて、入力信号(変位入力信号)を生成する。すなわち、本実施形態では、信号生成部250は、前述した第1実施形態で述べた接触入力信号および非接触入力信号に加えて変位入力信号を生成する。変位入力信号によれば、例えば、入力装置200を回転させれば、それに応じて、画面310中の仮想立体構造物Xを回転させることができ、入力装置200を移動させれば、それに応じて、画面310中の仮想立体構造物Xを移動させることができる。このように、回転や移動といった入力を可能とすることで、さらに直感的な入力が可能な入力装置200となる。
特に、本実施形態では、互いに直交する軸をX軸、Y軸、Z軸としたとき、加速度センサー291として、X軸、Y軸、Z軸の各軸方向の加速度を検出できる3軸加速度センサーを用い、角速度センサー292として、X軸、Y軸、Z軸の各軸まわりの角速度を検出することのできる3軸角速度センサーを用いている。そのため、より精度の高い入力信号を生成することができる。ただし、変位検出部290の構成としては、少なくとも1つの物理量を検出できれば、特に限定されず、例えば、加速度センサー291および角速度センサー292のいずれか一方を省略してもよい。また、検出する物理量としては、加速度や角速度に限定されず、例えば、圧力、重力等であってもよい。
また、変位検出部290は、入力装置200のポジショントラッキング(空間認識)を行うための装置を有している。ポジショントラッキングを行う装置としては、特に限定されないが、例えば、本実施形態では、赤外線を出射する赤外線出射装置293を有している。この場合には、例えば、空間内に配置した複数の赤外線カメラを用いて、赤外線出射装置293から出射される赤外線を認識することで、入力装置200のポジショントラッキングが可能となる。
以上、変位検出部290について説明したが、変位検出部290の構成としては、特に限定されない。
このような第2実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。
<第3実施形態>
次に、本発明の第3実施形態に係る画像表示システムについて説明する。
図21は、本発明の第3実施形態に係る画像表示システムの構成図である。図22は、図21に示す入力装置の斜視図である。図23は、図22に示す入力装置の側面図である。図24は、図22に示す入力装置を把持した状態を示す側面図である。図25は、図22に示す入力装置が有する弾性入力部の部分断面斜視図である。図26は、画像表示システムの使用方法の一例を示す図である。図27は、画像表示システムの使用方法の一例を示す図である。図28は、画像表示システムの使用方法の一例を示す図である。図29は、画像表示システムの使用方法の一例を示す図である。図30は、画像表示システムの使用方法の一例を示す図である。図31は、入力装置の変形例を示す斜視図である。図32は、入力装置の変形例を示す側面図である。
本実施形態に係る画像表示システムは、入力装置の構成が異なること以外は、前述した第1実施形態の画像表示システムと同様である。
なお、以下の説明では、第2実施形態の画像表示システムに関し、前述した第1実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図21ないし図31では、前述した実施形態と同様の構成について、同一符号を付している。
図21に示す画像表示システム100は、2つの入力装置500を有する入力装置セット500’と、画像表示装置300と、端末400と、を有している。
画像表示装置300は、実質的に前述した第1実施形態と同様の構成であるが、さらに、ポジショントラッキング機能を有していることが好ましい。これにより、空間内での使用者の位置を検出することができ、使用者の移動に応じて画像表示装置300の画面310に表示する画像を変化(追従)させることができる。そのため、より現実感のある画像表示システム100となる。
2つの入力装置500は、使用者が把持して使用するものであり、一方が使用者の右手用の入力装置500であり、他方が使用者の左手用の入力装置500である。2つの入力装置500は、右手用と左手用にするために対称に構成されている以外は、互いに同様の構成である。そのため、以下では、一方の入力装置500について代表して説明し、他方の入力装置500については、その説明を省略する。
図22および図23に示すように、入力装置500は、弾性入力部580と、弾性入力部580に接続された接続部570と、接続部570に設けられた入力部571と、入力装置500の変位を検知する変位検出部590と、を有している。特に、本実施形態では、接続部570は、使用者に把持される把持部として用いられる。これにより、入力装置500を握り易くなり、入力装置500の操作性が向上する。このように、入力装置500が接続部570を有することで、接続部570を把持部として用いることができ、接続部570に入力部571等の各種機能部を配置することができるため、入力装置500の操作性が向上すると共に、入力装置500に様々な機能を追加し易くなる。
また、図示しないが、入力装置500は、電源バッテリーを有している。電源バッテリーを有することで、ワイヤレスの入力装置500を実現でき、入力装置500の操作性が向上する。ただし、電源バッテリーを省略し、電源コードを有する構成としてもよい。
このような入力装置500では、図24に示すように、接続部570を把持した状態で、少なくとも使用者の親指で弾性入力部580を操作できるようになっており、これに合わせて接続部570に対する弾性入力部580の配置が設定されている。
図25に示すように、弾性入力部580は、筐体510と、筐体510の外周面すなわち筐体510の外側に配置された弾性層520と、筐体510の内側に配置され、弾性層520の変形を検出する検出部530と、弾性層520を照らす光源540と、検出部530の検出結果から入力信号を生成する信号生成部550と、信号生成部550で生成された入力信号を端末400へ送信する送信部560と、を有している。
弾性入力部580は、その大きさが異なること以外は、前述した第1実施形態の弾性入力部280と同様の構成となっている。より具体的には、本実施形態の筐体510、弾性層520、検出部530、光源540、信号生成部550および送信部560は、それぞれ、前述した第1実施形態の筐体210、弾性層220、検出部230、光源240、信号生成部250および送信部260と同様の構成となっている。そのため、弾性入力部280の詳しい説明は省略する。
なお、弾性入力部580の直径としては、特に限定されないが、片手で握れる程度の大きさであることが好ましい。具体的には、例えば、50mm以上、100mm以下であることが好ましく、60mm以上、80mm以下であることがより好ましい。これにより、接続部570を把持した状態で操作するのに適した大きさの弾性入力部580となる。そのため、入力装置500の操作性が向上する。
図22および図23に示すように、接続部570は、弾性入力部580に接続されており、使用者によって把持される部位である。このような接続部570を設けることで、入力装置500を握って操作することができるため、その操作性が向上する。特に、図24に示すように、本実施形態の接続部570は、使用者の手の中指、薬指および小指の3本で握るように構成されている。そのため、接続部570を安定した姿勢で把持することができ、入力装置500の操作性が向上する。
ただし、接続部570の構成としては、使用者が把持することができれば、特に限定されず、例えば、使用者の手の人差し指、中指、薬指および小指のうちの1本または2本で把持できるようになっていてもよいし、使用者の手の人差し指、中指、薬指および小指の4本で把持できるようになっていてもよい。
また、図示しないが、接続部570は、例えば、輪っか状の紐からなるストラップ(落下防止部)を有していてもよい。このような構成によれば、腕をストラップに挿通することで、仮に接続部570が手から離脱しても、入力装置500の床への落下を防止することができる。そのため、安全性の高い入力装置500となる。
図22、図23および図24に示すように、入力部571は、接続部570に配置されている。入力部571では、弾性入力部580とは異なる入力を行うことができる。このような入力部571を設けることで、弾性入力部580だけの場合と比較して、より多くの多彩な入力信号を生成することができる。
入力部571は、少なくとも1つの入力ボタンを有していることが好ましい。これにより、入力部571の構成が簡単となると共に、入力部571の操作が簡単となる。本実施形態の入力部571は、入力装置500を把持した状態において、親指で操作可能な複数の押し込み型の第1入力ボタン572と、人差し指で操作可能なトリガー型の第2入力ボタン573と、を有している。このように、別の指で操作できる複数のボタンを配置することで、より操作性の高い入力部571となる。
なお、入力部571の構成としては、これに限定されず、ボタンの数や配置は、適宜設定することができる。また、例えば、さらに、マウスパッド、タッチパネル、左右前後に動かすことができるスティック状のボタン等を有していてもよいし、これらを第1、第2入力ボタン572、573の少なくとも一方と置換してもよい。
変位検出部590は、入力装置500の変位、具体的には姿勢の変化、移動等を検出する機能を有している。変位検出部590は、前述した第2実施形態の変位検出部290と同様の構成となっている。そのため、変位検出部590の詳しい説明は、省略する。ただし、変位検出部590の構成としては、上述した機能を発揮することができる限り、特に限定されない。
このような変位検出部590の配置としては、特に限定されず、筐体510内に配置されていてもよいし、接続部570内に配置されていてもよいが、筐体510の中央部に配置されていることが好ましい。これにより、特に、入力を行う主要な部分である弾性入力部580の変位を精度よく検出することができる。そのため、画面310に表示される仮想画像を弾性入力部580の変位に追従させ易くなり、画像表示システム100の操作性がより向上する。
以上、入力装置500の構成について説明した。次に、画像表示システム100の具体的な使用方法の一例を説明する。例えば、使用者が装着している画像表示装置300の画面310には、図26に示すような人間の頭部の仮想立体構造物Xが表示されている。
そして、使用者は、右手に把持する入力装置500の弾性入力部580を向かって右側の仮想立体構造物Xの半身に見立てると共に、左手に把持する入力装置500の弾性入力部580を向かって左側の仮想立体構造物Xの半身に見立て、例えば、図27に示すように、右手側の弾性入力部580の頬に相当する部分を引っ張ることで、仮想立体構造物Xの向かって右側の頬を引っ張ることができる。また、弾性入力部580への入力を解除すれば仮想立体構造物Xの頬が元に戻り、例えば、頬を引っ張った状態で第2入力ボタン573を押せば仮想立体構造物Xの頬が引っ張られた状態を維持する。同様に、図28に示すように、右手側の弾性入力部580の頬に相当する部分を押すことで、仮想立体構造物Xの向かって右側の頬を押すことができる。
また、図29に示すように、右手側の弾性入力部580と左手側の弾性入力部580とを押し付けることで、仮想立体構造物Xを横方向に潰すことができる。このように、2つの入力装置500の弾性入力部580同士を接触させることで入力が行われるように構成することで、より直感的な入力が可能となる。
また、図30に示すように、右手側の入力装置500と左手側の入力装置500とを円を描くように同じ方向に移動させることで、その方向に、仮想立体構造物Xを回転させることができる。これにより、仮想立体構造物Xを好きな向きにすることができる。
このように、入力装置500によれば、直感的な入力が可能であり、さらに、その入力を繊細に行うことができる。
このような第3実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。
なお、入力装置500の構成としては、上述の構成に限定されない。例えば、図31に示すように、右手用の入力装置500と左手用の入力装置500とを着脱自在に連結できる構成となっていてもよい。すなわち、右手用の入力装置500と左手用の入力装置500とを独立して使用する状態と、右手用の入力装置500と左手用の入力装置500とを連結して一体的に使用する状態と、を選択できるようになっていてもよい。なお、右手用の入力装置500と左手用の入力装置500とを連結した状態では、2つの入力装置500が互いに回動可能であることが好ましい。これにより、例えば、変位検出部590によって2つの入力装置500の回動角、回動時の角速度等を検出し、この検出結果に応じた新たな入力信号(変位入力信号)を生成することもできる。
また、本実施形態では、入力装置セット500’が2つの入力装置500を有する構成について説明したが、入力装置セット500’は、3つ以上の入力装置500を有していてもよい。また、本実施形態では、画像表示システム100が入力装置セット500’すなわち2つの入力装置500を有しているが、画像表示システム100は、入力装置500を少なくとも1つ有していればよい。入力装置500が1つの場合には、図32に示すように、例えば、一方の手で入力装置500を把持し、両手の指で入力装置500を操作してもよい。なお、図示の例では、右手で接続部570を把持し、右手の指で入力部571を操作し、左手の指で弾性入力部580を操作しているが、操作方法としては、特に限定されない。
<第4実施形態>
次に、本発明の第4実施形態に係る画像表示システムについて説明する。
図33は、本発明の第4実施形態の入力装置の斜視図である。図34および図35は、それぞれ、図33に示す入力装置の変形例を示す斜視図である。
本実施形態に係る画像表示システムは、入力装置の構成が異なること以外は、前述した第3実施形態の画像表示システムと同様である。
なお、以下の説明では、第4実施形態の画像表示システムに関し、前述した第3実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図33ないし図35では前述した実施形態と同様の構成について、同一符号を付している。また、2つの入力装置500は、右手用と左手用にするために対称に構成されている以外は、互いに同様の構成であるため、以下では、一方の入力装置500について代表し、他方の入力装置500については、その説明を省略する。
図33に示すように、本実施形態の入力装置500は、前述した第3実施形態の接続部570に替えて、弾性入力部580に接続され、弾性入力部580との間に手が挿入される挿入部575(接続部)を有している。また、挿入部575は、その両端が弾性入力部580に接続されており、弾性入力部580との間に、手を挿入するための空隙S2が形成されている。使用者は、空隙S2に手を挿入した状態で弾性入力部580を握るように把持する。このような構成によれば、挿入部575によって入力装置500の手からの落下を防止することができ、入力装置500の安全性が向上する。また、手で直接、弾性入力部580を握るため、弾性入力部580への入力をより簡単に行うことができる。
また、挿入部575には、入力部571が設けられている。入力部571は、入力装置500を把持した状態において、親指で操作可能な複数の入力ボタン574を有している。なお、入力部571の構成としては、特に限定されず、例えば、入力ボタン574として、図34に示すような十字キー型のボタンを用いてもよいし、図35に示すようなクリックホイール型のボタンを用いてもよい。また、入力ボタン574は、物理キー以外にも、タッチセンサーを内蔵するタッチ型のボタンであってもよい。また、これらを適宜組み合わせてもよい。また、入力ボタン574は、親指で操作するのに限定されず、他の指で操作してもよい。
このような第4実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。
<第5実施形態>
次に、本発明の第5実施形態に係る画像表示システムについて説明する。
図36は、本発明の第5実施形態の入力装置の斜視図である。
本実施形態に係る画像表示システムは、挿入部の配置が異なること以外は、前述した第3実施形態の画像表示システムと同様である。
なお、以下の説明では、第5実施形態の画像表示システムに関し、前述した第3実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図36では前述した実施形態と同様の構成について、同一符号を付している。また、2つの入力装置500は、右手用と左手用にするために対称に構成されている以外は、互いに同様の構成であるため、以下では、一方の入力装置500について代表して説明し、他方の入力装置500については、その説明を省略する。
図36に示すように、本実施形態の入力装置500では、前述した第4実施形態と比較して、指の挿入深さが浅くなるように挿入部575が配置されている。このような配置によれば、弾性入力部580を握った状態で、挿入部575が親指と重なり易くなる。そのため、挿入部575に配置された入力ボタン574を親指でより操作し易くなる。また、例えば、親指と人差し指とで挿入部575を摘まむようにして把持することができるため、入力装置500を把持し易くなる。なお、入力ボタン574の構成としては、前述した第4実施形態と同様に、特に限定されない。
このような第5実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。
<第6実施形態>
次に、本発明の第6実施形態に係る画像表示システムについて説明する。
図37は、本発明の第6実施形態の入力装置の斜視図である。
本実施形態に係る画像表示システムは、入力装置500の全体的な形状が異なること以外は、前述した第3実施形態の画像表示システムと同様である。
なお、以下の説明では、第6実施形態の画像表示システムに関し、前述した第3実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図37では前述した実施形態と同様の構成について、同一符号を付している。また、2つの入力装置500は、右手用と左手用にするために対称に構成されている以外は、互いに同様の構成であるため、以下では、一方の入力装置500について代表して説明し、他方の入力装置500については、その説明を省略する。
図37に示すように、本実施形態の入力装置500では、弾性入力部580が外側に凸となるように湾曲したドーム状になっており、平面視で長円形状となっている。また、弾性入力部580は、接続部570の一方の面側に位置している。このような形状とすることで、盲目的に操作し易い入力装置500となる。そのため、例えば、衣服のポケットに入力装置500を入れたままで、入力装置500の操作を容易に行うことができる。このような特徴を有する本実施形態の入力装置500は、特に、AR(拡張現実)型の画像表示装置300と組み合わせることで、その操作性がより向上する。
このような第6実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。
<第7実施形態>
次に、本発明の第7実施形態に係る画像表示システムについて説明する。
図38は、本発明の第7実施形態の入力装置の斜視図である。
本実施形態に係る画像表示システムは、入力装置の全体的な形状が異なること以外は、前述した第3実施形態の画像表示システムと同様である。
なお、以下の説明では、第7実施形態の画像表示システムに関し、前述した第3実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図38では前述した実施形態と同様の構成について、同一符号を付している。
本実施形態の入力装置500は、例えば、ゲーム機のコントローラーに適用されている。図38に示すように、このような入力装置500は、両手で把持される接続部570と、接続部570の中央部に位置する弾性入力部580と、を有している。なお、弾性入力部580の数や配置としては、特に限定されず、例えば、2つの弾性入力部580が接続部570の左右に分かれて配置されていてもよい。すなわち、右手で操作するための弾性入力部580と、左手で操作するための弾性入力部580と、が設けられていてもよい。
また、接続部570の左側部分(接続部570を把持した状態で左手の指で操作できる範囲内)および右側部分(接続部570を把持した状態で右手の指で操作できる範囲内)には、必要に応じた構成の入力部571が配置されている。なお、本実施形態では、右側に十字キーが配置され、左側に4つのボタンが配置されているが、入力部571の構成としては、これに限定されず、例えば、前述した実施形態でも述べたように、クリックホイール、タッチ入力型のボタン等を用いることができ、また、これらを適宜組み合わせることができる。
このような第7実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。
<第8実施形態>
次に、本発明の第8実施形態に係る画像表示システムについて説明する。
図39は、本発明の第8実施形態の入力装置の斜視図である。
本実施形態に係る画像表示システムは、2つの入力装置で入力部の構成が異なること以外は、前述した第3実施形態の画像表示システムと同様である。
なお、以下の説明では、第8実施形態の画像表示システムに関し、前述した第3実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図39では前述した実施形態と同様の構成について、同一符号を付している。
図39に示すように、本実施形態では、左手用の入力装置500と右手用の入力装置500とで、入力部571の構成が異なっている。具体的には、左手用の入力装置500では、入力部571が十字キーで構成された第1入力ボタン572と、トリガー型の第2入力ボタン573(図示せず)と、を有しており、右手用の入力装置500では、入力部571が押し込み型の複数の第1入力ボタン572と、トリガー型の第2入力ボタン573(図示せず)と、を有している。このように、左右の入力装置500で入力部571の構成を異ならせることで、より多くの入力を行うことができる。
このような第8実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。
<第9実施形態>
次に、本発明の第9実施形態に係る画像表示システムについて説明する。
図40は、本発明の第9実施形態の入力装置の側面図である。
本実施形態に係る画像表示システムは、入力装置の構成が異なること以外は、前述した第3実施形態の画像表示システムと同様である。
なお、以下の説明では、第9実施形態の画像表示システムに関し、前述した第3実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図40では前述した実施形態と同様の構成について、同一符号を付している。また、2つの入力装置500は、右手用と左手用にするために対称に構成されている以外は、互いに同様の構成であるため、以下では、一方の入力装置500について代表して説明し、他方の入力装置500については、その説明を省略する。
図40に示すように、本実施形態の入力装置500は、接続部570の下端部(弾性入力部580と反対側の端部)に設けられた環状のリング部579を有している。入力装置500を把持した状態では、リング部579は、手の甲のあたりを囲むように配置される。このようなリング部579には、例えば、変位検出部590が備え、入力装置500のポジショントラッキング(空間認識)を行うための装置が配置されている。このような装置としては、特に限定されないが、本実施形態では赤外線を出射する赤外線出射装置593を有している。なお、赤外線出射装置593は、前述した第2実施形態の赤外線出射装置293と同様の機能を有している。そのため、例えば、空間内に配置した複数の赤外線カメラを用いて、赤外線出射装置593から出射される赤外線を認識することで、入力装置500のポジショントラッキングが可能となる。
なお、リング部579には、その他の構成、例えば、変位検出部590が有する角速度センサーや加速度センサーが設けられていてもよい。
このような第9実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。なお、本実施形態では、リング部579が円環状となっているが、リング部579の形状は、特に限定されない。また、例えば、両手に入力装置500を把持した状態で、一方の手の指で、他方の手で把持している入力装置500の入力部571を操作してもよい。
<第10実施形態>
次に、本発明の第10実施形態に係る画像表示システムについて説明する。
図41は、本発明の第10実施形態の入力装置の斜視図である。
本実施形態に係る画像表示システムは、入力装置の構成が異なること以外は、前述した第9実施形態の画像表示システムと同様である。
なお、以下の説明では、第10実施形態の画像表示システムに関し、前述した第9実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図41では前述した実施形態と同様の構成について、同一符号を付している。また、2つの入力装置500は、右手用と左手用にするために対称に構成されている以外は、互いに同様の構成であるため、以下では、一方の入力装置500について代表して説明し、他方の入力装置500については、その説明を省略する。
図41に示すように、本実施形態の入力装置500は、弾性入力部580と、弾性入力部580に接続された接続部570と、接続部570の基端部(弾性入力部580と反対側の端部)に接続されたリング部579と、を有している。本実施形態の構成では、使用者は、リング部579に手を通し、弾性入力部580を直接握ることで、入力装置500を把持する。また、接続部570には、入力部571が設けられている。また、リング部579には、前述した第9実施形態と同様に、入力装置500のポジショントラッキングを行うための装置である赤外線出射装置593が設けられている。
また、入力装置500は、円環状のリング部579を底面とし、弾性入力部580の中心を頂点とする略円錐形をなしている。言い換えると、入力装置500は、リング部579の中心軸が弾性入力部580の中心と交わるような形状をなしている。これにより、弾性入力部580やリング部579に、変位検出部590が有する各種センサーやポジショントラッキングを行うための装置(赤外線出射装置593)等を好適に配置することができる。ただし、入力装置500の形状としては、特に限定されず、例えば、リング部579の中心軸が弾性入力部580の中心からずれていてもよい。この場合、前記中心軸は、弾性入力部580と交わることが好ましい。また、リング部579の形状は、円環状に限定されず、例えば、楕円環状、長円環状、三角形、四角形等の多角環状となっていてもよい。
このような第10実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。
<第11実施形態>
次に、本発明の第11実施形態に係る画像表示システムについて説明する。
図42は、本発明の第11実施形態の入力装置の断面図である。
本実施形態に係る画像表示システムは、入力装置の弾性入力部の構成が異なること以外は、前述した第1実施形態の画像表示システムと同様である。
なお、以下の説明では、第11実施形態の画像表示システムに関し、前述した第1実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図42では前述した実施形態と同様の構成について、同一符号を付している。
図42に示すように、本実施形態の入力装置200では、弾性層220は、筐体210の外周面に配置された光透過層220Aと、光透過層220Aの表面に積層された光反射層220Bと、を有している。光透過層220Aは、光透過性を有しており、特に、本実施形態では実質的に無色透明である。一方、光反射層220Bは、後述する光Lを反射する光反射性を有している。また、光透過層220Aは、弾性入力部280への入力時に光反射層220Bと共に変形し、光反射層220Bの内面220B’の形状変化を許容する機能を有している。
検出部610は、光プローブ法によって弾性層220の変形を三次元的に検出する。光プローブ法を用いることで、弾性層220の変形を比較的簡単に、かつ、精度よく検出することができる。以下、検出部610について説明する。
図42に示すように、検出部610は、光反射層220Bの内面220B’に向けて光Lを出射する光源611と、スポット状の光の一次元の位置を受光面上で検出することのできるフォトダイオードから構成される半導体位置検出素子612(PSD)と、を有する光学システム613を備えている。なお、光源611としては、特に限定されず、例えば、LD(レーザーダイオード)を用いることができる。
光源611から出射された光Lは、レンズ系614によって細い光束に絞られ、光反射層220Bの内面220B’上に光スポットLSを形成する。この光スポットLSは、レンズ系615によって半導体位置検出素子612の表面に結像される。このような構成では、光学システム613と光スポットLSとの間の相対的変位量Zは、半導体位置検出素子612の表面上の像の移動量Aとして観察される。すなわち、移動量Aから相対的変位量Zを求めることができ、内面220B’の光スポットLSが形成されている部分の座標値を求めることができる。
このような構成の検出部610によれば、例えば、自然状態における内面220B’の各部の座標値を基準座標値として記憶しておき、この基準座標値と、内面220B’の各部の座標値と、をリアルタイムに比較することで、内面220B’の変形を検出することができる。さらに、検出部610は、内面220B’の変形に基づいて、弾性層220の変形、すなわち弾性層220への入力を検出することができる。
なお、前述したように、検出部610では内面220B’の変形に基づいて弾性層220の変形を検出しているため、光反射層220Bは、薄い方が好ましい。例えば、光反射層220Bは、光透過層220Aの厚さよりも薄いことが好ましい。これにより、内面220B’を弾性層220の表面(入力が行われる面)の近くに配置することができるため、内面220B’を入力に対してより正確にかつより大きく変形させることができる。そのため、検出部610の検出精度が向上する。このようなことから、本実施形態では、光反射層220BがマーカーMとして機能しているとも言える。
以上のように、本実施形態では、弾性層220は、光反射性を有する光反射層220Bと、光反射層220Bの内側に位置し、光透過性を有する光透過層220Aと、を有している。このような構成によれば、光透過層220Aが、光反射層220Bの内面220B’の変形を許容し、かつ、光Lを透過することから、筐体210内からでも、光プローブ法によって、弾性層220の変形を検出することができる。
このような第11実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。なお、検出部610は、1つの光学システム613を用いて内面220B’の各部の座標値を求めてもよいし、複数の光学システム613を用いて内面220B’の各部の座標値を求めてもよい。
<第12実施形態>
次に、本発明の第12実施形態に係る画像表示システムについて説明する。
図43は、本発明の第12実施形態の入力装置の断面図である。
本実施形態に係る画像表示システムは、入力装置の検出部の構成が異なること以外は、前述した第11実施形態の画像表示システムと同様である。
なお、以下の説明では、第12実施形態の画像表示システムに関し、前述した第11実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図43では前述した実施形態と同様の構成について、同一符号を付している。
本実施形態の検出部620は、光プローブ法によって、弾性層220の変形を三次元的に検出する。以下、検出部620について説明する。
図43に示すように、検出部620は、光反射層220Bの内面220B’に向けて光Lを出射する光源621(例えばLD)と、光Lを集光するレンズ系622と、光源621とレンズ系622との間に配置されたビームスプリッタ623と、ディテクタ624(フォトダイオード)と、レンズ系622を移動させるモータ625と、を有する光学システム626を備えている。
光源621から出射された光Lは、レンズ系622によって集光され、光反射層220Bの内面220B’上に光スポットLSを形成する。そして、内面220B’で反射した光Lは、レンズ系622を通ってビームスプリッタ623で反射した後結像する。そして、当該結像点にはディテクタ624が配置されている。また、ディテクタ624に結像点が常に位置するように、モータ625によってレンズ系622を光軸方向に移動させる。この時のレンズ系622の移動量に基づいて、内面220B’の光スポットLSが形成されている部分の座標値を求めることができる。
このような構成の検出部620によれば、例えば、自然状態における内面220B’の各部の座標値を基準座標値として記憶しておき、この基準座標値と、内面220B’の各部の座標値と、をリアルタイムに比較することで、内面220B’の変形を検出することができる。さらに、検出部620は、内面220B’の変形に基づいて、弾性層220の変形、すなわち弾性層220への入力を検出することができる。
このような第12実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。なお、検出部620は、1つの光学システム626を用いて内面220B’の各部の座標値を求めてもよいし、複数の光学システム626を用いて内面220B’の各部の座標値を求めてもよい。
<第13実施形態>
次に、本発明の第13実施形態に係る画像表示システムについて説明する。
図44は、本発明の第13実施形態の入力装置の断面図である。
本実施形態に係る画像表示システムは、入力装置の検出部の構成が異なること以外は、前述した第11実施形態の画像表示システムと同様である。
なお、以下の説明では、第13実施形態の画像表示システムに関し、前述した第11実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図44では前述した実施形態と同様の構成について、同一符号を付している。
本実施形態の検出部630は、光プローブ法によって、弾性層220の変形を三次元的に検出する。以下、検出部630について説明する。
図44に示すように、検出部630は、光反射層220Bの内面220B’に向けて光Lを出射する光源631(例えばLD)と、光Lを拡大平行光とするレンズ系632と、レンズ系632を通過した光Lを集光するレンズ系633と、レンズ系632、633の間に位置する偏光ビームスプリッタ634と、偏光ビームスプリッタ634とレンズ系633との間に位置するλ/4板635と、内面220B’で反射した光Lを分割する波面分割ミラー636と、波面分割ミラー636で分割された一方の光Lを受光する第1ディテクタ637(フォトダイオード)および他方の光Lを受光する第2ディテクタ638(フォトダイオード)と、を有する光学システム639を備えている。
このような構成では、内面220B’がレンズ系633の焦点位置から変位すると、反射光束が変化し、第1、第2ディテクタ637、638の光量に差が生じる。そのため、この差に基づいて、内面220B’の光Lが照射されている部分の座標値を求めることができる。
このような構成の検出部630によれば、例えば、自然状態における内面220B’の各部の座標値を基準座標値として記憶しておき、この基準座標値と、内面220B’の各部の座標値と、をリアルタイムに比較することで、内面220B’の変形を検出することができる。さらに、検出部630は、内面220B’の変形に基づいて、弾性層220の変形、すなわち弾性層220への入力を検出することができる。
このような第13実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。なお、検出部630は、1つの光学システム639を用いて内面220B’の各部の座標値を求めてもよいし、複数の光学システム639を用いて内面220B’の各部の座標値を求めてもよい。
<第14実施形態>
次に、本発明の第14実施形態に係る画像表示システムについて説明する。
図45は、本発明の第14実施形態の入力装置の断面図である。
本実施形態に係る画像表示システムは、入力装置の検出部の構成が異なること以外は、前述した第11実施形態の画像表示システムと同様である。
なお、以下の説明では、第14実施形態の画像表示システムに関し、前述した第11実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図45では前述した実施形態と同様の構成について、同一符号を付している。
本実施形態の検出部640は、断面計測法、特に光切断法によって、弾性層220の変形を三次元的に検出する。具体的には、スリット状の光Lを内面220B’に照射し、内面220B’に写った光Lの形状に基づいて、弾性層220の変形を検出する。このような断面計測法(光切断法)を用いることで、弾性層220の変形を比較的簡単に、かつ、精度よく検出することができる。
図45に示すように、検出部640は、光反射層220Bの内面220B’に向けて光Lを出射する光源641と、光Lをスリット状にするスリット光形成部642と、光Lの光軸からずれた位置に設けられ、内面220B’に写ったスリット状の光Lを撮像する撮像素子644と、内面220B’と撮像素子644との間に位置するレンズ系645と、を有する光学システム646を備えている。
このような構成では、撮像素子644によって取得された画像、すなわち内面220B’に写る光Lの形状に基づいて、内面220B’の光Lが写っている部分の断面形状を取得することができる。そのため、例えば、スリット状の光Lを内面220B’の全域に走査し、内面220B’の各部の断面形状を取得することで、内面220B’の形状を検出することができる。
このような構成の検出部640によれば、例えば、自然状態における内面220B’の形状を基準形状として記憶しておき、この基準形状と内面220B’の形状とをリアルタイムに比較することで、内面220B’の変形を検出することができる。さらに、検出部640は、内面220B’の変形に基づいて、弾性層220の変形、すなわち弾性層220への入力を検出することができる。
このような第14実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。なお、検出部640は、1つの光学システム646を用いて内面220B’の全域の形状を検出してもよいし、複数の光学システム646を用いて内面220B’の全域の形状を検出してもよい。
<第15実施形態>
次に、本発明の第15実施形態に係る画像表示システムについて説明する。
図46は、本発明の第15実施形態の入力装置の断面図である。
本実施形態に係る画像表示システムは、入力装置の検出部の構成が異なること以外は、前述した第11実施形態の画像表示システムと同様である。
なお、以下の説明では、第15実施形態の画像表示システムに関し、前述した第11実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図46では前述した実施形態と同様の構成について、同一符号を付している。
本実施形態の検出部650は、等高線計測法、特に、モアレ縞を用いたモアレトポグラフィー法によって、弾性層220の変形を三次元的に検出する。具体的には、内面220B’のモアレ縞画像を取得し、このモアレ縞画像に基づいて、弾性層220の変形を検出する。このような等高線計測法を用いることで、弾性層220の変形を比較的簡単に、かつ、精度よく検出することができる。以下、検出部650について簡単に説明する。なお、本実施形態では、光源240が省略されている。
図46に示すように、検出部650は、光Lを出射する光源651と、撮像素子652と、光源651および撮像素子652と内面220B’との間に設けられた格子653と、を有する光学システム654を備えている。
このような構成では、格子653を通った光源651からの光Lと、格子653を通して撮像素子652で見える部分と、が交差する部分が撮像素子652により撮像される部分であり、この交点を連ねた面に実質的な等高面が作られ、撮像素子652で取得した画像には、前記等高面に応じたモアレ縞が映し出される。この画像をモアレ縞画像とすれば、当該モアレ縞画像に基づいて、内面220B’の形状を取得することができる。
このような構成の検出部650によれば、例えば、自然状態における内面220B’の形状を基準形状として記憶しておき、この基準形状と、リアルタイムに求められた内面220B’の形状と、を比較することで、内面220B’の変形を検出することができる。さらに、検出部650は、内面220B’の変形に基づいて、弾性層220の変形、すなわち弾性層220への入力を検出することができる。
このような第15実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。なお、検出部650は、1つの光学システム654を用いて内面220B’の全域の形状を検出してもよいし、複数の光学システム654を用いて内面220B’の全域の形状を検出してもよい。
<第16実施形態>
次に、本発明の第16実施形態に係る画像表示システムについて説明する。
図47は、本発明の第16実施形態の入力装置の断面図である。
本実施形態に係る画像表示システムは、入力装置の検出部の構成が異なること以外は、前述した第11実施形態の画像表示システムと同様である。
なお、以下の説明では、第16実施形態の画像表示システムに関し、前述した第11実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図47では前述した実施形態と同様の構成について、同一符号を付している。
本実施形態の検出部670は、パターン投影法によって、弾性層220の変形を検出する。このようなパターン投影法を用いることで、弾性層220の変形を比較的簡単に、かつ、精度よく検出することができる。以下、検出部660について簡単に説明する。
図47に示すように、検出部660は、光Lからなる基準パターンを内面220B’に投影する画像投影部661と、画像投影部661の光軸からずれた位置から内面220B’に投影された基準パターンを撮像する撮像素子662と、を有する光学システム663を備えている。このような構成では、撮像素子662で取得した画像に写る基準パターンの形状に基づいて、基準パターンが投影されている部分の内面220B’の形状を検出することができる。そのため、例えば、内面220B’の全域に基準パターンを投影することで、内面220B’の形状を検出することができる。なお、内面220B’に投影する基準パターンとしては、特に限定されず、例えば、平行な直線が離間して並ぶ格子状のパターンを用いることができる。
このような構成の検出部660によれば、例えば、自然状態における内面220B’の形状を基準形状として記憶しておき、この基準形状と、リアルタイムに求められた内面220B’の形状と、を比較することで、内面220B’の変形を検出することができる。さらに、検出部660は、内面220B’の変形に基づいて、弾性層220の変形、すなわち弾性層220への入力を検出することができる。
このような第16実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。なお、検出部660は、1つの光学システム663を用いて内面220B’の全域の形状を検出してもよいし、複数の光学システム663を用いて内面220B’の全域の形状を検出してもよい。
<第17実施形態>
次に、本発明の第17実施形態に係る画像表示システムについて説明する。
図48は、本発明の第17実施形態の入力装置の断面図である。
本実施形態に係る画像表示システムは、入力装置の検出部の構成が異なること以外は、前述した第11実施形態の画像表示システムと同様である。
なお、以下の説明では、第17実施形態の画像表示システムに関し、前述した第11実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図48では前述した実施形態と同様の構成について、同一符号を付している。
本実施形態の検出部670は、位相シフト法によって、弾性層220の変形を検出する。このような位相シフト法を用いることで、弾性層220の変形を比較的簡単に、かつ、精度よく検出することができる。以下、検出部670について簡単に説明する。
図48に示すように、検出部670は、基準パターンを内面220B’に投影する画像投影部671と、画像投影部671の光軸からずれた位置から内面220B’に投影された基準パターンを撮像する撮像素子672と、を有する光学システム673を備えている。
このような構成では、例えば、基準パターンとして、輝度値の明暗で正弦波を表した縞パターンを内面220B’に投影し、内面220B’に投影された基準パターンを撮像素子672で撮像する。基準パターンは、π/2ずつずらして4回投影され、その都度、撮像素子672で撮像する。こうして得られた4つの画像から、基準パターンが投影されている部分の内面220B’の形状を検出することができる。なお、基準パターンや基準パターンのずらし方等は、特に限定されない。
このような構成の検出部670によれば、例えば、自然状態における内面220B’の形状を基準形状として記憶しておき、この基準形状と、リアルタイムに求められた内面220B’の形状と、を比較することで、内面220B’の変形を検出することができる。さらに、検出部670は、内面220B’の変形に基づいて、弾性層220の変形、すなわち弾性層220への入力を検出することができる。
このような第17実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。なお、検出部670は、1つの光学システム673を用いて内面220B’の全域の形状を検出してもよいし、複数の光学システム673を用いて内面220B’の全域の形状を検出してもよい。
なお、前述した第11実施形態から本実施形態まで、光学的な方法によって内面220B’の形状変化を検出し、これにより、弾性入力部280への入力を検出する方法について説明したが、内面220B’の形状変化を検出する方法としては、第11実施形態から本実施形態に限定されない。すなわち、内面220B’の形状を検出することができれば、如何なる方法を用いてもよい。例えば、いわゆる「点計測式」の方法であれば、前述した第11、第12、第13実施形態で説明した光プローブ方式の他にも、超音波プローブを用いた超音波方式、磁気を利用した磁気方式等を用いることができる。また、いわゆる「面計測式」の方法であれば、シルエット法、光包絡線法、前述した第14実施形態で説明した光切断法等を含む断面計測方式、干渉縞法、ホログラフィ法、前述した第15実施形態のモアレトポグラフィー法等を含む等高線計測方式を用いることができる。
<第18実施形態>
次に、本発明の第18実施形態に係る画像表示システムについて説明する。
図49は、本発明の第18実施形態の入力装置の断面図である。
本実施形態に係る画像表示システムは、入力装置の弾性入力部の構成が異なること以外は、前述した第1実施形態の画像表示システムと同様である。
なお、以下の説明では、第18実施形態の画像表示システムに関し、前述した第1実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図49では前述した実施形態と同様の構成について、同一符号を付している。
図49に示すように、本実施形態の入力装置200では、弾性層220は、筐体210の外周面に配置された光透過層220Aと、光透過層220Aの表面に積層された画像表示層220Cと、を有している。光透過層220Aは、光透過性を有しており、特に、本実施形態では実質的に無色透明である。一方、画像表示層220Cは、光反射性を有しており、後述する画像投影部710からの光によって画像が表示される層である。光透過層220Aは、弾性入力部280への入力時に画像表示層220Cと共に変形し、画像表示層220Cの内面220C’の形状変化を許容する機能を有している。
また、本実施形態の入力装置200は、筐体210内に配置された画像投影部710を有している。なお、画像投影部710としては、特に限定されないが、例えば、液晶型のプロジェクタ、光走査型のプロジェクタ等を有する構成とすることができる。
そして、画像投影部710からの光によって画像表示層220Cの内面220C’に所定の画像が表示されるようになっている。特に、本実施形態では、画像投影部710によって画像表示層220Cの内面220C’に、マーカーMが表示される。すなわち、本実施形態の入力装置200では、内面220C’にマーカーMを表示することで、弾性層220にマーカーMを配置している。これにより、マーカーMのパターンを目的に応じて変更することができるため、入力装置200は、優れた利便性を発揮することができる。
このようなマーカーMは、内面220C’の変形に伴って変位するため、検出部230は、マーカーMの変位を検出することで、内面220C’の変形を検出することができる。さらに、検出部230は、内面220C’の変形に基づいて、弾性層220の変形、すなわち弾性層220への入力を検出することができる。
このような第18実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。
<第19実施形態>
次に、本発明の第19実施形態に係る画像表示システムについて説明する。
図50ないし図52は、それぞれ、本発明の第19実施形態の入力装置の断面図である。
本実施形態に係る画像表示システムは、入力装置の弾性入力部の構成が異なること以外は、前述した第1実施形態の画像表示システムと同様である。
なお、以下の説明では、第19実施形態の画像表示システムに関し、前述した第1実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図50では前述した実施形態と同様の構成について、同一符号を付している。
図50に示すように、本実施形態の入力装置200では、第1マーカー221は、第1弾性層224と第2弾性層225との間に配置され、膜状(シート状)をなしている。また、第2マーカー222は、第2弾性層225と第3弾性層226との間に配置され、膜状(シート状)をなしている。また、第3マーカー223は、第3弾性層226と保護層227との間に配置され、膜状(シート状)をなしている。これら第1、第2、第3マーカー221、222、223は、それぞれ、弾性層220の変形に伴って変形する。
また、第1マーカー221、第2マーカー222および第3マーカー223は、それぞれ、特定の波長の光を反射し、それ以外の波長の光を透過する。また、第1マーカー221、第2マーカー222および第3マーカー223は、それぞれ、反射する光の波長が異なっている。このような第1マーカー221、第2マーカー222および第3マーカー223としては、例えば、ダイクロイックフィルタ等の光学フィルタを用いることができる。
また、本実施形態の入力装置200は、前述した第11実施形態で用いられている検出部610を有している。また、図50〜図52に示すように、検出部610は、第1マーカー221の変形を検出する第1検出部610Aと、第2マーカー222の変形を検出する第2検出部610Bと、第1マーカー221の変形を検出する第3検出部610Cと、を有している。
図50に示すように、第1検出部610Aでは、光源611から第1マーカー221で反射される波長の光L1が出射される。一方、半導体位置検出素子612は、光L1を透過し、後述する光L2、L3の透過を阻止する図示しないバンドパスフィルターが配置されている。そのため、第1検出部610Aは、光L1を用いて、第1マーカー221の変形を検出することができる。このような第1検出部610Aは、例えば、自然状態における第1マーカー221の各部の座標値を基準座標値として記憶しておき、この基準座標値と、第1マーカー221の各部の座標値と、をリアルタイムに比較することで、第1マーカー221の変形を検出することができる。
また、図51に示すように、第2検出部610Bでは、光源611から第2マーカー222で反射される波長の光L2が出射される。なお、この光L2は、第1マーカー221を透過する。一方、半導体位置検出素子612は、光L2を透過し、光L1、L3の透過を阻止する図示しないバンドパスフィルターが配置されている。そのため、第2検出部610Bは、光L2を用いて、第2マーカー222の変形を検出することができる。このような第2検出部610Bは、例えば、自然状態における第2マーカー222の各部の座標値を基準座標値として記憶しておき、この基準座標値と、第2マーカー222の各部の座標値と、をリアルタイムに比較することで、第2マーカー222の変形を検出することができる。
また、図52に示すように、第3検出部610Cでは、光源611から第3マーカー223で反射される波長の光L3が出射される。なお、この光L3は、第1マーカー221および第2マーカー222を透過する。一方、半導体位置検出素子612は、光L3を透過し、光L1、L2の透過を阻止する図示しないバンドパスフィルターが配置されている。そのため、第3検出部610Cは、光L3を用いて、第3マーカー223の変形を検出することができる。このような第3検出部610Cは、例えば、自然状態における第3マーカー223の各部の座標値を基準座標値として記憶しておき、この基準座標値と、第3マーカー223の各部の座標値と、をリアルタイムに比較することで、第3マーカー223の変形を検出することができる。
このような構成の検出部610によれば、第1検出部610Aで検出された第1マーカー221の変形、第2検出部610Bで検出された第2マーカー222の変形および第3検出部610Cで検出された第3マーカー223の変形に基づいて弾性層220の変形を検出することができる。
このような第19実施形態によっても、前述した第1実施形態と同様の効果を発揮することができる。なお、本実施形態では、3つの検出部610A、610B、610Cを有しているが、これに限定されず、1つの検出部610を有する構成であってもよい。この場合には、例えば、光源611が光L1、L2、L3を周期的に切り替えて出射するように構成し、第1、第2、第3マーカー221、222、223の変形を時分割で検出するようにすればよい。
また、検出部610に替えて、例えば、前述した第12実施形態から第17実施形態で説明したような検出部620、630、640、650、660、670を用いてもよい。
以上、本発明の入力装置および画像表示システムについて、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物が付加されていてもよい。また、各実施形態を適宜組み合わせてもよい。
なお、本国際特許出願は、米国指定に関し、2016年3月29日に出願された日本国特許出願第2016−65637号および2016年11月22日に出願された日本国特許出願第2016−227032号について米国特許法第119条(a)に基づく優先権の利益を援用し、当該開示内容を引用する。
本発明の入力装置は、外力が入力される第1面および前記第1面の反対側の第2面が規定される弾性層と、前記弾性層に配置され、前記弾性層の変形に伴って変位するマーカーと、を有する弾性入力部と、前記弾性層の前記第2面側に位置づけられ、前記マーカーの変位に基づいて前記弾性層の変形を検出する検出部と、を備えている。そのため、例えば、使用者が弾性層を押すことにより弾性層が変形し、この変形を検出部が検出することで、弾性入力部への入力を検出することができる。特に、弾性層の反発によって何か物を触れているとの感覚を使用者に与えることができるため、使用者は、直感的な入力が可能となる。したがって、本発明の入力装置は、産業上の利用可能性を有している。
100 画像表示システム
200 入力装置
210 筐体
211 支持部材
220 弾性層
220A 光透過層
220B 光反射層
220B’ 内面
220C 画像表示層
220C’ 内面
220a 外周面
220b 内周面
221 第1マーカー
222 第2マーカー
223 第3マーカー
224 第1弾性層
225 第2弾性層
226 第3弾性層
227 保護層
228 基準マーカー
229 露出マーカー
230 検出部
231 カメラ
232 処理部
232a CPU
232b メモリー
232c 記憶部
240 光源
241 発光部
250 信号生成部
260 送信部
270 脚部
280 弾性入力部
290 変位検出部
291 加速度センサー
292 角速度センサー
293 赤外線出射装置
300 画像表示装置
310 画面
400 端末
500 入力装置
500’ 入力装置セット
510 筐体
520 弾性層
530 検出部
540 光源
550 信号生成部
560 送信部
570 接続部
571 入力部
572 第1入力ボタン
573 第2入力ボタン
574 入力ボタン
575 挿入部
579 リング部
580 弾性入力部
590 変位検出部
593 赤外線出射装置
610 検出部
610A 第1検出部
610B 第2検出部
610C 第3検出部
611 光源
612 半導体位置検出素子
613 光学システム
614 レンズ系
615 レンズ系
620 検出部
621 光源
622 レンズ系
623 ビームスプリッタ
624 ディテクタ
625 モータ
626 光学システム
630 検出部
631 光源
632 レンズ系
633 レンズ系
634 偏光ビームスプリッタ
635 λ/4板
636 波面分割ミラー
637 第1ディテクタ
638 第2ディテクタ
639 光学システム
640 検出部
641 光源
642 スリット光形成部
644 撮像素子
645 レンズ系
646 光学システム
650 検出部
651 光源
652 撮像素子
653 格子
654 光学システム
660 検出部
661 画像投影部
662 撮像素子
663 光学システム
670 検出部
671 画像投影部
672 撮像素子
673 光学システム
700 画像投影部
710 画像投影部
A 移動量
L 光
L1 光
L2 光
L3 光
LE レンズ
LS 光スポット
M マーカー
Q 導光部
S 内部空間
S2…空隙
X…仮想立体構造物
Z…相対的変位量

Claims (14)

  1. 外力が入力される第1面および前記第1面の反対側の第2面が規定される弾性層と、前記弾性層に配置され、前記弾性層の変形に伴って変位するマーカーと、を有する弾性入力部と、
    前記弾性層の前記第2面側に位置づけられ、前記マーカーの変位に基づいて前記弾性層の変形を検出する検出部と、を備え、
    前記マーカーは、前記弾性層の厚さ方向にずれて配置された第1マーカーおよび第2マーカーを有することを特徴とする入力装置。
  2. 画像投影部を有し、
    前記マーカーは、前記画像投影部によって前記弾性層に表示される請求項1に記載の入力装置。
  3. 前記弾性層は、前記第1マーカーを有する第1弾性層と、前記第1弾性層上に配置され、前記第2マーカーを有する第2弾性層と、を有する請求項1または2に記載の入力装置。
  4. 前記第1マーカーおよび前記第2マーカーは、形状および色彩の少なくとも一方が互いに異なっている請求項1ないし3のいずれか1項に記載の入力装置。
  5. 前記マーカーは、前記第1面に露出する露出マーカーを有する請求項1ないし4のいずれか1項に記載の入力装置。
  6. 前記弾性入力部は、前記弾性層の変形によって変位せず、前記検出部によって検出可能な基準マーカーを有する請求項1ないし5のいずれか1項に記載の入力装置。
  7. 前記検出部は、前記弾性層を撮像する撮像部を有し、前記撮像部が撮像した前記弾性層の画像データに基づいて前記弾性層の変形を検出する請求項1ないし6のいずれか1項に記載の入力装置。
  8. 前記検出部は、ステレオ写真法によって前記弾性層の変形を検出する請求項7に記載の入力装置。
  9. 前記第1面は、前記第2面と反対側に向けて凸となる形状である請求項1ないし8のいずれか1項に記載の入力装置。
  10. 前記弾性層を前記第2面側から支持する支持部を備える請求項1ないし9のいずれか1項に記載の入力装置。
  11. 前記弾性入力部に接続された接続部を有する請求項1ないし10のいずれか1項に記載の入力装置。
  12. 前記接続部に配置された入力部を有する請求項11に記載の入力装置。
  13. 前記接続部は、使用者に把持される把持部である請求項11または12に記載の入力装置。
  14. 請求項1ないし13のいずれか1項に記載の入力装置と、
    画像を表示する画像表示装置と、を有していることを特徴とする画像表示システム。
JP2017541405A 2016-03-29 2017-03-09 入力装置および画像表示システム Active JP6259172B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017235079A JP6931509B2 (ja) 2016-03-29 2017-12-07 入力装置および画像表示システム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016065637 2016-03-29
JP2016065637 2016-03-29
JP2016227032 2016-11-22
JP2016227032 2016-11-22
PCT/JP2017/009594 WO2017169641A1 (ja) 2016-03-29 2017-03-09 入力装置および画像表示システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017235079A Division JP6931509B2 (ja) 2016-03-29 2017-12-07 入力装置および画像表示システム

Publications (2)

Publication Number Publication Date
JP6259172B1 true JP6259172B1 (ja) 2018-01-10
JPWO2017169641A1 JPWO2017169641A1 (ja) 2018-04-05

Family

ID=59964157

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017541405A Active JP6259172B1 (ja) 2016-03-29 2017-03-09 入力装置および画像表示システム
JP2017235079A Active JP6931509B2 (ja) 2016-03-29 2017-12-07 入力装置および画像表示システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017235079A Active JP6931509B2 (ja) 2016-03-29 2017-12-07 入力装置および画像表示システム

Country Status (5)

Country Link
US (1) US20180299972A1 (ja)
EP (1) EP3438790B1 (ja)
JP (2) JP6259172B1 (ja)
CN (1) CN109074153A (ja)
WO (1) WO2017169641A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190106640A (ko) * 2018-03-08 2019-09-18 애플 인크. 광학 마커를 갖는 전자 디바이스
JP7578062B2 (ja) 2021-05-13 2024-11-06 株式会社リコー 情報処理装置および情報処理装置の制御方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
KR102019793B1 (ko) * 2017-10-12 2019-09-20 한국생산기술연구원 신축성 소재를 이용한 3차원 동작 입력 장치 및 이를 이용한 3차원 동작 입력 방법
KR102019795B1 (ko) * 2017-10-12 2019-09-20 한국생산기술연구원 구 형상의 3차원 동작 입력 장치 및 이를 이용한 3차원 동작 입력 방법
CN110193189B (zh) * 2018-02-27 2022-09-13 宏达国际电子股份有限公司 可追踪光学装置
JP2020027537A (ja) * 2018-08-16 2020-02-20 株式会社齋藤創造研究所 入力装置および移動体
JP2020077365A (ja) * 2018-11-08 2020-05-21 株式会社齋藤創造研究所 画像表示システム、オペレーティングシステムおよび画像表示システムの制御方法
JP7242036B2 (ja) * 2019-02-05 2023-03-20 国立大学法人北陸先端科学技術大学院大学 触覚検知装置及び触覚検知方法
JP7284947B2 (ja) * 2019-02-09 2023-06-01 株式会社齋藤創造研究所 センサー
JP7398698B2 (ja) * 2019-08-22 2023-12-15 株式会社齋藤創造研究所 手術支援システム
CN113365037B (zh) * 2020-03-06 2023-05-23 中强光电股份有限公司 特征表面投影系统及特征表面的投影方法
US20230099023A1 (en) * 2020-03-25 2023-03-30 Sony Interactive Entertainment Inc. Controller
US11460169B1 (en) 2020-08-07 2022-10-04 Apple Inc. Electronic device with low profile optical plate for outputting visual feedback
US11819999B2 (en) * 2021-01-27 2023-11-21 Toyota Research Institute, Inc. Input devices having a deformable membrane and methods of using the same
WO2024028962A1 (ja) * 2022-08-01 2024-02-08 株式会社ソニー・インタラクティブエンタテインメント インタラクション装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165670A (ja) * 2003-12-02 2005-06-23 Olympus Corp ヒューマンインタフェース装置及びヒューマンインタフェースシステム
JP2005267174A (ja) * 2004-03-18 2005-09-29 National Institute Of Advanced Industrial & Technology ボール型触覚デバイス
JP2013210888A (ja) * 2012-03-30 2013-10-10 Sony Corp 入力装置、制御システム、校正方法及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
US6909084B2 (en) * 2000-08-31 2005-06-21 Toudai Tlo, Ltd Optical tactile sensor having a transparent elastic tactile portion
CN100433137C (zh) * 2001-10-31 2008-11-12 雅马哈株式会社 能在盘面上投射可见图像的光学记录装置
JP4206057B2 (ja) * 2003-09-16 2009-01-07 株式会社東京大学Tlo 光学式触覚センサを用いた力ベクトル再構成法
CA2538008A1 (en) * 2003-09-16 2005-03-31 Toudai Tlo, Ltd. Optical tactile sensor and method of reconstructing force vector distribution using the sensor
JP4621827B2 (ja) * 2004-03-09 2011-01-26 財団法人名古屋産業科学研究所 光学式触覚センサ、光学式触覚センサを利用したセンシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置及びロボットハンド
JP2006003137A (ja) * 2004-06-16 2006-01-05 Toudai Tlo Ltd 光学式触覚センサ及び該センサにおける情報取得方法
US20100045705A1 (en) * 2006-03-30 2010-02-25 Roel Vertegaal Interaction techniques for flexible displays
JP2009285737A (ja) * 2008-05-27 2009-12-10 Univ Of Tokyo 入力インタフェース
JP2009288033A (ja) * 2008-05-28 2009-12-10 Univ Of Tokyo 光学式触覚センサ
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
JP5238586B2 (ja) * 2009-04-09 2013-07-17 アルプス電気株式会社 入力装置
JP5660531B2 (ja) * 2010-08-12 2015-01-28 国立大学法人名古屋大学 形状計測装置、及び形状計測方法
US20130147743A1 (en) * 2011-12-12 2013-06-13 Lester F. Ludwig Spherical Touch Sensors and Signal/Power Architectures for Trackballs, Globes, Displays, and Other Applications
CN105138183B (zh) * 2015-09-25 2019-05-03 敦泰电子有限公司 一种具有压力检测功能的电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165670A (ja) * 2003-12-02 2005-06-23 Olympus Corp ヒューマンインタフェース装置及びヒューマンインタフェースシステム
JP2005267174A (ja) * 2004-03-18 2005-09-29 National Institute Of Advanced Industrial & Technology ボール型触覚デバイス
JP2013210888A (ja) * 2012-03-30 2013-10-10 Sony Corp 入力装置、制御システム、校正方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190106640A (ko) * 2018-03-08 2019-09-18 애플 인크. 광학 마커를 갖는 전자 디바이스
KR102142190B1 (ko) * 2018-03-08 2020-08-06 애플 인크. 광학 마커를 갖는 전자 디바이스
US11921300B2 (en) 2018-03-08 2024-03-05 Apple Inc. Electronic devices with optical markers
JP7578062B2 (ja) 2021-05-13 2024-11-06 株式会社リコー 情報処理装置および情報処理装置の制御方法

Also Published As

Publication number Publication date
JP6931509B2 (ja) 2021-09-08
JP2018088254A (ja) 2018-06-07
EP3438790A1 (en) 2019-02-06
WO2017169641A1 (ja) 2017-10-05
JPWO2017169641A1 (ja) 2018-04-05
EP3438790A4 (en) 2019-11-06
CN109074153A (zh) 2018-12-21
EP3438790B1 (en) 2021-06-02
US20180299972A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
JP6259172B1 (ja) 入力装置および画像表示システム
CN110249368B (zh) 混合现实环境中提供虚拟远程控制的可穿戴系统及方法
US11068111B2 (en) Hover-based user-interactions with virtual objects within immersive environments
CN110832441B (zh) 用于虚拟、增强和混合现实显示系统的键盘
CN103970265B (zh) 具有触觉反馈的增强现实用户接口
CN104272218B (zh) 基于联合数据的虚拟手
EP3227760B1 (en) Pointer projection for natural user input
US8866739B2 (en) Display device, image display system, and image display method
CN111857365B (zh) 用于头戴式设备的基于触笔的输入
CA2675276C (en) System and method for controlling a virtual reality environment by an actor in the virtual reality environment
US10845894B2 (en) Computer systems with finger devices for sampling object attributes
CN112805660B (zh) 用于人与虚拟对象交互的系统和方法
Matsumaru et al. Three-dimensional aerial image interface, 3DAII
JP7209310B2 (ja) 入力装置および画像表示システム
JP2020027537A (ja) 入力装置および移動体
JP2020077365A (ja) 画像表示システム、オペレーティングシステムおよび画像表示システムの制御方法
JP2023008663A (ja) 制御装置
US20240094831A1 (en) Tracking Devices for Handheld Controllers

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171207

R150 Certificate of patent or registration of utility model

Ref document number: 6259172

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250