JPWO2010137192A1 - 操作情報入力システム及び方法 - Google Patents
操作情報入力システム及び方法 Download PDFInfo
- Publication number
- JPWO2010137192A1 JPWO2010137192A1 JP2011515836A JP2011515836A JPWO2010137192A1 JP WO2010137192 A1 JPWO2010137192 A1 JP WO2010137192A1 JP 2011515836 A JP2011515836 A JP 2011515836A JP 2011515836 A JP2011515836 A JP 2011515836A JP WO2010137192 A1 JPWO2010137192 A1 JP WO2010137192A1
- Authority
- JP
- Japan
- Prior art keywords
- operation information
- light
- information input
- input member
- converted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
- G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
Abstract
Description
この特許文献1の操作情報入力システムは、直線偏光撮像光源と撮像装置との間の光路に、オペレータが入力したい操作情報を記載した偏光板でなる透明シートを例えば撮像光源上に置くことによって、撮像光源からの投射光の偏光角を変更することによって、透明シートを透過した当該偏光角の投射光部分だけを撮像装置の偏光フィルタを透過できるようにする。
これにより撮像装置は、オペレータが透明シートを直線偏光撮像光源上に置かないときには、直線偏光撮像装置の直線偏光投射光が偏光フィルタによってしゃ光されることにより撮像装置が投射光の読み取りができない状態になる。
これに対して、直線偏光撮像光源上に透明シートを置いたとき、撮像装置は透明シートに記載された入力情報をオペレータの操作入力情報の1つとして読み取ることができると共に、直線偏光撮像光源に対してオペレータが透明シートを置いた位置を表す位置情報をオペレータの他の操作入力情報として読み取ることができる。
本発明は以上の点を考慮してなされたもので、オペレータの動作に基づく操作情報の入力を確実になし得るようにした操作情報入力システム及び方法を提案しようとするものである。
かかる課題を解決するため本発明においては、直線偏光でなる直線偏光投射光10Aを射出する直線偏光撮像光源4と、直線偏光投射光10Aを円偏光に変換して円偏光変換光10Bとして射出する変換用1/4波長板11と、透明で光弾性効果をもつ光弾性材料で構成され、円偏光変換光10Bに変換された光を、ユーザによって圧力を付与されて変形した変形部分22を透過させたとき複屈折させることにより、円偏光変換光10Bを楕円偏光に変換して変形楕円偏光変換光10Fとして射出する操作情報入力部材12と、変換用1/4波長板11から射出される円偏光変換光10B及び当該円偏光変換光10Bが操作情報入力部材12の非変形部分23を透過して操作情報入力部材12から射出される非変形円偏光変換光10Dを直線偏光に逆変換して順次第1及び第2の直線偏光逆変換光10C及び10Eとして射出すると共に、変形楕円偏光変換光10Fを直線偏光に逆変換せずに楕円偏光逆変換光10Gとして射出する逆変換用1/4波長板13と、楕円偏光逆変換光10Gを透過させ、かつ第1及び第2の直線偏光逆変換光10C及び10Eをしゃ光する偏光フィルタ14と、偏光フィルタ14を透過した透過光10Hを入射して操作情報入力部材12に対するユーザの入力操作を表す操作情報表示領域22Xを有する撮像信号S2を得る撮像装置15とを設けるようにする。
本発明によれば、操作情報入力部材の変形部分を透過することにより複屈折された変形楕円偏光変換光に対応する撮像信号を得るにつき、これを直線偏光撮像光源から射出される直線偏光投射光を変換用1/4波長板によって一旦円偏光に変換した円偏光変換光を用いるようにしたことにより、逆変換用1/4波長板及び偏光フィルタを透過して得られる変形部分に対応する操作情報表示領域として、ユーザの入力操作を過不足なく表わしたものを得ることができる。
図2は、図1の操作情報入力部材12の設定の仕方の説明に供する部分的斜視図である。
図3は、操作情報入力部材を示す斜視図である。
図4は、直線偏光撮像光源からの投射光の透過状態の説明に供する略線図である。
図5は、撮像装置から出力される撮像信号の説明に供する略線図である。
図6は、第1の画像処理部の詳細構成を示すブロック図である。
図7は、画像処理部の画像処理手順を示すフローチャートである。
図8は、取り込まれる撮像データの説明に供する略線図である。
図9は、付与される圧力の大きさに応じて高輝度領域の大きさが変化することの説明に供する略線図である。
図10は、付与された圧力と高輝度領域の大きさとの関係についての実験結果を示す特性曲線図である。
図11は、付与される圧力が前後方向に揺動した場合の説明に供する略線図である。
図12は、付与される圧力が左右に揺動した場合の説明に供する略線図である。
図13は、図7のサブルーチンにおけるアプリケーションプログラム(色付け)実行処理手順を示すフローチャートである。
図14は、比較例である操作情報入力システムを示す略線的斜視図である。
図15は、比較例における投射光透過状態の説明に供する略線図である。
図16は、比較例における撮像装置の出力の説明に供する略線図である。
図17は、第2の実施の形態の文字入力キーボードを示す平面図である。
図18は、基準文字表示欄51の周囲に関連文字表示欄53を表示させた文字入力キーボード表示50を示す平面図である。
図19は、圧力方向の確認の仕方の説明に供する略線図である。
図20は、アプリケーションプログラム(キーボード表示)実行処理手順を示すフローチャートである。
図21は、第3の実施の形態の電子楽器演奏パネルを示す平面図である。
図22は、電子楽器演奏パネルを用いた操作情報入力システムを示す略線図である。
図23は、アプリケーションプログラム(電子楽器演奏パネル)実行処理手順を示すフローチャートである。
図24は、図23のGummipadプログラム実行処理手順を示すフローチャートである。
図25は、図23のKeyboardプログラム実行処理手順を示すフローチャートである。
図26は、図23のLoopTrackプログラム実行処理手順を示すフローチャートである。
図27は、図23のButtonプログラム実行処理手順を示すフローチャートである。
図28は、第4の実施の形態の操作情報入力システムを示す略線的斜視図である。
図29は、立体撮像装置の詳細構成を示す略線図である。
(1)第1の実施の形態
図1において、1は全体として操作情報入力システムを示し、枠台2内に液晶ディスプレイ3を設けてなる直線偏光撮像光源4に対して、画像処理部5から送出される画像信号S1が供給されることにより、直線偏光でなる投射光10を発生する。
この直線偏光撮像光源4から投射された直線偏光でなる投射光10(これを、図4に示すように、直線偏光投射光とも呼ぶ)は、順次、1/4波長板11、操作情報入力部材12、1/4波長板13及び偏光フィルタ14を透過して撮像装置15(CCDで構成されている)に入射できるようになされている。
かくして撮像装置15は受光した透過光の画像内容を表す撮像信号S2を発生して画像処理部5に供給する。
この実施の形態の場合、図2に示すように、液晶ディスプレイ3の表面に積層するように1/4波長板11が設けられていると共に、さらに1/4波長板11上に操作情報入力部材12が置かれている。
1/4波長板11は、液晶ディスプレイ3から発生される投射光10が直線偏光であるのに対して、その振動面を互いに垂直な2つの成分(すなわち進相軸成分及び遅相軸成分)に分け、進相軸成分に対して遅相軸成分を1/4波長遅らせる複屈折材料で構成されており、枠台2に設けられている液晶ディスプレイ3の表面に貼り付けられている。
かくして液晶ディスプレイ3から投射される直線偏光投射光10は、1/4波長板11によって円偏光に変換されて1/4波長板11の全表面から撮像装置15の方向に射出される(この直線偏光から円偏光変換する1/4波長板11を、図4に示すように、変換用1/4波長板とも呼び、当該射出光を円偏光変換光とも呼ぶ)。
1/4波長板11上には、操作情報入力部材12が、ユーザによって指定された位置に置かれている。
操作情報入力部材12は、透明の光弾性効果を有する弾性体によって構成され、図3に示すように、ユーザが入力したいと考えている操作情報の内容に応じて任意の厚み及び任意の形状に成形されている。
操作情報入力部材12は、図2に示すように、ユーザの指21が表面から押付操作をしたとき、その押付力によって変形すると共に、当該変形部分22に入射した円偏光に複屈折を生じさせることにより、楕円偏光を射出する(この変形部分22の出射光を、図4に示すように、変形楕円偏光変換光とも呼ぶ)。
このように操作情報入力部材12は、入射した円偏光のうち、当該変形部分22を透過する光の偏光特性を変化させる(これを一般に光弾性効果と呼ぶ)。
操作情報入力部材12は、入射した円偏光のうち、変形部分22以外の非変形部分23に入射した円偏光には偏光特性の変化を与えないで透過させるので、操作情報入力部材12に入射した円偏光はその偏光特性に変化を受けることなく1/4波長板13の方向に射出して行くことになる(この射出光を、図4に示すように、非変形円偏光変換光とも呼ぶ)。
1/4波長板13は、図4に示すように、基本的に入射する光のうち、変換用1/4波長板11によって円偏光に変換された円偏光変換光10Bを直線偏光に逆変換することにより、液晶ディスプレイ3から発生した投射光10の偏光特性と同じ偏光特性をもたせることにより、これと直交する偏光特性を有する偏光フィルタ14を透過できなくする。
これに対して、図4に示すように、操作情報入力部材12から射出させる光のうち、ユーザの指21によって変形された変形部分22から射出する変形楕円偏光変換光10Fは、その偏光特性が円偏光から楕円偏光に変更されていることによって、逆変換用1/4波長板13を透過する際に、円偏光に戻ることができない楕円偏光逆変換光10Gとなるので、偏光フィルタ14を透過して透過光10Hとして、撮像装置15に入射する。
かくして撮像装置15から得られる撮像信号S2は、図4に示す偏光フィルタ14を透過できた透過光10Hだけになる。
すなわち、直線偏光撮像光源4から出射した直線偏光投射光10Aが変換用1/4波長板11によって円偏光変換光10Bに変換された後、当該円偏光変換光10Bのうち、操作情報入力部材12を通らない光は逆変換用1/4波長板13によって直線偏光に逆変換され、当該直線偏光逆変換光10Cは偏光フィルタ14に入射したとき偏光フィルタ14を透過できずにしゃ光される。
また、円偏光変換光10Bのうち、操作情報入力部材12の非変形部分23を透過した非変形円偏光変換光10Dは、操作情報入力部材12によって偏光特性が変更されないことにより、円偏光のまま逆変換用1/4波長板13に入射して直線偏光に逆変換され、当該直線偏光逆変換光10Eとして偏光フィルタ14に入射し、この偏光フィルタ14を透過できずにしゃ光される。
さらに、変換用1/4波長板11によって円偏光に変換された円偏光変換光10Bのうち、ユーザの指21によって変形された操作情報入力部材12の変形部分22を透過した光は、当該変形部分22の複屈折により楕円偏光に変換されて当該変形楕円偏光変換光10Fとして逆変換用1/4波長板13に入射する。
このとき逆変換用1/4波長板13はこの変形楕円偏光変換光10Fを直線偏光には逆変換できずに楕円偏光逆変換光10Gとして偏光フィルタ14に入射させるが、偏光フィルタ14は当該楕円偏光逆変換光10Gをしゃ光できないで透過光10Hとして撮像装置15に入射させる。
撮像装置15から得られる撮像信号S2は、図5に示すように、ユーザの指の映像21Xと、ユーザの指によって変形された操作情報入力部材12の変形部分22を透過した明るい高輝度領域となる変形部分の映像22Xとを、ユーザが目視できる映像として含んでいる。
この実施の形態の場合、ユーザの指の映像21Xは外光が指に反射して得たものであるので暗い領域を形成し、また操作情報入力部材12の変形部分のうちユーザの指を押し付けられた部分は撮像装置15側から見えない黒い背景部分の映像23Xとなるので、結局変形部分の映像22Xとしては、ユーザの指から付与された力によって変形が生じた部分のうち、ユーザの指の映像21Xの周囲に隣接する高輝度領域として撮像される。
この目視できる映像の周囲は、操作情報入力部材12のうち変形を受けなかった部分を透過した光に基づく直線偏光逆変換光10Eと、操作情報入力部材12を透過しなかった直線偏光逆変換光10Cとに対応して、偏光フィルタ14によってしゃ光された背景部分の映像23Xになる。
このようにして、撮像信号S2において高輝度領域でなる明るい変形部分の映像22Xの大きさ及び形状は、ユーザの指21が操作情報入力部材12に付与した変形力の位置、強さ及び方向などの入力操作態様の情報を表す操作情報表示部分を含んでおり、画像処理部5は図6に示す中央処理ユニット(CPU)31が図7の画像処理手順RT0を実行することにより撮像信号S2に含まれる操作情報を取り込む。
画像処理部5のCPU31は、バス32を介して、ROM構成のプログラムメモリ33のプログラムを、RAM構成の動作メモリ34を用いて実行することにより、入力インターフェース35を介して撮像装置15から取り込んだ撮像信号S2についての画像処理を実行し、当該画像処理結果を動作メモリ34又はハードディスク記憶装置36に蓄積する。
CPU31は、操作入力部41によってユーザが画像処理命令を入力したとき、画像処理手順RT0に入って、ステップSP1において撮像信号S2に基づいて、直線偏光撮像光源4の平面座標(x、y)と、撮像装置15の平面座標(x、y)との対応関係を決める調整処理をした後、例えばシャッタ速度5〔msec〕で画像を撮影し、続いてステップSP2において撮影画像データを動作メモリ34に取り込む。
CPU31は、図8(A)に示すように、まず、操作情報入力部材12に圧力を加えていない撮像画像を、画像処理手順RT0の処理を開始する前に、背景画像P1として動作メモリ34に予め取り込んでおき、操作情報入力部材12に圧力を付与した撮影画像を図8(B)に示すような圧力付与画像P2として取り込んだとき、圧力付与画像P2と背景画像P1との間の差分を求めて当該差分が所定の閾値を越えたとき、図8(C)に示すような2値化処理画像P3を得て、これを撮影画像データとして画像データメモリ42に格納する。
この実施の形態の場合、背景画像P1と、変形があった領域との間には約100個以上の輝度差があるので、当該輝度レベルで表わされる2値化処理画像P3を得る。
続いて、CPU31は、次のステップSP3において高輝度領域の抽出ができたか否かの確認をし、肯定結果が得られたとき、次のステップSP4に移って当該高輝度領域Xの位置(重心)、面積及び輝度を算出する。
高輝度領域の抽出は、圧力付与画像P2(図8(B))を表示部43上に表示して明るい画像部分の外接枠W1を設定し、当該外接枠W1内の領域を高輝度領域Xとして2値化処理画像P3を得る。
ステップSP4においてCPU31は、当該抽出された高輝度領域外接枠W1に基づいて、その位置(重心)と、面積と、輝度と、を算出する。
CPU31は、このようにして算出した高輝度領域Xの位置(重心)、面積及び輝度を次のステップSP5において高輝度領域情報として高輝度領域情報メモリ44に時系列的に保存する。
この実施の形態の場合、高輝度領域情報の保存は、例えば輝度別に、輝度100〜149、150〜199、200以上の3群に分けて保存されており、かくして輝度群が違えば、操作情報入力部材12に付与された圧力の大きさに違いがあると認識できる。
続いてCPU31はステップSP6において高輝度領域情報メモリ44の時系列情報に基づいて、付与された圧力の方向及び圧力の変位を算出する。
この実施の形態の場合、算出すべき時系列情報として、高輝度領域の面積の変化量、重心位置の変化量、高輝度位置の変化量を検出するようになされている。
かくして、CPU31は、面積の変化量によって、ユーザが操作情報入力部材12に対して付与した圧力が変化したことを、ユーザの操作態様を表す1つの情報として認識することができる。
例えば図9に示すように、CPU31は、高輝度領域X11が小さい情報(図9(A))から、高輝度領域X12のように中程度にまで大きくなった状態(図9(B))を経て、高輝度領域X13のように大きくなった(図9(C))と判断したとき、ユーザが操作情報入力部材12に対して与える圧力を次第に大きくして行った操作態様をユーザの操作情報として認識することができる。
7名のユーザについての実験によれば、操作情報入力部材12に対する圧力の大きさを横軸にとりかつ各圧力に対する高輝度領域の面積をとって図10に示すように、高輝度領域の面積は圧力とほぼ比例することを確認できた。
また、重心位置の変化量は、ユーザが直線偏光撮像光源4に対して操作情報入力部材12上を前後左右に移動させた操作動作をしたことを認識させることができる。
さらに、高輝度位置の変化量は、ユーザが高輝度領域に当てた指を、位置を移動させずに前後左右に揺動させたような操作動作をすることにより圧力方向を前後左右に変更したことをCPU31が認識することができる。
例えば図11(A)及び(B)に示すように、高輝度領域X21の高輝度部分が指より前方に大きく広がっている状態(図11(A))から、高輝度領域X22に示すように指より後方に移ったように(図11(B))変化していれば、CPU31は、ユーザが指を前後に揺動させたような操作動作をすることにより圧力方向を前後方向に変更したと認識することができる。
また図12(A)及び(B)に示すように、高輝度領域X31の高輝度部分が指より右側にある状態(図12(A))から、高輝度領域X32に示すように高輝度部分が指より左側に移動した状態(図12(B))に変化をしていれば、CPU31は、ユーザが指を左右に揺動させるような操作動作をしたと認識することができる。
この実施の形態の場合、CPU31は、上述のステップSP1〜SP6においてユーザからの入力情報を得ることができるので、さらにアプリケーションプログラムの一例として、アプリケーションプログラム実行サブルーチンRT1(図7)において、既に入力した高輝度領域に色付けをするような処理を実行することができる。
アプリケーションプログラム実行サブルーチンRT1に入ると、CPU31は、図13のアプリケーションプログラム実行処理手順RT1に従って、ステップSP11において重心位置(x、y)がカラー領域(x1−n、y1−n)上にあるか否かの判断をし、肯定結果が得られたときステップSP12においてカラー設定メモリ45(図6)に当該重心位置(x、y)を保存する。詳述すると、カラー領域(x1−n、y1−n)は、複数の色の領域として設定されており、例えば一の領域(x2、y2:青)上に重心位置(x、y)があるとき、後述のカラー情報として青が設定される。
その結果ステップSP11において否定結果が得られると、CPU31は、ステップSP13に移ってカラー設定メモリ45及びハードディスク記憶装置36から設定情報、すなわちカラーの情報及び重心、面積及び圧力の情報を読み出した後、次のステップSP14において重心(x、y)にカラー、面積及び圧力情報に基づいて色付けをした後、出力インターフェース49を介して画像信号S1を送出する。
この結果、CPU31は、操作情報入力部材12によって入力した高輝度領域に色付けをした画像が液晶ディスプレイ3上に表示する。
かくしてCPU31は、ステップSP15において当該アプリケーションプログラム実行サブルーチンRT1を終了してメインルーチンである画像処理手順RT0に戻る。
このときCPU31は、アプリケーションプログラム処理RT1に続くステップSP21において当該画像処理手順RT0の処理を終了するか否かの判断をし、ユーザが操作入力部41によって終了命令を出していないときには上述のステップSP1に戻って再度ステップSP1〜SP6及びサブルーチンRT1の処理を繰り返す。
これに対してステップSP21において肯定結果が得られたとき、CPU31はステップSP22において当該画像処理手順RT0を終了する。
以上の構成において、直線偏光撮像光源4と撮像装置15との間に操作情報入力部材12を設け、当該操作情報入力部材12として光弾性効果を生じさせる透明な部材を用いるようにしたことにより、操作情報入力部材12に対してユーザが圧力を付与して変形させるような操作入力動作をすれば、その操作動作に対応して変化するような高輝度領域を有する変形部分の映像22Xを撮像装置15において得られる撮像信号S2に生じさせることができる。
この高輝度領域の輝度、面積及び重心位置は、ユーザの入力操作が変わればこれに応じて変わるので、結局撮像装置15から得られる撮像信号S2として、ユーザの情報入力操作を過不足なく表した撮像信号S2を生成することができる。
従って、ユーザインタフェースの機能として一段として多機能な従って利便性の大きい操作情報入力システムを実現できる。
(2)比較例
図1の実施の形態に対する比較例として、図14に、図1との対応部分に同一符号を付して示すように、図1の実施の形態において設けられていた1/4波長板11及び13を省略した操作情報入力システム1Xが考えられる。
この比較例の操作情報入力システム1Xにおいては、図15に示すように、直線偏光撮像光源4から投射される直線偏光投射光10Aのうち、操作情報入力部材12を透過しない光の部分及び操作情報入力部材12の非変形部分を透過する光の部分は、その偏光特性が変更されることなく偏光フィルタ14に入射して当該偏光フィルタ14においてしゃ光される。
これに対して、直線偏光投射光10Aのうち、操作情報入力部材12の変形部分を透過した光は、その複屈折の作用により、原則として変形楕円偏光光10Jに変換されて偏光フィルタ14に入射することにより透過光10Kとして撮像装置15に入射する。
ところが操作情報入力部材12の変形部分の複屈折の際に、進相軸又は遅相軸のどちらかに平行な振動面をもつ直線偏光が入射したとき、当該直線偏光投射光10Aは楕円偏光にならない場合がある。
因に、操作情報入力部材12はユーザの操作によって種々の方向に向けられるので、直線偏光投射光10Aの直線偏光が複屈折の進相軸又は遅相軸に平行な振動面をもつ状態になる場合がある。
このとき、直線偏光投射光10Aのうち楕円偏光にならない直線偏光は、操作情報入力部材12の変形部分をそのまま透過して偏光フィルタ14に入射して偏光フィルタ14においてしゃ光される。
当該撮像装置15の撮像信号S2は、図16に示すように、ユーザの指の映像21Yによって付与される圧力の方向によっては映らない縞状の領域22Zが生じる結果になる。
このことは、ユーザの指の映像21Yの入力操作を表す撮像信号S2が得られないことになるので問題である。
このようにして図14の比較例において生じる問題は、図1について上述した実施の形態においては、一対の1/4波長板11及び13を操作情報入力部材12を挟み込むように設けたことにより、操作情報入力部材12の変形部分を透過する光が円偏光になるので、操作情報入力部材12の変形により生じた複屈折を確実に表した透過光10H(図4)を得ることができるので、解決できる。
(3)他の実施の形態
(3−1)上述の第1の実施の形態においては、操作情報入力部材12を液晶ディスプレイ3上に直接置くようにした場合について述べたが(図2)、操作情報入力部材12を液晶ディスプレイ3上に直接に置かずに浮かして操作するようにしても良く、要はユーザが一対の1/4波長板11及び13間の空間において操作情報入力部材12に対して変形操作をすれば良い。
(3−2)上述の実施の形態においては、液晶ディスプレイ3を水平方向に設置された枠台2内に設けるようにした場合について述べたが、液晶ディスプレイ3としては、水平方向に設けずに、ディスプレイ表面を斜めに傾斜させたり、垂直方向に立設させたりするようにしても良い。
(3−3)上述の実施の形態においては、液晶ディスプレイ3から投射光を得るようにしたが、これに限らず投射光として直線偏光を生じる面光源から投射された投射光を生ずるような直線偏光撮像光源を用いるようにすれば良い。
(3−4)上述の実施の形態においては、図7の画像処理手順RT0において、アプリケーションプログラム実行サブルーチンRT1の処理として、図13に示すように、ステップSP1〜SP6において取得した操作入力情報を利用して色を付ける処理をするようにしたが、当該アプリケーションプログラム処理ルーチンRT1の処理として、圧力の検出に対応したタッチパネルを実現するような処理を実行するようにしても良い。
この場合、画像処理手順RT0(図7)のステップSP1〜SP6において、ユーザが操作情報入力部材12を介して液晶ディスプレイ3の画面に触った位置を操作入力情報として得ることができる。
この操作入力情報としては、複数点を触った場合には、これら複数点の操作入力情報を同時に入力することができる。
また各点において触った際の圧力を高輝度領域の大きさとして入力することができる。
(3−5)また、図7の画像処理手順RT0におけるアプリケーションプログラム実行サブルーチンRT1において、3D立体モデルをさまざまな方向に回転させるような処理をすることにより、3Dモデル閲覧アプリケーションを実行するようにしても良い。
この場合ユーザは指を画面に接触させたままで、指にかける圧力の方向をコントロールすることで、図11及び図12について上述したように、前後方向や左右方向への操作入力態様を操作入力情報として入力することができることにより、ユーザの当該操作態様に応じて3Dモデルを回転させるようにすれば良い。
(4)第2の実施の形態
図17〜図20は第2の実施の形態を示すもので、この場合CPU31は、図7のアプリケーション実行処理プログラムRT1として、図13に代えて、図20のアプリケーションプログラム(キーボード表示)実行処理手順RT1Bを実行することにより、一段と小型化した文字入力キーボードを実現できるようにする。
この実施の形態の場合、画像処理部5は、画像信号S1として、図17に示す文字入力キーボード表示50を液晶ディスプレイ3(図1)に表示し、この文字入力キーボード表示50によって平仮名文字、又は英文字、又は数字についての文字入力を、ユーザが液晶ディスプレイ3を用いて入力できるようになされている。
文字入力キーボード表示50は液晶ディスプレイ3の中央位置に、表示された円形の表示枠50Aの中央部分に、コンパクトにまとめられた複数の基準文字表示欄51を配列した構成を有する。
この実施の形態の場合、原理的に「あいうえお」順に配列表示した平仮名文字を、基準文字表示欄51に全文字のうちの一部の代表文字をユーザに提示することにより、ユーザは全ての平仮名文字を文字入力キーボード表示50を用いて入力できる。
すなわち、文字入力キーボード表示50は、五十音索引を構成する五文字の配列「あいうえお」、「かきくけこ」……「わいうえを」のうち、先頭文字「あ」、「か」……「わ」を五文字を代表する基準文字として表示する10個の基準文字表示欄51を格子状に配列した構成を有する。
各基準文字表示欄51の位置は、撮像装置15の撮像信号S2が撮像画面の左上の点を原点とした直交座標系によって表わされる。
画像処理部5が画像信号S2として文字入力キーボード表示50を液晶ディスプレイ3に表示した状態において、ユーザが基準文字表示欄51の1つを押圧操作することにより指定すると、画像処理部5のCPU31は図7の画像処理手順RT0におけるアプリケーションプログラム実行サブルーチンRT1として、図20のアプリケーションプログラム(キーボード表示)実行処理手順RT1Bを実行し、先ずステップSP21において重心位置(x、y)が文字種変更キー上にあるか否かの判断をし、肯定結果が得られたときステップSP22において当該指定された文字種に変更する処理をしてステップSP21に戻る。
この実施の形態の場合、文字種変更キーとして、「電卓」欄52A及び「ABC123」欄52Bが設けられており、これらの文字種変更キーの上に高輝度領域の重心位置があるとき、CPU31は基準文字表示欄51に表示する文字種を変更する。
ステップSP21において否定結果が得られたとき、CPU31はステップSP23に移って輝度領域の重心位置が基準文字表示欄51の文字キーのいずれか1つの上にあるか否かの判断をする。
ここで肯定結果が得られると、このことはユーザが当該文字キーの文字の入力を指定したことを意味し、このときCPU31はステップSP24に移って、図18に示すように、指定された文字キーの基準文字表示欄51の上下左右位置に関連文字表示欄53を表示する。
図18の場合、ユーザが平仮名文字「あ」の基準文字表示欄51を指定した場合を示し、CPU31は当該指定された基準文字表示欄51の前後左右位置に、隣り合うように4つの関連文字表示欄53を、文字入力キーボード表示50に書き加える。
この実施の形態の場合、文字「あ」は50音索引の「あ」行の先頭文字であるところから、当該「あ」行に属する他の文字「い」、「う」、「え」、「お」を表示する。
かくしてCPU31は、ユーザが指定した基準文字表示欄51の文字に関連する他の4つの文字を表する関連文字表示欄53を設けることにより、ユーザが基準文字表示欄51に表示されている1つの文字に加えて関連文字表示欄53に表示されている4つの文字をも選択指定できるようにする。
CPU31は次のステップSP25において輝度領域の重心位置が上下左右に変化したか否かの判断をする。
否定結果が得られると、このことはユーザが基準文字表示欄51の文字「あ」を指定した状態で操作情報入力部材12に対して圧力方向の変化をしない状態にあることを意味し、このときCPU31は、ユーザが基準文字表示欄51に表示されている文字「あ」を指定したものと判断して、ステップSP26に移って当該指定された文字キーから指定入力を取り込む。
これに対してステップSP25において肯定結果が得られたとき、このことはユーザが操作情報入力部材12に付与した圧力の方向を上下左右のいずれかに変化させた(揺動させた)ことを意味し、このときCPU31はユーザが4つの関連文字表示欄53のうちの1つを指定したものと判断して、当該関連文字表示欄53の文字キーの指定入力を取り込む。
かくしてユーザの1回の指定入力操作についての指定入力処理が終了したので、CPU31は次のステップSP28において終了キーが押されたか否かを判断し、否定結果が得られたとき上述のステップSP21に戻って次の指定文字についての処理を繰り返す。
これに対してステップSP28において肯定結果が得られたとき、CPU31は、当該アプリケーションプログラム(キーボード表示)実行処理手順を終了したものとして、ステップSP29においてメインルーチンRT10(図7)にリターンする。
このユーザによる操作情報入力部材12に対する圧力付与方向についてのCPU31の確認処理は、図19に示すように、高輝度領域の重心位置を基準点P1として、当該基準点P1を通る互いに直交する2本の確認境界線L1及びL2を設定し、ユーザの圧力方向によって生じる高輝度領域の重心の移動点P2が確認境界線L1及びL2の上側にあるか又は下側にあるかを判断することにより、基準点P1からの移動点P2の移動領域が上方圧力確認領域M1にあるか、又は右方圧力確認領域M2にあるか、又は下方圧力確認領域M3にあるか、又は左方圧力確認領域M4にあるかを判断する。
このとき基準点P1からの移動処理が閾値tを越えたものを圧力方向の変化として把握し、閾値tを越えないものは高輝度領域の重心が基準点P1にあるものとして判断する。
以上の構成において、ユーザが操作情報入力部材12を変形させることにより生ずる高輝度領域の重心の移動の有無に基づいて、ユーザの入力操作が上下左右のいずれかに生じたことをユーザの指の移動(シフトする移動)がない状態のまま認識することができる。
これにより入力操作面が例え小さくなったとしても、指定した入力文字に隣接する入力文字に対する操作を確実に行うことができる。
かくするにつき図18について上述したように、基準文字表示欄51が指定されたとき、これと隣り合うように4つの関連文字表示欄53を設定するようにすれば、さらにコンパクトにまとまった入力キーについての入力操作を行うことができる。なお、該第2の実施の形態においては、予め定められた位置に文字入力キーボード表示50を表示するようにしたが、これに限ることなく、図14に示す操作情報入力部材12の位置と角度を検出し、その検出した位置と角度に合せて、文字入力キーボード表示50を表示するようにすることもできる。
例えば、特許文献(特開2009−157360)に記載のように、透明な識別子を操作情報入力部材12に設けることで、操作情報入力部材12の位置と角度を検出でき、液晶ディスプレイ3上の自由な位置で文字入力キーボード表示50を表示することができるようになる。
(5)第3の実施の形態
図21〜図27は第3の実施の形態を示すもので、CPU31は、図7のアプリケーションプログラム実行処理手順RT1として、図23に示すアプリケーションプログラム(電子楽器演奏パネル)実行処理手順RT1Cを実行する。
この場合の操作情報入力システム1は、図1及び図4との対応部分に同一符号を付して図22に示すように、液晶ディスプレイ3上に変換用1/4波長板11及び操作情報入力部材12を積層した構成の電子楽器演奏パネル61を有し、当該電子楽器演奏パネル61から射出される投射光LTを、電子楽器演奏パネル61と撮像装置15との間の空間に、ユーザの操作によって移動ないし変形される補助操作情報入力部材12Xを介在させる。
この補助操作情報入力部材12Xは操作情報入力部材12と同様に、透明の光弾性効果を有する弾性体によって構成されると共に、図21に示すように、ユーザが指で摘んで保持できるように円形形状をもっている。
かくして補助操作情報入力部材12Xは、電子楽器演奏パネル61から操作情報入力部材12を透過して射出された投射光LTを、通過させて1/4波長板13及び偏光フィルタ14を通して撮像装置15に入射させる際に、補助操作情報入力部材12Xがユーザの把握力に応じて変形することにより、その変形度に応じた強さの輝度をもつ投射光LTを撮像装置15に入射させる。
その結果、ユーザが操作情報入力部材12及び又は補助操作情報入力部材12Xを変形させたとき、この操作情報入力部材12及び補助操作情報入力部材12Xを透過した投射光LTが楕円偏光になることにより、1/4波長板13及び偏光フィルタ14を透過して撮像装置15に入射され、その結果画像処理部5から与えられる画像信号S1によって液晶ディスプレイ3に映出された電子楽器演奏パネル61を、撮像装置15に撮像させる。
これに対して、操作情報入力部材12及び補助操作情報入力部材12Xに対してユーザが変形を与えないときには、電子楽器演奏パネル61から出射された投射光LTは円偏光のまま1/4波長板13及び偏光フィルタ14に入射されることにより、撮像装置15には入射できなくなる。
電子楽器演奏パネル61は、図21に示すように、右上部分にループトラック領域62を形成すると共に、右下部分にキーボード領域63を形成する。
これに加えて電子楽器演奏パネル61は、左上部分にガンミパッド領域64を形成すると共に、左下部分にボタン領域65を形成する。
ループトラック領域62は、電子楽器音のリズムを打ち込む機能をもつ部分で、予めプログラムされたメロディを表す円形表示子を左側から右側に一連のトラックとして表示するようになされている。
この実施の形態の場合、ループトラック領域62は上から下に向かってバスドラム、スネア、クローズドハイハット、オープンハイハット及びベースの5種類の音色トラックが形成されている。
ユーザは当該ループトラック領域62に表示されている5種類の音色トラックについて、電子楽器演奏パネル61の操作情報入力部材12上に、液晶ディスプレイ3によって表示された円形表示子を所望に応じて押すことにより、リズムを打ち込む。
当該5種類の音色トラックについてのユーザの操作入力情報は、撮像装置15によって電子楽器演奏パネル61の座標位置情報と共に画像処理部5に取り込まれる。
キーボード領域63は、鍵盤表示子を有し、ユーザが白鍵又は黒鍵表示子上の操作情報入力部材12を押すことにより、指定した鍵盤情報を撮像装置15を介して画像処理部5に取り込む。
かくしてユーザは鍵盤表示子を順次指定することによりメロディを入力することができ、当該入力されたメロディはループトラック領域62に表示されたベーストラック領域のデータとして取り込まれる。
このようにしてユーザがメロディを入力する際に、キーボード領域63の操作情報入力部材12に対する押付圧力を変更すると、当該押付圧力の変更情報は、メロディを構成する各音の音量情報として画像処理部5に取り込まれる。
ガンミパッド領域64は、音のピッチを表すX軸と、音のゲインを表すY軸とを有する格子状の表示線を電子楽器演奏パネル61として表示し、その交点位置を変形操作した操作情報入力部材12又は補助操作情報入力部材12Xを用いて指定することにより、X軸によって決まるピッチによる音色と、Y軸によって決まる音量とを指定すると共に、当該交点位置における操作情報入力部材12又は補助操作情報入力部材12Xの変形領域の面積の大きさによってテンポを指定する。
かくしてユーザは、電子楽器演奏パネル61をユーザが押圧したり又はユーザが補助操作情報入力部材12Xを交点位置に位置合せ操作したりすることによって、楽音についての3つのパラメータ、すなわちピッチ、ゲイン及びテンポをユーザの片手の操作で一度に入力することができる。
電子楽器演奏パネル61のボタン領域65は、発生する楽音の音階や音色を全体として切り換える、いわゆるボタン機能を入力できるもので、3種類の色を有する円形表示子を有し、ユーザはその1つを操作情報入力部材12又は補助操作情報入力部材12Xによって入力操作することができる。
かくしてユーザは、ループトラック領域62のベーストラック領域に格納されたメロディ情報について、その音階や音色をボタン領域65の円形表示子の色を選定することにより切り換えながら、図示しないスピーカー等から出力し演奏することができる。
画像処理部5のCPU31(図6)は、画像処理手順(図7)のアプリケーションプログラム実行ルーチンRT1として図23に示すアプリケーションプログラム(電子楽器演奏パネル)実行処理手順RT1Cを実行する。
CPU31は、先ずステップSP31において、高輝度領域の重心位置(x、y)がガンミパッド領域64上にあるか否かの判断をする。
ここで肯定結果が得られると、このことはユーザがガンミパッド領域64についてベーストラックの音色、音量及びテンポを指定しようとしていることを意味し、このときCPU31は、ステップSP32に移って図24に示すGummipadプログラムの実行処理手順に入る。
このとき、CPU31はステップSP41において高輝度領域の重心位置(x、y)が電子楽器演奏パネル61のガンミパッド領域64上にあることを確認した後、ステップSP42に移ってユーザが指定したガンミパッド領域64の指定位置(x、y)に対応するピッチ、音量及びテンポをもつ効果音を設定してステップSP43においてGummipadプログラム実行処理手順SP32を終了して上述のステップSP31に戻る。
これに対してステップSP41において否定結果が得られると、このことはユーザがガンミパッド領域64によるパラメータの指定をしていることを確認できないことを意味し、このときCPU31はステップSP42をジャンプして当該処理を終了する。
かくして図24のGummipadプログラム実行処理手順SP32によれば、ユーザがガンミパッド領域64に対する簡易な指定操作をするだけで、一挙に3つのパラメータに対応する効果音情報を画像処理部5に取り込むことができる。CPU31は、ステップSP31において否定結果が得られると、ステップSP33に移って、高輝度領域の重心位置(x、y)がキーボード領域63上にあるか否かの判断をする。
ここで肯定結果が得られると、CPU31はステップSP34に移って図25に示すKeyboardプログラム実行処理手順SP34のステップSP51に入る。
このステップSP51においてCPU31は、ユーザが電子楽器演奏パネル61のキーボード領域63を指定操作していることを確認してステップSP52に移ってユーザがキーボード領域63に表示されたキーボード表示のうち、指定したキーに対応する音を操作情報入力部材12に対する押圧圧力に応じた音量として画像処理部5に取り込む。
続いてCPU31は、ステップSP53に移って高輝度領域の重心位置が左右方向(x方向)に動いているか否かの確認をし、肯定結果が得られたとき、SP54に移って当該キーに対応する音にビブラートをかける処理をした後ステップSP55に移る。
これに対してステップSP53において否定結果が得られると、CPU31はステップSP54の処理をせずにステップSP55に移る。
このステップSP55においてCPU31は高輝度領域の重心位置が上下方向(y方向)に動いているか否かを確認し、肯定結果が得られたときステップSP56に移って当該キーに対応する音のピッチをy方向の移動量に応じて変更するような処理を行った後、ステップSP57において当該Keyboardプログラム実行処理手順SP34の処理を終了して上述のステップSP31に戻る。
これに対してステップSP55において否定結果が得られたときCPU31はステップSP56の処理をせずに当該実行処理手順を終了する。
また上述のステップSP51において否定結果が得られたとき、このことはユーザがキーボード領域63のキーに対する入力操作をしていることを確認できないことを意味し、このときCPU31はステップSP57に移って当該処理手順を終了する。
かくしてCPU31はユーザがキーボード領域63に対して情報入力操作をしたとき、入力操作をしたキーの音情報を取り込むと共に、当該キーに対してx方向及び又はy方向に移動操作がされたとき、ビブラート効果及び又はピッチの変更効果をつける効果情報を取り込むことにより、ユーザがメロディの演奏情報を入力する際に、音量及びピッチを微妙に変化させる効果を同時にかつ簡便になし得るようなキーボードを実現できる。
CPU31は、図23のステップSP33において否定結果が得られたとき、ステップSP35に移って高輝度領域の重心位置(x、y)がループトラック領域62上にあることを確認して、ステップSP36に移って図26に示すLoopTrackプログラム実行処理手順SP36を実行する。
当該LoopTrackプログラム実行処理手順SP36に入ると、CPU31はステップSP61において高輝度領域の重心位置(x、y)がループトラック領域62上にあることを確認した後、ステップSP62に移る。
この位置の確認は、5種類のループトラックとして、ドラム、スネア、クローズドハイハット、オープンハイハット及びベースのループトラックが形成されていることから、どのループトラックが選択されているかを確認するもので、確認したときCPU31はステップSP62において重心位置(x、y)に対応する楽器音を、付与された圧力に応じた音量で取り込んだ後ステップSP63において当該LoopTrackプログラム実行処理手順SP36を終了して上述のステップSP31に戻る。
これに対してステップSP61において否定結果が得られたとき、5種類のループトラックの選択がされていないとして、当該実行処理手順を終了する。
図26のLoopTrackプログラム実行処理手順によれば、電子楽器演奏パネル61上に形成されたループトラック領域62の5種類のループトラックをユーザが簡便に操作することにより、楽器音を形成するための多数のパラメータの情報を少ない操作で入力することができるような操作情報入力システムを実現できる。
図23のステップSP35において否定結果が得られるとCPU31はステップSP37に移って、高輝度領域の重心位置(x、y)がボタン領域65上にあることを確認して、図27に示すButtonプログラムの実行処理手順SP38のステップSP71に入る。
このButtonプログラム実行処理手順SP38において、CPU31は、ステップSP71において輝度領域の重心位置(x、y)がボタン領域65の3つのボタン表示子上にあることを確認して、ステップSP72において当該ボタン表示に対応するモードに切り換える情報を取り込んだ後、ステップSP73において当該Buttonプログラム実行処理手順SP38を終了して上述のステップSP31に戻る。
これに対してステップSP71において否定結果が得られると、当該処理手順SP38を終了する。
かくして図27のButtonプログラム実行処理手順によれば、ユーザがボタン領域65内のボタン表示の1つに変形を加えるような操作をするだけで、発生する楽音のモードを簡便に切り換えることができる。
図21〜図27の構成によれば、CPU31は、図23のアプリケーションプログラム(電子楽器演奏パネル)実行処理手順RT1Cにおいて、ステップSP39で終了キー(操作入力部41(図6)に設けられている)をユーザが操作したことを確認できるまで、ステップSP31−SP33−SP35−SP37−SP39−SP31のループによって、ユーザが、ガンミパッド領域64、キーボード領域63、ループトラック領域62及びボタン領域65のいずれかを操作していれば、その操作に対応する操作入力情報を画像処理部5に取り込むことができる。
かくするにつき、液晶ディスプレイ3上に表示された電子楽器演奏パネル61のループトラック領域62、キーボード領域63、ガンミパッド領域64及びボタン領域65の操作子表示子を、ユーザが操作情報入力部材12又は補助操作情報入力部材12Xを変形操作するだけの簡便な情報入力操作をするだけの少ない操作で、電子楽器の楽音を形成するためのパラメータを複数同時に操作入力できるような簡便な操作情報入力システムを実現できる。
(6)第4の実施の形態
図28〜図29は第4の実施の形態を示すもので、図1との対応部分に同一符号を付して図28に示すように、画像処理部5によって液晶ディスプレイ3に表示された画像を撮像装置15によって撮像できるようにすることに加えて、当該画像をステレオカメラによって構成された立体撮像装置15Xによって撮像できるようになされている。
この実施の形態の場合、図1及び図2について上述した液晶ディスプレイ3上に積層するように設けられている操作情報入力部材12は省略されており、これに代え、液晶ディスプレイ3と撮像装置15及び立体撮像装置15Xとの間の空間をユーザの操作によって移動できる、立方体形状の操作情報入力部材12Yが設けられている。
立体撮像装置15Xは、図29に示すように、原点Oを中心とする3次元座標系XYZにおいて、X軸上に原点Oを中心にして対称に基準距離bだけ離れた位置に、左光学系15XLの左光学中心Olを設けると共に、右光学系15XRの右光学中心Orを設ける。
左光学系15XL及び右光学系15XRは左光学中心Ol及び右光学中心Orからそれぞれ視線EL及びERに沿って操作情報入力部材12Y上の点を検出点P(XYZ)として撮像する。
これにより操作情報入力部材12Yがユーザによって加圧されることにより変形したとき、その変形特性の変化によって当該操作情報入力部材12Yを透過する投射光が円偏光から楕円偏光に変換されることにより生じる高輝度領域を、左光学系15XL及び右光学系15XRが撮像信号S2Xとして画像処理部5に取り込ませることにより、左光学系15XL及び右光学系15XRの視差を利用して検出点Pの座標(X、Y、Z)を検出できるようになされている。
図29の立体撮像装置15Xの光学系において、左光学中心Ol及び右光学中心OrからZ方向に焦点距離fだけ離れた位置に左画像PCL及び右画像PCRを撮像したとき、左画像PCL及び右画像PCRのxl、yl座標系及びxr、yr座標系において、視線EL及びERが通り抜ける点pl及びprの座標(xl、yl)及び(xr、yr)について、以下の関係が求められる。
すなわち、左光学系15XL及び右光学系15XRは原点Oを中心として、X軸上に基準値bだけ離れた位置に対称に、左光学中心Ol及び右光学中心Orが設けられていることにより、通過点pl及びprをY軸方向の座標yl及びyrは次式
yl=yr ……(1)
になると共に、通過点pl及びpr間のX方向の距離dは次式
d=xl−xr ……(2)
として求められる。
この関係を用いて検出点Pの座標(X、Y、Z)を求めれば、以下の式
によって求めることができる。
このようにして、操作情報入力部材12Yに生じた変形部分は、立体撮像装置15Xによって立体画像を構成する高輝度領域として操作情報入力部材12Yを構成する各部分の検出点P(X、Y、Z)の固まりを表す情報として、画像処理部5に取り込むことができる。
画像処理部5は、操作情報入力部材12Yの変形動作に応じて液晶ディスプレイ3に表示される画像を、加工処理するための情報入力手段として適用することができる。
先ず、変形動作の判別の仕方として、「テーブル上での軽い接触」については、操作情報入力部材12Yについて検出された変形が液晶ディスプレイ3が設けられたテーブル面の高さと同じ高さであり、かつ検出された領域の面積が所定の閾値より小さいことが確認できたときには、操作情報入力部材12Yが当該テーブル上での軽い接触をしていると判断する。
「テーブル上での強い接触(押込み)」は、変形の高さがテーブル面の高さと同じ高さであり、かつ変形領域の面積が所定の閾値以上であるとき、テーブル上での強い接触をしていると判別する。
「手に持っての押し潰し(摘まみ)」は、輝度領域の高さがテーブル面に対して高い位置にあることから識別できる。
又は、「押しつぶされた高輝度領域は細長くなる」ことから、その方向が慣性支軸の角度から求めることができる。
「両手での引張」は、一番変形量が大きい動作で、高輝度領域はテーブル面に対して高い位置にあり、かつ最小包含矩形は短辺と長辺の長さの差が明確になり(長方形になり)、長辺の長さの変化を調べることにより、引張り量の指標が得られる。
また引き伸ばしの方向は高輝度領域の慣性支軸方向から求められる。
図28及び図29の構成によれば、ユーザが操作情報入力部材12Yを摘んで前後左右及び上下に移動動作させたとき、その移動を3次元座標値の変化として認識できることにより、液晶ディスプレイ3に表示した画像を加工処理するような応用例に利用できる。
例えば、「写真」を液晶ディスプレイ3に表示した状態で、写真を摘まみ上げることによってその写真のもつ詳細情報を表示したり、さらに高い位置に摘まみ上げることにより当該写真をプリンタで印刷したり、メールで送信したりするといった操作を選択できるようにすることもできる。
写真に位置合せした操作情報入力部材12Yを押し込むことによって、写真に隠されている情報を引き出すような処理をしたり、写真の上で弾性体を引き伸ばすことにより写真を拡大したりするようにもできる。
上述の実施の形態においては、操作情報入力部材12Yとして立方体形状のものを用いた場合について述べたが、その形状はこれに限らず、骨型、星型、人形型、円形型などの種々の形状を選択し得る。
また上述の実施の形態においては、操作情報入力部材12Yとして1種類の素材を用いた場合について述べたが、これに代え、硬さの異なる素材を混ぜ合わせて成形することにより、1つの操作情報入力部材12Yの中て硬さの違う弾性体を構成するようにしても良い。
以上の構成によれば、操作情報入力部材を立体的な位置で入力操作することにより、一段と多様な操作情報を入力することができる操作情報入力システムを実現できる。
Claims (5)
- 直線偏光でなる直線偏光投射光を射出する直線偏光撮像光源と、
上記直線偏光投射光を円偏光に変換して円偏光変換光として射出する変換用1/4波長板と、
透明で光弾性効果をもつ光弾性材料で構成され、上記円偏光変換光を、ユーザによって圧力を付与されて変形した変形部分を透過させたとき複屈折させることにより、上記円偏光変換光を楕円偏光に変換して変形楕円偏光変換光として射出する操作情報入力部材と、
上記変換用1/4波長板から射出される上記円偏光変換光及び当該円偏光変換光が上記操作情報入力部材の非変形部分を透過して上記操作情報入力部材から射出される非変形円偏光変換光を直線偏光に逆変換して順次第1及び第2の直線偏光逆変換光として射出すると共に、上記変形楕円偏光変換光を直線偏光に逆変換せずに楕円偏光逆変換光として射出する逆変換用1/4波長板と、
上記楕円偏光変換光を透過させ、かつ上記第1及び第2の直線偏光逆変換光をしゃ光する偏光フィルタと、
上記偏光フィルタを透過した上記透過光を入射して上記操作情報入力部材に対するユーザの入力操作を表す操作情報表示領域を有する撮像信号を得る撮像装置と
を具える操作情報入力システム。 - 上記撮像装置から得られる撮像信号は、上記操作情報入力部材の上記変形部分を透過することにより得られる上記変形楕円偏光変換光に基づいて高輝度領域を含む画像信号でなり、上記高輝度領域の外接枠の面積の大きさから、上記操作情報入力部材に対してユーザから付与された圧力を求める画像処理手段
を具える請求項1に記載の操作情報入力システム。 - 上記画像処理手段は、上記高輝度領域の外接枠内の高輝度部分の変化を認識することにより、上記操作情報入力部材に対するユーザの入力操作態様を判別する
請求項2に記載の操作情報入力システム。 - 左光学中心及び右光学中心に設けた左光学系及び右光学系を有する立体撮像装置に上記偏光フィルタを透過した上記透過光を入射し、上記操作情報入力部材に対するユーザの変形操作によって当該操作情報入力部材に生じた立体的な変形及び当該変形が生じた高さ位置を表す操作情報表示領域を含む撮像信号を得る
請求項1に記載の操作情報入力システム。 - 直線偏光撮像光源から射出される直線偏光投射光を変換用1/4波長板において円偏光に変換し、
上記変換用1/4波長板から射出される円偏光変換光を、透明で光弾性効果をもつ光弾性材料で構成された操作情報入力部材のうちユーザによって圧力を付与されて変形した変形部分を透過させることにより、当該透過させる際に複屈折させることによって上記円偏光変換光を楕円偏光に変換し、
逆変換用1/4波長板によって、上記操作情報入力部材の上記変形部分から射出される上記変形楕円偏光変換光を逆変換せずに楕円偏光逆変換光として射出すると共に、上記操作情報入力部材の非変形部分から射出される非変形円偏光変換光及び上記変換用1/4波長板から射出される上記円偏光変換光を第1及び第2の直線偏光に逆変換し、
偏光フィルタにおいて、上記逆変換用1/4波長板から射出される光のうち、上記楕円偏光変換光から得られた楕円偏光逆変換光を透過させて撮像装置に入射すると共に、上記非変形部分及び上記変換用1/4波長板から得られた上記第1及び第2の直線偏光逆変換光を上記偏光フィルタによってしゃ光し、
上記撮像装置から、上記操作情報入力部材に対するユーザの入力操作を表す操作情報表示領域を有する撮像信号を得る
操作情報入力方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011515836A JP5435509B2 (ja) | 2009-05-25 | 2009-11-25 | 操作情報入力システム及び方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009125482 | 2009-05-25 | ||
JP2009125482 | 2009-05-25 | ||
PCT/JP2009/070209 WO2010137192A1 (ja) | 2009-05-25 | 2009-11-25 | 操作情報入力システム及び方法 |
JP2011515836A JP5435509B2 (ja) | 2009-05-25 | 2009-11-25 | 操作情報入力システム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010137192A1 true JPWO2010137192A1 (ja) | 2012-11-12 |
JP5435509B2 JP5435509B2 (ja) | 2014-03-05 |
Family
ID=43222327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011515836A Expired - Fee Related JP5435509B2 (ja) | 2009-05-25 | 2009-11-25 | 操作情報入力システム及び方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5435509B2 (ja) |
WO (1) | WO2010137192A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106662923B (zh) * | 2014-07-30 | 2021-02-09 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
DE102017012067A1 (de) | 2017-12-29 | 2019-07-04 | Endress+Hauser Flowtec Ag | Rohr für einen Meßwandler, Meßwandler mit einem solchen Rohr sowie damit gebildetes Meßsystem |
CN210072208U (zh) * | 2019-05-29 | 2020-02-14 | 3M创新有限公司 | 显示装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60109114A (ja) * | 1983-11-16 | 1985-06-14 | 積水化学工業株式会社 | 光弾性タッチパネル |
JP2001147772A (ja) * | 1999-11-19 | 2001-05-29 | Fujitsu Takamisawa Component Ltd | タッチパネル |
US7859519B2 (en) * | 2000-05-01 | 2010-12-28 | Tulbert David J | Human-machine interface |
-
2009
- 2009-11-25 JP JP2011515836A patent/JP5435509B2/ja not_active Expired - Fee Related
- 2009-11-25 WO PCT/JP2009/070209 patent/WO2010137192A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP5435509B2 (ja) | 2014-03-05 |
WO2010137192A1 (ja) | 2010-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9018510B2 (en) | Musical instrument, method and recording medium | |
TWI343031B (en) | Method and device for keyboard instrument learning | |
JP5261786B2 (ja) | 3次元触覚センサ及び3次元触覚センシング方法 | |
US20040021663A1 (en) | Information processing method for designating an arbitrary point within a three-dimensional space | |
US20130012314A1 (en) | Game system, game system control method, and computer program for game system | |
JP6729939B2 (ja) | 行分割光学モジュール、及びそれを利用した電子鍵盤 | |
TW201135558A (en) | Projecting system with touch controllable projecting picture | |
CN103440115A (zh) | 信息输出装置 | |
CN101840288A (zh) | 光-触觉转换系统和用于提供触觉反馈的方法 | |
US9724613B2 (en) | Game device, control method of game device, program, and information storage medium | |
JP5435509B2 (ja) | 操作情報入力システム及び方法 | |
TW201241682A (en) | Multi-functional position sensing device | |
TW201029345A (en) | Remote controller and function-setting and operating method of the same | |
JPH1195895A (ja) | 情報入力装置 | |
TW201043304A (en) | Two-dimensional input device, control device and interactive game system | |
Berthaut et al. | Revgest: Augmenting gestural musical instruments with revealed virtual objects | |
US20220375362A1 (en) | Virtual tutorials for musical instruments with finger tracking in augmented reality | |
JPH1138967A (ja) | 電子楽器 | |
US20130106689A1 (en) | Methods of operating systems having optical input devices | |
JPH04123121A (ja) | 画像入力装置 | |
JP4765705B2 (ja) | 楽音制御装置 | |
JP3938327B2 (ja) | 作曲支援システムおよび作曲支援プログラム | |
JP2006201621A (ja) | 電子鍵盤楽器 | |
Bandara | A music keyboard with gesture controlled effects based on computer vision | |
US20130100015A1 (en) | Optical input devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131022 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5435509 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |