JP5435509B2 - 操作情報入力システム及び方法 - Google Patents

Description

本発明は操作情報入力システム及び方法に関し、特に直線偏光を用いた撮像用光源と撮像装置との間の光路に操作入力手段を介在させた構成のものに適用して好適なものである。

この種の従来の操作情報入力システムとして、直線偏光でなる投射光を発生する光源として液晶ディスプレイ（ＬＣＤ）を用いたテーブル型の直線偏光撮像光源を用意し、当該直線偏光撮像光源からの投射光を、入射光路部分に偏光フィルタを設けた撮像装置（ＣＣＤカメラ）によって撮像する構成のものが、特許文献１において提案されている。

この特許文献１の操作情報入力システムは、直線偏光撮像光源と撮像装置との間の光路に、オペレータが入力したい操作情報を記載した偏光板でなる透明シートを例えば撮像光源上に置くことによって、撮像光源からの投射光の偏光角を変更することによって、透明シートを透過した当該偏光角の投射光部分だけを撮像装置の偏光フィルタを透過できるようにする。

これにより撮像装置は、オペレータが透明シートを直線偏光撮像光源上に置かないときには、直線偏光撮像装置の直線偏光投射光が偏光フィルタによってしゃ光されることにより撮像装置が投射光の読み取りができない状態になる。

これに対して、直線偏光撮像光源上に透明シートを置いたとき、撮像装置は透明シートに記載された入力情報をオペレータの操作入力情報の１つとして読み取ることができると共に、直線偏光撮像光源に対してオペレータが透明シートを置いた位置を表す位置情報をオペレータの他の操作入力情報として読み取ることができる。

特願２００８−３００４７３明細書及び図面(特開２００９−１５７３６０号公報)

このように、直線偏光撮像光源と撮像装置との間に所定の偏光角をもつ透明シートを撮像装置を介して認識することができるこの種の操作情報入力システムにおいて、操作入力情報として、オペレータが指で直線偏光撮像光源上の所定の位置を触る操作をしたり、押す操作をしたり、所定の形状のものを変形する操作をしたり、することなどのオペレータの動作に基づく操作情報を入力するようにできれば、マン−マシンシステムとして一段と利便性を高めることができると考えられる。

本発明は以上の点を考慮してなされたもので、オペレータの動作に基づく操作情報の入力を確実になし得るようにした操作情報入力システム及び方法を提案しようとするものである。

かかる課題を解決するため本発明においては、直線偏光でなる直線偏光投射光１０Ａを射出する直線偏光撮像光源４と、直線偏光投射光１０Ａを円偏光に変換して円偏光変換光１０Ｂとして射出する変換用１／４波長板１１と、透明で光弾性効果をもつ光弾性材料で構成され、円偏光変換光１０Ｂに変換された光を、ユーザによって圧力を付与されて変形した変形部分２２を透過させたとき複屈折させることにより、円偏光変換光１０Ｂを楕円偏光に変換して変形楕円偏光変換光１０Ｆとして射出する操作情報入力部材１２と、変換用１／４波長板１１から射出される円偏光変換光１０Ｂ及び当該円偏光変換光１０Ｂが操作情報入力部材１２の非変形部分２３を透過して操作情報入力部材１２から射出される非変形円偏光変換光１０Ｄを直線偏光に逆変換して順次第１及び第２の直線偏光逆変換光１０Ｃ及び１０Ｅとして射出すると共に、変形楕円偏光変換光１０Ｆを直線偏光に逆変換せずに楕円偏光逆変換光１０Ｇとして射出する逆変換用１／４波長板１３と、楕円偏光逆変換光１０Ｇを透過させ、かつ第１及び第２の直線偏光逆変換光１０Ｃ及び１０Ｅをしゃ光する偏光フィルタ１４と、偏光フィルタ１４を透過した透過光１０Ｈを入射して操作情報入力部材１２に対するユーザの入力操作を表す操作情報表示領域２２Ｘを有する撮像信号Ｓ２を得る撮像装置１５とを設けるようにする。

本発明によれば、操作情報入力部材の変形部分を透過することにより複屈折された変形楕円偏光変換光に対応する撮像信号を得るにつき、これを直線偏光撮像光源から射出される直線偏光投射光を変換用１／４波長板によって一旦円偏光に変換した円偏光変換光を用いるようにしたことにより、逆変換用１／４波長板及び偏光フィルタを透過して得られる変形部分に対応する操作情報表示領域として、ユーザの入力操作を過不足なく表わしたものを得ることができる。

図１は、本発明の第１の実施の形態による操作情報入力システムを示す略線的斜視図である。 図２は、図１の操作情報入力部材１２の設定の仕方の説明に供する部分的斜視図である。 図３は、操作情報入力部材を示す斜視図である。 図４は、直線偏光撮像光源からの投射光の透過状態の説明に供する略線図である。 図５は、撮像装置から出力される撮像信号の説明に供する略線図である。 図６は、第１の画像処理部の詳細構成を示すブロック図である。 図７は、画像処理部の画像処理手順を示すフローチャートである。 図８は、取り込まれる撮像データの説明に供する略線図である。 図９は、付与される圧力の大きさに応じて高輝度領域の大きさが変化することの説明に供する略線図である。 図１０は、付与された圧力と高輝度領域の大きさとの関係についての実験結果を示す特性曲線図である。 図１１は、付与される圧力が前後方向に揺動した場合の説明に供する略線図である。 図１２は、付与される圧力が左右に揺動した場合の説明に供する略線図である。 図１３は、図７のサブルーチンにおけるアプリケーションプログラム（色付け）実行処理手順を示すフローチャートである。 図１４は、比較例である操作情報入力システムを示す略線的斜視図である。 図１５は、比較例における投射光透過状態の説明に供する略線図である。 図１６は、比較例における撮像装置の出力の説明に供する略線図である。 図１７は、第２の実施の形態の文字入力キーボードを示す平面図である。 図１８は、基準文字表示欄５１の周囲に関連文字表示欄５３を表示させた文字入力キーボード表示５０を示す平面図である。 図１９は、圧力方向の確認の仕方の説明に供する略線図である。 図２０は、アプリケーションプログラム（キーボード表示）実行処理手順を示すフローチャートである。 図２１は、第３の実施の形態の電子楽器演奏パネルを示す平面図である。 図２２は、電子楽器演奏パネルを用いた操作情報入力システムを示す略線図である。 図２３は、アプリケーションプログラム（電子楽器演奏パネル）実行処理手順を示すフローチャートである。 図２４は、図２３のＧｕｍｍｉｐａｄプログラム実行処理手順を示すフローチャートである。 図２５は、図２３のＫｅｙｂｏａｒｄプログラム実行処理手順を示すフローチャートである。 図２６は、図２３のＬｏｏｐＴｒａｃｋプログラム実行処理手順を示すフローチャートである。 図２７は、図２３のＢｕｔｔｏｎプログラム実行処理手順を示すフローチャートである。 図２８は、第４の実施の形態の操作情報入力システムを示す略線的斜視図である。 図２９は、立体撮像装置の詳細構成を示す略線図である。

以下図面について、本発明の一実施の形態を詳述する。

（１）第１の実施の形態
図１において、１は全体として操作情報入力システムを示し、枠台２内に液晶ディスプレイ３を設けてなる直線偏光撮像光源４に対して、画像処理部５から送出される画像信号Ｓ１が供給されることにより、直線偏光でなる投射光１０を発生する。

この直線偏光撮像光源４から投射された直線偏光でなる投射光１０（これを、図４に示すように、直線偏光投射光とも呼ぶ）は、順次、１／４波長板１１、操作情報入力部材１２、１／４波長板１３及び偏光フィルタ１４を透過して撮像装置１５（ＣＣＤで構成されている）に入射できるようになされている。

かくして撮像装置１５は受光した透過光の画像内容を表す撮像信号Ｓ２を発生して画像処理部５に供給する。

この実施の形態の場合、図２に示すように、液晶ディスプレイ３の表面に積層するように１／４波長板１１が設けられていると共に、さらに１／４波長板１１上に操作情報入力部材１２が置かれている。

１／４波長板１１は、液晶ディスプレイ３から発生される投射光１０が直線偏光であるのに対して、その振動面を互いに垂直な２つの成分（すなわち進相軸成分及び遅相軸成分）に分け、進相軸成分に対して遅相軸成分を１／４波長遅らせる複屈折材料で構成されており、枠台２に設けられている液晶ディスプレイ３の表面に貼り付けられている。

かくして液晶ディスプレイ３から投射される直線偏光投射光１０は、１／４波長板１１によって円偏光に変換されて１／４波長板１１の全表面から撮像装置１５の方向に射出される（この直線偏光から円偏光変換する１／４波長板１１を、図４に示すように、変換用１／４波長板とも呼び、当該射出光を円偏光変換光とも呼ぶ）。

１／４波長板１１上には、操作情報入力部材１２が、ユーザによって指定された位置に置かれている。

操作情報入力部材１２は、透明の光弾性効果を有する弾性体によって構成され、図３に示すように、ユーザが入力したいと考えている操作情報の内容に応じて任意の厚み及び任意の形状に成形されている。

操作情報入力部材１２は、図２に示すように、ユーザの指２１が表面から押付操作をしたとき、その押付力によって変形すると共に、当該変形部分２２に入射した円偏光に複屈折を生じさせることにより、楕円偏光を射出する（この変形部分２２の出射光を、図４に示すように、変形楕円偏光変換光とも呼ぶ）。

このように操作情報入力部材１２は、入射した円偏光のうち、当該変形部分２２を透過する光の偏光特性を変化させる（これを一般に光弾性効果と呼ぶ）。

操作情報入力部材１２は、入射した円偏光のうち、変形部分２２以外の非変形部分２３に入射した円偏光には偏光特性の変化を与えないで透過させるので、操作情報入力部材１２に入射した円偏光はその偏光特性に変化を受けることなく１／４波長板１３の方向に射出して行くことになる（この射出光を、図４に示すように、非変形円偏光変換光とも呼ぶ）。

１／４波長板１３は、図４に示すように、基本的に入射する光のうち、変換用１／４波長板１１によって円偏光に変換された円偏光変換光１０Bを直線偏光に逆変換することにより、液晶ディスプレイ３から発生した投射光１０の偏光特性と同じ偏光特性をもたせることにより、これと直交する偏光特性を有する偏光フィルタ１４を透過できなくする。

これに対して、図４に示すように、操作情報入力部材１２から射出させる光のうち、ユーザの指２１によって変形された変形部分２２から射出する変形楕円偏光変換光１０Fは、その偏光特性が円偏光から楕円偏光に変更されていることによって、逆変換用１／４波長板１３を透過する際に、円偏光に戻ることができない楕円偏光逆変換光１０Ｇとなるので、偏光フィルタ１４を透過して透過光１０Ｈとして、撮像装置１５に入射する。

かくして撮像装置１５から得られる撮像信号Ｓ２は、図４に示す偏光フィルタ１４を透過できた透過光１０Ｈだけになる。

すなわち、直線偏光撮像光源４から出射した直線偏光投射光１０Ａが変換用１／４波長板１１によって円偏光変換光１０Ｂに変換された後、当該円偏光変換光１０Ｂのうち、操作情報入力部材１２を通らない光は逆変換用１／４波長板１３によって直線偏光に逆変換され、当該直線偏光逆変換光１０Ｃは偏光フィルタ１４に入射したとき偏光フィルタ１４を透過できずにしゃ光される。

また、円偏光変換光１０Ｂのうち、操作情報入力部材１２の非変形部分２３を透過した非変形円偏光変換光１０Ｄは、操作情報入力部材１２によって偏光特性が変更されないことにより、円偏光のまま逆変換用１／４波長板１３に入射して直線偏光に逆変換され、当該直線偏光逆変換光１０Ｅとして偏光フィルタ１４に入射し、この偏光フィルタ１４を透過できずにしゃ光される。

さらに、変換用１／４波長板１１によって円偏光に変換された円偏光変換光１０Ｂのうち、ユーザの指２１によって変形された操作情報入力部材１２の変形部分２２を透過した光は、当該変形部分２２の複屈折により楕円偏光に変換されて当該変形楕円偏光変換光１０Ｆとして逆変換用１／４波長板１３に入射する。

このとき逆変換用１／４波長板１３はこの変形楕円偏光変換光１０Ｆを直線偏光には逆変換できずに楕円偏光逆変換光１０Ｇとして偏光フィルタ１４に入射させるが、偏光フィルタ１４は当該楕円偏光逆変換光１０Ｇをしゃ光できないで透過光１０Ｈとして撮像装置１５に入射させる。

撮像装置１５から得られる撮像信号Ｓ２は、図５に示すように、ユーザの指の映像２１Ｘと、ユーザの指によって変形された操作情報入力部材１２の変形部分２２を透過した明るい高輝度領域となる変形部分の映像２２Ｘとを、ユーザが目視できる映像として含んでいる。

この実施の形態の場合、ユーザの指の映像２１Ｘは外光が指に反射して得たものであるので暗い領域を形成し、また操作情報入力部材１２の変形部分のうちユーザの指を押し付けられた部分は撮像装置１５側から見えない黒い背景部分の映像２３Ｘとなるので、結局変形部分の映像２２Ｘとしては、ユーザの指から付与された力によって変形が生じた部分のうち、ユーザの指の映像２１Ｘの周囲に隣接する高輝度領域として撮像される。

この目視できる映像の周囲は、操作情報入力部材１２のうち変形を受けなかった部分を透過した光に基づく直線偏光逆変換光１０Ｅと、操作情報入力部材１２を透過しなかった直線偏光逆変換光１０Ｃとに対応して、偏光フィルタ１４によってしゃ光された背景部分の映像２３Ｘになる。

このようにして、撮像信号Ｓ２において高輝度領域でなる明るい変形部分の映像２２Ｘの大きさ及び形状は、ユーザの指２１が操作情報入力部材１２に付与した変形力の位置、強さ及び方向などの入力操作態様の情報を表す操作情報表示部分を含んでおり、画像処理部５は図６に示す中央処理ユニット（ＣＰＵ）３１が図７の画像処理手順ＲＴ０を実行することにより撮像信号Ｓ２に含まれる操作情報を取り込む。

画像処理部５のＣＰＵ３１は、バス３２を介して、ＲＯＭ構成のプログラムメモリ３３のプログラムを、ＲＡＭ構成の動作メモリ３４を用いて実行することにより、入力インターフェース３５を介して撮像装置１５から取り込んだ撮像信号Ｓ２についての画像処理を実行し、当該画像処理結果を動作メモリ３４又はハードディスク記憶装置３６に蓄積する。

ＣＰＵ３１は、操作入力部４１によってユーザが画像処理命令を入力したとき、画像処理手順ＲＴ０に入って、ステップＳＰ１において撮像信号Ｓ２に基づいて、直線偏光撮像光源４の平面座標（ｘ、ｙ）と、撮像装置１５の平面座標（ｘ、ｙ）との対応関係を決める調整処理をした後、例えばシャッタ速度５〔ｍｓｅｃ〕で画像を撮影し、続いてステップＳＰ２において撮影画像データを動作メモリ３４に取り込む。

ＣＰＵ３１は、図８（Ａ）に示すように、まず、操作情報入力部材１２に圧力を加えていない撮像画像を、画像処理手順ＲＴ０の処理を開始する前に、背景画像Ｐ１として動作メモリ３４に予め取り込んでおき、操作情報入力部材１２に圧力を付与した撮影画像を図８（Ｂ）に示すような圧力付与画像Ｐ２として取り込んだとき、圧力付与画像Ｐ２と背景画像Ｐ１との間の差分を求めて当該差分が所定の閾値を越えたとき、図８（Ｃ）に示すような２値化処理画像Ｐ３を得て、これを撮影画像データとして画像データメモリ４２に格納する。

この実施の形態の場合、背景画像Ｐ１と、変形があった領域との間には約１００個以上の輝度差があるので、当該輝度レベルで表わされる２値化処理画像Ｐ３を得る。

続いて、ＣＰＵ３１は、次のステップＳＰ３において高輝度領域の抽出ができたか否かの確認をし、肯定結果が得られたとき、次のステップＳＰ４に移って当該高輝度領域Ｘの位置（重心）、面積及び輝度を算出する。

高輝度領域の抽出は、圧力付与画像Ｐ２（図８（Ｂ））を表示部４３上に表示して明るい画像部分の外接枠Ｗ１を設定し、当該外接枠Ｗ１内の領域を高輝度領域Ｘとして２値化処理画像Ｐ３を得る。

ステップＳＰ４においてＣＰＵ３１は、当該抽出された高輝度領域外接枠Ｗ１に基づいて、その位置（重心）と、面積と、輝度と、を算出する。

ＣＰＵ３１は、このようにして算出した高輝度領域Ｘの位置（重心）、面積及び輝度を次のステップＳＰ５において高輝度領域情報として高輝度領域情報メモリ４４に時系列的に保存する。

この実施の形態の場合、高輝度領域情報の保存は、例えば輝度別に、輝度１００〜１４９、１５０〜１９９、２００以上の３群に分けて保存されており、かくして輝度群が違えば、操作情報入力部材１２に付与された圧力の大きさに違いがあると認識できる。

続いてＣＰＵ３１はステップＳＰ６において高輝度領域情報メモリ４４の時系列情報に基づいて、付与された圧力の方向及び圧力の変位を算出する。

この実施の形態の場合、算出すべき時系列情報として、高輝度領域の面積の変化量、重心位置の変化量、高輝度位置の変化量を検出するようになされている。

かくして、ＣＰＵ３１は、面積の変化量によって、ユーザが操作情報入力部材１２に対して付与した圧力が変化したことを、ユーザの操作態様を表す１つの情報として認識することができる。

例えば図９に示すように、ＣＰＵ３１は、高輝度領域Ｘ１１が小さい情報（図９（Ａ））から、高輝度領域Ｘ１２のように中程度にまで大きくなった状態（図９（Ｂ））を経て、高輝度領域Ｘ１３のように大きくなった（図９（Ｃ））と判断したとき、ユーザが操作情報入力部材１２に対して与える圧力を次第に大きくして行った操作態様をユーザの操作情報として認識することができる。

７名のユーザについての実験によれば、操作情報入力部材１２に対する圧力の大きさを横軸にとりかつ各圧力に対する高輝度領域の面積をとって図１０に示すように、高輝度領域の面積は圧力とほぼ比例することを確認できた。

また、重心位置の変化量は、ユーザが直線偏光撮像光源４に対して操作情報入力部材１２上を前後左右に移動させた操作動作をしたことを認識させることができる。

さらに、高輝度位置の変化量は、ユーザが高輝度領域に当てた指を、位置を移動させずに前後左右に揺動させたような操作動作をすることにより圧力方向を前後左右に変更したことをＣＰＵ３１が認識することができる。

例えば図１１（Ａ）及び（Ｂ）に示すように、高輝度領域Ｘ２１の高輝度部分が指より前方に大きく広がっている状態（図１１（Ａ））から、高輝度領域Ｘ２２に示すように指より後方に移ったように（図１１（Ｂ））変化していれば、ＣＰＵ３１は、ユーザが指を前後に揺動させたような操作動作をすることにより圧力方向を前後方向に変更したと認識することができる。

また図１２（Ａ）及び（Ｂ）に示すように、高輝度領域Ｘ３１の高輝度部分が指より右側にある状態（図１２（Ａ））から、高輝度領域Ｘ３２に示すように高輝度部分が指より左側に移動した状態（図１２（Ｂ））に変化をしていれば、ＣＰＵ３１は、ユーザが指を左右に揺動させるような操作動作をしたと認識することができる。

この実施の形態の場合、ＣＰＵ３１は、上述のステップＳＰ１〜ＳＰ６においてユーザからの入力情報を得ることができるので、さらにアプリケーションプログラムの一例として、アプリケーションプログラム実行サブルーチンＲＴ１（図７）において、既に入力した高輝度領域に色付けをするような処理を実行することができる。

アプリケーションプログラム実行サブルーチンＲＴ１に入ると、ＣＰＵ３１は、図１３のアプリケーションプログラム実行処理手順ＲＴ１に従って、ステップＳＰ１１において重心位置（ｘ、ｙ）がカラー領域（ｘ１−ｎ、ｙ１−ｎ）上にあるか否かの判断をし、肯定結果が得られたときステップＳＰ１２においてカラー設定メモリ４５（図６）に当該重心位置（ｘ、ｙ）を保存する。詳述すると、カラー領域（ｘ１−ｎ、ｙ１−ｎ）は、複数の色の領域として設定されており、例えば一の領域（ｘ２、ｙ２：青）上に重心位置（ｘ、ｙ）があるとき、後述のカラー情報として青が設定される。

その結果ステップＳＰ１１において否定結果が得られると、ＣＰＵ３１は、ステップＳＰ１３に移ってカラー設定メモリ４５及びハードディスク記憶装置３６から設定情報、すなわちカラーの情報及び重心、面積及び圧力の情報を読み出した後、次のステップＳＰ１４において重心（ｘ、ｙ）にカラー、面積及び圧力情報に基づいて色付けをした後、出力インターフェース４９を介して画像信号Ｓ１を送出する。

この結果、ＣＰＵ３１は、操作情報入力部材１２によって入力した高輝度領域に色付けをした画像が液晶ディスプレイ３上に表示する。

かくしてＣＰＵ３１は、ステップＳＰ１５において当該アプリケーションプログラム実行サブルーチンＲＴ１を終了してメインルーチンである画像処理手順ＲＴ０に戻る。

このときＣＰＵ３１は、アプリケーションプログラム処理ＲＴ１に続くステップＳＰ２１において当該画像処理手順ＲＴ０の処理を終了するか否かの判断をし、ユーザが操作入力部４１によって終了命令を出していないときには上述のステップＳＰ１に戻って再度ステップＳＰ１〜ＳＰ６及びサブルーチンＲＴ１の処理を繰り返す。

これに対してステップＳＰ２１において肯定結果が得られたとき、ＣＰＵ３１はステップＳＰ２２において当該画像処理手順ＲＴ０を終了する。

以上の構成において、直線偏光撮像光源４と撮像装置１５との間に操作情報入力部材１２を設け、当該操作情報入力部材１２として光弾性効果を生じさせる透明な部材を用いるようにしたことにより、操作情報入力部材１２に対してユーザが圧力を付与して変形させるような操作入力動作をすれば、その操作動作に対応して変化するような高輝度領域を有する変形部分の映像２２Ｘを撮像装置１５において得られる撮像信号Ｓ２に生じさせることができる。

この高輝度領域の輝度、面積及び重心位置は、ユーザの入力操作が変わればこれに応じて変わるので、結局撮像装置１５から得られる撮像信号Ｓ２として、ユーザの情報入力操作を過不足なく表した撮像信号Ｓ２を生成することができる。

従って、ユーザインタフェースの機能として一段として多機能な従って利便性の大きい操作情報入力システムを実現できる。

（２）比較例
図１の実施の形態に対する比較例として、図１４に、図１との対応部分に同一符号を付して示すように、図１の実施の形態において設けられていた１／４波長板１１及び１３を省略した操作情報入力システム１Ｘが考えられる。

この比較例の操作情報入力システム１Ｘにおいては、図１５に示すように、直線偏光撮像光源４から投射される直線偏光投射光１０Ａのうち、操作情報入力部材１２を透過しない光の部分及び操作情報入力部材１２の非変形部分を透過する光の部分は、その偏光特性が変更されることなく偏光フィルタ１４に入射して当該偏光フィルタ１４においてしゃ光される。

これに対して、直線偏光投射光１０Ａのうち、操作情報入力部材１２の変形部分を透過した光は、その複屈折の作用により、原則として変形楕円偏光光１０Ｊに変換されて偏光フィルタ１４に入射することにより透過光１０Ｋとして撮像装置１５に入射する。

ところが操作情報入力部材１２の変形部分の複屈折の際に、進相軸又は遅相軸のどちらかに平行な振動面をもつ直線偏光が入射したとき、当該直線偏光投射光１０Ａは楕円偏光にならない場合がある。

因に、操作情報入力部材１２はユーザの操作によって種々の方向に向けられるので、直線偏光投射光１０Ａの直線偏光が複屈折の進相軸又は遅相軸に平行な振動面をもつ状態になる場合がある。

このとき、直線偏光投射光１０Ａのうち楕円偏光にならない直線偏光は、操作情報入力部材１２の変形部分をそのまま透過して偏光フィルタ１４に入射して偏光フィルタ１４においてしゃ光される。

当該撮像装置１５の撮像信号Ｓ２は、図１６に示すように、ユーザの指の映像２１Ｙによって付与される圧力の方向によっては映らない縞状の領域２２Ｚが生じる結果になる。

このことは、ユーザの指の映像２１Ｙの入力操作を表す撮像信号Ｓ２が得られないことになるので問題である。

このようにして図１４の比較例において生じる問題は、図１について上述した実施の形態においては、一対の１／４波長板１１及び１３を操作情報入力部材１２を挟み込むように設けたことにより、操作情報入力部材１２の変形部分を透過する光が円偏光になるので、操作情報入力部材１２の変形により生じた複屈折を確実に表した透過光１０Ｈ（図４）を得ることができるので、解決できる。

（３）他の実施の形態
（３−１）上述の第１の実施の形態においては、操作情報入力部材１２を液晶ディスプレイ３上に直接置くようにした場合について述べたが（図２）、操作情報入力部材１２を液晶ディスプレイ３上に直接に置かずに浮かして操作するようにしても良く、要はユーザが一対の１／４波長板１１及び１３間の空間において操作情報入力部材１２に対して変形操作をすれば良い。

（３−２）上述の実施の形態においては、液晶ディスプレイ３を水平方向に設置された枠台２内に設けるようにした場合について述べたが、液晶ディスプレイ３としては、水平方向に設けずに、ディスプレイ表面を斜めに傾斜させたり、垂直方向に立設させたりするようにしても良い。

（３−３）上述の実施の形態においては、液晶ディスプレイ３から投射光を得るようにしたが、これに限らず投射光として直線偏光を生じる面光源から投射された投射光を生ずるような直線偏光撮像光源を用いるようにすれば良い。

（３−４）上述の実施の形態においては、図７の画像処理手順ＲＴ０において、アプリケーションプログラム実行サブルーチンＲＴ１の処理として、図１３に示すように、ステップＳＰ１〜ＳＰ６において取得した操作入力情報を利用して色を付ける処理をするようにしたが、当該アプリケーションプログラム処理ルーチンＲＴ１の処理として、圧力の検出に対応したタッチパネルを実現するような処理を実行するようにしても良い。

この場合、画像処理手順ＲＴ０（図７）のステップＳＰ１〜ＳＰ６において、ユーザが操作情報入力部材１２を介して液晶ディスプレイ３の画面に触った位置を操作入力情報として得ることができる。

この操作入力情報としては、複数点を触った場合には、これら複数点の操作入力情報を同時に入力することができる。

また各点において触った際の圧力を高輝度領域の大きさとして入力することができる。

（３−５）また、図７の画像処理手順ＲＴ０におけるアプリケーションプログラム実行サブルーチンＲＴ１において、３Ｄ立体モデルをさまざまな方向に回転させるような処理をすることにより、３Ｄモデル閲覧アプリケーションを実行するようにしても良い。

この場合ユーザは指を画面に接触させたままで、指にかける圧力の方向をコントロールすることで、図１１及び図１２について上述したように、前後方向や左右方向への操作入力態様を操作入力情報として入力することができることにより、ユーザの当該操作態様に応じて３Ｄモデルを回転させるようにすれば良い。

（４）第２の実施の形態
図１７〜図２０は第２の実施の形態を示すもので、この場合ＣＰＵ３１は、図７のアプリケーション実行処理プログラムＲＴ１として、図１３に代えて、図２０のアプリケーションプログラム（キーボード表示）実行処理手順ＲＴ１Ｂを実行することにより、一段と小型化した文字入力キーボードを実現できるようにする。

この実施の形態の場合、画像処理部５は、画像信号Ｓ１として、図１７に示す文字入力キーボード表示５０を液晶ディスプレイ３（図１）に表示し、この文字入力キーボード表示５０によって平仮名文字、又は英文字、又は数字についての文字入力を、ユーザが液晶ディスプレイ３を用いて入力できるようになされている。

文字入力キーボード表示５０は液晶ディスプレイ３の中央位置に、表示された円形の表示枠５０Ａの中央部分に、コンパクトにまとめられた複数の基準文字表示欄５１を配列した構成を有する。

この実施の形態の場合、原理的に「あいうえお」順に配列表示した平仮名文字を、基準文字表示欄５１に全文字のうちの一部の代表文字をユーザに提示することにより、ユーザは全ての平仮名文字を文字入力キーボード表示５０を用いて入力できる。

すなわち、文字入力キーボード表示５０は、五十音索引を構成する五文字の配列「あいうえお」、「かきくけこ」……「わいうえを」のうち、先頭文字「あ」、「か」……「わ」を五文字を代表する基準文字として表示する１０個の基準文字表示欄５１を格子状に配列した構成を有する。

各基準文字表示欄５１の位置は、撮像装置１５の撮像信号Ｓ２が撮像画面の左上の点を原点とした直交座標系によって表わされる。

画像処理部５が画像信号Ｓ２として文字入力キーボード表示５０を液晶ディスプレイ３に表示した状態において、ユーザが基準文字表示欄５１の１つを押圧操作することにより指定すると、画像処理部５のＣＰＵ３１は図７の画像処理手順ＲＴ０におけるアプリケーションプログラム実行サブルーチンＲＴ１として、図２０のアプリケーションプログラム（キーボード表示）実行処理手順ＲＴ１Ｂを実行し、先ずステップＳＰ２１において重心位置（ｘ、ｙ）が文字種変更キー上にあるか否かの判断をし、肯定結果が得られたときステップＳＰ２２において当該指定された文字種に変更する処理をしてステップＳＰ２１に戻る。

この実施の形態の場合、文字種変更キーとして、「電卓」欄５２Ａ及び「ＡＢＣ１２３」欄５２Ｂが設けられており、これらの文字種変更キーの上に高輝度領域の重心位置があるとき、ＣＰＵ３１は基準文字表示欄５１に表示する文字種を変更する。

ステップＳＰ２１において否定結果が得られたとき、ＣＰＵ３１はステップＳＰ２３に移って輝度領域の重心位置が基準文字表示欄５１の文字キーのいずれか１つの上にあるか否かの判断をする。

ここで肯定結果が得られると、このことはユーザが当該文字キーの文字の入力を指定したことを意味し、このときＣＰＵ３１はステップＳＰ２４に移って、図１８に示すように、指定された文字キーの基準文字表示欄５１の上下左右位置に関連文字表示欄５３を表示する。

図１８の場合、ユーザが平仮名文字「あ」の基準文字表示欄５１を指定した場合を示し、ＣＰＵ３１は当該指定された基準文字表示欄５１の前後左右位置に、隣り合うように４つの関連文字表示欄５３を、文字入力キーボード表示５０に書き加える。

この実施の形態の場合、文字「あ」は５０音索引の「あ」行の先頭文字であるところから、当該「あ」行に属する他の文字「い」、「う」、「え」、「お」を表示する。

かくしてＣＰＵ３１は、ユーザが指定した基準文字表示欄５１の文字に関連する他の４つの文字を表する関連文字表示欄５３を設けることにより、ユーザが基準文字表示欄５１に表示されている１つの文字に加えて関連文字表示欄５３に表示されている４つの文字をも選択指定できるようにする。

ＣＰＵ３１は次のステップＳＰ２５において輝度領域の重心位置が上下左右に変化したか否かの判断をする。

否定結果が得られると、このことはユーザが基準文字表示欄５１の文字「あ」を指定した状態で操作情報入力部材１２に対して圧力方向の変化をしない状態にあることを意味し、このときＣＰＵ３１は、ユーザが基準文字表示欄５１に表示されている文字「あ」を指定したものと判断して、ステップＳＰ２６に移って当該指定された文字キーから指定入力を取り込む。

これに対してステップＳＰ２５において肯定結果が得られたとき、このことはユーザが操作情報入力部材１２に付与した圧力の方向を上下左右のいずれかに変化させた（揺動させた）ことを意味し、このときＣＰＵ３１はユーザが４つの関連文字表示欄５３のうちの１つを指定したものと判断して、当該関連文字表示欄５３の文字キーの指定入力を取り込む。

かくしてユーザの１回の指定入力操作についての指定入力処理が終了したので、ＣＰＵ３１は次のステップＳＰ２８において終了キーが押されたか否かを判断し、否定結果が得られたとき上述のステップＳＰ２１に戻って次の指定文字についての処理を繰り返す。

これに対してステップＳＰ２８において肯定結果が得られたとき、ＣＰＵ３１は、当該アプリケーションプログラム（キーボード表示）実行処理手順を終了したものとして、ステップＳＰ２９においてメインルーチンＲＴ１０（図７）にリターンする。

このユーザによる操作情報入力部材１２に対する圧力付与方向についてのＣＰＵ３１の確認処理は、図１９に示すように、高輝度領域の重心位置を基準点Ｐ１として、当該基準点Ｐ１を通る互いに直交する２本の確認境界線Ｌ１及びＬ２を設定し、ユーザの圧力方向によって生じる高輝度領域の重心の移動点Ｐ２が確認境界線Ｌ１及びＬ２の上側にあるか又は下側にあるかを判断することにより、基準点Ｐ１からの移動点Ｐ２の移動領域が上方圧力確認領域Ｍ１にあるか、又は右方圧力確認領域Ｍ２にあるか、又は下方圧力確認領域Ｍ３にあるか、又は左方圧力確認領域Ｍ４にあるかを判断する。

このとき基準点Ｐ１からの移動処理が閾値ｔを越えたものを圧力方向の変化として把握し、閾値ｔを越えないものは高輝度領域の重心が基準点Ｐ１にあるものとして判断する。

以上の構成において、ユーザが操作情報入力部材１２を変形させることにより生ずる高輝度領域の重心の移動の有無に基づいて、ユーザの入力操作が上下左右のいずれかに生じたことをユーザの指の移動（シフトする移動）がない状態のまま認識することができる。

これにより入力操作面が例え小さくなったとしても、指定した入力文字に隣接する入力文字に対する操作を確実に行うことができる。

かくするにつき図１８について上述したように、基準文字表示欄５１が指定されたとき、これと隣り合うように４つの関連文字表示欄５３を設定するようにすれば、さらにコンパクトにまとまった入力キーについての入力操作を行うことができる。なお、該第２の実施の形態においては、予め定められた位置に文字入力キーボード表示５０を表示するようにしたが、これに限ることなく、図１４に示す操作情報入力部材１２の位置と角度を検出し、その検出した位置と角度に合せて、文字入力キーボード表示５０を表示するようにすることもできる。

例えば、特許文献（特開２００９−１５７３６０）に記載のように、透明な識別子を操作情報入力部材１２に設けることで、操作情報入力部材１２の位置と角度を検出でき、液晶ディスプレイ３上の自由な位置で文字入力キーボード表示５０を表示することができるようになる。

（５）第３の実施の形態
図２１〜図２７は第３の実施の形態を示すもので、ＣＰＵ３１は、図７のアプリケーションプログラム実行処理手順ＲＴ１として、図２３に示すアプリケーションプログラム（電子楽器演奏パネル）実行処理手順ＲＴ１Ｃを実行する。

この場合の操作情報入力システム１は、図１及び図４との対応部分に同一符号を付して図２２に示すように、液晶ディスプレイ３上に変換用１／４波長板１１及び操作情報入力部材１２を積層した構成の電子楽器演奏パネル６１を有し、当該電子楽器演奏パネル６１から射出される投射光ＬＴを、電子楽器演奏パネル６１と撮像装置１５との間の空間に、ユーザの操作によって移動ないし変形される補助操作情報入力部材１２Ｘを介在させる。

この補助操作情報入力部材１２Ｘは操作情報入力部材１２と同様に、透明の光弾性効果を有する弾性体によって構成されると共に、図２１に示すように、ユーザが指で摘んで保持できるように円形形状をもっている。

かくして補助操作情報入力部材１２Ｘは、電子楽器演奏パネル６１から操作情報入力部材１２を透過して射出された投射光ＬＴを、通過させて１／４波長板１３及び偏光フィルタ１４を通して撮像装置１５に入射させる際に、補助操作情報入力部材１２Ｘがユーザの把握力に応じて変形することにより、その変形度に応じた強さの輝度をもつ投射光ＬＴを撮像装置１５に入射させる。

その結果、ユーザが操作情報入力部材１２及び又は補助操作情報入力部材１２Ｘを変形させたとき、この操作情報入力部材１２及び補助操作情報入力部材１２Ｘを透過した投射光ＬＴが楕円偏光になることにより、１／４波長板１３及び偏光フィルタ１４を透過して撮像装置１５に入射され、その結果画像処理部５から与えられる画像信号Ｓ１によって液晶ディスプレイ３に映出された電子楽器演奏パネル６１を、撮像装置１５に撮像させる。

これに対して、操作情報入力部材１２及び補助操作情報入力部材１２Ｘに対してユーザが変形を与えないときには、電子楽器演奏パネル６１から出射された投射光ＬＴは円偏光のまま１／４波長板１３及び偏光フィルタ１４に入射されることにより、撮像装置１５には入射できなくなる。

電子楽器演奏パネル６１は、図２１に示すように、右上部分にループトラック領域６２を形成すると共に、右下部分にキーボード領域６３を形成する。

これに加えて電子楽器演奏パネル６１は、左上部分にガンミパッド領域６４を形成すると共に、左下部分にボタン領域６５を形成する。

ループトラック領域６２は、電子楽器音のリズムを打ち込む機能をもつ部分で、予めプログラムされたメロディを表す円形表示子を左側から右側に一連のトラックとして表示するようになされている。

この実施の形態の場合、ループトラック領域６２は上から下に向かってバスドラム、スネア、クローズドハイハット、オープンハイハット及びベースの５種類の音色トラックが形成されている。

ユーザは当該ループトラック領域６２に表示されている５種類の音色トラックについて、電子楽器演奏パネル６１の操作情報入力部材１２上に、液晶ディスプレイ３によって表示された円形表示子を所望に応じて押すことにより、リズムを打ち込む。

当該５種類の音色トラックについてのユーザの操作入力情報は、撮像装置１５によって電子楽器演奏パネル６１の座標位置情報と共に画像処理部５に取り込まれる。

キーボード領域６３は、鍵盤表示子を有し、ユーザが白鍵又は黒鍵表示子上の操作情報入力部材１２を押すことにより、指定した鍵盤情報を撮像装置１５を介して画像処理部５に取り込む。

かくしてユーザは鍵盤表示子を順次指定することによりメロディを入力することができ、当該入力されたメロディはループトラック領域６２に表示されたベーストラック領域のデータとして取り込まれる。

このようにしてユーザがメロディを入力する際に、キーボード領域６３の操作情報入力部材１２に対する押付圧力を変更すると、当該押付圧力の変更情報は、メロディを構成する各音の音量情報として画像処理部５に取り込まれる。

ガンミパッド領域６４は、音のピッチを表すＸ軸と、音のゲインを表すＹ軸とを有する格子状の表示線を電子楽器演奏パネル６１として表示し、その交点位置を変形操作した操作情報入力部材１２又は補助操作情報入力部材１２Ｘを用いて指定することにより、Ｘ軸によって決まるピッチによる音色と、Ｙ軸によって決まる音量とを指定すると共に、当該交点位置における操作情報入力部材１２又は補助操作情報入力部材１２Ｘの変形領域の面積の大きさによってテンポを指定する。

かくしてユーザは、電子楽器演奏パネル６１をユーザが押圧したり又はユーザが補助操作情報入力部材１２Ｘを交点位置に位置合せ操作したりすることによって、楽音についての３つのパラメータ、すなわちピッチ、ゲイン及びテンポをユーザの片手の操作で一度に入力することができる。

電子楽器演奏パネル６１のボタン領域６５は、発生する楽音の音階や音色を全体として切り換える、いわゆるボタン機能を入力できるもので、３種類の色を有する円形表示子を有し、ユーザはその１つを操作情報入力部材１２又は補助操作情報入力部材１２Ｘによって入力操作することができる。

かくしてユーザは、ループトラック領域６２のベーストラック領域に格納されたメロディ情報について、その音階や音色をボタン領域６５の円形表示子の色を選定することにより切り換えながら、図示しないスピーカー等から出力し演奏することができる。

画像処理部５のＣＰＵ３１（図６）は、画像処理手順（図７）のアプリケーションプログラム実行ルーチンＲＴ１として図２３に示すアプリケーションプログラム（電子楽器演奏パネル）実行処理手順ＲＴ１Ｃを実行する。

ＣＰＵ３１は、先ずステップＳＰ３１において、高輝度領域の重心位置（ｘ、ｙ）がガンミパッド領域６４上にあるか否かの判断をする。

ここで肯定結果が得られると、このことはユーザがガンミパッド領域６４についてベーストラックの音色、音量及びテンポを指定しようとしていることを意味し、このときＣＰＵ３１は、ステップＳＰ３２に移って図２４に示すＧｕｍｍｉｐａｄプログラムの実行処理手順に入る。

このとき、ＣＰＵ３１はステップＳＰ４１において高輝度領域の重心位置（ｘ、ｙ）が電子楽器演奏パネル６１のガンミパッド領域６４上にあることを確認した後、ステップＳＰ４２に移ってユーザが指定したガンミパッド領域６４の指定位置（ｘ、ｙ）に対応するピッチ、音量及びテンポをもつ効果音を設定してステップＳＰ４３においてＧｕｍｍｉｐａｄプログラム実行処理手順ＳＰ３２を終了して上述のステップＳＰ３１に戻る。

これに対してステップＳＰ４１において否定結果が得られると、このことはユーザがガンミパッド領域６４によるパラメータの指定をしていることを確認できないことを意味し、このときＣＰＵ３１はステップＳＰ４２をジャンプして当該処理を終了する。

かくして図２４のＧｕｍｍｉｐａｄプログラム実行処理手順ＳＰ３２によれば、ユーザがガンミパッド領域６４に対する簡易な指定操作をするだけで、一挙に３つのパラメータに対応する効果音情報を画像処理部５に取り込むことができる。

ＣＰＵ３１は、ステップＳＰ３１において否定結果が得られると、ステップＳＰ３３に移って、高輝度領域の重心位置（ｘ、ｙ）がキーボード領域６３上にあるか否かの判断をする。

ここで肯定結果が得られると、ＣＰＵ３１はステップＳＰ３４に移って図２５に示すＫｅｙｂｏａｒｄプログラム実行処理手順ＳＰ３４のステップＳＰ５１に入る。

このステップＳＰ５１においてＣＰＵ３１は、ユーザが電子楽器演奏パネル６１のキーボード領域６３を指定操作していることを確認してステップＳＰ５２に移ってユーザがキーボード領域６３に表示されたキーボード表示のうち、指定したキーに対応する音を操作情報入力部材１２に対する押圧圧力に応じた音量として画像処理部５に取り込む。

続いてＣＰＵ３１は、ステップＳＰ５３に移って高輝度領域の重心位置が左右方向（ｘ方向）に動いているか否かの確認をし、肯定結果が得られたとき、ＳＰ５４に移って当該キーに対応する音にビブラートをかける処理をした後ステップＳＰ５５に移る。

これに対してステップＳＰ５３において否定結果が得られると、ＣＰＵ３１はステップＳＰ５４の処理をせずにステップＳＰ５５に移る。

このステップＳＰ５５においてＣＰＵ３１は高輝度領域の重心位置が上下方向（ｙ方向）に動いているか否かを確認し、肯定結果が得られたときステップＳＰ５６に移って当該キーに対応する音のピッチをｙ方向の移動量に応じて変更するような処理を行った後、ステップＳＰ５７において当該Ｋｅｙｂｏａｒｄプログラム実行処理手順ＳＰ３４の処理を終了して上述のステップＳＰ３１に戻る。

これに対してステップＳＰ５５において否定結果が得られたときＣＰＵ３１はステップＳＰ５６の処理をせずに当該実行処理手順を終了する。

また上述のステップＳＰ５１において否定結果が得られたとき、このことはユーザがキーボード領域６３のキーに対する入力操作をしていることを確認できないことを意味し、このときＣＰＵ３１はステップＳＰ５７に移って当該処理手順を終了する。

かくしてＣＰＵ３１はユーザがキーボード領域６３に対して情報入力操作をしたとき、入力操作をしたキーの音情報を取り込むと共に、当該キーに対してｘ方向及び又はｙ方向に移動操作がされたとき、ビブラート効果及び又はピッチの変更効果をつける効果情報を取り込むことにより、ユーザがメロディの演奏情報を入力する際に、音量及びピッチを微妙に変化させる効果を同時にかつ簡便になし得るようなキーボードを実現できる。

ＣＰＵ３１は、図２３のステップＳＰ３３において否定結果が得られたとき、ステップＳＰ３５に移って高輝度領域の重心位置（ｘ、ｙ）がループトラック領域６２上にあることを確認して、ステップＳＰ３６に移って図２６に示すＬｏｏｐＴｒａｃｋプログラム実行処理手順ＳＰ３６を実行する。

当該ＬｏｏｐＴｒａｃｋプログラム実行処理手順ＳＰ３６に入ると、ＣＰＵ３１はステップＳＰ６１において高輝度領域の重心位置（ｘ、ｙ）がループトラック領域６２上にあることを確認した後、ステップＳＰ６２に移る。

この位置の確認は、５種類のループトラックとして、ドラム、スネア、クローズドハイハット、オープンハイハット及びベースのループトラックが形成されていることから、どのループトラックが選択されているかを確認するもので、確認したときＣＰＵ３１はステップＳＰ６２において重心位置（ｘ、ｙ）に対応する楽器音を、付与された圧力に応じた音量で取り込んだ後ステップＳＰ６３において当該ＬｏｏｐＴｒａｃｋプログラム実行処理手順ＳＰ３６を終了して上述のステップＳＰ３１に戻る。

これに対してステップＳＰ６１において否定結果が得られたとき、５種類のループトラックの選択がされていないとして、当該実行処理手順を終了する。

図２６のＬｏｏｐＴｒａｃｋプログラム実行処理手順によれば、電子楽器演奏パネル６１上に形成されたループトラック領域６２の５種類のループトラックをユーザが簡便に操作することにより、楽器音を形成するための多数のパラメータの情報を少ない操作で入力することができるような操作情報入力システムを実現できる。

図２３のステップＳＰ３５において否定結果が得られるとＣＰＵ３１はステップＳＰ３７に移って、高輝度領域の重心位置（ｘ、ｙ）がボタン領域６５上にあることを確認して、図２７に示すＢｕｔｔｏｎプログラムの実行処理手順ＳＰ３８のステップＳＰ７１に入る。

このＢｕｔｔｏｎプログラム実行処理手順ＳＰ３８において、ＣＰＵ３１は、ステップＳＰ７１において輝度領域の重心位置（ｘ、ｙ）がボタン領域６５の３つのボタン表示子上にあることを確認して、ステップＳＰ７２において当該ボタン表示に対応するモードに切り換える情報を取り込んだ後、ステップＳＰ７３において当該Ｂｕｔｔｏｎプログラム実行処理手順ＳＰ３８を終了して上述のステップＳＰ３１に戻る。

これに対してステップＳＰ７１において否定結果が得られると、当該処理手順ＳＰ３８を終了する。

かくして図２７のＢｕｔｔｏｎプログラム実行処理手順によれば、ユーザがボタン領域６５内のボタン表示の１つに変形を加えるような操作をするだけで、発生する楽音のモードを簡便に切り換えることができる。

図２１〜図２７の構成によれば、ＣＰU３１は、図２３のアプリケーションプログラム（電子楽器演奏パネル）実行処理手順ＲＴ１Ｃにおいて、ステップＳＰ３９で終了キー（操作入力部４１（図６）に設けられている）をユーザが操作したことを確認できるまで、ステップＳＰ３１−ＳＰ３３−ＳＰ３５−ＳＰ３７−ＳＰ３９−ＳＰ３１のループによって、ユーザが、ガンミパッド領域６４、キーボード領域６３、ループトラック領域６２及びボタン領域６５のいずれかを操作していれば、その操作に対応する操作入力情報を画像処理部５に取り込むことができる。

かくするにつき、液晶ディスプレイ３上に表示された電子楽器演奏パネル６１のループトラック領域６２、キーボード領域６３、ガンミパッド領域６４及びボタン領域６５の操作子表示子を、ユーザが操作情報入力部材１２又は補助操作情報入力部材１２Ｘを変形操作するだけの簡便な情報入力操作をするだけの少ない操作で、電子楽器の楽音を形成するためのパラメータを複数同時に操作入力できるような簡便な操作情報入力システムを実現できる。

（６）第４の実施の形態
図２８〜図２９は第４の実施の形態を示すもので、図１との対応部分に同一符号を付して図２８に示すように、画像処理部５によって液晶ディスプレイ３に表示された画像を撮像装置１５によって撮像できるようにすることに加えて、当該画像をステレオカメラによって構成された立体撮像装置１５Ｘによって撮像できるようになされている。

この実施の形態の場合、図１及び図２について上述した液晶ディスプレイ３上に積層するように設けられている操作情報入力部材１２は省略されており、これに代え、液晶ディスプレイ３と撮像装置１５及び立体撮像装置１５Ｘとの間の空間をユーザの操作によって移動できる、立方体形状の操作情報入力部材１２Ｙが設けられている。

立体撮像装置１５Ｘは、図２９に示すように、原点Ｏを中心とする３次元座標系ＸＹＺにおいて、Ｘ軸上に原点Ｏを中心にして対称に基準距離ｂだけ離れた位置に、左光学系１５ＸＬの左光学中心Ｏｌを設けると共に、右光学系１５ＸＲの右光学中心Ｏｒを設ける。

左光学系１５ＸＬ及び右光学系１５ＸＲは左光学中心Ｏｌ及び右光学中心Ｏｒからそれぞれ視線ＥＬ及びＥＲに沿って操作情報入力部材１２Ｙ上の点を検出点Ｐ（ＸＹＺ）として撮像する。

これにより操作情報入力部材１２Ｙがユーザによって加圧されることにより変形したとき、その変形特性の変化によって当該操作情報入力部材１２Ｙを透過する投射光が円偏光から楕円偏光に変換されることにより生じる高輝度領域を、左光学系１５ＸＬ及び右光学系１５ＸＲが撮像信号Ｓ２Ｘとして画像処理部５に取り込ませることにより、左光学系１５ＸＬ及び右光学系１５ＸＲの視差を利用して検出点Ｐの座標（Ｘ、Ｙ、Ｚ）を検出できるようになされている。

図２９の立体撮像装置１５Ｘの光学系において、左光学中心Ｏｌ及び右光学中心ＯｒからＺ方向に焦点距離ｆだけ離れた位置に左画像ＰＣＬ及び右画像ＰＣＲを撮像したとき、左画像ＰＣＬ及び右画像ＰＣＲのｘｌ、ｙｌ座標系及びｘｒ、ｙｒ座標系において、視線ＥＬ及びＥＲが通り抜ける点ｐｌ及びｐｒの座標（ｘｌ、ｙｌ）及び（ｘｒ、ｙｒ）について、以下の関係が求められる。

すなわち、左光学系１５ＸＬ及び右光学系１５ＸＲは原点Ｏを中心として、Ｘ軸上に基準値ｂだけ離れた位置に対称に、左光学中心Ｏｌ及び右光学中心Ｏｒが設けられていることにより、通過点ｐｌ及びｐｒをＹ軸方向の座標ｙｌ及びｙｒは次式

になると共に、通過点ｐｌ及びｐｒ間のＸ方向の距離ｄは次式

として求められる。

この関係を用いて検出点Ｐの座標（Ｘ、Ｙ、Ｚ）を求めれば、以下の式

によって求めることができる。

このようにして、操作情報入力部材１２Ｙに生じた変形部分は、立体撮像装置１５Ｘによって立体画像を構成する高輝度領域として操作情報入力部材１２Ｙを構成する各部分の検出点Ｐ（Ｘ、Ｙ、Ｚ）の固まりを表す情報として、画像処理部５に取り込むことができる。

画像処理部５は、操作情報入力部材１２Ｙの変形動作に応じて液晶ディスプレイ３に表示される画像を、加工処理するための情報入力手段として適用することができる。

先ず、変形動作の判別の仕方として、「テーブル上での軽い接触」については、操作情報入力部材１２Ｙについて検出された変形が液晶ディスプレイ３が設けられたテーブル面の高さと同じ高さであり、かつ検出された領域の面積が所定の閾値より小さいことが確認できたときには、操作情報入力部材１２Ｙが当該テーブル上での軽い接触をしていると判断する。

「テーブル上での強い接触（押込み）」は、変形の高さがテーブル面の高さと同じ高さであり、かつ変形領域の面積が所定の閾値以上であるとき、テーブル上での強い接触をしていると判別する。

「手に持っての押し潰し（摘まみ）」は、輝度領域の高さがテーブル面に対して高い位置にあることから識別できる。

又は、「押しつぶされた高輝度領域は細長くなる」ことから、その方向が慣性支軸の角度から求めることができる。

「両手での引張」は、一番変形量が大きい動作で、高輝度領域はテーブル面に対して高い位置にあり、かつ最小包含矩形は短辺と長辺の長さの差が明確になり（長方形になり）、長辺の長さの変化を調べることにより、引張り量の指標が得られる。

また引き伸ばしの方向は高輝度領域の慣性支軸方向から求められる。

図２８及び図２９の構成によれば、ユーザが操作情報入力部材１２Ｙを摘んで前後左右及び上下に移動動作させたとき、その移動を３次元座標値の変化として認識できることにより、液晶ディスプレイ３に表示した画像を加工処理するような応用例に利用できる。

例えば、「写真」を液晶ディスプレイ３に表示した状態で、写真を摘まみ上げることによってその写真のもつ詳細情報を表示したり、さらに高い位置に摘まみ上げることにより当該写真をプリンタで印刷したり、メールで送信したりするといった操作を選択できるようにすることもできる。

写真に位置合せした操作情報入力部材１２Ｙを押し込むことによって、写真に隠されている情報を引き出すような処理をしたり、写真の上で弾性体を引き伸ばすことにより写真を拡大したりするようにもできる。

上述の実施の形態においては、操作情報入力部材１２Ｙとして立方体形状のものを用いた場合について述べたが、その形状はこれに限らず、骨型、星型、人形型、円形型などの種々の形状を選択し得る。

また上述の実施の形態においては、操作情報入力部材１２Ｙとして１種類の素材を用いた場合について述べたが、これに代え、硬さの異なる素材を混ぜ合わせて成形することにより、１つの操作情報入力部材１２Ｙの中て硬さの違う弾性体を構成するようにしても良い。

以上の構成によれば、操作情報入力部材を立体的な位置で入力操作することにより、一段と多様な操作情報を入力することができる操作情報入力システムを実現できる。

本発明は電子機器に対する入力情報として、ユーザの操作とその動作態様を入力する場合に利用できる。

１、１Ｘ……操作情報入力システム、２……枠台、３……液晶ディスプレイ、４……直線偏光撮像光源、５……画像処理部、１０……投射光、１１……１／４波長板、１２……操作情報入力部材、１３……１／４波長板、１４……偏光フィルタ、１５……撮像装置、２１……ユーザの指、２２……変形部分、２３……非変形部分、３１……中央処理ユニット（ＣＰＵ）、３２……バス、３３……プログラムメモリ、３４……動作メモリ、３５……入力インターフェース、３６……ハードディスク記憶装置、４１……操作入力部、４２……画像データメモリ、４３……表示部、４４……高輝度領域情報メモリ、４５……カラー設定メモリ、５０……文字入力キーボード表示、５０Ａ……表示枠、５１……基準文字表示欄、５２Ａ、５２Ｂ……文字種変更キー、６１……電子楽器演奏パネル、６２……ループトラック領域、６３……キーボード領域、６４……ガンミパッド領域、６５……ボタン領域、１２Ｘ……補助操作情報入力部材、１２Ｙ……操作情報入力部材、１５Ｘ……立体撮像装置、１５ＸＬ、１５ＸＲ……左、右光学系。

Claims (5)

1. 直線偏光でなる直線偏光投射光を射出する直線偏光撮像光源と、
   上記直線偏光投射光を円偏光に変換して円偏光変換光として射出する変換用１／４波長板と、
   透明で光弾性効果をもつ光弾性材料で構成され、上記円偏光変換光を、ユーザによって圧力を付与されて変形した変形部分を透過させたとき複屈折させることにより、上記円偏光変換光を楕円偏光に変換して変形楕円偏光変換光として射出する操作情報入力部材と、
   上記変換用１／４波長板から射出される上記円偏光変換光及び当該円偏光変換光が上記操作情報入力部材の非変形部分を透過して上記操作情報入力部材から射出される非変形円偏光変換光を直線偏光に逆変換して順次第１及び第２の直線偏光逆変換光として射出すると共に、上記変形楕円偏光変換光を直線偏光に逆変換せずに楕円偏光逆変換光として射出する逆変換用１／４波長板と、
   上記楕円偏光変換光を透過させ、かつ上記第１及び第２の直線偏光逆変換光をしゃ光する偏光フィルタと、
   上記偏光フィルタを透過した上記透過光を入射して上記操作情報入力部材に対するユーザの入力操作を表す操作情報表示領域を有する撮像信号を得る撮像装置と
   を具える操作情報入力システム。
2. 上記撮像装置から得られる撮像信号は、上記操作情報入力部材の上記変形部分を透過することにより得られる上記変形楕円偏光変換光に基づいて高輝度領域を含む画像信号でなり、上記高輝度領域の外接枠の面積の大きさから、上記操作情報入力部材に対してユーザから付与された圧力を求める画像処理手段
   を具える請求項１に記載の操作情報入力システム。
3. 上記画像処理手段は、上記高輝度領域の外接枠内の高輝度部分の変化を認識することにより、上記操作情報入力部材に対するユーザの入力操作態様を判別する
   請求項２に記載の操作情報入力システム。
4. 左光学中心及び右光学中心に設けた左光学系及び右光学系を有する立体撮像装置に上記偏光フィルタを透過した上記透過光を入射し、上記操作情報入力部材に対するユーザの変形操作によって当該操作情報入力部材に生じた立体的な変形及び当該変形が生じた高さ位置を表す操作情報表示領域を含む撮像信号を得る
   請求項１に記載の操作情報入力システム。
5. 直線偏光撮像光源から射出される直線偏光投射光を変換用１／４波長板において円偏光に変換し、
   上記変換用１／４波長板から射出される円偏光変換光を、透明で光弾性効果をもつ光弾性材料で構成された操作情報入力部材のうちユーザによって圧力を付与されて変形した変形部分を透過させることにより、当該透過させる際に複屈折させることによって上記円偏光変換光を楕円偏光に変換し、
   逆変換用１／４波長板によって、上記操作情報入力部材の上記変形部分から射出される上記変形楕円偏光変換光を逆変換せずに楕円偏光逆変換光として射出すると共に、上記操作情報入力部材の非変形部分から射出される非変形円偏光変換光及び上記変換用１／４波長板から射出される上記円偏光変換光を第１及び第２の直線偏光に逆変換し、
   偏光フィルタにおいて、上記逆変換用１／４波長板から射出される光のうち、上記楕円偏光変換光から得られた楕円偏光逆変換光を透過させて撮像装置に入射すると共に、上記非変形部分及び上記変換用１／４波長板から得られた上記第１及び第２の直線偏光逆変換光を上記偏光フィルタによってしゃ光し、
   上記撮像装置から、上記操作情報入力部材に対するユーザの入力操作を表す操作情報表示領域を有する撮像信号を得る
   操作情報入力方法。

Images