JP4055388B2 - 情報処理装置、情報処理システム、及びプログラム - Google Patents
情報処理装置、情報処理システム、及びプログラム Download PDFInfo
- Publication number
- JP4055388B2 JP4055388B2 JP2001315301A JP2001315301A JP4055388B2 JP 4055388 B2 JP4055388 B2 JP 4055388B2 JP 2001315301 A JP2001315301 A JP 2001315301A JP 2001315301 A JP2001315301 A JP 2001315301A JP 4055388 B2 JP4055388 B2 JP 4055388B2
- Authority
- JP
- Japan
- Prior art keywords
- display screen
- information processing
- image
- frame information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置、情報処理システム、及びプログラムに関するものであり、特にグラフィカルユーザインターフェイスに対して行われた操作に応じて所要の情報処理を実行する情報処理装置、情報処理システムに、及びこれらの装置、システムにより実行すべきプログラムに関する。
【０００２】
【従来の技術】
従来から、表示画面に表示されたＧＵＩ画像に対して、直接、指やポインタペンなどによって画面に直接触れることで操作が可能なように、表示画面に対してタッチパネルを設けたものが広く知られている。
このようなタッチパネルとして、いわゆる感圧式のタッチパネルの構造例を図１６に簡略に示す。
図１６（ａ）（ｂ）に示すように、感圧式のタッチパネルは、上部電極１０１と下部電極１０２とを、スペーサ１０３を介して対向するように配置させた構造を採る。下部電極１０２は、例えばガラス基板に対して銀電極を形成するようにして構成され、上部電極１０１は、ＰＥＴフィルムなどに対して抵抗膜を形成することで構成される。そして、上記銀電極及び抵抗膜からはそれぞれ、導線が引き出されているものである。
そして、例えばユーザの指やポインタペンなどによって、上部電極１０１側の或る位置を押圧すると、この押圧力によって生じたＰＥＴフィルムのたわみによって上部電極１０１の抵抗膜が下部電極１０２の銀電極に接触する。この接触した位置に応じて変化する抵抗値等を検出することによって、操作位置の検出が行われるものである。
【０００３】
【発明が解決しようとする課題】
ところで、例えばパーソナルコンピュータなどの情報処理装置におけるＧＵＩに対する操作としては、周知のようにして、マウスに代表されるポインティングデバイスが用いられている。
しかしながら、このようなポインティングデバイスによる操作では、ユーザは、ＧＵＩ画面を注視しながら、感覚的にポインティングデバイスに対する操作を行っていることになる。これは即ち、ユーザは、視界に入っていない装置を操作する必要があるので、必ずしも直感的で分かりやすい操作とはなり得ないという問題を有している。
【０００４】
そこで、マウスなどのこれまでに広く知られているポインティングデバイスに代わる操作情報入力の構成として次のような発明が提案されている。
先ず、特開２０００−１５４７９４号公報には、人の瞬きを利用して操作入力を行うようにした発明が開示されている。また、特開平１０−３１５０号公報では、歯の打ち合わせにて発生する音を音響センサで検出する発明が開示されている。しかし、これらの発明は何れも、いわゆるウェアラブルコンピューティングの観点によるもので、特別な機器を人体に装着する必要があり、人が普段行うことはない不慣れな行為を伴う操作となる。つまり、システム構成が特殊なものとなると共に、操作性も依然として直感的には成りにくいという問題を有している。
【０００５】
従って、直感的な操作を無理なく行えるという点では、前述したような、ＧＵＩ画面に対して直接的にポインティング操作を行うことのできるタッチパネル付きの表示画面とすることが良いことになる。
しかしながら、パーソナルコンピュータなどの情報処理装置において、タッチパネルによるＧＵＩ操作を実現しようとすれば、ユーザは、このようなタッチパネル付きのディスプレイを購入するなどして所有しなければならないことになり、ユーザにとっては面倒なこととなる。また、このようなディスプレイ装置は、高価であり経済的負担を伴うために、この点でも不都合を生じる。
【０００６】
また、直感的な入力操作という点から見た場合には、例えば特開平１０−１６１８０１号公報に示されているように、ユーザが発する音声により操作の指示を行うように構成することも考えられる。この場合には、システム構成としては、ユーザの音声を収音する汎用的なマイクロフォンを追加すればよい。しかし、この場合には、ユーザが発する音声を入力操作に利用するので、操作中は操作に関する内容しか発話できないという不便さが伴うことになる。
【０００７】
【課題を解決するための手段】
そこで、本発明は、できるだけ汎用的な装置から成る構成でありながらも、直感的な入力操作が簡便に行えるようにすることを目的として、先ず、情報処理装置として次のように構成することとした。
つまり、表示画面に対して画像を表示出力する表示手段と、撮像装置により撮像された撮像画像を取り込む画像取込手段と、上記画像取込手段により取り込まれた撮像画像における、上記表示画面の画像部分領域を枠情報として認識する画像部分認識手段と、上記枠情報の上底と下底の辺を平行として上記枠情報が台形となるように形状を補正する台形補正処理を行って、上記枠情報を補正枠情報とする枠情報補正処理手段と、上記画像部分認識手段が認識する画像部分領域内に存在するポインタの上記表示画面の接触操作によって指し示す位置を、上記補正枠情報に基づいて座標変換処理を行い、実際の上記表示画面上におけるポイント位置として認識するポイント位置認識手段と、上記ポイント位置認識手段により認識されたポイント位置に応じて、所要の情報処理を実行可能な情報処理手段とを備えることとした。
【０００８】
また、情報処理システムとして次のように構成することとした。
この発明としての情報処理システムは、少なくとも、撮像装置と情報処理装置とから成るものとしたうえで、撮像装置は、情報処理装置の表示画面全体を撮像可能な位置に設けることとする。
そのうえで上記情報処理装置は、
表示画面に対して画像を表示出力する表示手段と、撮像装置により撮像された撮像画像を取り込む画像取込手段と、上記画像取込手段により取り込まれた撮像画像における、上記表示画面の画像部分領域を枠情報として認識する画像部分認識手段と、上記枠情報の上底と下底の辺を平行として上記枠情報が台形となるように形状を補正する台形補正処理を行って、上記枠情報を補正枠情報とする枠情報補正処理手段と、上記画像部分認識手段が認識する画像部分領域内に存在するポインタの上記表示画面の接触操作によって指し示す位置を、上記補正枠情報に基づいて座標変換処理を行い、実際の上記表示画面上におけるポイント位置として認識するポイント位置認識手段と、上記ポイント位置認識手段により認識されたポイント位置に応じて、所要の情報処理を実行可能な情報処理手段とを備えることとした。
【０００９】
また、プログラムとしては次のように構成することとした。
つまり、情報処理装置の表示画面を撮像するように配置される撮像装置により撮像された撮像画像を取り込む画像取込手順と、上記画像取込手順により取り込まれた撮像画像における、上記表示画面の画像部分領域を枠情報として認識する画像部分認識手順と、上記枠情報の上底と下底の辺を平行として上記枠情報が台形となるように形状を補正する台形補正処理を行って、上記枠情報を補正枠情報とする枠情報補正処理手順と、上記画像部分認識手順が認識する画像部分領域内に存在するポインタの上記表示画面の接触操作によって指し示す位置を、上記補正枠情報に基づいて座標変換処理を行い、実際の上記表示画面上におけるポイント位置として認識するポイント位置認識手順と、上記ポイント位置認識手順により認識されたポイント位置に応じて、所要の情報処理を実行可能な情報処理手順と、を上記情報処理装置に実行させるように構成する。
【００１０】
上記各構成では、撮像装置により、情報処理装置の表示画面を撮影するようにしている。そして、撮像画像内に存在するポインタ（指やポインタペンなど）の指し示す位置を、実際に表示画面に表示されるグラフィカルユーザインターフェイス画像（ＧＵＩ画像）におけるポイント位置に変換する。そして、このポイント位置に応じて所要の情報処理が実行されるようにしている。これによっては、ユーザが表示画面に直接触れるようにしてＧＵＩ画面に対する操作を行えば、この操作に応じた情報処理が実行されることになる。つまりは、情報処理装置に対して撮像装置を備えることで、タッチパネル的な操作を可能としている。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について説明を行っていくこととする。以降の説明は次の順序で行う。
１．システム外観例
２．パーソナルコンピュータの構成例
３．疑似タッチパネル操作
３−１．撮像画像に基づくポインティング操作に必要な処理
３−１−１．表示画面枠の指定
３−１−２．表示画面枠の台形補正
３−１−３．座標変換処理
３−２．音声信号に基づく疑似ボタン操作に必要な処理
３−２−１．音声信号の認識／解析処理例
３−２−２．解析結果に応じた状態遷移
４．疑似タッチパネル操作時の処理動作
４−１．画像／音声認識ドライバのソフトウェア構成例
４−２．フローチャートによる処理動作例
５．変形例（ポインティング操作のみによる疑似タッチパネル操作）
【００１６】
１．システム外観例
図１は、本実施の形態としてのシステムの外観例を斜視図により示している。
この図１に示すパーソナルコンピュータ１０は、本発明の実施の形態としての情報処理装置とされる。この図では、パーソナルコンピュータは、いわゆるノートブック型とされており、内蔵のディスプレイモニタとしては液晶ディスプレイが採用されている。そして、この液晶ディスプレイとしての表示画面１７ａとしては、特にタッチパネルを備えていない通常の構造とされる。しかしながら、本実施の形態では、以降説明していくようにして、カメラ部２２により撮像される撮像画像、及びマイクロフォン２３により収音される音声を利用することで、この表示画面１７ａに表示されるＧＵＩ画像に対して、ユーザが指やポイントペンなどのポインタを直接接触させるようにして入力操作を行うことを可能としている。
【００１７】
このために、パーソナルコンピュータ１０に対しては、例えば図示するようにして、外付けのカメラ部２２を、取り付け具２２−１によって取り付けるようにされる。そして、このカメラ部２２は、撮像画像として、表示画面１７ａ全体が収まるようにして固定して配置される。
このカメラ部２２としては、カラー画像を撮影可能な構造を有しているものとされる。そして、例えばＣＣＤ(Charge Coupled Device)などの撮像素子を採用した小型のものが採用されればよい。また、カメラ部２２とパーソナルコンピュータ１０とは、例えばケーブル２２ａにより、パーソナルコンピュータ１０側の筐体に設けられている所定の入力端子と接続することで、カメラ部２２にて得られた撮像画像の信号が、パーソナルコンピュータ１０に入力されるようにする。なお、この場合の入力端子は、アナログ映像信号入力端子のほか、例えばＵＳＢ(Universal Serial Bus)端子やＩＥＥＥ１３９４端子などのデータインターフェイス端子をはじめとして各種考えられるものであって、特に限定されるものではない。
【００１８】
また、マイクロフォン２３も同様にして、ケーブル２３ａにより、例えばパーソナルコンピュータ１０側のオーディオ信号入力端子などの、マイクロフォン入力に対応した端子と接続するようにされる。これにより、パーソナルコンピュータ１０により、マイクロフォン２３により収音して得られた音声信号を入力することが可能になる。
ここで、本実施の形態では、ユーザが表示画面１７ａに対してポインタを直接接触させて操作したときに生じる音、例えば表示画面１７ａを叩いたり、擦ったりしたときの音をマイクロフォン２３により収音する必要がある。このため、マイクロフォン２３は、このような表示画面１７ａ上で生じる接触音が的確に収音できるような位置に設置される。また、表示画面１７ａ上で生じる接触音がより的確に収音されるべきことを考慮して、所要の指向性を有したマイクロフォン２３を利用するようにしても良い。
【００１９】
また、パーソナルコンピュータ１０として、はじめから内蔵マイクロフォン２３Ａを備えたような構成を採っている場合には、外付けのマイクロフォン２２に代えて、この内蔵マイクロフォン２３Ａを用いればよい。また、この点については、カメラ部２２についても同様である。つまり、パーソナルコンピュータ１０に対して予めカメラ部が取り付けられており、かつ、表示画面１７ａ全体を撮像できるように配置できる取り付け構造が採られているのであれば、このような備え付けのカメラ部を利用してよいものである。
【００２０】
また、この図１においては、本実施の形態の情報処理装置であるパーソナルコンピュータ１０は、ノートブック型のパーソナルコンピュータであることとしているが、いわゆるデスクトップ型のパーソナルコンピュータとされていても構わないものである。また、このようなデスクトップ型とされる場合において、ディスプレイモニタとしては、液晶ディスプレイに限定されるものではなく、ＣＲＴとされても構わないものである。
【００２１】
また、本発明としては、システム構成的にも図１に示した形態に限定されるべきものではない。
例えば、プロジェクタ装置とパーソナルコンピュータとを接続して、パーソナルコンピュータの画像をプロジェクタ装置によってスクリーンに表示させるシステムが知られているが、本発明としては、このようなプロジェクタ装置を備えたパーソナルコンピュータのシステムにも適用することができる。
図１５は、このようなプロジェクタ装置によりコンピュータの画像表示を行うシステムに本発明を適用した場合の構成例が示されている。
この場合のパーソナルコンピュータ１０は、例えばビデオ出力端子をプロジェクタ装置７０のビデオ入力端子を接続するなどして、パーソナルコンピュータ１０からの画像信号がプロジェクタ装置７０に入力されるようにする。これにより、プロジェクタ装置７０は、パーソナルコンピュータ１０の表示画面１７ａに表示されるのと同じ画像をスクリーン７１に対して拡大投射して表示させることになる。
【００２２】
そして、この場合にもパーソナルコンピュータ１０に対しては、カメラ部２２とマイクロフォン２３とを接続するようにしている。この場合、カメラ部２２は、スクリーン７１全体が撮像画像内におさまるようにして配置され、その撮像画像信号をパーソナルコンピュータ１０に対して入力する。また、マイクロフォン２３は、例えば後述するポインタとしての指し棒７２の先端をスクリーン７１に対して接触させて何らかの操作を行ったことで生じる「接触音」を収音可能な位置に設けられる。そして、収音した音声信号をパーソナルコンピュータ１０に対して入力する。また、指し棒７２は、スクリーン７１を対象として操作を行うためのポインタであり、ユーザには、この指し棒７２の先端部をスクリーン７１上に直接接触させるようにしてＧＵＩ操作を行ってもらうこととしている。
そして、このようなシステム構成においても、以降説明していく図１のシステムの場合と同様に、カメラ部２２により撮像されるスクリーン７１の撮像画像、及びマイクロフォン２３により収音される接触音の音声信号を利用することで、スクリーン７１に表示される画像に対するポインタの接触操作に応じたＧＵＩが実現可能となるものである。
【００２３】
また、これら図１及び図１５に示したシステムでは、カメラ部２２及びマイクロフォン２３とパーソナルコンピュータ１０との接続をケーブルにより行っているが、例えば、既に知られている赤外線通信やブルートゥース通信などを利用して、無線により接続する構成とすることも考えられる。また、特に図１５のシステムでは、パーソナルコンピュータ１０とプロジェクタ装置７０との間でのビデオ信号の入出力を無線により行うようにすることが考えられる。
【００２４】
２．パーソナルコンピュータの構成例
図２のブロック図は、本実施の形態のパーソナルコンピュータ１０の内部構成例を示している
この図において、ＣＰＵ１１は、例えばＲＯＭ１２においてファームウェアとして保持されているプログラム、及びＨＤＤ１８に記憶されているＯＳ(Operating System)、及びアプリケーションプログラム等をＲＡＭ１３に展開したプログラムに従って各種の処理を実行する。また、ＲＡＭ１３にはＣＰＵ１１が各種処理を実行するのに必要なデータ等も適宜保持される。
これら、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３は、後述するネットワークインターフェイス２０、データインターフェイス２１、及び入出力インターフェイス１４などと共に、内部バス２５により相互接続される。内部バス２５は、例えば、ＰＣＩ(Peripheral Component Interconnect)又はローカルバス等により構成される。
【００２５】
入出力インターフェイス１４は、これに接続される装置等と内部バス２５との情報の授受を行うために設けられるもので、この場合には、キーボード１５、マウス１６、ディスプレイモニタ１７、ＨＤＤ１８、メディアドライバ１９、及びカメラ部２２、マイクロフォン２３（２３Ａ）などを接続することができることとしている。
【００２６】
キーボード１５及びマウス１６から供給された操作信号は、入出力インターフェイス１４からＣＰＵ１１に出力するようにされている。ＣＰＵ１１では、例えばＯＳのプログラムの下で、これらキーボード１５及びマウス１６からの操作信号に応じた所要の処理を実行する。
なお、本実施の形態においては、カメラ部２２から出力される撮像画像信号と、マイクロフォン２３（２３Ａ）にて収音されて出力される音声信号との情報に基づいて、マウス１６の操作に代わるＧＵＩ操作が可能なように構成される。
また、本実施の形態のパーソナルコンピュータ１０がノートブック型とされる場合、このノートブック型においては、マウスに代わる操作子として、タッチパッドとクリックボタンを設けることが広く行われている。そこで、この図２には、図示していないが、これらタッチパッドやクリックボタンをマウス１６に代えて入出力インターフェイス１４に接続するようにしてもよいものである。
【００２７】
また、ディスプレイモニタ１７に対しては、入出力インターフェイス１４を介して表示用の映像信号が出力され、これにより、ディスプレイモニタ１７の表示画面１７ａには、画像が表示されることになる。
【００２８】
また、入出力インターフェイス１４には、記憶媒体としてハードディスクを備えたハードディスクドライブ（ＨＤＤ）１８が接続されている。ＣＰＵ１１は、ＨＤＤ１８のハードディスクに対してデータやプログラム等の記録又は読み出しを行うことができるようにされている。そして、書き込みデータ及び読み出しデータが、入出力インターフェイス１４を介してＨＤＤ１８と内部バス２５側との間で伝送されることになる。
特に本実施の形態としては、ＨＤＤ１８に対して、画像／音声認識ドライバ１８ａがインストールされて記憶されている。この画像／音声認識ドライバ１８ａは、後述するようにして、ユーザがディスプレイモニタ１７の表示画面１７ａに対して行う接触操作を、カメラ部２２からの撮像信号と、マイクロフォン２３からの音声信号に基づいて入力操作情報として扱うための処理を実現するアプリケーションプログラムである。
【００２９】
また、メディアドライバ１９は、例えば現状であれば、ＣＤ−ＲＯＭやＤＶＤなどをはじめとして、特定種別のメディアに対応するドライバとされ、対応するメディアに対してのデータの読み出し／書き込みを実行する。このための制御もＣＰＵ１１が実行すると共に、書き込みデータ及び読み出しデータが、入出力インターフェイス１４を介してＨＤＤ１８と内部バス２５側との間で伝送される。
【００３０】
また、この場合のカメラ部２２は、例えば図１により説明したようにして設けられているもので、例えば撮像素子としてＣＣＤを備えた撮像装置とされる。そして、このカメラ部２２により撮像された画像の信号である撮像画像信号は、入出力インターフェイス１４を介して入力されることになる。
マイクロフォン２３（又は内蔵のマイクロフォン２３Ａ）もまた、図１に示したようにしてパーソナルコンピュータ１０に対して設けられるものである。このマイクロフォン２３により収音された音声の音声信号は、入出力インターフェイスを介することで、デジタルオーディオ信号として入力されることになる。
【００３１】
ネットインターフェイス２０は、所定のネットワークを介して通信を行うためのインターフェイスであり、例えば、電話回線を利用したインターネットとの接続に対応するのであればハードウェアとしてはモデムなどが備えられる。また、ＬＡＮ(Local Area Network)などのネットワークなどを介したものであればＥｔｈｅｒｎｅｔなどのインターフェイスとなる。
【００３２】
データインターフェイス２１は、例えばＳＣＳＩ、ＵＳＢ、ＩＥＥＥ１３９４などに代表される、ケーブル接続による外部周辺機器との通信のためのインターフェイスとされる。なお、上記したカメラ部２２などは、このデータインターフェイス２１に対して接続されても良い。
【００３３】
ところで、前述のようにしてＨＤＤ１８にインストールされるべき、画像／音声認識ドライバ１８ａは、後述する機能を実現するための方法手順がプログラムとして格納されているアプリケーションプログラムとされる。そして、これら画像／音声認識ドライバ１８ａとしてのアプリケーションプログラムは、フロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブルな記録媒体に対して、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブルの記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
そして、このようなリムーバブルな記録媒体を、例えばパーソナルコンピュータ１０のメディアドライバ１９に装填して再生することで、パーソナルコンピュータ１０のＨＤＤ１８に対してインストールするようにされる。
なお、上記のようにしてリムーバブルな記録媒体を利用してアプリケーションプログラムをインストールするほか、他の情報処理機器からパーソナルコンピュータ１０に対してアプリケーションプログラムを無線で転送したり、ＬＡＮ、インターネットといったネットワークを介して、サーバからパーソナルコンピュータ１０にオンラインで転送し、パーソナルコンピュータ１０では、そのようにして転送されてくるアプリケーションプログラムを受信し、ＨＤＤ１８にインストールするようにすることもできる。
【００３４】
３．疑似タッチパネル操作
３−１．撮像画像に基づくポインティング操作に必要な処理
３−１−１．表示画面枠の指定
周知のように、ＧＵＩに対する操作としては、マウス（及びタッチパッド、クリックボタンなど）などをはじめとするポインティングデバイス（操作装置）を操作することが一般的である。これに対して本実施の形態では、このようなポインティングデバイスによる操作に代えて、表示画面に直接触れるようにして行うポインティング操作によりＧＵＩ操作が実現されるようにするものである。つまり、タッチパネル的な操作を実現する。しかも本実施の形態では、表示画面がタッチパネルの構造を有していなくとも、表示画面１７ａを撮像するカメラ部２２の撮像画像と、表示パネルに対する各種のタッチ操作により生じる音をマイクロフォン２３（２３Ａ）にて収音して得た音声とについて、後述するような認識処理を実行することで、上記したタッチパネル的操作を実現するものである。なお、本実施の形態におけるようなタッチパネル的操作については、以降においては「疑似タッチパネル操作」ともいうことにする。
【００３５】
そして、本実施の形態の「疑似タッチパネル操作」であるが、表示画面１７ａを撮像した撮像画像の認識に基づく操作入力は、マウスによるカーソル移動操作、つまり「ポインティング操作」としての機能を有する。また、表示画面１７ａにて得られる接触音の認識に基づく操作入力は、マウスのボタン操作としての機能を有する。つまり、「疑似ボタン操作」を実現する。なお、本実施の形態としての説明においては、この「疑似ボタン操作」として、マウスの左ボタン操作（ＤＯＳ／Ｖ系）としての機能を与えることとしている。
【００３６】
そこで先ず、本実施の形態の「疑似タッチパネル操作」として、「ポインティング操作」から説明を行っていくこととする。
本実施の形態の「疑似タッチパネル操作」としてのポインティング操作（カーソル移動操作）を実現するためには、以下の処理が必要となる。
つまり、
(1)表示画面１７ａを撮像して得られる撮像画像内の表示画面１７ａの表示領域を認識し、
(2)撮像画像内におけるどの画像領域がポインタであるのかを認識し、
(3)さらに認識したポインタの指し示すポインタ位置としての点座標を認識し、 (4)この認識したポインタ位置の座標を表示画面に実際に表示されているＧＵＩ画像上の座標情報に変換する。
という処理である。そして、処理(4)により得られた座標情報がＯＳに渡されれば、ＯＳではその座標情報に応じてカーソル移動制御を行うようにされるわけである。
なお、上記処理(3)でいう「ポインタ」とは、表示画面１７ａを実際に接触操作する物理的なものをいい、具体的にはユーザの指や、ユーザが保持して使用する例えば棒状のポインタペンなどが挙げられる。
【００３７】
そして、処理(1)としての「表示画面１７ａを撮像して得られる撮像画像内の表示画面１７ａの表示領域を認識」するためには、次に図３にて説明する初期設定を予め行っておくようにされる。
【００３８】
図３には、撮像画像内の表示画面１７ａの表示領域を認識させるための初期設定の手順が示されている。なお、この初期設定は、画像／音声認識ドライバ１８ａのプログラムの下で行われる。
ユーザは、例えば所定操作によって初期設定モードとする。なお、この初期設定時の操作は、マウスなどのポインティングデバイスを使用すればよい。
初期設定モードとされると、パーソナルコンピュータ１０の表示画面１７ａには、図１に示したようにして配置されるカメラ部２２の撮像画像が表示されるようになる。このとき、ユーザは、この表示画面１７ａに表示される撮像画像を見ながら、図３（ａ）に示すようにして、表示画面１７ａにおいて、パーソナルコンピュータ１０の表示画面１７ａの全体が表示されるようにその配置位置や向きを調節する。つまり、表示画面１７ａ内に、パーソナルコンピュータ１０の画像であるＰＣ画像部分１０−１として、表示画面１７ａの画像である表示画面領域１７ａ−１を表示させるものである。
【００３９】
上記のようにして、図３（ａ）に示したような画像状態が得られたら、ユーザは、画隅指定のための所定操作を行うようにされる。すると図３（ｂ）に示すようにして、表示画面１７ａには、画隅指定カーソルＣＲ１が表示される。ユーザは、この画隅指定カーソルＣＲ１に対して例えばドラッグ操作を行って、この画隅指定カーソルＣＲ１の頂点部を、表示画面領域１７ａ−１の左上角に位置させて、例えば決定操作を行う。
【００４０】
続いては、図３（ｃ）に示すようにして、次の画隅指定カーソルＣＲ２が表示されるので、ユーザは、同様にしてこの画隅指定カーソルＣＲ２をドラッグして、その頂点部を表示画面領域１７ａ−１の右上角に位置させて決定操作を行う。
さらに続いては、図３（ｄ）に示すように表示される次の画隅指定カーソルＣＲ３をドラッグして、その頂点部を表示画面領域１７ａ−１の右下角に位置させて決定操作を行う。
そして、続いては、図３（ｅ）に示すようにして最後の画隅指定カーソルＣＲ４が表示されるので、この画隅指定カーソルＣＲ４をドラッグして、その頂点部を表示画面領域１７ａ−１の左下角に位置させて決定操作を行うようにされる。
【００４１】
このようして、表示画面領域１７ａ−１の４つの角部を、各画隅指定カーソルＣＲ１〜ＣＲ４により指定したことによっては、図３（ｆ）に示すようにして、撮像画像上における、表示画面領域１７ａ−１の各頂点ａ，ｂ，ｃ，ｄの座標位置が把握されたことになる。これは、表示画面領域１７ａ−１の形状が、四角形の「枠情報」として認識されたことを意味する。
【００４２】
３−１−２．表示画面枠の台形補正
ところで、カメラ部２２の配置位置の関係上、必ずしも表示画面１７ａは正面から撮影されない。このため、上記図３（ｆ）に示したようにして認識されるこの表示画面領域１７ａ−１の四角形形状（枠情報）として、も、長方形や台形などの整った形ではなく、より歪んだ形状となっている場合がほとんどである。
本実施の形態では、表示画面領域１７ａ−１（枠情報）上の座標を実際の表示画面１７ａ上の座標に変換する座標変換処理を実行することで、表示画面１７ａ上での実際のポインタのポイント位置を特定するようにされるが、上記のような表示画面領域１７ａ−１の四角形形状（枠情報）を利用してそのまま座標変換処理を実行しようとすると、そのための演算処理も複雑となってかえって正確さが失われることにもなる。
そこで、本実施の形態では、次に説明するようにして表示画面領域１７ａ−１の四角形形状（枠情報）についての補正処理を行う。
【００４３】
図４は、上記した補正処理を模式的に示している。
図４（ａ）には、図３により説明した画隅指定操作によって認識された枠情報が示されている。つまり、図３（ｆ）に示したものと同様の表示画面領域１７ａ−１としての四角形形状が示されている。
この場合において、この図４（ａ）に示される枠情報は、上記した理由によって、歪みのある四角形形状となっているものとし、例えばこの図４（ａ）に示される枠情報において、横方向の辺ａｂと、これに対向する辺ｃｄとは平行ではない状態にあるものとされる。また、同様にして、縦方向の辺ａｄと、これに対向する辺ｂｃとは平行ではない状態にあるものとする。
【００４４】
そして、本実施の形態では、枠情報の辺ａｂを上底、辺ｃｄを下底としてして定めたうえで、この２つの辺が平行となるようにして補正する。つまり、枠情報を台形化するようにして補正するものである。これにより、図４（ａ）に示される枠情報（四角形ａｂｃｄ）は、例えば図４（ｂ）の破線による四角形ＡＢＣＤとして示すようにして、台形となるように形状が変更される。
具体例として、補正前の枠情報の各頂点を
a(xa,ya)、b(xb,yb)、c(xc,yc)、d(xd,yd)
とし、補正後の枠情報である補正枠情報の各頂点を
A(XA,YA)、B(XB,YB)、C(XC,YC)、D(XD,YD)
として、
YA＝YB＝(ya+yb)/2、YC＝YD＝(yc+yd)/2
の関係が成立するようにして形状補正を行うようにされる。ただし、条件として、
XA＝xa、XB＝xb、XC＝xc、XD＝xd
の関係を満たすこととして、座標変換結果に誤差が出ないようにしているので、台形化補正された補正枠情報の形状としては、必ずしも辺ＡＤ＝辺ＢＣとなるいわゆる等脚台形にはならない。
以上、図３及び図４により説明したようにして、枠情報を認識し、この枠情報について台形化の補正処理を実行することで、処理(1)としての撮像画像内の表示画面１７ａの表示領域（枠情報）の認識が行われたこととなる。
【００４５】
３−１−３．座標変換処理
上記のようにして枠情報の認識が行われ、この後の通常モードにおいてポインタ（指、ポイントペンなど）により操作が行われた場合には、そのポインタの指し示すポイント位置の座標を認識し、さらにこのポイント位置の座標を実際の表示画面１７ａにおける座標に変換する座標変換処理を行うことになる。つまり先に記した処理(3)(4)を実行する。そしてここでは、処理(4)に対応する座標変換処理について図５〜図７を参照して説明する。
なお、処理(4)としての座標変換処理を実行するためには、先の処理(2)として記したように、撮像画像内におけるどの画像領域がポインタであるのかを認識したうえで、さらに処理(3)として記したように、撮像画像上の枠情報に対するポインタのポイント位置を認識することが必要となるが、これについては後述することとして、ここでは、ポインタのポイント位置の認識処理が既に適正に行われていることを前提として説明する。
【００４６】
ここで、図５（ａ）には、図４にて説明したようにして得られた補正枠情報が示されている。そして、ユーザの表示画面１７ａに対するポインタの操作によって、input(xin,yin)という座標（図において×印で示す）が得られたとする。この座標input(xin,yin)は、例えば撮像画像の有効表示領域内にて検出された画像位置としての座標（画像内座標）である。
そして、本実施の形態としての処理(4)によっては、この画像内座標input(xin,yin)を、図５（ｂ）に示すようにして、実際にＧＵＩ画像が表示されている表示部１７ａ上の実座標output(xout,yout)に変換することになるが、この図５によっては、先ず、ｙ座標を変換する場合を説明する。
この場合、実座標のｙ座標（yout）は、図５（ａ）に示される補正枠情報としての台形の高さheight_imgと、図５（ｂ）に示される表示画面１７ａの縦方向の幅height_dspとの比率により求めることができる。つまり、実座標のｙ座標（yout）は、
yout=(yin-YA)＊height_dsp/height_img・・・（式１）
として示される式によって算出することができる。
【００４７】
続いては、ｘ座標を求めることになるのであるが、このためには、先ず、補正枠情報と表示画面１７ａとのｘ軸方向（横方向）の位置を、所定の基準線に対して合わせるようにされる。図６は、この基準位置合わせについて模式的に示している。
先ず、図６（ｂ）に示される表示画面１７ａは、頂点Ｗ，Ｘ，Ｙ，Ｚから成る長方形として示されるが、この表示画面１７ａの基準線としては、辺ＷＸの中点Ｍ0と、辺ＺＹの中点Ｍ1を結ぶ中線Ｍ0-Ｍ1とすればよい。
【００４８】
これに対して図６（ａ）に示す補正枠情報の基準線ＸＮであるが、この補正枠情報としての台形は、前述もしたように必ずしも等脚台形ではない。そこで、補正枠情報の辺ＡＢ上の点Ｎ0と、辺ＣＤ上の点Ｎ1とを結んで形成されるべき基準ＸＮとしては、当該補正枠情報の頂点Ａ，Ｂ，Ｃ，Ｄの各ｘ座標(XA，XB，XC，XD)を用いて、
ＸＮ＝(XA＋XB＋XC＋XD)/4・・・（式２）
で表される式により求めるようにされる。
【００４９】
そして、上記のようにして補正枠情報の基準線ＸＮを求めた上で、画像内座標のｘ座標(xin)から実座標のｘ座標(xout)への変換を行うようにされる。図７は、このｘ座標の変換を模式的に示すものである。
【００５０】
ここで、補正枠情報である台形ＡＢＣＤにおいて、ｙ座標(yin)を通過する高さ位置における幅をwidth_imgとすると、実座標のｘ座標(xout)は、この台形ＡＢＣＤ（補正枠情報）の幅width_imgと、表示画面１７ａの横方向の幅width_dspとの比率により決定するといえる。
しかしながら、補正枠情報である台形ＡＢＣＤの幅width_imgは、ｙ座標(yin)の値によって可変となってしまうので、次のようにして算出することとした。
つまり、辺ＤＡ上にある点についてのｙ座標(yin)のときのｘ座標を「ｘ0」とし、辺ＢＣ上にある点についてのｙ座標(yin)のときのｘ座標を「ｘ1」として、
x0=(XD-XA)＊(yin-YA)/height_img+XA
x1=(XB-XC)＊(yin-YA)/height_img+XC
width_img=x1-x0・・・（式３）
として表される式により求めるようにされる。そして、このようにして求めたwidth_imgの値を利用すれば、実座標のｘ座標(xout)については、
xout=(xin-XN)＊width_dsp/width_img+width_dsp/2・・・（式４）
のようにして算出できることになる。
このように、図５〜図７により説明したようにして演算処理を行えば、撮像画像における表示画面領域１７ａ−１内の画像内座標input(xin,yin)を、現実の表示部１７ａ上の実座標output(xout,yout)に変換することができる。
なお、これら図５〜図７により説明した座標変換の処理は、あくまでも一例であって、例えば他の演算式を用いた処理とされても構わないものである。
【００５１】
３−２．音声信号に基づく疑似ボタン操作に必要な処理
３−２−１．音声信号の認識／解析処理例
続いては、本実施の形態の「疑似タッチパネル操作」として、「疑似ボタン操作」についての説明を行うこととする。
本実施の形態における「疑似ボタン操作」とは、前述もしたように、ユーザが、表示画面１７ａに対してポインタを直接接触させながら操作を行うことに伴って発生する接触音に基づいて、マウスの左ボタン操作に対応する操作情報を発生させるものである。このためには、
(1)マイクロフォン２３にて収音された音声のうちから、上記したポインタ操作による「接触音」としての音声信号成分を認識する音声信号成分認識処理、
を行う必要がある。この音声信号成分認識処理によって、例えば「接触音」と、ユーザの発話音声などの他の音声信号成分と区別することができるものである。そして、このようにして「接触音」の音声信号成分を認識したうえで、
(2)ユーザのポインタ操作によって生じる接触音の発生状態について解析を行う解析処理、
を行うようにされる。つまり「接触音」の発生状態を認識し、この認識結果に応じて、マウスの左ボタン操作としてどのような操作が行われたものとするのかを決定する。
【００５２】
先ず上記処理(1)としての音声信号成分認識処理であるが、本実施の形態としては、予めの初期設定で、「接触音」としての音声信号成分の周波数帯域特性を、解析処理に用いるべき音声信号成分として登録しておくこととする。
例えばユーザは、所定操作によって、解析処理に用いるべき音声信号成分を登録するための登録モードを設定する。そして、この登録モードの下で、ユーザは、少なくとも、表示画面１７ａを叩いたり、また、表示画面１７ａを擦るなどして音を出す。このようにして出てくる音は、マイクロフォン２３にて収音されてパーソナルコンピュータ１０に入力される。パーソナルコンピュータ１０では、画像／音声認識ドライバ１８ａのプログラムに従ってその周波数帯域特性を検出し、この検出した周波数帯域特性を、解析処理に用いるべき音声信号成分として登録するようにされる。
そして、表示画面１７ａに対して実際にポインタによる接触操作が行われているときには、この接触操作によって生じる接触音がマイクロフォン２３によって収音されて音声信号として取り込まれることになるが、パーソナルコンピュータ１０では、この音声信号に対して、上記のようにして登録された周波数帯域のみを通過させるようにしてフィルタ処理を施す。これにとって接触音としての音声信号成分のみが抽出される。つまり、処理(1)としての音声信号成分認識処理を行ったこととなる。
【００５３】
そして、上記処理(2)としての解析処理は次のようにして実行される。この解析処理を、図８により模式的に示す。
例えばパーソナルコンピュータ１０では、ユーザの表示画面１７ａに対する接触操作により生じた「接触音」の音声信号成分を、マイクロフォン２３から入力された音声信号から分離抽出する。そして、この音声信号成分を解析するのにあたっては、接触音の音声信号成分のレベルに対して、２種類の閾値を設定する。つまり、図８（ａ）に示すようにして、０レベルを基準として、所定の絶対値レベルによる第１の閾値±ｔｈ０と、この第１の閾値±ｔｈ０よりも大きいとされる所定の絶対値レベルによる第２の閾値±ｔｈ１を設定する。
この場合、図８（ａ）の右側に示されているように、第１の閾値±ｔｈ０より小さな絶対値レベルの範囲は、「接触音」は無音状態であるものとして認識する。また、第１の閾値±ｔｈ０以上で、かつ、第２の閾値±ｔｈ１よりも小さな絶対値レベルの範囲では、「接触音」は弱音であるものとして認識する。さらに、第２の閾値±ｔｈ１以上の絶対値レベルは強音であるとして認識する。
【００５４】
図８（ａ）に示す波形は、ユーザが表示画面１７ａに対して接触操作を行ったことで得られた接触音の音声信号成分とされる。パーソナルコンピュータ１０では、この接触音の音声信号成分のレベルについて、第１の閾値±ｔｈ０及び第２の閾値ｔｈ１と比較を行うようにされる。
例えば、この図８（ａ）に示す波形として、区間Ａでは、第１の閾値±ｔｈ０と第２の閾値ｔｈ１の間にピークレベルが得られている。そこで、この場合には図８（ｂ）に示すようにして、接触音として弱音が発生したと判定することになる。また、区間Ｂにおいては第２の閾値ｔｈ１以上のピークレベルが得られているので、接触音として強音が発生したと判定する。また、区間Ｃにおいても、第１の閾値±ｔｈ０と第２の閾値ｔｈ１の間にピークレベルが得られていることから、弱音が発生したと判定することになる。また、区間Ａと区間Ｂとの間、及び区間Ｂと区間Ｃとの間は、０レベル若しくは第１の閾値±ｔｈ０より小さな絶対値レベルの波形となっているので、無音であるとして判定される。
このようにして、本実施の形態の接触音についての解析としては、接触音のレベルについての判定を行うものとしている。
【００５５】
また、このような接触音レベルと閾値との比較は所定の時間ｔごとに行われるものとされ、この時間ｔごとの区間で、無音、弱音、強音の三段階の判定を行うようにされる。従って、図８（ｂ）によると、区間Ａでは、時間ｔ×２の時間長で弱音であることを判定した場合が示されていることになる。また、区間Ｂでは、時間ｔ×４の時間長にわたって強音であることを判定した場合が示されている。さらに区間Ｃでは、時間ｔ×９の時間長にわたって弱音であることを判定していることになる。本実施の形態では、このような音レベルの判定の時間長も解析結果の１つとして扱われる。
【００５６】
３−２−２．解析結果に応じた状態遷移
そして、上記図８（ａ）（ｂ）により説明したようにして得た、接触音についての解析結果に基づいては、例えば図９に示すようにしてマウスの左ボタンへの対応がとられる。図９には、接触音の発生状態に応じてのマウス左ボタン操作の状態遷移が示される。
例えば先ず、接触音の入力を待機している状態で、無音状態とされている場合には、ステップＳ１に示すように無反応の状態で何のアクションも起こさない。そして、例えばこのステップＳ１の状態のもとから、弱音の発生したことが判定されると、ステップＳ２として示すように、マウスの左ボタンを押した状態に遷移することになる。そして、例えばこの弱音の発生が所定時間以内に終了して無音の状態に変化したとすれば、ステップＳ３に示すようにして、左ボタンを離した状態に遷移する。つまり、短時間とされる所定期間内において弱音が発生したとされる場合には、上記ステップＳ２→Ｓ３の処理が実行される結果、マウスの左ボタンを短時間のうちに押して離す操作が行われたとして扱うことになる。つまり、ワンクリックの動作が得られたものとして扱う。図８においては、例えば区間Ａとしての解析結果がこれに対応する。つまり、時間ｔ×２という比較的短時間において弱音が発生していることで、図８（ｃ）に示すように、この区間Ａは、クリック操作が発生しているものである。
【００５７】
これに対して、ステップＳ２でマウスの左ボタンを押したとしてアクションを起こした状態から、弱音がそのまま或る時間以上継続したとされる場合には、ステップＳ４に示すようにして、マウスの左ボタンを押したままの状態が継続されているものとして扱う。そして、このステップＳ４に対応する状態として、ユーザが表示画面１７ａ上に対してポインタを接触させながら移動させているのであれば、これがドラッグ操作とされることになる。そして、このステップＳ４の状態のもとで無音に変わったとすれば、ステップＳ３として示すように、左ボタンが離されたとする状態に遷移し、例えばこれまでドラッグ操作を行っていたとすれば、このドラッグ操作が解除される。
なお、図８の場合には、このようなドラッグ操作は、区間Ｃが対応することになる。この区間Ｃでは、弱音が時間ｔ×９という比較的長時間にわたって継続されており、従って、図８（ｃ）に示すようにしてドラッグ操作が発生することになる。
【００５８】
また、ステップＳ２により左ボタンを押していたとされる弱音発生の状態から、強音に変化したとされる場合には、ステップＳ５に遷移し、ダブルクリックが行われたものとして扱うことになる。なお、このステップＳ５の状態の後、強音が継続する、または、弱音に変化したとしてもステップＳ６に示すようにして、無反応の状態に遷移するようにして、ダブルクリック操作が確実に行われるように配慮している。また、この後、無音の状態となれば、ステップＳ１としての無反応の状態に遷移する。
【００５９】
また、ステップＳ１の無音に対応した無反応の状態の下で、強音の状態に変化したとされると、ステップＳ７に遷移してダブルクリックが行われたものとみなすことになる。そして、この場合にも、その後において強音が継続する、または、弱音に変化したとしてもステップＳ８として示すように、無反応の状態に遷移させるようにしている。また、ステップＳ８の状態から無音の状態に戻れば、ステップＳ１としての無反応の状態に遷移させるようにしている。
なお、図８において、上記ステップＳ５若しくはステップＳ７のダブルクリック操作は、区間Ｂが対応することになる。区間Ｂでは、時間ｔ×４の期間にわたって強音が発生しているが、例えば最初の時間ｔ×２の期間に対応してダブルクリック操作が発生している。そして残る以降の時間ｔ×２の期間に対応しては無反応の状態としているものである。
【００６０】
本実施の形態では、例えば上記図８及び図９により説明した接触音の解析と、この解析結果に基づいたマウスの左ボタン操作としての状態遷移を実行することで「疑似ボタン操作」を実現するものとしているのであるが、これは、具体的には、次のような態様によって接触操作を行ってもらうことを想定しているものである。
ユーザのポインタを用いた表示画面１７ａに対する接触操作として、接触音が発生するような操作がどのようなものであるのかを考えてみると、おおきくは、表示画面１７ａ上を叩く操作と、表示画面１７ａ上を擦るようにして移動させる操作とに分けることができる。表示画面１７ａ上を叩いた場合には、その叩く強さに応じた大きさの打音が生じることになるし、表示画面１７ａ上をポインタにより擦る場合には、表示画面１７ａをポインタがすることで、或る程度の大きさの摺音が生じることとなる。
【００６１】
そこで、先ず、クリック操作については、ユーザには、表示画面１７ａを軽く叩くようにしてもらうこととする。これによって、接触音としては、短い弱音が生じることとなって、例えば先の図９のステップＳ２→Ｓ３の流れにより説明したようにしてクリック操作を発生させることができる。
また、ドラッグ操作は、上記のようにして表示画面１７ａ上のドラッグ開始位置を軽く叩くようにしてポインタを接触させ、この接触した状態のまま、ポインタをドラッグさせたいとする任意の方向に移動させることとする。このようにすれば、先ず、ドラッグ開始位置を軽く叩くことで打音としての弱音が生じ、続いては表示画面１７ａ上を擦ることによる弱音が発生することになるので、図９のステップＳ２→Ｓ４の流れによるドラッグ操作としての状態遷移を得ることができる。
そして、ダブルクリック操作は、表示画面１７ａ上を強く叩いてもらうこととする。この場合、接触音としては強音が発生することになるので、図９のステップＳ７、若しくはステップＳ５により説明したダブルクリック操作への状態遷移が得られるものである。
【００６２】
なお、上記のようにして、ユーザに行ってもらうべき操作に応じて左ボタンクリック操作をシミュレートすることを前提とすれば、図８に示される無音・弱音・強音を判定するための第１の閾値±ｔｈ０、及び第２の閾値ｔｈ１は、ユーザによって任意に可変設定できるようにすることが好ましい。
つまり、表示画面１７ａを叩いたり、擦ったりするときに出てくる接触音の音量はユーザごとに異なるものであり、また、マイクロフォン２３の感度も、実際に使用されるマイクロフォンとしての装置に応じて異なってくる。また、表示画面１７ａとしての表面の材質などの物理的構造によっても接触音の音量は異なってくるものである。そこで、このような条件の相違に応じて、ユーザにとって最も操作しやすい状態が得られるように、第１の閾値±ｔｈ０及び第２の閾値±ｔｈ１を設定すれば、より正確な操作に対する反応が得られることになる。
【００６３】
４．疑似タッチパネル操作時の処理動作
４−１．画像／音声認識ドライバのソフトウェア構成例
続いては、これまでの説明を踏まえて、実際の疑似タッチパネル操作（ポインタによる表示画面１７ａに対する接触操作）に対応した処理動作について説明を行っていくこととする。
そこで先ず、本実施の形態の疑似タッチパネル操作を実現するためのプログラムである、画像／音声認識ドライバ１８ａのプログラム構成について図１０を参照して説明しておくこととする。
【００６４】
図１０は、画像／音声認識ドライバ１８ａのプログラム構成を模式的に示している。そして、画像／音声認識ドライバ１８ａとしては、この図１０に示すようにして、おおきくは画像／音声認識モジュール部３０と、マウスインターフェイスアプリケーション６０とに分けられる。
【００６５】
そしてまた、この画像／音声認識モジュール３０としては、音声認識モジュール部４０と画像認識モジュール部５０とから成る。
音声認識モジュール部４０は、マイクロフォン２３（２３Ａ）から入力された音声信号を取り込んで、例えば図８に示した接触音についての解析処理を実行するためのプログラム部分である。このために、オーディオキャプチャモジュール４１、オーディオ解析モジュール４２を備える。
【００６６】
オーディオキャプチャモジュール４１によっては、マイクロフォン２３（２３Ａ）から入力されたアナログ音声信号について、解析処理に適合する所要の形式のオーディオデータに変換し、オーディオ解析モジュール４２に渡す。
オーディオ解析モジュール４２によっては、図８により説明した解析処理を実行する。つまり、オーディオキャプチャモジュール４１から受け取ったオーディオデータから、予め登録された接触音の周波数特性の信号成分を抽出するためのフィルタ処理を実行する。続いて、このフィルタ処理によって抽出された接触音の周波数信号成分のレベルについて、時間ｔごとの間隔で以て、予め設定された第１の閾値±ｔｈ０及び第２の閾値±ｔｈ１との比較を行って、無音、弱音、強音の３段階による判定を行う。そして、このようにして時間ｔごとに判定される無音、弱音、強音についての判定結果をマウスインターフェイスアプリケーション６０のボタン操作発生モジュール６２に対して渡す。
【００６７】
また、画像認識モジュール部５０は、カメラ部２２から入力された撮像画像としての画像信号について認識処理を行ってポインタの座標情報を取得する機能を与えるもので、このために、ビデオキャプチャモジュール５１、座標変換モジュール５２としてのプログラムにより構成される。
ビデオキャプチャモジュール５１は、カメラ部２２から入力された撮像画像のビデオ信号を取り込み、所要の形式によるフレーム単位のビデオデータに変換する。そして、このビデオデータをＲＡＭ１３の所定領域にフレーム単位で書き込みを行う。
そして座標変換モジュール５２によっては、上記のようにしてフレーム単位でＲＡＭ１３に書き込まれたビデオデータから、例えば図３に示した枠情報の認識を行い、さらに、図４に示した枠情報の台形補正処理を行うようにされる。そのうえで、先ず、後述するようにしてポインタの先端位置を認識する。ポインタの先端位置とは、即ちポインタとしての指やポインタペンの先端位置であって、実際には、ポインタが指し示す表示画面１７ａ上の位置に対応する。なお、ポインタ先端位置の認識処理については後述する。
そして、このようにして撮像画像上でのポインタ先端位置（画像内座標：図５（ａ）参照）が認識されると、図５〜図７にて説明したようにして所定の演算処理を行って、実際の表示画面１７ａ上の座標（実座標：図５（ｂ）参照）に対応させるための座標変換処理を実行する。この座標変換処理によって得た座標の情報は、マウスインターフェイスアプリケーション６０におけるカーソル位置情報発生モジュール６３に対して渡すようにされる。
【００６８】
このようにして、画像／音声認識モジュール３０からマウスインターフェイスアプリケーション６０に対しては、音声認識モジュール４０からのオーディオ信号の解析結果と、画像認識モジュール部５０からの座標変換処理によって得られ座標情報とが受け渡されることになる。
そして、マウスインターフェイスアプリケーション６０内のボタン操作情報発生モジュール６２によっては、画像／音声認識モジュール３０から受け取った解析結果に基づいて、接触音についての無音・弱音・強音の発生の状態遷移を認識し、この認識結果に応じて、図９に示したようにして、マウスの左ボタンの押圧／解除としての操作情報に変換し、操作情報伝達モジュール６１に受け渡す。
また、マウスインターフェイスアプリケーション６０内のカーソル位置情報発生モジュール６３によっては、画像認識モジュール部５０から受け取った座標情報を、現在のカーソル位置の座標として設定するための処理を実行し、このカーソル位置座標の情報を操作情報伝達モジュール６１に渡す。
【００６９】
操作情報伝達モジュール６１によっては、上記のようにして受け渡されたマウスの左ボタンの押圧／解除の操作情報と、カーソル位置の座標を、ＯＳが処理可能な操作情報に変換して、ＯＳに受け渡すようにされる。ＯＳでは、この操作情報を受け取ることで、ＧＵＩ上でのカーソル移動表示、及びクリック、ダブルクリック操作に応じた表示の変更、及び所要の情報処理を実行する。例えばクリックに応じたＧＵＩ上でのアクティブウィンドウの切り換えや、ダブルクリックに応じたファイルのオープンや、アプリケーションの起動などを行う。
【００７０】
４−２．フローチャートによる処理動作例
続いては、上記図１０に示したプログラム構造による画像／音声認識ドライバ１８ａに基づく処理動作として、ユーザが表示画面１７ａに対して疑似タッチパネル操作を行っているときに対応した処理を、図１１〜図１４を参照して説明する。
【００７１】
図１１は、疑似タッチパネル操作時に対応した画像／音声認識ドライバ１８ａに従った処理として、図１０により説明した画像認識モジュール５０、音声認識モジュール４０、マウスインターフェイスアプリケーション６０がそれぞれ実行すべき処理を並列的に示している。なお、確認のために述べておくと、図１１に示す処理は、ＣＰＵ１１が画像／音声認識ドライバ１８ａとしてのプログラムに従って実行するものとなる。
【００７２】
ここでは先ず、画像認識モジュール５０に従った処理から説明する。ここでは先ず、ビデオキャプチャモジュール５１の処理として、ステップＳ１０１に示すように、ビデオ信号についての取り込み処理を実行する。つまり、カメラ部２２から入力される撮像画像のビデオ信号を、以降のポインタ検出及び座標変換処理に適合する所定形式による画像データに変換して、例えばＲＡＭ１３の所定領域に対して、フレーム単位で順次書き込みを行っていく。
【００７３】
続くステップＳ１０２以降の処理は、座標変換モジュール５２に従った処理となる。
ステップＳ１０２においては、上記のようにしてＲＡＭ１３に書き込まれたフレーム単位の撮像画像のビデオ信号から、ポインタを検出する。なお、ここでいうポインタとは、これまでの説明からも分かるように、ユーザが表示画面１７ａに対する疑似タッチパネル操作を行うのに使用すべき物理的存在であり、例えば、ユーザ自身の指、若しくは細い棒状のポインタペンなどである。また、ここでのポインタの検出とは、最終的には、撮像画像上においてポインタにより指し示す点としての位置、つまり、ポインタの先端部の位置（座標）を検出することをいう。
そして、このステップＳ１０２の処理は、例えば図１２のフローチャートに示すようにして実行される。
【００７４】
図１２の処理についての説明を行うのにあたって、ポインタに関する初期設定について説明しておく。
図１２に示すポインタの検出処理により適正にポインタが検出されるためには、予めポインタの色を把握していることが必要とされる。そこで、本実施の形態としての疑似タッチパネル操作を行うのに先立っては、初期設定時において、ポインタの色情報を登録するようにされる。
このためには、例えばユーザは、所定操作によってポインタ色情報の登録モードとする。この登録モードでは、カメラ部２２による撮像画像をパーソナルコンピュータ１０の表示画面１７ａに表示するようにしている。そして、この状態の下で、例えばユーザは、ポインタとして自身の指を使うのであれば、自身の指をカメラ部２２により撮像して表示画面１７ａに表示させる。また、ポインタペンなどの物体をポインタとして使用するのであれば、このポインタペンが表示画面１７ａに表示されるようにする。
【００７５】
そして、ユーザは上記のようにしてカメラ部２２により撮像して表示画面１７ａに表示させているポインタの画像領域内に対して、色取得用のカーソルを配置させ、登録操作を行う。これにより、色取得用のカーソルが指し示していた位置の撮像画像領域の色情報が、ポインタ色情報として登録されることになる。例えばポインタがユーザの指なのであれば、この指についての肌色としての色情報が登録されることになり、また、ポインタがポインタペンであるとしてその色が青色であれば、その青色が色情報として登録されることになる。
【００７６】
そして、図１２に示すポインタ検出処理は次のようにして行われる。
先ず、ステップＳ４０１においては、ＲＡＭ１３に書き込まれたフレーム単位の撮像画像データについて、予め設定された所定の複数種類の色領域に分割する。
ここでいう「複数の色領域」とは、例えば図１３に示すようにしてＹＵＶ（輝度・色差）色度空間上で表現される色を、複数の所定の領域ごとに区分して得られる複数の領域をいう。
【００７７】
続くステップＳ４０２においては、上記ステップＳ４０１によって分割された色領域ごとに、前述のようにして登録されたポインタ色情報に対応する登録色領域との比較を行う。
登録色領域は、例えばポインタがユーザの指であるとして、前述のようにして登録されたポインタ色情報が或る肌色としての色情報とされている場合には、図１３において斜線で示されるように、この肌色としてのポインタ色情報に対応した＋Ｙ、−Ｕ、−Ｖ象限における一定範囲の領域を、登録色領域Ｒとして設定する。なお、この登録色領域Ｒの設定は、例えばポインタ色情報の登録時に行われればよい。
【００７８】
そして次のステップＳ４０３においては、上記ステップＳ４０２における比較結果として、撮像画像としてのフレーム画像領域内において、登録色領域Ｒが存在するか否かについて判別する。ここで、登録色領域Ｒは存在しないとして否定結果が得られた場合には、このまま当該ステップＳ１０２としてのルーチンを抜けるのであるが、設定色領域Ｒが存在するとして肯定結果が得られた場合にはステップＳ４０４に進む。
【００７９】
ここで、ステップＳ４０３において肯定結果が得られる場合として、複数の異なる領域について、登録色領域Ｒが存在するとして判定される場合がある。このような場合には、これら複数の登録色領域Ｒのうち、或る１つの領域が実際にポインタを撮像して得られている登録色領域Ｒであると考えることができる。そして、本実施の形態では、判定された複数の登録色領域Ｒのうちで最大面積の登録色領域を、実際にポインタを撮像して得られた登録色領域Ｒとして特定することとした。このための処理がステップＳ４０４の処理となる。
【００８０】
つまり、ステップＳ４０４においては、ステップＳ４０３において存在している物と判定された複数の登録色領域Ｒうちで、最大面積の登録色領域Ｒを検出する。そして、検出した登録色領域Ｒを、撮像画像内におけるポインタの画像部分領域（ポインタ領域）として設定する。
なお、ポインタ領域を認識するのにあたっては、他の認識方法を用いたり、また、上記ステップＳ４０４としての認識方法を含む、他の認識方法を併用してもよいものとされる。例えば、ポインタは必要に応じて表示画面１７ａ上を移動するものであるから、必要に応じて動き検出処理を取り入れることなども考えられる。
【００８１】
次のステップＳ４０５においては、上記のようにして検出されたポインタ領域についての、撮像画像データにおける座標範囲を取得する。
ここで、図１４には、処理対象となっている撮像画像を示している。なお、この図においては、撮像画像内において、パーソナルコンピュータ１０のＰＣ画像部分１０−１として、表示画面領域１７ａが表示されている状態が示されている。ＲＡＭ１３には、このような画像状態の画像データがフレーム単位で書き込まれ、処理対象とされていることになる。
そして、例えばポインタとしてユーザが自身の指を使用しているとした場合、上記ステップＳ４０４までの処理によっては、ユーザの手の画像ＧＨとしての画像領域部分が、ポインタ領域の座標範囲として得られることになる。ここで、ユーザが指をポインタとして表示画面１７ａに対する接触操作を行っている場合、実際に指し示しているポイント位置となるのは、例えばユーザの人差し指の先端となるものである。従って、撮像画像上におけるポインタ領域の座標範囲からポイント位置としての点（座標）を特定するためには、この指先としての先端部Ｐｔの位置（座標）を検出すればよいこととなる。ステップＳ４０５に続くステップＳ４０６は、このための処理となる。
【００８２】
ここで、例えば実際のポインタ操作をユーザの指を例に考えると、ユーザは、例えば図１４のユーザの手の画像ＧＨを見ても分かるように、人差し指を上方向に向けた状態でポインティングの操作を行うことになる。なお、ポインタペンなどを使用する場合も、例えばポインタの先を上方向に向けるようにして操作を行うという点で同様である。そこで、ステップＳ４０６により先端部Ｐｔの位置（座標）を求めるのにあたっては、次のような処理を実行させることとする。
先のステップＳ４０５において取得した座標範囲の情報によっては、例えば撮像画像内におけるポインタの形状を特定することができる。そして、この特定された形状を形成する座標値群のうちから、例えば撮像画像データ内において最も画面上側に存在する座標値を、先端部Ｐｔの座標として取得するようにすることが考えられる。
あるいはまた、ポインタの座標範囲により特定される形状から、さらに、最も長く棒状に延びている画像部分の座標範囲を特定し、この棒状の画像部分を形成する座標値群のうちから、棒状の突端となる位置の座標を先端部Ｐｔの座標として取得するようにすることも考えられる。
【００８３】
説明を図１１に戻す。
上記図１２に示すステップＳ１０２としてのポインタ検出処理が実行された後は、ステップＳ１０３においてポインタが適正に検出されたか否かが判別される。つまり、ステップＳ１０２の処理によってポインタ領域及び先端部Ｐｔの座標が検出されたか否かについて検出する。ここで、例えば先に図１２に示した処理を実行した結果として、ステップＳ４０４以降の処理を実行しなかった場合には、ポインタが検出されなかったとして否定結果が得られることになる。この場合には、一旦この図に示す処理ルーチンを抜けて、再度ステップＳ１０１の処理に戻るようにされる。
これに対して、図１２に示した処理としてステップＳ４０４以降の処理が実行されて最終的に座標先端部Ｐｔの座標が得られていた場合には、ステップＳ１０３にて肯定結果が得られ、ステップＳ１０４に進むことになる。
【００８４】
ステップＳ１０４においては、先の図１２におけるステップＳ４０６によって取得された先端部Ｐｔの座標（画像内座標）を、表示画面１７ａにおける座標（実座標）に変換する処理を実行する。このための処理については、図５〜図７により説明したとおりである。そして、次のステップＳ１０５においては、上記ステップＳ１０４にて実座標を取得したことに対応して、マウスインターフェイスアプリケーション６０に対してイベントを発生させる。
【００８５】
画像認識モジュール５０に従った処理としては、例えばこのステップＳ１０１〜Ｓ１０５の処理をフレーム周期ごとに繰り返し実行するものである。これにより、例えば撮像画像内にポインタが存在していることが検出されている限りは、マウスインターフェイスアプリケーション６０に対してイベントが投げられることになる。そして、例えばポインタが移動を行えば、この移動に応じて変換する実座標が取得されるごとにイベントが発生することになる。
【００８６】
続いては、図１１における音声認識モジュール４０に従った処理について説明する。この処理は、図１１における左側のステップＳ２０１〜Ｓ２０３の処理として示されている。
先ず、ステップＳ２０１においては、ビデオキャプチャモジュール４１の処理として、オーディオ信号についての取り込み処理を実行する。つまり、例えばマイクロフォン２３（２３Ａ）により収音されることで入力されてくるオーディオ信号について、必要があればデジタル信号への変換処理を実行したうえで、以降の解析処理に適合した所要のオーディオデータに変換する。そして、例えばＲＡＭ１１に確保した作業領域に対して逐次書き込みを行っていくものである。
【００８７】
そして、続くステップＳ２０２以降の処理がオーディオ解析モジュール４２に従っての処理となる。ステップＳ２０２においては、図８により説明したようにして、解析処理を実行する。つまり、先ずは、入力されたオーディオデータについてフィルタリング処理を行って、予め設定された接触音の周波数帯域に対応する信号成分のみを分離抽出する。そして、この抽出された接触音の信号成分のレベルについて、予め設定された閾値（第１の閾値±ｔｈ０及び第２の閾値±ｔｈ１）との比較を行う。また、その比較結果として、無音、弱音、強音の三段階による解析結果を得るようにされる。なお、このような解析処理は、図８にても説明したように、所定の時間ｔごとのタイミングで行われる。
そして、次のステップＳ２０３により、上記ステップＳ２０２にて解析結果の情報（無音、弱音、強音）を得たことを示すイベントを、マウスインターフェイスアプリケーション６０に対して発生させる。
【００８８】
続いては、マウスインターフェイスアプリケーション６０に従った処理動作について説明する。この処理は、図１１において中央のステップＳ３０１〜Ｓ３０７の処理として示されている。
先ず、ステップＳ３０１〜Ｓ３０２の処理は、カーソル位置情報発生モジュール６３に従っての処理となる。
ステップＳ３０１においては、画像認識モジュール５０に従ってステップＳ１０５にて発生したとされるイベントを受け取るのを待機している。ここで、画像認識モジュール５０からのイベントを受け取るまでは、ステップＳ３０２→Ｓ３０２の処理をスキップしてステップＳ３０３の処理に移行するようにされるが、ステップＳ３０１にてイベントを受け取ったとして肯定結果が得られた場合にはステップＳ３０２に進む。
【００８９】
ステップＳ３０２においては、先のステップＳ１０４にて取得されたとするポインタの実座標の情報を取り込むための処理を実行する。そして、続くステップＳ３０３において、取り込みを行ったポインタの実座標の情報に対応させて、カーソル位置情報を発生させる。この後は、ステップＳ３０４に進むこととしている。
【００９０】
ステップＳ３０４〜Ｓ３０６は、ボタン操作情報発生モジュール６２に従った処理である。
ステップＳ３０４においては、音声認識モジュール４０としての処理に従ってステップＳ２０３により発生したとされるイベントの受け取りを待機している。ここで、ステップＳ３０４において、イベントを受け取っていないと判別された場合にはステップＳ３０５→Ｓ３０６の処理をスキップしてステップＳ３０７の処理に移行する。これに対してステップＳ３０４においてイベントを受け取ったとして肯定結果が得られたのであればステップＳ３０５に進む。
【００９１】
ステップＳ３０５においては、先のステップＳ２０２にて得られたとされる解析結果（無音、弱音、強音）について取り込みを行う。そして、次のステップＳ３０６の処理によっては、上記ステップＳ２０２により取り込んだ解析結果に基づいて、無音・弱音・強音の発生の状態遷移を認識したうえで、図９に示したマウスの左ボタンの押圧／解除としての操作情報を発生させる。そして、ステップＳ３０７の処理に移行する。
【００９２】
ステップＳ３０７の処理は、操作情報伝達モジュール６１に従っての処理となる。
つまり、ステップＳ３０７の処理は、上記ステップＳ３０３及びＳ３０６により発生したとされる、現在のカーソル位置情報及び左ボタン操作情報を、ＯＳによって処理可能な構造のデータに変換して、ＯＳに受け渡すための処理を実行する。この受け渡された情報に応じて、ＯＳ上では、ＧＵＩ操作に対応した各種処理が実行されるのは、図１０の説明において述べたとおりである。つまり、マウスの移動に相当する操作と、マウス左ボタン押圧／解除に相当する操作とに応じた処理を実行することになる。
【００９３】
これまでの説明のようにして本実施の形態の疑似タッチパネル操作が実現されることで、例えば、タッチパネル付きの表示デバイスを用意しなくとも、表示画面に対して直接的に触れて操作を行う、タッチパネル的な操作が容易に実現されることになる。タッチパネル操作は、例えばマウス操作や、いわゆるウェアラブルコンピューティングの発想に基づいた操作とは異なり、直感的な操作であるので、より使い勝手の良いＧＵＩに対する操作が行えることになる。
【００９４】
そして、本実施の形態の場合において、このような疑似タッチパネル操作を実現するのにあたっては、ユーザは、画像／音声認識ドライバ１８ａをインストールした汎用的なパーソナルコンピュータと、カメラ装置及びマイクロフォンのみでよいこととなる。カメラ装置としては、例えばこれまでに広く普及しているパーソナルコンピュータ用のＣＣＤカメラなどを流用すれば良く、また、マイクロフォンも従来から普及している一般のものを用いればよい。また、特にマイクロフォンについては、パーソナルコンピュータに内蔵されているのであれば、これを用いても充分に実用に耐えうる。このため、ユーザは、経済的負担をさほど気にすることなく、必要な機器を揃えることができる。例えば、タッチパネル付きのディスプレイ装置は、現状においては非常に高価であるが、本実施の形態の場合であれば、より手軽にタッチパネル的操作が行えるシステムを得ることができる。
【００９５】
さらに本実施の形態においては、音声認識として表示画面１７ａに対する「接触音」を認識するようにしている。例えば、ユーザが発話した音声に応じてＧＵＩ制御を実行させる構成が知られているが、この場合には、ユーザは、不用意に発話することができないので、例えば操作中には会話などが充分にできないことになるが、本実施の形態の場合には、例えば発話音声とは、全く異なる周波数帯域特性等を有する「接触音」に基づいたＧＵＩ制御としていることで、上記のような問題は解消されることになる。
【００９６】
５．変形例（ポインティング操作のみによる疑似タッチパネル操作）
ところで、上記した本実施の形態としての疑似タッチパネル操作では、ユーザのポインタによるポインティング操作をマウスの移動操作に対応させ、また、このポインティング操作に応じた接触音の情報を「疑似ボタン操作」としてマウス左ボタン操作に対応させていた。
しかしながら、本実施の形態としては、上記した接触音の情報を用いなくとも、例えばクリックなどの「疑似ボタン操作」を実現することが可能である。以下、この点について、変形例として説明しておくこととする。
【００９７】
この場合の操作態様例について、先ず説明しておくこととする。
例えば、この場合においても、ユーザがポインタを用いて表示画面１７ａに対して接触操作を行ったときに、表示画面１７ａに接触しているポインタの先端部Ｐｔの座標が、最終的にカーソル位置情報として扱われるのは、上記実施の形態と同様である。従って、表示画面１７ａ上に接触するポインタが移動するのに応じて、そのポインタの先端部Ｐｔの位置（図１４参照）に合わせるようにして表示画面１７ａに表示されるカーソルは移動することとなる。
そして、この場合において、ユーザがクリック操作を行いたいと思った場合には、先ず、クリックしたいとするポイント位置にてポインタの先端部Ｐｔを一定時間以上停止させ、その後、例えば一旦表示画面１７ａから離すようにする。そしてこの後、同じクリックすべきポイント位置に対してポインタの先端部Ｐｔを戻すようにする。つまり、或る早さでもって、表示画面１７ａ上の同じ位置を１回叩くようにして操作する。
【００９８】
このような操作は、撮像画像上においては、或るポイント位置の座標にてポインタの先端部Ｐｔの動きが一時停止した後に動き、さらにこの後、一時停止していた位置の座標にポインタの先端部Ｐｔが位置するように見えることとなる。
そこで、例えば図１０に示した画像認識モジュール部５０及びマウスインターフェイスアプリケーション６０との連携によっては、フレームごとの撮像画像データにおけるポインタの先端部Ｐｔについて、動き検出を行うようにされる。そして、その動き検出結果として、
▲１▼ 或る座標Ａにて一定時間以上停止→▲２▼ この後座標Ａから離れるようにして先端部Ｐｔが移動→▲３▼ 先端部Ｐｔが、再び上記▲１▼の状態から一定時間以内に座標Ａに移動、
という状態遷移が得られたことが判定されたときに、座標Ａをクリック・ポイントとしてクリックが行われたものとして操作情報をＯＳに渡すようにされる。
なお、ダブルクリックについては、例えばクリックしたいとするポイント位置にてポインタの先端部Ｐｔを一定時間以上停止させた後、そのポイント位置を連続して二回叩いてもらうようにする。そして、これに応じた動き検出結果の条件
が得られたときにダブルクリックが行われたものとして扱うようにすればよい。
【００９９】
なお、本発明としての疑似タッチパネル操作を実現するための各種の処理はこれまでの説明に限定されるものではなく、適宜変更可能である。例えば、図３に示した枠情報の設定のための操作手順、また、図４〜図７により説明した座標変換処理のための演算の仕方などは、ほかにも考えられるものである。また、図８に示した接触音についての解析処理の内容、及び図９に示した解析結果に応じたマウス左ボタンの状態遷移も、実際にユーザに行ってもらうべき操作態様に応じて適宜変更されて構わない。例えば図８に示した解析処理では、接触音レベルについて、無音、弱音、強音の三段階による区分けを行っているが、例えば操作態様に応じては、二段階としたり、或いは四段階以上とすることも考えられる。さらには、図１０〜図１２に示した、疑似タッチパネル操作実現のためのプログラム構成及び処理動作についても、他の構成とすることが考えられるものである。
【０１００】
【発明の効果】
以上説明したようにして本発明は、表示画面を撮像して得られる撮像画像から、ポインタが指し示している表示画面上の位置であるポイント位置を認識して、この認識したポイント位置に応じて、ＧＵＩ操作に応答した所要の情報処理を実行するように構成されている。
このような構成であれば、例えば表示画面がタッチパネルとしての構造を採っていなくとも、タッチパネルと同様の操作を行うことが可能となる。
一般に、表示画面がタッチパネルとしての構造を有していなければ、マウス、トラックパッドなどの操作子を操作することになるのであるが、このような操作は、操作子がユーザの視界に無いこともあって必ずしも直感的な操作とはいえない。しかしながら本発明では、タッチパネル付きの表示画面でなくとも、直感的操作であるタッチパネル操作を可能としている。
また、このような本発明のタッチパネル的操作を実現するためのハードウェア構成としては、例えばパーソナルコンピュータなどの汎用の情報処理装置に対してカメラ装置（撮像装置）を備えればよい。つまり、高価で特殊な装置などは必要ないことから、ユーザとしては気軽にシステムを組めることにも成る。また、タッチパネル付きのコンピュータディスプレイなどは、相当に高価であることから、このようなコンピュータディスプレイを購入することと比較しても、本発明によるシステムは手軽に組むことができるものである。
【０１０１】
また、本発明としては、物理的なポインタが表示画面に接触することで生じる接触音をマイクロフォンによって収音して解析処理を行い、この解析処理の結果に基づいて、ＧＵＩ操作に応答した所要の情報処理を実行するようにされる。
この場合の操作としては、例えばカーソル移動のために表示画面上を擦るようにしてポインタを移動させたり、また、クリック／ダブルクリックのために表示画面上を叩いたりという、直感的な操作を行ってもらうことができる。
この発明によっても、タッチパネルの構造を有していない表示画面に対してタッチパネルと同様の操作が行えることになる。また、センサとしては、既に汎用的であり、安価で入手も容易なマイクロフォンとされている。これにより、上記したカメラ部をセンサとする発明の構成と同様の効果が得られることになる。
また、例えばユーザの発話音声により操作を行う構成が知られているが、この場合には、例えばユーザは、操作中には操作に関する内容しか話すことができないという不便さが伴う。しかしながら、本発明は、接触音に基づいたＧＵＩ制御となることから上記した問題は解消され、操作中においてはユーザは、自由に会話などをすることができる。
また、この接触音に基づいてＧＵＩ操作を実現する本発明は、上記した撮像画像から得たポイント位置に基づいてＧＵＩ操作を実現する発明と併用することで、より操作性の向上したＧＵＩ操作とすることもできる。
【図面の簡単な説明】
【図１】本実施の形態としての疑似タッチパネル操作システムの概要を示す斜視図である。
【図２】本実施の形態としてのパーソナルコンピュータの内部構成例を示すブロック図である。
【図３】枠情報を設定するための操作手順を示す説明図である。
【図４】枠情報についての台形補正処理を模式的に示す説明図である。
【図５】枠情報に存在する画像内座標を、表示画面上の実座標に変換するための処理例を模式的に示す説明図である。
【図６】枠情報に存在する画像内座標を、表示画面上の実座標に変換するための処理例を模式的に示す説明図である。
【図７】枠情報に存在する画像内座標を、表示画面上の実座標に変換するための処理例を模式的に示す説明図である。
【図８】接触音についての解析処理例を模式的に示す説明図である。
【図９】接触音についての解析結果に応じたマウス左ボタン操作の状態遷移例を示す説明図である。
【図１０】画像／音声認識ドライバのプログラム構造例を示すブロック図である。
【図１１】疑似タッチパネル操作時に対応する画像／音声認識ドライバに従っての処理動作を示すフローチャートである。
【図１２】画像認識モジュールに従った処理として、ポインタ検出処理例を示すフローチャートである。
【図１３】色領域を、ＹＵＶ色度空間により表した説明図である。
【図１４】カメラ部により撮像された撮像画像として、ポインタとしてのユーザの手の画像部分が現れている状態を示す説明図である。
【図１５】本実施の形態の疑似タッチパネル操作システムについての他の構成例を示す説明図である。
【図１６】タッチパネルの構造例を模式的に示す説明図である。
【符号の説明】
１０ パーソナルコンピュータ、１１ ＣＰＵ、１７ ディスプレイモニタ、１７ａ 表示画面、１８ ＨＤＤ、１８ａ 画像／音声認識ドライバ、２２ カメラ部、２３（２３Ａ） マイクロフォン、３０ 画像／音声認識モジュール、４０ 音声認識モジュール部、４１ オーディオキャプチャモジュール、４２ オーディオ解析モジュール、５０ 画像認識モジュール部、５１ ビデオキャプチャモジュール、５２ 座標取得モジュール、６０ マウスインターフェイスアプリケーション、ＣＲ１〜ＣＲ４ 画隅指定カーソル、
【発明の属する技術分野】
本発明は、情報処理装置、情報処理システム、及びプログラムに関するものであり、特にグラフィカルユーザインターフェイスに対して行われた操作に応じて所要の情報処理を実行する情報処理装置、情報処理システムに、及びこれらの装置、システムにより実行すべきプログラムに関する。
【０００２】
【従来の技術】
従来から、表示画面に表示されたＧＵＩ画像に対して、直接、指やポインタペンなどによって画面に直接触れることで操作が可能なように、表示画面に対してタッチパネルを設けたものが広く知られている。
このようなタッチパネルとして、いわゆる感圧式のタッチパネルの構造例を図１６に簡略に示す。
図１６（ａ）（ｂ）に示すように、感圧式のタッチパネルは、上部電極１０１と下部電極１０２とを、スペーサ１０３を介して対向するように配置させた構造を採る。下部電極１０２は、例えばガラス基板に対して銀電極を形成するようにして構成され、上部電極１０１は、ＰＥＴフィルムなどに対して抵抗膜を形成することで構成される。そして、上記銀電極及び抵抗膜からはそれぞれ、導線が引き出されているものである。
そして、例えばユーザの指やポインタペンなどによって、上部電極１０１側の或る位置を押圧すると、この押圧力によって生じたＰＥＴフィルムのたわみによって上部電極１０１の抵抗膜が下部電極１０２の銀電極に接触する。この接触した位置に応じて変化する抵抗値等を検出することによって、操作位置の検出が行われるものである。
【０００３】
【発明が解決しようとする課題】
ところで、例えばパーソナルコンピュータなどの情報処理装置におけるＧＵＩに対する操作としては、周知のようにして、マウスに代表されるポインティングデバイスが用いられている。
しかしながら、このようなポインティングデバイスによる操作では、ユーザは、ＧＵＩ画面を注視しながら、感覚的にポインティングデバイスに対する操作を行っていることになる。これは即ち、ユーザは、視界に入っていない装置を操作する必要があるので、必ずしも直感的で分かりやすい操作とはなり得ないという問題を有している。
【０００４】
そこで、マウスなどのこれまでに広く知られているポインティングデバイスに代わる操作情報入力の構成として次のような発明が提案されている。
先ず、特開２０００−１５４７９４号公報には、人の瞬きを利用して操作入力を行うようにした発明が開示されている。また、特開平１０−３１５０号公報では、歯の打ち合わせにて発生する音を音響センサで検出する発明が開示されている。しかし、これらの発明は何れも、いわゆるウェアラブルコンピューティングの観点によるもので、特別な機器を人体に装着する必要があり、人が普段行うことはない不慣れな行為を伴う操作となる。つまり、システム構成が特殊なものとなると共に、操作性も依然として直感的には成りにくいという問題を有している。
【０００５】
従って、直感的な操作を無理なく行えるという点では、前述したような、ＧＵＩ画面に対して直接的にポインティング操作を行うことのできるタッチパネル付きの表示画面とすることが良いことになる。
しかしながら、パーソナルコンピュータなどの情報処理装置において、タッチパネルによるＧＵＩ操作を実現しようとすれば、ユーザは、このようなタッチパネル付きのディスプレイを購入するなどして所有しなければならないことになり、ユーザにとっては面倒なこととなる。また、このようなディスプレイ装置は、高価であり経済的負担を伴うために、この点でも不都合を生じる。
【０００６】
また、直感的な入力操作という点から見た場合には、例えば特開平１０−１６１８０１号公報に示されているように、ユーザが発する音声により操作の指示を行うように構成することも考えられる。この場合には、システム構成としては、ユーザの音声を収音する汎用的なマイクロフォンを追加すればよい。しかし、この場合には、ユーザが発する音声を入力操作に利用するので、操作中は操作に関する内容しか発話できないという不便さが伴うことになる。
【０００７】
【課題を解決するための手段】
そこで、本発明は、できるだけ汎用的な装置から成る構成でありながらも、直感的な入力操作が簡便に行えるようにすることを目的として、先ず、情報処理装置として次のように構成することとした。
つまり、表示画面に対して画像を表示出力する表示手段と、撮像装置により撮像された撮像画像を取り込む画像取込手段と、上記画像取込手段により取り込まれた撮像画像における、上記表示画面の画像部分領域を枠情報として認識する画像部分認識手段と、上記枠情報の上底と下底の辺を平行として上記枠情報が台形となるように形状を補正する台形補正処理を行って、上記枠情報を補正枠情報とする枠情報補正処理手段と、上記画像部分認識手段が認識する画像部分領域内に存在するポインタの上記表示画面の接触操作によって指し示す位置を、上記補正枠情報に基づいて座標変換処理を行い、実際の上記表示画面上におけるポイント位置として認識するポイント位置認識手段と、上記ポイント位置認識手段により認識されたポイント位置に応じて、所要の情報処理を実行可能な情報処理手段とを備えることとした。
【０００８】
また、情報処理システムとして次のように構成することとした。
この発明としての情報処理システムは、少なくとも、撮像装置と情報処理装置とから成るものとしたうえで、撮像装置は、情報処理装置の表示画面全体を撮像可能な位置に設けることとする。
そのうえで上記情報処理装置は、
表示画面に対して画像を表示出力する表示手段と、撮像装置により撮像された撮像画像を取り込む画像取込手段と、上記画像取込手段により取り込まれた撮像画像における、上記表示画面の画像部分領域を枠情報として認識する画像部分認識手段と、上記枠情報の上底と下底の辺を平行として上記枠情報が台形となるように形状を補正する台形補正処理を行って、上記枠情報を補正枠情報とする枠情報補正処理手段と、上記画像部分認識手段が認識する画像部分領域内に存在するポインタの上記表示画面の接触操作によって指し示す位置を、上記補正枠情報に基づいて座標変換処理を行い、実際の上記表示画面上におけるポイント位置として認識するポイント位置認識手段と、上記ポイント位置認識手段により認識されたポイント位置に応じて、所要の情報処理を実行可能な情報処理手段とを備えることとした。
【０００９】
また、プログラムとしては次のように構成することとした。
つまり、情報処理装置の表示画面を撮像するように配置される撮像装置により撮像された撮像画像を取り込む画像取込手順と、上記画像取込手順により取り込まれた撮像画像における、上記表示画面の画像部分領域を枠情報として認識する画像部分認識手順と、上記枠情報の上底と下底の辺を平行として上記枠情報が台形となるように形状を補正する台形補正処理を行って、上記枠情報を補正枠情報とする枠情報補正処理手順と、上記画像部分認識手順が認識する画像部分領域内に存在するポインタの上記表示画面の接触操作によって指し示す位置を、上記補正枠情報に基づいて座標変換処理を行い、実際の上記表示画面上におけるポイント位置として認識するポイント位置認識手順と、上記ポイント位置認識手順により認識されたポイント位置に応じて、所要の情報処理を実行可能な情報処理手順と、を上記情報処理装置に実行させるように構成する。
【００１０】
上記各構成では、撮像装置により、情報処理装置の表示画面を撮影するようにしている。そして、撮像画像内に存在するポインタ（指やポインタペンなど）の指し示す位置を、実際に表示画面に表示されるグラフィカルユーザインターフェイス画像（ＧＵＩ画像）におけるポイント位置に変換する。そして、このポイント位置に応じて所要の情報処理が実行されるようにしている。これによっては、ユーザが表示画面に直接触れるようにしてＧＵＩ画面に対する操作を行えば、この操作に応じた情報処理が実行されることになる。つまりは、情報処理装置に対して撮像装置を備えることで、タッチパネル的な操作を可能としている。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について説明を行っていくこととする。以降の説明は次の順序で行う。
１．システム外観例
２．パーソナルコンピュータの構成例
３．疑似タッチパネル操作
３−１．撮像画像に基づくポインティング操作に必要な処理
３−１−１．表示画面枠の指定
３−１−２．表示画面枠の台形補正
３−１−３．座標変換処理
３−２．音声信号に基づく疑似ボタン操作に必要な処理
３−２−１．音声信号の認識／解析処理例
３−２−２．解析結果に応じた状態遷移
４．疑似タッチパネル操作時の処理動作
４−１．画像／音声認識ドライバのソフトウェア構成例
４−２．フローチャートによる処理動作例
５．変形例（ポインティング操作のみによる疑似タッチパネル操作）
【００１６】
１．システム外観例
図１は、本実施の形態としてのシステムの外観例を斜視図により示している。
この図１に示すパーソナルコンピュータ１０は、本発明の実施の形態としての情報処理装置とされる。この図では、パーソナルコンピュータは、いわゆるノートブック型とされており、内蔵のディスプレイモニタとしては液晶ディスプレイが採用されている。そして、この液晶ディスプレイとしての表示画面１７ａとしては、特にタッチパネルを備えていない通常の構造とされる。しかしながら、本実施の形態では、以降説明していくようにして、カメラ部２２により撮像される撮像画像、及びマイクロフォン２３により収音される音声を利用することで、この表示画面１７ａに表示されるＧＵＩ画像に対して、ユーザが指やポイントペンなどのポインタを直接接触させるようにして入力操作を行うことを可能としている。
【００１７】
このために、パーソナルコンピュータ１０に対しては、例えば図示するようにして、外付けのカメラ部２２を、取り付け具２２−１によって取り付けるようにされる。そして、このカメラ部２２は、撮像画像として、表示画面１７ａ全体が収まるようにして固定して配置される。
このカメラ部２２としては、カラー画像を撮影可能な構造を有しているものとされる。そして、例えばＣＣＤ(Charge Coupled Device)などの撮像素子を採用した小型のものが採用されればよい。また、カメラ部２２とパーソナルコンピュータ１０とは、例えばケーブル２２ａにより、パーソナルコンピュータ１０側の筐体に設けられている所定の入力端子と接続することで、カメラ部２２にて得られた撮像画像の信号が、パーソナルコンピュータ１０に入力されるようにする。なお、この場合の入力端子は、アナログ映像信号入力端子のほか、例えばＵＳＢ(Universal Serial Bus)端子やＩＥＥＥ１３９４端子などのデータインターフェイス端子をはじめとして各種考えられるものであって、特に限定されるものではない。
【００１８】
また、マイクロフォン２３も同様にして、ケーブル２３ａにより、例えばパーソナルコンピュータ１０側のオーディオ信号入力端子などの、マイクロフォン入力に対応した端子と接続するようにされる。これにより、パーソナルコンピュータ１０により、マイクロフォン２３により収音して得られた音声信号を入力することが可能になる。
ここで、本実施の形態では、ユーザが表示画面１７ａに対してポインタを直接接触させて操作したときに生じる音、例えば表示画面１７ａを叩いたり、擦ったりしたときの音をマイクロフォン２３により収音する必要がある。このため、マイクロフォン２３は、このような表示画面１７ａ上で生じる接触音が的確に収音できるような位置に設置される。また、表示画面１７ａ上で生じる接触音がより的確に収音されるべきことを考慮して、所要の指向性を有したマイクロフォン２３を利用するようにしても良い。
【００１９】
また、パーソナルコンピュータ１０として、はじめから内蔵マイクロフォン２３Ａを備えたような構成を採っている場合には、外付けのマイクロフォン２２に代えて、この内蔵マイクロフォン２３Ａを用いればよい。また、この点については、カメラ部２２についても同様である。つまり、パーソナルコンピュータ１０に対して予めカメラ部が取り付けられており、かつ、表示画面１７ａ全体を撮像できるように配置できる取り付け構造が採られているのであれば、このような備え付けのカメラ部を利用してよいものである。
【００２０】
また、この図１においては、本実施の形態の情報処理装置であるパーソナルコンピュータ１０は、ノートブック型のパーソナルコンピュータであることとしているが、いわゆるデスクトップ型のパーソナルコンピュータとされていても構わないものである。また、このようなデスクトップ型とされる場合において、ディスプレイモニタとしては、液晶ディスプレイに限定されるものではなく、ＣＲＴとされても構わないものである。
【００２１】
また、本発明としては、システム構成的にも図１に示した形態に限定されるべきものではない。
例えば、プロジェクタ装置とパーソナルコンピュータとを接続して、パーソナルコンピュータの画像をプロジェクタ装置によってスクリーンに表示させるシステムが知られているが、本発明としては、このようなプロジェクタ装置を備えたパーソナルコンピュータのシステムにも適用することができる。
図１５は、このようなプロジェクタ装置によりコンピュータの画像表示を行うシステムに本発明を適用した場合の構成例が示されている。
この場合のパーソナルコンピュータ１０は、例えばビデオ出力端子をプロジェクタ装置７０のビデオ入力端子を接続するなどして、パーソナルコンピュータ１０からの画像信号がプロジェクタ装置７０に入力されるようにする。これにより、プロジェクタ装置７０は、パーソナルコンピュータ１０の表示画面１７ａに表示されるのと同じ画像をスクリーン７１に対して拡大投射して表示させることになる。
【００２２】
そして、この場合にもパーソナルコンピュータ１０に対しては、カメラ部２２とマイクロフォン２３とを接続するようにしている。この場合、カメラ部２２は、スクリーン７１全体が撮像画像内におさまるようにして配置され、その撮像画像信号をパーソナルコンピュータ１０に対して入力する。また、マイクロフォン２３は、例えば後述するポインタとしての指し棒７２の先端をスクリーン７１に対して接触させて何らかの操作を行ったことで生じる「接触音」を収音可能な位置に設けられる。そして、収音した音声信号をパーソナルコンピュータ１０に対して入力する。また、指し棒７２は、スクリーン７１を対象として操作を行うためのポインタであり、ユーザには、この指し棒７２の先端部をスクリーン７１上に直接接触させるようにしてＧＵＩ操作を行ってもらうこととしている。
そして、このようなシステム構成においても、以降説明していく図１のシステムの場合と同様に、カメラ部２２により撮像されるスクリーン７１の撮像画像、及びマイクロフォン２３により収音される接触音の音声信号を利用することで、スクリーン７１に表示される画像に対するポインタの接触操作に応じたＧＵＩが実現可能となるものである。
【００２３】
また、これら図１及び図１５に示したシステムでは、カメラ部２２及びマイクロフォン２３とパーソナルコンピュータ１０との接続をケーブルにより行っているが、例えば、既に知られている赤外線通信やブルートゥース通信などを利用して、無線により接続する構成とすることも考えられる。また、特に図１５のシステムでは、パーソナルコンピュータ１０とプロジェクタ装置７０との間でのビデオ信号の入出力を無線により行うようにすることが考えられる。
【００２４】
２．パーソナルコンピュータの構成例
図２のブロック図は、本実施の形態のパーソナルコンピュータ１０の内部構成例を示している
この図において、ＣＰＵ１１は、例えばＲＯＭ１２においてファームウェアとして保持されているプログラム、及びＨＤＤ１８に記憶されているＯＳ(Operating System)、及びアプリケーションプログラム等をＲＡＭ１３に展開したプログラムに従って各種の処理を実行する。また、ＲＡＭ１３にはＣＰＵ１１が各種処理を実行するのに必要なデータ等も適宜保持される。
これら、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３は、後述するネットワークインターフェイス２０、データインターフェイス２１、及び入出力インターフェイス１４などと共に、内部バス２５により相互接続される。内部バス２５は、例えば、ＰＣＩ(Peripheral Component Interconnect)又はローカルバス等により構成される。
【００２５】
入出力インターフェイス１４は、これに接続される装置等と内部バス２５との情報の授受を行うために設けられるもので、この場合には、キーボード１５、マウス１６、ディスプレイモニタ１７、ＨＤＤ１８、メディアドライバ１９、及びカメラ部２２、マイクロフォン２３（２３Ａ）などを接続することができることとしている。
【００２６】
キーボード１５及びマウス１６から供給された操作信号は、入出力インターフェイス１４からＣＰＵ１１に出力するようにされている。ＣＰＵ１１では、例えばＯＳのプログラムの下で、これらキーボード１５及びマウス１６からの操作信号に応じた所要の処理を実行する。
なお、本実施の形態においては、カメラ部２２から出力される撮像画像信号と、マイクロフォン２３（２３Ａ）にて収音されて出力される音声信号との情報に基づいて、マウス１６の操作に代わるＧＵＩ操作が可能なように構成される。
また、本実施の形態のパーソナルコンピュータ１０がノートブック型とされる場合、このノートブック型においては、マウスに代わる操作子として、タッチパッドとクリックボタンを設けることが広く行われている。そこで、この図２には、図示していないが、これらタッチパッドやクリックボタンをマウス１６に代えて入出力インターフェイス１４に接続するようにしてもよいものである。
【００２７】
また、ディスプレイモニタ１７に対しては、入出力インターフェイス１４を介して表示用の映像信号が出力され、これにより、ディスプレイモニタ１７の表示画面１７ａには、画像が表示されることになる。
【００２８】
また、入出力インターフェイス１４には、記憶媒体としてハードディスクを備えたハードディスクドライブ（ＨＤＤ）１８が接続されている。ＣＰＵ１１は、ＨＤＤ１８のハードディスクに対してデータやプログラム等の記録又は読み出しを行うことができるようにされている。そして、書き込みデータ及び読み出しデータが、入出力インターフェイス１４を介してＨＤＤ１８と内部バス２５側との間で伝送されることになる。
特に本実施の形態としては、ＨＤＤ１８に対して、画像／音声認識ドライバ１８ａがインストールされて記憶されている。この画像／音声認識ドライバ１８ａは、後述するようにして、ユーザがディスプレイモニタ１７の表示画面１７ａに対して行う接触操作を、カメラ部２２からの撮像信号と、マイクロフォン２３からの音声信号に基づいて入力操作情報として扱うための処理を実現するアプリケーションプログラムである。
【００２９】
また、メディアドライバ１９は、例えば現状であれば、ＣＤ−ＲＯＭやＤＶＤなどをはじめとして、特定種別のメディアに対応するドライバとされ、対応するメディアに対してのデータの読み出し／書き込みを実行する。このための制御もＣＰＵ１１が実行すると共に、書き込みデータ及び読み出しデータが、入出力インターフェイス１４を介してＨＤＤ１８と内部バス２５側との間で伝送される。
【００３０】
また、この場合のカメラ部２２は、例えば図１により説明したようにして設けられているもので、例えば撮像素子としてＣＣＤを備えた撮像装置とされる。そして、このカメラ部２２により撮像された画像の信号である撮像画像信号は、入出力インターフェイス１４を介して入力されることになる。
マイクロフォン２３（又は内蔵のマイクロフォン２３Ａ）もまた、図１に示したようにしてパーソナルコンピュータ１０に対して設けられるものである。このマイクロフォン２３により収音された音声の音声信号は、入出力インターフェイスを介することで、デジタルオーディオ信号として入力されることになる。
【００３１】
ネットインターフェイス２０は、所定のネットワークを介して通信を行うためのインターフェイスであり、例えば、電話回線を利用したインターネットとの接続に対応するのであればハードウェアとしてはモデムなどが備えられる。また、ＬＡＮ(Local Area Network)などのネットワークなどを介したものであればＥｔｈｅｒｎｅｔなどのインターフェイスとなる。
【００３２】
データインターフェイス２１は、例えばＳＣＳＩ、ＵＳＢ、ＩＥＥＥ１３９４などに代表される、ケーブル接続による外部周辺機器との通信のためのインターフェイスとされる。なお、上記したカメラ部２２などは、このデータインターフェイス２１に対して接続されても良い。
【００３３】
ところで、前述のようにしてＨＤＤ１８にインストールされるべき、画像／音声認識ドライバ１８ａは、後述する機能を実現するための方法手順がプログラムとして格納されているアプリケーションプログラムとされる。そして、これら画像／音声認識ドライバ１８ａとしてのアプリケーションプログラムは、フロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブルな記録媒体に対して、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブルの記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
そして、このようなリムーバブルな記録媒体を、例えばパーソナルコンピュータ１０のメディアドライバ１９に装填して再生することで、パーソナルコンピュータ１０のＨＤＤ１８に対してインストールするようにされる。
なお、上記のようにしてリムーバブルな記録媒体を利用してアプリケーションプログラムをインストールするほか、他の情報処理機器からパーソナルコンピュータ１０に対してアプリケーションプログラムを無線で転送したり、ＬＡＮ、インターネットといったネットワークを介して、サーバからパーソナルコンピュータ１０にオンラインで転送し、パーソナルコンピュータ１０では、そのようにして転送されてくるアプリケーションプログラムを受信し、ＨＤＤ１８にインストールするようにすることもできる。
【００３４】
３．疑似タッチパネル操作
３−１．撮像画像に基づくポインティング操作に必要な処理
３−１−１．表示画面枠の指定
周知のように、ＧＵＩに対する操作としては、マウス（及びタッチパッド、クリックボタンなど）などをはじめとするポインティングデバイス（操作装置）を操作することが一般的である。これに対して本実施の形態では、このようなポインティングデバイスによる操作に代えて、表示画面に直接触れるようにして行うポインティング操作によりＧＵＩ操作が実現されるようにするものである。つまり、タッチパネル的な操作を実現する。しかも本実施の形態では、表示画面がタッチパネルの構造を有していなくとも、表示画面１７ａを撮像するカメラ部２２の撮像画像と、表示パネルに対する各種のタッチ操作により生じる音をマイクロフォン２３（２３Ａ）にて収音して得た音声とについて、後述するような認識処理を実行することで、上記したタッチパネル的操作を実現するものである。なお、本実施の形態におけるようなタッチパネル的操作については、以降においては「疑似タッチパネル操作」ともいうことにする。
【００３５】
そして、本実施の形態の「疑似タッチパネル操作」であるが、表示画面１７ａを撮像した撮像画像の認識に基づく操作入力は、マウスによるカーソル移動操作、つまり「ポインティング操作」としての機能を有する。また、表示画面１７ａにて得られる接触音の認識に基づく操作入力は、マウスのボタン操作としての機能を有する。つまり、「疑似ボタン操作」を実現する。なお、本実施の形態としての説明においては、この「疑似ボタン操作」として、マウスの左ボタン操作（ＤＯＳ／Ｖ系）としての機能を与えることとしている。
【００３６】
そこで先ず、本実施の形態の「疑似タッチパネル操作」として、「ポインティング操作」から説明を行っていくこととする。
本実施の形態の「疑似タッチパネル操作」としてのポインティング操作（カーソル移動操作）を実現するためには、以下の処理が必要となる。
つまり、
(1)表示画面１７ａを撮像して得られる撮像画像内の表示画面１７ａの表示領域を認識し、
(2)撮像画像内におけるどの画像領域がポインタであるのかを認識し、
(3)さらに認識したポインタの指し示すポインタ位置としての点座標を認識し、 (4)この認識したポインタ位置の座標を表示画面に実際に表示されているＧＵＩ画像上の座標情報に変換する。
という処理である。そして、処理(4)により得られた座標情報がＯＳに渡されれば、ＯＳではその座標情報に応じてカーソル移動制御を行うようにされるわけである。
なお、上記処理(3)でいう「ポインタ」とは、表示画面１７ａを実際に接触操作する物理的なものをいい、具体的にはユーザの指や、ユーザが保持して使用する例えば棒状のポインタペンなどが挙げられる。
【００３７】
そして、処理(1)としての「表示画面１７ａを撮像して得られる撮像画像内の表示画面１７ａの表示領域を認識」するためには、次に図３にて説明する初期設定を予め行っておくようにされる。
【００３８】
図３には、撮像画像内の表示画面１７ａの表示領域を認識させるための初期設定の手順が示されている。なお、この初期設定は、画像／音声認識ドライバ１８ａのプログラムの下で行われる。
ユーザは、例えば所定操作によって初期設定モードとする。なお、この初期設定時の操作は、マウスなどのポインティングデバイスを使用すればよい。
初期設定モードとされると、パーソナルコンピュータ１０の表示画面１７ａには、図１に示したようにして配置されるカメラ部２２の撮像画像が表示されるようになる。このとき、ユーザは、この表示画面１７ａに表示される撮像画像を見ながら、図３（ａ）に示すようにして、表示画面１７ａにおいて、パーソナルコンピュータ１０の表示画面１７ａの全体が表示されるようにその配置位置や向きを調節する。つまり、表示画面１７ａ内に、パーソナルコンピュータ１０の画像であるＰＣ画像部分１０−１として、表示画面１７ａの画像である表示画面領域１７ａ−１を表示させるものである。
【００３９】
上記のようにして、図３（ａ）に示したような画像状態が得られたら、ユーザは、画隅指定のための所定操作を行うようにされる。すると図３（ｂ）に示すようにして、表示画面１７ａには、画隅指定カーソルＣＲ１が表示される。ユーザは、この画隅指定カーソルＣＲ１に対して例えばドラッグ操作を行って、この画隅指定カーソルＣＲ１の頂点部を、表示画面領域１７ａ−１の左上角に位置させて、例えば決定操作を行う。
【００４０】
続いては、図３（ｃ）に示すようにして、次の画隅指定カーソルＣＲ２が表示されるので、ユーザは、同様にしてこの画隅指定カーソルＣＲ２をドラッグして、その頂点部を表示画面領域１７ａ−１の右上角に位置させて決定操作を行う。
さらに続いては、図３（ｄ）に示すように表示される次の画隅指定カーソルＣＲ３をドラッグして、その頂点部を表示画面領域１７ａ−１の右下角に位置させて決定操作を行う。
そして、続いては、図３（ｅ）に示すようにして最後の画隅指定カーソルＣＲ４が表示されるので、この画隅指定カーソルＣＲ４をドラッグして、その頂点部を表示画面領域１７ａ−１の左下角に位置させて決定操作を行うようにされる。
【００４１】
このようして、表示画面領域１７ａ−１の４つの角部を、各画隅指定カーソルＣＲ１〜ＣＲ４により指定したことによっては、図３（ｆ）に示すようにして、撮像画像上における、表示画面領域１７ａ−１の各頂点ａ，ｂ，ｃ，ｄの座標位置が把握されたことになる。これは、表示画面領域１７ａ−１の形状が、四角形の「枠情報」として認識されたことを意味する。
【００４２】
３−１−２．表示画面枠の台形補正
ところで、カメラ部２２の配置位置の関係上、必ずしも表示画面１７ａは正面から撮影されない。このため、上記図３（ｆ）に示したようにして認識されるこの表示画面領域１７ａ−１の四角形形状（枠情報）として、も、長方形や台形などの整った形ではなく、より歪んだ形状となっている場合がほとんどである。
本実施の形態では、表示画面領域１７ａ−１（枠情報）上の座標を実際の表示画面１７ａ上の座標に変換する座標変換処理を実行することで、表示画面１７ａ上での実際のポインタのポイント位置を特定するようにされるが、上記のような表示画面領域１７ａ−１の四角形形状（枠情報）を利用してそのまま座標変換処理を実行しようとすると、そのための演算処理も複雑となってかえって正確さが失われることにもなる。
そこで、本実施の形態では、次に説明するようにして表示画面領域１７ａ−１の四角形形状（枠情報）についての補正処理を行う。
【００４３】
図４は、上記した補正処理を模式的に示している。
図４（ａ）には、図３により説明した画隅指定操作によって認識された枠情報が示されている。つまり、図３（ｆ）に示したものと同様の表示画面領域１７ａ−１としての四角形形状が示されている。
この場合において、この図４（ａ）に示される枠情報は、上記した理由によって、歪みのある四角形形状となっているものとし、例えばこの図４（ａ）に示される枠情報において、横方向の辺ａｂと、これに対向する辺ｃｄとは平行ではない状態にあるものとされる。また、同様にして、縦方向の辺ａｄと、これに対向する辺ｂｃとは平行ではない状態にあるものとする。
【００４４】
そして、本実施の形態では、枠情報の辺ａｂを上底、辺ｃｄを下底としてして定めたうえで、この２つの辺が平行となるようにして補正する。つまり、枠情報を台形化するようにして補正するものである。これにより、図４（ａ）に示される枠情報（四角形ａｂｃｄ）は、例えば図４（ｂ）の破線による四角形ＡＢＣＤとして示すようにして、台形となるように形状が変更される。
具体例として、補正前の枠情報の各頂点を
a(xa,ya)、b(xb,yb)、c(xc,yc)、d(xd,yd)
とし、補正後の枠情報である補正枠情報の各頂点を
A(XA,YA)、B(XB,YB)、C(XC,YC)、D(XD,YD)
として、
YA＝YB＝(ya+yb)/2、YC＝YD＝(yc+yd)/2
の関係が成立するようにして形状補正を行うようにされる。ただし、条件として、
XA＝xa、XB＝xb、XC＝xc、XD＝xd
の関係を満たすこととして、座標変換結果に誤差が出ないようにしているので、台形化補正された補正枠情報の形状としては、必ずしも辺ＡＤ＝辺ＢＣとなるいわゆる等脚台形にはならない。
以上、図３及び図４により説明したようにして、枠情報を認識し、この枠情報について台形化の補正処理を実行することで、処理(1)としての撮像画像内の表示画面１７ａの表示領域（枠情報）の認識が行われたこととなる。
【００４５】
３−１−３．座標変換処理
上記のようにして枠情報の認識が行われ、この後の通常モードにおいてポインタ（指、ポイントペンなど）により操作が行われた場合には、そのポインタの指し示すポイント位置の座標を認識し、さらにこのポイント位置の座標を実際の表示画面１７ａにおける座標に変換する座標変換処理を行うことになる。つまり先に記した処理(3)(4)を実行する。そしてここでは、処理(4)に対応する座標変換処理について図５〜図７を参照して説明する。
なお、処理(4)としての座標変換処理を実行するためには、先の処理(2)として記したように、撮像画像内におけるどの画像領域がポインタであるのかを認識したうえで、さらに処理(3)として記したように、撮像画像上の枠情報に対するポインタのポイント位置を認識することが必要となるが、これについては後述することとして、ここでは、ポインタのポイント位置の認識処理が既に適正に行われていることを前提として説明する。
【００４６】
ここで、図５（ａ）には、図４にて説明したようにして得られた補正枠情報が示されている。そして、ユーザの表示画面１７ａに対するポインタの操作によって、input(xin,yin)という座標（図において×印で示す）が得られたとする。この座標input(xin,yin)は、例えば撮像画像の有効表示領域内にて検出された画像位置としての座標（画像内座標）である。
そして、本実施の形態としての処理(4)によっては、この画像内座標input(xin,yin)を、図５（ｂ）に示すようにして、実際にＧＵＩ画像が表示されている表示部１７ａ上の実座標output(xout,yout)に変換することになるが、この図５によっては、先ず、ｙ座標を変換する場合を説明する。
この場合、実座標のｙ座標（yout）は、図５（ａ）に示される補正枠情報としての台形の高さheight_imgと、図５（ｂ）に示される表示画面１７ａの縦方向の幅height_dspとの比率により求めることができる。つまり、実座標のｙ座標（yout）は、
yout=(yin-YA)＊height_dsp/height_img・・・（式１）
として示される式によって算出することができる。
【００４７】
続いては、ｘ座標を求めることになるのであるが、このためには、先ず、補正枠情報と表示画面１７ａとのｘ軸方向（横方向）の位置を、所定の基準線に対して合わせるようにされる。図６は、この基準位置合わせについて模式的に示している。
先ず、図６（ｂ）に示される表示画面１７ａは、頂点Ｗ，Ｘ，Ｙ，Ｚから成る長方形として示されるが、この表示画面１７ａの基準線としては、辺ＷＸの中点Ｍ0と、辺ＺＹの中点Ｍ1を結ぶ中線Ｍ0-Ｍ1とすればよい。
【００４８】
これに対して図６（ａ）に示す補正枠情報の基準線ＸＮであるが、この補正枠情報としての台形は、前述もしたように必ずしも等脚台形ではない。そこで、補正枠情報の辺ＡＢ上の点Ｎ0と、辺ＣＤ上の点Ｎ1とを結んで形成されるべき基準ＸＮとしては、当該補正枠情報の頂点Ａ，Ｂ，Ｃ，Ｄの各ｘ座標(XA，XB，XC，XD)を用いて、
ＸＮ＝(XA＋XB＋XC＋XD)/4・・・（式２）
で表される式により求めるようにされる。
【００４９】
そして、上記のようにして補正枠情報の基準線ＸＮを求めた上で、画像内座標のｘ座標(xin)から実座標のｘ座標(xout)への変換を行うようにされる。図７は、このｘ座標の変換を模式的に示すものである。
【００５０】
ここで、補正枠情報である台形ＡＢＣＤにおいて、ｙ座標(yin)を通過する高さ位置における幅をwidth_imgとすると、実座標のｘ座標(xout)は、この台形ＡＢＣＤ（補正枠情報）の幅width_imgと、表示画面１７ａの横方向の幅width_dspとの比率により決定するといえる。
しかしながら、補正枠情報である台形ＡＢＣＤの幅width_imgは、ｙ座標(yin)の値によって可変となってしまうので、次のようにして算出することとした。
つまり、辺ＤＡ上にある点についてのｙ座標(yin)のときのｘ座標を「ｘ0」とし、辺ＢＣ上にある点についてのｙ座標(yin)のときのｘ座標を「ｘ1」として、
x0=(XD-XA)＊(yin-YA)/height_img+XA
x1=(XB-XC)＊(yin-YA)/height_img+XC
width_img=x1-x0・・・（式３）
として表される式により求めるようにされる。そして、このようにして求めたwidth_imgの値を利用すれば、実座標のｘ座標(xout)については、
xout=(xin-XN)＊width_dsp/width_img+width_dsp/2・・・（式４）
のようにして算出できることになる。
このように、図５〜図７により説明したようにして演算処理を行えば、撮像画像における表示画面領域１７ａ−１内の画像内座標input(xin,yin)を、現実の表示部１７ａ上の実座標output(xout,yout)に変換することができる。
なお、これら図５〜図７により説明した座標変換の処理は、あくまでも一例であって、例えば他の演算式を用いた処理とされても構わないものである。
【００５１】
３−２．音声信号に基づく疑似ボタン操作に必要な処理
３−２−１．音声信号の認識／解析処理例
続いては、本実施の形態の「疑似タッチパネル操作」として、「疑似ボタン操作」についての説明を行うこととする。
本実施の形態における「疑似ボタン操作」とは、前述もしたように、ユーザが、表示画面１７ａに対してポインタを直接接触させながら操作を行うことに伴って発生する接触音に基づいて、マウスの左ボタン操作に対応する操作情報を発生させるものである。このためには、
(1)マイクロフォン２３にて収音された音声のうちから、上記したポインタ操作による「接触音」としての音声信号成分を認識する音声信号成分認識処理、
を行う必要がある。この音声信号成分認識処理によって、例えば「接触音」と、ユーザの発話音声などの他の音声信号成分と区別することができるものである。そして、このようにして「接触音」の音声信号成分を認識したうえで、
(2)ユーザのポインタ操作によって生じる接触音の発生状態について解析を行う解析処理、
を行うようにされる。つまり「接触音」の発生状態を認識し、この認識結果に応じて、マウスの左ボタン操作としてどのような操作が行われたものとするのかを決定する。
【００５２】
先ず上記処理(1)としての音声信号成分認識処理であるが、本実施の形態としては、予めの初期設定で、「接触音」としての音声信号成分の周波数帯域特性を、解析処理に用いるべき音声信号成分として登録しておくこととする。
例えばユーザは、所定操作によって、解析処理に用いるべき音声信号成分を登録するための登録モードを設定する。そして、この登録モードの下で、ユーザは、少なくとも、表示画面１７ａを叩いたり、また、表示画面１７ａを擦るなどして音を出す。このようにして出てくる音は、マイクロフォン２３にて収音されてパーソナルコンピュータ１０に入力される。パーソナルコンピュータ１０では、画像／音声認識ドライバ１８ａのプログラムに従ってその周波数帯域特性を検出し、この検出した周波数帯域特性を、解析処理に用いるべき音声信号成分として登録するようにされる。
そして、表示画面１７ａに対して実際にポインタによる接触操作が行われているときには、この接触操作によって生じる接触音がマイクロフォン２３によって収音されて音声信号として取り込まれることになるが、パーソナルコンピュータ１０では、この音声信号に対して、上記のようにして登録された周波数帯域のみを通過させるようにしてフィルタ処理を施す。これにとって接触音としての音声信号成分のみが抽出される。つまり、処理(1)としての音声信号成分認識処理を行ったこととなる。
【００５３】
そして、上記処理(2)としての解析処理は次のようにして実行される。この解析処理を、図８により模式的に示す。
例えばパーソナルコンピュータ１０では、ユーザの表示画面１７ａに対する接触操作により生じた「接触音」の音声信号成分を、マイクロフォン２３から入力された音声信号から分離抽出する。そして、この音声信号成分を解析するのにあたっては、接触音の音声信号成分のレベルに対して、２種類の閾値を設定する。つまり、図８（ａ）に示すようにして、０レベルを基準として、所定の絶対値レベルによる第１の閾値±ｔｈ０と、この第１の閾値±ｔｈ０よりも大きいとされる所定の絶対値レベルによる第２の閾値±ｔｈ１を設定する。
この場合、図８（ａ）の右側に示されているように、第１の閾値±ｔｈ０より小さな絶対値レベルの範囲は、「接触音」は無音状態であるものとして認識する。また、第１の閾値±ｔｈ０以上で、かつ、第２の閾値±ｔｈ１よりも小さな絶対値レベルの範囲では、「接触音」は弱音であるものとして認識する。さらに、第２の閾値±ｔｈ１以上の絶対値レベルは強音であるとして認識する。
【００５４】
図８（ａ）に示す波形は、ユーザが表示画面１７ａに対して接触操作を行ったことで得られた接触音の音声信号成分とされる。パーソナルコンピュータ１０では、この接触音の音声信号成分のレベルについて、第１の閾値±ｔｈ０及び第２の閾値ｔｈ１と比較を行うようにされる。
例えば、この図８（ａ）に示す波形として、区間Ａでは、第１の閾値±ｔｈ０と第２の閾値ｔｈ１の間にピークレベルが得られている。そこで、この場合には図８（ｂ）に示すようにして、接触音として弱音が発生したと判定することになる。また、区間Ｂにおいては第２の閾値ｔｈ１以上のピークレベルが得られているので、接触音として強音が発生したと判定する。また、区間Ｃにおいても、第１の閾値±ｔｈ０と第２の閾値ｔｈ１の間にピークレベルが得られていることから、弱音が発生したと判定することになる。また、区間Ａと区間Ｂとの間、及び区間Ｂと区間Ｃとの間は、０レベル若しくは第１の閾値±ｔｈ０より小さな絶対値レベルの波形となっているので、無音であるとして判定される。
このようにして、本実施の形態の接触音についての解析としては、接触音のレベルについての判定を行うものとしている。
【００５５】
また、このような接触音レベルと閾値との比較は所定の時間ｔごとに行われるものとされ、この時間ｔごとの区間で、無音、弱音、強音の三段階の判定を行うようにされる。従って、図８（ｂ）によると、区間Ａでは、時間ｔ×２の時間長で弱音であることを判定した場合が示されていることになる。また、区間Ｂでは、時間ｔ×４の時間長にわたって強音であることを判定した場合が示されている。さらに区間Ｃでは、時間ｔ×９の時間長にわたって弱音であることを判定していることになる。本実施の形態では、このような音レベルの判定の時間長も解析結果の１つとして扱われる。
【００５６】
３−２−２．解析結果に応じた状態遷移
そして、上記図８（ａ）（ｂ）により説明したようにして得た、接触音についての解析結果に基づいては、例えば図９に示すようにしてマウスの左ボタンへの対応がとられる。図９には、接触音の発生状態に応じてのマウス左ボタン操作の状態遷移が示される。
例えば先ず、接触音の入力を待機している状態で、無音状態とされている場合には、ステップＳ１に示すように無反応の状態で何のアクションも起こさない。そして、例えばこのステップＳ１の状態のもとから、弱音の発生したことが判定されると、ステップＳ２として示すように、マウスの左ボタンを押した状態に遷移することになる。そして、例えばこの弱音の発生が所定時間以内に終了して無音の状態に変化したとすれば、ステップＳ３に示すようにして、左ボタンを離した状態に遷移する。つまり、短時間とされる所定期間内において弱音が発生したとされる場合には、上記ステップＳ２→Ｓ３の処理が実行される結果、マウスの左ボタンを短時間のうちに押して離す操作が行われたとして扱うことになる。つまり、ワンクリックの動作が得られたものとして扱う。図８においては、例えば区間Ａとしての解析結果がこれに対応する。つまり、時間ｔ×２という比較的短時間において弱音が発生していることで、図８（ｃ）に示すように、この区間Ａは、クリック操作が発生しているものである。
【００５７】
これに対して、ステップＳ２でマウスの左ボタンを押したとしてアクションを起こした状態から、弱音がそのまま或る時間以上継続したとされる場合には、ステップＳ４に示すようにして、マウスの左ボタンを押したままの状態が継続されているものとして扱う。そして、このステップＳ４に対応する状態として、ユーザが表示画面１７ａ上に対してポインタを接触させながら移動させているのであれば、これがドラッグ操作とされることになる。そして、このステップＳ４の状態のもとで無音に変わったとすれば、ステップＳ３として示すように、左ボタンが離されたとする状態に遷移し、例えばこれまでドラッグ操作を行っていたとすれば、このドラッグ操作が解除される。
なお、図８の場合には、このようなドラッグ操作は、区間Ｃが対応することになる。この区間Ｃでは、弱音が時間ｔ×９という比較的長時間にわたって継続されており、従って、図８（ｃ）に示すようにしてドラッグ操作が発生することになる。
【００５８】
また、ステップＳ２により左ボタンを押していたとされる弱音発生の状態から、強音に変化したとされる場合には、ステップＳ５に遷移し、ダブルクリックが行われたものとして扱うことになる。なお、このステップＳ５の状態の後、強音が継続する、または、弱音に変化したとしてもステップＳ６に示すようにして、無反応の状態に遷移するようにして、ダブルクリック操作が確実に行われるように配慮している。また、この後、無音の状態となれば、ステップＳ１としての無反応の状態に遷移する。
【００５９】
また、ステップＳ１の無音に対応した無反応の状態の下で、強音の状態に変化したとされると、ステップＳ７に遷移してダブルクリックが行われたものとみなすことになる。そして、この場合にも、その後において強音が継続する、または、弱音に変化したとしてもステップＳ８として示すように、無反応の状態に遷移させるようにしている。また、ステップＳ８の状態から無音の状態に戻れば、ステップＳ１としての無反応の状態に遷移させるようにしている。
なお、図８において、上記ステップＳ５若しくはステップＳ７のダブルクリック操作は、区間Ｂが対応することになる。区間Ｂでは、時間ｔ×４の期間にわたって強音が発生しているが、例えば最初の時間ｔ×２の期間に対応してダブルクリック操作が発生している。そして残る以降の時間ｔ×２の期間に対応しては無反応の状態としているものである。
【００６０】
本実施の形態では、例えば上記図８及び図９により説明した接触音の解析と、この解析結果に基づいたマウスの左ボタン操作としての状態遷移を実行することで「疑似ボタン操作」を実現するものとしているのであるが、これは、具体的には、次のような態様によって接触操作を行ってもらうことを想定しているものである。
ユーザのポインタを用いた表示画面１７ａに対する接触操作として、接触音が発生するような操作がどのようなものであるのかを考えてみると、おおきくは、表示画面１７ａ上を叩く操作と、表示画面１７ａ上を擦るようにして移動させる操作とに分けることができる。表示画面１７ａ上を叩いた場合には、その叩く強さに応じた大きさの打音が生じることになるし、表示画面１７ａ上をポインタにより擦る場合には、表示画面１７ａをポインタがすることで、或る程度の大きさの摺音が生じることとなる。
【００６１】
そこで、先ず、クリック操作については、ユーザには、表示画面１７ａを軽く叩くようにしてもらうこととする。これによって、接触音としては、短い弱音が生じることとなって、例えば先の図９のステップＳ２→Ｓ３の流れにより説明したようにしてクリック操作を発生させることができる。
また、ドラッグ操作は、上記のようにして表示画面１７ａ上のドラッグ開始位置を軽く叩くようにしてポインタを接触させ、この接触した状態のまま、ポインタをドラッグさせたいとする任意の方向に移動させることとする。このようにすれば、先ず、ドラッグ開始位置を軽く叩くことで打音としての弱音が生じ、続いては表示画面１７ａ上を擦ることによる弱音が発生することになるので、図９のステップＳ２→Ｓ４の流れによるドラッグ操作としての状態遷移を得ることができる。
そして、ダブルクリック操作は、表示画面１７ａ上を強く叩いてもらうこととする。この場合、接触音としては強音が発生することになるので、図９のステップＳ７、若しくはステップＳ５により説明したダブルクリック操作への状態遷移が得られるものである。
【００６２】
なお、上記のようにして、ユーザに行ってもらうべき操作に応じて左ボタンクリック操作をシミュレートすることを前提とすれば、図８に示される無音・弱音・強音を判定するための第１の閾値±ｔｈ０、及び第２の閾値ｔｈ１は、ユーザによって任意に可変設定できるようにすることが好ましい。
つまり、表示画面１７ａを叩いたり、擦ったりするときに出てくる接触音の音量はユーザごとに異なるものであり、また、マイクロフォン２３の感度も、実際に使用されるマイクロフォンとしての装置に応じて異なってくる。また、表示画面１７ａとしての表面の材質などの物理的構造によっても接触音の音量は異なってくるものである。そこで、このような条件の相違に応じて、ユーザにとって最も操作しやすい状態が得られるように、第１の閾値±ｔｈ０及び第２の閾値±ｔｈ１を設定すれば、より正確な操作に対する反応が得られることになる。
【００６３】
４．疑似タッチパネル操作時の処理動作
４−１．画像／音声認識ドライバのソフトウェア構成例
続いては、これまでの説明を踏まえて、実際の疑似タッチパネル操作（ポインタによる表示画面１７ａに対する接触操作）に対応した処理動作について説明を行っていくこととする。
そこで先ず、本実施の形態の疑似タッチパネル操作を実現するためのプログラムである、画像／音声認識ドライバ１８ａのプログラム構成について図１０を参照して説明しておくこととする。
【００６４】
図１０は、画像／音声認識ドライバ１８ａのプログラム構成を模式的に示している。そして、画像／音声認識ドライバ１８ａとしては、この図１０に示すようにして、おおきくは画像／音声認識モジュール部３０と、マウスインターフェイスアプリケーション６０とに分けられる。
【００６５】
そしてまた、この画像／音声認識モジュール３０としては、音声認識モジュール部４０と画像認識モジュール部５０とから成る。
音声認識モジュール部４０は、マイクロフォン２３（２３Ａ）から入力された音声信号を取り込んで、例えば図８に示した接触音についての解析処理を実行するためのプログラム部分である。このために、オーディオキャプチャモジュール４１、オーディオ解析モジュール４２を備える。
【００６６】
オーディオキャプチャモジュール４１によっては、マイクロフォン２３（２３Ａ）から入力されたアナログ音声信号について、解析処理に適合する所要の形式のオーディオデータに変換し、オーディオ解析モジュール４２に渡す。
オーディオ解析モジュール４２によっては、図８により説明した解析処理を実行する。つまり、オーディオキャプチャモジュール４１から受け取ったオーディオデータから、予め登録された接触音の周波数特性の信号成分を抽出するためのフィルタ処理を実行する。続いて、このフィルタ処理によって抽出された接触音の周波数信号成分のレベルについて、時間ｔごとの間隔で以て、予め設定された第１の閾値±ｔｈ０及び第２の閾値±ｔｈ１との比較を行って、無音、弱音、強音の３段階による判定を行う。そして、このようにして時間ｔごとに判定される無音、弱音、強音についての判定結果をマウスインターフェイスアプリケーション６０のボタン操作発生モジュール６２に対して渡す。
【００６７】
また、画像認識モジュール部５０は、カメラ部２２から入力された撮像画像としての画像信号について認識処理を行ってポインタの座標情報を取得する機能を与えるもので、このために、ビデオキャプチャモジュール５１、座標変換モジュール５２としてのプログラムにより構成される。
ビデオキャプチャモジュール５１は、カメラ部２２から入力された撮像画像のビデオ信号を取り込み、所要の形式によるフレーム単位のビデオデータに変換する。そして、このビデオデータをＲＡＭ１３の所定領域にフレーム単位で書き込みを行う。
そして座標変換モジュール５２によっては、上記のようにしてフレーム単位でＲＡＭ１３に書き込まれたビデオデータから、例えば図３に示した枠情報の認識を行い、さらに、図４に示した枠情報の台形補正処理を行うようにされる。そのうえで、先ず、後述するようにしてポインタの先端位置を認識する。ポインタの先端位置とは、即ちポインタとしての指やポインタペンの先端位置であって、実際には、ポインタが指し示す表示画面１７ａ上の位置に対応する。なお、ポインタ先端位置の認識処理については後述する。
そして、このようにして撮像画像上でのポインタ先端位置（画像内座標：図５（ａ）参照）が認識されると、図５〜図７にて説明したようにして所定の演算処理を行って、実際の表示画面１７ａ上の座標（実座標：図５（ｂ）参照）に対応させるための座標変換処理を実行する。この座標変換処理によって得た座標の情報は、マウスインターフェイスアプリケーション６０におけるカーソル位置情報発生モジュール６３に対して渡すようにされる。
【００６８】
このようにして、画像／音声認識モジュール３０からマウスインターフェイスアプリケーション６０に対しては、音声認識モジュール４０からのオーディオ信号の解析結果と、画像認識モジュール部５０からの座標変換処理によって得られ座標情報とが受け渡されることになる。
そして、マウスインターフェイスアプリケーション６０内のボタン操作情報発生モジュール６２によっては、画像／音声認識モジュール３０から受け取った解析結果に基づいて、接触音についての無音・弱音・強音の発生の状態遷移を認識し、この認識結果に応じて、図９に示したようにして、マウスの左ボタンの押圧／解除としての操作情報に変換し、操作情報伝達モジュール６１に受け渡す。
また、マウスインターフェイスアプリケーション６０内のカーソル位置情報発生モジュール６３によっては、画像認識モジュール部５０から受け取った座標情報を、現在のカーソル位置の座標として設定するための処理を実行し、このカーソル位置座標の情報を操作情報伝達モジュール６１に渡す。
【００６９】
操作情報伝達モジュール６１によっては、上記のようにして受け渡されたマウスの左ボタンの押圧／解除の操作情報と、カーソル位置の座標を、ＯＳが処理可能な操作情報に変換して、ＯＳに受け渡すようにされる。ＯＳでは、この操作情報を受け取ることで、ＧＵＩ上でのカーソル移動表示、及びクリック、ダブルクリック操作に応じた表示の変更、及び所要の情報処理を実行する。例えばクリックに応じたＧＵＩ上でのアクティブウィンドウの切り換えや、ダブルクリックに応じたファイルのオープンや、アプリケーションの起動などを行う。
【００７０】
４−２．フローチャートによる処理動作例
続いては、上記図１０に示したプログラム構造による画像／音声認識ドライバ１８ａに基づく処理動作として、ユーザが表示画面１７ａに対して疑似タッチパネル操作を行っているときに対応した処理を、図１１〜図１４を参照して説明する。
【００７１】
図１１は、疑似タッチパネル操作時に対応した画像／音声認識ドライバ１８ａに従った処理として、図１０により説明した画像認識モジュール５０、音声認識モジュール４０、マウスインターフェイスアプリケーション６０がそれぞれ実行すべき処理を並列的に示している。なお、確認のために述べておくと、図１１に示す処理は、ＣＰＵ１１が画像／音声認識ドライバ１８ａとしてのプログラムに従って実行するものとなる。
【００７２】
ここでは先ず、画像認識モジュール５０に従った処理から説明する。ここでは先ず、ビデオキャプチャモジュール５１の処理として、ステップＳ１０１に示すように、ビデオ信号についての取り込み処理を実行する。つまり、カメラ部２２から入力される撮像画像のビデオ信号を、以降のポインタ検出及び座標変換処理に適合する所定形式による画像データに変換して、例えばＲＡＭ１３の所定領域に対して、フレーム単位で順次書き込みを行っていく。
【００７３】
続くステップＳ１０２以降の処理は、座標変換モジュール５２に従った処理となる。
ステップＳ１０２においては、上記のようにしてＲＡＭ１３に書き込まれたフレーム単位の撮像画像のビデオ信号から、ポインタを検出する。なお、ここでいうポインタとは、これまでの説明からも分かるように、ユーザが表示画面１７ａに対する疑似タッチパネル操作を行うのに使用すべき物理的存在であり、例えば、ユーザ自身の指、若しくは細い棒状のポインタペンなどである。また、ここでのポインタの検出とは、最終的には、撮像画像上においてポインタにより指し示す点としての位置、つまり、ポインタの先端部の位置（座標）を検出することをいう。
そして、このステップＳ１０２の処理は、例えば図１２のフローチャートに示すようにして実行される。
【００７４】
図１２の処理についての説明を行うのにあたって、ポインタに関する初期設定について説明しておく。
図１２に示すポインタの検出処理により適正にポインタが検出されるためには、予めポインタの色を把握していることが必要とされる。そこで、本実施の形態としての疑似タッチパネル操作を行うのに先立っては、初期設定時において、ポインタの色情報を登録するようにされる。
このためには、例えばユーザは、所定操作によってポインタ色情報の登録モードとする。この登録モードでは、カメラ部２２による撮像画像をパーソナルコンピュータ１０の表示画面１７ａに表示するようにしている。そして、この状態の下で、例えばユーザは、ポインタとして自身の指を使うのであれば、自身の指をカメラ部２２により撮像して表示画面１７ａに表示させる。また、ポインタペンなどの物体をポインタとして使用するのであれば、このポインタペンが表示画面１７ａに表示されるようにする。
【００７５】
そして、ユーザは上記のようにしてカメラ部２２により撮像して表示画面１７ａに表示させているポインタの画像領域内に対して、色取得用のカーソルを配置させ、登録操作を行う。これにより、色取得用のカーソルが指し示していた位置の撮像画像領域の色情報が、ポインタ色情報として登録されることになる。例えばポインタがユーザの指なのであれば、この指についての肌色としての色情報が登録されることになり、また、ポインタがポインタペンであるとしてその色が青色であれば、その青色が色情報として登録されることになる。
【００７６】
そして、図１２に示すポインタ検出処理は次のようにして行われる。
先ず、ステップＳ４０１においては、ＲＡＭ１３に書き込まれたフレーム単位の撮像画像データについて、予め設定された所定の複数種類の色領域に分割する。
ここでいう「複数の色領域」とは、例えば図１３に示すようにしてＹＵＶ（輝度・色差）色度空間上で表現される色を、複数の所定の領域ごとに区分して得られる複数の領域をいう。
【００７７】
続くステップＳ４０２においては、上記ステップＳ４０１によって分割された色領域ごとに、前述のようにして登録されたポインタ色情報に対応する登録色領域との比較を行う。
登録色領域は、例えばポインタがユーザの指であるとして、前述のようにして登録されたポインタ色情報が或る肌色としての色情報とされている場合には、図１３において斜線で示されるように、この肌色としてのポインタ色情報に対応した＋Ｙ、−Ｕ、−Ｖ象限における一定範囲の領域を、登録色領域Ｒとして設定する。なお、この登録色領域Ｒの設定は、例えばポインタ色情報の登録時に行われればよい。
【００７８】
そして次のステップＳ４０３においては、上記ステップＳ４０２における比較結果として、撮像画像としてのフレーム画像領域内において、登録色領域Ｒが存在するか否かについて判別する。ここで、登録色領域Ｒは存在しないとして否定結果が得られた場合には、このまま当該ステップＳ１０２としてのルーチンを抜けるのであるが、設定色領域Ｒが存在するとして肯定結果が得られた場合にはステップＳ４０４に進む。
【００７９】
ここで、ステップＳ４０３において肯定結果が得られる場合として、複数の異なる領域について、登録色領域Ｒが存在するとして判定される場合がある。このような場合には、これら複数の登録色領域Ｒのうち、或る１つの領域が実際にポインタを撮像して得られている登録色領域Ｒであると考えることができる。そして、本実施の形態では、判定された複数の登録色領域Ｒのうちで最大面積の登録色領域を、実際にポインタを撮像して得られた登録色領域Ｒとして特定することとした。このための処理がステップＳ４０４の処理となる。
【００８０】
つまり、ステップＳ４０４においては、ステップＳ４０３において存在している物と判定された複数の登録色領域Ｒうちで、最大面積の登録色領域Ｒを検出する。そして、検出した登録色領域Ｒを、撮像画像内におけるポインタの画像部分領域（ポインタ領域）として設定する。
なお、ポインタ領域を認識するのにあたっては、他の認識方法を用いたり、また、上記ステップＳ４０４としての認識方法を含む、他の認識方法を併用してもよいものとされる。例えば、ポインタは必要に応じて表示画面１７ａ上を移動するものであるから、必要に応じて動き検出処理を取り入れることなども考えられる。
【００８１】
次のステップＳ４０５においては、上記のようにして検出されたポインタ領域についての、撮像画像データにおける座標範囲を取得する。
ここで、図１４には、処理対象となっている撮像画像を示している。なお、この図においては、撮像画像内において、パーソナルコンピュータ１０のＰＣ画像部分１０−１として、表示画面領域１７ａが表示されている状態が示されている。ＲＡＭ１３には、このような画像状態の画像データがフレーム単位で書き込まれ、処理対象とされていることになる。
そして、例えばポインタとしてユーザが自身の指を使用しているとした場合、上記ステップＳ４０４までの処理によっては、ユーザの手の画像ＧＨとしての画像領域部分が、ポインタ領域の座標範囲として得られることになる。ここで、ユーザが指をポインタとして表示画面１７ａに対する接触操作を行っている場合、実際に指し示しているポイント位置となるのは、例えばユーザの人差し指の先端となるものである。従って、撮像画像上におけるポインタ領域の座標範囲からポイント位置としての点（座標）を特定するためには、この指先としての先端部Ｐｔの位置（座標）を検出すればよいこととなる。ステップＳ４０５に続くステップＳ４０６は、このための処理となる。
【００８２】
ここで、例えば実際のポインタ操作をユーザの指を例に考えると、ユーザは、例えば図１４のユーザの手の画像ＧＨを見ても分かるように、人差し指を上方向に向けた状態でポインティングの操作を行うことになる。なお、ポインタペンなどを使用する場合も、例えばポインタの先を上方向に向けるようにして操作を行うという点で同様である。そこで、ステップＳ４０６により先端部Ｐｔの位置（座標）を求めるのにあたっては、次のような処理を実行させることとする。
先のステップＳ４０５において取得した座標範囲の情報によっては、例えば撮像画像内におけるポインタの形状を特定することができる。そして、この特定された形状を形成する座標値群のうちから、例えば撮像画像データ内において最も画面上側に存在する座標値を、先端部Ｐｔの座標として取得するようにすることが考えられる。
あるいはまた、ポインタの座標範囲により特定される形状から、さらに、最も長く棒状に延びている画像部分の座標範囲を特定し、この棒状の画像部分を形成する座標値群のうちから、棒状の突端となる位置の座標を先端部Ｐｔの座標として取得するようにすることも考えられる。
【００８３】
説明を図１１に戻す。
上記図１２に示すステップＳ１０２としてのポインタ検出処理が実行された後は、ステップＳ１０３においてポインタが適正に検出されたか否かが判別される。つまり、ステップＳ１０２の処理によってポインタ領域及び先端部Ｐｔの座標が検出されたか否かについて検出する。ここで、例えば先に図１２に示した処理を実行した結果として、ステップＳ４０４以降の処理を実行しなかった場合には、ポインタが検出されなかったとして否定結果が得られることになる。この場合には、一旦この図に示す処理ルーチンを抜けて、再度ステップＳ１０１の処理に戻るようにされる。
これに対して、図１２に示した処理としてステップＳ４０４以降の処理が実行されて最終的に座標先端部Ｐｔの座標が得られていた場合には、ステップＳ１０３にて肯定結果が得られ、ステップＳ１０４に進むことになる。
【００８４】
ステップＳ１０４においては、先の図１２におけるステップＳ４０６によって取得された先端部Ｐｔの座標（画像内座標）を、表示画面１７ａにおける座標（実座標）に変換する処理を実行する。このための処理については、図５〜図７により説明したとおりである。そして、次のステップＳ１０５においては、上記ステップＳ１０４にて実座標を取得したことに対応して、マウスインターフェイスアプリケーション６０に対してイベントを発生させる。
【００８５】
画像認識モジュール５０に従った処理としては、例えばこのステップＳ１０１〜Ｓ１０５の処理をフレーム周期ごとに繰り返し実行するものである。これにより、例えば撮像画像内にポインタが存在していることが検出されている限りは、マウスインターフェイスアプリケーション６０に対してイベントが投げられることになる。そして、例えばポインタが移動を行えば、この移動に応じて変換する実座標が取得されるごとにイベントが発生することになる。
【００８６】
続いては、図１１における音声認識モジュール４０に従った処理について説明する。この処理は、図１１における左側のステップＳ２０１〜Ｓ２０３の処理として示されている。
先ず、ステップＳ２０１においては、ビデオキャプチャモジュール４１の処理として、オーディオ信号についての取り込み処理を実行する。つまり、例えばマイクロフォン２３（２３Ａ）により収音されることで入力されてくるオーディオ信号について、必要があればデジタル信号への変換処理を実行したうえで、以降の解析処理に適合した所要のオーディオデータに変換する。そして、例えばＲＡＭ１１に確保した作業領域に対して逐次書き込みを行っていくものである。
【００８７】
そして、続くステップＳ２０２以降の処理がオーディオ解析モジュール４２に従っての処理となる。ステップＳ２０２においては、図８により説明したようにして、解析処理を実行する。つまり、先ずは、入力されたオーディオデータについてフィルタリング処理を行って、予め設定された接触音の周波数帯域に対応する信号成分のみを分離抽出する。そして、この抽出された接触音の信号成分のレベルについて、予め設定された閾値（第１の閾値±ｔｈ０及び第２の閾値±ｔｈ１）との比較を行う。また、その比較結果として、無音、弱音、強音の三段階による解析結果を得るようにされる。なお、このような解析処理は、図８にても説明したように、所定の時間ｔごとのタイミングで行われる。
そして、次のステップＳ２０３により、上記ステップＳ２０２にて解析結果の情報（無音、弱音、強音）を得たことを示すイベントを、マウスインターフェイスアプリケーション６０に対して発生させる。
【００８８】
続いては、マウスインターフェイスアプリケーション６０に従った処理動作について説明する。この処理は、図１１において中央のステップＳ３０１〜Ｓ３０７の処理として示されている。
先ず、ステップＳ３０１〜Ｓ３０２の処理は、カーソル位置情報発生モジュール６３に従っての処理となる。
ステップＳ３０１においては、画像認識モジュール５０に従ってステップＳ１０５にて発生したとされるイベントを受け取るのを待機している。ここで、画像認識モジュール５０からのイベントを受け取るまでは、ステップＳ３０２→Ｓ３０２の処理をスキップしてステップＳ３０３の処理に移行するようにされるが、ステップＳ３０１にてイベントを受け取ったとして肯定結果が得られた場合にはステップＳ３０２に進む。
【００８９】
ステップＳ３０２においては、先のステップＳ１０４にて取得されたとするポインタの実座標の情報を取り込むための処理を実行する。そして、続くステップＳ３０３において、取り込みを行ったポインタの実座標の情報に対応させて、カーソル位置情報を発生させる。この後は、ステップＳ３０４に進むこととしている。
【００９０】
ステップＳ３０４〜Ｓ３０６は、ボタン操作情報発生モジュール６２に従った処理である。
ステップＳ３０４においては、音声認識モジュール４０としての処理に従ってステップＳ２０３により発生したとされるイベントの受け取りを待機している。ここで、ステップＳ３０４において、イベントを受け取っていないと判別された場合にはステップＳ３０５→Ｓ３０６の処理をスキップしてステップＳ３０７の処理に移行する。これに対してステップＳ３０４においてイベントを受け取ったとして肯定結果が得られたのであればステップＳ３０５に進む。
【００９１】
ステップＳ３０５においては、先のステップＳ２０２にて得られたとされる解析結果（無音、弱音、強音）について取り込みを行う。そして、次のステップＳ３０６の処理によっては、上記ステップＳ２０２により取り込んだ解析結果に基づいて、無音・弱音・強音の発生の状態遷移を認識したうえで、図９に示したマウスの左ボタンの押圧／解除としての操作情報を発生させる。そして、ステップＳ３０７の処理に移行する。
【００９２】
ステップＳ３０７の処理は、操作情報伝達モジュール６１に従っての処理となる。
つまり、ステップＳ３０７の処理は、上記ステップＳ３０３及びＳ３０６により発生したとされる、現在のカーソル位置情報及び左ボタン操作情報を、ＯＳによって処理可能な構造のデータに変換して、ＯＳに受け渡すための処理を実行する。この受け渡された情報に応じて、ＯＳ上では、ＧＵＩ操作に対応した各種処理が実行されるのは、図１０の説明において述べたとおりである。つまり、マウスの移動に相当する操作と、マウス左ボタン押圧／解除に相当する操作とに応じた処理を実行することになる。
【００９３】
これまでの説明のようにして本実施の形態の疑似タッチパネル操作が実現されることで、例えば、タッチパネル付きの表示デバイスを用意しなくとも、表示画面に対して直接的に触れて操作を行う、タッチパネル的な操作が容易に実現されることになる。タッチパネル操作は、例えばマウス操作や、いわゆるウェアラブルコンピューティングの発想に基づいた操作とは異なり、直感的な操作であるので、より使い勝手の良いＧＵＩに対する操作が行えることになる。
【００９４】
そして、本実施の形態の場合において、このような疑似タッチパネル操作を実現するのにあたっては、ユーザは、画像／音声認識ドライバ１８ａをインストールした汎用的なパーソナルコンピュータと、カメラ装置及びマイクロフォンのみでよいこととなる。カメラ装置としては、例えばこれまでに広く普及しているパーソナルコンピュータ用のＣＣＤカメラなどを流用すれば良く、また、マイクロフォンも従来から普及している一般のものを用いればよい。また、特にマイクロフォンについては、パーソナルコンピュータに内蔵されているのであれば、これを用いても充分に実用に耐えうる。このため、ユーザは、経済的負担をさほど気にすることなく、必要な機器を揃えることができる。例えば、タッチパネル付きのディスプレイ装置は、現状においては非常に高価であるが、本実施の形態の場合であれば、より手軽にタッチパネル的操作が行えるシステムを得ることができる。
【００９５】
さらに本実施の形態においては、音声認識として表示画面１７ａに対する「接触音」を認識するようにしている。例えば、ユーザが発話した音声に応じてＧＵＩ制御を実行させる構成が知られているが、この場合には、ユーザは、不用意に発話することができないので、例えば操作中には会話などが充分にできないことになるが、本実施の形態の場合には、例えば発話音声とは、全く異なる周波数帯域特性等を有する「接触音」に基づいたＧＵＩ制御としていることで、上記のような問題は解消されることになる。
【００９６】
５．変形例（ポインティング操作のみによる疑似タッチパネル操作）
ところで、上記した本実施の形態としての疑似タッチパネル操作では、ユーザのポインタによるポインティング操作をマウスの移動操作に対応させ、また、このポインティング操作に応じた接触音の情報を「疑似ボタン操作」としてマウス左ボタン操作に対応させていた。
しかしながら、本実施の形態としては、上記した接触音の情報を用いなくとも、例えばクリックなどの「疑似ボタン操作」を実現することが可能である。以下、この点について、変形例として説明しておくこととする。
【００９７】
この場合の操作態様例について、先ず説明しておくこととする。
例えば、この場合においても、ユーザがポインタを用いて表示画面１７ａに対して接触操作を行ったときに、表示画面１７ａに接触しているポインタの先端部Ｐｔの座標が、最終的にカーソル位置情報として扱われるのは、上記実施の形態と同様である。従って、表示画面１７ａ上に接触するポインタが移動するのに応じて、そのポインタの先端部Ｐｔの位置（図１４参照）に合わせるようにして表示画面１７ａに表示されるカーソルは移動することとなる。
そして、この場合において、ユーザがクリック操作を行いたいと思った場合には、先ず、クリックしたいとするポイント位置にてポインタの先端部Ｐｔを一定時間以上停止させ、その後、例えば一旦表示画面１７ａから離すようにする。そしてこの後、同じクリックすべきポイント位置に対してポインタの先端部Ｐｔを戻すようにする。つまり、或る早さでもって、表示画面１７ａ上の同じ位置を１回叩くようにして操作する。
【００９８】
このような操作は、撮像画像上においては、或るポイント位置の座標にてポインタの先端部Ｐｔの動きが一時停止した後に動き、さらにこの後、一時停止していた位置の座標にポインタの先端部Ｐｔが位置するように見えることとなる。
そこで、例えば図１０に示した画像認識モジュール部５０及びマウスインターフェイスアプリケーション６０との連携によっては、フレームごとの撮像画像データにおけるポインタの先端部Ｐｔについて、動き検出を行うようにされる。そして、その動き検出結果として、
▲１▼ 或る座標Ａにて一定時間以上停止→▲２▼ この後座標Ａから離れるようにして先端部Ｐｔが移動→▲３▼ 先端部Ｐｔが、再び上記▲１▼の状態から一定時間以内に座標Ａに移動、
という状態遷移が得られたことが判定されたときに、座標Ａをクリック・ポイントとしてクリックが行われたものとして操作情報をＯＳに渡すようにされる。
なお、ダブルクリックについては、例えばクリックしたいとするポイント位置にてポインタの先端部Ｐｔを一定時間以上停止させた後、そのポイント位置を連続して二回叩いてもらうようにする。そして、これに応じた動き検出結果の条件
が得られたときにダブルクリックが行われたものとして扱うようにすればよい。
【００９９】
なお、本発明としての疑似タッチパネル操作を実現するための各種の処理はこれまでの説明に限定されるものではなく、適宜変更可能である。例えば、図３に示した枠情報の設定のための操作手順、また、図４〜図７により説明した座標変換処理のための演算の仕方などは、ほかにも考えられるものである。また、図８に示した接触音についての解析処理の内容、及び図９に示した解析結果に応じたマウス左ボタンの状態遷移も、実際にユーザに行ってもらうべき操作態様に応じて適宜変更されて構わない。例えば図８に示した解析処理では、接触音レベルについて、無音、弱音、強音の三段階による区分けを行っているが、例えば操作態様に応じては、二段階としたり、或いは四段階以上とすることも考えられる。さらには、図１０〜図１２に示した、疑似タッチパネル操作実現のためのプログラム構成及び処理動作についても、他の構成とすることが考えられるものである。
【０１００】
【発明の効果】
以上説明したようにして本発明は、表示画面を撮像して得られる撮像画像から、ポインタが指し示している表示画面上の位置であるポイント位置を認識して、この認識したポイント位置に応じて、ＧＵＩ操作に応答した所要の情報処理を実行するように構成されている。
このような構成であれば、例えば表示画面がタッチパネルとしての構造を採っていなくとも、タッチパネルと同様の操作を行うことが可能となる。
一般に、表示画面がタッチパネルとしての構造を有していなければ、マウス、トラックパッドなどの操作子を操作することになるのであるが、このような操作は、操作子がユーザの視界に無いこともあって必ずしも直感的な操作とはいえない。しかしながら本発明では、タッチパネル付きの表示画面でなくとも、直感的操作であるタッチパネル操作を可能としている。
また、このような本発明のタッチパネル的操作を実現するためのハードウェア構成としては、例えばパーソナルコンピュータなどの汎用の情報処理装置に対してカメラ装置（撮像装置）を備えればよい。つまり、高価で特殊な装置などは必要ないことから、ユーザとしては気軽にシステムを組めることにも成る。また、タッチパネル付きのコンピュータディスプレイなどは、相当に高価であることから、このようなコンピュータディスプレイを購入することと比較しても、本発明によるシステムは手軽に組むことができるものである。
【０１０１】
また、本発明としては、物理的なポインタが表示画面に接触することで生じる接触音をマイクロフォンによって収音して解析処理を行い、この解析処理の結果に基づいて、ＧＵＩ操作に応答した所要の情報処理を実行するようにされる。
この場合の操作としては、例えばカーソル移動のために表示画面上を擦るようにしてポインタを移動させたり、また、クリック／ダブルクリックのために表示画面上を叩いたりという、直感的な操作を行ってもらうことができる。
この発明によっても、タッチパネルの構造を有していない表示画面に対してタッチパネルと同様の操作が行えることになる。また、センサとしては、既に汎用的であり、安価で入手も容易なマイクロフォンとされている。これにより、上記したカメラ部をセンサとする発明の構成と同様の効果が得られることになる。
また、例えばユーザの発話音声により操作を行う構成が知られているが、この場合には、例えばユーザは、操作中には操作に関する内容しか話すことができないという不便さが伴う。しかしながら、本発明は、接触音に基づいたＧＵＩ制御となることから上記した問題は解消され、操作中においてはユーザは、自由に会話などをすることができる。
また、この接触音に基づいてＧＵＩ操作を実現する本発明は、上記した撮像画像から得たポイント位置に基づいてＧＵＩ操作を実現する発明と併用することで、より操作性の向上したＧＵＩ操作とすることもできる。
【図面の簡単な説明】
【図１】本実施の形態としての疑似タッチパネル操作システムの概要を示す斜視図である。
【図２】本実施の形態としてのパーソナルコンピュータの内部構成例を示すブロック図である。
【図３】枠情報を設定するための操作手順を示す説明図である。
【図４】枠情報についての台形補正処理を模式的に示す説明図である。
【図５】枠情報に存在する画像内座標を、表示画面上の実座標に変換するための処理例を模式的に示す説明図である。
【図６】枠情報に存在する画像内座標を、表示画面上の実座標に変換するための処理例を模式的に示す説明図である。
【図７】枠情報に存在する画像内座標を、表示画面上の実座標に変換するための処理例を模式的に示す説明図である。
【図８】接触音についての解析処理例を模式的に示す説明図である。
【図９】接触音についての解析結果に応じたマウス左ボタン操作の状態遷移例を示す説明図である。
【図１０】画像／音声認識ドライバのプログラム構造例を示すブロック図である。
【図１１】疑似タッチパネル操作時に対応する画像／音声認識ドライバに従っての処理動作を示すフローチャートである。
【図１２】画像認識モジュールに従った処理として、ポインタ検出処理例を示すフローチャートである。
【図１３】色領域を、ＹＵＶ色度空間により表した説明図である。
【図１４】カメラ部により撮像された撮像画像として、ポインタとしてのユーザの手の画像部分が現れている状態を示す説明図である。
【図１５】本実施の形態の疑似タッチパネル操作システムについての他の構成例を示す説明図である。
【図１６】タッチパネルの構造例を模式的に示す説明図である。
【符号の説明】
１０ パーソナルコンピュータ、１１ ＣＰＵ、１７ ディスプレイモニタ、１７ａ 表示画面、１８ ＨＤＤ、１８ａ 画像／音声認識ドライバ、２２ カメラ部、２３（２３Ａ） マイクロフォン、３０ 画像／音声認識モジュール、４０ 音声認識モジュール部、４１ オーディオキャプチャモジュール、４２ オーディオ解析モジュール、５０ 画像認識モジュール部、５１ ビデオキャプチャモジュール、５２ 座標取得モジュール、６０ マウスインターフェイスアプリケーション、ＣＲ１〜ＣＲ４ 画隅指定カーソル、
Claims (18)
- 表示画面に対して画像を表示出力する表示手段と、
撮像装置により撮像された撮像画像を取り込む画像取込手段と、
上記画像取込手段により取り込まれた撮像画像における、上記表示画面の画像部分領域を枠情報として認識する画像部分認識手段と、
上記枠情報の上底と下底の辺を平行として上記枠情報が台形となるように形状を補正する台形補正処理を行って、上記枠情報を補正枠情報とする枠情報補正処理手段と、
上記画像部分認識手段が認識する画像部分領域内に存在するポインタの上記表示画面への接触操作によって指し示す位置を、上記補正枠情報に基づいて座標変換処理を行い、実際の上記表示画面上におけるポイント位置として認識するポイント位置認識手段と、
上記ポイント位置認識手段により認識されたポイント位置に応じて、所要の情報処理を実行可能な情報処理手段と、
を備えていることを特徴とする情報処理装置。 - 上記補正処理手段の上記台形補正処理は、上記枠情報の上底の両端の頂点、下底の両端の頂点のそれぞれのＹ座標値の平均値を補正Ｙ座標値とする座標変換処理を行うことにより、上記枠情報が台形となるように形状を補正するものであることを特徴とする請求項１に記載の情報処理装置。
- 上記ポイント位置認識手段の上記座標変換処理は、上記補正枠情報の縦・横方向の幅と上記表示画面の縦・横方向の幅との比に基づいて座標変換処理を行うことを特徴とする請求項１に記載の情報処理装置。
- マイクロフォン装置により収音された音声信号を取り込む音声取込手段と、
上記音声取込手段により取り込まれた音声信号から、上記表示画面に対して物理的ポインタが接触することにより生じる接触音の音声信号成分を抽出する抽出手段と、
上記抽出手段により抽出された接触音の音声信号成分についての所要の解析処理を実行する解析手段とを設け、
上記情報処理手段は、上記解析手段の解析結果に基づいて所要の情報処理を実行可能に構成される、
ことを特徴とする請求項１に記載の情報処理装置。 - 上記解析手段は、
上記接触音について、所定の段階による音の強弱レベルを解析するように構成されていることを特徴とする請求項４に記載の情報処理装置。 - 上記解析手段は、
上記接触音についての時間的継続性について解析するように構成されていることを特徴とする請求項４に記載の情報処理装置。 - 少なくとも、撮像装置と情報処理装置とから成り、
上記撮像装置は、上記情報処理装置の上記表示画面全体を撮像可能な位置に設けられると共に、
上記情報処理装置は、
表示画面に対して画像を表示出力する表示手段と、
撮像装置により撮像された撮像画像を取り込む画像取込手段と、
上記画像取込手段により取り込まれた撮像画像における、上記表示画面の画像部分領域を枠情報として認識する画像部分認識手段と、
上記枠情報の上底と下底の辺を平行として上記枠情報が台形となるように形状を補正する台形補正処理を行って、上記枠情報を補正枠情報とする枠情報補正処理手段と、
上記画像部分認識手段が認識する画像部分領域内に存在するポインタの上記表示画面への接触操作によって指し示す位置を、上記補正枠情報に基づいて座標変換処理を行い、実際の上記表示画面上におけるポイント位置として認識するポイント位置認識手段と、
上記ポイント位置認識手段により認識されたポイント位置に応じて、所要の情報処理を実行可能な情報処理手段とを備えている、
ことを特徴とする情報処理システム。 - 上記補正処理手段の上記台形補正処理は、上記枠情報の上底の両端の頂点、下底の両端の頂点のそれぞれのＹ座標値の平均値を補正Ｙ座標値とする座標変換処理を行うことにより、上記枠情報が台形となるように形状を補正するものであることを特徴とする請求項７に記載の情報処理システム。
- 上記ポイント位置認識手段の上記座標変換処理は、上記補正枠情報の縦・横方向の幅と上記表示画面の縦・横方向の幅との比に基づいて座標変換処理を行うことを特徴とする請求項７に記載の情報処理システム。
- 当該情報処理システムは、さらに、マイクロフォン装置を備えると共に、
上記情報処理装置は、
マイクロフォン装置により収音された音声信号を取り込む音声取込手段と、
上記音声取込手段により取り込まれた音声信号から、上記表示画面に対して物理的ポインタが接触することにより生じる接触音の音声信号成分を抽出する抽出手段と、
上記抽出手段により抽出された接触音の音声信号成分についての所要の解析処理を実行する解析手段とを設け、
上記情報処理手段は、上記解析手段の解析結果に基づいて所要の情報処理を実行可能に構成される、
ことを特徴とする請求項７に記載の情報処理システム。 - 上記解析手段は、
上記接触音について、所定の段階による音の強弱レベルを解析するように構成されていることを特徴とする請求項１０に記載の情報処理装置。 - 上記解析手段は、
上記接触音についての時間的継続性について解析するように構成されていることを特徴とする請求項１０に記載の情報処理装置。 - 情報処理装置の表示画面を撮像するように配置される撮像装置により撮像された撮像画像を取り込む画像取込手順と、
上記画像取込手順により取り込まれた撮像画像における、上記表示画面の画像部分領域を枠情報として認識する画像部分認識手順と、
上記枠情報の上底と下底の辺を平行として上記枠情報が台形となるように形状を補正する台形補正処理を行って、上記枠情報を補正枠情報とする枠情報補正処理手順と、
上記画像部分認識手順が認識する画像部分領域内に存在するポインタの上記表示画面への接触操作によって指し示す位置を、上記補正枠情報に基づいて座標変換処理を行い、実際の上記表示画面上におけるポイント位置として認識するポイント位置認識手順と、
上記ポイント位置認識手順により認識されたポイント位置に応じて、所要の情報処理を実行可能な情報処理手順と、
を上記情報処理装置に実行させるためのプログラム。 - 上記補正処理手順の上記台形補正処理は、上記枠情報の上底の両端の頂点、下底の両端の頂点のそれぞれの Y 座標値の平均値を補正Ｙ座標値とする座標変換処理を行うことにより、上記枠情報が台形となるように形状を補正するものであることを特徴とする請求項１３に記載のプログラム。
- 上記ポイント位置認識手順の上記座標変換処理は、上記補正枠情報の縦・横方向の幅と上記表示画面の縦・横方向の幅との比に基づいて座標変換処理を行うことを特徴とする請求項１３に記載のプログラム。
- マイクロフォン装置により収音された音声信号を取り込む音声取込手順と、
上記音声取込手順により取り込まれた音声信号から、上記表示画面に対して物理的ポインタが接触することにより生じる接触音の音声信号成分を抽出する抽出手順と、
上記抽出手順により抽出された接触音の音声信号成分についての所要の解析処理を実行する解析手順とを上記情報処理装置に実行させるとともに、
上記情報処理手順は、上記解析手順の解析結果に基づいて所要の情報処理を上記情報処理装置に実行させることが可能に構成される、
ことを特徴とする請求項１３に記載のプログラム。 - 上記解析手順は、
上記接触音について、所定の段階による音の強弱レベルを解析するように構成されていることを特徴とする請求項１６に記載のプログラム。 - 上記解析手順は、
上記接触音についての時間的継続性について解析するように構成されていることを特徴とする請求項１６に記載のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001315301A JP4055388B2 (ja) | 2001-10-12 | 2001-10-12 | 情報処理装置、情報処理システム、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001315301A JP4055388B2 (ja) | 2001-10-12 | 2001-10-12 | 情報処理装置、情報処理システム、及びプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003122505A JP2003122505A (ja) | 2003-04-25 |
| JP2003122505A5 JP2003122505A5 (ja) | 2005-06-30 |
| JP4055388B2 true JP4055388B2 (ja) | 2008-03-05 |
Family
ID=19133490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001315301A Expired - Fee Related JP4055388B2 (ja) | 2001-10-12 | 2001-10-12 | 情報処理装置、情報処理システム、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4055388B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4206332B2 (ja) | 2003-09-12 | 2009-01-07 | 株式会社バンダイナムコゲームス | 入力装置、ゲームシステム、プログラムおよび情報記憶媒体 |
| US20130187854A1 (en) | 2007-05-26 | 2013-07-25 | Moon Key Lee | Pointing Device Using Camera and Outputting Mark |
| KR100936816B1 (ko) * | 2007-05-26 | 2010-01-14 | 이문기 | 카메라와 마크 출력에의한 포인팅 장치 |
| JPWO2009141855A1 (ja) * | 2008-05-23 | 2011-09-22 | 新世代株式会社 | 入力システム、入力方法、コンピュータプログラム、及び、記録媒体 |
| US8411050B2 (en) * | 2009-10-14 | 2013-04-02 | Sony Computer Entertainment America | Touch interface having microphone to determine touch impact strength |
| JP5471704B2 (ja) * | 2010-03-29 | 2014-04-16 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5505057B2 (ja) * | 2010-04-19 | 2014-05-28 | 株式会社ニコン | 表示装置 |
| JP5623138B2 (ja) * | 2010-05-31 | 2014-11-12 | キヤノン株式会社 | 情報処理装置およびその動作方法 |
| JP2010227626A (ja) * | 2010-07-12 | 2010-10-14 | Sanyo Product Co Ltd | 遊技機 |
| JP5017466B1 (ja) * | 2011-02-28 | 2012-09-05 | 株式会社東芝 | 情報処理装置およびプログラム |
| JP5122031B2 (ja) * | 2011-03-18 | 2013-01-16 | 三菱電機株式会社 | 列車内情報表示装置および列車内情報表示システム |
| JP4969705B1 (ja) * | 2011-03-18 | 2012-07-04 | 三菱電機株式会社 | 列車内情報表示装置、列車内情報表示システムおよび広告表示結果判定方法 |
| JP5838631B2 (ja) * | 2011-07-27 | 2016-01-06 | ぺんてる株式会社 | 手書き文字認識装置 |
| JP2013037420A (ja) * | 2011-08-04 | 2013-02-21 | Dainippon Printing Co Ltd | コンテンツ表示システム、コンテンツ表示制御方法、コンテンツ表示制御装置、プログラム |
| JP2012160204A (ja) * | 2012-04-24 | 2012-08-23 | Nec Corp | 携帯端末及びプログラム |
| JP5377713B2 (ja) * | 2012-06-01 | 2013-12-25 | 株式会社東芝 | 情報処理装置およびプログラム |
| JP2015132875A (ja) * | 2014-01-09 | 2015-07-23 | 国立大学法人九州工業大学 | 位置検出装置及びプログラム |
| JP2019207451A (ja) * | 2018-05-28 | 2019-12-05 | マクセル株式会社 | 映像表示装置、映像表示方法 |
-
2001
- 2001-10-12 JP JP2001315301A patent/JP4055388B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003122505A (ja) | 2003-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4055388B2 (ja) | 情報処理装置、情報処理システム、及びプログラム | |
| JP7095722B2 (ja) | 情報処理装置およびプログラム | |
| EP2648604B1 (en) | Adaptive displays using gaze tracking | |
| US8610678B2 (en) | Information processing apparatus and method for moving a displayed object between multiple displays | |
| WO2018098912A1 (zh) | 屏幕录像的录制、播放方法、录屏终端及播放终端 | |
| CN108616712B (zh) | 一种基于摄像头的界面操作方法、装置、设备及存储介质 | |
| US20090284469A1 (en) | Video based apparatus and method for controlling the cursor | |
| WO2019184499A1 (zh) | 一种视频通话的方法、设备和计算机存储介质 | |
| US20100328447A1 (en) | Configuration of display and audio parameters for computer graphics rendering system having multiple displays | |
| WO2021031850A1 (zh) | 图像处理的方法、装置、电子设备及存储介质 | |
| WO2018076380A1 (zh) | 在电子设备中生成视频缩略图的方法及电子设备 | |
| JPH05233125A (ja) | マルチメディア情報入力装置 | |
| TW200945174A (en) | Vision based pointing device emulation | |
| JP2002526867A (ja) | データ入力方法 | |
| WO2022156213A1 (zh) | 基于手势的显示界面控制方法、装置、设备及存储介质 | |
| TW200949609A (en) | Method and system for controlling multiple computers | |
| KR20220158101A (ko) | 이미지 촬영 방법 및 전자 장비 | |
| JP2010102395A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2013206272A (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
| JP2004193933A (ja) | 画像拡大表示方法・装置・メディア・プログラム | |
| CN111768757A (zh) | 可穿戴设备的控制方法、可穿戴设备及存储介质 | |
| CN103809889B (zh) | 一种单点触控的拉曼光谱谱图放大缩小方法 | |
| WO2023124972A1 (zh) | 显示状态切换方法、装置及系统、电子设备、存储介质 | |
| TW200951765A (en) | System of inputting instruction by image identification and method of the same | |
| WO2018211798A1 (ja) | 情報処理装置、情報処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041008 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041008 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061020 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071120 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071203 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |