JP3997566B2

JP3997566B2 - Drawing apparatus and drawing method

Info

Publication number: JP3997566B2
Application number: JP18999097A
Authority: JP
Inventors: 純一暦本; 伸行松下
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-07-15
Filing date: 1997-07-15
Publication date: 2007-10-24
Anticipated expiration: 2017-07-15
Also published as: JPH1138949A

Description

【０００１】
【発明の属する技術分野】
本発明は、インタラクティブな入出力が可能な表示システムを利用して描画を実現するための描画装置、及び描画方法に関するものである。
【０００２】
【従来の技術】
例えばコンピュータ装置などでは、様々なアプリケーションプログラムなどのもとで、ユーザの操作に応答してコンピュータ装置側が所定の反応を表示等によって提示する、いわゆるインタラクティブな入出力形態が広く採用されている。そして、上記のようなインタラクティブな入出力が実現された環境のもとで、いわゆるドローやペインティングなどのソフトウェアを利用して、ユーザが行った所定の入力操作に従って線や図形などの描画を行うことが行われている。
【０００３】
例えば、上記のような描画の入力操作に用いる入力装置の１つとして、例えばタッチパネルやタブレットなどが広く知られている。タッチパネルは、パネル上に対して例えばユーザの指を接触させながら、任意の方向にスライド操作させるようにして、所要の操作を行うものである。また、タブレットは、専用のペンの先端をタブレットの操作面上に対して接触させながら動かすことで、このペン先の動きに対応した絵や文字などの画像がモニタ等に描画されるものである。
【０００４】
また、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイも知られている。このようなプロジェクションディスプレイでは、例えばユーザが専用の赤外線発光ペンを利用して、上記ホワイトボード上に対して図形や文字などの描画操作を行うようにされる。
【０００５】
また、「ビデオプレイス」といわれるインタラクティブな効果をねらった装置が知られている。このビデオプレイスは、例えばビデオカメラを利用した芸術性を有する装置とされる。例えばビデオプレイスの鑑賞者は、ビデオカメラに自身の手あるいはその他の人体の一部をシルエットとして撮影させる。鑑賞者は、この撮影画像と例えば他の画像とが合成された何らかの画像をモニタ装置でみながら自在に手や人体の一部を動かすことにより、モニタ装置に表示される画像の反応や変化を楽しむことができるようになっている。
【０００６】
【発明が解決しようとする課題】
ところで、更に拡大されたインタラクティブな入出力環境のもとで描画を行おうとした場合、上記したようなこれまでの入力装置では次のような点で限界が見えてくる。
タッチパネルやタブレットを例に採った場合、ポインティングの操作は概して指又は専用のペン等に限定される。また、タッチパネルやタブレットの面上の空間での操作は行えず、操作面に対して指やペンなどの物理的な操作体をパネル面上に接触させる必要がある。更に、タッチパネルやタブレットは、その構造上比較的高価なので大型の操作パネルとしては好適でない。また、タッチパネルやタブレットに対する操作により得られる描画画像は、通常、タッチパネルやタブレット本体とは別体とされるモニタ装置などに対して表示されるので、その描画操作が間接的になる。
また、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイの場合、操作画面の大型化は容易に実現可能なのであるが、例えば上記したように赤外線発光ペンなどの特殊なポインティングデバイスが必要となる点では、上記したタブレットと同様となる。
【０００７】
また、ビデオプレイスの場合には、手や人体のシルエットを利用して何らかのインタラクティブな操作を実現するため、この場合にも、その入出力間のインターフェイスが間接的であり、直接的な操作を望む場合には機能的に不十分となる。
【０００８】
このように、これまでの入力装置ではインタラクティブな入出力環境を強化拡大したうえで、描画を行おうとした場合には様々な障害となる要因が存在する。
【０００９】
【課題を解決するための手段】
そこで、本発明は上記した課題を解決するため、半透明面と、上記半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像手段と、上記撮像手段が受信すべき所定の波長帯域の光又は電磁波を、該電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する、輻射手段と、上記撮像手段から入力された撮像信号に基づいて、上記半透明面に対して与えられた操作が反映される検出用画像情報を生成し、この検出用画像情報に基づいて識別した操作情報に基づいて所要の制御処理を実行する制御処理手段と、上記撮像手段が撮像すべき光又は電磁波の波長帯域を含まない可視光による画像を上記半透明面に対して投影表示可能に設けられる投影表示手段と、上記操作体によって反射された光又は電磁波の強度に関する閾値を制御する閾値制御部とを有し、上記制御処理手段は、上記操作体によって反射された光又は電磁波の強度が前記閾値制御部により制御された閾値以上であって、さらに上記半透明面に対して上記投影表示手段により投影された四角形の画像の領域内の対角線上にある頂点近傍の２点が上記操作体により同時に指定されているとき、上記２点の位置の変化に応じて上記四角形の画像を変形させて投影表示させるように上記投影表示手段を制御するように構成することとした。
【００１０】
また、半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像動作と、上記撮像動作において受信すべき所定の波長帯域の光又は電磁波を、該電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する、輻射動作と、上記撮像動作により得られる撮像信号に基づいて、上記半透明面に対して与えられた操作が反映される検出用画像情報を生成し、この検出用画像情報に基づいて識別した操作情報に基づいて実行される所要の制御処理と、上記撮像動作として撮像すべき光又は電磁波の波長帯域を含まない可視光による画像を上記半透明面に対して投影表示動作と、上記操作体によって反射された光又は電磁波の強度に関する閾値を制御する閾値制御処理とを実行させるように構成したもとで描画を行うための描画方法であって、上記制御処理として、上記操作体によって反射された光又は電磁波の強度が前記閾値制御処理により制御された閾値以上であって、さらに上記半透明面に対して上記投影表示動作により投影された四角形の画像の領域内の対角線上にある頂点近傍の２点が上記操作体により同時に指定されているとき、上記２点の位置の変化に応じて上記四角形の画像を変形させて投影表示させるための表示制御とを実行可能に構成することとした。
【００１２】
上記構成によると、例えば半透明面に近づいた物理的対象によって撮像手段に入射する光又は電磁波の状態が変化することになる。本発明ではこのような光又は電磁波の状態変化を画像情報として捉えることになる。そして、このようにして得られる画像情報を操作情報として扱い、この操作情報に従って描画を行うシステムを構築することが可能となる。つまり、半透明面の付近において、撮像手段により撮像される所定波長帯域の光又は電磁波の状態に変化を与えることのできる何らかの物理的対象を近づけたり動かしたりすることによって操作情報を与えることで描画を行うことが可能となる。
また、本発明では半透明面が操作パネル及び表示パネルの機能を兼用することになるので、ユーザが半透明面に対して行った操作により描画される描画画像を直接半透明面に対して反映させるようにして表示させることが可能になる。
また、本発明において操作パネル及び表示パネルとして機能するのは単なる半透明面であり、この半透明面としては容易に大型なものを形成することができることにもなる。
【００１３】
また、上述した描画装置としての構成に対して、上記撮像手段が受像すべき光又は電磁波を半透明面に対して定常的に輻射する輻射手段を備えれば、半透明面に対して行われた操作情報を検出するための媒体が容易に得られることになる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態の情報入力装置について説明する。なお、以降の説明は次の順序で行う。
＜１．描画装置の構成及び操作情報の検出動作＞
＜２．基本的な多角形の描画操作＞
＜３．四角形に関する描画＞
＜４．三角形に関する描画＞
＜５．楕円形に関する描画＞
＜６．線の変形＞
＜７．図形の移動操作例＞
＜８．図形の拡大／縮小操作例＞
＜９．ホワイトボード機能＞
＜１０．他の実施の形態としての描画装置の構成＞
【００１５】
＜１．描画装置の構成及び操作情報の検出方法＞
先ず、図１〜図６を参照して、本発明の実施の形態としての描画装置の構成例及び基本的な操作情報の検出動作について説明する。
図１は、本実施の形態としての描画装置の構成例を概念的に示している。この図に示す描画装置１は、半透明面２、赤外線発光ダイオード素子（ＬＥＤ：Light Emitted Diode ）パネル３、ＣＣＤ(Charge Coupled Device) カメラ４、プロジェクタ５、及び制御装置６を備えて構成される。赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５は半透明面２の背面側に対して設けられる。
【００１６】
半透明面２は、例えば透明なガラス板に対してトレーシングペーパーのような見え方をする半透明膜を貼り合わせる、あるいは磨りガラスのような半透明の性質を有するものを利用するなどして形成され、後述するようにして当該描画装置１における操作パネルと表示パネルとの両者の機能を併せ持つ。
赤外線ＬＥＤパネル３は、例えばパネル面に対して多数の赤外線ＬＥＤが集合的に配列されることによって構成され、上記赤外線ＬＥＤから発光出力される赤外線光が半透明面の背面全体に対して照射されるように設けられる。上記赤外線ＬＥＤは制御装置６によって定常的に赤外線を発光するように駆動される。
なお、赤外線ＬＥＤパネル３としては、発光出力される赤外線光が半透明面２全体に対して照射されるのに充分な数の赤外線ＬＥＤが設けられればよい。また、後述するように、初期の赤外線画像に対する現在の赤外線画像の差分に基づいて半透明面２側から反射してくる画像情報を得るようにされることから、半透明面２全体に対して照射される赤外線光量が一律であるべき必要もない。従って赤外線ＬＥＤパネル３のサイズは、半透明面２よりもはるかに小さいもので済ませることができる。
【００１７】
ＣＣＤカメラ４は、撮像素子としてＣＣＤを用いたカメラ装置であり、この場合には、半透明面２に映る画像光として赤外線光の成分のみを撮像することにより、半透明面２に対して行われた操作を画像情報として認識するために設けられる。このため、ＣＣＤカメラ４の光学系の部分に対しては、赤外線領域の波長帯域のみを透過する赤外線透過フィルタ４ａが設けられる。また、ＣＣＤカメラ４により撮影される構図として半透明面２全体が含まれるようにその配置位置が設定される。
【００１８】
プロジェクタ５は、制御装置６から供給される画像情報に基づいて、可視光による画像光を半透明面２の背面に対して投影表示する。例えばユーザは、半透明面２に投影表示されたプロジェクタ５の画像を、半透明面２の前面側から観察することができる。ここで、プロジェクタ５の光学系には赤外線領域の波長を遮断する赤外線遮断フィルタ５ａが設けられているが、これにより、半透明面２に投影表示される画像光には赤外線が含まれなくなるため、プロジェクタ５の投影画像は、ＣＣＤカメラ４からは不可視となる。
【００１９】
制御装置６は、例えばマイクロコンピュータを備えて構成され、ＣＣＤカメラ４から供給される撮像信号から画像情報（映像データ）を得て、更にこの画像情報をもとに操作情報を得る。そして、この操作情報に基づいて、例えばプロジェクタ５により半透明面２に表示させる画像に関する表示制御を実行する他、各種所要の制御処理を行う。また、赤外線ＬＥＤパネル３の赤外線ＬＥＤの発光駆動を行う。
なお、上記赤外線ＬＥＤパネル３、ＣＣＤカメラ４及びプロジェクタ５の配置位置は、それぞれが果たすべき役割が充分機能することを考慮して設定されればよい。
また、制御装置６と接続されるプリンタ２０は、後述するようにして半透明面２に対して表示される描画画像などを印刷出力するために設けられる。
【００２０】
図２は、上記制御装置６の内部構成例を示すブロック図である。この図に示す制御装置６において、ＬＥＤ駆動部１０は、赤外線ＬＥＤパネル３に設けられた複数の赤外線ＬＥＤを発光駆動するための回路部位である。
【００２１】
画像入力部１１は、ＣＣＤカメラ４から供給された撮像信号について所要の信号処理を施すことによって映像信号を生成して入力画像処理部１２に供給する。つまり、画像入力部１１では、半透明面２側からＣＣＤカメラ４を介して入射してきた赤外線光を映像情報として出力する。
【００２２】
入力画像処理部１２では、例えば画像入力部１１から供給された映像信号をデジタル信号による映像信号データに変換する。入力画像処理部１２においては、この映像信号データに基づいて得られる「画像情報（例えばフレーム単位の映像データ）」を利用して所要の解析処理等を実行することで、半透明面２に対して行われた操作情報を得るようにされる。ここで画像情報に基づいて得られる操作情報としては、例えば、半透明面２に対して操作を行っている操作体の画像上の位置（座標）や画像の信号レベルなどが用いられる。この操作情報はデータベース駆動部１４に伝送される。また、上記映像信号データは、画像合成部１７に対しても供給可能とされている。
【００２３】
しきい値制御部１３は、入力画像処理部１２にて実行される操作情報に関する処理に必要なしきい値を設定して入力画像処理部１２に伝送する。上記入力画像処理部１２では、しきい値制御部１３において設定されるしきい値を利用して画像情報について解析を行うなど所要の処理を実行することで操作情報を得る。また、本実施の形態では後述するようにして入力画像データのフレーム差分を算出することにより、現在の半透明面２の画像状態（検出画像情報）を得るようにされるが、フレーム差分演算に利用する基準値（基準画像入力レベル）等の情報も、後述するようにして、しきい値制御部１３に格納されるものとする。
【００２４】
データベース駆動部１４は、入力画像処理部１２により得られた操作情報を取り込み、この操作情報に基づいて適宜所要の処理を実行する。この際、データベース駆動部１４が実行すべき制御処理に必要なプログラムデータはデータベースメモリ１５に格納されており、データベース駆動部１４は、データベースメモリ１５に格納されたプログラムデータに基づいて所要の制御処理を実行することになる。
本実施の形態では、後述する各種描画動作を実現するための描画プログラムがデータベースメモリ１４に格納されることになる。
【００２５】
画像生成部１６は、データベース駆動部１４の制御によって、必要な画像データ（デジタル信号による映像信号データ）を生成して画像合成部１７に出力する。
画像合成部１７においては、必要があれば上記画像生成部１６から供給された映像信号データに対して、入力画像処理部１２から供給された映像信号データを合成してＲＧＢ信号生成部１８に対して出力する。
ＲＧＢ信号生成部１８では、上記画像合成部１７から供給された映像信号データについて、例えばアナログによるＲＧＢ信号に変換してプロジェクタ５に対して出力する。これにより、プロジェクタ５からは、半透明面２に対して行われる操作に応答した映像による画像光が半透明面２に対して照射出力されることになる。
【００２６】
また、本実施の形態においては、制御装置６に対して画像の印刷を行うためのプリンタ２０を設けることができ、これに対応するため、制御装置６内においてはプリンタ制御部１９が設けられる。このプリンタ制御部１９は、当該制御装置６とプリンタ２０間との通信を行うために設けられるものであり、ＲＧＢ信号生成部１８から出力された画像データについて、実際に接続されたプリンタ２０による印刷が可能な形態のデータに変換してプリンタ２０に伝送するほか、プリンタ２０の各種動作を制御するための制御信号を出力する。この制御信号は例えばデータベース駆動部１４から送信される。また、プリンタ２０側から送信されてくるデータ信号をデータベース駆動部１４に伝送することにより、データベース駆動部１４ではプリンタ２０の動作状態を監視する。そして、その動作状態に応じて適宜所要の処理を実行するようにされる。
【００２７】
次に、上記構成による本実施の形態の描画装置１における操作情報の検出方法について説明する。
前述のように、図１に示す半透明面２全体に対しては、その背面から赤外線ＬＥＤパネル３により赤外線光が照射されるのであるが、この赤外線光は半透明面２が半透明であることから、全ての赤外線光が半透明面２を通過するのではなく、幾分かの赤外線光が半透明面２の作用によって反射されることになる。
そして、本実施の形態においては半透明面２に対して何も操作が行われていないとされる状態のもとで、半透明面２にて反射される赤外線光をＣＣＤカメラ４により撮像し、これにより得られる映像信号データの初期レベルを「基準入力画像レベル」として記憶する。この基準入力画像レベルは、入力された映像信号データに基づいて例えば１フレームにおける画素ごとの信号レベルを検出することにより行うようにすればよい。この検出処理は、入力画像処理部１２により行われるものとされる。このようにして検出された基準入力画像レベルの情報はしきい値検出部１３に伝送され、ここで保持されることになる。
【００２８】
上記基準入力画像レベルの検出処理は、例えば図３のフローチャートに示すものとなる。この図に示すように、先ず入力画像処理部１２では、ステップＳ１０１において、ＣＣＤカメラ４から画像入力部１１を介して供給された映像信号から得られる１フレーム分の画像データに基づいて、上述のようにして画素ごとに信号レベルを検出し、この検出結果を基準入力画像レベルＬｉｎｔとして得る。なお、具体的には画素ごとの輝度信号成分のレベルを検出してこれを基準入力画像レベルＬｉｎｔとすることが考えられる。
入力画像処理部１２は、続くステップＳ１０２において、上記基準入力画像レベルＬｉｎｔをしきい値制御部１３に伝送して記憶させるように処理を実行する。
【００２９】
なお、基準入力画像レベルＬｉｎｔを検出してしきい値制御部１３に記憶させる処理（上記図３に示す処理動作）は、例えば当該インタラクティブ表示システムの電源オン時などに実行させたり、あるいは何らかのユーザの指示によって必要なときに基準入力画像レベルＬｉｎｔを更新させるように構成することが考えられる。
【００３０】
上記のようにして基準入力画像レベルＬｉｎｔの情報が保持された状態のもとで、操作情報として扱われる画像情報は次のようにして得るようにされる。
図４は、操作情報のもととなる画像情報（以下、この「画像情報」については特に「検出画像情報」という）を得るための入力画像処理部１２の処理動作を示すフローチャートである。この場合、入力画像処理部１２は、先ずステップＳ２０１において現在の入力画像レベルＬｐｒｓを検出する処理を実行する。ここでいう入力画像レベルＬｐｒｓは、現在においてＣＣＤカメラ４により撮像された、赤外線光に基づく半透明面２の画像についてのフレーム単位のデータであり、このフレーム単位の画像データにおける画素ごとの信号レベルを検出して得られる情報である。
続いて、入力画像処理部１２はステップＳ２０２において、基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓの差分を演算する（Ｌ＝Ｌｐｒｓ−Ｌｉｎｔ）ことによって差分入力画像レベルＬを算出する。具体的には、基準入力画像レベルＬｉｎｔと上記入力画像レベルＬｐｒｓとして得られたデータ値を、同一位置の画素ごとに差分を求めることによって差分入力画像レベルＬを得るようにされる。従って、差分入力画像レベルＬとしては、常に基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓとの信号レベル差が画素ごとに得られることになる。そして、入力画像処理部１２は、ステップＳ２０３に進み、上記差分入力画像レベルＬに基づいて、現在の検出画像情報（フレーム単位で画素ごとのレベル情報を有する形式の映像データ）を生成するようにされる。
【００３１】
上記のごとき検出画像情報の検出動作を、実際のユーザの半透明面２の前面側での動きと共に説明する。例えばユーザは、半透明面２の前面側において赤外線を反射可能な何らかの物体を利用して半透明面２の前面側において操作を行うようにするのであるが、ここでは、説明の簡単のためにユーザ自身の指や身体を用いることとする。
ここで、例えば図１に示すように半透明面２の前面側においてユーザが半透明面２から遠く離れた距離にいるときには、例えば半透明面２を通過してユーザの身体に反射するとされる赤外線光量は少ないことから、そのほとんどが半透明面２の前面から背面を通過して戻ることはない。このとき、上述した基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓとは同等であり、入力画像処理部１２では、差分入力画像レベルＬとしてほぼ０であると検出することになる。つまり、差分入力画像レベルＬに基づいて生成される検出画像情報としては、初期状態と同様の変化の無いとされる状態が得られることになる。
【００３２】
ここで、例えば上記の状態からユーザが徐々に半透明面２に対して近づいていったとすると、半透明面２を通過してユーザの身体に反射する赤外線光のうち、半透明面２を通過して背面側に到達する光量が次第に増加していくことになる。この状態を、入力画像処理部１２からみた場合には、ユーザの身体に対応する画像部分の基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓのレベルが徐々に増加していく状態として捉えられる。これに応じて、検出画像情報としては算出される差分入力画像レベルＬに応じて、半透明面２に接近するユーザの姿が徐々に捉えられていくことになる。
そして、半透明面２に対して例えばユーザの体が非常に接近した状態（しきい値の設定にもよるが例えば半透明面２から３０ｃｍ以内）では、その人体に反射した赤外線光がほとんど半透明面２を通過して背面側に到達することになるので、その身体形状がより鮮明な状態の検出画像情報が生成されることになる。
【００３３】
また、ここでユーザがその身体を半透明面２からある程度距離を置いた状態で、例えば自身の指を手前にかざして半透明面２の非常に近い位置においたとする。
この場合、半透明面２に近接するユーザの指は他の身体部分よりも多くの赤外線光を反射するため、入力画像処理部１２において得られる画像情報としては、ユーザの指にあたるに位置の画像領域のレベルが強く、その背景となる部分においてユーザの身体部分にあたる位置の画像領域のレベルは半透明面２からの距離に応じて弱くなることになる。そして、例えばこの状態のもとで、しきい値制御部１３にて設定された所定のしきい値と検出画像情報とを比較すれば、容易にユーザの指にあたる部分のみの画像を背景から分離させることが可能であり、同様にしきい値の設定によっては、半透明面２から離れた距離にあるユーザの身体部分のみを抽出した画像情報を得ることも可能である。このようなしきい値は、前述のように実際に必要とされる条件に応じた値がしきい値制御部１３において設定されるものである。
【００３４】
このようにして、半透明面２の前面側の状態を検出する構成を採ることにより、この半透明面２を例えばインタラクティブなインターフェイスのための操作パネルとして機能させる場合には次のような利点が得られる。
先ず、本実施の形態では半透明面２側からの赤外線の反射光量によって得られる画像に基づいて操作情報を得ることになるので、操作を行うための操作体としては、特に特殊なポインティングデバイスを必要とせず、赤外線を反射する物体であればその種類は問わないことになる。つまり、操作体としては、上述のように人体全体もしくはその一部や、その他の何らかの物体を問題なく使用することができる。
【００３５】
また、例えばタッチパネルなどでは操作パネル面に対して指などの操作体を接触させる必要があるが、本実施の形態の場合には操作体の位置や動きは赤外線光の反射として検出されればよいことから、半透明面２に操作体を接触させる必要性はなく、その前面の空間において操作を行うような方法を採ることができる。
【００３６】
また、上述したように赤外線の反射光量は、操作体の半透明面２に対する距離に応じて変化するために、例えば操作体の半透明面２からの距離を操作情報として利用することも考えられる。
【００３７】
更に、半透明面２は前述のように例えば透明のガラス板などに対してトレーシングペーパーのような半透明の薄膜を組み合わせたり、磨りガラスのようなものを利用するなどの簡略な手段により構成可能とされ、特にパネルに固有の駆動回路などは不要なので、低コストで容易に大型化を実現することができ、この点で大型化が困難なタッチパネルなどとは大きく異なる。
そして、半透明面２側からの赤外線の反射光により得られる画像に基づいて操作情報を得ることで、画像認識さえ可能であれば複数の操作体を同時に認識して所要の制御を実行させることが可能である。つまり、複数の異なる操作対象に対する同時操作が可能となるものであり、特に半透明面２が大画面として構成される場合には半透明面２上のいろいろな領域を利用して異なる種類の操作を同時に行うことができることにもなるので非常に有効となる。
【００３８】
そして、半透明面２は画像表示パネルとしての機能も有することから、例えば後述するように操作対象となるメニュー画面のようなものを表示させた上で、ユーザがこのメニュー画面に対して指などにより操作を行えるようにするなどの直接的な操作を実現することも容易に可能となる。
このように、本実施の形態としてのインタラクティブ表示システムでは、その操作情報を入力するのに多くの可能性が得られるために、これまでには無かったようなインタラクティブな入出力環境を容易に構築することができる。
【００３９】
次に、上記構成による本実施の形態の描画装置１の一般的な操作例として、メニュー画面に関する操作方法例について説明する。
図５には、本実施の形態の描画装置１によりメニュー操作を行う場合が示されており、ここでは半透明面２を前面側からみた状態が示されている。
例えばこの図に示すように、ユーザが半透明面２の前面に近づいたとすると、先ず、描画装置１の制御装置６では、このときに得られる検出画像情報に基づいてユーザが近づいた半透明面２上の位置を認識する。そして、半透明面２上においてユーザが近づいたと認識された位置に対して、図のようにメニュー画面Ｍを表示するように表示制御を行う。このメニュー画面Ｍは当然のこととしてプロジェクタ５から半透明面２に対して投影された画像である。
そして、ユーザ自身が位置している付近の半透明面２上にメニュー画面Ｍが表示された状態のもとで、例えばユーザは自身の指を用いて、メニュー画面Ｍにおいて操作項目が表示されている任意の領域を指さすように指定したとする。このとき、ユーザの指先は、半透明面２上から３ｃｍ〜３０ｃｍ程度の範囲内の距離にあるようにされる。
【００４０】
これにより、例えばメニュー画面Ｍにおいては、ユーザが指し示した操作項目の領域が選択されたことを示す何らかの指示表示（例えば選択領域に対するカーソルの配置表示や所定の形態による強調表示など）が行われることになる。この強調表示のための表示制御は、検出画像情報に基づいてユーザの指が指し示している領域の座標を検出することにより実現される。
ここでは、上記のようにして指示表示が開始された状態から所定時間（例えば数秒程度）経過したときにエンター操作が行われたとみなすこととする。そして、ユーザがエンター操作を行った、つまり、特定の操作項目が強調表示された状態を所定時間以上維持させたとすると、指定された操作項目に従った所要の制御動作を実行することになる。例えば、指定された操作項目に従って、他の階層のメニュー画面を表示させたり、当該描画装置１に対して所望の動作を実行させたりすることになる。あるいは、当該描画装置１が何らかの外部機器を制御可能に構成されており、メニュー画面がその外部機器の動作についての操作制御を行うためのものであるとすれば、指定された操作項目に従って外部機器の動作を制御することになる。
なお、ユーザが半透明面２の前面から離れていき、ユーザと半透明面２との間にある程度以上の距離があいた場合には、それまで表示されていたメニュー画面Ｍは自動的に消去されるものとされる。
【００４１】
ここで、図６のフローチャートに、上記図５に示した操作例に対応して実行される制御装置６の処理動作を示す。この図に示す処理動作は、主として制御装置６内の入力画像処理部１２が検出画像情報に基づいて操作情報を認識すると共に、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って、上記操作情報に基づいて適宜処理動作を実行することにより実現されるものである。
【００４２】
この図に示すルーチンにおいては、先ずステップＳ３０１において現在の検出画像情報から「接近体」が検出されるか否かについて判別を行う。ここで、「接近体」とは半透明面２に対して所定の距離範囲まで接近した何らかの検出対象（図５ではユーザ自身の身体とされている）をいうものとされる。
この「接近体」の検出は、例えば入力画像処理部１２が検出画像情報と接近体の検出用に設定されたしきい値（しきい値制御部１３により設定される）を比較して、例えば検出画像情報のある領域においてこのしきい値以上の値が得られた場合には「接近体有り」と検出し、しきい値以上の値が得られる領域がない場合には、「接近体無し」と検出することになる。上記接近体検出用のしきい値は、例えば通常、人体（ユーザ）が半透明面２にある程度（例えば数十ｃｍ）近づいたときに検出画像情報として得られる人体部分の画像レベルに基づいて設定されればよい。
【００４３】
上記ステップＳ３０１において接近体が検出されなかった場合にはステップＳ３０８に進んで、ここで現在メニュー画面Ｍが表示中であるか否かについて判別が行われ、ここでメニュー画面Ｍが表示されていない場合には元のルーチンに戻る（即ち再度ステップＳ３０１の処理に移行する）が、メニュー画面Ｍが表示中の状態である場合にはステップＳ３０９に進み、メニュー画面Ｍを消去するための制御処理を実行する。このメニュー画面Ｍの消去処理は、例えばデータベース駆動部１４が画像生成部１６に対するメニュー画面Ｍの画像データの生成処理を停止することで実現される。
【００４４】
これに対して、ステップＳ３０１において接近体が検出された場合には、ステップＳ３０２に進んで、半透明面２上における上記接近体の位置を検出することが行われる。この処理は、例えば検出画像情報における接近体の部分が占有する領域の座標を検出することで可能となる。この場合、検出すべき座標としては接近体の領域の所定の一地点であっても、所定規則に従って求められる複数地点であっても構わなく実際の使用環境等に応じて任意に設定されればよい。
【００４５】
続くステップＳ３０３においては、上記ステップＳ３０２にて検出された接近体の位置に応じた半透明面２の領域に対してメニュー画面Ｍを表示させるための制御を実行する。この制御処理は、例えばデータベース駆動部１４がデータベースメモリ１５に格納されているメニュー画面表示用のプログラムに基づいて、画像生成部１６において所要の種類のメニュー画面の画像データが作成されるように制御を行うことになる。
この際、データベース駆動部１４は、ステップＳ３０２にて検出された接近体の位置に対応する表示領域に対して、例えばメニュー画面の画像データをマッピングするようにして、表示用画像データを作成する。この結果、最終的にプロジェクタ５から投影される画像としては、半透明面２におけるユーザが近づいた位置に対してメニュー画面Ｍが表示されたものとなる。
【００４６】
上記ステップＳ３０３の処理が実行された後は、ステップＳ３０４において、現在表示中のメニュー画面Ｍの操作項目とされる表示領域内において、「操作体」が検出されたか否かについて判別が行われる。ここで、「操作体」とは半透明面２の前面において至近距離（しきい値の設定にもよるが３ｃｍ〜３０ｃｍ程度）にある物体（検出対象）のことをいうものとされる。つまり、図５においてはメニュー画面Ｍを指し示す指が対象となる。
そして、この「操作体」の検出処理は、先ず、操作体検出用としてしきい値制御部１３において設定されたしきい値と、検出画像情報の画像レベルとを比較することにより、操作体の有無を検出することが行われる。このとき設定されるしきい値としては、半透明面２の前面において至近距離にある物体を背景から分離して検出する必要上、前述した接近体検出用のしきい値よりも大きい値が設定される。
そして、例えばしきい値と比較した結果、操作体が検出されたとすれば、その操作体が検出された検出画像情報上の座標位置を検出し、この検出位置とメニュー画面Ｍが表示されているとされる画像情報上の位置が一致しているか否かを判別することで、現在表示中のメニュー画面の表示領域内における操作体の有無を検出することになる。
【００４７】
上記ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されない場合とは、検出画像情報上に操作体が検出されなかった（ユーザが至近距離で半透明面２上を指し示していないような状態）か、或いは、検出画像情報上に操作体を検出したとしても、この操作体の検出位置（座標）がメニュー画面Ｍの表示領域内に対応する画像情報上の領域に無かった（ユーザが至近距離で半透明面２上を指し示していた位置がメニュー画面Ｍの操作項目以外の領域であったような状態）ことになるが、このような場合にはステップＳ３０１に戻るようにされる。
【００４８】
なお、ここで操作体が人体の手又は指に特定されるような場合には、ステップＳ３０４における操作体の検出処理として、例えば、データベースメモリ１５に対して操作時に現れる人体の手又は指の形状の情報を記憶させておき、この手又は指の形状の情報と、検出画像情報として得られた画像形状とを比較して、その一致状態をみて操作体の検出の有無を識別するように構成することが可能である。本発明では、画像情報から入力情報を検出するために、検出画像情報に得られる画像の形状に基づいてもこれを操作情報として認識可能である。
【００４９】
ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されたと判別された場合には、ステップＳ３０５に進んで、操作体が検出された位置に対応するメニュー画面Ｍの操作項目について指示表示が行われるように制御を実行してステップＳ３０６に進む。
【００５０】
ステップＳ３０６の処理はエンター操作の待機処理となる。前述のように、ここでのエンター操作は、指示表示が開始された状態から所定時間経過したときに確定されるものと規定している。そこで、ステップＳ３０６においては、ステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されるか否かについて検出を行うようにしている。この検出処理は、入力画像処理部１２において現在の検出画像の状態遷移を監視することにより行われる。
そして、例えば現在の検出画像情報上から操作体が検出されなくなったり、あるいは現在の検出画像情報上における操作体の検出位置が、ステップＳ３０４にて検出されたメニュー画面Ｍの操作項目とされる表示領域内から外れたことが検出されたような場合には、ステップＳ３０６からステップＳ３０１以降の処理に戻ることになる。（この処理により、例えばユーザがこれまでとは異なるメニュー画面Ｍ上の操作項目を指し示すように、その指定位置を変更した場合には、新たに指定されたメニュー画面Ｍ上の操作項目に対して指示表示が行われたりすることになる。）
【００５１】
これに対して、ステップＳ３０６において、直前のステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されたと判別された場合には、エンター操作が行われたものとしてステップＳ３０７に進む。
ステップＳ３０７においては、メニュー画面Ｍ上において操作体が検出された位置の操作項目に応じた所要の制御処理が実行される。この処理は、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って実行することになる。
【００５２】
＜２．基本的な多角形の描画操作＞
図７に、本実施の形態の描画装置１による基本的な多角形の描画方法例を示す。
例えば、ユーザが半透明面２の前面においてある任意の位置を指さすようにして指定することにより、ここでは、図７（ａ）に示すように半透明面２のユーザに近い位置に対して描画用メニュー画面Ｍが表示されるものとする。なお、描画用メニュー画面Ｍは、先に図５により説明したようにしてユーザが半透明面２に接近したときに表示するようにしても構わないが、ここでは、描画作業時の利便性などを考慮して、ユーザが半透明面２に近接させた指などで位置指定を行うことで描画用メニュー画面Ｍが表示されるように規定している。従って、この指定操作は、例えばユーザの指先が図６において説明した「操作体」として認識されるように半透明面２に対して操作を行うようにすればよい。
この場合、図７（ａ）に示す描画用メニュー画面Ｍとしては、所定種類の図形（例えば線（直線又は曲線）、三角形、四角形、五角形・・・）を選択するための複数の項目が提示されているものとする。
【００５３】
ここで、例えばユーザが六角形を描画するための項目を選択してエンター操作（ここでは図５にて説明した操作に準ずるものとする）を行ったとする。これにより、次に説明するような操作によって任意の形状（及びサイズ）による六角形の描画を行うことが可能になる。
例えばユーザは、半透明面上に対して例えば自身の指などによって半透明面２上の任意の位置に対して、自分が描画したい形状の六角形の６つの頂点（ここでは「端点Ｐｅ」ということにする）を指定する。この際、端点Ｐｅの指定は１つずつ順に指定するようにしても構わないが、本実施の形態では前述のように同時に複数の操作情報を認識可能なので、例えば両手の指を利用して同時に２つの端点Ｐｅを指定することも可能である。また、端点の確定操作は例えば図５にて説明したエンター操作に準ずればよい。なお、端点Ｐｅの指定が確定されるごとにその指定位置に対して端点Ｐｅであることを示す何らかの指示表示が行われるようにすることが好ましい。
上記のようにして例えば６つの端点Ｐｅが指定されると、これらの端点Ｐｅを結ぶようにして直線が表示され、この結果、例えば図７（ｂ）に示すようにして六角形の描画が半透明面２に対して行われることになる。
【００５４】
上記図７にて説明した多角形の描画動作は、図８のフローチャートに示す処理動作により実現される。この処理動作は、制御装置６内の入力画像処理部１２が検出画像情報に基づいて操作情報を認識すると共に、データベース駆動部１４がデータベースメモリ１５に格納された描画プログラムに従って、上記操作情報に基づいて適宜処理動作を実行することにより実現される。
【００５５】
この図に示すルーチンにおいては、先ずステップＳ４０１において描画モードとしての所定の初期画面（例えば方眼を表示すること等が考えられる）が半透明面２に対して表示されるように制御を実行する。例えば初期画面としてのデータはデータベースメモリ１５における描画プログラム内のデータとして格納されており、この初期画面データに基づいて画像生成部１６により作成した画像データをプロジェクタ５により投影表示させるように、データベース駆動部１４が制御を実行することで実現される。
【００５６】
続くステップＳ４０２においては、半透明面２に対して近接している操作体（図６参照）が検出されたか否かについて判別を行っており、ここで操作体が検出されたのであればステップＳ４０３に進んで描画用メニュー画面（図形種類選択用）Ｍを表示させるための制御を実行する。これに対して、ステップＳ４０２において操作体が検出されないのであればステップＳ４１１に進み、描画用メニュー画面Ｍが現在表示中であればこの画面を消去してステップＳ４０１に戻る。なお、描画用メニュー画面Ｍが現在表示中でなければステップＳ４１１においては特に処理を実行せずにステップＳ４０１に戻るようにされる。
【００５７】
ステップＳ４０３において描画用メニュー画面Ｍを表示出力させた後は、ステップＳ４０４において、描画用メニュー画面Ｍ上に対して図形種類選択のための操作が検出か否かが判別される。このときの検出処理としては、例えば、図６のステップＳ３０４〜Ｓ３０６の処理に準ずればよい。
ステップＳ４０４において、図形種類選択のための項目に対する選択操作が検出されなかった場合にはステップＳ４０２に戻ることになるが、何らかの１つの項目が選択された場合にはステップＳ４０５に進み、選択された項目に対応する多角形（ｎ角形）についての描画モードを設定する。
【００５８】
続くステップＳ４０６においては、図７にて説明した端点Ｐｅの指定操作を待機しており、端点Ｐｅの指定操作があったと判別された場合にはステップＳ４０７に進んで、上記ステップＳ４０６において指定された端点Ｐｅの確定操作が行われたか否かについて判別を行う。ここでは、端点Ｐｅ指定操作の確定の判別は図６に示したステップＳ３０６の処理に準ずるものとする。
ステップＳ４０７において端点確定操作があったと判別された場合には、ステップＳ４０８に進んで、確定された端点Ｐｅの位置（座標）情報を保持してステップＳ４０９に進む。なお、ステップＳ４０８において、例えば確定された端点Ｐｅが対応する半透明面２上の位置に対して端点Ｐｅが指定されたことを示す投影表示がプロジェクタ５により行われるための処理を実行させることも考えられる。
ステップＳ４０９においては、これまで確定された端点Ｐｅの数がｎ個に達したか否かが判別され、未だ確定された端点Ｐｅの数がｎ個に満たないと判別された場合にはステップＳ４０６の処理に戻るが、確定された端点Ｐｅの数がｎ個に達したと判別された場合には、ステップＳ４１０に進む。
【００５９】
ステップＳ４１０においては、その位置（座標）情報が確定されたｎ個の端点Ｐｅに基づいて、これらｎ個の端点Ｐｅを結ぶようにして形成されるｎ角形の画像を生成（例えば画像生成部１６を利用する）し、このｎ角形の描画図形が半透明面２に対して投影表示されるようにするための制御を実行する。この際、半透明面２に対して表示されるｎ角形の描画図形は、実際にユーザが半透明面２に対してその位置を指定した端点Ｐｅを結ぶようにしてその見た目が表示されるように、その表示位置やサイズを設定することになる。
【００６０】
また、図９には、ユーザの指先による半透明面２に対する操作を、一般の描画プログラムアプリケーションにおけるペンツールとして用いる場合が示されている。つまり、ユーザが指先を半透明面２に近接させた状態で任意に半透明面２上で指先を動かせると、この指先の動きに従って半透明面２上に対して、線状の描画図形ＤＲが表示されることになる。
この描画動作の実現のための処理動作に関する詳しい説明は省略するが、制御部６のデータベース駆動部１４において、操作情報として逐次検出される指先の位置（座標）情報に基づいて、線状の描画図形ＤＲを形成するための処理を行うと共に、この線状の描画図形ＤＲが、ユーザの指先の移動位置に追随して描画されるように表示させるための表示制御を実行することで実現される。
【００６１】
＜３．四角形に関する描画＞
次に、本実施の形態の描画装置を利用して実現することのできる、四角形に関する描画動作について説明する。
図１０は、四角形の描画操作を示している。例えばユーザは、図１０に示すように両手の親指と人差し指とを開いて任意の指開き角度Ａｆｉｎ１（右手），Ａｆｉｎ２（左手）を形成して、半透明面２の前面の近接した位置に対してあてがうようにして配置する。このとき、描画装置１側においては、両手それぞれの親指と人差し指の付け根あたりの位置を描画すべき四角形の対角点Ｐｏａ１，Ｐｏａ２として認識する。また、両手の各上記指開き角度Ａｆｉｎは、上記対角点Ｐｏａ１，Ｐｏａ２を含む頂角の内角の大きさとして認識される。
例えば、この状態でユーザが一定時間以上、上記した両手の状態を維持したとすると、これがエンター（確定）操作として認識され、半透明面２に対して上記対角点Ｐｏａ１，Ｐｏａ２と、指開き角度Ａｆｉｎ１，Ａｆｉｎ２に基づいてその形状及びサイズが決定される四角形の描画図形ＤＲが描画されることになる。このとき、半透明面２に対してユーザが指定したとされる対角点Ｐｏａ１，Ｐｏａ２の位置と、実際に半透明面２に表示される四角形の描画図形ＤＲの対角点が一致するようにされる。
【００６２】
例えば四角形を描画するモードが選択された場合には、図７に示すようにして端点Ｐｅを逐一指定する方法の他に、上記図１０のようにして四角形を描画することが可能とされる。このような描画方法が可能とされるのは、本実施の形態の描画装置において操作情報のもととなる情報が、画像情報（検出画像情報）であることから、１対の対角点を同時に認識可能であることと、手の形状自体の画像情報から、指開き角度Ａｆｉｎ１，Ａｆｉｎ２を四角形の頂角として検出可能であることに依る。
【００６３】
また、本実施の形態では、例えばユーザが自身の手などによって操作を行うことで、既に半透明面２に対して表示されている描画図形ＤＲに対して、移動、回転、拡大／縮小などを行うことが可能である。
図１１（ａ）には既に長方形の描画図形ＤＲが半透明面２に対して表示されている状態が示されている。ここで、例えば所定のメニュー画面などに対する指定操作によってユーザが描画図形の移動モードを選択したとする。この移動モードのもとで、例えば図１１（ａ）に示すように描画図形ＤＲの対角点Ｐｏａ１，Ｐｏａ２をつかむようなイメージでユーザが半透明面２に近接した位置で両手を配置したとする。そして、ほぼこの両手の位置関係を保ったまま、任意の方向に移動するように操作すると、図１１（ｂ）に示すように両手の動きに対角点Ｐｏａ１，Ｐｏａ２の位置が追従するようにして長方形の描画図形ＤＲが移動することになる。つまり、ユーザは半透明面２に表示された長方形の描画図形ＤＲをあたかも実際に掴むかのようなイメージで、図形の移動を行うことができる。
【００６４】
同様に、描画画像ＤＲを回転させたい場合には、所要のメニュー操作などによって回転モードとしたうえで、図１１（ｃ）に示すようにして長方形の描画図形ＤＲの対角点Ｐｏａ１，Ｐｏａ２をつかむようにして回転の操作を行うようにされる。
また、例えば拡大／縮小モードにおいては、長方形の描画図形ＤＲの対角点Ｐｏａ１，Ｐｏａ２をつかむようにして、その対角線方向に両手の距離を延ばしたり縮めるようにして操作を行うことで、図１１（ｄ）に示すように長方形の描画図形ＤＲの拡大／縮小が行えるように構成される。
【００６５】
続いて、上述した四角形に関する描画動作を実現するための処理動作について図１２〜図１５のフローチャートを参照して説明する。なお、これらの処理は、データベース駆動部１４がデータベースメモリ１５に格納された描画プログラムに従って所要の処理を実行することにより実現される。
【００６６】
図１２には、図１０に示した四角形の描画動作を実現するための処理動作が示されている。
例えば、四角形描画モードとされると、先ずステップＳ５０１において対角点Ｐｏａ１，Ｐｏａ２の指定操作を待機する。このためには、例えば、描画プログラムとして図１０に示すような親指と人差し指を開いたような手の形状を記憶させておき、検出画像情報において、このような手の形状とされる画像が２ヶ所検出され、例えばこの画像状態が所定時間以上保たれたときに、この手の形状における親指と人差し指の根本とされる位置（座標）を対角点Ｐｏａ１，Ｐｏａ２として検出するように構成すればよい、
ステップＳ５０１において対角点Ｐｏａ１，Ｐｏａ２が検出されると、ステップＳ５０２に進み、上記手の形状における親指と人差し指の開き具合から指開き角度Ａｆｉｎ１，Ａｆｉｎ２を検出する。これは、例えば画像情報として得られた親指と人差し指の延びた各方向に沿って２本の直線を仮想し、この２つの仮想直線により形成される角度を求めることにより指開き角度Ａｆｉｎ１，Ａｆｉｎ２の各々の検出が可能となる。
【００６７】
続くステップＳ５０３においては、指定された対角点Ｐｏａ１，Ｐｏａ２の位置（座標）と指開き角度Ａｆｉｎ１，Ａｆｉｎ２に基づいて、画像生成部１６を利用して四角形の描画画像ＤＲの描画処理を実行する。この画像生成部１６で作成された描画画像ＤＲは、画像合成部１７、ＲＧＢ信号生成部１８を介することによって、プロジェクタ５に供給されることで、図１０に示したようにして半透明面２に対して表示が行われることになる。
【００６８】
図１３には、図１１（ａ）→図１１（ｂ）に示した移動モード時の処理動作が示されている。例えば所定のメニュー画面に対する操作などによって移動モードが設定されると、データベース駆動部１４は、ステップＳ６０１において対角点Ｐｏａ１，２の指定操作を待機する。つまり、現在表示中である四角形の描画画像ＤＲの対角点にほぼ一致するとされる座標位置に対して、操作体（ここではユーザの手となる）が検出されたか否かが判別される。
ここで、ユーザによる対角点Ｐｏａ１，２の指定操作があったことが判別されると、以降の対角点Ｐｏａ１，２の移動状態を監視し、ステップＳ６０２→Ｓ６０３の処理として、逐次、対角点Ｐｏａ１，２の移動に応じて、その移動方向情報Ｄｍｖと、移動量情報Ｑｍｖを検出する。そして、この移動方向情報Ｄｍｖと、移動量情報Ｑｍｖとに基づいて四角形の描画図形ＤＲについて移動が行われるように画像生成部１６において移動された図形の画像を生成すると共に、この画像が半透明面２に対して投影表示されるように制御を実行する。
【００６９】
続いて、図１４に回転モード時（図１１（ａ）→図１１（ｃ））の処理動作を示す。
四角形の描画画像ＤＲについての回転モード時においては、ステップＳ７０１において対角点Ｐｏａ１，２の指定操作を待機し、ここで、対角点Ｐｏａ１，２の指定操作があったことが判別されると、次のステップＳ７０２において、指定された対角点Ｐｏａ１，２の移動に応じて描画図形の回転角情報Ａｔｕｒを設定する。そして、続くステップＳ７０３において、上記ステップＳＳ７０２により求められた回転角情報Ａｔｕｒだけ回転された四角形の描画図形ＤＲの描画処理と、この回転された四角形の描画図形ＤＲをプロジェクタ５により半透明面２に対して投影表示するための制御を実行する。
【００７０】
図１５は、四角形の描画画像ＤＲについての拡大／縮小モード時（図１１（ａ）→図１１（ｄ））の処理動作を示している。
この場合も、先ずステップＳ８０１において対角点Ｐｏａ１，２の指定操作を待機しており、対角点Ｐｏａ１，２の指定操作があったことが判別されると、ステップＳ８０２に進んで対角点Ｐｏａ１，２の移動に応じて拡大／縮小率Ｒｔを設定する。そして、続くステップＳ８０３において、上記拡大／縮小率Ｒｔに基づいて拡大又は縮小した四角形の描画画像ＤＲを描画する処理と、この拡大又は縮小された描画画像を半透明面２に対して投影表示するための制御を行うようにされる。
【００７１】
＜４．三角形に関する描画＞
次に、本実施の形態の描画装置を利用して実現することのできる、三角形に関する描画動作について説明する。
図１６（ａ）には、本実施の形態としての三角形の描画操作例が示されている。
例えば、所定の操作によって三角形の描画モードとしたうえで、ユーザは、四角形の描画の場合と同様に、両手の親指と人差し指の間に所望の角度（指開き角度Ａｆｉｎ１，Ａｆｉｎ２）を与えると共に、この場合には、両手の親指と人差し指の付け根の位置が、例えば描画すべき三角形の底辺の両端（端点Ｐｅ１，Ｐｅ２）となるようにして、その両手を半透明面２上に配置する。
これにより、半透明面２上には図１６（ａ）に示すように、ユーザが指定した三角形の底辺の両端の位置と、ユーザが与えた指開き角度Ａｆｉｎ１，Ａｆｉｎ２により決定された三角形の底辺の両端の角度に従って得られる形状及びサイズによる三角形の描画画像ＤＲが描画されるようにして表示されることになる。
【００７２】
そして、例えば上記のようにして描画された三角形の描画画像ＤＲを移動、回転、又は拡大／縮小するようなときは、移動モード、回転モード、及び拡大／縮小モードのうちから適宜所望のモードを選択して設定したうえで、例えば、図１６（ｂ）に示すようにして、三角形の描画図形ＤＲの底辺の両端に相当する端点Ｐｅ１，Ｐｅ２を掴むようなイメージで、前述した四角形の描画図形ＤＲのときのようにして両手を半透明面２上で移動させるような操作を行うようにすればよい。
【００７３】
なお、図１６（ａ）（ｂ）により説明した三角形の描画モード時の処理、及び移動モード、回転モード、拡大／縮小モード時の処理動作は、先に図１２〜図１５に示した四角形の描画画像ＤＲについての処理に準ずることにより実現可能であることからここでは詳しい説明は省略するが、三角形の描画画像ＤＲについての処理時には、対角点Ｐｏａ１，２の代わりに、三角形の底辺の両端に対応する端点Ｐｅ１，Ｐｅ２の指定操作について検出を行うことになり、また、指開き角度Ａｆｉｎ１，Ａｆｉｎ２は三角形の底辺の両端の角の大きさとして扱われることになる。
【００７４】
＜５．楕円形に関する描画＞
図１７（ａ）には、本実施の形態における楕円形についての描画動作例が示されている。
楕円形を描画するのに当たっては、これまでの多角形の描画操作と同様に、両手の親指と人差し指の間に所望の指開き角度Ａｆｉｎ１，Ａｆｉｎ２を与えながら半透明面２上に配置するようにされるが、この場合には、両手の親指と人差し指の付け根の位置（端点Ｐｅ１，Ｐｅ２）は描画すべき楕円形の長径又は短径のの両端として認識されるものとする。また、上記指開き角度Ａｆｉｎ１，Ａｆｉｎ２は、描画すべき楕円形の曲率の情報として扱われるように処理が行われる。なお、上記端点Ｐｅ１，Ｐｅ２が、楕円形の長径又は短径の両端の何れとして設定されるのかについては、上記指開き角度Ａｆｉｎ１，Ａｆｉｎ２の角度に依るものとする。
そして、描画された楕円形の描画画像ＤＲを移動、回転、又は拡大／縮小するようなときは、これまでの多角形の場合と同様に、移動モード、回転モード、及び拡大／縮小モードのうちから所望のモードを選択し、図１７（ｂ）に示すようにして、楕円形の描画図形ＤＲの長径の端部とされる位置を端点Ｐｅ１，Ｐｅ２としてここを掴むようなイメージで両手を半透明面２上で移動させるような操作を行うようにされる。
なお、上記楕円形に関する描画、移動、回転、拡大／縮小モード時の処理も、図１２〜図１５に示した四角形の描画画像ＤＲについての処理に準ずることにより実現可能であり、この場合には、端点Ｐｅ１，Ｐｅ２を楕円形の長径の端部として扱うと共に、指開き角度Ａｆｉｎ１，Ａｆｉｎ２に基づいて設定した曲率に従って楕円形を描画することになる。
【００７５】
＜６．線の変形＞
これまでは、四角形、三角形などの多角形に関する描画処理及び曲線に関する描画処理を行う場合について説明したが、次に、本実施の形態の描画装置により曲線を変形する場合について説明する。
図１８には、曲線を変形させるための操作例が示されている。例えば図１８（ａ）に示すように曲線の描画図形ＤＲが表示されている状態で、所定の操作によって変形モードを設定したとする。そして、ユーザはこの図に示すように、例えば自身の手のひらを開くと共に指を閉じた状態で、曲線（描画図形ＤＲ）上の任意の位置に対応させて配置する。図１８（ａ）においては、両手のひらがほぼ曲線の描画図形ＤＲの両端に配置された状態が示されているが、この状態では、手のひらのほぼ中心位置が、端点Ｐｅとして認識されることになる。曲線の変形処理の場合、この端点Ｐｅは、曲線を変形させる際に基準となる移動位置を指定するポイントであり、変形後の曲線は必ず移動操作後の端点Ｐｅの位置を通過するものとされる。また、このときには、手の指が延びた方向に沿って仮想的に基準接線Ｌが設定される。
このとき、ユーザにとっては、半透明面２上に表示されている曲線（描画図形ＤＲ）の両端を掴んだようなイメージを持つことになる。
【００７６】
例えば、図１８（ａ）に示す状態から、ユーザはあたかも曲線（描画図形ＤＲ）を撓ませるようなイメージで自身の両手を図１８（ｂ）に示すようにして動かしたとする。この場合、手のひらのほぼ中心位置として認識される端点Ｐｅ，Ｐｅは、ユーザの手の動きに応じて移動するものとされ、また、基準接線Ｌ，Ｌも同様にユーザの手の動きに応じて変化することになる。
このようにして操作が行われると、半透明面２に対して表示される曲線は、ユーザの手の動きに追従するようにして撓むようにして変形されていくものとされる。
【００７７】
上記図１８に示す操作による曲線の変形処理のための処理動作について図１９のフローチャートを参照して説明する。この処理は、データベースメモリ１５に格納されたプログラムに基づいてデータベース駆動部１４が実行するものである。
曲線の変形処理モードにおいては、先ずステップＳ９０１において、操作体が検出されることを待機している。この場合の操作体の検出とは、例えば図１８に示すような指を閉じながら延ばした状態の手のひらの形状が検出画像情報として認識されることをいう。なお、たとえ上記のような状態の手のひらの形状が検出されたとしても、その検出位置が描画表示された曲線上にないような場合には、操作体としては認識しないものとする。また、手のひら形状であることの識別は、例えばデータベースメモリ１５に格納された手のひら形状を示すデータと、検出画像情報として得られた画像の形状との一致状態を識別するようにすればよい。
そして、ステップＳ９０１において操作体が検出された場合にはステップＳ９０２に進み、端点Ｐｅの位置Ｐｏｓを検出すると共に、検出された手のひら形状の指に沿った方向を識別することにより基準接線Ｌの傾きＧｒｄを算出する。
【００７８】
続いて、ステップＳ９０３においては、上記ステップＳ９０２において算出された端点Ｐｅの位置Ｐｏｓ及び基準接線Ｌの傾きＧｒｄに基づいて、曲線上（描画画像ＤＲ）に対して所定規則に従って設定された複数地点の法線を変更するための演算処理を実行する。
そして、ステップＳ９０４において、上記ステップＳ９０３により得られた演算結果に基づいて曲線を変形するための描画処理を実行すると共に、変形された曲線を図１８（ｂ）に示すようにして表示させるための制御を実行することになる。なお、この図には示さないが、例えば途中で所定のメニュー操作等を行えば曲線の変形処理モードを抜けることができるようにされている。
【００７９】
＜７．図形の移動操作例＞
また、本実施の形態の描画装置としては、次のようにして半透明面２に対して表示された画像や図形を移動させることも可能である。
図２０（ａ）には、一例として飛行機を描いた描画画像ＤＲが表示されている。なお、ここでの描画画像は特にユーザの操作により描画されたものに限定されず、例えば単にデータベースメモリ１５に格納されているサンプルのような画像データに基づいて表示されるものであっても構わない。
ここで、所定の操作によって表示画像の移動モードが設定されている状態で、例えば図２０（ａ）に示すように、半透明面２において描画画像ＤＲが表示されているほぼ正面位置にユーザ自身が近づき、ここから、図２０（ｂ）に示すように、ユーザ自身が半透明面２の前で移動したとする。この場合には、このユーザ自身の身体の画像を移動のための位置指定情報として扱うことにより、ユーザの半透明面２の前面での左右方向への動きに追従するようにして、描画画像ＤＲが移動するように表示されるものである。
【００８０】
＜８．図形の拡大／縮小操作例＞
また、本実施の形態においては、図２１（ａ）（ｂ）に示すような操作によっても図形の拡大／縮小を行わせることが可能である。
例えば図２１（ａ）には、ユーザが半透明面２の前で両腕を広げたり閉じたりする動作を行うことで、これに応答して半透明面２に対して表示された描画画像ＤＲが拡大又は縮小されるという操作形態が示されている。図２１（ｂ）には、ユーザが半透明面２に近づくと描画図形ＤＲが拡大表示され、遠ざかると描画図形ＤＲが逆に縮小されるという操作形態が示されている。
ここでは、フローチャートなどによる詳しい処理動作の説明は省略するが、図２１（ａ）の場合には、制御装置６において検出画像情報に基づいて人体の腕の開閉状態が認識可能なように構成し、この腕の開き方の度合いを拡大／縮小率に変換して画像処理を行うようにすればよい。また、図２１（ｂ）の場合であれば、前述のように半透明面２からの距離に応じて検出画像情報として得られる検出対象（ここでは人体とされる）の部分の画像レベルが変化することを利用して、この画像レベルの変化を拡大／縮小率に変換してやればよいことになる。
なお、図２１（ａ）（ｂ）において表示される画像も特にユーザが描画したものには限定されることなく、予め用意された画像データを利用して表示されたものであっても構わない。また、実際の利用形態としては、例えば地図などを表示させ、所定の操作によって拡大／縮小中心位置を決定した上で、上記図２１（ａ）（ｂ）の何れかに示すような操作を行うことにより、地図上における任意の領域を拡大／縮小表示させることなどが考えられる。
【００８１】
＜９．ホワイトボード機能＞
また、これまで説明してきた本実施の形態の描画装置を、例えば会議や教育などの現場や掲示板等として用いられるホワイトボードとして利用することが考えられるが、この場合には、次のような機能を与えることが考えられる。
図２２は、ホワイトボードの文字書き込み面として機能する半透明面２が示されている。なお、この図には示さないが、例えば半透明面２の背面側では図１に示した各装置が配置されているものとする。
図１に示した本実施の形態の描画装置の構成では、例えばデータベースメモリに格納されている画像データを利用して半透明面２に対する投影表示を行わせることが可能とされるが、図２２にはこのような機能を応用した利用例が示されている。
例えば、図２２（ａ）には、ユーザが半透明面に対して、例えば指や何らかのペン形状の物理対象等を用いてフリーハンドにより描画図形ＤＲを描いた状態が示されている。ここでは、フリーハンドではあるが描画図形ＤＲとして四角形が描かれたものとする。なお、フリーハンドでなくとも、先に図７や図１０に示した操作方法によって四角形を描画しても構わない。
この場合、制御装置６においてホワイトボードである半透明面２に対して四角形が描画されると認識した場合、半透明面２に対して所定の操作内容に従ったメニュー画面を表示するようにされている。これにより、四角形が描画された場合には、図２２（ｂ）に示すように所定内容のメニュー画面Ｍが表示されることになる。なお、このときには、例えばユーザ四角形の描画図形ＤＲを描画した位置に対応してメニュー画面Ｍが表示されるようにすることができる。また、メニュー画面Ｍが表示された段階では図２２（ａ）に示す描画図形ＤＲは消去されればよい。
【００８２】
図２３は、上記図２２に示したメニュー画面呼び出し動作を実現するための制御装置６の処理動作を示すフローチャートである。なお、この場合には、ホワイトボードの描画動作として、少なくとも図９により説明したように、ユーザがポインティングした位置に対応して線を描画することができるように構成されているものとする。
このルーチンにおいては、先ずステップＳ１００１において何らかの描画図形が描画されるのを待機しており、描画が行われたと判別されると、ステップＳ１００２において描画された図形の形状を識別することが行われる。そして続くステップＳ１００３において、識別された描画図形の形状がメニュー画面表示を呼び出すのに適合する四角形であるか否かが判別される。
なお、ここでは描画図形の四角形であるか否かを判別する単なる形状判別に加えて、例えばメニュー画面表示を呼び出すのには所定以上の面積を有する四角形が要求されるものと規定されているような場合には、描画図形が四角形であることとその面積が所定以上であることの２つの要件を満たした場合に肯定結果が得られるように構成されることになる。また、描画画像がフリーハンドにより描かれたものである場合には、厳密には四角形とはいえない場合のことのほうが多いが、ある程度の曲率による曲線や直線の屈曲率は直線として見なすように処理を実行することで、四角形として認識できるようにすればよい。
そして、ステップＳ１００３において肯定結果が得られたのであればステップＳ１００４に進み、所定のメニュー画面を表示させるための処理を実行する。この際、例えば表示制御として四角形の描画画像ＤＲが描かれた位置にほぼ対応するようにしてメニュー画面Ｍを表示させたり、更には、ある程度の所定範囲内であれば、四角形の描画画像ＤＲが描かれたサイズにほぼ対応するサイズによりメニュー画面を表示させるように構成することも可能である。
【００８３】
一般のホワイトボードでは、例えばマーカーペンなどにより文字や絵を描くと共に、白板ふきなどの道具を利用して既に描かれた文字や絵を消去することが行われているが、本実施の形態の描画装置をホワイトボードとして機能させる際には、次のようにして同様のことを行うことが可能である。
【００８４】
例えば、図２４（ａ）に示すように、ユーザが描画用ペンＰｅｎを利用してホワイトボード（半透明面２）上に文字等を書き込むような操作をしたとする。この場合、描画用ペンＰｅｎのペン先は、検出画像情報として画像による検出が行われたときに、その画像領域として予め設定されたしきい値よりも小さくなるようなサイズであるものとされる。そして、このような所定のしきい値よりも小さいとされる操作体が検出された場合には、この操作体により指定される位置に従って例えば線による描画を行っていくようにされる。これにより、描画用ペンＰｅｎのペン先の軌跡に従って、線状の描画画像として文字等が表示されることになる。図２４（ａ）では、ユーザが描画用ペンＰｅｎを用いたことにより、何らかの文字等が半透明面２上に書き込まれたかのようにして表示された状態を「〇〇〇〇〇〇〇」により表している。
なお、本実施の形態においては、赤外線を反射可能な物理対象であれば操作体の種類は問わないので、上記描画用ペンＰｅｎとしては単にペン形状を有するような個体であればよいことになる。従って、上記しきい値さえ満足すれば当然のこととして描画用ペンＰｅｎの代わりにユーザの指等を用いることも可能である。
【００８５】
そして、半透明面２（ホワイトボード）に対して描かれた内容を消去するには、例えば図２４（ｂ）に示すように、検出画像情報として検出されたときにその画像領域が所定のしきい値を越えるようなサイズの消去板Ｅｒを用意する。この消去板Ｅｒも、描画用ペンＰｅｎと同様に赤外線を反射可能で、かつ、上記しきい値を越えて画像として検出されるだけのサイズを有するような物理対象であればよい。従って、所定のしきい値さえ上回るサイズであれば、例えばユーザ自身の手のひらを消去板Ｅｒの代わりに用いてもよい。
そして、例えばユーザが消去板Ｅｒを用いて、半透明面２上をなぞるように動かしたとすると、消去板Ｅｒの軌跡となる領域においては、これまで描かれた文字や絵が消去され、所定の初期画像が表示されることになる。例えば、初期画像として非表示の状態が設定されていたのであれば、消去板Ｅｒでなぞられた半透明面２上の部分は非表示となる。また、例えば初期画像として地図などが表示され、その地図上に対してユーザにより描かれた文字や絵が表示されているような状態では、消去板Ｅｒでなぞった文字や絵が消去されて元の地図の画像が表示されることになる。
【００８６】
図２５は、上記図２４にて説明した操作を実現するための処理動作を示すフローチャートである。このルーチンにおいては、先ずステップＳ１１０１において操作体が検出されるのを待機しており、ここで操作体が検出されたのであれば、ステップＳ１１０２に進んで、上記操作体のサイズ（面積）Ｓが所定のしきい値ａよりも小さいか否かについて判別を行う。このしきい値ａは、描画用のポインタ（描画用ペンＰｅｎ又は指）としての操作体を検出するために設定された値とされる。そして、ステップＳ１１０２において肯定結果が得られた場合には、操作体は描画用のポインタであるとして、ステップＳ１１０３に進み、操作体の検出位置（座標）の移動に追随するようにして半透明面２の領域に対して描画が行われていくように処理を実行することになる。
【００８７】
これに対して、ステップＳ１１０２において否定結果が得られた場合には、ステップＳ１１０４において、操作体のサイズＳがしきい値ｂよりも大きいか否かについて判別が行われる。このしきい値ｂは、消去用のポインタ（消去板Ｅｒもしくは手のひらなど）としての操作体を検出するためのものとされる。ここで、否定結果が得られた場合にはこのルーチンを抜けることになるが、ステップＳ１１０２及びＳ１１０４にて否定結果が得られる場合とは、その操作体のサイズが描画用ポインタと消去用ポインタの何れのサイズにも該当しない場合であり、この場合には特に描画処理も消去処理も実行しないようにされる。ただし、しきい値ａ，ｂに同一の値が設定されていれば、検出された操作体は描画用ポインタか消去用ポインタの何れかとして必ず認識されることになる。
ステップＳ１１０４において肯定結果が得られた場合には、検出画像情報内において操作体が検出された領域については初期画像を表示するように制御を行う。つまり、見かけ上は消去用ポインタがなぞった半透明面２の部分において描画画像が表示されていれば、これが消去される代わりに初期画像が表示されることになる。
【００８８】
＜１０．他の実施の形態としての描画装置の構成＞
ところで、本実施の形態の描画装置としては、図１に示す構成から赤外線ＬＥＤパネル３を省略することも可能である。
たとえば、本発明に基づく描画装置を屋外などの外光の強い環境で使用する場合、たとえば日中の自然光に含まれる赤外線が強いために、図１に示すような赤外線ＬＥＤパネル３から照射される赤外線光を操作情報検出用の光源とする構成では、赤外線ＬＥＤパネル３から照射される赤外線光の強度が自然光に含まれる赤外線に対して相対的に弱まるので、場合によっては適切な操作情報の検出が行われない（つまり操作情報を認識可能な適正な検出画像情報が得られない）可能性がある。
そこで、このような場合には、赤外線ＬＥＤパネル３を省略し、その代わりに自然光に含まれる赤外線光を操作情報検出用の光源として利用することができる。
この場合、検出画像情報を得るために必要な基準入力画像レベルＬｉｎｔは、例えば接近体及び操作体等の検出対象が無い（半透明面２に対して何の操作も行われていない）とされる状態のもとで、その前面側から半透明面２を透過してＣＣＤカメラ４において撮像される撮像信号から得た画像情報に基づいて検出するようにされる。
【００８９】
そして、例えば半透明面２に対して何らかの操作が行われるとすると、このときの半透明面２における接近体及び操作体などの部分をＣＣＤカメラ４側からみた場合には、接近体及び操作体などにより自然光の赤外線が遮られることから、これを自然光に含まれる赤外線光の影として見ることができる。本実施の形態のい制御装置６では、基準入力画像レベルＬｉｎｔに対して、画像レベルがより低くなる（暗くなる）ようにして変化する画像情報を操作情報として扱うことになる。この場合、図２に示す制御装置６の内部構成としては、赤外線ＬＥＤパネル３が省略されたことに応じて、ＬＥＤ駆動部１０が設けられないことになる。
【００９０】
また、本実施の形態の描画装置としては、図１に示す構成において、例えば赤外線ＬＥＤパネル３の代わりにマイクロ波発生器を設け、また、ＣＣＤカメラ４の代わりにマイクロ波受信器を設けて構成することも考えられる。
この場合、図２に示す制御装置６においては、ＬＥＤ駆動部１０（図１参照）の代わりに、マイクロ波発生器を駆動するためのマイクロ波駆動回路が備えられる。また、マイクロ波受信器から供給される受信マイクロ波を入力して例えば所定形式のデータに変換して出力する画像信号入力回路と、この画像信号入力回路から供給されるマイクロ波の受信データを入力して所要の処理を行うことにより、例えば検出画像情報を得ると共にこの検出画像情報に基づいて操作情報を得る入力データ処理回路が設けられる必要がある。画像信号入力回路及び入力データ処理回路は、それぞれ図２に示す画像入力部１１及び入力画像処理部１２に代わる機能回路部である。また、操作情報検出用の媒体としてマイクロ波を利用するため、ＣＣＤカメラ４に備えられた赤外線透過フィルタ４ａや、プロジェクタ５に備えられた赤外線遮断フィルタ５ａは不要となる。
【００９１】
このように、それが照射された物体に反射する性質を有するマイクロ波のような媒体を操作情報の検出に利用するように構成しても、これまで説明してきた実施の形態（赤外線を操作情報の検出に利用した例）と同様にして本発明としての情報入力装置を構成することが可能である。
【００９２】
なお、これまで説明してきた描画方法等により半透明面２に表示された描画図などの画像情報は、図２に示したプリンタ２０を利用して印刷出力することが可能とされている。
【００９３】
また、本発明に基づいて構成される描画装置において各種描画動作を実現するための操作方法及び制御処理動作は、これまでの説明の内容に限定されるものではなく、本発明としての入力装置の利点を活かした操作方法や制御処理方法等は他にも各種考えられるものである。また、図１においては音声出力系の図示は省略したが、本発明の実施の形態としての描画装置において、各種インタラクティブな応答を音声により行うことも考えられる。
【００９４】
【発明の効果】
以上説明したように本発明は、所定波長帯域の光又は電磁波を反射するなどしてこれに状態変化（この状態変化が検出画像情報として反映される）を与えることのできる物体であれば、操作を行うための操作体として成立するものである。つまり、操作のために特殊なポインティングデバイスを必要としないことになる。従ってこれまでの説明のように、例えばユーザ自身の手や指を用いることによって描画操作を行うことが可能とされる。
【００９５】
また、半透明面に近い位置（例えば半透明面の前面の中空位置）で操作体が認識可能なので、操作方法としても、操作パネルである半透明面に対して操作体を接触させることなくその前面の空間において操作を行って描画図形を描いたり、半透明面に接近してくる物体を認識することにより、例え描画図形に対する何らかの編集処理を行わせるといったこともできることになる。
【００９６】
また、画像情報に基づいて操作情報を検出するので、操作体が画像変化として認識される限り、画像形状に基づいた操作情報の抽出、及び複数の操作情報の同時抽出が可能であるため、例えば両手の操作により図形の形状やサイズを決定するようにして描画を行うこと可能となり、また、操作体のサイズに応じて適宜異なる描画に関する処理動作を実行させることが可能になる。
【００９７】
また、本発明の半透明面は操作パネル及び表示パネルとして機能するため、ユーザの半透明面に対する指などの動きに追従するようにして描画表示を行うことが可能となり、直接的な描画操作が実現されることになる。また、従来のタッチパネルや各種表示デバイスとは異なり、半透明面のサイズの大型化も安価で容易に実現されることになり、例えばこれまで説明したような操作方法を採る場合には特に有効となる。
【００９８】
このように本発明は、操作情報の入力に際して上記のごとき自由度を与えると共に、表示パネルとして兼用可能な操作パネルとして大型化されたものを容易に提供できるようにすることで容易にインタラクティブな入出力環境が強化拡大され、この環境下で構築される描画システムとしても、これまでにはないような操作形態とこれに応答した表示形態を提供することが可能となるという効果を有している。
【図面の簡単な説明】
【図１】本発明の実施の形態としての描画装置の構成例を示す概念図である。
【図２】本実施の形態の描画装置に備えられる制御装置の内部構成を示す図である。
【図３】基準入力画像レベルを検出及び保持するための処理動作を示すフローチャートである。
【図４】検出画像情報を生成するための処理動作を示すフローチャートである。
【図５】本実施の形態の描画装置における基本的な操作例を示す説明図である。
【図６】図５に示す操作を実現するための処理動作を示すフローチャートである。
【図７】本実施の形態の描画装置における基本的な描画操作例を示す説明図である。
【図８】図７に示す描画操作実現するための処理動作を示すフローチャートである。
【図９】線についての描画操作を示す説明図である。
【図１０】本実施の形態の描画装置における四角形の描画操作を示す説明図である。
【図１１】四角形の描画画像についての編集のための操作例を示す説明図である。
【図１２】図１０に示す四角形描画モード時の処理動作を示すフローチャートである。
【図１３】図１１に示す四角形の描画画像についての移動モード時の処理動作を示すフローチャートである。
【図１４】図１１に示す四角形の描画画像についての回転モード時の処理動作を示すフローチャートである。
【図１５】図１１に示す四角形の描画画像についての拡大／縮小モード時の処理動作を示すフローチャートである。
【図１６】三角形についての描画及び編集操作を示す説明図である。
【図１７】楕円形についての描画及び編集操作を示す説明図である。
【図１８】曲線の変形操作例を示す説明図である。
【図１９】図１８に示す操作を実現するための処理動作を示すフローチャートである。
【図２０】表示画像の移動操作例を示す説明図である。
【図２１】表示画像の拡大／縮小操作例を示す説明図である。
【図２２】本発明の描画装置をホワイトボードとして機能させた場合の操作例を示す説明図である。
【図２３】図２２に示す操作を実現するための処理動作を示すフローチャートである。
【図２４】本発明の描画装置をホワイトボードとして機能させた場合の他の操作例を示す説明図である。
【図２５】図２４に示す操作を実現するための処理動作を示すフローチャートである。
【符号の説明】
１描画装置、２半透明面、３赤外線ＬＥＤパネル、４ＣＣＤカメラ、４Ａ第１ＣＣＤカメラ、４Ｂ第２ＣＣＤカメラ、５プロジェクタ、６制御装置、１０ＬＥＤ駆動部、１１画像入力部、１２入力画像処理部、１３しきい値制御部、１４データベース駆動部、１５データベースメモリ、１６画像生成部、１７画像合成部、１８ＲＧＢ信号生成部、Ｍメニュー画面、ＤＲ描画画像、Ｐｏａ１，Ｐｏａ２対角点、Ａｆｉｎ１，Ａｆｉｎ２指開き角度、Ｐｅ，Ｐｅ１，Ｐｅ２端点[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a drawing apparatus for realizing drawing using a display system capable of interactive input / output, as well as Drawing method In It is related.
[0002]
[Prior art]
For example, a computer apparatus or the like widely employs a so-called interactive input / output mode in which a computer apparatus side presents a predetermined response in response to a user operation based on various application programs. Then, in an environment where interactive input / output as described above is realized, software such as so-called drawing and painting is used to draw lines and figures according to a predetermined input operation performed by the user. Things have been done.
[0003]
For example, as one of input devices used for the drawing input operation as described above, for example, a touch panel and a tablet are widely known. The touch panel performs a required operation by sliding it in an arbitrary direction while bringing a user's finger into contact with the panel, for example. In addition, the tablet is designed to draw an image such as a picture or a character corresponding to the movement of the pen tip on a monitor or the like by moving the tip of a dedicated pen in contact with the operation surface of the tablet. .
[0004]
A projection display that functions as a computerized whiteboard is also known. In such a projection display, for example, a user uses a dedicated infrared light emitting pen to perform drawing operations such as graphics and characters on the whiteboard.
[0005]
There is also known a device that aims at an interactive effect called “video place”. The video place is an artistic device using a video camera, for example. For example, a viewer of a video place causes a video camera to photograph a part of his / her hand or other human body as a silhouette. The viewer can freely move the hand or a part of the human body while looking at the monitor device with any image obtained by combining the captured image with another image, for example, to change the reaction or change of the image displayed on the monitor device. You can enjoy it.
[0006]
[Problems to be solved by the invention]
By the way, when trying to perform drawing in a further expanded interactive input / output environment, the above-mentioned input devices as described above have limitations in the following points.
When a touch panel or a tablet is taken as an example, the pointing operation is generally limited to a finger or a dedicated pen. Further, it is not possible to perform operations in the space on the surface of the touch panel or tablet, and it is necessary to bring a physical operation body such as a finger or a pen into contact with the operation surface on the panel surface. Furthermore, touch panels and tablets are not suitable for large operation panels because they are relatively expensive in structure. Moreover, since the drawing image obtained by operation with respect to a touch panel or a tablet is normally displayed on a monitor device or the like that is separate from the touch panel or the tablet body, the drawing operation becomes indirect.
In the case of a projection display that functions as a computerized whiteboard, it is easy to increase the size of the operation screen. However, as described above, for example, a special pointing device such as an infrared light emitting pen is required. This is the same as the tablet described above.
[0007]
In addition, in the case of a video place, some kind of interactive operation is realized using the silhouette of the hand or human body. In this case as well, the interface between the input and output is indirect, and direct operation is desired. In some cases, it is functionally insufficient.
[0008]
As described above, there are various factors that cause various obstacles when drawing is performed after strengthening and expanding the interactive input / output environment in the conventional input devices.
[0009]
[Means for Solving the Problems]
Therefore, in order to solve the above-described problems, the present invention provides an imaging unit that captures only a semi-transparent surface and light or electromagnetic waves in a predetermined wavelength band incident from the direction of the semi-transparent surface as an image, The light or electromagnetic wave of a predetermined wavelength band to be received by the imaging means is transmitted so that the electromagnetic wave passes through the semi-transparent surface and is then reflected by the operation body in the space before the semi-transparent surface and returns to the semi-transparent surface side. Radiating means for radiating the translucent surface; Based on the operation information identified based on the detection image information, the detection image information reflecting the operation given to the translucent surface is generated based on the imaging signal input from the imaging means. Control processing means for executing required control processing, and projection display means provided so that an image of visible light not including the wavelength band of light or electromagnetic waves to be imaged by the imaging means can be projected and displayed on the translucent surface When, A threshold control unit that controls a threshold relating to the intensity of the light or electromagnetic wave reflected by the operating body, and the control processing means controls the intensity of the light or electromagnetic wave reflected by the operating body by the threshold control unit. Two points in the vicinity of the vertices on the diagonal in the area of the square image projected by the projection display unit on the translucent surface are simultaneously designated by the operating body. The projection display means is controlled to deform and display the quadrangular image according to the change in the position of the two points. It was decided to constitute as follows.
[0010]
In addition, an imaging operation that captures only light or electromagnetic waves in a predetermined wavelength band incident from the direction of the translucent surface side as an image, Imaging above In operation The translucent light or electromagnetic wave having a predetermined wavelength band to be received is transmitted so that the electromagnetic wave passes through the translucent surface and then is reflected by the operation body in the space before the translucent surface and returns to the translucent surface side. Radiating action to radiate to the surface, Based on the operation information identified based on the detection image information, the detection image information reflecting the operation given to the translucent surface is generated based on the imaging signal obtained by the imaging operation. A necessary control process to be executed, and a projection display operation of an image of visible light that does not include a wavelength band of light or electromagnetic waves to be imaged as the imaging operation on the translucent surface; Threshold control processing for controlling a threshold related to the intensity of light or electromagnetic waves reflected by the operating body A drawing method for drawing under a configuration configured to be executed, and as the control process, The intensity of the light or electromagnetic wave reflected by the operating body is equal to or greater than the threshold controlled by the threshold control process, and further within the area of the square image projected by the projection display operation on the semi-transparent surface. When two points near the vertices on the diagonal are simultaneously specified by the operating body, the square image is deformed according to the change in the position of the two points. The display control for projecting display is configured to be executable.
[0012]
According to the above configuration, for example, the state of light or electromagnetic waves incident on the imaging means changes depending on a physical object approaching a semitransparent surface. In the present invention, such a change in the state of light or electromagnetic waves is captured as image information. Then, it is possible to construct a system that handles the image information obtained in this way as operation information and performs drawing according to the operation information. In other words, in the vicinity of the semi-transparent surface, drawing is performed by giving operation information by moving a certain physical object that can change the state of light or electromagnetic waves in a predetermined wavelength band picked up by the image pickup means. Can be performed.
Further, in the present invention, since the translucent surface functions as both the operation panel and the display panel, the drawing image drawn by the operation performed by the user on the translucent surface is directly reflected on the translucent surface. Can be displayed.
Further, in the present invention, only a semi-transparent surface functions as an operation panel and a display panel, and a large-sized one can be easily formed as this semi-transparent surface.
[0013]
Further, in contrast to the above-described configuration as the drawing apparatus, if the radiation means that radiates light or electromagnetic waves to be received by the imaging means to the semi-transparent surface is provided, it is performed on the semi-transparent surface. Thus, a medium for detecting the operation information can be easily obtained.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an information input device according to an embodiment of the present invention will be described. The following description will be given in the following order.
<1. Configuration of drawing apparatus and operation information detection operation>
<2. Basic polygon drawing operations>
<3. Drawing about rectangle>
<4. Drawing about triangle>
<5. Drawing on ellipse>
<6. Line deformation>
<7. Example of moving the figure>
<8. Example of enlargement / reduction of figure>
<9. Whiteboard function>
<10. Configuration of Drawing Apparatus as Other Embodiment>
[0015]
<1. Configuration of drawing apparatus and detection method of operation information>
First, with reference to FIGS. 1-6, the structural example of the drawing apparatus as embodiment of this invention and the detection operation of basic operation information are demonstrated.
FIG. 1 conceptually shows a configuration example of a drawing apparatus according to the present embodiment. The drawing apparatus 1 shown in this figure includes a translucent surface 2, an infrared light emitting diode (LED) panel 3, a CCD (Charge Coupled Device) camera 4, a projector 5, and a control device 6. . The infrared LED panel 3, the CCD camera 4, and the projector 5 are provided on the back side of the translucent surface 2.
[0016]
The translucent surface 2 is formed by, for example, attaching a translucent film that looks like a tracing paper to a transparent glass plate, or using a translucent material such as polished glass. It is formed and has both functions of an operation panel and a display panel in the drawing apparatus 1 as described later.
The infrared LED panel 3 is configured by, for example, a large number of infrared LEDs collectively arranged on the panel surface, and the infrared light emitted from the infrared LED is irradiated to the entire back surface of the translucent surface. Provided. The infrared LED is driven by the control device 6 so as to constantly emit infrared light.
The infrared LED panel 3 may be provided with a sufficient number of infrared LEDs so that the emitted infrared light is emitted to the entire translucent surface 2. As will be described later, since the image information reflected from the semitransparent surface 2 side is obtained based on the difference between the current infrared image and the initial infrared image, the entire translucent surface 2 is obtained. It is not necessary that the amount of infrared light to be irradiated should be uniform. Therefore, the size of the infrared LED panel 3 can be much smaller than that of the translucent surface 2.
[0017]
The CCD camera 4 is a camera device using a CCD as an image sensor. In this case, only the infrared light component is imaged as image light reflected on the translucent surface 2, so It is provided for recognizing a broken operation as image information. For this reason, an infrared transmission filter 4 a that transmits only the wavelength band of the infrared region is provided for the optical system portion of the CCD camera 4. Further, the arrangement position is set so that the entire translucent surface 2 is included as a composition photographed by the CCD camera 4.
[0018]
The projector 5 projects and displays image light based on visible light on the back surface of the translucent surface 2 based on image information supplied from the control device 6. For example, the user can observe the image of the projector 5 projected and displayed on the translucent surface 2 from the front side of the translucent surface 2. Here, the optical system of the projector 5 is provided with an infrared blocking filter 5a that blocks the wavelength in the infrared region. However, since the image light projected and displayed on the translucent surface 2 does not include infrared rays. The projection image of the projector 5 becomes invisible from the CCD camera 4.
[0019]
The control device 6 includes, for example, a microcomputer, obtains image information (video data) from the imaging signal supplied from the CCD camera 4, and obtains operation information based on this image information. Based on this operation information, for example, display control relating to an image displayed on the semi-transparent surface 2 by the projector 5 is executed, and various necessary control processes are performed. Further, the infrared LED of the infrared LED panel 3 is driven to emit light.
It should be noted that the arrangement positions of the infrared LED panel 3, the CCD camera 4, and the projector 5 may be set in consideration that the roles to be played by each function sufficiently.
The printer 20 connected to the control device 6 is provided for printing out a drawing image displayed on the translucent surface 2 as described later.
[0020]
FIG. 2 is a block diagram showing an example of the internal configuration of the control device 6. In the control device 6 shown in this figure, the LED drive unit 10 is a circuit part for driving the plurality of infrared LEDs provided in the infrared LED panel 3 to emit light.
[0021]
The image input unit 11 generates a video signal by performing required signal processing on the imaging signal supplied from the CCD camera 4 and supplies the video signal to the input image processing unit 12. That is, the image input unit 11 outputs infrared light incident from the translucent surface 2 side via the CCD camera 4 as video information.
[0022]
For example, the input image processing unit 12 converts the video signal supplied from the image input unit 11 into video signal data based on a digital signal. The input image processing unit 12 executes necessary analysis processing using “image information (for example, video data in units of frames)” obtained based on the video signal data, so that the translucent surface 2 is processed. The operation information performed is obtained. Here, as the operation information obtained based on the image information, for example, the position (coordinates) on the image of the operating body that is operating the translucent surface 2, the signal level of the image, and the like are used. This operation information is transmitted to the database drive unit 14. The video signal data can also be supplied to the image composition unit 17.
[0023]
The threshold control unit 13 sets a threshold necessary for processing related to operation information executed by the input image processing unit 12 and transmits the threshold to the input image processing unit 12. The input image processing unit 12 obtains operation information by executing necessary processing such as analysis of image information using the threshold set in the threshold control unit 13. Further, in the present embodiment, the current image state (detected image information) of the translucent surface 2 is obtained by calculating the frame difference of the input image data as will be described later. Information such as a reference value (reference image input level) to be used is also stored in the threshold control unit 13 as described later.
[0024]
The database driving unit 14 takes in the operation information obtained by the input image processing unit 12 and appropriately executes necessary processing based on the operation information. At this time, program data necessary for control processing to be executed by the database driving unit 14 is stored in the database memory 15, and the database driving unit 14 performs necessary control processing based on the program data stored in the database memory 15. Will be executed.
In the present embodiment, a drawing program for realizing various drawing operations to be described later is stored in the database memory 14.
[0025]
The image generation unit 16 generates necessary image data (video signal data based on a digital signal) under the control of the database driving unit 14 and outputs the generated image data to the image synthesis unit 17.
In the image synthesis unit 17, if necessary, the video signal data supplied from the input image processing unit 12 is synthesized with the video signal data supplied from the image generation unit 16 to the RGB signal generation unit 18. Output.
In the RGB signal generation unit 18, the video signal data supplied from the image synthesis unit 17 is converted into, for example, an analog RGB signal and output to the projector 5. As a result, the projector 5 emits and outputs image light based on an image in response to an operation performed on the translucent surface 2 to the translucent surface 2.
[0026]
In the present embodiment, a printer 20 for printing an image can be provided to the control device 6, and a printer control unit 19 is provided in the control device 6 to cope with this. The printer control unit 19 is provided for communication between the control device 6 and the printer 20, and the image data output from the RGB signal generation unit 18 is printed by the actually connected printer 20. In addition to being converted into data in a form that can be transmitted to the printer 20, control signals for controlling various operations of the printer 20 are output. This control signal is transmitted from the database driver 14, for example. Further, by transmitting a data signal transmitted from the printer 20 side to the database driving unit 14, the database driving unit 14 monitors the operation state of the printer 20. Then, necessary processing is appropriately executed according to the operation state.
[0027]
Next, a method for detecting operation information in the drawing apparatus 1 of the present embodiment having the above-described configuration will be described.
As described above, the entire translucent surface 2 shown in FIG. 1 is irradiated with infrared light from the rear surface thereof by the infrared LED panel 3, and the translucent surface 2 is translucent. For this reason, not all infrared light passes through the translucent surface 2, but some infrared light is reflected by the action of the translucent surface 2.
In the present embodiment, infrared light reflected by the semitransparent surface 2 is imaged by the CCD camera 4 under the condition that no operation is performed on the translucent surface 2. The initial level of the video signal data thus obtained is stored as the “reference input image level”. The reference input image level may be determined by detecting the signal level for each pixel in one frame based on the input video signal data. This detection process is performed by the input image processing unit 12. The information on the reference input image level detected in this way is transmitted to the threshold detection unit 13 and held there.
[0028]
The reference input image level detection process is, for example, as shown in the flowchart of FIG. As shown in this figure, first, in the input image processing unit 12, in step S101, based on the image data for one frame obtained from the video signal supplied from the CCD camera 4 through the image input unit 11, the above-described image data is input. In this way, the signal level is detected for each pixel, and the detection result is obtained as the reference input image level Lint. Specifically, it is conceivable that the level of the luminance signal component for each pixel is detected and used as the reference input image level Lint.
In the subsequent step S102, the input image processing unit 12 performs processing so as to transmit the reference input image level Lint to the threshold value control unit 13 for storage.
[0029]
Note that the processing (the processing operation shown in FIG. 3) for detecting the reference input image level Lint and storing it in the threshold control unit 13 is executed, for example, when the interactive display system is turned on, or for some user It is conceivable that the reference input image level Lint is updated when necessary by the instruction.
[0030]
Image information treated as operation information is obtained in the following manner while the information of the reference input image level Lint is held as described above.
FIG. 4 is a flowchart showing the processing operation of the input image processing unit 12 for obtaining image information (hereinafter referred to as “detected image information” in particular). In this case, the input image processing unit 12 first executes a process of detecting the current input image level Lprs in step S201. The input image level Lprs here is data in units of frames for the image of the translucent surface 2 based on infrared light currently captured by the CCD camera 4, and the signal level for each pixel in the image data in units of frames. This is information obtained by detecting.
Subsequently, in step S202, the input image processing unit 12 calculates a difference input image level L by calculating a difference between the reference input image level Lint and the current input image level Lprs (L = Lprs−Lint). Specifically, the difference input image level L is obtained by obtaining a difference between the reference input image level Lint and the data value obtained as the input image level Lprs for each pixel at the same position. Therefore, as the difference input image level L, a signal level difference between the current input image level Lprs and the reference input image level Lint is always obtained for each pixel. Then, the input image processing unit 12 proceeds to step S203 so as to generate current detected image information (video data having a level information for each pixel in units of frames) based on the difference input image level L. Is done.
[0031]
The detection operation of the detected image information as described above will be described together with the movement of the actual user on the front side of the translucent surface 2. For example, the user performs an operation on the front side of the translucent surface 2 using some object that can reflect infrared rays on the front side of the translucent surface 2. The user's own fingers and body are used.
Here, for example, as shown in FIG. 1, when the user is far away from the semi-transparent surface 2 on the front side of the semi-transparent surface 2, for example, the user passes through the semi-transparent surface 2 and is reflected on the user's body. Since the amount of infrared light is small, most of the light does not return from the front surface of the translucent surface 2 through the back surface. At this time, the above-described reference input image level Lint and the current input image level Lprs are equivalent, and the input image processing unit 12 detects that the difference input image level L is substantially zero. That is, as the detected image information generated based on the difference input image level L, a state in which there is no change similar to the initial state is obtained.
[0032]
For example, if the user gradually approaches the translucent surface 2 from the above state, the infrared light that passes through the translucent surface 2 and reflects on the user's body passes through the translucent surface 2. As a result, the amount of light reaching the back side gradually increases. When this state is viewed from the input image processing unit 12, it can be regarded as a state in which the current input image level Lprs gradually increases with respect to the reference input image level Lint of the image portion corresponding to the user's body. Accordingly, as the detected image information, the appearance of the user approaching the translucent surface 2 is gradually captured according to the calculated difference input image level L.
When the user's body is very close to the translucent surface 2 (for example, within 30 cm from the translucent surface 2 depending on the setting of the threshold), the infrared light reflected on the human body is almost semi-transparent. Since it passes through the transparent surface 2 and reaches the back side, detection image information with a clearer body shape is generated.
[0033]
Here, it is assumed that the user places his / her body at a certain distance from the translucent surface 2 and puts his / her finger at a position very close to the translucent surface 2, for example.
In this case, since the user's finger close to the translucent surface 2 reflects more infrared light than other body parts, the image information obtained in the input image processing unit 12 is an image corresponding to the user's finger. The level of the region is strong, and the level of the image region at the position corresponding to the body part of the user in the background portion becomes weak according to the distance from the translucent surface 2. For example, in this state, if a predetermined threshold value set by the threshold value control unit 13 is compared with the detected image information, an image of only a portion corresponding to the user's finger is easily separated from the background. Similarly, depending on the setting of the threshold value, it is also possible to obtain image information obtained by extracting only the body part of the user at a distance away from the translucent surface 2. As described above, the threshold value control unit 13 sets such a threshold value according to the condition actually required.
[0034]
In this way, by adopting a configuration for detecting the state of the front surface side of the translucent surface 2, the following advantages can be obtained when the translucent surface 2 functions as an operation panel for an interactive interface, for example. can get.
First, in the present embodiment, operation information is obtained based on an image obtained from the amount of reflected infrared light from the translucent surface 2 side. Therefore, a special pointing device is used as an operation body for performing the operation. Any object that does not need to be reflected and reflects infrared rays can be used. In other words, as described above, the entire human body or a part thereof, or some other object can be used without any problem as described above.
[0035]
Further, for example, in a touch panel or the like, an operation body such as a finger needs to be brought into contact with the operation panel surface. In the case of the present embodiment, the position and movement of the operation body may be detected as reflection of infrared light. Therefore, it is not necessary to bring the operating body into contact with the translucent surface 2, and a method of operating in the space in front of the operating body can be adopted.
[0036]
In addition, as described above, since the amount of reflected infrared light changes according to the distance of the operating body relative to the semi-transparent surface 2, for example, the distance from the semi-transparent surface 2 of the operating body may be used as the operation information. .
[0037]
Further, as described above, the translucent surface 2 is constituted by simple means such as combining a translucent thin film such as tracing paper with a transparent glass plate or the like, or using something like polished glass. In particular, since a driving circuit unique to the panel is unnecessary, it is possible to easily realize an increase in size at a low cost. In this respect, it is greatly different from a touch panel that is difficult to increase in size.
Then, by obtaining operation information based on an image obtained by infrared reflected light from the semi-transparent surface 2 side, a plurality of operating bodies can be simultaneously recognized and necessary control can be executed if image recognition is possible. Is possible. That is, simultaneous operation with respect to a plurality of different operation objects is possible, and in particular, when the translucent surface 2 is configured as a large screen, different types of operations using various regions on the translucent surface 2 are possible. This is very effective because it can be performed simultaneously.
[0038]
Since the translucent surface 2 also has a function as an image display panel, for example, a menu screen to be operated is displayed as will be described later, and then the user touches the menu screen with a finger or the like. It is also possible to easily realize a direct operation such as enabling the operation.
As described above, the interactive display system according to the present embodiment provides many possibilities for inputting the operation information, and thus it is easy to construct an interactive input / output environment that has never existed before. can do.
[0039]
Next, an operation method example related to a menu screen will be described as a general operation example of the drawing apparatus 1 of the present embodiment having the above-described configuration.
FIG. 5 shows a case where a menu operation is performed by the drawing apparatus 1 according to the present embodiment. Here, a state where the translucent surface 2 is viewed from the front side is shown.
For example, as shown in this figure, if the user approaches the front surface of the translucent surface 2, first, the control device 6 of the drawing apparatus 1 uses the translucent surface that the user has approached based on the detected image information obtained at this time. 2. Recognize the position on 2. Then, display control is performed so that the menu screen M is displayed as shown in the figure at the position on the semi-transparent surface 2 that the user has recognized as approaching. This menu screen M is naturally an image projected from the projector 5 onto the translucent surface 2.
Then, under the state in which the menu screen M is displayed on the semitransparent surface 2 near the user himself / herself, for example, the user uses his / her finger to display the operation item on the menu screen M. Suppose you specify to point to an arbitrary area. At this time, the user's fingertip is set at a distance within a range of about 3 cm to 30 cm from the top of the translucent surface 2.
[0040]
Thus, for example, on the menu screen M, some instruction display (for example, cursor placement display on the selected region or highlight display in a predetermined form) is performed indicating that the region of the operation item pointed to by the user has been selected. become. This display control for highlighting is realized by detecting the coordinates of the region pointed by the user's finger based on the detected image information.
Here, it is assumed that the enter operation is performed when a predetermined time (for example, about several seconds) has passed since the instruction display is started as described above. If the user performs an enter operation, that is, if a state in which a specific operation item is highlighted is maintained for a predetermined time or longer, a required control operation according to the specified operation item is executed. For example, according to the designated operation item, a menu screen of another layer is displayed, or the drawing apparatus 1 is caused to execute a desired operation. Alternatively, if the drawing apparatus 1 is configured to be able to control some external device, and the menu screen is for performing operation control on the operation of the external device, the external device is operated according to the designated operation item. Will be controlled.
When the user moves away from the front surface of the translucent surface 2 and there is a certain distance between the user and the translucent surface 2, the menu screen M that has been displayed so far is automatically deleted. It is supposed to be.
[0041]
Here, the flowchart of FIG. 6 shows the processing operation of the control device 6 executed corresponding to the operation example shown in FIG. The processing operation shown in this figure is performed mainly by the input image processing unit 12 in the control device 6 recognizing the operation information based on the detected image information, and the database driving unit 14 in accordance with the program stored in the database memory 15. This is realized by appropriately performing the processing operation based on the information.
[0042]
In the routine shown in this figure, first, in step S301, it is determined whether or not an “approaching object” is detected from the current detected image information. Here, the “approximate body” refers to some detection target (referred to as the user's own body in FIG. 5) that has approached the translucent surface 2 to a predetermined distance range.
This “approaching object” is detected by comparing, for example, the input image processing unit 12 with the detected image information and a threshold value (set by the threshold control unit 13) set for detecting the approaching object. If a value greater than or equal to this threshold is obtained in an area with detected image information, it is detected that there is an approaching object. Will be detected. The threshold for detecting the approaching body is usually set based on the image level of the human body part obtained as detected image information when the human body (user) approaches the translucent surface 2 to some extent (for example, several tens of centimeters). It only has to be done.
[0043]
If no approaching object is detected in step S301, the process proceeds to step S308, where it is determined whether or not the menu screen M is currently displayed, and the menu screen M is not displayed here. In this case, the process returns to the original routine (i.e., shifts to the process of step S301 again). However, if the menu screen M is being displayed, the process proceeds to step S309, and the control process for deleting the menu screen M is performed. Execute. The menu screen M erasing process is realized, for example, when the database driving unit 14 stops the image data generating process of the menu screen M for the image generating unit 16.
[0044]
On the other hand, when an approaching body is detected in step S301, the process proceeds to step S302, and the position of the approaching body on the translucent surface 2 is detected. This processing can be performed, for example, by detecting the coordinates of the area occupied by the approaching body portion in the detected image information. In this case, the coordinates to be detected may be a predetermined point in the area of the approaching body or a plurality of points obtained according to a predetermined rule, and may be arbitrarily set according to the actual use environment or the like. Good.
[0045]
In the subsequent step S303, control for displaying the menu screen M on the region of the translucent surface 2 corresponding to the position of the approaching body detected in step S302 is executed. In this control processing, for example, the database drive unit 14 is controlled based on a program for menu screen display stored in the database memory 15 so that image data of a required type of menu screen is created in the image generation unit 16. Will do.
At this time, the database drive unit 14 creates display image data, for example, by mapping the image data of the menu screen to the display area corresponding to the position of the approaching body detected in step S302. As a result, as an image finally projected from the projector 5, the menu screen M is displayed at a position on the translucent surface 2 where the user approaches.
[0046]
After the process of step S303 is executed, in step S304, it is determined whether or not an “operation tool” has been detected in the display area that is the operation item of the currently displayed menu screen M. Here, the “operation body” refers to an object (detection target) at a close distance (approximately 3 cm to 30 cm depending on the setting of the threshold) on the front surface of the translucent surface 2. That is, in FIG. 5, the finger pointing to the menu screen M is a target.
Then, in the detection process of the “operation object”, first, the threshold value set in the threshold value control unit 13 for detecting the operation object is compared with the image level of the detected image information, so that the operation object is detected. The presence or absence is detected. The threshold value set at this time is set to a value larger than the threshold value for detecting the approaching object described above in order to detect an object at a close distance on the front surface of the translucent surface 2 separately from the background. Is done.
For example, if an operating tool is detected as a result of comparison with a threshold value, the coordinate position on the detected image information from which the operating tool is detected is detected, and the detected position and the menu screen M are displayed. By determining whether or not the positions on the image information are the same, the presence or absence of the operating body in the display area of the currently displayed menu screen is detected.
[0047]
The case where the operating tool is not detected in the display area which is the operation item of the menu screen M in the above step S304 means that the operating tool is not detected on the detected image information (the user moves on the translucent surface 2 at a close distance). Even if an operating tool is detected on the detected image information, the detected position (coordinates) of the operating tool is displayed in an area on the image information corresponding to the display area of the menu screen M. There is no state (a state in which the user is pointing to the semi-transparent surface 2 at a close distance is an area other than the operation item on the menu screen M). In such a case, the process returns to step S301. To be done.
[0048]
When the operating body is specified as a human hand or finger, for example, as the operating body detection process in step S304, for example, the shape of the human hand or finger appearing during operation on the database memory 15 The information on the shape of the hand or finger and the image shape obtained as the detected image information are compared, and the presence or absence of detection of the operating body is identified by checking the matching state. Is possible. In the present invention, in order to detect input information from image information, it can be recognized as operation information based on the shape of the image obtained in the detected image information.
[0049]
If it is determined in step S304 that an operating tool has been detected in the display area that is the operation item of the menu screen M, the process proceeds to step S305, and the operation of the menu screen M corresponding to the position where the operating tool is detected. Control is performed so that instructions are displayed for the item, and the process proceeds to step S306.
[0050]
The process in step S306 is an enter operation standby process. As described above, the enter operation here is defined to be determined when a predetermined time elapses from the state in which the instruction display is started. Therefore, in step S306, detection is made as to whether or not the detection state of the operating tool detected in step S304 is maintained for a predetermined time or more. This detection process is performed by monitoring the state transition of the current detected image in the input image processing unit 12.
Then, for example, the operating tool is no longer detected from the current detected image information, or the detection position of the operating tool on the current detected image information is displayed as the operation item of the menu screen M detected in step S304. If it is detected that the region has fallen out, the process returns from step S306 to step S301. (By this process, for example, when the designated position is changed so that the user points to a different operation item on the menu screen M, the operation item on the newly designated menu screen M is changed. Instruction display will be performed.)
[0051]
On the other hand, if it is determined in step S306 that the detection state of the operating tool detected in the immediately preceding step S304 has been maintained for a predetermined time or longer, the process proceeds to step S307 assuming that the enter operation has been performed.
In step S307, a required control process corresponding to the operation item at the position where the operating tool is detected on the menu screen M is executed. This process is executed by the database drive unit 14 according to a program stored in the database memory 15.
[0052]
<2. Basic polygon drawing operations>
FIG. 7 shows an example of a basic polygon drawing method by the drawing apparatus 1 of the present embodiment.
For example, when the user designates an arbitrary position on the front surface of the translucent surface 2 by pointing, the drawing is performed at a position close to the user of the translucent surface 2 as shown in FIG. It is assumed that the menu screen M is displayed. Note that the drawing menu screen M may be displayed when the user approaches the translucent surface 2 as described above with reference to FIG. 5. In consideration of the above, it is defined that the drawing menu screen M is displayed when the user designates the position with a finger or the like brought close to the translucent surface 2. Therefore, for example, the designation operation may be performed on the translucent surface 2 so that the fingertip of the user is recognized as the “operation body” described in FIG.
In this case, the drawing menu screen M shown in FIG. 7A presents a plurality of items for selecting a predetermined type of figure (for example, a line (straight line or curve), a triangle, a quadrangle, a pentagon, etc.). It is assumed that
[0053]
Here, for example, it is assumed that the user selects an item for drawing a hexagon and performs an enter operation (here, the operation described in FIG. 5 is applied). This makes it possible to draw a hexagon with an arbitrary shape (and size) by an operation described below.
For example, the user places six vertices of hexagons (herein referred to as “end points Pe”) in a shape desired to be drawn with respect to an arbitrary position on the translucent surface 2 by, for example, his / her finger on the translucent surface. Specify). At this time, the end point Pe may be specified one by one in order. However, in the present embodiment, a plurality of pieces of operation information can be recognized simultaneously as described above. It is also possible to specify two end points Pe. Further, the end point determination operation may be performed in accordance with, for example, the enter operation described in FIG. It is preferable that every time the designation of the end point Pe is confirmed, some indication indicating that the end point is the end point Pe is performed for the designated position.
For example, when six end points Pe are designated as described above, a straight line is displayed so as to connect these end points Pe. As a result, for example, as shown in FIG. This is performed on the transparent surface 2.
[0054]
The polygon drawing operation described in FIG. 7 is realized by the processing operation shown in the flowchart of FIG. In this processing operation, the input image processing unit 12 in the control device 6 recognizes the operation information based on the detected image information, and the database driving unit 14 is based on the operation information according to the drawing program stored in the database memory 15. This is realized by appropriately executing processing operations.
[0055]
In the routine shown in this figure, first, in step S401, control is executed so that a predetermined initial screen as a drawing mode (for example, displaying a grid or the like) is displayed on the translucent surface 2. For example, data as an initial screen is stored as data in a drawing program in the database memory 15, and database driving is performed so that image data created by the image generation unit 16 based on the initial screen data is projected and displayed by the projector 5. This is realized when the unit 14 executes control.
[0056]
In the subsequent step S402, it is determined whether or not an operating tool (see FIG. 6) in proximity to the translucent surface 2 has been detected. If an operating tool is detected, step S403 is performed. Then, the control for displaying the drawing menu screen (for graphic type selection) M is executed. On the other hand, if the operating tool is not detected in step S402, the process proceeds to step S411. If the drawing menu screen M is currently displayed, this screen is deleted and the process returns to step S401. If the drawing menu screen M is not currently displayed, the process returns to step S401 without executing any particular process in step S411.
[0057]
After the drawing menu screen M is displayed and output in step S403, it is determined in step S404 whether or not an operation for selecting a graphic type is detected on the drawing menu screen M. As the detection process at this time, for example, the process in steps S304 to S306 in FIG.
In step S404, if the selection operation for the item for selecting the graphic type is not detected, the process returns to step S402. However, if any one item is selected, the process proceeds to step S405, where the selected item is selected. A drawing mode is set for a polygon (n-gon) corresponding to the item.
[0058]
In the subsequent step S406, the end point Pe designating operation described with reference to FIG. 7 is awaited. If it is determined that the end point Pe designating operation has been performed, the process proceeds to step S407, and is designated in the above step S406. It is determined whether or not the end point Pe is confirmed. Here, it is assumed that the determination of the end point Pe designation operation is in accordance with the process of step S306 shown in FIG.
If it is determined in step S407 that the end point determination operation has been performed, the process proceeds to step S408, the position (coordinate) information of the determined end point Pe is held, and the process proceeds to step S409. In step S408, for example, the projector 5 may execute a process for performing projection display indicating that the end point Pe is designated for the position on the translucent surface 2 to which the determined end point Pe corresponds. Conceivable.
In step S409, it is determined whether or not the number of end points Pe that have been determined so far has reached n. If it is determined that the number of end points Pe that have been determined is not yet n, step S406 is performed. However, if it is determined that the number of determined end points Pe has reached n, the process proceeds to step S410.
[0059]
In step S410, based on the n end points Pe whose position (coordinate) information is determined, an n-gonal image formed so as to connect the n end points Pe is generated (for example, the image generation unit 16). Then, control is performed to project and display the n-gonal drawing figure on the translucent surface 2. At this time, the n-shaped drawing figure displayed on the translucent surface 2 is displayed so that the user actually connects the end point Pe whose position is specified with respect to the translucent surface 2. In addition, the display position and size are set.
[0060]
FIG. 9 shows a case where an operation on the translucent surface 2 by the user's fingertip is used as a pen tool in a general drawing program application. That is, if the user can arbitrarily move the fingertip on the translucent surface 2 with the fingertip being close to the translucent surface 2, the linear drawing figure DR is formed on the translucent surface 2 according to the movement of the fingertip. Will be displayed.
Although detailed description about the processing operation for realizing the drawing operation is omitted, linear drawing is performed based on the fingertip position (coordinate) information sequentially detected as operation information in the database driving unit 14 of the control unit 6. This is realized by performing processing for forming the figure DR and executing display control for displaying the linear drawing figure DR so as to follow the movement position of the user's fingertip. .
[0061]
<3. Drawing about rectangle>
Next, a drawing operation related to a quadrangle that can be realized by using the drawing apparatus of the present embodiment will be described.
FIG. 10 shows a rectangular drawing operation. For example, as shown in FIG. 10, the user opens the thumb and index finger of both hands to form arbitrary finger opening angles Afin1 (right hand) and Afin2 (left hand). Arrange them so that they fit. At this time, on the drawing device 1 side, the positions of the thumbs and index fingers at the bases of both hands are recognized as rectangular diagonal points Poa1 and Poa2 to be drawn. Each finger opening angle Afin of both hands is recognized as the size of the inner angle of the apex angle including the diagonal points Poa1 and Poa2.
For example, if the user has maintained the above-mentioned state of both hands for a certain time or longer in this state, this is recognized as an enter operation, and the diagonal points Poa1, Poa2 and the finger opening with respect to the translucent surface 2 are recognized. A quadrilateral drawing figure DR whose shape and size are determined based on the angles Afin1 and Afin2 is drawn. At this time, the positions of the diagonal points Poa1 and Poa2 specified by the user with respect to the semi-transparent surface 2 and the diagonal points of the quadrilateral drawing figure DR actually displayed on the semi-transparent surface 2 are matched. To be.
[0062]
For example, when the mode for drawing a rectangle is selected, it is possible to draw a rectangle as shown in FIG. 10 in addition to the method of designating the end points Pe one by one as shown in FIG. Such a drawing method is possible because the information that is the basis of the operation information in the drawing apparatus of the present embodiment is image information (detected image information). It depends on being recognizable at the same time and by detecting the finger opening angles Afin1 and Afin2 as square apex angles from the image information of the hand shape itself.
[0063]
In the present embodiment, for example, when the user performs an operation with his / her hand or the like, the drawing figure DR already displayed on the translucent surface 2 is moved, rotated, enlarged / reduced, etc. Is possible.
FIG. 11A shows a state in which a rectangular drawing figure DR is already displayed on the translucent surface 2. Here, for example, it is assumed that the user selects the drawing figure movement mode by a designation operation on a predetermined menu screen or the like. Under this movement mode, for example, as shown in FIG. 11A, when the user places both hands at a position close to the translucent surface 2 in an image that grabs the diagonal points Poa1 and Poa2 of the drawing figure DR. To do. Then, if the operation is performed so as to move in any direction while maintaining the positional relationship between both hands, the positions of the diagonal points Poa1 and Poa2 follow the movements of both hands as shown in FIG. 11 (b). Thus, the rectangular drawing figure DR moves. That is, the user can move the figure as if it were actually grasping the rectangular drawing figure DR displayed on the translucent surface 2.
[0064]
Similarly, when it is desired to rotate the drawing image DR, the rotation mode is set by a necessary menu operation or the like, and the diagonal points Poa1 and Poa2 of the rectangular drawing figure DR are set as shown in FIG. 11C. Grab the handle to rotate.
Further, for example, in the enlargement / reduction mode, the operation is performed by grasping the diagonal points Poa1 and Poa2 of the rectangular drawing figure DR and extending or reducing the distance between both hands in the diagonal direction. As shown in (), the rectangular drawing figure DR can be enlarged / reduced.
[0065]
Subsequently, a processing operation for realizing the drawing operation related to the above-described quadrangle will be described with reference to the flowcharts of FIGS. These processes are realized by the database driving unit 14 executing necessary processes according to the drawing program stored in the database memory 15.
[0066]
FIG. 12 shows a processing operation for realizing the rectangular drawing operation shown in FIG.
For example, when the quadrangular drawing mode is set, first, in step S501, a designation operation for the diagonal points Poa1 and Poa2 is awaited. For this purpose, for example, the shape of the hand with the thumb and index finger open as shown in FIG. 10 is stored as a drawing program, and two images of such a hand shape are detected in the detected image information. For example, when this image state is maintained for a predetermined time or longer, the position (coordinates) that is the root of the thumb and the index finger in this hand shape is detected as the diagonal points Poa1 and Poa2. Good,
When the diagonal points Poa1 and Poa2 are detected in step S501, the process proceeds to step S502, and the finger opening angles Afin1 and Afin2 are detected from the opening degree of the thumb and the index finger in the shape of the hand. For example, two straight lines are assumed along each direction in which the thumb and index finger obtained as image information extend, and an angle formed by the two virtual straight lines is obtained to obtain finger opening angles Afin1 and Afin2. Each detection becomes possible.
[0067]
In the subsequent step S503, a drawing process of a quadrilateral drawing image DR is executed using the image generation unit 16 based on the positions (coordinates) of the designated diagonal points Poa1, Poa2 and the finger opening angles Afin1, Afin2. . The drawing image DR created by the image generation unit 16 is supplied to the projector 5 via the image synthesis unit 17 and the RGB signal generation unit 18 so that the translucent surface 2 as shown in FIG. Will be displayed.
[0068]
FIG. 13 shows the processing operation in the movement mode shown in FIG. 11 (a) → FIG. 11 (b). For example, when the movement mode is set by an operation on a predetermined menu screen or the like, the database driving unit 14 waits for an operation of specifying the diagonal points Poa 1 and 2 in step S601. That is, it is determined whether or not an operating tool (in this case, a user's hand) has been detected at a coordinate position that is substantially coincident with the diagonal point of the rectangular drawn image DR currently being displayed.
If it is determined that the user has designated diagonal points Poa 1 and 2, the subsequent movement of the diagonal points Poa 1 and 2 is monitored. According to the movement of the corner points Poa 1 and 2, the movement direction information Dmv and the movement amount information Qmv are detected. Then, based on the movement direction information Dmv and the movement amount information Qmv, the image generation unit 16 generates an image of the moved figure so that the quadrilateral drawing figure DR is moved, and the image is translucent. Control is executed so as to project and display on the surface 2.
[0069]
Next, FIG. 14 shows the processing operation in the rotation mode (FIG. 11 (a) → FIG. 11 (c)).
In the rotation mode for the quadrilateral drawn image DR, in step S701, the operation of waiting for the designation of the diagonal points Poa1 and 2 is awaited, and when it is determined that the operation of designating the diagonal points Poa1 and 2 has been performed. In the next step S702, rotation angle information Atur of the drawing figure is set according to the movement of the designated diagonal points Poa1 and Poa2. In the subsequent step S703, the drawing process of the quadrilateral drawing figure DR rotated by the rotation angle information Atur obtained in step SS702, and the rotated quadrilateral drawing figure DR on the translucent surface 2 by the projector 5 are performed. Control for projecting display is executed.
[0070]
FIG. 15 shows the processing operation in the enlargement / reduction mode (FIG. 11 (a) → FIG. 11 (d)) for the rectangular drawn image DR.
Also in this case, first, in step S801, the designating operation of the diagonal points Poa1, 2 is awaited. If it is determined that the diagonal point Poa1, 2 is designated, the process proceeds to step S802 and the diagonal point is entered. The enlargement / reduction ratio Rt is set according to the movement of Poa 1 and 2. In the subsequent step S803, a process of drawing a quadrilateral drawn image DR enlarged or reduced based on the enlargement / reduction ratio Rt and the enlarged or reduced drawn image are projected and displayed on the translucent surface 2. To do control for.
[0071]
<4. Drawing about triangle>
Next, a drawing operation related to a triangle that can be realized by using the drawing apparatus according to the present embodiment will be described.
FIG. 16A shows an example of a triangle drawing operation as the present embodiment.
For example, after setting the triangle drawing mode by a predetermined operation, the user gives a desired angle (finger opening angle Afin1, Afin2) between the thumb and the index finger of both hands, as in the case of quadrilateral drawing, In this case, both hands are placed on the translucent surface 2 so that the positions of the bases of the thumbs and index fingers of both hands are, for example, both ends (end points Pe1, Pe2) of the base of the triangle to be drawn.
Thereby, on the semi-transparent surface 2, as shown in FIG. 16 (a), the positions of both ends of the base of the triangle designated by the user and the base of the triangle determined by the finger opening angles Afin1 and Afin2 given by the user A triangular drawing image DR having a shape and size obtained according to the angles of both ends of the image is displayed as drawn.
[0072]
For example, when moving, rotating, or enlarging / reducing the triangular drawn image DR drawn as described above, a desired mode is appropriately selected from the movement mode, the rotation mode, and the enlargement / reduction mode. After selecting and setting, for example, as shown in FIG. 16 (b), the above-described quadrilateral drawing figure is obtained by grasping the end points Pe1 and Pe2 corresponding to both ends of the base of the triangular drawing figure DR. What is necessary is just to perform operation which moves both hands on the semi-transparent surface 2 like DR.
[0073]
Note that the processing in the triangle drawing mode described in FIGS. 16A and 16B and the processing operation in the movement mode, the rotation mode, and the enlargement / reduction mode are the same as those shown in FIGS. Although detailed description is omitted here because it can be realized by following the process for the drawn image DR, both ends of the bottom of the triangle are used instead of the diagonal points Poa 1 and 2 when processing the drawn image DR of the triangle. And the finger opening angles Afin1 and Afin2 are treated as the sizes of the corners at both ends of the base of the triangle.
[0074]
<5. Drawing on ellipse>
FIG. 17A shows a drawing operation example for an ellipse in the present embodiment.
When drawing an ellipse, it is arranged on the translucent surface 2 while giving a desired finger opening angle Afin1, Afin2 between the thumb and index finger of both hands, as in the polygon drawing operation so far. However, in this case, the positions of the bases of the thumbs and index fingers (end points Pe1, Pe2) of both hands are recognized as both ends of the elliptical major axis or minor axis to be drawn. The finger opening angles Afin1 and Afin2 are processed so as to be treated as information on the elliptical curvature to be drawn. It should be noted that whether the end points Pe1 and Pe2 are set as both ends of an elliptical major axis or minor axis depends on the finger opening angles Afin1 and Afin2.
When the drawn elliptical drawing image DR is moved, rotated, or enlarged / reduced, the movement mode, the rotation mode, and the enlargement / reduction mode are selected as in the case of the conventional polygon. The desired mode is selected, and as shown in FIG. 17 (b), both hands are halved with an image that grasps the position of the elliptical drawing figure DR as the end points Pe1 and Pe2 as the end points Pe1 and Pe2. An operation of moving on the transparent surface 2 is performed.
It should be noted that the drawing, movement, rotation, and enlargement / reduction mode processing related to the ellipse can also be realized by following the processing for the rectangular drawing image DR shown in FIGS. The end points Pe1 and Pe2 are handled as elliptical long-diameter ends, and an ellipse is drawn according to the curvature set based on the finger opening angles Afin1 and Afin2.
[0075]
<6. Line deformation>
Up to now, the case of performing drawing processing related to a polygon such as a quadrangle and a triangle and the drawing processing related to a curve have been described. Next, a case where a curve is deformed by the drawing apparatus of the present embodiment will be described.
FIG. 18 shows an operation example for deforming a curve. For example, it is assumed that the deformation mode is set by a predetermined operation in a state where a curved drawing figure DR is displayed as shown in FIG. Then, as shown in this figure, for example, the user opens his / her palm and closes his / her finger, and arranges it corresponding to an arbitrary position on the curve (drawing figure DR). FIG. 18A shows a state in which both palms are arranged at both ends of a substantially curved drawing figure DR. In this state, the approximate center position of the palm is recognized as the end point Pe. Become. In the case of a curve deformation process, this end point Pe is a point that designates a movement position that becomes a reference when the curve is deformed, and the deformed curve always passes the position of the end point Pe after the movement operation. The At this time, the reference tangent L is virtually set along the direction in which the finger of the hand extends.
At this time, the user has an image that grasps both ends of the curve (drawing figure DR) displayed on the translucent surface 2.
[0076]
For example, from the state shown in FIG. 18A, it is assumed that the user moves his / her hands as shown in FIG. 18B with an image as if the curve (drawing figure DR) is bent. In this case, the end points Pe and Pe recognized as the approximate center position of the palm are moved according to the movement of the user's hand, and the reference tangents L and L are similarly moved according to the movement of the user's hand. Will change.
When the operation is performed in this manner, the curve displayed on the translucent surface 2 is deformed so as to bend so as to follow the movement of the user's hand.
[0077]
The processing operation for the curve deformation process by the operation shown in FIG. 18 will be described with reference to the flowchart of FIG. This processing is executed by the database drive unit 14 based on a program stored in the database memory 15.
In the curve deformation processing mode, first, in step S901, the process waits for an operating tool to be detected. The detection of the operating body in this case means that the shape of the palm in a state where the finger is extended while closing the finger as shown in FIG. 18 is recognized as the detected image information. Even if the palm shape in the above state is detected, if the detected position is not on the drawn and displayed curve, it is not recognized as an operating tool. The palm shape may be identified by identifying the coincidence state between the data indicating the palm shape stored in the database memory 15 and the shape of the image obtained as the detected image information, for example.
If an operating tool is detected in step S901, the process proceeds to step S902, where the position Pos of the end point Pe is detected and the direction of the detected palm-shaped finger is identified to identify the inclination of the reference tangent line L. Grd is calculated.
[0078]
Subsequently, in step S903, based on the position Pos of the end point Pe and the inclination Grd of the reference tangent line L calculated in step S902, a plurality of points set according to a predetermined rule on the curve (drawing image DR). An arithmetic process for changing the normal is executed.
In step S904, a drawing process for deforming the curve is executed based on the calculation result obtained in step S903, and the deformed curve is displayed as shown in FIG. Control will be executed. Although not shown in this figure, for example, if a predetermined menu operation or the like is performed in the middle, the curve deformation processing mode can be exited.
[0079]
<7. Example of moving the figure>
Further, as the drawing apparatus according to the present embodiment, it is also possible to move an image or a graphic displayed on the semitransparent surface 2 as follows.
In FIG. 20A, a drawing image DR depicting an airplane is displayed as an example. Note that the drawn image here is not particularly limited to that drawn by the user's operation, and may be displayed based on image data such as a sample stored in the database memory 15, for example. Absent.
Here, in a state where the display image movement mode is set by a predetermined operation, for example, as shown in FIG. 20A, the user himself / herself is substantially at the front position where the drawing image DR is displayed on the semi-transparent surface 2. Suppose that the user has moved in front of the translucent surface 2 as shown in FIG. In this case, the image of the user's own body is treated as position designation information for movement, so that the drawing image DR follows the user's movement in the left-right direction on the front surface of the translucent surface 2. Is displayed to move.
[0080]
<8. Example of enlargement / reduction of figure>
In the present embodiment, the figure can be enlarged / reduced also by an operation as shown in FIGS.
For example, FIG. 21A shows a drawing image DR displayed on the translucent surface 2 in response to the user performing an operation of spreading or closing both arms in front of the translucent surface 2. An operation mode in which the image is enlarged or reduced is shown. FIG. 21B shows an operation mode in which the drawing figure DR is enlarged and displayed when the user approaches the translucent surface 2, and the drawing figure DR is reduced on the contrary when the user moves away.
Although detailed description of the processing operation by a flowchart or the like is omitted here, in the case of FIG. 21A, the control device 6 is configured so that the open / closed state of the human arm can be recognized based on the detected image information. The degree of opening of the arm may be converted into an enlargement / reduction ratio for image processing. In the case of FIG. 21B, as described above, the image level of the portion of the detection target (here, a human body) obtained as detection image information changes according to the distance from the translucent surface 2. It is sufficient to convert this change in the image level into an enlargement / reduction ratio.
The images displayed in FIGS. 21A and 21B are not particularly limited to those drawn by the user, and may be displayed using previously prepared image data. . Further, as an actual usage mode, for example, a map or the like is displayed, and the enlargement / reduction center position is determined by a predetermined operation, and then the operation shown in any of FIGS. 21A and 21B is performed. Thus, it is conceivable to enlarge / reduce an arbitrary area on the map.
[0081]
<9. Whiteboard function>
In addition, it is conceivable to use the drawing apparatus according to the present embodiment described so far as a whiteboard used for a meeting or education site or a bulletin board, for example. Can be considered.
FIG. 22 shows a translucent surface 2 that functions as a character writing surface of the whiteboard. Although not shown in this drawing, for example, it is assumed that each device shown in FIG. 1 is arranged on the back side of the translucent surface 2.
In the configuration of the drawing apparatus of the present embodiment shown in FIG. 1, it is possible to perform projection display on the translucent surface 2 using, for example, image data stored in a database memory. Shows an example of using these functions.
For example, FIG. 22A shows a state in which a user draws a drawing figure DR by freehand on a semi-transparent surface using, for example, a finger or some pen-shaped physical object. Here, it is assumed that a quadrilateral is drawn as the drawing figure DR although it is freehand. In addition, even if it is not freehand, you may draw a rectangle with the operation method previously shown in FIG.7 and FIG.10.
In this case, when the control device 6 recognizes that a rectangle is drawn on the translucent surface 2 that is a whiteboard, a menu screen according to the predetermined operation content is displayed on the translucent surface 2. ing. Thus, when a quadrangle is drawn, a menu screen M having a predetermined content is displayed as shown in FIG. In this case, for example, the menu screen M can be displayed in correspondence with the position where the user-drawn drawing figure DR is drawn. Further, at the stage when the menu screen M is displayed, the drawing figure DR shown in FIG.
[0082]
FIG. 23 is a flowchart showing the processing operation of the control device 6 for realizing the menu screen calling operation shown in FIG. In this case, it is assumed that the whiteboard drawing operation is configured to draw a line corresponding to the position pointed by the user, as described at least with reference to FIG.
In this routine, first, in step S1001, the process waits for a drawing figure to be drawn. If it is determined that drawing has been performed, the shape of the drawn figure is identified in step S1002. In the subsequent step S1003, it is determined whether or not the shape of the identified drawing figure is a quadrangle suitable for calling the menu screen display.
Here, in addition to simple shape determination for determining whether or not a drawing figure is a quadrangle, for example, it is prescribed that a rectangle having a predetermined area or more is required to call a menu screen display. In such a case, it is configured such that a positive result can be obtained when the two requirements that the drawing figure is a quadrangle and the area of the drawing figure are not less than a predetermined value are satisfied. In addition, when the drawn image is drawn by freehand, it is more often the case that it is not a quadrangle, but the curve with a certain degree of curvature or the curvature of a straight line should be regarded as a straight line. What is necessary is just to make it recognize as a rectangle by performing a process.
If a positive result is obtained in step S1003, the process proceeds to step S1004 to execute processing for displaying a predetermined menu screen. At this time, for example, as a display control, the menu screen M is displayed so as to substantially correspond to the position at which the quadrilateral drawn image DR is drawn. Further, if it is within a certain predetermined range, the quadrangular drawn image DR is displayed. It is also possible to configure the menu screen to be displayed with a size substantially corresponding to the drawn size.
[0083]
In general whiteboards, for example, characters and pictures are drawn with a marker pen and the like, and already drawn letters and pictures are erased using a tool such as a white board wiper. When the drawing apparatus functions as a whiteboard, the same thing can be performed as follows.
[0084]
For example, as shown in FIG. 24A, it is assumed that the user performs an operation of writing characters or the like on the whiteboard (semi-transparent surface 2) using the drawing pen Pen. In this case, the pen tip of the drawing pen Pen has a size that is smaller than a threshold value set in advance as the image area when detection by an image is performed as detected image information. . When an operating tool that is smaller than the predetermined threshold is detected, for example, drawing with a line is performed in accordance with the position specified by the operating tool. Thus, characters and the like are displayed as a linear drawing image according to the locus of the pen tip of the drawing pen Pen. In FIG. 24A, the state in which a character or the like is displayed on the translucent surface 2 as a result of the user using the drawing pen Pen is indicated by “0000000000”. Represents.
In the present embodiment, the type of operation body is not limited as long as it is a physical object capable of reflecting infrared rays, and the drawing pen Pen may be an individual having a simple pen shape. . Accordingly, as long as the above threshold value is satisfied, it is possible to use a user's finger or the like instead of the drawing pen Pen.
[0085]
Then, in order to erase the content drawn on the translucent surface 2 (whiteboard), for example, as shown in FIG. An erasing plate Er having a size exceeding the threshold value is prepared. The erasing plate Er may be a physical object that can reflect infrared rays and has a size that can be detected as an image that exceeds the threshold value in the same manner as the drawing pen Pen. Therefore, for example, the user's own palm may be used instead of the erasing plate Er as long as the size exceeds a predetermined threshold.
Then, for example, if the user moves using the erasing plate Er so as to trace on the translucent surface 2, the characters and pictures drawn so far are erased in the region that becomes the locus of the erasing plate Er. An initial image is displayed. For example, if the non-display state is set as the initial image, the portion on the translucent surface 2 traced by the erasing plate Er is not displayed. Further, for example, when a map or the like is displayed as an initial image and characters or pictures drawn by the user are displayed on the map, the characters or pictures traced with the erasing plate Er are erased and the original image is displayed. Will be displayed.
[0086]
FIG. 25 is a flowchart showing a processing operation for realizing the operation described in FIG. In this routine, first, it waits for the operating body to be detected in step S1101, and if an operating body is detected here, the process proceeds to step S1102, and the size (area) S of the operating body is set. It is determined whether or not it is smaller than a predetermined threshold value a. The threshold value a is a value set for detecting an operating body as a drawing pointer (drawing pen Pen or finger). If an affirmative result is obtained in step S1102, the operation tool is assumed to be a drawing pointer, and the process advances to step S1103 to follow the movement of the detection position (coordinates) of the operation tool. The processing is executed so that the drawing is performed on the area 2.
[0087]
On the other hand, if a negative result is obtained in step S1102, it is determined in step S1104 whether or not the size S of the operating tool is larger than the threshold value b. The threshold value b is used to detect an operating body as an erasing pointer (such as an erasing plate Er or a palm). Here, if a negative result is obtained, this routine is exited. However, when a negative result is obtained in steps S1102 and S1104, the size of the operating body is that of the drawing pointer and the erasing pointer. In this case, neither drawing processing nor erasing processing is executed. However, if the same value is set for the threshold values a and b, the detected operating body is surely recognized as either the drawing pointer or the erasing pointer.
If an affirmative result is obtained in step S1104, control is performed so that an initial image is displayed for the region in which the operating tool is detected in the detected image information. In other words, if the drawn image is displayed in the part of the semi-transparent surface 2 traced by the erasing pointer, the initial image is displayed instead of being erased.
[0088]
<10. Configuration of Drawing Apparatus as Other Embodiment>
By the way, as a drawing apparatus of this Embodiment, it is also possible to abbreviate | omit the infrared LED panel 3 from the structure shown in FIG.
For example, when the drawing apparatus according to the present invention is used in an environment with strong outside light such as outdoors, the infrared LED panel 3 as shown in FIG. In the configuration in which infrared light is used as a light source for detecting operation information, the intensity of the infrared light emitted from the infrared LED panel 3 is relatively weaker than the infrared light included in natural light. May not be performed (that is, proper detected image information capable of recognizing operation information cannot be obtained).
Therefore, in such a case, the infrared LED panel 3 can be omitted, and instead, infrared light included in natural light can be used as a light source for detecting operation information.
In this case, the reference input image level Lint necessary for obtaining the detected image information is assumed that there is no detection target such as an approaching body and an operating body (no operation is performed on the translucent surface 2). In this state, detection is performed based on image information obtained from an imaging signal that is transmitted through the translucent surface 2 from the front surface side and captured by the CCD camera 4.
[0089]
For example, if any operation is performed on the translucent surface 2, when the approaching body and the operating body on the translucent surface 2 at this time are viewed from the CCD camera 4 side, the approaching body and the operating body. Since the infrared light of natural light is blocked by the above, it can be seen as a shadow of the infrared light contained in the natural light. In the control device 6 according to the present embodiment, image information that changes such that the image level becomes lower (darker) with respect to the reference input image level Lint is handled as operation information. In this case, as the internal configuration of the control device 6 shown in FIG. 2, the LED driving unit 10 is not provided in response to the omission of the infrared LED panel 3.
[0090]
The drawing apparatus according to the present embodiment has a configuration shown in FIG. 1, for example, in which a microwave generator is provided in place of the infrared LED panel 3 and a microwave receiver is provided in place of the CCD camera 4. It is also possible to do.
In this case, the control device 6 shown in FIG. 2 includes a microwave drive circuit for driving the microwave generator instead of the LED drive unit 10 (see FIG. 1). In addition, an image signal input circuit that inputs a reception microwave supplied from a microwave receiver, converts it into, for example, data of a predetermined format and outputs it, and receives microwave reception data supplied from this image signal input circuit Thus, it is necessary to provide an input data processing circuit that obtains detected image information and obtains operation information based on the detected image information, for example, by performing necessary processing. The image signal input circuit and the input data processing circuit are functional circuit units that replace the image input unit 11 and the input image processing unit 12 shown in FIG. Further, since microwaves are used as the medium for detecting operation information, the infrared transmission filter 4a provided in the CCD camera 4 and the infrared cutoff filter 5a provided in the projector 5 are not necessary.
[0091]
Thus, even if it is configured to use a medium such as a microwave having a property of reflecting on an object irradiated with it for detection of operation information, the embodiment described so far (infrared operation information is used). The information input apparatus according to the present invention can be configured in the same manner as in the example used for
[0092]
Note that image information such as a drawing displayed on the translucent surface 2 by the drawing method described so far can be printed out using the printer 20 shown in FIG.
[0093]
Further, the operation method and the control processing operation for realizing various drawing operations in the drawing device configured according to the present invention are not limited to the contents described so far, and the input device as the present invention Various other operation methods and control processing methods that take advantage of the advantages are conceivable. In FIG. 1, the voice output system is not shown, but it is also possible to perform various interactive responses by voice in the drawing apparatus according to the embodiment of the present invention.
[0094]
【The invention's effect】
As described above, the present invention can be operated as long as it is an object that can reflect a state change (the state change is reflected as detected image information) by reflecting light or electromagnetic waves in a predetermined wavelength band. It is established as an operating body for performing the above. That is, no special pointing device is required for the operation. Accordingly, as described above, for example, the drawing operation can be performed by using the user's own hand or finger.
[0095]
In addition, since the operating tool can be recognized at a position close to the translucent surface (for example, the hollow position on the front surface of the translucent surface), the operating method can be performed without bringing the operating tool into contact with the translucent surface as the operation panel. An operation can be performed in the front space to draw a drawing figure, or an object approaching the translucent surface can be recognized, for example, some editing processing can be performed on the drawing figure.
[0096]
In addition, since the operation information is detected based on the image information, as long as the operation tool is recognized as an image change, the operation information can be extracted based on the image shape and a plurality of operation information can be extracted simultaneously. Drawing can be performed by determining the shape and size of the figure by the operation of both hands, and processing operations relating to drawing can be appropriately performed depending on the size of the operating body.
[0097]
In addition, since the translucent surface of the present invention functions as an operation panel and a display panel, it is possible to perform drawing display so as to follow the movement of a finger or the like with respect to the user's translucent surface. Will be realized. Also, unlike conventional touch panels and various display devices, the increase in size of the translucent surface can be easily realized at a low cost. For example, it is particularly effective when the operation method described so far is employed. Become.
[0098]
As described above, the present invention provides the above-mentioned degree of freedom when inputting operation information, and can easily provide an enlarged operation panel that can also be used as a display panel. The output environment has been strengthened and expanded, and even a drawing system constructed under this environment has an effect that it is possible to provide an unprecedented operation form and a display form in response thereto. .
[Brief description of the drawings]
FIG. 1 is a conceptual diagram illustrating a configuration example of a drawing apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an internal configuration of a control device provided in the drawing apparatus according to the present embodiment.
FIG. 3 is a flowchart showing a processing operation for detecting and holding a reference input image level.
FIG. 4 is a flowchart showing a processing operation for generating detected image information.
FIG. 5 is an explanatory diagram illustrating a basic operation example in the drawing apparatus according to the present embodiment;
6 is a flowchart showing a processing operation for realizing the operation shown in FIG. 5;
FIG. 7 is an explanatory diagram illustrating a basic drawing operation example in the drawing apparatus according to the present embodiment;
8 is a flowchart showing a processing operation for realizing the drawing operation shown in FIG. 7;
FIG. 9 is an explanatory diagram showing a drawing operation for a line.
FIG. 10 is an explanatory diagram showing a quadrangle drawing operation in the drawing apparatus according to the present embodiment;
FIG. 11 is an explanatory diagram illustrating an operation example for editing a quadrilateral drawn image.
12 is a flowchart showing a processing operation in the quadrilateral drawing mode shown in FIG.
13 is a flowchart showing a processing operation in a movement mode for the rectangular drawn image shown in FIG.
14 is a flowchart showing a processing operation in a rotation mode for the rectangular drawn image shown in FIG. 11. FIG.
15 is a flowchart showing a processing operation in the enlargement / reduction mode for the rectangular drawn image shown in FIG.
FIG. 16 is an explanatory diagram showing a drawing and editing operation for a triangle.
FIG. 17 is an explanatory diagram showing drawing and editing operations for an ellipse.
FIG. 18 is an explanatory diagram showing an example of a curve deformation operation.
FIG. 19 is a flowchart showing a processing operation for realizing the operation shown in FIG. 18;
FIG. 20 is an explanatory diagram illustrating an example of a display image movement operation;
FIG. 21 is an explanatory diagram showing an example of a display image enlargement / reduction operation;
FIG. 22 is an explanatory diagram showing an operation example when the drawing apparatus of the present invention is caused to function as a whiteboard.
23 is a flowchart showing a processing operation for realizing the operation shown in FIG.
FIG. 24 is an explanatory diagram showing another operation example when the drawing apparatus of the present invention functions as a whiteboard.
FIG. 25 is a flowchart showing a processing operation for realizing the operation shown in FIG. 24;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Drawing apparatus, 2 translucent surface, 3 infrared LED panel, 4 CCD camera, 4A 1st CCD camera, 4B 2nd CCD camera, 5 projector, 6 control apparatus, 10 LED drive part, 11 image input part, 12 input image processing part , 13 threshold control unit, 14 database drive unit, 15 database memory, 16 image generation unit, 17 image composition unit, 18 RGB signal generation unit, M menu screen, DR drawing image, Poa1, Poa2 diagonal point, Afin1, Afin2 finger opening angle, Pe, Pe1, Pe2 end points

Claims

A translucent surface,
Imaging means for capturing only light or electromagnetic waves in a predetermined wavelength band incident from the direction of the semitransparent surface as an image;
The light or electromagnetic wave of a predetermined wavelength band to be received by the imaging means is transmitted so that the electromagnetic wave passes through the semi-transparent surface and is then reflected by the operation body in the space before the semi-transparent surface and returns to the semi-transparent surface side. Radiating means for radiating the translucent surface;
Based on the operation information identified based on the detection image information, the detection image information reflecting the operation given to the translucent surface is generated based on the imaging signal input from the imaging means. Control processing means for executing the required control processing,
Projection display means provided so that an image of visible light that does not include the wavelength band of light or electromagnetic waves to be imaged by the imaging means can be projected and displayed on the translucent surface;
A threshold control unit that controls a threshold related to the intensity of light or electromagnetic waves reflected by the operation body,
The control processing means is a quadrangle projected by the projection display means on the translucent surface, wherein the intensity of the light or electromagnetic wave reflected by the operating body is equal to or greater than the threshold controlled by the threshold control unit. When the two points near the vertices on the diagonal line in the image area are simultaneously designated by the operation body, the square image is deformed and projected and displayed according to the change in the position of the two points. A drawing apparatus for controlling the projection display means .

The control processing means controls the projection display means to rotate and display the quadrilateral image when the position of the two points changes so as to rotate around the center of gravity of the quadrilateral. The drawing apparatus according to claim 1.

2. The projection processing unit according to claim 1, wherein the control processing unit controls the projection display unit to enlarge and display the quadrangular image when the positions of the two points change away from each other. Drawing device.

It further has storage means for storing information on the shape of the operating body,
The control processing means identifies the positions of the two points by detecting the shape of the operating body by comparing the image information for detection with information in the storage means. Information input / output device.

An imaging operation that captures only light or electromagnetic waves in a predetermined wavelength band incident from the direction of the translucent surface side as an image,
The light or electromagnetic wave having a predetermined wavelength band to be received in the imaging operation so that the electromagnetic wave is transmitted through the translucent surface and then reflected by the operation body in the space in front of the translucent surface to return to the translucent surface side. Radiating to the translucent surface,
Based on the operation information identified based on the detection image information, the detection image information reflecting the operation given to the translucent surface is generated based on the imaging signal obtained by the imaging operation. The required control processing to be performed,
Projecting and displaying an image of visible light that does not include the wavelength band of light or electromagnetic waves to be imaged as the imaging operation on the translucent surface ;
A drawing method for performing drawing under a configuration in which a threshold value control process for controlling a threshold value related to the intensity of light or electromagnetic waves reflected by the operation body is executed,
As the control process, the intensity of the light or electromagnetic wave reflected by the operating body is equal to or higher than the threshold value controlled by the threshold value control process, and the quadrangle projected by the projection display operation on the translucent surface Display for deforming and projecting the quadrilateral image according to a change in the position of the two points when two points near the vertices on the diagonal line in the image area are simultaneously designated by the operating body. A drawing method characterized in that control and can be executed.