JPH1138949A - 描画装置、描画方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 多様な操作により描画を行うことのできる描
画システムの提供。 【解決手段】 半透明面２の背面側に対して、赤外線
光を定常的に照射する赤外線ＬＥＤパネル３と、半透明
面２側から入射してくる赤外線光のみを撮像するＣＣＤ
カメラ４と、半透明面２に対して画像（赤外線光は含ま
ない）を投影表示するプロジェクタ５を設ける。ユーザ
が半透明面２の前面側で操作を行うと赤外線反射光量が
変化するので、制御装置６では、ＣＣＤカメラ４の撮像
信号に基づいて上記反射光量の変化を検出画像情報とし
て捉えた上で、この画像情報に基づいて得られる操作情
報に従って、例えば描画処理を行うと共に描画画像を半
透明面２に対して表示する制御を実行する。この場合、
操作方法としては赤外線光の反射によって検出画像情報
に変化が現れるような形態をとればよく、多様な操作方
法による描画が可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、インタラクティブ
な入出力が可能な表示システムを利用して描画を実現す
るための描画装置、描画方法、及び描画用のプログラム
が格納された記録媒体に関するものである。

【０００２】

【従来の技術】例えばコンピュータ装置などでは、様々
なアプリケーションプログラムなどのもとで、ユーザの
操作に応答してコンピュータ装置側が所定の反応を表示
等によって提示する、いわゆるインタラクティブな入出
力形態が広く採用されている。そして、上記のようなイ
ンタラクティブな入出力が実現された環境のもとで、い
わゆるドローやペインティングなどのソフトウェアを利
用して、ユーザが行った所定の入力操作に従って線や図
形などの描画を行うことが行われている。

【０００３】例えば、上記のような描画の入力操作に用
いる入力装置の１つとして、例えばタッチパネルやタブ
レットなどが広く知られている。タッチパネルは、パネ
ル上に対して例えばユーザの指を接触させながら、任意
の方向にスライド操作させるようにして、所要の操作を
行うものである。また、タブレットは、専用のペンの先
端をタブレットの操作面上に対して接触させながら動か
すことで、このペン先の動きに対応した絵や文字などの
画像がモニタ等に描画されるものである。

【０００４】また、コンピュータ化されたホワイトボー
ドとして機能するプロジェクションディスプレイも知ら
れている。このようなプロジェクションディスプレイで
は、例えばユーザが専用の赤外線発光ペンを利用して、
上記ホワイトボード上に対して図形や文字などの描画操
作を行うようにされる。

【０００５】また、「ビデオプレイス」といわれるイン
タラクティブな効果をねらった装置が知られている。こ
のビデオプレイスは、例えばビデオカメラを利用した芸
術性を有する装置とされる。例えばビデオプレイスの鑑
賞者は、ビデオカメラに自身の手あるいはその他の人体
の一部をシルエットとして撮影させる。鑑賞者は、この
撮影画像と例えば他の画像とが合成された何らかの画像
をモニタ装置でみながら自在に手や人体の一部を動かす
ことにより、モニタ装置に表示される画像の反応や変化
を楽しむことができるようになっている。

【０００６】

【発明が解決しようとする課題】ところで、更に拡大さ
れたインタラクティブな入出力環境のもとで描画を行お
うとした場合、上記したようなこれまでの入力装置では
次のような点で限界が見えてくる。タッチパネルやタブ
レットを例に採った場合、ポインティングの操作は概し
て指又は専用のペン等に限定される。また、タッチパネ
ルやタブレットの面上の空間での操作は行えず、操作面
に対して指やペンなどの物理的な操作体をパネル面上に
接触させる必要がある。更に、タッチパネルやタブレッ
トは、その構造上比較的高価なので大型の操作パネルと
しては好適でない。また、タッチパネルやタブレットに
対する操作により得られる描画画像は、通常、タッチパ
ネルやタブレット本体とは別体とされるモニタ装置など
に対して表示されるので、その描画操作が間接的にな
る。また、コンピュータ化されたホワイトボードとして
機能するプロジェクションディスプレイの場合、操作画
面の大型化は容易に実現可能なのであるが、例えば上記
したように赤外線発光ペンなどの特殊なポインティング
デバイスが必要となる点では、上記したタブレットと同
様となる。

【０００７】また、ビデオプレイスの場合には、手や人
体のシルエットを利用して何らかのインタラクティブな
操作を実現するため、この場合にも、その入出力間のイ
ンターフェイスが間接的であり、直接的な操作を望む場
合には機能的に不十分となる。

【０００８】このように、これまでの入力装置ではイン
タラクティブな入出力環境を強化拡大したうえで、描画
を行おうとした場合には様々な障害となる要因が存在す
る。

【０００９】

【課題を解決するための手段】そこで、本発明は上記し
た課題を解決するため、半透明面と、この半透明面側の
方向から入射する所定の波長帯域の光又は電磁波のみを
像として捉える撮像手段と、この撮像手段から入力され
た撮像信号に基づいて半透明面に対して与えられた操作
が反映される検出用画像情報を生成し、この検出用画像
情報に基づいて識別した操作情報に基づいて所要の制御
処理を実行する制御処理手段と、撮像手段が撮像すべき
光又は電磁波の波長帯域を含まない可視光による画像を
上記半透明面に対して投影表示可能に設けられる投影表
示手段とを備え、上記制御処理手段は、操作情報に基づ
いて描画画像を生成する描画画像生成処理と、この描画
画像生成処理によって得られた描画画像が半透明面に投
影表示されるための投影表示手段に対する表示制御とを
実行するように構成することとした。

【００１０】また、半透明面側の方向から入射する所定
の波長帯域の光又は電磁波のみを像として捉える撮像動
作と、この撮像動作により得られる撮像信号に基づいて
半透明面に対して与えられた操作が反映される検出用画
像情報を生成し、この検出用画像情報に基づいて識別し
た操作情報に基づいて実行される所要の制御処理と、撮
像動作として撮像すべき光又は電磁波の波長帯域を含ま
ない可視光による画像を半透明面に対して投影表示動作
と実行させるように構成したもとで描画を行うための描
画方法の構成として、上記した制御処理として、操作情
報に基づいて描画画像を生成する描画画像生成処理と、
描画画像生成処理によって得られた描画画像を上記半透
明面に投影表示させるための表示制御とを実行可能なよ
うに構成することとした。

【００１１】また、半透明面と、この半透明面側の方向
から入射する所定の波長帯域の光又は電磁波のみを像と
して捉える撮像手段と、この撮像手段から入力された撮
像信号に基づいて半透明面に対して与えられた操作が反
映される検出用画像情報を生成し、この検出用画像情報
に基づいて識別した操作情報に基づいて所要の制御処理
を実行する制御処理手段と、撮像手段が撮像すべき光又
は電磁波の波長帯域を含まない可視光による画像を上記
半透明面に対して投影表示可能に設けられる投影表示手
段とを備えた表示装置に用いられる描画用プログラムが
格納される記録媒体に対して、上記制御処理手段に所要
の制御処理を実行させるプログラムとして、操作情報に
基づいて描画画像を生成する描画画像生成処理と、この
描画画像生成処理によって得られた描画画像を半透明面
に投影表示させるための上記投影表示手段に対する表示
制御とを実行可能とするための描画用プログラムを格納
することとした。

【００１２】上記構成によると、例えば半透明面に近づ
いた物理的対象によって撮像手段に入射する光又は電磁
波の状態が変化することになる。本発明ではこのような
光又は電磁波の状態変化を画像情報として捉えることに
なる。そして、このようにして得られる画像情報を操作
情報として扱い、この操作情報に従って描画を行うシス
テムを構築することが可能となる。つまり、半透明面の
付近において、撮像手段により撮像される所定波長帯域
の光又は電磁波の状態に変化を与えることのできる何ら
かの物理的対象を近づけたり動かしたりすることによっ
て操作情報を与えることで描画を行うことが可能とな
る。また、本発明では半透明面が操作パネル及び表示パ
ネルの機能を兼用することになるので、ユーザが半透明
面に対して行った操作により描画される描画画像を直接
半透明面に対して反映させるようにして表示させること
が可能になる。また、本発明において操作パネル及び表
示パネルとして機能するのは単なる半透明面であり、こ
の半透明面としては容易に大型なものを形成することが
できることにもなる。

【００１３】また、上述した描画装置としての構成に対
して、上記撮像手段が受像すべき光又は電磁波を半透明
面に対して定常的に輻射する輻射手段を備えれば、半透
明面に対して行われた操作情報を検出するための媒体が
容易に得られることになる。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態の情報
入力装置について説明する。なお、以降の説明は次の順
序で行う。 ＜１．描画装置の構成及び操作情報の検出動作＞ ＜２．基本的な多角形の描画操作＞ ＜３．四角形に関する描画＞ ＜４．三角形に関する描画＞ ＜５．楕円形に関する描画＞ ＜６．線の変形＞ ＜７．図形の移動操作例＞ ＜８．図形の拡大／縮小操作例＞ ＜９．ホワイトボード機能＞ ＜１０．他の実施の形態としての描画装置の構成＞

【００１５】＜１．描画装置の構成及び操作情報の検出
方法＞先ず、図１〜図６を参照して、本発明の実施の形
態としての描画装置の構成例及び基本的な操作情報の検
出動作について説明する。図１は、本実施の形態として
の描画装置の構成例を概念的に示している。この図に示
す描画装置１は、半透明面２、赤外線発光ダイオード素
子（ＬＥＤ：Light Emitted Diode ）パネル３、ＣＣ
Ｄ(Charge Coupled Device) カメラ４、プロジェクタ
５、及び制御装置６を備えて構成される。赤外線ＬＥＤ
パネル３、ＣＣＤカメラ４、及びプロジェクタ５は半透
明面２の背面側に対して設けられる。

【００１６】半透明面２は、例えば透明なガラス板に対
してトレーシングペーパーのような見え方をする半透明
膜を貼り合わせる、あるいは磨りガラスのような半透明
の性質を有するものを利用するなどして形成され、後述
するようにして当該描画装置１における操作パネルと表
示パネルとの両者の機能を併せ持つ。赤外線ＬＥＤパネ
ル３は、例えばパネル面に対して多数の赤外線ＬＥＤが
集合的に配列されることによって構成され、上記赤外線
ＬＥＤから発光出力される赤外線光が半透明面の背面全
体に対して照射されるように設けられる。上記赤外線Ｌ
ＥＤは制御装置６によって定常的に赤外線を発光するよ
うに駆動される。なお、赤外線ＬＥＤパネル３として
は、発光出力される赤外線光が半透明面２全体に対して
照射されるのに充分な数の赤外線ＬＥＤが設けられれば
よい。また、後述するように、初期の赤外線画像に対す
る現在の赤外線画像の差分に基づいて半透明面２側から
反射してくる画像情報を得るようにされることから、半
透明面２全体に対して照射される赤外線光量が一律であ
るべき必要もない。従って赤外線ＬＥＤパネル３のサイ
ズは、半透明面２よりもはるかに小さいもので済ませる
ことができる。

【００１７】ＣＣＤカメラ４は、撮像素子としてＣＣＤ
を用いたカメラ装置であり、この場合には、半透明面２
に映る画像光として赤外線光の成分のみを撮像すること
により、半透明面２に対して行われた操作を画像情報と
して認識するために設けられる。このため、ＣＣＤカメ
ラ４の光学系の部分に対しては、赤外線領域の波長帯域
のみを透過する赤外線透過フィルタ４ａが設けられる。
また、ＣＣＤカメラ４により撮影される構図として半透
明面２全体が含まれるようにその配置位置が設定され
る。

【００１８】プロジェクタ５は、制御装置６から供給さ
れる画像情報に基づいて、可視光による画像光を半透明
面２の背面に対して投影表示する。例えばユーザは、半
透明面２に投影表示されたプロジェクタ５の画像を、半
透明面２の前面側から観察することができる。ここで、
プロジェクタ５の光学系には赤外線領域の波長を遮断す
る赤外線遮断フィルタ５ａが設けられているが、これに
より、半透明面２に投影表示される画像光には赤外線が
含まれなくなるため、プロジェクタ５の投影画像は、Ｃ
ＣＤカメラ４からは不可視となる。

【００１９】制御装置６は、例えばマイクロコンピュー
タを備えて構成され、ＣＣＤカメラ４から供給される撮
像信号から画像情報（映像データ）を得て、更にこの画
像情報をもとに操作情報を得る。そして、この操作情報
に基づいて、例えばプロジェクタ５により半透明面２に
表示させる画像に関する表示制御を実行する他、各種所
要の制御処理を行う。また、赤外線ＬＥＤパネル３の赤
外線ＬＥＤの発光駆動を行う。なお、上記赤外線ＬＥＤ
パネル３、ＣＣＤカメラ４及びプロジェクタ５の配置位
置は、それぞれが果たすべき役割が充分機能することを
考慮して設定されればよい。また、制御装置６と接続さ
れるプリンタ２０は、後述するようにして半透明面２に
対して表示される描画画像などを印刷出力するために設
けられる。

【００２０】図２は、上記制御装置６の内部構成例を示
すブロック図である。この図に示す制御装置６におい
て、ＬＥＤ駆動部１０は、赤外線ＬＥＤパネル３に設け
られた複数の赤外線ＬＥＤを発光駆動するための回路部
位である。

【００２１】画像入力部１１は、ＣＣＤカメラ４から供
給された撮像信号について所要の信号処理を施すことに
よって映像信号を生成して入力画像処理部１２に供給す
る。つまり、画像入力部１１では、半透明面２側からＣ
ＣＤカメラ４を介して入射してきた赤外線光を映像情報
として出力する。

【００２２】入力画像処理部１２では、例えば画像入力
部１１から供給された映像信号をデジタル信号による映
像信号データに変換する。入力画像処理部１２において
は、この映像信号データに基づいて得られる「画像情報
（例えばフレーム単位の映像データ）」を利用して所要
の解析処理等を実行することで、半透明面２に対して行
われた操作情報を得るようにされる。ここで画像情報に
基づいて得られる操作情報としては、例えば、半透明面
２に対して操作を行っている操作体の画像上の位置（座
標）や画像の信号レベルなどが用いられる。この操作情
報はデータベース駆動部１４に伝送される。また、上記
映像信号データは、画像合成部１７に対しても供給可能
とされている。

【００２３】しきい値制御部１３は、入力画像処理部１
２にて実行される操作情報に関する処理に必要なしきい
値を設定して入力画像処理部１２に伝送する。上記入力
画像処理部１２では、しきい値制御部１３において設定
されるしきい値を利用して画像情報について解析を行う
など所要の処理を実行することで操作情報を得る。ま
た、本実施の形態では後述するようにして入力画像デー
タのフレーム差分を算出することにより、現在の半透明
面２の画像状態（検出画像情報）を得るようにされる
が、フレーム差分演算に利用する基準値（基準画像入力
レベル）等の情報も、後述するようにして、しきい値制
御部１３に格納されるものとする。

【００２４】データベース駆動部１４は、入力画像処理
部１２により得られた操作情報を取り込み、この操作情
報に基づいて適宜所要の処理を実行する。この際、デー
タベース駆動部１４が実行すべき制御処理に必要なプロ
グラムデータはデータベースメモリ１５に格納されてお
り、データベース駆動部１４は、データベースメモリ１
５に格納されたプログラムデータに基づいて所要の制御
処理を実行することになる。本実施の形態では、後述す
る各種描画動作を実現するための描画プログラムがデー
タベースメモリ１４に格納されることになる。

【００２５】画像生成部１６は、データベース駆動部１
４の制御によって、必要な画像データ（デジタル信号に
よる映像信号データ）を生成して画像合成部１７に出力
する。画像合成部１７においては、必要があれば上記画
像生成部１６から供給された映像信号データに対して、
入力画像処理部１２から供給された映像信号データを合
成してＲＧＢ信号生成部１８に対して出力する。ＲＧＢ
信号生成部１８では、上記画像合成部１７から供給され
た映像信号データについて、例えばアナログによるＲＧ
Ｂ信号に変換してプロジェクタ５に対して出力する。こ
れにより、プロジェクタ５からは、半透明面２に対して
行われる操作に応答した映像による画像光が半透明面２
に対して照射出力されることになる。

【００２６】また、本実施の形態においては、制御装置
６に対して画像の印刷を行うためのプリンタ２０を設け
ることができ、これに対応するため、制御装置６内にお
いてはプリンタ制御部１９が設けられる。このプリンタ
制御部１９は、当該制御装置６とプリンタ２０間との通
信を行うために設けられるものであり、ＲＧＢ信号生成
部１８から出力された画像データについて、実際に接続
されたプリンタ２０による印刷が可能な形態のデータに
変換してプリンタ２０に伝送するほか、プリンタ２０の
各種動作を制御するための制御信号を出力する。この制
御信号は例えばデータベース駆動部１４から送信され
る。また、プリンタ２０側から送信されてくるデータ信
号をデータベース駆動部１４に伝送することにより、デ
ータベース駆動部１４ではプリンタ２０の動作状態を監
視する。そして、その動作状態に応じて適宜所要の処理
を実行するようにされる。

【００２７】次に、上記構成による本実施の形態の描画
装置１における操作情報の検出方法について説明する。
前述のように、図１に示す半透明面２全体に対しては、
その背面から赤外線ＬＥＤパネル３により赤外線光が照
射されるのであるが、この赤外線光は半透明面２が半透
明であることから、全ての赤外線光が半透明面２を通過
するのではなく、幾分かの赤外線光が半透明面２の作用
によって反射されることになる。そして、本実施の形態
においては半透明面２に対して何も操作が行われていな
いとされる状態のもとで、半透明面２にて反射される赤
外線光をＣＣＤカメラ４により撮像し、これにより得ら
れる映像信号データの初期レベルを「基準入力画像レベ
ル」として記憶する。この基準入力画像レベルは、入力
された映像信号データに基づいて例えば１フレームにお
ける画素ごとの信号レベルを検出することにより行うよ
うにすればよい。この検出処理は、入力画像処理部１２
により行われるものとされる。このようにして検出され
た基準入力画像レベルの情報はしきい値検出部１３に伝
送され、ここで保持されることになる。

【００２８】上記基準入力画像レベルの検出処理は、例
えば図３のフローチャートに示すものとなる。この図に
示すように、先ず入力画像処理部１２では、ステップＳ
１０１において、ＣＣＤカメラ４から画像入力部１１を
介して供給された映像信号から得られる１フレーム分の
画像データに基づいて、上述のようにして画素ごとに信
号レベルを検出し、この検出結果を基準入力画像レベル
Ｌｉｎｔとして得る。なお、具体的には画素ごとの輝度
信号成分のレベルを検出してこれを基準入力画像レベル
Ｌｉｎｔとすることが考えられる。入力画像処理部１２
は、続くステップＳ１０２において、上記基準入力画像
レベルＬｉｎｔをしきい値制御部１３に伝送して記憶さ
せるように処理を実行する。

【００２９】なお、基準入力画像レベルＬｉｎｔを検出
してしきい値制御部１３に記憶させる処理（上記図３に
示す処理動作）は、例えば当該インタラクティブ表示シ
ステムの電源オン時などに実行させたり、あるいは何ら
かのユーザの指示によって必要なときに基準入力画像レ
ベルＬｉｎｔを更新させるように構成することが考えら
れる。

【００３０】上記のようにして基準入力画像レベルＬｉ
ｎｔの情報が保持された状態のもとで、操作情報として
扱われる画像情報は次のようにして得るようにされる。
図４は、操作情報のもととなる画像情報（以下、この
「画像情報」については特に「検出画像情報」という）
を得るための入力画像処理部１２の処理動作を示すフロ
ーチャートである。この場合、入力画像処理部１２は、
先ずステップＳ２０１において現在の入力画像レベルＬ
ｐｒｓを検出する処理を実行する。ここでいう入力画像
レベルＬｐｒｓは、現在においてＣＣＤカメラ４により
撮像された、赤外線光に基づく半透明面２の画像につい
てのフレーム単位のデータであり、このフレーム単位の
画像データにおける画素ごとの信号レベルを検出して得
られる情報である。続いて、入力画像処理部１２はステ
ップＳ２０２において、基準入力画像レベルＬｉｎｔと
上記現在の入力画像レベルＬｐｒｓの差分を演算する
（Ｌ＝Ｌｐｒｓ−Ｌｉｎｔ）ことによって差分入力画像
レベルＬを算出する。具体的には、基準入力画像レベル
Ｌｉｎｔと上記入力画像レベルＬｐｒｓとして得られた
データ値を、同一位置の画素ごとに差分を求めることに
よって差分入力画像レベルＬを得るようにされる。従っ
て、差分入力画像レベルＬとしては、常に基準入力画像
レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓ
との信号レベル差が画素ごとに得られることになる。そ
して、入力画像処理部１２は、ステップＳ２０３に進
み、上記差分入力画像レベルＬに基づいて、現在の検出
画像情報（フレーム単位で画素ごとのレベル情報を有す
る形式の映像データ）を生成するようにされる。

【００３１】上記のごとき検出画像情報の検出動作を、
実際のユーザの半透明面２の前面側での動きと共に説明
する。例えばユーザは、半透明面２の前面側において赤
外線を反射可能な何らかの物体を利用して半透明面２の
前面側において操作を行うようにするのであるが、ここ
では、説明の簡単のためにユーザ自身の指や身体を用い
ることとする。ここで、例えば図１に示すように半透明
面２の前面側においてユーザが半透明面２から遠く離れ
た距離にいるときには、例えば半透明面２を通過してユ
ーザの身体に反射するとされる赤外線光量は少ないこと
から、そのほとんどが半透明面２の前面から背面を通過
して戻ることはない。このとき、上述した基準入力画像
レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓと
は同等であり、入力画像処理部１２では、差分入力画像
レベルＬとしてほぼ０であると検出することになる。つ
まり、差分入力画像レベルＬに基づいて生成される検出
画像情報としては、初期状態と同様の変化の無いとされ
る状態が得られることになる。

【００３２】ここで、例えば上記の状態からユーザが徐
々に半透明面２に対して近づいていったとすると、半透
明面２を通過してユーザの身体に反射する赤外線光のう
ち、半透明面２を通過して背面側に到達する光量が次第
に増加していくことになる。この状態を、入力画像処理
部１２からみた場合には、ユーザの身体に対応する画像
部分の基準入力画像レベルＬｉｎｔに対する現在の入力
画像レベルＬｐｒｓのレベルが徐々に増加していく状態
として捉えられる。これに応じて、検出画像情報として
は算出される差分入力画像レベルＬに応じて、半透明面
２に接近するユーザの姿が徐々に捉えられていくことに
なる。そして、半透明面２に対して例えばユーザの体が
非常に接近した状態（しきい値の設定にもよるが例えば
半透明面２から３０ｃｍ以内）では、その人体に反射し
た赤外線光がほとんど半透明面２を通過して背面側に到
達することになるので、その身体形状がより鮮明な状態
の検出画像情報が生成されることになる。

【００３３】また、ここでユーザがその身体を半透明面
２からある程度距離を置いた状態で、例えば自身の指を
手前にかざして半透明面２の非常に近い位置においたと
する。この場合、半透明面２に近接するユーザの指は他
の身体部分よりも多くの赤外線光を反射するため、入力
画像処理部１２において得られる画像情報としては、ユ
ーザの指にあたるに位置の画像領域のレベルが強く、そ
の背景となる部分においてユーザの身体部分にあたる位
置の画像領域のレベルは半透明面２からの距離に応じて
弱くなることになる。そして、例えばこの状態のもと
で、しきい値制御部１３にて設定された所定のしきい値
と検出画像情報とを比較すれば、容易にユーザの指にあ
たる部分のみの画像を背景から分離させることが可能で
あり、同様にしきい値の設定によっては、半透明面２か
ら離れた距離にあるユーザの身体部分のみを抽出した画
像情報を得ることも可能である。このようなしきい値
は、前述のように実際に必要とされる条件に応じた値が
しきい値制御部１３において設定されるものである。

【００３４】このようにして、半透明面２の前面側の状
態を検出する構成を採ることにより、この半透明面２を
例えばインタラクティブなインターフェイスのための操
作パネルとして機能させる場合には次のような利点が得
られる。先ず、本実施の形態では半透明面２側からの赤
外線の反射光量によって得られる画像に基づいて操作情
報を得ることになるので、操作を行うための操作体とし
ては、特に特殊なポインティングデバイスを必要とせ
ず、赤外線を反射する物体であればその種類は問わない
ことになる。つまり、操作体としては、上述のように人
体全体もしくはその一部や、その他の何らかの物体を問
題なく使用することができる。

【００３５】また、例えばタッチパネルなどでは操作パ
ネル面に対して指などの操作体を接触させる必要がある
が、本実施の形態の場合には操作体の位置や動きは赤外
線光の反射として検出されればよいことから、半透明面
２に操作体を接触させる必要性はなく、その前面の空間
において操作を行うような方法を採ることができる。

【００３６】また、上述したように赤外線の反射光量
は、操作体の半透明面２に対する距離に応じて変化する
ために、例えば操作体の半透明面２からの距離を操作情
報として利用することも考えられる。

【００３７】更に、半透明面２は前述のように例えば透
明のガラス板などに対してトレーシングペーパーのよう
な半透明の薄膜を組み合わせたり、磨りガラスのような
ものを利用するなどの簡略な手段により構成可能とさ
れ、特にパネルに固有の駆動回路などは不要なので、低
コストで容易に大型化を実現することができ、この点で
大型化が困難なタッチパネルなどとは大きく異なる。そ
して、半透明面２側からの赤外線の反射光により得られ
る画像に基づいて操作情報を得ることで、画像認識さえ
可能であれば複数の操作体を同時に認識して所要の制御
を実行させることが可能である。つまり、複数の異なる
操作対象に対する同時操作が可能となるものであり、特
に半透明面２が大画面として構成される場合には半透明
面２上のいろいろな領域を利用して異なる種類の操作を
同時に行うことができることにもなるので非常に有効と
なる。

【００３８】そして、半透明面２は画像表示パネルとし
ての機能も有することから、例えば後述するように操作
対象となるメニュー画面のようなものを表示させた上
で、ユーザがこのメニュー画面に対して指などにより操
作を行えるようにするなどの直接的な操作を実現するこ
とも容易に可能となる。このように、本実施の形態とし
てのインタラクティブ表示システムでは、その操作情報
を入力するのに多くの可能性が得られるために、これま
でには無かったようなインタラクティブな入出力環境を
容易に構築することができる。

【００３９】次に、上記構成による本実施の形態の描画
装置１の一般的な操作例として、メニュー画面に関する
操作方法例について説明する。図５には、本実施の形態
の描画装置１によりメニュー操作を行う場合が示されて
おり、ここでは半透明面２を前面側からみた状態が示さ
れている。例えばこの図に示すように、ユーザが半透明
面２の前面に近づいたとすると、先ず、描画装置１の制
御装置６では、このときに得られる検出画像情報に基づ
いてユーザが近づいた半透明面２上の位置を認識する。
そして、半透明面２上においてユーザが近づいたと認識
された位置に対して、図のようにメニュー画面Ｍを表示
するように表示制御を行う。このメニュー画面Ｍは当然
のこととしてプロジェクタ５から半透明面２に対して投
影された画像である。そして、ユーザ自身が位置してい
る付近の半透明面２上にメニュー画面Ｍが表示された状
態のもとで、例えばユーザは自身の指を用いて、メニュ
ー画面Ｍにおいて操作項目が表示されている任意の領域
を指さすように指定したとする。このとき、ユーザの指
先は、半透明面２上から３ｃｍ〜３０ｃｍ程度の範囲内
の距離にあるようにされる。

【００４０】これにより、例えばメニュー画面Ｍにおい
ては、ユーザが指し示した操作項目の領域が選択された
ことを示す何らかの指示表示（例えば選択領域に対する
カーソルの配置表示や所定の形態による強調表示など）
が行われることになる。この強調表示のための表示制御
は、検出画像情報に基づいてユーザの指が指し示してい
る領域の座標を検出することにより実現される。ここで
は、上記のようにして指示表示が開始された状態から所
定時間（例えば数秒程度）経過したときにエンター操作
が行われたとみなすこととする。そして、ユーザがエン
ター操作を行った、つまり、特定の操作項目が強調表示
された状態を所定時間以上維持させたとすると、指定さ
れた操作項目に従った所要の制御動作を実行することに
なる。例えば、指定された操作項目に従って、他の階層
のメニュー画面を表示させたり、当該描画装置１に対し
て所望の動作を実行させたりすることになる。あるい
は、当該描画装置１が何らかの外部機器を制御可能に構
成されており、メニュー画面がその外部機器の動作につ
いての操作制御を行うためのものであるとすれば、指定
された操作項目に従って外部機器の動作を制御すること
になる。なお、ユーザが半透明面２の前面から離れてい
き、ユーザと半透明面２との間にある程度以上の距離が
あいた場合には、それまで表示されていたメニュー画面
Ｍは自動的に消去されるものとされる。

【００４１】ここで、図６のフローチャートに、上記図
５に示した操作例に対応して実行される制御装置６の処
理動作を示す。この図に示す処理動作は、主として制御
装置６内の入力画像処理部１２が検出画像情報に基づい
て操作情報を認識すると共に、データベース駆動部１４
がデータベースメモリ１５に格納されたプログラムに従
って、上記操作情報に基づいて適宜処理動作を実行する
ことにより実現されるものである。

【００４２】この図に示すルーチンにおいては、先ずス
テップＳ３０１において現在の検出画像情報から「接近
体」が検出されるか否かについて判別を行う。ここで、
「接近体」とは半透明面２に対して所定の距離範囲まで
接近した何らかの検出対象（図５ではユーザ自身の身体
とされている）をいうものとされる。この「接近体」の
検出は、例えば入力画像処理部１２が検出画像情報と接
近体の検出用に設定されたしきい値（しきい値制御部１
３により設定される）を比較して、例えば検出画像情報
のある領域においてこのしきい値以上の値が得られた場
合には「接近体有り」と検出し、しきい値以上の値が得
られる領域がない場合には、「接近体無し」と検出する
ことになる。上記接近体検出用のしきい値は、例えば通
常、人体（ユーザ）が半透明面２にある程度（例えば数
十ｃｍ）近づいたときに検出画像情報として得られる人
体部分の画像レベルに基づいて設定されればよい。

【００４３】上記ステップＳ３０１において接近体が検
出されなかった場合にはステップＳ３０８に進んで、こ
こで現在メニュー画面Ｍが表示中であるか否かについて
判別が行われ、ここでメニュー画面Ｍが表示されていな
い場合には元のルーチンに戻る（即ち再度ステップＳ３
０１の処理に移行する）が、メニュー画面Ｍが表示中の
状態である場合にはステップＳ３０９に進み、メニュー
画面Ｍを消去するための制御処理を実行する。このメニ
ュー画面Ｍの消去処理は、例えばデータベース駆動部１
４が画像生成部１６に対するメニュー画面Ｍの画像デー
タの生成処理を停止することで実現される。

【００４４】これに対して、ステップＳ３０１において
接近体が検出された場合には、ステップＳ３０２に進ん
で、半透明面２上における上記接近体の位置を検出する
ことが行われる。この処理は、例えば検出画像情報にお
ける接近体の部分が占有する領域の座標を検出すること
で可能となる。この場合、検出すべき座標としては接近
体の領域の所定の一地点であっても、所定規則に従って
求められる複数地点であっても構わなく実際の使用環境
等に応じて任意に設定されればよい。

【００４５】続くステップＳ３０３においては、上記ス
テップＳ３０２にて検出された接近体の位置に応じた半
透明面２の領域に対してメニュー画面Ｍを表示させるた
めの制御を実行する。この制御処理は、例えばデータベ
ース駆動部１４がデータベースメモリ１５に格納されて
いるメニュー画面表示用のプログラムに基づいて、画像
生成部１６において所要の種類のメニュー画面の画像デ
ータが作成されるように制御を行うことになる。この
際、データベース駆動部１４は、ステップＳ３０２にて
検出された接近体の位置に対応する表示領域に対して、
例えばメニュー画面の画像データをマッピングするよう
にして、表示用画像データを作成する。この結果、最終
的にプロジェクタ５から投影される画像としては、半透
明面２におけるユーザが近づいた位置に対してメニュー
画面Ｍが表示されたものとなる。

【００４６】上記ステップＳ３０３の処理が実行された
後は、ステップＳ３０４において、現在表示中のメニュ
ー画面Ｍの操作項目とされる表示領域内において、「操
作体」が検出されたか否かについて判別が行われる。こ
こで、「操作体」とは半透明面２の前面において至近距
離（しきい値の設定にもよるが３ｃｍ〜３０ｃｍ程度）
にある物体（検出対象）のことをいうものとされる。つ
まり、図５においてはメニュー画面Ｍを指し示す指が対
象となる。そして、この「操作体」の検出処理は、先
ず、操作体検出用としてしきい値制御部１３において設
定されたしきい値と、検出画像情報の画像レベルとを比
較することにより、操作体の有無を検出することが行わ
れる。このとき設定されるしきい値としては、半透明面
２の前面において至近距離にある物体を背景から分離し
て検出する必要上、前述した接近体検出用のしきい値よ
りも大きい値が設定される。そして、例えばしきい値と
比較した結果、操作体が検出されたとすれば、その操作
体が検出された検出画像情報上の座標位置を検出し、こ
の検出位置とメニュー画面Ｍが表示されているとされる
画像情報上の位置が一致しているか否かを判別すること
で、現在表示中のメニュー画面の表示領域内における操
作体の有無を検出することになる。

【００４７】上記ステップＳ３０４においてメニュー画
面Ｍの操作項目とされる表示領域内において操作体が検
出されない場合とは、検出画像情報上に操作体が検出さ
れなかった（ユーザが至近距離で半透明面２上を指し示
していないような状態）か、或いは、検出画像情報上に
操作体を検出したとしても、この操作体の検出位置（座
標）がメニュー画面Ｍの表示領域内に対応する画像情報
上の領域に無かった（ユーザが至近距離で半透明面２上
を指し示していた位置がメニュー画面Ｍの操作項目以外
の領域であったような状態）ことになるが、このような
場合にはステップＳ３０１に戻るようにされる。

【００４８】なお、ここで操作体が人体の手又は指に特
定されるような場合には、ステップＳ３０４における操
作体の検出処理として、例えば、データベースメモリ１
５に対して操作時に現れる人体の手又は指の形状の情報
を記憶させておき、この手又は指の形状の情報と、検出
画像情報として得られた画像形状とを比較して、その一
致状態をみて操作体の検出の有無を識別するように構成
することが可能である。本発明では、画像情報から入力
情報を検出するために、検出画像情報に得られる画像の
形状に基づいてもこれを操作情報として認識可能であ
る。

【００４９】ステップＳ３０４においてメニュー画面Ｍ
の操作項目とされる表示領域内において操作体が検出さ
れたと判別された場合には、ステップＳ３０５に進ん
で、操作体が検出された位置に対応するメニュー画面Ｍ
の操作項目について指示表示が行われるように制御を実
行してステップＳ３０６に進む。

【００５０】ステップＳ３０６の処理はエンター操作の
待機処理となる。前述のように、ここでのエンター操作
は、指示表示が開始された状態から所定時間経過したと
きに確定されるものと規定している。そこで、ステップ
Ｓ３０６においては、ステップＳ３０４にて検出された
操作体の検出状態が所定時間以上維持されるか否かにつ
いて検出を行うようにしている。この検出処理は、入力
画像処理部１２において現在の検出画像の状態遷移を監
視することにより行われる。そして、例えば現在の検出
画像情報上から操作体が検出されなくなったり、あるい
は現在の検出画像情報上における操作体の検出位置が、
ステップＳ３０４にて検出されたメニュー画面Ｍの操作
項目とされる表示領域内から外れたことが検出されたよ
うな場合には、ステップＳ３０６からステップＳ３０１
以降の処理に戻ることになる。（この処理により、例え
ばユーザがこれまでとは異なるメニュー画面Ｍ上の操作
項目を指し示すように、その指定位置を変更した場合に
は、新たに指定されたメニュー画面Ｍ上の操作項目に対
して指示表示が行われたりすることになる。）

【００５１】これに対して、ステップＳ３０６におい
て、直前のステップＳ３０４にて検出された操作体の検
出状態が所定時間以上維持されたと判別された場合に
は、エンター操作が行われたものとしてステップＳ３０
７に進む。ステップＳ３０７においては、メニュー画面
Ｍ上において操作体が検出された位置の操作項目に応じ
た所要の制御処理が実行される。この処理は、データベ
ース駆動部１４がデータベースメモリ１５に格納された
プログラムに従って実行することになる。

【００５２】＜２．基本的な多角形の描画操作＞図７
に、本実施の形態の描画装置１による基本的な多角形の
描画方法例を示す。例えば、ユーザが半透明面２の前面
においてある任意の位置を指さすようにして指定するこ
とにより、ここでは、図７（ａ）に示すように半透明面
２のユーザに近い位置に対して描画用メニュー画面Ｍが
表示されるものとする。なお、描画用メニュー画面Ｍ
は、先に図５により説明したようにしてユーザが半透明
面２に接近したときに表示するようにしても構わない
が、ここでは、描画作業時の利便性などを考慮して、ユ
ーザが半透明面２に近接させた指などで位置指定を行う
ことで描画用メニュー画面Ｍが表示されるように規定し
ている。従って、この指定操作は、例えばユーザの指先
が図６において説明した「操作体」として認識されるよ
うに半透明面２に対して操作を行うようにすればよい。
この場合、図７（ａ）に示す描画用メニュー画面Ｍとし
ては、所定種類の図形（例えば線（直線又は曲線）、三
角形、四角形、五角形・・・）を選択するための複数の
項目が提示されているものとする。

【００５３】ここで、例えばユーザが六角形を描画する
ための項目を選択してエンター操作（ここでは図５にて
説明した操作に準ずるものとする）を行ったとする。こ
れにより、次に説明するような操作によって任意の形状
（及びサイズ）による六角形の描画を行うことが可能に
なる。例えばユーザは、半透明面上に対して例えば自身
の指などによって半透明面２上の任意の位置に対して、
自分が描画したい形状の六角形の６つの頂点（ここでは
「端点Ｐｅ」ということにする）を指定する。この際、
端点Ｐｅの指定は１つずつ順に指定するようにしても構
わないが、本実施の形態では前述のように同時に複数の
操作情報を認識可能なので、例えば両手の指を利用して
同時に２つの端点Ｐｅを指定することも可能である。ま
た、端点の確定操作は例えば図５にて説明したエンター
操作に準ずればよい。なお、端点Ｐｅの指定が確定され
るごとにその指定位置に対して端点Ｐｅであることを示
す何らかの指示表示が行われるようにすることが好まし
い。上記のようにして例えば６つの端点Ｐｅが指定され
ると、これらの端点Ｐｅを結ぶようにして直線が表示さ
れ、この結果、例えば図７（ｂ）に示すようにして六角
形の描画が半透明面２に対して行われることになる。

【００５４】上記図７にて説明した多角形の描画動作
は、図８のフローチャートに示す処理動作により実現さ
れる。この処理動作は、制御装置６内の入力画像処理部
１２が検出画像情報に基づいて操作情報を認識すると共
に、データベース駆動部１４がデータベースメモリ１５
に格納された描画プログラムに従って、上記操作情報に
基づいて適宜処理動作を実行することにより実現され
る。

【００５５】この図に示すルーチンにおいては、先ずス
テップＳ４０１において描画モードとしての所定の初期
画面（例えば方眼を表示すること等が考えられる）が半
透明面２に対して表示されるように制御を実行する。例
えば初期画面としてのデータはデータベースメモリ１５
における描画プログラム内のデータとして格納されてお
り、この初期画面データに基づいて画像生成部１６によ
り作成した画像データをプロジェクタ５により投影表示
させるように、データベース駆動部１４が制御を実行す
ることで実現される。

【００５６】続くステップＳ４０２においては、半透明
面２に対して近接している操作体（図６参照）が検出さ
れたか否かについて判別を行っており、ここで操作体が
検出されたのであればステップＳ４０３に進んで描画用
メニュー画面（図形種類選択用）Ｍを表示させるための
制御を実行する。これに対して、ステップＳ４０２にお
いて操作体が検出されないのであればステップＳ４１１
に進み、描画用メニュー画面Ｍが現在表示中であればこ
の画面を消去してステップＳ４０１に戻る。なお、描画
用メニュー画面Ｍが現在表示中でなければステップＳ４
１１においては特に処理を実行せずにステップＳ４０１
に戻るようにされる。

【００５７】ステップＳ４０３において描画用メニュー
画面Ｍを表示出力させた後は、ステップＳ４０４におい
て、描画用メニュー画面Ｍ上に対して図形種類選択のた
めの操作が検出か否かが判別される。このときの検出処
理としては、例えば、図６のステップＳ３０４〜Ｓ３０
６の処理に準ずればよい。ステップＳ４０４において、
図形種類選択のための項目に対する選択操作が検出され
なかった場合にはステップＳ４０２に戻ることになる
が、何らかの１つの項目が選択された場合にはステップ
Ｓ４０５に進み、選択された項目に対応する多角形（ｎ
角形）についての描画モードを設定する。

【００５８】続くステップＳ４０６においては、図７に
て説明した端点Ｐｅの指定操作を待機しており、端点Ｐ
ｅの指定操作があったと判別された場合にはステップＳ
４０７に進んで、上記ステップＳ４０６において指定さ
れた端点Ｐｅの確定操作が行われたか否かについて判別
を行う。ここでは、端点Ｐｅ指定操作の確定の判別は図
６に示したステップＳ３０６の処理に準ずるものとす
る。ステップＳ４０７において端点確定操作があったと
判別された場合には、ステップＳ４０８に進んで、確定
された端点Ｐｅの位置（座標）情報を保持してステップ
Ｓ４０９に進む。なお、ステップＳ４０８において、例
えば確定された端点Ｐｅが対応する半透明面２上の位置
に対して端点Ｐｅが指定されたことを示す投影表示がプ
ロジェクタ５により行われるための処理を実行させるこ
とも考えられる。ステップＳ４０９においては、これま
で確定された端点Ｐｅの数がｎ個に達したか否かが判別
され、未だ確定された端点Ｐｅの数がｎ個に満たないと
判別された場合にはステップＳ４０６の処理に戻るが、
確定された端点Ｐｅの数がｎ個に達したと判別された場
合には、ステップＳ４１０に進む。

【００５９】ステップＳ４１０においては、その位置
（座標）情報が確定されたｎ個の端点Ｐｅに基づいて、
これらｎ個の端点Ｐｅを結ぶようにして形成されるｎ角
形の画像を生成（例えば画像生成部１６を利用する）
し、このｎ角形の描画図形が半透明面２に対して投影表
示されるようにするための制御を実行する。この際、半
透明面２に対して表示されるｎ角形の描画図形は、実際
にユーザが半透明面２に対してその位置を指定した端点
Ｐｅを結ぶようにしてその見た目が表示されるように、
その表示位置やサイズを設定することになる。

【００６０】また、図９には、ユーザの指先による半透
明面２に対する操作を、一般の描画プログラムアプリケ
ーションにおけるペンツールとして用いる場合が示され
ている。つまり、ユーザが指先を半透明面２に近接させ
た状態で任意に半透明面２上で指先を動かせると、この
指先の動きに従って半透明面２上に対して、線状の描画
図形ＤＲが表示されることになる。この描画動作の実現
のための処理動作に関する詳しい説明は省略するが、制
御部６のデータベース駆動部１４において、操作情報と
して逐次検出される指先の位置（座標）情報に基づい
て、線状の描画図形ＤＲを形成するための処理を行うと
共に、この線状の描画図形ＤＲが、ユーザの指先の移動
位置に追随して描画されるように表示させるための表示
制御を実行することで実現される。

【００６１】＜３．四角形に関する描画＞次に、本実施
の形態の描画装置を利用して実現することのできる、四
角形に関する描画動作について説明する。図１０は、四
角形の描画操作を示している。例えばユーザは、図１０
に示すように両手の親指と人差し指とを開いて任意の指
開き角度Ａｆｉｎ１（右手），Ａｆｉｎ２（左手）を形
成して、半透明面２の前面の近接した位置に対してあて
がうようにして配置する。このとき、描画装置１側にお
いては、両手それぞれの親指と人差し指の付け根あたり
の位置を描画すべき四角形の対角点Ｐｏａ１，Ｐｏａ２
として認識する。また、両手の各上記指開き角度Ａｆｉ
ｎは、上記対角点Ｐｏａ１，Ｐｏａ２を含む頂角の内角
の大きさとして認識される。例えば、この状態でユーザ
が一定時間以上、上記した両手の状態を維持したとする
と、これがエンター（確定）操作として認識され、半透
明面２に対して上記対角点Ｐｏａ１，Ｐｏａ２と、指開
き角度Ａｆｉｎ１，Ａｆｉｎ２に基づいてその形状及び
サイズが決定される四角形の描画図形ＤＲが描画される
ことになる。このとき、半透明面２に対してユーザが指
定したとされる対角点Ｐｏａ１，Ｐｏａ２の位置と、実
際に半透明面２に表示される四角形の描画図形ＤＲの対
角点が一致するようにされる。

【００６２】例えば四角形を描画するモードが選択され
た場合には、図７に示すようにして端点Ｐｅを逐一指定
する方法の他に、上記図１０のようにして四角形を描画
することが可能とされる。このような描画方法が可能と
されるのは、本実施の形態の描画装置において操作情報
のもととなる情報が、画像情報（検出画像情報）である
ことから、１対の対角点を同時に認識可能であること
と、手の形状自体の画像情報から、指開き角度Ａｆｉｎ
１，Ａｆｉｎ２を四角形の頂角として検出可能であるこ
とに依る。

【００６３】また、本実施の形態では、例えばユーザが
自身の手などによって操作を行うことで、既に半透明面
２に対して表示されている描画図形ＤＲに対して、移
動、回転、拡大／縮小などを行うことが可能である。図
１１（ａ）には既に長方形の描画図形ＤＲが半透明面２
に対して表示されている状態が示されている。ここで、
例えば所定のメニュー画面などに対する指定操作によっ
てユーザが描画図形の移動モードを選択したとする。こ
の移動モードのもとで、例えば図１１（ａ）に示すよう
に描画図形ＤＲの対角点Ｐｏａ１，Ｐｏａ２をつかむよ
うなイメージでユーザが半透明面２に近接した位置で両
手を配置したとする。そして、ほぼこの両手の位置関係
を保ったまま、任意の方向に移動するように操作する
と、図１１（ｂ）に示すように両手の動きに対角点Ｐｏ
ａ１，Ｐｏａ２の位置が追従するようにして長方形の描
画図形ＤＲが移動することになる。つまり、ユーザは半
透明面２に表示された長方形の描画図形ＤＲをあたかも
実際に掴むかのようなイメージで、図形の移動を行うこ
とができる。

【００６４】同様に、描画画像ＤＲを回転させたい場合
には、所要のメニュー操作などによって回転モードとし
たうえで、図１１（ｃ）に示すようにして長方形の描画
図形ＤＲの対角点Ｐｏａ１，Ｐｏａ２をつかむようにし
て回転の操作を行うようにされる。また、例えば拡大／
縮小モードにおいては、長方形の描画図形ＤＲの対角点
Ｐｏａ１，Ｐｏａ２をつかむようにして、その対角線方
向に両手の距離を延ばしたり縮めるようにして操作を行
うことで、図１１（ｄ）に示すように長方形の描画図形
ＤＲの拡大／縮小が行えるように構成される。

【００６５】続いて、上述した四角形に関する描画動作
を実現するための処理動作について図１２〜図１５のフ
ローチャートを参照して説明する。なお、これらの処理
は、データベース駆動部１４がデータベースメモリ１５
に格納された描画プログラムに従って所要の処理を実行
することにより実現される。

【００６６】図１２には、図１０に示した四角形の描画
動作を実現するための処理動作が示されている。例え
ば、四角形描画モードとされると、先ずステップＳ５０
１において対角点Ｐｏａ１，Ｐｏａ２の指定操作を待機
する。このためには、例えば、描画プログラムとして図
１０に示すような親指と人差し指を開いたような手の形
状を記憶させておき、検出画像情報において、このよう
な手の形状とされる画像が２ヶ所検出され、例えばこの
画像状態が所定時間以上保たれたときに、この手の形状
における親指と人差し指の根本とされる位置（座標）を
対角点Ｐｏａ１，Ｐｏａ２として検出するように構成す
ればよい、ステップＳ５０１において対角点Ｐｏａ１，
Ｐｏａ２が検出されると、ステップＳ５０２に進み、上
記手の形状における親指と人差し指の開き具合から指開
き角度Ａｆｉｎ１，Ａｆｉｎ２を検出する。これは、例
えば画像情報として得られた親指と人差し指の延びた各
方向に沿って２本の直線を仮想し、この２つの仮想直線
により形成される角度を求めることにより指開き角度Ａ
ｆｉｎ１，Ａｆｉｎ２の各々の検出が可能となる。

【００６７】続くステップＳ５０３においては、指定さ
れた対角点Ｐｏａ１，Ｐｏａ２の位置（座標）と指開き
角度Ａｆｉｎ１，Ａｆｉｎ２に基づいて、画像生成部１
６を利用して四角形の描画画像ＤＲの描画処理を実行す
る。この画像生成部１６で作成された描画画像ＤＲは、
画像合成部１７、ＲＧＢ信号生成部１８を介することに
よって、プロジェクタ５に供給されることで、図１０に
示したようにして半透明面２に対して表示が行われるこ
とになる。

【００６８】図１３には、図１１（ａ）→図１１（ｂ）
に示した移動モード時の処理動作が示されている。例え
ば所定のメニュー画面に対する操作などによって移動モ
ードが設定されると、データベース駆動部１４は、ステ
ップＳ６０１において対角点Ｐｏａ１，２の指定操作を
待機する。つまり、現在表示中である四角形の描画画像
ＤＲの対角点にほぼ一致するとされる座標位置に対し
て、操作体（ここではユーザの手となる）が検出された
か否かが判別される。ここで、ユーザによる対角点Ｐｏ
ａ１，２の指定操作があったことが判別されると、以降
の対角点Ｐｏａ１，２の移動状態を監視し、ステップＳ
６０２→Ｓ６０３の処理として、逐次、対角点Ｐｏａ
１，２の移動に応じて、その移動方向情報Ｄｍｖと、移
動量情報Ｑｍｖを検出する。そして、この移動方向情報
Ｄｍｖと、移動量情報Ｑｍｖとに基づいて四角形の描画
図形ＤＲについて移動が行われるように画像生成部１６
において移動された図形の画像を生成すると共に、この
画像が半透明面２に対して投影表示されるように制御を
実行する。

【００６９】続いて、図１４に回転モード時（図１１
（ａ）→図１１（ｃ））の処理動作を示す。四角形の描
画画像ＤＲについての回転モード時においては、ステッ
プＳ７０１において対角点Ｐｏａ１，２の指定操作を待
機し、ここで、対角点Ｐｏａ１，２の指定操作があった
ことが判別されると、次のステップＳ７０２において、
指定された対角点Ｐｏａ１，２の移動に応じて描画図形
の回転角情報Ａｔｕｒを設定する。そして、続くステッ
プＳ７０３において、上記ステップＳＳ７０２により求
められた回転角情報Ａｔｕｒだけ回転された四角形の描
画図形ＤＲの描画処理と、この回転された四角形の描画
図形ＤＲをプロジェクタ５により半透明面２に対して投
影表示するための制御を実行する。

【００７０】図１５は、四角形の描画画像ＤＲについて
の拡大／縮小モード時（図１１（ａ）→図１１（ｄ））
の処理動作を示している。この場合も、先ずステップＳ
８０１において対角点Ｐｏａ１，２の指定操作を待機し
ており、対角点Ｐｏａ１，２の指定操作があったことが
判別されると、ステップＳ８０２に進んで対角点Ｐｏａ
１，２の移動に応じて拡大／縮小率Ｒｔを設定する。そ
して、続くステップＳ８０３において、上記拡大／縮小
率Ｒｔに基づいて拡大又は縮小した四角形の描画画像Ｄ
Ｒを描画する処理と、この拡大又は縮小された描画画像
を半透明面２に対して投影表示するための制御を行うよ
うにされる。

【００７１】＜４．三角形に関する描画＞次に、本実施
の形態の描画装置を利用して実現することのできる、三
角形に関する描画動作について説明する。図１６（ａ）
には、本実施の形態としての三角形の描画操作例が示さ
れている。例えば、所定の操作によって三角形の描画モ
ードとしたうえで、ユーザは、四角形の描画の場合と同
様に、両手の親指と人差し指の間に所望の角度（指開き
角度Ａｆｉｎ１，Ａｆｉｎ２）を与えると共に、この場
合には、両手の親指と人差し指の付け根の位置が、例え
ば描画すべき三角形の底辺の両端（端点Ｐｅ１，Ｐｅ
２）となるようにして、その両手を半透明面２上に配置
する。これにより、半透明面２上には図１６（ａ）に示
すように、ユーザが指定した三角形の底辺の両端の位置
と、ユーザが与えた指開き角度Ａｆｉｎ１，Ａｆｉｎ２
により決定された三角形の底辺の両端の角度に従って得
られる形状及びサイズによる三角形の描画画像ＤＲが描
画されるようにして表示されることになる。

【００７２】そして、例えば上記のようにして描画され
た三角形の描画画像ＤＲを移動、回転、又は拡大／縮小
するようなときは、移動モード、回転モード、及び拡大
／縮小モードのうちから適宜所望のモードを選択して設
定したうえで、例えば、図１６（ｂ）に示すようにし
て、三角形の描画図形ＤＲの底辺の両端に相当する端点
Ｐｅ１，Ｐｅ２を掴むようなイメージで、前述した四角
形の描画図形ＤＲのときのようにして両手を半透明面２
上で移動させるような操作を行うようにすればよい。

【００７３】なお、図１６（ａ）（ｂ）により説明した
三角形の描画モード時の処理、及び移動モード、回転モ
ード、拡大／縮小モード時の処理動作は、先に図１２〜
図１５に示した四角形の描画画像ＤＲについての処理に
準ずることにより実現可能であることからここでは詳し
い説明は省略するが、三角形の描画画像ＤＲについての
処理時には、対角点Ｐｏａ１，２の代わりに、三角形の
底辺の両端に対応する端点Ｐｅ１，Ｐｅ２の指定操作に
ついて検出を行うことになり、また、指開き角度Ａｆｉ
ｎ１，Ａｆｉｎ２は三角形の底辺の両端の角の大きさと
して扱われることになる。

【００７４】＜５．楕円形に関する描画＞図１７（ａ）
には、本実施の形態における楕円形についての描画動作
例が示されている。楕円形を描画するのに当たっては、
これまでの多角形の描画操作と同様に、両手の親指と人
差し指の間に所望の指開き角度Ａｆｉｎ１，Ａｆｉｎ２
を与えながら半透明面２上に配置するようにされるが、
この場合には、両手の親指と人差し指の付け根の位置
（端点Ｐｅ１，Ｐｅ２）は描画すべき楕円形の長径又は
短径のの両端として認識されるものとする。また、上記
指開き角度Ａｆｉｎ１，Ａｆｉｎ２は、描画すべき楕円
形の曲率の情報として扱われるように処理が行われる。
なお、上記端点Ｐｅ１，Ｐｅ２が、楕円形の長径又は短
径の両端の何れとして設定されるのかについては、上記
指開き角度Ａｆｉｎ１，Ａｆｉｎ２の角度に依るものと
する。そして、描画された楕円形の描画画像ＤＲを移
動、回転、又は拡大／縮小するようなときは、これまで
の多角形の場合と同様に、移動モード、回転モード、及
び拡大／縮小モードのうちから所望のモードを選択し、
図１７（ｂ）に示すようにして、楕円形の描画図形ＤＲ
の長径の端部とされる位置を端点Ｐｅ１，Ｐｅ２として
ここを掴むようなイメージで両手を半透明面２上で移動
させるような操作を行うようにされる。なお、上記楕円
形に関する描画、移動、回転、拡大／縮小モード時の処
理も、図１２〜図１５に示した四角形の描画画像ＤＲに
ついての処理に準ずることにより実現可能であり、この
場合には、端点Ｐｅ１，Ｐｅ２を楕円形の長径の端部と
して扱うと共に、指開き角度Ａｆｉｎ１，Ａｆｉｎ２に
基づいて設定した曲率に従って楕円形を描画することに
なる。

【００７５】＜６．線の変形＞これまでは、四角形、三
角形などの多角形に関する描画処理及び曲線に関する描
画処理を行う場合について説明したが、次に、本実施の
形態の描画装置により曲線を変形する場合について説明
する。図１８には、曲線を変形させるための操作例が示
されている。例えば図１８（ａ）に示すように曲線の描
画図形ＤＲが表示されている状態で、所定の操作によっ
て変形モードを設定したとする。そして、ユーザはこの
図に示すように、例えば自身の手のひらを開くと共に指
を閉じた状態で、曲線（描画図形ＤＲ）上の任意の位置
に対応させて配置する。図１８（ａ）においては、両手
のひらがほぼ曲線の描画図形ＤＲの両端に配置された状
態が示されているが、この状態では、手のひらのほぼ中
心位置が、端点Ｐｅとして認識されることになる。曲線
の変形処理の場合、この端点Ｐｅは、曲線を変形させる
際に基準となる移動位置を指定するポイントであり、変
形後の曲線は必ず移動操作後の端点Ｐｅの位置を通過す
るものとされる。また、このときには、手の指が延びた
方向に沿って仮想的に基準接線Ｌが設定される。このと
き、ユーザにとっては、半透明面２上に表示されている
曲線（描画図形ＤＲ）の両端を掴んだようなイメージを
持つことになる。

【００７６】例えば、図１８（ａ）に示す状態から、ユ
ーザはあたかも曲線（描画図形ＤＲ）を撓ませるような
イメージで自身の両手を図１８（ｂ）に示すようにして
動かしたとする。この場合、手のひらのほぼ中心位置と
して認識される端点Ｐｅ，Ｐｅは、ユーザの手の動きに
応じて移動するものとされ、また、基準接線Ｌ，Ｌも同
様にユーザの手の動きに応じて変化することになる。こ
のようにして操作が行われると、半透明面２に対して表
示される曲線は、ユーザの手の動きに追従するようにし
て撓むようにして変形されていくものとされる。

【００７７】上記図１８に示す操作による曲線の変形処
理のための処理動作について図１９のフローチャートを
参照して説明する。この処理は、データベースメモリ１
５に格納されたプログラムに基づいてデータベース駆動
部１４が実行するものである。曲線の変形処理モードに
おいては、先ずステップＳ９０１において、操作体が検
出されることを待機している。この場合の操作体の検出
とは、例えば図１８に示すような指を閉じながら延ばし
た状態の手のひらの形状が検出画像情報として認識され
ることをいう。なお、たとえ上記のような状態の手のひ
らの形状が検出されたとしても、その検出位置が描画表
示された曲線上にないような場合には、操作体としては
認識しないものとする。また、手のひら形状であること
の識別は、例えばデータベースメモリ１５に格納された
手のひら形状を示すデータと、検出画像情報として得ら
れた画像の形状との一致状態を識別するようにすればよ
い。そして、ステップＳ９０１において操作体が検出さ
れた場合にはステップＳ９０２に進み、端点Ｐｅの位置
Ｐｏｓを検出すると共に、検出された手のひら形状の指
に沿った方向を識別することにより基準接線Ｌの傾きＧ
ｒｄを算出する。

【００７８】続いて、ステップＳ９０３においては、上
記ステップＳ９０２において算出された端点Ｐｅの位置
Ｐｏｓ及び基準接線Ｌの傾きＧｒｄに基づいて、曲線上
（描画画像ＤＲ）に対して所定規則に従って設定された
複数地点の法線を変更するための演算処理を実行する。
そして、ステップＳ９０４において、上記ステップＳ９
０３により得られた演算結果に基づいて曲線を変形する
ための描画処理を実行すると共に、変形された曲線を図
１８（ｂ）に示すようにして表示させるための制御を実
行することになる。なお、この図には示さないが、例え
ば途中で所定のメニュー操作等を行えば曲線の変形処理
モードを抜けることができるようにされている。

【００７９】＜７．図形の移動操作例＞また、本実施の
形態の描画装置としては、次のようにして半透明面２に
対して表示された画像や図形を移動させることも可能で
ある。図２０（ａ）には、一例として飛行機を描いた描
画画像ＤＲが表示されている。なお、ここでの描画画像
は特にユーザの操作により描画されたものに限定され
ず、例えば単にデータベースメモリ１５に格納されてい
るサンプルのような画像データに基づいて表示されるも
のであっても構わない。ここで、所定の操作によって表
示画像の移動モードが設定されている状態で、例えば図
２０（ａ）に示すように、半透明面２において描画画像
ＤＲが表示されているほぼ正面位置にユーザ自身が近づ
き、ここから、図２０（ｂ）に示すように、ユーザ自身
が半透明面２の前で移動したとする。この場合には、こ
のユーザ自身の身体の画像を移動のための位置指定情報
として扱うことにより、ユーザの半透明面２の前面での
左右方向への動きに追従するようにして、描画画像ＤＲ
が移動するように表示されるものである。

【００８０】＜８．図形の拡大／縮小操作例＞また、本
実施の形態においては、図２１（ａ）（ｂ）に示すよう
な操作によっても図形の拡大／縮小を行わせることが可
能である。例えば図２１（ａ）には、ユーザが半透明面
２の前で両腕を広げたり閉じたりする動作を行うこと
で、これに応答して半透明面２に対して表示された描画
画像ＤＲが拡大又は縮小されるという操作形態が示され
ている。図２１（ｂ）には、ユーザが半透明面２に近づ
くと描画図形ＤＲが拡大表示され、遠ざかると描画図形
ＤＲが逆に縮小されるという操作形態が示されている。
ここでは、フローチャートなどによる詳しい処理動作の
説明は省略するが、図２１（ａ）の場合には、制御装置
６において検出画像情報に基づいて人体の腕の開閉状態
が認識可能なように構成し、この腕の開き方の度合いを
拡大／縮小率に変換して画像処理を行うようにすればよ
い。また、図２１（ｂ）の場合であれば、前述のように
半透明面２からの距離に応じて検出画像情報として得ら
れる検出対象（ここでは人体とされる）の部分の画像レ
ベルが変化することを利用して、この画像レベルの変化
を拡大／縮小率に変換してやればよいことになる。な
お、図２１（ａ）（ｂ）において表示される画像も特に
ユーザが描画したものには限定されることなく、予め用
意された画像データを利用して表示されたものであって
も構わない。また、実際の利用形態としては、例えば地
図などを表示させ、所定の操作によって拡大／縮小中心
位置を決定した上で、上記図２１（ａ）（ｂ）の何れか
に示すような操作を行うことにより、地図上における任
意の領域を拡大／縮小表示させることなどが考えられ
る。

【００８１】＜９．ホワイトボード機能＞また、これま
で説明してきた本実施の形態の描画装置を、例えば会議
や教育などの現場や掲示板等として用いられるホワイト
ボードとして利用することが考えられるが、この場合に
は、次のような機能を与えることが考えられる。図２２
は、ホワイトボードの文字書き込み面として機能する半
透明面２が示されている。なお、この図には示さない
が、例えば半透明面２の背面側では図１に示した各装置
が配置されているものとする。図１に示した本実施の形
態の描画装置の構成では、例えばデータベースメモリに
格納されている画像データを利用して半透明面２に対す
る投影表示を行わせることが可能とされるが、図２２に
はこのような機能を応用した利用例が示されている。例
えば、図２２（ａ）には、ユーザが半透明面に対して、
例えば指や何らかのペン形状の物理対象等を用いてフリ
ーハンドにより描画図形ＤＲを描いた状態が示されてい
る。ここでは、フリーハンドではあるが描画図形ＤＲと
して四角形が描かれたものとする。なお、フリーハンド
でなくとも、先に図７や図１０に示した操作方法によっ
て四角形を描画しても構わない。この場合、制御装置６
においてホワイトボードである半透明面２に対して四角
形が描画されると認識した場合、半透明面２に対して所
定の操作内容に従ったメニュー画面を表示するようにさ
れている。これにより、四角形が描画された場合には、
図２２（ｂ）に示すように所定内容のメニュー画面Ｍが
表示されることになる。なお、このときには、例えばユ
ーザ四角形の描画図形ＤＲを描画した位置に対応してメ
ニュー画面Ｍが表示されるようにすることができる。ま
た、メニュー画面Ｍが表示された段階では図２２（ａ）
に示す描画図形ＤＲは消去されればよい。

【００８２】図２３は、上記図２２に示したメニュー画
面呼び出し動作を実現するための制御装置６の処理動作
を示すフローチャートである。なお、この場合には、ホ
ワイトボードの描画動作として、少なくとも図９により
説明したように、ユーザがポインティングした位置に対
応して線を描画することができるように構成されている
ものとする。このルーチンにおいては、先ずステップＳ
１００１において何らかの描画図形が描画されるのを待
機しており、描画が行われたと判別されると、ステップ
Ｓ１００２において描画された図形の形状を識別するこ
とが行われる。そして続くステップＳ１００３におい
て、識別された描画図形の形状がメニュー画面表示を呼
び出すのに適合する四角形であるか否かが判別される。
なお、ここでは描画図形の四角形であるか否かを判別す
る単なる形状判別に加えて、例えばメニュー画面表示を
呼び出すのには所定以上の面積を有する四角形が要求さ
れるものと規定されているような場合には、描画図形が
四角形であることとその面積が所定以上であることの２
つの要件を満たした場合に肯定結果が得られるように構
成されることになる。また、描画画像がフリーハンドに
より描かれたものである場合には、厳密には四角形とは
いえない場合のことのほうが多いが、ある程度の曲率に
よる曲線や直線の屈曲率は直線として見なすように処理
を実行することで、四角形として認識できるようにすれ
ばよい。そして、ステップＳ１００３において肯定結果
が得られたのであればステップＳ１００４に進み、所定
のメニュー画面を表示させるための処理を実行する。こ
の際、例えば表示制御として四角形の描画画像ＤＲが描
かれた位置にほぼ対応するようにしてメニュー画面Ｍを
表示させたり、更には、ある程度の所定範囲内であれ
ば、四角形の描画画像ＤＲが描かれたサイズにほぼ対応
するサイズによりメニュー画面を表示させるように構成
することも可能である。

【００８３】一般のホワイトボードでは、例えばマーカ
ーペンなどにより文字や絵を描くと共に、白板ふきなど
の道具を利用して既に描かれた文字や絵を消去すること
が行われているが、本実施の形態の描画装置をホワイト
ボードとして機能させる際には、次のようにして同様の
ことを行うことが可能である。

【００８４】例えば、図２４（ａ）に示すように、ユー
ザが描画用ペンＰｅｎを利用してホワイトボード（半透
明面２）上に文字等を書き込むような操作をしたとす
る。この場合、描画用ペンＰｅｎのペン先は、検出画像
情報として画像による検出が行われたときに、その画像
領域として予め設定されたしきい値よりも小さくなるよ
うなサイズであるものとされる。そして、このような所
定のしきい値よりも小さいとされる操作体が検出された
場合には、この操作体により指定される位置に従って例
えば線による描画を行っていくようにされる。これによ
り、描画用ペンＰｅｎのペン先の軌跡に従って、線状の
描画画像として文字等が表示されることになる。図２４
（ａ）では、ユーザが描画用ペンＰｅｎを用いたことに
より、何らかの文字等が半透明面２上に書き込まれたか
のようにして表示された状態を「〇〇〇〇〇〇〇」によ
り表している。なお、本実施の形態においては、赤外線
を反射可能な物理対象であれば操作体の種類は問わない
ので、上記描画用ペンＰｅｎとしては単にペン形状を有
するような個体であればよいことになる。従って、上記
しきい値さえ満足すれば当然のこととして描画用ペンＰ
ｅｎの代わりにユーザの指等を用いることも可能であ
る。

【００８５】そして、半透明面２（ホワイトボード）に
対して描かれた内容を消去するには、例えば図２４
（ｂ）に示すように、検出画像情報として検出されたと
きにその画像領域が所定のしきい値を越えるようなサイ
ズの消去板Ｅｒを用意する。この消去板Ｅｒも、描画用
ペンＰｅｎと同様に赤外線を反射可能で、かつ、上記し
きい値を越えて画像として検出されるだけのサイズを有
するような物理対象であればよい。従って、所定のしき
い値さえ上回るサイズであれば、例えばユーザ自身の手
のひらを消去板Ｅｒの代わりに用いてもよい。そして、
例えばユーザが消去板Ｅｒを用いて、半透明面２上をな
ぞるように動かしたとすると、消去板Ｅｒの軌跡となる
領域においては、これまで描かれた文字や絵が消去さ
れ、所定の初期画像が表示されることになる。例えば、
初期画像として非表示の状態が設定されていたのであれ
ば、消去板Ｅｒでなぞられた半透明面２上の部分は非表
示となる。また、例えば初期画像として地図などが表示
され、その地図上に対してユーザにより描かれた文字や
絵が表示されているような状態では、消去板Ｅｒでなぞ
った文字や絵が消去されて元の地図の画像が表示される
ことになる。

【００８６】図２５は、上記図２４にて説明した操作を
実現するための処理動作を示すフローチャートである。
このルーチンにおいては、先ずステップＳ１１０１にお
いて操作体が検出されるのを待機しており、ここで操作
体が検出されたのであれば、ステップＳ１１０２に進ん
で、上記操作体のサイズ（面積）Ｓが所定のしきい値ａ
よりも小さいか否かについて判別を行う。このしきい値
ａは、描画用のポインタ（描画用ペンＰｅｎ又は指）と
しての操作体を検出するために設定された値とされる。
そして、ステップＳ１１０２において肯定結果が得られ
た場合には、操作体は描画用のポインタであるとして、
ステップＳ１１０３に進み、操作体の検出位置（座標）
の移動に追随するようにして半透明面２の領域に対して
描画が行われていくように処理を実行することになる。

【００８７】これに対して、ステップＳ１１０２におい
て否定結果が得られた場合には、ステップＳ１１０４に
おいて、操作体のサイズＳがしきい値ｂよりも大きいか
否かについて判別が行われる。このしきい値ｂは、消去
用のポインタ（消去板Ｅｒもしくは手のひらなど）とし
ての操作体を検出するためのものとされる。ここで、否
定結果が得られた場合にはこのルーチンを抜けることに
なるが、ステップＳ１１０２及びＳ１１０４にて否定結
果が得られる場合とは、その操作体のサイズが描画用ポ
インタと消去用ポインタの何れのサイズにも該当しない
場合であり、この場合には特に描画処理も消去処理も実
行しないようにされる。ただし、しきい値ａ，ｂに同一
の値が設定されていれば、検出された操作体は描画用ポ
インタか消去用ポインタの何れかとして必ず認識される
ことになる。ステップＳ１１０４において肯定結果が得
られた場合には、検出画像情報内において操作体が検出
された領域については初期画像を表示するように制御を
行う。つまり、見かけ上は消去用ポインタがなぞった半
透明面２の部分において描画画像が表示されていれば、
これが消去される代わりに初期画像が表示されることに
なる。

【００８８】＜１０．他の実施の形態としての描画装置
の構成＞ところで、本実施の形態の描画装置としては、
図１に示す構成から赤外線ＬＥＤパネル３を省略するこ
とも可能である。たとえば、本発明に基づく描画装置を
屋外などの外光の強い環境で使用する場合、たとえば日
中の自然光に含まれる赤外線が強いために、図１に示す
ような赤外線ＬＥＤパネル３から照射される赤外線光を
操作情報検出用の光源とする構成では、赤外線ＬＥＤパ
ネル３から照射される赤外線光の強度が自然光に含まれ
る赤外線に対して相対的に弱まるので、場合によっては
適切な操作情報の検出が行われない（つまり操作情報を
認識可能な適正な検出画像情報が得られない）可能性が
ある。そこで、このような場合には、赤外線ＬＥＤパネ
ル３を省略し、その代わりに自然光に含まれる赤外線光
を操作情報検出用の光源として利用することができる。
この場合、検出画像情報を得るために必要な基準入力画
像レベルＬｉｎｔは、例えば接近体及び操作体等の検出
対象が無い（半透明面２に対して何の操作も行われてい
ない）とされる状態のもとで、その前面側から半透明面
２を透過してＣＣＤカメラ４において撮像される撮像信
号から得た画像情報に基づいて検出するようにされる。

【００８９】そして、例えば半透明面２に対して何らか
の操作が行われるとすると、このときの半透明面２にお
ける接近体及び操作体などの部分をＣＣＤカメラ４側か
らみた場合には、接近体及び操作体などにより自然光の
赤外線が遮られることから、これを自然光に含まれる赤
外線光の影として見ることができる。本実施の形態のい
制御装置６では、基準入力画像レベルＬｉｎｔに対し
て、画像レベルがより低くなる（暗くなる）ようにして
変化する画像情報を操作情報として扱うことになる。こ
の場合、図２に示す制御装置６の内部構成としては、赤
外線ＬＥＤパネル３が省略されたことに応じて、ＬＥＤ
駆動部１０が設けられないことになる。

【００９０】また、本実施の形態の描画装置としては、
図１に示す構成において、例えば赤外線ＬＥＤパネル３
の代わりにマイクロ波発生器を設け、また、ＣＣＤカメ
ラ４の代わりにマイクロ波受信器を設けて構成すること
も考えられる。この場合、図２に示す制御装置６におい
ては、ＬＥＤ駆動部１０（図１参照）の代わりに、マイ
クロ波発生器を駆動するためのマイクロ波駆動回路が備
えられる。また、マイクロ波受信器から供給される受信
マイクロ波を入力して例えば所定形式のデータに変換し
て出力する画像信号入力回路と、この画像信号入力回路
から供給されるマイクロ波の受信データを入力して所要
の処理を行うことにより、例えば検出画像情報を得ると
共にこの検出画像情報に基づいて操作情報を得る入力デ
ータ処理回路が設けられる必要がある。画像信号入力回
路及び入力データ処理回路は、それぞれ図２に示す画像
入力部１１及び入力画像処理部１２に代わる機能回路部
である。また、操作情報検出用の媒体としてマイクロ波
を利用するため、ＣＣＤカメラ４に備えられた赤外線透
過フィルタ４ａや、プロジェクタ５に備えられた赤外線
遮断フィルタ５ａは不要となる。

【００９１】このように、それが照射された物体に反射
する性質を有するマイクロ波のような媒体を操作情報の
検出に利用するように構成しても、これまで説明してき
た実施の形態（赤外線を操作情報の検出に利用した例）
と同様にして本発明としての情報入力装置を構成するこ
とが可能である。

【００９２】なお、これまで説明してきた描画方法等に
より半透明面２に表示された描画図などの画像情報は、
図２に示したプリンタ２０を利用して印刷出力すること
が可能とされている。

【００９３】また、本発明に基づいて構成される描画装
置において各種描画動作を実現するための操作方法及び
制御処理動作は、これまでの説明の内容に限定されるも
のではなく、本発明としての入力装置の利点を活かした
操作方法や制御処理方法等は他にも各種考えられるもの
である。また、図１においては音声出力系の図示は省略
したが、本発明の実施の形態としての描画装置におい
て、各種インタラクティブな応答を音声により行うこと
も考えられる。

【００９４】

【発明の効果】以上説明したように本発明は、所定波長
帯域の光又は電磁波を反射するなどしてこれに状態変化
（この状態変化が検出画像情報として反映される）を与
えることのできる物体であれば、操作を行うための操作
体として成立するものである。つまり、操作のために特
殊なポインティングデバイスを必要としないことにな
る。従ってこれまでの説明のように、例えばユーザ自身
の手や指を用いることによって描画操作を行うことが可
能とされる。

【００９５】また、半透明面に近い位置（例えば半透明
面の前面の中空位置）で操作体が認識可能なので、操作
方法としても、操作パネルである半透明面に対して操作
体を接触させることなくその前面の空間において操作を
行って描画図形を描いたり、半透明面に接近してくる物
体を認識することにより、例え描画図形に対する何らか
の編集処理を行わせるといったこともできることにな
る。

【００９６】また、画像情報に基づいて操作情報を検出
するので、操作体が画像変化として認識される限り、画
像形状に基づいた操作情報の抽出、及び複数の操作情報
の同時抽出が可能であるため、例えば両手の操作により
図形の形状やサイズを決定するようにして描画を行うこ
と可能となり、また、操作体のサイズに応じて適宜異な
る描画に関する処理動作を実行させることが可能にな
る。

【００９７】また、本発明の半透明面は操作パネル及び
表示パネルとして機能するため、ユーザの半透明面に対
する指などの動きに追従するようにして描画表示を行う
ことが可能となり、直接的な描画操作が実現されること
になる。また、従来のタッチパネルや各種表示デバイス
とは異なり、半透明面のサイズの大型化も安価で容易に
実現されることになり、例えばこれまで説明したような
操作方法を採る場合には特に有効となる。

【００９８】このように本発明は、操作情報の入力に際
して上記のごとき自由度を与えると共に、表示パネルと
して兼用可能な操作パネルとして大型化されたものを容
易に提供できるようにすることで容易にインタラクティ
ブな入出力環境が強化拡大され、この環境下で構築され
る描画システムとしても、これまでにはないような操作
形態とこれに応答した表示形態を提供することが可能と
なるという効果を有している。

【図面の簡単な説明】

【図１】本発明の実施の形態としての描画装置の構成例
を示す概念図である。

【図２】本実施の形態の描画装置に備えられる制御装置
の内部構成を示す図である。

【図３】基準入力画像レベルを検出及び保持するための
処理動作を示すフローチャートである。

【図４】検出画像情報を生成するための処理動作を示す
フローチャートである。

【図５】本実施の形態の描画装置における基本的な操作
例を示す説明図である。

【図６】図５に示す操作を実現するための処理動作を示
すフローチャートである。

【図７】本実施の形態の描画装置における基本的な描画
操作例を示す説明図である。

【図８】図７に示す描画操作実現するための処理動作を
示すフローチャートである。

【図９】線についての描画操作を示す説明図である。

【図１０】本実施の形態の描画装置における四角形の描
画操作を示す説明図である。

【図１１】四角形の描画画像についての編集のための操
作例を示す説明図である。

【図１２】図１０に示す四角形描画モード時の処理動作
を示すフローチャートである。

【図１３】図１１に示す四角形の描画画像についての移
動モード時の処理動作を示すフローチャートである。

【図１４】図１１に示す四角形の描画画像についての回
転モード時の処理動作を示すフローチャートである。

【図１５】図１１に示す四角形の描画画像についての拡
大／縮小モード時の処理動作を示すフローチャートであ
る。

【図１６】三角形についての描画及び編集操作を示す説
明図である。

【図１７】楕円形についての描画及び編集操作を示す説
明図である。

【図１８】曲線の変形操作例を示す説明図である。

【図１９】図１８に示す操作を実現するための処理動作
を示すフローチャートである。

【図２０】表示画像の移動操作例を示す説明図である。

【図２１】表示画像の拡大／縮小操作例を示す説明図で
ある。

【図２２】本発明の描画装置をホワイトボードとして機
能させた場合の操作例を示す説明図である。

【図２３】図２２に示す操作を実現するための処理動作
を示すフローチャートである。

【図２４】本発明の描画装置をホワイトボードとして機
能させた場合の他の操作例を示す説明図である。

【図２５】図２４に示す操作を実現するための処理動作
を示すフローチャートである。

【符号の説明】

１ 描画装置、２ 半透明面、３ 赤外線ＬＥＤパネ
ル、４ ＣＣＤカメラ、４Ａ 第１ＣＣＤカメラ、４Ｂ
第２ＣＣＤカメラ、５ プロジェクタ、６ 制御装
置、１０ ＬＥＤ駆動部、１１ 画像入力部、１２ 入
力画像処理部、１３しきい値制御部、１４ データベー
ス駆動部、１５ データベースメモリ、１６ 画像生成
部、１７ 画像合成部、１８ ＲＧＢ信号生成部、Ｍ
メニュー画面、ＤＲ 描画画像、Ｐｏａ１，Ｐｏａ２
対角点、Ａｆｉｎ１，Ａｆｉｎ２指開き角度、Ｐｅ，Ｐ
ｅ１，Ｐｅ２ 端点

Claims (31)

【特許請求の範囲】
1. 【請求項１】 半透明面と、 上記半透明面側の方向から入射する所定の波長帯域の光
   又は電磁波のみを像として捉える撮像手段と、 上記撮像手段から入力された撮像信号に基づいて、上記
   半透明面に対して与えられた操作が反映される検出用画
   像情報を生成し、この検出用画像情報に基づいて識別し
   た操作情報に基づいて所要の制御処理を実行する制御処
   理手段と、 上記撮像手段が撮像すべき光又は電磁波の波長帯域を含
   まない可視光による画像を上記半透明面に対して投影表
   示可能に設けられる投影表示手段とを備え、 上記制御処理手段は、上記操作情報に基づいて描画画像
   を生成する描画画像生成処理と、この描画画像生成処理
   によって得られた描画画像が半透明面に投影表示される
   ための上記投影表示手段に対する表示制御とを実行する
   ように構成されている、 ことを特徴とする描画装置。
2. 【請求項２】 上記撮像手段が受像すべき所定の波長帯
   域の光又は電磁波を上記半透明面に対して定常的に輻射
   する輻射手段を備えていることを特徴とする請求項１に
   記載の描画装置。
3. 【請求項３】 上記制御処理手段は、上記操作情報とし
   て位置指定情報を認識し、それぞれ異なるｎ（ｎは自然
   数）個の位置指定情報に基づいて、ｎ角形の図形を描画
   するための処理を実行可能に構成されていることを特徴
   とする請求項１に記載の描画装置。
4. 【請求項４】 上記制御処理手段は、上記操作情報とし
   て位置指定情報を認識し、この位置指定情報の移動軌跡
   に従うようにして描画するための処理を実行可能に構成
   されていることを特徴とする請求項１に記載の描画装
   置。
5. 【請求項５】 上記制御処理手段は、上記操作情報とし
   て得られた２地点の位置情報を１対の対角点の位置とし
   て認識し、この１対の対角点の位置情報に基づいて四角
   形を描画する処理を実行可能に構成されていることを特
   徴とする請求項１に記載の描画装置。
6. 【請求項６】 上記制御処理手段は、上記操作情報とし
   て上記１対の対角点のそれぞれに対応して検出された検
   出用画像情報内の特定の画像形状を角度情報として認識
   可能とされたうえで、この角度情報に基づいて対角を設
   定して四角形を描画する処理を実行可能に構成されてい
   ることを特徴とする請求項５に記載の描画装置。
7. 【請求項７】 上記制御処理手段は、 上記操作情報として得られた２地点の位置情報を三角形
   の一辺の両端の２点として認識すると共に、このときに
   上記三角形の一辺の両端の２点の位置情報にそれぞれ対
   応して検出された検出用画像情報内の特定の画像形状を
   角度情報として認識し、 上記三角形の一辺の両端の２点とされる位置情報と、上
   記角度情報とに基づいて設定した一辺の両端の角度とに
   基づいて三角形を描画する処理を実行可能なように構成
   されていることを特徴とする請求項１に記載の描画装
   置。
8. 【請求項８】 上記制御処理手段は、 上記操作情報として得られた２地点の位置情報を楕円形
   の長径又は短径の両端として設定すると共に、このとき
   に上記２地点の位置情報にそれぞれ対応して検出された
   検出用画像情報内の特定の画像形状に基づいて楕円形の
   曲率を設定し、 上記楕円形の長径又は短径の両端とされる２地点の位置
   情報と、上記曲率の設定情報とに基づいて楕円形を描画
   する処理を実行可能なように構成されていることを特徴
   とする請求項１に記載の描画装置。
9. 【請求項９】 上記制御処理手段は、 上記操作情報として得られた位置情報を曲線又は直線と
   しての描画画像上における位置指定情報として認識可能
   とされると共に、このときに上記位置情報に対応して検
   出された検出用画像情報内の特定の画像形状に基づいて
   方向情報を設定可能とされ、 上記位置指定情報の移動位置及び上記方向情報の変化に
   基づいて、上記曲線又は直線について変形を行う描画処
   理を実行可能ように構成されていることを特徴とする請
   求項１に記載の描画装置。
10. 【請求項１０】 上記制御処理手段は、 上記操作情報に従って描画した描画画像の形状が予め規
    定された所定形状に該当すると判別した場合には、所定
    の画像を作成して、上記投影表示手段により投影表示さ
    せるための制御を実行するように構成されていることを
    特徴とする請求項１に記載の描画装置。
11. 【請求項１１】 上記制御処理手段は、 上記検出用画像情報内において操作情報として認識され
    る操作情報画像のサイズが所定以下である場合には、こ
    の操作情報画像により指定される位置に対応する半透明
    面上の位置に対して描画が行われるようにし、 上記操作情報画像のサイズが所定以上である場合には、
    この操作情報画像により指定される位置に対応する半透
    明面上の位置に対して予め設定された初期画像が表示さ
    れるように、描画処理及び上記投影表示手段に対する表
    示制御を実行することを特徴とする請求項１に記載の描
    画装置。
12. 【請求項１２】 半透明面側の方向から入射する所定の
    波長帯域の光又は電磁波のみを像として捉える撮像動作
    と、 上記撮像動作により得られる撮像信号に基づいて、上記
    半透明面に対して与えられた操作が反映される検出用画
    像情報を生成し、この検出用画像情報に基づいて識別し
    た操作情報に基づいて実行される所要の制御処理と、 上記撮像動作として撮像すべき光又は電磁波の波長帯域
    を含まない可視光による画像を上記半透明面に対して投
    影表示動作と実行させるように構成したもとで描画を行
    うための描画方法であって、 上記制御処理として、 上記操作情報に基づいて描画画像を生成する描画画像生
    成処理と、 上記描画画像生成処理によって得られた描画画像を上記
    半透明面に投影表示させるための表示制御と、 を実行可能に構成したことを特徴とする描画方法。
13. 【請求項１３】 上記描画画像生成処理として、 上記操作情報として位置指定情報を認識し、この位置指
    定情報の移動軌跡に従うようにして描画画像を形成する
    処理を実行可能に構成されていることを特徴とする請求
    項１２に記載の描画方法。
14. 【請求項１４】 上記描画画像生成処理として、 上記操作情報として位置指定情報を認識し、それぞれ異
    なるｎ（ｎは自然数）個の位置指定情報に基づいて、ｎ
    角形の図形を描画するための処理を実行可能に構成され
    ていることを特徴とする請求項１２に記載の描画方法。
15. 【請求項１５】 上記描画画像生成処理として、 上記操作情報として得られた２地点の位置情報を１対の
    対角点の位置として認識し、この１対の対角点の位置情
    報に基づいて四角形の描画画像を形成する処理を実行可
    能に構成されていることを特徴とする請求項１２に記載
    の描画方法。
16. 【請求項１６】 上記描画画像生成処理として、 上記操作情報として上記１対の対角点のそれぞれに対応
    して検出された検出用画像情報内の特定の画像形状を角
    度情報として認識可能とされたうえで、この角度情報に
    基づいて対角を設定して四角形の描画画像を形成する処
    理を実行可能に構成されていることを特徴とする請求項
    １５に記載の描画方法。
17. 【請求項１７】 上記描画画像生成処理として、 上記操作情報として得られた２地点の位置情報を三角形
    の一辺の両端の２点として認識すると共に、このときに
    上記三角形の一辺の両端の２点の位置情報にそれぞれ対
    応して検出された検出用画像情報内の特定の画像形状を
    角度情報として認識し、 上記三角形の一辺の両端の２点とされる位置情報と、上
    記角度情報とに基づいて設定した一辺の両端の角度とに
    基づいて三角形の描画画像を形成する処理を実行可能な
    ように構成されていることを特徴とする請求項１２に記
    載の描画方法。
18. 【請求項１８】 上記描画画像生成処理として、 上記操作情報として得られた２地点の位置情報を楕円形
    の長径又は短径の両端として設定すると共に、このとき
    に上記２地点の位置情報にそれぞれ対応して検出された
    検出用画像情報内の特定の画像形状に基づいて楕円形の
    曲率を設定し、 上記楕円形の長径又は短径の両端とされる２地点の位置
    情報と、上記曲率の設定情報とに基づいて楕円形の描画
    画像を形成する処理を実行可能なように構成されている
    ことを特徴とする請求項１２に記載の描画方法。
19. 【請求項１９】 上記描画画像生成処理として、 上記操作情報として得られた位置情報を曲線又は直線と
    しての描画画像上における位置指定情報として認識する
    位置指定情報認識処理と、上記位置情報に対応して検出
    された検出用画像情報内の特定の画像形状に基づいて方
    向情報を設定する方向情報設定処理と、 上記位置指定情報の移動位置及び上記方向情報の変化に
    基づいて、上記曲線又は直線について変形を行う描画処
    理と、 を実行可能に構成されていることを特徴とする請求項１
    ２に記載の描画方法。
20. 【請求項２０】 上記投影表示動作に関する表示制御と
    して、 上記操作情報に従って描画した描画画像の形状が予め規
    定された所定形状に該当すると判別した場合には所定の
    画像を生成し、この生成された画像が投影表示されるよ
    うにするための処理を実行するように構成されているこ
    とを特徴とする請求項１２に記載の描画方法。
21. 【請求項２１】 上記検出用画像情報内において操作情
    報として認識される操作情報画像のサイズが所定以下で
    ある場合には、この操作情報画像により指定される位置
    に対応する半透明面上の位置に対して描画が行われるよ
    うにし、 上記操作情報画像のサイズが所定以上である場合には、
    この操作情報画像により指定される位置に対応する半透
    明面上の位置に対して予め設定された初期画像が表示さ
    れるように、描画画像生成処理及び上記投影表示動作に
    関する表示制御を実行することを特徴とする請求項１２
    に記載の描画方法。
22. 【請求項２２】 半透明面と、 上記半透明面側の方向から入射する所定の波長帯域の光
    又は電磁波のみを像として捉える撮像手段と、 上記撮像手段から入力された撮像信号に基づいて、上記
    半透明面に対して与えられた操作が反映される検出用画
    像情報を生成し、この検出用画像情報に基づいて識別し
    た操作情報に基づいて所要の制御処理を実行する制御処
    理手段と、 上記撮像手段が撮像すべき光又は電磁波の波長帯域を含
    まない可視光による画像を上記半透明面に対して投影表
    示可能に設けられる投影表示手段とを備えた情報入出力
    装置に用いられるプログラムが格納される記録媒体であ
    って、 上記制御処理手段に上記所要の制御処理を実行させるプ
    ログラムとして、 上記操作情報に基づいて描画画像を生成する描画画像生
    成処理と、 該描画画像生成処理によって得られた描画画像を上記半
    透明面に投影表示させるための上記投影表示手段に対す
    る表示制御と、 を実行可能とするための描画用プログラムが格納されて
    いることを特徴とする記録媒体。
23. 【請求項２３】 上記描画画像生成処理として、上記操
    作情報として位置指定情報を認識し、この位置指定情報
    の移動軌跡に従うようにして描画画像を形成する処理を
    実行可能とするための描画用プログラムが格納されてい
    ることを特徴とする請求項２２に記載の記録媒体。
24. 【請求項２４】 上記描画画像生成処理として、上記操
    作情報として位置指定情報を認識し、それぞれ異なるｎ
    （ｎは自然数）個の位置指定情報に基づいて、ｎ角形の
    図形を描画するための処理を実行可能とするための描画
    用プログラムが格納されていることを特徴とする請求項
    ２２に記載の記録媒体。
25. 【請求項２５】 上記描画画像生成処理として、上記操
    作情報として同時に得られた２地点の位置情報を１対の
    対角点の位置として認識し、この１対の対角点の位置情
    報に基づいて四角形の描画画像を形成する処理を実行可
    能とするための描画用プログラムが格納されていること
    を特徴とする請求項２２に記載の記録媒体。
26. 【請求項２６】 上記描画画像生成処理として、上記操
    作情報として上記１対の対角点のそれぞれに対応して検
    出された検出用画像情報内の特定の画像形状を角度情報
    として認識可能とされたうえで、この角度情報に基づい
    て対角を設定して四角形の描画画像を形成する処理を実
    行可能とするための描画用プログラムが格納されている
    ことを特徴とする請求項２５に記載の記録媒体。
27. 【請求項２７】 上記描画画像生成処理として、上記操
    作情報として得られた２地点の位置情報を三角形の一辺
    の両端の２点として認識すると共に、このときに上記三
    角形の一辺の両端の２点の位置情報にそれぞれ対応して
    検出された検出用画像情報内の特定の画像形状を角度情
    報として認識し、 上記三角形の一辺の両端の２点とされる位置情報と、上
    記角度情報とに基づいて設定した一辺の両端の角度とに
    基づいて三角形の描画画像を形成する処理を実行可能と
    するための描画用プログラムが格納されていることを特
    徴とする請求項２２に記載の記録媒体。
28. 【請求項２８】 上記描画画像生成処理として、上記操
    作情報として得られた２地点の位置情報を楕円形の長径
    又は短径の両端として設定すると共に、このときに上記
    ２地点の位置情報にそれぞれ対応して検出された検出用
    画像情報内の特定の画像形状に基づいて楕円形の曲率を
    設定し、 上記楕円形の長径又は短径の両端とされる２地点の位置
    情報と、上記曲率の設定情報とに基づいて楕円形の描画
    画像を形成する処理を実行可能とするための描画用プロ
    グラムが格納されていることを特徴とする請求項２２に
    記載の記録媒体。
29. 【請求項２９】 上記描画画像生成処理として、上記操
    作情報として得られた位置情報を曲線又は直線としての
    描画画像上における位置指定情報として認識すると共
    に、上記位置情報に対応して検出された検出用画像情報
    内の特定の画像形状に基づいて方向情報を設定する処理
    と、 上記位置指定情報の移動位置及び上記方向情報の変化に
    基づいて、上記曲線又は直線について変形を行う描画処
    理と、 を実行可能とするための描画用プログラムが格納されて
    いることを特徴とする請求項２２に記載の記録媒体。
30. 【請求項３０】 上記投影表示手段に対する表示制御と
    して、上記操作情報に従って描画した描画画像の形状が
    予め規定された所定形状に該当すると判別した場合には
    所定の画像を生成し、この生成された画像が上記投影表
    示手段により投影表示されるようにするための処理を実
    行可能とするための描画用プログラムが格納されている
    ことを特徴とする請求項２２に記載の記録媒体。
31. 【請求項３１】 上記検出用画像情報内において操作情
    報として認識される操作情報画像のサイズが所定以下で
    ある場合には、この操作情報画像により指定される位置
    に対応する半透明面上の位置に対して描画を行い、 上記操作情報画像のサイズが所定以上である場合には、
    この操作情報画像により指定される位置に対応する半透
    明面上の位置に対して予め設定された初期画像を表示す
    るための、 描画画像生成処理及び投影表示手段に対する表示制御を
    実行可能とする描画用プログラムが格納されていること
    を特徴とする請求項２２に記載の記録媒体。