JP4173114B2 - 体感作画装置 - Google Patents

Description

この発明は体感作画装置に関し、特にたとえば、コンピュータインターフェイスとして用いられるディジタルデスクを利用した、体感作画装置に関する。

この種の体感作画装置に近似する先行技術の一例が非特許文献１に開示される。この先行技術のディジタルデスクでは、プロジェクタによってデスクにたとえばＷｉｎｄｏｗｓ（登録商標）のようなオペレーティングシステム上で動作するＥｘｃｅｌ（登録商標）の実行画面が展開されていて、デスク上を手指やペンで直接ポインティングすることにより、これをカメラからの撮影画像で認識し、その画面上の入力位置を特定する。そして、デスク上に置かれた用紙に記述されている文字や数字などを指先で指し示すことにより、当該文字や数字などを同じくカメラからの撮影画像で認識して、特定した入力位置に入力する。つまり、キーボードやコンピュータマウスを使用することなく、簡単に入力できるコンピュータインターフェイスとして使用していた。

また、先行技術の他の例が非特許文献２に開示される。この先行技術のディジタルデスクは、デスクの下にステッピングモータを敷き詰めて、デスク上の磁性体の位置を制御し、実世界に作用するものであった。
「電脳強化環境 −どこでもコンピュータの技術と展望−」 パーソナルメディア Ｐ１８０−２０７ 「The Actuated Workbench: Computer−Controlled Actuation In Tabletop Tangible Interfaces」 Published in the Proceedings of UIST 2002,October 27-30,2002,copyright 2002 ACM

前者の場合には、キーボードやコンピュータマウスなどの入力装置を用いずに操作することができるため、簡単に操作することができるが、コンピュータから実世界に作用することができなかった。

一方、後者の場合には、コンピュータから実世界に作用することはできるが、単にデスク上の磁性体を移動させるに留まり、画像情報などの様々な情報を扱うコンピュータのインターフェイスとしては不十分であった。

それゆえに、この発明の主たる目的は、画像を触覚により体感できる、新規な体感作画装置を提供することである。

請求項１の発明は、少なくとも画像をデスクプレートに表示する表示手段、デスクプレート上に配置される移動体と移動体に連結されユーザによって把持可能な把持部とを含み、移動体を移動させることにより、少なくともユーザによる操作情報を入力し、作画するためのポインティング手段、およびポインティング手段によって作画されるとき、少なくとも作画される画像の色に応じて異なる大きさの反力を移動体に与える力提示手段を備える、体感作画装置である。

請求項１の発明では、体感作画装置の表示手段は、少なくとも画像をデスクプレートに表示する。ポインティング手段は、デスクプレート上に配置される移動体と移動体に連結されユーザによって把持可能な把持部とを含み、移動体を移動させることにより、少なくともユーザによる操作情報を入力し、画像を作画するために用いられる。力提示手段は、ユーザがポインティング手段を用いて作画するとき、少なくとも作画される画像の色に応じて異なる大きさの反力を移動体に与える。たとえば、描画される線の色に応じた力を与える。これにより、ポインティング手段を操作するユーザのたとえば手指に当該反力が提示される。

請求項１の発明によれば、画像の色に応じた力を提示することができるので、ユーザは画像の架空の感触を楽しみながら作画することができる。

請求項２の発明は請求項１に従属し、少なくとも色を決定するための色決定手段をさらに備え、ポインティング手段によって作画されるとき、当該ポインティング手段によって指示される現在位置に、色決定手段によって決定された色を貼り付ける色貼り付け手段を含む。

請求項２の発明では、色決定手段は、少なくとも描画する点や線についての色を決定する。ポインティング手段によって作画されるとき、色貼り付け手段は、当該ポインティング手段によって指示される現在位置に、決定された色を貼り付ける。

請求項２の発明によれば、所望の色を決定して、決定した色で点や線を描画することができる。また、決定した色に応じた力を提示できるので、色の重さを感じ取ることができる。

請求項３の発明は請求項１に従属し、表示手段は、ポインティング手段によって作画されるとき、操作の開始時点において当該ポインティング手段によって指示される位置に貼り付けられた色に、所定の透過率を掛け合わせつつ、当該ポインティング手段によって現在指示される位置に表示された色を混ぜ合わせる混合手段を含む。

請求項３の発明では、混合手段は、ポインティング手段によって作画されるとき、操作開始時点においてポインティング手段が指示している位置の色に、所定の透過率を掛け合わせつつ、当該ポインティング手段によって現在指示される位置に表示された色を混ぜ合わせる。つまり、既に描画されている色同士を混ぜ合わせることができ、その様子が表示される。

請求項３の発明によれば、既に塗られた色同士を混ぜ合わせるので、混ぜ合わせにより作画することができ、しかも、混ぜ合わせた色に応じた力を提示することができる。

請求項４の発明は請求項１ないし３のいずれかに従属し、表示手段は、画像を任意の方向に流れるように表示する。

請求項４の発明では、表示手段は、画像を任意に流れるように表示する。たとえば、この流れにより、画像は変化される。

請求項４の発明によれば、画像を流れるように表示し、流れにより画像が変化されるので、単に色を塗ったり、混ぜたりするだけではなく、流れによる画像の変化を楽しむことができる。

請求項５の発明は請求項４に従属し、少なくとも画像の流れる方向を決定する流れ決定手段をさらに備え、表示手段は、流れ決定手段によって決定された方向に画像を流れるように表示する。

請求項５の発明では、流れ決定手段は、少なくとも画像の流れる方向を決定する。表示手段は、流れ決定手段によって決定された方向に画像を流れるように表示する。

請求項５の発明によれば、画像の流れる方向を決定できるので、流れによる画像の変化が単調にならず、作画する楽しさを増すことができる。

請求項６の発明は請求項５に従属し、流れ決定手段は画像の流れの強さをさらに決定する。

請求項６の発明では、画像の流れの強さをさらに決定することができる。

請求項６の発明によれば、画像の流れの強さも変更できるので、流れによる画像の変化が単調になるのを防止することができる。

請求項７の発明は、請求項４ないし６のいずれかに従属し、力提示手段は、貼り付ける色に対応する色の重さによる慣性力、画像の流れによる流体抵抗力および既に作画された画像についての色の境界における色摩擦抵抗力の少なくとも１つに基づく力をポインティング手段に与える。

請求項７の発明では、たとえば、色に対応する色の重さが予め定義される。力提示手段は、貼り付ける色に対応する色の重さによる慣性力、画像の流れによる流体抵抗力および既に作画（描画）された画像の色の境界における色摩擦抵抗力の少なくとも１つに基づく力をポインティング手段に与える。これにより、ユーザは、描画する色の重さ、画像の流れ、描画した画像の色の変化を力で体感できる。

請求項７の発明によれば、描画する色の重さ、画像の流れ、描画した画像の色の変化を力で体感できるので、実際のキャンバスに絵を描いているような没入感を得ることができるだけでなく、色に定義した重さから得ることができる画材（画像）の架空の感触や水の流れを模した画像の流れによる事象から生まれる感覚を楽しみながら作画することができる。

請求項８の発明は請求項７に従属し、色の重さは少なくとも色の輝度に応じて決定される。

請求項８の発明では、色の重さは少なくとも色の輝度の応じて決定され、たとえば、輝度が高い場合には、色の重さは軽くされ、輝度が低い場合には、色の重さは重くされる。

請求項８の発明によれば、色の輝度に応じて色の重さが決定され、これにより、色の重さを力で感じることができるため、視覚により画像の色を楽しむだけではなく、触覚により画像の色を楽しむことができる。

請求項９の発明は請求項１ないし８のいずれかに従属し、表示手段は、プロジェクタをさらに含み、ポインティング手段は、操作情報を検出する操作情報検出手段をさらに含み、移動体は導電体を含み、力提示手段は、導電体、デスクプレート下に設けられる固定子コア、および固定コアに巻かれる固定子コイルを備えるリニアインダクションモータを含む。

請求項９の発明では、表示手段は、プロジェクタをさらに含む。たとえば、プロジェクタによって、描画した絵がデスクプレート上に表示される。ポインティング装置は、操作情報を検出する操作情報検出手段をさらに含む。つまり、ユーザはポインティング装置を把持して、画像を描画する。その操作情報は、操作情報検出手段によって検出される。移動体は導電体を含む。力提示手段は、リニアインダクションモータを含む。つまり、リニアインダクションモータの移動子である導電体はデスクプレート上に載置されるとともに、把持部に連結される。また、リニアインダクションモータの固定子コアおよび固定子コイルは、デスクプレート下に設けられる。つまり、固定子コアおよび固定子コイルによって、力の大きさおよび方向に応じた進行磁界が発生し、これによって、導電体に並進力が働く。このため、移動体に連結された把持部が移動され、したがって、ユーザに力が提示される。

請求項９によれば、リニアインダクションモータのような力提示手段を用いて、ユーザに力を提示することができる。

この発明によれば、少なくとも作画する画像の色に応じた力を、ポインティング装置を通してユーザに提示するため、画像を触覚により体感することができる。このため、実際のキャンバス上で絵を描いているような感覚を得ることができるだけでなく、色に定義した重さから得ることができる画像の架空の感触を得ることができ、より使い易いコンピュータインターフェイスを実現することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例である体感作画装置１０はデスクトップ装置１２を含む。デスクトップ装置１２は、デスクプレート１４およびリニアインダクションモータ（以下、単に「リニアモータ」という。）１６を備えている。また、体感作画装置１０には、リニアモータ１６に電圧（電源）を供給するためのＸ方向用インバータ１８ａおよびＹ方向用インバータ１８ｂが設けられる。

なお、図面では分かり易く示すために、デスクプレート１４とリニアモータ１６の固定子との間に隙間があるように表現してあるが、実際には、リニアモータ１６の固定子上にデスクプレート１４は載置される。

図２はデスクトップ装置１２の構成を示す図解図である。この図２に示すように、デスクプレート１４には、３つのスライダー抵抗１４ａ，１４ｂおよび１４ｃが設けられる。図面では、簡単のため、スライダー抵抗１４ａ，１４ｂおよび１４ｃの一部（調整つまみ）のみを示してある。このスライダー抵抗１４ａ〜１４ｃは、後述する周辺装置用信号処理装置２６に、電気的に接続される。また、スライダー抵抗１４ａ〜１４ｃは、それぞれ、その調整つまみを左端に移動させたとき、抵抗値が最小となり、逆に、調整つまみを右端に移動させたとき、抵抗値が最大となる。

ただし、スライダー抵抗１４ａ〜１４ｃは、デスクプレート１４に設ける必要はなく、別途独立に設けるようにしてもよい。

また、図２に示すように、リニアモータ１６は、複数（この実施例では、１００個）の固定子コア１６０およびヨーク（継鉄）１６２を含み、複数の固定子コア１６０は、横（Ｘ）方向および縦（Ｙ）方向に所定個数（１０個）ずつ並んでマトリクス状に配置される。図２では分かり難いが、各固定子コア１６０には、Ｘ方向とＹ方向との二方向に複数の巻線（固定子コイル）１６４ａ〜１６４ｆおよび１６６ａ〜１６６ｆが巻かれている（図３参照）。

巻線１６４ａ〜１６４ｆおよび巻線１６６ａ〜１６６ｆは、図３に示すように、隣接する固定子コア１６０の間を通るように、それぞれ、複数のコア１６０に共通に巻かれる。Ｘ軸方向では、巻線１６４ａおよび巻線１６４ｄが直列接続され、その一方端がインバータ１８ａのＵ相に接続される。また、巻線１６４ｂおよび巻線１６４ｅが直列接続され、その一方端がインバータ１８ａのＶ相に接続される。そして、巻線１６４ｃおよび巻線１６４ｆが直列接続され、その一方端がインバータ１８ａのＷ相に接続される。さらに、それぞれの他方端は、図示は省略するが、互いに連結される。つまり、Ｙ結線される。

一方、Ｙ軸方向では、巻線１６６ａおよび巻線１６６ｄが直列接続され、その一方端がインバータ１８ｂのＵ相に接続される。また、巻線１６６ｂおよび巻線１６６ｅが直列接続され、その一方端がインバータ１８ｂのＶ相に接続される。そして、巻線１６６ｃおよび巻線１６６ｆが直列接続され、その一方端がインバータ１８ｂのＷ相に接続される。さらに、それぞれの他方端は、図示は省略するが、互いに連結される。つまり、Ｙ結線される。

なお、リニアモータ１６としては、平成１１年９月３日付で公開された特許第２９７５６５９号公報に開示される二方向性リニアモータを用いることができる。

コンピュータ２８は、インバータ１８ａおよびインバータ１８ｂの前段に設けられる周辺装置用信号処理装置２６を介して、インバータ１８ａおよびインバータ１８ｂの少なくとも一方に駆動電圧を与える。すると、Ｘ軸方向およびＹ軸方向の少なくとも一方に、進行磁界が発生する。つまり、リニアモータ１６では、固定子コア１６０が配置される範囲内で、任意の方向（２次元方向）に進行磁界を発生させることができる。

図１に戻って、体感作画装置１０はポインティング装置２０を含み、ポインティング装置２０はデスクプレート１４上に載置される。ポインティング装置２０には、たとえば、円盤状に形成された銅，アルミ或いは真ちゅうのような導電体２０ａが設けられる。この導電体２０ａはリニアモータ１６の移動子である。

なお、導電体２０ａの形状は円盤状に限定されるべきではなく、四角形（正方形、長方形）の板状に形成するようにしてもよい。

また、ポインティング装置２０には、ユーザの手指に装着或いは手指で把持可能な把持部（以下、「ペン入力部」という。）２０ｂが設けられ、このペン入力部２０ｂは、上述の導電体２０ａに連結される。さらに、ペン入力部２０ｂには、赤外ＬＥＤ２０ｃおよび押しボタン２０ｄが設けられる。一例として、赤外ＬＥＤ２０ｃは、導電体２０ａとペン入力部２０ｂとの連結部の近傍に設けられ、押しボタン（以下、単に「ボタン」という。）２０ｄは、ユーザが手指でペン入力部２０を把持した場合に、人指し指等で押すことができる位置に設けられる。ただし、赤外ＬＥＤ２０ｃは、その赤外光を後述する検出装置２４によって検出できる位置であれば、導電体２０ａ或いはペン入力部２０ｂの任意の位置に設けることも可能である。また、ボタン２０ｄに代えて、タッチセンサのようなセンサを用いることも可能である。

なお、この実施例で、赤外ＬＥＤ２０ｃを、導電体２０ａとペン入力部２０ｂとの連結部の近傍に設けるようにしてあるのは、導電体２０ａの中心またはほぼ中心をユーザが指示している位置として認識するようにしてあるためであり、当該連結部が導電体２０ａのほぼ中心に位置するためである。

図４（Ａ）には、ポインティング装置２０の電気的な構成が示される。この図４（Ａ）を参照して、ポインティング装置２０は、ＬＥＤ制御回路２０ｅを含み、ＬＥＤ制御回路２０ｅには、電源２０ｆから電源（直流電圧）が与えられる。なお、電源２０ｆとしては、電池（１次電池或いは２次電池）を用いることができる。また、ＬＥＤ制御回路２０ｅには、上述した赤外ＬＥＤ２０ｃおよびボタン２０ｄが接続される。

ＬＥＤ制御回路２０ｅは、電源２０ｆから与えられる直流電圧を、赤外ＬＥＤ２０ｃに供給／停止することにより、赤外ＬＥＤ２０ｃの点灯および消灯、すなわち明滅を制御する。この実施例では、ＬＥＤ制御回路２０ｅは、通常赤外ＬＥＤ２０ｃを点灯し続け、ボタン２０ｄのオン時とオフ時に、それぞれ異なるパターンで明滅させる。

たとえば、ボタン２０ｄがオンされると、これに応じて、ＬＥＤ制御回路２０ｅは、図４（Ｂ）に示すように、赤外ＬＥＤ２０ｃを、時系列に従って、オフ，オン，オフ，オン，オフ，オン，オフする。赤外ＬＥＤ２０ｃがオンの場合を“１”とし、オフの場合を“０”とすると、赤外ＬＥＤ２０ｃは“０１０１０１０”のパターン（以下、「押しパターン」という。）で明滅される。一方、ボタン２０ｄがオフされると、これに応じて、ＬＥＤ制御回路２０ｅは、図４（Ｃ）に示すように、赤外ＬＥＤ２０ｃを、時系列に従って、オフ，オン，オン，オフ，オン，オン，オフする。つまり、赤外ＬＥＤ２０ｃは“０１１０１１０”のパターン（以下、「離しパターン」という。）で明滅される。ただし、この離しパターンに従って赤外ＬＥＤ２０ｃが明滅されるのは、一旦ボタン２０ｄがオンされた後に、オフされた場合のみである。したがって、ユーザによって何らボタン２０ｄが操作されていないオフの場合には、当該離しパターンに従って赤外ＬＥＤ２０ｃが明滅されることはない。

なお、このパターンは単なる例示であり、これに限定されるべきでない。ボタン２０ｄのオン時とオフ時とで異なるパターンに従って赤外ＬＥＤ２０ｃを明滅させるようにすればよいのである。

また、パターンに従って赤外ＬＥＤ２０ｃが明滅されるのは、数（２〜３）ミリｓｅｃである。

さらに、この実施例では、１つのボタン２０ｄを備えるペン入力部２０ｂを設けたポインティング装置２０について示してあるが、２つ以上のボタンを備えるようにしてもよい。また、ペン入力部２０ｂに代えて、コンピュータマウスのような形状および構成の入力部を設けるようにしてもよい。２つ以上のボタンを備える場合には、各ボタンの別を表現できるように、さらにボタン同士の間でもオン時とオフ時とのパターンを変えて、赤外ＬＥＤ２０ｃを明滅させればよい。たとえば、コンピュータマウスのような形状および構成の入力部を設ける場合には、少なくとも左クリック用のボタンと右クリック用のボタンとが設けられるため、左クリック用のボタンのオン時とオフ時および右クリック用のボタンのオン時とオフ時のそれぞれで、異なるパターン（４つのパターン）に従って赤外ＬＥＤ２０ｃを明滅させるようにすればよい。

このような構成のポインティング装置２０は、ユーザによってペン入力部２０ｂを把持され、デスクプレート１４上を移動され、場合によっては、ボタン２０ｄのオン／オフを受け付ける。また、上述したリニアモータ１６の固定子側で進行磁界を発生させることにより、導電体２０ａがデスクプレート１４上を移動され、ポインティング装置２０に力を加える（与える）ことができる。つまり、ペン入力部２０ｂを把持するユーザの手指に任意の力を提示することができるのである。

図１に戻って、デスクトップ装置１２およびポインティング装置２０の上方には、プロジェクタユニット２２および検出装置２４が所定位置に固定的に設けられる。プロジェクタユニット２２は、後述するコンピュータ２８からの指示に従って、デスクトップ装置１２のデスクプレート１４に映像ないし画像を表示する。

図５はプロジェクタユニット２２の具体的な構成を示す図解図である。この図５に示すように、プロジェクタユニット２２には、プロジェクタ２２ａが設けられ、プロジェクタ２２ａにはコンピュータ２８からの映像信号（たとえば、ＲＧＢ信号）が与えられる。また、プロジェクタユニット２２には、プロジェクタ２２ａとデスクプレート１４とが対面する側であり、プロジェクタ２２ａからデスクプレート１４に向かって、レンズ２２ｂおよび赤外光カットフィルタ２２ｃがその順番で設けられる。レンズ２２ｂは、プロジェクタ２２ａから投影される映像を拡大する。したがって、デスクプレート１４に、拡大された映像が表示される。赤外光カットフィルタ２２ｃは、デスクプレート１４上に表示される映像に含まれてしまうプロジェクタ２２ａの赤外光をカットし、ひいては、後述するポインティング装置２０の赤外光の検出に悪影響を及ぼさないようにしてある。

図６（Ａ）は、検出装置２４の具体的な構成を示す図解図である。検出装置２４は位置検出素子２４ａを含み、位置検出素子２４ａは、可視光カットフィルタ２４ｃおよびレンズ２４ｂを介して入力される赤外光を検出する。レンズ２４ｂおよび可視光カットフィルタ２４ｃは、検出素子２４ａとデスクプレート１４とが対面する側であり、位置検出素子２４ａからデスクプレート１４に向かって、その順番で設けられる。この実施例では、赤外光は、上述したポインティング装置２０から照射される。可視光カットフィルタ２４ｃは、デスクプレート１４に表示される映像についての可視光等が、赤外光の検出に影響しないようにするために設けられる。レンズ２４ｂは、デスクプレート１４の全範囲（大きさ）と位置検出素子２４ａの大きさとを擬似的に一致させるために設けられる。したがって、デスクプレート１４の全範囲のいずれから入射される赤外光は、レンズ２４ｂを通過することにより、位置検出素子２４ａに照射される。位置検出素子２４ａは、図６（Ｂ）の四角枠で示すような素子面を有し、赤外光が照射されると、照射位置に対応して、電圧値の座標信号を信号処理回路２４ｄに出力する。

たとえば、図６（Ｂ）の丸印で示す位置に赤外光が照射された場合には、（ｘ，ｙ）＝（３Ｖ，２Ｖ）の座標信号が信号処理回路２４ｄに与えられる。信号処理回路２４ｄは、この電圧信号（座標信号）にノイズ除去や増幅などの処理を施して、後述する周辺装置用信号処理装置２６に与える。また、信号処理回路２４ｄは、光点検出フラグを周辺装置用信号処理装置２６に与える。ここで、光点検出フラグは、「１」または「０」の数値データであり、赤外光を検出した場合には、データ値「１」の光点検出フラグを出力し、赤外光を検出しない場合には、データ値「０」の光点検出フラグを出力する。

なお、位置検出素子２４ａおよび信号処理回路２４ｄとしては、浜松ホトニクス株式会社製の「位置センサ（品番：Ｃ７３３９）」を用いることができる。

図１に戻って、体感作画装置１０は、さらに周辺装置用信号処理装置２６およびコンピュータ２８を備える。周辺装置用信号処理装置２６は、マイクロチップないしＤＳＰで構成され、スライダー抵抗１４ａ〜１４ｃからの電圧値を受けて、これをスライダー抵抗１４ａ〜１４ｃの抵抗値に変換し、さらにディジタル変換した抵抗値データをコンピュータ２８に入力する。たとえば、周辺装置用信号処理装置２６とコンピュータ２８とは、ＲＳ２３２Ｃのようなシリアルバスによって接続される。また、周辺装置用信号処理装置２６は、検出装置２４から与えられた座標信号をそのままコンピュータ２８に与えるとともに、検出装置２４から与えられた光点フラグに基づいてポインティング装置２０に設けられるボタン２０ｄが押（オン）されたか、または離（オフ）されたかの情報、すなわち押し情報または離し情報（以下、これらをまとめて「クリック情報」という場合がある。）をコンピュータ２８に与える。

また、周辺装置用信号処理装置２６は、コンピュータ２８から与えられるモータの駆動周波数に対応する電圧値（Ｘ方向およびＹ方向の２値）を受けて、インバータ１８ａおよびインバータ１８ｂのそれぞれに与える。

コンピュータ２８は、ＰＣ或いはワークステーションのような汎用のコンピュータであり、リニアモータ１６（インバータ１８ａ，１８ｂ）の駆動を制御したり、デスクプレート１４への映像や画像の表示を制御したりする。リニアモータ１６の駆動の制御は、デスクプレート１４に表示中の画像、周辺装置用信号処理装置２６から与えられる抵抗値データ、座標信号およびクリック情報等に基づいて行われる。この制御方法については、後で詳細に説明することにする。

また、コンピュータ２８は、プロジェクタユニット２２を介してデスクプレート１４に映像ないし画像を含む画面（コンピュータ画面）を表示する。コンピュータ２８は、ハードディスクのような記憶媒体（メモリ）２８ａを含み、メモリ２８ａには、デスクプレート１４に表示するコンピュータ画面についてのデータ（画像データ）等が記憶される。

たとえば、体感作画装置１０が起動されると、デスクトップが初期化され、図７に示すような画面（コンピュータ画面）１００がデスクプレート１４に表示される。コンピュータ画面１００には、ユーザが描いた画像（点、線、面など）などを表示するための画像表示領域（キャンバス）１０２およびユーザが画像表示領域１０２に画像を描画する場合に必要となるツールなどを表示するメニュー表示領域１０４が設けられる。

図８に示すように、メニュー表示領域１０４には、ボタンないしアイコン１０４ａ，１０４ｂ，１０４ｃ，１０４ｄ，１０４ｅ，１０４ｆ，１０４ｇが表示される。ボタン１０４ａは、画像表示領域１０２を初期化する場合に操作される。たとえば、画像表示領域１０２が初期化されると、当該画像表示領域１０２の全面に白色のような単一色の背景が表示される。ボタン１０４ｂは、画像表示領域１０２に表示された画像を印刷する場合に操作される。図１では省略したが、コンピュータ２８には、周辺機器としてのプリンタを接続することができ、したがって、画像表示領域１０２に表示された画像を印刷することができる。

ボタン１０４ｃは、カメラ（図示せず）で撮影された画像をキャプチャして、キャプチャした画像を画像表示領域１０２に表示する場合に操作される。たとえば、カメラとしては、ＣＣＤのような撮像素子を用いたＣＣＤカメラ（ＵＳＢカメラ）を用いることができる。図１では省略したが、このＣＣＤカメラは、たとえば、体感作画装置１０を使用するユーザの顔画像を撮影可能な位置に配置され、ボタン１０４ｃの操作に応答して、撮影した画像（撮影画像）をコンピュータ２８に入力する。コンピュータ２８は、ＣＣＤカメラから入力された撮影画像をデスクプレート１４の画像表示領域１０２に表示する。

なお、ＣＣＤカメラの配置位置や撮影対象は、任意に設定可能である。つまり、ＣＣＤカメラは、コンピュータ２８に直接接続される必要はなく、インターネットやイントラネット等のネットワークを介して接続されるようにしてもよいし、撮影対象（被写体）はユーザの顔に限らず、他の人物や風景であってもよい。また、リアルタイムに撮影画像を得る必要はなく、予め取得（撮影）しておいた撮影画像をキャプチャ操作に応じて表示するようにしてもよい。

ボタン１０４ｄ，１０４ｅおよび１０４ｆは作画する場合の各モードを選択するためのボタンである。ボタン１０４ｄは、ユーザが画像表示領域１０２に画像を自由に描画するモード（ペイントモード）を設定する場合に操作される。このペイントモードが設定されると、アイコン表示領域１０４ｉに、作画するために用いる筆の種類を選択するためのアイコンが複数表示される。この実施例では、大きさ（大・中・小）および透明度（透過率）の少なくとも一方が異なるように設定された、６種類の筆についてのアイコンが用意されている。また、各アイコン（筆）には、点や線を描画した際のエッジの柔らかさも個別に設定されている。つまり、エッジの柔らかさが低くい場合、すなわちエッジが堅い場合には、点や線端は角張って表示される。一方、エッジの柔らかさが大きい場合には、点や線端は丸まって表示される。

なお、図面では、その図柄（円形）の大きさが筆の大きさ（太さ）を示しており、また、図柄内を黒色で塗りつぶした図柄が斜線を引いた図柄よりも透明度が低いことを意味する。

また、簡単のため、この実施例では、６種類の筆を用意しておくようにしてあるが、さらに多種類の筆を用意しておくようにしてもよい。かかる場合には、円形の図柄のみならず、四角形の図柄の筆も用意しておき、描画する点や線に現われるエッジの違いも選択できるようにすることができる。

したがって、ユーザは所望の筆をアイコン表示領域１０４ｉから選択し、選択した筆で画像表示領域１０２すなわちキャンバスに絵を描くことができる。ただし、絵を描く場合に使用する色は、上述したスライダー抵抗１４ａ〜１４ｃを用いることによって、ユーザが適宜設定および変更することができる。たとえば、この実施例では、スライダー抵抗１４ａの抵抗値は色相に対応し、スライダー抵抗１４ｂの抵抗値は彩度に対応し、スライダー抵抗１４ｃの抵抗値は輝度に対応する。したがって、スライダー抵抗１４ａ〜１４ｃの抵抗値を可変させることにより、色相すなわち色（有彩色，無彩色）、彩度および輝度が決定される。

図７に戻って、画像表示領域１０２の下方には、色の属性を表示する表示領域（色属性表示領域）１０６が設けられる。この色属性表示領域１０６には、さらに、選択中の色を表示する色表示領域１０６ａ、色相を表示する色相表示領域１０６ｂ、彩度を表示する彩度表示領域１０６ｃおよび輝度を表示する輝度表示領域１０６ｄが設けられる。したがって、ユーザは、スライダー抵抗１４ａ〜１４ｃを調整するとき、色属性表示領域１０６を見て容易に設定することができる。

また、ポインティング装置２０が指示している位置には、マウスポインタのようなポインタ１１０が表示される。つまり、赤外ＬＥＤ２０ｃを検出した位置に対応する画面上の位置にポインタ１１０は表示される。ただし、図７においては、分かり易く示すために、ポインティング装置２０の導電体２０ａのみを示してある。

ペイントモードでは、ユーザがデスクプレート１４（画像表示領域１０２）上でポインティング装置２０を用いて、ドラッグすると、これに応じて選択中の色の線が当該画像表示領域１０２に描画される。具体的には、ペイントモードでは、ポインティング装置２０の位置（現在位置）を検出し、検出した現在位置すなわちポインタ１１０が表示された位置に、選択された筆の大きさに応じた範囲（領域）で、選択された色を貼り付けるようにしてある。この実施例では、ドラッグは、操作ボタン２０ｄをオンした状態のままで、ポインティング装置２０を移動させることを意味する。以下、同様である。ただし、このペイントモードでは、ポインティング装置２０によって指示された現在位置に選択中の色を貼り付けるようにしてあるため、既に（先に）該当する箇所に色が塗られている場合には、その上から色が貼り付けられる。

図面の都合上、色を表現することはできないが、ペイントモードでは、図９に示すように、所望の画像等を描画することができる。なお、線の太さの違いは、選択した筆の大きさが異なることを現している。

図８に戻って、ボタン１０４ｅは、色を混ぜ合わせるモード（混ぜ合わせモード）を設定する場合に操作される。この混ぜ合わせモードが設定されている場合にも、上述したペイントモードと同様に、アイコン表示領域１０４ｉには筆の種類を選択するための複数のアイコンが表示される。したがって、ユーザは、ポインティング装置２０を操作して、所望のアイコンすなわち筆を選択することができる。

この混ぜ合わせモードでは、既に画像表示領域１０２に描画（表示）された画像の上を、ポインティング装置２０を用いて、ドラッグすると、既に描画された色同士が混ぜ合わせられる。具体的には、混ぜ合わせモードでドラッグされると、ドラッグの開始時点において、画像表示領域１０２中のポインティング装置２０（ポインタ１１０）が指示する位置の色が、筆の大きさに応じた範囲（領域）分だけ、たとえばメモリ２８ａのワークエリアにコピーされる。そして、画像表示を更新する度に、コピーしておいた色に、選択された筆に設定された透過率を掛け合わせつつ、現在ポインティング装置２０（ポインタ１１０）が示す位置に既に描画されている色を混ぜ合わせて、当該位置に貼り付けるようにしてある。これにより、色が混ぜ合わせられる様子が示される。

ボタン１０４ｆは、メモリ２８ａに予め記憶しておいた画像（この実施例では、キャラクタ画像）を、画像表示領域１０２の所望の位置に貼り付けるモード（以下、「スタンプモード」という。）を設定する場合に操作される。このスタンプモードが設定されると、図１０に示すように、アイコン表示領域１０４ｉには、メモリ２８ａに予め記憶しておいたキャラクタ画像についての縮小画像（サムネイル画像）のアイコンが表示される。

たとえば、ユーザは、ポインティング装置２０を用いて、所望のサムネイル画像を選択）し、その後、画像表示領域１０２の所望の位置をクリックないしドラッグすると、クリックないしドラッグした位置に、選択しておいたサムネイル画像に対応するキャラクタ画像が貼り付けられる。したがって、図１１に示すように、予め用意しておいたキャラクタ画像が画像表示領域１０２に表示される。ただし、図１１においては、導電体２０ａおよびポインタ１１０を分かり易く示すために、キャラクタ画像に上書きしてあるが、プロジェクタ２０ａによって、デスクプレート１４上に画像を表示するため、実際には、導電体２０ａ上にキャラクタ画像が表示される。

なお、この実施例では、簡単のため、６種類のキャラクタ画像を用意しておき、そのサムネイル画像のアイコンを表示するようにしてあるが、さらに多数のキャラクタ画像を用意しておいてもよい。また、キャラクタ画像に限らず、写真、絵画、ポスターなどの任意の画像を記憶するとともに、スタンプモードが選択された場合には、アイコン表示領域１０４ｉにそのような画像についてのサムネイル画像のアイコンを表示するようにして、ユーザの操作に従って任意の画像を画像表示領域１０２に貼り付けるようにしてもよい。

また、図８および図１０に示すボタン１０４ｇが操作されると、画像表示領域１０２に表示された画像を流れるように表示することができ、また、既に画像が流れるように表示されている場合にはその流れを停止させることができる。ボタン１０４ｇの下方には、流れ設定領域１０４ｈが設けられ、流れ設定領域１０４ｈに表示される矢印１０４ｈ´の向きおよび大きさを設定することにより、画像全体を流す方向およびその強さ（速さ）を設定することができる。画像全体を流す方向および強さを設定（変更）する場合には、たとえば、ポインティング装置２０を用いて、ボタン１０４ｇを操作（クリック）し、画像の流れを一旦停止する。次に、たとえば、ポインティング装置２０をドラッグして、所望の流れの方向に矢印１０４ｈ´の矢先を向けるとともに、その矢印１０４ｈ´の長さを変更する。そして、ボタン１０４ｇをクリックすると、変更した向きおよび強さで、画像全体が流れるように表示される。

ただし、ドラッグによらず、クリックにより、画像全体を流す方向およびその強さを設定することもできる。たとえば、流れ設定領域１０４ｈ内の所望の位置をクリックすることにより、クリックした位置に、矢印１０４ｈ´の矢先を移動させるようにすれば、画像全体を流す方向および強さを設定することができる。

また、画像全体の流れを停止させずに、矢印１０４ｈ´の大きさおよび向きを変えて、リアルタイムに、画像全体を流す方向およびその強さを設定することもできる。

ここで、この実施例では、画像の流れを表現するために、画像表示領域１０２（厳密には、コンピュータ２８内部に設けられるＶＲＡＭ）の全画素（たとえば、５１２画素×５１２画素）のそれぞれには、或る時点における移動量を決定するための流れデータが、一定時間（２０秒〜３０秒）分メモリ２８ａに記憶されている。これは、画像を一様に流すのではなく、流れに変化を与えるためである。簡単のため、３画素×３画素の領域について説明すると、或る時刻ｔにおける流れデータＦ（ｔ）は、たとえば、図１３（Ａ）のように示される。ここで、１つの画素は小さい正方形の枠に対応し、各画素に対応して記述してあるのはベクトルデータである。このベクトルデータは、Ｘ軸方向（左右方向）とＹ軸方向（上下方向）とについての移動（流れ）方向および移動（流れ）量を決定するためのデータである。移動方向は、Ｘ軸方向では、正の数であれば左方向であり、負の数であれば右方向であり、Ｙ軸方向では、正の数であれば下方向であり、負の数であれば上方向である。また、移動量は、数値の大きさ（絶対値）で決定され、その数値は移動する画素数を示している。

したがって、次の時刻ｔ＋１では、時刻ｔの流れデータに従って、画像全体が１画素分だけ左方向に移動される。また、時刻ｔ＋１の流れデータＦ（ｔ＋１）が図１３（Ｂ）のように示されるとすると、時刻ｔ＋２では、右端の列の画素が１画素分だけ下方向に移動されることになる。

ただし、上述したように、流れ設定領域１０４ｈ内の矢印１０４ｈ´を操作することにより、画像全体の流れの方向および強さを変えることができるため、流れデータＦ（ｔ）にそれらの係数が掛け合わされ、流れデータＦ（ｔ）が補正されることになる。補正後の流れデータＦ´（ｔ）は、画像全体の流れについての方向の係数をＲとし，流れの強さの係数をＳとすると、数１に従って算出される。

[数１]
Ｆ´（ｔ）＝Ｒ・Ｓ・Ｆ（ｔ）
このような補正後の流れデータＦ´（ｔ）によって、画像全体が流れ表示されるため、たとえば、図１２に示すように、一部が渦を巻いたりするような流れを表現した画像を、画像表示領域１０２に表示することができる。したがって、単に色を付けたり、色同士を混ぜたりすることにより、画像を描画するだけでなく、流れによる画像の変化を楽しむことができる。

このようにして、コンピュータ２８による画面表示が制御される。また、コンピュータ２８は、ユーザの操作、すなわちポインティング装置２０の位置（移動も含む。）およびそのボタン２０ｄのオン／オフを検出し、ポインティング装置２０によって描画される色の重さによる力（慣性力）、画像の流れによる力（流体抵抗による力）、およびキャンバス（画像表示領域１０２）上の色の変化による力（色摩擦抵抗による力）の合成力を、ポインティング装置２０に与える。ここで、色の重さは、色に応じて変化する量（重さ）として予め定義される。

ただし、合成力は、慣性力、流体抵抗による力（流体抵抗力）および色摩擦抵抗による力（色摩擦抵抗力）のすべてを必ずしも含む必要はなく、少なくとも１つを含んでいればよい。

コンピュータ２８は、ポインティング装置２０に与えるべき力の大きさと方向とを決定（算出）し、その力を発生するために必要なリニアモータ１６の駆動のための周波数、さらには、その周波数に応じた電圧値（インバータ１８ａおよび１８ｂの駆動電圧）を算出する。そして、その力の方向に応じて電圧の符号（正，負）も決定される。そして、インバータ１８ａおよび１８ｂの駆動電圧を、周辺装置用信号処理装置２６に与える。これに応じて、周辺装置用信号処理装置２６は、駆動電圧をインバータ１８ａおよび１８ｂに与える。したがって、Ｘ軸方向およびＹ軸方向の少なくとも一方の固定子コイルによって固定子１６０が励磁され、進行磁界が発生する。このため、導電体２０ａには、この進行磁界を妨げる方向に渦電流が励起される。したがって、進行磁界との相互作用により、導電体２０ａは並進する。このため、導電体２０ａはデスクプレート１４上を移動され、ポインティング装置２０を把持するユーザの手指に力を作用させる（加える）ことができる。

たとえば、ポインティング装置２０（導電体２０ａ）がドラッグされる場合には、図１４（Ａ）に示すように、貼り付ける色（混ぜ合わせて貼り付ける色も含む。）の重さによる慣性力が加えられる。つまり、ポインティング装置２０の移動方向とは逆向きに力が加えられる。この慣性力Ｆｉは数２に従って算出される。

[数２]
Ｆｉ＝−ｍ×ａ
ただし、ｍは重さパラメータであり、ａは加速度成分である。

ここで、重さパラメータｍは筆の大きさおよび色の輝度に応じて変化される。この実施例では、筆が大きい場合には、重さパラメータｍの値は大きくされ、逆に筆が小さい場合には、重さパラメータｍの値は小さくされる。また、輝度が高い場合、すなわち色が白に近い場合には、重さパラメータｍの値は小さくされ、輝度が低い場合、すなわち色が黒に近い場合には、重さパラメータｍの値は大きくされる。つまり、重さパラメータｍは数３に従って算出される。

[数３]
ｍ＝（１−Ｌ）・ｋ・Ｓ
ただし、Ｌは輝度であり、ｋは任意の係数であり、そして、Ｓは筆の大きさ（サイズ）である。

また、数２に示した加速度成分ａは、筆すなわちポインティング装置２０の移動の加速度であり、ポインティング装置２０の単位時間（位置情報を取得する一定時間）における移動距離を二階微分することにより、算出される。

なお、この実施例では、色の重さは輝度に応じて変化されるようにしているが、色の三要素である、色相、色彩、輝度のいずれか１つ、または任意の組み合わせにより変化されるようにしてもよい。

また、ポインティング装置２０（導電体２０ａ）がドラッグされる場合には、図１４（Ｂ）に示すように、画像の流れる方向に、流体抵抗力が加えられる。この流体抵抗力Ｆｆは数４に従って算出される。

[数４]
Ｆｆ＝−ｋ×Ｆ´（ｔ）
ただし、ｋは任意の係数であり、Ｆ´（ｔ）は、上述したように、流れデータＦ（ｔ）を全体の流れに応じて補正したデータである。なお、ポインティング装置２０（導電体２０ａ）に力を与えるようにするため、実際には、補正後の流れデータＦ´（ｔ）はポインタ１１０を中心とする筆の大きさで決定される範囲（領域）内での平均値である。また、係数ｋは、筆が大きければ大きくされ、筆が小さければ小さくされる。

さらに、ポインティング装置２０（導電体２０ａ）がドラッグされ、既に描画（表示）された画像上における色の境界を横切る場合には、図１４（Ｃ）に示すように、色の違いによる力すなわち色摩擦抵抗力を加える。図面では色を表現することができないが、斜線が色の違いを示している。この色摩擦抵抗力Ｆｃは、数５に従って算出される。

[数５]
Ｆｃ＝−ｋ×Ｒ
ただし、ｋは任意の係数であり、Ｒは色のばらつきの度合いである。

ここで、色のばらつきの度合いＲについて説明すると、コンピュータ２８は、ポインティング装置２０の移動する軌跡上のｎ個の点についての色をサンプリングし、サンプリングしたｎ個の色についてのばらつきの度合いＲを算出する。色が一様であり、ばらつきが少ない場合には、色摩擦抵抗は小さく、色にばらつきがある場合には、色摩擦抵抗は大きくなる。ばらつきの度合いＲは、色相、彩度および輝度のそれぞれの標準偏差に、任意の重み付けをして算出される。具体的には、ばらつきの度合いＲは、数６に従って算出される。

[数６]
Ｒ＝stddev(H[n])×ｒ１＋stddev(S[n])×ｒ２×stddev(V[n])×ｒ３
ただし、stddev(x)は標準偏差であり、ｒ１，ｒ２，ｒ３は重み係数である。また、H[n]はサンプリングされたｎ個の点についての色相の列であり、S[n]はサンプリングされたｎ個の点についての彩度の列であり、V[n]はサンプリングされたｎ個の点についての輝度の列である。たとえば、重み係数の値は、色の設定とは別のメニューで設定することができるのである。周知のとおり、スライダー抵抗１４ａ〜１４ｃの抵抗値は可変であり、したがって、ユーザが抵抗値を変えることにより、各標準偏差の重み（重要度）を変更することができる。

このようにして算出された慣性力Ｆｉ、流体抵抗力Ｆｆおよび色摩擦抵抗力Ｆｃの合成力Ｆが、上述したように、ポインティング装置２０（導電体２０ａ）に加えられる。この合成力Ｆは、数７に従って算出される。

[数７]
Ｆ＝ｗ１×Ｆｉ＋ｗ２×Ｆｆ＋ｗ３×Ｆｃ
ただし、ｗ１，ｗ２，ｗ３は重み付けであり、スライダー抵抗１４ａ〜１４ｃを用いて予め決定することができる。つまり、色の設定とは別のメニューで重み付けを設定することができ、各力の重み（重要度）を変更することができる。

以下には、フロー図を用いて、体感作画装置１０の具体的な動作について説明することにする。図１５は、ポインティング装置２０に設けられるＬＥＤ制御回路２０ｅの処理を示すフロー図である。この図１５を参照して、ＬＥＤ制御回路２０ｅは、ステップＳ１で、ボタン２０ｄが押されたかどうかを判断する。ステップＳ１で“ＮＯ”であれば、つまりボタン２０ｄが押されていなければ、そのままステップＳ７に進む。一方、ステップＳ１で“ＹＥＳ”であれば、つまりボタン２０ｄが押されれば、ステップＳ３で、押しフラグをセットし、ステップＳ５で、押しパターンに従って赤外ＬＥＤ２０ｃを明滅させて、ステップＳ１３に進む。

ステップＳ７では、ボタン２０ｄが離されたかどうかを判断する。ここで、ボタン２０ｄが離されていなければ、ステップＳ７で“ＮＯ”となり、そのままステップＳ１５に進む。しかし、ボタン２０ｄが離されれば、ステップＳ７で“ＹＥＳ”となり、ステップＳ９で、離しフラグをセットし、ステップＳ１１で、離しパターンに従って赤外ＬＥＤ２０ｃを明滅させて、ステップＳ１３に進む。

ステップＳ１３では、押しフラグまたは離しフラグをリセットして、ステップＳ１５に進む。ステップＳ１５では、赤外ＬＥＤ２０ｃを常時点灯して、ステップＳ１に戻る。

したがって、赤外ＬＥＤ２０ｃを常時点灯させ、ボタン２０ｄの操作があったときに、押しパターンまたは離しパターンに従って赤外ＬＥＤ２０ｃを明滅させることができる。

図１６にはクリック検出処理のフロー図が示され、図１７には抵抗値出力処理のフロー図が示される。これらの処理は、図１に示した周辺装置用信号処理装置２６が実行する。図１６を参照して、クリック検出処理を開始すると、ステップＳ２１で、一定時間が経過したかどうかを判断する。これは、クリックすなわちボタン２０ｄの押しまたは離し操作の検出処理を一定時間毎の割り込みで実行するためである。

なお、図示は省略するが、周辺装置用信号処理装置２６は、その内部にタイマを備えており、このタイマによって一定時間をカウントしている。

ステップＳ２１で“ＮＯ”であれば、つまり一定時間が経過していなければ、同じステップＳ２１に戻る。一方、ステップＳ２１で“ＹＥＳ”であれば、つまり一定時間が経過していれば、ステップＳ２３で、検出装置２４から与えられる光点フラグの状態（「１」または「０」）をシフトレジスタ（図示せず）に保存する。

次のステップＳ２５では、シフトレジスタを参照して、過去数ミリ秒の光点フラグのパターンを検出する。後述するように、過去数ミリ秒の光点フラグから押しパターンまたは離しパターンを判断するようにしてあるため、ここではそれらのパターンの長さ（２〜３ミリ秒）よりも少し長い時間（４〜５ミリ秒）についての光点フラグが検出される。したがって、シフトレジスタは、少なくとも当該過去数ミリ秒についての光点フラグの状態を記憶するビット数を有している。そして、ステップＳ２７では、押しパターンかどうかを判断する。ここで、押しパターンと判断すれば、ステップＳ２７で“ＹＥＳ”となり、ステップＳ２９で、「ボタン押し」の情報を、コンピュータ２８に通知して、ステップＳ１に戻る。しかし、押しパターンでないと判断すれば、ステップＳ２７で“ＮＯ”となり、ステップＳ３１で、離しパターンかどうかを判断する。

ステップＳ３１で“ＮＯ”であれば、つまり離しパターンでなければ、そのままステップＳ２１に戻る。一方、ステップＳ３１で“ＹＥＳ”であれば、つまり離しパターンであれば、ステップＳ２３で、「ボタン離し」の情報を、コンピュータ２８に通知して、ステップＳ１に戻る。

また、周辺装置用信号処理装置２６は、図１７に示すように、抵抗値出力処理を開始すると、ステップＳ４１で、通信ポート（たとえば、ＲＳ２３２Ｃポート）を初期化する。続くステップＳ４３で、３つのスライダー抵抗１４ａ，１４ｂおよび１４ｃから電圧値を読み取る。次にステップＳ４５で、読み取った電圧値を抵抗値に換算し、さらに抵抗値データに変換し、ステップＳ４７で、ＲＳ２３２Ｃのプロトコルにのせて、抵抗値データをコンピュータ２８に出力して、ステップＳ４１に戻る。

なお、この実施例では、上述したクリック検出処理と抵抗値出力処理とを並列的に実行するようにしてあるが、クリック検出処理と抵抗値出力処理とは別個の処理であるため、それぞれの処理を担当するマイクロチップないしＤＳＰを設けるようにすれば、処理の高速化を図ることができる。

図１８は、コンピュータ２８のメイン処理を示すフロー図である。コンピュータ２８は処理を開始すると、ステップＳ５１で、メモリ２８ａを参照して、位置情報およびボタンフラグを検出する。後述するメモリ更新処理（図１９）によって、メモリ２８ａは更新され、常に最新の位置情報およびボタンフラグがメモリ２８ａに記憶される。なお、メモリ更新処理は、コンピュータ２８のメイン処理と並列的に処理される。

続くステップＳ５３ｄでは、ボタン２０ｄの操作があるかどうかを判断する。ここでは、メモリ２８ａを参照して、ボタン２０ｄがオンされたかどうかを判断する。ステップＳ５３で“ＮＯ”であれば、つまりボタン２０ｄが操作されなければ、そのままステップＳ６３に進む。一方、ステップＳ５３で“ＹＥＳ”であれば、つまりボタン２０ｄが操作されれば、ステップＳ５５で、キャンバスすなわち画像表示領域１０２上での操作かどうかを判断する。

ステップＳ５５で“ＹＥＳ”であれば、つまりキャンバス上の操作であれば、ステップＳ５７で、後述するモータ駆動処理（図２０，図２１参照）を実行して、ステップＳ６３に進む。しかし、ステップＳ５５で“ＮＯ”であれば、つまりキャンバス上の操作でなければ、ステップＳ５９で、メニュー表示領域１０４上での操作かどうかを判断する。メニュー表示領域１０４上での操作でなければ、ステップＳ５９で“ＮＯ”となり、そのままステップＳ６３に進む。しかし、メニュー表示領域１０４上での操作であれば、ステップＳ５９で“ＹＥＳ”となり、次のステップＳ６１で、後述するメニュー操作処理（図２２〜図２４参照）を実行して、ステップＳ６３に進む。

ステップＳ６３では、画像の更新処理を実行して、ステップＳ５１に戻る。ここでは、ユーザの操作に従って作画された画像を更新するとともに、画像全体が流れるように表示する。ただし、流れフラグがオンの場合には、画像全体を流れ表示するが、流れフラグがオフの場合には画像を流れ表示しない（静止表示）。また、ペイントモードや混ぜ合わせモードが設定されている場合には、メニュー表示領域１０４のアイコン表示領域１０４ｉに筆を選択するためのアイコンを表示し、スタンプモードが設定されている場合には、当該アイコン表示領域１０４ｉにサムネイル画像のアイコンを表示する。

図１９は、上述したメモリ更新処理を示すフロー図である。この図１９を参照して、コンピュータ２８はメモリ更新処理を開始すると、ステップＳ７１では、通信ポートの初期化およびコネクションの確立を実行する。次のステップＳ７３では、位置情報すなわち座標信号およびボタンフラグのデータを受信する。ボタンフラグは、周辺装置用信号処理装置２６から送信される「ボタン押し」の情報または「ボタン離し」の情報のそれぞれに従って設定される。「ボタン押し」の情報が通知されると、ボタンフラグとして押しフラグがセットされ、「ボタン離し」の情報が通知されると、ボタンフラグとして離しフラグがセットされる。そして、ステップＳ７５で、位置情報およびボタンフラグのデータをメモリ２８ａに保存（上書き）して、ステップＳ７１に戻る。

図２０および図２１は、図１８に示したステップＳ５７の作画・モータ駆動処理を示すフロー図である。図２０に示すように、作画・モータ駆動処理を開始すると、ステップＳ８１で、ドラッグ中かどうかを判断する。具体的には、メモリ２８ａを参照して、押しフラグがオンであり、かつ、位置情報が更新されているかどうかを判断する。ステップＳ８１で“ＮＯ”であれば、つまりドラッグ中でなければ、そのまま図２１に示すステップＳ９７に進む。一方、ステップＳ８１で“ＹＥＳ”であれば、つまりドラッグ中であれば、ステップＳ８３で、ペイントモードが設定されているかどうかを判断する。

このステップＳ８３で“ＹＥＳ”であれば、つまりペイントモードが設定されていれば、現在のポインタ１１０の位置を筆の大きさの分だけ、選択中の色で塗りつぶして、ステップＳ９５に進む。ただし、選択中の色は、周辺装置用信号処理装置２６から出力される抵抗値データに基づいて判断される。以下、同様である。また、ここでは、ＶＲＡＭ上で、選択中の色が貼り付けられるだけであり、画像の表示は、メイン処理に示したステップＳ６３で実行される。以下、この作画・モータ駆動処理において、画像を更新する場合は、ＶＲＡＭ上での更新を意味する。

また、ステップＳ８３で“ＮＯ”であれば、つまりペイントモードが設定されていなければ、ステップＳ８７で、混ぜ合わせモードが設定されているかどうかを判断する。ステップＳ８７で“ＹＥＳ”であれば、つまり混ぜ合わせモードが設定されていれば、ステップＳ８９で、現在のポインタ１１０の位置に、ドラッグ開始時にコピーしておいた画像を、指定の透過率を掛け合わせつつ、キャンバスの画像と合成して、当該位置に貼り付けて、ステップＳ９５に進む。一方、ステップＳ８９で“ＮＯ”であれば、つまり混ぜ合わせモードが設定されていなければ、ステップＳ９１で、スタンプモードが設定されているかどうかを判断する。

ステップＳ９１で“ＮＯ”であれば、つまりスタンプモードが設定されていなければ、そのまま図２１に示すステップＳ９７に進む。しかし、ステップＳ９１で“ＹＥＳ”であれば、つまりスタンプモードが設定されていれば、ステップＳ９３で、現在のポインタ１１０の位置に、選択中のキャラクタを貼り付けて、ステップＳ９５に進む。

ステップＳ９５では、慣性力Ｆｉおよび色摩擦抵抗力Ｆｃを、それぞれ、数２および数５に従って計算する。ただし、色の境界をポインティング装置２０が横切っていない場合には、色摩擦抵抗力Ｆｃは０である。また、上述の説明では省略したが、スタンプモードが設定されている場合には、慣性力Ｆｉは各キャラクタに予め定義しておいた値を使用する。

図２１に示すように、次のステップＳ９７では、流れフラグがオンであるかどうかを判断する。ステップＳ９７で“ＮＯ”であれば、つまり流れフラグがオフであれば、そのままステップＳ１０５に移行する。一方、ステップＳ９７で“ＹＥＳ”であれば、つまり流れフラグがオンであれば、ステップＳ９９で、現在の流れデータＦ（ｔ）を取得するとともに、流れ設定領域１０４ｈで決定された流れ方向（係数Ｒ）および流れの強さ（係数Ｓ）を取得する。続くステップＳ１０１では、流れを反映して画像を更新する。つまり、数１に従って算出した補正後の流れデータＦ´（ｔ）に従って各画素を更新する。

続いて、ステップＳ１０３で、流体抵抗力Ｆｆを数４に従って計算する。そして、ステップＳ１０５で、提示する力（合成力Ｆ）を数７に従って計算する。その後、ステップＳ１０７で、計算した合成力Ｆを周波数に変換し、ステップＳ１０９で、当該周波数を電圧値に変換し、ステップＳ１０９で、電圧値を、周辺装置用信号処理装置２６に出力して、作画・モータ駆動処理をリターンする。なお、ステップＳ１０９の処理に応答して、周辺装置用信号処理装置２６は、インバータ１８ａおよび１８ｂに駆動電圧を供給する。

また、図２２〜図２４は、図１８に示したステップＳ６１のメニュー操作処理についてのフロー図である。図２２に示すように、コンピュータ２８はメニュー操作処理を開始すると、ステップＳ１２１で、操作されたボタンを検出する。つまり、ここでは、メモリ２８ａを参照して、ポインティング装置２０の位置情報から、操作（クリックまたはドラッグ）されたボタン等を検出する。

次のステップＳ１２３では、初期化ボタン１０４ａの指示であるかどうかを判断する。つまり、ボタン１０４ａがクリックされたかどうかを判断する。ボタン１０４ａがクリックされていれば、初期化の指示であると判断して、ステップＳ１２３で“ＹＥＳ”となり、ステップＳ１２５で、キャンバスすなわち画像表示領域１０２を初期化して、メニュー操作処理をリターンする。ただし、実際には、ＶＲＡＭが初期化され、画像表示の更新はメイン処理のステップＳ６３で実行される。しかし、ボタン１０４ａがクリックされていなければ、初期化の指示ではないと判断して、ステップＳ１２３で“ＮＯ”となり、ステップＳ１２７で、印刷の指示であるかどうかを判断する。つまり、ボタン１０４ｂがクリックされたかどうかを判断する。

ステップＳ１２７で“ＹＥＳ”であれば、つまりボタン１０４ｂがクリックされていれば、印刷の指示であると判断して、ステップＳ１２９で、キャンバスすなわち画像表示領域１０２に表示された画像を図示しないプリンタを用いて印刷して、メニュー操作処理をリターンする。一方、ステップＳ１２７で“ＮＯ”であれば、つまりボタン１０４ｂがクリックされていなければ、印刷の指示ではないと判断して、ステップＳ１３１で、キャプチャの指示であるかどうかを判断する。つまり、ボタン１０４ｃがクリックされたかどうかを判断する。

ステップＳ１３１で“ＹＥＳ”であれば、つまりボタン１０４ｃがクリックされていれば、キャプチャの指示であると判断して、ステップＳ１３３で、図示しないＣＣＤカメラで撮影された画像（カメラ画像）をキャプチャして、キャンバスすなわち画像表示領域１０２に表示して、メニュー操作処理をリターンする。ただし、実際には、カメラ画像はＶＲＡＭに貼り付けられるだけであり、画像表示の更新はメイン処理のステップＳ６３で実行される。一方、ステップＳ１３１で“ＮＯ”であれば、つまりボタン１０４ｃがクリックされていなければ、キャプチャの指示でないと判断して、図２３に示すステップＳ１３５で、ペイントモードの選択かどうかを判断する。つまり、ボタン１０４ｄがクリックされたかどうかを判断する。

ステップＳ１３５で“ＹＥＳ”であれば、つまりボタン１０４ｄがクリックされていれば、ステップＳ１３７で、ペイントモードを設定して、図２３に示したように、メニュー操作処理をリターンする。一方、ステップＳ１３５で“ＮＯ”であれば、つまりボタン１０４ｄがクリックされていなければ、ステップＳ１３９で、混ぜ合わせモードの選択かどうかを判断する。つまり、ボタン１０４ｅがクリックされたかどうかを判断する。

ステップＳ１３９で“ＹＥＳ”であれば、つまりボタン１０４ｅがクリックされていれば、ステップＳ１４１で、混ぜ合わせモードを設定して、メニュー操作処理をリターンする。一方、ステップＳ１３９で“ＮＯ”であれば、つまりボタン１０４ｅがクリックされていなければ、ステップＳ１４３で、スタンプモードの選択であるかどうかを判断する。つまり、ボタン１０４ｆがクリックされたかどうかを判断する。

ステップＳ１４３で“ＹＥＳ”であれば、つまりボタン１０４ｆがクリックされていれば、ステップＳ１４５で、スタンプモードを設定して、メニュー操作処理をリターンする。一方、ステップＳ１４３で“ＮＯ”であれば、つまりボタン１０４ｆがクリックされていなければ、図２４に示すステップＳ１４７で、流れ開始または停止の指示であるかどうかを判断する。つまり、ボタン１０４ｇがクリックされたかどうかを判断する。

ステップＳ１４７で“ＹＥＳ”であれば、つまりボタン１０４ｇがクリックされていれば、ステップＳ１４９で、停止中であるかどうかを判断する。つまり、流れフラグがオフであるかどうかを判断する。ここで、流れフラグがオフであれば、“ＹＥＳ”となり、ステップＳ１５１で、流れフラグをオンして、図２２に示したように、メニュー操作処理をリターンする。しかし、流れフラグがオンであれば、“ＮＯ”となり、ステップＳ１５３で、流れフラグをオフして、メニュー操作処理をリターンする。

一方、ステップＳ１４７で“ＮＯ”であれば、つまりボタン１０４ｇがクリックされていなければ、流れの開始または停止の指示ではないと判断し、ステップＳ１５５で、流れの変更（または設定）の指示であるかどうかを判断する。つまり、流れ設定領域１０４ｈの矢印１０４ｈ´がドラッグされたかどうかを判断する。

ステップＳ１５５で“ＹＥＳ”であれば、つまり矢印１０４ｈ´がドラッグされると、ステップＳ１５７で、指定（指示）された方向および大きさに矢印１０４ｈ´を変更して、メニュー操作処理をリターンする。これにより、流れの方向および強さが変更（設定）される。一方、ステップＳ１５５で“ＮＯ”であれば、つまり矢印１０４ｈ´がドラッグされていなければ、ステップＳ１５９で、筆またはキャラクタの変更（または設定）の指示であるかどうかを判断する。つまり、アイコン表示領域１０４ｉに表示されたアイコンがクリック（選択）されたかどうかを判断する。

ステップＳ１５９で“ＮＯ”であれば、つまりメニュー表示領域１０４上のいずれのボタンもアイコンもクリックないしドラッグされていない場合には、そのままメニュー操作処理をリターンする。一方、ステップＳ１５９で“ＹＥＳ”であれば、つまりアイコン表示領域１０４ｉに表示されたいずれかのアイコンがクリックされると、ステップＳ１６１で、クリックされたアイコンに対応する筆またはキャラクタを選択して、メニュー操作処理をリターンする。たとえば、ステップＳ１６１では、選択された筆またはキャラクタについてのフラグがオンされ、選択中であることを判別するようにしてある。

この実施例によれば、ユーザが作画する際に画像の色や画像の流れに応じた力を加えるようにするため、実際のキャンバスに絵を描いているような没入感を得ることができるだけでなく、色に定義した重さから得ることができる画像の架空の感触や水の流れを模した画像の流れによる事象から生まれる感覚を楽しみながら作画することができる。つまり、より使い易いコンピュータインターフェイスを提供することができる。

なお、この実施例では、ポインティング装置の位置を検出するために、赤外光を検出する検出素子等を用いたが、ＣＣＤイメージャやＣＭＯＳを用いたカメラで撮影した画像を処理および解析することにより、その位置を検出することもできる。かかる場合には、ボタンのクリック情報は、コンピュータに無線或いは有線で入力する必要がある。

また、この実施例では、ユーザに力を提示するため、リニアモータを用いるとともに、その導電体を、ユーザの把持するポインティング装置の一部に設けるようにした。しかし、ユーザに力を提示する装置は、これに限定されるべきではない。

たとえば、米国のセンサブル・テクノロジー社製の「Ｐｈａｎｔｏｍ（登録商標）：商品名」を用いることができる。この場合には、上述の実施例で示したリニアモータ、ポインティング装置および検出装置に代えて、「Ｐｈａｎｔｏｍ」を適用するようにすればよい。つまり、ユーザの操作情報、操作位置および力の提示を「Ｐｈａｎｔｏｍ」を用いて行うのである。この「Ｐｈａｎｔｏｍ」は、センサブル・テクノロジー社のホームページ（URL http://www.sensable.com/products/phantom_ghost/phantom.asp）に紹介されている。

また、株式会社サイヴァース社製の「ＳＰＩＤＡＲ−Ｇ：商品名」を用いることもできる。つまり、上述の「Ｐｈａｎｔｏｍ」の場合と同様に、上述の実施例で示したリニアモータ、ポインティング装置および検出装置に代えて、「ＳＰＩＤＡＲ−Ｇ」を適用するようにすれば、この「ＳＰＩＤＡＲ−Ｇ」を通して、ユーザに力を提示することができる。この「ＳＰＩＤＡＲ−Ｇ」は、株式会社サイヴァース社のホームページ（URL http://www.cyverse.co.jp/jp/Products/3dGrip/）に紹介されている。

さらに、このような力提示装置に置き換える場合には、プロジェクタから出力した映像ないし画像をデスクプレート上に表示する構成に限らず、これらに代えて、ＬＣＤ，ＥＬパネルまたはＣＲＴなどを用いることもできる。

図１はこの発明の体感作画装置の構成の一例を示す図解図である。 図２は図１に示すデスクトップ装置の構成の一例を示す図解図である。 図３は図２に示すリニアモータの固定子コアに巻かれるコイルの電気的な構成を示す図解図である。 図４は図１に示すポインティング装置の電気的な構成を示す図解図およびそれに設けられるボタンのオン／オフ時に明滅される赤外ＬＥＤのパターンを示す図解図である。 図５は図１に示すプロジェクタユニットの具体的な構成を示す図解図である。 図６は図１に示す検出装置の具体的な構成を示す図解図およびそれに設けられる検出素子で赤外光を検出する方法を説明するための説明図である。 図７は図１に示すデスクプレートに表示されるコンピュータ画面の例を示す図解図である。 図８は図７に示すコンピュータ画面のメニュー表示領域に表示されるメニューの一例を示す図解図である。 図９は図７に示すコンピュータ画面の画像表示領域に表示される画像の一例を示す図解図である。 図１０は図７に示すコンピュータ画面のメニュー表示領域に表示されるメニューの他の例を示す図解図である。 図１１は図７に示すコンピュータ画面の画像表示領域に表示される画像の他の例を示す図解図である。 図１２は図７に示すコンピュータ画面の画像表示領域に流れ表示される画像の一例を示す図解図である。 図１３は流れデータの一例を示す図解図である。 図１４はポインティング装置に加えられる慣性力、流体抵抗力および色摩擦抵抗力を説明するための図解図である。 図１５は図１に示すポインティング装置のＬＥＤ制御回路で実行される処理を示すフロー図である。 図１６は図１に示す周辺装置用信号処理装置のクリック検出処理を示すフロー図である。 図１７は図１に示す周辺装置用信号処理装置の抵抗値出力処理を示すフロー図である。 図１８は図１に示すコンピュータのメイン処理を示すフロー図である。 図１９は図１に示すコンピュータのメモリ更新処理を示すフロー図である。 図２０は図１に示すコンピュータの作画・モータ駆動処理の一部を示すフロー図である。 図２１は図１に示すコンピュータの作画・モータ駆動処理の他の一部を示すフロー図である。 図２２は図１に示すコンピュータのメニュー操作処理の一部を示すフロー図である。 図２３は図１に示すコンピュータのメニュー操作処理の他の一部を示すフロー図である。 図２４は図１に示すコンピュータのメニュー操作処理のその他の一部を示すフロー図である。

符号の説明

１０ …体感作画装置
１２ …デスクトップ装置
１４ …デスクプレート
１４ａ，１４ｂ，１４ｃ …スライダー抵抗
１６ …リニアモータ
１８ａ，１８ｂ …インバータ
２０ …ポインティング装置
２２ …プロジェクタユニット
２４ …検出装置
２６ …周辺装置用信号処理装置
２８ …コンピュータ

Claims (9)

1. 少なくとも画像をデスクプレートに表示する表示手段、
   前記デスクプレート上に配置される移動体と前記移動体に連結されユーザによって把持可能な把持部とを含み、前記移動体を移動させることにより、少なくとも前記ユーザによる操作情報を入力し、作画するためのポインティング手段、および
   前記ポインティング手段によって作画されるとき、少なくとも作画される画像の色に応じて異なる大きさの反力を前記移動体に与える力提示手段を備える、体感作画装置。
2. 少なくとも色を決定するための色決定手段をさらに備え、
   前記表示手段は、前記ポインティング手段によって作画されるとき、当該ポインティング手段によって指示される現在位置に、前記色決定手段によって決定された色を貼り付ける色貼り付け手段を含む、請求項１記載の体感作画装置。
3. 前記表示手段は、前記ポインティング手段によって作画されるとき、操作の開始時点において当該ポインティング手段によって指示される位置に貼り付けられた色に、所定の透過率を掛け合わせつつ、当該ポインティング手段によって現在指示される位置に表示された色を混ぜ合わせる混合手段を含む、請求項１記載の体感作画装置。
4. 前記表示手段は、前記画像を任意の方向に流れるように表示する、請求項１ないし３のいずれかに記載の体感作画装置。
5. 少なくとも前記画像の流れる方向を決定する流れ決定手段をさらに備え、
   前記表示手段は、前記流れ決定手段によって決定された方向に前記画像を流れるように表示する、請求項４記載の体感作画装置。
6. 前記流れ決定手段は前記画像の流れの強さをさらに決定する、請求項５記載の体感作画装置。
7. 前記力提示手段は、貼り付ける色に対応する色の重さによる慣性力、前記画像の流れによる流体抵抗力および既に作画された画像についての色の境界における色摩擦抵抗力の少なくとも１つに基づく力を前記ポインティング手段に与える、請求項４ないし６のいずれかに記載の体感作画装置。
8. 前記色の重さは少なくとも色の輝度に応じて決定される、請求項７記載の体感作画装置。
9. 前記表示手段は、プロジェクタをさらに含み、
   前記ポインティング手段は、前記操作情報を検出する操作情報検出手段をさらに含み、
   前記移動体は導電体を含み、
   前記力提示手段は、前記導電体、前記デスクプレート下に設けられる固定子コア、および前記固定コアに巻かれる固定子コイルを備えるリニアインダクションモータを含む、請求項１ないし８のいずれかに記載の体感作画装置。

Images