JP4049708B2 - 描画支援装置および描画システム - Google Patents
描画支援装置および描画システム Download PDFInfo
- Publication number
- JP4049708B2 JP4049708B2 JP2003152919A JP2003152919A JP4049708B2 JP 4049708 B2 JP4049708 B2 JP 4049708B2 JP 2003152919 A JP2003152919 A JP 2003152919A JP 2003152919 A JP2003152919 A JP 2003152919A JP 4049708 B2 JP4049708 B2 JP 4049708B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- area
- support apparatus
- unit
- mouth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、コンピュータ等の機器で描画を行なう際において、当該機器と人間との間のインタフェースをとるための構成に関する。
【０００２】
【従来の技術】
従来、コンピュータ上で動作する描画アプリケーションを用いて、機械図面などの工学的な描画にとどまらず、芸術上の描画や彩色が行なわれるようになっている。
【０００３】
ここで、描画と彩色は、一般に、手の動きが、紙やキャンバスや、あるいは上述したような電子イメージといった媒体の上に、ペンやブラシやデジタルタブレットといったものによって、創作者の印象等を表現する人間のコミュニケーション上の表現形式の一つであるといえる。
【０００４】
このような描画と彩色を、コンピュータ上で実現しようとする場合、一般的な入力装置は、ペンタブレットやマウス、必要に応じてキーボードを組み合わせたものとなる。このような入力装置は、紙やキャンバスに、創作者が手で描画する場合に比べると、その操作が、直感性に欠けてしまう、と言う問題がある。
【０００５】
一方で、人間の体の一部の動きを用いて、コンピュータ等への入力装置として用いる試みがある。
【０００６】
たとえば、非特許文献１においては、マウスピース上の小さな圧力センサを用いることで、人間の舌の動きにより、カーソルを制御する技術が開示されている。
【０００７】
また、非特許文献２においては、口腔内の形状を音源に対する応答を分析するすることでモニターして、人間の口の形状によりパラメータを制御する技術が開示されている。
【０００８】
さらに、非特許文献３においては、口腔の外観の幅、高さ等を画像分析により抽出して、機械合成される音の制御を行なう技術が開示されている。
【０００９】
【非特許文献１】
C.Salem, S.Zhai, "An Isometric Tongue Pointing Device," Proceedings of CHI '97, pp.538-539,1997
【００１０】
【非特許文献２】
N.Orio, "A Gesture Interface Controlled by the Oral Cavity," In Proceedings of the 1997 Internatinal Computer Music,1997
【００１１】
【非特許文献３】
M.J.Lyons, and N.Tetsutani, "Facing the Music: A facial Action Controlled Musical Interface," In CHI 2001 Extended Abstracts, ACM Press, pp.309-310, 2001
【００１２】
【発明が解決しようとする課題】
しかしながら、上述したような技術では、たとえば、人間がコンピュータ上で描画や彩色を行なう際のマン−マシンインタフェースとして利用するには、特別の熟練を必要としたり、あるいは、描画や彩色の制御を行なうのに十分な精度を得られない等の問題があった。
【００１３】
また、描画や彩色を行なう際のインターフェースとして利用するには、視線方向等の人間の動作の範囲を制限してしまい、その操作が窮屈なものとなってしまう、という問題があった。
【００１４】
それゆえに、本発明の目的は、描画や彩色を行なう際のマン−マシンインタフェースとして、容易に十分な精度を実現できる描画支援装置および描画システムを提供することである。
【００１５】
さらに、本発明の目的は、描画や彩色を行なう際のマン−マシンインタフェースとして、人間の視線等の動作に不自然な制限をかけることがない描画支援装置および描画システムを提供することである。
【００１６】
【課題を解決するための手段】
したがって、この発明の１つの局面に従うと、描画システムにおいて、ユーザから描画パラメータの入力を行なうための描画支援装置であって、ユーザの口領域を撮影するための撮像手段と、描画のための少なくとも線図データの入力を行なうための入力手段と、撮像手段により撮影された画像データから、ユーザの口腔に対応する領域の面積を抽出して、面積に基づいて描画される線図の質を制御するための正規化された線質パラメータを生成して出力する演算処理手段と、線質パラメータに応じて描画された線図を表示するための表示手段とを備える。
好ましくは、入力手段は、面積に基づいて正規化パラメータを算出し、正規化パラメータにゲインをかけた値に基づいて線質パラメータを生成する。
さらに好ましくは、入力手段は、ユーザからの設定指示を受け取り、演算処理手段は、設定指示に応じてゲインの値を設定する。
【００１７】
好ましくは、ユーザの頭部に装着される固定具をさらに備え、固定具は、撮像手段の位置を可変に保持するためのアームを含み、演算処理手段は、撮像手段により撮影されたユーザの口領域の画像データを左右反転させて表示手段に表示するための反転手段を含む。
【００１８】
好ましくは、演算処理手段は、画像データ中の色情報に基づいて、口腔に対応する領域を抽出する口領域抽出手段と、口領域抽出手段の出力を受けて、正規化された線質パラメータを描画の処理を行なうための描画処理手段に出力する正規化手段とを含む。
【００１９】
好ましくは、入力手段は、ユーザからの選択指示を受け取り、演算処理手段は、線図の質として、少なくとも色、太さおよび硬さのうち、選択指示に応じて選択される１つを制御する。
【００２０】
この発明の他の局面に従うと、ユーザから与えられる描画指示に基づいて、対応する描画データを生成するための描画処理装置と、ユーザからの描画指示に対応する描画パラメータの入力を行なうための描画支援装置とを備え、描画支援装置は、ユーザの口領域を撮影するための撮像手段と、描画のための少なくとも線図データの入力を行なうための入力手段と、撮像手段により撮影された画像データから、ユーザの口腔に対応する領域の面積を抽出して、面積に基づいて描画される線図の質を制御するための正規化された線質パラメータを生成して描画処理装置に出力する演算処理手段と、線質パラメータに応じて描画処理装置により描画された線図を表示するための表示手段とを含む。
【００２１】
【発明の実施の形態】
［ハードウェア構成］
以下、本発明の実施の形態にかかる描画支援装置について説明する。この描画支援装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、人物の顔の映像から、口の部分のうちの口腔領域（空いた口の領域）を抽出して、描画制御のための信号を生成するものである。
【００２２】
図１は、本発明の描画支援装置を用いた描画システム１００の構成を示す概略ブロック図である。
【００２３】
図１を参照して、この描画システム１００は、パーソナルコンピュータなどのコンピュータ１１０と、コンピュータ１１０に接続された表示装置としてのディスプレイ１０８と、同じくコンピュータ１１０に接続された入力装置としてのペン１０４およびタブレット１０６と、ユーザ２の頭に装着されたヘッドセットから伸びたアームによりユーザ２の口付近の画像を取込むためのカメラ（以下、「ヘッドマウントカメラ」と呼ぶ）１０２と、コンピュータ１１０からの信号に応じて、描画データを生成し、生成された描画データをコンピュータ１１０に送り返すことで、対応する画像をディスプレイ１０８に表示するための描画専用マシン１３０とを含む。
【００２４】
ペン１０４およびタブレット１０６は、描画のための少なくとも線図データの入力を行なう入力装置であり、好ましくは、これらを用いて、描画される線の質（たとえば、ペンの大きさ（線の太さ）や硬さ（ペンの硬さの質感）や、線の透明度や色）のうち、いずれの質を描画支援装置により制御するか選択する。
【００２５】
また、この実施の形態のシステムでは、カメラ１０２としては、たとえば、ＣＣＤ（固体撮像素子）を含むビデオカメラを用いる。
【００２６】
なお、図示しないが、コンピュータ１１０には、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）ドライブおよびＦＤ（Flexible Disk ）ドライブなど、外部の記録媒体からのデータを取り込むための装置が設けられており、入力装置として、他に、キーボードやマウスが接続されていてもよい。上記線の質は、これらキーボードやマウスによって、ユーザにより選択されることとしてもよい。
【００２７】
さらに、図１を参照して、コンピュータ１１０は、バスＢＳそれぞれに接続された、ＣＰＵ（Central Processing Unit ）１１０４と、ＲＯＭ（Read Only Memory) １１０６と、ＲＡＭ（Random Access Memory）１１０８と、ハードディスク１１１０と、カメラ１０２からの画像を取り込み、入力装置からの信号を受け取り、また描画専用マシン１３０との間でデータを授受するためのインタフェース部１１０２とを含んでいる。
【００２８】
したがって、描画システム１００において描画専用マシン１３０以外の部分は、描画支援装置、言いかえると、描画の際のユーザ２に対するインターフェース装置として機能する。
【００２９】
既に述べたように、描画システム１００において描画支援装置として機能する、描画専用マシン１３０以外の部分の主要部は、ともに、コンピュータハードウェアと、ＣＰＵ１１０４により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭや、ＦＤ等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブまたはＦＤドライブ等により記憶媒体から読取られてハードディスク１１１０に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク１１１０にコピーされる。そうしてさらにハードディスク１１１０からＲＡＭ１１０８に読出されてＣＰＵ１１０４により実行される。なお、ネットワーク接続されている場合には、たとえば、ハードディスク１１１０に格納することなくＲＡＭ１１０８に直接ロードして実行するようにしてもよい。
【００３０】
図１に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＣＤ−ＲＯＭや、ハードディスク１１１０等の記憶媒体に記憶されたソフトウェアである。
【００３１】
なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該描画支援装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて描画支援装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールまで含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。
【００３２】
図２は、本発明に係る描画支援装置の使用状況を説明するための図である。
口領域の画像を獲得するためには、固定された遠方にあるカメラを使うことも可能である。
【００３３】
ただし、図１および図２においては、ユーザの頭に装着されたヘッドセットにより支持されるヘッドマウントカメラ１０２が、口領域の画像を獲得するために用いられる。このことは、カメラ１０２が撮影した画像から、システム１００が頭を検出して追跡するという必要をなくすので、画像処理のタスクの複雑さを低減する。さらに、ユーザ２にとってみれば、固定された遠方にあるカメラを使わなければならない場合に比べて、より動きやすくかつ快適であるという効果もある。
【００３４】
ヘッドマウントカメラ１０２は、一般的なマイクロフォン付きのヘッドセットにおいて、変形可能なアーム先端に装着されたマイクロフォンを、たとえば、ＵＳＢ（Universal Serial Bus）ウェブカメラで置き換えたものである。
【００３５】
この変形可能なアームは、ユーザに容易にカメラの位置を調整することを可能とする。本発明において使用されているＵＳＢカメラは、大変小さなものであり、１／５’インチＣＭＯＳ（Complementary Metal Oxide Silicon）画像センサとＵＳＢインターフェイスが、たとえば、４５×１８ｍｍの大きさのボード上に１つの回路として組込まれたものである。このようなカメラは、ＵＳＢポートによって電源供給される。
【００３６】
［ソフトウェア構成］
図３は、図１に示した描画システム１００上で動作するソフトウェアの構成を説明するための機能ブロック図である。図３においては、コンピュータ１１０上で動作するソフトウェア１２００と、描画専用マシン１３０上で動作する描画モジュール１３００との関係を示している。
【００３７】
図３を参照して、ヘッドマウントカメラ１０２から入力された画像信号は、画像キャプチャ部１２０２により画像データとして取り込まれ（キャプチャされ）た後、画像反転部１２０４において、垂直線に対して反転されて表示部１０８に表示される。このような反転処理により、ユーザ２によって、カメラの位置を直感的に調整することを可能にしている。なお、実際には、キャプチャされた画像データは、表示部１０８に対応する画像が表示されるとともに、ハードディスク１１１０の所定の領域に格納されて、その後の演算処理を受けることになる。
【００３８】
キャプチャされた画像データは、口領域抽出部１２０６において、画素（ピクセル）にそれぞれが対応している２値の数値アレイに変換され、この２値の数値アレイは、空いた口の部分（口腔に対応する部分）と他の部分とに分けられる。
【００３９】
空いた口の領域の面積は、口腔内の画素数を加算することによって計算される。このような空いた口の領域の面積は、出力正規化部１２０８により、描画や彩色を制御する信号とするために正規化され、ＴＣＰ／ＩＰを経由して、描画モジュール１３００のようなアプリケーションプログラムに伝送される。
【００４０】
図４は、図２に示した描画支援装置の使用状況において、ディスプレイ１０８に表示されるユーザインターフェイス画面を示す図である。
【００４１】
このインターフェイスは、ユーザ２が、アプリケーションの制御のために異なったマッピング方法（Mapping Method）を選択することを可能としている。ただし、発明者らによる実験的結果の示すところでは、線形的なマッピング方法（図４中の「Linear」）がコンピュータ描画のためにはよりよいことが示されている。
【００４２】
このユーザインターフェイスでは、カメラの名称（「Capture Devise Selected」の項目）２００２や、カメラの画像２００４や、抽出された現状の口の領域２０１０ａまたは２０１０ｂや、単位時間当りのプログラムサイクル等が示されている。単位時間当りのプログラムサイクルは、イメージ処理のレートを示している。実時間では、これは、画像のフレームレートよりも速い必要がある。
【００４３】
［口腔の色分割の処理］
以下では、図３に示した口領域抽出部１２０６の動作についてさらに説明する。
【００４４】
たとえば、顔の動きを認識するためのアルゴリズムに対しては、既に重要な技術の報告がある。但し、本発明においては、口の形状を認識するということがその目的とする作業ではなく、口の形状に基づいて、滑らかで再現性があり、かつユーザ２にとって直感的な操作を可能とするパラメータの抽出を可能とする処理を実現することにある。
【００４５】
口領域抽出部１２０６は、以下に説明するような、色に基づいた分割アルゴリズムを用いることで、画像中の口腔の領域（空いた口の領域）を抽出する。
【００４６】
はじめに、口腔の画素を検出するのに適切な入力画像の情報の表現として、赤色成分および輝度Ｉ（Ｉ＝Ｒ＋Ｇ＋Ｂ；Ｒ：赤色信号，Ｇ：緑色信号，Ｂ：青色信号）とを決定する。輝度は、口腔が通常の照明条件においては影のように見えることから有益な情報を与える。口の内側は、また、相対的に高い赤色成分によって特徴付けられる。
【００４７】
本実施の形態の描画支援装置では、特に限定されないが、口腔を分割するための２つの方法を選択的に実行可能なように構成されている。これら２つの方法とは、単純なしきい値を用いる方法と、フィッシャによる分離分析による方法である。
【００４８】
ユーザ２は、その経験に基づいて、図４に示したインターフェイス上のチェックボックス２０２０ａまたは２０２０ｂをクリックすることで、これらのうちの１つの方法を選択する。
【００４９】
（しきい値法）
１番目の単純なしきい値法では、口腔は、以下の条件を満たすものとして分割される。
【００５０】
Ｉ＞Ｉmin， Ｒ＜Ｒmax
ここで、値ＩminおよびＲmaxは、輝度Ｉと赤色信号Ｒのしきい値である。
【００５１】
これらのしきい値は、ユーザ２によって、図４に示したインターフェイス上のスライドバー２０３０または２０３２をそれぞれ調整することによって変更される。
【００５２】
（フィッシャの分離分析法）
２番目のアプローチは、フィッシャの分離分析を用いるもので、二次元の色空間において、入力画像の口腔と他の領域との間の境界を決定するものである。
【００５３】
フィッシャの分離分析法については、文献：R. Duda, and P.hart, "Pattern Classification and Scene Analysis," New York:Wiley, 1973に詳しいので、以下では、フィッシャの分離分析法を用いる場合のモードの動作を簡単に説明する。
【００５４】
フィッシャの分離分析を用いる方法には、２つのモードがある。
第１の「トレーニングモード」では、口領域抽出部１２０６において、分離分析が初期化され、正規化のためのファクタが獲得される。第２の「動作モード」では、口領域抽出部１２０６は、実時間で口腔の領域を出力するサーバのように動作する。
【００５５】
図５は、トレーニングモードにおけるユーザ２の口の位置と、動作モードにおける抽出された口腔の領域とを示す図である。
【００５６】
まず、トレーニングモードに入ると、ユーザ２は、カメラ１０２を動かして、図４の画像２００４において、その口腔の領域を図５（ａ）に示される中央の長方形領域（白い長方形）に位置させる。さらに、ユーザ２は、唇の領域を、図５（ａ）に示される、上記中央の長方形領域に隣接する２つの長方形領域と重なるように口を動かす。
【００５７】
図５（ｂ）は、動作モードにおいて抽出された口腔領域を示す。この画像において、口腔の領域に属するピクセルは、白で表され、口腔領域以外の領域に属するピクセルは、黒で表される。
【００５８】
図６は、フィッシャ（Fisher）の分離分析の手続きを示す概念図である。
２つのクラス（口腔の領域および口腔領域以外の領域）の画素からの（Ｒ，Ｉ）の値χｍおよびχｓが、フィッシャ分析で用いる分離ベクトルφを計算するために用いられる。サンプル値χｍは、口腔の領域のピクセルの値であり、サンプル値χｓは、口腔の領域以外の領域のピクセルの値である。
【００５９】
口腔と口腔以外の領域の画素の間の境界の位置は、口腔の領域の（Ｒ，Ｉ）値の分離ベクトルへの射影＜φTχｍ＞の平均値μmと標準偏差σmとから決定されるしきい値を用いて判断される。さらに、このしきい値の計算には、口腔以外の領域の（Ｒ，Ｉ）値の分離ベクトルへの射影＜φTχｓ＞の平均値μsも使用される。このしきい値は、重み付けのしきい値βによって調整され得る。
【００６０】
すなわち、（平均値μm）＞（平均値μs）が成り立てば、しきい値は、（μm−βσm）とされる。一方、（平均値μm）＞（平均値μs）が成り立たなければ、しきい値は、（μm＋βσm）とされる。
【００６１】
なお、値βは、図４においてスライドバー２０３４によりユーザにより調整される。
【００６２】
動作モードにおいては、入力画像における画素の（Ｒ，Ｉ）値が、口腔であるか口腔でないかを、フィッシャの分離分類処理を行なうソフトウェア上の演算モジュールを用いることで分類する。画像中の各画素は、口腔のものであるか口腔のものでないかについてのラベル付けがされる。ラベル付けされた口腔の画像が、図５（ｂ）に示す画像である。
【００６３】
［出力の正規化処理］
続いて、図３に示した出力正規化部１２０８の処理について説明する。
【００６４】
口腔の領域の面積は、口腔に属しているとラベル付けされた画像中の画素の数Ｍで表現される。このパラメータＭの値は、カメラの微小な平行移動や回転に対しては不変なものであり、この結果、カメラの微小な動きや振動に対しては影響を受けない。
【００６５】
この領域は、口腔領域の最大値Ｍmaxおよび最小値Ｍminによって、以下の式にしたがって正規化パラメータＮＰに変換される。
【００６６】
【数１】
【００６７】
この結果、出力されるパラメータＮＰは（０，１）の領域に含まれる。
ユーザは、トレーニングモードにおいて、最大値Ｍmaxおよび最小値Ｍminを入力するものとする。
【００６８】
［ゲインの設定］
正規化されたパラメータＮＰは、ペンを制御するためのパラメータＰにマッピングされる。このＰは、ペンの大きさや硬さや、透明度や色といったものを制御するのに用いることができる。
【００６９】
Ｐ／Ｐmax＝ｇＮＰ
ここで、値Ｐmaxは、ペンパラメータの最大値である。すなわち、値ＮＰに対して、制御のためのパラメータＰは、線型に変化することになり、これが、図４において、ユーザ２がマッピング方法として、線型を選択したことに対応する。
【００７０】
値（Ｐ／Ｐmax），ＮＰ，およびゲインｇは、０と１の間との値をとる次元のないパラメータである。このように正規化されることによって、仕様の異なるシステム間でのパラメータの授受が容易となる。
【００７１】
ゲインｇが大きくなるにつれて、所定のパラメータＰを入力するのにユーザは口を大きく開ける必要はなくなり、システムの負荷も軽減される。
【００７２】
しかしながら、ゲインｇが大き過ぎると、口の意識しない動きまで増幅されてしまうため、ペンパラメータＰの値を制御することが困難になる。ゲインｇの値もユーザ２が設定するものとしてよい。
【００７３】
［評価結果］
ゲインｇの大きさと、制御の正確さとの間の期待されるトレードオフを調査するために、以下のような評価タスクの実験を行なった。これは、「半径制御タスク」と呼ばれる。
【００７４】
（半径制御タスクの内容）
このタスクにおいては、実験主体（ユーザ２）は、描画支援装置を用いて、口を開けたり閉めたりすることで、コンピュータディスプレイ上に描かれた円の半径が、それが目標となる正方形に正確に接するまで調節を行なう。
【００７５】
図７は、ターゲット半径と制御された円の半径の関係を示す図である。
目標サイズに到達したときには、ユーザは、スペースバーをクリックし、同一の位置を３秒間保持しようとする。その後、ユーザは、次のタスクに対応した試行を順次行なっていく。
【００７６】
（実験の手続き）
この実験の独立した変数は、ゲインｇと、ターゲットとなる正方形のサイズである。正方形の半分（すなわち、ターゲットとなる半径）は、（５，２３，４２，６２，８０）の値をとり、ゲインｇは、（０．２５，０．５，０．８）の値をとるものとした。
【００７７】
ゲインｇとターゲットとなる大きさの各組合せは、３回ずつ繰返されたので、全部で４５回の試行が行なわれている。
【００７８】
このような試行を行なう順番は、各実験主体について、ランダムとした。実験主体は、１２８０×１０２４画素の解像度を有する１９インチの液晶ディスプレイの前に約６０ｃｍ離れて座っている。このような実験を行なうには約１０分を要した。
【００７９】
４人の被験者が実験に参加した。二人は、描画支援装置を用いた経験が以前ある者であり、他の二人は、初めて使用する者である。
【００８０】
各試行において、スペースバーを押すことで、制御された円の半径は、コンピュータにその後の３秒間にわたって記録される。
【００８１】
以下の式にしたがって、誤差の絶対値の平均Ｅ（ターゲットの半径Ｔ（ｘ，ｙ）と実際に制御された半径Ｃ（ｘ，ｙ）との間の差の絶対値の平均）を、ユーザの制御の正確さを計る指標として計算する。一方、上記３秒間の平均的な位置からの標準偏差σ（ｘ，ｙ）がユーザの制御の精緻さの指標として計算する。
【００８２】
【数２】
【００８３】
ここで、ｘおよびｙは、ゲインとターゲットのパラメータとのインデックスであり、ｎは、各ターゲットのテストにおけるサンプル数である。
【００８４】
（実験結果）
図８は、平均的な絶対値誤差Ｅを示しており、各ゲインの値に対するすべてのターゲットの大きさで平均されている。
【００８５】
一方、図９は、各ゲインｇに対して、ターゲットのサイズにわたって平均された標準偏差σを示す図である。
【００８６】
経験のあるユーザおよび経験のないユーザに対する平均値は、それぞれ実線と点線で別々に示されている。
【００８７】
図８および図９を参照して、経験のないユーザに対する平均の絶対値誤差および標準偏差は、いずれも大きなものとなっているので、描画支援装置の使用経験が、その動作を向上させることを示している。
【００８８】
正確さは、経験者に対しては、ゲインに大きく依存していないが、経験のないユーザに対しては、より低いゲインの方がより高い正確さを示している。
【００８９】
精緻さは、ユーザが、固定された値の入力半径をどれぐらいよく維持することができるかを示す指標であるので、経験者および非経験者の双方に対して、より低いゲインの方が、よりよい値（より標準偏差の平均値が小さい値）となっている。
【００９０】
これらの結果は、より低いゲインの設定、たとえば、ｇ＝０．２５というものが、最も高い正確さと入力された半径の制御の精緻さとをもたらすことを示している。
【００９１】
口は、多くの人間活動に関わっているものであり、人間自身の感覚運動の制御システムが、微細な動きの制御を可能としているものである。本発明では、簡単な画像分析アルゴリズムにより、口の開いた領域を測定し、このようにして得られた１つのパラメータが、アーティストが彩色したり描画したりする際に、実時間でペンやブラシの大きさや硬さや透明度や色やあるいは他の特性を特定することを可能としている。
【００９２】
以上説明したとおり、本発明に係る描画支援装置を用いることで、手と口との協調したジェスチャを用いることで、直感的かつ正確な、デジタル画像の生成におけるパラメータ制御が、容易に可能となる。このような描画支援装置では、人間の体に傷を付けることなく、快適かつ低コストに、ユーザのコンピュータ上での描画の支援を実現できる。
【００９３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００９４】
【発明の効果】
以上説明したとおり、本発明によれば、手と口との協調したジェスチャを用いることで、直感的かつ正確な、デジタル画像の生成におけるパラメータ制御が、容易に可能となる。
【００９５】
あるいは、本発明によれば、人間の体に傷を付けることなく、快適かつ低コストに、ユーザのコンピュータ上での描画の支援を実現できる。
【００９６】
あるいは、本発明によれば、描画や彩色を行なう際のマン−マシンインタフェースとして、ユーザの視線等の動作に不自然な制限をかけることがない。
【図面の簡単な説明】
【図１】 本発明の描画支援装置を用いた描画システム１００の構成を示す概略ブロック図である。
【図２】 本発明に係る描画支援装置の使用状況を説明するための図である。
【図３】 図１に示した描画システム１００上で動作するソフトウェアの構成を説明するための機能ブロック図である。
【図４】 描画支援装置の使用状況において、ディスプレイ１０８に表示されるユーザインターフェイス画面を示す図である。
【図５】 トレーニングモードにおけるユーザ２の口の位置と、動作モードにおける抽出された口腔の領域とを示す図である。
【図６】 フィッシャの分離分析の手続きを示す概念図である。
【図７】 ターゲット半径と制御された円の半径の関係を示す図である。
【図８】 平均的な絶対値誤差Ｅを示す図である。
【図９】 各ゲインｇに対して、ターゲットのサイズにわたって平均された標準偏差σを示す図である。
【符号の説明】
２ ユーザ、１００ 描画システム、１０２ ヘッドマウントカメラ、１０４ペン、１０６ タブレット、１０８ ディスプレイ、１１０ コンピュータ、１３０ 描画専用マシン。
【発明の属する技術分野】
この発明は、コンピュータ等の機器で描画を行なう際において、当該機器と人間との間のインタフェースをとるための構成に関する。
【０００２】
【従来の技術】
従来、コンピュータ上で動作する描画アプリケーションを用いて、機械図面などの工学的な描画にとどまらず、芸術上の描画や彩色が行なわれるようになっている。
【０００３】
ここで、描画と彩色は、一般に、手の動きが、紙やキャンバスや、あるいは上述したような電子イメージといった媒体の上に、ペンやブラシやデジタルタブレットといったものによって、創作者の印象等を表現する人間のコミュニケーション上の表現形式の一つであるといえる。
【０００４】
このような描画と彩色を、コンピュータ上で実現しようとする場合、一般的な入力装置は、ペンタブレットやマウス、必要に応じてキーボードを組み合わせたものとなる。このような入力装置は、紙やキャンバスに、創作者が手で描画する場合に比べると、その操作が、直感性に欠けてしまう、と言う問題がある。
【０００５】
一方で、人間の体の一部の動きを用いて、コンピュータ等への入力装置として用いる試みがある。
【０００６】
たとえば、非特許文献１においては、マウスピース上の小さな圧力センサを用いることで、人間の舌の動きにより、カーソルを制御する技術が開示されている。
【０００７】
また、非特許文献２においては、口腔内の形状を音源に対する応答を分析するすることでモニターして、人間の口の形状によりパラメータを制御する技術が開示されている。
【０００８】
さらに、非特許文献３においては、口腔の外観の幅、高さ等を画像分析により抽出して、機械合成される音の制御を行なう技術が開示されている。
【０００９】
【非特許文献１】
C.Salem, S.Zhai, "An Isometric Tongue Pointing Device," Proceedings of CHI '97, pp.538-539,1997
【００１０】
【非特許文献２】
N.Orio, "A Gesture Interface Controlled by the Oral Cavity," In Proceedings of the 1997 Internatinal Computer Music,1997
【００１１】
【非特許文献３】
M.J.Lyons, and N.Tetsutani, "Facing the Music: A facial Action Controlled Musical Interface," In CHI 2001 Extended Abstracts, ACM Press, pp.309-310, 2001
【００１２】
【発明が解決しようとする課題】
しかしながら、上述したような技術では、たとえば、人間がコンピュータ上で描画や彩色を行なう際のマン−マシンインタフェースとして利用するには、特別の熟練を必要としたり、あるいは、描画や彩色の制御を行なうのに十分な精度を得られない等の問題があった。
【００１３】
また、描画や彩色を行なう際のインターフェースとして利用するには、視線方向等の人間の動作の範囲を制限してしまい、その操作が窮屈なものとなってしまう、という問題があった。
【００１４】
それゆえに、本発明の目的は、描画や彩色を行なう際のマン−マシンインタフェースとして、容易に十分な精度を実現できる描画支援装置および描画システムを提供することである。
【００１５】
さらに、本発明の目的は、描画や彩色を行なう際のマン−マシンインタフェースとして、人間の視線等の動作に不自然な制限をかけることがない描画支援装置および描画システムを提供することである。
【００１６】
【課題を解決するための手段】
したがって、この発明の１つの局面に従うと、描画システムにおいて、ユーザから描画パラメータの入力を行なうための描画支援装置であって、ユーザの口領域を撮影するための撮像手段と、描画のための少なくとも線図データの入力を行なうための入力手段と、撮像手段により撮影された画像データから、ユーザの口腔に対応する領域の面積を抽出して、面積に基づいて描画される線図の質を制御するための正規化された線質パラメータを生成して出力する演算処理手段と、線質パラメータに応じて描画された線図を表示するための表示手段とを備える。
好ましくは、入力手段は、面積に基づいて正規化パラメータを算出し、正規化パラメータにゲインをかけた値に基づいて線質パラメータを生成する。
さらに好ましくは、入力手段は、ユーザからの設定指示を受け取り、演算処理手段は、設定指示に応じてゲインの値を設定する。
【００１７】
好ましくは、ユーザの頭部に装着される固定具をさらに備え、固定具は、撮像手段の位置を可変に保持するためのアームを含み、演算処理手段は、撮像手段により撮影されたユーザの口領域の画像データを左右反転させて表示手段に表示するための反転手段を含む。
【００１８】
好ましくは、演算処理手段は、画像データ中の色情報に基づいて、口腔に対応する領域を抽出する口領域抽出手段と、口領域抽出手段の出力を受けて、正規化された線質パラメータを描画の処理を行なうための描画処理手段に出力する正規化手段とを含む。
【００１９】
好ましくは、入力手段は、ユーザからの選択指示を受け取り、演算処理手段は、線図の質として、少なくとも色、太さおよび硬さのうち、選択指示に応じて選択される１つを制御する。
【００２０】
この発明の他の局面に従うと、ユーザから与えられる描画指示に基づいて、対応する描画データを生成するための描画処理装置と、ユーザからの描画指示に対応する描画パラメータの入力を行なうための描画支援装置とを備え、描画支援装置は、ユーザの口領域を撮影するための撮像手段と、描画のための少なくとも線図データの入力を行なうための入力手段と、撮像手段により撮影された画像データから、ユーザの口腔に対応する領域の面積を抽出して、面積に基づいて描画される線図の質を制御するための正規化された線質パラメータを生成して描画処理装置に出力する演算処理手段と、線質パラメータに応じて描画処理装置により描画された線図を表示するための表示手段とを含む。
【００２１】
【発明の実施の形態】
［ハードウェア構成］
以下、本発明の実施の形態にかかる描画支援装置について説明する。この描画支援装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、人物の顔の映像から、口の部分のうちの口腔領域（空いた口の領域）を抽出して、描画制御のための信号を生成するものである。
【００２２】
図１は、本発明の描画支援装置を用いた描画システム１００の構成を示す概略ブロック図である。
【００２３】
図１を参照して、この描画システム１００は、パーソナルコンピュータなどのコンピュータ１１０と、コンピュータ１１０に接続された表示装置としてのディスプレイ１０８と、同じくコンピュータ１１０に接続された入力装置としてのペン１０４およびタブレット１０６と、ユーザ２の頭に装着されたヘッドセットから伸びたアームによりユーザ２の口付近の画像を取込むためのカメラ（以下、「ヘッドマウントカメラ」と呼ぶ）１０２と、コンピュータ１１０からの信号に応じて、描画データを生成し、生成された描画データをコンピュータ１１０に送り返すことで、対応する画像をディスプレイ１０８に表示するための描画専用マシン１３０とを含む。
【００２４】
ペン１０４およびタブレット１０６は、描画のための少なくとも線図データの入力を行なう入力装置であり、好ましくは、これらを用いて、描画される線の質（たとえば、ペンの大きさ（線の太さ）や硬さ（ペンの硬さの質感）や、線の透明度や色）のうち、いずれの質を描画支援装置により制御するか選択する。
【００２５】
また、この実施の形態のシステムでは、カメラ１０２としては、たとえば、ＣＣＤ（固体撮像素子）を含むビデオカメラを用いる。
【００２６】
なお、図示しないが、コンピュータ１１０には、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）ドライブおよびＦＤ（Flexible Disk ）ドライブなど、外部の記録媒体からのデータを取り込むための装置が設けられており、入力装置として、他に、キーボードやマウスが接続されていてもよい。上記線の質は、これらキーボードやマウスによって、ユーザにより選択されることとしてもよい。
【００２７】
さらに、図１を参照して、コンピュータ１１０は、バスＢＳそれぞれに接続された、ＣＰＵ（Central Processing Unit ）１１０４と、ＲＯＭ（Read Only Memory) １１０６と、ＲＡＭ（Random Access Memory）１１０８と、ハードディスク１１１０と、カメラ１０２からの画像を取り込み、入力装置からの信号を受け取り、また描画専用マシン１３０との間でデータを授受するためのインタフェース部１１０２とを含んでいる。
【００２８】
したがって、描画システム１００において描画専用マシン１３０以外の部分は、描画支援装置、言いかえると、描画の際のユーザ２に対するインターフェース装置として機能する。
【００２９】
既に述べたように、描画システム１００において描画支援装置として機能する、描画専用マシン１３０以外の部分の主要部は、ともに、コンピュータハードウェアと、ＣＰＵ１１０４により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭや、ＦＤ等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブまたはＦＤドライブ等により記憶媒体から読取られてハードディスク１１１０に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク１１１０にコピーされる。そうしてさらにハードディスク１１１０からＲＡＭ１１０８に読出されてＣＰＵ１１０４により実行される。なお、ネットワーク接続されている場合には、たとえば、ハードディスク１１１０に格納することなくＲＡＭ１１０８に直接ロードして実行するようにしてもよい。
【００３０】
図１に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＣＤ−ＲＯＭや、ハードディスク１１１０等の記憶媒体に記憶されたソフトウェアである。
【００３１】
なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該描画支援装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて描画支援装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールまで含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。
【００３２】
図２は、本発明に係る描画支援装置の使用状況を説明するための図である。
口領域の画像を獲得するためには、固定された遠方にあるカメラを使うことも可能である。
【００３３】
ただし、図１および図２においては、ユーザの頭に装着されたヘッドセットにより支持されるヘッドマウントカメラ１０２が、口領域の画像を獲得するために用いられる。このことは、カメラ１０２が撮影した画像から、システム１００が頭を検出して追跡するという必要をなくすので、画像処理のタスクの複雑さを低減する。さらに、ユーザ２にとってみれば、固定された遠方にあるカメラを使わなければならない場合に比べて、より動きやすくかつ快適であるという効果もある。
【００３４】
ヘッドマウントカメラ１０２は、一般的なマイクロフォン付きのヘッドセットにおいて、変形可能なアーム先端に装着されたマイクロフォンを、たとえば、ＵＳＢ（Universal Serial Bus）ウェブカメラで置き換えたものである。
【００３５】
この変形可能なアームは、ユーザに容易にカメラの位置を調整することを可能とする。本発明において使用されているＵＳＢカメラは、大変小さなものであり、１／５’インチＣＭＯＳ（Complementary Metal Oxide Silicon）画像センサとＵＳＢインターフェイスが、たとえば、４５×１８ｍｍの大きさのボード上に１つの回路として組込まれたものである。このようなカメラは、ＵＳＢポートによって電源供給される。
【００３６】
［ソフトウェア構成］
図３は、図１に示した描画システム１００上で動作するソフトウェアの構成を説明するための機能ブロック図である。図３においては、コンピュータ１１０上で動作するソフトウェア１２００と、描画専用マシン１３０上で動作する描画モジュール１３００との関係を示している。
【００３７】
図３を参照して、ヘッドマウントカメラ１０２から入力された画像信号は、画像キャプチャ部１２０２により画像データとして取り込まれ（キャプチャされ）た後、画像反転部１２０４において、垂直線に対して反転されて表示部１０８に表示される。このような反転処理により、ユーザ２によって、カメラの位置を直感的に調整することを可能にしている。なお、実際には、キャプチャされた画像データは、表示部１０８に対応する画像が表示されるとともに、ハードディスク１１１０の所定の領域に格納されて、その後の演算処理を受けることになる。
【００３８】
キャプチャされた画像データは、口領域抽出部１２０６において、画素（ピクセル）にそれぞれが対応している２値の数値アレイに変換され、この２値の数値アレイは、空いた口の部分（口腔に対応する部分）と他の部分とに分けられる。
【００３９】
空いた口の領域の面積は、口腔内の画素数を加算することによって計算される。このような空いた口の領域の面積は、出力正規化部１２０８により、描画や彩色を制御する信号とするために正規化され、ＴＣＰ／ＩＰを経由して、描画モジュール１３００のようなアプリケーションプログラムに伝送される。
【００４０】
図４は、図２に示した描画支援装置の使用状況において、ディスプレイ１０８に表示されるユーザインターフェイス画面を示す図である。
【００４１】
このインターフェイスは、ユーザ２が、アプリケーションの制御のために異なったマッピング方法（Mapping Method）を選択することを可能としている。ただし、発明者らによる実験的結果の示すところでは、線形的なマッピング方法（図４中の「Linear」）がコンピュータ描画のためにはよりよいことが示されている。
【００４２】
このユーザインターフェイスでは、カメラの名称（「Capture Devise Selected」の項目）２００２や、カメラの画像２００４や、抽出された現状の口の領域２０１０ａまたは２０１０ｂや、単位時間当りのプログラムサイクル等が示されている。単位時間当りのプログラムサイクルは、イメージ処理のレートを示している。実時間では、これは、画像のフレームレートよりも速い必要がある。
【００４３】
［口腔の色分割の処理］
以下では、図３に示した口領域抽出部１２０６の動作についてさらに説明する。
【００４４】
たとえば、顔の動きを認識するためのアルゴリズムに対しては、既に重要な技術の報告がある。但し、本発明においては、口の形状を認識するということがその目的とする作業ではなく、口の形状に基づいて、滑らかで再現性があり、かつユーザ２にとって直感的な操作を可能とするパラメータの抽出を可能とする処理を実現することにある。
【００４５】
口領域抽出部１２０６は、以下に説明するような、色に基づいた分割アルゴリズムを用いることで、画像中の口腔の領域（空いた口の領域）を抽出する。
【００４６】
はじめに、口腔の画素を検出するのに適切な入力画像の情報の表現として、赤色成分および輝度Ｉ（Ｉ＝Ｒ＋Ｇ＋Ｂ；Ｒ：赤色信号，Ｇ：緑色信号，Ｂ：青色信号）とを決定する。輝度は、口腔が通常の照明条件においては影のように見えることから有益な情報を与える。口の内側は、また、相対的に高い赤色成分によって特徴付けられる。
【００４７】
本実施の形態の描画支援装置では、特に限定されないが、口腔を分割するための２つの方法を選択的に実行可能なように構成されている。これら２つの方法とは、単純なしきい値を用いる方法と、フィッシャによる分離分析による方法である。
【００４８】
ユーザ２は、その経験に基づいて、図４に示したインターフェイス上のチェックボックス２０２０ａまたは２０２０ｂをクリックすることで、これらのうちの１つの方法を選択する。
【００４９】
（しきい値法）
１番目の単純なしきい値法では、口腔は、以下の条件を満たすものとして分割される。
【００５０】
Ｉ＞Ｉmin， Ｒ＜Ｒmax
ここで、値ＩminおよびＲmaxは、輝度Ｉと赤色信号Ｒのしきい値である。
【００５１】
これらのしきい値は、ユーザ２によって、図４に示したインターフェイス上のスライドバー２０３０または２０３２をそれぞれ調整することによって変更される。
【００５２】
（フィッシャの分離分析法）
２番目のアプローチは、フィッシャの分離分析を用いるもので、二次元の色空間において、入力画像の口腔と他の領域との間の境界を決定するものである。
【００５３】
フィッシャの分離分析法については、文献：R. Duda, and P.hart, "Pattern Classification and Scene Analysis," New York:Wiley, 1973に詳しいので、以下では、フィッシャの分離分析法を用いる場合のモードの動作を簡単に説明する。
【００５４】
フィッシャの分離分析を用いる方法には、２つのモードがある。
第１の「トレーニングモード」では、口領域抽出部１２０６において、分離分析が初期化され、正規化のためのファクタが獲得される。第２の「動作モード」では、口領域抽出部１２０６は、実時間で口腔の領域を出力するサーバのように動作する。
【００５５】
図５は、トレーニングモードにおけるユーザ２の口の位置と、動作モードにおける抽出された口腔の領域とを示す図である。
【００５６】
まず、トレーニングモードに入ると、ユーザ２は、カメラ１０２を動かして、図４の画像２００４において、その口腔の領域を図５（ａ）に示される中央の長方形領域（白い長方形）に位置させる。さらに、ユーザ２は、唇の領域を、図５（ａ）に示される、上記中央の長方形領域に隣接する２つの長方形領域と重なるように口を動かす。
【００５７】
図５（ｂ）は、動作モードにおいて抽出された口腔領域を示す。この画像において、口腔の領域に属するピクセルは、白で表され、口腔領域以外の領域に属するピクセルは、黒で表される。
【００５８】
図６は、フィッシャ（Fisher）の分離分析の手続きを示す概念図である。
２つのクラス（口腔の領域および口腔領域以外の領域）の画素からの（Ｒ，Ｉ）の値χｍおよびχｓが、フィッシャ分析で用いる分離ベクトルφを計算するために用いられる。サンプル値χｍは、口腔の領域のピクセルの値であり、サンプル値χｓは、口腔の領域以外の領域のピクセルの値である。
【００５９】
口腔と口腔以外の領域の画素の間の境界の位置は、口腔の領域の（Ｒ，Ｉ）値の分離ベクトルへの射影＜φTχｍ＞の平均値μmと標準偏差σmとから決定されるしきい値を用いて判断される。さらに、このしきい値の計算には、口腔以外の領域の（Ｒ，Ｉ）値の分離ベクトルへの射影＜φTχｓ＞の平均値μsも使用される。このしきい値は、重み付けのしきい値βによって調整され得る。
【００６０】
すなわち、（平均値μm）＞（平均値μs）が成り立てば、しきい値は、（μm−βσm）とされる。一方、（平均値μm）＞（平均値μs）が成り立たなければ、しきい値は、（μm＋βσm）とされる。
【００６１】
なお、値βは、図４においてスライドバー２０３４によりユーザにより調整される。
【００６２】
動作モードにおいては、入力画像における画素の（Ｒ，Ｉ）値が、口腔であるか口腔でないかを、フィッシャの分離分類処理を行なうソフトウェア上の演算モジュールを用いることで分類する。画像中の各画素は、口腔のものであるか口腔のものでないかについてのラベル付けがされる。ラベル付けされた口腔の画像が、図５（ｂ）に示す画像である。
【００６３】
［出力の正規化処理］
続いて、図３に示した出力正規化部１２０８の処理について説明する。
【００６４】
口腔の領域の面積は、口腔に属しているとラベル付けされた画像中の画素の数Ｍで表現される。このパラメータＭの値は、カメラの微小な平行移動や回転に対しては不変なものであり、この結果、カメラの微小な動きや振動に対しては影響を受けない。
【００６５】
この領域は、口腔領域の最大値Ｍmaxおよび最小値Ｍminによって、以下の式にしたがって正規化パラメータＮＰに変換される。
【００６６】
【数１】
この結果、出力されるパラメータＮＰは（０，１）の領域に含まれる。
ユーザは、トレーニングモードにおいて、最大値Ｍmaxおよび最小値Ｍminを入力するものとする。
【００６８】
［ゲインの設定］
正規化されたパラメータＮＰは、ペンを制御するためのパラメータＰにマッピングされる。このＰは、ペンの大きさや硬さや、透明度や色といったものを制御するのに用いることができる。
【００６９】
Ｐ／Ｐmax＝ｇＮＰ
ここで、値Ｐmaxは、ペンパラメータの最大値である。すなわち、値ＮＰに対して、制御のためのパラメータＰは、線型に変化することになり、これが、図４において、ユーザ２がマッピング方法として、線型を選択したことに対応する。
【００７０】
値（Ｐ／Ｐmax），ＮＰ，およびゲインｇは、０と１の間との値をとる次元のないパラメータである。このように正規化されることによって、仕様の異なるシステム間でのパラメータの授受が容易となる。
【００７１】
ゲインｇが大きくなるにつれて、所定のパラメータＰを入力するのにユーザは口を大きく開ける必要はなくなり、システムの負荷も軽減される。
【００７２】
しかしながら、ゲインｇが大き過ぎると、口の意識しない動きまで増幅されてしまうため、ペンパラメータＰの値を制御することが困難になる。ゲインｇの値もユーザ２が設定するものとしてよい。
【００７３】
［評価結果］
ゲインｇの大きさと、制御の正確さとの間の期待されるトレードオフを調査するために、以下のような評価タスクの実験を行なった。これは、「半径制御タスク」と呼ばれる。
【００７４】
（半径制御タスクの内容）
このタスクにおいては、実験主体（ユーザ２）は、描画支援装置を用いて、口を開けたり閉めたりすることで、コンピュータディスプレイ上に描かれた円の半径が、それが目標となる正方形に正確に接するまで調節を行なう。
【００７５】
図７は、ターゲット半径と制御された円の半径の関係を示す図である。
目標サイズに到達したときには、ユーザは、スペースバーをクリックし、同一の位置を３秒間保持しようとする。その後、ユーザは、次のタスクに対応した試行を順次行なっていく。
【００７６】
（実験の手続き）
この実験の独立した変数は、ゲインｇと、ターゲットとなる正方形のサイズである。正方形の半分（すなわち、ターゲットとなる半径）は、（５，２３，４２，６２，８０）の値をとり、ゲインｇは、（０．２５，０．５，０．８）の値をとるものとした。
【００７７】
ゲインｇとターゲットとなる大きさの各組合せは、３回ずつ繰返されたので、全部で４５回の試行が行なわれている。
【００７８】
このような試行を行なう順番は、各実験主体について、ランダムとした。実験主体は、１２８０×１０２４画素の解像度を有する１９インチの液晶ディスプレイの前に約６０ｃｍ離れて座っている。このような実験を行なうには約１０分を要した。
【００７９】
４人の被験者が実験に参加した。二人は、描画支援装置を用いた経験が以前ある者であり、他の二人は、初めて使用する者である。
【００８０】
各試行において、スペースバーを押すことで、制御された円の半径は、コンピュータにその後の３秒間にわたって記録される。
【００８１】
以下の式にしたがって、誤差の絶対値の平均Ｅ（ターゲットの半径Ｔ（ｘ，ｙ）と実際に制御された半径Ｃ（ｘ，ｙ）との間の差の絶対値の平均）を、ユーザの制御の正確さを計る指標として計算する。一方、上記３秒間の平均的な位置からの標準偏差σ（ｘ，ｙ）がユーザの制御の精緻さの指標として計算する。
【００８２】
【数２】
ここで、ｘおよびｙは、ゲインとターゲットのパラメータとのインデックスであり、ｎは、各ターゲットのテストにおけるサンプル数である。
【００８４】
（実験結果）
図８は、平均的な絶対値誤差Ｅを示しており、各ゲインの値に対するすべてのターゲットの大きさで平均されている。
【００８５】
一方、図９は、各ゲインｇに対して、ターゲットのサイズにわたって平均された標準偏差σを示す図である。
【００８６】
経験のあるユーザおよび経験のないユーザに対する平均値は、それぞれ実線と点線で別々に示されている。
【００８７】
図８および図９を参照して、経験のないユーザに対する平均の絶対値誤差および標準偏差は、いずれも大きなものとなっているので、描画支援装置の使用経験が、その動作を向上させることを示している。
【００８８】
正確さは、経験者に対しては、ゲインに大きく依存していないが、経験のないユーザに対しては、より低いゲインの方がより高い正確さを示している。
【００８９】
精緻さは、ユーザが、固定された値の入力半径をどれぐらいよく維持することができるかを示す指標であるので、経験者および非経験者の双方に対して、より低いゲインの方が、よりよい値（より標準偏差の平均値が小さい値）となっている。
【００９０】
これらの結果は、より低いゲインの設定、たとえば、ｇ＝０．２５というものが、最も高い正確さと入力された半径の制御の精緻さとをもたらすことを示している。
【００９１】
口は、多くの人間活動に関わっているものであり、人間自身の感覚運動の制御システムが、微細な動きの制御を可能としているものである。本発明では、簡単な画像分析アルゴリズムにより、口の開いた領域を測定し、このようにして得られた１つのパラメータが、アーティストが彩色したり描画したりする際に、実時間でペンやブラシの大きさや硬さや透明度や色やあるいは他の特性を特定することを可能としている。
【００９２】
以上説明したとおり、本発明に係る描画支援装置を用いることで、手と口との協調したジェスチャを用いることで、直感的かつ正確な、デジタル画像の生成におけるパラメータ制御が、容易に可能となる。このような描画支援装置では、人間の体に傷を付けることなく、快適かつ低コストに、ユーザのコンピュータ上での描画の支援を実現できる。
【００９３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００９４】
【発明の効果】
以上説明したとおり、本発明によれば、手と口との協調したジェスチャを用いることで、直感的かつ正確な、デジタル画像の生成におけるパラメータ制御が、容易に可能となる。
【００９５】
あるいは、本発明によれば、人間の体に傷を付けることなく、快適かつ低コストに、ユーザのコンピュータ上での描画の支援を実現できる。
【００９６】
あるいは、本発明によれば、描画や彩色を行なう際のマン−マシンインタフェースとして、ユーザの視線等の動作に不自然な制限をかけることがない。
【図面の簡単な説明】
【図１】 本発明の描画支援装置を用いた描画システム１００の構成を示す概略ブロック図である。
【図２】 本発明に係る描画支援装置の使用状況を説明するための図である。
【図３】 図１に示した描画システム１００上で動作するソフトウェアの構成を説明するための機能ブロック図である。
【図４】 描画支援装置の使用状況において、ディスプレイ１０８に表示されるユーザインターフェイス画面を示す図である。
【図５】 トレーニングモードにおけるユーザ２の口の位置と、動作モードにおける抽出された口腔の領域とを示す図である。
【図６】 フィッシャの分離分析の手続きを示す概念図である。
【図７】 ターゲット半径と制御された円の半径の関係を示す図である。
【図８】 平均的な絶対値誤差Ｅを示す図である。
【図９】 各ゲインｇに対して、ターゲットのサイズにわたって平均された標準偏差σを示す図である。
【符号の説明】
２ ユーザ、１００ 描画システム、１０２ ヘッドマウントカメラ、１０４ペン、１０６ タブレット、１０８ ディスプレイ、１１０ コンピュータ、１３０ 描画専用マシン。
Claims (7)
- 描画システムにおいて、ユーザから描画パラメータの入力を行なうための描画支援装置であって、
前記ユーザの口領域を撮影するための撮像手段と、
描画のための少なくとも線図データの入力を行なうための入力手段と、
前記撮像手段により撮影された画像データから、前記ユーザの口腔に対応する領域の面積を抽出して、前記面積に基づいて描画される線図の質を制御するための正規化された線質パラメータを生成して出力する演算処理手段と、
前記線質パラメータに応じて描画された前記線図を表示するための表示手段とを備える、描画支援装置。 - 前記入力手段は、前記面積に基づいて正規化パラメータを算出し、前記正規化パラメータにゲインをかけた値に基づいて前記線質パラメータを生成する、請求項１記載の描画支援装置。
- 前記入力手段は、前記ユーザからの設定指示を受け取り、
前記演算処理手段は、前記設定指示に応じて前記ゲインの値を設定する、請求項２記載の描画支援装置。 - 前記ユーザの頭部に装着される固定具をさらに備え、
前記固定具は、前記撮像手段の位置を可変に保持するためのアームを含み、
前記演算処理手段は、前記撮像手段により撮影された前記ユーザの口領域の画像データを左右反転させて前記表示手段に表示するための反転手段を含む、請求項１記載の描画支援装置。 - 前記演算処理手段は、前記画像データ中の色情報に基づいて、前記口腔に対応する領域を抽出する口領域抽出手段と、
前記口領域抽出手段の出力を受けて、正規化された前記線質パラメータを前記描画の処理を行なうための描画処理手段に出力する正規化手段とを含む、請求項１記載の描画支援装置。 - 前記入力手段は、前記ユーザからの選択指示を受け取り、
前記演算処理手段は、前記線図の質として、少なくとも色、太さおよび硬さのうち、前記選択指示に応じて選択される１つを制御する、請求項１記載の描画支援装置。 - ユーザから与えられる描画指示に基づいて、対応する描画データを生成するための描画処理装置と、
前記ユーザからの描画指示に対応する描画パラメータの入力を行なうための描画支援装置とを備え、
前記描画支援装置は、
前記ユーザの口領域を撮影するための撮像手段と、
描画のための少なくとも線図データの入力を行なうための入力手段と、
前記撮像手段により撮影された画像データから、前記ユーザの口腔に対応する領域の面積を抽出して、前記面積に基づいて描画される線図の質を制御するための正規化された線質パラメータを生成して前記描画処理装置に出力する演算処理手段と、
前記線質パラメータに応じて前記描画処理装置により描画された前記線図を表示するための表示手段とを含む、描画システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003152919A JP4049708B2 (ja) | 2003-05-29 | 2003-05-29 | 描画支援装置および描画システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003152919A JP4049708B2 (ja) | 2003-05-29 | 2003-05-29 | 描画支援装置および描画システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004355379A JP2004355379A (ja) | 2004-12-16 |
| JP4049708B2 true JP4049708B2 (ja) | 2008-02-20 |
Family
ID=34048019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003152919A Expired - Fee Related JP4049708B2 (ja) | 2003-05-29 | 2003-05-29 | 描画支援装置および描画システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4049708B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4778362B2 (ja) * | 2005-08-15 | 2011-09-21 | 株式会社神戸製鋼所 | 情報処理装置及びそのプログラム |
-
2003
- 2003-05-29 JP JP2003152919A patent/JP4049708B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004355379A (ja) | 2004-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fischer et al. | Rt-gene: Real-time eye gaze estimation in natural environments | |
| EP3713220B1 (en) | Video image processing method and apparatus, and terminal | |
| JP4072071B2 (ja) | 顔画像補正方法および装置、並びに顔画像補正プログラム | |
| JP5570548B2 (ja) | 顔面肌分析装置 | |
| JP6090679B2 (ja) | 電子ミラー装置 | |
| JP6882868B2 (ja) | 画像処理装置、画像処理方法、システム | |
| WO2014083721A1 (ja) | 情報処理装置および情報処理方法 | |
| WO2014064870A1 (ja) | 画像処理装置および画像処理方法 | |
| TW201446215A (zh) | 圖像解析裝置、圖像解析方法、及圖像解析程式 | |
| JP2011145795A (ja) | 画像処理プログラム、画像処理装置、画像処理方法および画像処理システム | |
| JP2009194644A (ja) | 画像処理装置，画像処理方法及び撮像装置 | |
| CN109614902A (zh) | 人脸图像处理方法、装置、电子设备及计算机存储介质 | |
| CN109147024A (zh) | 基于三维模型的表情更换方法和装置 | |
| JP4419768B2 (ja) | 電子機器の制御装置 | |
| JP2011022733A (ja) | メーキャップシミュレーション装置、メーキャップシミュレーションプログラム及び対面販売支援方法 | |
| JP5227212B2 (ja) | 肌色測定装置、肌色測定プログラム、メイクアップシミュレーション装置及びメイクアップシミュレーションプログラム | |
| JP2010072813A (ja) | 画像処理装置および画像処理プログラム | |
| JP2020527814A (ja) | 実物体の相互作用的な３ｄ表現を作成および表示するためのシステムおよび方法 | |
| JP2022120681A (ja) | 画像処理装置および画像処理方法 | |
| CN110136233B (zh) | 一种生成美甲效果图的方法、终端以及存储介质 | |
| JP4049708B2 (ja) | 描画支援装置および描画システム | |
| WO2013187282A1 (ja) | 撮像画像表示装置、撮像画像表示方法、記録媒体 | |
| JP2007134763A (ja) | 画像処理装置 | |
| WO2019043734A1 (en) | SYSTEM AND METHOD FOR GENERATING A VIRTUAL 360 DEGREE VIEW OF A CLOTHING | |
| WO2022011621A1 (zh) | 一种人脸光照图像生成装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071029 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071120 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071127 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |