JP4043447B2 - 筆記モーションの画区分認識システムおよびその認識方法 - Google Patents

Description

本発明は、モーションの認識システムに関し、特に、空間上で生じたモーションを認識するシステムおよびその認識方法に関する。

近年に入って、ＰＤＡ、セルラーホン、ノートブック等のパーソナルモバイル機器の市場が広範囲に拡大しつつある。この種のパーソナルモバイル機器は、携帯し易いことから何時何所にでも情報を活用しようとするユビキタス環境に最も符合しているといえる。即ち、最近のモバイル機器は、従前の情報利用環境が家庭内に設置されたデスクトップＰＣ等に限定されていたことから移動中でも情報が利用できるようにすることによって、何時何所にでも情報を活用することができるようにしている。

しかし、この種のモバイル機器は、携帯し易い分全体的な嵩が減少するに伴い、ユーザーのディスプレイを介しての認識および命令入力等に多少不便を強いられるという不具合がある。このように、モバイル機器においては、携帯の容易性と情報の入出力の容易性とが相反するため、これを克服するための方法が工夫されつつある。
最近、モバイル機器をより利用し易くするための代案として、ペン型入力システムが台頭しつつある。一般のペン型入力システムは、二次元平面上で道具を介して入力された筆記動作または選択動作を認識し、この認識した情報によって画面に内容を表示したり、対応する動作をするように設計されている。

図１は、従来のペン型入力システムの入力形態を示す図である。ペン型入力システムは、ユーザーが手に取って筆記または選択動作を行なえるスタイラスペン１０およびディスプレイ２２を有する。同図には、ディスプレイ２２の二次元平面上にペン１０の一部が接触した状態からメニュー選択命令および／または筆記動作を認識し、メニュー選択による対応動作または筆記内容をディスプレイ２２に表示するＰＤＡ２０を示している。ここで、ペン１０は、別の電気的な手段を要することなく、単にポインティング道具または筆記道具としての役割を果たし、ＰＤＡ２０は、ペン１０先の接触部位に対応する信号処理を行なう。

前記のようなペン型入力システムは、ディスプレイ２２が有する二次元平面へのペン先の接触状態によって入力情報を判断する仕組みとなっている。即ち、ＰＤＡ２０は、ディスプレイに表示された現在の画面がメニューを表示する画面である場合、ペン１０先の接触する領域に対応する情報をメニュー選択情報と判断し、この選択した位置情報に基づいて該当命令を行なう。また、ＰＤＡ２０は、筆記内容が認識できる画面を表示した状態では、ペン１０の接触位置が連続して変る情報を獲得し、この獲得した情報から筆記内容をディスプレイ２２の画面に表示する。

しかし、前記のようなペン型入力システムでは、ユーザーが二次元平面を有するディスプレイ上で筆記を行なうため、より正確に筆記内容が認識できるものの、メニュー選択または筆記動作を限定されたディスプレイ２２画面内で行なう必要があることから、依然としてユーザーの入力動作には不便が伴うという不具合を抱えている。このような不具合を解決するために、特許文献１及び２は、ペンの内部にモーションを検出するためのセンサーを組み込み、ユーザーの三次元空間上での筆記動作を該センサーを介して検出し認識するシステムを提案している。
米国特許第６１８１３２９号公報 米国特許第６２１２２９６号公報

前記特許文献１及び２に開示されたペン型入力システムでは、三次元空間上で行われた筆記動作が認識でき、ユーザーが筆記面積に制限を受けることなく情報が入力できるようにする。しかし、このシステムでは、ユーザーの三次元空間上での筆記時、子音および母音またはアルファベット等の様々な記号が連続して発生することにより、認識エラーが生じ得る素地が大であるという不具合を抱えている。即ち、人々は、大半が筆記動作をする時、第３者が筆記内容をより把握し易いように子音および母音または各アルファベット等の記号を相互分節して筆記を行なう。しかし、前記ペン型システムの場合、ペンと筆記平面との摩擦による高周波信号を把握し、子音および母音並びにアルファベット等の記号が分節されたことと認識するため、三次元空間上で行われた筆記動作に対しては、更なる分節の認識ができなくなる。従って、三次元空間上での筆記動作による内容をディスプレイ等に表示したい場合、ユーザーの意図とは裏腹に連続した筆記体の内容としか表示できず、第３者が情報を認識するにおいて容易ではないという不具合がある。

本発明の目的は、前記のような問題点を解決するために、別の筆記面を要することなく、空間上での筆記動作による複数の記号に対し、純粋筆記内容のための記号だけを分節し認識する空間モーションの認識システムおよびその認識方法を提供することにある。

前記目的を達成するための本発明に係る空間モーションの認識システムは、３次元の空間上でシステム本体の動きによる加速度を検知し、電気的信号に出力するモーション検出部；および前記モーション検出部から出力された電気的信号より前記システム本体のモーションが一時停止された区間を最終筆記内容をなしている少なくとも１つの画が有する開始点と終わり点である前記画の分節と判断し、所定のサンプルに対する前記モーション検出部で検出された前記加速度の標準偏差と予め定められた所定の標準偏差の閾値とに基づき前記画の開始時間と前記画の終わり時間とを判断し、前記筆記内容を復元する制御部と；を含む。
また、前記目的を達成するための本発明に係る空間モーションの認識方法は、３次元の空間上でシステム本体の加速度を検出するステップと；前記システム本体のモーションが一時停止した区間が存在すると、最終筆記内容をなしている少なくとも１つの画を有している開始点と終わり点である前記画の分節と判断し、所定のサンプルに対する前記モーション検出部で検出された前記加速度の標準偏差と予め定められた所定の標準偏差の閾値とに基づき前記画の開始時間と前記画の終わり時間とを判断するステップ；および前記判断結果によって前記システム本体の筆記内容を復元するステップと；を含む。

以上のような本発明に係る空間モーションの認識システムおよび方法によると、ユーザーの空間上で行なった筆記動作に対し、画を区分して認識できるため、ユーザーの筆記内容を層一層正確に復元および再生できるようになる。

以上で説明した本発明に係る空間モーションの認識システムおよび方法によると、空間上での筆記動作に対し、画を区分することができるようになるため、より一層正確な認識を行なうことができることで認識エラーを画期的に低減することができ、ディスプレイ等により明確にユーザーの意図が表示できるようになる。

以下、添付した図面を参照して、本発明を詳細に説明する。

図２は、本発明の実施例に係る空間モーションの認識システムの概略的なブロック図である。システム１００は、モーション検出部１１０、ディスプレイ１２０、送受信部１３０、および制御部１４０を含む。
モーション検出部１１０は、システム本体の加速度の変化および位置変化を連続して検出する。このために、モーション検出部１１０は、複数のジャイロセンサー、複数の加速度センサー、および各センサーから伝わった電気的信号から演算処理を行なう演算回路を含む構成を有する。

ディスプレイ１２０は、システム本体のモーションを画面から表示する。ここで、ディスプレイ１２０は、一つの本体を有する認識システム内に組み込まれてもよく、更には、他のシステム内に組み込まれた画面表示手段であってもよい。
送受信部１３０は、制御部１４０の制御下で認識されたモーション情報またはモーション情報に対応する制御信号を外部の他のシステムに伝送する。

制御部１４０は、モーション検出部１１０から検出されたシステム本体の加速度の変化および位置変化を検出し、システム本体の移動加速度および位置変化の情報に基づき、ユーザーの三次元空間上で行なった筆記内容を認識する。この時、制御部１４０は、システム本体の検出されたモーション情報に基づき、システム本体のモーションが一時停止した区間に対し分節区間と判断して筆記内容を復元する。

ここで、分節は、ユーザーの空間筆記動作によりシステム本体が動くことから一画の軌跡を分離することといえる。言い換えれば、三次元空間上での一画の軌跡は、毎画の開始と終りを見つけだすことといえる。三次元空間上で行われた筆記動作において二画の間に一画の一部または無意味な動きのある区間を識別することは容易なことではない。しかし、本発明のシステムでは、三次元空間上での筆記動作に対し、ユーザーにより意図的に毎画の開始と終りの間で停止する動作から画を区分するようになる。

モーション検出部１１０を介しての停止区間の検出は、一見して容易であるように思われるが、実際の応用では、手振れといった幾つかの障害要素がある。手振れに対する対処方法として、加速度測定値の臨界値を予め定義し、臨界値より小さい測定値を所定の時間維持するかどうかを測定することで簡単に解決できるようにみえる。しかし、ユーザーが他の方向にシステムの向きを切り換えると、加速度は瞬間的にゼロに近い値に測定される。この時、所定の時間以上に加速度が臨界値より小さい値を維持すると、検出エラーが発生する。従って、加速度がほぼゼロであることを必ずしも一時停止区間と決めつけることはできない。ユーザーがシステムを動かす間加速度を一定に保つことは非常に難しいことであるため、加速度の標準偏差に対して制御部１４０は一時停止を検出するために、次のような基準を有する。

１）所定の時間ｋに対し、時間区間［ｋ、ｋ＋Ｈ］の間、下式（１）が成立する場合、ｋは画の開始ｋ₁である。
σ^s _|An|(k)＞σ_th ・・・・・ （１）
２）所定の時間ｋ≧ｋ₁+Ｗに対し、時間区間［ｋ、ｋ＋Ｈ］の間、下式（２）が成立する場合、（ｋ−Ｓ）は、画の終りｋ₂である。

σ^s _|An|(k)＜σ_th ・・・・・ （２）
ここで、σ^s _|An|(k)：時間ｋの直前のＳ個のサンプルに対する絶対値加速度|An|の標準偏差
σ_th：|An|に対する標準偏差の臨界値
Ｗ：一画を書くための最小の時間区間として予め設定される
Ｈ：臨界値σ_thより小となるσ^s _|An|(k)を維持する最小の時間区間として予め設定される。
ここで、留意すべきことは、σ^s _|An|(k)がｋ以前の複数のサンプルＳにより影響を受けるため、基準２）において画の終りがｋでなく、（ｋ−Ｓ）になるという点である。

図３は、検出された加速度に対する標準偏差の典型的な推移と加速度の大きさを示す図である。また、図３には、空間上での筆記動作において一画の開始と終り部分を示す部分に対し拡大して示している。同図において、線Ａ｜An(k)｜は、システム加速度において重力加速度の誤差を示し、線 B (σ^s _|An|(k))はkまでのS個のサンプルに対する加速度の標準偏差を示し、線Cは標準偏差と臨界値の誤差を示す。図３の拡大された部分において、大きさの一致する二つのサンプル区間は、ユーザーにより一時停止動作が行われた区間を示す。

図４は、空間上で‘ｓａｍｓｕｎｇ’と書いた動作に対し、システムで分節部分を認識し表示しているシミュレーション図である。純粋な記号の区間は、多少高い加速度の変化を示し、ユーザーの一時停止動作による区間は、ほぼ一定な加速度を示していることが分かる。
以上では、本発明の好適な実施例について説明したが、本発明は、上述した特定の実施例に限定されるものではなく、請求の範囲で請求する本発明の要旨を逸脱することなく当該発明の属する技術分野における通常の知識を有する者であれば誰でも種々の変形実施が可能であることはもとより、そのような変更は、請求の範囲記載の範囲内にあることが明らかである。

三次元空間上での入力システムであって、モバイル機器のポータビリティーの向上のために適用される。

従来のペン型入力システムの入力形態の例を示す図である。 本発明の実施例に係る空間モーションの認識システムの概略的なブロック図である。 加速度に対する標準偏差の典型的な推移と加速度の大きさを示す図である。 空間上で‘ｓａｍｓｕｎｇ’と書いた動作に対し、システムで分節部分を認識し表示しているシミュレーション図である。

符号の説明

１０：スタイラスペン
２０：ＰＤＡ
２２：ディスプレイ面
１００：システム
１１０：モーション検出部
１２０：ディスプレイ
１３０：送受信部
１４０：制御部

Claims (4)

1. ３次元の空間上でシステム本体の動きによる加速度を検知し、電気的信号に出力するモーション検出部と、
   前記モーション検出部から出力された電気的信号から前記システム本体のモーションが一時停止された区間を最終筆記内容をなしている少なくとも１つの画が有する開始点と終わり点である前記画の分節であると判断し、所定のサンプルに対する前記モーション検出部で検出された前記加速度の標準偏差と予め定められた所定の標準偏差の閾値とに基づいて前記画の開始時間と前記画の終わり時間とを判断し、前記筆記内容を復元する制御部と、
   を含むことを特徴とする空間モーションの認識システム。
2. 前記制御部は、ある時間ｋ₁について、
   時間区間［ｋ₁、ｋ₁+Ｈ］間の時間ｋに対して
   を満足すると、前記ｋ₁を前記画の開始時間であると判断することを特徴とする請求項１に記載の空間モーションの認識システム。
   （尚、
   はｋ-Ｓ+１からｋまでのＳ個のサンプルに対する前記モーション検出部で検出された前記加速度の標準偏差、σ_thは予め定められた所定の標準偏差の閾値、Ｈは予め定められた所定の時間である。）
3. 前記制御部は、前記画の開始時間から予め定められた所定の最小筆記時間が経過した後のある時間ｋ_２について、
   時間区間[ｋ_２、ｋ_２+Ｈ]間の時間ｋに対して、σ ^s _CAnC(k) ＜σ_thを満足すると、 前記ｋ_２-Ｓを前記画の終わり時間であると判断することを特徴とする、請求項２に記載の空間モーションの認識システム。
4. ３次元の空間上でシステム本体の加速度を検出するステップと、
   前記システム本体のモーションが一時停止された区間が存在すると、最終筆記内容をなしている少なくとも１つの画を有している開始点と終わり点である前記画の分節と判断し、所定のサンプルに対する前記モーション検出部で検出された前記加速度の標準偏差と予め定められた所定の標準偏差の閾値とに基づき前記画の開始時間と前記画の終わり時間とを判断するステップと、
   前記判断結果によって前記システム本体の筆記内容を復元するステップと、
   を含むことを特徴とする空間モーションの認識方法。