JP5560151B2 - 手書き図形認識システム、手書き図形認識方法及びプログラム - Google Patents
手書き図形認識システム、手書き図形認識方法及びプログラム Download PDFInfo
- Publication number
- JP5560151B2 JP5560151B2 JP2010207114A JP2010207114A JP5560151B2 JP 5560151 B2 JP5560151 B2 JP 5560151B2 JP 2010207114 A JP2010207114 A JP 2010207114A JP 2010207114 A JP2010207114 A JP 2010207114A JP 5560151 B2 JP5560151 B2 JP 5560151B2
- Authority
- JP
- Japan
- Prior art keywords
- handwritten
- coordinate point
- coordinate
- point
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Transforming Electric Information Into Light Information (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1に、発明に係る手書き図形認識システムを含む電子黒板システムの構成例を示す。図1に示す電子黒板システムは、投影面101、位置検出装置102、表示画面投影装置104、制御用コンピュータ105、制御用コンピュータ105に付属するキーボード106及び表示装置107、再帰性反射材108で構成されている。この実施例の場合、入力物体として、指103を使用する。
図2に、手書きで図形を描画する際における1ストロークの構成点の例を示す。図では、構成点を丸印で示している。図中(A)は、円を反時計回りに描画した場合の構成点の軌跡を表している。円の軌跡21を構成する構成点の間隔はほぼ一定の間隔となっている。これは円には角がないため、一定の速度で描画を完遂させることができるためである。また、位置検出装置102による座標情報の取り込みが一定間隔で実行されるためでもある。
図3は、手書きで六角形を描画した際の軌跡31と、パターンマッチングにより図形認識を行った場合の認識結果候補を示した図である。
図4に、手書きで時計回りに六角形を描画した際の軌跡41とストロークの構成点42との関係を示す。本図でも、構成点42は丸印で表している。この構成点42の座標点は、座標算出プログラム1051により算出される。座標算出プログラム1051は、座標点の検出順に図5に示すように通し番号を付し、内部メモリに確保した入力オブジェクト別の構成点テーブルに格納する。図6に、構成点テーブル601の例を示す。1、2、3、…Nが構成点に付される通し番号である。各構成点には、X座標とY座標が格納される。
図8及び図9に、手書き図形認識プログラム1052で実行される処理内容のうち頂点位置の設定に関する処理の概要を示す。なお、各ステップの実行主体は、手書き図形認識プログラム1052又は制御用コンピュータ105である。前述したように、本形態例の場合には、位置検出装置102によるペンや指のサンプリング周期は一定である。サンプリング周期が一定であれば、構成点間の移動距離が大きい部分は素早く描画したことになり、逆に構成点間の移動距離が小さければゆっくり描画したことになる。
まず最初に、制御用コンピュータ105の内部メモリ上に確保された各構成点間の累積距離がゼロに初期化される。この形態例の場合、累積距離とは、ストロークの先頭(始点)位置からの軌跡に沿って計測される長さを与える変数である。
ストロークの先頭から順番に、構成点の検出順に構成点間の距離が算出される。例えば図5の場合、構成点1と構成点2の間の距離、構成点2と構成点3の間の距離が、1ステップに付き1個ずつ算出される。2点間の距離の算出には、図6の構成点テーブル601から読み出されるX座標とY座標を用い、三平方の定理に基づいて導き出される2点間の距離を求める公式により算出される。
累計距離を代入する変数の現在値に対し、ステップ802で求めた構成点間の距離を加算する。
続いて、さらに次の構成点があるかどうかが判定される。すなわち、1ストロークの終点に当たる構成点を処理したか否かが判定される。次の構成点が存在する場合、処理動作はステップ802に戻る。この判定で否定結果が得られるまでの間、次の構成点間の距離の算出と、その加算による累積距離の更新処理が繰り返し実行される。
ステップ804で否定結果が得られた場合(次の構成点が存在しない場合)、処理動作はステップ805に進む。ステップ805では、構成点間当たりの平均移動距離が算出される。ここで、平均移動距離は、累計距離を構成点数から1を差し引いた値で除算することにより求められる。
ここでは、頂点判定用の距離(判定距離)が算出される。すなわち、ペンや指の移動がゆっくりになっている部分かどうかを判定するための判定基準を与える判定距離が算出される。この形態例の場合、ステップ805で算出された構成点間当たりの平均移動距離に距離判定閾値を乗算することにより算出する。
このステップでは、頂点位置のバッファを初期化する。具体的には、描画対象とするオブジェクトについて確保された頂点テーブル701(図7)の座標データ部分を初期化する。この形態例の場合、頂点として格納可能な構成点の最大個数Mは予め規定されている。
このステップでは、頂点の位置を算出するために角の開始番号を記憶する変数を初期化する。すなわち、開始番号をゼロに設定する。
ここでは、ストロークの開始点から順番に、ステップ802で算出された構成点間の距離が1つだけメモリ領域から読み出される。なお、構成点間の距離がメモリ領域に格納されていない場合には、改めて、構成点テーブル601から構成点間の距離が開始点から順番に算出される。次に、読み出された構成点間の距離とステップ806で求めた判定距離とを比較し、ゆっくり描画された部分かどうかを判定する。処理対象とする区間の距離が判定距離より小さいとき、ゆっくり描画された部分であると判定される。すなわち、高密度部分であると判定される。この場合、ステップ810の処理に進む。一方、処理対象の距離が判定距離以上のとき、直線部分であると判定される。この場合は、ステップ814に進む。
このステップでは、角の開始番号がゼロ(初期値)か否かを判定する。
ステップ810で角の開始番号がゼロ(初期値)であると判定された場合、現在参照している構成点の番号を角の開始番号として記憶する。例えば図10に示す構成点列が検出された場合にあって、構成点2と構成点3の間の距離が判定距離より小さい場合、1つ目の頂点に対応する角の開始番号に「3」が格納される。
このステップは、ステップ810で肯定結果が得られた場合又はステップ811が実行された後に実行される。このステップでは、角の終了番号に現在の構成点の番号を格納する。図10の例であれば、まず最初に、終了番号として「3」が設定される。
このステップでは、次の構成点があるかどうかが判定される。すなわち、1ストロークの終点に当たる構成点を処理したか否かが判定される。次の構成点が存在する場合、処理動作はステップ809に戻る。この判定で否定結果が得られるまでの間、次の構成点間の距離の算出と、その加算による累積距離の更新処理が繰り返し実行される。なお、図10において、構成点3と構成点4の間の距離及び構成点4と構成点5の間の距離は判定距離より小さいのに対し、構成点5及び構成点6の間の距離は判定距離以上であるものとすると、角の終了番号は、ステップ809→ステップ810→ステップ812→813を繰り返す間に、「3」→「4」→「5」へと更新される。
このステップは、ステップ809で否定結果が得られた場合、すなわち構成点間の距離が判定距離以上であった場合に実行される。例えば図10の構成点5と構成点6の間の距離が処理対象となった場合に実行される。図10に示すように、描画速度がゆっくりとは判定できない部分について実行される。
このステップは、新しく検出された角について頂点位置を確定する処理を実行する。この形態例の場合、角の開始番号から角の終了番号までの間の中間(半分)付近に位置する構成点を頂点位置として記憶する。例えば図10の例であれば、構成点4を頂点位置として登録する。なお、角の開始番号から角の終了番号までの間に偶数個の構成点が存在する場合には、例えば開始番号と終了番号を加算した値を2分の1した値の前後に隣接する構成点のうちいずれか1つを選択する。
このステップでは、ステップ815で求まった頂点位置をバッファに記憶する。具体的には、頂点テーブル701(図7)の先頭から順番に頂点に対応する構成点のX座標とY座標を登録する。
このステップでは、さらに次の構成点があるかどうかが判定される。すなわち、1ストロークの終点に当たる構成点を処理したか否かが判定される。次の構成点が存在する場合、処理動作はステップ808に戻る。なお、ステップ808では、新たな角の検出に備えて角の開始番号がリセットされる。もっとも、ステップ808では、終了番号も同時にリセットしても良い。
このステップは、ステップ813で否定結果が得られた場合やステップ817で否定結果が得られた場合に実行される。ステップ813で否定結果が得られる場合とは、図12に示すように、ストロークの終点付近で描画速度が遅くなったまま描画が終了したような場合である。このステップでは、処理対象とするストロークで描画されたオブジェクトが閉図形か開図形かを判定する。この形態例の場合、ストロークの開始点を与える構成点1の座標値(X1,Y1)とストロークの終了点を与える構成点Nの座標値(XN,YN)の距離を算出し、当該距離が判定閾値より大きいか否かで判定する。判定閾値より距離が大きい場合は開図形と判定し、判定閾値より距離が小さい場合は閉図形と判定する。判定閾値は固定値でも良いし、オブジェクトのサイズ等をパラーメタに用いて算出しても良い。なお、開図形と判定された場合には、手書き図形認識プログラム1052の処理を終了する。一方、閉図形と判定された場合には、ステップ819に進む。
このステップでは、ストロークの終了点に対応する構成点Nの位置を頂点位置に設定する。
このステップでは、終了点に対応する構成点Nの位置をバッファに記録する。具体的には、頂点テーブル701(図7)の先頭からn(≦N)番目の頂点に対応する記憶領域にX座標とY座標を登録する。この後、当該ストロークに対する手書き図形認識プログラム1052の処理を終了する。
ここでは、手書き図形認識プログラム1052で実行される処理内容のうち図形の描画に関する処理の概要を説明する。
以上説明したように、本形態例に係る電子黒板システムを用いれば、パターンマッチング法では認識精度が低下するような手書き図形の場合でも、ユーザの意図した図形に自動的に整形して画面上に表示することが可能になる。
前述の形態例の場合には、整形多角形の外接矩形内にある頂点の数に基づいて正多角形を表示しているが、ステップ820が終了した時点において頂点テーブル701に座標データが記憶されている頂点の数nを読み出し、当該数nに対応する正多角形を表示面に直接描画させる処理を行っても良い。
102 位置検出装置
103 人間の指
104 表示画面投影装置
105 制御用コンピュータ
1051 座標算出プログラム
1052 手書き図形認識プログラム
106 キーボード
107 表示装置
108 再帰性反射材
Claims (12)
- 入力物体を用いた操作入力面に対する操作入力を座標点列として検出する手段と、
ダウン操作の検出からアップ操作の検出までの間に検出される前記座標点列を構成する各座標点の座標データを1つのオブジェクトに対応付けて格納する記憶領域と、
前記記憶領域から読み出した前記座標点列が高密度に出現する部分を検出し、当該部分を入力オブジェクトの頂点位置として認識する手段と
を有し、
前記認識する手段は、前記座標点列のうち座標点の出現間隔が、前記座標点列の平均移動距離に基づいて設定される判定閾値より小さい高密度部分を前記入力オブジェクトの頂点位置として抽出する
ことを特徴とする手書き図形認識システム。 - 請求項1に記載の手書き図形認識システムにおいて、
前記認識する手段は、前記高密度部分の開始点を与える座標点と前記高密度部分の終了点を与える座標点との中間付近に出現する座標点を前記頂点位置として認識する
ことを特徴とする手書き図形認識システム。 - 請求項1又は2に記載の手書き図形認識システムにおいて、
認識された頂点位置同士を直線で結び図形を表示面に表示させる
ことを特徴とする手書き図形認識システム。 - 請求項1又は2に記載の手書き図形認識システムにおいて、
認識された頂点位置の数を検出し、当該数に対応する正多角形図形を表示面に表示させる
ことを特徴とする手書き図形認識システム。 - 入力物体を用いた操作入力面に対する操作入力を座標点列として検出する工程と、
ダウン操作の検出からアップ操作の検出までの間に検出される前記座標点列を構成する各座標点の座標データを1つのオブジェクトに対応付けて記憶領域に格納する工程と、
前記記憶領域から読み出した前記座標点列が高密度に出現する部分を検出し、当該部分を入力オブジェクトの頂点位置として認識する工程と
を有し、
前記認識する工程は、前記座標点列のうち座標点の出現間隔が、前記座標点列の平均移動距離に基づいて設定される判定閾値より小さい高密度部分を前記入力オブジェクトの頂点位置として抽出する
ことを特徴とする手書き図形認識方法。 - 請求項5に記載の手書き図形認識方法において、
前記認識する工程は、前記高密度部分の開始点を与える座標点と前記高密度部分の終了点を与える座標点との中間付近に出現する座標点を前記頂点位置として認識する
ことを特徴とする手書き図形認識方法。 - 請求項5又は6に記載の手書き図形認識方法において、
認識された頂点位置同士を直線で結び図形を表示面に表示させる
ことを特徴とする手書き図形認識方法。 - 請求項5又は6に記載の手書き図形認識方法において、
認識された頂点位置の数を検出し、当該数に対応する正多角形図形を表示面に表示させる
ことを特徴とする手書き図形認識方法。 - 手書き図形認識システムを構成するコンピュータに、
入力物体を用いた操作入力面に対する操作入力を座標点列として検出する工程と、
ダウン操作の検出からアップ操作の検出までの間に検出される前記座標点列を構成する各座標点の座標データを1つのオブジェクトに対応付けて記憶領域に格納する工程と、
前記記憶領域から読み出した前記座標点列が高密度に出現する部分を検出し、当該部分を入力オブジェクトの頂点位置として認識する工程と
を実行させ、
前記認識する工程は、前記座標点列のうち座標点の出現間隔が、前記座標点列の平均移動距離に基づいて設定される判定閾値より小さい高密度部分を前記入力オブジェクトの頂点位置として抽出する
ことを特徴とする手書き図形認識プログラム。 - 請求項9に記載の手書き図形認識プログラムにおいて、
前記認識する工程は、前記高密度部分の開始点を与える座標点と前記高密度部分の終了点を与える座標点との中間付近に出現する座標点を前記頂点位置として認識する
ことを特徴とする手書き図形認識プログラム。 - 請求項9又は10に記載の手書き図形認識プログラムにおいて、
認識された頂点位置同士を直線で結び図形を表示面に表示させる
ことを特徴とする手書き図形認識プログラム。 - 請求項9又は10に記載の手書き図形認識プログラムにおいて、
認識された頂点位置の数を検出し、当該数に対応する正多角形図形を表示面に表示させる
ことを特徴とする手書き図形認識プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010207114A JP5560151B2 (ja) | 2010-09-15 | 2010-09-15 | 手書き図形認識システム、手書き図形認識方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010207114A JP5560151B2 (ja) | 2010-09-15 | 2010-09-15 | 手書き図形認識システム、手書き図形認識方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012063938A JP2012063938A (ja) | 2012-03-29 |
JP5560151B2 true JP5560151B2 (ja) | 2014-07-23 |
Family
ID=46059598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010207114A Expired - Fee Related JP5560151B2 (ja) | 2010-09-15 | 2010-09-15 | 手書き図形認識システム、手書き図形認識方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5560151B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5942729B2 (ja) * | 2012-09-20 | 2016-06-29 | カシオ計算機株式会社 | 図形描画装置およびプログラム |
US10402085B2 (en) * | 2012-12-28 | 2019-09-03 | Sony Corporation | Display of content based on handwritten input |
JP2014235452A (ja) * | 2013-05-30 | 2014-12-15 | 株式会社東芝 | 整形装置 |
JP6443172B2 (ja) * | 2015-03-27 | 2018-12-26 | 日本電気株式会社 | 投影装置、投影装置の制御方法、及び制御プログラム |
WO2016199413A1 (en) * | 2015-06-12 | 2016-12-15 | Amada Holdings Co.,Ltd. | Generation of geometry of objects |
JP6172337B2 (ja) * | 2016-05-25 | 2017-08-02 | カシオ計算機株式会社 | 図形描画装置、図形描画方法およびプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07295732A (ja) * | 1994-04-20 | 1995-11-10 | Toshiba Corp | 文書作成装置及び図形入力処理方法 |
JP4299073B2 (ja) * | 2003-08-06 | 2009-07-22 | 日本電信電話株式会社 | 手書き図形計測方法,手書き図形計測装置および手書き図形計測プログラム |
-
2010
- 2010-09-15 JP JP2010207114A patent/JP5560151B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012063938A (ja) | 2012-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8970696B2 (en) | Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system | |
JP5560151B2 (ja) | 手書き図形認識システム、手書き図形認識方法及びプログラム | |
US7256773B2 (en) | Detection of a dwell gesture by examining parameters associated with pen motion | |
US8959013B2 (en) | Virtual keyboard for a non-tactile three dimensional user interface | |
US8166421B2 (en) | Three-dimensional user interface | |
US9141134B2 (en) | Utilization of temporal and spatial parameters to enhance the writing capability of an electronic device | |
US8619049B2 (en) | Monitoring interactions between two or more objects within an environment | |
US9020266B2 (en) | Methods and devices for processing handwriting input | |
US20120274550A1 (en) | Gesture mapping for display device | |
US20120326995A1 (en) | Virtual touch panel system and interactive mode auto-switching method | |
KR20120085774A (ko) | 컴퓨터 장치의 원격 제어 | |
US20140125584A1 (en) | System and method for human computer interaction | |
JP2005519368A (ja) | Guiのためのディスプレイを提供する方法 | |
US9779292B2 (en) | System and method for interactive sketch recognition based on geometric contraints | |
US9262012B2 (en) | Hover angle | |
WO2010017711A1 (zh) | 一种图形触摸命令的执行方法、装置及移动终端 | |
JP3020223B2 (ja) | ディスプレイ上の手書きデータのブロックを位置決めする装置及びディスプレイ上の手書きデータを位置決めする方法 | |
JP5486977B2 (ja) | 座標入力装置及びプログラム | |
JP5342484B2 (ja) | 座標入力装置及びプログラム | |
US20150153834A1 (en) | Motion input apparatus and motion input method | |
WO2013054155A1 (en) | Multi-touch human interface system and device for graphical input, and method for processing image in such a system. | |
CN109871178A (zh) | 一种基于图像识别的虚拟触摸屏系统 | |
US20120299837A1 (en) | Identifying contacts and contact attributes in touch sensor data using spatial and temporal features | |
JP6373664B2 (ja) | 電子機器、方法及びプログラム | |
JPH09120433A (ja) | 文字認識方法及び文書作成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131217 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140513 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5560151 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |