JP6694638B2 - プログラム、情報記憶媒体及び認識装置 - Google Patents
プログラム、情報記憶媒体及び認識装置 Download PDFInfo
- Publication number
- JP6694638B2 JP6694638B2 JP2016570658A JP2016570658A JP6694638B2 JP 6694638 B2 JP6694638 B2 JP 6694638B2 JP 2016570658 A JP2016570658 A JP 2016570658A JP 2016570658 A JP2016570658 A JP 2016570658A JP 6694638 B2 JP6694638 B2 JP 6694638B2
- Authority
- JP
- Japan
- Prior art keywords
- stroke
- specific gesture
- character string
- input
- mathematical expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000014509 gene expression Effects 0.000 claims description 102
- 230000006870 function Effects 0.000 claims description 14
- 238000000034 method Methods 0.000 description 63
- 238000012545 processing Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 23
- 238000000638 solvent extraction Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002620 method output Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000012916 structural analysis Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000004816 latex Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Character Discrimination (AREA)
Description
図1に本実施形態の認識装置の機能ブロック図の一例を示す。なお本実施形態の認識装置は図1の構成要素(各部)の一部を省略した構成としてもよい。
次に本実施形態の手法について図面を用いて説明する。
次に、本実施形態の認識装置の処理の流れについて説明する。認識装置には、タブレット型PCのように、時系列の筆点を実時間で表示して認識のフィードバックを筆画(ストローク)毎に行える対話型装置と、時系列の筆点をメモリを備えたタブレットや電子ペンで記録し、そのデータの読み込みと処理はPC等で一括してなされる非対話型装置がある。
対話型装置で採用される逐次方式では、ユーザは、文字列を認識する言語(例えば、英語か日本語)を指定してシステム(プログラム)を立ち上げ、タッチパネル等の入力部に数式や文字列を筆記し始める。システムは、特定ジェスチャの認識、文字列及び数式の区分をストロークが筆記される毎に行い、筆記終了後に、文字列及び数列の認識と認識結果の表示を行う。図5は、逐次方式における処理の一例を示すフローチャートである。
非対話型装置で採用される一括方式では、ユーザは、システムを立ち上げ、タブレット等のインターフェースに数式や文字列を筆記する。そして、筆記後に、ストローク列のデータをPC等(認識装置)に読み込ませ、その際に、文字列を認識する言語を指定する。一括方式では、特定ジェスチャの認識、文字列及び数式の区分、文字列及び数列の認識と認識結果の表示の3つの処理は、全てのストローク列のデータがPC等に送られてから実行される。このとき、入力されたストロークを順次処理する際に、逐次方式と同様の処理を行うこともできる。また、一括方式では、特定ジェスチャの認識と、文字列及び数式の区分とを実時間で行う必要がないことから、全ての特定ジェスチャを認識した後に、それ以外のストロークについて文字列と数式とに区分し、最後にそれらを認識する方法を採用してもよい。図7は、一括方式における後者の方法の処理の一例を示すフローチャートである。
Claims (6)
- 手書き入力されたストローク列から文字列を含む数式を認識するためのプログラムであって、
入力されたストローク又はストローク列が、文字列と数式とを区分するための特定ジェスチャに該当するか否かを判定し、前記特定ジェスチャに該当すると判定した場合に、前記特定ジェスチャで指定される範囲に関する情報を登録する登録部と、
入力されたストロークのうち、前記特定ジェスチャで指定される範囲に含まれるストロークを文字列に対応するストロークとして設定し、前記特定ジェスチャで指定される範囲に含まれないストロークを数式に対応するストロークとして設定する区分部と、
文字列に対応するストロークとして設定されたストロークから文字列認識エンジンにより文字列を認識し、1つの前記特定ジェスチャと当該特定ジェスチャで指定される範囲に含まれるストロークとを1つのシンボルとして扱って、当該シンボルとして扱う当該特定ジェスチャの座標情報と、数式に対応するストロークとして設定されたストロークの情報とから、数式認識エンジンにより数式を認識する認識部としてコンピュータを機能させ、
前記区分部は、
入力されたストローク又はストローク列が前記特定ジェスチャに該当すると判定された場合に、当該特定ジェスチャで指定される範囲に含まれるストロークを文字列に対応するストロークとして設定し、入力されたストロークが前記特定ジェスチャに該当しないと判定された場合に、当該入力されたストロークが前記特定ジェスチャで指定される範囲に含まれるか否かを判定し、前記特定ジェスチャで指定される範囲に含まれる場合に、当該入力されたストロークを文字列に対応するストロークとして設定することを特徴とするプログラム。 - 請求項1において、
入力されたストローク列を表示部に表示させる制御を行う表示制御部として更にコンピュータを機能させ、
前記表示制御部は、
前記特定ジェスチャに該当すると判定されたストローク又はストローク列を、前記特定
ジェスチャに対応する形状を表す画像として表示させる制御を行うことを特徴とするプログラム。 - 請求項2において、
前記表示制御部は、
前記特定ジェスチャで指定される範囲に含まれるストロークを、前記特定ジェスチャで指定される範囲に含まれないストロークとは異なる色で表示させる制御を行うことを特徴とするプログラム。 - 請求項1乃至3のいずれか1項において、
前記登録部は、
入力されたストローク又はストローク列が略矩形を形成する場合に、当該ストローク又はストローク列が前記特定ジェスチャに該当すると判定することを特徴とするプログラム。 - コンピュータ読み取り可能な情報記憶媒体であって、請求項1乃至4のいずれか1項のプログラムを記憶したことを特徴とする情報記憶媒体。
- 手書き入力されたストローク列から文字列を含む数式を認識する認識装置であって、
入力されたストローク又はストローク列が、文字列と数式とを区分するための特定ジェスチャに該当するか否かを判定し、前記特定ジェスチャに該当すると判定した場合に、前記特定ジェスチャで指定される範囲に関する情報を登録する登録部と、
入力されたストロークのうち、前記特定ジェスチャで指定される範囲に含まれるストロークを文字列に対応するストロークとして設定し、前記特定ジェスチャで指定される範囲に含まれないストロークを数式に対応するストロークとして設定する区分部と、
文字列に対応するストロークとして設定されたストロークから文字列認識エンジンにより文字列を認識し、1つの前記特定ジェスチャと当該特定ジェスチャで指定される範囲に含まれるストロークとを1つのシンボルとして扱って、当該シンボルとして扱う当該特定ジェスチャの座標情報と、数式に対応するストロークとして設定されたストロークの情報とから、数式認識エンジンにより数式を認識する認識部とを含み、
前記区分部は、
入力されたストローク又はストローク列が前記特定ジェスチャに該当すると判定された場合に、当該特定ジェスチャで指定される範囲に含まれるストロークを文字列に対応するストロークとして設定し、入力されたストロークが前記特定ジェスチャに該当しないと判定された場合に、当該入力されたストロークが前記特定ジェスチャで指定される範囲に含まれるか否かを判定し、前記特定ジェスチャで指定される範囲に含まれる場合に、当該入力されたストロークを文字列に対応するストロークとして設定することを特徴とする認識装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015009207 | 2015-01-21 | ||
JP2015009207 | 2015-01-21 | ||
PCT/JP2016/051457 WO2016117564A1 (ja) | 2015-01-21 | 2016-01-19 | プログラム、情報記憶媒体及び認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016117564A1 JPWO2016117564A1 (ja) | 2017-10-26 |
JP6694638B2 true JP6694638B2 (ja) | 2020-05-20 |
Family
ID=56417105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016570658A Active JP6694638B2 (ja) | 2015-01-21 | 2016-01-19 | プログラム、情報記憶媒体及び認識装置 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6694638B2 (ja) |
KR (1) | KR101909485B1 (ja) |
CN (1) | CN107209862B (ja) |
WO (1) | WO2016117564A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7104965B2 (ja) * | 2018-04-23 | 2022-07-22 | 国立大学法人東京農工大学 | プログラム及びクラスタリング装置 |
CN111079622A (zh) * | 2019-12-10 | 2020-04-28 | 黄淮学院 | 一种在统一识别框架下小型化手写体文本识别器的方法 |
CN111539383B (zh) * | 2020-05-22 | 2023-05-05 | 浙江蓝鸽科技有限公司 | 公式知识点识别方法及装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3150468B2 (ja) * | 1993-01-07 | 2001-03-26 | 株式会社東芝 | オンライン文字認識装置 |
JPH09319828A (ja) * | 1996-05-30 | 1997-12-12 | Nec Corp | オンライン文字認識装置 |
JPH11203412A (ja) * | 1998-01-16 | 1999-07-30 | Toshiba Corp | 文書画像処理装置、文書画像処理方法及び文書画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP3827453B2 (ja) * | 1998-09-07 | 2006-09-27 | 積水樹脂株式会社 | 吸音構造体 |
US20060001667A1 (en) * | 2004-07-02 | 2006-01-05 | Brown University | Mathematical sketching |
JP5098504B2 (ja) * | 2007-08-09 | 2012-12-12 | 富士通株式会社 | 文字認識プログラム、文字認識装置および文字認識方法 |
CN101388068B (zh) * | 2007-09-12 | 2011-06-22 | 汉王科技股份有限公司 | 数学公式识别编码方法 |
JP2009080615A (ja) * | 2007-09-26 | 2009-04-16 | Univ Of Tokyo | オンライン手書き数式認識方法及び装置 |
CN101685497B (zh) * | 2008-09-28 | 2011-10-12 | 汉王科技股份有限公司 | 手写信息处理方法和装置 |
JP2011053986A (ja) * | 2009-09-02 | 2011-03-17 | Sharp Corp | 計算装置、計算プログラムおよびこれが記録された記録媒体 |
CN103679164A (zh) * | 2012-09-21 | 2014-03-26 | 阿里巴巴集团控股有限公司 | 一种基于移动终端的标志识别处理方法和系统 |
JP2014127188A (ja) * | 2012-12-27 | 2014-07-07 | Toshiba Corp | 整形装置及び方法 |
CN107103319A (zh) * | 2013-05-22 | 2017-08-29 | 华为终端有限公司 | 一种文字识别方法及用户终端 |
CN104063063B (zh) * | 2014-06-05 | 2018-10-09 | 北京搜狗科技发展有限公司 | 输入法的数学计算输入方法和输入法系统 |
CN104268118A (zh) * | 2014-09-23 | 2015-01-07 | 赵方 | 一种包括触摸屏的数学式计算器及数学公式识别的方法 |
-
2016
- 2016-01-19 WO PCT/JP2016/051457 patent/WO2016117564A1/ja active Application Filing
- 2016-01-19 KR KR1020177018253A patent/KR101909485B1/ko active IP Right Grant
- 2016-01-19 JP JP2016570658A patent/JP6694638B2/ja active Active
- 2016-01-19 CN CN201680006635.XA patent/CN107209862B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPWO2016117564A1 (ja) | 2017-10-26 |
CN107209862A (zh) | 2017-09-26 |
KR20170100541A (ko) | 2017-09-04 |
CN107209862B (zh) | 2021-03-09 |
WO2016117564A1 (ja) | 2016-07-28 |
KR101909485B1 (ko) | 2018-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110232311B (zh) | 手部图像的分割方法、装置及计算机设备 | |
US10360473B2 (en) | User interface creation from screenshots | |
US9141134B2 (en) | Utilization of temporal and spatial parameters to enhance the writing capability of an electronic device | |
JP4712613B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
EP1768058A2 (en) | Information processing apparatus and control method therefor | |
US9099007B1 (en) | Computerized processing of pictorial responses in evaluations | |
JP6877446B2 (ja) | 多重オブジェクト構造を認識するためのシステムおよび方法 | |
CN109064525B (zh) | 一种图片格式转换方法、装置、设备和存储介质 | |
JP6694638B2 (ja) | プログラム、情報記憶媒体及び認識装置 | |
CN114365075A (zh) | 用于选择图形对象的方法和对应装置 | |
JP2011134102A (ja) | 情報処理装置及び情報処理方法 | |
JP2020042765A (ja) | 情報処理方法及び情報処理システム | |
JP6916849B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
CN107608510A (zh) | 手势模型库的建立方法、装置及电子设备 | |
JP2010102396A (ja) | 人物検出装置、人物検出方法及びプログラム | |
US20210073552A1 (en) | Information processing apparatus and non-transitory computer readable medium storing program | |
CN114241486A (zh) | 一种提高识别试卷学生信息准确率的方法 | |
JP5919496B2 (ja) | 文書運筆表示ツール | |
JP5667334B2 (ja) | 図形評価プログラムおよび図形評価装置 | |
JP5674535B2 (ja) | 画像処理装置、方法、及びプログラム | |
Dey et al. | Algorithm For Multi-Hand Finger Counting: An Easy Approach | |
US20240168575A1 (en) | Input support apparatus, method, computer-readable medium, and input system | |
WO2023162131A1 (ja) | 画像変換装置、画像変換方法及び画像変換プログラム | |
JP2022041468A (ja) | 識別方法、情報処理システム、方法、およびプログラム | |
Sikka et al. | Camera–based equation solver for android devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191213 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200309 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6694638 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |