JP6857867B2 - Handwriting input sheet - Google Patents
Handwriting input sheet Download PDFInfo
- Publication number
- JP6857867B2 JP6857867B2 JP2016144967A JP2016144967A JP6857867B2 JP 6857867 B2 JP6857867 B2 JP 6857867B2 JP 2016144967 A JP2016144967 A JP 2016144967A JP 2016144967 A JP2016144967 A JP 2016144967A JP 6857867 B2 JP6857867 B2 JP 6857867B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- dot pattern
- writing area
- handwriting input
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 146
- 238000000034 method Methods 0.000 claims description 102
- 238000004458 analytical method Methods 0.000 claims description 92
- 238000012545 processing Methods 0.000 claims description 85
- 230000008569 process Effects 0.000 claims description 18
- 239000010410 layer Substances 0.000 description 90
- 230000010365 information processing Effects 0.000 description 85
- 230000008859 change Effects 0.000 description 48
- 238000010586 diagram Methods 0.000 description 48
- 230000006870 function Effects 0.000 description 43
- 230000009471 action Effects 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 16
- 206010047571 Visual impairment Diseases 0.000 description 13
- 239000000463 material Substances 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000007639 printing Methods 0.000 description 9
- 239000011241 protective layer Substances 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 239000012790 adhesive layer Substances 0.000 description 7
- 210000005252 bulbus oculi Anatomy 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 5
- 239000013256 coordination polymer Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- -1 envelope Polymers 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 4
- 230000001681 protective effect Effects 0.000 description 4
- 102100022193 Glutamate receptor ionotropic, delta-1 Human genes 0.000 description 3
- 101000900493 Homo sapiens Glutamate receptor ionotropic, delta-1 Proteins 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 235000002673 Dioscorea communis Nutrition 0.000 description 2
- 241000544230 Dioscorea communis Species 0.000 description 2
- 208000035753 Periorbital contusion Diseases 0.000 description 2
- 239000004743 Polypropylene Substances 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000002989 correction material Substances 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 229920001155 polypropylene Polymers 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 2
- 229920002554 vinyl polymer Polymers 0.000 description 2
- 208000029257 vision disease Diseases 0.000 description 2
- 230000004393 visual impairment Effects 0.000 description 2
- YZANRISAORXTHU-UHFFFAOYSA-N 1,2-dichloro-4-(4-chlorophenyl)benzene Chemical compound C1=CC(Cl)=CC=C1C1=CC=C(Cl)C(Cl)=C1 YZANRISAORXTHU-UHFFFAOYSA-N 0.000 description 1
- RIBGNAJQTOXRDK-UHFFFAOYSA-N 1,3-dichloro-5-(3-chlorophenyl)benzene Chemical compound ClC1=CC=CC(C=2C=C(Cl)C=C(Cl)C=2)=C1 RIBGNAJQTOXRDK-UHFFFAOYSA-N 0.000 description 1
- 102100022192 Glutamate receptor ionotropic, delta-2 Human genes 0.000 description 1
- 101000900499 Homo sapiens Glutamate receptor ionotropic, delta-2 Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009751 slip forming Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000007740 vapor deposition Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は、文字、図形等の手書き情報をコンピュータシステムに入力するための手書き入出力システム、手書き入力シートに関する。 The present invention relates to a handwritten input / output system and a handwritten input sheet for inputting handwritten information such as characters and figures into a computer system.
本発明は、コンピュータシステムへの入力を補助するための情報入力システム、情報入力補助シートに関する。 The present invention relates to an information input system and an information input assist sheet for assisting input to a computer system.
コンピュータは、生活のあらゆる場面で使用されるようになってきている。文書を作成したり計算を行ったりというような従来の用途に加え、絵を描いたり、建築や機械の製図を行う等、コンピュータの機能および用途は飛躍的に増加している。 Computers are becoming used in every aspect of our lives. In addition to conventional applications such as creating documents and performing calculations, computer functions and applications such as drawing pictures and drawing buildings and machines are increasing dramatically.
従来、これらの行為を行うにあたり、キーボード、マウス、タブレットおよびCADシステム等を用いて文字の入力や製図等の操作をすることが必要とされている。 Conventionally, in performing these actions, it has been required to perform operations such as character input and drawing using a keyboard, mouse, tablet, CAD system, or the like.
しかし、キーボードで文字を入力したり、タブレットやCADシステムで製図を行ったりするには、煩雑な操作が多く、習得するまでに時間を要する。特に、高齢者等、機器を操作するのに支障のある者にとっては操作が困難であるという問題があった。さらに、キーボードやマウス等の操作が可能でコンピュータを使いこなせる者と、それらの操作ができずにコンピュータを使いこなせない者との間で、情報や機会の格差が生じる「デジタルディバイド」も問題となってきている。 However, there are many complicated operations for inputting characters with a keyboard and drawing with a tablet or CAD system, and it takes time to learn. In particular, there is a problem that it is difficult for a person who has difficulty in operating the device, such as an elderly person. Furthermore, the "digital divide", which creates a disparity in information and opportunities between those who can operate the keyboard and mouse and can master the computer, and those who cannot operate the computer and cannot master the computer, has become a problem. ing.
このような問題を解決するものとして、手書き情報をコンピュータに入力するシステムが提案されている。このようなシステムは、ベースと描画装置から構成されており、描画装置がベースに対して移動されると、グラフィカル情報(手書き情報)が発生する。ベースには、微細なドットである位置符号化パターンを備えており、この位置符号化パターンには、ベース上の位置情報が登録されている。描画装置を用いてベース上で描画すると、描画装置が位置符号化パターンを読み取る。コンピュータシステムは、描画装置からの、ベース上の位置情報をグラフィカル入力として記録する。これにより、描画した内容をコンピュータシステムに入力し、ディスプレイに出力したり、メモリに保存したりすることが可能となる(たとえば、特許文献1)。 As a solution to such a problem, a system for inputting handwritten information into a computer has been proposed. Such a system is composed of a base and a drawing device, and when the drawing device is moved with respect to the base, graphical information (handwritten information) is generated. The base is provided with a position coding pattern which is a fine dot, and position information on the base is registered in this position coding pattern. When drawing on the base using a drawing device, the drawing device reads the position coding pattern. The computer system records the position information on the base from the drawing device as a graphical input. This makes it possible to input the drawn contents to the computer system, output them to the display, or save them in the memory (for example, Patent Document 1).
しかし、特許文献1のシステムに用いる位置符号化パターンは、位置情報しか登録されていない。そのため、コンピュータシステムは、描画装置で描かれたグラフィカル情報しか入力することができず、たとえば、冊子のページ番号等、グラフィカル情報と関連した種々の情報も入力・記録するためには、描画のための領域と異なる領域を別途設けなければならない。そのため、手書き入出力システムが煩雑となり、ユーザにとっても、複数の領域での操作が必要になるという問題を有している。また、描画装置で描かれたグラフィカル情報に対応する位置情報全てに対して、グラフィカル情報と関連した種々の情報を入力・記録するための参照テーブルを備えなければならない。特に、描画領域が矩形ではなく、多角形や曲線で囲まれた領域である場合、その領域内の全ての位置情報に対する参照テーブルが必要となる。
However, as the position coding pattern used in the system of
本発明はこのような問題に鑑みてなされたものであり、文字や図形等を手書きで入力することのできる手書き入出力システムを、簡易かつ安価に提供することを技術的課題とする。また、文字や図形の情報のみでなく、それらに関連した情報も一括して入力することが可能な手書き入出力システムを提供することを技術的課題とする。 The present invention has been made in view of such a problem, and it is a technical subject to provide a handwritten input / output system capable of inputting characters, figures and the like by handwriting easily and inexpensively. Another technical issue is to provide a handwritten input / output system capable of collectively inputting not only character and graphic information but also information related to them.
<手書き入出力システム>
本発明にかかる手書き入出力システムは、少なくとも一部、または複数の領域に座標情報および、コード情報が繰り返し定義されたドットパターンが形成された書き込み領域を備えた媒体と、該書き込み領域の該ドットパターンを撮像して、送信する撮像手段と、該撮像手段により撮像・送信された該ドットパターンの画像データを記憶して、該画像データをコード解析することにより、該座標情報および該コード情報からなる軌跡情報を求めるドットパターン解析手段と、解析された該座標情報の変化に基づき、該書き込み領域面においてトレースされた、文字および/または図形の該軌跡情報を認識する軌跡認識手段と、認識された認識情報に基づいた処理命令と該軌跡情報を情報処理手段に対し送信する処理命令手段とを備えたことを特徴とする。
<Handwriting input / output system>
The handwritten information processing system according to the present invention includes a medium having a writing area in which coordinate information and a dot pattern in which code information is repeatedly defined are formed in at least a part or a plurality of areas, and the dots in the writing area. By storing the image data of the dot pattern imaged and transmitted by the imaging means and the imaging means that images and transmits the pattern, and code-analyzing the image data, the coordinate information and the code information are used. It is recognized as a dot pattern analysis means for obtaining the locus information, and a locus recognition means for recognizing the locus information of characters and / or figures traced on the writing area surface based on the analyzed change of the coordinate information. It is characterized by including a processing command based on the recognition information and a processing command means for transmitting the trajectory information to the information processing means.
上記の特徴によれば、本発明にかかる手書き入出力システムは、媒体に形成されたドットパターンが座標情報のみならずコード情報を定義することにより、処理命令手段が情報処理部に対して軌跡情報と軌跡情報に基づいた処理命令を一括して送信することができる。 According to the above features, in the handwritten input / output system according to the present invention, the dot pattern formed on the medium defines not only the coordinate information but also the code information, so that the processing instruction means informs the information processing unit of the locus information. It is possible to collectively transmit processing instructions based on the locus information.
前記媒体は、少なくとも一部、または複数の領域に、前記書き込み領域に関連するテキスト、グラフィック、写真がさらに形成されていることが好ましい。 It is preferable that the medium is further formed with text, graphics, and photographs related to the writing area in at least a part or a plurality of areas.
上記の特徴によれば、本発明にかかる手書き入出力システムは、ユーザが書き込み領域の位置および書き込み領域にはいかなる事項を書き込むべきであるかを容易に知ることができる。 According to the above characteristics, the handwritten input / output system according to the present invention can easily know the position of the writing area and what kind of matter should be written in the writing area.
前記媒体は、少なくとも前記書き込み領域面に描かれた前記軌跡情報または該軌跡情報の編集結果情報、および/または前記媒体面上の印刷情報と共に前記ドットパターンが新たに重畳して形成されていることが好ましい。 The medium is formed by newly superimposing the dot pattern together with at least the locus information drawn on the writing area surface, the editing result information of the locus information, and / or the printing information on the medium surface. Is preferable.
上記の特徴によれば、本発明にかかる手書き入出力システムは、一度手書き入力した媒体を、新たなドットパターンと共に、重畳印刷して、その媒体に、さらに書き込み・編集ができる。 According to the above features, the handwritten input / output system according to the present invention can superimpose print a medium once handwritten and input together with a new dot pattern, and further write / edit on the medium.
前記媒体は、所定の媒体面および/または前記書き込み領域面に対して、前記書き込み領域を特定する特定情報および/または操作指示(プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等)を定義するコード情報を繰り返し形成する前記ドットパターンには、該コード情報を意味するアイコンが重畳して形成されていることが好ましい。 The medium is a specific information and / or operation instruction (program start, command input, data input / output / search, search target) that specifies the write area with respect to a predetermined medium surface and / or the write area surface. It is preferable that the dot pattern that repeatedly forms the code information that defines (such as the designation of) is formed by superimposing an icon that means the code information.
上記の特徴によれば、本発明にかかる手書き入出力システムは、コード情報がいかなる意味を持つものであるか(いかなる処理命令を送信するものであるか)、ユーザはアイコンを見ることにより容易に知ることができる。 According to the above characteristics, in the handwritten input / output system according to the present invention, the user can easily see what the code information means (what processing instruction is transmitted) by looking at the icon. You can know.
前記アイコンは、貼付可能なシール、付箋紙、その他の媒体面上に前記ドットパターンと重畳して形成されていることが好ましい。 The icon is preferably formed on a stickable sticker, a sticky note, or other medium surface so as to be superimposed on the dot pattern.
上記の特徴によれば、本発明にかかる手書き入出力システムは、アイコンは媒体面上に自由にレイアウト可能になるため、レイアウトの自由度が高まる。 According to the above features, in the handwriting input / output system according to the present invention, the icons can be freely laid out on the medium surface, so that the degree of freedom in layout is increased.
前記媒体は、前記書き込み領域を設けた該媒体を第1の媒体として、該第1の媒体面および/または前記書き込み領域面を特定するためのコード情報を繰り返し定義したドットパターンを形成した第2の媒体をさらに備え、該第2の媒体に形成したコード情報を、前記撮像手段で読み取ることにより、前記第1の媒体面上の印刷情報および/または前記書き込み領域面に描かれた前記軌跡情報、および/または該軌跡情報に関連した情報を出力することが好ましい。 The medium forms a dot pattern in which the medium provided with the writing area is used as the first medium and code information for specifying the first medium surface and / or the writing area surface is repeatedly defined. By reading the code information formed on the second medium with the imaging means, the print information on the first medium surface and / or the locus information drawn on the writing area surface is provided. , And / or it is preferable to output information related to the locus information.
上記の特徴によれば、本発明にかかる手書き入出力システムは、媒体面を特定するコード情報を、別の媒体(手帳など)に印刷し、撮像手段でタッチすることにより、媒体面に手書き入力した情報を検索、出力できる。また、媒体の書き込み領域のスペースを広く取ることもできる。 According to the above features, the handwritten input / output system according to the present invention prints code information for identifying a medium surface on another medium (such as a notebook) and touches it with an imaging means to input handwritten information on the medium surface. You can search and output the information you have created. Moreover, the space of the writing area of the medium can be widened.
前記第2の媒体は、貼付可能なシール、付箋紙等、またはカード状の形態を有していることが好ましい。 The second medium preferably has a stickable sticker, a sticky note, or the like, or a card-like form.
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域のレイアウトの自由度はさらに高まり、書き込み領域に手書き入力された情報の検索、出力をユーザの利便性や好みに応じて自由自在に実行できる。 According to the above features, the handwritten input / output system according to the present invention further increases the degree of freedom in the layout of the writing area, and searches and outputs the information handwritten and input in the writing area according to the convenience and preference of the user. It can be executed freely.
前記媒体は、前記手書き入出力システムによる、前記書き込み領域が表示されたモニタ面上に重ねて用いる、座標情報および/またはコード情報が繰り返し定義されたドットパターンが形成された透明な媒体、すなわちグリッドシートであることが好ましい。 The medium is a transparent medium in which a dot pattern in which coordinate information and / or code information is repeatedly defined is formed, that is, a grid, which is used by the handwriting input / output system so as to be superimposed on a monitor surface on which the writing area is displayed. It is preferably a sheet.
上記の特徴によれば、本発明にかかる手書き入出力システムは、取り回しのよいタッチパネルを提供することができる。 According to the above features, the handwriting input / output system according to the present invention can provide a touch panel with good maneuverability.
前記媒体は、前記手書き入出力システムによる前記書き込み領域が印刷された媒体上に重ねて用いる、座標情報および/またはコード情報が繰り返し定義されたドットパターンが形成される透明な媒体、すなわちグリッドシートであることが好ましい。 The medium is a transparent medium in which a dot pattern in which coordinate information and / or code information is repeatedly defined is formed, that is, a grid sheet, which is used by superimposing the writing area by the handwriting input / output system on a printed medium. It is preferable to have.
上記の特徴によれば、本発明にかかる手書き入出力システムは、モニタ面上にグリッドシートを重ねなくても、媒体面上にグリッドシートを被せて手書き入力が可能である。 According to the above features, the handwriting input / output system according to the present invention can perform handwriting input by covering the medium surface with the grid sheet without overlapping the grid sheet on the monitor surface.
前記撮像手段は、撮像口を介して所定波長の光を前記媒体面に照射する照射手段と、該所定波長の反射光を撮像し、画像データとして前記ドットパターン解析手段に送信する撮像素子と、をさらに備え、該ドットパターン解析手段は、該照射手段に第1の所定時間において所定強度の光を発光させ、該ドットパターン解析手段が該撮像素子により撮像し、送信される該画像データを記憶する時間以上、該画像データを該撮像素子に残像として固定できるようにさらに、該所定強度の光は、該ドットパターン解析手段が該画像データをコード解析するのに必要な、解析時間以上の第2の所定時間の経過後に再度発光し、該第1の所定時間と該第2の所定時間が連続するものとして、該照射手段を制御する光制御手段をさらに備えていることが好ましい。 The image pickup means includes an irradiation means for irradiating the medium surface with light having a predetermined wavelength through an image pickup port, an image pickup device for capturing the reflected light of the predetermined wavelength, and transmitting the reflected light as image data to the dot pattern analysis means. The dot pattern analysis means causes the irradiation means to emit light of a predetermined intensity at a first predetermined time, and the dot pattern analysis means captures the image data by the image pickup device and stores the transmitted image data. Further, the light of the predetermined intensity is used for the analysis time or longer required for the dot pattern analysis means to code-analyze the image data so that the image data can be fixed to the image pickup device as an afterimage. It is preferable that the light control means for controlling the irradiation means is further provided so that the light is emitted again after the elapse of the predetermined time of 2 and the first predetermined time and the second predetermined time are continuous.
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込みした際に、媒体面上での撮像手段の移動に対して、撮像素子にドットパターンがぼけることなく焼き付けることができ、その残像を解析することにより撮像手段のフレームレート(撮像スピード)が低くても手書き入力することができる。 According to the above-mentioned features, the handwriting input / output system according to the present invention can print a dot pattern on an image pickup device without blurring with respect to the movement of the image pickup means on the medium surface when writing. By analyzing the afterimage, handwriting input can be performed even if the frame rate (imaging speed) of the imaging means is low.
前記光制御手段は、前記ドットパターン解析手段による前記画像データのコード解析終了後、前記第2の所定時間を待たずして直ちに前記照射手段に発光を指示し、該照射手段は、前記第1の所定時間の間、前記所定強度の光を発光して、該ドットパターン解析手段は、前記撮像手段により新たに撮像・送信される画像データを記憶して、コード解析することが好ましい。 After the code analysis of the image data by the dot pattern analysis means is completed, the light control means immediately instructs the irradiation means to emit light without waiting for the second predetermined time, and the irradiation means is the first. It is preferable that the dot pattern analysis means stores the image data newly captured and transmitted by the imaging means and performs code analysis by emitting the light of the predetermined intensity for the predetermined time.
上記の特徴によれば、本発明にかかる手書き入出力システムは、コード解析が理想的なドットパターンの撮像・解析やエラー等で第2の所定時間よりも早く終了した場合に、直ちに次のコード解析に移ることにより、撮像間隔が短縮され滑らかな軌跡情報を取得できる。 According to the above features, the handwritten input / output system according to the present invention immediately determines the next code when the code analysis is completed earlier than the second predetermined time due to an ideal dot pattern imaging / analysis or an error. By moving to the analysis, the imaging interval is shortened and smooth trajectory information can be acquired.
前記光制御手段は、前記ドットパターン解析手段による該ドットパターンの解析時間中に前記第2の所定時間を待たずして直ちに前記照射手段に発光を指示し、該照射手段は、前記第1の所定時間の間、前記所定強度の光を発光して、前記ドットパターン解析手段は、該解析時間中に、前記撮像手段により新たに撮像・送信される画像データを記憶して、該解析時間の終了後、直ちに該画像データをコード解析することが好ましい。 The optical control means immediately instructs the irradiation means to emit light without waiting for the second predetermined time during the analysis time of the dot pattern by the dot pattern analysis means, and the irradiation means is the first. The dot pattern analysis means emits light of the predetermined intensity for a predetermined time, and during the analysis time, the dot pattern analysis means stores image data newly captured and transmitted by the imaging means, and the analysis time is changed. It is preferable to perform code analysis of the image data immediately after completion.
上記の特徴によれば、本発明にかかる手書き入出力システムは、ドットパターン解析手段がコード解析中に次の画像データを記憶して、コード解析終了後に直ちに次の画像データのコード解析に移ることにより、さらに撮像間隔が短縮され滑らかな軌跡情報を取得できる。 According to the above features, in the handwritten input / output system according to the present invention, the dot pattern analysis means stores the next image data during the code analysis and immediately moves to the code analysis of the next image data after the code analysis is completed. As a result, the imaging interval is further shortened, and smooth trajectory information can be acquired.
前記撮像手段は、指示用突起部をさらに備え、前記書き込み領域面に、該指示用突起部でなぞった文字および/または図形をトレースする際、該指示用突起部近傍の軌跡上の前記ドットパターンを撮像し、前記ドットパターン解析手段は、該撮像手段により送信された該ドットパターンの画像データを記憶して、該ドットパターンをコード解析して前記座標情報および前記コード情報からなる軌跡情報を求めることが好ましい。 The imaging means further includes an instruction protrusion, and when tracing a character and / or a figure traced by the instruction protrusion on the writing area surface, the dot pattern on a locus in the vicinity of the instruction protrusion The dot pattern analysis means stores the image data of the dot pattern transmitted by the imaging means, code-analyzes the dot pattern, and obtains the coordinate information and the locus information including the code information. Is preferable.
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上の撮像手段のなぞる位置を視認しやすくなる。 According to the above features, the handwriting input / output system according to the present invention makes it easy to visually recognize the position traced by the imaging means on the writing area surface.
前記撮像手段は、少なくとも1つのペン先をさらに備え、前記書き込み領域面に、該ペン先で描いた文字および/または図形をトレースする際、該ペン先近傍の軌跡上の前記ドットパターンを撮像・送信し、前記ドットパターン解析手段は、該撮像手段により撮像・送信される該ドットパターンの画像データを記憶して、該ドットパターンをコード解析して前記座標情報および前記コード情報からなる軌跡情報を求めることが好ましい。 The imaging means further includes at least one pen tip, and when tracing a character and / or a figure drawn by the pen tip on the writing area surface, the imaging means captures the dot pattern on a locus in the vicinity of the pen tip. The dot pattern analysis means stores the image data of the dot pattern imaged and transmitted by the imaging means, code-analyzes the dot pattern, and obtains locus information including the coordinate information and the code information. It is preferable to obtain it.
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上に撮像手段近傍の軌跡が残せる。 According to the above features, the handwriting input / output system according to the present invention can leave a locus in the vicinity of the imaging means on the writing area surface.
前記指示用突起部は、少なくとも一つのペン先と、該指示用突起部内に該ペン先を格納する格納スペースと、該ペン先の格納/取出しを制御するボタンと、をさらに備えた該指示用突起部であることが好ましい。 The instruction protrusion is further provided with at least one pen tip, a storage space for storing the pen tip in the instruction protrusion, and a button for controlling storage / removal of the pen tip. It is preferably a protrusion.
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上に描いた撮像手段近傍の軌跡を残したい場合と、残したくない場合とで使い分けることが可能となる。 According to the above features, the handwritten input / output system according to the present invention can be used properly depending on whether it is desired to leave a locus in the vicinity of the imaging means drawn on the writing area surface or not.
前記撮像手段は、前記指示用突起部に前記書き込み領域面に描かれた文字および/または図形を消去する消去手段をさらに備え、該書き込み領域面に、該消去手段でなぞった領域を消去すると同時に、該消去手段近傍の軌跡上のドットパターンを撮像し、前記処理命令手段は、該文字および/または図形の前記軌跡情報を消去する処理命令と、前記軌跡情報と、を情報処理手段に対し送信することが好ましい。 The imaging means further includes an erasing means for erasing characters and / or figures drawn on the writing area surface on the instruction protrusion, and at the same time erasing the area traced by the erasing means on the writing area surface. The dot pattern on the locus in the vicinity of the erasing means is imaged, and the processing command means transmits the processing command for erasing the locus information of the character and / or the graphic and the locus information to the information processing means. It is preferable to do so.
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上と情報処理手段上で書き込み情報入力を対応させるのみならず、書き込み情報の消去を対応させることもできる。 According to the above features, the handwritten input / output system according to the present invention can not only correspond the writing information input on the writing area surface and the information processing means, but also correspond to the erasing of the writing information.
前記軌跡認識手段は、前記ドットパターン解析手段がコード解析して得た前記座標情報を、該書き込み領域面になぞるか、または描いた文字および/または図形の軌跡と、一致または近似するように補正することが好ましい。 The locus recognition means corrects the coordinate information obtained by code analysis by the dot pattern analysis means so as to trace or approximate the locus of characters and / or figures drawn by tracing the writing area surface. It is preferable to do so.
上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡認識手段が認識する軌跡情報と、媒体上の軌跡とが異なる場合にも、軌跡情報を補正することにより実際の軌跡と一致または実用に支障がない程度まで近似させることができる。 According to the above characteristics, the handwritten input / output system according to the present invention matches the actual locus by correcting the locus information even when the locus information recognized by the locus recognition means and the locus on the medium are different. Alternatively, it can be approximated to the extent that it does not interfere with practical use.
前記軌跡認識手段は、計時手段をさらに備え、該計時手段は、前記撮像手段が前記書き込み領域面に触れた時間および離れた時間を計時し、撮像手段が該書き込み領域面に触れて描かれた軌跡の順番と触れている時間を記録し、前記情報処理手段に送信することが好ましい。 The locus recognition means further includes a time measuring means, in which the time measuring means measures the time when the imaging means touches the writing area surface and the time when the imaging means is separated from the writing area surface, and the imaging means is drawn by touching the writing area surface. It is preferable to record the order of the loci and the time of contact and transmit them to the information processing means.
上記の特徴によれば、本発明にかかる手書き入出力システムは、情報処理手段が手書き入力に要した時間を把握し、通常時との比較を行うことにより、書き手の性格や年齢、性別などの様々なリサーチができる。 According to the above characteristics, the handwriting input / output system according to the present invention grasps the time required for handwriting input by the information processing means and compares it with the normal time to determine the character, age, gender, etc. of the writer. You can do various research.
前記計時手段は、前記撮像手段が前記書き込み領域面に触れ、前記ドットパターン解析手段が前記軌跡情報を求めた時間を記録し、前記情報処理手段に送信することが好ましい。 It is preferable that the timekeeping means records the time when the imaging means touches the writing region surface and the dot pattern analysis means obtains the locus information, and transmits the time to the information processing means.
上記の特徴によれば、本発明にかかる手書き入出力システムは、ペンの移動速度を把握することにより、ハネや書きづらさを解析でき、さらに書き手の心理状態や健康状態も推測できる。 According to the above characteristics, the handwriting input / output system according to the present invention can analyze the splash and difficulty of writing by grasping the moving speed of the pen, and can also infer the psychological state and health state of the writer.
前記処理命令手段は、前記コード情報および/または前記認識情報に基づき、前記書き込み領域を特定する特定情報および/または操作指示(プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等)を一意に入力可能であることが好ましい。 The processing instruction means is based on the code information and / or the recognition information, and is a specific information and / or an operation instruction (program start, command input, data input / output / search, search target) for specifying the writing area. It is preferable that the designation etc.) can be uniquely input.
上記の特徴によれば、本発明にかかる手書き入出力システムは、コード情報および/または認識情報に基づいて処理命令手段が情報処理手段に対してユニークな指示をすることが可能である。このことは、本発明で最も重要な機能であり、常にどの書き込み領域に書き込んだか、またはどの書き込み領域に対してどんな操作指示を行っているかを容易に特定できる。 According to the above features, in the handwritten input / output system according to the present invention, the processing instruction means can give a unique instruction to the information processing means based on the code information and / or the recognition information. This is the most important function in the present invention, and it is possible to easily identify which writing area is always written or what operation instruction is given to which writing area.
前記軌跡認識手段は、さらに前記コード情報に基づき、前記書き込み領域に書き込む内容に関する、予め分類された文字および/または図形情報パターンテーブルを参照し、前記軌跡情報を高精度で認識することが好ましい。 It is preferable that the locus recognition means further recognizes the locus information with high accuracy by referring to a pre-classified character and / or graphic information pattern table regarding the contents to be written in the writing area based on the code information.
上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡情報を認識する際にコード情報に基づいて予め分類された文字および/または図形情報パターンテーブルを参照するため、軌跡情報を高精度に認識することができる。 According to the above features, the handwritten input / output system according to the present invention refers to a character and / or graphic information pattern table preclassified based on the code information when recognizing the locus information, so that the locus information is high. It can be recognized with accuracy.
前記軌跡認識手段は、前記軌跡情報を認識した後、さらに解析された前記座標情報の変化に基づき、該文字および/または該図形、もしくは、1または複数の該文字からなる語句、の意味情報を、前記コード情報に対応する 予め定義された意味情報コードテーブル(辞書)を参照し、意味情報コードに変換し、前記処理命令手段は、該意味情報コードと、該意味情報に基づいた前記処理命令と、を前記情報処理手段に対し送信することが好ましい。 After recognizing the locus information, the locus recognizing means obtains semantic information of the character and / or the figure, or a phrase composed of one or a plurality of the characters, based on the change of the coordinate information further analyzed. , The predefined semantic information code table (dictionary) corresponding to the code information is referred to, converted into the semantic information code, and the processing command means is the semantic information code and the processing command based on the semantic information. And are preferably transmitted to the information processing means.
上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡認識時に意味情報コードテーブルを参照することにより、軌跡情報を高精度に認識し、さらに、意味情報コードに変換することにより、その意味であるものとして処理命令を送信することができる。 According to the above features, the handwritten input / output system according to the present invention recognizes the locus information with high accuracy by referring to the semantic information code table at the time of locus recognition, and further converts the locus information into a semantic information code. A processing instruction can be transmitted as the meaning.
前記処理命令手段は、前記軌跡認識手段による前記軌跡情報の認識結果を、文書および/または図形として入力させる第一のオペレーションの実行を、前記情報処理手段に命令することが好ましい。 It is preferable that the processing instruction means instructs the information processing means to execute a first operation for inputting the recognition result of the locus information by the locus recognition means as a document and / or a graphic.
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力により文書を書いたり、絵を描いたりできる。 According to the above features, the handwritten input / output system according to the present invention can write a document or draw a picture by handwriting input.
前記処理命令手段は、前記軌跡認識手段による前記軌跡情報の認識結果を、コメントとして入力させる第二のオペレーションの実行を、前記情報処理手段に命令することが好ましい。 It is preferable that the processing instruction means instructs the information processing means to execute a second operation in which the recognition result of the locus information by the locus recognition means is input as a comment.
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力により入力される文書や絵の他、コメント文書を入力することができる。 According to the above features, the handwritten input / output system according to the present invention can input a comment document in addition to a document or a picture input by handwriting input.
前記処理命令手段は、前記軌跡認識手段による前記軌跡情報の認識結果を、文書および/または図形、および/またはコメントを編集する編集記号とし、該編集記号に基づいて文書および/または図形、および/またはコメントを編集させる第三のオペレーションの実行を、前記情報処理手段に命令することが好ましい。 The processing command means uses the recognition result of the locus information by the locus recognition means as an editing symbol for editing a document and / or a figure and / or a comment, and based on the editing symbol, the document and / or the figure and / Alternatively, it is preferable to instruct the information processing means to execute a third operation for editing the comment.
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力により文書や画像を(手書き入出力システムによらないものも含む)編集することができる。 According to the above features, the handwritten input / output system according to the present invention can edit a document or an image (including one not based on the handwritten input / output system) by handwriting input.
本発明にかかる手書き入出力システムは、少なくとも前記媒体面に接触した前記撮像手段の撮像光軸が、該媒体面の鉛直線に対して倒されることにより成される傾きおよび倒される方向を測定する角度測定手段と、該撮像手段が該媒体面に接触した際に測定された、該傾きおよび該方向を基準として、該撮像手段を倒す動作、すなわちグリッドティルト動作による、該傾きおよび/または該方向の、所定の変化を解析する角度変化認識手段とをさらに備え、前記処理命令手段は、該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信することが好ましい。 The handwriting input / output system according to the present invention measures at least the inclination and the tilting direction formed by tilting the imaging optical axis of the imaging means in contact with the medium surface with respect to the vertical line of the medium surface. The tilt and / or direction by tilting the imaging means, that is, the grid tilt operation, with reference to the angle measuring means and the tilt and the direction measured when the imaging means comes into contact with the medium surface. It is preferable that the processing instruction means further includes an angle change recognizing means for analyzing a predetermined change, and the processing instruction means transmits a predetermined processing instruction to the information processing means based on the result of the analysis.
上記の特徴によれば、本発明にかかる手書き入出力システムは、撮像手段のグリッドティルト動作による操作指示ができる。 According to the above features, the handwriting input / output system according to the present invention can give an operation instruction by a grid tilt operation of the imaging means.
前記媒体は、前記書き込み領域の方向に対して、所定の角度で配置された前記ドットパターンが該書き込み領域に形成され、前記角度測定手段および前記角度変化認識手段は、前記撮像手段が該書き込み領域面に接触した際に読み取られた該ドットパターンの方向を基に、該書き込み領域の方向に対して、倒される方向および/または前記傾きの、所定の変化を解析することが好ましい。 In the medium, the dot pattern arranged at a predetermined angle with respect to the direction of the writing area is formed in the writing area, and in the angle measuring means and the angle change recognizing means, the imaging means is the writing area. It is preferable to analyze a predetermined change in the tilting direction and / or the inclination with respect to the direction of the writing region based on the direction of the dot pattern read when the surface is contacted.
上記の特徴によれば、本発明にかかる手書き入出力システムは、角度の変化に加えて、ドットパターンの方向をさらに基準にして、傾きとその変化を認識することができる。 According to the above features, the handwritten input / output system according to the present invention can recognize the inclination and the change with reference to the direction of the dot pattern in addition to the change in the angle.
前記処理命令手段は、前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第一の所定方向に倒されたものと前記角度変化認識手段が認識したときは、前記軌跡認識手段による軌跡情報の認識結果を、文書および/または図形として入力させる第一のオペレーションの実行を、前記情報処理手段に対して命令することが好ましい。 When the processing instruction means recognizes that the image pickup means is tilted in the first predetermined direction with respect to the upward direction of the image pickup means or the writing area by the grid tilt operation, the angle change recognition means recognizes that the image pickup means is tilted in the first predetermined direction. It is preferable to instruct the information processing means to execute the first operation of inputting the recognition result of the locus information by the locus recognition means as a document and / or a graphic.
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドティルト動作により第一のオペレーションへの切り替えができる。 According to the above features, the handwritten input / output system according to the present invention can be switched to the first operation by the grid tilt operation.
前記処理命令手段は、前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第二の所定方向に倒されたものと前記角度変化認識手段が認識したときは、前記軌跡認識手段による軌跡情報の認識結果を、コメントとして入力させる第二のオペレーションの実行を、前記情報処理手段に対して命令することが好ましい。 When the processing instruction means recognizes that the image pickup means is tilted in a second predetermined direction with respect to the upward direction of the image pickup means or the writing area by the grid tilt operation, the angle change recognition means recognizes that the image pickup means is tilted in a second predetermined direction. It is preferable to instruct the information processing means to execute a second operation for inputting the recognition result of the locus information by the locus recognition means as a comment.
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドティルト動作により第二のオペレーションへの切り替えができる。 According to the above features, the handwriting input / output system according to the present invention can be switched to the second operation by the grid tilt operation.
前記処理命令手段は、前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第三の所定方向に倒されたものと前記角度変化認識手段が認識したときは、前記軌跡認識手段による軌跡情報の認識結果を、文書および/またはコメントを編集する編集記号とし、該編集記号に基づいて文書および/または図形、および/またはコメントを編集させる第三のオペレーションの実行を、前記情報処理手段に対して命令することが好ましい。 When the processing command means recognizes that the image pickup means is tilted in a third predetermined direction with respect to the upward direction of the image pickup means or the writing area by the grid tilt operation, the angle change recognition means recognizes that the image pickup means is tilted in a third predetermined direction. , The recognition result of the locus information by the locus recognition means is used as an edit symbol for editing the document and / or the comment, and the execution of the third operation for editing the document and / or the figure and / or the comment based on the edit symbol. Is preferably ordered to the information processing means.
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドティルト動作により第三のオペレーションへの切り替えができる。 According to the above features, the handwriting input / output system according to the present invention can be switched to the third operation by the grid tilt operation.
前記処理命令手段は、前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第四の所定方向に倒されたものと前記角度変化認識手段が認識したときは、前記第三のオペレーションの終了を、前記情報処理手段に対して命令することが好ましい。 When the angle change recognizing means recognizes that the processing command means is tilted in a fourth predetermined direction with respect to the upward direction of the imaging means or the writing area by the grid tilt operation. , It is preferable to instruct the information processing means to end the third operation.
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドティルト動作により第三のオペレーションを終了して元の第一または第二のオペレーションへの切り替えと、第三のオペレーションの再実行ができる。 According to the above characteristics, the handwritten input / output system according to the present invention terminates the third operation by the grid tilt operation, switches to the original first or second operation, and re-executes the third operation. Can be done.
前記処理命令手段は、前記情報処理手段が所定の処理を実行するか否かを決定するときにおいて、前記撮像手段が媒体面に所定時間内に一度だけタッチしたものと、前記ドットパターン解析手段が認識したときは、該所定の処理を実行しないことの決定を該情報処理手段に対し命令し、前記撮像手段が媒体面に対して一度タッチし、所定時間内にさらに媒体面にタッチしたものと、該ドットパターン解析手段が認識したとき、該所定の処理の実行を決定することを該情報処理手段に対し命令することが好ましい。 When the information processing means determines whether or not to execute a predetermined process, the processing instruction means touches the medium surface only once within a predetermined time, and the dot pattern analysis means determines. When it is recognized, it is assumed that the information processing means is instructed to decide not to execute the predetermined process, the imaging means touches the medium surface once, and the medium surface is further touched within a predetermined time. When the dot pattern analysis means recognizes, it is preferable to instruct the information processing means to determine the execution of the predetermined process.
上記の特徴によれば、本発明にかかる手書き入出力システムは、撮像手段による媒体面のタッチの動作のみで、処理の決定・拒否を指示することができる。 According to the above-mentioned features, the handwriting input / output system according to the present invention can instruct the determination / rejection of processing only by the operation of touching the surface of the medium by the imaging means.
前記手書き入出力システムは、前記書き込み領域面に対して、前記撮像手段の撮像光軸を概ね鉛直状に立て、該書き込み領域面に接触した際に読み取られた前記ドットパターンの方向と、該撮像手段のアングルとで成される回転角を読み取る回転角読み取り手段と該撮像手段が該媒体面に接触した際に測定された該回転角を基準として、該撮像手段を回転する動作、すなわちグリッドターン動作による、該撮像光軸が所定の回転方向に回転されることにより、該回転角の所定の変化を解析する回転角変化認識手段と、をさらに備え、前記処理命令手段は、該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信することが好ましい。 In the handwriting input / output system, the imaging optical axis of the imaging means is set up substantially vertically with respect to the writing region surface, and the direction of the dot pattern read when the image pickup means comes into contact with the writing region surface and the imaging are performed. The operation of rotating the image pickup means, that is, the grid turn, with reference to the rotation angle reading means for reading the rotation angle formed by the angle of the means and the rotation angle measured when the image pickup means comes into contact with the medium surface. The processing instruction means further includes a rotation angle change recognition means for analyzing a predetermined change in the rotation angle by rotating the imaging optical axis in a predetermined rotation direction due to the operation, and the processing instruction means is the result of the analysis. It is preferable to transmit a predetermined processing instruction to the information processing means based on the above.
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドターン動作による指示をすることができる。 According to the above-mentioned features, the handwriting input / output system according to the present invention can give an instruction by a grid turn operation.
前記処理命令手段は、前記撮像手段が第一の所定方向に回転したものと前記回転角変化認識手段が認識したときは、実行中のアプリケーションにおけるファイル内容の変更結果を保存することを前記情報処理手段に対し命令し、該撮像手段が該第一の所定方向とは反対方向の第二の所定方向に回転したものと該回転角変化認識手段が認識したときは、実行中のアプリケーションにおけるファイル内容の変更をキャンセルすることを該情報処理手段に対し命令することが好ましい。 The information processing means that when the rotation angle change recognizing means recognizes that the imaging means has rotated in the first predetermined direction, the processing command means saves the change result of the file contents in the running application. When the means is instructed and the rotation angle change recognition means recognizes that the imaging means has rotated in the second predetermined direction opposite to the first predetermined direction, the file contents in the running application. It is preferable to instruct the information processing means to cancel the change of.
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドターン動作によるファイル内容の変更結果の保存、変更のキャンセルの指示をすることができる。 According to the above features, the handwritten input / output system according to the present invention can instruct to save the result of changing the file contents by the grid turn operation and to cancel the change.
前記処理命令手段は、前記撮像手段が第一の所定方向に回転し、さらに所定時間内に該第一の所定方向とは反対方向の第二の所定方向に回転したものと前記回転角変化認識手段が認識したときは、手書き入力用アプリケーションを起動することを前記情報処理手段に対し命令し、該撮像手段が該第二の所定方向に回転し、さらに所定時間内に該第一の所定方向に回転したものと該回転角度変化認識手段が認識したときは、該手書き入力用アプリケーションを終了することが好ましい。 The processing instruction means recognizes a change in rotation angle as a result of the imaging means rotating in a first predetermined direction and further rotating in a second predetermined direction opposite to the first predetermined direction within a predetermined time. When the means recognizes, the information processing means is instructed to start the handwriting input application, the imaging means rotates in the second predetermined direction, and the first predetermined direction is further within a predetermined time. When the rotation angle change recognizing means recognizes that the rotation angle has been rotated, it is preferable to terminate the handwriting input application.
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドターン動作による、手書き入出力用アプリケーションの起動・終了を指示することができる。 According to the above features, the handwriting input / output system according to the present invention can instruct the start / end of the handwriting input / output application by the grid turn operation.
前記手書き入出力システムは、前記撮像手段で前記書き込み領域を撮像して前記ドットパターン解析手段により座標情報およびコード情報を求めた後に、所定の操作により該撮像手段で該書き込み領域に文字をなぞるか、または描く代わりに音声を収録する音声収録手段と、前記コード情報に対応する 予め定義された音声認識情報テーブル(辞書)を参照し、収録された音声を認識し文字情報に変換し情報処理手段に対し送信する音声認識手段と、をさらに備えていることが好ましい。 In the handwritten information processing system, after the writing area is imaged by the imaging means and the coordinate information and the code information are obtained by the dot pattern analysis means, the image pickup means traces a character in the writing area by a predetermined operation. , Or a voice recording means that records voice instead of drawing, and a pre-defined voice recognition information table (dictionary) corresponding to the code information, recognizes the recorded voice, converts it into character information, and processes information processing means. It is preferable that the voice recognition means for transmitting the information is further provided.
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力に代えて、音声入力ができる。 According to the above features, the handwritten input / output system according to the present invention can perform voice input instead of handwritten input.
前記所定の操作は、前記撮像手段で前記書き込み領域に音声入力を意味する記号をなぞるか、または描くことにより行うことが好ましい。 It is preferable that the predetermined operation is performed by tracing or drawing a symbol meaning voice input in the writing area with the imaging means.
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力中の一連の操作の延長上で容易に音声入力に切り替えるこができ、音声入力を開始したという履歴を書き込み領域またはコンピュータ上において残すことができる。 According to the above features, the handwriting input / output system according to the present invention can easily switch to voice input as an extension of a series of operations during handwriting input, and records the history of starting voice input in a writing area or a computer. Can be left on.
前記所定の操作は、前記書き込み領域に前記撮像手段を触れて跳ねる動作により行うことが好ましい。 It is preferable that the predetermined operation is performed by touching and bouncing the imaging means on the writing area.
上記の特徴によれば、本発明にかかる手書き入出力システムは、さらに簡単な操作で容易に音声入力に切り替えるこができ、音声入力を開始したという履歴を書き込み領域に残すことなく音声入力を使用できる。 According to the above features, the handwriting input / output system according to the present invention can easily switch to voice input with a simpler operation, and uses voice input without leaving a history of starting voice input in the writing area. it can.
前記所定の操作は、前記音声収録手段に所定の言葉を収録し、前記音声認識手段で該所定の言葉を認識することにより行うことが好ましい。 It is preferable that the predetermined operation is performed by recording a predetermined word in the voice recording means and recognizing the predetermined word by the voice recognition means.
上記の特徴によれば、本発明にかかる手書き入出力システムは、煩わしい操作を覚えることなく音声入力の開始操作をより感覚的にできる。 According to the above-mentioned features, the handwriting input / output system according to the present invention can more intuitively start the voice input operation without memorizing troublesome operations.
前記媒体は、該媒体における前記コード情報に予め音声ガイドの指示情報が定義され、前記手書き入出力システムは、該書き込み領域に書き込む内容を該の音声ガイドを音声で解説する音声出力手段をさらに備えていることが好ましい。
<手書き入力シート>
本発明にかかる手書き入力シートは、少なくとも一部、または複数の領域に座標情報および、コード情報が繰り返し定義されたドットパターンが形成された書き込み領域を備えた媒体からなることを特徴とする。
The medium has voice guide instruction information defined in advance in the code information in the medium, and the handwritten input / output system further includes a voice output means for explaining the contents to be written in the writing area by voice. Is preferable.
<Handwriting input sheet>
The handwritten input sheet according to the present invention is characterized by comprising a medium including a writing area in which coordinate information and a dot pattern in which code information is repeatedly defined are formed in at least a part or a plurality of areas.
上記の特徴によれば、本発明にかかる手書き入力シートは、媒体に形成されたドットパターンが座標情報のみならずコード情報を定義することにより、手書き入力において座標情報とユニークな情報または命令を一括して入力することができる。 According to the above-mentioned features, in the handwriting input sheet according to the present invention, the dot pattern formed on the medium defines not only the coordinate information but also the code information, so that the coordinate information and the unique information or the command are collectively integrated in the handwriting input. Can be entered.
前記媒体は、前記書き込み領域に関連するテキスト、グラフィック、写真がさらに重畳して形成されていることが好ましい。 The medium is preferably formed by further superimposing text, graphics, and photographs related to the writing area.
上記の特徴によれば、本発明にかかる手書き入力シートは、手書き入力においてユーザが書き込み領域の内容を容易に知ることができる。 According to the above-mentioned features, the handwriting input sheet according to the present invention allows the user to easily know the content of the writing area in the handwriting input.
前記媒体は、所定の媒体面および/または前記書き込み領域面を特定する特定情報および/または操作指示(プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等)を定義するコード情報を繰り返し形成する前記ドットパターンに、該コード情報を意味するアイコンがさらに重畳して形成されていることが好ましい。 The medium defines specific information and / or operation instructions (program startup, command input, data input / output / search, search target designation, etc.) that specify a predetermined medium surface and / or the writing area surface. It is preferable that an icon meaning the code information is further superimposed on the dot pattern that repeatedly forms the code information.
上記の特徴によれば、本発明にかかる手書き入力シートは、手書き入力においてユーザがさらに、コード情報に基づき入力されるユニークな情報または命令の内容を知ることができる。 According to the above features, the handwritten input sheet according to the present invention allows the user to further know the content of unique information or instructions input based on the code information in the handwritten input.
前記アイコンは、貼付可能なシール、付箋紙、その他の媒体面上に前記ドットパターンとともに形成されていることが好ましい。 The icon is preferably formed together with the dot pattern on a stickable sticker, sticky note, or other medium surface.
上記の特徴によれば、本発明にかかる手書き入力シートは、媒体のレイアウトの自由度を高めることができ、書き込み領域に手書き入力された情報の検索、出力をユーザの利便性や好みに応じて自由自在に実行できる。 According to the above features, the handwritten input sheet according to the present invention can increase the degree of freedom in the layout of the medium, and can search and output the information handwritten and input in the writing area according to the convenience and preference of the user. It can be executed freely.
前記手書き入力シートは、前記書き込み領域内および/または領域周辺に点字をさらに備えていることが好ましい。 The handwritten input sheet preferably further includes Braille in and / or around the writing area.
上記の特徴によれば、本発明にかかる手書き入力シートは、視覚障害者が手書き入力をする上において健常者と同様の入力効率を維持することに寄与する。 According to the above characteristics, the handwriting input sheet according to the present invention contributes to maintaining the same input efficiency as that of a healthy person when a visually impaired person performs handwriting input.
前記手書き入力シートは、前記書き込み領域に書き込む際に、前記撮像手段がはみ出さないように該書き込み領域の外周に沿って幅狭の凸部のガイドをさらに備えていることが好ましい。 It is preferable that the handwriting input sheet is further provided with a guide of a narrow convex portion along the outer circumference of the writing area so that the imaging means does not protrude when writing to the writing area.
上記の特徴によれば、本発明にかかる手書き入力シートは、書き込み領域に正確に撮像手段でなぞったり、描いたりできるようガイドを設け、視覚障害者が手書き入力をする上において健常者と同様の入力効率を維持することに寄与する。
<情報入力システム>
本発明にかかる情報入力システムは、一面側からの赤外線を反射すると共に、可視光を透過する特性を有する赤外線反射層と、該赤外線反射層の一面側に設けられ、赤外線を拡散反射する特性を有する材料からなる、少なくとも一部、または複数の領域に座標情報および/またはコード情報が繰り返し定義されたドットパターンのドットが配置されたドットパターン層と、該ドットパターン層の、該赤外線反射層と反対側に設けられ、赤外線および可視光を透過する特性を有する保護層とが積層されている情報入力補助シート、すなわちグリッドシートと、少なくとも媒体面の一部に、該ドットパターンのドットが赤外線を吸収する特性を有する材料で形成された媒体と、該ドットパターンを撮像して、送信する撮像手段と、該媒体面の該ドットパターンを該撮像手段により撮像・送信された該ドットパターンの画像データでは、明度が周辺とは低く撮像されるドット部、または、該グリッドシートの該ドットパターンを該撮像手段により撮像・送信された該ドットパターンの画像データでは、明度が周辺とは高く撮像されるドット部を、所定の判定方法により判定し、該ドットパターンの画像データを記憶素子に記憶して、コード解析することにより、該座標情報および/または該コード情報を入力するドットパターン解析手段とからなることを特徴とする。
According to the above characteristics, the handwriting input sheet according to the present invention is provided with a guide so that the writing area can be accurately traced and drawn by the imaging means, and the visually impaired person is similar to a healthy person in performing handwriting input. Contributes to maintaining input efficiency.
<Information input system>
The information input system according to the present invention has an infrared reflecting layer having a characteristic of reflecting infrared rays from one surface side and transmitting visible light, and a characteristic of being provided on one surface side of the infrared reflecting layer to diffusely reflect infrared rays. A dot pattern layer in which dots of a dot pattern in which coordinate information and / or code information are repeatedly defined are arranged in at least a part or a plurality of regions made of the material of the dot pattern layer, and an infrared reflective layer of the dot pattern layer. An information input auxiliary sheet, that is, a grid sheet, which is provided on the opposite side and is laminated with a protective layer having a property of transmitting infrared rays and visible light, and at least a part of a medium surface, the dots of the dot pattern emit infrared rays. An imaging means formed of a material having a property of absorbing, an imaging means for imaging and transmitting the dot pattern, and image data of the dot pattern imaged and transmitted by the imaging means on the dot pattern on the medium surface. Then, in the dot portion where the brightness is imaged lower than the periphery, or in the image data of the dot pattern imaged and transmitted by the imaging means for the dot pattern of the grid sheet, the brightness is imaged higher than the periphery. The dot portion is determined by a predetermined determination method, the image data of the dot pattern is stored in the storage element, and the code analysis is performed, so that the coordinate information and / or the code information is input from the dot pattern analysis means. It is characterized by becoming.
上記の特徴によれば、本発明にかかる情報入力システムは、グリッドシートに拡散反射層を設けることなく目玉現象を回避することができる。 According to the above features, the information input system according to the present invention can avoid the eyeball phenomenon without providing the diffuse reflection layer on the grid sheet.
前記所定の判定方法は、m行n列のピクセルで構成された記憶素子に記憶された撮像画像を行毎(i)に左端からから始まり右方向に、所定間隔(k)だけ離れたピクセル同士の明度(BL(i,j))の差分(ΔBL=BL(i,j+k)−BL(i,j))を順々に求め、その差分が所定の正・負の閾値を上回るか、もしくは下回るかにより判定する方法と、該明度が周辺とは低く撮像されるドット部の判定では、該明度の差分が負の閾値を下回った場合に右側のピクセルをドットとして判定し、そのピクセルからドットが始まったと判定し、正の閾値を上回った場合に同じく右側のピクセルがドットでないことを判定し、その手前のピクセルまででドットが終わったと判定する方法と、該明度が周辺とは高く撮像されるドット部の判定では、該明度の差分が正の閾値を上回った場合に右側のピクセルをドットとして判定し、そのピクセルからドットが始まったと判定し、負の閾値を下回った場合に同じく右側のピクセルがドットでないことを判定し、その手前のピクセルまででドットが終わったと判定する方法と、からなる判定方法であって、前記ドットパターン解析手段は、該所定の判定方法により、前記媒体面か、前記グリッドシートに設けられた前記ドットパターンのいずれかであるかを判定して、該所定の判定方法によりコード解析することが好ましい。 In the predetermined determination method, the captured images stored in the storage element composed of pixels of m rows and n columns are separated from each other by a predetermined interval (k) in the right direction starting from the left end for each row (i). The difference (ΔBL = BL (i, j + k) −BL (i, j)) of the brightness (BL (i, j)) of is obtained in order, and whether the difference exceeds a predetermined positive / negative threshold. In the method of determining whether the brightness is lower than or equal to, and the determination of the dot portion whose brightness is lower than that of the periphery, when the difference in brightness falls below the negative threshold, the pixel on the right side is determined as a dot, and that pixel is determined. It is determined that the dot started from, and when it exceeds the positive threshold, it is also determined that the pixel on the right side is not a dot, and it is determined that the dot ends up to the pixel in front of it. In the determination of the dot portion to be imaged, when the difference in brightness exceeds the positive threshold, the pixel on the right side is determined as a dot, it is determined that the dot starts from that pixel, and the same applies when the difference falls below the negative threshold. It is a determination method including a method of determining that the pixel on the right side is not a dot and determining that the dot is completed up to the pixel in front of the pixel, and the dot pattern analysis means is the medium according to the predetermined determination method. It is preferable to determine whether it is a surface or the dot pattern provided on the grid sheet, and perform code analysis by the predetermined determination method.
前記所定の判定方法は、前記撮像画像の所定の領域の明度を測定して、所定の閾値を上回っていれば、前記明度が周辺とは低く撮像されるドット部の判定方法を用い、所定の閾値を下回っていれば、前記明度が周辺とは高く撮像されるドット部の判定方法を用いることが好ましい。
<情報入力補助シート>
本発明にかかる情報入力補助シートは、一面側からの赤外線を反射すると共に、可視光を透過する特性を有する赤外線反射層と、該赤外線反射層の一面側に設けられ、赤外線を拡散反射する特性を有する材料からなる、少なくとも一部、または複数の領域に座標情報および/またはコード情報が繰り返し定義されたドットパターンのドットが配置されたドットパターン層と、該ドットパターン層の、該赤外線反射層と反対側に設けられ、赤外線および可視光を透過する特性を有する保護層と、が積層されていることを特徴する。
The predetermined determination method uses a determination method of a dot portion in which the brightness of a predetermined region of the captured image is measured, and if the brightness exceeds a predetermined threshold value, the brightness is lower than that of the periphery, and the predetermined determination method is used. If it is below the threshold value, it is preferable to use a method for determining a dot portion whose brightness is higher than that of the periphery.
<Information input assistance sheet>
The information input auxiliary sheet according to the present invention has an infrared reflecting layer having a characteristic of reflecting infrared rays from one surface side and transmitting visible light, and a characteristic of being provided on one surface side of the infrared reflecting layer and diffusely reflecting infrared rays. A dot pattern layer in which dots of a dot pattern in which coordinate information and / or code information are repeatedly defined are arranged in at least a part or a plurality of regions, and an infrared reflective layer of the dot pattern layer. It is characterized in that a protective layer provided on the opposite side of the surface and having a property of transmitting infrared rays and visible light is laminated.
上記の特徴によれば、本発明にかかる情報入力補助シートは、拡散反射層を設けることなく目玉現象を回避することができる。 According to the above characteristics, the information input auxiliary sheet according to the present invention can avoid the eyeball phenomenon without providing the diffuse reflection layer.
本発明にかかる入力補助シートは、それぞれの面へ入射した赤外線を反射すると共に、可視光を透過する特性を有する赤外線反射層と、該赤外線反射層の両面に設けられ、赤外線を吸収する特性を有する材料からなる、前記ドットパターンのドットが配置されたドットパターン層と、前記ドットパターン層のそれぞれのさらに外側に設けられ、それぞれの方向から入射した赤外線および可視光を透過する特性を有する保護層と、が積層されており、前記ドットパターン層のそれぞれに配置された前記ドットパターンにパターン化された座標情報および/またはコード情報は、互いに同一であるかまたは互いに異なることを特徴する。 The input auxiliary sheet according to the present invention is provided on both sides of an infrared reflecting layer having a property of reflecting infrared rays incident on each surface and transmitting visible light, and a property of absorbing infrared rays. A dot pattern layer in which dots of the dot pattern are arranged and a protective layer provided on the outer side of each of the dot pattern layers and having a property of transmitting infrared rays and visible light incident from the respective directions. And / or are laminated, and the coordinate information and / or the code information patterned in the dot pattern arranged in each of the dot pattern layers is the same as or different from each other.
上記の特徴によれば、本発明にかかる情報入力補助シートは、拡散反射層を設けることなく目玉現象を回避することができる。 According to the above characteristics, the information input auxiliary sheet according to the present invention can avoid the eyeball phenomenon without providing the diffuse reflection layer.
本発明にかかる手書き入出力システムおよび手書き入力シートにおいては、前記書き込み領域は、任意の形状であることが好ましい。 In the handwritten input / output system and the handwritten input sheet according to the present invention, the writing area preferably has an arbitrary shape.
従来、座標情報のみを用いて書き込み領域を特定しようとすると、書き込み領域の境界を示す座標をテーブルないし関数で予め定義しておき、入力した座標値が当該テーブルないし関数の範疇に入るものであるか逐次判定しなければならかった。このため、解析が複雑化し、座標情報のみを用いて書き込み領域を特定する場合、使用メモリーや計算速度などの解析効率を維持するため書き込み領域はほぼ矩形である必要があった。本発明はコード情報を用いて書き込み領域を特定することにより、書き込み領域はどのような形状であっても同様の解析効率を発揮することができる。 Conventionally, when trying to specify the writing area using only the coordinate information, the coordinates indicating the boundary of the writing area are defined in advance in the table or function, and the input coordinate values fall into the category of the table or function. I had to judge sequentially. For this reason, the analysis becomes complicated, and when the writing area is specified using only the coordinate information, the writing area needs to be substantially rectangular in order to maintain the analysis efficiency such as the memory used and the calculation speed. In the present invention, by specifying the writing area using the code information, the same analysis efficiency can be exhibited regardless of the shape of the writing area.
本発明にかかる手書き入出力システムおよび手書き入力シートにおいては、前記媒体は、情報ドットを配置するブロックの領域内に、ブロックの大きさと向きを形成できるように複数の基準点を設け、該基準点から定義される複数の仮想基準点を配置し、該仮想基準点からの距離と方向とで座標情報または、座標情報およびコード情報が定義される該情報ドットが配置され、該複数の仮想基準点における情報ドットの配置方向の組み合わせの内の、所定の情報ドットの配置方向の組み合わせで、少なくとも一部、または複数の領域に座標情報または、座標情報およびコード情報が繰り返し定義されるドットパターンが形成された書き込み領域を備え、前記ドットパターン解析手段は、該所定の情報ドットの配置方向の組み合わせによって該書き込み領域であることを判別して手書き入力を処理するこが好ましい。 In the handwritten input / output system and the handwritten input sheet according to the present invention, the medium is provided with a plurality of reference points so that the size and orientation of the block can be formed in the area of the block in which the information dots are arranged, and the reference points are provided. A plurality of virtual reference points defined from are arranged, and the coordinate information or the information dot in which the coordinate information and the code information are defined by the distance and the direction from the virtual reference point is arranged, and the plurality of virtual reference points are arranged. Among the combinations of the arrangement directions of the information dots in the above, the combination of the arrangement directions of the predetermined information dots forms a dot pattern in which the coordinate information or the coordinate information and the code information are repeatedly defined in at least a part or a plurality of areas. It is preferable that the dot pattern analysis means is provided with the written area, determines that it is the written area by the combination of the arrangement directions of the predetermined information dots, and processes the handwritten input.
上記の特徴によれば、手書き入力する際に、手書き入出力システムに別途設けるボタンの操作や、撮像手段で手書き入力の操作指示が定義されたドットパターンの読み取りを行うことなく、所定の情報ドットの配置方向の組み合わせをドットパターン解析手段でコード解析するだけで書き込み領域であることを判別し、書き込み領域であれば手書き入力としての処理を行う。書き込み領域でなければコード情報および/または座標情報に関連付けられた情報の出力および/または命令処理の実行を行う。 According to the above characteristics, when handwriting input is performed, a predetermined information dot is not required to operate a button separately provided in the handwriting input / output system or to read a dot pattern in which a handwriting input operation instruction is defined by an imaging means. It is determined that it is a writing area only by code-analyzing the combination of the arrangement directions of If it is not a write area, the code information and / or the information associated with the coordinate information is output and / or the instruction processing is executed.
本発明にかかる手書き入出力システムおよび手書き入力シートにおいては、前記所定の情報ドットの配置方向の組み合わせは、前記複数の仮想基準点において、前記情報ドットが該仮想基準点から上下左右方向線上および斜め方向線上のいずれかに配置される配置方向の組み合わせの内の、所定の情報ドットの配置方向の組み合わせであることが好ましい。 In the handwritten input / output system and the handwritten input sheet according to the present invention, the combination of the arrangement directions of the predetermined information dots is such that the information dots are on the vertical / horizontal direction lines and diagonally from the virtual reference points at the plurality of virtual reference points. It is preferable that the combination of the arrangement directions of the predetermined information dots among the combinations of the arrangement directions arranged on any of the direction lines.
上記の特徴によれば、情報ドットの配置方向が上下左右・斜め方向に限られているため、ドットパターン解析手段が所定の情報ドットの配置方向の組み合わせを正確に認識でき、書き込み領域であるか否かを判別し、書き込み領域であれば手書き入力としての処理を行う。書き込み領域でなければコード情報および/または座標情報に関連付けられた情報の出力および/または命令処理の実行を行う。 According to the above characteristics, since the arrangement direction of the information dots is limited to the up, down, left, right, and diagonal directions, the dot pattern analysis means can accurately recognize the combination of the arrangement directions of the predetermined information dots, and is it a writing area? Whether or not it is determined, and if it is a writing area, it is processed as a handwritten input. If it is not a write area, the code information and / or the information associated with the coordinate information is output and / or the instruction processing is executed.
前記コード情報には、書き込み領域であることを示す書き込みフラグが定義され、前記ドットパターン解析手段は、該書き込みフラグによって該書き込み領域であることを判別して手書き入力を処理することが好ましい。 A write flag indicating that the code information is in the write area is defined in the code information, and it is preferable that the dot pattern analysis means determines that the code information is in the write area and processes the handwritten input.
上記の特徴によれば、撮像手段が媒体面に形成されたドットパターンを読み込むと、ドットパターン解析手段は、直ちに書き込みフラグにより当該領域が書き込み領域か否かであることを判別し、書き込み領域であれば手書き入力としての処理を行う。書き込み領域でなければコード情報および/または座標情報に関連付けられた情報の出力および/または命令処理の実行を行う。 According to the above characteristics, when the imaging means reads the dot pattern formed on the medium surface, the dot pattern analysis means immediately determines by the write flag whether or not the area is the write area, and in the write area, If there is, it is processed as handwritten input. If it is not a write area, the code information and / or the information associated with the coordinate information is output and / or the instruction processing is executed.
前記コード情報には、前記書き込み領域を特定する特定情報および/または書き込み処理を意味する操作指示が定義され、前記ドットパターン解析手段は、該特定情報および/または該操作指示であることを判別して手書き入出力を処理することが好ましい。 The code information defines specific information that specifies the writing area and / or an operation instruction that means a writing process, and the dot pattern analysis means determines that the specific information and / or the operation instruction. It is preferable to process handwritten input / output.
上記の特徴によれば、撮像手段が媒体面に形成されたドットパターンを読み込むと、どの書き込み領域に書き込まれるかを瞬時に特定できる。この書き込み領域に手書き入力される内容が所定のカテゴリーに属する場合、そのカテゴリーの辞書との照合により認識率は格段に向上する。また、書き込まれる内容をどのように処理するかを判断し、適切な処理を行うことができる。 According to the above characteristics, when the imaging means reads the dot pattern formed on the medium surface, it is possible to instantly identify in which writing area the dot pattern is written. When the content handwritten in this writing area belongs to a predetermined category, the recognition rate is remarkably improved by collating with the dictionary of that category. In addition, it is possible to determine how to process the written contents and perform appropriate processing.
前記軌跡情報は、前記撮像手段の撮像中心の座標情報、または該撮像手段付近に備えられ
た前記指示用突起部または前記ペン先が前記書き込み領域面に触れる位置の座標情報と前記コード情報からなり、前記ドットパターン解析手段により、前記ドットパターンに定義された座標情報を基に補間計算して求められることが好ましい。
The locus information includes coordinate information of the image pickup center of the image pickup means, coordinate information of a position where the instruction protrusion or the pen tip provided in the vicinity of the image pickup means touches the writing area surface, and code information. , It is preferable that the dot pattern analysis means obtains the calculation by interpolation based on the coordinate information defined in the dot pattern.
上記の特徴によれば、ドットパターンに定義された座標情報は、1組のXY座標値が定義される1ブロック毎の増分が1単位であるため、軌跡情報を正確に再現するために必要な1単位未満の所定の精度を、座標情報を基に補間計算して求めることができる。例えば、1ブロックの大きさが2mmの場合、文字を正確に再現するには、その1/10〜1/20となる0.1〜0.2mm程度の精度でXY座標値を求め、軌跡情報を認識すればよい。 According to the above features, the coordinate information defined in the dot pattern is necessary to accurately reproduce the locus information because the increment of each block in which one set of XY coordinate values is defined is one unit. A predetermined accuracy of less than one unit can be obtained by interpolation calculation based on the coordinate information. For example, when the size of one block is 2 mm, in order to accurately reproduce the character, the XY coordinate value is obtained with an accuracy of about 0.1 to 0.2 mm, which is 1/10 to 1/20 of that, and the locus information. You just have to recognize.
本発明は、上記各種の特徴を有することにより、従来技術とは次元を異にする、全く異なった、多様かつ新しい付加価値と利便性をユーザに与えることのできる手書き入出力システムを提供することができる。 The present invention provides a handwritten input / output system capable of giving a user a variety of new added value and convenience, which is completely different from the conventional technology by having the above-mentioned various features. Can be done.
以下、本発明の実施の形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<システム全体の構成の説明>
図1は、本発明にかかる手書き入出力システム1の使用状態の一例を示す外観図である。同図によれば、媒体2にスキャナ3を用いて書き込みをすると、書き込んだとおりの文書がディスプレイ6に表示される。これは、スキャナ3が、書き込んだ軌跡上のドットパターンを撮像して、コンピュータ4が解析する(必要に応じてサーバ5にアクセスする)ことにより、実現する。ただし、コンピュータ4がスキャナ3に内蔵されていてもよい。
<Explanation of the overall system configuration>
FIG. 1 is an external view showing an example of a usage state of the handwriting input /
図2は、本発明にかかる手書き入出力システム1の、第一の実施例の構成を示すブロック図である。
FIG. 2 is a block diagram showing a configuration of a first embodiment of the handwritten input /
この手書き入出力システム1は少なくとも、媒体2(手書き入力シート)、撮像部7(撮像手段)、ドットパターン解析部8(ドットパターン解析手段)、軌跡認識部9(軌跡認識手段)、処理命令部10(処理命令手段)、を備えることにより情報処理部11に対して各種の命令を行い、必要に応じて各種サーバ5にアクセスする。
The handwritten input /
図3は、本発明にかかる手書き出入力システム1の第二の実施例の構成を示すブロック図である。第二の実施例では、第一の実施例が備える構成に加えて、撮像素子12、照射部13、光制御部14をさらに備える。
FIG. 3 is a block diagram showing a configuration of a second embodiment of the handwritten input /
ここで、同図中の破線で示すように、撮像素子12と照射部13は撮像部7と一体であり、光制御部14はドットパターン解析部8と一体である。
Here, as shown by the broken line in the figure, the
図4は、本発明にかかる手書き入出力システム1の第三の実施例の構成を示すブロック図である。第三の実施例では、第一の実施例が備える構成に加えて、計時部15をさらに備える。
FIG. 4 is a block diagram showing a configuration of a third embodiment of the handwriting input /
ここで、同図中の破線で示すように、計時部15は軌跡認識部9と一体である。
Here, as shown by the broken line in the figure, the
図5は、本発明にかかる手書き入出力システム1の第四の実施例の構成を示すブロック図である。第四の実施例では、第一の実施例が備える構成に加えて、角度測定部16、角度変化認識部17をさらに備える。
FIG. 5 is a block diagram showing a configuration of a fourth embodiment of the handwriting input /
ここで、同図中の破線で示すように、角度測定部16と角度変化認識部17はドットパターン解析部8と一体である。
Here, as shown by the broken line in the figure, the
図6は、本発明にかかる手書き入出力システム1の第五の実施例の構成を示すブロック図である。第五の実施例では、第一の実施例が備える構成に加えて、回転角読み取り部18、回転角変化認識部19をさらに備える。
FIG. 6 is a block diagram showing a configuration of a fifth embodiment of the handwriting input /
ここで、同図中の破線で示すように、回転角読み取り部18と回転角変化認識部19はドットパターン解析部8と一体である。
Here, as shown by the broken line in the figure, the rotation
図7は、本発明にかかる手書き入出力システム1の第六の実施例の構成を示すブロック図である。第禄の実施例では、第一の実施例が備える構成に加えて、音声収録部20、音声認識部21、音声出力部22をさらに備える。
FIG. 7 is a block diagram showing a configuration of a sixth embodiment of the handwriting input /
<ドットパターン>
以下に、本発明にかかる手書き入出力システム1において用いるドットパターンについて、図8〜15を用いて説明する。
<Dot pattern>
Hereinafter, the dot pattern used in the handwriting input /
<ドットパターンの説明GRID1>
図8〜図15は本発明にかかる手書き入出力システム1において媒体2に形成されるドットパターンの一例であるGRID1を示す説明図である。
<Explanation of dot pattern GRID1>
8 to 15 are explanatory
なお、これらの図において、縦横方向の格子線は説明の便宜のために付したものであり実際の印刷面には存在していない。ドットパターン101を構成するキードット102、情報ドット103、基準格子点ドット104等は撮像手段であるスキャナ3が赤外線照射手段を有している場合、当該赤外光を吸収する不可視インクまたはカーボンインクで印刷されていることが望ましい。
In these figures, the grid lines in the vertical and horizontal directions are added for convenience of explanation and do not exist on the actual printed surface. The
図8はドットパターン101の情報ドットおよびそれに定義されたデータのビット表示の一例を示す拡大図である。図9(a)、(b)はキードット102を中心に配置した情報ドット103を示す説明図である。
FIG. 8 is an enlarged view showing an example of bit display of the information dots of the
ドットパターンを用いた情報入出力方法は、ドットパターン101の生成と、そのドットパターン101の認識と、このドットパターン101から情報およびプログラムを出力する手段とからなる。すなわち、ドットパターン101をスキャナ3に内蔵する撮像部7により画像データとして取り込み、まず、基準格子点ドット104を抽出し、次に本来基準格子点ドット104がある位置にドットが打たれていないことによってキードット102を抽出し、次に情報ドット103を抽出することによりデジタル化して情報領域を抽出して情報の数値化を図り、その数値情報より、このドットパターン101から情報およびプログラムを出力させる。たとえば、このドットパターン101から音声等の情報やプログラムを、情報出力装置、パーソナルコンピュータ、PDAまたは携帯電話等に出力させる。
The information input / output method using the dot pattern includes generation of the
ドットパターン101の生成は、ドットコード生成アルゴリズムにより、数値情報を認識させるために微細なドット、すなわち、キードット102、情報ドット103、基準格子点ドット104を所定の規則に則って配列する。図7に示すように、情報を表すドットパターン101のブロックは、キードット102を基準に5×5の基準格子点ドット104を配置し、4点の基準格子点ドット104に囲まれた中心の仮想格子点5の周囲に情報ドット103を配置する。このブロックには任意の数値情報が定義される。なお、図8の図示例では、ドットパターン101のブロック(太線枠内)を4個並列させた状態を示している。なお、ドットパターン101は4ブロックに限定されず、上下・左右方向に、何度でも繰り返して配置されてもよいことは勿論である。
In the generation of the
基準格子点ドット104は、撮像部7でこのドットパターン101を画像データとして取り込む際に、その撮像部7のレンズの歪みや斜めからの撮像、紙面の伸縮、媒体表面の湾曲、印刷時の歪みを矯正することができる。具体的には歪んだ4点の基準格子点ドット104を元の正方形に変換する補正用の関数(Xn,Yn)=f(Xn’,Yn’)を求め、その同一の関数で情報ドット103を補正して、正しい情報ドット103のベクトルを求める。
When the
ドットパターン101に基準格子点ドット104を配置してあると、このドットパターン101を撮像部7で取り込んだ画像データは、撮像部7が原因する歪みを補正するので、歪み率の高いレンズを付けた普及型のカメラでドットパターン101の画像データを取り込むときにも正確に認識することができる。また、ドットパターン101の面に対して撮像部7を傾けて読み取っても、そのドットパターン101を正確に認識することができる。
When the reference
キードット102は、図8に示すように、ブロックの四隅の角部にある4個の基準格子点ドット104を一定方向にずらして配置したドットである。このキードット102は、情報ドット103を表す1ブロック分のドットパターン101の代表点である。たとえば、ドットパターン101のブロックの四隅の角部にある基準格子点ドット104を上方に隣り合う基準格子点ドット104の間隔の20%(基準格子点ドット間の間隔が0.5mmの場合は0.1mm)程度ずらしたものである。ただし、この数値はこれに限定されずに、ドットパターン101のブロックの大小に応じて可変し得るものである。
As shown in FIG. 8, the
情報ドット103は種々の情報を認識させるドットである。この情報ドット103は、キードット102を代表点にして、その周辺に配置すると共に、4点の基準格子点ドット104で囲まれた中心を仮想格子点5にして、これを始点としてベクトルにより表現した終点に配置したものである。たとえば、この情報ドット103は、基準格子点ドット104に囲まれ、図9(a)に示すように、その仮想格子点5から、隣り合う基準格子点ドット104の間隔の20%(基準格子点ドットの間隔が0.5mmの場合は0.1mm)程度離れたドットは、ベクトルで表現される方向と長さを有するために、時計方向に45度ずつ回転させて8方向に配置し、3ビットを表現する。したがって、1ブロックのドットパターン101で3ビット×16個=201ビットを表現することができる。
The information dot 103 is a dot that recognizes various types of information. The information dot 103 is arranged around the
図9(b)は、図3のドットパターンにおいて、1個の格子毎に2ビットを有する情報ドット103の定義の方法であり、+方向および×方向にドットをずらして各2ビットの情報を定義している。これにより、本来201ビットの情報を定義できるが、用途によって分割して32ビット毎にデータを与えることができる。+方向および×方向の組み合わせによって最大216(約65000)通りのドットパターンフォーマットが実現できる。 FIG. 9B is a method of defining the information dot 103 having 2 bits for each grid in the dot pattern of FIG. 3, and the information of each 2 bits is shifted by shifting the dots in the + direction and the × direction. It is defined. As a result, 201-bit information can be originally defined, but data can be given in units of 32 bits by dividing the information according to the application. + The direction and × direction of combinations can be realized up to 2 16 (approximately 65000) dot pattern formats street.
これに限定されずに、16方向に配置して4ビットを表現することも可能であり、種々変更できることは勿論である。
なお、撮像手段であるスキャナ3を媒体面に近づけて、または触れてドットパターンを撮像する場合は、キードット102、情報ドット103または基準格子点ドット104のドットの径は、見栄えと、紙質に対する印刷の精度、撮像部7の解像度および最適なデジタル化を考慮して、隣り合う基準格子点ドット104の間隔の6〜16%(基準格子点ドットの間隔が0.5mmの場合は0.03〜0.08mm)程度が望ましい。ただし撮像手段であるスキャナ3の撮影口の大きさにより、撮像領域内に所定のドットパターンが撮像されるよう形成される必要があり、1ブロックのドットパターンの配置サイズおよびドットの径を適切に定めることは勿論である。さらに、撮像面積に対する必要な情報量と、各種ドット102,103,104の誤認を考慮して基準格子点ドット104の間隔は縦・横0.3〜0.5mm前後が望ましい。基準格子点ドット104および情報ドット103との誤認を考慮して、キードット102のずれは格子間隔の20〜25%前後が望ましい。
Not limited to this, it is possible to express 4 bits by arranging them in 16 directions, and it goes without saying that various changes can be made.
When the
一方、図示しないが撮像手段である非接触のスキャナや携帯電話の内蔵カメラを媒体面から所定の距離だけ離れてドットパターンを撮像する場合は、撮像領域内に所定のドットパターンが撮像されるよう形成される必要があり、1ブロックのドットパターンの配置サイズおよびドットの径を適切に定めることは勿論である。 On the other hand, although not shown, when a non-contact scanner or a built-in camera of a mobile phone, which is an imaging means, captures a dot pattern at a predetermined distance from the medium surface, the predetermined dot pattern is captured in the imaging region. It needs to be formed, and it goes without saying that the arrangement size of the dot pattern of one block and the diameter of the dots are appropriately determined.
この情報ドット103と、4点の基準格子点ドット104で囲まれた仮想格子点との間隔は、隣接する仮想格子点5間の距離の15〜30%程度の間隔であることが望ましい。情報ドット103と仮想格子点5間の距離がこの間隔より近いと、ドット同士が大きな塊と視認されやすく、ドットパターン101として見苦しくなるからである。逆に、情報ドット103と仮想格子点5間の距離がこの間隔より遠いと、隣接するいずれの仮想格子点5を中心にしてベクトル方向性を持たせた情報ドット103であるかの認定が困難になるためである。
It is desirable that the distance between the information dot 103 and the virtual grid points surrounded by the four reference
図8に示すように、1個のドットパターンは、4×4個のブロック領域で構成されたドットパターンであり、各ブロック内には2ビットの情報ドット103が配置されている。この情報ドット103のドットコードフォーマットの一例を示したものが図9である。
As shown in FIG. 8, one dot pattern is a dot pattern composed of 4 × 4 block areas, and 2-
図10に示すように、1個のドットパターン中には、パリティチェック、コード値、X座標、Y座標が記録されている。なお、フォーマットの詳細については後述する。 As shown in FIG. 10, a parity check, a code value, an X coordinate, and a Y coordinate are recorded in one dot pattern. The details of the format will be described later.
図11は情報ドット103およびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。 FIG. 11 is an example of bit display of the information dot 103 and the data defined therein, and shows other forms.
また、情報ドット103について基準格子点ドット104で囲まれた仮想格子点5から長・短の2種類を使用し、ベクトル方向を8方向とすると、4ビットを表現することができる。このとき、長い方が隣接する仮想格子点5間の距離の25〜30%程度、短い方は15〜20%程度が望ましい。ただし、長・短の情報ドット103の中心間隔は、これらのドットの径より長くなることが望ましい。
Further, 4 bits can be expressed by using two types of
4点の基準格子点ドット104で囲まれた情報ドット103は、見栄えを考慮し、1ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、1ベクトル毎に、1ビットを割り当て、情報ドット103を複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円8方向のベクトルでは、4点の格子ドット4に囲まれた情報ドット103で28の情報を表現でき、1ブロックの情報ドット16個で2128となる。
The information dot 103 surrounded by the four reference
図12は情報ドットおよびそこに定義されたデータのビット表示の例であり、(a)はドットを2個、(b)はドットを4個および(c)はドットを5個配置したものを示すものである。 FIG. 12 shows an example of bit display of information dots and data defined therein. FIG. 12A shows two dots, (b) shows four dots, and (c) shows five dots. It shows.
図13はドットパターン101の変形例を示すものであり、(a)は情報ドット6個配置型、(b)は情報ドット9個配置型、(c)は情報ドット12個配置型、(d)は情報ドット1036個配置型の概略図である。
FIG. 13 shows a modification of the
図8に示すドットパターン101は、1ブロックに16個(4×4)の情報ドット103を配置した例を示している。しかし、この情報ドット103は1ブロックに16個配置することに限定されずに、種々変更することができる。たとえば、必要とする情報量の大小または撮像部7の解像度に応じて、情報ドット103を1ブロックに6個(2×3)配置したもの(a)、情報ドット103を1ブロックに9個(3×3)配置したもの(b)、情報ドット103を1ブロックに12個(3×4)配置したもの(c)、または情報ドット103を1ブロックに36個配置したもの(d)がある。
The
<ドットパターンの説明ディレクションドット>
次に、ドットパターンの他の形態であるディレクションドットについて図14を用いて説明する。
<Explanation of dot pattern Direction dot>
Next, a direction dot, which is another form of the dot pattern, will be described with reference to FIG.
本ドットパターンは、ブロックの形状によって、ドットパターンの方向を定義したものである。図14(a)において、まず基準点201a〜201eが配置されている。この基準点201a〜201eを結ぶ線によってブロックの向きを示す形状(ここでは上方を向いた5角形)が定義されている。そして、この基準点に基づいて仮想基準点201f、201g、201hが配置され、この仮想基準点を始点として方向と長さを有するベクトル終点に情報ドット203が配置されている。このように、同図では、ブロックの向きを基準点の配置の仕方によって定義することができる。そしてブロックの向きが定義されるディレクションドットによって、ブロック全体の大きさも定義されることになる。また、このブロックは、上下・左右方向に、何度でも繰り返して配置されてもよいことは勿論である。
In this dot pattern, the direction of the dot pattern is defined by the shape of the block. In FIG. 14A, first, reference points 201a to 201e are arranged. A shape indicating the direction of the block (here, a pentagon facing upward) is defined by a line connecting the reference points 201a to 201e. Then, the
なお、図14(a)においては、基準点201a〜201eと情報ドット203は全て同一形状のもので説明したが、基準点201a〜201eを情報ドット203よりも大きな形状としてもよい。また、この基準点201a〜201eと情報ドット203とは識別可能であればいかなる形状としてもよく、三角形、四角形それ以上の多角形であってもよい。
In FIG. 14A, the reference points 201a to 201e and the information dot 203 are all of the same shape, but the reference points 201a to 201e may be larger than the
図14(b)は、ブロックの仮想格子点上に情報ドットがあるか否かによって、情報を定義したものである。 FIG. 14B defines information according to whether or not there are information dots on the virtual grid points of the block.
なお、図14(c)は、図14(a)に示したブロックを縦横方向に2個ずつ連結したものである。 Note that FIG. 14 (c) shows two blocks shown in FIG. 14 (a) connected in the vertical and horizontal directions.
本発明にかかる手書き入出力システム1において媒体2に形成するドットパターンはGRID1に限らず、XY座標情報およびコード情報を定義したものであればよいものとする。
The dot pattern formed on the medium 2 in the handwritten input /
たとえば、特許第3766678号(GRID2)、特許第3858051号(GRID3)、特許第3858052号(GRID4)、特願2009−165163(ストリームドットパターン)を用いることができる。 For example, Japanese Patent No. 3766678 (GRID2), Japanese Patent No. 3858051 (GRID3), Japanese Patent No. 3858052 (GRID4), and Japanese Patent Application No. 2009-165163 (stream dot pattern) can be used.
<ドットパターンのフォーマットの説明>
図15は、本発明にかかる手書き入出力システム1において媒体2に形成されるドットパターンのフォーマットについて説明する図である。
<Explanation of dot pattern format>
FIG. 15 is a diagram illustrating a format of a dot pattern formed on the medium 2 in the handwriting input /
同図(d)に示すように、ドットパターンは、4×4個のブロック領域で構成されたドットパターンであり、このブロック内でC1−0〜C31−30に区画されている。各領域のドットコードフォーマットを示したものが(a)および(b)である。 As shown in FIG. 3D, the dot pattern is a dot pattern composed of 4 × 4 block areas, and is divided into C 1-0 to C 31-30 within this block. The dot code formats of each region are shown in (a) and (b).
同図(a)は、ページコードとX座標とY座標が登録されているフォーマットである。ページコードとは、媒体2が冊子状になっている場合等において、媒体2のページ数を意味するものであり、X座標およびY座標は、それぞれ、媒体上における位置(座標値)を意味するものである。これにより、ユーザがスキャナ3で媒体2を読み取ると、その媒体のページ数および読み取った箇所の座標位置が一度の読み取り操作で同時に認識される。
FIG. 3A is a format in which the page code, the X coordinate, and the Y coordinate are registered. The page code means the number of pages of the medium 2 when the
同図(b)は、ページコードとアクションコードとX座標とY座標が登録されているフォーマットである。アクションコードとは、操作指示を意味するものである。例えば、当該ページに設けられた「拡大」「縮小」等の操作を意味するアイコンが描かれている領域内だけに定義されたもので、主に後述するアイコン領域に用いられるドットパターンに含まれている。また、アクションコードが当該ページの書き込み領域全面に定義され、手書き入力中または手書き入力後に必要な処理を行う場合には、アクションコードにその命令処理を関連付けし実行してもよい。例えば、命令処理は手書き入力中または手書き入力後に文字認識したり、他の情報処理装置に送信したりする処理をいう。なお、ここでは、ページコードとしての利用を述べたが、()内の特定書き込み領域コードは、1面の媒体面内に複数設けてもよく、それらの書き込み領域をユニークなコードで定義することにより、瞬時に何処に書き込まれているかが判断できる。勿論、ページコードに併せて定義して、何ページのどの特定書き込み領域かを判断できるようにしてもよい。さらに、手書き入力される内容が所定のカテゴリーに属する場合、そのカテゴリーの辞書との照合により認識率は格段に向上する。この手書き入力される内容は、文字だけでなく記号やイラストであってもよいことは言うまでもない。勿論、アクションコードも、同様に特定書き込み領域コードに併せて定義し命令処理を実行してもよい。 FIG. 3B is a format in which a page code, an action code, an X coordinate, and a Y coordinate are registered. The action code means an operation instruction. For example, it is defined only in the area where the icon meaning the operation such as "enlargement" and "reduction" provided on the page is drawn, and is mainly included in the dot pattern used in the icon area described later. ing. Further, when the action code is defined on the entire writing area of the page and the necessary processing is performed during or after the handwriting input, the instruction processing may be associated with the action code and executed. For example, instruction processing refers to processing such as character recognition during or after handwriting input or transmission to another information processing device. Although the use as a page code is described here, a plurality of specific writing area codes in parentheses may be provided in one medium surface, and those writing areas should be defined by a unique code. Therefore, it is possible to instantly determine where the writing is performed. Of course, it may be defined together with the page code so that it can be determined which specific writing area of which page. Further, when the handwritten content belongs to a predetermined category, the recognition rate is remarkably improved by collating with the dictionary of that category. Needless to say, the content to be input by handwriting may be not only characters but also symbols and illustrations. Of course, the action code may be similarly defined together with the specific write area code and the instruction processing may be executed.
同図(c)は、書き込み領域フラグを設けることにより、撮像手段で媒体面に形成されたドットパターンを撮像し、ドットパターン解析部8で解析すれば、直ちに書き込み領域であるか否かがわかり、書き込み領域でなければ、そのコード値および/または座標値に関連付けられた情報の出力および/または命令処理を実行し、書き込み領域であれば軌跡認識手段により手書き入力の所定の処理を実行する。この書き込み領域フラグは、同図(a)、(b)のページコード(特定書き込み領域コード)やアクションコードを併設してもよいことは勿論である。
In FIG. 3C, if the dot pattern formed on the medium surface is imaged by the imaging means by providing the writing area flag and analyzed by the dot
このように、本発明のドットパターンは、ページコードやアクションコード等、種々のコード情報とXY座標を一つのフォーマットに登録することができる。また、その他にも、XY座標のみ、あるいはコード情報のみを登録することもでき、柔軟性に富んだフォーマットが可能である。
<撮像部>
図16〜28は、本発明にかかる手書き入出力システム1に用いる撮像部7を説明する図である。
As described above, in the dot pattern of the present invention, various code information such as a page code and an action code and XY coordinates can be registered in one format. In addition, only XY coordinates or only code information can be registered, and a flexible format is possible.
<Image pickup unit>
16 to 28 are views for explaining the
なお、撮像部7は人が手に持つのに適した大きさ、形状であることが好ましく、中でも図16のようにペン型の形状をしていることが最も好ましい。
The
同図(a)はペン型の形状をした撮像部7の最も基本的な実施形態を示す図である。かかる実施形態においては、指示用突起部23、送信部24が設けられており、図示しないC−MOSセンサ等が概ねペンの軸線上に内蔵されている。送信部24は撮像部7が赤外線通信、無線通信等の方法を用いて他の部材に信号を送信するためのものであり、説明の便宜を図るため図示したが、実際には必ずしも外観上見える位置に設ける必要はない。
FIG. 3A is a diagram showing the most basic embodiment of the pen-shaped
同図(b)はペン型の形状をした撮像部7の他の実施形態を示す図である。かかる実施形態においては、ユーザによる操作を受け付ける2つのボタンが設けられている。かかる2つのボタンは送信ボタン25と、再送信ボタン26であり、ユーザは撮像部7から他の部材に信号を送るようボタン操作により指示することができる。ここで、再送信ボタン26とは、送信ボタン25による信号の送信が遮蔽物の存在等により受信先の部材へ送信することができなかった場合に同じ信号を再度送信するのに用いる。
FIG. 3B is a diagram showing another embodiment of the pen-shaped
同図(c)はペン型の形状をした撮像部7の他の実施形態を示す図である。かかる実施形態においては、ユーザによる音声入力を受け付けるマイク27と、音声再生ボタン28がさらに設けられている。マイク27は、後述する音声認識に用いる音声を収録するために用い、音声再生ボタン28は、後述する音声ガイドを再生するために用いる。
FIG. 3C is a diagram showing another embodiment of the pen-shaped
同図(d)はペン型の形状をした撮像部7の他の実施形態を示す図である。かかる実施形態においては、指示用突起部23の内部空間にペン29が格納されており、ペン格納ボタン30を押すことにより、ペン29が出る。
FIG. 3D is a diagram showing another embodiment of the pen-shaped
図17(a)本発明にかかる手書き入出力システム1を構成する撮像部7の実施例の一つであるペン型スキャナ31の先端部を示す断面図である。かかるペン型スキャナ31は、内部に中空部が形成され、その先端に開口部を有するライトガイド32と、このライトガイド32の開口部を臨む位置に配置されたレンズ33と、このレンズ33と同一面上に配置され、ドットパターンが形成された媒体面に所定波長の光を照射する光源としてのLED34(照射部13)と、レンズ33から後退した位置に配置されたC−MOSセンサ35(撮像素子12)と、さらに後退した位置にPCB36とそれに設置される図示しないCPUとを備えている。ライトガイド32の中空部は、レンズ33から開口部に向かって次第に大径となるテーパ状に形成されている。ここで、CPUは先述のドットパターン解析部8、軌跡認識部9、処理命令部10、情報処理部11、のいずれかまたは全ての役割を持つ。
FIG. 17A is a cross-sectional view showing the tip of a pen-
ライトガイド32は、透明または乳白色の樹脂製であり、その内部が導光路として機能する。LED34からの照射光は、ライトガイド32の内部を進行し、前記開口部より媒体2に対して照射される。ライトガイド32が乳白色の樹脂製である場合は、LED34からの照射光は、ライトガイド32内を進行する際、適度に拡散されるので、開口部から媒体2を照射する光をより均一にすることが出来る。
The
<LEDの発光タイミングの制御>
同図(b)は時間毎のLED34の発光タイミングを示す図である。LED34は所定のタイミング毎に瞬間的に所定強度、発光して、媒体2を露光する。C−MOSセンサ35は媒体2からの反射光を撮像し、画像データとしてドットパターン解析部8へ送信する。
<Control of LED light emission timing>
FIG. 3B is a diagram showing the light emission timing of the
同図(c)は時間毎のC−MOSセンサ35の素子の反応状態を示す図である。C−MOSセンサ35の素子にはLED34が所定強度、発光して媒体2を露光した瞬間の媒体2の残像が焼き付けられる。ここで、所定時間tkとは撮像素子12の残像が消えるまでの時間内で、ドットパターン解析部8による解析可能な残像状態を保持するのに必要とする時間を示している。
FIG. 3C is a diagram showing the reaction state of the element of the C-
LED34が発光していた時間ftが所定の時間α以下である場合、同図(d)に示すとおり、C−MOSセンサ35の素子にはドットの残像がぼけることなく焼き付けられるため、この残像を画像データとしてドットパターン解析部8へ送信する。この場合、送信は素子に残像が残っている時間tlの間に行う。
If LED34 time f t that has been emitted is equal to or less than the predetermined time alpha, as shown in FIG. 2 (d), since the element of C-
一方、LED34が発光していた時間ftが所定の時間αを大きく超える場合、同図(e)に示すとおり、C−MOSセンサ35の素子にはドットの残像がぼけて焼き付けられ、正しい数値を読み取ることができない。
On the other hand, if the LED34 time f t which has been emitting largely exceeds the predetermined time alpha, as shown in FIG. (E), the element of C-
かかる撮像方法は、C−MOSセンサを用いる場合において特に有効であるが、上記の撮像方法に代えて、CCDカメラを用いても問題はない。 Such an imaging method is particularly effective when a C-MOS sensor is used, but there is no problem even if a CCD camera is used instead of the above imaging method.
図18により、本発明にかかる手書き入出力システム1に用いる、光制御部14およびドットパターン解析部8の働きについて説明する。
The functions of the
同図(a)は光制御部14によるLED34の発光タイミング、および撮像素子12によりドットパターンを撮像して記憶素子に送信するタイミング、およびドットパターン解析部8による画像データの解析タイミングの第一のパターンを説明する時系列である。第一のパターンにおいては、発光ftn、撮像rtn、解析atnが順に行われ、解析atnが終了すると、所定時間tsが経過するまで次の発光ftn+1は行われない。ここで、所定時間tsとは撮像素子12がドットパターンの撮像・送信・解析に必要とする時間の予想値のうち、最大の値を予想撮像・送信・解析時間として定義したものである。
FIG. 1A shows the first timing of the light emission of the
同図(b)は光制御部14によるLED34の発光タイミング、および撮像素子12によるドットパターンの撮像・送信タイミング、およびドットパターン解析部8による画像データの解析タイミングの第二のパターンを説明する時系列である。第二のパターンにおいては、解析atnが終了すると、光制御部14は解析の終了を検知して、直ちに次の発光ftn+1行われ、次のドットパターンの撮像rtn+1、解析atn+1が行われる。
FIG. 3B shows a second pattern of the light emission timing of the
同図(c)は光制御部14によるLED34の発光タイミング、および撮像素子12によるドットパターンの撮像・送信タイミング、およびドットパターン解析部8による画像データの解析タイミングの第三のパターンを説明する時系列である。第三のパターンにおいては、タスク処理または光制御部14およびドットパターン解析部8を複数備えることにより、解析atn−1と同時に次の解析のためのドットパターンの撮像rtnを行い、解析atn−1が終了すると直ちに発光ftn+1が行われ、続いて既に撮像rtnにおいて撮像された画像データの解析atnが行われる。なお、さらに、発光ftn+1と同時に解析atnを開始してもよいが、LED34の発光時間は極めて短いため、LED34が発光してからドットパターン解析部8が画像データの解析を終えるまでの合計時間には殆ど変化がない。
FIG. 3C shows a third pattern of the light emission timing of the
<ペンの装着>
また、ペン型スキャナ31は、筆記具としてのペン37が装着されている。通常ペン等の筆記具で印字する際は、傾斜させた状態で用いるため、ペン型スキャナ31の外周は、45度まで傾斜可能になるように形成されている。この場合、ペン37の先端近傍の媒体面を撮像することにより、撮像中心から離れた位置のペン37の印字の際の筆跡や移動距離等を正確に解析することも可能となる。また、後述するオフセット補正により、筆跡をさらに正確に解析することが可能である。
<Pen mounting>
Further, the pen-
筆記具としてのペン37は、種々の方法により格納して、媒体上に筆跡を残さないようにすることも可能である。格納する方法は、一般的なボールペンなどのペンにおいて用いられている技術をそのまま利用できる。たとえば、ノック式、回転式による格納方法を採用してもよいし、キャップを被せてもよい。
The
また、一般的な三色ボールペンのようにペンを換えられるようにすることもできる。この場合、色の異なるペン同士を換えるだけでなく、ペンに代えて消しゴムや修正液が使えるようにしてもよい。 It is also possible to change the pen like a general three-color ballpoint pen. In this case, not only the pens of different colors may be exchanged, but also an eraser or correction fluid may be used instead of the pens.
さらに、ペン37に代えて指示用突起部23(スタイラスペン)を設け、指示用突起部23の筆跡近傍を撮像するものとしてもよい。指示用突起部23内に格納スペースを設けてペン37を格納して、指示用突起部としても使用してよい。
Further, instead of the
<オフセット補正>
図17(a)に示すように、ペン型スキャナ31において、撮像部7が撮像するドットパターンが定義するXY座標値と、ペン37が実際に書き込む軌跡上のドットパターンが定義するXY座標値は異なる。さらに、軌跡上のドットパターンが定義するXY座標値は、媒体面上の書き込み領域におけるxy座標値に変換して、書き込み入力や操作指示を行う必要がある。
<Offset correction>
As shown in FIG. 17A, in the pen-
本発明にかかる手書き入出力システム1においては、撮像部7が撮像するドットパターンのXY座標値を、ペン37が実際に書き込む軌跡上のドットパターンを補正する方法と、ドットパターン座標系のXY座標値から書き込み領域座標系のxy座標値への変換方法を以下に説明する。
In the handwriting input /
<書き込み領域の座標系とドットパターンの座標系の関係>
図19に書き込み領域の一例を示す。
<Relationship between the coordinate system of the writing area and the coordinate system of the dot pattern>
FIG. 19 shows an example of the writing area.
書き込み領域座標系は左下隅を(0,0)とする。書き込み領域のxy座標値は、mm表示とする。例えば、(16,40)の座標位置であれば、書き込み領域の左下隅から右へ16mm、上へ40mm移動した位置を示す。 In the writing area coordinate system, the lower left corner is (0,0). The xy coordinate value of the writing area is displayed in mm. For example, the coordinate position of (16,40) indicates a position moved 16 mm to the right and 40 mm upward from the lower left corner of the writing area.
書き込み領域内には、ドットパターン座標系のXY座標値を1組定義したドットパターンのブロックが連続して形成されている。XY座標値は、ブロックの中心点の位置を示す。ドットパターン座標系の座標値を書き込み領域座標系の座標値と区別するため、〔X,Y〕と表す。 In the writing area, a block of a dot pattern in which one set of XY coordinate values of the dot pattern coordinate system is defined is continuously formed. The XY coordinate value indicates the position of the center point of the block. In order to distinguish the coordinate values of the dot pattern coordinate system from the coordinate values of the writing area coordinate system, they are expressed as [X, Y].
書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのブロックの左下隅と原点(0,0)を一致させると、ドットパターン座標系におけるXY座標値は、図20のように、どの書き込み領域でも左下隅が〔-0.5,-0.5〕となるようにドットパターンが形成される。この場合は、各書き込み領域に形成されたドットパターンには、固有のコード値を定義して各書き込み領域を特定する。互いに特定する必要のない場合は、同一のコード値を定義してもよい。 If the lower left corner of the writing area is the origin (0,0) of the coordinate system and the lower left corner of the block of the dot pattern that defines [0,0] matches the origin (0,0), XY in the dot pattern coordinate system As shown in FIG. 20, a dot pattern is formed on the coordinate values so that the lower left corner is [-0.5, -0.5] in any writing area. In this case, a unique code value is defined for the dot pattern formed in each writing area to specify each writing area. The same code value may be defined if they do not need to be identified from each other.
また、図22のように、紙面全面にXY座標値を定義したドットパターンを形成し、書き込み領域には、上記XY座標値の他、固有のコード値を定義する。この場合、書き込み領域の左下隅のXY座標値は、〔Xn0,Yn0〕(nは書き込み領域を特定する番号)となる。 Further, as shown in FIG. 22, a dot pattern in which the XY coordinate values are defined is formed on the entire surface of the paper, and a unique code value is defined in the writing area in addition to the XY coordinate values. In this case, the XY coordinate value in the lower left corner of the writing area is [Xn0, Yn0] (n is a number that specifies the writing area).
次に、各ブロックの一辺をLmmとすると、XY座標値は以下のように書き込み領域座標系に変換する。 Next, assuming that one side of each block is L mm, the XY coordinate value is converted into the writing area coordinate system as follows.
図20のように、原点(0,0)のXY座標値を〔-0.5,-0.5〕としてドットパターンを形成した場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域座標系では、
(X×L+L/2, Y×L+L/2)となる。
なお、図21のように、書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのブロックの中心点と原点を一致させると、
(X×L, Y×L)となる。
When a dot pattern is formed with the XY coordinate value of the origin (0,0) as [-0.5, -0.5] as shown in FIG. 20, the coordinates [X, Y] in the dot pattern coordinate system are the writing area coordinate system. Then,
(X × L + L / 2, Y × L + L / 2).
As shown in FIG. 21, when the lower left corner of the writing area is set as the origin (0,0) of the coordinate system and the center point and the origin of the block of the dot pattern in which [0,0] is defined are matched,
(X × L, Y × L).
なお、図21の例における書き込み領域座標系とドットパターン座標系との関係は、図19の拡大図部分の例と同じである。 The relationship between the writing area coordinate system and the dot pattern coordinate system in the example of FIG. 21 is the same as that of the enlarged view portion of FIG.
図22のように、書き込み領域の左下隅のXY座標値が〔Xn0,Yn0〕となる場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域n座標系では、
((X−Xn0)×L,(Y−Yn0)×L) となる。
<撮像中心Cのドットパターン座標系におけるXY座標値〔Xc,Yc〕の算出>
図23を用いて、撮像中心CのXY座標値〔Xc,Yc〕の算出方法を説明する。
撮像画像を所定の解像度のフレームバッファに一時記憶し、画像解析することにより、隣り合うブロックの中心間隔を構成するピクセル数Mを求める。ブロックの中心間隔は、ブロックの一辺の長さLに等しいので、Lに対する撮像画像の1ピクセル当たりのサイズを、ドットパターン座標系での値kとすると、
k=L/Mとなる。
As shown in FIG. 22, when the XY coordinate value in the lower left corner of the writing area is [Xn0, Yn0], the coordinates [X, Y] in the dot pattern coordinate system are in the writing area n coordinate system.
((X−Xn0) × L, (Y−Yn0) × L).
<Calculation of XY coordinate values [Xc, Yc] in the dot pattern coordinate system of the imaging center C>
A method of calculating the XY coordinate values [Xc, Yc] of the imaging center C will be described with reference to FIG. 23.
The captured image is temporarily stored in a frame buffer having a predetermined resolution, and the image is analyzed to obtain the number of pixels M constituting the center spacing of adjacent blocks. Since the center spacing of the block is equal to the length L of one side of the block, if the size per pixel of the captured image with respect to L is the value k in the dot pattern coordinate system,
k = L / M.
同じく画像解析により、撮像中心Cから最も近いブロック中心P〔Xp,Yp〕と、撮像中心Cとの間隔を構成するピクセル数uが求まる。撮像中心Cから、撮像中心から最も近いブロック中心Pまでの距離CPは、
CP=k×uとなる。
Similarly, by image analysis, the number of pixels u constituting the distance between the block center P [Xp, Yp] closest to the image pickup center C and the image pickup center C can be obtained. The distance CP from the image center C to the nearest block center P from the image center is
CP = k × u.
次に、ドットパターンの向き(書き込み領域の向き)が書き込み領域の上方向になるようにドットパターンが紙面に形成されている場合、ドットパターンの向きとPCベクトルとのなす角をθ'(左回転を正の方向とする)とすると、
〔Xc,Yc〕=〔Xp−CP×sinθ', Yp+CP×cosθ'〕
が求まる。
Next, when the dot pattern is formed on the paper so that the direction of the dot pattern (direction of the writing area) is upward of the writing area, the angle formed by the direction of the dot pattern and the PC vector is θ'(left). If the rotation is in the positive direction),
[Xc, Yc] = [Xp-CP x sinθ', Yp + CP x cosθ']
Is sought.
<ペン先の書き込み領域座標系におけるxy座標値Q(xq,yq)の算出(ペンが紙面に対し垂直な場合)>
図24のように、書き込み領域座標系における撮像中心Cの座標値を(xc,yc)、ペン先の媒体面における座標値をQ(xq,yq)とする。図25のように、点Cと点Qのx座標値、y座標値の差分を、それぞれΔxq、Δyqとすると、
Δxq =xq −xc
Δyq=yq−yc
が求まる。
<Calculation of xy coordinate value Q (xq, yq) in the writing area coordinate system of the pen tip (when the pen is perpendicular to the paper surface)>
As shown in FIG. 24, the coordinate value of the imaging center C in the writing area coordinate system is (xc, yc), and the coordinate value on the medium surface of the pen tip is Q (xq, yq). As shown in FIG. 25, assuming that the difference between the x-coordinate value and the y-coordinate value of the point C and the point Q is Δxq and Δyq, respectively.
Δxq = xq −xc
Δyq = yq−yc
Is sought.
ドットパターンの向きが書き込み領域上方向になるように、ドットパターンが形成されている場合に、撮像中心Cを始点とし、ペン先を終点とするCQベクトルの向きをペン型スキャナ31の向きとする。
When the dot pattern is formed so that the direction of the dot pattern is upward in the writing area, the direction of the CQ vector with the imaging center C as the start point and the pen tip as the end point is the direction of the pen-
ドットパターンの向きとペン型スキャナ31の向きのなす角をθ(左回転を正の方向とする)とする。
The angle between the direction of the dot pattern and the direction of the pen-
また、図26のように、ペン型スキャナ31が紙面に対し垂直な状態での、撮像中心Cからペン先Qまでの距離をsとすると、
Δxq およびΔyqは、
Δxq =−s×sinθ
Δyq=s×cosθ
となる。
Further, as shown in FIG. 26, where s is the distance from the imaging center C to the pen tip Q when the pen-
Δxq and Δyq are
Δxq = −s × sinθ
Δyq = s × cosθ
Will be.
従って、xqおよびyqは、
xq =xc −s×sinθ
yq=yc+s×cosθ
となる。
Therefore, xq and yq are
xq = xc −s × sinθ
yq = yc + s × cosθ
Will be.
<ペン先の書き込み領域座標系におけるxy座標値Q'(xq',yq')の算出(ペンが紙面に対し傾いている場合)>
図27のように、ペン型スキャナ31が紙面に対し傾いている場合、前述の撮像中心Cからペン先Qまでの距離が変化する。
<Calculation of xy coordinate value Q'(xq', yq') in the writing area coordinate system of the pen tip (when the pen is tilted with respect to the paper surface)>
As shown in FIG. 27, when the pen-
ペン型スキャナ31本体の紙面の法線方向からの傾き(以下、「ペンの傾き」という。)をαとしたときの、撮像中心からペン先までの距離をs'とすると、前記の式はs→s'と置き換えられ、
xq' =xc −s'×sinθ
yq'=yc+s'×cosθ
となる。
Assuming that the distance from the center of imaging to the pen tip is s'when the inclination of the pen-
xq'= xc − s'× sinθ
yq'= yc + s'× cosθ
Will be.
また、
s'=s/cosα
であるので、これを当該式に代入すると、
xq' =xc −s'×sinθ/ cosα
yq'=yc+s'×cosθ/ cosα
となる。
Also,
s'= s / cosα
Therefore, when this is substituted into the equation,
xq'= xc − s'× sin θ / cos α
yq'= yc + s'× cosθ / cosα
Will be.
<ペン先がペン本体に収納された状態で利用する場合の撮像中心からペン先までの距離>
なお、図28のように、ペン先が格納されると、ΔLだけペン型スキャナ31が紙面に近づくがsおよびs'には影響を及ぼすものではなく、計算式は同一となる。
<Distance from the center of imaging to the pen tip when the pen tip is stored in the pen body>
As shown in FIG. 28, when the pen tip is stored, the pen-
<ペンの傾きαの算出方法>
ペンの傾きαを検出するには、ペン本体に傾きセンサなどの傾き計測手段を設けても良い。
<Calculation method of pen tilt α>
In order to detect the tilt α of the pen, a tilt measuring means such as a tilt sensor may be provided on the pen body.
または、撮像画像の所定複数p箇所の明るさBLi,j=1,pを求め、最も明るい箇所と最も暗い箇所の明るさの差ΔBLを用いて関係式α=f(ΔBL)からペンの傾きαを求めることもできる。 Alternatively, the brightness BLi, j = 1, p of a predetermined plurality of p points of the captured image is obtained, and the inclination of the pen is tilted from the relational expression α = f (ΔBL) using the difference ΔBL between the brightness of the brightest part and the darkest part. You can also find α.
α=f(BLi,j=1,p)のようにBLi,jをパラメータとして、フーリエ関数やsin関数を用いてαを求めることもできる。 It is also possible to find α using the Fourier function or sin function with BLi, j as parameters such as α = f (BLi, j = 1, p).
また、ΔBLとαを対応させるテーブルを予め作成し、αを算定してもよい。なお、ペンを傾けた方向は、BLi,j=1,pの最も暗い箇所から、最も明るい箇所の方向を計測することにより求まる。 Alternatively, a table corresponding to ΔBL and α may be created in advance to calculate α. The direction in which the pen is tilted can be obtained by measuring the direction from the darkest part of BLi, j = 1, p to the brightest part.
<媒体2>
図29〜42は、本発明にかかる手書き入出力システム1に用いる媒体2を説明する図である。
<
29 to 42 are diagrams for explaining the medium 2 used in the handwriting input /
図29は、表面全体にドットパターンを印刷(形成)して書き込み領域とした媒体2を示す図である。 FIG. 29 is a diagram showing a medium 2 in which a dot pattern is printed (formed) on the entire surface to form a writing area.
かかるドットパターンはXY座標値およびページコードを定義している。ここで、ページコードとはコード情報を用いて、媒体を特定をするコードを意味する。 Such a dot pattern defines an XY coordinate value and a page code. Here, the page code means a code for specifying a medium by using code information.
図30は、ページコードおよびXY座標値を定義したドットパターンが印刷された領域内に、アクションコードをさらに定義した別のドットパターンが印刷された媒体2を示す図である。 FIG. 30 is a diagram showing a medium 2 in which another dot pattern in which an action code is further defined is printed in an area in which a dot pattern in which a page code and an XY coordinate value are defined is printed.
ここで、アクションコードとはコード情報を用いて、特定した媒体への手書き入力に対して情報処理部11に所定の操作(特にアプリケーションの操作)を命令するコードを意味する。これにより、セキュリティ性を高め、誤操作を低減することができる。
Here, the action code means a code that instructs the
本媒体は、複数枚が組になっており、シート毎に異なるページコードが割り当てられている。ページコードはたとえば1ページ目は「01」、2ページ目は「02」、3ページ目は「03」である。 This medium is a set of a plurality of sheets, and different page codes are assigned to each sheet. The page code is, for example, "01" for the first page, "02" for the second page, and "03" for the third page.
アクションコードを定義したドットパターンが印刷された領域には、かかるアクションコードがどのような意味を持つものであるかユーザに説明するためのテキスト、グラフィック、写真、アイコンを重畳して印刷することができる。たとえば「開始」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションの起動を命令する。「中止」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションによる入力結果の破棄(キャンセル)を命令し、または、情報処理部11が所定の処理を実行するか否かを決定するときにおいて、情報処理部11に対して処理の実行を中止することを命令する。「保存」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部に対して手書き入出力用アプリケーションによる入力結果の保存を命令する。「終了」というというテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションの終了を命令する。
In the area where the dot pattern that defines the action code is printed, text, graphics, photographs, and icons can be overlaid and printed to explain to the user what the action code means. it can. For example, the action code in the area printed with the text icon "start" superimposed commands the
図31は、XY座標値およびページコードを定義したドットパターンが印刷された領域と、アクションコードおよびページコードを定義したドットパターンが印刷された領域が分かれている媒体2を示す図である。この場合、媒体のどの頁を対象にするかを選択することなく、ページコードにより特定した頁に対してのみ各種命令を実行することができる。これにより、セキュリティ性を高め、誤操作を低減することができる。 FIG. 31 is a diagram showing a medium 2 in which an area on which a dot pattern defining an XY coordinate value and a page code is printed and an area on which a dot pattern defining an action code and a page code are printed are separated. In this case, various commands can be executed only for the page specified by the page code without selecting which page of the medium is to be targeted. As a result, security can be improved and erroneous operations can be reduced.
図32は、XY座標値およびページコードを定義したドットパターンが印刷された第一の媒体と、アクションコードのみを定義したドットパターンが印刷されたペーパーコントローラである第二の媒体を示す図である。この場合、媒体のどの頁でも、手書き入力に対する各種命令を実行できる。なお、書き込み領域とアイコンとを別体に設ける場合、図32のように、ペーパーコントローラとする場合の他、シール、付箋紙、カードとして、他の媒体に貼付してもよい。 FIG. 32 is a diagram showing a first medium on which a dot pattern defining XY coordinate values and a page code is printed, and a second medium which is a paper controller on which a dot pattern defining only an action code is printed. .. In this case, various commands for handwriting input can be executed on any page of the medium. When the writing area and the icon are provided separately, as shown in FIG. 32, the writing area and the icon may be attached to another medium as a sticker, a sticky note, or a card, in addition to the case of using a paper controller.
なお、「本文入力」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションによるオペレーションにおいて、本文となる文字または図形の入力を命令する。「コメント入力」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションによるオペレーションにおいて、コメントとなる文字または図形の入力を命令する。「編集」というというテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションによるオペレーションにおいて、文字または図形の編集を命令する(すなわち、手書き入出力用アプリケーション以外のアプリケーションにより作成された文書、画像等のファイルを編集することも可能である。)。「決定」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11が所定の処理を実行するか否かを決定するときにおいて、情報処理部11に対して処理の実行を決定することを命令する。
The action code in the area where the text icon "text input" is superimposed and printed instructs the
図33は、XY座標値およびページコードAを定義したドットパターンが印刷された第一の媒体と、アクションコードおよびページコードAを定義したドットパターンが印刷されたペーパーコントローラである第二の媒体が一つの冊子となったものを示す図である。 FIG. 33 shows a first medium on which the dot pattern defining the XY coordinate values and the page code A is printed, and a second medium which is a paper controller on which the dot pattern defining the action code and the page code A is printed. It is a figure which shows what became one booklet.
この場合、書き込み領域には各ページ同一のXY座標が登録されたドットパターンが印刷されていてもよい。なぜなら、書き込み操作を行う際には、アクションコードおよびページコードが登録されたコントローラ領域のアイコンを使用すれば、書き込み領域を特定できるからである。つまり、XY座標値を変更することなく書き込み領域の位置、ページを変更することが可能ともいえる。この場合、媒体のどの頁を対象にするかを選択することなく、ページコードにより特定した頁に対してのみ各種命令を実行することができる。これにより、セキュリティ性を高め、誤操作を低減することができる。 In this case, a dot pattern in which the same XY coordinates are registered on each page may be printed in the writing area. This is because the write area can be specified by using the icon of the controller area in which the action code and the page code are registered when performing the write operation. That is, it can be said that the position and page of the writing area can be changed without changing the XY coordinate values. In this case, various commands can be executed only for the page specified by the page code without selecting which page of the medium is to be targeted. As a result, security can be improved and erroneous operations can be reduced.
上記の他、書き込み領域全体に、情報処理部に対して手書き入出力用アプリケーションの起動を命令するアクションコードを定義したドットパターンを印刷してもよい。この場合、媒体面において書き込みが行われると自動的に手書き入出力用アプリケーションが起動するようになる。 In addition to the above, a dot pattern defining an action code for instructing the information processing unit to start the handwriting input / output application may be printed on the entire writing area. In this case, the handwriting input / output application is automatically started when writing is performed on the medium surface.
また、媒体上の書き込み領域は一つに限らず、複数定義することも可能である。
(複数の書き込み領域が設けられる場合に関して)
Further, the writing area on the medium is not limited to one, and a plurality of writing areas can be defined.
(When multiple write areas are provided)
以下、図34〜38を用いて、複数の書き込み領域が設けられる場合に関して、4つの例を用いて説明する。 Hereinafter, with reference to FIGS. 34 to 38, a case where a plurality of writing areas are provided will be described with reference to four examples.
<第1の例>
第1の例は、図34に示すように、複数の書き込み領域毎に、異なるドットパターン座標系によるXY座標値と書き込み領域を特定するコード値とを定義したドットパターンが形成される場合である。
<First example>
As shown in FIG. 34, the first example is a case where a dot pattern that defines an XY coordinate value by a different dot pattern coordinate system and a code value that specifies a writing area is formed for each of a plurality of writing areas. ..
この図では、それぞれの書き込み領域ごとに、ドットパターン座標系でのXY座標値と、書き込み領域を特定するコード値m、nを定義したドットパターンが形成されている。 In this figure, a dot pattern in which the XY coordinate values in the dot pattern coordinate system and the code values m and n that specify the writing area are defined is formed for each writing area.
コード値は複数の情報を定義することにより、書き込み領域のみならずページ番号を分類する分類番号などを含めることができる。 By defining a plurality of pieces of information, the code value can include not only the writing area but also the classification number for classifying the page number.
ページ番号が含まれると、どのページのどの書き込み領域なのかを判別でき、書き込み領域で情報や処理命令、択一などの選択項目があり、共通のコードとして処理する場合では、定義されたページ番号や、選択項目を特定する情報を合わせてコード値として定義できる。 When the page number is included, it is possible to determine which writing area of which page, and there are selection items such as information, processing instructions, and alternatives in the writing area, and when processing as a common code, the defined page number. Or, the information that identifies the selected item can be defined as a code value.
なお、図35に示すように、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。この図では、コード値をn1、n2、n3、n4としている。これにより、1つの書き込み領域内に複数の選択項目を設定できる。 As shown in FIG. 35, different code values can be defined by dividing the area in the writing area. In this figure, the code values are n1, n2, n3, and n4. As a result, a plurality of selection items can be set in one writing area.
この第1の例では、各領域の左下隅が常に0(原点)となるので扱いがしやすいという利点がある。 In this first example, since the lower left corner of each region is always 0 (origin), there is an advantage that it is easy to handle.
<第2の例>
第2の例は、図36に示すように、所定領域全面に1つのドットパターン座標系によるXY座標値を定義したドットパターンが形成され、書き込み領域のドットパターンにはXY座標と共にコード値も定義されている場合である。
<Second example>
In the second example, as shown in FIG. 36, a dot pattern in which one dot pattern coordinate system defines an XY coordinate value is formed on the entire surface of a predetermined area, and a code value is also defined in the dot pattern in the writing area together with the XY coordinate. If it is.
この図では、所定領域の左下隅を原点とする1つのドットパターン座標系でXY座標値を定義したドットパターンが、所定の領域全面に形成されている。この所定の領域内にある、二つの書き込み領域はそれぞれ、左下隅が〔Xm0,Ym0〕、〔Xn0,Yn0〕であるXY座標値と、書き込み領域を特定するコード値m、nとが定義されている。 In this figure, a dot pattern in which the XY coordinate values are defined in one dot pattern coordinate system with the lower left corner of the predetermined region as the origin is formed on the entire surface of the predetermined region. The two writing areas within this predetermined area are defined as XY coordinate values whose lower left corners are [Xm0, Ym0] and [Xn0, Yn0], and code values m and n that specify the writing area, respectively. ing.
コード値は第1の例と同様に、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。 As for the code value, as in the first example, the area can be divided and different code values can be defined in the writing area.
なお、書き込み領域以外のドットパターンが形成された領域には書き込みはできないようになっている。 It should be noted that writing is not possible in an area other than the writing area where a dot pattern is formed.
第2の例によれば、XY座標値を読み取ることで、書き込み領域が、所定領域内のどこにレイアウトされているかが容易にわかる。 According to the second example, by reading the XY coordinate values, it is easy to know where in the predetermined area the writing area is laid out.
<第3の例>
第3の例は、図37に示すように、書き込み領域の中に、さらに書き込み領域を入れ込む場合である。
<Third example>
The third example is a case where the writing area is further inserted in the writing area as shown in FIG. 37.
この図では、所定領域の左下隅を原点とする1つのドットパターン座標系でのXY座標値と、書き込み領域を特定するコード値Lとを定義したドットパターンが、所定の領域全面に形成されている。この所定の書き込み領域内にある、二つの書き込み領域は、それぞれ、左下隅が〔Xm0,Ym0〕、〔Xn0,Yn0〕であるXY座標値と、書き込み領域を特定するコード値m、nが定義されている。 In this figure, a dot pattern that defines an XY coordinate value in one dot pattern coordinate system with the lower left corner of the predetermined area as the origin and a code value L that specifies the writing area is formed on the entire surface of the predetermined area. There is. The two write areas within the predetermined write area are defined by the XY coordinate values whose lower left corners are [Xm0, Ym0] and [Xn0, Yn0], respectively, and the code values m and n that specify the write area. Has been done.
この例によれば、文章や図形を自由に書きこむ大きな書き込み領域内に、選択項目欄などの小さな書き込み領域を配置することが容易になる。 According to this example, it becomes easy to arrange a small writing area such as a selection item field in a large writing area where sentences and figures are freely written.
仮に、これを第1の例によって実現しようとすると、書き込み領域内にさらに書き込み領域を形成する際、穴の空いた書き込み領域を設ける必要があり、ドットパターンの形成が複雑な作業となる。 If this is to be realized by the first example, when a writing area is further formed in the writing area, it is necessary to provide a writing area with a hole, and the formation of a dot pattern becomes a complicated work.
さらに、1つの座標系で、書き込み領域内に書き込み領域を形成できれば、入力モードを変更することにより、書き込み領域内の書き込み領域を無視して、書き込み作業を行うことができるように設定することが可能となる。例えば、書き込み領域内の書き込み領域に書き込みを行う場合は、入力モードを切り替えるか、特定の記号を描いた場合に限り、有効となるような設定を設けてもよい。 Further, if a write area can be formed in the write area in one coordinate system, the write area in the write area can be ignored and the write work can be performed by changing the input mode. It will be possible. For example, when writing to the writing area in the writing area, a setting may be provided so as to be effective only when the input mode is switched or a specific symbol is drawn.
なお、コード値は第1の例と同様に、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。 As for the code value, as in the first example, the area can be divided and different code values can be defined in the writing area.
この例においては、XY座標値を読み取ることで、書き込み領域がどこにレイアウトされているかが容易にわかる。 In this example, by reading the XY coordinate values, it is easy to know where the writing area is laid out.
<第4の例>
第4の例は、図38に示すように、所定領域全面に1つのドットパターン座標系を定め、書き込み領域にはこの座標系でのXY座標値と書き込み領域を特定するコード値を定義したドットパターンが形成される場合である。
<Fourth example>
In the fourth example, as shown in FIG. 38, one dot pattern coordinate system is defined on the entire surface of a predetermined area, and the XY coordinate value in this coordinate system and the code value for specifying the writing area are defined in the writing area. This is the case when a pattern is formed.
この図では、所定の領域内に左下隅を原点とする1つの座標系を定め、この領域内にある、二つの書き込み領域に、それぞれ左下隅が〔Xm0,Ym0〕、〔Xn0,Yn0〕であるXY座標値と、書き込み領域を特定するコード値m、nとが定義されたドットパターンが形成されている。 In this figure, one coordinate system with the lower left corner as the origin is defined in a predetermined area, and the lower left corners are [Xm0, Ym0] and [Xn0, Yn0] in the two writing areas in this area, respectively. A dot pattern is formed in which a certain XY coordinate value and code values m and n that specify a writing area are defined.
この例では、第2の例とは異なり、書き込み領域以外の範囲にはドットパターンは形成されていない。 In this example, unlike the second example, no dot pattern is formed in a range other than the writing area.
この例では、グラフィック、テキストなどの印刷物の版下と、ドットパターンの版下がある場合、印刷物の版下の座標系に合わせて自動的に書き込み領域の範囲を、マスクを配置することによってレイアウトするマスク処理をしてドットパターンの版下を作成することが可能となり、容易にドットパターンを発行することが出来る。 In this example, if there is a block copy of printed matter such as graphics and text, and a block copy of dot pattern, the range of the writing area is automatically laid out by arranging a mask according to the coordinate system of the block copy of the printed matter. It is possible to create a block copy of a dot pattern by performing mask processing, and it is possible to easily issue a dot pattern.
また、ドットパターンを読み取ったとき、XY座標値を読み取ることで、書き込み領域が所定の領域内のどこにレイアウトされているかが分かるため、例えば紙面上のどこに配置すれば広告効果が高いかなどのリサーチに用いることが可能となる。 Also, when the dot pattern is read, by reading the XY coordinate values, it is possible to know where the writing area is laid out in the predetermined area, so for example, research on where on the paper the advertising effect should be high. Can be used for.
なお、以上の説明では全て、ドットパターン座標系を用いて説明をしたが、ドットパターン座標系から変換された書き込み領域座標系であっても同様であることは当然である。 In all of the above explanations, the dot pattern coordinate system has been used, but it is natural that the same applies to the writing area coordinate system converted from the dot pattern coordinate system.
図39は、媒体上に複数の書き込み領域を定義した具体例である書類を示す図である。 FIG. 39 is a diagram showing a document which is a specific example in which a plurality of writing areas are defined on a medium.
同図(a)はかかる書類において、各書き込み領域にXY座標値の原点および書き込み領域の特定を命令する特定コードが定義されたものを示す図である。 FIG. 3A is a diagram showing a document in which a specific code for instructing the origin of the XY coordinate value and the specification of the writing area is defined in each writing area.
同図(a)においては「氏名」の書き込み領域内に「フリガナ」の書き込み領域が、「住所」の書き込み領域内に「郵便番号」の書き込み領域が、「周辺の地図」の書き込み領域内に「徒歩(の時間)」、「電車(の利用時間)」、「バス(の利用時間)」の書き込み領域が定義されている。 In the figure (a), the writing area of "Frigana" is in the writing area of "Name", the writing area of "Zip code" is in the writing area of "Address", and the writing area is in the writing area of "Map of the surrounding area". The writing areas of "walk (time)", "train (use time)", and "bus (use time)" are defined.
また、「性別」の書き込み領域は「男」と「女」の書き込み領域に、「生年月日」の書き込み領域は「年」、「月」、「日」の書き込み領域にそれぞれ分割されている。 In addition, the writing area for "gender" is divided into the writing areas for "male" and "female", and the writing area for "date of birth" is divided into the writing areas for "year", "month", and "day". ..
このような書き込み領域のレイアウトは、それぞれに異なった特定コードを割り当てることにより可能となる。 The layout of such a writing area is possible by assigning a different specific code to each.
同図(b)はかかる書類において、各書き込み領域にはXY座標値の原点が定義されず、書き込み領域の特定を命令する特定コードのみが定義されたものを示す図である。 FIG. 3B is a diagram showing the document in which the origin of the XY coordinate values is not defined in each writing area and only the specific code for instructing the specification of the writing area is defined.
このような構成にすることにより、書き込み情報の媒体面全体での位置を特定することができる。 With such a configuration, the position of the written information on the entire medium surface can be specified.
図40は、図39の書類に実際に手書き入力を行った状態を示す図である。 FIG. 40 is a diagram showing a state in which handwriting input is actually performed on the document of FIG. 39.
同図(a)は実際に手書き入力を行った図39(a)の書類を示す図である。 FIG. 3A is a diagram showing a document of FIG. 39A in which handwriting input is actually performed.
同図(b)は、同図(a)の手書き入力を受けて、情報処理部11が行った処理の結果をディスプレイ6上に表示し、または印刷により出力した状態を示す図である。
FIG. 3B is a diagram showing a state in which the result of processing performed by the
詳細は後述するが、本発明にかかる手書き入出力システム1は、手書き入力した文字および図形をいくつかの方法により認識することにより、同図(b)のような出力を行う。
Although the details will be described later, the handwritten input /
<ドットパターンを新たに印刷する>
本発明の手書き入出力システム1においては、手書き入力を行い、情報処理部11において手書き入力を反映させたものを印刷して、再度手書き入力を行うこともできる。
<Print a new dot pattern>
In the handwriting input /
図41(a)は、軌跡認識部9が認識した軌跡情報と、ドットパターンを重畳して印刷した媒体2を示す図である。図示はしないが、図41(a)に示す媒体2には、最初に手書き入力を行った媒体2に印刷されたドットパターンとは異なるドットパターンを新たに印刷してもよい。
FIG. 41A is a diagram showing the locus information recognized by the
図41(b)には、情報処理部11が行った処理の結果を、ドットパターンを重畳して印刷した媒体2を示す図である。図示はしないが、図41(b)に示す媒体2には、最初に手書き入力を行った媒体2に印刷されたドットパターンとは異なるドットパターンを新たに印刷してもよい。この場合、XY座標は同一で、ページコードのみを変更して印刷してもよい。
FIG. 41B is a diagram showing a medium 2 in which the result of processing performed by the
<点字・バンク>
また、媒体2にはバンクガイド38(幅狭の凸部)または点字39をさらに設けてもよい。
<Braille / Bank>
Further, the
図42は、書き込み領域の外周にバンクガイド38を設け、書き込み領域にはドットパターンとともに点字39の突起を設けたものである。このようにバンクガイド38を設けることにより視覚障害を持つユーザが手書き入出力を使用するときも書き込み領域の位置がわかり、点字39とドットパターンを同じ領域に設けておくことにより、視覚障害を持つユーザが手書き入出力を使用するときにも健常者と同様の入力効率を保つことができる。
In FIG. 42, a
<ドットパターン解析部>
ドットパターン解析部8は、前述のGRID1におけるドットパターンを用いた情報の入出力方法に従い、画像データをコード解析することにより、ドットパターンが定義するXY座標情報およびコード情報を求める。
<Dot pattern analysis unit>
The dot
本発明にかかる手書き入出力システム1においては、ユーザが撮像部7により媒体上に書き込んだ(トレースした)軌跡をドットパターン解析部8が順次コード解析するため、XY座標情報およびコード情報はこの軌跡を表すものである(軌跡情報)。
In the handwritten input /
<軌跡認識部>
軌跡認識部9は、軌跡情報の変化に基づき、媒体上に書き込まれた文字、図形を認識する。
<Trajectory recognition unit>
The
軌跡認識の方法は、一般的なOCR(光学的文字読取装置)のように、文字、図形をグラフィックとして考え、データベース内の文字、図形のXY座標のパターンを参照することにより行う方法である。 The locus recognition method is a method of considering characters and figures as graphics and referring to the XY coordinate patterns of the characters and figures in a database, as in a general OCR (optical character reader).
ここで、本発明においては特に、コード情報によって書き込み領域に書き込む内容を予め指示しておくことができる。すなわち、予め分類された文字および/または図形情報パターンテーブルを参照することで、軌跡情報を高精度で認識することが可能である。具体例としては、予めアラビア数字のみを記載することを指示しておけば、軌跡認識部9はアラビア数字のテーブルのみを参照するため認識率は高まる。認識ができない場合は、通常通りデータベース内の全ての文字、図形を参照すればよい。
Here, in the present invention, in particular, the content to be written in the writing area can be instructed in advance by the code information. That is, it is possible to recognize the locus information with high accuracy by referring to the pre-classified character and / or graphic information pattern table. As a specific example, if it is instructed to describe only Arabic numerals in advance, the
さらに、上記の軌跡認識を行った上で、書き込み領域に書き込まれた文字および/または図形、もしくは1または複数の文字からなる語句の、意味情報を、コード情報に対応する予め定義された意味情報コードテーブル(辞書)を参照することで、意味情報コードに変換することもできる。すなわち、軌跡認識部9はたとえば「東京都文京区」という書き込みがされた場合、「東」「京」「都」文」「京」「区」と、まず一文字ずつパターン認識を行うが、さらに、意味情報コードテーブル(辞書)を参照して、「東京都」に予め対応するものとして定義された意味情報コードと、「文京区」に予め対応するものとして定義された意味情報コードに変換することにより、情報処理部は「東京都」「文京区」という地名が入力されたものと認識することができる。
Further, after performing the above locus recognition, the semantic information of the characters and / or figures written in the writing area, or the words and phrases consisting of one or a plurality of characters is the predefined semantic information corresponding to the code information. By referring to the code table (dictionary), it can be converted into a semantic information code. That is, for example, when the
また、意味情報コードテーブル(辞書)を参照することは、文字のパターン認識を補助することにもなる。たとえば「東京」の「東」の文字をユーザが汚く書いたために、ユーザが「東」と書いたのか「車」と書いたのか軌跡認識部9が認識することが困難である場合、意味情報コードテーブルにおいて「東京」という熟語が定義されており、「車京」という熟語が定義されていなければ(「車京」という熟語は通常存在しない)、ユーザは「東」という文字を書いたものとして軌跡認識部9は認識をすることができる。
In addition, referring to the semantic information code table (dictionary) also assists in character pattern recognition. For example, if it is difficult for the
<計時部>
本発明にかかる手書き入出力システム1は計時部15をさらに備えてもよい。計時部15は時間情報を検出する機能を持つ。
<Timekeeping section>
The handwriting input /
ここで、時間情報は、
(1)撮像部7が書き込み領域面に触れて描かれた筆歴の順番とする。
Here, the time information is
(1) The writing history is in the order in which the
(2)撮像部7が書き込み領域面に触れて、離れるまでの時間の集合とし、書き始めてから、撮像部7が離れている時間を無視する。つまり、撮像部7が離れている時間を省き、(1)の始まりと、終わりの時間から、手書き入力時間とその順番を記述する。これにより、文字を書く時間が分かり、文字認識の精度向上と、対象者の文字入力速度がわかる。
(2) The time until the
(3)撮像部7が書き込み領域面に触れる、離れるの、全ての時間を記録することにより、アンケートや、商品の選択などに、どれくらい時間を要したかがわかり、通常時との比較を行うことにより、難易性や思考状態、書き手の性格、年齢、性別などを把握できる。
(3) By recording all the times when the
(4)また、ペンの移動速度を把握することにより、文字のハネや書きづらさを解析でき、さらに書き手の心理状態や健康状態を推測することもできる。 (4) In addition, by grasping the moving speed of the pen, it is possible to analyze the splash and difficulty of writing characters, and further to estimate the psychological state and health state of the writer.
<角度測定部・角度変化認識部>
本発明にかかる手書き入出力システム1は角度測定部16・角度変化認識部17をさらに備えてもよい。角度測定部16・角度変化認識部17は撮像部7の媒体面に対する傾きを測定・認識する。
<Angle measurement unit / angle change recognition unit>
The handwriting input /
角度測定・角度変化認識の方法は、既に述べたペンの傾きαの算出方法をそのまま用いることができる。この場合、撮像部7がペンを備えなくとも傾きを測定・認識することは可能である。また、図43〜47に示すように、特願2005−267565号(PCT/SG2006/000267)にかかる情報出力装置の発明において開示されている傾きの算出方法を用いることができる。ただし、これら以外の方法を用いてもよい。
As the method of angle measurement / angle change recognition, the method of calculating the inclination α of the pen already described can be used as it is. In this case, it is possible to measure and recognize the tilt even if the
なお、傾きの測定・認識の基準となる撮像部7の媒体面に対する角度変化の認識は、撮像部7を媒体面に対して鉛直状に立てたときの角度のみならず、撮像部7が媒体面に触れた際の角度を基準とすることができるものとする。
It should be noted that the recognition of the change in the angle of the
<回転角読み取り部・回転角変化認識部>
本発明にかかる手書き入出力システム1は回転角読み取り部18・回転角変化認識部19をさらに備えてもよい。回転角読み取り部18・回転角変化認識部19は撮像部7の撮像光軸を概ね鉛直状に立て、回転させたときの回転角を読み取り・認識する。
<Rotation angle reading unit / rotation angle change recognition unit>
The handwriting input /
なお、ドットパターンの向きと撮像部7の向きの為す角度を求める方法はオフセット補正の項で既に説明しているが、この方法はペンの有無にかかわらず、回転角の読み取り・認識方法に利用できる。すなわち、ドットパターンの向きは常に一定であるため、撮像部7を媒体面に対して鉛直上に立てて最初に撮像したときのドットパターンの向きと撮像部7の向きの為す角度θ1と所定の時間経過後のドットパターンの向きと撮像部7の向きの為す角度θ2(左回転を正の方向とする)との差を回転角として読み取り・認識することができる。
The method of determining the angle between the orientation of the dot pattern and the orientation of the
<タッチ動作と跳ねる動作の判別方法>
本発明にかかる手書き入出力システム1において、撮像部7を書き込み領域にタッチする動作(タッチ動作)と、書き込み領域に触れた状態から跳ねる動作(跳ねる動作)の判別方法を図48に説明する。
<How to distinguish between touch motion and bouncing motion>
In the handwriting input /
同図(a)に示すように、撮像部7を書き込み領域にタッチする場合、撮像部7が書き込み領域にタッチした瞬間は、書き込み領域のドットパターンを撮像することができる。そして、撮像部7を書き込み領域から離すとLED34からの照射光が媒体面に反射しなくなるためC−MOSセンサ35はLED34からの照射光(媒体面からの反射光)を検知せず、同図(c)に示すように、ドットパターンを撮像することができない。
As shown in FIG. 6A, when the
同図(b)に示すように、撮像部7を書き込み領域に触れた状態から跳ねる場合、撮像部7が書き込み領域にタッチした瞬間は、書き込み領域のドットパターンを撮像することができる、つまりここまでは書き込み領域にタッチする動作と同様である。そして、撮像部7を書き込み領域に触れた状態から跳ねると、撮像部7の先端は依然として所定時間書き込み領域へ向いていることにより、LED34からの照射光は媒体面に反射するため、C−MOSセンサ35は媒体面上のドットパターンを一応撮像するが、撮像部7の移動速度が速いことから、同図(d)に示すように、ドットパターンがぼやけて解析することはできない。
As shown in FIG. 3B, when the
すなわち、撮像部7が書き込み領域をタッチしてドットパターンを撮像し、解析した瞬間を基準時として、所定時間経過後(例:0.2秒後)に撮像した画像データを解析して、ドットパターンを撮像しない(反射光を検知しない)ときは、撮像部7はタッチ動作をしたものとして、処理命令部10は情報処理部11に対して、タッチ動作と対応するものとして予め定義づけられた処理命令を送信する。ドットパターンを撮像するが(反射光を検知するが)、ドットパターンがぼやけて解析することができないときは、撮像部7は跳ねる動作をしたものとして、処理命令部10は情報処理部11に対して、跳ねる動作と対応するものとして予め定義づけられた処理命令を送信する。なお、同図(e)に示すように、ドットパターンを解析することができるときは、通常の手書き入力動作に他ならない。
That is, the
<処理命令部>
処理命令部10は、軌跡認識部9が認識した情報に基づく処理命令を、軌跡情報とともに情報処理部11に対して送信する。
<Processing instruction unit>
The
既に説明した、媒体面に印刷したドットパターンが定義する、ページコードに基づく頁を特定する命令、特定コードに基づくある書き込み領域を特定する命令、アクションコードに基づく種々の命令は、処理命令部10が実際に情報処理部11に対して行う。
The
また、処理命令部10は、詳細は後述するが、手書き入出力用アプリケーションにおける各種のオペレーションの実行を情報処理部11に対して命令する。
Further, although the details will be described later, the
さらに、角度測定部16・角度変化認識部17による測定・認識結果、および回転角読み取り部18・回転角変化認識部19による読み取り・認識結果に基づく予め定められた処理命令を情報処理部11に対して命令する。
Further, a predetermined processing command based on the measurement / recognition result by the
<情報処理部>
情報処理部11は、本発明にかかる手書き入出力システム1が行う処理命令を受けて、各種の処理を実行する。
<Information Processing Department>
The
<サーバ>
本発明にかかる手書き入出力システム1は、必要に応じて各種の情報を記録したサーバ5にアクセスしてもよい。
<Server>
The handwritten input /
<軌跡認識用サーバ>
サーバ5には、たとえば軌跡認識用の情報を記憶することができる。一般的なOCR(光学的文字読取装置)で採用されているように複数の文字および図形にXY座標パターンが定義づけられて記憶されている。
<Server for trajectory recognition>
For example, information for trajectory recognition can be stored in the
また、文字および図形には、これらを分類するための分類コードが定義づけられて記憶されている。 In addition, classification codes for classifying characters and figures are defined and stored.
さらに、文字および図形には、意味情報コードテーブル(辞書)を参照することにより、1または複数の文字からなる語句または図形、もしくはこれらの組み合わせを出力するための意味情報コードが定義づけられて記憶されている。 Further, for characters and figures, a word or figure consisting of one or more characters, or a semantic information code for outputting a combination thereof is defined and stored by referring to a semantic information code table (dictionary). Has been done.
本発明にかかる手書き入出力システム1においては、XY座標情報のみならずコード情報を用いて書き込み領域を特定することができるため、書き込み領域の量(数)が膨大であっても、容易に管理することができる。特に、誰もが利用できる共有のグローバルサーバに書き込み情報を記憶する場合に極めて有効である。
In the handwritten input /
<その他のサーバ>
サーバ5には軌跡認識用の情報以外にも、音声、文書、画像、動画、アプリケーション、その他の様々な情報を記憶することができることは説明するまでもない。たとえば手書き入出力用アプリケーションを記憶することができる。すなわち、情報処理部11が手書き入出力用アプリケーションを持たないとき、サーバ内を検索して、サーバ上の手書き入出力用アプリケーションを実行することができる。ただし、サーバ上の手書き入出力用アプリケーションを優先して実行してもよい。
<Other servers>
Needless to say, the
なお、サーバ5に代えて、他の情報処理部11の手書き入出力用アプリケーションを実行してもよい。
Instead of the
当然ながら、サーバ5は上記の実施例以外にも形態を種々変更して実施することができるものとする。
As a matter of course, the
<手書き入出力用アプリケーション>
以下に、本発明にかかる手書き入出力システム1において実行される、手書き入出力用アプリケーションについて説明する。
<Application for handwriting input / output>
The handwritten input / output application executed in the handwritten input /
かかるアプリケーションは各種のオペレーションを実行することにより媒体面への書き込みをコンピュータ上でも反映させるシステムである。 Such an application is a system that reflects writing on a medium surface on a computer by executing various operations.
媒体面への書き込みは処理命令部10が情報処理部11に対してリアルタイムに命令することにより、処理結果が表示されるディスプレイ6を見ながら行ってもよいし、ディスプレイ6を見ずに書き込みを行い、書き込み後に処理命令部10が情報処理部11に対して命令してもよいものとする。
Writing to the medium surface may be performed while looking at the
<書き込み操作>
以下、本発明にかかる手書き入出力システム1における、書き込み操作について説明する。
<Write operation>
Hereinafter, the writing operation in the handwriting input /
書き込み操作は、入力しようとする文字または図形を、撮像部7を用いて媒体面の書き込み領域に書き込むことにより行う。
The writing operation is performed by writing characters or figures to be input into the writing area on the medium surface using the
撮像部7は、撮像部7が媒体面を移動している間、所定の時間間隔において書き込み領域に重畳的に印刷されたドットパターンを撮像する。後の手順は既に説明したとおりである。
While the
以下、手書き入出力システム1が実行する各オペレーションについて説明する。
Hereinafter, each operation executed by the handwriting input /
<文字および図形の認識方法>
図49は本文の文字を手書き入力する第一のオペレーションを説明するイメージ図である。
<How to recognize characters and figures>
FIG. 49 is an image diagram illustrating a first operation of inputting characters in the text by handwriting.
同図(a)のように、撮像部7を用いて書き込み領域に文字を書くと、同図(b)のように、撮像部7は軌跡上のドットパターンを順次撮像して、ドットパターン解析部8はXY座標情報とコード情報からなる軌跡情報を取得する。
When characters are written in the writing area using the
なお、説明の便宜のため同図(b)においては軌跡上のドットパターンの撮像位置の間隔は広くとってあるが、実際にはもっと狭い。 For convenience of explanation, in FIG. 3B, the interval between the imaging positions of the dot pattern on the locus is wide, but it is actually narrower.
同図(c)のように、軌跡情報に基づいて認識を行った結果に基づいて、情報処理部11は第一のオペレーションを実行し、ディスプレイ6に結果を出力する。
As shown in FIG. 3C, the
同図(d)のように、図形を認識する場合も、文字を認識する場合と何ら認識方法に変化はなく、同図(e)のように認識結果がディスプレイ6上には表示される。
As shown in FIG. 6D, there is no change in the recognition method between the case of recognizing a figure and the case of recognizing a character, and the recognition result is displayed on the
ただし、文字および図形の認識を行わず、ドットパターン解析部8が求めたXY座標情報をそのまま入出力してもよい。この場合、本発明にかかる手書き入出力システム1はペンタブレットとして機能する。
However, the XY coordinate information obtained by the dot
<第二のオペレーション>
図50に示すように、第二のオペレーションはコメントの文字を手書き入力するオペレーションである。なお、同図では説明の便宜を図るためにコメント部分を破線により囲んでいるが、実際に破線を書き込む必要はない。
<Second operation>
As shown in FIG. 50, the second operation is an operation of inputting the characters of the comment by handwriting. In the figure, the comment part is surrounded by a broken line for convenience of explanation, but it is not necessary to actually write the broken line.
文字または図形の認識方法は第一のオペレーションの方法と同一である。 The method of recognizing characters or figures is the same as the method of the first operation.
第二のオペレーションにおいて入力されたコメントの文字は、情報処理部11においても本文とは別のコメントとして認識される。
The character of the comment input in the second operation is also recognized by the
コメントは図51のように、行間に記入したものが情報処理部11においてそのまま反映されてもよいが、図52のように、本文中のコメントを挿入したい部分を下線により指定することによって、情報処理部11において本文の脇にコメントが列挙されるようにしてもよい。
As shown in FIG. 51, the comment entered between the lines may be reflected as it is in the
<第三のオペレーション>
第三のオペレーションは手書き入力した文字を編集するオペレーションである。
<Third operation>
The third operation is an operation for editing characters input by handwriting.
各編集は、情報処理部11において編集記号としてあらかじめ定義される文字または図形を、撮像部7を用いて書き込むことにより行う。
Each edit is performed by writing characters or figures defined in advance as edit symbols in the
文字または図形の認識方法は第一のオペレーションの方法と同一である。 The method of recognizing characters or figures is the same as the method of the first operation.
図53は本発明の第三のオペレーションである編集操作において用いる編集記号を説明する図である。 FIG. 53 is a diagram illustrating an editing symbol used in the editing operation which is the third operation of the present invention.
1つの閉じた領域を形成する線は領域内の文字または図形を選択する編集記号を意味する。 The lines that form one closed area mean an edit symbol that selects a character or figure within the area.
領域を閉じない括弧状の二組の線は二組の線の間の文字または図形を選択する編集記号を意味する。 Two sets of parenthesized lines that do not close the area mean an edit symbol that selects a character or figure between the two sets of lines.
レ点はカット&ペースト時にカットの対象を指定する編集記号を意味する。 The check mark means an edit symbol that specifies the target of cutting when cutting and pasting.
二重線は削除(消去)の編集記号を意味する。 The double line means the delete (erase) edit symbol.
「トル」は削除(消去)の編集記号を意味する。 "Torr" means a delete (erase) edit symbol.
「イキ」は編集記号「トル」の取り消しの編集記号を意味する。 "Iki" means the editing symbol for canceling the editing symbol "Torr".
三往復以上のジグザグ線は編集の取り消しの編集記号を意味する。 A zigzag line of three or more round trips means an edit symbol for canceling an edit.
双方向の矢印は選択した文字または図形同士を入れ替える編集記号を意味する。 A double-headed arrow means an edit symbol that swaps selected characters or shapes.
一方向のみの矢印はペースト先を直接指定する編集記号を意味する。 A one-way arrow means an edit symbol that directly specifies the paste destination.
文字(A)、(B)、(C)...は選択した文字または図形をフラグ付けした状態でコピー(カット)し、離れた位置にあるペースト先を指定する編集記号を意味する。 Letters (A), (B), (C). .. .. Means an edit symbol that copies (cuts) the selected character or figure with a flag and specifies the paste destination at a distant position.
ただし、上記以外の編集記号を定義してもよいことはいうまでもない。 However, it goes without saying that editing symbols other than the above may be defined.
図54は第三のオペレーションを実行する前の媒体2を示す図である。媒体2には第一のオペレーションを実行して手書き入力された文書または手書き入力した結果、印刷された文書が記入されている。
FIG. 54 is a diagram showing the medium 2 before executing the third operation. A document input by handwriting by executing the first operation or a document printed as a result of inputting by handwriting is written on the
図55は第三のオペレーションにおける媒体2上での編集状態を説明する図である。 FIG. 55 is a diagram illustrating an editing state on the medium 2 in the third operation.
同図(a)のように、領域を閉じる線を書き込むときには、手書き入出力用アプリケーションにおいては線により閉じた領域内を一個の編集対象として認識する。 As shown in FIG. 3A, when writing a line that closes an area, the handwriting input / output application recognizes the area closed by the line as one editing target.
同図(b)のように、領域を閉じない括弧状の線を書き込むときには、後の領域において同図(c)のように、対応する括弧閉じ状の線を描くことにより間の領域を一個の編集対象として手書き入出力用アプリケーションにおいては認識する。特に、編集対象が数行にまたがる場合に用いる。 When writing a parenthesis-shaped line that does not close the area as shown in Fig. (B), one area is drawn in the later area by drawing the corresponding parenthesis-closing line as shown in Fig. (C). It is recognized in the handwriting input / output application as the editing target of. In particular, it is used when the editing target spans several lines.
同図(d)のように、編集対象を選択した状態において編集対象を示す線上に「トル」を描くときには、手書き入出力用アプリケーションにおいては編集対象の文字を削除する。 As shown in FIG. 3D, when a “torr” is drawn on the line indicating the editing target in the state where the editing target is selected, the character to be edited is deleted in the handwriting input / output application.
同図(e)のように、編集対象を選択した状態において編集対象から所定の位置までを指定する矢印を描くときには、手書き入出力用アプリケーションにおいては編集対象を指定した領域にカット&ペーストまたはコピー&ペーストする。ここで、ペースト先は文字と文字の間(もしくは行頭または行末)に挿入するだけでなく、同図(f)のように、ペースト先を編集対象とすることで元の文字を削除して上書きすることも可能である。 As shown in Fig. (E), when drawing an arrow to specify the edit target from the edit target to a predetermined position with the edit target selected, cut and paste or copy the edit target to the specified area in the handwriting input / output application. & Paste. Here, the paste destination is not only inserted between characters (or at the beginning or end of the line), but as shown in the figure (f), the original character is deleted and overwritten by editing the paste destination. It is also possible to do.
この場合、同図(g)のように、コピー元の編集対象を示す線上に削除の編集記号であるレ点を描き加えたときにはカット&ペーストとして手書き入出力用アプリケーションにおいては処理され、カットしたもとの対象は削除される。同図(h)のように、レ点を描き加えないときにはコピー&ペーストとして手書き入出力用アプリケーションにおいては処理される。 In this case, as shown in Fig. (G), when a check mark, which is a deletion editing symbol, is added on the line indicating the editing target of the copy source, it is processed as cut and paste in the handwriting input / output application and cut. The target of and is deleted. As shown in FIG. 3H, when the check mark is not added, it is processed as copy and paste in the handwriting input / output application.
同図(i)のように、編集対象に(A)、(B)といったフラグとなる編集記号を描き加えると、編集対象は(A)、(B)というフラグを付けた状態でコピーされ、以後は任意に何度でもペーストが可能でなる。さらに、同図(j)のように、ページが異なるなど、離れた位置にもペーストすることが可能である。 As shown in the figure (i), if an editing symbol that becomes a flag such as (A) or (B) is added to the editing target, the editing target is copied with the flags (A) and (B) attached. After that, you can paste as many times as you like. Further, as shown in FIG. 6J, it is possible to paste at distant positions such as different pages.
同図(k)のように、文字の上に二重線を引くと、手書き入出力用アプリケーションにおいては二重線を引いた文字を削除する。 When a double line is drawn on the character as shown in the figure (k), the character with the double line is deleted in the handwriting input / output application.
同図(l)のように、2つの編集対象を双方向の矢印の編集記号で結ぶと、手書き入出力用アプリケーションにおいては編集対象同士を入れ替える。 As shown in FIG. 6 (l), when two editing targets are connected by the editing symbols of the two-way arrows, the editing targets are exchanged in the handwriting input / output application.
図56は第三のオペレーションにおける各編集を媒体2上で行った結果を手書き入出力用アプリケーションにおいてにおいて反映させた文章を示す図である。
FIG. 56 is a diagram showing a sentence in which the result of each editing in the third operation performed on the
図57は、図60に示す第三のオペレーションの編集を行った後に、編集を取り消して編集前の状態に戻す操作を説明する図である。 FIG. 57 is a diagram illustrating an operation of canceling the editing and returning to the state before editing after editing the third operation shown in FIG. 60.
同図(a)のように、一度編集記号であるレ点を付して削除した領域に打ち消しの編集記号であるジグザグ線を加えると、手書き入出力用アプリケーションにおいては一度削除した領域について、削除を取り消して領域が元に戻る。 As shown in Fig. (A), if a zigzag line, which is a canceling editing symbol, is added to the area once deleted with a check mark, which is an editing symbol, the deleted area is deleted in the handwriting input / output application. Cancel and restore the area.
同図(b)のように、一度編集記号である(A)マークを付してコピー&ペーストを行ったところの、ペースト先を指定する編集記号である矢印部分にジグザグ線を加えると、手書き入出力用アプリケーションにおいてはコピー&ペーストをして文字を挿入する前の状態に戻される。 As shown in Fig. (B), once the edit symbol (A) mark is added and copy and paste is performed, when a zigzag line is added to the arrow part which is the edit symbol that specifies the paste destination, it is handwritten. In the input / output application, copy and paste is performed to return to the state before inserting characters.
図58は、第三のオペレーションにおける編集の取り消しを媒体2上で行った結果を手書き入出力用アプリケーションにおいて反映させた文章を示す図である。
FIG. 58 is a diagram showing a sentence in which the result of canceling the editing in the third operation on the
<各オペレーションの階層関係>
以下に、各オペレーションの階層関係について説明する。
<Hierarchical relationship of each operation>
The hierarchical relationship of each operation will be described below.
各オペレーションは、第三のオペレーションを第一および第二のオペレーションと並列するオペレーションとしてもよい。 Each operation may be an operation in which the third operation is parallel to the first and second operations.
この場合、第三のオペレーション時においては本文の文字およびコメントの文字を同時に編集する。 In this case, at the time of the third operation, the characters of the text and the characters of the comment are edited at the same time.
一方、第三のオペレーションは第一のオペレーションおよび第二のオペレーションにそれぞれ従属するサブオペレーションとしてもよい。 On the other hand, the third operation may be a sub-operation subordinate to the first operation and the second operation, respectively.
この場合、第一のオペレーションに従属するサブオペレーションとしての第三のオペレーション時においては本文の文字のみを編集し、第二のオペレーションに従属するサブオペレーションとしての第三のオペレーション時においてはコメントの文字のみを編集する。 In this case, only the characters in the text are edited during the third operation as a sub-operation subordinate to the first operation, and the characters of the comment during the third operation as a sub-operation subordinate to the second operation. Edit only.
当然ながら、本発明にかかる手書き入出力システム1は上記第一から第三のオペレーション以外にも、必要に応じて種々のオペレーションを実行できるものとして変更実施することができる。
As a matter of course, the handwritten input /
<コンピュータへの保存>
図59に示すように、撮像部7を媒体面上にタッチしたまま所定回転角度(例:10度以上)、右回転させることにより、処理命令部10は入力した文字および文書構成の結果(ファイル内容の変更結果)を保存することを情報処理部11に命令する。撮像部7本体が、編集履歴を記録できる機能を有している場合は、上記文書構成の結果を情報処理部11に送信する。
<Save to computer>
As shown in FIG. 59, by rotating the
図60に示すように、撮像部7を媒体面上にタッチしたまま所定回転角度(例:10度以上)、左回転させることにより、処理命令部10は入力した文字および文書構成の結果を破棄する(ファイル内容の変更をキャンセルする)ことを情報処理部11に命令する。
As shown in FIG. 60, by rotating the
撮像部7の回転の認識には、先述の回転角読み取り・回転角変化認識の方法を利用する。
To recognize the rotation of the
<アプリケーションの起動・終了>
図61に示すように、撮像部7を媒体面上にタッチしたまま所定回転角度(例:10度以上)、右回転させ、そのまま所定の時間内(例:1秒以内)に所定回転角度(例:10度以上)左回転させることにより、処理命令部10は情報処理部11に対して手書き入出力用アプリケーションを起動することを命令する。
<Starting / Exiting Application>
As shown in FIG. 61, the
図62に示すように、撮像部7を媒体面上にタッチしたまま所定回転角度(例:10度以上)、左回転させ、そのまま所定の時間内(例:1秒以内)に所定回転角度(例:10度以上)右回転させることにより、処理命令部10は情報処理部11に対して手書き入出力用アプリケーションを終了することを命令する。
As shown in FIG. 62, the
<オペレーションの切り替え動作−方法1>
以下に、図63を用いて、オペレーションの切り替えをする第一の方法を説明する。
<Operation switching operation-
The first method for switching operations will be described below with reference to FIG. 63.
この方法では、先述の角度測定・角度変化認識の方法を利用する。 In this method, the above-mentioned method of angle measurement and angle change recognition is used.
同図(a)に示すように、撮像部7を媒体面に立てて、媒体面と撮像部7のなす角度を基準として、所定の角度(例:15度以上)だけ、媒体面の左側に倒すことにより、処理命令部10は本文を手書き入力する第一のオペレーションを開始することを情報処理部11に命令する。
As shown in FIG. 6A, the
同図(b)に示すように、撮像部7を媒体面に立てて、媒体面と撮像部7のなす角度を基準として、所定の角度(例:15度以上)だけ、媒体面の右側に倒すことにより、処理命令部10はコメントを手書き入力する第二のオペレーションを開始することを情報処理部11に命令する。
As shown in FIG. 3B, the
同図(c)に示すように、撮像部7を媒体面に立てて、媒体面と撮像部7のなす角度を基準として、所定の角度(例:15度以上)だけ、媒体面の上側に倒すことにより、処理命令部10は本文およびコメントを編集する第三のオペレーションを開始することを情報処理部11に命令する。
As shown in FIG. 3C, the
同図(d)に示すように、撮像部7を媒体面に立てて、媒体面と撮像部7のなす角度を基準として、所定の角度(例:15度以上)だけ、媒体面の下側に倒すことにより、処理命令部10は現在実行しているオペレーションを終了して、予め設定する通常時(起動時)のオペレーションを開始することを情報処理部11に命令する。
As shown in FIG. 3D, the
なお、図64はオペレーションの切り替えをする第一の方法の説明を補足する、真上から見た平面図である。 Note that FIG. 64 is a plan view seen from directly above, which supplements the description of the first method for switching operations.
<オペレーションの切り替え動作−方法2>
以下に、オペレーションの切り替えをする第二の方法を説明する。
<Operation switching operation-
The second method for switching operations will be described below.
オペレーションの切り替えは撮像部7本体に設けたボタンなどの入力手段によって行うものとしてもよい。
The operation may be switched by an input means such as a button provided on the main body of the
また、撮像部7以外にもマウス、キーボード等の外部入力手段によりオペレーションの切り替えを行うものとしてもよい。
In addition to the
<オペレーションの切り替え動作−方法3>
以下に、オペレーションの切り替えをする第三の方法を説明する。
<Operation switching operation-
The third method for switching operations will be described below.
内部に複数のペン先を格納して切り替えることができる実施態様の撮像部7においては、ペン先の切り替え動作と連動してオペレーションを切り替えるものとしてもよい。
In the
この場合、オペレーション毎に色分けが可能となるため媒体上においても各オペレーションの見分けがつきやすくなる。 In this case, since it is possible to color-code each operation, it becomes easy to distinguish each operation on the medium.
また、ペン先に代えて消しゴムまたは修正液を装着する場合は、情報処理部11においても書き込みではなく、文字または図形を消去するようにしてもよい。
Further, when an eraser or correction fluid is attached instead of the pen tip, the
<決定・取り消し>
情報処理部11が所定の処理を実行するか否かを決定するときにおいて、図65(a)に示すように、撮像部7を媒体面に鉛直状に立てて、一度媒体面をタッチした後、所定の時間内(例:1秒以内)にもう一度媒体面をタッチしたとき、処理命令部10は情報処理部11に対して処理の実行を決定することを命令する。
<Decision / Cancellation>
When the
同図(b)に示すように、撮像部7を媒体面に鉛直状に立てて、一度媒体面をタッチした後、所定の時間内(例:1秒以内)にタッチがされないとき、処理命令部10は情報処理部11に対して処理の実行を中止することを命令する。
As shown in FIG. 3B, when the
<他の使用方法>
以上の構成は媒体2に書き込み履歴を残すことを前提とするものであるが、本発明にかかる手書き入出力システム1は媒体2に書き込み履歴を残すことなく、ディスプレイ6を見ながら手書き入力を行ってもよいことは先にも述べたとおりである。
<Other usage>
The above configuration is premised on leaving a writing history on the
<音声認識>
本発明は手書き入出力システムであるが、手書き入力を補助する方法として音声認識および音声ガイドをすることができるものとしてもよい。
<Voice recognition>
Although the present invention is a handwriting input / output system, voice recognition and voice guidance may be performed as a method for assisting handwriting input.
<音声収録部>
音声収録部20は、図66に示すように、中央処理装置(MPU)40を中心に構成されている。すなわち、中央処理装置(MPU)40の制御によって、マイク41から入力された音声情報は、アンプ42を介してA/Dコンバータ43、圧縮回路44によって処理され、デジタル音声情報として、記録される。
<Voice recording section>
As shown in FIG. 66, the
<音声認識部>
音声認識部21は、録音した音声情報を対応するテキスト情報に変換し、処理命令部10は情報処理部11に対して、テキスト情報に基づく処理命令をテキスト情報と共に送信する。
<Voice recognition unit>
The
ここで、音声認識に前後して、分類コードを定義したドットパターンを撮像しておくことにより、音声認識の精度を高めることが可能である。すなわち、データベースを検索してテキスト情報を出力する際に全てのテキスト情報を参照することなく、分類コードに対応した音声認識情報テーブル内のテキスト情報を参照することにより、音声認識の精度が高まる。 Here, it is possible to improve the accuracy of voice recognition by capturing a dot pattern in which a classification code is defined before and after voice recognition. That is, the accuracy of voice recognition is improved by referring to the text information in the voice recognition information table corresponding to the classification code without referring to all the text information when searching the database and outputting the text information.
たとえば、「上野」と発声した場合、それが地名の上野なのか人名の上野なのかを把握することは難しいが、「住所」を意味する分類コードが撮像された後に「上野」という発声が音声情報として入力された場合、住所入力のカテゴリコードとともに「上野」の音声情報が情報処理部11に送信される。
For example, if you say "Ueno", it is difficult to know whether it is the place name Ueno or the person's name Ueno, but after the classification code that means "address" is imaged, the voice "Ueno" is spoken. When input as information, the voice information of "Ueno" is transmitted to the
<音声収録モードへの切り替え>
本発明に係る手書き入出力システム1が、手書き入力に代えて音声収録を行う場合、所定の操作を行なうことにより音声収録モードへの切り替えを行う必要がある。以下に、音声収録モードへの切り替え方法を説明する。
<Switching to voice recording mode>
When the handwriting input /
<特定の記号をなぞる>
音声収録モードへ切り替える第一の方法としては、撮像部7が音声収録モードへの切り替えを意味する特定の記号を書き込む(なぞる、描く)ことにより、音声収録モードへ切り替える方法がある。軌跡認識部9が音声収録モードへの切り替えを意味する特定の記号の軌跡を認識して、音声収録部20に送信することにより(または処理命令部10を介して送信することにより)、音声収録部20は音声収録を開始する。
<Trace a specific symbol>
As a first method of switching to the voice recording mode, there is a method of switching to the voice recording mode by the
<ペンを跳ねる>
音声収録モードへ切り替える第二の方法としては、図67に示すように、撮像部7を媒体面の書き込み領域に触れた状態で跳ねる動作をすることにより、音声収録モードへ切り替える方法がある。
<Bounce the pen>
As a second method of switching to the voice recording mode, as shown in FIG. 67, there is a method of switching to the voice recording mode by bouncing the
<音声認識による切り替え>
音声収録モードへ切り替える第三の方法としては、音声収録部20に所定の音声を収録し、音声認識部21が所定の音声を認識することにより、音声収録モードへ切り替える方法がある。
<Switching by voice recognition>
As a third method of switching to the voice recording mode, there is a method of recording a predetermined voice in the
処理命令部10は、上記各種の方法による操作が行われた場合、情報処理部11に対して、手書き入出力用アプリケーションにおいて手書き入力に代えて、音声入力を行うことを命令する。
When the operation by the above-mentioned various methods is performed, the
<音声出力部>
音声出力部22は処理命令部10からの指示に応じて所定の音声ファイルを再生する。音声ファイルは予めデジタル化されて記憶されているものがA/Dコンバータ42、アンプ42を介してスピーカ45またはイヤホン46より出力される。
<Audio output section>
The
<音声ガイド>
本発明にかかる手書き入出力システム1においては、コード情報を利用することにより、手書き入力を行うユーザに対して音声ガイドを行ってもよい。
<Audio guide>
In the handwritten input /
すなわち、書き込み領域に印刷されたドットパターンに、情報処理部11に対して音声の再生を命令する音声ガイドコードが定義づけられていることにより、手書き入力を開始する(撮像部7がドットパターンを撮像する)と、音声ガイドコードに予め対応付けられて記憶された音声ファイルが音声出力部22により再生される。
That is, since the voice guide code for instructing the
ただし、音声ガイドコードおよび対応する音声ファイルは、音声ガイド以外に用いても当然よいものとする。 However, the voice guide code and the corresponding voice file may be used in addition to the voice guide.
<グリッドシート>
図68〜図72は、本発明にかかる手書き入出力システム1において、情報入力補助シートであるグリッドシートをディスプレイに装着して用いる実施例について示した説明図である。このグリッドシートは、透明なシート上にドットパターンが形成されたものであって、モニタ面上に重ねて貼り付けることでタッチパネルとしての機能を発揮するものである。
<Grid sheet>
68 to 72 are explanatory views showing an embodiment in which a grid sheet, which is an information input auxiliary sheet, is attached to a display in the handwriting input /
特願2007−230776号(PCT/JP2008/002188)に開示されているグリッドシートを媒体2として用いることにより、媒体をディスプレイ6のモニタ面上に貼り付けてタッチパネルとすることができる。ただし、グリッドシート以外の手段を採用してもよい。
By using the grid sheet disclosed in Japanese Patent Application No. 2007-230776 (PCT / JP2008 / 002188) as the
また、グリッドシートを媒体2として用いる他に、グリッドシートを媒体2に重ねて用いてもよい。このような使用法は、第一に手書き入出力用ではない媒体に印刷(記載)された文書または画像を、本発明にかかる手書き入出力システム1を用いて編集したい場合、第二に撮像部7をモニタ面上に押し当てることにユーザが抵抗を感じる場合において、特に有効である。
In addition to using the grid sheet as the
図68〜図69は、グリッドシートをディスプレイ6に装着して用いる実施例について示した説明図である。
68 to 69 are explanatory views showing an embodiment in which the grid sheet is attached to the
図68は、情報処理装置である汎用的なコンピュータシステムに、グリッドシートを用いた図である。本実施例では、パソコン等の液晶ディスプレイ(LCD)やCRT(ブラウン管)などのディスプレイ画面上に、グリッドシートを貼付する。グリッドシートは、透明フィルムで形成されており、ドットパターンが印刷されている。このドットパターンは、詳細は後述するが、XY座標値および/またはコード値を所定のアルゴリズムでパターン化したものである。コンピュータ本体には、ドットパターン読取手段であるスキャナが接続されている。ユーザは、透視した画面の指示に従って、スキャナでグリッドシートをタッチする。スキャナは、ドットパターンを読み込み、USBケーブルを介してパーソナルコンピュータに送信し、パーソナルコンピュータの中央処理装置(CPU)は、ドットパターンを解析しグリッドシート上のXY座標値を求め、更にディスプレイ上のxy座標値に変換し、座標値の情報からタッチパネル形式の入力が可能となる。 FIG. 68 is a diagram in which a grid sheet is used in a general-purpose computer system which is an information processing device. In this embodiment, a grid sheet is attached on a display screen of a liquid crystal display (LCD) such as a personal computer or a CRT (cathode ray tube). The grid sheet is made of a transparent film and has a dot pattern printed on it. This dot pattern is a pattern of XY coordinate values and / or code values by a predetermined algorithm, which will be described in detail later. A scanner, which is a dot pattern reading means, is connected to the computer body. The user touches the grid sheet with the scanner according to the instructions on the fluoroscopic screen. The scanner reads the dot pattern and sends it to the personal computer via the USB cable, and the central processing unit (CPU) of the personal computer analyzes the dot pattern to obtain the XY coordinate values on the grid sheet, and further xy on the display. It is converted to a coordinate value, and it is possible to input in a touch panel format from the information of the coordinate value.
これによれば、本シートによってタッチパネル形式の入力が可能となり、安価で利便性に優れたタッチパネルを提供することが可能となる。また、インターネットのサイトを閲覧しているときに、リンク情報が設定されていない情報であっても、関連情報を検索して参照することも可能となる。 According to this, it is possible to input in a touch panel format by this sheet, and it is possible to provide an inexpensive and highly convenient touch panel. In addition, when browsing an Internet site, it is possible to search for and refer to related information even if the link information is not set.
なお、図68では情報処理装置としてパーソナルコンピュータを用いたが、本発明はこれに限らず、情報処理装置は、パーソナルコンピュータ、PDA、テレビ受信装置、フロントおよびリアプロジェクタ、ゲーム装置、カラオケ装置、携帯電話端末装置、POS端末装置、ATM、KIOSK端末、カーナビ、パチンコ、時計、スマートフォン等であってもよい。これらにおいては、タッチパネル形式の入力デバイスとしてディスプレイまたはスクリーンの表示画面上にグリッドシートが配置される。 Although a personal computer is used as the information processing device in FIG. 68, the present invention is not limited to this, and the information processing device includes a personal computer, a PDA, a television receiving device, front and rear projectors, a game device, a karaoke device, and a mobile phone. It may be a telephone terminal device, a POS terminal device, an ATM, a KIOSK terminal, a car navigation system, a pachinko machine, a clock, a smartphone, or the like. In these, a grid sheet is arranged on a display or a display screen of a screen as a touch panel type input device.
図69は、図68で説明したグリッドシートの内部構造について示した断面図である。 FIG. 69 is a cross-sectional view showing the internal structure of the grid sheet described with reference to FIG. 68.
同図(a)は、スキャナで、グリッドシートをタッチしている状態を示した縦断面図である。 FIG. 3A is a vertical cross-sectional view showing a state in which the grid sheet is touched by the scanner.
同図に示すように、グリッドシートは、表示装置側から、赤外線反射層、ドットパターン層、保護用透明シート(保護層)が積層された構造となっている。 As shown in the figure, the grid sheet has a structure in which an infrared reflective layer, a dot pattern layer, and a protective transparent sheet (protective layer) are laminated from the display device side.
赤外線反射層は、ビニール、エンビペット、ポリプロピレン等、可視光線を透過する材料で生成された蒸着用透明シートに、赤外線反射材料が蒸着された構成となっている。赤外線反射層は、スキャナの赤外線照射手段から照射し保護用透明シートを透過した赤外線を、スキャナに対して反射させるとともに、可視光を透過させる。それとともに、表示装置からの赤外線を遮断する。これにより、スキャナの赤外線照射手段から照射された赤外線光のみを照射光とすることができ、明るく鮮明なドットパターンのみを撮影でき、ドットコードを正確に解析できる。 The infrared reflective layer has a structure in which an infrared reflective material is vapor-deposited on a transparent sheet for vapor deposition made of a material that transmits visible light, such as vinyl, envelope, polypropylene, and the like. The infrared reflective layer reflects infrared rays emitted from the infrared irradiation means of the scanner and transmitted through the protective transparent sheet to the scanner, and also transmits visible light. At the same time, it blocks infrared rays from the display device. As a result, only the infrared light emitted from the infrared irradiation means of the scanner can be used as the irradiation light, only bright and clear dot patterns can be photographed, and the dot code can be analyzed accurately.
ドットパターン層には、カーボンインク等の赤外線吸収特性材料からなるドットを後述するような所定の規則に則って配列したドットパターンが印刷されている。 On the dot pattern layer, a dot pattern in which dots made of an infrared absorbing characteristic material such as carbon ink are arranged according to a predetermined rule as described later is printed.
保護用透明シートは、ビニール、エンビペット、ポリプロピレン等、可視光線および赤外線を透過する材料で生成されている。ドットパターンを繰り返しスキャナでタッチすると、ドットが磨耗し、正確にドットパターンを読み取れなくなるという問題が生じる。そこで、保護用透明シートを設けることにより、ドットの磨耗と汚れを防ぎ、シートを長期間使用することが可能となる。 The protective transparent sheet is made of a material that transmits visible and infrared rays, such as vinyl, envelope, polypropylene, and the like. When the dot pattern is repeatedly touched by the scanner, the dots are worn out, which causes a problem that the dot pattern cannot be read accurately. Therefore, by providing a protective transparent sheet, it is possible to prevent the dots from being worn and soiled and to use the sheet for a long period of time.
スキャナには、赤外線照射手段であるIR−LEDと、その反射光の所定波長成分をカットするIRフィルター、および撮像素子であるC−MOSセンサ、およびレンズが内蔵されている。スキャナは、グリッドシートに照射した照射光の反射光を撮影する。上述したように、ドットパターンは赤外線を吸収する特性を有するインクで印刷されているため、C−MOSセンサでの撮像画像では、ドットの部分のみ黒く撮影されることとなる。 The scanner contains an IR-LED, which is an infrared irradiation means, an IR filter that cuts a predetermined wavelength component of the reflected light, a C-MOS sensor, which is an image sensor, and a lens. The scanner captures the reflected light of the irradiation light applied to the grid sheet. As described above, since the dot pattern is printed with ink having a characteristic of absorbing infrared rays, only the dot portion is photographed in black in the image captured by the C-MOS sensor.
この場合、赤外線反射層で鏡面反射された反射層は、同図に示すように、レンズに反射光が入射されず、同図(b)に示すように、中央が真っ黒な状態で撮影されてしまう。そのため、ドットパターンを漏れなく撮影することができない。したがって、赤外線を拡散反射させてレンズに入射させる必要がある。すなわち、図70(a)に示すように、ドットパターン印刷層と赤外線反射層との間に、赤外線拡散層を設ける。この赤外線拡散層は、透明または半透明の材質で形成されている。これによって、同図(b)に示すようにIR−LEDから照射された赤外線は、赤外線反射層で鏡面反射し、赤外線拡散層で拡散し、全ての撮影領域の反射光がレンズに入射する。 In this case, the reflective layer mirror-reflected by the infrared reflective layer is photographed in a state where the center is black as shown in FIG. It ends up. Therefore, the dot pattern cannot be photographed without omission. Therefore, it is necessary to diffusely reflect infrared rays and make them enter the lens. That is, as shown in FIG. 70A, an infrared diffusing layer is provided between the dot pattern printing layer and the infrared reflecting layer. The infrared diffusing layer is made of a transparent or translucent material. As a result, as shown in FIG. 3B, the infrared rays emitted from the IR-LED are mirror-reflected by the infrared reflecting layer and diffused by the infrared diffusing layer, and the reflected light in the entire photographing region is incident on the lens.
なお、同図においては、グリッドシートに赤外線拡散層を設けたが、本発明はこれに限らず、スキャナの撮影口に赤外線拡散材料によるフィルターを設けてもよい。 Although the grid sheet is provided with the infrared diffusing layer in the figure, the present invention is not limited to this, and a filter made of an infrared diffusing material may be provided at the photographing port of the scanner.
図71は、グリッドシートの種々の構造を示した断面図である。 FIG. 71 is a cross-sectional view showing various structures of the grid sheet.
同図(a)は、赤外線を反射するとともに、可視光を透過する特性を有する赤外線反射層と、ドットパターン層と、からなるグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まずドットパターン層のドットが形成されている部分(以下、ドット部という)で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線反射層で鏡面反射し、ドット部を除いてドットパターン層を透過する。 FIG. 3A is a grid sheet composed of an infrared reflecting layer having a property of reflecting infrared rays and transmitting visible light, and a dot pattern layer. As shown in the figure, the infrared rays emitted from the infrared irradiation means are first absorbed in the portion of the dot pattern layer where the dots are formed (hereinafter referred to as the dot portion), and then transmitted in the other regions. Next, the transmitted infrared rays are specularly reflected by the infrared reflecting layer, and are transmitted through the dot pattern layer except for the dot portion.
同図(b)は、赤外線反射層とドットパターン層との間には、可視光を透過するとともに前記赤外線を拡散させる赤外線拡散層が設けられているグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まずドットパターン層のドット部で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線拡散層で拡散した後、赤外線反射層で鏡面反射し、再び赤外線拡散層で拡散してドット部を除いてドットパターン層を透過する。 FIG. 3B is a grid sheet provided with an infrared diffusing layer that transmits visible light and diffuses the infrared rays between the infrared reflecting layer and the dot pattern layer. As shown in the figure, the infrared rays emitted from the infrared irradiation means are first absorbed by the dot portion of the dot pattern layer and then transmitted through the other regions. Next, the transmitted infrared rays are diffused by the infrared diffusing layer, then mirror-reflected by the infrared reflecting layer, diffused again by the infrared diffusing layer, and transmitted through the dot pattern layer except for the dot portion.
同図(c)は、ドットパターン層の一面側、すなわち、赤外線反射層の逆側には、可視光を透過するとともに赤外線光を拡散させる赤外線拡散層が設けられているグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まず赤外線拡散層で拡散した後、ドットパターン層のドット部で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線反射層で鏡面反射し、再びドット部を除いてドットパターン層を透過して赤外線拡散層で拡散する。 FIG. 3C is a grid sheet provided with an infrared diffusing layer that transmits visible light and diffuses infrared light on one surface side of the dot pattern layer, that is, on the opposite side of the infrared reflecting layer. As shown in the figure, the infrared rays emitted from the infrared irradiation means are first diffused by the infrared diffusing layer, then absorbed by the dot portion of the dot pattern layer, and then transmitted in other regions. Next, the transmitted infrared rays are specularly reflected by the infrared reflecting layer, and again pass through the dot pattern layer except for the dot portion and diffused by the infrared diffusing layer.
同図(d)は、一面側からの赤外線を拡散反射するとともに、可視光を透過する特性を有する赤外線拡散反射層と、ドットパターン層と、からなるグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まずドットパターン層のドット部で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線拡散反射層で拡散反射し、ドット部を除いてドットパターン層を透過する。 FIG. 3D is a grid sheet composed of an infrared diffuse reflection layer having a characteristic of diffuse-reflecting infrared rays from one surface side and transmitting visible light, and a dot pattern layer. As shown in the figure, the infrared rays emitted from the infrared irradiation means are first absorbed by the dot portion of the dot pattern layer and then transmitted through the other regions. Next, the transmitted infrared rays are diffusely reflected by the infrared diffuse reflection layer, and are transmitted through the dot pattern layer except for the dot portion.
同図(e)は、同図(a)で示したグリッドシートのドットパターン層側の外面に、赤外線光および可視光を透過する特性を有する保護層が設けられているグリッドシートである。このような保護層を設けることにより、ドットの磨耗や汚れを防ぎ、シートを長期間使用することが可能となる。 FIG. 3E is a grid sheet provided with a protective layer having a property of transmitting infrared light and visible light on the outer surface of the grid sheet shown in FIG. 6A on the dot pattern layer side. By providing such a protective layer, it is possible to prevent the dots from being worn and soiled and to use the sheet for a long period of time.
なお、保護層は、同図(a)のみでなく、(b)〜(d)で示したグリッドシートのドットパターン層側外面に設けられていてもよい。 The protective layer may be provided not only on the outer surface of the grid sheet shown in FIGS. (A) but also on the outer surface of the grid sheet shown in (b) to (d).
同図(f)は、同図(a)で示したグリッドシートにおいて、ドットパターン層と反対側からの赤外線も反射する特性を有しているグリッドシートである。このような特性を有することにより、本発明のグリッドシートを装着したディスプレイ画面やスクリーンからの赤外線を遮断し、赤外線照射手段から照射された赤外線光のみを照射光とすることができる。そのため、明るく鮮明なドットパターンのみを撮影でき、ドットコードを正確に解析できる。 FIG. 3F is a grid sheet shown in FIG. 3A having a characteristic of reflecting infrared rays from the side opposite to the dot pattern layer. By having such a characteristic, it is possible to block infrared rays from the display screen or screen on which the grid sheet of the present invention is attached, and to use only infrared light emitted from the infrared irradiation means as irradiation light. Therefore, only bright and clear dot patterns can be photographed, and the dot code can be analyzed accurately.
なお、同図(a)のみでなく、(b)〜(e)で示したグリッドシートにおいて、ドットパターン層と反対側(他面側)からの赤外線も反射する特性を有していてもよい。 In addition to the figure (a), the grid sheets shown in (b) to (e) may also have a property of reflecting infrared rays from the side opposite to the dot pattern layer (other surface side). ..
同図(g)は、同図(a)で示したグリッドシートにおいて、赤外線反射層の反ドットパターン層側には、粘着層が設けられているグリッドシートである。粘着層は、取り外し可能な材質で生成されている。当該粘着層は、グリッドシートを表示装置や媒体に貼り付けて使用する場合にのみ必要であり、後述するように、印刷物上に載せたり、はさんだりして使用する場合には必要がない。このような粘着層を設けることにより、グリッドシートをディスプレイ等に容易に貼り付けることが可能となる。 FIG. 3G is a grid sheet shown in FIG. 3A in which an adhesive layer is provided on the anti-dot pattern layer side of the infrared reflecting layer. The adhesive layer is made of a removable material. The adhesive layer is necessary only when the grid sheet is used by being attached to a display device or a medium, and is not necessary when the grid sheet is used by placing it on a printed matter or sandwiching it as described later. By providing such an adhesive layer, the grid sheet can be easily attached to a display or the like.
なお、粘着層は、同図(a)のみでなく、(b)〜(e)で示したグリッドシートの、赤外線反射層の反ドットパターン層側に設けられていてもよい。 The adhesive layer may be provided not only in the figure (a) but also on the anti-dot pattern layer side of the infrared reflective layer of the grid sheets shown in (b) to (e).
図72は、グリッドシートの他の実施例を示したものである。本実施例においては、シートの両面にドットパターン層を設けたことを特徴とする。 FIG. 72 shows another embodiment of the grid sheet. The present embodiment is characterized in that dot pattern layers are provided on both sides of the sheet.
同図(a)は、それぞれの面への赤外線をそれぞれの方向に反射するとともに、可視光を透過する特性を有する赤外線反射層と、赤外線反射層の両面に設けられたドットパターン層と、からなるグリッドシートである。これによって、シートを両面で利用することができるため、利便性が向上する。 FIG. 3A shows an infrared reflecting layer having a property of reflecting infrared rays to each surface in each direction and transmitting visible light, and a dot pattern layer provided on both sides of the infrared reflecting layer. It is a grid sheet. As a result, the sheet can be used on both sides, which improves convenience.
同図(b)は、赤外線反射層とそれぞれの面のドットパターン層との間には、可視光を透過するとともにそれぞれの方向からの赤外線光を拡散させる赤外線拡散層が設けられているグリッドシートである。 FIG. 3B shows a grid sheet in which an infrared diffusing layer that transmits visible light and diffuses infrared light from each direction is provided between the infrared reflecting layer and the dot pattern layer on each surface. Is.
同図(c)は、赤外線反射層とそれぞれの面のドットパターン層のさらに外面に赤外線拡散層が設けられているグリッドシートである。 FIG. 3C is a grid sheet in which an infrared reflecting layer and an infrared diffusing layer are further provided on the outer surface of the dot pattern layer on each surface.
同図(d)は、赤外線拡散反射層と、赤外線拡散反射層の両面に設けられたドットパターン層と、からなるグリッドシートである。 FIG. 3D is a grid sheet composed of an infrared diffuse reflection layer and dot pattern layers provided on both sides of the infrared diffuse reflection layer.
同図(e)は、同図(a)で示したグリッドシートの外面両面に、それぞれの方向からの赤外線光および可視光を透過する特性を有する保護層が設けられている情報入力補助シートである。 FIG. 3E is an information input auxiliary sheet provided with protective layers having a property of transmitting infrared light and visible light from each direction on both outer surfaces of the grid sheet shown in FIG. is there.
なお、保護層は、同図(a)のみでなく、(b)〜(d)で示したグリッドシートの外面両面に設けられていてもよい。 The protective layer may be provided not only on the outer surface of the grid sheet shown in FIGS. (A) but also on both outer surfaces of the grid sheets shown in (b) to (d).
同図(f)は、同図(a)で示したグリッドシートにおいて、赤外線反射層のそれぞれの反ドットパターン層側、すなわち、グリッドシートの外面両面に、粘着層が設けられているグリッドシートである。 FIG. 3F is a grid sheet in which adhesive layers are provided on the anti-dot pattern layer side of each infrared reflective layer, that is, on both outer surfaces of the grid sheet in the grid sheet shown in FIG. is there.
なお、粘着層は、同図(a)のみでなく、(b)〜(e)で示したグリッドシートの外面両面に設けられていてもよい。 The adhesive layer may be provided not only on the outer surface of the grid sheet shown in FIGS. (A) but also on both outer surfaces of the grid sheets shown in (b) to (e).
同図(a)〜(f)のグリッドシートにおける各層の説明および反射についての説明は前述したものと同様であるので、ここでは説明を省略する。
なお、同図に示したグリッドシートにおいては、赤外線反射層または赤外線拡散反射層の一面側と他面側のドットパターン層では、異なる座標値および/またはコード値がパターン化されていてもよい。
Since the description of each layer and the description of reflection in the grid sheets of FIGS. (A) to (f) are the same as those described above, the description thereof will be omitted here.
In the grid sheet shown in the figure, different coordinate values and / or code values may be patterned in the dot pattern layer on one surface side and the other surface side of the infrared reflecting layer or the infrared diffuse reflecting layer.
また、図71〜72に示したグリッドシートにおいては、ドットパターン層またはその他の層に、赤外線透過材料または赤外線反射材料からなるインクでテキスト、イラスト、写真等が重畳印刷されていてもよい。 Further, in the grid sheet shown in FIGS. 71 to 72, text, illustrations, photographs and the like may be superimposed and printed on the dot pattern layer or other layers with ink made of an infrared transmitting material or an infrared reflecting material.
<グリッドシートに関する課題>
前述したように、グリッドシートにおいて赤外線拡散反射層を設けないでおくと、シート表面では鏡面反射するため、撮像素子の中心周辺に赤外線反射光が入射しない領域ができてしまい、図69(b)のような黒目が中央に位置するような目玉現象が生じる。そのため、拡散反射層を設ける必要がありコスト高になってしまう。
<Issues related to grid sheets>
As described above, if the grid sheet is not provided with the infrared diffuse reflection layer, specular reflection is performed on the sheet surface, so that a region where infrared reflected light is not incident is created around the center of the image sensor, and FIG. 69 (b) shows. An eyeball phenomenon occurs in which the black eye is located in the center. Therefore, it is necessary to provide a diffuse reflection layer, which increases the cost.
<課題解決手段>
そこで、拡散反射層を設けないグリッドシートの場合に、拡散反射素材(拡散反射インク)によってドットパターンの形成を行う方法を用いる。この方法よれば、拡散反射素材で形成されたドットは、図73(a)に示すように、赤外線をあらゆる方向に拡散反射するため、このドットに入光した赤外線は必ず撮像素子に入射される。したがって、図73(b)のように、撮影画像には、ドットパターンが黒い目玉領域内に白ドットとして検出されることになる。
<Problem solving means>
Therefore, in the case of a grid sheet without a diffuse reflection layer, a method of forming a dot pattern with a diffuse reflection material (diffuse reflection ink) is used. According to this method, as shown in FIG. 73 (a), the dots formed of the diffuse reflection material diffusely reflect infrared rays in all directions, so that the infrared rays that enter the dots are always incident on the image sensor. .. Therefore, as shown in FIG. 73B, the dot pattern is detected as white dots in the black eyeball region in the captured image.
<白ドットと黒ドットの判別方法について>
通常の媒体面上に印刷された従来の黒ドットを判別することができ、かつ、拡散反射層を設けないグリッドシート状に印刷された前述の白ドットも認識することができるアルゴリズムについて説明する。
<How to distinguish between white dots and black dots>
An algorithm capable of discriminating conventional black dots printed on a normal medium surface and recognizing the above-mentioned white dots printed in the form of a grid sheet without a diffuse reflection layer will be described.
(数式)(i、j)=255−BL(i、j)
ただ、この方法では、全てのピクセルにおいて白黒反転計算を行う必要があり、余計な計算時間を要する問題がある。
(Formula) (i, j) = 255−BL (i, j)
However, in this method, it is necessary to perform black-and-white inversion calculation for all pixels, and there is a problem that extra calculation time is required.
そこで、この方法によらず、黒ドット用の閾値を変更して目玉領域内の白ドットを解析するアルゴリズムで判別する方法を具体的に説明する。 Therefore, regardless of this method, a method of changing the threshold value for black dots and discriminating by an algorithm for analyzing white dots in the eyeball region will be specifically described.
まず、黒ドット判別の解析アルゴリズムを、図74(a)を用いて説明する。このアルゴリズムは、行単位で行うスキャンラインアルゴリズムであり、左端から始まり右方向に、所定間隔だけ離れたピクセル同士の明度の差分を求め、その差分が所定の正・負の閾値を上回るもしくは下回るかの判定をし、負の閾値を下回った場合に右側のピクセルをドットと判定し、そのピクセルからドットが始まったと判定する。また、正の閾値を上回った場合に同じく右側のピクセルがドットでないことを判定し、その手前のピクセルまででドットが終わったと判定する。ところが、絶対量の閾値でドットを判定すると、スキャナを斜めにして撮像した画像では明暗が生じ、暗部の明度の低下が顕著となり、暗部領域のドットを判定できなくなる。しかし、前述のように2点間の明度の差分を判定する閾値を用いることで暗部領域の画像でも正確にドットを判定できる。 First, the analysis algorithm for black dot discrimination will be described with reference to FIG. 74 (a). This algorithm is a scanline algorithm performed line by line, and finds the difference in brightness between pixels that are separated by a predetermined interval from the left end to the right, and whether the difference exceeds or falls below a predetermined positive / negative threshold value. Is determined, and when the value falls below the negative threshold value, the pixel on the right side is determined to be a dot, and it is determined that the dot starts from that pixel. Further, when the value exceeds the positive threshold value, it is also determined that the pixel on the right side is not a dot, and it is determined that the dot ends up to the pixel before that. However, when the dots are determined by the absolute amount threshold value, the image captured by tilting the scanner causes brightness and darkness, and the brightness of the dark portion is significantly reduced, so that the dots in the dark region cannot be determined. However, as described above, the dots can be accurately determined even in the image in the dark region by using the threshold value for determining the difference in brightness between the two points.
ここで、隣接するピクセル同士の明度の差分ではなく、所定間隔だけ離れたピクセル同士の差分を用いる理由は、ドットの輪郭がぼけて撮像された画像などでは輪郭周辺の明度の変化が少ないため、差分を取るピクセル間が近すぎると差分が小さく閾値を上回らない値となり、ドットを判別できなくなるためである。 Here, the reason for using the difference between pixels separated by a predetermined interval instead of the difference in brightness between adjacent pixels is that there is little change in brightness around the outline in an image captured with a blurred outline of dots. This is because if the pixels for which the difference is taken are too close to each other, the difference is small and the value does not exceed the threshold value, making it impossible to discriminate the dots.
例えば、この所定の間隔を「4」とした場合、j行目のピクセル番号iとピクセル番号i+4同士の差分をΔBL(i、j)とすると、その求め方は下式となる。
(数式)ΔBL(i、j)=BL(i+4、j)−BL(i、j)
用いる閾値をφ(φ>0)とする。なお、明度を8ビット(ブライトレベル0~255)で表現している場合、明部領域ではφ=25~50程度、暗部領域では、φ=8~16が適切である。このように、ドット部分との、明暗の少ない暗部領域と明暗の大きな明部領域の閾値をダイナミックに変更することにより、さらにドットを正確に判定できる。
ここで、ΔBL(i、j)が閾値φに対し、ΔBL(i、j)<−φであれば、i+4の位置のピクセルからドットが始まったと判断する。ΔBL(i、j)>φであれば、i+3の位置のピクセルでドットが終わったと判断する。
For example, if this predetermined interval is "4" and the difference between the pixel number i and the pixel number i + 4 on the jth line is ΔBL (i, j), the calculation method is as follows.
(Formula) ΔBL (i, j) = BL (i + 4, j) −BL (i, j)
The threshold value used is φ (φ> 0). When the brightness is expressed by 8 bits (
Here, if ΔBL (i, j) is ΔBL (i, j) <−φ with respect to the threshold value φ, it is determined that the dot starts from the pixel at the position i + 4. If ΔBL (i, j)> φ, it is judged that the dot ends at the pixel at the position of i + 3.
白ドットの位置の解析アルゴリズムでは、この閾値判定を逆にする。 In the analysis algorithm of the position of the white dot, this threshold value determination is reversed.
すなわち、ΔBL(i、j)が同じ閾値φに対し、ΔBL(i、j)>φとなれば、i+4の位置のピクセルからドットが始まったと判断する。ΔBL(i、j)<−φとなれば、i+3の位置のピクセルでドットが終わったと判断する。 That is, if ΔBL (i, j) has the same threshold value φ and ΔBL (i, j)> φ, it is determined that the dot starts from the pixel at the position i + 4. If ΔBL (i, j) <−φ, it is judged that the dot ends at the pixel at the position of i + 3.
この方法を用いれば、全てのピクセルにおいて白黒反転させることなく、簡単に白ドットの位置の判定が可能となる。 By using this method, it is possible to easily determine the position of the white dot without inverting the black and white in all the pixels.
<目玉を大きくするペンスキャナの形状>
グリッドシートを用いて白ドットをスキャナで読み取る場合には、黒目の大きさをより大きくして、ドットパターンの検出範囲を広げなければならない。
そこで、黒目がより大きくなるようなスキャナの形状を説明する。
<Shape of pen scanner that enlarges the eyeball>
When scanning white dots with a scanner using a grid sheet, the size of the black eyes must be increased to widen the detection range of the dot pattern.
Therefore, the shape of the scanner so that the black eyes become larger will be described.
図75に示すように、撮影開口部の口端内周囲から発した赤外線がグリッドシート上で鏡面反射して撮像素子に入光可能な光路を想定し、この光路よりも外側にライトガイドを設け赤外線を媒体面全体に均一に照射する。これにより、ライトガイドから発した赤外線がグリッドシート上で鏡面反射し、撮影された画像の多くの領域を黒目となるようにすることができる。この際、余分な赤外線がグリッドシート上で鏡面反射して撮像素子に入射しないように図に示す位置に遮光部を設ける必要がある。なお、構造上、スキャナを傾けた場合は黒目領域が少なくなるが、撮影領域が拡大し、撮像される白ドットの数が増えるので問題なくドットコードが解析できる。 As shown in FIG. 75, assuming an optical path in which infrared rays emitted from the inside of the mouth edge of the photographing opening are specularly reflected on the grid sheet and can enter the image sensor, a light guide is provided outside this optical path. Infrared rays are uniformly applied to the entire surface of the medium. As a result, the infrared rays emitted from the light guide are specularly reflected on the grid sheet, and many areas of the captured image can be black eyes. At this time, it is necessary to provide a light-shielding portion at a position shown in the figure so that excess infrared rays are specularly reflected on the grid sheet and do not enter the image sensor. Due to the structure, when the scanner is tilted, the black eye area is reduced, but the shooting area is expanded and the number of white dots to be imaged increases, so that the dot code can be analyzed without any problem.
<媒体に接しているか否かの判定方法>
スキャナで媒体面に接している間、常に媒体面上のコードを読み取っていると、例えば、ユーザが意図せずに読み取り位置を微妙にずらしてしまった場合などに、ユーザの意図とは異なるコードを読み取って、異なるコンテンツを再生してしまう。このような状態を排除したい場合は、1度目と異なるコードを読み取っても無視する設定にすればよい。ただし、手書き入力のようにスキャナで媒体面上をなぞる場合は、次々に読み取られるコード(座標値)を入力しなければならない。したがって、エラーは無視して、次に新たな座標値を読み取ったときは、常に正常入力として処理すればよい。さらに、スキャナの僅かな移動による読み取りエラーが生じた場合、1度エラーが起こると、次に読み取った同一コードを1度目に読み取ったコードとして入力されるように設定されている場合、同じコンテンツを何度でもスタートしてしまう(「ハロー、ハロー、ハロー・・・」のような再生が起こってしまう)現象が起こり、適正なオペレーションができない。
<Method of determining whether or not it is in contact with the medium>
If the code on the medium surface is constantly read while the scanner is in contact with the medium surface, the code is different from the user's intention, for example, when the user unintentionally shifts the reading position slightly. Reads and plays different content. If you want to eliminate such a situation, you can set it to ignore even if you read a code different from the first time. However, when tracing on the medium surface with a scanner as in handwriting input, it is necessary to input a code (coordinate value) that is read one after another. Therefore, the error should be ignored, and the next time a new coordinate value is read, it should be treated as a normal input. Furthermore, if a read error occurs due to a slight movement of the scanner, and if the error occurs once, the same code read next is input as the code read the first time, the same content is input. The phenomenon of starting many times (playback such as "Hello, Hello, Hello ..." occurs) occurs, and proper operation cannot be performed.
そこで、スキャナが媒体面に接しているかどうかの判定を行い、スキャナが媒体面から離されない限り、次に読み取られる同一コードを無視して(異なるコードも無視してもよい)、スキャナが媒体面に接して1度目に読み取ったコードに対応するコンテンツや命令の実行を継続させる必要がある。もちろん、スキャナを媒体面から一旦離して、再度媒体面に接した場合は、継続実行中のコンテンツや命令を終了し、新たに読み取られたコード(同一コードでも、異なるコードでも)に対応するコンテンツや命令の実行を開始するのはいうまでもない。なお、媒体面に接してもコードを読み取ることができない場合は、実行は継続される。 Therefore, it is determined whether or not the scanner is in contact with the medium surface, and unless the scanner is separated from the medium surface, the same code to be read next is ignored (different codes may be ignored), and the scanner is placed on the medium surface. It is necessary to continue the execution of the content or instruction corresponding to the code read the first time in contact with. Of course, if the scanner is separated from the medium surface and then touches the medium surface again, the content or instruction that is being continuously executed is terminated, and the content corresponding to the newly read code (same code or different code) is used. It goes without saying that the execution of the command and the command is started. If the code cannot be read even if it comes into contact with the medium surface, the execution is continued.
この方法を用いる場合、媒体面に配置された黒ドットのみを対象とするのであれば、単純に読取画像の中心部の明度を測定して、明るければペンが媒体面に接している、暗ければペンが媒体面に接していないと判定するだけで行える。なお、中心部の明度のみを測定する理由は、中心部はスキャナを傾けても明度の低下が少なく判定に影響がでないことと、測定領域を中心部のみとすることにより測定時間を最小限に抑えられるからである。 When using this method, if only the black dots arranged on the medium surface are targeted, the brightness of the central part of the scanned image is simply measured, and if it is bright, the pen is in contact with the medium surface. For example, it can be done only by determining that the pen is not in contact with the medium surface. The reason for measuring only the brightness in the central part is that even if the scanner is tilted in the central part, the brightness does not decrease so much that the judgment is not affected, and the measurement time is minimized by setting the measurement area only in the central part. This is because it can be suppressed.
しかし、黒ドットも読み取れ、かつ、白ドットも読み取れるスキャナにおいては、白ドットを読み取るときは、読取画像の中心部が暗くなっているため、ペンが媒体面に接していないと判定されてしまう。 However, in a scanner that can read black dots and also white dots, when reading white dots, it is determined that the pen is not in contact with the medium surface because the central portion of the scanned image is dark.
そこで、黒ドットも読み取れ、かつ、白ドットも読み取れるスキャナが、通常媒体面(印刷媒体面など)とグリッドシート面の何れか、もしくは何れにも接していないか、を判定する方法を、図76を用いて説明する。 Therefore, FIG. 76 shows a method for determining whether or not a scanner that can read black dots and white dots is in contact with either a normal medium surface (printing medium surface or the like) and a grid sheet surface. Will be described using.
まず、撮像素子により画像を取得する(S10)。 First, an image is acquired by the image sensor (S10).
取得された画像中心部が明るいか否かを測定し(S20)、中心部が明るければスキャナが通常媒体面に接していると判定する(S25)。画像中心部の明るいか否かの測定は、画像中心部の明度が所定の閾値を上回るか否かで判定する。 Whether or not the acquired image center is bright is measured (S20), and if the center is bright, it is determined that the scanner is normally in contact with the medium surface (S25). The measurement of whether or not the central part of the image is bright is determined by whether or not the brightness of the central part of the image exceeds a predetermined threshold value.
中心部が明るいと判定されなかった場合、画像に白ドットを探索する(S30)。白ドットが検出された場合はグリッドシートに接していると判定する(S35)。 If it is not determined that the central part is bright, a white dot is searched for in the image (S30). When a white dot is detected, it is determined that the white dot is in contact with the grid sheet (S35).
白ドットがあると判定されなかった場合は、スキャナが媒体面にタッチしていないと判定する(S40)。 If it is not determined that there are white dots, it is determined that the scanner has not touched the medium surface (S40).
S25,S35,S40の判定後、解析が終了する。 After the determination of S25, S35, S40, the analysis ends.
このS30における、暗部領域から白ドットを探索するには、図77に示すように、撮影画像の中心のピクセルから、渦巻き状に周辺のピクセルが白ドットであるかを所定領域内(必ず所定量のドットが存在する最小領域)で判定する。 In order to search for white dots from the dark region in S30, as shown in FIG. 77, it is determined in a predetermined region (always a predetermined amount) whether the peripheral pixels are white dots in a spiral shape from the central pixel of the captured image. Judgment is made based on the minimum area where the dots exist.
上記において、S25で通常媒体面に接していると判定されたときは、黒ドットの解析(従来アルゴリズム)を開始する。S35でグリッドシートに接していると判定されたときは、白ドットの解析(新アルゴリズム)を開始する。 In the above, when it is determined in S25 that it is in contact with the normal medium surface, the analysis of black dots (conventional algorithm) is started. When it is determined in S35 that the grid sheet is in contact with the grid sheet, the analysis of white dots (new algorithm) is started.
<優先権主張に伴って新規に追加した事項について>
<撮像素子の残像特性について>
なお、図17(c)に示した素子の電荷にあっては、同図(c)に示すほかに、所定時間tkにおける撮像素子12の残像の消え方がより緩やかとなるものでもよい。
<Matters newly added due to priority claim>
<Afterimage characteristics of the image sensor>
Incidentally, in the charge of the element shown in FIG. 17 (c), in addition shown in FIG. (C), may be one way disappear afterimage of the
<書き込み領域の形状について>
以上説明した限りでは、書き込み領域とはいずれも矩形であったが、本発明のようにコード情報を用いて書き込み領域を特定する場合、図78に示すように書き込み領域の形状は、例えば多角形、円形、楕円形、ハート形、星形、あるいはイラストとドットパターンを重畳印刷する場合、当該イラストの実在線に沿った形状など、どのようなものであっても、同様の解析効率を発揮することができる。
<About the shape of the writing area>
As far as the above description is concerned, the writing area is a rectangle, but when the writing area is specified by using the code information as in the present invention, the shape of the writing area is, for example, a polygon as shown in FIG. 78. , Circular, oval, heart-shaped, star-shaped, or when superimposing a dot pattern on an illustration, the same analysis efficiency is exhibited regardless of the shape along the actual line of the illustration. be able to.
従来、座標情報のみを用いて書き込み領域を特定しようとすると、書き込み領域の境界を示す座標をテーブルないし関数で予め定義しておき、入力した座標値が当該テーブルないし関数の範疇に入るものであるか逐次判定しなければならかった。このため、解析が複雑化し、座標情報のみを用いて書き込み領域を特定する場合、使用メモリーや計算速度などの解析効率の低下を最小限に抑えるため書き込み領域は矩形である必要があった。なお、矩形の場合、矩形領域のXY座標値の最小値と最大値をテーブルに記憶しておき、入力した座標値がその範囲にあるかを判定する。従って、矩形であっても、コード情報による書き込み領域の特定に対して、使用メモリーが4倍以上、書き込み領域内であるかを判定するための余計な比較計算が4回必要となる。さらに、書き込み領域が複数ある場合、どの領域であるかの判定が必要となり膨大な使用メモリーと計算速度が必要であると予測される。本発明は、書き込み領域はどのような形状であってもコード情報が直接的に書き込み領域を特定するため、余計なメモリーの使用や計算を行うことなく書き込み領域を特定することができる。 Conventionally, when trying to specify the writing area using only the coordinate information, the coordinates indicating the boundary of the writing area are defined in advance in the table or function, and the input coordinate values fall into the category of the table or function. I had to judge sequentially. For this reason, the analysis becomes complicated, and when the writing area is specified using only the coordinate information, the writing area needs to be rectangular in order to minimize the decrease in analysis efficiency such as the memory used and the calculation speed. In the case of a rectangle, the minimum and maximum values of the XY coordinate values in the rectangular area are stored in the table, and it is determined whether the input coordinate values are within that range. Therefore, even if it is a rectangle, an extra comparative calculation for determining whether the memory used is four times or more and within the writing area is required four times for specifying the writing area by the code information. Further, when there are a plurality of write areas, it is necessary to determine which area it is, and it is predicted that a huge amount of memory used and calculation speed will be required. In the present invention, since the code information directly specifies the write area regardless of the shape of the write area, the write area can be specified without using extra memory or performing calculation.
<配置方向の組み合わせによる判別>
自動的な操作判別を行なうもう一つの方法を説明する。
<Discrimination by combination of placement directions>
Another method for performing automatic operation determination will be described.
GRID1、GRID3のように、基準位置からの距離と方向とを持って情報ドットを配置することにより情報を定義する(第一の数値化情報)ドットパターンを用いる場合、情報ドットを+方向線上(上下左右方向線上)に配置するか、×方向線上(斜め方向線上)に配置するかの、情報ドットの配置方向の組み合わせそのものに対して情報を定義する(第二の数値化情報)こともできるため、×方向線上に情報ドットが配置される場合を「0」、+方向線上に情報ドットが配置される場合を「1」とした場合、図79(b)のドットパターンにおける第二の数値化情報は「1010010110100101」であり、図80(b)のドットパターンにおける第二の数値化情報は「0000000011111111」である。 When using a dot pattern that defines information by arranging information dots with a distance and direction from the reference position, such as GRID1 and GRID3 (first digitized information), the information dots are placed on the + direction line (1st digitized information). Information can also be defined for the combination of the arrangement directions of the information dots themselves, whether they are arranged on the vertical and horizontal direction lines (on the vertical and horizontal direction lines) or on the × direction line (on the diagonal direction line) (second digitized information). Therefore, when the case where the information dots are arranged on the × direction line is “0” and the case where the information dots are arranged on the + direction line is “1”, the second numerical value in the dot pattern of FIG. 79 (b) is set. The conversion information is "1010010110100101", and the second numerical information in the dot pattern of FIG. 80 (b) is "000000001111111".
また、情報ドットの配置方向だけでなく、仮想基準点から情報ドットを配置する距離(配置距離)を2パターン以上とすることにより、情報ドットが仮想基準点に対してどの距離で配置されるかの組み合わせによっても第二の数値化情報を定義することができる。 In addition to the placement direction of the information dots, the distance (placement distance) at which the information dots are placed from the virtual reference point is set to two or more patterns, so that the distance at which the information dots are placed with respect to the virtual reference point is determined. The second quantification information can also be defined by the combination of.
当然、情報ドットの配置方向と配置距離双方の組み合わせにより第二の数値化情報を定義してもよい。 Of course, the second quantified information may be defined by the combination of both the arrangement direction and the arrangement distance of the information dots.
すなわち、第二の数値化情報とは、情報ドットの配置方向や配置距離といった、情報ドットの配置法則そのものにより定義される情報を意味する。 That is, the second digitized information means information defined by the information dot arrangement law itself, such as the information dot arrangement direction and the arrangement distance.
発明者は、これまでコード情報と座標情報の両方を定義するドットパターンのフォーマットを提案してきたが、そのようなフォーマットのドットパターンは情報ドットの数を多くするためにドットパターンの分布面積を大きく設ける必要があり、それに伴ってペンスキャナの光学読み取りユニットもドットパターンを読み取るために大きな読み取り領域を備える必要があった。 The inventor has proposed a dot pattern format that defines both code information and coordinate information, but the dot pattern of such a format increases the distribution area of the dot pattern in order to increase the number of information dots. Along with this, the optical reading unit of the pen scanner also needed to have a large reading area for reading the dot pattern.
このため、読み取り精度、計算速度、計算要領の少ない光学読み取りユニットを備える玩具等ではコード情報と座標情報を両方定義するフォーマットを利用することは困難だったが、上記の方法によれば情報ドットの少ない、分布面積の小さいドットパターンであっても、多量の情報を定義することが可能となっている。 For this reason, it was difficult to use a format that defines both code information and coordinate information in toys and the like equipped with an optical reading unit that has less reading accuracy, calculation speed, and calculation procedure. However, according to the above method, information dots can be used. It is possible to define a large amount of information even with a small dot pattern with a small distribution area.
本発明にかかる手書き入出力システムは、第一に、コンピュータの操作に用いるマウス、キーボード、タブレットといった既存の入力用デバイスの使用テクニックを習得していない者が、紙媒体に書き込むのと同様の感覚で使用することのできる、入力用デバイスとしての産業上の利用可能性を有する。さらに、主に子供を対象とした、おもちゃ、特に知育用おもちゃとしての産業上の利用可能性を有する。 The handwritten input / output system according to the present invention firstly feels like writing on a paper medium by a person who has not mastered the techniques for using existing input devices such as a mouse, keyboard, and tablet used for operating a computer. Has industrial applicability as an input device that can be used in. In addition, it has industrial applicability as toys, especially educational toys, mainly for children.
本発明にかかる手書き入出力システムは、第二に、座標情報と同時に読み取ったコード情報により書き込み領域であることを特定できるため、手書き入力される内容が所定のカテゴリーに属する場合、そのカテゴリーの辞書との照合により認識率は格段に向上する。 Secondly, the handwritten input / output system according to the present invention can identify the writing area by the code information read at the same time as the coordinate information. Therefore, when the handwritten input content belongs to a predetermined category, the dictionary of that category The recognition rate is significantly improved by collation with.
本発明にかかる手書き入出力システムは、第三に、操作者が特別な操作をすることなく、ドットパターンを読み取るだけで書き込み領域であるか否かを判別し、誰もが使い慣れた筆記用具を使うように直感的に手書き入力を実現できる。 Thirdly, the handwriting input / output system according to the present invention determines whether or not the writing area is a writing area only by reading the dot pattern without any special operation by the operator, and a writing instrument that everyone is familiar with. You can intuitively realize handwriting input as you use it.
1 手書き入出力システム
2 媒体
3 スキャナ
4 コンピュータ
5 サーバ
6 ディスプレイ
7 撮像部
8 ドットパターン解析部
9 軌跡認識部
10 処理命令部
11 情報処理部
12 撮像素子
13 照射部
14 光制御部
15 計時部
16 角度測定部
17 角度変化認識部
18 回転角読み取り部
19 回転角変化認識部
20 音声収録部
21 音声認識部
22 音声出力部
23 送信部
24 送信ボタン
25 再送信ボタン
26 マイク
27 音声再生ボタン
28 指示用突起部
29 ペン
30 ペン格納ボタン
31 ペン型スキャナ
32 ライトガイド
33 レンズ
34 LED
35 C−MOSセンサ
36 PCB
37 ペン
38 バンクガイド
39 点字
40 中央処理装置(MPU)
41 マイク
42 アンプ
43 A/Dコンバータ
44 圧縮回路
45 スピーカ
46 イヤホン
1 Handwriting input /
35 C-
37
41
Claims (1)
手書き入力シートであって、
前記ドットパターンは、ドットパターンの座標系であるドットパターン座標系で座標情報が定義されており、
前記ドットパターンは撮像解析手段により読取られ、前記コード情報の少なくとも一部には、前記書き込み領域であるか否かを判別するための書き込みフラグが設けられ、
前記書き込み領域であると判別された場合には、前記撮像解析手段に内蔵または接続された軌跡認識手段により、前記座標情報および前記コード情報に基づく手書き入力の所定の処理が実行され、
前記書き込み領域ではないと判別された場合には、前記撮像解析手段により撮像された前記コード情報および/または前記座標情報に関連付けられた情報の出力および/または命令処理が実行される、
手書き入力シート。 A handwriting input sheet comprising a medium having at least a portion of the writing area in which the dot pattern defined coordinate information and code information is formed in the region,
The coordinate information of the dot pattern is defined in the dot pattern coordinate system, which is the coordinate system of the dot pattern.
The dot pattern is read by the imaging analysis means, at least a portion of said code information, write flag for determining whether or not the writing area is provided, et al is,
When it is determined that it is the writing area, the locus recognition means built in or connected to the imaging analysis means executes a predetermined process of handwriting input based on the coordinate information and the code information.
If it is determined that the area is not the writing area, the code information captured by the imaging analysis means and / or the information associated with the coordinate information is output and / or instruction processing is executed.
Handwriting input sheet.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016144967A JP6857867B2 (en) | 2016-07-22 | 2016-07-22 | Handwriting input sheet |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016144967A JP6857867B2 (en) | 2016-07-22 | 2016-07-22 | Handwriting input sheet |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014148431A Division JP6267074B2 (en) | 2014-07-22 | 2014-07-22 | Handwriting input / output system and optical reader |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018188599A Division JP2019036324A (en) | 2018-10-03 | 2018-10-03 | Handwriting input sheet |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016181311A JP2016181311A (en) | 2016-10-13 |
JP6857867B2 true JP6857867B2 (en) | 2021-04-14 |
Family
ID=57132010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016144967A Active JP6857867B2 (en) | 2016-07-22 | 2016-07-22 | Handwriting input sheet |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6857867B2 (en) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4198392B2 (en) * | 2002-05-30 | 2008-12-17 | 株式会社リコー | Two-dimensional code reading device, image input device, two-dimensional code reading method, image input method, program thereof, and recording medium recording the program |
JP2004302608A (en) * | 2003-03-28 | 2004-10-28 | Dainippon Printing Co Ltd | Information processor for electronic pen |
JP4810918B2 (en) * | 2005-08-01 | 2011-11-09 | 富士ゼロックス株式会社 | Code pattern image generating apparatus and method, code pattern image reading apparatus and method, and code pattern image medium |
JP5049586B2 (en) * | 2006-12-26 | 2012-10-17 | キヤノンItソリューションズ株式会社 | Data entry apparatus, control method therefor, program, and data entry system |
JP2008245147A (en) * | 2007-03-28 | 2008-10-09 | Sharp Corp | Image processor, image reader, image forming apparatus, image processing method, computer program and recording medium |
JP2008269518A (en) * | 2007-04-25 | 2008-11-06 | Dainippon Printing Co Ltd | Application managing device, and application management system and program |
US8358964B2 (en) * | 2007-04-25 | 2013-01-22 | Scantron Corporation | Methods and systems for collecting responses |
JP4129841B1 (en) * | 2007-08-09 | 2008-08-06 | 健治 吉田 | Information input auxiliary sheet, information processing system using information input auxiliary sheet, and printing related information output system using information input auxiliary sheet |
JP2009211290A (en) * | 2008-03-03 | 2009-09-17 | Fuji Xerox Co Ltd | Business activity support system |
JP4385169B1 (en) * | 2008-11-25 | 2009-12-16 | 健治 吉田 | Handwriting input / output system, handwriting input sheet, information input system, information input auxiliary sheet |
WO2009122756A1 (en) * | 2008-04-04 | 2009-10-08 | Yoshida Kenji | Cradle for mobile telephone, videophone system, karaoke system, car navigation system, and emergency information notification system |
-
2016
- 2016-07-22 JP JP2016144967A patent/JP6857867B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016181311A (en) | 2016-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5527215B2 (en) | Handwriting input / output system, handwriting input sheet, information input system, information input auxiliary sheet | |
JP4243642B2 (en) | Calibration method and information input support sheet | |
JP5848230B2 (en) | Handwriting input / output system, handwriting input sheet, information input system, information input auxiliary sheet | |
WO2012008469A1 (en) | Information input auxiliary sheet, information processing system, information input device, information input system, handwriting input sheet, and handwriting input-output system using stream dots | |
JP5544609B2 (en) | Handwriting input / output system | |
JP6857867B2 (en) | Handwriting input sheet | |
JP6056263B2 (en) | Terminal device, electronic pen system, and program | |
JP6048165B2 (en) | Computer apparatus, electronic pen system, and program | |
JP5358759B2 (en) | Optical reader | |
JP2012022418A (en) | Handwriting input sheet and handwriting input/output system using stream dot | |
JP6267074B2 (en) | Handwriting input / output system and optical reader | |
JP2014220006A (en) | Handwriting input/output system and optical reading device | |
JP2019036324A (en) | Handwriting input sheet | |
JP2014157621A (en) | Handwriting input-output system | |
JP6244647B2 (en) | Computer apparatus and program | |
JP2012022400A (en) | Information input auxiliary sheet and information processing system using stream dot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170523 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180130 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180531 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181003 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20181003 |
|
C11 | Written invitation by the commissioner to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C11 Effective date: 20181106 |
|
C27A | Decision to dismiss |
Free format text: JAPANESE INTERMEDIATE CODE: C2711 Effective date: 20181225 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190107 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20190108 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20190208 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20190226 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20190926 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20191106 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20191211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200210 |
|
C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20200213 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200422 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200831 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20201111 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210112 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210210 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210309 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6857867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |