JP7270876B2

JP7270876B2 - program

Info

Publication number: JP7270876B2
Application number: JP2018216910A
Authority: JP
Inventors: 治寺田
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-11-19
Filing date: 2018-11-19
Publication date: 2023-05-11
Anticipated expiration: 2038-11-19
Also published as: JP2020086679A

Description

本発明はウェブブラウザと、ウェブブラウザと同じ端末上で実行されるプログラムが通信し、ウェブブラウザに任意の情報を送信し、またウェブブラウザ上で入力された手書き情報を文字認識するシステムに関するものである。 The present invention relates to a system for communicating between a web browser and a program executed on the same terminal as the web browser, sending arbitrary information to the web browser, and recognizing characters of handwritten information input on the web browser. be.

タブレット型端末およびスマートフォンが普及する中で、ウェブブラウザ上で入力された手書き情報を高度に処理する方法が求められている。 With the spread of tablet terminals and smart phones, there is a demand for advanced processing methods for handwritten information input on web browsers.

特表４０１６－５１７５７１Special table 4016-517571

WWWクライアント上で動作する手書き文字認識モジュールの開発と知的教育システムへの実装 https://core.ac.uk/download/pdf/59164141.pdfDevelopment of Handwritten Character Recognition Module Operating on WWW Client and Implementation to Intellectual Education System https://core.ac.uk/download/pdf/59164141.pdf

ウェブブラウザ上で、スタイラスペンを用いた手書き情報を取得する方法として、ウェブブラウザが備えるJavaScript（登録商標）のAPIを用いて、ウェブブラウザにペン入力を行った際のイベントから、スタイラスペンの入力情報を取得する方法が知られている。
しかし、従来のJavaScriptのAPIを用いた取得方法は、取得できる情報がウェブブラウザの種類によってばらつきがあり、一貫性のある手書き情報が取得できない。
また非特許文献１によれば、手書き情報を処理する一例として、手書き情報を、ウェブブラウザから、JAVA（登録商標）アプレットなどウェブブラウザ上にホストされたプログラムに送信し、ウェブブラウザ上のプログラムで文字認識を行い、ウェブブラウザに返却することで、文字列を取得する方法が提案されている。
しかし、従来のウェブブラウザ上のプログラムで文字認識を行う方法は、JAVAアプレットやActiveX（登録商標）やAdobeFlash（登録商標）などで作成されたプログラムをウェブブラウザごとにインストールする必要があり、またプログラムをウェブブラウザ上でホストするためのプラグイン技術自体が、ウェブブラウザの種類によって対応していない、または開発が終了しているか、終了予定であるといった問題があり、ユーザーが容易に利用できない状態である。
本発明の目的は、ウェブブラウザから手書き情報または任意の情報を取得し、また手書き情報を文字認識するための、ウェブブラウザの種類に依存しない高機能な方法を提供することである。 As a method of acquiring handwritten information using a stylus pen on a web browser, the JavaScript (registered trademark) API provided by the web browser is used to detect stylus pen input from events when pen input is performed on the web browser. Methods of obtaining information are known.
However, with conventional acquisition methods using JavaScript APIs, the information that can be acquired varies depending on the type of web browser, and consistent handwritten information cannot be acquired.
According to Non-Patent Document 1, as an example of processing handwritten information, handwritten information is sent from a web browser to a program hosted on the web browser, such as a JAVA (registered trademark) applet, and the program on the web browser A method of acquiring a character string by performing character recognition and returning it to a web browser has been proposed.
However, conventional methods of character recognition using programs on web browsers require programs created with JAVA applets, ActiveX (registered trademark), Adobe Flash (registered trademark), etc. to be installed in each web browser. The plug-in technology itself for hosting on web browsers does not support depending on the type of web browser, or development has been completed or is scheduled to be completed, making it difficult for users to use. be.
SUMMARY OF THE INVENTION It is an object of the present invention to provide a highly functional method for obtaining handwritten information or arbitrary information from a web browser and performing character recognition on the handwritten information, independent of the type of web browser.

ウェブブラウザ部と、ウェブブラウザ部と同じ端末上で実行されるプログラム部がローカルループバック接続によって通信を確立する。
プログラム部が、ウェブブラウザ部に対してメッセージフックを行い、ウェブブラウザ部上で入力された入力手段の情報、またはウェブブラウザ部の任意の情報、またはその他の任意の情報を取得し、取得した情報を、プログラム部がウェブブラウザ部に送信することで、ウェブブラウザの種類によらず、一貫性のある手書き情報、またはウェブブラウザ部の任意の情報、またはその他の任意の情報を、ウェブブラウザ部に提供できる。
また、得られた手書き情報を、ウェブブラウザ部がプログラム部に送信し、プログラム部が備える文字認識部が、手書き情報を元に文字認識を行い、文字認識結果をウェブブラウザ部に送信することによって、ウェブブラウザの種類によらず、文字認識を行い、文字認識結果をウェブブラウザ部に提供できる。 A web browser unit and a program unit running on the same terminal as the web browser unit establish communication through a local loopback connection.
Information obtained by the program part performing a message hook to the web browser part and obtaining information of input means input on the web browser part, arbitrary information of the web browser part, or other arbitrary information is sent by the program unit to the web browser unit, regardless of the type of web browser, consistent handwritten information, arbitrary information in the web browser unit, or other arbitrary information is sent to the web browser unit. can provide.
In addition, the web browser unit transmits the obtained handwritten information to the program unit, the character recognition unit provided in the program unit performs character recognition based on the handwritten information, and transmits the character recognition result to the web browser unit. , character recognition can be performed regardless of the type of web browser, and the character recognition result can be provided to the web browser unit.

手書き情報、またはウェブブラウザ部の任意の情報、またはその他の任意の情報を取得し、また手書き情報を文字認識してウェブブラウザ部に送信するためのシステムの実施形態を例示する機能ブロック図FIG. 2 is a functional block diagram illustrating an embodiment of a system for acquiring handwritten information, or any information in a web browser portion, or any other information, and for character recognition of the handwritten information and transmission to the web browser portion; プログラム部が文字認識処理を実行するためのフローチャートFlowchart for the program unit to execute character recognition processing プログラム部がメッセージフックを行い、ウェブブラウザ部から任意の情報を取得するためのフローチャートFlowchart for the program part to perform a message hook and obtain arbitrary information from the web browser part 入力手段がスタイラスペンの場合に、詳細なペン情報を取得するためのフローチャートFlowchart for acquiring detailed pen information when the input means is a stylus pen 入力手段がスタイラスペンの場合に、ペン情報取得処理によって取得したペン情報を元に、パームリジェクション機能を実行するためのフローチャートFlowchart for executing the palm rejection function based on the pen information acquired by the pen information acquisition process when the input means is a stylus pen 入力手段がスタイラスペンの場合に、ペン情報取得処理によって取得したペン情報を元に、消しゴム機能を実行するためのフローチャートFlowchart for executing the eraser function based on the pen information acquired by the pen information acquisition process when the input means is a stylus pen 入力手段がスタイラスペンの場合に、ペン情報取得処理によって取得したペン情報を元に、手書き情報を文字認識する処理を実行するタイミングを制御するためのフローチャートFlowchart for controlling the timing of performing character recognition processing for handwritten information based on pen information acquired by pen information acquisition processing when the input means is a stylus pen. 手書き情報を文字認識する処理を実行するためのフローチャートFlowchart for executing processing for character recognition of handwritten information

図１は、手書き情報、またはウェブブラウザ部の任意の情報、またはその他の任意の情報を取得し、また手書き情報を文字認識してウェブブラウザ部に送信するためのシステムの実施形態を例示する機能ブロック図である。 FIG. 1 is a function illustrating an embodiment of a system for acquiring handwritten information, or any information in a web browser unit, or any other information, and for character recognition of the handwritten information and transmission to the web browser unit. It is a block diagram.

端末１０１は、タブレット型端末、またはスマートフォン、またはその他の任意のコンピューターデバイスでありうる。
また、端末１０１は、CPU１０２とメモリ１０３と画面１０４と記憶装置１０５を備え、さらに必要であればネットワークインターフェース１０６を備える。
また、端末１０１は、メモリ１０３上にループバックインターフェース１０７を配置する。
また、端末１０１が備える画面１０４はタッチパネルであり、スタイラスペン、またはタッチ操作、またはその他の任意の手書き入力手段を受け付ける。
また、端末１０１は、メモリ１０３上にウェブブラウザ部１１３とプログラム部１１９を配置する。 Terminal 101 may be a tablet terminal, or a smart phone, or any other computing device.
The terminal 101 also includes a CPU 102, a memory 103, a screen 104, a storage device 105, and a network interface 106 if necessary.
Also, the terminal 101 arranges a loopback interface 107 on the memory 103 .
The screen 104 of the terminal 101 is a touch panel, and accepts a stylus pen, touch operation, or any other handwriting input means.
The terminal 101 also has a web browser section 113 and a program section 119 arranged on the memory 103 .

ループバックインターフェース１０７は、端末１０１によってメモリ１０３上に配置され、ローカルループバックアドレスを設定した仮想ネットワークインターフェースである。
ループバックインターフェース１０７に設定されるローカルループバックアドレスは、端末自身を表す、127.0.0.0から127.255.255.255の範囲の任意のIPv4のIPアドレス、または0:0:0:0:0:0:0:1のIPv6のIPアドレスでありうる。 The loopback interface 107 is a virtual network interface placed on the memory 103 by the terminal 101 and configured with a local loopback address.
The local loopback address set in the loopback interface 107 is any IPv4 IP address in the range from 127.0.0.0 to 127.255.255.255 or 0:0:0:0:0:0:0 representing the terminal itself. Can be an IPv6 IP address of :1.

入力手段１１１は、指か、またはマウスか、またはスタイラスペンか、または手書き情報の入力が可能な任意の入力手段でありうる。
また、入力手段１１１がスタイラスペンの場合、入力手段１１１および画面１０４はデジタイザーの機能を備えうる。
入力手段１１１および画面１０４が備えるデジタイザーの機能は、画面１０４が、画面１０４と入力手段１１１の入力部位が接触している状態を入力として検知し、さらに画面１０４が、画面１０４と入力手段１１１の入力部位が接触せず、少し離れた状態（以降、この状態を「ホバー」と呼称する）を入力として検知することが出来る。 The input means 111 can be a finger, a mouse, a stylus pen, or any input means capable of inputting handwritten information.
Also, if the input means 111 is a stylus pen, the input means 111 and the screen 104 can have the function of a digitizer.
The input means 111 and the screen 104 have a digitizer function. A state in which the input part does not touch and is slightly separated (hereafter, this state is called "hover") can be detected as an input.

ウェブブラウザ部１１３は、HTML５準拠の任意のウェブブラウザでありうる。
また、ウェブブラウザ部１１３は、記憶装置１０５またはネットワークインターフェース１０６を使用して、任意のファイルシステムまたはウェブサーバーから、HTMLコンテンツを取得し、ウェブブラウザ部１１３上にHTMLコンテンツ部１１４として構築する。 The web browser unit 113 can be any HTML5 compliant web browser.
Also, the web browser unit 113 uses the storage device 105 or the network interface 106 to acquire HTML content from any file system or web server, and constructs it as the HTML content unit 114 on the web browser unit 113 .

HTMLコンテンツ部１１４はHTMLコンテンツを含む様々なウェブベースのコンテンツを含むことが出来る。
また、HTMLコンテンツ部１１４はページ要素１１５と組込ウェブサーバー通信部１１７を備える。 The HTML content portion 114 can contain various web-based content, including HTML content.
HTML content portion 114 also includes page elements 115 and embedded web server communication portion 117 .

ページ要素１１５はHTMLタグ、またはその他の任意のウェブベースのコンテンツでありうる。
また、ページ要素１１５は手書き入力１１２を受信して、手書き情報１１６を生成し、手書き情報１１６を組込ウェブサーバー通信部１１７に送信することが出来る。
また、ページ要素１１５は、要素内に任意の画像情報を描画可能である場合、手書き情報１１６が保持する一連の入力情報を筆跡として描画しても良い。 Page elements 115 can be HTML tags, or any other web-based content.
Page element 115 can also receive handwritten input 112 , generate handwritten information 116 , and send handwritten information 116 to embedded web server communication 117 .
Also, if the page element 115 can draw arbitrary image information in the element, a series of input information held by the handwritten information 116 may be drawn as handwriting.

手書き情報１１６は、手書き入力１１２の一連の入力情報の配列、または手書き入力１１２の筆跡を記録した画像情報でありうる。
また、手書き情報１１６は、手書き入力１１２の位置情報、または手書き入力１１２のその他の任意の情報を含みうる。 Handwriting information 116 may be an array of input information sequences of handwriting input 112 or image information recording handwriting of handwriting input 112 .
Handwriting information 116 may also include location information for handwriting input 112 or any other information for handwriting input 112 .

組込ウェブサーバー通信部１１７は、JavaScript、またはその他の任意のウェブベースの実行可能コードでありうる。
また、組込ウェブサーバー通信部１１７は、ページ要素１１５から取得した手書き情報１１６、または手書き情報１１６を文字認識する命令、またはその他の任意の情報を、ローカルループバック接続１１８を介して、組込ウェブサーバー部１２１に送信することができる。
また、組込ウェブサーバー通信部１１７は、組込ウェブサーバー部１２１から、文字認識結果の文字列を受信し、ページ要素１１５に文字認識結果１２４として設定することができる。 The embedded web server communicator 117 can be JavaScript or any other web-based executable code.
Embedded web server communication unit 117 also transmits handwritten information 116 obtained from page element 115 , or instructions for character recognition of handwritten information 116 , or any other information via local loopback connection 118 to the embedded web server communication unit 117 . It can be transmitted to the web server section 121 .
The embedded web server communication unit 117 can also receive a character string as a character recognition result from the embedded web server unit 121 and set it as the character recognition result 124 in the page element 115 .

ローカルループバック接続１１８は、組込ウェブサーバー通信部１１７をクライアント、組込ウェブサーバー部１２１をサーバーとした、HTTP、またはHTTPS、またはWebSocket、またはWebSockets over SSL/TLS、またはその他の任意のRFC準拠のプロトコルの通信チャンネルでありうる。
また、ローカルループバック接続１１８は、組込ウェブサーバー通信部１１７から、組込ウェブサーバー部１２１によって待ち受けしているループバックインターフェース１０７上の所定のポートに接続し、通信を確立する。
また、ローカルループバック接続１１８の行う通信は、組込ウェブサーバー通信部１１７がリクエストを組込ウェブサーバー部１２１に送信し、組込ウェブサーバー部１２１がレスポンスを組込ウェブサーバー通信部１１７に返信する、いわゆるプル型通信か、または確立された通信によって組込ウェブサーバー通信部１１７から組込ウェブサーバー部１２１に送信するのみでなく、組込ウェブサーバー部１２１から組込ウェブサーバー通信部１１７に送信する、いわゆるプッシュ型通信でありうる。
ローカルループバック接続１１８のプロトコルがHTTP、またはHTTPSなどプッシュ型通信をサポートしない場合、Cometなど疑似的にプッシュ型通信を行う実装をしてもよい。
また、ローカルループバック接続１１８がSSL/TLSを使用して暗号化通信を行う場合、暗号化通信に使用される公開鍵証明書は、自己署名証明書、または第三者が署名した証明書でありうる。
公開鍵証明書が第三者が署名した証明書の場合、証明書はSNIまたはSANsのワイルドカードの機能を備える証明書でありうる。
当業者は組込ウェブサーバー部１２１にワイルドカードの機能を備える証明書を設置し、ドメインまたはサブドメインのAレコードにローカルループバックアドレスを設定し、組込ウェブサーバー通信部１１７がローカルループバック接続１１８を行う際に、ローカルループバックアドレスを設定したドメインまたはサブドメインを通して接続するよう構成することで、ウェブブラウザに信頼される証明書を、ウェブブラウザ部１１３に提示できる。 Local loopback connection 118 is HTTP or HTTPS or WebSocket or WebSockets over SSL/TLS or any other RFC compliant with embedded web server communication unit 117 as client and embedded web server unit 121 as server protocol communication channel.
Also, the local loopback connection 118 connects from the embedded web server communication unit 117 to a predetermined port on the loopback interface 107 on standby by the embedded web server unit 121 to establish communication.
In the communication performed by the local loopback connection 118, the embedded web server communication unit 117 transmits a request to the embedded web server unit 121, and the embedded web server unit 121 returns a response to the embedded web server communication unit 117. not only transmitted from embedded web server communication unit 117 to embedded web server unit 121 by so-called pull-type communication or established communication, but also from embedded web server unit 121 to embedded web server communication unit 117 It can be so-called push type communication.
If the protocol of the local loopback connection 118 does not support push-type communication such as HTTP or HTTPS, a pseudo-push-type communication implementation such as Comet may be implemented.
Also, when the local loopback connection 118 performs encrypted communication using SSL/TLS, the public key certificate used for encrypted communication is a self-signed certificate or a certificate signed by a third party. Possible.
If the public key certificate is a third-party signed certificate, the certificate can be a certificate with wildcard capabilities for SNI or SANs.
A person skilled in the art installs a certificate with a wildcard function in the embedded web server unit 121, sets a local loopback address in the A record of the domain or subdomain, and the embedded web server communication unit 117 establishes a local loopback connection. 118, a certificate trusted by the web browser can be presented to the web browser unit 113 by configuring to connect through the domain or subdomain for which the local loopback address is set.

プログラム部１１９は、ウェブブラウザ部１１３と別のプロセスで実行されるアプリケーションである。
また、プログラム部１１９は、ウェブブラウザ部１１３と同じ端末上で実行される。
また、プログラム部１１９は、OSが備えるネイティブAPIを呼び出す機能を備えうる。
プログラム部１１９が呼び出すネイティブAPIは、ウェブブラウザが備えるJavaScriptからアクセスできないOSの任意の機能にアクセスする機能や、端末に接続された任意の機器にアクセスする機能を備える。
また、プログラム部１１９は、ひとつまたは複数の任意のモジュールまたはアプリケーションでありうる。
また、プログラム部１１９は、記憶装置１０５に保存され、端末１０１によって、メモリ１０３に配置される。
また、プログラム部１１９は、インタープリタ型言語、またはコンパイラ型言語、またはその他の任意のプログラミング言語により作成される。
また、プログラム部１１９は、任意のプログラムにホストされる、または任意のランタイムによって解釈される、またはプログラム部１１９自体が含む命令による実行、またはその他の任意の実行方法によって実行される。
また、プログラム部１１９は、OS起動時のスタートアップによる起動、またはユーザーの操作を要因とする起動、またはその他のプログラムの処理を要因とする起動、またはその他の任意の要因によって、起動される。
また、プログラム部１１９は、文字認識部１２０と、組込ウェブサーバー部１２１を備え、さらに入力手段１１１がスタイラスペンである場合はペン認識部１２２を備える。 Program unit 119 is an application that is executed in a process separate from web browser unit 113 .
Also, the program unit 119 is executed on the same terminal as the web browser unit 113 .
Also, the program unit 119 can have a function of calling a native API provided by the OS.
The native API called by the program unit 119 has a function of accessing arbitrary functions of the OS that cannot be accessed from JavaScript provided in the web browser, and a function of accessing arbitrary devices connected to the terminal.
Also, the program portion 119 can be one or more arbitrary modules or applications.
Also, the program portion 119 is stored in the storage device 105 and arranged in the memory 103 by the terminal 101 .
Also, the program portion 119 is written in an interpreter language, a compiler language, or any other programming language.
Also, program portion 119 may be hosted in any program, interpreted by any runtime, or executed by instructions contained in program portion 119 itself, or by any other method of execution.
Also, the program unit 119 is started by startup when the OS is started, by a user's operation, by other program processing, or by any other factor.
The program unit 119 also includes a character recognition unit 120, an embedded web server unit 121, and a pen recognition unit 122 when the input means 111 is a stylus pen.

組込ウェブサーバー部１２１は、ループバックインターフェース１０７上の所定のポートで組込ウェブサーバー通信部１１７のローカルループバック接続１１８を待ち受けすることができる。
また、組込ウェブサーバー部１２１は、ローカルループバック接続１１８がHTTPまたはHTTPSである場合、Cross-Origin Resource Sharingを実装して他ドメインとの通信を許可する。
また、組込ウェブサーバー部１２１は、任意の制御フローに基づき、組込ウェブサーバー通信部１１７、または文字認識部１２０、またはペン認識部１２２のいずれかと通信し、任意の情報を送受信することができる。
また、組込ウェブサーバー部１２１は、組込ウェブサーバー通信部１１７から受信した手書き情報１１６を、蓄積することができる。 Embedded web server unit 121 can listen for local loopback connection 118 of embedded web server communication unit 117 at a predetermined port on loopback interface 107 .
Also, when the local loopback connection 118 is HTTP or HTTPS, the embedded web server unit 121 implements Cross-Origin Resource Sharing and permits communication with other domains.
In addition, the embedded web server unit 121 can communicate with any of the embedded web server communication unit 117, the character recognition unit 120, or the pen recognition unit 122 based on an arbitrary control flow to transmit and receive arbitrary information. can.
Embedded web server unit 121 can also accumulate handwritten information 116 received from embedded web server communication unit 117 .

文字認識部１２０は、組込ウェブサーバー通信部１１７から組込ウェブサーバー部１２１に送信され、組込ウェブサーバー部１２１から文字認識部１２０に受信した手書き情報１１６について、文字認識を実行し、任意の長さの文字列に変換することができる。
また、手書き情報１１６が手書き入力１１２の一連の入力情報の配列の場合、文字認識部１２０の認識機能はオンライン手書き文字認識でありうる。
また、手書き情報１１６が手書き入力１１２の筆跡を記録した画像情報の場合、文字認識部１２０の認識機能はオフライン手書き文字認識でありうる。
また、文字認識部１２０の認識機能は、文字認識部１２０に備えられた認識機能、またはサードパーティ製のアプリケーションから提供される認識機能、またはOSが備えるAPIから提供される認識機能、またはその他の任意の認識機能でありうる。
また、文字認識部１２０は、文字認識結果を組込ウェブサーバー部１２１に送信し、組込ウェブサーバー部１２１は受信した文字認識結果を、ローカルループバック接続１１８を介して組込ウェブサーバー通信部１１７に送信することができる。 Character recognition unit 120 performs character recognition on handwritten information 116 transmitted from embedded web server communication unit 117 to embedded web server unit 121 and received from embedded web server unit 121 to character recognition unit 120, can be converted to a string of length .
Alternatively, if handwritten information 116 is an array of handwritten input 112 sequences of input information, the recognition function of character recognizer 120 may be online handwritten character recognition.
Also, if the handwritten information 116 is image information recording the handwriting of the handwritten input 112, the recognition function of the character recognition unit 120 can be offline handwritten character recognition.
Further, the recognition function of the character recognition unit 120 may be a recognition function provided in the character recognition unit 120, a recognition function provided by a third-party application, a recognition function provided by an API provided by the OS, or other functions. It can be any cognitive function.
Further, the character recognition unit 120 transmits the character recognition result to the embedded web server unit 121, and the embedded web server unit 121 transmits the received character recognition result to the embedded web server communication unit via the local loopback connection 118. 117.

組込ウェブサーバー通信部１１７は、受信した文字認識結果をページ要素１１５に文字認識結果１２４として設定する。 Embedded web server communication unit 117 sets the received character recognition result as character recognition result 124 in page element 115 .

入力手段１１１がスタイラスペンである場合、プログラム部１１９は、さらにペン認識部１２２を備えることができる。 If the input means 111 is a stylus pen, the program section 119 can further include a pen recognition section 122 .

ペン認識部１２２は、ウェブブラウザ部１１３に対してメッセージフック１２３を設定して処理を挿入し、メッセージフック１２３によって挿入された処理によって、手書き入力１１２の情報を、ウェブブラウザ部１１３から取得することができる。取得する情報は、手書き入力１１２の位置情報、または筆圧、または傾き、または手書き入力１１２を行っている入力部位、または入力手段１１１が備えるスイッチの状態、またはその他の任意の手書き入力１１２の情報、またはその他の任意の情報でありうる。
さらに必要な場合、ペン認識部１２２は、メッセージフック１２３によって挿入された処理によって、ウェブブラウザ部１１３が備えるJavaScriptのAPIから取得出来ない任意の情報を、ウェブブラウザ部１１３から取得してもよい。
また、ペン認識部１２２は、入力手段１１１のホバー状態を検知できる。
また、ペン認識部１２２は、取得した情報を組込ウェブサーバー部１２１に送信し、組込ウェブサーバー部１２１は受信した情報を、ローカルループバック接続１１８を介して組込ウェブサーバー通信部１１７に送信することができる。 The pen recognition unit 122 sets the message hook 123 to the web browser unit 113 to insert processing, and acquires the information of the handwritten input 112 from the web browser unit 113 by the processing inserted by the message hook 123. can be done. The information to be acquired is the position information of the handwriting input 112, the pen pressure, or the inclination, the input part where the handwriting input 112 is performed, the state of the switch provided in the input means 111, or any other handwriting input 112 information. , or any other information.
Furthermore, if necessary, the pen recognition unit 122 may acquire arbitrary information from the web browser unit 113 that cannot be acquired from the JavaScript API of the web browser unit 113 by processing inserted by the message hook 123 .
Also, the pen recognition unit 122 can detect the hover state of the input means 111 .
Further, the pen recognition unit 122 transmits the acquired information to the embedded web server unit 121, and the embedded web server unit 121 transmits the received information to the embedded web server communication unit 117 via the local loopback connection 118. can be sent.

メッセージフック１２３は、OSからウェブブラウザ部１１３に送信されるメッセージの受信や、システムコールに対して割込みを行うことによって、本来ウェブブラウザ部１１３が受け持つ処理に対して、任意の処理を挿入する機能である。
メッセージフック１２３の機能を備えるOSは、Windows(登録商標)、MacOS(登録商標)、Linux(登録商標)、iOS(登録商標)、Android(登録商標)、その他、グローバルフック、システムフック、動的バインド、イベントのディスパッチなど、メッセージフックと呼べるような機能をサポートしているOSでありうる。 The message hook 123 receives messages sent from the OS to the web browser unit 113 and interrupts system calls, thereby inserting arbitrary processing into the processing that the web browser unit 113 is originally responsible for. is.
OSs that have the function of the message hook 123 include Windows (registered trademark), MacOS (registered trademark), Linux (registered trademark), iOS (registered trademark), Android (registered trademark), global hooks, system hooks, dynamic It can be an OS that supports functions that can be called message hooks, such as binding and event dispatching.

組込ウェブサーバー通信部１１７は組込ウェブサーバー部１２１から受信した入力手段１１１の情報と、さらに必要であれば組込ウェブブラウザ部１１３が備えるJavaScriptのAPIから得られるタッチ情報とを統合し、手書き情報に変換する。 The embedded web server communication unit 117 integrates the information of the input means 111 received from the embedded web server unit 121 and, if necessary, the touch information obtained from the JavaScript API of the embedded web browser unit 113, Convert to handwritten information.

当業者は以上の通り構成することによって、ウェブブラウザの種類によらず、手書き情報を文字認識して取得することができ、さらに入力手段１１１がスタイラスペンである場合は、ウェブブラウザの実装に依存せず一貫したスタイラスペンの情報を取得でき、かつスタイラスペンと、その他のタッチ入力を判別するパームリジェクション機能、またはスタイラスペンの入力部位を判定し、消しゴムの動作を実現する機能、またはスタイラスペンの入力部位が画面に接触している、または入力部位がホバー状態の場合に、文字認識処理の実行を保留し、スタイラスペンの入力部位が画面に接触していない、かつホバー状態でない場合に文字認識処理を実行することで、ユーザーの所望するタイミングで文字認識を実行する機能、またはその他の任意の機能を実装することができる。 A person skilled in the art can obtain handwritten information by recognizing characters regardless of the type of web browser by configuring as described above. A palm rejection function that can acquire consistent stylus pen information regardless of whether the stylus pen or other touch inputs are detected, or a function that detects the input area of the stylus pen and implements eraser operation, or a stylus pen is in contact with the screen or is in a hover state, the character By executing the recognition process, it is possible to implement a function of executing character recognition at a timing desired by the user or any other function.

図２は、プログラム部１１９が文字認識処理を実行するためのフローチャートである。 FIG. 2 is a flow chart for program section 119 to execute character recognition processing.

工程２０１で、プログラム部１１９が、ループバックインターフェース１０７の所定のポートを開き、ローカルループバック接続１１８を待ち受ける。 At step 201 , program section 119 opens a predetermined port of loopback interface 107 and listens for local loopback connection 118 .

工程２０２で、ウェブブラウザ部１１３が、プログラム部１１９が待ち受けているポートに接続し、通信を確立する。 In step 202, web browser section 113 connects to the port on which program section 119 is listening and establishes communication.

工程２０３で、プログラム部１１９が、ウェブブラウザ部１１３がローカルループバック接続１１８を介してプログラム部１１９に送信した手書き情報１１６を、受信する。 At step 203 , program portion 119 receives handwritten information 116 sent to program portion 119 by web browser portion 113 via local loopback connection 118 .

工程２０４で、プログラム部１１９が、受信した手書き情報１１６について、文字認識を実行し、文字認識結果を作成する。 At step 204, the program unit 119 performs character recognition on the received handwritten information 116 and creates a character recognition result.

工程２０５で、プログラム部１１９が、作成した文字認識結果を、ローカルループバック接続１１８を介して、ウェブブラウザ部１１３に送信する。 At step 205 , the program section 119 transmits the created character recognition result to the web browser section 113 via the local loopback connection 118 .

図３は、プログラム部１１９がメッセージフック１２３を行い、メッセージフック１２３によってウェブブラウザ部１１３に挿入された処理によって、ウェブブラウザ部１１３の任意の情報を取得するためのフローチャートである。 FIG. 3 is a flow chart for program section 119 executing message hook 123 and acquiring arbitrary information of web browser section 113 by processing inserted into web browser section 113 by message hook 123 .

工程３０１で、プログラム部１１９が、ループバックインターフェース１０７の所定のポートを開き、ローカルループバック接続１１８を待ち受ける。 At step 301 , program section 119 opens a predetermined port of loopback interface 107 and listens for local loopback connection 118 .

工程３０２で、ウェブブラウザ部１１３が、プログラム部１１９が待ち受けているポートに接続し、通信を確立する。 In step 302, web browser section 113 connects to the port on which program section 119 is listening and establishes communication.

工程３０３で、プログラム部１１９が、メッセージフック１２３を行い、ウェブブラウザ部１１３に処理を挿入する。 At step 303 , program section 119 performs message hook 123 to insert processing into web browser section 113 .

工程３０４で、プログラム部１１９が、メッセージフック１２３によってウェブブラウザ部１１３に挿入された処理によって、ウェブブラウザ部１１３から任意の情報を取得する。 At step 304 , the program section 119 acquires arbitrary information from the web browser section 113 by the processing inserted into the web browser section 113 by the message hook 123 .

工程３０５で、プログラム部１１９が、ウェブブラウザ部１１３から取得した情報を、ローカルループバック接続１１８を介して、ウェブブラウザ部１１３に送信する。 At step 305 , program unit 119 transmits the information obtained from web browser unit 113 to web browser unit 113 via local loopback connection 118 .

図４は、入力手段１１１がスタイラスペンの場合に、詳細なペン情報を取得するためのフローチャートである。 FIG. 4 is a flowchart for acquiring detailed pen information when the input means 111 is a stylus pen.

ペン情報取得４００は、ペン情報を取得する処理を表す。 Pen information acquisition 400 represents processing for acquiring pen information.

組込ウェブサーバー部１２１はペン認識部１２２にメッセージフック指示４０１を送信する。 Embedded web server unit 121 sends message hook instruction 401 to pen recognition unit 122 .

ペン認識部１２２はウェブブラウザ部１１３にメッセージフック１２３を行う。 The pen recognition unit 122 performs a message hook 123 to the web browser unit 113 .

ウェブブラウザ部１１３は入力手段１１１から手書き入力１１２を受信する。 Web browser unit 113 receives handwritten input 112 from input means 111 .

ウェブブラウザ部１１３は、メッセージフック１２３によって挿入された処理によって、ペン認識部１２２にペン詳細情報４０２を送信する。 Web browser unit 113 transmits pen detailed information 402 to pen recognition unit 122 by processing inserted by message hook 123 .

ペン詳細情報４０２は、入力手段１１１が画面１０４に接触している、または入力手段１１１がホバー状態の場合に取得される。
また、ペン詳細情報４０２が含む情報は、手書き入力１１２の位置情報、または入力手段１１１の種類、または入力手段１１１の画面接触部位、または入力手段１１１が備えるスイッチの状態、または入力手段１１１の任意の情報、または手書き入力１１２の任意の情報を含む。
また、ペン詳細情報４０２の送信方法は、ソケット、または名前付きパイプ、またはメモリ共有、またはウィンドウメッセージ送信、または任意のプロセス間通信でありうる。 The pen detailed information 402 is acquired when the input means 111 is in contact with the screen 104 or when the input means 111 is in a hover state.
Further, the information included in the pen detailed information 402 is the position information of the handwritten input 112, the type of the input means 111, the screen contact portion of the input means 111, the state of the switch provided in the input means 111, or any or any information of the handwriting input 112.
Also, the method of sending pen details 402 can be sockets, or named pipes, or memory sharing, or window messaging, or any inter-process communication.

ペン認識部１２２は組込ウェブサーバー部１２１にペン詳細情報４０３を送信する。 The pen recognition unit 122 transmits pen detailed information 403 to the embedded web server unit 121 .

組込ウェブサーバー部１２１は組込ウェブサーバー通信部１１７にペン詳細情報４０４を送信する。 Embedded web server unit 121 transmits pen detailed information 404 to embedded web server communication unit 117 .

さらに必要であれば、ウェブブラウザ部１１３が、JavaScriptペン情報４０５を、組込ウェブサーバー通信部１１７に送信してもよい。 Furthermore, if necessary, the web browser section 113 may transmit the JavaScript pen information 405 to the embedded web server communication section 117 .

JavaScriptペン情報４０５は、ウェブブラウザ部１１３が備えるJavaScriptのAPIから取得される、タッチ情報である。
また、JavaScriptペン情報４０５に含まれるタッチ情報は、手書き入力１１２の位置情報、または入力手段１１１の種類、または入力手段１１１の画面接触部位、または入力手段１１１が備えるスイッチの状態、または入力手段１１１の任意の情報、または手書き入力１１２の任意の情報を含むことができる。 The JavaScript pen information 405 is touch information acquired from a JavaScript API provided in the web browser unit 113 .
Further, the touch information included in the JavaScript pen information 405 is position information of the handwriting input 112, the type of the input means 111, the screen contact portion of the input means 111, the state of the switch provided in the input means 111, or the or any information of handwriting input 112 .

組込ウェブサーバー通信部１１７は、ウェブブラウザ部１０２からJavaScriptペン情報４０５を直接受信することで、処理を挟まず情報を取得することができ、遅延が少なく精度の高い位置情報を取得する事ができる。そのため、ペン詳細情報４０４のみで処理を行うよりも、遅延が少なく精度の高い処理を行うことができる。 By directly receiving the JavaScript pen information 405 from the web browser unit 102, the embedded web server communication unit 117 can acquire information without intervening processing, and can acquire highly accurate position information with little delay. can. Therefore, it is possible to perform processing with less delay and higher accuracy than processing using only the pen detailed information 404 .

組込ウェブサーバー通信部１１７は、ペン詳細情報４０４および、必要であればJavaScriptペン情報４０５を元に、任意の処理を実行する。 The embedded web server communication unit 117 executes arbitrary processing based on the pen detailed information 404 and, if necessary, the JavaScript pen information 405 .

当業者は以上の通り構成することによって、ウェブブラウザの種類によらず、スタイラスペンの詳細で精度の高い情報を、遅延が少なく取得することができ、任意の処理を実装することができる。 By configuring as described above, those skilled in the art can acquire detailed and highly accurate information about the stylus pen with little delay and implement arbitrary processing regardless of the type of web browser.

図５は、入力手段１１１がスタイラスペンの場合に、ペン情報取得４００によって取得したペン情報を元に、パームリジェクション機能を実行するためのフローチャートである。 FIG. 5 is a flowchart for executing the palm rejection function based on the pen information acquired by pen information acquisition 400 when the input means 111 is a stylus pen.

ウェブブラウザ部１１３および組込ウェブサーバー通信部１１７および組込ウェブサーバー部１２１はペン情報取得４００を実行する。 Web browser unit 113 , embedded web server communication unit 117 , and embedded web server unit 121 execute pen information acquisition 400 .

組込ウェブサーバー部１２１は、ペン位置情報５０１を、組込ウェブサーバー通信部１１７に送信する。 Embedded web server section 121 transmits pen position information 501 to embedded web server communication section 117 .

ウェブブラウザ部１１３は、タッチ位置情報５０２を、組込ウェブサーバー通信部１１７に送信する。 Web browser unit 113 transmits touch position information 502 to embedded web server communication unit 117 .

判定条件タッチがペン範囲内の場合５０３は、ホバー状態の時点から先行して取得されているペン位置情報５０１を基準とした任意の範囲内に、タッチ位置情報５０２の位置が重なるかを判定する。
判定条件タッチがペン範囲内の場合５０３が成立する場合、手書き情報作成５０４を行い、タッチ位置情報５０２を元に、手書き情報１１６を作成する。 If the touch is within the pen range determination condition 503, it is determined whether the position of the touch position information 502 overlaps within an arbitrary range based on the pen position information 501 acquired prior to the time of the hover state. .
If the determination condition 503 when the touch is within the pen range is established, handwritten information creation 504 is performed, and handwritten information 116 is created based on the touch position information 502 .

当業者は以上の通り構成することによって、タッチ位置情報５０２の中からスタイラスペンの情報のみを取得し、その他のタッチ位置情報を除外することができ、パームリジェクションの機能を実装することができる。 By configuring as described above, a person skilled in the art can acquire only the information of the stylus pen from the touch position information 502, exclude other touch position information, and implement the palm rejection function. .

図６は、入力手段１１１がスタイラスペンの場合に、ペン情報取得４００によって取得したペン情報を元に、消しゴム機能を実行するためのフローチャートである。 FIG. 6 is a flowchart for executing the eraser function based on the pen information acquired by pen information acquisition 400 when the input means 111 is a stylus pen.

組込ウェブサーバー部１２１は、ペン部位情報６０１を、組込ウェブサーバー通信部１１７に送信する。 Embedded web server section 121 transmits pen part information 601 to embedded web server communication section 117 .

判定条件ペン部位が消しゴムを表す場合６０３は、ペン部位情報６０１が消しゴムである場合に、タッチ位置情報５０２が与えられたかを判定する。
判定条件ペン部位が消しゴムを表す場合６０３が成立する場合、削除処理６０４を行い、タッチ位置情報５０２の直下に存在する手書き情報１１６を削除する。 A determination condition 603 when the pen part represents an eraser determines whether the touch position information 502 has been given when the pen part information 601 is an eraser.
If the determination condition that the pen part represents an eraser 603 is satisfied, deletion processing 604 is performed to delete the handwritten information 116 that exists directly below the touch position information 502 .

さらに削除処理６０４は、タッチ位置情報５０２の直下に存在する文字認識結果１２４を削除してもよい。 Furthermore, the deletion processing 604 may delete the character recognition result 124 that exists directly under the touch position information 502 .

当業者は以上の通り構成することによって、タッチ位置情報５０２がスタイラスペンの消しゴムを表す部位によって与えられているかを判定することができ、消しゴムの機能を実装することができる。 By configuring as described above, those skilled in the art can determine whether the touch position information 502 is given by the portion representing the eraser of the stylus pen, and implement the function of the eraser.

図７は、ペン情報取得４００によって取得したペン情報を元に、手書き情報を文字認識する処理を実行するタイミングを制御するためのフローチャートである。 FIG. 7 is a flowchart for controlling the timing of performing character recognition processing for handwritten information based on the pen information acquired by pen information acquisition 400 .

組込ウェブサーバー部１２１は、ペンホバー情報７０１を組込ウェブサーバー通信部１１７に送信する。 Embedded web server unit 121 transmits pen hover information 701 to embedded web server communication unit 117 .

判定条件ペンが認識範囲外の場合７０２は、ペンが画面１０４に接触しておらず、かつペンがホバー状態でないかを判定する。
判定条件ペンが認識範囲外の場合７０２が成立する場合、組込ウェブサーバー通信部１１７は、文字認識指示７０３を組込ウェブサーバー部１２１に送信する。 If the determination condition pen is outside the recognition range 702, it is determined whether the pen is not in contact with the screen 104 and the pen is not in a hover state.
If the determination condition Pen is out of recognition range 702 is satisfied, the embedded web server communication unit 117 transmits a character recognition instruction 703 to the embedded web server unit 121 .

組込ウェブサーバー部１２１は、文字認識トリガー発動７０４を行い、文字認識の実行トリガーを発動させる。 The embedded web server unit 121 performs character recognition trigger activation 704 to activate the character recognition execution trigger.

当業者は以上の通り構成することによって、ユーザーが任意のタイミングで手書き情報の文字認識を実行する機能を実装することができる。 By configuring as described above, a person skilled in the art can implement a function that allows the user to perform character recognition of handwritten information at any timing.

図８は、手書き情報を文字認識するためのフローチャートである。 FIG. 8 is a flow chart for character recognition of handwritten information.

組込ウェブサーバー通信部１１７は、手書き情報取得８０１を実行し、ページ要素１１５から手書き情報１１６を取得する。 Embedded web server communication unit 117 executes handwritten information acquisition 801 to acquire handwritten information 116 from page element 115 .

組込ウェブサーバー通信部１１７は、手書き情報送信８０２を実行し、受信した手書き情報を組込ウェブサーバー部１２１に送信する。 Embedded web server communication unit 117 executes handwritten information transmission 802 and transmits the received handwritten information to embedded web server unit 121 .

組込ウェブサーバー部１２１は、手書き情報送信８０３を実行し、受信した手書き情報を文字認識部１２０に送信する。
また、組込ウェブサーバー部１２１は、受信した手書き情報を一時的に蓄積してもよい。 Embedded web server unit 121 executes handwritten information transmission 803 and transmits the received handwritten information to character recognition unit 120 .
Embedded web server unit 121 may also temporarily store the received handwritten information.

判定条件文字認識トリガーが発動した場合８０４は、任意の条件が満たされることによって、文字認識の実行トリガーが発動したかどうかを判定する。
判定条件文字認識トリガーが発動した場合８０４が成立する場合、組込ウェブサーバー通信部１１７は、文字認識指示８０５を組込ウェブサーバー部１２１に送信する。 A determination condition if a character recognition trigger has been activated 804 determines whether or not a character recognition execution trigger has been activated by satisfying an arbitrary condition.
If the determination condition “when the character recognition trigger is activated” 804 is established, the embedded web server communication unit 117 transmits a character recognition instruction 805 to the embedded web server unit 121 .

組込ウェブサーバー部１２１は、文字認識指示８０６を文字認識部１２０に送信する。 Embedded web server unit 121 transmits character recognition instruction 806 to character recognition unit 120 .

文字認識部１２０は、文字認識処理８０７を実行し、手書き情報送信８０３によって受信した手書き情報を、任意の長さの文字列に変換する。
また、文字認識部１２０が文字認識を実行する際の認識機能は、文字認識部１２０に備えられた認識機能、またはサードパーティ製のアプリケーションから提供される認識機能、またはOSが備えるAPIから提供される認識機能、またはその他の任意の認識機能でありうる。
また、文字認識部１２０は、文字認識結果送信８０８を実行し、変換した文字列を文字認識結果として、組込ウェブサーバー部１２１に送信する。 The character recognition unit 120 executes character recognition processing 807 to convert the handwritten information received by the handwritten information transmission 803 into a character string of arbitrary length.
Further, the recognition function when the character recognition unit 120 executes character recognition is a recognition function provided in the character recognition unit 120, a recognition function provided by a third party application, or provided by an API provided by the OS. or any other cognitive function.
Character recognition unit 120 also executes character recognition result transmission 808 to transmit the converted character string to embedded web server unit 121 as a character recognition result.

組込ウェブサーバー部１２１は、文字認識結果送信８０９を実行し、受信した文字認識結果を組込ウェブサーバー通信部１１７に送信する。 Embedded web server unit 121 executes character recognition result transmission 809 and transmits the received character recognition result to embedded web server communication unit 117 .

組込ウェブサーバー通信部１１７は、文字認識結果設定８１０を実行し、受信した文字認識結果を、ページ要素１１５に文字認識結果１２４として設定する。 Embedded web server communication unit 117 executes character recognition result setting 810 and sets the received character recognition result in page element 115 as character recognition result 124 .

さらに文字認識結果設定８１０は、ページ要素１１５に文字認識結果１２４を設定すると共に、ページ要素１１５から文字認識結果１２４と対応する手書き情報１１６を削除し、手書き情報を文字認識結果によって得られた文字列に置き換えても良い。 Further, the character recognition result setting 810 sets the character recognition result 124 to the page element 115, deletes the handwritten information 116 corresponding to the character recognition result 124 from the page element 115, and replaces the handwritten information with the character obtained by the character recognition result. You can replace it with columns.

当業者は以上の通り構成することによって、ウェブブラウザの種類によらず、手書き情報を文字認識する機能を実装することができる。 By configuring as described above, a person skilled in the art can implement a function of character recognition of handwritten information regardless of the type of web browser.

１０１端末
１０２ CPU
１０３メモリ
１０４画面
１０５記憶装置
１０６ネットワークインターフェース
１０７ループバックインターフェース
１１１入力手段
１１２手書き入力
１１３ウェブブラウザ部
１１４ HTMLコンテンツ部
１１５ページ要素
１１６手書き情報
１１７組込ウェブサーバー通信部
１１８ローカルループバック接続
１１９プログラム部
１２０文字認識部
１２１組込ウェブサーバー部
１２２ペン認識部
１２３メッセージフック
１２４文字認識結果
２０１工程ローカルループバック接続を待ち受け
２０２工程ウェブブラウザ部と通信を確立
２０３工程手書き情報を受信
２０４工程文字認識
２０５工程ウェブブラウザ部に文字認識結果を送信
３０１工程ローカルループバック接続を待ち受け
３０２工程ウェブブラウザ部と通信を確立
３０３工程メッセージフックによりウェブブラウザ部に処理挿入
３０４工程挿入した処理により情報受信
３０５工程ウェブブラウザ部に情報送信
４００ペン情報取得
４０１メッセージフック指示
４０２ペン詳細情報
４０３ペン詳細情報
４０４ペン詳細情報
４０５ JavaScriptペン情報
５０１ペン位置情報
５０２タッチ位置情報
５０３判定条件タッチがペン範囲内の場合
５０４手書き情報作成
６０１ペン部位情報
６０３判定条件ペン部位が消しゴムを表す場合
６０４削除処理
７０１ペンホバー情報
７０２判定条件ペンが認識範囲外の場合
７０３文字認識指示
７０４文字認識トリガー発動
８０１手書き情報取得
８０２手書き情報送信
８０３手書き情報送信
８０４判定条件文字認識トリガーが発動した場合
８０５文字認識指示
８０６文字認識指示
８０７文字認識処理
８０８文字認識結果送信
８０９文字認識結果送信
８１０文字認識結果設定 101 terminal 102 CPU
103 Memory 104 Screen 105 Storage Device 106 Network Interface 107 Loopback Interface 111 Input Means 112 Handwritten Input 113 Web Browser Part 114 HTML Content Part 115 Page Elements 116 Handwritten Information 117 Embedded Web Server Communication Part 118 Local Loopback Connection 119 Program Part 120 Character Recognition Part 121 Embedded Web Server Part 122 Pen Recognition Part 123 Message Hook 124 Character Recognition Result 201 Wait for Process Local Loopback Connection 202 Establish Communication with Process Web Browser Part 203 Receive Process Handwritten Information 204 Process Character Recognition 205 Process Web Transmit character recognition result to browser 301 Wait for process local loopback connection 302 Establish communication with process web browser 303 Insert process into web browser by process message hook 304 Receive information by inserted process 305 Process web browser Information transmission 400 Pen information acquisition 401 Message hook instruction 402 Pen detailed information 403 Pen detailed information 404 Pen detailed information 405 JavaScript pen information 501 Pen position information 502 Touch position information 503 Judgment condition When touch is within pen range 504 Handwritten information creation 601 Pen Part information 603 Judgment condition When the pen part represents an eraser 604 Deletion processing 701 Pen hover information 702 Judgment condition When the pen is outside the recognition range 703 Character recognition instruction 704 Character recognition trigger activation 801 Handwritten information acquisition 802 Handwritten information transmission 803 Handwritten information transmission 804 Judgment condition Character recognition trigger activated 805 Character recognition instruction 806 Character recognition instruction 807 Character recognition processing 808 Character recognition result transmission 809 Character recognition result transmission 810 Character recognition result setting

Claims

A terminal comprises a CPU, a memory, a screen, a storage device, a loopback interface, and a web browser unit, the screen accepts touch input as an input means, and the touch input causes the web browser unit to process handwritten information. and a program executed by the terminal, the program being executed in a process separate from the web browser unit and listening for a local loopback connection on a predetermined port on the loopback interface; establishing communication with the web browser unit running on the same terminal as the program through the local loopback connection; and receiving the handwritten information transmitted by the web browser unit through the local loopback connection. receiving arbitrary information transmitted from the web browser unit to the program by the step of the program hooking a message to the web browser unit to insert processing; and the processing that the message hook inserts into the web browser unit. character recognition based on the handwritten information and the arbitrary information received by the program to create a character recognition result; and the program transmitting the character recognition result to the web browser unit through the local loopback connection. A program characterized by causing the terminal to execute the step of transmitting the