JP7023903B2 - 手書き入力データのリアルタイムデジタル化のためのシステムおよび方法 - Google Patents

Description

関連出願の相互参照および優先権
本出願は、2018年8月23日にインドで出願した、インド完全明細書(表題:SYSTEM AND METHOD FOR REAL TIME DIGITIZATION OF HAND WRITTEN INPUT DATA、出願第201821031669号)の優先権を主張するものである。

本明細書の実施形態は、一般に、入力データのデジタル化の分野に関する。特にではないが、より詳細には、本発明は、手書き入力データのリアルタイムデジタル化のためのシステムおよび方法を提供する。

多くの管理プロセスおよび金融プロセスは、ユーザが通常の書面書式に手書きデータを入力することを必要とする。書面書式上の手書きデータは一般に、スキャン、デジタル化、入力画像の認識、およびデータの処理を伴う、コンピュータにおける事後処理を必要とする。

たとえば、銀行業界では、貸付または何らかの他の要件に対する一般的な申請は、レガシーバックオフィス処理(legacy back office process)を経るため、ターンアラウンドタイムが非常に長い。顧客が申請書を記入するとき、申請書処理のために必要とされる関係書類のコピーも提出される。次いで、完全な書式および関係書類は地域の処理センターに送られ、ここで、完成に向けて申請書が調査される。不完全な申請書は、顧客に戻され、その申請書を完全にすることによって解決する。完全な申請書は、次いで、バックオフィスに転送され、ここで、書式は次に手動で処理される。このプロセスは、申請書全体をスキャンし、コンピュータシステムに画像をアップロードすることを含み、コンピュータシステムにおいて、オペレータはワークフローツールを使用して画像にアクセスする。作成者によってこのように完成された申請書は、次に、データを確認し、次いで申請書を承認しなければならないチェッカーに移され、その後、承認/次の動作のセットに向けて、申請書はカスタマーバックエンドシステムに移される。

このレガシーバックオフィス処理のユーザに対するコストおよび影響は、非常に大きい。1つには、全体的なターンアラウンドタイムには、非常に多くの手動処理およびバッチ処理を要するものであるという動作の性質により、任意の書式がどの程度迅速に処理され得るかということに関してビルトインフロア(built-in floor)がある。第2に、この処理は、何らかの補正を行うためには顧客に連絡する必要があるため、高い割合で再作業が発生し、処理の待ち時間が長くなる。第3に、品質を改善する手段としての手動検査に対する高い依存性、および何らかのそのようなプロセスの限界により、データ品質は低く不正確である。これは、高いコストおよび顧客の不満足をやはりもたらす。

手書き入力データのデジタル化を伴う様々な解決策が従来技術において提供されてきた。これらの解決策のほとんどは、スケーリングされた展開に達していない。技術対応チャネルにおける投資コストは、小規模金融機関にとって合理的なタイムフレームで財政的実現可能性を可能にするにはあまりにも高いことが多い。アプリケーションの開発および試験は個別に実行されることが多いため、プロトタイプの解決策を通常の小規模金融機関のワークフローに組み込むことは、現場および作業の制約を考慮すると問題となっていた。その上、顧客は、参照するために局所的な書面記録を維持することに対して強い選好をしばしば示し、これは、書面による痕跡が何も残らない純粋な電子データ収集システムに対する要望を抑えるものとなっていた。

以下は、本開示のいくつかの実施形態の基本的な理解を提供するために、これらの実施形態の簡素化された概要を提示する。この概要は、実施形態の広範な要約ではない。実施形態の主な/重要な要素を識別すること、または実施形態の範囲を定めることは意図されない。その唯一の目的は、下記で提示する、より詳細な説明に対する前置きとして、いくつかの実施形態を簡素化された形態で提示することである。

前述に鑑みて、本明細書の実施形態は、手書き入力データのリアルタイムデジタル化のためのシステムを提供する。このシステムは、入力デバイスと、通信モジュールと、集約デバイスと、サーバと、出力モジュールとを備える。入力デバイスは、手書き入力を捕捉する。入力デバイスは、ベースパッドと、ユーザインターフェースと、ペンと、超音波受信機とをさらに備える。ユーザインターフェースは、入力デバイス上で書式テンプレートを選択し、書式テンプレートは、ユーザ要件ごとに事前設定される。ペンは、ベースパッドに取り付けられ、ベースパッド上に存在する入力書式の入力データとして手書き入力データを生成するためにユーザによって使用され、入力書式は入力デバイス上に固定される。入力デバイス上に存在する超音波受信機は、ベースパッド上のペンの動きによって生成されるベクトル入力データを捕捉し、ベクトル入力データは手書き入力データに対応している。通信モジュールは、捕捉されたベクトル入力データを転送する。集約デバイスは、通信モジュールを介して入力デバイスと通信する。集約デバイスは、ユーザによって記入された入力書式の完全性を検証するための書式インスペクタアプリケーション(form inspector application)をさらに備える。書式インスペクタアプリケーションは、暗号化モジュールとアップロードモジュールとをさらに備える。暗号化モジュールは、入力書式に記入された手書き入力データを暗号化する。アップロードモジュールは、暗号化された手書き入力データおよびメタデータをクラウドサーバにアップロードし、メタデータは、書式プロセッサアプリケーションによって自動認識される。サーバは、アップロードされた入力データを処理するための書式プロセッサアプリケーションをホストする。書式プロセッサアプリケーションは、入力テンプレート識別子と処理モジュールとをさらに備える。入力テンプレート識別子は、入力データを選択された書式テンプレートにマッピングする。処理モジュールは、入力データを処理し、認識エンジンを使用して、手書き入力データを伴う入力書式のレプリカ、ならびに手書き入力データのデジタル化された同等物を作成し、認識エンジンは事前選択される。デジタル化手書き入力データに対応する出力は、ユーザが望むフォーマットで生成される。

別の態様では、本明細書の実施形態は、手書き入力データのリアルタイムデジタル化のための方法を提供する。最初に、入力書式は入力デバイス上に固定され、入力デバイスは、入力書式で書き込むためにユーザによって使用されるベースパッドと、超音波受信機と、ペンとを備える。次のステップで、ユーザが入力デバイス上で書式テンプレートを選択し、書式テンプレートは、ユーザ要件ごとに事前設定される。さらに、手書き入力データは、入力書式に記入することによる入力として捕捉される。次のステップで、超音波受信機を使用することによって、ベースパッド上のペンの動きによって生成されるベクトル入力データが捕捉され、ベクトル入力データは手書き入力データに対応する。次のステップで、捕捉されたベクトル入力データは集約デバイスに転送される。次いで、集約デバイス上で実行する書式インスペクタアプリケーションを使用して、ユーザによって記入された入力書式の完全性が検証される。次のステップで、入力書式に記入された、検証された手書き入力データが暗号化される。次のステップで、暗号化された手書き入力データおよびメタデータがサーバ上でホストされる書式プロセッサエンジンにアップロードされ、メタデータは、書式プロセッサアプリケーションによって自動認識される。アップロードされた入力データは、書式プロセッサアプリケーションによって解読される。さらに、入力データは、次いで、入力テンプレート識別子を使用して、選択された書式テンプレートにマッピングされる。次のステップで、プロセッサエンジンおよび認識エンジンを使用して、手書き入力データを伴う入力書式のレプリカ、ならびに手書き入力データのデジタル化された同等物が作成され、認識エンジンは事前選択される。最終的に、デジタル化手書き入力データは、ユーザが望むフォーマットで保存される。

さらに別の実施形態では、1つまたは複数の命令を備えた、1つまたは複数の非一時的機械可読情報記憶媒体が提供される。1つまたは複数の命令は、1つまたは複数のハードウェアプロセッサによって実行されると、1つまたは複数のハードウェアプロセッサに、ネットワークエッジにおいて計算量的に制約されたデバイスを実行するための深層畳込みネットワークを区分するための方法を実行させ、この方法は、入力書式を入力デバイス上に固定するプロセッサ実装ステップであって、入力デバイスが、入力書式に書き込むためにユーザによって使用されるベースパッドと、超音波受信機と、ペンとを備える、固定するプロセッサ実装ステップと、ユーザが入力デバイス上で書式テンプレートを選択するプロセッサ実装ステップであって、書式テンプレートが、ユーザ要件ごとに事前設定される、選択するプロセッサ実装ステップと、入力書式に記入することによる入力として手書き入力データを捕捉するプロセッサ実装ステップと、超音波受信機を使用して、ベースパッド上のペンの動きによって生成されるベクトル入力データを捕捉するプロセッサ実装ステップであって、ベクトル入力データが手書き入力データに対応する、捕捉するプロセッサ実装捕捉するステップと、捕捉されたベクトル入力データを集約デバイスに転送するプロセッサ実装ステップと、集約デバイス上で実行する書式インスペクタアプリケーションを使用して、ユーザによって記入された入力書式の完全性を検証するプロセッサ実装ステップと、入力書式に記入された、検証された手書き入力データを暗号化するプロセッサ実装ステップと、暗号化された手書き入力データおよびメタデータをサーバ上でホストされる書式プロセッサエンジンにアップロードするプロセッサ実装ステップであって、メタデータが、書式プロセッサアプリケーションによって自動認識される、アップロードするプロセッサ実装ステップと、書式プロセッサアプリケーションが、アップロードされた入力データを解読するプロセッサ実装ステップと、入力テンプレート識別子を使用して、入力データを選択された書式テンプレートにマッピングするプロセッサ実装ステップと、入力データを処理し、認識エンジンを使用して手書き入力データを伴う入力書式のレプリカ、ならびに手書き入力データのデジタル化された同等物を作成するプロセッサ実装ステップであって、認識エンジンが事前選択される、処理し作成するプロセッサ実装ステップと、デジタル化手書き入力データをユーザが望むフォーマットで保存するプロセッサ実装ステップとを含む。

本明細書のいずれのブロック図も本主題の原理を具現する例示的なシステムの概念図を表すことを当業者は諒解されたい。同様に、任意のフローチャート、流れ図、状態遷移図、疑似コードなどは、コンピュータ可読媒体内に実質的に表現されることがあり、コンピューティングデバイスまたはプロセッサが明示的に示されているか否かにかかわらず、そのようなコンピュータデバイスまたはプロセッサによってそのように実行されることがある様々なプロセスを表すことを諒解されよう。

本開示の一部分の中に組み込まれ、かつそれを構成する、添付の図面は、例示的な実施形態を示し、明細書とともに、開示する原理を説明するのに役立つ。

本開示の一実装形態による、手書き入力データのリアルタイムデジタル化のためのシステムのブロック図である。 本開示の一実施形態による、手書き入力データのリアルタイムデジタル化のためのシステムのアーキテクチャセットアップを示す図である。 本開示の一実施形態による、図1のシステムにおいて使用されることになる入力デバイスを示す図である。 本開示の一実装形態による、手書き入力データのリアルタイムデジタル化に関連するステップを示すフローチャートである。 本開示の一実装形態による、手書き入力データのリアルタイムデジタル化に関連するステップを示すフローチャートである。 本開示の一実装形態による、手書き入力データのリアルタイムデジタル化に関連するステップを示すフローチャートである。 本開示の一実装形態による、入力デバイスの一対一動作モードに関連するステップを示すフローチャートである。 本開示の一実装形態による、入力デバイスの一対多動作モードに関連するステップを示すフローチャートである。 本開示の一実装形態による、オフラインモードでの入力データの捕捉に関連するステップを示すフローチャートである。 本開示の一実装形態による、オフラインモードでの入力データの捕捉に関連するステップを示すフローチャートである。

添付の図面を参照しながら、例示的な実施形態について説明する。図において、参照番号の左端の数字は、参照番号が最初に出現する図を識別する。便利な場合はいつでも、同じまたは類似の部分を指すために、図を通して同じ参照番号が使用される。開示する原理の例および特徴について本明細書で説明するが、開示する実施形態の趣旨および範囲から逸脱せずに、修正、適応、および他の実装が可能である。以下の詳細な説明は、単なる例示と見なされることが意図され、真の範囲および趣旨は以下の請求項によって示される。

次に図、より具体的には、図を通して同様の参照符号が対応する特徴を常に示す図1から図7を参照すると、好ましい実施形態が示されており、これらの実施形態は、以下の例示的なシステムおよび/または方法の文脈で説明される。

本開示の一実施形態によれば、手書き入力データのリアルタイムデジタル化のためのシステム100が、図1のブロック図および図2のアーキテクチャセットアップに示されている。システム100は、銀行取引申請書式など、任意の書式でユーザによって書き込まれた入力データをリアルタイムでデジタル化するように構成される。さらに、デジタル化入力データは、さらなる利用のために記憶されてもよい。システム100はまた、ユーザによって記入された入力書式の完全性を検証するように構成される。ユーザは、手動の補正を行うこともできるように、手書きデータとともに、デジタル化入力データを同時にディスプレイスクリーン上で可視化することもできる。システム100は、より低いターンアラウンドタイム、改善されたデータ品質およびデータ精度、低減された全体的な所有権コストをもたらす。デジタル化は、最小限の変更および最大スループット速度で、全デジタル入力チャネルに対して同等の速度において達成される。

本開示の一実装形態によれば、システム100は、図1のブロック図に示すように、入力デバイス102と、通信モジュール104と、集約デバイス106と、サーバ108と、出力モジュール110とをさらに備える。さらに、集約デバイス106は、メモリ(図示せず)と通信している任意のプロセッサであり得る。様々な例では、集約デバイスは、スマートフォン、タブレット、デスクトップコンピュータ、またはラップトップであってよい。集約デバイス106は、複数のモジュールまたはアプリケーションをさらに備える。複数のモジュールは、メモリ内に記憶されたアルゴリズムのセットにアクセスして、いくつかの機能を実行する。集約デバイス106は、書式インスペクタアプリケーション112をさらに備える。書式インスペクタアプリケーション112は、レンダリングモジュール114と、暗号化モジュール116と、アップロードモジュール118とを備える。サーバ108は、書式プロセッサアプリケーション120をホストする。書式プロセッサアプリケーション120は、解読モジュール122と、入力テンプレート識別子124と、処理モジュール126とを備える。

本開示の一実装形態によれば、入力デバイス102は、入力データをシステム100に提供するように構成される。入力データは、ユーザによって記入された入力書式として提供される。入力書式は、物理的な申請書式であり得る。入力は、入力書式とともに提供される、写真、画像データ、または生体データのうちの1つまたは複数を含んでもよいことを諒解されたい。通常、入力書式は、改善されたデジタル化精度を確実にするために、フィールド制御タイプ、フィールドに関して使用されるボックスのタイプなどの割当て(すなわち、区分、分離など)など、事前定義されるガイドラインのセットに基づいて構築される。たとえば、書式が適切に記入されていることを確実にするために、自動化された最小間隔チェックが行われる。入力デバイス102は、書式テンプレートおよび対応するページメタデータをマッピングすることもできる。

入力デバイス102は、図3に示すようなベースパッド128をさらに備える。通常、ベースパッド128は、プラスチックで作られている。ベースパッド128は、任意の同様の材料を使用して作ることも可能である。ベースパッド128は、物理的な申請書式を保持するためのベースとして役立つ。物理的な書面申請書式は、ばね対応保持クリップ130と、その書式に書き込んでいる間に事前に割り当てられたロケーション場所内にパンチされた対応するピンホールを通過するビルトインピン132またはノッチ132とを使用して、ベースパッド128に固定される。入力デバイス102はまた、回転クリップ(swivel clip)134を備える。回転クリップ134は、ページ変更イベントについてユーザに通知することができる。

入力デバイス102は、ユーザインターフェース136をさらに備える。ユーザインターフェース136は、入力デバイス102上で書式テンプレートを選択するように構成される。書式テンプレートは、ユーザ要件ごとに事前設定される。入力デバイス102は、要件ごとに2つ以上の書式テンプレートを記憶することができることが望ましい。ユーザが申請書式への書込みを開始する前に、オペレータは書式テンプレートを選択する。捕捉された手書きストロークは、入力デバイスの内部メモリ内にアップロードされてよく、要件に基づいて取り出されてよい。ユーザインターフェース136はまた、入力デバイス102に関する様々な他の目的で使用されることも可能である。

本開示の一実装形態によれば、入力デバイス102はまた、図3に示すような、ペン138と超音波受信機140とを備える。ペン138はベースパッド128に取り付けられ、ペン138は、入力データとして手書き入力データを生成するためにユーザによって使用されるように構成される。ユーザが書き込むにつれて生成されるベクトルデータ(すなわち、ペンストローク)をまだ捕捉している間にユーザが通常行うように、ユーザが物理的な申請書式に書き込むことができるように、ペン138は、標準的なボールペンリフィルを使用する。一例では、ペン138は、ベースパッド128の側面に取り付けられる。超音波受信機140は、ユーザが書き込むにつれて、ペン138からの超音波信号を受信する。入力デバイス102内の超音波受信機140は、ベースパッド128上のペン138の動きによって生成されるベクトル入力データを捕捉するように構成され、ベクトル入力データは手書き入力データに対応している。さらに、システム100は、紙に依存しない(paper-agnostic)システムであり、すなわち、データ捕捉のために特殊品質の紙は必要とされない。同様に、データを捕捉するために、任意のサイズまたは任意のタイプの紙を使用することができる。

本開示の一実装形態によれば、入力デバイス102は、いくつかの他の効用も含み得る。入力デバイスのベースパッド128は、ディスプレイパネル142をも収容する。一例では、ディスプレイパネル142はLCDスクリーン142である。別の例では、LCDスクリーン142は、ユーザが、ユーザインターフェース136内のナビゲーションボタンを用いて異なるページを平滑にナビゲートするのを助けるページグリッドを表示することもできる。LCDスクリーン142上で異なる視覚アラートをユーザに表示することも可能である。ディスプレイパネル142は、動作に応じて様々な用法を有し得る。一例では、ディスプレイパネル142は、ユーザが、捕捉されているデータに気付き、書き込んでいる間にペン138の先の圧力を高める何らかの必要性について警告されるように、ユーザが申請書式に書き込んだものをリアルタイムで再作成する。入力デバイス102は、処理のためのCPU(図示せず)と、入力データを処理して記憶するための内部メモリ(図示せず)とをも含む。入力デバイス102は、延長時間中デバイスサブシステムの電源供給を可能にする再充電可能バッテリーパックをさらに備える。統合再充電可能バッテリーユニットは、ペンと入力デバイスの両方を同時に再充電することができる。

本開示の一実装形態によれば、システム100は、通信モジュール104をも備える。通信モジュール104は、集約デバイス106などの外部デバイスと通信するための、Bluetooth（登録商標）、Wi-Fi、USBなど、任意の適切なワイヤードおよびワイヤレスの通信インターフェースを含み得る。

本開示の一実装形態によれば、システム100は、集約デバイス106をさらに備える。集約デバイス106は、通信モジュール104を通じて入力デバイス102と通信中である。集約デバイス106は、スマートフォン、タブレット、デスクトップコンピュータ、ラップトップ、または任意の他の同様のデバイスであってよい。

本開示の一実装形態によれば、集約デバイス106は、書式インスペクタアプリケーション112を備える。書式インスペクタアプリケーション112は、ユーザによって記入された入力書式の完全性を検証するように構成される。検証は、フィールド完成、不要なスペース、欠落しているページ、スペルチェックなど、様々なパラメータで入力書式を検査する自動プロセスである。書式インスペクタアプリケーション112は、プリデジタル化(pre-digitization)データ確認モジュール144と、ポストデジタル化(post-digitization)データ確認モジュール146とをさらに備える。プリデジタル化データ確認モジュール144は、入力書式上の欠落しているフィールドおよびブランクページを知的に検出するように構成される。一例では、システム100が銀行取引申請に使用される場合、書式インスペクタアプリケーション112は、ユーザが、それぞれの申請書からすべての関連KYC(Know Your Customer)データを捕捉し、書式の完全性を検証して確認し、それにより、再作業の必要を最小限に抑えることをも可能にする。別の実施形態では、書式インスペクタアプリケーション112は、1つまたは複数の画像処理技法を使用して、捕捉された写真の読みやすさを高めるための画像プロセッサ(図示せず)をも含み得る。

本開示の一実装形態によれば、書式インスペクタアプリケーション112はまた、レンダリングモジュール114と、暗号化モジュール116と、アップロードモジュール118とを備える。レンダリングモジュール114は、ペン138によって生成されるストロークをレンダリングするように構成される。通常、超音波受信機140は、データポイントを捕捉する。これらのデータポイントは、レンダリングモジュール114を使用して、ユーザの手書きの形でユーザ可読文字に変換される。これらの文字は、数字、アルファベット、または特殊文字であり得る。これらの文字は、次いで、書式インスペクタアプリケーション112のユーザインターフェース上に表示される。

暗号化モジュール116は、入力書式に記入された手書き入力データを暗号化するように構成される。アップロードモジュール118は、暗号化された手書き入力データおよび関連メタデータをサーバ108またはクラウド108上にアップロードするように構成される。限定はしないが、ICRエンジンタイプ、言語、テンプレート情報などを含み得るメタデータは、入力デバイス102上のユーザインターフェース136をオフラインモードで使用することによって、または書式インスペクタアプリケーション112上に存在するI/Oインターフェースをオンラインで使用することによって、ユーザによって選択される。書式プロセッサアプリケーション120が、申請書式が記入された言語を理解し、選定された言語でその書式を処理することができるように、入力データの言語が選定される。一例では、停止しているすべての入力データは、AES-256暗号化され、インターネットを介した入力データ転送は、非対称暗号化を使用して達成される。

本開示の一実装形態によれば、サーバ108は、書式プロセッサアプリケーション120をホストする。書式プロセッサアプリケーション120は、サーバ108からアップロードされた入力データのベクトル書式を解読し、入力データを処理するように構成される。本開示の別の実施形態では、ビジネスの状況がデスクトップまたはラップトップ上での実行を保証する場合、書式プロセッサアプリケーション120は、そのように実行することもできる。

本開示の一実装形態によれば、書式プロセッサアプリケーション120は、解読モジュール122と、入力テンプレート識別子124と、処理モジュール126とをやはり備える。解読モジュール122は、アップロードされた入力データを解読するように構成される。入力テンプレート識別子124は、入力デバイス102上のユーザインターフェース136をオフラインモードで使用することによってまたは書式インスペクタアプリケーション112上に存在するI/Oインターフェースをオンラインモードで使用することによって選定された、選択された書式テンプレートに入力データをマッピングするように構成される。処理モジュール126は、入力データを処理し、認識エンジンを使用して、手書き入力データを伴う入力書式のレプリカ、ならびに手書き入力データのデジタル化された同等物を作成するように構成され、認識エンジンは事前選択される。認識エンジンは、ビルトインインテリジェント文字認識(ICR:Intelligent Character Recognition)エンジンである、あるいは、認識エンジンは、第三者が提供するものであってもよい。

システム100は、書式インスペクタアプリケーション112内にポストデジタル化データ確認モジュール146をやはり備える。データは、フロントエンドデータの補正および確認のためにデジタル化後、書式インスペクタアプリケーション112に戻ることができる。ユーザ事例ごとに、デジタル化後多くの他の検査を適用することができる。ポストデジタル化データ確認モジュール146は、デジタル化データを確認し浄化する(cleanse)ように構成される。出力モジュール110は、XML、XLS、TXTなど、ユーザが望むフォーマットでデジタル化手書き入力データを保存するように構成される。保存されたデータは、さらなる処理および完成に向けて任意の他の場所に送信されることもできる。

本開示の一実装形態によれば、手書き入力データのデジタル化された同等物に対応する、ユーザの手書きのマウスホバーフィールド画像が利用可能にされてもよい。マウスホバーフィールド画像は、ユーザが、デジタル化手書き入力データを検証し、必要に応じて、直ちに補正するのを助けることになる。

本開示の一実装形態によれば、システム100は、オーディオビジュアルアラーム148をやはり備える。オーディオビジュアルアラーム148は、入力デバイス102および集約デバイス106の上に存在する。オーディオビジュアルアラーム148は、 1つまたは複数の事前定義された活動の検出時にアクティブ化されるように構成される。1つまたは複数の活動は、入力デバイスまたは集約デバイスの低バッテリー、入力書式から欠落しているページ、入力書式上の欠落しているフィールド、またはベースパッド上の圧力低下を含む。要件に応じて、任意の他の同様の活動を追加することも可能である。

本開示の一実装形態によれば、書式プロセッサアプリケーション120は、プリプロセッサ150をやはり含む。プリプロセッサ150は、ノイズ除去、スキュー補正、またはスキュー平滑化のうちの少なくとも1つを実行することによって、手書き入力データを事前処理するように構成される。事前処理のステップは、入力データのデジタル化の前に実行される。

動作中の、手書き入力データのリアルタイムデジタル化のための方法を示すフローチャート200を図4A～図4Cに示す。最初にステップ202において、入力書式を入力デバイス102上に固定する。入力書式は、保持クリップ130およびノッチ132を用いて固定される。入力デバイス102は、ベースパッド128と、超音波受信機140と、ペン138とをさらに備える。ペン138は、入力書式に書き込むためにユーザによって使用される。次のステップ204で、ユーザが入力デバイス102上で書式テンプレートを選択する。書式テンプレートは、ユーザ要件ごとに事前設定される。次のステップで206、入力書式を記入することによる入力として手書き入力データを捕捉する。次のステップ208で、超音波受信機140を使用して、ベースパッド128上のペン138の動きによって生成されるベクトル入力データを捕捉する。ベクトル入力データは手書き入力データに対応する。

次のステップ210で、捕捉されたベクトル入力データを集約デバイス106に転送する。ステップ212において、集約デバイス106上で実行する書式インスペクタアプリケーション112を使用して、ユーザによって記入された入力書式の完全性を検証する。前処理データ検証が自動的に行われ、欠落しているフィールド、欠落しているページなどにフラグがつけられる。それに加えて、手動の検証も実行される。次のステップ214で、入力書式に記入された、検証された手書き入力データを暗号化する。続いて、ステップ216において、暗号化された手書き入力データおよびメタデータを書式プロセッサアプリケーション120にアップロードし、メタデータは、書式プロセッサアプリケーション120によって自動認識される。次のステップ218で、書式プロセッサアプリケーション120が、アップロードされた入力データを解読する。さらに、ステップ220において、入力テンプレート識別子124を使用して、入力データを選択された書式テンプレートにマッピングする。書式プロセッサアプリケーション120はまた、書式のデジタル化およびレプリカ作成の前に、ノイズを除去してスキューを補正することによって、入力データを処理する。次のステップ222で、認識エンジンを使用して、手書き入力データを伴う入力書式のレプリカ、ならびに手書き入力データのデジタル化された同等物を作成する。認識エンジンは事前選択される。一実施形態では、データは、ポストデジタル化データ確認モジュール146を使用したフロントエンドデータの補正および確認のために、デジタル化後、書式インスペクタアプリケーション112に戻ることができる。ユーザ事例ごとに、デジタル化後多くの他の検査を適用することができる。最終的に、ステップ224において、デジタル化手書き入力データをユーザが望むフォーマットで保存する。

本開示の一実装形態によれば、システム100内の入力データ捕捉は、図5のフローチャート300に示すような一対一モードで、または図6のフローチャート400に示すような一対多モードでのいずれかで行われてよい。一対多モードは、通常、動作のオフラインモードで実行される。

図5のフローチャート300に示すような一対一モードでは、最初にステップ302において、入力デバイス102と集約デバイス106との間の接続を確立する。ステップ304において、ユーザが入力デバイス102上に書き込むにつれて、リアルタイムデータ転送が入力デバイス102から集約デバイス内に存在する書式インスペクタアプリケーション112に対して発生する。ステップ306において、ユーザが書き込んだ手書きデータをプリデジタル化状態でファイルシステム内に暗号化フォーマットで保存する。ユーザの手書きデータは、集約デバイス106上に存在する書式インスペクタアプリケーション112のI/Oインターフェース(図示せず)内で選択された書式テンプレートにマッピングされる。次のステップ308において、新しいページが挿入されているかどうか、またはいずれかの既存のページが編集されているかどうかを検査する。Noである場合、ステップ310において、さらなる処理に向けて、任意の関係書類を収集して送る。Yesである場合、ステップ312において、入力デバイス102との接続はオンラインモードで確立された状態に残る。ステップ314において、ページを挿入または追加し、同じプロセスを繰り返す。

他の動作モードで、すなわち、図6のフローチャート400に示すような一対多モードで、最初にステップ402において、2つ以上の入力デバイス102上にデータを捕捉する。捕捉時に、入力デバイス102は集約デバイス106に接続されていない。ステップ404において、データが捕捉されると、入力書式が入力デバイス上に提出されているか否かが検査される。Yesである場合、ステップ406において、入力デバイス102と集約デバイス106との間の接続を確立する。ステップ408において、入力データを入力デバイス102からダウンロードする。ステップ410において、ユーザが書き込んだ手書きデータをプリデジタル化状態でファイルシステム内に暗号化フォーマットで保存する。次のステップ412において、新しいページが挿入されているかどうか、または既存のページが編集されているかどうかを検査する。Noである場合、ステップ414において、さらなる処理に向けて、任意の関係書類を収集して送る。Yesである場合、ステップ416において、入力デバイスとの接続はオンラインモードで確立された状態に残る。ステップ418において、ページを挿入または追加し、同じプロセスを繰り返す。

本開示の一実装形態によれば、データをオフラインモードで捕捉することも可能であり、すなわち、入力デバイス102は、集約デバイス106に接続されない。フローチャート500は、図7A～図7Bに示すオフラインモードのデータ捕捉に関連するステップを示している。最初にステップ502において、入力デバイス102をオンに切り替えることによって、入力デバイス102を初期化する。ステップ504において、オーディオビジュアルアラーム148を用いて、入力デバイス102のバッテリー状態を示す。次のステップ506において、入力デバイス102が十分に充電されているか否かを検査する。Noである場合、ステップ508において、統合入力デバイス充電を開始する。次のステップ510において、入力デバイス102上に存在するユーザインターフェース136を使用して、ユーザが書式テンプレートを選択する。ステップ512において、保持クリップ130およびノッチ132を使用して、入力書式を書式適切な配列で入力デバイス102上に配置する。ステップ514において、入力デバイスグリッド上でページのナビゲーションおよび選択を行う。516において、ユーザが自らの手書きで入力書式を記入する。ステップ518において、超音波受信機140がリアルタイムで手書きストロークを捕捉し、同じ手書きストロークが入力デバイス102のLCDスクリーン上に表示される。ステップ520において、データを入力デバイス102上に保存する。

ステップ522において、入力書式データ捕捉が完了したか否かを検査する。Noである場合、ページのナビゲーションおよび選択を再度行う。Yesである場合、ステップ524において、入力書式からのいずれかの欠落しているページに対して任意のオーディオビジュアルアラームを生成することができる。ステップ526において、入力書式を入力デバイス102に提出する。さらに528において、入力書式データを暗号化し、入力デバイス102上に記憶する。次のステップ530において、集約デバイス106上に存在する書式インスペクタアプリケーション112とのネットワーク接続を確立する。ステップ532において、書式インスペクタアプリケーション112が入力データをダウンロードする。最終的に、ステップ534において、手書き入力データを事前定義された選択されたテンプレート上で書式インスペクタアプリケーション112内に視覚化する。

本開示の一実装形態によれば、システム100は、インド人のユーザアプリケーションのために特に作られたビルトインAadharモジュール(図に図示せず)をやはり備える。ビルトインAadharモジュールは、銀行取引申請に関する任意の書類処理の間にユーザの生体スキャンおよび網膜スキャンを捕捉して処理するように構成される。

さらに、システム100は、入力デバイス102上の入力データフットプリントが非常に低い機構を使用している。その上、デジタル化のために書式インスペクタアプリケーション112から書式プロセッサアプリケーション120に送られるデータは、非常に簡素なフットプリントを有する。

本明細書は、当業者が実施形態を行い使用することを可能にするために本明細書で主題について説明する。主題の実施形態の範囲は、特許請求の範囲によって定義され、当業者に生じる他の修正を含み得る。そのような他の修正が、特許請求の範囲の文字通りの言語と異ならない同様の要素を有する場合、またはそのような修正が、特許請求の範囲の文字通りの言語とはわずかに異なる同等の要素を含む場合、そのような他の修正は、特許請求の範囲内であることが意図される。

本開示の実施形態は、本明細書において、より長いターンアラウンドタイム、不完全な書式、および膨大な申請書式の記入と同時にデジタル化されるデータの不十分な精度の問題を解決する。本開示は、最小限の変更および最大のスループット速度で、すべてのデジタル入力チャネルに対して同等の速度で、手書き入力データの連続的なリアルタイムデジタル化のためのシステムおよび方法を提供する。

実施形態は、本明細書において、ハードウェア要素とソフトウェア要素とを備える。ソフトウェアで実装される実施形態は、限定はしないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含む。本明細書で説明する様々なモジュールによって実行される機能は、他のモジュールまたは他のモジュールの組合せで実装され得る。説明のために、コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれらととともに使用するためのプログラムを備え、記憶し、通信し、伝搬し、または転送することができる任意の装置であってよい。

示したステップは、示した例示的な実施形態を説明するために記載され、進行中の技術開発が特定の機能が実行される様式を変更させることになることを予想すべきである。これらの例は、本明細書で、限定ではなく、例示のために提示される。さらに、機能的な構造単位の境界は、本明細書で、説明の便宜のために任意に定義されている。指定された機能およびそれらの関係が適切に実行される限り、別の境界が定義されてもよい。代替案(本明細書で説明したものの同等物、拡張、変種、偏差などを含む)は、本明細書に含まれる教示に基づいて、当業者に明らかになるであろう。そのような代替案は、開示した実施形態の範囲および趣旨範囲内である。また、「備える」、「有する」、「含む(containing)」、および「含む(including)」という用語、ならびに他の同様の形式の用語は、意味の点で同等であり、これらの用語のうちのいずれもそのような1つまたは複数の項目の包括的なリスティングを意味しない、または列挙した1つまたは複数の項目に限定されることを意味しないというという点で制約がないことが意図される。本明細書および添付の特許請求の範囲で使用される、単数形「a」、「an」、および「the」は、その文脈が別段に明確に規定しない限り複数の言及を含むことにも留意されたい。

さらに、本開示に整合する実施形態を実装する際に1つまたは複数のコンピュータ可読記憶媒体を利用することが可能である。コンピュータ可読記憶媒体は、プロセッサによって読み取り可能な情報またはデータが記憶され得る任意のタイプの物理メモリを指す。したがって、コンピュータ可読記憶媒体は、プロセッサに本明細書で説明した実施形態に整合するステップまたは段階を実行させるための命令を含めて、1つまたは複数のプロセッサによって実行するための命令を記憶することができる。「コンピュータ可読媒体」という用語は、有形項目を含み、搬送波および過渡信号除外すること、すなわち、非一時的であることを理解されたい。例は、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、揮発性メモリ、不揮発性メモリ、ハードドライブ、CD ROM、DVD、フラッシュドライブ、ディスク、および任意の他の知られている物理記憶媒体を含む。

本開示および例は単なる例であり、開示した実施形態の真の範囲および趣旨は以下の特許請求の範囲によって示されることが意図される。

100 システム
102 入力デバイス
104 通信モジュール
106 集約デバイス
108 サーバ
110 出力モジュール
112 書式インスペクタアプリケーション
114 レンダリングモジュール
116 暗号化モジュール
118 アップロードモジュール
120 書式プロセッサアプリケーション
122 解読モジュール
124 入力テンプレート識別子
126 処理モジュール
128 ベースパッド
130 ばね対応保持クリップ
132 ビルトインピンまたはノッチ
134 回転クリップ
136 ユーザインターフェース
138 ペン
140 超音波受信機
142 ディスプレイパネル、LCDスクリーン
144 プリデジタル化データ確認モジュール
146 ポストデジタル化データ確認モジュール
148 オーディオビジュアルアラーム
200 フローチャート
300 フローチャート
400 フローチャート
500 フローチャート

Claims (24)

1. 手書き入力データのリアルタイムデジタル化のための方法(200)であって、
   入力書式を入力デバイス上に固定するプロセッサ実装ステップ(202)であって、前記入力デバイスが、前記入力書式に書き込むためにユーザによって使用されるベースパッドと超音波受信機とペンとを備える、プロセッサ実装ステップと(202)、
   前記ユーザが前記入力デバイス上で書式テンプレートを選択するプロセッサ実装ステップ(204)であって、前記書式テンプレートが、ユーザ要件ごとに事前設定される、プロセッサ実装ステップ(204)と、
   前記入力書式を記入することによる入力として前記手書き入力データを捕捉するプロセッサ実装ステップ(206)と、
   前記超音波受信機を使用して、前記ベースパッド上の前記ペンの動きによって生成されるベクトル入力データを捕捉するプロセッサ実装ステップ(208)であって、前記ベクトル入力データが前記手書き入力データに対応し、書き込んでいる間に前記ペンの先の圧力を高める必要性があるときに、前記ユーザに前記ベースパッドのディスプレイパネル上で警告する、プロセッサ実装ステップ(208)と、
   前記捕捉されたベクトル入力データを集約デバイスに転送するプロセッサ実装ステップ(210)と、
   前記集約デバイス上で実行する書式インスペクタアプリケーションを使用して、前記ユーザによって記入された前記入力書式の完全性を検証するプロセッサ実装ステップ(212)と、
   前記入力書式に記入された、前記検証された手書き入力データを暗号化するプロセッサ実装ステップ(214)と、
   前記暗号化された手書き入力データおよびメタデータを、サーバ上でホストされる書式プロセッサエンジンにアップロードするプロセッサ実装ステップ(216)であって、前記メタデータが、書式プロセッサアプリケーションによって自動認識される、プロセッサ実装ステップ(216)と、
   前記書式プロセッサアプリケーションが前記アップロードされた入力データを解読するプロセッサ実装ステップ(218)と、
   入力テンプレート識別子を使用して、前記入力データを前記選択された書式テンプレートにマッピングするプロセッサ実装ステップ(220)と、
   ノイズ除去、スキュー補正、またはスキュー平滑化を行うことによって前記手書き入力データを事前処理するプロセッサ実装ステップと、
   前記事前処理された手書き入力データを処理し、認識エンジンを使用して、前記事前処理された手書き入力データを伴う前記入力書式のレプリカ、ならびに前記事前処理された手書き入力データのデジタル化された同等物を作成するプロセッサ実装ステップ(222)であって、前記認識エンジンが事前選択される、プロセッサ実装ステップ(222)と、
   前記事前処理された手書き入力データの前記デジタル化された同等物を、ユーザが望むフォーマットで保存するプロセッサ実装ステップ(224)と
   を含む、方法。
2. 前記入力書式とともに提供される、写真、画像データ、または生体データのうちの1つまたは複数を捕捉するステップをさらに含む、請求項1に記載の方法。
3. 1つまたは複数の画像処理技法を使用して、前記捕捉された写真の読みやすさを高めるステップをさらに含む、請求項2に記載の方法。
4. 改善されたデジタル化精度を確実にするために、事前定義されたガイドラインのセットに基づいて、前記入力書式を構築するステップをさらに含む、請求項1に記載の方法。
5. 1つまたは複数の活動を検出した場合、前記入力デバイス、および前記集約デバイス上で実行する書式インスペクタアプリケーション上でオーディオビジュアルアラームを生成するステップであって、前記1つまたは複数の活動が、前記入力デバイスまたは前記集約デバイスの低バッテリー、前記入力書式から欠落しているページ、または前記入力書式上の欠落しているフィールドを含む、ステップをさらに含む、請求項1に記載の方法。
6. 入力デバイスから集約デバイスにデータ転送を前記転送するステップが、ワイヤードネットワークまたはワイヤレスネットワークのいずれかを使用して行われる、請求項1に記載の方法。
7. 前記集約デバイスが、オペレーティングシステムに依存しないスマートフォン、タブレット、ラップトップ、およびデスクトップのうちの少なくとも1つである、請求項1に記載の方法。
8. 書き込んでいる間に前記ユーザに対する連続的なフィードバックを確実にするために、前記入力デバイスおよび前記書式インスペクタアプリケーション上に存在するディスプレイスクリーン上に前記手書き入力データをリアルタイムで再作成するステップをさらに含む、請求項1に記載の方法。
9. 前記デジタル化手書き入力データ上にユーザの手書きでマウスホバーフィールド画像を作成するステップをさらに含む、請求項1に記載の方法。
10. 前記入力データが、一対一(300)データ捕捉モードまたは一対多(400)データ捕捉モードのいずれかで捕捉され得る、請求項1に記載の方法。
11. 前記入力書式を前記検証するステップが、プリデジタル化状態またはポストデジタル化状態で半自動的に行われる、請求項1に記載の方法。
12. ポストデジタル化データ確認モジュールを使用したデータの検証および確認のために、前記デジタル化手書き入力データを前記書式インスペクタアプリケーションに送るステップ(146)をさらに含む、請求項1に記載の方法。
13. 前記入力書式を前記固定するステップが、前記ベースパッド上に存在するノッチ(132)およびクリップ(130)を使用して行われる、請求項1に記載の方法。
14. 前記入力データが、オンラインモードまたはオフラインモードのうちの1つで提供され、前記オフラインモードでは、1つまたは複数の書式テンプレートに対応する前記入力データが前記入力デバイス上に記憶され、次いで、単一モードまたはバッチモードで前記書式インスペクタアプリケーションに転送され、前記オンラインモードでは、前記入力データが、前記書式インスペクタアプリケーションにリアルタイムで転送される、請求項1に記載の方法。
15. 前記入力データが、前記書式インスペクタアプリケーション上でローカルにデジタル化され得、前記入力データが、前記書式プロセッサアプリケーションに送られ、ルートバックされる、請求項1に記載の方法。
16. 回転クリップを使用して、ページ変更イベントについて前記ユーザに通知するステップ(134)をさらに含む、請求項1に記載の方法。
17. 手書き入力データのリアルタイムデジタル化のためのシステム(100)であって、
    前記手書き入力を捕捉するための入力デバイス(102)であって、
    ベースパッド(128)と、
    前記入力デバイス上で書式テンプレートを選択するためのユーザインターフェース(136)であって、前記書式テンプレートが、ユーザ要件ごとに事前設定される、ユーザインターフェース(136)と、
    前記ベースパッドに取り付けられたペン(138)であって、前記ベースパッド上に存在する入力書式に入力データとして前記手書き入力データを生成するためにユーザによって使用されるものであり、前記入力書式が前記入力デバイスに固定される、ペン(138)と、
    前記ベースパッド上の前記ペンの動きによって生成されるベクトル入力データを捕捉するための、前記入力デバイス内に存在する超音波受信機(140)であって、前記ベクトル入力データが前記手書き入力データに対応し、書き込んでいる間に前記ペンの先の圧力を高める必要性があるときに、前記ユーザに前記ベースパッドのディスプレイパネル上で警告する、超音波受信機(140)と、
    を備える、入力デバイス(102)と、
    前記捕捉されたベクトル入力データを転送するための通信モジュール(104)と、
    前記通信モジュールを介して前記入力デバイスと通信している集約デバイス(106)であって、
    前記ユーザによって記入された前記入力書式の完全性を検証するための書式インスペクタアプリケーション(112)を備え、前記書式インスペクタアプリケーション(112)が、
    前記入力書式に記入された前記手書き入力データを暗号化するための暗号化モジュール(116)と、
    前記暗号化された手書き入力データおよびメタデータをクラウドサーバにアップロードするためのアップロードモジュール(118)であって、前記メタデータが、書式プロセッサアプリケーションによって自動認識される、アップロードモジュール(118)と、
    をさらに備える、集約デバイス(106)と、
    前記アップロードされた入力データを処理するための前記書式プロセッサアプリケーション(120)をホストするサーバ(108)であって、前記書式プロセッサアプリケーションが、
    前記アップロードされた入力データを解読するための解読モジュール(122)と、
    前記入力データを前記選択された書式テンプレートにマッピングするための入力テンプレート識別子(124)と、
    ノイズ除去、スキュー補正、またはスキュー平滑化を行うことによって前記手書き入力データを事前処理し、および
    前記事前処理された手書き入力データを処理し、認識エンジンを使用して、前記事前処理された手書き入力データを伴う前記入力書式のレプリカ、ならびに前記事前処理された手書き入力データのデジタル化された同等物を作成する処理モジュール(126)であって、前記認識エンジンが事前選択される、処理モジュール(126)と、
    をさらに備える、サーバ(108)と、
    前記事前処理された手書き入力データの前記デジタル化された同等物を、ユーザが望むフォーマットで保存するための出力モジュール(110)と
    を備える、システム(100)。
18. 前記入力デバイスおよび前記集約デバイス上にオーディオビジュアルアラーム(148)をさらに備え、前記オーディオビジュアルアラームが、1つまたは複数の活動の検出時にアクティブ化され、前記1つまたは複数の活動が、前記入力デバイスまたは前記集約デバイスの低バッテリー、前記入力書式から欠落しているページ、または前記入力書式上で欠落しているフィールドを含む、請求項17に記載のシステム。
19. 前記ベースパッドが、前記入力書式の事前定義されたロケーション上に存在するピンホールに対応するノッチ(132)をさらに備える、請求項17に記載のシステム。
20. 前記書式インスペクタアプリケーションが、前記入力書式上の欠落しているフィールドおよびブランクページを検出するように構成されたプリデジタル化データ確認モジュール(144)をさらに備える、請求項17に記載のシステム。
21. 前記書式インスペクタアプリケーションが、前記デジタル化データを確認および浄化するように構成されたポストデジタル化データ確認モジュール(146)をさらに備える、請求項17に記載のシステム。
22. 前記ベースパッドが、前記ユーザが前記ペンを使用して書き込むものは何でもリアルタイムで再作成するためのディスプレイパネル(142)をさらに備える、請求項17に記載のシステム。
23. ページ変更イベントについて前記ユーザに通知するための、前記入力デバイス上に存在する回転クリップ(134)をさらに備える、請求項17に記載のシステム。
24. コンピュータ可読プログラムを具備した非一時的コンピュータ可読媒体を備えたコンピュータプログラムであって、前記コンピュータ可読プログラムが、コンピューティングデバイス上で実行されると、前記コンピューティングデバイスに、
    入力書式を入力デバイス上に固定すること(202)であって、前記入力デバイスが、前記入力書式に書き込むためにユーザによって使用されるベースパッドと超音波受信機とペンとを備える、固定することと(202)と、
    前記ユーザが前記入力デバイス上で書式テンプレートを選択すること(204)であって、前記書式テンプレートが、ユーザ要件ごとに事前設定される、選択すること(204)と、
    前記入力書式(206)を記入することによる入力として前記手書き入力データを捕捉することと(206)、
    前記超音波受信機を使用して、前記ベースパッド上の前記ペンの動きによって生成されるベクトル入力データを捕捉すること(208)であって、前記ベクトル入力データが前記手書き入力データに対応し、書き込んでいる間に前記ペンの先の圧力を高める必要性があるときに、前記ユーザに前記ベースパッドのディスプレイパネル上で警告する、捕捉すること(208)と、
    前記捕捉されたベクトル入力データを集約デバイスに転送すること(210)と、
    前記集約デバイス上で実行する書式インスペクタアプリケーションを使用して、前記ユーザによって記入された前記入力書式の完全性を検証すること(212)と、
    前記入力書式に記入された、前記検証された手書き入力データを暗号化すること(214)と、
    前記暗号化された手書き入力データおよびメタデータを、サーバ上でホストされる書式プロセッサエンジンにアップロードすること(216)であって、前記メタデータが、書式プロセッサアプリケーションによって自動認識される、アップロードすること(216)と、
    前記書式プロセッサアプリケーションが、前記アップロードされた入力データを解読すること(218)と、
    入力テンプレート識別子を使用して、前記入力データを前記選択された書式テンプレートにマッピングすること(220)と、
    ノイズ除去、スキュー補正、またはスキュー平滑化を行うことによって前記手書き入力データを事前処理することと、
    前記事前処理された手書き入力データを処理し、認識エンジンを使用して、前記事前処理された手書き入力データを伴う前記入力書式のレプリカ、ならびに前記事前処理された手書き入力データのデジタル化された同等物を作成することであって(222)、前記認識エンジンが事前選択される、作成すること(222)と、
    前記事前処理された手書き入力データの前記デジタル化された同等物を、ユーザが望むフォーマットで保存すること(224)と
    を行わせる、コンピュータプログラム。

Images