JP6773957B2 - 情報処理システム、その制御方法、及びプログラム - Google Patents

Description

ユーザが煩雑な作業を行わなくとも、複数のページからなる両面印刷された書類を正しい順番の電子文書データとして生成することができる情報処理システム、その制御方法、及びプログラムに関する。

紙の書類を電子文書データとして保存する際には、読み取り領域に載置された書類をカメラで撮像して、カメラで撮像することにより得られた書類の画像データを処理して保存するということが行われている。

例えば下記の特許文献１には、同時に撮像された複数の書類間の順序を特定し、特定された順序で画像データの整理、保存を行う仕組みが開示されている。

特開２０１４−２１６９５３号公報

ところで、銀行やオフィスなどでは、両面で印刷された複数の印刷物がステープラーなどの留め具を用いて束ねられた書類を扱うことがあるが、上述した特許文献１の仕組みでは、このように両面印刷がされた複数の印刷物が束ねられた書類を撮像して、電子文書データの順番を正しく保存するためには、書類の留め具を外して印刷物をバラバラにした状態で撮像しなければならない。そうすると撮像後に書類を保存するために再度複数の印刷物を留め具で留める必要があるため、ユーザの手間がかかってしまう。

一方ステープラー等の留め具を外さずに書類の順番を正しく撮像し電子文書データを作成するためには、ページの裏側を撮像する際に逆方向からめくる動作が必要となり、ユーザの作業が煩雑となってしまう。

そこで本発明は、ユーザが煩雑な作業を行わなくとも、複数ページからなる両面印刷の書類のページ順でページの撮影データを管理することを目的とする。

本発明の情報処理装置は、書類を撮像することが可能な撮像部を備える情報処理システムであって、ユーザによる書類のめくり動作および書類の裏返し動作のジェスチャを検知する検知手段と、前記撮像部での撮像により、前記めくり動作または裏返し動作がなされた前記書類の対象面の撮像データを取得する取得手段と、前記取得手段により取得された撮像データを、前記検知手段による検知結果に基づいて書類のページ順になるように管理する管理手段とを備えることを特徴とする。

本発明によれば、ユーザが煩雑な作業を行わなくとも、複数ページからなる両面印刷の書類のページ順でページの撮影データを管理することが可能となる。

実施形態における情報処理システムの外観構成図である。 本実施形態における情報処理装置１００のハードウェア構成を説明する図である。 実施形態における情報処理装置１００の機能構成を説明する図である。 実施形態における情報処理装置１００の利用形態を示す図である。 実施形態における処理手順を説明するフローチャートである。 図５のフローチャートの撮像処理の詳細な処理の流れを説明するフローチャートである。 実施形態における投影範囲４１１のイメージである。 書類をめくって撮像を行っていくイメージを示す図である。 まだ撮像していないことをユーザに通知する警告を表示するイメージを示す図である。 撮像データテーブル１０００の一例を示すデータテーブルである。 図５のフローチャートの電子文書データ生成処理の詳細な処理の流れを説明するフローチャートである。 実施形態における電子文書データのイメージを示す図である。

以下、本発明の第１の実施形態について、図面を参照しながら詳細に説明する。

図１は、実施形態における情報処理システムの外観構成図であり、図２はシステムを構成する情報処理装置１００のハードウェア構成図である。本システムは、システム全体の制御を司る情報処理装置１００を有する。そして、この情報処理装置１００には、投影撮像装置１１０をはじめ、ユーザとの間のユーザインターフェースとして機能するディスプレイ１２０、入力デバイス（キーボードやマウス等）１３０が接続されている。また、図示していないが、業務に係る基幹ネットワークとも接続される。投影する投影データなどは基幹ネットワークなどに記憶されていてもよい。

情報処理装置１００は通常のＰＣ（パーソナルコンピュータ）等と同じハードウェア構成の情報処理装置である。プログラムに従って処理を行うＣＰＵ１０１、ブートプログラムやＢＩＯＳ等を記憶するＲＯＭ１０２、ＣＰＵ１０１が実行するＯＳやアプリケーションを格納するため、並びにＣＰＵ１０１がワークエリアとして利用するＲＡＭ１０３を有する。また、情報処理装置１００は、投影撮像装置１１０と通信するためのＩ/Ｆ部１０５、ＣＰＵ１０１の指示に従って描画処理やビデオ信号の出力処理等を行うビデオコントローラ１０６を有する。更に、情報処理装置１００はハードディスク（ＨＤＤ）に代表される外部記憶装置１０８（記憶手段）に対する読み書きを行うストレージコントローラ１０７、基幹ネットワーク（特にネットワークプリンタ）と通信するためのネットワークＩ/Ｆ１０４を有する。外部記憶装置１０８には、オペレーティングシステム（ＯＳ）、情報処理システムとして機能させるためのアプリケーションプログラムをはじめ、本実施形態で用いる撮像データや、データテーブル等が格納されている。

投影撮像装置１１０は、その筐体内に、情報処理装置１００と通信するためのＩ/Ｆ部１１８、投影部１１５、撮像部１１６、距離測定部１１７（検知部に相当する）を収容している。投影撮像装置１１０には、投影部１１５から出射した投影光を通過させるための開口部１１１が設けられている。更に、撮像部１１６並びに距離測定部１１７に共有され、外部からの光（赤外線を含む）を入射するための開口部１１２も設けられている。

投影部１１５は、情報処理装置１００から要求された映像を表す投影光を開口部１１２を介して天板１１３に向け、且つ、若干斜め方向に出射する。天板１１３の下面側にはミラーが設けられており、投影部１１５からの投影光を反射する。この結果、図１における投影撮像装置１１０の設置位置より手前側の領域（実際にはテーブルの上面）が投影スクリーンとして、その映像を表示することになる。なお、出射する方向を斜めにするのではなく、天板１１３を傾けても構わない。

また、撮像部１１６並びに距離測定部１１７は、天板１１３のミラーを介して、投影部１１５によるテーブル上の投影領域よりも広い範囲を撮像範囲、又は、測距範囲として設定されている。撮像範囲と測距範囲は同一であっても構わない。撮像部１１６は通常のデジタルカメラに代表される撮像装置と同じ構成であり、テーブルの撮像範囲内の映像を光学的に読み取るものである。距離測定部１１７は、奥行き（距離）を検出するものであり、予め設定された２次元パターンを示す赤外線を照射する照射部と、その対象物から２次元空間での反射赤外線を検出するセンサで構成される。そして、撮像部１１６で得らえた映像データと、距離測定部１１７より検出された距離データの時間軸に対する変化に基づき、情報処理装置１００のＣＰＵ１０１による処理によって、ユーザの手の動きや指（操作指示部）でテーブルをたたく操作（ジェスチャ）、ユーザの手と手の接触や書類の検出・検知処理が実現する。なお、映像と、赤外線によるパターン照射／検出によってユーザのジェスチャ検出を行う技術は公知（たとえば、米国マイクロソフト社のＫＩＮＥＣＴ（商標））であるので、ここでの詳細は省略する。ただし、ユーザのジェスチャが検出できれば良く、その構成、原理は特に問わない。なお、投影撮像装置１１０の筐体内に十分なスペースがあれば、情報処理装置１００を構成する回路を投影撮像装置１１０に内蔵させることで、これらを一体化しても構わない。

上記構成において、本装置の電源がＯＮになると、ＣＰＵ１０１はＲＯＭ１０２に格納されたブートプログラムを実行し、外部記憶装置１０８に格納されたＯＳをＲＡＭ１０３にロードし実行する。そして、そのＯＳの制御下にて、外部記憶装置１０８から情報処理システムのアプリケーションプログラムをＲＡＭ１０３にロードして、実行させる。

次に図３を用いて、情報処理装置１００の機能構成を説明する。

情報処理装置１００は機能部として、記憶部３０１、取得部３０２、決定部３０３、受付部３０４、生成部３０５を備える。

記憶部３０１は複数のページからなる両面印刷された書類を、当該書類のページがめくられるごとに撮像部で撮像することにより各ページの撮像データを記憶する機能部である。取得部３０２は書類が裏返しされたタイミングを、前記検知部によるジェスチャの検知により取得する機能部である。決定部３０３は記憶された各ページの撮像データの結合順を、取得されたタイミングに応じて書類のページ順となるように決定する機能部である。受付部３０４は、投影面上の書類の撮像終了指示を受け付ける機能部である。生成部３０５は、順序が割り当てられた電子文書データを生成する機能部である。

以上で図３に示す、情報処理装置１００の機能構成の説明を終了する。

次に図４を用いて、本システムの利用形態を示す。本実施形態における情報処理システムは、図示のように、テーブル４００には、ディスプレイ１２０、入力デバイス１３０がユーザの操作しやすい位置に配置されている。また、投影撮像装置１１０は、その天板１１３によって斜め方向から投影光がテーブル４００に向けて照射することになる。なお、検出範囲４１０、投影範囲４１１（撮像面）が示す矩形は、テーブル４００上にそれぞれの範囲が規定されていることを示すためであって、その境界線が表示されることを意図するものではない。

以上、実施形態における情報処理システムの利用形態を説明した。次に、情報処理システムの処理内容を、特にＣＰＵ１０１の処理手順として図５のフローチャートを用いて説明する。

本システムが起動されると、まず、ステップＳ１０１にて、情報処理装置１００のＣＰＵ１０１は選択メニューの画面（不図示）をディスプレイ１２０に表示し、ユーザに項目の１つを選択させる。表示する選択メニュー（項目）は、「撮像ボタン」、「書類投影ボタン」等、情報処理装置１００で実行可能な処理に対応する項目である。ユーザから項目の選択を受け付けると、対応する処理を実行することができる。

ステップＳ１０２にて、情報処理装置１００のＣＰＵ１０１は、ユーザによる入力デバイス１３０の操作による項目の選択を待つ。選択がなされると、ステップＳ１０３にて、情報処理装置１００のＣＰＵ１０１はその選択した項目がいずれのボタンであるかを判定する。書類取り込みボタンであると判定した場合、処理はステップＳ１０５に進み撮像処理を行う。書類投影ボタン等の書類読取ボタン以外のボタンが押下されたと判定した場合、処理はステップＳ１０４に進む。

ステップＳ１０４にて、情報処理装置１００のＣＰＵ１０１は、押下されたボタンに対応する処理を実行する。例えば、書類投影ボタンが押下された場合には、ステップＳ１０６で生成された電子文書データを投影面上に投影する処理を行う。ステップＳ１０４の処理が行われたあと、処理をステップＳ１０２に戻す。

ステップＳ１０５にて、情報処理装置１００のＣＰＵ１０１は、投影面上の書類を撮像する処理である撮像処理を行う。撮像処理の詳細な処理の説明は図６に示すフローチャートを用いて説明する。

ステップＳ１０６にて、情報処理装置１００のＣＰＵ１０１は、撮像処理で撮像された撮像データをもとに電子文書データを生成する処理である電子文書データ生成処理を行う。電子文書データ生成処理の詳細な処理の説明は図１１に示すフローチャートを用いて説明する。

図６のフローチャートを用いて撮像処理の詳細な処理の説明を開始する。

ステップＳ６０１では、情報処理装置１００のＣＰＵ１０１は、投影部１１５に投影指示を行い、外部記憶装置１０８に記憶される撮像画面７００を投影範囲４１１に投影させる。図７に示すように撮像画面７００には、書類読取ボタン７０２と取り込み終了ボタン７０３が配置されている。また、書類を載置すべき位置をユーザに通知するための領域の枠７０１が投影されている。

ステップＳ６０２では、情報処理装置１００のＣＰＵ１０１は、投影範囲４１１上に書類が検知されたか否かを判定する。投影範囲４１１上に書類が検知されたと判定された場合には処理をステップＳ６０３に進める。書類が検知されたか否かの判定は、例えば、距離測定部１１７から得られる距離データの時間軸に対する変化によって、矩形状の物体が所定時間以上検出されたことを以て、書類が検知されたと判定することができる。また、撮像部１１６で現在のタイミングで撮像されたカメラ画像と直前のタイミングで撮像されたカメラ画像とを比較することにより、矩形状の物体がカメラ画像に含まれているか否かを判定することによっても判定可能であり、これらを組み合わせて判定してもよい。

ステップＳ６０３では、情報処理装置１００のＣＰＵ１０１は、ステップＳ６０２で検知したと判定された書類の撮像の実行条件を満たすか否かを判定する。書類の撮像の実行条件を満たすと判定された場合は処理をステップＳ６０４に進め、そうでない場合は処理をステップＳ６０８に進める。本実施形態では、投影範囲４１１上の書類読取ボタン７０２のユーザによるタッチ操作を受け付けた場合に撮像実行条件を満たしたと判定する。撮像実行条件は、書類が投影範囲４１１で静止した状態で所定時間以上経過したことを条件に、自動的に撮像するようにしてもよく、他の条件でもよい。

ステップＳ６０４では、情報処理装置１００のＣＰＵ１０１は、撮像部１１６に撮像する指示を行う。撮像する指示を行うと、投影範囲４１１上の書類読取ボタン７０２が図８に示すようにグレーアウト（押下を受け付けることができない状態）される。このように、書類読取ボタンを押下不能にすることで、ユーザが書類読取ボタン７０２を押下したとしても、撮像指示はなされなくなる。このようにすることで、同一のページを複数回撮影してしまうことを防止することができる。

ステップＳ６０５では、情報処理装置１００のＣＰＵ１０１は、撮像部１１６で撮像された画像データである撮像データを撮像部１１６から取得する。

ステップＳ６０６では、情報処理装置１００のＣＰＵ１０１は、ステップＳ６０５で取得された撮像データを所定のフォルダに保存する。

ステップＳ６０７では、情報処理装置１００のＣＰＵ１０１は、撮像データテーブル１０００に情報を記憶する処理を行う。図１０に示す撮像データテーブル１０００には、ＩＤ１００１、保存場所１００２、裏返しフラグ１００３、撮像順１００４、書類順１００５が対応付けて記憶されている。ＩＤ１００１は、撮像データに一意に割り当てられるＩＤである。保存場所１００２は撮像データの保存されている場所を示すリンク情報が格納されている。裏返しフラグ１００３は、書類が裏返されたことを示すフラグである。撮像順１００４は、撮像データが撮像された順番を示す。書類順１００５は実際の書類のページの順番であり電子文書データのページ順を示す値である。ステップＳ６０７では、ＩＤ１００１と保存場所１００２と撮像順１００４を記憶する。具体的には、ＩＤ１００１には一意のＩＤが割り当てられる。保存場所１００２には、ステップＳ６０６で保存した撮像データの保存されている場所を示すリンク情報が格納される。撮像順１００４には、撮像データテーブル１０００に既に記憶されている撮像順１００４の中で最も大きい値に１を足した値が格納される。なお、再帰処理により、ステップＳ６１１で裏返しフラグ１００３を立てる指示があった場合には、裏返しフラグ１００３を立てる。

ステップＳ６０８では、情報処理装置１００のＣＰＵ１０１は、投影範囲４１１に載置された書類のページがめくられたかを距離測定部１１７からの情報に基づいて判定する。書類がめくられたと判定された場合には処理をステップＳ６０９に進め、そうでない場合には処理をステップＳ６１０に進める。投影範囲４１１に載置された書類のページがめくられたかの判定は、例えば、特開２０１４−１４３７４５に開示されているように、投影範囲４１１上を撮像して得られる画像データから特徴点を検出して、複数の画像データ間での特徴点を比較することにより、当該特徴点の速度ベクトルを演算する手法など、公知の手法を用いるものとする。

本実施形態では、図７、図８に示すように、複数の紙が束となった書類を、ユーザがページをめくって撮像するという処理を繰り返して書類が撮影されたデータである電子文書データを生成する。片面印刷された紙が束となった書類であれば、表面を撮像するのみで電子文書データを生成することが可能である。しかし、両面印刷された紙が束となった書類であれば、表面だけではなく、裏面の撮像を行う必要がある。撮像した順番で電子文書データを作成する場合には、書類をめくる、撮像する、裏返すという動作が必要になり、ユーザにとって煩雑な処理を行う必要がある。

ステップＳ６０９では、情報処理装置１００のＣＰＵ１０１は、グレーアウトされ、ユーザの押下を受け付けることのできない書類読取ボタン７０２の押下を受け付けることができるようにする。このように、書類のめくり動作がなされることによって書類読取ボタン７０２を押下可能にすることで、同じページを複数回撮影されてしまうことを防止し、ページの順番が正しい電子文書データを生成することができる。

ステップＳ６１０では、情報処理装置１００のＣＰＵ１０１は、投影範囲４１１に載置された書類が裏返されたかを距離測定部１１７からの情報に基づいて判定する（取得手段に相当する）。投影範囲４１１に載置された書類が裏返されたと判定された場合には処理をステップＳ６１１に進め、そうでない場合には処理をステップＳ６１３に進める。裏返されたとは、表向きとなっていた書類が逆向きとなるように書類自体をひっくり返す動作のことを示している。両面印刷された束状の印刷物をめくりながら撮像を行っていくと、最後のページをめくり終わると、図８のように印刷物が２つに開かれた状態ではなく、図７のように印刷物が１つに閉じられた状態となる。そのため、投影範囲４１１上を撮影して得られる画像データの印刷物の占める面積が減少（半減）したことを以て、書類が裏返されたと判定してもよいし、距離測定部１１７から得られる赤外線の反射情報をもとに、印刷物の投影範囲４１１上の占める面積が減少（半減）したことによって書類が裏返されたと判断してもよい。または、ステップＳ６０８のめくり動作の検知と同様に、特徴点の移動によって裏返されたか否かを判定してもよいし、投影範囲４１１上に設けられる裏返しボタンの押下をユーザから受け付けることにより、書類が裏返されたと判定してもよく、その他の方法でもよい。

ステップＳ６１１では、情報処理装置１００のＣＰＵ１０１は、撮像データテーブル１０００の次のレコードの裏返しフラグ１００３を立てることを示す情報をメモリ上に記憶しておく。裏返しフラグ１００３を立てることにより、書類が裏返されたことを示すタイミングを記憶する。なお、このようなフラグ管理でなくともよく、書類が裏返されたタイミングの前の撮像データと書類が裏返されたタイミングの後の撮像データが識別できれば、フラグ管理でなくともよい。

ステップＳ６１２では、情報処理装置１００のＣＰＵ１０１は、グレーアウトされ、ユーザの押下を受け付けることのできない書類読取ボタン７０２の押下を受け付けることができるようにする。このように、書類のめくり動作がなされることによって書類読取ボタン７０２を押下可能にすることで、同じページを複数回撮影されてしまうことを防止し、ページの順番が正しい電子文書データを生成することができる。書類読取ボタン７０２が押下を受け付けることができるようにしたのち、処理をステップＳ６０３に戻す。

ステップＳ６１３では、情報処理装置１００のＣＰＵ１０１は、ユーザから書類取り込みの終了指示を受け付けたか否かを判定する。具体的には投影範囲４１１の取り込み終了ボタン７０３が押下されたか否かを判定する。取り込み終了ボタン７０３が押下された場合には処理をステップＳ６１４に進め、そうでない場合には処理をステップＳ６０２に戻す。

ステップＳ６１４では、情報処理装置１００のＣＰＵ１０１は、撮像データテーブル１０００に基づいて正常に取り込みが完了したか否かを判定する。正常に取り込みが完了したと判定された場合には処理を終了させ、正常に取り込みが完了していないと判定された場合には処理をステップＳ６１５に進める。具体的には、裏返しフラグ１００３の立っている撮像順１００４を特定し、特定された撮像順１００４に１を減算した値を求める。図１０で裏返しフラグ１００３が立っている撮像順１００４が「４」なので、１を減算した「３」が求まる。ここで求められた値の２倍の数の撮像データが撮像されている場合に、正常に取り込みが完了したと判定する。図１０の例の場合、撮像順１００４に「６」までレコードが作成されているため、「３」の２倍の数の撮像データが存在していることから正常に撮像が完了したといえる。本実施形態で撮像される書類は両面印刷された書類であることから、表面の撮像データの枚数と裏面の撮像データの枚数が一致している必要がある。つまり、表面の撮像データの枚数（第１の撮像枚数）と裏面の撮像データの枚数（第２の撮像枚数）が一致しているかどうかを判定することができれば上記手法以外の手法を用いてもよい。

ステップＳ６１５では、情報処理装置１００のＣＰＵ１０１は、正常に取り込みが完了していないと判定されたため、ユーザに対して正常に取り込みが完了していないことを警告表示することでユーザに通知する（警告表示制御手段に相当する）。例えば、図９に示すように警告表示９０１を投影範囲４１１に投影することにより、ユーザに対して正常に取り込みが完了していないことを通知する。このように、ユーザに対してまだ撮像が完了していないページがあることを通知して、ユーザに書類の読み取りを実行させることで、正常に書類の取り込みを完了させることができる。

以上で図６に示すフローチャートの説明を終了する。

次に図１１のフローチャートを用いて、電子文書データ生成処理の詳細な処理の流れを説明する。

ステップＳ１１０１では、情報処理装置１００のＣＰＵ１０１は、外部記憶装置１０８に記憶される撮像データテーブル１０００を参照する。

ステップＳ１１０２では、情報処理装置１００のＣＰＵ１０１は、ステップＳ１１０１で参照した撮像データテーブル１０００の裏返しフラグ１００３が立っているレコードがあるか否かを判定する。裏返しフラグ１００３が立っているレコードがあると判定された場合には処理をステップＳ１１０３に進め、そうでない場合には処理をステップＳ１１１２に進める。書類が裏返された場合には自動で撮像データの順番が互い違いとなるよう電子文書データを生成し、裏返されていない場合には撮像データの順番で電子文書データを生成し、ユーザは書類を裏返す動作を行うだけで、自動的に電子文書データの順番が正しくなるよう電子文書データを生成するためユーザの使い勝手が向上する。

ステップＳ１１０３では、情報処理装置１００のＣＰＵ１０１は、撮像データテーブル１０００で裏返しフラグ１００３が立っている撮像データのＩＤ１００１を特定する。

ステップＳ１１０４では、情報処理装置１００のＣＰＵ１０１は、ステップＳ１１０３で特定された撮像データのＩＤ１００１の書類順１００５（結合順に相当する）を、撮像順１００４の最大の値として当てる（決定手段に相当する）。図１０を用いて具体的に説明する。図１０の撮像データテーブル１０００の撮像順１００４の最大の値は、「６」である。そして、裏返しフラグ１００３が立っているＩＤ１００１が「４」の書類順１００５を「６」とする。

ステップＳ１１０５では、情報処理装置１００のＣＰＵ１０１は、撮像順１００４が「１」であるレコードの書類順１００５を「１」とする（決定手段に相当する）。

ステップＳ１１０６では、情報処理装置１００のＣＰＵ１０１は、撮像順１００４が「１」であるレコードから、裏返しフラグ１００３が立っているレコードの前までの書類順１００５に、昇順（順方向）で奇数ページを割り当てる（決定手段に相当する）。図１０の例でいうと、ＩＤ１００１が「２」のレコードに「３」が、ＩＤ１００１が「３」のレコードに「５」が入る。

ステップＳ１１０７では、情報処理装置１００のＣＰＵ１０１は、裏返しフラグ１００３が立っているレコードから、撮像順１００４が最大となるレコードまでの書類順１００５に降順で遇数を割り当てる（決定手段に相当する）。図１０で具体的に説明する。裏返しフラグ１００３が立っているレコードの撮像順１００４は、「６」であるため、この値を基準として降順（逆方向）で偶数ページを、割り当てていく。つまり、ＩＤ１００１が「５」の書類順１００５に「４」を、ＩＤ１００１が「６」の書類順１００５に「２」を割り当てる。ステップＳ１１０７の処理を終えた段階で、書類順１００５にはすべて値が入った状態となる。

ステップＳ１１０８では、情報処理装置１００のＣＰＵ１０１は、保存場所１００２に保存されている撮像データを画像解析など既知の手法を用いることにより白紙か否かを判定する処理を撮像データテーブル１０００のレコードすべてに対して行う（白紙判定手段に相当する）。撮像データテーブル１０００のレコードのうち、保存場所１００２に保存されている撮像データが白紙であると一つでも判定された場合には処理をステップＳ１１０９に進め、一つも白紙の撮像データがないと判定された場合には処理をステップＳ１１１１に進める。

ステップＳ１１０９では、情報処理装置１００のＣＰＵ１０１は、ステップＳ１１０８で保存場所１００２に保存されている撮像データが白紙であると判定されたレコードを削除する。

ステップＳ１１１０では、情報処理装置１００のＣＰＵ１０１は、書類順１００５が昇順となるように書類順１００５を割り当てなおす。ステップＳ１１０９でレコードが削除されている場合には書類順１００５が連続した数字とならなくなってしまうため、連続した数字となるように書類順１００５の数字を割り当てなおす。つまり、書類順１００５が昇順となるように書類順１００５を割り当てなおした結果、「１、２、３、４、６」という並びで数字が並んでいる場合に、「１、２、３、４、５」とするように数字を割り当てなおす。なお、必ずしもステップＳ１１１０の再割り当て処理を実行しなくてもよい。

ステップＳ１１１１では、情報処理装置１００のＣＰＵ１０１は、保存場所１００２に保存された撮像データを、書類順１００５の順番で結合された電子文書データを生成する。図１２のイメージ１２００Ｂを用いて説明する。書類順１００５の順番で電子文書データを生成し、一つの電子文書データとして生成する。一方で、撮影順１００４の順番で電子文書データを生成してしまうと、イメージ１２００Ａのように書類の順番が正しくない電子文書データが完成してしまう。

ステップＳ１１１２では、情報処理装置１００のＣＰＵ１０１は、保存場所１００２に保存されている撮像データを画像解析など既知の手法を用いることにより白紙か否かを判定する処理を撮像データテーブル１０００のレコードすべてに対して行う（白紙判定手段に相当する）。撮像データテーブル１０００のレコードのうち、保存場所１００２に保存されている撮像データが白紙であると一つでも判定された場合には処理をステップＳ１１１３に進め、一つも白紙の撮像データがないと判定された場合には処理をステップＳ１１１５に進める。

ステップＳ１１１３では、情報処理装置１００のＣＰＵ１０１は、ステップＳ１１０８で保存場所１００２に保存されている撮像データが白紙であると判定されたレコードを削除する。

ステップＳ１１１４では、情報処理装置１００のＣＰＵ１０１は、撮像順１００４が昇順となるように撮像順１００４を割り当てなおす。ステップＳ１１１３でレコードが削除されている場合には撮像順１００４が連続した数字とならなくなってしまうため、連続した数字となるように撮像順１００４の数字を割り当てなおす。つまり、撮像順１００４が昇順となるように撮像順１００４を割り当てなおした結果、「１、２、３、５、６」という並びで数字が並んでいる場合に、「１、２、３、４、５」とするように数字を割り当てなおす。なお、必ずしもステップＳ１１１０の再割り当て処理を実行しなくてもよい。

ステップＳ１１１５では、情報処理装置１００のＣＰＵ１０１は、保存場所１００２に保存された撮像データを、撮像順１００４の順番（記憶手段が記憶した順）で結合された電子文書データを生成する（生成手段に相当する）。書類の裏返しがされずに撮像がされているため、撮像された順番で、電子文書データを生成している。

ステップＳ１１１６では、情報処理装置１００のＣＰＵ１０１は、電子文書データの向きを補正する処理を行う。具体的には、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理を電子文書データのすべてのページに行い、文字列の向きが一致するように、すべてのページの向きをそろえる。このように、すべてのページの向きをそろえることによって、仮に書類を裏返して撮像をユーザが実行したとしても、すべてのページの向きが正しい電子文書データを得ることができる効果がある。なお、ページの向きをそろえる処理は、ステップＳ１１１５で電子文書データを生成する処理の際に実行しても構わない。また、ステップＳ１１１６の処理は必ずしも行われなくともよい。

ステップＳ１１１７では、情報処理装置１００のＣＰＵ１０１は、ステップＳ１１１６で文書の向きが正しくなった状態の電子文書データを外部記憶装置１０８の所定の場所に保存する処理を行う。

以上で図１１に示す電子文書データ生成処理の詳細な処理の流れの説明を終了する。

以上、本発明によれば、ユーザが煩雑な作業を行わなくとも、複数のページからなる両面印刷された書類を正しい順番の電子文書データとして生成することの可能な仕組みを提供することが可能となる。

なお、本実施形態では、撮像データに対して行われる補正処理について説明を省略したが、台形補正や、色調補正など、撮像データをユーザの視認しやすいように補正する処理を行うようにしてもよい。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置の情報処理装置が前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理を情報処理装置で実現するために、前記情報処理装置にインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理を情報処理装置で実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行して情報処理装置にインストールさせて実現することも可能である。

また、情報処理装置が、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、情報処理装置上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、情報処理装置に挿入された機能拡張ボードや情報処理装置に接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 情報処理装置
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ キーボード
２１０ ＣＲＴディスプレイ
２１１ 外部メモリ

Claims (9)

1. 書類を撮像することが可能な撮像部を備える情報処理システムであって、
   ユーザによる書類のめくり動作および書類の裏返し動作のジェスチャを検知する検知手段と、
   前記撮像部での撮像により、前記めくり動作または裏返し動作がなされた前記書類の対象面の撮像データを取得する取得手段と、
   前記取得手段により取得された撮像データを、前記検知手段による検知結果に基づいて書類のページ順になるように管理する管理手段と
   を備えることを特徴とする情報処理システム。
2. 前記管理手段で管理されるページ順に基づき、前記取得手段により取得された撮像データを用いて電子文書データを生成する生成手段
   を備えることを特徴とする請求項１に記載の情報処理システム。
3. 前記生成手段は、前記管理手段で管理されるページ順に基づき、前記書類の裏返し前の撮像で得られたページの撮像データと前記書類の裏返し後の撮像で得られたページの撮像データとを、交互に用いて電子文書データを生成することを特徴とする請求項２に記載の情報処理システム。
4. 前記生成手段は、前記管理手段で管理されるページ順に基づき、前記書類の裏返しの前の撮像で得られたページの順方向からの撮像データと前記書類の裏返し後の撮像で得られたページの逆方向からの撮像データとを、交互に用いて電子文書データを生成することを特徴とする請求項２または３に記載の情報処理システム。
5. 前記管理手段は、前記書類の裏返し前の撮像で得られたページの撮像データを奇数ページとして、前記書類の裏返し後の撮像で得られたページの撮像データを偶数ページとして管理することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
6. 前記撮像部による撮像の終了指示を受け付ける受付手段を備え、
   前記管理手段は、前記書類が裏返されることなく前記受付手段により終了指示を受け付けた場合に、前記撮像部で撮像された順番を前記ページ順として管理することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
7. 前記書類の裏返し前の撮像で得られたページの撮像データの枚数と前記書類の裏返し後の撮像で得られたページの撮像データの枚数とに基づき、正しく撮影されているかを判定する判定手段と、
   前記判定手段で、正しく撮影されたと判定されない場合、警告を表示させるよう制御する表示制御手段と
   を備えることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。
8. 書類を撮像することが可能な撮像部を備える情報処理システムの制御方法であって、
   ユーザによる書類のめくり動作および書類の裏返し動作のジェスチャを検知する検知ステップと、
   前記撮像部での撮像により、前記めくり動作または裏返し動作がなされた前記書類の対象面の撮像データを取得する取得ステップと、
   前記取得ステップにより取得された撮像データを、前記検知ステップによる検知結果に基づいて書類のページ順になるように管理する管理ステップと
   を含むことを特徴とする情報処理システムの制御方法。
9. コンピュータを、請求項１乃至７のいずれか１項に記載の情報処理システムとして機能させるためのプログラム。
   

Images