JP6024330B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

従来、会議等で配布された資料に手書きで追記された手書き文書をスキャナにより画像データ化して保存することが行われている。例えば、手書きで追記された文書データ印刷物にスキャナ装置でスキャン処理して得られた画像データと、その画像データの元となる文書データの画像データとを比較した差分の画像データと、差分の画像データに文字認識処理を施して得た文字データとを、文書データに対応づけて記憶する情報処理装置が開示されている（特許文献１）。
この装置によれば、文書データと手書き部分の画像データ等を関連付けして保存することができる。

特開２０１０−２６２５８４号公報

しかしながら、上記のような装置では、手書きされた文書データ印刷物を画像データ化するためスキャン装置の設置してある場所に移動してデータ化する必要があり、またその手順も煩雑であるという課題を有していた。

本発明の課題は、記録媒体がユーザによってページめくりされた際に、元画像データを記録した記録媒体にユーザによって手書きで加筆された差分画像を元画像データに追記できるようにすることである。

本発明の情報処理装置は、記録媒体を撮影して画像データを取得する撮像手段と、前記撮像手段によって取得された画像データの元となる元画像データを取得する取得手段と、前記画像データと前記元画像データとを比較して差分画像データを取得する比較手段と、前記比較手段によって取得された差分画像データを元画像データに追記する追記手段と、を備え、前記取得手段は前記撮像手段であって、前記撮像手段により取得された前記元画像データを記憶する第１記憶手段と、前記撮像手段により連続して取得された前記画像データを順次更新して記憶する第２記憶手段と、前記撮像手段より連続して取得された前後の画像データの差分を計算してその差分値が手書き検出判定値を超えたか否かを判定する第１判定手段と、前記第１判定手段により、前記差分値が前記手書き検出判定値を超えないと判定された場合に、前記前後の画像データのうち後の画像データを前記第２記憶手段に記憶させる記憶制御手段と、前記差分値が前記手書き検出判定値を超えたと判定された場合に、前記差分値が前記手書き検出判定値より大きいめくり検出判定値を超えたか否かを判定する第２判定手段と、を備え、前記比較手段は、前記第２判定手段により前記差分値が前記めくり検出判定値を超えたと判定された場合、前記第１記憶手段に記憶された元画像データと、前記第２記憶手段に記憶された画像データとを比較して前記差分画像データを取得することを特徴とする。

本発明によれば、記録媒体がユーザによってページめくりされた際に、元画像データを記録した記録媒体にユーザによって手書きで加筆された差分画像を元画像データに追記することができる。

本実施形態に係る情報処理装置の外観斜視図である。 情報処理装置の第１のカバーを示す図である。 情報処理装置の内部構成を示すブロック図である。 情報処理装置におけるカバーの開閉状態を示す図である。（Ａ）は、情報処理装置の第１のカバーと第２のカバーとが開いた状態を示す図を、（Ｂ）は、第１のカバーの上に第２のカバーが重なり合う状態を示す図である。 本実施形態に係る情報処理装置により実行される第１手書き文書撮影保存処理のフローを示す図である。 第１手書き文書撮影保存処理開始後の、画像データの差分値と時間との関係を模式的に示した図である。 ユーザが文書データを印刷した記録媒体に文字等の追記をしている動作を示す図である。 ユーザが追記した記録媒体をめくっている動作を示す図である。 記憶部に記憶されている画像管理プログラムにより管理されている文書データのデータ構造を示す図である。 本実施形態に係る情報処理装置により実行される第２手書き文書撮影保存処理のフローを示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は、本実施形態に係る情報処理装置１００の外観斜視図である。

情報処理装置１００は、例えばＡ５サイズの大きさのタブレット型端末装置であり、本体部１２と、筐体としてのバインダ１３と、から構成されている。
本体部１２には、画面表示及びタッチ入力のためのタッチ表示部５、撮像手段としての撮像部８等が設けられている。撮像部８は、タッチ表示部５の外側の部分のうち、ヒンジ部１３ｃによる回転軸から遠い方の長手側の枠の中央部（図１では表面側の左側中央部）に配設されている。

筐体としてのバインダ１３は、第１の筐体としての第１のカバー１３ａと第２の筐体としての第２のカバー１３ｂとがヒンジ部１３ｃを回転軸として開閉可能に連結されて構成されている。第１のカバー１３ａには記録媒体１５が配置され、第２のカバー１３ｂには本体部１２が設けられている。本体部１２、記録媒体１５は、留め具、フック等により、バインダ１３に着脱可能に装着されている。

なお、本実施形態において、記録媒体１５とは、撮影すべき情報が記録されている媒体を示すものであり、例えば、情報が文書データを印刷することにより記録されている用紙、情報が印刷されている用紙、書籍等である。ただし、記録媒体１５は、撮像すべき情報が記録されている媒体であればよく、素材は紙に限定されない。記録媒体１５は、１枚のシート状の用紙であってもよいし、冊子状に綴じられていてもよい。また、記録媒体１５には、情報を電子的に表示可能な電子ペーパーも含まれる。

第１のカバー１３ａ及び第２のカバー１３ｂは、平板長方形状に構成され、ヒンジ部１３ｃにより、本や手帳を開閉するように、開閉可能となっている。図１は、第１のカバー１３ａと第２のカバー１３ｂとのなす角度が１８０°である状態（１８０°開いた状態）を図示している。ユーザは、１８０°開いた状態、または所定の角度の状態でタッチ表示部５に表示される画面の参照及びタッチ入力を行い、記録媒体１５に文字や図表等を記入する。

ヒンジ部１３ｃには、第１のカバー１３ａと第２のカバー１３ｂとのなす角度を検出する開閉角度センサ１４が設けられている。開閉角度センサ１４は、ヒンジ部１３ｃの軸の回転を検出するロータリーエンコーダや、ホール素子等を用いて開閉状態を検出する磁気センサによって構成されている。ここで開閉角度センサ１４は、検出手段として機能している。

図２は、情報処理装置１００の第１のカバー１３ａを示す図である。第１のカバー１３ａには記録媒体１５が配置され、記録媒体１５が配置される部分の外側である縁部にはマークＭ１〜Ｍ６が設けられている。マークＭ１〜Ｍ３は第１のカバー１３ａにおいてヒンジ部１３ｃに近い縁部に設けられている。マークＭ４〜Ｍ６は第１のカバー１３ａにおいてヒンジ部１３ｃに遠い縁部に設けられている。本実施形態におけるマークＭ１〜Ｍ６の形状は２つの四角形が角部を接している形状であるが、位置を識別できる形状であればよく、例えば、十字形等の形状であってもよい。これらのマークＭ１〜Ｍ６は、記録媒体１５とともに撮像部８によって撮影される。

図３は、情報処理装置１００の内部構成を示すブロック図である。情報処理装置１００は、機器の全体的な制御を行うＣＰＵ（Central Processing Unit）１と、操作キーを有する操作部６と、ＣＰＵ１に作業用のメモリ空間を提供するＲＡＭ（Random Access Memory）３と、表示パネル５ａにタッチパネル５ｂを積層配設した構造のタッチ表示部５と、ＣＰＵ１が実行する制御プログラムや制御データ等を格納した記憶部４と、無線通信部７と、被写体の光学像を撮影する撮像部８と、撮像部８を制御するカメラコントローラ９と、現在日時を計時する計時部１０と、第１のカバー１３ａと第２のカバー１３ｂとのなす角度を検出する開閉角度センサ１４等を備えている。ＣＰＵ１、操作部６、ＲＡＭ３、タッチ表示部５、記憶部４、無線通信部７、カメラコントローラ９、計時部１０、開閉角度センサ１４は、バス１１を介して接続されている。

ＣＰＵ１は、操作部６やタッチパネル５ｂから入力される操作信号に応じて情報処理装置１００の各部の処理動作を統括的に制御する。具体的には、ＣＰＵ１は、記憶部４に記憶されているシステムプログラムを読み出し、ＲＡＭ３のワークエリアに展開し、該システムプログラムに従って各部を制御する。また、ＣＰＵ１は、記憶部４に記憶されている処理プログラム４ａを読み出してワークエリアに展開し、後述する第１手書き文書撮影保存処理を実行することで、撮像制御手段、比較手段、付加手段、判定手段、記憶制御手段、台形補正手段として機能する。また、ＣＰＵ１は、後述する第２手書き文書撮影保存処理を実行することで、撮像制御手段、取得手段、比較手段、付加手段、台形補正手段として機能する。

第１記憶手段、第２記憶手段としてのＲＡＭ３は、揮発性のメモリである。また、ＲＡＭ３は、実行される各種プログラムやこれら各種プログラムに係るデータ等を格納するワークエリアを有する。

電源部（二次電池）２は各部に電源を供給する。

記憶部４は、例えば、磁気記録媒体を有するＨＤＤ（Hard Disk Drive）、書換式のＲＯＭ（Read Only Memory）、フラッシュメモリ等で構成される。記憶部４には、プログラム記憶部４１が設けられている。なお、記憶部４は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。

プログラム記憶部４１には、ＣＰＵ１で実行されるシステムプログラムや処理プログラム４ａ等が記憶されている。処理プログラム４ａには、第１手書き文書撮影保存処理、第２手書き文書撮影保存処理を始めとする各種処理を実行するためのプログラムが含まれる。また、文書データ等を管理等するための画像データ管理プログラム、ＯＣＲ（Optical Character Recognition）（光学文字認識）プログラムが含まれている。ＯＣＲプログラムは、画像処理により入力画像を２値化された画像データに認識処理し、予め記憶されたパターンとの照合により文字、符号を特定し、文字・符号データを出力するプログラムである。ここで、ＣＰＵ１は、ＯＣＲプログラムを実行することで画像データを文字認識する文字認識手段として機能している。
これらのプログラムは、コンピュータ読み取り可能なプログラムコードの形態でプログラム記憶部４１に格納されている。ＣＰＵ１は、当該プログラムコードに従った動作を逐次実行する。

タッチ表示部５は、表示パネル５ａにタッチパネル５ｂを積層配設した構造で、表示パネル５ａは、縦横比（例えば、横４：縦３）の異なる画面を有した高精細液晶ディスプレイであり、タッチパネル５ｂは、撮影者の指などでタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗膜方式を採用しているが、その他の方式であってもよい。

操作部６は、図示省略したが、電源をオン／オフさせる電源キーなどの押しボタン式のキーを備え、ＣＰＵ１は、この操作部６から操作キーに対応して出力される入力操作信号に応じた処理を行う。

無線通信部７は、高速大容量の通信が可能な無線通信モジュールであり、例えば、最寄りの無線ＬＡＮ（Local Area Network）ルータ（図示省略）を介してインターネットに接続可能となっている。ここで、無線通信部７は取得手段として機能している。

撮像部８は、被写体の光学像を撮影するもので、図示省略したが、光学レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を撮影するカメラモジュールであり、例えば、合焦駆動部と、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサと、タイミング発生器と、ドライバ等を備え、撮影された光学像を二次元の画像信号に変換する。撮像部８は、例えば、フレームレートが秒１５コマ（１５ｆｐｓ）の連続撮影（高速像）が可能となっている。ここで、撮像部８は撮像手段として機能している。また、撮像部８は取得手段として機能している。

カメラコントローラ９は、撮像部８を制御する。撮像部８の動作のための動作制御用信号はカメラコントローラ９から出力され、画像の取得開始、画像取得位置、オートフォーカスの制御をする。撮像部８から出力される画像データは、カメラコントローラ９で受け取り、ＣＰＵ１のＤＮＡ機能を使用してＲＡＭ３上に転送される。ここで、ＣＰＵ１およびカメラコントローラ９は撮像制御手段として機能する。

計時部１０は、図示しない発振回路部から入力される信号を計数して、内部時刻等を得る。そして当該内部時刻をＣＰＵ１に出力する。ここで、内部時刻とは、計時部９で計時される現在日時のことをいう。

次に、本実施形態に係る情報処理装置１００の動作について説明する。図４は情報処理装置１００におけるバインダ１３の開閉状態を示す図である。図４（Ａ）は、情報処理装置１００の第１のカバー１３ａと第２のカバー１３ｂとが開いた状態を示す図を、図４（Ｂ）は、第１のカバー１３ａの上に第２のカバー１３ｂが重なり合う状態を示す図である。

ユーザは、例えば、バインダ１３を開いた状態において情報処理装置１００を使用したり、記録媒体１５に図表などを書き入れたりすることができる。また、情報処理１００及び記録媒体１５を使用しないときには、第１のカバー１３ａと第２のカバー１３ｂとを閉じてバインダ１３を閉じる（角度は０度。）ことができる。

図５は、本実施形態に係る情報処理装置１００により実行される第１手書き文書撮影保存処理のフローを示す図である。以下、情報処理装置１００による第１手書き文書撮影保存処理について図５を参照して説明する。これらの処理は、ＣＰＵ１と記憶部４に記憶されている処理プログラムとの協働により実行される。

この第１手書き文書撮影保存処理が開始される前提として、例えば、情報処理装置１００が起動されている状態で文書データを印刷した記録媒体１５が第１のカバー１３ａ上に設置されているものとする。第１手書き文書撮影保存処理では、撮影に適する角度として、例えば、略１１０度が設定されている。また、撮影に適する角度（略１１０度）に合わせてフォーカス、露出などの撮影条件が設定されている。なお、撮影に適する角度は、１１０度に限られず、撮像部８の画角等に対応して例えば略７０度等の角度を選択することができる。また、元となる文書データは無線通信部７により取得され、記憶部４に記憶されているものとする。また、図示しないＵＳＢメモリ等の外部記憶媒体がＵＳＢコントローラ等で構成されたＩ／Ｆ部にて接続されて、元となる文書データがＩ／Ｆ部にて取得され、記憶部４に記憶されていてもよい。

ステップＳ１では、ＣＰＵ１は、ユーザの操作部６による操作に基づき、モードを第１手書き文書撮影保存処理のモードに決定する。

ステップＳ２では、ＣＰＵ１は、撮像部８を起動させる。

ステップＳ３では、ＣＰＵ１は、撮像部８により文書データを印刷した記録媒体１５を撮影して初期画像データとし、第１記憶手段としてのＲＡＭ３の初期画像データ記憶領域に記憶する。ここで、第１手書き文書撮影保存処理では、初期画像データが元画像データである。なお、第１手書き文書撮影保存処理では、文書データもまた元画像データである。その後、ユーザは文書データを印刷した記録媒体１５に文字等の追記を開始する。また、ＣＰＵ１は、この初期画像データを、第２記憶手段としてのＲＡＭ３の画像データ記憶領域に記憶する。

ステップＳ４では、ＣＰＵ１は、第１手書き文書撮影保存処理が終了したか否かを判断する。具体的には、後述するステップＳ１３による画像がＲＡＭ３に保存されている場合、または、第１手書き文書撮影保存処理開始後、所定時間経過した場合、および、手動による終了指示がされた場合に終了したと判断する。終了したと判断すると「ＹＥＳ」へ分岐して本処理を終了する。終了していないと判断すると、「ＮＯ」へ分岐してステップＳ４に移行する。

ステップＳ５では、ＣＰＵ１は、撮像部８から画像データを転送してＲＡＭ３に記憶する。

ステップＳ６では、ＣＰＵ１は、前回撮影された画像データと今回のステップＳ５で撮影された画像データとを比較して差分画像データを取得し、その差分画像データの差分値を計算する。ここで前回撮影された画像データとはステップＳ３における文書データを印刷した記録媒体１５の初期画像データである。また、ステップＳ７またはステップＳ８の処理を経てステップＳ４に戻った後においては、前回撮影された画像データとは前回のステップＳ５にて撮影された画像データである。

図６は、第１手書き文書撮影保存処理開始後の、画像データの差分値と時間との関係を模式的に示した図である。図７は、ユーザが、文書データを印刷した記録媒体１５に文字等の追記をしている動作を示す図である。図７のように、ユーザは間欠的に、文書データを印刷した記録媒体１５に文字等を追記する。追記する間、手の動作が文字等の追記に重畳して撮影されるため、画像データの差分値は大きくなる。追記が終わって手の位置が撮像部８の画角範囲外に外れると、画像データの差分値は小さくなる。手書き検出判定値とは、このような手書き動作を検出するために予め設定されている閾値である。

ステップＳ７では、ＣＰＵ１は、ステップＳ６で計算した差分値が手書き検出判定値を越えたか否かを判定する。画像データの差分値が手書き検出判定値を越えたと判定されると「ＹＥＳ」へ分岐してステップＳ９に移行する。画像データの差分値が手書き検出判定値を越えていないと判定されると「ＮＯ」へ分岐してステップＳ８に移行する。

ステップＳ８では、ＣＰＵ１は、ステップＳ５で転送された画像データを第２記憶手段としてのＲＡＭ３に記憶してステップＳ４に移行する。

ステップＳ９では、ＣＰＵ１は、ステップＳ６で計算した差分値がめくり検出判定値を越えたか否かを判定する。
図８は、ユーザが、追記した記録媒体１５をめくっている動作を示す図である。図８に示すように、ユーザが文書データを印刷した記録媒体１５をめくって次のページに移行したり、または、文書データを印刷した記録媒体１５を情報処理装置１００から取り除いたりすると、画像データの差分値は増大する。めくり検出判定値とは、このようなめくり動作等を検出するために予め設定されている閾値である。
画像データの差分値がめくり検出判定値を越えたと判定されると「ＹＥＳ」へ分岐してステップＳ１０に移行する。画像データの差分値がめくり検出判定値を越えていないと判定されると「ＮＯ」へ分岐してステップＳ４に移行する。

ステップＳ１０では、ＣＰＵ１は、第２記憶手段としてのＲＡＭ３への画像データ上書きを禁止する。

すなわち、ステップＳ４からステップＳ８において、ＣＰＵ１は、画像データの差分値が手書き検出判定値を越えていないと判定されると最新の画像データを第２記憶手段としてのＲＡＭ３に記憶し、ステップＳ９にて画像データの差分値がページめくり検出判定値を越えたと判定されると、ステップＳ１０において、第２記憶手段としてのＲＡＭ３への画像データ上書きを禁止する。

ステップＳ１１では、ＣＰＵ１は、第１記憶手段としてのＲＡＭ３に記憶された初期画像データと第２記憶手段としてのＲＡＭ３に記憶された画像データとに対し、台形補正処理、明るさ調整を行う。台形補正処理はマークＭ１〜Ｍ６の画像を参照し、公知の手法で行うことができる。ここで、撮像部８が第２のカバー１３ｂ側に設けられているので、例えば、長方形記録媒体の画像の対辺のうち、ヒンジ部１３ｃに近い縁部に設けられているマークＭ１〜Ｍ３側の画像の対辺は、ヒンジ部１３ｃに遠い縁部に設けられているマークＭ４〜Ｍ６側の画像の対辺に比べて拡大されている。そこで、解像度を下げないため、２つの対辺のうち、マークＭ４〜Ｍ６側の対辺の画像を拡大することにより台形を補正することがより好ましい。明るさ調整は画像データの輝度値を例えば、自動利得制御により調整する。

ステップＳ１２では、ＣＰＵ１は、台形補正された初期画像データと画像データとの差分画像データを取得する。この差分画像データが追記された部分の画像データに相当する。
なお、ステップＳ１１で台形補正処理・明るさ調整を行わず、差分データを取得した後に台形補正処理・明るさ調整を行ってもよい。

ステップＳ１３では、ＣＰＵ１は、その差分画像データを元となる文書データに付加する。即ち、差分画像データが元画像データとしての文書データに追記される。

ここで、ＣＰＵ１は、ＯＣＲ（Optical Character Recognition）（光学文字認識）プログラムにより、その差分画像データを文字認識した後で文書データに付加（追記）することもできる。

ステップＳ１４では、ＣＰＵ１は、「第２記憶手段としてのＲＡＭ３に記憶された最新の画像データ」と、差分画像データと、差分画像データが付加された文書データとを記憶部４に記憶する。その際、ＣＰＵ１は、元となる文書データに関連付けて、「第２記憶手段としてのＲＡＭ３に記憶された最新の画像データ」と、差分画像データと、差分画像データが付加された文書データとを記憶部４に記憶する。
なお、差分画像データが付加された文書データをタッチ表示部５に表示させ、元となる文書データに差分画像データが付加されたことをユーザが確認できるようにしてもよい。
図９は、記憶部４に記憶されている画像管理プログラムにより管理されている文書データのデータ構造を示す図である。個々の文書データ毎に、ＩＤ、画像名が登録されており、インデックス１に「第２記憶手段としてのＲＡＭ３に記憶された最新の画像データ」のＩＤが、インデックス２に差分画像データが、インデックス３に差分画像データが付加された文書データのＩＤが登録できるようになっている。ＣＰＵ１は、文書管理プログラムにより、「第２記憶手段としてのＲＡＭ３に記憶された最新の画像データ」と、差分画像データと、差分画像データが付加された文書データとをＩＤを付しつつ記憶するとともに、もとの文書データのデータ構造においてそれらのＩＤをインデックスとして記憶する。
また、元画像データ（初期画像データ）を文書データと関連付けて記憶部４に記憶してもよい。
さらに、ステップＳ１３において、ＣＰＵ１が、ＯＣＲプログラムにより、その差分画像データを文字認識した後で文書データに付加した場合には、ステップＳ１４では、文書データに文字認識された差分画像データが付加されたものが記憶されてもよい。
そして、ステップＳ４を経て本処理を終了する。

以上のように、本実施形態に係る情報処理装置１００によれば、撮像部８は、記録媒体１５を撮影して画像データを取得し、ＣＰＵ１は、撮像部８によって取得された画像データの元となる元画像データを取得し、ＣＰＵ１は、撮像部８により取得された画像データと元画像データとを比較して差分画像データを取得し、取得された差分画像データを元画像データに追記する。
これにより、記録媒体に手書きで文書、図形等の内容が加筆された後、加筆された内容を撮影して手書き加筆された部分に相当する差分画像を取得し、取得した差分画像を元画像データに追記することができる。

また、情報処理装置１００において、元画像を取得するのは撮像部８であって、撮像部８により取得された元画像データを記憶する第１記憶手段としてのＲＡＭ３と、撮像部８により連続して取得された画像データを順次更新して記憶する第２記憶手段としてのＲＡＭ３とを備え、ＣＰＵ１は、撮像部８より連続して取得された前後の画像データの差分を計算してその差分値が手書き検出判定値を越えたか否かを判定し、ＣＰＵ１は、差分値が手書き検出判定値を越えないと判定された場合にのみ、前後の画像データのうち後の画像データを第２記憶手段としてのＲＡＭ３に記憶させ、ＣＰＵ１は、撮像部８より連続して取得された前後の画像データの差分を計算してその差分値がめくり検出判定値を越えたか否かを判定し、ＣＰＵ１は、差分値がページめくり検出判定値を越えたと判定された場合、第１記憶手段としてのＲＡＭ３に記憶された元画像データと、第２記憶手段としてのＲＡＭ３に記憶された画像データとを比較して差分画像データを取得する。
これにより、ユーザの手書き動作とページめくり動作の検出により記録媒体に手書きで追記がされた際の画像データを適切に記憶することができ、追記された記録媒体の画像データと元画像データとを比較することにより追記された部分に相当する差分画像データを取得することができる。

また、情報処理装置１００において、ＣＰＵ１は、画像データに対し、台形補正を行い、ＣＰＵ１は、第１記憶手段としてのＲＡＭ３に記憶された元画像データと、第２記憶手段としてのＲＡＭ３に記憶された最新の画像データとが台形補正された後で、それらの画像データを比較して差分画像データを取得する。
これにより、それらの画像データが台形補正されるので台形補正された差分画像データを得ることができる。

また、情報処理装置１００において、ＣＰＵ１は、差分画像データを文字認識する。
これにより、文字認識された差分データが得られる。

続いて、図１０に示すフローチャートを用いて、本実施形態に係る情報処理装置１００における別の動作について説明する。

図１０は、本実施形態に係る情報処理装置１００により実行される第２手書き文書撮影保存処理のフローを示す図である。以下、情報処理装置１００による第２手書き文書撮影保存処理について図１０を参照して説明する。これらの処理は、ＣＰＵ１と記憶部４に記憶されている処理プログラムとの協働により実行される。

この第２手書き文書撮影保存処理が開始される前提として、ユーザは例えば、情報処理装置１００が起動されている状態で文書データを印刷した記録媒体１５に文字等の追記を行い、追記した後で情報処理装置１００のバインダ１３を閉じる動作が行われるものとする。第２手書き文書撮影保存処理では、撮影に適する角度として、例えば、略１１０度が設定されている。具体的には、ＣＰＵ１は、開閉角度センサ１４によって第１のカバー１３ａと第２のカバー１３ｂとの角度（撮像に最適な角度）として略１１０度が検出された際に、撮像部８により生成された画像を取得することになる。また、撮像に最適な角度（略１１０度）に合わせてフォーカス、露出などの撮像条件が設定されている。なお、撮影に適する角度は、１１０度に限られず、撮像部８の画角等に対応して例えば略７０度等の角度を選択することができる。また、元画像データとしての文書データは無線通信部７により取得され、記憶部４に記憶されているものとする。また、図示しないＵＳＢメモリ等の外部記憶媒体がＵＳＢコントローラ等で構成されたＩ／Ｆ部にて接続されて、元画像データとしての文書データが取得され、記憶部４に記憶されていてもよい。

ステップＳ２１では、ＣＰＵ１は、ユーザの操作部６による操作に基づき、撮影モードを第２手書き文書撮影保存処理のモードに決定する。

ステップＳ２２では、ＣＰＵ１は、撮像部８を起動させる。

ステップＳ２３では、ＣＰＵ１は、開閉角度センサ１４の信号を取得する。

ステップＳ２４では、ＣＰＵ１は、開閉角度センサ１４からの信号により第１のカバー１３ａと第２のカバー１３ｂとのなす角度が予め設定されている角度（例えば略１１０度）以下の所定角度範囲になっているか否かを判断する。このステップは、ユーザの閉じる動作により、第１のカバー１３ａと第２のカバー１３ｂとが所定の角度範囲に入り撮影状態になっているかを判断するステップである。
所定の角度範囲になっていると判断されると「ＹＥＳ」へ分岐してステップＳ２５に移行する。所定の角度範囲になっていないと判断されると「ＮＯ」へ分岐してステップＳ２３に移行する。

ステップＳ２５では、ＣＰＵ１は、撮像部８を制御して記録媒体１５を撮影させ、撮像部８により撮影された画像データを取得してＲＡＭ３に転送して記憶する

ステップＳ２６では、ＣＰＵ１は、ＲＡＭ３上に記憶されている画像データに対して、台形補正処理、明るさ調整を行う。台形補正処理はマークＭ１〜Ｍ６の画像を参照し、公知の手法で行うことができる。ここで、撮像部８が第２のカバー１３ｂ側に設けられているので、例えば、長方形記録媒体の画像の対辺のうち、ヒンジ部１３ｃに近い縁部に設けられているマークＭ１〜Ｍ３側の画像の対辺は、ヒンジ部１３ｃに遠い縁部に設けられているマークＭ４〜Ｍ６側の画像の対辺に比べて拡大されている。そこで、解像度を下げないため、２つの対辺のうち、マークＭ４〜Ｍ６側の対辺の画像を拡大することにより台形を補正することがより好ましい。

ステップＳ２７では、ＣＰＵ１は、台形補正された画像データと、取得手段としての無線通信部７により取得されて記憶部４に記憶されている元画像データとしての文書データとの差分画像を取得する。この差分画像が追記された部分の画像データである。

ステップＳ２８では、ＣＰＵ１は、差分画像データを文書データに付加する。即ち、差分画像データが元画像データとしての文書データに追記される。
ここで、ＣＰＵ１は、ＯＣＲ（Optical Character Recognition）（光学文字認識）プログラムにより、台形補正処理された画像データを文字認識した後で文書データに付加することもできる。

ステップＳ２９では、ＣＰＵ１は、台形補正された画像データと、差分画像データと、差分画像データが付加された文書データとを記憶部４に記憶する。その際、ＣＰＵ１は、もとの文書データに関連付けて記憶部４に記憶する。
関連付けて記憶する方法は、第１手書き文書撮影保存処理におけるステップＳ１３と同じである。

以上のように、情報処理装置１００によれば、記録媒体１５が配置される第１の筐体である第１のカバー１３ａと、ヒンジ部１３ｃにより第１のカバー１３ａと開閉可能に連結され、本体部１２が設けられた第２の筐体である第２のカバー１３ｂと、第１のカバー１３ａと第２のカバー１３ｂとが所定の状態まで閉じられたことを検出する開閉角度センサ１４とを備え、ＣＰＵ１は、画像データに対し、台形補正を行い、撮像部８は、本体部１２の第１のカバー１３ａに対向する位置に設けられており、開閉角度センサ１４により第１のカバー１３ａと第２のカバー１３ｂとが所定の状態まで閉じられたことが検出されたタイミングで画像データを取得し、ＣＰＵ１は、元画像データと、台形補正後の画像データとを比較することにより差分画像データを取得する。
これにより、バインダ１３が閉じられたことが検出されたタイミングで自動的に、記録文書に追記がされた画像データを取得するとともに、追記された部分に相当する差分画像データを取得することができる。

本発明の実施形態を説明したが、本発明の範囲は上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明とその均等の範囲に含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［付記］
＜請求項１＞
記録媒体を撮影して画像データを取得する撮像手段と、
前記撮像手段によって取得された画像データの元となる元画像データを取得する取得手段と、
前記画像データと前記元画像データとを比較して差分画像データを取得する比較手段と、
前記比較手段によって取得された差分画像データを元画像データに追記する追記手段と、
を備えることを特徴とする情報処理装置。
＜請求項２＞
前記取得手段は前記撮像手段であって、
前記撮影手段により取得された前記元画像データを記憶する第１記憶手段と、
前記撮影手段により連続して取得された前記画像データを順次更新して記憶する第２記憶手段と、
前記撮像手段より連続して取得された前後の画像データの差分を計算してその差分値が手書き検出判定値を越えたか否かを判定する判定手段と、
前記判定手段により、前記差分値が手書き検出判定値を越えないと判定された場合にのみ、前記前後の画像データのうち後の画像データを前記第２記憶手段に記憶させる記憶制御手段と、を備え、
前記判定手段は、前記差分値が手書き検出判定値を越えたと判定された場合に、前記差分値がめくり検出判定値を越えたか否かを判定し、
前記比較手段は、前記判定手段により前記差分値がページめくり検出判定値を越えたと判定された場合、前記第１記憶手段に記憶された元画像データと、前記第２記憶手段に記憶された画像データとを比較して前記差分画像データを取得することを特徴とする請求項１記載の情報処理装置。
＜請求項３＞
前記画像データに対し、台形補正を行う台形補正手段を備え、
前記比較手段は、前記第１記憶手段に記憶された元画像データと、前記記憶制御手段により第２記憶手段に記憶された最新の画像データとが台形補正手段により台形補正された後で、それらの画像データを比較して差分画像データを取得することを特徴とする請求項２に記載の情報処理装置。
＜請求項４＞
前記記録媒体が配置される第１の筐体と、
前記第１の筐体と開閉可能に連結され、本体部が設けられた第２の筐体と、
前記第１の筐体と前記第２の筐体とが予め決められた角度まで閉じられたことを検出する検出手段と、
前記画像データに対し、台形補正を行う台形補正手段と、
を備え、
前記撮像手段は、前記本体部の前記第１の筐体に対向する位置に設けられており、前記検出手段により前記第１の筐体と前記第２の筐体とが前記予め決められた角度まで閉じられたことが検出されたタイミングで前記画像データを取得し、
前記比較手段は、前記元画像データと、前記台形補正後の画像データとを比較することにより差分画像データを取得することを特徴とする請求項１に記載の情報処理装置。
＜請求項５＞
前記差分画像データを文字認識する文字認識手段を備えることを特徴とする請求項１〜４の何れか一項に記載の情報処理装置。
＜請求項６＞
コンピュータを、
記録媒体を撮影して画像データを取得する撮像手段を制御する撮像制御手段、
前記撮像手段によって取得された画像データの元となる元画像データを取得する取得手段、
前記画像データと前記元画像データとを比較して差分画像データを取得する比較手段、
前記比較手段によって取得された差分画像データを元画像データに追記する追記手段、
として機能させるためのプログラム。

１００ 情報処理装置
１ ＣＰＵ（取得手段、比較手段、追記手段、付加手段、判定手段、記憶制御手段、台形補正手段、撮像制御手段、文字認識手段）
２ 電源部
３ ＲＡＭ（第１記憶手段、第２記憶手段）
４ 記憶部
４１ プログラム記憶部
４ａ 処理プログラム
５ タッチ表示部
５ａ 表示パネル
５ｂ タッチパネル
６ 操作部
７ 無線通信部（取得手段）
８ 撮像部（撮像手段）
９ カメラコントローラ（撮像制御手段）
１０ 計時部
１１ バス
１２ 情報処理装置本体部
１３ バインダ
１３ａ 第１のカバー（第１の筐体）
１３ｂ 第２のカバー（第２の筐体）
１３ｃ ヒンジ部
１４ 開閉角度センサ（検出手段）
１５ 記録媒体

Claims (6)

1. 記録媒体を撮影して画像データを取得する撮像手段と、
   前記撮像手段によって取得された画像データの元となる元画像データを取得する取得手段と、
   前記画像データと前記元画像データとを比較して差分画像データを取得する比較手段と、
   前記比較手段によって取得された差分画像データを元画像データに追記する追記手段と、
   を備え、
   前記取得手段は前記撮像手段であって、
   前記撮像手段により取得された前記元画像データを記憶する第１記憶手段と、
   前記撮像手段により連続して取得された前記画像データを順次更新して記憶する第２記憶手段と、
   前記撮像手段より連続して取得された前後の画像データの差分を計算してその差分値が手書き検出判定値を超えたか否かを判定する第１判定手段と、
   前記第１判定手段により、前記差分値が前記手書き検出判定値を超えないと判定された場合に、前記前後の画像データのうち後の画像データを前記第２記憶手段に記憶させる記憶制御手段と、
   前記差分値が前記手書き検出判定値を超えたと判定された場合に、前記差分値が前記手書き検出判定値より大きいめくり検出判定値を超えたか否かを判定する第２判定手段と、
   を備え、
   前記比較手段は、前記第２判定手段により前記差分値が前記めくり検出判定値を超えたと判定された場合、前記第１記憶手段に記憶された元画像データと、前記第２記憶手段に記憶された画像データとを比較して前記差分画像データを取得することを特徴とする情報処理装置。
2. 記録媒体を連続撮影して画像データを取得する撮像手段を起動し、起動後に最初に前記撮像手段により撮影された画像データを前記記録媒体の初期画像データとして初期画像記憶手段に記憶させる第１記憶制御手段と、
   前記撮像手段の起動後に第１タイミングで撮影された画像データと前記第１タイミングに連続する第２タイミングで撮影された画像データとの差分値を計算する計算手段と、
   前記計算手段により計算された差分値が予め決められためくり検出判定値を超えない場合は、前記第２タイミングで撮影された画像データを前記記録媒体に追記された追記画像データとして追記画像記憶手段に記憶させる第２記憶制御手段と、
   前記計算手段により計算された差分値が前記めくり検出判定値を超えた場合は、前記初期画像記憶手段に記憶された初期画像データと前記追記画像記憶手段に記憶された追記画像データとを比較して差分画像データを取得する比較手段と、
   前記比較手段により取得された差分画像データを前記初期画像記憶手段に記憶された初期画像データに追記する追記手段と、
   を備えることを特徴とする情報処理装置。
3. 前記画像データに対し、台形補正を行う台形補正手段を備え、
   前記比較手段は、前記第１記憶手段に記憶された元画像データと、前記記憶制御手段により第２記憶手段に記憶された最新の画像データとが台形補正手段により台形補正された後で、それらの画像データを比較して差分画像データを取得することを特徴とする請求項１に記載の情報処理装置。
4. 前記差分画像データを文字認識する文字認識手段を備えることを特徴とする請求項１または２に記載の情報処理装置。
5. コンピュータを、
   記録媒体を撮影して画像データを取得する撮像手段を制御する撮像制御手段、
   前記撮像手段によって取得された画像データの元となる元画像データを取得する取得手段、
   前記画像データと前記元画像データとを比較して差分画像データを取得する比較手段、
   前記比較手段によって取得された差分画像データを元画像データに追記する追記手段、
   として機能させるためのプログラムであって、
   前記取得手段は前記撮像手段であって、
   前記撮像手段により取得された前記元画像データを記憶する第１記憶手段、
   前記撮像手段により連続して取得された前記画像データを順次更新して記憶する第２記憶手段、
   前記撮像手段より連続して取得された前後の画像データの差分を計算してその差分値が手書き検出判定値を超えたか否かを判定する第１判定手段、
   前記第１判定手段により、前記差分値が前記手書き検出判定値を超えないと判定された場合に、前記前後の画像データのうち後の画像データを前記第２記憶手段に記憶させる記憶制御手段、
   前記差分値が前記手書き検出判定値を超えたと判定された場合に、前記差分値が前記手書き検出判定値より大きいめくり検出判定値を超えたか否かを判定する第２判定手段、
   として機能させ、
   前記比較手段は、前記第２判定手段により前記差分値が前記めくり検出判定値を超えたと判定された場合、前記第１記憶手段に記憶された元画像データと、前記第２記憶手段に記憶された画像データとを比較して前記差分画像データを取得することを特徴とするプログラム。
6. コンピュータを、
   記録媒体を連続撮影して画像データを取得する撮像手段を起動し、起動後に最初に前記撮像手段により撮影された画像データを前記記録媒体の初期画像データとして初期画像記憶手段に記憶させる第１記憶制御手段、
   前記撮像手段の起動後に第１タイミングで撮影された画像データと前記第１タイミングに連続する第２タイミングで撮影された画像データとの差分値を計算する計算手段、
   前記計算手段により計算された差分値が予め決められためくり検出判定値を超えない場合は、前記第２タイミングで撮影された画像データを前記記録媒体に追記された追記画像データとして追記画像記憶手段に記憶させる第２記憶制御手段、
   前記計算手段により計算された差分値が前記めくり検出判定値を超えた場合は、前記初期画像記憶手段に記憶された初期画像データと前記追記画像記憶手段に記憶された追記画像データとを比較して差分画像データを取得する比較手段、
   前記比較手段により取得された差分画像データを前記初期画像記憶手段に記憶された初期画像データに追記する追記手段、
   として機能させるためのプログラム。

Images