JP5434272B2 - 情報処理装置及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

手書きによる筆跡情報を抽出する技術が開発されている。位置情報を表す情報画像を合成した画像を印刷し、その印刷物に対して、情報画像を読み取る電子ペンで筆記した場合に、その筆跡情報を抽出することが行われている。

これに関連する技術として、例えば、特許文献１には、紙に書き込んだ筆跡情報を、紙の位置情報で時系列化したデータとすることができる電子ペンを利用して記入される場合において、電子ペンから情報を受け取った情報処理装置が、記入条件の違いを第３者が容易に識別できるようにすることを課題とし、情報処理装置で、紙の識別情報と、電子ペンの識別情報と、時系列位置情報からなる筆跡情報と、これら情報を受け付けた時刻情報と、紙面の領域を区分する属性情報が与えられるとき、これら情報を組み合わせて情報処理を行い、情報処理の結果にしたがって特徴を区別して表示することが開示されている。

また、例えば、特許文献２には、手書きで行われた帳票であっても、その処理を迅速に、かつ、容易に行うための帳票受け付けシステムを提供することを課題とし、電子ペンを用いて手書きで記入された公文書公開請求書を、公文書公開請求書のフォーマットデータに手書き文字のイメージデータを貼り付けることで再現し、再現された公文書公開請求書と、イメージデータをテキストデータに変換した公文書公開請求書とを並べて画面表示させることで、手書きの公文書公開請求書を電子データとして受け付けることを可能にしたことが開示されている。

また、例えば、特許文献３には、信頼性の高いサインデータを効率的に管理するシステムを提案することを課題とし、電子処理用ペーパーである伝票に対して電子ペンによって記入されたサインデータを管理する伝票管理方法であって、伝票管理装置が、伝票を一意に特定する伝票ＩＤと、所定の目的のために決められた形式で構成される伝票フォームを一意に特定する伝票フォームＩＤと、伝票ごとに記入される記入データと、電子ペンが認識可能なドットパターンを含む少なくとも１つの記入欄データと、伝票の記入欄に対して電子ペンによって記入された筆跡データを含む少なくとも１つのサインデータと、を関連付けてデータベースに記録することが開示されている。

また、例えば、特許文献４には、利用者が電子ペン用帳票に記入した情報に基づいて、記入内容の真正性を検証し、迅速に処理を行うことができる申込処理システムを提供することを課題とし、申込処理システムにおいて、利用者は、電子ペンを使用して申込書に記入を行い、電子ペンは、利用者が記入したチェックマークや文字に関する記入情報を取得し、取得した記入情報は、サーバにより取得され、サーバは、座標情報を参照することにより、利用者が記入した申込書を構成する項目の項目識別情報を特定し、さらに、サーバは、項目識別情報に基づいて座標情報を参照することにより、対応する項目の内容を特定し、当該項目の内容と記入情報に基づいて利用者による記入ミスの検出を行い、検出した記入ミスに関する情報を利用者に提示することが開示されている。

また、例えば、特許文献５には、情報処理システムは、位置コーディングされたベースをオンデマンドで印刷することを可能とする装置を含み、この装置では、現行のグラフィックオブジェクトが、本システムに事前にストアされているグラフィックオブジェクトの集合から選択されるが、これら事前ストアされているグラフィックオブジェクトはその各々が、グラフィック情報を定義し、また、少なくとも一つの処理目安がグラフィック情報に関係付けるルールオブジェクトに対応しており、この装置では、現行のグラフィックオブジェクトは、位置データバンクからの位置データを割り当てられ、この割り当てられた位置データは、位置コーディング済みベースを形成するために、グラフィック情報と一緒にサブストレートに適用され、この装置はまた、本システム中に割り当てデータを提供するが、本システムはこの割り当てられた位置データをグラフィックオブジェクトに関連付け、これで、ベースからデジタルペンデバイスによって読み取られた位置データが、適切なルールオブジェクトを用いて本システム中で処理することが可能となるようにすることが開示されている。

また、例えば、特許文献６には、個々に所定の情報を表す複数の画像が全面に印刷された紙媒体であって、前記個々の画像は、前記紙媒体上の座標情報と、個々の紙媒体を識別する為に前記紙媒体ごとに割り当てられたＩＤを特定するための情報との両方を表すことを特徴とする紙媒体が開示されている。

特開２００３−３０８１６９号公報 特開２００３−３０８４７９号公報 特開２００５−１２２５５２号公報 特開２００６−０７９２５４号公報 特表２００６−５０４１８１号公報 特許第４０３７０２６号公報

ところで、前述の背景技術では、情報画像を合成すべき領域又は合成すべきでない領域が指定された場合、情報画像が合成された領域と情報画像が合成されていない領域の境界においては、抽出すべき筆記情報を抽出できない又は抽出すべきでない筆記情報を抽出してしまうということがある。
本発明は、かかる課題を解決するようにした情報処理装置及び情報処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、操作者の操作に応じて、画像内の領域を指定する指定手段と、前記指定手段により指定された領域を、当該領域に設定された属性に基づいて変更する変更手段と、前記変更手段により変更された領域に基づいて、前記画像に位置情報を表す情報画像を合成する合成手段と、を有する情報処理装置である。
請求項２の発明は、領域に属性を設定する設定手段、を有し、前記変更手段は、前記設定手段により設定された領域の属性に基づいて当該領域を変更する、請求項１に記載の情報処理装置である。
請求項３の発明は、前記変更手段は、前記領域に設定された属性が記入領域を示す場合に、前記領域を拡大させ、前記合成手段は、前記変更手段により拡大された前記領域に対して前記情報画像を合成する、請求項１又は２に記載の情報処理装置である。
請求項４の発明は、前記変更手段は、前記領域に設定された属性が前記記入領域でない領域を示す場合には、前記領域を拡大又は縮小させ、前記合成手段は、前記領域に設定された属性が前記記入領域でない領域を示す場合に前記変更手段により拡大又は縮小された前記領域に対しては前記情報画像を合成しない、請求項１から３のうちのいずれか一項に記載の情報処理装置である。

請求項５の発明は、前記変更手段は、前記指定手段によって指定された領域を少なくとも含むように拡大することを特徴とする請求項１に記載の情報処理装置である。

請求項６の発明は、前記変更手段は、前記指定手段によって指定された領域を縮小することを特徴とする請求項１に記載の情報処理装置である。

請求項７の発明は、前記合成手段は、前記変更手段によって変更された領域内に前記情報画像を合成することを特徴とする請求項１、５、６のうちのいずれか一項に記載の情報処理装置である。

請求項８の発明は、前記合成手段は、前記変更手段によって変更された領域以外の領域に前記情報画像を合成することを特徴とする請求項１、５、６のうちのいずれか一項に記載の情報処理装置である。

請求項９の発明は、コンピュータを、操作者の操作に応じて、画像内の領域を指定する指定手段と、前記指定手段により指定された領域を、当該領域に設定された属性に基づいて変更する変更手段と、前記変更手段により変更された領域に基づいて、前記画像に位置情報を表す情報画像を合成する合成手段として機能させることを特徴とする情報処理プログラムである。

請求項１、２、３、４の情報処理装置によれば、情報画像を合成すべき領域又は合成すべきでない領域が指定された場合、情報画像が合成された領域と情報画像が合成されていない領域の境界においては、抽出すべき筆記情報を抽出できない又は抽出すべきでない筆記情報を抽出してしまうという事態を抑制することができる。

請求項５、６、７、８の情報処理装置によれば、筆記される可能性がない領域に対しては人間による判読性を減少させることを抑制し、筆記される可能性がある領域に対しては情報画像が合成されないという事態を抑制することができる。

請求項９の情報処理プログラムによれば、情報画像を合成すべき領域又は合成すべきでない領域が指定された場合、情報画像が合成された領域と情報画像が合成されていない領域の境界においては、抽出すべき筆記情報を抽出できない又は抽出すべきでない筆記情報を抽出してしまうという事態を抑制することができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態による処理例を示すフローチャートである。 対象画像の例である文書画像を示す説明図である。 情報画像の例を示す説明図である。 スキャナ付きペンの構造例を示す説明図である。 文書画像に情報画像を合成した例を示す説明図である。 本実施の形態において、文書画像に情報画像を合成する処理例を示す説明図である。 本実施の形態において、文書画像に情報画像を合成する処理例を示す説明図である。 本実施の形態において、文書画像に情報画像を合成する処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。
情報画像とは、機械可読な態様で位置情報を表す電子データを表すために体系的に作られた画像コードをいい、具体的な例として、図４を用いて後述する。

本実施の形態である画像処理装置（情報処理装置）は、画像に情報画像を合成するものであって、図１に示すように、対象画像受付モジュール１１０、領域指定モジュール１２０、領域変更モジュール１３０、重畳画像生成モジュール１４０、重畳画像合成モジュール１５０、画像出力モジュール１６０を有している。
対象画像受付モジュール１１０は、領域指定モジュール１２０と接続されている。対象画像受付モジュール１１０は、対象画像を受け付けて、その画像を領域指定モジュール１２０へ渡す。画像を受け付けるとは、例えば、スキャナ、カメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子で映像を撮影すること、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている画像を読み出すこと等が含まれる。画像は、２値画像であってもよいし、多値画像（カラー画像を含む）であってもよい。受け付ける画像は、１枚であってもよいし、複数枚であってもよい。また、画像の内容として、利用者による手書きの書き込みが想定されているものであり、例えば、申込書等が該当する。より適している対象画像として、手書きの書き込みの領域（以下、記入部分領域ともいう）があるとともに、人間が判読すべきものが印刷された領域（例えば、記入欄に対する説明が記載された部分等がある。以下、説明部分領域ともいう）があるものである。つまり、判読すべきものが印刷された領域に情報画像を合成してしまうと、判読性を減少させてしまうような領域である。なお、判読すべきものが印刷された領域には、文字以外に、図形、写真等が印刷されたものであってもよい。文字の判読以外に、情報画像を合成することによって、写真等の見やすさ、見栄え等を減少させてしまうものも含む。つまり、ここでの判読性には、観賞性も含む。

領域指定モジュール１２０は、対象画像受付モジュール１１０、領域変更モジュール１３０と接続されている。対象画像受付モジュール１１０から対象画像を受け取り、操作者の操作に応じて、対象画像内の領域、その領域の属性を指定する。そして、対象画像、領域、その属性を領域変更モジュール１３０へ渡す。
指定する領域は、矩形を例示するが、矩形以外の形状（例えば、自由曲線で囲まれた領域等）であってもよい。領域変更モジュール１３０へ渡す領域としては、例えば、矩形であれば左上角の座標と右下角の座標、自由曲線であればその線上の各画素の座標等が該当する。
操作者の操作としては、例えば、画像処理装置のディスプレイに対象画像を表示し、マウス等のユーザーインタフェースを用いて、記入枠等に沿って領域を指定するようにしてもよいし、対象画像にマーカーペン等を用いて領域を描き、その画像内のマーカーペンで囲まれた領域を指定領域として認識するようにしてもよい。

指定する領域としては、記入部分領域又は説明部分領域がある。記入部分領域を指定するとは、情報画像を合成すべき領域を指定することであり、説明部分領域を指定するとは、情報画像を合成しない領域（その他の領域には情報画像を合成することになる）を指定することである。
また、領域の属性としては、「筆記情報取得」、「筆記情報取得優先」、「原稿画像判読性優先」、「筆記情報不取得Ａ」、「筆記情報不取得Ｂ」がある。なお、この指定する属性は、いずれかの属性として予め設定しておいてもよいし、操作者の操作に応じて、いずれかの属性であるかを決定するようにしてもよい。

（１） 「筆記情報取得」とは、記入部分領域を指定する場合であって、その領域と情報画像を合成する領域とを一致させる場合である。
（２） 「筆記情報取得優先」とは、記入部分領域を指定する場合であって、その領域内において筆記された筆記情報を確実に取得できるようにするものである。つまり、指定された領域よりも拡大した領域に情報画像を合成するものである。

（３） 「原稿画像判読性優先」とは、説明部分領域を指定する場合であって、その領域と情報画像を合成しない領域とを一致させる場合である。したがって、その領域以外に情報画像を合成することとなる。
（４） 「筆記情報不取得Ａ」とは、説明部分領域を指定する場合であって、その領域では筆記情報を取得しないことを優先させるものである。つまり、指定された領域よりも拡大した領域に情報画像を合成させないようにするものである。したがって、その拡大領域以外に情報画像を合成することとなり、情報画像を合成する領域自体は原稿画像判読性優先の場合よりも小さくなる。
（５） 「筆記情報不取得Ｂ」とは、説明部分領域を指定する場合であって、その領域以外では筆記情報を取得することを優先させるものである。つまり、指定された領域よりも縮小した領域に情報画像を合成させないようにするものである。したがって、その縮小領域以外に情報画像を合成することとなり、情報画像を合成する領域自体は原稿画像判読性優先の場合よりも大きくなる。

領域変更モジュール１３０は、領域指定モジュール１２０、重畳画像生成モジュール１４０と接続されている。領域指定モジュール１２０によって指定された領域を変更する。そして、対象画像、変更した領域、その領域の属性を重畳画像生成モジュール１４０へ渡す。領域の変更として、拡大と縮小がある。なお、重畳画像生成モジュール１４０へ渡す領域の属性としては、前述の属性の他に、記入部分領域又は説明部分領域のいずれであるかであってもよい。

領域の属性として「筆記情報取得優先」又は「筆記情報不取得Ａ」が指定された場合、その領域を拡大する。領域を拡大するとは、その指定された領域を少なくとも含むような領域に大きくすることをいう。
例えば、その拡大は縦横に対して同じ拡大率であってもよいし、縦と横では異なる拡大率であってもよい。そして、拡大の中心を領域の中心にする必要はなく、領域の中心とは異なった位置を拡大の中心とした拡大であってもよい。例えば、拡大の中心を領域の中心から右側にした場合は、左側が右側よりも大きく拡大されることになる。さらには、矩形の領域の場合、上下左右に拡大する幅はそれぞれ異ならせてもよい。

領域の属性として「筆記情報不取得Ｂ」が指定された場合、その領域を縮小する。領域を縮小するとは、その指定された領域の一部を少なくとも含まないような領域に小さくすることをいう。
例えば、その縮小は縦横に対して同じ縮小率であってもよいし、縦と横では異なる縮小率であってもよい。そして、拡大の中心を領域の中心にする必要はなく、領域の中心とは異なった位置を縮小の中心とした縮小であってもよい。例えば、縮小の中心を領域の中心から右側にした場合は、左側が右側よりも大きく縮小されることになる。さらには、矩形の領域の場合、上下左右に縮小する幅はそれぞれ異ならせてもよい。
この拡大、縮小に関する値（パラメータ、例えば、拡大率、縮小率、拡大する幅、縮小する幅等）は、予め定められた値の他に、情報画像のコード体系、情報画像を読み取るペンの種類等に基づいて決定するようにしてもよい。ここで、ペンの種類に基づいて拡大、縮小に関する値の決定を行う場合は、筆記情報を取得するスキャナ付きペンのペン先とペンに備えられた画像読取モジュールとの位置関係に基づいて行うこととなる。スキャナ付きペンの構造に関しては後述する。

重畳画像生成モジュール１４０は、領域変更モジュール１３０、重畳画像合成モジュール１５０と接続されている。領域変更モジュール１３０によって変更された領域、その領域の属性に基づいて、対象画像に対して合成すべき情報画像を生成する。そして、対象画像、生成した情報画像を重畳画像合成モジュール１５０へ渡す。
記入部分領域であることを示す属性である場合は、変更された領域内に対して重畳する合成ができるように情報画像を生成する。
説明部分領域であることを示す属性である場合は、変更された領域以外の領域に対して重畳する合成ができるように情報画像を生成する。

重畳画像合成モジュール１５０は、重畳画像生成モジュール１４０、画像出力モジュール１６０と接続されている。領域変更モジュール１３０によって変更された領域に基づいて、対象画像受付モジュール１１０が受け付けた対象画像に、重畳画像生成モジュール１４０が生成した情報画像を合成する。そして、情報画像を合成した画像を画像出力モジュール１６０へ渡す。

画像出力モジュール１６０は、重畳画像合成モジュール１５０と接続されている。重畳画像合成モジュール１５０によって対象画像受付モジュール１１０が受け付けた対象画像に情報画像が合成された画像を受け取り、その画像を出力する。画像を出力するとは、例えば、プリンタ等の印刷装置で印刷すること、ディスプレイ等の表示装置に表示すること、ファックス等の画像送信装置で画像を送信すること、画像データベース等の画像記憶装置へ画像を書き込むこと、メモリーカード等の記憶媒体に記憶すること等が含まれる。なお、印刷装置で印刷する媒体として、紙、ＯＨＰ（ＯｖｅｒＨｅａｄ Ｐｒｏｊｅｃｔｏｒ）用のフィルム等を含む。

図２は、本実施の形態による処理例を示すフローチャートである。
ステップＳ２０２では、対象画像受付モジュール１１０が、対象画像を受け付ける。
図３は、対象画像の例である文書画像３００を示す説明図である。文書画像３００は、説明部分領域３１０、記入部分領域３２０が含まれている。記入部分領域３２０は手書きの文字が記入される領域であり、説明部分領域３１０はその説明文が記載されている領域である。

ステップＳ２０４では、領域指定モジュール１２０が、操作者の操作に応じて、対象画像内の領域、その領域の属性を指定する。図３の例に示す文書画像３００では、指定される領域として説明部分領域３１０又は記入部分領域３２０である。記入部分領域３２０が領域として指定されるとは、少なくともその記入部分領域３２０内に情報画像を合成することを意図しているものであり、属性としては「筆記情報取得」又は「筆記情報取得優先」が指定される。説明部分領域３１０が領域として指定されるとは、少なくともその説明部分領域３１０内の部分は情報画像が合成されないことを意図しているものであり、属性としては「原稿画像判読性優先」、「筆記情報不取得Ａ」又は「筆記情報不取得Ｂ」が指定される。

ここで、情報画像について、図４を用いて説明する。図４は、情報画像の例を示す説明図である。
この例は、米国ゼロックス社のパロアルト研究所で開発された、角度の異なる斜線でデータを表現するグリフコード（例えば、特開平６−１０３３９０号公報、特開平６−７５７９５号公報）を情報画像であるコードシンボルとして用いた２次元コードパターン画像である。

この例では、単位領域４００は８シンボル×８シンボルの正方形領域である。各シンボルの値は、図４（ｂ）、図４（ｃ）に示すように斜線パターンで表現される。この例では、シンボル値０は垂直線に対して反時計回りに４５度の角度をなす右下がりの斜線（図４（ｂ）の例のパターン０）で、シンボル値１は垂直線に対して時計回りに４５度の角度をなす右上がりの斜線（図４（ｃ）の例のパターン１）で表現される。

このうち、位置コード画像４０２は、単位領域４００の左上隅の６シンボル×６シンボルの正方形の画像であり、識別コード画像４０４は、単位領域４００からその６×６シンボルの正方形を引いた残りの逆Ｌ字領域の画像となる。

また、この例では、単位領域４００の外周に沿って縦横の各方向に、同期コード４０６の列及び行を設けている。この例では、同期コード４０６は、右上がり（「１」）の斜線シンボルの連続であり、シンボルのサイズと配列ピッチは単位領域４００内のシンボルサイズ及びピッチと同じである。同期コード４０６は、縦及び横に等間隔で設けられ、それら同期コード４０６で囲まれる正方形領域に各単位領域４００が設けられる。同期コード４０６は、各単位領域４００の区切りを示す。すなわち、２次元コードパターン画像を読み取った装置では、右上がりのシンボルが連続している行及び列を検出すると、それら行と列とで形成される格子の網目の内部を単位領域４００と認識することができ、その単位領域４００の左上隅の６×６のシンボルが位置コード画像４０２と認識できる。

なお、同期コード４０６は、単位領域４００又は位置コード画像４０２の場所を特定することができるものであれば、図４に例示したようなものでなくてもよい。例えば、単位領域４００の四隅に斜線シンボルとは異なる特定形状のシンボルを配置したものを同期コード４０６としてもよい。図４の例では、同期コード４０６のためにシンボル１つ分の幅の行及び列を使ったが、同期コード４０６を構成するマークが十分に小さいものであれば、単位領域４００を隙間なく２次元配列し、隣接する単位領域４００の余白部分にそのマークを配置するようにしてもよい。

図４の例では、１つの位置コード画像４０２には合計３６シンボル、すなわち３６ビットのデータが格納されている。３６ビットのうち、１８ビットをｘ座標の符号化に、１８ビットをｙ座標の符号化に使用することができる。各１８ビットを全て位置の符号化に使用すると、２＾１８通り（約２６万通り）の位置を符号化できる。各斜線パターンが、図４（ｂ）、図４（ｃ）の例に示したように８画素×８画素で構成されている場合、６００ｄｐｉ（ドット・パー・インチ）で印刷すると、６００ｄｐｉの１ドットの縦横の長さは０．０４２３ｍｍなので、縦横共に、図４の２次元コード（同期コード４０６を含む）の縦、横の長さは３ｍｍ程度（＝１シンボル当たり８画素×９シンボル×０．０４２３ｍｍ）となる。３ｍｍ間隔で２６万通りの位置を符号化した場合、約７８６ｍの長さを符号化できる。読取の精度がよければ１８ビット全てを位置の符号化に使用することもできるが、読取エラーが問題となる場合は、誤り検出や誤り訂正のための冗長ビットを含めることが好適である。１８ビットに占める冗長ビットの割合を増やすと誤り検出や誤り訂正の能力が高まるが、表現できる位置の範囲が小さくなる。

また、図４の例では、識別コード画像４０４は、２ビット×８ビットの矩形領域及び２ビット×６ビットの矩形領域に配置されており、合計２８ビットの識別情報を格納できる。識別情報として２８ビットを使用した場合は、約２億７千万通り（２＾２８通り）の識別情報を表現できるが、２８ビットのうちのいくつかのビットを誤り検出や誤り訂正のための冗長ビットとすることで読取エラーに対処できるようにしてもよい。なお、識別情報とは、例えば、用紙を一意的に識別する用紙識別番号等である。識別情報が用紙識別番号である場合、１つの用紙に印刷される単位領域４００内の識別コード画像４０４は同じものとなる。もちろん、単位領域４００内の位置コード画像４０２によって表される位置情報は、その用紙内における位置を示す情報であるので、それぞれの単位領域４００内の位置コード画像４０２は異なったものとなる。

以上の例では、互いに角度が９０度異なる２つの斜線パターンをシンボルとして用いることで１シンボルで１ビットのデータを表現したが、これは一例にすぎない。例えばシンボルに垂直線と水平線のパターンを追加すれば２ビットの情報を１シンボルで表現できる。このように、１シンボルの斜線パターンの角度種類を増やすことで、１シンボルが表現できるビット数を増加することも可能である。また、グリフコード以外の情報画像を用いてもよい。

このような情報画像を読み取るスキャナ付きペン（スキャナ型ペン）がある。図５は、情報画像を読み取れるスキャナ付きペン５１０の構造例を示す説明図である。なお、コード印刷媒体５０１上には、情報画像が印刷されている。
スキャナ付きペン５１０は、芯５１１、画像読取モジュール５１２、制御・送信モジュール５１３を有している。スキャナ付きペン５１０の操作者の操作に応じて、芯５１１によってコード印刷媒体５０１上に文字等が筆記される。そして、画像読取モジュール５１２は、例えば数十〜百数十フレーム毎秒程度の比較的高速な連続撮像を行い、フレームごとにスキャンしてから読取画像を制御・送信モジュール５１３へ出力する。制御・送信モジュール５１３は、画像読取モジュール５１２が読み取った画像を情報処理装置へ送信する。読取画像を受信した情報処理装置（制御・送信モジュール５１３が内蔵していてもよい）は、読取画像中から同期コード４０６を検出する。図４の例のようなコードパターン画像の場合、右上がりの斜線パターンが連続して現れる行及び列を同期コード４０６の行、列として検出する。なお、同期コードとしては図４に例示したもの以外にも従来から提案されている様々なものを用いることができ、その同期コードの種類に応じた従来からある検出方式で検出できる。

読取画像から、位置コード画像４０２と識別コード画像４０４とが抽出される。コード読取装置は、それら位置コード画像４０２と識別コード画像４０４に対してコード認識処理を施すことで、位置情報と識別情報を再生する。ここで行われるコード認識処理は、大略的にいえば、情報画像の生成処理の逆の処理である。識別コード画像４０４を代表として説明すると、情報処理装置は、まず識別コード画像４０４から各斜線シンボルを認識することで、各シンボルの値を求め、各シンボルの値を識別コード画像４０４中での各シンボルの配列位置に合わせて配列した識別コード行列を求める。そして、この識別コード行列に対し、直列的（シリアル）な識別コードを求め、この識別コードに対し、符号化方式に対応した復号処理を施すことで、識別情報を復号する。位置コード画像４０２についても、同等の処理により、位置情報を復号できる。１フレームごとに前述の抽出及び認識の処理を行い、位置情報及び識別情報を求める。

このようにして各フレームの読取画像から求められた位置情報及び識別情報は、これら情報を利用するアプリケーションソフトウェアに提供され、利用される。例えば、情報画像が印刷された用紙に対し、操作者がスキャナ付きペン５１０で書き込んだ筆記跡を電子情報として取り込むアプリケーションの場合、識別情報からその用紙を特定してその用紙の原画像を取得し、連続して読み取られる各フレームから取得した位置情報から操作者の筆記の軌跡を求め、その軌跡を示す画像を原画像に重畳して記録するなどの処理を行う。

例えば、指定された領域のみに情報画像を合成した場合、記入部分の領域の端部に筆記した情報を取得できないことがある。図５の例に示されるとおり、筆記情報を取得するスキャナ付きペン５１０は、ペン先の座標を直接求めているのではなく、ペン先とは少しずれた領域（スキャナ付きペン５１０の構造による）の画像を取得し、そこの情報画像から位置情報を取得し、ペン先と画像読取モジュール５１２との位置関係等から、ペン先の座標を推定しているためである。つまり、ペンの持ち方などによっては、記入部分の領域内にスキャナ付きペン５１０で筆記したとしても、画像読取モジュール５１２で撮像している部分に情報画像がない場合がある。特に、情報画像が合成された領域と情報画像が合成されていない領域の境界において発生しやすい。そして、撮像画像から位置情報が取得できないので、ペン先の座標の推定もできないこととなる。又は、記入部分の領域をはみ出て筆記が行われた場合等があるからである。また逆に、抽出すべきでない筆記情報を抽出してしまうことも起こりえる。情報画像が合成されていない領域に筆記しているにもかかわらず、ペンの持ち方などによっては、画像読取モジュール５１２で撮像している部分に情報画像がある場合があるからである。

ここで、ステップＳ２０４、ステップＳ２０６が行われない場合（従来の技術の場合）について説明する。図６は、文書画像３００に情報画像を合成した例を示す説明図である。文書画像３００は、説明部分領域３１０、記入部分領域３２０、重畳領域６１０を有している。重畳領域６１０と文書画像３００が同じであるので、情報画像が一面に合成されている。記入部分領域３２０には情報画像が合成されている必要があるが、筆記される可能性が低い領域である説明部分領域３１０に対しても情報画像が合成されてしまっている。これによって、説明部分領域３１０の判読性が落ちることになる。

ステップＳ２０６では、領域変更モジュール１３０が、ステップＳ２０４で指定された領域を、その属性に基づいて変更する。
図７は、本実施の形態において、文書画像３００に情報画像を合成する処理例を示す説明図である。説明部分領域３１０、記入部分領域３２０を含む文書画像３００（図７（ａ））に対して、操作者の操作に応じて記入部分領域３２０を囲む指定領域７２０ｂが指定された場合であり、その指定領域７２０ｂの属性は筆記情報取得優先であるとする（図７（ｂ））。この場合、領域変更モジュール１３０は、指定領域７２０ｂを少なくとも含む拡大を行い、指定領域７２０ｂを重畳領域７２０ｃに変更する（図７（ｃ））。

図８は、本実施の形態において、文書画像３００に情報画像を合成する処理例を示す説明図である。説明部分領域３１０を含む文書画像３００（図８（ａ）、つまり説明部分領域３１０以外は自由な記載が許されているような場合）に対して、操作者の操作に応じて説明部分領域３１０を囲む指定領域８２０ｂが指定された場合（非指定領域８１０ｂは指定領域８２０ｂを除いた領域となる）であり、その指定領域８２０ｂの属性は筆記情報不取得Ａであるとする（図８（ｂ））。この場合、領域変更モジュール１３０は、指定領域８２０ｂを少なくとも含む拡大を行い、指定領域８２０ｂを非重畳領域８２０ｃ（情報画像を合成する領域である重畳領域８１０ｃは非重畳領域８２０ｃを除いた領域となる）に変更する（図８（ｃ））。また、指定領域８２０ｂの属性が筆記情報不取得Ｂである場合（図８（ｂ））、領域変更モジュール１３０は、指定領域８２０ｂの縮小を行い、指定領域８２０ｂを非重畳領域８２０ｄ（情報画像を合成する領域である重畳領域８１０ｄは非重畳領域８２０ｄを除いた領域となる）に変更する（図８（ｄ））。

図９は、本実施の形態において、文書画像３００に情報画像を合成する処理例を示す説明図である。図８の例と異なるところは、文書画像３００が説明部分領域３１０以外に記入部分領域３２０を含んでいる点である。つまり、記入部分領域３２０だけでなく、その他の部分に対しても情報画像を合成するようにしてもよい例を示している。

ステップＳ２０８では、重畳画像生成モジュール１４０が、ステップＳ２０６で変更された領域、属性に基づいて、対象画像に重畳する情報画像を生成する。つまり、例えば、識別情報、その領域内の各位置を示す位置情報から情報画像からなる重畳画像を生成する。
ステップＳ２１０では、重畳画像合成モジュール１５０が、対象画像にステップＳ２０８で生成した重畳画像を合成する。
ステップＳ２１２では、画像出力モジュール１６０が、ステップＳ２１０で対象画像に重畳画像を合成した画像を出力する。

図１０を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図１０に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部１０１７と、プリンタなどのデータ出力部１０１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００１は、前述の実施の形態において説明した各種のモジュール、すなわち、領域指定モジュール１２０、領域変更モジュール１３０、重畳画像生成モジュール１４０、重畳画像合成モジュール１５０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００２は、ＣＰＵ１００１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００３は、ＣＰＵ１００１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１００４により相互に接続されている。

ホストバス１００４は、ブリッジ１００５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１００６に接続されている。

キーボード１００８、マウス等のポインティングデバイス１００９は、操作者により操作される入力デバイスである。ディスプレイ１０１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１００１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受け付けた対象画像などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ１０１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１０１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１００７、外部バス１００６、ブリッジ１００５、及びホストバス１００４を介して接続されているＲＡＭ１００３に供給する。リムーバブル記録媒体１０１３も、ハードディスクと同等のデータ記録領域として利用可能である。

接続ポート１０１４は、外部接続機器１０１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１０１４は、インタフェース１００７、及び外部バス１００６、ブリッジ１００５、ホストバス１００４等を介してＣＰＵ１００１等に接続されている。通信部１０１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部１０１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１０１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図１０に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１０に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１０に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。
なお、前述の各モジュールの処理内容として背景技術で説明した技術を採用してもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

１１０…対象画像受付モジュール
１２０…領域指定モジュール
１３０…領域変更モジュール
１４０…重畳画像生成モジュール
１５０…重畳画像合成モジュール
１６０…画像出力モジュール
５０１…コード印刷媒体
５１０…スキャナ付きペン
５１１…芯
５１２…画像読取モジュール
５１３…制御・送信モジュール

Claims (9)

1. 操作者の操作に応じて、画像内の領域を指定する指定手段と、
   前記指定手段により指定された領域を、当該領域に設定された属性に基づいて変更する変更手段と、
   前記変更手段により変更された領域に基づいて、前記画像に位置情報を表す情報画像を合成する合成手段と、
   を有する情報処理装置。
2. 領域に属性を設定する設定手段、
   を有し、
   前記変更手段は、前記設定手段により設定された領域の属性に基づいて当該領域を変更する、
   請求項１に記載の情報処理装置。
3. 前記変更手段は、前記領域に設定された属性が記入領域を示す場合に、前記領域を拡大させ、
   前記合成手段は、
   前記変更手段により拡大された前記領域に対して前記情報画像を合成する、
   請求項１又は２に記載の情報処理装置。
4. 前記変更手段は、前記領域に設定された属性が前記記入領域でない領域を示す場合には、前記領域を拡大又は縮小させ、
   前記合成手段は、前記領域に設定された属性が前記記入領域でない領域を示す場合に前記変更手段により拡大又は縮小された前記領域に対しては前記情報画像を合成しない、
   請求項１から３のうちのいずれか一項に記載の情報処理装置。
5. 前記変更手段は、前記指定手段によって指定された領域を少なくとも含むように拡大する
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記変更手段は、前記指定手段によって指定された領域を縮小する
   ことを特徴とする請求項１に記載の情報処理装置。
7. 前記合成手段は、前記変更手段によって変更された領域内に前記情報画像を合成する
   ことを特徴とする請求項１、５、６のうちのいずれか一項に記載の情報処理装置。
8. 前記合成手段は、前記変更手段によって変更された領域以外の領域に前記情報画像を合成する
   ことを特徴とする請求項１、５、６のうちのいずれか一項に記載の情報処理装置。
9. コンピュータを、
   操作者の操作に応じて、画像内の領域を指定する指定手段と、
   前記指定手段により指定された領域を、当該領域に設定された属性に基づいて変更する変更手段と、
   前記変更手段により変更された領域に基づいて、前記画像に位置情報を表す情報画像を合成する合成手段
   として機能させることを特徴とする情報処理プログラム。

Images