JP6194408B2 - クロッピング装置、クロッピング方法、および、プログラム - Google Patents

Description

本発明は、クロッピング装置、クロッピング方法、および、プログラムに関する。

従来、オーバヘッドスキャナ等の画像読取装置において、本などの厚みのある綴じ媒体の画像を取得する場合に、原稿領域に応じてクロッピングする技術が開発されている。

例えば、直線成分、エッジ成分から輪郭を抽出して、抽出した輪郭に沿ってクロッピングを行う方法が開発されている（特許文献１を参照）。

また、カメラに関する位置およびカメラ較正パラメータのような既知のシステム配置情報を使用して、イメージから原稿範囲を直接決定する際に、何が文書に属していて何が属していないかを知るために、大きな曲率または奥行きの変化についての調査を用いてデータに適合される一般的な面を解析することによって原稿領域を判定する方法が開発されている（特許文献２を参照）。

特開２０１３−２６８３０号公報 特許第４６２３８９８号公報

しかしながら、従来のクロッピング方法では、原稿台と原稿の色が同等でエッジが抽出しにくいような場合など、正確にクロッピング対象の原稿領域を判定できず精度が低いという問題点を有していた。

本発明は、上記問題点に鑑みてなされたもので、原稿台と原稿の色が同等でエッジが抽出しにくいような場合であっても、精度よくクロッピングすることができる、クロッピング装置、クロッピング方法、および、プログラムを提供することを目的とする。

このような目的を達成するため、本発明に係るクロッピング装置は、原稿の３次元情報を取得する３次元情報取得手段と、３次元情報において、色および深度に基づいて原稿領域を判定して、当該原稿領域に対してクロップ処理を行うクロップ処理手段と、を備える。上記クロップ処理手段は、色情報から色エッジ、および、深度情報から深度エッジを抽出するエッジ抽出手段、を更に備え、上記色エッジおよび上記深度エッジに基づいて上記原稿領域を判定し、上記色エッジと上記深度エッジの対応点間の距離が閾値を超える場合は、画像中心から遠い点を優先して上記原稿領域を判定し、上記色エッジと上記深度エッジの対応点間の距離が閾値を超えない場合は、上記色エッジおよび上記深度エッジのうち、上記色エッジを優先して上記原稿領域を判定する。

また、本発明に係るクロッピング方法は、原稿の３次元情報を取得する３次元情報取得ステップと、３次元情報において、色情報から色エッジ、および、深度情報から深度エッジを抽出するエッジ抽出ステップと、上記色エッジと上記深度エッジの対応点間の距離が閾値を超える場合は、画像中心から遠い点を優先して原稿領域を判定し、上記色エッジと上記深度エッジの対応点間の距離が閾値を超えない場合は、上記色エッジおよび上記深度エッジのうち、上記色エッジを優先して上記原稿領域を判定してクロップ処理を行うクロップ処理ステップと、を含む。

また、本発明に係るプログラムは、原稿の３次元情報を取得する３次元情報取得ステップと、３次元情報において、色情報から色エッジ、および、深度情報から深度エッジを抽出するエッジ抽出ステップと、上記色エッジと上記深度エッジの対応点間の距離が閾値を超える場合は、画像中心から遠い点を優先して原稿領域を判定し、上記色エッジと上記深度エッジの対応点間の距離が閾値を超えない場合は、上記色エッジおよび上記深度エッジのうち、上記色エッジを優先して上記原稿領域を判定してクロップ処理を行うクロップ処理ステップと、をコンピュータに実行させる。

また、本発明に係るコンピュータ読み取り可能な記録媒体は、前記に記載の本発明に係るプログラムを記録する。

この発明によれば、原稿台と原稿の色が同等でエッジが抽出しにくいような場合であっても、精度よくクロッピングすることができる。

図１は、情報処理装置１００の一例を示すハードウェア構成図である。 図２は、情報処理装置１００の一例を示す機能ブロック図である。 図３は、画像読取装置１２から原稿台までの位置関係が固定である場合の情報処理装置１００における全体処理の一例を示すフローチャートである。 図４は、画像読取装置１２から原稿台までの位置関係が可変である場合の情報処理装置１００における全体処理の一例を示すフローチャートである。 図５は、原稿と原稿が載置された原稿台の関係を模式的に示した図である。 図６は、本実施形態の情報処理装置１００におけるクロッピング処理の一例を示すフローチャートである。 図７は、図６におけるクロッピング処理の出力概念図である。 図８は、本実施形態の情報処理装置１００におけるクロッピング処理の他の例を示すフローチャートである。 図９は、図８におけるクロッピング処理の出力概念図である。 図１０は、画像読取装置１２から原稿台までの位置関係が未知である場合の情報処理装置１００における原稿台深度推定処理の一例を示すフローチャートである。 図１１は、原稿台に載置された原稿を模式的に示した図である。 図１２は、情報処理装置１００におけるメッシュ分割処理の一例を示すフローチャートである。 図１３は、原稿領域がメッシュ分割される様子を模式的に示した図である。 図１４は、原稿領域がメッシュ分割される様子を模式的に示した図である。 図１５は、最終的にメッシュ分割された結果を模式的に示す図である。 図１６は、本実施形態において適用するばねモデルを模式的に示した図である。 図１７は、情報処理装置１００における伸張処理の一例を示すフローチャートである。 図１８は、伸張前の旧メッシュ集合を示した図である。 図１９は、伸張後の新メッシュ集合を示した図である。 図２０は、情報処理装置１００におけるマッピング処理の一例を示すフローチャートである。 図２１は、メッシュ集合とＲＧＢ画像とのマッピング処理を模式的に示した図である。

以下に、本発明に係るクロッピング装置、クロッピング方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。特に、本実施形態においては、読み取り対象を雑誌などの原稿として説明することがあるが、これに限られず、新聞紙や、ステープルで綴じられた媒体や、単票を重ねた束等を読み取り対象としてもよい。

［１．本実施形態の構成］
本実施形態に係る情報処理装置１００の構成について図１を参照して説明する。図１は、情報処理装置１００の一例を示すハードウェア構成図である。

図１に示すように、本実施形態は、クロッピング方法を実行する情報処理装置１００と、原稿画像を取得する画像読取装置１２を備える。なお、情報処理装置１００は、記憶部１０６および制御部１０２を備え、画像読取装置１２は、パターン光源１２１および画像読取部１２２を備える。これら各部は任意の通信路を介して通信可能に接続されている。また、画像読取部１２２は、リニアセンサとエリアセンサのいずれであってもよく、あるいは２種類のセンサを備えてもよい。なお、本実施の形態において、パターン光源１２１を原稿に照射して３次元情報を取得する例について説明するが、これに限られず、パターン光源を用いずに、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式にて３次元情報を取得してもよい。

ここで、図２は、情報処理装置１００の一例を示す機能ブロック図である。記憶部１０６は、各種のデータベースやテーブルやファイルなどを格納する。記憶部１０６は、ストレージ手段であり、例えばＲＡＭ・ＲＯＭ等のメモリ装置や、ハードディスクのような固定ディスク装置、フレキシブルディスク、光ディスク等を用いることができる。記憶部１０６には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に命令を与え各種処理を行うためのコンピュータプログラムが記録されている。ここで、図２は、情報処理装置１００の記憶部１０６の一例を示すブロック図である。

図２に示すように、記憶部１０６は、図示の如く、画像データ一時ファイル１０６ａ、３次元ファイル１０６ｂ、加工画像ファイル１０６ｃを備える。

このうち、画像データ一時ファイル１０６ａは、読取制御部１０２ａによりで読み取られた画像データを一時的に記憶する。

また、３次元ファイル１０６ｂは、画像データ一時ファイル１０６ａに格納された画像データに基づいて生成された３次元情報を記憶する。

また、加工画像ファイル１０６ｃは、画像データ一時ファイル１０６ａに格納された画像データ、および／または、３次元ファイル１０６ｂに格納された３次元情報から、加工または編集された加工画像データを記憶する。

入出力インターフェース部１０８は、入力部１１２および出力部１１４を、制御部１０２と接続する。入力部１１２としては、画像読取装置１２等の画像読取手段のほか、マウスやキーボード等を用いることができ、出力部１１４としては、モニタやディスプレイ等の表示手段や、マイク等の音声出力手段を用いることができる。

制御部１０２は、情報処理装置１００を統括的に制御するＣＰＵ等からなる。制御部１０２は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。

図２に示すように、制御部１０２は、図示の如く、大別して、読取制御部１０２ａと、３次元情報取得部１０２ｂと、クロップ処理部１０２ｃと、メッシュ分割部１０２ｅと、伸張処理部１０２ｆと、色マッピング部１０２ｇとを備える。

読取制御部１０２ａは、入力部１１２として画像読取装置１２を制御して、原稿を含む画像を取得し、画像データ一時ファイル１０６ａに格納する。例えば、読取制御部１０２ａは、パターン光源１２１からパターン光が照射されるように制御して、画像読取部１２２を介して、パターン光が照射された原稿の画像を取得してもよい。より具体的には、読取制御部１０２ａは、パターン光源１２１を制御して、対象物に対して位相パターンを照射し、パターン光源と同期するように、画像読取を実施する。この位相パターンを照射した複数枚の画像が取得されると、後述する、３次元情報取得部１０２ｂが３次元形状を復元する。このほか、読取制御部１０２ａは、パターン光を照射することなく、原稿の色情報（ＲＧＢ情報等）を取得してもよい。すなわち、前者によって、深度情報が取得され、後者によって、色情報が取得されることとなる。

３次元情報取得部１０２ｂは、画像データ一時ファイル１０６ａに格納された、パターン光が照射された原稿を含む画像データに基づいて、深度情報を含む３次元情報を取得し、３次元ファイル１０６ｂに格納する。例えば、３次元情報取得部１０２ｂは、公知のパターン光投影法に基づいて、３次元情報を取得してもよい。なお、３次元情報取得部１０２ｂは、公知のＴＯＦ方式に基づいて、３次元情報を取得してもよい。

クロップ処理部１０２ｃは、３次元情報において原稿領域をクロップ処理する。例えば、クロップ処理部１０２ｃは、３次元ファイル１０６ｂに格納された３次元情報において、色および深度に基づいて原稿領域を判定し、当該原稿領域に対してクロップ処理を行ってもよい。なお、クロップ処理部１０２ｃは、判定した原稿領域の外側の背景領域の深度情報を、伸張処理部１０２ｆ等による後処理のために取得してもよい。なお、クロップ処理部１０２ｃは、クロップ処理した原稿領域の３次元情報を、３次元ファイル１０６ｂに格納する。

ここで、図２に示すように、本実施形態において、クロップ処理部１０２ｃは、画像データ一時ファイル１０６ａに格納された色情報から色エッジ、および、３次元ファイル１０６ｂに格納された深度情報から深度エッジを抽出するエッジ抽出部１０２ｄを備える。そして、クロップ処理部１０２ｃは、エッジ抽出部１０２ｄにより抽出された色エッジおよび深度エッジに基づいて原稿領域を判定してもよい。ここで、クロップ処理部１０２ｃは、色エッジおよび深度エッジのうち、色エッジを優先して原稿領域を判定してもよい。より具体的には、色エッジおよび深度エッジの対応点間の距離が近い場合、深度よりも見た目の切れ目でクロップを行うため、クロップ処理部１０２ｃは、色エッジを優先して原稿領域を判定してもよい。

ここで、エッジ抽出部１０２ｄにより抽出された色エッジと深度エッジの対応点間の距離が閾値を超える場合、クロップ処理部１０２ｃは、画像中心から遠い点を優先して原稿領域を判定してもよい。換言すれば、色エッジと深度エッジの対応点間の距離が閾値を超える場合、原稿よりも外側で誤検出が起こることはないと考え、原稿欠けを防止してクロッピングの信頼性を上げるために、クロップ処理部１０２ｃは、色エッジおよび深度エッジのうち、画像中心から遠い点を優先して原稿領域を判定する。

クロップ処理部１０２ｃは、原稿が綴じられた媒体であるときは、綴じ方向の走査により得られた深度エッジを優先して原稿領域を判定してもよい。すなわち、厚みのある綴じ媒体である場合、自然な紙の浮き上がりなどで立体的な形状の変化が起こるので、綴じ方向に深度エッジが現れやすい。そのため、クロップ処理部１０２ｃは、綴じ方向の走査により得られた深度エッジを色エッジよりも優先して原稿領域を判定する。反対に、クロップ処理部１０２ｃは、綴じ方向とは垂直方向の走査により得られた色エッジを深度エッジよりも優先して原稿領域を判定してもよい。

メッシュ分割部１０２ｅは、３次元情報を矩形メッシュに分割する。本実施形態において、メッシュ分割部１０２ｅは、３次元情報を矩形メッシュに分割する場合において、深度に応じて適応的に細かくメッシュ分割する。より具体的には、メッシュ分割部１０２ｅは、３次元情報に対して、メッシュ分割した近似平面の誤差が閾値以上ある場合に、当該矩形メッシュを更に複数の矩形にメッシュ分割する処理を繰り返す。これにより、紙の浮きや折り目などに応じて細かくメッシュを設定することができ、特にメッシュ間に折り目などの顕著な変化点が存在する場合は、更に細かくメッシュを設定することができるので、歪み補正の精度が向上する。

ここで、メッシュ分割部１０２ｅは、３次元情報取得部１０２ｂにより取得された原稿領域と背景領域を含む３次元情報を矩形メッシュに分割することに限られず、クロップ処理部１０２ｃによりクロップ処理された原稿領域の３次元情報を矩形メッシュに分割してもよい。これにより、原稿領域のみの３次元情報を扱うことができ、演算負荷の軽減や、後述するばねモデルを用いることによる背景領域から悪影響を除去することができる。なお、本実施形態においては、原稿領域のクロップ処理によって、背景領域の３次元情報を除去する例について説明するが、これに限られず、読取制御部１０２ａによる読取を行う際に、透明な原稿台に原稿を載置することによっても原稿領域のみの３次元情報を取得することができる。

伸張処理部１０２ｆは、メッシュ分割部１０２ｅにより分割した３次元情報を平面に伸張させる。より具体的には、伸張処理部１０２ｆは、メッシュ分割した各領域の３次元頂点間に、ばねモデルを適用した上で、３次元頂点を基準平面に伸張させる。ここで、伸張処理部１０２ｆは、３次元情報取得部１０２ｂにより取得された３次元情報において、クロップ処理部１０２ｃにより原稿領域と判定された領域の外側の背景領域の深度を、基準面の深度として平面に伸張させてもよい。なお、画像読取装置１２と原稿台の位置関係が予め固定である場合等においては、伸張処理部１０２ｆは、予め設定された所定の深度平面に対して伸張させてもよい。

色マッピング部１０２ｇは、伸張処理部１０２ｆにより伸張された平面データ上に、画像データ一時ファイル１０６ａに記憶された色情報をマッピングする。より具体的には、色マッピング部１０２ｇは、画像データ一時ファイル１０６ａに記憶された色情報（ＲＧＢ情報等）について、伸張前の矩形メッシュ形状から伸張後の矩形メッシュ形状への変形が反映されるように、平面データ上にマッピングする。

［２．本実施形態の処理］
上述した構成の情報処理装置１００で実行される処理例について、図３〜図２１を参照して説明する。なお、以下の実施形態の処理では、クロッピング方法のみならず、原稿歪み補正方法をも実施する例について説明するが、本願発明は、この処理例に限定されるものではなく、クロッピング方法など説明中の一部処理のみを本願発明の対象としてもよいものである。

［２−１．全体処理（その１）］
本実施形態の情報処理装置１００における全体処理の一例について図３を参照して説明する。図３は、画像読取装置１２から原稿台までの位置関係が固定である場合の情報処理装置１００における全体処理の一例を示すフローチャートである。

図３に示すように、まず、３次元情報取得部１０２ｂは、読取制御部１０２ａの処理により、画像読取装置１２を制御して、原稿が載置されていない原稿台の画像を取得することにより、原稿台の深度情報を取得する（ステップＳＡ−１）。なお、この処理は、初回だけ行われる処理であり、画像読取装置１２から原稿台までの位置関係が固定であるため、２回目以降は、同じ原稿台の深度を利用する。

つづいて、３次元情報取得部１０２ｂは、読取制御部１０２ａの処理により、画像読取装置１２を制御して、原稿が載置された原稿台の画像を取得することにより、原稿の色情報と３次元情報（深度情報等）を取得する（ステップＳＡ−２）。なお、この３次元情報には、原稿領域と背景領域の３次元情報が含まれている。

そして、クロップ処理部１０２ｃは、３次元情報において、色および深度に基づいて原稿領域を判定し、当該原稿領域に対してクロップ処理を行う（ステップＳＡ−３）。これにより、原稿領域のみの３次元情報が得られる。

そして、メッシュ分割部１０２ｅは、深度に応じて適応的に細かくメッシュ分割することにより、３次元情報を矩形メッシュに分割する（ステップＳＡ−４）。より具体的には、メッシュ分割部１０２ｅは、３次元情報に対して、メッシュ分割した近似平面の誤差が閾値以上ある場合に、当該矩形メッシュを更に複数の矩形にメッシュ分割する処理を繰り返すことで、歪みに応じて適応的に細かくメッシュ分割を行う。

そして、伸張処理部１０２ｆは、メッシュ分割部１０２ｅにより分割した３次元情報を、ステップＳＡ−１で得られた固定の深度の平面に伸張させる（ステップＳＡ−５）。より具体的には、伸張処理部１０２ｆは、メッシュ分割した各領域の３次元頂点間に、ばねモデルを適用した上で、３次元頂点を、深度固定の基準平面に伸張させる。

そして、色マッピング部１０２ｇは、伸張処理部１０２ｆにより伸張された平面データ上に、画像データ一時ファイル１０６ａに記憶された色情報をマッピングする（ステップＳＡ−６）。より具体的には、色マッピング部１０２ｇは、画像データ一時ファイル１０６ａに記憶された色情報（ＲＧＢ情報等）について、伸張前の矩形メッシュ形状から伸張後の矩形メッシュ形状への変形が反映されるように、平面データ上にマッピングする。

以上が、本実施形態の情報処理装置１００における全体処理の一例である。

［２−２．全体処理（その２）］
ここで、上述した全体処理の他の例について図４を参照して説明する。図４は、画像読取装置１２から原稿台までの位置関係が可変である場合の情報処理装置１００における全体処理の一例を示すフローチャートである。

図４に示すように、まず、３次元情報取得部１０２ｂは、読取制御部１０２ａの処理により、画像読取装置１２を制御して、原稿が載置された原稿台の画像を取得することにより、原稿の色情報と３次元情報（深度情報等）を取得する（ステップＳＢ−１）。なお、この３次元情報には、原稿領域と背景領域の３次元情報が含まれている。

そして、クロップ処理部１０２ｃは、３次元情報において、色および深度に基づいて原稿領域を判定し、当該原稿領域に対してクロップ処理を行う（ステップＳＢ−２）。これにより、原稿領域のみの３次元情報が得られる。

そして、クロップ処理部１０２ｃは、原稿領域と判定した外側の領域である背景領域の深度情報を、原稿台の平面の深度情報と推定して取得する（ステップＳＢ−３）。ここで、図５は、原稿と原稿が載置された原稿台の関係を模式的に示した図である。図５に示すように、原稿領域の外側の背景領域は、原稿台の深度を表すことになるので、背景領域の深度情報を、原稿台の深度と推定することができる。

そして、メッシュ分割部１０２ｅは、深度に応じて適応的に細かくメッシュ分割することにより、３次元情報を矩形メッシュに分割する（ステップＳＢ−４）。より具体的には、メッシュ分割部１０２ｅは、３次元情報に対して、メッシュ分割した近似平面の誤差が閾値以上ある場合に、当該矩形メッシュを更に複数の矩形にメッシュ分割する処理を繰り返すことで、歪みに応じて適応的に細かくメッシュ分割を行う。

そして、伸張処理部１０２ｆは、メッシュ分割部１０２ｅにより分割した３次元情報を、ステップＳＢ−３で推定された原稿台の深度の平面に伸張させる（ステップＳＢ−５）。より具体的には、伸張処理部１０２ｆは、メッシュ分割した各領域の３次元頂点間に、ばねモデルを適用した上で、３次元頂点を、推定された原稿台深度の基準平面に伸張させる。

そして、色マッピング部１０２ｇは、伸張処理部１０２ｆにより伸張された平面データ上に、画像データ一時ファイル１０６ａに記憶された色情報をマッピングする（ステップＳＢ−６）。より具体的には、色マッピング部１０２ｇは、画像データ一時ファイル１０６ａに記憶された色情報（ＲＧＢ情報等）について、伸張前の矩形メッシュ形状から伸張後の矩形メッシュ形状への変形が反映されるように、平面データ上にマッピングする。

以上が、本実施形態の情報処理装置１００における全体処理の一例である。

［２−３．クロッピング処理（その１）］
ここで、上述した全体処理における、より具体的なクロッピング処理の例について図６および図７を参照して説明する。図６は、本実施形態の情報処理装置１００におけるクロッピング処理の一例を示すフローチャートである。また、図７は、図６におけるクロッピング処理の出力概念図である。

図６に示すように、まず、クロップ処理部１０２ｃは、エッジ抽出部１０２ｄの処理により、画像データ一時ファイル１０６ａに格納された色情報、および、３次元ファイル１０６ｂに格納された深度情報から、それぞれ色エッジと深度エッジを抽出する（ステップＳＣ−１）。ここで、図７のＭＡ−１は、抽出前の原稿綴じ媒体を示した図であり、ＭＡ−２は、色エッジの抽出例、ＭＡ−３は、深度エッジの抽出例を示している。なお、破線は、何らかの原因でエッジが抽出できなかった箇所を表している。また、白抜き線は、色エッジを表しており、一点鎖線は、深度エッジを表している。

再び図６に戻り、クロップ処理部１０２ｃは、抽出した色エッジと深度エッジの各エッジについて輪郭を検出する（ステップＳＣ−２）。ここで、クロップ処理部１０２ｃは、色と深度を用いて、以下のようにクロッピングの信頼性を向上させる。

すなわち、画像全体に対して、以下のＳＣ−３〜ＳＣ−８の処理を繰り返し実行する。

繰り返し処理において、クロップ処理部１０２ｃは、色と深度の最外の輪郭について対応点を検出する（ステップＳＣ−４）。

そして、クロップ処理部１０２ｃは、色と深度の対応点間の距離が閾値以下であるか否かを判定する（ステップＳＣ−５）。

色と深度の対応点間の距離が閾値以下である場合（ステップＳＣ−５，Ｙｅｓ）、クロップ処理部１０２ｃは、色エッジの点をクロッピング対象点として、クロッピング対象の原稿領域を判定する（ステップＳＣ−６）。ここで、図７のＭＡ−４は、色エッジと深度エッジを重ね合わせた図である。図７に示すように、水平方向では、色エッジと深度エッジの両方が検出されており、この例では両者間は閾値以下であるので、色エッジがクロッピング対象点として選ばれる。これにより、深度よりも見た目の切れ目でクロップを行うことができる。

一方、色と深度の対応点間の距離が閾値を超える場合（ステップＳＣ−５，Ｎｏ）、クロップ処理部１０２ｃは、画像中心から遠い点をクロッピング対象点として、クロッピング対象の原稿領域を判定する（ステップＳＣ−７）。原稿よりも外側で誤検出が起こることはないと考えられるので、これにより、原稿欠けを防止してクロッピングの信頼性を向上させることができる。

以上の繰り返し処理（ステップＳＣ−３〜ＳＣ−８）が画像全体について実行されると、クロップ処理部１０２ｃは、判定したクロッピング対象点群を結んだものを、クロッピング対象の原稿領域と判定する（ステップＳＣ−９）。

以上が、本実施形態の情報処理装置１００におけるクロッピング処理の一例である。

［２−４．クロッピング処理（その２）］
ここで、上述した全体処理におけるクロッピング処理の他の例について図８および図９を参照して説明する。図８は、本実施形態の情報処理装置１００におけるクロッピング処理の他の例を示すフローチャートである。また、図９は、図８におけるクロッピング処理の出力概念図である。

図８に示すように、まず、クロップ処理部１０２ｃは、エッジ抽出部１０２ｄの処理により、画像データ一時ファイル１０６ａに格納された色情報から水平方向の色エッジを抽出し、３次元ファイル１０６ｂに格納された深度情報から垂直方向の深度エッジを抽出する（ステップＳＤ−１）。ここで、図９のＭＢ−１は、エッジ抽出前の原稿綴じ媒体を示した図であり、ＭＢ−２は、水平方向の色エッジの抽出例、ＭＢ−３は、垂直方向の深度エッジの抽出例を示している。なお、破線は、何らかの原因でエッジが抽出できなかった箇所を表している。

図９において、白抜き線は、水平方向の色エッジを表しており、一点鎖線は、垂直方向の深度エッジを表している。本実施形態のクロッピング処理（その２）では、綴じ媒体が原稿である場合に、その綴じ方向で深度エッジが現れやすいため、垂直方向の深度エッジを検出する。一方、綴じ方向とは垂直な水平方向では、深度エッジが検出しにくいので、色エッジを優先する。

すなわち、図８および図９＜ＭＢ−３＞に示すように、クロップ処理部１０２ｃは、抽出した垂直方向の深度エッジから、画像中の最上および最下の連続したエッジＴ（Ｔｏｐ），Ｂ（Ｂｏｔｔｏｍ）を検出する（ＳＤ−２）。

そして、図８および図９＜ＭＢ−２＞に示すように、クロップ処理部１０２ｃは、抽出した水平方向の色エッジから、画像中の最左および最右の連続したエッジＬ（Ｌｅｆｔ），Ｒ（Ｒｉｇｈｔ）を検出する（ＳＤ−３）。

そして、クロップ処理部１０２ｃは、エッジＴ，Ｂの各々の端点と、エッジＬ，Ｒとの最短距離が閾値以下であるか否かを判定する（ステップＳＤ−４）。

最短距離が閾値以下である場合（ステップＳＤ−４，Ｙｅｓ）、クロップ処理部１０２ｃは、図９＜ＭＢ−４＞に示すように、エッジＴ，ＢとエッジＬ，Ｒを統合して、クロップ対象の原稿領域を判定する（ステップＳＤ−５）。これにより、深度エッジが現れにくい水平方向では、見た目の切れ目でクロップを行うことができる。

一方、最短距離が閾値を超える場合（ステップＳＤ−４，Ｎｏ）、クロップ処理部１０２ｃは、図９＜ＭＢ−５＞に示すように、エッジＬ，Ｒを使用せずに、深度エッジＴ，Ｂの両端点を結んで、クロップ対象の原稿領域を判定する（ステップＳＤ−６）。これにより、深度よりも見た目の切れ目でクロップを行うことができる。これにより、原稿欠けを防止して、信頼性の高いクロップを行うことができる。

以上が、本実施形態の情報処理装置１００におけるクロッピング処理の他の例である。

［２−５．原稿台深度推定処理］
本実施形態の情報処理装置１００における原稿台深度推定処理の一例について図１０および図１１を参照して説明する。図１０は、画像読取装置１２から原稿台までの位置関係が未知である場合の情報処理装置１００における原稿台深度推定処理の一例を示すフローチャートである。また、図１１は、原稿台に載置された原稿を模式的に示した図である。

図１０に示すように、まず、３次元情報取得部１０２ｂは、３次元ファイル１０６ｂを参照して、予め原稿台の平面情報が取得されているか否かを判定する（ステップＳＥ−１）。

予め原稿台の平面情報が取得されている場合（ステップＳＥ−１，Ｙｅｓ）、原稿台深度推定処理を終え、一方、原稿台の平面情報が未だ取得されていない場合（ステップＳＥ−１，Ｎｏ）、３次元情報取得部１０２ｂは、原稿領域の外側の背景領域に基づいて、原稿台の平面情報を取得する（ステップＳＥ−２）。より具体的には、図１１に示すように、３次元情報取得部１０２ｂは、クロップ処理部１０２ｃにより判定された原稿領域の外側の背景領域の３次元情報から平面ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０を求めることにより、原稿台の領域である背景領域の３次元情報から平面近似を行い原稿台の平面情報を取得する。

以上が、本実施形態の情報処理装置１００における原稿台深度推定処理の例である。

［２−６．メッシュ分割処理］
本実施形態の情報処理装置１００におけるメッシュ分割処理の一例について図１２〜図１５を参照して説明する。図１２は、情報処理装置１００におけるメッシュ分割処理の一例を示すフローチャートである。また、図１３および図１４は、原稿領域がメッシュ分割される様子を模式的に示した図である。また、図１５は、最終的にメッシュ分割された結果を模式的に示す図である。

図１２に示すように、まず、メッシュ分割部１０２ｅは、クロップ処理部１０２ｃによりクロップ処理された原稿領域の３次元情報に基づく媒体曲面に対して、原稿台平面と垂直する平面で荒く矩形メッシュに分割する（ステップＳＦ−１）。すなわち、図１３に示すように、メッシュ分割部１０２ｅは、原稿領域の３次元情報を、所定の大きさのメッシュに均等分割してもよい。

そして、メッシュ分割部１０２ｅは、メッシュ分割した各領域内の３次元ポイント群を平面に近似する（ステップＳＦ−２）。

そして、メッシュ分割部１０２ｅは、メッシュ分割した各領域内の３次元ポイントと近似平面との距離（誤差）を計算する（ステップＳＦ−３）。

近似平面との距離が閾値以上である場合（ステップＳＦ−４，Ｙｅｓ）、メッシュ分割部１０２ｅは、メッシュ分割した領域中で距離が一番大きなポイントを検出して、このポイントを通る垂直平面で更に細かい矩形メッシュに分割して、新たな領域を追加する（ステップＳＦ−５）。図１４に示すように、最初の６分割メッシュにおいて、上段中央のメッシュの歪み量が大きく平面に近似しようとすると誤差が閾値以上となる場合、メッシュ分割部１０２ｅは、１つの矩形メッシュを４つの矩形メッシュに分割する。

一方、近似平面との距離が閾値未満である場合（ステップＳＦ−４，Ｎｏ）、当該処理は行わず、次のステップに進む。

そして、メッシュ分割部１０２ｅは、分割された全てのメッシュ領域についてチェックが終了したか否かを判定する（ステップＳＦ−６）。まだ、判定を行っていないメッシュ領域がある場合は（ステップＳＦ−６，Ｎｏ）、次の領域についてステップＳＦ−２に戻り上述した処理を繰り返す。換言すると、近似平面と実際の３次元情報との距離に差がある場合は、メッシュ領域面積を小さくし、同様の処理を繰り返す。すなわち、深度が急峻に変化する領域は細かくメッシュ化され、ゆるやかな部分は広い範囲でメッシュ化される。

一方、全てのメッシュ領域についてチェックが終了すると（ステップＳＦ−６，Ｙｅｓ）、分割したメッシュ集合を記録して処理を終える（ステップＳＦ−７）。図１５に示すように、最終的に分割されたメッシュ領域は、原稿の歪み量に応じて適応的に細かくメッシュ分割が行われる。これにより、紙の浮きや折り目などに応じて細かくメッシュを設定することができ、特にメッシュ間に折り目などの顕著な変化点が存在する場合は、更に細かくメッシュを設定することができるので、歪み補正の精度が向上する。

以上が、本実施形態の情報処理装置１００におけるメッシュ分割処理の例である。

［２−７．伸張処理］
本実施形態の情報処理装置１００における伸張処理の一例について図１６〜図１９を参照して説明する。図１６は、本実施形態において適用するばねモデルを模式的に示した図である。図１７は、情報処理装置１００における伸張処理の一例を示すフローチャートである。また、図１８は、伸張前の旧メッシュ集合を示した図であり、図１９は、伸張後の新メッシュ集合を示した図である。

伸張処理を行うにあたって、本実施形態では、ばねモデルを適用する。図１６に示すように、３次元頂点をＶ（Ｘ，Ｙ，Ｚ）とおくと、２つの３次元頂点ａ，ｂ間には、ばね係数Ｋ＿ｄのばねがあるかのように収縮・伸張させる（Ｍ．Ｓ． Ｂｒｏｗｎ著” Ｄｏｃｕｍｅｎｔ ｒｅｓｔｏｒａｔｉｏｎ ｕｓｉｎｇ ３Ｄ ｓｈａｐｅ： ａ ｇｅｎｅｒａｌ ｄｅｓｋｅｗｉｎｇ ａｌｇｏｒｉｔｈｍ ｆｏｒ ａｒｂｉｔｒａｒｉｌｙ ｗａｒｐｅｄ ｄｏｃｕｍｅｎｔｓ， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２００１”参照）。

具体的な伸張処理として、図１７に示すように、まず、伸張処理部１０２ｆは、メッシュ分割部１０２ｅにより分割した３次元情報をデモデリングして、３次元頂点を抽出する（ステップＳＧ−１）。

そして、伸張処理部１０２ｆは、３次元頂点群の各頂点に作用する力を計算する（ステップＳＧ−２）。より具体的には、伸張処理部１０２ｆは、下記の式に基づいて、２つの頂点ａ，ｂ間の力を計算する。

そして、伸張処理部１０２ｆは、計算した３次元頂点間にはたらく力に基づいて、スピードと移動量を更新する（ステップＳＧ−３）。より具体的には、伸張処理部１０２ｆは、下記の式に基づいて、２つの頂点ａ，ｂ間の力から位置ベクトルと移動ベクトルを計算する。

そして、伸張処理部１０２ｆは、全ての頂点群が、原稿台平面（所定の深度）に到達したか否かを判定する（ステップＳＧ−４）。

全ての頂点群が原稿台平面に到達していない場合（ＳＧ−４，Ｎｏ）、伸張処理部１０２ｆは、ステップＳＧ−２に処理を戻し、上述した処理を繰り返す。

一方、全ての頂点群が原稿台平面に到達した場合（ＳＧ−４，Ｙｅｓ）、伸張処理部１０２ｆは、原稿台平面上ですべてのメッシュエッジに対して、現在の伸張後の長さと、伸張前の原長を比較して、頂点の位置を調整する（ステップＳＧ−５）。すなわち、伸張処理部１０２ｆは、図１８に示す伸張前の原長と、図１９に示す伸張後の長さとを比較して、メッシュ領域の頂点位置を調整する。

そして、伸張処理部１０２ｆは、所定の収束条件を満たしたか否かを判定する（ステップＳＧ−６）。所定の収束条件を満たしていない場合は（ステップＳＧ−６，Ｎｏ）、伸張処理部１０２ｆは、ステップＳＧ−５に処理を戻し、再調整を行う。

所定の収束条件を満たした場合（ステップＳＧ−６，Ｙｅｓ）、伸張処理部１０２ｆは、調整を終了して、伸張後の各頂点の新しい座標を新メッシュ集合として取得して処理を終える（ステップＳＧ−７）。

以上が、本実施形態の情報処理装置１００における伸張処理の例である。

［２−８．マッピング処理］
本実施形態の情報処理装置１００におけるマッピング処理の一例について図２０および図２１を参照して説明する。図２０は、情報処理装置１００におけるマッピング処理の一例を示すフローチャートである。また、図２１は、メッシュ集合とＲＧＢ画像とのマッピング処理を模式的に示した図である。

図２０に示すように、色マッピング部１０２ｇは、３次元ファイル１０６ｂに記憶された、伸張処理部１０２ｆによる伸張前のメッシュ四角頂点の元位置（Ｘ，Ｙ，Ｚ）を取得する（ステップＳＨ−１，図２１＜ＭＣ−１＞）。

そして、色マッピング部１０２ｇは、画像データ一時ファイル１０６ａに記憶された色情報（ＲＧＢ画像）を取得して、対応するＲＧＢ画像中の位置（ｕ，ｖ）を取得する（ステップＳＨ−２，図２１＜ＭＣ−２＞）。

そして、色マッピング部１０２ｇは、伸張処理部１０２ｆにより伸張された後の新メッシュ四角頂点の位置（Ｘ´，Ｙ´，Ｚ´）を取得する（ステップＳＨ−３，図２１＜ＭＣ−３＞）。

そして、色マッピング部１０２ｇは、対応するＲＧＢ画像中の位置（ｕ´，ｖ´）を取得する（ステップＳＨ−４，図２１＜ＭＣ−４＞）。

そして、色マッピング部１０２ｇは、４つの頂点ＲＧＢ画像位置（ｕ，ｖ）と（ｕ´，ｖ´）を用いて、透視変換マトリクスを求める（ステップＳＨ−５）。

そして、色マッピング部１０２ｇは、透視変換マトリクスを用いて、元四角中の各ピクセルの新しいＲＧＢ画像座標を求めてＲＧＢ情報を指定する（ステップＳＨ−６）。

以上の処理により、色マッピング部１０２ｇは、歪み補正が行われた２次元ＲＧＢ画像を取得し、加工画像データとして加工画像ファイル１０６ｃに格納する。

以上が、本実施形態の情報処理装置１００の色マッピング処理の例である。

［３．本実施形態のまとめ、及び他の実施形態］
以上、本実施形態によれば、情報処理装置１００は、原稿の３次元情報を取得し、３次元情報において、色および深度に基づいて原稿領域を判定して、当該原稿領域に対してクロップ処理を行う。これにより、原稿台と原稿の色が同等でエッジが抽出しにくいような場合であっても、精度よくクロッピングすることができる。

また、本実施形態によれば、色情報から色エッジ、および、深度情報から深度エッジを抽出し、色エッジおよび深度エッジに基づいて原稿領域を判定するので、クロッピングの信頼性を一層向上させることができる。

また、本実施形態によれば、色エッジおよび深度エッジのうち、色エッジを優先して原稿領域を判定するので、見た目上の切れ目に応じて綺麗な原稿領域を取得することができる。

また、本実施形態によれば、色エッジと深度エッジの対応点間の距離が閾値を超える場合は、画像中心から遠い点を優先して原稿領域を判定するので、原稿欠けを防止することができる。

また、本実施形態によれば、原稿が綴じられた媒体であるときは、綴じ方向の走査により得られた深度エッジを優先して上記原稿領域を判定するので、深度エッジが現れやすい方向のエッジを利用して、正確に原稿領域を判定することができる。

さらに、本発明は、上述した実施形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。例えば、画像読取部１２２は、赤外領域以外の波長領域の光を検出してもよい。また、情報処理装置１００がスタンドアローンの形態で処理を行う場合を一例に説明したが、情報処理装置１００とは別筐体のクライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

また、情報処理装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、情報処理装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する記録媒体に記録されており、必要に応じて情報処理装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤなどの記憶部１０６などには、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。また、このコンピュータプログラムは、情報処理装置１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶部１０６に格納される各種のデータベース等（画像データ一時ファイル１０６ａ、３次元ファイル１０６ｂ、加工画像ファイル１０６ｃ）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理に用いる各種のプログラム、テーブル、および、データベース等を格納する。

また、情報処理装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、情報処理装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

以上のように、本発明に係るクロッピング装置、クロッピング方法、および、プログラムは、産業上の多くの分野、特にスキャナで読み取った画像を扱う画像処理分野で実施することができ、極めて有用である。

１２ 画像読取装置
１２１ パターン光源
１２２ 画像読取部
１００ 情報処理装置
１０２ 制御部
１０２ａ 読取制御部
１０２ｂ ３次元情報取得部
１０２ｃ クロップ処理部
１０２ｄ エッジ抽出部
１０２ｅ メッシュ分割部
１０２ｆ 伸張処理部
１０２ｇ 色マッピング部
１０６ 記憶部
１０６ａ 画像データ一時ファイル
１０６ｂ ３次元ファイル
１０６ｃ 加工画像ファイル
１０８ 入出力インターフェース部
１１２ 入力部
１１４ 出力部

Claims (4)

1. 原稿の３次元情報を取得する３次元情報取得手段と、
   ３次元情報において、色および深度に基づいて原稿領域を判定して、当該原稿領域に対してクロップ処理を行うクロップ処理手段とを備え、
   上記クロップ処理手段は、
   色情報から色エッジ、および、深度情報から深度エッジを抽出するエッジ抽出手段、
   を更に備え、
   上記色エッジおよび上記深度エッジに基づいて上記原稿領域を判定し、
   上記色エッジと上記深度エッジの対応点間の距離が閾値を超える場合は、画像中心から遠い点を優先して上記原稿領域を判定し、
   上記色エッジと上記深度エッジの対応点間の距離が閾値を超えない場合は、上記色エッジおよび上記深度エッジのうち、上記色エッジを優先して上記原稿領域を判定する
   ことを特徴とするクロッピング装置。
2. 請求項１に記載のクロッピング装置において、
   上記クロップ処理手段は、
   原稿が綴じられた媒体であるときは、綴じ方向の走査により得られた深度エッジを優先して上記原稿領域を判定することを特徴とするクロッピング装置。
3. 原稿の３次元情報を取得する３次元情報取得ステップと、
   ３次元情報において、色情報から色エッジ、および、深度情報から深度エッジを抽出するエッジ抽出ステップと、
   上記色エッジと上記深度エッジの対応点間の距離が閾値を超える場合は、画像中心から遠い点を優先して原稿領域を判定し、上記色エッジと上記深度エッジの対応点間の距離が閾値を超えない場合は、上記色エッジおよび上記深度エッジのうち、上記色エッジを優先して上記原稿領域を判定してクロップ処理を行うクロップ処理ステップと、
   を含むことを特徴とするクロッピング方法。
4. 原稿の３次元情報を取得する３次元情報取得ステップと、
   ３次元情報において、色情報から色エッジ、および、深度情報から深度エッジを抽出するエッジ抽出ステップと、
   上記色エッジと上記深度エッジの対応点間の距離が閾値を超える場合は、画像中心から遠い点を優先して原稿領域を判定し、上記色エッジと上記深度エッジの対応点間の距離が閾値を超えない場合は、上記色エッジおよび上記深度エッジのうち、上記色エッジを優先して上記原稿領域を判定してクロップ処理を行うクロップ処理ステップと、
   をコンピュータに実行させるためのプログラム。

Images