JP5153593B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関し、特に、綴じ原稿の画像の歪みを補正する画像処理処置および画像処理方法に関する。

近年、例えばデジタルカメラや携帯電話等に搭載されているカメラなどを構成する２次元イメージセンサは、高画質化、高性能化および低価格化が進んでいる。この２次元イメージセンサは、通常写真撮影用に用いられるが、近年の高画質化および高性能化により、例えば、紙文書、新聞紙、雑誌などの原稿のドキュメント画像を撮像し、ドキュメント画像の文字情報をドキュメント画像データとして保存しておくことも考えられる。

また、２次元イメージセンサにより、ドキュメント画像を撮像することによって生成された複数の画素データから構成されるドキュメント画像データは、撮影対象物である原稿の文字情報が読みやすいことが望ましい。しかしながら、２次元イメージセンサ等により構成されるカメラは、例えば、使用者の位置、照明環境、撮像対象物の原稿の歪み具合などの条件を予め設定して使用されるものではないため、生成されたドキュメント画像データが必ず読みやすいものであるとは限られない。

そこで、撮影対象物の原稿の歪み具合を測定し補正する技術が提案されている。

例えば、特許文献１に記載の画像読取り装置は、１点止め原稿の読取り品質を高め、用途の拡大を図るため、原稿台に置かれた原稿が、１つの隅で綴じられた用紙が捲られた見開き１点止め原稿であるか否かを判別し、この見開き１点止め原稿における用紙の上面である原稿面の湾曲状態を、光学系機構の撮像ユニット等を用いて上方から撮影された画像および側面から撮影された画像から測定し、測定された湾曲状態に応じて原稿面の読取り画像を補正している。

また、特許文献２に記載の画像読取り装置は、見開き１点止め原稿の読取りに際して、原稿面の一部が隠れることによる読取り画像の乱れを補正し、読取り品質を高めるため、原稿台に置かれた原稿の原稿面の主走査方向及び副走査方向の高さ分布を、光学系機構の撮像ユニット等を用いて上方から撮影された画像および側面から撮影された画像から測定することによって取得される当該原稿面における各方向の湾曲状態に基づいて、原稿台に置かれた原稿が１つの隅で綴じられた用紙が、捲られた見開き１点止め原稿であるか否かを判別し、この見開き１点止め原稿における用紙の上面である原稿面のうち、用紙が重なった領域を、当該原稿面の主走査方向及び副走査方向の高さ分布に基づいて検出し、原稿面の読取り画像のうち、領域に対応した部分を消去する補正を行っている。また、特許文献２に記載の画像読取装置は、光学系機構のＡＦ機構等を用いて、原稿面の高さ分布に応じてスキャンニングの際に撮影のピント調整を行うことにより、高さを補間している。

また、特許文献３に記載の原稿読み取り装置は、行曲がりを補正するため、上向きに載置された原稿を上方から読み取り、光学系機構のＩＲ発光素子と受光素子を備えた曲がり検知ボード等を用いて三角測距方式により原稿の形状を測定し、形状測定された出力に応じて読取られた原稿の出力の行方向の曲がりを補正している。

特開平１０−１５０５３２号公報 特許第３４３３６２４号公報 特許第３１７５２５０号公報

しかしながら、従来技術（特許文献１〜３等）においては、光学系機構を用いて撮影対象物の原稿の歪み具合を測定し補正しているものの、原稿の種類の判別や原稿の歪み具合の測定の際に上方から撮影された画像や側面から撮影された画像を必要とするため、画像処理にかかる負荷が大きくなってしまいという効率性において問題点を有していた。また、従来技術（特許文献１〜３等）においては、測定された原稿の歪み具合を正確に測定できたか検証していないため補正精度において問題点を有していた。また、従来技術（特許文献１〜３等）においては、歪み具合の測定には固定された部材や機器を必要とするため、装置が大型化してしまうという携帯性および汎用性において問題点を有していた。

具体的には、特許文献１および２に記載の画像読取り装置においては、光学系機構（例えば、撮像ユニット等）を用いて、原稿台に置かれた原稿を上方から撮影した画像の他に、原稿台の後方側の端縁に沿って延びる投影板および原稿台の右半領域内で前後方向に延びる投影板に投影された、側面から撮影された原稿の画像に基づいて、原稿の種類の判別や原稿の歪み具合の測定を行っている。そのため、例えば、上方から撮影した画像内にステープルの像が有るか否かを検出する処理や、側面から撮影された画像から得られた湾曲状態（高さ分布）によってブック原稿かシート原稿であるかを判別する処理や、側面から撮影された画像から得られた高さ分布に基づいて高さを一定とするよう画像歪みを補正する処理等といった各種処理が必要となり、画像処理にかかる負荷が大きくなってしまうという問題点を有していた。また、補正前に、測定された原稿の高さ分布を検証して補正精度を高めることが考慮されていないという問題点を有していた。また、固定された部材（例えば、原稿台や投影板等）や機器（例えば、撮像ユニットやＡＦ機構等）が必要となるため、装置が大型化してしまうという問題点を有していた。

また、特許文献３に記載の原稿読み取り装置においては、光学系機構（例えば、曲がり検知ボード等）を用いて、ＩＲ発光素子から発して原稿の面で反射した反射光を受光素子で受けて測距する三角測距方式等を用いて原稿の面の高さを測定し、この高さの測定値に基づいて補間処理した形状データに従って原稿の行曲がりを補正している。そのため、上方から撮影した画像のみに基づいて補正処理を行うことができるものの、補正前に、原稿の形状を測定することにより得られた原稿の行曲がりを検証して補正精度を高めることが考慮されていないという問題点を有していた。また、固定された部材（例えば、原稿台やフォトセンサを並べたボード等）や機器（例えば、曲がり検知ボート、ＩＲ発光素子、受光素子等を含む読み取り部など）が必要となるため、装置が大型化してしまうという問題点を有していた。

本発明は、上記に鑑みてなされたもので、光学系機構を用いることなく情報処理により撮影対象の歪み補正を高精度で効率的に行える携帯性および汎用性の優れた画像処理装置および画像処理方法を提供することを目的とする。

このような目的を達成するため、本発明の画像処理装置は、画像撮影部と制御部とを少なくとも備えた画像処理装置であって、上記制御部は、上記画像撮影部にて撮影された少なくとも原稿を含む原稿画像を取得する原稿画像取得手段と、上記原稿画像取得手段にて取得された上記原稿画像から輝度値に基づいて上記原稿の輪郭線を抽出する輪郭線抽出手段と、上記輪郭線抽出手段にて抽出された上記輪郭線を囲んだ最小面積の矩形の中心から上記輪郭線までの距離が最小となる位置にある当該輪郭線上の輪郭直線を上記原稿の歪み位置として検知する歪み位置検知手段と、上記歪み位置検知手段にて検知された上記歪み位置に基づいて決定された補正基準線まで、上記輪郭線を延長するよう上記原稿画像に対して幾何補正を行うことにより、当該原稿画像の歪みを補正した補正画像を生成する補正画像生成手段と、を備えたことを特徴とする。

また、本発明の画像処理装置は、上記記載の画像処理装置において、上記歪み位置検知手段は、上記輪郭線抽出手段にて抽出された上記輪郭線を囲んだ上記最小面積の上記矩形を形成する矩形形成手段と、上記矩形形成手段にて形成された上記矩形を４つの象限に分割し、各象限において上記輪郭線上の直線部分を検出し、当該直線部分のうち上記矩形の相隣辺と交わる上記輪郭直線を検出する輪郭直線検出手段と、上記輪郭直線検出手段にて上記各象限において検出された上記輪郭直線と、上記矩形の対角線との第１の交点を検出する対角線交点検出手段と、上記対角線交点検出手段にて上記各象限において検出された上記第１の交点の座標と、上記矩形の上記中心の座標とに基づいて、当該中心から上記第１の交点まで距離を算出する距離算出手段と、上記距離算出手段にて算出された上記距離が全象限において最小となる距離直線を選択する距離直線選択手段と、を更に備え、上記歪み位置検知手段は、上記距離直線選択手段にて選択された上記距離直線と上記第１の交点にて交わる上記輪郭直線を上記原稿の上記歪み位置として検知することを特徴とする。

また、本発明の画像処理装置は、上記記載の画像処理装置において、上記補正画像生成手段は、上記歪み位置検知手段にて上記歪み位置として検知された上記輪郭直線と、当該輪郭直線に隣接する上記輪郭線上の輪郭曲線との２つの交点を検出する輪郭曲線交点検出手段と、上記輪郭曲線交点検出手段にて検出された上記２つの交点のうち第２の交点および第３の交点に基づいて、当該第２の交点と同じＹ座標にて上記矩形の第１の辺上に位置決めされた第１の補正基準点、および、当該第３の交点と同じＸ座標にて上記矩形の第２の辺上に位置決めされた第２の補正基準点を決定する補正基準点決定手段と、上記補正基準点決定手段にて決定された上記第１の補正基準点と上記第２の補正基準点とを結ぶ第３の辺と、当該第３の辺により隔たられた上記矩形の角部分以外の当該矩形の各辺とからなる上記補正基準線を決定する補正基準線決定手段と、上記補正基準線決定手段にて決定された上記補正基準線の座標、上記輪郭線抽出手段にて抽出された上記輪郭線の座標、および、上記補正基準線の上記座標に基づいて推定された上記補正画像の各画素の座標に基づいて、当該輪郭線に囲まれた原稿部分の歪んだ経線および緯線を推定する経線緯線推定手段と、上記経線緯線推定手段にて推定された歪んだ上記経線および上記緯線の上記座標、上記輪郭線抽出手段にて抽出された上記輪郭線の上記座標、上記補正基準線決定手段にて決定された上記補正基準線の上記座標、ならびに、当該補正基準線の当該座標に基づいて推定された上記補正画像の各画素の上記座標に基づいて、当該補正画像の各画素の上記座標に対応する上記原稿画像の各画素の座標を取得する原稿画像画素座標取得手段と、上記原稿画像画素座標取得手段にて取得された上記原稿画像の各画素の上記座標を補間することにより、上記経線、上記緯線、および、上記輪郭線を上記補正基準線へ寄せて直線化した状態の上記補正画像の各画素の上記座標を決定する補正画像画素座標決定手段と、
を更に備え、上記補正画像生成手段は、上記補正画像画素座標決定手段にて決定された上記補正画像の各画素の上記座標を用いて、上記原稿画像の上記歪みを補正した上記補正画像を生成することを特徴とする。

また、本発明の画像処理装置は、上記記載の画像処理装置において、上記制御部は、上記輪郭線抽出手段にて抽出された上記輪郭線上から少なくとも３つの代表ポイントを抽出し、当該代表ポイントを用いてスプライン補間を行い、当該代表ポイント以外のポイントを算出することにより近似輪郭線を形成する近似輪郭線形成手段と、上記近似輪郭線形成手段にて形成された上記近似輪郭線と、上記輪郭線抽出手段にて抽出された上記輪郭線との差が所定の閾値を超えるか判定することにより、当該輪郭線が上記輪郭線抽出手段にて正確に抽出されたか検証する輪郭線検証手段と、を更に備えたことを特徴とする。

また、本発明の画像処理装置は、上記記載の画像処理装置において、上記歪み位置検知手段は、上記輪郭線検証手段にて上記差が上記所定の上記閾値未満であると判定され、上記輪郭線が上記輪郭線抽出手段にて正確に抽出されたと検証された場合、検証された上記輪郭線を囲んだ上記最小面積の矩形の中心から上記輪郭線までの距離が最小となる位置にある当該輪郭線上の上記輪郭直線を上記原稿の上記歪み位置として検知することを特徴とする。

また、本発明の画像処理装置は、上記記載の画像処理装置において、上記歪み位置は、上記原稿を綴じ具で綴じた場合の綴じ位置を含むことを特徴とする。

また、本発明の画像処理方法は、画像撮影部と制御部とを少なくとも備えた画像処理装置において実行される画像処理方法であって、上記制御部において実行される、上記画像撮影部にて撮影された少なくとも原稿を含む原稿画像を取得する原稿画像取得ステップと、上記原稿画像取得ステップにて取得された上記原稿画像から輝度値に基づいて上記原稿の輪郭線を抽出する輪郭線抽出ステップと、上記輪郭線抽出ステップにて抽出された上記輪郭線を囲んだ最小面積の矩形の中心から上記輪郭線までの距離が最小となる位置にある当該輪郭線上の輪郭直線を上記原稿の歪み位置として検知する歪み位置検知ステップと、上記歪み位置検知ステップにて検知された上記歪み位置に基づいて決定された補正基準線まで、上記輪郭線を延長するよう上記原稿画像に対して幾何補正を行うことにより、当該原稿画像の歪みを補正した補正画像を生成する補正画像生成ステップと、を含むことを特徴とする。

また、本発明の画像処理方法は、上記記載の画像処理方法において、上記歪み位置検知ステップにおいて、上記輪郭線抽出ステップにて抽出された上記輪郭線を囲んだ上記最小面積の上記矩形を形成する矩形形成ステップと、上記矩形形成ステップにて形成された上記矩形を４つの象限に分割し、各象限において上記輪郭線上の直線部分を検出し、当該直線部分のうち上記矩形の相隣辺と交わる上記輪郭直線を検出する輪郭直線検出ステップと、上記輪郭直線検出ステップにて上記各象限において検出された上記輪郭直線と、上記矩形の対角線との第１の交点を検出する対角線交点検出ステップと、上記対角線交点検出ステップにて上記各象限において検出された上記第１の交点の座標と、上記矩形の上記中心の座標とに基づいて、当該中心から上記第１の交点まで距離を算出する距離算出ステップと、上記距離算出ステップにて算出された上記距離が全象限において最小となる距離直線を選択する距離直線選択ステップと、を更に含み、上記歪み位置検知ステップにおいて、上記距離直線選択ステップにて選択された上記距離直線と上記第１の交点にて交わる上記輪郭直線を上記原稿の上記歪み位置として検知することを特徴とする。

また、本発明の画像処理方法は、上記記載の画像処理方法において、上記補正画像生成ステップにおいて、上記歪み位置検知ステップにて上記歪み位置として検知された上記輪郭直線と、当該輪郭直線に隣接する上記輪郭線上の輪郭曲線との２つの交点を検出する輪郭曲線交点検出ステップと、上記輪郭曲線交点検出ステップにて検出された上記２つの交点のうち第２の交点および第３の交点に基づいて、当該第２の交点と同じＹ座標にて上記矩形の第１の辺上に位置決めされた第１の補正基準点、および、当該第３の交点と同じＸ座標にて上記矩形の第２の辺上に位置決めされた第２の補正基準点を決定する補正基準点決定ステップと、上記補正基準点決定ステップにて決定された上記第１の補正基準点と上記第２の補正基準点とを結ぶ第３の辺と、当該第３の辺により隔たられた上記矩形の角部分以外の当該矩形の各辺とからなる上記補正基準線を決定する補正基準線決定ステップと、上記補正基準線決定ステップにて決定された上記補正基準線の座標、上記輪郭線抽出ステップにて抽出された上記輪郭線の座標、および、上記補正基準線の上記座標に基づいて推定された上記補正画像の各画素の座標に基づいて、当該輪郭線に囲まれた原稿部分の歪んだ経線および緯線を推定する経線緯線推定ステップと、上記経線緯線推定ステップにて推定された歪んだ上記経線および上記緯線の上記座標、上記輪郭線抽出ステップにて抽出された上記輪郭線の上記座標、上記補正基準線決定ステップにて決定された上記補正基準線の上記座標、ならびに、当該補正基準線の当該座標に基づいて推定された上記補正画像の各画素の上記座標に基づいて、当該補正画像の各画素の上記座標に対応する上記原稿画像の各画素の座標を取得する原稿画像画素座標取得ステップと、上記原稿画像画素座標取得ステップにて取得された上記原稿画像の各画素の上記座標を補間することにより、上記経線、上記緯線、および、上記輪郭線を上記補正基準線へ寄せて直線化した状態の上記補正画像の各画素の上記座標を決定する補正画像画素座標決定ステップと、を更に含み、上記補正画像生成ステップにおいて、上記補正画像画素座標決定ステップにて決定された上記補正画像の各画素の上記座標を用いて、上記原稿画像の上記歪みを補正した上記補正画像を生成することを特徴とする。

また、本発明の画像処理方法は、上記記載の画像処理方法において、上記制御部において実行される、上記輪郭線抽出ステップにて抽出された上記輪郭線上から少なくとも３つの代表ポイントを抽出し、当該代表ポイントを用いてスプライン補間を行い、当該代表ポイント以外のポイントを算出することにより近似輪郭線を形成する近似輪郭線形成ステップと、上記近似輪郭線形成ステップにて形成された上記近似輪郭線と、上記輪郭線抽出ステップにて抽出された上記輪郭線との差が所定の閾値を超えるか判定することにより、当該輪郭線が上記輪郭線抽出ステップにて正確に抽出されたか検証する輪郭線検証ステップと、を更に含むことを特徴とする。

また、本発明の画像処理方法は、上記記載の画像処理方法において、上記歪み位置検知ステップにおいて、上記輪郭線検証ステップにて上記差が上記所定の上記閾値未満であると判定され、上記輪郭線が上記輪郭線抽出ステップにて正確に抽出されたと検証された場合、検証された上記輪郭線を囲んだ上記最小面積の矩形の中心から上記輪郭線までの距離が最小となる位置にある当該輪郭線上の上記輪郭直線を上記原稿の上記歪み位置として検知することを特徴とする。

また、本発明の画像処理方法は、上記記載の画像処理方法において、上記歪み位置は、上記原稿を綴じ具で綴じた場合の綴じ位置を含むことを特徴とする。

この発明によれば、本発明の画像処理装置は、画像撮影部にて撮影された少なくとも原稿を含む原稿画像を取得し、取得された原稿画像から輝度値に基づいて原稿の輪郭線を抽出し、抽出された輪郭線を囲んだ最小面積の矩形の中心から輪郭線までの距離が最小となる位置にある当該輪郭線上の輪郭直線を原稿の歪み位置として検知し、検知された歪み位置に基づいて決定された補正基準線まで、輪郭線を延長するよう原稿画像に対して幾何補正を行うことにより、当該原稿画像の歪みを補正した補正画像を生成するので、従来よりも撮影対象の歪み補正を効率的に行うことができ、また、携帯性および汎用性を向上させることができるという効果を奏する。具体的には、従来は上方から撮影された画像および側面から撮影された画像の両方に対して画像処理を行わなければならなかったが、本発明では、上方から撮影された画像に対してのみ画像処理を行うことで歪みを補正した補正画像を生成できるので、従来よりも負荷が少なく効率的に歪み補正を行うことができるという効果を奏する。また、従来は光学系機構である固定機器（例えば、撮像ユニット、ＡＦ機構、曲がり検知ボートなど）を用いて、原稿の高さ分布や曲がり具合を測定し、原稿の歪みを補正した補正画像を生成していたため、装置が大型化していたが、本発明では、携帯可能でかつ小型な画像撮影部（例えば、２次元イメージセンサにより構成される携帯電話搭載カメラなど）を用いて撮影された画像に対し、光学系機構を用いることなく情報処理により歪んだ画像の補正することができるため、従来技術よりも携帯性および汎用性を向上させることができるという効果を奏する。

また、本発明によれば、綴じ位置の検知において、歪み位置の検知において、抽出された輪郭線を囲んだ最小面積の矩形を形成し、形成された矩形を４つの象限に分割し、各象限において輪郭線上の直線部分を検出し、当該直線部分のうち矩形の相隣辺と交わる輪郭直線を検出し、各象限において検出された輪郭直線と、矩形の対角線との第１の交点を検出し、各象限において検出された第１の交点の座標と、矩形の中心の座標とに基づいて、当該中心から第１の交点まで距離を算出し、算出された距離が全象限において最小となる距離直線を選択し、選択された距離直線と第１の交点にて交わる輪郭直線を原稿の歪み位置として検知するので、歪み位置検知処理の効率化および高速化を図ることができるという効果を奏する。具体的には、輪郭線を囲んだ最小面積の矩形を更に４つの象限に分割して歪み位置の検知範囲を狭めることができ、また、歪み位置の候補となる輪郭線上の直線部分が多数ある場合であっても当該直線部分のうち矩形の相隣辺と交わる輪郭直線を検出して候補を絞り、更に絞られた候補から、第１の交点と中心との距離が最小となる位置にある輪郭直線を歪み位置として特定することができるという効果を奏する。

また、本発明によれば、補正画像の生成において、歪み位置として検知された輪郭直線と、当該輪郭直線に隣接する輪郭線上の輪郭曲線との２つの交点を検出し、検出された２つの交点のうち第２の交点および第３の交点に基づいて、当該第２の交点と同じＹ座標にて矩形の第１の辺上に位置決めされた第１の補正基準点、および、当該第３の交点と同じＸ座標にて矩形の第２の辺上に位置決めされた第２の補正基準点を決定し、決定された第１の補正基準点と第２の補正基準点とを結ぶ第３の辺と、当該第３の辺により隔たられた矩形の角部分以外の当該矩形の各辺とからなる補正基準線を決定し、決定された補正基準線の座標、抽出された輪郭線の座標、および、補正基準線の座標に基づいて推定された補正画像の各画素の座標に基づいて、当該輪郭線に囲まれた原稿部分の歪んだ経線および緯線を推定し、推定された歪んだ経線および緯線の座標、抽出された輪郭線の座標、決定された補正基準線の座標、ならびに、当該補正基準線の当該座標に基づいて推定された補正画像の各画素の座標に基づいて、当該補正画像の各画素の座標に対応する原稿画像の各画素の座標を取得し、取得された原稿画像の各画素の座標を補間することにより、経線、緯線、および、輪郭線を補正基準線へ寄せて直線化した状態の補正画像の各画素の座標を決定し、決定された補正画像の各画素の座標を用いて、原稿画像の歪みを補正した補正画像を生成するので、歪み位置に基づいて効率的に補正基準線を決定することができ、この補正基準線に寄せて歪みを直線化した補正画像を生成することができるという効果を奏する。具体的には、歪み位置検知処理により検知された歪み位置の輪郭直線の座標に基づいて簡易に補正基準点を決定することができ、また、決定された補正基準点に基づいて、歪んだ原稿画像の補正基準となる補正基準線を決定することができ、そして、輪郭線に囲まれた歪んだ原稿部分内の各画素の座標（経線および緯線）を推定して原稿の歪み具合を考慮した上で歪んだ原稿画像を平面に展開した画像にできるという効果を奏する。

また、本発明によれば、抽出された輪郭線上から少なくとも３つの代表ポイントを抽出し、当該代表ポイントを用いてスプライン補間を行い、当該代表ポイント以外のポイントを算出することにより近似輪郭線を形成し、形成された近似輪郭線と、抽出された輪郭線との差が所定の閾値を超えるか判定することにより、当該輪郭線が正確に抽出されたか検証するので、輪郭線が正確に抽出できたか確認した上で、この輪郭線に基づいて補正処理を進めることができ、従来よりも歪み画像の補正精度を高めることができるという効果を奏する。具体的には、例えば、原稿画像取得の際の輝度値の乱れ等により輪郭線が正確に抽出されなかった場合であっても、抽出された輪郭線上に３つ以上の代表ポイントを設定して３次スプライン補間法等により近似輪郭線を形成することができ、そして、この近似輪郭線と抽出された輪郭線とを比べて大きなズレがある場合は、手動で代表ポイントの位置を修正して、この修正された代表ポイントから形成した近似輪郭線を用いて補正処理を行うことができるという効果を奏する。

また、本発明によれば、歪み位置は、原稿を綴じ具で綴じた場合の綴じ位置を含むので、例えば、ホチキス等の綴じ具で綴じたホチキス位置を、上方から撮影された画像に対してのみ画像処理を行うことで効率的に検知することができるという効果を奏する。

以下に、本発明にかかる画像処理装置および画像処理方法並びにプログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。以下、本発明の構成および処理等について詳細に説明する。

［画像処理装置１の構成］
まず、本画像処理装置１の構成について説明する。図１は、本発明が適用される本画像処理装置１の構成の一例を示すブロック図である。また、図２は、本発明が適用される本画像処理装置１の画像処理部５の構成の一例を示すブロック図である。なお、図１および図２において、該構成のうち本発明に関係する部分のみを概念的に示している。本画像処理装置１は、図１および図２に示すように、概略的に、画像撮影部（２次元イメージセンサ）２、Ａ／Ｄ変換部３、画像メモリ部４、画像処理部５、ＣＰＵ６、表示パネル７、外部記憶装置８、および、外部インターフェース部９を備えて構成される。なお、本発明において、Ａ／Ｄ変換部３、画像処理部５、および、ＣＰＵ６は、画像処理装置１の制御部として機能する。また、画像メモリ部４および外部記憶装置８は、画像処理装置１の記憶部として機能する。

図１において、画像撮影部２は、撮像対象物である原稿、風景、人物などを撮像する撮像センサである。画像撮影部２は、複数の撮像素子が縦方向（ｙ方向）および横方向（ｘ方向）に配列されることで構成されている。複数の撮像素子には、ＲＧＢのいずれかのフィルタが設けられている。画像撮影部２は、１回の撮像、すなわち１回露光することで、撮像素子に対応し、かつＲＧＢ各色に対するアナログ値を出力する。

図１において、Ａ／Ｄ変換部３は、画像撮影部２の撮像により画像データを生成するものである。Ａ／Ｄ変換部３は、画像撮影部２と接続されており、画像撮影部２から出力された画像データのアナログ値をデジタル値に変換するものである。すなわち、Ａ／Ｄ変換部３は、画像撮影部２により例えば原稿が撮像されると、画像撮影部２から出力されたアナログ値をデジタル値に変換し、ドキュメント画像データを構成する複数の画素データを生成し、原稿を含むドキュメント画像に基づいたドキュメント画像データを生成する。ここで、生成された各画素データは、ＲＧＢ値からなり、ドキュメント画像データがカラー画像データとなる。

図１において、画像メモリ部４は、画像データを保存するものである。画像メモリ部４は、Ａ／Ｄ変換部３と接続されており、Ａ／Ｄ変換部３によりデジタル値に変換された画像データを保存するものである。つまり、画像メモリ部４は、Ａ／Ｄ変換部３によりデジタル値に変換されたドキュメント画像データを保存することができる。また、画像メモリ部４は、画像処理部５により処理された画像データを保存するものでもある。すなわち、画像メモリ部４は、画像処理部５により処理されたドキュメント画像データを保存することができる。

図１において、画像処理部５は、画像データを処理するものである。画像処理部５は、画像メモリ部４と接続されており、画像メモリ部４に保存されている画像データを処理するものである。すなわち、画像処理部５は、画像メモリ部４に保存されているドキュメント画像データを処理することができる。また、画像処理部５は、ＣＰＵ６と接続されており、ＣＰＵ６により制御される。

ここで、図２に示すように、画像処理部５は、画像メモリ部４とＣＰＵ６に接続されており、原稿画像取得部５ａ、輪郭線抽出部５ｂ、歪み位置検知部５ｃ、補正画像生成部５ｉ、近似輪郭線形成部５ｑ、および、輪郭線検証部５ｒとしての機能を有するものである。ここで、歪み位置検知部５ｃは、矩形形成部５ｄ、輪郭直線検出部５ｅ、対角線交点検出部５ｆ、距離算出部５ｇ、および、距離直線選択部５ｈを更に備える。また、補正画像生成部５ｉは、輪郭曲線交点検出部５ｊ、補正基準点決定部５ｋ、補正基準線決定部５ｍ、経線緯線推定部５ｎ、原稿画像画素座標取得部５ｏ、および、補正画像画素座標決定部５ｐを更に備える。また、近似輪郭線形成部５ｑ、および、輪郭線検証部５ｒは、輪郭線抽出部５ｂにて正確に輪郭線が抽出されたかを検証するためのものである。

このうち、原稿画像取得部５ａは、画像撮影部２にて撮影された少なくとも原稿を含む原稿画像を取得する原稿画像取得手段である。

また、輪郭線抽出部５ｂは、原稿画像取得部５ａにて取得された原稿画像から輝度値に基づいて原稿の輪郭線を抽出する輪郭線抽出手段である。

また、歪み位置検知部５ｃは、輪郭線抽出部５ｂにて抽出された輪郭線を囲んだ最小面積の矩形の中心から輪郭線までの距離が最小となる位置にある当該輪郭線上の輪郭直線を原稿の歪み位置として検知する歪み位置検知手段である。また、歪み位置検知部５ｃは、後述の輪郭線検証部５ｒにて差が所定の閾値未満であると判定され、輪郭線が輪郭線抽出部５ｂにて正確に抽出されたと検証された場合、検証された輪郭線を囲んだ最小面積の矩形の中心から輪郭線までの距離が最小となる位置にある当該輪郭線上の輪郭直線を原稿の歪み位置として検知してもよい。また、歪み位置は、原稿を綴じ具で綴じた場合の綴じ位置を含んでもよい。

ここで、歪み位置検知部５ｃは、矩形形成部５ｄ、輪郭直線検出部５ｅ、対角線交点検出部５ｆ、距離算出部５ｇ、および、距離直線選択部５ｈを更に備えている。歪み位置検知部５ｃは、後述する距離直線選択部５ｈにて選択された距離直線と第１の交点にて交わる輪郭直線を原稿の歪み位置として検知する。

このうち、矩形形成部５ｄは、輪郭線抽出部５ｂにて抽出された輪郭線を囲んだ最小面積の矩形を形成する矩形形成手段である。

また、輪郭直線検出部５ｅは、矩形形成部５ｄにて形成された矩形を４つの象限に分割し、各象限において輪郭線上の直線部分を検出し、当該直線部分のうち矩形の相隣辺と交わる輪郭直線を検出する輪郭直線検出手段である。

また、対角線交点検出部５ｆは、輪郭直線検出部５ｅにて各象限において検出された輪郭直線と、矩形の対角線との第１の交点を検出する対角線交点検出手段である。

また、距離算出部５ｇは、対角線交点検出部５ｆにて各象限において検出された第１の交点の座標と、矩形の中心の座標とに基づいて、当該中心から第１の交点まで距離を算出する距離算出手段である。

また、距離直線選択部５ｈは、距離算出部５ｇにて算出された距離が全象限において最小となる距離直線を選択する距離直線選択手段である。

また、補正画像生成部５ｉは、歪み位置検知部５ｃにて検知された歪み位置に基づいて決定された補正基準線まで、輪郭線を延長するよう原稿画像に対して幾何補正を行うことにより、当該原稿画像の歪みを補正した補正画像を生成する補正画像生成手段である。

ここで、補正画像生成部５ｉは、輪郭曲線交点検出部５ｊ、補正基準点決定部５ｋ、補正基準線決定部５ｍ、経線緯線推定部５ｎ、原稿画像画素座標取得部５ｏ、および、補正画像画素座標決定部５ｐを更に備えている。補正画像生成部５ｉは、補正画像画素座標決定部５ｏにて決定された補正画像の各画素の座標を用いて、原稿画像の歪みを補正した補正画像を生成する。

このうち、輪郭曲線交点検出部５ｊは、歪み位置検知部５ｃにて歪み位置として検知された輪郭直線と、当該輪郭直線に隣接する輪郭線上の輪郭曲線との２つの交点を検出する輪郭曲線交点検出手段である。

また、補正基準点決定部５ｋは、輪郭曲線交点検出部５ｊにて検出された２つの交点のうち第２の交点および第３の交点に基づいて、当該第２の交点と同じＹ座標にて矩形の第１の辺上に位置決めされた第１の補正基準点、および、当該第３の交点と同じＸ座標にて矩形の第２の辺上に位置決めされた第２の補正基準点を決定する補正基準点決定手段である。

また、補正基準線決定部５ｍは、補正基準点決定部５ｋにて決定された第１の補正基準点と第２の補正基準点とを結ぶ第３の辺と、当該第３の辺により隔たられた矩形の角部分以外の当該矩形の各辺とからなる補正基準線を決定する補正基準線決定手段である。

また、経線緯線推定部５ｎは、補正基準線決定部５ｍにて決定された補正基準線の座標、輪郭線抽出部５ｂにて抽出された輪郭線の座標、および、補正基準線の座標に基づいて推定された補正画像の各画素の座標に基づいて、当該輪郭線に囲まれた原稿部分の歪んだ経線および緯線を推定する経線緯線推定手段である。

また、原稿画像画素座標取得部５ｏは、経線緯線推定部５ｎにて推定された歪んだ経線および緯線の座標、輪郭線抽出部５ｂにて抽出された輪郭線の座標、補正基準線決定部５ｍにて決定された補正基準線の座標、ならびに、当該補正基準線の当該座標に基づいて推定された補正画像の各画素の座標に基づいて、当該補正画像の各画素の座標に対応する原稿画像の各画素の座標を取得する原稿画像画素座標取得手段である。

また、補正画像画素座標決定部５ｐは、原稿画像画素座標取得部５ｏにて取得された原稿画像の各画素の座標を補間することにより、経線、緯線、および、輪郭線を補正基準線へ寄せて直線化した状態の補正画像の各画素の座標を決定する補正画像画素座標決定手段である。

また、近似輪郭線形成部５ｑは、輪郭線抽出部５ｂにて抽出された輪郭線上から少なくとも３つの代表ポイントを抽出し、当該代表ポイントを用いてスプライン補間を行い、当該代表ポイント以外のポイントを算出することにより近似輪郭線を形成する近似輪郭線形成手段である。

また、輪郭線検証部５ｒは、近似輪郭線形成部５ｑにて形成された近似輪郭線と、輪郭線抽出部５ｂにて抽出された輪郭線との差が所定の閾値を超えるか判定することにより、当該輪郭線が輪郭線抽出部５ｂにて正確に抽出されたか検証する輪郭線検証手段である。

図１に戻り、ＣＰＵ６は、画像処理装置１の制御を行うものである。ＣＰＵ６は、画像メモリ部４、画像処理部５、表示パネル７、外部記憶装置８、外部インターフェース部９などと接続されている。ＣＰＵ６は、画像メモリ部４の制御、画像処理部５によるドキュメント画像データを含む画像データの画像処理の制御、表示パネル７による表示制御、外部記憶装置８とのデータの送受信制御、外部インターフェース部９を介した図示しない外部機器とのデータの送受信制御などを行うものである。

図１において、表示パネル７は、データを表示するものである。表示パネル７は、上記画像メモリ部４に保存されているドキュメント画像データを含む画像データを表示することができる。表示パネル７は、ＣＰＵ６と接続されており、ＣＰＵ６により制御される。

図１において、外部記憶装置８は、例えば、携帯可能なストレージ手段である。外部記憶装置８は、画像処理装置１の画像メモリ部４に保存されているドキュメント画像データを含む画像データをＣＰＵ６を介して保存することができる。ここで、画像メモリ部４は、外部記憶装置８に保存されているドキュメント画像データを含む画像データをＣＰＵ６を介して保存することができる。外部記憶装置８は、ＣＰＵ６と接続されており、ＣＰＵ６により制御される。

図１において、外部インターフェース部９は、画像処理装置１の外部に構成されている図示しない外部機器と画像処理装置１とを電気的に接続するものである。外部インターフェース部９は、例えば画像処理装置１の画像メモリ部４に保存されているドキュメント画像データを含む画像データを電気的に接続されている外部機器にＣＰＵ６を介して保存することができる。ここで、画像メモリ部４は、外部機器に保存されているドキュメント画像データを含む画像データをＣＰＵ６を介して保存することができる。外部インターフェース部９は、ＣＰＵ６と接続されており、ＣＰＵ６により制御される。

以上で、画像処理装置１の構成の説明を終える。

［画像処理装置１の処理］
続いて、このように構成された本実施の形態における本画像処理装置１の処理の一例について、以下に図３〜図６を参照して詳細に説明する。ここで、図３は、本実施形態における基本処理の一例を示すフローチャートである。図４は、本実施形態における歪み位置検知処理の一例を示すフローチャートである。また、図５は、本実施形態における補正画像生成処理の一例を示すフローチャートである。また、図６は、本実施形態における輪郭線検証処理の一例を示すフローチャートである。

［基本処理］
まず、本画像処理装置１の基本処理の一例について、図３を参照して以下に詳細に説明する。

図３に示すように、原稿画像取得部５ａは、画像撮影部２にて撮影された少なくとも原稿を含む原稿画像を取得する（ステップＳＡ−１）。

そして、輪郭線抽出部５ｂは、原稿画像取得部５ａの処理により取得された原稿画像から輝度値に基づいて原稿の輪郭線を抽出する（ステップＳＡ−２）。

ここで、ステップＳＡ−３の前に、輪郭線検証部５ｒは、輪郭線抽出部５ｂの処理により輪郭線が正確に抽出されたか検証してもよい。なお、この輪郭線検証処理の詳細については、後述する。

そして、歪み位置検知部５ｃは、輪郭線抽出部５ｂの処理により抽出された輪郭線を囲んだ最小面積の矩形の中心から輪郭線までの距離が最小となる位置にある当該輪郭線上の輪郭直線を原稿の歪み位置として検知する（ステップＳＡ−３）。なお、ステップＳＡ−３の処理の詳細については、後述する。

そして、補正画像生成部５ｉは、歪み位置検知部５ｃの処理により検知された歪み位置に基づいて決定された補正基準線まで、輪郭線を延長するよう原稿画像に対して幾何補正を行うことにより、当該原稿画像の歪みを補正した補正画像を生成する（ステップＳＡ−４）。なお、ステップＳＡ−４の処理の詳細については、後述する。

このように、本発明の画像処理装置１は、例えば、ホチキス等で綴じた原稿を２次元イメージセンサ等の画像撮影部にて撮影する場合、ホチキス等の綴じ具付近で原稿の紙面が浮き上がっている状態となっているため、撮影画像は綴じ具付近で歪みが生じるが、ホチキス等で綴じた浮き上り原稿を撮影した撮影画像の歪みを補正することができる。これにより、本発明は、撮影画像の文字情報の読みやすさや撮影画像に対するＯＣＲ認識率を向上できるよう歪み画像を平面に展開した補正画像を生成することができる。

以上で、基本処理の一例についての説明を終える。

［歪み位置検知処理］
次に、上記図３のステップＳＡ−３において行われる歪み位置検知部５ｃによる歪み位置検知処理の一例について、図４を参照して以下に詳細に説明する。

図４に示すように、矩形形成部５ｄは、図３のステップＳＡ−２において輪郭線抽出部５ｂの処理により抽出された輪郭線を囲んだ最小面積の矩形を形成する（ステップＳＢ−１）。

そして、輪郭直線検出部５ｅは、形成された矩形を４つの象限（第Ｉ象限〜第ＩＶ象限）に分割し、各象限において輪郭線上の直線部分（図４において、直線部分１〜直線部分４に対応）を検出し、当該直線部分のうち矩形の相隣辺と交わる輪郭直線（図４において、直線部分１（輪郭直線１）および直線部分２（輪郭直線２）に対応）を検出する（ステップＳＢ−２）。

そして、対角線交点検出部５ｆは、輪郭直線検出部５ｅの処理により検出された輪郭直線（図４において、輪郭直線１および輪郭直線２に対応）と、矩形の対角線との第１の交点（図４において、第１の交点１および第１の交点２に対応）を検出する（ステップＳＢ−３）。

そして、距離算出部５ｇは、対角線交点検出部５ｆの処理により、各象限において検出された第１の交点の座標と、矩形の中心の座標とに基づいて、当該中心から第１の交点まで距離（図４において、距離１および距離２に対応）を算出する（ステップＳＢ−４）。

そして、距離直線選択部５ｈは、距離算出部５ｇの処理により算出された距離が全象限において最小となる距離直線（図４において、第ＩＩ象限における距離１に対応）を選択する（ステップＳＢ−５）。

そして、歪み位置検知部５ｃは、距離直線選択部５ｈの処理により選択された距離直線（図４において、第ＩＩ象限における最小の距離直線に対応）と第１の交点（図４において、第１の交点１に対応）にて交わる輪郭直線を原稿の歪み位置として検知する。

また、歪み位置検知部５ｃは、例えば上述の歪み位置検知処理の前に行われる、後述する輪郭線検証処理おいて、差が所定の閾値未満であると判定され、輪郭線抽出部５ｂの処理により輪郭線が正確に抽出されたと検証された場合、輪郭線検証処理において検証された輪郭線を囲んだ最小面積の矩形の中心から輪郭線までの距離が最小となる位置にある当該輪郭線上の輪郭直線を原稿の歪み位置として検知してもよい。また、歪み位置は、原稿を綴じ具（ホチキス等）で綴じた場合の綴じ位置（ホチキス綴じ位置等）を含んでもよい。

以上で、歪み位置検知処理の一例についての説明を終える。

［補正画像生成処理］
次に、上記図３のステップＳＡ−４において行われる補正画像生成部５ｉによる補正画像生成処理の一例について、図５を参照して以下に詳細に説明する。

図５に示すように、輪郭曲線交点検出部５ｊは、図３のステップＳＡ−３において歪み位置検知部５ｃの処理により歪み位置として検知された輪郭直線と、当該輪郭直線に隣接する輪郭線上の輪郭曲線との２つの交点を検出する（ステップＳＣ−１）。

そして、補正基準点決定部５ｋは、輪郭曲線交点検出部５ｊの処理により検出された２つの交点のうち第２の交点および第３の交点に基づいて、当該第２の交点と同じＹ座標にて矩形の第１の辺上に位置決めされた第１の補正基準点、および、当該第３の交点と同じＸ座標にて矩形の第２の辺上に位置決めされた第２の補正基準点を決定する（ステップＳＣ−２）。

そして、補正基準線決定部５ｍは、補正基準点決定部５ｋの処理により決定された第１の補正基準点と第２の補正基準点とを結ぶ第３の辺と、当該第３の辺により隔たられた矩形の角部分以外の当該矩形の各辺とからなる補正基準線を決定する（ステップＳＣ−３）。

そして、経線緯線推定部５ｎは、補正基準線決定部５ｍの処理により決定された補正基準線の座標、輪郭線抽出部５ｂの処理により抽出された輪郭線の座標、および、補正基準線の座標に基づいて推定された補正画像の各画素の座標に基づいて、当該輪郭線に囲まれた原稿部分の歪んだ経線および緯線を推定する（ステップＳＣ−４）。

そして、原稿画像画素座標取得部５ｏは、経線緯線推定部５ｎの処理により推定された歪んだ経線および緯線の座標、輪郭線抽出部５ｂの処理により抽出された輪郭線の座標、補正基準線決定部５ｍの処理により決定された補正基準線の座標、ならびに、当該補正基準線の当該座標に基づいて推定された補正画像の各画素の座標に基づいて、当該補正画像の各画素の座標に対応する原稿画像の各画素の座標を取得する（ステップＳＣ−５）。

そして、補正画像画素座標決定部５ｐは、原稿画像画素座標取得部５ｏの処理により取得された原稿画像の各画素の座標を補間することにより、経線、緯線、および、輪郭線を補正基準線へ寄せて直線化した状態の補正画像の各画素の座標を決定する（ステップＳＣ−６）。

そして、補正画像生成部５ｉは、補正画像画素座標決定部５ｏの処理により決定された補正画像の各画素の座標を用いて、原稿画像の歪みを補正した補正画像を生成する。

以上で、補正画像生成処理の一例についての説明を終える。

［輪郭線検証処理］
次に、例えば上記歪み位置検知処理の前（図３のステップＳＡ−３、および、図４のステップＳＢ−１〜ＳＢ−５の前）において行われる、補正画像生成部５ｉによる補正画像生成処理の一例について、図５を参照して以下に詳細に説明する。

図６に示すように、近似輪郭線形成部５ｑは、輪郭線抽出部５ｂの処理により抽出された輪郭線上から少なくとも３つの代表ポイントを抽出し、当該代表ポイントを用いてスプライン補間を行い、当該代表ポイント以外のポイントを算出することにより近似輪郭線（図６において、点線部分に対応）を形成する（ステップＳＤ−１）。

そして、輪郭線検証部５ｒは、近似輪郭線形成部５ｑの処理により形成された近似輪郭線と、抽出された輪郭線（図６において、実線部分に対応）との差が所定の閾値を超えるか判定することにより、当該輪郭線が正確に抽出されたか検証する（ステップＳＤ−２）。

以上で、輪郭線検証処理の一例の説明を終える。

これにて、本画像処理装置１の処理の一例についての説明を終える。

続いて、本画像処理装置１の画像処理の実施例について、以下に図７〜図１６を参照して詳細に説明する。ここで、図７は、本画像処理装置１の画像処理の実施例を示すフローチャートである。また、図８は、本実施例における輪郭線抽出結果の一例を示す図である。また、図９は、本実施例における歪み位置検知の一例の詳細を示す図である。また、図１０は、本実施例における輪郭線検証の一例の詳細を示す図である。また、図１１は、本実施例における補正基準線決定の一例の詳細を示す図である。また、図１２は、本実施例における経線緯線推定の一例の詳細を示す図である。また、図１３は、本実施例における幾何補正の一例の詳細を示す図である。また、図１４は、本実施例における幾何補正の別の一例の詳細を示す図である。また、図１５は、本実施例における各画素の座標値を示す図である。また、図１６は、本実施例における補正画像生成結果の一例を示す図である。

以下、一例として、綴じ具（例えば、ホチキス）の綴じ位置（例えば、ホチキス辺）を含む原稿画像に対する画像処理の実施例を、図７のステップＳＥ〜１〜ＳＥ−１１の処理の流れに沿って、適宜図８〜図１６を参照して説明する。

図７に示すように、原稿画像取得部５ａは、画像撮影部２にて撮影された少なくとも原稿（例えば、ホチキスで左隅を綴じられておりページが捲られた状態の原稿）を含む原稿画像を取得することにより、画像入力を行う（ステップＳＥ−１）。

そして、輪郭線抽出部５ｂは、原稿画像取得部５ａの処理により取得された原稿画像の輝度値に基づいて、当該原稿画像を輝度画像に変換する（ステップＳＥ−２）。

そして、輪郭線抽出部５ｂは、図８に示すように、変換された輝度画像から、原稿の輪郭線（図８において、白線部分に対応）を抽出する（ステップＳＥ−３）。

そして、歪み位置検知部５ｃの矩形形成部５ｄは、図９に示すように、輪郭線抽出部５ｂの処理により抽出された輪郭線を囲んだ最小面積の矩形Ｒを形成する。ここで、最小面積の矩形Ｒは、下記の式１により表される。

そして、歪み位置検知部５ｃの輪郭直線検出部５ｅは、図９に示すように、矩形形成部５ｄの処理により形成された矩形Ｒを４つの象限（図９において、第Ｉ象限〜第ＩＶ象限に対応）に分割し、各象限において輪郭線上の直線部分を検出し、当該直線部分のうち矩形Ｒの相隣辺と交わる直線部分の集合を求めることにより、輪郭直線Ｌを検出する。そして、歪み位置検知部５ｃの対角線交点検出部５ｆは、図９に示すように、輪郭直線検出部５ｅの処理により各象限において検出された輪郭直線Ｌと、矩形Ｒの対角線との第１の交点Ｌ_ｐｃｉを検出する。そして、歪み位置検知部５ｃの距離算出部５ｇは、図９に示すように、対角線交点検出部５ｆの処理により各象限において検出された第１の交点Ｌ_ｐｃｉの座標と、矩形の中心Ｃ_ｏの座標とに基づいて、当該中心Ｃ_ｏから第１の交点Ｌ_ｐｃｉまで距離ｄを、下記の式２を用いて算出する。

そして、歪み位置検知部５ｃの距離直線選択部５ｈは、図９に示すように、距離算出部５ｇの処理により算出された距離ｄが全象限において最小となる距離直線（図９において、第ＩＩ象限の距離ｄの長さの対角線に対応）を選択する。そして、歪み位置検知部５ｃは、図９に示すように、距離直線選択部５ｈの処理により選択された距離直線と第１の交点Ｌ_ｐｃｉにて交わる輪郭直線Ｌを原稿の歪み位置（例えば、ホチキス辺）として検知する（ステップＳＥ−４）。

そして、近似輪郭線形成部５ｑは、輪郭線抽出部５ｂの処理により抽出された輪郭線上の座標は整数なのでより高精度に補正するため、第ＩＩ象限を一例とした図１０に示すように、輪郭線上で幾つかの代表的なポイントを抽出し、この代表ポイントの座標より３次スプライン補間で他のポイントの座標を求める（ステップＳＥ−５）。

具体的には、ステップＳＥ−５において、近似輪郭線形成部５ｑは、図１０に示すように、輪郭線抽出部５ｂの処理により抽出された輪郭線上（図１０において、太実線部分に対応）から少なくとも３つの代表ポイント（丸印で示した、上側の代表ポイント｛Ｐ_０，Ｐ_ｘ１，・・・，Ｐ_ｘｍ｝や、左側の代表ポイント｛Ｐ_０，Ｐ_ｙ１，・・・，Ｐ_ｙｈ｝）を抽出する。ここで、代表ポイントの｛ｍ，ｈ｝の点数は、少なくとも３点以上（例えば、５，６点）が望ましい。そして、近似輪郭線形成部５ｑは、抽出された当該代表ポイントを用いてスプライン補間（例えば、３次スプライン補間）を行い、当該代表ポイント以外の他のポイント（各代表ポイント間に２，３個のバツ印で示したポイント）の座標Ｓ_ｘやＳ_ｙを算出することにより、近似輪郭線（図１０において、細実線部分に対応）を形成する。

そして、輪郭線検証部５ｒは、図１０に示すように、近似輪郭線形成部５ｑの処理により形成された近似輪郭線の座標（例えば、Ｓ_ｘ（ｉ）およびＳ_ｙ（ｊ））と、輪郭線抽出部５ｂの処理により抽出された輪郭線（例えば、Ｐ_ｘ（ｉ）およびＰ_ｙ（ｊ））との差が所定の閾値（例えば、σ）を超えるか判定（例えば、｜Ｓ_ｘ（ｉ）−Ｐ_ｘ（ｉ）｜＞σ または、｜Ｓ_ｙ（ｊ）−Ｐ_ｙ（ｊ）｜＞σの場合、輪郭抽出は異常と判定）することにより、実際の輪郭線（図１０において、点線部分に対応）のように、当該輪郭線が輪郭線抽出部５ｂにて正確に抽出されたか検証する（ステップＳＥ−６）。

このように、輪郭線検証部５ｒは、歪み画像の補正において原稿の輪郭線が正しく抽出されていない場合は正確な補正を行うことができないため、輪郭線抽出部５ｂの処理により輪郭線が正確に抽出されたかを検証する。すなわち、輪郭線検証部５ｒは、原稿の歪みを反映させたとしても輪郭線の激しい歪み具合は現実的ではないとし、輪郭線上の代表ポイントの座標（例えば、Ｐ_ｘ（ｉ）およびＰ_ｙ（ｊ）））を、近似輪郭線形成部５ｑの処理により形成された近似輪郭線上の対応するポイントの座標（例えば、Ｓ_ｘ（ｉ）およびＳ_ｙ（ｊ））と比較することにより、ある程度差がある場合（例えば、所定の閾値σを超える、｜Ｓ_ｘ（ｉ）−Ｐ_ｘ（ｉ）｜＞σ または、｜Ｓ_ｙ（ｊ）−Ｐ_ｙ（ｊ）｜＞σの場合）は、輪郭線抽出部５ｂにて正確に輪郭線を抽出してこなかったものを判断する。

そして、ステップＳＥ−６において輪郭線検証部５ｒの処理により、差が所定の閾値未満である（例えば、｜Ｓ_ｘ（ｉ）−Ｐ_ｘ（ｉ）｜≦σ または、｜Ｓ_ｙ（ｊ）−Ｐ_ｙ（ｊ）｜≦σである）と判定され、輪郭線が輪郭線抽出部５ｂにて正確に抽出されたことが検証された場合（ステップＳＥ−６：Ｙｅｓ）、次のステップＳＥ−８の処理に進む。

一方、ステップＳＥ−６において輪郭線検証部５ｒの処理により、差が所定の閾値を超える（例えば、｜Ｓ_ｘ（ｉ）−Ｐ_ｘ（ｉ）｜＞σ または、｜Ｓ_ｙ（ｊ）−Ｐ_ｙ（ｊ）｜＞σである）と判定され、輪郭線が輪郭線抽出部５ｂの処理により正確に抽出されなかったことが検証された場合（ステップＳＥ−６：Ｎｏ）、輪郭線上に位置決めされた代表ポイント（図１０において、｛Ｐ_０，Ｐ_ｘ１，・・・，Ｐ_ｘｍ｝や｛Ｐ_０，Ｐ_ｙ１，・・・，Ｐ_ｙｈ｝に対応）を、ユーザが入力部を介して手動で修正し（ステップＳＥ−７）、修正された代表ポイントの座標に従って、次のステップＳＥ−８の処理に進む。

そして、補正画像生成部５ｉの輪郭曲線交点検出部５ｊは、第ＩＩ象限を一例とした図１１に示すように、歪み位置検知部５ｃの処理により歪み位置（綴じ位置を含む）として検知された輪郭直線（図１１において、Ｐ_１とＰ_２を結ぶ直線に対応）と、当該輪郭直線に隣接する輪郭線上の輪郭曲線（図１１において、Ｐ_１とＣ_ｏｓｙを結ぶ曲線、および、Ｐ_２とＣ_ｏｓｘを結ぶ曲線に対応）との２つの交点（図１１において、Ｐ_１とＰ_２）を検出する。そして、補正画像生成部５ｉの補正基準点決定部５ｋは、図１１に示すように、輪郭曲線交点検出部５ｊの処理により検出された２つの交点のうち第２の交点（図１１において、Ｐ_１に対応）および第３の交点（図１１において、Ｐ_２に対応）に基づいて、当該第２の交点と同じＹ座標にて矩形の第１の辺上（図１１において、Ｐ_０とＣ_ｏｙを結ぶ辺に対応）に位置決めされた第１の補正基準点（図１１において、Ｐ’_１に対応）、および、当該第３の交点と同じＸ座標にて矩形の第２の辺上（図１１において、Ｐ_０とＣ_ｏｘを結ぶ辺に対応）に位置決めされた第２の補正基準点（図１１において、Ｐ’_２に対応））を決定する。ここで、Ｐ’_２とＰ_２のＸ座標、Ｐ’_１とＰ_１のＹ座標は同じである。そして、補正画像生成部５ｉの補正基準線決定部５ｍは、図１１に示すように、補正基準点決定部５ｋの処理により決定された第１の補正基準点と第２の補正基準点とを結ぶ第３の辺（図１１において、Ｐ’_１とＰ’_２を結ぶ辺に対応）と、当該第３の辺により隔たられた矩形の角部分以外の当該矩形の各辺（図１１において、Ｐ’_１とＣ_ｏｙを結ぶ辺や、Ｐ’_２とＣ_ｏｘを結ぶ辺などに対応）とからなる補正基準線（図１１において、Ｃ_ｏｙＰ’_１Ｐ’_２Ｃ_ｏｘの辺に対応）を決定する（ステップＳＥ−８）。

なお、本発明において、補正基準点決定部５ｋの処理により決定された補正基準線は、後述する幾何補正部５ｏの処理により、歪みが発生した原稿画像をこの補正基準線に寄せて平面に展開した画像に補正する際に用いられる。すなわち、図１１に示すように、補正基準点決定部５ｋの処理により決定された補正基準線は、Ｐ_２Ｃ_ｏｓｘ辺をＰ’_２Ｃ_ｏｘに、Ｐ_１Ｐ_２辺をＰ’_１Ｐ’_２辺に、Ｐ_１Ｃ_ｏｓｙ辺をＰ’_１Ｃ_ｏｙに寄せて補正する際に用いられる。具体的には、図１１において、Ｘ方向への補正基準線をＰ’_２Ｐ’_１Ｃ_ｏｙとすると、対応する輪郭線はＰ_２Ｐ_１Ｃ_ｏｓｙとなり、同様にＹ方向への補正基準線をＰ’_１Ｐ’_２Ｃ_ｏｘとすると、対応する輪郭線はＰ_１Ｐ_２Ｃ_ｏｓｘとなる。ここで、補正基準線のＰ’_２Ｐ’_１Ｃ_ｏｙのＸ座標はＰ_ｘ、輪郭線のＰ_２Ｐ_１Ｃ_ｏｓｙのＸ座標はＳ_ｘ、補正基準線のＰ’_１Ｐ’_２Ｃ_ｏｘのＹ座標はＰ_ｙ、輪郭線のＰ_１Ｐ_２Ｃ_ｏｓｘのＸ座標はＳ_ｙで表される。

そして、補正画像生成部５ｉの経線緯線推定部５ｎは、本発明の補正のメカニズムが、輪郭線より経線と緯線の歪みを推定し、推定した歪み経線と緯線を直線になるように補正することで平面に展開した画像を得るものであるため、図１２に示すように、補正基準線決定部５ｍの処理により決定された補正基準線の座標（Ｐ_ｘおよびＰ_ｙ）、および、輪郭線抽出部５ｂの処理により抽出された輪郭線の座標（Ｓ_ｘおよびＳ_ｙ）、および、補正基準線の座標に基づいて推定された補正画像の各画素の座標（ｘ_ｄｓｔおよびｙ_ｄｓｔ）に基づいて、当該輪郭線に囲まれた原稿部分の歪んだ経線および緯線を推定することにより、湾曲線の座標（すなわち、歪んだ経線および緯線を構成する各画素の座標（ｘ_ｉ，ｙ_ｊ））を算出して、原稿画像の歪み具合を推定する（ステップＳＥ−９）。

具体的には、経線緯線推定部５ｎは、下記の式３および式４を用いて歪んだ経線および緯線の座標（ｘ_ｉ，ｙ_ｊ）を算出する。ここで、画素Ｉ（ｉ，ｊ）について推定された補正画像の座標を（ｘ_ｄｓｔ，ｙ_ｄｓｔ）とする。また、図１３において、Ｃ_ｏは画像撮影部２のカメラの中心を表し、綴じ位置であるホチキス辺は輪郭直線Ｐ_１Ｐ_２で表し、その相隣の輪郭曲線の座標をＳ_ｘ，Ｓ_ｙで表す。また、補正する基準辺をＰ_ｘ，Ｐ_ｙで表す。以下、ｙ_ｊの計算とｘ_ｉの計算に分けて説明する。

（ｙ_ｊの計算）
ｙ_ｊを計算する場合、経線緯線推定部５ｎは、図１３に示すように、歪んだ輪郭曲線Ｓ_ｘの長さＬ_ｙ０を画素Ｉが所在の列の補正基準線まで延長し、その長さをＬ_ｙ（ｉ）とする。なお、本実施例において、Ｌの表記は線の長さを示すものである。例えば、式３において、それぞれ、長さ「Ｌ_ｙ０」は「Ｃ_ｏ．ｙ−Ｐ_１．ｙ」、長さ「Ｌ_ｙ（ｉ）」は「Ｃ_ｏ．ｙ−Ｐ_ｙ（ｘ_ｄｓｔ）」、長さ「Ｌ_ｙ（ｘ_ｄｓｔ）」は「Ｃ_ｏ．ｙ−ｙ_ｄｓｔ」に等しい。そして、経線緯線推定部５ｎは、歪んだ輪郭曲線Ｓ_ｘの始点をＰ_１として、画素Ｉの元Ｙ座標値（ｙ_ｊ）を、下記の式３を用いて算出する。これは歪み輪郭曲線Ｓ_ｘに基づいて、画素Ｉが所在の列に関する歪み具合を推定するものである。

（ｘ_ｉの計算）
ｘ_ｉを計算する場合、経線緯線推定部５ｎは、図１３に示すように、歪んだ輪郭曲線Ｓ_ｙの長さＬ_ｘ０を画素Ｉが所在の行の補正基準線まで延長し、その長さをＬ_ｘ（ｊ）とする。例えば、式４において、それぞれ、長さ「Ｌ_ｘ０」は「Ｃ_ｏ．ｘ−Ｐ_２．ｘ」、長さ「Ｌ_ｘ（ｊ）」は「Ｃ_ｏ．ｘ−Ｐ_ｘ（ｙ_ｄｓｔ）」、長さ「Ｌ_ｘ（ｙ_ｄｓｔ）」は「Ｃ_ｏ．ｘ−ｘ_ｄｓｔ」に等しい。そして、経線緯線推定部５ｎは、歪んだ輪郭曲線Ｓ_ｙの始点をＰ_２として、画素Ｉの元Ｘ座標値（ｘ_ｉ）を、下記の式４を用いて算出する。これは歪み輪郭曲線Ｓ_ｙに基づいて、画素Ｉが所在の行に関する歪み具合を推定するものである。

そして、補正画像生成部５ｉの原稿画像画素座標取得部５ｏは、経線緯線推定部５ｎの処理により推定された歪んだ経線および緯線の座標（ｘ_ｉ，ｙ_ｊ）、輪郭線抽出部５ｂの処理により抽出された輪郭線の座標（Ｓ_ｘおよびＳ_ｙ）、補正基準線決定部５ｍにて決定された補正基準線の座標（Ｐ_ｘおよびＰ_ｙ）、ならびに、補正基準線の当該座標に基づいて推定された補正画像の各画素の座標（ｘ_ｄｓｔおよびｙ_ｄｓｔ）に基づいて、当該補正画像の各画素の座標に対応する原稿画像の各画素の座標（ｘ_ｓｒｃ，ｙ_ｓｒｃ）を取得する。そして、補正画像生成部５ｉの補正画像画素座標決定部５ｐは、原稿画像画素座標取得部５ｏの処理により取得された原稿画像の各画素の座標（ｘ_ｓｒｃ，ｙ_ｓｒｃ）を補間することにより、経線、緯線、および、輪郭線を補正基準線へ寄せて直線化した状態の補正画像の各画素の座標（Ｉ_ｎ）を決定する（ステップＳＥ−１０）。

具体的には、原稿画像画素座標取得部５ｏは、下記の式５および式６を用いて、原稿画像の各画素の座標（ｘ_ｓｒｃ，ｙ_ｓｒｃ）を取得する。以下、ｘ_ｓｒｃの計算とｙ_ｓｒｃの計算に分けて説明する。

（ｘ_ｓｒｃの計算）
ｘ_ｓｒｃを計算する場合、原稿画像画素座標取得部５ｏは、下記の式５を用いて各座標を算出する。例えば、式５において、それぞれ、長さ「ＬＳ_ｘ（ｙ_ｊ）」は「Ｃ_ｏ．ｘ−Ｓ_ｘ（ｙ_ｊ）」、長さ「Ｌ_Ｘ」は「Ｃ_ｏ．ｘ−Ｐ_０．ｘ」、長さ「Ｌ_ｘ（ｘ_ｄｓｔ）」は「Ｃ_ｏ．ｘ−ｘ_ｄｓｔ」に等しい。

（ｙ_ｓｒｃの計算）
ｙ_ｓｒｃを計算する場合は、原稿画像画素座標取得部５ｏは、下記の式６を用いて各座標を算出する。例えば、式６において、それぞれ、長さ「ＬＳ_ｙ（ｘ_ｉ）」は「Ｃ_ｏ．ｙ−Ｓ_ｙ（ｘ_ｉ）」、長さ「Ｌ_Ｙ」は「Ｃ_ｏ．ｙ−Ｐ_０．ｙ」、長さ「Ｌ_ｙ（ｙ_ｄｓｔ）」は「Ｃ_ｏ．ｙ−ｙ_ｄｓｔ」に等しい。

ここで、綴じ位置のホチキス辺が所在する以外象限（本実施例において、第Ｉ象限等）における補正について、図１４を参照して以下に説明する。

図１４に示すように、画像処理部５は、歪んだ輪郭曲線Ｓ_ｘとＳ_ｙに基づいて、当該Ｓ_ｘとＳ_ｙとの交点Ｃ_ｓを求める。そして、画像処置部５は、歪んだ輪郭曲線Ｓ_ｘを最小面積の矩形の辺Ｐ_ｘに寄せ、また、歪んだ輪郭曲線Ｓ_ｙを最小面積の矩形の辺Ｐ_ｙ辺に寄せて、湾曲線（輪郭曲線Ｓ_ｘとＳ_ｙ等）が直線になるように各画素Ｉの座標値を算出する。すなわち、画像処理部５は、交点Ｃ_ｓを補正後の交点Ｐ_０まで延長させる。

具体的には、経線緯線推定部５ｎが、下記の式７および式８を用いて歪んだ経線および緯線の座標（ｘ_ｉ，ｙ_ｊ）を算出する。ここで、図１４において、Ｃ_ｏは画像撮影部２のカメラの中心を表し、輪郭曲線の座標をＳ_ｘ，Ｓ_ｙで表す。また、補正する基準辺をＰ_ｘ，Ｐ_ｙで表す。以下、ｙ_ｊの計算とｘ_ｉの計算に分けて説明する。

（ｙ_ｊの計算）
ｙ_ｊを計算する場合、経線緯線推定部５ｎは、図１４に示すように、歪んだ輪郭曲線Ｓ_ｘの長さＬ_ｙ０を補正基準線まで延長し、その長さをＬ_Ｙとする。例えば、式７において、長さ「Ｌ_Ｙ」は「Ｃ_ｏ．ｙ−Ｐ_０．ｙ」、長さ「Ｌ_ｙ０」は「Ｃ_ｏ．ｙ−Ｃ_ｓ．ｙ」、長さ「Ｌ_ｙ（ｙ_ｄｓｔ）」は「Ｃ_ｏ．ｙ−ｙ_ｄｓｔ」に等しい。そして、経線緯線推定部５ｎは、歪んだ輪郭曲線Ｓ_ｘの始点をＣ_ｓとして、画素Ｉの元Ｙ座標値（ｙ_ｊ）を、下記の式７を用いて算出する。

（ｘ_ｉの計算）
ｘ_ｉを計算する場合、経線緯線推定部５ｎは、図１４に示すように、歪んだ輪郭曲線Ｓ_ｙの長さＬ_ｘ０を補正基準線まで延長し、その長さをＬ_Ｘとする。例えば、式８において、長さ「Ｌ_Ｘ」は「Ｐ_０．ｘ−Ｃ_ｏ．ｘ」、長さ「Ｌ_ｘ０」は「Ｃ_ｓ．ｘ−Ｃ_ｏ．ｓ」、長さ「Ｌ_ｘ（ｘ_ｄｓｔ）」は「ｘ_ｄｓｔ−Ｃ_ｏ．ｘ」に等しい。そして、経線緯線推定部５ｎは、歪んだ輪郭曲線Ｓ_ｙの始点をＰ_ｓｙとして、画素Ｉの元Ｘ座標値（ｘ_ｉ）を、下記の式８を用いて算出する。

そして、原稿画像画素座標取得部５ｏは、下記の式９および式１０を用いて原稿画像の各画素の座標（ｘ_ｓｒｃ，ｙ_ｓｒｃ）を取得する。以下、ｘ_ｓｒｃの計算とｙ_ｓｒｃの計算に分けて説明する。

（ｘ_ｓｒｃの計算）
ｘ_ｓｒｃを計算する場合、原稿画像画素座標取得部５ｏは、下記の式９を用いて各座標を算出する。例えば、式９において、それぞれ、長さ「ＬＳ_ｘ（ｙ_ｊ）」は「Ｓ_ｘ（ｙ_ｊ）−Ｃ_ｏ．ｘ」、長さ「Ｌ_Ｘ」は「Ｐ_０．ｘ−Ｃ_ｏ．ｘ」、長さ「Ｌ_ｘ（ｘ_ｄｓｔ）」は「ｘ_ｄｓｔ−Ｃ_ｏ．ｘ」に等しい。

（ｙ_ｓｒｃの計算）
ｙ_ｓｒｃを計算する場合は、原稿画像画素座標取得部５ｏは、下記の式１０を用いて各座標を算出する。例えば、式１０において、それぞれ、長さ「ＬＳ_ｙ（ｘ_ｉ）」は「Ｃ_ｏ．ｙ−Ｓ_ｙ（ｘ_ｉ）」、長さ「Ｌ_Ｙ」は「Ｃ_ｏ．ｙ−Ｐ_０．ｙ」、長さ「Ｌ_ｙ（ｙ_ｄｓｔ）」は「Ｃ_ｏ．ｙ−ｙ_ｄｓｔ」に等しい。

そして、上述の原稿画像画素座標取得部５ｏの処理の後、補正画像生成部５ｉの補正画像画素座標決定部５ｐは、原稿画像画素座標取得部５ｏの処理により取得された原稿画像の各画素の座標（すなわち、元画像の座標値）（ｘ_ｓｒｃ，ｙ_ｓｒｃ）が小数であるため、下記の式１１を用いて補間することにより、経線、緯線、および、輪郭線を補正基準線へ寄せて直線化した状態の補正画像の各画素の座標（Ｉ_ｎ）を決定する。

すなわち、補正画像画素座標決定部５ｐは、図１５左図に示す推定された補正画像（補正後の画像）の各画素の座標（ｘ_ｄｓｔおよびｙ_ｄｓｔ）に対応する、図１５右図に示す原稿画像（元画像）の画素の座標（ｘ_ｓｒｃ，ｙ_ｓｒｃ）を決定する。ここで、図１５において、ｘ_ｄｓｔおよびｙ_ｄｓｔは、補正した画像の各画素の座標値（すなわち、最終生成した補正画像の各画素の座標値）を表す。一般には補正画像と元画像のサイズは同じであるので、ｘ_ｄｓｔおよびｙ_ｄｓｔは、それぞれ、１，２，３等のＷＩＤＴＨと、１，２，３等のＨＥＩＧＨＴの整数値を取得する。また、図１５において、ｘ_ｓｒｃおよびｙ_ｓｒｃは、元画像におけるｘ_ｄｓｔおよびｙ_ｄｓｔに対応する画素の座標値（すなわち、歪み画像を補正した前の座標）を表す。

そして、補正画像生成部５ｉは、補正画像の各画素の輝度値を算出して（ステップＳＥ−１１）、補正画像画素座標決定部５ｐの処理により決定された補正画像の各画素の座標（Ｉ_ｎ）を用いて、図１６に示すような原稿画像の歪みを補正した補正画像を生成する。その後、処理を終了する。

これにて、本画像処理装置１の画像処理の実施例についての説明を終える。

［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。

例えば、画像処理装置１がスタンドアローンの形態で処理を行う場合を一例に説明したが、画像処理装置１とは別筐体で構成されるクライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するように構成してもよい。

また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

また、画像処理装置１に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、画像処理装置１の各装置が備える処理機能、特に制御部にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ６（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵ６にて解釈実行されるプログラムにて実現することができ、あるいは、ワイヤードロジックによるハードウェアとして実現することも可能である。尚、プログラムは、後述する記録媒体に記録されており、必要に応じて画像処理装置１に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤなどの記憶部などは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）として協働してＣＰＵ６に命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵ６と協働して制御部を構成する。

また、このコンピュータプログラムは、画像処理装置１に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納することもできる。ここで、この「記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の任意の「可搬用の物理媒体」、あるいは、ＬＡＮ、ＷＡＮ、インターネットに代表されるネットワークを介してプログラムを送信する場合の通信回線や搬送波のように、短期にプログラムを保持する「通信媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶部に格納される各種のデータベース等は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラムやテーブルやデータベースやファイル等を格納する。

また、画像処理装置１は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置を接続し、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

以上詳述したように、本発明によれば、光学系機構を用いることなく情報処理により撮影対象の歪み補正を高精度で効率的に行える携帯性および汎用性の優れた画像処理装置および画像処理方法を提供することができるので、例えば、画像撮影部（２次元イメージセンサ）により撮影された歪んだ原稿の画像に対して行う画像処理を支援する、情報処機器および情報処理分野などの様々な分野において極めて有用である。

本発明が適用される本画像処理装置１の構成の一例を示すブロック図である。 本発明が適用される本画像処理装置１の画像処理部５の構成の一例を示すブロック図である。 本実施形態における基本処理の一例を示すフローチャートである。 本実施形態における歪み位置検知処理の一例を示すフローチャートである。 本実施形態における補正画像生成処理の一例を示すフローチャートである。 本実施形態における輪郭線検証処理の一例を示すフローチャートである。 本画像処理装置１の画像処理の実施例を示すフローチャートである。 本実施例における輪郭線抽出結果の一例を示す図である。 本実施例における歪み位置検知の一例の詳細を示す図である。 本実施例における輪郭線検証の一例の詳細を示す図である。 本実施例における補正基準線決定の一例の詳細を示す図である。 本実施例における経線緯線推定の一例の詳細を示す図である。 本実施例における幾何補正の一例の詳細を示す図である。 本実施例における幾何補正の別の一例の詳細を示す図である。 本実施例における各画素の座標値を示す図である。 本実施例における補正画像生成結果の一例を示す図である。

符号の説明

１ 画像処理装置
２ 画像撮影部（２次元イメージセンサ）
３ Ａ／Ｄ変換部
４ 画像メモリ部
５ 画像処理部
５ａ 原稿画像取得部
５ｂ 輪郭線抽出部
５ｃ 歪み位置検知部
５ｄ 矩形形成部
５ｅ 輪郭直線検出部
５ｆ 対角線交点検出部
５ｇ 距離算出部
５ｈ 距離直線選択部
５ｉ 補正画像生成部
５ｊ 輪郭曲線交点検出部
５ｋ 補正基準点決定部
５ｍ 補正基準線決定部
５ｎ 経線緯線推定部
５ｏ 原稿画像画素座標取得部
５ｐ 補正画像画素座標決定部
５ｑ 近似輪郭線形成部
５ｒ 輪郭線検証部
６ ＣＰＵ
７ 表示パネル
８ 外部記憶装置
９ 外部インターフェース部

Claims (12)

1. 画像撮影部と制御部とを少なくとも備えた画像処理装置であって、
   上記制御部は、
   上記画像撮影部にて撮影された少なくとも原稿を含む原稿画像を取得する原稿画像取得手段と、
   上記原稿画像取得手段にて取得された上記原稿画像から輝度値に基づいて上記原稿の輪郭線を抽出する輪郭線抽出手段と、
   上記輪郭線抽出手段にて抽出された上記輪郭線を囲んだ最小面積の矩形の対角線上において、当該矩形の中心から上記輪郭線までの距離が最小となる位置にある当該輪郭線上の輪郭直線を上記原稿の歪み位置として検知する歪み位置検知手段と、
   上記歪み位置検知手段にて検知された上記歪み位置に基づいて決定された補正基準線まで、上記輪郭線を延長するよう上記原稿画像に対して幾何補正を行うことにより、当該原稿画像の歪みを補正した補正画像を生成する補正画像生成手段と、
   を備えたことを特徴とする、画像処理装置。
2. 請求項１に記載の画像処理装置において、
   上記歪み位置検知手段は、
   上記輪郭線抽出手段にて抽出された上記輪郭線を囲んだ上記最小面積の上記矩形を形成する矩形形成手段と、
   上記矩形形成手段にて形成された上記矩形を４つの象限に分割し、各象限において上記輪郭線上の直線部分を検出し、当該直線部分のうち上記矩形の相隣辺と交わる上記輪郭直線を検出する輪郭直線検出手段と、
   上記輪郭直線検出手段にて上記各象限において検出された上記輪郭直線と、上記矩形の対角線との第１の交点を検出する対角線交点検出手段と、
   上記対角線交点検出手段にて上記各象限において検出された上記第１の交点の座標と、上記矩形の上記中心の座標とに基づいて、当該中心から上記第１の交点まで距離を算出する距離算出手段と、
   上記距離算出手段にて算出された上記距離が全象限において最小となる距離直線を選択する距離直線選択手段と、
   を更に備え、
   上記歪み位置検知手段は、
   上記距離直線選択手段にて選択された上記距離直線と上記第１の交点にて交わる上記輪郭直線を上記原稿の上記歪み位置として検知することを特徴とする、画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   上記補正画像生成手段は、
   上記歪み位置検知手段にて上記歪み位置として検知された上記輪郭直線と、当該輪郭直線に隣接する上記輪郭線上の輪郭曲線との２つの交点を検出する輪郭曲線交点検出手段と、
   上記輪郭曲線交点検出手段にて検出された上記２つの交点のうち第２の交点および第３の交点に基づいて、当該第２の交点と同じＹ座標にて上記矩形の第１の辺上に位置決めされた第１の補正基準点、および、当該第３の交点と同じＸ座標にて上記矩形の第２の辺上に位置決めされた第２の補正基準点を決定する補正基準点決定手段と、
   上記補正基準点決定手段にて決定された上記第１の補正基準点と上記第２の補正基準点とを結ぶ第３の辺と、当該第３の辺により隔たられた上記矩形の角部分以外の当該矩形の各辺とからなる上記補正基準線を決定する補正基準線決定手段と、
   上記補正基準線決定手段にて決定された上記補正基準線の座標、上記輪郭線抽出手段にて抽出された上記輪郭線の座標、および、上記補正基準線の上記座標に基づいて推定された上記補正画像の各画素の座標に基づいて、当該輪郭線に囲まれた原稿部分の歪んだ経線および緯線を推定する経線緯線推定手段と、
   上記経線緯線推定手段にて推定された歪んだ上記経線および上記緯線の上記座標、上記輪郭線抽出手段にて抽出された上記輪郭線の上記座標、上記補正基準線決定手段にて決定された上記補正基準線の上記座標、ならびに、当該補正基準線の当該座標に基づいて推定された上記補正画像の各画素の上記座標に基づいて、当該補正画像の各画素の上記座標に対応する上記原稿画像の各画素の座標を取得する原稿画像画素座標取得手段と、
   上記原稿画像画素座標取得手段にて取得された上記原稿画像の各画素の上記座標を補間することにより、上記経線、上記緯線、および、上記輪郭線を上記補正基準線へ寄せて直線化した状態の上記補正画像の各画素の上記座標を決定する補正画像画素座標決定手段と、
   を更に備え、
   上記補正画像生成手段は、
   上記補正画像画素座標決定手段にて決定された上記補正画像の各画素の上記座標を用いて、上記原稿画像の上記歪みを補正した上記補正画像を生成することを特徴とする、画像処理装置。
4. 請求項１〜３のうちいずれか１つに記載の画像処理装置において、
   上記制御部は、
   上記輪郭線抽出手段にて抽出された上記輪郭線上から少なくとも３つの代表ポイントを抽出し、当該代表ポイントを用いてスプライン補間を行い、当該代表ポイント以外のポイントを算出することにより近似輪郭線を形成する近似輪郭線形成手段と、
   上記近似輪郭線形成手段にて形成された上記近似輪郭線と、上記輪郭線抽出手段にて抽出された上記輪郭線との差が所定の閾値を超えるか判定することにより、当該輪郭線が上記輪郭線抽出手段にて正確に抽出されたか検証する輪郭線検証手段と、
   を更に備えたことを特徴とする、画像処理装置。
5. 請求項４に記載の画像処理装置において
   上記歪み位置検知手段は、
   上記輪郭線検証手段にて上記差が上記所定の上記閾値未満であると判定され、上記輪郭線が上記輪郭線抽出手段にて正確に抽出されたと検証された場合、検証された上記輪郭線を囲んだ上記最小面積の矩形の中心から上記輪郭線までの距離が最小となる位置にある当該輪郭線上の上記輪郭直線を上記原稿の上記歪み位置として検知することを特徴とする、画像処理装置。
6. 請求項５に記載の画像処理装置において、
   上記歪み位置は、上記原稿を綴じ具で綴じた場合の綴じ位置を含むことを特徴とする、画像処理装置。
7. 画像撮影部と制御部とを少なくとも備えた画像処理装置において実行される画像処理方法であって、
   上記制御部において実行される、
   上記画像撮影部にて撮影された少なくとも原稿を含む原稿画像を取得する原稿画像取得ステップと、
   上記原稿画像取得ステップにて取得された上記原稿画像から輝度値に基づいて上記原稿の輪郭線を抽出する輪郭線抽出ステップと、
   上記輪郭線抽出ステップにて抽出された上記輪郭線を囲んだ最小面積の矩形の対角線上において、当該矩形の中心から上記輪郭線までの距離が最小となる位置にある当該輪郭線上の輪郭直線を上記原稿の歪み位置として検知する歪み位置検知ステップと、
   上記歪み位置検知ステップにて検知された上記歪み位置に基づいて決定された補正基準線まで、上記輪郭線を延長するよう上記原稿画像に対して幾何補正を行うことにより、当該原稿画像の歪みを補正した補正画像を生成する補正画像生成ステップと、
   を含むことを特徴とする、画像処理方法。
8. 請求項７に記載の画像処理方法において、
   上記歪み位置検知ステップにおいて、
   上記輪郭線抽出ステップにて抽出された上記輪郭線を囲んだ上記最小面積の上記矩形を形成する矩形形成ステップと、
   上記矩形形成ステップにて形成された上記矩形を４つの象限に分割し、各象限において上記輪郭線上の直線部分を検出し、当該直線部分のうち上記矩形の相隣辺と交わる上記輪郭直線を検出する輪郭直線検出ステップと、
   上記輪郭直線検出ステップにて上記各象限において検出された上記輪郭直線と、上記矩形の対角線との第１の交点を検出する対角線交点検出ステップと、
   上記対角線交点検出ステップにて上記各象限において検出された上記第１の交点の座標と、上記矩形の上記中心の座標とに基づいて、当該中心から上記第１の交点まで距離を算出する距離算出ステップと、
   上記距離算出ステップにて算出された上記距離が全象限において最小となる距離直線を選択する距離直線選択ステップと、
   を更に含み、
   上記歪み位置検知ステップにおいて、
   上記距離直線選択ステップにて選択された上記距離直線と上記第１の交点にて交わる上記輪郭直線を上記原稿の上記歪み位置として検知することを特徴とする、画像処理方法。
9. 請求項７または８に記載の画像処理方法において、
   上記補正画像生成ステップにおいて、
   上記歪み位置検知ステップにて上記歪み位置として検知された上記輪郭直線と、当該輪郭直線に隣接する上記輪郭線上の輪郭曲線との２つの交点を検出する輪郭曲線交点検出ステップと、
   上記輪郭曲線交点検出ステップにて検出された上記２つの交点のうち第２の交点および第３の交点に基づいて、当該第２の交点と同じＹ座標にて上記矩形の第１の辺上に位置決めされた第１の補正基準点、および、当該第３の交点と同じＸ座標にて上記矩形の第２の辺上に位置決めされた第２の補正基準点を決定する補正基準点決定ステップと、
   上記補正基準点決定ステップにて決定された上記第１の補正基準点と上記第２の補正基準点とを結ぶ第３の辺と、当該第３の辺により隔たられた上記矩形の角部分以外の当該矩形の各辺とからなる上記補正基準線を決定する補正基準線決定ステップと、
   上記補正基準線決定ステップにて決定された上記補正基準線の座標、上記輪郭線抽出ステップにて抽出された上記輪郭線の座標、および、上記補正基準線の上記座標に基づいて推定された上記補正画像の各画素の座標に基づいて、当該輪郭線に囲まれた原稿部分の歪んだ経線および緯線を推定する経線緯線推定ステップと、
   上記経線緯線推定ステップにて推定された歪んだ上記経線および上記緯線の上記座標、上記輪郭線抽出ステップにて抽出された上記輪郭線の上記座標、上記補正基準線決定ステップにて決定された上記補正基準線の上記座標、ならびに、当該補正基準線の当該座標に基づいて推定された上記補正画像の各画素の上記座標に基づいて、当該補正画像の各画素の上記座標に対応する上記原稿画像の各画素の座標を取得する原稿画像画素座標取得ステップと、
   上記原稿画像画素座標取得ステップにて取得された上記原稿画像の各画素の上記座標を補間することにより、上記経線、上記緯線、および、上記輪郭線を上記補正基準線へ寄せて直線化した状態の上記補正画像の各画素の上記座標を決定する補正画像画素座標決定ステップと、
   を更に含み、
   上記補正画像生成ステップにおいて、
   上記補正画像画素座標決定ステップにて決定された上記補正画像の各画素の上記座標を用いて、上記原稿画像の上記歪みを補正した上記補正画像を生成することを特徴とする、画像処理方法。
10. 請求項７〜９のうちいずれか１つに記載の画像処理方法において、
    上記制御部において実行される、
    上記輪郭線抽出ステップにて抽出された上記輪郭線上から少なくとも３つの代表ポイントを抽出し、当該代表ポイントを用いてスプライン補間を行い、当該代表ポイント以外のポイントを算出することにより近似輪郭線を形成する近似輪郭線形成ステップと、
    上記近似輪郭線形成ステップにて形成された上記近似輪郭線と、上記輪郭線抽出ステップにて抽出された上記輪郭線との差が所定の閾値を超えるか判定することにより、当該輪郭線が上記輪郭線抽出ステップにて正確に抽出されたか検証する輪郭線検証ステップと、
    を更に含むことを特徴とする、画像処理方法。
11. 請求項１０に記載の画像処理方法において
    上記歪み位置検知ステップにおいて、
    上記輪郭線検証ステップにて上記差が上記所定の上記閾値未満であると判定され、上記輪郭線が上記輪郭線抽出ステップにて正確に抽出されたと検証された場合、検証された上記輪郭線を囲んだ上記最小面積の矩形の中心から上記輪郭線までの距離が最小となる位置にある当該輪郭線上の上記輪郭直線を上記原稿の上記歪み位置として検知することを特徴とする、画像処理方法。
12. 請求項１１に記載の画像処理方法において、
    上記歪み位置は、上記原稿を綴じ具で綴じた場合の綴じ位置を含むことを特徴とする、画像処理方法。

Images