JP5802524B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。

オーバーヘッドスキャナなどの読取装置において、本などの見開き媒体を読み取って読取画像データを生成すると、媒体の厚みや綴じ部の影響によってページが半円筒形に歪んだ画像となる場合がある。このような歪み形状を検出して、検出した歪み形状の情報に基づいて読取画像データの歪みを補正する処理を行う画像処理装置が提案されている（例えば特許文献１）。

特開２００６−０８７０２７号公報

しかしながら、特許文献１に記載されるような従来の画像処理装置では、装置が検出した歪み形状の候補をユーザに提示し、ユーザの選択結果に応じて補正処理を行う構成であった。このため、装置が提示する歪み形状の候補の中に正確なものが無い場合には、充分な補正処理を実施できない虞がある。このように、従来の画像処理装置では、読取画像データの補正処理においてさらなる改善の余地がある。

本発明は、上記に鑑みてなされたものであって、読取画像データの補正処理の補正精度を向上できる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、読取対象の媒体に対応する媒体領域を含む読取画像データから前記媒体領域の輪郭情報を抽出して、抽出された前記輪郭情報に基づいて前記媒体領域の歪みを補正する読取画像データの画像処理装置であって、前記読取画像データを取得する取得手段と、前記取得手段により取得された前記読取画像データから前記媒体領域の輪郭情報を抽出する抽出手段と、前記抽出手段により抽出された前記輪郭情報を前記読取画像データ上に表示する表示手段と、前記表示手段により表示された前記輪郭情報の前記読取画像データに対する位置を変更する指示を検出する検出手段と、を備え、前記輪郭情報は、前記媒体領域のコーナー点と前記コーナー点の間を結ぶ輪郭線とを含み、前記変更する指示は、前記輪郭線に対する補助点の追加または位置変更に関する情報であり、前記抽出手段は、前記検出手段により前記補助点の追加または位置変更の指示が検出された場合、前記コーナー点及び前記補助点に基づき前記輪郭線を修正する指示を反映させて、前記輪郭情報を再抽出し、前記表示手段は、前記抽出手段により再抽出された前記輪郭情報を再表示する、ことを特徴とする。

また、上記の画像処理装置では、前記変更する指示は、前記コーナー点の位置変更に関する情報であり、前記抽出手段は、前記コーナー点の位置変更の指示があった場合、前記位置変更された前記コーナー点を反映させて前記輪郭線を修正することが好適である。

また、上記の画像処理装置では、前記変更する指示で指定される位置が前記輪郭情報に対して指定範囲より離れている場合は、前記変更する指示を受け付けないことが好適である。

また、上記の画像処理装置では、前記抽出手段は、前記媒体が見開きの媒体である場合には、前記媒体のページ上下に対応する輪郭情報を抽出するよう構成され、前記媒体領域のうちの一方のページに対応する輪郭情報を抽出できない場合には、輪郭情報を抽出できた他方のページに対応する輪郭情報に基づいて、前記一方のページに対応する輪郭情報を生成することが好適である。

同様に、上記課題を解決するために、本発明に係る画像処理方法は、読取対象の媒体に対応する媒体領域を含む読取画像データから前記媒体領域のコーナー点と前記コーナー点の間を結ぶ輪郭線とを含む輪郭情報を抽出して、抽出された前記輪郭情報に基づいて前記媒体領域の歪みを補正する読取画像データの画像処理方法であって、前記読取画像データを取得する取得ステップと、前記取得ステップにて取得された前記読取画像データから前記媒体領域の輪郭情報を抽出する抽出ステップと、前記抽出ステップにて抽出された前記輪郭情報を前記読取画像データ上に表示する表示ステップと、前記表示ステップにて表示された前記輪郭情報の前記読取画像データに対する輪郭線の補助点の追加または位置変更の指示を検出する検出ステップと、前記検出ステップにおいて前記補助点の追加または位置変更の指示が検出された場合、前記コーナー点及び前記補助点に基づき前記輪郭線を修正する指示を反映させて、前記輪郭情報を再抽出する再抽出ステップと、前記再抽出ステップにて再抽出された前記輪郭情報を再表示する再表示ステップと、を含む。

同様に、上記課題を解決するために、本発明に係る画像処理プログラムは、読取対象の媒体に対応する媒体領域を含む読取画像データから前記媒体領域のコーナー点と前記コーナー点の間を結ぶ輪郭線とを含む輪郭情報を抽出して、抽出された前記輪郭情報に基づいて前記媒体領域の歪みを補正する機能をコンピュータに実現させるための読取画像データの画像処理プログラムであって、前記読取画像データを取得する取得機能と、前記取得機能により取得された前記読取画像データから前記媒体領域の輪郭情報を抽出する抽出機能と、前記抽出機能により抽出された前記輪郭情報を前記読取画像データ上に表示する表示機能と、前記表示機能により表示された前記輪郭情報の前記読取画像データに対する輪郭線の補助点の追加または位置変更の指示を検出する検出機能と、前記検出機能により前記補助点の追加または位置変更の指示が検出された場合、前記コーナー点及び前記補助点に基づき前記輪郭線を修正する指示を反映させて、前記輪郭情報を再抽出する再抽出機能と、前記再抽出機能により再抽出された前記輪郭情報を再表示する再表示機能と、をコンピュータに実現させることを特徴とする。

本発明に係る画像処理装置、画像処理方法、および画像処理プログラムは、読取画像データ内の媒体領域の湾曲を補正するために用いる媒体領域の輪郭情報を、読取画像データに対する位置を変更する指示に応じて修正することが可能となり、最終的に修正された精度の良い輪郭情報を利用して読取画像データの歪みを補正する処理を行うことができるので、この結果、読取画像データの補正処理の補正精度を向上できるという効果を奏する。

図１は、本発明の第１実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。 図２は、第１実施形態の画像処理装置により実施される歪み補正処理のフローチャートである。 図３は、輪郭情報の抽出処理を説明するための図である。 図４は、コーナー点の位置修正を説明するための図である。 図５は、補助点の追加による輪郭線の修正を説明するための図である。 図６は、修正された輪郭情報に基づく読取画像データの歪み補正を説明するための図である。 図７は、第２実施形態の画像処理装置により実施される歪み補正処理のフローチャートである。 図８は、第３実施形態の画像処理装置により実施される歪み補正処理のフローチャートである。 図９は、未検出のコーナー点の配置手法を説明するための図である。

以下に、本発明に係る画像処理装置、画像処理方法、および画像処理プログラムの実施形態を図面に基づいて説明する。なお、以下の図面において、同一または相当する部分には同一の参照番号を付し、その説明は繰り返さない。

［第１実施形態］
図１〜６を参照して本発明の第１実施形態について説明する。まず図１を参照して本実施形態に係る画像処理装置の構成について説明する。図１は、本実施形態に係る画像処理装置１の概略構成を示す機能ブロック図である。また、以下の説明において、上下方向及び左右方向とは、特に記載のない限り図３または図６などの上下方向及び左右方向を示すものとする。

図１に示すように、画像処理装置１は、スキャナ装置２０から読取画像データが入力されると、この画像を補正処理して、記憶装置やプリンタなどの外部機器３０に出力するものである。本実施形態の画像処理装置１は、特に、例えば本など、中央に綴じ部があり、綴じ部の両側にページがある見開き媒体を主な読取対象の媒体としている。画像処理装置１は、このような見開き媒体に対応する媒体領域を含む読取画像データを生成したときに起こりうる、ページの湾曲などの歪みを精度良く補正することができる。

画像処理装置１は、画像取得部１１（取得手段）、輪郭抽出部１２（抽出手段）、画像表示部１３（表示手段）、指示検出部１４（検出手段）、画像補正部１５、及び画像出力部１６を備えている。

画像取得部１１は、スキャナ装置２０が媒体を読み取って作成した読取画像データをスキャナ装置２０から取得する。

輪郭抽出部１２は、画像取得部１１により取得された読取画像データから媒体の輪郭情報を抽出する。輪郭情報とは、読取対象の媒体の輪郭に関する情報であり、例えば媒体領域の角部の位置を示す「コーナー点」と、これらのコーナー点を結ぶ輪郭線とを含む。

また、輪郭抽出部１２は、後述の指示検出部１４により輪郭修正指示を受信した場合には、修正指示に含まれる情報を反映させて、輪郭情報の再抽出を行う。

画像表示部１３は、輪郭抽出部１２により抽出された（または再抽出された）輪郭情報を、読取画像データの媒体領域の輪郭の上に重ねた輪郭抽出結果画像を、例えばディスプレイなどの表示装置に表示して、ユーザに提示する。

指示検出部１４は、マウスやキーボード、タッチパネルなどの入力装置を介してユーザの指示入力を検出する。

具体的には、指示検出部１４は、画像表示部１３によりユーザに提示された輪郭抽出結果画像について、輪郭情報の読取画像データに対する位置を変更する指示（以下「輪郭修正指示」とも表現する）がユーザから入力されたことを検出する。指示検出部１４は、この輪郭修正指示を受け付けると、輪郭修正指示に含まれる情報を輪郭抽出部１２に送信する。

また、指示検出部１４は、画像表示部１３により輪郭抽出結果画像がユーザに提示された後に、輪郭情報が正確なものであるとユーザに判断され、この輪郭情報を利用して読取画像データの歪み補正処理を実行する指示（以下「画像補正指示」とも表現する）がユーザから入力されたことも検出する。指示検出部１４は、この画像補正指示を受け付けると、その旨を画像補正部１５に送信する。

画像補正部１５は、指示検出部１４により画像補正指示を受信すると、輪郭抽出部１２により抽出された輪郭情報に基づいて、読取画像データ内の媒体領域の歪みを補正する。画像補正部１５は、歪み補正処理を行った読取画像データを、画像表示部１３に送信して画像表示部１３によりユーザに提示させると共に、画像出力部１６に送信する。

画像出力部１６は、画像補正部１５により歪み補正処理を施された読取画像データを、記憶装置やプリンタなどの外部機器３０へ出力する。

なお、画像処理装置１は、物理的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを有するコンピュータである。上述した画像処理装置１の各機能の全部または一部は、ＲＯＭに保持されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、ＲＡＭやＲＯＭにおけるデータの読み出し及び書き込みを行うことで実現される。また、画像処理装置１は、キーボートやマウスなどの入力装置、ディスプレイなどの表示装置、入出力ポートなどの通信装置を備えており、ＣＰＵで実行されるアプリケーションプログラムがこれらの装置を利用して、ユーザによる指示操作や画像読取データの入力、輪郭情報や補正済み読取画像データの表示や外部機器３０への出力を行うことで、上述した画像処理装置１の各機能の全部または一部が実現される。

また、上記のアプリケーションプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。また、アプリケーションプログラムは、画像読取装置１に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

次に、図２〜６を参照して、本実施形態に係る画像処理装置１の動作について説明する。図２は本実施形態の画像処理装置１により実施される歪み補正処理のフローチャートであり、図３は、輪郭情報の抽出処理を説明するための図であり、図４は、コーナー点の位置修正処理を説明するための図であり、図５は、補助点の追加による輪郭線の修正処理を説明するための図であり、図６は、修正された輪郭情報に基づく読取画像データの歪み補正処理を説明するための図である。

図２のフローチャートにしたがって、画像処理装置１により実施される歪み補正処理について説明する。なお、以下では、読取対象の媒体として見開き媒体（図３参照）を用いた場合を例示して説明する。

まず、画像取得部１１により、スキャナ装置２０から読取画像データが取得される（Ｓ１０１：取得ステップ）。読取対象の媒体が見開き媒体である場合、図３の（ａ）に示すように、読取画像データに含まれる媒体領域４０は、中央に綴じ部４１、その左右両側にページ４２，４３が配置され、左右のページ４２，４３が湾曲している状態となる。画像取得部１１は、取得した読取画像データを輪郭抽出部１２に送信する。

次に、輪郭抽出部１２により、画像取得部１１から受信した読取画像データのエッジ検出処理が行われ、読取画像データ内の媒体領域４０と背景との境界（エッジ）を抽出したエッジ画像が生成される（Ｓ１０２）。続いてこのエッジ画像を用いて、媒体領域の角部の位置を示すコーナー点が検出される（Ｓ１０３：抽出ステップ）。具体的には、コーナー点は、見開き媒体の場合、図３の（ｂ）に示すように、綴じ部４１の上端部のコーナー点４４ａ、綴じ部４１の下端部のコーナー点４４ｂ、左ページ４２の上側の角部のコーナー点４４ｃ、左ページ４２の下側の角部のコーナー点４４ｄ、右ページ４３の上側の角部のコーナー点４４ｅ、右ページ４３の下側の角部のコーナー点４４ｆ、の６箇所となる。

引き続き、輪郭抽出部１２により、検出されたコーナー点を始点に、２つのコーナー点を結ぶ輪郭線が作成される（Ｓ１０４：抽出ステップ）。輪郭線は、見開き媒体の場合、図３の（ｂ）に示すように、見開き媒体のページ上下に対応するものが抽出され、具体的には、左ページ４２の上側の輪郭線４５ａ、左ページ４２の下側の輪郭線４５ｂ、右ページ４３の上側の輪郭線４５ｃ、右ページ４３の下側の輪郭線４５ｄの４本となる。輪郭線の作成には、周知の動的計画法（Ｄｙｎａｍｉｃ ｐｒｏｇｒａｍｉｎｇ：ＤＰ）を使用することができる。

より詳細には、輪郭抽出部１２は、綴じ部４１の上端部のコーナー点４４ａまたは左ページ４２の上側の角部のコーナー点４４ｃを始点として、動的計画法を使用してコーナー点４４ｃまたはコーナー点４４ａまで軌道生成することで、左ページ４２の上側の輪郭線４５ａを作成する。同様に、綴じ部４１の下端部のコーナー点４４ｂまたは左ページ４２の下側の角部のコーナー点４４ｄを始点として、動的計画法を使用してコーナー点４４ｄまたはコーナー点４４ｂまで軌道生成することで、左ページ４２の下側の輪郭線４５ｂを作成する。同様に、綴じ部４１の上端部のコーナー点４４ａまたは右ページ４３の上側の角部のコーナー点４４ｅを始点として、動的計画法を使用してコーナー点４４ｅまたはコーナー点４４ａまで軌道生成することで、右ページ４３の上側の輪郭線４５ｃを作成する。同様に、綴じ部４１の下端部のコーナー点４４ｂまたは右ページ４３の下側の角部のコーナー点４４ｆを始点として、動的計画法を使用してコーナー点４４ｆまたはコーナー点４４ｂまで軌道生成することで、右ページ４３の下側の輪郭線４５ｄを作成する。

輪郭抽出部１２は、検出した６箇所のコーナー点４４ａ〜４４ｆ（以下これらをまとめてコーナー点４４ともいう）及び作成した４本の輪郭線４５ａ〜４５ｄ（以下これらをまとめて輪郭線４５ともいう）を、見開き媒体の媒体領域４０の輪郭情報として画像表示部１３に送信する。

次に、画像表示部１３により、輪郭抽出部１２で抽出された輪郭情報が、ディスプレイなどの表示装置に表示される（Ｓ１０５：表示ステップ）。画像表示部１３は、例えば図３（ｂ）に示すように、読取画像データの媒体領域の輪郭の上に輪郭情報、すなわちコーナー点４４及び輪郭線４５、を重ねた輪郭抽出結果画像を作成し、この輪郭抽出結果画像を表示装置に表示して、ユーザに提示する。

抽出された輪郭情報は、画像表示部１３により表示された輪郭抽出結果画像から、ユーザにより読取画像データ中の実際の見開き媒体の輪郭と比較され、その正確性を判断される。そして、ユーザにより輪郭情報が正しいか否かが確認され（Ｓ１０６：検出ステップ）、その結果に応じた指示が入力装置を介してユーザにより入力されると、指示検出部１４がこれを検出する。指示検出部１４により検出された指示の内容が、輪郭情報の読取画像データに対する位置を変更する指示である「輪郭修正指示」の場合には、輪郭情報が正しくないものと判断して、輪郭修正指示が輪郭抽出部１２に送信され、ステップＳ１０７に移行する。一方、指示内容が、この輪郭情報を利用して読取画像データの歪み補正処理を実行する指示である「画像補正指示」の場合には、輪郭情報が正しいものと判断して、画像補正指示が画像補正部１５に送信され、ステップＳ１０８に移行する。

ステップＳ１０６において、輪郭情報が正しくないと判定された場合には、輪郭抽出部１２により、輪郭修正指示に基づいて輪郭情報の修正が行われる（Ｓ１０７）。輪郭修正指示に含まれる輪郭情報の修正情報は、具体的には、コーナー点４４の位置修正、または補助点４６の追加／位置修正である。コーナー点４４の位置修正に関する指示は、例えば図４に示すように、ユーザのドラッグ＆ドロップ操作などによってあるコーナー点４４を移動することにより入力検知される。図４の例では、コーナー点４４の位置が望ましい位置より左寄りだったため、ユーザ操作によって右方へ移動されている。

補助点４６の追加について図５を参照して説明すると、補助点４６とは、輪郭線４５の軌道を修正するために新たに追加される点のことである。補助点４６は、図５（ａ）に示すように、現在の提示されている輪郭線４５に対して、ユーザが望む輪郭線の軌道（図５に破線で示される）に変更するように、この軌道上に追加される。補助点４６の追加に関する指示は、ユーザが補助点４６の追加を希望する任意のカーソル位置におけるクリック操作などにより入力検知される。

補助点４６が追加されると、図５（ｂ）に示すように、輪郭線４５は、後述のステップＳ１０４において、両端の２つのコーナー点４４と、追加された補助点４６を通過するように再生成される。また、図５の（ｃ）に示すように、補助点４６は、輪郭線４５の再生成の後に、さらにユーザのドラッグ＆ドロップ操作などによって移動して位置修正することが可能であり、また、新たな補助点４６をさらに追加することも可能である。

そして、ステップＳ１０４に戻り、引き続き輪郭抽出部１２により、ステップＳ１０７にて位置変更／追加されたコーナー点４４または補助点４６の位置情報を反映して、例えば図５の（ｂ），（ｃ）に示すように、輪郭線４５が再作成され（再抽出ステップ）、再びステップＳ１０５において、の輪郭抽出部１２で再抽出された輪郭情報（コーナー点４４、輪郭線４５、補助点４６）が、読取画像データの媒体領域４０上に描画された状態で表示される（再表示ステップ）。ステップＳ１０６において輪郭情報が正しいと判定されるまで、ステップＳ１０４〜Ｓ１０７の処理が繰り返される。

このような輪郭情報の修正処理によって、輪郭情報が読取媒体４０の輪郭に対して高精度に一致するようになる。例えば図３の（ｂ）に示すように、輪郭線４５の一部（輪郭線４５ｃ）がページのエッジからずれているなど修正が必要な輪郭情報が、例えば図６の（ａ）に示すように修正され、媒体領域のエッジと一致したものとなる。

ステップＳ１０６において、輪郭情報が正しいと判定された場合には、画像補正部１５により、この輪郭情報に基づいて読取画像データの媒体領域４０の形状が認識され（Ｓ１０８）、例えば図６の（ａ）から（ｂ）へ変換するように、媒体領域４０の歪みが補正される（Ｓ１０９）。

補正された読取画像データは、画像表示部１３に送信されてユーザに提示されると共に、画像出力部１６に送信されて外部機器３０に出力される（Ｓ１１０）。

次に本実施形態に係る画像処理装置１の作用効果を説明する。

本実施形態の画像処理装置１は、読取対象の媒体に対応する媒体領域４０を含む読取画像データから媒体領域４０の輪郭情報を抽出して、抽出された輪郭情報に基づいて媒体領域の歪みを補正する読取画像データの画像処理装置１であって、読取画像データを取得する画像取得部１１と、画像取得部１１により取得された読取画像データから媒体領域４０の輪郭情報を抽出する輪郭抽出部１２と、輪郭抽出部１２により抽出された輪郭情報を読取画像データ上に表示する画像表示部１３と、画像表示部１３により表示された輪郭情報の読取画像データに対する位置を変更する指示（輪郭修正指示）を検出する指示検出部１４と、を備える。輪郭抽出部１２は、指示検出部１４により輪郭修正指示が検出された場合、輪郭修正指示を反映させて、輪郭情報を再抽出する。画像表示部１３は、輪郭抽出部１２により再抽出された輪郭情報を再表示する。

この構成により、読取画像データ内の媒体領域４０の歪みを補正するために用いる媒体領域の輪郭情報を、ユーザの輪郭修正指示に応じて修正することが可能となり、最終的に修正された精度の良い輪郭情報を利用して読取画像データの歪みを補正する処理を行うことができるので、読取画像データの補正処理の補正精度を向上できる。

ここで、読取画像データを作成するスキャナ装置２０が、載置台に載置された媒体を上方から撮像するオーバーヘッドスキャナであり、特に、撮像部が走査方向に平行な回転軸まわりに回転移動することで媒体全体の読み取りを行うよう構成された首振りタイプである場合を考える。このようなタイプのスキャナ装置では、撮像部の回転移動によって媒体との距離が変化するので、単一の読取画像データ内で撮像部の回転移動方向に沿って歪みの度合いが変化することになる。特に読み取り対象の媒体が見開き媒体であり、撮像部の回転移動方向に沿って綴じ部４１が配置される場合、左右のページ４２，４３の上下の湾曲の形状が異なるものとなる。

このような読取画像データでは、媒体領域４０の輪郭情報を正確に抽出できないと、ページ内で連続的に変化する湾曲歪みに対応することができず、歪み補正の精度が低下する虞がある。本実施形態の画像処理装置１は、ページの上下の輪郭線を個別に修正して再抽出することができ、各輪郭線を精度良く抽出することができるので、このような首振りタイプのオーバーヘッドスキャナによって撮像された、単一ページ内で歪み度合いが変化する読取画像データであっても、精度良く歪み補正を行うことが可能となる。

また、本実施形態の画像処理装置１では、輪郭情報は、媒体領域４０のコーナー点４４とこのコーナー点４４の間を結ぶ輪郭線４５とを含み、輪郭修正指示は、コーナー点４４の位置変更に関する情報、もしくは輪郭線４５に対する補助点４６の追加または位置変更に関する情報の少なくともいずれか一方であり、輪郭抽出部１２は、コーナー点４４の位置変更の指示があった場合、位置変更されたコーナー点を反映させて輪郭線４５を修正し、補助点４６の追加の指示があった場合、コーナー点４４及び補助点４６に基づき輪郭線４５を修正する。

この構成により、抽出された輪郭情報は、読取画像データの媒体領域のエッジ上にコーナー点４４及び輪郭線４５として重ねて配置されて表示されるので、ユーザに輪郭情報の精度の優劣を直感的に確認させることが可能となる。このため精度の良い輪郭情報を迅速に取得することができ、読取画像データの湾曲補正処理を効率よく実施することができる。また、輪郭修正指示の内容が、コーナー点４４の位置移動か、または補助点４６の追加／位置変更のみなので、変更指示内容の入力操作を簡易とすることができる。

［第２実施形態］
次に、図７を参照して本発明の第２実施形態について説明する。図７は第２実施形態の画像処理装置により実施される歪み補正処理のフローチャートである。

本実施形態は、輪郭修正指示で指定される輪郭情報、すなわちコーナー点４４または補助点４６の変更位置が、元の輪郭情報の位置に対して指定範囲より離れている場合には、位置修正の許容範囲から外れているものと判断して、この輪郭修正指示を受け付けず輪郭情報の修正を行わない点で、第１実施形態とは異なるものである。

図７のフローチャートを参照してこの相違点について説明する。なお図７のフローチャートのステップＳ２０１〜２１０は、第１実施形態のステップＳ１０１〜１１０と同一であるので説明を省略する。

ステップＳ２０７においてコーナー点４４の位置修正または、補助点４６の追加／位置修正の指示（輪郭修正指示）が輪郭抽出部１２により取得されると、この修正指示によるコーナー点４４または補助点４６の変更位置が、もとの輪郭情報の位置に対して指定範囲内であるか否かが確認される（Ｓ２１１）。この指定範囲とは、予め設定することができ、例えば、もとの修正情報の輪郭線４５の軌道から直交方向に数ピクセルまたは数ミリ以内の領域を設定することができる。または、もとの修正情報のコーナー点４４または補助点４６から遠心方向の所定距離以内の領域を設定してもよい。

変更位置が指定範囲内である場合（Ｓ２１１のＹＥＳ）には、ステップＳ２０４に戻り、引き続き輪郭抽出部１２により、輪郭修正指示を反映して輪郭線４５が再作成される。

変更位置が指定範囲外である場合（Ｓ２１１のＮＯ）には、今回の入力された輪郭修正指示は、例えばユーザが誤って入力したなど、位置修正の許容範囲から外れている不正データであるものと判断され、修正位置の情報がリセットされて、ステップＳ２０７に戻り、再度の輪郭修正指示の入力まで待機する。

第２実施形態では、このような構成により、修正指示の誤入力などによる不正な輪郭修正指示が輪郭情報の修正に利用されることを抑制することができるので、輪郭情報の修正効率を向上でき、高精度な輪郭情報をより一層迅速に取得することができる。また、当初抽出された輪郭情報が本来の輪郭から大きく逸脱してしまい、コーナー点４４または補助点４６を変更したい位置が指定範囲外となってしまう場合でも、指定範囲内の修正を複数回繰り返すことで対応することが可能であり、所望の修正を行うことができる。

［第３実施形態］
次に、図８，９を参照して本発明の第３実施形態について説明する。図８は第３実施形態の画像処理装置により実施される歪み補正処理のフローチャートであり、図９は、未検出のコーナー点の配置手法を説明するための図である。

本実施形態は、媒体領域のうち、見開き媒体の一方のページに対応する輪郭情報（コーナー点４４の一部）が抽出できない場合に、輪郭情報を抽出できた他方のページに対応する輪郭情報（コーナー点）に基づいて、抽出できなかった一方のページに対応する輪郭情報を生成する点で、第１実施形態とは異なるものである。

図８のフローチャートを参照してこの相違点について説明する。なお図８のフローチャートのステップＳ３０１〜３１０は、第１実施形態のステップＳ１０１〜１１０と同一であるので説明を省略する。

ステップＳ３０３においてコーナー点４４が検出されると、続いて輪郭抽出部１２により、コーナー点４４を６箇所分検出できたか否かが確認される（Ｓ３１１）。ここで、コーナー点４４を６箇所検出できなかった状況とは、例えば図９の（ａ）に示すように、媒体領域４０の色と、背景４７の色とが近似している場合などに発生しうる。図９の例では、左ページ４２はエッジ検出されているものの、右ページ４３の色が、背景４７の色と近似しているためエッジ検出に失敗し、この結果右ページ４３の上側のコーナー点４４ｅが未検出となっている。また、右ページ４３の上側のコーナー点４４ｅが未検出のため、右ページ４３の上側の輪郭線４５ｃも作成することができていない。

図９の（ａ）のような状況など、コーナー点４４を６箇所検出できていないと判定された場合には、検出されたコーナー点４４の情報を元に未検出のコーナー点４４が配置される（Ｓ３１２）。例えば、図９の（ａ）に示すように右ページ４３の上側のコーナー点４４ｅが未検出の場合には、図９の（ｂ）に示すように、左ページ４２の上側のコーナー点４４ｃを、綴じ部４１を対称軸として折り返した位置にプロットし、未検出だったコーナー点４４ｅとして配置することができる。また、輪郭線４５ｃは、左ページ４２の輪郭線４５ａを、綴じ部４１を対称軸として反転させて作成してもよいし、今回新たに配置したコーナー点４４ｅと、綴じ部４１の上端のコーナー点４４ａとの間で動的計画法により作成してもよい。

また、図９には図示しないが、左右ページ両側のコーナー点４４ｃ，４４ｅが検出され、綴じ部４１の上端のコーナー点４４ａが未検出の場合には、例えばコーナー点４４ｃ，４４ｅの中間位置に未検出のコーナー点４４ｃを配置することができる。さらに、コーナー点４４や輪郭線４５が全く検出できなかった場合には、汎用的な用紙サイズを想定した仮の輪郭情報を表示してもよい。

一方、ステップＳ３１１にてコーナー点を６箇所検出できていると判定された場合には、ステップＳ３０４に移行して以降のステップＳ３０４〜Ｓ３１０の処理を行う。

第３実施形態では、このような構成により、例えば読取画像データから媒体領域４０の輪郭情報（コーナー点４４）を完全に検出できない状況であっても、他の輪郭情報や仮の輪郭情報に基づいて未検出の輪郭情報を生成することができるので、例えば媒体色と背景色が類似している場合など、従来では輪郭情報を抽出できず歪み補正も実施できなかった読取画像データでも、歪み補正のために必要な輪郭情報を作成することが可能となる。このように輪郭情報を作成することができれば、輪郭情報の抽出が不十分な場合でも輪郭情報を利用して修正作業が可能であり、修正作業によって適切な輪郭情報を得ることができる。この結果、歪み補正を適用可能な読取画像データの範囲を拡大することができ、画像処理装置１の汎用性を向上できる。

本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

例えば、上記実施形態では、読取画像データの主な対象として本などの見開き媒体を例示して説明したが、読取対象の媒体は見開き媒体以外であってもよい。特にスキャナ装置２０がオーバーヘッドスキャナなど、載置台に載置された媒体を上方から読み取るタイプの場合には、媒体の読み取り面が押圧されないため、１枚の紙などの媒体であっても、ページの角がめくれたり、ページが波打ったりして、読取画像データに歪みが生じる状況が考えられるが、本発明の画像処理装置１は、このように生じた媒体領域の歪みに対しても精度良く輪郭情報を抽出することが可能であり、歪み補正を好適に行うことができる。

また、上記実施形態では、読取画像データ内の媒体領域４０の輪郭情報を抽出するために動的計画法を使用したが、背景色との差分により原稿（媒体領域）を浮き上がらせる手法や、フィルタリングによるエッジ成分を強調する手法など、その他の公知の輪郭抽出アルゴリズムを用いることもできる。

また、上記実施形態では、読取画像データ内の媒体領域４０の輪郭情報として、媒体領域のコーナー点４４と輪郭線４５とを含む構成としたが、少なくとも一方を含む構成としてもよいし、媒体の輪郭に関する他の情報を含む構成としてもよい。

１ 画像処理装置
１１ 画像取得部（取得手段）
１２ 輪郭抽出部（抽出手段）
１３ 画像表示部（表示手段）
１４ 指示検出部（検出手段）

Claims (6)

1. 読取対象の媒体に対応する媒体領域を含む読取画像データから前記媒体領域の輪郭情報を抽出して、抽出された前記輪郭情報に基づいて前記媒体領域の歪みを補正する読取画像データの画像処理装置であって、
   前記読取画像データを取得する取得手段と、
   前記取得手段により取得された前記読取画像データから前記媒体領域の輪郭情報を抽出する抽出手段と、
   前記抽出手段により抽出された前記輪郭情報を前記読取画像データ上に表示する表示手段と、
   前記表示手段により表示された前記輪郭情報の前記読取画像データに対する位置を変更する指示を検出する検出手段と、
   を備え、
   前記輪郭情報は、前記媒体領域のコーナー点と前記コーナー点の間を結ぶ輪郭線とを含み、
   前記変更する指示は、前記輪郭線に対する補助点の追加または位置変更に関する情報であり、
   前記抽出手段は、前記検出手段により前記補助点の追加または位置変更の指示が検出された場合、前記コーナー点及び前記補助点に基づき前記輪郭線を修正する指示を反映させて、前記輪郭情報を再抽出し、
   前記表示手段は、前記抽出手段により再抽出された前記輪郭情報を再表示する
   ことを特徴とする画像処理装置。
2. 前記変更する指示は、前記コーナー点の位置変更に関する情報であり、
   前記抽出手段は、
   前記コーナー点の位置変更の指示があった場合、前記位置変更された前記コーナー点を反映させて前記輪郭線を修正することを特徴とする、請求項１に記載の画像処理装置。
3. 前記変更する指示で指定される位置が前記輪郭情報に対して指定範囲より離れている場合は、前記変更する指示を受け付けないことを特徴とする、請求項１または２に記載の画像処理装置。
4. 前記抽出手段は、前記媒体が見開きの媒体である場合には、前記媒体のページ上下に対応する輪郭情報を抽出するよう構成され、
   前記媒体領域のうちの一方のページに対応する輪郭情報を抽出できない場合には、輪郭情報を抽出できた他方のページに対応する輪郭情報に基づいて、前記一方のページに対応する輪郭情報を生成することを特徴とする、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 読取対象の媒体に対応する媒体領域を含む読取画像データから前記媒体領域のコーナー点と前記コーナー点の間を結ぶ輪郭線とを含む輪郭情報を抽出して、抽出された前記輪郭情報に基づいて前記媒体領域の歪みを補正する読取画像データの画像処理方法であって、
   前記読取画像データを取得する取得ステップと、
   前記取得ステップにて取得された前記読取画像データから前記媒体領域の輪郭情報を抽出する抽出ステップと、
   前記抽出ステップにて抽出された前記輪郭情報を前記読取画像データ上に表示する表示ステップと、
   前記表示ステップにて表示された前記輪郭情報の前記読取画像データに対する輪郭線の補助点の追加または位置変更の指示を検出する検出ステップと、
   前記検出ステップにおいて前記補助点の追加または位置変更の指示が検出された場合、前記コーナー点及び前記補助点に基づき前記輪郭線を修正する指示を反映させて、前記輪郭情報を再抽出する再抽出ステップと、
   前記再抽出ステップにて再抽出された前記輪郭情報を再表示する再表示ステップと、
   を含む画像処理方法。
6. 読取対象の媒体に対応する媒体領域を含む読取画像データから前記媒体領域のコーナー点と前記コーナー点の間を結ぶ輪郭線とを含む輪郭情報を抽出して、抽出された前記輪郭情報に基づいて前記媒体領域の歪みを補正する機能をコンピュータに実現させるための読取画像データの画像処理プログラムであって、
   前記読取画像データを取得する取得機能と、
   前記取得機能により取得された前記読取画像データから前記媒体領域の輪郭情報を抽出する抽出機能と、
   前記抽出機能により抽出された前記輪郭情報を前記読取画像データ上に表示する表示機能と、
   前記表示機能により表示された前記輪郭情報の前記読取画像データに対する輪郭線の補助点の追加または位置変更の指示を検出する検出機能と、
   前記検出機能により前記補助点の追加または位置変更の指示が検出された場合、前記コーナー点及び前記補助点に基づき前記輪郭線を修正する指示を反映させて、前記輪郭情報を再抽出する再抽出機能と、
   前記再抽出機能により再抽出された前記輪郭情報を再表示する再表示機能と、
   をコンピュータに実現させるための画像処理プログラム。

Images