JP6137464B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関するものである。

スキャナやカメラなどの画像読取装置で文書を読み取って画像を取得した場合には、もとの文書と比べて画像が傾いてしまうことがある。そのため従来より画像の傾きを補正する技術が開発されている。

従来より行われている傾きを補正する技術では、画像から唯一の傾き角度を検出して、その傾き角度で画像全体を補正している。例えば綴じられた原稿を見開きにして読み取った場合には、見開きの各頁によって傾き角度が異なっていたり、綴じてある箇所で原稿が湾曲し、他より傾いて読み取られるなど、傾き角度は画像中でばらついている。また、いくつかの画像を合成した場合などでも、各画像の傾き角度が異なっている場合もある。これらの場合に、唯一の傾き角度が得られないか、あるいは唯一の傾き角度で画像全体を補正しても、補正後の画像の利用者が意図した補正結果であるか否かはわからない。

例えば特許文献１には、画像を領域分割し、領域ごとに傾き角度を検出し、その領域ごとの傾き角度から全体の傾き角度を算出して画像全体の傾き補正を行うか、あるいは、領域ごとの傾き角度からそれぞれの領域の傾き補正を行って合成することが記載されている。しかし、傾き角度を誤検出した場合には対応していないし、利用者が傾き補正を要望する領域が限られている場合にも全体として傾き補正されてしまう。さらに、手書き領域など、傾き補正が必要ない領域についても何らかの傾き補正が行われてしまう。

特開２００７−３２８６５２号公報

本発明は、必要な領域に対して必要な角度の傾き補正を行うことができる画像処理装置および画像処理プログラムを提供することを目的とするものである。

本願請求項１に記載の発明は、画像中の部分領域を決定するとともに角度の補正を行わない対象外領域の指定を受け付ける決定手段と、前記部分領域における傾きを示す角度情報を取得する角度取得手段と、前記角度情報に従って画像全体の角度を補正するが前記対象外領域については角度の補正を行わない補正手段を有することを特徴とする画像処理装置である。

本願請求項２に記載の発明は、本願請求項１に記載の発明の構成に、さらに、画像を分割した分割領域ごとに傾き角度を算出する算出手段を有し、前記角度取得手段は、前記部分領域に含まれる分割領域に対応する傾き角度から前記角度情報を取得することを特徴とする画像処理装置である。

本願請求項３に記載の発明は、本願請求項１に記載の発明における画像には、分割領域ごとに傾き角度が対応づけられており、前記角度取得手段は、前記部分領域に含まれる分割領域に対応する傾き角度から前記角度情報を取得することを特徴とする画像処理装置である。

本願請求項４に記載の発明は、コンピュータに、請求項１から請求項３のいずれか１項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラムである。

本願請求項１に記載の発明によれば、利用者が傾き補正を必要と判断した部分領域について補正された画像が得られるように傾き補正を行うことができるとともに、利用者によって傾き補正が不要な領域を指定することができるという効果がある。

本願請求項２に記載の発明によれば、表示を含めた出力の際の処理を、その都度傾き角度を算出する場合に比べて軽減することができる。

本願請求項３に記載の発明によれば、傾き角度が分割領域ごとに対応づけられた画像を対象として、指定された部分領域に対する傾き補正や指定された部分領域で算出した傾き角度による補正を行うことができる。

本願請求項４に記載の発明によれば、本願請求項１から請求項３のいずれか１項に記載の発明の効果を得ることができる。

本発明の第１の実施の形態を示す構成図である。 本発明の第１の実施の形態における具体例の説明図である。 部分領域の指定を行う際の表示画面の一例の説明図である。 本発明の第２の実施の形態を示す構成図である。 本発明の第２の実施の形態における具体例の説明図である。 本発明の第２の実施の形態の変形例における具体例の説明図である。 本発明の第３の実施の形態を示す構成図である。 本発明の第３の実施の形態における動作の一例を示す流れ図である。 本発明の第３の実施の形態における具体例の説明図である。 本発明の各実施の形態及び各変形例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。

図１は、本発明の第１の実施の形態を示す構成図である。図中、１１は領域決定部、１２は角度取得部、１３は補正部、１４は表示部である。領域決定部１１は、画像中の表示対象とする部分領域を決定する。例えば表示部１４に画像を表示させ、利用者による表示領域の指定を受けるなどにより部分領域を決定すればよい。

角度取得部１２は、領域決定部１１で決定した部分領域における傾きを示す角度情報を取得する。例えば、ハフ変換など、公知の方法により部分領域の傾き角度を算出し、角度情報とすればよい。

補正部１３は、角度取得部１２で取得した角度情報に従って、少なくとも領域決定部１１で決定した部分領域について角度を補正する。この処理についても、公知の傾き補正方法を用いて行えばよい。部分領域以外については補正処理を行わなくてもよいし、あるいは、部分領域について取得した角度情報に従って傾き補正を行ってもよい。

表示部１４は、少なくとも補正部１３で角度が補正された部分領域を表示する。この場合、部分領域以外については表示しなくてもよいし、補正部１３で傾き補正を行っている場合には表示してもよい。

図２は、本発明の第１の実施の形態における具体例の説明図、図３は、部分領域の指定を行う際の表示画面の一例の説明図である。図２（Ａ）には、与えられた画像の一例を示している。この例では見開きの本などを画像読取装置で読み取った場合を想定しており、綴じられた部分で湾曲している。このような画像に対して傾き補正を行う場合、湾曲した部分は全体に対する割合が他の部分に比べて小さいことから、湾曲した部分に応じた傾き補正は行われない。

この画像のうち、破線で囲んだ湾曲部分を含む画像を拡大表示させるべく、利用者は部分領域の指定を行う。例えば図３に一例として示したように、画像を表示させて部分領域を指定すればよい。その際には、「スキュー補正方法」として「選択した領域を基準」とするように選択しておく。この項目が選択されている場合に、部分領域の指定を受け付ければよい。部分領域の指定方法は公知の種々の方法のいずれでもよく、例えばマウスによるドラッグや、タッチされたポイントを含むオブジェクトを抽出するなど、種々の方法から選択すればよい。

利用者により部分領域が指定されると、その指定を指定部１１が受け付けて部分領域として決定する。この部分領域を図２（Ｂ）に示している。この部分領域においては、各行が斜行しており、この傾き角度が角度取得部１２で角度情報として取得される。そして、取得された角度情報に従って傾き補正の処理が補正部１３で行われ、表示部１４に拡大表示される。表示された画像を図２（Ｃ）に示している。図２（Ａ）に示した画像全体では傾いていないことから従来は補正処理は行われないが、部分領域においては傾きが生じており、その傾きが補正される。これにより、図２（Ｃ）に示すように傾きが補正された画像が表示されることになる。

図４は、本発明の第２の実施の形態を示す構成図である。第１の実施の形態と異なる部分について主に説明してゆく。領域決定部１１，角度取得部１２，表示部１４は第１の実施の形態で説明したとおりであるが、この第２の実施の形態における補正部１３は、角度取得部１２で部分領域から取得した角度情報に従って、画像全体について傾き角度の補正を行う。そして、傾き角度を補正した画像を表示部１４に表示する。あるいは、補正後の画像を保存し、または他の装置や処理手段に転送してもよい。

図５は、本発明の第２の実施の形態における具体例の説明図である。図５（Ａ）には、与えられた画像の一例を示している。この例では、４頁分の文書を１つにまとめた画像の例を示しており、傾き角度は各頁により異なっている。

この画像のうち、利用者が太い破線で囲んだ領域を参照する場合を考える。この場合、利用者は画像中の太い破線で囲んだ領域を指定し、その指定を領域決定部１１が受け付けて部分領域として決定する。そして、この部分領域の傾き角度を角度取得部１２で角度情報として取得する。補正部１３は、角度取得部１２で取得した角度情報に従って、画像全体の角度補正処理を行い、補正後の画像を表示部１４に表示する。なお、表示の際に補正の基準として領域決定部１１で決定した部分領域について、ハイライト表示やコメント表示など、見て分かるように表示を行ってもよい。

表示された画像の一例を図５（Ｂ）に示している。少なくとも指定された部分領域については、傾きが補正されて、補正前に比べて参照しやすくなっている。画像全体から傾き角度を算出する従来の方法では、このような画像の場合にはどのような傾き補正処理がなされるか分からず、参照する領域がさらに傾いてしまう場合もある。本発明の第２の実施の形態では、少なくとも利用者が指示した領域について傾きを補正しており、利用者は所望した表示が得られる。

本発明の第２の実施の形態の変形例として、領域決定部１１は、角度の補正を行わない対象外領域の指定を受け付け、補正部１３は、対象外領域については角度の補正を行わないように構成してもよい。図６は、本発明の第２の実施の形態の変形例における具体例の説明図である。図６（Ａ）には、図５（Ａ）に示した画像が与えられた場合に、利用者が傾き補正の基準とする部分領域を指定する際の表示画面の一例を示している。この画面の例では、図３で示した「スキュー補正方法」の選択と、破線で示した部分領域の指定とともに、「修正対象外」の項目を設けている。例えば利用者が領域を指定して「選択」ボタンを操作すれば、指定した領域を対象外領域として受け付ける。指定された対象外領域を一点鎖線で囲んで示している。この例では２カ所の対象外領域が指定されている。

領域決定部１１が、傾き補正の基準とする部分領域と、傾き補正を行わない対象外領域の指定を受け付けると、角度取得部１２は部分領域について傾き角度を算出して角度情報を取得する。補正部１３は、角度取得部１２で取得した角度情報に従って画像全体に対して角度を補正する処理を行うが、その際に、対象外領域については補正の処理を行わない。

補正処理により得られた画像の一例を図６（Ｂ）に示している。画像全体としては指定された部分領域が傾いている角度に従って補正処理が行われるが、対象外領域として指定された領域については補正処理が行われず、もとの画像のままとなる。この例では、補正前の画像で部分領域よりも傾きが小さい領域を対象外領域として指定し、傾きの補正により傾いてしまうのを防いでいる。このほかにも、例えばわざわざ傾けて記載されている領域であったり、手書きの領域などのようにもともと直線状に記載されていない領域など、傾きの角度を補正しなくてよい領域については対象外領域としておけばよい。

図７は、本発明の第３の実施の形態を示す構成図である。図中、１５は傾き角度算出部である。この第３の実施の形態では、予め傾き角度を算出しておく例を示している。

傾き角度算出部１５は、画像を分割した分割領域ごとに傾き角度を算出する。画像の分割は、予め決められた大きさの領域に分割してもよいし、白領域で分割する方法で分割するなど、種々の公知の方法から採用すればよい。分割されたそれぞれの分割領域について、それぞれ、例えばハフ変換などの公知の方法により傾き角度を算出し、それぞれの分割領域と対応づけておく。

この傾き角度算出部１５の処理は予め行っておけばよく、傾きの補正処理を行う際には備えられていなくてもよい。例えば、分割領域ごとに傾き角度が対応づけられている画像が与えられる場合には、この傾き角度算出部１５が設けられていなくてもよい。

領域決定部１１は、第１、第２の実施の形態で説明したように、例えば利用者からの指示などにより、画像中の表示対象とする部分領域を決定する。なお、第２の実施の形態の変形例で説明した対象外領域を設定してもよい。

角度取得部１２は、領域決定部１１で決定した部分領域に含まれる分割領域を特定し、その分割領域に対応する傾き角度から角度情報を取得する。例えば部分領域に分割領域が１つ含まれている場合や分割領域を部分的に部分領域とした場合には、当該分割領域に対応する傾き角度を角度情報として取得すればよい。予め傾き角度が算出されており、改めて角度取得部１２で傾き角度を算出しなくてもよい。部分領域が２以上の分割領域にかかる場合には、その２以上の分割領域のそれぞれに対応する傾き角度を読み出し、それらの傾き角度から角度情報を取得する。角度情報を取得する方法としては、例えば複数の傾き角度の平均値や面積などによる重み付け平均、多数決など、種々の公知の方法から選択すればよい。

補正部１３は、角度取得部１２で取得した角度情報に従って、第１の実施の形態で説明したように少なくとも領域決定部１１で決定した部分領域について角度の補正処理を行い、あるいは第２の実施の形態で説明したように画像全体に対して角度の補正処理を行う。もちろん、第２の実施の形態の変形例で説明した対象外領域が設定されている場合に、その対象外領域については補正しないように構成してもよい。補正部１３で補正した画像あるいは部分画像は、表示部１４に表示される。あるいは、補正後の画像を保存し、または他の装置や処理手段に転送してもよい。なお、補正処理以降に傾き角度の情報が不要であれば、分割領域ごとに対応づけられている傾き角度の情報を削除してもよい。

図８は、本発明の第３の実施の形態における動作の一例を示す流れ図である。Ｓ５１において、傾き角度算出部１５は、与えられた画像を分割領域に分割する。そしてＳ５２において、それぞれの分割領域について傾き角度を算出して対応づけておく。

Ｓ５３において、領域決定部１１は例えば利用者からの指示などにより部分領域を決定する。そしてＳ５４において、Ｓ５３で決定した部分領域に含まれる分割領域に対応する傾き角度を取得する。

この動作例では、予め決められた閾値を超える角度の傾きが存在しなければ、傾き角度の補正を行わないこととした場合の例を示している。Ｓ５５において、Ｓ５４で取得した傾き角度に予め決められた閾値を超える角度が存在するか否かを判定する。Ｓ５４で取得した傾き角度に予め決められた閾値を超える角度が存在しない場合には、補正部１３による傾き角度の補正処理を行わずに、部分領域の画像あるいは与えられた画像を例えば表示部１４に表示したり、外部へ出力して処理を終える。傾き角度によっては補正を行っても利用者は気づかないなど、補正の処理が無駄になる場合があり、このような場合に補正の処理を省略している。もちろん、このような処理は第１，第２の実施の形態及びその変形例などにおいて行ってもよく、あるいは逆に、このような判断を行わなくてもよい。

Ｓ５４で取得した傾き角度に予め決められた閾値を超える角度が存在するとＳ５５で判断される場合には、Ｓ５６において、角度取得部１２はＳ５４で取得した傾き角度をもとに角度情報を取得する。この第３の実施の形態では、傾き角度の算出を予めＳ５２で行っており、このＳ５６で角度情報を取得する際に傾き角度の算出を行わない。従って、Ｓ５３の部分領域の決定以降の処理が、角度情報を取得する際に傾き角度を算出する場合に比べて高速化される。

そしてＳ５７において、補正部１３は、Ｓ５６で取得した角度情報に従って、部分領域、あるいは画像全体の角度を補正する処理を行う。もちろん、第２の実施の形態の変形例で説明した対象外領域が設定されている場合には、その対象外領域については角度の補正を行わない。

補正後の画像あるいは部分画像は、表示部１４に表示する。あるいは、保存したり、他のソフトウェアや回路、他の装置に渡したりなど、外部へ出力してもよい。

図９は、本発明の第３の実施の形態における具体例の説明図である。図９（Ａ）には、与えられた画像の一例を示している。この例では、文書が湾曲した状態で読み取られた画像の例を示しており、傾き角度は段組された各段により異なっている。この画像を傾き角度算出部１５は白領域で分割し、分割領域に分ける。分割された各分割領域を図９（Ｂ）に破線の囲みにより示している。さらに角度算出部１５は、それぞれの分割領域について傾き角度を算出して対応づける。図９（Ｂ）では、算出した傾き角度を矢印により各分割領域に示している。

この画像に対して、利用者が図９（Ｂ）に太い破線で囲んだ領域が指定されたものとし、この指定された領域を部分領域として領域決定部１１が決定する。角度取得部１２は、部分領域に含まれる分割領域、この例では２つの分割領域に対応する傾き角度から、角度情報を取得する。例えば、２つの傾き角度の平均やいずれか大きい方を選択するなど、種々の方法により角度情報を取得すればよい。

補正部１３は、角度取得部１２で取得した角度情報に従って、この例では画像全体の角度補正処理を行う。処理後の画像の一例を図９（Ｃ）に示している。利用者が指示した部分領域について、傾きが補正されて、補正前に比べて見やすくなっている。

図１０は、本発明の各実施の形態及び各変形例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、２１はプログラム、２２はコンピュータ、３１は光磁気ディスク、３２は光ディスク、３３は磁気ディスク、３４はメモリ、４１はＣＰＵ、４２は内部メモリ、４３は読取部、４４はハードディスク、４５はインタフェース、４６は通信部である。

上述の本発明の各実施の形態及び各変形例として説明した各部の機能の全部あるいは部分的に、コンピュータが実行するプログラム２１によって実現してもよい。その場合、そのプログラム２１およびそのプログラムが用いるデータなどは、コンピュータによって読み取られる記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部４３に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部４３にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク３１、光ディスク３２（ＣＤやＤＶＤなどを含む）、磁気ディスク３３、メモリ３４（ＩＣカード、メモリカード、フラッシュメモリなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

これらの記憶媒体にプログラム２１を格納しておき、例えばコンピュータ２２の読取部４３あるいはインタフェース４５にこれらの記憶媒体を装着して、コンピュータからプログラム２１を読み出し、内部メモリ４２またはハードディスク４４（磁気ディスクやシリコンディスクなどを含む）に記憶し、ＣＰＵ４１によってプログラム２１を実行し、上述の本発明の各実施の形態及び各変形例として説明した機能が全部又は部分的に実現される。あるいは、通信路を介してプログラム２１をコンピュータ２２に転送し、コンピュータ２２では通信部４６でプログラム２１を受信して内部メモリ４２またはハードディスク４４に記憶し、ＣＰＵ４１によってプログラム２１を実行して実現してもよい。

なお、表示部１４を構成するハードウェアはインタフェース４５を介して接続されていればよい。コンピュータ２２には、このほかインタフェース４５を介して様々な装置を接続してもよい。例えば利用者が行った領域の指定などを受け付ける受付手段が接続され、利用者による部分領域や対象外領域の指示や図３あるいは図６に示した表示画面の例における選択肢の選択などを行うようにしてもよい。もちろん、その他の装置がインタフェース４５を介して接続されていてもよい。なお、各構成が１台のコンピュータにおいて動作する必要はなく、処理段階に応じて別のコンピュータにより処理が実行されてもよい。

１１…領域決定部、１２…角度取得部、１３…補正部、１４…表示部、１５…傾き角度算出部、２１…プログラム、２２…コンピュータ、３１…光磁気ディスク、３２…光ディスク、３３…磁気ディスク、３４…メモリ、４１…ＣＰＵ、４２…内部メモリ、４３…読取部、４４…ハードディスク、４５…インタフェース、４６…通信部。

Claims (4)

1. 画像中の部分領域を決定するとともに角度の補正を行わない対象外領域の指定を受け付ける決定手段と、前記部分領域における傾きを示す角度情報を取得する角度取得手段と、前記角度情報に従って画像全体の角度を補正するが前記対象外領域については角度の補正を行わない補正手段を有することを特徴とする画像処理装置。
2. 画像を分割した分割領域ごとに傾き角度を算出する算出手段を有し、前記角度取得手段は、前記部分領域に含まれる分割領域に対応する傾き角度から前記角度情報を取得することを特徴とする請求項１に記載の画像処理装置。
3. 画像には、分割領域ごとに傾き角度が対応づけられており、前記角度取得手段は、前記部分領域に含まれる分割領域に対応する傾き角度から前記角度情報を取得することを特徴とする請求項１に記載の画像処理装置。
4. コンピュータに、請求項１から請求項３のいずれか１項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラム。

Images