JP5867045B2

JP5867045B2 - 画像処理装置及びプログラム

Info

Publication number: JP5867045B2
Application number: JP2011271202A
Authority: JP
Inventors: 川王; 大西　健司; 健司大西
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2011-12-12
Filing date: 2011-12-12
Publication date: 2016-02-24
Anticipated expiration: 2031-12-12
Also published as: JP2013123167A

Description

本発明は、画像処理装置及びプログラムに関する。

下記特許文献１には、被写体面と撮像面とが平行でない状態で撮像された被写体の画像の歪みを補正すること、が記載されている。具体的には、被写体の画像から抽出された対向する少なくとも２組の線分をそれぞれ外挿することによって得られる少なくとも２つの交点を用いて変換行列を算出し、算出した変換行列により、被写体の画像を構成する各点を座標変換すること、が記載されている。

特開２００２−０５７８７９号公報

本発明の目的は、筆記がなされた筆記媒体の撮像画像における筆記部分の歪みを、筆記媒体に予め印刷された罫線を用いて補正できるようにすることである。

上記課題を解決するための請求項１の発明は、等間隔に配列された複数の罫線が予め印刷された筆記媒体を撮像手段が撮像して得られる撮像画像、に写っている複数の前記罫線の各々を検出する罫線検出手段と、検出された罫線の各々を示す罫線情報に基づいて、前記筆記媒体になされた筆記部分の前記撮像画像における歪みを補正するための補正制御情報を生成する生成手段と、を含むことを特徴とする画像処理装置である。

また、請求項２の発明は、請求項１の発明において、前記罫線検出手段は、前記撮像画像から前記筆記部分を除いた画像を背景画像として取得する背景画像取得手段を含み、前記背景画像に基づいて、前記撮像画像に写っている複数の前記罫線の各々を検出すること、を特徴とする。

また、請求項３の発明は、請求項２の発明において、前記背景画像取得手段は、濃度ごとに該濃度を有する画素の前記撮像画像における出現頻度を示す濃度ヒストグラム情報を生成し、生成した前記濃度ヒストグラム情報に基づいて前記背景画像を取得すること、を特徴とする。

また、請求項４の発明は、請求項３の発明において、前記背景画像取得手段は、前記濃度ヒストグラム情報に基づいて出現頻度が極小となる濃度を複数特定し、特定した複数の濃度に基づいて前記背景画像を取得すること、を特徴とする。

また、請求項５の発明は、請求項１の発明において、前記罫線検出手段は、前記撮像画像又は前記撮像画像から前記筆記部分を除いた背景画像、である処理対象画像に対して直線検出処理を実行することにより、複数の直線を検出する直線検出手段と、検出された前記複数の直線の各々を示す直線情報に基づいて、前記複数の直線のうちで、前記撮像画像に写っている前記罫線を示す複数の直線を特定する罫線特定手段と、を含むことを特徴とする。

また、請求項６の発明は、請求項２乃至５のいずれかの発明において、前記撮像画像から前記筆記部分のみを含む前景画像を取得する前景画像取得手段と、前記補正制御情報に基づいて、前記前景画像に幾何変換処理を実行する幾何変換手段と、をさらに含むことを特徴とする。

また、請求項７の発明は、請求項１の発明において、前記筆記媒体には、等間隔に配列された複数の第１罫線と、等間隔に配列された前記第１罫線とは延伸方向が異なる第２罫線と、が予め印刷され、前記罫線検出手段は、前記撮像画像に写っている複数の前記第１罫線と、前記撮像画像に写っている複数の前記第２罫線と、を取得し、前記生成手段は、検出された第１罫線の各々を示す罫線情報と、検出された第２罫線の各々を示す罫線情報と、に基づいて、前記補正制御情報を生成すること、を特徴とする。

上記課題を解決するための請求項８の発明は、等間隔に配列された複数の罫線が予め印刷された筆記媒体を撮像手段が撮像して得られる撮像画像、に写っている複数の前記罫線の各々を検出する罫線検出手段、検出された罫線の各々を示す罫線情報に基づいて、前記筆記媒体になされた筆記部分の前記撮像画像における歪みを補正するための補正制御情報を生成する生成手段、としてコンピュータを機能させるプログラムである。

請求項１、７、及び８の発明によれば、筆記がなされた筆記媒体の撮像画像のおける筆記部分の歪みを、筆記媒体に予め印刷された罫線を用いて補正できる。

請求項２の発明によれば、本構成を有しない場合と比較して、罫線をより確実に検出できる。

請求項３の発明によれば、罫線が含まれるように背景画像を取得できる。

請求項４の発明によれば、本構成を有しない場合と比較して、より確実に罫線が含まれるように背景画像を取得できる。

請求項５の発明によれば、罫線だけを用いて補正制御情報を生成することができる。

請求項６の発明によれば、本構成を有しない場合と比較して、より高い精度で、筆記部分の歪みを補正できる。

画像処理装置の構成を例示する図である。筆記用紙を例示する図である。撮像画像を例示する図である。メモ書きの歪みが補正される様子を例示する図である。画像処理装置で実現される機能群を示す機能ブロック図である。罫線検出部が実行する処理を例示するフローチャート図である。濃度ヒストグラムを例示する図である。前景画像を例示する図である。背景画像を例示する図である。検出された直線を例示する図である。各直線のハフ空間座標を例示する図である。罫線検出部が実行する処理を例示するフローチャート図である。幾何変換行列算出部が実行する処理を例示するフローチャート図である。各交点とその理想位置との関係を例示する図である。

以下、本発明の実施形態の例について図面に基づき詳細に説明する。

図１は、本発明の実施形態に係る画像処理装置２の構成を例示する図である。画像処理装置２は、例えば、タブレット型パーソナルコンピュータであり、制御部４と、主記憶６と、操作部８と、ディスプレイ１０と、内蔵カメラ１２と、ハードディスク１４と、を含む。

制御部４は、マイクロプロセッサであり、主記憶６に記憶されるアプリケーションプログラムに従って情報処理を実行する。主記憶６は、上記アプリケーションプログラムを格納している。このアプリケーションプログラムは、ネットワーク等の通信網から供給されて主記憶６に格納される。なお、ＤＶＤ（登録商標）−ＲＯＭ等のコンピュータ読取可能な情報記憶媒体から読み出されて主記憶６に格納されてもよい。また、主記憶６には、情報処理の過程で必要となる各種データも格納される。

操作部８は、ユーザが画像処理装置２を操作するためのユーザインタフェースであり、ユーザが行った操作の内容を示す信号を制御部４に出力する。また、ディスプレイ１０は、制御部４から供給される情報を表示する。

内蔵カメラ１２は、画像処理装置２に内蔵されたデジタルカメラである。内蔵カメラ１２は、筆記媒体である筆記用紙をユーザが撮像するために用いられる。ユーザは、内蔵カメラ１２で筆記用紙を撮像することにより、筆記用紙に残したメモ書きを記録する。内蔵カメラ１２により撮像された撮像画像を示すビットマップデータは、ハードディスク１４に格納される。

ここで、筆記用紙について説明する。図２は、筆記用紙を例示する図である。本実施形態では、筆記用紙は方眼紙である。筆記用紙には、横方向に伸びる複数の罫線Ｌ１（以下、第１罫線Ｌ１と表記する）と縦方向に伸びる複数の罫線Ｌ２（以下、第２罫線Ｌ２と表記する）とが予め印刷されている。各第１罫線Ｌ１は等間隔で配列され、各第２罫線Ｌ２も等間隔で配列される。第１罫線Ｌ１及び第２罫線Ｌ２は、目立たぬように、比較的薄い色で印刷されている。なお、文字「Ａ」は、ユーザが筆記用紙に筆記したメモ書きを示している。なお、文字「Ａ」以外のメモ書きも筆記されているが、ここでは図示を省略している。

以下、第１罫線Ｌ１及び第２罫線Ｌ２を総称して「罫線」と表記する場合がある。

図３は、ハードディスク１４に格納される撮像画像を例示する図である。筆記用紙がアップで撮像されたため、撮像画像には、筆記用紙の一部のみ写っている。言い換えれば、撮像画像に筆記用紙の輪郭は写っていない。また、筆記用紙が正面から撮像されなかったため、メモ書き部分がゆがんでいる。メモ書きは、通常黒色でなされる。

この画像処理装置２では、撮像画像に写っている第１罫線Ｌ１及び第２罫線Ｌ２が検出され、検出された第１罫線Ｌ１及び第２罫線Ｌ２に基づいて、撮像画像に写っているメモ書きの歪みを補正するための幾何変換行列が算出されるようになっている。

また、算出された幾何変換行列に従って幾何変換処理が実行され、図４に示すように、メモ書きの歪みが補正されるようになっている。以下、この点について説明する。

図５は、画像処理装置２で実現される機能群を示す機能ブロック図である。同図に示すように、画像処理装置２では、罫線検出部２０（罫線検出手段）と、幾何変換行列算出部２２（生成手段）と、補正部２４（幾何変換手段）と、を含む。これらの機能は、制御部４が上記アプリケーションプログラムに従って動作することによって、実現される。

［罫線検出部］
罫線検出部２０は、撮像画像に写っている第１罫線Ｌ１各々と、撮像画像に写っている第２罫線Ｌ２各々と、を検出する。

図６は、罫線検出部２０が実行する処理を例示するフローチャート図である。本実施形態の場合、罫線検出部２０（背景画像取得手段、前景画像取得手段）は、罫線検出のために、まず、撮像画像を、撮像画像に含まれるメモ書き部分のみを示す前景画像と、撮像画像からメモ書き部分を除いた画像である背景画像と、に分離する（Ｓ１０１）。

例えば、罫線検出部２０は、撮像画像を分析し、濃度ヒストグラムを生成する。ここで、濃度ヒストグラムは、図７に例示するように、濃度ごとに該濃度を有する画素の撮像画像における出現頻度を示す。図７に示すように、通常、濃度ヒストグラムは２つの極小点を有するので、罫線検出部２０は、濃度ヒストグラムに基づいて２つの極小点それぞれにおける濃度を特定し、特定した濃度のうちの高い方の濃度（以下、基準濃度と表記する）を特定する。そして、罫線検出部２０は、撮像画像から基準濃度未満の濃度を有する画素を除いた画像を前景画像として取得し、撮像画像から基準濃度以上の濃度を有する画素を除いた画像を背景画像として取得する。

図８Ａに前景画像を例示し、図８Ｂに背景画像を例示した。

なお、罫線の色がわかっているのであれば、罫線情報所得部２０は、Ｓ１０１のステップにおいて、撮像画像の色情報に基づいて、前景画像と背景画像とを取得するようにしてもよい。

そして、罫線検出部２０は、背景画像に基づいて罫線を検出する（Ｓ１０２〜Ｓ１０３）。まず、罫線検出部２０（直線検出手段）は、背景画像（処理対象画像）に対して直線検出処理を実行することにより、複数の直線を検出する（Ｓ１０２）。本実施形態の場合、罫線検出部２０は、背景画像のエッジ画像を生成し、エッジ画像をハフ変換することによって、直線を検出する。直線は、その直線のハフ空間における位置座標（ρ，θ）として検出される。この位置座標が直線情報に相当する。なお、この位置座標（ρ、θ）のことをハフ空間座標と表記する。ρは、直線の画像空間における原点からの距離を示し、θは、画像空間において原点から直線に下ろした垂線の延伸方向を示す。図９に、検出された直線を例示した。なお、直線Ｌは、エッジ画像に表れた、罫線でない直線であり、例えば、ユーザが筆記用紙に付けた折り目である。

また、図１０に、各直線のハフ空間座標を例示した。丸は、検出された直線のうち第１罫線Ｌ１である直線のハフ空間座標を示し、四角は、検出された直線のうち第２罫線Ｌ２である直線のハフ空間座標を示し、三角は、検出された直線のうち罫線でない直線のハフ空間座標を示す。

Ｓ１０２のステップでは、罫線でない直線が検出される場合がある。そこで、罫線検出部２０（罫線特定手段）は、検出された直線それぞれのハフ空間座標に基づいて、検出された直線のうちで、撮像画像に写っている第１罫線Ｌ１を示す直線のみからなる直線群と、撮像画像に写っている第２罫線Ｌ２を示す直線のみからなる直線群と、の２つの直線群（以下、罫線群と表記する）を特定する（Ｓ１０３）。

図１１は、Ｓ１０３で実行される処理を例示するフローチャート図である。本実施形態の場合、罫線検出部２０は、Ｓ１０２のステップで検出された直線の各々のハフ空間座標に基づき、検出された直線のうちで、ハフ空間座標が直線状に縦に並んでいる直線群を罫線群候補として複数特定する（Ｓ２０１）。例えば、図１０に示す場合、Ｓ２０１のステップにより、左側の点線付近に位置する直線群と右側の点線付近に位置する直線群と、の２つの罫線群候補が特定される。

そして、罫線検出部２０は、罫線群候補各々から、罫線でないと推定される直線を削除する（Ｓ２０２）。本実施形態の場合、罫線検出部２０は、Ｓ２０２のステップにおいて、一つ一つの罫線群候補を処理対象罫線群候補として、以下に説明する処理を実行する。

すなわち、罫線検出部２０は、処理対象罫線群候補に含まれる直線各々をρ座標値の昇順でソートし、最後の直線を除いた直線の各々につき、当該直線と次の直線とのρ座標値の差Δρを算出する。

そして、罫線検出部２０は、Δρの最小値からΔρの最大値までの区間を等間隔で分割してなる複数の候補区間の各々につき、その候補区間に属するΔρの個数を計数し、これら複数の候補区間のうちで、Δρの個数が最大の候補区間である頻出区間を特定する。

そして、罫線検出部２０は、処理対象罫線群候補のうちで、Δρが頻出区間内の数値となる直線の対を特定するとともに、各対を構成する直線の和集合を特定し、処理対象罫線群候補から上記和集合に属さない直線を削除する。例えば、処理対象罫線群候補が図１０の右側の点線付近に位置する直線群であるとき、処理対象罫線群候補から図１０の三角に位置する直線（例えば、ユーザが筆記用紙に付けた折り目）が削除される。一方、処理対象罫線群候補が図１０の左側の点線付近に位置する直線群であるとき、いずれの直線も処理対象罫線群候補から削除されない。

Ｓ２０１及びＳ２０２のステップにより、Ｓ１０２のステップで検出された直線のうちで、ハフ空間座標が直線状に縦に並び、且つ、ハフ空間座標が周期的に並んでいる直線群が、罫線群候補として特定されることになる。

Ｓ２０３のステップでは、罫線検出部２０は、複数の罫線群候補のうちの２つの罫線群候補を罫線群として特定する。具体的には、罫線検出部２０は、罫線群候補それぞれにつき、その罫線群候補に含まれる直線のθ座標値の平均を算出するとともに、算出した平均の差が８５度以上９５度未満となる一組の罫線群候補を、罫線群として特定する。一方の罫線群は、第１罫線Ｌ１を示す直線のみからなる直線群となり、他方の罫線群は、第２罫線Ｌ２を示す直線のみからなる直線群となる。

なお、罫線検出部２０は、Ｓ１０１のステップを実行せずに、Ｓ１０２のステップの直線検出処理を撮像画像（処理対象画像）自身に対して実行するようにしてもよい。

［幾何変換行列算出部］
幾何変換行列算出部２２は、各罫線群に含まれる直線それぞれのハフ空間座標（罫線情報）に基づいて、幾何変換行列を算出する。

図１２は、幾何変換行列算出部２２が実行する処理を例示するフローチャート図である。本実施形態の場合、幾何変換行列算出部２２は、まず、各罫線群に含まれる直線各々につき、その直線のハフ空間座標に基づいてその直線を画像空間における座標系（ｘ，ｙ）で表した数式を算出する（Ｓ３０１）。そして、幾何変換行列算出部２２は、算出した数式に基づいて、各直線の画像空間における交点を算出する（Ｓ３０２）。なお、幾何変換行列算出部２２は、Ｓ３０２において、一部の直線の画像空間における交点を算出してもよい。例えば、一方の罫線群のうちでρ座標値が最小の直線、当該一方の罫線群のうちでρ座標値が最大の直線、他方の罫線群のうちでρ座標値が最小の直線、及び当該他方の罫線群のうちでρ座標値が最大の直線、の計４本の直線で構成される矩形の４つの頂点を算出するようにしてもよい。

そして、幾何変換行列算出部２２は、公知の幾何変換行列算出手法により、幾何変換行列を算出する（Ｓ３０３及びＳ３０４）。本実施形態の場合、幾何変換行列算出部２２は、算出した各交点につき、その交点の理想的な移動先と推定される目標位置の画像空間座標を、撮像画像の四隅の画像空間座標を基に所定のアルゴリズムに従って算出する（Ｓ３０３）。図１３に、各交点とその理想位置との関係を例示した。丸は、交点を示し、四角は、理想位置を示している。また、矢印は、交点と理想位置との対応関係を示している。また、点線は罫線を示し、また、一点鎖線は画像の枠を示している。なお、目標位置は、ハードディスク１４に予め用意されていてもよい。

そして、幾何変換行列算出部２２は、各交点の画像空間座標と、その理想位置の画像空間座標と、に基づいて、ＲＡＮＳＡＣ（RANdom SAmple Consensus）法により、各交点の画像空間座標をその理想位置の画像空間座標へと変換するための上記幾何変換行列を算出する（Ｓ３０４）。

こうして、幾何変換行列算出部２２は、幾何変換行列を算出する。なお、幾何変換行列算出部２２は、一方の罫線群のうちでρ座標値が最小である直線の延長線と当該一方の罫線群のうちでρ座標値が最大である直線の延長線との交点である第１消失点の画像空間座標（以下、第１消失点座標と表記）と、他方の罫線群のうちでρ座標値が最小である直線の延長線と当該他方の罫線群のうちでρ座標値が最大である直線の延長線との交点である第２消失点の画像空間座標（以下、第２消失点座標と表記）と、を算出してもよい。そして、第１消失点座標と第２消失点座標とに基づいて、第１消失点と第２消失点とを無限遠に移動させる行列を幾何変換行列として算出してもよい。

［補正部］
幾何変換行列が算出されると、補正部２４は、幾何変換行列を用いて、前景画像又は撮像画像を幾何変換する。こうすることにより、補正部２４は、メモ書き部分の撮像画像における歪みを補正する。

画像処理装置２によれば、撮像画像に写っている罫線が検出され、検出された罫線のみに基づいて幾何変換行列が算出されるので、例えば撮像画像に筆記媒体の輪郭が写っていなくても、メモ書きの歪みを補正できる。

なお、本発明の実施形態は、上記実施形態だけに限らない。

例えば、筆記媒体は筆記用紙だけに限らない。筆記媒体はホワイトボードであってもよい。また、例えば、第１罫線及び第２罫線は、実線に限らず、破線又は点線であってもよい。

また、例えば、罫線検出部２０は、撮像画像に対してフーリエ変換を行うことで撮像画像から周波数領域画像を生成し、周波数領域画像に基づいて撮像画像に写っている罫線を検出してもよい。

また、例えば、罫線検出部２０は、Ｓ１０２のステップにおいて、背景画像の二値画像に対して射影ヒストグラム演算を行うことによって、直線を検出するようにしてもよい。この場合、各直線の切片及び傾きを直線情報として用いてもよいし、切片及び傾きからハフ空間座標（ρ，θ）を求めてもよい。

２画像処理装置、４制御部、６主記憶、８操作部、１０ディスプレイ、１２内蔵カメラ、１４ハードディスク、２０罫線検出部、２２幾何変換行列算出部、２４補正部、Ｌ直線、Ｌ１第１罫線、Ｌ２第２罫線。

Claims

等間隔に配列された複数の罫線が予め印刷された筆記媒体を撮像手段が撮像して得られる撮像画像、に写っている複数の前記罫線の各々を検出する罫線検出手段と、
検出された罫線の各々を示す罫線情報に基づいて、前記筆記媒体になされた筆記部分の前記撮像画像における歪みを補正するための補正制御情報を生成する生成手段と、を含む画像処理装置であって、
前記罫線検出手段は、
前記撮像画像又は前記撮像画像から前記筆記部分を除いた背景画像、である処理対象画像に対して直線検出処理を実行することにより、複数の直線を検出する直線検出手段と、
検出された前記複数の直線の各々を示す直線情報に基づいて、前記複数の直線のうち、等間隔に配列されている直線の和集合に属する直線を特定し、前記検出された複数の直線から前記和集合に属さない直線を削除するとともに、前記和集合に属する直線を前記撮像画像に写っている前記罫線として特定する罫線特定手段と、
を含むことを特徴とする画像処理装置。
前記罫線検出手段は、さらに、
前記撮像画像から前記筆記部分を除いた画像を背景画像として取得する背景画像取得手段を含み、
前記背景画像取得手段は、
濃度ごとに該濃度を有する画素の前記撮像画像における出現頻度を示す濃度ヒストグラム情報を生成し、生成した前記濃度ヒストグラム情報に基づいて前記背景画像を取得すること、
を特徴とする請求項１に記載の画像処理装置。
前記背景画像取得手段は、
前記濃度ヒストグラム情報に基づいて出現頻度が極小となる濃度を複数特定し、特定した複数の濃度に基づいて前記背景画像を取得すること、
を特徴とする請求項２に記載の画像処理装置。
前記撮像画像から前記筆記部分のみを含む前景画像を取得する前景画像取得手段と、
前記補正制御情報に基づいて、前記前景画像に幾何変換処理を実行する幾何変換手段と、を含むこと、
を特徴とする請求項２または３に記載の画像処理装置。
前記筆記媒体には、等間隔に配列された複数の第１罫線と、等間隔に配列された前記第１罫線とは延伸方向が異なる第２罫線と、が予め印刷され、
前記罫線検出手段は、
前記撮像画像に写っている複数の前記第１罫線と、前記撮像画像に写っている複数の前記第２罫線と、を取得し、
前記生成手段は、
検出された第１罫線の各々を示す罫線情報と、検出された第２罫線の各々を示す罫線情報と、に基づいて、前記補正制御情報を生成すること、
を特徴とする請求項１に記載の画像処理装置。
等間隔に配列された複数の罫線が予め印刷された筆記媒体を撮像手段が撮像して得られる撮像画像、に写っている複数の前記罫線の各々を検出する罫線検出手段、
検出された罫線の各々を示す罫線情報に基づいて、前記筆記媒体になされた筆記部分の前記撮像画像における歪みを補正するための補正制御情報を生成する生成手段、
としてコンピュータを機能させるプログラムであって、
前記罫線検出手段は、
前記撮像画像又は前記撮像画像から前記筆記部分を除いた背景画像、である処理対象画像に対して直線検出処理を実行することにより、複数の直線を検出する直線検出手段と、
検出された前記複数の直線の各々を示す直線情報に基づいて、前記複数の直線のうち、等間隔に配列されている直線の和集合に属する直線を特定し、前記検出された複数の直線から前記和集合に属さない直線を削除するとともに、前記和集合に属する直線を前記撮像画像に写っている前記罫線として特定する罫線特定手段と、
を含むことを特徴とするプログラム。