JP5453193B2 - 傾き検出装置、撮像装置および方法 - Google Patents

Description

本発明は、入力画像の傾きを検出する傾き検出装置および傾き検出方法と、傾きの検出結果に応じて入力画像の傾きを補正する撮像装置および撮像方法に関するものである。

近年、従来のＯＨＰ（オーバーヘッドプロジェクタ）に代わって、透明なガラス板からなる原稿台の上にカタログや書籍等の原稿を下向きに載置し、下方からカメラで撮影して得た画像を液晶プロジェクタで投影する書画撮像装置が提案されている（特許文献１参照）。このような書画撮像装置では、原稿台に原稿を載せる際に原稿を傾けて載せてしまうと、文字や画像が傾いて投影されるという問題がある。そこで、従来より、原稿の傾きを検出して文字や画像の傾きを補正するようにしていた。

以下、従来の傾き検出方法について図９のフローチャートを用いて説明する。この傾き検出方法では、カメラで撮影した画像を一定の角度だけ回転させ（図９ステップＳ１００）、回転後の画像を２値化する（ステップＳ１０１）。この２値化により、文字や画像は黒画素に変換され、空白の領域は白画素に変換される。続いて、２値化画像を水平方向に走査して特徴（ここでは黒画素）があるかどうかを調べる（ステップＳ１０２）。特徴が有る場合には（ステップＳ１０３においてＮＯ）、ステップＳ１０５に進む。一方、特徴が無い場合には（ステップＳ１０３においてＹＥＳ）、走査したラインが空白ラインであると認識し、空白ライン数を１加算する（ステップＳ１０４）。

次に、走査ライン数を１加算し（ステップＳ１０５）、最終ラインまで走査し終えたかどうかを判定する（ステップＳ１０６）。ここでは、最終ラインまで走査し終えていないので、次のラインに移動し（ステップＳ１０７）、次のラインを走査して特徴があるかどうかを調べる（ステップＳ１０２）。こうして、ステップＳ１０２〜Ｓ１０５の処理がライン毎に実施される。そして、最終ラインを走査し終えた後に（ステップＳ１０６においてＹＥＳ）、空白ライン数を全ライン数で除算することにより、空白ラインの割合を計算する（ステップＳ１０８）。

次に、画像の回転角度が所定の角度（例えば９０度）以上になったかどうかを判定する（ステップＳ１０９）。画像の回転角度が所定の角度以上になっていない場合には、空白ライン数および走査ライン数のデータを初期化して、先頭ラインに戻り（ステップＳ１１０）、再び画像を一定の角度だけ回転させる（ステップＳ１００）。こうして、画像を回転させながら、ステップＳ１０１〜Ｓ１１０の処理を行い、画像の回転角度が所定の角度以上になった時点で処理を終える。そして、角度毎に計算した空白ラインの割合のうち最も大きい値を示した回転角度を、原稿の傾きとして検出すればよい。

また、特許文献１には、カメラで撮影した画像から１文字分のイメージデータを切り出し、文字認識を行って、認識処理した文字の傾き又は文字の正中線から原稿の傾きを検出する技術が開示されている。
さらに、特許文献１には、カメラで撮影した画像を処理して原稿の輪郭を抽出し、原稿の傾きを検出する技術が開示されている。

特開２００６−９８５９０号公報

図９で説明した方法では、画像を回転させながら計算を繰り返す必要があるので、原稿の傾きを検出するまでに時間がかかるという問題点があった。また、図９で説明した方法では、文字列間の空間の領域を探索することで、原稿の傾きを検出しているため、絵図が印刷された原稿や手書きの文章が記載された原稿に対しては、傾きの検出精度が低くなるという問題点があった。

また、認識処理した文字の傾き又は文字の正中線から原稿の傾きを検出する方法では、手書きの文章が記載された原稿に対して、傾きの検出精度が低くなるという問題点があった。
また、原稿の輪郭を抽出して原稿の傾きを検出する方法では、傾きの検出精度が輪郭の抽出精度によって左右される。しかしながら、特許文献１に開示された方法では、原稿の輪郭を抽出する技術として公知の方法を用いるとしており、輪郭の抽出精度を保証する技術について開示されていないので、例えば原稿の内容に影響されて輪郭の抽出精度が悪化し、その結果として傾きの検出精度が低くなる可能性があった。

本発明は、上記課題を解決するためになされたもので、入力画像の内容に左右されずに、短時間かつ高い精度で入力画像の傾きを検出することができる傾き検出装置および傾き検出方法を提供することを目的とする。

本発明の傾き検出装置は、画像の水平エッジを抽出する水平エッジ抽出処理手段と、水平エッジ抽出処理後の画像の中央部における所定の領域を黒抜きする黒抜き処理手段と、黒抜き処理後の画像を２値化する２値化処理手段と、２値化処理後の画像中の白画素を所定画素分膨張させる膨張処理手段と、黒抜き処理後の画像中の白画素の座標値を取得する座標取得処理手段と、この座標取得処理手段が取得した座標値に基づいて、黒抜き処理後の画像中の直線を検出する直線検出処理手段と、この直線検出処理手段が検出した直線の傾きを算出することにより、入力画像の傾きを算出する傾き算出処理手段とを備え、前記水平エッジ抽出処理手段は、入力画像に対する１回目の水平エッジ抽出処理と前記膨張処理手段が処理した画像に対する２回目の水平エッジ抽出処理とを実行し、前記黒抜き処理手段は、前記１回目の水平エッジ抽出処理後の画像に対する１回目の黒抜き処理と前記２回目の水平エッジ抽出処理後の画像に対する２回目の黒抜き処理とを実行し、前記２値化処理手段は、前記１回目の黒抜き処理後の画像を２値化し、前記座標取得処理手段は、前記２回目の黒抜き処理後の画像中の白画素の座標値を取得し、前記直線検出処理手段は、前記２回目の黒抜き処理後の画像中の直線を検出することを特徴とするものである。

また、本発明の撮像装置は、原稿を撮像する撮像手段と、この撮像手段で得られた画像を入力画像とする傾き検出装置と、前記傾き算出処理手段の算出結果に応じて、前記入力画像の傾きを補正する傾き補正手段とを備えることを特徴とするものである。

また、本発明の傾き検出方法は、入力画像の水平エッジを抽出する第１の水平エッジ抽出処理ステップと、この第１の水平エッジ抽出処理ステップで処理した画像の中央部における所定の領域を黒抜きする第１の黒抜き処理ステップと、この第１の黒抜き処理ステップで処理した画像を２値化する２値化処理ステップと、この２値化処理ステップで処理した画像中の白画素を所定画素分膨張させる膨張処理ステップと、この膨張処理ステップで処理した画像の水平エッジを抽出する第２の水平エッジ抽出処理ステップと、この第２の水平エッジ抽出処理ステップで処理した画像の中央部における所定の領域を黒抜きする第２の黒抜き処理ステップと、この第２の黒抜き処理ステップで処理した画像中の白画素の座標値を取得する座標取得処理ステップと、この座標取得処理ステップで取得した座標値に基づいて、前記第２の黒抜き処理ステップで処理した画像中の直線を検出する直線検出処理ステップと、この直線検出処理ステップで検出した直線の傾きを算出することにより、前記入力画像の傾きを算出する傾き算出処理ステップとを備えることを特徴とするものである。

また、本発明の撮像方法は、原稿を撮像する撮像ステップと、この撮像ステップで得られた画像を入力画像とする傾き検出方法の各ステップと、前記傾き算出処理ステップの算出結果に応じて、前記入力画像の傾きを補正する傾き補正ステップとを備えることを特徴とするものである。

本発明によれば、水平エッジ抽出処理手段と黒抜き処理手段と２値化処理手段と膨張処理手段と座標取得処理手段と直線検出処理手段と傾き算出処理手段とを設けることにより、入力画像の内容に左右されずに、短時間かつ高い精度で入力画像の傾きを検出することができる。

本発明の実施の形態に係る書画撮像装置の構成を示すブロック図である。 本発明の実施の形態に係る傾き検出装置の構成を示すブロック図である。 本発明の実施の形態に係る傾き検出装置の動作を示すフローチャートである。 本発明の実施の形態に係る書画撮像装置の原稿台に対して傾いて載置された原稿を示す平面図である。 本発明の実施の形態における水平エッジ抽出処理を説明する図である。 本発明の実施の形態の効果を説明する図である。 本発明の実施の形態の効果を説明する図である。 本発明の実施の形態の効果を説明する図である。 従来の傾き検出方法を説明するフローチャートである。

［実施の形態］
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の実施の形態に係る書画撮像装置の構成を示すブロック図である。書画撮像装置は、ガラス製の原稿台１と、レンズ２と、撮像手段となるＣＣＤカメラ等のカメラ３と、蛍光灯４と、Ａ／Ｄ変換器５と、メモリ６と、傾き検出装置７と、傾き補正装置８と、プロジェクタ９とを有する。

この書画撮像装置では、蛍光灯４から出射した照明光が原稿台１に照射される。これにより、原稿台１上に下向きに載置された原稿１０が照らされることになる。カメラ３は、原稿１０を下方から撮像して画像信号を出力する。Ａ／Ｄ変換器５は、カメラ３から出力された画像信号をＡ／Ｄ変換して画像データを出力する。この画像データは、メモリ６に一時的に格納される。

傾き検出装置７は、メモリ６に格納された画像データを処理して原稿１０の傾きを検出する。傾き補正装置８は、傾きの検出結果に応じて、メモリ６に格納された画像データを補正する。傾き補正装置８で補正された画像データは、プロジェクタ９に出力される。プロジェクタ９は、図示しないスクリーンに画像を投影する。

次に、以上のような書画撮像装置における傾き検出装置７の構成と動作について説明する。図２は傾き検出装置７の構成を示すブロック図、図３は傾き検出装置７の動作を示すフローチャートである。傾き検出装置７は、水平エッジ抽出処理部７０と、黒抜き処理部７１と、２値化処理部７２と、膨張処理部７３と、座標取得処理部７４と、直線検出処理部７５と、傾き算出処理部７６とから構成される。

傾き検出装置７の水平エッジ抽出処理部７０は、メモリ６に格納された画像を取り込み、この画像の水平エッジを抽出する（図３ステップＳ１）。ここで、水平エッジとは、画像の水平方向に対して平行な成分を有するエッジのことを言う。図４は書画撮像装置の原稿台１に対して傾いて載置された原稿１０を示す平面図である。本実施の形態では、原稿台１の長辺方向がカメラ３で撮影される画像の水平方向（Ｘ軸方向）に対応し、原稿台１の短辺方向が画像の垂直方向（Ｙ軸方向）に対応する。水平エッジ抽出処理を行う理由は、図４に示す原稿１０の長辺４０を抽出するためである。

水平エッジは、画像に対してフィルタ処理を行うことにより抽出することができる。図５（Ａ）、図５（Ｂ）は水平エッジ抽出処理を説明する図である。図５（Ａ）の枡目は画素を表し、枡目中のｇ０〜ｇ３は画素の輝度を表している。本実施の形態で用いる水平エッジの抽出方法は、図５（Ａ）に示す注目画素５０を含む４つの画素の輝度値に対して、図５（Ｂ）に示すような係数を乗算し、結果を合計することで注目画素の輝度値を算出する方法である。具体的には、垂直方向（Ｙ軸方向）の輝度差を抽出している。図５（Ａ）に示す４つの画素の輝度値に対して図５（Ｂ）に示す係数を乗算して乗算結果を合計する積和演算を行うと、注目画素の輝度値は、ｇ０×１＋ｇ１×０＋ｇ２×（−１）＋ｇ３×０となる。水平エッジ抽出処理部７０は、以上のような水平エッジ抽出処理を注目画素を１つずつずらしながら、画像の全画素に対して行えばよい。この水平エッジ抽出処理により、水平エッジ部分の画素値が大きくなり、他の部分の画素値が小さくなる。

続いて、傾き検出装置７の黒抜き処理部７１は、水平エッジ抽出処理後の画像の中央部における所定の領域を黒抜きする（図３ステップＳ２）。言うまでもなく、黒抜きとは、領域内を黒画素で塗りつぶすことを言う。黒抜き処理を行う理由は、原稿１０の長辺以外の情報を削除するためである。本実施の形態では、黒抜き処理の対象となる領域を、画像の水平方向の全範囲に対して例えば１／１０〜９／１０の範囲、画像の垂直方向の全範囲に対して例えば１／５〜４／５の範囲としている。

次に、傾き検出装置７の２値化処理部７２は、黒抜き処理後の画像を２値化する（図３ステップＳ３）。この２値化処理により、ステップＳ１の水平エッジ処理で抽出された水平エッジ部分の画素が白画素に変換される。
傾き検出装置７の膨張処理部７３は、２値化処理後の画像中の白画素を膨張させる（図３ステップＳ４）。この膨張処理では、対象となる白画素を上下左右斜めの８方向に２画素分膨張させればよい。膨張処理を行う理由は、画像の２値化によって発生したノイズを除去するためである。

続いて、傾き検出装置７の水平エッジ抽出処理部７０は、膨張処理後の画像の水平エッジを抽出する（図３ステップＳ５）。水平エッジ抽出の方法は上記で説明したとおりである。水平エッジ抽出処理を再度行う理由は、原稿１０の長辺を明確に精度良く抽出するためである。
傾き検出装置７の黒抜き処理部７１は、ステップＳ５の水平エッジ抽出処理後の画像の中央部における所定の領域を黒抜きする（図３ステップＳ６）。黒抜きの方法は上記で説明したとおりである。黒抜き処理を再度行う理由は、原稿１０の長辺以外の情報をより確実に削除するためである。

次に、傾き検出装置７の座標取得処理部７４は、ステップＳ６の黒抜き処理後の画像中の全ての白画素の座標値を取得する（図３ステップＳ７）。
そして、傾き検出装置７の直線検出処理部７５は、座標取得処理部７４が取得した座標値にハフ（Hough）変換処理を施すことにより、黒抜き処理後の画像中の直線を検出する（図３ステップＳ８）。

最後に、傾き検出装置７の傾き算出処理部７６は、直線検出処理部７５が検出した直線のＸ軸に対する傾き（つまり、原稿台１の長辺に対する原稿１０の長辺の傾き）を算出する（図３ステップＳ９）。
以上で、傾き検出装置７の動作が終了する。

傾き補正装置８は、傾き検出装置７の検出結果に応じて、メモリ６に格納された画像データを補正する。この補正は、原稿１０に記載された文字や画像が正立するように、すなわち原稿台１の長辺と原稿１０の長辺とが平行になるように行われる。こうして、原稿１０の傾きを補正することができる。

図６（Ａ）〜図８（Ｃ）は本実施の形態の効果を説明する図である。図６（Ａ）はカメラ３によって撮影された画像を示している。この画像における６０が原稿１０の長辺である。図６（Ｂ）はステップＳ１の水平エッジ抽出処理後の画像を示し、図７（Ａ）はステップＳ２の黒抜き処理後の画像を示している。図７（Ａ）によると、画像の中央部が黒くなっていることが分かる。

図７（Ｂ）はステップＳ３の２値化処理後の画像を示し、図７（Ｃ）はステップＳ４の膨張処理後の画像を示し、図８（Ａ）はステップＳ５の水平エッジ抽出処理後の画像を示している。図８（Ａ）によると、原稿１０の長辺を明確に抽出できていることが分かる。図８（Ｂ）はステップＳ６の黒抜き処理後の画像を示している。この黒抜き処理後の画像中の白画素の座標値を取得し、座標値にハフ変換処理を施すことにより、黒抜き処理後の画像中の直線を検出し、直線の傾きを算出する。図８（Ｃ）は図６（Ａ）の画像を傾き補正した後の画像を示している。図８（Ｃ）によると、図６（Ａ）と比較して原稿１０の傾きが補正されていることが分かる。

本実施の形態では、図９で説明した従来の傾き検出方法よりも処理時間を短くすることができる。また、本実施の形態では、入力画像に含まれる原稿イメージの輪郭情報を基に入力画像の傾きを検出するので、入力画像の内容に左右されずに、高い精度で入力画像の傾きを検出することができる。

なお、本実施の形態では、書画撮像装置を例に挙げて説明しているが、これに限るものではなく、本発明の傾き検出方法は例えばスキャナなどの他の撮像装置に適用することも可能である。
本実施の形態の傾き検出装置７と傾き補正装置８とは、例えばＣＰＵ、記憶装置およびインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータを動作させるためのプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供される。ＣＰＵは、読み込んだプログラムを記憶装置に書き込み、このプログラムに従って本実施の形態で説明した処理を実行する。

本発明は、入力画像の傾きを検出する技術に適用することができる。

１…原稿台、２…レンズ、３…カメラ、４…蛍光灯、５…Ａ／Ｄ変換器、６…メモリ、７…傾き検出装置、８…傾き補正装置、９…プロジェクタ、７０…水平エッジ抽出処理部、７１…黒抜き処理部、７２…２値化処理部、７３…膨張処理部、７４…座標取得処理部、７５…直線検出処理部、７６…傾き算出処理部。

Claims (4)

1. 画像の水平エッジを抽出する水平エッジ抽出処理手段と、
   水平エッジ抽出処理後の画像の中央部における所定の領域を黒抜きする黒抜き処理手段と、
   黒抜き処理後の画像を２値化する２値化処理手段と、
   ２値化処理後の画像中の白画素を所定画素分膨張させる膨張処理手段と、
   黒抜き処理後の画像中の白画素の座標値を取得する座標取得処理手段と、
   この座標取得処理手段が取得した座標値に基づいて、黒抜き処理後の画像中の直線を検出する直線検出処理手段と、
   この直線検出処理手段が検出した直線の傾きを算出することにより、入力画像の傾きを算出する傾き算出処理手段とを備え、
   前記水平エッジ抽出処理手段は、入力画像に対する１回目の水平エッジ抽出処理と前記膨張処理手段が処理した画像に対する２回目の水平エッジ抽出処理とを実行し、
   前記黒抜き処理手段は、前記１回目の水平エッジ抽出処理後の画像に対する１回目の黒抜き処理と前記２回目の水平エッジ抽出処理後の画像に対する２回目の黒抜き処理とを実行し、
   前記２値化処理手段は、前記１回目の黒抜き処理後の画像を２値化し、
   前記座標取得処理手段は、前記２回目の黒抜き処理後の画像中の白画素の座標値を取得し、
   前記直線検出処理手段は、前記２回目の黒抜き処理後の画像中の直線を検出することを特徴とする傾き検出装置。
2. 原稿を撮像する撮像手段と、
   この撮像手段で得られた画像を入力画像とする、請求項１記載の傾き検出装置と、
   前記傾き算出処理手段の算出結果に応じて、前記入力画像の傾きを補正する傾き補正手段とを備えることを特徴とする撮像装置。
3. 入力画像の水平エッジを抽出する第１の水平エッジ抽出処理ステップと、
   この第１の水平エッジ抽出処理ステップで処理した画像の中央部における所定の領域を黒抜きする第１の黒抜き処理ステップと、
   この第１の黒抜き処理ステップで処理した画像を２値化する２値化処理ステップと、
   この２値化処理ステップで処理した画像中の白画素を所定画素分膨張させる膨張処理ステップと、
   この膨張処理ステップで処理した画像の水平エッジを抽出する第２の水平エッジ抽出処理ステップと、
   この第２の水平エッジ抽出処理ステップで処理した画像の中央部における所定の領域を黒抜きする第２の黒抜き処理ステップと、
   この第２の黒抜き処理ステップで処理した画像中の白画素の座標値を取得する座標取得処理ステップと、
   この座標取得処理ステップで取得した座標値に基づいて、前記第２の黒抜き処理ステップで処理した画像中の直線を検出する直線検出処理ステップと、
   この直線検出処理ステップで検出した直線の傾きを算出することにより、前記入力画像の傾きを算出する傾き算出処理ステップとを備えることを特徴とする傾き検出方法。
4. 原稿を撮像する撮像ステップと、
   この撮像ステップで得られた画像を入力画像とする、請求項３記載の傾き検出方法の各ステップと、
   前記傾き算出処理ステップの算出結果に応じて、前記入力画像の傾きを補正する傾き補正ステップとを備えることを特徴とする撮像方法。