JP3608955B2 - 非接触型画像読取装置及びそれを用いたシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、紙などの媒体に書かれた文書，印字された文字や図形，画像、または押印された印影等の情報を読み取り認識したり、照合したり、画像データとして入力する非接触型画像読取装置と、それに好適な制御方式および、それを用いたシステムに関するものである。
【０００２】
【従来の技術】
現在製品化されている画像の入力装置としては、フラットベッドスキャナ，シートスキャナ，デジタルカメラ，書画カメラなどがある。しかし、フラットベッドスキャナは、解像度が高いが、設置面積が大きく，読取速度が遅い，シートスキャナは設置面積が小さいが、シート形状のものしか読めない。デジタルカメラは立体物が撮れるが、文書などの高解像度の画像が撮れないし、書画カメラは解像度が高く、立体物を読み取れるものもあるが大掛かりな装置でコストが高いというように、一長一短があり、ユーザーのニーズを満たしていなかった。
【０００３】
非接触で文書を読むための発明としては、例えば特開平８−９１０２号（従来例１），特開平８−２７４９５５号（従来例２），特開平８−１５４１５３号（従来例３：ミラー）特開平８−９７９７５号（従来例４：ブックコピー），特開平１０−１３６２２ 号（従来例５：ホワイトボード），特開平９−２７５４７２ 号（従来例６アクティブ照明）に記載されている方法がある。
【０００４】
文献として紹介されているものでは、松山他、「多重フォーカス画像を用いたエッジ検出と距離 計測」，電子情報通信学会論文誌，Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，ｐｐ．１０４８−１０５８，１９９４，（文献１），児玉他、「焦点の異なる複数画像からの視差を含む任意焦点画像生成焦点外れ画像の生成を利用した全焦点画像の強調的取得」信学論Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．６，ｐｐ．１０４６−１０５３，１９９６／６，（文献２），Ｓｅｏｎｇ Ｉｋ ＣＨＯ ｅｔｃ．”Ｓｈａｐｅ Ｒｅｃｏｖｅｒｙ ｏｆ Ｂｏｏｋ Ｓｕｒｆａｃｅ Ｕｓｉｎｇ Ｔｗｏ Ｓｈａｄｅ Ｉｍａｇｅｓ Ｕｎｄｅｒ Ｐｅｒｓｐｅｃｔｉｖｅ Ｃｏｎｄｉｔｉｏｎ”，Ｔ．ＩＥＥ ＪＡＰＡＮ，Ｖｏｌ．１１７−Ｃ，Ｎｏ．１０，ｐｐ．１３８４−１３９０，１９９７（文献３）などがある。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来例では、略上方からの平面上の文書読み取りを前提としており（従来例１〜３）、また自由な位置からの読み取りができるわけではなかった。
【０００６】
また、キャリブレーションマーカを読み取り測定位置を補正（従来例５：ホワイトボード）する提案もあるが、操作が複雑であると言う問題があった。
【０００７】
また、センサから読取面の距離の測定も、観測物体を横から眺めるもの（従来例４：ブックコピー），アクティブ照明を用いるもの（従来例６：アクティブ照明），ステレオカメラを用いるものなどが提案されていたが、精度が悪かったり、コストがかかりすぎると言う問題があった。
【０００８】
また、得た距離データから、正面画像を再構成する提案（文献１〜３）もあるが、計算機によるシミュレーションで、実際の商品として実用化するためには処理速度を改善する必要があった。
【０００９】
本発明の目的は、折れ曲がった帳票や厚い本などの表面に書かれた文字などを操作性良く、高画質に読取可能な非接触型画像読取装置を提供することにある。
また、簡易で自由度の高い非接触型画像読取装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記問題点を解決するために、本発明は、画像を読み取る読取部と、その読取部の読取条件を変更する読取条件変更部と、変更された少なくとも２つの異なる読取条件で読み取った少なくとも２つの読取画像を記憶する記憶部と、記憶された少なくとも２つの読取画像を合成し、平面に展開する画像補正部とを有した構成にする。
【００１１】
このように読み取り条件を変更して読み取ることで、その画像の変位を解析し、距離を測定できる。その距離から平面へ展開できる。また、原稿の上部だけではなく、様々な角度からの読み取りが可能となる。従って、折れた帳票や厚い本などを押さえることなく高画質に画像を読み取ることが可能となり、自由度が高く、操作性の良い簡易な構成の非接触画像読取装置を提供できる。
【００１２】
また、本発明は、画像を読み取る読取部と、その読取部の読取条件を変更する読取条件変更部と、変更された少なくとも２つの異なる読取条件で読み取った少なくとも２つの読取画像を記憶する記憶部と、記憶された少なくとも２つの読取画像を合成し、平面に展開する画像補正部とを有するスキャナ部と、スキャナ部からの出力される画像補正信号を認識し、画像処理を行う画像処理部と、画像処理されたデータを表示する画像表示部と、画像処理されたデータを出力する画像記録部とを有したシステムとする。
【００１３】
このようなシステム構成を有することにより、さらに操作性が良く、高画質な画像の読取が可能になることはもちろんのこと、パソコン等の画像処理部や、スキャナ部等を直接接続できることから、机上等の接地スペースが小さく、簡易な非接触型画像読取システムを提供できる。
【００１４】
【発明の実施の形態】
以下、本発明の一実施例について図面を参照して説明する。
【００１５】
図１は本発明の一実施例である非接触型画像読取装置の機能ブロック図を示したものである。本発明の装置は、スキャナ１で、机上などに置かれた文書を読み込み、画像の補正を行った後、パーソナルコンピュータ２にデータ転送し、文字や図形の認識，画像の処理などを実施し、認識結果や対象画像をディスプレイ３や補助ディスプレイ４に表示し、必要に応じてプリンタ５に出力する。
【００１６】
本発明のスキャナ１は、読取部１０で画像を読み取り、ディジタル化し、入力メモリ１１に記憶する。この読み取りは、焦点位置制御部１７の信号に基づき焦点を変更させたり、読み取りのあおり角を変えるなど読取条件を変更し、複数回読取処理を実施し、入力メモリ１１には、複数枚の画像を蓄積する。ここで、焦点位置制御部１７では、あらかじめ光学系と原稿の置かれる位置関係から求まる適正な複数の焦点位置、あおり角を設定しておき、順次このパラメータを組み合わせ、ユーザーの読取指示に基づきパルスモータを用いてスキャンしていく。これは例えば、ユーザーが読取指示すると、原稿台に焦点が合った状態で行きのスキャンを実行し、次に原稿台から上方３センチメートルの位置に焦点が合った状態で帰りのスキャンを行うというような往復のスキャンによる読取処理を行うことができる。
【００１７】
この複数枚の画像を用いて、特徴点毎距離測定部１２にて、画像間の偏差を計算し、特徴点を抽出する。ここでは、読取条件によって画像が異なる部分を特徴点と読んでいる。この特徴点の画像の異なり方によって距離を計測する。
【００１８】
次に前記距離を用いて焦点補正係数計算部１３で、焦点位置による「ボケ」の補正を行い、テクスチャーマッピング部１５で焦点位置の近い画像の比率を大きくして画像の合成を行う。
【００１９】
次に、透視補正道程計算部１４で、読取時の幾何学補正，傾き補正，原稿が厚みを持っていたり、折れ曲がったりすることにより生じる画像歪みの補正量計算し、テクスチャーマッピング部１５で画像を変形補正し、補正画像をフレームメモリ１６に格納する。その後、パーソナルコンピュータ２にデータ転送する。
【００２０】
このような構成にすることにより、特別な距離測定センサを必要としないため低価格な装置が提供できるという効果がある。また、特徴点毎に距離を計測できるので、たとえば副走査読取方向に歪んでいる物体だけではなく、複雑に折れ曲がった帳票や三次元物体表面の読み取りが可能にできるという効果がある。また、複数の焦点で読み取った画像を用いて画像を合成するために、ノイズやボケの少ない画像を得られるという効果がある。また、幾何学補正と距離補正を同時に実行するため画質劣化の少ない画像を提供できるという効果がある。また、パーソナルコンピュータとスキャナを直接接続できるため、机上の設置スペースが小さいという効果がある。以下、各機能に関し、詳細に説明する。
【００２１】
図２は、本発明のスキャナ１のハードウエアブロック図を示したものである。先に説明した機能は、実際は図２の構成で実現する。処理範囲が大域的で、処理内容が単純で高速処理が必要な部分はハードウエアで、処理範囲が限定され、複雑であるが処理時間がかかっても良いものはＣＰＵ２０によるソフトウエアで実現する。対象の文書画像は、レンズ１７１を介して読取部１０のリニアセンサ１０１で光電変換し、入力メモリ１１に転送する。ＣＰＵ２０で距離計算，係数計算を実施し、テクスチャーマッピング部１５へパラメータを設定し、フレームメモリ１６へ処理後の画像を展開する。フレームメモリ１６は複数の領域に分割されており、ＳＣＳＩ等のインターフェイス部４０を経由して非同期にパーソナルコンピュータ２へ転送を可能としている。これらの処理の起動は、取り込みボタン１９９で起動指示する。
【００２２】
このような構成にすることにより、複雑な計算をＣＰＵ２０で、処理速度が必要な処理をハードウエアで実行できるため、低価格なシステムを提供できるという効果がある。また、フレームメモリ１６を用いて、スキャン処理とパーソナルコンピュータ２への読み出し処理を同期化する必要がなくなるため、ＳＣＳＩなど標準インターフェイスを利用でき、パーソナルコンピュータ２と直結できるという効果がある。
【００２３】
図３は、スキャナ１の外観図を示している。スキャナ１は、原稿台１７４上の原稿１７５をレンズ１７１を介して読むことが目的で、球形などの筐体に収められ、リニアセンサ１０１はパルスモータ１７９で駆動される可動部１７２上に取り付けられリニアセンサ１０１を移動することで副走査移動を実現している。ここで、読み取りが原稿の真上から読み取れば原稿とセンサの移動面は平行となるが、真上では利用者の邪魔になるし、設置も一般的に困難な場合が多いので斜め上方からの読み取りを行っている。このため、焦点位置を平面上にあわせるため、リニアセンサ１０１の移動は原稿に対し「あおり角θ」を有している。処理部のハードウエアは制御基板１８に搭載し同一筐体内に収められている。支持棒
１７３は、スキャナ１を固定しており、これに沿ってパーソナルコンピュータ２へのインターフェイスケーブルが敷設されている。このような構成とすることにより、原稿の真上に読取部がないため、利用者があやまって頭などを接触させる可能性が少なくなり操作性が向上するという効果がある。
【００２４】
図４は、読取部１０を含むスキャナ１の読取動作のフローを示している。取り込みボタンが押下されたら１００１、初期化が必要かどうか判定し１００２、必要であれば初期化を行う。初期化は、パーソナルコンピュータ２内のスキャナドライバを起動したり１００７、シェーディング波形を記憶したり１００８、読取位置を基準マークなどで正規化１００９する等である。正規化が済めば正規化終了をフラグとして記憶しておく。
【００２５】
次に、パルスモータ１７９を正回転１００３し、第１の焦点位置で読み取りを行う１００４。これで、原稿面上に焦点を合わせた画像を入力する。読取領域をスキャンしたら、今度は、パルスモータを逆転し１００５、第２の焦点位置にて読取１００６を行う。これで、厚みのある原稿を読めるよう焦点位置に調整しておく。必要に応じ、焦点位置やあおり角などの読取条件を変化させ画像を入力する。これらの画像から距離測定し、三次元補正１０１０を実施し、パーソナルコンピュータ２へデータ送信する１０１１。
【００２６】
このような構成とすることにより、往復で読取条件を違えて画像を読み取ることができ、距離測定のためのオーバーヘッドを削減できるという効果がある。また、取り込みボタンをスキャナに装着することでスキャナの読取位置を調整した直後に位置合わせ構成が可能となり操作性が向上できるという効果がある。
【００２７】
図５は、読取部１０の詳細ブロック図を示している。リニアセンサ１０１で原稿の光学的な信号を１ライン単位でアナログ電気信号に光電変換し、アンプ１０２で増幅し、Ａ／Ｄ変換器１０３でディジタルデータに変換し、歪み補正ＬＳＩ１０４にデータ転送する。歪み補正ＬＳＩ１０４は、あらかじめ白紙の画像データを歪み補正メモリ１０５に記憶しておき、読取時に読み出しながらシェーディング補正部１０７にて歪み補正を行う。次に、ガンマ補正部１０８でガンマメモリ１０６に記憶している変換テーブルに従いリニアリティーの補正を行う。このガンマメモリ１０６の内容は、センサで徐々に濃度を変化させたグレーチャートを読み取り、その信号から、濃度に比例した信号が出力できるように逆変換したテーブルを設定している。その後、ピーク値検出部１０９でライン内の最大輝度値をピーク値１１０として記憶し、ＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）１１１を経由して、ラインデータとともに入力メモリ１１に書き込む。ここでＤＭＡＣ１１１ は、処理したデータに対しメモリへの格納アドレスを発行し、所定領域にデータ書き込みを実行する。
【００２８】
このような構成とすることで、蛍光燈のチラツキをピーク値として取り込み、補正することができ、高精度な画像を得ることができるという効果がある。
【００２９】
図６は、シェーディング補正部１０７の原理を示している。シェーディング補正とは、たとえば白紙を読み取った信号を参照白レベルとして正規化する処理である。これは、原稿読み取りを行うと、中央部が明るく、周辺部が暗い、また、センサのドット毎に感度のバラツキを補正するために実施している。
【００３０】
図６（ａ）は原稿読取時の入力データＳｉを白紙読取信号であるシェーディングデータＰｉで補正する際の概念図である。Ｐｏは、正規化参照値で、最大レンジと考えて良い。正規化後のデータＳｏはＳｉ＊Ｐｏ／Ｐｉと表現できる。ここで１回の乗算と、１回の除算が発生するため、演算で処理すると時間がかかってしまう。このため、（ｂ）に示す、変換テーブルを用いて、１回のテーブル索引で補正を実施した。このテーブルは、入力データＳｉ，シェーディングデータ
Ｐｉに対して、結果Ｓｏをすべて計算し記憶しておけば、処理時は、入力データＳｉ，シェーディングデータＰｉの２つのパラメータでテーブルを検索するだけですむ。このような構成とすることで、除算器等大きな論理を用いることなく、高速に補正が実現できるという効果がある。
【００３１】
図７は、読取部１０の歪み補正メモリ１０５内の変換テーブルの構成を示している。図７（ａ）は、そのアドレスマップの一例を示している。例えば、８ビット／８ビットの除算結果を格納する６４ｋワードの除算テーブル領域（０−６４ｋワード）と、ライン毎の白画像の読取データを示すシェーディングデータを記憶する領域（６４ｋ−１２８ｋワード）に別れているとする。シェーディングデータの領域は、さらに細かく分割し、図７（ｂ）に示すように、副走査ブロック位置毎の波形を記憶している。たとえばシェーディング波形ＳＤ０は、読取開始ライン付近のシェーディング波形を示し、ＳＤ７は、読取終了ライン付近のシェーディング波形を三次元的に表示している。ＳＤ２〜ＳＤ５は、これらの中間位置のラインでのシェーディング波形を示している。これらの分割量は、事前に光学系の特性等から決定している。これにより、非接触読取のため、照明の当り方やレンズの特性などによりラインによって大きくシェーディング波形が異なっていることを補正している。図７（ｃ）では、テーブルアクセスのタイミングチャートを示している。このシェーディングデータ読み出しと除算テーブル検索は、５０ｎＳ単位で交互に繰り返され、１０ＭＨｚのセンサデータ入力に対応している。これらの複数のシェーディング波形は、読取ライン位置に応じて切り替えて読み出すことにより、読取ラインに近いシェーディング波形を用いて補正が可能になった。
【００３２】
このような構成とすることにより、複数のシェーディング波形を記憶し、これを切り替えて読み出すことにより、二次元的に光量分布となっている読取条件下でも、高精度な補正が実現でき、高画質な画像が得られるという効果がある。
【００３３】
次に、三次元補正の説明を行う。
【００３４】
図８は、三次元補正の特徴点毎距離測定部１２の概要を示した機能ブロック図である。入力メモリ１１内の複数の画像データＡ，Ｂを用いて、座標位置補正部１２１により座標位置の補正を行い、分散画像作成部１２２により画像間の偏差を検出するため分散画像を作成し、これから特徴点抽出部１２３により特徴点を抽出し、この特徴点に関して距離計測部１２４によって距離の計測を行い、特徴点毎の距離データＤを作成し、入力メモリ１１に格納する。
【００３５】
まず、座標位置補正部１２１は、焦点の変化に伴う、拡大縮小率の変化を補正する。これらを求めるには、あらかじめ作成した基準点列を、焦点を変化させて画像を読み取って、そのボケ特性，分散値などを比較しておけば、容易に特性を把握できる。次に分散画像作成部１２２は、複数枚の画像間の分散値を計算する。ここで分散画像は、複数の画像間の同じ画素位置での画素データの差を定量化するために用いている。具体的には、画像のデータ間の差を二乗したものと、画素のデータを二乗したものの差を比較することで定量化する手法である。次に特徴点抽出部１２３で、分散値を特定の閾値で比較すれば、容易に特徴点をこの分散画像データが、あらかじめ設定した閾値を越えるもの、つまり画像間の偏差の大きいものが特徴点として抽出できる。これは、たとえば浮き上がった紙片の端部などが候補としてあげられる。
【００３６】
このような構成とすることにより、読取条件が異なる複数の画像のみから、距離測定が実現でき、特殊な距離センサが不要にできるという効果がある。
【００３７】
図９（ａ）は、特徴点毎距離測定部１２内の距離計測部１２４の詳細なブロック図を示している。まず、特徴点の並びと直交する法線方向輝度変化直線を作成し１０２１、これらを用いて同じ輝度をむすんだ等輝度直線を作成し１０２２、焦点が結ばれる位置からのカメラからの距離を計算し１０２３、これらの位置関係から三次元の位置情報を計算する１０２４。図９（ｂ），（ｃ）光学系の焦点位置と原稿読取位置によって画像がどのように観測されるかを概念的に示した図である。ＰＡ，ＰＢは原稿を置く位置で、図示していない左側からこれらの原稿を読み取っている。図中の点線は光軸を示しており、実線は光束の一部を示しており、焦点位置で集約している。図９（ｂ）の、原稿が読取位置ＰＡに置かれており、光学系の焦点がＰＡの位置にあっている場合の画像で、白と黒の境界を読取画像１０２６のようにボケなく読み取ることができる。同じ焦点位置で、原稿がＰＢの位置にあった場合は、原稿の白と黒の境界が、ボケが発生し、読取画像は１０２５のように境界がはっきりしない画像となる。この場合は、読取画像１０２６をそのまま用いれば良い画像を得ることができる。図９（ｃ）は、焦点位置が原稿の読取位置ＰＢに近い点で焦点の合う場合を示しており、原稿の読取位置ＰＡでもＰＢでも、読取画像１０２７，１０２８のようにボケている。この場合は、これらの二つの読取画像１０２７，１０２８を用いて画像を合成することで高画質な出力画像を提供する。
【００３８】
このような構成とすることで、焦点の異なる画像から精度高く距離データを計測できるという効果がある。
【００３９】
次に、焦点補正係数計算部１３の機能に付いて詳しく述べる。
【００４０】
図１０（ａ）は、画像の高さ位置Ｚによって線のボケｆ（Ｚ）が、どのように変化するかの概念図である。ここでボケｆ（Ｚ）は、あらかじめ設定した閾値で分散画像を二値化した際の線の幅と考えられる。単位は画素のドット数である。第１の焦点位置の高さをＺ０（距離データ），第２の焦点位置の高さをＺ１とすると、第１の焦点位置での画像は実線でのグラフのようにボケ幅が変化し、単調増加となる。第２の焦点位置での画像は破線でのグラフのようにボケ幅が変化し、Ｚ１で最小値を取る二次曲線に似た形状になる。このグラフを用いて、複数の画像のボケ量から距離が推定できる。図１０（ｂ）は、副走査位置Ｙによる焦点位置Ｚ０，Ｚ１の変化の様子である。あおり角のある読取系のため、Ｚ０は、Ｙ位置に依存しないが、焦点位置を変化させるとＺ１は曲面を描いて変化する。このため、副走査位置Ｙに応じて距離計算の補正が必要である。
【００４１】
次に透視補正道程計算部１４に関して述べる。
【００４２】
図１１（ａ）は、透視補正道程計算部１４における道程計算の概念図を示している。これは、ある副走査位置における特徴点の距離データをマッピングした図である。本来は、前述したように二次元的に分布する特徴点（分散画像で変位が大きいと判定された点）のそれぞれに対し距離データＺを計算しているが、ここでは説明を簡単にするためＸ方向に関し距離データＺを丸印で示し、測定点の分布を表している。まず、この測定点を直線近似し、（ｂ）のように直線の端点Ｐ，Ｑ，Ｒ，Ｓ，Ｔのみを抽出し、道程距離としての端点間の距離を測定する。これは、たとえば端点間Ｐ，Ｑの距離は読取画像データ上ではＰ，Ｑ間の距離はＸ軸上に写像した形で観測されるが、実際は紙が傾いているため、短く見えている。これを紙上での端点Ｐ，Ｑの距離を、たとえば三平方の定理などを用いて測定することで道程を把握できる。この距離に基づいて、（ｃ）のように基準点Ｐ′を基に、それぞれの道程距離に応じて端点Ｑ′，Ｒ′，Ｓ′，Ｔ′のように、端点毎に展開した位置情報を引き継ぎながら、平面に並べて展開する。これは、三次元グラフィックスで用いられているテクスチャーマッピングの技術の適用が可能である。
【００４３】
図１２は、図１１を平面に拡張した概念図の一例を示す。図１２（ａ）のように折れ曲がった帳票を、上方から観測した場合、図１２（ｂ）のように見えるが、図１１で説明した二次元の道程計算を三次元に拡張し、距離情報に基づき道程計算し、平面に展開すると図１２（ｃ）のような合成画像が得られる。このようにすれば、折れ曲がった帳票や曲がった曲面に書かれた文字も、平面に押し付けて、正面から観測した合成画像を得ることができる。
【００４４】
図１３に、透視補正道程計算部１４の処理フローを示す。特徴点の距離データを入力し、図１１で説明したように、特徴点を直線近似１４０１し、不要な特徴点を削除した距離データを生成する。次に、図１２で説明したように、これらの特徴点が作る平面を近似作成する１４０２。これは近接する３点を選び、これから構成される平面と、上記３点の周辺特徴点の距離を計算し、あらかじめ設定した閾値よりも小さければ、上記平面に近似し併合するという処理を繰り返す。これらを三角形に近似しポリゴンとして記述し１４０３、その座標関係や接続関係の整合性をチェックし、修正し、距離データで作成した三次元モデルから二次元の原稿台平面へテクスチャーマッピングするための座標位置や拡大縮小率などの展開係数を計算する１４０４。
【００４５】
いわゆる、凹凸のある原稿の特徴点を直線近似し、傾きのある直線を道程計算し、平面に引き伸ばして、水平な凹凸の無い原稿を真上から読み取ったような状態に展開することを、ポリゴン毎に行い、高画質な画像とする。
【００４６】
このような構成とすることで、特徴点について求めた距離データを用いて画像を平面展開でき、折れ曲がった帳票や厚い本の表面でも正しく原稿を補正して読むことができるという効果がある。
【００４７】
次に、透視変換について述べる。本実施例では、透視変換を上述した透視補正道程計算部１４にて計算され、テクスチャーマッピング部１５にて実行される。これは、読み取りを文書の正面上方ではなく、斜め上方から読むため、近くは大きく、遠くは小さく観測される。これを正面から見たように変更するのが透視変換である。
【００４８】
図１４（ａ）は、透視変換の概念図を示している。正面から観測した画像を矩形ＰＢＣＱとすると、斜め上方から観測すると矩形ＡＢＣＤのように見える。辺ＡＤが近くの辺で、辺ＢＣが遠くの辺である。斜め読みの光学系は、遠くの辺でも読取解像度を保証できるように設計されるため、辺ＢＣを共通に揃えるとすると、辺ＡＤは、辺ＰＱに比べ長く、また、辺ＡＢも辺ＰＢに比べ長い。透視変換の目的は、観測した矩形ＡＢＣＤを矩形ＰＢＣＱに変換することにある。図１５（ｂ）は、変換のための変数定義を示している。辺ＡＤの長さをＳｒｃ＿Ｗｉｄｔｈ ，辺ＢＣの長さをＤｅｓｔ＿Ｗｉｄｔｈ，座標Ａと座標Ｂのｘ方向の差をＤｘ＿Ｌｅｆｔ ，ｙ方向の差をＤｙ＿Ｌｅｆｔとする。このハッチがかかった部分が読取領域である。
【００４９】
図１５は、透視変換のフローを示している。まず、入力メモリ１１内の読取領域の画像取り出しスタート位置を計算する１５０１。このスタート位置ｘｉは、始めはＡ点であるが、副走査ラインｙの関数であり、ｙ＊Ｄｘ＿Ｌｅｆｔ／Ｄｙ＿Ｌｅｆｔと表現できる。次にライン単位に長さをＤｅｓｔ＿Ｗｉｄｔｈ に揃える必要があるため、ライン毎に縮小率を計算する１５０２。これは、まず注目ラインの長さｘ＿ｗｉｄｔｈを計算する。これは、簡単な比例計算により、
ｘ＿ｗｉｄｔｈ＝（Ｄｅｓｔ＿Ｗｉｄｔｈ＋（（Ｓｒｃ＿Ｗｉｄｔｈ−Ｄｅｓｔ ＿Ｗｉｄｔｈ）＊（Ｄｅｓｔ＿Ｌｅｎｇｔｈ−ｙ） ／Ｄｅｓｔ＿Ｌｅｎｇｔｈ））
と表現できる。縮小率は、Ｄｅｓｔ＿Ｗｉｄｔｈ／ｘ＿ｗｉｄｔｈとなる。しかし、小数点を用いる計算は、時間がかかるので、実際の処理はＤＤＡ（Ｄｉｇｉｔａｌ Ｄｉｆｆｅｒｅｎｔｉａｌ Ａｎａｌｙｚｅｒ）を用いる１５０３。その後縮小処理を終了するか否かを判断し１５０４、否の場合は、再び上記工程を繰り返す。
【００５０】
このような構成とすることで、処理時間のかかるテクスチャーマッピング処理を簡単なハードウエアで実現でき低価格で高速な処理システムが提供できるという効果がある。
【００５１】
図１６は、テクスチャーマッピング部１５における画像合成の方式とハードウエア構成図を示している。図１６（ａ）は、計測されたレンズ位置から原稿の特徴点までの距離データＺによって、第１の焦点距離Ｚ０での画像ｇ０（Ｚ）と第２の焦点距離Ｚ１での画像とｇ１（Ｚ）の混合比率を表わすグラフである。Ｚ軸のＺ１からｇｎ（Ｚ）軸上の１までの破線は距離データＺに対する第１の焦点距離Ｚ１での画像ｇ１（Ｚ）の混合比率を示し、Ｚ軸のＺ０からｇｎ（Ｚ）軸上の０までの直線は距離データＺに対する第２の焦点距離Ｚ０での画像ｇ０（Ｚ）の混合比率を示している。焦点距離がＺ０にあっていれば、第１の焦点距離Ｚ０での画像ｇ０（Ｚ）だけを用いれば良く、焦点距離がＺ１にあっていれば、第２の焦点距離Ｚ１での画像ｇ１（Ｚ）だけを用いれば良い。もし、焦点距離がＺ０とＺ１の中間にあっていれば、第１の焦点距離Ｚ０での画像ｇ０（Ｚ）と第２の焦点距離Ｚ１での画像ｇ１（Ｚ）を半分ずつ用いれば良い。一般的にいえば、測定距離がＺｐであった際、第１の焦点距離での画像はｇ０（Ｚｐ）、第２の焦点距離での画像はｇ１（Ｚｐ）で混合することで、出力画像を生成している。
【００５２】
上記実施例では、２つの異なる焦点距離での画像を読み取り、画像合成した例を示したが、本発明は、２つのみだけではなく、複数、異なった焦点距離にて画像を読み取っても適応できる。複数の異なった読取条件である焦点距離にて、複数の画像を読み取った場合、望ましくは、実際の原稿のある焦点位置を挟む焦点距離２つを用いて上述したような画像合成を行うほうがノイズの少ない高画質な画像を得られる。
【００５３】
また、上記例では、読取条件に焦点距離を用いたが、あおり角θを用いて行っても上記と同様な効果を得ることができる。
【００５４】
図１６（ｂ）は、画像合成部のハードウエア構成図である。入力メモリ１１内の第１の焦点距離での画像１３０１を読み込み、画像１３０１のボケを補正するボケ補正フィルタ１３０４を通して、配分器１３０７で比率調整し、入力メモリ１１内の第２の焦点距離での画像１３０２を読み込み、画像１３０２のボケを補正するボケ補正フィルタ１３０５を通して、配分器１３０８で比率調整し、調整された２つの画像を加算器１３１０で合成し、ラッチ１３１１でタイミング調整し出力信号Ｇ＿Ｏｕｔ１３１２を出力する。ここで、ボケ補正フィルタ１３０４，
１３０５は、距離に応じて画像に生じたボケを修復するフィルタであり、一般的にはエッジ強調フィルタで代用が可能である。このフィルタの係数は、距離に応じて変化する必要があり、中心値と周辺値の係数を距離に応じて変化させることで実現している。このボケ補正フィルタ係数設定部１３０６のみならず、配分器の比率設定部１３０９はＣＰＵ２０で図１０，図１６（ａ）のテーブルに基づき計算され、バス１３０３を介して設定される。
【００５５】
このような構成とすることで、複数の画像をボケ修正した画像を距離に応じて合成することによりホワイトノイズを削減し、高画質な画像を合成できるという効果がある。
【００５６】
図１７は、テクスチャーマッピング部１５を実行するハードウエア構成を示す。画像合成部の出力信号Ｇ＿Ｏｕｔ１３１２ は、透視変換の縮小時にデータが失われないように多値データで平均化しながらデータを生成し出力データＭＷ＿ＤＡＴを得ている。これは、縮小率に応じて、入力データを配分器１３３１で比率調整し、加算器１３３２で合成する。この出力は入力データと同様配分器１３３３で比率調整し一時、記憶部１３３４で記憶し、加算器１３３２で蓄積加算する。図１４（ｂ）で示した変数パラメータは、図１７のレジスタ１３４１，１３４３，１３４５，１３５１，１３４９にセットすると、ハードウエア透視変換を実行する。まず、注目ラインの長さｘ＿Ｗｉｄｔｈ が格納されたレジスタ１３４３は、１ライン単位に、レジスタ１３４１に格納された変位ＤＸ＿Ｗｉｄｔｈ ずつ減算器１３４２で減算し作成する。これに対して、１クロック毎にＤＤＡ用の一時記憶レジスタＸ＿ＤＤＡ１３４８を用いてレジスタ１３４５に格納された出力長さＤｅｓｔ＿Ｗｉｄｔｈを加算器１３４６で加算する。ただし、レジスタＸ＿ＤＤＡ１３４８の出力からＸ＿Ｗｉｄｔｈを減算器１３４４で減算しレジスタＸ＿ＤＤＡ１３４８ を減算できれば、減算結果をセレクタ１３４７を介してレジスタＸ＿ＤＤＡ１３４８ にセットする。減算器１３４４のボローを制御信号Ｘ＿Ｓｋｉｐ として用いる。読み出し開始アドレスＸ＿Ｓｔａｒｔが格納されたレジスタ１３５１は、レジスタ１３４９に格納された１ラインごとの変位ＤＸ＿Ｓｔａｒｔずつ加算器１３５０で加算し、Ｘ方向カウンタＸ＿Ｃｏｕｎｔ１３５２へロードする。このカウンタは読み込みアドレスとして用いる。メモリへの書き込みアドレスは、他のメモリカウンタＭ＿Ｃｏｕｎｔ１３５５ を用いて出力されるアドレスＭＷ＿ＡＤＲを管理する。このカウントアップ制御をＸ＿Ｓｋｉｐを用いてコントロールすることで出力長さを均一に揃えることができる。
【００５７】
このような構成とすることで、ＣＰＵから数個のレジスタを設定するだけで透視変換機能付きテクスチャーマッピング処理が実現できるという効果がある。
【００５８】
図１８は、補正後のデータを受け取ったパーソナルコンピュータ２での処理の概要フローを示す。まず、受け取った多値データを二値化し２００２、認識処理２００３の後、ディスプレイ３に表示する。さらに認識できなかった文字などを、修正する２００４。このような構成とすることで、パーソナルコンピュータ２で二値化、ノイズ除去などの処理を行うことで、スキャナの処理を軽減し、トータルなシステムコストを低減できるという効果がある。
【００５９】
図１９は、二値化２００２の概念図（ａ）の一例と詳細フロー（ｂ）を示している。ここでの二値化は、背景濃度の影響を受けにくく、安定した二値化が可能な浮動閾値二値化方式を用いている。主走査方向ＸＷＩＮ画素，副走査方法ＹＷＩＮ画素のブロックで合計値を求め、これから平均値を算出する。ここで、計算結果を利用することで、処理時間を短縮している。つまり、図１９（ｂ）に示す通り、合計値ＳＵＭは、スティックＳｔｉｃｋ［ｘ］，Ｓｔｉｃｋ［ｘ−ＸＷＩＮ］を用いて、ＳＵＭ＝ＳＵＭ＋Ｓｔｉｃｋ［ｘ］−Ｓｔｉｃｋ［ｘ−ＸＷＩＮ］：４０６１と記述でき、スティクも同様に、Ｓｔｉｃｋ［ｘ］＝Ｓｔｉｃｋ「ｘ」＋ｐＩｍｇ［ｘ＋ｙ＿ｏｌｄ＿ａｄｒ］− ｐＩｍｇ［ｘ＋ｙ＿ｏｌｄ＿ａｄｒ］：４０６０と表すことができる。このため、ウインドウサイズに依存すること無く、１ウインドウにつき、４メモリアクセス，４加減算で合計値を求めることができる。この合計値に、係数をかけて閾値を作成し、入力値と比較することで二値化を実行する。
【００６０】
このような構成とすることで、ウインドウを移動しながら平均値を求める処理を、タイル形状に画像を分割し、このタイル内の平均値を求めて二値化する場合と同程度のメモリアクセス量で処理が実現可能となるという効果がある。
【００６１】
図２０は、スキャナ１の光学系の詳細構成の一実施例を示している。リニアセンサ１０１は、ブリッジ１７６，１７７でオピニオン１７８に接続され、レール１８３上を移動する。オピニオン１７８は、パルスモータ１７９で駆動され、正転，逆転させることでセンサを移動できる。レンズ１７１は、パルスモータ１８４でギア１８５を回転させることで前後させることができ、これにより焦点を調節する。リニアセンサ１０１の支持体１８２はパルスモータ１８０，ギア１８１によりあおり角を変化させることができる。ここでは、３つのパルスモータを用いたが、それぞれ同時に動く必要性はないため、一つのモータでクラッチを用いて構成することは可能である。また、処理部のハードウエアは制御基板１８に搭載し同一筐体内に収められている。
【００６２】
スキャナ部１を上述のように構成することで、あおり角、焦点距離を自由に制御できるため、スキャナ部をスタンドタイプのように読取距離を固定されることなく、自由な位置から読み取りすることができるという効果がある。この例では、リニアセンサ１０１を副走査方向に移動するスキャナ１を例に用いたが、リニアセンサ１０１は固定し、ミラーでスキャンを行うスキャナに適用も可能である。
【００６３】
図２１は、本発明の他の実施形態を示している。図２１（ａ）は、スキャナ１の可動支持体１９０１が腕のように自在に動く構造になっていて、原稿１７５を様々な角度から読み取ることが可能になっている。スキャナ１に備えている画像取り込みボタン１９９を操作することで、原稿台１７４上に形成された基準座標マーカ１９１３ａ〜１９１３ｄを用いて、あおり角，焦点位置を自動調節する。これは、基準座標マーカ１９１３ａ〜１９１３ｄを画像入力し、パーソナルコンピュータ２で基準位置を計算する。この位置が正しく読めるように、焦点位置とあおり角の変化をスキャナ１に指示し、再度画像入力し、これを繰り返す。このようにすれば、読取位置がどこであっても、正しく焦点の合った画像を入力することができる。図２１（ｂ）は、スキャナ１をパーティション１９１４にクリップなどで固定するタイプのものである。このような構成とすることで、机上のスペースを有効に利用できるという効果がある。
【００６４】
図２２は、本発明のスキャナ１をディスプレイ３と一体化させた一実施例である。ディスプレイ下部にセンサおよびセンサ筐体１９２０を取り付け、ディスプレイ上部に回転ミラー１９２１を取り付け、原稿台１７４上に置かれた画像を回転ミラー１９２１に反射させセンサ１９２０で読み取る。この時、キーボード
１９２３等の操作手段によって、原稿の読み取りを行う。このようにすることで、従来のフラットベッドスキャナのように場所を取ることなく、簡易に高速に画像入力ができるようになった。
【００６５】
図２３は、本発明のスキャナを携帯電話，ＰＨＳ，ＰＤＡなど携帯端末１９２５に適用した一実施例である。携帯端末１９２５の上部にセンサ１９２０を設け、そのセンサ１９２０から原稿台１７４に置かれた原稿を読み取る。斜めからの読み取りでも、歪みが補正できるため、従来のデジタルカメラのように正面から構えてとる必要がなく、手軽に画像入力できる。また、携帯電話等の持ち運び可能な小型な携帯端末に本発明の画像読取を適応すれば、環境にとらわれずに手軽に原稿等を読み取ることが可能となる。
【００６６】
更には、この携帯端末に外部との通信機能を有していれば、読み取った画像を他の携帯端末等に、簡易に高速に送信できる。
【００６７】
【発明の効果】
本発明によれば、折れ曲がった帳票や厚い本などの表面に書かれた文字などを操作性良く、高画質に読取可能な非接触型画像読取装置を提供できる。
【００６８】
また、簡易で自由度の高い非接触型画像読取装置を提供できる。
【図面の簡単な説明】
【図１】本発明からなる非接触型画像読取装置の一実施例を示す図である。
【図２】本発明のスキャナのハードウェアの一実施例を示す図である。
【図３】本発明からなる非接触型画像読取装置の外観図を示す図である。
【図４】本発明のスキャナによる読取動作を説明する図である。
【図５】本発明の読取部の一実施例を示す図である。
【図６】本発明の読取部のシェーディング補正部の原理を説明する図である。
【図７】本発明の読取部の歪み補正メモリの変換テーブルの一実施例を示す図である。
【図８】本発明の特徴点毎距離測定部の一実施例を示す図である。
【図９】本発明の特徴点毎距離測定部の距離計測部を説明する図である。
【図１０】本発明の焦点補正係数計算部の原理を説明する図である。
【図１１】本発明の透視補正道程計算部の二次元概念図の一例を示す図である。
【図１２】本発明の透視補正道程計算部の三次元概念図の一例を示す図である。
【図１３】本発明の透視補正道程計算部の処理手順を説明する図である。
【図１４】本発明の透視変換の原理を説明する図である。
【図１５】本発明の透視変換の処理手順を説明する図である。
【図１６】本発明のテクスチャーマッピング部の一実施例を示す図である。
【図１７】本発明のテクスチャーマッピング部のブロック図を示す図である。
【図１８】本発明のパーソナルコンピュータの処理手順を説明する図である。
【図１９】本発明のパーソナルコンピュータの二値化処理を説明する図である。
【図２０】本発明のスキャナの光学系の一実施例を示す図である。
【図２１】本発明からなる非接触型画像読取装置の他の実施例を示す図である。
【図２２】本発明からなる非接触型画像読取装置の他の実施例を示す図である。
【図２３】本発明からなる非接触型画像読取装置の他の実施例を示す図である。
【符号の説明】
１…スキャナ、２…パーソナルコンピュータ、３…ディスプレイ、４…補助ディスプレイ、５…プリンタ、１０…読取部、１１…入力メモリ、１２…特徴点毎距離測定部、１３…焦点補正係数計算部、１４…透視補正道程計算部、１５…テクスチャーマッピング部、１６…フレームメモリ、１７…焦点位置制御部、１８…制御基板、２０…ＣＰＵ、４０…インターフェイス部、１０１…リニアセンサ、１０２…アンプ、１０３…Ａ／Ｄ変換器、１０４…歪み補正ＬＳＩ、１０５…歪み補正メモリ、１０６…ガンマメモリ、１０７…シェーディング補正部、１０８…ガンマ補正部、１０９…ピーク値検出部、１１０…ピーク値、１１１…ＤＭＡＣ、１２１…座標位置補正部、１２２…分散画像作成部、１２３…特徴点抽出部、
１２４…距離計測部、１７１…レンズ、１７２…可動部、１７３…支持棒、１７４…原稿台、１７５…原稿、１７６，１７７…ブリッジ、１７８…オピニオン、
１７９，１８０，１８４…パルスモータ、１８２…支持体、１８３…レール、
１８１，１８５…ギア、１９９…取り込みボタン、１００１…取り込みボタン押下、１００２…初期化判定、１００３…パルスモータ正回転、１００４…第１の焦点位置読取、１００５…パルスモータ逆回転、１００６…第２の焦点位置読取、１００７…スキャナドライバ起動、１００８…シェーディング波形記憶、１００９…読取位置正規化、１０１０…三次元補正、１０１１…データ送信、１０２１…法線方向輝度変化直線作成、１０２２…等輝度直線作成、１０２３…距離計算、１０２４…位置情報計算、１０２５〜１０２８…読取画像、１３０１…第１の焦点距離画像、１３０２…第２の焦点距離画像、１３０３…バス、１３０４，１３０５…ボケ補正フィルタ、１３０６…ボケ補正フィルタ係数設定部、１３０７，１３０８，１３３１，１３３３…配分器、１３０９…比率設定部、１３１０，１３３２， １３４６，１３５０…加算器、１３１１…ラッチ、１３１２…出力信号Ｇ＿Ｏｕｔ 、１３３４…記憶部、１３４１，１３４３，１３４５，１３４８，１３４９，
１３５１…レジスタ、１３４２，１３４４…減算器、１３４７…セレクタ、１３５２，１３５５…カウンタ、１４０１…直線近似、１４０２…平面近似、１４０３…ポリゴン分割、１４０４…展開係数計算、１５０１…スタート位置計算、１５０２…縮小値計算、１５０３…ＤＤＡ縮小処理、１５０４…処理終了判断、１９０１…可動支持体、１９１３ａ〜１９１３ｄ…基準座標マーカ、１９１４…パーティション、１９２０…センサ、１９２１…回転ミラー、１９２３…キーボード、１９２５…携帯端末、２００２…二値化、２００３…認識処理、２００４…修正処理、
４０６０…スティックの更新、４０６１…合計値の更新、θ…あおり角、Ｓｉ…入力データ、Ｐｉ…シェーディングデータ、Ｐｏ…正規化参照値、Ｓｏ…正規化後データ、ＳＤ０〜ＳＤ７…シェーディング波形、Ａ，Ｂ…画像データ、Ｄ…距離データ、ＰＡ，ＰＢ…読取位置。

Claims (6)

1. 画像を読み取る読取部と、
   前記読取部の読取条件を変更する読取条件変更部と、
   前記読取条件変更部で変更された少なくとも２つの異なる読取条件で読み取った少なくとも２つの読取画像を記憶する記憶部と、
   前記記憶部で記憶した少なくとも２つの読取画像間の輝度値の偏差から特徴点を抽出する特徴点抽出部と、
   前記特徴点抽出部で抽出した特徴点周辺の輝度変化を用いてレンズから特徴点までの距離を測定する距離測定部と、
   隣接する特徴点間の距離を求める道程計算部と、
   平面補正後に隣接する特徴点間の距離を前記道程計算部で求めた距離に変換し、前記距離測定部で求めた距離と前記異なる読取条件の焦点距離に応じて前記読み取った画像の混合比率を計算し、合成画像を生成する合成部と、
   を有することを特徴とする非接触画像読取装置。
2. 請求項１の非接触型画像読取装置において、
   前記読取条件変更部の前記読取条件は、焦点位置、またはあおり角である非接触型画像読取装置。
3. 請求項１の非接触型画像読取装置において、
   前記読取条件変更部は、前記読取部の走査動作の往復で前記読取条件を少なくとも２つ変更する非接触型画像読取装置。
4. 請求項１の非接触型画像読取装置において、
   前記画像補正部は、前記読取部が、前記画像に対して斜め上方から読み取る場合、前記読取画像の歪みを補正する幾何学補正をする非接触型画像読取装置。
5. 近接する特徴点３点を結ぶステップと、
   前記特徴点３点で形成される平面を求めるステップと、
   前記特徴点３点の周辺の特徴点で前記平面との距離が所定の閾値よりも小さい場合、平面に属すると判定するステップと、
   上記ステップを繰り返すことで、距離データを持つ特徴点から複数の平面を作成し、これらの平面をポリゴンで近似するステップと、
   前記ポリゴン単位で平面修復処理を実施することを特徴とする請求項１記載の非接触画像読取装置。
6. 原稿上の画像を読み取る非接触画像読取装置において、
   前記合成部と平面に展開する画像補正部とを有するスキャナ部と、
   前記スキャナ部を支える支持部と、
   前記原稿を置く原稿台とを有し、
   前記原稿台に、前記原稿を置く目安となるマークを設けることを特徴とする請求項１記載の非接触型画像読取装置。

Images