JP4012710B2

JP4012710B2 - 画像入力装置

Info

Publication number: JP4012710B2
Application number: JP2001312986A
Authority: JP
Inventors: 貴史北口; 康弘佐藤; 智文北澤; 雄史長谷川; 青木　　伸
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-02-14
Filing date: 2001-10-10
Publication date: 2007-11-21
Anticipated expiration: 2021-10-10
Also published as: US7001024B2; JP2003078725A; US20020113946A1

Description

【０００１】
【発明の属する技術分野】
本発明は、画像入力装置に関し、詳細には、２次元だけでなく、３次元の画像をも容易に入力することのできる画像入力装置に関する。
【０００２】
【従来の技術】
近年、パーソナルコンピュータの処理能力が飛躍的に向上して、画像データを容易に操作できるようになるに伴って、オフィスでの文書作成等においても画像データが数多く使われ、画像データは非常に重要なものとなってきている。
【０００３】
このような状況下、どこにいても手元にある文書や物体の画像を画像データとして簡単に取り込みたいと言う要求が高まりつつある。
【０００４】
画像データを取得するツールとしては、スキャナとデジタルカメラがある。スキャナは、高解像度で紙面の画像を入力することはできるが、立体物やその表面の文字等を入力することができず、入力サイズにも制限がある。また、スキャナは、占有面積自体も大きく、持ち運びが困難である。一方、デジタルカメラは、上記の問題点は解決されるものの、比較的解像度が低いという問題がある。この問題を解決するため、デジタルカメラで被写体を分割撮影し、それら撮影画像を合成する方法がある。
【０００５】
ところが、分割撮影を行うことは、撮影者にとって負担が大きく、また、必ずしも自動で精度良く合成できるわけではない。この問題点の解決方法として、例えば特公平８−１３０８８号に開示された構成では、結像光学系と撮像光学系とを移動して画像を分割撮影し、そのように撮影された複数の分割画像を合成する。ここでは、２軸方向に撮像装置を回転し、被写体を分割撮影し画像合成することで高解像度化を実現する手段が提案されている。
【０００６】
また、従来、セパレータを検出して部分画像の撮影回数及び位置合わせのための画像間相関演算回数を少なくし、更に視点制御機構を備えることによって自動的に分割入力とその貼り合わせを実行して、高精細文書画像を獲得する文書画像入力装置（特開平９−１６１０４３号公報参照）が提案されている。すなわち、この文書画像入力装置は、図１に示すように、カメラ１００をカメラ制御機構１０１に取り付け、原稿に対して、カメラ位置を移動できるようにして、分割入力とその貼り合わせを容易に実現している。
【０００７】
又、読み取り面を上向きにした状態で本等の見開き原稿を取り込む装置としては特許第3063099号にて開示されている。この構成では、原稿面に所定角度で直線状の光を照射する光照射手段による照射画像を撮像することで、見開き原稿の曲がり具合を検出し、検出結果に基づき、曲がり具合を補正するものである。また、特開昭62-143557号公報では、前記曲がり具合の検出の代わりに原稿面との距離を検出し、前記曲がり具合を補正する構成が開示されている。
【０００８】
又、立体物の立体形状を計測する手法としては、対象物に対して所定のパターンを投影し、該パターン像の歪より三角測量を行う手法が一般的であり、一般的なカメラに適用するためにストロボをパターン投影手段として用いる方法がある（特開平2000-55636号公報参照）。
【０００９】
【発明が解決しようとする課題】
しかしながら、このような従来公報記載の技術による構成は、３次元情報を入力する機能を有していなかった。
【００１０】
今後、パーソナルコンピュータの処理能力はますます向上し、通常の画像データだけではなく、３次元情報を有する画像データ（３次元画像データ）を容易に扱えるようになり、オフィス業務に３次原画像が浸透すると考えられる。この時、文書や立体物の（２次元）画像に加えて、３次元画像も撮れることが望まれる。
【００１１】
又、従来、主に文書画像、書籍画像、立体物の画像の３種類の画像が撮影対象物とされている。この３種類の撮影対象では、ズーム倍率やパターン光照射の有無等の撮影条件を変える必要があるため、同一装置にて全撮影対象の撮影を実現できる画像入力装置における操作手段及び、該操作手段の改良に関する提案はなされていなかった。
【００１２】
そこで本発明は、分割撮影で被写体の立体形状を高分解能でかつ安価に撮影することのできる画像入力装置を提供することを目的としている。
【００１３】
更に、被写体に対して正対して画像を撮影することができず、画像に所謂あおり歪が発生する場合、特に、文書画像等にあおり歪が発生する場合にも、あおり歪補正を行って、正対した画像を得られるようにし、高分解能で高品質の画像を得ることのできる画像入力装置を提供することを目的としている。
【００１４】
又、机上で容易、安価、高分解能で紙面情報と立体形状などの画像情報を得ることを可能にすることを目的としている。
【００１５】
更に、立体形状の検出分解能を向上させることを目的とする。
【００１６】
そして、被写体が存在する場所を認識し、また、被写体が紙面なのか立体物なのかを自動的に識別することを可能にすることを目的とする。
【００１７】
更に、撮影領域を容易に知ることが出来る構成を提供することを目的とする。
【００１８】
そして、紙面を撮影するときに余分な光を与えず高品質な画像を得、投光による電力消耗を防ぐことが可能な構成を提供することを目的とする。
【００１９】
或いは、立体形状のみならず、３Ｄ画像を生成するための画像を取得できる構成を提供することを目的とする。
【００２０】
更に、パーソナルコンピュータ等を使用せずに被写体の立体形状を計測でき、画像そのものではなく立体形状データを保存することにより、記憶領域の節約することが可能な構成を提供することを目的とする。
【００２１】
そして、パーソナルコンピュータ等を使用せずに、直接、３次元画像データを配信できる構成を提供することを目的とする。
【００２２】
更に、被写体の全方位の立体形状を容易に得ることが可能な構成を提供することを目的とする。
【００２３】
或いは、紙面等の平面の被写体を撮影する紙面撮影モード、本等の見開き原稿を撮影する書籍撮影モード、及び立体形状を含む被写体像を撮影する立体物撮影モードのぞれぞれで撮影できる構成を提供することを目的とする。
【００２４】
又、更に、上記各撮影モードに対して、それぞれ撮像解像度を設定し、より詳細な撮影条件の設定ができるようにする構成を提供することを目的とする。
【００２５】
そして、更に、被写体の種類（紙面、書籍、立体物）を自動的に判定できるようにすることで、前記モード設定を自動で行えるような構成を提供することを目的とする。
【００２６】
又、３次元的な位置を計測する入力画像の画素数を増加し得る構成を提供することを目的とする。
【００２７】
更に、より高精度な立体形状データを得ることが可能な構成を提供することを目的とする。
【００２８】
更に、ノイズ（計測誤差による歪み）の少ない立体形状データを得ることを可能にする構成を提供することを目的とする。
【００２９】
【課題を解決するための手段】
本発明の画像入力装置は、被写体に撮影用の光を投光する投光手段と、前記投光手段から投光されている前記被写体を撮影する撮像手段と、前記撮像手段を支持する支持手段と、前記撮像手段を前記支持手段に対して相対的に移動させる移動手段と、を有し、前記被写体に前記投光手段から所定の投光パターンの光を照射して、当該投光パターンの歪を有する投光画像を前記撮像手段で撮影する画像入力装置であって、前記投光手段と前記撮像手段との相対位置が固定され、前記移動手段で前記撮像手段を相対移動させて、撮像位置の異なる複数の前記投光画像を当該撮像手段で撮影することを特徴とする。
【００３０】
上記構成によれば、被写体に撮影用の光を投光する投光手段と投光手段から所定の投光パターンの光が投光されている被写体を撮影する撮像手段との相対位置が固定され、撮像手段を支持する支持手段に対して撮像手段を相対的に移動させる移動手段で撮像手段を相対移動させて、撮像位置の異なる複数の投光画像を撮像手段で撮影するので、被写体の立体形状を被写体に照射されたパターン光で撮影することができるとともに、通常の画像を分割撮影する場合の移動機構と、パターン投光画像を分割撮影する場合の移動機構とを兼用することができ、分割撮影で被写体の立体形状を高分解能でかつ安価に撮影することができる。
【００３１】
この場合、前記画像入力装置は、前記投光手段と前記支持手段との相対位置が固定され、前記移動手段で前記撮像手段が移動されて、撮像位置の異なる複数の前記投光画像を前記撮像手段で撮影するものであってもよい。
【００３２】
上記構成によれば、投光手段と支持手段との相対位置が固定され、移動手段で撮像手段が移動されて、撮像位置の異なる複数の投光画像を撮像手段で撮影しているので、被写体の立体形状を被写体に照射されたパターン光で撮影することができるとともに、通常の画像を分割撮影する場合の移動機構と、パターン投光画像を分割撮影する場合の移動機構とを兼用することができ、分割撮影で被写体の立体形状を高分解能でかつ安価に撮影することができる。又、投光手段が固定されることにより、高精度なスリットパターン等を投光しても各スリットの投射角度を特定可能であり、立体形状計測の分解能を向上し得る。
【００３３】
また、前記画像入力装置は、前記撮像手段が、前記投光手段から前記被写体に投光されていないときの非投光画像を撮影するものであってもよい。
【００３４】
上記構成によれば、撮像手段で、投光手段から被写体に投光されていないときの非投光画像を撮影するので、立体形状にマッピングするテクスチャ画像が得られ、被写体の撮影から立体画像作成までを実施することができる。又、所謂３Ｄ画像も作成可能となる。
【００３５】
さらに、前記画像入力装置は、前記撮影時の前記撮像手段の位置を記憶する位置記憶手段をさらに備え、前記撮像手段で撮影された前記画像のあおり歪を前記位置記憶手段の記憶する位置データに基づいて補正するものであってもよい。
【００３６】
上記構成によれば、撮影時の撮像手段の位置を位置記憶手段に記憶し、撮像手段で撮影された画像のあおり歪を位置記憶手段の記憶する位置データに基づいて補正するので、被写体に対して正対して画像を撮影することができず、画像にあおり歪が発生する場合、特に、文書画像等にあおり歪が発生する場合にも、あおり歪補正を行って、正対した画像を得ることができ、高分解能で高品質の画像を得ることができる。
【００３７】
又、前記投光手段を動作させない第１の状態と動作させる第２の状態とを切り替える切り替え手段を更に有するようにしてもよい。
【００３８】
上記構成によれば、撮影画像の種類（平面、立体）に応じた切替えが可能となり、操作性が向上される。
【００３９】
更に、前記撮像手段で撮影領域を予備撮影するようにしても良い．
その結果、被写体の場所が予め認識でき、或いは被写体の種類（立体画像か平面画像か）を認識でき、適切な撮影条件を装置で自動設定して撮影可能となる。
【００４０】
又、前記撮像手段で前記被写体を撮影する前に、前記投光手段は撮影領域を指示する投光パターンを照射するようにしてもよい。
【００４１】
このように構成することによって、ユーザは予め撮影領域を認識でき、撮影の失敗を防ぐことが可能である。
【００４２】
更に、前記第１の状態では前記投光手段からの光を投光せずに前記撮像手段で撮影し、前記第２の状態では前記被写体に前記投光手段から所定の投光パターンの光を照射して当該投光パターンの歪を有する投光画像を前記撮像手段で撮影するようにしてもよい。
【００４３】
このように構成することによって、紙面と撮影する際には第１の状態とし、その場合投光は不要であるため、余分な光照射を行なわないようにすることができ、電力の節約が可能となる。
【００４４】
更に、前記第２の状態では、前記投光画像を前記撮像手段で撮影する前、あるいは後に、前記投光手段から前記被写体に投光されていないときの非投光画像を前記撮像手段で撮影するようにしてもよい。
【００４５】
その結果、立体形状のみならず、３Ｄ画像を生成するための画像データを取得可能となる。
【００４６】
そして、前記撮影手段による撮影画像から被写体の立体形状を計算する立体形状計算手段を有するようにしてもよい。
【００４７】
このように構成することによって、パーソナルコンピュータ等別途計算手段を使用せずとも被写体の立体形状を計測可能となり、又画像そのもののデータでなく、立体形状データを保存するようにすることにより、所要の記憶要領を節約可能となる。
【００４８】
更に、前記撮影手段による撮影画像と、前記立体形状計算手段によって得られた被写体の立体形状から、3次元画像を生成する３Ｄ画像生成手段を有するようにしてもよい。
【００４９】
このように構成することによって、パーソナルコンピュータ等別途計算手段を使用せずとも３Ｄ画像データを直接配信可能となる。
【００５０】
更に、撮影画像のあおり歪を補正するあおり補正手段を有するようにすることにより、装置自体であおり歪みの無い高品質な紙面画像データを提供できるようになる。
【００５１】
そして、前記支持手段が回動自在なように構成することにより、被写体の全方位の立体形状情報を容易に所得可能となる。
【００５２】
更に、本発明は、撮像手段と該撮像手段を支持する支持手段と被写体の立体形状を計測する立体形状計測手段とを有する画像入力装置において、
少なくとも紙面等のほぼ平面の被写体を撮影する紙面撮影モードと、本等の見開き原稿を撮影する書籍撮影モードと、立体形状を含む被写体像を撮影する立体物撮影モードの三つの撮影モード設定を有し、該撮影モードに応じて異なった撮影条件で撮影可能な構成を含む。
【００５３】
そして、各撮影モード設定において、更に前記撮像手段に複数の撮像解像度設定を有するようにしてもよい。
【００５４】
その結果、より詳細な撮影条件の設定が可能となる。
【００５５】
又、前記立体形状計測手段による立体計測結果より、被写体の特徴を判定する被写体判定手段を具備し、該被写体判定手段の判定結果によって前記３つの被写体に対応する撮影モードを自動的に選択して動作させる撮影モード自動選択手段を有するよう構成してもよい。
【００５６】
そのように構成することによって、操作者が撮影モード選択操作を行なう必要がなくなり、操作性の向上が可能である。
【００５７】
また、移動手段で撮像手段を微小に移動させることにっよって、撮像位置が微小距離異なる複数の前記投光画像を当該撮像手段で撮影する構成としてもよい。
【００５８】
その結果、被写体上の微小距離位置の異なる複数の画素データ（３次元計測点）を得ることが可能となる。
【００５９】
更に、前記複数の投光画像の各々から得られた立体形状データを合成し、合成立体形状データを生成する合成手段を更に有する構成としてもよい。
【００６０】
その結果、より高精細な立体形状データを得ることが可能となる。
【００６１】
【発明の実施の形態】
以下、本発明の好適な実施の形態を添付図面に基づいて詳細に説明する。なお、以下に述べる実施の形態は、本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
【００６２】
図２乃至図６は、本発明の画像入力装置の第１の実施の形態を示す図であり、図２は、本発明の画像入力装置の第１の実施の形態の外観構成図である。
【００６３】
図２において、画像入力装置１は、撮像部２、投光部３、移動部４、支持部５、投光スイッチ６、撮影スイッチ７を備えており、撮像部（撮影手段）２は、移動部（移動手段）４を介して支持部（支持手段）５によって支持されている。
【００６４】
画像入力装置１は、撮影スイッチ７が押されると、支持部５の設置されている机などの面上にセットされている被写体１０を撮像する機能を有する。
【００６５】
撮像部２は、移動部４により上下、左右にその撮影光軸を移動させることができ、被写体１０を分割して撮影することができる。分割して撮影する場合は、撮像部２の撮影画角を狭めて撮影するため、被写体１０の撮影解像度が向上することになる。
【００６６】
投光部３は、投光スイッチ６が押されると、被写体１０上に投光パターン１１を照射する。
【００６７】
選択スイッチ８は、本画像入力装置１を第１の状態にするか第２の状態にするかを選択するためのスイッチである。ここで、この第１の状態では紙面等の平面を撮影出来、第２の状態では立体形状の３Ｄ（３次元）情報を得ることが出来るものである。
【００６８】
そして、被写体１０を撮影するときには、まず、投光スイッチ６を押すことにより、投光部３が撮影可能な領域を照らす。
【００６９】
このときの投光パターン１１は、矩形状であることが望ましいが、撮影領域が分かるようなものであれば、特に明確な形状を有していなくてもよい。投光部３が、投光パターン１１を拡大縮小できる光学系を有していれば、投光領域の大きさを自由に変えることができる。この動作により被写体１０を置くべき場所が示される。
【００７０】
被写体１０を置いた後に、撮影スイッチ７を押すと、撮像部２が、被写体１０の画像を撮影する。
【００７１】
前記投光は、一定時間後に自動的に終了してもよいし、撮影スイッチ７が押されたときに終了してもよい。また、投光は、撮影時の照明として、撮影が終了するまで照射を続行してもよいし、さらに、撮影スイッチ７が押された時点で、一端照射を中断し、撮影時に再び照射してもよい。
【００７２】
そして前記第１の状態にあるときには、投光部１０からの３Ｄ計測用投光パターン（後述）は照射せずに撮影し、第２の状態にあるときは、投光部１０からの３Ｄ計測用投光パターンを照射して撮影する。また、第１の状態であっても、撮影時の照明として、撮影が終了するまで投光部１０から照明用投光パターンを照射しても良い。この照明光は、撮影領域を示す投光と同じものを用いても良く、前記の如く撮影領域の投光から撮影終了まで継続して投光してよいし、さらに、その間に投光を一端中断し、撮影時に再び投光（照明）しても良い。
【００７３】
また、撮影の前に、撮影領域全体を撮影する予備撮影を行っても良い。これにより、画像入力装置自体が自動的に被写体の場所を認識でき、次の本撮影時には、そこを撮影領域とすることが出来る。
【００７４】
被写体１０は、支持部５が設置されている面上にある場合に限られるわけではなく、例えば、机の正面の壁を撮影することもできる。また、撮影した画像を転送するために、パーソナルコンピュータ等とのインターフェイスを有していてもよい。
【００７５】
上記撮像部２は、図３に示すように、レンズ２１、絞り機構２２、撮像素子２３、相関二重サンプリング回路（ＣＤＳ）２４、Ａ／Ｄ変換器２５、タイミングジェネレータ（ＴＧ）２６、画像前処理回路（ＩＰＰ）２７、メモリ２８及びＭＰＵ（マイクロプロセッシングユニット）２９等を備えており、被写体１０の像は、レンズ２１、絞り機構２２によって、撮像素子２３上に形成される。又撮像素子２３からの画像信号は、相関二重サンプリング回路２４でサンプリングされた後、Ａ／Ｄ変換器２５でデジタル信号化される。このときのタイミングは、タイミングジェネレータ６で生成される。画像信号は、その後、画像前処理回路２７でアパーチャ補正などの画像処理、圧縮などが行われて、メモリ２８に保存される。各ユニットの動作は、ＭＰＵ２９で制御され、投光部３も、ＭＰＵ２９によってその投光のタイミングが制御される。
【００７６】
上記第１の状態において被写体１０を高解像に撮影する場合は、撮像系の画角を狭くし、図４に示すように、複数の位置で撮影、すなわち分割撮影する。この場合、被写体１０の全ての部分が分割画像のいずれかとして撮影されるように撮影することが望ましい。分割撮影は、撮像部２を移動部４を用いて移動することにより行う。図４の場合、第１画像と第２画像を撮影し、これを合成して一枚の画像を生成する。ただし、合成処理は通常多大な計算リソースを要するため、外部のパーソナルコンピュータ等へ転送して実行するものとしてもよい。
【００７７】
このようにして分割画像を撮影した後にこれらの分割画像を合成するが、簡単のために、２枚の分割画像を合成する場合について説明すると、いま、図４の第１画像上の点と第２画像上の点の座標位置を、それぞれ（ｕ_１，ｖ_１）、（ｕ_２，ｖ_２）とすると、被写体１０が平面の場合、両者には以下の関係が成り立つ。
【００７８】
【数１】

ここで、上式（３）で示すＨは、射影変換行列であり、画像が撮影される二つの位置関係が同じ場合、この関係は一定である。したがって、予め既知の組（ｕ_１，ｖ_１）、（ｕ_２，ｖ_２）からｈ_１乃至ｈ_８を算出すればよい。
【００７９】
上記式（１）、式（２）を用いることにより、第２画像の各点について、第１画像を撮影した位置において撮影された場合の位置を算出することができるため、第１画像を基準とし、第１画像上に第２画像の画素をマッピングすることができる。なお、分割画像が三枚以上の場合も、例えば、第１画像と第ｎ画像との射影変換行列を予め算出しておくことで、同様の方法で順次合成していくことができる。
【００８０】
上記方法で画像を合成する場合であっても、一枚の画像で被写体を撮影する場合であっても、例えば図５に示すように、台形状の歪（あおり歪）が生じることがある。このあおり歪を適宜補正して、図６に示すように、正対した画像を生成するためにも、上記方法を適用することが可能である。すなわち、被写体１０に正対した位置での正対画像を基準とし、正対画像と斜め状態での撮影画像との間の射影変換行列を予め求め、この射影変換行列を用いて実際に撮影された各画素を再配置すればよい。
【００８１】
この処理は本装置内部で実行させてもよいし、或いは外部のパーソナルコンピュータ等へ画像情報を転送してそこで実行させても良い。
【００８２】
次に、この第１の実施の形態の画像入力装置１の前記第２の状態における動作を図７乃至図１０に則して説明する。
【００８３】
図７は、上述の本画像入力装置が上記第２の状態にある際の画像入力装置１の撮像部２と投光部３部分のブロック図である。
【００８４】
図７に示す如く、この状態では投光部３にフィルタ３１が設けられており、投光部３から照射される光をフィルタ３１を通すことにより、特定のパターン光を生成する。このフィルタ３１によるパターン光としては、図８に示すような縞模様３２が考えられるが、他のパターン光であってもよい。
【００８５】
いま、パターン光として、縞模様を用い、図８に示すように、このパターン光３２を被写体３３に照射し、パターン光３２の照射されている被写体３３を撮像部２で撮像すると、歪んだパターン光３２’が撮影される。この歪の程度から三角測量の原理によって被写体３３の表面上の各点の３次元的な位置を検出することができる。
【００８６】
すなわち、投光部３からのパターン光（のうちの一本のスリット光）が照射された部分の像は、図９に示すように、撮像部２の撮像素子２３上の点（ｕ，ｖ）で結像される。ここで撮像部２の光学中心を原点とする座標系を定義すると、スリット光が照射された被写体３３上の奥行き距離ｚは、次式（４）で表すことができる。
【００８７】
【数２】

ここで、θ_１は、パターン光を照射した角度であって既知であり、θ_２は、被写体３３から撮像素子２３へのパターン光の反射角度であって、次式（５）で与えられる。
ｔａｎθ_２＝ｖ／ｆ・・・（５）
また、ｄは、投光部３の中心から撮像素子２３の中心までの距離であり、ｆは、撮像部２の焦点距離である。
【００８８】
式（４）で、ｚが求まると、次式（６）、（７）によりｘ、ｙが求まる。
ｘ＝（ｕ／ｆ）×ｚ・・・（６）
ｙ＝（ｖ／ｆ）×ｚ・・・（７）
したがって、被写体３３上の点の３次元位置が求まる。これを様々な点に対して求めることにより、被写体３３の立体形状が求まることになる。
【００８９】
そして、撮像部２で、パターン光３２を照射していない状態の被写体３３の画像を撮影し、その撮影画像を上述の如くに求められた立体形状データにマッピングすることにより、立体画像を生成することもできる。この場合、被写体にパターン光が投光された状態の投光画像を撮影する前か或いはその後に、パターン光を照射していない状態の被写体の画像を撮影する。また、被写体３３を分割撮影し、各部分の立体形状を計測して、後にそれら形状データを合成して、被写体３３全体の立体形状を求めてもよい。この合成処理は本装置内部で実行させても良いし、或いは外部のパーソナルコンピュータ等へ画像情報を転送して実行させても良い。更に又、メモリ２８にこのようにして求めた立体形状情報を記録しても良い。
【００９０】
又、分割撮影の前の予備撮影として、撮影領域全体の立体形状を上述の如くの方法（縞模様のパターン光を利用）で求めておいても良い。このようにすることによって、予め被写体が紙面等の平面なのか立体物なのかを装置自体で認識できるため、その時点で自動的に上記第１又は第２の状態に切替えるように構成することが可能となる。
【００９１】
次に本発明の第２の実施の形態について説明する。本実施の形態は、上記第１の実施の形態の画像入力装置１と同様の画像入力装置であり、上記第１の実施の形態と同様の構成部分には、同一の符号を付して、その詳細な説明を省略する。
【００９２】
上記第１の実施の形態においては、スリット光（パターン光３２）が複数本照射されているため、個々のスリット光の照射角度θ_１を特定することは一般に困難である。これを確実に特定する方法として、第２の実施の形態では、被写体３３の奥行き距離を制限することにより、あるスリット光３２の画像上での可動範囲を限定し、その可動範囲が両隣のスリット光３２の可動範囲と重ならないようにすることによってスリット光３２の照射角度を確実に特定する。ところが、この場合、スリット光３２同士の間隔を十分に取る必要があり、被写体３３上の３次元位置を計測する点を、十分な密度分確保することができない可能性がある。
【００９３】
そこで、図１０に被写体３３とそれに照射されたパターン光３２を、投光部３から見た図として示すように、最初に、図１０（ａ）の状態で計測し、次に、図１０（ｂ）に示すように、パターン光３２を形成するスリット（縞模様）を半ピッチずらした状態で計測するようにすることによって、倍の密度で計測することができるようになる。この場合、パターン光３２を形成するスリットをずらすピッチを狭くして撮影枚数を増やすことにより、計測密度を増すことができる。また、この場合、投光部３は撮像部２とともに移動するようにしてもよいし、撮像部２と独立して動くようにしてもよい。前者の、投光部３を撮像部２とともに移動するようにした場合、撮像部２に対する被写体３３の位置も変わるが、その移動量は既知であるため、被写体３３の移動量を用いて補正することができる。
【００９４】
上記において、撮像部２と投光部３の相対位置が固定された場合について、さらに詳しく説明する。例えば、図２２に示すような三角柱を被写体として、その立体形状を入力する場合、まず、前述した方法でパターン光を照射することにより、図２３に示すような３次元空間上の点群を得ることができる。図２３の丸印が、その位置が計測された点を夫々示す。次に、移動部４により撮像部２および投光部３の位置を僅かに動かすことにより、被写体（三角柱）と、撮像部２ならびに投光部３との位置関係を変化させる。そしてその位置から同様に得た３次元空間上の点群は、例えば図２４に示す如くとなる。そして最初の撮影位置と第２回目の撮影位置との間の相対位置関係は、周知の如く、最初の撮影位置を基準として回転行列R及び並進ベクトルTを用いて表すことが可能である。
【００９５】
例えば最初の撮影位置で得られた点の３次元位置を
【００９６】
【数３】

とすると、これを基準として、対応する、第２回目の撮影によって得られた点の３次元位置は
【００９７】
【数４】

として表すことが出来る。
【００９８】
そして、両方の３次元位置データを合成すると、図２５が得られる。これにより、より高精細に被写体上の点の３次元位置を計測したことになる。これを用いて、ポリゴンを形成し、テクスチャ画像を各ポリゴンにマッピングすることにより、より高精細な３次元画像を生成することができる。
【００９９】
このように、投光部３を微小距離分移動し、その前後の位置のそれぞれにおいて投光パターンが投射された画像を撮影することにより、被写体表面上の３次元位置を計測する点を増加させることが可能となる。その結果、より高精度に３次元位置を検出可能である。又、そのようにして得られた３次元位置データを合成することによって、より高精細な立体形状データを生成することが可能となる。
【０１００】
また、例えば、同じ被写体の計測の結果、この合成された３次元位置データが例えば図２６に示される如くになったとする。このとき図中の点Aは、何らかの計測誤差によって誤って測定された点である。これを残しておくと、そのデータを含んだ３次元位置データによって３次元画像を生成したときに、違和感のある画像ができてしまう。そこで、それを除去、あるいは修正するよう構成することが望ましい。
【０１０１】
この除去方法および修正方法として、例えば、まず各測定点の近傍の測定点のデータを用いた移動平均を取る。図２６中の破線がそのようにして移動平均によって得られたデータを示す。そして、その平均値と元の測定点との間の距離が所定のしきい値以上の場合、その測定点を除去、あるいは更にその位置に対応する上記平均値による点を新たな測定点として置き換える。或いはこれ以外の方法として、測定点のうちの異なる二つ以上の近接点との間の距離がしきい値以上の場合に、その測定点を除去、又は上記の如く置き換える構成としても良い。
【０１０２】
このように、外光などの要因で、被写体表面上の点の３次元位置の測定に誤差が生じた場合、測定点が少ない状態ではその誤差（誤った測定点）を見つけるのは容易ではないが、上述の如くに構成することによって被写体表面の高密度な３次元位置データが得られるため、測定の誤った誤差データ（誤った測定点）を抽出し、除去あるいは修正しやすくなる。これにより、３次元位置の誤った点から３次元画像を生成することにより生じるノイズが除去可能となり、生成画像における違和感をなくすことができる。
【０１０３】
図１１乃至図１３は、本発明の画像入力装置の第３の実施の形態を示す図である。なお、本実施の形態は、上記第１の実施の形態の画像入力装置１と同様の画像入力装置であり、上記第１の実施の形態と同様の構成部分には、同一の符号を付して、その詳細な説明を省略する。
【０１０４】
図１１は、本発明の画像入力装置の第３の実施の形態の投光部３部分の構成図である。
【０１０５】
図１１において、投光部３は、支持部５（図２参照）に対して固定されており、被写体の計測は、撮像部２の位置を移動させた２枚の画像（第１画像と第２画像）を用いる。図１１において、投光部３から被写体に照射された複数のスリット光のうち一つの、第１画像上での像の位置をＸとする。この点Ｘに相当する被写体の位置の候補を算出することが可能で、例えば、点Ａ１、Ｂ１、Ｃ１であるものとする。これらの点の第２画像上での位置も計算で求めることができる。その位置を図１２に示す（Ａ２，Ｂ２，Ｃ２）。これら被写体位置候補の中で、正しいものは、第２画像上でもスリット光の像上にあるはずである。したがって図１２の例では、Ｂ２が実際の被写体上の点ということになる。このように２枚の画像を利用することによって個々のスリット光の照射角度を確実に特定することが可能であり、このように構成することによって、撮影枚数を増やすことなく、充分な密度で３次元形状を計測することができる。
【０１０６】
また、立体形状を計測する際、投光部３において、撮影領域を指示するための投光と、立体形状を計測するときの投光（スリット光等）とで、そのパターンを変えてもよい。また、立体形状を計測する場合（スリット光等）でも、所望の解像度に応じてパターン光の（スリット等の）密度を変えてもよい。これらの場合、図１３に示す如く、複数種類のパターンが形成されたフィルタ４０を用意し、パターンを他の種類のものに変えるときに、それらを切り替えるようにすればよい。このパターンの切り替え方法としては、図１４に示すように、歯車４１の回転によってフィルタ４０のパターンが切り替わる切替機構４２を用いることができる。
【０１０７】
さらに、上述のように、本実施の形態の画像入力装置１では、文書紙面等の平面を撮影するのか、立体形状を計測するのかで、撮影時の動作が異なり、また、撮影解像度や撮影対象物の大きさによっても分割撮影の仕方やズーム倍率が異なる。そこで、これらの項目を入力できる操作ボタンを用意し、また、現在の設定状態や設定可能な状態を表示するため表示装置を用意することによって、画像入力装置１の利便性をより一層向上させることができる。
【０１０８】
図１５（ａ）は、本発明の画像入力装置の第４の実施の形態を示す図である。なお、本実施の形態は、上記第１の実施の形態の画像入力装置１と同様の画像入力装置であり、上記第１の実施の形態と同様の構成部分には、同一の符号を付して、その詳細な説明を省略する。
【０１０９】
立体物を撮影する場合、様々な方向から観た画像を撮影することによって、所謂「３Ｄ画像」として記録したい場合が多い。しかしながら、以上で説明したように、上方からの撮影の場合、いくつかの方向から観た画像を得ることに煩わしさがある。第４の実施の形態は、そのような問題点を解消するための構成である。
図１５（ａ）は本画像入力装置を横から見た図である。支持部５を構成する支持柱５１を、図１５（ｂ）に示す如くに倒すことにより、撮像部２でほぼ水平方向を撮影できるようになる。そして、例えば図１５（ｂ）に示す如く、被写体５２をターンテーブル５３上に乗せ、自動あるいは手動で回転させることによって、いくつかの方向から観た被写体画像を撮影することが可能となり、各方向から見た３Ｄ画像を合成して、全方位から観ることのできる３Ｄ画像を生成することできる。
【０１１０】
次に本発明の第５の実施の形態について図１６及び図１７に即して説明する。
【０１１１】
本発明の第５の実施の形態の画像入力装置は、撮像部１１５と、撮像部内に設けられた電源スイッチ１１４と撮影レンズ１２１、立体形状を計測するために所定のパターン光を照射するためのパターン投光部１２２、前記撮像部１１５を支持するための支持柱１１６a、支持柱１１６ａを固定するための支持ユニット１１６b、支持ユニット１１６ｂに設けられた制御ユニット１１７と前記支持ユニット１１６ｂ上に設けられた入力指示スイッチ１１３、撮影モードを設定するための撮影モード設定スイッチ１２３等により構成される。
【０１１２】
制御ユニット１１７は、MPU（Micro Processing Unit）１１２とハードディスク、半導体メモリ等の記録媒体１１１、インターフェース１１８等により構成され、前記撮像部１１５の動作制御、撮像部から転送された画像データの画像処理や編集、記録等を行い、外部機器へインターフェース１１８を介して接続され、外部機器との通信を行なう。インターフェース１１８としては、PC用の汎用インターフェース、例えば、RS-232C、USB(Universal Serial Bus)、IEEE1394、ネットワークアダプタ、IrDA(Infrared Data Association)を用いることが出来る。
【０１１３】
図１６において、被写体１１９の像は、固定レンズ１０１、ズームレンズ１０２（以上撮像レンズ）、絞り機構１０３、フォーカスレンズ１０５を通して、シャッタ１０４により露光時間が制御され、撮像素子１０６上に形成される。撮像素子１０６からの画像信号はCDS（Correlated Double Sampling）（相関二重サンプリング）回路１０７でサンプリングされた後、A/D変換器１０８でデジタル信号化される。この時のタイミングはTG（Timing Generator）１０９で生成される。画像信号はその後、IPP（Image Pre-Processor）１１０でアパーチャ補正などの画像処理、圧縮などを経てメモリ１１１に保存される。各ユニットの動作は、MPU１１２にて制御される。画像記録は、前記支持ユニット１１６ｂ上の前記入力指示スイッチ１１３の操作により行うようにする。
この撮像部１１５では、パターン投光部１２２によって被写体１１９上に投射されたパターンの歪具合を撮像することで、立体形状を算出できる。立体形状の算出は、上述の如く、第１８図に示した如くの三角測量の原理に基づいて行う。即ち、投光部１２２からのスリット光（パターン光）が照射された部分の像は、撮像素子１０６上の点(u.v)で結像される。撮像部１１５の光学系の光学中心を原点とする座標系を定義すると、個々のスリット光が照射された被写体上の奥行き距離は上記式（４）で表される。
【０１１４】
ここで、θ_１はスリット光を照射した角度であり既知である。また、θ_２は、上記式（５）で表される。ｆは撮像部１１５の光学系の焦点距離である。
【０１１５】
zが求まると、上記式（６）、（７）によりx、yが求まる。
【０１１６】
以上により、被写体上の各点の立体位置が求まる。これを様々な点で求めることにより、被写体の立体形状が求まることになる。
本発明の第５の実施の形態は、このように立体形状を計測できる撮像部１１５において、前記撮影モード設定スイッチ１２３で、紙面撮影モード、書籍撮影モード、及び立体物撮影モードをそれぞれ設定し、各々の設定モードに応じて異なった撮像動作を行うようにするものである。以下、第１９図の動作フローチャートを用いて、詳細に説明する。
【０１１７】
紙面撮影時には、紙面撮影モードが選択され(ステップS1-1、以下「ステップ」の語を省略する)、入力が指示されると(S1-2)、画像取り込みが開始され(S1-3)、所定の撮像動作が実行され、画像取り込みが終了する(S1-4)。このようにして取り込まれた画像について、レンズの歪曲補正が施され(S1-5)、画像情報がメモリ１１１に保存される(S1-6)。前記S1-5は、前記レンズの歪曲補正に限らず、汎用のデジタル画像処理（濃淡補正、２値化処理、スキュー補正等）を行うようにしても良い。紙面撮影モードでは、撮像部１１５による撮像動作を行うが、パターン投光部１２２を使用した立体形状の計測等は行わない。
【０１１８】
次に書籍撮影時には、書籍撮影モードが選択され(S1-7)、入力が指示されると(S1-9)、光源用コンデンサ(不図示)への充電等のパターン光（スリット光等）照射のための準備が行われ(S1-9)、前述の如くのパターン投光部１２２によるパターン投射を伴った画像取り込みが開始され、これが完了(S1-10,S1-11)される。ここで得られた画像におけるパターン光の位置情報より、上述の如くの方法によって被写体の立体形状が算出され，これによって本（書籍）の湾曲形状を算出する(S1-13)。
【０１１９】
次に、パターン投光部１２２を使用したパターン光の照射モードが解除され（S1-15）、テクスチャ画像（即ち本来の被写体の画像）の取り込みが開始され、これが完了される(S1-15,S1-16)。このようにして取り込まれた画像情報に対してレンズの湾曲補正が施され(S1-18)、前記S1-13による湾曲形状の算出結果より、テクスチャ画像の歪が補正され(S1-18)、平面に投影する処理がなされ、その結果が保存される(S1-19)。
【０１２０】
次に立体物撮影時には、立体物撮影モードが選択され(S1-20)、以降レンズの歪補正(S1-29,S1-30)までは、前記書籍撮影モードと同様の処理がなされる。パターン投光部１２２を使用して得られたパターン光の位置情報により、立体形状が算出され、このようにして得られた立体形状にＳ１−２８、Ｓ１−２９で取り込まれたテクスチャ画像がマッピングされ(S1-32)、もって立体情報を有する画像データが合成される。このようにして得られた画像データは、例えばVRML(Virtual Reality Modeling Language)等に変換された後に記録される。
【０１２１】
次に本発明の第６の実施の形態について図２０に即して説明する。
【０１２２】
第６の実施の形態では、上記第５の実施の形態における各モード（紙面撮影モード、書籍撮影モード、立体物撮影モード）について、更に、撮像解像度の設定ができるようにしたものである。他の構成は上述の第５の実施の形態の構成と同様であり、対応する構成要素には同一符号を付して重複説明を省略する。
【０１２３】
該撮像解像度の設定は、前記撮像部１１５のIPP１１０のデジタル画像処理の特性の設定として行うようにすれば良い。また、図２０に示したように、撮像部１１５の方向を変えるための駆動手段として駆動部１２８を設け、更にズームレンズ１０２によってズームを制御する手段（ハードとしてはＭＰＵ１１２）を設けることで、撮像部１１５の視点中心、画角を変えられるような構成とし、被写体１１９を複数の分割画像として記録し、一枚の画像とする画像合成手段（ＭＰＵ１１２）を設け、更に前記撮像解像度を変えられるような構成としても良い。駆動部１２８としては、互いに回転軸を直交させた2個のステッピングモータと所定の減衰比を有するギアを用いればよい。これにより、各モードでの記録解像度が適宜選択できるようになる。
【０１２４】
次に本発明の第７の実施の形態について図２１に即して説明する。
【０１２５】
第７の実施の形態は、被写体が紙面、書籍、立体物のいずれかであるかを自動的に判別する自動選択手段（バードとしてはＭＰＵ１１２）を具備する。他の構成は上述の第５の実施の形態と同様であり、重複説明を省く。
図２１の動作フローチャートを用い、前記自動選択手段を含め、第７の実施の形態の動作について詳細に説明する。
【０１２６】
画像取り込み開始操作によりパターン投光部１２２によるパターン光照射のための準備が行われ(S2-1)、前述の如くのパターン投光部を使用した画像取り込みが開始され、これが完了される(S2-2,S2-3)。次にこのようにして得られた画像情報に対してレンズの歪曲歪補正等の画像処理が施され(S2-3)、前述の如くの方法にて被写体表面の立体形状が算出される(S2-4)。このようにして得られた立体形状の算出結果を基に、上記各モードのうちのいずれを選択すべきかを自動的に判別するようにする。
【０１２７】
まず、S2-5では、平面か非平面かを判別する。この判別では、ある所定の１次元の形状値（距離値）の平均値等の統計量を用いて予め定められた閾値を使用し、この閾値と前記立体形状算出結果とを比較する。即ち、この閾値より小さい場合（即ち所定の平面を計測した値に近い場合）は、平面、大きい場合は、非平面と判別すれば良い。ここで、平面と判別された場合には、前記紙面撮影モードでの一連の撮影(S2-6〜S2-11)が行われるようにし、非平面と判別された場合には、次のS2-12の判別条件により、書籍か立体物かの判別を行う。
【０１２８】
なお、ここで、書籍とは見開き原稿を示す。見開き原稿の形状は見開き部において、高さ方向に対して同一方向に湾曲するという共通の特徴量を有する。また、書籍は、ある平面の一方向には、高さがほぼ一定という特徴量を有する。したがって背景と書籍部（被写体）との間のエッジを検出することより、書籍部の位置を検出し、この検出位置のデータを使用してスキュー補正を行い常に原稿が撮影領域で、同一方向に正対するように原稿画像情報を補正し、原稿のほぼ絶対的な立体形状を算出する。この補正データを基に前記特徴量の代表値として記録する。この代表値とのテンプレートマッチングにより、書籍であるか否かを判別するようにすれば良い。
【０１２９】
書籍であると判別された場合は、前記書籍撮影モードによる一連の動作（S2-13〜S2-19）を行うようにし、立体物であると判別された場合には、前記立体物撮影モードによる一連の動作(S2-20〜S2-27)を行うようにすれば良い。
【０１３０】
以上、本発明について好適な実施の形態に基づき具体的に説明したが、本発明は上記のものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【０１３１】
【発明の効果】
本発明によれば、分割撮影で被写体の立体形状を高分解能でかつ安価に撮影することができる。
【０１３２】
更に、被写体に対して正対して画像を撮影することができず、画像にあおり歪が発生する場合、特に、文書画像等にあおり歪が発生する場合にも、あおり歪補正を行って、正対した画像を得られるようにし、高分解能で高品質の画像を得ることのできる。
【０１３３】
又、机上で容易、安価、高分解能で紙面情報と立体形状などの画像情報を得ことが可能となる。
【０１３４】
更に、立体形状の検出分解能を向上することが可能となる。
【０１３５】
そして、自動的に、被写体が存在する場所を認識し、また、被写体が紙面なのか立体物なのかを自動的に識別することが可能となり操作性向上が可能となる。
【０１３６】
更に、操作者が予め撮影領域を容易に知ることが出来、失敗撮影を防止できる。
【０１３７】
そして、紙面を撮影するときに余分な光を与えず高品質な画像を得、投光による電力消耗を防ぐことが可能となる。
【０１３８】
又、立体形状のみならず、所謂３Ｄ画像を生成するための画像を取得できる。
【０１３９】
更に、パーソナルコンピュータ等を使用せずに被写体の立体形状を計測でき、又画像そのものではなく立体形状データを保存することにより、記憶領域の節約することが可能となる。
【０１４０】
そして、パーソナルコンピュータ等を使用せずに、直接、３Ｄ画像データを配信できる。
【０１４１】
更に、あおり歪のない高品質な紙面画像を得ることが可能となる。
【０１４２】
更に又、被写体の全方位の立体形状を容易に得ることが可能となり、所謂３Ｄ画像を容易に生成し得る。
【０１４３】
そして、紙面等の平面の被写体を撮影する紙面撮影モード、本等の見開き原稿を撮影する書籍撮影モード、及び立体形状を含む被写体像を撮影する立体物撮影モードのぞれぞれに適した撮影条件で撮影可能となる。
【０１４４】
又、更に、上記各撮影モードに対して、撮像解像度を設定し、より詳細な撮影条件の設定が可能となる。
【０１４５】
そして、更に、被写体の種類（紙面、書籍、立体物）を自動的に判定できるようにすることで、前記モード設定を自動で行えるようになるため、操作性の向上が可能となる。
【０１４６】
更に、投光部を微小移動させながら、投光パターンが投射された画像を撮影することにより、被写体表面上の、次元位置が計測される点を増加可能であり、これにより、より高精細に３次元位置を検出できる。
【０１４７】
更に、このようにして得られた３次元位置データを合成することにより、より高精細な立体形状データを生成することができる。
【０１４８】
又、外光などの要因で、被写体表面上の点の３次元位置の測定に誤差が生じる場合があり、測定点が少ない状態ではその誤差を見つけるのは容易ではないが、上記の如く被写体表面の高密度な３次元位置データが得られる構成とすることにより、測定の誤った誤差データを抽出し除去あるいは修正しやすくなり、これにより、３次元位置の誤った点から３次元画像を生成することにより生じる違和感を除去可能である。
【図面の簡単な説明】
【図１】従来の文書画像入力装置の外観構成図である。
【図２】本発明の画像入力装置の第１の実施の形態を適用した画像入力装置の外観構成図である。
【図３】図２の撮像部の構成図である。
【図４】図２の画像入力装置で被写体を高解像度に撮影するために撮像部の画角を狭くして分割撮影している状態を示す図である。
【図５】斜めに撮影して画像が台形状の歪（あおり歪み）が生じている状態を示す図である。
【図６】図５の台形状の歪を補正し正対状態の画像に修正した状態を示す図である。
【図７】図２の画像入力装置の第２の状態における画像入力装置の撮像部と投光部部分のブロック図である。
【図８】図７の状態の画像入力装置で縞模様のパターン光（スリット光）を用いて立体の被写体に投光している状態の外観構成図である。
【図９】本発明の第１の実施の形態における立体形状計算の原理を説明するための、図８の立体の被写体の撮影時の投光部と被写体及び撮像部の撮像素子との相対位置関係を示す図である。
【図１０】本発明の画像入力装置の第２の実施の形態の特徴を説明するための、上記縞模様のパターン光が被写体に照射された際の状態（スリット光を半ピッチずらしている）を示す図である。
【図１１】本発明の画像入力装置の第３の実施の形態の特徴を説明するための、撮像部を移動させたときの被写体上の点の候補位置を示す図である。
【図１２】図１１の候補位置の第２の画面における計算上の位置を示す図である。
【図１３】上記第３の実施の形態に適用し得るパターン光切替え用フィルタの設置状態を示す図である。
【図１４】図１３のフィルタのパターン切替機構の一例を示す図である。
【図１５】本発明の画像入力装置の第４の実施の形態の構成、機能を説明するための図である。
【図１６】本発明の画像入力装置の第５の実施の形態の撮像部の内部ブロック図である。
【図１７】上記第５の実施の形態の全体構成及び機能を説明するための斜視図である。
【図１８】上記第５の実施の形態における立体形状計算原理を説明するための図である。
【図１９】上記第５の実施の形態の動作フローチャートを示す図である。
【図２０】本発明の画像入力装置の第６の実施の形態の全体構成及び機能を説明するための斜視図である。
【図２１】本発明の画像入力装置の第７の実施の形態の動作フローチャートである。
【図２２】被写体の例としての三角柱の斜視図である。
【図２３】図２２の三角柱を一の撮影位置で撮影することによって得られた３次元空間上の測定点群を示す図である。
【図２４】図２２の三角柱を一の撮影位置から微小移動した他の撮影位置で撮影することによって得られた３次元空間上の測定点群を示す図である。
【図２５】図２３に示す点群と図２４に示す点群との夫々の位置データを合成して得られた合成位置データの点群を示す図である。
【図２６】なんらかの計測誤差を含む図２５に示す合成位置データの点群を示す図である。
【符号の説明】
１画像入力装置
２、１１５撮像部
３、１２２投光部
４移動部
５支持部
６投光スイッチ
７撮影スイッチ
１０、３２、１１９被写体
１１、３２、１３２投光パターン
２１、１２１レンズ
２２、１０３絞り機構
２３、１０６撮像素子
２４、１０７相関二重サンプリング回路（ＣＤＳ）
２５、１０８Ａ／Ｄ変換器
２６、１０９タイミングジェネレータ（ＴＧ）
２７、１１０画像前処理回路（ＩＰＰ）
２８、１１１メモリ
２９、１１２ＭＰＵ
３１、４０フィルタ
４１歯車
４２切替機構
１１３入力指示スイッチ
１１６ａ支持柱
１１７ｂ支持ユニット
１１７制御ユニット
１１８インタフェース
１２０撮像領域
１２３撮影モード設定スイッチ
１２８駆動部
１４３分割撮影領域

Claims

撮像手段と該撮像手段を支持する支持手段と被写体の立体形状を計測する立体形状計測手段とを有する画像入力装置であって、
少なくとも平面状の被写体を撮影する平面原稿撮影モードと、見開いた本を撮影する書籍撮影モードと、立体形状を含む被写体を撮影する立体物撮影モードの三つの撮影モード設定を有し、該撮影モードに応じて異なった撮影条件で撮影可能とされ、
前記立体形状計測手段による立体形状計測結果より、被写体の特徴を判定する被写体判定手段を具備し、該被写体判定手段の判定結果によって前記３種類の被写体に対応する撮影モードを自動的に選択して動作させる撮影モード自動選択手段を有し、
前記被写体判定手段は、被写体表面の立体形状を算出し、この算出結果を一次元の形状値の統計量を用いて予め定められた閾値と比較し、算出結果が閾値よりも小さい場合は平面と判別し、大きい場合は非平面と判別することによって被写体が平面か非平面かの判別を行い、当該判別の結果、前記被写体が非平面と判別された場合、見開き原稿が有する共通の特徴量と前記被写体をスキュー補正して得た代表値とのテンプレートマッチングによって当該非平面の被写体が見開いた本か立体物かの判別を行うことを特徴とする画像入力装置。
請求項１記載の画像入力装置において、
各撮影モード設定に応じて前記撮像手段が複数の撮像解像度設定を有することを特徴とした画像入力装置。
請求項１に記載の画像入力装置において、
書籍撮影モードが選択された場合、前記立体形状計測手段による立体形状計測結果に基づきモード選択後に撮影した結果を補正し、立体物撮影モードが選択された場合、前記立体形状計測手段による立体形状計測結果とモード選択後に撮影した結果とから画像データを合成することを特徴とした画像入力装置。
請求項２に記載の画像入力装置において、
前記撮像解像度の設定は、前記撮像手段のデジタル画像処理の設定として行うことを特徴とした画像入力装置。
請求項２に記載の画像入力装置において、
前記撮像解像度の設定に関し、前記撮像手段を駆動する駆動手段と、撮像手段のズームを制御するズーム制御手段とを設けたことを特徴とした画像入力装置。
請求項１に記載の画像入力装置において、
前記撮影モード自動選択手段は、前記被写体判定手段による被写体が平面か非平面かの判別の結果平面と判別された場合、平面原稿撮影モードを選択することを特徴とする画像入力装置。
請求項１又は６に記載の画像入力装置において、
前記立体形状計測手段は被写体にパターン投光を行って撮像を行うことを特徴とした画像入力装置。