JP4133060B2

JP4133060B2 - 画像入力装置、画像入力方法、およびコンピュータ読み取り可能な記録媒体

Info

Publication number: JP4133060B2
Application number: JP2002209947A
Authority: JP
Inventors: 雄史長谷川; 憲彦村田; 貴史北口; 康弘佐藤; 智文北澤
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-03-14
Filing date: 2002-07-18
Publication date: 2008-08-13
Anticipated expiration: 2022-07-18
Also published as: JP2003338907A

Description

【０００１】
【発明の属する技術分野】
本発明は、書籍などの被写体に所定の投光パターンを光照射し、その反射光から得られる画像の３次元形状を計測して被写体画像の歪み補正を行ない、高解像度の撮影を得る画像入力装置、画像入力方法、およびコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
従来の画像入力装置（撮影装置）において、被写体に、たとえば平行線などのパターンを投光し、その反射光を入力して被写体画像の３次元画像を計測することが行なわれている。このような被写体の３次元形状を計測する技術に関しては、マシンビジョン・コンピュータビジョンの分野で研究されている。また、３次元形状の計測方法についてはマシンビジョン（江尻正員、大田友一、池内克史著）や三次元画像計測（井口往史、佐藤宏介、昭晃堂出版）などに開示されている。
【０００３】
ところで、被写体が製本された原稿などである場合、製本された本を開きその上方から撮影すると、本の継ぎ目の部分では画像が圧縮されて歪んだ画像になる。そこで、これを解消するものとして、たとえば、原稿を走査して読み取るラインセンサと原稿面との距離を検出する距離センサとを用い、読み取り時に、検出した距離に応じてラインセンサの副走査方向の読み取りピッチを変化させるものが特開昭６２−１４３５５７号公報に開示されている。また、特開平３−１１７９６５号公報には、読み取り面を上向きに配置された原稿を読み取る原稿読み取り装置において、原稿面上に所定角度で直線状の光を照射する照射手段と、撮像面の曲がり具合を検出する検出手段と、読み取り面を上向きに配置された原稿に対して原稿の上方に所定の間隔で配置された原稿読み取り手段と、を有し、原稿の歪みを補正することが開示されている。
【０００４】
また、特開平４−１９９４７８号公報には、原稿表面の３次元位置を測定し、その３次元位置情報を利用して原稿の歪みを補正するものが開示されている。さらに、特開平１０−６５８７７号公報には、原稿を撮影して得られたエッジ情報から原稿のスキューを検出するエッジ検出手段と、原稿のスキューを検出するスキュー検出手段と、原稿のエッジ情報とスキュー情報から本の歪みを補正する補正手段とを有した撮像装置により、原稿の歪みを補正することが開示されている。
【０００５】
また、投光器のパターンに液晶を使用し、撮影する被写体の大きさによって投光器のパターンを変化させて、被写体の３次元形状の計測制度を向上させるものが特開平５−１１３３２０号公報に開示されている。さらに、原稿画像を分割撮影し合成することにより、撮影画像の解像度を向上させるものが特公平８−１３０８８号公報に開示されている。ここでは、原稿画像全体を撮影し、全体画像より原稿画像の大きさを算出し、全体画像の大きさと解像度より分割撮影のための分割画像領域を求めて分割画像を撮影し、これを合成して任意の解像度の原稿画像を得ている。
【０００６】
また、画像シンポジウム２００１において、「次世代ドキュメント撮影装置アイスキャナの試作」（講演番号：Ｇ−２２、講演者：富士ゼロックス）の講演でデジタルカメラと、Ｃｕｂｉｃｓｃｏｐｅ（市販のパターン投光ユニット）を使用することによって、分割撮影による高解像度撮影と被写体画像の歪み補正を可能にした撮影装置が発表されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、３次元計測で使用される投光手段が撮像部と一体化していることが多い従来の装置にあっては、被写体画像を高解像度で撮影を行なうために、撮像部と支持台の接合部にある二軸回転機構を利用して原稿画像の分割撮影を行なう際に、撮像部が移動するので、投光手段と被写体の位置関係に変化が生じる。
【０００８】
これをさらに図３、図２７〜図２９を参照して説明すると、図３に示すように、被写体２１と投光パターン２２の位置関係が最適な状態であれば、図２８に示すように縞模様のパターンが被写体２１（製本された原稿）に照射されるため、被写体画像の歪みが大きい方向、すなわち被写体画像の歪み補正に必要な３次元形状データが含まれる方向と分解能の高い３次元形状の計測が可能な方向とが一致するので、被写体画像の歪み補正を行なうに必要な３次元形状を多く得ることができる。しかし、原稿画像の分割撮影時には、投光器１２と被写体２１の位置関係に変化が生じるため、被写体２１と投光パターン２２との配置関係に対応してパターンを移動する手段がない場合には、図２７に示すように、被写体２１と投光パターン２２が正確に配置されず、図２９に示すように、投光パターン２２が被写体２１に照射されるため、被写体画像の歪みが大きい方向と分解能の高い３次元形状の計測が可能な方向とが一致しない。このため、被写体画像の歪み補正を行なうに必要な３次元形状データを多く得られず、この３次元形状データを用いた被写体画像の歪み補正を精度よく行なうことができないので、高解像度の撮影が実現されないという問題点があった。
【０００９】
なお、特開昭６２−１４３５５７号公報、特開平３−１１７９６５号公報に開示されている方法にあっては、画像の歪み補正を行なうだけのため、分割撮影による高解像度の画像撮影を行なうことができなかった。また、特開平５−１１３３２０号公報に開示されている方法にあっては、被写体と投光パターンの配置関係に対応して投光パターンを変化させる機能が設けられていないので、撮像部の移動によって被写体と投光パターンとの位置関係が変化すると３次元形状の計測精度を向上させることができなかった。さらに、特公平８−１３０８８号公報にか開示されている方法では、分割撮影による高解像度の撮影を行なうだけのため、画像の歪み補正を行なうことができなかった。
【００１０】
さて、今後、画像を用いたコミュニケーションが特に重要になってくると予想される。たとえば、会議など電子データを表示する大画面を囲んだコミュニケーションの場において、手元の被写体を画像入力装置（図１参照）を用いて取り込んで大画面に表示させることが多くなる。このようにコミュニケーションを行なっている最中に被写体を撮影し、被写体画像の歪み補正を行なうことを想定した場合、従来の技術では被写体とパターンを正確に配置する作業があるため、コミュニケーションの場が中断されることがある。
【００１１】
ところが、特開平１０−６５８７７号公報に開示されている方法にあっては、スキュー検出手段を使用することにより、被写体とパターンが正確に配置されていない場合に対しても被写体画像の歪みを補正することができるものの、被写体画像の歪み補正に被写体画像のエッジ情報を使用するため、エッジ部分に急激な歪みまたは損傷があるような被写体においては被写体画像の歪みを補正することができなかった。なお、特開平４−１９９４７８号公報に開示されている方法にあっては、被写体を上方から撮影した場合を考慮したものではない。
【００１３】
本発明は、上記に鑑みてなされたものであって、被写体とパターンが正確に配置されていなくても、かつエッジ部分に急激な歪みまたは損傷が存在するような被写体であっても、被写体画像の精度のよい歪み補正を可能にすることを目的とする。
【００１４】
【課題を解決するための手段】
上記の目的を達成するために、請求項１にかかる画像入力装置にあっては、被写体を撮影する撮影手段と、前記被写体上に所定のパターンを照射する投光手段と、前記撮影手段と前記投光手段とを支持する支持手段と、前記撮影手段にて前記被写体の予備撮影を行ない、前記被写体と前記パターンとの位置関係を検出する位置検出手段と、前記位置検出手段の検出結果にしたがって前記被写体と前記パターンとの位置関係を、前記投光手段を前記支持手段に対して移動させて調整する位置調整手段と、前記位置調整手段により位置調整が行なわれた後に、前記投光手段により前記パターンが照射された被写体を被写体画像として前記撮影手段で撮影し、当該被写体画像から前記被写体の３次元形状を計測する計測手段と、前記計測手段により計測された３次元形状に基づいて、前記被写体画像の歪みを補正する補正手段と、を備えたものである。
【００１６】
また、請求項２にかかる画像入力装置にあっては、前記位置検出手段は、予備撮影時に前記被写体と前記投光手段のパターンとの位置関係を画像の特徴から検出するものである。
【００１８】
また、請求項３にかかる画像入力方法にあっては、撮影手段と投光手段とを支持する支持手段を有し、前記撮影手段により被写体を撮影する撮影工程と、投光手段により前記被写体上に所定のパターンを照射する投光工程と、位置検出手段により、前記撮影手段にて前記被写体の予備撮影を行ない、前記被写体と前記パターンとの位置関係を検出する位置検出工程と、位置調整手段により、前記位置検出工程の検出結果にしたがって前記被写体と前記パターンとの位置関係を、前記投光手段を前記支持手段に対して移動させて調整する位置調整工程と、計測手段により、前記位置調整手段により位置調整が行なわれた後に、前記投光手段により前記パターンが照射された被写体を被写体画像として前記撮影手段で撮影し、当該被写体画像から前記被写体の３次元形状を計測する計測工程と、補正手段により、前記計測工程で計測された３次元形状に基づいて、前記被写体画像の歪みを補正する補正工程と、を含むものである。
【００２０】
また、請求項４にかかる画像入力方法にあっては、前記位置検出工程は、予備撮影時に前記被写体と前記投光手段のパターンとの位置関係を画像の特徴から検出するものである。
【００４４】
【発明の実施の形態】
以下、本発明にかかる画像入力装置、画像入力方法、およびコンピュータ読み取り可能な記録媒体の好適な実施の形態について添付図面を参照し、詳細に説明する。なお、本発明はこの実施の形態に限定されるものではない。
【００４５】
本発明は、被写体の高解像度の撮影を実現するために、撮像部を移動させて被写体画像の分割撮影を行なうものである。すなわち、分割撮影時に、移動させる撮影部に付随している投光器が移動する移動距離を検出し、その検出結果にしたがって照射パターンを変更する。さらに、被写体画像の歪みが大きい方向、つまり被写体画像の歪み補正に必要な３次元形状データが含まれる方向と分解能の高い３次元形状の計測が可能な方向とを一致させて撮影することにより、被写体画像の歪み補正を行なうに必要な３次元形状データを数多く取得する。また、この取得した３次元形状データより分割撮影時に撮影された被写体の分割画像の歪み補正を行なう。さらに、歪み補正後の複数枚の被写体画像を合成することにより、書籍などの湾曲している被写体画像の歪み補正の精度を向上させ、高解像度の撮影、および安価で汎用性の画像入力装置を実現するものである。以下、実施の形態１〜６において具体的な構成および動作について説明する。
【００４６】
（実施の形態１）
図１は、本発明の実施の形態にかかる画像入力装置の概略構成を示す説明図である。この画像入力装置１０は、撮像部１１と、投光器１２と、支持部１３と、解像度指示部１４と、移動部１５と、撮影スイッチ１６と、Ｉ／Ｆ部１７と、後述する計測位置設定方法切換スイッチ１８と、を備えている。なお、符号２１は書籍などの被写体、符号２２は投光パターンである。
【００４７】
撮像部１１と投光器１２は、移動部１５を介して支持部１３によって支持され、支持部１３に対して投光器１２と撮像部１１が上下、左右、斜め方向にその投光軸や撮像光軸を移動できるような首振り機構となっている。解像度指示部１４により、被写体画像に要する解像度を指定する。解像度指示部１４は、表示つきのタッチパネルなどで構成され、所望の解像度を選択できるように機能する。撮影スイッチ１６を押下すると、支持部１３が設置されている机などに配置されている被写体２１を撮像する。Ｉ／Ｆ部１７は、パーソナルコンピュータなどの外部装置に接続するために、ＲＳ２３２ＣやＵＳＢなどの所定のインターフェイス仕様に準拠し、撮影した画像を転送するために用いられる。
【００４８】
図２は、図１における撮像部１１の構成を示すブロック図である。図２において、符号１はレンズ、符号２は絞り部、符号３は撮像素子、符号４は相関二重サンプリング回路（以下、ＣＤＳという）、符号５はＡ／Ｄ変換器、符号６はタイミングジェネレータ（以下、ＴＧという）、符号７は画像前処理回路（以下、ＩＰＰという）、符号８はメモリ、符号９は撮影などの一連の動作を統括的に制御するＭＰＵである。また、符号２０は液晶パネルなどで構成され、投光パターン２２を形成させるための投光パターンフィルタである。
【００４９】
以上のように構成された画像入力装置１０は、被写体２１は、投光器１２で照射されその反射画像が、レンズ１、絞り部２によって撮像素子３の上の結像される。撮像素子３からの画像信号はＣＤＳ４でサンプリングされた後、Ａ／Ｄ変換器５でデジタルの信号に変換される。このときのタイミング信号はＴＧ６で生成される。上記画像信号は、ＩＰＰ７でアパーチャ補正などの画像処理、圧縮などが行なわれメモリ８に保存される。この一連の動作はＭＰＵ９によって制御される。
【００５０】
また、投光器１２も撮像部１１のＭＰＵ９によって投光のタイミングが制御される。投光器１２には投光パターンフィルタ２０が設けられており、投光器１２から照射される光が投光パターンフィルタ２０を通過することにより特定のパターンが被写体２１に投光される。
【００５１】
投光パターン２２は一般的に３次元形状を計測する際の計算処理の短縮化を考慮し、平面上の被写体にパターンを照射したときには、図３に示すように、パターン形状が直線状になることが多いが、他の模様であってもよい。
【００５２】
つぎに、被写体の撮影動作について図４に示すフローチャートを参照し、説明する。まず、撮影開始前に解像度指示部１４により、被写体２１の画像撮影に関する画像解像度、または被写体の大きさを指定する（ステップＳ１１）。さらに、解像度指示部１４により指定された画像解像度または被写体の大きさにしたがって撮像部１１を移動部１５により回転させる（ステップＳ１２）。
【００５３】
さて、撮像部１１と投光器１２が一体化している構造であると撮像部１１の回転に伴い、投光器１２も回転し、投光器１２が被写体２１に対して最適なパターンを投光する位置からずれる場合がある。このような場合には投光器１２の回転に応じて投光パターン２０を変化させることにより、被写体２１に照射するパターンを最適な撮影条件となるように変化させる（ステップＳ１３）。
【００５４】
続いて、解像度指示部１４により指定された画像解像度に対応してズーム倍率を変更し、被写体１２のテクスチャ画像の撮影を行なう（ステップＳ１４）。さらに、投光器１２より投光パターン２２を被写体２１に照射し、撮像部１１により撮影を行ない（ステップＳ１５）、撮影された画像から被写体２１の３次元形状を計測し（ステップＳ１６）、３次元形状の計測結果にしたがって被写体画像の歪みを補正する（ステップＳ１７）。
【００５５】
続いて、上述の撮影動作において、全体画像の撮影範囲まで撮影したか否かを判断し（ステップＳ１８）、全体画像の撮影が行なわれていないと判断した場合には、上記ステップＳ１２に戻り、以降の動作を全体画像の撮影終了まで繰り返し実行する。全体画像の撮影が行なわれると、補正された複数枚の画像を合成する（ステップＳ１９）。
【００５６】
つぎに、図４のステップＳ１６における撮像画像から被写体２１の３次元形状を計測する例として投光パターン２２が直線状である場合について説明する。投光器１２より投光パターン２２を被写体２１に照射し、撮像部１１で撮像することにより、被写体２１に照射されて歪んだパターンが撮影される。この歪みの程度より被写体表面上の点の３次元的な位置を検出することができる。この検出方法について図５を用いて説明する。
【００５７】
投光器１２から投光パターン２２が照射された部分は、撮像素子３上の点（ｕ，ｖ）で結像される。撮像部１１の光学中心を原点とする座標系を定義すると、投光パターン２２が照射された被写体２１上の奥行き距離ｚは次式（数１）で表される。
【００５８】
【数１】

【００５９】
上記式において、θ₁は投光パターン２２を照射した角度であり既知である。また、θ₂は次式（数２）で与えられる。また、ｆは撮像部１１の焦点距離である。
【００６０】
【数２】

【００６１】
上記式によりｚが求まると、次式（数３）によりｘ，ｙが求まる。
【００６２】
【数３】

【００６３】
以上により、被写体２１上の点の３次元位置が求まる。これを様々な点で求めることにより、被写体２１の３次元形状が得られる。
【００６４】
つぎに、図４におけるステップＳ１２〜Ｓ１８の分割撮影の方法について図６を用いて説明する。ここで、解像度指示部１４により指示された解像度をｒとし、被写体２１までの距離をｈとすると、光学系に焦点距離（画素換算値）ｆは、
ｆ＝ｒ・ｈ
となる。図６（ａ）は、被写体２１の全体と、撮像部１１の焦点距離の画素換算値ｆ＝ｒ・ｈとしたときの撮影エリア２５の概略を示したものである。
【００６５】
まず、図６（ｂ）に示すように、その画角で原稿の左上を第１分割画像▲１▼として撮影する。続いて、図６（ｃ）に示すように、第１分割画像▲１▼に含まれていない領域の一部を撮影できるように、撮像部１１を移動させ、第２分割画像▲２▼として撮影する。このような動作を繰り返し実行し、図６（ｄ）に示すように、原稿全体（図中における▲１▼〜▲４▼）が撮影されれば終了する。
【００６６】
ところで、分割撮影では、撮像部１１を２軸回転機構によって図７に示すように回転移動させて撮影を行なうため、被写体２１を斜めから撮影することになり、被写体２１の撮影画像には図７に示すような画像のあおりが発生する。被写体２１の位置回転前に撮影される画像の位置を（ｕ₁，ｖ₁）、回転後の画像の位置を（ｕ₂，ｖ₂）とすると、両者の間には次式（数４）の関係が成立する。
【００６７】
【数４】

【００６８】
上記式において、Ｒは２軸回転機構によって撮像部１１が移動した回転を表す回転行列である。また、ｆは焦点距離の画素換算値であり、ａは左辺の列ベクトルの第３成分をｆに保つための係数である。
【００６９】
回転前の画像範囲外の点（ｕ₁，ｖ₁）にある像は、回転後の画像の（ｕ₂，ｖ₂）の位置にある。したがって、（ｕ₁，ｖ₁）の画素値を（ｕ₂，ｖ₂）の画素値にすれば画像を修正することができる。また、（ｕ₂，ｖ₂）は整数値をとるとは限らないので、バイリニア法などで補間すると被写体画像の修正精度が向上する。
【００７０】
つぎに、被写体画像の歪み補正方法について説明する。図８は、３次元形状から被写体画像の歪みを補正するまでの動作を示すフローチャートである。図９は、図８の動作における画像撮影座標系を示す説明図である。図８において、まず、被写体表面上の複数点の３次元位置（ｕ，ｖ，ｚ）を入力し（ステップＳ２１）、曲率を持たない方向（ｕ方向）の高さの平均値ｚ（ｖ）を算出する（ステップＳ２２）。続いて、被写体画像をｕ方向に伸張し（ステップＳ２３）、さらに被写体画像をｖ方向に伸張する（ステップＳ２４）。
【００７１】
上記動作について図９を用いてさらに説明する。図９に示す画像撮影座標系ｕ，ｖが、被写体２１に対してｖ方向までの距離ｚは、ｕ方向には曲率を持たないようにとる。理想的には、撮像面（画像面２６）から被写体２１までの距離ｚは、ｕに依存せずｖのみの関数ｚ（ｖ）と表現できる。しかしながら、実際には３次元位置計測値は、ノイズや被写体２１の特性などに起因してばらつくことがある。したがって、ｚ（ｖ）は以下の式（数５）で算出する。
【００７２】
【数５】

【００７３】
ここで、ｕがＵ１からＵ２の間に被写体２１が確実に存在するものとする。また、すべての画素に撮像面から被写体２１までの距離ｚの情報が割り当てられているわけではない。そこで、その範囲に撮像面（画像面２６）から被写体２１までの距離ｚの情報を有している画素の数をＮ（ｖ）とする。このＮ（ｖ）の数が多いほど歪み補正に使用される３次元形状の計測精度は向上する。
【００７４】
分割撮影時には被写体２１と投光パターン２２の位置関係が変化するが、撮像部１１の回転に対して投光パターン２２を変化させることにより、ｖ方向に伸びたマルチスリット光による３次元形状計測を行なうことができるので、被写体画像の歪み補正を行なうために必要な３次元形状データを多く計測することができる。理想的は、ｖ方向の全画素についての３次元位置を算出することができる。しかし、被写体２１に反射率が非常に小さい部分があるなどの場合、撮像面（画像面２６）から被写体２１までの距離ｚの情報を求めることはできない。あるｖについて撮像面（画像面２６）から被写体２１までの距離ｚの情報を有する画素がない場合、あるいは極少数である場合、その上下で撮像面（画像面２６）から被写体２１までの距離ｚの情報を有する画素から、スプライン補間によって、撮像面（画像面２６）から被写体２１までの距離ｚを算出する。
【００７５】
つぎに、撮像面（画像面２６）から被写体２１までの距離ｚを用いてｕ方向の歪みを補正する。被写体２１の撮影画像３０を図１０に示す。まず、各列は、撮像面（画像面２６）から被写体２１までの距離ｚが異なることにより、撮影画像３０上での、原稿領域の長さが変化するので、これを補正する。
【００７６】
基準となる列ｖ＝Ｖ０のときの撮像面（画像面２６）から被写体２１までの距離ｚの平均値ｚ（Ｖ０）を用い、以下の式（数６）にしたがって画素（ｕ，ｖ）を（ｕ'，ｖ）に再配置する。なお、この式におけるｃｕは画像のｕ方向の中心位置である。
【００７７】
【数６】

【００７８】
上述した歪み補正処理により、ｕ方向の歪みを除去することができ、四角い被写体２１は四角形の画像になる。しかし、ｖ方向の歪みが残っており、縦に縮んだような画像になっている。そこで、図１１に示すように、ｖ方向に画像を伸張することにより、撮像画像３０の歪みを除去することができる。この歪み補正方法について図１２を用いて説明する。
【００７９】
図１２において符号３０は被写体２１の３次元位置である。図１２では、ある列内の画素Ｐｉ０〜Ｐｉ３に相当する３次元位置空間上での点の位置を白丸で示している。これらの点の隣接する点の間の距離Ｌ０１〜Ｌ２３を求める。さらに、長さを求めるために、各点の間をスプライン補間によって埋める。その後、再配置すべき画素の位置を、画像の基準線からの距離として、縮尺を合わせて順次足し合わせていくことにより決定する。
【００８０】
たとえば、Ｐｉ３は、（Ｌ０＋Ｌ１２＋Ｌ２３）・ｆ／Ｆの位置に再配置される。なお、ｆは焦点距離、Ｆは画像の中心点に相当する被写体２１までの奥行きの距離である。この再配置処理と、各画素間の補間処理により、ｖ方向の歪みが除去される。したがって、被写体２１の分割された画像の歪み補正を行なうことができる。
【００８１】
つぎに、分割撮影のために撮像部１１が回転した角度に対応して投光パターン２２を変化させる例について図１３を用いて説明する。分割撮影時に投光パターン２２が並ぶ方向に撮像部１１を回転させても、平面状の物体に投影される投光パターン２２の形状変化はないが、投光パターン２２が伸びている方向に撮像部１１を回転させたときには、投光器１２から被写体２１までの距離の変化により、図１３に示すように、投光パターン２２の並びは等ピッチの直線パターンではなく扇型に変化するために、被写体２１に投光パターン２２が照射される本数が減少して３次元形状を計測できる点数が少なくなる。そこで、撮像部１１から被写体２１までの距離の変化に応じて図１４に示すように変化させることにより、撮像部２１を回転させたときであっても、３次元形状を計測できる点数が減少しないようにすることができる。
【００８２】
（実施の形態２）
上述した実施の形態１では、使用者が指定した被写体２１の大きさの値に対応して撮像部１１の回転量を判定したが、この実施の形態２では、使用者が被写体２１の大きさを指定する作業をしなくても、撮像部１１の回転量を自動的に判定し、撮影を開始するものである。なお、この実施の形態２における装置構成は実施の形態１と同一とする。
【００８３】
図１５は、本発明の実施の形態２にかかる撮影動作を示すフローチャートである。まず、撮影開始前に解像度指示部１４から被写体２１の撮影する際の画像解像度を指定する（ステップＳ３１）。続いて、撮像部１１の倍率を最小にし、撮影領域全体の画像を撮影し（ステップＳ３２）、この撮影された全体画像から被写体２１の大きさを抽出する（ステップＳ３３）。なお、被写体２１の範囲を抽出するには、被写体２１の端部を示すエッジやコーナーなどの特徴を利用するとか、あるいは背景との輝度値の差異により抽出しても、あるいは３次元計測結果から被写体２１の高さの差異により抽出してもよい。
【００８４】
続いて、抽出された被写体２１の大きさと指示された画像解像度にしたがって分割撮影のために回転させる撮像部１１の回転角を算出する（ステップＳ３４）。さらに、算出した回転角に応じて撮像部１１を回転する（ステップＳ３５）。その後は、前述した図４のステップＳ１３〜Ｓ１９と同様の動作を実行する（ステップＳ３６〜Ｓ４２）。これにより、被写体画像の歪み補正の精度を向上させ、高解像度の撮影が実現する。
【００８５】
（実施の形態３）
実施の形態１で説明したように、投光器１２から照射された投光パターン２２の反射を撮像部１１で撮影することにより、３次元形状の計測を行なっている。図５に示すように、撮像素子３の左側部分と右側部分では、投光器１２から投光される投光パターン２２が被写体２に照射される角度θ₁に差が生じるために、被写体２１の高さ方向の変化に対して投光パターン２２が移動する割合が変化する。
【００８６】
撮像素子３の場所に対する投光パターン２２の移動の割合を図１６を用いて説明する。投光パターン２２を照射する間隔を投光パターン２２の移動する割合に対応させて変化させることにより、撮影領域全体において所定の高さまで計測することができ、空間解像度を向上させ、３次元形状を計測することができる。
【００８７】
すなわち、投光器１２投光される投光パターン２２が被写体２に照射される角度θ₁が大きくなるほど、高さの変化に対する投光パターン２２の移動量が小さくなり、反対に角度θ₁が小さくなるにしたがって高さの変化に対する投光パターン２２の移動量を大きくすることにより、投光パターン２２の間隔を変化させる。
【００８８】
（実施の形態４）
これまでの実施の形態１〜３においては３次元形状の計測精度を向上させるために投光パターン２２を変化させる例について説明したが、この実施の形態４では、投光パターン２２を変化させたときの形状情報を被写体２１の画像情報に付随させて記憶させる例について説明する。
【００８９】
図１の構成において、Ｉ／Ｆ部１７にたとえばパーソナルコンピュータやサーバなどの外部計算装置を接続し、撮像部１１で撮影した画像を転送し、記憶装置に記憶させる。また、撮影した画像情報に投光パターン２２を変化させたときの形状情報を付随させてディスプレイに表示させることにより、撮影が終了した後であっても、被写体２１の３次元形状の計測条件を容易に確認することが可能となる。
【００９０】
（実施の形態５）
ところで、投光パターン２２の模様を変化させると、投光パターンフィルタ２０の場所によっては投光器１２からの光が通過する面積に変化が生じる場合がある。この状態を図１７に示す。図１７に示すように、投光器１２からの光量が強い部分と弱い部分では投光パターン２２の線幅が異なる。すなわち、投光器２２からの光量が強い部分では、投光パターン２２の光量が弱くなる部分４０ａが生じ、反対に、投光器２２からの光量が弱い部分では、投光パターン２２の光量が強くなる部分４０ｂが生じる。
【００９１】
そこで、投光器１２からの光が投光パターンフィルタ２０を通過する面積が小さい箇所（左部分）では投光器１２の光量を上昇させることによって、撮影領域全体に照射される投光パターン２２の光量を一定にして撮影する。光量の調整は、投光器１２と投光パターンフィルタ２０の間に鏡を入れて光量の少ない場所に投光器１２からの光を誘導してもよいし、投光パターンフィルタ２０の透過率を投光パターン２２の変化に応じて変化させるか、あるいは投光器１２に複数台の発光素子を入れて光量を調整してもよい。
【００９２】
（実施の形態６）
さて、書籍などの被写体２１の形状は、被写体全体の３次元形状を計測しなくても、被写体２１の一部分だけの３次元形状の情報より、被写体全体の３次元形状を推定することができる。図１８に示すように、画像領域Ａ，Ｂ，Ｃ内にある被写体２１の３次元形状を計測することにより、被写体全体（Ａ〜Ｉの画像領域）の形状を推定することができる。
【００９３】
つぎに、図１９に示すフローチャートを参照し、上述の一連の動作について説明する。まず、撮影領域全体を撮影し（ステップＳ５１）、撮影領域内にある被写体２１の位置と２次元平面状に投影されたときの形を検出し、撮影領域の全体画像から被写体２１のエッジを検出する（ステップＳ５２）。続いて、被写体２１を２次元平面状に投影されたときの形が、長方形に近い形状であれば書籍とみなし、被写体２１の３次元形状を計測する領域を判定する（ステップＳ５３）。
【００９４】
上記における計測する領域としては、たとえば図１８における撮影領域Ａ，Ｂ，Ｃだけでよい。続いて、撮影領域Ａ，Ｂ，Ｃの３次元形状の計測を行なうために撮像部２１を回転し（ステップＳ５４）、投光パターン２２を変化させ（ステップＳ５５）、そのパターン投光画像を撮影し（ステップＳ５６）、その撮影画像から３次元形状を計測する（ステップＳ５７）。続いて、判定した撮影範囲まで撮影したか否かを判断し（ステップＳ５８）、判定した撮影範囲まで撮影が行なわれた場合には、被写体全体の３次元形状を推定する（ステップＳ５９）。この際、図１８の撮影領域Ｄ，Ｇ内にある被写体２１の３次元形状は、撮影領域Ａ内にある被写体２１の３次元形状とほぼ同じ形状になる（撮影領域Ｂ，Ｅ，Ｈ，Ｃ，Ｆ，Ｉにおいても同様）ので、撮影領域Ａ，Ｂ，Ｃの３次元形状から被写体全体の３次元形状を推定することができる。
【００９５】
一方、ステップＳ５８において、判定した撮影範囲まで撮影していない場合にはステップＳ５４に戻り、以降の動作を、判定した撮影範囲まで撮影が行なわれるまで繰り返し実行する。ステップＳ５９の処理が終了すると、つぎに撮像部１１を回転し（ステップＳ６０）、テクスチャ画像を撮影し（ステップＳ６１）、さらに、３次元形状の計測結果にしたがって被写体画像の歪みを補正する（ステップＳ６２）。続いて、上述の撮影動作において、全体画像の撮影範囲まで撮影したか否かを判断し（ステップＳ６３）、全体画像の撮影が行なわれていないと判断した場合には、上記ステップＳ６０に戻り、以降の動作を全体画像の撮影終了まで繰り返し実行する。全体画像の撮影が行なわれると、補正された複数枚の画像を合成する（ステップＳ６４）。
【００９６】
また、上述した動作において、被写体２１の３次元形状を計測する領域を撮影前から指定しておくことにより、撮影領域の全体画像の撮影と、被写体２１のエッジを検出し３次元形状を計測する撮影領域を判定する作業が不要となる。さらに、ユーザが意図した３次元形状を計測する領域を切り換えるための計測位置設定方法切換スイッチ１８（図１参照）を設けることにより、被写体２１の３次元形状を計測する一部分を判定する方法を選択することができる。
【００９７】
（実施の形態７）
この実施の形態７以降においては、図１および図２に示す画像入力装置を用い、予備撮影を行ない被写体２１と投光パターン２２との配置関係を検出（図５参照）し、その検出結果に応じて、被写体画像の歪み補正を実行するのに必要な３次元データを多く計測する最適な撮影条件となるように、被写体２１と投光パターン２２との配置位置を変化させることにより、撮影前に被写体２１と投光パターン２２との位置関係を正確に調整しなくても、被写体画像の歪み補正を精度よく行なえる例について説明する。
【００９８】
図２０は、本発明の実施の形態７にかかる撮影動作を示すフローチャートである。まず、画像入力装置１の撮影位置へ被写体２１を適当に配置し、撮影スイッチ１６を押下して予備撮影を行なう（ステップＳ７１）。なお、予備撮影の詳細については後述する（実施の形態８、９参照）。続いて、この予備撮影で取得した画像情報から被写体２１と投光パターン２２との位置関係を検出し（ステップＳ７２）、その検出結果にしたがって被写体２１と投光パターン２２と位置関係を調整する（ステップＳ７３）。なお、この位置調整については後述する（実施の形態１０〜１２参照）。
【００９９】
続いて、投光器１２より投光パターン２２を被写体２１に対して投光し（ステップＳ７４）、撮像部１１により被写体２１の撮影を実行する（ステップＳ７５）。さらに、この撮影された画像から被写体２１の３次元形状を前述した手順（実施の形態１）を計測し（ステップＳ７６）、この計測した３次元形状にしたがって被写体画像の歪み補正を行なう(ステップＳ７７)。
【０１００】
なお、上記ステップＳ７６，Ｓ７７における３次元形状の計測処理および被写体画像の歪み補正処理は、画像入力装置１０の計算処理の負荷を軽減させるために、画像情報を画像入力装置１０からパーソナルコンピュータやサーバなどの外部計算機へ転送し、その計算機内で実行させるようにしてもよい。
【０１０１】
(実施の形態８)
この実施の形態８は、被写体２１と投光パターン２２との位置関係を検出するための予備撮影について記述するものである。図２１は、本発明の実施の形態８にかかる撮影動作を示すフローチャートである。まず、画像入力装置１０の撮影位置へ被写体２１を適当にに配置し、撮影スイッチ１６を押下することにより予備撮影が開始される（ステップＳ８１）。投光器１２より投光パターン２２を被写体２１に投光し（ステップＳ８２）、撮像部１１によって撮影を行なう（ステップＳ８３）。さらに、撮像部１１で取得した画像から３次元形状を計測し（ステップＳ８４）、予備撮影を終了する（ステップＳ８５）。
【０１０２】
続いて、上記ステップＳ８１〜ステップＳ８５の予備撮影処理にしたがって、前述の図２０と同様に、被写体２１と投光パターン２２との位置検出、位置合わせ、３次元形状の計測、被写体画像の歪み補正を実行する（ステップＳ８６〜ステップＳ９１）。
【０１０３】
なお、上述の予備撮影において被写体２１の３次元形状が計測されない場合には、投光器１２を移動させ、再度、予備撮影を行ない、大まかな３次元形状が計測されるまで予備撮影を繰り返し実行する。また、この予備撮影に制限時間を設定し、当該制限時間を過ぎた場合に、たとえば音や投光パターン２２などにより撮影不可能であることをユーザに知らせるようにしてもよい。
【０１０４】
（実施の形態９）
この実施の形態９は、被写体２１と投光パターン２２との位置関係を画像の特徴から検出する予備撮影について記述するものである。図２２は、本発明の実施の形態９にかかる撮影動作を示すフローチャートである。まず、画像入力装置１０の撮影位置へ被写体２１を適当に配置し、撮影スイッチ１６を押下することにより予備撮影が開始される（ステップＳ１０１）。続いて、撮像部１１により被写体２１のテクスチャ画像の撮影を行ない（ステップＳ１０２）、被写体２１のテクスチャ画像の輝度情報にしたがって被写体２１の特徴点の位置を抽出する（ステップＳ１０３）。これらの予備撮影を終了し（ステップＳ１０４）、予備撮影処理にしたがって、前述の図２０と同様に、被写体２１と投光パターン２２との位置検出、位置合わせ、３次元形状の計測、被写体画像の歪み補正を実行する（ステップＳ１０５〜ステップＳ１１０）。
【０１０５】
上述した撮影処理において、被写体２１が、たとえば製本された原稿など特徴点がほぼ決定しているものであれば、被写体２１の特徴点の位置を計測することにより、被写体２１と投光パターン２２との位置関係を検出することができる。製本された原稿などの特徴点の抽出には、本の継ぎ目の部分など外光が照射されず影になって被写体２１の輝度が低くなる部分や、被写体２１のエッジ情報、被写体２１に記載されている文字列などを利用することができる。
【０１０６】
このように、テクスチャ画像から被写体２１と投光パターン２２との位置関係を検出することにより、予備撮影時における３次元形状の計測処理が軽減されるので、撮影時間を短縮することができる。
【０１０７】
なお、上述の予備撮影において被写体２１の特徴点が抽出されない場合には、投光器１２を移動させ、再度、予備撮影を行ない、特徴点が抽出されるまで予備撮影を繰り返し実行する。また、この予備撮影に制限時間を設定し、当該制限時間を過ぎた場合に、たとえば音や投光パターン２２などにより撮影不可能であることをユーザに知らせるようにしてもよい。
【０１０８】
(実施の形態１０)
この実施の形態１０では、被写体２１と投光パターン２２との位置関係を予備撮影によって求めた後に、その位置調整を、投光器１１を支持部１３に対して移動させて行なう例について説明する。画像入力装置１０は、先に述べたように、投光器１２が、移動部１５を介して支持部１３によって支持され、支持部１３に対して投光器１２が上下、左右、斜めに投光軸や撮影光軸を移動する機構を有している。
【０１０９】
図２３は、本発明の実施の形態１０にかかる撮影動作を示すフローチャートである。まず、画像入力装置１０の撮影位置へ被写体２１を適当に配置し、撮影スイッチ１６を押下することにより予備撮影が開始される（ステップＳ１１１）。続いて、この予備撮影で取得した画像情報から被写体２１と投光パターン２２との位置関係を検出し（ステップＳ１１２）、その検出結果にしたがって被写体２１と投光パターン２２と位置関係の調整を開始し（ステップＳ１１３）、移動部１５の首振り機構を用いて投光器１２を支持部１３から移動させ（ステップＳ１１４）、被写体２１と投光パターン２２と位置合わせを行なう（ステップＳ１１５）。その後、前述と同様に、投光パターン２２の投光、被写体２１の撮影、３次元形状の計測、被写体画像の歪み補正を実行する（ステップＳ１１６〜ステップＳ１１９）。
【０１１０】
（実施の形態１１）
この実施の形態１１では、被写体２１と投光パターン２２との位置関係を予備撮影によって求めた後に、その位置調整を、投光パターン２２を変化させることにより行なう例について説明する。
【０１１１】
図２４は、本発明の実施の形態１１にかかる撮影動作を示すフローチャートである。まず、画像入力装置１０の撮影位置へ被写体２１を適当に配置し、撮影スイッチ１６を押下することにより予備撮影を行なう（ステップＳ１２１）。続いて、この予備撮影で取得した画像情報から被写体２１と投光パターン２２との位置関係を検出し（ステップＳ１２２）、その検出結果にしたがって投光パターンフィルタ２０を変化させて投光パターンを変化させ（ステップＳ１２４）、被写体２１と投光パターン２２と位置合わせを行なう（ステップＳ１２５）。
【０１１２】
なお、ステップＳ１２４では、投光器１２の投光口に設置されている投光パターンフィルタ２０の材料には液晶パネルなどを用い、たとえば図１４に示すように、投光パターン２２を可変させる。
【０１１３】
その後、前述と同様に、投光パターン２２の投光、被写体２１の撮影、３次元形状の計測、被写体画像の歪み補正を実行する（ステップＳ１２６〜ステップＳ１２９）。
【０１１４】
（実施の形態１２）
この実施の形態１２では、被写体２１と投光パターン２２との位置関係を予備撮影によって求めた後に、その位置調整を、被写体２１を回転させることにより行なう例について説明する。被写体２１を回転させる機構としては、たとえば図２６に示すターンテーブル５０を用いる。
【０１１５】
図２５は、本発明の実施の形態１２にかかる撮影動作を示すフローチャートである。まず、画像入力装置１０の撮影位置へ被写体２１を適当に配置し、撮影スイッチ１６を押下することにより予備撮影を行なう（ステップＳ１３１）。続いて、この予備撮影で取得した画像情報から被写体２１と投光パターン２２との位置関係を検出し（ステップＳ１３２）、その検出結果にしたがって被写体２１と投光パターン２２の位置合わせを開始し（ステップＳ１３３）、被写体２１をターンテーブル５０で移動し（ステップＳ１３４）、被写体２１と投光パターン２２と位置合わせを行なう（ステップＳ１３５）。その後、前述と同様に、投光パターン２２の投光、被写体２１の撮影、３次元形状の計測、被写体画像の歪み補正を実行する（ステップＳ１３６〜ステップＳ１３９）。
【０１１６】
すなわち、撮影前に被写体２１をターンテーブル５０に載せ、被写体２１と投光パターン２２の位置関係の検出結果にしたがってターンテール５０を回転させることにより、被写体２１に照射される投光パターン２２を変化させる。なお、ターンテーブル５０の制御をパーソナルコンピュータ６０やサーバなどを介して行なうことにより、画像入力装置１０の処理負担が軽減する。
【０１１７】
【発明の効果】
以上説明したように、本発明にかかる画像入力装置（請求項１）によれば、撮影対象の被写体（たとえば書籍など）を撮影可能な適当な位置に配置し、その被写体に投光パターンを照射して予備撮影を行ない、そこで取得した被写体と投光パターンとの配置位置を検出し、当該検出結果にしたがって被写体と投光パターンとの配置位置を調整し、その調整された最適位置での撮影を行ない、その画像から被写体の３次元形状を計測し、さらにこの３次元形状の計測結果にしたがって被写体画像の歪み補正を実行することにより、被写体と投光パターンが正確に配置されない場合にも被写体画像の歪み補正が可能になるため、撮影前に被写体と投光パターンとの位置関係を正確に調整して合わすという煩わしい作業をしなくても、被写体画像の歪み補正を精度よく実行することができる。
【０１１８】
また、本発明にかかる画像入力装置（請求項２）によれば、請求項１において、位置調整手段により位置調整が行なわれた後に、前記投光手段により前記パターンが照射された被写体を被写体画像として前記撮影手段で撮影し、当該被写体画像から被写体と投光パターンとの位置関係を検出することにより、予備撮影時における３次元形状の計測処理が軽減されるので、撮影時間を短縮することができる。
【０１１９】
また、本発明にかかる画像入力方法（請求項３）によれば、撮影対象の被写体（たとえば書籍など）を撮影可能な適当な位置に配置し、その被写体に投光パターンを照射して予備撮影を行ない、そこで取得した被写体と投光パターンとの配置位置を検出し、当該検出結果にしたがって被写体と投光パターンとの配置位置を調整し、その調整された最適位置での撮影を行ない、その画像から被写体の３次元形状を計測し、さらにこの３次元形状の計測結果にしたがって被写体画像の歪み補正を実行することにより、被写体と投光パターンが正確に配置されない場合にも被写体画像の歪み補正が可能になるため、撮影前に被写体と投光パターンとの位置関係を正確に調整して合わすという煩わしい作業をしなくても、被写体画像の歪み補正を精度よく実行することができる。
【０１２０】
また、本発明にかかる画像入力方法（請求項４）によれば、請求項３において、位置調整手段により位置調整が行なわれた後に、前記投光手段により前記パターンが照射された被写体を被写体画像として前記撮影手段で撮影し、当該被写体画像から被写体と投光パターンとの位置関係を検出することにより、予備撮影時における３次元形状の計測処理が軽減されるので、撮影時間を短縮することができる。
【０１２１】
また、本発明にかかるコンピュータ読み取り可能な記録媒体（請求項５）によれば、請求項３または４に記載の画像入力方法をプログラムした記録媒体をコンピュータで読み取ることにより、請求項３または４に記載の画像入力方法をコンピュータ上で実行することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる画像入力装置の概略構成を示す説明図である。
【図２】図１における撮像部の構成を示すブロック図である。
【図３】投光器による直線状のパターン投光例を示す説明図である。
【図４】本発明の実施の形態１にかかる被写体の撮影動作を示すフローチャートである。
【図５】被写体表面上の点の３次元位置を検出する方法を示す説明図である。
【図６】分割撮影の方法を示す説明図である。
【図７】撮像部の回転による画像のあおり現象を示す説明図である。
【図８】３次元形状から被写体画像の歪み補正を行なう動作を示すフローチャートである。
【図９】図８における画像撮影座標系を示す説明図である。
【図１０】歪み補正前の撮影画像およびｕ方向の歪み補正の状態を示す説明図である。
【図１１】図１０の撮影画像に対するｖ方向への伸張処理を示す説明図である。
【図１２】図１１におけるｖ方向の歪み補正方法を示す説明図である。
【図１３】分割撮影時における撮像部回転に被写体までの距離の変化による投光パターンの状態および被写体画像の状態を示す説明図である。
【図１４】撮像部の回転角度に対応して投光パターンを変化させる例を示す説明図である。
【図１５】本発明の実施の形態２にかかる撮影動作を示すフローチャートである。
【図１６】本発明の実施の形態３にかかる投光パターンの調整例を示す説明図である。
【図１７】投光パターンフィルタの場所の違いによるパターンの変化状態およびその調整例を示す説明図である。
【図１８】本発明の実施の形態６にかかる３次元形状の推定例を示す説明図である。
【図１９】被写体の一部分の３次元形状から被写体全体の３次元形状を推定する動作などを示すフローチャートである。
【図２０】本発明の実施の形態７にかかる撮影動作を示すフローチャートである。
【図２１】本発明の実施の形態８にかかる撮影動作を示すフローチャートである。
【図２２】本発明の実施の形態９にかかる撮影動作を示すフローチャートである。
【図２３】本発明の実施の形態１０にかかる撮影動作を示すフローチャートである。
【図２４】本発明の実施の形態１１にかかる撮影動作を示すフローチャートである。
【図２５】本発明の実施の形態１２にかかる撮影動作を示すフローチャートである。
【図２６】本発明の実施の形態１２にかかるシステム構成を示す説明図である。
【図２７】被写体と投光パターンとの位置関係がずれた状態を示す説明図である。
【図２８】図３の正常な投光時における撮影状態を示す説明図である。
【図２９】図２７の不正確な投光時における撮影状態を示す説明図である。
【符号の説明】
３撮像素子
７ＩＰＰ
８メモリ
９ＭＰＵ
１０画像入力装置
１１撮像部
１２投光器
１３支持部
１４解像度指示部
１５移動部
１６撮影スイッチ
１７Ｉ／Ｆ部
１８計測位置設定方法切換スイッチ
２０投光パターンフィルタ
２１被写体
２２投光パターン
５０ターンテーブル

Claims

被写体を撮影する撮影手段と、
前記被写体上に所定のパターンを照射する投光手段と、
前記撮影手段と前記投光手段とを支持する支持手段と、
前記撮影手段にて前記被写体の予備撮影を行ない、前記被写体と前記パターンとの位置関係を検出する位置検出手段と、
前記位置検出手段の検出結果にしたがって前記被写体と前記パターンとの位置関係を、前記投光手段を前記支持手段に対して移動させて調整する位置調整手段と、
前記位置調整手段により位置調整が行なわれた後に、前記投光手段により前記パターンが照射された被写体を被写体画像として前記撮影手段で撮影し、当該被写体画像から前記被写体の３次元形状を計測する計測手段と、
前記計測手段により計測された３次元形状に基づいて、前記被写体画像の歪みを補正する補正手段と、
を備えたことを特徴とする画像入力装置。
前記位置検出手段は、予備撮影時に前記被写体と前記投光手段のパターンとの位置関係を画像の特徴から検出することを特徴とする請求項１に記載の画像入力装置。
撮影手段と投光手段とを支持する支持手段を有し、
前記撮影手段により被写体を撮影する撮影工程と、
投光手段により前記被写体上に所定のパターンを照射する投光工程と、
位置検出手段により、前記撮影手段にて前記被写体の予備撮影を行ない、前記被写体と前記パターンとの位置関係を検出する位置検出工程と、
位置調整手段により、前記位置検出工程の検出結果にしたがって前記被写体と前記パターンとの位置関係を、前記投光手段を前記支持手段に対して移動させて調整する位置調整工程と、
計測手段により、前記位置調整手段により位置調整が行なわれた後に、前記投光手段により前記パターンが照射された被写体を被写体画像として前記撮影手段で撮影し、当該被写体画像から前記被写体の３次元形状を計測する計測工程と、
補正手段により、前記計測工程で計測された３次元形状に基づいて、前記被写体画像の歪みを補正する補正工程と、
を含むことを特徴とする画像入力方法。
前記位置検出工程は、予備撮影時に前記被写体と前記投光手段のパターンとの位置関係を画像の特徴から検出することを特徴とする請求項３に記載の画像入力方法。
請求項３または４に記載の画像入力方法をプログラムし、これをコンピュータ上で実行可能とすることを特徴とするコンピュータ読み取り可能な記録媒体。