JP4164703B2 - 広視野画像入力方法及び装置 - Google Patents

Description

本発明は、撮像装置の画素数および画角が本来必要とされるものに比べて小さい場合に、撮像された複数の画像を接合して広視野画像を生成するための広視野画像入力方法および装置に関する。

雑誌や新聞、書籍等の紙面などをカメラなどの撮像装置で撮影する際に、撮像素子の画素数が、紙面上の所望の範囲を所望の解像度で撮影するには不十分なことがある。その場合、なめるようにカメラで走査しながら対象を撮影し、撮影された複数のフレーム画像を接合して高精細な広視野画像を生成することが考えられている。

特開平１１−２９８８３７号公報には、隣接するシーンの画像（部分画像）を接合して１枚の画像を生成する場合に、撮影された部分画像間の動きベクトルにもとづいて重なり領域を検出し、その重なり領域が部分画像を違和感なく接合するための幾何補正量を算出するのに十分な面積であるときに、インジケータ上にその旨を表示する画像入力装置が提案されている。ユーザは、その表示によって、部分画像間の境界が目立たない十分な画質の接合画像が撮影できたか否かを判断できる。また、特開２００４−９６１５６号公報には、画像合成が容易か否かの撮影の良否を撮影現場で即時的に確認できるようにするため、接合した結果の画像をその場でユーザに提示する画像入力システムが提案されている。ユーザは、提示された画像によって、画像上での部分画像の境界が目立たない十分な画質の接合画像が撮影できたか否かを判断できる。

ところで、複数の部分画像をつなぎ合わせて広視野画像を生成する場合において、各部分画像での単位長さあたりのサンプル数（解像度）は、カメラと対象との距離に応じて変化する。よってカメラと対象との距離が変化する場合には、接合して作られる広視野画像は、部分ごとに解像度の異なったものとなってしまう。

手ぶれなどによるカメラの傾きや距離変化にもとづく部分画像間の幾何歪みを補正して接合する方法が提案されているものの、そのようにして合成された接合画像は、部分的にぼけた箇所を含んだ画像となってしまう。さらに、一枚の部分画像内でも、カメラが傾いた場合には、解像度が至るところで異なるような画像が撮影されてしまい、接合画像の解像度むらが発生してしまう。この問題は、新聞や雑誌の紙面を撮影する場合など、比較的近くにある対象物を手動のカメラ走査（カメラを移動させて対象物を走査すること）で撮影を行なう場合に、すなわち、カメラと対象の距離が近く、かつ広角で対象物を撮影する場合により顕著になる。ここで手動のカメラ走査とは、カメラを手に持ちながら移動させて対象物を走査することをいう。

より具体的には、上述した特開平１１−２９８８３７号公報や特開２００４−９６１５６号公報に開示された技術が対象としているように、遠景をパノラマ撮影する用途においては、カメラを手動でパンしながら撮影しているときに、手ぶれなどにより、カメラの動きに微小な傾きのようなぶれが生じても、画像上では対象物が多少平行移動する程度で撮影されるだけにとどまる。従って、撮影される部分画像および生成されるモザイク画像の画質劣化への手ぶれなどの影響は小さい。しかし、カメラとの距離が比較的近い対象物を撮影する場合には、手ぶれなどの影響が大きくなってしまう。つまり、部分的に解像度が低く、ぼけを含んだような広視野画像が生成されてしまう。さらに、カメラが傾きすぎた場合には、一枚の部分画像内でも紙面上での解像度がいたるところで異なるような画像が撮影されてしまう。

カメラの動きにぶれが発生した場合でも、部分画像同士を画像間の歪みパラメータを推定することで、正しく位置合わせしてつなぎ目の目立たないモザイク画像を生成する方法が提案されているが、モザイク画像上での解像度むらを発生させないようにユーザのカメラ走査を誘導するような方法は未だ実現されていない。モザイク画像とは、新聞や雑誌などの印刷物の文字等が、微視的にはモザイク状を呈する画像のことである。

また、これらの問題点を解消するために、所望の品質で広視野画像が生成できるように、ユーザに対してカメラの走査方法を誘導する際に、どのようにカメラの位置と向きを修正したらよいかを直感的な方法でユーザに提示することが困難である。その理由は、上述したように従来の遠景を対象としたパノラマ撮影では、カメラの回転や位置の変動などのぶれによる画像の変化が、対象がわずかに回転または平行移動する程度であったのに対して、近景では、カメラを傾けると対象が歪み、カメラと対象との距離が少しでも変化すると大きさが変化して撮影されるからである。カメラの傾きと位置の変化は、部分画像の解像度に大きく影響を与える。カメラの走査を補正するのにカメラを回転させたらいいのか、位置を移動させたらいいのかをユーザが即時に把握することは困難である。

図１は、同じ対象物を走査しながら撮影した２枚の画像を示している。左側に示された画像２１が参照画像であり、右側に示された画像２２は現在撮影中の画像であるとする。これらを正しく位置合わせできるようにカメラの位置や姿勢を修正させる必要がある場合を考える。この場合、カメラを回転させたらいいのか、あるいは位置を移動させたらいいのかをユーザに即時に把握させることは、困難である。位置合わせをユーザに指示する方法として、図２に示す２つの例のように、これまでに撮影されている参照画像をこれから撮影する画像に対して半透明状に重畳させて提示し、それらがうまく整合する位置、姿勢にカメラを移動させるような方法も存在する。しかし、ユーザは、図２に示すような重畳映像を参照しただけでは、カメラ位置や姿勢をどちらにどの程度修正させたらよいのかを即時に把握することが難しい。図２における左側の画像２３は、現在撮影中の画像に前フレームの画像を重畳した画像であり、右側の画像２４は、現在撮影中の画像に前フレームの画像を少しずらして重畳した画像である。
特開平１１−２９８８３７号公報 特開２００４−９６１５６号公報 Ｚｅｌｎｉｋ−Ｍａｎｏｒ ａｎｄ Ｉｒａｎｉ， "Ｍｕｌｔｉ−Ｆｒａｍｅ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｐｌａｎａｒ Ｍｏｔｉｏｎ，" ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ， Ｖｏｌ． ２２， Ｎｏ． １０， （２０００）

本発明の目的は、撮像素子の画素数を超えた高品位な広視野画像を安定して入力できるとともに、高品位な広視野画像が入力できるように、直感的な方法で、撮像装置の手動走査を誘導できる広視野画像入力装置を提供することにある。

本発明の別の目的は、撮像素子の画素数を超えた高品位な広視野画像を安定して入力できるとともに、高品位な広視野画像が入力できるように、直感的な方法で、撮像装置の手動走査を誘導できる広視野画像入力方法を提供することにある。

本発明の第１の目的は、ユーザが撮像装置を手動走査して撮像装置が撮影対象を連続撮影したことによって得られた一連の部分画像を接合して広視野画像を生成する広視野画像入力装置であって、一連の部分画像からなる部分画像系列を受け取り、撮像装置の３次元位置と姿勢の変化の様子を時系列のカメラ位置姿勢情報として算出するカメラ位置姿勢推定手段と、カメラ位置姿勢情報から、部分画像系列における隣り合う部分画像間の幾何変形パラメータを算出する変形パラメータ推定手段と、部分画像間の変形を幾何変形パラメータによって補正しながら、部分画像の接合を行なって広視野画像を生成する画像接合手段と、カメラ位置姿勢情報に基づいて撮像装置の動きを検知し、撮像装置の動きの異常を検知した場合にカメラ走査異常検知信号を出力するカメラ走査異常検知手段と、を有する広視野画像入力装置によって達成される。

本発明の第１の目的は、ユーザの手動走査により撮影対象を連続撮影し、一連の部分画像からなる部分画像系列を取得する撮像装置と、部分画像系列に基づき、撮像装置の３次元位置と姿勢の変化の様子を時系列のカメラ位置姿勢情報として算出するカメラ位置姿勢推定手段と、カメラ位置姿勢情報から、部分画像系列における隣り合う部分画像間の幾何変形パラメータを算出する変形パラメータ推定手段と、部分画像間の変形を幾何変形パラメータによって補正しながら、部分画像の接合を行なって広視野画像を生成する画像接合手段と、カメラ位置姿勢情報に基づいて撮像装置の動きを検知し、撮像装置の動きの異常を検知した場合にカメラ走査異常検知信号を出力するカメラ走査異常検知手段と、を有する広視野画像入力装置によっても達成される。

本発明の第２の目的は、ユーザが撮像装置を手動走査して撮像装置が撮影対象を連続撮影したことによって得られた一連の部分画像を接合して広視野画像を生成する広視野画像入力方法であって、一連の部分画像からなる部分画像系列を受け取り、部分画像系列から撮像装置の３次元位置と姿勢の変化の様子を時系列のカメラ位置姿勢情報として算出する段階と、カメラ位置姿勢情報から、部分画像系列における隣り合う部分画像間の幾何変形パラメータを算出する段階と、部分画像間の変形を幾何変形パラメータによって補正しながら、部分画像の接合を行なって広視野画像を生成する段階と、カメラ位置姿勢情報に基づいて撮像装置の動きを検知し、撮像装置の動きの異常を検知した場合にカメラ走査異常検知信号を出力する段階と、を有する広視野画像入力方法によって達成される。

本発明によれば、ユーザがカメラ等の撮像装置を用いて一連の画像を撮影する際に、ユーザの走査ミスによりカメラが大きく傾いたり対象との距離が大きく変化したりして画質劣化が起きるおそれがある場合に、そのような走査ミスが起きる前にその旨をユーザに通知することができる。その結果、ユーザの走査のミスによるモザイク画像の画質劣化が低減され、安定した画質で広視野画像を得ることが可能になる。

本発明による広視野画像入力装置では、カメラの軌跡情報や姿勢情報を常時モニタしており、走査の異常が発生した際にどちらにどれだけカメラの位置や姿勢を修正すればよいかが把握できている。そのため、ユーザに対して適切な指示を提示することができ、また、ユーザに対して、カメラ等の撮像装置を用いてどのように対象を走査すれば効率的に高画質の広視野画像を生成できるかをわかりやすく誘導することが可能になる。

図１は、部分画像系列内での時間的に隣接する部分画像の例を示す図である。 図２は、２枚の画像を重畳表示することによりユーザのカメラ走査を誘導する例を示す図である。 図３は、本発明の第１の実施の形態の広視野画像入力装置の構成を示すブロック図である。 図４は、本発明の第２の実施の形態の広視野画像入力装置の構成を示すブロック図である。 図５は、第２の実施の形態の広視野画像入力装置の別の例の構成を示すブロック図である。 図６は、カメラ位置姿勢提示部による、ユーザに対する誘導のための表示例を示す図である。 図７は、カメラ位置姿勢提示部による、ユーザに対する誘導のための表示例を示す図である。 図８は、カメラ位置姿勢提示部による、ユーザに対する誘導のための表示例を示す図である。 図９は、第２の実施の形態の広視野画像入力装置のさらに別の例の構成を示すブロック図である。 図１０は、本発明の第３の実施の形態の広視野画像入力装置の構成を示すブロック図である。 図１１は、本発明の第４の実施の形態の広視野画像入力装置の構成を示すブロック図である。

符号の説明

１ 撮像装置
２ カメラ位置姿勢推定部
３ 変形パラメータ推定部
４ 広視野画像記憶部
５ 画像接合部
６ カメラ走査異常検出部
７ カメラ位置姿勢提示部
８ 絶対距離取得部
９ ぼけ補正部

（第１の実施形態）
図３は、本発明の第１の実施形態の広視野画像入力装置を示している。広視野画像入力装置は、撮像装置１が取得した複数の部分画像から、これら部分画像を接合することによって広視野画像を生成するものである。本実施形態では、ユーザは、撮像装置１を用い、手動走査によって対象となる情景を撮影するものとする。撮像装置１は、所望の画角、位置、姿勢で対象を連続撮影し、一連のデジタル化された部分画像からなる部分画像系列を取得する。撮像装置１は、例えばカメラによって、より具体的にはカメラの撮像部によって実現される。

広視野画像入力装置は、カメラ位置姿勢推定部２と変形パラメータ推定部３と広視野画像記憶部４と画像接合部５とカメラ走査異常検出部６とを備えている。カメラ位置姿勢推定部２は、撮像装置１からデジタル化された部分画像系列が入力され、受け取った部分画像系列に基づいて、カメラ（撮像装置１）の３次元位置と姿勢の変化の様子を時系列のカメラ位置姿勢情報として算出する。変形パラメータ推定部３は、カメラ位置姿勢情報もしくは部分画像系列、またはそれら両方から、部分画像系列においてそれぞれ隣り合う部分画像間の幾何変形パラメータを算出する。広視野画像記憶部４は、生成された広視野画像を記録する。

画像接合部５は、幾何変形パラメータの系列を変形パラメータ推定部３から受け取り、また、撮像装置１が出力した部分画像系列をカメラ位置姿勢推定部２を介して受け取り、部分画像間の変形を補正しながら接合を行なって広視野画像を生成し、生成した広視野画像を広視野画像記憶部４に出力する。部分画像間の変形とは、隣接する部分画像における、両者間で対応する部分の間の変化を意味する。

カメラ走査異常検知部６は、変形パラメータ推定部３を介してカメラ位置姿勢情報を受け取り、受け取ったカメラ位置姿勢情報に基づいてカメラの動きの異常を検知し、そのような異常を検知した場合に、カメラ走査異常検知信号として、ユーザに対してカメラ走査の更正を促す指示を提示する。カメラの動きの異常とは、例えば、カメラの傾き角度が大きすぎる、カメラと対象との距離が大きくなりすぎているなどである。なお、本実施形態および引き続く他の実施形態において、「カメラ」とは、撮像装置１と広視野画像入力装置とを一体化したものとして構成されることが好ましい。すなわち、撮像装置１も広視野画像入力装置の構成要素となるように構成することが好ましい。撮像装置１と広視野画像入力装置とを一体化してカメラを構成した場合には、カメラの動きの異常は、撮像装置１の動きの異常と同義になる。また、カメラの傾きや向きは、例えば、撮像装置１に備えられているレンズの光軸の傾きや向きとして表される。なお、本発明では、市販のカメラなどを撮像装置として利用するために、撮像装置１と広視野画像入力装置から分離して設けることも可能である。

次に、この広視野画像入力装置の動作を説明する。

ユーザは、対象物全体が撮影されるように、撮像装置１を用いて、任意の動きで対象物を走査する。その結果、撮像装置１からは部分画像系列が入力する。この場合、撮像装置１は、撮影開始を指示するユーザ操作によって動画撮影を開始するもの、連写撮影するもの、毎回撮影ボタンを押すことによって静止画の系列を得るものの何れでもよい。撮像装置１は、連写撮影や静止画撮影の際に、本来の撮影タイミング以外の画像も、カメラ位置姿勢推定部２へ出力してもよい。

カメラ位置姿勢推定部２は、撮像装置１が出力する動画または静止画系列を部分画像系列として受け取り、対象物が画像上でどのように移動したり変形して撮影されたかを判断して、対象物に対するカメラの姿勢や位置の変化を計算する。カメラの姿勢や位置の時系列をカメラ位置姿勢情報Ｐ＝｛Ｘ_１，Ｘ_２，Ｘ_３，θ_１，θ_２，θ_３｝と呼ぶことにする。カメラ位置姿勢情報の基準点は、３次元空間上の任意の点としてよいが、例えば、最初のフレームの画像中心に対応する接合画像平面上での座標を基準点とすることができる。そして、カメラ位置姿勢情報は、基準点から水平、垂直、法線方向をそれぞれ座標軸とした場合のカメラの光学中心位置（カメラ位置）、およびカメラの光軸と各座標軸とのなす角度（カメラ姿勢）で表せばよい。

カメラ位置姿勢推定部２は、撮像された画像上の任意の４点、あるいはそれ以上の点が次のフレームの画像においてどのように移動したかを検出することによって、カメラの姿勢や位置の変化を計算することができる。ある画像における点が与えられたときに、次のフレームの画像において検出対象となる点を対応点と呼ぶ。例えば、部分画像上での点（ｘ_１，ｙ_１）を中心とする近傍の矩形領域のパターンをテンプレートとして、テンプレート画像を後続の部分画像上で探索し、最もマッチする点（ｘ_１’，ｙ_１’）を点（ｘ_１，ｙ_１）の対応点であるとする。

一例を示すと、上記の処理を画像上の異なる４点に対して実行し、画像上での４点（（ｘ_１，ｙ_１），（ｘ_２，ｙ_２），（ｘ_３，ｙ_３），（ｘ_４，ｙ_４））が後続の画像上でそれぞれ（（ｘ_１’，ｙ_１’），（ｘ_２’，ｙ_２’），（ｘ_３’，ｙ_３’），（ｘ_４’，ｙ_４’））に移動していたとする。画像間の射影変換行列をＨで表すとすると、
Ｈ＝［［ｈ_１１ ｈ_１２ ｈ_１３］ ［ｈ_２１ ｈ_２２ ｈ_２３］ ［ｈ_３１ ｈ_３２ ｈ_３３］］
であらわされる。ｈ_３３＝１となるように射影変換行列Ｈの各要素を正規化し１次元に並べてベクトル表現すると、その行列は、
Ｈ＝［ｈ_１１ ｈ_１２ ｈ_１３ ｈ_２１ ｈ_２２ ｈ_２３ ｈ_３１ ｈ_３２ １］^Ｔ＝Ｇ^−１・Ｕ
で求められる。ここで、

とする。カメラ位置姿勢推定部２は、画像上での対応点数が多い場合には、最小二乗法でＨを求めることが可能である。このときのカメラの外部パラメータ行列Ｍ_１は、
Ｍ_１＝Ｍ_０・Ｈ_０１
で求められる。ここで、Ｍ_０は最初のフレームのカメラ位置姿勢情報に対応し、計測が困難である場合には、Ｍ_０の代わりにＰ_０＝［０，０，１，０，０，０］などを用いてもよい。Ｈ_０１は最初のフレームと次のフレームの画像間の射影変換行列Ｈである。また、任意のフレームの外部パラメータ行列Ｍは、
Ｍ＝Ｍ_０・Ｈ
で求められる。ここでの行列Ｈは、最初のフレームと当該フレームの画像間の射影変換行列であるとする。このとき、Ｍはカメラ位置姿勢情報Ｐの要素を用いて、

と表されるので、適宜、Ｐの要素を求めることが可能である。カメラ位置姿勢推定部２は、上記の方法などで得られるカメラ位置姿勢情報Ｐを部分画像が入力されるごとに繰り返し算出し、算出するたびに変形パラメータ推定部３およびカメラ走査異常検知部６に出力する。

変形パラメータ推定部３は、部分画像もしくはカメラ位置姿勢情報、またはそれら両方を入力とし、違和感なく部分画像の接合を行なうために、部分画像の幾何変形を補正するための幾何変形パラメータを算出する。対象が平面であるとすると、部分画像系列を入力する場合、部分画像間の幾何変形を平面射影変換として、８個のパラメータを推定する。接合画像を生成する平面が既知である場合には、接合平面との間の射影変換パラメータとして算出してもよい。数フレーム分の画像を観測することにより、対象平面の向きを知ることが可能になる。

カメラ位置姿勢情報を入力とする場合も、同様に、接合画像平面への平面射影変換パラメータを容易に計算可能である。カメラ位置姿勢情報と部分画像とが利用可能なときには、変形パラメータ推定部３は、カメラ位置姿勢情報より求めた平面射影変換パラメータを部分画像に適用し、接合画像平面上での誤差を補正した平面射影パラメータの精度を改善する計算を行ってもよい。あるいは、カメラ位置姿勢推定部２においてカメラ位置姿勢情報Ｐを算出する過程で得られた射影変換行列Ｈを、幾何変形パラメータとして、そのまま用いてもよい。

画像接合部５は、変形パラメータ推定部３が出力する幾何変形パラメータを、撮像装置１がカメラ位置姿勢推定部２を介して出力する部分画像に適用して、結果の画像を広視野画像として所定の位置に書き込むことで接合を行う。このとき、既に生成が完了している広視野画像と、幾何変形して入力されてきた部分画像との間の重複部分については、既定の混合比を用いてブレンディング処理してもよい。

カメラ走査異常検知部６は、カメラ位置姿勢推定部２が出力するカメラ位置姿勢情報を常時監視する。初期のカメラ位置や姿勢と比較して、カメラが対象物から既定値よりも遠方に遠ざかっている場合、または、パン角度、チルト角度が既定値よりも大きくなっている場合には、カメラ走査のミスとして、カメラ走査異常検知信号を出力する。そして、カメラ走査異常検知信号の出力に応じてユーザに報知がなされる。例えば、接合画像の解像度の変動を最高解像度の１割程度などと定める場合は、カメラと対象間の距離の変動の許容範囲は、初期のフレームの距離との比が１．１以内であり、画角が２０度であるとすれば角度変動の許容範囲は２２度程度以内ということになる。カメラ走査異常検知部６は、距離の変動や角度の変動が許容範囲を超えたことを検知すると、カメラ走査異常検知信号を出力する。実際には、距離比の角度いずれかがここ述べた許容範囲の上限に達すると、その時点で解像度の変動も許容範囲の限界に達してしまうため、そのような上限に達する前に報知できるようにしてもよい。例えば、距離比、角度ともに、ぶれ量７割、すなわち許容範囲の７割で警告するとした場合、それぞれしきい値は１．０７、１５．４度になる。

また、あらかじめ撮像装置１から入力された部分画像系列、またはカメラ位置姿勢情報を用いて画像の接合を行なうことを保留し、既定の時間が経過したか、または対象平面の向きの精度が得られることが確認された場合に、接合を開始するようにしてもよい。

第１の実施形態の広視野画像入力装置によれば、ユーザのカメラの走査ミスにより、カメラが大きく傾いたり、対象との距離が大きく変化したりした場合に発生するモザイク画像の画質劣化を、劣化が発生しそうな走査ミスが起きる前にユーザに通知することが可能になる。

（第２の実施形態）
図４は、本発明の第２の実施形態の広視野画像入力装置を示している。図４に示す広視野画像入力装置は、第１の実施形態の広視野画像入力装置に対してカメラ位置姿勢提示部７を付加した構成のものである。カメラ位置姿勢提示部７は、カメラ走査異常検知部６からカメラ走査異常検知信号を受け取るとともに、カメラ位置姿勢推定部２からのカメラ位置姿勢情報を受け取る。ここでは、カメラ走査異常検知信号は、どのような走査異常が起きているかについての情報を含むカメラ走査異常情報であることが好ましい。

カメラ位置姿勢提示部７は、以下の（ａ）〜（ｄ）の４通りの処理のうち、いずれか１つ以上の処理を行う：
（ａ）カメラと撮影対象間の相対位置の変化もしくはカメラの姿勢の変化、または相対位置の変化および姿勢変化を視覚的に提示する；
（ｂ）画像の劣化に影響を与える程度の相対位置および／または姿勢になったときに警告を表示する；
（ｃ）カメラをどちらの方向および角度にどれだけの修正を行なえば適切な撮影ができるかを指示する修正量をゲージや矢印などで表示する；
（ｄ）相対位置の変化量および／または姿勢の変化量を、あらかじめ決められている特定の音程の発信音により提示する。

なお、カメラ走査異常検知信号（カメラ走査異常情報）を使用しない場合には、図５に示すように、カメラ位置姿勢提示部７は、カメラ走査異常検知部６からの情報を受け取らなくてもよい。

次に、第２の実施形態の広視野画像入力装置の動作について説明する。上記（ａ）の場合には、一例としてデジタルスチルカメラに設けられているファインダや表示部（モニタ）などの表示装置（図示せず）が、カメラ位置姿勢推定部７から入力されたカメラ位置姿勢情報をもとにカメラの向きや姿勢を表示する。ここで、例えば、カメラの姿勢情報のみを表示してもよい。この場合、図６に例示するように、フレームのアスペクト比に対応した矩形２０２と光学中心２０１を示すマークおよび矩形の各頂点と光学中心を結ぶ線分を描画すると、ユーザは姿勢情報を把握しやすくなる。なお、図６には、平面形状が矩形であるデジタルスチルカメラなどのカメラ装置が例示されている。

カメラが鉛直下方向を向いている場合｛θ_１＝０，θ_２＝０，θ_３＝０｝には、光学中心２０１を示すマークを矩形２０２の中心に表示する。θが０でない場合には、その大きさに応じて、図７に例示するように光学中心２０１を固定のまま、矩形２０２の各頂点２０３，２０４，２０５，２０６を変化させて表示させる。θ_３は画像の解像度に影響しないので、θ_１、θ_２の大きさに応じて頂点位置をＵ_ｎ＝Ｕ_ｎ＋ｋ・θ_ｎ（ｎ＝１，２）のように移動させるだけでもよい。あるいは、θ_３および対象までの距離Ｘ_３を含めたカメラ位置姿勢情報を表す行列Ｍにおいて、Ｘ_１およびＸ_２を０とした上でその逆行列を求め、各頂点に対応する座標から作るベクトルｃ（ｕ_１，ｕ_２，１）に求めた逆行列を乗算して算出される位置に頂点位置を移動させてもよい。ここでｃは、矩形表示のスケールをコントロールするパラメータである。

また、カメラ走査異常検知部６からカメラ走査異常検知情報を受信した場合には、上記の（ｂ），（ｄ）のように、異常検知情報を、表示画面上すなわちファインダや表示部に表示し、あるいは発信音などでユーザに提示すると、そのときのカメラ姿勢をどちらに修正したらよいかが把握しやすくなる。例えば、上記の例では、ユーザは、カメラ走査異常の提示が消滅するように、光学中心マーク２０２が矩形２０２の中心方向に来る方向にカメラ姿勢を修正し、カメラ走査を行えばよい。

さらに、上記（ｃ）の一例として、カメラ走査が速すぎるなどの理由で部分画像が相互に重複する部分なく撮影されている場合には、表示装置において、図８に示すように、現フレーム位置に対する、最後に重複を有して撮影されたフレームの方向を、矢印２０７で示してもよい。なお、静止画撮影による広視野画像生成が行われている場合も、前回の部分画像の撮影が行なわれてから次の撮影が行なわれるまでの期間中において、カメラ位置姿勢推定が常時行なわれているようにしておいてもよい。この場合、最後に正しく重複を有して撮影されたフレームからの平行移動量Ｘ_１、Ｘ_２に応じて、光学中心マーク２０１から矢印の先端２０８までの距離を変えて表示してもよい。このように長さを変えて表示することにより、ユーザは、カメラ走査をこれまで走査してきた方向にどれだけ戻せばよいかを理解しやすくなる。また、矩形２０２の姿勢の補正情報と併用すると、ユーザは、姿勢を修正するべきか、位置を修正するべきかを直感的に把握しやすくなる。

ユーザへのカメラ走査異常の提示を視覚的に行なわない場合は、上記（ｄ）のように、理想的な状態からのカメラ位置姿勢情報の逸脱の度合いに応じて、発信音の音程を変化させる。例えば、カメラ位置姿勢情報の６次元ベクトルのユークリッド距離に比例させて、発信音の周波数を高低させてもよい。これを上記の（ａ）〜（ｃ）の提示形態と併用してもよい。なお、発信音は、例えば、本発明が適用される装置に内蔵されているサウンド出力部から出力される。

また、部分画像間に重複があり、かつ、カメラ走査異常が報知されていないとき、ユーザが撮影の指示を撮像装置１に行なわなくても自動で撮影を行なえるようにしてもよい。例えば、図９に示すように、撮像装置１が、変形パラメータ推定部３から幾何変形パラメータを受信できるようにし、カメラ走査異常検知部６からカメラ走査異常検知情報を受信できるようにしてもよい。具体的には、撮像装置１は、幾何変形パラメータによって、部分画像間の対象物の変形量があらかじめ決められている既定値の範囲に収まっていることを確認し、かつ、カメラ走査異常検知部６からカメラ走査異常検知情報が入力していないときには、ユーザが撮影の指示を入力しなくても、自動的に連続撮影を行う。ここで、変形パラメータ推定部３が撮像装置１に幾何変形パラメータを出力するのではなく、幾何変形パラメータによって部分画像間の対象物の変形量があらかじめ決められている既定値の範囲に収まっていることを確認している状態では、撮像可能信号を撮像装置１に出力するようにしてもよい。その場合には、撮像装置１は、撮像可能信号が入力され、かつ、カメラ走査異常検知情報が入力していないときに、ユーザが撮影の指示を入力しなくても自動的に連続撮影を行う。

これにより、ユーザは、撮影のタイミングを見計らう必要がなくなり、カメラの走査が正しく行なえているかだけに留意して広視野画像の撮影が行なえる。なお、撮影の指示とは、例えば、本発明が適用されるカメラ装置に設けられているシャッターボタンを押下することである。カメラ装置に搭載されているマイクロコンピュータ等は、シャッターボタンの押下に応じて撮像装置１に撮影を行わせる。

（第３の実施形態）
図１０は、本発明の第３の実施形態の広視野画像入力装置を示している。この広視野画像入力装置は、上述した第１の実施形態または第２の実施形態の広視野画像入力装置において、絶対距離取得部８が付加された構成のものである。絶対距離取得部８は、カメラと対象物との距離を計測して、計測した距離を示す距離情報をカメラ走査異常検知部６に出力する。このような絶対距離取得部８は、例えばカメラと対象間の距離を計測できる距離センサで実現される。なお、図１０に示した構成は、第２の実施形態の広視野画像入力装置に対して絶対距離取得部８を付加したものであるが、図３に示した第１の実施形態の広視野画像入力装置に対して絶対距離取得部８を付加してもよい。

また、第３の実施形態では、カメラ走査異常検知部６は、対象表面上において、あらかじめ設定されているサンプリング周波数または解像度（画素数）を超えた撮影が行なえているかを監視し、それを下回る場合にはカメラ走査異常情報をカメラ位置姿勢提示部７に出力する。

次に、第３の実施形態の広視野画像入力装置の動作について説明する。

上述した第１および第２の実施形態においては、部分画像系列の最初のフレームのカメラ位置姿勢情報Ｐ_０の計測が困難である場合には、Ｐ_０の要素Ｘ_３を１とするなどとしていた。しかし、本実施形態では、絶対距離取得部８によって、絶対的な距離としてＸ_３が測定される。したがって、対象表面上での長さと、それが画像上での何画素に相当するかが計測可能になる。換言すれば、距離情報に基づいて部分画像の解像度を判定することができる。そして、単位長さあたりの画素数が既定のしきい値を下回る場合にカメラ走査異常と判断し、ユーザに報知することが可能になる。

よく知られているように、画像での解像度は、１インチすなわち２５．４ｍｍあたりのドット数で表される。ｄｐｉは、１インチあたりのドット数を表す単位である。

例えば、既定値としての必要解像度が４００ｄｐｉと指定されている場合についての動作例を示す。同一の部分画像上のある２点に対応するＡ_１＝（ｘ_１，ｙ_１，１）、Ａ_２＝（ｘ_２，ｙ_２，１）の間の対象物表面上での距離ｄは、Ｐ＝｛Ｘ_１，Ｘ_２，Ｘ_３，θ_１，θ_２，θ_３｝に対応する外部パラメータ行列Ｍにより、
ｄ＝‖Ｍ^−１Ａ_２−Ｍ^−１Ａ_１‖
で得られる。ここで‖・‖は、ノルムを表わしている。また、３次元ベクトルＭ^−１Ａ_２およびＭ^−１Ａ_１は、第３要素によって第１要素及び第２要素が正規化されているものとする。また、距離ｄやｘ_１，ｘ_２，ｙ_１，ｙ_２の座標値はｍｍを単位として記述されているものとする。
すると、部分画像上でＡ_１およびＡ_２を結ぶ線上にある１インチあたりの画素数は、

となり、これが４００を下回るときにカメラ走査が異常であるとすることができる。このような計算を各部分画像、または撮影と撮影の間のフレーム画像に適用することで、走査の異常を検知できる。

なお、第１の実施形態の場合と同様に、４００ｄｐｉが指定されているとして４００ｄｐｉを下回ったときに報知するのではなく、例えば、それより既定値だけ大きな値（例えば４４０など）を下回った場合に報知するようにすることで、撮影の失敗を未然に防ぐことができるようにしてもよい。その他の処理部の動作については、他の実施形態と同様である。

（第４の実施形態）
図１１は、本発明の第４の実施形態の広視野画像入力装置を示している。この広視野画像入力装置は、第１の実施形態の広視野画像入力装置に対して、ぼけ推定部９を付加した構成のものである。ぼけ推定部９は、カメラ位置姿勢推定部２が出力するカメラ位置姿勢情報を入力として、撮像装置１で撮影される部分画像に含まれるぼけ関数を推定し、推定されたぼけ関数に応じて撮像装置１からの入力される部分画像に対してぼけ補正を行い、画像接合部５に出力する。

次に、この広視野画像入力装置の動作について説明する。

ぼけ推定部９は、変形パラメータ推定部３から入力した射影変換行列Ｈにより、画像上での画素の移動速度を計測する。例えば、画像上の１点がＨにより後続フレームでどの座標に移動するかを計算し、それらの間の距離を２次元ベクトルＤ＝（Ｄ_ｘ，Ｄ_ｙ）とする。２フレームが撮影された時間間隔をＴとすると、速度はＤ／Ｔとなる。例えば、ぼけ関数として、２次元の正規分布Ｎ（０，Σ）を仮定し、

などとしてもよい。ここで、ｋＳは比例定数である。本実施の形態の広視野画像入力方式が組み込まれているカメラのシャッタースピードが既知である場合は、シャッタースピードをＳとして用い、Σの算出に反映させてもよい。

ぼけを除去するための復元フィルタＫとしては、例えば、
Ｋ＝Ｎ／（｜Ｎ｜２＋Γ）
を用いる。Γは既定の定数である。撮像装置１から入力される部分画像系列は、全てこの復元フィルタを通過した後に画像接合部５に出力される。その他の処理部での処理については、他の実施の形態と同様である。

以上、本発明の好ましい実施形態を説明したが、これらの実施形態の変形例として、以下のようなものが考えられる。例えば、上述した各実施形態の広視野画像入力装置において、初期のカメラ姿勢が未知である場合に、画像接合部５が、部分画像の系列から姿勢情報を求め、事後に対象物を閲覧するのに適した対象物の向きを求め、これに合わせて接合画像の向きを調整する処理を実行するように構成してもよい。

また、第１、第２および第３の実施形態の広視野画像入力装置において、最初のフレームに対応するカメラ位置姿勢情報Ｐ_０のうち姿勢情報｛θ_１，θ_２，θ_３｝については、Ｚｅｌｎｉｋ−ＭａｎｏｒとＩｒａｎｉによって提案された方法（Ｚｅｌｎｉｋ−Ｍａｎｏｒ ａｎｄ Ｉｒａｎｉ， “Ｍｕｌｔｉ−Ｆｒａｍｅ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｐｌａｎａｒ Ｍｏｔｉｏｎ，” ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ， Ｖｏｌ． ２２， Ｎｏ． １０， （２０００））などによって、２フレーム以上の撮影が終了した後に算出することが可能である。最初のフレームではＰ_０＝［０，０，１，０，０，０］を想定し、数フレームの撮影が行なわれた後にＰ_０を［０，０，１，θ_１，θ_２，θ_３］とし、対応する外部パラメータ行列Ｍ_０を用いて修正して表示を行なうことで、より正しく姿勢の監視を行なうことが可能になる。

また、部分画像系列の撮影中は、Ｐ_０＝［０，０，１，０，０，０］としておき、全てのフレームの撮影が終了した後に、Ｐ_０を［０，０，１，θ_１，θ_２，θ_３］と修正することで、最初のフレームにおけるカメラの傾きを補正した広視野画像を生成できるようにしてもよい。また、初期のカメラ姿勢が既定の精度で計算されるまで、接合処理を開始せず、得られた姿勢情報をもとに、事後に対象物を閲覧するのに適した対象物の向きが決定された後に、接合のための撮影を開始するようにしてもよい。

さらに、カメラ位置姿勢推定部２の処理が失敗したときに画像接合部５がそれまでの接合画像を保留し、新規に別の接合画像を生成開始し、最終的な部分画像の取得作業の終了が撮像装置１より伝えられたときに、現時点までに保留されている接合画像の全てに対して、相互の接合処理を行なうことで、それまでに失敗した接合処理を復旧させるようにしてもよい。

なお、上記の各実施形態は、ビデオカメラ、デジタルスチルカメラ、カメラを搭載した携帯電話機、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、パーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ， Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ：個人向け携帯型情報通信機器）等の撮像機能を有する携帯端末装置、またはアクティブカメラ、ロボットなど撮像範囲を制御できる撮像装置に適用することができる。

上記の携帯端末装置または撮像装置に適用する場合に、上記の各実施の形態における撮像装置１および広視野画像記憶部以外の各処理部は、装置に搭載されているマイクロコンピュータ、具体的には、それぞれの機能を実現するプログラムに従って動作するＣＰＵによって実現可能である。それぞれの機能とは、カメラ位置姿勢推定部２を実現するためのカメラ位置姿勢推定機能、変形パラメータ推定部３を実現するための変形パラメータ推定機能、画像接合部５を実現するための画像接合機能、カメラ走査異常検知部６を実現するためのカメラ走査異常検知機能、カメラ位置姿勢提示部７を実現するためのカメラ位置姿勢提示機能、距離センサ等とともに絶対距離取得部８を実現するための絶対距離取得機能、ぼけ補正部９を実現するためのぼけ補正機能である。

したがって、本発明は、そのようなプログラム、そのようなプログラムを格納した記録媒体及びプログラムプロダクトも、その範疇として含むものである。

本発明は、上記のビデオカメラ、デジタルスチルカメラ等の装置、およびそれらを含んだシステムに適用することができる。

Claims (13)

1. ユーザが撮像装置を手動走査して前記撮像装置が撮影対象を連続撮影したことによって得られた一連の部分画像を接合して広視野画像を生成する広視野画像入力装置であって、
   前記一連の部分画像からなる部分画像系列を受け取り、前記撮像装置の３次元位置と姿勢の変化の様子を時系列のカメラ位置姿勢情報として算出するカメラ位置姿勢推定手段と、
   前記カメラ位置姿勢情報から、前記部分画像系列における隣り合う部分画像間の幾何変形パラメータを算出する変形パラメータ推定手段と、
   前記部分画像間の変形を前記幾何変形パラメータによって補正しながら、前記部分画像の接合を行なって広視野画像を生成する画像接合手段と、
   前記カメラ位置姿勢情報に基づいて前記撮像装置の動きを検知し、前記撮像装置の動きの異常を検知した場合にカメラ走査異常検知信号を出力するカメラ走査異常検知手段と、
   を有する広視野画像入力装置。
2. 前記カメラ位置姿勢推定手段からの前記カメラ位置姿勢情報に基づいて、
   （ａ）前記撮像装置と撮影対象間の相対位置の変化もしくは前記撮像装置の姿勢の変化、または相対位置の変化および姿勢変化を視覚的に提示する
   （ｂ）画像の劣化に影響を与える程度の前記相対位置または前記姿勢になったときに警告を表示する
   （ｃ）前記撮像装置をどちらの方向および角度にどれだけの修正を行なえば所望の撮影ができるかを指示する修正量を可視表示する
   （ｄ）前記相対位置の変化量もしくは前記姿勢の変化量、または双方を発信音の音程により提示する
   のうちの１つ以上の処理を行うカメラ位置姿勢提示手段を備える、請求項１に記載の装置。
3. 前記撮影対象との間の距離を計測し、距離情報を前記カメラ走査異常検知手段に出力する絶対距離取得手段を備え、
   前記カメラ走査異常検知手段は、前記距離情報に基づいて前記部分画像の解像度を判定し、前記解像度が既定値に達しない場合に、前記カメラ走査異常信号をカメラ位置姿勢提示手段に出力するように構成されている
   請求項１または２に記載の装置。
4. 前記撮像装置で撮影される部分画像に含まれるぼけ関数を前記カメラ位置姿勢情報に基づいて推定し、推定された前記ぼけ関数に応じて、前記撮像装置から入力される前記部分画像を補正して画像接合手段に出力するぼけ補正手段を備える、請求項１に記載の装置。
5. ユーザの手動走査により撮影対象を連続撮影し、一連の部分画像からなる部分画像系列を取得する撮像装置と、
   前記部分画像系列に基づき、前記撮像装置の３次元位置と姿勢の変化の様子を時系列のカメラ位置姿勢情報として算出するカメラ位置姿勢推定手段と、
   前記カメラ位置姿勢情報から、前記部分画像系列における隣り合う部分画像間の幾何変形パラメータを算出する変形パラメータ推定手段と、
   前記部分画像間の変形を前記幾何変形パラメータによって補正しながら、前記部分画像の接合を行なって広視野画像を生成する画像接合手段と、
   前記カメラ位置姿勢情報に基づいて前記撮像装置の動きを検知し、前記撮像装置の動きの異常を検知した場合にカメラ走査異常検知信号を出力するカメラ走査異常検知手段と、
   を有する広視野画像入力装置。
6. 前記カメラ位置姿勢推定手段からの前記カメラ位置姿勢情報に基づいて、
   （ａ）前記撮像装置と撮影対象間の相対位置の変化もしくは前記撮像装置の姿勢の変化、または相対位置の変化および姿勢変化を視覚的に提示する
   （ｂ）画像の劣化に影響を与える程度の前記相対位置または前記姿勢になったときに警告を表示する
   （ｃ）前記撮像装置をどちらの方向および角度にどれだけの修正を行なえば所望の撮影ができるかを指示する修正量を可視表示する
   （ｄ）前記相対位置の変化量もしくは前記姿勢の変化量、または双方を発信音の音程により提示する
   のうちの１つ以上の処理を行うカメラ位置姿勢提示手段を備える、請求項５に記載の装置。
7. 変形パラメータ推定手段が、部分画像の間の変形量が既定値の範囲内であるとき前記撮像装置に撮像可能信号を出力し、
   前記カメラ走査異常検知手段が、前記カメラ走査異常検知信号を前記撮像装置に出力し、
   前記撮像装置が、前記撮像可能信号を受信し、かつ、前記カメラ走査異常信号を入力していないときに自動的に撮像を行なうように構成された、
   請求項５または６に記載の装置。
8. 前記撮影対象との間の距離を計測し、距離情報を前記カメラ走査異常検知手段に出力する絶対距離取得手段を備え、
   前記カメラ走査異常検知手段は、前記距離情報に基づいて前記部分画像の解像度を判定し、前記解像度が既定値に達しない場合に、前記カメラ走査異常信号をカメラ位置姿勢提示手段に出力するように構成されている
   請求項５または６に記載の装置。
9. 前記撮像装置で撮影される部分画像に含まれるぼけ関数を前記カメラ位置姿勢情報に基づいて推定し、推定された前記ぼけ関数に応じて、前記撮像装置から入力される前記部分画像を補正して画像接合手段に出力するぼけ補正手段を備える、請求項５に記載の装置。
10. 前記画像接合手段は、初期のカメラ姿勢が未知である場合に、前記部分画像系列から姿勢情報を求め、事後に対象物を閲覧するのに適した対象物の向きを求め、求めた対象物の向きに合わせて接合画像の向きを調整するように構成されている、請求項１乃至９のいずれか１項に記載の装置。
11. ユーザが撮像装置を手動走査して前記撮像装置が撮影対象を連続撮影したことによって得られた一連の部分画像を接合して広視野画像を生成する広視野画像入力方法であって、
    前記一連の部分画像からなる部分画像系列を受け取り、前記部分画像系列から前記撮像装置の３次元位置と姿勢の変化の様子を時系列のカメラ位置姿勢情報として算出する段階と、
    前記カメラ位置姿勢情報から、前記部分画像系列における隣り合う部分画像間の幾何変形パラメータを算出する段階と、
    前記部分画像間の変形を前記幾何変形パラメータによって補正しながら、前記部分画像の接合を行なって広視野画像を生成する段階と、
    前記カメラ位置姿勢情報に基づいて前記撮像装置の動きを検知し、前記撮像装置の動きの異常を検知した場合にカメラ走査異常検知信号を出力する段階と、
    を有する広視野画像入力方法。
12. ユーザが撮像装置を手動走査して前記撮像装置が撮影対象を連続撮影したことによって得られた一連の部分画像を入力とするコンピュータに、
    前記一連の部分画像からなる部分画像系列を受け取り、前記部分画像系列から前記撮像装置の３次元位置と姿勢の変化の様子を時系列のカメラ位置姿勢情報として算出する処理と、
    前記カメラ位置姿勢情報から、前記部分画像系列における隣り合う部分画像間の幾何変形パラメータを算出する処理と、
    前記部分画像間の変形を前記幾何変形パラメータによって補正しながら、前記部分画像の接合を行なって広視野画像を生成する処理と、
    前記カメラ位置姿勢情報に基づいて前記撮像装置の動きを検知し、前記撮像装置の動きの異常を検知した場合にカメラ走査異常検知信号を出力する処理と、
    を実行させるプログラム。
13. ユーザが撮像装置を手動走査して前記撮像装置が撮影対象を連続撮影したことによって得られた一連の部分画像を入力とするコンピュータが読み取り可能な記録媒体であって、
    前記コンピュータに、
    前記一連の部分画像からなる部分画像系列を受け取り、前記部分画像系列から前記撮像装置の３次元位置と姿勢の変化の様子を時系列のカメラ位置姿勢情報として算出する処理と、
    前記カメラ位置姿勢情報から、前記部分画像系列における隣り合う部分画像間の幾何変形パラメータを算出する処理と、
    前記部分画像間の変形を前記幾何変形パラメータによって補正しながら、前記部分画像の接合を行なって広視野画像を生成する処理と、
    前記カメラ位置姿勢情報に基づいて前記撮像装置の動きを検知し、前記撮像装置の動きの異常を検知した場合にカメラ走査異常検知信号を出力する処理と、
    を実行させるプログラムを格納した記録媒体。