JP4579980B2 - 一続きの画像の撮像 - Google Patents

Description

本発明は、撮像デバイスで一続きの画像を撮像し、前記画像をディジタルフォーマットで保存する方法に関し、この方法は、少なくとも１つの画像を撮像しかつ保存した後で、前記少なくとも１つの保存された画像につなぎ合わせる（ｓｔｉｔｃｈ）ことができる画像を撮像することができるようにユーザを案内して撮像デバイスを動かすステップを含む。本発明はまた、一続きの画像を撮像する撮像デバイスに関する。

画像つなぎ合わせは、一続きで撮られたディジタル画像を部分的に重ねることで、例えば１つのパノラマ画像又は３６０度仮想画像を形成することができる技術である。パノラマ効果を実現するために、ディジタルカメラをコンピュータと接続して機能させることが多くの場合行われる。一続きの部分的に重なるディジタル画像は、ディジタルカメラで撮像され、カメラ又は外部記憶媒体に保存される。次に、保存された画像は、その後、コンピュータに転送され、コンピュータ内で２つ以上の画像を１つのパノラマ画像に互いに接合するつなぎ合わせプロセスが、それらの画像の縁の境界を接合することによって行われ得る。つなぎ合わせプロセスは、十分な計算リソースが利用可能な場合、カメラ自体で行うこともできる。

一般に、つなぎ合わされたパノラマ画像を生成するそのようなつなぎ合わせ用途で使用される方法は、重ねられる画像を正確に合わせるために大量の画像処理を必要とする。つなぎ合わせプロセス中に、つなぎ合わせアルゴリズムは、概ね画像ごとにカメラの実際の位置をエミュレート、すなわち作り直すために、画像処理を使用する。さらに、縁（edge）のない均一な品質を保証するために、画像の何らかの色調整も行われる。いくつかの場合には、目立つ境界がないことを保証するために、フレーム間でその縁がブレンド（blend）される。これによって、処理の要求がさらに増える。

そのようなシステムの１つは、欧州特許第４６２９０５号として知られている。欧州特許第４６２９０５号では、電子カメラが、対象の画像を検出するセンサと、カメラの三次元の位置及び方位角、焦点調節量及びズーム量を検出するセンサとを含んでいる。各画像は、画像が撮像されたときにカメラがあった三次元位置に関する情報及び画像に関する他の種類の情報と共に、フロッピー（登録商標）ディスクなどの記録媒体に記録される。画像再生では、記録媒体に記録されたデバイス画像は、画像と共に保存された、複数の記録された画像間の相互関係を示す情報に基づいて再生される。したがって、位置情報が、それらの画像を１つのパノラマ画像に合成するのに役立つように使用され、その結果、位置が画像から計算される必要がないため、処理要求はいくらか減少する。

従来の画像つなぎ合わせの基本的な概念は、画像解析に基づいており、この画像解析では、２つの画像の間で類似パターンが識別される。最適なつなぎ合わせを行うために、その２つの画像を、回転し、拡大及び縮小し、また平行移動することができる。しかし、つなぎ合わせをうまく行うためには、２つの画像が実際にいくらか重なっていることが重要である。それらの画像が重なっていない場合、つなぎ合わせアルゴリズムは、２つの十分につなぎ合わせることができない画像をつなぎ合わせようとすることになるため、上手くいかないであろう。優れたつなぎ合わせアルゴリズムは、それらの画像をつなぎ合わせることができないことをユーザに知らせるが、他のアルゴリズムはとにかく画像をつなぎ合わせようとし、結局は欠陥のあるパノラマ画像になる。

しかしながら、ユーザが、個々の画像を撮像するときに、それらの画像が実際に十分に重なっているかどうかを知ることは、非常に難しい場合が多い。一続きの画像を撮ることはできても、実際のつなぎ合わせはまだ行われていないので、それらの画像が合うかどうか分からないのである。

画像を撮像するときにそれらの画像が十分に重なるかどうかを知るのに役立つものとして、カメラのファインダのプレビューストリップによってユーザを案内することが、欧州特許第１３０９１７１号に提案されている。例えば前の画像の右部分のストリップが、ファインダの現在のビューの左部分に対して遠近法的に修正されかつ重ね合わされる。前のストリップは、現在の画像と前の画像を位置合わせする際にユーザを手助けして、現在のビューがプレビューストリップに合うまでカメラを動かすようにユーザを案内する。そのとき、カメラは、次の画像を撮像するための望ましい位置又は向きにあるはずであるから、画像は、つなぎ合わせプロセスが行われるのに十分に重なっている。

このシステムは多くの状況で大いに助けになるものであるが、また限界もある。木の葉、風景又は多くの似た窓のあるビルなどの多くの種類の対象に関して、プレビューストリップと現在のビューが実際に互いに重なっている否かを知ることは非常に困難なことがある。カメラが非常に大きく動かされて、現在のビューが、前の画像とつなぎ合わせることができるビュー範囲の完全に外にある場合、ユーザは、プレビューストリップに合うものを何もファインダで見ることができないので、ユーザは、つなぎ合わせ可能な範囲に戻るためにどの方向にカメラを動かすべきか分からない。さらに、画像は、予め決められた順序で、例えば左から右に、撮像しなければならないので、このシステムは余り順応性がない。ユーザが、前の画像の右ではなく前の画像の左に画像を撮ることに決めた場合、プレビューストリップは役に立たない。
欧州特許第４６２９０５号 欧州特許第１３０９１７１号

したがって、本発明の目的は、撮像した画像の対象と無関係に使用することができ、かつ、撮像デバイスがつなぎ合わせ可能な範囲から完全に外れた向きにあるときでも、現在のビューを前の画像とつなぎ合わせることができる向きにその撮像デバイスを動かすようにユーザを案内することができる一続きの画像を撮像する方法を提供することである。さらに、本方法は非常に順応性があるので、画像は、予め決められた順序で撮像される必要がない。

本発明によれば、本方法は、撮像デバイスの現在の向きを示す位置情報を提供するステップと、撮像された画像ごとにその画像を撮像するときの撮像デバイスの向きを示す位置情報を保存するステップと、前記少なくとも１つの保存された画像につなぎ合わせることができる画像を撮像することができる向きに撮像デバイスを動かすためにユーザを案内して、現在の位置情報及び前記少なくとも１つの画像に対して保存された位置情報を利用するステップと、をさらに含むという目的が達成される。

前記案内が、前の画像を撮像するときの撮像デバイスの向きと比較された撮像デバイスの現在の向きに基づくとき、案内は、画像の実際の外見又はデバイスの実際の位置又は向きに依存しない。

好適な実施形態では、現在の位置情報及び保存された位置情報を利用するステップは、保存された位置情報から撮像デバイスの推奨された新しい向きを計算するステップと、現在の位置情報を推奨された新しい向きと比較するステップと、デバイスを推奨された新しい向きの方に動かすようにユーザに指示を与えるステップと、推奨された新しい向きに実質的に達したときを示すステップと、を含む。動かす指示を与え、所望の向きに達したときを示すことによって、ユーザが向きを見つけることが容易になる。

前記現在の位置情報が、撮像デバイスの観察方向を示すベクトルを含むとき、例えば向きだけが変わるようにデバイスが三脚の上で回転する状況で重要な簡単な方法で、デバイスの向きが達成される。

前記提供された位置情報は、撮像デバイスの位置をさらに示すことができ、このことは、例えば、壁の絵又はビルの正面などの二次元対象の画像を撮像するときに有用であり、その結果、対象物全体を多かれ少なかれレンズの同じ焦点面に置くことができる。この場合、現在の位置情報は、撮像デバイスの位置に対するｘ、ｙ及びｚ座標を含むことができる。

前記現在の位置情報は、撮像デバイスの運動センサによって提供することができ、ジャイロスコープが、現在の位置情報を提供するために運動センサで利用されることがある。代わりに、例えば付属ユニットの外部センサが使用されることがある。

さらに、前記現在の位置情報は、ズーム比の現在の値及び撮像デバイスの観察方向の照明条件を示すものを含むことができる。

前記推奨された新しい向きに実質的に達したことが示されたときに画像を自動的に撮像するステップを本方法がさらに含むとき、本デバイスは、案内指示に従って動くだけでよく、そのとき本デバイスは、つなぎ合わせに適切な一続きの画像を撮像する。

本方法は、画像を互いにどのようにつなぎ合わせるべきかを示すいくつかの異なるつなぎ合わせモデルのうちから選択された１つに従ってユーザの案内を提示するステップをさらに含むことができる。そのようなモデルの例は、左から右の水平方向パノラマ、右から左の水平方向パノラマ、上から下の垂直方向パノラマ、又は、立方体又は球などの３Ｄグラフィックスで使用される環境マップであってもよい。

本方法が、現在の位置情報及び前記少なくとも１つの画像に対して保存された位置情報に基づいてズーム比を制御するステップをさらに含むとき、推奨された新しい位置といくらか違った位置に撮像デバイスが動いた場合に、ズームが補償することができる。例えば、画像がもはや重ならないほど撮像デバイスが動き過ぎた場合に、縮小ズームでそれらの画像を再び重ねることができる。

本方法は、いくつかの画像を撮像しかつ保存した後で、前記画像を互いにつなぎ合わせて合成された画像を実現するために、それらの画像に対して保存された位置情報を利用するステップをさらに含むとき、つなぎ合わせプロセスを簡略化することができる。その理由は、つなぎ合わせアルゴリズムはそのような位置情報を計算する必要がないからである。

上述したように、本発明はまた、一続きの画像を撮像するための撮像デバイスに関し、前記デバイスは、前記画像をディジタルフォーマットで保存する保存手段と、少なくとも１つの画像が撮像されかつ保存されたとき、前記少なくとも１つの保存された画像につなぎ合わせることができる画像を撮像することができるようにユーザを案内して撮像デバイスを動かすように構成された案内手段と、を備える。本デバイスは、撮像デバイスの現在の向きを示す位置情報を提供する手段をさらに備え、さらに本デバイスは、撮像された画像ごとにその画像を撮像するときの撮像デバイスの向きを示す位置情報を保存し、さらに、ユーザを案内して前記少なくとも１つの保存された画像につなぎ合わせることができる画像を撮像することができる向きに撮像デバイスを動かすために、現在の位置情報及び前記少なくとも１つの画像に対して保存された位置情報を利用するように構成されているとき、撮像された画像の対象に無関係に案内補助を行うことができるデバイスが実現される。さらに、本デバイスは、本デバイスがつなぎ合わせ可能な範囲の完全に外の向きにあるときでも、現在のビューを前の画像とつなぎ合わせることができる向きに撮像デバイスを動かすようにユーザを案内することができ、さらに画像は、予め決められた順序で撮像される必要がない。

好適な実施形態では、案内手段は、前記保存された位置情報から撮像デバイスの推奨された新しい向きを計算する手段と、現在の位置情報を前記推奨された新しい向きと比較する手段と、デバイスを前記推奨された新しい向きの方に動かすようにユーザに指示を与える手段と、前記推奨された新しい向きに実質的に達したときを示す手段と、を備える。動かす指示を与え、所望の向きに達したときを示すことによって、ユーザが向きを見つけることが容易になる。

前記現在の位置情報が、撮像デバイスの観察方向を示すベクトルを含むとき、例えば向きだけが変わるように三脚の上でデバイスが回転する状況で重要な簡単な方法で、デバイスの向きが達成される。

前記提供された位置情報は、撮像デバイスの位置をさらに示すことができ、このことは、例えば、壁の絵又はビルの正面などの二次元対象の画像を撮像するときに有用であり、その結果、対象物全体を多かれ少なかれレンズの同じ焦点面に置くことができるようになる。この場合、現在の位置情報は、撮像デバイスの位置に対するｘ、ｙ及びｚ座標を含むことができる。

前記撮像デバイスは、前記現在の位置情報を提供する運動センサを備えることができ、また運動センサは、現在の位置情報を提供するジャイロスコープを備えることができる。

さらに、前記現在の位置情報は、ズーム比の現在の値及び撮像デバイスの観察方向の照明条件を示すものを含むことができる。

前記撮像デバイスが、前記推奨された新しい向きに実質的に達したことが示されたときに画像を自動的に撮像するようにさらに構成されているとき、デバイスは、案内指示に従って動かすだけでよく、そのとき、デバイスは、つなぎ合わせに適切な一続きの画像を撮像する。

本デバイスは、さらに、画像を互いにどのようにつなぎ合わせるべきかを示すいくつかの異なるつなぎ合わせモデルのうちから選択された１つに従ってユーザの前記案内を提示するようにさらに構成することができる。そのようなモデルの例は、左から右の水平方向パノラマ、右から左の水平方向パノラマ、又は上から下の垂直方向パノラマであってもよい。

本デバイスが、現在の位置情報及び前記少なくとも１つの画像に対して保存された位置情報に基づいてズーム比を制御するようにさらに構成されているとき、推奨された新しい位置といくらか違った位置に撮像デバイスが動いた場合にズームが補償することができる。例えば、画像がもはや重ならないほどに撮像デバイスが動き過ぎた場合、縮小ズームでそれらの画像を再び重ねることができる。

本デバイスは、いくつかの画像を撮像しかつ保存したとき、前記画像を互いにつなぎ合わせて合成された画像を実現するために、前記画像に対して保存された位置情報を利用するようにさらに構成されているとき、つなぎ合わせプロセスを簡略化することができる。その理由は、つなぎ合わせアルゴリズムはそのような位置情報を計算する必要がないからである。

本発明は、図面を参照してこれから以下により詳細に説明される。

撮像デバイス１のブロック図が図１に示されている。撮像デバイス１は、ディジタルカメラ、カメラ内蔵の携帯電話、又はディジタル画像を撮像することができる任意の他の電子デバイスであってもよい。デバイス１には、レンズ２と、レンズ２を通った入射光が集束される撮像センサ３とを有し、これによってレンズ２を通して見られる対象の画像がセンサ３に形成される。センサ３の現在の画像はファインダ４でデバイスのユーザに示されるので、ユーザはレンズ２を通して見られる対象を画像が撮像する前に確認することができる。画像が撮像されたとき、撮像センサ３によって現在検出された画像がメモリ５に送られ、メモリ５の中にその画像が保存される。このプロセスは、プロセッサユニット６によって制御される。

メモリ５に保存された画像は、その後、つなぎ合わせプロセスに使用することができ、このつなぎ合わせプロセスで、重なる画像は、より大きな画像すなわちパノラマ画像に合成される。このつなぎ合わせプロセスは、撮像デバイス１で行うことができ、又は、つなぎ合わせアルゴリズムがインストールされているパーソナルコンピュータなどの別個のデバイスで行うことができ、これがより一般的である。後者の場合、保存された画像がメモリ５からコンピュータに送られるか、又は、このメモリがコンピュータに移される。

つなぎ合わせプロセスを行うことができるためには、一続きの重なる画像が撮像されメモリ５に保存されていなければならない。一続きの重なる画像を撮像する際にユーザを手助けするために、撮像デバイス１はまた、レンズ２の方向を示すベクトルを含む位置情報を提供する位置ユニット７を有している。位置ユニット７は運動センサを含み、この運動センサは、一般に、ジャイロロスコープであってもよいが、その他のタイプのセンサを使用してもよい。ここで留意すべきことは、位置ユニット７を撮像デバイス１に一体化する代わりに、位置ユニットはまた、撮像デバイス１に接続可能な付属デバイスに配置されてもよいということである。位置情報はまた、例えば、撮像された撮像デバイスの向きを示す「ディジタル」三脚から提供されてもよい。

ユーザが一続きの重なる画像の第１の画像を撮るとき、位置ユニット７が作動され、位置ユニットは、第１の画像を撮像するときの撮像デバイス１の位置及び向きに従って、ｘ、ｙ及びｚ軸を持つ座標系を定める。これが図２に示されており、図２で、ベクトルｄは、位置ユニット７が作動されたときのレンズ２の方向を示している。座標系は、第１の画像を撮像するときのベクトルｄの方向とｚ軸の方向が一致するように構成されていることが分かる。同時に、位置ユニット７は、時間が経つにつれてレンズ２の方向を示すベクトルｄを追跡し始める。図３は、ベクトルｄがもはやｚ軸の方向に向いていないように撮像デバイス１が向きを変えた状況を示している。

第１の画像を撮像するときにセンサ３の大きさ及びレンズ２の特性（焦点、ズーム、その他を含んだ）及びベクトルｄの方向が分かると、位置ユニット７は、撮像デバイス１すなわちベクトルｄの推奨された新しい方向を計算することができ、この方向で、撮像デバイス１の位置が実質的に変化していなければ、後のつなぎ合わせプロセスでこれらの２つの画像がつなぎ合わされるように、第１の画像に十分に重なる画像を撮像することができる。ベクトルｄの現在の方向をベクトルｄの推奨された新しい方向と比較することによって、ファインダ４で案内指示を与えることができ、このことは、ユーザが撮像デバイスを推奨された新しい位置に動かすのを手助けする。これは、以下でより詳細に示される。

撮像デバイス１のユーザが、パノラマ画像につなぎ合わせることができる図４に示された風景の一続きの画像を撮りたいと思い、かつそれらの画像が左から右に撮られることになっていると想定する。撮像デバイスは、図５に示された区画１１をファインダ４で見ることができる位置に運ばれ、シャッタボタン又は同様なものを押して第１の画像が撮像される。したがって、参照数字１１はまた、第１の撮像された画像を示す。同時に、位置ユニット７は、撮像デバイスのこの向きが図２に示されるものに対応するように、上述のように作動される。ベクトルｄの方向は、第１の撮像された画像１１と共にメモリ５に保存される。

その一続きの次の画像を撮るために、撮像デバイス１は、今度は図６に示された区画１２に対応する画像を撮像することができるように、向きを変えられるべきである（図３を参照）。したがって、プロセッサユニット６は、ベクトルｄの対応する推奨された新しい方向を計算する。例えば、レンズの開口角が４５度である場合、十分な重なりを保証するために、デバイスの向きを４０度だけ変えることが推奨されてもよい。ユーザが撮像デバイス１の向きを変える間、位置ユニット７は、ベクトルｄの現在の方向を連続的に提供し、この現在の方向が推奨された新しい方向と比較され、これら２つの差が、例えばファイダ４に示されたインジケータによって、ユーザを案内するために使用される。図７は、推奨された新しい向きに対してほぼ半分だけデバイスが動かされたとき、ファインダ４で見ることができるものの例を示す。右の方に向いた矢印１３は、デバイスがさらに右に向きを変えられるべきであること示す。図８で、推奨された新しい向きにほぼ達し、次の画像を撮像することができ、このことが正方形１４で示されている。正方形は単なる例に過ぎず、多くの他のタイプの記号が代わりに使用されてもよい。

推奨された新しい向きからの小さなずれは、許容可能である。図８で、デバイスは、実際に少しだけ下がっているが、この向きは画像の後のつなぎ合わせにとってまだ十分であるので、今度は次の画像を撮像することができることが正方形１４で示されている。デバイスがさらに下の方に動いた場合には、上の方を向いた矢印が、デバイスを再び上の方に動かすようにユーザを案内してもよい。同様に、デバイスが右に動き過ぎた場合には、左の方を向いた矢印が、デバイスを正しい向きに戻すようにユーザを案内してもよい。また、右上などその他の方向を向いた矢印を使用することができる。図９に例示されているように、図９ではデバイスが右下の方に向きを変え過ぎたため、ファインダ４に示された画像は、画像１１につなぎ合わせることができない。したがって、推奨された新しい向きに達するために、今度は、逆に左上の方にデバイスの向きを変えなければならない。これは、左上の方を向いた矢印１５で示されている。

図１０で、ユーザが今度は第２の画像１６を撮像し、再びベクトルｄの対応する方向が画像と共に保存されたことが示されている。その一続きの次の画像を撮るために、区画１７に対応する画像を撮像することができるように、今度は、撮像デバイス１の向きをさらに変えるべきである。したがって、プロセッサユニット６は、再び、ベクトルｄの対応する推奨された新しい方向を計算する。

矢印１３などのファインダに示される案内指示は、一般に、撮像デバイス１に予めロードされたいくつかの異なるつなぎ合わせモデルのうちの１つに従って表される。これらのモデルには、左から右の広い水平方向パノラマ、右から左の広い水平方向パノラマ、上から下の垂直方向パノラマ、下から上の垂直方向パノラマ、３６０度パノラマ、又は広域投射がある。プロセッサ６はまた、撮像デバイスの動きに基づいて予めロードされたモデルの１つを検出することができる。例えば、第１の画像を撮像した後で、デバイスの向きが右の方に変わった場合、ユーザは、左から右の広い水平方向パノラマのモデルに従って、一続きのつなぎ合わせ可能な画像を撮像したいと考えていると想定することができる。

位置ユニット７からのデータを解析することによって、モデルを切り換えることも可能である。例として、デバイスは、ユーザが第１に撮像された画像の右ではなく左にデバイスを向けたことを識別することによって、左から右のパノラマから右から左のパノラマに切り換えることができる。したがって、例えば、２つの画像が左から右の順序で既に撮像されたとき、デバイスは、デバイスの動きに基づいて案内指示を与えることができる。デバイスが右に動かされると、ユーザは、画像１の右端とつなぎ合わせることができる画像を撮るように案内され、また、デバイスが左に動かされると、ユーザは、画像２の左端とつなぎ合わせることができる画像を撮るように案内される。したがって、つなぎ合わせ可能な画像は、画像の撮像プロセス中にどちらの側にも広げることができる。この混合モードは、撮像デバイスの向きを正しい位置に変えるようにユーザを案内する上述のインジケータ１３、１４及び１５のような適切なユーザインタフェースと組み合わせることが最も効果的である。ユーザが、第１の画像のどちらかの端に重なる画像部分の方にデバイスを向けたとき、ユーザは、例えば正方形１４によって、それがうまくいくつなぎ合わせの正しい方向であることを表示される。また、デバイスがつなぎ合わせ可能な領域以外の方向に動かされると、ユーザは、例えば１３及び１５のような矢印によって、使用できる方向にデバイスを戻すように要求される。

上述のように、図８に示された正方形１４又は同様な記号は、推奨された新しい向きにほぼ達したこと、及び、ユーザは今度は次の画像を撮像することができることを、ユーザに示す。しかし、デバイスはまた、正しい向きに達したときに次の画像を自動的に撮像するように構成することもできる。そのとき、ユーザは、矢印インジケータに従って撮像デバイスをただ動かすだけであり、正しい向きに達する度に、新しい画像が自動的に撮像され、矢印インジケータは、ユーザを次の推奨された新しい向きにさらに案内する。このようにして、一続きのつなぎ合わせ可能な画像を撮像することは非常に容易である。というのは、パノラマの景色が矢印インジケータで案内される通りに範囲に含まれるように撮像デバイスは向きを変えることができ、そのとき画像は、選択されたつなぎ合わせモデル、例えば左から右の３個の画像に従って自動的に撮られるからである。

ユーザが、推奨された新しい向きに達するために、どのように撮像デバイスを動かすべきかを例えば矢印１３及び１５で示す代わりに、又は矢印１３及び１５で示すことと組み合わせて、デバイスがまた、デバイスをこの向きに自動的に動かすように外部の電動式三脚を制御してもよい。

撮像デバイス１は、画像がとられるときのレンズの方向を知っているので、例えばパノラマ画像を形成するようにつなぎ合わせテンプレートを埋めることもできる。また、この方法は、デバイスを正しい方向に動かすようにユーザを案内する適切なインタフェースを伴う。これは、上述の矢印であってもよいが、埋められたもの及び埋められていないものを示すテンプレート「マトリックス」を形成する記号アイコンを案内として使用することもできる。図１１に例示されているように、ここでは、アイコン１８は、３×３のパノラマにつなぎ合わせることができる９個の画像を撮像することになっていることを示している。４個の画像は既に撮像されたことが示され、撮像デバイスは、今では、５番目の画像を撮像する準備ができた向きにある。

テンプレートを示すアイコンはまた、既に撮像された画像の小型版を示すことができる。これが図１２から１５に示され、３個の画像の水平方向パノラマが撮像されることになっている。図１２は、画像のどれも撮像されていない３つの位置Ｐｏｓ１、Ｐｏｓ２及びＰｏｓ３を示すアイコンを示している。第１の画像、例えばＰｏｓ１が撮られるときに、モードが初めて作動される。撮像デバイスはユーザがどのようにデバイスを動かすかを知るので、どの順序で画像が撮られるかは重要ではない。図１３で、第１の画像２１が撮像され、アイコンのＰｏｓ１で示される。同様に、図１４で、画像２２がＰｏｓ３に埋められ、最後に図１５で、画像２３がＰｏｓ２に埋められ、パノラマが完成する。このアイコン及び図１１のアイコン１８は、もちろん、先に説明した矢印インジケータと組み合わせることができ、その結果、矢印が撮像デバイスの向きを変えるようにユーザを案内し、正しい向きに達したとき、例えば、アイコン１８は、テンプレートの位置のどの１つを現在撮像することができるかをユーザに示す。

上述のように、位置ユニット７は、レンズ２の方向を示すベクトルｄを含んだ位置情報を提供する。三次元の景色のパノラマを形成する一続きの画像が撮像されることになっている多くの状況では、つなぎ合わせ可能な画像を得るために画像を撮像するプロセス中に撮像デバイスの位置は実質的に変わらない状態であるはずなので、これで十分である。しかし、つなぎ合わせるべき一続きの画像を撮像するとき、レンズの方向の代わりに、又はレンズの方向と組み合わせて、撮像デバイスの位置を変える方がよい場合もある。これは、主に、対象物が壁の絵又はビルの正面などの二次元であり、その結果、対象物全体を多かれ少なかれレンズの同じ焦点面に置くことができる状況である。したがって、位置ユニット７は、上述の座標系でｘ、ｙ及びｚ座標の形で撮像デバイスの相対的な位置を与えるように構成することができる。そのとき、撮像デバイスの相対的な位置は、次の画像が撮像されるべき正しい位置に撮像デバイスを動かすようにユーザを案内する指示又は表示（indication）を与えるために、上のレンズの方向と同じ方法で使用される。

また、この場合、位置ユニット７でジャイロスコープを使用して位置情報を提供することができるが、ジャイロスコープの代わりに、又はジャイロスコープと組み合わせて、他のタイプの位置センサも使用することができる。例として、汎用位置決めシステム、超音波センサ及び電磁センサの名前を挙げることができる。

図１６は、壁画３０がパノラマとして撮影される例を示す。第１に、撮像デバイスは、位置３１に位置付けされ、絵３０の区画３２を範囲に含む画像が撮像される。同時に、位置ユニット７が作動され、ｘ、ｙ及びｚ軸を持つ座標系がデバイスの位置及び向きに従って定められる。そのときの位置及びレンズ方向は画像と共に保存され、推奨された新しい位置３３が計算される。すなわち、デバイスをｘ軸の方向に動かすことが推奨される。今度はデバイスの位置及び向きは追跡され、案内指示が、例えば図７の矢印１３として、ユーザに示される。位置３３に達したとき、このことは、図８の正方形１４又は同様な記号で示すことができ、絵３０の区画３４を範囲に含む画像が撮像される。次に、絵３０の区画３６を撮像することができる位置３５にデバイスを動かすことが推奨される。図１６では、デバイスの位置だけが変わり、一方で、デバイスの向きすなわちレンズの方向は維持されているが、いくつかの状況では、向きだけでなく位置も変えることが便利であり、したがって、本システムは向きと位置の両方を追跡し、それらを案内指示に利用する。

また、撮像された各画像と共に他のパラメータを保存し、デバイスの移動中に追跡することができる。撮像デバイス１のレンズ２にズーム機能がある場合には、ズーム設定は、レンズの視角に影響するので、デバイスの推奨される新しい向き又は位置の計算は、現在のズーム比だけでなく既に撮像された画像のズーム比にも依存する。いくつかの場合には、プロセッサ６はまた、位置ユニット７によって提供される位置情報を解析してズーム比を自動的に制御してもよい。例えば図１６に示された状況にある撮像デバイスが対象からさらに遠ざかるように動かされる場合、その動きを補償するために、ズームは拡大ズームすることができる。同様に、デバイスが対象にもっと近付くとき、縮小ズームして補償することができる。図６、７及び８に示した状況にある撮像デバイスが右に向きを変え過ぎて、現在のビューが既に撮像された画像ともはや重ならない場合、デバイスは、デバイスの向きを左に戻すようにユーザを案内する代わりに、十分な重なりが再び存在するまで縮小ズームすることができる。ズーム比は、レンズに撮像されたズーム検出器から得ることができる。

特に、図１６に示す状況では、レンズの焦点設定、すなわちデバイスから対象までの距離は、デバイスの推奨された新しい向き又は位置を計算するときに関係があることがある。これらのパラメータは、レンズに取り付けられた焦点合わせ検出器、及び距離メータから得ることができる。また、照明条件を検出し利用することができる。

位置、向き、ズーム及び焦点データなどの画像と共に保存されたデータは、好ましくは、ＪＰＥＧ Ｅｘｉｆ ２．２などの画像自体と同じフォーマットで保存することができる。また、画像が同じつなぎ合わせセッションの一部であることを示すフォーマットで画像を保存することも関係がある。画像を１つのファイルに一まとめにするＺＩＰなどのファイルフォーマット、又はセッションの全ての画像を含む他のファイルフォーマットが使用されてもよい。

上述のように、位置情報は、後でつなぎ合わせを行うために画像を撮像するプロセス中に、推奨された新しい向き又は位置の計算で利用されるが、撮像された各画像に対応する位置情報は、画像と共に保存されるので、その後のつなぎ合わせプロセスで補助として使用することもできる。つなぎ合わせアルゴリズムは、先進のつなぎ合わせを行うために画像のいくつかの変換を使用する。つなぎ合わせに使用される簡単な事例は、パノラマつなぎ合わせである。パノラマつなぎ合わせは水平方向であり、左から右及び右から左につなぎ合わせるだけである。より先進のつなぎ合わせモードは、画像のどの部分でのつなぎ合わせも可能にする。これらのつなぎ合わせモードは、大きな計算能力を有するパーソナルコンピュータで最もよく使用される。つなぎ合わされるべき画像は、つなぎ合わせを行うためにあらゆる可能な方法で解析される。このことは、画像の回転、スキュー、サイズ変更、平行移動、傾斜、その他を意味する。このことは、多かれ少なかれ、画像が撮像されるときの撮像デバイスの位置及び／又は向きをエミュレートすることである。撮像中にデバイスがどのように向けられたかを見つけ出そうとして強力なコンピュータ資源を使用する代わりに、位置ユニットからのデータが、画像と共に保存された他のパラメータと組み合わせて、つなぎ合わせアルゴリズムの入力として使用される。したがって、つなぎ合わせアルゴリズムは、画像が撮られたときに撮像デバイスがどのように位置付けされたか、又は向けられたかについてヒントを得ることになり、つなぎ合わせを大幅に簡略化することができる。

本発明の好適な実施形態を説明し示したが、本発明は、これに限定されず、添付の特許請求の範囲で定義される内容の範囲内で、他の方法で具現することもできる。

撮像デバイスを示すブロック図である。 第１の画像を撮像するときの撮像デバイスを座標系で示す図である。 向きを変えられた後の図２の撮像デバイスを示す図である。 一続きのつなぎ合わせ可能な画像を撮像することができる風景を示す図である。 図４の風景の第１の画像が撮像されたことを示す図である。 図４の風景の推奨された次の画像を示す図である。 推奨された新しい向きに撮像デバイスが動かされるときにファインダで見ることができる矢印インジケータの例を示す図である。 撮像デバイスが推奨された新しい向きに達したときにファイダで見ることができるインジケータの例を示す図である。 撮像デバイスが右下の方に向きを変え過ぎたときにファインダで見ることができる矢印インジケータの例を示す図である。 図４の風景の第２の画像が撮像され、次の画像が推奨されたことを示す図である。 ファインダで見ることができるインジケータの例を示す図であり、９個の画像うちの４個が撮像されたことを示している。 ３個の画像を埋めることができるテンプレートを示す図である。 第１の画像が撮像され、図１２のテンプレートに埋められたことを示す図である。 ２個の画像が撮像され、図１２のテンプレートに埋められたことを示す図である。 ３個の画像が撮像され、図１２のテンプレートに埋められたことを示す図である。 壁画の一続きのつなぎ合わせ可能な画像をどのように撮像することができるかを示す図である。

Claims (28)

1. 撮像デバイス（１）によって一続きの画像を撮像し、前記画像をディジタルフォーマットで保存する方法であって、少なくとも１つの画像（１１、１６）を撮像しかつ保存した後で、前記少なくとも１つの保存された画像（１１、１６）につなぎ合わせることができる画像（１２、１７）を撮像できるようにユーザを案内して前記撮像デバイス（１）を動かすステップを備え、さらに、
   前記撮像デバイス（１）の現在の向きを示す位置情報を提供するステップと、
   撮像する画像ごとに、その画像を撮像するときの前記撮像デバイスの向きを示す位置情報を保存するステップと、
   前記現在の位置情報及び前記少なくとも１つの画像に対して保存された位置情報を利用して、前記少なくとも１つの保存された画像につなぎ合わせることができる画像（１２、１７）を撮像することができる向きに前記撮像デバイスを動かすように前記ユーザを案内するステップと、を備え、
   前記撮像デバイスを動かすように前記ユーザを案内するステップが、
   前記少なくとも１つの画像に対して保存された位置情報と前記現在の位置情報とから前記撮像デバイス（１）の推奨する新しい向きを計算するステップと、
   前記現在の位置情報を前記推奨する新しい向きと比較するステップと、
   前記撮像デバイスを前記推奨する新しい向きの方に動かすように前記ユーザに指示（１３、１５）を与えるステップと、
   前記撮像デバイスが前記推奨する新しい向きに実質的に達したときを示すステップと、を備えることを特徴とする方法。
2. 前記位置情報が、前記撮像デバイス（１）の観察方向を示すベクトル（ｄ）を含むことを特徴とする請求項１に記載の方法。
3. 前記位置情報が、前記撮像デバイスの位置をさらに示すことを特徴とする請求項１又は２に記載の方法。
4. 前記位置情報が、前記撮像デバイスの位置に対するｘ、ｙ及びｚ座標を含むことを特徴とする請求項３に記載の方法。
5. 前記現在の位置情報が、前記撮像デバイス（１）の運動センサ（７）によって提供されることを特徴とする請求項１乃至請求項４のいずれか１項に記載の方法。
6. 前記現在の位置情報を提供するために、ジャイロスコープが前記運動センサに利用されることを特徴とする請求項５に記載の方法。
7. 前記現在の位置情報が、ズーム比の現在の値をさらに含むことを特徴とする請求項１乃至請求項６のいずれか１項に記載の方法。
8. 前記現在の位置情報が、前記撮像デバイスの観察方向における照明条件を示すものをさらに含むことを特徴とする請求項１乃至請求項７のいずれか１項に記載の方法。
9. 前記方法が、前記推奨する新しい向きに実質的に達したことが示されたときに画像を自動的に撮像するステップをさらに含むことを特徴とする請求項１に記載の方法。
10. 前記方法が、画像を互いにどのようにつなぎ合わせるべきかを示すいくつかの異なるつなぎ合わせモデルのうちから選択された１つに従って前記ユーザへの前記案内（１３、１５）を提示するステップをさらに含むことを特徴とする請求項１乃至請求項９のいずれか１項に記載の方法。
11. 前記つなぎ合わせモデルは、画像の配列を示したテンプレートで示され、
    前記ユーザへの前記案内（１３、１５）を提示するステップでは、既に撮像され保存された画像とまだ撮像されていない画像とが識別可能に前記テンプレートを表示することを特徴とする請求項１０に記載の方法。
12. 前記方法が、前記現在の位置情報及び前記少なくとも１つの画像に対して保存された位置情報に基づいてズーム比を制御するステップをさらに含むことを特徴とする請求項１乃至請求項１０のいずれか１項に記載の方法。
13. 前記方法が、前記画像に対して保存された位置情報を利用して、いくつかの画像を撮像しかつ保存した後で、前記画像を互いにつなぎ合わせて合成された画像を実現するステップをさらに含むことを特徴とする請求項１乃至請求項１２のいずれか１項に記載の方法。
14. 一続きの画像を撮像する撮像デバイス（１）であって、
    前記撮像デバイスが、
    前記画像をディジタルフォーマットで保存する保存手段（５）と、
    少なくとも１つの画像（１１、１６）が撮像されかつ保存されたとき、前記少なくとも１つの保存された画像（１１、１６）につなぎ合わせることができる画像（１２、１７）を撮像することができるようにユーザを案内して前記撮像デバイスを動かすように構成された案内手段（６、１３、１５）と、を備え、
    前記撮像デバイスが、前記撮像デバイス（１）の現在の向きを示す位置情報を提供する手段をさらに備え、
    前記撮像デバイスが、さらに、
    撮像する画像ごとに、その画像を撮像するときの前記撮像デバイスの向きを示す位置情報を保存し、さらに、
    前記現在の位置情報及び前記少なくとも１つの画像に対して保存された位置情報を利用して、前記少なくとも１つの保存された画像につなぎ合わせることができる画像（１２、１７）を撮像することができる向きに前記撮像デバイスを動かすために前記ユーザを案内するように構成されており、
    前記案内手段が、
    前記少なくとも１つの画像に対して保存された位置情報と前記現在の位置情報とから前記撮像デバイスの推奨する新しい向きを計算する手段（６）と、
    前記現在の位置情報を前記推奨する新しい向きと比較する手段（６）と、
    前記撮像デバイスを前記推奨する新しい向きの方に動かすように前記ユーザに指示を与える手段（１３、１５）と、
    前記撮像デバイスが前記推奨する新しい向きに実質的に達したときを示す手段（１４）と、を備えることを特徴とする撮像デバイス。
15. 前記位置情報が、前記撮像デバイス（１）の観察方向を示すベクトル（ｄ）を含むことを特徴とする請求項１４に記載の撮像デバイス。
16. 前記位置情報が、前記撮像デバイスの位置をさらに示すことを特徴とする請求項１４又は１５に記載の撮像デバイス。
17. 前記位置情報が、前記撮像デバイスの位置に対するｘ、ｙ及びｚ座標を含むことを特徴とする請求項１６に記載の撮像デバイス。
18. 前記撮像デバイスが、前記現在の位置情報を提供する運動センサ（７）を備えることを特徴とする請求項１４乃至請求項１７のいずれか１項に記載の撮像デバイス。
19. 前記運動センサが、前記現在の位置情報を提供するジャイロスコープを備えることを特徴とする請求項１８に記載の撮像デバイス。
20. 前記現在の位置情報が、ズーム比の現在の値をさらに含むことを特徴とする請求項１４乃至請求項１９のいずれか１項に記載の撮像デバイス。
21. 前記現在の位置情報が、前記撮像デバイスの観察方向の照明条件を示すものをさらに含むことを特徴とする請求項１４乃至請求項２０のいずれか１項に記載の撮像デバイス。
22. 前記撮像デバイスは、前記推奨する新しい向きに実質的に達したことが示されたときに画像を自動的に撮像するようにさらに構成されていることを特徴とする請求項１４に記載の撮像デバイス。
23. 前記撮像デバイスは、画像を互いにどのようにつなぎ合わせるべきかを示すいくつかの異なるつなぎ合わせモデルのうちから選択された１つに従って前記ユーザへの前記案内（１３、１５）を提示するようにさらに構成されていることを特徴とする請求項１４乃至請求項２２のいずれか１項に記載の撮像デバイス。
24. 前記つなぎ合わせモデルは、画像の配列を示したテンプレートで示され、
    前記ユーザへの前記案内（１３、１５）を提示する構成では、既に撮像され保存された画像とまだ撮像されていない画像とが識別可能に前記テンプレートを表示することを特徴とする請求項２３に記載の方法。
25. 前記撮像デバイスは、前記現在の位置情報及び前記少なくとも１つの画像に対して保存された位置情報に基づいてズーム比を制御するようにさらに構成されていることを特徴とする請求項１４乃至請求項２４のいずれか１項に記載の撮像デバイス。
26. 前記撮像デバイスは、いくつかの画像を撮像しかつ保存したとき、前記画像を互いにつなぎ合わせて合成された画像を実現するために、前記画像に対して保存された位置情報を利用するようにさらに構成されていることを特徴とする請求項１４乃至請求項２５のいずれか１項に記載の撮像デバイス。
27. 前記撮像デバイスが、ディジタルカメラであることを特徴とする請求項１４乃至請求項２６のいずれか１項に記載の撮像デバイス。
28. 前記撮像デバイスが、携帯電話をさらに備えることを特徴とする請求項１４乃至請求項２７のいずれか１項に記載の撮像デバイス。

Images