JP4630317B2 - 小さいセンサアレイを用いてパノラマ画像を構成するシステム及び方法 - Google Patents

Description

本発明は、画像を取り込むためのシステム及び方法に関し、より具体的には、より大きな画像を生成するために視界の一部を表す複数の画像を合成することに関する。

デジタルカメラのような画像入力装置は、狭い視野（ＦＯＶ）を有し、周囲の小さい部分のみを表す画像を生成する。より大きな視野の必要性に対処する従来の画像収集方法には、魚眼レンズのような光学的な手法が含まれていた。従来の大きなＦＯＶ画像収集の手法は、実質的に限界を有し、具体的には係る手法は、特に画像の周辺部において歪みを呈する。

従来技術のシステム及び方法は、従来の広い視野画像の入力方法で問題を解決することができず、又はより大きなピクセルアレイを使用せずに高解像度の広い視野画像を取得することはできない。

画像は、複数の連続した画像を合成することにより構成される。連続した画像は、画像取り込み装置を動かし、各取り込み画像に関連した位置属性データ（焦点属性）を格納することにより得られる。例えば、被写体の広角ビュー、三次元ビュー（三次元画像）、及び／又はビデオビューは、複数の連続的な画像を合成することにより構成され得る。

上記の説明は、以下の本発明の詳細な説明がより良好に理解され得るように、本発明の特徴と技術的な利点をかなり大まかに概説した。本発明の追加の特徴及び利点は、以下に説明され、それらは本発明の特許請求の範囲の主題を形成する。当業者には理解されるように、開示された概念及び特定の実施形態は、本発明の同じ目的を実現するために修正する、又は他の構造を設計するための基礎として容易に利用され得る。また、当業者には理解されるように、係る等価の構成物は、添付の特許請求の範囲に記載されたような本発明の思想と範囲から逸脱しない。本発明の構成と動作方法に関して、本発明の特徴であると考えられる新規な特徴、並びに更なる目的と利点は、添付図面に関連して考察される場合に以下の説明からより良好に理解されるであろう。しかしながら、特に理解されるべきは、各図面は例示と説明のためだけに提供されており、本発明の制限を定義するものとして意図されていない。

ここで、本発明をより完全に理解するために、添付図面に関連してなされる以下の説明を参照する。

本発明によれば、低コストで被写体の広角ビュー、三次元ビュー、パノラマ画像、及び／又はビデオビュー等を生成できる装置と方法が提供される。

図１は、外界（被写体、又は視界とも称する）１００の一部の画像を収集するカメラ１１と、カメラ配置機構１３を制御するカメラ動作制御装置１２とを有する画像収集装置１０を示す。カメラ配置機構１３は、カメラ１１が視界の特定部分を収集するために置かれるように、外界１００に対するカメラ１１の位置関係（向き）を変更する。カメラ配置機構１３は、カメラ全体を動かす、或いはカメラの一部、例えば、固定されたカメラ本体に対してカメラレンズ（図示せず）を動かす、又はカメラ本体内で画像収集装置を動かすことができる。

画像記録装置１５は、カメラ１１により撮られた画像を装置１０内に取り込み、部分的な画像の属性データを取得する、及び／又は格納する。また、部分的な画像の収集中に記録された各画像に関して得られた位置情報も格納される。画像記録装置１５により収集された、又は決定された属性データは、画像属性メモリ１６に格納される。画像記録装置１５により収集された画像は、画像メモリ１７に画像ファイルとして格納される。画像合成システム１８は、画像メモリ１７及び画像属性メモリ１６から受け取った画像情報に基づいて、より大きな視野の画像へと画像を結合する。

装置１０は、カメラ動作制御装置（カメラ配置制御装置、又は配置制御機構とも称する）１２、画像属性メモリ１６、画像合成システム１８、及び画像メモリ１７を含む他のコンポーネントに制御信号を供給するメインコントローラ１０１を含む。

装置１０の一部は、ソフトウェア及び／又はハードウェアで実現されることができ、以下に限定されないが、カメラ、コンピュータ、プログラマブルコントローラ、専用ハードウェアアセンブリ等を含む１つ又は複数のアセンブリに一体化され得る。画像メモリ１７は、複数の画像セグメントを格納するための手段の少なくとも一部を画定する。コントローラ１０１は、例えば、画像メモリ１７からセグメント化された画像を検索するための手段の少なくとも一部を画定する。画像属性メモリ１６は、画像セグメントの識別中に、合成パノラマ画像の構成要素部分としてアクセスされる。画像合成システム１８は、例えば、画像メモリ１７に格納された取り込み画像セグメントからパノラマ画像を合成するプロセス中に、画像メモリ１７及び画像属性メモリ１６にアクセスする。画像メモリ１７及び画像属性メモリ１６は、単一のメモリアセンブリにまとめられることができ、この場合、画像は属性データと共に格納される。

図２を参照すると、カメラ１１の位置関係が、カメラ配置制御装置１２及びコントローラ１０１の制御下で、カメラ配置機構（線形配置制御機構とも称する）１３により変更され得る。カメラ１１は、現在知られている、又は将来開発される種々のカメラの何れかとすることができ、この例において、カメラ１１は、例えば、１２８０×１０２４のピクセルアレイを有する小さいセンサ（図示せず）を含む。カメラ配置機構１３は、配置制御装置１２の命令に従ってカメラ１１の位置関係を変更するように動作する。他の実施形態において、配置制御装置１２は、コントローラ１０１内に、又はカメラ１１内に組み込まれ得る。カメラ１１は、視界に対するカメラ１１の位置関係を変更するように、アナログ及び／又はデジタルの制御信号の形態で命令をカメラ配置機構１３に供給する配置制御機構１２と協働して画像を収集することができる。

カメラ１１は、画像記録装置１５及び／又はコントローラ１０１から受け取った制御信号に応じて、視界１００の部分的な画像（１００−１、１００−２、１００−３、１００−４）を収集する。上述したカメラ１１の動きは通常、各部分的な画像を収集する前に実施される。画像記録装置１５は、カメラ１１からの部分的な画像を画像メモリ（例えば、図１の画像記憶装置１７）に格納し、画像メモリは、いくつかの実施形態において、コントローラ１０１の一部とすることができる。また、画像記録装置１５は、画像収集中にカメラ１１の位置関係に関する属性データも画像属性メモリ１６に格納し、画像属性メモリ１６も、いくつかの実施形態において、コントローラ１０１の一部とすることができる。

図１を参照すると、画像合成システム１８は、カメラ１１から、又は画像属性メモリ１６に格納された各部分的な画像の収集したものからの位置データを用いて、部分的な画像の合成位置を決定する。画像合成システム１８は、画像メモリ１７に格納された部分的な画像を合成（ステッチング）して、１つ又は複数の部分的な画像から作成されたより大きな画像を生成する。１回又は複数回の合成動作を実施することにより、装置１０は、比較的小さい視野の検出器を用いて、広い視野の合成画像を得ることができる。

装置１０によって得られた部分的な画像、又は合成画像は、ディスプレイ１０３により表示されてユーザに提示される。更に、画像システムは、広いビューのビデオを取り込むために利用され得る。

図２は、線形配置制御機構１３に結合されたカメラ１１を用いて、広いビューのビデオを収集するように適合された例を示す。制御機構１３は、圧電アクチュエータ又は電気アクチュエータ、液圧式アクチュエータ又は空気圧式アクチュエータ等を含むことができる。制御機構１３は、機械的要素、センサ、アクチュエータ、及び電子回路を含む１つ又は複数の微小電子機械システム（ＭＥＭＳ）を含むことができる。この例において、カメラ１１は、１自由度の制御を提供するように、例えば、カメラ１１が前後に摺動できるように、配置制御機構１３を介してアクチュエータに結合される。配置制御機構１３及びその支持構造体は、被写体領域に対してカメラ１１の制御可能な動きを提供するための様々な異なるシステムを含むことができる。例えば、カメラ１１は、カメラ１１の精密に制御可能な動きを提供するように関連して作動するように係合された配置制御機構１３と共に、リンク機構、摺動要素、ギア、ワイヤ、滑車、及び動力伝達装置（図示せず）に結合され得る。アクチュエータは、動きを提供するための電気式手段、電気機械式手段、及び／又は空気圧式手段を含むことができる。

図２の実施形態において、カメラ１１は、制御機構１３により決定されたカメラ１１の位置でもって、フレーム２１のような表面上を摺動するように適合されている。合成パノラマビデオ画像は、視界に対するカメラ１１の位置を迅速にサイクル動作させることにより取得され得る。図示されたように、カメラ１１は、被写体領域の４つの部分的な画像を収集するために４つの位置の間でサイクル動作することができる。上述したように、これら４つの部分的な画像は、画像合成システム１８によって被写体領域の単一のパノラマ画像へと合成され得る。留意すべきは、運動機構は、以下に限定されないが、電気線形アクチュエータと、制御信号に応答する圧電要素と、前記画像取り込み装置に少なくとも２自由度を提供するように適合された一対の線形アクチュエータと、並びに機械的要素、センサ、アクチュエータ、及び電子回路を含む１つ又は複数の微小電子機械システム（ＭＥＭＳ）とを含む、特定の用途に望まれる任意のタイプの機構とすることができる。

カメラ制御機構１３は、カメラ１１により取り込まれた個々の任意の画像よりも広い、被写体の合成ビューを得るように、カメラ１１のコマ速度と同期することができる。一実施形態において、カメラ制御機構１３は、より遅い「有効な」コマ速度であるが、より広い視野を得るように、カメラ１１のコマ速度により画定された時間間隔の範囲内でカメラ１１を再配置する。例えば、カメラ１１が毎秒４コマのコマ速度を有し、各画像を収集するのに１／８秒かかる場合、カメラ制御機構１３は、カメラ１１を次の位置へ移動させるのに約１／８秒を有する。この例において、合成画像の有効なコマ速度は、毎秒１コマである。この結果、取り込み画像のサイズと画像収集速度（コマ速度）との間のトレードオフが認識され得る。

図３は、線形配置制御機構１３に結合されたカメラ１１を用いて、広いビューのビデオを収集するのに適合された別の実施形態を示す。この実施形態において、カメラ１１は、カメラ１１の位置が制御機構１３により制御された状態で、２つの方向に移動するように適合されている。合成パノラマビデオ画像は、視界に対してカメラ位置をサイクル動作させることにより取得され得る。係るシステムの利点には、大きな視野を取り込むためのシリコンが一層少ないことに起因して、より低コストであることが含まれる。

図４は、本発明の一実施形態４０のフローチャートである。プロセス４００は、被写体に対してカメラ１１を位置決めする。プロセス４０２は、取り込み画像部分の属性データと共に、画像ファイルとして被写体の一部を取り込む。プロセス４０４は、取り込み画像と属性データを格納する。

プロセス４０６は、画像収集が不完全であるか否かを判定する。ひとたび画像収集が完了すると、プロセス４０８は、取り込み画像部分と格納された属性データとの間の関連を識別する、又は特定する。次いで、プロセス４１０は、格納された属性データに従って複数の部分的な画像を合成した後に、パノラマ画像を生成する。

留意すべきは、各被写体の取り込まれた部分的な画像は、広い視野角の被写体を生成するための連続した画像のセットを形成するが、本明細書で開示された概念は、三次元（３Ｄ）画像のような他の画像タイプを生成するために使用され得る。係る３Ｄ画像の場合、カメラ（又はカメラ内の取り込み装置）は、被写体に対して（一対の目をシミュレートするために）横方向に比較的短い距離だけ移動することができる。

本発明、及びその利点が詳細に説明されたが、添付の特許請求の範囲によって規定されたような本発明の思想と範囲から逸脱せずに、本発明に対して種々の変更、置換、及び入れ換えがなされ得ることは理解されるべきである。更に、本発明の範囲は、本明細書に記載されたプロセス、機械、製造、合成物、手段、方法、及びステップの特定の実施形態に限定されることは意図されていない。当業者ならば、本発明の開示から容易に理解されるように、本明細書で説明された対応する実施形態と実質的に同じ機能を実行する、或いは実質的に同じ結果を達成する現時点で存在する、又は将来開発されるプロセス、機械、製造、合成物、手段、方法、又はステップは、本発明に従って利用され得る。従って、添付の特許請求の範囲は、係るプロセス、機械、製造、合成物、手段、方法、又はステップをそれらの範囲内に含むことが意図されている。

以下においては、本発明の種々の構成要件の組合せから成る例示的な実施形態を示す。
１．特定の被写体に対して連続的な画像のセットを格納するためのメモリであって、各画像が焦点属性の異なるセットでもって撮られている、メモリと、
前記連続的な画像のセットの格納されたセットを前記被写体の合成パノラマ画像へと結合するための合成要素とを含む、画像収集システム。
２．前記被写体に対して複数の位置の間で画像収集装置を動かすための手段を更に含む、上記１に記載の画像収集システム。
３．前記動かすための手段が、電気線形アクチュエータと、制御信号に応答する圧電要素と、前記画像取り込み装置に少なくとも２自由度を提供するように適合された一対の線形アクチュエータと、並びに機械的要素、センサ、アクチュエータ、及び電子回路を含む１つ又は複数の微小電子機械システム（ＭＥＭＳ）とを含むリストから選択された少なくとも１つのデバイスを含む、上記２に記載の画像収集システム。
４．前記動かすための手段が、水平方向及び垂直方向の双方に前記画像取り込み装置を動かすように適合されている、上記２に記載の画像収集システム。
５．前記動かすための手段が、カメラハウジング内に配置されている、上記２に記載の画像収集システム。
６．前記画像がビデオ画像である、上記１に記載の画像収集システム。
７．前記動かすための手段が、前記画像取り込み装置の画像収集速度と同期する、上記２に記載の画像収集システム。
８．被写体に対して複数の位置の間で画像取り込み装置を動かすための手段と、
前記複数の位置のそれぞれにおいて前記被写体の一部の画像を収集するための手段と、
前記収集された画像のそれぞれと共に収集された焦点属性データを用いて、前記複数の画像を単一の画像へと互いにステッチングすることにより合成画像を生成するための手段とを含む、画像収集システム。
９．前記動かすための手段が、可動取り込み装置を含む、上記８に記載の画像収集システム。
１０．前記動かすための手段が、１つ又は複数の線形アクチュエータを含む、上記８に記載の画像収集システム。
１１．前記動かすための手段が、圧電線形アクチュエータを含む、上記８に記載の画像収集システム。
１２．前記動かすための手段が、前記複数の画像のそれぞれの収集を制御するための信号を提供する手段を含む、上記８に記載の画像収集システム。
１３．前記制御するための手段が、前記画像取り込み装置を位置の固定配列に位置決めするための手段を更に含む、上記１１に記載の画像収集システム。
１４．前記動かすための手段が、前記画像取り込み装置の画像収集速度と同期する、上記１１に記載の画像収集システム。
１５．被写体の画像収集方法であって、
前記被写体に対する複数の連続した異なる位置において、デジタル画像ファイル及び前記デジタル画像ファイルに関係する位置データを収集し、
前記画像ファイル及び位置データを格納し、
前記位置データを基準にして前記画像ファイルを前記被写体の合成画像へと合成することを含み、
前記合成画像が、前記収集された画像ファイルの任意の１つと比べてビューに対してより多くの情報を提供する、被写体の画像収集方法。
１６．前記収集することが、前記被写体に対してカメラを動かすことを含む、上記１５に記載の方法。
１７．前記収集することが、コントローラから受信した信号に応答して線形アクチュエータでもって前記カメラを動かすことを含む、上記１５に記載の方法。
１８．前記合成画像が、前記被写体の広角ビューである、上記１５に記載の方法。
１９．前記合成画像が前記被写体の３Ｄビューである、上記１５に記載の方法。
２０．前記収集することが、前記異なる位置の間で画像取り込み装置の動きを前記画像取り込み装置の画像収集速度と同期させることを含む、上記１５に記載の方法。

画像収集システムの実施形態を示す図である。 図１の実施形態の一部を示す図である。 カメラが複数の自由度で動くように適合されている画像収集システムの実施形態を示す図である。 被写体の画像部分を取得するために、可動カメラが複数の異なる位置に設けられる本発明の一実施形態のフローチャートである。

符号の説明

10 画像収集装置
11 カメラ
12 カメラ動作制御装置
13 カメラ配置機構
15 画像記録装置
16 画像属性メモリ
17 画像メモリ
18 合成システム
101 コントローラ
102 ビデオ記憶装置
103 ディスプレイ

Claims (1)

1. 特定の被写体のビデオ画像を収集するための画像収集装置（11）と、
   前記被写体に対して複数の位置の間で、前記画像収集装置のコマ速度に同期して前記画像収集装置（11）を動かすための手段（12）と、
   前記被写体に対して連続的な画像のセットを格納するためのメモリ（102、15、17）であって、各画像が、前記複数の位置のそれぞれにおいて前記画像収集装置（11）により撮られており、各画像に関して、画像収集中に前記動かすための手段（12）により移動される前記画像収集装置(11)の位置関係に関する属性データも格納する、メモリ（102、15、17）と、
   前記連続的な画像のセットの格納されたセットを前記属性データに基づいて前記被写体の三次元画像へと結合するための合成要素（18）とを含み、
   前記動かすための手段が、電気線形アクチュエータと、制御信号に応答する圧電要素と、前記画像収集装置（11）に少なくとも２自由度を提供するように適合された一対の線形アクチュエータと、並びに機械的要素、センサ、アクチュエータ、及び電子回路を含む１つ又は複数の微小電子機械システム（ＭＥＭＳ）とを含むリストから選択された少なくとも１つのデバイスを含み、前記動かすための手段が、人間の一対の目をシミュレートするために水平方向に前記画像収集装置（11）を動かすように適合されており、前記動かすための手段が、カメラハウジング内に配置されている、画像収集システム。

Images