JP4238856B2 - 画像合成方法、グラフィック・コントローラ及びデジタル画像装置 - Google Patents

Description

本発明は一般的にデジタル画像データの取り込みおよび表示に関する。

デジタル・カメラにおいて、情景からの光はこの光の的を絞り画像センサと呼ばれる半導体チップの感光セル、すなわち感光層、に向けるように機能するレンズを通過する。感光層は入射光に反応して入射光に比例した電機信号を発する。感光層により生成された電気信号はアナログ・デジタル変換器（ＡＤＣ）を通して処理される。ＡＤＣは画像センサから受信した電気信号を分析し、電気信号をデジタル・データに変換し、カメラはこれを情景の画像として格納する。

米国特許出願公開第2003/0026469号明細書

１つのデジタル画像で捕らえることのできる情景の水平および垂直の範囲はレンズが取り込み画像センサに集中できる光の量によって限定される。従って、レンズの制約により情景全体を１つの画像に取り込めないという状態がしばしば起こる。この状態に対処する１つの方法は情景の全体をパノラマ画像として捕らえることのできる広角レンズを取得することである。しかし、広角レンズを取得することはさらに費用がかさむ。また、特にデジタル・カメラが小型であるか手持ち式の電子装置に埋め込まれている場合、広角レンズは持ち運びが不便なこともある。さらに携帯電話に埋め込まれた場合のように、デジタル・カメラによっては広角レンズに対応できるように構成されていないかもしれない。

上述に鑑み、広角レンズに頼ることなくパノラマ・デジタル画像を生成することのできる装置が必要である。

一実施形態で、デジタル画像装置上でデジタル画像をつなぎ合わせる方法が開示される。方法はデジタル・フォーマットで第１画像を取り込むことを含む。方法はまたデジタル画像装置のディスプレーに第１画像の少なくとも２つの非隣接部分を表示することを含む。この第１画像の少なくとも２つの非隣接部分を用い、方法はディスプレーにおいて生の第２画像の位置合わせに進むが、ここで第２画像は第１画像の延長である。次に第２画像をデジタル・フォーマットで取り込むための操作が行われる。方法はさらに第１画像に対する第２画像のオフセットを判断する角合わせアルゴリズムを適用することを含むが、ここでオフセットは第１および第２画像の正確な位置合わせを達成するために必要である。角合わせアルゴリズムの適用は第１画像の少なくとも非隣接部分の間に介在する重なり領域に限定される。

別の実施形態で、つなぎ合わせるデジタル画像の位置合わせをする方法が開示される。方法は第１画像の少なくとも２つの非隣接部分をデジタル画像装置のディスプレーに表示することを含む。方法はまた第１画像の少なくとも２つの非隣接部分の間に介在する重なり領域内に存在する第１画像における角特徴を特定することを含む。また、生の第２画像における角特徴が重なり領域内で特定される。生の第２画像は第１画像の少なくとも２つの非隣接部分と併せてディスプレー上で見ることができる。第２画像は第１画像の延長を表す。方法はさらに重なり領域内で第１および第２画像における角特徴の位置合わせの特定を含む。方法はさらに重なり領域内の第１および第２画像における特定された位置合わせを示す操作を含む。

別の実施形態で、デジタル画像装置が開示される。デジタル画像装置は画像取り込み装置、ディスプレー・パネル、およびグラフィックス・コントローラを含む。画像取り込み装置は第１画像および第２画像を電子フォーマットで取り込むように構成される。第１画像および第２画像は重なりの部分を有する。ディスプレー・パネルはカメラで取り込まれる第１画像および第２画像を表示するように構成される。グラフィックス・コントローラは画像位置合わせ回路、角検出回路、角合わせ回路、および画像つなぎ合わせ回路を含む。画像位置合わせ回路は第２画像の位置合わせを容易にするために第１画像の少なくとも２つの非隣接部分の表示を保持するように定義される。角検出回路は第１画像の少なくとも２つの非隣接部分の間に介在する重なり領域内に存在する第１画像の角特徴を特定するように定義される。角検出回路はさらに重なり領域内に存在する第２画像の角特徴を特定するように定義される。角合わせ回路は重なり領域内の第１および第２画像における角特徴の位置合わせを特定するように定義される。画像つなぎ合わせ回路は重なり領域内の第１および第２画像における角特徴の特定された位置合わせを用いて、取り込まれた第１画像に対し取り込まれた第２画像を翻訳し、翻訳された第２画像と第１画像とをデジタル合成するように定義される。

別の実施形態で、グラフィックス・コントローラが開示される。グラフィックス・コントローラはディスプレー・パネルにおいて第２画像を位置合わせする際、第１画像の複数部分を表示するように定義された画像位置合わせ回路を含む。グラフィックス・コントローラはまたディスプレー・パネルに表示される第１画像の複数部分の間に介在する領域内の第１および第２画像における角特徴を特定するように定義された角検出回路を含む。グラフィックス・コントローラの角合わせ回路は第１および第２画像の特定された角特徴の位置合わせを認識するように定義される。グラフィック・コントローラはさらに、第１および第２画像の特定された角特徴の認識された位置合わせを用いて、第２画像を第１画像に対し翻訳し、翻訳された第２画像と第１画像とをデジタル合成するように定義される画像つなぎ合わせ回路を含む。

発明の他の態様は本発明を例示する添付図面と併せて以下の詳細な説明により明らかになるであろう。

以下の説明において、本発明の十分な理解を提供するために多数の具体的な詳細が記述される。但し本発明がこれらの具体的詳細の一部あるいはすべてなしでも実施できるということは当業者には明らかであろう。また本発明を不必要に不明瞭にしないよう、公知の処理操作は詳細に説明していない。

つなぎ合わせは数個のデジタル画像を接合して複合デジタル画像を制作することを述べる用語である。つなぎ合わせにより得られる複合デジタル画像は広角レンズを用いて撮られたパノラマ画像に類似している。複合デジタル画像の作成につなぎ合わせを用いることにより広角レンズに係わる余分の費用および不便を避けることができる。また、デジタル画像のつなぎ合わせにより、広角レンズと相容れないにも拘らず、携帯電話などの手持ち式デジタル画像装置もパノラマ画像化の機能を有することができる。

デジタル写真撮影において、デジタル画像は取り込んだ画像を画像素子、またはピクセルのグリッドにマッピングすることにより作成される。各ピクセルはそのピクセルが表すはずの画像の部分に最も密接に対応する色調値、つまりピクセル値、を割り当てられる。画像を定義するために用いる色調値は明暗の変化など画像の特性を評価するためにも利用できる。明暗の変化は画像に描かれる特徴、つまり形状、を特定するために使用できる。複数画像に描かれる共通の特徴を特定することにより、複数画像をつなぎ合わせのために位置合わせをするのに用いることができる。

例えば複数の重なった別個の画像を考慮してみる。各画像は少なくとも１つの別の画像と何らかの重なりを有するので、複数の画像は合成してパノラマ画像を作成することができる。複数の画像を合成する一つの方法では各画像に対し角レジストリを作成する必要がある。ある画像の角レジストリはその画像に存在する各角特徴（「角」）の特定を含む。角は限られたピクセル領域における水平および垂直方向の大きな輝度、つまり明暗、の変化によって特定される。限られたピクセル領域は5x5 のピクセル・アレーなど可変ながら限定されたサイズの領域を表すことができる。画像における角の検出は角検出アルゴリズムによって行なうことができることを当業者は理解するであろう。

一旦検出可能な角がすべて各画像の角レジストリに記録されると、登録された角を用いて合成のために画像の正しい位置合わせを判断することができる。例えば、第１画像における各角は一致の見込みを特定するために第２画像における各角と比較される。第１画像の各角は第２画像において数個の一致の見込みがあり得る。当業者には知られる「突き合わせ得点」（"score of matching"）と呼ばれる技法を用いて第１画像のある角に対し第２画像の一致の見込みの１つに絞り込むことができる。突き合わせ得点の技法を使用して第１画像のすべての角が一旦処理されると、第１画像における各角は第２画像における１つの角と対にされる。次に第１および第２画像の位置合わせをするために必要なオフセットを判断することができる。

第１および第２画像の位置合わせに必要な水平および垂直のオフセットの判断は反復位置合わせ処理を用いて行なわれる。位置合わせ処理の特定反復において、第２画像は第１画像に対し一致した特定の角の対が位置合わせされるように翻訳される。一旦特定の一致した特定の角の対が位置合わせされると、特定反復は同時に位置合わせされた一致した角の合計数の判断を含む。後続する反復の各々は一致した角の別の対の位置合わせに基づき同様に行なわれる。反復結果に基づき、同時に位置合わせされた一致した角を最大数有する第２画像の翻訳が用いられ、合成用に第１および第２画像の位置合わせ／重ね合わせのための水平および垂直オフセットを確立する。

上記に説明した画像合成方法は複数の画像を合成する網羅的な方法を表す。より具体的には、上記に説明した画像合成方法は各画像におけるすべての角を特定し、登録する。次に方法は各画像のすべての角を評価して他の画像のすべての角との一致の見込みを捜す。方法はさらに各種画像の中で存在する一致させた角の各対に基づき位置合わせ処理を行なうことを含む。従って、パノラマ用の画像はカメラをパンする方法に対し順序が狂っていても、正しく位置合わせ／重ね合わせをすることができる。しかし、上述の画像合成方法は多数の操作、つまりＣＰＵサイクルを要する。従って上述の方法はデスクトップ・コンピュータまたはワークステーションにみられるような相当の処理能力が必要となる。処理の必要が相当なため、上述の方法は処理能力が希少な小型のデジタル画像装置には適していない。例えば、最新のデジタル・カメラのほとんどは上述画像合成方法を機上で実施するには処理能力が充分でない。

上述の方法とは逆に、本発明は演算能力が限られた手持ち式デジタル画像装置上での実施用に効率的な画像つなぎ合わせ方法を提供する。本発明の画像つなぎ合わせ方法は２つのデジタル画像をつなぎ合わせて１つの最終画像を作成することに関わる。一実施形態で、方法は第１画像が最終つなぎ合わせ画像の左側部分を表し、第２画像が最終つなぎ合わせ画像の右側部分を表すと仮定する。論考の目的から、本発明は以降本出願において第１および第２画像が各々最終つなぎ合わせ画像の左側および右側部分を表すという観点から説明される。しかし、本発明の他の実施形態では第１と第２画像との間に、例えば右／左、上／下、下／上、斜め、等々、他の空間的関係を仮定することができることが理解されよう。一旦第１画像がデジタル画像装置に取り込まれると、第１画像の一部分がデジタル画像装置のファインダーに保持される。第１画像の保持された部分は第２画像の手動位置合わせを支援するために使用される。第２画像のより正確な手動位置合わせは第１および第２画像をつなぎ合わせるのに必要な演算の量を削減する効果がある。

図１は本発明の典型的実施形態により、デジタル画像装置に取り込まれる情景102の例を示す。デジタル画像装置は、画像の光景をデジタル画像装置に取り込まれた際に現れる形で表示することのできるファインダー101Aを備える。デジタル画像装置のレンズ能力、および情景内の物体から取れる距離など他の要因により、情景全体を１つのデジタル画像に取り込むことができないかもしれない。例えば、デジタル画像装置は情景の一部分を取り込むことに限定されるかもしれない。この例では、情景102でデジタル画像装置に取り込める部分はファインダー101Aに見ることができる。従って図１に描かれるような人物双方を含む１つの画像を得るには情景102の合成画像を生成する必要がある。

本発明は合成画像の生成を提供し、ここで合成画像は１対の画像の合成を表す。一実施形態では、１対の画像の内第１画像が生成される合成画像の左側を表す。またこの実施形態では、１対の画像の内第２画像が生成される合成画像の右側を表す。さらに第１画像および第２画像は各々情景の共通部分を表す共通領域を含む。例えば本発明において、共通領域は第１画像の右側に存在し、第２画像の左側に存在する。一般的に言って、本発明は合成画像を生成する二段階プロセスを提供する。第１工程では第１および第２画像の手動による位置合わせを支援するツールが提供される。第２工程で第１および第２画像がコンピュータでつなぎ合わされる。

図１に描かれる情景102に関し、本発明の方法はまず第１画像を電子フォーマットで取り込むことを含む。図２は本発明の典型的な実施形態により、デジタル画像装置に取り込まれる第１画像にファインダー101Aが向けられたところを示す。この典型的な実施形態における第１画像は生成される合成画像の左側部分を表すことが認識されよう。一旦第１画像はデジタル画像装置に取り込まれると、第１画像のいくつかの部分はファインダー101Aに保持され、第２画像の手動による位置合わせを支援する。より具体的には、第１画像の保持された部分は第１画像の右側に近い領域から選択された第１画像の少なくとも２つの非隣接部分を表す。第１画像の保持された部分はまた第２画像の左側に近いところにある第２画像の部分をも表す。従って、第１画像の保持された部分はファインダー101Aの左側に表示され、第２画像の手動による位置合わせを支援する。

図３Ａは本発明の一実施形態により、図２に示す第１画像の保持された部分103A/103Bをファインダー101Aが表示することころを示す。図３Ａに描かれた第１画像の保持された部分103A/103Bは第１画像の右上の角（103A）および右下の角（103B）が保持される特定の位置合わせテンプレートに対応する。図３Ａにおける第１画像の保持された部分103A/103B は第１画像の非隣接部分を表すことが理解されよう。従ってファインダー101A は第１画像の保持された部分103A/103B の間に介在する領域105Aを含む。領域105Aは第１画像の保持された部分103A/103B および第１画像の保持された部分103A/103B の間に延びる境界107Aに囲まれ、ここで境界107Aはファインダー101A内に見えない。

図３Ｂは本発明の一実施形態により、ファインダーを第２画像の取り込みのために手動で位置合わせされたときの生の情景をファインダーが表示するところを示す。第１画像の保持された部分103A/103B は生の情景102と併せてファインダー101Aに表示される。第１画像の保持された部分103A/103B に描かれる特徴は手動により第２画像と第１画像とのより良い位置合わせを得るための目印として利用することができる。

デジタル画像装置によってはファインダー101Aのサイズがかなり小さいことがある。また、視覚的観察にのみ頼ることは第１および第２画像の真の位置合わせを測るのが難しいことがある。従って、ファインダー101Aにおける位置合わせテンプレートを提供することに加え、本発明の各種実施形態は取り込まれる第２画像に対応する生の情景102と第１画像がどの程度良く位置合わせされているかを示すことができる他の位置合わせツールの提供を含むことができる。

例えば一実施形態で、デジタル画像装置の使用者が取り込まれる第２画像の手動による位置合わせを行なう際、第１画像および生の情景102の共通部分の位置合わせの度合いを評価するために分析が行なわれる。より具体的には、第１画像の保持された部分103A/103B の間にある領域105Aに存在する第１画像の目印的特徴が特定される。またファインダー101Aの領域105Aに現在表示される生の情景102における目印的特徴が特定される。次に、領域105A内で特定された第１画像および生の情景102の目印的特徴が互いに比較され対応する目印的特徴の位置合わせができているか判断する。

対応する目印的特徴の位置合わせができている場合、位置合わせされた目印的特徴を表示するファインダー101Aのピクセルを特別な位置合わせ色に変更することができる。特別な位置合わせ色は黒、白、透明、等々、デジタル画像装置の使用者に簡単に見える任意の色であって良いことが理解されよう。生の情景が第１画像とより良く位置合わせされると、より多くの目印的特徴が位置合わせされ、領域105Aのより多くの部分が特別な位置合わせ色に変わる。第１画像と、第２画像として取り込まれる生の情景との手動で達成し得る最高の位置合わせは使用者がファインダー101Aの領域105Aがほとんど特別な位置合わせ色に見える時に得られる。第２画像は手動で達成し得る最高の位置合わせが得られた時に取り込むことが好ましいが、必要ではない。図３Ｃは本発明の一実施形態により、第１画像および取り込まれる第２画像に対応する生の情景102との良好な位置合わせをファインダー101Aが表示するところを示す。

別の実施形態では、第１画像と第２画像として取り込まれる生の情景とが充分に位置合わせされたことを使用者に伝えるために表示ライトを使用することができる。表示ライトで伝えられると、使用者は第２画像の取り込みに進むことができる。第１画像と生の情景との充分な位置合わせの判断は上述の目印的特徴の位置合わせ分析を用いて達成することができることは理解されよう。さらにこの実施形態の変形として、第１画像と生の情景との充分な位置合わせが得られた時点で第２画像を自動的に取り込むことができる。第２画像の自動的な取り込みは表示ライトの提供と併せて行なうことができる。また、自動的取り込み機能および／あるいは表示ライトの信号は前述の特別な位置合わせ色の表示に関連して実施することができる。さらに別の実施形態では、第１画像と第２画像として取り込まれる生の情景との位置合わせが不良であることを伝えるために警告ライトを点灯させることができる。目印的特徴の位置合わせ分析に基づく他のフィードバック機構を用いて第１画像および取り込まれる第２画像との手動による位置合わせを支援することができることは理解されよう。

一実施形態で、前述の目印的特徴の位置合わせ分析は角合わせアルゴリズムを用いて行なわれる。しかし図３Ａ乃至図３Ｃにおいて、角合わせアルゴリズムは第１画像の保持部分103A/103Bの間に介在する領域105Aにのみ適用されることが理解されよう。このように、本発明は第１画像の保持部分103A/103Bの間に介在する小さな重なり領域内に適用される。それ故に、本発明は第１および第２画像のより大きい部分に角合わせアルゴリズムを適用することを避ける。従って、本発明は第１および第２画像におけるすべての角特徴を検出するのではなく、角特徴の検出を第１画像の保持部分103A/103Bの間に介在する領域105Aに限定される。その結果、本発明で実施される角合わせアルゴリズムは、角合わせアルゴリズムを第１および第２画像のより大きい部分に適用することが必要であるかもしれない他の方法に比べ、より少ないプロセッサ・オペレーションしか必要としない。加えて、角特徴の一致数を第１画像の保持部分103A/103B の間に介在する領域105Aに存在するものに限定することにより、本発明で実施する角合わせアルゴリズムの効率が向上する。

手動による位置合わせ処理の際行なわれる目印特徴の位置合わせ分析を容易にするために角合わせアルゴリズムを使用するのに加え、本発明は取り込まれた第１および第２画像の実質的に正確な位置合わせを得るために必要な第２画像の翻訳を判断するために角合わせアルゴリズムを用いる。この場合も、本発明は角合わせアルゴリズムを第１画像の保持部分103A/103B の間に存在する小さな重なり領域105A内に適用する。このように、本発明は一致させる角の数がより少なくて済み、第１および第２画像を取り込んだ際より良好な初期位置合わせを提供するので角合わせアルゴリズムの効率を向上させる。第２画像の必要な翻訳が判断されると、本発明はそれに従って第２画像を翻訳し、コンピュータで第１および第２画像をつなぎ合わせて合成画像を生成する。図４は図１乃至３Ｃに関連して説明された本発明の方法を適用することによって生成された合成画像109を示す。

上述の本発明の方法に関し、第１画像の保持部分はいくつかの異なった位置合わせテンプレートに対応することができる。各位置合わせテンプレートは異なった手動による位置合わせの利点を提供できる。例えば、第１画像の保持部分と第２画像との間により多くのエッジ・インタフェースを有する位置合わせテンプレートを用いると、特にエッジ・インタフェースが異なった方向にある場合、より良好な第１および第２画像の手動による位置合わせが得られる。一実施形態では、特定の情景に対し用いることが最も適している位置合わせテンプレートを選択できるオプションをデジタル画像装置の使用者に提供することができる。

図５Ａは本発明の一実施形態により、図２に示す第１画像に対応する典型的な位置合わせテンプレートをファインダー101Aが表示するところを示す。図５Ａの例にある位置合わせテンプレートはいくつかの第１画像の非隣接保持部分103C-103Eを含む。領域105Bおよび105Cは保持部分103C-103Eの間に存在する。領域105Bは第１画像の保持部分103C と103D、および保持部分103C と103Dの間に延びる境界107Bに囲まれる。領域105Cは第１画像の保持部分103D と103E、および第１画像の保持部分103D と103Eの間に延びる境界107Cに囲まれる。境界107B と107Cはファインダー101A内には見えない。図５Ｂは図５Ａの典型的な位置合わせテンプレートとの位置合わせに続き第２画像として取り込まれる情景102の部分をファインダー101Aが表示するところを示す。

図６Ａは本発明の一実施形態により、図２に示す第１画像に対応する別の典型的位置合わせテンプレートをファインダー101Aが表示するところを示す。図６Ａの例にある位置合わせテンプレートは第１画像のいくつかの非隣接部分103F-103Lを含む。領域105D-105J は保持部分103F-103Lの間に存在する。領域105D は第１画像の保持部分103F と103G、および境界107Dに囲まれる。領域105Eは第１画像の保持部分103F、103G、および103Hに囲まれる。領域105Fは第１画像の保持部分103G、103H、103I および境界107Eに囲まれる。領域105Gは第１画像の保持部分103H、103I、および103J に囲まれる。領域105Hは第１画像の保持部分103I、103J、103K、および境界107Fに囲まれる。領域105I は第１画像の保持部分103J、103K、および103L に囲まれる。領域105J は第１画像の保持部分103K と103L 、および境界107Gに囲まれる。境界107D-107G はファインダー101Aには見えない。図６Ｂは図６Ａの典型的位置合わせテンプレートとの位置合わせに続き第２画像として取り込まれる情景の部分をファインダー101Aが表示するところを示す。

本発明は２つの画像のつなぎ合わせに係わるが、本発明を用いて３つ以上の画像のグループを、一度に２つの画像をつなぎ合わせることによりパノラマ画像を作成することができることが理解されよう。つまり、グループから２つの画像をつなぎ合わせて第１合成画像を形成する。次に第１合成画像をグループの別の画像とつなぎ合わせて第２合成画像を作成する。最終的に作成された合成画像がパノラマ画像全体を表すまで逐次作成された合成画像をグループの後続画像と引き続きつなぎ合わせることができる。

図７は本発明の一実施形態により、デジタル画像装置上でデジタル画像をつなぎ合わせる方法のフローチャートを示す。方法は第１画像をデジタル・フォーマットで取り込むための操作701を含む。一実施形態で、第１画像はより広い画像の左部分を表す。方法はまた第１画像の少なくとも２つの非隣接部分をデジタル画像装置のディスプレーに表示するための操作703を含む。一実施形態で、この第１画像の少なくとも２つの非隣接部分は第１画像の右上部分および第１画像の右下部分を含む。この実施形態では第１画像の右上部分と第１画像の右下部分との間に重なり部分が存在する。しかし、この第１画像の少なくとも２つの非隣接部分は他の実施形態で第１画像の他の部分を表せることが理解されよう。

方法はさらにこの第１画像の少なくとも２つの非隣接部分を用いてディスプレー内における生の第２画像の位置合わせをするために用いる操作705が含まれ、ここに第２画像は第１画像の延長を表す。第１画像がより広い画像の左部分を表す実施形態では、第２画像がより広い画像の右部分を表す。一旦生の第２画像がディスプレーで位置合わせされると、方法は第２画像をデジタル・フォーマットで取り込むための操作707を含む。方法は次に第１画像に対する第２画像のオフセットを判断する角合わせアルゴリズムを適用するための操作709を含むが、ここでオフセットは第１および第２画像の実質的に正確な位置合わせを達成するのに必要な翻訳を表す。角合わせアルゴリズムの適用はディスプレーで生の第２画像の位置合わせをするために使用される第１画像の少なくとも２つの非隣接部分の間に介在する重なり領域に限定されることが理解されよう。一旦オフセットが判断されると、方法は判断されたオフセットで第１画像に対し第２画像を翻訳する操作を含むことができる。次に翻訳された第２画像を第１画像とデジタル合成し、つまりつなぎ合わせ、複合画像を生成することができる。

一実施形態で、図７の方法は第１画像と生の第２画像との位置合わせを分析し、第１画像の少なくとも２つの非隣接部分を用いてディスプレーで生の第２画像の位置合わせをすることを支援するための操作をも含むことができる。第１画像と生の第２画像との位置合わせの分析は第１画像の少なくとも２つの非隣接部分の間に介在する重なり領域に限定される。第１画像と生の第２画像が充分に位置合わせされたら信号ライトを点灯して示すことができる。また、第１画像と生の第２画像との位置合わせが不十分の場合警告ライトを点灯して示すことができる。一実施形態で、第１画像と生の第２画像との充分な位置合わせが達成された場合、第２画像は自動的にデジタル・フォーマットで取り込まれる。

第１画像と生の第２画像との位置合わせを分析する操作は、第１画像の少なくとも２つの非隣接部分の間に介在する重なり部分内で第１画像にある角特徴を特定することを含むことができる。また、重なり部分内で生の第２画像に存在する角特徴が特定される。次に、重なり領域内における第１画像および生の第２画像に存在する共通の特定された角特徴が認識される。重なり領域内で認識された、第１画像と生の第２画像との共通の特定された角特徴の位置合わせは、共通の特定された角特徴に対応するいくつかのピクセルの色を変えることによって知らせることができる。

図８は本発明の一実施形態により、つなぎ合わせるデジタル画像の位置合わせをする方法のフローチャートを示す。方法は、デジタル画像装置のディスプレーで第１画像の少なくとも２つの非隣接部分を表示する操作801を含む。方法はまた、この第１画像の少なくとも２つの非隣接部分の間に介在する重なり領域内に存在する第１画像の角特徴を特定する操作803も含む。操作805において、重なり領域内における生の第２画像の角特徴が特定される。生の第２画像はディスプレーで、第１画像の少なくとも２つの非隣接部分に関連して見える。第２画像は第１画像の延長を表すことが理解されよう。一実施形態で、第１画像はより広い画像の左部分を表し、第２画像はこのより広い画像の右部分を表す。

図８の方法はさらに重なり領域内における第１および第２画像の角特徴の位置合わせを特定する操作807を含む。次に、重なり領域内における第１および第２画像の角特徴の特定された位置合わせを示すための操作809が提供される。一実施形態で、重なり領域内における第１および第２画像の角特徴の特定された位置合わせを知らせるのは、特定された位置合わせ済みの角特徴に対応するいくつかのピクセルの色を変えることによって行なわれる。別の実施形態で、重なり領域内における第１および第２画像の角特徴の特定された位置合わせを示すことは信号ライトを点灯することで行なわれる。加えて、方法は第１画像と生の第２画像との不十分な位置合わせを、警告ライトを点灯することにより示す操作を含むことができる。

一実施形態で、本発明はデジタル画像処理システムのグラフィックス・コントローラといったハードウェアとして実施される。図９は本発明の一実施形態による典型的なデジタル画像処理システム201を示す。デジタル画像処理システムは画像取り込み装置203、グラフィックス・コントローラ205、中央演算装置（ＣＰＵ）209、およびディスプレー・パネル207を含む。画像取り込み装置203はデジタル・カメラ、デジタル・ビデオ・カメラ、またはその他画像をデジタル・フォーマットで取り込むことのできる任意の装置であり得ることが理解されよう。またディスプレー・パネル207は、例えば液晶ディスプレー（ＬＣＤ）、プラズマ・ディスプレー、ブラウン管（ＣＲＴ）ディスプレーなど、電子信号で定義される画像を具現できる任意の種類のディスプレー装置であり得ることが理解されよう。一実施形態で、ディスプレー・パネル207は画像取り込み装置203のファインダーを表す。ＣＰＵ209は一般的なホスト装置ＣＰＵを表す。

グラフィックス・コントローラ205はカメラ・インタフェース211、メモリ213、画像位置合わせ回路215、角検出回路217、角合わせ回路219、および画像つなぎ合わせ回路221を含む。カメラ・インタフェース211は矢印223で示す通り、カメラ203からデジタル画像データを受信するように構成される。デジタル画像データは矢印225で示す通り、メモリ213に転送され格納される。メモリ213はカメラ203で取り込まれる少なくとも２つの画像に対するデータを格納するように構成される。メモリ213はまた、本発明の画像つなぎ合わせに関連するデータも格納するように構成される。メモリ213に格納された画像データは、矢印227で示す通り具現するためにディスプレー・パネル207に送信することができる。さらに、矢印229で示す通り、ＣＰＵ229はカメラ・インタフェース211、メモリ213、画像位置合わせ回路215、角検出回路217、角合わせ回路219、および画像つなぎ合わせ回路221の操作を統合するように定義される。さらに、画像位置合わせ回路215、角検出回路217、角合わせ回路219、および画像つなぎ合わせ回路221は矢印231で示す通り、各々メモリ213と通信し、メモリ213に格納されたデータに対し操作を行なうように構成される。

画像位置合わせ回路215は第２画像の位置合わせを容易にするために、ディスプレー・パネルにおける第１画像の少なくとも２つの非隣接部分を保持するように定義される。この第１画像の少なくとも２つの非隣接部分は位置合わせテンプレートを表す。一実施形態で、位置合わせテンプレートは画像位置合わせ回路215により定義が可能な位置合わせテンプレートのセットから選択できる。角検出回路217は第１画像の少なくとも２つの非隣接部分の間に介在する重なり領域内の存在する第１画像の角特徴を特定するように定義される。角検出回路217はさらに重なり領域に併せて存在する第２画像の角特徴を特定するように定義される。角合わせ回路219は重なり領域内の第１および第２画像における角特徴の位置合わせを特定するように定義される。角検出回路217および角合わせ回路219は重なり領域を超えて第１および第２画像の部分を処理することを避けるように定義されることが理解されよう。一実施形態で、デジタル画像処理システムは重なり領域内における第１および第２画像の角特徴の位置合わせ状の視覚的フィードバックを提供するために１つ以上の表示／警告ライトを含むことができる。画像つなぎ合わせ回路221は、重なり領域内の第１および第２画像における角特徴の特定された位置合わせを用いて第２画像を第１画像に対し翻訳し、翻訳された第２画像を第１画像にデジタル合成するように定義される。

本発明の装置および方法は処理能力が貴重な携帯電子装置に実施されると特に有用である。本発明が役に立ち得る携帯電子装置にはデジタル・カメラ、デジタル・ビデオ・テープレコータ、デジタル・カメラまたはビデオ付の携帯電話、およびその他デジタル画像化能力を有する手持ち式装置が含まれる。さらに本発明は、携帯電話またはカメラなどの手持ち式デジタル画像装置上の処理能力を用いて２つの画像をつなぎ合わせることを提供することが理解されよう。本発明とは逆に従来の画像つなぎ合わせ方法では、つなぎ合わせ操作を容易にするために、網羅的に角合わせ計算を行なうのに充分な処理能力を有するデスクトップ・コンピュータ等々につなぎ合わせる画像をダウンロードする必要がある。

上述の実施形態を念頭に、本発明はコンピュータ・システムに格納されるデータに係わるコンピュータ実行の各種操作を用いることができることが理解されよう。これらの操作は物理量を物理的に操作する必要があるものである。必ずしもではないが、通常これらの量は格納、移転、組み合わせ、比較、およびその他の方法で操作される電気または磁気信号の形を取る。さらに実行される操作はしばしば生成、特定、判断、または比較などの用語で言及されるものである。

本明細書で説明され、発明の一部をなす操作はいずれも有用なコンピュータ操作である。発明はさらにこれらの操作を実行するためのデバイスまたは装置に関するものである。装置は必要な目的のために特別に構成されることもでき、または汎用コンピュータでコンピュータ内に格納されたコンピュータ・プログラムによって選択的に駆動または構成されたものであっても良い。特に各種汎用コンピュータを本明細書の教示に従って書かれたコンピュータ・プログラムといっしょに使用することができ、または必要な操作を実行するより専門的な装置を構成する方がより便利かもしれない。

本発明はいくつかの実施形態により説明されたが、前述の明細書を当業者が読み、図面を見れば、発明に対する各種の変更、追加、置き換えおよび同等のものを実現できることが理解されよう。従って本発明は発明の真の精神および範囲に含まれる、かかる変更、追加、置き換え、および同等のものをすべて含むことが意図される。

本発明の典型的な実施形態により、デジタル画像装置により取り込まれる情景の例。 本発明の典型的な実施形態により、デジタル画像装置により取り込まれる第１画像に向けられたファインダー。 Ａは、本発明の一実施形態により、図２に示す第１画像の保持された部分をファインダーが表示した状態、Ｂは、本発明の一実施形態により、ファインダーを第２画像の取り込みのために手動で位置合わせされたときの生の情景をファインダーが表示した状態、Ｃは、本発明の一実施形態により、第１画像および取り込まれる第２画像に対応する生の情景との良好な位置合わせをファインダーが表示した状態。 図１乃至３Ｃに関連して説明された本発明の方法を適用することによって生成された合成画像。 Ａは、本発明の一実施形態により、図２に示す第１画像に対応する典型的な位置合わせテンプレートをファインダーが表示した状態、Ｂは、図５Ａの典型的な位置合わせテンプレートとの位置合わせに続き第２画像として取り込まれる情景の部分をファインダーが表示した状態。 Ａは、本発明の一実施形態により、図２に示す第１画像に対応する別の典型的位置合わせテンプレートをファインダーが表示した状態、Ｂは、図６Ａの典型的位置合わせテンプレートとの位置合わせに続き第２画像として取り込まれる情景の部分をファインダーが表示した状態。 本発明の一実施形態により、デジタル画像装置上でデジタル画像をつなぎ合わせる方法のフローチャート。 本発明の一実施形態により、つなぎ合わせるデジタル画像の位置合わせをする方法のフローチャート。 本発明の一実施形態による典型的なデジタル画像処理システム。

符号の説明

203 画像取り込み装置
209 ＣＰＵ
205 グラフィックス・コントローラ
211 カメラ・インタフェース
213 メモリ
215 画像位置合わせ回路
217 角検出回路
219 角合わせ回路
221 画像つなぎ合わせ回路
207 ディスプレー・パネル

Claims (10)

1. デジタル画像装置上で画像を合成する方法であって、
   第１画像をデジタル・フォーマットで取り込むステップと、
   デジタル画像装置のディスプレーで、前記第１画像の第１の部分と、前記第１の部分と隣接していない前記第１画像の第２の部分と、を表示するステップと、
   前記第１の部分と前記第２の部分を用いて、ディスプレー内で、前記第１画像の延長である生の第２画像を位置あわせするステップと、
   前記第２画像をデジタル・フォーマットで取り込むステップと、
   前記第１画像に対する前記第２画像のオフセット処理するための角合わせアルゴリズムを適用するステップと、を含み、
   前記第２画像は、前記第１画像の第１の部分に対応する部分と前記第２の部分に対応する部分との間に位置する重なり領域を含み、
   前記角合わせアルゴリズムを適用するステップでは、
   前記第１の部分と前記第２の部分に角合わせアルゴリズムが適用されず、
   前記重なり領域に角合わせアルゴリズムが適用される、画像合成方法。
2. 前記第１の部分は、前記第１画像の右上部分であり、
   前記第２の部分は、前記第２画像の右下部分である、請求項１に記載の画像合成方法。
3. 前記第１画像と前記第２画像から合成され、前記第１画像の幅及び前記第２画像の幅より幅広の第３画像を生成し、
   前記第１画像は、前記第３画像の左部分を表し、
   前記第２画像は、前記第３画像の右部分を表す、請求項１又は２に記載の画像合成方法。
4. さらに、判断されたオフセットで前記重なり領域を変換するステップと、
   変換された前記第２画像と前記第１画像とを組み合わせて合成画像を生成するステップと、を含む、請求項１乃至３のいずれかに記載の画像合成方法。
5. 前記第１画像の延長である生の第２画像を位置あわせするステップにおいて、
   前記第１画像の前記第１の部分と前記第２の部分との間の領域で第１の目印的特長を特定するステップと、
   前記第２画像の前記重なり領域で、前記第１の目印的特長に対応する第２の目印的特長を特定するステップと、
   前記第１の目印的特長と前記第２の目印的特長との位置合わせ分析を行うステップと、をさらに含み、
   前記位置合わせ分析の結果、前記第１の目印的特長と前記第２の目印的特長との位置合わせが所望の範囲内であるときは、信号ライトを点灯する、請求項１乃至４のいずれかに記載の画像合成方法。
6. 前記第１画像の延長である生の第２画像を位置あわせするステップにおいて、
   前記第１画像の前記第１の部分と前記第２の部分との間の領域で第１の目印的特長を特定するステップと、
   前記第２画像の前記重なり領域で、前記第１の目印的特長に対応する第２の目印的特長を特定するステップと、
   前記第１の目印的特長と前記第２の目印的特長との位置合わせ分析を行うステップと、をさらに含み、
   前記位置合わせ分析の結果、
   前記第１の目印的特長と前記第２の目印的特長との位置合わせが所望の範囲外であるときは、警告ライトを点灯し、
   前記第１の目印的特長と前記第２の目印的特長との位置合わせが所望の範囲内であるときは、警告ライトを消灯する、請求項１乃至４のいずれかに記載の画像合成方法。
7. 前記第１画像の延長である生の第２画像を位置あわせするステップにおいて、
   前記第１画像の前記第１の部分と前記第２の部分との間の領域で第１の目印的特長を特定するステップと、
   前記第２画像の前記重なり領域で、前記第１の目印的特長に対応する第２の目印的特長を特定するステップと、
   前記第１の目印的特長と前記第２の目印的特長との位置合わせ分析を行うステップと、をさらに含み、
   前記位置合わせ分析の結果、前記第１の目印的特長と前記第２の目印的特長との位置合わせが所望の範囲内になったとき、前記第２画像をデジタル・フォーマットで取り込むステップに自動的に進む、請求項１乃至４のいずれかに記載の画像合成方法。
8. 前記第１画像の延長である生の第２画像を位置あわせするステップにおいて、
   前記第１画像の前記第１の部分と前記第２の部分の間の領域における輝度を分析して、前記第１の部分と前記第２の部分の部分の間の領域に存在する角特徴を特定するステップと、
   前記第２画像の前記重なり領域の輝度を分析して、前記重なり領域に存在する角特徴を特定するステップと、
   前記第１画像の角特徴特定ステップで特定された角特徴と、前記第２画像の角特徴特定ステップで特定された角特徴とで共通の特定された角特徴を認識するステップと、
   前記第１画像での共通角特徴と、前記第２画像での共通角特徴との位置合わせ分析を行うステップと、
   前記位置合わせ分析結果を、前記第２画像の共通角特徴のピクセルの色を変更することで表示するステップと、を含む、請求項１乃至４のいずれかに記載の画像合成方法。
9. 請求項１乃至８のいずれかの画像合成方法を行うグラフィック・コントローラ。
10. 請求項９のグラフィック・コントローラと、
    前記第１画像及び前記第２画像とを取り込む画像取り込み装置と、
    前記画像取り込み装置で取り込まれた第１画像および第２画像を表示するディスプレーと、を含むデジタル画像装置。

Images