JP4018103B2

JP4018103B2 - エッジ検出を使用してデジタルカメラにおいてパノラマ（合成）画像に画像位置合わせフィードバックを提供する方法

Info

Publication number: JP4018103B2
Application number: JP2005019390A
Authority: JP
Inventors: クリストファー・ウェッブ
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2004-02-03
Filing date: 2005-01-27
Publication date: 2007-12-05
Anticipated expiration: 2025-01-27
Also published as: US7289147B2; US20050179787A1; JP2005223902A

Description

本発明はデジタルカメラおよびデジタルカメラの方法に関する。

新しいモデルのデジタルカメラは、デジタルカメラのユーザが、複数の隣接する画像を取り込むことができるようにする「パノラマ」機能を備えており、複数の隣接する画像は後に共に「つなぎ合わされて」単一の画像になる。ステッチングアルゴリズムが成功するには、隣接する画像の間に、ステッチングアルゴリズムが２つの隣接する画像の間に共通する特徴を見つけることができるようなかなりのオーバーラップを必要とする。
Randy Crane,「A Simplified Approach to Image Processing」,ISBN:0-13-226416-1

画像位置合わせフィードバックをユーザに提供する最も一般的な既存の解決策は、２つの技法のうちの１つからなる。第１の技法は、先に取り込まれた画像の一部（通常、前の画像の３３％〜５０％）を縮小サイズのライブビュー画像に隣接させて表示するというものである。この技法ではライブビュー画像のサイズを縮小する必要があり、これは、ユーザに提供される視覚的特徴が少なくなることを意味する。この技法はＣａｎｏｎデジタルカメラモデルＳ３０、Ｓ４０、およびＳ４５で使用されている。

第２の技法は、前の画像の一部をフルスクリーンライブビュー画像上に不透明にオーバーレイするというものである。この手法では、ライブビュー画像は縮小されないが、前の画像の大部分を隠蔽することによりライブビューの最大で半分が遮蔽される。この手法の欠点は、ユーザが、オーバーレイされた前の画像により隠蔽されたライブビュー画像の部分で起こる画像合成の変化をいずれも見ることができないことである。

本発明は、パノラマ画像を取り込む場合の既存の画像位置合わせ方法を改良するデジタルカメラおよび方法を提供する。本発明は、ステッチングアルゴリズムにより使用される可能性が高い特徴を識別し、それら特徴をデジタルカメラのディスプレイに表示される「ライブビュー」画像の上にスーパーインポーズすることによってユーザに対してハイライトする。エッジ検出アルゴリズム（フィルタ）が先に取り込まれた画像に適用されて、所望のエッジ特徴が識別され、カメラは、後続画像のためのカメラの位置合わせに関連する前の画像の特徴を選択し、後続「ライブビュー」画像の上に表示（オーバーレイ）する。

本発明の実施形態の様々な特徴および利点は、同様の参照符号が同様の構造要素を示す添付図面と併せて行われる以下の詳細な説明を参照することでより容易に理解することができる。

図面を参照すると、図１ａおよび図１ｂは、それぞれ本発明の原理による例示的なデジタルカメラ１０の背面図および正面図である。図１ａおよび図１ｂに示すように、例示的なデジタルカメラ１０は、ハンドグリップ部２０および本体部３０を備える。ハンドグリップ部２０は、ロックラッチ２２を有する電源ボタン２１またはスイッチ２１、録画ボタン２３、ストラップ接続部２４、およびバッテリ２７を収容するバッテリコンパートメント２６を備える。バッテリは、デジタルカメラ１０の底面４７に隣接する開口部を通してバッテリコンパートメント２６内に挿入することができる。

図１ａに示すように、本体部３０の背面３１は液晶ディスプレイ（ＬＣＤ）３２またはビューファインダ４５、背面マイクロフォン３３、ジョイスティックパッド３４、ズーム制御ダイアル３５、カメラ１０の機能を設定する複数のボタン３６、および画像をたとえばコンピュータにダウンロードするための出力ポート３７を備える。図１ｂに示すように、ズームレンズ４１がデジタルカメラ１０の正面４２から延出する。測光要素４３および正面マイクロフォン４４が、デジタルカメラ１０の正面４２に配置される。ポップアップフラッシュユニット４５が、デジタルカメラ１０の上面４６に隣接して配置される。

イメージセンサ１１が処理回路１２（破線で示されている）に結合され、たとえば本体部３０内に収容される。処理回路１２の例示的な実施形態としては、マイクロコントローラ（μＣ）１２または中央演算処理装置（ＣＰＵ）１２が挙げられる。ＣＰＵ１２は、不揮発性（ＮＶ）記憶装置１４およびシンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）１５等の高速（揮発性）記憶装置１５に結合される。

デジタルカメラ１０では、処理回路１２（マイクロコントローラ（μＣ）１２またはＣＰＵ１２）が、本発明の原理による、エッジ検出アルゴリズム１３を含む処理アルゴリズム１３を実施して、パノラマ（合成）画像の画像位置合わせフィードバックを提供する。これについて、図２を参照してより詳細に考察する。

例示的なエッジ検出アルゴリズム１３は、Randy Craneによる「A Simplified Approach to Image Processing」ISBN:0-13-226416-1に開示されている。このラプラシアン畳み込み（Laplacian convolution）は、画像内のエッジを識別する高速かつ効率的な方法を提供する。

図２は、本発明の原理による例示的な方法６０を示す流れ図である。例示的な方法６０は以下のステップを含む。

ユーザは、パノラマ画像シーケンスの一部として使用する画像を取り込む（記憶する）（６１）。取り込まれた画像はエッジ検出フィルタ１３を使用して処理される（６２）。

カメラは、取り込まれた画像の、パノラマシーケンスの次の画像に重なることになる部分にエッジ検出フィルタを適用する（６３）。たとえば、ユーザが、左から右に移るパノラマ合成用の一連の写真を撮影している場合、画像の右半分が次の画像の左半分に重なることになるため、カメラはエッジ検出フィルタを各画像の右半分に適用することができる。

カメラは、エッジ検出フィルタを適用した後、結果得られる値のヒストグラムを計算し、しきい値を特定する（６４）。画像ピクセル総数のごく一部が「エッジ」としてみなされるようなしきい値が選択される（６５）。たとえば、全ピクセルの１０〜１５％をエッジと指定することができる。ヒストグラム関数を使用することにより、カメラ１０は、ライブビュー画像を乱すことなく、非常に煩雑な（busy）画像（多くのエッジを有する画像）および非常に閑散とした（bland）画像（少ないエッジを有する画像）のいずれにも適応することができる。

エッジが識別され、しきい値が適用された後、カメラは先に撮影された画像からエッジ付近の画像情報（ピクセル）を抽出し（６６）、それらピクセルのみをライブビュー画像上にスーパーインポーズする（６７）。この場合、「付近」の定義はディスプレイサイズに依存するが、半径２〜３ピクセルが妥当であると考えられる。

エッジ特徴を識別し、前の画像の、エッジ付近の要素のみを現在のライブビュー画像上にスーパーインポーズする方法を適用することにより、前の画像情報による遮蔽が最小のフルスクリーン表示がユーザに提供される。ライブビュー画像の遮蔽をするのは、前の画像の、位置合わせに重要な要素のみである。

この手法により、たとえばＣａｎｏｎのデジタルカメラに見られるような縮小サイズの画像が使用される欠点がなくなる。さらに、前の画像の大部分（前の画像の５０％）がフルスクリーンライブビューにオーバーレイされて、現在の画像の合成が妨げられる欠点がなくなる。

この手法はまた、「エッジ」として識別されるピクセルの割合を変更する（６８）ことにより、あるいはサンプリングされてライブビュー画像に表示されるエッジを中心とした半径（または範囲）を変更する（６９）ことにより、複数の調整を行えるようにする。しきい値を変更する（６５）ことにより、この技法のユーザは、カメラのユーザがライブビュー画像にスーパーインポーズされて見るエッジの数を変更することができる。しきい値が高いほどユーザが擬似エッジ（false edge）を見る確率は高まり、しきい値が低いほど表示されるエッジの数は少なくなる。より高いしきい値を使用して検出することができる擬似エッジほど、多くの位置合わせ特徴を提供することができるが、現在のライブビュー画像の遮蔽も多くなる。エッジが少ないほど、現在のライブビュー画像を遮蔽する散乱物（clutter）は減り、現在の画像をよりよく合成することができるが、提供される位置合わせ特徴は少ない。エッジを中心としてサンプリングされるピクセルの半径を変更することでも同様に、ライブビュー画像の遮蔽レベルが変わる。半径が大きいほど、位置合わせに使用されるエッジの周辺の特徴が多く含まれるが、ライブビュー画像の遮蔽も大きくなる。逆に、半径が小さいほど、位置合わせ特徴の可視性は下がる。

この方法は、本質的に前の画像からのエッジ特徴のみを現在のライブビュー画像上にオーバーレイすることから、アプリケーションにおいて容易に識別可能である。現在のライブビューの遮蔽を可能な限り小さくすることにより、カメラ１０は、パノラマシーケンス中に隣接する画像を位置合わせする問題に対して可能な限り最良の解決策をユーザに提供する。

したがって、エッジ検出を使用してパノラマ（合成）画像の画像位置合わせフィードバックを提供するデジタルカメラおよび方法を開示した。上記実施形態は本発明の原理の応用例を表す多くの特定の実施形態のいくつかの単なる例証にすぎないことを理解されたい。明らかに、本発明の範囲から逸脱することなく、当業者は多くの、また他の構成を容易に考案することが可能である。

本発明の原理による例示的なデジタルカメラの背面図である。本発明の原理による例示的なデジタルカメラの正面図である。本発明の原理による例示的な方法を示す流れ図である。

Claims

デジタルカメラシステム（１０）であって、
レンズ（４１）と、
該レンズで見た画像を感知するイメージセンサ（１１）と、
該イメージセンサが感知した前記画像を表示するディスプレイ（３２）と、
前記イメージセンサが感知した前記画像を記憶する揮発性記憶装置（１５）と、
前記ディスプレイ、前記レンズ、前記イメージセンサ、および前記不揮発性記憶装置に結合された処理回路（１２）と、
該処理回路で実行され、エッジ検出フィルタを実施する処理アルゴリズム（１３）と、
を備え、該処理アルゴリズムは、
パノラマ画像シーケンスの一部として使用する画像を取り込むこと（６１）、
前記エッジ検出フィルタを使用して、前記取り込まれた画像を処理すること（６２）、
前記取り込まれた画像の、前記パノラマシーケンスの後続画像に重なる部分に前記エッジ検出フィルタを適用すること（６３）、
前記エッジ検出フィルタから導出される、結果得られる値のヒストグラムを計算して、しきい値を特定すること（６４）、
画像ピクセル総数のごく一部が前記処理された画像のエッジとしてみなされるような前記しきい値を選択すること（６５）、
前記取り込まれた画像の前記エッジ付近の画像ピクセルを抽出すること（６６）、
該抽出されたピクセルを前記ライブビュー画像上にスーパーインポーズすること（６７）、
とを行う、デジタルカメラシステム。
デジタルカメラシステム（１０）であって、前記処理アルゴリズム（１３）はさらに、エッジとして識別されるピクセルの割合を低減する、請求項１記載のデジタルカメラシステム。
デジタルカメラシステム（１０）であって、前記処理アルゴリズム（１３）はさらに、サンプリングされて前記ライブビュー画像に表示されるエッジを中心とした半径を低減する、請求項１記載のデジタルカメラシステム。
デジタルカメラにおいて使用される方法（６０）であって、電源スイッチ、ライブビュー画像を表示するディスプレイ、ズームレンズ、イメージセンサ、不揮発性記憶装置、揮発性記憶装置、電源スイッチ監視構成要素、および処理回路を有するカメラにおいて使用される方法であって、
パノラマ画像シーケンスの一部として使用する画像を取り込むステップ（６１）と、
エッジ検出フィルタを使用して、前記取り込まれた画像を処理するステップ（６２）と、
前記取り込まれた画像の、前記パノラマシーケンスの後続画像に重なる部分に前記エッジ検出フィルタを適用するステップ（６３）と、
前記エッジ検出フィルタから導出される、結果得られる値のヒストグラムを計算して、しきい値を特定するステップ（６４）と、
画像ピクセル総数のごく一部が前記処理された画像のエッジとしてみなされるような前記しきい値を選択するステップ（６５）と、
前記取り込まれた画像の前記エッジ付近の画像ピクセルを抽出するステップ（６６）と、
該抽出されたピクセルを前記ライブビュー画像上にスーパーインポーズするステップ（６７）と、
を含む、デジタルカメラにおいて使用される方法。
デジタルカメラにおいて使用される方法（６０）であって、エッジとして識別されるピクセルの割合を低減するステップ（６８）をさらに含む、請求項４記載のカメラにおいて使用される方法。
デジタルカメラにおいて使用される方法（６０）であって、サンプリングされて前記ライブビュー画像に表示されるエッジを中心とする半径を低減するステップ（６９）をさらに含む、請求項４記載のカメラにおいて使用される方法。