JP4841677B2 - 立体画像を選択するための装置 - Google Patents

Description

本発明は、立体画像を選択するための方法と装置に関する。本発明は、上記方法に対するコンピュータプログラムにも関する。そのような技術は、例えば、写真撮影、ビデオ撮影、映像製作および立体画像が必要とされる任意のアプリケーションにおいて用いられ得る。そのような技術は、立体画像をキャプチャする時点において、または、キャプチャした直後において、例えば、静止画像または連続する映像列から立体画像を選択するために用いられ得る。

ほとんどの３Ｄ表示技術、例えば、ＥＰ ０ ６０２ ９３４、ＥＰ０６５６ ５５５、
ＥＰ ０ ７０８ ３５１、ＥＰ ０ ７２６ ４８２、ＥＰ０ ８２９ ７４３、およびＥＰ ０ ８６０ ７２８において用いられるような３次元画像は、２つの２Ｄ画像から形成される。これらの表示技術は、一方の眼がある画像を見て、他方の眼が別の画像を見ることが出来るように、離れた画像をどちらの眼にも配向する。ヒューマン・ビジュアル・システム（ＨＶＳ）は、人が表示された画像から奥行きを感知し得るように、内部で２つの画像を１つの３Ｄ画像に融合させる。

快適に目視し得る立体画像を作るためには、上記２つの画像はうまく整列させられていなければならない。このことは、画像を取り込む以前に、カメラを非常に正確に配置することによって、または、例えばＥＰ１２３５ ４３９に公開されている、画像調整のような後処理によって達成され得る。画像調整とは、２つの画像を３次元で平行になるように再整列させるための方法である。このことは、幾何学的な変換によって、これらを共通の平行面上に再投影するステップを含む。かくのごとく画像が平行になった時、これらは直線的であると見なされる。画像が直線的でない場合、垂直方向の不均衡、遠近法による効果、過度な奥行き等により、ＨＶＳが調整出来なくなり、３Ｄ効果が機能しなくなるために、快適に立体画像を目視することが出来なくなる。

通常、画像調整方法は、強力なコンピュータービジョンアルゴリズムを用いる。しかしながら、最初の画像のペアが悪く整列させられた場合、上記プログラムは極めて遅いか完全に機能しなくなり得る。大きな調整が必要な場合、２つの画像が再投影される際に、画質が犠牲になり得る。更に、調整された画像の間での画像のオーバーラップが軽減され得、３Ｄ画像に利用できる有用な画像エリアが小さくなる。逆に、最初の画像のペアの整列が良い場合、上記調整は、はるかに早く処理され得、画像の再投影からの望ましくない副作用が軽減され得る。従って、最初の画像が良く整列された位置から選択される場合、より快適な３Ｄ画像が生成され得、最小限の調整しか必要とされなくなる。

２００１−２３０９５５は、Ｐｅｎｔａｘ Ｏｐｔｉｏ ２３０デジタルカメラにおいて用いられ、ユーザーガイド付きの２ショット立体写真撮影モードを提供する、技術を公開している。この方法では、ユーザーは、第１の画像を撮影し、「カメラを右に動かしてください」とアドバイスされる。上記第１の画像の、透明であって垂直または水平である帯が、当面の画像に重ね合わされる。ユーザーは、上記帯を用いている第１の画像に、第２の画像を整列させることになる。しかしながら、この技術をフォローした場合、遠近的なエラーが取り込まれ、上記２つの画像が直線的ではないように第１の画像が撮影された際に、カメラはその向きに対して回転させられることになるので、結果として画質の悪い３Ｄ画像になる。

ＥＰ１０８５７６９は、間隔の長さを測定するために、ＥＰ１０８９５７３に公開されているような画像調整方法を用い得る、可変間隔のデュアル・ヘッド・カメラについて公開している。上記システムは、シーンに対するアプリオリな認識に基づいている。現在のところ、快適に目視出来得る３Ｄ画像を作るために必要とされる間隔を提案する自動的なシステムとして、既知なものは存在しない。

以下で用いられる「画像特徴」という用語は、画像上に現れるどんなものを意味するようにも定められる。これは、例えば、直線、パターンおよび陰影を含む。この用語は、ビジョンリサーチの分野における、従来の意味と共に用いられる。

本発明の第１の局面によれば、立体画像を選択するための方法であって、
（ａ）第１の画像を選択するステップと、
（ｂ）上記第１の画像にオーバーレイされた少なくとも１つのカーソルを、上記第１の画像の少なくとも１つの画像特徴に照準合わせするステップと、
（ｃ）上記カーソルを横方向に所定の量だけシフトするステップと、
（ｄ）上記特徴を含み、上記カーソルがオーバーレイされており、更に実質的に上記特徴に照準合わせされている、第２の画像を選択するステップとを包含する方法が提供される。

上記所定の量は、実質的に両眼間の距離の平均値に対応し得る。

上記所定の量は、上記第１および第２の像を表示するディスプレイの少なくとも１つのパラメータに対応し得る。
上記所定の量は、上記第１の像の画像特徴の奥行きに依存し得る。
上記所定の量は、快適に目視出来る奥行きの最大値に対応し得る。

上記ステップ（ｂ）は、上記カーソルを手動で照準合わせするステップを含み得る。
上記ステップ（ａ）およびステップ（ｄ）は、既にキャプチャされた画像の中から上記第１および第２の画像を選択するステップを含み得る。

上記ステップ（ａ）は、カメラを用いて上記第１の像をキャプチャするステップを含み得、上記ステップ（ｄ）は、上記カーソルが実質的に上記特徴に照準合わせされている場合に、カメラを用いて上記第２の画像をキャプチャするステップを含み得る。上記第２の画像は、手動でキャプチャされ得る。上記ステップ（ａ）は、ステップ（ｂ）と（ｃ）との間で実行され得る。上記カメラは、光軸を有し得、上記第２の画像がキャプチャされる際の光軸が、上記第１の画像がキャプチャされる際の光軸に実質的には平行であるように方向付けされ得る。上記第１および第２の画像がキャプチャされるカメラの位置は、上記第１の画像がキャプチャされた際の光軸に関して、それぞれ実質的に横方向に、かつ、実質的に垂直に間隔付けられる。

上記カーソルは、直交する直線の格子、十字線、複数のドット、非零エリアの領域を定めるシンボル、上記第１の画像の一部の少なくとも１つを備え得る。上記シンボルは、実質的には長方形の輪郭である。上記カーソルは、上記第１および第２の両画像において、横方向にシフトされたカーソルと平行に表示され得る。

上記ステップ（ｄ）は、上記第１の画像の一部を上記第２の画像にオーバーレイするステップを含み得る。上記第１の画像の一部は、例えば、空間的に高域フィルターされることによって、オーバーレイするステップの以前に変更され得る。上記第１の画像の一部は、上記領域によってオーバーレイされた、上記第１の画像の一部を備え得る。

上記ステップ（ｄ）は、上記第１の画像、および、上記第２の画像の少なくとも１つの候補との間の相関を実行するステップを含み得る。上記ステップ（ｄ）は、相関のレベルの指標に基づいて、第２の画像をユーザー選択するステップを含み得る。上記ステップ（ｄ）は、上記相関が閾値を超える際に、上記第２の画像を選択するステップを含み得る。上記ステップ（ｄ）は、前記相関が最大値になる際に、上記第２の画像を選択するステップを含み得る。

上記少なくとも１つのカーソルは、上記シンボルを備え得、上記相関は、上記シンボルによってオーバーレイされた第１の画像の一部と、シフトされたシンボルによってオーバーレイされた、第２の画像の少なくとも１つの候補の一部との間で実行され得る。上記相関が行なわれる、上記第１の画像のエリアおよび上記第２の画像の少なくとも１つの候補のエリアは、互いにオーバーラップし得る。

上記相関は、輝度、特徴点、質感（ｔｅｘｔｕｒｅ）、および色のうちの少なくとも１つの上で実行され得る。

上記相関は、数学的な相互相関、平均２乗誤差、最大絶対差および位相相関のうちの少なくとも１つを備え得る。上記ステップ（ｄ）は、上記第２の画像をキャプチャするために、上記カメラの位置までの距離の指標を提供するステップを含み得る。

本発明の第２の局面によれば、本発明の第１の局面による方法を実行するための装置が提供される。

本発明の第３の局面によれば、立体画像を選択するための装置が提供され、
画像を表示するためのディスプレイと、
表示された画像をオーバーレイする少なくとも１つのカーソルをディスプレイに表示させるための手段と、
上記少なくとも１つのカーソルを上記表示された画像の各画像特徴に照準合わせするための手段と、
表示された画像を選択するための手段と、
第１の画像の上記選択手段による選択に応答して、所定の大きさだけ、少なくとも１つのカーソルを横方向にシフトさせるための手段とを備える。

上記装置はカメラを備え得る。上記ディスプレイは、カメラファインダーディスプレイを備え得る。上記選択手段は、少なくとも上記第１の画像を取り込むために、カメラを制御する手動で動作可能なコントローラーを備え得る。

本発明の更なる局面によれば、本発明の上記第２または第３の局面に従った、コンピュータを備える装置に本発明の第１の局面による方法を実行するためのコンピュータプログラムが提供され、コンピュータを備え、本発明の第１の局面による方法を実行出来ない装置を、本発明の第１の局面による方法を実行するように適合させる、コンピュータプログラムが提供され、また、そのようなプログラムを収容する収容媒体が提供される。

このようにして、ユーザーに立体画像を比較的容易かつ迅速に選択させることを許容する技術を提供することが可能となる。カメラを用いて画像をキャプチャする場合、この技術は、実質的には直線上にあり、３Ｄディスプレイを用いて表示される以前に処理をほとんど必要としないか全く必要としない立体画像をキャプチャするステップに、ユーザーをガイドする。上記カメラは、上記第１および第２の像をキャプチャするステップのあいだに回転するため、ユーザーに対し、遠近法的な歪みを被る２つの像をマッチさせることを試みさせる必要がない。

例えば、これらの技術は、２つの２Ｄ画像がほぼ直線上にあるように、良い位置から２つの２Ｄ画像を撮影するために、人をガイドするために用いられ得る。これらの技術は、単一のカメラから第２の画像を撮影している人物に対し、静止画像の列または映像列から第２の画像として最良である画像を選択させるために、あるいは、デュアルヘッドカメラまたは両カメラの間隔が変動し得る２台のカメラを備えるシステムの調整をガイドするために、用いられる。

上記シーンの構造は、上記第１の画像が撮影された際に、ある画像特徴上にカーソルをオーバーレイすることによって上記構造が参照先として用いられるように、ユーザーによって用いられる。上記カーソルは、平行移動するようにシフトされ、上記カメラは、上記画像特徴が再びカーソルの下に来るように、平行なマナーで動かされる。上記第２の画像は、調整されたカメラ間隔で、平行な位置から撮影され、それによって、制御された奥行きを提供する。相関計量が２つのカメラ位置のあいだで計算され得、上記相関が最大になり、上記カメラが正しい位置にある場合、上記カメラは第２の像を自動的に撮影することが出来る。

位置を測定するセンサー、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、コンパス、傾斜センサーは、上記システムを機能強化し、２つの画像が出来るだけ平行であることを保証するのを助ける、付加的なフィードバックを提供することにも用いられ得る。

本発明は、実施例を通し、添付の図面を参照することによって、更に記述される。

同じ参照番号が図面中の同じ部分を参照する。

図１は、本発明の一実施形態を構成するデジタルカメラのブロックスキーム図である。 図２は、本発明の一実施形態を構成する立体画像を選択するための第１の方法を示す流れ図である。 図３は、同一の像にオーバーレイされた異なるタイプのカーソルの様子を示している。 図４は、第１の像が選択された場合のビューファインダーディスプレイの様子を示している。 図５は、カーソルがシフトした後に続くディスプレイの様子を示している。 図６は、第１および第２の像をキャプチャするためのカメラの正しい位置を図式的に示している。 図７は、カメラが第２の像を取り込むための正しい位置にある場合のビューファインダーディスプレイの様子を示している。 図８は、本発明の一実施形態を構成する第２の方法を示す流れ図である。

図１は、デジタル「スチール」カメラ１の形態で本発明の一実施形態を構成する装置を示している。上記カメラ１は、シーンの画像を形成する、従来型の光学システム２を備える。上記カメラ１は、その上で画像が形成され、光学的な画像をそれに対応する電気的な信号に変換する、従来型の画像センサー３をも備える。画像センサー３の出力は、例えば、ディスプレイに表示し、それに続いてハードコピーに印刷するための、センサー信号を任意の様式で処理するプロセッサ４につながれる。プロセッサ４は、例えば、カラー液晶ディスプレイ（ＬＣＤ）タイプであるビューファインダーディスプレイ５につながれる出力を有する。

光学システム２は、レンズおよびモーター、あるいは、焦点合わせを行うためにレンズまたはレンズの群の位置を調整するものからなるセットを備える。上記カメラ１は、「オートフォーカス」タイプであり、カメラからシーン内の対象までの距離に関する情報をプロセッサ４に供給する、オートフォーカスセンサー６を含む。上記プロセッサ４は、上記センサー６からの情報に従って、光学システム２のオートフォーカス機構を制御する。

ここまでに述べてきたカメラ１のパーツは、基本的には従来のものである。しかしながら、以下に述べられるように、上記プロセッサ４は、立体画像を選択するための方法を実行出来るように配置される。従来のシャッターリリースコントローラー７は、上記光学システム２によってセンサー３上に造られた像をキャプチャしようと思うユーザーによって提供され、動作させられる。上記プロセッサ４は、以下に述べるような手動でのカーソルの照準合わせを可能にするために用いられる、「カーソル照準合わせ」コントローラー８にもつながれる。

立体画像を選択するために、流れ図２に示され、本発明の一実施形態を構成する方法が実施され得る。第１の像を選択する際、ユーザーは、光学システム２によってセンサー３上に造られた像を表示する、ビューファインダーディスプレイ５を目視する。上記プロセッサ４は、ディスプレイ５に１つ以上のカーソルを表示させ、上記カーソルは、ビューファインダーイメージ上にオーバーレイされる。上記ユーザーは、カーソルを照準合わせするためにカーソルを移動させることが出来るように、または、ディスプレイ５によって表示された画像の特定の画像特徴を「ハイライト表示」することが出来るように、コントローラー８を調整することが出来る。例えば、上記カーソルは、センサー３上に像を造られたシーンの前景にある人物または対象をハイライト表示するために用いられ得る。このことは、図２に示され、上記方法の開始ステップ１０の後、ステップ１１，１２が続く。

代替的に、または付加的に、上記カーソルは上記画像特徴に自動的に照準合わせされ得る。例えば、上記プロセッサ４は、適切な画像特徴を識別するためにセンサー３からの信号を処理し得、その後、上記カーソルのうちの１つをディスプレイ５上の画像特徴に自動的に照準合わせし得る。上記カーソルが自動的に照準合わせされる場合、専用のカーソル照準合わせコントローラー８は省略され得る。その代わりに、カーソルの照準合わせは、立体画像をキャプチャしている間に手動によるカーソルの照準合わせを許容するために配置された、従来型の、既存の、カメラコントローラーによって実行され得る。

図３は、上記方法で用いられ得るカーソルの様子のいくつかの例を示している。ビューファインダーディスプレイ５によって表示され得る画像を例示する、「プレーンな」画像は、２０に示される。上記カーソルを照準合わせすることによってカーソルによりハイライトされることになる画像特徴は２１に示され、例として、立方体で示されている前景特徴を備える。

図３は、２２において、正方形または長方形の輪郭の形である、２次元の閉じた幾何学的図形２３の例を示している。この特定の図形は、カーソルとして用いられ得る閉じた図形の１つの例にすぎず、実線によって閉じた図形に示されたものは、破線によっても表示され得る。一般に、任意の非零エリアの閉じた２次元の図形が用いられ得る。上記図形の輪郭のみが、カーソルとして表示され得る。その代わりに、図形の内部もまた表示され得るが、一般に、カーソル２３を画像特徴２１に照準合わせするのを容易にするために、一部分が透明にされ得る。

図３は、２４において、直行する直線の格子の形である、別タイプのカーソルを示している。図３は、２５において、十字線の形をしたカーソルを示し、このカーソルは、上記カーソルの交点を上記画像特徴に照準合わせすることによって上記特徴２１の特定の点をハイライトするのに用いられる。図３は、２６において、複数の特徴点を示している。このケースでは３点あり、前景にある対象の特定の画像特徴２１に照準合わせしている。これら特徴点を通過する水平線も示されており、ある画像キャプチャ位置から別の位置に移動する場合に、カメラの回転を減らすのを助けるのに有用であり得る。

上述のカメラは、デジタルスチールタイプであるが、上記方法は、他のタイプのカメラにも用いられ得る。例えば、上記方法は、従来のビューファインダーディスプレイと、上記ビューファインダーディスプレイで目視可能なカーソルを構成する付加的な光学的要素とを有する、フィルムカメラと伴に用いられ得る。

ユーザーは、ディスプレイ５内の画像の構成に満足し、上記カーソル、例えば長方形のカーソル２３の位置に満足した時、シャッターリリースコントローラー７を動作させることによって、ステップ１３における第１の画像を撮影する。プロセッサは、上記画像をデジタルで保存し、ステップ１４において、ビューファインダーディスプレイ５上のカーソルの位置を自動的に移動させる。図４は、図３に表示された画像２２を再び示し、第１の画像が取り込まれた際のビューファインダーディスプレイ５の様子を示している。上記カーソルは、所定の大きさ、例えば、人間の眼間の距離のほぼ平均に対応する大きさ、あるいは、その代わりに、画像が表示されることになる３Ｄディスプレイのパラメータに対応する量だけ、図５に示されるように横方向にシフトされる。この大きさは、上記カメラによってキャプチャされた立体画像によって形成される３Ｄ画像内で目視し得る奥行きの大きさを、ある程度決定する。シフトを大きくすると、目視可能な奥行きが大きくなるが、画像領域のオーバーラップが小さくなり、最終的な画像領域が実質的に小さくなる。また、奥行きの大きさが過度に大きくなると、３Ｄ画像を目視することが全く不快、または長時間目視することが不快になる。逆に、シフトが非常に小さいと、３Ｄ画像の目視可能な奥行きが非常に小さくなり、その結果、３Ｄ画像の有用性が低下し得る。

シフトの大きさは、公開された技術、例えば、その内容がここで援用される、ＥＰ１
０８９ ５７３における技術を用いて決定され得る。シフトの大きさを固定すると、対象
がどれだけ近いかに関わりなく、３Ｄ画像内の対象の奥行きの大きさが固定される。カメラ１のオートフォーカス機能は、目視可能な奥行きの大きさの極限値をセットするために用いられ得、オートフォーカスシステムからの情報は、上記カーソルの横方向のシフトを決定するのに用いられ得る。

現在の例では、立体画像においては、左目が第１のキャプチャされた画像を目視するように意図されている。図５に示されているように、上記カーソルは、第１の画像が取り込まれた際、その位置に関して計算された量だけ左側に横方向にシフトされる。それに続く照準合わせのステップを補助するために、カーソル２３内にある第１の画像の一部が、シフトされたカーソルの内部に表示され得る。例えば、第１の画像の上記一部は、詳細をハイライト表示するために高域フィルタリングされ、目視可能にし、かつ、照準合わせを可能にするために、上記センサー３上にある現在の画像の一部分を透明にする。図５は、２７における破線によって、上記カーソル２３の内部にある第１の画像の一部分を示している。

シフトされたカーソルが表示された時、ユーザーは第２の立体画像を取り込むことが出来るようにカメラを移動させる。例えば、シフトされたカーソルが現在上記センサー３上の光学システム２によって像を造られている画像の画像特徴上に正確に照準合わせされ、ビューファインダーディスプレイ５上に表示されるまでカメラ１を右側に移動させるようにユーザーに指示する指示内容が、ビューファインダーディスプレイ５上に表示され得る。図７は、ユーザーが正確な大きさだけカメラを移動させ、カメラを正確な方向に方向合わせした場合の、ビューファインダー５上にオーバーレイされた画像の様子を示している。このケースでは、カーソル２３は現在表示されている画像特徴２１に再び照準合わせされ、「ゴースト」画像２７は画像特徴２１上に的確に重ね合わされる。図７に示された状況を実現するために、カメラ１は、図６における矢印３０に示されるように、右側へ水平的に移動させられる。また、図７に示される組み合わせ画像を実現するためには、新しい位置１’にあるカメラは、第１の位置から第１の画像がキャプチャしたときの方向と実質的に同じ３次元の方向を有さなくてはならない。図６は、上記２つの位置にあるカメラの光軸３１と３１’を図示している。上記光軸は光学システム２の光軸を備え、最適の結果を得るためには、軸３１と３１’は平行でなければならず、正しい位置にあるシフトは、３２に示されるシフト量を有する単なる平行移動でなければならない。それ故、カメラは２つの位置において同じ方向を指し示し、光軸の周りの回転がない。このことは、実質的に直線上にある画像が取り込まれたこと、良い３Ｄ効果を提供するためには更なる処理をわずかしか必要としない、または、全く必要としないことを保証する。

この例では、カーソルは第１の画像に対してのみ表示され、第２の画像に向けて横方向にシフトされるように示されているが、両画像上の第１の位置、および、シフトされた位置の両方にあるカーソルを表示することが可能である。ユーザーは、シフトされていないカーソルを用いて画像特徴を照準合わせし、第１の画像を撮影し、シフトされたカーソルを用いて上記特徴を照準合わせする。「アクティブな」カーソルの表示は、例えば、色または実線／破線を用い、カーソルをハイライトすることによって、提供され得る。

カメラを移動させること、および、カーソルを照準合わせすることは、図２におけるステップ１５に示されている。図７に示されている組み合わせ画像を目視しているユーザーによって、実質的に正確である移動が達成されたことが示唆されると、上記ユーザーは、図２でステップ１６に示されているように第２の画像をキャプチャする、または、「撮影」出来るようにシャッターコントローラー７を動作させる。立体画像のキャプチャは、プロセッサが第２の画像を保存した後、ステップ１７で終了する。

第２の画像を取り込むための代替的、または付加的な技術として、セミ−オートマッチクの「ワンショット」法が用いられ得、これは図８に示される。ステップ１０から１４は、上記方法に従って第１の画像を撮影するためにユーザーがシャッターリリースコントローラー７を動作させ、図５に示される組み合わせ画像を示すためにカーソルがビューファインダーディスプレイ５上を自動的に移動させられることが出来るように、上述のごとく実行される。その後、ユーザーは、上述の通りにカメラを動かすように指示される。しかしながら、プロセッサ４は、取り込まれた第１の画像の一部分と、センサー３によって像を造られビューファインダーディスプレイ５内に表示された「第２の画像の候補」との間の相関を測定する、ルーチン処理を実行する。例えば、第１の画像が取り込まれた際にカーソル２３の内部にあった第１の画像の一部分とシフトされた現在のカーソル２３の内部にある現在の画像の一部分との相関が、連続的に計算される。このことは、図８におけるステップ４０に示される。

ステップ４１は、上記相関が、この例では最大の相関として示唆されるような閾値を超えるかどうかを判定する。動き検出理論は、最大値付近の相関機能の一般的な振る舞いを予測する（その代わりに、位相相関技術を用いると、上記最大値は直接的に測定される）。ユーザーが、正確にシフトされた位置に向けてカメラを移動させるのに伴い、上記相関は増加し、上記最大値は、上記相関の値の変化をモニターすることによって見出され得る。上記最大値がいつ十分な精度で見出されたかを判断することが出来る２つの技術とは、上記相関がいつ減少し始めたかを判断することと、相関の増加がいつ所定の閾値を下回ったかを判断することである。

最大相関が検出されると、ステップ４２は、第２の画像を自動的にキャプチャする。このように、相関が最大になり、カメラが位置１’にある場合、ユーザーはカメラを動かし、第２の画像が自動的にキャプチャされる。

第２の画像をキャプチャするためのステップ４２もまた、いつ第２の画像を取り込むかの判断を確立させるために、相関のレベルを示唆するメーターを使用し得るユーザーによって、手動で行なわれ得る。上記ユーザーは、第２の画像を取り込むための適切な機会を決定する、相関の指標を用いることによって、両画像を手動で撮影する。

セミ−オートマチックな方法が実行されるためには、カーソル２３の周辺のエリアは、相関に関する正確な測定を提供するために、十分大きくなくてはならない。また、上記エリアは、そのシフトされた位置とオーバーラップするようでなければならない。プロセッサ４に十分な演算能力が用意されていれば、相関を測定するために用いられるエリアは、実質的に画像全体を包含し得る。

上記相関は、画像内の輝度に関する情報に基づき得るが、代替的に、または付加的に、上記画像の特徴点、質感、および色のような、その他の情報も用いる。任意の適切な計量が相関を測定するために用いられ得、そのような計量の例は、平均２乗誤差、最大絶対差、相互相関、および、Ｃ．ＫｕｇｌｉｎおよびＤ．ＨｉｎｅｓによってＴｈｅ Ｐｈａｓｅ Ｃｏｒｒｅｌａｔｉｏｎ Ｉｍａｇｅ Ａｌｉｇｎｍｅｎｔ Ｍｅｔｈｏｄ，Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｙｂｅｒｎｅｔｉｃｓ ａｎｄ Ｓｏｃｉｅｔｙ，ｐｐ．１６３〜１６５，１９７５に発表された、位相相関である。

これら相関計量のいくつか、例えば位相相関は、所望の位置までの距離を示すことが可能であり、ユーザーが第２の画像がキャプチャされることになる位置へカメラを移動させることを補助するために使用され得る。例えば、正確な位置からの距離に関する、ビジュアル性の、および／または、オーディオ性の指標が、カメラ１によって提供され得る。ビジュアル性の指標の場合、この指標は、例えばグラフまたは可動性のバーの形で、ビューファインダー５上に提供され得る。オーディオ性の指標の場合、この指標は、正しい位置からの距離に従って音程を変える音色によって提供され得る。位相相関は、高速フーリエ変換を用いることによって実行され得る。このことは、条件に合った処理能力を用いることによってリアルタイムに実行され得、当技術分野では既知である。

第１および第２の画像は異なる時間で取り込まれるため、シーン内にある任意の移動する対象は、カメラが第２の位置まで移動し、第２の画像がキャプチャされる時まで、異なる場所に位置することになる。このことは、３Ｄ効果におけるノイズを発生させ、不自然に目視される。例えば、人物の３Ｄ画像がキャプチャされる場合、第１の画像が取り込まれてから第２の画像が取り込まれるまで上記対象は静止し続けなければならないが、このことは困難であり得る。それゆえ、第１の画像が取り込まれた後に第２の画像を迅速に取り込むことには利益がある。位相相関を用いる、第２の画像を取り込むためのセミ−オートマチックな方法は、第１の画像を取り込んでから第２の画像を取り込むまでの遅延が比較的小さくなり得るように、カメラが迅速に再配置されることを可能にする。

第２の画像は異なった地点にあるが、図６において矢印３０で示されているように、第１の画像が取り込まれた位置から第２の画像が取り込まれる位置までカメラが平行移動させられるとき、上記相関は最大になり得る。カメラのいかなる回転も、相関の大きさを減少させ得ない。全ての次元でのカメラの方向付けがインタラクティブに修正され得るようにするために、より複雑な動作モデルが上記相関を評価するのに適用され得る。十分な計算能力が利用可能ならば、カメラを適切な位置に配置する、上述のユーザー誘導の初期段階を利用するフィードバックを用いて、インタラクティブな調整が実行され得る。

それゆえ、立体画像を取り込むユーザーを強力に補助し、適切なディスプレイ装置で目視された際に快適に目視される３Ｄ効果を与えるためにわずかしか処理を必要としない、または、全く処理を必要としない技術を提供することが可能である。特に、ユーザーはカメラを所定の大きさだけシフトすること、および、直線上にある画像が取り込まれるようにするためにカメラを正しく方向付けることを補助される。

この技術は、カメラを用いて画像を取り込むことに対して述べられて来たが、他の発信源から像の立体写真を選択するためにも用いられ得る。例えば、この技術は、「リアルタイム」で用いられる必要はないが、ビデオカメラが平行移動させられた場合に映像列から立体写真を選択するために、または、既にキャプチャされた静止画像の列から画像を選択するために用いられ得る。そのような例においては、第１の画像が検査によって、または任意に選択され得る。その後、別の画像が検査によって、または任意に選択され得、上記技術は、利用可能な画像から「最良の」像の立体写真を選択するために適用され得る。

Claims (2)

1. 立体画像を形成する第１および第２の画像を、ディスプレイを有するカメラによりキャプチャするための装置であって、
   画像を表示するディスプレイ（５）と、
   表示された画像にオーバーレイする少なくとも１つのカーソル（２３）をディスプレイに表示させるための手段（４）と、
   該少なくとも１つのカーソル（２３）を該表示された画像の各画像特徴に照準合わせする手段（８）と、
   表示された画像を選択する手段（７）と、
   該選択する手段（７）によって該第１の画像をキャプチャしたことに応答して、所定の量だけ該少なくとも１つのカーソル（２３）を横方向にシフトする手段（４）とを備え、
   シフトした該カーソル（２３）が該第２の画像にオーバーレイされたときには、該カメラの移動により、該カーソルに照準の合う画像特徴が該第１の画像の画像特徴に実質的に一致することを特徴とする、装置。
2. 前記所定の量（３２）が、実質的に両眼間の距離の平均値であることを特徴とする、請求項１に記載の装置。

Images