JP5402719B2 - 立体画像撮影装置、立体画像撮影方法および立体画像撮影プログラム - Google Patents

Description

本発明は、立体画像撮影装置、立体画像撮影方法および立体画像撮影プログラムに関する。

両眼による視差を用いた立体画像を得る技術として、１台のカメラに２つの光学系を設けた複眼カメラを用いる技術や、単眼式カメラを移動させて撮影する技術がある。複眼カメラは、複数の光学系や撮像素子を有するために装置が複雑かつ大型化する傾向があり、扱いづらいという欠点がある。

単眼式カメラを移動させて撮影する技術の一例として、２回目の撮影の際に１回目の撮影結果の一部分をオーバレイ表示させることで、フレーミングすなわち構図の決定を支援する手法が知られている。また、単眼式カメラを移動させて撮影する技術の一例として、マルチオートフォーカスを用いて被写体およびその前後の物体を測距し、立体写真として成立する適切な視差量を計算して撮影を促す技術が知られている。他にも、被写体を測距した結果に基づいて１回目の撮影結果からのずらし量を求め、２回目の予測画像として被写体部分を半透明でファインダー表示しそれにあわせてシャッターを切ることを促す手法ある。

特許第３８１２２６４号公報 特許第３７２２４９８号公報 特開２００６−２３８０８６号公報

しかしながら、従来の単眼式カメラによる立体画像撮影技術では、適切な構図と視差量で２枚の画像を得ることが困難であった。

１回目の撮影結果の一部、たとえば中央部分を半透明表示して撮影者があわせる手法は、実現手法としては容易ではあるが、２つ問題点がある。一つ目の問題は、構図が適切かどうか撮影者に分からないことである。すなわち被写体でのみ合わせて撮影すると、撮影時容易に、カメラの回転、すなわち構図の傾きや奥へのパースがついてしまい、１回目と２回目を水平に撮影することが困難である。仮に１回目の撮影結果をすべて半透明表示したとしても、両眼視差があるため被写体にも背景にもそろえて撮影することはできない。もう一つの問題点は、被写体で合せると立体映像の輻輳点が被写体になることから、背景と距離が離れている場合、極度の視差（相対視差）がつけられてしまうことである。この結果、背景部分での視野闘争や、被写体部分の極度の飛び出しが発生してしまう。

被写体部分については適切な視差量を先に見込んでファインダー表示する技術では、視差量を許容範囲に収めることができても構図の問題を解決することができない。

カメラが雲台上を水平方向に移動する構成は、構図の問題を解決することができる。具体的には、被写体およびその前後の物体を測距した結果から、立体写真として成立する適切な視差量を求めてモータによる移動距離を制御することで構図の問題を解決する。しかし、適切な視差量の算出にオートフォーカスによる近傍探索の測距を用いるので、背景部分を必ずしも含むわけではない。したがって、被写体とその前後の物体が背景から離れると、前述した極度の視差、すなわち相対視差がつけられてしまうという問題が発生する。

開示の技術は、上記に鑑みてなされたものであって、単眼式カメラを用いて構図と視差量が適切な立体画像を撮影する立体画像撮影装置、立体画像撮影方法および立体画像撮影プログラムを提供することを目的とする。

本願の開示する立体画像撮影装置、方法、プログラムは、画像取得部が取得した画像を第１の画像として保持し、第１の画像を取得した後に新たに取得した画像と第１の画像とを比較して第１の位置検出を行なう。開示の装置、方法、プログラムは、第１の位置ずれ検出による検出結果を用い、第１の画像が新たに取得した画像に対して有する位置ずれを補償して変換画像を生成する。開示の装置、方法、プログラムは、変換画像と新たに取得した画像とを比較して位置のずれを検出する第２の位置ずれ検出を行い、位置ずれが所定範囲内である場合に新たに取得した画像と第１の画像との組み合わせが立体画像として適切であると判定する。

本願の開示する立体画像撮影装置、方法、プログラムによれば、単眼式カメラを用いて構図と視差量が適切な立体画像を撮影する立体画像撮影装置、立体画像撮影方法および立体画像撮影プログラムを得ることができるという効果を奏する。

図１は、実施例にかかる立体画像撮影装置の構成図である。 図２は、単眼式カメラによる立体画像の撮影についての説明図である。 図３は、立体画像についての説明図である。 図４は、視差量や構図が適切でない画像から作成した立体画像の説明図である。 図５は、本実施例にかかる立体画像の作成についての説明図である。 図６は、立体画像撮影装置１０の処理動作を説明するフローチャートである。 図７は、図６に示した第１の位置ずれ検出（ステップＳ１０２）の詳細について説明するフローチャートである。 図８は、図６に示した第２の位置ずれ検出（ステップＳ１０５）の詳細について説明するフローチャートである。 図９は、表示制御部２６による表示内容の説明図である。 図１０は、表示制御部２６による他のガイド表示についての説明図である。 図１１は、コンピュータであるカメラ６０が立体画像撮影プログラムを実行する構成についての説明図である。

以下に、本願の開示する立体画像撮影装置、立体画像撮影方法および立体画像撮影プログラムを図面に基づいて詳細に説明する。なお、以下の具体的な実施例に本発明を限定するものではない。

［装置の構成］
図１は、実施例にかかる立体画像撮影装置の構成図である。図１に示した立体画像撮影装置１０は、画像取得部２１，最新フレーム保持部２２、第１の画像保持部２３、第１の位置ずれ検出部２４、画像変換部２５、表示制御部２６を有する。加えて、立体画像撮影装置１０は、第２の位置ずれ検出部２７、判定部２８、操作部２９、第２の画像保持部３０を有する。

画像取得部２１は、たとえばＣＣＤ(Charge Coupled Device)などの撮像素子であってもよいし、外部に設けた撮像素子から画像データを取得する通信ユニットであってもよい。

最新フレーム保持部２２は、画像取得部２１が取得した画像データのうち、最新の画像データを最新フレームとして保持する。すなわち、最新フレーム保持部２２が保持する最新フレームは、画像取得部２１が新たな画像データを取得する度に更新される。

最新フレーム保持部２２は、最新フレームを第１の位置ずれ検出部２４、第２の位置ずれ検出部２７及び表示制御部２６に出力する。また、最新フレーム保持部２２は、操作部２９からの操作入力に基づいて、最新フレームを第１の画像保持部２３や第２の画像保持部３０に出力する。

第１の画像保持部２３と、第２の画像保持部３０は、それぞれ最新フレーム保持部２２が出力した画像データを保持する処理部である。立体画像撮影装置１０は、第１の画像保持部２３が保持する第１の画像データと、第２の画像保持部３０が保持する第２の画像データとの組み合わせを立体画像作成用のステレオペアとする。

第１の位置ずれ検出部２４は、第１の画像保持部２３が保持する第１の画像と最新フレーム保持部２２が出力する最新フレーム、すなわち画像取得部２１が第１の画像を取得した後に新たに取得した画像データとを比較して位置のずれを検出する。第１の位置ずれ検出部２４は、後述する第２の位置ずれ検出部２７によって前景領域が設定されている場合には、前景領域を除外し、背景領域について位置ずれを検出する。すなわち、第１の位置ずれ検出部２４が検出した位置ずれは、第１の画像と最新フレームとの背景のずれである。

画像変換部２５は、第１の位置ずれ検出部２４による検出結果を用い、第１の画像が最新フレームに対して有する位置ずれを補償した変換画像を生成する。画像変換部２５は、変換画像を第２の位置ずれ検出部２７に出力する。また、画像変換部２５は、変換画像の外枠、すなわち、最新フレームに合わせて補正された第１の画像の外枠を表示制御部２６に出力する。

第２の位置ずれ検出部２７は、変換画像と最新フレームとを比較して位置のずれを検出する。判定部２８は、第２の位置ずれ検出部２７が検出した位置ずれが所定範囲内である場合に最新フレームと第１の画像との組み合わせが立体画像として適切であると判定する。

表示制御部２６は、図示しない表示デバイスに表示する表示内容を制御する。具体的には、表示制御部２６は、最新フレームを表示する。最新フレームの表示は、第１の画像もしくは第２の画像として保持可能な画像のプレビュー画面となる。

また、表示制御部２６は、第１の画像を保持しした後、すなわち立体画像作成用として１回目の画像を撮影した後、変換画像の外枠を最新フレームに重ねて表示する。変換画像は、第１の画像を最新フレームに合わせて補正したものであり、第１の画像に対して行なわれた補正は、外枠の拡縮と傾斜との組み合わせで示される。したがって、最新フレームに変換画像の外枠を重ねることで、第１の画像と最新フレームとの位置関係を示すことができる。

また、表示制御部２６は、判定部２８による判定の結果を出力する。具体的には、最新フレームと第１の画像との組み合わせが立体画像として適切であると判定部２８が判定した場合に、表示制御部２６は、最新フレームを第２の画像として第２の画像保持部３０に保持することを提案する出力を行う。

操作部２９は、ユーザからの操作入力を受け付ける入力デバイスである。具体的には、操作部２９は１回目の画像の記録や２回目の画像の記録を指示する操作入力を受け付ける。操作部２９は、１回目の画像の記録を指示する入力を受け付けた場合に、最新フレーム保持部２２から第１の画像保持部２３に最新フレームを出力させ、最新フレームを第１の画像として記録させる。同様に、操作部２９は、２回目の画像の記録を指示する入力を受け付けた場合に、最新フレーム保持部２２から第２の画像保持部２７に最新フレームを出力させ、最新フレームを第２の画像として記録させる。

［立体画像撮影の具体例］
図２は、単眼式カメラによる立体画像の撮影についての説明図である。図２に示した例では、ドア５０を有する壁５１、壁５１とコーナーを形成する壁５２を有する部屋にボール４１，４２が置かれている。立体画像撮影装置１０は、位置１０ａで１回目の撮影を行ない、位置１０ｂで２回目の撮影を行なって、立体画像を撮影する。

図３は、立体画像についての説明図である。位置１０ａで撮影した１回目の画像、すなわち第１の画像Ｐ１と、位置１０ｂで撮影した２回目の画像、すなわち第２の画像Ｐ２から、立体画像Ｐｘ１が得られる。

立体画像Ｐｘ１では、１回目の画像Ｐ１の部分を破線で示し、２回目の画像Ｐ２の部分を実線で示している。画像Ｐ１，Ｐ２の構図と視差が適切であれば、立体画像Ｐｘ１は、壁５１，５２及びドア５０が背景となって重なり、壁５１，５２及びドア５０に対して手前側にあるボール４１，４２には視差に相当するズレが現れる。視差に相当するズレの量は、撮影位置からの距離によって変わり、ボール４２よりも撮影位置に近いボール４１の方がズレ量が大きくなる。

このように、単眼式で違和感のない立体画像を得るには、フレーミング、すなわち構図と、どこで２回目を撮影するか、すなわち適切な視差量とを同時に満たすことが求められる。

図４は、視差量や構図が適切でない画像から作成した立体画像の説明図である。図４に示した立体画像Ｐｘ１ａは、視差量が適切でない画像を重ね合わせた画像であり、図４に示した立体画像Ｐｘ１ｂは、構図が適切でない画像を重ね合わせた場合である。

１回目の撮影結果の一部、たとえば中央部分を半透明表示して撮影者があわせる手法では、構図が適切かどうか撮影者に分からない。すなわち被写体でのみ合わせて撮影すると、撮影時容易に、カメラの回転（傾き）や奥へのパースがついてしまい、１回目と２回目を水平に撮影することができない。従って、立体画像Ｐｘ１ａ，立体画像Ｐｘ１ｂのような画像となりやすい。

立体画像Ｐｘ１ｂでは、背景部分、すなわちドア５０や壁５１，５２で水平が揃っていない。仮に１回目の撮影結果をすべて半透明表示したとしても、両眼視差があるため被写体にも背景にもそろえて撮影することはできない。もしそろえて出来たとすれば、一回目とまったく同じ位置で撮影した場合である。

また、被写体で合せると立体映像の輻輳点が被写体になることから、背景と距離が離れている場合、極度の視差（相対視差）がつけられてしまう。この結果、背景部分での視野闘争や、被写体部分の極度の飛び出しが発生してしまう。

立体画像Ｐｘ１ａはこのことを示した図であり、背景部分であるドア５０や壁５１，５２に視差がついている。仮に、背景部分についた視差量が画面の1/6程度になると、たとえばこれを横幅４５ｃｍのディスプレイ（２２インチ程度）に横幅いっぱいに再生すると、視差は４５ｃｍ／６＝７．５ｃｍとなり、人の平均的な眼間距離６．５ｃｍを超える。人の目は平行視すなわち眼間距離の視差のものが無限遠であり、平行より外に目を離して見ることができない。このことから、７．５ｃｍの視差のついた映像は、脳の中で映像として融像できず、立体として鑑賞できなくなる。

被写体部分について適切な視差量を先に見込んでファインダー表示すれば、視差量がつきすぎることは回避できるが、構図の問題を解決することはできない。また、カメラが雲台上を水平移動する構成とすれば、構図の問題は解決する。しかし、被写体や近傍の物体の測距結果から適切な視差量を求める際にオートフォーカスによる近傍探索の測距を行なうと、背景部分を含むとは限らないため、被写体とその前後の物体が背景から遠く、極度の視差（相対視差）がつく場合がある。

このため、立体画像撮影装置１０は、１回目の撮影映像と２回目のプレビュー画像における背景部分の対応関係を第１の位置ずれ検出部２４によって求め、１回目の画像に対して位置ずれ量を補償した変換画像を得る。そして、変換画像と２回目のプレビュー画像における位置ずれ箇所を第２の位置ずれ検出部２７によって求め、第２の位置ズレ量が閾値１より大きく、閾値２より小さいときに、視覚的に自然なステレオ写真が撮影可能であると判定する。

図５は、本実施例にかかる立体画像の作成についての説明図である。図５に示した立体画像Ｐｘ１ｃは、第１の画像の部分を破線で示し、第２の画像の部分を実線で示している。第１の位置ずれ検出部２４によって背景部分のずれを検出して補正しているため、立体画像Ｐｘ１ｃは、ドア５０、壁５１，５２が重なっている。そして、立体画像Ｐｘ１ｃは、ボール４１，４２について距離に相当するずれが現れる。

また、変換画像の外枠を表示することで、最新の映像フレーム中のどこに１回目の映像が該当するかわかる。この情報を元に、ユーザは水平垂直の構図合わせが可能になる。すなわち、最新フレームに重ねて表示された外枠が水平垂直を維持するように撮影を行うことで、利用者は、２回目の撮影時におけるカメラの回転や、パースを防ぐことができる。

このようにして１回目の画像と最新フレームにおける背景部分の水平垂直方向のズレを求め、そのズレを補償して生成した画像と、プレビュー画像を重ねると、背景部分は一致する。一方で、背景より前にある物体、すなわち前景にある物体では、両眼視差による位置ズレが生じる。第２の位置ズレ検出部は、この位置ズレ量を検出する。

図５に示した例では、ボール４１，４２が前景にある物体である。このズレが背景に対する前景の相対的な視差量である。立体感とは背景との相対的なズレ量で感じることができることから、この前景部分のズレを検出し、それが大きすぎず小さすぎない範囲のとき２回目の撮影を行う。これによって、背景部分での視野闘争や、被写体部分の極度の飛び出しを防ぎ、鑑賞可能な立体写真を得ることができる。

さらにこの前景部分のズレは、最も大きい値をもって閾値比較を行えば、それが撮影者に最も近い物体、すなわち飛び出して見える物体であることから、最も視差量を抑えた目に優しい立体写真を得ることになる。図５では、ボール４１にみられる視差で閾値比較を行えばよい。

［動作の説明］
図６は、立体画像撮影装置１０の処理動作を説明するフローチャートである。図６に示したように、立体画像撮影装置１０は、まず１回目の画像を記録する（ステップＳ１０１）。この１回目の画像の記録は、操作部２９からの指示を受けて最新フレーム保持部２２が最新フレームを第１の画像保持部２３に送り、第１の画像保持部２３がその時点の最新フレームを第１の画像として保持することで行なう。

ユーザは、１回目画像の記録後、最新フレームをプレビュー画面で確認しながら、被写体を中央付近に位置させつつ場所を移動する。立体画像撮影装置１０は、１回目画像である第１の画像を保持した後、第１の位置ずれ検出部２４によって第１の画像と最新フレームとの背景部分のマッチングをとり、位置ズレを検出する（ステップＳ１０２）。この第１の位置ずれ検出の詳細については後述する。

立体画像撮影装置１０は、１回目の画像に、第１の位置ずれ検出によって得られた位置ズレ量を補償し、変換画像を生成する（ステップＳ１０３）。この変換画像によって、最新フレームの画像中に１回目の画像のどこが対応しているか分かる。立体画像撮影装置１０は、１回目の画像の外枠が最新フレームのどこに対応するか示すガイドとしてプレビュー画面に重ねて表示する（ステップＳ１０４）。このガイド用の外枠は、水平垂直を知るだけでなく、近寄りすぎるとプレビュー画面からはみ出し、遠くなると外枠が小さくなる。ユーザはこの外枠を指標に、水平垂直を維持しながら、近づきすぎたり遠ざかりすぎたりしないように移動することができる。

立体画像撮影装置１０は、第２の位置ずれ検出部２７によって変換画像と最新フレームとを重ね合せ、一致しない箇所の差分オフセットを求める（ステップＳ１０５）。この第２の位置ずれ検出の詳細については後述する。

立体画像撮影装置１０は、第２の位置ずれ検出によって画像内の部分領域ごとに得られた差分オフセットのなかから最大値を特定する（ステップＳ１０６）。立体画像撮影装置１０の判定部２８は、差分オフセットの最大値が所定範囲内、すなわち第１の閾値以上、第２の閾値未満である場合（ステップＳ１０７，Ｙｅｓ）に、２回目の画像の適切な撮影タイミングであると判定する（ステップＳ１０８）。

一方、判定部２８は、差分オフセットの最大値が所定範囲外である場合（ステップＳ１０７，Ｎｏ）は、立体画像撮影装置１０は、再びステップＳ１０２に戻り、最新フレームと第１の画像との位置ずれを検出する。

図７は、図６に示した第１の位置ずれ検出（ステップＳ１０２）の詳細について説明するフローチャートである。図７に示したように、第１の位置ずれ検出部２４は、まず前景情報があるかを判定する（ステップＳ２０１）。前景情報は、後述する第２の位置ずれ検出処理によって作成される。したがって、初期状態では前景情報は設定されておらず、一旦第２の位置ずれ検出処理を行なった後、２回目以降の第１の位置ずれ検出処理では前景情報が設定されている可能性がある。

前景情報が設定されていない場合（ステップＳ２０１，Ｎｏ）、第１の位置ずれ検出部２４は、１回目画像の特徴点を算出し（ステップＳ２０２）、全ての特徴点を背景部分の特徴点とする（ステップＳ２０３）。

一方、前景情報が設定されている場合（ステップＳ２０１，Ｙｅｓ）、第１の位置ずれ検出部２４は、１回目画像の特徴点から、前景に設定された特徴点を除外し、背景の特徴点を求める（ステップＳ２０４）。

次に、第１の位置ずれ検出部２４は、最新フレームを取得し（ステップＳ２０５）、最新フレームの特徴点を算出する（ステップＳ２０６）。第１の位置ずれ検出部２４は、１回目画像の背景の特徴と最新フレームの特徴点とを対応付け（ステップＳ２０７）、特徴点のずれから補正量を算出して（ステップＳ２０８）、第１の位置ずれ検出処理を終了する。

第１の位置ずれ検出処理は、例えばＣＰＵ（Central Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）等を用いた画像処理によって実現すればよい。具体的な実現手法としては、平面射影変換の技術、例えばハートレーの８点アルゴリズム(Hartley’s 8-point algorithm)などを用いることができる。

図８は、図６に示した第２の位置ずれ検出（ステップＳ１０５）の詳細について説明するフローチャートである。図８に示したように、第２の位置ずれ検出部２７は、まず最新フレームを取得する（ステップＳ３０１）。第２の位置ずれ検出部２７は、最新フレームと、補正された１回目画像、すなわち変換画像から動きベクトルを算出する（ステップＳ３０２）。

第２の位置ずれ検出部２７は、画像を分割した部分領域、すなわちブロック単位で動きベクトルを探索する。動きベクトルは、最新フレームと変換画像との間でズレがあるブロックで大きくなる。第２の位置ずれ検出部２７は、各ブロックの動きベクトルの大きさをそのブロックの差分オフセットとして算出する（ステップＳ３０３）。

第２の位置ずれ検出部２７は、差分オフセットが所定の閾値を超えたブロックを前景部分とし、前景情報を作成する。すでに前景情報を作成していた場合には、第２の位置ずれ検出部２７は、前景情報を更新する（ステップＳ３０４）。

［表示の具体例］
図９は、表示制御部２６による表示内容の説明図である。図９に示した例では、ディスプレイ表示Ｄ１は、最新フレームである画像Ｐｎ、第１の画像Ｐ１、視差プログレスバーＧ１を含む。最新フレームである画像Ｐｎは、第２画像の候補であり、プレビュー表示として使用される。第１の画像Ｐ１は、すでに述べたように変換され、半透過画像として画像Ｐｎに重ねて表示する。ここでは、第１の画像全体を半透過画像として表示する場合を例示しているが、第１の画像の外枠のみを表示するようにしてもよい。

視差プログレスバーＧ１は、検出した最大差分オフセットを第１の閾値と第２の閾値との関係とともに可視化することで、ユーザに対してシャッター動作を促すことができる。また、最大差分オフセットが第１の閾値と第２の閾値の間に入ったら色を変えてシャッターを促すようにしてもよい。この他には、画面表示部を枠で縁取りその枠の色を変えるなど、任意の表示態様で第２の画像を適切に撮影可能であることを通知することができる。

また、判定部２８が２回目の画像の適切な撮影タイミングであると判定した場合に、自動的にシャッターを切ってもよい。

第１の閾値と第２の閾値の具体例について説明する。下限である第１の閾値は、例えば物体を画面の奥側に引っ込ませる場合の値になる。これには、背景部分における視差を、眼間距離を越えない範囲で設定することで定められる。一例として家庭用テレビで考えれば最大で６０インチ（横幅約１３０ｃｍ程度）で２Ｍｐｉｘｅｌ(１９２０×１０８０)の画像を鑑賞するとすれば、１９２０／(６．５／１３０)で約１００ｐｉｘｅｌとなる。

また、上限である第２の閾値は、例えば鑑賞距離の半分まで飛び出しを許すとして設定することで定められる。先の例であれば、１００ｐｉｘｅｌの逆視差をさらに加えることになるので、１００＋１００で２００ｐｉｘｅｌとなる。

図１０は、表示制御部２６による他のガイド表示についての説明図である。図１０に示したディスプレイ表示Ｄ２は、１回目の画像撮影後に２回目の撮影を案内するプレビュー画面のイメージである。右方向への移動をテキストＧ２ａと、矢印Ｇ２ｂにより視覚的に示している。

また、図１０に示したディスプレイ表示Ｄ３は、カメラの傾きを補正するように促す画面の例である。ディスプレイ表示Ｄ３は、第１の画像Ｐ１を最新フレームである画像Ｐｎに重ねて表示し、加えてテキストＧ３ａと、矢印Ｇ３ｂを表示している。テキストＧ３ａと、矢印Ｇ３ｂによって外枠による位置ずれの表示に加え、位置ずれの解消方法を提示することができる。

［立体画像撮影プログラム］
図１に示した立体画像撮影装置１０の各機能部をソフトウェアによって実現することで、立体画像撮影プログラムを得ることができる。図１１は、コンピュータであるカメラ６０が立体画像撮影プログラムを実行する構成についての説明図である。図１１に示したカメラ６０は、撮影ユニット６１、ＣＰＵ６２、ディスプレイ６３、入力インタフェース６４、ＲＯＭ（Read Only Memory)６６、メモリ６７をバス６５に接続した構成を有する。

ＲＯＭ６６は、立体画像撮影プログラム７０を記憶する。ＣＰＵ６２は、立体画像撮影プログラム７０を読み出してメモリ６７に展開し、立体画像撮影プログラム７０が有するプロセスを順次実行する。

立体画像撮影プログラム７０は、最新フレーム保持プロセス７１、第１の画像記録プロセス７２、第１の位置ずれ検出プロセス７３、画像変換プロセス７４、表示制御プロセス７５、第２の位置ずれ検出プロセス７６、判定プロセス７７、第２の画像記録プロセス７８を有する。

ＣＰＵ６２は、最新フレーム保持プロセス７１を実行することで、図１に示した最新フレーム保持部２２と同様の動作を行なう。具体的には、最新フレーム保持プロセス７１は、撮影ユニット６１が取得した最新の画像をメモリ６７に保持する処理を行なう。

ＣＰＵ６２は、第１の画像記録プロセス７２を実行することで、図１に示した第１の画像保持部２３と同様の動作を行なう。具体的には、第１の画像記録プロセス７２は、最新フレームをメモリ６７もしくは図示しない任意の記録媒体に第１の画像として記録する。

ＣＰＵ６２は、第１の位置ずれ検出プロセス７３を実行することで、図１に示した第１の位置ずれ検出部２４と同様の動作を行なう。また、ＣＰＵ６２は、画像変換プロセス７４を実行することで、図１に示した画像変換部２５と同様の動作を行なう。また、ＣＰＵ６２は、表示制御プロセス７５を実行することで、図１に示した表示制御部２６と同様の動作を行なう。また、ＣＰＵ６２は、第２の位置ずれ検出プロセス７６を実行することで、図１に示した第２の位置ずれ検出部２７と同様の動作を行なう。また、ＣＰＵ６２は、判定プロセス７７を実行することで、図１に示した判定部２８と同様の動作を行なう。

ＣＰＵ６２は、第２の画像記録プロセス７８を実行することで、図１に示した第２の画像保持部と同様の動作を行なう。具体的には、第２の画像記録プロセス７８は、最新フレームをメモリ６７もしくは図示しない任意の記録媒体に第２の画像として記録する。

このように、立体画像撮影プログラム７０を実行したカメラ６０は、立体画像撮影装置機能することとなる。なお、ここでは、立体画像撮影プログラム７０をＲＯＭ６６から読み出す場合を例示したが、立体画像撮影プログラム７０は、任意の記録媒体から読み出して実行することができる。

また、図１１では撮影ユニット６１を有するカメラ６０が立体画像撮影プログラム７０を実行して立体画像撮影装置として動作する場合を例に説明したが、撮影ユニットに通信接続されたコンピュータ上など、任意のコンピュータで立体画像撮影プログラム７０を実行することができる。

上述してきたように、本実施例にかかる立体画像撮影装置１０及び立体画像撮影プログラム７０は、単眼カメラで水平垂直の構図合わせと、背景部分に対する適切な視差量の撮影ができ、その結果自然で違和感のない立体映像を得ることができる。また、手持ち可能な小型の機器であっても容易に構図及び視差を満足した立体画像の撮像を行なうことができる。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）画像取得部が取得した画像を第１の画像として保持する第１の画像保持部と、
前記画像取得部が前記第１の画像を取得した後に新たに取得した画像と前記第１の画像とを比較して位置のずれを検出する第１の位置ずれ検出部と、
前記第１の位置ずれ検出部による検出結果を用い、前記第１の画像が前記新たに取得した画像に対して有する位置ずれを補正して変換画像を生成する画像変換部と、
前記変換画像と前記新たに取得した画像とを比較して位置のずれを検出する第２の位置ずれ検出部と、
前記第２の位置ずれ検出部が検出した位置ずれが所定範囲内である場合に前記新たに取得した画像と前記第１の画像との組み合わせが立体画像として適切であると判定する判定部と
を備えたことを特徴とする立体画像撮影装置。

（付記２）前記第１の位置ずれ検出部による検出結果を前記第１の画像の外枠の拡縮と傾斜との組み合わせに対応させ、前記外枠を前記新たに取得した画像に重ねて表示する表示制御部をさらに備えたことを特徴とする付記１に記載の立体画像撮影装置。

（付記３）前記表示制御部は、前記第１の画像保持部が前記第１の画像を保持した後、前記新たに取得する画像をどの方向から取得すべきかを案内する案内表示をさらに行うことを特徴とする付記２に記載の立体画像撮影装置。

（付記４）前記第２の位置ずれ検出部は、画像内において前記位置ずれが大きい領域を前景領域として設定し、前記第１の位置ずれ検出部は、前記前景領域が設定されている場合には前景領域以外の領域について位置ずれを検出することを特徴とする付記１〜３のいずれか一つに記載の立体画像撮影装置。

（付記５）前記判定部は、前記第２の位置ずれ検出部が検出した位置ずれのうち、最大の位置ずれが所定範囲内である場合に前記新たに取得した画像と前記第１の画像との組み合わせが立体画像として適切であると判定することを特徴とする付記１〜４のいずれか一つに記載の立体画像撮影装置。

（付記６）前記判定部は、前記新たに取得した画像と前記第１の画像との組み合わせが立体画像として適切であると判定した場合に、前記新たに取得した画像を第２の画像として第２の画像保持部に保持することを提案する出力を行うことを特徴とする付記１〜５のいずれか一つに記載の立体画像撮影装置。

（付記７）前記判定部は、前記新たに取得した画像と前記第１の画像との組み合わせが立体画像として適切であると判定した場合に、前記新たに取得した画像を第２の画像として第２の画像保持部に保持することを特徴とする付記１〜５のいずれか一つに記載の立体画像撮影装置。

（付記８）画像取得部が取得した画像を第１の画像として保持するステップと、
前記画像取得部が前記第１の画像を取得した後に新たに取得した画像と前記第１の画像とを比較して位置のずれを検出する第１の位置ずれ検出ステップと、
前記第１の位置ずれ検出ステップによる検出結果を用い、前記第１の画像が前記新たに取得した画像に対して有する位置ずれを補正して変換画像を生成するステップと、
前記変換画像と前記新たに取得した画像とを比較して位置のずれを検出する第２の位置ずれ検出ステップと、
前記第２の位置ずれ検出ステップにより検出した位置ずれが所定範囲内である場合に前記新たに取得した画像と前記第１の画像との組み合わせが立体画像として適切であると判定する判定ステップと
を含んだことを特徴とする立体画像撮影方法。

（付記９）画像取得部が取得した画像を第１の画像として保持する手順と、
前記画像取得部が前記第１の画像を取得した後に新たに取得した画像と前記第１の画像とを比較して位置のずれを検出する第１の位置ずれ検出手順と、
前記第１の位置ずれ検出手順による検出結果を用い、前記第１の画像が前記新たに取得した画像に対して有する位置ずれを補正して変換画像を生成する手順と、
前記変換画像と前記新たに取得した画像とを比較して位置のずれを検出する第２の位置ずれ検出手順と、
前記第２の位置ずれ検出手順により検出した位置ずれが所定範囲内である場合に前記新たに取得した画像と前記第１の画像との組み合わせが立体画像として適切であると判定する判定手順と
をコンピュータに実行させることを特徴とする立体画像撮影プログラム。

１０ 立体画像撮影装置
２１ 画像取得部
２２ 最新フレーム保持部
２３ 第１の画像保持部
２４ 第１の位置ずれ検出部
２５ 画像変換部
２６ 表示制御部
２７ 第２の位置ずれ検出部
２８ 判定部
２９ 操作部
３０ 第２の画像保持部
４１〜４２ ボール
５０ ドア
５１〜５２ 壁
６０ カメラ
６１ 撮影ユニット
６２ ＣＰＵ
６３ ディスプレイ
６４ 入力インタフェース
６５ バス
６６ ＲＯＭ
６７ メモリ
７０ 立体画像撮影プログラム
７１ 最新フレーム保持プロセス
７２ 第１の画像記録プロセス
７３ 第１の位置ずれ検出プロセス
７４ 画像変換プロセス
７５ 表示制御プロセス
７６ 第２の位置ずれ検出プロセス
７７ 判定プロセス
７８ 第２の画像記録プロセス

Claims (7)

1. 画像取得部が取得した画像を第１の画像として保持する第１の画像保持部と、
   前記画像取得部が前記第１の画像を取得した後に新たに取得した画像と前記第１の画像とを比較して位置のずれを検出する第１の位置ずれ検出部と、
   前記第１の位置ずれ検出部による検出結果を用い、前記第１の画像が前記新たに取得した画像に対して有する位置ずれを補正して変換画像を生成する画像変換部と、
   前記変換画像と前記新たに取得した画像とを比較して位置のずれを検出する第２の位置ずれ検出部と、
   前記第２の位置ずれ検出部が検出した位置ずれが所定範囲内である場合に前記新たに取得した画像と前記第１の画像との組み合わせが立体画像として適切であると判定する判定部と
   を備えたことを特徴とする立体画像撮影装置。
2. 前記第１の位置ずれ検出部による検出結果を前記第１の画像の外枠の拡縮と傾斜との組み合わせに対応させ、前記外枠を前記新たに取得した画像に重ねて表示する表示制御部をさらに備えたことを特徴とする請求項１に記載の立体画像撮影装置。
3. 前記第２の位置ずれ検出部は、画像内において前記位置ずれが大きい領域を前景領域として設定し、前記第１の位置ずれ検出部は、前記前景領域が設定されている場合には前景領域以外の領域について位置ずれを検出することを特徴とする請求項１または２に記載の立体画像撮影装置。
4. 前記判定部は、前記第２の位置ずれ検出部が検出した位置ずれのうち、最大の位置ずれが所定範囲内である場合に前記新たに取得した画像と前記第１の画像との組み合わせが立体画像として適切であると判定することを特徴とする請求項１〜３のいずれか一つに記載の立体画像撮影装置。
5. 前記判定部は、前記新たに取得した画像と前記第１の画像との組み合わせが立体画像として適切であると判定した場合に、前記新たに取得した画像を第２の画像として第２の画像保持部に保持することを提案する出力を行うことを特徴とする請求項１〜４のいずれか一つに記載の立体画像撮影装置。
6. 画像取得部が取得した画像を第１の画像として保持するステップと、
   前記画像取得部が前記第１の画像を取得した後に新たに取得した画像と前記第１の画像とを比較して位置のずれを検出する第１の位置ずれ検出ステップと、
   前記第１の位置ずれ検出ステップによる検出結果を用い、前記第１の画像が前記新たに取得した画像に対して有する位置ずれを補正して変換画像を生成するステップと、
   前記変換画像と前記新たに取得した画像とを比較して位置のずれを検出する第２の位置ずれ検出ステップと、
   前記第２の位置ずれ検出ステップにより検出した位置ずれが所定範囲内である場合に前記新たに取得した画像と前記第１の画像との組み合わせが立体画像として適切であると判定する判定ステップと
   を含んだことを特徴とする立体画像撮影方法。
7. 画像取得部が取得した画像を第１の画像として保持する手順と、
   前記画像取得部が前記第１の画像を取得した後に新たに取得した画像と前記第１の画像とを比較して位置のずれを検出する第１の位置ずれ検出手順と、
   前記第１の位置ずれ検出手順による検出結果を用い、前記第１の画像が前記新たに取得した画像に対して有する位置ずれを補正して変換画像を生成する手順と、
   前記変換画像と前記新たに取得した画像とを比較して位置のずれを検出する第２の位置ずれ検出手順と、
   前記第２の位置ずれ検出手順により検出した位置ずれが所定範囲内である場合に前記新たに取得した画像と前記第１の画像との組み合わせが立体画像として適切であると判定する判定手順と
   をコンピュータに実行させることを特徴とする立体画像撮影プログラム。

Images