JP5214826B2 - 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体 - Google Patents

Description

本発明は立体パノラマ画像作成装置、方法及びプログラム並びに立体パノラマ画像再生装置、方法及びプログラム、記録媒体に係り、特に立体撮像装置をパンニングして撮影された複数の立体画像に基づいて立体パノラマ画像を作成する立体パノラマ画像作成装置、方法及びプログラム、並びに立体パノラマ画像をスクロール再生又はコマ送り再生させる立体パノラマ画像再生装置、方法及びプログラム、記録媒体に関する。

従来、ビデオカメラを三脚等に固定して回転させながら連続撮影し、この連続撮影した画像から短冊状に切り出したスリット画像を結合し、パノラマ画像を合成するパノラマ合成方法が知られている（特許文献１）。

特許文献２には、立体視用画像の視差を調整する記載があるが、この調整は、パララックスバリア方式のビューアにおける、パララックスバリアと立体視用画像の画素との位置関係を調整するものである。

特許文献３に記載の立体画像表示装置は、立体画像の視差量を調整するための情報を入力すると、その入力された情報に基づいて画像を拡大・縮小することにより立体画像の視差量を変化させるようにしている。

特許文献４に記載の立体画像補正装置は、立体視画像を構成する左眼用画像と右眼用画像の視差量を検出し、この視差量を調整して立体視画像の飛出し量や引き込み量を制御するようにしている。

特開平１１−１６４３２５号公報 特開２００３−１６９３５１号公報 特開２００５−７３０１３号公報 特開２０１０−４５５８４号公報

特許文献１の要約書には、連続する撮影画像からスリット状に切り出したスリット画像を結合し、左目視用及び右目視用のパノラマ画像を作成する記載がある。しかしながら、特許文献１の明細書には、左目視用及び右目視用のパノラマ画像の作成に関する記載は一切ない。

また、従来、立体パノラマ画像（３Ｄパノラマ画像）の視差を調整するものがないが、３Ｄパノラマ画像に対して、特許文献２から４の記載の視差量調整の技術を適用することは可能である。

ところで、３Ｄパノラマ画像は、通常の３Ｄディスプレイの画面のアスペクト比（４：３、１６：９）に比べて大きいため、３Ｄパノラマ画像の全体を３Ｄディスプレイに表示させる場合には、３Ｄディスプレイの画面の上下をマスクして表示することになる。一方、３Ｄディスプレイの画面全体を有効に利用する場合には、３Ｄパノラマ画像の縦方向の幅が、３Ｄディスプレイの縦方向の幅に一致するように３Ｄパノラマ画像を拡大する。そして、この拡大された３Ｄパノラマ画像をスクロール再生し、又は３Ｄパノラマ画像が３Ｄディスプレイのアスペクト比となるように複数コマに分割し、この分割コマをコマ送り再生させることになる。

従来、３Ｄパノラマ画像をスクロール再生又はコマ送り再生させる場合、スクロール位置ごと、又はコマごとに最適な視差になるように自動的に視差を調整する３Ｄパノラマ画像再生装置がなかった。特に３Ｄパノラマ画像をスクロール再生又はコマ送り再生させると、３Ｄディスプレイ上に表示される３Ｄ画像中に、３Ｄ画像の見え方に大きく影響するクロスポイント部分（左右画像の視差が無くなる部分）がない場合が発生し、立体視しにくいという問題がある。

本発明はこのような事情に鑑みてなされたもので、立体パノラマ画像をスクロール再生又はコマ送り再生させる際に、スクロール位置ごと又はコマごとに自動的に視差調整することができる立体パノラマ画像作成装置、方法及びプログラム並びに立体パノラマ画像再生装置、方法及びプログラム、記録媒体を提供することを目的とする。

前記目的を達成するために、本発明の第１の態様に係る立体パノラマ画像作成装置は、立体撮像装置により撮影された左画像及び右画像からなる立体画像であって、前記立体撮像装置を一定方向にスイングさせて連続的に撮影された複数の立体画像を取得する立体画像取得手段と、前記立体画像取得手段により取得された複数の立体画像のうちの左画像同士を合成するとともに、右画像同士を合成して左右のパノラマ画像からなる立体パノラマ画像を作成する立体パノラマ画像作成手段と、前記立体画像取得手段により取得された複数の立体画像の左画像と右画像の間、又は前記作成された立体パノラマ画像の左右のパノラマ画像の間で特徴がそれぞれ一致する対応点であって、視差調整用の複数の対応点を検出する対応点検出手段と、前記検出された複数の対応点の視差をそれぞれ所定の視差量にするための複数の画像ずらし量を算出する画像ずらし量算出手段と、前記作成された立体パノラマ画像を記録媒体に記録するとともに、前記視差調整用の複数の対応点の立体パノラマ画像上の位置情報と前記算出した複数の画像ずらし量とを関連付けて前記立体パノラマ画像の付属情報として前記記録媒体に記録する記録手段とを備える。

上記第１の態様に係る発明によれば、立体パノラマ画像に対して視差調整用の複数の対応点が検出される。そして、各対応点の立体パノラマ画像上の位置情報とともに、各対応点の視差を所定の視差量にするための画像ずらし量を、立体パノラマ画像の付属情報として記録媒体に記録するようにした。このため、立体パノラマ画像をスクロール再生又はコマ送り再生させる際に、前記付属情報を利用してスクロール位置ごと又はコマごとに自動的に視差量を調整することが可能になる。

本発明の第２の態様に係る立体パノラマ画像作成装置は、上記第１の態様において、前記対応点検出手段は、前記立体画像取得手段により取得された立体画像の左画像と右画像の組ごとに１組の対応点を検出し、前記画像ずらし量算出手段は、前記検出された対応点の視差を前記所定の視差量にするための画像ずらし量を算出するように構成されている。これによれば、立体パノラマ画像の合成に使用した立体画像の枚数分だけ画像ずらし量が算出及び記録されることになる。また、立体パノラマ画像の作成前に画像ずらし量の算出が可能である。

本発明の第３の態様に係る立体パノラマ画像作成装置は、上記第２の態様において、前記対応点検出手段は、前記立体画像の左画像と右画像の組ごとに該立体画像の中央付近から前記１組の対応点を検出するように構成されている。

本発明の第４の態様に係る立体パノラマ画像作成装置は、上記第３の態様において、前記画像ずらし量算出手段は、前記対応点検出手段により前記立体画像の中央付近から所要の対応点が検出されない場合には、予め設定された画像ずらし量を算出値とし、又は隣接する画像ずらし量を補間して画像ずらし量を算出するように構成されている。これにより、立体画像の中央付近に特徴のある対応点が検出されない場合でも画像ずらし量を求めることができる。

本発明の第５の態様に係る立体パノラマ画像作成装置は、上記第１から第４のいずれかの態様において、前記立体パノラマ画像作成手段は、前記立体画像取得手段により取得された複数の立体画像のうちの中央付近の短冊状のスリット画像を繋ぎ合わせて立体パノラマ画像を作成するように構成されている。

本発明の第６の態様に係る立体パノラマ画像作成装置は、上記第１の態様において、前記立体画像取得手段により取得された複数の立体画像又は前記作成された立体パノラマ画像中に含まれる所要のオブジェクトを検出するオブジェクト検出手段を更に備え、前記対応点検出手段は、前記オブジェクト検出手段により検出されたオブジェクトごとに対応点を検出するように構成されている。前記オブジェクト検出手段は、例えば、人物の顔のほかに、建物、壁などの人工の建造物等の主要被写体となるものを検出する。これによれば、立体パノラマ画像をスクロール再生又はコマ送り再生させる際に、立体パノラマ画像中で検出されたオブジェクトごとに自動的に視差調整を行うことが可能になる。

本発明の第７の態様に係る立体パノラマ画像作成装置は、上記第１から第６のいずれかの態様において、前記画像ずらし量算出手段により算出された複数の画像ずらし量に基づいて各対応点の間の画素ずらし量を補間して連続した画素ずらし量を算出する補間演算手段を更に備え、前記記録手段は、前記画像ずらし量算出手段により算出された複数の画像ずらし量とともに、前記補間演算手段により算出された画像ずらし量を前記記録媒体に記録するように構成されている。これによれば、立体パノラマ画像をスクロール再生させる際に、補間演算された画像ずらし量を使用して連続的に視差調整を行うことができる。

本発明の第８の態様に係る立体パノラマ画像作成装置は、上記第１から第６のいずれかの態様において、前記所定の視差量をゼロとしたものである。

本発明の第９の態様に係る立体パノラマ画像再生装置は、上記第１から第８のいずれかの態様に係る記録媒体から立体パノラマ画像と該立体パノラマ画像の付属情報とを読み出す読出手段と、前記読み出した立体パノラマ画像を所定の倍率に拡大させ、該拡大させた立体パノラマ画像を自動的に又は手動指示入力により立体ディスプレイ上でスクロール再生させ、又は前記立体パノラマ画像を複数コマに分割した分割コマごとにコマ送り再生させる再生手段と、前記再生手段による立体パノラマ画像のスクロール再生又はコマ送り再生時に、該立体パノラマ画像の付属情報として記録された複数の画像ずらし量のうちから、前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて該立体画像の視差調整を行う視差調整手段とを備える。

上記第９の態様によれば、上記第１から第８のいずれかの態様に係る記録媒体に記録された立体パノラマ画像と該立体パノラマ画像の付属情報（複数の画像ずらし量等）が読み出される。そして、読み出した立体パノラマ画像を所定の倍率に拡大させ、該拡大させた立体パノラマ画像を自動的に又は手動指示入力により立体ディスプレイ上でスクロール再生させ、又は立体パノラマ画像を複数コマに分割した分割コマごとにコマ送り再生させる際に、前記付属情報を使用してスクロール位置ごと又はコマごとに自動的に視差調整を行うことができる。これにより、立体画像の見え方に大きく影響するクロスポイント部分（左右画像の視差が無くなる部分）を調整して立体視しやすくなるようにしている。尚、前記所定の倍率としては、立体パノラマ画像の縦方向の幅が、立体ディスプレイの縦方向の幅に一致する倍率が好ましいが、この倍率よりも大きくても又は小さくてもよい。また、所定の倍率は、適宜調整できるようにしてもよい。

本発明の第１０の態様に係る立体パノラマ画像再生装置は、左右のパノラマ画像からなる立体パノラマ画像を取得する立体パノラマ画像取得手段と、前記取得した立体パノラマ画像の再生に先立って、該立体パノラマ画像から左右のパノラマ画像の間で特徴がそれぞれ一致する対応点であって、視差調整用の複数の対応点を検出する対応点検出手段と、前記検出された複数の対応点の視差を所定の視差量にするための画像ずらし量を算出する画像ずらし量算出手段と、前記視差調整用の複数の対応点の立体パノラマ画像上の位置情報と前記算出した複数の画像ずらし量とを関連付けて記憶する記憶手段と、前記取得した立体パノラマ画像を所定の倍率に拡大させ、該拡大させた立体パノラマ画像を自動的に又は手動指示入力により立体ディスプレイ上でスクロール再生させ、又は前記立体パノラマ画像を複数コマに分割した分割コマごとにコマ送り再生させる再生手段と、前記再生手段による立体パノラマ画像のスクロール再生又はコマ送り再生時に、該立体パノラマ画像に対応して前記記憶手段に記憶された複数の画像ずらし量のうちから、前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行う視差調整手段とを備える。

上記第１０の態様は、記録媒体から立体パノラマ画像の付属情報（複数の画像ずらし量等の付属情報）が取得できない場合の立体パノラマ画像再生装置である。該立体パノラマ画像再生装置は、立体パノラマ画像の再生に先立って、左右のパノラマ画像の特徴がそれぞれ一致する対応点であって、視差調整用の複数の対応点を検出し、これらの対応点の視差を所定の視差量にするための画像ずらし量を算出し、前記視差調整用の複数の対応点の立体パノラマ画像上の位置情報と前記算出した複数の画像ずらし量とを関連付けて記憶しておき、その後、前記記憶した複数の画像ずらし量を使用して、立体パノラマ画像のスクロール再生又はコマ送り再生時の視差調整を行う。尚、スクロール再生又はコマ送り再生時の視差調整は、上記第９の態様と同様にして行われる。

本発明の第１１の態様に係る立体パノラマ画像再生装置は、上記第１０の態様において、前記対応点検出手段は、前記パノラマ画像を短冊状のスリット画像に分割したスリット画像ごとに１組の対応点を検出するように構成されている。

本発明の第１２の態様に係る立体パノラマ画像再生装置は、上記第１１の態様において、前記画像ずらし量算出手段は、前記対応点検出手段により前記立体画像の中央付近から所要の対応点が検出されない場合には、予め設定された画像ずらし量を算出値とし、又は隣接する画像ずらし量を補間して画像ずらし量を算出するように構成されている。

本発明の第１３の態様に係る立体パノラマ画像再生装置は、上記第１０の態様において、前記取得した立体パノラマ画像中に含まれる所要のオブジェクトを検出するオブジェクト検出手段を更に備え、前記対応点検出手段は、前記オブジェクト検出手段により検出されたオブジェクトごとに対応点を検出するように構成されている。これにより、立体パノラマ画像をスクロール再生又は分割コマ送り再生時に、立体パノラマ画像中のオブジェクトごとに視差調整を行うことができる。

本発明の第１４の態様に係る立体パノラマ画像再生装置は、上記第１０から第１３のいずれかの態様において、前記画像ずらし量算出手段により算出された複数の画像ずらし量に基づいて各対応点の間の画素ずらし量を補間して連続した画素ずらし量を算出する補間演算手段を更に備え、前記記憶手段は、前記画像ずらし量算出手段により算出された複数の画像ずらし量とともに、前記補間演算手段により算出された画像ずらし量を記憶するように構成されている。

本発明の第１５の態様に係る立体パノラマ画像再生装置は、上記第１０から第１４のいずれかの態様において、前記所定の視差量をゼロとしたものである。

本発明の第１６の態様に係る立体パノラマ画像再生装置は、上記第９から第１５のいずれかの態様において、前記視差調整手段は、前記立体ディスプレイの画面中央、又は画面中央に最も近い画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行うように構成されている。これによれば、立体ディスプレイの画面中央、又は中央付近の被写体の視差量を所定の視差量にすることができ、該被写体を立体視しやすくすることができる。尚、所定の視差量は、上記第１５の態様に示したように、ゼロの場合には、注目被写体が平面的に表示され、最も見やすくなる。しかしながら、本発明はこれに限定されるものではない。例えば、前記所定の視差量を適宜の値に設定し、注目被写体が少し手前に飛び出すように視差量を調整するようにしてもよい。

本発明の第１７の態様に係る立体パノラマ画像再生装置は、上記第９から第１６のいずれかの態様において、前記再生手段が手動指示入力により立体パノラマ画像をスクロール再生させる際に、手動指示入力によるスクロール開始時に表示されている前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量をスクロール停止まで選択するとともに、スクロール停止時に該スクロール停止時に表示されている前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行うように構成されている。このようにスクロール中の視差調整を固定するようにしたため、視差変動による眼精疲労を低減することができるとともに、スクロール停止時にはその停止した立体画像に対応する視差調整が可能になる。

本発明の第１８の態様に係る立体パノラマ画像再生装置は、上記第９から第１６のいずれかの態様において、前記再生手段は、手動指示入力によるスクロール再生によるスクロール中は前記左画像及び右画像のうちのいずれか一方の画像のみを前記立体ディスプレイに表示させるとともに、スクロール停止時に立体画像を前記立体ディスプレイに表示させ、前記視差調整手段は、前記スクロール停止時に該スクロール停止時に表示されている前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行うように構成されている。このようにスクロール中は平面画像を表示するようにしたため、眼精疲労を低減することができるとともに、スクロール停止時にはその停止した立体画像に対応する視差調整が可能になる。

本発明の第１９の態様に係る立体パノラマ画像再生装置は、上記第９から第１８のいずれかの態様において、前記再生手段は、前記立体パノラマ画像の全体を前記立体ディスプレイに表示させた後、該立体パノラマ画像を所定の倍率に拡大させてスクロール再生させ、又はコマ送り再生させるように構成されている。これにより、立体パノラマ画像全体を確認してから、拡大ズームされた立体パノラマ画像をスクロールさせ、又は分割コマ送りさせながら鑑賞することができる。

本発明の第２０の態様に係る立体パノラマ画像作成方法は、立体撮像装置により撮影された左画像及び右画像からなる立体画像であって、前記立体撮像装置を一定方向にスイングさせて連続的に撮影された複数の立体画像を取得する立体画像取得ステップと、前記取得された複数の立体画像のうちの左画像同士を合成するとともに、右画像同士を合成して左右のパノラマ画像からなる立体パノラマ画像を作成する立体パノラマ画像作成ステップと、前記取得された複数の立体画像の左画像と右画像の間、又は前記作成された立体パノラマ画像の左右のパノラマ画像の間で特徴がそれぞれ一致する対応点であって、視差調整用の複数の対応点を検出する対応点検出ステップと、前記検出された複数の対応点の視差を所定の視差量にするための画像ずらし量を算出する画像ずらし量算出ステップと、前記作成された立体パノラマ画像を記録媒体に記録するとともに、前記視差調整用の複数の対応点の立体パノラマ画像上の位置情報と前記算出した複数の画像ずらし量とを関連付けて前記立体パノラマ画像の付属情報として前記記録媒体に記録する記録ステップとを含んでいる。

本発明の第２１の態様に係る立体パノラマ画像作成方法は、上記第２０の態様において、前記対応点検出ステップは、前記取得された立体画像の左画像と右画像の組ごとに１組の対応点を検出し、前記画像ずらし量算出ステップは、前記立体画像ごとに検出された対応点のうちから１組の対応点を特定し、該対応点の視差を前記所定の視差量にするための画像ずらし量を算出するように構成されている。

本発明の第２２の態様に係る立体パノラマ画像作成方法は、上記第２１の態様において、前記対応点検出ステップは、前記立体画像の左画像と右画像の組ごとに該立体画像の中央付近から前記１組の対応点を検出するように構成されている。

本発明の第２３の態様に係る立体パノラマ画像作成方法は、上記第２２の態様において、前記画像ずらし量算出ステップは、前記対応点検出ステップにより前記立体画像の中央付近から所要の対応点が検出されない場合には、予め設定された画像ずらし量を算出値とし、又は隣接する画像ずらし量を補間して画像ずらし量を算出するように構成されている。

本発明の第２４の態様に係る立体パノラマ画像作成方法は、上記第２０から第２３のいずれかの態様において、前記立体パノラマ画像作成ステップは、前記取得された複数の立体画像のうちの中央付近の短冊状のスリット画像を繋ぎ合わせて立体パノラマ画像を作成するように構成されている。

本発明の第２５の態様に係る立体パノラマ画像作成方法は、上記第２０の態様において、前記取得された複数の立体画像又は前記作成された立体パノラマ画像中に含まれる所要のオブジェクトを検出するオブジェクト検出ステップを更に含み、前記対応点検出ステップは、前記オブジェクト検出手段により検出されたオブジェクトごとに対応点を検出するように構成されている。

本発明の第２６の態様に係る立体パノラマ画像作成方法は、上記第２０から第２５のいずれかの態様において、前記画像ずらし量算出ステップにより算出された複数の画像ずらし量に基づいて各対応点の間の画素ずらし量を補間して連続した画素ずらし量を算出する補間演算ステップを更に含み、前記記録ステップは、前記画像ずらし量算出ステップにより算出された複数の画像ずらし量とともに、前記補間演算ステップにより算出された画像ずらし量を前記記録媒体に記録するように構成されている。

本発明の第２７の態様に係る立体パノラマ画像作成方法は、上記第２０から第２５のいずれかの態様において、前記所定の視差量をゼロとしたものである。

本発明の第２８の態様に係る立体パノラマ画像再生方法は、上記第２０から第２７のいずれかの態様に係る記録媒体から立体パノラマ画像と該立体パノラマ画像の付属情報とを読み出す読出ステップと、前記読み出した立体パノラマ画像を所定の倍率に拡大させ、該拡大させた立体パノラマ画像を自動的に又は手動指示入力により立体ディスプレイ上でスクロール再生させ、又は前記立体パノラマ画像を複数コマに分割した分割コマごとにコマ送り再生させる再生ステップと、前記再生ステップによる立体パノラマ画像のスクロール再生又はコマ送り再生時に、該立体パノラマ画像の付属情報として記録された複数の画像ずらし量のうちから、前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて該立体画像の視差調整を行う視差調整ステップとを含んでいる。

本発明の第２９の態様に係る立体パノラマ画像再生方法は、左右のパノラマ画像からなる立体パノラマ画像を取得する立体パノラマ画像取得ステップと、前記取得した立体パノラマ画像の再生に先立って、該立体パノラマ画像から左右のパノラマ画像の間で特徴がそれぞれ一致する対応点であって、視差調整用の複数の対応点を検出する対応点検出ステップと、前記検出された複数の対応点の視差を所定の視差量にするための画像ずらし量を算出する画像ずらし量算出ステップと、前記視差調整用の複数の対応点の立体パノラマ画像上の位置情報と前記算出した複数の画像ずらし量とを関連付けて記憶する記憶ステップと、前記取得した立体パノラマ画像を所定の倍率に拡大させ、該拡大させた立体パノラマ画像を自動的に又は手動指示入力により立体ディスプレイ上でスクロール再生させ、又は前記立体パノラマ画像を複数コマに分割した分割コマごとにコマ送り再生させる再生ステップと、前記再生ステップによる立体パノラマ画像のスクロール再生又はコマ送り再生時に、該立体パノラマ画像に対応して前記記憶手段に記憶された複数の画像ずらし量のうちから、前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行う視差調整ステップとを含んでいる。

本発明の第３０の態様に係る立体パノラマ画像再生方法は、上記第２９の態様において、前記対応点検出ステップは、前記パノラマ画像を短冊状のスリット画像に分割したスリット画像ごとに１組の対応点を検出するように構成されている。

本発明の第３１の態様に係る立体パノラマ画像再生方法は、上記第３０の態様において、前記画像ずらし量算出ステップは、前記対応点検出ステップにより前記立体画像の中央付近から所要の対応点が検出されない場合には、予め設定された画像ずらし量を算出値とし、又は隣接する画像ずらし量を補間して画像ずらし量を算出するように構成されている。

本発明の第３２の態様に係る立体パノラマ画像再生方法は、上記第２９の態様において、前記取得した立体パノラマ画像中に含まれる所要のオブジェクトを検出するオブジェクト検出ステップを更に含み、前記対応点検出ステップは、前記オブジェクト検出ステップにより検出されたオブジェクトごとに対応点を検出するように構成されている。

本発明の第３３の態様に係る立体パノラマ画像再生方法は、上記第２９から第３２の態様において、前記画像ずらし量算出ステップにより算出された複数の画像ずらし量に基づいて各対応点の間の画素ずらし量を補間して連続した画素ずらし量を算出する補間演算ステップを更に含み、前記記憶ステップは、前記画像ずらし量算出ステップにより算出された複数の画像ずらし量とともに、前記補間演算ステップにより算出された画像ずらし量を記憶するように構成されている。

本発明の第３４の態様に係る立体パノラマ画像再生方法は、上記第２９から第３３のいずれかの態様において、前記所定の視差量をゼロとしたものである。

本発明の第３５の態様に係る立体パノラマ画像再生方法は、上記第２８から第３４のいずれかの態様において、前記視差調整ステップは、前記立体ディスプレイの画面中央、又は画面中央に最も近い画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行うように構成されている。

本発明の第３６の態様に係る立体パノラマ画像再生方法は、上記第２８から第３５のいずれかの態様において、前記視差調整ステップは、前記再生ステップにおいて手動指示入力により立体パノラマ画像をスクロール再生する際に、手動指示入力によるスクロール開始時に表示されている前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量をスクロール停止まで選択するとともに、スクロール停止時に該スクロール停止時に表示されている前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行うように構成されている。

本発明の第３７の態様に係る立体パノラマ画像再生方法は、上記第２８から第３５のいずれかの態様において、前記再生ステップは、手動指示入力によるスクロール再生によるスクロール中は前記左画像及び右画像のうちのいずれか一方の画像のみを前記立体ディスプレイに表示させるとともに、スクロール停止時に立体画像を前記立体ディスプレイに表示させ、前記視差調整ステップは、前記スクロール停止時に該スクロール停止時に表示されている前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行うように構成されている。

本発明の第３８の態様に係る立体パノラマ画像再生方法は、上記第２８から第３７のいずれかの態様において、前記再生ステップは、前記立体パノラマ画像の全体を前記立体ディスプレイに表示させた後、該立体パノラマ画像を所定の倍率に拡大させてスクロール再生させ、又はコマ送り再生させるように構成されている。

本発明の第３９の態様に係る立体パノラマ画像再生プログラムは、上記第１から第８のいずれかの態様に係る立体パノラマ画像作成装置を、コンピュータにより実現させるように構成されている。

本発明の第４０の態様に係る立体パノラマ画像作成プログラムは、上記第９から第１９のいずれかの態様に係る立体パノラマ画像再生装置を、コンピュータにより実現させるように構成されている。

本発明では、立体パノラマ画像に対して視差調整用の複数の対応点を検出し、各対応点の立体パノラマ画像上の位置情報とともに、各対応点の視差を所定の視差量にするための画像ずらし量を算出して記録するようにした。このため、立体パノラマ画像をスクロール再生又はコマ送り再生させる際に、前記記録した画像ずらし量を利用してスクロール位置ごと又はコマごとに自動的に視差調整を行うことができる。これにより、立体視しやすい立体パノラマ画像のスクロール再生又はコマ送り再生を行うことができる。

本発明の一実施形態に係る立体撮像装置の正面斜視図 本発明の一実施形態に係る立体撮像装置の背面斜視図 図１の立体撮像装置の内部構成を示すブロック図 ３Ｄパノラマ合成用の３Ｄ画像の撮影方法を示す図 ３Ｄパノラマ合成等を説明するための図 ３Ｄパノラマ合成等を説明するための図 ３Ｄパノラマ合成等を説明するための図 ３Ｄパノラマ合成等を説明するための図 ３Ｄパノラマ合成等を説明するための図 各３Ｄ画像のクロスポイントＣＰの座標（ｘ，ｙ）に関連付けてＣＰ量（Δｘ）が記録された付属情報の一例を示す図表 ３Ｄパノラマ画像作成用の３Ｄ画像の取得及び３Ｄパノラマ合成の処理手順を示すフローチャート ３Ｄパノラマ画像の再生方法の第１の実施の形態を示すフローチャート ３Ｄパノラマ画像をスクロール再生、及びコマ送り再生する際のイメージ図 ３Ｄパノラマ画像をスクロール再生、及びコマ送り再生する際のイメージ図 ３Ｄパノラマ画像の再生方法の第２の実施の形態を示すフローチャート ３Ｄパノラマ画像の再生方法の第３の実施の形態を示すフローチャート ３Ｄパノラマ画像全体を表示している液晶モニタの表示画面を示す図 ３Ｄパノラマ画像の再生方法の第４の実施の形態を示すフローチャート ３Ｄパノラマ合成用の３Ｄ画像の他の撮影方法を示す図 ３Ｄパノラマ合成用の３Ｄ画像の他の撮影方法を示す図 ３Ｄパノラマ合成用の３Ｄ画像の撮影時の画角合わせを説明するための図

以下、添付図面にしたがって本発明に係る立体パノラマ画像作成装置、方法及びプログラム並びに立体パノラマ画像再生装置、方法及びプログラム、記録媒体の実施の形態について説明する。

［立体撮像装置の外観］
図１Ａ及び図１Ｂは、本発明の一実施形態に係る立体撮像装置の外観図である。図１Ａは、立体撮像装置１を斜め上方から見た斜視図であり、図１Ｂは、立体撮像装置１を背面から見た斜視図である。

図１Ａに示すように、立体撮像装置１には、左右の撮像部Ｌ，Ｒが設けられている。以下、これらの撮像部を第１の撮像部Ｌと第２の撮像部Ｒと記載して区別することにする。

第１の撮像部Ｌと第２の撮像部Ｒとは、立体視用の画像信号を取得することが可能なように並べて配置されており、これらの撮像部Ｌ，Ｒで左用と右用の画像信号がそれぞれ作成される。図１Ａ及び図１Ｂの立体撮像装置１の上面にある電源スイッチ１０Ａが操作され、撮影モードダイヤル１０Ｂが、例えば立体モードというモードにセットされてシャッタボタン１０Ｃが操作されると、立体視用の画像データが双方の撮像部Ｌ，Ｒで作成される。

この実施形態の立体撮像装置１が備えるシャッタボタン１０Ｃは半押しと全押しとの２つの操作態様を有している。この立体撮像装置１では、シャッタボタン１０Ｃが半押しされたときに露出調整やピント調整が実施され、全押しされたときに撮影が実施される。また、被写界輝度が暗いときには被写体に向けてフラッシュを発光するフラッシュ発光窓ＷＤが撮像部Ｌの上方に設けられている。

また、図１Ｂに示すように、立体撮像装置１の背面には３次元表示が可能な液晶モニタＤＩＳＰが設けられており、この液晶モニタＤＩＳＰには双方の撮像部Ｌ，Ｒが捉えている同一の被写体が立体画像となって表示される。尚、液晶モニタＤＩＳＰとしては、レンチキュラレンズやパララックスバリアを使用するもの、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右画像と左画像とを個別に見ることができるものなどが適用できる。更に、ズームスイッチ１０Ｄ、メニュー／ＯＫボタン１０Ｅ、十字キー１０Ｆなどの操作子も配設されている。以降においては、電源スイッチ１０Ａ、撮影モードダイヤル１０Ｂ、シャッタボタン１０Ｃ、ズームスイッチ１０Ｄ、メニュー／ＯＫボタン１０Ｅ及び十字キー１０Ｆを含む操作スイッチ群を総称して操作部１０と記載することがある。

［立体撮像装置の内部構成］
図２は、図１Ａ及び図１Ｂの立体撮像装置１の内部構成を示すブロック図である。図２を参照して立体撮像装置１の内部の構成を説明する。

この立体撮像装置１の動作は、メインＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００によって統括的に制御される。

メインＣＰＵ１００には、バスＢｕｓを介してＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）１０１が接続されている。そのＲＯＭ１０１の中にはこの立体撮像装置１が動作するのに必要なプログラムが格納されている。このプログラムの手順にしたがってメインＣＰＵ１００は、操作部１０からの指令にしたがってこの立体撮像装置１の動作を統括的に制御する。

操作部１０のモードダイヤル１０Ｂは、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、動画を撮影する動画モード、及び本発明に係る立体（３Ｄ）パノラマ画像撮影モード、３Ｄパノラマ画像再生モードを選択する選択手段である。また、操作部１０の図示しない再生ボタンは、撮影記録した静止画又は動画を液晶モニタＤＩＳＰに表示させる再生モードに切り替えるためのボタンである。メニュー／ＯＫボタン１０Ｅは、液晶モニタＤＩＳＰの画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キー１０Ｆは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キー１０Ｆの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

まず、図１に示した操作部１０内の電源スイッチ１０Ａが操作されると、メインＣＰＵ１００は、電源制御部１００１を制御してバッテリＢｔからの電力を電源制御部１００１を通して図２の各部に供給させ、この立体撮像装置１を動作状態に移行させる。こうしてメインＣＰＵ１００は撮影処理を開始する。尚、ＡＦ（ａｕｔｏｍａｔｉｃ ｆｏｃｕｓ）検出部１２０、ＡＥ／ＡＷＢ（ａｕｔｏｍａｔｉｃ ｅｘｐｏｓｕｒｅ／ａｕｔｏｍａｔｉｃ ｗｈｉｔｅ ｂａｌａｎｃｅ）検出部１３０、画像入力コントローラ１１４Ａ、デジタル信号処理部１１６Ａ、３Ｄ画像作成部１１７は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のプロセッサで構成されているとし、メインＣＰＵ１００はそのＤＳＰと連携して処理を実行するとする。

ここで、先に図１で説明した第１の撮像部Ｌと第２の撮像部Ｒの内部の構成を、図２を参照して説明する。尚、第１の撮像部Ｌの各構成部材には「第１の」という文言を付し、第２の撮像部Ｒの各構成部材には「第２」のという文言を付して説明する。

第１の撮像部Ｌには、第１のフォーカスレンズＦＬＡを含む第１の撮影光学系１１０Ａと、その第１のフォーカスレンズＦＬＡを光軸方向に移動させる第１のフォーカスレンズ駆動部（以降、第１のＦレンズ駆動部という）１０４Ａと、被写体が第１の撮影光学系で結像されてなる被写体光を受光して、その被写体を表わす画像信号を作成する第１の撮像素子１１１Ａとが設けられている。この第１の撮影光学系１１０Ａには、ほかに第１の絞りＩＡと、この第１の絞りＩＡの開口径を変更する第１の絞り駆動部１０５Ａとが設けられている。

また、第１の撮影光学系１００ＡはズームレンズＺＬＡを含んでいる。そのズームレンズＺＬＡを所定の焦点距離にする制御を行うＺレンズ駆動部１０３Ａが設けられている。尚、図２には、撮影光学系全体がズームレンズであることが１枚のレンズＺＬで模式的に示されている。

一方、第２の撮像部Ｒにも上記第１の撮像部Ｌと同じように、第２のフォーカスレンズＦＬＢを含む撮影光学系と、第２のフォーカスレンズＦＬＢを光軸に方向に移動させる第２のフォーカスレンズ駆動部（以降、第２のＦレンズ駆動部という）１０４Ｂと、被写体が第２の撮影光学系で結像されてなる被写体光を受光して、その被写体を表わす画像信号を作成する第２の撮像素子１１１Ｂとが設けられている。

これらの第１の撮像部Ｌと第２の撮像部Ｒとで立体視用の画像信号、つまり第１の撮像部Ｌでは左用の画像信号が作成され、第２の撮像部Ｒでは右用の画像信号がそれぞれ作成される。

第１の撮像部Ｌと第２の撮像部Ｒとは左用の画像信号を作成するか、右用の画像信号を作成するかの違いだけで構成が全く同じであり、第１のＡ／Ｄ変換部１１３Ａと第２のＡ／Ｄ変換部１１３Ｂで双方の撮像部の画像信号がデジタル信号に変換されてバスＢｕｓに導かれた後の信号処理も同じである。従って、以下、第１の撮像部Ｌについて画像信号の流れに沿ってその構成を説明していく。

まず、第１の撮像部Ｌが捉えている被写体をそのままライブビュー画像（スルー画）として液晶モニタＤＩＳＰ上に表示する際の動作から説明する。

操作部１０内の電源スイッチ１０Ａが操作されたことを受けてメインＣＰＵ１００は、電源制御部１００１を制御し、各部にバッテリＢｔからの電力を供給させてこの立体撮像装置１を動作状態に移行させる。

メインＣＰＵ１００は、まず、Ｆレンズ駆動部１０４Ａと絞り駆動部１０５Ａとを制御して露出及びピントの調整を開始する。更に、タイミングジェネレータ（ＴＧ）１０６Ａに指示して撮像素子１１１Ａに電子シャッタによる露光時間を設定させ、所定時間（例えば、１／６０秒）ごとに撮像素子１１１Ａからアナログ信号処理部１１２Ａに画像信号を出力させる。

アナログ信号処理部１１２Ａでは、ＴＧ１０６Ａからのタイミング信号の供給を受け、撮像素子１１１Ａからの所定時間ごとの画像信号の供給を受けてノイズの低減処理等が行われる。そして、ノイズの低減処理が行われたアナログの画像信号が次段のＡ／Ｄ変換部１１３Ａへと供給される。このＡ／Ｄ変換部１１３ＡにおいてもＴＧ１０６Ａからのタイミング信号に同期して、所定時間ごとにアナログの画像信号からデジタルの画像信号への変換処理が行われる。こうしてＡ／Ｄ変換部１１３Ａで変換され出力されてくるデジタルの画像信号が、画像入力コントローラ１１４Ａによって所定時間ごとにバスＢｕｓに導かれる。このバスＢｕｓに導かれた画像信号はＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１５に記憶される。撮像素子１１１Ａからは所定時間ごとに画像信号が出力されるので、このＳＤＲＡＭ１１５の内容は所定時間ごとに書き換えられることになる。

このＳＤＲＡＭ１１５に記憶された画像信号は、ＡＦ検出部１２０、ＡＥ／ＡＷＢ検出部１３０、及びデジタル信号処理部１１６Ａを構成するＤＳＰによって所定時間ごとにそれぞれ読み出される。

ＡＦ検出部１２０では、メインＣＰＵ１００がＦレンズ駆動部１０４Ａを制御してフォーカスレンズＦＬＡを移動させている最中の所定時間ごとに、フォーカスエリア内の画像信号の高周波成分を抽出し、その高周波成分を積算して画像のコントラストを示すＡＦ評価値を算出する。メインＣＰＵ１００は、ＡＦ検出部１２０により算出されたＡＦ評価値を取得し、ＡＦ評価値が最大になるレンズ位置（合焦位置）にＦレンズ駆動部１０４Ａを介して第１のフォーカスレンズＦＬＡを移動させる。このため、第１の撮像部Ｌがどの方向に向けられてもすぐにピントが調整されて、液晶モニタＤＩＳＰ上には、ほぼいつでもピントのあった被写体が表示される。

また、ＡＥ／ＡＷＢ検出部１３０では、被写体輝度の検出とデジタル信号処理部１１６Ａ内のホワイトバランスアンプに設定するゲインの算出が所定時間ごとに行われる。メインＣＰＵ１００は、このＡＥ／ＡＷＢ検出部１３０の輝度の検出結果に応じて絞り駆動部１０５Ａを制御して絞りＩＡの開口径を変更させる。また、デジタル信号処理部１１６Ａは、ＡＥ／ＡＷＢ検出部１３０からの検出結果を受けてホワイトバランスアンプのゲインを設定する。

このデジタル信号処理部１１６Ａでは、表示に適した画像信号になるように処理が行われる。そして、そのデジタル信号処理部１１６Ａの信号処理により表示に適したものに変換された画像信号が、３Ｄ画像作成部１１７へと供給されてその３Ｄ画像作成部１１７で表示用の右用の画像信号が作成され、作成された右用の画像信号がＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１８に記憶される。

ここまでの動作と同じ動作が、同じタイミングで第２の撮像部Ｒによっても行われる。従って、ＶＲＡＭ１１８には、右用と左用との２種類の画像信号が記憶されることになる。

メインＣＰＵ１００は、表示制御部１１９にＶＲＡＭ１１８内の右用の画像信号と左用の画像信号とを転送して液晶モニタＤＩＳＰ上に画像を表示させる。図１Ｂの液晶モニタＤＩＳＰに右用の画像信号と左用の画像信号とが表示されると、人の眼には液晶モニタＤＩＳＰ上の画像が立体的に見えるようになる。第１、第２の撮像素子１１１Ａ，１１１Ｂからは所定時間ごとに画像信号を出力させ続けているので、ＶＲＡＭ１１８内の画像信号は所定時間ごとに書き換えられ、液晶モニタＤＩＳＰ上の立体画像も所定時間ごとに切り替えられて表示され、立体画像が動画となって表示される。

ここで、液晶モニタＤＩＳＰ上の被写体が参照され操作部１０の中のシャッタボタン１０Ｃが半押し操作されると、メインＣＰＵ１００は、ＡＥ／ＡＷＢ検出部１３０でシャッタボタン１０Ｃが全押しされる直前に検出されたＡＥ値を受け取り、第１、第２の絞り駆動部１０５Ａ，１０５Ｂを介して第１、第２の絞りＩＡ、ＩＢをＡＥ値に応じた絞り径にさせる。更に、メインＣＰＵ１００は、上記半押し操作に応じて、第１のＦレンズ駆動部１０４Ａ、第２のＦレンズ駆動部１０４Ｂを介して第１のフォーカスレンズＦＬＡ、第２のフォーカスレンズＦＬＢを所定のサーチ範囲で移動させながら、ＡＦ検出部１２０によりＡＦ評価値の算出を行わせる。

メインＣＰＵ１００は、ＡＦ検出部１２０により算出されたＡＦ評価値に基づいてＡＦ評価値が最大になる第１のフォーカスレンズＦＬＡのレンズ位置、及び第２のフォーカスレンズＦＬＢのレンズ位置を検出し、この第１のレンズ位置、第２のレンズ位置に第１のフォーカスレンズＦＬＡ、第２のフォーカスレンズＦＬＢをそれぞれ移動させる。

そして、シャッタボタン１０Ｃが全押しされると、メインＣＰＵ１００は、第１、第２のＴＧｌ０６Ａ，１０６Ｂを介して第１の撮像素子１１１Ａ，第２の撮像素子１１１Ｂに所定のシャッタ速度だけ露光させ、静止画の撮影を行わせる。メインＣＰＵ１００は、電子シャッタのオフタイミングで第１、第２の撮像素子１１１Ａ，１１１Ｂから画像信号を第１、第２のアナログ信号処理部１１２Ａ，１１２Ｂへと出力させ、第１、第２のアナログ信号処理部１１２Ａ，１１２Ｂにノイズの低減処理を行わせる。その後、第１、第２のＡ／Ｄ変換部１１３Ａ，１１３Ｂでアナログの画像信号をデジタルの画像信号に変換させる。

ここで、メインＣＰＵ１００の指示にしたがって第１、第２の画像入力コントローラ１１４Ａが、第１、第２のＡ／Ｄ変換部１１３Ａ，１１３Ｂで変換されたデジタルの画像信号をバスＢｕｓを経由して一旦ＳＤＲＡＭ１１５に記憶させる。その後、デジタル信号処理部１１６Ａ，１１６ＢがＳＤＲＡＭ１１５の画像信号を読み出し、ホワイトバランス補正、ガンマ補正、単板ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）のカラーフィルタ配列に伴うＲ（Ｒｅｄ），Ｇ（Ｇｒｅｅｎ），Ｂ（Ｂｌｕｅ）などの色信号の空間的なズレを補間して各色信号の位置を合わせる同時化処理（色信号補間処理）、輪郭補正、輝度・色差信号（ＹＣ信号）作成を含む画像処理を行い、３Ｄ画像作成部１１７に送出する。

続いて、メインＣＰＵ１００は、３Ｄ画像作成部１１７内の右用の画像信号と左用の画像信号を、バスＢｕｓを使って圧縮・伸張処理部１５０に供給する。メインＣＰＵ１００は、この圧縮・伸張処理部１５０に画像データの圧縮を行わせた後、その圧縮された画像データをメディア制御部にバスＢｕｓを使って転送するとともに、その圧縮や撮影に係るヘッダ情報をメディア制御部１６０に供給してメディア制御部１６０に所定形式の画像ファイル（例えば、３Ｄの静止画は、ＭＰ（マルチピクチャ）フォーマットの画像ファイル）を作成させメモリカード１６１にその画像ファイルを記録させる。

操作部１０のモードダイヤル１０Ｂにより３Ｄパノラマ画像撮影モードが選択されると、メインＣＰＵ１００は、３Ｄパノラマ合成に必要な複数の立体画像を撮影するための処理を行う。また、３Ｄ画像作成部１１７は、３Ｄパノラマ画像撮影モード時に撮影される複数の３Ｄ画像（複数の左画像、複数の右画像）から３Ｄパノラマ画像を作成する画像処理部として機能する。尚、３Ｄパノラマ画像撮影モード時の立体撮像装置１の動作の詳細については後述する。

対応点検出部１７０は、３Ｄ画像（左画像と右画像）の特徴が一致する対応点を検出するとともに、３Ｄパノラマ画像撮影モード時に連続的に撮影される前後の画像間の特徴が一致する対応点を検出する。前者の対応点検出は、３Ｄパノラマ画像の視差調整時に使用される画像ずらし量の算出に使用され、後者の対応点検出は、３Ｄパノラマ画像の作成時のオプティカルフロー（並進成分）の算出に使用される。尚、対応点の検出方法としては、例えば、Ｈａｒｒｉｓの手法等を用いて特徴点を抽出し、ＫＬＴ（Ｋａｎａｄｅ Ｌｕｃａｓ Ｔｏｍａｓｉ）法等を用いて特徴点追尾を行う方法が挙げられる。

顔検出部１７２は、スルー画から人物の顔を検出し、その顔の位置や大きさの情報をメインＣＰＵ１００に出力する。即ち、顔検出部１７２は、画像照合回路及び顔画像テンプレートを含み、画像照合回路は、スルー画の画面内で、対象領域の位置を移動させながら、対象領域の画像と顔画像テンプレートとを照合し、両者の相関を調べる。そして、顔検出部１７２は、相関スコアが予め設定された閾値を越えると、その対象領域を顔領域として認定する。また、顔検出部１７２は、撮影した画像からも同様にして顔を検出することができる。

尚、顔検出方法は、上記の方法の他に、エッジ検出又は形状パターン検出による顔検出方法、色相検出又は肌色検出による顔検出方法等の公知の方法を利用することができる。

メインＣＰＵ１００は、顔検出部１７２から顔領域の位置及び大きさを示す情報を取得すると、その取得した人物の顔領域を囲む顔検出枠をスルー画に合成して、液晶モニタＤＩＳＰに表示させることができるようになっている。また、このようにして検出された顔領域の位置及び大きさは、人物の顔に合焦させるためのＡＦエリアや、人物の顔の明るさが適正になるようにＡＥエリアとして利用される。更に、３Ｄ画像からそれぞれ検出された顔領域の位置は、対応点検出部１７０により検出される対応点としても利用することができる。

尚、図２には、フラッシュ制御部１８０とそのフラッシュ制御部１８０からの指示を受けて、図１Ａの発光窓ＷＤからフラッシュを発光するフラッシュ１８１や現在の時刻を検知するための時計部Ｗが図示されている。

＜３Ｄパノラマ画像作成用の３Ｄ画像の取得及び３Ｄパノラマ合成＞
３Ｄパノラマ合成用の３Ｄ画像を撮影する場合には、操作部１０のモードダイヤル１０Ｂにより３Ｄパノラマ画像撮影モードを選択する。

その後、図３に示すように、立体撮像装置１を一定方向にスイングさせるとともに、連続的に撮影（連写）させる。

図３上で、ＣＰは、左右の撮像部Ｌ，Ｒの光軸が交わる輻輳点（以下、「クロスポイント」という）であり、θは、左右の撮像部Ｌ，Ｒの光軸のなす角度（輻輳角）である。この立体撮像装置１は、上記クロスポイントＣＰ，輻輳角θは固定されており、例えば、立体撮像装置１からクロスポイントＣＰまでの距離は、約２ｍである。但し、左画像と右画像とを相対的に左右方向にずらすことにより、クロスポイントＣＰまでの距離を仮想的に調整することができる。

ところで、クロスポイントＣＰ上の被写体は、視差がない。従って、左画像と右画像の特徴が一致する特定の対応点（被写体）のずれ量がゼロになるように、左画像と右画像とを相対的にずらすことにより、その被写体の視差をゼロにすること（クロスポイントＣＰをその被写体の距離に合わせること）ができる。

メインＣＰＵ１００は、３Ｄパノラマ画像撮影モードが設定されている場合には、所定枚数の３Ｄ画像の撮影が終了するまで、１枚目の３Ｄ画像に使用したピント位置、露出条件及びホワイトバランスゲインを固定するように制御する。

上記のようにして予め設定された３Ｄパノラマ合成に必要な枚数分の３Ｄ画像の撮影が終了すると、メインＣＰＵ１００は、３Ｄパノラマ合成用の３Ｄ画像の撮影が終了したと判断し、以降の３Ｄパノラマ合成の処理等に移行する。

図４Ａから図４Ｅは、３Ｄパノラマ画像の合成処理シーケンスを示す図である。

図４Ａにおいて、１〜６は、立体撮像装置１のスイング中に撮影された時系列の画像であって、上段側の画像及び下段側の画像は、それぞれ左画像及び右画像である。

３Ｄ画像作成部１１７は、３Ｄパノラマ画像撮影モード時に撮影される複数の３Ｄ画像から３Ｄパノラマ画像を作成する画像処理部として機能するが、パノラマ合成処理において、対応点検出部１７０で検出した時系列の画像間の対応点から算出したオプティカルフローを使用することができる。図４Ａに示す例では、隣接する各画像間１−２，２−３，３−４，…のオプティカルフロー（並進ベクトル）として、（ｘ，ｙ）＝（１９，２），（２１，−１），（２０，０），…が算出されている。

続いて、図４Ｂに示すように、上記算出されたオプティカルフロー（並進ベクトル）（ｘ，ｙ）＝（１９，２），（２１，−１），（２０，０），…に基づいて、各３Ｄ画像を短冊状にトリミングする。そして、そのトリミングした短冊状のスリット画像を順次合成する。即ち、画像中央から並進ベクトルの水平成分ｘの１／２だけずらした位置から固定幅ｗの短冊状のスリット画像を切り出し、この切り出した短冊状のスリット画像を、図４Ｃに示すように、並進ベクトルだけ上下左右方向にずらしながら各短冊状のスリット画像を合成させる。これにより、３Ｄパノラマ合成が完了する。

次に、パノラマ合成された左画像と右画像のうちの、互いに重複する画素を有する領域の画像をそれぞれトリミングする。図４Ｄに示す例では、パノラマ合成された左画像及び右画像からそれぞれ最大の矩形領域の画像を切り出すようにしている。

これらの切り出した左画像及び右画像は、３Ｄパノラマ画像としてメモリカード１６１に保存される（図４Ｅ）。例えば、左右の２枚のパノラマ画像からマルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）を生成し、このＭＰファイルをメディア制御部１６０を介してメモリカード１６１に記録する。尚、左右の２枚のパノラマ画像は、１つのＭＰファイルに保存する場合に限らず、互いに関連付けて保存されていれば、別々の画像ファイルで保存するようにしてもよい。

また、メインＣＰＵ１００は、対応点検出部１７０により３Ｄ画像ごとに検出された対応点のうちから、該３Ｄ画像の中央付近の対応点（例えば、左画像の短冊状のスリット画像内の特徴点と、それに対応する右画像上の対応点）を特定し、これらの対応点のずれ量（画素数）を、画像ずらし量（以下、「ＣＰ量」という）として算出する。

即ち、メインＣＰＵ１００は、上記のようにして算出した３Ｄ画像ごとのＣＰ量と、３Ｄパノラマ画像（左画像）上のクロスポイントＣＰの座標（ｘ，ｙ）とを関連付け、これらの情報を、３Ｄパノラマ画像の付属情報としてＭＰファイルのヘッダ領域等に記録する。

図５は、各３Ｄ画像のクロスポイントＣＰの座標（ｘ，ｙ）に関連付けてＣＰ量（Δｘ）が記録された付属情報の一例を示す図表である。

図６は、上記３Ｄパノラマ画像作成用の３Ｄ画像の取得及び３Ｄパノラマ合成の処理手順を示すフローチャートである。

図６において、操作部１０のモードダイヤル１０Ｂにより３Ｄパノラマ画像撮影モードを選択し、立体撮像装置１を手で持ち、一定方向にスイングさせながら撮影を開始する（ステップＳ１０）。

メインＣＰＵ１００は、パノラマ合成に必要な枚数を撮影したか否かを判別し（ステップＳ１２）、必要な枚数の撮影が終了すると（「Ｙｅｓ」の場合）、３Ｄパノラマ画像撮影モードによる撮影を終了させ、必要な枚数の撮影が終了していない場合（「Ｎｏ」の場合）には、ステップＳ１４に遷移させる。

ステップＳ１４では、撮影された３Ｄ画像から対応点を検出する。即ち、３Ｄ画像のうちの左画像の中央付近から１つの特徴点を抽出し、この特徴点に対応する右画像の対応点を検出する。続いて、上記検出された対応点間のずれ量であるＣＰ量を算出する（ステップＳ１６）。

前記算出したＣＰ量を、そのＣＰ量を取得した３Ｄ画像ごとに保存する（ステップＳ１８）。尚、ＣＰ量は、図５に示したように３Ｄパノラマ画像（左画像）上のクロスポイントＣＰの座標（ｘ，ｙ）に関連付けて保存される。

また、撮影された３Ｄ画像から、図４Ａから図４Ｅで説明したように、前後の３Ｄ画像のオプティカルフロー（並進ベクトル）に基づいて短冊状のスリット画像を切り出し、並進ベクトルだけ上下左右方向にずらしながら各短冊状のスリット画像を合成（パノラマ合成）し、ステップＳ１２に遷移させる（ステップＳ２０）。

上記のようにしてパノラマ合成に必要な枚数分だけ上記ステップＳ１２からステップＳ２０を繰り返すことにより３Ｄパノラマ画像の作成及びその付属情報（ＣＰ量等）の算出が行われ、メモリカード１６１に３Ｄパノラマ画像が保存されるとともに、その付属情報が保存される。

尚、図６では、立体撮像装置１のスイング中に撮影された３Ｄ画像ごとにＣＰ量の算出・保存、及びパノラマ画像の合成を行うようにした。しかしながら、本発明はこれに限定されるものではない。例えば、パノラマ合成に必要な枚数分の３Ｄ画像を撮影し、これらの３Ｄ画像をＳＤＲＡＭ１１５に一時的に保存し、その後、３Ｄ画像ごとのＣＰ量の算出、パノラマ合成等を行うようにしてもよい。

＜３Ｄパノラマ画像の再生＞
〔第１の実施の形態〕
次に、上記のようにしてメモリカード１６１に保存された３Ｄパノラマ画像を再生する場合について説明する。

図７は、３Ｄパノラマ画像の再生方法の第１の実施の形態を示すフローチャートである。

図７において、操作部１０のモードダイヤル１０Ｂにより３Ｄパノラマ画像再生モードを選択し、３Ｄパノラマ画像の再生を開始させる（ステップＳ３０）。尚、３Ｄパノラマ画像の再生開始時には、メモリカード１６１から所定の３Ｄパノラマ画像を読み出し、ＳＤＲＡＭ１１５に一時的に保存する。また、第１の実施の形態では、３Ｄパノラマ画像の付属情報として、図５に示すように複数の３Ｄ画像ごとのＣＰ量が保存されているものとする。

まず、前記読み出した３Ｄパノラマ画像の左端から、液晶モニタＤＩＳＰ（図２）の画面のアスペクト比と同じアスペクト比となる表示用の３Ｄ画像を切り出すとともに、その切り出した３Ｄ画像の中央部（液晶モニタＤＩＳＰの表示画面中央）のＣＰ量を選択する（ステップＳ３２）。このＣＰ量の選択は、液晶モニタＤＩＳＰに表示される３Ｄ画像（３Ｄパノラマ画像の一部）の中央部の、３Ｄパノラマ画像（左画像上）の位置（ｘ座標）を求め、このｘ座標に最も近いｘ座標を有するクロスポイントＣＰに対応するＣＰ量を選択する（図５参照）。

続いて、前記選択したＣＰ量に基づいてそのＣＰ量だけ左画像に対して右画像をずらすことにより視差調整を行い、この視差調整した左右の画像（３Ｄ画像）を液晶モニタＤＩＳＰに表示させる（ステップＳ３４）。

その後、３Ｄパノラマ画像のスクロール指示、又は３Ｄパノラマ画像を複数コマに分割した分割コマごとのコマ送り指示が発生したか否かを判別する（ステップＳ３６）。スクロール指示又はコマ送り指示が発生すると、ステップＳ３２に遷移させる。一方、所定期間内にスクロール指示、又はコマ送り指示が発生しない場合（即ち、３Ｄパノラマ画像の右端までの表示が終了すると）、読み出した３Ｄパノラマ画像の再生を終了させる。尚、スクロール再生時にスクロール指示を連続して発生させ、また、コマ送り再生時に一定のインターバルでコマ送り指示を発生させることにより、自動的にスクロール再生又はコマ送り再生を行うことができる。

ステップＳ３２に基づいて次のスクロール位置、又はコマ位置に対応するＣＰ量が選択されると、上記と同様にして選択されたＣＰ量に基づく視差調整が行われる。

図８Ａ及び図８Ｂは、それぞれ３Ｄパノラマ画像をスクロール再生、及びコマ送り再生する際のイメージ図である。図８Ａ及び図８Ｂ上で、太線枠が液晶モニタＤＩＳＰに表示される表示画像を示している。

図８Ａに示すように、３Ｄパノラマ画像のスクロール再生時には、その３Ｄパノラマ画像のスクロール位置ごとに画面中央付近のＣＰ量が選択され、視差調整が行われる。図８Ｂに示すように、３Ｄパノラマ画像のコマ送り再生時には、コマ送りされるコマごとに画面中央付近のＣＰ量が選択され、視差調整が行われる。

上記のように３Ｄパノラマ画像のスクロール再生、又はコマ送り再生時に、画面中央付近のＣＰ量に基づいて視差調整を行うようにしたため、画面中央付近の画像の視差をゼロにすることができる。これにより、３Ｄ画像の見え方に大きく影響するクロスポイント部分（左右画像の視差がゼロになる部分）が常に画面中央付近になり、スクロール再生又はコマ送り再生時に立体視しやすくなる。

尚、上記の第１の実施の形態では、３Ｄパノラマ画像を自動的にスクロール再生又はコマ送り再生させている。しかしながら、本発明はこれに限定されるものではない。例えば、操作部１０の十字キー１０Ｆの手動操作によりスクロール再生又はコマ送り再生を行うようにしてもよい。これによれば、３Ｄパノラマ画像をスクロール再生時又はコマ送り再生時に、任意にスクロール位置又はコマ位置で３Ｄパノラマ画像を停止させることができる。

また、手動操作によりスクロール再生を行わせる場合、スクロールの最中は画像の送りが開始される直前のＣＰ量に基づいて視差調整を行う。そして、画像の送りが停止すると、その停止した画面中央付近のＣＰ量に基づいて視差調整を行うようにしてもよい。これによれば、スクロールの最中の視差調整を固定することができ、視差変動による眼精疲労を低減することができる。

また、スクロールの最中は、左画像及び右画像のうちのいずれか一方の画像のみ（平面（２Ｄ）パノラマ画像）を液晶モニタＤＩＳＰに表示させ、画像の送りが停止すると、その停止した画面中央付近のＣＰ量に基づいて視差調整を行うようにしてもよい。

〔第２の実施の形態〕
図９は、３Ｄパノラマ画像の再生方法の第２の実施の形態を示すフローチャートである。

第２の実施の形態は、３Ｄパノラマ画像の付属情報として、ＣＰ量が保存されていない場合の再生方法に関する。尚、図７に示した第１の実施の形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図９において、操作部１０のモードダイヤル１０Ｂにより３Ｄパノラマ画像再生モードを選択し、３Ｄパノラマ画像の再生を開始させる（ステップＳ４０）。尚、３Ｄパノラマ画像の再生開始時には、メモリカード１６１から所定の３Ｄパノラマ画像を読み出し、ＳＤＲＡＭ１１５に一時的に保存するが、ＣＰ量は保存されない。

第２の実施の形態では、３Ｄパノラマ画像の再生に先立ってＣＰ量の算出等を行う。

即ち、メモリカード１６１から読み出した３Ｄパノラマ画像（左画像）から複数の特徴点を抽出し、これらの特徴点に対応する右画像の対応点を検出する（ステップＳ４２）。尚、複数の特徴点の抽出は、３Ｄパノラマ画像の作成時の短冊状のスリット画像と同程度の幅で３Ｄパノラマ画像を分割し、分割した領域ごとに１つの特徴点を抽出することにより行う。

続いて、ステップＳ４２で検出された対応点間のずれ量であるＣＰ量を算出し（ステップＳ４４）、この算出したＣＰ量を、複数の特徴点の位置座標に関連付けてＳＤＲＡＭ１１５に保存する（ステップＳ４６）。

その後、前記ＣＰ量を使用した３Ｄパノラマ画像のスクロール再生、又はコマ送り再生は、図７に示した第１の実施の形態と同様に行われる。

尚、３Ｄパノラマ画像の再生終了後は、ＳＤＲＡＭ１１５に一時的に保存したＣＰ量を、３Ｄパノラマ画像が保存されているＭＰファイルに付属情報として記録するようにしてもよい。

第２の実施の形態によれば、３Ｄパノラマ画像の付属情報としてＣＰ量が保存されていない３Ｄパノラマ画像を入力した場合でも、スクロール位置又はコマ送りごとに視差調整された３Ｄパノラマ画像のスクロール再生、又はコマ送り再生を行うことができる。

〔第３の実施の形態〕
図１０は、３Ｄパノラマ画像の再生方法の第３の実施の形態を示すフローチャートである。

第３の実施の形態は、図７に示した第１の実施の形態を変形させたものであり、第１の実施の形態に比べて、一点鎖線で囲んだ部分の処理が追加されている点で相違する。

この第３の実施の形態は、最初に３Ｄパノラマ画像全体を液晶モニタＤＩＳＰに表示させる点で、第２の実施の形態と相違する。

図１０において、操作部１０のモードダイヤル１０Ｂにより３Ｄパノラマ画像再生モードを選択し、３Ｄパノラマ画像の再生を開始させると（ステップＳ１０）、メモリカード１６１から読み出した３Ｄパノラマ画像の中央部のＣＰ量を選択する（ステップＳ５０）。

続いて、前記選択したＣＰ量に基づいてそのＣＰ量だけ左画像に対して右画像をずらすことにより視差調整を行い、この視差調整した３Ｄパノラマ画像全体を液晶モニタＤＩＳＰに表示させる（ステップＳ５２）。

図１１は、３Ｄパノラマ画像全体を表示している液晶モニタＤＩＳＰの表示画面を示している。

次に、３Ｄパノラマ画像をスクロール再生又はコマ送り再生を行うためのズーム指示等が発生したか否かを判別する（ステップＳ５４）。ズーム指示が発生しない場合には、ステップＳ５２に遷移させ、引き続き３Ｄパノラマ画像全体を表示させ、ズーム指示が発生すると、ステップＳ３２に遷移させる。前記ズーム指示は、３Ｄパノラマ画像全体が表示されてから一定時間経過後に自動的に発生させるようにしてもよいし、ユーザの操作部１０での指示入力に基づいて発生させるようにしてもよい。

ズーム指示が発生してステップＳ３２に遷移すると、３Ｄパノラマ画像をズームし、ズームした３Ｄパノラマ画像の左端から３Ｄパノラマ画像をスクロール再生、又はコマ送り再生させる（図８Ａ及び図８Ｂ参照）。尚、３Ｄパノラマ画像をスクロール再生、又はコマ送り再生時には、図７に示した第１の実施の形態で説明したように、スクロール位置又はコマ送りごとに応じてＣＰ量を選択し、その選択したＣＰ量を使用した視差調整が行われる。

第３の実施の形態によれば、３Ｄパノラマ画像全体を確認してから、拡大ズームされた３Ｄパノラマ画像をスクロールさせ、又は分割コマ送りさせながら鑑賞することができる。

尚、図９に示した第２の実施の形態を変形し、上記第３の実施の形態と同様に最初に３Ｄパノラマ画像全体を液晶モニタＤＩＳＰに表示させるようにしてもよい。この場合、３Ｄパノラマ画像全体を液晶モニタＤＩＳＰに表示させている期間にＣＰ量の算出等を行うことができる。また、３Ｄパノラマ画像全体を液晶モニタＤＩＳＰに表示させる場合には、予め設定されたＣＰ量（ＣＰ量＝０も含む）により視差調整してもよい。

また、３Ｄパノラマ画像のスクロール再生又は分割コマ送り再生時のズーム倍率は、３Ｄパノラマ画像の縦方向の幅が、液晶モニタＤＩＳＰの縦方向の幅に一致する倍率が好ましい。しかしながら、本発明の範囲はこの倍率に限定されるものではない。例えば、手動によるズーム操作により適宜調整できるようにしてもよい。

＜ＣＰ量の算出の他の実施の形態＞
図６で示した実施の形態では、パノラマ合成に使用した３Ｄ画像ごとに、その３Ｄ画像の中央付近の対応点からＣＰ量を算出した。３Ｄパノラマ画像に対するＣＰ量の算出のほかの実施の形態としては、３Ｄパノラマ画像中から主要な被写体を複数検出し、各被写体の左右のパノラマ画像間におけるずれ量を算出し、これをＣＰ量とする。

主要な被写体を検出する検出手段としては、図２に示した顔検出部１７２を使用することができる。これによれば、３Ｄパノラマ画像に含まれる顔画像ごとにＣＰ量が算出され、３Ｄパノラマ画像（左画像）上の各顔画像の位置に関連付けてＣＰ量が保存されることになる。

また、３Ｄパノラマ画像中の主要な被写体としては、人物の顔のほか、建物、壁などの人工の建造物、樹木、林等の自然物が考えられる。これらの人工の建造物、樹木、林等の自然物は、公知のオブジェクト認識技術（例えば、オブジェクトごとの辞書データとの照合）により検知することができる。

従って、立体撮像装置１にオブジェクト検出手段（顔検出部１７２を含む）を設けることにより、３Ｄパノラマ画像中の主要な被写体（顔、人工の建造物、自然物等のオブジェクト）ごとにＣＰ量を算出し、そのＣＰ量を保存することができる。

〔第４の実施の形態〕
図１２は、３Ｄパノラマ画像の再生方法の第４の実施の形態を示すフローチャートである。尚、図７に示した第１の実施の形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１２において、操作部１０のモードダイヤル１０Ｂにより３Ｄパノラマ画像再生モードを選択し、３Ｄパノラマ画像の再生を開始させる（ステップＳ３０´）。尚、３Ｄパノラマ画像の再生開始時には、メモリカード１６１から所定の３Ｄパノラマ画像を読み出し、ＳＤＲＡＭ１１５に一時的に保存する。また、第４の実施の形態では、３Ｄパノラマ画像の付属情報として、３Ｄパノラマ画像中のオブジェクトごとにＣＰ量が保存されているものとする。

３Ｄパノラマ画像の再生が開始されると、液晶モニタＤＩＳＰ（図２）に表示される３Ｄ画像（３Ｄパノラマ画像の一部）内で、その表示部中央に最も近いオブジェクトに対応するＣＰ量を選択する（ステップＳ６０）。

その後、前記ＣＰ量により視差調整した３Ｄパノラマ画像のスクロール再生、又はコマ送り再生は、図７に示した第１の実施の形態と同様に行われる。

第４の実施の形態によれば、３Ｄパノラマ画像のスクロール再生又はコマ送り再生時に、表示部中央に最も近いオブジェクトにクロスポイントが一致するように視差調整される。このため、スクロール再生又はコマ送り再生時に３Ｄパノラマ画像中のオブジェクト（主要な被写体）が立体視しやすくなる。

尚、第４の実施の形態では、液晶モニタＤＩＳＰの表示部中央に最も近いオブジェクトに対応するＣＰ量を選択するようにした。しかしながら、本発明はこれに限定されるものではない。例えば、予めオブジェクトの種類に応じて優先順位（例えば、顔→建物→その他の順）を決めておき、表示画面中に種類の異なる複数のオブジェクトが存在する場合には、最も優先順位の高いオブジェクトに対応するＣＰ量を選択するようにしてもよい。この場合、オブジェクトの種類を示す情報もＣＰ量に関連付けて保存しておく必要がある。

＜３Ｄパノラマ画像作成用の３Ｄ画像の取得及び３Ｄパノラマ合成の他の実施の形態＞
図３及び図４Ａから図４Ｅに示したように、３Ｄパノラマ合成用の３Ｄ画像を撮影する場合には、立体撮像装置１を一定方向にスイングさせるとともに、連続的に撮影（連写）させるようにした。しかしながら、本発明はこれに限定されるものではない。例えば、図１３Ａ及び図１３Ｂに示すように撮影を行うようにしてもよい。

即ち、図１３Ａ及び図１３Ｂに示すように立体撮像装置１により１枚目の３Ｄ画像を撮影する（図１３Ａ）。３Ｄパノラマ画像撮影モードが設定されている場合には、メインＣＰＵ１００は、以後の所定枚数の３Ｄ画像の撮影が終了するまで、１枚目の３Ｄ画像に使用したピント位置、露出条件及びホワイトバランスゲインを固定するように制御する。

撮影者は、１枚目の３Ｄ画像の撮影が終了すると、立体撮像装置１をスイング（パンニング）させて撮影方向を変え、２枚目の３Ｄ画像の撮影を行う（図１３Ｂ）。

このとき、撮影者は、図１４に示すように１枚目の３Ｄ画像と２枚目の３Ｄ画像との一部が重なるように立体撮像装置１の撮影方向を調整して撮影を行う。メインＣＰＵ１００は、３Ｄパノラマ画像撮影モード時には、先に撮影された３Ｄ画像の一部を、液晶モニタＤＩＳＰに表示させ、次の撮影時の撮影方向のアシストを行うようにすることが好ましい。即ち、撮影者は、液晶モニタＤＩＳＰに表示されている先に撮影された３Ｄ画像の一部と、スルー画とを見ながら撮影方向を決定することができる。

上記のようにして予め設定された枚数分、又はデフォルトで設定された枚数分の３Ｄ画像の撮影が終了すると、メインＣＰＵ１００は、３Ｄパノラマ合成用の３Ｄ画像の撮影が終了したと判断し、以降の３Ｄパノラマ合成の処理に移行する。尚、このようにして取得した複数枚の３Ｄ画像から３Ｄパノラマ画像を合成するパノラマ合成方法は、公知の技術を使用することができる。

〔その他〕
図６に示した実施の形態では、連続的に取得した３Ｄ画像ごとに、左画像の中央付近から１つの特徴点を抽出し、この特徴点に対応する右画像の対応点を検出する。これらの検出した対応点間のずれ量からＣＰ量を算出しているが、撮影シーンによっては左画像の中央付近の領域に対応点検出に適した特徴点が抽出できない場合がある。この場合には、予め設定されたＣＰ量（ＣＰ量＝０を含む）、隣接するＣＰ量を補間して求めたＣＰ量等を、その３Ｄ画像に対するＣＰ量とする。

また、３Ｄパノラマ画像をスクロール再生する際に、スクロール位置ごとに視差調整できるように、算出された複数のＣＰ量に基づいてスクロール位置に対応するＣＰ量を補間（線形補間）により求め、これらのＣＰ量も記録しておくようにしてもよい。

また、３Ｄパノラマ画像内のオブジェクトごとにＣＰ量を算出する場合も上記と同様にして、オブジェクト間のＣＰ量を補間演算により求め、これらのＣＰ量も記録しておくようにしてもよい。

更に、この実施の形態では、左画像と右画像の特徴が一致する特定の対応点（被写体）のずれ量がゼロになるＣＰ量（画像ずらし量）を求めるようにした。しかしながら、本発明は対応点のずれ量をゼロにする場合に限定されるものではない。例えば、所定の視差量（注目被写体が少し手前に飛び出す視差量）になるように画像ずらし量を求めるようにしてもよい。また、この所定の視差量は、ユーザが適宜設定できるようにしてもよい。

上記のようにしてスクロール位置ごとのＣＰ量を補間して求めることにより、３Ｄパノラマ画像をスクロール再生させる際に、補間演算されたＣＰ量を使用して連続的に視差調整を行うことができる。

また、この立体撮像装置１は、背面の液晶モニタＤＩＳＰに３Ｄパノラマ画像を表示させるようにしているが、外部の３Ｄディスプレイに３Ｄパノラマ画像を表示させるための出力インターフェースを備えたものでもよい。

更に、撮影機能を有しないパーソナルコンピュータ等の機器により３Ｄパノラマ画像作成装置や３Ｄパノラマ画像再生装置を構成するようにしてもよい。この場合、一般の立体撮像装置により撮影された３Ｄパノラマ合成用の複数の３Ｄ画像を入力画像にする。

更にまた、本発明に係るパノラマ画像作成プログラムやパノラマ画像再生プログラムを、該プログラムが格納された記録媒体を介してコンピュータにインストールすることにより、該コンピュータを３Ｄパノラマ画像作成装置や３Ｄパノラマ画像再生装置として機能させるようにしてもよい。

また、本発明は上述した実施の形態に限定されず、各実施の形態を適宜組み合わせたり、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１…立体撮像装置、１０…操作部、１００…メインＣＰＵ、１０１…ＲＯＭ、１０２…フラッシュＲＯＭ、１１０Ａ…第１の撮影光学系、１１０Ｂ…第２の撮影光学系、１１１Ａ…第１の撮像素子、１１１Ｂ…第２の撮像素子、１１５…ＳＤＲＡＭ、１１７…３Ｄ画像作成部、１１９…表示制御部、１６０…メディア制御部、１６１…メモリカード、１７０…対応点検出部、１７２…顔検出部、Ｌ…第１の撮像部、Ｒ…第２の撮像部、ＤＩＳＰ…液晶モニタ

Claims (42)

1. 立体撮像装置により撮影された左画像及び右画像からなる立体画像であって、前記立体撮像装置を一定方向にスイングさせて連続的に撮影された複数の立体画像を取得する立体画像取得手段と、
   前記立体画像取得手段により取得された複数の立体画像のうちの左画像同士を合成するとともに、右画像同士を合成して左右のパノラマ画像からなる立体パノラマ画像を作成する立体パノラマ画像作成手段と、
   前記立体画像取得手段により取得された複数の立体画像の左画像と右画像の間、又は前記作成された立体パノラマ画像の左右のパノラマ画像の間で特徴がそれぞれ一致する対応点であって、視差調整用の複数の対応点を検出する対応点検出手段と、
   前記検出された複数の対応点の視差をそれぞれ所定の視差量にするための複数の画像ずらし量を算出する画像ずらし量算出手段と、
   前記作成された立体パノラマ画像を記録媒体に記録するとともに、前記視差調整用の複数の対応点の立体パノラマ画像上の位置情報と前記算出した複数の画像ずらし量とを関連付けて前記立体パノラマ画像の付属情報として前記記録媒体に記録する記録手段と、
   を備える立体パノラマ画像作成装置。
2. 前記対応点検出手段は、前記立体画像取得手段により取得された立体画像の左画像と右画像の組ごとに１組の対応点を検出し、
   前記画像ずらし量算出手段は、前記検出された対応点の視差を前記所定の視差量にするための画像ずらし量を算出する、請求項１に記載の立体パノラマ画像作成装置。
3. 前記対応点検出手段は、前記立体画像の左画像と右画像の組ごとに該立体画像の中央付近から前記１組の対応点を検出する、請求項２に記載の立体パノラマ画像作成装置。
4. 前記画像ずらし量算出手段は、前記対応点検出手段により前記立体画像の中央付近から所要の対応点が検出されない場合には、予め設定された画像ずらし量を算出値とし、又は隣接する画像ずらし量を補間して画像ずらし量を算出する、請求項３に記載の立体パノラマ画像作成装置。
5. 前記立体パノラマ画像作成手段は、前記立体画像取得手段により取得された複数の立体画像のうちの中央付近の短冊状のスリット画像を繋ぎ合わせて立体パノラマ画像を作成する、請求項１から４のいずれか１項に記載の立体パノラマ画像作成装置。
6. 前記立体画像取得手段により取得された複数の立体画像又は前記作成された立体パノラマ画像中に含まれる所要のオブジェクトを検出するオブジェクト検出手段を更に備え、
   前記対応点検出手段は、前記オブジェクト検出手段により検出されたオブジェクトごとに対応点を検出する、請求項１に記載の立体パノラマ画像作成装置。
7. 前記画像ずらし量算出手段により算出された複数の画像ずらし量に基づいて各対応点の間の画素ずらし量を補間して連続した画素ずらし量を算出する補間演算手段を更に備え、
   前記記録手段は、前記画像ずらし量算出手段により算出された複数の画像ずらし量とともに、前記補間演算手段により算出された画像ずらし量を前記記録媒体に記録する、請求項１から６のいずれか１項に記載の立体パノラマ画像作成装置。
8. 前記所定の視差量はゼロである、請求項１から６のいずれか１項に記載の立体パノラマ画像作成装置。
9. 請求項１から８のいずれか１項に記載の記録媒体から立体パノラマ画像と該立体パノラマ画像の付属情報とを読み出す読出手段と、
   前記読み出した立体パノラマ画像を所定の倍率に拡大させ、該拡大させた立体パノラマ画像を自動的に又は手動指示入力により立体ディスプレイ上でスクロール再生させ、又は前記立体パノラマ画像を複数コマに分割した分割コマごとにコマ送り再生させる再生手段と、
   前記再生手段による立体パノラマ画像のスクロール再生又はコマ送り再生時に、該立体パノラマ画像の付属情報として記録された複数の画像ずらし量のうちから、前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて該立体画像の視差調整を行う視差調整手段と、
   を備える立体パノラマ画像再生装置。
10. 左右のパノラマ画像からなる立体パノラマ画像を取得する立体パノラマ画像取得手段と、
    前記取得した立体パノラマ画像の再生に先立って、該立体パノラマ画像から左右のパノラマ画像の間で特徴がそれぞれ一致する対応点であって、視差調整用の複数の対応点を検出する対応点検出手段と、
    前記検出された複数の対応点の視差を所定の視差量にするための画像ずらし量を算出する画像ずらし量算出手段と、
    前記視差調整用の複数の対応点の立体パノラマ画像上の位置情報と前記算出した複数の画像ずらし量とを関連付けて記憶する記憶手段と、
    前記取得した立体パノラマ画像を所定の倍率に拡大させ、該拡大させた立体パノラマ画像を自動的に又は手動指示入力により立体ディスプレイ上でスクロール再生させ、又は前記立体パノラマ画像を複数コマに分割した分割コマごとにコマ送り再生させる再生手段と、
    前記再生手段による立体パノラマ画像のスクロール再生又はコマ送り再生時に、該立体パノラマ画像に対応して前記記憶手段に記憶された複数の画像ずらし量のうちから、前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行う視差調整手段と、
    を備える立体パノラマ画像再生装置。
11. 前記対応点検出手段は、前記パノラマ画像を短冊状のスリット画像に分割したスリット画像ごとに１組の対応点を検出する、請求項１０に記載の立体パノラマ画像再生装置。
12. 前記画像ずらし量算出手段は、前記対応点検出手段により前記立体画像の中央付近から所要の対応点が検出されない場合には、予め設定された画像ずらし量を算出値とし、又は隣接する画像ずらし量を補間して画像ずらし量を算出する、請求項１１に記載の立体パノラマ画像再生装置。
13. 前記取得した立体パノラマ画像中に含まれる所要のオブジェクトを検出するオブジェクト検出手段を更に備え、
    前記対応点検出手段は、前記オブジェクト検出手段により検出されたオブジェクトごとに対応点を検出する、請求項１０に記載の立体パノラマ画像再生装置。
14. 前記画像ずらし量算出手段により算出された複数の画像ずらし量に基づいて各対応点の間の画素ずらし量を補間して連続した画素ずらし量を算出する補間演算手段を更に備え、
    前記記憶手段は、前記画像ずらし量算出手段により算出された複数の画像ずらし量とともに、前記補間演算手段により算出された画像ずらし量を記憶する、請求項１０から１３のいずれか１項に記載の立体パノラマ画像再生装置。
15. 前記所定の視差量はゼロである、請求項１０から１４のいずれか１項に記載の立体パノラマ画像再生装置。
16. 前記視差調整手段は、前記立体ディスプレイの画面中央、又は画面中央に最も近い画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行う、請求項９から１５のいずれか１項に記載の立体パノラマ画像再生装置。
17. 前記視差調整手段は、前記再生手段が手動指示入力により立体パノラマ画像をスクロール再生させる際に、手動指示入力によるスクロール開始時に表示されている前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量をスクロール停止まで選択するとともに、スクロール停止時に該スクロール停止時に表示されている前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行う、請求項９から１６のいずれか１項に記載の立体パノラマ画像再生装置。
18. 前記再生手段は、手動指示入力によるスクロール再生によるスクロール中は前記左画像及び右画像のうちのいずれか一方の画像のみを前記立体ディスプレイに表示させるとともに、スクロール停止時に立体画像を前記立体ディスプレイに表示させ、
    前記視差調整手段は、前記スクロール停止時に該スクロール停止時に表示されている前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行う、請求項９から１６のいずれか１項に記載の立体パノラマ画像再生装置。
19. 前記再生手段は、前記立体パノラマ画像の全体を前記立体ディスプレイに表示させた後、該立体パノラマ画像を所定の倍率に拡大させてスクロール再生させ、又はコマ送り再生させる、請求項９から１８のいずれか１項に記載の立体パノラマ画像再生装置。
20. 立体撮像装置により撮影された左画像及び右画像からなる立体画像であって、前記立体撮像装置を一定方向にスイングさせて連続的に撮影された複数の立体画像を取得する立体画像取得ステップと、
    前記取得された複数の立体画像のうちの左画像同士を合成するとともに、右画像同士を合成して左右のパノラマ画像からなる立体パノラマ画像を作成する立体パノラマ画像作成ステップと、
    前記取得された複数の立体画像の左画像と右画像の間、又は前記作成された立体パノラマ画像の左右のパノラマ画像の間で特徴がそれぞれ一致する対応点であって、視差調整用の複数の対応点を検出する対応点検出ステップと、
    前記検出された複数の対応点の視差を所定の視差量にするための画像ずらし量を算出する画像ずらし量算出ステップと、
    前記作成された立体パノラマ画像を記録媒体に記録するとともに、前記視差調整用の複数の対応点の立体パノラマ画像上の位置情報と前記算出した複数の画像ずらし量とを関連付けて前記立体パノラマ画像の付属情報として前記記録媒体に記録する記録ステップと、
    を含む立体パノラマ画像作成方法。
21. 前記対応点検出ステップは、前記取得された立体画像の左画像と右画像の組ごとに１組の対応点を検出し、
    前記画像ずらし量算出ステップは、前記立体画像ごとに検出された対応点のうちから１組の対応点を特定し、該対応点の視差を前記所定の視差量にするための画像ずらし量を算出する、請求項２０に記載の立体パノラマ画像作成方法。
22. 前記対応点検出ステップは、前記立体画像の左画像と右画像の組ごとに該立体画像の中央付近から前記１組の対応点を検出する、請求項２１に記載の立体パノラマ画像作成方法。
23. 前記画像ずらし量算出ステップは、前記対応点検出ステップにより前記立体画像の中央付近から所要の対応点が検出されない場合には、予め設定された画像ずらし量を算出値とし、又は隣接する画像ずらし量を補間して画像ずらし量を算出する、請求項２２に記載の立体パノラマ画像作成方法。
24. 前記立体パノラマ画像作成ステップは、前記取得された複数の立体画像のうちの中央付近の短冊状のスリット画像を繋ぎ合わせて立体パノラマ画像を作成する、請求項２０から２３のいずれか１項に記載の立体パノラマ画像作成方法。
25. 前記取得された複数の立体画像又は前記作成された立体パノラマ画像中に含まれる所要のオブジェクトを検出するオブジェクト検出ステップを更に含み、
    前記対応点検出ステップは、前記オブジェクト検出手段により検出されたオブジェクトごとに対応点を検出する、請求項２０に記載の立体パノラマ画像作成方法。
26. 前記画像ずらし量算出ステップにより算出された複数の画像ずらし量に基づいて各対応点の間の画素ずらし量を補間して連続した画素ずらし量を算出する補間演算ステップを更に含み、
    前記記録ステップは、前記画像ずらし量算出ステップにより算出された複数の画像ずらし量とともに、前記補間演算ステップにより算出された画像ずらし量を前記記録媒体に記録する、請求項２０から２５のいずれか１項に記載の立体パノラマ画像作成方法。
27. 前記所定の視差量はゼロである、請求項２０から２５のいずれか１項に記載の立体パノラマ画像作成方法。
28. 請求項２０から２７のいずれか１項に記載の記録媒体から立体パノラマ画像と該立体パノラマ画像の付属情報とを読み出す読出ステップと、
    前記読み出した立体パノラマ画像を所定の倍率に拡大させ、該拡大させた立体パノラマ画像を自動的に又は手動指示入力により立体ディスプレイ上でスクロール再生させ、又は前記立体パノラマ画像を複数コマに分割した分割コマごとにコマ送り再生させる再生ステップと、
    前記再生ステップによる立体パノラマ画像のスクロール再生又はコマ送り再生時に、該立体パノラマ画像の付属情報として記録された複数の画像ずらし量のうちから、前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて該立体画像の視差調整を行う視差調整ステップと、
    を含む立体パノラマ画像再生方法。
29. 左右のパノラマ画像からなる立体パノラマ画像を取得する立体パノラマ画像取得ステップと、
    前記取得した立体パノラマ画像の再生に先立って、該立体パノラマ画像から左右のパノラマ画像の間で特徴がそれぞれ一致する対応点であって、視差調整用の複数の対応点を検出する対応点検出ステップと、
    前記検出された複数の対応点の視差を所定の視差量にするための画像ずらし量を算出する画像ずらし量算出ステップと、
    前記視差調整用の複数の対応点の立体パノラマ画像上の位置情報と前記算出した複数の画像ずらし量とを関連付けて記憶する記憶ステップと、
    前記取得した立体パノラマ画像を所定の倍率に拡大させ、該拡大させた立体パノラマ画像を自動的に又は手動指示入力により立体ディスプレイ上でスクロール再生させ、又は前記立体パノラマ画像を複数コマに分割した分割コマごとにコマ送り再生させる再生ステップと、
    前記再生ステップによる立体パノラマ画像のスクロール再生又はコマ送り再生時に、該立体パノラマ画像に対応して前記記憶手段に記憶された複数の画像ずらし量のうちから、前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行う視差調整ステップと、
    を含む立体パノラマ画像再生方法。
30. 前記対応点検出ステップは、前記パノラマ画像を短冊状のスリット画像に分割したスリット画像ごとに１組の対応点を検出する、請求項２９に記載の立体パノラマ画像再生方法。
31. 前記画像ずらし量算出ステップは、前記対応点検出ステップにより前記立体画像の中央付近から所要の対応点が検出されない場合には、予め設定された画像ずらし量を算出値とし、又は隣接する画像ずらし量を補間して画像ずらし量を算出する、請求項３０に記載の立体パノラマ画像再生方法。
32. 前記取得した立体パノラマ画像中に含まれる所要のオブジェクトを検出するオブジェクト検出ステップを更に含み、
    前記対応点検出ステップは、前記オブジェクト検出ステップにより検出されたオブジェクトごとに対応点を検出する、請求項２９に記載の立体パノラマ画像再生方法。
33. 前記画像ずらし量算出ステップにより算出された複数の画像ずらし量に基づいて各対応点の間の画素ずらし量を補間して連続した画素ずらし量を算出する補間演算ステップを更に含み、
    前記記憶ステップは、前記画像ずらし量算出ステップにより算出された複数の画像ずらし量とともに、前記補間演算ステップにより算出された画像ずらし量を記憶する、請求項２９から３２のいずれか１項に記載の立体パノラマ画像再生方法。
34. 前記所定の視差量はゼロである、請求項２９から３３のいずれか１項に記載の立体パノラマ画像再生方法。
35. 前記視差調整ステップは、前記立体ディスプレイの画面中央、又は画面中央に最も近い画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行う、請求項２８から３４のいずれか１項に記載の立体パノラマ画像再生方法。
36. 前記視差調整ステップは、前記再生ステップにおいて手動指示入力により立体パノラマ画像をスクロール再生する際に、手動指示入力によるスクロール開始時に表示されている前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量をスクロール停止まで選択するとともに、スクロール停止時に該スクロール停止時に表示されている前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行う、請求項２８から３５のいずれか１項に記載の立体パノラマ画像再生方法。
37. 前記再生ステップは、手動指示入力によるスクロール再生によるスクロール中は前記左画像及び右画像のうちのいずれか一方の画像のみを前記立体ディスプレイに表示させるとともに、スクロール停止時に立体画像を前記立体ディスプレイに表示させ、
    前記視差調整ステップは、前記スクロール停止時に該スクロール停止時に表示されている前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行う、請求項２８から３５のいずれか１項に記載の立体パノラマ画像再生方法。
38. 前記再生ステップは、前記立体パノラマ画像の全体を前記立体ディスプレイに表示させた後、該立体パノラマ画像を所定の倍率に拡大させてスクロール再生させ、又はコマ送り再生させる、請求項２８から３７のいずれか１項に記載の立体パノラマ画像再生方法。
39. 立体撮像装置により撮影された左画像及び右画像からなる立体画像であって、前記立体撮像装置を一定方向にスイングさせて連続的に撮影された複数の立体画像を取得する立体画像取得機能と、
    前記立体画像取得機能により取得された複数の立体画像のうちの左画像同士を合成するとともに、右画像同士を合成して左右のパノラマ画像からなる立体パノラマ画像を作成する立体パノラマ画像作成機能と、
    前記立体画像取得機能により取得された複数の立体画像の左画像と右画像の間、又は前記作成された立体パノラマ画像の左右のパノラマ画像の間で特徴がそれぞれ一致する対応点であって、視差調整用の複数の対応点を検出する対応点検出機能と、
    前記検出された複数の対応点の視差をそれぞれ所定の視差量にするための複数の画像ずらし量を算出する画像ずらし量算出機能と、
    前記作成された立体パノラマ画像を記録媒体に記録するとともに、前記視差調整用の複数の対応点の立体パノラマ画像上の位置情報と前記算出した複数の画像ずらし量とを関連付けて前記立体パノラマ画像の付属情報として前記記録媒体に記録する記録機能と、
    をコンピュータにより実現させる立体パノラマ画像作成プログラム。
40. 左右のパノラマ画像からなる立体パノラマ画像を取得する立体パノラマ画像取得機能と、
    前記取得した立体パノラマ画像の再生に先立って、該立体パノラマ画像から左右のパノラマ画像の間で特徴がそれぞれ一致する対応点であって、視差調整用の複数の対応点を検出する対応点検出機能と、
    前記検出された複数の対応点の視差を所定の視差量にするための画像ずらし量を算出する画像ずらし量算出機能と、
    前記視差調整用の複数の対応点の立体パノラマ画像上の位置情報と前記算出した複数の画像ずらし量とを関連付けて記憶する記憶機能と、
    前記取得した立体パノラマ画像を所定の倍率に拡大させ、該拡大させた立体パノラマ画像を自動的に又は手動指示入力により立体ディスプレイ上でスクロール再生させ、又は前記立体パノラマ画像を複数コマに分割した分割コマごとにコマ送り再生させる再生機能と、
    前記再生機能による立体パノラマ画像のスクロール再生又はコマ送り再生時に、該立体パノラマ画像に対応して前記記憶機能により記憶された複数の画像ずらし量のうちから、前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行う視差調整機能と、
    をコンピュータにより実現させる立体パノラマ画像再生プログラム。
41. コンピュータ読取可能な記録媒体であって、前記指令がプロセッサーによって読み取られて実行された場合に、前記プロセッサーが、
    立体撮像装置により撮影された左画像及び右画像からなる立体画像であって、前記立体撮像装置を一定方向にスイングさせて連続的に撮影された複数の立体画像を取得する立体画像取得ステップと、
    前記立体画像取得ステップにおいて取得された複数の立体画像のうちの左画像同士を合成するとともに、右画像同士を合成して左右のパノラマ画像からなる立体パノラマ画像を作成する立体パノラマ画像作成ステップと、
    前記立体画像取得ステップにおいて取得された複数の立体画像の左画像と右画像の間、又は前記作成された立体パノラマ画像の左右のパノラマ画像の間で特徴がそれぞれ一致する対応点であって、視差調整用の複数の対応点を検出する対応点検出ステップと、
    前記検出された複数の対応点の視差をそれぞれ所定の視差量にするための複数の画像ずらし量を算出する画像ずらし量算出ステップと、
    前記作成された立体パノラマ画像を記録媒体に記録するとともに、前記視差調整用の複数の対応点の立体パノラマ画像上の位置情報と前記算出した複数の画像ずらし量とを関連付けて前記立体パノラマ画像の付属情報として前記記録媒体に記録する記録ステップと、
    を実行するように構成された記録媒体。
42. コンピュータ読取可能な記録媒体であって、前記指令がプロセッサーによって読み取られて実行された場合に、前記プロセッサーが、
    左右のパノラマ画像からなる立体パノラマ画像を取得する立体パノラマ画像取得ステップと、
    前記取得した立体パノラマ画像の再生に先立って、該立体パノラマ画像から左右のパノラマ画像の間で特徴がそれぞれ一致する対応点であって、視差調整用の複数の対応点を検出する対応点検出ステップと、
    前記検出された複数の対応点の視差を所定の視差量にするための画像ずらし量を算出する画像ずらし量算出ステップと、
    前記視差調整用の複数の対応点の立体パノラマ画像上の位置情報と前記算出した複数の画像ずらし量とを関連付けて記憶する記憶ステップと、
    前記取得した立体パノラマ画像を所定の倍率に拡大させ、該拡大させた立体パノラマ画像を自動的に又は手動指示入力により立体ディスプレイ上でスクロール再生させ、又は前記立体パノラマ画像を複数コマに分割した分割コマごとにコマ送り再生させる再生ステップと、
    前記再生ステップにおける立体パノラマ画像のスクロール再生又はコマ送り再生時に、該立体パノラマ画像に対応して前記記憶ステップにおいて記憶された複数の画像ずらし量のうちから、前記立体ディスプレイの画面内の立体画像に対応する１つの画像ずらし量を選択し、該選択した画像ずらし量に基づいて前記立体画像の視差調整を行う視差調整ステップと、
    を実行するように構成された記録媒体。

Images