WO2013069047A1 - 画像生成装置および画像生成方法 - Google Patents

画像生成装置および画像生成方法 Download PDF

Info

Publication number
WO2013069047A1
WO2013069047A1 PCT/JP2011/006212 JP2011006212W WO2013069047A1 WO 2013069047 A1 WO2013069047 A1 WO 2013069047A1 JP 2011006212 W JP2011006212 W JP 2011006212W WO 2013069047 A1 WO2013069047 A1 WO 2013069047A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
composite image
images
divided
Prior art date
Application number
PCT/JP2011/006212
Other languages
English (en)
French (fr)
Inventor
平田 真一
京子 古村
山岸 建
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to PCT/JP2011/006212 priority Critical patent/WO2013069047A1/ja
Publication of WO2013069047A1 publication Critical patent/WO2013069047A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23245Operation mode switching of cameras, e.g. between still/video, sport/normal or high/low resolution mode
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/02Still-picture cameras
    • G03B19/023Multi-image cameras
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23218Control of camera operation based on recognized objects
    • H04N5/23219Control of camera operation based on recognized objects where the recognized objects include parts of the human body, e.g. human faces, facial parts or facial expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23229Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor comprising further processing of the captured image without influencing the image pickup process
    • H04N5/23232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor comprising further processing of the captured image without influencing the image pickup process by using more than one image in order to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23238Control of image capture or reproduction to achieve a very large field of view, e.g. panorama

Abstract

 分割画像生成部20は、携帯機器に内蔵された前面カメラおよび背面カメラを用いて撮影された画像に、携帯機器の姿勢情報を関連づけた分割画像を生成する。パノラマ画像生成部30は、携帯機器の姿勢の異なる複数の分割画像を合成することにより、合成画像を生成する。撮影モード切替部94は、前面カメラにより撮影された半周の合成画像と背面カメラにより撮影された半周の合成画像とをつなぎ合わせて全周の合成画像を撮影する両面合成画像撮影モードと、前面カメラおよび背面カメラのそれぞれで全周の合成画像を撮影する片面合成画像撮影モードとを切り替える。

Description

画像生成装置および画像生成方法

 この発明は、画像生成装置および方法に関する。特に、合成画像を生成する装置および方法に関する。

 デジタルスチルカメラやデジタルビデオカメラが普及しており、撮影した静止画や動画をコンピュータに保存して閲覧、加工したり、ゲーム機やテレビジョン(TV)システムの画面に表示する機会が多くなっている。また、撮影した動画をインターネットの投稿サイトにアップロードし、他のユーザと動画を共有することも盛んである。

 デジタルカメラの中には、パノラマ画像の撮影が可能なものもあり、手軽に視野角の広いパノラマ画像を撮影することができるようになってきた。また、撮影方向を変えながら、デジタルカメラの撮影した複数の画像を貼り合わせることでパノラマ画像を生成するソフトウエアツールもよく利用されている。

 また、カメラ付きの携帯電話などの携帯機器にもパノラマ撮影モードやパノラマ画像を合成するアプリケーションが設けられ、携帯機器の傾きを変えながらカメラで撮影し、自動的にパノラマ画像に合成することができるものがある。

特開2011-76249号公報

 前面カメラと背面カメラを備えた携帯機器において両面カメラを用いてパノラマ撮影をすると、前面カメラに撮影者が意図せず写り込んだり、前面カメラと背面カメラの配置のずれからパノラマ画像に視差が生じることがあり、必ずしも両面カメラを用いたパノラマ撮影はユーザの意図通りにはいかないという問題があった。

 本発明はこうした課題に鑑みてなされたものであり、その目的は、両面カメラを用いて容易に合成画像を生成することのできる技術を提供することにある。

 上記課題を解決するために、本発明のある態様の画像生成装置は、携帯機器に内蔵された光軸の位置および向きの少なくとも一方が異なる複数のカメラを用いて撮影された画像に、前記携帯機器の姿勢情報を関連づけた分割画像を生成する分割画像生成部と、前記携帯機器の姿勢の異なる複数の分割画像を合成することにより、合成画像を生成する合成画像生成部と、複数のカメラの各々により撮影された合成画像をつなぎ合わせた一つの複眼合成画像を撮影する複眼合成画像撮影モードと、複数のカメラの各々で単眼合成画像を撮影する単眼合成画像撮影モードとを切り替える撮影モード切替部とを含む。前記合成画像生成部は、複眼合成画像撮影モードの場合、各カメラにより撮影された複数の分割画像を合成して単眼合成画像を生成し、各カメラによる単眼合成画像を互いにつなぎ合わせて複眼合成画像を生成する。

 本発明の別の態様は、画像生成方法である。この方法は、携帯機器に内蔵された光軸の位置および向きの少なくとも一方が異なる複数のカメラを用いて撮影された画像に、前記携帯機器の姿勢情報を関連づけた分割画像を生成する分割画像生成ステップと、前記携帯機器の姿勢の異なる複数の分割画像を合成することにより、合成画像を生成する合成画像生成ステップと、複数のカメラの各々により撮影された合成画像をつなぎ合わせた一つの複眼合成画像を撮影する複眼合成画像撮影モードと、複数のカメラの各々で単眼合成画像を撮影する単眼合成画像撮影モードとを切り替える撮影モード切替ステップとを含む。前記合成画像生成ステップは、複眼合成画像撮影モードの場合、各カメラにより撮影された複数の分割画像を合成して単眼合成画像を生成し、各カメラによる単眼合成画像を互いにつなぎ合わせて複眼合成画像を生成する。

 なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

 本発明によれば、両面カメラを用いて容易に合成画像を生成することができる。

図1(a)および図1(b)は、パノラマ撮影に用いられる携帯端末の外観図である。 携帯端末の傾きを説明する図である。 図3(a)および図3(b)は、携帯端末の方位を説明する図である。 図4(a)~(d)は、携帯端末の背面カメラを用いてパノラマ画像を撮影する場合の撮影方向を説明する図である。 図5(a)はカメラの方位角θ、図5(b)はカメラの仰角φを説明する図である。 図6(a)~(c)は、携帯端末の背面カメラの初期位置が方位角θの方向にある場合に撮影されるパノラマ画像を説明する図である。 図7(a)~(c)は、背面カメラの仰角φ=60°の場合に撮影されるパノラマ画像を説明する図である。 複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。 複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。 パノラマ画像生成装置の機能構成図である。 パノラマ画像の撮影の手順を説明するフローチャートである。 図10の撮影タイミング判定処理の詳細な手順を説明するフローチャートである。 図12(a)~図12(c)は、撮影ガイド部によるパノラマ撮影ガイドを説明する図である。 図13(a)および図13(b)は、分割画像とパノラマ画像の例を説明する図である。 撮影途中のパノラマ画像を説明する図である。 パノラマ撮影の撮影順序のガイド例を説明する図である。 シースルー型ヘッドマウントディスプレイの概略図である。 図17(a)および図17(b)は、シースルー型HMDのディスプレイの画面例を説明する図である。 別の実施の形態に係るパノラマ画像生成装置の機能構成図である。 別の実施の形態に係るパノラマ画像の撮影の手順を説明するフローチャートである。 図19の自己位置推定処理の詳細な手順を説明するフローチャートである。 図21(a)、(b)は、2つの隣接する分割画像間で検出されたコントロールポイントを示す図である。 2つの隣接する分割画像をコントロールポイントにもとづいてアライメントして合成する様子を示す図である。 カメラ位置のずれの調整を促すガイド例を説明する図である。 さらに別の実施の形態に係るパノラマ画像生成装置の機能構成図である。 さらに別の実施の形態に係るパノラマ画像の撮影の手順を説明するフローチャートである。 図26(a)~図26(c)は、注目領域が設定される撮影画像のフォーマットの例を説明する図である。 図27(a)~(f)は、ユーザがタッチパネル上で注目領域を設定する方法を説明する図である。 パノラマ画像に重ね合わせるαプレーンまたは専用レイヤーに設定される注目領域を説明する図である。 さらに別の実施の形態に係るパノラマ画像生成装置の機能構成図である。 図30(a)~(c)は、携帯端末の前面カメラと背面カメラの配置と視差を説明する図である。 図31(a)は、背面カメラにより撮影された円筒状の画像を説明する図であり、図31(b)は、前面カメラにより撮影された円筒状の画像を説明する図である。 図32(a)は、背面カメラで撮影される背面パノラマ画像を説明する図であり、図32(b)は、前面カメラで撮影される前面パノラマ画像を説明する図である。 背面カメラで撮影される背面パノラマ画像と前面カメラで撮影される前面パノラマ画像をつなぎ合わせた状態を示す図である。 前面カメラにより撮影された前面パノラマ画像と背面カメラにより撮影された背面パノラマ画像の例を説明する図である。 前面パノラマ画像と背面パノラマ画像の整合性が低い場合のガイド例を説明する図である。 さらに別の実施の形態に係るパノラマ画像の撮影の手順を説明するフローチャートである。 図36の両面カメラによるパノラマ撮影処理の詳細な手順を説明するフローチャートである。 光軸の位置および向きが異なる2つのカメラが搭載された携帯端末を説明する図である。 光軸の位置が異なる3つのカメラが搭載された携帯端末を説明する図である。 光軸の向きが異なる3つのカメラが搭載された携帯端末を説明する図である。 図41(a)、(b)は、性能の異なる2つのカメラが搭載された携帯端末を説明する図である。 図42(a)~(c)は、携帯端末に搭載されるカメラの個数と向きのバリエーションを説明する図である。 図43は、4つのカメラが搭載された携帯端末を説明する図である。 図44(a)、(b)は、向きを調整できる可動カメラが搭載された携帯端末を説明する図である。

 (実施の形態1)
 図1(a)および図1(b)は、パノラマ撮影に用いられる携帯端末200の外観図である。携帯端末200は、カメラ210、212とディスプレイ240を有し、各種のアプリケーションを実行することができる。携帯端末200は、通信機能を有してもよい。

 図1(a)は、携帯端末200の前面を示す。携帯端末200の前面には前面(フロント)カメラ210とディスプレイ240が設けられている。ユーザは、たとえば前面カメラ210を用いて自分の顔を撮影し、ディスプレイ240に表示したり、通信相手に動画または静止画として送信することができる。ディスプレイ240はタッチパネルを備えてもよい。ユーザはディスプレイ240の画面を見ながら、タッチパネルに指で直接触れることで画面に対する操作を入力することができる。

 図1(b)は、携帯端末200の背面を示す。携帯端末200の背面には背面(リア)カメラ212が設けられている。ユーザは、たとえば背面カメラ212を用いて景色や友人などを撮影し、ディスプレイ240に表示したり、通信相手に動画または静止画として送信することができる。携帯端末200の背面にもタッチパネルが設けられてもよい。これにより、ユーザは、携帯端末200を保持して前面のディスプレイ240を見ながら、背面のタッチパネルに指で触れることで所定の操作を入力することもできる。

 なお、携帯端末200の前面カメラ210はオプションであり、背面カメラ212だけが設けられてもよい。

 携帯端末200は、3軸ジャイロ(角速度)センサ、3軸加速度センサ、および3軸地磁気センサの少なくとも一つを有し、携帯端末200の傾きを3軸で検出して、姿勢情報を取得することができる。また、3軸地磁気センサにより、地磁気ベクトルを3軸で検出して、方位情報を取得することができる。さらに、携帯端末200は、オプションとしてGPS(Global Positioning System)受信器を有してもよく、GPSから位置情報を取得することができる。また、携帯端末200は、無線通信の送受信機を有し、無線基地局から位置情報を取得してもよい。

 ここでは、パノラマ撮影に用いられる携帯機器の一例として、携帯端末200を説明するが、パノラマ撮影に用いられる携帯機器は、3軸ジャイロセンサ、3軸加速度センサ、および3軸地磁気センサの少なくとも一つを備えた、静止画または動画を撮影可能なデジタルカメラであってもよい。あるいは、パノラマ撮影に用いられる携帯機器は、ゲーム機や携帯電話であってもよい。

 図2は、携帯端末200の傾きを説明する図である。携帯端末200のディスプレイ面をXZ平面に置き、ディスプレイ面に垂直な方向をY軸としたとき、X軸周りの回転がチルト、Y軸周りの回転がロール、Z軸周りの回転がパンである。携帯端末200には3軸ジャイロセンサ、3軸加速度センサ、および3軸地磁気センサの少なくとも一つが搭載されており、携帯端末200のチルト、ロール、パンを検出して、携帯端末200の傾きを3軸で求めることができる。これにより、ユーザが携帯端末200を持っているときの携帯端末200の姿勢情報を取得することができる。また、ジャイロセンサおよび/または加速度センサにより、携帯端末200の移動方向や移動速度を検出することもできる。

 図3(a)および図3(b)は、携帯端末200の方位を説明する図である。携帯端末200には3軸地磁気センサが搭載されており、図3(a)に示すように、3軸成分をもつ地磁気ベクトルFを検出することができる。携帯端末200には既に述べた通り、3軸ジャイロセンサおよび/または3軸加速度センサが搭載されているから、重力ベクトルVを検出することもできる。

 図3(b)は、地磁気ベクトルFと重力ベクトルVから方位ベクトルHを求める方法を説明する図である。重力ベクトルVを垂線とする水平面260に地磁気ベクトルFを射影すると、方位ベクトルHが得られる。方位ベクトルHは地磁気の水平成分であり、絶対方位を与える。このように、携帯端末200がどのような傾きにあっても、3軸ジャイロセンサおよび/または3軸加速度センサにより検出される重力ベクトルVと、3軸地磁気センサにより検出される地磁気ベクトルFとを用いて、東西南北の絶対方位を検出することができる。

 さらに、携帯端末200がGPSセンサを搭載する場合は、緯度・経度といった位置情報を取得することもできる。

 携帯端末200の姿勢情報と方位情報を用いれば、携帯端末200の傾きを変えながら携帯端末200のカメラで撮影した画像をステッチ(縫い合わせ)して全天球パノラマ画像を生成することができる。ステッチ方法は、パンチルトカメラによる全天球パノラマ画像の生成方法と同様である。3軸ジャイロセンサおよび/または3軸加速度センサによる姿勢情報を用いれば、カメラのパン角、チルト角を得ることができる。さらに、3軸地磁気センサによる方位情報を用いれば、カメラのパン角を絶対的な方位角に対応づけることができる。これにより、パンチルトカメラのような高価な機器がなくても、携帯端末200のカメラによってパノラマ撮影が可能になる。

 図4(a)~(d)は、携帯端末200の背面カメラ212を用いてパノラマ画像を撮影する場合の撮影方向を説明する図である。携帯端末200の前面カメラ210を用いてパノラマ画像を撮影することもでき、場合によっては、前面カメラ210と背面カメラ212の両方を用いてパノラマ画像を撮影することもできるが、ここでは説明を簡単にするため、背面カメラ212を用いてパノラマ画像を撮影する場合を説明する。

 図4(d)に示すように、ユーザは携帯端末200を自由に傾けて背面カメラ212で撮影する。携帯端末200をZ軸周りに回転させるとカメラのパン角が変わり、X軸周りに回転させるとカメラのチルト角が変わり、Y軸周りに回転させるとカメラのロール角が変わる。ここでZ軸は鉛直軸(重力方向軸)である。

 図4(a)は、携帯端末200の上面図であり、携帯端末200の背面カメラ212の初期方向(Y軸方向)をパン角0°とし、Z軸の周りに任意に(一例として、-180°~+180°の範囲で)背面カメラ212のパン角を変えることができる。

 図4(b)は、携帯端末200の正面図であり、ユーザが携帯端末200の横長側面を水平に保持した状態をロール角0°とし、Y軸の周りに任意に(一例として、-180°~+180°の範囲で)背面カメラ212のロール角を変えることができる。

 図4(c)は、携帯端末200の側面図であり、携帯端末200の背面を地面と垂直に保持した状態をチルト角0°とし、X軸の周りに任意に(一例として、-90°~+90°の範囲で)背面カメラ212のチルト角を変えることができる。

 図4(d)の携帯端末200の背面カメラ212により撮影されるパノラマ画像に撮影方位に関する情報を付与するためには、携帯端末200の背面カメラ212が撮影時にどの方位に向いていたかを記録しておく必要がある。そのために、携帯端末200に搭載された3軸ジャイロセンサおよび/または3軸加速度センサと、3軸地磁気センサとが用いられる。

 図5(a)は携帯端末200の背面カメラ212の方位角θ、図5(b)は携帯端末200の背面カメラ212の仰角φを説明する図である。図5(a)は携帯端末200の上面図であり、背面カメラ212は撮影の初期位置において、真北から東へ方位角θだけずれた方向220を向いており、この方向がパン角0°に相当する。すなわちパン角の基準方向220の方位角はθである。パノラマ画像を撮影するとき、この方位角θの基準方向220に対して一例として-180°~+180°の範囲でパン角を変えながら、被写体をパノラマ撮影する。

 図5(b)は携帯端末200の側面図であり、仰角φは、X軸周りに背面カメラ212を回転させた場合に、チルト0°の方向、すなわちY軸方向に対して上方向を正と定義する角度である。通常、背面カメラ212を水平ポジションに設定して撮影するので仰角φ=0°であるが、全天球のパノラマ画像を撮影するには、カメラをチルトさせて仰角φを変えて被写体を撮影する必要がある。

 図6(a)~(c)は、携帯端末200の背面カメラ212の初期位置が方位角θの方向にある場合に撮影されるパノラマ画像を説明する図である。

 図6(a)の上面図に示すように、初期位置において背面カメラ212は方位角θの方向220を向いており、図6(b)の側面図に示すように、背面カメラ212の仰角φ=0°である。仰角φ=0°に保ちながら、基準方向220に対して背面カメラ212のパン角を-180°から+180°の範囲で変化させながら、仰角φ=0°における全方位のパノラマ画像を撮影する。図6(c)は、このようにして撮影されたパノラマ画像300を示す。パノラマ画像300の中心はパン角0°であり、パノラマ画像300の左半分はパン角を0°から-180°まで変えて撮影された画像であり、右半分はパン角を0°から180°まで変えて撮影された画像である。

 パノラマ画像300のパン角0°の中心位置は、真北から方位角θだけ東にずれているから、北(N)、南(S)、東(E)、西(W)の位置は点線で示す箇所になる。パノラマ画像300は、撮影方位に関する情報として、パン角0°の中心位置の方位角θをもってさえいれば、北(N)、南(S)、東(E)、西(W)のピクセル位置は、方位角θのずれを考慮して計算で求めることができる。あるいは、方位角θの代わりに、北(N)、南(S)、東(E)、西(W)のピクセル位置の座標値を撮影方位に関する情報としてもうようにしてもよい。

 全天球のパノラマ画像を得るためには、背面カメラ212の仰角を変えて撮影する必要がある。たとえば、背面カメラ212の画角が60°であるとすると、原理的には背面カメラ212を上下に±60°チルトさせた上で、パン角を-180°~180°の範囲で変えながら同様の撮影を行えば、全天球のパノラマ画像を得ることができる。

 図7(a)~(c)は、背面カメラ212の仰角φ=60°の場合に撮影されるパノラマ画像を説明する図である。図7(a)の上面図に示すように、初期位置において背面カメラ212は方位角θの方向220を向いており、図7(b)の側面図に示すように、背面カメラ212の仰角φ=60°である。仰角φ=60°に保ちながら、基準方向220に対して背面カメラ212のパン角を-180°から+180°の範囲で変化させながら、図7(c)に示すような、仰角φ=60°におけるパノラマ画像302を撮影する。

 同様にして、背面カメラ212の仰角をφ=-60°に保ちながら、パン角を-180°から+180°の範囲で変化させながら、仰角φ=-60°におけるパノラマ画像を撮影する。仰角φ=0°、60°、-60°のパノラマ画像を組み合わせれば、全天球パノラマ画像が得られる。もっとも、実装上は、画角の境界部分で画像を貼り合わせる際にレンズの歪みから生じる不整合を補正するために、境界付近をだぶらせて撮影する方法を採ることが多い。

 このようにして得られた全天球パノラマ画像には、方位角および仰角の情報が付与されており、その情報にもとづいてパノラマ画像の任意のピクセルについて方位と仰角を特定可能である。また、パノラマ画像には撮影場所の位置情報としてGPSにより測定された緯度・経度情報を付与してもよい。パノラマ画像に付与すべき付加情報は、一例として、Exif(Exchangeable Image File Format)と呼ばれる画像ファイルの規格にしたがって記録してもよい。撮影場所の地名はファイル名の一部に記録し、撮影日時、撮影場所の緯度・経度、高度、方位角などをExif形式のデータとして記録することができる。なお、仰角は現時点でのExif形式では定義されていないため、拡張データとして記録している。

 図8Aおよび図8Bは、複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。

 図8Aの例では、背面カメラ212をチルト(またはパン)させながら撮影された7枚の画像341~347を円筒にマッピングした後、つなぎ合わせて円筒状の画像340を作成する。画像をつなぎ合わせるとき、画像の境界付近をオーバーラップさせる。

 図8Bに示すように、背面カメラ212をパン(またはチルト)させて撮影することで、図8Aで示した円筒状の画像がパン(またはチルト)方向に複数得られる。これらの円筒状の画像340a~340fを画像の境界付近をオーバーラップさせて合成することで、全方位のパノラマ画像360が最終的に得られる。

 図9は、パノラマ画像生成装置100の機能構成図である。パノラマ画像生成装置100機能構成の一部または全部は、携帯端末200のハードウェア、ソフトウェアまたはその組み合わせによって実装することができる。これらの機能構成の一部がサーバに実装され、一部がクライアントに実装され、ネットワークを介したサーバ-クライアントシステムとして実装されてもよい。

 3軸ジャイロセンサ62は、携帯端末200のX軸、Y軸、Z軸の3方向の角速度を検出し、姿勢検出部60に与える。3軸加速度センサ64は、携帯端末200のX軸、Y軸、Z軸の3方向の加速度を検出し、姿勢検出部60に与える。姿勢検出部60は、3軸ジャイロセンサ62および/または3軸加速度センサ64の検出結果を用いて、携帯端末200の傾きの3軸成分、すなわち、チルト角、ロール角、およびパン角を検出する。姿勢検出部60は、検出された携帯端末200のチルト角、ロール角、およびパン角を姿勢情報としてパン角・仰角算出部70に与える。

 携帯端末200には3軸ジャイロセンサ62と3軸加速度センサ64はいずれか一方だけを搭載してもよいが、両方を搭載すれば、それぞれの短所を違いに補うことで姿勢情報の検出精度を高めることができる。3軸ジャイロセンサ62は、運動中でも計測できるが、ドリフト誤差が溜まっていくという短所がある。3軸加速度センサ64は、静止時には重力加速度から姿勢角を検出できるが、運動中は誤差が生じる。

 そこで、姿勢検出部60は、たとえば、3軸ジャイロセンサ62と3軸加速度センサ64の出力の重み付き平均を取ることで検出精度を向上させる。重み付け平均を取るとき、運動中は、3軸加速度センサ64の検出成分よりも3軸ジャイロセンサ62の検出成分に対する重みを増やす。一方、ほぼ静止していると見なせるときは3軸ジャイロセンサ62の検出成分よりも3軸加速度センサ64の検出成分に対する重みを増やす。これによって、静止時には3軸ジャイロセンサ62によるヨー・ドリフトが3軸加速度センサ64により出力により補正され、運動中は、3軸加速度センサ64による出力よりも3軸ジャイロセンサ62による出力をより信頼することでより正確な姿勢情報を検出することができる。

 別の方法として、姿勢検出部60は、3軸地磁気センサ68の検出結果を用いて、携帯端末200の傾きの3軸成分を検出することもできる。3軸地磁気センサ68によって地磁気ベクトルを追尾し、携帯端末200のX軸、Y軸、Z軸の各軸周りの回転を検出すれば、携帯端末200の傾きの3軸成分、すなわち、チルト角、ロール角、およびパン角を検出することができる。携帯端末200に搭載された3軸地磁気センサ68が傾くと、検出される地磁気ベクトルの向きが変化する。観測地点が大きく変化しなければ、地磁気ベクトルは一定方向を指すから、携帯端末200の姿勢の初期位置からの変化を検出することができる。3軸加速度センサ64を併用すれば、鉛直方向を検出することができるから初期姿勢も検知することができる。

 3軸地磁気センサ68により検出される3次元地磁気ベクトルの単位時間当たりの回転角を測定すれば、角速度が求まるので、3軸地磁気センサ68はジャイロセンサの代わりにもなる。これは磁気ジャイロ機能と呼ばれる。また初期位置からの変化角を求めれば、傾きを検出できるから、3軸地磁気センサ68は3軸姿勢センサとして用いることができる。もっとも、地磁気ベクトルがパン軸またはチルト軸と一致する場合は、その軸周りの回転角は求めることができない。

 3軸地磁気センサ68に3軸ジャイロセンサ62または3軸加速度センサ64を組み合わせて併用すれば、方位と姿勢の両方を高い精度で測定することができる。

 以上、述べたように、姿勢検出部60は、3軸ジャイロセンサ62のみ、3軸加速度センサ64のみ、3軸地磁気センサ68のみ、3軸ジャイロセンサ62と3軸加速度センサ64の組み合わせ、3軸地磁気センサ68と3軸ジャイロセンサ62の組み合わせ、3軸地磁気センサ68と3軸加速度センサ64の組み合わせ、あるいは、3軸ジャイロセンサ62と3軸加速度センサ64と3軸地磁気センサ68の組み合わせのいずれによってでも携帯端末200の傾きの3軸成分を求めることができる。

 3軸地磁気センサ68は、地磁気ベクトルのX軸、Y軸、Z軸方向の成分を検出し、方位検出部66に与える。方位検出部66は、3軸ジャイロセンサ62または3軸加速度センサ64が検出する重力ベクトルと、3軸地磁気センサ68が検出する地磁気ベクトルにもとづいて、地磁気ベクトルの水平成分である方位ベクトルを求め、方位ベクトルの各成分を方位情報としてパン角・仰角算出部70に与える。

 パン角・仰角算出部70は、姿勢検出部60から与えられた携帯端末200の姿勢情報にもとづいて、携帯端末200のカメラの撮影方向を示すパン角と仰角とを求め、分割画像生成部20に与える。パン角・仰角算出部70は、方位検出部66から方位情報が与えられる場合は、カメラのパン角を絶対方位に対応づけることができる。

 GPS受信器74はGPSから緯度・経度、高度、時刻情報を受信し、位置検出部72に与える。位置検出部72は緯度・経度情報を分割画像生成部20に与える。GPS受信器74の搭載はオプションである。

 撮影部10は、前面カメラ210および/または背面カメラ212を制御して被写体を撮影し、フレームメモリ12に撮影画像を記録する。

 撮影タイミング判定部14は、撮影部10による適切な撮影タイミングを判定し、撮影部10にシャッターを切るタイミングを指示する。撮影タイミング判定部14は、3軸ジャイロセンサ62および/または3軸加速度センサ64のセンサ出力にもとづいてカメラの動きの有無を判定する。また、撮影タイミング判定部14は、撮影部10により撮影された動画のフレーム間差分を検出し、動いている被写体が存在するかどうかを判定する。

 撮影タイミング判定部14は、自動撮影モードの場合、カメラの動きがなく、かつ動いている被写体が存在しないと判定されたタイミングで撮影部10に撮影を指示する。撮影タイミング判定部14は、半自動撮影モードの場合、動体検出は省略し、カメラの動きがないと判定されたタイミングで撮影部10に撮影を指示する。撮影タイミング判定部14は、手動撮影モードの場合、撮影部10に撮影タイミングを指示しないでユーザにシャッターを切らせる。

 分割画像生成部20は、フレームメモリ12に格納された撮影画像に対してパン角・仰角算出部70から供給されるカメラのパン角(または絶対方位角)と仰角を関連づけて分割画像記憶部22に分割画像として格納する。位置検出部72から位置情報が供給される場合は、分割画像生成部20は、さらに位置情報を撮影画像に関連づける。

 パノラマ画像生成部30は、分割画像記憶部22に格納された複数の分割画像をステッチしてパノラマ画像を合成し、パノラマ画像記憶部32に格納する。

 表示部40は、パノラマ撮影の際、分割画像記憶部22からパノラマ画像に合成される前の撮影済みの複数の分割画像を読み出して、ディスプレイ240に表示する。これにより、ユーザはパノラマ画像として完成させるためにまだ撮影されていない領域があることをディスプレイ240で確認することがえきる。

 表示部40は、また、パノラマ画像記憶部32から合成されたパノラマ画像を読み出して、ディスプレイ240に表示する。通信部80は、完成したパノラマ画像を通信相手に送信したり、サーバにアップロードする。

 未撮影領域判定部24は、分割画像記憶部22に格納された撮影済みの分割画像のパン角・仰角の情報にもとづいて、パノラマ画像を完成するにはまだ足りない分割画像の領域を判定する。未撮影領域判定部24は、直前に撮影された分割画像に隣接する未撮影の分割画像の領域を特定する情報をユーザインタフェース部50の撮影ガイド部52に供給する。

 ユーザインタフェース部50の撮影ガイド部52は、未撮影領域判定部24により指定された未撮影の分割画像の領域を次に撮影するようにユーザに案内するガイドを生成し、表示部40にガイドを表示させる。

 図10は、パノラマ画像の撮影の手順を説明するフローチャートである。

 撮影タイミング判定部14は、撮影タイミング判定処理を実行する(S10)。撮影部10は、撮影タイミング判定部14により指示された撮影タイミングまたはユーザが指示する撮影タイミングで撮影し、撮影された画像をフレームメモリ12に記録する(S12)。

 姿勢検出部60は、携帯端末200の姿勢情報、すなわち、チルト角、ロール角、およびパン角を取得する(S14)。

 分割画像生成部20は、携帯端末200の姿勢情報を撮影画像に関連づけて分割画像として分割画像記憶部22に保存する(S16)。携帯端末200の姿勢情報を背面カメラ212のパン角および仰角に変換して撮影画像に関連づけてもよい。いずれの場合でも、複数の分割画像をステッチすればパノラマ画像を合成することができる。携帯端末200の姿勢情報または背面カメラ212のパン角・仰角の情報にもとづいて、分割画像をつなぎ合わせればよい。

 未撮影領域判定部24は、分割画像記憶部22に記憶された撮影済みの複数の分割画像の姿勢情報またはパン角・仰角の情報から、最終的なパノラマ画像にするには足りない未撮影の領域があるかどうかを判定する(S18)。未撮影領域がなければ、撮影を終了する(S18のN)。

 未撮影領域がある場合(S18のY)、撮影ガイド部52は、直近に撮影された分割画像に隣接する未撮影の分割画像を次に撮影するようにユーザを導くために画面に矢印を表示したり、音声ガイドを出したりする(S20)。

 図11は、撮影タイミング判定部14によるステップS10の撮影タイミング判定処理の詳細な手順を説明するフローチャートである。

 撮影モードが、自動、半自動、手動のいずれであるかを判定する(S30)。手動撮影モードの場合は、ユーザがシャッターを切って撮影タイミングを撮影部10に指示する(S40)。

 自動撮影モードの場合、3軸ジャイロセンサ62および3軸加速度センサ64のセンサ出力にもとづいてカメラの動きを検出する(S32)。ここで、「カメラの動き」とは、撮影アングル変更時のカメラの振動や手振れを含む。3軸ジャイロセンサ62により検出された傾きデータの時間変動が閾値TA未満であり、かつ、3軸加速度センサ64により検出された傾きデータの時間変動が閾値TB未満である場合、カメラの動きがないと判定し(S32のN)、ステップS34に進む。それ以外の場合、カメラの動きがあると判定し(S32のY)、カメラの動きがなくなるまで待つ。

 次に、動体検出を行う(S34)。フレーム間の絶対差分が閾値TC未満である場合、画像には動いている被写体が写っていないと判定し(S34のN)、撮影タイミング判定部14は、この時点を撮影タイミングとして撮影部10に指示する(S38)。フレーム間の絶対差分が閾値TCを超える場合(S34のY)、ステップS32のカメラの動き検出、ステップS34の動体検出を繰り返す。

 ステップS34の動体検出処理では、遠景で歩いている人物などの動体は許容するが、近景の動体は許容しないようにすることが好ましい。近景に動体が写っていると、パノラマ画像の合成に不都合が生じるからである。そこで、フレーム間差分により動きが検出される領域が所定のサイズよりも大きい場合に、動体が写っていると判定し、そうでない場合は動体は写っていないと判定してもよい。

 動体が検出された場合、ユーザに撮影許可を求めてもよい。たとえば、「何かが動いています。このまま撮影を続ける場合は、決定ボタンを押してください。」などというメッセージを表示するか音声で出力し、ユーザが撮影指示をした場合は、動体が検出された場合でも撮影を行ってもよい。ユーザが撮影を許可しない場合は、動体が検出されなくなるのを待ってから撮影を行う。

 半自動撮影モードの場合、撮影タイミング判定部14は、ステップS32のカメラの動き検出を行うが、ステップS34の動体検出はスキップする。撮影タイミング判定部14は、カメラの動きがないと判定された時点を撮影タイミングとして撮影部10に指示する(S38)。

 図12(a)~図12(c)は、撮影ガイド部52によるパノラマ撮影ガイドを説明する図である。

 パノラマ画像360は、図8Aおよび図8Bで示したように扇形状の分割画像を重ね合わせたものであるが、ここでは、説明の簡単のため、全天球をカメラの画角に合わせて簡易的に格子状のマス目に分割し、分割画像をマス目で表す。

 図12(a)は、矢印で示すように、カメラの仰角を一定に保ったまま、パン角を約-180°から約+180°の範囲で変化させて分割画像を撮影することを、仰角を変えながら繰り返すことで全天球の画像を撮影する方法を示す。この撮影方法では、3軸ジャイロセンサ62のヨー・ドリフトが累積していくため、撮影方向に誤差が溜まる。

 これに対して、図12(b)は、パン角を一定に保ったまま、仰角を約-90°から約+90°の範囲で変化させて分割画像を撮影することを、パン角を変えながら繰り返すことで全天球の画像を撮影する方法を示す。矢印で示すように、あるパン角のもとで、仰角を約-90°から約+90°に変化させて分割画像を撮影すると、次のパン角では、仰角を約+90°から約-90°に変化させて分割画像を撮影する。これにより、パン角の変わり目で撮影領域の連続性をもたせることができる。図12(b)の矢印の順序で撮影すれば、パン角は一回転するだけであるから、3軸ジャイロセンサ62のドリフト誤差が溜まることがなく、正確な撮影方向を検出することができる。

 前面カメラ210と背面カメラ212の両方のカメラを利用する場合は、図12(c)に矢印で示すように、前面カメラ210が仰角を約-90°から約+90°に変化させながら分割画像を撮影する間、背面カメラ212は仰角を約+90°から約-90°に変化させながらパン角が180°反対の分割画像を撮影することができ、半分の時間でパノラマ撮影を終えることができる。

 図13(a)および図13(b)は、分割画像とパノラマ画像の例を説明する図である。ここでも簡単のため、分割画像は格子状であるとして説明する。図13(a)は格子状の分割画像の例であり、図13(b)は分割画像をステッチして合成されたパノラマ画像の例である。

 図14は、撮影途中のパノラマ画像を説明する図である。撮影済みの分割画像が表示されており、白色の格子は未撮影の分割画像の領域である。次に撮影する分割画像として、未撮影の領域の中から、直近に撮影された分割画像270に隣接する分割画像の領域271が選択される。図12(b)で説明したように、撮影する分割画像の順序は、パン角を一定に保ちながら、仰角を変えて撮影するのが望ましいから、分割画像の撮影順序のガイドは矢印で示すようになる。

 図15は、パノラマ撮影の撮影順序のガイド例を説明する図である。ディスプレイ240の画面の右下には、図14の撮影途中のパノラマ画像を表示し、矢印により次に撮影されるべき分割画像の領域を示す。これにより、ユーザは現在どこまでパノラマ画像が撮影されているかを知ることができる。

 ディスプレイ240の画面の左には、現在カメラで撮影されている画像272が表示され、ファインダーとしての役割を果たす。次に撮影すべき領域を大きな矢印273で示す。撮影タイミングは自動または手動で指定される。撮影が終わると、ユーザは矢印の方向にカメラをパンまたはチルトさせて、次の分割画像の撮影に入る。

 3軸ジャイロセンサ62および/または3軸加速度センサ64による移動方向と移動速度の検出結果にもとづき、画面には、「カメラを矢印の方向にゆっくり動かしてください」などのように、メッセージが表示される。メッセージは音声で出力してもよい。カメラの移動速度が速すぎると、メッセージや矢印の色を変えて警告してもよい。また、カメラの位置が動いてしまうと、カメラの回転中心がずれて誤差が発生する。後述の実施の形態2で説明するように自己位置推定によってカメラの位置の変動が検出される場合は、「カメラの回転中心がずれました!」などの警告メッセージが表示される。

 図16は、シースルー型ヘッドマウントディスプレイ(HMD)250の概略図である。これは、図9で示した機能構成をシースルー型HMD250に実装した適用例である。シースルー型HMD250は、カメラ、3軸ジャイロセンサおよび/または3軸加速度センサ、3軸地磁気センサ、およびディスプレイ252を有し、ユーザはシースルー型HMD250を眼鏡のようにかけて、ディスプレイ252を透過して見える外界と、ディスプレイ252に表示される画像とを見ながら、パノラマ撮影を行う。

 図17(a)および図17(b)は、シースルー型HMD250のディスプレイ252の画面例を説明する図である。図17(a)に示すように、ディスプレイ252の中央には実線で表示される撮影領域254があり、撮影領域254が撮影され、カメラのパン角と仰角が対応づけられた分割画像として保存される。破線で表示されるガイド領域256は、次に撮影すべき領域である。ユーザが頭を左に回転させてガイド領域256の方向を向くように、左向きの矢印258が画面に表示される。

 図17(b)は、ユーザが頭を左に回転させたときのディスプレイ252の画面例である。実線で表示される撮影領域254と破線で示されるガイド領域256とが画面の中央に来ている。ユーザはディスプレイ252に表示された実線の四角形(撮影領域254)と破線の四角形(ガイド領域256)が一致するように頭を動かす。ガイド領域256と撮影領域254がほぼ重なったとき、自動的に撮影が行われ、分割画像が取得される。ディスプレイ252の片隅に、撮影済みの複数の分割画像を並べて表示して、パノラマ画像の撮影がどこまで進んだかをユーザが把握できるようにしてもよい。

 以上述べたように、本実施の形態のパノラマ画像生成装置によれば、3軸ジャイロセンサおよび/または3軸加速度センサを用いて、撮影画像をステッチすることにより、パノラマ画像を簡単に合成することができる。さらに3軸地磁気センサを用いれば、パノラマ画像に絶対方位を関連づけることができる。これにより、雲台付きの高価なパンチルトカメラを用いなくても、カメラ付きの携帯端末200により安価で簡単にパノラマ撮影ができる。

 従来のパノラマ画像の合成手法は、画像マッチングを用いているため、ステッチの際に画像の特徴点を対応づけることができない場合は、パノラマ画像の合成は難しかった。特に、空や白い壁など画像に特徴点がなく、対応付けができない被写体の場合、画像マッチングによるステッチは不可能であった。その点、本実施の形態のパノラマ画像生成装置によれば、画像に特徴点がなくても、3軸ジャイロセンサおよび/または3軸加速度センサからカメラのパン角と仰角を撮影画像に対応づけることができるため、全天球のパノラマ画像を正確に合成することができる。

 もっとも、3軸ジャイロセンサおよび/または3軸加速度センサによる姿勢検出には誤差が伴うため、最終的にパノラマ画像を合成するときは、画像マッチングも併用するとさらに画質の高いパノラマ画像を生成することができる。

 また、従来の画像マッチングによるパノラマ合成では画像処理に時間がかかるため、撮影しながらリアルタイムでパノラマ画像の未撮影領域を判定することは難しい。その点、本実施の形態のパノラマ画像生成装置によれば、画像マッチングを利用しなくても、3軸ジャイロセンサおよび/または3軸加速度センサから得られる姿勢情報をもとに撮影画像のステッチが可能であるから、リアルタイムで未撮影領域を検出して、次の撮影領域をガイドすることができる。また、3軸ジャイロセンサおよび/または3軸加速度センサにより検出される移動速度にもとづいて、携帯端末200をゆっくり動かすようにユーザにガイドすることもできる。

 従来は、携帯端末等のカメラをパン、チルトさせながらパノラマ画像を撮影しようとすると、カメラの動きや回転軸のずれから正確なパノラマ画像を生成するのは困難であった。しかし、本実施の形態のパノラマ画像生成装置によれば、3軸ジャイロセンサおよび/または3軸加速度センサによってカメラの動きを検出し、カメラの動きがないときに自動的にシャッターを切って撮影するため、携帯端末200によるパノラマ撮影であってもカメラの動きによる悪影響を抑えることができる。また、動体検出も合わせて行い、動体が検出されないタイミングで撮影を行うことで、動いている人物や物体が写っていない撮影画像を取得してパノラマ画像を生成することができる。

 (実施の形態2)
 図18は、実施の形態2に係るパノラマ画像生成装置100の機能構成図である。実施の形態2のパノラマ画像生成装置100は、上述の実施の形態1のパノラマ画像生成装置100の各構成の他、特徴点抽出部82、自己位置推定部84およびカメラ位置ずれ判定部86の構成をさらに含み、携帯端末200のカメラ位置を推定して、カメラ位置のずれをユーザに調整させる機能を有する。それ以外の構成と機能は、実施の形態1のパノラマ画像生成装置100と同じであるから、説明を省略する。

 特徴点抽出部82は、分割画像記憶部22に格納されたパン角またはチルト角の異なる複数の分割画像の内、隣接する分割画像の間で特徴点を抽出することにより、隣接する分割画像を対応付けるためのコントロールポイントを検出する。特徴点抽出部82は、隣接する分割画像の間で対応づけられた特徴点の情報を自己位置推定部84に供給する。また、特徴点抽出部82は、検出したコントロールポイントをパノラマ画像生成部30に供給する。コントロールポイントは、隣接する分割画像の間で対応づけられた特徴点のすべてもしくはその一部である。

 図21(a),(b)は、2つの隣接する分割画像401、402間で検出されたコントロールポイントを示す図である。ここでは、9個のコントロールポイントが検出されている。

 図22は、2つの隣接する分割画像401、402をコントロールポイントにもとづいてアライメントして合成する様子を示す図である。パノラマ画像生成部30は、隣接する分割画像401、402の重複領域において、両画像のコントロールポイント(同図で丸印で示した)ができるだけ合うように、一方の分割画像401に対して他方の分割画像402を回転させて合成する。

 自己位置推定部84は、隣接する2枚の分割画像の特徴点の画像上の2次元座標の情報をもとに、特徴点の3次元座標とそれぞれの分割画像を撮影したカメラ位置の座標を同時に推定する。2枚の分割画像を撮影したときのカメラ位置はずれているため、2枚の分割画像は視点位置の異なる視差画像となっている。そのため、2枚の分割画像には視差という形で奥行き情報が含まれており、各特徴点についての満足すべき方程式を連立させて解くことにより、特徴点の3次元座標と各分割画像の視点の3次元座標(カメラ位置)とを同時に求めることができる。このように視点位置の異なる複数の視差画像をもとに被写体の3次元位置情報と視点位置とを同時に求める方法の一つに、SLAM(Simultaneous Localization and Mapping)と呼ばれる技術がある。

 SLAMは、センサから取得した情報をもとに、自己位置推定と環境地図作成を同時に行う技術であり、自律移動ロボットなどに応用されている。自己位置推定部84は、一例として、公知のSLAM技術を用いて被写体の特徴点の3次元位置とカメラの3次元位置とを推定するが、他の自己位置推定の技術を用いてもかまわない。SLAMは、たとえば次の論文に紹介されている。Andrew J. Davison, "Real-Time Simultaneous Localisation and Mapping with a Single Camera", ICCV 2003.

 自己位置推定部84は、推定された被写体の特徴点の3次元座標値とカメラ位置の3次元座標値の情報を分割画像生成部20に供給する。分割画像生成部20は、携帯端末200の姿勢情報、被写体の特徴点の3次元位置情報、およびカメラ位置の3次元位置情報を分割画像に関連づけて分割画像記憶部22に保存する。

 分割画像は被写体の3次元位置情報を備えているため、パノラマ画像生成部30が複数の分割画像を合成してパノラマ画像を合成すると、被写体の3次元位置情報を有する3次元パノラマ画像が得られる。3次元パノラマ画像を3次元座標上に展開すれば、被写体の簡易的な3次元モデルを生成することも可能である。また、被写体の奥行き情報が得られるため、ステレオパノラマ画像を生成することも可能になる。

 カメラ位置ずれ判定部86は、自己位置推定部84により推定されたカメラ位置が最初の位置(原点)からずれているかどうかを判定する。カメラ位置がずれていくと、合成されるパノラマ画像は正確なものにはならない。撮影ガイド部52は、自己位置推定部84により推定されたカメラ位置の3次元座標値をもとに、カメラ位置の移動軌跡をディスプレイに表示させることでユーザがパノラマ撮影時のカメラ位置を視認できるようにする。また、カメラ位置ずれ判定部86により、カメラ位置がずれていると判定された場合、撮影ガイド部52は、ユーザにカメラ位置を調整するようにガイドしたり、撮影をやり直すように指示する。

 もっとも、カメラ位置が多少ずれていても、カメラ位置を原点に戻すように分割画像を補正すれば、パノラマ画像を合成することができる。そこで、パノラマ画像生成部30は、分割画像を合成する際、分割画像に関連づけられた特徴点の3次元位置情報とカメラ位置の3次元位置情報を用いて、カメラ位置の原点からのずれがゼロに近づくように、分割画像の特徴点の3次元座標値を調整することで、分割画像を補正した上で、分割画像を合成してパノラマ画像を生成する。

 図19は、実施の形態2に係るパノラマ画像生成装置100によるパノラマ画像の撮影の手順を説明するフローチャートである。図19のステップS10、S12、S14、S18、およびS20の各処理は、それぞれ図10に示した実施の形態1に係るパノラマ画像生成装置100によるステップS10、S12、S14、S18、およびS20の各処理と同じであるから説明を省略する。

 ステップS14において、携帯端末200の姿勢情報、すなわち、チルト角、ロール角、およびパン角を取得した後、その情報を用いて、ステップS15において自己位置推定処理を行う。自己位置推定処理によって携帯端末200のカメラの位置情報が得られ、必要に応じてカメラ位置の調整が行われる。また、自己位置推定処理によって被写体の特徴点の3次元位置情報が得られる。

 ステップS17において、分割画像生成部20は、携帯端末200の姿勢情報と被写体の特徴点の3次元位置情報とカメラ位置の3次元位置情報を撮影画像に関連づけて分割画像として分割画像記憶部22に保存する。

 図20は、図19のステップS15の自己位置推定処理の詳細な手順を説明するフローチャートである。

 特徴点抽出部82は、隣り合う2枚の分割画像の重複領域において、撮影されたオブジェクトの特徴点を抽出し、マッチングを取る(S50)。自己位置推定部84は、SLAMを用いて、各分割画像を撮影したカメラの位置の3次元座標値と、オブジェクトの特徴点の3次元座標値とを推定する(S52)。

 カメラ位置ずれ判定部86は、撮影時のカメラ位置が最初の位置から所定の閾値を超えてずれているかどうかを判定する(S54)。カメラ位置のずれが閾値以内であれば(S54のN)、自己位置推定処理を終了する。ここで、遠景、近景のどちらを撮影しているかをユーザに入力させ、遠景であるか近景であるかによって、カメラ位置のずれを判定するための閾値を切り替えるようにしてもよい。遠景撮影の場合、近景撮影に比べると、カメラ位置のずれに対する許容範囲は大きい。そこで遠景撮影の場合の閾値は近景撮影の場合の閾値よりも大きく設定する。

 所定の閾値を超えるカメラ位置のずれが検出された場合(S54のY)、撮影ガイド部52にカメラ位置の調整を指示する。撮影ガイド部52は、ユーザにカメラ位置を修正するようにユーザに指示するか、すでに撮影された分割画像の一部または全部を無効にし、撮り直すようにユーザに指示し(S56)、ステップS10に戻る。

 図23は、カメラ位置のずれの調整を促すガイド例を説明する図である。撮影ガイド部52は、ディスプレイの画面の一部にパノラマ撮影時のカメラ位置を3次元表示する。最初のカメラ位置410aを原点にとり、カメラ位置の履歴410b、410c、410dを3次元座標系で表示する。

 ユーザは、ディスプレイに表示された現在のカメラ位置やカメラ位置の移動軌跡を見ることにより、カメラ位置が最初の位置からずれているかどうかを確認することができる。ディスプレイにカメラの3次元位置、携帯端末200の姿勢情報をグラフィカルに表示する以外に、音声やテキストでカメラ位置の移動方向を提示するようにしてもよい。また、携帯端末200を振動させることでカメラ位置がずれていることや、許容範囲を超えてずれたことをユーザに知らせるようにしてもよい。

 この3次元座標系において、原点を中心とする内側の球400は、カメラ位置のずれの第1閾値Th1に対応し、原点を中心とする外側の球402は、カメラ位置のずれの第2閾値Th2(>Th1)に対応する。第1閾値Th1は、補正しなくても分割画像をステッチしてパノラマ画像を生成することができる許容ずれ量の上限である。第2閾値Th2は、分割画像を補正すれば、補正後の分割画像をステッチしてパノラマ画像を生成することができる許容ずれ量の上限である。

 撮影開始時のカメラ位置をX0、n枚目の分割画像の撮影時のカメラ位置をXnとすると、|Xn-X0|<Th1のとき、そのカメラ位置で分割画像を撮影する。ここで、|Xn-X0|は、撮影開始時のカメラ位置X0からn枚目の分割画像撮影時のカメラ位置Xnまでの距離を示す。図23で言えば、現在のカメラ位置が内側の球400内にある場合は、そのカメラ位置で分割画像を撮影し、カメラ位置の修正指示は行わない。

 |Xn-X0|≧Th1であり、かつ、|Xn-X0|<Th2のとき、補正によりパノラマ画像の合成が可能であるから、そのカメラ位置で分割画像を撮影するが、ユーザには、カメラ位置がずれていることを通知し、カメラ位置の修正を促す。図23で言えば、現在のカメラ位置が内側の球400と外側の球402の間にある場合は、そのカメラ位置で分割画像を撮影するが、カメラ位置の修正指示を行う。このとき、パノラマ画像生成部30は、カメラ位置のずれにもとづいて分割画像を補正した上で合成することにより、パノラマ画像を生成する。

 |Xn-X0|≧Th2のとき、もはや補正してもパノラマ画像の合成が不可能であるため、そのカメラ位置では撮影は行わず、ユーザにカメラ位置の移動を促し、カメラ位置が撮影可能な範囲に戻れば、撮影を開始する。一定の時間を経過しても、カメラ位置が撮影可能な範囲に戻らなければ、それまでのパノラマ撮影はキャンセルし、ユーザにはパノラマ撮影のやり直しを指示する。

 撮影可能範囲を定める閾値Th1、Th2は、視点から被写体までの距離に応じて可変にすることがより好ましい。視点から被写体までの距離は、自己位置推定部84により推定された被写体の特徴点の3次元座標値とカメラ位置の3次元座標値から求めることができる。被写体が遠景であれば、カメラ位置のずれが大きくても被写体の画像上の位置ずれは大きくはないため、パノラマ画像を合成するときの誤差は小さい。しかし、近景であれば、少しのカメラ位置のずれによって被写体の画像上の位置ずれが大きくなるため、パノラマ画像を合成するときの誤差が大きい。そこで、遠景の場合の閾値Th1、Th2は、近景の場合の閾値Th1、Th2よりも大きく設定することができる。カメラ位置ずれ判定部86は、カメラ位置から被写体までの距離に応じて、閾値Th1、Th2を調整すればよい。

 上記の説明では、SLAMによってカメラ位置を推定したが、GPS受信器74により検出される位置情報を用いてカメラ位置を取得するようにしてもよい。

 以上述べたように、本実施の形態のパノラマ画像生成装置によれば、SLAMなどの技術を用いてカメラ位置と撮影された被写体の3次元位置を推定し、カメラ位置のずれをユーザに通知することができる。被写体までの距離に応じて、カメラ位置のずれが許容範囲内であるかどうかを判定し、カメラ位置のずれが許容範囲を超える場合、カメラ位置の移動をユーザに促すことができる。

 3軸ジャイロセンサ62や3軸加速度センサ64は携帯端末200の姿勢を検出できても、カメラ位置のずれを検出することは難しい。その点、本実施の形態では、カメラ位置がずれると、撮影された分割画像が視差が生じることを用いて、カメラ位置と被写体の3次元位置とを同時に推定することができるため、カメラ位置のずれを検出して、カメラ位置の調整をユーザに促したり、カメラ位置のずれにもとづいて画像を補正することができる。

 (実施の形態3)
 図24は、実施の形態3に係るパノラマ画像生成装置100の機能構成図である。本実施の形態のパノラマ画像生成装置100は、パノラマ撮影中に注目領域を設定する機能を有する。実施の形態1のパノラマ画像生成装置100と共通する構成については同じ符号を付して説明を省略する。

 POI/ROI設定部42は、注目領域設定部44、注目度設定部46、およびタグ設定部48を含み、撮影部10により撮影された画像に注目点POI(point of interest)または注目領域ROI(region of interest)を設定し、注目領域に注目度とタグを付与し、注目領域の座標情報、注目度、およびタグ情報を含む注目領域情報を分割画像生成部20に供給する。分割画像生成部20は、撮影画像に注目領域情報を関連づけて分割画像記憶部22に保存する。

 注目領域設定部44は、撮影部10の撮影者検出部90により指定される領域またはユーザインタフェース部50のタッチパネル入力部56により指定される領域を注目領域として設定する。注目度設定部46は、撮影部10の表情判定部92により指定される注目度を注目領域設定部44により設定された注目領域に対する注目度として設定する。タグ設定部48は、ユーザインタフェース部50の音声認識部54により指定されるテキストを注目領域設定部44により設定された注目領域に対するタグとして設定する。

 POI/ROI処理部58は、分割画像記憶部22から分割画像を、パノラマ画像記憶部32から合成されたパノラマ画像を読み出し、分割画像またはパノラマ画像に設定された注目領域に対して強調したり、ぼかしたり、ズームしたり、画質を異ならせるなどの画像処理を施す。注目領域に注目度が設定されている場合は、注目度に応じた画像処理を行う。たとえば注目度に応じて強調する度合いを変えたり、画質を変えるなどする。

 また、POI/ROI処理部58は、パノラマ画像を加工する際に注目領域を保護してもよい。たとえば、飛行船や人物などの人工オブジェクトをパノラマ画像に合成する場合、POI/ROI処理部58は、注目領域がそのような人工オブジェクトで隠れないように注目領域の背後に人工オブジェクトを配置したり、注目領域には人工オブジェクトを配置しないようにすることで、注目領域を保護する。

 表示部40は、POI/ROI処理部58により注目領域に対して画像処理が施された分割画像またはパノラマ画像を表示する。また、表示部40は、パノラマ画像を表示するとき、注目領域がディスプレイ240の画面の中央に来るようにパノラマ画像をスクロールさせて表示してもよい。

 また、表示部40は、一つのパノラマ画像から別のパノラマ画像に表示を切り替えるとき、切り替え後のパノラマ画像の注目領域がディスプレイ240の画面の中央に来るように、切り替え後のパノラマ画像をスクロールさせて表示してもよい。

 特に、第1のパノラマ画像の特定の方位に特定の建物などの対象物を示すマーカーが設定されており、そのマーカーを選択すると、その特定の対象物を写した第2のパノラマ画像に切り替えられるようにパノラマビューアーが構成されているとする。第2のパノラマ画像でもその特定の対象物が注目領域に設定されていることが多い。したがって、パノラマ画像を切り替える際、注目領域が常に画面の中央に来るように制御すれば、切り替え先のパノラマ画像においてもマーカーで指定された対象物を最初から見ることができる。たとえば、第1のパノラマ画像に大阪城が写っており、大阪城にマーカーが設定されている場合、マーカーを選択して第2のパノラマ画像に切り替えても、第2のパノラマ画像で大阪城を見ることができる。パノラマ画像は広範囲の景色を撮影したものであるから、パノラマ画像を切り替えると、方角を見失うことがあるが、切り替え後のパノラマ画像で注目領域を優先的に表示すればこのような問題を避けることができる。

 パノラマ画像に複数の注目領域/注目点が設定されている場合は、パノラマ画像をスクロールして表示する際、たとえば、自由領域、矩形領域の順に優先して注目領域を表示してもよい。また、注目領域の面積が大きい順に優先して表示したり、注目度の順に優先して表示してもよい。また、注目領域を注目点よりも優先して表示してもよい。また、第1のパノラマ画像のマーカーを指定してマーカーに関連づけられた第2のパノラマ画像に切り替える際、第1のパノラマ画像のマーカーの方角に近いものから順に注目領域/注目点を優先して表示してもよい。

 撮影部10は、撮影者検出部90と表情判定部92を含む。

 撮影者検出部90は、撮影部10により撮影された画像に撮影者が写り込んでいるかどうかを検出し、撮影者が写り込んでいる場合は、撮影者が写り込んだ領域を指定する情報をPOI/ROI設定部42の注目領域設定部44に供給する。撮影者検出部90は、撮影画像に大きく写っている人物を撮影者とみなすことで撮影者を検出することができる。注目領域設定部44は、撮影者が写り込んだ領域を注目領域に設定する。POI/ROI処理部58は、撮影者が写り込んだ領域をぼかす処理をしたり、周辺のテクスチャで埋め合わせて、撮影者が写り込んだ領域を消去する。

 パノラマ撮影では、携帯端末200をパンさせて撮影するとき、撮影者が写り込むことが多い。また、携帯端末200の背面カメラ212で正面を撮影しながら、前面カメラ210を用いて、180度反対側も同時に撮影する場合、前面カメラ210には撮影者が写り込むことが多い。このような場合、撮影者が写り込んだ領域を検出して、注目領域に設定することで意図しない撮影者の画像をパノラマ画像から消去することができる。また、意図的に撮影者を写している場合は、撮影者が写り込んだ領域を注目領域に設定しておき、POI/ROI処理部58がその注目領域を強調する画像処理を施したり、表示部40がパノラマ画像を表示する際、その注目領域がディスプレイの中心に表示されるようにパノラマ画像の表示位置を調整してもよい。

 表情判定部92は、背面カメラ212でパノラマ撮影中に前面カメラ210で撮影された撮影者の顔の表情を判定する。表情の判定には公知の表情認識技術を用いる。撮影者が微笑んでいたり、被写体を注視しているなど、パノラマ撮影時に肯定的な表情をしていると判定される場合、表情判定部92は、表情に応じて、たとえば、0~100の値の注目度を決め、注目度をPOI/ROI設定部42の注目度設定部46に供給する。注目度設定部46は、注目領域設定部44により既に注目領域が設定されている場合は、その注目領域に表情判定部92から与えられた注目度を設定し、注目領域が設定されていない場合は、撮影画像全体もしくは撮影画像の中央付近のオブジェクトを注目領域として扱い、注目度を設定する。POI/ROI処理部58は、撮影画像の注目領域に対して注目度に応じた処理を実行する。たとえば、注目度が高いほど画質を高くする。

 ユーザインタフェース部50は、音声認識部54とタッチパネル入力部56を含み、撮影画像に対してユーザが注目領域を設定したり、タグを設定することを支援する。

 音声認識部54は、携帯端末200に内蔵されたマイクからパノラマ撮影中のユーザの音声を取得して、音声認識処理により音声をテキストに変換し、テキストをタグ設定部48に与える。タグ設定部48は、テキストをタグとして注目領域に設定する。テキストに変換しないで音声のまま、タグを注目領域に設定してもよい。音量の大きさに応じて注目度を設定してもよい。注目領域が設定されていない場合は、撮影画像全体もしくは撮影画像の中央付近のオブジェクトを注目領域として扱い、タグを設定する。これにより、パノラマ撮影中にユーザは注目している被写体に名称などのタグ情報を付与することができる。

 タッチパネル入力部56は、ディスプレイ240に設けられたタッチパネル上でユーザから撮影画像の注目領域を指定する情報を受け取り、注目領域を指定する情報を注目領域設定部44に与える。

 図25は、実施の形態3に係るパノラマ画像生成装置100によるパノラマ画像の撮影の手順を説明するフローチャートである。

 撮影タイミング判定部14は、撮影タイミング判定処理を実行する(S60)。撮影部10は、撮影タイミング判定部14により指示された撮影タイミングまたはユーザが指示する撮影タイミングで撮影し、撮影された画像をフレームメモリ12に記録する(S62)。ステップS60、S62の処理は、図10に示した第1の実施の形態のパノラマ画像生成装置100によるステップS10、S12の処理と同じである。

 タッチパネル入力部56は、撮影画像が表示されたディスプレイ240のタッチパネルに対してユーザから注目領域を指定する入力があるかどうかを検出する(S64)。注目領域を指定するタッチパネル入力がある場合(S64のY)、注目領域設定部44は、撮影画像に注目領域を設定する(S66)。注目領域を指定するタッチパネル入力がない場合(S64のN)、ステップS68に進む。

 表情判定部92は、前面カメラ210の撮影画像に写った撮影者の表情を判定する(S68)。表情が笑顔など肯定的なものである場合(S68のY)、注目度設定部46は、表情の肯定的な度合いに応じて注目領域に注目度を設定する(S70)。注目領域が未設定の場合は、たとえば、撮影画像の中央にあるオブジェクトや撮影画像内で他のオブジェクトよりも大きな面積を占めるオブジェクトを注目領域に設定し、その注目領域に注目度を設定する。表情が笑顔など肯定的なものではない場合(S68のN)、ステップS72に進む。

 音声認識部54は、撮影中にユーザから音声入力があるかどうかを判定する(S72)。音声入力があった場合(S72のY)、音声認識部54は入力された音声を音声認識処理によってテキストに変換し、タグ設定部48はそのテキストをタグとして注目領域に設定する(S74)。注目領域が未設定の場合は、たとえば、撮影画像の中央にあるオブジェクトや撮影画像内で他のオブジェクトよりも大きな面積を占めるオブジェクトを注目領域に設定し、その注目領域にタグを設定する。音声入力がない場合(S72のN)、ステップS76に進む。

 姿勢検出部60は、携帯端末200の姿勢情報、すなわち、チルト角、ロール角、およびパン角を取得する(S76)。分割画像生成部20は、携帯端末200の姿勢情報とPOI/ROI設定部42により設定された注目領域情報を撮影画像に関連づけて分割画像として分割画像記憶部22に保存する(S78)。

 図26(a)~図26(c)は、注目領域が設定される撮影画像のフォーマットの例を説明する図である。

 注目点または矩形の注目領域の情報は、一例として、図26(a)に示すKML(Keyhole Markup Language)ファイルと呼ばれる地理情報タグデータファイルに記録される。符号450は、カメラのパン角、チルト角、ロール角の情報を記述する。符号452は、画像サイズを記述する。符号454は、画像の向きが横長書式か縦長書式かを記述する。

 符号456は、矩形の注目領域を指定する情報を記述するものであり、注目領域の中心点の座標と画像サイズを指定する。ここでは、注目領域の中心の座標(200,250)、画像の幅21、高さ15が指定されている。図26(b)は、符号456で記述される注目領域を示す。

 注目点を指定する場合は、符号458に示すように、注目点の座標を指定し、画像サイズをゼロに指定する。ここでは、注目点の座標(100,150)、画像の幅0、高さ0が指定されている。図26(c)は、符号458で記述される注目点を示す。

 符号460は、GPS受信器74から得られる緯度・経度情報を記述する。符号462は、撮影日時を記述する。

 注目領域が矩形ではなく、自由領域である場合、注目領域を座標で指定することはできないため、パノラマ画像に重ね合わせるαプレーンまたは専用レイヤーにマスク画像を設定する。

 図27(a)~(f)は、ユーザがタッチパネル上で注目領域を設定する方法を説明する図である。

 パノラマ撮影では図27(a)のように、広範囲の景色を撮影するため、ユーザが注目している被写体がどれであるか、合成されたパノラマ画像からは容易にはわからない。そこで、図27(b)に示す、パノラマ撮影中にディスプレイ240に表示される撮影画像において、ユーザにタッチパネルで注目領域を指定させる。

 図27(c)は、タッチパネル上で撮影画像内の対象物をタップまたはダブルタップする(符号430)ことで対象物を注目領域に設定する例である。このとき、対象物を含む領域が撮影画像から自動抽出され、注目領域に設定される。

 図27(d)は、対象物を符号432のように囲むことで注目領域を設定する例である。符号432で示す自由曲線を近似する多角形434が注目領域に設定されるか、多角形434に外接する矩形領域436が注目領域に設定される。

 図27(e)は、符号438で示すように対象物に斜線を入れることで注目領域を設定する例である。斜線を対角線とする矩形領域440が注目領域に設定される。

 図27(f)は、符号442a、442bで示すように、対象物を2本の指でピンチすることで注目領域を設定する例である。2本の指のピンチの始点を結ぶ線分を対角線とする矩形領域444が注目領域に設定される。

 図28は、パノラマ画像に重ね合わせるαプレーンまたは専用レイヤーに設定される注目領域を説明する図である。撮影画像において注目領域が符号470で示す自由曲線で指定された場合、注目領域は、符号474で示すαプレーンまたは専用レイヤーにおいてマスク領域472として設定される。マスクされた領域を1、マスクされていない領域を0とする2値で注目度を記録することができる。また、αプレーンの場合、マスク領域のα値によって注目度を多値で記録することもできる。

 本実施の形態のパノラマ画像生成装置によれば、パノラマ撮影中に注目領域を設定することができる。興味のある被写体にフォーカスを当ててシャッターを切る通常の撮影とは違って、パノラマ撮影では、広範囲の被写体を撮影するため、ユーザがどの被写体に興味をもって撮影しているかがわからないことが多い。この点、本実施の形態では、パノラマ撮影中に注目領域を指定するため、合成されたパノラマ画像においてユーザが注目している領域を把握することができる。また、合成後のパノラマ画像において注目領域を設定する手間を省くことができる。合成後のパノラマ画像では、画面上でスクロールしなければ注目したい領域を表示することができないが、撮影中であれば、現在の撮影画像に対して簡単に注目領域を指定することができる。また、撮影中のユーザの表情に応じてユーザが興味をもった対象物を自動的に注目領域に設定し、注目度や音声によるタグ情報を関連づけることができる。

 (実施の形態4)
 図29は、実施の形態4に係るパノラマ画像生成装置100の機能構成図である。本実施の形態のパノラマ画像生成装置100は、携帯端末200の前面カメラ210および背面カメラ212の両方を用いてパノラマ画像を撮影する機能を有する。図24で説明した実施の形態3の注目領域設定機能をもつパノラマ画像生成装置100と共通する構成については同じ符号を付して説明を省略する。

 本実施の形態ではパノラマ撮影のモードとして、以下の3つのモードがある。

 (1)前面カメラ210により撮影された半周のパノラマ画像と背面カメラ212により撮影された半周のパノラマ画像とをつなぎ合わせて全周のパノラマ画像を撮影する「両面パノラマ撮影モード」。

 (2)パノラマ画像は背面カメラ212で撮影し、前面カメラ210は撮影者の顔を撮影して注目点または注目領域を設定するために用いる「POI/ROI付きパノラマ撮影モード」。

 (3)前面カメラ210および背面カメラ212のそれぞれで全周のパノラマ画像を撮影する「片面パノラマ撮影モード」。この場合、2枚の全周パノラマ画像が得られるが、どちらか一方のカメラ、特に撮影者が写り込む可能性の高い前面カメラ210により撮影された全周パノラマ画像を破棄するか、2枚の全周パノラマ画像をステレオパノラマ画像もしくは、近景/遠景のパノラマ画像として利用するかを撮影後にユーザが決める。

 撮影モード切替部94はこれらのパノラマ撮影モードのいずれかに切り替える。ユーザが設定画面などでパノラマ撮影モードを手動で設定し、撮影モード切替部94は、ユーザが設定した撮影モードに切り替えてもよい。また、撮影モード切替部94は、パノラマ画像の撮影状況に応じて、適切なパノラマ撮影モードに自動的に切り替えてもよい。

 また、撮影開始時点では、(1)の両面パノラマ撮影モードと(3)の片面パノラマ撮影モードを区別せずに、前面カメラ210と背面カメラ212のそれぞれでパノラマ画像を撮影し、半周分だけ撮影が終わった時点で、前面カメラ210により撮影された半周の前面パノラマ画像と背面カメラ212により撮影された半周の背面パノラマ画像の画像境界の整合性が良好であれば、(1)の両面パノラマ撮影モードに決定し、整合性が良好でなければ、(3)の片面パノラマ撮影モードに決定してもよい。整合性が良好でない場合とは、前面パノラマ画像に意図せず(すなわち注目領域を設定する目的ではなく)撮影者が写り込んだ場合や、前面カメラ210と背面カメラ212の水平パララックスが原因で前面パノラマ画像と背面パノラマ画像の間に視差が生じている場合などである。

 撮影モード切替部94は、設定したパノラマ撮影モードを撮影部10およびパノラマ画像生成部30に通知する。撮影部10は、指定されたパノラマ撮影モードにしたがって前面カメラ210および背面カメラ212を用いて被写体を撮影する。パノラマ画像生成部30は、指定されたパノラマ撮影モードにしたがって撮影部10により撮影された分割画像を合成してパノラマ画像を生成する。

 両面パノラマ撮影モードの場合、パノラマ画像生成部30は、背面カメラ212により撮影された背面分割画像を合成して得られる半周の背面パノラマ画像と、前面カメラ210により撮影された前面分割画像を合成して得られる180度だけ反対方向の半周の前面パノラマ画像とをつなぎ合わせることで、全周パノラマ画像を生成する。

 片面パノラマ撮影モードの場合、パノラマ画像生成部30は、前面カメラ210により撮影された全周の前面分割画像を破棄し、背面カメラ212により撮影された全周の背面分割画像を合成して全周パノラマ画像を生成する。前面カメラ210による撮影画像には、撮影者が意図せず写り込んでいることが多いためであるが、撮影状況によっては、背面カメラ212により撮影された背面分割画像を破棄し、前面カメラ210により撮影された前面分割画像を合成して全周パノラマ画像を生成してもよい。また、パノラマ画像生成部30は、いずれか一方のカメラで撮影された分割画像を破棄せず、両方のカメラで撮影された分割画像からそれぞれの全周パノラマ画像を合成し、ステレオパノラマ画像として利用したり、近景/遠景のパノラマ画像として利用してもよい。

 画像相関判定部96は、携帯端末200を半周パンさせて前面カメラ210と背面カメラ212のそれぞれで半周分のパノラマ画像が撮影されたとき、前面カメラ210により撮影された前面パノラマ画像と、背面カメラ212により撮影された背面パノラマ画像とをつなぎ合わせて全周のパノラマ画像を生成する際、つなぎ合わせの境界付近の領域で前面パノラマ画像と背面パノラマ画像の相関を計算し、両画像の間に一定の整合性があるかどうかを判定する。

 画像相関判定部96は、前面パノラマ画像と背面パノラマ画像の間で相関が所定の閾値以上であった場合、前面パノラマ画像と背面パノラマ画像の間に整合性があることを撮影モード切替部94と撮影ガイド部52に通知し、前面パノラマ画像と背面パノラマ画像の間で相関が所定の閾値未満であった場合、前面パノラマ画像と背面パノラマ画像の間に整合性がないことを撮影モード切替部94と撮影ガイド部52に通知する。

 撮影モード切替部94は、前面パノラマ画像と背面パノラマ画像の間に整合性がある場合は、両面パノラマ撮影モードに設定するが、前面パノラマ画像と背面パノラマ画像の間に整合性がない場合は、片面パノラマ撮影モードに設定する。

 ユーザインタフェース部50の撮影ガイド部52は、前面パノラマ画像と背面パノラマ画像の間に整合性がある場合は、携帯端末200の半周のパンでパノラマ撮影が完了したことをユーザに通知するが、前面パノラマ画像と背面パノラマ画像の間に整合性がある場合は、さらにもう半周パンさせて、全周パノラマ撮影を行うようにユーザにダイアログなどで案内する。

 撮影部10の撮影者検出部90は、前面カメラ210により撮影された画像に撮影者が写り込んでいるかどうかを検出し、撮影者が写り込んでいる場合は、ユーザインタフェース部50の撮影者撮影許可部57にその旨、通知する。撮影者撮影許可部57は、「顔が写っていますが、よいですか?」のようなダイアログを表示し、ユーザが自分の顔が前面カメラ210により撮影されるのを許可するかどうかをユーザに指示させる。ユーザが自分の顔の撮影を許可した場合は、撮影モード切替部94は、POI/ROI付きパノラマ撮影モードに設定し、そのまま前面カメラ210による撮影が実行される。ユーザが自分の顔の撮影を許可しない場合は、撮影者が写り込んだ画像は破棄し、撮影者が写り込まなくなった時点で前面カメラ210による撮影を再開する。前面カメラ210により撮影者が写り込んだ画像は、実施の形態3で説明したように、POI/ROI設定部42が注目領域を設定したり、注目度を設定するときに用いられる。

 図30(a)~(c)は、携帯端末200の前面カメラ210と背面カメラ212の配置と視差を説明する図である。

 図30(a)に示すように、前面カメラ210と背面カメラ212が水平方向に異なる位置に配置されている場合、両カメラの間には水平パララックス(視差)HPがある。また、垂直方向にも異なる位置に配置されている場合は、両カメラの間に垂直パララックスVPがある。ここでは説明の便宜上、垂直パララックスVPはゼロであるか、無視できる程度に小さいものとして、水平パララックスHPに着目する。

 図30(b)に示すように、たとえば前面カメラ210と背面カメラ212はそれぞれ75°の水平画角をもつとする。前面カメラ210と背面カメラ212の間には水平パララックスHPがあるため、前面カメラ210により撮影される前面パノラマ画像と背面カメラ212により撮影される背面パノラマ画像との間には視差によるずれが生じる。特に近景を撮影する場合は、前面パノラマ画像と背面パノラマ画像の間に生じる視差によるずれは無視できない。

 しかし、遠景を撮影する場合、前面カメラ210により撮影される前面パノラマ画像と背面カメラ212により撮影される背面パノラマ画像との間に生じる視差によるずれを無視することができる。図30(c)は、視差によるずれを無視できる場合の、前面カメラ210と背面カメラ212の配置と画角を示す。視差によるずれが無視できる場合は、前面カメラ210と背面カメラ212は、図30(c)のように水平方向に同じ位置に配置されているものとして扱うことができる。両カメラの水平画角が75°であるとすると、90°-(75°/2)=52.5°の計算結果から、図30(c)の点線に示すように、携帯端末200をそれぞれ左右に52.5°回転させれば、前面カメラ210は半周180°分の前面パノラマ画像を撮影し、背面カメラ212は半周180°分の平面パノラマ画像を撮影することができ、半周の前面パノラマ画像と半周の背面パノラマ画像とをつなぎあわせれば全周パノラマ画像を得ることができる。52.5°程度の回転角であれば、ユーザはディスプレイ240をファインダとして見ながら、パノラマ撮影をすることができる。

 近景を撮影する場合は、前面カメラ210による前面パノラマ画像と、背面カメラ212による背面パノラマ画像の間で視差によるずれがあるため、半周の前面パノラマ画像と半周の背面パノラマ画像とをつなぎあわせても十分な整合性が取れず、正確な全周パノラマ画像を生成できないことがある。そこで、近景を撮影する場合は、さらに半周回転させることで、前面カメラ210と背面カメラ212のそれぞれで全周のパノラマ画像を撮影してもよい。その場合、視差のある2枚の全周パノラマ画像が得られるから、これをステレオパノラマ画像として用いて、3次元パノラマ画像を表示させてもよい。また、奥行き情報が得られることから、被写体の3次元モデルを生成することもできる。

 撮影ガイド部52は、近景撮影の場合、前面カメラ210、背面カメラ212のそれぞれが全周パノラマ画像を撮影できるように全周撮影をユーザに促し、遠景撮影の場合、前面カメラ210、背面カメラ212のそれぞれが半周分のパノラマ画像を撮影した時点で全周パノラマ撮影を完了した旨をユーザに通知するようにしてもよい。近景を撮影するか、遠景を撮影するかをユーザが指定してもよく、たとえば、カメラを広角にした場合は近景撮影、望遠にした場合は遠景撮影に自動設定してもよい。

 図31(a)は、背面カメラ212により撮影された円筒状の画像340a~340fを説明する図である。図8Bで説明したものと同様であるが、ここでは、これらを合成すると、図32(a)に示すように、半周分の背面パノラマ画像が得られるとする。図31(b)は、前面カメラ210により撮影された円筒状の画像350a~350fを説明する図である。これらを合成すると、図32(b)に示すように、半周分の前面パノラマ画像が得られるとする。

 図32(a)は、背面カメラ212で撮影される背面パノラマ画像を説明する図であり、図32(b)は、前面カメラ210で撮影される前面パノラマ画像を説明する図である。図33は、背面カメラ212で撮影される背面パノラマ画像と前面カメラ210で撮影される前面パノラマ画像をつなぎ合わせた状態を示す図である。背面パノラマ画像と前面パノラマ画像が重なる、つなぎ合わせの境界付近の領域370a~370dにおいて、画像相関判定部96は、背面パノラマ画像と前面パノラマ画像の相関を計算する。両画像が重なる領域で相関が高い、すなわち画素値が一致または近接する画素の数が多い場合、画像相関判定部96は、両画像に一定の整合性があると判断し、両画像が重なる領域で相関が低い、すなわち画素値が一致または近接する画素の数が少ない場合、両画像に一定の整合性がないと判断する。

 図34は、前面カメラ210により撮影された前面パノラマ画像382と背面カメラ212により撮影された背面パノラマ画像380の例を説明する図である。前面パノラマ画像382には撮影者が大きく写り込んでおり、前面パノラマ画像382と背面パノラマ画像380がつなぎ合わされる境界付近の領域370dには、撮影者の手が写っていることから、両画像間の相関が低い。この場合、画像相関判定部96は、前面パノラマ画像382と背面パノラマ画像380の整合性が低いと判断し、撮影モード切替部94は、背面カメラ212のみでパノラマ撮影する片面パノラマ撮影モードに切り替え、撮影ガイド部52は、さらに半周、カメラをパンさせて全周の背面パノラマ画像を撮影するようにユーザを案内する。

 図35は、前面パノラマ画像382と背面パノラマ画像380の整合性が低い場合のガイド例を説明する図である。前面パノラマ画像382と背面パノラマ画像380をそれぞれ半周分撮影した時点で、画像相関判定部96が、前面パノラマ画像382と背面パノラマ画像380の間で一定の整合性がないと判定した場合、撮影ガイド部52は、「さらに半周回してください」というダイアログ386を画面に表示させ、撮影方向を矢印384で示す。これにより、ユーザは背面パノラマ画像380を半周分で撮影したところでやめずに、背面カメラ212をさらに半周分パンさせて全周の背面パノラマ画像を撮影することができる。

 図36は、実施の形態4に係るパノラマ画像生成装置100によるパノラマ画像の撮影の手順を説明するフローチャートである。

 撮影者検出部90は、前面カメラ210により撮影された画像に撮影者自身が写り込んでいるかどうかを検出する(S80)。撮影者が写り込んでいる場合は(S80のY)、撮影者撮影許可部57は、ユーザに自分自身を撮影するのかどうかをダイアログを表示したり、音声出力して尋ねる(S82)。ユーザが自分自身の撮影を許可した場合(S82のY)、撮影モード切替部94は、POI/ROI付きパノラマ撮影モードに設定し(S84)、POI/ROI付きパノラマ撮影を行う(S86)。ステップS86のPOI/ROI付きパノラマ撮影処理は、図25で説明した実施の形態3のパノラマ画像の撮影手順と同様であり、前面カメラ210によりユーザの表情を撮影して、表情にもとづいて注目領域や注目度を設定するとともに、背面カメラ212によりパノラマ撮影を行うことで、POI/ROI付きのパノラマ画像を生成する。

 ステップS82において、ユーザが自分自身の撮影を許可しない場合(S82のN)、前面カメラ210による撮影画像に撮影者が写っている間はパノラマ撮影を中断し(S88のN)、撮影者が写らなくなるのを待って(S88のY)、両面カメラによるパノラマ撮影処理を実行する(S90)。

 ステップS80において、前面カメラ210により撮影された画像に撮影者が検出されない場合も(S80のN)、両面カメラによるパノラマ撮影処理が開始される(S90)。

 図37は、図36のステップS90の両面カメラによるパノラマ撮影処理の詳細な手順を説明するフローチャートである。

 両面カメラによるパノラマ撮影処理では、撮影開始時点では、手動でパノラマ撮影モードを設定する場合を除き、両面パノラマ撮影モードか片面パノラマ撮影モードであるかは決まっていない。両面パノラマ撮影モードと片面パノラマ撮影モードのいずれかに決定されるかは、半周分のパノラマ撮影が完了して半周の前面パノラマ画像と半周の背面パノラマ画像の間で整合性を判断しなければわからない。

 分割画像撮影処理(S110)は、図10で説明した実施の形態1の撮影タイミング判定処理(S10)、撮影(S12)、姿勢情報取得処理(S14)、姿勢情報を撮影画像に関連づける処理(S16)を実行する。

 前面カメラ210および背面カメラ212による半周分のパノラマ撮影が完了していないなら(S112のN)、ステップS110に戻り、分割画像撮影処理を繰り返す。

 前面カメラ210および背面カメラ212による半周分のパノラマ撮影が完了すると(S112のY)、画像相関判定部96は、前面カメラ210によって撮影された半周分の前面分割画像と、背面カメラ212によって撮影された半周分の背面分割画像とをつなぎあわせるときの境界付近の重複領域で両画像間の相関度を判定する(S114)。重複領域の相関度が所定の閾値以上であれば(S114のY)、撮影モード切替部94は、パノラマ撮影モードを両面パノラマ撮影モードに設定し(S117)、パノラマ画像生成部30は、半周分の前面分割画像と半周分の背面分割画像を合成して全周パノラマ画像を生成する(S118)。重複領域の相関度が所定の閾値未満であれば(S114のN)、撮影モード切替部94は、パノラマ撮影モードを片面パノラマ撮影モードに設定し(S115)、撮影ガイド部52は、さらに半周撮影するようにユーザをガイドし(S116)、ステップS120の分割画像撮影処理に進む。

 ステップS120の分割画像撮影処理は、ステップS110の分割画像撮影処理と同じである。前面カメラ210、背面カメラ212による全周分のパノラマ撮影が完了していないなら(S122のN)、ステップS110に戻り、分割画像撮影処理を繰り返す。

 前面カメラ210および背面カメラ212による全周分のパノラマ撮影が完了すると(S122のY)、全周の前面分割画像を破棄するかどうかをユーザに問い合わせる(S124)。たとえば、前面分割画像にユーザが写り込んでいる場合には、前面分割画像は破棄する。全周の前面分割画像を破棄する場合(S124のY)、パノラマ画像生成部30は、全周の背面分割画像から全周パノラマ画像を合成する(S126)。

 全周の前面分割画像を破棄しない場合(S124のN)、パノラマ画像生成部30は、全周前面分割画像から全周前面パノラマ画像を合成し(S128)、全周背面分割画像から全周背面パノラマ画像を合成する(S130)。この場合、全周前面パノラマ画像と全周背面パノラマ画像を合わせてステレオパノラマ画像が得られる。また、全周前面パノラマ画像を近景のパノラマ画像として、全周背面パノラマ画像を遠景のパノラマ画像として利用してもよい。また、前面カメラ210と背面カメラ212のズーム率を異ならせれば、ズーム率の異なる2つのパノラマ画像を得ることもできる。

 本実施の形態のパノラマ画像生成装置によれば、携帯端末200の前面カメラ210と背面カメラ212の両方を用いてパノラマ撮影を行うことができる。2つのカメラの取り付け位置にずれがある場合、それぞれのカメラで撮影されるパノラマ画像に視差が生じるため、ステレオパノラマ画像を取得することができる。また、前面カメラ210で近景パノラマ画像を撮影し、背面カメラ212で遠景パノラマ画像を撮影することもできる。

 また、両面カメラを利用すると、携帯端末200を360°回転させなくても、カメラの水平画角θに対して、90°-θ/2だけ回転させるだけで全周のパノラマ画像を撮影できるから、携帯端末200のディスプレイをファインダとして見ながら簡易に全周パノラマ撮影を行うことが容易になる。

 上記の例では、携帯端末200に前面カメラ210と背面カメラ212が搭載された場合のパノラマ撮影を説明したが、携帯端末200に3以上のカメラが搭載されてもよい。また、複数のカメラの光軸の位置が水平または垂直方向に異なってもよく、複数のカメラの光軸の向きが異なってもよい。光軸の向きの違いは180度反対方向に限られない。以下、携帯端末200に内蔵されるカメラのバリエーションを例示する。

 図38は、光軸の位置および向きが異なる2つのカメラが搭載された携帯端末200を説明する図である。図30(b)では、前面カメラ210と背面カメラ212は光軸の位置が水平方向に異なっていたが、図38では、前面カメラ210と背面カメラ212は光軸の位置が異なるだけでなく、光軸の向きも異なり、前面カメラ210は斜めに向いている。

 図39は、光軸の位置が異なる3つのカメラが搭載された携帯端末200を説明する図である。2つの背面カメラ212a、212bと1つの前面カメラ210が携帯端末200に搭載される。これらの3つのカメラ212a、212b、210の光軸の位置は異なる。2つの背面カメラ212a、212bにより、ステレオパノラマ画像を撮影することができる。

 図40は、光軸の向きが異なる3つのカメラが搭載された携帯端末200を説明する図である。携帯端末200は、たとえば円柱のような形状をしており、前面にはディスプレイ240があり、上から見た場合、3つのカメラ211a、211b、211cが円周上にほぼ均等に配置されている。これら3つのカメラの211a、211b、211cの光軸の向きは互いに異なる。携帯端末200を回転させることで全周のパノラマ画像を撮影することができる。

 図41(a)、(b)は、性能の異なる2つのカメラが搭載された携帯端末200を説明する図である。図41(a)では、前面カメラ210の水平画角は50°であるのに対して、背面カメラ212の水平画角は120°である。このように画角の異なる複数のカメラを携帯端末200に搭載してもよい。

 図41(b)では、前面カメラ210は解像度はVGAであり、フレームレートは60fps(frames per second)であるのに対して、背面カメラ212は解像度は12メガピクセルであり、フレームレートは15fpsである。前面カメラ210は低解像度であるがフレームレートが高く、動体の撮影に有利である。背面カメラ212は高解像度であるがフレームレートが低く、動体の撮影には不向きであるが、静止物体の撮影には有利である。このように解像度やフレームレートなどの性能の異なる複数のカメラを携帯端末200に搭載してもよい。

 図42(a)~(c)は、携帯端末200に搭載されるカメラの個数と向きのバリエーションを説明する図である。図42(a)は、携帯端末200の前面にカメラ211c、背面にカメラ211a、左側面にカメラ211d、右側面にカメラ211bを搭載した例である。図42(b)は、携帯端末200の背面にカメラ211a、左側面にカメラ211c、右側面にカメラ211bを搭載した例である。図42(c)は、携帯端末200の背面にカメラ211a、右側面にカメラ211bを搭載した例である。ここでは、携帯端末200の例で説明したが、これは車載カメラであってもよい。特に、車載カメラの場合、カメラの向きを前方、後方以外に左右側方にすることが考えられる。

 図43は、4つのカメラが搭載された携帯端末200を説明する図である。携帯端末200の前面にカメラ211c、背面にカメラ211a、左側面にカメラ211d、右側面にカメラ211bが搭載されており、各カメラの水平画角は十分に広いため、携帯端末200をパン方向に回転させなくても全方位のパノラマ画像をこれら4つのカメラ211a~211dにより撮影することができる。ただし、チルト方向には全方位を撮影することができない場合、チルト方向に携帯端末200を回転させることで全天のパノラマ画像を撮影することができる。

 図44(a)、(b)は、向きを調整できる可動カメラが搭載された携帯端末200を説明する図である。図44(a)では、携帯端末200の背面に搭載されたカメラ211aは固定カメラであるが、右側面に搭載されたカメラ211bは可動カメラであり、向きを手動または自動で調整することができる。図44(b)では、携帯端末200の背面に搭載された第1のカメラ211aは固定カメラであるが、第2のカメラ211bは前後に向きを反転可能な可動カメラであり、向きを反転させれば背面カメラにも前面カメラにもなる。可動カメラの向きは、携帯端末200が自動的に検出することができる。

 以上述べた携帯端末200に搭載されるカメラのバリエーションはあくまでも例示であって、これ以外にもいろいろなカメラの組み合わせがありうる。

 このように携帯端末200に光軸の位置および向きの少なくとも一方が異なるカメラを複数搭載することで、複数のカメラを用いて撮影された画像を合成して全方位のパノラマ画像を合成することができる。

 撮影モード切替部94は、携帯端末200に搭載された複数のカメラの各々により撮影されたパノラマ画像をつなぎ合わせた一つの「複眼パノラマ画像」を撮影する複眼パノラマ画像撮影モードと、複数のカメラの各々で「単眼パノラマ画像」を撮影する単眼パノラマ画像撮影モードとを切り替える。

 パノラマ画像生成部30は、複眼パノラマ画像撮影モードの場合、各カメラにより撮影された複数の分割画像を合成して単眼パノラマ画像を生成し、各カメラによる単眼パノラマ画像を互いにつなぎ合わせて複眼パノラマ画像を生成する。パノラマ画像生成部30は、単眼パノラマ画像撮影モードの場合、各カメラにより撮影された複数の分割画像を合成して単眼パノラマ画像を生成し、各カメラによる単眼パノラマ画像を組み合わせて、ステレオパノラマ画像、もしくは近景、遠景など距離感の異なる複数のパノラマ画像として出力する。

 画像相関判定部96は、各カメラによる単眼パノラマ画像を互いにつなぎ合わせる境界領域において、つなぎ合わされる単眼パノラマ画像間の相関度を判定し、パノラマ画像生成部30は、相関度が所定の閾値以上である場合、各カメラによる単眼パノラマ画像を互いにつなぎ合わせて複眼パノラマ画像を生成する。携帯端末200に搭載された複数のカメラはそのままの固定された位置では全方位のパノラマ撮影をすることはできないが、パン方向またはチルト方向に回転させることで各カメラの撮影可能な視界がオーバーラップするようになる。そのオーバーラップする領域において、つなぎ合わされる単眼パノラマ画像間の相関を評価することで、各カメラによる単眼パノラマ画像をステッチ処理でつなぎ合わせてよいか、別々の画像として出力すべきか、あるいは片方の画像を破棄するべきかを判断することができる。

 以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

 本実施の形態では、パノラマ画像として全天球パノラマ画像を例に挙げて説明したが、パノラマ画像は、全天球パノラマ画像である必要はなく、撮影方向を変えながらカメラで撮影された複数の画像を合成した画像であってもよい。

 なお、本明細書でいう「パノラマ画像」とは、狭義の意味での「パノラマ」画像、すなわち横長または縦長の画像や360度の全景画像などに限られるものではなく、単に広い範囲を対象とする画像である。また、実施の形態では、合成画像としてパノラマ画像を生成する例を説明したが、出力される合成画像はいわゆるパノラマ画像である必要はなく、任意のサイズの通常の画像を合成画像としても本発明を適用することができる。あるいは、出力される合成画像は、複数の異なる解像度の画像が階層化された画像であってもよい。そのような階層化された画像は、画像の一部の領域を拡大すると拡大された領域がより解像度の高い画像に置き換わるように構成されてもよい。

 10 撮影部、 12 フレームメモリ、 14 撮影タイミング判定部、 20 分割画像生成部、 22 分割画像記憶部、 24 未撮影領域判定部、 30 パノラマ画像生成部、 32 パノラマ画像記憶部、 40 表示部、 42 POI/ROI設定部、 44 注目領域設定部44、 46 注目度設定部46、 48 タグ設定部48、 50 ユーザインタフェース部、 52 撮影ガイド部、 54 音声認識部、 56 タッチパネル入力部、 57 撮影者撮影許可部57、 58 POI/ROI処理部、 60 姿勢検出部、 62 3軸ジャイロセンサ、 64 3軸加速度センサ、 66 方位検出部、 68 3軸地磁気センサ、 70 パン角・仰角算出部、 72 位置検出部、 74 GPS受信器、 80 通信部、 82 特徴点抽出部、 84 自己位置推定部、 86 カメラ位置ずれ判定部、 90 撮影者検出部、 92 表情判定部、 94 撮影モード切替部、 96 画像相関判定部、 100 パノラマ画像生成装置、 200 携帯端末、 210 前面カメラ、 212 背面カメラ、 240 ディスプレイ。

 合成画像を生成する技術に利用できる。

Claims (12)

  1.  携帯機器に内蔵された光軸の位置および向きの少なくとも一方が異なる複数のカメラを用いて撮影された画像に、前記携帯機器の姿勢情報を関連づけた分割画像を生成する分割画像生成部と、
     前記携帯機器の姿勢の異なる複数の分割画像を合成することにより、合成画像を生成する合成画像生成部と、
     複数のカメラの各々により撮影された合成画像をつなぎ合わせた一つの複眼合成画像を撮影する複眼合成画像撮影モードと、複数のカメラの各々で単眼合成画像を撮影する単眼合成画像撮影モードとを切り替える撮影モード切替部とを含み、
     前記合成画像生成部は、複眼合成画像撮影モードの場合、各カメラにより撮影された複数の分割画像を合成して単眼合成画像を生成し、各カメラによる単眼合成画像を互いにつなぎ合わせて複眼合成画像を生成することを特徴とする画像生成装置。
  2.  前記合成画像生成部は、単眼合成画像撮影モードの場合、各カメラにより撮影された複数の分割画像を合成して単眼合成画像を生成し、各カメラによる単眼合成画像を組み合わせて、ステレオ合成画像、もしくは距離感の異なる複数の合成画像として出力することを特徴とする請求項1に記載の画像生成装置。
  3.  各カメラによる単眼合成画像を互いにつなぎ合わせる境界領域において、つなぎ合わされる単眼合成画像間の相関度を判定する画像相関判定部をさらに含み、
     前記合成画像生成部は、前記相関度が所定の閾値以上である場合、各カメラによる単眼合成画像を互いにつなぎ合わせて複眼合成画像を生成することを特徴とする請求項1または2に記載の画像生成装置。
  4.  前面カメラにより撮影される画像に撮影者の写り込みを検出する撮影者検出部と、
     撮影者の写り込みを許可するかどうかをユーザに問い合わせる撮影者撮影許可部と、
     撮影者の写り込みが許可された場合、あるカメラにより撮影される撮影者の表情にもとづいて別のカメラにより撮影される画像に注目領域を設定する注目領域設定部とをさらに含み、
     前記分割画像生成部は、前記別のカメラを用いて撮影された画像に、前記携帯機器の姿勢情報と前記注目領域設定部により設定された注目領域情報とを関連づけた分割画像を生成することを特徴とする請求項1から3のいずれかに記載の画像生成装置。
  5.  携帯機器に内蔵された光軸の位置および向きの少なくとも一方が異なる複数のカメラは、撮影者側に設置された前面カメラと撮影者とは反対側に設置された背面カメラであり、
     前記撮影モード切替部は、前面カメラにより撮影された半周の合成画像と背面カメラにより撮影された半周の合成画像とをつなぎ合わせて全周の合成画像を撮影する両面合成画像撮影モードと、前面カメラおよび背面カメラのそれぞれで全周の合成画像を撮影する片面合成画像撮影モードとを切り替え、
     前記合成画像生成部は、両面合成画像撮影モードの場合、前面カメラにより撮影された複数の前面分割画像を合成して半周の前面合成画像を生成し、背面カメラにより撮影された複数の背面分割画像を合成して半周の背面合成画像を生成し、前記半周の前面合成画像と前記半周の背面合成画像とをつなぎ合わせて全周の合成画像を生成することを特徴とする請求項1に記載の画像生成装置。
  6.  前記合成画像生成部は、片面合成画像撮影モードの場合、前面カメラにより撮影された複数の前面分割画像を破棄して、背面カメラにより撮影された複数の背面分割画像を合成して全周の背面合成画像を生成することを特徴とする請求項5に記載の画像生成装置。
  7.  前記合成画像生成部は、片面合成画像撮影モードの場合、前面カメラにより撮影された複数の前面分割画像を合成して全周の前面合成画像を生成し、背面カメラにより撮影された複数の背面分割画像を合成して全周の背面合成画像を生成し、全周の前面合成画像と全周の背面合成画像とを合わせて、ステレオ合成画像、もしくは近景および遠景の合成画像として出力することを特徴とする請求項5に記載の画像生成装置。
  8.  前記半周の前面合成画像と前記半周の背面合成画像とをつなぎ合わせる境界領域において、前記半周の前面合成画像と前記半周の背面合成画像の相関度を判定する画像相関判定部をさらに含み、
     前記合成画像生成部は、前記相関度が所定の閾値以上である場合、前記半周の前面合成画像と前記半周の背面合成画像とをつなぎ合わせて全周の合成画像を生成することを特徴とする請求項5から7のいずれかに記載の画像生成装置。
  9.  前記相関度が所定の閾値未満である場合、さらにもう半周の撮影を行うようにユーザに案内する撮影ガイド部をさらに含むことを特徴とする請求項8に記載の画像生成装置。
  10.  前面カメラにより撮影される画像に撮影者の写り込みを検出する撮影者検出部と、
     撮影者の写り込みを許可するかどうかをユーザに問い合わせる撮影者撮影許可部と、
     撮影者の写り込みが許可された場合、前面カメラにより撮影される撮影者の表情にもとづいて背面カメラにより撮影される画像に注目領域を設定する注目領域設定部とをさらに含み、
     前記分割画像生成部は、背面カメラを用いて撮影された画像に、前記携帯機器の姿勢情報と前記注目領域設定部により設定された注目領域情報とを関連づけた分割画像を生成することを特徴とする請求項5から9のいずれかに記載の画像生成装置。
  11.  携帯機器に内蔵された光軸の位置および向きの少なくとも一方が異なる複数のカメラを用いて撮影された画像に、前記携帯機器の姿勢情報を関連づけた分割画像を生成する分割画像生成ステップと、
     前記携帯機器の姿勢の異なる複数の分割画像を合成することにより、合成画像を生成する合成画像生成ステップと、
     複数のカメラの各々により撮影された合成画像をつなぎ合わせた一つの複眼合成画像を撮影する複眼合成画像撮影モードと、複数のカメラの各々で単眼合成画像を撮影する単眼合成画像撮影モードとを切り替える撮影モード切替ステップとを含み、
     前記合成画像生成ステップは、複眼合成画像撮影モードの場合、各カメラにより撮影された複数の分割画像を合成して単眼合成画像を生成し、各カメラによる単眼合成画像を互いにつなぎ合わせて複眼合成画像を生成することを特徴とする画像生成方法。
  12.  携帯機器に内蔵された光軸の位置および向きの少なくとも一方が異なる複数のカメラを用いて撮影された画像に、前記携帯機器の姿勢情報を関連づけた分割画像を生成する分割画像生成機能と、
     前記携帯機器の姿勢の異なる複数の分割画像を合成することにより、合成画像を生成する合成画像生成機能と、
     複数のカメラの各々により撮影された合成画像をつなぎ合わせた一つの複眼合成画像を撮影する複眼合成画像撮影モードと、複数のカメラの各々で単眼合成画像を撮影する単眼合成画像撮影モードとを切り替える撮影モード切替機能とをコンピュータに実現させ、
     前記合成画像生成機能は、複眼合成画像撮影モードの場合、各カメラにより撮影された複数の分割画像を合成して単眼合成画像を生成し、各カメラによる単眼合成画像を互いにつなぎ合わせて複眼合成画像を生成するプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
PCT/JP2011/006212 2011-11-07 2011-11-07 画像生成装置および画像生成方法 WO2013069047A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/006212 WO2013069047A1 (ja) 2011-11-07 2011-11-07 画像生成装置および画像生成方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14/354,671 US9560274B2 (en) 2011-11-07 2011-11-07 Image generation apparatus and image generation method
EP11875439.9A EP2779620B8 (en) 2011-11-07 2011-11-07 Image generation device, and image generation method
JP2013542680A JP5659304B2 (ja) 2011-11-07 2011-11-07 画像生成装置および画像生成方法
CN201180074563.XA CN103907341B (zh) 2011-11-07 2011-11-07 图像生成装置和图像生成方法
PCT/JP2011/006212 WO2013069047A1 (ja) 2011-11-07 2011-11-07 画像生成装置および画像生成方法

Publications (1)

Publication Number Publication Date
WO2013069047A1 true WO2013069047A1 (ja) 2013-05-16

Family

ID=48288639

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/006212 WO2013069047A1 (ja) 2011-11-07 2011-11-07 画像生成装置および画像生成方法

Country Status (5)

Country Link
US (1) US9560274B2 (ja)
EP (1) EP2779620B8 (ja)
JP (1) JP5659304B2 (ja)
CN (1) CN103907341B (ja)
WO (1) WO2013069047A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013198062A (ja) * 2012-03-22 2013-09-30 Ricoh Co Ltd 画像処理装置、画像処理方法及び撮像装置
CN104243805A (zh) * 2013-06-20 2014-12-24 Lg电子株式会社 移动终端和控制移动终端的方法
CN104349044A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 全景图像的拍摄方法及电子设备
US20150138314A1 (en) * 2013-11-20 2015-05-21 Google Inc. Generating Panoramic Images
CN105959565A (zh) * 2016-06-15 2016-09-21 维沃移动通信有限公司 一种全景拍照方法及移动终端
JP6298561B1 (ja) * 2017-05-26 2018-03-20 株式会社コロプラ ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法
US10277804B2 (en) 2013-12-13 2019-04-30 Huawei Device Co., Ltd. Method and terminal for acquiring panoramic image
KR102089432B1 (ko) 2013-06-20 2020-04-14 엘지전자 주식회사 이동 단말기 및 이의 제어방법

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
WO2013069049A1 (ja) 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
WO2013069048A1 (ja) 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP5659305B2 (ja) * 2011-11-07 2015-01-28 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
JP2014103630A (ja) * 2012-11-22 2014-06-05 Olympus Imaging Corp 撮像装置及び画像通信方法
KR20140114501A (ko) * 2013-03-14 2014-09-29 삼성전자주식회사 영상 데이터 처리 방법 및 이를 지원하는 전자 장치
US10070048B2 (en) 2013-03-26 2018-09-04 Htc Corporation Panorama photographing method, panorama displaying method, and image capturing method
DE102014104070B4 (de) 2013-03-26 2019-03-07 Htc Corporation Panoramaanzeigeverfahren und Bilderfassungsverfahren
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
JP5843033B1 (ja) * 2014-05-15 2016-01-13 株式会社リコー 撮像システム、撮像装置、プログラムおよびシステム
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US20160101936A1 (en) 2014-10-10 2016-04-14 Hand Held Products, Inc. System and method for picking validation
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US9936128B2 (en) * 2015-05-20 2018-04-03 Google Llc Automatic detection of panoramic gestures
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
TWI550334B (zh) * 2015-06-29 2016-09-21 華碩電腦股份有限公司 球體全景影像裝置
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313A1 (en) * 2015-07-15 2018-10-31 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
CN105162961A (zh) * 2015-08-04 2015-12-16 深圳先进技术研究院 一种全景照相手机及全景照相方法
US9888174B2 (en) 2015-10-15 2018-02-06 Microsoft Technology Licensing, Llc Omnidirectional camera with movement detection
US10277858B2 (en) * 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10554896B2 (en) * 2016-05-04 2020-02-04 Insidemaps, Inc. Stereoscopic imaging using mobile computing devices having front-facing and rear-facing cameras
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
WO2018053722A1 (zh) * 2016-09-21 2018-03-29 北京小米移动软件有限公司 全景照片拍摄方法及装置
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005217785A (ja) * 2004-01-29 2005-08-11 Vodafone Kk 移動体通信端末
JP2009089331A (ja) * 2007-10-03 2009-04-23 Nec Corp カメラ付携帯通信端末
JP2011076249A (ja) 2009-09-29 2011-04-14 Sony Computer Entertainment Inc パノラマ画像表示装置およびパノラマ画像表示方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3021556B2 (ja) 1990-06-20 2000-03-15 ソニー株式会社 映像情報処理装置とその方法
US7382399B1 (en) 1991-05-13 2008-06-03 Sony Coporation Omniview motionless camera orientation system
JP3124600B2 (ja) 1991-12-20 2001-01-15 京セラ株式会社 電子スチルカメラ
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
JPH11168754A (ja) * 1997-12-03 1999-06-22 Mr System Kenkyusho:Kk 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体
JP2000305207A (ja) 1999-04-21 2000-11-02 Canon Inc 電子スチルカメラ
JP2001086451A (ja) 1999-09-13 2001-03-30 Victor Co Of Japan Ltd パノラマ画像作成装置
JP4285889B2 (ja) 2000-06-30 2009-06-24 株式会社リコー 撮像装置
JP2003224819A (ja) 2002-01-31 2003-08-08 Canon Inc 画像記録再生装置及び画像記録再生方法
JP2004172879A (ja) 2002-11-19 2004-06-17 Canon Inc 動画像記録再生装置
JP4142460B2 (ja) 2003-01-31 2008-09-03 オリンパス株式会社 運動検出装置
US20050192808A1 (en) 2004-02-26 2005-09-01 Sharp Laboratories Of America, Inc. Use of speech recognition for identification and classification of images in a camera-equipped mobile handset
JP4277734B2 (ja) * 2004-05-11 2009-06-10 株式会社日立製作所 マルチカメラによる広視野角撮影装置及び画像生成装置。
JP4543147B2 (ja) 2004-07-26 2010-09-15 ジーイーオー セミコンダクター インコーポレイテッド パノラマビジョンシステム及び方法
US7791638B2 (en) 2004-09-29 2010-09-07 Immersive Media Co. Rotating scan camera
JP4999268B2 (ja) 2004-12-16 2012-08-15 カシオ計算機株式会社 電子カメラ及びプログラム
KR100725053B1 (ko) 2006-06-22 2007-05-29 삼성전자주식회사 휴대용 단말기의 파노라마 촬영 장치 및 방법
JP4683339B2 (ja) 2006-07-25 2011-05-18 富士フイルム株式会社 画像トリミング装置
JP2008304269A (ja) 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
KR101354899B1 (ko) 2007-08-29 2014-01-27 삼성전자주식회사 파노라마 사진 촬영 방법
US8228364B2 (en) * 2008-01-29 2012-07-24 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
KR101496467B1 (ko) 2008-09-12 2015-02-26 엘지전자 주식회사 파노라마 촬영 기능이 구비된 이동 단말기 및 그의 동작방법
JP4659088B2 (ja) 2008-12-22 2011-03-30 京セラ株式会社 カメラ付き携帯端末
JP2010178259A (ja) * 2009-02-02 2010-08-12 Nikon Corp デジタルカメラ
JP5347716B2 (ja) 2009-05-27 2013-11-20 ソニー株式会社 画像処理装置、情報処理方法およびプログラム
JP5235798B2 (ja) * 2009-06-22 2013-07-10 富士フイルム株式会社 撮影装置及びその制御方法
US9113064B2 (en) 2009-11-05 2015-08-18 Olympus Corporation Image pickup apparatus and image acquisition method
JP5402612B2 (ja) 2009-12-22 2014-01-29 ソニー株式会社 表示装置、表示方法及びプログラム
JP5486298B2 (ja) 2009-12-28 2014-05-07 キヤノン株式会社 画像処理装置および画像処理方法
JP4985808B2 (ja) 2010-03-19 2012-07-25 カシオ計算機株式会社 撮像装置、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005217785A (ja) * 2004-01-29 2005-08-11 Vodafone Kk 移動体通信端末
JP2009089331A (ja) * 2007-10-03 2009-04-23 Nec Corp カメラ付携帯通信端末
JP2011076249A (ja) 2009-09-29 2011-04-14 Sony Computer Entertainment Inc パノラマ画像表示装置およびパノラマ画像表示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREW J. DAVISON: "Real-Time Simultaneous Localisation and Mapping with a Single Camera", ICCV, 2003
See also references of EP2779620A4 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013198062A (ja) * 2012-03-22 2013-09-30 Ricoh Co Ltd 画像処理装置、画像処理方法及び撮像装置
CN104243805A (zh) * 2013-06-20 2014-12-24 Lg电子株式会社 移动终端和控制移动终端的方法
EP2816798A3 (en) * 2013-06-20 2015-04-08 LG Electronics, Inc. Mobile terminal and method of controlling the mobile terminal
KR102089432B1 (ko) 2013-06-20 2020-04-14 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9609209B2 (en) 2013-06-20 2017-03-28 Lg Electronics Inc. Mobile terminal and method of controlling the mobile terminal
CN104243805B (zh) * 2013-06-20 2017-10-20 Lg电子株式会社 移动终端和控制移动终端的方法
CN104349044A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 全景图像的拍摄方法及电子设备
CN104349044B (zh) * 2013-08-09 2018-08-31 联想(北京)有限公司 全景图像的拍摄方法及电子设备
US20150138314A1 (en) * 2013-11-20 2015-05-21 Google Inc. Generating Panoramic Images
US10277804B2 (en) 2013-12-13 2019-04-30 Huawei Device Co., Ltd. Method and terminal for acquiring panoramic image
CN105959565A (zh) * 2016-06-15 2016-09-21 维沃移动通信有限公司 一种全景拍照方法及移动终端
JP6298561B1 (ja) * 2017-05-26 2018-03-20 株式会社コロプラ ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法

Also Published As

Publication number Publication date
JPWO2013069047A1 (ja) 2015-04-02
US20140240454A1 (en) 2014-08-28
EP2779620B8 (en) 2016-09-28
EP2779620A4 (en) 2015-06-24
CN103907341A (zh) 2014-07-02
CN103907341B (zh) 2017-05-24
EP2779620A1 (en) 2014-09-17
EP2779620B1 (en) 2016-06-08
JP5659304B2 (ja) 2015-01-28
US9560274B2 (en) 2017-01-31

Similar Documents

Publication Publication Date Title
US10116922B2 (en) Method and system for automatic 3-D image creation
EP2992507B1 (en) Methods for facilitating computer vision application initialization
USRE45785E1 (en) Virtual reality camera
JP5972969B2 (ja) パノラマ写真のための位置センサ支援型画像位置合わせ
AU2012256370B2 (en) Panorama processing
CN102938825B (zh) 一种拍摄照片和视频的方法及装置
CN103081455B (zh) 从手持设备所捕获的多个图像进行肖像图像合成
TWI539810B (zh) 全景景象拍攝及瀏覽之行動裝置、系統及方法
TWI571125B (zh) 具有傾斜及/或透視校正之影像捕捉裝置
US8649574B2 (en) Imaging apparatus, control method of imaging apparatus, and computer program
JP6351870B1 (ja) モバイル装置の全方向立体撮影
CN103988227B (zh) 用于图像捕获目标锁定的方法和装置
CN104052923B (zh) 拍摄设备、图像显示设备和图像显示设备的显示控制方法
US8564710B2 (en) Photographing apparatus and photographing method for displaying information related to a subject
US8103126B2 (en) Information presentation apparatus, information presentation method, imaging apparatus, and computer program
KR101354899B1 (ko) 파노라마 사진 촬영 방법
TW498689B (en) Camera control apparatus and method
US8077213B2 (en) Methods for capturing a sequence of images and related devices
US8797353B2 (en) Augmented media message
US8330793B2 (en) Video conference
US7706579B2 (en) Image orientation for display
JP4878083B2 (ja) 画像合成装置及び方法、プログラム
JP5967473B2 (ja) 撮像装置及び撮像システム
US20190281218A1 (en) Panoramic camera
JP5567235B2 (ja) 画像処理装置、撮影装置、プログラム及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11875439

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase in:

Ref document number: 2013542680

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2011875439

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14354671

Country of ref document: US

NENP Non-entry into the national phase in:

Ref country code: DE