JP6678122B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP6678122B2 JP6678122B2 JP2017016576A JP2017016576A JP6678122B2 JP 6678122 B2 JP6678122 B2 JP 6678122B2 JP 2017016576 A JP2017016576 A JP 2017016576A JP 2017016576 A JP2017016576 A JP 2017016576A JP 6678122 B2 JP6678122 B2 JP 6678122B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- guide
- rotation
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 177
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000003384 imaging method Methods 0.000 claims description 487
- 239000002131 composite material Substances 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 40
- 230000008859 change Effects 0.000 claims description 23
- 230000002194 synthesizing effect Effects 0.000 claims description 22
- 238000013519 translation Methods 0.000 claims description 18
- 239000003550 marker Substances 0.000 description 140
- 238000000034 method Methods 0.000 description 53
- 239000011159 matrix material Substances 0.000 description 34
- 230000008569 process Effects 0.000 description 30
- 230000009466 transformation Effects 0.000 description 29
- 238000004891 communication Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000010079 rubber tapping Methods 0.000 description 7
- 230000004397 blinking Effects 0.000 description 5
- 230000012447 hatching Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Image Processing (AREA)
Description
本発明は、広角な合成画像を生成する画像処理装置等に関する。
従来より、画像処理装置として、順次に入力される入力画像を継ぎ合わせて、一枚の広角な合成画像であるパノラマ画像を生成する装置が知られている（例えば、特許文献１）。
特許文献１に開示されているパノラマ画像生成の概略を説明する。
特許文献１において、基準画像Ｉｒ（位置合わせの基準となる画像）と対象画像Ｉｃとの位置合わせは、基準画像Ｉｒ及び対象画像Ｉｃの特徴点のペアの位置情報（三次元の座標情報）に基づいて推定された変換行列を用いて行われる。
ここで、位置合わせとは、基準画像Ｉｒの所定点と、対象画像Ｉｃの所定点との相対位置を、特徴点のペアが互いに最も重なる位置を探索することで決定する処理である。
特許文献１において、基準画像Ｉｒ（位置合わせの基準となる画像）と対象画像Ｉｃとの位置合わせは、基準画像Ｉｒ及び対象画像Ｉｃの特徴点のペアの位置情報（三次元の座標情報）に基づいて推定された変換行列を用いて行われる。
ここで、位置合わせとは、基準画像Ｉｒの所定点と、対象画像Ｉｃの所定点との相対位置を、特徴点のペアが互いに最も重なる位置を探索することで決定する処理である。
変換行列は、基準画像Ｉｒと対象画像Ｉｃとの間の動きがカメラの回転運動のみであるとして、特徴点のペアの位置情報を用いて推定される。
変換行列のパラメータは、カメラの動き（ｘｙ方向への平行移動、ｚ方向への移動による拡大縮小）、カメラの回転（ｘ方向、ｙ方向への画像の歪み及びｚ軸における画像の回転）等であり、最適化手法による収束演算により求められる。具体的には、基準画像Ｉｒの特徴点の位置（ｘ０，ｙ０，１）と、対象画像Ｉｃの特徴点の位置（ｘ１，ｙ１，１）を変換した後の位置との差分を含む目的関数が最小値となるように収束演算を行う。最適化手法には、ニュートン法やガウスニュートン法等、公知の手法を適用することができる。
変換行列のパラメータは、カメラの動き（ｘｙ方向への平行移動、ｚ方向への移動による拡大縮小）、カメラの回転（ｘ方向、ｙ方向への画像の歪み及びｚ軸における画像の回転）等であり、最適化手法による収束演算により求められる。具体的には、基準画像Ｉｒの特徴点の位置（ｘ０，ｙ０，１）と、対象画像Ｉｃの特徴点の位置（ｘ１，ｙ１，１）を変換した後の位置との差分を含む目的関数が最小値となるように収束演算を行う。最適化手法には、ニュートン法やガウスニュートン法等、公知の手法を適用することができる。
ここで、上記のようなカメラの動きに起因する縮小成分が考慮された変換行列を用いて、かつ、さらに誤差を小さくすることを優先させて収束演算をした場合には、画像を縮小した方が誤差は相対的に小さくなることから、縮小成分の度合いが大きくなる変換行列が解となる傾向になる。この場合、逐次合成するごとに誤差が蓄積されてしまう。これに対して、変換行列を回転成分のみに限定することで、最適化手法による収束演算の際に縮小成分が考慮されることはないため、誤差の蓄積を回避でき、回転成分のみに限定しない場合に比べて良質なパノラマ画像が生成される。
従来、パノラマ画像生成に使用する複数の入力画像の撮像において、カメラを平行移動させて撮影を行うと、撮影画像間に視差が生じてしまうため、結果として良質なパノラマ画像が生成できず、例えば生成されたパノラマ画像の一部にずれや歪みが生じてしまうという問題がある。
また、カメラの平行移動によって生じる視差は、被写体とカメラの距離が近くなるほど大きくなるため、ユーザーがユーザー自身を撮影する、いわゆる自撮りにおいて、この問題は特に顕著となる。加えて、自撮りにおける被写体は人物の顔となるため、生成されたパノラマ画像に生じるずれや歪みの程度が微少であっても、生成されたパノラマ画像の美観を著しく損ねてしまう。そのため、自撮りパノラマ撮影においてカメラを平行移動させて撮影を行ってしまった場合には、通常のパノラマ撮影に比べて、ユーザーの求める品質のパノラマ画像が得られない確率が高い。
すなわち、特に自撮りにおいて良質なパノラマ画像を生成するためには、ユーザーは、カメラを平行移動させずに、カメラを回転させることで、異なった方位から対象被写体を含む画像を複数枚撮影する必要がある。
また、カメラの平行移動によって生じる視差は、被写体とカメラの距離が近くなるほど大きくなるため、ユーザーがユーザー自身を撮影する、いわゆる自撮りにおいて、この問題は特に顕著となる。加えて、自撮りにおける被写体は人物の顔となるため、生成されたパノラマ画像に生じるずれや歪みの程度が微少であっても、生成されたパノラマ画像の美観を著しく損ねてしまう。そのため、自撮りパノラマ撮影においてカメラを平行移動させて撮影を行ってしまった場合には、通常のパノラマ撮影に比べて、ユーザーの求める品質のパノラマ画像が得られない確率が高い。
すなわち、特に自撮りにおいて良質なパノラマ画像を生成するためには、ユーザーは、カメラを平行移動させずに、カメラを回転させることで、異なった方位から対象被写体を含む画像を複数枚撮影する必要がある。
しかしながら、従来の画像処理装置には、ユーザーに対してカメラを回転させながら撮影を行う動作を誘導するために必要な報知機能が備わっていないため、ユーザーはカメラを平行に移動させて撮影を行ってしまう可能性が高い。そのため、良質なパノラマ画像生成に必要な画像の撮影ができず、結果として撮影は失敗となり、ユーザーの求める品質のパノラマ画像が得られないという問題がある。また、従来の画像処理装置を使用した場合において、ユーザーの求める品質のパノラマ画像が得られなかった場合、ユーザーは再度撮影をやり直すことが想定される。しかしながら、従来の画像処理装置には、具体的にどのようにカメラを動かして撮影を行えばよいのかを報知する報知機能が備わっていないため、再度撮影をやり直しても同様に失敗となってしまう可能性が高い。
また、ユーザーが自撮りやグループ撮影を行う際に、パノラマ画像生成に必要な撮影枚数が不明なため、必要な枚数未満で撮影を止めてしまったり、不必要に大量の撮影を行ってしまう可能性がある。また、必要な撮影枚数及びカメラの動かし方が不明であることの不安感から、カメラを持つ手が不安定となり、結果として撮影の失敗を招きやすいという問題がある。
また、ユーザーが自撮りやグループ撮影を行う際に、パノラマ画像生成に必要な撮影枚数が不明なため、必要な枚数未満で撮影を止めてしまったり、不必要に大量の撮影を行ってしまう可能性がある。また、必要な撮影枚数及びカメラの動かし方が不明であることの不安感から、カメラを持つ手が不安定となり、結果として撮影の失敗を招きやすいという問題がある。
本発明は、このような課題に鑑みてなされたものであり、その目的とするところは、ユーザーに対して、カメラを回転させながら対象被写体を含む画像を複数枚撮影する動作を誘導することで、パノラマ画像合成に適した入力画像を得ることにある。
上記課題を解決すべく、以下の手段を採った。なお、後述する発明を実施するための形態の説明及び図面で使用した符号を参考のために括弧書きで付記するが、本発明の構成要素は該付記したものには限定されない。
第１の発明は、
撮像対象を表示する表示装置（表示部３００）と、撮像対象を撮像する撮像装置（撮像部５００）とを備える画像処理装置であって、
異なる撮像角度から撮像対象を撮像するためのガイドを前記表示装置に表示させるガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）と、
異なる撮像角度から撮像対象を撮像することにより得られた複数の画像を合成して合成画像を生成する画像合成手段（画像合成部１６０）と、
前記撮像装置の回転方向及び回転量を検出する第１検出手段と、
前記撮像装置の平行移動方向及び平行移動量を検出する第２検出手段と、
撮像位置の変更を抑制するための補助ガイドを前記表示装置に表示させる補助ガイド表示制御手段と、をさらに備え、
前記ガイドは、前記撮像装置を回転させて異なる撮像角度から撮像対象を撮像するよう示唆し、
前記ガイド表示制御手段は、前記撮像装置の回転方向及び回転量に応じて前記ガイドの表示態様を変化させ、
前記補助ガイド表示制御手段は、前記撮像装置の平行移動方向及び平行移動量に応じて前記補助ガイドの表示態様を変化させる画像処理装置である。
撮像対象を表示する表示装置（表示部３００）と、撮像対象を撮像する撮像装置（撮像部５００）とを備える画像処理装置であって、
異なる撮像角度から撮像対象を撮像するためのガイドを前記表示装置に表示させるガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）と、
異なる撮像角度から撮像対象を撮像することにより得られた複数の画像を合成して合成画像を生成する画像合成手段（画像合成部１６０）と、
前記撮像装置の回転方向及び回転量を検出する第１検出手段と、
前記撮像装置の平行移動方向及び平行移動量を検出する第２検出手段と、
撮像位置の変更を抑制するための補助ガイドを前記表示装置に表示させる補助ガイド表示制御手段と、をさらに備え、
前記ガイドは、前記撮像装置を回転させて異なる撮像角度から撮像対象を撮像するよう示唆し、
前記ガイド表示制御手段は、前記撮像装置の回転方向及び回転量に応じて前記ガイドの表示態様を変化させ、
前記補助ガイド表示制御手段は、前記撮像装置の平行移動方向及び平行移動量に応じて前記補助ガイドの表示態様を変化させる画像処理装置である。
また、第２の発明として、
第１の発明の画像処理装置であって、
前記ガイドは、前記撮像装置を回転させて異なる撮像角度から撮像対象を撮像するよう示唆する、
画像処理装置を構成してもよい。
第１の発明の画像処理装置であって、
前記ガイドは、前記撮像装置を回転させて異なる撮像角度から撮像対象を撮像するよう示唆する、
画像処理装置を構成してもよい。
また、第３の発明として、
第２の発明の画像処理装置であって、
前記撮像装置の回転方向及び回転量を検出する第１検出手段（動きセンサ７６０）をさらに備え、
前記ガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）は、前記撮像装置の回転方向及び回転量に応じて前記ガイドの表示態様を変化させる、
画像処理装置を構成してもよい。
第２の発明の画像処理装置であって、
前記撮像装置の回転方向及び回転量を検出する第１検出手段（動きセンサ７６０）をさらに備え、
前記ガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）は、前記撮像装置の回転方向及び回転量に応じて前記ガイドの表示態様を変化させる、
画像処理装置を構成してもよい。
また、第４の発明として、
第３の発明の画像処理装置であって、
前記ガイドは、前記合成画像を生成するために複数回の撮像により撮像すべき範囲である全体撮像範囲を示唆する第１画像（回転ガイド４１）を含む、
画像処理装置を構成してもよい。
第３の発明の画像処理装置であって、
前記ガイドは、前記合成画像を生成するために複数回の撮像により撮像すべき範囲である全体撮像範囲を示唆する第１画像（回転ガイド４１）を含む、
画像処理装置を構成してもよい。
また、第５の発明として、
第４の発明の画像処理装置であって、
前記第１画像（回転ガイド４１）は、前記全体撮像範囲を撮像するために必要な撮像回数を示唆する、
画像処理装置を構成してもよい。
第４の発明の画像処理装置であって、
前記第１画像（回転ガイド４１）は、前記全体撮像範囲を撮像するために必要な撮像回数を示唆する、
画像処理装置を構成してもよい。
また、第６の発明として、
第４の発明の画像処理装置であって、
前記ガイドは、現在の撮像範囲を示唆する第２画像（回転マーカー４２）をさらに含み、
前記ガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）は、前記撮像装置の回転方向及び回転量に応じて前記第１画像（回転ガイド４１）に対する前記第２画像（回転マーカー４２）の相対的位置を変化させる
画像処理装置を構成してもよい。
第４の発明の画像処理装置であって、
前記ガイドは、現在の撮像範囲を示唆する第２画像（回転マーカー４２）をさらに含み、
前記ガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）は、前記撮像装置の回転方向及び回転量に応じて前記第１画像（回転ガイド４１）に対する前記第２画像（回転マーカー４２）の相対的位置を変化させる
画像処理装置を構成してもよい。
また、第７の発明として、
第６の発明の画像処理装置であって、
前記第１画像（回転ガイド４１）に対する前記第２画像（回転マーカー４２）の相対的位置により、撮像装置を基準とした撮像角度を示唆する、
画像処理装置を構成してもよい。
第６の発明の画像処理装置であって、
前記第１画像（回転ガイド４１）に対する前記第２画像（回転マーカー４２）の相対的位置により、撮像装置を基準とした撮像角度を示唆する、
画像処理装置を構成してもよい。
また、第８の発明として、
第４の発明の画像処理装置であって、
前記ガイドは、撮像された画像の縮小画像（縮小画像４７）をさらに含み、
前記ガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）は、前記撮像装置の回転方向及び回転量に応じて前記第１画像（回転ガイド４１）に対する前記縮小画像の相対的位置を変化させる、
画像処理装置を構成してもよい。
第４の発明の画像処理装置であって、
前記ガイドは、撮像された画像の縮小画像（縮小画像４７）をさらに含み、
前記ガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）は、前記撮像装置の回転方向及び回転量に応じて前記第１画像（回転ガイド４１）に対する前記縮小画像の相対的位置を変化させる、
画像処理装置を構成してもよい。
また、第９の発明として、
第６の発明の画像処理装置であって、
前記第１画像（回転ガイド４１’）に対する前記第２画像（マーカー５１）の相対的位置により、ユーザーを基準とした撮像角度を示唆する
画像処理装置を構成してもよい。
第６の発明の画像処理装置であって、
前記第１画像（回転ガイド４１’）に対する前記第２画像（マーカー５１）の相対的位置により、ユーザーを基準とした撮像角度を示唆する
画像処理装置を構成してもよい。
また、第１０の発明として、
第６の発明の画像処理装置であって、
前記第１画像（回転ガイド４１、回転ガイド４１’）に対する前記第２画像（回転マーカー４２、マーカー５１）の相対的位置により撮像角度を示唆する場合において、撮像装置を基準とした撮像角度を示唆する場合とユーザーを基準とした撮像角度を示唆する場合とでは、前記表示装置に表示される画像の左右位置を反転させる
画像処理装置を構成してもよい。
第６の発明の画像処理装置であって、
前記第１画像（回転ガイド４１、回転ガイド４１’）に対する前記第２画像（回転マーカー４２、マーカー５１）の相対的位置により撮像角度を示唆する場合において、撮像装置を基準とした撮像角度を示唆する場合とユーザーを基準とした撮像角度を示唆する場合とでは、前記表示装置に表示される画像の左右位置を反転させる
画像処理装置を構成してもよい。
また、第１１の発明として、
第６の発明の画像処理装置であって、
前記第１画像（回転ガイド４１）は、前記全体撮像範囲を撮像するために必要な撮像回数に対応した複数のブロック（回転ガイドユニット４１ａ〜４１ｅ ）に区分されており、いずれのブロックに前記第２画像（回転マーカー４２）が位置するかに応じて撮像角度を示唆するものである、
画像処理装置を構成してもよい。
第６の発明の画像処理装置であって、
前記第１画像（回転ガイド４１）は、前記全体撮像範囲を撮像するために必要な撮像回数に対応した複数のブロック（回転ガイドユニット４１ａ〜４１ｅ ）に区分されており、いずれのブロックに前記第２画像（回転マーカー４２）が位置するかに応じて撮像角度を示唆するものである、
画像処理装置を構成してもよい。
また、第１２の発明として、
第１１の発明の画像処理装置であって、
前記第１画像（回転ガイド４１）は、前記複数のブロック（回転ガイドユニット４１ａ〜４１ｅ ）それぞれに関して、当該ブロックに対応した撮像順序を示唆するものである、
画像処理装置を構成してもよい。
第１１の発明の画像処理装置であって、
前記第１画像（回転ガイド４１）は、前記複数のブロック（回転ガイドユニット４１ａ〜４１ｅ ）それぞれに関して、当該ブロックに対応した撮像順序を示唆するものである、
画像処理装置を構成してもよい。
また、第１３の発明として、
第４の発明の画像処理装置であって、
前記表示装置に表示されている人物の顔領域を検出する顔領域検出手段をさらに備え、
前記ガイド表示制御手段は、前記顔領域検出手段により検出された顔領域を中心として前記全体撮像範囲が形成されるように、前記第１画像（回転ガイド４１）を設定する、
画像処理装置を構成してもよい。
第４の発明の画像処理装置であって、
前記表示装置に表示されている人物の顔領域を検出する顔領域検出手段をさらに備え、
前記ガイド表示制御手段は、前記顔領域検出手段により検出された顔領域を中心として前記全体撮像範囲が形成されるように、前記第１画像（回転ガイド４１）を設定する、
画像処理装置を構成してもよい。
また、第１４の発明として、
第４の発明の画像処理装置であって、
前記表示装置に表示されている人物の顔領域を検出する顔領域検出手段をさらに備え、
前記ガイド表示制御手段は、前記顔領域検出手段により検出された顔領域が複数存在する場合には、そのいずれかを中心として前記全体撮像範囲が形成されるように、前記第１画像（回転ガイド４１）を設定する、
画像処理装置を構成してもよい。
第４の発明の画像処理装置であって、
前記表示装置に表示されている人物の顔領域を検出する顔領域検出手段をさらに備え、
前記ガイド表示制御手段は、前記顔領域検出手段により検出された顔領域が複数存在する場合には、そのいずれかを中心として前記全体撮像範囲が形成されるように、前記第１画像（回転ガイド４１）を設定する、
画像処理装置を構成してもよい。
また、第１５の発明として、
第４の発明の画像処理装置であって、
前記表示装置に表示されている人物の顔領域を検出する顔領域検出手段をさらに備え、
前記ガイド表示制御手段は、前記顔領域検出手段により検出された顔領域が複数存在する場合には、両端の顔領域を少なくとも含む前記全体撮像範囲が形成されるように、前記第１画像（回転ガイド４１）を設定する、
画像処理装置を構成してもよい。
第４の発明の画像処理装置であって、
前記表示装置に表示されている人物の顔領域を検出する顔領域検出手段をさらに備え、
前記ガイド表示制御手段は、前記顔領域検出手段により検出された顔領域が複数存在する場合には、両端の顔領域を少なくとも含む前記全体撮像範囲が形成されるように、前記第１画像（回転ガイド４１）を設定する、
画像処理装置を構成してもよい。
また、第１６の発明として、
第３の発明の画像処理装置であって、
前記撮像装置は、前記表示装置（表示部３００、表示画面６３）が向く方向と同方向を撮像する第１撮像装置（インカメラ６２）と、前記表示装置（表示部３００、表示画面６３）が向く方向とは反対方向を撮像する第２撮像装置（アウトカメラ７２）を含むものであり、前記第１撮像装置（インカメラ６２）及び前記第２撮像装置（アウトカメラ７２）のいずれの撮像装置による撮像を行うかをユーザーが選択可能であり、
選択された撮像装置に応じて前記ガイドの表示態様が異なる、
画像処理装置を構成してもよい。
第３の発明の画像処理装置であって、
前記撮像装置は、前記表示装置（表示部３００、表示画面６３）が向く方向と同方向を撮像する第１撮像装置（インカメラ６２）と、前記表示装置（表示部３００、表示画面６３）が向く方向とは反対方向を撮像する第２撮像装置（アウトカメラ７２）を含むものであり、前記第１撮像装置（インカメラ６２）及び前記第２撮像装置（アウトカメラ７２）のいずれの撮像装置による撮像を行うかをユーザーが選択可能であり、
選択された撮像装置に応じて前記ガイドの表示態様が異なる、
画像処理装置を構成してもよい。
また、第１７の発明として、
第４の発明の画像処理装置であって、
前記撮像装置は、前記表示装置（表示部３００、表示画面６３）が向く方向と同方向を撮像する第１撮像装置（インカメラ６２）と、前記表示装置（表示部３００、表示画面６３）が向く方向とは反対方向を撮像する第２撮像装置（アウトカメラ７２）を含むものであり、前記第１撮像装置（インカメラ６２）及び前記第２撮像装置（アウトカメラ７２）のいずれの撮像装置による撮像を行うかをユーザーが選択可能であり、
前記全体撮像範囲は、前記第１撮像装置（インカメラ６２）による撮像範囲及び前記第２撮像装置（アウトカメラ７２）による撮像範囲の両方を含む撮像範囲である、
画像処理装置を構成してもよい。
第４の発明の画像処理装置であって、
前記撮像装置は、前記表示装置（表示部３００、表示画面６３）が向く方向と同方向を撮像する第１撮像装置（インカメラ６２）と、前記表示装置（表示部３００、表示画面６３）が向く方向とは反対方向を撮像する第２撮像装置（アウトカメラ７２）を含むものであり、前記第１撮像装置（インカメラ６２）及び前記第２撮像装置（アウトカメラ７２）のいずれの撮像装置による撮像を行うかをユーザーが選択可能であり、
前記全体撮像範囲は、前記第１撮像装置（インカメラ６２）による撮像範囲及び前記第２撮像装置（アウトカメラ７２）による撮像範囲の両方を含む撮像範囲である、
画像処理装置を構成してもよい。
また、第１８の発明として、
第３の発明の画像処理装置であって、
前記表示装置に表示されている人物の顔領域を検出する顔領域検出手段をさらに備え、
前記ガイド表示制御手段は、前記顔領域検出手段により検出された顔領域に基づいて前記ガイドの表示位置を設定する、
画像処理装置を構成してもよい。
第３の発明の画像処理装置であって、
前記表示装置に表示されている人物の顔領域を検出する顔領域検出手段をさらに備え、
前記ガイド表示制御手段は、前記顔領域検出手段により検出された顔領域に基づいて前記ガイドの表示位置を設定する、
画像処理装置を構成してもよい。
また、第１９の発明として、
第３の発明の画像処理装置であって、
前記ガイド表示制御手段は、前記表示装置（表示部３００、表示画面６３）が向く方向と同方向を撮像する第１撮像装置（インカメラ６２）の近傍に前記ガイドの表示位置を設定する、
画像処理装置を構成してもよい。
第３の発明の画像処理装置であって、
前記ガイド表示制御手段は、前記表示装置（表示部３００、表示画面６３）が向く方向と同方向を撮像する第１撮像装置（インカメラ６２）の近傍に前記ガイドの表示位置を設定する、
画像処理装置を構成してもよい。
また、第２０の発明として、
第３の発明の画像処理装置であって、
前記ガイド表示制御手段は、前記撮像装置が所定の回転量まで回転していない間は、前記ガイドを前記撮像対象よりも視認性が高い設定で表示する、
画像処理装置を構成してもよい。
第３の発明の画像処理装置であって、
前記ガイド表示制御手段は、前記撮像装置が所定の回転量まで回転していない間は、前記ガイドを前記撮像対象よりも視認性が高い設定で表示する、
画像処理装置を構成してもよい。
また、第２１の発明として、
第３の発明の画像処理装置であって、
前記撮像装置の平行移動方向及び平行移動量を検出する第２検出手段（動きセンサ７６０）をさらに備え、
前記ガイド表示制御手段は、前記撮像装置の平行移動方向及び平行移動量に応じて前記ガイドの表示態様を変化させる、
画像処理装置を構成してもよい。
第３の発明の画像処理装置であって、
前記撮像装置の平行移動方向及び平行移動量を検出する第２検出手段（動きセンサ７６０）をさらに備え、
前記ガイド表示制御手段は、前記撮像装置の平行移動方向及び平行移動量に応じて前記ガイドの表示態様を変化させる、
画像処理装置を構成してもよい。
また、第２２の発明として、
第３の発明の画像処理装置であって、
撮像位置の変更を抑制するための補助ガイド（中心ガイド４３、中心マーカー４４）を前記表示装置に表示させる補助ガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）をさらに備える、
画像処理装置を構成してもよい。
第３の発明の画像処理装置であって、
撮像位置の変更を抑制するための補助ガイド（中心ガイド４３、中心マーカー４４）を前記表示装置に表示させる補助ガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）をさらに備える、
画像処理装置を構成してもよい。
また、第２３の発明として、
第２２の発明の画像処理装置であって、
前記撮像装置の平行移動方向及び平行移動量を検出する第２検出手段（動きセンサ７６０）をさらに備え、
前記補助ガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）は、前記撮像装置の平行移動方向及び平行移動量に応じて前記補助ガイド（中心ガイド４３、中心マーカー４４）の表示態様を変化させる、
画像処理装置を構成してもよい。
第２２の発明の画像処理装置であって、
前記撮像装置の平行移動方向及び平行移動量を検出する第２検出手段（動きセンサ７６０）をさらに備え、
前記補助ガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）は、前記撮像装置の平行移動方向及び平行移動量に応じて前記補助ガイド（中心ガイド４３、中心マーカー４４）の表示態様を変化させる、
画像処理装置を構成してもよい。
また、第２４の発明として、
第２３の発明の画像処理装置であって、
前記補助ガイドは、前記撮像装置の平行移動方向及び平行移動量に応じて表示位置が変化しない第３画像（中心ガイド４３）と、前記撮像装置の平行移動方向及び平行移動量に応じて表示位置が変化する第４画像（中心マーカー４４）とを含む、
画像処理装置を構成してもよい。
第２３の発明の画像処理装置であって、
前記補助ガイドは、前記撮像装置の平行移動方向及び平行移動量に応じて表示位置が変化しない第３画像（中心ガイド４３）と、前記撮像装置の平行移動方向及び平行移動量に応じて表示位置が変化する第４画像（中心マーカー４４）とを含む、
画像処理装置を構成してもよい。
第２５の発明は、
撮像対象を表示する表示装置（表示部３００）と、撮像対象を撮像する撮像装置（撮像部５００）とを備える画像処理装置であって、
異なる撮像角度から撮像対象を撮像するためのガイドを前記表示装置に表示させるガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）と、
前記画像処理装置の外部に設けられた画像合成装置に接続可能な通信手段（通信部６００）をさらに備え、
前記画像合成装置は異なる撮像角度から撮像対象を撮像することにより得られた複数の画像を合成して合成画像を生成する、
画像処理装置である。
撮像対象を表示する表示装置（表示部３００）と、撮像対象を撮像する撮像装置（撮像部５００）とを備える画像処理装置であって、
異なる撮像角度から撮像対象を撮像するためのガイドを前記表示装置に表示させるガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）と、
前記画像処理装置の外部に設けられた画像合成装置に接続可能な通信手段（通信部６００）をさらに備え、
前記画像合成装置は異なる撮像角度から撮像対象を撮像することにより得られた複数の画像を合成して合成画像を生成する、
画像処理装置である。
第２６の発明は、
画像処理装置であって、
前記画像処理装置の外部に設けられた撮像対象を表示する表示装置（表示部３５）及び撮像対象を撮像する撮像装置（カメラ２０）に接続可能な通信手段と、
異なる撮像角度から撮像対象を撮像するためのガイドを前記表示装置に表示させるガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）と、
異なる撮像角度から撮像対象を撮像することにより得られた複数の画像を合成して合成画像を生成する画像合成手段（画像合成部１６０）と、
を備えた画像処理装置である。
画像処理装置であって、
前記画像処理装置の外部に設けられた撮像対象を表示する表示装置（表示部３５）及び撮像対象を撮像する撮像装置（カメラ２０）に接続可能な通信手段と、
異なる撮像角度から撮像対象を撮像するためのガイドを前記表示装置に表示させるガイド表示制御手段（撮像制御部１５０、ガイド表示設定部１８０）と、
異なる撮像角度から撮像対象を撮像することにより得られた複数の画像を合成して合成画像を生成する画像合成手段（画像合成部１６０）と、
を備えた画像処理装置である。
また、第２７の発明は、
撮像対象を表示する表示装置と、撮像対象を撮像する撮像装置と、
前記撮像装置の回転方向及び回転量に応じて表示態様を変化させることにより、前記撮像装置を回転させて異なる撮像角度から撮像対象を撮像するよう示唆するガイドを前記表示装置に表示させるガイド表示制御手段と、
前記撮像装置の回転方向及び回転量を検出する第１検出手段と、
異なる撮像角度から撮像対象を撮像することにより得られた複数の画像を合成して合成画像を生成する画像合成手段と、
を備える画像処理装置を着脱可能な固定機構及び該固定機構を回転動作させる回転制御機構を有する、
撮影補助機材である。
撮像対象を表示する表示装置と、撮像対象を撮像する撮像装置と、
前記撮像装置の回転方向及び回転量に応じて表示態様を変化させることにより、前記撮像装置を回転させて異なる撮像角度から撮像対象を撮像するよう示唆するガイドを前記表示装置に表示させるガイド表示制御手段と、
前記撮像装置の回転方向及び回転量を検出する第１検出手段と、
異なる撮像角度から撮像対象を撮像することにより得られた複数の画像を合成して合成画像を生成する画像合成手段と、
を備える画像処理装置を着脱可能な固定機構及び該固定機構を回転動作させる回転制御機構を有する、
撮影補助機材である。
第２８の発明は、
表示装置に撮像対象を表示させる表示ステップと、撮像装置により撮像対象を撮像する撮像ステップ（Ａ３５）とを含む画像処理方法であって、
異なる撮像角度から撮像対象を撮像するためのガイドを前記表示装置に表示させるガイド表示制御ステップ（Ａ１５）と、
異なる撮像角度から撮像対象を撮像することにより得られた複数の画像を合成して合成画像を生成する画像合成ステップ（Ａ５５）と、
前記撮像装置の回転方向及び回転量を検出する第１検出ステップと、
前記撮像装置の平行移動方向及び平行移動量を検出する第２検出ステップと、
撮像位置の変更を抑制するための補助ガイドを前記表示装置に表示させる補助ガイド表示制御ステップと、をさらに含み、
前記ガイドは、前記撮像装置を回転させて異なる撮像角度から撮像対象を撮像するよう示唆し、
前記ガイド表示制御ステップは、前記撮像装置の回転方向及び回転量に応じて前記ガイドの表示態様を変化させ、
前記補助ガイド表示制御ステップは、前記撮像装置の平行移動方向及び平行移動量に応じて前記補助ガイドの表示態様を変化させる画像処理方法である。
表示装置に撮像対象を表示させる表示ステップと、撮像装置により撮像対象を撮像する撮像ステップ（Ａ３５）とを含む画像処理方法であって、
異なる撮像角度から撮像対象を撮像するためのガイドを前記表示装置に表示させるガイド表示制御ステップ（Ａ１５）と、
異なる撮像角度から撮像対象を撮像することにより得られた複数の画像を合成して合成画像を生成する画像合成ステップ（Ａ５５）と、
前記撮像装置の回転方向及び回転量を検出する第１検出ステップと、
前記撮像装置の平行移動方向及び平行移動量を検出する第２検出ステップと、
撮像位置の変更を抑制するための補助ガイドを前記表示装置に表示させる補助ガイド表示制御ステップと、をさらに含み、
前記ガイドは、前記撮像装置を回転させて異なる撮像角度から撮像対象を撮像するよう示唆し、
前記ガイド表示制御ステップは、前記撮像装置の回転方向及び回転量に応じて前記ガイドの表示態様を変化させ、
前記補助ガイド表示制御ステップは、前記撮像装置の平行移動方向及び平行移動量に応じて前記補助ガイドの表示態様を変化させる画像処理方法である。
第２９の発明は、
表示装置に撮像対象を表示させる表示ステップと、撮像装置により撮像対象を撮像する撮像ステップ（Ａ３５）とを含む画像処理プログラムであって、
異なる撮像角度から撮像対象を撮像するためのガイドを前記表示装置に表示させるガイド表示制御ステップ（Ａ１５）と、
異なる撮像角度から撮像対象を撮像することにより得られた複数の画像を合成して合成画像を生成する画像合成ステップ（Ａ５５）と、
前記撮像装置の回転方向及び回転量を検出する第１検出ステップと、
前記撮像装置の平行移動方向及び平行移動量を検出する第２検出ステップと、
撮像位置の変更を抑制するための補助ガイドを前記表示装置に表示させる補助ガイド表示制御ステップと、をさらに含み、
前記ガイドは、前記撮像装置を回転させて異なる撮像角度から撮像対象を撮像するよう示唆し、
前記ガイド表示制御ステップは、前記撮像装置の回転方向及び回転量に応じて前記ガイドの表示態様を変化させ、
前記補助ガイド表示制御ステップは、前記撮像装置の平行移動方向及び平行移動量に応じて前記補助ガイドの表示態様を変化させる画像処理プログラムである。
表示装置に撮像対象を表示させる表示ステップと、撮像装置により撮像対象を撮像する撮像ステップ（Ａ３５）とを含む画像処理プログラムであって、
異なる撮像角度から撮像対象を撮像するためのガイドを前記表示装置に表示させるガイド表示制御ステップ（Ａ１５）と、
異なる撮像角度から撮像対象を撮像することにより得られた複数の画像を合成して合成画像を生成する画像合成ステップ（Ａ５５）と、
前記撮像装置の回転方向及び回転量を検出する第１検出ステップと、
前記撮像装置の平行移動方向及び平行移動量を検出する第２検出ステップと、
撮像位置の変更を抑制するための補助ガイドを前記表示装置に表示させる補助ガイド表示制御ステップと、をさらに含み、
前記ガイドは、前記撮像装置を回転させて異なる撮像角度から撮像対象を撮像するよう示唆し、
前記ガイド表示制御ステップは、前記撮像装置の回転方向及び回転量に応じて前記ガイドの表示態様を変化させ、
前記補助ガイド表示制御ステップは、前記撮像装置の平行移動方向及び平行移動量に応じて前記補助ガイドの表示態様を変化させる画像処理プログラムである。
パノラマ画像生成に使用する複数の入力画像の撮像において、ユーザーに対して撮像装置を回転させながら撮影を行う動作を誘導するために必要な報知機能として、撮像装置の表示部に撮像装置の回転方向及び回転量に対応したガイドを表示することにより、ユーザーがカメラを平行に移動させて撮影を行うことを防止し、良質なパノラマ画像生成に必要な画像の撮影を従来よりも容易に行うことが可能となる。
以下、図面を参照して、本発明を適用した好適な実施形態の一例について説明する。なお、図面の説明において同一の要素には同一の符号を付して、重複する説明を省略する場合がある。また、図面の寸法比率は、説明のものと必ずしも一致していない。また、本発明を適用可能な形態が、以下説明する実施形態に限定されるわけではないことは勿論である。
［１．画像処理装置］
本実施形態に係る画像処理装置は、順次に入力される入力画像を入力の度につなぎ合わせて一枚の合成画像を逐次生成する装置であって、例えば連続撮像された複数の画像をリアルタイムで継ぎ合わせ、１枚の撮影画像よりも広角なパノラマ画像を生成する場合に好適に採用されるものである。
本実施形態に係る画像処理装置は、順次に入力される入力画像を入力の度につなぎ合わせて一枚の合成画像を逐次生成する装置であって、例えば連続撮像された複数の画像をリアルタイムで継ぎ合わせ、１枚の撮影画像よりも広角なパノラマ画像を生成する場合に好適に採用されるものである。
本実施形態に係る画像処理装置は、例えば、スマートフォン等の携帯電話機、デジタルカメラ、タブレット端末、ＰＤＡ（Personal Digital Assistant）等、リソースに制限のあるモバイル端末に具備させることが可能であるが、これらに限られるものではなく、例えば通常のコンピュータシステムに具備させてもよい。
［１−１．構成及び原理］
本実施形態の画像処理装置は、ユーザーに対してパノラマ合成画像を得るために必要な撮影枚数及びカメラの動きをガイドするガイダンスを、撮像待機画面に表示する機能を有している。
ここで、本実施形態におけるガイド撮影機能とは、撮像待機画面に、現在のカメラの向き及び位置を示す現在位置マーカーと、撮影時のカメラの向き、位置及び必要撮影枚数を示す撮影ガイドとを表示し、ユーザーがカメラを動かして、現在位置マーカーを撮影ガイドに合わせたタイミングで撮影を行う機能である。
これにより、ユーザーは、好適なパノラマ合成画像を得るために必要な、複数枚の画像撮影を容易に行うことが可能となる。
本実施形態の画像処理装置は、ユーザーに対してパノラマ合成画像を得るために必要な撮影枚数及びカメラの動きをガイドするガイダンスを、撮像待機画面に表示する機能を有している。
ここで、本実施形態におけるガイド撮影機能とは、撮像待機画面に、現在のカメラの向き及び位置を示す現在位置マーカーと、撮影時のカメラの向き、位置及び必要撮影枚数を示す撮影ガイドとを表示し、ユーザーがカメラを動かして、現在位置マーカーを撮影ガイドに合わせたタイミングで撮影を行う機能である。
これにより、ユーザーは、好適なパノラマ合成画像を得るために必要な、複数枚の画像撮影を容易に行うことが可能となる。
図１は、本実施形態における画像処理装置１の機能構成の一例を示すブロック図である。
画像処理装置１は、入力部１０と、基準画像選択部１１と、マッチング部１２と、変換行列推定部１３と、位置合わせ部１４と、画像合成部１５と、撮像制御部３１と、ガイド表示設定部３２とを備える。これらは、画像処理装置１の処理部（処理装置）が有する機能部（機能ブロック）であり、処理部は、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。
画像処理装置１は、入力部１０と、基準画像選択部１１と、マッチング部１２と、変換行列推定部１３と、位置合わせ部１４と、画像合成部１５と、撮像制御部３１と、ガイド表示設定部３２とを備える。これらは、画像処理装置１の処理部（処理装置）が有する機能部（機能ブロック）であり、処理部は、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。
入力部１０は、カメラ２０により撮像された画像（以下、「撮影画像」という。）を入力する機能を有している。入力部１０は、例えば、撮影画像を撮像の度に入力する機能を有する。
入力部１０は、最初に入力した画像を、第１の一時記憶領域（以下、「出力画像用バッファ」という。）に保存する。また、入力部１０は、次回以降連続して入力される画像を、第２の一時記憶領域（以下、「入力画像用バッファ」という。）に保存する。
なお、第２の一時記憶領域に画像が保存されると、該画像の位置決めが行われるとともに該画像が描画対象であるか否かが判断され、描画対象の画像と判断された場合には、第１の一時記憶領域に格納された出力画像が合成により更新され上書き保存される。以下では、第１の一時記憶領域に格納された画像を合成画像Ｉｔ、第２の一時記憶領域に格納された画像を対象画像Ｉｃ（入力画像）として説明する。
基準画像選択部１１は、位置合わせ用の基準画像Ｉｒを選択する機能を有する。基準画像Ｉｒとは、対象画像Ｉｃの位置合わせの基準となる画像である。例えば、基準画像選択部１１は、入力済画像に関する情報を格納した入力済画像メモリ２５を参照可能に構成されている。入力済画像は、対象画像Ｉｃよりも前に入力部１０によって入力された画像であり、１又は複数の画像が入力済画像となる。すなわち、ｎ番目の対象画像ＩｃをＩｃ（ｎ−１）とすると、入力済画像は、Ｉｃ（ｎ−２），Ｉｃ（ｎ−３），…Ｉｃ０となる。基準画像選択部１１は、入力済画像が１枚の場合には、該画像Ｉｃ１を対象画像Ｉｃ２の基準画像Ｉｒ０として選択する。以降、所定条件を満たす場合を除き、基準画像選択部１１は、当該基準画像を変更しない。
所定条件には、例えば、基準画像Ｉｒと対象画像Ｉｃ（ｎ）との距離が所定値以上離れた場合として定めておくことができる。この場合、基準画像選択部１１は、対象画像Ｉｃ（ｎ）を次回の新たな対象画像Ｉｃ（ｎ＋１）の基準画像Ｉｒ（ｋ）として選択し、対象画像Ｉｃ（ｎ）に関する情報を入力済画像メモリ２５に保存する。対象画像Ｉｃ（ｎ）に関する情報とは、例えば、後述するマッチング部１２によって導出された特徴点の画素値及び位置情報のみであってもよい。このように、入力済画像メモリ２５に記録する情報を制限することで、基準画像Ｉｒそのものを保存する場合に比べて使用メモリ容量を削減することができる。
基準画像選択部１１は、対象画像Ｉｃ（ｎ＋１）を入力した際には、入力済画像メモリ２５を参照し、基準画像Ｉｒ（ｋ）として対象画像Ｉｃ（ｎ）を選択する。続いて、基準画像選択部１１は、基準画像Ｉｒに関する画像情報（少なくとも特徴点の画素情報及び位置情報を含む情報）をマッチング部１２に出力する。
マッチング部１２は、基準画像Ｉｒ及び対象画像Ｉｃの対応関係を取得する。マッチング部１２は、基準画像Ｉｒの特徴点及び対象画像Ｉｃの特徴点に関する情報を取得する。マッチング部１２は、例えば、特徴点の画素値に基づいて基準画像Ｉｒ及び対象画像Ｉｃの対応関係を取得する。マッチング方法としては、ブロックマッチング法や勾配法等の公知の手法を用いることができる。
なお、マッチング部１２が、基準画像Ｉｒ及び対象画像Ｉｃを多重解像度化した上でマッチングするようにしてもよい。例えば、マッチング部１２は、基準画像Ｉｒ及び対象画像Ｉｃの解像度をそれぞれ段階的に変更して、解像度の異なる複数の画像を生成する。そして、マッチング部１２は、最も解像度の小さい画像間で特徴点の平行移動量を取得し、より解像度の大きい画像間で特徴点のピクセル単位のマッチングを行うようにしてもよい。この場合、処理の高速化及び演算コストの低減を実現することができる。
マッチング部１２は、基準画像Ｉｒと対象画像Ｉｃとの対応関係が算出された特徴点のペアの位置情報（座標情報）を取得する。すなわち、マッチング部１２は、基準画像Ｉｒのある特徴点の位置情報と、当該特徴点に対応する対象画像Ｉｃの特徴点の位置情報とを、ペアにして取得する。この際、マッチング部１２は、後述する位置合わせ処理のために、特徴点のペアを複数取得する。
マッチング部１２は、取得した特徴点のペアを変換行列推定部１３に出力する。なお、前述した通り、基準画像選択部１１が当該対象画像Ｉｃを次回以降の基準画像Ｉｒとして追加する場合には、マッチング部１２は、対象画像Ｉｃの特徴点の画素値及び位置情報を基準画像選択部１１に出力する。
変換行列推定部１３は、マッチング部１２から出力される基準画像Ｉｒと対象画像Ｉｃとの対応関係に基づいて、基準画像Ｉｒの座標系と対象画像Ｉｃの座標系とを対応させる変換式である変換行列を推定する。
位置合わせ部１４は、変換行列推定部１３によって推定された変換行列を用いて、基準画像Ｉｒと対象画像Ｉｃとの位置合わせを行う。
一枚目の画像のみが入力されている場合には、当該画像が基準画像Ｉｒ０として選択される。そして、二枚目の画像（対象画像Ｉｃ）が入力された場合、位置合わせ部１４は、基準画像Ｉｒ０の位置を基準として、対象画像Ｉｃを位置合わせする。
ここで、位置合わせとは、基準画像Ｉｒ０の所定点（例えば中心Ｃ０）と、対象画像Ｉｃの所定点（例えば中心Ｃ１）との相対位置を決定することである。位置合わせ部１４は、マッチング部１２によって取得された特徴点のペアが互いに最も重なる位置を探索する。そして、基準画像Ｉｒ０と対象画像Ｉｃとの位置合わせが完了した場合には、互いに位置関係がリンクされた旨（リンクＲｅ１）を記録する。
例えば、８枚の入力画像の中心Ｃ０〜Ｃ７の間がリンクされている（リンクＲｅ１〜Ｒｅ７）場合は、基準画像選択部１１が基準画像Ｉｒを選択し、位置合わせ部１４がリンクを形成するという動作を繰り返すことで、８枚の画像を位置合わせしながら継ぎ合わせることができる。
なお、前述した通り、位置合わせ部１４によって位置合わせが完了し、基準画像Ｉｒ０と対象画像Ｉｃとの相対距離が所定値以上となっている場合には、基準画像選択部１１が該対象画像Ｉｃを次回以降の基準画像Ｉｒ１として追加する必要があるため、マッチング部１２は、対象画像Ｉｃの特徴点の画素値及び位置情報を基準画像選択部１１に出力する。
回転前のカメラ２０の撮像面をＳ０、回転後のカメラ２０の撮像面をＳ１とすると、撮像面Ｓ０と撮像面Ｓ１とが同一平面内に存在しない。このため、特徴点のペアを平行移動によって重ねた位置は、本来の重ね合わせ位置とは異なることになる。すなわち、位置合わせを行う場合には、カメラの動きを考慮して、基準画像Ｉｒの特徴点の位置と対象画像Ｉｃの特徴点の位置とが同一の三次元座標系上で一致するように位置合わせを行う必要がある。
上記の理由から、変換行列推定部１３が、基準画像Ｉｒ０の三次元の座標系と、対象画像Ｉｃの三次元の座標系とを一致させる変換行列を推定する。
ここで、変換行列推定部１３は、基準画像Ｉｒと対象画像Ｉｃとの間の動きがカメラ２０の回転運動のみであるとして、カメラ２０の動きを限定し、特徴点のペアの位置情報を用い変換式を推定する機能を有している。本実施形態において、変換行列推定部１３は、特徴点の二次元座標を三次元空間の球面に投影し、投影した座標の対応関係を用いて変換行列を推定し、推定した変換行列を位置合わせ部１４及び撮像制御部３１に出力する。
画像合成部１５は、変換行列推定部１３によって推定された変換行列を用いて、位置合わせ部１４によって三次元空間の球面上で位置合わせされた画像群を描画画像とし、この描画画像Ｉｄを二次元平面である合成平面Ｓｐに投影する。そして、描画画像を一枚の合成画像として表示部３５に出力すると共に、出力画像用バッファへ記録する。表示部３５は、画像合成部１５から出力された画像情報を表示する。
撮像制御部３１は、ガイド情報を設定する。カメラ２０に設けられた入力画面等において、ユーザーが自撮りガイド撮影モードを選択すると、その情報が入力部１０を介して撮像制御部３１に出力され、撮像制御部３１が、ガイド情報の設定処理を開始する。
撮像制御部３１は、例えば、パノラマ画像として生成する撮影の範囲（以下、「パノラマ撮像範囲」と称す。）と、撮影する枚数（以下、「撮影枚数」と称す。）と、撮影一回あたりのカメラ２０の回転角度（以下、「単位回転角度」と称す。）とを、ガイド情報として設定する。具体的には、例えば、パノラマ撮像範囲を「１５０度」の範囲に設定し、撮影枚数を「５枚」に設定し、単位回転角度を「３０度」に設定する。なお、単位回転角度は、カメラ２０の画角（カメラの撮影可能角度）より小さい角度であればよく、好ましくは、各撮影時の撮像範囲がそれぞれ１０度以上重なるようにするとよい。
撮像制御部３１から出力されたパノラマ撮像範囲、撮影枚数及び単位回転角度に基づいて、ガイド表示設定部３２は、撮影ガイド画像を生成し、カメラ２０の撮像待機画面に表示する。撮影ガイド画像は、後述するように、自装置を回動させながらカメラ２０を用いて撮影する方法を報知する態様で表示される。これによって、ユーザーは好適なカメラの動きを一見して把握することができる。また、報知に従ってカメラ２０を回転させて撮影を行うことで、良質なパノラマ画像生成に必要な撮影を行うことができる。
動きセンサ３０は、カメラ２０に内蔵又は付設されるセンサであり、ユーザーがカメラを動かした際のカメラ２０の動き情報を検出する。動きセンサ３０は、３軸の加速度を検出する加速度センサや、３軸の角速度を検出する角速度センサ（ジャイロセンサ）、これらのセンサをパッケージ化した慣性計測装置（ＩＭＵ：Inertial Measurement Unit）等のセンサユニットを有して構成される。動きセンサ３０は、加速度や角速度を動き情報として検出し、検出した動き情報を撮像制御部３１に出力する。動きセンサ３０によって検出される角速度や加速度を用いることで、カメラ２０の向き及び変位を検出することができる。
なお、画像処理装置１と外部装置間（例えばカメラ２０と入力部１０間、及び画像合成部１５と表示部３５間等）の通信方式としては、所定の通信規格に準拠したケーブルを介して有線接続する形式や、クレイドルと呼ばれる充電器と兼用の中間装置を介して接続する形式、近距離無線通信を利用して無線接続する形式等、種々の方式を適用可能である。
［１−２．処理］
［１−２．処理］
ユーザーがカメラ２０に設けられたボタン等を操作して一枚目の撮影を行うと、一枚目の撮影画像がカメラ２０から入力部１０に出力される。入力部１０は、撮像制御部３１に一枚目の撮影が終了したことを通知する撮影終了信号を出力する。
撮影終了信号によって一枚目の撮影終了を検知した撮像制御部３１は、一枚目の撮影時のカメラ位置及び向きを原点としたカメラの現在位置情報をガイド表示設定部３２に出力する。ガイド表示設定部３２は、カメラの現在位置情報を示すマーカー（以下、「現在位置マーカーと」称す。）を撮像待機画面に表示する。なお、ここでは、現在位置マーカーを一枚目の撮影後に表示するが、一枚目の撮影前に、撮影ガイド画像と共に表示しておいてもよい。その場合の現在位置マーカーは、一枚目の撮影位置を示す撮影ガイド画像に重なるように表示すればよい。
カメラ２０の現在位置情報は、動きセンサ３０からガイド撮像制御部３１に出力されるカメラ２０の動き情報によって随時更新される。更新された動き情報は、撮像待機画面に表示された現在位置マーカーの動きによってユーザーに報知される。
次いで、撮像制御部３１はガイド表示設定部３２を介して、撮影ガイド画像を二枚目の撮影ガイド画像に更新する。二枚目の撮影ガイド画像は、ユーザーに対してカメラ２０を回転させる方向及び回転量の目安を報知する態様となっている。例えば、上記のように単位回転角度を「３０度」に設定する場合、二枚目の撮影ガイドは、カメラが一枚目の撮影時から所定の方向に３０度回転した位置に対応した画像となる。
ユーザーは、撮像待機画面の現在位置マーカーが二枚目の撮影ガイド画像が示す位置に重なるようにカメラ２０を回転させる。撮像制御部３１は、動きセンサ３０から出力される動き情報に基づいて、カメラ２０が所定の角度（例えば３０度）回転したことを検知すると、ガイド表示設定部３２を介して、ユーザーに対して二枚目の撮影を促す報知を行う。ユーザーはその報知に基づいてカメラ２０に設けられたボタン等を操作して二枚目の撮影を行う。以下、同様に３枚目から５枚目までの撮影を行う。
なお、上記の説明では、撮影は全てユーザーの操作によって行うとして説明したが、カメラ２０が所定の角度回転したことを検知した撮像制御部３１が、カメラ２０に撮影指示信号を出力することで自動的に撮影を行うようにしてもよい。その際は、ユーザーがカメラ２０を回転させている途中で撮影が行われないように、ユーザーに対して撮影を行う旨の報知を行い、ユーザーが報知に従ってカメラ２０の回転を停止させたことを動きセンサ３０が検知した後に、撮影を行うようにすればよい。
また、上記の説明では、動きセンサ３０によってカメラ２０の動き情報を検出することとしたが、これに限定されるものではない。例えば、各画像の特徴点間の距離に基づいて、カメラ２０の動き情報を検出してもよい。以下、この方法について、図１を用いて説明する。
以下の説明では、一枚目の撮影画像（自撮り画像）を基準画像Ｉｒ０、二枚目以降の撮影画像を対象画像ＩｃＮ（Ｎ＝１、２・・・Ｎｍａｘ）として説明する。
二枚目以降の撮影画像ＩｃＮの位置は、上記のように基準画像Ｉｒ０からの回転角度設定によって、撮影前に予め設定されている。
二枚目以降の撮影画像ＩｃＮの位置は、上記のように基準画像Ｉｒ０からの回転角度設定によって、撮影前に予め設定されている。
カメラ２０は、カメラ２０内部のレンズに映る光信号を映像素子によって電気信号に変換して、入力部１０及び表示部３５に出力している。この画像情報は、表示部３５に撮像待機画面として表示される。この撮像待機画面はリアルタイム画像（随時または所定の時間間隔毎に更新される動画）である。
撮像待機画面に表示され、随時または所定の時間間隔毎に更新される動画の画像の一つを、現在画像ＩｃｔＭ（Ｍ＝Ｎ−１）とする。以下、現在画像Ｉｃｔ０（基準画像Ｉｒ０の撮影後から二枚目の撮影（Ｉｃ１の撮影）までの間に撮像待機画面にリアルタイムで表示されている画像）を用いて説明する。
撮像待機画面に表示され、随時または所定の時間間隔毎に更新される動画の画像の一つを、現在画像ＩｃｔＭ（Ｍ＝Ｎ−１）とする。以下、現在画像Ｉｃｔ０（基準画像Ｉｒ０の撮影後から二枚目の撮影（Ｉｃ１の撮影）までの間に撮像待機画面にリアルタイムで表示されている画像）を用いて説明する。
現在画像Ｉｃｔ０は、カメラ２０から入力部１０を介してマッチング部１２に出力され、マッチング部１２は、基準画像Ｉｒ０と現在画像Ｉｃｔ０の中心位置の座標情報をペアにして取得する。次に、マッチング部１２は取得した上記の中心座標ペアを変換行列推定部１３に出力し、変換行列推定部１３は基準画像Ｉｒ０の座標系と現在画像Ｉｃｔ０の座標系とを対応させる変換式である変換行列を推定する。
次に、変換行列推定部１３は、推定した変換行列を撮像制御部３１に出力する。
撮像制御部３１は、推定した変換行列に基づいて、基準画像Ｉｒ０と現在画像Ｉｃｔ０の位置合わせを行う。次いで、基準画像Ｉｒ０の特徴点（例えば中心座標）を所定角度（この場合は３０度）回転させた座標を算出し、その座標とＩｃｔ０の特徴点（例えば中心位置）の座標との距離が、所定値以下または所定値未満となった場合に、カメラが所定角度回転したと判定する。なお、この変換行列に基づく位置合わせ及びカメラの回転の判定を位置合わせ部１４で行い、判定結果を撮像制御部３１に出力するようにしてもよい。
以下、Ｉｃｔ１（二枚目の撮影から三枚目の撮影までの間に撮像待機画面にリアルタイムで表示されている画像）、Ｉｃｔ２についても同様である。
撮像制御部３１は、推定した変換行列に基づいて、基準画像Ｉｒ０と現在画像Ｉｃｔ０の位置合わせを行う。次いで、基準画像Ｉｒ０の特徴点（例えば中心座標）を所定角度（この場合は３０度）回転させた座標を算出し、その座標とＩｃｔ０の特徴点（例えば中心位置）の座標との距離が、所定値以下または所定値未満となった場合に、カメラが所定角度回転したと判定する。なお、この変換行列に基づく位置合わせ及びカメラの回転の判定を位置合わせ部１４で行い、判定結果を撮像制御部３１に出力するようにしてもよい。
以下、Ｉｃｔ１（二枚目の撮影から三枚目の撮影までの間に撮像待機画面にリアルタイムで表示されている画像）、Ｉｃｔ２についても同様である。
なお、上記に説明した動きセンサを用いる手法及び各画像の特徴点の座標を用いる手法を同時に使用し、カメラの動き検出の精度を向上させるようにしてもよい。
また、パノラマ撮像範囲、撮影枚数及び単位回転角度は、いくつかの設定の組み合わせを予め画像処理装置１又はカメラ２０の記憶部に記憶させておき、用途に応じてユーザーに選択させるようにすればよい。また、ユーザーが任意の数値を入力して設定できるようにしてもよい。その場合、設定不可能な数値が入力された場合（例えば使用するカメラの画角では撮影不可能な回転角度が入力された場合）には、その旨を入力エラーとして表示してユーザーに報知するようにすればよい。
［１−３．変形例］
以上説明した画像処理装置１は、本発明に係る画像処理装置の一例を示すものであるが、本発明に係る画像処理装置は、画像処理装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像処理装置を変形し、又は他のものに適用したものであってもよい。
以上説明した画像処理装置１は、本発明に係る画像処理装置の一例を示すものであるが、本発明に係る画像処理装置は、画像処理装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像処理装置を変形し、又は他のものに適用したものであってもよい。
例えば、上記の実施形態では、カメラ２０が静止画像を連続撮像する例を説明したが、カメラ２０は、動画を撮像するものであってもよい。この場合、入力部１０は、撮像された動画から連続する画像を抽出する機能を有していてもよい。また、入力部１０が入力する画像は、別の機器からネットワークを介して送信された画像であってもよい。
また、上記の実施形態では、カメラ２０により撮像された画像の大きさは同一であるとして説明したが、撮像された画像の大きさは撮像の度に異なる大きさであってもよい。
また、上記の実施形態では、画像処理装置１が、入力部１０、基準画像選択部１１、マッチング部１２、変換行列推定部１３、位置合わせ部１４、画像合成部１５、撮像制御部３１、及びガイド表示設定部３２を備える構成として説明したが、要求される性能に応じて、これらの構成を適宜変更してもよい。
例えば、画像処理装置１が、入力部１０、撮像制御部３１、及びガイド表示設定部３２を備える構成とし、画像処理装置１に接続された外部サーバー等の情報処理端末に、画像合成に係る機能、すなわち、基準画像選択部１１、マッチング部１２、変換行列推定部１３、位置合わせ部１４、及び画像合成部１５に相当する機能を備えるようにする。この場合は、カメラ２０により撮像された画像情報は画像処理装置１の入力部１０及び通信回線を介して外部サーバーに出力され、外部サーバーが画像情報を用いて画像合成処理を行い、外部サーバーで生成された合成画像は通信回線を介して表示部３５に出力する構成とすればよい。
例えば、画像処理装置１が、入力部１０、撮像制御部３１、及びガイド表示設定部３２を備える構成とし、画像処理装置１に接続された外部サーバー等の情報処理端末に、画像合成に係る機能、すなわち、基準画像選択部１１、マッチング部１２、変換行列推定部１３、位置合わせ部１４、及び画像合成部１５に相当する機能を備えるようにする。この場合は、カメラ２０により撮像された画像情報は画像処理装置１の入力部１０及び通信回線を介して外部サーバーに出力され、外部サーバーが画像情報を用いて画像合成処理を行い、外部サーバーで生成された合成画像は通信回線を介して表示部３５に出力する構成とすればよい。
［２．実施例］
次に、上記の画像処理装置１を備える電子機器の一例として、スマートフォン２の実施例について説明する。但し、本発明を適用可能な実施例が、以下説明する実施例に限定されるわけでないことは勿論である。
次に、上記の画像処理装置１を備える電子機器の一例として、スマートフォン２の実施例について説明する。但し、本発明を適用可能な実施例が、以下説明する実施例に限定されるわけでないことは勿論である。
［２−１．機能構成］
図２は、本発明のスマートフォン２の一構成例を示した斜視図である。
図２（ａ）には、スマートフォン２の筐体６０の前面６１が示され、図２（ｂ）には、スマートフォン２の筐体６０の背面７１が示されている。
スマートフォン２は、筐体６０、インカメラ６２、アウトカメラ７２、表示画面（タッチパネル）６３、操作ボタン６４、音声出力を行うスピーカー７３、フラッシュライト７４等から構成される。
インカメラ６２、表示画面（タッチパネル）６３、及び操作ボタン６４は、筐体６０の前面６１に設けられ、アウトカメラ７２、スピーカー７３、及びフラッシュライト７４は、筐体６０の背面に設けられている。
表示画面（タッチパネル）６３は、例えばＬＣＤ（液晶ディスプレイ）から成る表示画面を有する表示装置と、表示画面に対するタッチ操作を検出するタッチセンサにより構成される。
操作ボタン６４は、筐体５０に物理的に設けられ、ユーザーの押し下げ操作によって、予め割り当てられている機能を実行する。または操作ボタン６４をタッチパネル上にアイコン形状で表示し、ユーザーのタッチ操作によって操作するようにしてもよい。
図２は、本発明のスマートフォン２の一構成例を示した斜視図である。
図２（ａ）には、スマートフォン２の筐体６０の前面６１が示され、図２（ｂ）には、スマートフォン２の筐体６０の背面７１が示されている。
スマートフォン２は、筐体６０、インカメラ６２、アウトカメラ７２、表示画面（タッチパネル）６３、操作ボタン６４、音声出力を行うスピーカー７３、フラッシュライト７４等から構成される。
インカメラ６２、表示画面（タッチパネル）６３、及び操作ボタン６４は、筐体６０の前面６１に設けられ、アウトカメラ７２、スピーカー７３、及びフラッシュライト７４は、筐体６０の背面に設けられている。
表示画面（タッチパネル）６３は、例えばＬＣＤ（液晶ディスプレイ）から成る表示画面を有する表示装置と、表示画面に対するタッチ操作を検出するタッチセンサにより構成される。
操作ボタン６４は、筐体５０に物理的に設けられ、ユーザーの押し下げ操作によって、予め割り当てられている機能を実行する。または操作ボタン６４をタッチパネル上にアイコン形状で表示し、ユーザーのタッチ操作によって操作するようにしてもよい。
図３は、スマートフォン２の機能構成の一例を示すブロック図である。
スマートフォン２は、処理部１００と、操作部２００と、表示部３００と、音出力部４００と、撮像部５００と、通信部６００と、時計部７００と、記憶部８００と、振動部７５０と、動きセンサ７６０とを備える。
スマートフォン２は、処理部１００と、操作部２００と、表示部３００と、音出力部４００と、撮像部５００と、通信部６００と、時計部７００と、記憶部８００と、振動部７５０と、動きセンサ７６０とを備える。
処理部１００は、記憶部８００に記憶されているシステムプログラム等の各種プログラムに従ってスマートフォン２の各部を統括的に制御したり、画像処理に係る各種の処理を行う処理装置であり、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。
処理部１００は、主要な機能部として、基準画像選択部１１０と、マッチング部１２０と、変換行列推定部１３０と、位置合わせ部１４０と、画像合成部１６０と、表示制御部１７０と撮像制御部１５０と、ガイド表示制御部１８０とを有する。これらの機能部は、図１の画像処理装置１が備える機能部にそれぞれ対応するものである。
処理部１００は、主要な機能部として、基準画像選択部１１０と、マッチング部１２０と、変換行列推定部１３０と、位置合わせ部１４０と、画像合成部１６０と、表示制御部１７０と撮像制御部１５０と、ガイド表示制御部１８０とを有する。これらの機能部は、図１の画像処理装置１が備える機能部にそれぞれ対応するものである。
操作部２００は、操作ボタンや操作スイッチ、マウスといった、ユーザーがスマートフォン２に対する各種の操作入力を行うための入力装置を有して構成される。また、操作部２００は、表示部３００と一体的に構成されたタッチパネル２５０を有し、このタッチパネル２５０はユーザーとスマートフォン２との間の入力インターフェースとして機能する。操作部２００からは、ユーザー操作に従った操作信号が処理部１００に出力される。
表示部３００は、ＬＣＤ（Liquid Crystal Display）等を有して構成される表示装置であり、処理部１００から出力される表示信号に基づいた各種の表示を行う。表示部３００は、タッチパネル２５０と一体的に構成されてタッチスクリーンを形成している。表示部３００には、撮影画像や修正画像等の各種の画像が表示される。
音出力部４００は、スピーカ等を有して構成される音出力装置であり、処理部１００から出力される音出力信号に基づいた各種の音出力を行う。
撮像部５００は、任意のシーンの画像を撮影可能に構成された撮像装置であり、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary MOS）イメージセンサ等の撮像素子を有して構成される。撮像部５００は、光信号を電気信号に変換し、デジタル化した撮影画像のデータを処理部１００に出力する。
撮像部５００は、スマートフォン２の表示部３００側に備えられたインカメラ６２及びその反対側に備えられたアウトカメラ７２を撮像装置として備えている。
インカメラ６２とアウトカメラ７２は、ユーザー入力等によって切替可能に構成されている。インカメラ６２は、主に、スマートフォン２を保持するユーザーがユーザー自身を撮影する自撮りや、グループ撮影用に使用される。アウトカメラ７２は、ユーザー以外の人物や風景を撮影するために使用される。
撮像部５００は、スマートフォン２の表示部３００側に備えられたインカメラ６２及びその反対側に備えられたアウトカメラ７２を撮像装置として備えている。
インカメラ６２とアウトカメラ７２は、ユーザー入力等によって切替可能に構成されている。インカメラ６２は、主に、スマートフォン２を保持するユーザーがユーザー自身を撮影する自撮りや、グループ撮影用に使用される。アウトカメラ７２は、ユーザー以外の人物や風景を撮影するために使用される。
通信部６００は、装置内部で利用される情報を外部の情報処理装置との間で送受するための通信装置である。通信部６００の通信方式としては、所定の通信規格に準拠したケーブルを介して有線接続する形式や、クレイドルと呼ばれる充電器と兼用の中間装置を介して接続する形式、近距離無線通信を利用して無線接続する形式等、種々の方式を適用可能である。なお、以下の実施例においてスマートフォン２の表示部３００に表示される画像は、通信部６００を介してスマートフォン２に有線又は無線接続された外部の表示端末装置に表示させてもよい。
時計部７００は、スマートフォン２の内部時計であり、例えば水晶振動子及び発振回路である水晶発振器を有して構成される。時計部７００の計時時刻は、処理部１００に随時出力される。
記憶部８００は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ＲＡＭ等の揮発性又は不揮発性のメモリや、ハードディスク装置等を有して構成される記憶装置である。記憶部８００は、処理部１００がスマートフォン２を制御するためのシステムプログラムや、各種の画像処理を行うためのプログラムやデータを記憶する。
本実施例において、記憶部８００には、処理部１００により読み出され、カメラモード処理として実行されるカメラモード処理プログラム８１０が記憶されている。カメラモード処理プログラム８１０は、画像生成処理として実行される画像生成プログラム８１１をサブルーチンとして含む。
また、記憶部８００には、撮像部５００から処理部１００に入力された撮影画像の画像情報が入力済画像として格納される入力済画像データベース８３０と、順次に入力される撮影画像が一時的に格納される入力画像用バッファ８５０と、最終的に生成された合成画像が格納される出力画像用バッファ８７０とが含まれる。
振動部７５０は、モーター等を有して構成される振動発生装置であり、処理部１００から出力される振動発生信号に基づいた各種の振動発生を行う。この装置は、ユーザーへの報知手段の一例として、スマートフォン２を振動させる際に使用される。
動きセンサ７６０は、スマートフォン２の動き情報を検出可能に構成されたセンサである。動きセンサ７６０は、スマートフォン２の動き情報を電気信号に変換したデータを処理部１００に出力する。
撮像制御部１５０は、後述するスマートフォン２の自撮りガイド撮影モードに係る処理等を制御する機能部であり、操作部２００、撮像部５００、マッチング部１２０、変換行列推定部１３０及び動きセンサ７６０等から出力されたデータを処理して、ガイド表示設定部１８０、表示部３００、音出力部４００、撮像部５００及び振動部７５０に出力する。
ガイド表示設定部１８０は、撮像制御部１５０から出力されたデータに基づいて、ガイド画像等を生成し、それらを表示部３００に出力する。
［２−２．処理］
図４は、スマートフォン２の処理部１００が、記憶部８００に記憶されているカメラモード処理プログラム８１０に従って実行するカメラモード処理の流れの一例を示すフローチャートである。このカメラモード処理は、ユーザーによりカメラのアプリケーションが起動されることにより実行される処理である。
図４は、スマートフォン２の処理部１００が、記憶部８００に記憶されているカメラモード処理プログラム８１０に従って実行するカメラモード処理の流れの一例を示すフローチャートである。このカメラモード処理は、ユーザーによりカメラのアプリケーションが起動されることにより実行される処理である。
最初に、処理部１００は、ユーザーにより操作部２００を介して選択されたモードが自撮りガイド撮影モードであるか否かを判定する（Ａ１０）。自撮りガイド撮影モードが選択された場合（Ａ１０;Ｙｅｓ）、撮像制御部１５０が、パノラマ撮像範囲、撮影枚数及び単位回転角度を設定し、各設定値をガイド表示設定部１８０に出力する。ガイド表示設定部１８０は、各設定値情報に基づいて、以下に説明する撮影ガイド画像及び現在位置マーカー画像を生成し、表示部３００の撮像待機画面に表示する（Ａ１５）。
なお、顔領域検出処理を行う場合は、自撮りガイド撮影モード選択（Ａ１０）と自撮りガイド撮影設定（Ａ１５）の間に、顔領域検出を行うステップを設ければよい。
なお、顔領域検出処理を行う場合は、自撮りガイド撮影モード選択（Ａ１０）と自撮りガイド撮影設定（Ａ１５）の間に、顔領域検出を行うステップを設ければよい。
自撮りガイド撮影モードの撮像待機画面は、現在画像、撮影ガイド画像、及び現在位置マーカー画像から構成される。現在画像は、所定の時間間隔毎に更新されるいわゆるリアルタイム画像である。撮像部５００（自撮りガイド撮影モード時はインカメラ６２）に設けられたレンズを介して映像センサに入射した光信号は、映像素子によって電気信号に変換された後に随時処理部１００に出力され、表示制御部１９０によって表示部３００に表示される。以降、現在画像は、Ａ１５で設定される撮影枚数（例えば５枚）の撮影が終了するまで随時更新される。
撮影ガイド画像は、ユーザーに対してスマートフォン２を所定の角度まで回動させることを促す報知と、撮影枚数及び撮影順番等とを報知するための画像である。また、現在位置マーカー画像は、スマートフォン２の現在位置情報を報知するための画像である。
ユーザーは、撮像待機画面を視認しながらスマートフォン２を持つ腕を前方に伸ばし、スマートフォン２の撮像部５００をユーザー自身の方向に向ける。続いて、操作部２００に設けられたボタン等を操作することで、一枚目の撮影が行われる（Ａ３５）。なお、一枚目はユーザーの自撮り画像のため、回転検出処理（Ａ２０）から撮影を促す報知（Ａ３０）までの処理は省略される。また、この場合、現在位置マーカー画像の表示は省略可能である。
撮像部５００による撮像が終了すると、表示制御部１９０は、撮像された撮影画像を表示部３００に表示する（Ａ４０）。
この際、撮影画像を閲覧したユーザーが画像の撮り直しをしたい場合は、ユーザーが操作部２００に設けられたボタン等を操作して、Ａ３５に戻り、撮像部５００に再び１枚の画像を撮像させる撮像処理を行うようにしてもよい。
この際、撮影画像を閲覧したユーザーが画像の撮り直しをしたい場合は、ユーザーが操作部２００に設けられたボタン等を操作して、Ａ３５に戻り、撮像部５００に再び１枚の画像を撮像させる撮像処理を行うようにしてもよい。
次に、撮影枚数が、Ａ１５において設定した撮影枚数未満である場合（Ａ４５；Ｎｏ）、処理部１００は、Ａ１５に処理を戻す。そして、撮像制御部１５０は、撮影ガイド画像を二枚目の撮影ガイド画像に更新し、ユーザーに対して二枚目の撮影を行う回転角度（以下、撮像回転角度と称する）までスマートフォン２を回転させることを促す報知を行う（Ａ１５）。
ユーザーは、報知内容に従って、撮像待機画面の現在位置マーカー画像が二枚目の撮影ガイド画像の示す位置に重なるように、スマートフォン２を回転させる。撮像制御部１５０は、動きセンサ７６０から出力される動き情報に基づいてスマートフォン２の回転検出処理を実行する（Ａ２０）。そして、スマートフォン２がＡ１５で設定された所定の角度（例えば３０度）回転したことを検知すると（Ａ２５；Ｙｅｓ）、撮像制御部１５０はガイド表示設定部１８０を介して、ユーザーに対して二枚目の撮影を促す報知を行う（Ａ３０）。
続いて、ユーザーが操作部２００に設けられたボタン等を操作して二枚目の撮影を行う（Ａ３５）。以下、同様に３枚目以降の撮影が行われる。Ａ１５で設定した撮影枚数（５枚）の撮影が終了すると（Ａ４５；ＹＥＳ）、次いで、処理部１００は、操作部２００を介してユーザーによりパノラマ画像を生成する実行操作がなされたか否かを判定し（Ａ５０）、なされなかったと判定した場合には（Ａ５０；Ｎｏ）、Ａ１５に戻り、再び自撮りガイド撮影設定が行われる。
一方、ユーザーによりパノラマ画像を生成する実行操作がなされたと判定したならば（Ａ５０；Ｙｅｓ）、処理部１００は、記憶部８００に記憶されている画像生成プログラム８１１に従って、画像生成処理を実行する（Ａ５５）。
次いで、表示制御部１９０は、画像生成処理で生成された合成画像をパノラマ画像として表示部３００に表示制御する（Ａ６０）。その後、ユーザーにより自撮りガイド撮影モードを終了する操作がなされたか否かを判定し（Ａ６５）、操作がなされなかったと判定したならば（Ａ６５；Ｎｏ）、Ａ１５へと処理を戻す。
一方、Ａ１０において自撮りガイド撮影モードが選択されなかったと判定したならば（Ａ１０；Ｎｏ）、処理部１００は、通常撮影モード処理を行う（Ａ１００）。通常撮影モード処理では、処理部１００は、操作部２００に対するユーザーの撮影操作に応じて撮像部５００に１枚の画像の撮像を行わせ、撮像された撮影画像を記憶部８００に記憶させて、表示部３００に表示させる。
Ａ６５において自撮りガイド撮影モードを終了する操作がなされたと判定した場合（Ａ６５；Ｙｅｓ）、又は、Ａ１００の通常撮影モード処理の実行後、処理部１００は、ユーザーによりカメラモードを終了する操作がなされたか否かを判定し（Ａ７０）、終了する操作がなされなかったと判定したならば（Ａ７０；Ｎｏ）、Ａ１０に処理を戻す。一方、終了する操作がなされたと判定したならば（Ａ７０；Ｙｅｓ）、カメラモード処理を終了する。
なお、上記の説明では、撮影は全てユーザーのボタン操作等によって行うとしたが、動きセンサ７６０によって検出した回転角度に基づいて、スマートフォン２の向きが撮影ガイドに示される撮像方向と一致（スマートフォン２が所定の角度回転）したことを検知した撮像制御部１５０が、撮像部５００に撮影指示信号を出力することで自動的に撮影を行ってもよい。その際は、ユーザーがスマートフォン２を回転させている途中で撮影が行われないように、スマートフォン２が所定の時間（例えば１秒間）停止したことを動きセンサ７６０が検出した後に、自動的に撮影を行うように設定すると好適である。
また、スマートフォン２が所定の角度回転（例えば３０度）したことを動きセンサ７６０によって検知した撮像制御部１５０が、ユーザーに対して回転動作の停止を誘導する報知を行い、その後スマートフォン２が所定の時間（例えば１秒間）停止したことを検知した撮像制御部１５０が撮像部５００に撮影指示信号を出力することで、自動的に撮影を行うように設定してもよい。また、上記の回転動作の停止を誘導する報知は、所定の角度回転（例えば３０度）したときだけで無く、所定の回転角度に対して所定範囲まで近づいたとき（例えば３０度に対して２５度まで回転したとき）に行うようにしてもよい。また、所定の回転角度に達したときと、所定の回転角度に対して所定範囲まで近づいたときとでは、異なる態様の報知を行うようにしてもよい。上記のように自動的に撮影が行われる場合は、ユーザーに撮影操作を促す報知（Ａ３０）は省略される。
また、スマートフォン２が所定の角度回転（例えば３０度）したことを動きセンサ７６０によって検知した撮像制御部１５０が、ユーザーに対して回転動作の停止を誘導する報知を行い、その後スマートフォン２が所定の時間（例えば１秒間）停止したことを検知した撮像制御部１５０が撮像部５００に撮影指示信号を出力することで、自動的に撮影を行うように設定してもよい。また、上記の回転動作の停止を誘導する報知は、所定の角度回転（例えば３０度）したときだけで無く、所定の回転角度に対して所定範囲まで近づいたとき（例えば３０度に対して２５度まで回転したとき）に行うようにしてもよい。また、所定の回転角度に達したときと、所定の回転角度に対して所定範囲まで近づいたときとでは、異なる態様の報知を行うようにしてもよい。上記のように自動的に撮影が行われる場合は、ユーザーに撮影操作を促す報知（Ａ３０）は省略される。
また、上記の説明では、動きセンサ７６０によってスマートフォン２の動き情報を検知することとしたが（Ａ２０）、これに限定されるものではなく、［１−２．処理］で説明したように、画像の特徴点間の距離に基づいてスマートフォン２の動きを検知してもよい。また、動きセンサ７６０による検知と特徴点間の距離に基づく検知の両方を使用してもよい。
（外部サーバーの活用）
また、上記の実施例では、スマートフォン２の処理部１００は、基準画像選択部１１０、マッチング部１２０、変換行列推定部１３０、位置合わせ部１４０、画像合成部１６０、表示制御部１７０、撮像制御部１５０、及びガイド表示制御部１８０とを有する構成として説明したが、これらの構成を適宜変更してもよい。
例えば、スマートフォン２の処理部１００が、撮像制御部１５０、表示制御部１７０、及びガイド表示設定部１８０を備える構成とし、スマートフォン２の外部に設けられたサーバー等の情報端末に、画像合成に係る機能、すなわち、基準画像選択部１１０、マッチング部１２０、変換行列推定部１３０、位置合わせ部１４０、及び画像合成部１６０に想到する機能を備えるようにする。撮像部５００により撮像された画像情報は通信部６００及び通信回線を介して外部サーバーに出力され、外部サーバーが画像情報を用いて画像合成処理を行う。外部サーバーで生成された合成画像は通信部６００及び通信回線を介してスマートフォン２の表示部３００に出力される。
スマートフォン２から外部サーバーへの画像情報の出力は、撮像毎、所定の撮像枚数毎、所定の時間毎、またはスマートフォン２が外部サーバーへ接続可能となった状態になった際等に、撮像制御部１５０からの出力コマンドに基づいて行うように設定すればよい。例えば、撮影ガイド画像に従って所定枚数の撮像が終了したタイミングで、画像情報の出力を行うようにすると好適である。また、外部サーバーによる画像合成処理は、所定枚数分の画像情報が入力されたタイミングで自動的に行うように設定すればよい。または、撮像制御部１５０が、例えば撮影ガイド画像に従って所定枚数の撮像が終了したタイミングで、画像合成処理コマンドを外部サーバーに送信するようにしてもよい。また、外部サーバーからの合成画像の出力及び表示は、合成画像の生成終了後に自動的に行ってもよく、例えばスマートフォン２の操作部２００をユーザーが操作することよって行うように設定してもよい。
このように、撮影画像の枚数や画素数に応じてデータ処理量が大きくなる画像合成処理を外部サーバーで行うことにより、スマートフォン２のデータ処理量を低減することが可能となる。また、画像合成処理における位置合わせ処理はデータ処理の負荷が大きいため、スマートフォン２等の携帯端末に搭載の処理部（ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路）のデータ処理能力では、高速に画像合成処理をする場合において、大まかに位置合わせされた合成画像を生成せざるを得ない場合がある。上記のように携帯端末よりも大幅にデータ処理能力の高いサーバーで画像合成処理を行うことによって、高速且つ正確に位置合わせされた合成画像を得ることが可能となる。
また、上記の実施例では、スマートフォン２の処理部１００は、基準画像選択部１１０、マッチング部１２０、変換行列推定部１３０、位置合わせ部１４０、画像合成部１６０、表示制御部１７０、撮像制御部１５０、及びガイド表示制御部１８０とを有する構成として説明したが、これらの構成を適宜変更してもよい。
例えば、スマートフォン２の処理部１００が、撮像制御部１５０、表示制御部１７０、及びガイド表示設定部１８０を備える構成とし、スマートフォン２の外部に設けられたサーバー等の情報端末に、画像合成に係る機能、すなわち、基準画像選択部１１０、マッチング部１２０、変換行列推定部１３０、位置合わせ部１４０、及び画像合成部１６０に想到する機能を備えるようにする。撮像部５００により撮像された画像情報は通信部６００及び通信回線を介して外部サーバーに出力され、外部サーバーが画像情報を用いて画像合成処理を行う。外部サーバーで生成された合成画像は通信部６００及び通信回線を介してスマートフォン２の表示部３００に出力される。
スマートフォン２から外部サーバーへの画像情報の出力は、撮像毎、所定の撮像枚数毎、所定の時間毎、またはスマートフォン２が外部サーバーへ接続可能となった状態になった際等に、撮像制御部１５０からの出力コマンドに基づいて行うように設定すればよい。例えば、撮影ガイド画像に従って所定枚数の撮像が終了したタイミングで、画像情報の出力を行うようにすると好適である。また、外部サーバーによる画像合成処理は、所定枚数分の画像情報が入力されたタイミングで自動的に行うように設定すればよい。または、撮像制御部１５０が、例えば撮影ガイド画像に従って所定枚数の撮像が終了したタイミングで、画像合成処理コマンドを外部サーバーに送信するようにしてもよい。また、外部サーバーからの合成画像の出力及び表示は、合成画像の生成終了後に自動的に行ってもよく、例えばスマートフォン２の操作部２００をユーザーが操作することよって行うように設定してもよい。
このように、撮影画像の枚数や画素数に応じてデータ処理量が大きくなる画像合成処理を外部サーバーで行うことにより、スマートフォン２のデータ処理量を低減することが可能となる。また、画像合成処理における位置合わせ処理はデータ処理の負荷が大きいため、スマートフォン２等の携帯端末に搭載の処理部（ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路）のデータ処理能力では、高速に画像合成処理をする場合において、大まかに位置合わせされた合成画像を生成せざるを得ない場合がある。上記のように携帯端末よりも大幅にデータ処理能力の高いサーバーで画像合成処理を行うことによって、高速且つ正確に位置合わせされた合成画像を得ることが可能となる。
また、上記の実施例では、スマートフォン２の記憶部８００には、撮像部５００から処理部１００に入力された撮影画像の画像情報が入力済画像として格納される入力済画像データベース８３０と、順次に入力される撮影画像が一時的に格納される入力画像用バッファ８５０と、最終的に生成された合成画像が格納される出力画像用バッファ８７０とが含まれるとして説明したが、合成画像はスマートフォン２に接続された外部サーバーの記憶部に保存するようにしてもよい。このようにすることにより、スマートフォン２の記憶部８００の記憶容量を低減することができる。
また、合成画像の表示は、スマートフォン２の表示部３００に限らず、外部サーバーと有線又は無線接続された外部の表示端末装置に表示させるようにしてもよい。外部の表示端末装置への合成画像の表示は、スマートフォン２の操作部２００をユーザーが操作することによって行ってもよく、スマートフォン２の操作及び処理を介さずに外部の表示端末装置から外部サーバーの記憶部に保存されている合成画像を読み出して表示するようにしてもよい。このようにすることにより、スマートフォン２で別の作業を行っている場合でも、外部の表示端末で合成画像を参照することができる。また、ユーザーはスマートフォン２の表示部３００よりも大きな外部の表示端末画面で合成画像を参照することができる。また、スマートフォン２の操作及び処理を介さずに外部の表示端末装置から合成画像を参照可能とすることにより、例えばユーザーは過去に撮像した画像から生成された合成画像を参照し、それを参考としながら次の撮像ガイド画像の設定及び撮像操作を行うことが可能となる。
また、合成画像の表示は、スマートフォン２の表示部３００に限らず、外部サーバーと有線又は無線接続された外部の表示端末装置に表示させるようにしてもよい。外部の表示端末装置への合成画像の表示は、スマートフォン２の操作部２００をユーザーが操作することによって行ってもよく、スマートフォン２の操作及び処理を介さずに外部の表示端末装置から外部サーバーの記憶部に保存されている合成画像を読み出して表示するようにしてもよい。このようにすることにより、スマートフォン２で別の作業を行っている場合でも、外部の表示端末で合成画像を参照することができる。また、ユーザーはスマートフォン２の表示部３００よりも大きな外部の表示端末画面で合成画像を参照することができる。また、スマートフォン２の操作及び処理を介さずに外部の表示端末装置から合成画像を参照可能とすることにより、例えばユーザーは過去に撮像した画像から生成された合成画像を参照し、それを参考としながら次の撮像ガイド画像の設定及び撮像操作を行うことが可能となる。
［２−３．表示画面］
図５は、表示部３００に表示される自撮りガイド撮影モードの撮像待機画面の一例を示す図である。
図５（ａ）は、図４のカメラモード処理において自撮りガイド撮影モードが起動され、撮像待機画面に、現在画像、撮影ガイド画像、及び現在位置マーカー画像が表示された状態を図示している（Ａ１５）。
図５は、表示部３００に表示される自撮りガイド撮影モードの撮像待機画面の一例を示す図である。
図５（ａ）は、図４のカメラモード処理において自撮りガイド撮影モードが起動され、撮像待機画面に、現在画像、撮影ガイド画像、及び現在位置マーカー画像が表示された状態を図示している（Ａ１５）。
図５（ａ）の撮像待機画面には、スマートフォン２を片手に持ったユーザー４０及びその背景が、現在画像として表示されている。
撮影ガイド画像として、楕円の円弧の一部分に所定の幅を持たせた形状の回転ガイド４１、及び、円形の中心ガイド４３の二種類が表示されている。現在位置マーカーは、回転ガイド４１に対応した回転マーカー４２、及び、中心ガイド４３に対応した中心マーカー４４の二種類が表示されている。回転ガイド４１及び中心ガイド４３の中心位置は、表示部３００の左右方向の中心線（中心軸）上に配置されている。
撮影ガイド画像として、楕円の円弧の一部分に所定の幅を持たせた形状の回転ガイド４１、及び、円形の中心ガイド４３の二種類が表示されている。現在位置マーカーは、回転ガイド４１に対応した回転マーカー４２、及び、中心ガイド４３に対応した中心マーカー４４の二種類が表示されている。回転ガイド４１及び中心ガイド４３の中心位置は、表示部３００の左右方向の中心線（中心軸）上に配置されている。
図５（ａ）に示す回転ガイド４１の楕円の円弧の一部分に所定の幅を持たせた形状は、ユーザーに対して、表示部３００の左右方向の中心線を回転の中心軸としてスマートフォン２を左右方向に回動させて複数回の撮影を行う動作を誘導するために有効な形状である。回転の中心軸は、表示部３００に表示しなくてもユーザーがその位置を把握可能であればよい。図５（ａ）においては、回転ガイド４１の形状によって回転の中心軸が表示部３００の左右方向の中心線に位置することをユーザーが把握可能であるため、回転の中心軸の表示を行っていない。
また、回転ガイド４１の外縁を構成する楕円の一部分の角度（内角）は、パノラマ画像として生成する撮影の範囲（パノラマ撮像範囲）に対応した角度となっている。図５（ａ）における該角度は、設定角度の一例として１５０度としている。パノラマ撮像範囲が１５０度より狭く、例えば９０度に設定された場合は、回転ガイド４１の該角度はそれに対応して小さく設定される。
また、回転ガイド４１は、設定した単位回転角度（例えば３０度）に基づいて回転ガイドユニット４１ａ〜４１ｅの５つの領域に分割されて表示されている。回転ガイド４１の分割数、即ち回転ガイドユニットの数は、これから行う撮影の撮影枚数が５枚であることを示している。また、図５（ａ）及び図５（ｂ）に示すように回転ガイドユニットにハッチングを施すことで、次の撮像方向を示す回転ガイドユニットをユーザーに報知している。ここで、図５（ａ）は、一枚目の撮影（ユーザーの正面方向の自撮り撮影）時の撮像待機画面を示しているため、回転ガイドユニット４１ｃのみにハッチングを施し、他の回転ガイドユニットと識別可能に表示されている。
これにより、ユーザーは、回転ガイド４１を一見するだけで、スマートフォン２を回動させて複数回の撮影を行う動作を想起し、且つ、パノラマ撮像範囲、単位回転角度、撮影枚数、及び次の撮像方向を認識することが可能となる。
なお、回転ガイド４１の形状は、後述するように図５（ａ）に示した形状に限られるものではない。例えば、矩形の板状の回転ガイドユニットを楕円または円の外周上に並べてもよい。更にその板状ガイドユニットに奥行きを持たせる形状としてもよい。
また、図５（ａ）の各回転ガイドユニットは実線で区切られて表示されているが、表示の態様はこれに限られるものではなく、隣り合う回転ガイドユニット間の境界が視認できるような態様であればよい。
また、図５（ｂ）では、次の撮像方向を示す回転ガイドユニットにハッチングを施したが、図５（ｂ）でハッチングを施した領域を、例えば所定の不透明度（例えば５０％）の所定色（例えば青色）で表示してもよい。そのようにすることにより、現在画像を視認可能な状態で、次の撮像方向を示す回転ガイドユニットを一見して視認することができる。なお、表示の態様はこれに限られるものではなく、次の撮像方向を示す回転ガイドユニットとそれ以外の回転ガイドユニットを識別可能な態様であればよい。例えば、次の撮像方向を示す回転ガイドユニットの外枠の表示色を異ならせる、又は、点滅させる等の態様であってもよい。
回転マーカー４２は、図５（ａ）においては、回転ガイドユニット４１ｃに重ねられて表示されている。以下、このような状態を、ガイドとマーカーが一致した状態と称する。回転マーカー４２と回転ガイドユニット４１ａ〜４１ｅについては、図５（ｂ）及び図６を用いて後述する。
外観回転ガイド４５は、スマートフォン２の外観模式図であり、スマートフォン２の回動動作に対応して回転するように表示される。外観回転ガイド４５により、ユーザーはスマートフォン２を回転させる方向を一見して直観的に把握することができる。
図５において、回転マーカー４２は回転ガイド４１よりも太い実線で示しているが、表示態様はこれに限られず、例えば回転マーカー４２の視認性を向上させるためには、回転ガイド４１と別の表示色とすればよい。また、回転マーカー４２と回転ガイド４１の距離が離れている状態と一致した状態では、回転マーカー４２の色を変化させてもよい。また、ガイドとマーカーが一致した時に、回転マーカー４２を明滅させる等の光による報知やスマートフォン２を振動させる報知、音声による報知を行ってもよい。
また、回転ガイド４１を楕円や円の円弧の一部分の線（実線または点線等）で表示し、回転マーカー４２を図形、文字、記号等で表示してもよい。その際は、各回転ガイドユニットの円弧の中央に、図形、文字、記号等のマークを表示し、スマートフォン２を回転させて該マークと回転マーカー４２が一致した位置で撮影を行うようにすればよい。
また、回転ガイド４１を楕円や円の円弧の一部分の線（実線または点線等）で表示し、回転マーカー４２を図形、文字、記号等で表示してもよい。その際は、各回転ガイドユニットの円弧の中央に、図形、文字、記号等のマークを表示し、スマートフォン２を回転させて該マークと回転マーカー４２が一致した位置で撮影を行うようにすればよい。
次に、図５（ａ）に示した中心ガイド４３及び中心マーカー４４について説明する。
二枚目以降の撮影のためにスマートフォン２を回転させた際に、スマートフォン２が上下左右に動いてしまう場合が考えられる。例えば、ユーザーが自身の左側の撮影を終え、続いて右側の撮影を行うためにスマートフォン２を再びユーザーの正面に回転させた際は、スマートフォン２を持つ腕の疲労などによってスマートフォン２の位置が一枚目撮影時の位置から上下左右に動いてしまっている場合がある。そのままの状態でスマートフォン２を回転させ、ユーザーの右側の撮影を行うと、一枚目の撮影画像に対して大きなずれが生じた画像が撮影されてしまい、結果として生成されるパノラマ画像の美観を損なってしまう可能性がある。中心ガイド４３及び中心マーカー４４はこのような上下左右方向へのずれをユーザーに報知し、ユーザーにスマートフォン２の位置の補正を行うことを促すものである。
中心ガイド４３は、撮像待機画面の中心位置を原点とした円形で表示されている。例えば、ユーザーが一枚目の自撮り画像撮影を行う場合、図５（ａ）に示すように、中心ガイド４３が顔の中心に位置するようにスマートフォン２を動かせば、顔の中心と画面の中心とを一致させることができる。つまり、撮像待機画面の中心位置は、どの位置に照準して撮影を行えばよいかを示す照準位置であると言える。
中心ガイド４３より大きい円で表示されている中心マーカー４４は、スマートフォン２の上下左右方向への動きに対応して、撮像待機画面に表示されるマーカーである。図５（ａ）は一枚目撮影時の撮像待機画面を示しているため、中心マーカー４４及び中心ガイド４３は、撮像待機画面の中心位置を原点とした円として表示されており、この状態が、ずれがない状態の表示態様である。
上記のような上下左右方向へのずれをユーザーに報知するためには、例えば、一枚目撮影時の撮像待機画面の中心位置を、中心ガイド４３として撮像待機画面に表示し続ける。ユーザーがスマートフォン２を回転させた際にスマートフォン２が動いてしまった場合は、動いた方向に中心ガイド４３に対して中心マーカー４４がずれた状態で表示される。
図５において、中心ガイド４３は円形で表示され、中心マーカー４４は円の外周に幅を持たせた形状で表示され、更に中心ガイド４３及び中心マーカー４４は所定の不透明度（例えば５０％）で表示されているが、表示の態様はこれに限られるものでは無い。例えば、中心ガイド４３及び中心マーカー４４は、円ではなく正方形、ダイヤ形状等の他の図形や、文字、記号等であってもよい。また、例えば中心マーカー４４の視認性を向上させるためには、中心ガイド４３と別の表示色とすればよい。また、中心マーカー４４と中心ガイド４３の距離が離れている状態と一致した状態では、中心マーカー４４の色を変化させてもよい。また、中心ガイド４３と中心マーカー４４が一致した時に、中心マーカー４４を明滅させる等の光による報知やスマートフォン２を振動させる報知、音声による報知を行ってもよい。
一枚目の撮影が終わると（Ａ３５）、撮影枚数は設定した必要撮影枚数未満であるため（Ａ４５：Ｎｏ）、撮像制御部１５０は、撮影ガイド画像を二枚目の撮影ガイド画像に更新する（Ａ１５）。
図５（ｂ）は、二枚目の撮影ガイド画像に従って、ユーザーがスマートフォン２を回転させている状態を示している。
二枚目の撮影ガイド画像では、回転ガイド４１の次の撮像方向を示す回転方向のガイド４１ｂ及び４１ｄにハッチングを施しており、ユーザーは、左右どちらか任意の方向を選んで、スマートフォン２を回転させればよい。図５（ｂ）においては、ユーザーは回転ガイドユニット４１ｂの方向（左方向）へスマートフォン２を回転させ、その回転角度に対応して、回転マーカー４２が移動していることを示している。
二枚目の撮影ガイド画像では、回転ガイド４１の次の撮像方向を示す回転方向のガイド４１ｂ及び４１ｄにハッチングを施しており、ユーザーは、左右どちらか任意の方向を選んで、スマートフォン２を回転させればよい。図５（ｂ）においては、ユーザーは回転ガイドユニット４１ｂの方向（左方向）へスマートフォン２を回転させ、その回転角度に対応して、回転マーカー４２が移動していることを示している。
また、図５（ｂ）の中心マーカー４４は、中心ガイド４３から左にずれた位置に表示されている。これは、ユーザーがスマートフォン２を回転させる際に、スマートフォン２を左方向に平行移動してしまったことを示している。ユーザーは、中心マーカー４４の円の中心が中心ガイド４３の円の中心と重なるような位置まで、即ち中心ガイド４３と中心マーカー４４の位置関係が図５（ａ）の表示状態と同じになるまで、スマートフォン２を右方向に平行移動させて、平行方向へのずれを補正する。また、図５（ｂ）では左方向へずれた例を示したが、上下方向にずれが発生した場合も同様に補正すればよい。
また、図５（ａ）及び図５（ｂ）の撮像待機画面の上部には、スマートフォン２の外観を模した外観回転ガイド４５が配置されている。外観回転ガイド４５は、回転マーカー４２と同様に、スマートフォン２の回転する向きと角度に対応して回転するように設定されている。ユーザーは、実際のスマートフォン２の回転の向きと外観回転ガイド４５の回転の向きを同時に視認することで、容易に次の撮像方向にスマートフォン２を回転させることが可能となる。
以下、図６、図７及び図８を用いて、図５（ａ）で示した撮影ガイド画像及び現在位置マーカー画像の変形例について説明する。本発明の実施例は以下の変形例に限られることなく、各請求項に記載した要旨を変更しない範囲で、実施例に係る撮影ガイド画像及び現在位置マーカー画像の形状、表示位置及び組み合わせは変更可能である。
（回転ガイド４１の中心位置に中心ガイド４３を配置）
図６（ａ）は、回転ガイド４１を構成する楕円の中心位置に、中心ガイド４３を表示した例である。具体的には、回転ガイド４１の外縁を構成する楕円の中心位置に、中心ガイド４３の中心位置が一致するように配置されている。図６（ａ）では、回転ガイド４１の端部と楕円の中心位置を結ぶ点線４７を更に表示するようにしている。この際、中心位置に図形や記号を更に表示するようにしてもよい。回転ガイド４１及び中心ガイド４３の中心位置は、図５（ａ）と同様に、表示部３００の左右方向の中心軸上に配置される。回転マーカー４２と中心マーカー４４の機能は、図５（ａ）及び（ｂ）で説明したものと同じである。
図６（ａ）のように回転ガイド４１と中心ガイド４３を表示することにより、ユーザーは視線を動かすこと無く回転ガイド４１と中心ガイド４３の両方を視認することができる。そのため、スマートフォン２の回転と上下左右方向へ位置の修正を容易に行うことが可能となる。
図６（ａ）は、回転ガイド４１を構成する楕円の中心位置に、中心ガイド４３を表示した例である。具体的には、回転ガイド４１の外縁を構成する楕円の中心位置に、中心ガイド４３の中心位置が一致するように配置されている。図６（ａ）では、回転ガイド４１の端部と楕円の中心位置を結ぶ点線４７を更に表示するようにしている。この際、中心位置に図形や記号を更に表示するようにしてもよい。回転ガイド４１及び中心ガイド４３の中心位置は、図５（ａ）と同様に、表示部３００の左右方向の中心軸上に配置される。回転マーカー４２と中心マーカー４４の機能は、図５（ａ）及び（ｂ）で説明したものと同じである。
図６（ａ）のように回転ガイド４１と中心ガイド４３を表示することにより、ユーザーは視線を動かすこと無く回転ガイド４１と中心ガイド４３の両方を視認することができる。そのため、スマートフォン２の回転と上下左右方向へ位置の修正を容易に行うことが可能となる。
（中心マーカー４４と回転ガイド４１が連動して移動）
図６（ｂ）は、中心マーカー４４の位置変動に対応して回転ガイド４１の表示位置を変動させる例である。
図５（ｂ）のように左方向にスマートフォン２が平行移動してしまった場合、その位置変動に対応して、中心マーカー４４は表示部３００の中央に表示された中心ガイド４３に対して左方向にずれる。その際、図５（ｂ）では回転マーカー４２は移動しない設定となっている。それに対して図６（ｂ）に示した例では、中心マーカー４４の位置変動に対応して、回転ガイド４１も左方向へ移動するようにしている。
このようにすることにより、ユーザーは、現在のスマートフォン２の位置が中心位置からずれていることをより把握しやすくなる。
図６（ｂ）は、中心マーカー４４の位置変動に対応して回転ガイド４１の表示位置を変動させる例である。
図５（ｂ）のように左方向にスマートフォン２が平行移動してしまった場合、その位置変動に対応して、中心マーカー４４は表示部３００の中央に表示された中心ガイド４３に対して左方向にずれる。その際、図５（ｂ）では回転マーカー４２は移動しない設定となっている。それに対して図６（ｂ）に示した例では、中心マーカー４４の位置変動に対応して、回転ガイド４１も左方向へ移動するようにしている。
このようにすることにより、ユーザーは、現在のスマートフォン２の位置が中心位置からずれていることをより把握しやすくなる。
（移動操作エラー報知：回転マーカー４２が変形）
図７（ａ）は、スマートフォン２が回転動作以外の動きをした場合に、回転マーカー４２を変形させることで、ユーザーに移動操作エラー報知を行う例である。
スマートフォン２が左方向に平行移動してしまった場合、その位置変動に対応して、回転マーカー４２が変形するように設定する。例えば、図７（ａ）に示すように、本来であれば回転ガイドユニット４１ｂと一致する形状になる回転マーカー４２が、例えば矩形で表示されるように設定すればよい。更に回転マーカー４２の色を変化させる、明滅させる等の処理を行う設定としてもよい。
このようにすることにより、回転ガイド４１及び回転マーカー４２を表示するだけで、ユーザーに対して、スマートフォン２の移動操作エラー報知を行うことができる。
図７（ａ）は、スマートフォン２が回転動作以外の動きをした場合に、回転マーカー４２を変形させることで、ユーザーに移動操作エラー報知を行う例である。
スマートフォン２が左方向に平行移動してしまった場合、その位置変動に対応して、回転マーカー４２が変形するように設定する。例えば、図７（ａ）に示すように、本来であれば回転ガイドユニット４１ｂと一致する形状になる回転マーカー４２が、例えば矩形で表示されるように設定すればよい。更に回転マーカー４２の色を変化させる、明滅させる等の処理を行う設定としてもよい。
このようにすることにより、回転ガイド４１及び回転マーカー４２を表示するだけで、ユーザーに対して、スマートフォン２の移動操作エラー報知を行うことができる。
（移動操作エラー報知：回転ガイド４１が変形）
図７（ｂ）は、スマートフォン２が回転動作以外の動きをした場合に、回転ガイド４１または回転ガイドユニット４１ｂを変形させることで、ユーザーに操作エラー報知を行う例である。
図７（ａ）または図７（ｂ）のように回転マーカー４２の一部分または回転ガイド４１（回転ガイドユニット４１ｂ）が矩形状に変形してしまった場合、その位置でスマートフォン２を回転させても、後述する図９（ｃ）に示すように回転ガイドユニット４１ｂに回転マーカー４２を一致させることはできない（即ち、撮像はできない）ことを、ユーザーは一見して把握することができる。
図７（ｂ）は、スマートフォン２が回転動作以外の動きをした場合に、回転ガイド４１または回転ガイドユニット４１ｂを変形させることで、ユーザーに操作エラー報知を行う例である。
図７（ａ）または図７（ｂ）のように回転マーカー４２の一部分または回転ガイド４１（回転ガイドユニット４１ｂ）が矩形状に変形してしまった場合、その位置でスマートフォン２を回転させても、後述する図９（ｃ）に示すように回転ガイドユニット４１ｂに回転マーカー４２を一致させることはできない（即ち、撮像はできない）ことを、ユーザーは一見して把握することができる。
（移動操作エラー報知：回転マーカー４２が移動）
図８（ａ）は、スマートフォン２が回転動作以外の動きをした場合に、通常であれば回転ガイド４１を構成する形状内または形状に沿って移動する回転マーカー４２が、回転ガイド４１からずれた状態で表示されることで、ユーザーに移動操作エラー報知を行う例である。
例えば、図８（ａ）に示すように、スマートフォン２が上方向に平行移動してしまった場合、その位置変動に対応して、回転マーカー４２が回転ガイド４１から上方向にずれた状態に移動するように設定する。同様に、スマートフォン２が左方向に平行移動した場合は、回転マーカー４２を回転ガイド４１から左方向に平行移動してずれた状態で表示するように設定すればよい。
回転マーカー４２が回転ガイド４１からずれてしまった場合、その位置でスマートフォン２を回転させても、後述する図９（ｃ）に示すように回転ガイドユニット４１ｂに回転マーカー４２を一致させることはできない（即ち、撮像はできない）ことを、ユーザーは一見して把握することができる。
図８（ａ）は、スマートフォン２が回転動作以外の動きをした場合に、通常であれば回転ガイド４１を構成する形状内または形状に沿って移動する回転マーカー４２が、回転ガイド４１からずれた状態で表示されることで、ユーザーに移動操作エラー報知を行う例である。
例えば、図８（ａ）に示すように、スマートフォン２が上方向に平行移動してしまった場合、その位置変動に対応して、回転マーカー４２が回転ガイド４１から上方向にずれた状態に移動するように設定する。同様に、スマートフォン２が左方向に平行移動した場合は、回転マーカー４２を回転ガイド４１から左方向に平行移動してずれた状態で表示するように設定すればよい。
回転マーカー４２が回転ガイド４１からずれてしまった場合、その位置でスマートフォン２を回転させても、後述する図９（ｃ）に示すように回転ガイドユニット４１ｂに回転マーカー４２を一致させることはできない（即ち、撮像はできない）ことを、ユーザーは一見して把握することができる。
（中心ガイド４３の中心と中心マーカー４４の中心間を結線）
図８（ｂ）に示すように、中心ガイド４３の中心位置と中心マーカー４４の中心位置間を結ぶ直線４６を表示させるようにしてもよい。このようにすることにより、中心ガイド４３の中心位置と中心マーカー４４の中心位置を一致させる必要があることを、ユーザーに明確に認識させることができる。また、直線４６の一端には、中心ガイド４３の中心位置に向かう方向、即ちユーザーがスマートフォン２の位置の補正を行う方向の矢印を付加すれば、より効果的な報知となる。
また、直線４６の長さ（中心ガイド４３の中心位置と中心マーカー４４の中心位置間の距離）に対応して、直線４６の線幅及び線の色を変化させるようにしてもよい。その場合は、例えば直線４６の長さが短くなるほど線幅を太くする、直線４６の長さが長くなると線の色が青から赤に変化する等の設定とすればよい。
また、ユーザーがスマートフォン２の位置を補正して中心ガイド４３の中心と中心マーカー４４の中心が一致した場合、及び、回転ガイドユニットと回転マーカーが一致した場合には、それらガイド又はマーカーの一部分又は全部の表示色を変化させる、または明滅させることで、ユーザーに報知を行うようにしてもよい。
図８（ｂ）に示すように、中心ガイド４３の中心位置と中心マーカー４４の中心位置間を結ぶ直線４６を表示させるようにしてもよい。このようにすることにより、中心ガイド４３の中心位置と中心マーカー４４の中心位置を一致させる必要があることを、ユーザーに明確に認識させることができる。また、直線４６の一端には、中心ガイド４３の中心位置に向かう方向、即ちユーザーがスマートフォン２の位置の補正を行う方向の矢印を付加すれば、より効果的な報知となる。
また、直線４６の長さ（中心ガイド４３の中心位置と中心マーカー４４の中心位置間の距離）に対応して、直線４６の線幅及び線の色を変化させるようにしてもよい。その場合は、例えば直線４６の長さが短くなるほど線幅を太くする、直線４６の長さが長くなると線の色が青から赤に変化する等の設定とすればよい。
また、ユーザーがスマートフォン２の位置を補正して中心ガイド４３の中心と中心マーカー４４の中心が一致した場合、及び、回転ガイドユニットと回転マーカーが一致した場合には、それらガイド又はマーカーの一部分又は全部の表示色を変化させる、または明滅させることで、ユーザーに報知を行うようにしてもよい。
以上説明した例では、ガイド及びマーカーを示す図形、記号、文字等を使用し、その動きや色の変化等でユーザーに報知を行うとしたが、表示部３００上に数値情報を表示することで、ユーザーに報知を行い、好適な撮影を行うために必要な動作を誘導するようにしてもよい。
例えば、図５（ｂ）に示すように、スマートフォン２が左方向に平行移動してしまった場合には、スマートフォン２位置の修正に必要な距離、例えば現在位置から１０センチ右に動くまでの距離を数値情報として表示部３００にリアルタイム表示する。ユーザーは、０センチを目標値としてリアルタイム表示されている数値情報を参照しながらスマートフォン２を右に平行移動させることで、スマートフォン２の位置変動を修正することができる。
同様に、スマートフォン２の回転動作を行う際には、回転の向きと単位回転角度（例えば左に３０度）を数値情報として表示部３００上に表示し、同時に現在位置から３０度回転するまでの回転角度を数値情報としてリアルタイム表示する。ユーザーは、３０度を目標値としてリアルタイム表示されている数値情報を参照しながらスマートフォン２を回転させることで、撮影に適した回転角度までスマートフォン２を回転させることができる。
例えば、図５（ｂ）に示すように、スマートフォン２が左方向に平行移動してしまった場合には、スマートフォン２位置の修正に必要な距離、例えば現在位置から１０センチ右に動くまでの距離を数値情報として表示部３００にリアルタイム表示する。ユーザーは、０センチを目標値としてリアルタイム表示されている数値情報を参照しながらスマートフォン２を右に平行移動させることで、スマートフォン２の位置変動を修正することができる。
同様に、スマートフォン２の回転動作を行う際には、回転の向きと単位回転角度（例えば左に３０度）を数値情報として表示部３００上に表示し、同時に現在位置から３０度回転するまでの回転角度を数値情報としてリアルタイム表示する。ユーザーは、３０度を目標値としてリアルタイム表示されている数値情報を参照しながらスマートフォン２を回転させることで、撮影に適した回転角度までスマートフォン２を回転させることができる。
また、以上説明した例では、報知に従ってユーザーがスマートフォン２の位置を修正し、次の撮影を継続することを前提として説明したが、ずれ量が大きい場合は、位置の修正を行わずに一旦撮影を中断した方が効率的な場合がある。それを実行するためには、動きセンサ７６０を介してずれ量が所定値より大きいことを検出した撮像制御部１５０が、撮影モードを中断するステップをＡ２５とＡ３０の間に設け、撮影が中断された後はＡ１５に戻り、一枚目の撮影ガイド設定処理または当該撮影ガイドの設定処理に戻るようにすればよい。更にその旨のテキストメッセージを表示部３００に表示してユーザーに報知を行うようにすればよい。
図９は、１枚目から４枚目までの撮影が行われる間の、表示部３００に撮像待機画面として表示される回転ガイド４１及び回転マーカー４２の表示の変化の例を示したものである。
図９（ａ）及び図９（ｂ）は、図５（ａ）及び図５（ｂ）の回転ガイド４１及び回転マーカー４２と同一であるため説明を省略する。
図９（ｃ）では、図９（ａ）と同様に、回転ガイドユニット４１ｂと回転マーカー４２が一致した状態となっている。即ち、ユーザーによってスマートフォン２が二枚目の撮影位置まで回転されたことを示している。ユーザーに対しては、二枚目の撮影操作を促す報知が表示される（Ａ３０）。
二枚目の撮影が終了した後、一枚目の撮影終了後と同様に、撮影ガイド画像が次の三枚目の撮影ガイド画像に更新される。即ち、回転ガイドユニット４１ｂに施されていたハッチングが消え、代わりに回転ガイドユニット４１ａにハッチングが施された状態となる。図９（ｄ）は、三枚目の撮影ガイド画像の表示に従って、ユーザーがスマートフォン２の角度を変え、回転ガイドユニット４１ａと回転マーカー４２が一致した状態を示している。この状態で、三枚目の撮影が行われる。
図９（ｅ）は、同様に四枚目の撮影ガイド画像の表示に従って、ユーザーがスマートフォン２の角度を変え、回転ガイドユニット４１ｄと回転マーカー４２が一致した状態を示している。この状態で、四枚目の撮影が行われる。
続いて、図示しない五枚目の撮影ガイド画像では、残った回転ガイドユニット４１ｅのみにハッチングを施している。ユーザーは、五枚目の撮影ガイド画像の表示に従って、回転ガイドユニット４１ｅと回転マーカー４２が一致するまでスマートフォン２の角度を変え、五枚目の撮影が行われる。
図１０は、回転ガイドの別の表示態様の例を示す図である。
図５〜図９においては、撮影順番を示すために、次の撮影角度を示す回転ガイドユニットにハッチングを施した。図１０（ａ）及び（ｂ）は、撮影順番を数字で表示する例である。まず、ユーザーは、図１０（ａ）に示す「１」と表示された回転ガイドユニット４１ｃの位置で一枚目の撮影を行う。続いて、表示されている数字の順番に従って、回転ガイドユニット４１ｂ、４１ａ、４１ｄ、４１ｅの位置で撮影を行う。なお、数字の表示は、図１０（ｂ）に示すように、各回転ガイドユニット位置での撮影終了後に非表示とするように設定してもよい。また、撮影順番を示す数字とハッチング処理を組み合わせて表示するようにしてもよい。
図５〜図９においては、撮影順番を示すために、次の撮影角度を示す回転ガイドユニットにハッチングを施した。図１０（ａ）及び（ｂ）は、撮影順番を数字で表示する例である。まず、ユーザーは、図１０（ａ）に示す「１」と表示された回転ガイドユニット４１ｃの位置で一枚目の撮影を行う。続いて、表示されている数字の順番に従って、回転ガイドユニット４１ｂ、４１ａ、４１ｄ、４１ｅの位置で撮影を行う。なお、数字の表示は、図１０（ｂ）に示すように、各回転ガイドユニット位置での撮影終了後に非表示とするように設定してもよい。また、撮影順番を示す数字とハッチング処理を組み合わせて表示するようにしてもよい。
（上下方向ガイド撮影モード）
以上説明した実施例では、スマートフォン２を表示部３００の左右方向の中心線を回転の中心軸としてスマートフォン２を回転させて複数回の撮影を行い、左右方向に広角な範囲のパノラマ合成画像を得る場合について説明したが、本発明のガイド機能は、表示部３００の上下方向の中心線を回転の中心軸としてスマートフォン２を上下方向に回転させて複数回の撮影を行い、上下方向に広角な範囲のパノラマ合成画像を得る場合についても有効である。
それを実行するためには、カメラモード処理開始後に、上下方向ガイド撮影モードを選択するステップを設ければよい。さらに、上下方向ガイド撮影モードが選択された場合には、自撮りガイド撮影設定、ガイド表示及びガイド更新（Ａ１５）の代わりに、上下方向ガイド撮影設定、ガイド表示及びガイド更新を行うステップを設ければよい。
その際、ユーザーに対するガイドとしては、回転の中心軸線と、上下方向に長い矩形の回転ガイドと、回転ガイドを単位回転角度によって例えば３つに分割した回転ガイドユニットと、回転ガイドユニットの形状に対応した回転マーカーとを表示する。上下方向に長い回転ガイドの中心は、回転の中心軸線上に配置される。即ち、上下方向に長い回転ガイドの中心を、水平方向に回転の中心軸線が横切る形となる。回転ガイドは、例えば、上底が下底よりも短い台形や三角形としてもよく、それを単位回転角度で分割したものを各回転ガイドユニットとすればよい。また、中心ガイド及び中心マーカーを同時に表示してもよい。
以上説明した実施例では、スマートフォン２を表示部３００の左右方向の中心線を回転の中心軸としてスマートフォン２を回転させて複数回の撮影を行い、左右方向に広角な範囲のパノラマ合成画像を得る場合について説明したが、本発明のガイド機能は、表示部３００の上下方向の中心線を回転の中心軸としてスマートフォン２を上下方向に回転させて複数回の撮影を行い、上下方向に広角な範囲のパノラマ合成画像を得る場合についても有効である。
それを実行するためには、カメラモード処理開始後に、上下方向ガイド撮影モードを選択するステップを設ければよい。さらに、上下方向ガイド撮影モードが選択された場合には、自撮りガイド撮影設定、ガイド表示及びガイド更新（Ａ１５）の代わりに、上下方向ガイド撮影設定、ガイド表示及びガイド更新を行うステップを設ければよい。
その際、ユーザーに対するガイドとしては、回転の中心軸線と、上下方向に長い矩形の回転ガイドと、回転ガイドを単位回転角度によって例えば３つに分割した回転ガイドユニットと、回転ガイドユニットの形状に対応した回転マーカーとを表示する。上下方向に長い回転ガイドの中心は、回転の中心軸線上に配置される。即ち、上下方向に長い回転ガイドの中心を、水平方向に回転の中心軸線が横切る形となる。回転ガイドは、例えば、上底が下底よりも短い台形や三角形としてもよく、それを単位回転角度で分割したものを各回転ガイドユニットとすればよい。また、中心ガイド及び中心マーカーを同時に表示してもよい。
（真円型の回転ガイド）
以上説明した例では、回転ガイド４１として楕円の円弧の一部分に所定の幅を持たせた形状を示したが、回転ガイド４１の形状はこれに限定されるものではなく、図１１（ａ）に示すように真円の円弧の一部分に所定の幅を持たせた形状としてもよい。図１１（ａ）には、回転ガイド４１と共に、図６（ａ）と同様の位置に、中心ガイド４３及び中心マーカー４４を表示した例を示している。
以上説明した例では、回転ガイド４１として楕円の円弧の一部分に所定の幅を持たせた形状を示したが、回転ガイド４１の形状はこれに限定されるものではなく、図１１（ａ）に示すように真円の円弧の一部分に所定の幅を持たせた形状としてもよい。図１１（ａ）には、回転ガイド４１と共に、図６（ａ）と同様の位置に、中心ガイド４３及び中心マーカー４４を表示した例を示している。
（楕円または円の部分形状型の回転ガイド）
以上説明した例では、回転ガイド４１の形状を、図５〜図１０及び図１１（ａ）のように楕円又は円の円弧の一部分に所定の幅を持たせた形状（楕円又は円の中心点から所定の距離までの内周部を取り除いた形状）としたが、楕円または円をその中心点から外周に向かう方向に分割した形状としてもよい。この場合、回転ガイドユニットは、所定の角度（例えば１５０度）の内角を有する楕円または円の部分形状となり、各回転ガイドユニットは、単位回転角度（例えば３０度）の内角を有する楕円または円の部分形状となる。
または、回転ガイドユニットの外周を楕円または円の円弧ではなく直線形状としてもよい。その際、更に回転ガイドの中心点から所定の距離までの内周部を取り除かない場合は、各回転ガイドユニットは、単位回転角度（例えば３０度）の内角を有する三角形の形状となる。
以上説明した例では、回転ガイド４１の形状を、図５〜図１０及び図１１（ａ）のように楕円又は円の円弧の一部分に所定の幅を持たせた形状（楕円又は円の中心点から所定の距離までの内周部を取り除いた形状）としたが、楕円または円をその中心点から外周に向かう方向に分割した形状としてもよい。この場合、回転ガイドユニットは、所定の角度（例えば１５０度）の内角を有する楕円または円の部分形状となり、各回転ガイドユニットは、単位回転角度（例えば３０度）の内角を有する楕円または円の部分形状となる。
または、回転ガイドユニットの外周を楕円または円の円弧ではなく直線形状としてもよい。その際、更に回転ガイドの中心点から所定の距離までの内周部を取り除かない場合は、各回転ガイドユニットは、単位回転角度（例えば３０度）の内角を有する三角形の形状となる。
（ガイドの組み合わせ：回転ガイドの中心位置に外観回転ガイド）
また、複数の種類のガイド表示の組み合わせは、回転ガイド４１と中心ガイド４３の組み合わせに限られるものではない。例えば、図１１（ｂ）に示すように、回転ガイド４１と外観回転ガイド４５を組み合わせてもよい。図１１（ｂ）では、楕円の円弧の一部分に所定の幅を持たせた形状の回転ガイド４１の円弧の中心位置に、回転の中心軸４８及び外観回転ガイド４５を配置している。
図１１（ｂ）のようにすることにより、ユーザーは、視線を動かすこと無く、回転ガイド４１及び外観回転ガイド４５の両方を視認することができる。また、回転の中心軸４８を合わせて表示することにより、回転の中心軸がスマートフォン２上にあることを、ユーザーに明確に意識させることができる。
また、複数の種類のガイド表示の組み合わせは、回転ガイド４１と中心ガイド４３の組み合わせに限られるものではない。例えば、図１１（ｂ）に示すように、回転ガイド４１と外観回転ガイド４５を組み合わせてもよい。図１１（ｂ）では、楕円の円弧の一部分に所定の幅を持たせた形状の回転ガイド４１の円弧の中心位置に、回転の中心軸４８及び外観回転ガイド４５を配置している。
図１１（ｂ）のようにすることにより、ユーザーは、視線を動かすこと無く、回転ガイド４１及び外観回転ガイド４５の両方を視認することができる。また、回転の中心軸４８を合わせて表示することにより、回転の中心軸がスマートフォン２上にあることを、ユーザーに明確に意識させることができる。
（スクリーン型の回転ガイド）
または、図１１（ｃ）に示すように、回転ガイド４１の形状を、複数の四角形の回転ガイドユニットを水平方向に並べて、中央の回転ガイドユニット４１ｃの左右の回転ガイドユニット（この場合は回転ガイドユニット４１ｂ及び４１ｄ）に傾きを付けた形状としてもよい。更に回転の中心軸４８を、回転ガイドユニット４１（ｃ）の左右方向の中心線上に表示してもよい。回転ガイドユニットをこのように四角形の形状（スクリーン形状）として複数配置することにより、回転ガイドユニットの傾きの方向及び傾きの度合いが面で表示されるため、実際のスマートフォン２の傾きの方向及び傾きの度合いと比較しやすくなるという利点がある。
または、図１１（ｃ）に示すように、回転ガイド４１の形状を、複数の四角形の回転ガイドユニットを水平方向に並べて、中央の回転ガイドユニット４１ｃの左右の回転ガイドユニット（この場合は回転ガイドユニット４１ｂ及び４１ｄ）に傾きを付けた形状としてもよい。更に回転の中心軸４８を、回転ガイドユニット４１（ｃ）の左右方向の中心線上に表示してもよい。回転ガイドユニットをこのように四角形の形状（スクリーン形状）として複数配置することにより、回転ガイドユニットの傾きの方向及び傾きの度合いが面で表示されるため、実際のスマートフォン２の傾きの方向及び傾きの度合いと比較しやすくなるという利点がある。
（円柱、多角形型の回転ガイド）
または、図１１（ｄ）に示すように、回転ガイド４１の形状を、円柱形状としてもよい。この場合、回転ガイドユニット４１ａ〜ｅは、円柱の側面を単位回転角度（例えば３０度）に基づいて垂直方向に分割した形状となる。また、図１１（ｄ）に示すように、円柱の上面及び下面の中心点を結ぶ直線を回転の中心軸４８として表示し、更に回転の中心軸４８上に外観回転ガイド４５を表示するようにしてもよい。また、円柱は多角柱であってもよく、その場合、回転ガイドユニット４１ａ〜ｅは、多角柱の側面を構成する矩形形状となる。
または、図１１（ｄ）に示すように、回転ガイド４１の形状を、円柱形状としてもよい。この場合、回転ガイドユニット４１ａ〜ｅは、円柱の側面を単位回転角度（例えば３０度）に基づいて垂直方向に分割した形状となる。また、図１１（ｄ）に示すように、円柱の上面及び下面の中心点を結ぶ直線を回転の中心軸４８として表示し、更に回転の中心軸４８上に外観回転ガイド４５を表示するようにしてもよい。また、円柱は多角柱であってもよく、その場合、回転ガイドユニット４１ａ〜ｅは、多角柱の側面を構成する矩形形状となる。
（ガイドの表示位置）
また、表示部３００内の撮影ガイドの表示位置については、以下のように構成してもよい。なお、説明を簡略化するため以下の構成例では回転ガイド４１及び回転マーカー４２を用いて説明するが、本発明はこれに限定されるものでは無いことは明らかである。
また、表示部３００内の撮影ガイドの表示位置については、以下のように構成してもよい。なお、説明を簡略化するため以下の構成例では回転ガイド４１及び回転マーカー４２を用いて説明するが、本発明はこれに限定されるものでは無いことは明らかである。
（画面中央または顔領域の中心に表示）
図１２（ａ）は、表示部３００の中心位置に、回転ガイド４１を表示させた状態を示している。図１２（ａ）においては、表示部３００の中心位置に回転ガイド４１の中央に位置する回転ガイドユニット４１ｃの中心位置を一致させて表示しているが、表示部３００の中心位置に回転ガイド４１の外縁を構成する楕円の中心位置を一致させて表示してもよい。
または、顔領域検出を実行し、その結果表示される矩形領域である顔領域４９の中心位置に、回転ガイドユニット４１ｃの中心位置または回転ガイド４１の外縁を構成する楕円の中心位置が一致するように、回転ガイド４１を表示させてもよい。
図１２（ａ）は、表示部３００の中心位置に、回転ガイド４１を表示させた状態を示している。図１２（ａ）においては、表示部３００の中心位置に回転ガイド４１の中央に位置する回転ガイドユニット４１ｃの中心位置を一致させて表示しているが、表示部３００の中心位置に回転ガイド４１の外縁を構成する楕円の中心位置を一致させて表示してもよい。
または、顔領域検出を実行し、その結果表示される矩形領域である顔領域４９の中心位置に、回転ガイドユニット４１ｃの中心位置または回転ガイド４１の外縁を構成する楕円の中心位置が一致するように、回転ガイド４１を表示させてもよい。
ここで、顔領域検出とは、人物の顔を検出する物体検出処理の一例であり、Viola-Jones法やHaar-like特徴量を用いた顔領域検出法等の公知の手法を用いる。顔領域検出を実行するためには、自撮りガイド撮影モード判定（Ａ１０；Ｙｅｓ）と自撮りガイド撮影設定（Ａ１５）の間に、顔領域検出処理のステップを新たに設ければよい。また、説明を簡略化するために検出された顔領域は矩形として説明するが、顔領域の形状は矩形に限られることはなく、正方形、円または楕円等であってもよいことは明らかである。
このようにすることにより、撮影者であるユーザーは視線を動かすことなく、回転ガイド４１及び撮影対象（この場合はユーザー４０の顔）の両方を視認することができる。
このようにすることにより、撮影者であるユーザーは視線を動かすことなく、回転ガイド４１及び撮影対象（この場合はユーザー４０の顔）の両方を視認することができる。
（顔領域以外に表示）
または、図１２（ｂ）に示すように、顔領域４９以外の位置に回転ガイド４１及び回転マーカー４２を表示するようにしてもよい。ここで、図１２（ｂ）においては顔領域４９以外で、且つ、表示部３００の上部に回転ガイド４１及び回転マーカー４２を表示しているが、顔領域４９の表示領域以外で、且つ、表示部３００の下部に表示してもよい。このようにすることにより、顔領域４９と回転ガイド４１及び回転マーカー４２が重ならずに離れて表示されるため、被写体の状態（この場合はユーザー自身の表情等）を視認しやすくなるという利点がある。
更に、顔領域４９と重ならない範囲内で、且つ、顔領域４９に可能な限り近い位置に回転ガイド４１及び回転マーカー４２を表示するようにしてもよい。即ち、図１２（ｂ）に示した回転ガイド４１を、顔領域４９の矩形の範囲に、より接近した位置に移動させる。このようにすることにより、ユーザーは視線を動かすことなく被写体の状態と回転ガイド４１の両方を視認することができる。
または、図１２（ｂ）に示すように、顔領域４９以外の位置に回転ガイド４１及び回転マーカー４２を表示するようにしてもよい。ここで、図１２（ｂ）においては顔領域４９以外で、且つ、表示部３００の上部に回転ガイド４１及び回転マーカー４２を表示しているが、顔領域４９の表示領域以外で、且つ、表示部３００の下部に表示してもよい。このようにすることにより、顔領域４９と回転ガイド４１及び回転マーカー４２が重ならずに離れて表示されるため、被写体の状態（この場合はユーザー自身の表情等）を視認しやすくなるという利点がある。
更に、顔領域４９と重ならない範囲内で、且つ、顔領域４９に可能な限り近い位置に回転ガイド４１及び回転マーカー４２を表示するようにしてもよい。即ち、図１２（ｂ）に示した回転ガイド４１を、顔領域４９の矩形の範囲に、より接近した位置に移動させる。このようにすることにより、ユーザーは視線を動かすことなく被写体の状態と回転ガイド４１の両方を視認することができる。
（インカメラの近くに表示）
また、図１３（ａ）に示すように、スマートフォン２のインカメラ６２に近い位置に回転ガイド４１及び回転マーカー４２を表示するようにしてもよい。インカメラ６２と回転ガイド４１及び回転マーカー４２の位置が離れている場合、撮影時にユーザーの視線がインカメラ６２ではなく回転ガイド４１及び回転マーカー４２に向けられてしまうことにより、ユーザーの視線がインカメラ６２よりも下方向へずれた状態で撮影されてしまうことが想定される。これに対して、図１３（ａ）のように回転ガイド４１及び回転マーカー４２をインカメラ６２に近い位置に表示することにより、ユーザーの視線がインカメラ６２により近く向けられた状態で撮影を行うことができる。また、ユーザーは視線をインカメラ６２に近い位置に維持した状態で、回転ガイド４１及び回転マーカー４２を視認しながらスマートフォン２を回転させて撮影を行うことができるため、操作性が向上する。
また、図１３（ａ）に示すように、スマートフォン２のインカメラ６２に近い位置に回転ガイド４１及び回転マーカー４２を表示するようにしてもよい。インカメラ６２と回転ガイド４１及び回転マーカー４２の位置が離れている場合、撮影時にユーザーの視線がインカメラ６２ではなく回転ガイド４１及び回転マーカー４２に向けられてしまうことにより、ユーザーの視線がインカメラ６２よりも下方向へずれた状態で撮影されてしまうことが想定される。これに対して、図１３（ａ）のように回転ガイド４１及び回転マーカー４２をインカメラ６２に近い位置に表示することにより、ユーザーの視線がインカメラ６２により近く向けられた状態で撮影を行うことができる。また、ユーザーは視線をインカメラ６２に近い位置に維持した状態で、回転ガイド４１及び回転マーカー４２を視認しながらスマートフォン２を回転させて撮影を行うことができるため、操作性が向上する。
（複数の顔領域検出：選択した顔領域または顔領域以外に表示、パノラマ撮像範囲の設定）
また、グループ撮影のように、撮影者であるユーザー以外の複数の人物の顔が表示部３００に映り込む場合がある。このような場合は、複数の顔領域のうち、選択されたいずれか一つの顔領域の中心位置に、回転ガイドユニット４１ｃの中心位置または回転ガイド４１の外縁を構成する楕円の中心位置が一致するように、回転ガイド４１を表示させるように設定する。顔領域の選択は、ユーザーによるタップ、ダブルタップ又は長押し等の操作によって行うようにする。または、所定の条件で自動的に顔領域の選択をするようにしてもよい。例えば、複数の顔領域から撮影者であるユーザー自身の顔領域を自動的に選択するためには、ユーザー自身の顔領域である可能性が高い領域として、最も大きい面積を持つ顔領域又は最も表示部３００の中央に近い顔領域を自動的に選択する設定とすればよい。
または、図１３（ｂ）に示すように、検出された複数の顔領域以外の領域に、回転ガイド４１を表示するようにしてもよい。図１３（ｂ）においては、検出された複数の顔領域５０ａ、５０ｂ及び５０ｃ以外の領域で、且つ、顔領域５０ｂの近傍に回転ガイド４１を表示している。
また、グループ撮影のように、撮影者であるユーザー以外の複数の人物の顔が表示部３００に映り込む場合がある。このような場合は、複数の顔領域のうち、選択されたいずれか一つの顔領域の中心位置に、回転ガイドユニット４１ｃの中心位置または回転ガイド４１の外縁を構成する楕円の中心位置が一致するように、回転ガイド４１を表示させるように設定する。顔領域の選択は、ユーザーによるタップ、ダブルタップ又は長押し等の操作によって行うようにする。または、所定の条件で自動的に顔領域の選択をするようにしてもよい。例えば、複数の顔領域から撮影者であるユーザー自身の顔領域を自動的に選択するためには、ユーザー自身の顔領域である可能性が高い領域として、最も大きい面積を持つ顔領域又は最も表示部３００の中央に近い顔領域を自動的に選択する設定とすればよい。
または、図１３（ｂ）に示すように、検出された複数の顔領域以外の領域に、回転ガイド４１を表示するようにしてもよい。図１３（ｂ）においては、検出された複数の顔領域５０ａ、５０ｂ及び５０ｃ以外の領域で、且つ、顔領域５０ｂの近傍に回転ガイド４１を表示している。
図５（ａ）の説明では、回転ガイド４１の中心位置は、表示部３００の左右方向の中心軸上に配置され、その中心軸を基準としてパノラマ撮像範囲（例えば１５０度）が設定されるとしたが、上記のように複数の顔領域が存在する場合には、以下のような設定を設けてもよい。
即ち、上記のように複数の顔領域から一つの顔領域を選択した後、その顔領域の左右方向の中心軸を基準としてパノラマ撮像範囲（例えば１５０度）を設定する。その際、パノラマ撮像範囲の中心が変更されたことを、文字や矢印等の記号で報知するように設定すると好適である。また、選択された顔領域については、その他の顔領域と識別するために、顔領域の枠の色を変化させる、明滅させる等の処理を行うと効果的である。
このようにすることにより、複数の人物の顔が表示部３００に映り込む場合において、選択された顔領域を中心としたパノラマ撮像範囲を設定することが可能となる。ガイドの表示位置のみを選択された顔領域または顔領域以外に設定するか、それと同時にパノラマ撮像範囲の中心を変更するかについては、例えば表示部３００にメニューを表示して、ユーザーに選択させるようにすればよい。
即ち、上記のように複数の顔領域から一つの顔領域を選択した後、その顔領域の左右方向の中心軸を基準としてパノラマ撮像範囲（例えば１５０度）を設定する。その際、パノラマ撮像範囲の中心が変更されたことを、文字や矢印等の記号で報知するように設定すると好適である。また、選択された顔領域については、その他の顔領域と識別するために、顔領域の枠の色を変化させる、明滅させる等の処理を行うと効果的である。
このようにすることにより、複数の人物の顔が表示部３００に映り込む場合において、選択された顔領域を中心としたパノラマ撮像範囲を設定することが可能となる。ガイドの表示位置のみを選択された顔領域または顔領域以外に設定するか、それと同時にパノラマ撮像範囲の中心を変更するかについては、例えば表示部３００にメニューを表示して、ユーザーに選択させるようにすればよい。
（ユーザー操作によるガイド表示位置の変更）
また、ユーザーによるタップ、ダブルタップ又は長押し等の操作によって表示された回転ガイド４１を選択し、ドラッグ操作によって回転ガイド４１を表示部３００内の所望の位置に移動できるように設定してもよい。また、タップ、ダブルタップ又は長押し等の操作によって表示された回転ガイド４１を選択し、ピンチ操作によって回転ガイド４１の大きさを変更できるようにしてもよい。
また、回転ガイド４１の大きさを、表示部３００内の回転ガイド４１の表示位置及び表示可能な領域の大きさに対応して変化させるようにしてもよい。例えば、図１３（ｂ）に示すように顔領域以外の位置に撮影ガイドを表示させる際に、顔領域以外の領域が狭い（表示部３００における撮影ガイドの表示可能な領域が狭い）場合がある。そのような場合は、撮影ガイド大きさを表示可能な領域の大きさに対応して縮小するように設定してもよい。
また、ユーザーによるタップ、ダブルタップ又は長押し等の操作によって表示された回転ガイド４１を選択し、ドラッグ操作によって回転ガイド４１を表示部３００内の所望の位置に移動できるように設定してもよい。また、タップ、ダブルタップ又は長押し等の操作によって表示された回転ガイド４１を選択し、ピンチ操作によって回転ガイド４１の大きさを変更できるようにしてもよい。
また、回転ガイド４１の大きさを、表示部３００内の回転ガイド４１の表示位置及び表示可能な領域の大きさに対応して変化させるようにしてもよい。例えば、図１３（ｂ）に示すように顔領域以外の位置に撮影ガイドを表示させる際に、顔領域以外の領域が狭い（表示部３００における撮影ガイドの表示可能な領域が狭い）場合がある。そのような場合は、撮影ガイド大きさを表示可能な領域の大きさに対応して縮小するように設定してもよい。
(ガイドの優先表示)
また、スマートフォン２が撮影位置に無い状態においては、被写体よりもガイド表示を優先して表示するように設定してもよい。例えば、スマートフォン２が次の撮影位置まで（例えば単位回転角度３０度）まで回転していない間は、ガイド表示と被写体を含むインカメラ６２に映り込む光景の輝度に差を設け、ガイド表示の輝度をインカメラ６２に映り込む光景の輝度よりも高い状態とする。または、インカメラ６２に映り込む光景の輝度をガイド表示の輝度よりも低い状態とする。ガイド表示の優先表示の解除は、スマートフォン２が撮影位置まで回転したとき、または撮影位置に所定範囲まで近づいたときに行うようにすればよい。また、撮影位置に近づくにつれて徐々に輝度の差を小さくし、撮影位置まで回転したときに輝度の差を無くして優先表示の解除をするようにしてもよい。また、優先表示の態様は輝度の差に限らず、ユーザーが表示画面を見た際の視認性に差が生じるものであればよく、例えば明度の差や、輝度と明度の組み合わせの差を用いてもよい。
また、スマートフォン２が撮影位置に無い状態においては、被写体よりもガイド表示を優先して表示するように設定してもよい。例えば、スマートフォン２が次の撮影位置まで（例えば単位回転角度３０度）まで回転していない間は、ガイド表示と被写体を含むインカメラ６２に映り込む光景の輝度に差を設け、ガイド表示の輝度をインカメラ６２に映り込む光景の輝度よりも高い状態とする。または、インカメラ６２に映り込む光景の輝度をガイド表示の輝度よりも低い状態とする。ガイド表示の優先表示の解除は、スマートフォン２が撮影位置まで回転したとき、または撮影位置に所定範囲まで近づいたときに行うようにすればよい。また、撮影位置に近づくにつれて徐々に輝度の差を小さくし、撮影位置まで回転したときに輝度の差を無くして優先表示の解除をするようにしてもよい。また、優先表示の態様は輝度の差に限らず、ユーザーが表示画面を見た際の視認性に差が生じるものであればよく、例えば明度の差や、輝度と明度の組み合わせの差を用いてもよい。
（矩形の回転ガイドと中心軸を表示）
図１４は、矩形の回転ガイド及びスマートフォン２を中心とした回転の中心軸を表示したガイド表示の一例である。図１４（ａ）は、ユーザーがスマートフォン２のインカメラ６２をユーザーの方向に向けて自撮りを行った状態を示している。図１４（ａ）には、表示部３００の左右方向の中心位置に回転の中心軸４８を示す直線が表示されている。さらに、ユーザーに回転動作を意識させるために、中心軸４８の周囲に円弧状に矢印付き実線を表示している。表示部３００の上端に、図１４（ａ）に示すような水平方向に長い矩形形状の回転ガイドユニット４１ａ〜ｅから構成される回転ガイド４１及び回転マーカー４２を表示している。図１４（ｂ）は、スマートフォン２を回転ガイドユニット４１ｂの方向に回転させている途中の状態を示している。図１４（ｃ）は、スマートフォン２が回転ガイドユニット４１ｂの位置まで回転した状態を示している。
なお、中心軸４８上に更に図１１（ｂ）と同様な外観回転ガイド４５及び回転方向を示す矢印を更に表示すると好適である。また、中心ガイド４３及び中心マーカー４４を、回転の中心軸上の任意の位置に表示するようにしてもよい。
また、中心軸４８は、図１４に示すようにスマートフォン２の表示部３００の垂直方向全体に表示する必要はなく、上部の所定範囲のみに表示するようにしてもよい。または、中心軸４８及び円弧状の矢印付き実線を、回転ガイド４１内、例えば回転ガイドユニット４１ｃ内部に表示するようにしてもよい。また、回転方向を示す円弧状の矢印付き実線は、円弧状ではなく直線であってもよい。
このようにすることにより、回転動作を行って撮影を行うことをユーザーに明確に理解させることができる。
図１４は、矩形の回転ガイド及びスマートフォン２を中心とした回転の中心軸を表示したガイド表示の一例である。図１４（ａ）は、ユーザーがスマートフォン２のインカメラ６２をユーザーの方向に向けて自撮りを行った状態を示している。図１４（ａ）には、表示部３００の左右方向の中心位置に回転の中心軸４８を示す直線が表示されている。さらに、ユーザーに回転動作を意識させるために、中心軸４８の周囲に円弧状に矢印付き実線を表示している。表示部３００の上端に、図１４（ａ）に示すような水平方向に長い矩形形状の回転ガイドユニット４１ａ〜ｅから構成される回転ガイド４１及び回転マーカー４２を表示している。図１４（ｂ）は、スマートフォン２を回転ガイドユニット４１ｂの方向に回転させている途中の状態を示している。図１４（ｃ）は、スマートフォン２が回転ガイドユニット４１ｂの位置まで回転した状態を示している。
なお、中心軸４８上に更に図１１（ｂ）と同様な外観回転ガイド４５及び回転方向を示す矢印を更に表示すると好適である。また、中心ガイド４３及び中心マーカー４４を、回転の中心軸上の任意の位置に表示するようにしてもよい。
また、中心軸４８は、図１４に示すようにスマートフォン２の表示部３００の垂直方向全体に表示する必要はなく、上部の所定範囲のみに表示するようにしてもよい。または、中心軸４８及び円弧状の矢印付き実線を、回転ガイド４１内、例えば回転ガイドユニット４１ｃ内部に表示するようにしてもよい。また、回転方向を示す円弧状の矢印付き実線は、円弧状ではなく直線であってもよい。
このようにすることにより、回転動作を行って撮影を行うことをユーザーに明確に理解させることができる。
（矩形の回転ガイド、撮像範囲マーカー、撮像画像の表示）
以上説明した例においては、回転ガイド４１及び回転マーカー４２を組み合わせたガイド表示について説明したが、回転ガイド４１に撮像範囲を示す撮像範囲マーカー４６及び撮像した画像の縮小画像４７を表示するようにしてもよい。以下、この場合のガイド表示の一例を図１５を用いて説明する。
以上説明した例においては、回転ガイド４１及び回転マーカー４２を組み合わせたガイド表示について説明したが、回転ガイド４１に撮像範囲を示す撮像範囲マーカー４６及び撮像した画像の縮小画像４７を表示するようにしてもよい。以下、この場合のガイド表示の一例を図１５を用いて説明する。
図１５（ａ）は、一枚目の撮影（ユーザーの正面方向の自撮り撮影）時の撮像待機画面を示している。図１５（ａ）には、表示部３００の上部右上に、垂直方向に長い回転ガイドユニット４１ｂ〜ｄから構成される回転ガイド４１及び撮像範囲マーカー４６を表示している。撮像範囲マーカー４６は回転ガイド４１の中央に位置する回転ガイドユニット４１ｃに重なって表示されており、撮像範囲マーカー４６及び回転ガイドユニット４１ｃの位置には、回転ガイドユニット４１ｃの位置で撮像された一枚目の画像（ユーザーの正面方向の自撮り画像）の縮小画像４７を表示している。更に、回転ガイド４１の下に、図１１（ｂ）と同様な外観回転ガイド４５を表示している。
撮像範囲マーカー４６は、現在のスマートフォン２のインカメラ６２の撮像範囲及び回転状態を示すマーカーである。撮像範囲マーカー４６は、撮像回転角度に対応して、回転ガイド４１において左右に移動する。また、撮像範囲マーカー４６の形状は、ユーザーがスマートフォン２を回転させている途中はスマートフォン２の回転方向及び回転角度に対応して矩形から台形に変形し、次の撮像回転角度までスマートフォン２が回転した際には、再び矩形に戻るように設定する。
回転ガイドユニット４１ｃの垂直方向と水平方向のサイズ比は、撮像画像の垂直方向と水平方向サイズ比に対応して、望ましくは同じサイズ比に設定する。回転ガイドユニット４１ｃの左右に位置する回転ガイドユニット４１ｂ及び４１ｄの水平方向のサイズは、回転ガイドユニット４１ｃと同じとしてもよく、図１５に示すように、回転ガイドユニット４１ｃに比して短く設定してもよい。
外観回転ガイド４５には、次の回転方向を示す円弧状の矢印付き実線を表示する。なお、次の回転方向を示す矢印付き実線は、回転ガイド４１内に表示するようにしてもよい。また、円弧状ではなく直線形状であってもよい。
更に、左又は右方向への回転を促すテキストメッセージを表示部３００に表示するようにすると好適である。また、図５（ｂ）と同様に、回転ガイドユニット４１ｃの位置での撮影後に回転ガイドユニット４１ｂ及び４１ｄにハッチングを施すことで、次の撮像方向をユーザーに報知するようにしてもよい。
外観回転ガイド４５には、次の回転方向を示す円弧状の矢印付き実線を表示する。なお、次の回転方向を示す矢印付き実線は、回転ガイド４１内に表示するようにしてもよい。また、円弧状ではなく直線形状であってもよい。
更に、左又は右方向への回転を促すテキストメッセージを表示部３００に表示するようにすると好適である。また、図５（ｂ）と同様に、回転ガイドユニット４１ｃの位置での撮影後に回転ガイドユニット４１ｂ及び４１ｄにハッチングを施すことで、次の撮像方向をユーザーに報知するようにしてもよい。
図１５（ｂ）は、ユーザーが回転ガイドユニット４１ｂの位置で二枚目の撮影を行うためにスマートフォン２を回転させている途中の撮像待機画面を示している。撮像範囲マーカー４６の形状は、スマートフォン２の回転方向及び回転角度に対応して矩形から台形に変形して表示されている。また、外観回転ガイド４５はスマートフォン２の回転方向及び回転角度に対応した傾きで表示され、更に現在の回転方向を示す矢印（この場合は左方向の矢印）が付されている。なお、次の撮像回転角度に達するまでの間、回転を継続するように促すテキストメッセージを表示部３００に表示するようにすると好適である。
続いて、図１５（ｃ）は、二枚目の撮影時の撮像待機画面を示している。撮像範囲マーカー４６の形状は台形から矩形に戻り、スマートフォン２の回転方向及び回転角度に対応して左方向に移動して表示されている。更に、撮像範囲マーカー４６の位置に、二枚目の撮影時の画像（回転ガイドユニット４１ｂの位置で撮像された画像）の縮小画像４７を表示している。このように、撮像した画像の縮小画像４７を回転ガイド４１内に表示することにより、ユーザーは回転ガイド４１から視線を動かすことなく、撮像範囲間の重なり状態を視認しながら、パノラマ撮影を行うことができる。
図１５（ｃ）の外観回転ガイド４５には、次の回転方向を示す矢印（この場合は右方向の矢印）を表示している。更に、反対方向への回転を促すテキストメッセージを表示部３００に表示するようにすると好適である。また、図９（ｄ）と同様に、二枚目の撮影後に回転ガイドユニット４１ｄにハッチングを施すことで、次の撮像方向をユーザーに報知するようにしてもよい。
なお、回転ガイド４１の表示位置は表示部３００の上部右上に限られるものではなく、表示部３００内の任意の位置、例えば上部中央、上部左上であってもよい。また、中心ガイド４３及び中心マーカー４４を、表示部３００の中心位置に表示するようにしてもよい。
図１５（ｃ）の外観回転ガイド４５には、次の回転方向を示す矢印（この場合は右方向の矢印）を表示している。更に、反対方向への回転を促すテキストメッセージを表示部３００に表示するようにすると好適である。また、図９（ｄ）と同様に、二枚目の撮影後に回転ガイドユニット４１ｄにハッチングを施すことで、次の撮像方向をユーザーに報知するようにしてもよい。
なお、回転ガイド４１の表示位置は表示部３００の上部右上に限られるものではなく、表示部３００内の任意の位置、例えば上部中央、上部左上であってもよい。また、中心ガイド４３及び中心マーカー４４を、表示部３００の中心位置に表示するようにしてもよい。
（ユーザーを基準とした撮像角度）
以上説明した例における回転ガイド４１及び回転マーカー４２は、スマートフォン２を基準として、ユーザーから見たスマートフォン２の向き（回転の方向と回転度合い）を示している。また、撮像待機画面に表示される画像は鏡像となっている。これに対して、ユーザーを基準として、スマートフォン２の向きに応じて変化する撮影対象となる内容を回転ガイドに反映させるようにしてもよい。以下、この場合の回転ガイドの一例を図１６を用いて説明する。
以上説明した例における回転ガイド４１及び回転マーカー４２は、スマートフォン２を基準として、ユーザーから見たスマートフォン２の向き（回転の方向と回転度合い）を示している。また、撮像待機画面に表示される画像は鏡像となっている。これに対して、ユーザーを基準として、スマートフォン２の向きに応じて変化する撮影対象となる内容を回転ガイドに反映させるようにしてもよい。以下、この場合の回転ガイドの一例を図１６を用いて説明する。
図１６（ａ）は、一枚目の画像撮影時の状態を示している。マーカー５１は、矩形の外周の一部分に幅を持たせた形状で表示され、その中心位置は表示部３００の中心位置に固定されている。回転ガイド４１’は、矩形の回転ガイドユニット４１ａ’〜４１ｅ ’で構成され、その全体がスマートフォン２の回転に対応して横方向に移動する。図１６（ａ）は、回転ガイドユニット４１ａ’〜４１ｅ ’の中央に位置する回転ガイドユニット４１ｃ’に撮影位置であることを示すハッチングが施された状態である。更に、次の撮影方向（この場合は回転ガイドユニット４１ｂ’）を示す矢印５２を表示してもよい。回転ガイドユニットは、図５〜１０の例とは逆に、端部に位置する回転ガイドユニット４１ａ’及び４１ｅ’が表示画面の手前側に並ぶように表示されている。また、撮像待機画面に表示される画像は、図５〜１４の例とは左右が反転した画像となっている。
一枚目の撮影終了後、ユーザーは、マーカー５１の範囲内に回転ガイドユニット４１ｂ’が収まるように、スマートフォン２を回転させる。スマートフォン２の回転に対応して、回転ガイド４１’は横方向（この場合は右方向）へ移動する。回転ガイドユニット４１ｂ’には、回転ガイドユニット４１ｂ’の示す撮影位置までスマートフォン２が回転した際に撮影対象となる内容（インカメラ６２に映り込む光景）が予め表示されており、ユーザーは、スマートフォン２の回転操作中に回転ガイドユニット４１ｂ’に表示されている内容を視認することで、予め次にどのような画像を撮影するかを把握することができる。
一枚目の撮影終了後、ユーザーは、マーカー５１の範囲内に回転ガイドユニット４１ｂ’が収まるように、スマートフォン２を回転させる。スマートフォン２の回転に対応して、回転ガイド４１’は横方向（この場合は右方向）へ移動する。回転ガイドユニット４１ｂ’には、回転ガイドユニット４１ｂ’の示す撮影位置までスマートフォン２が回転した際に撮影対象となる内容（インカメラ６２に映り込む光景）が予め表示されており、ユーザーは、スマートフォン２の回転操作中に回転ガイドユニット４１ｂ’に表示されている内容を視認することで、予め次にどのような画像を撮影するかを把握することができる。
図１６（ｂ）は、二枚目の画像撮影時の状態である。ユーザーがスマートフォン２を回転させ、回転ガイドユニット４１ｂ’とマーカー５１の範囲内に収まった状態で、二枚目の撮影が行われる。三枚目以降の撮影も同様である。また、図１６（ｃ）は、図１６（ａ）の回転ガイド４１’の上部と下部の外縁を、楕円の外縁の部分形状とした変形例である。
このようにすることにより、図５〜１４に示した回転ガイドの表示形態よりも、被写体の周りをスマホが回転させる形で撮影するかのような誤認は起こりにくくなる。また、どのような画像を撮影するかを予めユーザーに提示した形で撮影を行うことができる。
このようにすることにより、図５〜１４に示した回転ガイドの表示形態よりも、被写体の周りをスマホが回転させる形で撮影するかのような誤認は起こりにくくなる。また、どのような画像を撮影するかを予めユーザーに提示した形で撮影を行うことができる。
また、図１６の例では、図５〜図１４の例で説明した現在位置マーカーは表示されていない。これは、上述したように図１６において撮像待機画面に表示される画像は、図５〜１４の例に対して左右が反転した画像であるためである。具体的には、図１６に更に現在位置マーカーを表示してスマートフォン２の左右方向の位置を修正しようとした場合、現在位置マーカーの動きと実際のスマートフォン２の動く方向が逆となり、ユーザーが混乱する可能性があるためである。従って、現在位置マーカー画像の表示は省略するか、または現在位置マーカー画像の代替としてスマートフォン２の位置修正に必要な情報を、修正方向を示す矢印のような図形情報、“ＲＩＧＨＴ”、“ＬＥＦＴ”といった文字情報、及び位置の修正に必要な距離を示す数値情報等で表示することが望ましい。
また、スマートフォン２の回転に際して上下方向のずれがあった場合は、ガイド５１に対して回転ガイド４１’がずれて表示されるように設定してもよい。また、平行方向へのずれがあった場合は、回転ガイド４１’全体または該当する回転ガイドユニットの矩形表示を変化させる（例えば台形形状に歪ませる）ように設定してもよい。
また、スマートフォン２の回転に際して上下方向のずれがあった場合は、ガイド５１に対して回転ガイド４１’がずれて表示されるように設定してもよい。また、平行方向へのずれがあった場合は、回転ガイド４１’全体または該当する回転ガイドユニットの矩形表示を変化させる（例えば台形形状に歪ませる）ように設定してもよい。
以上、撮影ガイドの表示態様の例、及び表示位置の例について説明したが、使用する撮影ガイドの種類、組み合わせ及び表示位置は、例えば表示部３００にメニューを表示して、ユーザーに選択させるようにすればよい。
また、上記の説明では、一枚目の撮影画像を中心として、左右均等にスマートフォン２を回転させる例について説明したが、本実施例の形態はこれに限られるものではない。例えば、二枚目以降の撮影をユーザーの左側または右側だけ行うことを選択できるステップを設け、パノラマ撮像範囲を設定するようにしてもよい。そして、ユーザーが左側だけを撮影することを選択した場合は、回転ガイドユニット４１ａ〜４１ｃのみを表示し、回転ガイドユニット４１ｄ及び４１ｅを表示しないようにする。または、「撮影範囲縮小（撮影途中終了）」のアイコンをタッチパネル２５０に表示しておき、回転ガイドユニット４１ａ〜４１ｃの範囲の撮影が終了した後にそのアイコンをタッチすることで撮影を終了させ、パノラマ画像生成を行うようにすればよい。または、表示された回転ガイドユニットを指でタップすることで、回転ガイドユニットの表示と非表示を個別に切り替え可能としてもよい。
また、上記の説明では、Ａ１５において設定された回転ガイド４１の範囲（パノラマ撮像範囲）を撮影するとしたが、本実施例の形態はこれに限られるものではない。例えば、設定された回転ガイド４１より広い範囲をユーザーが撮影できるように選択できるステップを設けてもよい。
例えば、図５（ａ）において、ユーザーがスマートフォン２を回転させて回転ガイドユニット４１ａの位置での撮影を終了した後、更に同方向にスマートフォン２を回転させた場合、撮像制御部１５０はユーザーに対して撮影範囲の拡大を行うか否かの選択メニューを表示するように設定する。ユーザーが撮影範囲の拡大を選択した場合は、回転ガイド４１を更新し、同方向に回転ガイドユニットを追加表示する。同時に必要撮影枚数の情報を更新する。
または、回転ガイド４１の左右の端のいずれかの撮影が終了した時に「撮影範囲拡大」のアイコンをタッチパネル２５０に表示させ、ユーザーがそのアイコンをタッチすることで、撮像制御部１５０は回転ガイド４１を更新し、回転ガイドユニットを追加表示するようにすればよい。
または、回転ガイド４１の左右の端のいずれかの撮影が終了した後に、ユーザーが更にパノラマ撮像範囲を拡大する方向にスマートフォン２を回転させた場合、動きセンサ７６０の出力によって撮影範囲が拡大されたと判断した撮像制御部１５０が、自動的に回転ガイド４１を更新し、拡大された方向に回転ガイドユニットを追加表示するように設定すればよい。
例えば、図５（ａ）において、ユーザーがスマートフォン２を回転させて回転ガイドユニット４１ａの位置での撮影を終了した後、更に同方向にスマートフォン２を回転させた場合、撮像制御部１５０はユーザーに対して撮影範囲の拡大を行うか否かの選択メニューを表示するように設定する。ユーザーが撮影範囲の拡大を選択した場合は、回転ガイド４１を更新し、同方向に回転ガイドユニットを追加表示する。同時に必要撮影枚数の情報を更新する。
または、回転ガイド４１の左右の端のいずれかの撮影が終了した時に「撮影範囲拡大」のアイコンをタッチパネル２５０に表示させ、ユーザーがそのアイコンをタッチすることで、撮像制御部１５０は回転ガイド４１を更新し、回転ガイドユニットを追加表示するようにすればよい。
または、回転ガイド４１の左右の端のいずれかの撮影が終了した後に、ユーザーが更にパノラマ撮像範囲を拡大する方向にスマートフォン２を回転させた場合、動きセンサ７６０の出力によって撮影範囲が拡大されたと判断した撮像制御部１５０が、自動的に回転ガイド４１を更新し、拡大された方向に回転ガイドユニットを追加表示するように設定すればよい。
また、上記の説明では、Ａ１５において設定された撮影範囲（パノラマ撮像範囲）を、同じく設定された撮影枚数撮影するとしたが、本実施例の形態はこれに限られるものではない。例えば、スマートフォン２の反対方向への回転を検出することによって、撮影範囲及び撮影枚数を再設定するようにしてもよい。
具体的には、例えば、図５（ａ）において、回転ガイドユニット４１ｃ及び４１ｂの撮影を終えた段階で、ユーザーがスマートフォン２を反対方向に回転させたとする。その場合、動きセンサ７６０を介してユーザーがスマートフォン２を反対方向へ回転させたことを検出した撮像制御部１５０は、回転ガイドユニット４１ａの位置での撮影はキャンセルされたと判断し、回転ガイド４１の表示を更新し、反対方向の回転ガイドユニット４１ｄを次の撮影位置としてユーザーに報知するように設定する。更に、回転ガイドユニット４１ａがキャンセルされたことに基づいて、反対方向の線対称位置に位置する回転ガイドユニット４１ｅもキャンセルされる設定としてもよい。
具体的には、例えば、図５（ａ）において、回転ガイドユニット４１ｃ及び４１ｂの撮影を終えた段階で、ユーザーがスマートフォン２を反対方向に回転させたとする。その場合、動きセンサ７６０を介してユーザーがスマートフォン２を反対方向へ回転させたことを検出した撮像制御部１５０は、回転ガイドユニット４１ａの位置での撮影はキャンセルされたと判断し、回転ガイド４１の表示を更新し、反対方向の回転ガイドユニット４１ｄを次の撮影位置としてユーザーに報知するように設定する。更に、回転ガイドユニット４１ａがキャンセルされたことに基づいて、反対方向の線対称位置に位置する回転ガイドユニット４１ｅもキャンセルされる設定としてもよい。
以上が撮影範囲縮小の例であるが、撮影範囲追加についても同様である。例えば、回転ガイドユニット４１ｃ、４１ｂ及び４１ａの撮影を終えた段階で、ユーザーがスマートフォン２を更に同方向へ回転させたとする。その場合、撮像制御部１５０は、回転ガイドユニット４１ａより更に回転させた位置での撮影が追加されたと判断し、回転ガイド４１の表示を更新し、回転ガイドユニット４１ａの左側に回転ガイドユニットを追加する。回転ガイドユニットの追加は、ユーザーがスマートフォン２を反対方向へ回転させるまで繰り返し行われる。動きセンサ７６０を介してユーザーがスマートフォン２を反対方向へ回転させたことを検出した撮像制御部１５０は、同回転方向の撮影が終了したと判断し、反対方向の回転ガイドユニット４１ｄを次の撮影位置としてユーザーに報知する。更に、回転ガイドユニット４１ａの左側の撮影範囲が追加された数量分を、反対方向の線対称位置に位置する回転ガイドユニット数に追加する設定としてもよい。
また、上記の説明では、Ａ１５において設定された撮影範囲を、同じく設定された撮影枚数撮影するとしたが、本実施例の形態はこれに限られるものではない。例えば、一枚目の撮影段階では、単位回転角度一つ分のみ、すなわち回転ガイドユニット１つのみをガイドとして表示し、その後のユーザー操作に応じて回転ガイドユニットを追加して撮影範囲を拡大させるように設定してもよい。
例えば、図５（ａ）において、Ａ１５における回転ガイド４１の表示設定を、単位回転角度（例えば３０度）の回転ガイドユニット４１ｃのみとする。この場合、ガイド設定及び表示に必要な情報は単位回転角度のみとなる。この位置で一枚目の撮影を行った後、ユーザーがスマートフォン２を左方向へ回転させたとする。動きセンサ７６０を介してユーザーがスマートフォン２を回転させたことを検出した撮像制御部１５０は、撮影枚数が追加されたと判断し、回転ガイド４１の表示を更新し、回転ガイドユニット４１ｃの左側に回転ガイドユニット４１ｂを追加する。同じように更に左側の回転ガイドユニット４１ａ、右側の回転ガイドユニット４１ｄ及び４１ｅを追加して撮影を行ってもよい。撮影終了（Ａ４５）の判断は、ユーザーによる操作ボタンの操作等で行えばよい。
また、ユーザーにスマートフォン２の回転動作を意識させるために、自撮りガイド撮影モード判定（Ａ１０；Ｙｅｓ）または自撮りガイド撮影設定（Ａ１５）のステップにおいて、楕円の一部分（内角１５０度）の円弧に所定の幅を持たせた形状の回転ガイド４１の外縁を、一枚目の撮影位置を示す回転ガイドユニット４１ｃと共に表示するようにしてもよい。
または、撮影開始時点では回転ガイドユニットを表示せず、一枚目の撮影終了後に、撮影した範囲の回転ガイドユニット（この場合は回転ガイドユニット４１ｃ）を表示させるようにしてもよい。
なお、上記の説明では一枚目の撮影は回転ガイドユニット４１ｃで行うとしたが、それ以外の回転ガイドユニットを一枚目の撮影に使用してもよい。
例えば、図５（ａ）において、Ａ１５における回転ガイド４１の表示設定を、単位回転角度（例えば３０度）の回転ガイドユニット４１ｃのみとする。この場合、ガイド設定及び表示に必要な情報は単位回転角度のみとなる。この位置で一枚目の撮影を行った後、ユーザーがスマートフォン２を左方向へ回転させたとする。動きセンサ７６０を介してユーザーがスマートフォン２を回転させたことを検出した撮像制御部１５０は、撮影枚数が追加されたと判断し、回転ガイド４１の表示を更新し、回転ガイドユニット４１ｃの左側に回転ガイドユニット４１ｂを追加する。同じように更に左側の回転ガイドユニット４１ａ、右側の回転ガイドユニット４１ｄ及び４１ｅを追加して撮影を行ってもよい。撮影終了（Ａ４５）の判断は、ユーザーによる操作ボタンの操作等で行えばよい。
また、ユーザーにスマートフォン２の回転動作を意識させるために、自撮りガイド撮影モード判定（Ａ１０；Ｙｅｓ）または自撮りガイド撮影設定（Ａ１５）のステップにおいて、楕円の一部分（内角１５０度）の円弧に所定の幅を持たせた形状の回転ガイド４１の外縁を、一枚目の撮影位置を示す回転ガイドユニット４１ｃと共に表示するようにしてもよい。
または、撮影開始時点では回転ガイドユニットを表示せず、一枚目の撮影終了後に、撮影した範囲の回転ガイドユニット（この場合は回転ガイドユニット４１ｃ）を表示させるようにしてもよい。
なお、上記の説明では一枚目の撮影は回転ガイドユニット４１ｃで行うとしたが、それ以外の回転ガイドユニットを一枚目の撮影に使用してもよい。
また、上記の説明では、自撮りガイド撮影モードで撮影した撮影画像（上記の説明では５枚）をパノラマ画像生成に使用するとしたが、これら全てを、パノラマ画像生成に使用しなくてもよい。
例えば、自撮りガイド撮影モードで回転ガイドユニット４１ａから４１ｅまでの５枚を撮影した後、撮影画像の表示制御（Ａ４０）によって、ユーザーは撮影画像を確認する。その際、例えば回転ガイド４１ａの位置での撮影画像をパノラマ生成の対象画像から除きたい場合がある。それを実行するためには、撮影画像からＡ５５のパノラマ画像生成に使用したい画像をユーザーが選択可能なステップを、撮影画像の表示制御（Ａ４０）と画像生成実行操作（Ａ５５）の間に新たに設ければよい。
例えば、自撮りガイド撮影モードで回転ガイドユニット４１ａから４１ｅまでの５枚を撮影した後、撮影画像の表示制御（Ａ４０）によって、ユーザーは撮影画像を確認する。その際、例えば回転ガイド４１ａの位置での撮影画像をパノラマ生成の対象画像から除きたい場合がある。それを実行するためには、撮影画像からＡ５５のパノラマ画像生成に使用したい画像をユーザーが選択可能なステップを、撮影画像の表示制御（Ａ４０）と画像生成実行操作（Ａ５５）の間に新たに設ければよい。
また、より好適なパノラマ画像を生成するために、自撮りガイド撮影モードでの撮影を複数回（例えば連続して２回）行い、各回転角度ガイドユニット毎に保存された複数の撮影画像から、ユーザーがパノラマ画像生成に使用する撮影画像を選択できるようにしてもよい。この場合、ユーザーは、例えば回転ガイドユニット４１ｂ〜４１ｅは１回目の撮影画像、残りの回転ガイドユニット４１ａのみ２回目の撮影画像を選択してパノラマ画像生成を実行することができる。
（持ち替え補助）
ユーザーが右手でスマートフォン２を持つ場合、ユーザーの右側方向へスマートフォン２を回転させることは、左方向への回転に比べて難しくなる。また、無理に大きな角度の回転を行うと、スマートフォン２を持つ腕が上下左右に移動してしまう可能性が高い。それを防止するために、例えば、ユーザーの左側の撮影が終了したタイミングで、スマートフォン２を持つ手を右手から左手に変えることを促す報知を行うようにする。例えば、「持ち替え中」アイコンをタッチパネル２５０に表示しておき、右手から左手に持ち替える際にそのアイコンをタッチすることで、自撮りガイド撮影モードを一時中断及び再開できるようにすると好適である。
ユーザーが右手でスマートフォン２を持つ場合、ユーザーの右側方向へスマートフォン２を回転させることは、左方向への回転に比べて難しくなる。また、無理に大きな角度の回転を行うと、スマートフォン２を持つ腕が上下左右に移動してしまう可能性が高い。それを防止するために、例えば、ユーザーの左側の撮影が終了したタイミングで、スマートフォン２を持つ手を右手から左手に変えることを促す報知を行うようにする。例えば、「持ち替え中」アイコンをタッチパネル２５０に表示しておき、右手から左手に持ち替える際にそのアイコンをタッチすることで、自撮りガイド撮影モードを一時中断及び再開できるようにすると好適である。
（回転速さ制限）
動きセンサ７６０は、スマートフォン２の動き情報を検出するが、所定の速さ以下でスマートフォン２を回転させると測定誤差が大きくなることが想定される。また、回転に時間が掛かると、それだけスマートフォン２を持つ腕の疲労度が高まり、腕全体の位置が下がってしまうおそれがある。そのため、撮影終了から所定時間以上（例えば１０秒以上）経過しても次の撮影ガイドまでの回転が検知されない場合又は撮影が行われない場合は、その旨を撮像待機画面に報知してユーザーに注意を促すとよい。また、自動的に自撮りガイド撮影モードを中断するように設定してもよい。
動きセンサ７６０は、スマートフォン２の動き情報を検出するが、所定の速さ以下でスマートフォン２を回転させると測定誤差が大きくなることが想定される。また、回転に時間が掛かると、それだけスマートフォン２を持つ腕の疲労度が高まり、腕全体の位置が下がってしまうおそれがある。そのため、撮影終了から所定時間以上（例えば１０秒以上）経過しても次の撮影ガイドまでの回転が検知されない場合又は撮影が行われない場合は、その旨を撮像待機画面に報知してユーザーに注意を促すとよい。また、自動的に自撮りガイド撮影モードを中断するように設定してもよい。
（パノラマ撮像範囲設定）
図１７（ａ）に示すように、人物Ｃを撮影者であるユーザーとし、横に並んでいるＡ〜Ｄの四人の人物を被写体としたパノラマ合成画像５８を得たい場合において、実際の撮影を行う前にパノラマ撮像範囲設定を行う例について以下に説明する。
パノラマ撮像範囲設定を実行するためには、自撮りガイド撮影モード判定（Ａ１０；Ｙｅｓ）と自撮りガイド撮影設定（Ａ１５）の間に、パノラマ撮像範囲設定及び報知を行うステップを設ければよい。更に、パノラマ撮像範囲設定の前に、顔領域検出を行うステップを設ければより効果的である。
図１７（ａ）に示すように、人物Ｃを撮影者であるユーザーとし、横に並んでいるＡ〜Ｄの四人の人物を被写体としたパノラマ合成画像５８を得たい場合において、実際の撮影を行う前にパノラマ撮像範囲設定を行う例について以下に説明する。
パノラマ撮像範囲設定を実行するためには、自撮りガイド撮影モード判定（Ａ１０；Ｙｅｓ）と自撮りガイド撮影設定（Ａ１５）の間に、パノラマ撮像範囲設定及び報知を行うステップを設ければよい。更に、パノラマ撮像範囲設定の前に、顔領域検出を行うステップを設ければより効果的である。
図１７（ｂ）、図１７（ｃ）及び図１７（ｄ）は、人物Ｃがスマートフォン２を回転させた際に表示部３００に撮像待機画面として表示される画像の例であり、顔領域５０ａ、５０ｂ、５０ｃ、５０ｄは、それぞれ人物Ａ、Ｂ、Ｃ、Ｄの顔領域検出によって設定された顔領域を示している。回転ガイド４１、回転ガイドユニット４１a〜e、及び回転マーカー４２は下記に説明するパノラマ撮像範囲設定後に表示される（図１７（ｄ））。または、パノラマ撮像範囲設定の前に、図１７（ｂ）及び（ｃ）に示すように、ユーザーにスマートフォン２の回転動作を促すために、楕円の一部分の円弧に幅を持たせた形状の回転ガイド４１を、例えば１５０度の範囲で仮に表示しておいてもよい。
以下に説明するパノラマ撮像範囲設定においては、撮影を行う前に、ユーザーがパノラマ合成画像５８として生成したい範囲を含むように、すなわち、図１７の例では人物Ａ〜Ｄを含むようにスマートフォン２を回転させ、撮像制御部１５０がユーザーが回転させた角度範囲の情報をもとにパノラマ撮像範囲を設定する。
まず、ユーザーは、左端に位置する人物Ａの顔領域５０ａを含む所望の画像が撮像待機画面に映し出されるまでスマートフォン２を回転させ、所定の時間（例えば２秒間）その位置を維持する（図１７（ｂ））。これをパノラマ撮像範囲の端部１とする。この際、「左右どちらかの端までスマートフォン２を回転させ、２秒間その状態を維持してください」等の報知を行うようにしてもよい。
動きセンサ７６０は、スマートフォン２のパノラマ撮像範囲の端部１までの回転角度を検出し、撮像制御部１５０に出力する。その後、所定の時間（この場合は２秒間）スマートフォン２の回転及び移動が無かったことを検知し、端部１の設定終了の信号を撮像制御部１５０に出力する。
以下に説明するパノラマ撮像範囲設定においては、撮影を行う前に、ユーザーがパノラマ合成画像５８として生成したい範囲を含むように、すなわち、図１７の例では人物Ａ〜Ｄを含むようにスマートフォン２を回転させ、撮像制御部１５０がユーザーが回転させた角度範囲の情報をもとにパノラマ撮像範囲を設定する。
まず、ユーザーは、左端に位置する人物Ａの顔領域５０ａを含む所望の画像が撮像待機画面に映し出されるまでスマートフォン２を回転させ、所定の時間（例えば２秒間）その位置を維持する（図１７（ｂ））。これをパノラマ撮像範囲の端部１とする。この際、「左右どちらかの端までスマートフォン２を回転させ、２秒間その状態を維持してください」等の報知を行うようにしてもよい。
動きセンサ７６０は、スマートフォン２のパノラマ撮像範囲の端部１までの回転角度を検出し、撮像制御部１５０に出力する。その後、所定の時間（この場合は２秒間）スマートフォン２の回転及び移動が無かったことを検知し、端部１の設定終了の信号を撮像制御部１５０に出力する。
次に、ユーザーは、右端に位置する人物Ｄの顔領域５０ｄを含む所望の画像が撮像待機画面に映し出されるまでスマートフォン２を回転させ、所定の時間（例えば２秒間）スマートフォン２の位置を維持する（図１７（ｃ））。これをパノラマ撮像範囲の端部２とする。この際、「反対側の端までスマートフォン２を回転させ、２秒間その状態を維持してください」等の報知を行うようにしてもよい。 動きセンサ７６０は、スマートフォン２のパノラマ撮像範囲の端部２までの回転角度を検出し、撮像制御部１５０に出力する。その後、所定の時間（この場合は２秒間）スマートフォン２の回転及び移動が無かったことを検知し、端部２の設定終了の信号を撮像制御部１５０に出力する。
なお、スマートフォン２の回転後に所定の時間その状態を維持することの代わりに、ユーザーがスマートフォン２の操作ボタンを押し下げする等の操作によって、端部１及び端部２の設定を行ってもよい。または、スマートフォン２が一方向へ回転した後に反対方向へ回転したことを検出した動きセンサ７６０がその情報を撮像制御部１５０に出力することで、端部１及び２の設定を行うようにしてもよい。
なお、スマートフォン２の回転後に所定の時間その状態を維持することの代わりに、ユーザーがスマートフォン２の操作ボタンを押し下げする等の操作によって、端部１及び端部２の設定を行ってもよい。または、スマートフォン２が一方向へ回転した後に反対方向へ回転したことを検出した動きセンサ７６０がその情報を撮像制御部１５０に出力することで、端部１及び２の設定を行うようにしてもよい。
Ａ１５に進み、撮像制御部１５０は、前記端部１及び端部２までの回転角度の情報をもとにパノラマ撮像範囲を設定し、撮像制御部１５０から出力される情報を元に、ガイド表示設定部１８０は、回転ガイド４１、回転ガイドユニット４１ａ〜ｅ、及び回転マーカー４２を表示部３００に表示する（図１７（ｄ））。
この場合、図１７（ｄ）に示すように、回転ガイド４１の中心（パノラマ撮像範囲の中心）は、撮影者である人物Ｃの顔領域５０ｃの左右の中心線上に配置される。人物Ｃの左側には人物Ａ及びＢ、右側には人物Ｄが位置するため、回転ガイド４１は左右均等とならない。即ち、回転ガイドユニット４１ａ〜ｄが表示され、パノラマ撮像範囲に含まれない回転ガイドユニット４１ｅは表示しないように設定される。もしくは、図１７（ｄ）に示すように、回転ガイドユニット４１ｅのみは他の回転ガイドユニット４１ａ〜ｄと異なる表示態様で表示（この例では回転ガイドユニット４１ｅの枠を破線で表示）するように設定される。その後、Ａ１５〜Ａ５５の処理を行い、画像生成処理（Ａ５５）によって、パノラマ画像５８が生成される。
このようにすることにより、ユーザーは、実際の撮影を行う前に、撮影したい複数の顔を含むパノラマ撮像範囲を設定することができる。また、パノラマ画像の生成に必要な撮影枚数を把握することができる。
この場合、図１７（ｄ）に示すように、回転ガイド４１の中心（パノラマ撮像範囲の中心）は、撮影者である人物Ｃの顔領域５０ｃの左右の中心線上に配置される。人物Ｃの左側には人物Ａ及びＢ、右側には人物Ｄが位置するため、回転ガイド４１は左右均等とならない。即ち、回転ガイドユニット４１ａ〜ｄが表示され、パノラマ撮像範囲に含まれない回転ガイドユニット４１ｅは表示しないように設定される。もしくは、図１７（ｄ）に示すように、回転ガイドユニット４１ｅのみは他の回転ガイドユニット４１ａ〜ｄと異なる表示態様で表示（この例では回転ガイドユニット４１ｅの枠を破線で表示）するように設定される。その後、Ａ１５〜Ａ５５の処理を行い、画像生成処理（Ａ５５）によって、パノラマ画像５８が生成される。
このようにすることにより、ユーザーは、実際の撮影を行う前に、撮影したい複数の顔を含むパノラマ撮像範囲を設定することができる。また、パノラマ画像の生成に必要な撮影枚数を把握することができる。
（アウトカメラ用ガイド撮影モード）
以上説明した実施例では、自撮りまたはグループ撮影において、スマートフォン２の筐体６０の前面６１に搭載されているインカメラ６２を使用する場合について説明したが、本発明のガイド機能は、スマートフォン２の背面７１側に搭載されているアウトカメラ７２を使用する場合にも有効である。
以下、図１８〜図２０を用いて具体的に説明する。
以上説明した実施例では、自撮りまたはグループ撮影において、スマートフォン２の筐体６０の前面６１に搭載されているインカメラ６２を使用する場合について説明したが、本発明のガイド機能は、スマートフォン２の背面７１側に搭載されているアウトカメラ７２を使用する場合にも有効である。
以下、図１８〜図２０を用いて具体的に説明する。
図１８（ａ）に示すような広い範囲の風景パノラマ合成画像５９を得たい場合について説明する。
風景パノラマ合成画像５９のように撮影者であるユーザー自身を被写体に含まない撮影を行う場合には、ユーザーはインカメラ６２ではなくアウトカメラ７２を撮影用カメラとして使用する場合がある。
風景パノラマ合成画像５９のように撮影者であるユーザー自身を被写体に含まない撮影を行う場合には、ユーザーはインカメラ６２ではなくアウトカメラ７２を撮影用カメラとして使用する場合がある。
それを実行するためには、カメラモード処理開始後に、アウトカメラ用ガイド撮影モードを選択するステップを設ければよい。さらに、ユーザーによってアウトカメラ用ガイド撮影モードが選択された場合には、自撮りガイド撮影設定、ガイド表示及びガイド更新（Ａ１５）の代わりに、アウトカメラ用ガイド撮影設定、アウトカメラ用ガイド表示及びガイド更新を行うステップを設ければよい。
図１８（ｂ）は、アウトカメラ用ガイド撮影モードにおける一枚目の撮影段階を示している。なお、回転ガイド５５の形状は、インカメラ６２を使用する場合とは反対方向、即ち表示画面の奥側に湾曲した、楕円の円弧の一部分に所定の幅を持たせた形状となっている。ユーザーは、自撮りガイド撮影モードと同様に、回転ガイド５５、回転ガイドユニット５５ａ〜ｃ、回転マーカー５６の表示に従って、図１８（ｂ）のハッチングが施された回転ガイドユニット５５ａに示す位置で一枚目の撮影を行う。続いて、ユーザーは、図１８（ｃ）及び図１８（ｄ）に示すハッチングを施した回転ガイドユニットに対応する位置までスマートフォン２を回転させて２枚目と３枚目の撮影を行う。その後、画像生成処理（Ａ５５）によって、図１８（ａ）に示すような広い範囲の風景パノラマ合成画像５９を得ることができる。
（アウトカメラ用のパノラマ撮像範囲設定）
図１９は、図１７を用いて説明した自撮りガイド撮影におけるパノラマ撮像範囲設定を、アウトカメラ用ガイド撮影モードに適用した例である。
ユーザーは、パノラマ合成画像の左端となる画像が映し出される所望の位置までスマートフォン２を回転させ、端部１の設定を行う（図１９（ａ））。続いてパノラマ合成画像の右端となる画像が映し出される所望の位置までスマートフォン２を回転させ、端部２の設定を行う（図１９（ｂ））。Ａ１５に進み、撮像制御部１５０は、前記端部１及び端部２までの回転角度の情報をもとに、回転ガイド５５を設定する（図１９（ｃ））。
図１９は、図１７を用いて説明した自撮りガイド撮影におけるパノラマ撮像範囲設定を、アウトカメラ用ガイド撮影モードに適用した例である。
ユーザーは、パノラマ合成画像の左端となる画像が映し出される所望の位置までスマートフォン２を回転させ、端部１の設定を行う（図１９（ａ））。続いてパノラマ合成画像の右端となる画像が映し出される所望の位置までスマートフォン２を回転させ、端部２の設定を行う（図１９（ｂ））。Ａ１５に進み、撮像制御部１５０は、前記端部１及び端部２までの回転角度の情報をもとに、回転ガイド５５を設定する（図１９（ｃ））。
（全周囲ガイド撮影モード）
図２０は、アウトカメラ７２及びインカメラ６２を併用して、撮影者であるユーザーを中心とした全周囲（３６０度）画像撮影を行い、全周囲パノラマ画像合成を行う場合のガイド表示の一例である。
それを実行するためには、カメラモード処理開始後に、全周囲ガイド撮影モードを選択するステップを設ければよい。
全周囲ガイド撮影モードにおいては、ユーザーが自撮りガイド撮影モード及びアウトカメラ用ガイド撮影モードで撮影を行った後に、処理部１００は、記憶部８００に記憶されている画像生成プログラム８１１に従って、画像生成処理（Ａ５５）を実行し、全周囲パノラマ画像が生成される。
図２０は、アウトカメラ７２及びインカメラ６２を併用して、撮影者であるユーザーを中心とした全周囲（３６０度）画像撮影を行い、全周囲パノラマ画像合成を行う場合のガイド表示の一例である。
それを実行するためには、カメラモード処理開始後に、全周囲ガイド撮影モードを選択するステップを設ければよい。
全周囲ガイド撮影モードにおいては、ユーザーが自撮りガイド撮影モード及びアウトカメラ用ガイド撮影モードで撮影を行った後に、処理部１００は、記憶部８００に記憶されている画像生成プログラム８１１に従って、画像生成処理（Ａ５５）を実行し、全周囲パノラマ画像が生成される。
ユーザーと反対側を撮影する際には、ユーザーは、アウトカメラ７２を使用して、回転ガイドユニット５７ａ〜ｃに従ってスマートフォン２を回転させて撮影を行う。
ユーザー側を撮影する際には、ユーザーは、インカメラ６２を使用して、回転ガイドユニット５７ｅ〜ｇに従ってスマートフォン２を回転させて撮影を行う。
ユーザー側及びユーザーと反対側の中間位置に対応する回転ガイドユニット５７ｄ及び５７ｈの位置での撮影は、ユーザーがインカメラ６２とアウトカメラ７２のいずれかを選択して予め設定するようにすればよい。または、スマートフォン２が回転ガイドユニット５７ｄまたは５７ｈに対応する位置まで回転した際に、撮像制御部１５０がユーザーに対してカメラの切り替えを促す報知を行い、ユーザーに使用するカメラの選択をさせるステップを設ければよい。
ユーザー側を撮影する際には、ユーザーは、インカメラ６２を使用して、回転ガイドユニット５７ｅ〜ｇに従ってスマートフォン２を回転させて撮影を行う。
ユーザー側及びユーザーと反対側の中間位置に対応する回転ガイドユニット５７ｄ及び５７ｈの位置での撮影は、ユーザーがインカメラ６２とアウトカメラ７２のいずれかを選択して予め設定するようにすればよい。または、スマートフォン２が回転ガイドユニット５７ｄまたは５７ｈに対応する位置まで回転した際に、撮像制御部１５０がユーザーに対してカメラの切り替えを促す報知を行い、ユーザーに使用するカメラの選択をさせるステップを設ければよい。
（撮影補助機材）
また、上記の説明では、ユーザーが手に持ったスマートフォン２を回動させて複数回の撮影を行うとしたが、撮影補助機材の回転機構を持つ固定部にスマートフォン２を装着して、該固定部を回転させることで、スマートフォン２の回転を行うようにしてもよい。例えばユーザーが、撮影補助機材の回転機構を持つ固定部に、スマートフォン２を治具等で固定する。次いで、ユーザーはスマートフォン２の表示部３００に表示される回転ガイド４１を視認しながらリモコン等を操作して撮影補助機材の固定部の回転及び停止動作を行う。回転及び停止動作はスマートフォン２の動きセンサ７６０で検出され、検出結果は随時撮像制御部１５０に出力される。撮影は、スマートフォン２が所定の角度回転した後に所定の時間（例えば１秒間）停止したことを検知した撮像制御部１５０が、スマートフォン２の撮像部５００に撮影指示信号を出力することで自動的に行われる。または、ユーザーが回転ガイド４１と回転マーカー４２を視認しながらスマートフォン２の操作ボタンやリモコンを操作して撮影を行ってもよい。
または、撮影補助機材の制御部に、予め所定の角度の回転と停止動作を所定の回数行う設定を記憶させておき、撮影補助機材の固定部が自動的に回転及び停止動作を所定の回数行うように設定してもよい。その場合、スマートフォン２が撮影補助機材に装着された状態で、ユーザーが撮影補助機材を起動する。次いで、撮影補助機材の固定部は、予め設定された所定の角度の回転及び所定の時間の停止動作を自動的に行う。回転及び停止動作の検出、及び撮影の指示は、スマートフォン２の動きセンサ７６０、及び撮像制御部１５０によって行われる。
または、スマートフォン２の処理部１００から撮影補助機材の制御部に、回転方向、単位回転角度及び撮影範囲等の情報を出力するようにしてもよい。撮影補助機材の制御部は、その情報をもとに撮影補助機材の固定部を駆動して、回転及び停止動作を行うようにしてもよい。
撮影補助機材としては、卓上に設置する機材、カメラの一脚や三脚に接続する機材、自撮り棒に接続する機材等があるが、これらに限定されるものでは無いことは明かである。
このようにすることにより、スマートフォン２の動きを回転方向のみに限定することができるため、上下左右方向への平行移動等による撮影失敗を防止することができる。
また、上記の説明では、ユーザーが手に持ったスマートフォン２を回動させて複数回の撮影を行うとしたが、撮影補助機材の回転機構を持つ固定部にスマートフォン２を装着して、該固定部を回転させることで、スマートフォン２の回転を行うようにしてもよい。例えばユーザーが、撮影補助機材の回転機構を持つ固定部に、スマートフォン２を治具等で固定する。次いで、ユーザーはスマートフォン２の表示部３００に表示される回転ガイド４１を視認しながらリモコン等を操作して撮影補助機材の固定部の回転及び停止動作を行う。回転及び停止動作はスマートフォン２の動きセンサ７６０で検出され、検出結果は随時撮像制御部１５０に出力される。撮影は、スマートフォン２が所定の角度回転した後に所定の時間（例えば１秒間）停止したことを検知した撮像制御部１５０が、スマートフォン２の撮像部５００に撮影指示信号を出力することで自動的に行われる。または、ユーザーが回転ガイド４１と回転マーカー４２を視認しながらスマートフォン２の操作ボタンやリモコンを操作して撮影を行ってもよい。
または、撮影補助機材の制御部に、予め所定の角度の回転と停止動作を所定の回数行う設定を記憶させておき、撮影補助機材の固定部が自動的に回転及び停止動作を所定の回数行うように設定してもよい。その場合、スマートフォン２が撮影補助機材に装着された状態で、ユーザーが撮影補助機材を起動する。次いで、撮影補助機材の固定部は、予め設定された所定の角度の回転及び所定の時間の停止動作を自動的に行う。回転及び停止動作の検出、及び撮影の指示は、スマートフォン２の動きセンサ７６０、及び撮像制御部１５０によって行われる。
または、スマートフォン２の処理部１００から撮影補助機材の制御部に、回転方向、単位回転角度及び撮影範囲等の情報を出力するようにしてもよい。撮影補助機材の制御部は、その情報をもとに撮影補助機材の固定部を駆動して、回転及び停止動作を行うようにしてもよい。
撮影補助機材としては、卓上に設置する機材、カメラの一脚や三脚に接続する機材、自撮り棒に接続する機材等があるが、これらに限定されるものでは無いことは明かである。
このようにすることにより、スマートフォン２の動きを回転方向のみに限定することができるため、上下左右方向への平行移動等による撮影失敗を防止することができる。
また、上記の説明では、ユーザーに対する視覚的な報知について説明したが、本実施例の報知の方法はこれに限られるものでは無く、スマートフォン２の振動部７５０を使用してスマートフォン２を振動させる報知、スマートフォン２の音出力部４００を使用した音声案内による報知、またはそれらの組み合わせによる報知等を含むものである。
［３．変形例］
本発明を適用可能な実施例は、上記の実施例に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能であることは勿論である。以下、変形例について説明するが、上記の実施例と同一の構成については同一の符号を付して、再度の説明を省略する。
本発明を適用可能な実施例は、上記の実施例に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能であることは勿論である。以下、変形例について説明するが、上記の実施例と同一の構成については同一の符号を付して、再度の説明を省略する。
［３−１．電子機器］
画像処理装置１は、スマートフォンやカメラ、デジタルカメラ、タブレット端末、ＰＤＡ、パソコン等の電子機器に具備させることができる。撮像部を備えた電子機器であれば、種々の電子機器に本発明の画像処理装置１を具備させることが可能である。
画像処理装置１は、スマートフォンやカメラ、デジタルカメラ、タブレット端末、ＰＤＡ、パソコン等の電子機器に具備させることができる。撮像部を備えた電子機器であれば、種々の電子機器に本発明の画像処理装置１を具備させることが可能である。
また、ユーザーが、スマートフォン２において表示部３００に表示された合成画像を、他の電子機器（情報処理装置）の表示部に表示させるようにすることも可能である。具体的には、例えば、ユーザーは、手元のスマートフォン２とパソコンとを通信接続する。そして、ユーザーは、スマートフォン２の表示部３００に表示された合成画像をパソコンに転送する。パソコンは、スマートフォン２から転送された合成画像をディスプレイに表示させ、ユーザーはパソコンの表示画面で合成画像を閲覧する。
なお、この場合において、スマートフォン２によって撮像された撮影画像の画像データ一式をパソコンに送信するようにし、スマートフォン２の代わりにパソコンが合成画像を生成して、パソコンのディスプレイに表示させるようにしてもよい。この場合は、スマートフォン及びパソコンが、本発明における画像処理装置１となる。
［３−２．記録媒体］
上記の実施形態では、画像生成に係る各種のプログラムやデータが、画像処理装置１の記憶部や、スマートフォン２の記憶部８００に記憶されており、処理部がこれらのプログラムを読み出して実行することで、上記の各実施形態における画像処理が実現された。この場合、各装置の記憶部は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ハードディスク、ＲＡＭといった内部記憶装置の他に、メモリカード（ＳＤカード）やコンパクトフラッシュ（登録商標）カード、メモリスティック、ＵＳＢメモリ、ＣＤ−ＲＷ（光学ディスク）、ＭＯ（光磁気ディスク）といった記録媒体（記録メディア、外部記憶装置）を有していてもよく、これらの記録媒体に上記の各種のプログラムやデータを記憶させることとしてもよい。
上記の実施形態では、画像生成に係る各種のプログラムやデータが、画像処理装置１の記憶部や、スマートフォン２の記憶部８００に記憶されており、処理部がこれらのプログラムを読み出して実行することで、上記の各実施形態における画像処理が実現された。この場合、各装置の記憶部は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ハードディスク、ＲＡＭといった内部記憶装置の他に、メモリカード（ＳＤカード）やコンパクトフラッシュ（登録商標）カード、メモリスティック、ＵＳＢメモリ、ＣＤ−ＲＷ（光学ディスク）、ＭＯ（光磁気ディスク）といった記録媒体（記録メディア、外部記憶装置）を有していてもよく、これらの記録媒体に上記の各種のプログラムやデータを記憶させることとしてもよい。
図２１は、この場合における記録媒体の一例を示す図である。
スマートフォン２には、メモリカード９を挿入するためのカードスロット９１０が設けられており、カードスロット９１０に挿入されたメモリカード９に記憶された情報を読み取る又はメモリカード９に情報を書き込むためのカードリーダライタ（Ｒ／Ｗ）９２０が設けられている。カードリーダライタ９２０は、処理部１００の制御に従って、記憶部８００に記録されたプログラムやデータをメモリカード９に書き込む動作を行う。メモリカード９に記録されたプログラムやデータは、スマートフォン２以外の外部装置（例えばパソコン）で読み取ることで、当該外部装置において上記の実施形態における合成画像の生成を実現することが可能に構成されている。
スマートフォン２には、メモリカード９を挿入するためのカードスロット９１０が設けられており、カードスロット９１０に挿入されたメモリカード９に記憶された情報を読み取る又はメモリカード９に情報を書き込むためのカードリーダライタ（Ｒ／Ｗ）９２０が設けられている。カードリーダライタ９２０は、処理部１００の制御に従って、記憶部８００に記録されたプログラムやデータをメモリカード９に書き込む動作を行う。メモリカード９に記録されたプログラムやデータは、スマートフォン２以外の外部装置（例えばパソコン）で読み取ることで、当該外部装置において上記の実施形態における合成画像の生成を実現することが可能に構成されている。
１ 画像処理装置
２ スマートフォン
９ メモリカード
１０ 入力部
１１、１１０ 基準画像選択部
１２、１２０ マッチング部
１３、１３０ 変換行列推定部
１４、１４０ 位置合わせ部
１５、１６０ 画像合成部
２０ カメラ
２５ 入力済画像メモリ
３０、７６０ 動きセンサ
３１、１５０ 撮像制御部
３２、１８０ ガイド表示設定部
３５ 表示部
４０ ユーザー
４１、５５、５７ 回転ガイド
４２、５６ 回転マーカー
４３ 中心ガイド
４４ 中心マーカー
４５ 外観回転ガイド
４６ 撮像範囲マーカー
４７ 縮小画像
４８ 中心軸
４９ 顔領域
５８、５９ パノラマ画像
６０ スマートフォン筐体
６１ スマートフォン筐体の前面
６２ インカメラ
６３ 表示画面
６４ 操作ボタン
７１ スマートフォン筐体の背面
７２ アウトカメラ
７３ スピーカー
７４ フラッシュライト
１００ 処理部
２００ 操作部
２５０ タッチパネル
３００ 表示部
４００ 音出力部
５００ 撮像部
６００ 通信部
７００ 時計部
８００ 記憶部
９１０ カードスロット
９２０ カードリーダライタ
２ スマートフォン
９ メモリカード
１０ 入力部
１１、１１０ 基準画像選択部
１２、１２０ マッチング部
１３、１３０ 変換行列推定部
１４、１４０ 位置合わせ部
１５、１６０ 画像合成部
２０ カメラ
２５ 入力済画像メモリ
３０、７６０ 動きセンサ
３１、１５０ 撮像制御部
３２、１８０ ガイド表示設定部
３５ 表示部
４０ ユーザー
４１、５５、５７ 回転ガイド
４２、５６ 回転マーカー
４３ 中心ガイド
４４ 中心マーカー
４５ 外観回転ガイド
４６ 撮像範囲マーカー
４７ 縮小画像
４８ 中心軸
４９ 顔領域
５８、５９ パノラマ画像
６０ スマートフォン筐体
６１ スマートフォン筐体の前面
６２ インカメラ
６３ 表示画面
６４ 操作ボタン
７１ スマートフォン筐体の背面
７２ アウトカメラ
７３ スピーカー
７４ フラッシュライト
１００ 処理部
２００ 操作部
２５０ タッチパネル
３００ 表示部
４００ 音出力部
５００ 撮像部
６００ 通信部
７００ 時計部
８００ 記憶部
９１０ カードスロット
９２０ カードリーダライタ
Claims (22)
- 撮像対象を表示する表示装置と、撮像対象を撮像する撮像装置とを備える画像処理装置であって、
異なる撮像角度から撮像対象を撮像するためのガイドを前記表示装置に表示させるガイド表示制御手段と、
異なる撮像角度から撮像対象を撮像することにより得られた複数の画像を合成して合成画像を生成する画像合成手段と、
前記撮像装置の回転方向及び回転量を検出する第１検出手段と、
前記撮像装置の平行移動方向及び平行移動量を検出する第２検出手段と、
撮像位置の変更を抑制するための補助ガイドを前記表示装置に表示させる補助ガイド表示制御手段と、をさらに備え、
前記ガイドは、前記撮像装置を回転させて異なる撮像角度から撮像対象を撮像するよう示唆し、
前記ガイド表示制御手段は、前記撮像装置の回転方向及び回転量に応じて前記ガイドの表示態様を変化させ、
前記補助ガイド表示制御手段は、前記撮像装置の平行移動方向及び平行移動量に応じて前記補助ガイドの表示態様を変化させる画像処理装置。 - 前記ガイドは、前記合成画像を生成するために複数回の撮像により撮像すべき範囲である全体撮像範囲を示唆する第１画像を含む
請求項１に記載の画像処理装置。 - 前記第１画像は、前記全体撮像範囲を撮像するために必要な撮像回数を示唆する
請求項２に記載の画像処理装置。 - 前記ガイドは、現在の撮像範囲を示唆する第２画像をさらに含み、
前記ガイド表示制御手段は、前記撮像装置の回転方向及び回転量に応じて前記第１画像に対する前記第２画像の相対的位置を変化させる
請求項２に記載の画像処理装置。 - 前記第１画像に対する前記第２画像の相対的位置により、撮像装置を基準とした撮像角度を示唆する
請求項４に記載の画像処理装置。 - 前記ガイドは、撮像された画像の縮小画像をさらに含み、
前記ガイド表示制御手段は、前記撮像装置の回転方向及び回転量に応じて前記第１画像に対する前記縮小画像の相対的位置を変化させる
請求項２に記載の画像処理装置。 - 前記第１画像に対する前記第２画像の相対的位置により、ユーザーを基準とした撮像角度を示唆する
請求項４に記載の画像処理装置。 - 前記第１画像に対する前記第２画像の相対的位置により撮像角度を示唆する場合において、撮像装置を基準とした撮像角度を示唆する場合とユーザーを基準とした撮像角度を示唆する場合とでは、前記表示装置に表示される画像の左右位置を反転させる
請求項４に記載の画像処理装置。 - 前記第１画像は、前記全体撮像範囲を撮像するために必要な撮像回数に対応した複数のブロックに区分されており、いずれのブロックに前記第２画像が位置するかに応じて撮像
角度を示唆するものである
請求項４に記載の画像処理装置。 - 前記第１画像は、前記複数のブロックそれぞれに関して、当該ブロックに対応した撮像順序を示唆するものである
請求項９に記載の画像処理装置。 - 前記表示装置に表示されている人物の顔領域を検出する顔領域検出手段をさらに備え、
前記ガイド表示制御手段は、前記顔領域検出手段により検出された顔領域を中心として前記全体撮像範囲が形成されるように、前記第１画像を設定する
請求項２に記載の画像処理装置。 - 前記表示装置に表示されている人物の顔領域を検出する顔領域検出手段をさらに備え、
前記ガイド表示制御手段は、前記顔領域検出手段により検出された顔領域が複数存在する場合には、そのいずれかを中心として前記全体撮像範囲が形成されるように、前記第１画像を設定する
請求項２に記載の画像処理装置。 - 前記表示装置に表示されている人物の顔領域を検出する顔領域検出手段をさらに備え、
前記ガイド表示制御手段は、前記顔領域検出手段により検出された顔領域が複数存在する場合には、両端の顔領域を少なくとも含む前記全体撮像範囲が形成されるように、前記第１画像を設定する
請求項２に記載の画像処理装置。 - 前記撮像装置は、前記表示装置が向く方向と同方向を撮像する第１撮像装置と、前記表示装置が向く方向とは反対方向を撮像する第２撮像装置を含むものであり、前記第１撮像装置及び前記第２撮像装置のいずれの撮像装置による撮像を行うかをユーザーが選択可能であり、
選択された撮像装置に応じて前記ガイドの表示態様が異なる
請求項１に記載の画像処理装置。 - 前記撮像装置は、前記表示装置が向く方向と同方向を撮像する第１撮像装置と、前記表示装置が向く方向とは反対方向を撮像する第２撮像装置を含むものであり、前記第１撮像装置及び前記第２撮像装置のいずれの撮像装置による撮像を行うかをユーザーが選択可能であり、
前記全体撮像範囲は、前記第１撮像装置による撮像範囲及び前記第２撮像装置による撮像範囲の両方を含む撮像範囲である
請求項２に記載の画像処理装置。 - 前記表示装置に表示されている人物の顔領域を検出する顔領域検出手段をさらに備え、
前記ガイド表示制御手段は、前記顔領域検出手段により検出された顔領域に基づいて前記ガイドの表示位置を設定する
請求項１に記載の画像処理装置。 - 前記ガイド表示制御手段は、前記表示装置が向く方向と同方向を撮像する第１撮像装置の近傍に前記ガイドの表示位置を設定する
請求項１に記載の画像処理装置。 - 前記ガイド表示制御手段は、前記撮像装置が所定の回転量まで回転していない間は、前記ガイドを前記撮像対象よりも視認性が高い設定で表示する
請求項１に記載の画像処理装置。 - 前記ガイド表示制御手段は、前記撮像装置の平行移動方向及び平行移動量に応じて前記ガイドの表示態様を変化させる
請求項１に記載の画像処理装置。 - 前記補助ガイドは、前記撮像装置の平行移動方向及び平行移動量に応じて表示位置が変化しない第３画像と、前記撮像装置の平行移動方向及び平行移動量に応じて表示位置が変化する第４画像とを含む
請求項１に記載の画像処理装置。 - 表示装置に撮像対象を表示させる表示ステップと、撮像装置により撮像対象を撮像する撮像ステップとを含む画像処理方法であって、
異なる撮像角度から撮像対象を撮像するためのガイドを前記表示装置に表示させるガイド表示制御ステップと、
異なる撮像角度から撮像対象を撮像することにより得られた複数の画像を合成して合成画像を生成する画像合成ステップと、
前記撮像装置の回転方向及び回転量を検出する第１検出ステップと、
前記撮像装置の平行移動方向及び平行移動量を検出する第２検出ステップと、
撮像位置の変更を抑制するための補助ガイドを前記表示装置に表示させる補助ガイド表示制御ステップと、をさらに含み、
前記ガイドは、前記撮像装置を回転させて異なる撮像角度から撮像対象を撮像するよう示唆し、
前記ガイド表示制御ステップは、前記撮像装置の回転方向及び回転量に応じて前記ガイドの表示態様を変化させ、
前記補助ガイド表示制御ステップは、前記撮像装置の平行移動方向及び平行移動量に応じて前記補助ガイドの表示態様を変化させる画像処理方法。 - 表示装置に撮像対象を表示させる表示ステップと、撮像装置により撮像対象を撮像する撮像ステップとを含む画像処理プログラムであって、
異なる撮像角度から撮像対象を撮像するためのガイドを前記表示装置に表示させるガイド表示制御ステップと、
異なる撮像角度から撮像対象を撮像することにより得られた複数の画像を合成して合成画像を生成する画像合成ステップと、
前記撮像装置の回転方向及び回転量を検出する第１検出ステップと、
前記撮像装置の平行移動方向及び平行移動量を検出する第２検出ステップと、
撮像位置の変更を抑制するための補助ガイドを前記表示装置に表示させる補助ガイド表示制御ステップと、をさらに含み、
前記ガイドは、前記撮像装置を回転させて異なる撮像角度から撮像対象を撮像するよう示唆し、
前記ガイド表示制御ステップは、前記撮像装置の回転方向及び回転量に応じて前記ガイドの表示態様を変化させ、
前記補助ガイド表示制御ステップは、前記撮像装置の平行移動方向及び平行移動量に応じて前記補助ガイドの表示態様を変化させる画像処理プログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016017918 | 2016-02-02 | ||
| JP2016017918 | 2016-02-02 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017139759A JP2017139759A (ja) | 2017-08-10 |
| JP6678122B2 true JP6678122B2 (ja) | 2020-04-08 |
Family
ID=59386939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017016576A Active JP6678122B2 (ja) | 2016-02-02 | 2017-02-01 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10713828B2 (ja) |
| JP (1) | JP6678122B2 (ja) |
| KR (1) | KR101813834B1 (ja) |
| CN (1) | CN107026973B (ja) |
| TW (1) | TWI663876B (ja) |
Families Citing this family (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9792017B1 (en) | 2011-07-12 | 2017-10-17 | Domo, Inc. | Automatic creation of drill paths |
| US9202297B1 (en) * | 2011-07-12 | 2015-12-01 | Domo, Inc. | Dynamic expansion of data visualizations |
| US9282309B1 (en) | 2013-12-22 | 2016-03-08 | Jasmin Cosic | Methods, systems and apparatuses for multi-directional still pictures and/or multi-directional motion pictures |
| CN118717223A (zh) | 2015-02-13 | 2024-10-01 | 瑟西纳斯医疗技术有限责任公司 | 用于在骨骼中放置医疗设备的系统和方法 |
| US10102226B1 (en) | 2015-06-08 | 2018-10-16 | Jasmin Cosic | Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures |
| US20180255237A1 (en) * | 2017-03-01 | 2018-09-06 | Naim SALEM | Method and application for aiding self photography |
| TWI633499B (zh) * | 2017-06-22 | 2018-08-21 | 宏碁股份有限公司 | 全景影像的顯示方法及其電子裝置 |
| WO2019036524A1 (en) | 2017-08-14 | 2019-02-21 | Scapa Flow, Llc | SYSTEM AND METHOD USING ENHANCED REALITY WITH FORMS ALIGNMENT FOR MEDICAL DEVICE INSTALLATION IN BONE |
| CN107465907B (zh) * | 2017-08-16 | 2019-08-20 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
| KR101963449B1 (ko) * | 2017-09-20 | 2019-04-01 | 주식회사 쓰리아이 | 360°비디오 생성 시스템 및 방법 |
| JP6792721B2 (ja) * | 2017-09-20 | 2020-11-25 | シャープ株式会社 | 電子機器、プログラム、制御装置および制御方法 |
| CN107707817B (zh) * | 2017-09-27 | 2019-12-17 | 维沃移动通信有限公司 | 一种视频拍摄方法及移动终端 |
| EP3496387A1 (en) * | 2017-12-05 | 2019-06-12 | Koninklijke Philips N.V. | Apparatus and method of image capture |
| CN107948523A (zh) * | 2017-12-19 | 2018-04-20 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
| CN110049226B (zh) * | 2018-01-16 | 2021-01-29 | 飞狐信息技术（天津）有限公司 | 一种全景图片素材的拍摄方法及系统 |
| US10574881B2 (en) * | 2018-02-15 | 2020-02-25 | Adobe Inc. | Smart guide to capture digital images that align with a target image model |
| JP7163057B2 (ja) * | 2018-04-26 | 2022-10-31 | キヤノン株式会社 | 撮像装置、撮像方法、プログラムおよび記録媒体 |
| WO2019205170A1 (zh) | 2018-04-28 | 2019-10-31 | 华为技术有限公司 | 一种拍照方法和终端设备 |
| JP7051570B2 (ja) | 2018-05-09 | 2022-04-11 | キヤノン株式会社 | 撮像制御装置、撮像制御装置の制御方法およびプログラム |
| US10955253B2 (en) * | 2018-05-16 | 2021-03-23 | Alex MATHEW | System and method for aggregating and displaying tactical, intelligence, and military garrison information |
| US20200053278A1 (en) * | 2018-08-08 | 2020-02-13 | Sony Corporation | Techniques for improving photograph quality for common problem situations |
| US10686991B2 (en) | 2018-09-11 | 2020-06-16 | Sony Corporation | Techniques for improving photograph quality for fouled lens or sensor situations |
| JP7091974B2 (ja) * | 2018-09-26 | 2022-06-28 | オムロン株式会社 | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム |
| KR102159803B1 (ko) * | 2018-10-11 | 2020-09-24 | 강산 | 촬영 가이드 제공 장치 및 프로그램 |
| KR101990252B1 (ko) * | 2018-10-26 | 2019-06-19 | 주식회사 비포유플랫폼 | Vr 이미지 획득 방법, 이를 수행하기 위한 vr 촬영 프로그램이 설치된 휴대 단말기, 그리고 이 vr 촬영 프로그램을 휴대 단말기에 제공하는 서버 |
| US20200226787A1 (en) * | 2019-01-14 | 2020-07-16 | Sony Corporation | Information processing apparatus, information processing method, and program |
| EP3923065A4 (en) * | 2019-02-07 | 2022-04-06 | FUJIFILM Corporation | PHOTOGRAPHY SYSTEM, PHOTOGRAPHY POINT SETTING DEVICE, PHOTOGRAPHY DEVICE AND PHOTOGRAPHY METHOD |
| CN109977770B (zh) * | 2019-02-21 | 2023-06-27 | 安克创新科技股份有限公司 | 一种自动跟踪拍摄方法、装置、系统及存储介质 |
| WO2020214744A1 (en) * | 2019-04-15 | 2020-10-22 | Scapa Flow, Llc | Orientation calibration system for image capture |
| CN111107269B (zh) * | 2019-12-31 | 2021-10-26 | 维沃移动通信有限公司 | 拍摄方法、电子设备及存储介质 |
| US11477366B2 (en) * | 2020-03-31 | 2022-10-18 | Snap Inc. | Selfie setup and stock videos creation |
| US11388334B2 (en) | 2020-05-22 | 2022-07-12 | Qualcomm Incorporated | Automatic camera guidance and settings adjustment |
| CN111741223B (zh) * | 2020-07-17 | 2022-04-26 | 北京搜房科技发展有限公司 | 一种全景图像拍摄方法、装置和系统 |
| JP6959422B1 (ja) * | 2020-10-22 | 2021-11-02 | ヤフー株式会社 | 送信プログラム、端末装置および送信方法 |
| JP6974573B1 (ja) * | 2020-10-22 | 2021-12-01 | ヤフー株式会社 | 情報処理プログラム、端末装置および情報処理方法 |
| CN112437231B (zh) * | 2020-11-24 | 2023-11-14 | 维沃移动通信（杭州）有限公司 | 图像拍摄方法和装置、电子设备及存储介质 |
| CN114697516B (zh) * | 2020-12-25 | 2023-11-10 | 花瓣云科技有限公司 | 三维模型重建方法、设备和存储介质 |
| US11509819B2 (en) * | 2021-01-19 | 2022-11-22 | Adobe Inc. | Providing contextual augmented reality photo pose guidance |
| WO2022169906A1 (en) * | 2021-02-02 | 2022-08-11 | Circinus Medical Technology Llc | Systems and methods for simulating three- dimensional orientations of surgical hardware devices about an insertion point of an anatomy |
| CN113038015B (zh) * | 2021-03-19 | 2023-03-24 | 城云科技（中国）有限公司 | 二次拍摄方法和系统 |
| US11716531B2 (en) * | 2021-03-22 | 2023-08-01 | International Business Machines Corporation | Quality of multimedia |
| CN113329253A (zh) * | 2021-05-21 | 2021-08-31 | 深圳创维－Rgb电子有限公司 | 电视拍照方法、装置、设备与计算机可读存储介质 |
| US20220414193A1 (en) * | 2021-06-28 | 2022-12-29 | Capital One Services, Llc | Systems and methods for secure adaptive illustrations |
| TWI775557B (zh) * | 2021-08-09 | 2022-08-21 | 華碩電腦股份有限公司 | 影像擷取方法及電子裝置 |
| CN114049260B (zh) * | 2022-01-12 | 2022-03-22 | 河北工业大学 | 一种图像拼接方法和装置及设备 |
| WO2024181004A1 (ja) * | 2023-02-28 | 2024-09-06 | ソニーグループ株式会社 | 撮像装置、撮像方法、プログラム |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6628887B1 (en) * | 1998-04-17 | 2003-09-30 | Honeywell International, Inc. | Video security system |
| JP3804313B2 (ja) * | 1998-12-03 | 2006-08-02 | カシオ計算機株式会社 | パノラマ撮影方法および撮像装置 |
| KR100446235B1 (ko) * | 2001-05-07 | 2004-08-30 | 엘지전자 주식회사 | 다중 후보를 이용한 움직임 벡터 병합 탐색 방법 |
| JP3825380B2 (ja) | 2002-09-06 | 2006-09-27 | エヌ・ティ・ティ・インフラネット株式会社 | 自動モーションコントロール撮影装置 |
| JP2004228711A (ja) | 2003-01-20 | 2004-08-12 | Sony Corp | 監視装置及び方法、プログラム並びに監視システム |
| JP2007318490A (ja) * | 2006-05-26 | 2007-12-06 | Olympus Imaging Corp | 画像処理装置、カメラ、及び画像処理プログラム |
| KR20100069844A (ko) | 2008-12-17 | 2010-06-25 | 삼성전자주식회사 | 이미지 촬영 방법 및 그를 수행하는 휴대 단말기 |
| EP2207342B1 (en) * | 2009-01-07 | 2017-12-06 | LG Electronics Inc. | Mobile terminal and camera image control method thereof |
| TWI395471B (zh) * | 2009-07-17 | 2013-05-01 | Altek Corp | Panorama image of the leading shooting method |
| TWM400544U (en) * | 2010-05-03 | 2011-03-21 | feng-long Xu | Electrically-adjustable camera tripod |
| JP5853359B2 (ja) * | 2010-11-11 | 2016-02-09 | ソニー株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
| KR101723642B1 (ko) | 2011-01-31 | 2017-04-19 | 삼성전자주식회사 | 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법 |
| TWI516120B (zh) * | 2012-03-29 | 2016-01-01 | 華晶科技股份有限公司 | 產生全景影像的方法及其影像擷取裝置 |
| US10681304B2 (en) * | 2012-06-08 | 2020-06-09 | Apple, Inc. | Capturing a panoramic image using a graphical user interface having a scan guidance indicator |
| JP6267961B2 (ja) * | 2012-08-10 | 2018-01-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 映像提供方法および送信装置 |
| JP5493114B1 (ja) | 2012-10-24 | 2014-05-14 | 株式会社モルフォ | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
| JP2014115863A (ja) * | 2012-12-11 | 2014-06-26 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| KR102090624B1 (ko) * | 2013-02-26 | 2020-03-18 | 삼성전자 주식회사 | 이미지 촬영장치 및 방법 |
| KR102089614B1 (ko) * | 2013-08-28 | 2020-04-14 | 삼성전자주식회사 | 구면 파노라마 이미지 촬영 방법 및 그 전자 장치 |
| US20150130799A1 (en) * | 2013-11-12 | 2015-05-14 | Fyusion, Inc. | Analysis and manipulation of images and video for generation of surround views |
| BR112016013424B1 (pt) * | 2013-12-13 | 2021-01-26 | Huawei Device (Shenzhen) Co., Ltd. | método e terminal para aquisição de imagem panorâmica |
| JP6376753B2 (ja) * | 2013-12-25 | 2018-08-22 | キヤノン株式会社 | 撮像装置、表示制御装置の制御方法、記録装置の制御方法 |
| US20150256754A1 (en) * | 2014-03-04 | 2015-09-10 | Neuone, Llc | Auto leveling image capture of a hand-held device |
| EP2919142B1 (en) * | 2014-03-14 | 2023-02-22 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for providing health status information |
| CN104182173A (zh) * | 2014-08-15 | 2014-12-03 | 小米科技有限责任公司 | 一种切换摄像头的方法和装置 |
| US9749510B2 (en) * | 2014-12-25 | 2017-08-29 | Panasonic Intellectual Property Management Co., Ltd. | Imaging unit and imaging apparatus |
| KR20160088719A (ko) * | 2015-01-16 | 2016-07-26 | 삼성전자주식회사 | 이미지를 촬영하는 전자 장치 및 방법 |
| WO2016203282A1 (en) * | 2015-06-18 | 2016-12-22 | The Nielsen Company (Us), Llc | Methods and apparatus to capture photographs using mobile devices |
-
2017
- 2017-01-25 CN CN201710056984.9A patent/CN107026973B/zh active Active
- 2017-01-26 TW TW106103220A patent/TWI663876B/zh active
- 2017-02-01 JP JP2017016576A patent/JP6678122B2/ja active Active
- 2017-02-02 KR KR1020170015135A patent/KR101813834B1/ko active IP Right Grant
- 2017-02-02 US US15/422,476 patent/US10713828B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| TWI663876B (zh) | 2019-06-21 |
| CN107026973B (zh) | 2020-03-13 |
| CN107026973A (zh) | 2017-08-08 |
| JP2017139759A (ja) | 2017-08-10 |
| KR20170092127A (ko) | 2017-08-10 |
| KR101813834B1 (ko) | 2017-12-29 |
| US20170221244A1 (en) | 2017-08-03 |
| US10713828B2 (en) | 2020-07-14 |
| TW201743602A (zh) | 2017-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6678122B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| US9282242B2 (en) | Method and electric device for taking panoramic photograph | |
| JP5865388B2 (ja) | 画像生成装置および画像生成方法 | |
| US20110234750A1 (en) | Capturing Two or More Images to Form a Panoramic Image | |
| WO2013069047A1 (ja) | 画像生成装置および画像生成方法 | |
| KR102280000B1 (ko) | 표시 제어 장치, 표시 제어 방법 및 저장 매체 | |
| JP2006303651A (ja) | 電子装置 | |
| JP5885395B2 (ja) | 撮影機器及び画像データの記録方法 | |
| WO2015194084A1 (ja) | 情報処理装置、情報処理システム、情報処理方法およびプログラム | |
| JP6792253B2 (ja) | 画像表示装置、画像表示方法、及び画像表示プログラム | |
| JP5248951B2 (ja) | カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム | |
| JP2016219991A (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
| WO2022061541A1 (zh) | 控制方法、手持云台、系统及计算机可读存储介质 | |
| JP2016063244A (ja) | 撮像装置及び画像表示制御方法 | |
| JP6586819B2 (ja) | 画像管理システム、画像通信システム、画像管理方法、及びプログラム | |
| JP2019068261A (ja) | 配信システムおよび配信方法、配信装置および配信プログラム、ならびに、受信装置および受信プログラム | |
| TW201926251A (zh) | 全景攝像機、圖像處理系統及圖像處理方法 | |
| JP6836306B2 (ja) | 撮像制御装置、その制御方法、プログラム及び記録媒体 | |
| JP2016019092A (ja) | 情報処理装置、情報処理方法、情報処理システムおよびプログラム | |
| JP2015019215A (ja) | 撮像装置及び撮像方法 | |
| JP6218615B2 (ja) | 表示機器、表示方法、撮影装置及び撮影システム | |
| JP2024098310A (ja) | 電子機器、その制御方法およびプログラム | |
| KR20160149945A (ko) | 이동 단말기 | |
| JP2021132254A (ja) | 制御装置及びその制御方法及びプログラム | |
| JP5931639B2 (ja) | 携帯端末装置、その制御方法およびその制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190909 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190917 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200310 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200316 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6678122 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |