JPWO2005032125A1 - パノラマ画像作成装置及びパノラマ画像撮影装置 - Google Patents

パノラマ画像作成装置及びパノラマ画像撮影装置 Download PDF

Info

Publication number
JPWO2005032125A1
JPWO2005032125A1 JP2005514165A JP2005514165A JPWO2005032125A1 JP WO2005032125 A1 JPWO2005032125 A1 JP WO2005032125A1 JP 2005514165 A JP2005514165 A JP 2005514165A JP 2005514165 A JP2005514165 A JP 2005514165A JP WO2005032125 A1 JPWO2005032125 A1 JP WO2005032125A1
Authority
JP
Japan
Prior art keywords
image
panoramic
still
screen
panoramic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005514165A
Other languages
English (en)
Other versions
JP4180083B2 (ja
Inventor
中澤　直文
直文 中澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2005032125A1 publication Critical patent/JPWO2005032125A1/ja
Application granted granted Critical
Publication of JP4180083B2 publication Critical patent/JP4180083B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877—Image rotation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

パノラマ画像を作成するための画像の取得を容易にし、かつ、任意の画像の選択を可能とする。カメラ１により撮影した動画像の各コマに該当するそれぞれの静止画像を動画処理部３により作成して時系列に配列した静止画像列として作業用メモリ４に一旦保存し、キー入力部６のボタン操作により該静止画像列の中から任意の２枚の静止画像を順次選択して、２画面画像処理部５ａにより該２枚の静止画像の一部を互いに重複させた状態で画像表示部７に２画面表示して、所望の静止画像の組み合わせを選択させ、選択した各静止画像の移動・回転により位置合わせをして、パノラマ画像処理部５ｂによりパノラマ画像に合成し、画像表示部７に表示し、記録媒体８に蓄積する。２画面表示する一方の画像は、前記静止画像列の先頭画像又は記録媒体８のパノラマ画像を選択し、反対側の他方の画像は、前記静止画像列の中からいずれか任意の静止画像を選択する。

Description

本発明は、パノラマ画像作成装置及びパノラマ画像撮影装置に関し、特に、動画像から静止画像を作成し、作成した静止画像の中から広視野角のパノラマ画像に合成するための合成用の静止画像を画面表示しながら選択することによりパノラマ画像に合成するパノラマ画像作成装置、及び、動画像を撮影する撮影手段を有するパノラマ画像撮影装置に関する。
従来のパノラマ画像の撮影機能を有するパノラマ画像撮影装置としては、複数の静止画像からパノラマ画像を作成するものと、動画像からパノラマ画像を作成するものとの２種類の装置がある。
静止画像からパノラマ画像を作成する従来技術としては、特許文献１に示す「カメラのパノラマ撮影制御装置」に記載されているように、２枚の撮影画像を横方向に合成してパノラマ画像を作成する場合、１枚目の画像を撮影した後で２枚目の画像の撮影をアシストするために、例えば１枚目の画像の右側に２枚目の撮影画像をつなぐ場合であれば、撮影操作画面上において１枚目に撮影した画像を左方向にシフトして、２枚目の画像の左側部分と繋がるべき右側の一部を撮影操作画面上に残した状態で画面表示して、２枚目の画像の撮影位置を容易にする方法や、あるいは、特許文献２に示す「カメラ装置及び撮像方法」のように、１枚目に撮影した画像全体を画面上の一部を構成する別枠（別ウィンドウ）に画面表示することにより、パノラマ化したときの画像を確認しながら、２枚目の画像を撮影する際に適切な角度にアングル付けを行なうことができる方法などが提案されている。
また、動画像からパノラマ画像を作成する従来技術としては、特許文献３に示す「画像合成装置、画像合成方法が記録された記録媒体」に記載されているように、パンニングしながら撮影することにより、動画像として取り込まれた各フレーム画像（各コマ）から自動的に選択された２枚のフレーム画像（コマ）を比較して移動量を求めることにより、それぞれのフレーム画像の合成すべき位置を判別して、リアルタイムあるいは撮影後に自動的にパノラマ合成する方法が提案されている。
特開平５−１４２６８２号公報 特開平１１−７５１０８号公報 特開２０００−２４４８１４号公報
しかしながら、静止画像を撮影しパノラマ画像を合成する従来技術については、撮影時に、パノラマ合成し易いように、特別な撮影方法を必要とするため、かかる特別な撮影方法を予め習得する必要がある。また、撮影に時間を要するため、撮影対象物の状態が変わってしまい、所望のパノラマ画像が得られない場合がある。
また、動画像を用いてパノラマ画像の合成を行なう従来技術については、リアルタイムあるいは撮影後に自動合成を行なう方式が採られているため、合成時に、パノラマ画像として合成させるべき適切な画像の組み合わせを選択することができず、所望の画像について画像合成を行なうことができないという問題が生じてしまう。
本発明は、かかる事情に鑑みてなされたものであり、動画像の各コマに該当する静止画像を作成し、作成された各静止画像の中から、操作者が最適なパノラマ合成用の２枚の静止画像を、画面に表示させながら任意に手動で選択し、選択された２枚の静止画像の位置合わせを行なうことにより、広視野角のパノラマ画像に合成するための所望の静止画像を任意の組み合わせで選択可能とし、かつ、精度の高いパノラマ画像を容易に得ると共に、なおかつ、パノラマ画像に合成するための所望の画像を含む撮影対象物を動画像として撮影を行なうことにより、パノラマ合成用の画像を取得する撮影方法を容易化することを目的としている。
第１の技術手段は、パノラマ画像作成装置において、動画像の各コマに該当するそれぞれの静止画像を作成する動画処理手段と、該動画処理手段により作成された複数枚の前記静止画像の中から、任意の２枚の静止画像を選択する選択手段と、該選択手段により選択された前記２枚の静止画像をそれぞれ縮小あるいは拡大させ、かつ、該２枚の静止画像それぞれの一部を互いに重複させて配置して、２つのウィンドウからなる２画面として表示する２画面画像を作成する２画面画像処理手段と、該２画面画像処理手段により作成された前記２画面画像の中から、パノラマ画像とすべき２画面画像を選択するパノラマ画像選択手段と、該パノラマ画像選択手段により選択された前記２画面画像を１枚の画像に合成して、パノラマ画像を作成するパノラマ画像処理手段と、前記静止画像あるいは前記２画面画像あるいは前記パノラマ画像を画面表示する画像表示手段と、前記静止画像及び／又は前記パノラマ画像を蓄積する記録媒体とを備えていることを特徴としている。
第２の技術手段は、前記第１の技術手段に記載のパノラマ画像作成装置において、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、前記動画処理手段により作成された前記静止画像のうち、前記動画像の先頭に位置する先頭コマに該当する静止画像を選択し、反対側の他方のウィンドウに画面表示する画像として、前記動画像の先頭コマに後続する各コマに該当するいずれか任意の静止画像を選択することができることを特徴としている。
第３の技術手段は、前記第１の技術手段に記載のパノラマ画像作成装置において、前記選択手段が、選択する前記２枚の静止画像のうち、画面の一方のウィンドウに画面表示する画像として、前記記録媒体に蓄積された前記パノラマ画像を選択し、反対側の他方のウィンドウに画面表示する画像として、前記動画像の先頭コマに後続する各コマに該当するいずれか任意の静止画像を選択することができることを特徴としている。
第４の技術手段は、前記第１乃至第３の技術手段のいずれかに記載のパノラマ画像作成装置において、前記選択手段が、前記動画処理手段により作成された複数枚の前記静止画像の中から、いずれか任意の静止画像を選択する際に、複数枚の前記静止画像を、予め定められた所定のコマ数分の静止画像枚数からなる複数の画像候補群に分割し、分割された前記画像候補群の先頭コマに該当する静止画像を飛び飛びに順次選択して、前記２画面画像処理手段により前記２画面画像として画面表示することにより、所望の静止画像に近接する静止画像が属する画像候補群を選択画像候補群として選択した後、該選択画像候補群の中、及び／又は、該選択画像候補群に隣接する隣接画像候補群の中、の各静止画像を順次選択して、前記２画面画像処理手段により前記２画面画像として画面表示し、前記パノラマ画像選択手段が、パノラマ画像とすべき前記２画面画像を選択することができることを特徴としている。
第５の技術手段は、前記第１乃至第４の技術手段のいずれかに記載のパノラマ画像作成装置において、前記２画面画像処理手段が、前記選択手段により選択された２枚の静止画像からなる前記２画面画像を作成する際に、及び／又は、前記パノラマ画像選択手段によりパノラマ画像とすべき前記２画面画像が選択された際に、前記２画面画像を構成する２枚の静止画像のそれぞれの位置を、又は、いずれか一方の位置を、上下左右の任意の方向に移動又は回転させることができることを特徴としている。
第６の技術手段は、前記第１乃至第５の技術手段のいずれかに記載のパノラマ画像作成装置において、前記パノラマ画像処理手段が、前記２画面画像を合成してパノラマ画像を作成する際に、前記２画面画像を構成する２枚の静止画像の互いの重複部分に対してスムージング処理を施すことができることを特徴としている。
第７の技術手段は、前記第１乃至第６の技術手段のいずれかに記載のパノラマ画像作成装置において、前記パノラマ画像処理手段が、前記２画面画像を合成して前記パノラマ画像を作成する際に、前記パノラマ画像を順次スクロールして前記画像表示手段に画面表示するスクロール画像として作成することができることを特徴としている。
第８の技術手段は、動画像を撮影する撮影手段を備え、更に、該撮影手段により撮影された動画像の各コマに該当する静止画像を作成して、作成された該静止画像を用いてパノラマ画像を作成して記録媒体に蓄積するパノラマ画像作成手段を備えたパノラマ画像撮影装置において、パノラマ画像を作成する前記パノラマ画像作成手段として、前記第１乃至第７の技術手段のいずれかに記載のパノラマ画像作成装置を備えていることを特徴としている。
以上のごとき各技術手段から構成される本発明によれば、以下のような効果が得られる。即ち、パノラマ画像として合成する所望の静止画像を得るための手段として、動画像の各コマに該当する静止画像を作成し、作成された各静止画像のうち、選択された２枚の静止画像を縮小あるいは拡大して１つの画面内に２画面画像として２つのウィンドウにそれぞれ順次画面表示しながら、パノラマ画像として合成すべき所望の２枚の静止画像を手動で選択することにより、パノラマ画像として合成することが可能であり、容易に所望のパノラマ画像を得ることができる。
また、パノラマ画像として合成すべき互いの静止画像の位置が最適ではない場合、最適となる位置まで互いの静止画像の拡大・縮小、左右上下方向への移動又は回転を行なうことにより、互いの静止画像の位置合わせをしたり、更には、互いの重複部分の画像のスムージング処理を施すことが可能であり、精度がより高いパノラマ画像を得ることができる。
また、合成したパノラマ画像を画面上で確認する際に、縮小表示をしなければ１つの画面全体では表示し切れない場合であっても、スクロール画像としてスクロール表示を行なうことが可能であり、パノラマ画像を縮小することなく確認することができる。
なおかつ、パノラマ画像に合成すべき画像を、カメラなどの動画撮影手段を用いて動画像として撮影を行なって取得することが可能であり、パノラマ合成用の画像の撮影方法を容易化することができる。
本発明に係るパノラマ画像撮影装置のブロック構成の要部を示すブロック構成図である。 本発明に係るパノラマ画像撮影装置において画像表示部に画面表示されるパノラマ画像の画面構成方法の一例を説明するための模式図である。 動画像の各コマに該当する静止画像列の中から２枚の静止画像を選択して、画像表示部に左右に配置して表示する様子を示す模式図である。 パノラマ左画像とパノラマ右画像との上下位置を揃えて、パノラマ画像として画像表示部に表示する様子を説明するための模式図である。 静止画像列の中からパノラマ画像に合成すべき任意の２枚の静止画像を選択する優先順序の一例を示す模式図である。 カメラで撮影した動画像の各コマに該当する静止画像列の中からパノラマ画像を作成する場合において、パノラマ画像作成用の２枚の静止画像を選択し、かつ、両者の静止画像の位置合わせを行なって、パノラマ画像を作成する場合の前半部の処理手順の一例を示すフローチャートである。 図６の処理に続く中間部の処理手順の一例を示すフローチャートである。 図６の処理に更に続く後半部の処理手順の一例を示すフローチャートである。
本発明に係るパノラマ画像作成装置は、動画像の各コマに該当するそれぞれの静止画像を作成する動画処理手段と、該動画処理手段により作成された静止画像の中から、任意の２枚の静止画像を選択する選択手段と、該選択手段により選択された２枚の静止画像をそれぞれ縮小あるいは拡大させ、かつ、２枚の静止画像それぞれの一部を互いに重複させて配置して、２つのウィンドウからなる２画面として表示する２画面画像を作成する２画面画像処理手段と、該２画面画像処理手段により順次作成された前記２画面画像の中から、パノラマ画像とすべき２画面画像を選択するパノラマ画像選択手段と、該パノラマ画像選択手段により選択された前記２画面画像を１枚の画像に合成して、パノラマ画像を作成するパノラマ画像処理手段と、前記静止画像あるいは前記２画面画像あるいは前記パノラマ画像を画面表示する画像表示手段と、前記静止画像及び／又は前記パノラマ画像を蓄積する記録媒体とを備えていることを特徴とし、もって、容易に所望のパノラマ画像を得ることができる。
更に、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、前記動画処理手段により作成された前記静止画像のうち、前記動画像の先頭に位置する先頭コマに該当する静止画像を、あるいは、前記記録媒体に蓄積された前記パノラマ画像を選択し、反対側の他方のウィンドウに画面表示する静止画像として、前記動画像の先頭コマに後続するコマに該当するいずれか任意の静止画像を選択することができることを特徴とし、もって、より容易に所望のパノラマ画像を得ることができる。
また、前記２画面画像処理手段が、前記選択手段により選択された２枚の静止画像からなる前記２画面画像を作成する際に、及び／又は、前記パノラマ画像選択手段によりパノラマ画像とすべき前記２画面画像が選択された際に、前記２画面画像を構成する２枚の静止画像のそれぞれの位置を、又は、いずれか一方の位置を、上下左右の任意の方向に移動又は回転させることができることを特徴とし、もって、精度がより高いパノラマ画像を得ることができる。更に、前記パノラマ画像処理手段が、前記２画面画像を合成してパノラマ画像を作成する際に、前記２画面画像を構成する２枚の静止画像の互いの重複部分に対してスムージング処理を施すことができ、また、前記パノラマ画像を順次スクロールして前記画像表示手段に画面表示するスクロール画像として作成することができることを特徴とし、もって、精度が高いパノラマ画像を得ると共に、パノラマ画像を縮小することなく確認することができる。
また、本発明に係るパノラマ画像撮影装置は、動画像を撮影する撮影手段を備え、更に、該撮影手段により撮影された動画像の各コマに該当する静止画像を作成して、作成された該静止画像を用いてパノラマ画像を作成して記録媒体に蓄積するパノラマ画像作成手段を備えたパノラマ画像撮影装置において、パノラマ画像を作成する前記パノラマ画像作成手段として、前述したごときパノラマ画像作成装置を備えていることを特徴とし、もって、パノラマ合成用の画像を取得するための画像撮影方法を容易化することができる。
以下に、本発明に係るパノラマ画像作成装置及びパノラマ画像撮影装置の実施形態の一例について、パノラマ画像撮影装置を例にとって、図面を参照しながら説明する。図１は、本発明に係るパノラマ画像撮影装置のブロック構成の要部を示すブロック構成図である。
図１に示すパノラマ画像撮影装置１０において、撮影手段であるカメラ１が撮影した動画像の各コマは順次取り込まれて、バッファメモリ２に一時的に格納される。しかる後、動画処理部３により、動画像の各コマに該当する静止画像がそれぞれ作成されて、時系列に配列された静止画像列として作業用メモリ４に格納される。作業用メモリ４に格納された静止画像列と、静止画像の選択手段を構成するキー入力部６からの入力データとにより、パノラマ画像として合成する候補の２枚の静止画像が順次選択されて、画像処理部５の２画面画像処理部５ａにおいて、選択された２枚の静止画像をそれぞれ表示する２つのウィンドウからなる２画面表示用の２画面画像が作成されて、画像表示部７に表示される。
ここで、キー入力部６の左右ボタン６ｂ，６ｃは、作業用メモリ４に格納されている静止画像列の中から、任意の２枚の静止画像を選択する選択手段を構成しており、左右ボタン６ｂ，６ｃのいずれかを操作することにより、作業用メモリ４の静止画像が順次選択されて画像表示部７に２画面画像として画面表示されていき、パノラマ画像とすべき２画面画像を選択するパノラマ画像選択手段を構成するキー入力部６のＯＫボタン６ａの操作により、パノラマ画像として合成すべき２枚の静止画像が選択される。選択された２枚の静止画像は、画像処理部５のパノラマ画像処理部５ｂにおいて、１枚のパノラマ画像として合成されて、画像表示部７に画面表示されると共に、操作者の確認が得られたことを示すキー入力部６の操作により、合成されたパノラマ画像は記録媒体８に蓄積される。
また、キー入力部６の図示していないキー操作により、画像処理部５の２画面画像処理部５ａにおいては、パノラマ画像として合成する対象となる静止画像として、パノラマ画像処理部５ｂにより一旦作成されて記録媒体８に蓄積されているパノラマ画像を再度読み出して、該パノラマ画像に対して作業用メモリ４に格納されたいずれかの静止画像を更に合成させることにより、２枚以上の複数枚の静止画像からなるパノラマ画像を合成することも可能である。
更に、画像処理部５の２画面画像処理部５ａにおいては、パノラマ画像として画像合成する２枚の静止画像が選択された際に、パノラマ画像としての画像合成に先立って、キー入力部６の左右上下キー６ｂ，…，６ｅを操作することにより、２画面画像処理部５ａの上下左右移動処理部５ａ１を駆動して、２枚の静止画像のいずれでも任意の方向に静止画像の位置を移動させて、互いの画像位置を揃えるように調整することができる。
同様に、画像処理部５の２画面画像処理部５ａにおいては、パノラマ画像として画像合成する２枚の静止画像が選択された際に、パノラマ画像としての画像合成に先立って、キー入力部６の左回転ボタン６ｆ，右回転ボタン６ｇを操作することにより、２画面画像処理部５ａの左右回転処理部５ａ２を駆動して、２枚の静止画像のいずれでも任意の方向に静止画像の位置を回転させて、互いの画像位置を揃えるように調整することができる。
更には、画像処理部５の２画面画像処理部５ａにおいては、パノラマ画像として画像合成する２枚の静止画像が選択された際に、パノラマ画像としての画像合成に先立って、キー入力部６の拡大ボタン６ｈ，縮小ボタン６ｉを操作することにより、２枚の静止画像のいずれでも、任意の大きさの画像サイズに拡大・縮小して互いの画像サイズを揃えるように調整することができる。
また、２枚の静止画像に対する前述のような移動や回転あるいは拡大・縮小の操作は、作業用メモリ４の静止画像列の中からパノラマ画像の選択候補として２枚の静止画像を順次選択して、２つのウィンドウにそれぞれ表示する２画面画像を作成する際においても、画像処理部５の２画面画像処理部５ａにおいて、全く同様に実施させることが可能である。
更に、画像処理部５のパノラマ画像処理部５ｂにおいては、パノラマ画像を画像合成する際に、２画面画像として２枚の静止画像の互いに重複した画像部分に対して、パノラマ画像処理部５ｂのスムージング処理部５ｂ１を駆動して、互いの静止画像間のスムージング処理を施し、パノラマ画像としての合成画像の不自然さを除去することができる。更に、画像処理部５のパノラマ画像処理部５ｂにおいては、パノラマ画像を画像合成する際に、キー入力部６に図示していないキー操作により、パノラマ画像処理部５ｂのスクロール画像作成部５ｂ２を駆動して、パノラマ画像として元の静止画像サイズのまま縮小しない状態のスクロール画像として作成して、画像表示部７にスクロール画面表示を行なうことができる。
なお、図１に示す記録媒体８には、パノラマ画像処理部５ｂにより作成されたパノラマ画像を蓄積する以外に、作業用メモリ４に格納されている静止画像を蓄積することが可能であり、更には、場合によっては、バッファメモリ２に格納されている動画像を蓄積することを可能としても良い。また、画像表示部７は、２画面画像処理部５ａにより作成された２画面画像を２つのウィンドウにそれぞれ画面表示したり、パノラマ画像処理部５ｂにより作成されたパノラマ画像を画面表示したりする以外に、作業用メモリ４に格納されている静止画像や記録媒体８に蓄積されているパノラマ画像あるいは静止画像を再生して画面表示することも可能であり、更には、場合によっては、バッファメモリ２に格納されている動画像を画面表示することを可能としても良い。
次に、本発明に係るパノラマ画像撮影装置１０の具体的な動作について更に詳細に説明する。まず、図２は、本発明に係るパノラマ画像撮影装置１０において画像表示部７に画面表示されるパノラマ画像の画面構成方法の一例を説明するための模式図である。
図２に示すように、画面構成方法としては、２枚の静止画像をパノラマ画像の形式に構成する場合、画像処理部５の２画面画像処理部５ａにより、２枚の静止画像をそれぞれ縮小して例えばパノラマ左画像２１、パノラマ右画像２２のように、２つのウィンドウを左右に並べて配置して、パノラマ左画像２１の右側領域の一部と、パノラマ右画像２２の左側領域の一部とが重複領域２３において互いに重なり合うように、２つのウィンドウを配置する。ここに、該重複領域２３の大きさは、パノラマ合成アルゴリズムに応じて最適の大きさに予め決定しておく。
図３は、図２に示す画面構成方法を用いて、動画像の各コマから作成された静止画像列の中から２枚の静止画像を選択して、画像表示部７に左右に配置して表示する様子を示す模式図である。
図３において、３１は、カメラ１により連続的に撮影された動画像の各コマに該当する静止画像として動画処理部３により変換されて、作業用メモリ４に時間軸上に並べられて格納されている静止画像列を示し、３２は、静止画像列３１の中から任意の２枚の静止画像３１ａ，３１ｂを選択して、画像表示部７に表示した２画面画像を示している。図３の２画面画像の表示例においては、静止画像列３１の最も先頭の静止画像３１ａがパノラマ左画像２１として選択されて、しかる後に、静止画像列３１の中から、パノラマ右画像２２として表示する静止画像３１ｂが選択される。
この時、前述したように、パノラマ左画像２１として表示する静止画像を、作業用メモリ４に格納されている静止画像列３１の中から選択する代わりに、該静止画像列３１の中の所望の静止画像をパノラマ画像として画像合成して一旦記録媒体８に蓄積した後、蓄積されている該パノラマ画像を選択することも可能であり、該パノラマ画像を選択した場合、記録媒体８から再度読み出して、静止画像列３１の静止画像との間、あるいは、パノラマ画像同士の間で画像合成して、新たなパノラマ画像を作成することもできる。
また、前述の説明においては、静止画像列３１の最も先頭の静止画像３１ａあるいは記録媒体８に蓄積されたパノラマ画像をパノラマ左画像２１として画面左側に画面表示する例について説明したが、本発明においては、かかる場合のみに限ることなく、動画像の撮影開始位置が右側から左側方向にパンニングして撮影されるような場合には、静止画像列３１の最も先頭の静止画像３１ａあるいは記録媒体８に蓄積されたパノラマ画像をパノラマ右画像２２として画面右側に画面表示し、しかる後に、静止画像列３１の中から、パノラマ左画像２１として表示する静止画像を選択するようにしても良い。
図４は、図２に示す画面構成方法において、パノラマ左画像とパノラマ右画像との上下位置を揃えて、パノラマ画像として画像表示部７に表示する様子を説明するための模式図であり、図４（Ａ）が、図３の静止画像列３１の中から任意に選択された２つの静止画像３１ａ，３１ｂを示し、静止画像３１ａ，３１ｂの互いの上下位置が揃っていない場合を示しており、図４（Ｂ）が、選択された２つの静止画像３１ａ，３１ｂの上下位置を揃えて画像合成したパノラマ画像３２を画像表示部７に画面表示している様子を示している。図４（Ｂ）に示すように、最初に静止画像３１ａを選択して画面左側に表示されているパノラマ左画像２１に対して、後から選択された静止画像３１ｂの上下位置を揃えるために、静止画像３１ｂを上方向に移動させながら、互いの画像が重なり合う重複領域２３を利用して、パノラマ左画像２１と画像が重なり合う位置まで移動させている様子を示している。なお、図４においては、２枚の静止画像３１ａ，３１ｂの上下方向の位置合わせを行なう様子を説明したが、前述のように、２枚の静止画像３１ａ，３１ｂの左右方向の位置を合わせたり、あるいは、２枚の静止画像３１ａ，３１ｂの回転方向の位置を合わせたりすることも同様に可能である。
一般に、動画像の撮影方法としては、例えばパノラマ画像として表示したい左端の位置（場合によっては、右端の位置であっても良い）にカメラ１のファインダを合わせて、撮影を開始し、動画像として、右に（場合によっては、左に）パンニングさせながら撮影を行なう。かくのごとき撮影の際には、カメラ１がぶれたりして、動画像として連続して撮影された各コマに該当する静止画像の上下位置がずれる場合がある。従って、本発明に係るパノラマ画像撮影装置１０においては、キー入力部６を用いて、パノラマ画像３２として表示する２枚の静止画像３１ａ，３１ｂを動画像データ即ち静止画像列３１の中から選択した後に、更に、キー入力部６を用いて、図４に示すように、２枚の静止画像の上下位置の位置合わせを行なう仕組みを有している。更には、図４には示していないが、前述のように、２枚の静止画像の左右方向の位置合わせや左右の回転位置に関する位置合わせを行なうことも可能である。
図５は、静止画像列３１の中からパノラマ画像に合成すべき任意の２枚の静止画像３１ａ，３１ｂを選択する優先順序の一例を示す模式図である。
図５においては、カメラ１により撮影された動画像の各コマに該当する静止画像列３１のうち、パノラマ画像３２として表示する際に、画面の左側のパノラマ左画像２１として表示する静止画像３１ａは、カメラ１により撮影を開始した最も先頭の静止画像Ａに固定されており、パノラマ右画像２２として、先頭の静止画像Ａに続くどの静止画像を選択するかを操作者に選択させる優先順序を説明している。
ここで、先頭の静止画像Ａの次に位置する静止画像Ａ１，Ａ２，…と１コマずつ逐次表示して、操作者に選択させるような優先順序を用いた場合、所望の静止画像を得るまでに時間がかかるので、静止画像列３１を、予め定められた所定のコマ数分の静止画像枚数からなる複数の画像候補群に分割して、各画像候補群のコマ数を示すスキップコマ数αとして予め設定されているコマ数だけ静止画像の枚数を大きくスキップして、各画像候補群の先頭の静止画像を、静止画像Ｂ、静止画像Ｃ、…と飛び飛びにまず表示していく方法を採用している。即ち、操作者は、例えばキー入力部６の左ボタン６ｂ又は右ボタン６ｃを予め定めた所定時間以上に及ぶ長押し操作をすることにより、スキップコマ数αずつ飛び飛びに表示されてくる静止画像Ｂ，Ｃ…の中から、パノラマ左画像２１として表示されている先頭の静止画像Ａのパノラマ画像相手として所望する静止画像の近傍にあることを示す近似した静止画像を操作者が検出した際に、該近似した静止画像が属する画像候補群を選択画像候補群として決定する。
次いで、決定された該選択画像候補群の中、及び／又は、該選択画像候補群に隣接する隣接画像候補群の中に存在している前記スキップコマ数α分の各静止画像を１コマずつ順次選択して画面表示させるために、操作者は、キー入力部６を操作して、例えばキー入力部６の左ボタン６ｂ又は右ボタン６ｃを予め定めた所定時間よりも短い単押し操作をすることにより、該選択画像候補群及び／又は隣接画像候補群の中に存在している静止画像を１コマずつ順次表示していく１コマ逐次表示指示を入力する。
１コマ逐次表示指示が入力されると、現在画像表示部７の右側に画面表示されている飛び飛び表示の静止画像の近傍に位置している静止画像が１コマずつ逐次表示されていくことにより、パノラマ右画像２２として所望する最適の静止画像を迅速に選択することができる。ここで、図５は、スキップコマ数αずつ飛び飛びに選択して画面表示していくことにより、パノラマ左画像２１の相手の静止画像に近似している近似静止画像が検出された後、該近似静止画像が属する画像候補群として選択された選択画像候補群及び／又は隣接画像候補群の中から１コマずつ画面表示していく近傍の静止画像として、選択画像候補群及び／又は隣接画像候補群にそれぞれ属する静止画像枚数即ちスキップコマ数αが示す静止画像枚数分だけ左右いずれかの方向に順次選択して画面表示していく例を示している。
図５に示す例においては、近傍に位置しているとして選択された飛び飛び表示の静止画像Ｃが含まれている選択画像候補群に隣接する一つ前の隣接画像候補群Ｂ，Ｂ１，…，Ｂ５に遡って、所望の静止画像を選択する場合の例を示しており、一つ前の隣接画像候補群の中から、最後の静止画像Ｂ５から逆送り即ち左方向に静止画像Ｂまで遡って順次１コマずつ画面表示する場合を示している。即ち、図５に示す例においては、飛び飛び表示の静止画像として所望静止画像の近傍に位置しているとされる静止画像が、選択画像候補群の先頭の静止画像Ｃであり、各画像候補群の静止画像枚数を示すスキップコマ数αが６コマの場合を例示している。ここで、所望の静止画像に近似している静止画像Ｃが検出された後、該静止画像Ｃが属する選択画像候補群に隣接する一つ前の隣接画像候補群の中に所望の静止画像が存在しているものと判断されて、１コマ逐次表示指示として、例えば、キー入力部６の左ボタン６ｂの単押しが入力されると、鍵カッコ付きの番号２，３，４，５，６，７に示すように、隣接画像候補群の最後尾の６コマ目に位置する静止画像Ｂ５から順次遡ってＢ４，Ｂ３，Ｂ２，Ｂ１，Ｂと所望の静止画像が得られるまで１コマずつ逆送りに選択されて画面表示されてくる場合を示している。
図６乃至図８は、図１に示すカメラ１で撮影した動画像の各コマに該当する静止画像列３１の中からパノラマ画像３２を作成する場合において、パノラマ画像作成用の２枚の静止画像を選択し、かつ、両者の静止画像の位置合わせを行なって、パノラマ画像を作成する場合の手順の一例を示す一連のフローチャートである。即ち、図６に示すフローチャートは、２枚の静止画像を選択する手順の一例を示す前半部のフローチャートを示し、図７は、図６の処理に続く中間部の処理手順のフローチャートを示し、図８は、図６の処理に更に続く後半部の処理手順のフローチャートを示している。
なお、図６乃至図８のフローチャートは、図１に示すカメラ１により左から右方向にパンニング操作して撮影した動画像を、動画処理部３により静止画像に変換して、時間軸上に配列した静止画像列３１として作業用メモリ４に逐次格納し、その先頭の静止画像をパノラマ左画像２１とし、更に図５に示すごとき選択方法を用いて、作業用メモリ４にある静止画像列３１の中からパノラマ右画像２２を選択すると共に、該パノラマ右画像２２をパノラマ左画像２１に位置合わせすることにより、精度が高いパノラマ画像３２を迅速に生成するまでの手順を説明している。
ここで、図１に示すキー入力部６には、前述したごとく、画像表示部７に表示された表示画像の選択がＯＫか否かを示すＯＫボタン６ａの他に、パノラマ右画像２２を選択するために、あるいは、選択されたパノラマ右画像２２をパノラマ左画像２１と左右方向の位置合わせを行なうために、左方向への移動を指示する左ボタン６ｂ、及び、右方向への移動を指示する右ボタン６ｃが、また、選択されたパノラマ右画像２２をパノラマ左画像２１と上下方向の位置合わせを行なうために、上方向への移動を指示する上ボタン６ｄ、及び、下方向への移動を指示する下ボタン６ｅが備えられている。
更に、左ボタン６ｂと右ボタン６ｃとは、予め定められた所定の時間以上に亘って長押しをするか、該所定の時間よりも短い時間の単押しをするかにより、前述のように、飛び飛びに静止画像を表示して所望の静止画像に近似する静止画像が属する選択画像候補群の選択を行なうか、あるいは、１コマずつ順次静止画像を表示して選択画像候補群及び／又は隣接画像候補群の中の静止画像から所望の静止画像の選択を行なうか、いずれかの選択動作に切り換えることが可能とされている。
まず、パノラマ画像撮影装置１０の撮影モードとしてパノラマ画像撮影モードに設定して、カメラ１を用いて左から右方向にパンニング操作しながら動画像を撮影する（ステップＳ１）。撮影された動画像は、逐次、バッファメモリ２に格納されていく（ステップＳ２）。バッファメモリ２に格納された動画像の各コマは、順次、動画処理部３により静止画像に変換されて、作業用メモリ４に時間軸上に配列された静止画像列３１として保存されていく（ステップＳ３）、次に、前述したように、カメラ１により撮影開始した先頭の画像に該当する静止画像が、作業用メモリ４の静止画像列３１の中から読み出されて（ステップＳ４）、画像処理部５によりパノラマ左画像２１として画像処理されて、画像表示部７の画面左側に画面表示される（ステップＳ５）。
次に、作業用メモリ４に保存されている静止画像列３１の中から、パノラマ右画像２２の候補となる最初の画像候補が読み出されて（ステップＳ６）、画像処理部３によりパノラマ右画像２２として画像処理されて、画像表示部７の画面右側に画面表示される（ステップＳ７）。操作者は、表示された画面左右両方の画像の組み合わせがパノラマ画像３２として合成すべき画像であるか否かを判断して（ステップＳ８）、合成すべき画像ではないと判断した場合（ステップＳ８のＮＯ）、パノラマ右画像２２としての次の画像候補を選択するために、キー入力部６のＯＫボタン６ａの代わりに、次の静止画像を選択する選択手段であるキー入力部６の左右ボタン６ｂ，６ｃいずれかのボタン操作を行なう（ステップＳ９）。
キー入力部６から、右ボタン６ｃが長押しされていた場合（ステップＳ１０のＹＥＳ）、現在、作業用メモリ４に保存されている静止画像列３１の最後の画像候補群が選択されている状態にあるか否かを判断する（ステップＳ１１）。最後の画像候補群であった場合（ステップＳ１１のＹＥＳ）、左方向に遡った手前側の次の画像候補群を選択するために、ステップＳ９に戻って、キー入力部６のボタン操作を行なう動作が繰返されるが、一方、最後の画像候補群ではない場合（ステップＳ１１のＮＯ）、次の画像候補群を表示するために、作業用メモリ４の静止画像列３１を右方向に一つ先の画像候補群まで先送り移動して（ステップＳ１２）、次の画像候補群における最初の画像候補が作業用メモリ４から読み出されて（ステップＳ１３）、画像処理部５によりパノラマ右画像２２として画像処理されて、画像表示部７の画面右側に画面表示される（ステップＳ１４）。しかる後、ステップＳ８に戻って、パノラマ画像３２として合成すべき画像が選択されたか否かが判断される。
一方、キー入力部６から、右ボタン６ｃが長押しされていなかった場合（ステップＳ１０のＮＯ）、左ボタン６ｂが長押しされていたか否かを判断して（ステップＳ１５）、左ボタン６ｂが長押しされていた場合（ステップＳ１５のＹＥＳ）、現在、作業用メモリ４に保存されている静止画像列３１の最初の画像候補群が選択されている状態にあるか否かを判断する（ステップＳ１６）。最初の画像候補群であった場合（ステップＳ１６のＹＥＳ）、右方向にある先方側の次の画像候補群を選択するために、ステップＳ９に戻って、キー入力部６のボタン操作を行なう動作が繰返されるが、一方、最初の画像候補群ではない場合（ステップＳ１６のＮＯ）、次の画像候補群を表示するために、作業用メモリ４の静止画像列３１を左方向に一つ前の画像候補群まで逆送り移動して（ステップＳ１７）、次の画像候補群における最初の画像候補が作業用メモリ４から読み出されて（ステップＳ１８）、画像処理部５によりパノラマ右画像２２として画像処理されて、画像表示部７の画面右側に画面表示される（ステップＳ１９）。しかる後、ステップＳ８に戻って、パノラマ画像３２として合成すべき画像が選択されたか否かが判断される。
更に、キー入力部６から、右ボタン６ｃも左ボタン６ｂも長押しされていなかった場合（ステップＳ１５のＮＯ）、右ボタン６ｃが単押しされていたか否かを判断して（ステップＳ２０）、右ボタン６ｃが単押しされていた場合（ステップＳ２０のＹＥＳ）、現在選択されている画像候補群（即ち、選択画像候補群及び／又は隣接画像候補群）の中の、最後の画像候補が選択されている状態にあるか否かを判断する（ステップＳ２１）。最後の画像候補であった場合（ステップＳ２１のＹＥＳ）、選択されている当該画像候補群の中で、遡る方向の次の画像候補を選択するか、又は、次の画像候補群を選択するために、ステップＳ９に戻って、キー入力部６のボタン操作を行なう動作が繰返される。一方、最後の画像候補ではない場合（ステップＳ２１のＮＯ）、現在の画像候補の一つ右側にある次の画像候補を表示するために、作業用メモリ４の当該画像候補群の中を右方向に一つ先の画像候補まで先送り移動して、次の画像候補が作業用メモリ４から読み出されて（ステップＳ２２）、画像処理部５によりパノラマ右画像２２として画像処理されて、画像表示部７の画面右側に画面表示される（ステップＳ２３）。しかる後、ステップＳ８に戻って、パノラマ画像３２として合成すべき画像が選択されたか否かが判断される。
一方、キー入力部６から、右ボタン６ｃが単押しされていなかった場合（ステップＳ２０のＮＯ）、次に、左ボタン６ｂが単押しされていたか否かを判断して（ステップＳ２４）、左ボタン６ｂが単押しされていた場合（ステップＳ２４のＹＥＳ）、現在選択されている画像候補群（即ち、選択画像候補群及び／又は隣接画像候補群）の中の、最初の画像候補が選択されている状態にあるか否かを判断する（ステップＳ２５）。最初の画像候補であった場合（ステップＳ２５のＹＥＳ）、選択されている当該画像候補群の中で、先方側にある次の画像候補を選択するか、又は、次の画像候補群を選択するために、ステップＳ９に戻って、キー入力部６のボタン操作を行なう動作が繰返される。一方、最初の画像候補ではない場合（ステップＳ２５のＮＯ）、現在の画像候補の一つ左側にある次の画像候補を表示するために、作業用メモリ４の当該画像候補群の中を左方向に一つ前の画像候補まで逆送り移動して、次の画像候補が作業用メモリ４から読み出されて（ステップＳ２６）、画像処理部５によりパノラマ右画像２２として画像処理されて、画像表示部７の画面右側に画面表示される（ステップＳ２７）。しかる後、ステップＳ８に戻って、パノラマ画像３２として合成すべき画像が選択されたか否かが判断される。
更に、キー入力部６から、右ボタン６ｃ、左ボタン６ｂのいずれのボタンも長押し又は単押しされていなかった場合（ステップＳ２４のＮＯ）、無効なボタン操作がなされたものとして、ステップＳ９に戻って、キー入力部６のボタン操作を行なう動作が繰返される。
また、ステップＳ８において、操作者は、表示された画面左右両方の画像の組み合わせがパノラマ画像３２として合成すべき画像であると判断して、パノラマ画像選択手段としてのキー入力部６のＯＫボタン６ａが操作された場合（ステップＳ８のＹＥＳ）、次に、操作者は、表示された画面左右両方の画像の表示位置が揃っていて、パノラマ画像３２として合成する状態に位置合わせができているか否かを判断して（ステップＳ２８）、位置合わせが十分ではないと判断した場合（ステップＳ２８のＮＯ）、左画像の位置を基準にして、右画像の表示位置を調整するために、キー入力部６のＯＫボタン６ａの代わりに、キー入力部６の上下左右ボタン６ｄ，６ｅ，６ｂ，６ｃいずれかのボタン操作を行なう（ステップＳ３２）。
まず、上ボタン６ｄが押されていたか否かを判断して（ステップＳ３３）、上ボタンが押されていた場合（ステップＳ３３のＹＥＳ）、右画像を１ステップ分だけ上方向に移動させる上ずらし処理が画像処理部５の上下左右移動処理部５ａ１により実施された後（ステップＳ３４）、画像処理部５の２画面画像処理部５ａによりパノラマ右画像２２として画像処理されて、画像表示部７の画面右側に画面表示される（ステップＳ３５）。しかる後、ステップＳ２８に戻って、パノラマ画像３２として左右の画像の位置合わせが十分なされたか否かが判断される。
一方、キー入力部６から、上ボタン６ｄが押されていなかった場合（ステップＳ３３のＮＯ）、下ボタン６ｅが押されていたか否かを判断して（ステップＳ３６）、下ボタン６ｅが押されていた場合（ステップＳ３６のＹＥＳ）、右画像を１ステップ分だけ下方向に移動させる下ずらし処理が画像処理部５の上下左右移動処理部５ａ１により実施された後（ステップＳ３７）、画像処理部５の２画面画像処理部５ａによりパノラマ右画像２２として画像処理されて、画像表示部７の画面右側に画面表示される（ステップＳ３８）。しかる後、ステップＳ２８に戻って、パノラマ画像３２として左右の画像の位置合わせが十分なされたか否かが判断される。
更に、キー入力部６から、上ボタン６ｄも下ボタン６ｅも押されていなかった場合（ステップＳ３６のＮＯ）、右ボタン６ｃが押されていたか否かを判断して（ステップＳ３９）、右ボタン６ｃが押されていた場合（ステップＳ３９のＹＥＳ）、右画像を１ステップ分だけ右方向に移動させる右ずらし処理が画像処理部５の上下左右移動処理部５ａ１により実施された後（ステップＳ４０）、画像処理部５の２画面画像処理部５ａによりパノラマ右画像２２として画像処理されて、画像表示部７の画面右側に画面表示される（ステップＳ４１）。しかる後、ステップＳ２８に戻って、パノラマ画像３２として左右の画像の位置合わせが十分なされたか否かが判断される。
一方、キー入力部６から、右ボタン６ｃが押されていなかった場合（ステップＳ３９のＮＯ）、左ボタン６ｂが押されていたか否かを判断して（ステップＳ４２）、左ボタン６ｂが押されていた場合（ステップＳ４２のＹＥＳ）、右画像を１ステップ分だけ左方向に移動させる左ずらし処理が画像処理部５の上下左右移動処理部５ａ１により実施された後（ステップＳ４３）、画像処理部５の２画面画像処理部５ａによりパノラマ右画像２２として画像処理されて、画像表示部７の画面右側に画面表示される（ステップＳ４４）。しかる後、ステップＳ２８に戻って、パノラマ画像３２として左右の画像の位置合わせが十分なされたか否かが判断される。
更に、キー入力部６から、上下左右ボタン６ｄ，６ｅ，６ｂ，６ｃのいずれのボタンも押されていなかった場合（ステップＳ４２のＮＯ）、右回転ボタン６ｇが押されていたか否かを判断して（ステップＳ４５）、右回転ボタン６ｇが押されていた場合（ステップＳ４５のＹＥＳ）、右画像を１ステップ分だけ右方向に回転させる右回転処理が画像処理部５の左右回転処理部５ａ２により実施された後（ステップＳ４６）、画像処理部５の２画面画像処理部５ａによりパノラマ右画像２２として画像処理されて、画像表示部７の画面右側に画面表示される（ステップＳ４７）。しかる後、ステップＳ２８に戻って、パノラマ画像３２として左右の画像の位置合わせが十分なされたか否かが判断される。
一方、キー入力部６から、右回転ボタン６ｇが押されていなかった場合（ステップＳ４５のＮＯ）、左回転ボタン６ｆが押されていたか否かを判断して（ステップＳ４８）、左回転ボタン６ｆが押されていた場合（ステップＳ４８のＹＥＳ）、右画像を１ステップ分だけ左方向に回転させる左回転処理が画像処理部５の左右回転処理部５ａ２により実施された後（ステップＳ４９）、画像処理部５の２画面画像処理部５ａによりパノラマ右画像２２として画像処理されて、画像表示部７の画面右側に画面表示される（ステップＳ５０）。しかる後、ステップＳ２８に戻って、パノラマ画像３２として左右の画像の位置合わせが十分なされたか否かが判断される。
また、上下左右ボタン６ｄ，６ｅ，６ｂ，６ｃ及び左右回転ボタン６ｆ，６ｇのいずれのボタンも押されていなかった場合（ステップＳ４８のＮＯ）、無効なボタン操作がなされたものとして、ステップＳ３２に戻って、キー入力部６のボタン操作を行なう動作が繰返される。
また、ステップＳ２８において、操作者が、表示された画面左右両方の画像の表示位置が揃っていて、パノラマ画像３２として合成する状態に位置合わせが十分にできていると判断して、キー入力部６のＯＫボタン６ａが操作された場合（ステップＳ２８のＹＥＳ）、パノラマ画像３２として画面表示すべき左画像と右画像との選択が終了し、かつ、左画像と右画像との位置合わせも終了している状態にあるので、画像処理部５のスムージング処理部５ｂ１により左右の画像の重複部分を含む両者の画像間のスムージング処理が施された後、左右の画像を纏め合わせた１枚のパノラマ画像３２として画像合成処理がなされて（ステップＳ２９）、合成されたパノラマ画像３２は、画像表示部７に画面表示される（ステップＳ３０）。更に、合成されたパノラマ画像３２は、操作者からのキー入力部６を介した指示により、記録媒体８に蓄積される（ステップＳ３１）。
図６に示したフローチャートにおいては、作業用メモリ４に格納された静止画像列３１の先頭の静止画像をパノラマ左画像２１として固定して、作業用メモリ４にある静止画像列３１の中からパノラマ右画像２２を選択し、該パノラマ右画像２２をパノラマ左画像２１に位置合わせをする場合を示したが、本発明は、かかる場合に限るものではなく、左右を逆にして、作業用メモリ４に格納された静止画像列３１の先頭の静止画像をパノラマ右画像２２として固定して、作業用メモリ４にある静止画像列３１の中からパノラマ左画像２１を選択し、該パノラマ左画像２１をパノラマ右画像２２に位置合わせをするようにしても良い。
更には、基準とする画像を、作業用メモリ４の静止画像列３１の先頭の静止画像とする代わりに、記録媒体８に蓄積されたパノラマ画像３２を用いることとしても良い。あるいは、場合によっては、パノラマ左画像２１とパノラマ右画像２２との双方共に、作業用メモリ４の静止画像列３１及び記録媒体８のパノラマ画像３２の中から、任意に選択することとしても良いし、更に、パノラマ画像としての位置合わせについても、パノラマ右画像２２のみならず、パノラマ左画像２１についても位置合わせの調整を行なうことを可能としても良い。
 符号の説明
１…カメラ、２…バッファメモリ、３…動画処理部、４…作業用メモリ、５…画像処理部、５ａ…２画面画像処理部、５ａ１…上下左右移動処理部、５ａ２…左右回転処理部、５ｂ…パノラマ画像処理部、５ｂ１…スムージング処理部、５ｂ２…スクロール画像作成部、６…キー入力部、６ａ…ＯＫボタン、６ｂ…左ボタン、６ｃ…右ボタン、６ｄ…上ボタン、６ｅ…下ボタン、６ｆ…左回転ボタン、６ｇ…右回転ボタン、６ｈ…拡大ボタン、６ｉ…縮小ボタン、７…画像表示部、８…記録媒体、１０…パノラマ画像撮影装置、２１…パノラマ左画像、２２…パノラマ右画像、２３…重複領域、３１…静止画像列、３１ａ，３１ｂ…静止画像、３２…パノラマ画像。
【０００３】
かつ、該２枚の静止画像それぞれの一部を互いに重複させて配置して、２つのウィンドウからなる２画面として表示する２画面画像を作成する２画面画像処理手段と、該２画面画像処理手段により作成された前記２画面画像の中から、パノラマ画像とすべき２画面画像を選択するパノラマ画像選択手段と、該パノラマ画像選択手段により選択された前記２画面画像を１枚の画像に合成して、パノラマ画像を作成するパノラマ画像処理手段と、前記静止画像あるいは前記２画面画像あるいは前記パノラマ画像を画面表示する画像表示手段と、前記静止画像及び／又は前記パノラマ画像を蓄積する記録媒体とを備えているパノラマ画像作成装置であって、前記選択手段が、前記動画処理手段により作成された複数枚の前記静止画像の中から、いずれか任意の静止画像を選択する際に、複数枚の前記静止画像を、予め定められた所定のコマ数分の静止画像枚数からなる複数の画像候補群に分割し、分割された前記画像候補群の先頭コマに該当する静止画像を飛び飛びに順次選択して、前記２画面画像処理手段により前記２画面画像として画面表示することにより、所望の静止画像に近接する静止画像が属する画像候補群を選択画像候補群として選択した後、該選択画像候補群の中、及び／又は、該選択画像候補群に隣接する隣接画像候補群の中、の各静止画像を順次選択して、前記２画面画像処理手段により前記２画面画像として画面表示し、前記パノラマ画像選択手段が、パノラマ画像とすべき前記２画面画像を選択することができることを特徴としている。
【０００８】第２の技術手段は、前記第１の技術手段に記載のパノラマ画像作成装置において、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、前記動画処理手段により作成された前記静止画像のうち、前記動画像の先頭に位置する先頭コマに該当する静止画像を選択し、反対側の他方のウィンドウに画面表示する画像として、前記動画像の先頭コマに後続する各コマに該当する、前記選択画像候補群の中、及び／又は、該選択画像候補群に隣接する隣接画像候補群の中、のいずれか任意の静止画像を選択することができることを特徴としている。
【０００９】 第３の技術手段は、前記第１の技術手段に記載のパノラマ画像作成装置において、前記選択手段が、選択する前記２枚の静止画像のうち、画面の一方のウィンドウに画面表示する画像として、前記記録媒体に蓄積された前記パノラマ画像を選択し、反対側の他方のウィンドウに画面表示する画像として、前記動画像の先頭コマに後続する各コマに該当する、前記選択画像候補群の中、及び／又は、該選択画像候補群に隣接する隣接画像候補群の中、のいずれか任意の静止画像を選択することができることを特徴としている。
【００１０】（削除）


３／１
【０００４】
【００１１】第４の技術手段は、前記第１乃至第３の技術手段のいずれかに記載のパノラマ画像作成装置において、前記２画面画像処理手段が、前記選択手段により選択された２枚の静止画像からなる前記２画面画像を作成する際に、及び／又は、前記パノラマ画像選択手段によりパノラマ画像とすべき前記２画面画像が選択された際に、前記２画面画像を構成する２枚の静止画像のそれぞれの位置を、又は、いずれか一方の位置を、上下左右の任意の方向に移動又は回転させることができることを特徴としている。
【００１２】第５の技術手段は、前記第１乃至第４の技術手段のいずれかに記載のパノラマ画像作成装置において、前記パノラマ画像処理手段が、前記２画面画像を合成してパノラマ画像を作成する際に、前記２画面画像を構成する２枚の静止画像の互いの重複部分に対してスムージング処理を施すことができることを特徴としている。
【００１３】第６の技術手段は、前記第１乃至第５の技術手段のいずれかに記載のパノラマ画像作成装置において、前記パノラマ画像処理手段が、前記２画面画像を合成して前記パノラマ画像を作成する際に、前記パノラマ画像を順次スクロールして前記画像表示手段に画面表示するスクロール画像として作成することができることを特徴としている。
【００１４】第７の技術手段は、動画像を撮影する撮影手段を備え、更に、該撮影手段により撮影された動画像の各コマに該当する静止画像を作成して、作成された該静止画像を用いてパノラマ画像を作成して記録媒体に蓄積するパノラマ画像作成手段を備えたパノラマ画像撮影装置において、パノラマ画像を作成する前記パノラマ画像作成手段として、前記第１乃至第６の技術手段のいずれかに記載のパノラマ画像作成装置を備えていることを特徴としている。
【発明の効果】
【００１５】以上のごとき各技術手段から構成される本発明によれば、以下のような効果が得ら


４
【０００６】
［図６］カメラで撮影した動画像の各コマに該当する静止画像列の中からパノラマ画像を作成する場合において、パノラマ画像作成用の２枚の静止画像を選択し、かつ、両者の静止画像の位置合わせを行なって、パノラマ画像を作成する場合の前半部の処理手順の一例を示すフローチャートである。
［図７］図６の処理に続く中間部の処理手順の一例を示すフローチャートである。
［図８］図６の処理に更に続く後半部の処理手順の一例を示すフローチャートである。
【発明を実施するための最良の形態】
【００２０】本発明に係るパノラマ画像作成装置は、動画像の各コマに該当するそれぞれの静止画像を作成する動画処理手段と、該動画処理手段により作成された静止画像の中から、任意の２枚の静止画像を選択する選択手段と、該選択手段により選択された２枚の静止画像をそれぞれ縮小あるいは拡大させ、かつ、２枚の静止画像それぞれの一部を互いに重複させて配置して、２つのウィンドウからなる２画面として表示する２画面画像を作成する２画面画像処理手段と、該２画面画像処理手段により順次作成された前記２画面画像の中から、パノラマ画像とすべき２画面画像を選択するパノラマ画像選択手段と、該パノラマ画像選択手段により選択された前記２画面画像を１枚の画像に合成して、パノラマ画像を作成するパノラマ画像処理手段と、前記静止画像あるいは前記２画面画像あるいは前記パノラマ画像を画面表示する画像表示手段と、前記静止画像及び／又は前記パノラマ画像を蓄積する記録媒体とを備え、前記選択手段が、前記動画処理手段により作成された複数枚の前記静止画像の中から、いずれか任意の静止画像を選択する際に、複数枚の前記静止画像を、予め定められた所定のコマ数分の静止画像枚数からなる複数の画像候補群に分割し、分割された前記画像候補群の先頭コマに該当する静止画像を飛び飛びに順次選択して、前記２画面画像処理手段により前記２画面画像として画面表示することにより、所望の静止画像に近接する静止画像が属する画像候補群を選択画像候補群として選択した後、該選択画像候補群の中、及び／又は、該選択画像候補群に隣接する隣接画像候補群の中、の各静止画像を順次選択して、前記２画面画像処理手段により前記２画面画像として画面表示し、前記パノラマ画像選択手段が、パノラマ画像とすべき前記２画面画像を選択することができることを特徴とし、もって、容易に所望のパノラマ画像を得ることができる。
【００２１】更に、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、前記動画処理手段により作成された前記静止画像のうち、前記動画像の先頭に位置する先頭コマに該当する静止画像を、あるいは、前記記録媒体に蓄積された前記パノラマ画像を選択し、反対側の他方のウィンドウに画面表示する静止画像として、前記動画像の先頭コマに後続するコマに該当する、前記選択画像候補群の中、及び／又は、該選択画像候補群に隣接する隣接画像候補群の中、のいずれか任意の静止画像を選択することができることを特徴とし、もって、より容易に所望のパノラマ画像を得ることができる。
【００２２】また、前記２画面画像処理手段が、前記選択手段により選択された２枚の静止画像からなる前記２画面画像を作成する際に、及び／又は、前記パノラマ画像選択手段


６／１
【００１５】
【００４７】まず、パノラマ画像撮影装置１０の撮影モードとしてパノラマ画像撮影モードに設定して、カメラ１を用いて左から右方向にパンニング操作しながら動画像を撮影する（ステップＳ１）。撮影された動画像は、逐次、バッファメモリ２に格納されていく（ステップＳ２）。バッファメモリ２に格納された動画像の各コマは、順次、動画処理部３により静止画像に変換されて、作業用メモリ４に時間軸上に配列された静止画像列３１として保存されていく（ステップＳ３）。次に、前述したように、カメラ１により撮影開始した先頭の画像に該当する静止画像が、作業用メモリ４の静止画像列３１の中から読み出されて（ステップＳ４）、画像処理部５によりパノラマ左画像２１として画像処理されて、画像表示部７の画面左側に画面表示される（ステップＳ５）。
【００４８】次に、作業用メモリ４に保存されている静止画像列３１の中から、パノラマ右画像２２の候補となる最初の画像候補が読み出されて（ステップＳ６）、画像処理部３によりパノラマ右画像２２として画像処理されて、画像表示部７の画面右側に画面表示される（ステップＳ７）。操作者は、表示された画面左右両方の画像の組み合わせがパノラマ画像３２として合成すべき画像であるか否かを判断して（ステップＳ８）、合成すべき画像ではないと判断した場合（ステップＳ８のＮＯ）、パノラマ右画像２２としての次の画像候補を選択するために、キー入力部６のＯＫボタン６ａの代わりに、次の静止画像を選択する選択手段であるキー入力部６の左右ボタン６ｂ，６ｃいずれかのボタン操作を行なう（ステップＳ９）。
【００４９】キー入力部６から、右ボタン６ｃが長押しされていた場合（ステップＳ１０のＹＥＳ）、現在、作業用メモリ４に保存されている静止画像列３１の最後の画像候補群が選択されている状態にあるか否かを判断する（ステップＳ１１）。最後の画像候補群であった場合（ステップＳ１１のＹＥＳ）、左方向に遡った手前側の次の画像候補群を選択するために、ステップＳ９に戻って、キー入力部６のボタン操作を行なう動作が繰返されるが、一方、最後の画像候補群ではない場合（ステップＳ１１のＮＯ）、次の画像候補群を表示するために、作業用メモリ４の静止画像列３１を右方向に一つ先の画像候補群まで先送り移動して（ステップＳ１２）、次の画像候補群における最初の画像候補が作業用メモリ４から読み出されて（ステップＳ１３）、画像処理部５によりパノラマ右画像２２として画像処理されて、画像表示部７の画面右側に画面表示される（ステップＳ１４）。し


１５

Claims (8)

  1. 動画像の各コマに該当するそれぞれの静止画像を作成する動画処理手段と、該動画処理手段により作成された複数枚の前記静止画像の中から、任意の２枚の静止画像を選択する選択手段と、該選択手段により選択された前記２枚の静止画像をそれぞれ縮小あるいは拡大させ、かつ、該２枚の静止画像それぞれの一部を互いに重複させて配置して、２つのウィンドウからなる２画面として表示する２画面画像を作成する２画面画像処理手段と、該２画面画像処理手段により作成された前記２画面画像の中から、パノラマ画像とすべき２画面画像を選択するパノラマ画像選択手段と、該パノラマ画像選択手段により選択された前記２画面画像を１枚の画像に合成して、パノラマ画像を作成するパノラマ画像処理手段と、前記静止画像あるいは前記２画面画像あるいは前記パノラマ画像を画面表示する画像表示手段と、前記静止画像及び／又は前記パノラマ画像を蓄積する記録媒体とを備えていることを特徴とするパノラマ画像作成装置。
  2. 請求項１に記載のパノラマ画像作成装置において、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、前記動画処理手段により作成された前記静止画像のうち、前記動画像の先頭に位置する先頭コマに該当する静止画像を選択し、反対側の他方のウィンドウに画面表示する静止画像として、前記動画像の先頭コマに後続する各コマに該当するいずれか任意の静止画像を選択することができることを特徴とするパノラマ画像作成装置。
  3. 請求項１に記載のパノラマ画像作成装置において、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、前記記録媒体に蓄積された前記パノラマ画像を選択し、反対側の他方のウィンドウに画面表示する静止画像として、前記動画像の先頭コマに後続する各コマに該当するいずれか任意の静止画像を選択することができることを特徴とするパノラマ画像作成装置。
  4. 請求項１乃至３のいずれかに記載のパノラマ画像作成装置において、前記選択手段が、前記動画処理手段により作成された複数枚の前記静止画像の中から、いずれか任意の静止画像を選択する際に、複数枚の前記静止画像を、予め定められた所定のコマ数分の静止画像枚数からなる複数の画像候補群に分割し、分割された前記画像候補群の先頭コマに該当する静止画像を飛び飛びに順次選択して、前記２画面画像処理手段により前記２画面画像として画面表示することにより、所望の静止画像に近接する静止画像が属する画像候補群を選択画像候補群として選択した後、該選択画像候補群の中、及び／又は、該選択画像候補群に隣接する隣接画像候補群の中、の各静止画像を順次選択して、前記２画面画像処理手段により前記２画面画像として画面表示し、前記パノラマ画像選択手段が、パノラマ画像とすべき前記２画面画像を選択することができることを特徴とするパノラマ画像作成装置。
  5. 請求項１乃至４のいずれかに記載のパノラマ画像作成装置において、前記２画面画像処理手段が、前記選択手段により選択された２枚の静止画像からなる前記２画面画像を作成する際に、及び／又は、前記パノラマ画像選択手段によりパノラマ画像とすべき前記２画面画像が選択された際に、前記２画面画像を構成する２枚の静止画像のそれぞれの位置を、又は、いずれか一方の位置を、上下左右の任意の方向に移動又は回転させることができることを特徴とするパノラマ画像作成装置。
  6. 請求項１乃至５のいずれかに記載のパノラマ画像作成装置において、前記パノラマ画像処理手段が、前記２画面画像を合成してパノラマ画像を作成する際に、前記２画面画像を構成する２枚の静止画像の互いの重複部分に対してスムージング処理を施すことができることを特徴とするパノラマ画像作成装置。
  7. 請求項１乃至６のいずれかに記載のパノラマ画像作成装置において、前記パノラマ画像処理手段が、前記２画面画像を合成して前記パノラマ画像を作成する際に、前記パノラマ画像を順次スクロールして前記画像表示手段に画面表示するスクロール画像として作成することができることを特徴とするパノラマ画像作成装置。
  8. 動画像を撮影する撮影手段を備え、更に、該撮影手段により撮影された動画像の各コマに該当する静止画像を作成して、作成された該静止画像を用いてパノラマ画像を作成して記録媒体に蓄積するパノラマ画像作成手段を備えたパノラマ画像撮影装置において、パノラマ画像を作成する前記パノラマ画像作成手段として、請求項１乃至７のいずれかに記載のパノラマ画像作成装置を備えていることを特徴とするパノラマ画像撮影装置。
JP2005514165A 2003-09-26 2004-08-26 パノラマ画像作成装置及びパノラマ画像撮影装置 Expired - Fee Related JP4180083B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003334728 2003-09-26
JP2003334728 2003-09-26
PCT/JP2004/012286 WO2005032125A1 (ja) 2003-09-26 2004-08-26 パノラマ画像作成装置及びパノラマ画像撮影装置

Publications (2)

Publication Number Publication Date
JPWO2005032125A1 true JPWO2005032125A1 (ja) 2008-06-12
JP4180083B2 JP4180083B2 (ja) 2008-11-12

Family

ID=34386040

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005514165A Expired - Fee Related JP4180083B2 (ja) 2003-09-26 2004-08-26 パノラマ画像作成装置及びパノラマ画像撮影装置

Country Status (3)

Country Link
EP (1) EP1667439A4 (ja)
JP (1) JP4180083B2 (ja)
WO (1) WO2005032125A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7860343B2 (en) 2006-04-10 2010-12-28 Nokia Corporation Constructing image panorama using frame selection
KR100883106B1 (ko) * 2007-04-03 2009-02-11 삼성전자주식회사 비디오 데이터 표시 방법 및 이를 이용하는 휴대 단말기
JP4329837B2 (ja) 2007-04-09 2009-09-09 ソニー株式会社 ビデオ信号処理装置、ビデオ信号処理方法、プログラムおよび画像表示装置
JP2009077362A (ja) 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
JP2009077363A (ja) * 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
JP5092722B2 (ja) 2007-12-07 2012-12-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5223318B2 (ja) 2007-12-07 2013-06-26 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2009151896A (ja) * 2007-12-21 2009-07-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
JP4697221B2 (ja) * 2007-12-26 2011-06-08 ソニー株式会社 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
JP4678404B2 (ja) * 2007-12-27 2011-04-27 ソニー株式会社 撮像装置、その制御方法およびプログラム
JP4692550B2 (ja) 2008-01-21 2011-06-01 ソニー株式会社 画像処理装置、その処理方法およびプログラム
JP5133816B2 (ja) * 2008-08-22 2013-01-30 オリンパスイメージング株式会社 カメラ、画像合成方法、およびプログラム
JP4735693B2 (ja) 2008-09-22 2011-07-27 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
KR101631912B1 (ko) * 2009-11-03 2016-06-20 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP5120369B2 (ja) * 2009-12-17 2013-01-16 カシオ計算機株式会社 静止画生成装置、静止画生成プログラム及び静止画生成方法
JP5853151B2 (ja) * 2011-01-24 2016-02-09 パナソニックＩｐマネジメント株式会社 撮像装置
CN108898555B (zh) * 2018-07-27 2022-09-23 维沃移动通信有限公司 一种图像处理方法及终端设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3158735B2 (ja) * 1992-10-09 2001-04-23 ソニー株式会社 画像信号記録装置
JPH07203278A (ja) * 1993-12-28 1995-08-04 Olympus Optical Co Ltd 画像取り扱い装置
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
JP3832894B2 (ja) * 1996-05-28 2006-10-11 キヤノン株式会社 画像合成装置
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
JPH114398A (ja) * 1997-06-11 1999-01-06 Hitachi Ltd デジタルワイドカメラ
JP3799861B2 (ja) * 1999-02-24 2006-07-19 株式会社日立製作所 画像合成装置、画像合成方法を実行させるプログラムが記録された記録媒体
US6895126B2 (en) * 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location

Also Published As

Publication number Publication date
EP1667439A1 (en) 2006-06-07
JP4180083B2 (ja) 2008-11-12
EP1667439A4 (en) 2006-11-08
WO2005032125A1 (ja) 2005-04-07

Similar Documents

Publication Publication Date Title
KR102023866B1 (ko) 전자 기기
US20070103544A1 (en) Panorama image creation device and panorama image imaging device
JP4980779B2 (ja) 撮影装置、方法およびプログラム
JP4180083B2 (ja) パノラマ画像作成装置及びパノラマ画像撮影装置
JP4687451B2 (ja) 撮像装置、及びスルー画像表示方法
JP4044909B2 (ja) 合成パノラマ画像を作成するのに用いられる画像をコンポーズして取り込む際にユーザをガイドする方法及びシステム、並びに、カメラ
US8917335B2 (en) Image capturing apparatus with zoom function
JP4792985B2 (ja) カメラ装置、撮影条件設定方法、及び、プログラム
JP4654887B2 (ja) 撮像装置
JP5578442B2 (ja) 撮像装置、画像合成方法、及びプログラム
JP2000299804A (ja) パノラマ撮影方法及び撮像装置
JP4635477B2 (ja) 画像撮影装置、擬似３次元画像生成方法、及び、プログラム
KR20100069844A (ko) 이미지 촬영 방법 및 그를 수행하는 휴대 단말기
JP5785038B2 (ja) 撮影機器
JP2006174128A (ja) 撮像装置および撮像システム
JP2007174301A (ja) 画像撮影装置
JP5965037B2 (ja) 撮影機器
JP4171383B2 (ja) デジタルカメラ及びデジタルカメラの制御方法
JP4276452B2 (ja) ネットワークカメラ
JP4902365B2 (ja) 画像合成装置及びプログラム
JP4235130B2 (ja) デジタルカメラ
JP2006020105A (ja) 撮像装置、スロット写真撮影方法、及びプログラム
JP2016046676A (ja) 撮像装置および撮像方法
JP6205464B2 (ja) 撮影機器
JP4741434B2 (ja) Ｃｇ合成装置およびｃｇ合成プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080826

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080826

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees