JP4180083B2 - パノラマ画像作成装置及びパノラマ画像撮影装置 - Google Patents
パノラマ画像作成装置及びパノラマ画像撮影装置 Download PDFInfo
- Publication number
- JP4180083B2 JP4180083B2 JP2005514165A JP2005514165A JP4180083B2 JP 4180083 B2 JP4180083 B2 JP 4180083B2 JP 2005514165 A JP2005514165 A JP 2005514165A JP 2005514165 A JP2005514165 A JP 2005514165A JP 4180083 B2 JP4180083 B2 JP 4180083B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- screen
- still
- panoramic
- panorama
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 48
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 description 23
- 230000003936 working memory Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000004091 panning Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 235000002198 Annona diversifolia Nutrition 0.000 description 1
- 241000282842 Lama glama Species 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3876—Recombination of partial images to recreate the original image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3877—Image rotation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
【技術分野】
【0001】
本発明は、パノラマ画像作成装置及びパノラマ画像撮影装置に関し、特に、動画像から静止画像を作成し、作成した静止画像の中から広視野角のパノラマ画像に合成するための合成用の静止画像を画面表示しながら選択することによりパノラマ画像に合成するパノラマ画像作成装置、及び、動画像を撮影する撮影手段を有するパノラマ画像撮影装置に関する。
【背景技術】
【0002】
従来のパノラマ画像の撮影機能を有するパノラマ画像撮影装置としては、複数の静止画像からパノラマ画像を作成するものと、動画像からパノラマ画像を作成するものとの2種類の装置がある。
静止画像からパノラマ画像を作成する従来技術としては、特許文献1に示す「カメラのパノラマ撮影制御装置」に記載されているように、2枚の撮影画像を横方向に合成してパノラマ画像を作成する場合、1枚目の画像を撮影した後で2枚目の画像の撮影をアシストするために、例えば1枚目の画像の右側に2枚目の撮影画像をつなぐ場合であれば、撮影操作画面上において1枚目に撮影した画像を左方向にシフトして、2枚目の画像の左側部分と繋がるべき右側の一部を撮影操作画面上に残した状態で画面表示して、2枚目の画像の撮影位置を容易にする方法や、あるいは、特許文献2に示す「カメラ装置及び撮像方法」のように、1枚目に撮影した画像全体を画面上の一部を構成する別枠(別ウィンドウ)に画面表示することにより、パノラマ化したときの画像を確認しながら、2枚目の画像を撮影する際に適切な角度にアングル付けを行なうことができる方法などが提案されている。
【0003】
また、動画像からパノラマ画像を作成する従来技術としては、特許文献3に示す「画像合成装置、画像合成方法が記録された記録媒体」に記載されているように、パンニングしながら撮影することにより、動画像として取り込まれた各フレーム画像(各コマ)から自動的に選択された2枚のフレーム画像(コマ)を比較して移動量を求めることにより、それぞれのフレーム画像の合成すべき位置を判別して、リアルタイムあるいは撮影後に自動的にパノラマ合成する方法が提案されている。
【特許文献1】
特開平5−142682号公報
【特許文献2】
特開平11−75108号公報
【特許文献3】
特開2000−244814号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、静止画像を撮影しパノラマ画像を合成する従来技術については、撮影時に、パノラマ合成し易いように、特別な撮影方法を必要とするため、かかる特別な撮影方法を予め習得する必要がある。また、撮影に時間を要するため、撮影対象物の状態が変わってしまい、所望のパノラマ画像が得られない場合がある。
【0005】
また、動画像を用いてパノラマ画像の合成を行なう従来技術については、リアルタイムあるいは撮影後に自動合成を行なう方式が採られているため、合成時に、パノラマ画像として合成させるべき適切な画像の組み合わせを選択することができず、所望の画像について画像合成を行なうことができないという問題が生じてしまう。
【0006】
本発明は、かかる事情に鑑みてなされたものであり、動画像の各コマに該当する静止画像を作成し、作成された各静止画像の中から、操作者が最適なパノラマ合成用の2枚の静止画像を、画面に表示させながら任意に手動で選択し、選択された2枚の静止画像の位置合わせを行なうことにより、広視野角のパノラマ画像に合成するための所望の静止画像を任意の組み合わせで選択可能とし、かつ、精度の高いパノラマ画像を容易に得ると共に、なおかつ、パノラマ画像に合成するための所望の画像を含む撮影対象物を動画像として撮影を行なうことにより、パノラマ合成用の画像を取得する撮影方法を容易化することを目的としている。
【課題を解決するための手段】
【0007】
第1の技術手段は、パノラマ画像作成装置において、動画像の各コマに該当するそれぞれの静止画像を作成する動画処理手段と、該動画処理手段により作成された複数枚の前記静止画像の中から、任意の2枚の静止画像を選択する選択手段と、該選択手段により選択された前記2枚の静止画像をそれぞれ縮小あるいは拡大させ、かつ、該2枚の静止画像それぞれの一部を互いに重複させて配置して、2つのウィンドウからなる2画面として表示する2画面画像を作成する2画面画像処理手段と、該2画面画像処理手段により作成された前記2画面画像の中から、パノラマ画像とすべき2画面画像を選択するパノラマ画像選択手段と、該パノラマ画像選択手段により選択された前記2画面画像を1枚の画像に合成して、パノラマ画像を作成するパノラマ画像処理手段と、前記静止画像あるいは前記2画面画像あるいは前記パノラマ画像を画面表示する画像表示手段と、前記静止画像及び/又は前記パノラマ画像を蓄積する記録媒体とを備えているパノラマ画像作成装置であって、前記選択手段が、前記動画処理手段により作成された複数枚の前記静止画像の中から、いずれか任意の静止画像を選択する際に、複数枚の前記静止画像を、予め定められた所定のコマ数分の静止画像枚数からなる複数の画像候補群に分割し、分割された前記画像候補群の先頭コマに該当する静止画像を飛び飛びに順次選択して、前記2画面画像処理手段により前記2画面画像として画面表示することにより、所望の静止画像に近接する静止画像が属する画像候補群を選択画像候補群として選択した後、該選択画像候補群の中、及び/又は、該選択画像候補群に隣接する隣接画像候補群の中、の各静止画像を順次選択して、前記2画面画像処理手段により前記2画面画像として画面表示し、前記パノラマ画像選択手段が、パノラマ画像とすべき前記2画面画像を選択することができることを特徴としている。
【0008】
第2の技術手段は、前記第1の技術手段に記載のパノラマ画像作成装置において、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、前記動画処理手段により作成された前記静止画像のうち、前記動画像の先頭に位置する先頭コマに該当する静止画像を選択し、反対側の他方のウィンドウに画面表示する画像として、前記動画像の先頭コマに後続する各コマに該当する、前記選択画像候補群の中、及び/又は、該選択画像候補群に隣接する隣接画像候補群の中、のいずれか任意の静止画像を選択することができることを特徴としている。
【0009】
第3の技術手段は、前記第1の技術手段に記載のパノラマ画像作成装置において、前記選択手段が、選択する前記2枚の静止画像のうち、画面の一方のウィンドウに画面表示する画像として、前記記録媒体に蓄積された前記パノラマ画像を選択し、反対側の他方のウィンドウに画面表示する画像として、前記動画像の先頭コマに後続する各コマに該当する、前記選択画像候補群の中、及び/又は、該選択画像候補群に隣接する隣接画像候補群の中、のいずれか任意の静止画像を選択することができることを特徴としている。
【0010】
(削除)
【0011】
第4の技術手段は、前記第1乃至第3の技術手段のいずれかに記載のパノラマ画像作成装置において、前記2画面画像処理手段が、前記選択手段により選択された2枚の静止画像からなる前記2画面画像を作成する際に、及び/又は、前記パノラマ画像選択手段によりパノラマ画像とすべき前記2画面画像が選択された際に、前記2画面画像を構成する2枚の静止画像のそれぞれの位置を、又は、いずれか一方の位置を、上下左右の任意の方向に移動又は回転させることができることを特徴としている。
【0012】
第5の技術手段は、前記第1乃至第4の技術手段のいずれかに記載のパノラマ画像作成装置において、前記パノラマ画像処理手段が、前記2画面画像を合成してパノラマ画像を作成する際に、前記2画面画像を構成する2枚の静止画像の互いの重複部分に対してスムージング処理を施すことができることを特徴としている。
【0013】
第6の技術手段は、前記第1乃至第5の技術手段のいずれかに記載のパノラマ画像作成装置において、前記パノラマ画像処理手段が、前記2画面画像を合成して前記パノラマ画像を作成する際に、前記パノラマ画像を順次スクロールして前記画像表示手段に画面表示するスクロール画像として作成することができることを特徴としている。
【0014】
第7の技術手段は、動画像を撮影する撮影手段を備え、更に、該撮影手段により撮影された動画像の各コマに該当する静止画像を作成して、作成された該静止画像を用いてパノラマ画像を作成して記録媒体に蓄積するパノラマ画像作成手段を備えたパノラマ画像撮影装置において、パノラマ画像を作成する前記パノラマ画像作成手段として、前記第1乃至第6の技術手段のいずれかに記載のパノラマ画像作成装置を備えていることを特徴としている。
【発明の効果】
【0015】
以上のごとき各技術手段から構成される本発明によれば、以下のような効果が得られる。即ち、パノラマ画像として合成する所望の静止画像を得るための手段として、動画像の各コマに該当する静止画像を作成し、作成された各静止画像のうち、選択された2枚の静止画像を縮小あるいは拡大して1つの画面内に2画面画像として2つのウィンドウにそれぞれ順次画面表示しながら、パノラマ画像として合成すべき所望の2枚の静止画像を手動で選択することにより、パノラマ画像として合成することが可能であり、容易に所望のパノラマ画像を得ることができる。
【0016】
また、パノラマ画像として合成すべき互いの静止画像の位置が最適ではない場合、最適となる位置まで互いの静止画像の拡大・縮小、左右上下方向への移動又は回転を行なうことにより、互いの静止画像の位置合わせをしたり、更には、互いの重複部分の画像のスムージング処理を施すことが可能であり、精度がより高いパノラマ画像を得ることができる。
【0017】
また、合成したパノラマ画像を画面上で確認する際に、縮小表示をしなければ1つの画面全体では表示し切れない場合であっても、スクロール画像としてスクロール表示を行なうことが可能であり、パノラマ画像を縮小することなく確認することができる。
【0018】
なおかつ、パノラマ画像に合成すべき画像を、カメラなどの動画撮影手段を用いて動画像として撮影を行なって取得することが可能であり、パノラマ合成用の画像の撮影方法を容易化することができる。
【図面の簡単な説明】
【0019】
【図1】本発明に係るパノラマ画像撮影装置のブロック構成の要部を示すブロック構成図である。
【図2】本発明に係るパノラマ画像撮影装置において画像表示部に画面表示されるパノラマ画像の画面構成方法の一例を説明するための模式図である。
【図3】動画像の各コマに該当する静止画像列の中から2枚の静止画像を選択して、画像表示部に左右に配置して表示する様子を示す模式図である。
【図4】パノラマ左画像とパノラマ右画像との上下位置を揃えて、パノラマ画像として画像表示部に表示する様子を説明するための模式図である。
【図5】静止画像列の中からパノラマ画像に合成すべき任意の2枚の静止画像を選択する優先順序の一例を示す模式図である。
[図6]カメラで撮影した動画像の各コマに該当する静止画像列の中からパノラマ画像を作成する場合において、パノラマ画像作成用の2枚の静止画像を選択し、かつ、両者の静止画像の位置合わせを行なって、パノラマ画像を作成する場合の前半部の処理手順の一例を示すフローチャートである。
[図7]図6の処理に続く中間部の処理手順の一例を示すフローチャートである。
[図8]図6の処理に更に続く後半部の処理手順の一例を示すフローチャートである。
【発明を実施するための最良の形態】
【0020】
本発明に係るパノラマ画像作成装置は、動画像の各コマに該当するそれぞれの静止画像を作成する動画処理手段と、該動画処理手段により作成された静止画像の中から、任意の2枚の静止画像を選択する選択手段と、該選択手段により選択された2枚の静止画像をそれぞれ縮小あるいは拡大させ、かつ、2枚の静止画像それぞれの一部を互いに重複させて配置して、2つのウィンドウからなる2画面として表示する2画面画像を作成する2画面画像処理手段と、該2画面画像処理手段により順次作成された前記2画面画像の中から、パノラマ画像とすべき2画面画像を選択するパノラマ画像選択手段と、該パノラマ画像選択手段により選択された前記2画面画像を1枚の画像に合成して、パノラマ画像を作成するパノラマ画像処理手段と、前記静止画像あるいは前記2画面画像あるいは前記パノラマ画像を画面表示する画像表示手段と、前記静止画像及び/又は前記パノラマ画像を蓄積する記録媒体とを備え、前記選択手段が、前記動画処理手段により作成された複数枚の前記静止画像の中から、いずれか任意の静止画像を選択する際に、複数枚の前記静止画像を、予め定められた所定のコマ数分の静止画像枚数からなる複数の画像候補群に分割し、分割された前記画像候補群の先頭コマに該当する静止画像を飛び飛びに順次選択して、前記2画面画像処理手段により前記2画面画像として画面表示することにより、所望の静止画像に近接する静止画像が属する画像候補群を選択画像候補群として選択した後、該選択画像候補群の中、及び/又は、該選択画像候補群に隣接する隣接画像候補群の中、の各静止画像を順次選択して、前記2画面画像処理手段により前記2画面画像として画面表示し、前記パノラマ画像選択手段が、パノラマ画像とすべき前記2画面画像を選択することができることを特徴とし、もって、容易に所望のパノラマ画像を得ることができる。
【0021】
更に、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、前記動画処理手段により作成された前記静止画像のうち、前記動画像の先頭に位置する先頭コマに該当する静止画像を、あるいは、前記記録媒体に蓄積された前記パノラマ画像を選択し、反対側の他方のウィンドウに画面表示する静止画像として、前記動画像の先頭コマに後続するコマに該当する、前記選択画像候補群の中、及び/又は、該選択画像候補群に隣接する隣接画像候補群の中、のいずれか任意の静止画像を選択することができることを特徴とし、もって、より容易に所望のパノラマ画像を得ることができる。
【0022】
また、前記2画面画像処理手段が、前記選択手段により選択された2枚の静止画像からなる前記2画面画像を作成する際に、及び/又は、前記パノラマ画像選択手段によりパノラマ画像とすべき前記2画面画像が選択された際に、前記2画面画像を構成する2枚の静止画像のそれぞれの位置を、又は、いずれか一方の位置を、上下左右の任意の方向に移動又は回転させることができることを特徴とし、もって、精度がより高いパノラマ画像を得ることができる。更に、前記パノラマ画像処理手段が、前記2画面画像を合成してパノラマ画像を作成する際に、前記2画面画像を構成する2枚の静止画像の互いの重複部分に対してスムージング処理を施すことができ、また、前記パノラマ画像を順次スクロールして前記画像表示手段に画面表示するスクロール画像として作成することができることを特徴とし、もって、精度が高いパノラマ画像を得ると共に、パノラマ画像を縮小することなく確認することができる。
【0023】
また、本発明に係るパノラマ画像撮影装置は、動画像を撮影する撮影手段を備え、更に、該撮影手段により撮影された動画像の各コマに該当する静止画像を作成して、作成された該静止画像を用いてパノラマ画像を作成して記録媒体に蓄積するパノラマ画像作成手段を備えたパノラマ画像撮影装置において、パノラマ画像を作成する前記パノラマ画像作成手段として、前述したごときパノラマ画像作成装置を備えていることを特徴とし、もって、パノラマ合成用の画像を取得するための画像撮影方法を容易化することができる。
【0024】
以下に、本発明に係るパノラマ画像作成装置及びパノラマ画像撮影装置の実施形態の一例について、パノラマ画像撮影装置を例にとって、図面を参照しながら説明する。図1は、本発明に係るパノラマ画像撮影装置のブロック構成の要部を示すブロック構成図である。
図1に示すパノラマ画像撮影装置10において、撮影手段であるカメラ1が撮影した動画像の各コマは順次取り込まれて、バッファメモリ2に一時的に格納される。しかる後、動画処理部3により、動画像の各コマに該当する静止画像がそれぞれ作成されて、時系列に配列された静止画像列として作業用メモリ4に格納される。作業用メモリ4に格納された静止画像列と、静止画像の選択手段を構成するキー入力部6からの入力データとにより、パノラマ画像として合成する候補の2枚の静止画像が順次選択されて、画像処理部5の2画面画像処理部5aにおいて、選択された2枚の静止画像をそれぞれ表示する2つのウィンドウからなる2画面表示用の2画面画像が作成されて、画像表示部7に表示される。
【0025】
ここで、キー入力部6の左右ボタン6b,6cは、作業用メモリ4に格納されている静止画像列の中から、任意の2枚の静止画像を選択する選択手段を構成しており、左右ボタン6b,6cのいずれかを操作することにより、作業用メモリ4の静止画像が順次選択されて画像表示部7に2画面画像として画面表示されていき、パノラマ画像とすべき2画面画像を選択するパノラマ画像選択手段を構成するキー入力部6のOKボタン6aの操作により、パノラマ画像として合成すべき2枚の静止画像が選択される。選択された2枚の静止画像は、画像処理部5のパノラマ画像処理部5bにおいて、1枚のパノラマ画像として合成されて、画像表示部7に画面表示されると共に、操作者の確認が得られたことを示すキー入力部6の操作により、合成されたパノラマ画像は記録媒体8に蓄積される。
【0026】
また、キー入力部6の図示していないキー操作により、画像処理部5の2画面画像処理部5aにおいては、パノラマ画像として合成する対象となる静止画像として、パノラマ画像処理部5bにより一旦作成されて記録媒体8に蓄積されているパノラマ画像を再度読み出して、該パノラマ画像に対して作業用メモリ4に格納されたいずれかの静止画像を更に合成させることにより、2枚以上の複数枚の静止画像からなるパノラマ画像を合成することも可能である。
【0027】
更に、画像処理部5の2画面画像処理部5aにおいては、パノラマ画像として画像合成する2枚の静止画像が選択された際に、パノラマ画像としての画像合成に先立って、キー入力部6の左右上下キー6b,…,6eを操作することにより、2画面画像処理部5aの上下左右移動処理部5a1を駆動して、2枚の静止画像のいずれでも任意の方向に静止画像の位置を移動させて、互いの画像位置を揃えるように調整することができる。
【0028】
同様に、画像処理部5の2画面画像処理部5aにおいては、パノラマ画像として画像合成する2枚の静止画像が選択された際に、パノラマ画像としての画像合成に先立って、キー入力部6の左回転ボタン6f,右回転ボタン6gを操作することにより、2画面画像処理部5aの左右回転処理部5a2を駆動して、2枚の静止画像のいずれでも任意の方向に静止画像の位置を回転させて、互いの画像位置を揃えるように調整することができる。
【0029】
更には、画像処理部5の2画面画像処理部5aにおいては、パノラマ画像として画像合成する2枚の静止画像が選択された際に、パノラマ画像としての画像合成に先立って、キー入力部6の拡大ボタン6h,縮小ボタン6iを操作することにより、2枚の静止画像のいずれでも、任意の大きさの画像サイズに拡大・縮小して互いの画像サイズを揃えるように調整することができる。
【0030】
また、2枚の静止画像に対する前述のような移動や回転あるいは拡大・縮小の操作は、作業用メモリ4の静止画像列の中からパノラマ画像の選択候補として2枚の静止画像を順次選択して、2つのウィンドウにそれぞれ表示する2画面画像を作成する際においても、画像処理部5の2画面画像処理部5aにおいて、全く同様に実施させることが可能である。
【0031】
更に、画像処理部5のパノラマ画像処理部5bにおいては、パノラマ画像を画像合成する際に、2画面画像として2枚の静止画像の互いに重複した画像部分に対して、パノラマ画像処理部5bのスムージング処理部5b1を駆動して、互いの静止画像間のスムージング処理を施し、パノラマ画像としての合成画像の不自然さを除去することができる。更に、画像処理部5のパノラマ画像処理部5bにおいては、パノラマ画像を画像合成する際に、キー入力部6に図示していないキー操作により、パノラマ画像処理部5bのスクロール画像作成部5b2を駆動して、パノラマ画像として元の静止画像サイズのまま縮小しない状態のスクロール画像として作成して、画像表示部7にスクロール画面表示を行なうことができる。
【0032】
なお、図1に示す記録媒体8には、パノラマ画像処理部5bにより作成されたパノラマ画像を蓄積する以外に、作業用メモリ4に格納されている静止画像を蓄積することが可能であり、更には、場合によっては、バッファメモリ2に格納されている動画像を蓄積することを可能としても良い。また、画像表示部7は、2画面画像処理部5aにより作成された2画面画像を2つのウィンドウにそれぞれ画面表示したり、パノラマ画像処理部5bにより作成されたパノラマ画像を画面表示したりする以外に、作業用メモリ4に格納されている静止画像や記録媒体8に蓄積されているパノラマ画像あるいは静止画像を再生して画面表示することも可能であり、更には、場合によっては、バッファメモリ2に格納されている動画像を画面表示することを可能としても良い。
【0033】
次に、本発明に係るパノラマ画像撮影装置10の具体的な動作について更に詳細に説明する。まず、図2は、本発明に係るパノラマ画像撮影装置10において画像表示部7に画面表示されるパノラマ画像の画面構成方法の一例を説明するための模式図である。
図2に示すように、画面構成方法としては、2枚の静止画像をパノラマ画像の形式に構成する場合、画像処理部5の2画面画像処理部5aにより、2枚の静止画像をそれぞれ縮小して例えばパノラマ左画像21、パノラマ右画像22のように、2つのウィンドウを左右に並べて配置して、パノラマ左画像21の右側領域の一部と、パノラマ右画像22の左側領域の一部とが重複領域23において互いに重なり合うように、2つのウィンドウを配置する。ここに、該重複領域23の大きさは、パノラマ合成アルゴリズムに応じて最適の大きさに予め決定しておく。
【0034】
図3は、図2に示す画面構成方法を用いて、動画像の各コマから作成された静止画像列の中から2枚の静止画像を選択して、画像表示部7に左右に配置して表示する様子を示す模式図である。
図3において、31は、カメラ1により連続的に撮影された動画像の各コマに該当する静止画像として動画処理部3により変換されて、作業用メモリ4に時間軸上に並べられて格納されている静止画像列を示し、32は、静止画像列31の中から任意の2枚の静止画像31a,31bを選択して、画像表示部7に表示した2画面画像を示している。図3の2画面画像の表示例においては、静止画像列31の最も先頭の静止画像31aがパノラマ左画像21として選択されて、しかる後に、静止画像列31の中から、パノラマ右画像22として表示する静止画像31bが選択される。
【0035】
この時、前述したように、パノラマ左画像21として表示する静止画像を、作業用メモリ4に格納されている静止画像列31の中から選択する代わりに、該静止画像列31の中の所望の静止画像をパノラマ画像として画像合成して一旦記録媒体8に蓄積した後、蓄積されている該パノラマ画像を選択することも可能であり、該パノラマ画像を選択した場合、記録媒体8から再度読み出して、静止画像列31の静止画像との間、あるいは、パノラマ画像同士の間で画像合成して、新たなパノラマ画像を作成することもできる。
【0036】
また、前述の説明においては、静止画像列31の最も先頭の静止画像31aあるいは記録媒体8に蓄積されたパノラマ画像をパノラマ左画像21として画面左側に画面表示する例について説明したが、本発明においては、かかる場合のみに限ることなく、動画像の撮影開始位置が右側から左側方向にパンニングして撮影されるような場合には、静止画像列31の最も先頭の静止画像31aあるいは記録媒体8に蓄積されたパノラマ画像をパノラマ右画像22として画面右側に画面表示し、しかる後に、静止画像列31の中から、パノラマ左画像21として表示する静止画像を選択するようにしても良い。
【0037】
図4は、図2に示す画面構成方法において、パノラマ左画像とパノラマ右画像との上下位置を揃えて、パノラマ画像として画像表示部7に表示する様子を説明するための模式図であり、図4(A)が、図3の静止画像列31の中から任意に選択された2つの静止画像31a,31bを示し、静止画像31a,31bの互いの上下位置が揃っていない場合を示しており、図4(B)が、選択された2つの静止画像31a,31bの上下位置を揃えて画像合成したパノラマ画像32を画像表示部7に画面表示している様子を示している。図4(B)に示すように、最初に静止画像31aを選択して画面左側に表示されているパノラマ左画像21に対して、後から選択された静止画像31bの上下位置を揃えるために、静止画像31bを上方向に移動させながら、互いの画像が重なり合う重複領域23を利用して、パノラマ左画像21と画像が重なり合う位置まで移動させている様子を示している。なお、図4においては、2枚の静止画像31a,31bの上下方向の位置合わせを行なう様子を説明したが、前述のように、2枚の静止画像31a,31bの左右方向の位置を合わせたり、あるいは、2枚の静止画像31a,31bの回転方向の位置を合わせたりすることも同様に可能である。
【0038】
一般に、動画像の撮影方法としては、例えばパノラマ画像として表示したい左端の位置(場合によっては、右端の位置であっても良い)にカメラ1のファインダを合わせて、撮影を開始し、動画像として、右に(場合によっては、左に)パンニングさせながら撮影を行なう。かくのごとき撮影の際には、カメラ1がぶれたりして、動画像として連続して撮影された各コマに該当する静止画像の上下位置がずれる場合がある。従って、本発明に係るパノラマ画像撮影装置10においては、キー入力部6を用いて、パノラマ画像32として表示する2枚の静止画像31a,31bを動画像データ即ち静止画像列31の中から選択した後に、更に、キー入力部6を用いて、図4に示すように、2枚の静止画像の上下位置の位置合わせを行なう仕組みを有している。更には、図4には示していないが、前述のように、2枚の静止画像の左右方向の位置合わせや左右の回転位置に関する位置合わせを行なうことも可能である。
【0039】
図5は、静止画像列31の中からパノラマ画像に合成すべき任意の2枚の静止画像31a,31bを選択する優先順序の一例を示す模式図である。
図5においては、カメラ1により撮影された動画像の各コマに該当する静止画像列31のうち、パノラマ画像32として表示する際に、画面の左側のパノラマ左画像21として表示する静止画像31aは、カメラ1により撮影を開始した最も先頭の静止画像Aに固定されており、パノラマ右画像22として、先頭の静止画像Aに続くどの静止画像を選択するかを操作者に選択させる優先順序を説明している。
【0040】
ここで、先頭の静止画像Aの次に位置する静止画像A1,A2,…と1コマずつ逐次表示して、操作者に選択させるような優先順序を用いた場合、所望の静止画像を得るまでに時間がかかるので、静止画像列31を、予め定められた所定のコマ数分の静止画像枚数からなる複数の画像候補群に分割して、各画像候補群のコマ数を示すスキップコマ数αとして予め設定されているコマ数だけ静止画像の枚数を大きくスキップして、各画像候補群の先頭の静止画像を、静止画像B、静止画像C、…と飛び飛びにまず表示していく方法を採用している。即ち、操作者は、例えばキー入力部6の左ボタン6b又は右ボタン6cを予め定めた所定時間以上に及ぶ長押し操作をすることにより、スキップコマ数αずつ飛び飛びに表示されてくる静止画像B,C…の中から、パノラマ左画像21として表示されている先頭の静止画像Aのパノラマ画像相手として所望する静止画像の近傍にあることを示す近似した静止画像を操作者が検出した際に、該近似した静止画像が属する画像候補群を選択画像候補群として決定する。
【0041】
次いで、決定された該選択画像候補群の中、及び/又は、該選択画像候補群に隣接する隣接画像候補群の中に存在している前記スキップコマ数α分の各静止画像を1コマずつ順次選択して画面表示させるために、操作者は、キー入力部6を操作して、例えばキー入力部6の左ボタン6b又は右ボタン6cを予め定めた所定時間よりも短い単押し操作をすることにより、該選択画像候補群及び/又は隣接画像候補群の中に存在している静止画像を1コマずつ順次表示していく1コマ逐次表示指示を入力する。
【0042】
1コマ逐次表示指示が入力されると、現在画像表示部7の右側に画面表示されている飛び飛び表示の静止画像の近傍に位置している静止画像が1コマずつ逐次表示されていくことにより、パノラマ右画像22として所望する最適の静止画像を迅速に選択することができる。ここで、図5は、スキップコマ数αずつ飛び飛びに選択して画面表示していくことにより、パノラマ左画像21の相手の静止画像に近似している近似静止画像が検出された後、該近似静止画像が属する画像候補群として選択された選択画像候補群及び/又は隣接画像候補群の中から1コマずつ画面表示していく近傍の静止画像として、選択画像候補群及び/又は隣接画像候補群にそれぞれ属する静止画像枚数即ちスキップコマ数αが示す静止画像枚数分だけ左右いずれかの方向に順次選択して画面表示していく例を示している。
【0043】
図5に示す例においては、近傍に位置しているとして選択された飛び飛び表示の静止画像Cが含まれている選択画像候補群に隣接する一つ前の隣接画像候補群B,B1,…,B5に遡って、所望の静止画像を選択する場合の例を示しており、一つ前の隣接画像候補群の中から、最後の静止画像B5から逆送り即ち左方向に静止画像Bまで遡って順次1コマずつ画面表示する場合を示している。即ち、図5に示す例においては、飛び飛び表示の静止画像として所望静止画像の近傍に位置しているとされる静止画像が、選択画像候補群の先頭の静止画像Cであり、各画像候補群の静止画像枚数を示すスキップコマ数αが6コマの場合を例示している。ここで、所望の静止画像に近似している静止画像Cが検出された後、該静止画像Cが属する選択画像候補群に隣接する一つ前の隣接画像候補群の中に所望の静止画像が存在しているものと判断されて、1コマ逐次表示指示として、例えば、キー入力部6の左ボタン6bの単押しが入力されると、鍵カッコ付きの番号2,3,4,5,6,7に示すように、隣接画像候補群の最後尾の6コマ目に位置する静止画像B5から順次遡ってB4,B3,B2,B1,Bと所望の静止画像が得られるまで1コマずつ逆送りに選択されて画面表示されてくる場合を示している。
【0044】
図6乃至図8は、図1に示すカメラ1で撮影した動画像の各コマに該当する静止画像列31の中からパノラマ画像32を作成する場合において、パノラマ画像作成用の2枚の静止画像を選択し、かつ、両者の静止画像の位置合わせを行なって、パノラマ画像を作成する場合の手順の一例を示す一連のフローチャートである。即ち、図6に示すフローチャートは、2枚の静止画像を選択する手順の一例を示す前半部のフローチャートを示し、図7は、図6の処理に続く中間部の処理手順のフローチャートを示し、図8は、図6の処理に更に続く後半部の処理手順のフローチャートを示している。
【0045】
なお、図6乃至図8のフローチャートは、図1に示すカメラ1により左から右方向にパンニング操作して撮影した動画像を、動画処理部3により静止画像に変換して、時間軸上に配列した静止画像列31として作業用メモリ4に逐次格納し、その先頭の静止画像をパノラマ左画像21とし、更に図5に示すごとき選択方法を用いて、作業用メモリ4にある静止画像列31の中からパノラマ右画像22を選択すると共に、該パノラマ右画像22をパノラマ左画像21に位置合わせすることにより、精度が高いパノラマ画像32を迅速に生成するまでの手順を説明している。
【0046】
ここで、図1に示すキー入力部6には、前述したごとく、画像表示部7に表示された表示画像の選択がOKか否かを示すOKボタン6aの他に、パノラマ右画像22を選択するために、あるいは、選択されたパノラマ右画像22をパノラマ左画像21と左右方向の位置合わせを行なうために、左方向への移動を指示する左ボタン6b、及び、右方向への移動を指示する右ボタン6cが、また、選択されたパノラマ右画像22をパノラマ左画像21と上下方向の位置合わせを行なうために、上方向への移動を指示する上ボタン6d、及び、下方向への移動を指示する下ボタン6eが備えられている。
更に、左ボタン6bと右ボタン6cとは、予め定められた所定の時間以上に亘って長押しをするか、該所定の時間よりも短い時間の単押しをするかにより、前述のように、飛び飛びに静止画像を表示して所望の静止画像に近似する静止画像が属する選択画像候補群の選択を行なうか、あるいは、1コマずつ順次静止画像を表示して選択画像候補群及び/又は隣接画像候補群の中の静止画像から所望の静止画像の選択を行なうか、いずれかの選択動作に切り換えることが可能とされている。
【0047】
まず、パノラマ画像撮影装置10の撮影モードとしてパノラマ画像撮影モードに設定して、カメラ1を用いて左から右方向にパンニング操作しながら動画像を撮影する(ステップS1)。撮影された動画像は、逐次、バッファメモリ2に格納されていく(ステップS2)。バッファメモリ2に格納された動画像の各コマは、順次、動画処理部3により静止画像に変換されて、作業用メモリ4に時間軸上に配列された静止画像列31として保存されていく(ステップS3)。次に、前述したように、カメラ1により撮影開始した先頭の画像に該当する静止画像が、作業用メモリ4の静止画像列31の中から読み出されて(ステップS4)、画像処理部5によりパノラマ左画像21として画像処理されて、画像表示部7の画面左側に画面表示される(ステップS5)。
【0048】
次に、作業用メモリ4に保存されている静止画像列31の中から、パノラマ右画像22の候補となる最初の画像候補が読み出されて(ステップS6)、画像処理部3によりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS7)。操作者は、表示された画面左右両方の画像の組み合わせがパノラマ画像32として合成すべき画像であるか否かを判断して(ステップS8)、合成すべき画像ではないと判断した場合(ステップS8のNO)、パノラマ右画像22としての次の画像候補を選択するために、キー入力部6のOKボタン6aの代わりに、次の静止画像を選択する選択手段であるキー入力部6の左右ボタン6b,6cいずれかのボタン操作を行なう(ステップS9)。
【0049】
キー入力部6から、右ボタン6cが長押しされていた場合(ステップS10のYES)、現在、作業用メモリ4に保存されている静止画像列31の最後の画像候補群が選択されている状態にあるか否かを判断する(ステップS11)。最後の画像候補群であった場合(ステップS11のYES)、左方向に遡った手前側の次の画像候補群を選択するために、ステップS9に戻って、キー入力部6のボタン操作を行なう動作が繰返されるが、一方、最後の画像候補群ではない場合(ステップS11のNO)、次の画像候補群を表示するために、作業用メモリ4の静止画像列31を右方向に一つ先の画像候補群まで先送り移動して(ステップS12)、次の画像候補群における最初の画像候補が作業用メモリ4から読み出されて(ステップS13)、画像処理部5によりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS14)。しかる後、ステップS8に戻って、パノラマ画像32として合成すべき画像が選択されたか否かが判断される。
【0050】
一方、キー入力部6から、右ボタン6cが長押しされていなかった場合(ステップS10のNO)、左ボタン6bが長押しされていたか否かを判断して(ステップS15)、左ボタン6bが長押しされていた場合(ステップS15のYES)、現在、作業用メモリ4に保存されている静止画像列31の最初の画像候補群が選択されている状態にあるか否かを判断する(ステップS16)。最初の画像候補群であった場合(ステップS16のYES)、右方向にある先方側の次の画像候補群を選択するために、ステップS9に戻って、キー入力部6のボタン操作を行なう動作が繰返されるが、一方、最初の画像候補群ではない場合(ステップS16のNO)、次の画像候補群を表示するために、作業用メモリ4の静止画像列31を左方向に一つ前の画像候補群まで逆送り移動して(ステップS17)、次の画像候補群における最初の画像候補が作業用メモリ4から読み出されて(ステップS18)、画像処理部5によりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS19)。しかる後、ステップS8に戻って、パノラマ画像32として合成すべき画像が選択されたか否かが判断される。
【0051】
更に、キー入力部6から、右ボタン6cも左ボタン6bも長押しされていなかった場合(ステップS15のNO)、右ボタン6cが単押しされていたか否かを判断して(ステップS20)、右ボタン6cが単押しされていた場合(ステップS20のYES)、現在選択されている画像候補群(即ち、選択画像候補群及び/又は隣接画像候補群)の中の、最後の画像候補が選択されている状態にあるか否かを判断する(ステップS21)。最後の画像候補であった場合(ステップS21のYES)、選択されている当該画像候補群の中で、遡る方向の次の画像候補を選択するか、又は、次の画像候補群を選択するために、ステップS9に戻って、キー入力部6のボタン操作を行なう動作が繰返される。一方、最後の画像候補ではない場合(ステップS21のNO)、現在の画像候補の一つ右側にある次の画像候補を表示するために、作業用メモリ4の当該画像候補群の中を右方向に一つ先の画像候補まで先送り移動して、次の画像候補が作業用メモリ4から読み出されて(ステップS22)、画像処理部5によりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS23)。しかる後、ステップS8に戻って、パノラマ画像32として合成すべき画像が選択されたか否かが判断される。
【0052】
一方、キー入力部6から、右ボタン6cが単押しされていなかった場合(ステップS20のNO)、次に、左ボタン6bが単押しされていたか否かを判断して(ステップS24)、左ボタン6bが単押しされていた場合(ステップS24のYES)、現在選択されている画像候補群(即ち、選択画像候補群及び/又は隣接画像候補群)の中の、最初の画像候補が選択されている状態にあるか否かを判断する(ステップS25)。最初の画像候補であった場合(ステップS25のYES)、選択されている当該画像候補群の中で、先方側にある次の画像候補を選択するか、又は、次の画像候補群を選択するために、ステップS9に戻って、キー入力部6のボタン操作を行なう動作が繰返される。一方、最初の画像候補ではない場合(ステップS25のNO)、現在の画像候補の一つ左側にある次の画像候補を表示するために、作業用メモリ4の当該画像候補群の中を左方向に一つ前の画像候補まで逆送り移動して、次の画像候補が作業用メモリ4から読み出されて(ステップS26)、画像処理部5によりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS27)。しかる後、ステップS8に戻って、パノラマ画像32として合成すべき画像が選択されたか否かが判断される。
【0053】
更に、キー入力部6から、右ボタン6c、左ボタン6bのいずれのボタンも長押し又は単押しされていなかった場合(ステップS24のNO)、無効なボタン操作がなされたものとして、ステップS9に戻って、キー入力部6のボタン操作を行なう動作が繰返される。
【0054】
また、ステップS8において、操作者は、表示された画面左右両方の画像の組み合わせがパノラマ画像32として合成すべき画像であると判断して、パノラマ画像選択手段としてのキー入力部6のOKボタン6aが操作された場合(ステップS8のYES)、次に、操作者は、表示された画面左右両方の画像の表示位置が揃っていて、パノラマ画像32として合成する状態に位置合わせができているか否かを判断して(ステップS28)、位置合わせが十分ではないと判断した場合(ステップS28のNO)、左画像の位置を基準にして、右画像の表示位置を調整するために、キー入力部6のOKボタン6aの代わりに、キー入力部6の上下左右ボタン6d,6e,6b,6cいずれかのボタン操作を行なう(ステップS32)。
【0055】
まず、上ボタン6dが押されていたか否かを判断して(ステップS33)、上ボタンが押されていた場合(ステップS33のYES)、右画像を1ステップ分だけ上方向に移動させる上ずらし処理が画像処理部5の上下左右移動処理部5a1により実施された後(ステップS34)、画像処理部5の2画面画像処理部5aによりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS35)。しかる後、ステップS28に戻って、パノラマ画像32として左右の画像の位置合わせが十分なされたか否かが判断される。
【0056】
一方、キー入力部6から、上ボタン6dが押されていなかった場合(ステップS33のNO)、下ボタン6eが押されていたか否かを判断して(ステップS36)、下ボタン6eが押されていた場合(ステップS36のYES)、右画像を1ステップ分だけ下方向に移動させる下ずらし処理が画像処理部5の上下左右移動処理部5a1により実施された後(ステップS37)、画像処理部5の2画面画像処理部5aによりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS38)。しかる後、ステップS28に戻って、パノラマ画像32として左右の画像の位置合わせが十分なされたか否かが判断される。
【0057】
更に、キー入力部6から、上ボタン6dも下ボタン6eも押されていなかった場合(ステップS36のNO)、右ボタン6cが押されていたか否かを判断して(ステップS39)、右ボタン6cが押されていた場合(ステップS39のYES)、右画像を1ステップ分だけ右方向に移動させる右ずらし処理が画像処理部5の上下左右移動処理部5a1により実施された後(ステップS40)、画像処理部5の2画面画像処理部5aによりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS41)。しかる後、ステップS28に戻って、パノラマ画像32として左右の画像の位置合わせが十分なされたか否かが判断される。
【0058】
一方、キー入力部6から、右ボタン6cが押されていなかった場合(ステップS39のNO)、左ボタン6bが押されていたか否かを判断して(ステップS42)、左ボタン6bが押されていた場合(ステップS42のYES)、右画像を1ステップ分だけ左方向に移動させる左ずらし処理が画像処理部5の上下左右移動処理部5a1により実施された後(ステップS43)、画像処理部5の2画面画像処理部5aによりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS44)。しかる後、ステップS28に戻って、パノラマ画像32として左右の画像の位置合わせが十分なされたか否かが判断される。
【0059】
更に、キー入力部6から、上下左右ボタン6d,6e,6b,6cのいずれのボタンも押されていなかった場合(ステップS42のNO)、右回転ボタン6gが押されていたか否かを判断して(ステップS45)、右回転ボタン6gが押されていた場合(ステップS45のYES)、右画像を1ステップ分だけ右方向に回転させる右回転処理が画像処理部5の左右回転処理部5a2により実施された後(ステップS46)、画像処理部5の2画面画像処理部5aによりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS47)。しかる後、ステップS28に戻って、パノラマ画像32として左右の画像の位置合わせが十分なされたか否かが判断される。
【0060】
一方、キー入力部6から、右回転ボタン6gが押されていなかった場合(ステップS45のNO)、左回転ボタン6fが押されていたか否かを判断して(ステップS48)、左回転ボタン6fが押されていた場合(ステップS48のYES)、右画像を1ステップ分だけ左方向に回転させる左回転処理が画像処理部5の左右回転処理部5a2により実施された後(ステップS49)、画像処理部5の2画面画像処理部5aによりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS50)。しかる後、ステップS28に戻って、パノラマ画像32として左右の画像の位置合わせが十分なされたか否かが判断される。
【0061】
また、上下左右ボタン6d,6e,6b,6c及び左右回転ボタン6f,6gのいずれのボタンも押されていなかった場合(ステップS48のNO)、無効なボタン操作がなされたものとして、ステップS32に戻って、キー入力部6のボタン操作を行なう動作が繰返される。
【0062】
また、ステップS28において、操作者が、表示された画面左右両方の画像の表示位置が揃っていて、パノラマ画像32として合成する状態に位置合わせが十分にできていると判断して、キー入力部6のOKボタン6aが操作された場合(ステップS28のYES)、パノラマ画像32として画面表示すべき左画像と右画像との選択が終了し、かつ、左画像と右画像との位置合わせも終了している状態にあるので、画像処理部5のスムージング処理部5b1により左右の画像の重複部分を含む両者の画像間のスムージング処理が施された後、左右の画像を纏め合わせた1枚のパノラマ画像32として画像合成処理がなされて(ステップS29)、合成されたパノラマ画像32は、画像表示部7に画面表示される(ステップS30)。更に、合成されたパノラマ画像32は、操作者からのキー入力部6を介した指示により、記録媒体8に蓄積される(ステップS31)。
【0063】
図6に示したフローチャートにおいては、作業用メモリ4に格納された静止画像列31の先頭の静止画像をパノラマ左画像21として固定して、作業用メモリ4にある静止画像列31の中からパノラマ右画像22を選択し、該パノラマ右画像22をパノラマ左画像21に位置合わせをする場合を示したが、本発明は、かかる場合に限るものではなく、左右を逆にして、作業用メモリ4に格納された静止画像列31の先頭の静止画像をパノラマ右画像22として固定して、作業用メモリ4にある静止画像列31の中からパノラマ左画像21を選択し、該パノラマ左画像21をパノラマ右画像22に位置合わせをするようにしても良い。
【0064】
更には、基準とする画像を、作業用メモリ4の静止画像列31の先頭の静止画像とする代わりに、記録媒体8に蓄積されたパノラマ画像32を用いることとしても良い。あるいは、場合によっては、パノラマ左画像21とパノラマ右画像22との双方共に、作業用メモリ4の静止画像列31及び記録媒体8のパノラマ画像32の中から、任意に選択することとしても良いし、更に、パノラマ画像としての位置合わせについても、パノラマ右画像22のみならず、パノラマ左画像21についても位置合わせの調整を行なうことを可能としても良い。
【符号の説明】
【0065】
1…カメラ、2…バッファメモリ、3…動画処理部、4…作業用メモリ、5…画像処理部、5a…2画面画像処理部、5a1…上下左右移動処理部、5a2…左右回転処理部、5b…パノラマ画像処理部、5b1…スムージング処理部、5b2…スクロール画像作成部、6…キー入力部、6a…OKボタン、6b…左ボタン、6c…右ボタン、6d…上ボタン、6e…下ボタン、6f…左回転ボタン、6g…右回転ボタン、6h…拡大ボタン、6i…縮小ボタン、7…画像表示部、8…記録媒体、10…パノラマ画像撮影装置、21…パノラマ左画像、22…パノラマ右画像、23…重複領域、31…静止画像列、31a,31b…静止画像、32…パノラマ画像。
【0001】
本発明は、パノラマ画像作成装置及びパノラマ画像撮影装置に関し、特に、動画像から静止画像を作成し、作成した静止画像の中から広視野角のパノラマ画像に合成するための合成用の静止画像を画面表示しながら選択することによりパノラマ画像に合成するパノラマ画像作成装置、及び、動画像を撮影する撮影手段を有するパノラマ画像撮影装置に関する。
【背景技術】
【0002】
従来のパノラマ画像の撮影機能を有するパノラマ画像撮影装置としては、複数の静止画像からパノラマ画像を作成するものと、動画像からパノラマ画像を作成するものとの2種類の装置がある。
静止画像からパノラマ画像を作成する従来技術としては、特許文献1に示す「カメラのパノラマ撮影制御装置」に記載されているように、2枚の撮影画像を横方向に合成してパノラマ画像を作成する場合、1枚目の画像を撮影した後で2枚目の画像の撮影をアシストするために、例えば1枚目の画像の右側に2枚目の撮影画像をつなぐ場合であれば、撮影操作画面上において1枚目に撮影した画像を左方向にシフトして、2枚目の画像の左側部分と繋がるべき右側の一部を撮影操作画面上に残した状態で画面表示して、2枚目の画像の撮影位置を容易にする方法や、あるいは、特許文献2に示す「カメラ装置及び撮像方法」のように、1枚目に撮影した画像全体を画面上の一部を構成する別枠(別ウィンドウ)に画面表示することにより、パノラマ化したときの画像を確認しながら、2枚目の画像を撮影する際に適切な角度にアングル付けを行なうことができる方法などが提案されている。
【0003】
また、動画像からパノラマ画像を作成する従来技術としては、特許文献3に示す「画像合成装置、画像合成方法が記録された記録媒体」に記載されているように、パンニングしながら撮影することにより、動画像として取り込まれた各フレーム画像(各コマ)から自動的に選択された2枚のフレーム画像(コマ)を比較して移動量を求めることにより、それぞれのフレーム画像の合成すべき位置を判別して、リアルタイムあるいは撮影後に自動的にパノラマ合成する方法が提案されている。
【特許文献1】
特開平5−142682号公報
【特許文献2】
特開平11−75108号公報
【特許文献3】
特開2000−244814号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、静止画像を撮影しパノラマ画像を合成する従来技術については、撮影時に、パノラマ合成し易いように、特別な撮影方法を必要とするため、かかる特別な撮影方法を予め習得する必要がある。また、撮影に時間を要するため、撮影対象物の状態が変わってしまい、所望のパノラマ画像が得られない場合がある。
【0005】
また、動画像を用いてパノラマ画像の合成を行なう従来技術については、リアルタイムあるいは撮影後に自動合成を行なう方式が採られているため、合成時に、パノラマ画像として合成させるべき適切な画像の組み合わせを選択することができず、所望の画像について画像合成を行なうことができないという問題が生じてしまう。
【0006】
本発明は、かかる事情に鑑みてなされたものであり、動画像の各コマに該当する静止画像を作成し、作成された各静止画像の中から、操作者が最適なパノラマ合成用の2枚の静止画像を、画面に表示させながら任意に手動で選択し、選択された2枚の静止画像の位置合わせを行なうことにより、広視野角のパノラマ画像に合成するための所望の静止画像を任意の組み合わせで選択可能とし、かつ、精度の高いパノラマ画像を容易に得ると共に、なおかつ、パノラマ画像に合成するための所望の画像を含む撮影対象物を動画像として撮影を行なうことにより、パノラマ合成用の画像を取得する撮影方法を容易化することを目的としている。
【課題を解決するための手段】
【0007】
第1の技術手段は、パノラマ画像作成装置において、動画像の各コマに該当するそれぞれの静止画像を作成する動画処理手段と、該動画処理手段により作成された複数枚の前記静止画像の中から、任意の2枚の静止画像を選択する選択手段と、該選択手段により選択された前記2枚の静止画像をそれぞれ縮小あるいは拡大させ、かつ、該2枚の静止画像それぞれの一部を互いに重複させて配置して、2つのウィンドウからなる2画面として表示する2画面画像を作成する2画面画像処理手段と、該2画面画像処理手段により作成された前記2画面画像の中から、パノラマ画像とすべき2画面画像を選択するパノラマ画像選択手段と、該パノラマ画像選択手段により選択された前記2画面画像を1枚の画像に合成して、パノラマ画像を作成するパノラマ画像処理手段と、前記静止画像あるいは前記2画面画像あるいは前記パノラマ画像を画面表示する画像表示手段と、前記静止画像及び/又は前記パノラマ画像を蓄積する記録媒体とを備えているパノラマ画像作成装置であって、前記選択手段が、前記動画処理手段により作成された複数枚の前記静止画像の中から、いずれか任意の静止画像を選択する際に、複数枚の前記静止画像を、予め定められた所定のコマ数分の静止画像枚数からなる複数の画像候補群に分割し、分割された前記画像候補群の先頭コマに該当する静止画像を飛び飛びに順次選択して、前記2画面画像処理手段により前記2画面画像として画面表示することにより、所望の静止画像に近接する静止画像が属する画像候補群を選択画像候補群として選択した後、該選択画像候補群の中、及び/又は、該選択画像候補群に隣接する隣接画像候補群の中、の各静止画像を順次選択して、前記2画面画像処理手段により前記2画面画像として画面表示し、前記パノラマ画像選択手段が、パノラマ画像とすべき前記2画面画像を選択することができることを特徴としている。
【0008】
第2の技術手段は、前記第1の技術手段に記載のパノラマ画像作成装置において、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、前記動画処理手段により作成された前記静止画像のうち、前記動画像の先頭に位置する先頭コマに該当する静止画像を選択し、反対側の他方のウィンドウに画面表示する画像として、前記動画像の先頭コマに後続する各コマに該当する、前記選択画像候補群の中、及び/又は、該選択画像候補群に隣接する隣接画像候補群の中、のいずれか任意の静止画像を選択することができることを特徴としている。
【0009】
第3の技術手段は、前記第1の技術手段に記載のパノラマ画像作成装置において、前記選択手段が、選択する前記2枚の静止画像のうち、画面の一方のウィンドウに画面表示する画像として、前記記録媒体に蓄積された前記パノラマ画像を選択し、反対側の他方のウィンドウに画面表示する画像として、前記動画像の先頭コマに後続する各コマに該当する、前記選択画像候補群の中、及び/又は、該選択画像候補群に隣接する隣接画像候補群の中、のいずれか任意の静止画像を選択することができることを特徴としている。
【0010】
(削除)
【0011】
第4の技術手段は、前記第1乃至第3の技術手段のいずれかに記載のパノラマ画像作成装置において、前記2画面画像処理手段が、前記選択手段により選択された2枚の静止画像からなる前記2画面画像を作成する際に、及び/又は、前記パノラマ画像選択手段によりパノラマ画像とすべき前記2画面画像が選択された際に、前記2画面画像を構成する2枚の静止画像のそれぞれの位置を、又は、いずれか一方の位置を、上下左右の任意の方向に移動又は回転させることができることを特徴としている。
【0012】
第5の技術手段は、前記第1乃至第4の技術手段のいずれかに記載のパノラマ画像作成装置において、前記パノラマ画像処理手段が、前記2画面画像を合成してパノラマ画像を作成する際に、前記2画面画像を構成する2枚の静止画像の互いの重複部分に対してスムージング処理を施すことができることを特徴としている。
【0013】
第6の技術手段は、前記第1乃至第5の技術手段のいずれかに記載のパノラマ画像作成装置において、前記パノラマ画像処理手段が、前記2画面画像を合成して前記パノラマ画像を作成する際に、前記パノラマ画像を順次スクロールして前記画像表示手段に画面表示するスクロール画像として作成することができることを特徴としている。
【0014】
第7の技術手段は、動画像を撮影する撮影手段を備え、更に、該撮影手段により撮影された動画像の各コマに該当する静止画像を作成して、作成された該静止画像を用いてパノラマ画像を作成して記録媒体に蓄積するパノラマ画像作成手段を備えたパノラマ画像撮影装置において、パノラマ画像を作成する前記パノラマ画像作成手段として、前記第1乃至第6の技術手段のいずれかに記載のパノラマ画像作成装置を備えていることを特徴としている。
【発明の効果】
【0015】
以上のごとき各技術手段から構成される本発明によれば、以下のような効果が得られる。即ち、パノラマ画像として合成する所望の静止画像を得るための手段として、動画像の各コマに該当する静止画像を作成し、作成された各静止画像のうち、選択された2枚の静止画像を縮小あるいは拡大して1つの画面内に2画面画像として2つのウィンドウにそれぞれ順次画面表示しながら、パノラマ画像として合成すべき所望の2枚の静止画像を手動で選択することにより、パノラマ画像として合成することが可能であり、容易に所望のパノラマ画像を得ることができる。
【0016】
また、パノラマ画像として合成すべき互いの静止画像の位置が最適ではない場合、最適となる位置まで互いの静止画像の拡大・縮小、左右上下方向への移動又は回転を行なうことにより、互いの静止画像の位置合わせをしたり、更には、互いの重複部分の画像のスムージング処理を施すことが可能であり、精度がより高いパノラマ画像を得ることができる。
【0017】
また、合成したパノラマ画像を画面上で確認する際に、縮小表示をしなければ1つの画面全体では表示し切れない場合であっても、スクロール画像としてスクロール表示を行なうことが可能であり、パノラマ画像を縮小することなく確認することができる。
【0018】
なおかつ、パノラマ画像に合成すべき画像を、カメラなどの動画撮影手段を用いて動画像として撮影を行なって取得することが可能であり、パノラマ合成用の画像の撮影方法を容易化することができる。
【図面の簡単な説明】
【0019】
【図1】本発明に係るパノラマ画像撮影装置のブロック構成の要部を示すブロック構成図である。
【図2】本発明に係るパノラマ画像撮影装置において画像表示部に画面表示されるパノラマ画像の画面構成方法の一例を説明するための模式図である。
【図3】動画像の各コマに該当する静止画像列の中から2枚の静止画像を選択して、画像表示部に左右に配置して表示する様子を示す模式図である。
【図4】パノラマ左画像とパノラマ右画像との上下位置を揃えて、パノラマ画像として画像表示部に表示する様子を説明するための模式図である。
【図5】静止画像列の中からパノラマ画像に合成すべき任意の2枚の静止画像を選択する優先順序の一例を示す模式図である。
[図6]カメラで撮影した動画像の各コマに該当する静止画像列の中からパノラマ画像を作成する場合において、パノラマ画像作成用の2枚の静止画像を選択し、かつ、両者の静止画像の位置合わせを行なって、パノラマ画像を作成する場合の前半部の処理手順の一例を示すフローチャートである。
[図7]図6の処理に続く中間部の処理手順の一例を示すフローチャートである。
[図8]図6の処理に更に続く後半部の処理手順の一例を示すフローチャートである。
【発明を実施するための最良の形態】
【0020】
本発明に係るパノラマ画像作成装置は、動画像の各コマに該当するそれぞれの静止画像を作成する動画処理手段と、該動画処理手段により作成された静止画像の中から、任意の2枚の静止画像を選択する選択手段と、該選択手段により選択された2枚の静止画像をそれぞれ縮小あるいは拡大させ、かつ、2枚の静止画像それぞれの一部を互いに重複させて配置して、2つのウィンドウからなる2画面として表示する2画面画像を作成する2画面画像処理手段と、該2画面画像処理手段により順次作成された前記2画面画像の中から、パノラマ画像とすべき2画面画像を選択するパノラマ画像選択手段と、該パノラマ画像選択手段により選択された前記2画面画像を1枚の画像に合成して、パノラマ画像を作成するパノラマ画像処理手段と、前記静止画像あるいは前記2画面画像あるいは前記パノラマ画像を画面表示する画像表示手段と、前記静止画像及び/又は前記パノラマ画像を蓄積する記録媒体とを備え、前記選択手段が、前記動画処理手段により作成された複数枚の前記静止画像の中から、いずれか任意の静止画像を選択する際に、複数枚の前記静止画像を、予め定められた所定のコマ数分の静止画像枚数からなる複数の画像候補群に分割し、分割された前記画像候補群の先頭コマに該当する静止画像を飛び飛びに順次選択して、前記2画面画像処理手段により前記2画面画像として画面表示することにより、所望の静止画像に近接する静止画像が属する画像候補群を選択画像候補群として選択した後、該選択画像候補群の中、及び/又は、該選択画像候補群に隣接する隣接画像候補群の中、の各静止画像を順次選択して、前記2画面画像処理手段により前記2画面画像として画面表示し、前記パノラマ画像選択手段が、パノラマ画像とすべき前記2画面画像を選択することができることを特徴とし、もって、容易に所望のパノラマ画像を得ることができる。
【0021】
更に、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、前記動画処理手段により作成された前記静止画像のうち、前記動画像の先頭に位置する先頭コマに該当する静止画像を、あるいは、前記記録媒体に蓄積された前記パノラマ画像を選択し、反対側の他方のウィンドウに画面表示する静止画像として、前記動画像の先頭コマに後続するコマに該当する、前記選択画像候補群の中、及び/又は、該選択画像候補群に隣接する隣接画像候補群の中、のいずれか任意の静止画像を選択することができることを特徴とし、もって、より容易に所望のパノラマ画像を得ることができる。
【0022】
また、前記2画面画像処理手段が、前記選択手段により選択された2枚の静止画像からなる前記2画面画像を作成する際に、及び/又は、前記パノラマ画像選択手段によりパノラマ画像とすべき前記2画面画像が選択された際に、前記2画面画像を構成する2枚の静止画像のそれぞれの位置を、又は、いずれか一方の位置を、上下左右の任意の方向に移動又は回転させることができることを特徴とし、もって、精度がより高いパノラマ画像を得ることができる。更に、前記パノラマ画像処理手段が、前記2画面画像を合成してパノラマ画像を作成する際に、前記2画面画像を構成する2枚の静止画像の互いの重複部分に対してスムージング処理を施すことができ、また、前記パノラマ画像を順次スクロールして前記画像表示手段に画面表示するスクロール画像として作成することができることを特徴とし、もって、精度が高いパノラマ画像を得ると共に、パノラマ画像を縮小することなく確認することができる。
【0023】
また、本発明に係るパノラマ画像撮影装置は、動画像を撮影する撮影手段を備え、更に、該撮影手段により撮影された動画像の各コマに該当する静止画像を作成して、作成された該静止画像を用いてパノラマ画像を作成して記録媒体に蓄積するパノラマ画像作成手段を備えたパノラマ画像撮影装置において、パノラマ画像を作成する前記パノラマ画像作成手段として、前述したごときパノラマ画像作成装置を備えていることを特徴とし、もって、パノラマ合成用の画像を取得するための画像撮影方法を容易化することができる。
【0024】
以下に、本発明に係るパノラマ画像作成装置及びパノラマ画像撮影装置の実施形態の一例について、パノラマ画像撮影装置を例にとって、図面を参照しながら説明する。図1は、本発明に係るパノラマ画像撮影装置のブロック構成の要部を示すブロック構成図である。
図1に示すパノラマ画像撮影装置10において、撮影手段であるカメラ1が撮影した動画像の各コマは順次取り込まれて、バッファメモリ2に一時的に格納される。しかる後、動画処理部3により、動画像の各コマに該当する静止画像がそれぞれ作成されて、時系列に配列された静止画像列として作業用メモリ4に格納される。作業用メモリ4に格納された静止画像列と、静止画像の選択手段を構成するキー入力部6からの入力データとにより、パノラマ画像として合成する候補の2枚の静止画像が順次選択されて、画像処理部5の2画面画像処理部5aにおいて、選択された2枚の静止画像をそれぞれ表示する2つのウィンドウからなる2画面表示用の2画面画像が作成されて、画像表示部7に表示される。
【0025】
ここで、キー入力部6の左右ボタン6b,6cは、作業用メモリ4に格納されている静止画像列の中から、任意の2枚の静止画像を選択する選択手段を構成しており、左右ボタン6b,6cのいずれかを操作することにより、作業用メモリ4の静止画像が順次選択されて画像表示部7に2画面画像として画面表示されていき、パノラマ画像とすべき2画面画像を選択するパノラマ画像選択手段を構成するキー入力部6のOKボタン6aの操作により、パノラマ画像として合成すべき2枚の静止画像が選択される。選択された2枚の静止画像は、画像処理部5のパノラマ画像処理部5bにおいて、1枚のパノラマ画像として合成されて、画像表示部7に画面表示されると共に、操作者の確認が得られたことを示すキー入力部6の操作により、合成されたパノラマ画像は記録媒体8に蓄積される。
【0026】
また、キー入力部6の図示していないキー操作により、画像処理部5の2画面画像処理部5aにおいては、パノラマ画像として合成する対象となる静止画像として、パノラマ画像処理部5bにより一旦作成されて記録媒体8に蓄積されているパノラマ画像を再度読み出して、該パノラマ画像に対して作業用メモリ4に格納されたいずれかの静止画像を更に合成させることにより、2枚以上の複数枚の静止画像からなるパノラマ画像を合成することも可能である。
【0027】
更に、画像処理部5の2画面画像処理部5aにおいては、パノラマ画像として画像合成する2枚の静止画像が選択された際に、パノラマ画像としての画像合成に先立って、キー入力部6の左右上下キー6b,…,6eを操作することにより、2画面画像処理部5aの上下左右移動処理部5a1を駆動して、2枚の静止画像のいずれでも任意の方向に静止画像の位置を移動させて、互いの画像位置を揃えるように調整することができる。
【0028】
同様に、画像処理部5の2画面画像処理部5aにおいては、パノラマ画像として画像合成する2枚の静止画像が選択された際に、パノラマ画像としての画像合成に先立って、キー入力部6の左回転ボタン6f,右回転ボタン6gを操作することにより、2画面画像処理部5aの左右回転処理部5a2を駆動して、2枚の静止画像のいずれでも任意の方向に静止画像の位置を回転させて、互いの画像位置を揃えるように調整することができる。
【0029】
更には、画像処理部5の2画面画像処理部5aにおいては、パノラマ画像として画像合成する2枚の静止画像が選択された際に、パノラマ画像としての画像合成に先立って、キー入力部6の拡大ボタン6h,縮小ボタン6iを操作することにより、2枚の静止画像のいずれでも、任意の大きさの画像サイズに拡大・縮小して互いの画像サイズを揃えるように調整することができる。
【0030】
また、2枚の静止画像に対する前述のような移動や回転あるいは拡大・縮小の操作は、作業用メモリ4の静止画像列の中からパノラマ画像の選択候補として2枚の静止画像を順次選択して、2つのウィンドウにそれぞれ表示する2画面画像を作成する際においても、画像処理部5の2画面画像処理部5aにおいて、全く同様に実施させることが可能である。
【0031】
更に、画像処理部5のパノラマ画像処理部5bにおいては、パノラマ画像を画像合成する際に、2画面画像として2枚の静止画像の互いに重複した画像部分に対して、パノラマ画像処理部5bのスムージング処理部5b1を駆動して、互いの静止画像間のスムージング処理を施し、パノラマ画像としての合成画像の不自然さを除去することができる。更に、画像処理部5のパノラマ画像処理部5bにおいては、パノラマ画像を画像合成する際に、キー入力部6に図示していないキー操作により、パノラマ画像処理部5bのスクロール画像作成部5b2を駆動して、パノラマ画像として元の静止画像サイズのまま縮小しない状態のスクロール画像として作成して、画像表示部7にスクロール画面表示を行なうことができる。
【0032】
なお、図1に示す記録媒体8には、パノラマ画像処理部5bにより作成されたパノラマ画像を蓄積する以外に、作業用メモリ4に格納されている静止画像を蓄積することが可能であり、更には、場合によっては、バッファメモリ2に格納されている動画像を蓄積することを可能としても良い。また、画像表示部7は、2画面画像処理部5aにより作成された2画面画像を2つのウィンドウにそれぞれ画面表示したり、パノラマ画像処理部5bにより作成されたパノラマ画像を画面表示したりする以外に、作業用メモリ4に格納されている静止画像や記録媒体8に蓄積されているパノラマ画像あるいは静止画像を再生して画面表示することも可能であり、更には、場合によっては、バッファメモリ2に格納されている動画像を画面表示することを可能としても良い。
【0033】
次に、本発明に係るパノラマ画像撮影装置10の具体的な動作について更に詳細に説明する。まず、図2は、本発明に係るパノラマ画像撮影装置10において画像表示部7に画面表示されるパノラマ画像の画面構成方法の一例を説明するための模式図である。
図2に示すように、画面構成方法としては、2枚の静止画像をパノラマ画像の形式に構成する場合、画像処理部5の2画面画像処理部5aにより、2枚の静止画像をそれぞれ縮小して例えばパノラマ左画像21、パノラマ右画像22のように、2つのウィンドウを左右に並べて配置して、パノラマ左画像21の右側領域の一部と、パノラマ右画像22の左側領域の一部とが重複領域23において互いに重なり合うように、2つのウィンドウを配置する。ここに、該重複領域23の大きさは、パノラマ合成アルゴリズムに応じて最適の大きさに予め決定しておく。
【0034】
図3は、図2に示す画面構成方法を用いて、動画像の各コマから作成された静止画像列の中から2枚の静止画像を選択して、画像表示部7に左右に配置して表示する様子を示す模式図である。
図3において、31は、カメラ1により連続的に撮影された動画像の各コマに該当する静止画像として動画処理部3により変換されて、作業用メモリ4に時間軸上に並べられて格納されている静止画像列を示し、32は、静止画像列31の中から任意の2枚の静止画像31a,31bを選択して、画像表示部7に表示した2画面画像を示している。図3の2画面画像の表示例においては、静止画像列31の最も先頭の静止画像31aがパノラマ左画像21として選択されて、しかる後に、静止画像列31の中から、パノラマ右画像22として表示する静止画像31bが選択される。
【0035】
この時、前述したように、パノラマ左画像21として表示する静止画像を、作業用メモリ4に格納されている静止画像列31の中から選択する代わりに、該静止画像列31の中の所望の静止画像をパノラマ画像として画像合成して一旦記録媒体8に蓄積した後、蓄積されている該パノラマ画像を選択することも可能であり、該パノラマ画像を選択した場合、記録媒体8から再度読み出して、静止画像列31の静止画像との間、あるいは、パノラマ画像同士の間で画像合成して、新たなパノラマ画像を作成することもできる。
【0036】
また、前述の説明においては、静止画像列31の最も先頭の静止画像31aあるいは記録媒体8に蓄積されたパノラマ画像をパノラマ左画像21として画面左側に画面表示する例について説明したが、本発明においては、かかる場合のみに限ることなく、動画像の撮影開始位置が右側から左側方向にパンニングして撮影されるような場合には、静止画像列31の最も先頭の静止画像31aあるいは記録媒体8に蓄積されたパノラマ画像をパノラマ右画像22として画面右側に画面表示し、しかる後に、静止画像列31の中から、パノラマ左画像21として表示する静止画像を選択するようにしても良い。
【0037】
図4は、図2に示す画面構成方法において、パノラマ左画像とパノラマ右画像との上下位置を揃えて、パノラマ画像として画像表示部7に表示する様子を説明するための模式図であり、図4(A)が、図3の静止画像列31の中から任意に選択された2つの静止画像31a,31bを示し、静止画像31a,31bの互いの上下位置が揃っていない場合を示しており、図4(B)が、選択された2つの静止画像31a,31bの上下位置を揃えて画像合成したパノラマ画像32を画像表示部7に画面表示している様子を示している。図4(B)に示すように、最初に静止画像31aを選択して画面左側に表示されているパノラマ左画像21に対して、後から選択された静止画像31bの上下位置を揃えるために、静止画像31bを上方向に移動させながら、互いの画像が重なり合う重複領域23を利用して、パノラマ左画像21と画像が重なり合う位置まで移動させている様子を示している。なお、図4においては、2枚の静止画像31a,31bの上下方向の位置合わせを行なう様子を説明したが、前述のように、2枚の静止画像31a,31bの左右方向の位置を合わせたり、あるいは、2枚の静止画像31a,31bの回転方向の位置を合わせたりすることも同様に可能である。
【0038】
一般に、動画像の撮影方法としては、例えばパノラマ画像として表示したい左端の位置(場合によっては、右端の位置であっても良い)にカメラ1のファインダを合わせて、撮影を開始し、動画像として、右に(場合によっては、左に)パンニングさせながら撮影を行なう。かくのごとき撮影の際には、カメラ1がぶれたりして、動画像として連続して撮影された各コマに該当する静止画像の上下位置がずれる場合がある。従って、本発明に係るパノラマ画像撮影装置10においては、キー入力部6を用いて、パノラマ画像32として表示する2枚の静止画像31a,31bを動画像データ即ち静止画像列31の中から選択した後に、更に、キー入力部6を用いて、図4に示すように、2枚の静止画像の上下位置の位置合わせを行なう仕組みを有している。更には、図4には示していないが、前述のように、2枚の静止画像の左右方向の位置合わせや左右の回転位置に関する位置合わせを行なうことも可能である。
【0039】
図5は、静止画像列31の中からパノラマ画像に合成すべき任意の2枚の静止画像31a,31bを選択する優先順序の一例を示す模式図である。
図5においては、カメラ1により撮影された動画像の各コマに該当する静止画像列31のうち、パノラマ画像32として表示する際に、画面の左側のパノラマ左画像21として表示する静止画像31aは、カメラ1により撮影を開始した最も先頭の静止画像Aに固定されており、パノラマ右画像22として、先頭の静止画像Aに続くどの静止画像を選択するかを操作者に選択させる優先順序を説明している。
【0040】
ここで、先頭の静止画像Aの次に位置する静止画像A1,A2,…と1コマずつ逐次表示して、操作者に選択させるような優先順序を用いた場合、所望の静止画像を得るまでに時間がかかるので、静止画像列31を、予め定められた所定のコマ数分の静止画像枚数からなる複数の画像候補群に分割して、各画像候補群のコマ数を示すスキップコマ数αとして予め設定されているコマ数だけ静止画像の枚数を大きくスキップして、各画像候補群の先頭の静止画像を、静止画像B、静止画像C、…と飛び飛びにまず表示していく方法を採用している。即ち、操作者は、例えばキー入力部6の左ボタン6b又は右ボタン6cを予め定めた所定時間以上に及ぶ長押し操作をすることにより、スキップコマ数αずつ飛び飛びに表示されてくる静止画像B,C…の中から、パノラマ左画像21として表示されている先頭の静止画像Aのパノラマ画像相手として所望する静止画像の近傍にあることを示す近似した静止画像を操作者が検出した際に、該近似した静止画像が属する画像候補群を選択画像候補群として決定する。
【0041】
次いで、決定された該選択画像候補群の中、及び/又は、該選択画像候補群に隣接する隣接画像候補群の中に存在している前記スキップコマ数α分の各静止画像を1コマずつ順次選択して画面表示させるために、操作者は、キー入力部6を操作して、例えばキー入力部6の左ボタン6b又は右ボタン6cを予め定めた所定時間よりも短い単押し操作をすることにより、該選択画像候補群及び/又は隣接画像候補群の中に存在している静止画像を1コマずつ順次表示していく1コマ逐次表示指示を入力する。
【0042】
1コマ逐次表示指示が入力されると、現在画像表示部7の右側に画面表示されている飛び飛び表示の静止画像の近傍に位置している静止画像が1コマずつ逐次表示されていくことにより、パノラマ右画像22として所望する最適の静止画像を迅速に選択することができる。ここで、図5は、スキップコマ数αずつ飛び飛びに選択して画面表示していくことにより、パノラマ左画像21の相手の静止画像に近似している近似静止画像が検出された後、該近似静止画像が属する画像候補群として選択された選択画像候補群及び/又は隣接画像候補群の中から1コマずつ画面表示していく近傍の静止画像として、選択画像候補群及び/又は隣接画像候補群にそれぞれ属する静止画像枚数即ちスキップコマ数αが示す静止画像枚数分だけ左右いずれかの方向に順次選択して画面表示していく例を示している。
【0043】
図5に示す例においては、近傍に位置しているとして選択された飛び飛び表示の静止画像Cが含まれている選択画像候補群に隣接する一つ前の隣接画像候補群B,B1,…,B5に遡って、所望の静止画像を選択する場合の例を示しており、一つ前の隣接画像候補群の中から、最後の静止画像B5から逆送り即ち左方向に静止画像Bまで遡って順次1コマずつ画面表示する場合を示している。即ち、図5に示す例においては、飛び飛び表示の静止画像として所望静止画像の近傍に位置しているとされる静止画像が、選択画像候補群の先頭の静止画像Cであり、各画像候補群の静止画像枚数を示すスキップコマ数αが6コマの場合を例示している。ここで、所望の静止画像に近似している静止画像Cが検出された後、該静止画像Cが属する選択画像候補群に隣接する一つ前の隣接画像候補群の中に所望の静止画像が存在しているものと判断されて、1コマ逐次表示指示として、例えば、キー入力部6の左ボタン6bの単押しが入力されると、鍵カッコ付きの番号2,3,4,5,6,7に示すように、隣接画像候補群の最後尾の6コマ目に位置する静止画像B5から順次遡ってB4,B3,B2,B1,Bと所望の静止画像が得られるまで1コマずつ逆送りに選択されて画面表示されてくる場合を示している。
【0044】
図6乃至図8は、図1に示すカメラ1で撮影した動画像の各コマに該当する静止画像列31の中からパノラマ画像32を作成する場合において、パノラマ画像作成用の2枚の静止画像を選択し、かつ、両者の静止画像の位置合わせを行なって、パノラマ画像を作成する場合の手順の一例を示す一連のフローチャートである。即ち、図6に示すフローチャートは、2枚の静止画像を選択する手順の一例を示す前半部のフローチャートを示し、図7は、図6の処理に続く中間部の処理手順のフローチャートを示し、図8は、図6の処理に更に続く後半部の処理手順のフローチャートを示している。
【0045】
なお、図6乃至図8のフローチャートは、図1に示すカメラ1により左から右方向にパンニング操作して撮影した動画像を、動画処理部3により静止画像に変換して、時間軸上に配列した静止画像列31として作業用メモリ4に逐次格納し、その先頭の静止画像をパノラマ左画像21とし、更に図5に示すごとき選択方法を用いて、作業用メモリ4にある静止画像列31の中からパノラマ右画像22を選択すると共に、該パノラマ右画像22をパノラマ左画像21に位置合わせすることにより、精度が高いパノラマ画像32を迅速に生成するまでの手順を説明している。
【0046】
ここで、図1に示すキー入力部6には、前述したごとく、画像表示部7に表示された表示画像の選択がOKか否かを示すOKボタン6aの他に、パノラマ右画像22を選択するために、あるいは、選択されたパノラマ右画像22をパノラマ左画像21と左右方向の位置合わせを行なうために、左方向への移動を指示する左ボタン6b、及び、右方向への移動を指示する右ボタン6cが、また、選択されたパノラマ右画像22をパノラマ左画像21と上下方向の位置合わせを行なうために、上方向への移動を指示する上ボタン6d、及び、下方向への移動を指示する下ボタン6eが備えられている。
更に、左ボタン6bと右ボタン6cとは、予め定められた所定の時間以上に亘って長押しをするか、該所定の時間よりも短い時間の単押しをするかにより、前述のように、飛び飛びに静止画像を表示して所望の静止画像に近似する静止画像が属する選択画像候補群の選択を行なうか、あるいは、1コマずつ順次静止画像を表示して選択画像候補群及び/又は隣接画像候補群の中の静止画像から所望の静止画像の選択を行なうか、いずれかの選択動作に切り換えることが可能とされている。
【0047】
まず、パノラマ画像撮影装置10の撮影モードとしてパノラマ画像撮影モードに設定して、カメラ1を用いて左から右方向にパンニング操作しながら動画像を撮影する(ステップS1)。撮影された動画像は、逐次、バッファメモリ2に格納されていく(ステップS2)。バッファメモリ2に格納された動画像の各コマは、順次、動画処理部3により静止画像に変換されて、作業用メモリ4に時間軸上に配列された静止画像列31として保存されていく(ステップS3)。次に、前述したように、カメラ1により撮影開始した先頭の画像に該当する静止画像が、作業用メモリ4の静止画像列31の中から読み出されて(ステップS4)、画像処理部5によりパノラマ左画像21として画像処理されて、画像表示部7の画面左側に画面表示される(ステップS5)。
【0048】
次に、作業用メモリ4に保存されている静止画像列31の中から、パノラマ右画像22の候補となる最初の画像候補が読み出されて(ステップS6)、画像処理部3によりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS7)。操作者は、表示された画面左右両方の画像の組み合わせがパノラマ画像32として合成すべき画像であるか否かを判断して(ステップS8)、合成すべき画像ではないと判断した場合(ステップS8のNO)、パノラマ右画像22としての次の画像候補を選択するために、キー入力部6のOKボタン6aの代わりに、次の静止画像を選択する選択手段であるキー入力部6の左右ボタン6b,6cいずれかのボタン操作を行なう(ステップS9)。
【0049】
キー入力部6から、右ボタン6cが長押しされていた場合(ステップS10のYES)、現在、作業用メモリ4に保存されている静止画像列31の最後の画像候補群が選択されている状態にあるか否かを判断する(ステップS11)。最後の画像候補群であった場合(ステップS11のYES)、左方向に遡った手前側の次の画像候補群を選択するために、ステップS9に戻って、キー入力部6のボタン操作を行なう動作が繰返されるが、一方、最後の画像候補群ではない場合(ステップS11のNO)、次の画像候補群を表示するために、作業用メモリ4の静止画像列31を右方向に一つ先の画像候補群まで先送り移動して(ステップS12)、次の画像候補群における最初の画像候補が作業用メモリ4から読み出されて(ステップS13)、画像処理部5によりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS14)。しかる後、ステップS8に戻って、パノラマ画像32として合成すべき画像が選択されたか否かが判断される。
【0050】
一方、キー入力部6から、右ボタン6cが長押しされていなかった場合(ステップS10のNO)、左ボタン6bが長押しされていたか否かを判断して(ステップS15)、左ボタン6bが長押しされていた場合(ステップS15のYES)、現在、作業用メモリ4に保存されている静止画像列31の最初の画像候補群が選択されている状態にあるか否かを判断する(ステップS16)。最初の画像候補群であった場合(ステップS16のYES)、右方向にある先方側の次の画像候補群を選択するために、ステップS9に戻って、キー入力部6のボタン操作を行なう動作が繰返されるが、一方、最初の画像候補群ではない場合(ステップS16のNO)、次の画像候補群を表示するために、作業用メモリ4の静止画像列31を左方向に一つ前の画像候補群まで逆送り移動して(ステップS17)、次の画像候補群における最初の画像候補が作業用メモリ4から読み出されて(ステップS18)、画像処理部5によりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS19)。しかる後、ステップS8に戻って、パノラマ画像32として合成すべき画像が選択されたか否かが判断される。
【0051】
更に、キー入力部6から、右ボタン6cも左ボタン6bも長押しされていなかった場合(ステップS15のNO)、右ボタン6cが単押しされていたか否かを判断して(ステップS20)、右ボタン6cが単押しされていた場合(ステップS20のYES)、現在選択されている画像候補群(即ち、選択画像候補群及び/又は隣接画像候補群)の中の、最後の画像候補が選択されている状態にあるか否かを判断する(ステップS21)。最後の画像候補であった場合(ステップS21のYES)、選択されている当該画像候補群の中で、遡る方向の次の画像候補を選択するか、又は、次の画像候補群を選択するために、ステップS9に戻って、キー入力部6のボタン操作を行なう動作が繰返される。一方、最後の画像候補ではない場合(ステップS21のNO)、現在の画像候補の一つ右側にある次の画像候補を表示するために、作業用メモリ4の当該画像候補群の中を右方向に一つ先の画像候補まで先送り移動して、次の画像候補が作業用メモリ4から読み出されて(ステップS22)、画像処理部5によりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS23)。しかる後、ステップS8に戻って、パノラマ画像32として合成すべき画像が選択されたか否かが判断される。
【0052】
一方、キー入力部6から、右ボタン6cが単押しされていなかった場合(ステップS20のNO)、次に、左ボタン6bが単押しされていたか否かを判断して(ステップS24)、左ボタン6bが単押しされていた場合(ステップS24のYES)、現在選択されている画像候補群(即ち、選択画像候補群及び/又は隣接画像候補群)の中の、最初の画像候補が選択されている状態にあるか否かを判断する(ステップS25)。最初の画像候補であった場合(ステップS25のYES)、選択されている当該画像候補群の中で、先方側にある次の画像候補を選択するか、又は、次の画像候補群を選択するために、ステップS9に戻って、キー入力部6のボタン操作を行なう動作が繰返される。一方、最初の画像候補ではない場合(ステップS25のNO)、現在の画像候補の一つ左側にある次の画像候補を表示するために、作業用メモリ4の当該画像候補群の中を左方向に一つ前の画像候補まで逆送り移動して、次の画像候補が作業用メモリ4から読み出されて(ステップS26)、画像処理部5によりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS27)。しかる後、ステップS8に戻って、パノラマ画像32として合成すべき画像が選択されたか否かが判断される。
【0053】
更に、キー入力部6から、右ボタン6c、左ボタン6bのいずれのボタンも長押し又は単押しされていなかった場合(ステップS24のNO)、無効なボタン操作がなされたものとして、ステップS9に戻って、キー入力部6のボタン操作を行なう動作が繰返される。
【0054】
また、ステップS8において、操作者は、表示された画面左右両方の画像の組み合わせがパノラマ画像32として合成すべき画像であると判断して、パノラマ画像選択手段としてのキー入力部6のOKボタン6aが操作された場合(ステップS8のYES)、次に、操作者は、表示された画面左右両方の画像の表示位置が揃っていて、パノラマ画像32として合成する状態に位置合わせができているか否かを判断して(ステップS28)、位置合わせが十分ではないと判断した場合(ステップS28のNO)、左画像の位置を基準にして、右画像の表示位置を調整するために、キー入力部6のOKボタン6aの代わりに、キー入力部6の上下左右ボタン6d,6e,6b,6cいずれかのボタン操作を行なう(ステップS32)。
【0055】
まず、上ボタン6dが押されていたか否かを判断して(ステップS33)、上ボタンが押されていた場合(ステップS33のYES)、右画像を1ステップ分だけ上方向に移動させる上ずらし処理が画像処理部5の上下左右移動処理部5a1により実施された後(ステップS34)、画像処理部5の2画面画像処理部5aによりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS35)。しかる後、ステップS28に戻って、パノラマ画像32として左右の画像の位置合わせが十分なされたか否かが判断される。
【0056】
一方、キー入力部6から、上ボタン6dが押されていなかった場合(ステップS33のNO)、下ボタン6eが押されていたか否かを判断して(ステップS36)、下ボタン6eが押されていた場合(ステップS36のYES)、右画像を1ステップ分だけ下方向に移動させる下ずらし処理が画像処理部5の上下左右移動処理部5a1により実施された後(ステップS37)、画像処理部5の2画面画像処理部5aによりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS38)。しかる後、ステップS28に戻って、パノラマ画像32として左右の画像の位置合わせが十分なされたか否かが判断される。
【0057】
更に、キー入力部6から、上ボタン6dも下ボタン6eも押されていなかった場合(ステップS36のNO)、右ボタン6cが押されていたか否かを判断して(ステップS39)、右ボタン6cが押されていた場合(ステップS39のYES)、右画像を1ステップ分だけ右方向に移動させる右ずらし処理が画像処理部5の上下左右移動処理部5a1により実施された後(ステップS40)、画像処理部5の2画面画像処理部5aによりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS41)。しかる後、ステップS28に戻って、パノラマ画像32として左右の画像の位置合わせが十分なされたか否かが判断される。
【0058】
一方、キー入力部6から、右ボタン6cが押されていなかった場合(ステップS39のNO)、左ボタン6bが押されていたか否かを判断して(ステップS42)、左ボタン6bが押されていた場合(ステップS42のYES)、右画像を1ステップ分だけ左方向に移動させる左ずらし処理が画像処理部5の上下左右移動処理部5a1により実施された後(ステップS43)、画像処理部5の2画面画像処理部5aによりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS44)。しかる後、ステップS28に戻って、パノラマ画像32として左右の画像の位置合わせが十分なされたか否かが判断される。
【0059】
更に、キー入力部6から、上下左右ボタン6d,6e,6b,6cのいずれのボタンも押されていなかった場合(ステップS42のNO)、右回転ボタン6gが押されていたか否かを判断して(ステップS45)、右回転ボタン6gが押されていた場合(ステップS45のYES)、右画像を1ステップ分だけ右方向に回転させる右回転処理が画像処理部5の左右回転処理部5a2により実施された後(ステップS46)、画像処理部5の2画面画像処理部5aによりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS47)。しかる後、ステップS28に戻って、パノラマ画像32として左右の画像の位置合わせが十分なされたか否かが判断される。
【0060】
一方、キー入力部6から、右回転ボタン6gが押されていなかった場合(ステップS45のNO)、左回転ボタン6fが押されていたか否かを判断して(ステップS48)、左回転ボタン6fが押されていた場合(ステップS48のYES)、右画像を1ステップ分だけ左方向に回転させる左回転処理が画像処理部5の左右回転処理部5a2により実施された後(ステップS49)、画像処理部5の2画面画像処理部5aによりパノラマ右画像22として画像処理されて、画像表示部7の画面右側に画面表示される(ステップS50)。しかる後、ステップS28に戻って、パノラマ画像32として左右の画像の位置合わせが十分なされたか否かが判断される。
【0061】
また、上下左右ボタン6d,6e,6b,6c及び左右回転ボタン6f,6gのいずれのボタンも押されていなかった場合(ステップS48のNO)、無効なボタン操作がなされたものとして、ステップS32に戻って、キー入力部6のボタン操作を行なう動作が繰返される。
【0062】
また、ステップS28において、操作者が、表示された画面左右両方の画像の表示位置が揃っていて、パノラマ画像32として合成する状態に位置合わせが十分にできていると判断して、キー入力部6のOKボタン6aが操作された場合(ステップS28のYES)、パノラマ画像32として画面表示すべき左画像と右画像との選択が終了し、かつ、左画像と右画像との位置合わせも終了している状態にあるので、画像処理部5のスムージング処理部5b1により左右の画像の重複部分を含む両者の画像間のスムージング処理が施された後、左右の画像を纏め合わせた1枚のパノラマ画像32として画像合成処理がなされて(ステップS29)、合成されたパノラマ画像32は、画像表示部7に画面表示される(ステップS30)。更に、合成されたパノラマ画像32は、操作者からのキー入力部6を介した指示により、記録媒体8に蓄積される(ステップS31)。
【0063】
図6に示したフローチャートにおいては、作業用メモリ4に格納された静止画像列31の先頭の静止画像をパノラマ左画像21として固定して、作業用メモリ4にある静止画像列31の中からパノラマ右画像22を選択し、該パノラマ右画像22をパノラマ左画像21に位置合わせをする場合を示したが、本発明は、かかる場合に限るものではなく、左右を逆にして、作業用メモリ4に格納された静止画像列31の先頭の静止画像をパノラマ右画像22として固定して、作業用メモリ4にある静止画像列31の中からパノラマ左画像21を選択し、該パノラマ左画像21をパノラマ右画像22に位置合わせをするようにしても良い。
【0064】
更には、基準とする画像を、作業用メモリ4の静止画像列31の先頭の静止画像とする代わりに、記録媒体8に蓄積されたパノラマ画像32を用いることとしても良い。あるいは、場合によっては、パノラマ左画像21とパノラマ右画像22との双方共に、作業用メモリ4の静止画像列31及び記録媒体8のパノラマ画像32の中から、任意に選択することとしても良いし、更に、パノラマ画像としての位置合わせについても、パノラマ右画像22のみならず、パノラマ左画像21についても位置合わせの調整を行なうことを可能としても良い。
【符号の説明】
【0065】
1…カメラ、2…バッファメモリ、3…動画処理部、4…作業用メモリ、5…画像処理部、5a…2画面画像処理部、5a1…上下左右移動処理部、5a2…左右回転処理部、5b…パノラマ画像処理部、5b1…スムージング処理部、5b2…スクロール画像作成部、6…キー入力部、6a…OKボタン、6b…左ボタン、6c…右ボタン、6d…上ボタン、6e…下ボタン、6f…左回転ボタン、6g…右回転ボタン、6h…拡大ボタン、6i…縮小ボタン、7…画像表示部、8…記録媒体、10…パノラマ画像撮影装置、21…パノラマ左画像、22…パノラマ右画像、23…重複領域、31…静止画像列、31a,31b…静止画像、32…パノラマ画像。
Claims (7)
- 動画像の各コマに該当するそれぞれの静止画像を作成する動画処理手段と、該動画処理手段により作成された複数枚の前記静止画像の中から、任意の2枚の静止画像を選択する選択手段と、該選択手段により選択された前記2枚の静止画像をそれぞれ縮小あるいは拡大させ、かつ、該2枚の静止画像それぞれの一部を互いに重複させて配置して、2つのウィンドウからなる2画面として表示する2画面画像を作成する2画面画像処理手段と、該2画面画像処理手段により作成された前記2画面画像の中から、パノラマ画像とすべき2画面画像を選択するパノラマ画像選択手段と、該パノラマ画像選択手段により選択された前記2画面画像を1枚の画像に合成して、パノラマ画像を作成するパノラマ画像処理手段と、前記静止画像あるいは前記2画面画像あるいは前記パノラマ画像を画面表示する画像表示手段と、前記静止画像及び/又は前記パノラマ画像を蓄積する記録媒体とを備えているパノラマ画像作成装置であって、前記選択手段が、前記動画処理手段により作成された複数枚の前記静止画像の中から、いずれか任意の静止画像を選択する際に、複数枚の前記静止画像を、予め定められた所定のコマ数分の静止画像枚数からなる複数の画像候補群に分割し、分割された前記画像候補群の先頭コマに該当する静止画像を飛び飛びに順次選択して、前記2画面画像処理手段により前記2画面画像として画面表示することにより、所望の静止画像に近接する静止画像が属する画像候補群を選択画像候補群として選択した後、該選択画像候補群の中、及び/又は、該選択画像候補群に隣接する隣接画像候補群の中、の各静止画像を順次選択して、前記2画面画像処理手段により前記2画面画像として画面表示し、前記パノラマ画像選択手段が、パノラマ画像とすべき前記2画面画像を選択することができることを特徴とするパノラマ画像作成装置。
- 請求項1に記載のパノラマ画像作成装置において、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、前記動画処理手段により作成された前記静止画像のうち、前記動画像の先頭に位置する先頭コマに該当する静止画像を選択し、反対側の他方のウィンドウに画面表示する静止画像として、前記動画像の先頭コマに後続する各コマに該当する、前記選択画像候補群の中、及び/又は、該選択画像候補群に隣接する隣接画像候補群の中、のいずれか任意の静止画像を選択することができることを特徴とするパノラマ画像作成装置。
- 請求項1に記載のパノラマ画像作成装置において、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、前記記録媒体に蓄積された前記パノラマ画像を選択し、反対側の他方のウィンドウに画面表示する静止画像として、前記動画像の先頭コマに後続する各コマに該当する、前記選択画像候補群の中、及び/又は、該選択画像候補群に隣接する隣接画像候補群の中、のいずれか任意の静止画像を選択することができることを特徴とするパノラマ画像作成装置。
- 請求項1乃至3のいずれかに記載のパノラマ画像作成装置において、前記2画面画像処理手段が、前記選択手段により選択された2枚の静止画像からなる前記2画面画像を作成する際に、及び/又は、前記パノラマ画像選択手段によりパノラマ画像とすべき前記2画面画像が選択された際に、前記2画面画像を構成する2枚の静止画像のそれぞれの位置を、又は、いずれか一方の位置を、上下左右の任意の方向に移動又は回転させることができることを特徴とするパノラマ画像作成装置。
- 請求項1乃至4のいずれかに記載のパノラマ画像作成装置において、前記パノラマ画像処理手段が、前記2画面画像を合成してパノラマ画像を作成する際に、前記2画面画像を構成する2枚の静止画像の互いの重複部分に対してスムージング処理を施すことができることを特徴とするパノラマ画像作成装置。
- 請求項1乃至5のいずれかに記載のパノラマ画像作成装置において、前記パノラマ画像処理手段が、前記2画面画像を合成して前記パノラマ画像を作成する際に、前記パノラマ画像を順次スクロールして前記画像表示手段に画面表示するスクロール画像として作成することができることを特徴とするパノラマ画像作成装置。
- 動画像を撮影する撮影手段を備え、更に、該撮影手段により撮影された動画像の各コマに該当する静止画像を作成して、作成された該静止画像を用いてパノラマ画像を作成して記録媒体に蓄積するパノラマ画像作成手段を備えたパノラマ画像撮影装置において、パノラマ画像を作成する前記パノラマ画像作成手段として、請求項1乃至6のいずれかに記載のパノラマ画像作成装置を備えていることを特徴とするパノラマ画像撮影装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003334728 | 2003-09-26 | ||
JP2003334728 | 2003-09-26 | ||
PCT/JP2004/012286 WO2005032125A1 (ja) | 2003-09-26 | 2004-08-26 | パノラマ画像作成装置及びパノラマ画像撮影装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2005032125A1 JPWO2005032125A1 (ja) | 2008-06-12 |
JP4180083B2 true JP4180083B2 (ja) | 2008-11-12 |
Family
ID=34386040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005514165A Expired - Fee Related JP4180083B2 (ja) | 2003-09-26 | 2004-08-26 | パノラマ画像作成装置及びパノラマ画像撮影装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP1667439A4 (ja) |
JP (1) | JP4180083B2 (ja) |
WO (1) | WO2005032125A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7860343B2 (en) * | 2006-04-10 | 2010-12-28 | Nokia Corporation | Constructing image panorama using frame selection |
KR100883106B1 (ko) * | 2007-04-03 | 2009-02-11 | 삼성전자주식회사 | 비디오 데이터 표시 방법 및 이를 이용하는 휴대 단말기 |
JP4329837B2 (ja) | 2007-04-09 | 2009-09-09 | ソニー株式会社 | ビデオ信号処理装置、ビデオ信号処理方法、プログラムおよび画像表示装置 |
JP2009077362A (ja) * | 2007-08-24 | 2009-04-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
JP2009077363A (ja) | 2007-08-24 | 2009-04-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
JP5092722B2 (ja) | 2007-12-07 | 2012-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP5223318B2 (ja) | 2007-12-07 | 2013-06-26 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2009151896A (ja) * | 2007-12-21 | 2009-07-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
JP4697221B2 (ja) | 2007-12-26 | 2011-06-08 | ソニー株式会社 | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
JP4678404B2 (ja) * | 2007-12-27 | 2011-04-27 | ソニー株式会社 | 撮像装置、その制御方法およびプログラム |
JP4692550B2 (ja) | 2008-01-21 | 2011-06-01 | ソニー株式会社 | 画像処理装置、その処理方法およびプログラム |
JP5133816B2 (ja) * | 2008-08-22 | 2013-01-30 | オリンパスイメージング株式会社 | カメラ、画像合成方法、およびプログラム |
JP4735693B2 (ja) | 2008-09-22 | 2011-07-27 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
KR101631912B1 (ko) * | 2009-11-03 | 2016-06-20 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
JP5120369B2 (ja) * | 2009-12-17 | 2013-01-16 | カシオ計算機株式会社 | 静止画生成装置、静止画生成プログラム及び静止画生成方法 |
US9413923B2 (en) * | 2011-01-24 | 2016-08-09 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus |
CN108898555B (zh) * | 2018-07-27 | 2022-09-23 | 维沃移动通信有限公司 | 一种图像处理方法及终端设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3158735B2 (ja) * | 1992-10-09 | 2001-04-23 | ソニー株式会社 | 画像信号記録装置 |
JPH07203278A (ja) * | 1993-12-28 | 1995-08-04 | Olympus Optical Co Ltd | 画像取り扱い装置 |
US6549681B1 (en) * | 1995-09-26 | 2003-04-15 | Canon Kabushiki Kaisha | Image synthesization method |
JP3832894B2 (ja) * | 1996-05-28 | 2006-10-11 | キヤノン株式会社 | 画像合成装置 |
US6075905A (en) * | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
JP3974964B2 (ja) * | 1996-11-08 | 2007-09-12 | オリンパス株式会社 | 画像処理装置 |
JPH114398A (ja) * | 1997-06-11 | 1999-01-06 | Hitachi Ltd | デジタルワイドカメラ |
JP3799861B2 (ja) * | 1999-02-24 | 2006-07-19 | 株式会社日立製作所 | 画像合成装置、画像合成方法を実行させるプログラムが記録された記録媒体 |
US6895126B2 (en) * | 2000-10-06 | 2005-05-17 | Enrico Di Bernardo | System and method for creating, storing, and utilizing composite images of a geographic location |
-
2004
- 2004-08-26 JP JP2005514165A patent/JP4180083B2/ja not_active Expired - Fee Related
- 2004-08-26 EP EP04772242A patent/EP1667439A4/en not_active Withdrawn
- 2004-08-26 WO PCT/JP2004/012286 patent/WO2005032125A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2005032125A1 (ja) | 2005-04-07 |
EP1667439A1 (en) | 2006-06-07 |
EP1667439A4 (en) | 2006-11-08 |
JPWO2005032125A1 (ja) | 2008-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4180083B2 (ja) | パノラマ画像作成装置及びパノラマ画像撮影装置 | |
KR102077967B1 (ko) | 전자 기기 | |
JP4980779B2 (ja) | 撮影装置、方法およびプログラム | |
US20070103544A1 (en) | Panorama image creation device and panorama image imaging device | |
JP5028225B2 (ja) | 画像合成装置、画像合成方法、およびプログラム | |
JP4654887B2 (ja) | 撮像装置 | |
JP5578442B2 (ja) | 撮像装置、画像合成方法、及びプログラム | |
JP2008098754A (ja) | 撮像装置、画像再生装置および撮像画像の表示方法 | |
JP4924228B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP4635477B2 (ja) | 画像撮影装置、擬似3次元画像生成方法、及び、プログラム | |
JP5785038B2 (ja) | 撮影機器 | |
JP2006174128A (ja) | 撮像装置および撮像システム | |
JP2009088961A (ja) | 動画再生装置および動画再生方法 | |
JP2007174301A (ja) | 画像撮影装置 | |
JP5965037B2 (ja) | 撮影機器 | |
JP5181453B2 (ja) | 画像表示装置、及び画像表示方法、プログラム | |
JP4235130B2 (ja) | デジタルカメラ | |
JP4751715B2 (ja) | 撮像装置 | |
JP2006020105A (ja) | 撮像装置、スロット写真撮影方法、及びプログラム | |
JP2000188705A (ja) | 電子スチルカメラ | |
JP4741434B2 (ja) | Cg合成装置およびcg合成プログラム | |
JP6205464B2 (ja) | 撮影機器 | |
JP2015023522A (ja) | パノラマ撮影機能付きカメラ、画像表示方法 | |
JP4460688B2 (ja) | 画像再生装置および画像記録装置 | |
JP6828069B2 (ja) | 撮像装置、撮像方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080826 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080826 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |