WO2013015147A1 - 画像処理システム、情報処理装置、プログラム及び画像処理方法 - Google Patents
画像処理システム、情報処理装置、プログラム及び画像処理方法 Download PDFInfo
- Publication number
- WO2013015147A1 WO2013015147A1 PCT/JP2012/068054 JP2012068054W WO2013015147A1 WO 2013015147 A1 WO2013015147 A1 WO 2013015147A1 JP 2012068054 W JP2012068054 W JP 2012068054W WO 2013015147 A1 WO2013015147 A1 WO 2013015147A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- camera movement
- movement direction
- image
- unit
- imaging unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
画像処理システム200は、静止画像を連続して取得する画像取得部270と、撮像部12が移動される方向であるカメラ移動方向を判定する方向判定部210と、連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部220とを含む。方向判定部210は、撮像部12を移動させながら撮影が行われる場合に、カメラ移動方向が第1のカメラ移動方向であるか、第1のカメラ移動方向と異なる方向である第2のカメラ移動方向であるかを判定する。パノラマ画像生成部220は、連続して取得された静止画像の撮影時におけるカメラ移動方向に基づき、静止画像の合成処理を行い、パノラマ画像を生成する。
Description
本発明は、画像処理システム、情報処理装置、プログラム及び画像処理方法等に関係する。
近年、デジタルカメラを用いて、パノラマ画像を生成する手法が考案されている。パノラマ画像を生成する場合には、撮像部を一方向に移動させて撮影した複数の静止画像を繋ぎ合わせて、一枚のパノラマ画像を生成する。
また、パノラマ画像に映る被写体の滑らかさは、材料となる静止画像の撮影位置等によって変わる。そのため、パノラマ画像を生成する際にカメラを動かす方向や位置等をユーザに提示する手法が考案されており、その手法の一例として、特許文献1~特許文献3に記載されるような従来技術がある。
特許文献1に記載される手法では、パノラマ画像を生成するために用いる静止画像を撮影する際に、直前に撮影した静止画像をリファレンス用のスルー画として液晶ファインダの端に重畳して表示して、ガイダンスを行う。
また、特許文献2に記載される手法は、パノラマ画像を生成するために用いる静止画像の次の撮影位置を示すガイドマークを表示して、ガイダンスを行う。
さらに、特許文献3に記載される手法は、撮影した静止画像とファインダ映像(スルー画)との重ね合わせ部分(マッチング領域)における特徴点に基づいて、画像間の相関度を求め、画像間の相関度に基づき、撮影タイミングガイダンスを行う。
これら特許文献1~特許文献3に記載されるガイダンスを行うことにより、ガイダンス情報を参照して、ユーザが手動でカメラの傾きや位置を合わせながら撮影を行うことが可能となり、滑らかなパノラマ画像を生成することが可能になる。
しかし、特許文献1~特許文献3には、撮像部を一方向に移動させて、パノラマ画像を生成する手法についてのみ記載されており、複数の方向に撮像部を移動させてパノラマ画像を生成する手法や、複数の方向に撮像部を移動させる場合のガイダンス方法については記載されていない。
本発明の幾つかの態様によれば、撮像部が複数の方向に移動させられ、撮影が行われる場合に、パノラマ画像を生成できる画像処理システム、情報処理装置、プログラム及び画像処理方法等を提供することができる。
また、本発明の幾つかの態様によれば、撮像部が複数の方向に移動させられ、撮影が行われる場合に、撮像部を動かす方向をユーザに提示して、パノラマ画像を生成することができる画像処理システム、情報処理装置、プログラム及び画像処理方法等を提供することができる。
本発明の一態様は、静止画像を連続して取得する画像取得部と、撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、連続して取得された前記静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、を含み、前記方向判定部は、前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第1のカメラ移動方向であるか、前記第1のカメラ移動方向と異なる方向である第2のカメラ移動方向であるかを判定し、前記パノラマ画像生成部は、連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成する画像処理システムに関係する。
本発明の一態様では、撮像部が複数のカメラ移動方向に移動させられ、撮影が行われる場合に、パノラマ画像を生成するために用いる静止画像を連続して取得することができる。また、現在のカメラ移動方向を判定することができ、カメラ移動方向に基づいて、静止画像の合成位置を決定することが可能となる。よって、撮像部を一つのカメラ移動方向に動かして生成したパノラマ画像よりも、複数の方向に対して画角の広いパノラマ画像を生成することが可能となる。
また、本発明の一態様では、前記パノラマ画像生成部は、前回の前記合成処理に用いた前記静止画像に対して、前回の前記静止画像を撮影した時の前記カメラ移動方向に重複領域を持つように、今回の前記静止画像の前記合成処理を行って、前記パノラマ画像を生成してもよい。
これにより、連続して取得された静止画像をカメラ移動方向側に次々に重畳して、合成処理を行うこと等が可能になる。
また、本発明の一態様では、前記方向判定部は、動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、前記パノラマ画像生成部は、前記カメラ動き方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成してもよい。
これにより、カメラ動き方向を判定することができ、カメラ動き方向に基づいて、静止画像の合成位置を決定することが可能となる。そして、カメラ移動方向に基づいて、合成位置を決定する場合に比べて、より撮像部の実際の動きに合った位置を合成位置とすることが可能となる。
また、本発明の一態様では、前記パノラマ画像生成部は、前回の前記合成処理に用いた前記静止画像に対して、前回の前記静止画像を撮影した時の前記カメラ動き方向に重複領域を持つように、今回の前記静止画像の前記合成処理を行って、前記パノラマ画像を生成してもよい。
これにより、連続して取得された静止画像をカメラ動き方向側に次々に重畳して、合成処理を行うこと等が可能になる。
また、本発明の一態様では、前記方向判定部は、前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第1のカメラ移動方向であるか、前記第2のカメラ移動方向であるか、若しくは前記第1のカメラ移動方向及び前記第2のカメラ移動方向と異なる方向である第3のカメラ移動方向であるかを判定してもよい。
これにより、ジグザグな軌道を描くように撮像部を移動させて、パノラマ画像を生成すること等が可能になる。
また、本発明の一態様では、前記撮像部を移動させる方向をユーザに示す情報であるガイダンス情報を生成するガイダンス情報生成部を含んでもよい。
これにより、撮影時にユーザにガイダンス情報を提示すること等が可能になる。
また、本発明の一態様では、前記ガイダンス情報生成部は、前記方向判定部により、前記カメラ移動方向が前記第3のカメラ移動方向であると判定された場合に、前記第2のカメラ移動方向へ前記撮像部を移動させることを促す情報である移行ガイダンス情報を、前記ガイダンス情報として生成してもよい。
これにより、第1のカメラ移動方向へ撮像部を移動させた時に撮影した静止画像と、第2のカメラ移動方向へ撮像部を移動させた時に撮影した静止画像との重複領域を確保できるように、ユーザにカメラ移動方向を第3のカメラ移動方向に切り替えるガイダンスを行うこと等が可能になる。
また、本発明の一態様では、前記方向判定部により、前記第1のカメラ移動方向から前記第3のカメラ移動方向へ前記カメラ移動方向が切り替わったと判定された場合に、前記ガイダンス情報生成部は、前記第3のカメラ移動方向への前記撮像部のカメラ移動量換算値を取得し、取得した前記カメラ移動量換算値が所定の閾値以上であるか否かを判定し、前記カメラ移動量換算値が前記所定の閾値以上であると判定した場合に、前記第2のカメラ移動方向へ前記撮像部を移動させることを促す前記移行ガイダンス情報を生成してもよい。
これにより、例えば、撮像画像における第3のカメラ移動方向の所定の画素数によって、移行ガイダンス情報を提示するタイミングを制御すること等が可能になる。
また、本発明の一態様では、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を表す情報であるカメラ動き方向情報を記憶する記憶部を含み、前記方向判定部は、動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記カメラ動き方向を判定し、前記ガイダンス情報生成部は、前記方向判定部により、前記カメラ移動方向が前記第2のカメラ移動方向であると判定された場合に、前記第1のカメラ移動方向に前記撮像部が移動されていた時の前記カメラ動き方向情報を前記記憶部から逆時間順に読み出し、読み出された前記カメラ動き方向情報により表される前記カメラ動き方向とは逆の方向に前記撮像部を移動させるように前記ユーザを誘導する情報である軌跡ガイダンス情報を、前記ガイダンス情報として生成してもよい。
これにより、第2のカメラ移動方向に撮像部を移動させる場合に、第3のカメラ移動方向へ誤って撮像部を移動させてしまい、重複領域を確保できなくなることを防ぐこと等が可能となる。
また、本発明の一態様では、前記ガイダンス情報生成部は、生成された前記軌跡ガイダンス情報により表される前記撮像部の目標位置を含む誤差許容距離範囲内に前記撮像部が移動されたことを、前記動き情報に基づき判断した場合には、前記撮像部が前記目標位置に到達したと判断し、前記撮像部の次の目標位置を示す前記軌跡ガイダンス情報を提示部に通知してもよい。
これにより、期待される位置へ撮像部を正確に移動させる必要がなくなり、誤差を許容しながら撮影を進めること等が可能となる。
また、本発明の一態様では、前記ガイダンス情報生成部は、前記誤差許容距離範囲内に前記撮像部が移動された場合に、前記軌跡ガイダンス情報により表される前記撮像部の前記目標位置と、移動後の前記撮像部の実際の位置との差分情報を算出し、前記差分情報に基づいて、前記撮像部の次の前記目標位置を示す前記軌跡ガイダンス情報を補正してもよい。
これにより、蓄積した誤差を相殺しながら、軌跡ガイダンスを行うことができ、重複領域を確保しながら、撮影範囲にもれのないパノラマ画像を生成すること等が可能となる。
また、本発明の一態様では、前記画像取得部は、動き情報取得部により取得される動き情報に基づいて、前記撮像部が移動される方向を表すベクトルである動きベクトルを求め、前記動きベクトルの水平成分と垂直成分のうち、いずれか一方の成分の絶対値が他方の成分の絶対値よりも、所定の時間連続して大きいと判断した場合には、一方の成分の絶対値が他方の成分の絶対値よりも大きくなり始めたタイミングを、前記パノラマ画像を生成するために用いる前記静止画像の取得開始タイミングとして求めてもよい。
これにより、ユーザが手などによる操作を行わなくても、HMDを装着して風景を見回すという行為に連動して、パノラマ画像の生成を開始すること等が可能になる。
また、本発明の一態様では、前記画像取得部は、動き情報取得部により取得される動き情報に基づいて、前記撮像部が移動される方向を表すベクトルである動きベクトルを求め、前記動きベクトルの大きさが所定の時間連続して所定の閾値以下であると判断した場合には、前記動きベクトルの大きさが所定の閾値以下となり始めたタイミングを、前記パノラマ画像を生成するために用いる前記静止画像の取得終了タイミングとして求めてもよい。
これにより、ユーザが手などによる操作を行わなくても、HMDを装着して風景を見回すという行為に連動して、パノラマ画像の生成を終了すること等が可能になる。
また、本発明の一態様では、前記画像取得部は、前記撮像部のシャッタータイミングを制御して、前記静止画像を連続して取得してもよい。
これにより、例えば、撮像部が撮像する静止画像の枚数と、画像取得部が取得する静止画像の枚数を一致させることが可能となり、無駄な静止画像を撮像させることを防止しつつ、必要な静止画像を取得すること等が可能になる。
また、本発明の他の態様では、撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、画像取得部により連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、連続して取得された前記静止画像と生成した前記パノラマ画像とを記憶する記憶部と、を含み、前記パノラマ画像生成部は、第1のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第1のカメラ移動方向と異なる方向である第2のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像を撮影した時の前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成する情報処理装置に関係する。
また、本発明の他の態様では、前記方向判定部は、動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、前記記憶部は、前記カメラ動き方向を表す情報であるカメラ動き方向情報を記憶し、前記パノラマ画像生成部は、前記カメラ動き方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成してもよい。
また、本発明の他の態様では、前記パノラマ画像生成部は、前記第1のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第1のカメラ移動方向及び前記第2のカメラ移動方向と異なる方向である第3のカメラ移動方向に前記撮像部が移動させられ、前記第3のカメラ移動方向に前記撮像部を移動させられた後に、前記第2のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像の前記合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成してもよい。
また、本発明の他の態様では、前記カメラ移動方向に基づいて、前記撮像部を移動させる方向をユーザに示す情報であるガイダンス情報を生成するガイダンス情報生成部を含んでもよい。
また、本発明の他の態様では、前記ガイダンス情報生成部は、前記方向判定部により、前記カメラ移動方向が前記第3のカメラ移動方向であると判定された場合に、前記第2のカメラ移動方向へ前記撮像部を移動させることを促す情報である移行ガイダンス情報を、前記ガイダンス情報として生成してもよい。
また、本発明の他の態様では、前記方向判定部は、動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、前記記憶部は、前記カメラ動き方向を表す情報であるカメラ動き方向情報を記憶し、前記ガイダンス情報生成部は、前記方向判定部により、前記カメラ移動方向が前記第2のカメラ移動方向であると判定された場合に、前記第1のカメラ移動方向に前記撮像部が移動されていた時の前記カメラ動き方向情報を前記記憶部から逆時間順に読み出し、読み出された前記カメラ動き方向情報により表される前記カメラ動き方向とは逆の方向に前記撮像部を移動させるように前記ユーザを誘導する情報である軌跡ガイダンス情報を、前記ガイダンス情報として生成してもよい。
また、本発明の他の態様では、撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、画像取得部により連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部として、コンピュータを機能させ、前記パノラマ画像生成部は、第1のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第1のカメラ移動方向と異なる方向である第2のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像を撮影した時の前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成するプログラムに関係する。
また、本発明の他の態様では、静止画像を連続して取得し、撮影中の撮像部が移動される方向であるカメラ移動方向を判定し、連続して取得された前記静止画像の合成処理を行い、パノラマ画像を生成すると共に、前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第1のカメラ移動方向であるか、前記第1のカメラ移動方向と異なる方向である第2のカメラ移動方向であるかを判定し、連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成する画像処理方法に関係する。
以下、本実施形態について説明する。まず、概要を説明し、次に本実施形態のシステム構成例を説明する。次に、具体的な実施例を提示した後に、本実施形態の手法について説明する。そして最後に、フローチャートを用いて本実施形態の処理の流れについて説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.概要
近年、デジタルカメラを用いて、パノラマ画像を生成する手法が考案されている。パノラマ画像を生成する場合には、撮像部を一方向に移動させて撮影した複数の静止画像を繋ぎ合わせて、一枚のパノラマ画像を生成する。
近年、デジタルカメラを用いて、パノラマ画像を生成する手法が考案されている。パノラマ画像を生成する場合には、撮像部を一方向に移動させて撮影した複数の静止画像を繋ぎ合わせて、一枚のパノラマ画像を生成する。
しかし、撮像部を一方向に移動させてパノラマ画像を生成する手法では、撮像部を動かす方向にしかパノラマ画像の画角を調整することができず、例えば、撮像部を動かす方向と垂直な方向に対しては、画角を大きくすることができない。
ここで、撮像部を複数の方向に移動させながら撮影を行えば、一方向だけでなく、他の方向に撮像部を移動させて撮影した静止画像を準備することができ、複数方向の画角を広げたパノラマ画像を生成することが期待できる。
そこで、本実施形態では、撮像部を複数の方向に移動させながら撮影が行われる場合に、パノラマ画像の生成に用いられる静止画像を連続して取得し、取得した静止画像に基づいて、パノラマ画像を生成する。
また、パノラマ画像に映る被写体の滑らかさは、材料となる静止画像の撮影位置等によって変わる。そのため、パノラマ画像を生成する際にカメラを動かす方向や位置等をユーザに提示する手法が考案されており、その手法の一例として、前述の特許文献1~特許文献3に記載されるような従来技術がある。
特許文献1に記載される手法では、パノラマ画像を生成するために用いる静止画像を撮影する際に、直前に撮影した静止画像をリファレンス用のスルー画として液晶ファインダの端に重畳して表示して、ガイダンスを行う。
また、特許文献2に記載される手法は、パノラマ画像を生成するために用いる静止画像の次の撮影位置を示すガイドマークを表示して、ガイダンスを行う。
さらに、特許文献3に記載される手法は、撮影した静止画像とファインダ映像(スルー画)との重ね合わせ部分(マッチング領域)における特徴点に基づいて、画像間の相関度を求め、画像間の相関度に基づき、撮影タイミングガイダンスを行う。
これら特許文献1~特許文献3に記載されるガイダンスを行うことにより、ガイダンス情報を参照して、ユーザが手動でカメラの傾きや位置を合わせながら撮影を行うことが可能となり、滑らかなパノラマ画像を生成することが可能になる。
その他にも、特許文献3には、画像間の相関度が規定値以上になった場合に自動撮影を行ったり、顔や動体を検出した場合に、合成時の破綻を防止するために、マッチング領域から顔や動体を除外する処理を行ったりする手法も記載されている。
しかし、特許文献1~特許文献3には、撮像部を一方向に移動させて、パノラマ画像を生成する手法についてのみ記載されており、複数の方向に撮像部を移動させてパノラマ画像を生成する手法や、複数の方向に撮像部を移動させる場合のガイダンス方法については記載されていない。
そこで、本実施形態では、撮像部が複数の方向に移動させられ、撮影が行われる場合に、撮像部を動かす方向をユーザに提示して、パノラマ画像を生成する。
2.システム構成例
まず、図1に本実施形態の画像処理システムの構成例を示す。本実施形態では、画像処理システムは、画像処理クラウドネットワーク上のサーバであることを想定している。また、画像処理システムは、画像処理クラウドネットワークの他にも、HMD(Head Mounted Display)や、撮像装置(カメラ)などを含んでもよい。さらに、画像処理システムは、HMD等に設けられた情報処理装置であってもよい。
まず、図1に本実施形態の画像処理システムの構成例を示す。本実施形態では、画像処理システムは、画像処理クラウドネットワーク上のサーバであることを想定している。また、画像処理システムは、画像処理クラウドネットワークの他にも、HMD(Head Mounted Display)や、撮像装置(カメラ)などを含んでもよい。さらに、画像処理システムは、HMD等に設けられた情報処理装置であってもよい。
本実施形態では、HMDに設けられた撮像装置により、ユーザが首を振りながら被写体を撮影して、静止画像(または動画像)を生成し、生成された静止画像(または動画像)を画像処理クラウドネットワーク上のサーバに、基地局を介して無線通信で送信して、サーバでパノラマ画像を生成し、HMDでパノラマ画像を鑑賞することを想定している。
ただし、本実施形態はあくまでも一例であり、画像処理システムは図1の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。なお、静止画像等を画像処理システムへ送信する方法は、無線通信に限られず、有線通信でもよい。そして、画像処理システムが、HMDに設けられた情報処理装置である場合などには、必ずしもネットワークを介して、静止画像等を受信する必要はなく、内部バス等を通じて静止画像等を取得してもよい。また、撮像装置は必ずしもHMDと一体になっている必要はなく、手持ちのカメラ等であってもよい。さらに、出力デバイス(HMD等)はなくてもよい。
次に、図2に本実施形態の画像処理システムの詳細な構成例を示す。画像処理システム200は、方向判定部210と、パノラマ画像生成部220と、記憶部230と、I/F部240と、ガイダンス情報生成部250と、画像取得部(サンプリング部)270と、を含む。ただし、画像処理システム200は、図2の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。例えば、画像処理システム200は、複数の情報処理装置によって構成されていてもよい。
そして、画像処理システム200は、撮像装置100と、提示部300とに接続される。撮像装置100の一例としては、HMD等に設けられたカメラ等がある。そして、画像処理システム200の一例としては、画像処理クラウドネットワーク上のサーバ等がある。さらに、提示部300の一例としては、HMD等がある。
撮像装置100は、撮像部12と、エンコーダ14と、動き情報取得部16と、I/F部18と、を含む。ただし、撮像装置100は、図2の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
次に各部の接続について説明する。撮像装置100では、撮像部12と、エンコーダ14と、動き情報取得部16と、I/F部18とが内部バスにより接続される。また、画像処理システム200では、方向判定部210と、パノラマ画像生成部220と、記憶部230と、I/F部240と、ガイダンス情報生成部250と、画像取得部(サンプリング部)270とが内部バスにより接続される。
次に、撮像装置100の各部で行われる処理について説明する。
撮像部(カメラ)12は、被写体を撮影する。この撮像部12は、例えばCCD等の撮像素子と光学系を含む。また画像処理等に用いられるデバイス(プロセッサ)を含むことができる。
エンコーダ14は、撮像部12から得られた動画像をMPEG等の動画コーデックにより、エンコードを行う。このエンコーダ14の機能は、各種プロセッサ(CPU等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムなどにより実現できる。
動き情報取得部16は、撮像部12の動き情報を取得する。動き情報取得部16は、地磁気センサ等の方位センサや、加速度センサ、ジャイロセンサ等のセンサであってもよく、センサから得られるセンサ情報を、撮像部12の動き情報として取得してもよい。方位センサは、例えば地磁気センサ等であり、センサの向いている方位を角度(0°~360°)で計測する。地磁気センサは、例えば磁場の強さによって抵抗値やインピーダンス値が増減する素子等で構成され、三軸の地磁気情報を検知する。加速度センサは、例えば外力によって抵抗値が増減する素子等で構成され、三軸の加速度情報を検知する。ジャイロセンサは、三軸の角速度情報を検知する。また、地磁気センサや加速度センサ、ジャイロセンサの機能を併せ持つセンサを用いてもよい。さらに、動き情報取得部16は、GPSにより得られる位置情報を、撮像部12の動き情報として用いてもよい。
また、動き情報取得部16は、内部カメラパラメータから特定できる撮像範囲などの変動量を、撮像部12の動き情報として取得してもよい。さらに、動き情報取得部16は、撮像部12により撮影された動画像をエンコーダ14がエンコードする過程で得られる動きベクトルを、動き情報としてエンコーダ14から取得してもよい。
I/F部18は、撮像部12、エンコーダ14、動き情報取得部16から得られる情報を画像処理システム200に通知する。
次に、画像処理システム200の各部で行われる処理について説明する。
方向判定部210は、後述するカメラ移動方向やカメラ動き方向を判定する。
パノラマ画像生成部220は、後述する画像取得部(サンプリング部)270から得られる静止画像に基づいて、パノラマ画像を生成する。
記憶部230は、データベースを記憶したり、パノラマ画像生成部220等のワーク領域となるもので、その機能はRAM等のメモリやHDD(ハードディスクドライブ)などにより実現できる。記憶部230は、後述するI/F部240又は画像取得部(サンプリング部)270から得られる静止画像や、パノラマ画像生成部220により生成されたパノラマ画像等を記憶してもよい。
I/F部240は、画像処理システム200と撮像装置100間、及び画像処理システム200と提示部300間で、情報の送受信を行う。なお、I/F部240は、有線により通信を行うものであってもよく、無線により通信を行うものであってもよい。
ガイダンス情報生成部250は、後述するカメラ移動方向又はカメラ動き方向に基づいて、ガイダンス情報を生成する。
画像取得部(サンプリング部)270は、I/F部240から取得した情報から静止画像を取得し、他の各機能部へ一連の静止画像を出力する。また、画像取得部(サンプリング部)270は、サンプリング制御部272を含んでも良い。
画像取得部(サンプリング部)270は、I/F部240が撮像装置100によって撮影された動画像を含む情報を取得した場合には、サンプリング制御部272により設定されたサンプリングレートで、撮影された動画像から静止画像をサンプリングし、他の各機能部へ一連の静止画像を出力する。
一方、画像取得部270は、I/F部240が一連の静止画像を含む情報を取得した場合には、一連の静止画像を取得して、他の各機能部へこれを出力する。この際、一連の静止画像が生成された方法は問わない。例えば、撮像装置100が連写により静止画像を撮像して、一連の静止画像を生成したものであってもよいし、撮像装置100が動画像を撮影して、撮像装置100内で動画像から静止画像をサンプリングし、一連の静止画像を生成したものであってもよい。
サンプリング制御部272は、サンプリングレートを設定する。さらに、サンプリング制御部272は、撮像装置100が連写をすることにより静止画像を撮像する場合には、設定したサンプリングレートをシャッター速度や撮影間隔として用いるために、サンプリングレート等を撮像装置100のI/F部18に出力してもよい。
方向判定部210及びパノラマ画像生成部220、ガイダンス情報生成部250、画像取得部(サンプリング部)270の機能は、各種プロセッサ(CPU等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムなどにより実現できる。
最後に、提示部300は、画像処理システム200のI/F部240から得られるパノラマ画像等をユーザに提示する。提示部300は、表示部の他に、音出力部や振動部を含んでもよい。
また、撮像装置100が、画像処理機能を有するスマートカメラ等である場合には、図11に示すような構成例も可能である。
本実施形態では、撮像装置100は、撮像部12と、エンコーダ14と、動き情報取得部16と、I/F部18と、画像取得部(サンプリング部)270と、を含む。また、情報処理装置400は、方向判定部210と、パノラマ画像生成部220と、記憶部230と、I/F部240と、ガイダンス情報生成部250と、を含む。ただし、撮像装置100及び情報処理装置400は、図11の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
撮像装置100及び情報処理装置400に含まれる各部の機能は、上述したものと同様である。
本実施形態では、撮像装置100は、動画像を撮影する場合でも、動画像からサンプリングした静止画像のみを、情報処理装置400に通知すればよいため、データ転送量を抑えることが可能となる。
3.具体的な実施例
ここではパノラマ画像の生成元が動画像である場合の実施例について説明する。ただし、本発明のパノラマ画像の生成元は動画像に限定されない。パノラマ画像の生成元が連写された静止画像である場合も、下記の実施例と同様に、パノラマ画像を生成することが可能である。
ここではパノラマ画像の生成元が動画像である場合の実施例について説明する。ただし、本発明のパノラマ画像の生成元は動画像に限定されない。パノラマ画像の生成元が連写された静止画像である場合も、下記の実施例と同様に、パノラマ画像を生成することが可能である。
まず、本実施形態では、図3に示すような頭部装着型の撮像部CAMにより、視野に近い範囲で被写体を撮影し、動画を生成する。
頭部装着型の撮像部CAMを用いれば、風景を見回す時の首の動きに連動した動画像を簡単に撮影でき、見たままの風景に近いパノラマ画像を生成することができる。
本実施形態では、撮像部CAMの軌跡が自然になるように、ジグザグな軌跡を描くように撮像部CAMを移動させて、撮影を行うことにより、2次元的な広がりを持つパノラマ画像PIMを1本の動画から生成する。図3では、後述する第1のカメラ移動方向DR1に撮像部CAMを動かして撮影を行った後、後述する第3のカメラ移動方向DR3に撮像部を動かし、最後に後述する第2のカメラ移動方向DR2に撮像部CAMを動かして撮影を行っている。また、第2のカメラ移動方向DR2に撮像部CAMを移動させた後に、連続して他のカメラ移動方向に撮像部CAMを移動させて撮影を行っても良い。
なお、パノラマ画像の合成に用いる静止画像の抽出(サンプリング)および、パノラマ画像の生成は、撮像装置の内部で行ってもよいし、さらに通信部を設けて有線又は無線で接続されたコンピュータなどの画像処理システム上で行ってもよい。
次に、上述するように撮像部を移動させながら撮影を行ってパノラマ画像を生成する場合におけるパノラマ画像の生成処理について、図4を用いて説明する。まず、撮像部によって撮影された動画像の中から、静止画像の取得開始タイミングのフレームを特定し、取得開始タイミングのフレームを静止画像としてサンプリングする。図4では、取得開始タイミングに対応する静止画像を初期位置IPOに設定している。そして、所定のサンプリングレートに従って、動画像から静止画像をサンプリングしていき、第1のカメラ移動方向に撮像部を移動させた時に撮影された静止画像と、第2のカメラ移動方向に撮像部を移動させた時に撮影された静止画像が、REAのような重複領域を持つように、静止画像を合成して、パノラマ画像を生成する。この時、重複領域REAは、2つの静止画像を重ね合わせた時に、被写体の同一範囲が映された画素同士が、所定の距離範囲内に含まれるような領域である。すなわち、2つの静止画像に映された像の同じ部分が重なって、一つの連続的な静止画像になるように合成される。また、この際に、今回撮影した静止画像と前回撮影した静止画像(つまり、隣接する静止画像)の同一部分が重複するように、画像を重複させて合成する。例えば、R1のような部分である。
上述するような方法で、パノラマ画像を生成するためには、撮影した静止画像間に重複領域が存在する必要があるが、撮像部を移動させる方向などによっては、重複領域を確保することができない場合がある。
そこで、重複領域が存在するように撮像部を移動させるために、ユーザにガイダンス情報を提示する。
まず、ガイダンス情報を提示するための下準備として、後述するカメラ動き方向を利用して、パノラマ画像を生成する手法について、図5を用いて説明する。ここで、後述するように、カメラ動き方向とは、サンプリング間で撮像部が移動された方向のことをいう。
まず、第1のカメラ移動方向に撮像部が移動されている場合のカメラ動き方向を求める。図5では、m1~m6である。同様に、第3のカメラ移動方向に撮像部が移動されている場合にも、カメラ動き方向を求める。図5では、V1~V2である。
ここで、第3のカメラ移動方向に撮像部を動かし過ぎると、第1のカメラ移動方向に動かして撮影した静止画像と、第2のカメラ移動方向に動かして撮影した静止画像の重複領域が確保できなくなってしまう。そのため、第3のカメラ移動方向から第2のカメラ移動方向へカメラ移動方向を変更するためのガイダンスである移行ガイダンスが必要となる。図5では、重複領域の幅がREWとなるように、第3のカメラ移動方向から第2のカメラ移動方向にカメラ移動方向を変更している。
移行ガイダンスにより、カメラ移動方向を第2のカメラ移動方向に変更し、撮像部を移動させる場合においても、第3のカメラ移動方向へ誤って撮像部を移動させてしまうことがある。このような場合には、上記と同様に重複領域を確保することができない。
そこで、第2のカメラ移動方向へ移動させる際には、第1のカメラ移動方向へ撮像部を移動させている時に求めたカメラ動き方向を、逆時間順に読み出し、カメラ動き方向の逆方向(図5では、M1~M6。miの逆方向がM7-iである。iは1≦i≦6の整数。)に撮像部を動かすように誘導できれば、図5のREAのような重複領域を確保することができる。ここでは、このガイダンスを軌跡ガイダンスと呼ぶ。
なお、カメラ動き方向は、撮像部により撮影された動画像をエンコードするときに求められる動きベクトルや、加速度センサ、ジャイロセンサ等から得られるセンサ情報や内部カメラパラメータから得られる撮像範囲の情報から得る方法がある。エンコード時に求められる動きベクトルをカメラ動き方向として用いる手法は、センサを設ける必要がなく、撮像装置や情報処理装置の小型化に繋がる点で有効である。
次に、移行ガイダンスについて、図6(A)~図6(C)を用いて説明する。図6(A)は、フレームVF1を撮影した段階で、フレームVF2の撮影位置へ撮像部を移動させ、フレームVF2を撮影している時に、移行ガイダンスを行う様子を示している。図6(B)は、フレームVF1を撮影する時のHMDの提示部の様子を表しているが、この時には移行ガイダンスを表すアイコンGIM1が消灯されている。一方、図6(C)は、フレームVF2を撮影する時のHMDの提示部の様子を表しているが、この時には移行ガイダンスを表すアイコンGIM2が点滅して表示されており、カメラ移動方向の変更をユーザに促している。
移行ガイダンスを提示するか否かを判定する典型的な具体例としては、下記のような手法が考えられる。まず、第1のカメラ移動方向に撮像部を移動させて撮影が行われ、第3のカメラ移動方向へ撮像部を一定時間移動させられたことを、カメラ動き方向に基づいて検知した場合に、第3のカメラ移動方向にカメラ移動方向を変更した後の撮像部の移動量を求める。次に、求めた移動量分だけ撮像部が移動された場合に、撮像部を移動させる前後において同一範囲を映す画素の移動量を求める。そして、フレームVF1における第3のカメラ移動方向の長さの所定の割合、例えば80%を、画素の移動量が超えている場合に、第2のカメラ移動方向へカメラ移動方向を変更するようにガイダンスの提示を決定する。この場合には、第1のカメラ移動方向に移動させて撮影した静止画像と、第2のカメラ移動方向に移動させて撮影した静止画像とを、20%弱程度重複させて、パノラマ画像を生成することができる。
また、ガイダンス情報を提示する際には、矢印や色付きの図形、点滅する図形、バイブレータの振動パターン、骨伝導スピーカ等を利用する音声など、ユーザがガイダンス情報を注視していなくても、ガイダンス情報が提示されたことを認識しやすい情報を用いることが望ましい。
さらに具体的には、シースルーの表示部が設けられたHMDのような視野に情報を重畳できる携帯情報提示端末を用いる場合は、詳細な文字情報ではなく、上述した矢印や、色付きの図形、点滅する図形などの情報を表示することで、撮影の合間に横目で確認することができる。さらに、バイブレータの振動パターンなどのような目視の必要のないガイダンス情報を使うことも可能である。ただし、バイブレータは撮像部と一体化すると、像が乱れる可能性があるため、ケーブルや無線を介し分離しておくのが望ましい。具体的には、イヤホン型や撮像部と反対側に設ける方法などがある。また、骨伝導スピーカを用いれば、音声ガイダンスによる具体的な指示が可能となる。
これにより、ユーザは、ガイダンスに気をとられることなくガイダンス情報の内容を確認でき、撮影に集中することができる。また、ガイダンス情報の提示部と撮像部を一体化することにより、携帯性に優れ、素材となる静止画像の撮りこぼしが少ない画像処理システムを提供することができる。
次に、軌跡ガイダンスについて、図7を用いて説明する。
まず、第1のカメラ移動方向DRM1に撮像部が移動され、撮影が行われた場合に、図7に示すような静止画像FR1とFR2がサンプリングされた場合を考える。なお、PO1は静止画像FR1の中心点であり、PO2は静止画像FR2の中心点である。
ここで、隣接する静止画像FR1とFR2間でのカメラ動き方向をDR1として求める。DR1は、PO1からPO2までのベクトルである。
次に、第3のカメラ移動方向DRM3へ撮像部を移動させた後に、前述した方法で第2のカメラ移動方向DRM2へ撮像部を移動させる。
そして、第2のカメラ移動方向DRM2に撮像部を移動させる場合には、重複領域を確保するために、カメラ動き方向DR1と逆方向であるDR2の方向にカメラを移動させるように、軌跡ガイダンスを行う。軌跡ガイダンスにおけるガイダンス情報は、移行ガイダンスで用いた矢印画像などでもよい。
ただし、軌跡ガイダンスを行った場合においても、ユーザが撮像部を上手く移動させることができなかったり、手振れによって、撮像部の位置がずれてしまったりすることがある。図7では、その一例として、カメラ動き方向がDR3のようになってしまった場合を示している。本例のように、撮像部を移動させた時に撮影された動画像から静止画像をサンプリングすると、FR3とFR4のような静止画像が得られるが、軌跡ガイダンスで示したカメラ動き方向DR2とは異なる方向に撮像部を移動させたため、静止画像FR1とFR4において重複領域が確保できなくなってしまっている。
このような場合には、静止画像FR3の中心位置PO3からカメラ動き方向DR2の方向へ撮像部を移動させた時の本来の目標位置DSTPと、静止画像FR4の中心位置PO4と間のベクトルGIMを求め、このベクトルに基づいて、さらに軌跡ガイダンスを行ってもよい。
また、軌跡ガイダンスの他の実施例として、図8に示すように、静止画像FR1の撮影位置から軌跡ガイダンスを行い、静止画像FR2とFR3がサンプリングできる動画像を撮影できるように、撮像部を移動させることを考える。具体的には、静止画像FR1の中心位置PO1とFR2の中心位置PO2間のベクトルがDV12、PO2とFR3の中心位置PO3間のベクトルがDV23となるように軌跡ガイダンスを行う。
しかし、この場合にも、PO1から誤ってDVR12の軌跡を通って、PODが静止画像の中心位置になるように撮像部を移動させたとする。ここで、実際には軌跡ガイダンス通りに撮像部を移動させることは困難であるため、誤差許容範囲EPRを設け、EPR内にPODが含まれる場合は、DV12を用いた軌跡ガイダンスの目標が達成されたと判断する。本来ならば、静止画像FR2をサンプリングすることが望ましいが、PODを中心位置とする静止画像FRDをFR2の代替として用いる。そして、PODからPO2へのベクトルCVを求め、ベクトルCVとDV23により新たなベクトルDVN23を求め、DVN23に基づいて軌跡ガイダンスを行う。
次に、パノラマ画像PIMの合成に用いる静止画像の取得開始タイミングと取得終了タイミングを判定する手法について、図9を用いて説明する。
本例では、一定時間、同じ方向に撮像部の動きを検出すると、パノラマ画像を生成するための動画像の撮影を開始したと判断する。なお、撮影自体はそれ以前から継続的に行っていてもよく、フレームに取得開始タイミングをマーキングしてもよい。また、撮像部が一定時間、同じ方向に動いているか否かは、例えば、撮像部が移動される方向を表すベクトルである動きベクトルを求め、動きベクトルの水平成分と垂直成分のうち、どちらか一方の成分の絶対値が他方の成分の絶対値よりも、所定の時間連続して大きいか否かを判断することにより、判断する。
図9において、P1は撮影開始フレーム位置、P2は撮影開始を認識した時点でのフレーム位置である。撮影開始時には、一定時間同一方向への移動を検知した後、フレームP2の時点で撮影が開始されたと認識する。同一方向へカメラが移動され始めたのはP1なので、P1を撮影開始時点のフレームとみなし、P1まで時間を遡って記録を開始する。ここで、P1からP2までのフレームを一時的にバッファリングしておき、P1から撮影したフレームが格納された動画ファイルとして保存してもよいし、動画はストリーミング動画として、ある一定期間フレームをすべて保存しておき、開始フレームをマーキングするだけでもよい。
同様に、一定時間撮像部の動きを検出しなければ、撮影終了する。P3は撮影終了フレーム、P4は撮影終了を認識した時点でのフレームである。フレームP3からP4まででは、同様の不要フレームが複数撮影されることになるため、フレームP3まで時間を遡って動画ファイルを保存するか、終了フレームとしてフレームP3をマーキングするのが望ましい。あるいは、第2のカメラ移動方向に、第1のカメラ移動方向とほぼ同じ距離だけ撮影したと認識した時点で撮影を終了してもよい。さらに、カメラ移動方向を変更する回数をプリセットしておいてもよい。
これにより、余計な動作を伴わずに風景を見まわすという動作と連動して、撮影の開始および撮影の終了ができる。
4.本実施形態の手法
以上の本実施形態では、静止画像を連続して取得する画像取得部270と、撮影中の撮像部12が移動される方向であるカメラ移動方向を判定する方向判定部210と、連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部220と、を含む。そして、方向判定部210は、撮像部12を移動させながら撮影が行われる場合に、カメラ移動方向が第1のカメラ移動方向であるか、第1のカメラ移動方向と異なる方向である第2のカメラ移動方向であるかを判定する。さらに、パノラマ画像生成部220は、連続して取得された静止画像の撮影時におけるカメラ移動方向に基づいて、静止画像の合成位置を決定し、静止画像の合成処理を行い、パノラマ画像を生成する。
以上の本実施形態では、静止画像を連続して取得する画像取得部270と、撮影中の撮像部12が移動される方向であるカメラ移動方向を判定する方向判定部210と、連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部220と、を含む。そして、方向判定部210は、撮像部12を移動させながら撮影が行われる場合に、カメラ移動方向が第1のカメラ移動方向であるか、第1のカメラ移動方向と異なる方向である第2のカメラ移動方向であるかを判定する。さらに、パノラマ画像生成部220は、連続して取得された静止画像の撮影時におけるカメラ移動方向に基づいて、静止画像の合成位置を決定し、静止画像の合成処理を行い、パノラマ画像を生成する。
本実施形態では、撮像部が複数のカメラ移動方向に移動させられ、撮影が行われる場合に、パノラマ画像を生成するために用いる静止画像を連続して取得することができ、現在のカメラ移動方向を判定することができる。
ここで、静止画像を連続して取得するとは、撮像部が静止画像を撮像する場合には、撮像部を連続的に移動させながら、連写して撮像された静止画像を取得することをいう。また、静止画像を連続して取得するとは、撮像部が動画像を撮影する場合には、撮像部を連続的に移動させながら、撮影した動画像から静止画像を、画像取得部270がサンプリングして取得すること、または撮影した動画像から撮像部等の他機能部によってサンプリングされた静止画像を取得することをいう。
また、ここで、カメラ移動方向とは、撮像部を移動させる際に描く軌跡における任意の異なる二点間を結ぶベクトルの方向である。例えば、カメラ移動方向は、図3のDR1やDR2、DR3である。カメラ移動方向は、あらかじめ設定されたものであってもよい。また、後述する動き情報取得部により取得される撮像部の動き情報により表される動きベクトルの水平成分と垂直成分のどちらか一方の成分が、一定期間連続して大きい場合に、他方の成分よりも大きい一方の成分に対応する方向をカメラ移動方向として求めても良い。
また、ここでは、カメラ移動方向の一方向を第1のカメラ移動方向と呼び、第1のカメラ移動方向と異なる方向を第2のカメラ移動方向と呼ぶ。なお、カメラ移動方向は、第1のカメラ移動方向と第2のカメラ移動方向だけに限定されず、さらに複数のカメラ移動方向を考慮してもよい。
また本実施形態では、カメラ移動方向に基づいて、静止画像の合成位置を決定し、合成処理を行うことが可能となる。
ここで、合成処理とは、現時点までに合成処理を行った結果取得される画像と、新たに取得された静止画像とを重ね合わせて、1つの画像を生成する処理のことをいう。
また、合成位置とは、合成処理において、現時点までに合成処理を行った結果取得される画像に対する静止画像の相対的な位置のこという。
よって、撮像部を一つのカメラ移動方向に動かして生成したパノラマ画像よりも、複数の方向に対して画角の広いパノラマ画像を生成することが可能となる。
また、パノラマ画像生成部220は、前回の合成処理に用いた静止画像に対して、前回の静止画像を撮影した時のカメラ移動方向に重複領域を持つように、今回の静止画像の合成処理を行って、パノラマ画像を生成してもよい。
また、パノラマ画像生成部220は、最初の合成処理として、最初に取得された静止画像を基準位置に配置設定してもよい。そして、方向判定部210により、カメラ移動方向が第1のカメラ移動方向であると判定された場合には、前回の合成処理に用いた静止画像の第1のカメラ移動方向に重複領域を持つように、今回の静止画像の合成処理を行ってもよい。また、方向判定部210により、カメラ移動方向が第2のカメラ移動方向であると判定された場合には、前回の合成処理に用いた静止画像の第2のカメラ移動方向に重複領域を持つように、今回の静止画像の合成処理を行ってもよい。
ここで、重複領域とは、合成処理において、2つの画像が重畳される領域のことをいう。例えば、図4で言えば、R1のような部分である。
また、変形例として、方向判定部210が、カメラ移動方向に基づいて、各静止画像に合成位置を表すIDを割り当てておき、パノラマ画像生成部220は、割り当てられたIDに基づいて、静止画像を合成して、パノラマ画像を生成してもよい。
これにより、連続して取得された静止画像をカメラ移動方向側に次々に重畳して、合成処理を行うこと等が可能になる。
また、方向判定部210は、動き情報取得部16により取得される撮像部12の動き情報に基づいて、静止画像の撮像タイミング間において撮像部12が移動される方向であるカメラ動き方向を判定し、パノラマ画像生成部220は、カメラ動き方向に基づいて、静止画像の合成位置を決定し、静止画像の合成処理を行い、パノラマ画像を生成してもよい。
ここで、動き情報とは、動き情報取得部により得られるセンサ情報又は動きベクトルのことをいう。
また、静止画像の撮像タイミングとは、撮像部12が連写により静止画像を撮像する場合には、画像取得部270が取得した静止画像が実際に撮像されたタイミングのことをいい、撮像部12が動画像を撮像する場合には、撮像された動画像の各フレームのうち、サンプリングされる静止画像に対応するフレームが実際に撮像されたタイミングのことをいう。なお、静止画像の撮像タイミングは、画像取得部270が静止画像を取得するタイミングと異なっていても良い。
また、カメラ動き方向とは、静止画像の撮像タイミング間において撮像部が移動される方向である。なお、カメラ動き方向を表す情報のことをカメラ動き方向情報と呼ぶ。具体的には、図5のm1のベクトルが示す方向などである。
これにより、カメラ動き方向を判定することができ、カメラ動き方向に基づいて、静止画像の合成位置を決定すること等が可能となる。そして、カメラ移動方向に基づいて、合成位置を決定する場合に比べて、より撮像部の実際の動きに合った位置を合成位置とすること等が可能となる。
また、パノラマ画像生成部220は、前回の合成処理に用いた静止画像に対して、前回の静止画像を撮影した時のカメラ動き方向に重複領域を持つように、今回の静止画像の合成処理を行って、パノラマ画像を生成してもよい。
これにより、連続して取得された静止画像をカメラ動き方向側に次々に重畳して、合成処理を行うこと等が可能になる。
また、方向判定部210は、撮像部12を移動させながら撮影が行われる場合に、カメラ移動方向が第1のカメラ移動方向であるか、第2のカメラ移動方向であるか、若しくは第1のカメラ移動方向及び第2のカメラ移動方向と異なる方向である第3のカメラ移動方向であるかを判定してもよい。
ここで、第3のカメラ移動方向とは、第1のカメラ移動方向及び第2のカメラ移動方向と異なる方向である。例えば、図4ではDR3である。
これにより、ジグザグな軌道を描くように撮像部を移動させる場合に、パノラマ画像を生成すること等が可能になる。ジグザグな軌跡を描くように撮像部が移動され撮影が行われることで、複数の方向において、撮像部の画角よりも広い範囲を映したパノラマ画像を生成すること等が可能になる。また、第1のカメラ移動方向への撮影開始位置と第2のカメラ移動方向への撮影開始位置を合わせるような位置合わせ等のために、撮像部を移動させることがなく、ユーザの手間を省くこと等が可能となる。また、一度の動画撮影でパノラマ画像を生成するための素材を用意することができるため、さらにユーザの手間を省くこと等が可能となる。
また、撮像部12を移動させる方向をユーザに示す情報であるガイダンス情報を生成するガイダンス情報生成部250を含んでもよい。
ここで、ガイダンス情報とは、撮像部を移動させる方向をユーザに示す情報である。ガイダンス情報には、後述する移行ガイダンス情報と軌跡ガイダンス情報がある。
これにより、撮影時にユーザにガイダンス情報を提示すること等が可能になる。その結果として、撮影した静止画像間に重複領域が存在するように、ユーザが撮像部を移動させることが可能となり、静止画像間に重複領域が確保できなくなることを回避すること等が可能になる。
また、ガイダンス情報生成部250は、方向判定部210により、カメラ移動方向が第3のカメラ移動方向であると判定された場合に、第2のカメラ移動方向へ撮像部12を移動させることを促す情報である移行ガイダンス情報を、ガイダンス情報として生成してもよい。
ここで、移行ガイダンス情報とは、方向判定部により、カメラ移動方向が第3のカメラ移動方向であると判定された場合に、第2のカメラ移動方向へ撮像部を移動させることを促す情報である。例えば、図6のGIM2である。
これにより、第1のカメラ移動方向へ撮像部を移動させた時に撮影した静止画像と、第2のカメラ移動方向へ撮像部を移動させた時に撮影した静止画像との重複領域を確保できるように、ユーザにカメラ移動方向を第3のカメラ移動方向に切り替えるガイダンスを行うこと等が可能になる。
また、方向判定部210により、第1のカメラ移動方向から第3のカメラ移動方向へカメラ移動方向が切り替わったと判定された場合に、ガイダンス情報生成部250は、第3のカメラ移動方向への撮像部のカメラ移動量換算値を取得し、取得したカメラ移動量換算値が所定の閾値以上であるか否かを判定し、カメラ移動量換算値が所定の閾値以上であると判定した場合に、第2のカメラ移動方向へ撮像部を移動させることを促す移行ガイダンス情報を生成してもよい。
ここで、カメラ移動量換算値とは、撮像部の移動量を示す値として用いられる値である。カメラ移動量換算値は、実際に撮像部が移動された距離そのものでなくてもよいし、実際に撮像部が移動された距離そのものであってもよい。例えば、カメラ移動量換算値は、撮像部により撮像された複数の撮像画像を比較した際において、被写体の同一の範囲を表す画素が、撮像画像上で移動した画素数のことをいう。また、カメラ移動量換算値の他の具体例としては、動き情報取得部16によって得られる動き情報や、エンコーダ14から得られるエンコード情報等がある。
また、方向判定部210により、第1のカメラ移動方向から第3のカメラ移動方向へカメラ移動方向が切り替わったと判定された場合に、ガイダンス情報生成部250は、撮像部12により撮像される撮像画像を取得し、第3のカメラ移動方向へカメラ移動方向が切り替わってから、撮像画像における第3のカメラ移動方向の所定の画素数に相当するだけ撮像部12が移動されたか否かを判定し、撮像画像における第3のカメラ移動方向の所定の画素数に相当するだけ撮像部12が移動されたと判定した場合に、第2のカメラ移動方向へ撮像部12を移動させることを促す移行ガイダンス情報を生成してもよい。
ここで、撮像画像とは、撮像部により撮像される画像のことである。撮像部の移動量の計算に用いられる撮像画像として、画像取得部により連続して取得される静止画像を用いても良いし、パノラマ合成用の画像取得タイミングと異なるタイミングのフレームを取得して用いても良い。
これにより、例えば、撮像画像における第3のカメラ移動方向の所定の画素数によって、移行ガイダンス情報を提示するタイミングを制御すること等が可能になる。
また、静止画像の撮像タイミング間において撮像部12が移動される方向であるカメラ動き方向を表す情報であるカメラ動き方向情報を記憶する記憶部230を含み、方向判定部210は、動き情報取得部16により取得される撮像部12の動き情報に基づいて、カメラ動き方向を判定し、ガイダンス情報生成部250は、方向判定部210により、カメラ移動方向が第2のカメラ移動方向であると判定された場合に、第1のカメラ移動方向に撮像部12が移動されていた時のカメラ動き方向情報を記憶部230から逆時間順に読み出し、読み出されたカメラ動き方向情報により表されるカメラ動き方向とは逆の方向に撮像部12を移動させるようにユーザを誘導する情報である軌跡ガイダンス情報を、ガイダンス情報として生成してもよい。
ここで、軌跡ガイダンス情報とは、第2のカメラ移動方向へ撮像部を移動させる際に、撮像部を移動させる方向をユーザに示す情報である。例えば、図7のGIMのような情報である。
これにより、第2のカメラ移動方向に撮像部を移動させる場合に、第3のカメラ移動方向へ誤って撮像部を移動させてしまい、重複領域を確保できなくなることを防ぐこと等が可能となる。
また、ガイダンス情報生成部250は、生成された軌跡ガイダンス情報により表される撮像部12の目標位置を含む誤差許容距離範囲内に撮像部12が移動されたことを、動き情報に基づき判断した場合には、撮像部12が目標位置に到達したと判断し、撮像部12の次の目標位置を示す軌跡ガイダンス情報を提示部300に通知してもよい。
ここで、誤差許容距離範囲とは、所定の誤差許容度に基づいて設定され、撮像部の目標位置を含む所定の距離範囲である。例えば、図8のEPRである。
また、誤差許容度とは、撮像部の目標位置からのずれを許容する度合いのことをいう。
さらに、目標位置とは、現在の撮像部の位置から、第1のカメラ移動方向に撮像部が移動された時に取得されたカメラ動き方向情報により表されるベクトルとは逆方向に、同じ距離だけ撮像部を動かした位置のことをいう。例えば、図8のPO2やPO3である。
これにより、期待される位置へ撮像部を正確に移動させる必要がなくなり、誤差を許容しながら撮影を進めること等が可能となる。
また、ガイダンス情報生成部250は、誤差許容距離範囲内に撮像部12が移動された場合に、軌跡ガイダンス情報により表される撮像部12の目標位置と、移動後の撮像部12の実際の位置との差分情報を算出し、差分情報に基づいて、撮像部12の次の目標位置を示す軌跡ガイダンス情報を補正してもよい。
ここで、差分情報とは、撮像部の目標位置と実際の位置との差を表す情報である。例えば、図8では、差分情報はベクトルCVにより表されている。
これにより、蓄積した誤差を相殺しながら、軌跡ガイダンスを行うことができ、重複領域を確保しながら、撮影範囲にもれのないパノラマ画像を生成すること等が可能となる。
また、画像取得部270は、動き情報取得部16により取得される動き情報に基づいて、撮像部12が移動される方向を表すベクトルである動きベクトルを求め、動きベクトルの水平成分と垂直成分のうち、いずれか一方の成分の絶対値が他方の成分の絶対値よりも、所定の時間連続して大きいと判断した場合には、一方の成分の絶対値が他方の成分の絶対値よりも大きくなり始めたタイミングを、パノラマ画像を生成するために用いる静止画像の取得開始タイミングとして求めてもよい。
ここで、静止画像の取得開始タイミングとは、撮像部が静止画像を連写により撮像する場合には、静止画像を連続して撮像する各タイミングのうち、画像取得部がパノラマ画像を生成するための静止画像の取得を開始するタイミングのことをいう。すなわち、撮像部は、静止画像の取得開始タイミング前から、連続して静止画像を撮像しており、画像取得部は、取得開始タイミング以降に撮像された静止画像を取得して、パノラマ画像の生成に用いる。例えば、図9で言えば、撮像部は、P1から撮像を行っているが、P2の時点で同一方向に撮像部が移動されていると判断され、現在撮像部が移動されている方向に、移動され始めたタイミングであるP1の時点を、静止画像の取得開始タイミングとして求める。なお、この場合には、過去に撮像された静止画像を所定の枚数だけ記憶部230等に保存しておき、画像取得部270が記憶部230から静止画像を取得してもよい。
また、静止画像の取得開始タイミングは、撮像部が動画像を撮影する場合においては、パノラマ画像を生成するために静止画像をサンプリングする期間の開始点のこという。なお、動画像を撮影する場合でも連写の場合と同様に、静止画像の取得開始タイミングは、実際に動画像を撮影し始めるタイミングでなくてもよい。
これにより、ユーザが手などによる操作を行わなくても、HMDを装着して風景を見回すという行為に連動して、パノラマ画像の生成を開始すること等が可能になる。
また、画像取得部270は、動き情報取得部16により取得される動き情報に基づいて、撮像部12が移動される方向を表すベクトルである動きベクトルを求め、動きベクトルの大きさが所定の時間連続して所定の閾値以下であると判断した場合には、動きベクトルの大きさが所定の閾値以下となり始めたタイミングを、パノラマ画像を生成するために用いる静止画像の取得終了タイミングとして求めてもよい。
ここで、静止画像の取得終了タイミングとは、撮像部が静止画像を連写により撮像する場合には、静止画像を連続して撮像する各タイミングのうち、画像取得部がパノラマ画像を生成するための静止画像の取得を終了するタイミングのことをいう。すなわち、撮像部は、静止画像の取得終了タイミング後も、連続して静止画像を撮像していてもよく、画像取得部は、取得終了タイミングまでに撮像された静止画像を取得して、パノラマ画像の生成に用いる。例えば、図9で言えば、撮像部は、P4の時点においても撮像を行っているが、P4の時点で撮像部が移動されていないと判断され、撮像部の移動が停止したタイミングであるP3の時点を、静止画像の取得終了タイミングとして求める。
また、静止画像の取得終了タイミングは、撮像部が動画像を撮影する場合においては、パノラマ画像を生成するために静止画像をサンプリングする期間の終了点のこという。なお、動画像を撮影する場合でも連写の場合と同様に、静止画像の取得終了タイミングは、実際に動画像を撮影し終えるタイミングでなくてもよい。
これにより、ユーザが手などによる操作を行わなくても、HMDを装着して風景を見回すという行為に連動して、パノラマ画像の生成を終了すること等が可能になる。
また、撮像装置100が静止画像を撮像する速度(または撮像装置100が静止画像を動画像からサンプリングする速度、以下同じ)が、画像取得部270が静止画像を取得する速度よりも速い場合には、撮像装置100が取得した静止画像の一部が使用されず、無駄となる。一方、撮像装置100が静止画像を撮像する速度が、画像取得部270が静止画像を取得する速度よりも遅い場合には、画像取得部270は、パノラマ画像を生成するために必要十分な画像を取得することができない。
そこで、画像取得部270は、撮像部のシャッタータイミングを制御して、静止画像を連続して取得してもよい。
シャッタータイミングの制御は、サンプリング制御部272により設定されたサンプリングレート等の情報を撮像装置100に出力することにより行う。また、サンプリングレートの他にも、サンプリングレートに基づいて求めたシャッター速度や撮影間隔などの情報を撮像装置100に出力してもよい。
これにより、例えば、撮像部が撮像する静止画像の枚数と、画像取得部が取得する静止画像の枚数を一致させることが可能となり、無駄な静止画像を撮像させることを防止しつつ、必要な静止画像を取得すること等が可能になる。
なお本実施形態の情報処理装置等は、プログラム又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体により実現してもよい。この場合には、CPU等のプロセッサがプログラムを実行することで、本実施形態の情報処理装置等が実現される。具体的には情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをCPU等のプロセッサが実行する。ここで、情報記憶媒体(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(DVD、CD等)、HDD(ハードディスクドライブ)、或いはメモリ(カード型メモリ、ROM等)などにより実現できる。そしてCPU等のプロセッサは、情報記憶媒体に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
5.処理の流れ
以下では、図10のフローチャートを用いて、本実施形態の処理の流れについて説明する。なお、ここではパノラマ画像の生成元が動画像である場合の流れについて説明するが、本発明のパノラマ画像の生成元は動画像に限定されない。パノラマ画像の生成元が連写された静止画像である場合も、下記と同様の流れで、パノラマ画像を生成することが可能である。
以下では、図10のフローチャートを用いて、本実施形態の処理の流れについて説明する。なお、ここではパノラマ画像の生成元が動画像である場合の流れについて説明するが、本発明のパノラマ画像の生成元は動画像に限定されない。パノラマ画像の生成元が連写された静止画像である場合も、下記と同様の流れで、パノラマ画像を生成することが可能である。
初めに、第1のカメラ移動方向へ撮像部が移動され撮影が開始される(S1)。そして、撮影された動画像をエンコードする際に求められる動きベクトルを、撮像部の動き情報として取得し、取得した動き情報に基づいて、カメラ動き方向を求める(S2)。
次に、第3のカメラ移動方向へ撮像部が移動されたか否かを判断する(S3)。第3のカメラ移動方向に撮像部が移動されていないと判断する場合には、ステップS1の処理に戻る。一方、第3のカメラ移動方向に撮像部が移動されたと判断する場合には、第3のカメラ移動方向への移動量が所定の閾値を超えているか否かを判断する(S4)。第3のカメラ移動方向への移動量が所定の閾値を超えていないと判断する場合には、移動量が所定の閾値を超えるまで待機する。一方、第3のカメラ移動方向への移動量が所定の閾値を超えていると判断する場合には、移行ガイダンスを行う(S5)。この際に、現時点の撮像部により撮像される静止画像と、第1のカメラ移動方向へ撮像部が移動された時に撮像された静止画像との重複領域を算出し、重複領域の面積等と所定の閾値との比較を行う(S6)。その結果、重複領域の面積等が所定の閾値未満であると判断した場合には、ステップS5に戻り、重複領域の面積等が所定の閾値以上となるように、再度移行ガイダンスを行う。
一方、重複領域の面積等が所定の閾値以上であると判断した場合には、第1のカメラ移動方向に撮像部が移動された時のカメラ動き方向を逆時間順に取得する(S7)。そして、取得したカメラ動き方向の逆方向に基づいて、次に撮像部を動かす目標位置を決定し(S8)、設定された目標位置に撮像部を動かすように誘導する軌跡ガイダンスを行う(S9)。軌跡ガイダンスにて、軌跡ガイダンス情報を提示した後は、動き情報に基づいて撮像部が目標位置に到達したか否かを判断する(S10)。撮像部が目標位置に到達していないと判断する場合には、ステップS9から処理を繰り返す。一方、撮像部が目標位置に到達したと判断する場合には、第1のカメラ移動方向へ撮像部が移動された時のカメラ動き方向を全て取得したか否かを判断する(S11)。まだ、カメラ動き方向を全て取得していない場合には、ステップS7から処理を繰り返す。一方、カメラ動き方向を全て取得したと判断する場合には、動画像から静止画像をサンプリングし、静止画像の合成を行い、パノラマ画像を生成する(S12)。
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理システム、情報処理装置及びプログラムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
12 撮像部、14 エンコーダ、16 動き情報取得部、18 I/F部、
100 撮像装置、200 画像処理システム、210 方向判定部、
220 パノラマ画像生成部、230 記憶部、240 I/F部、
250 ガイダンス情報生成部、270 画像取得部(サンプリング部)、
272 サンプリング制御部、300 提示部、400 情報処理装置
100 撮像装置、200 画像処理システム、210 方向判定部、
220 パノラマ画像生成部、230 記憶部、240 I/F部、
250 ガイダンス情報生成部、270 画像取得部(サンプリング部)、
272 サンプリング制御部、300 提示部、400 情報処理装置
Claims (22)
- 静止画像を連続して取得する画像取得部と、
撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、
連続して取得された前記静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、
を含み、
前記方向判定部は、
前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第1のカメラ移動方向であるか、前記第1のカメラ移動方向と異なる方向である第2のカメラ移動方向であるかを判定し、
前記パノラマ画像生成部は、
連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする画像処理システム。 - 請求項1において、
前記パノラマ画像生成部は、
前回の前記合成処理に用いた前記静止画像に対して、前回の前記静止画像を撮影した時の前記カメラ移動方向に重複領域を持つように、今回の前記静止画像の前記合成処理を行って、前記パノラマ画像を生成することを特徴とする画像処理システム。 - 請求項1において、
前記方向判定部は、
動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、
前記パノラマ画像生成部は、
前記カメラ動き方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする画像処理システム。 - 請求項3において、
前記パノラマ画像生成部は、
前回の前記合成処理に用いた前記静止画像に対して、前回の前記静止画像を撮影した時の前記カメラ動き方向に重複領域を持つように、今回の前記静止画像の前記合成処理を行って、前記パノラマ画像を生成することを特徴とする画像処理システム。 - 請求項1乃至4のいずれかにおいて、
前記方向判定部は、
前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が前記第1のカメラ移動方向であるか、前記第2のカメラ移動方向であるか、若しくは前記第1のカメラ移動方向及び前記第2のカメラ移動方向と異なる方向である第3のカメラ移動方向であるかを判定することを特徴とする画像処理システム。 - 請求項5において、
前記撮像部を移動させる方向をユーザに示す情報であるガイダンス情報を生成するガイダンス情報生成部を含むことを特徴とする画像処理システム。 - 請求項6において、
前記ガイダンス情報生成部は、
前記方向判定部により、前記カメラ移動方向が前記第3のカメラ移動方向であると判定された場合に、前記第2のカメラ移動方向へ前記撮像部を移動させることを促す情報である移行ガイダンス情報を、前記ガイダンス情報として生成することを特徴とする画像処理システム。 - 請求項7において、
前記方向判定部により、前記第1のカメラ移動方向から前記第3のカメラ移動方向へ前記カメラ移動方向が切り替わったと判定された場合に、
前記ガイダンス情報生成部は、
前記第3のカメラ移動方向への前記撮像部のカメラ移動量換算値を取得し、取得した前記カメラ移動量換算値が所定の閾値以上であるか否かを判定し、
前記カメラ移動量換算値が前記所定の閾値以上であると判定した場合に、
前記第2のカメラ移動方向へ前記撮像部を移動させることを促す前記移行ガイダンス情報を生成することを特徴とする画像処理システム。 - 請求項6乃至8のいずれかにおいて、
前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を表す情報であるカメラ動き方向情報を記憶する記憶部を含み、
前記方向判定部は、
動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記カメラ動き方向を判定し、
前記ガイダンス情報生成部は、
前記方向判定部により、前記カメラ移動方向が前記第2のカメラ移動方向であると判定された場合に、前記第1のカメラ移動方向に前記撮像部が移動されていた時の前記カメラ動き方向情報を前記記憶部から逆時間順に読み出し、読み出された前記カメラ動き方向情報により表される前記カメラ動き方向とは逆の方向に前記撮像部を移動させるように前記ユーザを誘導する情報である軌跡ガイダンス情報を、前記ガイダンス情報として生成することを特徴とする画像処理システム。 - 請求項9において、
前記ガイダンス情報生成部は、
生成された前記軌跡ガイダンス情報により表される前記撮像部の目標位置を含む誤差許容距離範囲内に前記撮像部が移動されたことを、前記動き情報に基づき判断した場合には、前記撮像部が前記目標位置に到達したと判断し、前記撮像部の次の目標位置を示す前記軌跡ガイダンス情報を提示部に通知することを特徴とする画像処理システム。 - 請求項10において、
前記ガイダンス情報生成部は、
前記誤差許容距離範囲内に前記撮像部が移動された場合に、前記軌跡ガイダンス情報により表される前記撮像部の前記目標位置と、移動後の前記撮像部の実際の位置との差分情報を算出し、前記差分情報に基づいて、前記撮像部の次の前記目標位置を示す前記軌跡ガイダンス情報を補正することを特徴とする画像処理システム。 - 請求項1乃至11のいずれかにおいて、
前記画像取得部は、
動き情報取得部により取得される動き情報に基づいて、前記撮像部が移動される方向を表すベクトルである動きベクトルを求め、前記動きベクトルの水平成分と垂直成分のうち、いずれか一方の成分の絶対値が他方の成分の絶対値よりも、所定の時間連続して大きいと判断した場合には、一方の成分の絶対値が他方の成分の絶対値よりも大きくなり始めたタイミングを、前記パノラマ画像を生成するために用いる前記静止画像の取得開始タイミングとして求めることを特徴とする画像処理システム。 - 請求項1乃至12のいずれかにおいて、
前記画像取得部は、
動き情報取得部により取得される動き情報に基づいて、前記撮像部が移動される方向を表すベクトルである動きベクトルを求め、前記動きベクトルの大きさが所定の時間連続して所定の閾値以下であると判断した場合には、前記動きベクトルの大きさが所定の閾値以下となり始めたタイミングを、前記パノラマ画像を生成するために用いる前記静止画像の取得終了タイミングとして求めることを特徴とする画像処理システム。 - 請求項1乃至13のいずれかにおいて、
前記画像取得部は、
前記撮像部のシャッタータイミングを制御して、前記静止画像を連続して取得することを特徴とする画像処理システム。 - 撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、
画像取得部により連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、
連続して取得された前記静止画像と生成した前記パノラマ画像とを記憶する記憶部と、
を含み、
前記パノラマ画像生成部は、
第1のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第1のカメラ移動方向と異なる方向である第2のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像を撮影した時の前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする情報処理装置。 - 請求項15において、
前記方向判定部は、
動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、
前記記憶部は、
前記カメラ動き方向を表す情報であるカメラ動き方向情報を記憶し、
前記パノラマ画像生成部は、
前記カメラ動き方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする情報処理装置。 - 請求項15又は16において、
前記パノラマ画像生成部は、
前記第1のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第1のカメラ移動方向及び前記第2のカメラ移動方向と異なる方向である第3のカメラ移動方向に前記撮像部が移動させられ、前記第3のカメラ移動方向に前記撮像部を移動させられた後に、前記第2のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、
連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像の前記合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする情報処理装置。 - 請求項17において、
前記カメラ移動方向に基づいて、前記撮像部を移動させる方向をユーザに示す情報であるガイダンス情報を生成するガイダンス情報生成部を含むことを特徴とする情報処理装置。 - 請求項18において、
前記ガイダンス情報生成部は、
前記方向判定部により、前記カメラ移動方向が前記第3のカメラ移動方向であると判定された場合に、前記第2のカメラ移動方向へ前記撮像部を移動させることを促す情報である移行ガイダンス情報を、前記ガイダンス情報として生成することを特徴とする情報処理装置。 - 請求項18又は19において、
前記方向判定部は、
動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、
前記記憶部は、
前記カメラ動き方向を表す情報であるカメラ動き方向情報を記憶し、
前記ガイダンス情報生成部は、
前記方向判定部により、前記カメラ移動方向が前記第2のカメラ移動方向であると判定された場合に、前記第1のカメラ移動方向に前記撮像部が移動されていた時の前記カメラ動き方向情報を前記記憶部から逆時間順に読み出し、読み出された前記カメラ動き方向情報により表される前記カメラ動き方向とは逆の方向に前記撮像部を移動させるように前記ユーザを誘導する情報である軌跡ガイダンス情報を、前記ガイダンス情報として生成することを特徴とする情報処理装置。 - 撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、
画像取得部により連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部として、
コンピュータを機能させ、
前記パノラマ画像生成部は、
第1のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第1のカメラ移動方向と異なる方向である第2のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像を撮影した時の前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とするプログラム。 - 静止画像を連続して取得し、
撮影中の撮像部が移動される方向であるカメラ移動方向を判定し、
連続して取得された前記静止画像の合成処理を行い、パノラマ画像を生成すると共に、
前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第1のカメラ移動方向であるか、前記第1のカメラ移動方向と異なる方向である第2のカメラ移動方向であるかを判定し、
連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/165,113 US9781341B2 (en) | 2011-07-27 | 2014-01-27 | Image processing system, information processing device, information storage device, and image processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-164063 | 2011-07-27 | ||
JP2011164063A JP5965596B2 (ja) | 2011-07-27 | 2011-07-27 | 画像処理システム、情報処理装置及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/165,113 Continuation US9781341B2 (en) | 2011-07-27 | 2014-01-27 | Image processing system, information processing device, information storage device, and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013015147A1 true WO2013015147A1 (ja) | 2013-01-31 |
Family
ID=47600997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/068054 WO2013015147A1 (ja) | 2011-07-27 | 2012-07-17 | 画像処理システム、情報処理装置、プログラム及び画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9781341B2 (ja) |
JP (1) | JP5965596B2 (ja) |
WO (1) | WO2013015147A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015106186A (ja) * | 2013-11-28 | 2015-06-08 | 株式会社Jvcケンウッド | 画像接合装置、画像接合方法および画像接合プログラム |
US9781340B2 (en) | 2011-07-27 | 2017-10-03 | Olympus Corporation | Image processing system, information processing device, information storage device, and image processing method |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6039903B2 (ja) * | 2012-01-27 | 2016-12-07 | キヤノン株式会社 | 画像処理装置、及びその作動方法 |
JP6197749B2 (ja) | 2014-03-31 | 2017-09-20 | 株式会社Jvcケンウッド | 画像処理装置、画像処理方法、プログラム及びカメラ |
JP2016005263A (ja) * | 2014-06-19 | 2016-01-12 | Kddi株式会社 | 複数の撮影画像からパノラマ画像を生成する画像生成システム、端末、プログラム及び方法 |
JP6197771B2 (ja) | 2014-09-25 | 2017-09-20 | 株式会社Jvcケンウッド | 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム |
US9241104B1 (en) * | 2014-10-30 | 2016-01-19 | Htc Corporation | Panorama photographing method |
US9594980B1 (en) | 2015-01-19 | 2017-03-14 | Ricoh Co., Ltd. | Image acquisition user interface for linear panoramic image stitching |
US9626589B1 (en) | 2015-01-19 | 2017-04-18 | Ricoh Co., Ltd. | Preview image acquisition user interface for linear panoramic image stitching |
US20180063428A1 (en) * | 2016-09-01 | 2018-03-01 | ORBI, Inc. | System and method for virtual reality image and video capture and stitching |
US20180234674A1 (en) | 2017-02-14 | 2018-08-16 | Axon Enterprise, Inc. | Systems and methods for determining a field of view |
JP6905417B2 (ja) * | 2017-08-10 | 2021-07-21 | vizo株式会社 | 画像処理装置、画像処理方法、角度検出装置、角度検出方法及びプログラム |
CN109600543B (zh) | 2017-09-30 | 2021-01-22 | 京东方科技集团股份有限公司 | 用于移动设备拍摄全景图像的方法以及移动设备 |
TWI736052B (zh) * | 2018-12-21 | 2021-08-11 | 宏達國際電子股份有限公司 | 環境地圖建立方法以及其系統 |
JP2022516074A (ja) | 2018-12-27 | 2022-02-24 | マジック リープ, インコーポレイテッド | 仮想および拡張現実のためのシステムおよび方法 |
EP4046138A4 (en) | 2019-10-18 | 2022-12-07 | Magic Leap, Inc. | GRAVITY ESTIMATION AND BUNDLE ADJUSTMENT FOR VISUAL INERTIAL ODOMETRY |
WO2021161709A1 (ja) * | 2020-02-12 | 2021-08-19 | パイオニア株式会社 | 画像生成装置、画像生成方法、画像生成プログラム及び記録媒体 |
WO2024070729A1 (ja) * | 2022-09-28 | 2024-04-04 | パナソニックIpマネジメント株式会社 | 装着装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008087721A1 (ja) * | 2007-01-18 | 2008-07-24 | Fujitsu Limited | 画像合成装置、画像合成方法、プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3832895B2 (ja) * | 1996-05-28 | 2006-10-11 | キヤノン株式会社 | 画像合成装置及び画像合成システム |
JPH11352568A (ja) | 1998-06-11 | 1999-12-24 | Casio Comput Co Ltd | カメラ及びその制御方法 |
US6895126B2 (en) * | 2000-10-06 | 2005-05-17 | Enrico Di Bernardo | System and method for creating, storing, and utilizing composite images of a geographic location |
JP4818987B2 (ja) | 2007-05-21 | 2011-11-16 | オリンパスイメージング株式会社 | 撮像装置、表示方法、及びプログラム |
JP4922106B2 (ja) | 2007-08-30 | 2012-04-25 | オリンパスイメージング株式会社 | カメラ及びこれに適用されるパノラマ撮影ガイド表示方法,パノラマ撮影ガイド表示プログラム |
JP2009124340A (ja) | 2007-11-13 | 2009-06-04 | Fujifilm Corp | 撮像装置、撮影支援方法、及び撮影支援プログラム |
TW201122713A (en) * | 2009-02-27 | 2011-07-01 | Sony Corp | Imaging device and imaging method |
JP2011205573A (ja) * | 2010-03-26 | 2011-10-13 | Sony Corp | 制御装置、カメラシステム及びプログラム |
JP5996169B2 (ja) | 2011-07-27 | 2016-09-21 | オリンパス株式会社 | 画像処理システム、情報処理装置及びプログラム |
-
2011
- 2011-07-27 JP JP2011164063A patent/JP5965596B2/ja not_active Expired - Fee Related
-
2012
- 2012-07-17 WO PCT/JP2012/068054 patent/WO2013015147A1/ja active Application Filing
-
2014
- 2014-01-27 US US14/165,113 patent/US9781341B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008087721A1 (ja) * | 2007-01-18 | 2008-07-24 | Fujitsu Limited | 画像合成装置、画像合成方法、プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9781340B2 (en) | 2011-07-27 | 2017-10-03 | Olympus Corporation | Image processing system, information processing device, information storage device, and image processing method |
JP2015106186A (ja) * | 2013-11-28 | 2015-06-08 | 株式会社Jvcケンウッド | 画像接合装置、画像接合方法および画像接合プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5965596B2 (ja) | 2016-08-10 |
JP2013030875A (ja) | 2013-02-07 |
US9781341B2 (en) | 2017-10-03 |
US20140139621A1 (en) | 2014-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5965596B2 (ja) | 画像処理システム、情報処理装置及びプログラム | |
US11688034B2 (en) | Virtual lens simulation for video and photo cropping | |
CN107026973B (zh) | 图像处理装置、图像处理方法与摄影辅助器材 | |
JP5659305B2 (ja) | 画像生成装置および画像生成方法 | |
JP5659304B2 (ja) | 画像生成装置および画像生成方法 | |
JP5769813B2 (ja) | 画像生成装置および画像生成方法 | |
JP5865388B2 (ja) | 画像生成装置および画像生成方法 | |
JP5996169B2 (ja) | 画像処理システム、情報処理装置及びプログラム | |
US9712750B2 (en) | Display control device and associated methodology of identifying a subject in an image | |
CN110869878A (zh) | 用户信号处理方法及执行该方法的装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12817244 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12817244 Country of ref document: EP Kind code of ref document: A1 |