JP7013272B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP7013272B2 JP7013272B2 JP2018023276A JP2018023276A JP7013272B2 JP 7013272 B2 JP7013272 B2 JP 7013272B2 JP 2018023276 A JP2018023276 A JP 2018023276A JP 2018023276 A JP2018023276 A JP 2018023276A JP 7013272 B2 JP7013272 B2 JP 7013272B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- panoramic image
- aspect ratio
- size
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009966 trimming Methods 0.000 claims description 119
- 238000000034 method Methods 0.000 description 144
- 230000008569 process Effects 0.000 description 120
- 230000015654 memory Effects 0.000 description 52
- 238000004091 panning Methods 0.000 description 39
- 230000005236 sound signal Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 22
- 230000015572 biosynthetic process Effects 0.000 description 18
- 238000003786 synthesis reaction Methods 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000002955 isolation Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Editing Of Facsimile Originals (AREA)
- Television Signal Processing For Recording (AREA)
Description
本発明は、パノラマ画像を取り扱う画像処理装置に関する。
従来、デジタルカメラやスマートフォンにおいて、撮影した静止画像及び動画像を用いて一連のアルバム動画を作成し、家族や仲間と楽しむといったことが一般的に行われるようになってきた。アルバム動画を楽しむために、アルバム動画の素材となる静止画像及び動画像に文字データを付与したり、フェードなどのトランジションやBGMを併せて記録するなど趣向を凝らした効果が提供されている。
また、近年のデジタルカメラやスマートフォンにおいて、様々な撮影方法が提供されている。その中で、広い範囲に広がる風景を撮影するパノラマ撮影も広く利用されている。パノラマ撮影で撮影されるパノラマ画像は、通常撮影される静止画と大きく異なるアスペクトで記録される。パノラマ画像は、撮影時の周りの雰囲気全体を表現しており、アルバム動画の素材対象として適している。パノラマ画像をアルバム動画に取り込むために動画に変換する必要がある。特許文献1では、パノラマ画像からパノラマ画像全体を見渡すパンニング動画を作成する方法が記載されている。
パノラマ画像からパンニング動画を生成して再生することは有効な表現手段である。しかしながら、単純にパンニング動画生成するだけではパンニング動画の見栄えを損なってしまう場合がある。例えば、パノラマ画像を含む複数の画像を連続的に再生する場合、他のシーンの再生時間が4秒と決められている中、パンニング動画だけ4秒を大きく超えてしまうと、全体としての見栄えを損なってしまう。または、BGMがソローテンポな曲であるにもかかわらず、パンニング動画のスライド速度が速かったり、他のシーンとの差異が目立ち、アルバム動画の1シーンとしては適切とは言えず、その結果アルバム動画全体の見栄えが損なわれてしまうことが起こる。そこで、本願発明では、パノラマ画像から動画を生成する際に、状況に応じた動画の生成を行うことにより、見栄えのよい動画を生成することを目的とする。
上述の課題を解決するため、本発明の画像処理装置は、
パノラマ画像を取得する取得手段と、パノラマ画像に基づいて動画を生成する動画生成手段であって、パノラマ画像をトリミングする際のトリミング領域の位置を順次移動してトリミングし、位置を変更してトリミングした複数のトリミング画像が順次再生される動画を生成する動画生成手段と、を有し、動画生成手段は、パノラマ画像のアスペクト比または所定方向のサイズに応じて、パノラマ画像を所定のアスペクト比でトリミングするか、パノラマ画像を所定のアスペクト比と異なるアスペクト比でトリミングするかを切り替えることを特徴とする。
パノラマ画像を取得する取得手段と、パノラマ画像に基づいて動画を生成する動画生成手段であって、パノラマ画像をトリミングする際のトリミング領域の位置を順次移動してトリミングし、位置を変更してトリミングした複数のトリミング画像が順次再生される動画を生成する動画生成手段と、を有し、動画生成手段は、パノラマ画像のアスペクト比または所定方向のサイズに応じて、パノラマ画像を所定のアスペクト比でトリミングするか、パノラマ画像を所定のアスペクト比と異なるアスペクト比でトリミングするかを切り替えることを特徴とする。
または、本発明の画像処理装置は、
パノラマ画像を取得する取得手段と、パノラマ画像の一部領域をトリミングし、トリミングされた画像を表示するように制御する表示制御手段であって、パノラマ画像のトリミング領域の位置を順次移動してトリミングし、位置を変更してトリミングしたトリミング画像を順次表示させるように制御する表示制御手段と、を有し、表示制御手段は、パノラマ画像のアスペクト比または所定方向のサイズに応じて、パノラマ画像を所定のアスペクト比でトリミングするか、パノラマ画像を所定のアスペクト比と異なるアスペクト比でトリミングするかを切り替えることを特徴とする。
パノラマ画像を取得する取得手段と、パノラマ画像の一部領域をトリミングし、トリミングされた画像を表示するように制御する表示制御手段であって、パノラマ画像のトリミング領域の位置を順次移動してトリミングし、位置を変更してトリミングしたトリミング画像を順次表示させるように制御する表示制御手段と、を有し、表示制御手段は、パノラマ画像のアスペクト比または所定方向のサイズに応じて、パノラマ画像を所定のアスペクト比でトリミングするか、パノラマ画像を所定のアスペクト比と異なるアスペクト比でトリミングするかを切り替えることを特徴とする。
または、本発明の画像処理装置は、
パノラマ画像を取得する取得手段と、パノラマ画像の一部をトリミングし、トリミングした画像からパノラマ画像に対応する動画を生成する動画生成手段であって、トリミング領域の位置を所定の方向に順次移動することにより、再生される領域がパノラマ画像内で所定方向に移動する動画を生成する動画生成手段と、パノラマ画像が所定の条件を満たしている場合には、所定のアスペクト比でパノラマ画像をトリミングし、パノラマ画像が所定の条件を満たさない場合には、所定のアスペクト比と異なるアスペクト比でトリミングするように動画生成手段を制御する制御手段と、を有することを特徴とする。
パノラマ画像を取得する取得手段と、パノラマ画像の一部をトリミングし、トリミングした画像からパノラマ画像に対応する動画を生成する動画生成手段であって、トリミング領域の位置を所定の方向に順次移動することにより、再生される領域がパノラマ画像内で所定方向に移動する動画を生成する動画生成手段と、パノラマ画像が所定の条件を満たしている場合には、所定のアスペクト比でパノラマ画像をトリミングし、パノラマ画像が所定の条件を満たさない場合には、所定のアスペクト比と異なるアスペクト比でトリミングするように動画生成手段を制御する制御手段と、を有することを特徴とする。
本発明によれば、パノラマ画像から適切な動画を生成することができる。
[実施例1]
本実施例では撮像装置としてのデジタルカメラを例にとって説明するが、これ以外にもカメラ付き携帯電話などであってもよい。或いは、撮像装置で撮影した画像を記録媒体、または、通信を介して取得可能な情報処理装置、画像処理装置等で実現してもよい。
本実施例では撮像装置としてのデジタルカメラを例にとって説明するが、これ以外にもカメラ付き携帯電話などであってもよい。或いは、撮像装置で撮影した画像を記録媒体、または、通信を介して取得可能な情報処理装置、画像処理装置等で実現してもよい。
以下、図1を用いて、本実施例の撮像装置(デジタルカメラ)100の主要な構成を説明する。
図1において、制御部101は、例えば、CPU(MPU)、メモリ(DRAM、SRAM)、不揮発性メモリ(EEPROM)などから構成される。そして、不揮発性メモリ(EEPROM)からプログラムを読み出し、読み出したプログラムに基づいて各種処理を実行して撮像装置100の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。また、制御部101は、ユーザからの操作を受け付ける操作部102からの操作信号に応じて、撮像装置100の各ブロックを制御する。また、制御部101は、後述の画像処理部111によって得られた画像を解析し、その解析結果に応じて、撮像装置100の各ブロックを制御する。
操作部102は、例えば、電源ボタン、シャッターボタン(SW1,SW2)、動画記録開始ボタン、ズーム調整ボタン、オートフォーカスボタンなどの撮影に関連する各種操作を入力するスイッチ類からなる。また、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等からなり、ユーザによりこれらのキーやボタンが操作されると制御部101に操作信号を送信する。
また、バス103は、各種データ、制御信号、指示信号などを撮像装置100の各ブロックに送るための汎用バスである。
不揮発性メモリ105は、電気的に消去・記録可能なメモリであり、制御部101の動作用の定数、プログラム等が記憶される。
撮像部110は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、CCDセンサやCMOSセンサ等の撮像素子により画像信号に変換し、アナログデジタル変換をして、画像処理部111に送信する。
画像処理部111は、入力されたデジタル画像信号に、設定値に基づいてホワイトバランスや色、明るさなどを調整する画質調整処理を行う。そして、画像処理部111で処理された画像信号は、制御部101により、メモリ104や後述の映像出力部150や表示制御部131に送信される。
本実施例においては、例えば、撮像部110は、「光学ズーム」機能、「光学防振」機能を有し、画像処理部111は、「電子ズーム」機能、「電子防振」機能を有している。ここで、「光学ズーム」機能、「電子ズーム」機能は、ユーザの操作に応じて、得られる画像を拡大する機能である。また、「光学防振」機能、「電子防振」機能は、撮像装置100本体の振動による画像の揺れを防止する機能である。そして、これらの機能は、制御部101の制御の元、同時に使用されたり交互に使用されたり、単独で使用されたりする。
ここで、「光学ズーム」機能とは、ユーザにより操作部102のズームキーが操作されたことに応じて、撮像部110のレンズを移動させ、取り込まれる被写体の光学像を拡大/縮小する機能である。また、「電子ズーム」機能とは、ユーザにより操作部102のズームキーが操作されたことに応じて、画像処理部111が、撮像部110により生成された画像のうち一部を切り出した画像を拡大した画像信号を生成する処理である。また、「光学防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、レンズの移動量を算出し、レンズを移動させることで、取得される画像の揺れを防止する機能である。また、「電子防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、撮像部110により取得された画像信号の位置を調整することにより、画像の揺れを防止する機能である。また、「電子防振」機能は、不図示の振動検出部からの加速度信号の値に基づいて、撮像部110の撮像素子における読み出し位置をずらすことによっても実現できる。これらの機能は公知の技術であるため、詳細な説明は省略する。
また、音声入力部120は、例えば、内蔵された無指向性のマイクまたは音声入力端子を介して接続された外部マイク等により、撮像装置100の周囲の音声を集音(収音)し、アナログデジタル変換をして音声処理部121に送信する。音声処理部121は、入力されたデジタル音声信号のレベルの適正化処理等の音声に関する処理を行う。そして、音声処理部121で処理された音声信号は、制御部101によりメモリ104に送信される。メモリ104は、画像処理部111、音声処理部121により得られた画像信号及び音声信号を一時的に記憶する。
画像処理部111及び音声処理部121は、メモリ104に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号等を生成する。制御部101は、これらの圧縮画像信号、圧縮音声信号を、記録再生部140に送信する。
記録再生部140は、記録媒体141に対して画像処理部111及び音声処理部121で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、制御部101は、音声処理部121により生成された音声信号と画像処理部111により生成された圧縮画像信号とを、記録再生部140に送信し記録媒体141に記録させる。
記録媒体141は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。記録媒体141には、撮像装置100で生成した圧縮画像信号、圧縮音声信号、音声信号、後述するBGMデータを含む各種データなどを記録することができ、不揮発性メモリ105よりも大容量な媒体が一般的に使用される。例えば、記録媒体141は、ハードディスク、光ディスク、光磁気ディスク、CD-R、DVD-R、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。
また、記録再生部140は、記録媒体141に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す(再生する)。そして読み出した圧縮画像信号、圧縮音声信号を、制御部101は画像処理部111及び音声処理部121に送信する。画像処理部111及び音声処理部121は、圧縮画像信号、圧縮音声信号を一時的にメモリ104に記憶させ、所定の手順で復号し、復号した音声信号を音声出力部151へ、復号化した画像信号を映像出力部150や表示制御部131に送信する。また、音声信号が記録媒体141に非圧縮記録されている場合には、制御部101は、音声信号を直接音声出力部151に送信する。
音声出力部151は、例えば音声出力端子からなり、接続されたイヤホンやスピーカなどから音声を出力させるために音声信号を送信する。また、音声出力部151は、撮像装置100に内蔵され、音声信号にかかる音声を出力するスピーカであってもよい。映像出力部150は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部151、映像出力部150は、統合された1つの端子、例えばHDMI(High-Definition Multimedia Interface)(登録商標)端子のような端子であってもよい。
また、表示制御部131は、画像処理部111から送信された画像信号による映像や、撮像装置100の操作をするための操作画面(メニュー画面)等を表示部130に表示させる。表示部130は、例えば、液晶ディスプレイ、有機ELディスプレイ、電子ペーパー等の表示デバイスであれば何でもよい。
通信部152は、撮像装置100と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンド等の、撮影にかかる制御信号や、その他の情報を送信したり受信したりする。通信部152は、例えば、赤外線通信モジュール、Bluetooth(登録商標)通信モジュール、無線LAN通信モジュール、WirelessUSB、GPS受信機等の無線通信モジュールである。
ここで、本実施例の撮像装置100の通常の動作について説明する。
本実施例の撮像装置100は、ユーザが操作部102の電源ボタンを操作すると、操作部102から制御部101に起動の指示が出される。この指示を受けて、制御部101は、不図示の電源供給部を制御して、撮像装置100の各ブロックに対して電源を供給させる。
電源が供給されると、制御部101は、例えば、操作部102のモード切り換えスイッチが、例えば、静止画撮影モード、動画撮影モード、再生モード等のどのモードであるかを操作部102からの指示信号により確認する。
静止画撮影モードでは、撮像装置100は撮影待機状態でユーザが操作部102の静止画記録ボタンを操作することで撮影を行い、圧縮画像信号が記録媒体141に記録される。そして再び撮影待機状態になる。動画撮影モードでは、撮像装置100は撮影待機状態でユーザが操作部102の動画記録開始ボタンを操作することで撮影を開始し、その間、圧縮画像信号と圧縮音声信号または音声信号が記録媒体141に記録される。そしてユーザが操作部102の動画記録終了ボタンを操作することで撮影を終了し、再び撮影待機状態になる。再生モードでは、ユーザが選択したファイルに関する圧縮画像信号や圧縮音声信号または音声信号を記録媒体141から再生して、音声出力部151から音声信号を出力し、表示部130に映像を表示させる。
以下、撮像装置100における各種処理について、図2、5,6,7、8,9、11,12のフローチャートを参照して説明する。これらのフローチャートの処理については、制御部101が、不揮発性メモリ105から読み出したプログラムに基づいて、制御部101により実行される。
図2は、パノラマ撮影モードにおけるパノラマ画像の撮影処理。パノラマ撮影モードにおけるパノラマ画像の撮影処理を示すフローチャートである。
撮像装置100では、操作部102に含まれるモード切り替えスイッチを切り替えることで、SW2を押し続けながら撮像装置100を左から右へ移動さることによってパノラマ画像を記録するパノラマ撮影モードを選択することができる。本実施形態では、左から右に移動させることとしたが、右から左や、上下に移動させて撮影するようにしてもよい。
また、パノラマ撮影モードにおける撮像装置100の動作を図示したものが図3である。
パノラマ撮影モードでは、図3のように、301から30Nの状態まで撮像装置100を右に移動しながら連続撮影をおこなう。この時撮影される画像がP(0)~P(N)である。この複数枚連続撮影された画像の前後の画像P(n)、P(n-1)の位置合わせを行い結合し続けることによって、最終的にパノラマ画像301を記録することができる。
パノラマ撮影モードでは、ステップS201にて、制御部101は、SW1が押下されたか確認をおこない、押下されていればステップS202に進みそうでなければ、再びステップS201に戻る。
SW1が押下された場合、ステップS202では、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理を実行するように、制御部101が各ブロックに指示する。
ステップS203では、制御部101は、SW1が押下中であるか確認をおこない、押下されていればステップS204に進みそうでなければ、再びステップS201に戻る。
ステップS204では、制御部101は、SW2が押下されたか確認をおこない、押下されていればステップS205に進みそうでなければ、ステップS203に戻る。
ステップS205にて、制御部101は、パノラマ撮影モードでの1つのパノラマ画像の撮影時に、画像が撮像された回数を示す変数nを0に初期化する。
ステップS206では撮影処理をおこない、制御部101が撮像部110から得られた画像P(n)を画像処理部111で画像処理を施した後にメモリ104に格納する。
ステップS207では、nが0でないか比較し、0であればステップS211に進み、そうでなければステップS208へと進む。ここでは、nが0である場合を想定してステップS211に進む。
ステップS211では、撮影数を示す変数nに1加える。
ステップS212では、nが所定数に達したか確認をおこない、達していればステップS213へと進む。そうでなければステップS206へと戻る。この所定数は、1つのパノラマ画像の撮影時に画像を撮影可能な最大回数であり、記録サイズや、メモリの容量等によって予め設定しておく。
ステップS213では、SW2が押下され続けているか確認をおこない、押下されていればステップS206へ進む。そうでなければステップS214へ進む。
続いて、ステップS207でnが1以上の場合に行う、ステップS208~ステップS210の処理について説明をおこなう。
ステップS208では、メモリ104に格納されている、撮影した最新の画像P(n)と、1回前に撮影した画像P(n-1)の画像の位置合わせ処理を画像処理部111にて行う。
位置合わせ処理の例を図示したものが図4である。まず、位置合わせ処理では、新たに撮影したP(n)上の12個のブロックB(n)[n=0~11]を設定する。B(n)は、P(n-1)と重なる領域が含まれるように、パノラマ撮影におけるカメラの移動方向と逆方向の端部側の領域、つまり、本実施形態では、左から右にカメラを移動して撮影するので、P(n)の右側の領域に設定される。そして、B(n)それぞれの領域が、前に撮影したP(n-1)上のどの位置に対応するか(以下、対応ブロック位置と称す)探索をおこなう。
対応ブロック位置の決定方法としては、ブロックの領域の画素の高周波成分の差分が最小となる個所を対応ブロック位置とする方法や、画素の差分絶対値の和が最小となるものを対応ブロック位置とする方法等を用いる。
対応ブロック位置の理想的な探索結果B’(n)を示したものが図4(2)である。図4(2)は理想的な探索結果を図示しており、各ブロックの位置関係がP(n)上の位置関係と同様に等間隔になっている。しかしながら、一般的には、撮影中に被写体が動作中であったり、撮像装置のランダムノイズなどが影響することにより理想的な形にはならない。
対応ブロック位置の実際の探索結果B’’(n)を図示したものが図4(3)である。このような場合は、相対的な位置が大きくずれた個所を除外して、位置関係がずれていない太字のブロックのみを用いて位置決めをおこなう。
ステップS209では、ステップS208で探索したブロックで相対的な位置関係がずれていないブロックの個数を合成信頼度としてメモリ104に記憶する。つまり、合成信頼度とは、合成する2枚の画像間の合成箇所を、ブロックごとにパターンマッチングして類似度を算出し、類似度が所定値以上となった、合成時に位置決めに使用されるブロックの数のことである。位置関係がずれていない位置決めに使用されたブロックの個数が多いほど結合が正しくできたものと判断可能である。そのため、合成時に位置決めに使用される位置関係がずれていないブロックの個数は合成処理がどれほどの精度で正しくなされたかを示す数値であると考えることができる。
ステップS210では、ステップS208の位置合わせの結果を元に合成をおこない、P(n-1)としてメモリ104に格納する。
こうして得られメモリ104に格納された画像が、S213においてSW2がOFFになったと判断されると、ステップS214にてJPEG画像として外部記録媒体141に記録する。ステップS209で得られた合成信頼度の情報も画像と共に画像情報(属性情報)として記録される。
以上のように、パノラマ画像の撮影を行う。
次に図5を用いて再生モード処理について説明する。
ステップS501では、制御部101は、記録媒体141から記録媒体141に記録されている画像の画像情報を取得しメモリ104に記憶する。そして、記録媒体141から最新の画像を読み出して最新画像を表示部130に表示し、ステップS502へ進む。
ステップS502では、制御部101は、操作部102のアルバムボタンが押下されたか否かの判定を行う。アルバムボタンが押下されたと判定した場合、ステップS503へ進み、アルバムボタンが押下されていないと判定した場合はステップS507へ進む。
ステップS503では、制御部101は、図13の1301のようなアルバム選択画面を表示する。アルバム選択画面では、「イベント」「日付」「人物」「カスタム」の4つのアルバム選択アイコンの中から、1つを選択することにより、アルバムの再生対象とする画像の条件を選択できる。「イベント」を選択すると、現在表示部130に表示している画像の撮影日を基準として、数日間に撮影された画像をアルバム再生対象画像の選択条件とする。「日付」を選択すると、現在表示部130に表示している画像と同じ撮影日の画像をアルバム再生対象画像の選択条件とする。「人物」を選択すると、現在表示部130に表示している画像から人物を検出し、検出した人物と同じ人物が含まれる画像、または、関連する人物が含まれる画像をアルバム再生対象画像の選択条件とする。「カスタム」を選択すると、ユーザに日付、画像、人物等を選択させ、選択された日付、画像、人物に従って、アルバム再生対象画像の選択条件を決定する。
なお、本実施形態では、アルバムの対象となることが可能なアルバム対象画像は、撮像装置100で自己録された静止画、動画とするため、S501で取得した画像情報を用いて、予めアルバム対象画像が存在するか否かの判定を行ってもよい。アルバム対象画像が存在しないと判定された場合、アルバム選択画面のアルバム選択アイコンをグレーアウト表示してもよい。また、現在表示中の画像と同じ撮影日のアルバム対象画像が所定数よりも少ない場合には「日付」アイコンをグレーアウトしたり、現在表示中の画像に含まれる人物を有するアルバム対象画像が所定数よりも少ない場合には「人物」アイコンをグレーアウトしてもよい。
ステップS504では、制御部101は、操作部102を用いて、アルバム選択画面において作成するアルバムが選択されたか否かの判定を行う。アルバムが選択された場合、ステップS505へ進み、アルバムが選択されない場合はS506へ進む。
ステップS505では、制御部101において、アルバム作成を行い、ステップS506へ進む。アルバム作成処理に関しては図6において説明する。
ステップS506では、制御部101は、アルバム選択画面において「終了」が選択されたか、つまり、アルバムモードを終了するか否かの判定を行う。アルバムモードを終了する場合、ステップS507へ進み、アルバムモード終了しない場合ステップS503へ進む。
ステップS507では、制御部101は、ユーザから再生モードの終了の操作を受け付けて、再生モード終了か否かの判定を行う。再生モードが終了する場合、再生モードを終了し、再生モードを終了しない場合ステップS508へ進む。
ステップS508では、制御部101は、操作部102より指示されたその他の再生処理を行いステップS502へ進む。その他処理は、例えば、表示部130に表示される画像を切り替える画像送り処理や、動画の再生処理、画像消去、画像編集、画像送信等である。
以上のように、再生モード処理を行う。
次に図6を用いて、ステップS505で実行されるアルバム作成処理について説明する。
ステップS601では、制御部101は、メモリ104に読み込まれたアルバム対象画像を用いて、シナリオ作成処理を行い、作成したシナリオをメモリ104に記録する。シナリオ作成処理では、まずは、アルバム動画に用いる静止画及び動画像を選抜する。前に説明したように、「日付」でアルバム動画を作成する場合は、その日付に撮影された画像を選抜し、「人物」でアルバム動画を作成する場合は、その人物が被写体として撮影されたことが画像の画像情報に記録されている画像を選抜する。「イベント」でアルバム動画を作成する場合は、表示画像の撮影日を基準として数日間に撮影された画像を選抜する。そして、ユーザがアルバム動画の作成で「カスタム」を選んだ場合は、ユーザが選択した画像を選抜画像とする。
画像の選抜が終了したら、アルバムとして選抜された画像の再生順(表示順)を決定し、図15のようなシナリオを作成する。シナリオには、再生対象の画像毎に、シーン番号1501、ファイル情報1502、チャプタ1503、フレーム数1504、画像サイズ1505、パノラマ画像フラグ1506等が再生順で記載される。シーン番号1501は、画像の再生順を示しており、1から始まる。ファイル情報1502は、再生対象の画像を特定するための情報が記載されており、本実施形態では、画像のファイルパスが記録されている。ファイルパスでなく、画像が特定できる、ハンドルや識別IDなどをファイル情報1502として記録してもよい。チャプタ1503には、再生対象の画像が動画の場合に、再生対象とするチャプタの番号が記載される。静止画の場合には記載されない。このように、動画については、再生対象として、動画全体ではなく、チャプタ毎に再生対象を指定する。フレーム数1504には、再生する際のフレーム数が記載される。動画のチャプタが再生対象として指定されている場合は、そのチャプタのフレーム数がフレーム数1504に記録される。静止画の場合は、通常の画像の場合は60、パノラマ画像の場合は120とする。本実施形態では、アルバム動画の再生および記録は、30fpsのフレームレートで行われる。つまり、通常の静止画の場合は2秒間再生され、パノラマ画像の場合は、4秒間再生されることになる。縦横サイズ1505には、再生対象の画像の縦横のサイズが記載される。パノラマ画像フラグ1506には、再生対象の画像がパノラマ画像であるかを示す情報が記載される。このようなシナリオを作成することにより、再生対象となる画像について、再生順、再生時間、動画については再生対象となるチャプタを指定することができる。また、これらの情報の他にも、シナリオ全体の情報として、BGM設定の情報や、シナリオ全体のフレーム数の情報も記録する。
ステップS602では、制御部101は、図13(1305)のアルバム設定変更メニュー1305を表示部130に表示させる。
ステップS603、S605、S608、S610では、アルバム設定変更メニューでの操作部102への操作を監視し、アルバム動画作成1306、BGM設定1307、プレビュー再生1308、終了1309のうちのいずれかが選択されたことを判定する。いずれかが選択されるまで、ステップS603、S605、S608、S610の処理を繰り返す。ステップS603で、BGM設定1307が選択されたと判定した場合、S604へ進む。
ステップS604では、制御部101はBGM設定を行う。撮像装置100の記録媒体141に予め記録されている複数のBGMからアルバム動画に合成するBGMを選択したり、動画の音声とBGMとをミックスする際の音声合成率などを選択したりする。設定した内容は、シナリオに記録し、その後、ステップS603に戻る。このときBGM設定の付属情報を併せてシナリオに記録する。BGMの付属情報とは、BGMがどのような曲、例えば、スローな曲、テンポの速い曲、さらには、曲の再生時間、音声合成率などを設定する。
ステップS605で、アルバム動画保存1306が選択されたと判定された場合、ステップS606へ進む。
ステップS606では、ステップS601で作成したシナリオに基づきアルバム動画保存を行う。アルバム動画保存処理について図7で説明する。アルバム動画保存が完了すると、制御部101は再生モードへ遷移するように制御し(ステップS607)、アルバム作成処理を終了する。
ステップS608で、アルバム再生1308が選択されたと判定された場合、ステップS609へ進む。ステップS609では、シナリオに基づいて、アルバム動画の再生を行う。
ステップS610で、終了1309が選択されたと判定された場合、制御部101は、再生モードへ遷移するように制御し(ステップS607)、アルバム作成処理を終了する。
次に図7を用いて、アルバム動画保存処理について説明する。
ます、ステップS701では、制御部101は、アルバム動画用の動画ファイルを新規作成し、記録再生部140により、新規動画ファイルを記録媒体141に記録させる。
ステップS702では、制御部101は、ステップS601で作成しメモリ104に記録されているシナリオから、シーン番号が1のシナリオ情報を読み出す。そして、読み出したシーン番号のシナリオ情報に基づいて、ステップS703~S706の処理を実行する。
ステップS703は、制御部101は、シナリオ情報に記載されているファイル情報から、再生対象の画像ファイルを特定し、再生対象の画像ファイルがJEPG(静止画)ファイルであるかMP4(動画)ファイルであるかを判断する。JEPGファイルであった場合はステップS704へ進み、そうでなければ動画のMP4ファイルのため、ステップS705へとすすむ。
ステップS704では、制御部101は、シナリオ情報に記載されているファイル情報で特定された再生対象のJPEGファイルについて、JPEGファイルのデータをアルバム動画用ファイルに追記する処理を実行し、ステップS706へ進む。JPEGファイルのデータをアルバム動画用ファイルに追記する処理は図8で詳細に説明する。
ステップS705では、制御部101は、シナリオ情報に記載されているファイル情報で特定された再生対象のMP4ファイルについて、JPEGファイルのデータをアルバム動画用ファイルに追記する処理を実行し、ステップS706へ進む。MP4ファイルのデータをアルバム動画用ファイルに追記する処理を実行しは図11で詳細に説明する。
本実施形態では、シナリオで再生対象として指定された画像データ(静止画、動画)について、アルバム動画用ファイルに順次追記していくことにより、アルバム動画データを生成するものとした。しかし、シナリオで再生対象として指定された画像データから、それぞれ動画データを生成し、生成した動画を結合してアルバム動画ファイルを作成するようにしてもよい。
ステップS706では、制御部101は、メモリ104に記録されているシナリオに、次のシーン番号のシナリオ情報があるかを判断する。次のシーン番号のシナリオ情報があると判定された場合は、ステップS707で次のシーン番号のシナリオ情報を読み出し、読み出したシナリオ情報に基づいて、ステップS703~S705の処理を実行する。次のシーン番号のシナリオ情報がなくなるまで、ステップS703~S707の処理を繰り返す。そして、次のシーン番号のシナリオ情報がなくなったと判定された場合、アルバム動画の生成が完了していることになるので、ステップS708に進む。
ステップS708では、制御部101は、ステップS601で作成されメモリ104に記録されたシナリオに記載されているBGMの設定に関する情報に従って、BGMを合成するか否かの判定を行う。BGMを合成すると判定した場合はステップS709へ進み、合成しないと判定した場合はアルバム動画保存処理を終了する。
ステップS709では、ステップS708で生成が完了したアルバム動画のMP4ファイルにBGMデータの合成を行うBGM合成処理を実行してから、アルバム動画保存処理を終了する。BGM合成処理については、図12で詳細に説明する。
次に図8を用いてステップS704の、JPEGファイルのデータをアルバム動画用ファイルに追記する処理について説明する。
ステップS801では、ファイル情報1502から特定されるJPEGファイルを記録媒体141から読み出して、メモリ104に一時保持する。
ステップS802では、メモリ104に保持したJPEGファイルの画像データを、画像処理部111を用いてYUVデータへデコードしてメモリ104に保持し、ステップS803へ進む。
ステップS803では、パノラマ画像フラグ1506の情報から、再生対象の画像がパノラマ画像であるかを判定する。本実施形態では、シナリオにパノラマ画像フラグ1506の情報を記録するものとしたが、シナリオに1506の情報を記録せずに、JPEGファイルに記載されている画像情報からパノラマ画像であるかを判定してもよい。例えば、画像情報に含まれる撮影モードの情報にパノラマ撮影モードで撮影されたことを示す情報が記載されていた場合はパノラマ画像であると判定するようにしてもよい。また、画像の縦横サイズに応じて、パノラマ画像であるかを判定するようにしてもよい。パノラマ画像でないと判定された場合は、ステップS804に進み、パノラマ画像であると判定された場合、ステックS811に進む。
ステップS804では、ステップS802でメモリ104に保持したYUVデータについて、画像処理部111を用いてアルバム動画の画像サイズに合わせてトリミングやリサイズを行ってメモリ104に保持し、ステップS805へ進む。なお、本実施形態においては、アルバム動画の画像サイズは、フルHD(1920×1080)とする。
ステップS805では、リサイズしてメモリ104に保持されたYUVデータを、画像処理部111を用いて色フィルターなどの効果をかけ、再度メモリ104に保持し、ステップS806へ進む。
ステップS806では、効果をかけてメモリ104に保持されたYUVデータを、画像処理部111を用いてH.264にエンコードし、動画データを作成する。
ステップS807では、音声処理部121を用いて無音のPCMデータをAACにエンコードした音声データを生成し、ステップS808へ進む。
ステップS808では、S806でエンコードして生成された動画データと、S807でエンコードして生成された音声データとからなるストリームデータを、ステップS701で記録媒体141に作成したアルバム動画用ファイルに追記する。ここで、記録媒体141へ書き込む単位はH.264のフレーム数やストリームデータのデータサイズ毎に書き込んでもよいし、所定のフレーム数、時間毎に書き込みを行ってもよい。
ステップS809では、フレーム数1504で指定されているフレーム数分について、ステップS806~S808の処理が完了したかを判定する。指定されたフレーム数分の処理が完了していない場合は、フレーム数1504で指定された期間分の動画が生成されていないので、S806~S808の処理を繰り返す。ステップS804~S809は、通所の静止画についての処理であるため、60フレーム、つまり、2秒分の動画が生成され、アルバム動画用のファイルに追記される。そして、指定されたフレーム数分の処理が完了すると、ステップS810において、ストリームを追記したアルバム用動画ファイルのファイル管理情報を更新して記録する。なお、1つの静止画から生成された動画が、1つのチャプタとして構成されるように、管理情報を更新する。このようにして、シナリオで指定された静止画から生成した動画データの、アルバム用動画ファイルへの追記の処理が完了する。
一方、再生対対象のJPEGファイルがパノラマ画像と判定された場合、ステップS811でパノラマ画像(静止画)からパンニング動画にするためのトリミングの方法について決定する。トリミング方法の決定処理については、後述するが、この処理によって、パノラマ画像から作成されるパンニング動画の各フレームをパノラマ画像のどの領域からトリミングして作成するかが決定される。具体的には、まず、パノラマ画像から一部領域をトリミングする際のトリミング領域のアスペクト比が決定され、決定されたアスペクト比に基づいて、縦横サイズと、トリミング領域の移動量が決定される。パノラマ画像の長辺方向の一方の端部から他方の端部まで移動するようにトリミング領域の移動量が決定されるため、トリミングした複数のトリミング画像により、パンニング動画を生成できる。以降の処理はこの処理で決められた方法に応じて処理を行う。
ステップS812では、ステップS802でメモリ104に保持したYUVデータについて、画像処理部111を用いて、ステップS811で決定された領域をトリミングし、さらに、アルバム動画用の画像サイズに収まるサイズにリサイズする。そして、リサイズしたYUVデータを、メモリ104に保持する。ここで、1つのパノラマ画像から生成されるアルバム動画は、120フレーム(4秒)分である。トリミング領域のサイズは120フレームで共通しているが、トリミング領域の位置は、各フレームによって異なるため、ステップS812では、生成するフレームに対応する位置でトリミングを行うようにする。具体的には、1フレーム目のデータを生成する際にはパノラマ画像の長辺方向の端の領域をトリミングし、2フレーム目以降は前のフレームを生成した際のトリミング領域の位置を記憶しておき、ステップS811で決定された移動量分トリミング領域を移動させる。トリミング領域の移動方向については、1フレーム目をトリミングした際のパノラマ画像の長辺方向の端側から、長辺方向の他方の端部側へ移動する方向とする。つまり、1フレーム目で右端をトリミングした場合の移動方向は右から左に、1フレーム目で左端をトリミングした場合の移動方向は左から右となる。また、1フレーム目で上端をトリミングした場合の移動方向は上から下に、1フレーム目で下端をトリミングした場合の移動方向は下から上となる。このように、生成するフレーム毎にトリミング領域の位置を順次移動させる。そのため、パノラマ画像内での位置が移動した領域の画像が順次再生(順次表示)されるパンニング動画が生成されることになる。
ステップS813では、リサイズしてメモリ104に保持されたYUVデータを、画像処理部111を用いて色フィルターなどの効果をかけ、再度メモリ104に保持し、ステップS815へ進む。
ステップS815では、リサイズされたYUVデータのアスペクトがアルバム動画のアスペクトと同じ16:9であるか否かを判定する。なお、S812において、アルバム動画のサイズに収まるようにリサイズを行っているので、実際には、リサイズ済みのYUVデータの縦横サイズが、アルバム動画のサイズと同じであるかを判定する。同じであれば、ステップS815の処理を行わずにステップS816へ進み。異なっている場合には、ステップS815に進む。
ステップS815では、リサイズされたYUVデータの縦横サイズが、アルバム動画の画像サイズと同じになるように、足りないサイズ分の余分画像(黒データ)を付加して、してメモリ104に保持する。余分画像は、左右または上下均等になるように付加する。
ステップS816では、メモリ104に保持されている効果をかけられたYUVデータ(ステップS815を実行した場合は、余分画像を付加したYUVデータ)を、画像処理部111を用いてH.264にエンコードし、動画データを作成する。
ステップS817では、音声処理部121を用いて無音のPCMデータをAACにエンコードして音声データを生成し、ステップS818へ進む。
ステップS818では、S816でエンコードして生成された動画データおよびS817でエンコードして生成された音声データからなるストリームデータをステップS701で記録媒体141に作成したアルバム動画用のファイルに追記する。ここで、記録媒体141へ書き込む単位はH.264のフレーム数やストリームデータのデータサイズ毎に書き込んでもよいし、所定のフレーム数、時間毎に書き込みを行ってもよい。
ステップS819では、フレーム数1504で指定されているフレーム数分について、ステップS812~S818の処理が完了したかを判定する。指定されたフレーム数分の処理が完了していない場合は、指定された期間分の動画が生成されるまで、S812~S818の処理を繰り返す。ステップS812~S818は、パノラマ画像についての処理であるため、120フレーム、つまり、4秒分の動画が生成され、アルバム動画用のファイルに追記される。そして、指定されたフレーム数分の処理が完了すると、ステップS810において、ストリームを追記したアルバム用動画ファイルのファイル管理情報を更新して記録する。なお、1つの静止画から生成された動画が、1つのチャプタとして構成されるように、管理情報を更新する。このようにして、シナリオで指定されたパノラマ画像から生成された動画データの、アルバム用動画ファイルへの追記処理が完了する。
なお、S806~S808、または、S812~S818の処理で作成された1つの静止画から生成された動画データが、アルバム動画の1チャプタとなるように記録する。
次に、図9、図10を参照して、パノラマ画像のトリミング方法の決定について説明する。
次に、図9、図10を参照して、パノラマ画像のトリミング方法の決定について説明する。
まず、図10を参照して、横長のパノラマ画像1001を例に、トリミング領域のアスペクト比の設定とパンニング動画生成について説明する。
パノラマ画像1001は、4200×900のサイズを有する画像である。このパノラマ画像1001について、アルバム動画と同じアスペクト比16:9のトリミング領域でトリミングする場合、トリミング領域1011のサイズは、1600×900となる。ここで、パンニング動画を生成する際に、トリミング領域はフレーム毎にパノラマ画像の長辺方向(横方向)に移動させるので、パノラマ画像の短辺方向(縦方向)の画像サイズが、そのままトリミング領域の縦方向サイズとなる。また、パノラマ画像の長辺方向に対応するトリミング領域の横方向のサイズは、パノラマ画像の短辺方向の画像サイズとトリミング領域のアスペクト比とから算出できる。アスペクト比16:9のトリミング領域1011でトリミングする場合、アルバム動画も同じ16:9のアスペクト比であるため、トリミングした画像をリサイズするだけでアルバム動画のフレーム1012を生成することができる。
パノラマ画像1001ついて、アスペクト比20:9のトリミング領域でトリミングする場合、トリミング領域1021のサイズは、2000×900となる。この場合、アルバム動画のアスペクト比とトリミング領域1021のアスペクト比が異なる。そのため、トリミングした画像(2000×900)をリサイズして1920×864の画像1023を生成し、さらに、リサイズした画像1023の上下にそれぞれ余分画像を付加して、1920×1080のアルバム動画のフレーム1022を生成する。
さらに、パノラマ画像1001ついて、アスペクト比30:9のトリミング領域でトリミングする場合、トリミング領域1031のサイズは、3000×900となる。この場合、アルバム動画のアスペクト比とトリミング領域1031のアスペクト比が異なる。そのため、トリミングした画像(3000×900)をリサイズして1920×576の画像1033を生成し、さらに、リサイズした画像1033の上下にそれぞれ余分画像を付加して、1920×1080のアルバム動画のフレーム1032を生成する。
ここで、アルバム画像と同じ16:9のアスペクト比でトリミングしたほうが、余分画像が付加せずにパンニング動画を生成することができる。しかし、本実施形態において、パノラマ画像から生成されるパンニング動画の長さは、120フレームの4秒分と決まっている。そのため、短辺方向のサイズに対して長辺方向のサイズが非常に大きいパノラマ画像において、長辺方向全体を移動するパンニング動画を生成する場合、フレーム間でのトリミング位置の移動量が大きくなり、パンニングのスピードが速い動画が生成されてしまう。16:9のアスペクト比に対し、20:9のアスペクト比のほうが、トリミングされる長辺方向の画像サイズが大きくなるため、16:9のときよりも、フレーム間でのトリミング位置の移動量を小さくし、パンニングのスピードを小さくすることができる。さらに、20:9のアスペクト比よりも、30:9のアスペクト比のほうが、トリミングされる長辺方向の画像サイズがさらに大きくなるため、フレーム間でのトリミング位置の移動量をさらに小さくし、パンニングのスピードを小さくすることができる。
そこで、本実施形態では、パンニングのスピードを調整するため、パノラマ画像の長辺方向(横方向)と短辺方向(縦方向)の画像サイズの比、または、長辺方向(横方向)の画像サイズに応じて、パノラマ画像からパンニング動画を生成する際のトリミングのアスペクト比を切り換えている。
図9を用いて、ステップS811におけるトリミング方法決定処理について説明する。
ステップS901では、制御部101は、パノラマ画像の横の画像サイズ(長辺の長さ)が閾値TH1未満か判定する。閾値TH1未満であれば、ステップS906に進む。TH1以上であれば、ステップS902に進む。本実施形態では、パノラマ画像は横長であり、パノラマ画像の縦の画像サイズが1080で固定であるため、長辺側である横の画像サイズが閾値TH1未満であるかを判定するものとした。しかし、パノラマ画像の短辺側の縦の画像サイズが可変である場合は、横(長辺)の画像サイズと横(短辺)の画像サイズを取得し、(横の画像サイズ)/(縦の画像サイズ)が閾値TH10未満であるか判定するようにしてもよい。
ステップS906では、それほど長辺方向に長くないパノラマ画像であるので、制御部101は、パンニング動画を生成するためのトリミング領域のアスペクト比を、アルバム動画のアスペクト比と同じ16:9とすることに決定する。
ステップS902では、制御部101は、パノラマ画像の画像情報に含まれる被写体情報に人物が記録されているか判定する。人物が記録されていれば、ステップS906に進む。記録されていなければ、ステップS903に進む。人物が記録されているパノラマ画像は、パンニングスピードが速くなったとしても、余分画像を付加せずに、画像を大きく再生したほうがよいため、トリミング領域のアスペクト比を16:9に設定する。
ステップS903では、制御部101は、前述のシナリオに記載されているBGMの付属情報からBGMのテンポが早いか否か判定する。早ければ、ステップS906に進む。それ以外であれば、ステップS904に進む。BGMのテンポが速い場合、パンニングスピードが速くなったとしてもBGMとの親和性が高くなり、パンニングスピードを遅くする必要がないため、リミング領域のアスペクト比を16:9に設定する。
ステップS904では、制御部101は、前述のシナリオに記載されているイベント情報がスポーツシーンか否か判定する。スポーツが設定されていれば、ステップS906に進む。それ以外であれば、ステップS905に進む。
ステップS905では、制御部101は、パノラマ画像の横の画像サイズ(長辺の長さ)が閾値TH2(>TH1)未満かを判定する。閾値TH2未満であれば、ステップS907に進み、閾値TH2以上であれば、ステップS908に進む。ステップS905についても、ステップS901と同様に、(横の画像サイズ)/(縦の画像サイズ)が閾値TH20未満であるか判定するようにしてもよい。ここで、TH20>TH10である。
ステップS907では、パノラマ画像がある程度長辺方向に長いパノラマ画像であるので、制御部101は、パンニング動画を生成するためのトリミング領域のアスペクト比を、20:9とすることに決定する。ステップS908では、パノラマ画像が長辺方向に非常に長いパノラマ画像であるので、制御部101は、パンニング動画を生成するためのトリミング領域のアスペクト比を、30:9とすることに決定する。ステップS909では、ステップS906~S908で決定したトリミング領域のアスペクト比と、パノラマ画像の画像サイズとから、トリミング領域のサイズを決定する。
そして、ステップS910では、決められたトリミング領域のサイズと、シナリオに記載されているフレーム数1504とから、トリミング領域をパノラマ画像の長辺方向の一方の端部から他方の端部まで順次移動させる際の移動量を決定する。本実施形態では、トリミング領域の縦横サイズとフレーム間での移動量を決定することにしたが、各フレームについて個別にトリミング領域の位置を決定するようにしてもよい。以上のように、パノラマ画像の縦横サイズやシナリオに設定されている情報からトリミングする領域のサイズとフレーム毎のトリミング領域の移動量を決定する。
本実施形態では、パノラマ画像からパンニング動画を作成する際のフレーム数は120フレーム(4秒分)とあらかじめ決まっている。そのため、長辺のサイズが異なるパノラマ画像に対して、トリミングする領域のアスペクト比を同じに設定してしまうと、フレーム間でトリミング領域を移動する際の移動量が大きくなってしまう。それにより長辺方向に長いパノラマ画像では、再生時には高速でパンニングしているよう再生されてしまう。そのため、本願発明では、長辺方向の画像サイズ、または、短辺方向の画像サイズと長辺方向の画像サイズの比(アスペクト比)でトリミング領域のアスペクト比を適切に変更し、パンニングの速度を調節している。一方で、テンポの早いBGMが設定されている場合やイベントがスポーツである場合は、そのアルバム動画全体としては、躍動感のあるスピーディな動画として構成される。そのため、ユーザに提供する動画としてはあえて再生速度が速くなるようなトリミングを行って作成するパンニング動画を組み込むことが適していると考えられる。
図9では、横長のパノラマ画像におけるトリミング方法について説明した。縦長のパノラマ画像の場合も、横長のパノラマ画像と同様に、図9のフローチャートによりトリミング方法(トリミング領域のサイズとトリミング領域の移動量)を決定できる。ただし、縦長のパノラマ画像の場合は、ステップS901、S905の判定方法、ステップS906、S907,S908で設定されるアスペクト比が、横長のパノラマ画像とは異なる。
横長のパノラマ画像においてトリミング方法を決定する場合の、横長のパノラマ画像でのトリミング方法決定処理とは異なる点を以下に説明する。下記で説明する以外の処理は、横長のパノラマ画像でのトリミング方法決定処理と同様である。
ステップS901において、制御部101は、パノラマ画像の縦方向(長辺)の画像サイズが、閾値TH3未満であるかを判定する。そして、閾値TH3未満の場合は、ステップS908に進み、閾値TH3未満でない場合は、ステップS902に進む。
ステップS905において、制御部101は、パノラマ画像の縦方向(長辺)の画像サイズが、閾値TH4(>TH3)未満であるかを判定する。そして、閾値TH4未満の場合は、ステップS908に進み、閾値TH4未満でない場合は、ステップS902に進む。なお、ステップS901、S905において、長辺の画像サイズと閾値とを比較せずに、アスペクト比と閾値とを比較することにより判定を行ってもよい。つまり、S901において(縦の画像サイズ/横の画像サイズ)が閾値TH30未満であるかを判定し、S905において(縦の画像サイズ/横の画像サイズ)が閾値TH40(>TH30)未満であるかを判定してもよい。
ステップS906では、パノラマ画像は長辺方向にそれほど長くはないパノラマ画像であるので、制御部101は、トリミング領域のアスペクト比を、アルバム動画のアスペクト比と同じ16:9に設定する。
ステップS907では、パノラマ画像がある程度長辺方向に長いパノラマ画像であるので、制御部101は、パンニング動画を生成するためのトリミング領域のアスペクト比を、4:3に設定する。ステップS908では、パノラマ画像が長辺方向に非常に長いパノラマ画像であるので、制御部101は、パンニング動画を生成するためのトリミング領域のアスペクト比を、1:1に設定する。
ここで、図14を参照して、縦長のパノラマ画像1401を例に、トリミング領域のアスペクト比の設定とパンニング動画生成について説明する。
パノラマ画像1401は、1600×3600のサイズを有する縦方向に長いパノラマ画像である。このパノラマ画像1401について、アルバム動画と同じ、アスペクト比16:9のトリミング領域でトリミングする場合、トリミング領域1411のサイズは、1600×900となる。ここで、パンニング動画を生成する際に、トリミング領域はフレーム毎にパノラマ画像の長辺方向(縦方向)に移動させるので、パノラマ画像の短辺方向(横方向)の画像サイズが、そのままトリミング領域の横方向のサイズとなる。また、パノラマ画像の長辺方向に対応する縦方向のトリミング領域のサイズは、パノラマ画像の短辺方向(横方向)の画像サイズとトリミング領域のアスペクト比とから算出できる。アスペクト比16:9のトリミング領域1411でトリミングする場合、アルバム動画も同じ16:9のアスペクト比であるため、トリミングした画像をリサイズするだけでアルバム動画のフレーム1412を生成することができる。
パノラマ画像1401ついて、アスペクト比4:3のトリミング領域でトリミングする場合、トリミング領域1421のサイズは、1600×1200となる。この場合、アルバム動画のアスペクト比とトリミング領域1421のアスペクト比が異なる。そのため、トリミングした画像(1600×1200)をリサイズして1440×1080の画像1423を生成し、さらに、リサイズした画像1423の左右にそれぞれ余分画像を付加して、1920×1080のアルバム動画のフレーム1422を生成する。
さらに、パノラマ画像1401ついて、アスペクト比1:1のトリミング領域でトリミングする場合、トリミング領域1431のサイズは、1600×1600となる。この場合、アルバム動画のアスペクト比とトリミング領域1431のアスペクト比が異なる。そのため、トリミングした画像(1600×1600)をリサイズして1080×1080の画像1033を生成し、さらに、リサイズした画像1433の左右にそれぞれ余分画像を付加して、1920×1080のアルバム動画のフレーム1432を生成する。
ここで、アルバム画像と同じ16:9のアスペクト比でトリミングしたほうが、余分画像が付加せずにパンニング動画を生成することができる。16:9のアスペクト比に対し、4:3のアスペクト比のほうが、トリミングされる長辺方向(縦方向)の画像サイズが大きくなるため、16:9のときよりも、フレーム間でのトリミング位置の移動量を小さくし、パンニングのスピードを小さくすることができる。さらに、4:3のアスペクト比よりも、1:1のアスペクト比のほうが、トリミングされる長辺方向(縦方向)の画像サイズがさらに大きくなるため、フレーム間でのトリミング位置の移動量をさらに小さくし、パンニングのスピードを小さくすることができる。
以上のように、縦長のパノラマ画像においても、横長のパノラマ画像と同様に、トリミング方法を決定することができる。
なお、本実施形態では、生成されるアルバム動画の画像サイズを、フルHD(1920×1080)サイズとしたが、ユーザの操作部102への操作により他のサイズに変更可能に構成してもよい。その場合、ステップS906で設定されるアスペクト比は、変更されたサイズのアルバム動画のアスペクト比と同じにする。そして、ステップS907では、アルバム動画のアスペクト比よりも、パノラマ画像の長辺方向の割合が大きくなるアスペクト比に設定し、ステップS907では、さらに長辺方向の割合が大きくなるアスペクト比に設定する。
次に図11を用いてステップS705のMP4ファイルのデータをアルバム動画用ファイルに追記する処理について説明する。
ステップS1101では、制御部101は、ファイル情報1502から特定されるMP4ファイルのうち、チャプタ番号1503で特定されるチャプタ番号のチャプタのデータを、記録媒体141から読み出して、メモリ104に一時保持する。ここで、ステップS1101では、特定されるチャプタ番号のデータについて、先頭から順に、特定の単位(GOP単位またはフレーム単位)で読み出す。
ステップS1102では、ステップS1101でメモリ104に保持したチャプタのデータのうち、H.264形式の画像(動画)データを、画像処理部111を用いてYUVデータへデコードし、ステップS1103へ進む。
ステップS1103では、制御部101は、ステップS1101でメモリ104に保持したチャプタのデータに音声データが含まれているか否かの判定を行う。音声データがあると判定した場合はS1104へ進む、音声データがないと判定した場合はS1105へ進む。
ステップS1104では、メモリ104に保持されたAAC形式の音声データを、音声処理部121を用いてPCM形式の音声データへデコードし、ステップS1106へ進む。
一方、ステップS1105では、音声処理部121を用いて無音のPCM形式の音声データをメモリ104に格納し、ステップS1106へ進む。
ステップS1106では、メモリ104に保持したYUVデータについて、ステップS805、S813と同様に画像処理部111により画像処理効果を施す。また、YUVデータの縦横サイズが、アルバム動画の縦横サイズと異なる場合は、アルバム動画の縦横サイズとなるようにリサイズ処理を施す。ステップS1107では、ステップS1106で効果をかけたYUVデータについて、ステップS806、S816と同様に、画像処理部111によりエンコードして、H.264形式の画像(動画)データに変換する。
ステップS1108では、ステップS1104およびステップS1105で作られたPCMデータを、音声処理部121を用いてAACにエンコードし、ステップS1109へ進む。この時、不揮発性メモリ105に記録されたBGMデータ(AACデータ)のビットレートよりも大きいビットレートでエンコードを実施することにより、記録媒体141に記録するMP4ファイルの音声品質を高めることが可能である。容量制約のある不揮発性メモリ105に記録するBGMデータは、ビットレートを抑制する事で、容量を小さくすることで複数のBGMデータを格納することを可能とする。
ステップS1109は、ステップS808と同様に、ステップS1107、S1108で生成された画像データ及び音声データからなるストリームデータを、ステップS701で記録媒体141に作成したアルバム動画用のファイルに追記する。ステップS1110で、制御部101は、フレーム数1504で指定されたフレーム数について、ステップS1101~S1108の処理を行ったかを判定する。指定されたフレーム数の処理が完了したと判定された場合はステップS1111へ進む。完了していないと判定した場合はステップS1101に戻り、指定されたフレーム数の処理が完了するまで処理を繰り返す。
ステップS1111では、ストリームを追記したアルバム用動画ファイルのファイル管理情報を更新して記録する。なお、シナリオで指定されたチャプタから生成された動画が、1つのチャプタとして構成されるように、管理情報を更新する。このようにして、シナリオで指定された動画のチャプタから生成したアルバム動画用のデータが、アルバム用動画ファイルに追記される。
次に図12を用いてステップS709のアルバム動画のMP4ファイルにBGMを合成する処理について説明する。
ステップS1201では、合成用のBGMデータとして選択されている、WAVファイルを記録媒体141から読み出してメモリ104保持し、ステップS1202へ進む。
ステップS1202では、BGM合成用のMP4ファイルを新規作成し、記録媒体141に記録する。
ステップS1203は、アルバム動画のMP4ファイルのデータを記録媒体141から読み出してメモリ104に保持する。ここでは、MP4ファイルのデータを先頭から順に、所定の単位(GOP単位、フレーム単位、時間単位)で読みだす。
ステップS1204では、ステップS1203でメモリ104に保持したMP4ファイルのH.264形式の画像データをデコードし、YUVデータにする。ステップS1205では、テップS1203でメモリ104に保持したMP4ファイルのAAC形式の音声データをデコードしPCM形式の音声データに変換する。
ステップS1206では、ステップS1201でメモリ104に保持したWAVファイルのPCMデータとステップS1205でデコードされたPCMデータとを、音声処理部121を用いてミックス処理を行う。ここで、ミックスする割合はシナリオに記載されている合成率0%、50%、100%のいずれかに応じて合成処理を行い、ステップS1207へ進む。
ステップS1207では、ステップS1204で生成したYUVデータを。H.264データにエンコードする。ステップS1208では、ステップS1206でBGMがミックスされたPCMデータをACCにエンコードする。そして、ステップS1209では、ステップS1207で取得したH.264形式の動画データと、ステップS1208で取得したAAC形式の音声データと~構成されるストリームデータを、ステップS1202で作成したGM合成用のMP4ファイルに記録する。既に、ストリームデータが記録されている場合は、追記していく。ステップS1201では、制御部101は、BGMの合成が指定されたアルバム動画のMP4ファイルの全フレームのデータについて、ステップS1203~S1209の処理が完了したかを判定する。完了したと判定されるまで、ステップS1203~S1209の処理を繰り返す。完了したと判定されたら、ステップS1211において、BGM合成用のMP4ファイルの管理情報を記録する。そして、ステップS1212では、BGM合成対象として指定されていたBGM合成前のMP4ファイルを記録媒体141から削除する。
このようにして、BGMの合成処理が実行される。
次に、ステップS609のプレビュー再生について説明する。
プレビュー再生処理においては、ステップS606のアルバム動画保存処理と同様にアルバム動画が作成される。ただし、プレビュー再生処理では、生成されたアルバム動画は、記録媒体141には記録せずに、表示制御部により表示用のデータに変換され、表示部130に表示される。記録媒体への記録はしないので、リサイズや効果を施してYUVデータを生成した後、H.264へのエンコードは行わずに、すぐに表示用のデータに変換して表示部130に表示するようにしてもよい。
このように、本実施形態の撮像装置100では、アルバム動画を生成し、記録、または、表示(再生)する際に、再生対象としてパノラマ画像が含まれている場合に、パンニング動画を生成する。そして、パノラマ画像からパンニング動画を生成する際に、パノラマ画像の長辺方向の画像サイズまたはアスペクト比、BGMのテンポ、撮影シーンに応じて、トリミング方法を決定する。そのため、パノラマ画像から適切な動画を生成することができる。
なお、本実施形態では、アルバム動画を生成して保存するものとしたが、生成したシナリオを記録媒体141に保存することにより、次回も同じアルバム動画の再生を行うようにしてもよい。その場合、再生時に出力するアスペクト比を変更することができる。そのため、例えばアスペクト比の異なる外部の表示装置にアルバム動画を出力する際などにも、外部表示装置の表示サイズや画像を表示する表示領域のサイズに応じた、適切なアルバム動画を生成することができる。この場合、上記で説明した処理において、アルバム動画の画像サイズの代わりに、表示サイズを用いて処理を実行する。
<その他の実施形態>
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
Claims (21)
- パノラマ画像を取得する取得手段と、
前記パノラマ画像に基づいて動画を生成する動画生成手段であって、前記パノラマ画像をトリミングする際のトリミング領域の位置を順次移動してトリミングし、位置を変更してトリミングした複数のトリミング画像が順次再生される動画を生成する動画生成手段と、を有し、
前記動画生成手段は、前記パノラマ画像の所定方向のサイズまたはアスペクト比に応じて、前記パノラマ画像を所定のアスペクト比でトリミングするか、前記パノラマ画像を前記所定のアスペクト比と異なるアスペクト比でトリミングするかを切り替えることを特徴とする画像処理装置。 - 前記所定のアスペクト比は、前記動画生成手段により生成される動画のアスペクト比であることを特徴とする請求項1に記載の画像処理装置。
- 前記動画生成手段は、前記パノラマ画像をトリミングする際に、トリミング領域のアスペクト比は変更せずに、トリミング領域の位置を順次移動することを特徴とする請求項1または2に記載の画像処理装置。
- 前記動画生成手段は、前記パノラマ画像の画像サイズと、トリミング領域のアスペクト比とに応じて、トリミング領域の位置の移動量を決定することを特徴とする請求項3に記載の画像処理装置。
- 前記動画生成手段は、1つのパノラマ画像について所定期間の動画を生成することを特徴とする請求項1ないし4のいずれか1項に記載の画像処理装置。
- 前記動画生成手段は、前記パノラマ画像の画像サイズと、トリミング領域のアスペクト比と、前記所定期間の長さとに応じて、トリミング領域の位置の移動量を決定することを特徴とする請求項5に記載の画像処理装置。
- 前記動画生成手段は、前記パノラマ画像をトリミングする際に、トリミング領域の位置を、前記パノラマ画像の長辺方向の一方の端部から、長辺方向の他方の端部まで移動させることを特徴とする請求項1ないし6のいずれか1項に記載の画像処理装置。
- 前記動画生成手段は、前記パノラマ画像の長辺サイズ、または、長辺サイズ/短辺サイズが所定の値よりも小さい場合に、前記所定のアスペクト比でトリミングし、前記パノラマ画像の長辺サイズ、または、長辺サイズ/短辺サイズが前記所定の値よりも大きい場合に、前記所定のアスペクト比よりも前記パノラマ画像の長辺に対応する辺のサイズが大きくなるアスペクト比でトリミングするように制御することを特徴とする請求項1ないし7のいずれか1項に記載の画像処理装置。
- 前記動画生成手段は、前記パノラマ画像の長辺サイズ、または、長辺サイズ/短辺サイズが所定の値よりも小さい場合に、前記所定のアスペクト比でトリミングして動画を生成し、前記パノラマ画像の長辺サイズ、または、長辺サイズ/短辺サイズが前記所定の値よりも大きい場合に、前記所定のアスペクト比よりも前記パノラマ画像の長辺に対応する辺のサイズが大きくなるアスペクト比でトリミングし、トリミングされた画像に所定のデータを付加して動画を生成することを特徴とする請求項8に記載の画像処理装置。
- パノラマ画像を取得する取得手段と、
前記パノラマ画像の一部領域をトリミングし、トリミングされた画像を表示するように制御する表示制御手段であって、前記パノラマ画像のトリミング領域の位置を順次移動してトリミングし、位置を変更してトリミングしたトリミング画像を順次表示させるように制御する表示制御手段と、を有し、
前記表示制御手段は、前記パノラマ画像の所定方向のサイズまたはアスペクトに応じて、前記パノラマ画像を所定のアスペクト比でトリミングするか、前記パノラマ画像を前記所定のアスペクト比と異なるアスペクト比でトリミングするかを切り替えることを特徴とする画像処理装置。 - 前記所定のアスペクト比は、前記パノラマ画像を表示させる際の表示サイズに対応するアスペクト比であることを特徴とする請求項10に記載の画像処理装置。
- 前記表示制御手段は、前記パノラマ画像をトリミングして表示する際に、トリミング領域のアスペクト比は変更せずに、トリミング領域の位置を順次移動することを特徴とする請求項10または11に記載の画像処理装置。
- 前記表示制御手段は、前記パノラマ画像の画像サイズと、トリミング領域のアスペクト比とに応じて、トリミング領域の位置の移動量を決定することを特徴とする請求項12に記載の画像処理装置。
- 前記表示制御手段は、1つのパノラマ画像について所定期間の表示を行うために、位置を変更してトリミングした画像を前記所定期間において順次表示させるように制御することを特徴とする請求項10ないし13のいずれか1項に記載の画像処理装置。
- 前記表示制御手段は、前記パノラマ画像の画像サイズと、トリミング領域のアスペクト比と、前記所定期間の長さとに応じて、トリミング領域の位置の移動量を決定することを特徴とする請求項14に記載の画像処理装置。
- 前記表示制御手段は、前記パノラマ画像をトリミングする際に、トリミング領域の位置を、前記パノラマ画像の長辺方向の一方の端部から、長辺方向の他方の端部まで移動させることを特徴とする請求項10ないし15のいずれか1項に記載の画像処理装置。
- 前記表示制御手段は、前記パノラマ画像の長辺サイズ、または、長辺サイズ/短辺サイズが所定の値よりも小さい場合に、前記所定のアスペクト比でトリミングし、前記パノラマ画像の長辺サイズ、または、長辺サイズ/短辺サイズが前記所定の値よりも大きいさい場合に、前記所定のアスペクト比よりも前記パノラマ画像の長辺に対応する辺のサイズが大きくなるアスペクト比でトリミングするように制御することを特徴とする請求項10ないし16のいずれか1項に記載の画像処理装置。
- 前記表示制御手段は、前記パノラマ画像の長辺サイズ、または、長辺サイズ/短辺サイズが所定の値よりも小さい場合に、前記所定のアスペクト比でトリミングして表示し、前記パノラマ画像の長辺サイズ、または、長辺サイズ/短辺サイズが前記所定の値よりも大きいさい場合に、前記所定のアスペクト比よりも前記パノラマ画像の長辺に対応する辺のサイズが大きくなるアスペクト比でトリミングし、トリミングされた画像に所定のデータを付加して生成された前記所定のアスペクト比の画像を表示するように制御することを特徴とする請求項17に記載の画像処理装置。
- パノラマ画像を取得する取得手段と、
前記パノラマ画像の一部をトリミングし、トリミングした画像から前記パノラマ画像に対応する動画を生成する動画生成手段であって、トリミング領域の位置を所定の方向に順次移動することにより、再生される領域が前記パノラマ画像内で前記所定の方向に移動する動画を生成する動画生成手段と、
前記パノラマ画像が所定の条件を満たしている場合には、所定のアスペクト比で前記パノラマ画像をトリミングし、前記パノラマ画像が所定の条件を満たさない場合には、前記所定のアスペクト比と異なるアスペクト比でトリミングするように前記動画生成手段を制御する制御手段と、を有することを特徴とする画像処理装置。 - 前記所定の条件は、前記パノラマ画像に人物が含まれている場合であることを特徴とする請求項19に記載の画像処理装置。
- コンピュータを、請求項1ないし20に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018023276A JP7013272B2 (ja) | 2018-02-13 | 2018-02-13 | 画像処理装置 |
US16/272,375 US11030716B2 (en) | 2018-02-13 | 2019-02-11 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018023276A JP7013272B2 (ja) | 2018-02-13 | 2018-02-13 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019140568A JP2019140568A (ja) | 2019-08-22 |
JP7013272B2 true JP7013272B2 (ja) | 2022-01-31 |
Family
ID=67540234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018023276A Active JP7013272B2 (ja) | 2018-02-13 | 2018-02-13 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11030716B2 (ja) |
JP (1) | JP7013272B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3829159A1 (en) | 2019-11-29 | 2021-06-02 | Ricoh Company, Ltd. | Image capturing device, image communication system, and method for display control, and carrier means |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015008489A (ja) | 2014-08-04 | 2015-01-15 | 富士フイルム株式会社 | 画像表示制御方法及びその装置並びに画像撮像装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101843093A (zh) * | 2008-09-08 | 2010-09-22 | 索尼公司 | 图像处理设备和方法、图像捕捉设备、以及程序 |
JP5436367B2 (ja) * | 2009-09-29 | 2014-03-05 | 富士フイルム株式会社 | グラフィック配置決定方法ならびにそのプログラムおよび情報処理装置 |
JP5347890B2 (ja) | 2009-10-09 | 2013-11-20 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US9973711B2 (en) * | 2015-06-29 | 2018-05-15 | Amazon Technologies, Inc. | Content-based zooming and panning for video curation |
US9934823B1 (en) * | 2015-08-27 | 2018-04-03 | Amazon Technologies, Inc. | Direction indicators for panoramic images |
US10110814B1 (en) * | 2016-10-27 | 2018-10-23 | Ambarella, Inc. | Reducing bandwidth for video streaming using de-warping and video analytics |
-
2018
- 2018-02-13 JP JP2018023276A patent/JP7013272B2/ja active Active
-
2019
- 2019-02-11 US US16/272,375 patent/US11030716B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015008489A (ja) | 2014-08-04 | 2015-01-15 | 富士フイルム株式会社 | 画像表示制御方法及びその装置並びに画像撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2019140568A (ja) | 2019-08-22 |
US11030716B2 (en) | 2021-06-08 |
US20190251661A1 (en) | 2019-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9124860B2 (en) | Storing a video summary as metadata | |
US8432965B2 (en) | Efficient method for assembling key video snippets to form a video summary | |
US8004594B2 (en) | Apparatus, method, and program for controlling display of moving and still images | |
WO2011149697A2 (en) | Method for determining key video frames | |
US8428121B2 (en) | Image pick-up apparatus for shooting and reproducing a moving image | |
EP2577506A2 (en) | Determining key video snippets using selection criteria | |
CN106683601B (zh) | 显示控制装置及其控制方法 | |
JP5253725B2 (ja) | 動画撮影機能付き移動通信端末機及びその動作方法 | |
JP2010258768A (ja) | 画像表示装置及びその制御方法、並びにプログラム及び記憶媒体 | |
JP7013272B2 (ja) | 画像処理装置 | |
JP2019140567A (ja) | 画像処理装置 | |
JP2013118518A (ja) | 撮像装置 | |
JP4698961B2 (ja) | 電子カメラ、及び電子カメラの制御プログラム | |
KR101285382B1 (ko) | 동영상 편집 기능을 구비한 동영상 촬영 장치 및 방법 | |
JP6410483B2 (ja) | 画像処理装置 | |
JP6463967B2 (ja) | 撮像装置及びその制御方法 | |
JP2019114847A (ja) | 画像記録制御装置、画像記録方法、画像記録プログラム、撮像装置及び画像記録制御システム | |
JP6643081B2 (ja) | アルバム動画生成装置、アルバム動画生成方法及びプログラム | |
JP6332963B2 (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP6566826B2 (ja) | 画像処理装置、およびその制御方法、および制御プログラム | |
JP2020170998A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2021061542A (ja) | 撮影装置及びその制御方法並びにプログラム | |
JP2021040217A (ja) | 撮像装置及びその制御方法並びにプログラム | |
JP2010034933A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6218489B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220119 |