JP6344592B2 - 画像処理装置 - Google Patents

Description

本開示は、動画像の編集が可能な画像処理装置に関する。

取得した静止画像データまたは動画像データである素材を編集できる電子機器およびプログラムが知られている。例えば、特許文献１は、ＧＯＰ単位でフレーム間符号化された動画素材を任意のフレームで編集でき、編集情報を動画素材に対応付けて管理する動画素材編集装置を開示している。

特開２００９−２６０９３３号公報

動画像編集を簡単に済ませたいユーザにとっては、より短時間で動画像編集が可能であることが望ましい。

本開示は、動画像編集をより効率よく行うことができる画像処理装置を提供する。

本開示における画像処理装置は、複数のフレームを含む動画像データと、前記複数のフレームそれぞれの画像の特性値を示す特性情報とを取得する取得部と、前記複数のフレームのうちの１つのフレームである補正対象フレームの指定を受け付ける受付部と、前記特性情報に基づいて、前記補正対象フレームを含む連続した複数フレームから構成されるフレーム群が属する区間を補正区間として特定する特定部と、ユーザによって指定された内容の画像補正を、前記特定部によって特定された前記補正区間に属する前記フレーム群に対して適用する画像処理部と、を備える。

本開示における画像処理装置は、動画像編集をより効率よく行うことができる。

実施の形態におけるデジタルビデオカメラの主要なハードウェア構成を示す図 実施の形態におけるパーソナルコンピュータ（ＰＣ）の主要なハードウェア構成を示す図 実施の形態におけるＰＣの主要な機能構成を示すブロック図 実施の形態におけるデジタルビデオカメラの動作の流れの一例を示すフローチャート 実施の形態のデジタルビデオカメラにおいて動画記録中に作成されるメタデータの模式図 実施の形態における画像編集アプリケーションの編集画面の構成例を示す図 実施の形態のＰＣにおける補正処理に係る基本的な処理の流れを示すフローチャート 実施の形態のＰＣにおける補正処理に係る具体的な処理の流れの一例を示すフローチャート 実施の形態のＰＣにおける符号化処理の流れの一例を示すフローチャート 実施の形態におけるＰＣが有する、補正区間のエンコード処理に係る機能構成を示すブロック図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態）
＜１−１．概要＞
図１は、実施の形態におけるデジタルビデオカメラ１００の主要なハードウェア構成を示す図である。

図２は、実施の形態におけるパーソナルコンピュータ（ＰＣ）４００の主要なハードウェア構成を示す図である。

本実施の形態におけるデジタルビデオカメラ１００は、動画撮影時に、動画像の実データとともに、撮影条件をメタデータとして記録する。

また、本実施の形態におけるＰＣ４００は、入力された動画像データにおいて、同一カット内から、例えば同一撮影条件と見なせる区間を特定する。そして、ＰＣ４００は、同一の撮影条件と見なせる区間についての補正をまとめて行なう。

以下、図を用いて、本実施の形態にかかるデジタルビデオカメラ１００および、ＰＣ４００の構成と動作について説明する。

＜１−２．構成＞
＜１−２−１．ムービーカメラの構成＞
本実施の形態におけるデジタルビデオカメラ１００の構成について図１を用いて説明する。

デジタルビデオカメラ１００では、１以上のレンズで構成される光学系１１０により形成された被写体像をＣＭＯＳイメージセンサ１４０が撮像する。

ＣＭＯＳイメージセンサ１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。

光学系１１０は、ズームレンズおよびフォーカスレンズなどにより構成される。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大および縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。

レンズ駆動部１２０は、光学系１１０に含まれる各種レンズの移動を駆動する。レンズ駆動部１２０は、例えば、ズームレンズを駆動するズームモータ、および、フォーカスレンズを駆動するフォーカスモータを含む。

絞り３００は、ユーザの設定に応じてまたは自動で、開口部の大きさを調整し、これにより、絞り３００を透過する光の量を調整する。

シャッタ１３０は、シャッタ１３０を介してＣＭＯＳイメージセンサ１４０に到達する光を遮光する。

ＣＭＯＳイメージセンサ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＭＯＳイメージセンサ１４０は、露光、転送、および電子シャッタなどの各種動作を行う。

Ａ／Ｄコンバータ１５０は、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル画像データに変換する。

画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データ（より詳細には、Ａ／Ｄコンバータ１５０による変換後のデジタル画像データ、以下同じ。）に対して各種処理を施し、表示モニタ２２０に表示するための画像データの生成、および、メモリカード２００に格納するための画像データの生成等を行う。

画像処理部１６０は、例えば、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、および傷補正などの各種処理を行う。

また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データを、動画像データとして、Ｈ．２６４規格またはＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。

また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で得られる感度に関する情報、シャッタ速度に関する情報、および、画像処理部１６０で施したホワイトバランス補正に用いた値（ホワイトバランス値）などを、記録中の動画像データについての撮影条件（撮影情報）を示すメタデータとして、１フレーム単位で記録する。

なお、画像処理部１６０は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはマイコンなどで実現可能である。

また、メタデータは、複数のフレームそれぞれの画像の特性値を示す特性情報の一例であり、上記の感度に関する情報、シャッタ速度に関する情報、および、ホワイトバランス値のそれぞれは、画像の特性値の一例である。

コントローラ１８０は、デジタルビデオカメラ１００全体を制御する。コントローラ１８０は、半導体素子などで実現可能である。また、コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコンなどで実現できる。

バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、または強誘電体メモリなどで実現できる。

カードスロット１９０は、メモリカード２００を装着可能な装置である。具体的にはカードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。

メモリカード２００は、フラッシュメモリまたは強誘電体メモリなどを内部に含み、画像処理部１６０で生成された動画像データ等を格納可能である。

内部メモリ２３０は、フラッシュメモリまたは強誘電体メモリなどで構成される。内部メモリ２３０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶している。

操作部２１０は、ユーザからの操作を受け付けるユーザインターフェースである。操作部２１０は、例えば、ユーザからの操作を受け付ける動画記録釦、十字キー、および決定釦等を有する。

デジタルビデオカメラ１００が撮影モードのとき、コントローラ１８０は、ユーザによる動画記録釦の押下を受け付けて、動画像データのメモリカード２００への記録動作を開始する。そして、動画記録中に、ユーザによる動画記録釦の押下を受け付けると、コントローラ１８０は、動画像データのメモリカード２００への記録動作を停止する。

表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０で生成した画像データが示す画像（スルー画像）および、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。

ジャイロセンサ２４０は、デジタルビデオカメラ１００の単位時間あたりの角度変化、すなわち角速度に基づいて、ヨーイング方向のぶれおよびピッチング方向の動きを検出する。ジャイロセンサ２４０は、検出した動きの量を示すジャイロ信号をコントローラ１８０に出力する。

＜１−２−２．ＰＣの構成＞
ＰＣ４００は、画像処理装置の一例であり、コントローラ４０１、システム管理メモリ４０２、ワークメモリ４０３、ＨＤＤ４０４、ＵＳＢコネクタ４０７、表示デバイス４０８を備える。また、ＰＣ４００には、マウス４０５、キーボード４０６、液晶ディスプレイ４０９等が接続されている。

コントローラ４０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサを有し、ＰＣ４００における各種の情報を実行する処理部である。コントローラ４０１は、システム管理メモリ４０２、ワークメモリ４０３、ＨＤＤ４０４、表示デバイス４０８、およびＵＳＢコネクタ４０７と電気的に接続されている。

コントローラ４０１は、表示デバイス４０８を介して、液晶ディスプレイ４０９に表示される画面を変更することができる。また、コントローラ４０１は、ＵＳＢコネクタ４０７を介して、マウス４０５およびキーボード４０６を用いてのユーザの操作情報を受け付ける。

また、コントローラ４０１は、ＰＣ４００の各部に供給される電力等のシステム（図示せず）を全体的に制御している。

システム管理メモリ４０２は、ＯＳ（オペレーションシステム）などが保持されているメモリである。また、システム管理メモリ４０２には、システム時刻などが格納されている。システム時刻は、コントローラ４０１がＯＳのプログラムを実行することにより更新される。

ワークメモリ４０３は、コントローラ４０１が各種処理動作を実行するために必要な情報を一時的に格納するメモリである。ワークメモリ４０３には、コントローラ４０１により、例えば、編集対象の動画像データの撮影情報、ユーザにより調整された各種のパラメータを示す補正情報、補正を適用する区間（補正区間）を定義する情報などが格納される。

ＰＣ４００が、動画像データに対する編集処理を実行する際にワークメモリ４０３に保持される各種の情報について以下に説明する。

ワークメモリ４０３は、補正対象の動画像データに対応付けられたメタデータから得られる、各フレームの撮影情報を有している。つまり、ワークメモリ４０３には、補正対象の動画像データが有する特性情報である、フレームごとの撮影情報が格納される。

コントローラ４０１は、ワークメモリ４０３に格納された撮影情報を取得すること、および更新することができる。

ワークメモリ４０３は、ユーザが所望する画像補正のパラメータを、補正情報として有している。画像補正のパラメータとしては、色相、彩度、明度、輝度、コントラスト強度、ノイズ除去フィルタ強度などが例示される。コントローラ４０１は、ワークメモリ４０３に格納された補正情報を取得すること、および更新することができる。

ワークメモリ４０３は、補正区間を定義する情報を補正区間情報として有している。コントローラ４０１は、ワークメモリ４０３に格納された補正区間情報を取得すること、および更新することができる。また、コントローラ４０１は、ワークメモリ４０３から補正区間情報を取得し、当該補正区間情報に示される値を用いて、表示デバイス４０８を介して、液晶ディスプレイ４０９に補正区間の提示をすることができる。

ＨＤＤ４０４は、動画像データなどを格納する大容量のディスクドライブである。また、ＨＤＤ４０４には、画像編集アプリケーションプログラム５００（以下、「画像編集アプリケーション５００」という。）の実行ファイルが格納されている。

コントローラ４０１は、ユーザによる画像編集アプリケーション５００の起動指示に従って、ＨＤＤ４０４に格納されている実行ファイルをワークメモリ４０３に展開する。これにより、コントローラ４０１は、画像編集アプリケーション５００の各種処理動作を実行できるようになる。

マウス４０５は、ユーザが編集操作時に使用するポインティングデバイスである。ユーザは、マウス４０５を操作することにより、画像編集アプリケーション５００の編集画面上において、補正対象となるフレームの選択および変更、補正区間の変更、各種補正のパラメータの調整等を行うことができる。

液晶ディスプレイ４０９に表示される編集画面の構成例については、図６を用いて後述する。

キーボード４０６は、ユーザが編集操作時にＰＣ４００への文字入力などを行う、キーボードデバイスである。

ＵＳＢコネクタ４０７は、マウス４０５、キーボード４０６、およびカードスロット４１０をＰＣ４００に接続するためのコネクタである。

カードスロット４１０は、メモリカード２００を装着可能な装置である。具体的にはカードスロット４１０は、機械的及び電気的にメモリカード２００と接続可能である。

また、カードスロット４１０は、ＵＳＢコネクタ４０７を介してコントローラ４０１と電気的に接続可能である。なお、カードスロット４１０は、ＵＳＢコネクタ４０７等を介した外付けのものに限定されず、ＰＣ４００に内蔵されていてもよい。

表示デバイス４０８は、コントローラ４０１で演算された画面情報を映像化するデバイスであり、画面情報を液晶ディスプレイ４０９に伝える。

液晶ディスプレイ４０９は、表示デバイス４０８で映像化された画面情報を表示する表示装置である。

コントローラ４０１は、画像編集アプリケーション５００をＨＤＤ４０４から読み出し、ワークメモリ４０３に格納して、画像編集アプリケーション５００を起動し実行する。

また、コントローラ４０１は、ワークメモリ４０３から撮影情報を取得し、例えば、撮影情報が変化する点を特定することができる。そして、コントローラ４０１は、例えば、動画像データにおいてユーザが補正対象として選択したフレームの撮影情報と同一とみなせる撮影情報を有する１以上のフレームを特定する。これにより、補正対象として選択されたフレームを含む複数フレームから構成されるフレーム群が属する区間が、補正区間の候補として特定される。

コントローラ４０１はさらに、特定した補正区間によって、ワークメモリ４０３に格納されている補正区間情報を更新することができる。

また、コントローラ４０１は、ユーザの操作によって調整された補正区間により、ワークメモリ４０３に格納されている補正区間情報を更新することができる。

また、コントローラ４０１は、ワークメモリ４０３から補正情報を取得し、補正情報に含まれている値を用いて、補正対象の動画像データを復号処理することで得られるフレームに対して、画像処理（補正）を実施することができる。

コントローラ４０１は、ＨＤＤ４０４に格納されている補正対象の動画像データを読み出して復号処理し、復号された動画像データに対して画像処理を施し、画像処理を施した動画像データを符号化し、出力ファイルとしてＨＤＤ４０４に格納することができる。

また、コントローラ４０１は、復号処理の過程で、当該動画像データから、動きベクトルおよび画面内予測モード等を抽出することができ、抽出した動きベクトルおよび画面内予測モード等を用いて、符号化処理の一部の過程を高速に実施することができる。

コントローラ４０１が実行する、復号、補正、符号化の一連の処理の具体的な流れについては、図９および図１０を用いて後述する。

次に、実施の形態に係るＰＣ４００の機能的な構成を、図３を用いて説明する。

図３は、実施の形態におけるＰＣ４００の主要な機能構成を示すブロック図である。

図３に示すように、実施の形態におけるＰＣ４００は、主要な機能構成として、取得部４２０、受付部４３０、特定部４４０、および画像処理部４５０を備える。

なお、以下に説明する、取得部４２０、受付部４３０、特定部４４０、および画像処理部４５０のそれぞれの処理は、本実施の形態では、コントローラ４０１が上記の画像編集アプリケーション５００等を実行することで実現される。

取得部４２０は、複数のフレームを含む動画像データと、当該複数のフレームそれぞれの画像の特性値を示す特性情報とを取得する。

本実施の形態では、取得部４２０（コントローラ４０１）は、デジタルビデオカメラ１００によって生成された、フレームごとの撮影情報を示すメタデータを有する動画像データを、メモリカード２００を介して取得する。

受付部４３０は、複数のフレームのうちの１つのフレームである補正対象フレームの指定を受け付ける。

本実施の形態では、受付部４３０（コントローラ４０１）は、マウス４０５またはキーボード４０６が操作されることでＰＣ４００に入力される補正対象フレームの指定を、ＵＳＢコネクタ４０７を介して受け付ける。

特定部４４０は、特性情報に基づいて、補正対象フレームを含む連続した複数フレームから構成されるフレーム群が属する区間を補正区間として特定する。

本実施の形態では、特定部４４０（コントローラ４０１）は、補正対象フレームのメタデータに示される特性値（撮影情報に示されるホワイトバランス値等）に基づいて、補正区間を特定する。

画像処理部４５０は、ユーザによって指定された内容の補正を、特定部４４０によって特定された補正区間に属するフレーム群に対して適用する。

本実施の形態では、画像処理部４５０（コントローラ４０１）は、ユーザによってマウス４０５またはキーボード４０６が操作されることで設定される、補正の種類およびパラメータ等に応じて、補正区間に属するフレーム群に対する補正を行う。

なお、この補正の際には、具体的には、画像処理部４５０（コントローラ４０１）によって、上述のように復号処理および符号化処理が実行される。

なお、「フレームに補正を適用する」という場合、本実施の形態では、画像処理装置として機能するＰＣ４００が、当該フレームに示される画像に対する補正処理を行うことを意味する。

また、フレームに適用される「補正」または「補正処理」としては、当該フレームの画像に対する、色相、彩度、明度、輝度、色温度、色合い、もしくはコントラストの変更、またはノイズの除去などの処理が例示される。簡単に言うと、「補正」または「補正処理」とは、当該フレームの画像を明るくすること、色を変更すること、またはざらつきを抑えることなど、画像全体としての配置構成の実質的な変更を伴わない画像処理のことである。

つまり、フレームに適用される「補正」または「補正処理」とは、当該フレームに示される画質の変更等と言い換えることも可能である。

＜１−３．動作＞
＜１−３−１．デジタルビデオカメラによる記録動作＞
続いて、デジタルビデオカメラ１００による記録動作について図４を用いて説明する。

図４は、実施の形態におけるデジタルビデオカメラ１００の動作の流れの一例を示すフローチャートである。

コントローラ１８０は、動画記録釦が押されたかどうかを判定する（Ｓ３０１）。動画記録釦が押された場合（Ｓ３０１でＹｅｓ）、コントローラ１８０は、動画像データのメモリカード２００への記録を開始する（Ｓ３０２）。

コントローラ１８０は、動画像データの記録を開始するとともに、メタデータのメモリカード２００への記録を開始する（Ｓ３０３）。

メタデータは、生成される動画像データのフレームの１枚毎に、該フレームが生成されたときの撮影情報が記述されたデータである。例えば、６０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）で記録した動画像データであれば、１秒分の撮影情報として６０セットの撮影情報が記述されたメタデータが記録される。

コントローラ１８０は、動画記録釦が再度押されたかどうかを判定する（Ｓ３０４）。動画記録釦が再度押された場合（Ｓ３０４でＹｅｓ）、コントローラ１８０は、動画の記録を終了するとともに、メタデータの記録も終了する（Ｓ３０５、Ｓ３０６）。

動画記録釦が再度押されていない場合（Ｓ３０４でＮｏ）、コントローラ１８０は、動画像データの記録（Ｓ３０２）とメタデータの記録（Ｓ３０３）とを継続する。

図５は、実施の形態のデジタルビデオカメラ１００において動画記録中に作成されるメタデータの模式図である。

図５の（Ａ）は、デジタルビデオカメラ１００で生成される動画像データ全体の模式図である。図５の（Ｂ）は、図５の（Ａ）に示している動画像データの一部を構成する複数のフレームの模式図である。図５の（Ｃ）は、図５の（Ｂ）に示す複数フレームのそれぞれに対応した撮影条件を記述したメタデータの模式図である。

メタデータは、動画像データのフレーム１枚につき１セット関連づけられており、例えば、動画像データの各フレームのヘッダー部の中に、該フレームに対応するメタデータが記録される。メタデータの１セットには、ホワイトバランス値、感度に関する値、およびシャッタスピードを表す値などが記録される。

＜１−３−２．ＰＣによる補正区間の判定動作＞
続いて、ＰＣ４００による補正区間の特定動作について説明する。まず、画像編集にあたっての準備動作について説明する。

カードスロット４１０は、上述のように、デジタルビデオカメラ１００によりメタデータを含む動画像データが記録されたメモリカード２００を装着することができる。カードスロット４１０に、メモリカード２００が装着されると、コントローラ４０１は、メモリカード２００が装着された旨を検出する。

コントローラ４０１が、メモリカード２００を検出すると、ユーザは、マウス４０５等を用いて、メモリカード２００内に記録された動画像データを、ＰＣ４００のＨＤＤ４０４にコピーすることができる。

これにより、ＰＣ４００のＨＤＤ４０４に、図４に示すフローチャートに従って記録された動画像データが記録される。すなわち、ＨＤＤ４０４には、動画像データの各フレームの実体データとともに、各フレームのヘッダー部に含まれる該フレームに対応するメタデータも記録される。

ユーザにより、画像編集アプリケーション５００を実行するための実行ファイルが、マウス４０５等を用いて選択されると、コントローラ４０１は、画像編集アプリケーション５００を実行し、起動させる。コントローラ４０１は、画像編集アプリケーション５００を起動させると、液晶ディスプレイ４０９に、画像編集アプリケーションの画面（編集画面）を表示する。

図６は、実施の形態における画像編集アプリケーション５００の編集画面５０１の構成例を示す図である。

編集画面５０１は、プレビューエリア５１０、調整バーエリア５２０、補正区間表示エリア５３０、および決定釦５４０などから構成される。

プレビューエリア５１０は、動画像データの内容を表示する表示パネル５１１、停止釦５１２、巻き戻し釦５１３、再生釦５１４、一時停止釦５１５、および早送り釦５１６を有している。

ユーザは、停止釦５１２、巻き戻し釦５１３、再生釦５１４、一時停止釦５１５、および早送り釦５１６をマウス４０５等により選択することで、動画像データにおいて、補正したいフレームを探すことができる。また、ユーザは、表示パネル５１１により、補正適用後の動画像を確認することができる。

例えば、ユーザがマウス４０５を用いて再生釦５１４を押すと、コントローラ４０１は、ＨＤＤ４０４から補正対象の動画像データを読み出して復号処理を実施する。そして、コントローラ４０１は、復号結果の動画像データを構成する各フレームを連続的に表示デバイス４０８を介して液晶ディスプレイ４０９上の表示パネル５１１の位置に表示する。これにより、補正対象の動画像データが再生される。

ユーザがマウス４０５を用いて一時停止釦５１５を押すと、コントローラ４０１は、復号結果の動画像データを構成する複数フレームのうち１フレームだけ表示デバイス４０８を介して液晶ディスプレイ４０９上の表示パネル５１１の位置に表示する。つまり、表示パネル５１１に表示されている当該１フレームが補正対象フレームとして選択される。

このように、ユーザは、停止釦５１２、巻き戻し釦５１３、再生釦５１４、一時停止釦５１５、および早送り釦５１６をマウス４０５等により選択することで、動画像データにおいて、補正したいフレームを探すことができる。

調整バーエリア５２０は、本実施の形態では、色合い調整バー５２１、明るさ調整バー５２２、およびノイズ除去強度バー５２３を有しており、ユーザが好みに合わせて画像を補正することができる。

コントローラ４０１は、ワークメモリ４０３に格納されている補正情報を読み出し、補正情報に示される各パラメータの値を各調整バーの位置情報にプロットする。これにより、液晶ディスプレイ４０９上の調整バーエリア５２０に、色合い調整バー５２１、明るさ調整バー５２２、およびノイズ除去強度バー５２３のそれぞれが、当該補正情報に応じた位置に表示される。

例えば、各調整バーの位置は、デフォルトでは±０の位置となっている。つまり、このときワークメモリ４０３に格納されている補正情報は、色合い、明るさ、ノイズ除去のいずれも調整値が±０となるよう記述されている。

ユーザが、色合い調整バー５２１、明るさ調整バー５２２、およびノイズ除去強度バー５２３のいずれかをマウス４０５を用いて位置を変更した場合を想定する。この場合、コントローラ４０１は、表示パネル５１１に表示している復号結果のフレームに対して、変更後の調整バーの位置に合わせた補正情報に従った画像処理を施し、画像処理を施した結果を表示デバイス４０８を介して液晶ディスプレイ４０９上の表示パネル５１１の位置に表示する。

すなわち、ユーザが、マウス４０５を用いて各調整バーの位置を変更すると、それに伴って、表示パネル５１１には調整結果が反映されたフレームのプレビューがリアルタイムに表示される。これにより、ユーザは、所望の調整結果となったか否かを容易に把握することができる。

補正区間表示エリア５３０には、編集対象としている動画像データの時間軸情報が示される。また、補正区間表示エリア５３０には、編集対象の動画像データの全区間を示すバーと、当該全区間を示すバーに対応して、記録開始からカウントした時間とが表示されている。

また、補正区間表示エリア５３０は、ポインタ５３１、補正区間５３２などを含んでいる。ポインタ５３１は、現在、表示パネル５１１に表示されているフレームの、動画像データの全区間中の位置を示す。つまり、補正対象フレームの動画像データの全体における位置がポインタ５３１によって示される。

これにより、ユーザは、現在表示されているフレーム（補正対象フレーム）が、動画像データの全区間中のどこに位置するかを容易に把握することができる。

補正区間５３２は、ユーザが調整バーエリア５２０を使用して調整した補正内容が、動画像データの全区間のうち、どの範囲に適用されるかを示す。

これにより、ユーザは、自身が選択および調整した内容の補正が動画像データの全区間のうち、どの範囲に適用されるかを容易に確認することできる。また、ユーザは、提示されている補正区間５３２の左右両端の少なくとも一方をマウス４０５を用いてドラッグすることで、補正区間の長さを調整することができる。

コントローラ４０１は、ワークメモリ４０３に格納されている補正区間情報を読み出し、補正区間表示エリア５３０の時間的な位置情報にプロットする。コントローラ４０１はさらに、当該時間的な位置情報を、表示デバイス４０８を介して液晶ディスプレイ４０９上の補正区間表示エリア５３０に補正区間５３２として提示する。

また、ユーザが、提示されている補正区間５３２の左右両端の少なくとも一方をマウス４０５を用いてドラッグすると、コントローラ４０１は、時間的な位置情報を補正区間情報にプロットし、これを新たな補正区間情報として、ワークメモリ４０３に格納されている補正区間情報を更新する。

つまり、コントローラ４０１は、特定した補正区間５３２に対する変更の指示を受け付けた場合、当該変更の指示に応じて補正区間５３２を更新する。

ユーザが、決定釦５４０をマウス４０５を用いて押すと、コントローラ４０１は、ワークメモリ４０３に格納されている補正区間情報と、補正情報とを読み出し、補正結果のファイル出力処理を実施し、ＨＤＤ４０４に出力結果（つまり、補正後の動画像データ）を格納する。

次に、図７を用いて、ＰＣ４００の、補正処理に係る基本的な処理の流れを説明する。

図７は、実施の形態のＰＣ４００における補正処理に係る基本的な処理の流れを示すフローチャートである。

具体的には、図７は、実施の形態におけるコントローラ４０１によって実現される各機能ブロック（取得部４２０、受付部４３０、特定部４４０および画像処理部４５０、図３参照）の基本的な処理を示している。

取得部４２０は、複数のフレームを含む動画像データと、当該複数のフレームそれぞれの画像の特性値を示す特性情報メタデータとを取得する（Ｓ４００）。

受付部４３０は、当該複数のフレームのうちの１つのフレームである補正対象フレームの指定を受け付ける（Ｓ４１０）。

特定部４４０は、当該特性情報に基づいて、当該補正対象フレームを含む連続した複数フレームから構成されるフレーム群が属する区間を補正区間として特定する（Ｓ４２０）。

画像処理部４５０は、ユーザによって指定された内容の補正を、特定部４４０によって特定された補正区間に属する当該フレーム群に対して適用する（Ｓ４３０）。

続いて、図８を用いて、ＰＣ４００の、補正処理に係る具体的な処理の流れの一例を説明する。

図８は、実施の形態のＰＣ４００における補正処理に係る具体的な処理の流れの一例を示すフローチャートである。

コントローラ４０１は、ＨＤＤ４０４から補正対象の動画像データを読み出し、復号処理を実施し、表示パネル５１１に表示する。これにより、補正対象の動画像が再生される（Ｓ６０１）。

コントローラ４０１は、一時停止釦５１５が押されたかどうかを判断する（Ｓ６０２）。一時停止釦５１５が押下されなければ（Ｓ６０２でＮｏ）、コントローラ４０１は、補正対象の動画像データの再生を継続する。一時停止釦５１５押されたと判断した場合（Ｓ６０２でＹｅｓ）、コントローラ４０１は、補正区間を特定する（Ｓ６０３）。

コントローラ４０１は、補正区間の特定において、まず、ワークメモリ４０３に格納している各フレームのメタデータ（図５の（Ｃ）参照））の中から、表示パネル５１１に表示しているフレーム（補正対象フレーム）に対応するメタデータを読み出す。

続いて、コントローラ４０１は、補正対象フレームから時間的に前方（図５における左方向）に位置するフレームのメタデータを走査していく。

コントローラ４０１は、補正対象フレームのメタデータが示すパラメータ（例えば、ホワイトバランス値、感度値、およびシャッタスピード値の少なくとも１つ）と、同一とみなせるパラメータを示すメタデータを有する１以上のフレームを特定する。

コントローラ４０１は、補正対象フレームのメタデータが示すパラメータとの差分が、例えば所定の閾値以下の値を示すパラメータを示すメタデータを有する１以上のフレームを特定する。

コントローラ４０１は、補正対象フレームから時間的に前方に位置するフレームのメタデータを走査した結果、補正対象フレームのメタデータが示すパラメータと、同一とみなせなくなったパラメータに対応するフレームを特定する。コントローラ４０１はさらに、特定したフレームの時間的に１つ後のフレームの開始位置を、補正区間５３２の左側（補正開始位置）と決定する。

続いて、コントローラ４０１は、補正対象フレームから時間的に後方（図５におけるの右方向）に位置するフレームのメタデータを走査していく。

コントローラ４０１は、補正対象フレームのメタデータが示すパラメータと同一とみなせるパラメータを示すメタデータを有する１以上のフレームを特定する。そして、コントローラ４０１は、補正対象フレームから時間的に後方に位置するフレームのメタデータを走査した結果、補正対象フレームのメタデータが示すパラメータと、同一とみなせなくなったパラメータに対応するフレームを特定する。コントローラ４０１はさらに、特定したフレームの時間的に１つ前のフレームの終端位置を、補正区間５３２の右側（補正終端位置）と決定する。

つまり、本実施の形態のコントローラ４０１は、補正対象フレームの時間的に前および後のうちの少なくとも一方の１以上のフレームであって、当該補正対象フレームの特性値から所定の範囲内の特性値を有する前記１以上のフレームを特定する。これにより、コントローラ４０１は、当該補正対象フレームおよび当該１以上のフレームを含むフレーム群が属する補正区間５３２を特定する。

続いて、コントローラ４０１は、特定した補正区間５３２の時間範囲を時間軸上にプロットすることで、補正区間５３２を示す画像を補正区間表示エリア５３０中に提示する（Ｓ６０４）。

続いて、コントローラ４０１は、色合い調整バー５２１、明るさ調整バー５２２、およびノイズ除去強度バー５２３のいずれかの調整バーがユーザによって操作されたかを判断する（Ｓ６０５）。

色合い調整バー５２１、明るさ調整バー５２２、およびノイズ除去強度バー５２３のいずれかの調整バーが操作されなければ（Ｓ６０５でＮｏ）、コントローラ４０１は、一時停止されたフレーム（補正対象フレーム）の表示パネル５１１における表示を維持する。

一方、色合い調整バー５２１、明るさ調整バー５２２、およびノイズ除去強度バー５２３のいずれかの調整バーが操作された場合（Ｓ６０５でＹｅｓ）、コントローラ４０１は、表示パネル５１１に表示している復号結果の補正対象フレームに対して、各調整バーの位置に合わせた補正情報に従った画像処理（補正）を施す。コントローラ４０１はさらに、画像処理を施した結果の画像を表示デバイス４０８を介して液晶ディスプレイ４０９上の表示パネル５１１の位置に表示する（Ｓ６０６）。

コントローラ４０１は、決定釦５４０が押されたかどうかを判断する（Ｓ６０７）。決定釦５４０が押下されなければ（Ｓ６０７でＮｏ）、コントローラ４０１は、補正区間５３２の変更の指示があったか否かを判断する（Ｓ６０８）。

補正区間５３２の変更の指示がなされていないと判断した場合（Ｓ６０８でＮｏ）、コントローラ４０１は、補正区間５３２に示される補正開始位置と補正終端位置とを変更せずに提示処理（Ｓ６０４）を継続する。

一方、補正区間５３２の変更の指示がなされたと判断した場合（Ｓ６０８でＹｅｓ）、コントローラ４０１は、補正区間５３２を定義する補正区間情報を変更し（Ｓ６１０）、変更後の補正区間情報に従った補正区間５３２の提示処理をする（Ｓ６０４）。

Ｓ６０７において、決定釦が押下されたと判断した場合（Ｓ６０７でＹｅｓ）、コントローラ４０１は、動画像データのエンコード処理を実施する（Ｓ６０９）。

すなわち、コントローラ４０１は、補正区間５３２に属するフレーム群に対して、調整バーエリア５２０の各調整バーの位置に合わせた補正情報に従った画像処理を施す。そして、コントローラ４０１は、画像処理を施した結果のデータを符号化して、ＨＤＤ４０４に格納する。これにより補正後の動画像データが得られる。

＜１−３−３．ＰＣによる補正後のファイル出力動作＞
続いて、エンコード処理（Ｓ６０９）の詳細、つまり、ＰＣ４００における、補正後の動画像データを出力するときの符号化処理の詳細を、図９を用いて説明する。

図９は、実施の形態のＰＣ４００における符号化処理の流れの一例を示すフローチャートである。

まず、コントローラ４０１は、ＨＤＤ４０４から補正対象の動画像データを読み出す（Ｓ７０１）。続いて、フレーム位置を示すカウンタｉをゼロで初期化する（Ｓ７０２）。

コントローラ４０１は、動画像データを１フレーム読み出し、読み出したｉ番目のフレームが補正区間５３２（補正開始位置から補正終端位置の間の区間）に含まれるかどうかを判断する（Ｓ７０３）。

ｉ番目のフレームが補正区間５３２に含まれると判断した場合（Ｓ７０３でＹｅｓ）、コントローラ４０１は、ｉ番目のフレームを復号処理する（Ｓ７０４）。続いて、コントローラ４０１は、復号処理したｉ番目のフレームに対して、調整バーエリア５２０の各調整バーの位置に合わせた補正情報に従った画像処理を施し、補正されたｉ番目のフレームである非圧縮フレームを得る（Ｓ７０５）。

さらに、コントローラ４０１は、得られた非圧縮フレームに対して符号化処理を施して、ｉ番目のフレームに対応する符号化データを得る（Ｓ７０６）。そして、ステップＳ７０７の多重化処理に進む。

なお、多重化処理（Ｓ７０７）では、Ｓ７０６で得られた符号化データと、例えばＳ７０１の処理の際に動画像データから分離され保持されていた、当該符号化データに対応する音声データとが多重化される。

一方、Ｓ７０３において、ｉ番目のフレームが補正区間５３２に含まれないと判断した場合（Ｓ７０３でＮｏ）、コントローラ４０１は、読み出したｉ番目のフレームに対して、調整バーエリア５２０の各調整バーの位置に合わせた補正情報に従った画像処理は施さず、ｉ番目の符号化データとして扱う。そして、コントローラ４０１は、処理をステップＳ７０７の多重化処理に移行する。

コントローラ４０１は、補正がなされていないｉ番目の符号化データを多重化処理し（Ｓ７０７）、補正結果の動画像データの一部として、ＨＤＤ４０４に格納していく（Ｓ７０７）。

続いて、コントローラ４０１は、ｉ番目のフレームが補正対象の動画像データの最終フレームか否かを判断する（Ｓ７０８）。ｉ番目のフレームが補正対象の動画像データの最終フレームと判断した場合（Ｓ７０８でＹｅｓ）、コントローラ４０１は、エンコード処理を終了し、多重化処理（Ｓ７０７）によってＨＤＤ４０４に格納された補正結果の動画像データを、最終的な補正結果の動画像データとして扱う。

ｉ番目のフレームが補正対象の動画像データの最終フレームでないと判断した場合（Ｓ７０８でＮｏ）、コントローラ４０１は、フレームカウンタｉをインクリメントし、Ｓ７０３からＳ７０８までの処理を継続する。

ここで、ｉ番目のフレームに対して、復号、補正、および符号化を実施する過程（図９に示すＳ７０４からＳ７０６）において、短時間で処理を行う方法について、図１０を用いて説明する。

図１０は、実施の形態における画像処理部４５０が有する、補正区間のエンコード処理に係る機能構成を示すブロック図である。

図１０に示すように、ＰＣ４００が有する画像処理部４５０は、復号処理部８１０と、画像補正部８３０と、符号化処理部８５０とを有する。

つまり、復号処理部８１０、画像補正部８３０、および符号化処理部８５０は、本実施の形態ではコントローラ４０１によって実現される。

Ｓ７０４での復号処理は、図１０における、補正前符号化データ８００に対し、復号処理部８１０で復号処理を実施し、補正前非圧縮データ８２０を得ることに相当する。

また、Ｓ７０６での符号化処理は、図１０における、補正後非圧縮データ８４０に対し、符号化処理部８５０で符号化処理を実施し、補正後符号化データ８６０を得ることに相当する。

図１０に示すように、復号処理部８１０は、ＶＬＣ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）復号部８１１、および非圧縮データ復号部８１３を有する。そして、復号処理部８１０は、補正前符号化データ８００を入力データとし、補正前非圧縮データ８２０を出力する。

復号処理部８１０において、ＶＬＣ復号部８１１は、入力された補正前符号化データ８００に対してＶＬＣ復号処理を施して、復号情報８１２を出力する。

マクロブロック等の処理単位ごとの復号情報８１２には、動きベクトルまたは画面内予測モード、およびＤＣＴ係数などが含まれている。

コントローラ４０１は、ＶＬＣ復号処理により得られた復号情報８１２を、例えばワークメモリ４０３に格納する。続いて、非圧縮データ復号部８１３は、復号情報８１２をワークメモリ４０３から読み出し、読み出した復号情報８１２を用いて、動き補償、画面内予測、および逆ＤＣＴ変換の各処理を実行し、これによって得られる補正前非圧縮データ８２０を出力する。

画像補正部８３０は、補正前非圧縮データ８２０を入力データとし、補正後非圧縮データ８４０を出力する。画像補正部８３０は、処理対象のフレーム（補正前非圧縮データ８２０）に対して、調整バーエリア５２０の各調整バーの位置に合わせた補正情報に従った画像処理を施す。

図１０に示すように、符号化処理部８５０は、符号化情報生成部８５１およびＶＬＣ符号化部８５２を有する。そして、符号化処理部８５０は、補正後非圧縮データ８４０を入力データとし、補正後符号化データ８６０を出力する。

符号化処理部８５０において、符号化情報生成部８５１は、入力された補正後非圧縮データ８４０に対して、マクロブロック等の処理単位ごとに、動き予測処理または画面内予測処理、およびＤＣＴ変換処理等を実施し、ＶＬＣ符号化に必要な情報を生成する。

符号化処理部８５０は、動き予測処理を行う場合、ワークメモリ４０３に格納されている復号情報８１２から、処理対象のデータに対応する動きベクトルを読み出し、この動きベクトルを、補正後の符号化データの動きベクトルとして設定する。

また、符号化処理部８５０は、画面内予測処理を行う場合、ワークメモリ４０３に格納されている復号情報８１２から、処理対象のデータに対応する画面内予測モードを読み出し、この画面内予測モードを補正後の符号化データの画面内予測モードとして設定する。

そして、ＶＬＣ符号化部８５２は、符号化情報生成部８５１により生成された情報に対してＶＬＣ符号化処理を施して、これによる得られる補正後符号化データ８６０を出力する。

以上のように、画像処理部４５０（コントローラ４０１）は、補正前の符号化データから得られる動きベクトルと画面内予測モードとを、補正後の符号化データ生成に利用することで、短時間で補正後の符号化データを生成することができる。

ここで、本実施の形態におけるＰＣ４００が実行する補正処理は、上述のように、当該フレームの画像を明るくすることなど、画像全体としての構成の変更を伴わない画像処理である。

そのため、補正対象の符号化データの復号処理によって得られる、マクロブロック等の処理単位ごとの動きベクトルまたは画面内予測モード等の情報を、補正後非圧縮データ８４０の符号化に利用することができる。

つまり、補正前の符号化データにおける動きベクトルまたは画面内予測モードが維持されたまま、ＤＣＴ係数が変更されたデータとして、補正後の符号化データを得ることができる。

このように、本実施の形態のＰＣ４００によれば、補正後の符号化データの生成の高速化が図られる。

＜１−４．効果等＞
以上のように、本実施の形態におけるＰＣ４００は、取得部４２０と、受付部４３０と、特定部４４０と、画像処理部４５０とを備える。

取得部４２０は、複数のフレームを含む動画像データと、複数のフレームそれぞれの画像の特性値を示すメタデータとを取得する。

受付部４３０は、複数のフレームのうちの１つのフレームである補正対象フレームの指定を受け付ける。

特定部４４０は、メタデータに基づいて、補正対象フレームを含む連続した複数フレームから構成されるフレーム群が属する区間を補正区間として特定する。

画像処理部４５０は、ユーザによって指定された内容の補正を、補正区間に属するフレーム群に対して適用する。

なお、本実施の形態では、ＰＣ４００は、これら取得部４２０、受付部４３０、特定部４４０、および画像処理部４５０として機能するコントローラ４０１を備えている。

すなわち、画像編集装置（ＰＣ４００）は、コントローラ４０１を備え、コントローラ４０１は、（ｉ）複数のフレームを含む動画像データと、複数のフレームそれぞれの画像の特性値を示すメタデータとを取得し、（ｉｉ）複数のフレームのうちの１つのフレームである補正対象フレームの指定を受け付け、（ｉｉｉ）メタデータに基づいて、補正対象フレームを含む連続した複数フレームから構成されるフレーム群が属する区間を補正区間として特定し、（ｉｖ）ユーザによって指定された内容の補正を、特定された補正区間に属するフレーム群に対して適用する。

ＰＣ４００は、上記構成を有することで、例えば補正対象フレームと同一とみなせる撮影条件（撮影情報）と対応付けられたフレーム群が属する区間を補正区間として自動で特定できる。その結果、ＰＣ４００は、補正区間に属するフレーム群に対してまとめて補正処理を施すことができ、動画像編集をより短時間で行うことができる。

また、本実施の形態において、特定部４４０は、補正対象フレームの、時間的に前および後のうちの少なくとも一方の１以上のフレームであって、補正対象フレームの特性値から所定の範囲内の特性値を有する１以上のフレームを特定することで、補正対象フレームおよび当該１以上のフレームを含むフレーム群が属する補正区間を特定する。

この構成により、例えば、補正対象フレームのシャッタスピードを基準値とし、当該基準値から所定の範囲内のシャッタスピードを特性値（撮影情報）として有するフレーム群が特定される。その結果、例えば補正対象フレームとほぼ同様の明るさ（または暗さ）を有するフレーム群、つまり、同一内容の補正の適用に適したフレーム群が属する補正区間が特定される。

また、本実施の形態において、特定部４４０は、メタデータに示される、複数のフレームそれぞれの画像の特性値である、動画像データの生成の際の撮影条件を示す値を用いて、前記補正区間を特定する。

また、本実施の形態において、画像処理部４５０は、補正区間に属するフレーム群のそれぞれのフレームに対して、色相、彩度、明度、輝度、コントラスト強度、ノイズ除去フィルタ強度のうちの少なくとも１つを変更する処理である補正を適用する。

この構成により、ＰＣ４００は、例えばユーザの要求に応じた各種の補正を、ＰＣ４００が特定した補正区間のフレーム群に適用することができる。

また、本実施の形態において、受付部４３０はさらに、特定部４４０によって特定された補正区間の変更の指示を受け付け、特定部４４０はさらに、変更の指示に応じて補正区間を更新する。また、画像処理部４５０は、特定部４４０によって更新された補正区間に属するフレーム群に対して補正を適用する。

この構成により、ＰＣ４００によって自動的に特定された補正区間を、例えばユーザの判断に応じて変更することができる。

また、本実施の形態において、画像処理部４５０は、復号処理部８１０と、画像補正部８３０と、符号化処理部８５０とを有する。

復号処理部８１０は、補正区間に属するフレーム群のデータである符号化データの復号処理によって得られる、フレーム群に対応する非圧縮データを出力するとともに、復号処理によって得られる、動きベクトルまたは画面内予測モードを示す復号情報を出力する。

画像補正部８３０は、復号処理によって得られた非圧縮データに対して補正を適用する。符号化処理部８５０は、補正が適用された非圧縮データに対して、復号情報に示される動きベクトルまたは画面内予測モードを用いて符号化処理を行う。

この構成により、ＰＣ４００は、画像補正を伴う符号化処理に要する演算負担を軽減することができ、動画像編集をより短時間で行うことができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

上記の実施の形態では、動画撮影開始時から終了時まで、メタデータに、撮影条件を１フレームごとに記録するとした。しかしながら、例えば、フレームレートが６０ｆｐｓである場合、６０フレームごとに撮影条件の代表値を記録してもよい。

このとき、代表値は、６０フレームにおける、撮影条件に示される値（例えばホワイトバランス値）の平均値でもよく、その６０フレームの最初のフレームの値でもよく、または、最後のフレームの値でもよい。あるいは、代表値は、その６０フレームの中間のフレームの値でもよい。

つまり、ＰＣ４００が補正区間の特定に用いる特性情報（実施の形態におけるメタデータ）は、各フレームと、各フレームの画像の特性値として扱われる値とが対応付けられていれば、データ形式に限定はない。

また、本実施の形態では、コントローラ４０１は、補正対象フレームのメタデータが示すホワイトバランス値、感度値、およびシャッタスピード値の少なくとも１つを基準に、補正区間を特定するとした。

つまり、コントローラ４０１は、２種類以上の特性値を用いて、補正区間を特定してもよい。

例えば、補正対象フレームのメタデータが示すホワイトバランス値から所定の範囲内のホワイトバランス値を有し、かつ、当該メタデータが示すシャッタスピード値から所定の範囲内のシャッタスピード値を有する１以上のフレームを特定することで、補正区間を特定してもよい。

また、補正対象フレームの特性値（基準特性値）から所定の範囲内の特性値を有する１以上のフレームを特定する場合において、「所定の範囲内」であるか否かの判断は、基準特性値と、比較対象の特性値との差分が閾値以下か否かで判断されなくてもよい。

例えば、基準特性値に対する比較対象の特性値の比率が、予め設定された範囲内（例えば、９０％〜１１０％など）である場合に、比較対象の特性値が、基準特性値から所定の範囲内であると判断されてもよい。

また、例えば、基準特性値に対する、比較対象の特性値の変化率（単位時間当たりの変化量）が、予め設定された範囲内である場合に、比較対象の特性値が、基準特性値から所定の範囲内であると判断されてもよい。

また、当該判断における所定の範囲は、固定でなくてもよく、例えば、ユーザによって変更可能であってもよい。例えば、当該所定の範囲を狭めることで、各フレームに対して行われる、同一内容の補正を一括して適用すべきフレーム群に属する否かの判断を、より厳密に行うことができる。

また、基準特性値と一致する特性値に対応づけられた１以上のフレームを特定することで、補正区間が特定されてもよい。

つまり、補正区間は、動画像データに含まれる複数のフレームそれぞれの画像の特性値を示す特性情報（実施の形態ではメタデータ）に基づいて特定されればよい。補正対象フレームの特性値（基準特性値）を用いた、補正区間に含まれるべきフレームの特定のための手法としては様々な手法が採用し得る。

また、本実施の形態では、動画像データの各フレームの画像の特性値として、ホワイトバランス値等の撮影条件を示す値を例示した。しかしながら、各フレームの画像の特性値は、他の種類の値であってもよい。

例えば、フレームの平均画素値が、当該フレームの特性値として扱われてもよい。また、例えば、補正対象の動画像フレームが、既に、何らかの補正が適用された動画像データである場合、当該補正に用いられたパラメータが、当該動画像データにおける補正区間の特定に用いられる特性値として採用されてもよい。

また、補正区間の特定に用いられる特性情報に示される特性値は、数値である必要はなく、画像の特性を示す文字または記号が特性値として扱われてもよい。

つまり、再生した場合に、外観上の明るさ、暗さ、またはざらつき等がほぼ同一とみなせるフレーム群が特定できる値であれば、どのような値が各フレームの特性値として採用されてもよい。

また、本実施の形態では、動画像データに、特性情報の一例であるメタデータが含まれるとした。しかしながら、動画像データと特性情報とは分離されたデータとしてＰＣ４００に取得されてもよい。つまり、補正対象の動画像データと、当該動画像データに対応する特性情報とが紐付けられていれば、ＰＣ４００は、動画像データと特性情報とを別々に取得してもよい。

また、ＰＣ４００は、メモリカード２００を介さずに動画像データおよび特性情報を取得してもよい。ＰＣ４００は、例えば、デジタルビデオカメラ１００から、有線または無線の通信ネットワークを介して、動画像データおよび特性情報を取得してもよい。

また、ＰＣ４００においてユーザに指定される、補正の内容（補正の種類およびパラメータの値など）は、ユーザの直接的な指定によって決定されなくてもよい。例えば、ユーザが、“自動補正”を指定した場合に、ＰＣ４００が、画像編集アプリケーション５００を実行することで、予め設定された内容の補正、または、ＰＣ４００が補正区間のフレーム群を解析することで決定した内容の補正が実行されてもよい。

また、図１０を参照して説明した、画像処理部４５０の一連の処理による効果（補正後の符号化データの生成の高速化）は、例えば、動画像データの全体に対して補正を行う場合でも発揮される。

また、当該効果は、例えば、ユーザによって特定された補正区間のフレーム群に対して補正を行う場合でも発揮される。

つまり、ＰＣ４００における画像処理部４５０を、動画像データの１以上のフレームに対して補正を適用する画像処理装置として実現することもできる。

すなわち、当該画像処理装置は、複数のフレームを含む動画像データに対して補正を行う画像処理装置であって、復号処理部８１０と、画像補正部８３０と、符号化処理部８５０とを備える。

復号処理部８１０は、複数のフレームに含まれる、指定された補正区間に属するフレーム群のデータである符号化データの復号処理によって得られる、フレーム群に対応する非圧縮データを出力するとともに、復号処理によって得られる、動きベクトルまたは画面内予測モードを示す復号情報を出力する。

画像補正部８３０は、復号処理によって得られた前記非圧縮データに対して、ユーザに指定された内容の補正を適用する。

符号化処理部８５０は、補正が適用された非圧縮データに対して、復号情報に示される動きベクトルまたは画面内予測モードを用いて符号化処理を行う。

なお当該画像処理装置が備える復号処理部８１０、画像補正部８３０、および符号化処理部８５０のそれぞれの機能の一部または全部は、１つまたは複数の集積回路によって実現してもよい。つまり、当該画像処理装置は、専用の回路の組み合わせによって実現してもよい。

当該画像処理装置は、上記構成を有することで、補正前の復号処理によって得られた動きベクトルまたは画面内予測モードを用いて、補正後のデータに対する符号化処理を行うことができる。その結果、補正後の符号化データの生成がより短時間で実行される。

また、実施の形態におけるＰＣ４００が備える取得部４２０、受付部４３０、特定部４４０、および、画像処理部４５０のそれぞれの機能（図３参照）の一部または全部は、１つまたは複数の集積回路によって実現してもよい。つまり、本実施の形態における画像編集装置は、専用の回路の組み合わせによって実現してもよい。

また、本実施の形態では、画像編集装置の一例としてのＰＣ４００の構成および処理の流れについて説明した。しかしながら、他の種類の電子機器を画像編集装置として機能させてもよい。

例えば、インターネットに接続されたサーバコンピュータ（以下、「サーバ」という。）を画像処理装置として機能させてもよい。例えば、サーバにおいて情報処理を実行するコントローラが、取得部４２０、受付部４３０、特定部４４０、および、画像処理部４５０として機能することで、上述の、補正区間の特定、および、補正が適用された動画像データの生成等の処理を、サーバが実行することができる。

この場合、ユーザは、例えば、ローカルのＰＣからインターネット経由で当該サーバに動画ストリームをアップロードし、リモートで補正対象フレームの指定等の編集作業を行うことができる。また、その編集作業の成果物として、補正が適用された動画像データを当該ＰＣにダウンロードすることができる。

また、携帯端末、ビデオカメラ、および、ビデオレコーダ等の電子機器を、本開示における画像編集装置として機能させてもよい。例えば、図１に示すデジタルビデオカメラ１００が、取得部４２０、受付部４３０、特定部４４０、および、画像処理部４５０を備えてもよい。

すなわち、実施の形態における画像処理装置（ＰＣ４００）によって実行される処理を含む画像処理方法を、各種の電子機器に実行させることもできる。

また、図９および図１０を用いて説明した、復号および符号化処理を伴う画像補正に係る一連の処理を含む画像処理方法を、各種の電子機器に実行させることもできる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、動画像編集をより効率よく行うことができる画像処理装置に適用可能である。具体的には、ＰＣ、サーバ、携帯端末、ビデオカメラ、およびビデオレコーダ等の電子機器にも、本開示は適用可能である。また、同様の機能を実行可能なプログラムを格納したＣＤまたはＤＶＤ等の記録メディアにも本開示は適用可能である。

１００ デジタルビデオカメラ
１１０ 光学系
１２０ レンズ駆動部
１３０ シャッタ
１４０ ＣＭＯＳイメージセンサ
１５０ Ａ／Ｄコンバータ
１６０ 画像処理部
１７０ バッファ
１８０ コントローラ
１９０ カードスロット
２００ メモリカード
２１０ 操作部
２２０ 表示モニタ
２３０ 内部メモリ
２４０ ジャイロセンサ
４００ ＰＣ
４０１ コントローラ
４０２ システム管理メモリ
４０３ ワークメモリ
４０４ ＨＤＤ
４０５ マウス
４０６ キーボード
４０７ ＵＳＢコネクタ
４０８ 表示デバイス
４０９ 液晶ディスプレイ
４１０ カードスロット
４２０ 取得部
４３０ 受付部
４４０ 特定部
４５０ 画像処理部
５００ 画像編集アプリケーションプログラム
８１０ 復号処理部
８１１ ＶＬＣ復号部
８１３ 非圧縮データ復号部
８３０ 画像補正部
８５０ 符号化処理部
８５１ 符号化情報生成部
８５２ ＶＬＣ符号化部

Claims (4)

1. 複数のフレームを含む動画像データと、前記複数のフレームそれぞれの画像の前記動画像データの生成の際の撮影条件を示すパラメータである特性値を示す特性情報とを取得する取得部と、
   前記複数のフレームのうちの１つのフレームである補正対象フレームの指定を受け付ける受付部と、
   前記特性情報に基づいて、前記補正対象フレームを含む連続した複数フレームから構成されるフレーム群が属する区間を補正区間として特定する特定部と、
   ユーザによって指定された内容の画像補正を、前記特定部によって特定された前記補正区間に属する前記フレーム群に対して適用する画像処理部と、を備え、
   前記特定部は、ホワイトバランス値、感度値、およびシャッタースピード値の少なくとも１つの前記特性情報に基づいて前記補正区間を特定し、
   前記画像処理部は、
   前記フレーム群のそれぞれのフレームに対して、色相、彩度、明度、輝度、コントラスト強度、ノイズ除去フィルタ強度のうちの少なくとも１つを変更する処理である前記画像補正を適用し、
   前記補正区間に属する前記フレーム群に対して、前記ユーザによって指定された内容の画像補正を適用した場合、当該適用結果が反映されたフレームのプレビューを出力する、
   画像処理装置。
2. 前記特定部は、前記補正対象フレームの、時間的に前および後のうちの少なくとも一方の１以上のフレームであって、前記補正対象フレームの特性値から所定の範囲内の特性値を有する前記１以上のフレームを特定することで、前記補正対象フレームおよび前記１以上のフレームを含む前記フレーム群が属する前記補正区間を特定する、
   請求項１記載の画像処理装置。
3. 前記受付部はさらに、前記特定部によって特定された前記補正区間の変更の指示を受け付け、
   前記特定部はさらに、前記変更の指示に応じて前記補正区間を更新し、
   前記画像処理部は、前記特定部によって更新された前記補正区間に属する前記フレーム群に対して、前記画像補正を適用する、
   請求項１または２記載の画像処理装置。
4. 前記画像処理部は、
   前記補正区間に属する前記フレーム群のデータである符号化データの復号処理によって得られる、前記フレーム群に対応する非圧縮データを出力するとともに、前記復号処理によって得られる、動きベクトルまたは画面内予測モードを示す復号情報を出力する復号処理部と、
   前記復号処理によって得られた前記非圧縮データに対して前記画像補正を適用する画像補正部と、
   前記画像補正が適用された前記非圧縮データに対して、前記復号情報に示される前記動きベクトルまたは前記画面内予測モードを用いて符号化処理を行う符号化処理部とを有する、
   請求項１〜３のいずれか１項に記載の画像処理装置。

Images