JP7110408B2 - 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は画像処理装置、撮影装置、画像処理方法及び画像処理プログラムに係り、特に動画の圧縮技術に関する。

動画のデータ量は膨大であるため、動画を記録する場合には、例えば、ＭＰＥＧ（Moving Picture Experts Group）符号化方式等により動画を圧縮して記録している。

動画を圧縮する場合、動画の圧縮率を高くすると、画質が低下し、一方、圧縮率を低くすると、ビットレート（単位時間当たりに転送又は処理するビット数）が高くなり、装置の処理能力を超えたり、記憶容量が増大するという問題がある。

特許文献１には、撮像部により標準フレームレートに比してより高いフレームレートｎの動画を撮影し、高いフレームレートｎの動画をｎ以下のフレームレートの動画に変換して記録する記載があり、特に重要度が高い動画ほどフレームレートが高くなるように変換して記録する記載がある。

また、特許文献１に記載の記録装置は、重要度が高い動画の圧縮率が低くなるように、重要度に応じて圧縮率を動的に変えて動画を記録する記載がある。

特開２０１０－７４３２３号公報

特許文献１には、撮像部により撮影された動画を記録する際に、重要度が高い動画ほどフレームレートを高くして記録し、また、重要度に応じて圧縮率を動的に変えて（重要度が高い動画の圧縮率を低くして）記録する記載があるものの、特許文献１に記載の発明は、標準フレームレートに比してより高いフレームレートｎで撮影された動画に対する記録処理に特徴がある記録装置であり、動画の撮影フレームレートは、一定のフレームレート（標準フレームレートに比してより高いフレームレートｎ）であり、撮影中に撮影フレームレートが可変な動画を対象とするものではない。

また、特許文献１には、重要度の低い区間は、高いフレームレートｎからフレームを間引くことでフレームレートを低くし、かつ圧縮率も上げることで、メディアの容量を節約する記載があるが、容量を優先させる圧縮処理を行うか、又は画質を優先させる圧縮処理を行うかという観点で、圧縮率を動的に変える記載はない。

本発明はこのような事情に鑑みてなされたもので、撮影中に撮影フレームレートが変化する動画を圧縮処理する際に、所望の画質及び容量を満足する圧縮処理を行うことができる画像処理装置、撮影装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る画像処理装置は、撮影中に撮影フレームレートが可変な動画を取得する動画取得部と、第１動画撮影モード、又は第１動画撮影モードよりも１フレームあたりの露光時間が短く設定される第２動画撮影モードを選択する撮影モード選択部と、第１動画撮影モードが選択されると、第１圧縮処理を選択し、第２動画撮影モードが選択されると、第２圧縮処理を選択する圧縮処理選択部と、動画取得部で取得した動画を圧縮する圧縮処理部であって、圧縮処理選択部で選択された第１圧縮処理、又は第２圧縮処理を行う圧縮処理部と、を備え、第２圧縮処理は、第１圧縮処理に対し、撮影フレームレートの変化に対して、単位時間当たりの容量の変化が大きく、かつ、１フレームあたりの容量の変化が小さく設定される。

本発明の一の態様によれば、撮影中に撮影フレームレートが変化する動画を圧縮処理する際に、第１動画撮影モードが選択されると、第１圧縮処理を行い、第１動画撮影モードよりも１フレームあたりの露光時間が短く設定される第２動画撮影モードが選択されると、第２圧縮処理を行う。ここで、第２圧縮処理は、第１圧縮処理に対し、撮影フレームレートの変化に対して、単位時間当たりの容量の変化が大きく、かつ、１フレームあたりの容量の変化が小さく設定される。これにより、第１動画撮影モードで撮影される動画は、第２動画撮影モードで撮影される動画と比較して、撮影フレームレートの変化に対して単位時間当たりの容量の変化が小さく、容量の増減を抑制する（容量を優先する）ことができる。一方、第２動画撮影モードで撮影される動画は、第１動画撮影モードで撮影される動画と比較して、撮影フレームレートの変化に対して１フレームあたりの容量の変化が小さく、撮影フレームレートが変化してもその動画を構成するフレームの画質の変動を抑制する（画質を優先する）ことができる。

本発明の他の態様に係る画像処理装置は、撮影中に撮影フレームレートが可変な動画を取得する動画取得部と、第１圧縮処理又は第２圧縮処理を選択する圧縮処理選択部と、動画取得部で取得した動画を圧縮する圧縮処理部であって、圧縮処理選択部で選択された第１圧縮処理、又は第２圧縮処理を行う圧縮処理部と、圧縮処理部により圧縮された動画の動画ファイルを生成する動画ファイル生成部と、を備え、第２圧縮処理は、第１圧縮処理に対し、撮影フレームレートの変化に対して、単位時間当たりの容量の変化が大きく、かつ、１フレームあたりの容量の変化が小さく設定され、圧縮処理選択部は、動画ファイル生成部に接続された機器の環境に応じて第１圧縮処理、又は第２圧縮処理を選択し、環境は、動画ファイル生成部に接続された記録媒体又は通信インターフェースの転送速度、又は記録媒体の残容量の何れかである。

本発明の他の態様によれば、撮影中に撮影フレームレートが変化する動画を圧縮処理する際に、動画ファイル生成部に接続された機器の環境に応じて、第１圧縮処理又は第２圧縮処理を行うようにしたため、撮影フレームレートの変化に対して、動画ファイル生成部に接続された記録媒体又は通信インターフェースの転送速度、又は記録媒体の残容量等の環境に適した圧縮処理（容量が優先される第１圧縮処理、又は画質を優先させる第２圧縮処理）を行うことができる。

本発明の更に他の態様に係る画像処理装置において、第２圧縮処理により圧縮された動画の動画ファイルの記録に必要な転送速度を有しない第１記録媒体、又は転送速度を有する第２記録媒体に、動画ファイル生成部により生成された動画ファイルを記録する記録部を備え、圧縮処理選択部は、記録部が第１記録媒体に動画ファイルを記録する場合には第１圧縮処理を選択し、第２記録媒体に動画ファイルを記録する場合には第２圧縮処理を選択することが好ましい。

本発明の更に他の態様に係る画像処理装置において、第２圧縮処理により圧縮された動画ファイルの転送に必要な転送速度を有しない第１通信インターフェース、又は転送速度を有する第２通信インターフェースを介して動画ファイル生成部により生成された動画ファイルを外部機器に転送する通信部を備え、圧縮処理選択部は、通信部が第１通信インターフェースを介して動画ファイルを転送する場合には第１圧縮処理を選択し、第２通信インターフェースを介して動画ファイルを転送する場合には第２圧縮処理を選択することが好ましい。

本発明の更に他の態様に係る画像処理装置において、動画ファイル生成部により生成された動画ファイルを記録媒体に記録する記録部と、動画の撮影時間を受け付ける撮影時間受付部と、記録媒体の残容量を検出する容量検出部と、を備え、圧縮処理選択部は、検出した記録媒体の残容量が、受け付けた動画の撮影時間の間、第２圧縮処理により圧縮された動画ファイルの記録に必要な容量未満の場合には第１圧縮処理を選択し、第２圧縮処理により圧縮された動画ファイルの記録に必要な容量以上の場合には第２圧縮処理を選択することが好ましい。

本発明の更に他の態様に係る画像処理装置において、圧縮処理部により圧縮された動画の動画ファイルを生成する動画ファイル生成部を備え、動画ファイル生成部は、撮影フレームレートの変化に応じて第２圧縮処理で圧縮された動画を分割して複数の動画ファイルを作成し、撮影フレームレートの変化によらずに第１圧縮処理で圧縮された動画の動画ファイルを作成することが好ましい。

本発明の更に他の態様に係る画像処理装置において、動画ファイル生成部により生成された動画ファイルを記録する記録部を備え、記録部は、第２圧縮処理で圧縮された動画から作成された複数の動画ファイルを、それぞれ異なる記録媒体の記憶領域、又はそれぞれ異なる記録媒体に記録することが好ましい。

本発明の更に他の態様に係る画像処理装置において、第１圧縮処理、及び第２圧縮処理は動画取得部により取得した動画を撮影フレームレート毎に予め設定された設定ビットレートに応じて圧縮処理するものであって、撮影フレームレートが第１フレームレートにおいて、第２圧縮処理の設定ビットレートは、第１圧縮処理の設定ビットレート以上であり、第２圧縮処理は、撮影フレームレートが第１フレームレートから第１フレームレートよりも大きい第２フレームレートに変化した場合の設定ビットレートの変化量が第１圧縮処理よりも大きいことが好ましい。

本発明の更に他の態様に係る画像処理装置において、第１フレームレートをα１、第２フレームレートをα２、第２フレームレートよりも大きい第３フレームレートをα３とし、第１フレームレートにおける設定ビットレートをβ１、第２フレームレートにおける設定ビットレートをβ２、第３フレームレートにおける設定ビットレートをβ３とした場合に、第２圧縮処理は、下記（１）式、

（β２－β１）／（α２－α１）＞（β３－β２）／（α３－α２）（１）

を満たすことが好ましい。

本発明の更に他の態様に係る画像処理装置において、圧縮処理部は、動画取得部で取得した動画を構成するフレームの画像データの量子化パラメータを上限値以下で決定し、決定した量子化パラメータを用いて画像データを圧縮し、第２圧縮処理の第２フレームレートと第１フレームレートにおける上限値の差分が、第１圧縮処理の第２フレームレートと第１フレームレートにおける上限値の差分よりも小さいことが好ましい。

本発明の更に他の態様に係る画像処理装置において、第２動画撮影モードは、第１動画撮影モードに対してオートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度及びフレームレートの少なくとも１つが高速に設定されることが好ましい。

本発明の更に他の態様に係る撮影装置は、撮影フレームレートが可変な動画を撮影する動画撮影部と、上記の画像処理装置と、を備え、動画取得部は、動画撮影部により撮影された動画を取得する。

本発明の更に他の態様に係る画像処理方法は、撮影中に撮影フレームレートが可変な動画を取得するステップと、第１圧縮処理又は第２圧縮処理を選択するステップと、取得した動画を圧縮するステップであって、選択された第１圧縮処理、又は第２圧縮処理を行うステップと、第１動画撮影モード、又は第１動画撮影モードよりも１フレームあたりの露光時間が短く設定される第２動画撮影モードを選択するステップと、を含み、第２圧縮処理は、第１圧縮処理に対し、撮影フレームレートの変化に対して、単位時間当たりの容量の変化が大きく、かつ、１フレームあたりの容量の変化が小さく設定され、第１圧縮処理又は第２圧縮処理を選択するステップは、第１動画撮影モードが選択されると、第１圧縮処理を選択し、第２動画撮影モードが選択されると、第２圧縮処理を選択する。

本発明の更に他の態様に係る画像処理方法は、撮影中に撮影フレームレートが可変な動画を取得するステップと、第１圧縮処理又は第２圧縮処理を選択するステップと、取得した動画を圧縮するステップであって、選択された第１圧縮処理、又は第２圧縮処理を行うステップと、動画ファイル生成部が圧縮された動画の動画ファイルを生成するステップと、を含み、第２圧縮処理は、第１圧縮処理に対し、撮影フレームレートの変化に対して、単位時間当たりの容量の変化が大きく、かつ、１フレームあたりの容量の変化が小さく設定され、第１圧縮処理又は第２圧縮処理を選択するステップは、動画ファイル生成部に接続された機器の環境に応じて第１圧縮処理、又は第２圧縮処理を選択し、環境は、動画ファイル生成部に接続された記録媒体又は通信インターフェースの転送速度、又は記録媒体の残容量の何れかである。

本発明の更に他の態様に係る画像処理方法において、第１圧縮処理及び第２圧縮処理は、取得した動画を撮影フレームレート毎に予め設定された設定ビットレートに応じて圧縮処理するものであって、撮影フレームレートが第１フレームレートにおいて、第２圧縮処理の設定ビットレートは、第１圧縮処理の設定ビットレート以上であり、第２圧縮処理は、撮影フレームレートが第１フレームレートから第１フレームレートよりも大きい第２フレームレートに変化した場合の設定ビットレートの変化量が第１圧縮処理よりも大きいことが好ましい。

更に他の態様に係る発明は、撮影中に撮影フレームレートが可変な動画を取得する機能と、第１圧縮処理又は第２圧縮処理を選択する機能と、取得した動画を圧縮する機能であって、選択された第１圧縮処理、又は第２圧縮処理を行う機能と、第１動画撮影モード、又は第１動画撮影モードよりも１フレームあたりの露光時間が短く設定される第２動画撮影モードを選択する機能と、をコンピュータに実現させる画像処理プログラムであって、第２圧縮処理は、第１圧縮処理に対し、撮影フレームレートの変化に対して、単位時間当たりの容量の変化が大きく、かつ、１フレームあたりの容量の変化が小さく設定され、第１圧縮処理又は第２圧縮処理を選択する機能は、第１動画撮影モードが選択されると、第１圧縮処理を選択し、第２動画撮影モードが選択されると、第２圧縮処理を選択する。

本発明によれば、撮影中に撮影フレームレートが変化する動画を圧縮処理する際に、所望の画質及び容量を満足する圧縮処理を行うことができる。

図１は本発明に係る撮影装置を斜め前方から見た斜視図である。 図２は撮影装置の背面図である。 図３は撮影装置の内部構成の実施形態を示すブロック図である。 図４は本発明に係る画像処理装置の第１実施形態を示すブロック図である。 図５は第１圧縮処理又は第２圧縮処理と撮影フレームレートとに基づいて設定される設定ビットレートの第１例を示すグラフである。 図６は動画を圧縮処理する際の過去のフレームの画像データの量子化後の発生符号量（ビットレート）の変化とＱＰ値との関係を示す模式図である。 図７は第１圧縮処理又は第２圧縮処理と撮影フレームレートとに基づいて設定される設定ビットレートの第２例を示すグラフである。 図８は第１圧縮処理又は第２圧縮処理と撮影フレームレートとに基づいて設定される設定ビットレートの第３例を示すグラフである。 図９は第１圧縮処理又は第２圧縮処理と撮影フレームレートとにより設定される設定ビットレート及びＱＰ値の範囲を示す図表である。 図１０は本発明に係る画像処理装置の第２実施形態を示すブロック図である。 図１１は本発明に係る画像処理装置の第３実施形態を示すブロック図である。 図１２は本発明に係る画像処理方法の実施形態を示すフローチャートである。 図１３は、図１２のステップＳ３０における動画の圧縮処理の詳細を示すフローチャートである。 図１４は本発明に係る撮影装置の他の実施形態であるスマートフォンの外観図である。 図１５はスマートフォンの構成を示すブロック図である。

以下、添付図面にしたがって本発明に係る画像処理装置、撮影装置、画像処理方法及び画像処理プログラムの好ましい実施形態について説明する。

＜撮影装置の外観＞

図１は、本発明に係る撮影装置を斜め前方から見た斜視図であり、図２は撮影装置の背面図である。

図１に示すように撮影装置１０は、交換レンズ１００と、交換レンズ１００が着脱可能なカメラ本体２００とから構成されたミラーレスのデジタル一眼カメラである。

図１において、カメラ本体２００の前面には、交換レンズ１００が装着される本体マウント２６０と、光学ファインダのファインダ窓２０等が設けられ、カメラ本体２００の上面には、主としてシャッタレリーズスイッチ２２、シャッタスピードダイヤル２３、露出補正ダイヤル２４、電源レバー２５、及び内蔵フラッシュ３０が設けられている。

また、図２に示すようにカメラ本体２００の背面には、主として液晶モニタ２１６、光学ファインダの接眼部２６、ＭＥＮＵ／ＯＫキー２７、十字キー２８、再生ボタン２９等が設けられている。

液晶モニタ２１６は、撮影モード時にライブビュー画像を表示したり、再生モード時に撮影した画像を再生表示する他、各種のメニュー画面を表示する表示部として機能し、またユーザに対して各種の情報を通知する通知部として機能する。ＭＥＮＵ／ＯＫキー２７は、液晶モニタ２１６の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キー２８は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするマルチファンクションキーとして機能する。また、十字キー２８の上キー及び下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左キー及び右キーは再生モード時のコマ送り（順方向及び逆方向送り）ボタンとして機能する。また、液晶モニタ２１６に表示された複数の被写体から焦点調節を行う任意の被写体を指定する操作部としても機能する。

また、ＭＥＮＵ／ＯＫキー２７、十字キー２８、及び液晶モニタ２１６は、各種の撮影モードを選択する撮影モード選択部として機能するとともに、動画の撮影フレームレートの設定及び変更を指示する撮影フレームレート指示部、及び動画の撮影時間を受け付ける撮影時間受付部として機能する。

ＭＥＮＵ／ＯＫキー２７を操作し、液晶モニタ２１６にメニュー画面を表示させ、そのメニュー画面を使用することで、１枚の静止画を撮影する静止画撮影モードの他に動画を撮影する動画撮影モードを設定することができる。また、動画撮影モードには、第１動画撮影モードと、第１動画撮影モードとは撮影条件が異なる第２動画撮影モードとがある。

第２動画撮影モードでは、少なくとも第１動画撮影モードよりも１フレームあたりの露光時間が短く設定される。

本例では、第１動画撮影モードは、動画自体の鑑賞に適した撮影条件が設定される通常動画用の動画撮影モードであり、第２動画撮影モードは、動画自体の鑑賞よりも静止画の抽出を重視した撮影条件が設定される静止画抽出用の動画撮影モードである。

具体的には、第２動画撮影モードでは、第１動画撮影モードに対してシャッタスピードが速く設定され、また、オートフォーカスの速度（目標とする合焦距離に向かうためのフォーカスレンズの駆動速度）、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／または第１動画撮影モードに対してフレームレートが高く設定される。また、解像度は撮影装置１０で設定可能な最高値（例えば４，０００×２，０００画素）に設定され、色調も静止画抽出を前提として設定される。ＩＳＯ感度の上限も第１動画撮影モードより高くする。

例えば、シャッタスピードに関しては、第１動画撮影モードでは記録する動画のフレームレートに対応した値（フレームレートが３０ｆｐｓの場合、１／３０秒）に設定されるが、第２動画モードではフレーム間隔よりも高速（例えば、１／３０秒未満）に設定される。第１動画撮影モードでは、滑らかな動画が再生されるようにシャッタスピードが動画のフレームレートに対応した値に設定されるが、この場合、動く被写体に対してはブレが生じる可能性がある。このため、第２動画撮影モードでは、シャッタスピードを第１動画撮影モードよりも高速（フレーム間隔よりも高速）に設定しており、これにより被写体のブレが少ない、高画質な静止画を抽出することが可能になる。同様に、ＩＳＯ感度の上限を高くすることでシャッタスピードを高速化でき、これによりブレが少ない静止画を抽出することができる。また、オートフォーカスの速度、自動露出の追従速度やオートホワイトバランスの追従速度等が第１動画撮影モードよりも高速に設定されることで、被写体に合焦したフレーム、露出が適正なフレーム等を多く取得することができる。

上述した第２動画撮影モードによれば、動画を記憶しておき、動画を構成するフレームを静止画として抽出することができるので、ユーザはいつ発生するか分からないイベント（自然現象やアクシデント、ハプニング等）の写真、時間の経過と共に状態が変化する被写体や動きのある被写体の瞬間的な状態の写真等を容易に撮影することができる。また、静止画抽出に適した撮影条件（上述したシャッタスピード、解像度等）を設定することにより高画質の静止画を抽出することができる。

再生ボタン２９は、記録した静止画又は動画を液晶モニタ２１６に表示させる再生モードに切り替えるためのボタンである。

＜撮影装置の内部構成＞

［交換レンズ］

図３は、撮影装置１０の内部構成の実施形態を示すブロック図である。

撮影装置１０を構成する撮影光学系として機能する交換レンズ１００は、カメラ本体２００の通信規格に沿って製造されたものであり、後述するようにカメラ本体２００との間で通信を行うことができる交換レンズである。この交換レンズ１００は、撮影光学系１０２、フォーカスレンズ制御部１１６、絞り制御部１１８、レンズ側ＣＰＵ（Central Processing Unit）１２０、フラッシュＲＯＭ(Read Only Memory)１２６、レンズ側通信部１５０、及びレンズマウント１６０を備える。

交換レンズ１００の撮影光学系１０２は、フォーカスレンズを含むレンズ群１０４及び絞り１０８を含む。

フォーカスレンズ制御部１１６は、レンズ側ＣＰＵ１２０からの指令にしたがってフォーカスレンズを移動させ、フォーカスレンズの位置（合焦位置）を制御する。絞り制御部１１８は、レンズ側ＣＰＵ１２０からの指令にしたがって絞り１０８を制御する。

レンズ側ＣＰＵ１２０は、交換レンズ１００を統括制御するもので、ＲＯＭ１２４及びＲＡＭ(Random Access Memory)１２２を内蔵している。

フラッシュＲＯＭ１２６は、カメラ本体２００からダウンロードされたプログラム等を格納する不揮発性のメモリである。

レンズ側ＣＰＵ１２０は、ＲＯＭ１２４又はフラッシュＲＯＭ１２６に格納された制御プログラムに従い、ＲＡＭ１２２を作業領域として、交換レンズ１００の各部を統括制御する。

レンズ側通信部１５０は、レンズマウント１６０がカメラ本体２００の本体マウント２６０に装着されている状態で、レンズマウント１６０に設けられた複数の信号端子（レンズ側信号端子）を介してカメラ本体２００との通信を行う。即ち、レンズ側通信部１５０は、レンズ側ＣＰＵ１２０の指令にしたがって、レンズマウント１６０及び本体マウント２６０を介して接続されたカメラ本体２００の本体側通信部２５０との間で、リクエスト信号、回答信号の送受信（双方向通信）を行い、撮影光学系１０２の各光学部材のレンズ情報（フォーカスレンズの位置情報、焦点距離情報及び絞り情報等）を、カメラ本体２００に通知する。

また、交換レンズ１００は、フォーカスレンズの位置情報、及び絞り情報を検出する検出部（図示せず）を備えている。ここで、絞り情報とは、絞り１０８の絞り値（Ｆ値）、絞り１０８の開口径等を示す情報である。

レンズ側ＣＰＵ１２０は、カメラ本体２００からのレンズ情報のリクエストに応えるために、検出されたフォーカスレンズの位置情報及び絞り情報を含む各種のレンズ情報をＲＡＭ１２２に保持することが好ましい。また、レンズ情報は、カメラ本体２００からのレンズ情報の要求があると検出され、又は光学部材が駆動されるときに検出され、又は一定の周期（動画のフレーム周期よりも十分に短い周期）で検出され、検出結果を保持することができる。

［カメラ本体］

図３に示す撮影装置１０を構成するカメラ本体２００は、イメージセンサ２０１、イメージセンサ制御部２０２、アナログ信号処理部２０３、Ａ／Ｄ（Analog/Digital）変換器２０４、画像入力コントローラ２０５、デジタル信号処理部２０６、ＲＡＭ２０７、圧縮伸張処理部２０８、メディア制御部２１０、メモリカード２１２、表示制御部２１４、液晶モニタ２１６、本体側ＣＰＵ２２０、操作部２２２、時計部２２４、フラッシュＲＯＭ２２６、ＲＯＭ２２８、ＡＦ(Autofocus)制御部２３０、ＡＥ（Auto Exposure)制御部２３２、ホワイトバランス補正部２３４、無線通信部２３６、ＧＰＳ(Global Positioning System)受信部２３８、電源制御部２４０、バッテリ２４２、本体側通信部２５０、本体マウント２６０、内蔵フラッシュ３０（図１）を構成するフラッシュ発光部２７０、フラッシュ制御部２７２、フォーカルプレーンシャッタ（ＦＰＳ：focal-plane shutter）２８０、及びＦＰＳ制御部２９６を備える。

イメージセンサ２０１は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサにより構成されている。尚、イメージセンサ２０１は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。

イメージセンサ２０１の各画素には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）のうちのいずれか１色のカラーフィルタが、所定のカラーフィルタ配列にしたがって配置されている。カラーフィルタ配列は、一般的なベイヤー配列とすることができるが、これに限定されるものではなく、例えば、Ｔｒａｎｓ（登録商標）配列等の他のカラーフィルタ配列でもよい。

交換レンズ１００の撮影光学系１０２によってイメージセンサ２０１の受光面に結像された被写体の光学像は、イメージセンサ２０１によって電気信号に変換される。イメージセンサ２０１の各画素には、入射する光量に応じた電荷が蓄積され、イメージセンサ２０１からは各画素に蓄積された電荷量（信号電荷）に応じた電気信号が画像信号として読み出される。

イメージセンサ制御部２０２は、本体側ＣＰＵ２２０の指令にしたがってイメージセンサ２０１から画像信号の読み出し制御を行う。また、イメージセンサ制御部２０２は、静止画の撮影が行われる場合には、ＦＰＳ２８０の開閉により露光時間が制御された後、ＦＰＳ２８０が閉じた状態でイメージセンサ２０１の全ラインを読み出す。また、本例のイメージセンサ２０１及びイメージセンサ制御部２０２は、少なくとも１つ以上のライン毎や画素毎に順次露光動作を行う（即ち、ライン毎や画素毎に順次リセットを行い、電荷の蓄積を開始し、蓄積した電荷を読み出す方式である）、いわゆるローリングシャッタ方式にて駆動することができ、特にＦＰＳ２８０を開放した状態でローリングシャッタ方式にて動画の撮影、又はライブビュー画像の撮影を行う機能を有する。

アナログ信号処理部２０３は、イメージセンサ２０１で被写体を撮影して得られたアナログの画像信号に対して、各種のアナログ信号処理を施す。アナログ信号処理部２０３は、サンプリングホールド回路、色分離回路、ＡＧＣ（Automatic Gain Control）回路等を含んで構成されている。ＡＧＣ回路は、撮影時の感度（ＩＳＯ感度(ＩＳＯ：International Organization for Standardization)）を調整する感度調整部として機能し、入力する画像信号を増幅する増幅器のゲインを調整し、画像信号の信号レベルが適切な範囲に入るようにする。Ａ／Ｄ変換器２０４は、アナログ信号処理部２０３から出力されたアナログの画像信号をデジタルの画像信号に変換する。

静止画又は動画の撮影時にイメージセンサ２０１、アナログ信号処理部２０３、及びＡ／Ｄ変換器２０４を介して出力されるＲＧＢの画素毎の画像データ（モザイク画像データ）は、画像入力コントローラ２０５からＲＡＭ２０７に入力され、一時的に記憶される。

尚、イメージセンサ２０１がＣＭＯＳ型イメージセンサである場合、アナログ信号処理部２０３及びＡ／Ｄ変換器２０４は、イメージセンサ２０１内に内蔵されていることが多い。

デジタル信号処理部２０６は、ＲＡＭ２０７に格納されている画像データに対して、各種のデジタル信号処理を施す。デジタル信号処理部２０６は、ＲＡＭ２０７に記憶されている画像データを適宜読み出し、読み出した画像データに対してオフセット処理、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理（デモザイキング処理、同時化処理とも言う）、ＲＧＢ／ＹＣｒＣｂ変換処理等のデジタル信号処理を行い、デジタル信号処理後の画像データを再びＲＡＭ２０７に記憶させる。尚、デモザイク処理とは、例えば、ＲＧＢ３色のカラーフィルタからなるイメージセンサの場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理であり、モザイクデータ（点順次のＲＧＢデータ）から同時化されたＲＧＢ３面の画像データを生成する。

ＲＧＢ／ＹＣｒＣｂ変換処理は、同時化されたＲＧＢデータを輝度データ（Ｙ）及び色差データ（Ｃｒ、Ｃｂ）に変換する処理である。

圧縮伸張処理部２０８は、静止画又は動画の記録時に、一旦ＲＡＭ２０７に格納された非圧縮の輝度データＹ及び色差データＣｂ，Ｃｒに対して圧縮処理を施す圧縮処理部として機能する。静止画の場合には、例えばＪＰＥＧ(Joint Photographic coding Experts Group)形式で圧縮し、動画の場合には、例えばＭＰＥＧ符号化方式の一つであるＨ．２６４／ＡＶＣ（Advanced Video Coding）方式で圧縮する。圧縮伸張処理部２０８により圧縮された画像データは、メディア制御部２１０を介してメモリカード２１２に記録される。また、圧縮伸張処理部２０８は、再生モード時にメディア制御部２１０を介してメモリカード２１２から得た圧縮された画像データに対して伸張処理を施し、非圧縮の画像データを生成する伸張処理部として機能する。

尚、本発明に係る圧縮伸張処理部２０８（特に、圧縮処理部）の詳細については後述する。

メディア制御部２１０は、圧縮伸張処理部２０８で圧縮された画像データから静止画ファイル、動画ファイルを生成する静止画ファイル生成部及び動画ファイル生成部として機能するとともに、生成した静止画ファイル又は動画ファイルをメモリカード２１２に記録する記録部として機能する。また、メディア制御部２１０は、メモリカード２１２から、静止画ファイル又は動画ファイルを読み出す制御を行う。メディア制御部２１０は、記録先として内部メモリが設定されると、カメラ本体２００の内部メモリ（例えば、フラッシュＲＯＭ２２６）に静止画ファイル又は動画ファイルを記録することができる。

表示制御部２１４は、ＲＡＭ２０７に格納されている非圧縮の画像データを、液晶モニタ２１６に表示させる制御を行う。液晶モニタ２１６は、液晶表示デバイスにより構成されているが、液晶モニタ２１６の代わりに有機エレクトロルミネッセンスなどの表示デバイスによって構成してもよい。

液晶モニタ２１６にライブビュー画像を表示させる場合には、デジタル信号処理部２０６で連続的に生成されたデジタルの画像信号が、ＲＡＭ２０７に一時的に記憶される。表示制御部２１４は、このＲＡＭ２０７に一時記憶されたデジタルの画像信号を表示用の信号形式に変換して、液晶モニタ２１６に順次出力する。これにより、液晶モニタ２１６に撮影画像がリアルタイムに表示され、液晶モニタ２１６を電子ビューファインダとして使用することができる。

シャッタレリーズスイッチ２２は、静止画や動画の撮影指示を入力するための撮影指示部であり、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。

静止画撮影モードの場合、シャッタレリーズスイッチ２２が半押しされることによってＳ１オンの信号、半押しから更に押し込む全押しがされることによってＳ２オンの信号が出力され、Ｓ１オン信号が出力されると、本体側ＣＰＵ２２０は、ＡＦ制御（自動焦点調節）及びＡＥ制御（自動露出制御）などの撮影準備処理を実行し、Ｓ２オン信号が出力されると、静止画の撮影処理及び記録処理を実行する。

尚、ＡＦ及びＡＥは、それぞれ操作部２２２によりオートモードが設定されている場合に自動的に行われ、マニュアルモードが設定されている場合には、ＡＦ及びＡＥが行われないことは言うまでもない。

また、動画撮影モード（通常動画用の第１動画撮影モード、又は静止画抽出用の第２動画撮影モード）の場合、シャッタレリーズスイッチ２２が全押しされることによってＳ２オンの信号が出力されると、カメラ本体２００は、動画の記録を開始する動画記録モードになり、動画の画像処理及び記録処理を実行し、その後、シャッタレリーズスイッチ２２が再び全押しされることによってＳ２オンの信号が出力されると、カメラ本体２００は、スタンバイ状態になり、動画の記録処理を一時停止する。

尚、シャッタレリーズスイッチ２２は半押しと全押しとからなる２段ストローク式のスイッチの形態に限られず、1回の操作でＳ１オンの信号、Ｓ２オンの信号を出力しても良く、それぞれ個別のスイッチを設けてＳ１オンの信号、Ｓ２オンの信号を出力しても良い。

また、タッチ式パネル等により操作指示を行う形態では、これら操作手段としてタッチ式パネルの画面に表示される操作指示に対応する領域をタッチすることで操作指示を出力するようにしても良く、撮影準備処理や撮影処理を指示するものであれば操作手段の形態はこれらに限られない。

撮影により取得された静止画又は動画は、圧縮伸張処理部２０８により圧縮され、圧縮された画像データは、メディア制御部２１０により撮影日時、ＧＰＳ情報、撮影条件（Ｆ値、シャッタスピード、ＩＳＯ感度等）の所要の付属情報が、ヘッダに付加された画像ファイルとされた後、メモリカード２１２に格納される。

本体側ＣＰＵ２２０は、カメラ本体２００全体の動作及び交換レンズ１００の光学部材の駆動等を統括制御するもので、シャッタレリーズスイッチ２２を含む操作部２２２等からの入力に基づき、カメラ本体２００の各部及び交換レンズ１００を制御する。

時計部２２４は、タイマとして、本体側ＣＰＵ２２０からの指令に基づいて時間を計測する。また、時計部２２４は、カレンダとして、現在の年月日及び時刻を計測する。

フラッシュＲＯＭ２２６は、読み取り及び書き込みが可能な不揮発性メモリであり、設定情報等を記憶する。

ＲＯＭ２２８には、本体側ＣＰＵ２２０が実行するカメラ制御プログラム、本発明に係る画像処理プログラム、イメージセンサ２０１の欠陥情報、画像処理等に使用する各種のパラメータやテーブルが記憶されている。本体側ＣＰＵ２２０は、ＲＯＭ２２８に格納されたカメラ制御プログラム、あるいは画像処理プログラムにしたがい、ＲＡＭ２０７を作業領域としながらカメラ本体２００の各部、及び交換レンズ１００を制御する。

自動焦点調節部として機能するＡＦ制御部２３０は、イメージセンサ２０１が位相差画素を含む場合には、位相差ＡＦの制御に必要なデフォーカス量を算出し、算出したデフォーカス量に基づいて、フォーカスレンズが移動すべき位置（合焦位置）指令を、本体側ＣＰＵ２２０及び本体側通信部２５０を介して交換レンズ１００に通知する。

ＡＦ制御部２３０により算出されたデフォーカス量に対応するフォーカスレンズの位置指令は、交換レンズ１００に通知され、フォーカスレンズの位置指令を受け付けた交換レンズ１００のレンズ側ＣＰＵ１２０は、フォーカスレンズ制御部１１６を介してフォーカスレンズを移動させ、フォーカスレンズの位置（合焦位置）を制御する。尚、ＡＦ制御部２３０は、位相差ＡＦを行うものに限らず、ＡＦ領域のコントラストが最大になるようにフォーカスレンズを移動させるコントラストＡＦを行うものでもよい。

ＡＥ制御部２３２は、被写体の明るさ（被写体輝度）を検出する部分であり、被写体輝度に対応するＡＥ制御及びＡＷＢ（Auto White Balance）制御に必要な数値（露出値（ＥＶ値（exposure value）））を算出する。ＡＥ制御部２３２は、イメージセンサ２０１を介して取得した画像の輝度、画像の輝度の取得時のシャッタスピード及びＦ値によりＥＶ値を算出する。

本体側ＣＰＵ２２０は、ＡＥ制御部２３２から得たＥＶ値に基づいて所定のプログラム線図からＦ値、シャッタスピード及びＩＳＯ感度を決定し、ＡＥ制御を行うことができる。

ホワイトバランス補正部２３４は、ＲＧＢデータ（Ｒデータ、Ｇデータ及びＢデータ）の色データ毎のホワイトバランスゲイン（ＷＢ（White Balance）ゲイン)Ｇr,Ｇg,Ｇbを算出し、Ｒデータ、Ｇデータ及びＢデータに、それぞれ算出したＷＢゲインＧr,Ｇg,Ｇbを乗算することによりホワイトバランス補正を行う。ここで、ＷＢゲインＧr,Ｇg,Ｇbの算出方法としては、被写体の明るさ（ＥＶ値）によるシーン認識（屋外、屋内の判定等）及び周囲光の色温度等に基づいて被写体を照明している光源種を特定し、予め光源種毎に適切なＷＢゲインが記憶されている記憶部から特定した光源種に対応するＷＢゲインを読み出す方法が考えられるが、少なくともＥＶ値を使用してＷＢゲインＧr,Ｇg,Ｇbを求める他の公知の方法が考えられる。

無線通信部２３６は、Wi-Fi（Wireless Fidelity）（登録商標）、Bluetooth（登録商標）等の規格の近距離無線通信を行う部分であり、周辺のデジタル機器（スマートフォン、等の携帯端末）との間で必要な情報の送受信を行う。

ＧＰＳ受信部２３８は、本体側ＣＰＵ２２０の指示にしたがって、複数のＧＰＳ衛星から送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、カメラ本体２００の緯度、経度、及び高度からなるＧＰＳ情報を取得する。取得されたＧＰＳ情報は、撮影された画像の撮影位置を示す付属情報として画像ファイルのヘッダに記録することができる。

電源制御部２４０は、本体側ＣＰＵ２２０の指令にしたがって、バッテリ２４２から供給される電源電圧をカメラ本体２００の各部に与える。また、電源制御部２４０は、本体側ＣＰＵ２２０の指令にしたがって、本体マウント２６０及びレンズマウント１６０を介して、バッテリ２４２から供給される電源電圧を交換レンズ１００の各部に与える。

レンズ電源スイッチ２４４は、本体側ＣＰＵ２２０の指令にしたがって、本体マウント２６０及びレンズマウント１６０を介して交換レンズ１００に与える電源電圧のオン及びオフの切り替えとレベルの切り替えを行う。

本体側通信部２５０は、本体側ＣＰＵ２２０の指令にしたがって、本体マウント２６０及びレンズマウント１６０を介して接続された交換レンズ１００のレンズ側通信部１５０との間で、リクエスト信号、回答信号の送受信（双方向通信）を行う。尚、本体マウント２６０には、図１に示すように複数の端子２６０Ａが設けられており、交換レンズ１００がカメラ本体２００に装着（レンズマウント１６０と本体マウント２６０とが接続）されると、本体マウント２６０に設けられた複数の端子２６０Ａ（図１）と、レンズマウント１６０に設けられた複数の端子（図示せず）とが電気的に接続され、本体側通信部２５０とレンズ側通信部１５０との間で双方向通信が可能になる。

内蔵フラッシュ３０（図１）は、例えば、ＴＴＬ（Through The Lens)自動調光方式のフラッシュであり、フラッシュ発光部２７０と、フラッシュ制御部２７２とから構成されている。

フラッシュ制御部２７２は、フラッシュ発光部２７０から発光するフラッシュ光の発光量（ガイドナンバー）を調整する機能を有する。即ち、フラッシュ制御部２７２は、本体側ＣＰＵ２２０からのフラッシュ撮影指示に同期してフラッシュ発光部２７０から、発光量の小さいフラッシュ光をプリ発光（調光発光）させ、交換レンズ１００の撮影光学系１０２を介して入射する反射光（周囲光を含む）に基づいて本発光するフラッシュ光の発光量を決定し、決定した発光量のフラッシュ光を、フラッシュ発光部２７０から発光（本発光）させる。

ＦＰＳ２８０は、撮影装置１０のメカシャッタを構成し、イメージセンサ２０１の直前に配置される。ＦＰＳ制御部２９６は、本体側ＣＰＵ２２０からの入力情報（Ｓ２オン信号、シャッタスピード等）に基づいてＦＰＳ２８０の先幕、後幕の開閉を制御し、イメージセンサ２０１における露光時間（シャッタスピード）を制御する。

次に、第１動画撮影モード又は第２動画撮影モードが設定され、第１動画撮影モード又は第２動画撮影モードにより撮影された動画を圧縮する圧縮伸張処理部２０８について説明する。

［第１実施形態］

図４は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。

図４に示す画像処理装置は、カメラ本体２００の圧縮伸張処理部２０８、本体側ＣＰＵ２２０、及び操作部２２２等に対応する部分であり、主として動画取得部３０２、圧縮処理部２０８Ａ、撮影モード選択部３５０、圧縮処理選択部３５２、撮影フレームレート取得部３５４、動画ファイル生成部３６０、及び記録部３７０から構成される。

動画取得部３０２は、動画撮影部により撮影された動画３００を構成するフレームの画像データを取得する部分である。動画取得部３０２は、動画の撮影中に撮影フレームレートの変更指令に応じて撮影フレームレートが可変な動画データを取得する。

ユーザは、動画撮影の開始前に撮影フレームレートを設定するメニュー画面を使用して所望の撮影フレームレートを選択して設定することができるが、動画の撮影中もユーザが操作部２２２等を操作することで、撮影フレームレートを変更することができる。また、撮影フレームレートは、ユーザ指示により変更される場合に限らず、動画の撮影中に動体を検出した場合、シーンチェンジした場合等を検出することで、自動的に変更するようにしてもよい。

圧縮伸張処理部２０８における圧縮処理部２０８Ａは、主として直交変換器３１０、量子化部３２０、符号化部３３０、及びビットレート制御部３４０から構成されている。尚、本例の圧縮処理部２０８Ａは、ＭＰＥＧ符号化方式の一つであるＨ．２６４／ＡＶＣ方式で圧縮するものとする。

ＭＰＥＧ圧縮方式では、動画の数フレーム（例えば、１５フレーム）の集合である１ＧＯＰ（Group Of Pictures）の単位で圧縮、編集等がなされる。１ＧＯＰには、自フレームの情報のみが圧縮され、時間的に前後する他のフレームとの相関情報を用いないＩ（Intra）フレームと、時間的に過去のフレームからの相関情報で表わされるＰ（Predictive）フレームと、時間的に前後するフレームからの相関情報で表されるＢ（Bidirectionally）フレームとが含まれており、１ＧＯＰの先頭のフレームは、少なくともＩフレームである。

本例では、説明を簡単にするために、動画取得部３０２は、１ＧＯＰを構成するＩフレーム、Ｐフレーム、及びＢフレームを順次取得するものとする。

１ＧＯＰを構成する各フレームは、１６×１６画素のマクロブロック単位で符号化される。１つのマクロブロックの輝度データＹ及び色差データＣｂ，Ｃｒは、例えば、Ｙ：Ｃｒ：Ｃｂ＝４：１：１のフォーマットの８×８画素の４つの輝度データＹのブロックと、８×８画素に間引かれたそれぞれ１つの色差データＣｒ，Ｃｂのブロックとに変換されてから、ブロック（単位ブロック）毎に量子化処理が行われる。

直交変換器３１０は、８×８画素の単位ブロックのデータを、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）と呼ばれる手法に従い直交変換して周波数成分に分解し、直交変換係数を算出する。

量子化部３２０は、直交変換器３１０による変換された直交変換係数を、ビットレート制御部３４０により決定（設定）された量子化パラメータ（ＱＰ:Quantization Parameter）の値（ＱＰ値）に基づいて量子化する。

Ｈ．２６４／ＡＶＣでは、ＱＰ値は、０～５１の範囲に規定されており、この範囲内でＱＰ値が決定されると、ＱＰ値に対応する量子化ステップサイズ（Ｑｓｔｅｐ）が決まる。Ｑｓｔｅｐは、量子化処理で行われる直交変換係数を除算する値であり、Ｈ．２６４／ＡＶＣでは、ＱＰ値が６増えると２倍になる値であり、決定したＱＰ値に基づいてルックアップテーブルを用いて、又は計算により導出することができる。

圧縮されたビットストリームの品質及びビットレートは、主に各マクロブロックを量子化するために選択されるＱＰ値によって決定される。ＱＰ値に対応するＱｓｔｅｐは、圧縮されたマクロブロックに空間的ディテールをどの程度保持させるかを調整するための数値である。

Ｑｓｔｅｐが小さいほど、ディテールの保持は大きく、画像の品質は良いが、ビットレートが高くなる。Ｑｓｔｅｐが増加するにしたがってディテールの保持が小さくなり、ビットレートは削減されるが、画像の品質が低下する。したがって、ビットレート制御部３４０は、画質とビットレートとを勘案してＱＰ値（Ｑｓｔｅｐ）を決定する必要がある。尚、ビットレート制御部３４０によるＱＰ値の決定方法については後述する。

符号化部３３０は、量子化部３２０から供給される量子化値をエントロピー符号化する部分であり、Ｈ．２６４／ＡＶＣでは、ハフマン符号をベースとした可変長符号化(VLC; Variable Length Coding) と、算術符号化のいずれかを選択することができる。符号化部３３０により更に圧縮された圧縮データ（符号化データ）は、ビットストリームとして動画ファイル生成部３６０に送出される。

動画ファイル生成部３６０は、圧縮処理部２０８Ａにより圧縮処理された動画の圧縮データから動画ファイルを生成し、生成した動画ファイルを記録部３７０に出力する。記録部３７０は、入力する動画ファイルを記録媒体３８０に記録する。

尚、メディア制御部２１０は、動画ファイル生成部３６０及び記録部３７０として機能する。また、記録媒体３８０は、メモリカード２１２又はカメラ本体２００の内部メモリ（例えば、フラッシュＲＯＭ２２６）を含む。

また、動画ファイル生成部３６０は、撮影フレームレートの変化に応じて第２圧縮処理で圧縮された動画の場合、撮影フレームレートの変化毎に動画を分割して複数の動画ファイルを作成し、撮影フレームレートの変化によらずに第１圧縮処理で圧縮された動画の場合、１つの動画ファイルを作成することが好ましい。

前者の場合、撮影フレームレートの変化に応じて分割された複数の動画ファイルから、静止画抽出用の動画ファイルを選択することができ、これにより所望のフレームを効率よく抽出することができ、後者の場合、１回の動画撮影期間の動画（動画の撮影開始から終了までの動画）を連続して再生することができる。

また、記録部３７０は、第２圧縮処理で圧縮された動画から作成された複数の動画ファイルを、それぞれ異なる記録媒体３８０の記憶領域、又はそれぞれ異なる記録媒体に記録することが好ましい。それぞれ異なる記録媒体は、例えば記録媒体３８０と内部メモリの他、記録部３７０が複数のカードスロットを有する場合には、複数のカードスロットに装着された複数の記録媒体である。

ビットレート制御部３４０は、ＶＢＶ（Video Buffering Verifier）バッファとしての機能を有し、符号化部３３０から出力される動画の過去のフレームの画像データの量子化後の符号化データ（発生符号量）を、例えばマクロブロック単位で取得し、取得した発生符号量と予め設定されたビットストリームの設定ビットレートとからＶＢＶバッファ占有量を算出し、ＶＢＶバッファが破綻しないＱＰ値を決定する。ビットレート制御部３４０は、決定したＱＰ値を量子化部３２０に出力する。

ビットレート制御部３４０は、決定したＱＰ値の代わりに、そのＱＰ値に対応する量子化ステップサイズ（Ｑｓｔｅｐ）を量子化部３２０に出力してもよい。また、ビットレート制御部３４０は、フレーム単位又はＧＯＰ単位でＱＰ値を決定してもよい。

量子化部３２０は、ビットレート制御部３４０から入力するＱＰ値に対応するＱｓｔｅｐを取得し、又はビットレート制御部３４０から直接Ｑｓｔｅｐを取得し、直交変換係数をＱｓｔｅｐで除算して整数に丸めた量子化値を算出する。

次に、ビットレート制御部３４０によるＱＰ値の決定方法について更に詳述する。

図４に示す圧縮処理選択部３５２は、第１圧縮処理又は第２圧縮処理を選択する部分であり、圧縮処理選択部３５２には、撮影モード選択部３５０から通常動画用の第１動画撮影モード、又は静止画抽出用の第２動画撮影モードを示す撮影モード指令が加えられるようになっている。

ここで、第２圧縮処理は、第１圧縮処理に対し、撮影フレームレートの変化に対して、単位時間当たりの容量の変化が大きく、かつ、１フレームあたりの容量の変化が小さく設定される。したがって、第１圧縮処理は、第２圧縮処理に対し、撮影フレームレートの変化に対して、単位時間当たりの容量の変化が小さく、容量の増減を抑制する（容量を優先する）ことができる。一方、第２圧縮処理は、第１圧縮処理に対し、撮影フレームレートの変化に対して、１フレームあたりの容量の変化が小さく、撮影フレームレートが変化してもその動画を構成するフレームの画質の変動を抑制する（画質を優先する）ことができる。

また、動画から静止画を抽出する場合、焦点合成やノイズ低減等を目的に複数のフレームを用いて１枚の静止画を生成することがある。静止画抽出用の第２動画撮影モードにおいて、フレームレートの変化に対してフレームの画質の変動を抑制することで、フレームレート変更前のフレームとフレームレート変更後のフレームを用いて静止画を生成することが容易となる。

撮影モード選択部３５０は、本例では、ＭＥＮＵ／ＯＫキー２７、十字キー２８及び液晶モニタ２１６等を使用したオンスクリーン対話方式による操作部であるが、各種の撮影モードを選択するためのモードダイヤルでもよい。

圧縮処理選択部３５２は、撮影モード選択部３５０により第１動画撮影モードが選択されると、容量を優先させる第１圧縮処理を選択し、第２動画撮影モードが選択されると、画質を優先させる第２圧縮処理を選択し、その選択結果をビットレート制御部３４０に出力する。尚、撮影モード選択部３５０により第１動画撮影モード、又は第２動画撮影モードが選択されると、それぞれの動画撮影モードに応じた撮影条件が設定されて動画が撮影されることは前述した通りである。

撮影フレームレート取得部３５４は、動画撮影の開始前に設定された撮影フレームレート、及び動画の撮影中に手動又は自動で変更された撮影フレームレートを取得し、取得した撮影フレームレートを示すフレームレート情報をビットレート制御部３４０に出力する。尚、本例では、設定及び変更可能な撮影フレームレートは、１５ｆｐｓ（frames per second）、３０ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓのうちの何れかであるが、本発明はこれに限定されるものではない。

圧縮処理部２０８Ａは、撮影フレームレートが可変な動画に対して圧縮処理選択部３５２により選択された第１圧縮処理、又は第２圧縮処理を実行する。具体的には、ビットレート制御部３４０は、圧縮処理選択部３５２により選択された第１圧縮処理又は第２圧縮処理を示す情報と、撮影フレームレート取得部３５４により取得された現在の撮影フレームレートとに基づいてビットレートを設定する。

図５は、第１圧縮処理又は第２圧縮処理と撮影フレームレートとに基づいて設定される設定ビットレートの第１例を示すグラフである。

図５に示す第１例では、第１圧縮処理が選択される場合、撮影フレームレートの変化にかかわらず、設定ビットレートは、点線のグラフＡに示すように一定のビットレート（本例では５０［Ｍｂｐｓ］（Mega bits per second））に設定される。

第１圧縮処理では、撮影フレームレートの変化にかかわらず、設定ビットレートは一定であるため、例えば撮影フレームレートが２倍、４倍、…に変化する場合、圧縮率も２倍、４倍、…に変化するように設定される。即ち、第１圧縮処理は、撮影フレームレートの変化に対して圧縮後の動画の容量が略一定になる（容量優先になる）が、圧縮率が大幅に変動し、画質が変化する。

一方、第２圧縮処理が選択される場合、設定ビットレートは、実線のグラフＢ１に示すように撮影フレームレートが２倍、４倍、…に変化すると、設定ビットレートも２倍、４倍、…に変化するように設定される。即ち、第２圧縮処理は、撮影フレームレートの変化に対して圧縮率は略一定になる（画質優先になる）が、圧縮後の動画の容量が大幅に変動する。

また、ビットレート制御には、固定ビットレート（ＣＢＲ：Constant Bitrate）モード、平均ビットレート（ＡＢＲ：Average Bitrate）モード、及び可変ビットレート（ＶＢＲ：Variable Bitrate）モードによる制御があるが、本例ではＡＢＲモードが適用される。尚、本発明は、ＡＢＲモードに限らず、ＣＢＲモード又はＶＢＲモードによるビットレート制御も可能である。

次に、本例のＡＢＲモードによるビットレート制御について説明する。

図６は、動画を圧縮処理する際の過去のフレームの画像データの量子化後の発生符号量（ビットレート）の変化とＱＰ値との関係を示す模式図である。

図６に示すように、ビットレート制御部３４０は、動画の量子化に使用するＱＰ値を、下限値（Min.1）と上限値（Max.1）との範囲内で決定する。Ｈ．２６４／ＡＶＣの場合、ＱＰ値のとり得る最大範囲は０～５１であるが、Min.1及びMax.1は、動画の圧縮率及び画質を考慮して設定される。

図６に示すように、ＱＰ値がMin.1に設定されている場合、シーンチェンジのように動きのあるシーンのフレームやＧＯＰを量子化すると、量子化後の発生符号量は、急激に増加する。この場合、ビットレート制御部３４０は、ＶＢＶバッファが破綻（ＶＢＶバッファ占有量がオーバーフロー）しないようにＱＰ値を大きくする。

図６に示す例では、発生符号量が急激に増加した場合、ＱＰ値をMin.1からMax.1にしている。

その後、動きのあるシーンから静止したシーンになると、ＱＰ値がMax.1に保持されているため、量子化後の発生符号量は急激に減少する。ビットレート制御部３４０は、発生符号量の減少により、ＶＢＶバッファが破綻（ＶＢＶバッファ占有量がアンダーフロー）しないようにＱＰ値を小さくする。

ＡＢＲモードでは、上記のようにしてＱＰ値を決定することで、平均のビットレートが設定ビットレート（目標ビットレート）になるようにする。尚、設定ビットレートは、第１圧縮処理又は第２圧縮処理を行うか、及び撮影フレームレートに応じて図５のグラフで示したように適宜設定される。

図７は、第１圧縮処理又は第２圧縮処理と撮影フレームレートとに基づいて設定される設定ビットレートの第２例を示すグラフである。

図７に示す第２例では、第１圧縮処理が選択される場合、図５に示した第１例と同様に撮影フレームレートの変化にかかわらず、設定ビットレートは、点線のグラフＡに示すように一定のビットレートに設定される。

一方、第２圧縮処理が選択される場合、設定ビットレートは、実線のグラフＢ２に示すように撮影フレームレートが増加すると、撮影フレームレートの増加に対応して増加するように設定されるが、撮影フレームレートが高いほど、設定ビットレートの増加率は低くなるように設定される。

いま、撮影フレームレートが３０ｆｐｓ（第１フレームレート＝α１）のときの設定ビットレートをβ１（５０［Ｍｂｐｓ］）、６０ｆｐｓ（第２フレームレート＝α２）のときの設定ビットレートをβ２、１２０ｆｐｓ（第３フレームレート＝α３）のときの設定ビットレートをβ３とした場合、第２圧縮処理での設定ビットレートは、下記（１）式、

（β２－β１）／（α２－α１）＞（β３－β２）／（α３－α２）（１）

を満たすように設定される。

図７のグラフＢ２及び式（１）に示したように、撮影フレームレートが高いほど、設定ビットレートの増加率を低く設定する理由は、撮影フレームレートが高い場合は、撮影フレームレートが低い場合に比べて動画の隣接するフレーム間の変化が少ないことが予想され、設定ビットレートの増加率を低くしても画質を維持する圧縮が可能だからである。

図８は、第１圧縮処理又は第２圧縮処理と撮影フレームレートとに基づいて設定される設定ビットレートの第３例を示すグラフである。

図８に示す第３例では、第１圧縮処理が選択される場合、図５に示した第１例と同様に撮影フレームレートの変化にかかわらず、設定ビットレートは、点線のグラフＡに示すように一定のビットレートに設定される。

一方、第２圧縮処理が選択される場合、設定ビットレートは、実線のグラフＢ３に示すように撮影フレームレートが２倍、４倍、…に変化すると、設定ビットレートも２倍、４倍、…に変化するように設定されるが、設定ビットレートが上限ビットレート（画像処理装置の処理限界速度であり、本例では２００［Ｍｂｐｓ］）Ｃに達すると、設定ビットレートは上限ビットレートＣに固定される。本例では、撮影フレームレートが６０ｆｐｓの場合に上限ビットレートＣに達するため、撮影フレームレートが６０ｆｐｓから１２０ｆｐｓに変化する場合も設定ビットレートは上限ビットレートＣに設定される。

図５、図７及び図８に示したように、撮影フレームレートが第１フレームレート（３０ｆｐｓ）において、第２圧縮処理の設定ビットレートは、第１圧縮処理の設定ビットレート以上であり、第２圧縮処理は、撮影フレームレートが第１フレームレートから第１フレームレートよりも大きい第２フレームレートに変化した場合の設定ビットレートの変化量が第１圧縮処理よりも大きくなるように設定される。

尚、図５及び図７のグラフＢ１，Ｂ２では、フレームレートが１５ｆｐｓの場合、グラフＡに示す設定ビットレート（５０［Ｍｂｐｓ］）よりも小さい設定ビットレート（［２５Ｍｂｐｓ］）に設定されるが、これに限らず、第２圧縮処理の設定ビットレートの下限値を第１圧縮処理の設定ビットレートに設定し、第２圧縮処理の設定ビットレートが第１圧縮処理の設定ビットレートよりも小さくならないようにしてもよい。

上述の画質を優先させる第２動画撮影モードでは、フレームレートが変更された場合であっても、１枚当たりの画質が変化しないように設定ビットレートが設定されたが、別の態様ではフレームレートが変更された場合に、１枚当たりの画質が向上するように設定してもよい。具体的には、第２圧縮処理において、初期フレームレートに対し、撮影フレームレートが２倍、４倍、…に変化すると、設定ビットレートも２倍以上、４倍以上、…に変化するようにし、また、撮影フレームレートが１/２倍、1/４倍、…に変化すると設定ビットレートも１/２倍以上、1/４倍以上、…に変化するように設定する。これにより、例えば静止画抽出用の動画撮影中に、ユーザ指示、或いはイベント検出等で、設定フレームレートが変更されるまでは圧縮後の動画の容量を抑えて撮影し、設定フレームレートが変更された時点以降は高画質で撮影することが可能となる。

図９は、第１圧縮処理又は第２圧縮処理と撮影フレームレートとにより設定される設定ビットレート及びＱＰ値の範囲を示す図表である。

図９に示すように設定ビットレートは、図５、図７及び図８のグラフＡ，Ｂ１，Ｂ２、Ｂ３で示したように設定される。

また、第１圧縮処理に使用されるＱＰ値の範囲は、撮影フレームレートが２倍ずつ変化するにつれて、ＱＰ値の上限値及び下限値がそれぞれ６ずつ増加している。Ｈ．２６４／ＡＶＣ方式の圧縮処理では、ＱＰ値が６増加すると、圧縮率が約２倍に増加するからである。尚、撮影フレームレートが１２０ｆｐｓの場合のＱＰ値の上限値は、５１であり、撮影フレームレートが６０ｆｐｓの上限値（４８）から６増加していない。これは、Ｈ．２６４／ＡＶＣ方式の圧縮処理では、ＱＰ値の最大値が５１だからである。

第１例の設定ビットレート（図５のグラフＢ１）の第２圧縮処理に使用されるＱＰ値の範囲は、撮影フレームレートにかかわらず一定（１８～４２）であり、同様に第３例の設定ビットレート（図８のグラフＢ３）の第２圧縮処理に使用されるＱＰ値の範囲も、撮影フレームレートにかかわらず一定であるが、図５のグラフＢ１の場合に比べてＱＰ値の上限値及び下限値がそれぞれ６ずつ減少している（１２～３６）。

第２例の設定ビットレート（図７のグラフＢ２）の第２圧縮処理に使用されるＱＰ値の範囲は、撮影フレームレートが１５ｆｐｓ、３０ｆｐｓの場合には、第１例の設定ビットレート（図５のグラフＢ１）の第２圧縮処理に使用されるＱＰ値の範囲と同じであるが、撮影フレームレート６０ｆｐｓ，１２０ｆｐｓの場合には、第１例の設定ビットレート（図５のグラフＢ１）の第２圧縮処理に使用されるＱＰ値の範囲に比べて、上限値及び下限値がそれぞれ少しずつ大きい値になっている。これは、前述したように撮影フレームレートが高い場合は、撮影フレームレートが低い場合に比べて設定ビットレートの増加率を低くしても（圧縮率を増加させても）画質を維持する圧縮が可能だからである。

［第２実施形態］

図１０は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。尚、図１０に示す第２実施形態において、図４に示した第１実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１０に示す第２実施形態の画像処理装置は、図４に示した第１実施形態の画像処理装置の撮影モード選択部３５０の代わりに、環境情報取得部３５６が設けられ、また、通信部３９０、第１通信インターフェース３９２、及び第２通信インターフェース３９４が設けられている。

通信部３９０は、Wi-Fi、Bluetooth等の無線通信を行う無線通信部２３６の他、有線通信部を含む。第１通信インターフェース３９２及び第２通信インターフェース３９４は、映像や音声などをデジタル信号で伝送する通信インターフェースの標準規格であるＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、外部機器と接続するための汎用のインターフェース規格であるＵＳＢ（Universal Serial Bus）等の複数の種類の通信インターフェースである。

動画ファイル生成部３６０により生成された動画ファイルは、通信部３９０を介して第１通信インターフェース３９２又は第２通信インターフェース３９４から外部機器に転送可能である。

ここで、本例の第１通信インターフェース３９２は、第２圧縮処理により圧縮された動画ファイルの転送に必要な転送速度を有しない通信インターフェースであり、例えば通信の遅いWi-Fiが考えられ、第２通信インターフェース３９４は、第２圧縮処理により圧縮された動画ファイルの転送に必要な転送速度を有する通信インターフェースであり、例えば通信の速いＨＤＭＩ、ＵＳＢが考えられる。

また、記録媒体３８０は、第２圧縮処理により圧縮された動画の動画ファイルの記録に必要な転送速度を有しない第１記録媒体（例えば、ＵＨＳ（Ultra High Speed）１の低速書込み可能なＳＤ（Secure Digital）メモリカード）、又は第２圧縮処理により圧縮された動画の動画ファイルの記録に必要な転送速度を有する第２記録媒体（例えば、ＵＨＳ２の高速書込み可能なＳＤメモリカード、ＸＱＤメモリカード（ＸＱＤは登録商標））である。尚、記録部３７０は、複数のカードスロットを有し、複数のカードスロットに装着された複数の記録媒体に対して、適宜記録媒体を選択して動画ファイルを記録可能なものを含む。

環境情報取得部３５６は、動画ファイル生成部３６０に接続された機器の環境を示す環境情報を取得し、取得した環境情報を圧縮処理選択部３５２に出力する。

ここで、動画ファイル生成部３６０に接続された機器の環境とは、動画ファイル生成部３６０に記録部３７０を介して接続された記録媒体３８０、又は通信部３９０を介して接続された通信インターフェース（第１通信インターフェース３９２、第２通信インターフェース３９４）の転送速度の何れかである。環境情報取得部３５６は、これらの情報を環境情報として取得する。

圧縮処理選択部３５２は、環境情報取得部３５６から入力する環境情報に応じて第１圧縮処理、又は第２圧縮処理を選択する。

圧縮処理選択部３５２は、記録部３７０が、第２圧縮処理により圧縮された動画の動画ファイルの記録に必要な転送速度を有しない第１記録媒体に動画ファイルを記録する場合には第１圧縮処理を選択し、第２圧縮処理により圧縮された動画の動画ファイルの記録に必要な転送速度を有する第２記録媒体に動画ファイルを記録する場合には第２圧縮処理を選択する。即ち、圧縮処理選択部３５２は、動画ファイルの記録先の記録媒体の書込み速度に応じて第１圧縮処理又は第２圧縮処理を選択する。

また、圧縮処理選択部３５２は、通信部３９０が、第２圧縮処理により圧縮された動画の動画ファイルの転送に必要な転送速度を有しない第１通信インターフェース３９２を介して動画ファイルを転送する場合には第１圧縮処理を選択し、第２圧縮処理により圧縮された動画の動画ファイルの転送に必要な転送速度を有する第２通信インターフェース３９４を介して動画ファイルを転送する場合には第２圧縮処理を選択する。即ち、圧縮処理選択部３５２は、動画ファイルを転送する通信インターフェースの転送速度に応じて第１圧縮処理又は第２圧縮処理を選択する。

更に、圧縮処理選択部３５２は、記録部３７０により動画ファイルが記録される記録媒体３８０の残容量が、第２圧縮処理により圧縮された動画の動画ファイルの記録に必要な容量があれば、画質優先の第２圧縮処理を選択し、第２圧縮処理により圧縮された動画の動画ファイルの記録に必要な容量がなければ、容量優先の第１圧縮処理を選択する。

［第３実施形態］

図１１は、本発明に係る画像処理装置の第３実施形態を示すブロック図である。尚、図１１に示す第３実施形態において、図４に示した第１実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１１に示す第３実施形態の画像処理装置は、図４に示した第１実施形態の画像処理装置の撮影モード選択部３５０の代わりに、撮影時間受付部３５７及び容量検出部３５８が設けられている。

ＭＥＮＵ／ＯＫキー２７、十字キー２８及び液晶モニタ２１６は、動画の撮影時間を受け付ける撮影時間受付部３５７として機能し、ユーザは、動画の撮影開始時にメニュー画面等を使用して動画の撮影時間を設定することができる。

撮影時間受付部３５７は、受け付けた動画の撮影時間を示す情報を圧縮処理選択部３５２に出力する。

容量検出部３５８は、記録媒体３８０の残容量を検出し、検出した残容量を示す情報を圧縮処理選択部３５２に出力する。容量検出部３５８により検出される記録媒体３８０の残容量は、動画ファイル生成部３６０に接続される機器の環境を示す環境情報の一種であり、容量検出部３５８は、図１０に示した環境情報取得部３５６の一形態である。

圧縮処理選択部３５２は、撮影時間受付部３５７により受け付けた動画の撮影時間と、容量検出部３５８により検出された記録媒体３８０の残容量とに基づいて第１圧縮処理又は第２圧縮処理を選択する。即ち、圧縮処理選択部３５２は、記録媒体３８０の残容量が、動画の撮影時間の間、第２圧縮処理により圧縮された動画ファイルの記録に必要な容量未満の場合には、容量優先の第１圧縮処理を選択し、第２圧縮処理により圧縮された動画ファイルの記録に必要な容量以上の場合には画質優先の第２圧縮処理を選択する。

圧縮処理選択部３５２は、記録媒体３８０の残容量が、予め設定された容量未満の場合には、容量優先の第１圧縮処理を選択し、予め設定された容量以上の場合には、画質優先の第２圧縮処理を選択してもよく、この場合には撮影時間受付部３５７は不要である。

［画像処理方法］

図１２は、本発明に係る画像処理方法の実施形態を示すフローチャートであり、図４に示した第１実施形態の画像処理装置の処理動作に関して示している。

図１２において、圧縮処理選択部３５２は、撮影モード選択部３５０での選択結果に基づいて通常動画用の第１動画撮影モードが選択されているか、又は静止画抽出用の第２動画撮影モードが選択されているかを判別する（ステップＳ１０）。

圧縮処理選択部３５２は、第１動画撮影モードが選択されている場合には、第１圧縮処理を選択し（ステップＳ１２）、第１動画撮影モードが選択されている場合（「No」の場合）には、第２圧縮処理を選択する（ステップＳ１４）。

続いて、撮影装置１０の本体側ＣＰＵ２２０は、操作部２２２（シャッタレリーズスイッチ２２）からの入力信号により動画撮影が開始したか否かを判別する（ステップＳ１６）。

ステップＳ１６により動画撮影が開始されたと判別されると、本体側ＣＰＵ２２０は、動画撮影部として機能する交換レンズ１００及びイメージセンサ２０１等を制御し、第１動画撮影モード又は第２動画撮影モードによる動画撮影を行わせる（ステップＳ１８）。

また、撮影フレームレート取得部３５４は、動画撮影の開始前に設定された撮影フレームレート、及び動画の撮影中に手動又は自動で変更された撮影フレームレートを取得する（ステップＳ２０）。

圧縮処理部２０８Ａのビットレート制御部３４０は、圧縮処理選択部３５２により選択された第１圧縮処理又は第２圧縮処理の情報と、撮影フレームレート取得部３５４が取得した現在の撮影フレームレートとに基づいて、図５等で説明したようにビットレートを設定する（ステップＳ２２）。

圧縮処理部２０８Ａは、設定ビットレートに応じて動画の圧縮処理を行う（ステップＳ３０）。

図１３は、図１２のステップＳ３０における動画の圧縮処理の詳細を示すフローチャートである。

図１３において、撮影される動画に対して、ＭＰＥＧ符号化方式の一つであるＨ．２６４／ＡＶＣ方式により１ＧＯＰの単位で、撮影された動画の圧縮等を行う。即ち、動画取得部３０２は、動画撮影が開始されると、通常動画又は静止画抽出用の動画の各フレーム（１ＧＯＰを構成するＩフレーム、Ｐフレーム、及びＢフレーム）を順次取得する（ステップＳ３１）。

各フレームは、８×８画素の単位ブロック毎に圧縮処理が行われる。直交変換器３１０は、単位ブロックのデータを離散コサイン変換（ＤＣＴ）し、直交変換係数を算出する（ステップＳ３２）。

ＶＢＶバッファとしての機能を有するビットレート制御部３４０は、符号化部３３０から出力される符号化データ（動画の過去のフレームの画像データの量子化後の発生符号量）を、例えばマクロブロック単位で取得する（ステップＳ３３）。ビットレート制御部３４０は、取得した発生符号量と、図１２のステップＳ２２で設定した設定ビットレートとからＶＢＶバッファ占有量を算出し、ＶＢＶバッファが破綻しない量子化パラメータ（ＱＰ値）を決定する（ステップＳ３４）。

量子化部３２０は、直交変換器３１０から入力する直交変換係数を、ビットレート制御部３４０により決定されたＱＰ値に対応する量子化ステップサイズ（Ｑｓｔｅｐ）で除算して整数に丸めた量子化値を算出し、算出された量子化値は、符号化部３３０によりエントロピー符号化され、圧縮データのビットストリームとして動画ファイル生成部３６０（図４）に出力される（ステップＳ３５）。

図１２に戻って、動画ファイル生成部３６０は、圧縮処理部２０８Ａから出力される圧縮データの動画ファイルを生成する（ステップＳ４０）。

続いて、撮影装置１０の本体側ＣＰＵ２２０は、操作部２２２からの入力信号により動画撮影が終了したか否かを判別する（ステップＳ４２）。動画撮影が終了していないと判別されると（「No」の場合）、ステップＳ１８に遷移させる。これにより、動画の撮影、圧縮処理及び記録処理等が継続して行われる。動画撮影が終了したと判別されると（「Yes」の場合）、本画像処理を終了させる。

尚、第１圧縮処理又は第２圧縮処理の選択方法は、図１２のフローチャートに示した実施形態に限らず、図１０及び図１１に示した画像処理装置と同様にして選択する選択方法でもよい。

また、本実施形態の撮影装置１０は、ミラーレスのデジタル一眼カメラであるが、これに限らず、一眼レフカメラ、レンズ一体型の撮影装置、デジタルビデオカメラ等でもよく、また、撮影機能に加えて撮影以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞

図１４は、本発明の撮影装置の他の実施形態であるスマートフォン５００の外観を示すものである。図１４に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、係る筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１５は、図１４に示すスマートフォン５００の構成を示すブロック図である。図１５に示すように、スマートフォンの主たる構成要素として、基地局と移動通信網とを介した移動無線通信を行う無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記録部５５０と、外部入出力部５６０と、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。

無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網に収容された基地局に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信、Ｗｅｂデータ及びストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。

表示パネル５２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図１４に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。また、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１４に示すように、例えば、スピーカ５３１、マイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１４に示すように、操作部５４０は、スマートフォン５００の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記録部５５０は、主制御部５０１の制御プログラム、制御データ、アプリケーションソフトウェア（本発明に係る画像処理プログラムを含む）、通信相手の名称及び電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記録部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５６２により構成される。尚、記録部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの記録媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、及びＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）、ＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、又はオーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、及びイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達し、又はスマートフォン５００の内部のデータを外部機器に伝送することが可能である。

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、及び高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサ及びジャイロセンサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記録部５５０が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能及びアプリケーション処理機能を備える。

アプリケーション処理機能は、記録部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能、本発明に係る圧縮処理を行う画像処理機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコン及びスクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じてアイコンに対する操作、及びウィンドウの入力欄に対する文字列の入力を受け付け、或いはスクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域及びソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラであり、図１に示した撮影装置１０に相当する。また、カメラ部５４１は、主制御部５０１の制御により、撮影によって得た静止画の画像データを、例えばＪＰＥＧ（Joint Photographic coding Experts Group）で圧縮し、又は動画の画像データを、例えばＨ．２６４／ＡＶＣで圧縮して記録部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１４に示すようにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、或いは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部５４１を同時に使用して撮影することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。さらには、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサ（ジャイロセンサ）と併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記録部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。

［その他］

本実施形態では、Ｈ．２６４／ＡＶＣの符号化方式を例に説明したが、これに限らず、ＭＰＥＧ－２、ＭＰＥＧ－４等の他の符号化方式で圧縮する場合にも適用できる。

本発明に係る画像処理装置及び撮影装置における各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

更にまた、本発明は、撮影装置にインストールされることにより、本発明に係る画像処理装置又は撮影装置として機能させる画像処理プログラム、及びこの画像処理プログラムが記録された記録媒体を含む。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ 撮影装置

２０ ファインダ窓

２２ シャッタレリーズスイッチ

２３ シャッタスピードダイヤル

２４ 露出補正ダイヤル

２５ 電源レバー

２６ 接眼部

２７ ＭＥＮＵ／ＯＫキー

２８ 十字キー

２９ 再生ボタン

３０ 内蔵フラッシュ

１００ 交換レンズ

１０２ 撮影光学系

１０４ レンズ群

１０８ 絞り

１１６ フォーカスレンズ制御部

１１８ 絞り制御部

１２０ レンズ側ＣＰＵ

１２２、２０７ ＲＡＭ

１２４、２２８ ＲＯＭ

１２６、２２６ フラッシュＲＯＭ

１５０ レンズ側通信部

１６０ レンズマウント

２００ カメラ本体

２０１ イメージセンサ

２０２ イメージセンサ制御部

２０３ アナログ信号処理部

２０４ Ａ／Ｄ変換器

２０５ 画像入力コントローラ

２０６ デジタル信号処理部

２０８ 圧縮伸張処理部

２０８Ａ 圧縮処理部

２１０ メディア制御部

２１２ メモリカード

２１４ 表示制御部

２１６ 液晶モニタ

２２０ 本体側ＣＰＵ

２２２ 操作部

２２４ 時計部

２３０ ＡＦ制御部

２３２ ＡＥ制御部

２３４ ホワイトバランス補正部

２３６ 無線通信部

２３８ ＧＰＳ受信部

２４０ 電源制御部

２４２ バッテリ

２４４ レンズ電源スイッチ

２５０ 本体側通信部

２６０ 本体マウント

２７０ フラッシュ発光部

２７２ フラッシュ制御部

２８０ フォーカルプレーンシャッタ

２９６ ＦＰＳ制御部

３００ 動画

３０２ 動画取得部

３１０ 直交変換器

３２０ 量子化部

３３０ 符号化部

３４０ ビットレート制御部

３５０ 撮影モード選択部

３５２ 圧縮処理選択部

３５４ 撮影フレームレート取得部

３５６ 環境情報取得部

３５７ 撮影時間受付部

３５８ 容量検出部

３６０ 動画ファイル生成部

３７０ 記録部

３８０ 記録媒体

３９０ 通信部

３９２ 第１通信インターフェース

３９４ 第２通信インターフェース

５００ スマートフォン

５０１ 主制御部

５０２ 筐体

５１０ 無線通信部

５２０ 表示入力部

５２１ 表示パネル

５２２ 操作パネル

５３０ 通話部

５３１ スピーカ

５３２ マイクロホン

５４０ 操作部

５４１ カメラ部

５５０ 記録部

５５１ 内部記憶部

５５２ 外部記憶部

５６０ 外部入出力部

５６２ 外部記憶部

５７０ 受信部

５７０ ＧＰＳ受信部

５８０ モーションセンサ部

５９０ 電源部

Ｓ１０～Ｓ４２ ステップ

Claims (18)

1. 撮影フレームレートが可変な動画を取得する動画取得部と、
   第１動画撮影モード、又は前記第１動画撮影モードよりも１フレームあたりの露光時間が短く設定される第２動画撮影モードを選択する撮影モード選択部と、
   前記第１動画撮影モードが選択されると、第１圧縮処理を選択し、前記第２動画撮影モードが選択されると、第２圧縮処理を選択する圧縮処理選択部と、
   前記動画取得部で取得した動画を圧縮する圧縮処理部であって、前記圧縮処理選択部で選択された前記第１圧縮処理、又は前記第２圧縮処理を行う圧縮処理部と、を備え、
   前記第２圧縮処理は、前記第１圧縮処理に対し、撮影フレームレートの変化に対する前記圧縮された動画の１フレームあたりの容量の変化が小さく設定される画像処理装置。
2. 撮影フレームレートが可変な動画を取得する動画取得部と、
   第１圧縮処理又は第２圧縮処理を選択する圧縮処理選択部と、
   前記動画取得部で取得した動画を圧縮する圧縮処理部であって、前記圧縮処理選択部で選択された前記第１圧縮処理、又は前記第２圧縮処理を行う圧縮処理部と、
   前記圧縮処理部により圧縮された動画の動画ファイルを生成する動画ファイル生成部と、を備え、
   前記第２圧縮処理は、前記第１圧縮処理に対し、撮影フレームレートの変化に対する前記圧縮された動画の１フレームあたりの容量の変化が小さく設定され、
   前記圧縮処理選択部は、前記動画ファイル生成部に接続された機器の環境に応じて前記第１圧縮処理、又は前記第２圧縮処理を選択し、
   前記環境は、前記動画ファイル生成部に接続された記録媒体又は通信インターフェースの転送速度、又は前記記録媒体の残容量の何れかである画像処理装置。
3. 前記第２圧縮処理により圧縮された動画の動画ファイルの記録に必要な転送速度を有しない第１記録媒体、又は前記転送速度を有する第２記録媒体に、前記動画ファイル生成部により生成された前記動画ファイルを記録する記録部を備え、
   前記圧縮処理選択部は、前記記録部が前記第１記録媒体に前記動画ファイルを記録する場合には前記第１圧縮処理を選択し、前記第２記録媒体に前記動画ファイルを記録する場合には前記第２圧縮処理を選択する請求項２に記載の画像処理装置。
4. 前記第２圧縮処理により圧縮された動画ファイルの転送に必要な転送速度を有しない第１通信インターフェース、又は前記転送速度を有する第２通信インターフェースを介して前記動画ファイル生成部により生成された前記動画ファイルを外部機器に転送する通信部を備え、
   前記圧縮処理選択部は、前記通信部が前記第１通信インターフェースを介して前記動画ファイルを転送する場合には前記第１圧縮処理を選択し、前記第２通信インターフェースを介して前記動画ファイルを転送する場合には前記第２圧縮処理を選択する請求項２に記載の画像処理装置。
5. 前記動画ファイル生成部により生成された前記動画ファイルを記録媒体に記録する記録部と、
   動画の撮影時間を受け付ける撮影時間受付部と、
   前記記録媒体の残容量を検出する容量検出部と、を備え、
   前記圧縮処理選択部は、前記検出した前記記録媒体の残容量が、前記受け付けた動画の撮影時間の間、前記第２圧縮処理により圧縮された動画ファイルの記録に必要な容量未満の場合には前記第１圧縮処理を選択し、前記第２圧縮処理により圧縮された動画ファイルの記録に必要な容量以上の場合には前記第２圧縮処理を選択する請求項２に記載の画像処理装置。
6. 前記第２圧縮処理は、前記第１圧縮処理に対し、撮影フレームレートの変化に対する圧縮された動画の単位時間当たりの容量の変化が大きい請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記圧縮処理部により圧縮された動画の動画ファイルを生成する動画ファイル生成部を備え、
   前記動画ファイル生成部は、前記撮影フレームレートの変化に応じて前記第２圧縮処理で圧縮された動画を分割して複数の動画ファイルを作成し、
   前記撮影フレームレートの変化によらずに前記第１圧縮処理で圧縮された動画の動画ファイルを作成する請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記動画ファイル生成部により生成された前記動画ファイルを記録する記録部を備え、
   前記記録部は、前記第２圧縮処理で圧縮された動画から作成された前記複数の動画ファイルを、それぞれ異なる記録媒体の記憶領域、又はそれぞれ異なる記録媒体に記録する請求項７に記載の画像処理装置。
9. 前記第１圧縮処理、及び前記第２圧縮処理は前記動画取得部により取得した動画を撮影フレームレート毎に予め設定された設定ビットレートに応じて圧縮処理するものであって、
   前記撮影フレームレートが第１フレームレートにおいて、前記第２圧縮処理の前記設定ビットレートは、前記第１圧縮処理の前記設定ビットレート以上であり、
   前記第２圧縮処理は、前記撮影フレームレートが前記第１フレームレートから前記第１フレームレートよりも大きい第２フレームレートに変化した場合の前記設定ビットレートの変化量が前記第１圧縮処理よりも大きい請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記第１フレームレートをα１、前記第２フレームレートをα２、前記第２フレームレートよりも大きい第３フレームレートをα３とし、前記第１フレームレートにおける前記設定ビットレートをβ１、前記第２フレームレートにおける前記設定ビットレートをβ２、前記第３フレームレートにおける前記設定ビットレートをβ３とした場合に、前記第２圧縮処理は、下記（１）式、
    （β２－β１）／（α２－α１）＞（β３－β２）／（α３－α２）（１）
    を満たす請求項９に記載の画像処理装置。
11. 前記圧縮処理部は、前記動画取得部で取得した動画を構成するフレームの画像データの量子化パラメータを上限値以下で決定し、決定した前記量子化パラメータを用いて前記画像データを圧縮し、
    前記第２圧縮処理の前記第２フレームレートと前記第１フレームレートにおける前記上限値の差分が、前記第１圧縮処理の前記第２フレームレートと前記第１フレームレートにおける前記上限値の差分よりも小さい請求項９又は１０に記載の画像処理装置。
12. 前記第２動画撮影モードは、前記第１動画撮影モードに対してオートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度及びフレームレートの少なくとも１つが高速に設定される請求項１に記載の画像処理装置。
13. 撮影フレームレートが可変な動画を撮影する動画撮影部と、
    請求項１から１２のいずれか１項に記載の画像処理装置と、を備え、
    前記動画取得部は、前記動画撮影部により撮影された前記動画を取得する撮影装置。
14. 撮影フレームレートが可変な動画を取得するステップと、
    第１圧縮処理又は第２圧縮処理を選択するステップと、
    前記取得した動画を圧縮するステップであって、前記選択された前記第１圧縮処理、又は前記第２圧縮処理を行うステップと、
    第１動画撮影モード、又は前記第１動画撮影モードよりも１フレームあたりの露光時間が短く設定される第２動画撮影モードを選択するステップと、を含み、
    前記第２圧縮処理は、前記第１圧縮処理に対し、撮影フレームレートの変化に対する前記圧縮された動画の１フレームあたりの容量の変化が小さく設定され、
    前記第１圧縮処理又は前記第２圧縮処理を選択するステップは、前記第１動画撮影モードが選択されると、前記第１圧縮処理を選択し、前記第２動画撮影モードが選択されると、前記第２圧縮処理を選択する画像処理方法。
15. 撮影フレームレートが可変な動画を取得するステップと、
    第１圧縮処理又は第２圧縮処理を選択するステップと、
    前記取得した動画を圧縮するステップであって、前記選択された前記第１圧縮処理、又は前記第２圧縮処理を行うステップと、
    動画ファイル生成部が前記圧縮された動画の動画ファイルを生成するステップと、を含み、
    前記第２圧縮処理は、前記第１圧縮処理に対し、撮影フレームレートの変化に対する前記圧縮された動画の１フレームあたりの容量の変化が小さく設定され、
    前記第１圧縮処理又は前記第２圧縮処理を選択するステップは、前記動画ファイル生成部に接続された機器の環境に応じて前記第１圧縮処理、又は前記第２圧縮処理を選択し、
    前記環境は、前記動画ファイル生成部に接続された記録媒体又は通信インターフェースの転送速度、又は前記記録媒体の残容量の何れかである画像処理方法。
16. 前記第２圧縮処理は、前記第１圧縮処理に対し、撮影フレームレートの変化に対する圧縮された動画の単位時間当たりの容量の変化が大きい請求項１４又は１５に記載の画像処理方法。
17. 前記第１圧縮処理及び前記第２圧縮処理は、前記取得した動画を撮影フレームレート毎に予め設定された設定ビットレートに応じて圧縮処理するものであって、
    前記撮影フレームレートが第１フレームレートにおいて、前記第２圧縮処理の前記設定ビットレートは、前記第１圧縮処理の前記設定ビットレート以上であり、
    前記第２圧縮処理は、前記撮影フレームレートが前記第１フレームレートから前記第１フレームレートよりも大きい第２フレームレートに変化した場合の前記設定ビットレートの変化量が前記第１圧縮処理よりも大きい請求項１４から１６の何れか１項に記載の画像処理方法。
18. 撮影フレームレートが可変な動画を取得する機能と、
    第１圧縮処理又は第２圧縮処理を選択する機能と、
    前記取得した動画を圧縮する機能であって、前記選択された前記第１圧縮処理、又は前記第２圧縮処理を行う機能と、
    第１動画撮影モード、又は前記第１動画撮影モードよりも１フレームあたりの露光時間が短く設定される第２動画撮影モードを選択する機能と、をコンピュータに実現させる画像処理プログラムであって、
    前記第２圧縮処理は、前記第１圧縮処理に対し、撮影フレームレートの変化に対する前記圧縮された動画の１フレームあたりの容量の変化が小さく設定され、
    前記第１圧縮処理又は前記第２圧縮処理を選択する機能は、前記第１動画撮影モードが選択されると、前記第１圧縮処理を選択し、前記第２動画撮影モードが選択されると、前記第２圧縮処理を選択する画像処理プログラム。

Images