JP7308363B2 - 撮像装置、撮像方法、及び撮像プログラム - Google Patents

Description

本発明は、動画像を撮像する撮像装置、撮像方法、及び撮像プログラムに関する。

動画を撮像するための技術に関し、例えば特許文献１には、動画像の圧縮符号化を行う撮像装置が記載されている。

特開２０１０－３５１３３号公報

本開示の技術に係る一つの実施形態は、動画像を効率的に圧縮できる撮像装置、撮像方法、及び撮像プログラムを提供する。

本発明の第１の態様に係る撮像装置は、プロセッサを備え、動画像を撮像する撮像装置であって、プロセッサは、撮像する際に設定される露光時間が、記録される動画像データを構成するフレームの記録間隔より長い長時間露光モードにおいて、露光完了のタイミングに基づいて、露光の完了により取得された画像データに基づいて第１圧縮処理を行ってＩフレームを生成し、フレームとしてＩフレームを記録し、画像データに基づいて第２圧縮処理を行ってＰフレームまたはＢフレームを生成し、Ｉフレームが記録されるフレーム以外のフレームとしてＰフレームまたはＢフレームを記録する。

第２の態様に係る撮像装置は第１の態様において、プロセッサは、画像データにおいてシーンの判別及び／または被写体の検出を行い、判別の結果及び／または検出の結果に応じて画像データに第１圧縮処理を行ってＩフレームを生成し、生成したＩフレームを記録する。

第３の態様に係る撮像装置は第２の態様において、プロセッサは、画像データは既に記録された画像データとシーンが異なると判断された場合、被写体が新たに検出された場合、及び被写体の動きが決められた量以上であることが検出された場合は、画像データに第１圧縮処理を行ってＩフレームを生成し、生成したＩフレームを記録する。

第４の態様に係る撮像装置は第１の態様において、１つのＩフレームに対するＰフレームまたはＢフレームの連続記録回数が初期設定されており、プロセッサは、長時間露光モードにおいて、初期設定に従った場合にＩフレームが記録されるタイミングで記録すべきフレームの画像データが、既に取得されたフレームの画像データと同一であるか否かを判定し、判定の結果に応じて画像データに基づいて第１圧縮処理または第２圧縮処理を行ってＩフレーム、Ｐフレーム、またはＢフレームを生成し、生成したＩフレーム、Ｐフレーム、またはＢフレームを記録する。

第５の態様に係る撮像装置は第４の態様において、プロセッサは、初期設定に従った場合にＩフレームが記録されるタイミングで記録すべきフレームの画像データが既に取得されたフレームの画像データと同一であると判定された場合、初期設定された連続記録回数を変更して、画像データに基づいて第２圧縮処理を行ってＰフレームまたはＢフレームを生成して記録し、初期設定に従った場合にＩフレームが記録されるタイミングで記録すべきフレームが既に取得されたフレームと異なると判定された場合、画像データに第１圧縮処理を行ってＩフレームを生成して記録する。

第６の態様に係る撮像装置は第４または第５の態様において、露光時間が記録間隔以下である短時間露光モードを有し、プロセッサは、動画像の撮像モードが短時間露光モードから長時間露光モードに切り替わったら判定を開始する。

第７の態様に係る撮像装置は第１の態様において、プロセッサは、長時間露光モードにおいて、記録対象のフレームが同一フレームの連続記録が開始するフレームであるか否か、及び連続記録によりＰフレームまたはＢフレームの繰り返し回数の上限を超えるか否か、に基づいてＩフレームの生成及び記録、もしくはＰフレームまたはＢフレームの生成及び記録を行う。

第８の態様に係る撮像装置は第７の態様において、繰り返し回数の上限を示す情報が記憶されたメモリをさらに備え、プロセッサは、長時間露光モードにおいて、フレームの記録間隔と露光時間とに基づいて、同一のフレームが連続記録される回数を算出し、記録対象のフレームが既に記録されたフレームと同一であるか否かを判定し、記録対象のフレームが既に記録されたフレームと同一でないと判定された場合に、連続記録される回数が繰り返し回数の上限を超える場合は第１圧縮処理を行い、連続記録される回数が繰り返し回数の上限を超えない場合は第２圧縮処理を行う。

第９の態様に係る撮像装置は第１から第８の態様のいずれか１つにおいて、プロセッサは、長時間露光モードにおいて、記録対象のフレームの圧縮率を、記録対象のフレームよりも時間的に前のフレームの圧縮率を参照せずに設定し、記録対象のフレームを、設定した圧縮率で圧縮して記録する。

第１０の態様に係る撮像装置は第１から第９の態様のいずれか１つにおいて、プロセッサは、長時間露光モードにおいて、第１圧縮処理を行う際のプロセッサの処理能力を、第２圧縮処理を行う際のプロセッサの処理能力よりも上げる。

第１１の態様に係る撮像装置は第１から第１０の態様のいずれか１つにおいて、プロセッサは、長時間露光モードにおいて、動画像を表示装置に表示させ、表示を行う際に、既に記録されたフレームと同一のフレームを記録する期間は表示の更新を停止し、既に記録されたフレームと異なるフレームの記録を開始したら表示の更新を行う。

本発明の第１２の態様に係る撮像方法は、動画像を撮像する撮像装置の撮像方法であって、撮像する際に設定される露光時間が、記録される動画像データを構成するフレームの記録間隔より長い長時間露光モードにおいて、露光完了のタイミングに基づいて、露光の完了により取得された画像データに基づいて第１圧縮処理を行ってＩフレームを生成し、フレームとしてＩフレームを記録するＩフレーム記録ステップと、画像データに基づいて第２圧縮処理を行ってＰフレームまたはＢフレームを生成し、Ｉフレームが記録されるフレーム以外のフレームとしてＰフレームまたはＢフレームを記録するＰＢフレーム記録ステップと、を有する。第１２の態様に係る撮像方法は、第２から第１１の態様と同様の構成を備えていてもよい。

本発明の第１３の態様に係る撮像プログラムは、プロセッサを備え、動画像を撮像する撮像装置に撮像方法を実行させる撮像プログラムであって、プロセッサにより、撮像する際に設定される露光時間が、記録される動画像データを構成するフレームの記録間隔より長い長時間露光モードにおいて、露光完了のタイミングに基づいて、露光の完了により取得された画像データに基づいて第１圧縮処理を行ってＩフレームを生成し、フレームとしてＩフレームを記録するＩフレーム記録ステップと、画像データに基づいて第２圧縮処理を行ってＰフレームまたはＢフレームを生成し、Ｉフレームが記録されるフレーム以外のフレームとしてＰフレームまたはＢフレームを記録するＰＢフレーム記録ステップと、を行わせる。第１３の態様に係る撮像プログラムは、第２から第１１の態様と同様の構成をコンピュータに実行させてもよい。なお、これら態様の撮像プログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の態様として挙げることができる。

図１は、第１の実施形態に係る撮像装置の概略構成を示す図である。 図２は、ＣＰＵ（プロセッサ）の機能構成を示す図である。 図３は、記録装置に記録される情報を示す図である。 図４は、実施例１での撮像方法の処理を示すフローチャートである。 図５は、Ｉフレーム挿入タイミングと圧縮後のフレーム容量との関係の例を示す図である。 図６は、実施例２での撮像方法の処理を示すフローチャートである。 図７は、実施例２におけるＩフレーム挿入の様子を示す図である。 図８は、実施例３での撮像方法の処理を示すフローチャートである。 図９は、実施例３におけるＩフレーム挿入の様子を示す図である。 図１０は、実施例４における圧縮処理を説明するための図である。 図１１は、実施例５における圧縮処理を説明するための図である。 図１２は、実施例６における表示デバイスの表示更新の様子を示す図である。 図１３は、第２の実施形態に係るスマートフォンの外観図である。 図１４は、スマートフォンの概略構成を示す図である。

本発明に係る撮像装置、撮像方法、及び撮像プログラムの一つの実施形態は以下の通りである。説明においては、必要に応じて添付図面が参照される。

＜第１の実施形態＞
＜撮像装置の全体構成＞
図１は第１の実施形態に係るカメラ１００（撮像装置）の概略構成を示す図である。カメラ１００は交換レンズ２００及び撮像装置本体３００により構成され、後述するズームレンズ２１０，フォーカスレンズ２３０を含む撮像レンズにより、被写体像（光学像）を撮像素子３１０（撮像素子）の受光部３１２に結像させる。交換レンズ２００と撮像装置本体３００とは、図示せぬマウントを介して装着及び取り外しをすることができる。なお、第１の実施形態ではカメラ１００が交換レンズ２００を備える場合について説明しているが、レンズ装置（光学系）がカメラ本体に固定されていてもよい。

＜交換レンズの構成＞
交換レンズ２００は、ズームレンズ２１０と、絞り２２０と、フォーカスレンズ２３０と、レンズ駆動部２４０と、を備える。レンズ駆動部２４０は、ＣＰＵ３３０（図２のレンズ駆動制御部３４０；プロセッサ）からの指令に応じてズームレンズ２１０、フォーカスレンズ２３０を光軸Ｌの方向に進退駆動してズーム（光学ズーム）調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、ＣＰＵ３３０からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作（図示せぬズームリング、フォーカスリングの回動等）に応じて行ってもよい。また、レンズ駆動部２４０は、ＣＰＵ３３０からの指令に応じて絞り２２０を制御し、露出を調整する。一方、ズームレンズ２１０及びフォーカスレンズ２３０の位置、絞り２２０の開放度等の情報がＣＰＵ３３０に入力される。

＜撮像装置本体の構成＞
撮像装置本体３００は、撮像素子３１０、デジタル信号処理部３２０、ＣＰＵ３３０、操作部３５０、記録装置３６０（記録装置、メモリ）、モニタ３７０（表示装置）、及びスピーカ３８０を備える。撮像装置本体３００は、撮像素子３１０に透過させる光を遮光するためのシャッター（不図示）を有していてもよい。なお、シャッターは、メカニカルシャッターでも電子シャッターでもよい。電子シャッターの場合、ＣＰＵ３３０が撮像素子３１０の電荷蓄積期間を制御することで、露光時間（シャッタースピード）を調節することができる。

＜撮像素子の構成＞
撮像素子３１０は、受光部３１２、アナログ増幅部３１４、Ａ／Ｄ変換器３１６、及び撮像素子駆動部３１８を備える。

受光部３１２は、多数の受光素子がマトリクス状に配列された受光面を備える。そして、ズームレンズ２１０、絞り２２０、及びフォーカスレンズ２３０を透過した被写体光が受光部３１２の受光面上に結像され、各受光素子によって電気信号に変換される。受光部３１２の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。なお、本実施形態では、撮像素子３１０としてＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型のカラーイメージセンサを用いることができる。

ＣＭＯＳ型のイメージセンサの構成の一例においては、受光部３１２を構成する画素ごとまたは複数の画素ごとに、アナログ増幅部３１４が設けられる。画素信号は、アナログ増幅部３１４において増幅された後、行単位で読み出され、Ａ／Ｄ変換器３１６（Analog-to-Digital Converter）に供給される。Ａ／Ｄ変換器３１６は、供給された画素信号をデジタル画素信号に変換し、デジタル信号処理部３２０に供給する。デジタル信号処理部３２０は、デジタル画素信号をデジタル相関二重サンプリング処理、デジタルゲイン処理、補正処理等を行って、デジタル画像信号に変換する。撮像素子駆動部３１８は、ＣＰＵ３３０（プロセッサ）からの指令に応じて撮像素子３１０を駆動する。

撮像素子３１０がＣＭＯＳ型のイメージセンサである場合、図１に示す態様のように撮像素子駆動部、アナログ増幅部、及びＡ／Ｄ変換器が撮像素子のパッケージに含まれることが多いが、この態様と異なる構成のイメージセンサを用いてもよい。

なお、撮像素子３１０として、ＣＭＯＳ型の他に、ＸＹアドレス型、ＣＣＤ（Charge-Coupled Device）型等のカラーイメージセンサを用いることができる。

＜ＣＰＵの構成＞
図２は、ＣＰＵ３３０（プロセッサ）の機能構成を示す図である。ＣＰＵ３３０は、画像取得部３３２、フレーム割当部３３４、圧縮記録部３３６、表示制御部３３８、及びレンズ駆動制御部３４０としての機能を有する。ＣＰＵ３３０は、デジタル信号処理部３２０から入力されたデジタル画像信号に基づいて、動画像の撮像及び圧縮、記録等の処理を行う。ＣＰＵ３３０を用いた処理の詳細は後述する。

ＣＰＵ３３０の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）が含まれる。また、上述した各種のプロセッサには、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

なお、ＣＰＵ３３０の各機能は１つのプロセッサで実現されていてもよいし、複数のプロセッサで実現されていてもよい。また、１つのプロセッサが複数の機能に対応していてもよい。さらに、ＣＰＵ３３０の各機能は回路によって実現されていてもよく、また各機能の一部が回路で実現され、残りがプロセッサによって実現されていてもよい。

上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードや、ソフトウェアの実行に必要なデータをフラッシュメモリ（Flash Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアやデータを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本実施形態に係る撮像方法を実行するための撮像プログラム（撮像装置を動作させるプログラム）を含む。フラッシュメモリではなく各種光磁気記録装置、半導体メモリ等を用いた非一時的記録媒体にコードやデータを記録してもよい。ここで、「半導体メモリ」にはフラッシュメモリの他にＲＯＭ（Read Only Memory）やＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）が含まれる。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられる。

図２に示すように、ＣＰＵ３３０はフラッシュメモリ３４４（非一時的記録媒体、メモリ）を備える。フラッシュメモリ３４４には、画像の撮像、記録、表示等に必要なプログラム（本実施形態に係る撮像方法を実行するためのプログラムを含む）のコンピュータ（例えば、ＣＰＵ３３０を構成する各種のプロセッサ）で読み取り可能なコードや、プログラムの実行に際し必要なデータ（例えば、フレームの圧縮や記録のパターン、Ｐフレーム連続記録回数の上限値等のフレーム判定条件）が記録される。また、ＣＰＵ３３０は、一時的な記憶領域及び作業領域としてのＲＡＭ３４８（メモリ）を備える。

＜操作部＞
操作部３５０は図示せぬレリーズボタン、操作用ボタン（例えば十字ボタン、Ｑｕｉｃｋボタン、ＯＫボタン等）、ダイヤル、スイッチ等を有し、ユーザは撮像モード設定、撮像条件（例えば、動画像のフレームレート及びシャッタースピード、Ｐフレームの連続回数及びその上限等）の設定、動画撮像指示、静止画撮像指示等、各種の操作を行うことができる。また、ＣＰＵ３３０は、これらユーザの指示を受け付けることができる。なお、モニタ３７０（表示装置）をタッチパネル型のデバイスで構成し、操作部として使用可能としてもよい。

＜記録装置＞
記録装置３６０（記録装置、メモリ）は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、動画、静止画等を保存することができる。記録装置３６０には、例えば図３（記録装置３６０に記録される情報を示す図）に示すように、後述する第１圧縮処理または第２圧縮処理を行って記録した動画像３６２等を記録することができる。記録装置３６０を構成する記録媒体としては、撮像装置本体３００に対し着脱できるタイプを用いることができる。撮像した画像（動画像、静止画像）を、例えば有線及び／または無線通信により外部の（記録装置３６０以外の）記録媒体や記録装置に送信可能な構成とし、それらに記録できるようにしてもよい。

＜モニタ及びスピーカ＞
モニタ３７０（表示装置）は例えばタッチパネル型の液晶表示パネルにより構成され、設定された撮像条件、動画像、静止画像、ユーザへの警告メッセージ等を表示することができる。このメッセージはスピーカ３８０から音声出力してもよい。モニタ３７０は撮像装置本体３００の背面側、天面側等に配置することができる。なお、カメラ１００は光学式及び／または電子式のビューファインダを備えていてもよい。

＜長時間露光での動画撮像における課題及び本願発明の手法＞
デジタルカメラにて動画撮像を行う際、記録容量の増大を防ぐため、圧縮した画像を記録することが一般的である。圧縮はフレームごとに独立して行う（Ｉフレーム）だけでなく、前フレームとの差分情報のみ圧縮する（Pフレーム）ことや、時間的に前のフレームのみでなく後のフレームとの差分情報から圧縮する（Ｂフレーム）ことが可能である。そして、決められたパターンに従ってこれらのフレームのいずれかを用いることで圧縮効率を上げることが一般的である。しかしながら、Ｉフレーム挿入のパターン（具体的には、「何フレームに１回Ｉフレームが挿入されるか」）が固定されている場合、例えば長時間露光（全く同じフレームが複数続く）時や、露出制御の変更前など、各フレームが示す画像（以下、「フレーム画像」あるいは「コマ」という場合がある）の変化が少ないときにIフレームとして圧縮してしまうことや、画像が変化する瞬間にPフレームとして圧縮してしまうことが起こり得る。そのようなフレームが多く出現すると、圧縮の効率が下がってしまう。しかしながら、上述した特許文献１等の従来の技術は、このような事情を考慮したものではなかった。

このような事情に鑑みて、本願発明者らは、露出制御に合わせてIフレームの挿入間隔を調整し、画像の変化が少ないと予測できる場合はPフレーム（及び／またはＢフレーム）を使用することで、効率よい圧縮を可能とする手法を開発した。この手法では、例えば長時間露光時、フレームレートとシャッタースピードに基づいて全く同じフレームが何フレーム続くか認識し、そのような箇所でＩフレームが記録されないように制御する。以下、この手法の具体的態様を説明する。

＜撮像方法の処理（実施例１）＞
図４は、実施例１での撮像方法の処理を示すフローチャートである。動画像の撮像が始まると、フレーム割当部３３４（プロセッサ）は、設定されたフレームレート（フレームの記録間隔）及びシャッタースピード（露光時間）に基づいて、カメラ１００が長時間露光モードに設定されているか否かを判定する（ステップＳ１００：露光モード判定ステップ）。「長時間露光モード」とは、Ｉフレームを生成するための露光時間が、フレームの記録間隔より長い露光モード（撮像する際に設定される露光時間が、記録される動画像データを構成するフレームの記録間隔より長い）である。露光時間が記録間隔以下である場合（すなわち、短時間露光モードである場合）はステップＳ１００の判断が否定され、フレーム割当部３３４は通常のフレーム判定を行って（ステップＳ１８０）、圧縮記録部３３６はＩフレームまたはＰフレームを記録する（ステップＳ１９０）。例えば、フレーム割当部３３４は「Ｐフレームが決められた数連続しているか否か」を判断し、圧縮記録部３３６はこの判断が肯定されたらＩフレームを１つ挿入することができる。

カメラ１００が長時間露光モードに設定されている場合、及び撮像モードが短時間露光モードから長時間露光モードに切り替わったら（ステップＳ１００でＹＥＳ）、フレーム割当部３３４は「記録対象のフレームが既に取得されたフレームと同一であるか否か」の判定を開始する（ステップＳ１１０：同一性判断ステップ）。なお、長時間露光モードにおいて、露光の完了により取得された画像データに基づくフレームを新たに記録する場合は、記録対象のフレームは既に取得されたフレームと同一ではない。一方、あるフレームの露光期間中は、そのフレームの画像データがまだ取得されておらず露光の完了により取得された画像データに基づくフレームを決められたフレームレート（記録間隔）で繰り返し記録するので、記録対象のフレームは既に取得されたフレームと同一となる。

記録対象のフレームが既に取得されたフレームと同一である場合（ステップＳ１１０でＹＥＳ）、圧縮記録部３３６は、記録対象のフレームの画像データと、記録対象のフレームより時間的に前のフレームの画像データとの差分情報に基づく圧縮処理（第２圧縮処理）を行ってＰフレームを生成し、生成したＰフレームを記録装置３６０に記録する（ステップＳ１３０：ＰＢフレーム記録ステップ）。記録されるフレーム（フレームが示す画像）は、既に取得されたフレームと同一である。

記録対象のフレームが既に取得されたフレームと同一ではない場合（ステップＳ１１０でＮＯ）、フレーム割当部３３４が記録対象のフレームにＩフレームを割り当てることが許可される（ステップＳ１２０：フレーム割当ステップ）。ただし、この場合「フレーム割当部３３４が必ずＩフレームを割り当てる」というわけではない。これは、例えばフレームレートが６０ｆｐｓ（ｆｐｓ：frame per second、１秒あたりのフレーム数）で露光時間が１／３０ｓｅｃ（露光時間がフレームレートに対してあまり長くない）の場合、２コマ（２フレーム）に１回画像が新しくなるが、画像が新しくなる度にＩフレームを割り当ててしまうとフレームのシーケンスが「ＩＰＩＰＩＰ...」となり、圧縮効率という意味ではむしろ無駄が多くなるためである。なお、動画像のフレームレートをＸ（ｆｐｓ）、露光時間を１／Ｙ（ｓｅｃ）とすると、長時間露光モードとなる条件は“Ｙ＜Ｘ”であり、長時間露光による同一コマの発生回数は“roundup（Ｘ／Ｙ，０）”である（ＸをＹで割って小数点以下を切り上げる）。

このような観点から、実施例１では、Ｉフレームの割り当てが許可される場合でも以下の処理を行った上でＩフレームまたはＰフレームを記録する。具体的には、ステップＳ１２０でＩフレームの割当が許可された場合、フレーム割当部３３４は、取得したフレームにおいてシーンの判別及び／または被写体の検出を行い（ステップＳ１４０：フレーム割当ステップ）、判別の結果及び／または検出の結果に応じて、Ｉフレームを割り当てるか否かを判断する（ステップＳ１５０：フレーム割当ステップ）。シーンの判別については、フレーム割当部３３４が、例えば撮像素子３１０から出力される各色（赤色、青色、緑色）の色信号及びそれらの比に基づいて光源種や色温度を算出することができる。また、被写体の検出については、フレーム割当部３３４が、例えば新たに取り込んだフレームと既に取り込まれたフレームとの差分を算出すること等により、新たな被写体の検出や被写体の動きの検出、あるいは人や動物の表情の変化の検出等を行うことができる。

フレーム割当部３３４は、シーン及び／または被写体が大きく変化した場合はＩフレームを割り当て（ステップＳ１５０でＹＥＳ）、第１圧縮処理を行ってＩフレームを生成し、生成したＩフレームを記録装置３６０に記録する（ステップＳ１７０：Ｉフレーム記録ステップ）。第１圧縮処理は、１回の露光の完了により取得された、１フレーム分の画像データに基づく圧縮処理（当該１フレームの露光完了のタイミングよりも時間的に前後のタイミングで露光完了したフレームの画像データを用いない圧縮処理）である。なお、例えばシーンが異なる（光源種や色温度が変化した）場合、新たな被写体が検出された場合、あるいは被写体の動きが決められた量以上である（しきい値以上である）場合に、フレーム割当部３３４は「シーン及び／または被写体が大きく変化した」と判断することができる。このようにシーン及び／または被写体が大きく変化した場合、画質を考慮するとＩフレームを割り当てることが好ましい。

一方、シーン及び／または被写体が大きく変化していない場合、フレーム割当部３３４はＰフレームを割り当て（ステップＳ１５０でＮＯ）、第２の圧縮処理を行って、フレームレートに対応する記録間隔で記録する（ステップＳ１６０：ＰＢフレーム記録ステップ）。長時間露光モードにおいて第２の圧縮処理は同一画像同士の差分情報に基づく圧縮処理であり、圧縮後のデータ容量はほぼゼロ（そのフレームのデータがゼロであることを示す値のみ）になる。これは、長時間露光モードの場合、露光期間中のタイミングで記録されるフレームに対しては撮像して得られた画像が存在しないため、そのタイミングより直近過去のタイミングでの撮像画像をそのフレーム（露光期間中のタイミングで記録されるフレーム）の画像として扱うためである。この結果、ステップＳ１３０，Ｓ１６０において、Ｉフレームが記録されるフレーム以外のフレームとしてＰフレームが記録される。このように、シーン及び／または被写体が大きく変化していない場合は、Ｐフレームを割り当てることで効率的に圧縮することができる。

上述したステップＳ１００～Ｓ１９５の処理は、動画像の撮像が終了するまで（ステップＳ１９５でＹＥＳになるまで）繰り返される。

図５は、Ｉフレーム挿入タイミングと圧縮後のフレーム容量との関係の例を示す図である。同図では、フレームレートが６０ｆｐｓ、露光時間が１／１２ｓｅｃに設定されているものとする。この場合、露光時間はフレームレートの５倍である。また、初期設定では１つのＩフレーム（時刻ｔ１，ｔ７）に対し５つのＰフレーム（時刻ｔ２～ｔ６，時刻ｔ８～ｔ１２）が連続して記録されるように設定されているものとする。

図５の（ａ）部分はＰフレームの連続記録回数（初期設定）を維持した場合のフレームのパターンを示している。この例では、Ｐフレームを用いれば大幅に圧縮できるタイミング（時刻ｔ７；時刻ｔ６と同一のフレーム）においてＩフレームを割り当てており、このタイミングでの容量が大きくなっている。

一方、図５の（ｂ）部分は、実施例１の態様でフレームを割り当てた場合のフレームのパターンを示している。上述した図５の（ａ）部分に示す例では時刻ｔ６がＰフレーム、時刻ｔ７がＩフレームであるが、同図の（ｂ）部分では時刻ｔ６がＩフレーム、時刻ｔ７がＰフレームである。これは、フレーム画像Ｎｏ．が「１」から「２」に切り替わるタイミング（時刻ｔ６）でＩフレームを割り当てたためであり、図４のフローチャートでは、ステップＳ１１０でＮＯと判断されてステップＳ１７０でＩフレームを記録した場合に相当する。なお、シーン及び／被写体について大きな変化があった（ステップＳ１５０でＹＥＳ）ものとしている。

このようなフレームの割り当てによれば、時刻ｔ７でＰフレームを割り当てることで大幅な圧縮が可能となり、またフレーム画像Ｎｏ．が「１」から「２」に切り替わる時刻ｔ６でＩフレームを割り当てることで良好な画質で動画像を記録することができる。

なお、図５の（ｂ）部分に示す例では、実施例１の態様でのフレーム割り当ての結果、１つのＩフレーム（時刻ｔ１，ｔ６）に対し４つのＰフレーム（時刻ｔ２～ｔ５，時刻ｔ７～ｔ１０）が連続して記録されており、初期設定と異なるパターンとなっている。

以上説明したように、実施例１によれば、画質を維持しつつ動画像を効率的に圧縮することができる。

なお、実施例１ではＩフレーム及びＰフレームを記録する場合について説明したが、Ｐフレームに代えて、またはＰフレームに加えてＢフレームを記録してもよい（以下に説明する他の実施例、及び第２の実施形態でも同様である）。Ｂフレームは、Ｐフレームと同様に大きく圧縮することができる。

＜撮像方法の処理（実施例２）＞
図６は、実施例２での撮像方法の処理を示すフローチャートである。短時間露光モードの場合の処理（ステップＳ２６０，Ｓ２７０）の処理はステップＳ１８０，Ｓ１９０（図４を参照）の処理と同様なので、詳細な説明を省略する。

カメラ１００が長時間露光モードに設定されている場合、及び撮像モードが短時間露光モードから長時間露光モードに切り替わった場合（ステップＳ２００でＹＥＳ）、フレーム割当部３３４は記録対象のフレームとしてＩフレームが予定されているかを判断する（ステップＳ２１０：同一性判断ステップ）。フレーム割当部３３４は、「Ｉフレームが予定されているか否か」を、「何フレームに１回Ｉフレームが挿入されるか（１つのＩフレームに対するＰフレームの連続記録回数）」の初期設定に基づいて判断することができる。Ｉフレームが予定されていない場合、圧縮記録部３３６は上述したステップＳ１３０と同様にしてＰフレームを生成し、生成したＰフレームを記録装置３６０に記録する（ステップＳ２２０：ＰＢフレーム記録ステップ）。

記録対象のフレームとしてＩフレームが予定されている場合（ステップＳ２１０でＹＥＳ）、フレーム割当部３３４は、「記録対象のフレームが既に取得されたフレームと同一であるか否か」の判定を行う（ステップＳ２３０：同一性判断ステップ）。この判断は、ステップＳ１１０と同様である。圧縮記録部３３６は判断が肯定されたらＰフレームを生成及び記録し（ステップＳ２５０：ＰＢフレーム記録ステップ）、判断が否定されたらＩフレームを生成及び記録する（ステップＳ２４０：Ｉフレーム記録ステップ）。

図７は実施例２におけるＩフレーム挿入の様子を示す図である。同図の（ａ）部分はＩフレーム及びＰフレームの割り当て（初期設定）の例を示す。この例では、７フレームに１回、Ｉフレームが挿入される。すなわち、Ｐフレームの連続記録回数は６回である。そして、フレームレートが６０ｆｐｓ、期間ΔＴ１では露光時間が１／６０ｓｅｃ以下（短時間露光モード）、期間ΔＴ２で露光時間が１／３０ｓｅｃ（長時間露光モード）になるものとする。すなわち、同図の（ｂ）部分に示すように、記録コマＮｏ．が３から４になるタイミングで長時間露光モードに移行したものとする。

このような状況で、Ｉフレーム及びＰフレームの割り当てが初期状態（図７の（ａ）部分）にしたがっている場合、図７の（ｂ）部分の「変更前」の行に示すようにフレーム６ＢがＩフレームとなり、フレーム７ＡがＰフレームとなる。すなわち、図６のステップＳ２３０において、「初期設定に従った場合にＩフレームが記録されるタイミングで記録すべきフレーム（フレーム６Ｂ）の画像データが、既に取得されたフレーム（フレーム６Ａ）の画像データと同一である」と判定されることになる。しかしながら、フレーム６Ｂは前のフレーム（フレーム６Ａ）と同一のコマ（画像として同一）であるから、効率的な圧縮の観点からはＰフレームとすることが好ましい。このような場合、実施例２では、圧縮記録部３３６は図７の（ｂ）部分の「変更後」の行に示すようにフレーム６ＢをＰフレームとして記録し（図６のステップＳ２５０）、新たなコマ（既に取得されたフレームと同一でない；記録コマＮｏ．７）となるフレーム７ＡをＩフレームとして記録する（ステップＳ２４０）。すなわち、フレーム割当部３３４（プロセッサ）は、フレーム６ＢをＰフレームとして記録するに際して、初期設定されたＰフレームの連続記録回数（図７の例では６回）を変更して７回としている。

連続記録回数の変更後は、変更後の回数により同様の処理が行われる。具体的には、新たなコマとなるフレーム１１Ａが次のＩフレームとして記録される。上述の処理は、動画像の撮像が終了するまで（ステップＳ２８０でＹＥＳになるまで）行われる。

以上説明したように、実施例２によれば動画像を効率的に圧縮することができる。

＜撮像方法の処理（実施例３）＞
図８は、実施例３での撮像方法の処理を示すフローチャートである。短時間露光モードの場合の処理（ステップＳ３６０，Ｓ３７０）及び撮像終了か否かの判断（ステップＳ３８０）はステップＳ１８０，Ｓ１９０，Ｓ１９５（図４を参照）の処理と同様なので、詳細な説明を省略する。また、図９は実施例３におけるＩフレームの挿入の様子を示す図である。図９の（ａ）部分に示すように、フレーム割り当ての初期設定ではＩフレームが１４回に１回挿入される設定（Ｐフレームの連続記録回数は１３回）になっているものとする。また、初期設定ではＰフレームの繰り返し回数の上限は１８回であるものとする。なお、フレームレートは６０ｆｐｓで露光時間は１／１２ｓｅｃ、すなわち同一のフレームが５回連続して記録されるものとする。

このような状況で長時間露光モードの場合（ステップＳ３００でＹＥＳ）、フレーム割当部３３４（プロセッサ）は、「記録対象のフレームが同一フレームの連続記録が開始するフレームであるか否か」を判断する（ステップＳ３１０：フレーム割当ステップ）。この判断が否定されると、圧縮記録部３３６は第２圧縮処理を行ってＰフレームを記録する（ステップＳ３２０：ＰＢフレーム記録ステップ）。

図９の（ｂ）部分に示す例では、例えばフレーム２Ａが「同一フレーム（記録コマＮｏ．２）の連続記録が開始するフレーム」であり、このようなフレームの場合にステップＳ３１０の判断が肯定される。するとフレーム割当部３３４は、「連続記録によりＰフレームの繰り返し回数の上限を超えるか否か」を判断する（ステップＳ３３０：フレーム割当ステップ）。上述したフレーム２ＡからＰフレームが５回連続して記録されても、記録コマＮｏ．１から通算したＰフレームの繰り返し回数は９回であり初期設定の範囲内なので、ステップＳ３３０の判断が否定され、予定通りＰフレームが５回連続して記録される（図９の（ｂ）部分において、「変更前」の行から「変更１」の行へ；結果は同じ）。

Ｐフレームの連続記録（５回）による記録コマＮｏ．２の記録が終了し、記録コマＮｏ．３の記録が開始されると、フレーム３Ａのタイミングで、再度「同一フレーム（記録コマＮｏ．３）の連続記録が開始するフレーム」と判断される（ステップＳ３１０でＹＥＳ）。この場合、Ｐフレームを連続して５回記録すると記録コマＮｏ．１から通算しての連続記録回数は１４回となり、初期設定に従えば記録コマＮｏ．３の途中でＩフレームが挿入されることになるが、Ｐフレームの繰り返し回数の上限（１８回）は超えない。したがって、この場合もステップＳ３３０の判断が否定され、記録コマＮｏ．３の期間もＰフレームが連続して記録される（図９の（ｂ）部分において「変更１」の行から「変更２」の行へ；ステップＳ３４０）。

さらに処理が進んで記録コマＮｏ．３の記録が終了し、記録コマＮｏ．４の記録が開始される。このときは、フレーム４Ａのタイミングでは、ステップＳ３３０において「Ｐフレームを連続して５回記録すると、記録コマＮｏ．１から通算しての連続記録回数は１９回となり、Ｐフレームの繰り返し回数の上限（１８回）を超える」と判断されるので、ステップＳ３５０に進んで圧縮記録部３３６（プロセッサ）が第１圧縮処理を行い、Ｉフレームを記録する（図９の（ｂ）部分において「変更２」の行から「変更３」の行へ）。なお、このような「Ｐフレームの繰り返し回数が上限を超えることによるＩフレームの挿入」は、画質及び圧縮効率の観点から、同一フレームの繰り返し記録の最初のコマ（図９の例ではフレーム４Ａ）で行うことが好ましい。

実施例３によれば、このようにして動画像を効率的に圧縮することができ、またＰフレームの繰り返し回数の上限を超えることもない。

＜撮像方法の処理（実施例４）＞
目標ファイルサイズ（目標ビットレート）を達成するために画像の圧縮率を適宜修正するシステムが有り、このようなシステムでは、一般的に過去のフレームの圧縮率を参照している。上述した長時間露光によって同一コマあるいはPフレームが続いている際は、圧縮効率が良くデータサイズが小さくなるため、目標ファイルサイズにするために圧縮率を落とし、データサイズを大きくする動作となる。

図１０は、実施例４における圧縮処理を説明するための図である。例えば、短時間露光モードでのフレーム割り当てが図１０の（ａ）部分に示すパターン（７フレームに１回Ｉフレームを挿入、Ｐフレームの連続記録回数は６回）であり、これに対し実施例３のようなＰフレームの連続記録回数に基づく制御を行った結果、長時間露光モードでのフレーム割り当てが同図の（ｂ）部分に示すパターンになったものとする。この場合、過去のフレームの圧縮率を参照して画像の圧縮率を修正すると、Ｐフレームが連続している期間（図１０の例では時刻ｔ１，ｔ２）では圧縮率が下がっていき、その結果圧縮後の容量（ファイルサイズ）は増加していく。この状況でIフレーム挿入のタイミングになると（時刻ｔ３）、過去フレームの低圧縮率設定を引き継いでしまい、Iフレームのサイズが通常より大きくなってしまう。

そこで実施例４では、圧縮記録部３３６は、長時間露光モードにおいて過去の圧縮率（記録対象のフレームよりも時間的に前のフレームの圧縮率）を参照する設定をＯＦＦする。この場合、圧縮記録部３３６は、例えばあらかじめ決められた固定値を圧縮率として用いることができる。圧縮記録部３３６は、ＩフレームとＰフレームとで異なる圧縮率を設定してもよい。

このように過去のフレームの圧縮率を参照する設定をＯＦＦすることにより、図１０の（ｄ）部分に示すようにＰフレームが連続する期間（時刻ｔ１，ｔ２を含む）で圧縮率が変わらないので容量（ファイルサイズ）は小さいままであり、Ｉフレームの容量も大きくなりすぎることがない。このように、実施例４によれば動画像を効率的に圧縮することができる。

＜撮像方法の処理（実施例５）＞
図１１は、実施例５における圧縮処理を説明するための図である。上述した実施例４と同様に、目標ファイルサイズ（目標ビットレート）を達成するために過去のフレームの圧縮率を参照して記録対象となる画像の圧縮率を適宜修正するシステムを想定すると、図１１の（ａ）部分～（ｃ）部分（図１０の（ａ）部分～（ｃ）部分と同じ）に示すように、Ｐフレームが連続している期間（時刻ｔ１，ｔ２）では圧縮率が下がっていき、その結果圧縮後の容量（ファイルサイズ）は増加していく。この状況でIフレーム挿入のタイミングになると（時刻ｔ３）、過去フレームの低圧縮率設定を引き継いでしまい、Iフレームのサイズが通常より大きくなってしまう。これにより、割り当てられたプロセッサの処理能力に対する負荷が高くなるおそれがある。

そこで実施例５では、図１１の（ｄ）部分に示すように、圧縮記録部３３６（プロセッサ）はＩフレームのタイミング（第１圧縮処理を行うタイミング；図１１の例では時刻ｔ３等）におけるＣＰＵ３３０（プロセッサ）の処理能力をＰフレームのタイミング（第２圧縮処理を行うタイミング）での処理能力よりも上げる。これによりファイルサイズが大きくなったＩフレームに対応することができ、動画像を効率的に圧縮することができる。

なお、実施例５では、圧縮率の設定に際し過去のフレームの圧縮率を参照してもよいし、参照しなくてもよい。

＜撮像方法の処理（実施例６）＞
動画像を記録可能な撮像装置においては、撮像した動画像を表示する表示デバイスを備えているものがある。本願発明に係るカメラ１００（撮像装置）も、モニタ３７０に動画像を表示させることができる。このような動画像の表示における表示の更新について、以下説明する。

図１２は実施例６における表示デバイスの表示更新の様子を示す図である。この例では、フレームレートが６０ｆｐｓ（記録間隔：約１６．６ｍｓｅｃ）で、図１２の（ａ）部分に示すように、露光時間が１／１２ｓｅｃ（長時間露光）であるものとする。この場合、同図の（ｂ）部分に示すように、約１６．６ｍｓｅｃの記録間隔で同一のフレームが５つ連続記録される。通常の表示デバイスでは、同図の（ｃ）部分に示すように約１６．６ｍｓｅｃの間隔で表示が更新されるが、（ｃ）部分のように同一のフレームを表示するのに毎回表示を更新することによりプロセッサの処理能力や消費電力に対する負荷が増大するおそれがある。

そこで本願発明に係るカメラ１００では、既に記録されたフレームと同一のフレームを記録する期間は表示の更新を停止し、既に記録されたフレームと異なるフレームの記録を開始したら表示の更新を行う。具体的には、図１２の（ｄ）部分に示すように、表示制御部３３８（プロセッサ）は、記録されるフレームが新たなフレームに変わったら（例えば、フレームＮｏ．１がフレームＮｏ．２に切り替わったら）、モニタ３７０の表示を更新する。このような表示の更新は、例えば、表示制御部３３８が更新停止期間中はモニタ３７０に対し表示更新の指令を送信しない（指令を間引く）ことにより行うことができる。

このような表示制御によれば、フレームが表示される期間は変わらないので動画表示の「見た目」を維持することができ、またプロセッサの処理能力や消費電力に対する負荷を低減することができる。なお、実施例６の表示制御は上述した実施例１～５に適用することができる。

以上説明したように、第１の実施形態に係る撮像装置（カメラ１００）、撮像方法、及び撮像プログラムによれば、動画像を効率的に圧縮することができる。

＜第２の実施形態＞
第１の実施形態では、デジタルカメラであるカメラ１００について説明したが、撮像装置の構成はこれに限定されない。その他の撮像装置としては、例えば、内蔵型または外付け型のＰＣ用カメラ（ＰＣ：Personal Computer）、あるいは、以下に説明するような、撮像機能を有する携帯端末装置とすることができる。

本発明の撮像装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機、スマートウォッチが挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図１３は第２の実施形態に係るスマートフォン１（撮像装置）の外観図である。同図の（ａ）部分は正面図、（ｂ）部分は背面図である。図１３に示すスマートフォン１は平板状の筐体２を有し、筐体２の一方の面に表示部としての表示パネル２１（表示装置）と、入力部としての操作パネル２２（操作部）とが一体となった表示入力部２０を備えている。また、筐体２は、スピーカ３１（スピーカ）と、マイクロフォン３２、操作部４０（操作部）と、カメラ部４１，４２（撮像装置）、ストロボ４３とを備えている。なお、筐体２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用してもよいし、折り畳み構造やスライド機構を有する構成を採用してもよい。

図１４は、スマートフォン１の概略構成を示す図である。図１４に示すように、スマートフォン１は、無線通信部１１と、表示入力部２０と、通話部３０と、操作部４０と、カメラ部４１，４２と、ストロボ４３と、記憶部５０と、外部入出力部６０と、ＧＰＳ受信部７０（ＧＰＳ：Global Positioning System）と、モーションセンサ部８０と、電源部９０と、を備える。また、スマートフォン１は、主制御部１０１（プロセッサ）を備える。また、スマートフォン１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１は、主制御部１０１の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行う。斯かる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０は、主制御部１０１の制御により、画像（静止画像及び／または動画像）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２１と、操作パネル２２とを備える。

表示パネル２１においては、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic Light-Emitting Diode）などが表示デバイスとして用いられる。操作パネル２２は、表示パネル２１の表示面上に表示される画像を視認可能に載置され、ユーザの指やペン等の導体によって操作される１または複数の座標を検出するデバイスである。斯かるデバイスをユーザの指やペン等の導体によって操作すると、操作パネル２２は、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル２１上の操作位置（座標）を検出する。

図１３に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１の表示パネル２１と操作パネル２２とは一体となって表示入力部２０を構成しているが、操作パネル２２が表示パネル２１を完全に覆う配置となっている。斯かる配置を採用した場合、操作パネル２２は、表示パネル２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２は、表示パネル２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

通話部３０は、スピーカ３１やマイクロフォン３２を備え、マイクロフォン３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力すること、無線通信部１１あるいは外部入出力部６０により受信された音声データを復号してスピーカ３１から出力することができる。また、図１３に示すように、例えばスピーカ３１を表示入力部２０が設けられた面と同じ面に搭載し、マイクロフォン３２を筐体２の側面に搭載することができる。

操作部４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるデバイスである。例えば図１３に示すように、操作部４０は、スマートフォン１の筐体２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５０（記録装置、メモリ）は、主制御部１０１の制御プログラム（例えば、本実施形態の撮像方法を主制御部１０１に実行させるプログラム）や制御データ（図３のフレーム判定条件３６４のような、フレームの割り当てパターンやＰフレームの連続記録数の上限等を含んでいてもよい）、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部５０は、本実施形態の撮像方法により撮像した動画像を記憶する。また、記憶部５０は、スマートフォン内蔵の内部記憶部５１と着脱自在な外部メモリスロットを有する外部記憶部５２により構成される。なお、記憶部５０を構成するそれぞれの内部記憶部５１と外部記憶部５２は、公知の格納媒体を用いて実現される。

外部入出力部６０は、スマートフォン１に連結される全ての外部機器とのインターフェースの役割を果たす。スマートフォン１は、外部入出力部６０を介して他の外部機器に通信等により直接的または間接的に接続される。通信等の手段としては、例えば、ユニバーサルシリアルバス（Universal Serial Bus）、ＩＥＥＥ１３９４、ネットワーク（例えば、有線ＬＡＮ、無線ＬＡＮ）を挙げることができる。この他、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association）（登録商標）などを通信等の手段として挙げることができる。さらに、ＵＷＢ（Ultra Wide Band）（登録商標）、ジグビー（ZigBee）（登録商標）なども通信等の手段として挙げることができる。

スマートフォン１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポートを挙げることができる。また、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カードも外部機器として挙げることができる。また、オーディオ及びビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ及びビデオ機器、無線接続される外部オーディオ及びビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるＰＤＡ、有線／無線接続されるパーソナルコンピュータ、イヤホンなどの外部機器も連結することができる。外部入出力部６０は、このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや、スマートフォン１の内部のデータを外部機器に伝送することができる。

モーションセンサ部８０は、例えば、３軸の加速度センサや傾斜センサなどを備え、主制御部１０１の指示にしたがって、スマートフォン１の物理的な動きを検出する。スマートフォン１の物理的な動きを検出することにより、スマートフォン１の動く方向や加速度、姿勢が検出される。斯かる検出結果は、主制御部１０１に出力されるものである。電源部９０は、主制御部１０１の指示にしたがって、スマートフォン１の各部に、バッテリ（不図示）に蓄えられる電力を供給する。

主制御部１０１は、マイクロプロセッサ及びＲＡＭやフラッシュメモリ等のメモリ（メモリ）を備え、記憶部５０が記憶する制御プログラムや制御データにしたがって動作し、カメラ部４１を含むスマートフォン１の各部を統括して制御する。フレームの割り当てパターンやＰフレームの繰り返し回数の上限等を主制御部１０１のメモリに記憶してもよい。また、主制御部１０１は、無線通信部１１を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて映像を表示入力部２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が画像データを復号し、斯かる復号結果に画像処理を施して画像を表示入力部２０に表示する機能のことをいう。

カメラ部４１，４２は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて電子撮像するデジタルカメラ（撮像装置）である。また、カメラ部４１，４２は、主制御部１０１の制御により、撮像によって得た画像データ（動画、静止画）を例えばＭＰＥＧやＪＰＥＧなどの圧縮した画像データに変換し、記憶部５０に記録することや、外部入出力部６０や無線通信部１１を通じて出力することができる（このような圧縮や記録の際に、本実施形態の撮像方法により、第１の実施形態と同様に第１圧縮処理及び第２圧縮処理を行うことができる）。図１３，１４に示すスマートフォン１において、カメラ部４１，４２の一方を用いて撮像することもできるし、カメラ部４１，４２を同時に使用して撮像することもできる。カメラ部４２を用いる場合は、ストロボ４３を使用することができる。

また、カメラ部４１，４２はスマートフォン１の各種機能に利用することができる。例えば、スマートフォン１は、表示パネル２１にカメラ部４１，４２で取得した画像を表示できる。また、スマートフォン１は、操作パネル２２の操作入力のひとつとして、カメラ部４１，４２の画像を利用することができる。また、スマートフォン１は、ＧＰＳ受信部７０がＧＰＳ衛星ＳＴ１，ＳＴ２，…，ＳＴｎからの測位情報に基づいて位置を検出する際に、カメラ部４１，４２からの画像を参照して位置を検出することもできる。さらには、スマートフォン１は、カメラ部４１，４２からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１のカメラ部４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、スマートフォン１は、カメラ部４１，４２からの画像をアプリケーションソフトウェア内で利用することもできる。その他、スマートフォン１は、静止画または動画の画像データにＧＰＳ受信部７０により取得した位置情報、マイクロフォン３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部８０により取得した姿勢情報等を付加して記憶部５０に記録することもできる。また、スマートフォン１は、これらの静止画または動画の画像データを外部入出力部６０や無線通信部１１を通じて出力することもできる。

上述した構成のスマートフォン１においても、第１の実施形態に係るカメラ１００と同様に、本実施形態に係る撮像方法の処理（動画像の撮像、シーンの判定、被写体及びその動きの検出、フレームの割り当て、第１圧縮処理及び第２圧縮処理等；Ｉフレーム記録ステップ及びＰＢフレーム記録ステップを含む）を実行することができる。具体的には、第１の実施形態においてＣＰＵ３３０（図２に示す各部）が実行する処理（図４，６，８のフローチャートの処理を含む）を、スマートフォン１では主としてカメラ部４１，４２及び主制御部１０１が実行できる。その他、第１の実施形態における操作部３５０、記録装置３６０、モニタ３７０、スピーカ３８０の機能は、スマートフォン１において操作部４０、記憶部５０及び操作パネル２２、表示パネル２１及び操作パネル２２、スピーカ３１によりそれぞれ実現することができる。

これにより、第２の実施形態に係るスマートフォン１においても、第１の実施形態に係るカメラ１００と同様の効果（動画像を効率的に圧縮することができる）を得ることができる。

以上で本発明の実施形態について説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１Ａ フレーム
１Ｂ フレーム
１Ｃ フレーム
１Ｄ フレーム
１Ｅ フレーム
２Ａ フレーム
３Ａ フレーム
４Ａ フレーム
６Ａ フレーム
６Ｂ フレーム
７Ａ フレーム
１ スマートフォン
２ 筐体
１１ 無線通信部
１１Ａ フレーム
２０ 表示入力部
２１ 表示パネル
２２ 操作パネル
３０ 通話部
３１ スピーカ
３２ マイクロフォン
４０ 操作部
４１ カメラ部
４２ カメラ部
４３ ストロボ
５０ 記憶部
５１ 内部記憶部
５２ 外部記憶部
６０ 外部入出力部
７０ ＧＰＳ受信部
８０ モーションセンサ部
９０ 電源部
１００ カメラ
１０１ 主制御部
２００ 交換レンズ
２１０ ズームレンズ
２２０ 絞り
２３０ フォーカスレンズ
２４０ レンズ駆動部
３００ 撮像装置本体
３１０ 撮像素子
３１２ 受光部
３１４ アナログ増幅部
３１６ Ａ／Ｄ変換器
３１８ 撮像素子駆動部
３２０ デジタル信号処理部
３３０ ＣＰＵ
３３２ 画像取得部
３３４ フレーム割当部
３３６ 圧縮記録部
３３８ 表示制御部
３４０ レンズ駆動制御部
３４４ フラッシュメモリ
３４８ ＲＡＭ
３５０ 操作部
３６０ 記録装置
３６２ 動画像
３６４ フレーム判定条件
３７０ モニタ
３８０ スピーカ
Ｌ 光軸
ＳＴ１ ＧＰＳ衛星
ＳＴ２ ＧＰＳ衛星
ΔＴ１ 期間
ΔＴ２ 期間
Ｓ１００～Ｓ３８０ 撮像方法の各ステップ

Claims (10)

1. プロセッサを備え、動画像を撮像する撮像装置であって、
   １つのＩフレームに対するＰフレームまたはＢフレームの連続記録回数が初期設定されており、
   前記プロセッサは、
   撮像する際に設定される露光時間が、記録される動画像データを構成するフレームの記録間隔より長い長時間露光モードにおいて、
   露光完了のタイミングに基づいて、露光の完了により取得された画像データに基づいて第１圧縮処理を行ってＩフレームを生成し、前記フレームとしてＩフレームを記録し、
   前記画像データに基づいて第２圧縮処理を行ってＰフレームまたはＢフレームを生成し、前記Ｉフレームが記録されるフレーム以外の前記フレームとしてＰフレームまたはＢフレームを記録し、
   前記初期設定に従った場合に前記Ｉフレームが記録されるタイミングで記録すべきフレームの画像データが、既に取得されたフレームの画像データと同一であるか否かを判定し、
   前記判定の結果に応じて前記画像データに基づいて前記第１圧縮処理または前記第２圧縮処理を行ってＩフレーム、Ｐフレーム、またはＢフレームを生成し、
   前記生成したＩフレーム、Ｐフレーム、またはＢフレームを記録する、
   撮像装置。
2. 前記プロセッサは、
   前記初期設定に従った場合に前記Ｉフレームが記録されるタイミングで記録すべきフレームの画像データが既に取得されたフレームの画像データと同一であると判定された場合、前記初期設定された前記連続記録回数を変更して、前記画像データに基づいて前記第２圧縮処理を行って前記Ｐフレームまたは前記Ｂフレームを生成して記録し、
   前記初期設定に従った場合に前記Ｉフレームが記録されるタイミングで記録すべきフレームが既に取得されたフレームと異なると判定された場合、前記画像データに前記第１圧縮処理を行って前記Ｉフレームを生成して記録する請求項１に記載の撮像装置。
3. 前記露光時間が前記記録間隔以下である短時間露光モードを有し、
   前記プロセッサは、
   前記動画像の撮像モードが前記短時間露光モードから前記長時間露光モードに切り替わったら前記判定を開始する請求項１または２に記載の撮像装置。
4. プロセッサを備え、動画像を撮像する撮像装置であって、
   前記プロセッサは、
   撮像する際に設定される露光時間が、記録される動画像データを構成するフレームの記録間隔より長い長時間露光モードにおいて、
   露光完了のタイミングに基づいて、露光の完了により取得された画像データに基づいて第１圧縮処理を行ってＩフレームを生成し、前記フレームとしてＩフレームを記録し、
   前記画像データに基づいて第２圧縮処理を行ってＰフレームまたはＢフレームを生成し、前記Ｉフレームが記録されるフレーム以外の前記フレームとしてＰフレームまたはＢフレームを記録し、
   記録対象のフレームが同一フレームの連続記録が開始するフレームであるか否か、及び
   前記連続記録により前記ＰフレームまたはＢフレームの繰り返し回数の上限を超えるか否か、
   に基づいて前記Ｉフレームの生成及び記録、もしくは前記ＰフレームまたはＢフレームの生成及び記録を行う、
   撮像装置。
5. 前記繰り返し回数の上限を示す情報が記憶されたメモリをさらに備え、
   前記プロセッサは、前記長時間露光モードにおいて、
   前記フレームの前記記録間隔と前記露光時間とに基づいて、同一のフレームが連続記録される回数を算出し、
   記録対象のフレームが既に記録されたフレームと同一であるか否かを判定し、
   記録対象のフレームが既に記録されたフレームと同一でないと判定された場合に、
   前記連続記録される回数が前記繰り返し回数の上限を超える場合は前記第１圧縮処理を行い、
   前記連続記録される回数が前記繰り返し回数の上限を超えない場合は前記第２圧縮処理を行う請求項４に記載の撮像装置。
6. プロセッサを備え、動画像を撮像する撮像装置であって、
   前記プロセッサは、
   撮像する際に設定される露光時間が、記録される動画像データを構成するフレームの記録間隔より長い長時間露光モードにおいて、
   露光完了のタイミングに基づいて、露光の完了により取得された画像データに基づいて第１圧縮処理を行ってＩフレームを生成し、前記フレームとしてＩフレームを記録し、
   前記画像データに基づいて第２圧縮処理を行ってＰフレームまたはＢフレームを生成し、前記Ｉフレームが記録されるフレーム以外の前記フレームとしてＰフレームまたはＢフレームを記録し、
   前記動画像を表示装置に表示させ、
   前記表示を行う際に、
   既に記録されたフレームと同一のフレームを記録する期間は前記表示の更新を停止し、
   既に記録されたフレームと異なるフレームの記録を開始したら前記表示の更新を行う、
   撮像装置。
7. 前記プロセッサは、
   前記画像データにおいてシーンの判別及び／または被写体の検出を行い、
   前記判別の結果及び／または前記検出の結果に応じて前記画像データに前記第１圧縮処理を行って前記Ｉフレームを生成し、
   前記生成した前記Ｉフレームを記録する請求項６に記載の撮像装置。
8. 前記プロセッサは、
   前記画像データは既に記録された画像データとシーンが異なると判断された場合、
   前記被写体が新たに検出された場合、及び
   前記被写体の動きが決められた量以上であることが検出された場合は、
   前記画像データに前記第１圧縮処理を行って前記Ｉフレームを生成し、
   前記生成したＩフレームを記録する請求項７に記載の撮像装置。
9. 前記プロセッサは、前記長時間露光モードにおいて、
   記録対象のフレームの圧縮率を、前記記録対象のフレームよりも時間的に前のフレームの圧縮率を参照せずに設定し、
   前記記録対象のフレームを、前記設定した圧縮率で圧縮して記録する請求項１から８のいずれか１項に記載の撮像装置。
10. 前記プロセッサは、前記長時間露光モードにおいて、
    前記第１圧縮処理を行う際の前記プロセッサの処理能力を、前記第２圧縮処理を行う際の前記プロセッサの処理能力よりも上げる請求項１から９のいずれか１項に記載の撮像装置。

Images