JP7447481B2 - 撮像装置、及び画像処理方法 - Google Patents

Description

本発明は、撮像装置、画像処理装置及び画像処理方法に関する。

撮像装置で撮像された画像のデータである画像データは、エンコーダにより圧縮されて保存される場合がある。特許文献１には、複数のエンコーダを備え、画像データを圧縮するエンコーダを切り替えるエンコーダ装置について記載されている。

特開２００７－１１６６０４号公報

ここで、撮像装置による撮像中に、画像データを圧縮するエンコーダを切り替えることが求められる場合がある。そのため、エンコーダを切り替える場合に、適切な画像を得ることが求められている。

本発明は、上記課題を鑑み、エンコーダを切り替える場合に、適切な画像を得ることが可能な撮像装置、画像処理装置及び画像処理方法を提供することを目的とする。

本発明の一態様にかかる撮像装置は、時系列で連続して画像を撮像する撮像部と、前記撮像部が撮像した時系列で連続する複数の画像データを保存し、前記撮像部から新たな前記画像データを取得したら、時系列において古い前記画像データを消去して新たな前記画像データを保存することで、保存する前記画像データの数を所定数に維持するフレームバッファ部と、第１エンコーダで前記画像データを圧縮させる第１エンコーダ制御部と、第２エンコーダで前記画像データを圧縮可能な状態であることを示す切替情報を取得する情報取得部と、前記切替情報が取得された場合に、前記フレームバッファ部に保存されている複数の前記画像データのうちから、前記第２エンコーダでの圧縮を開始する切替画像データを選択する選択部と、時系列において前記切替画像データ以降の前記画像データを、前記第２エンコーダで圧縮させる第２エンコーダ制御部と、を備える。

本発明の一態様にかかる画像処理装置は、時系列で連続して撮像された複数の画像データを保存し、新たな前記画像データを取得したら、時系列において古い前記画像データを消去して新たな前記画像データを保存することで、保存する前記画像データの数を所定数に維持するフレームバッファ部と、第１エンコーダで前記画像データを圧縮させる第１エンコーダ制御部と、第２エンコーダで前記画像データを圧縮可能な状態であることを示す切替情報を取得する情報取得部と、前記切替情報が取得された場合に、前記フレームバッファ部に保存されている複数の前記画像データのうちから、前記第２エンコーダでの圧縮を開始する切替画像データを選択する選択部と、時系列において前記切替画像データ以降の前記画像データを、前記第２エンコーダで圧縮させる第２エンコーダ制御部と、を備える。

本発明の一態様にかかる画像処理方法は、時系列で連続して撮像された複数の前記画像データを保存し、新たな前記画像データを取得したら、時系列において古い前記画像データを消去して新たな前記画像データを保存することで、保存する前記画像データの数を所定数に維持するフレームバッファ部を含む画像処理装置を用いて画像処理する画像処理方法であって、第１エンコーダで前記画像データを圧縮させる第１エンコーダ制御ステップと、第２エンコーダで前記画像データを圧縮可能な状態であることを示す切替情報を取得する情報取得ステップと、前記切替情報が取得された場合に、前記フレームバッファ部に保存されている複数の前記画像データのうちから、前記第２エンコーダでの圧縮を開始する切替画像データを選択する選択ステップと、時系列において前記切替画像データ以降の前記画像データを、前記第２エンコーダに圧縮させる第２エンコーダ制御ステップと、を含む。

本発明によれば、撮像中にエンコーダを切り替える場合に、適切な画像を得ることができる。

図１は、第１実施形態に係る撮像システムの模式的なブロック図である。 図２は、第１実施形態に係る制御部の模式的なブロック図である。 図３は、第１実施形態の撮像装置でのデータの流れを模式的に示す図である。 図４は、フレームバッファ部に保存される画像データを示す模式図である。 図５は、切替情報を取得した際の切替画像データの選択を説明する模式図である。 図６は、切替停止情報を取得した際の切替画像データの選択を説明する模式図である。 図７は、圧縮の切り替え方法を説明するフローチャートである。 図８は、輝度ヒストグラムの一例を示すグラフである。 図９は、切替画像データの選択方法の例を説明するフローチャートである。 図１０は、複数の圧縮画像データを含んだ圧縮画像ファイルの一例を示す模式図である。 図１１は、画像処理装置の制御部の模式的なブロック図である。 図１２は、本実施形態に係る圧縮画像データの復号処理を説明するフローチャートである。 図１３は、第２実施形態における圧縮画像ファイルの一例を示す模式図である。 図１４は、第３実施形態に係る圧縮の切り替え方法を説明するフローチャートである。 図１５は、撮像装置が第２デコーダを備えている場合の圧縮画像ファイルの一例を示す模式図である。 図１６は、撮像装置が第２デコーダを備えていない場合の圧縮画像ファイルの一例を示す模式図である。

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

（第１実施形態）
（撮像装置の構成）
図１は、第１実施形態に係る撮像システムの模式的なブロック図である。図１に示すように、第１実施形態に係る撮像システム１は、撮像装置１０と、画像処理装置１００とを含む。撮像装置１０は、画像を撮像する撮像装置である。撮像装置１０は、撮像した画像データをデコーダにより圧縮して、圧縮した圧縮画像データを生成する。画像処理装置１００は、撮像装置１０から圧縮画像データを取得して、圧縮画像データを復号可能に構成されている。なお、本実施形態では、撮像装置１０と画像処理装置１００とは、無線通信方式で圧縮画像データなどの情報の送受信を行うが、通信方式は任意であり、例えば有線通信方式で情報の送受信を行ってよい。

図１に示すように、撮像装置１０は、撮像部２０と、画像処理回路２１と、制御部２２と、通信部２４と、記憶部２６と、第１圧縮回路３０Ａと、コネクタＣとを備える。撮像部２０は、光学素子２０Ａと撮像素子２０Ｂとを含む。光学素子２０Ａは、例えばレンズなどの光学系の素子である。撮像素子２０Ｂは、光学素子２０Ａを通して入射した光を電気信号である画像信号に変換する素子である。撮像素子２０Ｂは、例えば、ＣＣＤ（Ｃｈａｒｇｅ ＣＯｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。画像処理回路２１は、撮像素子２０Ｂが生成した画像信号から、１フレーム毎の画像データを生成する。画像データは、例えば１つのフレームにおける各画素の輝度や色の情報を含むデータであり、画素毎の階調が割り当てられるデータであってもよい。

制御部２２は、撮像装置１０の各部を制御する。制御部２２は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御部２２の機能については後述する。通信部２４は、画像処理装置１００などの外部の装置と通信を行う通信モジュールであり、例えばアンテナなどである。

記憶部２６は、撮像部２０が撮像した画像データ、画像データを圧縮した圧縮画像データ、制御部２２が実行するプログラム（ソフトウェア）などを記憶するメモリである。記憶部２６は、主記憶装置と補助記憶装置とを含む。記憶部２６は、主記憶装置として、フレームバッファ部２６Ａを含む。フレームバッファ部２６Ａは、撮像部２０が撮像した画像データを一時的に記憶する。記憶部２６は、補助記憶装置として、圧縮画像データ記憶部２６Ｂを含む。圧縮画像データ記憶部２６Ｂは、圧縮画像データを記憶する。補助記憶装置（圧縮画像データ記憶部２６Ｂ）は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＤメモリカード、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）などである。

第１圧縮回路３０Ａは、画像データを圧縮する回路である。第１圧縮回路３０Ａは、第１エンコーダ３２Ａと第１デコーダ３４Ａとを備える。第１エンコーダ３２Ａは、画像データを圧縮して圧縮画像データを生成するエンコーダである。第１エンコーダ３２Ａは、第１圧縮方式で画像データを圧縮する。第１エンコーダ３２Ａの第１圧縮方式は任意の方式であってよいが、例えば、Ｈ．２６４の規格に基づく圧縮方式であってよい。第１デコーダ３４Ａは、圧縮画像データを復号するデコーダである。第１デコーダ３４Ａは、第１圧縮方式で圧縮された圧縮画像データを復号して、画像データを生成する。なお、本実施形態では、第１エンコーダ３２Ａと第１デコーダ３４Ａとが組み込まれた第１圧縮回路３０Ａが１つのハードウェアを構成しているが、第１エンコーダ３２Ａと第１デコーダ３４Ａとがそれぞれ別体のハードウェアであってもよい。

コネクタＣは、外部の装置を撮像装置１０に接続するための接続部（端子）である。コネクタＣは、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）接続端子などであってよいし、さらに大きな伝送速度が必要な場合はそれに応じたコネクタを選択すればよい。撮像装置１０は、コネクタＣを介して、第２圧縮回路３０Ｂの接続が可能となっている。すなわち、撮像装置１０は、第２圧縮回路３０Ｂの接続と非接続とを切り替え可能となっている。

第２圧縮回路３０Ｂは、画像データを圧縮する回路である。第２圧縮回路３０Ｂは、第２エンコーダ３２Ｂと、第２デコーダ３４Ｂとを備える。第２エンコーダ３２Ｂは、画像データを圧縮して圧縮画像データを生成するエンコーダである。第２エンコーダ３２Ｂは、第１圧縮方式とは異なる第２圧縮方式で画像データを圧縮する。第２エンコーダ３２Ｂの第２圧縮方式は任意の方式であってよいが、例えば、Ｈ．２６５の規格に基づく圧縮方式であってよい。第２デコーダ３４Ｂは、圧縮画像データを復号するデコーダである。第２デコーダ３４Ｂは、第２圧縮方式で圧縮された圧縮画像データを復号して、画像データを生成する。なお、本実施形態では、第２エンコーダ３２Ｂと第２デコーダ３４Ｂとが組み込まれた第２圧縮回路３０Ｂが１つのハードウェアを構成しているが、第２エンコーダ３２Ｂと第２デコーダ３４Ｂとがそれぞれ別体のハードウェアであってもよい。

また、本実施形態では、第１エンコーダ３２Ａ、第２エンコーダ３２Ｂ、第１デコーダ３４Ａ、及び第２デコーダ３４Ｂがハードウェア（回路）であったが、それに限られず、第１エンコーダ３２Ａ、第２エンコーダ３２Ｂ、第１デコーダ３４Ａ、及び第２デコーダ３４Ｂの少なくとも一部が、ソフトウェアであってもよい。

次に、制御部２２の処理内容について説明する。図２は、第１実施形態に係る制御部の模式的なブロック図である。図３は、第１実施形態の撮像装置でのデータの流れを模式的に示す図である。図３は、バスラインＢＬに沿ったデータの流れを模式的に示している。制御部２２は、撮像部２０による撮像中に、エンコーダに画像データを圧縮させる。さらにいえば、制御部２２は、撮像部２０による撮像中に、画像データを圧縮させるエンコーダを、第１エンコーダ３２Ａから第２エンコーダ３２Ｂに切り替えさせる。具体的には、図２に示すように、制御部２２は、画像データ取得部４２と、評価部４４と、エンコーダ制御部４６と、情報取得部４８と、選択部５０と、データ出力部５２と、圧縮画像データ取得部５３と、検出部５４と、デコーダ制御部５６とを含む。制御部２２は、記憶部２６からプログラム（ソフトウェア）を読み出して実行することで、画像データ取得部４２と、評価部４４と、エンコーダ制御部４６と、情報取得部４８と、選択部５０と、データ出力部５２と、圧縮画像データ取得部５３と、検出部５４と、デコーダ制御部５６とを実現して、それらによる処理を実行する。なお、制御部２２は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、これらの処理を実行してもよい。また、画像データ取得部４２と、評価部４４と、エンコーダ制御部４６と、情報取得部４８と、選択部５０と、データ出力部５２と、圧縮画像データ取得部５３と、検出部５４と、デコーダ制御部５６との少なくとも一部を、ハードウェア回路で実現してもよい。例えば、評価部４４を、ハードウェア回路としてもよい。

（エンコーダの切り替え処理）
以下、制御部２２の各部の処理について説明すると共に、エンコーダの切り替え処理について説明する。画像データ取得部４２は、撮像部２０に撮像を行わせて、画像処理回路２１に画像データＰを生成させることで、画像データＰを取得する。画像データ取得部４２は、所定の期間（フレームレート）毎に画像データＰが生成されるように、撮像部２０に撮像させて、画像処理回路２１に画像データＰを生成させる。すなわち、画像データ取得部４２は、撮像部２０に、時系列で連続して画像を撮像させて、画像処理回路２１に、撮像時刻が時系列で連続した複数の画像データＰを生成させる。ここでのフレームレートは任意に設定してよい。なお、以降において、撮像部２０による撮像中における処理について言及するが、撮像部２０による撮像中とは、撮像部２０に時系列で連続して画像を撮像させている最中を指し、例えば、撮像部２０による撮像を一時停止している状態を含んでもよい。また、撮像部２０による撮像中とは、１つの共通する画像ファイルに含まれる画像データＰを生成している最中と言い換えることもできる。

図４は、フレームバッファ部に保存される画像データを示す模式図である。画像データ取得部４２は、画像処理回路２１が生成した画像データＰを、フレームバッファ部２６Ａに一次的に保存させる。図４に示すように、画像データ取得部４２は、フレームバッファ部２６Ａに、時系列で連続した複数の画像データＰを保存させる。さらに言えば、画像データ取得部４２は、撮像部２０に撮像させながら、フレームバッファ部２６Ａに画像データＰを順次保存させる。画像データ取得部４２は、画像処理回路２１から時系列において新しい画像データＰを取得したら、フレームバッファ部２６Ａに保存されている時系列において最も古い画像データを、フレームバッファ部２６Ａから消去させて、取得した時系列において新しい画像データＰを、フレームバッファ部２６Ａに新たな保存させる。図４では、時系列において新しい画像データＰ２を取得したら、フレームバッファ部２６Ａにおいて現在記憶されている最も古い画像データＰ１を消去して、代わりに画像データＰ２を保存している例を示している。

画像データ取得部４２は、このようにフレームバッファ部２６Ａに画像データＰを一次保存させることで、フレームバッファ部２６Ａに保存する画像データＰの数を、所定数に維持させる。すなわち、フレームバッファ部２６Ａでは、新たな画像データＰを保存する際には、時系列において最も古い画像データＰを消去することで、同時に保存する画像データＰの数が所定数に維持されている。フレームバッファ部２６Ａに保存する画像データＰの数（所定数）は、複数であれば任意であってよいが、例えば３０個以上９０００個以下であってよい。

図２に示す評価部４４は、画像データ取得部４２が取得した画像データＰを評価する。画像データ取得部４２が取得した画像データＰは、フレームバッファ部２６Ａに保存されるので、評価部４４は、フレームバッファ部２６Ａに保存される画像データＰを評価するともいえる。なお、評価部４４は、フレームバッファ部２６Ａから画像データＰを読み出して評価してもよいし、画像処理回路２１から、フレームバッファ部２６Ａを経ずに画像データＰを取得して、評価してもよい。

本実施形態では、評価部４４は、画像データＰの輝度を評価する。言い換えれば、評価部４４は、画像データＰの輝度を算出する。評価部４４は、１つの画像データＰの画素毎の輝度を算出する。評価部４４は、画像データＰ毎に、画素毎の輝度を算出する。

エンコーダ制御部４６は、撮像装置１０のエンコーダを制御して、エンコーダに画像データＰを圧縮させる。エンコーダ制御部４６は、撮像部２０による撮像中に、エンコーダに画像データＰを圧縮させる。エンコーダ制御部４６は、第１エンコーダ制御部として、第１エンコーダ３２Ａを制御して、第１エンコーダ３２Ａに画像データＰを圧縮させる。また、エンコーダ制御部４６は、第２エンコーダ制御部として、第２エンコーダ３２Ｂを制御して、第２エンコーダ３２Ｂに画像データＰを圧縮させる。エンコーダ制御部４６による画像データＰの圧縮方法については、後述する。なお例えば、第１エンコーダ３２Ａや第２エンコーダ３２Ｂに、画像データＰを圧縮させるためのＣＰＵが組み込まれていてもよい。

情報取得部４８は、切替情報を取得する。切替情報とは、第２エンコーダ３２Ｂで画像データＰを圧縮可能な状態であることを示す情報である。情報取得部４８は、撮像部２０による撮像中であって第１エンコーダ３２Ａに画像データＰを圧縮させている状態において、切替情報を取得する。言い換えれば、情報取得部４８は、撮像部２０による撮像中であって、エンコーダ制御部４６が第１エンコーダ３２Ａで画像データＰを圧縮させているモードに設定されている際に、切替情報を取得する。本実施形態では、情報取得部４８は、第２エンコーダ３２Ｂ（ここでは第２圧縮回路３０Ｂ）が撮像装置１０に接続されたことを検知し、第２エンコーダ３２Ｂが撮像装置１０に接続された旨の情報を、切替情報として取得する。すなわち、第１エンコーダ３２Ａで画像データＰを圧縮させているモードにおいて第２エンコーダ３２Ｂが接続されたら、情報取得部４８は、切替情報を取得する。ただし、情報取得部４８は、第２エンコーダ３２Ｂが接続されたことを、切替情報として取得することに限られない。例えば、情報取得部４８は、第２エンコーダ３２Ｂの電源がオンとなって第２エンコーダ３２Ｂが使用可能な状態になったことを、切替情報として取得してもよい。この場合、第２エンコーダ３２Ｂは、撮像装置１０から取り外し可能になっておらず、撮像装置１０に常に取付けられた状態になっていてもよい。また例えば、第２エンコーダ３２Ｂがソフトウェアである場合、情報取得部４８は、第２エンコーダ３２Ｂを用いる旨の指令があった場合に、第２エンコーダ３２Ｂによる圧縮が可能になっているとして、切替情報を取得してよい。

図５は、切替情報を取得した際の切替画像データの選択を説明する模式図である。選択部５０は、情報取得部４８が切替情報を取得した場合に、フレームバッファ部２６Ａに保存されている複数の画像データＰのうちから、切替画像データを選択する。切替画像データとは、第２エンコーダ３２Ｂでの圧縮を開始する画像データＰを指す。エンコーダ制御部４６は、時系列において切替画像データよりも前の画像データＰについては、第１エンコーダ３２Ａで圧縮させる。そして、エンコーダ制御部４６は、時系列において切替画像データ以降の画像データＰについては、第２エンコーダ３２Ｂで圧縮させる。ここでの切替画像データ以降の画像データＰとは、切替画像データと、時系列において切替画像データより後の画像データＰとを含む。以下、具体的に説明する。

エンコーダ制御部４６は、撮像部２０による撮像中に、逐次、フレームバッファ部２６Ａに保存された画像データＰを読み出して、読み出した画像データＰを第１エンコーダ３２Ａ又は第２エンコーダ３２Ｂに入力して、第１エンコーダ３２Ａ又は第２エンコーダ３２Ｂに画像データＰを圧縮させる。そのため、図５に示すように、フレームバッファ部２６Ａには、第１エンコーダ３２Ａ又は第２エンコーダ３２Ｂで圧縮済みの画像データＰＥと、第１エンコーダ３２Ａ又は第２エンコーダ３２Ｂによって圧縮されていない（これから圧縮される）画像データＰＮとが含まれる。なお、圧縮済みの画像データＰＥは、第１エンコーダ３２Ａ又は第２エンコーダ３２Ｂで圧縮された後の圧縮画像データを指すものではなく、第１エンコーダ３２Ａ又は第２エンコーダ３２Ｂで圧縮するために読み出された画像データＰを指している。

エンコーダ制御部４６は、第１エンコーダ３２Ａで画像データＰを圧縮させているモードにおいて、情報取得部４８が切替情報を取得するまでは、第１エンコーダ３２Ａに画像データＰを圧縮させる。図５は、情報取得部４８が切替情報を取得したタイミングにおける、フレームバッファ部２６Ａに保存されている画像データＰの例を示している。図５の例では、情報取得部４８が切替情報を取得したタイミングにおいては、フレームバッファ部２６Ａには、第１エンコーダ３２Ａで圧縮するために読み出された画像データＰＥと、圧縮するための読出しが行われていない画像データＰＮとが含まれている。

選択部５０は、情報取得部４８が切替情報を取得したら、フレームバッファ部２６Ａ内の第１領域ＡＲ１に含まれる画像データＰから、切替画像データを選択する。第１領域ＡＲ１は、フレームバッファ部２６Ａが現在保存している全ての画像データＰを指す。すなわち、選択部５０は、情報取得部４８が切替情報を取得したら、フレームバッファ部２６Ａに記憶されている全ての画像データＰＥ及び画像データＰＮのうちから、１つの切替画像データを選択する。第１領域ＡＲ１に含まれる画像データＰからからの切替画像データの選択方法の詳細については、後述する。

エンコーダ制御部４６は、時系列において切替画像データよりも前の画像データＰについては、第１エンコーダ３２Ａで圧縮させる。そして、エンコーダ制御部４６は、時系列において切替画像データ以降の画像データＰについては、第１エンコーダ３２Ａでの圧縮を停止して、第２エンコーダ３２Ｂで圧縮させる。例えば、未圧縮の画像データＰＮから切替画像データが選択された場合、エンコーダ制御部４６は、切替画像データの直前の画像データＰＮまでは、第２エンコーダ３２Ｂで圧縮させず、第１エンコーダ３２Ａでの圧縮を継続する。そして、エンコーダ制御部４６は、切替画像データ以降の画像データＰＮについては、第１エンコーダ３２Ａでの圧縮を停止して、第２エンコーダ３２Ｂで圧縮させる。一方、圧縮済みの画像データＰＥから切替画像データが選択された場合、エンコーダ制御部４６は、切替画像データ以降の画像データＰＥと、未圧縮の画像データＰＮとを、第２エンコーダ３２Ｂで圧縮させる。すなわちこの場合、切替画像データ以降の画像データＰＥは、第１エンコーダ３２Ａ及び第２エンコーダ３２Ｂの両方に圧縮され、切替画像データ以降の画像データＰＮは、第１エンコーダ３２Ａで圧縮されず第２エンコーダ３２Ｂで圧縮される。

なお、以上の説明では、選択部５０は、情報取得部４８が切替情報を取得したことをトリガとして、切替画像データを選択してエンコーダ制御部４６によって第２エンコーダ３２Ｂに切り替えさせていた。ただし、切替画像データを選択するためのトリガはそれに限られない。具体的には、選択部５０は、情報取得部４８が切替情報を取得したら、第２エンコーダ３２Ｂに切り替えるかを判断してよい。例えば、選択部５０は、現在圧縮中の第１エンコーダ３２Ａによる第１圧縮方式と、切り替えようとする第２エンコーダ３２Ｂによる第２圧縮方式とを比較して、その比較結果から、第２エンコーダ３２Ｂに切り替えるかを判断してよい。例えば、選択部５０は、同じ画像データを第１圧縮方式と第２圧縮方式で圧縮した際に、生成された圧縮画像データの容量（データ量）が小さい方の圧縮方式のエンコーダを選択する。すなわち、第２圧縮方式で圧縮した際の圧縮画像データの容量が、第１圧縮方式で圧縮した際の圧縮画像データの容量より小さい場合は、第２エンコーダ３２Ｂに切り替えると判断する。一方、第２圧縮方式で圧縮した際の圧縮画像データの容量が、第１圧縮方式で圧縮した際の圧縮画像データの容量より大きい場合は、第２エンコーダ３２Ｂに切り替えず、第１エンコーダ３２Ａの圧縮を継続すると判断する。

また、情報取得部４８は、切替停止情報を取得する。切替情報とは、第２エンコーダ３２Ｂで画像データＰを圧縮不可能な状態であることを示す情報である。情報取得部４８は、撮像部２０による撮像中であって第２エンコーダ３２Ｂに画像データＰを圧縮させている状態において、切替情報を取得する。言い換えれば、情報取得部４８は、撮像部２０による撮像中であって、エンコーダ制御部４６が第２エンコーダ３２Ｂで画像データＰを圧縮させているモードに設定されている際に、切替停止情報を取得する。本実施形態では、情報取得部４８は、第２エンコーダ３２Ｂ（ここでは第２圧縮回路３０Ｂ）が撮像装置１０と非接続になったことを検知し、第２エンコーダ３２Ｂが撮像装置１０と非接続になった旨の情報を、切替停止情報として取得する。すなわち、第２エンコーダ３２Ｂで画像データＰを圧縮させているモードにおいて第２エンコーダ３２Ｂが非接続とされたら、情報取得部４８は、切替停止情報を取得する。ただし、情報取得部４８は、第２エンコーダ３２Ｂが非接続にされたことを、切替停止情報として取得することに限られない。例えば、情報取得部４８は、第２エンコーダ３２Ｂの電源がオフとなって第２エンコーダ３２Ｂが使用不可能な状態になったことを、切替停止情報として取得してもよい。この場合、第２エンコーダ３２Ｂは、撮像装置１０から取り外されず、撮像装置１０に取付けられた状態になっていてもよい。また例えば、第２エンコーダ３２Ｂがソフトウェアである場合、情報取得部４８は、第２エンコーダ３２Ｂの使用を停止する旨の指令があった場合に、第２エンコーダ３２Ｂによる圧縮が不可能になっているとして、切替停止情報を取得してよい。

図６は、切替停止情報を取得した際の切替画像データの選択を説明する模式図である。選択部５０は、情報取得部４８が切替停止情報を取得した場合に、フレームバッファ部２６Ａに保存されている複数の画像データＰのうちから、復帰画像データを選択する。復帰画像データとは、第１エンコーダ３２Ａでの圧縮を再開する画像データＰを指す。エンコーダ制御部４６は、時系列において復帰画像データよりも前の画像データＰについては、第２エンコーダ３２Ｂで圧縮させる。さらにいえば、エンコーダ制御部４６は、時系列において切り替え画像データ以降のデータであって復帰画像データよりも前の画像データＰについては、第２エンコーダ３２Ｂで圧縮させる。そして、エンコーダ制御部４６は、時系列において復帰画像データ以降の画像データＰについては、第１エンコーダ３２Ａで圧縮させる。以下、より具体的に説明する。

エンコーダ制御部４６は、第２エンコーダ３２Ｂで画像データＰを圧縮させているモードにおいて、情報取得部４８が切替停止情報を取得するまでは、第２エンコーダ３２Ｂに画像データＰを圧縮させている。図６は、情報取得部４８が切替停止情報を取得したタイミングにおける、フレームバッファ部２６Ａに保存されている画像データＰの例を示している。図６の例では、情報取得部４８が切替停止情報を取得したタイミングにおいては、フレームバッファ部２６Ａには、第２エンコーダ３２Ｂで圧縮するために読み出された画像データＰＥと、圧縮するための読出しが行われていない画像データＰＮとが含まれている。

選択部５０は、情報取得部４８が切替停止情報を取得したら、フレームバッファ部２６Ａ内の第２領域ＡＲ２に含まれる画像データＰから、復帰画像データを選択する。第２領域ＡＲ２は、フレームバッファ部２６Ａが現在保存している画像データＰのうち、第２エンコーダ３２Ｂで圧縮するために読出し済みの全ての画像データＰＥと、圧縮するための読出しが行われていない画像データＰＮのうちの時系列において最も古い１つの画像データＰＮと、を含む。すなわち、選択部５０は、情報取得部４８が切替停止情報を取得したら、フレームバッファ部２６Ａに記憶されている全ての画像データＰＥと、フレームバッファ部２６Ａに記憶されている時系列において最も古い１つの画像データＰＮとのうちから、１つの復帰画像データを選択する。

エンコーダ制御部４６は、時系列において復帰画像データよりも前の画像データＰについては、第２エンコーダ３２Ｂで圧縮させる。そして、エンコーダ制御部４６は、時系列において復帰画像データ以降の画像データＰについては、第２エンコーダ３２Ｂでの圧縮を停止して、第１エンコーダ３２Ａで圧縮させる。例えば、時系列において最も古い未圧縮の画像データＰＮが切替画像データとして選択された場合、エンコーダ制御部４６は、フレームバッファ部２６Ａ内における未圧縮の画像データＰＮの全てを、第１エンコーダ３２Ａで圧縮させる。一方、圧縮済みの画像データＰＥから復帰画像データが選択された場合、エンコーダ制御部４６は、復帰画像データ以降の画像データＰＥと、画像データＰＮとを、第１エンコーダ３２Ａで圧縮させる。すなわちこの場合、復帰画像データ以降の画像データＰＥは、第１エンコーダ３２Ａ及び第２エンコーダ３２Ｂの両方に圧縮される。このように、圧縮済みの画像データＰＥと最も古い未圧縮の画像データＰＮとから復帰画像データを選択することで、第１エンコーダ３２Ａ及び第２エンコーダ３２Ｂのいずれにも圧縮されない画像データＰが出てくることを抑制できる。

なお、切替停止情報を取得した後に、再度切替情報を取得した場合、選択部５０は、切替画像データを再度選択する。この場合、復帰画像データ以降のデータであって次の切替画像データよりも前の画像データについては、第１エンコーダ３２Ａで圧縮し、その切替画像データ以降の画像データについては、第２エンコーダ３２Ｂで圧縮させる。

制御部２２は、以上のようにして、切替情報及び切替停止情報をトリガとして、第１エンコーダ３２Ａでの圧縮と第２エンコーダ３２Ｂでの圧縮とを切り替える。この切り替え方法のフローを、フローチャートで説明する。図７は、圧縮の切り替え方法を説明するフローチャートである。図７に示すように、制御部２２は、情報取得部４８によって切替情報を取得したかを判断し（ステップＳ１０）、切替情報を取得した場合（ステップＳ１０；Ｙｅｓ）、選択部５０によって、第１エンコーダ３２Ａから第２エンコーダ３２Ｂに切り替えるかを判断する（ステップＳ１２）。例えば、選択部５０は、第２エンコーダ３２Ｂで圧縮した際の圧縮画像データの容量が第１エンコーダ３２Ａで圧縮した際の圧縮画像データの容量よりも小さくなる場合に、第２エンコーダ３２Ｂに切り替えると判断し、第２エンコーダ３２Ｂで圧縮した際の圧縮画像データの容量が第１エンコーダ３２Ａで圧縮した際の圧縮画像データの容量よりも大きくなる場合に、第２エンコーダ３２Ｂに切り替えないと判断する。第２エンコーダ３２Ｂに切り替える場合（ステップＳ１２；Ｙｅｓ）、制御部２２は、選択部５０によって、フレームバッファ部２６Ａの第１領域ＡＲ１内から、切替画像データを選択する（ステップＳ１４）。すなわち、選択部５０は、フレームバッファ部２６Ａが現在保存している全ての画像データＰから、切替画像データを選択する。そして、制御部２２は、エンコーダ制御部４６により、第１エンコーダ３２Ａでの圧縮から第２エンコーダ３２Ｂでの圧縮に切り替えて、時系列において切替画像データ以降の画像データＰを、第２エンコーダ３２Ｂで圧縮させる（ステップＳ１６）。その後、処理を終了する場合（ステップＳ１８；Ｙｅｓ）、本処理を終了し、処理を終了しない場合（ステップＳ１８；Ｎｏ）、ステップＳ１０に戻る。なお、第２エンコーダ３２Ｂに切り替えない場合（ステップＳ１２；Ｎｏ）、制御部２２は、第２エンコーダ３２Ｂに切り替えずに第１エンコーダ３２Ａでの圧縮を続けて、ステップＳ１８に移動する。

一方、切替情報を取得しない場合（ステップＳ１０；Ｎｏ）、制御部２２は、情報取得部４８によって切替停止情報を取得したかを判断する（ステップＳ２０）。切替停止情報を取得した場合（ステップＳ２０；Ｙｅｓ）、制御部２２は、選択部５０によって、フレームバッファ部２６Ａの第２領域ＡＲ２内から、復帰画像データを選択する（ステップＳ２２）。すなわち、選択部５０は、フレームバッファ部２６Ａに記憶されている全ての圧縮済みの画像データＰＥと、フレームバッファ部２６Ａに記憶されている最も古い未圧縮の画像データＰＮとのうちから、復帰画像データを選択する。そして、制御部２２は、エンコーダ制御部４６により、第２エンコーダ３２Ｂでの圧縮から第１エンコーダ３２Ａでの圧縮に切り替えて、時系列において復帰画像データ以降の画像データＰを、第１エンコーダ３２Ａで圧縮させる（ステップＳ２４）。そして、処理を終了する場合（ステップＳ１８；Ｙｅｓ）、本処理を終了し、処理を終了しない場合（ステップＳ１８；Ｎｏ）、ステップＳ１０に戻る。また、切替情報も切替停止情報も取得していない場合には（ステップＳ２０；Ｎｏ）、圧縮するエンコーダを切り替えず、ステップＳ１８に移動する。

（切替画像データの選択処理）
次に、選択部５０による、フレームバッファ部２６Ａの第１領域ＡＲ１内からの切替画像データの選択方法について説明する。選択部５０は、切替情報が取得されて第２エンコーダ３２Ｂに切り替えると判断したら、評価部４４による画像データＰの評価結果に基づき、すなわち評価部４４による画像データＰの輝度値の算出結果に基づき、第１領域ＡＲ１内から切替画像データを選択する。

図８は、輝度ヒストグラムの一例を示すグラフである。本実施形態では、選択部５０は、画像データＰの画素毎の輝度値から、輝度ヒストグラムを生成する。選択部５０は、輝度ヒストグラムに基づき、場面が切り替わった画像データＰを検出する。場面が切り替わった画像データＰとは、その画像データＰの直前の画像から、場面（シーン）が切り替わった画像データを意味する。場面が切り替わった画像データＰを切替画像データとしてエンコーダの切り替えを行った場合、エンコーダが切り替わったことが視認され難くなり、好適である。輝度ヒストグラムとは、例えば図８に示すように、画像データＰにおける、輝度値毎の画素の数を示すデータである。選択部５０は、フレームバッファ部２６Ａの第１領域ＡＲ１内の画像データＰのそれぞれについて、輝度ヒストグラムを算出する。そして、選択部５０は、場面が切り替わった画像データＰを検出する対象となる画像データＰの輝度ヒストグラムと、その画像データＰの時系列における前の画像データＰ（ここでは直前の画像データＰ）の輝度ヒストグラムとを比較して、その比較結果から、場面が切り替わった画像データＰであるかを判断する。例えば、選択部５０は、対象となる画像データＰと比較する画像データＰとの画素数の差分を、輝度値毎に、算出する。そして、選択部５０は、輝度値毎の画素数の差分の合計値を算出して、その合計値が所定の閾値以上である場合には、対象となる画像データＰが、場面が切り替わった画像データＰであると判断する。一方、選択部５０は、合計値が閾値未満である場合には、対象となる画像データＰが、場面が切り替わった画像データＰでないと判断する。ただし、場面が切り替わった画像データＰであるかの判断は、これに限られない。例えば、選択部５０は、画像データＰ内の画素の輝度値の平均値を算出して、対象となる画像データＰと比較する画像データＰとの、平均値の差分を算出してよい。そして、この差分が所定の閾値以上である場合には、対象となる画像データＰが、場面が切り替わった画像データＰであると判断してよい。

本実施形態では、選択部５０は、第１領域ＡＲ１内の全ての画像データＰを対象となる画像データＰとして、第１領域ＡＲ１内の全ての画像データＰについて、場面が切り替わった画像データＰであるかを判断する。選択部５０は、場面が切り替わった画像データＰであるかの判断結果から、切替画像データを選択する。例えば、選択部５０は、第１領域ＡＲ１内の画像データＰのうち、場面が切り替わった画像データＰが１つである場合、その１つの画像データＰを、切替画像データとして選択してよい。また、選択部５０は、第１領域ＡＲ１内の画像データＰのうち、場面が切り替わった画像データＰが複数である場合、例えば、輝度値毎の画素数の差分の合計値や平均値の差分などが最大となる画像データＰを、切替画像データとして選択してよい。

また、選択部５０が切替画像データを選択する方法は、場面が切り替わった画像データＰの検出に限られない。例えば、選択部５０は、画像データＰの画素のうちから注目領域を抽出して注目領域の動きベクトルを算出し、動きベクトルに基づき、切替画像データを選択してもよい。具体的には、選択部５０は、画像データＰの画素毎の輝度値に基づき、注目領域を抽出する。例えば、選択部５０は、動きベクトルの算出の対象となる画像データＰと、その画像データＰの前の画像データＰ（ここでは直前の画像データＰ）との輝度値から、それらの画像データＰ同士で、輝度値の分布が類似する一群の画素（隣接する複数の画素）を、注目領域として抽出する。輝度値の分布の類似の判断方法は任意であるが、例えば画素毎の輝度値の差分が所定値以内である場合に、類似すると判断してよい。そして、選択部５０は、対象となる画像データＰの注目領域と、その画像データＰの前の画像データＰの注目領域との、位置の変化量を、動きベクトルとして算出する。すなわち、動きベクトルは、対象となる画像データＰと、前の画像データＰとの、注目領域の座標の変位量を示す値であり、被写体の動きの大きさを示す値であるともいえる。選択部５０は、第１領域ＡＲ１内の全ての画像データＰについて、動きベクトルを算出する。選択部５０は、例えば、動きベクトルが最大となる画像データＰを、切替画像データとして選択する。すなわち、選択部５０は、被写体の動きが大きい画像データＰを抽出し、被写体の動きが大きい画像データＰに基づき、切替画像データを選択しているといえる。なお、選択部５０は、注目領域を複数抽出し、注目領域毎の動きベクトルを算出してよい。この場合、選択部５０は、注目領域毎の動きベクトルの合計値を画像データＰ毎に算出し、動きベクトルの合計値が最大となる画像データＰを、切替画像データとして選択してよい。

また例えば、選択部５０は、画像データＰの輝度バラつきを算出し、輝度バラつきに基づき、切替画像データを選択してもよい。輝度バラつきとは、画像データＰから生成される画像の位置毎の輝度値のバラつきを指す。例えば、選択部５０は、輝度バラつきの算出対象となる画像データＰについて、１つの画素と、その画素の周囲にある画素との、輝度値の差分を算出する。そして、選択部５０は、その輝度値の差分を、画素毎に算出して、画素毎の輝度値の差分の合計値を、輝度バラつきとして算出する。選択部５０は、第１領域ＡＲ１内の全ての画像データＰについて、輝度バラつきを算出する。選択部５０は、例えば、輝度バラつきが最大となる画像データＰを、切替画像データとして選択する。すなわち、選択部５０は、位置毎の輝度バラつきが大きい画像データＰを抽出し、輝度バラつきが大きい画像データＰに基づき、切替画像データを選択しているといえる。

さらにいえば、選択部５０は、場面が切り替わった画像データＰの検出結果と、動きベクトルの算出結果と、輝度バラつきの算出結果とに基づいて、切替画像データを選択してもよい。以下、この場合の切替画像データの選択方法を、フローチャートで説明する。図９は、切替画像データの選択方法の例を説明するフローチャートである。図９に示すように、選択部５０は、フレームバッファ部２６Ａの第１領域ＡＲ１内の画像データＰから対象となる画像データＰを抽出して、対象となる画像データＰの輝度ヒストグラムを生成して（ステップＳ３０）、輝度ヒストグラムに基づき、シーンチェンジした画像データＰであるかを、すなわち場面が切り替わった画像データＰであるかを判断する（ステップＳ３２）。例えば、選択部５０は、対象となる画像データＰと、その直前の画像データＰとで、輝度値毎に画素数の差分を算出し、その差分を輝度値毎に合計する。そして、選択部５０は、その合計値が所定の閾値以上である場合に、対象となる画像データＰが、場面が切り替わった画像データＰであると判断する。選択部５０は、場面が切り替わった画像データＰであると判断した場合には（ステップＳ３２；Ｙｅｓ）、その画像データＰに対してシーンチェンジフラグを立て（ステップＳ３４）、場面が切り替わった画像データＰでないと判断した場合には（ステップＳ３２；Ｎｏ）、その画像データＰに対してシーンチェンジフラグを立てない（ステップＳ３６）。シーンチェンジフラグとは、画像データＰに割り当てられる情報であり、シーンチェンジフラグが立てられた画像データＰが、場面が切り替わった画像データＰであることを示す情報である。

次に、選択部５０は、対象となる画像データＰの動きベクトルを算出する（ステップＳ３８）。選択部５０は、対象となる画像データＰと直前の画像データＰとの、注目領域の位置の変化量を、動きベクトルとして算出する。そして、選択部５０は、対象となる画像データＰの輝度バラつきを算出する（ステップＳ４０）。選択部５０は、１つの画素と、その画素の周囲にある画素との、輝度値の差分を算出し、画素毎の輝度値の差分の合計値を、輝度バラつきとして算出する。

次に、選択部５０は、算出が終了したかを判断し（ステップＳ４２）、算出が終了しない場合（ステップＳ４２；Ｎｏ）、すなわちフレームバッファ部２６Ａの第１領域ＡＲ１内に、対象となる画像データＰが他に存在する場合、ステップＳ３０に戻り、他の対象となる画像データＰを抽出して、同様の処理を行う。一方、算出が終了した場合（ステップＳ４２；Ｙｅｓ）、すなわちフレームバッファ部２６Ａの第１領域ＡＲ１内の全ての対象となる画像データＰの算出が終了した場合には、選択部５０は、その算出結果に基づき、切替画像データを選択する（ステップＳ４４）。すなわち、選択部５０は、シーンチェンジフラグの有無、動きベクトルの値、及び輝度バラつきの値に基づき、切替画像データを選択する。

具体的には、選択部５０は、シーンチェンジフラグの有無、動きベクトルの値、及び輝度バラつきの値を、第１領域ＡＲ１内の画像データＰ毎に比較して、その比較結果から、切替画像データを選択する。例えば、選択部５０は、シーンチェンジフラグがあることを、すなわち場面が切り替わった画像データＰであることを、動きベクトルの値、及び輝度バラつきの値よりも、切替画像データの選択の際に優先させることが好ましい。また、選択部５０は、動きベクトルの値、及び輝度バラつきの値のうち、動きベクトルの値を、切替画像データの選択の際に優先させることが好ましい。例えば、選択部５０は、第１領域ＡＲ１内の画像データＰから、シーンチェンジフラグがある画像データＰを抽出する。シーンチェンジフラグがある画像データＰが１つである場合、選択部５０は、シーンチェンジフラグがある画像データＰを、切替画像データとして選択する。また、シーンチェンジフラグがある画像データＰが２つ以上ある場合、選択部５０は、抽出した画像データＰの、動きベクトルの値、及び輝度バラつきの値を比較する。選択部５０は、抽出した画像データＰのうちで、動きベクトルの値が最大の画像データＰを、切替画像データとして選択する。また、動きベクトルの値が同じであって最大となる画像データＰが２つ以上ある場合、選択部５０は、それらの画像データＰの輝度バラつきの値を比較して、輝度バラつきが最大となる画像データＰを、切替画像データとして選択する。シーンチェンジフラグがある画像データＰがない場合は、動きベクトルの値、輝度バラつきの値の値のみを使って切替画像データを選択する。

なお、制御部２２は、切替画像データの選択の際に、画像データＰに含まれる全ての画素について輝度値を算出し、全ての画素の輝度値に基づき、輝度ヒストグラムや動きベクトルや輝度バラつきを算出してもよいが、それに限られない。制御部２２は、画像データＰに含まれる画素から一部の画素を抽出して、抽出した画素について、輝度値を算出し、輝度ヒストグラムや動きベクトルや輝度バラつきを算出してもよい。例えば、制御部２２は、画像データＰに含まれる全ての画素のうちから、所定数に画素を抽出したり、中央付近の画素を抽出したりしてよい。

選択部５０は、以上のようにして、切替画像データを選択するが、フレームバッファ部２６Ａ内の画像データＰからの切替画像データの選択方法は、以上の説明に限られず、任意であってよい。

なお、選択部５０による、第２領域ＡＲ２からの復帰画像データの選択方法は、以上説明した第１領域ＡＲ１からの切替画像データの選択方法と同様であるため、説明を省略する。すなわち、復帰画像データの選択方法は、選択する対象となる画像データＰが、第２領域ＡＲ２内の画像データＰとなる以外は、切替画像データの選択方法と同様である。

（圧縮画像データの生成処理）
次に、エンコーダ制御部４６が画像データＰを圧縮させて生成する圧縮画像データＱについて説明する。エンコーダ制御部４６は、以上説明したように、第１エンコーダ３２Ａと第２エンコーダ３２Ｂとを切り替えて、第１エンコーダ３２Ａと第２エンコーダ３２Ｂとのいずれかで、画像データＰを圧縮させて、圧縮画像データＱを生成する。以下、第１エンコーダ３２Ａに圧縮された圧縮画像データＱを、第１圧縮画像データＱＡとし、第２エンコーダ３２Ｂに圧縮された圧縮画像データＱを、第２圧縮画像データＱＢとする。

図１０は、複数の圧縮画像データを含んだ圧縮画像ファイルの一例を示す模式図である。図１０は、圧縮画像ファイルＦの一例を示している。エンコーダ制御部４６は、画像データＰを圧縮して圧縮画像データＱを生成して、圧縮画像データＱが時系列で連続して並ぶ圧縮画像ファイルＦを生成する。すなわち、圧縮画像ファイルＦは、エンコーダ制御部４６が生成した圧縮画像データＱを時系列に連続して並べたデータ群を指す。すなわち、圧縮画像ファイルＦをデコーダで復号すると、画像データＰが時系列に並んだ画像ファイルとなる。図１０の例では、撮像部２０による撮像中に、第１エンコーダ３２Ａと第２エンコーダ３２Ｂとが切り替えられた場合の圧縮画像ファイルＦの一例を示している。以下、圧縮画像ファイルＦのうち、第１エンコーダ３２Ａに圧縮された複数の第１圧縮画像データＱＡのデータ群を、データ群ＦＡとし、第２エンコーダ３２Ｂに圧縮された複数の第２圧縮画像データＱＢのデータ群を、データ群ＦＢとする。また、エンコーダ制御部４６は、圧縮画像ファイルＦにヘッダＨを含ませる。ヘッダＨは、データ群ＦＡ、ＦＢの前に、すなわちそれぞれ圧縮画像データＱの前に配置される情報である。エンコーダ制御部４６は、ヘッダＨに、検出開始情報を含ませる。検出開始情報とは、圧縮画像ファイルＦに、圧縮方式が異なる圧縮画像データＱが含まれる可能性がある旨を示す情報である。また、エンコーダ制御部４６は、ヘッダＨに、予め定めたデフォルトのエンコーダ情報を含ませる。ヘッダＨに含まれるエンコーダ情報とは、撮像装置１０が通常時に画像データＰを圧縮するデコーダの種類、言い換えれば圧縮方式を示す情報である。本実施形態では、エンコーダ制御部４６は、撮像装置１０に予め組み込まれている第１エンコーダ３２Ａ（第１圧縮方式）で画像データＰを圧縮する旨の情報を、エンコーダ情報としてヘッダＨに含ませている。

エンコーダ制御部４６は、上述のように、切替画像データ以降であって復帰画像データより前の画像データＰを、第２エンコーダ３２Ｂで圧縮させて、第２圧縮画像データＱＢを生成する。図１０のデータ群ＦＢに示すように、エンコーダ制御部４６は、切替画像データを第２エンコーダ３２Ｂで圧縮させた第２圧縮画像データＱ０Ｂと、切替画像データ以外の画像データＰを第２エンコーダ３２Ｂで圧縮させた第２圧縮画像データＱ１Ｂとを、異なる方式で生成させる。具体的には、エンコーダ制御部４６は、切替画像データを圧縮させた第２圧縮画像データＱ０Ｂに、ポインタＰＯ２が含まれるように、第２エンコーダ３２Ｂに第２圧縮画像データＱ０Ｂを生成させる。ポインタＰＯ２は、そのポインタＰＯ２が付与されている圧縮画像データＱが、第２エンコーダ３２Ｂで圧縮された旨を示す情報である。また、エンコーダ制御部４６は、切替画像データ以外の画像データＰを圧縮させた第２圧縮画像データＱ１Ｂには、ポインタＰＯ２を付与しない。

また、エンコーダ制御部４６は、第２圧縮画像データＱＢのうちの一部の第２圧縮画像データＱＢを、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）画像データとする。ＩＤＲ画像データとは、ＩＤＲピクチャとも呼ばれ、単独で１枚の静止画像を生成できる画像データを指す。ＩＤＲ画像データは、全ての画素の輝度情報を含んでいるといえる。一方、エンコーダ制御部４６は、第２圧縮画像データＱＢのうちの残りを、非ＩＤＲ画像データとする。非ＩＤＲ画像データとは、ＩＤＲ画像データではない圧縮画像データであり、単独で１枚の静止画像で生成できない画像データを指す。非ＩＤＲ画像データは、時系列における直前の圧縮画像データＱからの差分の情報のみを含んだ圧縮画像データである。そのため、ＩＤＲ画像データは、非ＩＤＲ画像データに比べて、データ容量が大きくなる。

エンコーダ制御部４６は、切替画像データを圧縮した第２圧縮画像データＱ０Ｂを、ＩＤＲ画像データとする。すなわち、切替画像データを圧縮した第２圧縮画像データＱ０Ｂは、ポインタＰＯ２が付与されて、かつ、ＩＤＲ画像データとされるデータとなる。また、エンコーダ制御部４６は、時系列において所定の間隔毎に、ＩＤＲ画像データを生成する。すなわち、第２圧縮画像データＱ０ＢがＩＤＲ画像データでないと仮定した場合において第２圧縮画像データＱＢを時系列で並べると、ＩＤＲ画像データである第２圧縮画像データＱ１Ｂ１が所定の時間毎に配置され、ＩＤＲ画像データ以外の第２圧縮画像データＱＢは、非ＩＤＲ画像データとなる。すなわち、切替画像データ以外の画像データＰを圧縮した第２圧縮画像データＱ１Ｂは、ポインタＰＯ２が付与されないがＩＤＲ画像データとされた第２圧縮画像データＱ１Ｂ１と、ポインタＰＯ２が付与されず非ＩＤＲ画像データとされた第２圧縮画像データＱ１Ｂ２と、を含む。エンコーダ制御部４６は、第２圧縮画像データＱ０Ｂよりも後の画像データＰの少なくとも一部を、非ＩＤＲ画像データとなるように圧縮して第２圧縮画像データＱ１Ｂ２を生成しているといえる。

また、エンコーダ制御部４６は、上述のように、切替画像データより前の画像データＰと、復帰画像データ以降の画像データＰとを、第１エンコーダ３２Ａで圧縮させて、第１圧縮画像データＱＡを生成する。図１０のデータ群ＦＡに示すように、エンコーダ制御部４６は、復帰画像データを第１エンコーダ３２Ａで圧縮させた第１圧縮画像データＱ０Ａと、復帰画像データ以外の画像データＰを第１エンコーダ３２Ａで圧縮させた第１圧縮画像データＱ１Ａとを、異なる方式で生成させる。具体的には、エンコーダ制御部４６は、復帰画像データを圧縮させた第１圧縮画像データＱ０Ａに、ポインタＰＯ１が含まれるように、第１エンコーダ３２Ａに第１圧縮画像データＱ０Ａを生成させる。ポインタＰＯ１は、そのポインタＰＯ１が付与されている圧縮画像データＱが、第１エンコーダ３２Ａで圧縮された旨を示す情報である。また、エンコーダ制御部４６は、復帰画像データ以外の画像データＰを圧縮させた第１圧縮画像データＱ１Ａには、ポインタＰＯ１を付与しない。ポインタＰＯ１は、第２エンコーダ３２Ｂで圧縮された旨を示すポインタＰＯ２と、異なる内容であることが好ましい。なお、以下、ポインタＰＯ１とポインタＰＯ２とを区別しない場合は、ポインタＰＯと記載する。

また、エンコーダ制御部４６は、第１圧縮画像データＱＡのうちの一部の第１圧縮画像データＱＡを、ＩＤＲ画像データとし、残りを、非ＩＤＲ画像データとする。エンコーダ制御部４６は、復帰画像データを圧縮させた第１圧縮画像データＱ０Ａを、ＩＤＲ画像データとする。すなわち、復帰画像データを圧縮させた第１圧縮画像データＱ０Ａは、ポインタＰＯ１が付与されて、かつ、ＩＤＲ画像データとされるデータである。また、エンコーダ制御部４６は、時系列において所定の間隔毎に、ＩＤＲ画像データを生成する。すなわち、第１圧縮画像データＱ０ＡがＩＤＲ画像データでないと仮定した場合に第１圧縮画像データＱＡを時系列で並べると、所定の時間毎に、ＩＤＲ画像データである第１圧縮画像データＱ１Ａ１が所定の時間毎に並び、ＩＤＲ画像データ以外の第１圧縮画像データＱＡは、非ＩＤＲ画像データとなる。すなわち、復帰画像データ以外の画像データＰを圧縮した第１圧縮画像データＱ１Ａは、ポインタＰＯ１が付与されないがＩＤＲ画像データとされた第１圧縮画像データＱ１Ａ１と、ポインタＰＯ１が付与されず非ＩＤＲ画像データとされた第１圧縮画像データＱ１Ａ２と、を含む。エンコーダ制御部４６は、第１圧縮画像データＱ０Ａよりも後の画像データＰの少なくとも一部を、非ＩＤＲ画像データとなるように圧縮して第１圧縮画像データＱ１Ａを生成しているといえる。

エンコーダ制御部４６は、以上のようにして生成した圧縮画像データＱを、さらに言えば圧縮画像ファイルＦを、圧縮画像データ記憶部２６Ｂに記憶させる。また、図２に示すデータ出力部５２は、以上のようにして生成した圧縮画像データＱを、さらに言えば圧縮画像ファイルＦを、通信部２４を介して画像処理装置１００（図１参照）に出力する。画像処理装置１００は、圧縮画像データＱを復号して画像データＰを復元可能に構成されている。以下、画像処理装置１００による圧縮画像データＱの複合処理ついて説明する。

（圧縮画像データの複合処理）
画像処理装置１００は、撮像装置１０が生成した圧縮画像データＱを、さらに言えば圧縮画像ファイルＦを受信するコンピュータ、すなわち外部サーバである。画像処理装置１００は、圧縮画像データＱを復号して画像データＰを生成可能に構成されている。図１に示すように、画像処理装置１００は、制御部１２２と、通信部１２４と、記憶部１２６と、第１圧縮回路１３０Ａと、第２圧縮回路１３０Ｂとを含む。制御部１２２は、画像処理装置１００の各部を制御する。制御部１２２は、演算装置、すなわちＣＰＵである。通信部１２４は、撮像装置１０などの外部の装置と通信を行う通信モジュールであり、例えばアンテナなどである。記憶部１２６は、撮像装置１０から取得した圧縮画像データＱ、圧縮画像データＱを復号した画像データ、制御部１２２が実行するプログラム（ソフトウェア）などを記憶するメモリである。記憶部２６は、主記憶装置と補助記憶装置とを含む。

第１圧縮回路１３０Ａは、画像データＰを第１圧縮方式で圧縮する第１エンコーダ１３２Ａと、第１圧縮方式で圧縮された圧縮画像データＱを復号する第１デコーダ１３４Ａとを含む。第２圧縮回路１３０Ｂは、画像データＰを第２圧縮方式で圧縮する第２エンコーダ１３２Ｂと、第２圧縮方式で圧縮された圧縮画像データＱを復号する第２デコーダ１３４Ｂとを含む。第１エンコーダ１３２Ａ、第１デコーダ１３４Ａ、第２エンコーダ１３２Ｂ、及び第２デコーダ１３４Ｂは、上述の第１エンコーダ３２Ａ、第１デコーダ３４Ａ、第２エンコーダ３２Ｂ、及び第２デコーダ３４Ｂと同じ構成や機能を備えているため、説明を省略する。第１エンコーダ１３２Ａ、第１デコーダ１３４Ａ、第２エンコーダ１３２Ｂ、及び第２デコーダ１３４Ｂは、上述の第１エンコーダ３２Ａ、第１デコーダ３４Ａ、第２エンコーダ３２Ｂ、及び第２デコーダ３４Ｂと同様に、少なくとも一部がソフトウェアであってもよい。

図１１は、画像処理装置の制御部の模式的なブロック図である。制御部１２２は、撮像装置１０から取得した圧縮画像データＱを、第１デコーダ３４Ａ又は第２デコーダ３４Ｂで復号させて、画像データＰを取得する。図１１に示すように、制御部１２２は、圧縮画像データ取得部１５３と、検出部１５４と、デコーダ制御部１５６とを含む。制御部１２２は、記憶部１２６からプログラム（ソフトウェア）を読み出して実行することで、圧縮画像データ取得部１５３と、検出部１５４と、デコーダ制御部１５６とを実現して、それらによる処理を実行する。なお、制御部１２２は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、これらの処理を実行してもよい。また、圧縮画像データ取得部１５３と、検出部１５４と、デコーダ制御部１５６との少なくとも一部を、ハードウェア回路で実現してもよい。

圧縮画像データ取得部１５３は、通信部１２４を介して、撮像装置１０から、圧縮画像データＱを、さらに言えば圧縮画像ファイルＦを取得する。圧縮画像データ取得部１５３は、取得した圧縮画像ファイルＦを記憶部１２６に記憶させる。なお、撮像装置１０は、撮像中に、すなわち圧縮画像データＱを生成している最中に、画像処理装置１００に圧縮画像データＱを逐次送信してよい。この場合、圧縮画像データ取得部１５３は、新たな圧縮画像データＱを取得する毎に、圧縮画像ファイルＦに、その圧縮画像データＱを時系列の末尾に追加する。

検出部１５４及びデコーダ制御部１５６は、圧縮画像データ取得部１５３が取得した圧縮画像ファイルＦを読み出して復号して、画像データＰを含んだ画像ファイルを復元する。具体的には、検出部１５４は、圧縮画像データ取得部１５３が取得した圧縮画像ファイルＦを読み出す。上述のように、撮像装置１０のエンコーダ制御部４６は、圧縮画像ファイルＦのヘッダＨに、検出開始情報を含ませている。検出部１５４は、圧縮画像ファイルＦに検出開始情報が含まれているかを検出する。検出部１５４は、圧縮画像ファイルＦに検出開始情報が含まれている場合、圧縮画像ファイルＦに含まれる圧縮画像データＱのそれぞれについて、ポインタＰＯが含まれているかを検出する。言い換えれば、検出部１５４は、圧縮画像ファイルＦに検出開始情報が含まれている場合、圧縮画像ファイルＦに含まれる圧縮画像データＱのうちから、ポインタＰＯが含まれている圧縮画像データＱを検出する。すなわち、検出部１５４は、圧縮画像ファイルＦに検出開始情報が含まれている場合、圧縮画像ファイルＦに含まれる圧縮画像データＱのうちから、ポインタＰＯ１が含まれる第１圧縮画像データＱ０Ａと、ポインタＰＯ２が含まれる第２圧縮画像データＱ０Ｂとを、検出する。

デコーダ制御部１５６は、検出部１５４の検出結果に基づき、圧縮画像ファイルＦの圧縮画像データＱを復号する。具体的には、デコーダ制御部１５６は、検出部１５４が検出したポインタＰＯが含まれている圧縮画像データＱが、圧縮画像ファイルＦ中のどの位置の圧縮画像データＱであるかの情報を取得する。より詳しくは、デコーダ制御部１５６は、ポインタＰＯ１が含まれる第１圧縮画像データＱ０Ａと、ポインタＰＯ２が含まれる第２圧縮画像データＱ０Ｂとが、圧縮画像ファイルＦ中のどの位置の圧縮画像データＱであるかの情報を取得する。そして、デコーダ制御部１５６は、圧縮画像ファイルＦ中の圧縮画像データＱのうち、時系列において第２圧縮画像データＱ０Ｂ以降の圧縮画像データＱを、第２デコーダ１３４Ｂで復号させる。より詳しくは、デコーダ制御部１５６は、圧縮画像ファイルＦ中の圧縮画像データＱのうち、時系列において第２圧縮画像データＱ０Ｂより前の圧縮画像データＱを、すなわち図１０に示すデータ群ＦＡの第１圧縮画像データＱ１Ａを、第１デコーダ１３４Ａで復号させる。そして、デコーダ制御部１５６は、圧縮画像ファイルＦ中の圧縮画像データＱのうち、時系列において第２圧縮画像データＱ０Ｂ以降であって第１圧縮画像データＱ０Ａより前の圧縮画像データＱを、すなわち図１０に示すデータ群ＦＢの第２圧縮画像データＱ０Ｂ及び第２圧縮画像データＱ１Ｂを、第２デコーダ１３４Ｂで復号させる。なお、時系列において第１圧縮画像データＱ０Ａ以降であって次の第２圧縮画像データＱ０Ｂより前の圧縮画像データＱ（図１０に示す右側のデータ群ＦＡの第１圧縮画像データＱ０Ａ及び第１圧縮画像データＱ１Ａ２）がある場合は、それらについては第１デコーダ１３４Ａで復号させる。

このように、デコーダ制御部１５６は、ポインタＰＯ２が含まれた圧縮画像データＱ以降は、第２エンコーダ３２Ｂ（第２圧縮方式）で圧縮されたと判断して、第２デコーダ１３４Ｂで復号させる。そして、デコーダ制御部１５６は、ポインタＰＯ２が含まれた圧縮画像データＱより前の圧縮画像データＱや、ポインタＰＯ１が含まれた圧縮画像データＱ以降の圧縮画像データＱが、第１エンコーダ３２Ａ（第１圧縮方式）で圧縮されたと判断して、第１デコーダ１３４Ａで復号させる。デコーダ制御部１５６は、このようにポインタＰＯによって復号するデコーダを選択するため、エンコーダが途中で切り替えられた場合においても、圧縮画像データＱを適切に復号できる。

なお、検出部１５４は、圧縮画像ファイルＦに検出開始情報が含まれていない場合は、エンコーダが切り替えられていないと判断して、圧縮画像データＱにポインタＰＯが含まれているかの検出は実行しない。この場合、検出部１５４は、圧縮画像ファイルＦが、ヘッダＨに含まれるエンコーダ情報に示される第１エンコーダ３２Ａで、すなわち第１圧縮方式で圧縮されたと判断する。そして、検出部１５４は、デコーダ制御部１５６に、圧縮画像ファイルＦに含まれる圧縮画像データＱの全てを、第１デコーダ１３４Ａで復号させる。すなわち、圧縮画像ファイルＦに検出開始情報が含まれていない場合は、エンコーダの切り替えを行う予定が無いことを示している。そのため、この場合においては、画像処理装置１００は、ヘッダＨのエンコーダ情報に示される圧縮方式を復号するデコーダで、全ての圧縮画像データＱを復号させる。

以上説明した圧縮画像データＱの復号処理を、フローチャートに基づき説明する。図１２は、本実施形態に係る圧縮画像データの復号処理を説明するフローチャートである。図１２に示すように、制御部１２２は、圧縮画像データ取得部１５３により、圧縮画像ファイルＦを取得する（ステップＳ５０）。そして、制御部１２２は、検出部１５４により、圧縮画像ファイルＦに検出開始情報が含まれているかを検出し（ステップＳ５２）、検出開始情報が含まれている場合（ステップＳ５２；Ｙｅｓ）、圧縮画像ファイルＦ中の圧縮画像データＱから、ポインタＰＯが含まれる圧縮画像データＱがあるかを検出する（ステップＳ５４）。ポインタＰＯが含まれる圧縮画像データＱがある場合（ステップＳ５６；Ｙｅｓ）、制御部１２２は、デコーダ制御部１５６により、ポインタＰＯが含まれる圧縮画像データＱ以降の圧縮画像データＱを、ポインタＰＯに示されたデコーダで復号する（ステップＳ５８）。例えば、デコーダ制御部１５６は、ポインタＰＯ２が含まれる第２圧縮画像データＱ０Ｂより前の圧縮画像データＱを、第１デコーダ１３４Ａで復号し、ポインタＰＯ２が含まれる第２圧縮画像データＱ０Ｂ以降であってポインタＰＯ１が含まれる第１圧縮画像データＱ０Ａより前の圧縮画像データＱを、第２デコーダ１３４Ｂで復号し、第１圧縮画像データＱ０Ａ以降の圧縮画像データＱを、第１デコーダ１３４Ａで復号する。

一方、圧縮画像ファイルＦに検出開始情報が含まれていない場合（ステップＳ５２；Ｎｏ）、制御部１２２は、デコーダ制御部１５６により、ヘッダＨに含まれるエンコーダ情報に基づき、ヘッダＨで定められたデコーダで、ここでは第１デコーダ１３４Ａで、圧縮画像データＱを復号する（ステップＳ６０）。また、ポインタＰＯが含まれる圧縮画像データＱがない場合も（ステップＳ５６；Ｎｏ）、ステップＳ６０に進み、ヘッダＨで定められた第１デコーダ１３４Ａで、圧縮画像データＱを復号する。

なお、図２に示す撮像装置１０の圧縮画像データ取得部５３、検出部５４、及びデコーダ制御部５６も、以上説明した画像処理装置１００の圧縮画像データ取得部１５３、検出部１５４及びデコーダ制御部１５６と同じ処理を実行するため、説明を省略する。

ここで、動画像、すなわち時系列で連続する画像を撮像する撮像装置は、撮像中に、言い換えれば１つの画像ファイルに含まれる時系列で連続する画像データＰを生成している最中に、画像データを圧縮するエンコーダを切り替えることが求められる場合がある。例えば、撮像装置が撮像した画像データを外部の装置に送信する際や、撮像装置における記憶部の容量節約をする際などに、これまで使用していたエンコーダよりも圧縮率の高いエンコーダで圧縮する場合がある。しかし、撮像中にエンコーダを切り替えた場合、適切な画像を得ることが出来なくなる場合がある。

例えば、撮像中にエンコーダを切り替える場合、どの画像データＰからエンコーダを切り替えるかを適切に決定することが求められる。例えばエンコーダの切り替えに不適切な画像データＰからエンコーダを切り替えた場合、圧縮後に復号した画像が適切なものにならないおそれが生じる。それに対し、本実施形態に係る撮像装置１０は、フレームバッファ部２６Ａに、複数の画像データＰを一時的に保存させる。そして、撮像装置１０は、第２エンコーダ３２Ｂで圧縮可能であることを示す切替情報を取得した際に、フレームバッファ部２６Ａに保存されている複数の画像データＰのうちから、第２エンコーダ３２Ｂでの圧縮を開始する切替画像データを選択して、切替画像データから、第２エンコーダ３２Ｂでの圧縮に切り替える。このように、本実施形態に係る撮像装置１０によると、複数の画像データＰから第２エンコーダ３２Ｂでの圧縮に切り替える画像データＰを選択できるため、エンコーダを切り替える画像データＰを適切に決定して、適切な画像を得ることが出来る。

また例えば、エンコーダが切り替えられた圧縮画像ファイルＦを復号する場合、どの圧縮画像データＱから、復号するデコーダを切り替えるかを判断できずに適切に復号できなくなり、適切な画像を得ることが出来なくなるおそれが生じる。それに対し、本実施形態に係る画像処理装置１００や撮像装置１０は、エンコーダが切り替わったことを示すポインタＰＯが付与された圧縮画像データＱを検出し、ポインタＰＯが付与された圧縮画像データＱから、復号するデコーダを切り替える。そのため、本実施形態に係る画像処理装置１００や撮像装置１０によると、復号するデコーダを切り替える圧縮画像データＱを適切に決定することが可能となり、復号を適切に行って適切な画像を得ることができる。

また例えば、撮像中にエンコーダを切り替える場合、どの画像データＰからエンコーダを切り替えるかを適切に決定することが求められる。例えばエンコーダの切り替えに不適切な画像データＰからエンコーダを切り替えた場合、圧縮後に復号した画像が適切なものにならないおそれが生じる。それに対し、本実施形態に係る撮像装置１０は、評価部４４により画像データＰを評価して、選択部５０により、画像データＰの評価結果に基づき、エンコーダを切り替える画像データＰを選択する。そのため、本実施形態に係る撮像装置１０によると、エンコーダを切り替える画像データＰを適切に選択可能となり、適切な画像を得ることが出来る。

以上説明したように、本実施形態に係る撮像装置１０は、時系列で連続して画像を撮像する撮像部２０と、フレームバッファ部２６Ａと、エンコーダ制御部４６と、情報取得部４８と、選択部５０とを備える。撮像部２０は、時系列で連続して画像を撮像する。フレームバッファ部２６Ａは、撮像部２０が撮像した時系列で連続する複数の画像データＰを保存する。フレームバッファ部２６Ａは、撮像部２０から新たな画像データＰを取得したら、時系列において古い画像データを消去して、新たな画像データＰを保存することで、保存する画像データＰの数を所定数に維持する。エンコーダ制御部４６は、第１エンコーダ制御部として、第１エンコーダ３２Ａで画像データＰを圧縮させる。情報取得部４８は、第２エンコーダ３２Ｂで画像データＰを圧縮可能な状態であることを示す切替情報を取得する。選択部５０は、切替情報が取得された場合に、フレームバッファ部２６Ａに保存されている複数の画像データＰのうちから、第２エンコーダ３２Ｂでの圧縮を開始する切替画像データを選択する。エンコーダ制御部４６は、第２エンコーダ制御部として、時系列において切替画像データ以降の画像データＰを、第２エンコーダ３２Ｂで圧縮させる。この撮像装置１０によると、複数の画像データＰから第２エンコーダ３２Ｂでの圧縮に切り替える画像データＰを選択できるため、エンコーダを切り替える画像データＰを適切に決定して、適切な画像を得ることが出来る。

また、エンコーダ制御部４６は、切替画像データを第２エンコーダ３２Ｂで圧縮して生成される第２圧縮画像データＱ０Ｂに、第２エンコーダ３２Ｂで圧縮された旨を示す情報であるポインタＰＯ２が含まれるように、第２エンコーダ３２Ｂに切替画像データを圧縮させる。この撮像装置１０によると、第２エンコーダ３２Ｂでの圧縮に切り替えた第２圧縮画像データＱ０ＢにポインタＰＯ２を含ませるため、復号の際のポインタＰＯ２を参照することで、復号するデコーダを切り替える圧縮画像データＱを適切に決定することが可能となり、適切な画像を得ることが出来る。

また、エンコーダ制御部４６は、切替画像データを第２エンコーダ３２Ｂで圧縮して生成される第２圧縮画像データＱ０Ｂが、単独で１枚の静止画像を生成できるＩＤＲ画像データとなるように、第２エンコーダ３２Ｂに切替画像データを圧縮させる。エンコーダが切り替わった際に、前のエンコーダで圧縮された画像を参照するような圧縮画像データＱを生成すると、エンコーダが切り替わってからの画像を適切に生成できなくなるおそれがある。それに対し、この撮像装置１０によると、エンコーダを切り替えた第２圧縮画像データＱ０ＢをＩＤＲ画像データとすることで、前のエンコーダで圧縮された画像を参照する必要が無くなり、エンコーダが切り替わってからの画像を適切に再現することが可能となる。

また、情報取得部４８は、第２エンコーダ３２Ｂで画像データＰを圧縮している際に、第２エンコーダ３２Ｂで画像データＰを圧縮不可能な状態であることを示す切替停止情報を取得する。選択部５０は、切替停止状態が取得された場合に、フレームバッファ部２６Ａに保存されている複数の画像データＰのうち、第２エンコーダ３２Ｂで圧縮済みの画像データＰＥと、第２エンコーダ３２Ｂで圧縮されていない画像データＰＮのなかで時系列において最も古い画像データＰＮとから、第１エンコーダ３２Ａでの圧縮を開始する復帰画像データを選択する。エンコーダ制御部４６は、時系列において復帰画像データ以降の画像データＰを、第１エンコーダ３２Ａに圧縮させる。ここで、第２エンコーダ３２Ｂが撮像装置１０から取り外されるなど、第２エンコーダ３２Ｂでの圧縮が不可能な状態になった場合においては、第２エンコーダ３２Ｂで圧縮されていない画像データＰＮから第１エンコーダ３２Ａでの圧縮に切り替えると、第１エンコーダ３２Ａ及び第２エンコーダ３２Ｂのいずれにも圧縮されない画像データＰＮが存在してしまうおそれが生じる。それに対し、本実施形態に係る撮像装置１０は、第２エンコーダ３２Ｂでの圧縮が不可能な状態になった場合においては、圧縮済みの画像データＰＥと、未圧縮の画像データＰＮのなかで時系列において最も古い画像データＰＮとから、第１エンコーダ３２Ａに切り替える復帰画像データを選択する。そのため、本実施形態に係る撮像装置１０によると、圧縮されない画像データＰＮが存在することを防止しつつ、第１エンコーダ３２Ａに切り替える画像データＰを適切に決定して、適切な画像を得ることが出来る。

また、撮像装置１０は、データ出力部５２を更に備える。データ出力部５２は、画像データＰを第２エンコーダ３２Ｂで圧縮して生成した第２圧縮画像データＱＢを、外部の装置に、ここでは画像処理装置１００に出力する。本実施形態に係る撮像装置１０によると、エンコーダを切り替えた圧縮画像データＱを外部の装置に送信可能となるため、例えば圧縮率を適切に選定して、圧縮画像データＱを送信することができる。

また、本実施形態に係る画像処理装置１００は、圧縮画像データ取得部１５３と、検出部１５４と、デコーダ制御部１５６とを備える。圧縮画像データ取得部１５３は、時系列で連続して撮像された画像データＰを圧縮した圧縮画像データＱを取得する。検出部１５４は、圧縮画像データ取得部１５３が取得した圧縮画像データのうちから、ポインタＰＯ２が含まれている第２圧縮画像データＱ０Ｂを検出する。ポインタＰＯ２は、圧縮画像データＱが第２デコーダ１３４Ｂで復号可能な第２圧縮方式で圧縮された旨を示す情報である。デコーダ制御部１５６は、第１デコーダ制御部として、第１デコーダ１３４Ａで圧縮画像データＱを復号させ、第２デコーダ制御部として、第２デコーダ１３４Ｂで圧縮画像データＱを復号させる。デコーダ制御部１５６は、時系列においてポインタＰＯ２が含まれている第２圧縮画像データＱ０Ｂ以降の圧縮画像データＱを、第２デコーダ１３４Ｂで復号させる。本実施形態に係る画像処理装置１００によると、復号するデコーダを切り替える圧縮画像データＱを適切に決定することが可能となり、復号を適切に行って適切な画像を得ることができる。

また、検出部１５４は、圧縮画像データ取得部１５３が取得した圧縮画像データＱのうちから、ポインタＰＯ１が含まれている第１圧縮画像データＱ０Ａと、ポインタＰＯ２が含まれている第２圧縮画像データＱ０Ｂとを検出する。ポインタＰＯ１は、圧縮画像データＱが第１圧縮方式で圧縮された旨を示す情報であり、ポインタＰＯ２は、圧縮画像データＱが第２圧縮方式で圧縮された旨を示す情報である。デコーダ制御部１５６は、時系列において、第２圧縮画像データＱ０Ｂ以降であって第１圧縮画像データＱ０Ａよりも前の圧縮画像データＱを、第２デコーダ１３４Ｂで復号させる。本実施形態に係る画像処理装置１００によると、ポインタＰＯ１及びポインタＰＯ２を検出することで、第２エンコーダ３２Ｂでの圧縮に切り替えられた後、第２エンコーダ３２Ｂでの圧縮が停止された際においても、復号するデコーダを切り替える圧縮画像データＱを適切に決定することが可能となり、復号を適切に行って適切な画像を得ることができる。

また、検出部１５４は、圧縮方式が異なる圧縮画像データＱが含まれる可能性がある旨を示す検出開始情報を取得した場合に、ポインタＰＯが含まれている圧縮画像データＱの検出を開始する。そして、検出部１５４は、検出開始情報を取得しない場合は、ポインタＰＯが含まれているかを検出せずに、デコーダ制御部１５６に第１デコーダ１３４Ａで圧縮画像データＱを復号させる。本実施形態に係る画像処理装置１００によると、圧縮方式が切り替えられる可能性がある場合に、ポインタＰＯを検出してデコーダを切り替えるための処理を実行し、圧縮方式が切り替えられる可能性がない場合には、デコーダを切り替えるための処理を実行しない。そのため、本実施形態に係る画像処理装置１００によると、圧縮方式が切り替えられる可能性がある場合に、適切にデコーダを切り替える準備を行うことができ、復号を適切に行って適切な画像を得ることができる。

また、本実施形態に係る撮像装置１０は、時系列で連続して画像を撮像する撮像部２０と、フレームバッファ部２６Ａと、評価部４４と、選択部５０とを備える。撮像部２０は、時系列で連続して画像を撮像する。評価部４４は、フレームバッファ部２６Ａに保存される画像データＰを評価する。選択部５０は、評価部４４の評価に基づき、フレームバッファ部２６Ａに保存されている複数の画像データＰのうちから、圧縮方式を切り替える切替画像データを選択する。本実施形態に係る撮像装置１０によると、評価部４４により画像データＰを評価して、選択部５０により、画像データＰの評価結果に基づき、エンコーダを切り替える画像データＰを選択する。そのため、本実施形態に係る撮像装置１０によると、エンコーダを切り替える画像データＰを適切に選択可能となり、適切な画像を得ることが出来る。

また、評価部４４は、画像データＰの輝度を評価し、選択部５０は、画像データＰの輝度に基づき、切替画像データを選択する。ここで、エンコーダを切り替えた場合、画像の輝度の状態によっては、エンコーダを切り替えたことが視認されやすくなり、違和感を与える画像になってしまうおそれがある。それに対し、本実施形態に係る撮像装置１０によると、画像データＰの輝度に基づき、エンコーダを切り替える画像データＰを選択するため、エンコーダを切り替えが視認され易くなることを抑制して、適切な画像を得ることが出来る。

また、選択部５０は、画像データＰの輝度に基づき、フレームバッファ部２６Ａに保存されている複数の画像データＰのうちから、場面が切り替わっている画像データＰを抽出し、場面が切り替わっている画像データＰに基づき、切替画像データを選択する。ここで、場面が切り替わった際には、画像自体が大きく切り替わるため、エンコーダを切り替えたことが視認され難い。本実施形態に係る撮像装置１０によると、それを利用して、場面が切り替わっている画像データＰに基づき、エンコーダを切り替える画像データＰを選択するため、エンコーダを切り替えが視認され易くなることを抑制して、適切な画像を得ることが出来る。

また、選択部５０は、画像データＰの輝度に基づき、フレームバッファ部２６Ａに保存されている複数の画像データＰのうちから、被写体の動きが大きい画像データＰを抽出し、被写体の動きが大きい画像データＰに基づき、切替画像データを選択する。被写体の動きが大きい場合、すなわち動きベクトルが大きい場合も、画像自体が大きく切り替わるため、エンコーダを切り替えたことが視認され難い。本実施形態に係る撮像装置１０によると、それを利用して、被写体の動きが大きい画像データＰに基づき、エンコーダを切り替える画像データＰを選択するため、エンコーダを切り替えが視認され易くなることを抑制して、適切な画像を得ることが出来る。

また、選択部５０は、画像データＰの輝度に基づき、フレームバッファ部２６Ａに保存されている複数の画像データＰのうちから、位置毎の輝度バラつきが大きい画像データＰを抽出し、輝度バラつきが大きい画像データＰに基づき、切替画像データを選択する。輝度バラつきが大きい場合も、エンコーダを切り替えたことが視認され難い。本実施形態に係る撮像装置１０によると、それを利用して、輝度バラつきが大きい画像データＰに基づき、エンコーダを切り替える画像データＰを選択するため、エンコーダを切り替えが視認され易くなることを抑制して、適切な画像を得ることが出来る。

なお、以上の説明では、エンコーダを切り替えて圧縮画像データＱを生成する主体となる装置は、撮像部２０を備える撮像装置１０であった。ただし、エンコーダを切り替えて圧縮画像データＱを生成する主体となる装置は、撮像部２０を備えることに限られない。例えば、撮像部２０を備えない撮像装置１０を画像処理装置として、この画像処理装置が、画像データＰを取得して、エンコーダを切り替えて圧縮画像データＱを生成してもよい。すなわち、ここでの画像処理装置は、撮像部２０を備えない点以外は、撮像装置１０と同じ構成及び機能を備えていてよい。以降の実施形態についても同様である。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態に係る撮像装置１０は、エンコーダを切り替えた圧縮画像データＱの直前の圧縮画像データＱをＩＤＲ画像データとする点で、第１実施形態とは異なる。第２実施形態において、第１実施形態と構成が共通する箇所は、説明を省略する。

図１３は、第２実施形態における圧縮画像ファイルの一例を示す模式図である。第２実施形態に係るエンコーダ制御部４６は、画像データＰを圧縮して圧縮画像データＱを生成して、圧縮画像データＱが時系列で連続して並ぶ圧縮画像ファイルＦａを生成する。図１３は、圧縮画像ファイルＦａの一例を示している。第２実施形態に係るエンコーダ制御部４６は、第１実施形態と同様に、第１エンコーダ３２Ａで圧縮された第１圧縮画像データＱＡを圧縮して、ポインタＰＯ１が付与されないがＩＤＲ画像データとされた第１圧縮画像データＱ１Ａ１と、ポインタＰＯ１が付与されず非ＩＤＲ画像データとされた第１圧縮画像データＱ１Ａ２と、第１エンコーダ３２Ａで圧縮開始されたことを示すポインタＰＯ１が付与されてＩＤＲ画像データとされた第１圧縮画像データＱ０Ａとを、生成する。また、第２実施形態に係るエンコーダ制御部４６は、第１実施形態と同様に、第２エンコーダ３２Ｂで圧縮された第２圧縮画像データＱＢを圧縮して、ポインタＰＯ２が付与されないがＩＤＲ画像データとされた第２圧縮画像データＱ１Ｂ１と、ポインタＰＯ２が付与されず非ＩＤＲ画像データとされた第２圧縮画像データＱ１Ｂ２と、第２エンコーダ３２Ｂで圧縮開始されたことを示すポインタＰＯ２が付与されてＩＤＲ画像データとされた第２圧縮画像データＱ０Ｂとを、生成する。

さらに、図１３に示すように、第２実施形態に係るエンコーダ制御部４６は、時系列における切替画像データ（第２圧縮画像データＱ０Ｂ）の直前の画像データＰを第１エンコーダ３２Ａで圧縮して、第１圧縮画像データＱ３Ａを生成する。第１圧縮画像データＱ３Ａは、ポインタＰＯ１が付与されないがＩＤＲ画像データとされた第１圧縮画像データＱＡである。これにより、ＩＤＲ画像データである第１圧縮画像データＱ３Ａと第２圧縮画像データＱ０Ｂとが、時系列で連続する。このように、第２実施形態に係るエンコーダ制御部４６は、所定間隔毎に生成されるＩＤＲ画像データである第１圧縮画像データＱ１Ａ１に加え、第２エンコーダ３２Ｂに切り替わる第２圧縮画像データＱ０Ｂの直前の第１圧縮画像データＱＡについても、ＩＤＲ画像データとする。以上を言い換えれば、第２実施形態に係るエンコーダ制御部４６は、時系列における切替画像データの直前の画像データＰを、ＩＤＲ画像データとなるように第１エンコーダ３２Ａで圧縮して、第１圧縮画像データＱ３Ａを生成する。なお、エンコーダ制御部４６は、切替画像データよりも後の画像データＰの少なくとも一部を、非ＩＤＲ画像データとなるように第２エンコーダ３２Ｂで圧縮して、第２圧縮画像データＱ１Ｂ２を生成しているといえる。

また、図１３に示すように、第２実施形態に係るエンコーダ制御部４６は、時系列における復帰画像データ（第１圧縮画像データＱ０Ａ）の直前の画像データＰを第２エンコーダ３２Ｂで圧縮して、第２圧縮画像データＱ３Ｂを生成する。第２圧縮画像データＱ３Ｂは、ポインタＰＯ２が付与されないがＩＤＲ画像データとされた第２圧縮画像データＱＢである。これにより、ＩＤＲ画像データである第２圧縮画像データＱ３Ｂと第１圧縮画像データＱ０Ａとが、時系列で連続する。このように、第２実施形態に係るエンコーダ制御部４６は、所定間隔毎に生成されるＩＤＲ画像データである第２圧縮画像データＱ１Ｂ１に加え、第１エンコーダ３２Ａに切り替わる第１圧縮画像データＱ０Ａの直前の第２圧縮画像データＱＢについても、ＩＤＲ画像データとする。以上を言い換えれば、第２実施形態に係るエンコーダ制御部４６は、時系列における復帰画像データの直前の画像データＰを、ＩＤＲ画像データとなるように第２エンコーダ３２Ｂで圧縮して、第２圧縮画像データＱ３Ｂを生成する。なお、エンコーダ制御部４６は、第２圧縮画像データＱ３Ｂよりも前の画像データＰの少なくとも一部を、非ＩＤＲ画像データとなるように第１エンコーダ３２Ａで圧縮して、第１圧縮画像データＱ１Ａ２を生成しているといえる。

ここで、エンコーダを切り替えた場合、これまでのエンコーダで圧縮された圧縮画像データＱと、新しいエンコーダで圧縮された圧縮画像データＱとが時系列で連続する。この場合、新しいエンコーダで圧縮された圧縮画像データＱをＩＤＲ画像データとし、直前の圧縮画像データＱを非ＩＤＲ画像データとすると、エンコーダが切り替わった上に、非ＩＤＲピクチャからＩＤＲピクチャにも切り替わることとなり、エンコーダを切り替えが視認され易くなり、視認者に画像の切り替わりの際に違和感を生じさせるおそれが生じる。それに対し、第２実施形態に係る撮像装置１０は、撮像部２０と、第１エンコーダ制御部及び第２エンコーダ制御部としてのエンコーダ制御部４６とを備える。そして、エンコーダ制御部４６は、第２エンコーダ３２Ｂでの圧縮を開始する切替画像データを、ＩＤＲ画像データとなるように第２エンコーダ３２Ｂで圧縮して第２圧縮画像データＱ０Ｂを生成する。そして、エンコーダ制御部４６は、時系列における切替画像データの直前の画像データＰを、ＩＤＲ画像データとなるように第１エンコーダ３２Ａで圧縮して、第１圧縮画像データＱ３Ａを生成する。これにより、ＩＤＲ画像データである第１圧縮画像データＱ３Ａと、ＩＤＲ画像データである第２圧縮画像データＱ０Ｂとが時系列で連続することとなり、エンコーダを切り替えが視認され易くなることを抑制して、適切な画像を得ることが出来る。

また、第２実施形態に係るエンコーダ制御部４６は、時系列における切替画像データの直前の画像データＰよりも前の画像データＰの少なくとも一部を、非ＩＤＲ画像データとなるように第１エンコーダ３２Ａで圧縮して、第１圧縮画像データＱ１Ａ２を生成する。そして、エンコーダ制御部４６は、時系列における切替画像データよりも後の画像データＰの少なくとも一部を、非ＩＤＲ画像データとなるように第２エンコーダ３２Ｂで圧縮して、第２圧縮画像データＱ１Ｂ２を生成する。第２実施形態に係る撮像装置１０によると、エンコーダが切り替わる箇所にはＩＤＲ画像データを連続させ、エンコーダが切り替わらない箇所には非ＩＤＲ画像データを設けることで、エンコーダを切り替えが視認され易くなることを抑制しつつ、適切に画像を圧縮できる。

また、第２実施形態に係るエンコーダ制御部４６は、切替画像データを第２エンコーダ３２Ｂで圧縮して生成される第２圧縮画像データＱ０Ｂに、第２エンコーダ３２Ｂで圧縮された旨を示す情報であるポインタＰＯ２が含まれるように、第２エンコーダ３２Ｂに切替画像データを圧縮させる。この撮像装置１０によると、第２エンコーダ３２Ｂでの圧縮に切り替えた第２圧縮画像データＱ０ＢにポインタＰＯ２を含ませるため、復号の際のポインタＰＯ２を参照することで、復号するデコーダを切り替える圧縮画像データＱを適切に決定することが可能となり、適切な画像を得ることが出来る。

（第３実施形態）
次に、第３実施形態について説明する。第３実施形態に係る撮像装置１０は、第２エンコーダ３２Ｂに切り替える場合でも、撮像装置１０が第２デコーダ３４Ｂを備えない場合には、第１エンコーダ３２Ａでの圧縮も続ける点で、第１実施形態とは異なる。第３実施形態において、第１実施形態と構成が共通する箇所は、説明を省略する。なお、第３実施形態は、第１実施形態に加えて第２実施形態にも適用可能である。

図１４は、第３実施形態に係る圧縮の切り替え方法を説明するフローチャートである。図１４に示すように、第３実施形態に係る撮像装置１０の制御部２２は、第１エンコーダ３２Ａから第２エンコーダ３２Ｂに切り替えると判断したら（ステップＳ５０）、撮像装置１０が第２デコーダ３４Ｂを備えているかを判断する（ステップＳ５２）。ステップＳ５０での第２エンコーダ３２Ｂに切り替える旨の判断方法は、第１実施形態と同様であり、図７のステップＳ１２でのＹｅｓの判断方法と同様である。

また、ステップＳ５２において、制御部２２は、撮像装置１０において第２デコーダ３４Ｂでの復号が不可能な状態である場合に、撮像装置１０が第２デコーダ３４Ｂを備えていないと判断する。例えば、制御部２２は、第２デコーダ３４Ｂが撮像装置１０に接続されていない場合に、撮像装置１０において第２デコーダ３４Ｂでの復号が不可能であり、撮像装置１０が第２デコーダ３４Ｂを備えていないと判断する。すなわち例えば、第２エンコーダ３２Ｂと第２デコーダ３４Ｂとが別体であり、第２エンコーダ３２Ｂは撮像装置１０に接続されているが、第２デコーダ３４Ｂは撮像装置１０に接続されていない場合には、第２エンコーダ３２Ｂでの圧縮は可能であるが、第２デコーダ３４Ｂでの復号が不可能となる。一方、制御部２２は、撮像装置１０において第２デコーダ３４Ｂでの復号が可能な状態である場合に、撮像装置１０が第２デコーダ３４Ｂを備えていると判断する。例えば、制御部２２は、第２デコーダ３４Ｂが撮像装置１０に接続されている場合に、撮像装置１０において第２デコーダ３４Ｂでの復号が可能であり、撮像装置１０が第２デコーダ３４Ｂを備えていると判断する。

また例えば、制御部２２は、第２デコーダ３４Ｂが撮像装置１０に接続されているが、第２デコーダ３４Ｂが撮像装置１０から取り外し可能である場合に、撮像装置１０が第２デコーダ３４Ｂを備えていないと判断してよい。すなわち、第２デコーダ３４ＢがコネクタＣを介して撮像装置１０に接続されている場合は、第２デコーダ３４Ｂは取り外し可能であるため、撮像装置１０が第２デコーダ３４Ｂを備えていないと判断される。すなわちこの場合、第２エンコーダ３２Ｂで圧縮された圧縮画像データを復号するタイミングでは、第２デコーダ３４Ｂが取り外されて、復号できなくおそれがある。ここではその場合に備えて、第２デコーダ３４Ｂが取外し可能である場合には、撮像装置１０が第２デコーダ３４Ｂを備えていないと判断する。一方、制御部２２は、第２デコーダ３４Ｂが、撮像装置１０から取り外し不可能に撮像装置１０に接続されている場合に、撮像装置１０が第２デコーダ３４Ｂを備えていると判断してよい。言い換えれば、制御部２２は、第２デコーダ３４Ｂが撮像装置１０に内蔵されている場合に、撮像装置１０が第２デコーダ３４Ｂを備えていると判断してよい。

図１４に示すように、撮像装置１０が第２デコーダ３４Ｂを備えている場合（ステップＳ５２；Ｙｅｓ）、制御部２２は、エンコーダ制御部４６により、切替画像データ以降の画像データＰを、第１エンコーダ３２Ａで圧縮させずに、第２エンコーダ３２Ｂで圧縮させる（ステップＳ５４）。すなわち、撮像装置１０が第２デコーダ３４Ｂを備えている場合、エンコーダ制御部４６は、切替画像データより前の画像データＰを第１エンコーダ３２Ａで圧縮し、切替画像データ以降の画像データＰを第２エンコーダ３２Ｂで圧縮して、圧縮画像ファイルＦを生成する。図１５は、撮像装置が第２デコーダを備えている場合の圧縮画像ファイルの一例を示す模式図である。図１５に示すように、圧縮画像ファイルＦは、切替画像データより前が第１エンコーダ３２Ａで圧縮された第１圧縮画像データＱＡであり、切替画像データ以降が第２エンコーダ３２Ｂで圧縮された第２圧縮画像データＱＢとなる。そして、制御部２２は、圧縮画像ファイルＦを、圧縮画像データ記憶部２６Ｂに記憶させつつ、データ出力部５２により、外部に（ここでは画像処理装置１００に）出力させる（ステップＳ５６）。すなわち、撮像装置１０が第２デコーダ３４Ｂを備えている場合には、圧縮画像データ記憶部２６Ｂに記憶させる圧縮画像ファイルＦと、外部に出力する圧縮画像ファイルＦとが、同じものとなる。

図１４に示すように、撮像装置１０が第２デコーダ３４Ｂを備えていない場合（ステップＳ５２；Ｎｏ）、制御部２２は、エンコーダ制御部４６により、切替画像データ以降の画像データＰを、第１エンコーダ３２Ａ及び第２エンコーダ３２Ｂの両方に圧縮させる（ステップＳ５８）。すなわち、撮像装置１０が第２デコーダ３４Ｂを備えていない場合、エンコーダ制御部４６は、同じ画像データＰである切替画像データ以降の画像データＰを、第１エンコーダ３２Ａ及び第２エンコーダ３２Ｂの両方に圧縮させる。これにより、エンコーダ制御部４６は、圧縮画像ファイルＦ１と、圧縮画像ファイルＦ２とを生成する。図１６は、撮像装置が第２デコーダを備えていない場合の圧縮画像ファイルの一例を示す模式図である。図１６に示すように、エンコーダ制御部４６は、切替画像データより前の画像データＰと切替画像データ以降の画像データＰとの両方を、第１エンコーダ３２Ａで圧縮して、圧縮画像ファイルＦ１を生成する。すなわち、圧縮画像ファイルＦ１は、切替画像データより前と切替画像データ以降との両方において、第１エンコーダ３２Ａで圧縮された第１圧縮画像データＱＡとなり、第２圧縮画像データＱＢを含まない。一方、エンコーダ制御部４６は、切替画像データより前の画像データＰを第１エンコーダ３２Ａで圧縮し、切替画像データ以降の画像データＰを第２エンコーダ３２Ｂで圧縮して、圧縮画像ファイルＦ２を生成する。すなわち、圧縮画像ファイルＦ２は、切替画像データより前が第１エンコーダ３２Ａで圧縮された第１圧縮画像データＱＡであり、切替画像データ以降が第２エンコーダ３２Ｂで圧縮された第２圧縮画像データＱＢとなる。そして、図１４に示すように、制御部２２は、第１圧縮画像ファイルとしての圧縮画像ファイルＦ１を、圧縮画像データ記憶部２６Ｂに記憶させて、第２圧縮画像ファイルとしての圧縮画像ファイルＦ２を、データ出力部５２により、外部に（ここでは画像処理装置１００に）出力させる（ステップＳ６０）。

ここで例えば、撮像装置１０が第２デコーダ３４Ｂを備えていない場合、例え第２エンコーダ３２Ｂで画像データＰを圧縮したとしても、撮像装置１０は、第２エンコーダ３２Ｂで圧縮した圧縮画像データを復号できない場合がある。また、圧縮画像データを外部に出力する際には、通信負荷を減らすために、第２デコーダ３４Ｂを用いるが、撮像装置１０自体への保存には、第２デコーダ３４Ｂを用いる必要が無い場合もある。そのため、本実施形態に係る撮像装置１０は、第２デコーダ３４Ｂで圧縮した第２圧縮画像データＱＢを外部に出力する一方、第１デコーダ３４Ａでの圧縮を続けた第１圧縮画像データＱＡを圧縮画像データ記憶部２６Ｂに記憶させる。そのため、本実施形態に係る撮像装置１０によると、圧縮画像データ記憶部２６Ｂに記憶する圧縮画像データＱと外部に出力する圧縮画像データＱとの圧縮方式を異ならせて、画像を適切に得ることを可能とする。

このように、第３実施形態に係る撮像装置１０は、撮像部２０と、エンコーダ制御部４６と、記憶部２６と、データ出力部５２とを備える。記憶部２６は、圧縮された画像データＰである圧縮画像データＱを記憶し、データ出力部５２は、圧縮画像データＱを外部の装置に出力する。エンコーダ制御部４６は、第１エンコーダ３２Ａと第２エンコーダ３２Ｂとに、同じ画像データを圧縮させる。そして、記憶部２６は、第１エンコーダ３２Ａと第２エンコーダ３２Ｂとが圧縮した同じ画像データＰのうち、第１エンコーダ３２Ａが圧縮した第１圧縮画像データＱＡを記憶し、データ出力部５２は、第１エンコーダ３２Ａと第２エンコーダ３２Ｂとが圧縮した同じ画像データＰのうち、第２エンコーダ３２Ｂが圧縮した第２圧縮画像データＱＢを、出力する。そのため、本実施形態に係る撮像装置１０によると、圧縮画像データ記憶部２６Ｂに記憶する圧縮画像データＱと外部に出力する圧縮画像データＱとの圧縮方式を異ならせて、画像を適切に得ることを可能とする。

エンコーダ制御部４６は、撮像装置１０が第２圧縮画像データＱＢを復号可能な第２デコーダ３４Ｂを備えていない場合に、第１エンコーダ３２Ａと第２エンコーダ３２Ｂとに、同じ画像データを圧縮させる。この撮像装置１０によると、通信用の圧縮方式を設定した第２エンコーダ３２Ｂで圧縮した第２圧縮画像データＱＢを外部に出力することができる。さらに、撮像装置１０自身には第１エンコーダ３２Ａで圧縮した第１圧縮画像データＱＡを記憶させることで、第２エンコーダ３２Ｂを備えていないことにより、撮像装置１０によって圧縮画像データの複合が出来なくなることを抑制できる。従って、この撮像装置１０によると、画像を適切に得ることを可能とする。

また、本実施形態に係る撮像装置１０は、フレームバッファ部２６Ａと、情報取得部４８と、選択部５０とを更に備える。エンコーダ制御部４６は、時系列において切替画像データ以前の画像データＰと切替画像データ以降の画像データＰとの両方を、第１エンコーダ３２Ａで圧縮させる。そして、エンコーダ制御部４６は、切替画像データ以降の画像データＰを、第２エンコーダ３２Ｂで圧縮させる。そして、データ出力部５２は、切替画像データ以前の画像データＰについては、第１エンコーダ３２Ａで圧縮された第１圧縮画像データＱＡを出力し、切替画像データ以降の画像データＰについては、第２エンコーダ３２Ｂで圧縮された第２圧縮画像データＱＢを出力する。そのため、本実施形態に係る撮像装置１０によると、エンコーダを切り替えた圧縮画像データを適切に外部に出力できる。

以上、本発明の実施形態及び変形例を説明したが、これら実施形態及び変形例の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態及び変形例の構成を組み合わせることも可能である。さらに、前述した実施形態及び変形例の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１０ 撮像装置
２０ 撮像部
２１ 画像処理回路
２２ 制御部
２４ 通信部
２６Ａ フレームバッファ部
２６Ｂ 圧縮画像データ記憶部
３２Ａ 第１エンコーダ
３２Ｂ 第２エンコーダ
３４Ａ、１３４Ａ 第１デコーダ
３４Ｂ、１３４Ｂ 第２デコーダ
４２ 画像データ取得部
４４ 評価部
４６ エンコーダ制御部（第１エンコーダ制御部、第２エンコーダ制御部）
４８ 情報取得部
５０ 選択部
５２ データ出力部
５３、１５３ 圧縮画像データ取得部
５４、１５４ 検出部
５６、１５６ デコーダ制御部
１００ 画像処理装置
Ｐ 画像データ
ＰＯ、ＰＯ１、ＰＯ２ ポインタ
Ｑ 圧縮画像データ

Claims (5)

1. 時系列で連続して画像を撮像する撮像部と、
   前記撮像部が撮像した時系列で連続する複数の画像データを保存し、前記撮像部から新たな前記画像データを取得したら、時系列において古い前記画像データを消去して新たな前記画像データを保存することで、保存する前記画像データの数を所定数に維持するフレームバッファ部と、
   第１エンコーダで前記画像データを圧縮させる第１エンコーダ制御部と、
   第２エンコーダで前記画像データを圧縮可能な状態であることを示す切替情報を取得する情報取得部と、
   前記切替情報が取得された場合に、前記フレームバッファ部に保存されている複数の前記画像データのうちから、前記第２エンコーダでの圧縮を開始する切替画像データを選択する選択部と、
   時系列において前記切替画像データ以降の前記画像データを、前記第２エンコーダで圧縮させる第２エンコーダ制御部と、
   を備え、
   前記第２エンコーダ制御部は、前記切替画像データを前記第２エンコーダで圧縮して生成される圧縮画像データに、前記第２エンコーダで圧縮された旨を示す情報であるポインタが含まれるように、前記第２エンコーダに前記切替画像データを圧縮させる、
   撮像装置。
2. 前記第２エンコーダ制御部は、前記切替画像データを前記第２エンコーダで圧縮して生成される圧縮画像データが、単独で１枚の静止画像を生成できるＩＤＲ画像データとなるように、前記第２エンコーダに前記切替画像データを圧縮させる、請求項１に記載の撮像装置。
3. 前記情報取得部は、前記第２エンコーダで前記画像データを圧縮している際に、前記第２エンコーダで前記画像データを圧縮不可能な状態であることを示す切替停止情報を取得し、
   前記選択部は、前記切替停止情報が取得された場合に、前記フレームバッファ部に保存されている複数の前記画像データのうち、前記第２エンコーダで圧縮済みの画像データと前記第２エンコーダで圧縮されていない画像データのなかで時系列において最も古い画像データとから、前記第１エンコーダでの圧縮を開始する復帰画像データを選択し、
   前記第１エンコーダ制御部は、時系列において前記復帰画像データ以降の前記画像データを、前記第１エンコーダに圧縮させる、請求項１又は請求項２に記載の撮像装置。
4. 前記画像データを第２エンコーダで圧縮して生成した圧縮画像データを外部の装置に出力するデータ出力部を更に備える、請求項１から請求項３のいずれか１項に記載の撮像装置。
5. 時系列で連続して撮像された複数の画像データを保存し、新たな前記画像データを取得したら、時系列において古い前記画像データを消去して新たな前記画像データを保存することで、保存する前記画像データの数を所定数に維持するフレームバッファ部を含む画像処理装置を用いて画像処理する画像処理方法であって、
   第１エンコーダで前記画像データを圧縮させる第１エンコーダ制御ステップと、
   第２エンコーダで前記画像データを圧縮可能な状態であることを示す切替情報を取得する情報取得ステップと、
   前記切替情報が取得された場合に、前記フレームバッファ部に保存されている複数の前記画像データのうちから、前記第２エンコーダでの圧縮を開始する切替画像データを選択する選択ステップと、
   時系列において前記切替画像データ以降の前記画像データを、前記第２エンコーダに圧縮させる第２エンコーダ制御ステップと、
   を含み、
   前記第２エンコーダ制御ステップでは、前記切替画像データを前記第２エンコーダで圧縮して生成される圧縮画像データに、前記第２エンコーダで圧縮された旨を示す情報であるポインタが含まれるように、前記第２エンコーダに前記切替画像データを圧縮させる、
   画像処理方法。

Images