WO2016158401A1

WO2016158401A1 - 画像符号化装置および方法

Info

Publication number: WO2016158401A1
Application number: PCT/JP2016/058266
Authority: WO
Inventors: 小川　一哉
Original assignee: ソニー株式会社
Priority date: 2015-03-30
Filing date: 2016-03-16
Publication date: 2016-10-06
Also published as: US20180054617A1; JPWO2016158401A1

Abstract

　本開示は、画像データの転送を長時間安定して行うことができるようにする画像符号化装置および方法に関する。バジェット判定部は、発電量情報、電池残量情報、および通信可能帯域情報を入力として、符号化処理制御のもととなる電力・帯域バジェット情報を生成し、生成した電力・帯域バジェット情報を符号化制御部に供給する。符号化制御部は、バジェット判定部からの電力・帯域バジェット情報から画像符号化方式や符号化パラメータ・モードを生成し、画像符号化方式や符号化パラメータ・モードが含まれる圧縮制御情報を、画像圧縮装置に供給する。本開示は、例えば、符号化を行うカメラシステムに適用することができる。

Description

画像符号化装置および方法

　本開示は画像符号化装置および方法に関し、特に、画像データの転送を長時間安定して行うことができるようにした画像符号化装置および方法に関する。

　どんな場所にでも設置できて、映像データを取得可能なIoT(Internet of Things)時代のカメラシステムとして、発電装置と無線通信部を備え、電力経路や有線の通信経路を必要としないカメラシステムが提案されている。

　例えば、特許文献１においては、発電装置と無線通信機能を備える撮像装置において平均発電量に応じて画像の撮影範囲、撮影頻度、圧縮率を変化させることで長期間にわたって撮影を継続可能な装置が提案されている。

特開２０１１－２２８８８４号公報

　しかしながら、この提案においては、撮影の継続と引き換えに、画像の範囲や撮影頻度、画質が低下してしまっていた。

　本開示は、このような状況に鑑みてなされたものであり、画像データの転送を長時間安定して行うことができるものである。

　本開示の一側面の画像符号化装置は、画像データの符号化処理を行い、符号化データを生成する符号化部と、電力に関する電力情報に応じて、前記符号化処理を制御する符号化制御部と、前記符号化部により生成された符号化データを伝送する伝送部とを備える。

　前記電力情報は、発電されている発電量を示す情報および蓄電されている電池の残量情報の少なくとも１つの情報を含むことができる。

　前記符号化制御部は、前記符号化処理に用いられる符号化方式を切り替えることができる。

　前記符号化制御部は、前記符号化処理に用いられる符号化方式のイントラ予測とインター予測を切り替えることができる。

　前記符号化制御部は、前記符号化処理に用いられる符号化制御パラメータを切り替えることができる。

　前記符号化制御部は、インター予測を適用している場合、前記符号化制御パラメータとして、片方向予測モードと両方向予測モードとを切り替えることができる。

　前記符号化制御部は、インター予測を適用している場合、前記符号化制御パラメータとして、参照面の数を切り替えることができる。

　前記符号化制御部は、インター予測を適用している場合、前記符号化制御パラメータとして、動き予測の探索範囲の大きさを切り替えることができる。

　前記符号化制御部は、前記符号化制御パラメータとして、デブロックフィルタの適用の有無を切り替えることができる。

　前記符号化制御部は、前記符号化制御パラメータとして、デブロックフィルタおよび適応オフセットフィルタの少なくとも１つの適用の有無を切り替えることができる。

　前記符号化制御部は、前記符号化制御パラメータとして、可変長符号化処理を、CABAC（Context-Adaptive Binary Arithmetic Coding）とCAVLC（Context-Adaptive Variable Length Coding）との間で切り替えることができる。

　前記符号化制御部は、前記符号化制御パラメータとして、予測ブロックサイズの下限を切り替えることができる。

　前記伝送部は、無線により前記符号化部により生成された符号化データを伝送し、前記符号化制御部は、前記伝送部による通信可能帯域を示す情報に応じて、前記符号化処理を制御することができる。

　本開示の一側面の画像符号化方法は、画像符号化装置が、画像データの符号化処理を行い、符号化データを生成し、電力に関する電力情報に応じて、前記符号化処理を制御し、生成された符号化データを伝送する。

本開示の一側面においては、画像データの符号化処理が行われて、符号化データが生成され、電力に関する電力情報に応じて、前記符号化処理が制御される。そして、生成された符号化データが伝送される。

　なお、上述の画像符号化装置は、独立した画像処理装置であっても良いし、１つの画像符号化装置を構成している内部ブロックであってもよい。

　本開示の一側面によれば、画像を符号化することができる。特に、画像データの転送を長時間安定して行うことができる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用するカメラシステムの構成例を示すブロック図である。バジェット判定・符号化制御部の構成例を示すブロック図である。画像圧縮装置の構成例を示すブロック図である。カメラシステムの処理について説明するフローチャートである。バジェット判定処理について説明するフローチャートである。電力バジェット情報の例を示す図である。電力帯域バジェット情報の例を示す図である。符号化制御部の符号化制御処理について説明するフローチャートである。画像圧縮装置の符号化処理を説明するフローチャートである。画像圧縮装置の符号化処理を説明するフローチャートである。符号化制御処理の他の例を説明するフローチャートである。符号化制御処理のさらに他の例を説明するフローチャートである。バジェット判定処理の他の例を説明するフローチャートである。電力バジェット情報の例を示す図である。電力帯域バジェット情報の例を示す図である。図１３のバジェット判定処理を行った場合の符号化制御処理について説明するフローチャートである。バジェット判定処理のさらに他の例について説明するフローチャートである。図１７のバジェット判定処理を行った場合の符号化制御処理について説明するフローチャートである。バジェット判定処理のさらに他の例について説明するフローチャートである。帯域バジェット情報の例を示す図である。図１９のバジェット判定処理を行った場合の符号化制御処理について説明するフローチャートである。本技術を適用するカメラシステムの他の構成例を示すブロック図である。本技術を適用するカメラシステムの他の構成例を示すブロック図である。本技術を適用するカメラシステムの他の構成例を示すブロック図である。コンピュータのハードウエアの構成例を示すブロック図である。

　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（カメラシステム）
　２．第２の実施の形態（カメラシステム）
　３．第３の実施の形態（カメラシステム）
　４．第４の実施の形態（カメラシステム）
　５．第５の実施の形態（コンピュータ）

＜１．第１の実施の形態＞
（カメラシステムの構成例）
　図１は、本技術を適用するカメラシステムの構成例を示すブロック図である。

　カメラシステム１００は、発電装置１０１、蓄電装置１０２、撮像装置１０３、画像処理装置１０４、画像圧縮装置１０５、無線伝送装置１０６、およびバジェット判定・符号化制御部１０７を含むように構成されている。

　発電装置１０１は、燃料や振動、光などの自然エネルギーから電力を生成する装置である。例えば、発電装置１０１は、太陽パネルや、振動から電力を生成する装置や、圧力から電力を生成する装置や、熱から電力を生成する装置や、電磁波から電力を発生する装置などであってもよい。

　発電装置１０１からの電力は、蓄電装置１０２に送信される。また、発電装置１０１は、発電量に関する情報である発電量情報を、バジェット判定・符号化制御部１０７に供給する。

　蓄電装置１０２は、発電装置１０１により発電された電力を蓄える。蓄電装置１０２は、電池残量を示す情報である電池残量情報を、バジェット判定・符号化制御部１０７に供給する。

　撮像装置１０３は、例えば、CMOS（Complementary Metal Oxide Semiconductor）固体撮像装置や、CCD（Charge Coupled Device）固体撮像装置、A/D変換装置などからなり、被写体を撮像することにより、画像データを取得する。撮像装置１０３は、取得した画像データを、画像処理装置１０４に出力する。

　画像処理装置１０４は、撮像装置１０３からの画像データに対して、画素の補正や色の補正、歪みの補正など、画像圧縮以外の画像処理を行い、画像処理後の画像データを、画像圧縮装置１０５に出力する。

　画像圧縮装置１０５は、バジェット判定・符号化制御部１０７からの圧縮制御情報を用いて、画像処理装置１０４からの画像データに対して、画像符号化アルゴリズムに基づいて、符号化処理（圧縮処理）を行う。画像符号化アルゴリズムとしては、例えば、JPEG、MPEG、H.246/AVC（以下、H.264と称する）、H.265/HEVC（High Efficiency Video Coding）（以下、H.265と称する）などが挙げられる。画像圧縮装置１０５は、符号化によりデータ量が削減されたデータを、無線伝送装置１０６に出力する。

　無線伝送装置１０６は、画像圧縮装置１０５からの符号化データを受け取り、アンテナ１０８を介して、無線で伝送を行う。また、無線伝送装置１０６は、通信可能帯域が記された通信可能帯域情報を、バジェット判定・符号化制御部１０７に供給する。

　バジェット判定・符号化制御部１０７は、発電装置１０１の発電量情報、蓄電装置１０２の電池残量情報、および無線伝送装置１０６の通信可能帯域情報を入力として、画像圧縮装置１０５の符号化処理制御のための情報を生成する。バジェット判定・符号化制御部１０７は、例えば、CPUやCPU上で動作するプログラムであってもよい。

　バジェット判定・符号化制御部１０７は、図２に示されるように、バジェット判定部１１１および符号化制御部１１２により構成される。バジェット判定部１１１は、発電量情報および電池残量情報を少なくとも１つ含む電力に関する電力情報、並びに通信可能帯域情報を入力として、符号化処理制御のもととなる電力・帯域バジェット情報を生成し、生成した電力・帯域バジェット情報を符号化制御部１１２に供給する。符号化制御部１１２は、バジェット判定部１１１からの電力・帯域バジェット情報から画像符号化方式や符号化パラメータ・モードを生成し、画像符号化方式や符号化パラメータ・モードが含まれる圧縮制御情報を、画像圧縮装置１０５に供給する。すなわち、符号化制御部１１２は、バジェット判定部１１１からの電力・帯域バジェット情報に応じて、画像圧縮装置１０５を制御し、画像符号化方式や符号化パラメータ・モードを切り替えさせる。

　（画像圧縮装置の構成例）
　図３は、画像圧縮装置の構成例を示すブロック図である。なお、図３の例においては、一例として、画像符号化方式がH.265である場合の例が示されている。

　MPEG2又はH．264などの旧来の画像符号化方式では、符号化処理は、マクロブロックと呼ばれる処理単位で実行される。マクロブロックは、16×16画素の均一なサイズを有するブロックである。これに対し、H.265では、符号化処理は、符号化単位（CU：Coding　Unit）と呼ばれる処理単位で実行される。CUは、最大符号化単位（LCU：Largest　Coding　Unit）を再帰的に分割することにより形成される、可変的なサイズを有するブロックである。選択可能なCUの最大サイズは、64×64画素である。選択可能なCUの最小サイズは、8×8画素である。最小サイズのCUは、(SCU:Smallest　Coding　Unit）と呼ばれる。

　このように、可変的なサイズを有するCUが採用される結果、H.265では、画像の内容に応じて画質及び符号化効率を適応的に調整することが可能である。予測符号化のための予測処理は、予測単位（PU：Prediction　Unit）と呼ばれる処理単位で実行される。PUは、CUをいくつかの分割パターンのうちの１つで分割することにより形成される。さらに、直交変換処理は、変換単位（TU：Transform　Unit）と呼ばれる処理単位で実行される。TUは、CU又はPUをある深さまで分割することにより形成される。

　CUのブロック分割は、1つのブロックの4（＝2×2）個のサブブロックへの分割を再帰的に繰り返すことにより行われ、結果として四分木（Quad-Tree）状のツリー構造が形成される。１つの四分木の全体をCTB（Coding　Tree　Block）といい、CTBに対応する論理的な単位をCTU（Coding　Tree　Unit）という。

　PUは、イントラ予測及びインター予測を含む予測処理の処理単位である。PUは、CUをいくつかの分割パターンのうちの１つで分割することにより形成される。TUは、直交変換処理の処理単位である。TUは、CU（イントラCUについては、CU内の各PU）をある深さまで分割することにより形成される。上述したCU、PU及びTUといったブロックを画像に設定するためにどのようなブロック分割を行うかは、典型的には、符号化効率を左右するコストの比較に基づいて決定される。このPUのサイズなどが符号化制御部１１２により符号化制御パラメータとして設定されて制御される。

　図３の例においては、画像圧縮装置１０５は、画面並べ替えバッファ１３２、演算部１３３、直交変換部１３４、量子化部１３５、可逆符号化部１３６、蓄積バッファ１３７、逆量子化部１３８、逆直交変換部１３９、および加算部１４０を有する。また、画像圧縮装置１０５は、フィルタ１４１、フレームメモリ１４４、スイッチ１４５、イントラ予測部１４６、動き予測・補償部１４７、予測画像選択部１４８、およびレート制御部１４９を有する。

　図３の画像圧縮装置１０５において、画像処理装置１０４からの画像データは、画面並べ替えバッファ１３２に出力されて記憶される。

　画面並べ替えバッファ１３２は、記憶した表示の順番のフレーム単位の画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１３２は、並べ替え後の画像を、演算部１３３、イントラ予測部１４６、および動き予測・補償部１４７に出力する。

　演算部１３３は、画面並べ替えバッファ１３２から供給される画像から、予測画像選択部１４８から供給される予測画像を減算することにより符号化を行う。演算部１３３は、その結果得られる画像を、残差情報(差分)として直交変換部１３４に出力する。なお、予測画像選択部１４８から予測画像が供給されない場合、演算部１３３は、画面並べ替えバッファ１３２から読み出された画像をそのまま残差情報として直交変換部１３４に出力する。

　直交変換部１３４は、TU単位で、演算部１３３からの残差情報に対して直交変換処理を行う。直交変換部１３４は、直交変換処理後の直交変換処理結果を量子化部１３５に供給する。

　量子化部１３５は、直交変換部１３４から供給される直交変換処理結果を量子化する。量子化部１３５は、量子化の結果得られる量子化値を可逆符号化部１３６に供給する。

　可逆符号化部１３６は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測部１４６から取得する。また、可逆符号化部１３６は、最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトル、参照画像を特定する情報などを動き予測・補償部１４７から取得する。また、可逆符号化部１３６は、フィルタ１４１からオフセットフィルタに関するオフセットフィルタ情報を取得する。

　可逆符号化部１３６は、量子化部１３５から供給される量子化値に対して、可変長符号化や算術符号化などの可逆符号化を行う。

　また、可逆符号化部１３６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像を特定する情報、並びにオフセットフィルタ情報などを、符号化に関する符号化情報として可逆符号化する。可逆符号化部１３６は、可逆符号化された符号化情報と量子化値を、符号化データとして蓄積バッファ１３７に供給し、蓄積させる。

　なお、可逆符号化された符号化情報は、可逆符号化された量子化値のヘッダ情報（例えばスライスヘッダ）とされてもよい。

　蓄積バッファ１３７は、可逆符号化部１３６から供給される符号化データを、一時的に記憶する。また、蓄積バッファ１３７は、記憶している符号化データを、符号化ストリームとして、無線伝送装置１０６に供給する。

　また、量子化部１３５より出力された量子化値は、逆量子化部１３８にも入力される。逆量子化部１３８は、量子化値を逆量子化する。逆量子化部１３８は、逆量化の結果得られる直交変換処理結果を逆直交変換部１３９に供給する。

　逆直交変換部１３９は、TU単位で、逆量子化部１３８から供給される直交変換処理結果に対して逆直交変換処理を行う。逆直交変換の方式としては、例えば、IDCT(逆離散コサイン変換)とIDST(逆離散サイン変換)がある。逆直交変換部１３９は、逆直交変換処理の結果得られる残差情報を加算部１４０に供給する。

　加算部１４０は、逆直交変換部１３９から供給される残差情報と、予測画像選択部１４８から供給される予測画像を加算し、復号を行う。加算部１４０は、復号された画像をフィルタ１４１とフレームメモリ１４４に供給する。

　フィルタ１４１は、加算部１４０から供給される復号された画像に対して、フィルタ処理を行う。具体的には、フィルタ１４１は、デブロックフィルタ処理と適応オフセットフィルタ(SAO（Sample adaptive offset)）処理を順に行う。フィルタ１４１は、フィルタ処理後の符号化済みのピクチャをフレームメモリ１４４に供給する。また、フィルタ１４１は、行われた適応オフセットフィルタ処理の種類とオフセットを示す情報を、オフセットフィルタ情報として可逆符号化部１３６に供給する。これらのフィルタの有無などが符号化制御部１１２により符号化制御パラメータとして設定されて制御される。

　フレームメモリ１４４は、フィルタ１４１から供給される画像と、加算部１４０から供給される画像を蓄積する。フレームメモリ１４４に蓄積されたフィルタ処理が行われていない画像のうちのPU（Prediction Unit）に隣接する画像は、周辺画像としてスイッチ１４５を介してイントラ予測部１４６に供給される。一方、フレームメモリ１４４に蓄積されたフィルタ処理が行われた画像は、参照画像としてスイッチ１４５を介して動き予測・補償部１４７に出力される。

　イントラ予測部１４６は、PU単位で、フレームメモリ１４４からスイッチ１４５を介して読み出された周辺画像を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。

　また、イントラ予測部１４６は、画面並べ替えバッファ１３２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づき、モードテーブル設定部５０から供給される情報が示す使用可能であるイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部１４６は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。

　ところで、H.264そしてH.265において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。

　かかる選択方式の例として、JM (Joint Model) と呼ばれるAVCの参照ソフトウエア (http://iphome.hhi.de/suehring/tml/index.htm において公開されている) に実装されている方法を挙げることが出来る。

　JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。

　High Complexity Modeにおけるコスト関数は、以下の式（１）のように示される。

　ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Ｒは、直交変換係数を含んだ、当該モードで符号化した場合の総符号量である。

　つまり、High Complexity Modeでの符号化を行うには、上記パラメータＤ及びＲを算出するため、全ての候補モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。

　Low Complexity Modeにおけるコスト関数は、以下の式（２）のように示される。

　ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。Qp2Quant(QP)は、量子化パラメータQpの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。

　すなわち、Low Complexity Modeにおいては、それぞれの候補モードに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。

　イントラ予測部１４６は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部１４８に供給する。イントラ予測部１４６は、予測画像選択部１４８から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部１３６に供給する。なお、イントラ予測モードとはPUのサイズ、予測方向などを表すモードである。

　動き予測・補償部１４７は、インター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部１４７は、画面並べ替えバッファ１３２から供給される画像と、フレームメモリ１４４からスイッチ１４５を介して読み出される参照画像に基づいて、インター予測モードの動きベクトルをPU単位で検出する。そして、動き予測・補償部１４７は、その動きベクトルに基づいてPU単位で参照画像に補償処理を施し、予測画像を生成する。例えば、この動きベクトルの探索範囲や、動きベクトルの精度、参照面の枚数などが符号化制御部１１２により符号化制御パラメータとして設定されて制御される。

　このとき、動き予測・補償部１４７は、画面並べ替えバッファ１３２から供給される画像と予測画像とに基づいて、すべてのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部１４７は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部１４８に供給する。また、動き予測・補償部１４７は、予測画像選択部１４８から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部１３６に出力する。なお、インター予測モードとは、PUのサイズなどを表すモードである。

　予測画像選択部１４８は、イントラ予測部１４６および動き予測・補償部１４７から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部１４８は、最適予測モードの予測画像を、演算部１３３および加算部１４０に供給する。また、予測画像選択部１４８は、最適予測モードの予測画像の選択をイントラ予測部１４６または動き予測・補償部１４７に通知する。

　レート制御部１４９は、蓄積バッファ１３７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１３５の量子化動作のレートを制御する。

　次に、図４のフローチャートを参照して、カメラシステム１００の処理について説明する。

　ステップＳ１０１において、発電装置１０１は、発電し、電力を蓄電装置１０２に出力する。このとき、発電装置１０１は、発電量に関する情報である発電量情報を、バジェット判定・符号化制御部１０７に供給する。

　ステップＳ１０２において、蓄電装置１０２は、発電装置１０１により発電された電力を蓄える。蓄電装置１０２は、電池残量を示す情報である電池残量情報を、バジェット判定・符号化制御部１０７に供給する。

　ステップＳ１０３において、撮像装置１０３は、被写体を撮像し、撮像により得られた画像データを、画像処理装置１０４に出力する。ステップＳ１０４において、画像処理装置１０４は、撮像装置１０３からの画像データに対して、画素の補正や色の補正、歪みの補正など、画像圧縮以外の画像処理を行い、画像処理後の画像データを、画像圧縮装置１０５に出力する。

　ステップＳ１０５において、バジェット判定部１１１は、バジェット判定処理を行う。このバジェット判定処理は、図５を参照して後述されるが、ステップＳ１０５の処理により、いまの電力の状況と無線通信の状況が分類される。そして、分類された電力帯域バジェット情報が符号化制御部１１２に供給される。

　ステップＳ１０６において、符号化制御部１１２は、バジェット判定部１１１からの電力・帯域バジェット情報をもとに、符号化制御処理を行う。この符号化制御処理は、図６を参照して後述されるが、ステップＳ１０６の処理により、画像符号化方式や符号化パラメータ・モードが生成され、画像符号化方式や符号化パラメータ・モードが含まれる圧縮制御情報が、画像圧縮装置１０５に供給される。

　ステップＳ１０７において、画像圧縮装置１０５は、符号化処理（画像圧縮処理）を行う。この符号化処理は、図７を参照して後述されるが、ステップＳ１０７の処理により、圧縮制御情報に基づいて符号化処理が行われ、画像処理後の画像データが、無線伝送装置１０６に出力される。

　ステップＳ１０８において、無線伝送装置１０６は、画像圧縮装置１０５からの符号化データを受け取り、アンテナ１０８を介して、無線で伝送を行う。

　次に、図５を参照して、図４のステップＳ１０５のバジェット判定処理について説明する。

　ステップＳ１１１において、バジェット判定部１１１は、発電装置１０１からの発電量情報に基づいて、発電量分類処理を行う。すなわち、バジェット判定部１１１は、発電装置１０１からの発電量情報から、閾値を使って、発電量が多いか少ないかに分類する。

　ステップＳ１１２において、バジェット判定部１１１は、蓄電装置１０２の電池残量情報に基づいて、蓄電量分類処理を行う。すなわち、バジェット判定部１１１は、蓄電装置１０２の電池残量情報から、閾値を使って、蓄電池の残量が多いか少ないかに分類する。

　ステップＳ１１３において、バジェット判定部１１１は、電力バジェット判定を行い、電力バジェット情報を、図６に示されるように、例えば、High/Middle/Lowに分類する。

　図６は、電力バジェット情報の例を示している。図６の例においては、電池残量が大きくて、発電量が大きいと、電力バジェットが、Highであることが示され、電池残量が大きくて、発電量が小さいと、電力バジェットが、Middleであることが示されている。また、電池残量が小さくて、発電量が大きいと、電力バジェットが、Middleであることが示され、電池残量が小さくて、発電量が小さいと、電力バジェットが、Lowであることが示されている。

　ステップＳ１１４において、バジェット判定部１１１は、無線伝送装置１０６からの通信可能帯域情報に基づいて、通信可能帯域分類判定処理を行う。すなわち、バジェット判定部１１１は、無線伝送装置１０６からの通信可能帯域情報を、閾値などを利用して、帯域が多いか少ないかに分類する。

　ステップＳ１１５において、バジェット判定部１１１は、通信電力バジェット判定を行い、電力帯域バジェット情報を、例えば、図７に示される6種類に分類する。

　図７は、電力帯域バジェット情報を示している。図７の例においては、通信可能帯域が大きくて、電力バジェットがHighであると、電力帯域バジェットが、H_Hであることが示され、通信可能帯域が小さくて、電力バジェットがLowであると、電力帯域バジェットが、L_Hであることが示されている。また、通信可能帯域が大きくて、電力バジェットがMiddleであると、電力帯域バジェットが、H_Mであることが示され、通信可能帯域が小さくて、電力バジェットがMiddleであると、電力帯域バジェットが、L_Mであることが示されている。さらに、通信可能帯域が大きくて、電力バジェットがLowであると、電力帯域バジェットが、H_Lであることが示され、通信可能帯域が小さくて、電力バジェットが小さいと、電力帯域バジェットが、L_Lであることが示されている。

　そして、バジェット判定部１１１は、この分類を示す電力・帯域バジェット情報を符号化制御部１１２に供給し、バジェット判定処理を終了する。

　次に、図８のフローチャートを参照して、図４のステップＳ１０６の符号化制御処理について説明する。

　ステップＳ１２１において、符号化制御部１１２は、バジェット判定部１１１からの電力・帯域バジェット情報に基づいて、帯域バジェットが大きいか否かを判定する。ステップＳ１５１において、帯域バジェットが大きいと判定された場合（例えば、6種類の分類で、H_*の場合）、処理は、ステップＳ１２２に進む。ステップＳ１２２において、符号化制御部１１２は、使用する符号化方式を、イントラ符号化方式であるJPEG方式に設定する。なお、イントラ符号化方式であれば、MotionJPEGなどのJPEG以外でもよい。

　ステップＳ１２１において、帯域バジェットが小さいと判定された場合（例えば、6種類の分類で、L_*の場合）、処理は、ステップＳ１２３に進む。ステップＳ１２３において、符号化制御部１１２は、使用する符号化方式を、イントラより圧縮率の高いインター予測可能な符号化方式であるH.264方式に設定する。なお、インター予測可能な符号化方式であれば、H.264方式以外にも、MPEG2,MPEG4,VP8,VP9,H.265方式としてもよい。

　ステップＳ１２４において、符号化制御部１１２は、バジェット判定部１１１からの電力・帯域バジェット情報に基づいて、インター予測に使用する参照面の枚数を決定するため、電力バジェットがHighか否かを判定する。ステップＳ１２４において、電力バジェットがHighであると判定された場合、処理は、ステップＳ１２５に進む。ステップＳ１２５において、符号化制御部１１２は、インター予測で利用できる参照面を２枚に設定し、双方向予測を使用できるようにする。

　ステップＳ１２４において、電力バジェットがHighではないと判定された場合、処理は、ステップＳ１２６に進む。ステップＳ１２６において、バジェット判定部１１１からの電力・帯域バジェット情報に基づいて、インター予測に使用する参照面の枚数を決定するため、電力バジェットがMiddleか否かを判定する。

　ステップＳ１２６において、電力バジェットがMiddleであると判定された場合、処理は、ステップＳ１２７に進む。ステップＳ１２７において、符号化制御部１１２は、インター予測で利用できる参照面を１枚に設定し、双方向予測を使用できるようにする。

　ステップＳ１２６において、電力バジェットがMiddleではない、すなわち、Lowであると判定された場合、処理は、ステップＳ１２８に進む。ステップＳ１２８において、符号化制御部１１２は、インター予測で利用できる参照面を１枚に設定し、双方向予測は使用できないが、片方向予測を使用できるようにする。これにより、符号化処理における消費電力が抑えられる。

　ステップＳ１２２、ステップＳ１２５、Ｓ１２７、およびＳ１２８の後、処理は、ステップＳ１２９に進む。ステップＳ１２９において、符号化制御部１１２は、目標ビットレートを、通信可能帯域以下の値で設定する。

　このように算出された画像符号化方式や符号化パラメータ・モードは、圧縮制御情報として、画像圧縮装置１０５に供給される。そして、画像圧縮装置１０５においては、この圧縮制御情報に従った符号化処理が行われる。

　なお、H.264方式の場合、上述した切り替え処理に代えて（または、加えて）、可変長符号化処理を、CABAC（Context-Adaptive Binary Arithmetic Coding）とCAVLC（Context-Adaptive Variable Length Coding）との間で切り替えるようにしてもよい。CABACは、1bitずつ確率テーブルを更新しながら符号化・復号する必要があるため、並列化に向きにくい演算構造となっている。すなわちスループット（単位時間あたりの処理性能）を上げるためには高速で回路を動作させる必要がある。演算自体も複雑であり、電力もかかる。その代わり、符号化効率は、CAVLCよりも高い。

　一方、CAVLCは、テーブルルックアップ型の演算構造のため、並列化させやすく処理内容も比較的単純であり、低電力の処理になる。その代わり、符号化効率はCABACより劣る。以上のことから、電力バジェットがHigh(電力がたくさん使える＝クロック周波数をあげてもよい)場合は、CABACを使って、そうではない場合は、CAVLCを使うように切り替えられる。

　（画像圧縮装置の処理の説明）
　図９および図１０は、図１の画像圧縮装置１０５の符号化処理を説明するフローチャートである。なお、この符号化処理は、符号化制御部１１２からの圧縮制御情報に基づいて行われる。また、図９および図１０においては、一例として、H.265符号化方式が行われる例について説明する。

　画像処理装置１０４からの画像データは、画面並べ替えバッファ１３２に出力されて記憶される。

　図９のステップＳ１３１において、画像圧縮装置１０５の画面並べ替えバッファ１３２（図３）は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１３２は、並べ替え後のフレーム単位の画像を、演算部１３３、イントラ予測部１４６、および動き予測・補償部１４７に供給する。

　ステップＳ１３２において、イントラ予測部１４６は、PU単位で、イントラ予測モードのイントラ予測処理を行う。すなわち、イントラ予測部１４６は、画面並べ替えバッファ１３２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、すべてのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部１４６は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部１４６は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部１４８に供給する。

　また、動き予測・補償部１４７は、ステップＳ１３３においてPU単位で、インター予測モードの動き予測・補償処理を行う。また、動き予測・補償部１４７は、画面並べ替えバッファ１３２から供給される画像と予測画像とに基づいて、すべてのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部１４７は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部１４８に供給する。なお、H.265でイントラのみとされている場合には、ステップＳ１３３の処理は省略される。すなわち、不必要な処理がなされないので、消費電力が抑えられる効果がある。また、ここで、この動きベクトルの探索範囲や、動きベクトルの精度、参照面の枚数などが符号化制御部１１２により符号化制御パラメータとして設定されて制御されている場合には、その制御に従ってインター予測が行われる。

　ステップＳ１３４において、予測画像選択部１４８は、イントラ予測部１４６および動き予測・補償部１４７から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部１４８は、最適予測モードの予測画像を、演算部１３３および加算部１４０に供給する。

　ステップＳ１３５において、予測画像選択部１４８は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ１３５で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部１４８は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部１４７に通知する。

　そして、ステップＳ１３６において、動き予測・補償部１４７は、インター予測モード情報、動きベクトル、および参照画像を特定する情報を可逆符号化部１３６に供給し、処理をステップＳ１３８に進める。

　一方、ステップＳ１３６で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部１４８は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部１４６に通知する。そして、ステップＳ１３７において、イントラ予測部１４６は、イントラ予測モード情報を可逆符号化部１３６に供給し、処理をステップＳ１３８に進める。

　ステップＳ１３８において、演算部１３３は、画面並べ替えバッファ１３２から供給される画像から、予測画像選択部１４８から供給される予測画像を減算することにより符号化を行う。演算部１３３は、その結果得られる画像を、残差情報として直交変換部１３４に出力する。

　ステップＳ１３９において、直交変換部１３４は、TU単位で、残差情報に対して直交変換処理を行う。直交変換部１３４は、直交変換処理後の直交変換処理結果を量子化部１３５に供給する。

　ステップＳ１４０において、量子化部１３５は、直交変換部１３４から供給される直交変換処理結果を量子化する。量子化部１３５は、量子化の結果得られる量子化値を可逆符号化部１３６と逆量子化部１３８に供給する。

　ステップＳ１４１において、逆量子化部１３８は、量子化部１３５からの量子化値に対して逆量子化を行う。逆量子化部１３８は、逆量化の結果得られる直交変換処理結果を逆直交変換部１３９に供給する。

　ステップＳ１４２において、逆直交変換部１３９は、TU単位で、逆量子化部１３８から供給される直交変換処理結果に対して逆直交変換処理を行う。逆直交変換部１３９は、逆直交変換処理の結果得られる残差情報を加算部１４０に供給する。

　ステップＳ１４３において、加算部１４０は、逆直交変換部１３９から供給される残差情報と、予測画像選択部１４８から供給される予測画像を加算し、復号を行う。加算部１４０は、復号された画像をフィルタ１４１とフレームメモリ１４４に供給する。

　ステップＳ１４４において、フィルタ１４１は、加算部１４０から供給される復号された画像に対して、デブロックフィルタ処理を行う。

　ステップＳ１４５において、フィルタ１４１は、デブロックフィルタ後の画像に対して、適応オフセットフィルタ処理を行う。フィルタ１４１は、その結果得られる画像をフレームメモリ１４４に供給する。また、フィルタ１４１は、LCUごとに、オフセットフィルタ情報を可逆符号化部１３６に供給する。これらのフィルタの有無などが符号化制御部１１２により符号化制御パラメータとして設定されて制御される。したがって、デブロックフィルタが適用されない場合、ステップＳ１４４の処理は省略され、適用オフセットフィルタが適用されない場合、ステップＳ１４５の処理が省略される。これにより、符号化処理にかかる消費電力が抑えられる。

　ステップＳ１４６において、フレームメモリ１４４は、フィルタ１４１から供給される画像と加算部１４０から供給される画像を蓄積する。フレームメモリ１４４に蓄積されたフィルタ処理が行われていない画像のうちのPUに隣接する画像は、周辺画像としてスイッチ１４５を介してイントラ予測部１４６に供給される。一方、フレームメモリ１４４に蓄積されたフィルタ処理が行われた画像は、参照画像としてスイッチ１４５を介して動き予測・補償部１４７に出力される。

　ステップＳ１４７において、可逆符号化部１３６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像を特定する情報、並びにオフセットフィルタ情報などを、符号化情報として可逆符号化する。

　ステップＳ１４８において、可逆符号化部１３６は、量子化部１３５から供給される量子化値を可逆符号化する。そして、可逆符号化部１３６は、ステップＳ１４７の処理で可逆符号化された符号化情報と可逆符号化された量子化値から、符号化データを生成し、蓄積バッファ１３７に供給する。

　ステップＳ１４９において、蓄積バッファ１３７は、可逆符号化部１３６から供給される符号化データを、一時的に蓄積する。

　ステップＳ１５０において、レート制御部１４９は、蓄積バッファ１３７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１３５の量子化動作のレートを制御する。そして、符号化処理は終了される。

　なお、符号化制御処理については、様々なバリエーションが考えられる。

　次に、図１１のフローチャートを参照して、図４のステップＳ１０６の符号化制御処理の他の例を説明する。

　ステップＳ１６１において、符号化制御部１１２は、バジェット判定部１１１からの電力・帯域バジェット情報に基づいて、帯域バジェットが大きいか否かを判定する。ステップＳ１６１において、帯域バジェットが大きいと判定された場合、処理は、ステップＳ１６２に進む。ステップＳ１６２において、符号化制御部１１２は、使用する符号化方式を、H.264のイントラピクチャのみに設定する。なお、インター予測可能な符号化方式のイントラピクチャであれば、H.264方式以外にも、MPEG2,MPEG4,VP8,VP9,H.265方式のイントラピクチャとしてもよい。

　ステップＳ１６１において、帯域バジェットが小さいと判定された場合、処理は、ステップＳ１６３に進む。ステップＳ１６３において、符号化制御部１１２は、使用する符号化方式を、イントラより圧縮率の高いインター予測可能な符号化方式であるH.264方式に設定する。なお、インター予測可能な符号化方式であれば、H.264方式以外にも、MPEG2,MPEG4,VP8,VP9,H.265方式としてもよい。

　ステップＳ１６４において、符号化制御部１１２は、バジェット判定部１１１からの電力・帯域バジェット情報に基づいて、インター予測における動き予測の探索範囲を決定するため、電力バジェットがHighか否かを判定する。ステップＳ１６４において、電力バジェットがHighであると判定された場合、処理は、ステップＳ１６５に進む。符号化制御部１１２は、ステップＳ１６５において、インター予測における動き予測の探索範囲を大きく設定し、ステップＳ１６６において、デブロックフィルタを使用するようにする。

　ステップＳ１６４において、電力バジェットがHighではないと判定された場合、処理は、ステップＳ１６７に進む。ステップＳ１６７において、バジェット判定部１１１からの電力・帯域バジェット情報に基づいて、インター予測における動き予測の探索範囲を決定するため、電力バジェットがMiddleか否かを判定する。

　ステップＳ１６７において、電力バジェットがMiddleであると判定された場合、処理は、ステップＳ１６８に進む。符号化制御部１１２は、ステップＳ１６８において、インター予測における動き予測の探索範囲を中程度に設定し、ステップＳ１６９において、デブロックフィルタを使用するようにする。

　ステップＳ１６７において、電力バジェットがMiddleではない、すなわち、Lowであると判定された場合、処理は、ステップＳ１７０に進む。符号化制御部１１２は、ステップＳ１７０において、インター予測における動き予測の探索範囲を小さく設定し、ステップＳ１７１において、デブロックフィルタを非使用とする。このようにすることで、符号化処理にかかる使用電力が抑えられる。

　ステップＳ１６２、ステップＳ１６６、ステップＳ１６９、およびＳ１７１の後、処理は、ステップＳ１７２に進む。ステップＳ１７２において、符号化制御部１１２は、目標ビットレートを、通信可能帯域以下の値で設定する。

　次に、図１２のフローチャートを参照して、図４のステップＳ１０６の符号化制御処理のさらに他の例を説明する。

　ステップＳ１８１において、符号化制御部１１２は、バジェット判定部１１１からの電力・帯域バジェット情報に基づいて、帯域バジェットが大きいか否かを判定する。ステップＳ１８１において、帯域バジェットが大きいと判定された場合、処理は、ステップＳ１８２に進む。ステップＳ１８２において、符号化制御部１１２は、使用する符号化方式を、H.265のイントラピクチャのみに設定する。

　ステップＳ１８３において、符号化制御部１１２は、バジェット判定部１１１からの電力・帯域バジェット情報に基づいて、電力バジェットがHighか否かを判定する。ステップＳ１８３において、電力バジェットがHighであると判定された場合、処理は、ステップＳ１８４に進む。符号化制御部１１２は、ステップＳ１８４において、デブロックフィルタを使用し、ステップＳ１８５において、適応オフセットフィルタを使用するようにする。

　ステップＳ１８３において、電力バジェットがHighではないと判定された場合、処理は、ステップＳ１８６に進む。ステップＳ１８６において、バジェット判定部１１１からの電力・帯域バジェット情報に基づいて、電力バジェットがMiddleか否かを判定する。

　ステップＳ１８６において、電力バジェットがMiddleであると判定された場合、処理は、ステップＳ１８７に進む。符号化制御部１１２は、ステップＳ１８７において、デブロックフィルタを使用し、ステップＳ１８８において、適応オフセットフィルタを未使用とするようにする。

　ステップＳ１８６において、電力バジェットがMiddleではない、すなわち、Lowであると判定された場合、処理は、ステップＳ１８９に進む。符号化制御部１１２は、ステップＳ１８９において、デブロックフィルタを未使用とし、ステップＳ１９０において、デブロックフィルタを非使用とする。これにより、符号化処理にかかる消費電力を抑えることができる。

　ステップＳ１８１において、帯域バジェットが小さいと判定された場合、処理は、ステップＳ１９１に進む。ステップＳ１９１において、符号化制御部１１２は、使用する符号化方式を、イントラより圧縮率の高いインター予測可能な符号化方式であるH.265方式に設定する。

　ステップＳ１９２において、符号化制御部１１２は、バジェット判定部１１１からの電力・帯域バジェット情報に基づいて、インター予測における動き予測の探索範囲を決定するため、電力バジェットがHighか否かを判定する。ステップＳ１９２において、電力バジェットがHighであると判定された場合、処理は、ステップＳ１９３に進む。符号化制御部１１２は、ステップＳ１９３において、インター予測における動き予測の探索範囲を大きく設定し、ステップＳ１９４において、デブロックフィルタを使用するようにし、ステップＳ１９５において、適応オフセットフィルタを使用するようにする。

　ステップＳ１９２において、電力バジェットがHighではないと判定された場合、処理は、ステップＳ１９６に進む。ステップＳ１９６において、バジェット判定部１１１からの電力・帯域バジェット情報に基づいて、インター予測における動き予測の探索範囲を決定するため、電力バジェットがMiddleか否かを判定する。

　ステップＳ１９６において、電力バジェットがMiddleであると判定された場合、処理は、ステップＳ１９７に進む。符号化制御部１１２は、ステップＳ１９７において、インター予測における動き予測の探索範囲を中程度に設定し、ステップＳ１９８において、デブロックフィルタを使用するようにし、ステップＳ１９９において、適応オフセットフィルタを未使用とする。これにより、highの場合より、符号化処理にかかる消費電力を抑えることができる。

　ステップＳ１９６において、電力バジェットがMiddleではない、すなわち、Lowであると判定された場合、処理は、ステップＳ２００に進む。符号化制御部１１２は、ステップＳ２００において、インター予測における動き予測の探索範囲を小さく設定し、ステップＳ２０１において、デブロックフィルタを非使用とし、ステップＳ２０２において、適応オフセットフィルタを非使用とする。これにより、Middleの場合より、符号化処理にかかる消費電力を抑えることができる。

　ステップＳ１８５、ステップＳ１８８、ステップＳ１９０、ステップＳ１９５、ステップＳ１９９、およびＳ２０２の後、処理は、ステップＳ２０３に進む。ステップＳ２０３において、符号化制御部１１２は、目標ビットレートを、通信可能帯域以下の値で設定する。

　ここで、バジェット判定における他の判定例としては、電力バジェットを蓄電量の残量情報のみで判定する例も考えられる。例えば、後述するカメラシステム２００のように、自然エネルギーによる発電装置を備えていなシステムにおいては、蓄電池もしくは一次電池の残量のみで電力バジェットを判定する。

　このようなバジェット判定処理の例として、次に、図１３のフローチャートを参照して、図４のステップＳ１０５におけるバジェット判定処理の他の例について説明する。

　ステップＳ２１１において、バジェット判定部１１１は、蓄電装置１０２の電池残量情報に基づいて、蓄電量分類処理を行う。すなわち、バジェット判定部１１１は、蓄電装置１０２の電池残量情報から、閾値を使って、蓄電池の残量が多いか少ないかに分類する。

　ステップＳ２１２において、バジェット判定部１１１は、電力バジェット判定を行い、電力バジェット情報を、例えば、High /Lowに分類する。

　図１４は、電力バジェット情報の例を示している。図１４の例においては、電池残量が大きくいと、電力バジェットが、Highであることが示され、電池残量が小さいと、電力バジェットが、電力バジェットが、Lowであることが示されている。

　ステップＳ２１３において、バジェット判定部１１１は、無線伝送装置１０６からの通信可能帯域情報に基づいて、通信可能帯域分類判定処理を行う。すなわち、バジェット判定部１１１は、無線伝送装置１０６からの通信可能帯域情報を、閾値などを利用して、帯域が多いか少ないかに分類する。

　ステップＳ２１４において、バジェット判定部１１１は、通信電力バジェット判定を行い、電力帯域バジェット情報を、例えば、図１５に示されるように4種類に分類する。

　図１５は、電力帯域バジェット情報の例を示している。図１５の例においては、通信可能帯域が大きくて、電力バジェットがHighであると、電力帯域バジェットが、H_Hであることが示され、通信可能帯域が小さくて、電力バジェットがLowであると、電力帯域バジェットが、L_Hであることが示されている。また、電力バジェット判定テーブルにおいては、通信可能帯域が大きくて、電力バジェットがLowであると、電力帯域バジェットが、H_Lであることが示され、通信可能帯域が小さくて、電力バジェットが小さいと、電力帯域バジェットが、L_Lであることが示されている。

　次に、図１６のフローチャートを参照して、図１３のバジェット判定処理を行った場合の図４のステップＳ１０６の符号化制御処理について説明する。

　ステップＳ２４１において、符号化制御部１１２は、バジェット判定部１１１からの電力・帯域バジェット情報に基づいて、帯域バジェットが大きいか否かを判定する。ステップＳ２４１において、帯域バジェットが大きいと判定された場合、処理は、ステップＳ２４２に進む。ステップＳ２４２において、符号化制御部１１２は、使用する符号化方式を、H.265のイントラピクチャのみに設定する。

　ステップＳ２４１において、帯域バジェットが小さいと判定された場合、処理は、ステップＳ２４３に進む。ステップＳ２４３において、符号化制御部１１２は、使用する符号化方式を、イントラより圧縮率の高いインター予測可能な符号化方式であるH.265方式に設定する。

　ステップＳ２４４において、符号化制御部１１２は、バジェット判定部１１１からの電力・帯域バジェット情報に基づいて、電力バジェットがHighか否かを判定する。ステップＳ２４４において、電力バジェットがHighであると判定された場合、処理は、ステップＳ２４５に進む。符号化制御部１１２は、ステップＳ２４５において、PUサイズの制限をなしに設定する。

　ステップＳ２４４において、電力バジェットがHighではないと判定された場合、処理は、ステップＳ２４６に進む。符号化制御部１１２は、ステップＳ２４６において、PUサイズは16×16以上とするように、PUサイズの制限を加える。これにより、PUサイズが細かくなってしまうことを防ぐことができるので、Highの場合より符号化処理の消費電力が抑えられる。

　ステップＳ２４２、ステップＳ２４５、およびＳ２４６の後、処理は、ステップＳ２４７に進む。ステップＳ２４７において、符号化制御部１１２は、目標ビットレートを、通信可能帯域以下の値で設定する。

　また、ここで、バジェット判定におけるさらに他の判定例としては、バジェットを、電力バジェットのみ、もしくは、帯域バジェットのみで判定する例も考えられる。例えば、後述するカメラシステム３００のように、電源は、有線の電力網から供給されるが、データ伝送は無線のシステム、あるいは、カメラシステム４００のように、電源は、自然エネルギーによる発電装置によるが、データ伝送は、有線のシステムなどに適用することができる。

　電力バジェットのみで判定するバジェット判定処理の例として、次に、図１７のフローチャートを参照して、図４のステップＳ１０５におけるバジェット判定処理のさらに他の例について説明する。

　ステップＳ２５１において、バジェット判定部１１１は、発電装置１０１からの発電量情報に基づいて、発電量分類処理を行う。すなわち、バジェット判定部１１１は、発電装置１０１からの発電量情報から、閾値を使って、発電量が多いか少ないかに分類する。

　ステップＳ２５２において、バジェット判定部１１１は、蓄電装置１０２の電池残量情報に基づいて、蓄電量分類処理を行う。すなわち、バジェット判定部１１１は、蓄電装置１０２の電池残量情報から、閾値を使って、蓄電池の残量が多いか少ないかに分類する。

　ステップＳ２５３において、バジェット判定部１１１は、電力バジェット判定を行い、電力バジェット情報を、例えば、High/Middle/Lowに分類する。そして、バジェット判定部１１１は、この分類を示す電力バジェット情報を符号化制御部１１２に供給し、バジェット判定処理を終了する。

　次に、図１８のフローチャートを参照して、図１７のバジェット判定処理を行った場合の図４のステップＳ１０６の符号化制御処理について説明する。

　ステップＳ２６１において、符号化制御部１１２は、バジェット判定部１１１からの電力バジェット情報に基づいて、電力バジェットがHighであるか否かを判定する。ステップＳ２６１において、電力バジェットがHighであると判定された場合、処理は、ステップＳ２６２に進む。ステップＳ２６２において、符号化制御部１１２は、使用する符号化方式を、H.265に設定する。

　ステップＳ２６３において、符号化制御部１１２は、インター予測で利用できる参照面を２枚に設定し、双方向予測を使用できるようにする。

　符号化制御部１１２は、ステップＳ２６４において、インター予測の動き探索の範囲を大きく設定し、ステップＳ２６５において、動き予測で探索する動きベクトルの精度を小数精度（1/2もしくは1/4）に設定し、小数精度ベクトルを利用可能とする。

　ステップＳ２４４において、電力バジェットがHighではないと判定された場合、処理は、ステップＳ２６６に進む。ステップＳ２６６において、バジェット判定部１１１からの電力バジェット情報に基づいて、電力バジェットがMiddleか否かを判定する。

　ステップＳ２６６において、電力バジェットがMiddleであると判定された場合、処理は、ステップＳ２６７に進む。符号化制御部１１２は、ステップＳ２６７において、使用する符号化方式をH.265に設定し、ステップＳ２６８において、インター予測で利用できる参照面を１枚に設定し、双方向予測を使用できるようにする。符号化制御部１１２は、ステップＳ２６９において、インター予測における動き予測の探索範囲を小さく設定し、ステップＳ２７０において、動き予測で探索する動きベクトルの精度を整数精度に設定し、整数精度ベクトルのみを利用可能とする。これにより、highの場合より符号化処理にかかる消費電力を抑えることができる。

　ステップＳ２６６において、電力バジェットがMiddleではない、すなわち、Lowであると判定された場合、処理は、ステップＳ２７１に進む。符号化制御部１１２は、ステップＳ２７１において、符号化方式を、JPEGに設定する。これにより、Middleの場合より符号化処理にかかる消費電力を抑えることができる。

　ステップＳ２６５、ステップＳ２７０、およびＳ２７１の後、処理は、ステップＳ２７２に進む。ステップＳ２７２において、符号化制御部１１２は、目標ビットレートを、通信可能帯域以下の値で設定する。

　通信バジェットのみで判定するバジェット判定処理の例として、次に、図１９のフローチャートを参照して、図４のステップＳ１０５におけるバジェット判定処理のさらに他の例について説明する。

　ステップＳ２８１において、バジェット判定部１１１は、無線伝送装置１０６からの通信可能帯域情報に基づいて、通信可能帯域分類バジェット判定処理を行う。すなわち、バジェット判定部１１１は、無線伝送装置１０６からの通信可能帯域情報を、閾値などを利用して、図２０に示されるように、High/Lowに分類する。

　図２０は、帯域バジェット情報の例を示している。図２０の例においては、使用可能帯域が大きい場合、帯域バジェットがHighであることが示され、使用可能帯域が小さい場合、帯域バジェットがLowであることが示されている。

　そして、バジェット判定部１１１は、この分類を示す帯域バジェット情報を符号化制御部１１２に供給し、バジェット判定処理を終了する。

　次に、図２１のフローチャートを参照して、図１９のバジェット判定処理を行った場合の図４のステップＳ１０６の符号化制御処理について説明する。

　符号化制御部１１２は、バジェット判定部１１１からの帯域バジェット情報に基づいて、帯域バジェットが大きいか否かを判定する。ステップＳ３０１において、帯域バジェットが大きいと判定された場合、処理は、ステップＳ３０２に進む。ステップＳ３０２において、符号化制御部１１２は、使用する符号化方式を、イントラ符号化方式であるJPEG方式に設定する。なお、イントラ符号化方式であれば、MotionJPEGなどのJPEG以外でもよい。

　一方、ステップＳ３０１において、帯域バジェットが小さいと判定された場合、処理は、ステップＳ３０３に進む。ステップＳ３０３において、符号化制御部１１２は、使用する符号化方式を、イントラより圧縮率の高いインター予測可能な符号化方式であるH.265方式に設定する。なお、インター予測可能な符号化方式であれば、H.265方式以外にも、MPEG2,MPEG4,VP8,VP9,H.264方式としてもよい。

　ステップＳ３０２、およびステップＳ３０３の後、処理は、ステップＳ３０４に進む。ステップＳ３０４において、符号化制御部１１２は、目標ビットレートを、通信可能帯域以下の値で設定する。

　以上のように、本技術によれば、使用可能な電力および通信可能帯域の少なくとも一方が変化するカメラシステムにおいて、符号化方式や符号化制御パラメータを変更して（切り替えて）、圧縮率を変更したり、符号化データを小さくしたり、消費電力を抑えることができる。これにより、長時間安定して高品位な画像データを転送することができる。また、画像の解像度や更新頻度を下げずに長時間安定して高品位な画像データを転送することができる。

＜２．第２の実施の形態＞
（カメラシステムの構成例）
　図２２は、本技術を適用するカメラシステムの他の構成例を示すブロック図である。

　カメラシステム２００は、撮像装置１０３、画像処理装置１０４、画像圧縮装置１０５、無線伝送装置１０６、およびバジェット判定・符号化制御部１０７を備える点は、図１のカメラシステム１００と共通している。カメラシステム２００は、発電装置１０１が除かれた点と、蓄電装置１０２が蓄電装置（一次電池）２０１と入れ替わった点が、図１のカメラシステム１００と異なっている。

　すなわち、蓄電装置（一次電池）２０１は、蓄電池または一次電池で構成されており、電池残量を示す情報である電池残量情報を、バジェット判定・符号化制御部１０７に供給する。

　したがって、バジェット判定・符号化制御部１０７は、自然エネルギーによる発電装置を備えておらず、図１３を参照して上述したように、蓄電装置（一次電池）２０１からの電池残量情報のみで電力バジェットを判定する。また、図１６を参照して上述したように、符号化制御処理を行う。

　なお、それ以外の処理は、上述したカメラシステム１００と同様の処理を行うので、その詳細な説明は省略される。

＜３．第３の実施の形態＞
（カメラシステムの構成例）
　図２３は、本技術を適用するカメラシステムの他の構成例を示すブロック図である。

　カメラシステム２００は、撮像装置１０３、画像処理装置１０４、画像圧縮装置１０５、無線伝送装置１０６、およびバジェット判定・符号化制御部１０７を備える点は、図１のカメラシステム１００と共通している。カメラシステム２００は、発電装置１０１が除かれた点と、蓄電装置１０２が電源回路３０１と入れ替わった点が、図１のカメラシステム１００と異なっている。

　すなわち、電源回路３０１は、有線電力を入力し、電力をカメラシステム２００に供給する。なお、電源回路３０１は、電池残量を示す情報である電池残量情報を、バジェット判定・符号化制御部１０７に供給しない。

　したがって、バジェット判定・符号化制御部１０７は、図１９を参照して上述したように、通信バジェットのみで判定するバジェット判定を行う。また、図２０を参照して上述したように、符号化制御処理を行う。

＜４．第４の実施の形態＞
（カメラシステムの構成例）
　図２４は、本技術を適用するカメラシステムの他の構成例を示すブロック図である。

　カメラシステム３００は、発電装置１０１、蓄電装置１０２、撮像装置１０３、画像処理装置１０４、画像圧縮装置１０５、およびバジェット判定・符号化制御部１０７を備える点は、図１のカメラシステム１００と共通している。カメラシステム２００は、無線伝送装置１０６が伝送装置４０１と入れ替わった点が、図１のカメラシステム１００と異なっている。

　すなわち、伝送装置４０１は、画像圧縮装置１０５からの符号化データを受け取り、アンテナ１０８を介して、有線で伝送を行う。なお、伝送装置４０１は、通信可能帯域情報を、バジェット判定・符号化制御部１０７に供給しない。

　したがって、バジェット判定・符号化制御部１０７は、図２１を参照して上述したように、電力バジェットのみで判定するバジェット判定を行う。また、図２２を参照して上述したように、符号化制御処理を行う。

　上記説明においては、発電装置１０１、蓄電装置１０２、および無線伝送装置１０６を少なくとも１つ備えるカメラシステムの例を説明したが、本技術は、カメラシステムなどの撮像装置に限らず、発電装置や蓄電装置、および無線伝送装置の少なくとも１つを備え、符号化処理を行う画像処理装置や情報処理装置にも適用される。

　また、本技術は、発電装置や蓄電装置、および無線伝送装置を備えた装置から情報を受けて、上述したバジェット判定、符号化制御処理のみをまとめて行い、符号化制御情報を、インターネットを介して転送するようなクラウドシステムなどのサーバなどにも適用することができる。

＜５．第５の実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

　コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。

　バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。

　入力部６０６は、キーボード、マウス、マイクロホンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

　以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　なお、本技術は以下のような構成も取ることができる。
　（１）　画像データの符号化処理を行い、符号化データを生成する符号化部と、
　電力に関する電力情報に応じて、前記符号化処理を制御する符号化制御部と、
　前記符号化部により生成された符号化データを伝送する伝送部と
　を備える画像符号化装置。
　（２）前記電力情報は、発電されている発電量を示す情報および蓄電されている電池の残量情報の少なくとも１つの情報を含む
　前記（１）に記載の画像符号化装置。
　（３）　前記符号化制御部は、前記符号化処理に用いられる符号化方式を切り替える
　前記（１）または（２）に記載の画像符号化装置。
　（４）　前記符号化制御部は、前記符号化処理に用いられる符号化方式のイントラ予測とインター予測を切り替える
　前記（１）乃至（３）のいずれかに記載の画像符号化装置。
　（５）　前記符号化制御部は、前記符号化処理に用いられる符号化制御パラメータを切り替える
　前記（１）乃至（４）のいずれかに記載の画像符号化装置。
　（６）　前記符号化制御部は、インター予測を適用している場合、前記符号化制御パラメータとして、片方向予測モードと両方向予測モードとを切り替える
　前記（５）に記載の画像符号化装置。
　（７）　前記符号化制御部は、インター予測を適用している場合、前記符号化制御パラメータとして、参照面の数を切り替える
　前記（５）または（６）に記載の画像符号化装置。
　（８）　前記符号化制御部は、インター予測を適用している場合、前記符号化制御パラメータとして、動き予測の探索範囲の大きさを切り替える
　前記（５）乃至（７）のいずれかに記載の画像符号化装置。
　（９）　前記符号化制御部は、インター予測を適用している場合、前記符号化制御パラメータとして、動き予測で探索される動きベクトルの精度を切り替える
　前記（５）乃至（８）のいずれかに記載の画像符号化装置。
（１０）　前記符号化制御部は、前記符号化制御パラメータとして、デブロックフィルタの適用の有無を切り替える
　前記（５）乃至（９）のいずれかに記載の画像符号化装置。
　（１１）　前記符号化制御部は、前記符号化制御パラメータとして、デブロックフィルタおよび適応オフセットフィルタの少なくとも１つの適用の有無を切り替える
　前記（５）乃至（１０）のいずれかに記載の画像符号化装置。
　（１２）　前記符号化制御部は、前記符号化制御パラメータとして、可変長符号化処理を、CABAC（Context-Adaptive Binary Arithmetic Coding）とCAVLC（Context-Adaptive Variable Length Coding）との間で切り替える
　前記（５）乃至（１１）のいずれかに記載の画像符号化装置。
　（１３）　前記符号化制御部は、前記符号化制御パラメータとして、予測ブロックサイズの下限を切り替える
　前記（５）乃至（１２）のいずれかに記載の画像符号化装置。
　（１４）　前記伝送部は、無線により前記符号化部により生成された符号化データを伝送し、
　前記符号化制御部は、前記伝送部による通信可能帯域を示す情報に応じて、前記符号化処理を制御する
　前記（１）乃至（１３）のいずれかに記載の画像符号化装置。
　（１５）　画像符号化装置が、
　画像データの符号化処理を行い、符号化データを生成し、
　電力情報に応じて、前記符号化処理を制御し、
　生成された符号化データを伝送する
　画像符号化方法。

　１００　カメラシステム，　１０１　発電装置，　１０２　蓄電装置，　１０３　撮像装置，　１０４　画像処理装置，　１０５　画像圧縮装置，　１０６　無線伝送装置，　１０７　バジェット判定・符号化制御部，　１１１　バジェット判定部，　１１２　符号化制御部，　２００　カメラシステム，　２０１　蓄電装置（一次蓄電），　３００　カメラシステム，　３０１　電源回路，　４００　カメラシステム，　４０１　伝送装置

Claims

　画像データの符号化処理を行い、符号化データを生成する符号化部と、
　電力に関する電力情報に応じて、前記符号化処理を制御する符号化制御部と、
　前記符号化部により生成された符号化データを伝送する伝送部と
　を備える画像符号化装置。
　前記電力情報は、発電されている発電量を示す情報および蓄電されている電池の残量情報の少なくとも１つの情報を含む
　請求項１に記載の画像符号化装置。
　前記符号化制御部は、前記符号化処理に用いられる符号化方式を切り替える
　請求項１に記載の画像符号化装置。
　前記符号化制御部は、前記符号化処理に用いられる符号化方式のイントラ予測とインター予測を切り替える
　請求項３に記載の画像符号化装置。
　前記符号化制御部は、前記符号化処理に用いられる符号化制御パラメータを切り替える
　請求項１に記載の画像符号化装置。
　前記符号化制御部は、インター予測を適用している場合、前記符号化制御パラメータとして、片方向予測モードと両方向予測モードとを切り替える
　請求項５に記載の画像符号化装置。
　前記符号化制御部は、インター予測を適用している場合、前記符号化制御パラメータとして、参照面の数を切り替える
　請求項５に記載の画像符号化装置。
　前記符号化制御部は、インター予測を適用している場合、前記符号化制御パラメータとして、動き予測の探索範囲の大きさを切り替える
　請求項５に記載の画像符号化装置。
　前記符号化制御部は、インター予測を適用している場合、前記符号化制御パラメータとして、動き予測で探索される動きベクトルの精度を切り替える
　請求項５に記載の画像符号化装置。
　前記符号化制御部は、前記符号化制御パラメータとして、デブロックフィルタの適用の有無を切り替える
　請求項５に記載の画像符号化装置。
　前記符号化制御部は、前記符号化制御パラメータとして、デブロックフィルタおよび適応オフセットフィルタの少なくとも１つの適用の有無を切り替える
　請求項５に記載の画像符号化装置。
　前記符号化制御部は、前記符号化制御パラメータとして、可変長符号化処理を、CABAC（Context-Adaptive Binary Arithmetic Coding）とCAVLC（Context-Adaptive Variable Length Coding）との間で切り替える
　請求項５に記載の画像符号化装置。
　前記符号化制御部は、前記符号化制御パラメータとして、予測ブロックサイズの下限を切り替える
　請求項５に記載の画像符号化装置。
　前記伝送部は、無線により前記符号化部により生成された符号化データを伝送し、
　前記符号化制御部は、前記伝送部による通信可能帯域を示す情報に応じて、前記符号化処理を制御する
　請求項１に記載の画像符号化装置。
　画像符号化装置が、
　画像データの符号化処理を行い、符号化データを生成し、
　電力情報に応じて、前記符号化処理を制御し、
　生成された符号化データを伝送する
　画像符号化方法。