JP4599080B2

JP4599080B2 - 画像符号化方法，撮像装置およびコンピュータプログラム

Info

Publication number: JP4599080B2
Application number: JP2004109996A
Authority: JP
Inventors: 正剛福島; 誠山田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-04-02
Filing date: 2004-04-02
Publication date: 2010-12-15
Anticipated expiration: 2024-04-02
Also published as: JP2005295379A; KR20060044823A; CN1678075A; KR101114205B1; US7630567B2; CN100544435C; US20050232502A1

Description

本発明は，画像符号化方法，撮像装置およびコンピュータプログラムに関する。

従来の画像符号化方式は，画像中の全範囲を一律の圧縮率で圧縮しており，一画像内の全範囲において符号量は一様であった。そこで，画像上の注目する範囲を他の範囲と区別して符号化する画像符号化方法が提供された（例えば，特許文献１参照）。

上記方法によれば，被写体の撮像時に，撮像者が注視する範囲をファインダ・ユニット等の視線検出装置によって検出し，注視範囲内を他の部分よりも低圧縮率で圧縮して符号量をより多く割り当てることができる。

特開平９−２８４６２０号公報

しかし，上記方法では，撮像者は，所望の部分の符号量を高く保つためには，撮像時にその部分に視点を固定しなければならず，撮像している画像の他の部分に視線を移すことができないため，符号量を高く保つべき他の部分を探すことが困難であるという問題があった。

そこで，本発明は，このような問題に鑑みてなされたもので，その目的とするところは，撮像画像内において注目領域をユーザが容易に指定することができ，指定された注目領域と残余領域とで符号量を変えることの可能な，画像符号化方法，撮像装置およびコンピュータプログラムを提供することにある。

上記課題を解決するために，本発明のある観点によれば，表示部に表示された撮像画像内において，注目領域を指定する注目領域指定工程と，注目領域の位置情報を獲得する位置情報獲得工程と，位置情報に基づいて注目領域の圧縮率と残余領域の圧縮率とを変えて設定する圧縮率設定工程と，圧縮率に基づいて注目領域および残余領域のそれぞれの符号化を実施する符号化工程とから成る画像符号化方法が提供される。

撮像画像は動画および静止画を含み，表示部は撮像中の画像をほぼリアルタイムで表示することができる。注目領域は，撮像画像内の残余領域との間で圧縮率に差が付けられる領域であって，ユーザが任意に指定することが可能である。注目領域の位置情報は，撮像画像内において注目領域の位置を特定可能な情報であって，具体的には例えば座標情報などである。

上記発明によれば，撮像中の画像がリアルタイムで表示される表示部の撮像画像内において注目領域が指定される。従って，撮像者等のユーザは被写体を撮像しながらリアルタイムで撮像画像を確認し，注目領域を指定することができる。指定された注目領域は位置情報によって特定され，特定された注目領域と撮像画像内の注目領域以外の残余領域とで異なる圧縮率が設定され，その圧縮率に基づいてそれぞれの領域が符号化される。その結果，撮像画像内でユーザが指定した注目領域の画質を高く，または低くすることができる。

上記注目領域の圧縮率は，残余領域の圧縮率よりも低く設定されてもよい。かかる構成によれば，注目領域を残余領域よりも高画質にして記録，送信等をすることができる。

上記注目領域の圧縮率と残余領域の圧縮率は，目標符号量に応じて設定されてもよい。目標符号量は，撮像画像を記録媒体に記録する場合や，外部Ｉ／Ｆを介して他のコンピュータ等に送信する場合などに，記録可能または送信可能なフォーマットとして定められている上限符号量に基づいて設定されるものである。かかる構成によれば，撮像画像全体として目標符号量以下になるように注目領域と残余領域の圧縮率を設定することによって，撮像画像を上記フォーマットに適合させることができる。

上記目標符号量は，撮像画像の１フレームに対して設定されてもよい。フレームとは，動画を構成しているフレーム画像である。かかる構成によれば，各フレーム画像が目標符号量以下になるようにそれぞれの圧縮率が設定されるため，動画中の全フレーム画像をほぼ同じ符号量にすることができる。

上記目標符号量は，撮像画像の時間単位に対して設定されてもよい。目標符号量を時間単位に設定するとは，撮像画像が動画である場合に所定時間ごとに目標符号量を定めることである。かかる構成によれば，所定時間内で目標符号量以下になればよいため，フレーム画像間で異なる符号量を割り当てることができる。従って，例えば，符号量を多く割り当てなければならない注目領域が多いフレーム画像と，少ないフレーム画像が同じ所定時間内に存在する場合には注目領域が多いフレーム画像により多くの符号量を割り当てることが可能となる。

上記注目領域指定工程において，注目領域の指定は，表示部の加圧により行われ，加圧力を検知する加圧力検知工程をさらに含み，上記圧縮率設定工程において，注目領域の圧縮率は，加圧力に応じて設定されてもよい。かかる構成によれば，注目領域の指定を表示部の加圧によって行うことができるため，ユーザは簡便に指定を行うことができる。また，加圧力に応じて注目領域の圧縮率が設定されることによって，注目領域の中でも圧縮率に差を付けることができる。なお，加圧力の検知は，例えばタブレットのように加圧力の強弱を検知できるものが表示部に備えられていれば実施可能である。

上記画像符号化方法は，上記注目領域から所定の追尾対象を認識する工程と，追尾対象の移動に応じて注目領域を変更する注目領域変更工程とをさらに含んでもよい。かかる構成によれば，常に追尾対象を注目領域に含めることができ，例えば追尾対象の圧縮率を低くして高画質で記録することなどが可能である。また，上記画像符号化方法は，注目領域として一度指定された領域を，所定時間の間注目領域として指定し続けるようにしてもよい。

また，上記課題を解決するために，本発明の別の観点によれば，上記の画像符号化方法を実行可能な撮像装置，およびコンピュータをしてかかる撮像装置として機能させることの可能なコンピュータプログラムが提供される。撮像装置は，撮像画像を表示する表示部と，注目領域指定工程および位置情報獲得工程とを実施する入力部と，圧縮率設定工程を実施する制御部と，符号化工程を実施する圧縮部とを含んで構成される。

以上説明したように本発明によれば，撮像画像内において注目領域をユーザが容易に指定することができ，指定された注目領域と残余領域とで符号量を変えることの可能な，画像符号化方法，撮像装置およびコンピュータプログラムを提供できるものである。

以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。

本実施形態では，本発明にかかる撮像装置を，動画の撮影が可能なデジタルビデオカメラである撮像装置１００に適用し，本発明にかかる画像符号化方法を，撮像装置１００において動画を構成するフレーム画像を符号化する方法に適用して説明する。なお，本発明はかかる例には限定されず，例えば静止画を撮影するデジタルカメラ等，撮像されたアナログのデータをデジタルデータに変換する機能，および撮像画像をリアルタイムで表示する機能等を備えた撮像装置であれば本発明を適用できる。

まず，図１に基づいて本実施形態にかかる撮像装置１００について簡単に説明する。上述の通り，撮像装置１００はデジタルビデオカメラであって，被写体を撮像する撮像部と，撮像画像をリアルタイムで表示する表示部１０２と，表示部１０２に備えられた入力部１０４などを備える。

表示部１０２は，例えば液晶画面などであって撮像画像がリアルタイムで表示される。そのため，撮影者等のユーザは，動画の撮影と同時に，現在撮影されている動画を表示部１０２によって確認することができる。

入力部１０４は，タッチパネルなどであって，例えば透明のタッチパネルシートなどが表示部１０２上に備えられる。図示のように，ユーザが表示部１０２を指先やペン先などで触れたことを入力部１０４が検知し，その位置情報を検出することができる。位置情報とは，具体的には例えば座標情報であって，表示部１０２上に入力部１０４が適切に配置されることによって，入力部１０４は，ユーザが触れた部分の表示部１０２における座標情報を検出できる。

以上，撮像装置１００について簡単に説明した。次に，図２に基づいて，本実施形態にかかる撮像装置１００の概略的な構成について説明する。

撮像装置１００は，大きく分けると，例えば撮像部２００と，カメラＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）２２０と，ＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２２８と，媒体インタフェース（以後，媒体Ｉ／Ｆと称する。）２５８と，制御部２４０と，操作部２５０と，表示部１０２と，入力部１０４と，外部インタフェース（以後，外部Ｉ／Ｆと称する。）２５６などを備え，また，記録媒体２６０が着脱可能とされている。

撮像部２００は，例えば，光学ブロック２０２，ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）２０４，前処理回路２０６，光学ブロック用ドライバ２０８，ＣＣＤ用ドライバ２１０，タイミング生成回路２１２などを備える。ここで，光学ブロック２０２は，レンズ，フォーカス機構，シャッター機構，絞り機構などを備えたものである。

制御部２４０は，例えば，ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２４２，ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２４４，ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２４６，時計回路２４８が，システムバス２４９を通じて接続されて構成されたマイクロコンピュータであり，本撮像装置１００の全体制御を行う。また，後述するように，圧縮部２２４が動画の各フレーム画像を圧縮する際の圧縮率を制御する。

ここで，ＲＡＭ２４４は，処理の途中結果を一時記憶するなど主に作業領域として用いられるものである。また，ＲＯＭ２４６は，ＣＰＵ２４２において実行される種々のプログラムや，処理に必要になるデータなどが記憶されたものである。また，時計回路２４８は，現在年月日，現在曜日，現在時刻を提供することができるとともに，撮影日時などを提供することもできる。

画像の撮影時においては，光学ブロック用ドライバ２０８は，制御部２４０からの制御に応じて，光学ブロック２０２を動作させる駆動信号を形成し，これを光学ブロック２０２に供給して，光学ブロック２０２を動作させる。光学ブロック２０２は，ドライバ２０８からの駆動信号に応じて，フォーカス機構，シャッター機構，絞り機構が制御され，被写体の画像を取り込んで，これをＣＣＤ２０４に提供する。

ＣＣＤ２０４は，光学ブロック２０２からの画像を光電変換して出力するものであり，ＣＣＤドライバ２１０からの駆動信号に応じて動作し，光学ブロック２０２からの被写体の画像を取り込むとともに，制御部２４０によって制御されるタイミング生成回路２１２からのタイミング信号に基づいて，取り込んだ被写体の画像（画像情報）を電気信号として前処理回路２０６に供給する。

なお，上述のように，タイミング生成回路２１２は，制御部２４０からの制御に応じて，所定のタイミングを提供するタイミング信号を形成するものである。また，ＣＣＤドライバ２１０は，タイミング生成回路２１２からのタイミング信号に基づいて，ＣＣＤ２０４に供給する駆動信号を形成する。

前処理回路２０６は，供給された電気信号の画像情報に対して，ＣＤＳ（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ）処理を行って，Ｓ／Ｎ比を良好に保つようにするとともに，ＡＧＣ（ＡｕｔｏｍａｔｉｃＧａｉｎＣｏｎｔｒｏｌ）処理を行って，利得を制御し，そして，Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換を行って，デジタル信号とされた画像データを形成する。

前処理回路２０６からのデジタル信号とされた画像データは，ＤＳＰ２２０に供給される。ＤＳＰ２２０は，供給された画像データに対して，ＡＦ（ＡｕｔｏＦｏｃｕｓ），ＡＥ（ＡｕｔｏＥｘｐｏｓｕｒｅ），ＡＷＢ（ＡｕｔｏＷｈｉｔｅＢａｌａｎｃｅ）などのカメラ信号処理を施す。このようにして種々の調整がされた画像データは，所定の圧縮方式でデータ圧縮され，システムバス２４９，媒体Ｉ／Ｆ２５８を通じて，記録媒体２６０に供給される。または，画像データは外部Ｉ／Ｆを介して，外部のコンピュータなどに送信されることもできる。

表示部１０２には，上述の通り撮像画像が表示される。入力部１０４は，上述の通りユーザに触れられた部分の座標情報を検出する。検出された座標情報は，例えばＲＡＭ２４４に記憶され，制御部２４０が画像の圧縮率を制御する際に参照される。

記録媒体２６０は，半導体メモリを用いたメモリカード，記録可能なＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）や記録可能なＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）等の光記録媒体，磁気ディスクなどの種々のものを用いることができる。

以上，撮像装置１００の概略的な構成について説明した。次に，図３に基づいて，本実施形態にかかる画像符号化方法について概略的に説明する。

まず，注目領域指定工程の一例として，ステップＳ１０２で，撮像者等のユーザが撮像装置１００に備えられた表示部１０２を指先等で触れるなどして注目領域を指定する（Ｓ１０２）。具体的には，表示部１０２上に設置されているタッチパネル等の入力部１０４の所望の部分に触れるなどして注目領域を指定する。次に，位置情報獲得工程の一例として，入力部１０４がステップＳ１０４で，指定された注目領域の位置を検出して座標情報を取得する（Ｓ１０４）。その後，取得した座標情報を制御部２４０に提供する（Ｓ１０６）。なお，注目領域とは，残余領域との間で符号量に差が付けられる領域であるが，本実施形態では注目領域の符号量は残余領域に比べて多くなるように処理される。

制御部２４０は，ステップＳ１０８で，入力部１０４から提供された座標情報を例えばＲＡＭ２４４に格納する（Ｓ１０８）。その後，圧縮率設定工程の一例として，ステップＳ１１０で，圧縮部２２４が画像圧縮時に使用する量子化テーブル値を決定し（Ｓ１１０），量子化テーブル値を圧縮部２２４に提供する（Ｓ１１２）。量子化テーブル値を変えることによって画像の圧縮率を変えることができる。

一方，圧縮部２２４には，ステップＳ１１２で，圧縮を行う対象であるフレーム画像が入力される（Ｓ１１４）。具体的には例えば，上述の通り撮像部２００の前処理回路２０６等からデジタル化されたフレーム画像を取得する。圧縮部２２４はそのフレーム画像の圧縮を行うべく，まず，離散コサイン変換（ＤＣＴ）を行う（Ｓ１１６）。その後，符号化工程の一例として，ＤＣＴ係数を量子化するが，その際にステップＳ１１２にて制御部２４０から取得した量子化テーブル値を利用する（Ｓ１１８）。その後，エントロピー符号化やハフマン符号化などの可変長符号化を行う（Ｓ１２０）。上記方法によれば，表示部１０２に表示された撮像画像内でユーザに指定された注目領域の座標情報が，画像の圧縮率を決定する量子化テーブル値に反映されるため，注目領域と残余領域とで量子化テーブル値を変更して圧縮率を変更することが可能になる。

以上，画像符号化方法について概略的に説明した。次に，図４〜図７を参照して，本実施形態にかかる画像符号化方法を詳細に説明する。

図４は，圧縮部２２４に入力された入力画像をマクロブロックで分割した状態を示している。符号４０２は一つのマクロブロックを示している。圧縮部２２４ではマクロブロック毎に量子化が行われるため，量子化テーブル値をマクロブロックによって変更することでマクロブロック毎に圧縮率が変更され，符号量を変えることができる。

注目領域４０６は，ユーザが表示部１０２を指先で触れるなどして指定した注目領域を示している。具体的には，表示部１０２上に適切に配置された入力部１０４が獲得した注目領域の座標情報に基づき，入力画像上にその注目領域を示したものである。なお，図４では指定された注目領域４０６は１つであるが，複数の注目領域４０６を指定することも可能である。

指定領域４０４は，注目領域４０６が含まれるマクロブロックの範囲を示している。上述のように量子化はマクロブロック単位で行われるため，注目領域４０６を含むマクロブロックの範囲を他のマクロブロックと異なる圧縮率で圧縮されるマクロブロックとして指定領域４０４とする。指定領域４０４は，上記座標情報によって決定することができる。なお，図４の例では指定領域４０４を注目領域４０６が含まれる範囲としているが，例えば，注目領域４０６の中心部付近のマクロブロックのみを指定領域４０６としたり，より広い範囲を指定領域４０４とするなど，適宜設定可能である。

次に，図５を参照して，マクロブロック毎に量子化を行う方法について説明する。まず，ステップＳ２０２で，制御部２４０は，処理対象のマクロブロックの位置を初期化する（Ｓ２０２）。具体的には，例えば図４の符号４０２のように，画像の左上のマクロブロックを量子化対象とする。

次に，撮影者等のユーザが指定した注目領域４０６に基づいて指定領域４０４を更新する（Ｓ２０４）。具体的には例えば，注目領域４０６の座標情報に基づいて決定される指定領域４０４に属するマクロブロック番号等をＲＡＭ２４４に記憶する。

その後，制御部２４０は，処理対象のマクロブロックが指定領域４０４に属するマクロブロックであるかを，例えば処理対象のマクロブロックの番号とＲＡＭ２４４に記憶されている指定領域４０４に属するマクロブロック番号とを比較するなどして判断し（Ｓ２０６），属する場合には，ステップＳ２０８に進む。ステップＳ２０８では，指定領域４０４に属するマクロブロックに対して高符号量を割り当てるように，低い圧縮率となる量子化テーブル値を選択し，その量子化テーブル値に基づいて圧縮部２２４が量子化を行う（Ｓ２０８）。一方，ステップＳ２０６において処理対象のマクロブロックが指定領域４０４に属さない場合には，ステップＳ２１０に進む。ステップＳ２１０では，指定領域４０４に属さないマクロブロックに対して比較的低い符号量を割り当てるように，高い圧縮率となる量子化テーブル値を選択し，その量子化テーブル値に基づいて圧縮部２２４が量子化を行う。（Ｓ２１０）。なお，ステップＳ２０８およびＳ２１０については，それぞれ図６，図７を参照して詳細に説明する。

処理対象のマクロブロックの量子化テーブル値をＳ２０８またはＳ２１０で決定後，制御部２４０はその処理対象のマクロブロックが画像の最も右下のものであったかを判定する（Ｓ２１２）。すなわち，最も左上のマクロブロックから処理を初め，最も右下のマクロブロックまで処理を終えることによって一つの画像に対する全てのマクロブロックに対して量子化テーブル値を設定したかを判定する。

判定の結果，最も右下のマクロブロックではなかった場合には，まだ処理をするべきマクロブロックがフレーム画像中に残っているため，ステップＳ２１４で処理対象のマクロブロックを例えばラスタスキャン方向に一つ進める。一方，ステップＳ２１２の判定で最も右下であった場合には，ステップＳ２１６に進む。ステップＳ２１６では，例えば撮像の終了等による終了命令が発行されているかを判定する（Ｓ２１６）。発行されていない場合には，次のフレーム画像に対する各マクロブロックの量子化テーブル値を同様に決定するためにステップＳ２０２に戻る。一方，終了命令が発行されている場合には，処理を終了する。

上記方法によれば，フレーム画像毎にステップＳ２０４で指定領域４０４の更新を行い，更新された指定領域４０４に基づいて各マクロブロックの量子化を行う。そのため，例えばユーザがタッチパネルに触れたまま指先を動かすなどして注目領域４０６を時々刻々と変化させた場合であっても，フレーム画像単位で指定領域４０４が更新される結果，ほぼリアルタイムで変更される指定領域４０４に基づいて量子化処理が実行される。従って，ユーザが指定した注目領域４０６に的確に高い符号量を割り当てることができる。

次に，図６を参照して，図５のステップＳ２０８の処理，すなわち，指定領域４０４に対して低圧縮率となる量子化テーブル値を選択して量子化を行う処理について説明する。

まず，図６中で使用する各変数について説明する。「Ｔ」は１枚のフレーム内での目標符号量(ｂｉｔ)であるとする。「Ｎ」は指定領域４０４に属するマクロブロックの総数である。「ｎ」は「現在処理している一画像内において指定領域４０４に属するマクロブロックの中で，処理を終えたマクロブロックの数」である。「ＭＢｃｎｔ」は一画像内のマクロブロック総数であり，例えば７２０×４８０のｐｉｘｅｌ値の画像を扱う場合，１３５０(＝縦３０×横４５)となる。「ｊ」は現在処理中のマクロブロックの番号である(１≦ｊ)。Ｂ_ｊはマクロブロック番号ｊまでの発生符号量(ｂｉｔ数)である。ｍｑｕａｎｔはマクロブロックのデフォルトテーブル値に乗ずる係数である。なお，係数が小さい方が，量子化テーブル値を小さくして圧縮率を低くし，発生符号量が多くなる。ｍｑｕａｎｔＨｉＰｒｅｖは前回，指定領域４０４内のマクロブロックを量子化した時のｍｑｕａｎｔの値である。

ステップＳ３０２で，現在処理中のマクロブロックが指定領域４０４の最初のマクロブロックであるかを判定する（Ｓ３０２）。最初のマクロブロックである場合にはステップＳ３０６に進み，ｍｑｕａｎｔとして，指定領域４０４内でのｍｑｕａｎｔ初期値である,「ｍｑｕａｎｔＨｉ０」を代入する。ｍｑｕａｎｔＨｉ０の値は，例えば「０．８」などを用いる。一方，ステップＳ３０２で，指定領域４０４に属する最初のマクロブロックでなかった場合には，ステップＳ３０４に進む。ステップＳ３０４では，前回のマクロブロックの量子化を終了した時点での「実際の発生符号量」（左辺）が，前回のマクロブロックの量子化を終了した時点での「目標符号量の総量」（右辺）よりも少ないかを判定する（Ｓ３０４）。

ここで，目標符号量とは，撮影した動画を記録媒体に記録する場合や，外部Ｉ／Ｆを介して他のコンピュータ等に送信する場合などに，記録可能または送信可能なフォーマットとして定められている符号量の上限に基づいて設定される。本実施形態において，動画の１フレーム画像毎に目標符号量を定め，動画を構成する全てのフレーム画像がその目標符号量以下になるように目標符号量に応じて各マクロブロックの量子化テーブル値を決定してもよい。上記方法によれば，各フレーム画像の符号量はほぼ同じとなり，一フレーム画像内において部分的に画質を異ならせながらも全フレーム画像を一定の画質にすることができる。

また，時間単位で目標符号量を定めてもよい。その場合には，動画を構成するフレーム画像毎に異なる符号量を割り当てながら，所定時間内の符号量の総量が目標符号量以下になるように目標符号量に応じて各マクロブロックの量子化テーブル値を決定する。上記方法によれば，例えば，所定時間内において高画質にするべき指定領域４０４が多いフレーム画像と少ないフレーム画像がある場合などに，指定領域４０４が多いフレーム画像に対してはより多くの符号量を割り当てて指定領域４０４を高画質に保ちながら，指定領域４０４が少ないフレーム画像に対しては割り当て符号量を少なくし，全体として目標符号量以下に抑えることができる。

図６に戻り，ステップＳ３０４で，実際の発生符号量が目標符号量の総量よりも少ない場合にはステップＳ３０８に進み，マクロブロックのデフォルトテーブル値に乗ずる係数に例えば０．９を乗算して前回の係数よりも小さい値にする。すなわち，前回のマクロブロックの処理終了時点で，発生符号量が目標符号量を下回っていた為，今回のマクロブロックについては若干多めの符号量を発生させて目標符号量に近づけるべく，量子化テーブル値をより小さい値にして圧縮率を下げる。

一方，ステップＳ３０４で，実際の発生符号量が目標符号量の総量よりも多い場合にはステップＳ３１０に進み，マクロブロックのデフォルトテーブル値に乗ずる係数に例えば１．１を乗算して前回の係数よりも大きい値にする。すなわち，前回のマクロブロックの処理終了時点で，発生符号量が目標符号量を上回っていた為，今回のマクロブロックについては若干少なめの符号量を発生させて目標符号量に近づけるべく，量子化テーブル値をより大きい値にして圧縮率を上げる。

続いて，ステップＳ３１２で，上記ステップＳ３０８またはＳ３１０で取得した係数を量子化テーブル値のデフォルト値に乗算し，乗算後の量子化テーブル値に基づいて処理対象のマクロブロックを量子化し，そのマクロブロックの符号量を取得する（Ｓ３１２）。その後，次のマクロブロックの処理に備えて各変数の値を更新する（Ｓ３１４）。

上記方法によれば，全体として目標符号量を超えることなく，指定領域４０４に属するマクロブロックに対して可能な限り多くの符号量を割り当てることができる。

次に，図７を参照して，図５のステップＳ２１０の処理，すなわち，指定領域４０４以外の部分に対して高圧縮率となる量子化テーブル値を選択して量子化を行う処理について説明する。

まず，図７中で使用する各変数について説明する。Ｔ，Ｎ，ｎ，ＭＢｃｎｔ，Ｂ_ｊは図６中の説明と同じであるため省略する。ｍｑｕａｎｔＬｏＰｒｅｖは前回，指定領域４０４外のマクロブロックを量子化した時のｍｑｕａｎｔの値である。

ステップＳ４０２で，現在処理中のマクロブロックが指定領域４０４外の最初のマクロブロックであるかを判定する（Ｓ４０２）。最初のマクロブロックである場合にはステップＳ４０６に進み，ｍｑｕａｎｔとして，指定領域４０４外でのｍｑｕａｎｔ初期値である,「ｍｑｕａｎｔＬｏ０」を代入する。ｍｑｕａｎｔＨｉ０の値は，例えば「１．２」などを用いる。一方，ステップＳ４０２で，指定領域４０４に属さない最初のマクロブロックでなかった場合には，ステップＳ４０４に進む。ステップＳ４０４では，前回のマクロブロックの量子化を終了した時点での「実際の発生符号量」（左辺）が，前回のマクロブロックの量子化を終了した時点での「目標符号量の総量」（右辺）よりも少ないかを判定する（Ｓ４０４）。

ステップＳ４０４で，実際の発生符号量が目標符号量の総量よりも少ない場合にはステップＳ４０８に進み，マクロブロックのデフォルトテーブル値に乗ずる係数に例えば０．９を乗算して前回の係数よりも小さい値にする。

一方，ステップＳ４０４で，実際の発生符号量が目標符号量の総量よりも多い場合にはステップＳ４１０に進み，マクロブロックのデフォルトテーブル値に乗ずる係数に例えば１．１を乗算して前回の係数よりも大きい値にする。

続いて，ステップＳ４１２で，上記ステップＳ４０８またはＳ４１０で取得した係数を量子化テーブル値のデフォルト値に乗算し，乗算後の量子化テーブル値に基づいて処理対象のマクロブロックを量子化し，そのマクロブロックの符号量を取得する（Ｓ４１２）。その後，次のマクロブロックの処理に備えて各変数の値を更新する（Ｓ４１４）。なお，図６と異なり，処理を終えた指定領域４０４に属するマクロブロックの数であるｎは更新しない。

以上，図４〜図７を参照してマクロブロック毎に量子化を行う方法について説明した。なお，上記例では，マクロブロックが指定領域４０４に属するか否かによって高い符号量を割り当てるか否かを決定し，指定領域４０４に属するマクロブロックの間では，全体として目標符号量を超えないように符号量の調整が行われるのみであったが，指定領域４０４に属するマクロブロックの中でも，特定のマクロブロックに対してより高い符号量を割り当てるようにしてもよい。入力部１０４が，例えばタブレット等のように加圧力を検知できるものであれば，ユーザによって指定された注目領域４０６の中でも強い加圧力によって指定された領域とそれ以外の領域とがわかる。そのため，指定領域４０４の中でも，例えば強い加圧力で指定された領域が属するマクロブロックには指定領域４０４内の他のマクロブロックよりも高い符号量を割り当てることが可能になる。

次に，図８に基づいて，指定領域４０４の決定方法の別の例について説明する。図５では，ステップＳ２０４においてフレーム画像毎に指定領域４０４を更新していた。かかる例によれば，ユーザが指定した部分がほぼリアルタイムで指定領域４０４に反映される反面，ユーザは常に注目領域を指先等で指定していなければならない。そこで，図８に示した例では，ユーザが一度指定した注目領域を所定時間のあいだ指定領域４０４として処理を行う。

まず，ステップＳ５０２で，撮像装置１００の制御部２４０は，指定領域４０４の初期設定として，例えばフレーム画像の中心部分付近を指定領域４０４として設定し，ＲＡＭ２４４等に記憶する（Ｓ５０２）。その後，ステップＳ５０４で，例えば撮像の終了等によって終了命令が発行されているかを判定し（Ｓ５０４），発行されている場合には処理を終了する。一方，終了命令が発行されていない場合には処理を続行し，ステップＳ５０６に進む。ステップＳ５０６では，撮影者がタッチパネル等の入力部１０４に触れたかを判定する（Ｓ５０６）。具体的には例えば，撮影者により指定された注目領域の位置情報が入力部１０４によって獲得されてＲＡＭ２４４の座標情報が更新されたか等を判定する。

判定の結果，入力部１０４が触れられていない場合，すなわちユーザが注目領域を指定していない，又は前回指定した注目領域から変更していない場合には，ステップＳ５０８に進み，指定領域４０４を変更せずに１フレーム画像の量子化処理を行う。現段階では，初期設定された中心部分付近のマクロブロックにより高い符号量が割り当てられるように処理される。

一方，ステップＳ５０６の判定の結果，撮影者が入力部１０４に触れていた場合，すなわちユーザが注目領域を新たに指定した場合には，ステップＳ５１０に進む。ステップＳ５１０では，ユーザが指定した注目領域に基づいて，換言すると，制御部２４０が入力部１０４から取得した座標情報に基づいて指定領域４０４を決定する（Ｓ５１０）。その指定領域４０４に属するマクロブロックに高い符号量を割り当てるべく１フレーム画像を処理するが，ステップＳ５１２では，ステップＳ５１０で決定した指定領域４０４を所定時間のあいだ（例えば１０秒間等）変更せずにその所定時間内に含まれるフレーム画像の処理を行う。その後，ステップＳ５０４に戻る。

上記方法によれば，まず，ユーザが注目領域を指定しない場合でも，フレーム画像の中央部分付近のマクロブロックが指定領域４０４とされるため，フレーム画像の中心部分付近を高画質にすることができる。一般的に，高画質にするべき重要な部分は画面の中心部分に存在することが多いため，有効である。また，ユーザが注目領域を指定した後に，再度指定を行うまでは，その指定された注目領域が指定領域４０４とされるため，ユーザは常に入力部１０４に触れている必要がない。また，撮影者が入力部１０４に触れた場合には指定領域４０４が変更されるため，ユーザが注目領域を変更した場合にはその変更が画質に反映される。

以上，指定領域４０４の決定方法の別の例について説明した。指定領域４０４の決定方法は，上記例の他に，フレーム画像中の対象物を自動追尾する方法が考えられる。例えば，ユーザが入力部１０４によって指定した注目領域の部分画像を画像認識技術などを用いて認識して自動追尾することができれば，制御部２４０がその部分画像を指定領域４０４とすることによって，ユーザが指定した注目領域の部分画像を追尾して高画質とすることが可能になる。かかる方法によれば，例えばユーザによって指定された部分画像が人間の顔である場合には，撮像装置１００において，その部分画像である人間の顔を自動追尾しながら高画質で記録することが可能となるため，監視カメラなどに適用できる。また，部分画像自体を追尾するのではなく，ユーザによって指定された注目領域の中から画像認識技術などを用いて追尾対象（例えば人間の顔など）を抽出し，その追尾対象の移動に応じて注目領域および指定領域４０４を変更して高い符号量を割り当てるようにしてもよい。

なお，上記では，注目領域を残余領域より高画質にするべく圧縮率を低くして高い符号量を割り当てたが，本発明はかかる例には限定されない。上記例とは逆に，残余領域を注目領域よりも高画質にするべく高い符号量を割り当ててもよい。そのようにすれば，例えば，ユーザが表示部１０２の端部を注目領域として指定しておくことによって，端部以外の残余領域をより高画質にすることが可能である。

以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明は係る例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は，画像符号化方法，撮像装置およびコンピュータプログラムに適用可能であり，特に撮像画像内において注目領域をユーザが容易に指定することができ，指定された注目領域と残余領域とで符号量を変えることの可能な画像符号化方法，撮像装置およびコンピュータプログラムに適用可能である。

本発明の実施形態にかかる撮像装置を示す説明図である。同実施の形態における撮像装置の構成を示すブロック図である。同実施の形態における画像符号化方法を示すタイミングチャートである。同実施の形態における符号化対象の画像をマクロブロックに分割して示した説明図である。同実施の形態におけるマクロブロックの量子化方法を示すフローチャートである。同実施の形態におけるマクロブロックの量子化方法の詳細を示すフローチャートである。同実施の形態におけるマクロブロックの量子化方法の詳細を示すフローチャートである。同実施の形態における指定領域の決定方法の例を示すフローチャートである。

符号の説明

１００撮像装置
１０２表示部
１０４入力部
２００撮像部
２２４圧縮部
２４０制御部

Claims

表示部に表示された撮像画像内において，注目領域が前記表示部の加圧により指定される注目領域指定工程と；
前記表示部に対する加圧力が検知される加圧力検知工程と；
前記注目領域の位置情報が獲得される位置情報獲得工程と；
前記位置情報および前記加圧力に基づいて前記注目領域の圧縮率と残余領域の圧縮率とが変えて設定される圧縮率設定工程と；
前記圧縮率に基づいて前記注目領域および前記残余領域のそれぞれの符号化が実施される符号化工程と；
から成り、
所定時間内に含まれる撮影画像の中で、前記注目領域の割合が多く、前記加圧力が大きい撮影画像に多くの符号量を割り当て、前記注目領域の割合が少なく、前記加圧力が小さい撮影画像に少ない符号量を割り当てることで、前記所定時間内に含まれる撮影画像全体の符号量を目標符号量よりも少なくすることを特徴とする，画像符号化方法。
前記注目領域の圧縮率と前記残余領域の圧縮率との割合は，前記撮影画像毎に設定された他の目標符号量に応じて設定されることを特徴とする，請求項１に記載の画像符号化方法。
前記注目領域の圧縮率は，前記残余領域の圧縮率よりも低く設定されることを特徴とする，請求項１に記載の画像符号化方法。
前記注目領域から所定の追尾対象を認識する工程と；
前記追尾対象の移動に応じて前記注目領域を変更する注目領域変更工程と；
をさらに含むことを特徴とする，請求項１に記載の画像符号化方法。
前記注目領域として一度指定された領域を，所定時間の間前記注目領域として指定し続けることを特徴とする，請求項１に記載の画像符号化方法。
撮像画像を表示する表示部と，
前記表示部に表示された撮像画像内において前記表示部の加圧により指定された注目領域の位置情報および前記加圧力を検知する入力部と，
前記位置情報および前記加圧力に基づいて前記注目領域の圧縮率と残余領域の圧縮率を変えて設定する制御部と，
前記圧縮率に基づいて前記注目領域および前記残余領域のそれぞれの符号化を実施する圧縮部と，
を備え、
所定時間内に含まれる撮影画像の中で、前記注目領域の割合が多く、前記加圧力が大きい撮影画像に多くの符号量を割り当て、前記注目領域の割合が少なく、前記加圧力が小さい撮影画像に少ない符号量を割り当てることで、前記所定時間内に含まれる撮影画像全体の符号量を目標符号量よりも少なくすることを特徴とする，撮像装置。
前記注目領域の圧縮率と前記残余領域の圧縮率との割合は，前記撮影画像毎に設定された他の目標符号量に応じて設定されることを特徴とする，請求項６に記載の撮像装置。
前記注目領域の圧縮率は，前記残余領域の圧縮率よりも低く設定されることを特徴とする，請求項６に記載の撮像装置。
前記制御部は，前記注目領域から所定の追尾対象を認識し，前記追尾対象の移動に応じて前記注目領域を変更することを特徴とする，請求項６に記載の撮像装置。
前記入力部は，タッチパネルであることを特徴とする，請求項６に記載の撮像装置。
前記注目領域として一度指定された領域を，所定時間の間前記注目領域として指定し続けることを特徴とする，請求項６に記載の撮像装置。
コンピュータをして；
撮像画像を表示する表示部と；
前記表示部に表示された撮像画像内において前記表示部の加圧により注目領域を指定せしめ，前記注目領域の位置情報および前記加圧力を獲得する入力部と；
前記位置情報および前記加圧力に基づいて前記注目領域の圧縮率と残余領域の圧縮率を変えて設定する制御部と；
前記圧縮率に基づいて前記注目領域および前記残余領域のそれぞれの符号化を実施する圧縮部と；
を備え、
所定時間内に含まれる撮影画像の中で、前記注目領域の割合が多く、前記加圧力が大きい撮影画像に多くの符号量を割り当て、前記注目領域の割合が少なく、前記加圧力が小さい撮影画像に少ない符号量を割り当てることで、前記所定時間内に含まれる撮影画像全体の符号量を目標符号量よりも少なくする撮像装置として機能せしめることを特徴とする，コンピュータプログラム。
表示部に表示された撮像画像内において前記表示部の加圧により注目領域を指定する注目領域指定工程と；
前記表示部に対する加圧力が検知される加圧力検知工程と；
前記注目領域の位置情報を獲得する位置情報獲得工程と；
前記位置情報および前記加圧力に基づいて前記注目領域の圧縮率と残余領域の圧縮率とを変えて設定する圧縮率設定工程と；
前記圧縮率に基づいて前記注目領域および前記残余領域のそれぞれの符号化を実施する符号化工程と；
から成り、
前記圧縮率設定工程において，前記注目領域の圧縮率は，強い前記加圧力で指定された前記注目領域に高い符号量に対応した圧縮率が設定され、弱い前記加圧力で指定された前記注目領域に低い符号量に対応した圧縮率が設定されることを特徴とする，画像符号化方法。
撮像画像を表示する表示部と，
前記表示部に表示された撮像画像内において前記表示部の加圧力により指定された注目領域の位置情報および前記加圧力を検知する入力部と，
前記位置情報および前記加圧力に基づいて前記注目領域の圧縮率と残余領域の圧縮率を変えて設定する制御部と，
前記圧縮率に基づいて前記注目領域および前記残余領域のそれぞれの符号化を実施する圧縮部と，
を備え、
前記制御部は，強い前記加圧力で指定された前記注目領域に高い符号量に対応した圧縮率が設定され、弱い前記加圧力で指定された前記注目領域に低い符号量に対応した圧縮率が設定されることを特徴とする，撮像装置。