JP4164268B2 - 符号化装置、符号化方法、プログラム、記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、静止画、動画の両方を符号化する符号化装置、符号化方法、プログラム、記憶媒体に関するものである。
【０００２】
【従来の技術】
従来のデジタルカメラ、ビデオカメラには、静止画像、動画像共にＤＣＴ（離散コサイン変換）ベースの圧縮処理（所謂ＪＰＥＧ）が用いられている。これについて、図２０のブロック図を用いて説明する。
【０００３】
図２０は従来のディジタルカメラ、ビデオカメラにおいて、撮像された画像に対して符号化を行う符号化部の構成を示すブロック図である。１３１は撮像した画像を８×８画素のサイズのブロック（ＤＣＴ（離散コサイン変換）ブロック）に分割するブロック化処理回路、１３３は各ブロックに直交変換を施すＤＣＴ処理回路、１３４は直交変換後のデータに対して量子化を施す量子化処理回路、１３５は低い周波数から高い周波数へ量子化されたデータをスキャンするジグザグスキャン回路、１３６はジグザグスキャン回路１３５によりスキャンされたデータに対して２次元ハフマン符号を行うハフマン符号化処理回路、１３７は量子化の係数を決定する係数設定回路、１３８は上記各処理回路を制御するシステムコントローラである。
【０００４】
撮像され、カメラに入力された画像信号は不図示のＹ／Ｃ分離回路によって輝度と色差信号に分離される。色差信号に対してはサブサンプリング処理を施す。輝度信号と色差信号はブロック化処理回路１３１に入力され、各々８×８画素から成るブロックに分割される。ブロック分割された輝度信号と色差信号はＤＣＴ処理回路１３３によりＤＣＴ変換を施され、周波数係数データに変換される。ＤＣＴ処理回路１３３から出力された各々の周波数係数データは量子化処理回路１３４に入力され、量子化処理回路１３４は周波数成分毎のデータ係数の集合を係数設定回路１３７から生成した適当な数値にて除算することで、量子化処理を行う。量子化されたデータはジグザグスキャン回路１３５に入力され、ジグザグスキャン回路１３５は低い周波数から高い周波数へデータをスキャンし２次元データを１次元データに変換する。
【０００５】
ハフマン符号化処理回路１３６はこの１次元データに対してハフマン符号処理を施し（可変長符号化）、不図示の記録部に出力する。この様な圧縮処理により元データに比べ５分の１から１０分の１程度に圧縮することを可能としていた。
【０００６】
【発明が解決しようとする課題】
しかしながら上記従来例においては、次のような問題があった。つまり、上記圧縮処理は基本的に動画像に関しても同一であり、動画／静止画両対応カメラにおいて、動画モード／静止画モードでそれぞれの特徴に沿った圧縮処理を行っていなかった。
【０００７】
本発明は上記問題に鑑みてなされたものであり、画像をタイル分割して符号化する処理において、さまざまな画像（動画／静止画）に対して効率よく符号化することができる符号化装置、符号化方法、プログラム及びそのプログラムを記憶した記憶媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の符号化装置は以下の構成を備える。すなわち、画像に対して符号化を行う符号化装置であって、
画像を複数のタイルに分割する分割手段と、
前記分割手段による各タイルに対して周波数変換を施し、周波数帯域毎の変換係数を生成する周波数変換手段と、
前記周波数変換手段による変換係数、もしくはその量子化値に対してエントロピ符号化を施すエントロピ符号化手段と、
前記エントロピ符号化手段による符号化結果に基づいて符号列を生成し、出力する符号列生成手段とを備え、
前記分割手段は、符号化対象に応じて分割するタイルの数を変更し、
符号化対象が静止画の場合には、符号化対象が動画の場合よりもタイルの数が多くなるように分割を行うことを特徴とする。
【０００９】
本発明の目的を達成するために、例えば本発明の符号化方法は以下の構成を備える。すなわち、画像に対して符号化を行う符号化方法であって、
画像を複数のタイルに分割する分割工程と、
前記分割工程による各タイルに対して周波数変換を施し、周波数帯域毎の変換係数を生成する周波数変換工程と、
前記周波数変換工程による変換係数、もしくはその量子化値に対してエントロピ符号化を施すエントロピ符号化工程と、
前記エントロピ符号化工程による符号化結果に基づいて符号列を生成し、出力する符号列生成工程とを備え、
前記分割工程では、符号化対象に応じて分割するタイルの数を変更し、
符号化対象が静止画の場合には、符号化対象が動画の場合よりもタイルの数が多くなるように分割を行うことを特徴とする。
【００１０】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。尚、以下の実施形態では、本発明の符号化装置を符号化、復号を行う機能を有するデジタルスチル＆ムービーカメラに適用した場合について説明するが、適用する対象はこれに限定されるものではない。
【００１１】
［第１の実施形態］
まず始めに、本実施形態におけるデジタルスチル＆ムービーカメラが行う符号化、復号処理について説明する。図１は符号化処理を行う符号化器の機能構成を示すブロック図である。
【００１２】
コンポーネント変換部１では本符号化器に入力された符号化対象の画像の有する色空間に対して色空間変換を施し、画像の色成分を変換する。変換された各色成分のデータは、必要に応じて所定の間引き処理が行われて出力される。なお、画像データがモノクログレースケールの画像である場合は、コンポーネント変換を行う必要は無い。後述の説明は上述の方法にて得られた各色成分毎に対して行われる処理を説明するものである。
【００１３】
タイル分割部２は、入力した画像データを複数個の所定の大きさの矩形タイルに分割し出力する。このタイルの大きさは所定の大きさに設定することができる。なお、後述の説明は、分割された各タイルの色成分毎に行われる処理を説明するものである。
【００１４】
図４Ａ、４Ｂは画像を矩形タイルに分割した様子を示す図である。詳しくは図４Ａは動画モード時に、図４Ｂは静止画モード時に画像（動画の場合は１フレームの画像）を分割した様子を示す図であり、それぞれ３０分割、１２０分割に設定されている。ここで、分割数設定については、後ほど説明する。
【００１５】
離散ウェーブレット変換部３は入力した各タイルの画像データに対して2次元の離散ウェーブレット変換を施して周波数成分に分解し、複数の周波数帯域のそれぞれに属する変換係数群（以降サブバンド）を出力する。図２は離散ウェーブレット変換部３により出力されるサブバンドの構成を示したものであり、2次元のウェーブレット変換を低周波帯域に対して再帰的に2レベル行ったものである。なお、離散ウェーブレット変換部３では非可逆符号化を行いたい場合にはウェーブレット変換後の係数が実数になる実数型のフィルタを、可逆符号化を行いたい場合にはウェーブレット変換後の係数が整数になる整数型のフィルタを用いる。
【００１６】
量子化部４は入力したサブバンド毎に、所定の方法により設定された量子化ステップを用いて量子化を行い、量子化インデックスを生成して出力する。なお可逆符号化を行いたい場合には量子化部４では量子化を行わず、入力した変換係数そのものが出力される。
【００１７】
エントロピ符号化部５は、図３に示すように、入力したサブバンドをさらに複数の矩形ブロック（以降コードブロックと呼ぶ）に分割（サブバンドと矩形ブロックが同サイズの時は分割しない）し、このコードブロックを単位として独立にエントロピ符号化を行い、符号化データを生成する。この時、量子化インデックスを表すビットは、上位ビットプレーンから順に算術符号化され、符号化データが生成される。
【００１８】
符号列形成部６は、所定の方法により設定されたプログレッシブ形態に基づいて符号列を形成し出力する。この符号列形成において、符号列形成部６は、採用するプログレッシブ形態に合わせて、各コードブロックの符号化データの上位ビットプレーンから順に適量の符号化データを選択して1つ以上のレイヤを構成する。
【００１９】
例えば、設定されたプログレッシブ形態がSNRスケーラブルである場合、符号列形成部６は図５に示すように、レイヤを単位として上位レイヤから順に下位レイヤに向かい符号化データを配置する。図５は、符号化データが符号列形成部６により生成される様子を図示したものである。なおこの時、後半のレイヤを省略して下位ビットプレーンに係る符号化データを破棄することもできる。このようにすることにより符号列を復号し、再生される画像の画質を変化させることができる。
【００２０】
一方、設定されたプログレッシブ形態が空間解像度スケーラブルである場合、符号列形成部６は図６に示すように低周波サブバンドから高周波サブバンドに向かい符号化データを配置する。図６は符号化データが符号列形成部６により生成される様子を図示したものである。この時、後半のサブバンドの符号化データ（ＨＬ１，ＬＨ１，ＨＨ１）を符号列に含めないように選択することもできる。このようにすることにより、符号列を復号し、再生された画像の解像度を変化させることができる。さらに符号列形成部６は上述のように設定された各プログレッシブ形態に応じて形成された符号列に各種マーカから構成されるヘッダを追加した最終的な符号列を出力する。
【００２１】
図７は最終的な符号列の構成を図示したものである。同図において、メインヘッダMHは圧縮符号化対象となる画像の解像度、色成分数、各成分のビット精度（各成分を表現するビット数）、画像を構成するタイルのサイズ、離散ウェーブレット変換のフィルタのタイプ、量子化ステップ等の圧縮符号化に関するパラメータおよびプログレッシブ形態等の符号列構成に関する情報を指定するマーカを含んでいる。
【００２２】
また、タイルヘッダＴＨ＿ｉはｉ番目のタイルの開始を表すマーカを含んでいる。更に、当該タイルにおいて符号化に関するパラメータをその以前に符号化されたタイルから変更した場合には、そのパラメータを指定するマーカも含んでいる。ＢＳ＿ｉはｉ番目のタイルの符号化データであり、その配列は先に述べたプログレッシブ形態に基づいて構成されている。
【００２３】
図８は上記符号化器にて得られた符号列を復号する復号器の機能構成を示すブロック図である。符号列入力部７は符号列を入力し、画像やタイルのサイズ、プログレッシブ形態や量子化ステップ等の、後続の復号処理に必要なパラメータを抽出し、後述の各部に必要に応じて出力する。実際の符号列はエントロピ復号部８に出力される。なお、復号対象となる全体の符号列には、上述した図７の形態を持つ複数タイル分の符号列が、上述したコンポーネント変換部１にて得られた色成分の数だけ含まれる。本実施形態では復号処理は各色成分毎に独立して行うこととし、復号対象となる色成分を構成する各タイルの符号列を順に復号してゆく。
【００２４】
エントロピ復号部８は入力した符号列に対して復号処理を行い、量子化インデックスを出力する。この復号処理ではコードブロック内の量子化インデックスが上位ビットプレーンから順に復号される。
【００２５】
例えば、この時、符号列のプログレッシブ形態がSNRスケーラブルとなっており、所定数の上位レイヤのみが入力されている場合には、復号処理は入力されたレイヤで打ち切られ、その時点での復元値が量子化インデックスとして出力される。逆量子化部９は入力した量子化インデックスを、先に符号列から読み込まれた量子化ステップを用いて逆量子化を行い、変換係数を復元して出力する。
【００２６】
逆離散ウェーブレット変換部１０は、入力した変換係数に対して２次元の逆離散ウェーブレット変換を施し、これに対応する色成分データ（符号化対象画像がモノクロ画像の時は画像濃度データ）を復元して出力する。なおこの時、符号列のプログレッシブ形態が空間解像度スケーラブルであり、前半に符号化されるレベル（例えばＬＬのみや、ＬＬ、ＨＬ２、ＬＨ２、ＨＨ２のみ）のサブバンドのみが復元されている場合は、復元された色成分データの解像度はその復元されたサブバンドのレベルに応じて変化する。
【００２７】
図９はこの様子を示しており、同図においてサブバンドＬＬの係数のみが復号された場合は、逆離散ウェーブレット変換は実質的には行われず、ＬＬの係数が元のデータレンジに収まるように調節された後に出力される。この場合復元された色成分データは、同図ｒ＝０に示すように元の解像度に対して水平および垂直方向に１／４の解像度となっている。
【００２８】
さらに、ＬＬ、ＨＬ２、ＬＨ２、ＨＨ２のサブバンドまで復号された場合、逆変換を１レベル行うことで同図ｒ＝１に示すように、元の解像度に対して水平及び垂直方向に１／２の解像度の色成分データが復元される。さらに、ＬＬ、ＨＬ２、ＬＨ２、ＨＨ２、ＨＬ１、ＬＨ１、ＨＨ１のサブバンドまで復号された場合、逆変換を２レベル行うことで同図ｒ＝２に示すように、元の解像度に等しい解像度の色成分データが復元される。
【００２９】
以上の処理は各タイル単位で行われ、画像構成部１１は復元された各タイルの各色成分データを再度、元の１枚の符号化対象画像を構成する色成分データとして構成してコンポーネント逆変換部１２に出力する。
【００３０】
コンポーネント逆変換部１２は、入力した各色成分データに所定の変換を施すことにより、元の符号化対象画像の色空間を持つ画像データを復元して出力する。この時、元の色成分データがコンポーネント変換部１にて間引き処理されている場合は、逆変換を行う前に必要な解像度に変換（データ補間）される。
【００３１】
以上の説明において、プログレッシブ形態が空間解像度スケーラブルの場合には、復号するレイヤを制限することで、復元される画像の画質を制御することが出来る。また、SNRスケーラブルの場合には、逆離散ウェーブレット変換するサブバンドのレベル数を制限することで復元される画像の解像度を制御することが出来る。
【００３２】
次に、本実施形態におけるデジタルスチル＆ムービーカメラの構成について説明する。図１０Ａは本実施形態におけるデジタルスチル＆ムービーカメラを正面から見た外観図で、図１０Ｂは背面から見た外観図である。また、図１１は本実施形態におけるデジタルスチル＆ムービーカメラの構成図である。なお、図１０Ａ、１０Ｂ、１１において同じ部分には同じ番号を付けている。
【００３３】
図１１において、１００は画像処理装置である。１３は撮影レンズ、１４は絞り機能を備えるシャッター、１５は光学像を電気信号（アナログ信号）に変換する撮像素子、１６は撮像素子１４から出力されたアナログ信号をディジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１５、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。
【００３４】
また、画像処理回路２０は撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０は露光制御回路４０、測距制御回路４１に対して制御信号を出力し、露光制御回路４０，測距制御回路４１は、TTL（スルー・ザ・レンズ）方式のAF（オートフォーカス）処理、AE（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行う。さらに、画像処理回路２０は撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB（オートホワイトバランス）処理も行っている。
【００３５】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力されたデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。また、画像表示部２８は、システム制御回路５０の指示により表示をＯＮ／ＯＦＦすることが可能である。
【００３６】
また、３０１は音声を取り込むためのマイク、３０２はＡ／Ｄ変換器、３０３は音声処理回路であり、Ａ／Ｄ変換器３０２のデータが音声処理回路３０３、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器３０２のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。
【００３７】
３０は撮影した静止画像、動画像／音声を格納するためのメモリであり、所定枚数の静止画像、所定時間の動画像／音声を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する動画像やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００３８】
３２は画像データ、音声データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像、音声データを読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。なお、圧縮・伸長回路３２の機能構成は、図１乃至９を用いて説明した上記説明に従ったものである。
【００３９】
４０は絞り機能を備えるシャッター１２を制御する露光制御回路であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。４１は撮影レンズ１３のフォーカシングを制御する測距制御回路、４４は撮影レンズ１３のズーミングを制御するズーム制御回路、４６はバリアである保護部１０２の動作を制御するバリア制御回路である。４８はフラッシュであり、AF補助光の投光機能、フラッシュ調光機能も有する。露光制御回路４０、測距制御回路４１はTTL方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御回路４０、測距制御回路４１に対して制御を行う。
【００４０】
５０は画像処理装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。５４はシステム制御回路５０でのプログラムの実行に応じて、動作状態やメッセージ等を表示する液晶表示装置である。液晶表示装置５４に表示するものとしては、シングルショット／連写撮影表示、動画撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数／撮影時間表示、動画像再生／早送り／停止表示、電池残量表示、記録媒体２００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示等がある。５６は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。
【００４１】
６０、６２、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これら操作部の具体的な説明を行う。
【００４２】
６０はモードダイアルスイッチで、電源オフ、静止画モード、再生モード、消去モード、動画モードの各機能モードを切り替え設定することが出来る。６２はシャッタースイッチで、静止画モード時にシャッターボタン６２の操作途中（ボタンが押下可能な位置の途中まで押すこと）で信号ＳＷ１がＯＮとなり、AF（オートフォーカス）処理、AE（自動露出）処理、AWB（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始をシステム制御回路５０に指示する。
【００４３】
また、シャッターボタン６２の操作完了（ボタンが押下可能な位置まで押されたこと）で信号ＳＷ２がＯＮとなり、撮像素子１２から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始をシステム制御回路５０に指示する。
【００４４】
なお、動画モード時は、AF（オートフォーカス）処理、AE（自動露出）処理、AWB（オートホワイトバランス）処理機能が撮影しながら動作するため、信号ＳＷ１は無視されるとともに、マイク３０１から取り込まれた音声信号も、画像と同様のプロセスにて記録媒体２００の中に、音声データとして画像データとともに記録される。
【００４５】
６６は画像表示ＯＮ／ＯＦＦスイッチで、画像表示部２８のＯＮ／ＯＦＦを設定することが出来る。６８はクイックレビューＯＮ／ＯＦＦスイッチで、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定する。なお、本実施形態では特に、画像表示部２８をＯＦＦとした場合におけるクイックレビュー機能の設定をする機能を備えるものとする。
【００４６】
７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動（動画時は早送り）＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。
【００４７】
８０は電源制御回路で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源である。
【００４８】
９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２は記録媒体２００が装着されているか否かを検知する記録媒体着脱検知回路である。１０２は、画像処理装置１００のレンズ１３を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護部である。１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、液晶表示装置５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等を行う機能が備えられている。
【００４９】
１１０は通信部で、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信、等の各種通信機能を有する。１１２は通信部１１０により画像処理装置１００を他の機器と接続するコネクタである。或いは無線通信の場合はアンテナである。
【００５０】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。
【００５１】
次に上記構成を備える本実施形態におけるデジタルスチル＆ムービーカメラが動画像を撮像し、撮像した動画像を圧縮符号化することで生成する動画ファイルの構成について説明する。
【００５２】
図１９は上記動画ファイルの構成を示す図である。図１９に示すように、動画ファイルは、ヘッダエリア４０１、画像、音声の付帯情報に関する付帯情報エリア４０２、データエリア４０３、インデックスエリア４０４から構成される。ヘッダエリア４０１には、ファイル全体に関する情報が記録され、フレームレート（１秒当りのフレーム数）や画像データのフォーマット情報（例えばＪＰＥＧ２０００、ＪＰＥＧ、ビットマップ）や音声データのフォーマット情報（例えばＰＣＭ、ＭＰ３）などが記録されている。
【００５３】
付帯情報エリア４０２には、画像データの付帯情報として、画像のサイズ（例えば７２０×４８０、１４４０×９６０）や画像データの縦横の比率を示すアスペクト比等、音声データの付帯情報として、サンプリングレート、チャンネル数、ビット数等が記録されている。
【００５４】
データエリア４０３には複数の静止画からなる画像データと、それに対応する音声データがインターリーブされて記録されている。なお、本実施形態においては画像データと音声データを一つのファイルとした構造を取っているが、画像データと音声データは別のファイルとして記録しても良い。インデックスエリア４０４には、データエリア内の任意の画像データおよび音声データにアクセス可能なアドレス情報等が記録されている。
【００５５】
次に、画像データ圧縮時のタイル分割設定動作について説明する。図１２は、撮像された画像に対して上記デジタルスチル＆ムービーカメラが行う圧縮符号化処理のフローチャートである。また、図１３はモードダイヤル６０の詳細図であり、モードダイヤル６０は、回転させることによって、OFF／静止画／動画／再生／消去のいずれかのモードに切り替えることができ、同図矢印が指す位置に設定されたモードが選択される。また、前述したように、図４Ａ、４Ｂは画像をタイル分割した図であり、図４Ａは動画モード時、図４Ｂは静止画モード時であり、それぞれ３０分割、１２０分割に設定されている。
【００５６】
図１２におけるフローを説明する。まず信号ＳＷ２がＯＮになっているかどうかを判断し（ステップＳ１２１）、ＯＮになっていた場合、モードダイヤル６０により動画モードが選択されているか否かを判断する（ステップＳ１２２）。ここで動画モードが選択されていない場合（静止画モードの場合）は、分割タイル数を１２０にて画像圧縮を行い（ステップＳ１２５）、記録部のメモリへ圧縮符号化された画像を転送する（ステップＳ１２６）。一方、モードダイヤル６０により動画モードが選択されている場合、分割タイル数を３０にて画像圧縮を行い（ステップＳ１２３）、記録部のメモリへ圧縮符号化された画像を転送する（ステップＳ１２４）。
【００５７】
以上の動作によって、撮像データを圧縮記録する際、静止画／動画モード切り替え動作に連動して、画像圧縮時のタイル分割数を切り替えることができる。つまり、静止画モード時はタイル数を多く、動画モード時はタイル数を少なく設定した。以上の説明では静止画、動画を圧縮符号化する場合に、分割数を夫々１２０，３０として説明したが、これに限定されるものではなく、一般に夫々ｘ、ｙ（ｘ＞ｙ）であればよい。
【００５８】
これにより、静止画の際はタイル数が多いため、画像の切り出しや合成時、画像の微小な部分を劣化なく画像処理可能となるとともに、プリンターなど速度が遅い画像伝送時は、画像処理単位あたりのデータが少ないため効率よく伝送できる。更に、静止画でよく用いられる縦横画像変換処理の際も同様に、画像処理単位あたりのデータが少ないため効率よく画像変換できる。
【００５９】
また、動画像の際はタイル数が少ないため、一画面における画像処理の時間が減り、高速で画像を伝送でき、なめらかな動画が実現できる。更に、動画像のタイル数を、動画の１フレーム周期時間レート内に収まる最大データ量から決定すると、より最適なシステムとなる。
【００６０】
［第２の実施形態］
図１４は、撮像された画像に対して本実施形態におけるデジタルスチル＆ムービーカメラが行う圧縮符号化処理のフローチャートである。また図１５はモードダイヤル６０の詳細図であり、モードダイヤル６０は回転させることによって、OFF／静止画／動画／プログレッシブ動画／再生／消去のいずれかのモードに切り替えることができ、同図矢印が指す位置に設定されたモードが選択される。また、図１６Ａ、１６Ｂ、１６Ｃは夫々各モードにおいてタイル分割した画像を示す図であり、図１６Ａは動画モード時、図１６Ｂはプログレッシブ動画モード時、図１６Ｃは静止画モード時であり、それぞれ３０分割、５６分割、１２０分割に設定されている。
【００６１】
ここで、プログレッシブ動画モードについて説明する。一般的に動画像は転送速度を速め、ちらつきを押さえるために撮像素子をインターレース転送している。具体的には、撮像素子の垂直ライン２ライン分を混合して１ライン分の信号を形成し、シーンごとに混合する隣接画素をずらしている。しかしながら２ライン混合のため、１シーンを切り出して静止画を取り出そうとすると、画素数が１／２となってしまい、画質の悪い静止画となってしまう。そこで、２ライン混合をやめ、常に全画素を読み込むことにより、１シーンを切り出して静止画を取り出す際、高画質の静止画を得られる方式（プログレッシブ動画モード）が一般的に採用されている。ただし、このとき１画面の転送速度は遅くなってしまうので、動画像のちらつきが発生するという欠点がある。
【００６２】
次に、図１４におけるフローを説明する。まず信号ＳＷ２がＯＮになっているかどうかを判断し（ステップＳ１４１）、ＯＮになっていた場合、モードダイヤル６０により動画モードが選択されているか否かを判断する（ステップＳ１４２）。ここで動画モードが選択されていない場合（静止画モードの場合）は、モードダイヤル６０によりプログレッシブ動画モードが選択されているか否かを判断する（ステップＳ１４５）。ここでプログレッシブ動画モードになっていない場合は、分割タイル数を１２０にて画像圧縮を行い（ステップＳ１４８）、記録部のメモリへ圧縮符号化された画像を転送する（ステップＳ１４９）。
【００６３】
一方、モードダイヤル６０によりプログレッシブ動画モードが選択されている場合、分割タイル数を５６にて画像圧縮を行い（ステップＳ１４６）、記録部のメモリへ圧縮符号化された画像を転送する（ステップＳ１４７）。また、モードダイヤル６０により動画モードが選択されてる場合、分割タイル数を３０にて画像圧縮を行い（ステップＳ１４３）、記録部のメモリへ圧縮符号化された画像を転送する（ステップＳ１４４）。
【００６４】
以上の動作によって、撮像データを圧縮記録する際、静止画／動画／プログレッシブ動画モード切り替え動作に連動して、画像圧縮時のタイル分割数を切り替えることができる。つまり、静止画モード時、プログレッシブ動画モード時、動画モード時、の順に、タイル数を少なく設定した。以上の説明では静止画モード、プログレッシブ動画モード、動画モードにおいて圧縮符号化する場合に、分割数を夫々１２０，５６，３０として説明したが、これに限定されるものではなく、一般に夫々ｘ、ｙ、ｚ（ｘ＞ｙ＞ｚ）であればよい。
【００６５】
これにより、静止画の際はタイル数が多いため、画像の切り出しや合成時、画像の微小な部分を劣化なく画像処理可能となるとともに、プリンターなど速度が遅い画像伝送時は、画像処理単位あたりのデータが少ないため効率よく伝送できる。
【００６６】
また、動画像の際はタイル数が少ないため、一画面における画像処理の時間が減り、高速で画像を伝送でき、なめらかな動画が実現できる。更にプログレッシブ動画の際は、タイル数を前記静止画と動画の中間に設定されるため、動画像として扱う場合、動画像からの切り出し静止画として扱う場合、両方のメリットをバランス良く活用できる。
【００６７】
［第３の実施形態］
一般的に、静止画、動画の両方撮像可能な撮像装置において、静止画の画質を上げるため比較的多い画素数の撮像素子を用いることがある。このとき静止画モード時はそのまま画像圧縮を行う。一方動画モード時は、転送レートの速度を上げる必要があること、画質を静止画ほど上げる必要のないことの理由から、画素変換処理を行い、総画素数を少なくする処理を行う。
【００６８】
本実施形態は、上記方法に適用したものであり、以下の説明では１００万画素の撮像素子を用いた場合について説明するが、これに限定されるものではない。ここで、静止画モード時は１００万画素をフルに記録し、動画モード時は３４万画素相当に画素変換してから記録するものとする。
【００６９】
図１７は撮像された画像に対して本実施形態におけるデジタルスチル＆ムービーカメラが行う圧縮符号化処理のフローチャートである。図１７において図１２に示したフローチャート（第１の実施形態）と同じ番号を付けているステップは同じ処理を示すものであるので、説明を省略する。第１の実施形態と異なる動作は、モードダイヤルが動画モードになっていたとき、１００万画素から３４万画素に画素変換を行った（ステップＳ１７０）後、分割タイル数３０にて画像圧縮を行うところである。なお画素変換処理は公知の方法を用いる。
【００７０】
図１８Ａ、１８Ｂは上記圧縮符号化を図示したものであり、夫々動画モード時、静止画モード時におけるものである。静止画モード時は、１００万画素をそのまま分割タイル数１２０で圧縮を行う。一方動画モード時は、１００万画素を一旦３４万画素に画素変換を行った後、分割タイル数１２で圧縮を行っている。
【００７１】
ここで、動画の分割タイル数を、動画の１フレーム周期時間レート内に収まる最大データ量から決定すると、最適なシステムとなる。以上の説明では静止画、動画を圧縮符号化する場合に、分割数を夫々１２０，１２として説明したが、これに限定されるものではなく、一般に夫々ｘ、ｙ（ｘ＞ｙ）であればよい。
【００７２】
また、静止画の際はタイル数が多いため、画像の切り出しや合成時、画像の微小な部分を劣化なく画像処理可能となるとともに、プリンターなど速度が遅い画像伝送時は、画像処理単位あたりのデータが少ないため効率よく伝送できる。更に、静止画でよく用いられる縦横画像変換処理の際も同様に、画像処理単位あたりのデータが少ないため効率よく画像変換できる。
【００７３】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７５】
【発明の効果】
以上の説明により、本発明によれば、画像を複数のタイルに分割して符号化する処理において、符号化対象が動画か静止画かに応じて分割するタイル数を変更するので、それぞれの目的にあった効率的な符号化処理を実行することができる。
【図面の簡単な説明】
【図１】符号化処理を行う符号化器の機能構成を示すブロック図である。
【図２】離散ウェーブレット変換部３により出力されるサブバンドの構成を示す図である。
【図３】サブバンドをコードブロックに分割した様子を示す図である。
【図４Ａ】動画モード時に画像を分割した様子を示す図である。
【図４Ｂ】静止画モード時に画像を分割した様子を示す図である。
【図５】プログレッシブ形態がＳＮＲスケーラブルである場合に、符号化データが符号列形成部６により生成される様子を示す図である。
【図６】プログレッシブ形態が空間解像度スケーラブルである場合に、符号化データが符号列形成部６により生成される様子を示す図である。
【図７】最終的な符号列の構成を示す図である。
【図８】復号を行う復号器の機能構成を示すブロック図である。
【図９】復号されたサブバンドに対する画像を示す図である。
【図１０Ａ】本発明の実施形態におけるデジタルスチル＆ムービーカメラを正面から見た外観図である。
【図１０Ｂ】本発明の実施形態におけるデジタルスチル＆ムービーカメラを背面から見た外観図である。
【図１１】本発明の実施形態におけるデジタルスチル＆ムービーカメラの構成図である。
【図１２】撮像された画像に対して本発明の第１の実施形態におけるデジタルスチル＆ムービーカメラが行う圧縮符号化処理のフローチャートである。
【図１３】本発明の第１の実施形態におけるモードダイヤル６０の詳細図である。
【図１４】撮像された画像に対して本発明の第２の実施形態におけるデジタルスチル＆ムービーカメラが行う圧縮符号化処理のフローチャートである。
【図１５】本発明の第２の実施形態におけるモードダイヤル６０の詳細図である。
【図１６Ａ】動画モードにおいてタイル分割した画像を示す図である。
【図１６Ｂ】プログレッシブ動画モードにおいてタイル分割した画像を示す図である。
【図１６Ｃ】静止画モードにおいてタイル分割した画像を示す図である。
【図１７】撮像された画像に対して本発明の第３の実施形態におけるデジタルスチル＆ムービーカメラが行う圧縮符号化処理のフローチャートである。
【図１８Ａ】動画モード時における圧縮符号化の様子を示す図である。
【図１８Ｂ】静止画モード時における圧縮符号化の様子を示す図である。
【図１９】動画ファイルの構成を示す図である。
【図２０】従来のデジタルスチル＆ムービーカメラにおいて、撮像された画像に対して符号化を行う符号化部の構成を示すブロック図である。

Claims (6)

1. 画像に対して符号化を行う符号化装置であって、
   画像を複数のタイルに分割する分割手段と、
   前記分割手段による各タイルに対して周波数変換を施し、周波数帯域毎の変換係数を生成する周波数変換手段と、
   前記周波数変換手段による変換係数、もしくはその量子化値に対してエントロピ符号化を施すエントロピ符号化手段と、
   前記エントロピ符号化手段による符号化結果に基づいて符号列を生成し、出力する符号列生成手段とを備え、
   前記分割手段は、符号化対象に応じて分割するタイルの数を変更し、
   符号化対象が静止画の場合には、符号化対象が動画の場合よりもタイルの数が多くなるように分割を行うことを特徴とする符号化装置。
2. 前記符号列生成手段は、前記エントロピ符号化手段による符号化結果に対してプログレッシブ形態に従って符号列を生成し、出力することを特徴とする請求項１に記載の符号化装置。
3. 前記分割手段は、画像を複数のタイルに分割するにあたり、符号化対象がインターレース動画の場合のタイル数をｘ、符号化対象がプログレッシブ動画である場合のタイル数をｙ、符号化対象が静止画である場合のタイル数をｚとした場合、ｚ＞ｙ＞ｘとなるように分割することを特徴とする請求項１に記載の符号化装置。
4. 画像に対して符号化を行う符号化方法であって、
   画像を複数のタイルに分割する分割工程と、
   前記分割工程による各タイルに対して周波数変換を施し、周波数帯域毎の変換係数を生成する周波数変換工程と、
   前記周波数変換工程による変換係数、もしくはその量子化値に対してエントロピ符号化を施すエントロピ符号化工程と、
   前記エントロピ符号化工程による符号化結果に基づいて符号列を生成し、出力する符号列生成工程とを備え、
   前記分割工程では、符号化対象に応じて分割するタイルの数を変更し、
   符号化対象が静止画の場合には、符号化対象が動画の場合よりもタイルの数が多くなるように分割を行うことを特徴とする符号化方法。
5. コンピュータに請求項４に記載の符号化方法を実行させるためのプログラム。
6. 請求項５に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images