JP4251610B2

JP4251610B2 - 画像処理装置

Info

Publication number: JP4251610B2
Application number: JP2003004946A
Authority: JP
Inventors: 裕樹岸
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-01-10
Filing date: 2003-01-10
Publication date: 2009-04-08
Anticipated expiration: 2023-01-10
Also published as: US20040141653A1; US7460719B2; JP2004221781A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像と静止画像とが混在する画像データを効率よく符号化／復号化する技術に関する。
【０００２】
【従来の技術】
昨今、デジタルカメラは高画素化，低価格化が進み、普及してきている。またスチル撮影以外の様々な付加機能を有する製品も多く、付加機能がさらにデジタルカメラの普及を加速している。
【０００３】
デジタルカメラの付加機能のひとつに、動画撮像機能がある。この動画撮像機能は、ユーザーにとって非常に魅力的な機能であり、いまやメーカーは、多くのコンシューマー機に対して動画機能を搭載させている。
【０００４】
メーカーが他社製品との差別化を図る上で、動画機能の拡張を考えることも予想される。例えば、図２４に示されているように、動画撮像中における静止画撮像の実施を可能とする特殊静止画撮像機能などが、動画機能の拡張機能として考えられる。
【０００５】
このような動画機能の拡張により、ユーザーが動画像の撮像に対して興味を深め、デジタルカメラでの動画像の撮像の機会を増やすことが考えられる。一方、デジタルカメラは従来静止画を撮像することを念頭に設計されていて、大きな記憶容量をもつ記憶媒体を利用することは考慮されていない。せいぜい、デジタルカメラが具備することが可能な記憶媒体の容量は、数１００ＭＢ〜１ＧＢ程度である。また、大容量な記憶媒体は高価であり、デジタルカメラの一般的なユーザにとって現実的な選択肢ではない。実際に使用される記憶媒体の容量は、せいぜい１００ＭＢ前後であるものと考えられる。
【０００６】
【発明が解決しようとする課題】
以上の状況から、デジタルカメラにおける動画撮像が増えることで、デジタルカメラに装着（もしくは内蔵）する記憶媒体の容量不足が問題となることは、容易に予想される。
【０００７】
本発明はこのような問題を解決し、動画像と静止画像とが混在したデータを、効率よく符号化する画像処理装置を提供することを目的とする。
【０００８】
また、本発明の別の目的は本発明の画像処理装置が符号化した画像データを復号化する画像処理装置を提供することにある。
【０００９】
【課題を解決するための手段】
上述の目的を達成するため、本発明による画像処理装置は、動画像フレームが連続して構成される動画像データ中に、動画像フレームの撮像品質よりも高品質な静止画像フレームが混在する画像データを符号化及び復号化する画像処理装置であって、前記画像データのうち、動画像フレームを符号化するとともに、前記画像データ中の静止画フレームについては、静止画像フレームから動画像フレームと同等の品質を有する動画パートデータを生成し、当動画パートデータを符号化することにより、動画符号化データを生成する第１の符号化手段と、静止画像フレームの、動画パートデータを除いた差分データを符号化し、差分符号化データを生成する第２の符号化手段と、動画パートデータと対応する差分データとを対応付ける対応情報と、動画符号化データに含まれる動画パートデータを特定するための識別情報とを生成する付加情報生成手段と、動画符号化データと、差分符号化データと、対応情報及び識別情報とを、前記画像データの符号化結果として記憶媒体に記録する記録手段と、ユーザーからの、動画像の再生指示又は静止画像の再生指示に基づいて、記憶媒体に記録された符号化結果を用いて動画像データの動画像フレーム及び静止画像フレームを選択的に再生する再生手段と、ユーザーから静止画の再生指示に応答して、再生手段が静止画像の再生を行う場合、識別情報に従って動画符号化データに含まれる動画パートデータを検索し、検索によって特定される動画パートデータを復号化して静止画像を表示出力し、当静止画像がさらにユーザーによって指定されることに応じて、対応情報に従って指定された静止画像に係る動画パートデータに対応する差分符号化データを検索し、検索された差分符号化データを復号化してより高品質な静止画像を表示出力する復号化手段と、
【００１０】
【発明の実施の形態】
本発明による画像処理装置は、所定の撮像品質を有する動画像フレームが連続して構成される動画像データ中に、所定の撮像品質よりも高品質な静止画像フレームが混在する画像データを符号化する画像処理装置であって、動画像データのうち、動画像フレームを符号化するとともに、動画像データ中の静止画フレームについては、静止画像フレームから動画像フレームと同等の品質を有する動画パートデータを生成し、当該動画パートデータを符号化することにより、動画符号化データを生成する第１の符号化部と、静止画像フレームの、動画パートデータを除いた差分データを符号化し、差分符号化データを生成する第２の符号化部と、動画パートデータと対応する差分データとを対応付ける対応情報と、動画符号化データに含まれる動画パートデータを特定するための識別情報とを生成する付加情報生成部と、動画フレーム符号化データと、差分符号化データと、対応情報及び識別情報とを、動画像データの符号化結果として出力する出力部とを有することを特徴とする。
【００１１】
このような本発明は、具体的に願書に添付する図面に示す構成及び処理において、以下の実施形態と対応して実現できる。
【００１２】
以下、添付図面を参照して、本発明をその好適な実施形態に基づき詳細に説明する。
■（第１の実施形態）
一般的に、静止画は、動画像中の１フレームと比較すると高品質が要求される。これは、動画像のリアルタイム復号への要求や、動画の蓄積に使用記憶容量の大きさから、動画を構成する１フレームへ割り当てる符号量が少なくなるため、１フレームの画質が、静止画としての画質より大幅に低いからである。
【００１３】
このようなことを考慮して、多くの静止画と動画を撮像可能なデジタルカメラでは、画素数を静止画撮影時と動画撮像時で変えるように構成されている。
【００１４】
本発明の画像処理装置の一実施形態として以下に説明する、本実施形態に係る特殊静止画撮像可能なデジタルカメラにおいても、静止画撮像時と動画撮像時において画素数に違いを持たせ、さらに静止画の低解像度画像を動画像の１コマ（１フレーム）として使用する。この静止画と動画間でのデータの共有により、本実施形態におけるデジタルカメラは省メモリ化を達成する。
【００１５】
なお、本実施形態においては、静止画フレームとして2048x1536pixelの画像データを扱い、動画フレームとして、512x384pixelの画像データを扱うものとする。
【００１６】
なお以下の説明において、次に定義する用語を利用する。また、図２５は、これらの用語の一部を説明する図である。
動画像データ：入力された動画像のデータ
静止画フレーム：動画像データのうち、静止画としても撮像されたフレーム
動画フレーム：動画像データ中の静止画フレーム以外のフレーム
動画パートデータ：静止画フレーム中の、動画としても利用されるデータ
差分データ：静止画フレーム中の、動画パートデータ以外のデータ
静止画フレーム符号化データ：符号化された静止画フレーム
動画パート符号化データ：符号化された動画パートデータ
差分符号化データ：符号化された差分データ
（動画）フレーム符号化データ：符号化された動画フレーム
動画像符号化データ：動画フレーム符号化データと動画パート符号化データ
から構成されるデータ
【００１７】
＜１動画像符号化データの生成の概略＞
まず、動画像符号化データを作成する撮影記録装置及び処理の例について、簡単に説明する。
図１７は動画像を撮影できるデジタルカメラの模式図である。詳細は公知であるので省略するが、デジタルカメラ１７０１は、撮影ボタンを押すことで３０フレーム／秒の動画撮影ができ、さらに動画像撮像中に撮影ボタンを再度押すと静止画を撮像することが可能となる様に構成されているものとする。
【００１８】
図１８は、デジタルカメラ１７０１において画像の記録に関係する機能ブロックと、記録フォーマットについて模式的に示した図である。上記方法で撮影される各フレームの画像は、撮像素子等の画像入力部１８０１からフレーム単位に発生する。そしてその各フレームの画像は、ＪＰＥＧ２０００符号化部１８０２において、１フレーム毎に独立して符号化される。なお、このＪＰＥＧ２０００符号化部の符号化方式の詳細は、後で説明する。
【００１９】
ここで符号化された各フレームの符号化データは、記録部１８０３により、時系列順に記録媒体１８０４に記録される。このとき、動画像符号化データ中における、静止画フレームが存在するアドレス（つまり動画パート符号化データの先頭アドレス）を特定する情報と、差分符号化データ中のｉ番目の静止画フレームに対応する差分符号化データを識別する情報が生成され、これら２つの情報を統合した識別情報が生成される。
【００２０】
また記録部１８０３には、画像入力部１８０１からの制御信号、或いはデジタルカメラ１７０１の撮影ボタンからの制御信号等を監視することにより、上述の識別情報が入力され、記録媒体には、動画像符号化データと差分符号化データと共に、この識別情報も合わせて記録される。この識別情報により、復号化を行う際に、動画像符号化データ中のどのフレームが静止画フレームであるかを知ることができ、また、任意の静止画フレームを、対応する差分符号化データに関連づけることが可能となる。
【００２１】
なお、記録媒体１８０４には、図２２に示すように、動画符号化データが連続的に、また、差分符号化データが別領域に連続的に記録される。
【００２２】
＜ＪＰＥＧ２０００符号化方法の概略＞
次に、ＪＰＥＧ２０００符号化部１８０２のブロック図である図１と、ＪＰＥＧ２０００符号化部１８０２の処理を示すフローチャートである図２を参照して、本実施形態において用いるＪＰＥＧ２０００方式によるフレームデータの符号化処理を説明する。なお、ヘッダの作成方法等、さらなる詳細についてはＩＳＯ／ＩＥＣ勧告書を参照されたい。
【００２３】
本実施形態において符号化対象となるフレームデータは、８ビット／画素のモノクロフレームデータとする。しかしながら、以下に説明する方法は、各画素４ビット、１０ビット、１２ビット等、８ビット／画素以外のビット数で表されるモノクロ画像や、各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を８ビットで表現するカラーの多値フレームデータに適用することも可能である。また、画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロフレームデータとすればよい。
【００２４】
まず、画像入力部１８０１から、フレームデータ入力部１０１へ、符号化対象となるフレームデータを構成する画素データがラスタースキャン順に入力され、タイル分割部１０２に出力される。
【００２５】
タイル分割部１０２は、フレームデータ入力部１０１から入力される１枚の画像をｊ枚のタイルに分割し（ステップＳ５０１）、各タイルを識別するためにラスタースキャン順にタイルナンバーi=0, 1, 2, ...,j-1を割り振るものとする。なお、本実施形態では、図１２に示されているように、画像を横８，縦６に分割し、４８枚のタイルを作り出すものとする（すなわち、ｊ＝４８）。
【００２６】
ここで、各タイルを表すデータをタイルデータと呼ぶことにする。これら生成されたタイルデータは、順に離散ウェーブレット変換部１０３に送られる。なお、離散ウェーブレット変換部１０３以降の処理において、タイルは独立に符号化されるものとする。また、ここで、当該ＪＰＥＧ２０００符号化部１８０２が処理しているタイルを認識するための不図示のカウンタが０に設定される（ステップＳ５０２）。
【００２７】
離散ウェーブレット変換部１０３は、タイル分割部１０２から入力される、１つの静止画像（フレーム）中の１つのタイルデータx(n)における複数の画素（参照画素）のデータ（参照画素データ）を用いて離散ウェーブレット変換を行う（ステップＳ５０３）。
【００２８】
以下に、離散ウェーブレット変換後のフレームデータ（離散ウェーブレット変換係数）を示す。
Y(2n) = X(2n)+floor{ (Y(2n-1)+Y(2n+1)+2)/4 }
Y(2n+1) = X(2n+1)-floor{ (X(2n)+X(2n+2))/2 }
Y(2n),Y(2n+1)は離散ウェーブレット変換係数列であり、Y(2n)は低周波サブバンド、Y(2n+1)は高周波サブバンドである。また、上式においてfloor{X}はXを超えない最大の整数値を表す。この離散ウェーブレット変換を模式的に表わしたのが図１３である。
【００２９】
本変換式は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図３（ａ）の様なＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同じ様に４つのサブバンドに分け（図３（ｂ））、その中のＬＬサブバンドをまた４サブバンドに分ける（図３（ｃ））。この操作により合計１０サブバンドが生成される。そして、１０個のサブバンドそれぞれに対して、図３（ｃ）の様にＨＨ１，ＨＬ１，…と呼ぶことにする。ここで、各サブバンドの名称における数字を、それぞれのサブバンドのレベルとする。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２である。なおＬＬサブバンドは、レベル０のサブバンドとする。ＬＬサブバンドは１つしかないので数字を付けない。またレベル０からレベルｎまでのサブバンドを復号することで得られる復号画像を、レベルｎの復号画像と呼ぶ。
【００３０】
また、復号することで得られる画像の解像度のレベルを以下の通り定義する。
ＬＬのみ復号することで得られる画像：レベル０の解像度の復号画像
ＬＬ，ＬＨ３，ＨＬ３，ＨＨ３を復号することで得られる画像：レベル１の解像度の復号画像
ＬＬ−ＨＨ２を復号することで得られる画像：レベル２の解像度の復号画像
ＬＬ−ＨＨ３を復号することで得られる画像：レベル３の解像度の復号画像
復号画像は、そのレベルが高い程解像度が高い。
【００３１】
１０個のサブバンドの変換係数は、一旦バッファ１０４に格納され、ＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ３，ＨＨ３の順に、つまり、レベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部１０５へ出力される。
なお本実施形態においては、静止画フレームに対しては、離散ウェーブレット変換を３回、動画フレームに対しては１回実施するものとする。
【００３２】
係数量子化部１０５では、バッファ１０４から出力される各サブバンドの変換係数を各周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部１０６へ出力する（ステップＳ５０４）。係数値をX、この係数の属する周波数成分に対する量子化ステップの値をqとするとき、量子化後の係数値Q(X)は次式によって求めるものとする。
Q(X)=floor{(X/q)+0.5}
【００３３】
本実施形態における各周波数成分と量子化ステップとの対応を図４に示す。同図に示す様に、よりレベルが高いサブバンドの方に、大きい量子化ステップを与えている。なお、図４に示すような各サブバンド毎の量子化ステップは予め不図示のＲＡＭやＲＯＭなどのメモリに格納されているものとする。そして、一つのサブバンドにおける全ての変換係数を量子化した後、それら係数量子化値をエントロピー符号化部１０６へ出力する。
【００３４】
エントロピー符号化部１０６では、入力された係数量子化値がエントロピー符号化される（ステップＳ５０５）。ここでは、まず、図５に示されているように、入力された係数量子化値の集まりである各サブバンドが、矩形（コードブロックと呼ぶ）に分割される。なお、このコードブロックの大きさには、２ｍ×２ｎ（ｍ、ｎは２以上の整数）等が設定される。さらにこのコードブロックは、図６に示されているように、ビットプレーンに分割される。その上で、図７に示されているように、あるビットプレーンにおける各ビットは、ある分類規則に基づいて３種類に分けられて、同じ種類のビットを集めたコーディングパスが３種類生成される。入力された係数量子化値は、ここで得られたコーディングパスを単位として、エントロピー符号化である二値算術符号化が行われ、エントロピー符号化値が生成される。
【００３５】
なお、ここでエントロピー符号化の具体的な処理順序は、１つのコードブロックに注目すると上位ビットプレーンから下位ビットプレーンの順に符号化され、その１コードブロックのあるビットプレーンに注目すると、図７に示す３種類のパスを上から順に符号化する様になっている。
エントロピー符号化されたコーディングパスは、タイル符号化データ生成部１０７に出力される。
【００３６】
タイル符号化データ生成部１０７では、入力された複数のコーディングパスから、単一もしくは複数のレイヤが構成され、それらレイヤをデータの単位としてタイル符号化データが生成される（ステップＳ５０６）。以下にレイヤの構成に関する説明を行う。
【００３７】
当該処理部は、図８に示されているように、複数のサブバンドにおける複数のコードブロックから、エントロピー符号化されたコーディングパスを集めた上で、レイヤを構成する。図８では、５枚のレイヤが生成された場合を示している。なお、図９に示されているように、あるコードブロックからコーディングパスを取得する際、常に該コードブロックにおいて最上位に存在するコーディングパスが選ばれる。
【００３８】
その後、タイル符号化データ生成部１０７は、図１０に示されているように、生成したレイヤを、上位に位置するレイヤから順に並べた上で、その先頭にタイルヘッダを付加してタイル符号化データを生成する。このヘッダには、タイルを識別する情報や、当該タイル符号化データの符号長や、圧縮に使用した様々なパラメータ等が格納される。このように生成されたタイル符号化データは、フレーム符号化データ生成部１０８に出力される。
【００３９】
なお、本実施形態では、静止画フレームにおけるタイル符号化データの生成において、動画パートデータを構成するサブバンド群から得られるタイル符号化データと、差分データを構成するサブバンド群から得られるタイル符号化データが生成される。
【００４０】
ここで、符号化すべきタイルデータが残っている場合は、処理をステップＳ５０３に戻し、符号化すべきタイルデータが残っていない場合は、処理をステップＳ５０８に進める（ステップＳ５０７）。
【００４１】
フレーム符号化データ生成部１０８では、図１１に示されているように、タイル符号化データを所定の順番で並べた上で、先頭にヘッダを付加してフレーム符号化データを生成する（ステップＳ５０８）。このヘッダには、入力画像やタイルの縦横のサイズ、圧縮に使用した様々なパラメータ，フレーム符号化データの符号長等が格納される。このように生成されたフレーム符号化データは、フレーム符号化データ出力部１０９から記録部１８０３に出力される。
【００４２】
なお、本実施形態では、動画フレーム符号化データと動画パート符号化データがまとめられて動画像符号化データとして出力される。また、差分符号化データは、動画像符号化データとは区別されて出力される。
以上が本実施形態における、ＪＰＥＧ２０００符号化部１８０２によるフレームデータの符号化方法である。
【００４３】
＜２復号再生方法＞
次に、上述の様にして作成した動画像符号化データの復号方法について説明する。
図１９は、本実施形態に係るデジタルカメラが利用可能な復号装置の構成例を示すブロック図である。
【００４４】
１９００は、復号装置の各部の動作を制御する制御部である。この制御部は後述するユーザーインターフェイスからの指示（例えば、通常再生モードとスロー再生の切替、再生開始、再生停止の指示等）も受け取り、これに応じた動作制御を各部に行う。
【００４５】
１９０１は読み取り器であり、上述した図１８の記録媒体１８０４に記録された動画像符号化データを読み出すものである。読み取り器１９０１は記録部１８０３であってもよい。メモリ１９０２は読み取り器１９０１が読み取った動画像符号化データを一旦蓄積する役割を持つ。その他、この動画像符号化データを復号して得られる復号画像も一旦蓄積する。また、装置内の各部が使用するプログラムデータ等も格納可能であり、各種ワークメモリにも使用される。
【００４６】
１９０３は上述したＪＰＥＧ２０００符号化部１８０２の復号化側に相当するＪＰＥＧ２０００復号化部である。ここでは、ＪＰＥＧ２０００方式で符号化され、記録媒体１８０４に記録された動画像符号化データを順次復号する。このＪＰＥＧ２０００方式の復号方法については、後で説明する。
【００４７】
１９０４は表示用メモリであり、次に表示したい１フレームの画像を記憶させるものである。本実施形態ではメモリ１９０２に一旦格納された復号画像を、制御部１９００のタイミング制御に基づいて順次（繰り返し同一フレームを読み出す場合も有るが）読み出し、この表示用メモリ１９０４に書き込むものとする。
【００４８】
なお、表示用メモリ１９０４の容量は、書き込みと読み出しが重ならない様に、複数フレーム分備えることとし、制御部１９００がその書き込みと読み出しも管理する。
【００４９】
１９０５は表示部であり、パソコン等のディスプレイに相当する。この表示部１９０５には、表示部に与えられた表示用フレームレートで、メモリ１９０４に保持されたフレーム（画像）を表示するものである。
【００５０】
１９０６は指示入力部であり、例えばマウス、キーボード、カメラの操作部に設けられたキーやボタンである。或いは表示部１９０５と一体化したタッチパネルとしても良い。ユーザーは、表示部に表示される操作画面を参照しつつ、この指示入力部を介して、再生に関するあらゆる指示を入力できる。
【００５１】
図２０は、表示部１９０５に表示される操作画面の例を示す図である。２０００は、表示用メモリ１９０４に格納された画像を実際に表示する表示領域である。本実施形態においては、表示部１９０５の画面全体ではなく、この領域２０００に表示される。
【００５２】
２００１と２００２は、通常の時間軸方向（時間が進む方向）への再生（通常再生）を指示するボタンであり、２００１が通常速度の再生を指示するボタン、２００２がスロー再生を指示するボタンである。２００３は停止ボタンである（不図示の一時停止ボタンも存在する）。
【００５３】
２００４と２００５は、通常の時間軸方向とは逆方向への再生（逆転再生）を指示するボタンであり、２００５が通常速度の逆転再生を指示するボタン、２００４がスロー逆転再生を指示するボタンである。なお、本実施形態では、動画像を構成する各フレームは独立して符号化されているので、それら各フレームを逆順で復号化し表示することで、容易に逆転再生を行うことができる。
【００５４】
また、２００６は、再生を指示するボタンが押された際に表示する画像の種類（動画、静止画）を決定する種別ボタンである。例えば、このボタンが押された状態で、再生を指示するボタンが押された場合、静止画が表示され、ボタンが押されていない状態で再生が指示されると、動画が表示される。
【００５５】
次に、実際に動画像符号化データを復号し、表示するまでの、動作の流れを図２１のフローチャートを用いて詳しく説明する。なお、ここでは、通常再生と静止画フレームの表示に関する動作制御についてのみ説明する。スロー再生（ボタン２００２の使用に相当）については、フレームをスキップしながら復号再生すればよく、逆転再生（ボタン２００４と２００５の使用に相当）については、通常再生（通常再生とスロー再生）における時間軸を全て逆に考えれば良く、以下の説明においてボタン２００１と２００５、２００２と２００４とを入れ替えて読むことでこれらの処理は容易に理解されるので、説明を省略する。
【００５６】
図２１において、まず、ステップＳ２１０１において、再生又は停止の動作ボタン２００１，２００３がユーザにより押されたか否かを判断する。なお、ここでの“押す”という操作は、図１９の指示入力部１９０６（キーやタッチパネル）により行っているものである。
【００５７】
ボタン２００１、２００３のいずれかが押された時には、次に何れのボタンが押されたか判断する。なお、この判断の順番は特に限定されない。もし、ボタン２００３が押されていた場合（ステップＳ２１０５のＹｅｓ）には、全ての復号、再生動作を停止する（ステップＳ２１０６）。また、ステップＳ２１０２において、ボタン２００１が押されていた場合（ステップＳ２１０５のＮｏ）、種別ボタン２００６が押されているか判断される。もし、種別ボタン２００６が押されていた場合、ステップＳ２１０３で静止画フレームを表示する。この方法については後で説明する。一方、種別ボタン２００６が押されていない場合、ステップＳ２１０４で動画フレームを復号し、動画像を再生する。この方法についても、後で説明する。
以上の制御は、指示入力部１９０６を介して与えられるユーザからの指示入力に基づいて、制御部１９００が行う。
【００５８】
＜動画像再生方法＞
図２１のステップＳ２１０４における動画像再生方法を説明する。
制御部１９００は、ユーザーからの指示に応じて、図２２に示すフォーマットで記録されている記録媒体１８０４中に存在している動画像符号化データのうち、復号に必要となるデータを読み出し器１９０１により読み出し、ＪＰＥＧ２０００復号部１９０３に入力する。ＪＰＥＧ２０００復号部１９０３に入力された動画像符号化データは、フレーム単位でＪＰＥＧ２０００方式による復号処理が実施され、上述したように表示用メモリ１９０４へ書き込まれ、表示部１９０５で表示される。このＪＰＥＧ２０００方式の復号方法については、後で説明する。
【００５９】
＜静止画フレーム表示方法＞
図２１のステップＳ２１０３における静止画フレーム表示方法を、図２３のフローチャートに基づいて説明する。
制御部１９００は、図２２に示されている記録媒体１８０４に格納されている、静止画フレームを識別する識別情報を利用して、動画像符号化データ中の静止画フレームを検索する（ステップＳ２３０１）。次いで、検索した静止画フレームの動画パートデータを復号し、動画パートデータ中のＬＬサブバンドを表示部１０５に表示する（ステップＳ２３０２）
【００６０】
ステップＳ２３０３において、ユーザーから、図１９の指示入力部１９０６（マウス等）から表示すべき静止画フレームが指定されると、復号済みの静止画フレーム（の動画パートデータ）と、当該静止画フレームに対応する差分符号化データから静止画像を復号し表示する（ステップＳ２３０４，ステップＳ２３０５）。なお、この静止画像の復号表示方法については、当業者には自明であるので、当該処理の説明は割愛する。
【００６１】
＜ＪＰＥＧ２０００方式の復号方法の概略＞
次にＪＰＥＧ２０００復号部１９０３における復号処理について、ＪＰＥＧ２０００復号部１９０３の構成例を示すブロック図である図１４と、復号処理を説明する図１６のフローチャートを参照して説明する。
【００６２】
フレーム符号化データ入力部１４０１に入力されたフレーム符号化データと再生方法の情報は、復号対象タイル決定部１４０２に出力される。復号対象タイル決定部１４０２は、図１５に示すように、左上に存在するタイルから右に向かって、さらに上から下に向かって順に復号対象タイルを決定する。
【００６３】
復号対象タイルが決定された後、ＪＰＥＧ２０００復号部１９０３が処理しているタイルを認識するための不図示のカウンタがi=0に設定される（ステップＳ１６０２）。なおこのステップは、ｉ＞０の時にはスキップされる。
【００６４】
次に、復号対象であるタイル符号化データは、エントロピー復号部１４０３に入力されて、エントロピー復号が行われ、量子化値が復元される（ステップＳ１６０３）。そして復元された量子化値は逆量子化部１４０４に出力される。逆量子化部１４０４は入力した量子化値を逆量子化する事により、離散ウェーブレット変換係数を復元して後続の離散ウェーブレット変換部１４０５に出力する（ステップＳ１６０４）。逆量子化は以下の式により行われる。
Ｘｒ＝Ｑ×ｑ
ただし、Ｑは量子化値、ｑは量子化ステップ、Ｘｒは復元された離散ウェーブレット変換係数である。
【００６５】
逆離散ウェーブレット変換部１４０５では、以下に記述されている式に基づいて逆離散ウェーブレット変換が行われる（ステップＳ１６０５）。
X(2n)=Y(2n)-floor{(Y(2n-1)+Y(2n+1)+2)/4}
X(2n+1)=Y(2n+1)+floor{(X(2n)+X(2n+2))/2}
ここで、低周波サブバンドの離散ウェーブレット変換係数をY(2n)、高周波サブバンドの離散ウェーブレット変換係数をY(2n+1)とする。また、x(n)は復号データである。本変換式は一次元のデ−タに対するものであるが、この変換を水平方向、垂直方向の順に適用することで二次元の変換を行う。そして復号タイルデータが生成され、復号フレームデータ出力部１４０６に出力される（ステップＳ１６０６）。
【００６６】
ここで、復号対象タイルが残っている場合は、処理をステップＳ１６０３に戻し、復号対象タイルが残っていない場合は、処理をステップＳ１６０８に進める（ステップＳ１６０７）。復号フレームデータ出力部１４０６は、復号タイルデータをi=0,...,M-1の順番で並べた上で復号フレームデータを生成して出力する（ステップＳ１６０８）。
以上が本実施形態におけるＪＰＥＧ２０００によるフレームデータの復号方法の説明である。
【００６７】
このように、本実施形態における特殊静止画撮像が可能なデジタルカメラは、静止画と動画間でデータの共有を図ることにより、動画記録に必要な記憶媒体の容量を低減することができる。
【００６８】
■（第２の実施形態）
第１の実施形態では、静止画と動画で画素数が異なる場合に、必要な記憶容量の低減を実現する方法を示した。
本実施形態においては、静止画と動画間で画素数が等しく、画素の正確さ（Ｓ／Ｎ比）を異ならせて記録を行う場合において、必要な記憶容量を低減することを特徴とする。
【００６９】
本実施形態における処理のうち、第１の実施形態における処理と本質的に異なるものは、ＪＰＥＧ２０００方式による符号化処理部分のみである。よって、以下の説明では、本実施形態に特有なＪＰＥＧ２０００方式による符号化処理についてのみ注力し、その他の処理の説明は割愛する。
【００７０】
（ＪＰＥＧ２０００符号化方法の説明）
第１の実施形態では、静止画フレームデータにおいて、動画パートデータは低周波成分（低レベルサブバンド）であり、差分データは高周波成分（高レベルサブバンド）であった。本実施形態においては、静止画フレームにおいて、上位ビットプレーンが動画パートデータであり、下位ビットプレーンが差分データとなる。また、動画パートデータから得られる再生画像が動画フレームと同程度の画質を持つように、動画パートデータは構成される。
【００７１】
以下の説明では、図２６に示すように、静止画フレームデータの下位１ビットプレーンが差分データとなり、それより上位のビットプレーンが動画パートデータとなる。
【００７２】
このような静止画フレームの構成を持たせられるような、本実施形態におけるＪＰＥＧ２０００符号化部の構成は図２７のようになる。同図から明らかなように、本実施形態におけるＪＰＥＧ２０００符号化部は、第１の実施形態のＪＰＥＧ２０００符号化部における係数量子化部とタイル符号化データ生成部を置き換えた構成を有する。
【００７３】
係数量子化部２７０１に入力された離散ウェーブレット変換係数は、図２９に示されているように、符号化対象のフレームの属性により、異なる量子化ステップで量子化される。この２つの量子化ステップにおいて注意すべき点は、静止画フレーム用量子化ステップＱｓと動画フレーム用量子化ステップＱｍの間には、
Ｑｍ_ｉ＝２＊Ｑｓ_ｉ
（ｉはサブバンドを識別するインデックス）
【００７４】
これは、既に述べたように、本実施形態では、差分データは静止画フレーム符号化データの下位１ビットプレーンから構成され、動画パートデータは下位２ビットプレーン以上のデータから構成され、また動画パートデータには動画用フレームと同程度の画質を求められるからである。
【００７５】
このようにして量子化された離散ウェーブレット変換係数はエントロピー符号化部１０６でエントロピー符号化され、タイル符号化データ生成部２７０２に入力される。
【００７６】
タイル符号化データ生成部２７０２では、エントロピー符号化された動画フレームデータと動画パートデータから、タイル符号化データを生成する。同様に、エントロピー符号化された差分データはタイル符号化データとなる。なお、静止画フレームデータに対してレイヤ構成を取るに際して、任意のレイヤにおいて、差分データと動画パートデータを混在させることはしない。これは、ＪＰＥＧ２０００符号化方式においては、ビットの深さ方向でデータを並べてビットストリームを構成する際、レイヤを単位とするからである。
【００７７】
これらタイル符号化データは、フレーム符号化データ生成部１０８において、動画像符号化データと差分符号化データとなり、フレーム符号化データ出力部１０９及び記録部１８０３を介して記憶媒体１８０４に書き込まれる。
【００７８】
このように、本実施形態における特殊静止画撮像が可能なデジタルカメラは、静止画と動画間でビットプレーン単位でのデータの共有を図ることにより、動画記録に必要な記憶媒体の容量を低減することができる。
【００７９】
■（第３の実施形態）
第１の実施形態では、静止画と動画で画素数が異なる場合に、必要な記憶容量の低減を実現する方法を示した。また、第２の実施形態では、静止画と動画でＳ／Ｎ比が異なる場合に、必要な記憶容量を低減する方法を示した。
【００８０】
本実施形態においては、静止画と動画間で画素数とＳ／Ｎ比の両方を異ならせて記録を行う場合において、必要な記憶容量を低減することを特徴とする。
【００８１】
本実施形態における処理のうち、第１の実施形態における処理と本質的に異なるものは、ＪＰＥＧ２０００方式による符号化処理部分のみである。よって、以下の説明では、本実施形態に特有なＪＰＥＧ２０００方式による符号化処理についてのみ注力し、その他の処理の説明は割愛する。
【００８２】
（ＪＰＥＧ２０００符号化方法の説明）
本実施形態においては、静止画フレームとして2048x1536pixelの画像データを扱い、動画フレームとして、512x384pixelの画像データを扱うものとする。また、静止画フレーム中における、動画フレームと同じ解像度を担持するサブバンドのビットプレーンの枚数は、動画フレームより一枚多くなるようにする。
【００８３】
図２８は、本実施形態におけるＪＰＥＧ２０００符号化部のブロック図である。同図から明らかなように、本実施形態におけるＪＰＥＧ２０００符号化部は、第１の実施形態のＪＰＥＧ２０００符号化部における係数量子化部とタイル符号化データ生成部を置き換えた構成を有する。
【００８４】
離散ウェーブレット変換部は１０３、静止画フレームをウェーブレット変換する際、単一のサブバンドの画素数が動画フレームの画素数と同じになるように、もしくは複数のサブバンドから構成されるサブバンド群の画素数が動画フレームの画素数と同一になるようにする。つまり、１回の縦方向の離散ウェーブレット変換と、１回の横方向の離散ウェーブレット変換をまとめた処理を、統合離散ウェーブレット変換とした場合、離散ウェーブレット変換部１０３は２回以上の統合離散ウェーブレット変換を、静止画フレームに対して実施する。
【００８５】
ここでは、離散ウェーブレット変換部１０３は、動画フレームに対しては１統合離散ウェーブレット変換を実施し、静止画フレームには３統合離散ウェーブレット変換を実施するものとする。
【００８６】
係数量子化部２８０１は、動画フレームと、動画フレームと同じ画素数をもつ、静止画フレーム中の単一サブバンドもしくはサブバンド群の量子化ステップを関連づける。
【００８７】
具体的には、図２９に示されているように、ＬＬ，ＬＨ１，ＨＬ１，ＨＨ１における静止画フレーム用量子化ステップＱｓと動画フレーム用量子化ステップＱｍの間には、
Ｑｍ_ｉ＝２＊Ｑｓ_ｉ
（ｉはサブバンドを識別するインデックス）
【００８８】
このようにして量子化された離散ウェーブレット変換係数は、エントロピー符号化部１０６でエントロピー符号化され、タイル符号化データ生成部２８０２に出力される。
タイル符号化データ生成部２８０２では、静止画フレームと動画フレームに対してレイヤ構成を持たせた上で、タイル符号化データを生成する。
【００８９】
ＪＰＥＧ２０００では、解像度順もしくはレイヤ順にビットストリームを構成しなくてはならない。従って、図３０に示すように、静止画フレーム符号化データの前半に動画パート符号化データを集め、静止画フレーム符号化データの後半に差分符号化データを集めたデータ構成を実現させるためには、図３１に示すように、上位レイヤには、動画フレームと同じ解像度を担持するサブバンドにおける、動画フレームと同画質を担持するビットプレーン（つまり動画パートデータ）を集め、下位レイヤにはそれ以外のデータ（つまり差分データ）を集めた上で、レイヤ順にビットストリームを構成する必要がある。
【００９０】
例えば、本実施形態における静止画フレームにおけるレイヤ構成では、上位レイヤ（レイヤ０、１、２）にはＬＬ，ＬＨ１，ＨＬ１，ＨＨ１の下位２ビットプレーン目以上が格納され，下位レイヤ（レイヤ３及び４）にはＬＬ，ＬＨ１，ＨＬ１，ＨＨ１の下位１ビットプレーンとＬＨ２，ＨＬ２，ＨＨ２，ＬＨ３，ＨＬ３，ＨＨ３の全ビットプレーンが格納される。
【００９１】
これらタイル符号化データは、フレーム符号化データ生成部１０８においてフレーム符号化データとなり、フレーム符号化データ出力部１０９及び記録部１８０３を介して記憶媒体１８０４に書き込まれる。
【００９２】
このように、本実施形態における特殊静止画撮像が可能なデジタルカメラは、静止画と動画間で、解像度及びビットプレーン単位でのデータの共有を図ることにより、動画記録に必要な記憶媒体の容量を低減することができる。
【００９３】
【他の実施形態】
上述の実施形態においては、（動画フレームの解像度）＊（２^ｎ）＝（静止画フレームの解像度）である場合についてのみ説明したが、本発明はこのような関係を満たしていない場合であっても適用可能である。このような関係がない場合、静止画フレームから動画フレームと同じ解像度の動画パートデータを生成する上で、離散ウェーブレット変換だけでなく、適当な解像度変換処理を併せて処理を行えばよい。
【００９４】
また、記録媒体上に、動画像符号化データと差分符号化データを分離して記録する方法を示したが、これらをひとつのデータ格納フォーマットに格納した上で、これらのデータを記録してもよい。このような場合、画像復号装置が、動画像再生時に、該データを動画像として正しく復号できるようにするために、差分符号化データを読み飛ばすようなデータの格納方法を実施する。
【００９５】
なお、上述の実施形態においては、１つの機器から構成される画像処理装置についてのみ説明したが、同等の機能を複数の機器から構成されるシステムによって実現しても良い。
【００９６】
また、符号化装置と復号化装置の両方を有する必要はなく、いずれか一方のみで本発明の画像処理装置を構成しうる。
【００９７】
さらに、撮像するための構成についても必須ではなく、予め記録された動画データを用いて、上述したような符号化を行う構成であっても良い。
【００９８】
尚、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態で説明したフローチャートに対応したプログラム）を、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【００９９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【０１００】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１０１】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１０２】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【０１０３】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【０１０４】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１０５】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１０６】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１０７】
【発明の効果】
以上説明したように本発明によれば、符号化データ量を削減することができ、例えば動画像を記録可能なデジタルカメラ等に本発明を適用した場合、記憶媒体に記憶可能な動画の撮影時間を増やすことができる（あるいは、所定の時間分の動画を記録するために必要な記憶媒体の容量を削減できる）。
【図面の簡単な説明】
【図１】本発明の第１の実施形態におけるＪＰＥＧ２０００符号化部の機能構成例を示すブロック図である。
【図２】本発明の第１の実施形態におけるＪＰＥＧ２０００符号化部が行う符号化処理を説明するフローチャートである。
【図３】２次元離散ウェーブレット変換を説明する図である。
【図４】量子化ステップを説明する図である。
【図５】コードブロック分割を説明する図である。
【図６】ビットプレーン分割を説明する図である。
【図７】コーディングパスを説明する図である。
【図８】レイヤ生成を説明する図である。
【図９】レイヤ生成を説明する図である。
【図１０】タイル符号化データの構成の説明図である。
【図１１】フレーム符号化データの構成の説明図である。
【図１２】タイル分割を説明する図である。
【図１３】１次元離散ウェーブレット変換を説明する図である。
【図１４】本発明の第１の実施形態におけるＪＰＥＧ２０００復号部の機能構成例を示すブロック図である。
【図１５】タイルの復号順序を説明する図である。
【図１６】本発明の第１の実施形態におけるＪＰＥＧ２０００復号部が行う復号化処理を説明するフローチャートである。
【図１７】本発明の画像処理装置の実施形態としてのデジタルカメラの模式図である。
【図１８】図１７のデジタルカメラにおいて画像の記録に関係する機能ブロックと、記録フォーマットについて模式的に示した図である。
【図１９】第１の実施形態に係るデジタルカメラが利用可能な復号装置の構成例を示すブロック図である。
【図２０】図１９の復号装置が提示する画像表示ビューアを説明する図である。
【図２１】本発明の第１の実施形態における画像表示ビューアの動作を説明するフローチャートである。
【図２２】本発明の画像処理装置が生成したデータの格納状態の例を示す図である。
【図２３】本発明の第１の実施形態における画像処理装置の復号処理を説明するフローチャートである。
【図２４】本発明による画像処理装置が対象とする動画像データの構成を模式的に示す図である。
【図２５】本明細書で用いる用語を説明する図である。
【図２６】第２の実施形態における、動画パートデータと差分データを説明する図である。
【図２７】本発明の第２の実施形態におけるＪＰＥＧ２０００符号化部の機能構成例を示すブロック図である。
【図２８】本発明の第３の実施形態におけるＪＰＥＧ２０００符号化部の機能構成例を示すブロック図である。
【図２９】第３の実施形態において用いられる量子化ステップを示す図である。
【図３０】静止画フレーム符号化データのビットストリームの構成を示す図である。
【図３１】第３の実施形態におけるレイヤ構成を説明する図である。

Claims

動画像フレームが連続して構成される動画像データ中に、前記動画像フレームの撮像品質よりも高品質な静止画像フレームが混在する画像データを符号化及び復号化する画像処理装置であって、
前記画像データのうち、前記動画像フレームを符号化するとともに、前記画像データ中の前記静止画フレームについては、前記静止画像フレームから前記動画像フレームと同等の品質を有する動画パートデータを生成し、当該動画パートデータを符号化することにより、動画符号化データを生成する第１の符号化手段と、
前記静止画像フレームの、前記動画パートデータを除いた差分データを符号化し、差分符号化データを生成する第２の符号化手段と、
前記動画パートデータと対応する前記差分データとを対応付ける対応情報と、前記動画符号化データに含まれる前記動画パートデータを特定するための識別情報とを生成する付加情報生成手段と、
前記動画符号化データと、前記差分符号化データと、前記対応情報及び前記識別情報とを、前記画像データの符号化結果として記憶媒体に記録する記録手段と、
ユーザーからの、動画像の再生指示又は静止画像の再生指示に基づいて、前記記憶媒体に記録された前記符号化結果を用いて前記動画像データの動画像フレーム及び静止画像フレームを選択的に再生する再生手段と、
ユーザーから静止画の再生指示に応答して、前記再生手段が前記静止画像の再生を行う場合、前記識別情報に従って前記動画符号化データに含まれる動画パートデータを検索し、前記検索によって特定される動画パートデータを復号化して静止画像を表示出力し、当該静止画像がさらにユーザーによって指定されることに応じて、前記対応情報に従って前記指定された静止画像に係る動画パートデータに対応する差分符号化データを検索し、検索された差分符号化データを復号化してより高品質な静止画像を表示出力する復号化手段と、
を有することを特徴とする画像処理装置。
前記撮像品質が、画素数及びＳ／Ｎ比のうち少なくとも一方であることを特徴とする請求項１記載の画像処理装置。
前記第１の符号化手段が、離散ウェーブレット変換を用いて前記静止画フレームから前記動画パートデータを生成することを特徴とする請求項１又は請求項２に記載の画像処理装置。
前記第１の符号化手段が、前記動画像フレームの符号化に用いる量子化ステップと異なる量子化ステップを用いて前記動画パートデータの符号化を行うことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
前記動画像データを生成するカメラを更に有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。