JP4443130B2 - デジタル画像復号システムおよび方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像の保存に関し、特に、デジタル画像データを保存するために使用する表現および記述を含む装置、システムおよび方法に関する。
【０００２】
【従来の技術】
現在、ＪＰＥＧ、ＧＩＦ、ＢＭＰ、ＥＸＩＦ、ＰＣＤ、ＴＩＦＦ等といったデジタル画像データ用の標準（規格）記述が多数ある。標準デジタルファイル形式の各々は一組の標準記述（画像幅、画像高さ、画素毎のビット、層数、等）を規定する。ある標準記述によって符号化された画像データを復号するためには特定のデコーダが必要とされる。標準は、参加者全員が同一の言語を話し、相互にコミュニケーションがとれるように一組の標準記述を規定する。しかし、標準の煩雑さと記述力との間には常に相反するものがある。つまり、ＰＧＭ等といった簡単な標準は画像の寸法やマジックナンバー（ＰＧＭ形式を示すバイト数）を規定できる程度である。これは生データを復号するためには十分である。一方、ＪＰＥＧ２０００のような標準はより複雑な記述や記述スキームを規定して、より高度な機能性を実現できるかもしれない。実際には、画像デコーダをあまり複雑にしないために、使用する記述子の数を制限した標準が好適である。
【０００３】
あるデジタル画像標準の範囲外である任意の画像記述子は非標準記述と呼ばれる。予想し得る全てのタスク毎に標準記述のみを用いて画像を記述することは不可能である。例えば、多くの標準画像ファイル形式は画像内に人間の顔があるか否かを特定しないが、このデータが有益であるアプリケーションもある。別の例では、ＴＩＦＦ画像の標準画像ヘッダの一部には日時情報が含まれるが、これはＢＭＰ画像にとっては非標準記述である。また、デジタル音声をＥＸＩＦ画像ファイル内に標準記述として埋め込むことができるが、これはＪＰＥＧ、ＧＩＦ、ＴＩＦＦ、ＢＭＰにとっては非標準である。このように、タスク依存およびユーザ依存の多くのアプリケーションにおいて非標準記述が非常に有益であることが分かるだろう。画像記述を標準化するために多くの努力がなされてきた。この努力の目標は、多様な媒体およびシステム間で画像を交換できるように静止画像用の一組の標準記述を提供することである。ＪＰＥＧやＥＸＩＦが典型的な例である。新規のファイル形式も発明され、ＥＸＩＦにおけるＸＭＬによって符号化されたメタデータといった画像ヘッダ内のより多くの標準記述に対応できるようになった。
【０００４】
【特許文献１】
米国特許第６，２８２，３１１号明細書
【特許文献２】
米国特許第６，１２８，７３６号明細書
【特許文献３】
米国特許第６，００６，２３１号明細書
【０００５】
【発明が解決しようとする課題】
しかし、従来の技術では、標準記述および非標準記述の双方を自己完結型デジタルファイルに使用して完全かつ拡張された(ｅｎｈａｎｃｅｄ)画像を形成し、かつ、この非標準記述を広く採用されている標準画像デコーダと両立させるという問題を解決していない。したがって、自己完結型デジタルファイルにおいて標準記述および非標準記述の双方を使用して完全かつ拡張された画像記述を行い、かつ、この非標準記述を広く採用されている標準画像デコーダと両立させる、改良された画像記述方法が必要とされている。
【０００６】
【課題を解決するための手段】
この必要性は、以下のステップを有するデジタル画像ファイル保存方法を提供することにより、本発明によって満たすことができる。つまり、標準によって規定されるヘッダを保存し、ヘッダの後に前記標準にしたがって符号化される画像データを保存し、画像データの終端に非標準メタデータを含む画像末尾部を保存するステップである。
【０００７】
【発明の実施の形態】
次に、本発明の好適な実施形態を、通常ソフトウェアプログラムとして実行する場合において、説明する。当業者は斯かるソフトウェアの均等物をハードウェアでも構築できることが容易に分かるだろう。画像操作アルゴリズムおよびシステムは周知なので、本発明は特に、本発明に係るシステムおよび方法の一部を形成する、またはこれらとより直接的に協働する、アルゴリズムおよびシステムに向けられる。斯かるアルゴリズムやシステムの他の側面や、関連する画像信号（特に図示および説明せず）を生成し、そうでなければ処理するハードウェアおよび／あるいはソフトウェアは、当業において周知である斯かるシステム、アルゴリズム、構成物（ｃｏｍｐｏｎｅｎｔ）、要素（ｅｌｅｍｅｎｔ）から選択してもよい。以下の説明において本発明にしたがって説明するシステムであれば、本発明を実行する際に有益であると本明細書において提案または説明するソフトウェア（特に図示せず）は従来のものであって、当業における通常の技術範囲内のものである。
【０００８】
さらに、本実施形態において使用するように、コンピュータプログラムをコンピュータ可読保存媒体に保存してもよい。この媒体は、例えば磁気ディスク（ハードドライブまたはフロッピー（登録商標）ディスク等）または磁気テープ等の磁気保存媒体、光学ディスク、光学テープまたは機械可読バーコード等の光学保存媒体、ランダムアクセスメモリ（ＲＡＭ）または読み出し専用メモリ（ＲＯＭ）等の固体電子保存装置、あるいはコンピュータプログラムを保存するために使用する任意の他の物理的な装置または媒体である。
【０００９】
図１に示すように、本発明に係る画像記述１０は、画像ヘッダ１２と、画像データ１４とを有する。これは標準デジタル画像表現において周知の通りである。画像データ１４は、標準に応じて生データまたは圧縮データとして表現してもよい。
【００１０】
画像データ１４の最初に位置する画像ヘッダ１２は、画像データ１４を如何に解釈するかを示す。画像ヘッダ１２は通常、画像形式、サイズ、カラーマップ、コードスキーム、その他のメタデータの記述を含む。標準デコーダは画像ヘッダ１２を読んでヘッダからメタデータを抽出し、画像データ１４をそれに応じて、画像源やエンコーダの実行に拘わらず、復号することができる。
【００１１】
本発明によると、非標準メタデータを含む、画像末尾部１６と呼ばれる余剰情報が画像データ１４の後に画像記述１０内に含まれる。画像末尾部１６は、デジタル音声／画像データ圧縮
剰余等といった非標準かつ選択的なアプリケーション／ユーザ依存の任意の記述を含むことができる。
【００１２】
画像記述中に画像末尾部１６が存在することと、大抵の標準画像ファイル形式とは両立する。画像末尾部が標準画像ファイルの終端に埋め込まれている場合、人気がある画像デコーダの殆どは画像末尾部内の余剰ビットを無視し、読み取ったり解釈したりしない。多くの画像形式は画像ファイルの開始と終了とを示すマーカを有する。例えば、ＪＰＥＧ標準画像は０ｘＦＦＤ８によって始まり、０ｘＦＦＤ９によって終わる。終端マーカ後のデータはどれも無視される。同様に、ＥＸＩＦ標準画像は０ｘＦＦＥ０および０ｘＦＦＥＦを開始マーカおよび終端マーカとしてそれぞれ使用し、終端マーカ後のデータはどれも無視される。ＢＭＰのように、画像データの開始アドレスとサイズとを特定する画像形式もある。
【００１３】
標準デコーダは、画像データ全体を読み取って復号すると、直ちに読み取りを停止できる。または、画像末尾部内のデータを解釈することなく読み取ることができる。したがって、最近の標準画像処理エンコーダ／デコーダのほとんどは画像末尾部を含むことによる影響を全く受けない。したがって、この追加情報があることで画像デコーダをクラッシュさせることはない。画像末尾部を含めることによる影響を受けない標準デコーダの一例として、ＪＰＥＧやＧＩＦがある。これらはインターネットで使用される最も人気があるファイル形式である。ＩｍａｇｅＭａｇｉｃｋ、ＸＶ３．１０、Ａｄｏｂｅ（登録商標） Ｐｈｏｔｏｓｈｏｐ（登録商標）、Ｐａｉｎｔ Ｓｈｏｐ Ｐｒｏ（登録商標） ３．１２−３２等といった、画像末尾部の存在による影響を受けないアプリケーションプログラムに含まれる画像エンコーダ／デコーダは以下のものがある。
ＢＭＰ Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）ビットマップ画像ファイル、
ＤＩＢ Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）ビットマップ画像ファイル、
ＥＸＩＦ 交換可能画像ファイル形式、
ＧＩＦ ＣｏｍｐｕＳｅｒｖｅグラフック交換形式、８ビットカラー（８７ａを含む）、
ＪＰＥＧ 静止画像符号標準化作業グループ、
ＰＣＤ 写真ＣＤ形式、
ＴＩＦＦ タグ付き画像ファイル形式。
【００１４】
図２を参照する。本発明に係る画像末尾部１６を有する画像記述１０を標準画像デコーダ１８を用いて復号して画像データおよび標準記述１９を生成できる。この時、標準画像デコーダ１８は画像末尾部を無視する。あるいは、標準画像デコーダ１８を含む拡張デコーダ２０を用いて画像記述１０を復号して画像データおよび標準記述１９を生成し、画像末尾デコーダ２２を用いて画像末尾部１６から非標準メタデータ２４を生成できる。画像末尾デコーダ２２は、例えば、音声／画像データ圧縮剰余デコーダである。
【００１５】
デジタル音声または圧縮剰余といった末尾部が画像記述内に存在することを検出するために、画像データの終端とファイルの終わり（ＥＯＦ）とを調べ、これらが同じアドレスであるか否かを検出する。画像データの終端は、ＪＰＥＧファイルにおける０ｘＦＦＤ９といった特別なマーカ／タグ、またはＢＭＰファイルにおける画像やカラーマップサイズ等といった、ヘッダ１２中のメタデータを使って検出する。ファイル流がファイルの終端に達すると、ファイルの終わり（ＥＯＦ）がリターンされる。ＥＯＦが出現する前に画像データの終端になる場合、デジタル音声または圧縮剰余データ等といった画像末尾が存在することが分かる。
【００１６】
画像ヘッダ１２に余剰空間がある標準もある。この余剰空間を使用してフラッグやマーカを設定し、画像末尾が存在することを示すことができる。画像末尾デコーダ２２はこのフラッグが設定されているか否かを調べ、画像記述中に画像末尾が存在するか否かを検出できる。
【００１７】
画像末尾の開始アドレスの位置を調べた後、画像末尾デコーダ２２は画像末尾部１６を復号する。デジタル音声および画像データ圧縮剰余等といった多くの有益な情報が画像末尾に埋め込まれていれば、これを拡張画像記述に使用できるかもしれない。拡張デコーダ２０は画像ヘッダおよび画像データを越えて情報を捜し、画像末尾部からできるだけ多くのことを解釈しようとする。画像末尾デコーダがシステムをクラッシュしないようにするために、データブロックの解釈に失敗した場合は常に、そのブロックのデータを無視して画像末尾部の他の部分に移る。
【００１８】
本発明の一実施形態において、画像末尾部はデジタル音声データを含む。画像末尾部内のデジタル音声データの一例として、言語注釈、背景音、音楽、ラジオ放送、画像データと関連するその他の音声信号等がある。画像に関連した言語注釈はデジタルカメラによって捕らえられるかもしれず、従来は、誰、いつ、何処等といったイベントの非標準記述と同じ画像ファイル内に保存するかもしれない。音声データは、Ｍｉｃｒｏｓｏｆｔ（登録商標）ウェーブファイル、ＭＰＥＧ音声（ｍｐ３）、Ｓｕｎ／ＮｅＸＴ ａｕ ｆｉｌｅ、Ａｐｐｌｅ（登録商標）／ＳＧＩ ａｉｆｆ ｆｉｌｅ、ｖｏｃ ｆｉｌｅ等といった任意の標準音声形式内に保存できる。したがって、画像末尾デコーダは、標準音声形式を復号する標準デコーダであろう。
【００１９】
本発明の代替的な実施形態では、画像末尾部は画像データ圧縮データを含む。画像末尾部内の圧縮剰余を用いて画像の質を改善できる。つまり、オリジナル画像と、圧縮画像との差異をここに保存し、これを用いて色範囲、量子化精度、画素層等を改善することができる。ユーザは、まず圧縮データを復号し、次に圧縮剰余を抽出する。ユーザはこれを全て１個の画像ファイルから容易に行なうことができる。画像末尾部は、同出願人による米国特許６，２８２，３１１号（２００１年８月２８日発行、マッカーシー等）に開示されるような画像カラー空間圧縮剰余を含むことができる。画像末尾部が斯かる画像カラー空間残差情報を含む場合、ビデオＲＧＢ等といった減縮範囲のカラー空間から、ＣＩＥＬＡＢ等といった本来の伸張領域のカラー空間へ戻す転換を、図１に示すような１個の拡張画像記述に含まれる情報を用いて行なうことができる。
【００２０】
画像末尾部は異なるファイル形式の記述も含むことができる。このデータを用いれば、画像末尾部内のデジタル音声および画像データ圧縮剰余を用いて下位互換性を有する画像ファイルを作ることができる。これは、最新の画像ファイル形式（ＥＸＩＦ等）の標準記述を比較的古い別の画像ファイル形式（ＪＰＥＧやＧＩＦ等）に埋め込むことによって行なう。言い換えれば、ある形式にとっての標準記述は他の形式については非標準記述であり得るということだ。より新しい方式により古い形式との下位互換性を持たせるために、新規の形式の記述を画像末尾部として古い形式内に含めることができる。例えば、ＥＸＩＦのヘッダに含まれる標準記述をＪＰＥＧやＧＩＦの画像末尾部内に非標準記述として埋め込むことができる。これによって、この記述力を非常に拡張できる。
【００２１】
画像末尾部内のデジタル音声または画像データ圧縮剰余をアプリケーションに応じて長くしたり短くしたりできる。アプリケーションに応じて、画像末尾内のデジタル音声または圧縮剰余を抽出して短縮することを選択し、ファイルサイズを短くすることができる。または、より多くの音声スクリプトを画像末尾内に埋め込むことを選択できる。
【００２２】
画像末尾部の考え得る１データ構成として以下の構成がある。
（１）画像末尾部の始まりと終端を特別なマーカ（例えば０ｘａｂｃｄ、０ｘｄｃｂａ）で特定する。
（２）画像末尾部内のデータを分割してパケットにする。
（３）第１のパケットは内容一覧として機能し、ＸＭＬシンタックスにおいて特定される。第１の行は要求された構文解析プログラムパーサのマジックワード、種類、バージョンを特定し、その後にサイズ、画像末尾部の始まりおよび終端アドレス等が続く。
（４）パケットの残り部分は、ヘッダ、データ領域、フッタを有する自己完結型である。パケットはヘッダから始まる。これは後続データ（テキスト、バイナリ、公開（ｐｕｂｌｉｃ）、音声、ビデオ、セグメンテーションマップ、サムネイル、ハイパーリンク、プログラム等）を如何に解釈するかを特定する。その後にデータが続き、選択的に特別なマーカを有するフッタで終了する。パケットは固定サイズまたは可変サイズを有する。例えば、音声クリップを音声パケットに適合（ｆｉｔ）させて、ウェーブ形式で保存できる。
（５）終端パケットは、画像ファイルの画像ヘッダ、画像データおよび／あるいはその他の部分へのリンクをアドレスしなければならない。
【００２３】
【発明の効果】
本発明は以下の効果を有する。つまり、画像ヘッダと本体の後に画像末尾部と呼ばれる自己完結型の余分な記述を含める。この構成は、広く使用されている画像ファイル形式およびデコーダの殆どと両立する。斯かるデコーダは画像末尾部を無視し、読み出したり解釈したりしないためである。したがって、現行の画像処理システムを改修する必要がない。画像末尾部に含まれるデータは、この余分な情報が画像ファイルの終端に埋め込まれていること、およびその解釈の仕方を知る拡張デコータによって抽出できる。画像末尾部を用いて非標準の選択的なアプリケーション／ユーザ依存の画像記述を保持できる。画像末尾部を用いて、画像取り込みから仕上げまでの処理、描画、記述、管理、機構等を含め、より良い画像処理システムを構築できる。
【図面の簡単な説明】
【図１】 本発明に係る画像末尾部を含む画像記述を示す図である。
【図２】 本発明に係る画像末尾部から非標準記述を復号できる拡張された画像復号システムを示すブロック図である。
【符号の説明】
１０ 画像記述、１２ 画像ヘッダ、１４ 画像データ、１６ 画像末尾部、１８ 標準画像デコーダ、１９ 画像データおよび標準記述、２０ 拡張画像デコーダ、２２ 画像末尾デコーダ、２４ 非標準メタデータ。

Claims (2)

1. デジタル画像復号システムであって、
   ａ）標準画像ヘッダおよび、標準にしたがって符号化された画像データを復号する標準画像デコーダと、
   ｂ）非標準メタデータを有し、前記画像データの後に出現する画像末尾部を復号する画像末尾デコーダと、
   ｃ）前記画像データの終端と前記画像末尾部の終端を検出し、この検出に応じてそれら両方の終端同士を比較して、それら両方の終端同士が離れている場合に前記画像末尾部の終端が存在することを検出する検出部と、
   を有するシステム。
2. 標準によって規定されたヘッダと、前記ヘッダの後に前記標準によって符号化された画像データと、前記画像データの終端に位置する非標準メタデータを含む画像末尾部とを有する画像データ記述の中に画像末尾部が存在するか検出する方法において、
   ａ）前記画像データの終端を検出し、
   ｂ）ファイルの終端を検出し、
   ｃ）前記メタデータの終端の位置と前記ファイルの終端の位置とを比較して、前記ファイルの終端が前記画像データの終端より後に出現する場合に画像末尾部が存在することを検出する、方法。

Images