WO2001054402A1

WO2001054402A1 - Image recording apparatus and method, image reproducing apparatus and method, and recorded medium on which image processing program is recorded

Info

Publication number: WO2001054402A1
Application number: PCT/JP2001/000303
Authority: WO
Inventors: Sadami Okada; Satoshi Ejima; Ken Utagawa; Hideaki Matsuda; Kenichi Ishiga
Original assignee: Nikon Corporation
Priority date: 2000-01-18
Filing date: 2001-01-18
Publication date: 2001-07-26
Also published as: DE60133267T2; US20070201067A1; DE60133267D1; US7719717B2; JP4288398B2; CN1395795A; US7233414B2; EP1263225A4; CN1179558C; US20010008449A1; EP1263225B1; JP2001203970A; EP1263225A1

Description

明細書

画像記録装置および方法、画像再生装置および方法、並びに画像処理プログラムを記録した記録媒体発明の分野

本発明は、画像データを記録する画像記録装置および方法に閱する。

本発明は、 1:記の画像記録装置をコンビユー夕上で突現するための ΐίΠ]像処理プログラムを記録した記録媒体に関する

本発明は、上記の画像記録装置により記録されたファイルを ΡΪ生する画像再生装置および方法に関する。

本発明は、上記の画像再生装置をコンピュータ上で ¾現するための iiijj像処理プログラムを記録した記録媒休に関する背景技術の説明

通常、画像記録装では、 8ビット階調（カラーの場合は、例えば 3色分合わせて 2 4ビット）の画像データを圧縮して、汎用の圧縮画像ファイルの形式で記録するものが多い。

この汎用圧縮画像ファィルは、汎用の画像閲プログラムで仲長処现することが可能である。したがって、汎用圧縮画像ファイルは、用ソフ卜無しで、気軽に印刷 · ^示できるという長所を有する。

また最近では、 ', 子スチルカメラなどの凾像記録装 Ξにおいて、 R A Wデータ (撮像素子の出力をデジタル化しただけの生デ一夕）を記録できるものも知られている。

この R A Wデータは、撮像素子の出力に忠実で、微細な階調成分（階調情報）を含んだ画像デ一夕である。そのため、 R A Wデ一夕は、デザイン ·印刷用途などの複雑なデータ加工に強く、微妙な階調情報が失われにくいという長所を有する。

ところで、上述した 8ビット階調程度の汎用圧縮画像ファイルでは、階調再現域（tone reproduction range) が比較的狭く、被写体の高輝度側を高々 1 4 0 % 白までしか再現できない。このような汎用圧縮画像ファイルでは、高輝度側/低輝度側の階調成分が十分かつ豊かに再現できないという問題点があつた。そのため、従来の汎用圧縮画像ファイルに対して、 2 0 0 %白、できれば 4 0 0 %白までの階調再現域が要望されていた。

また、汎用圧縮画像ファイルは、階調が 8ビット表現である。そのため、輝度調整（例えば、コントラスト変換）などの画像処理を経ることにより、階調の非速続性（いわゆる階調のとび）が目立ってしまうという問題点があった。

一方、 t述した R A Wデ一夕は、子化ビット数が多いため、微細な中間階調成分 (middle range signals)を十分かつ豊かに現することができる。しかしながら、 R A Wデータは、 i 子スチルカメラなどのハードウェア固有の階調特性ゃデ一夕形式をする。このような R A Wデータは、プリン夕やモニタなどの汎用の外部装； Ώ側で標準的に対応することができない。そのため、 R A Wデータは専用の画像処理が必要となり、汎用の外部装 [Hで気軽に印刷 ·表示できないという問題点があった。

また、 R A Wデータのように量子化ビット数の多い画像データは、微細な中間階調をかに含む。このような R A Wデータは、空間的な冗長性が、 8ビット階調の I面像データに比べて少ない。そのため、空問冗長性を排除する従来の画像圧縮方式では、 R A Wデ一夕を小さいファイルサイズに圧縮できないという問題点があった。発明の開示

そこで、本発明の目的は、階調再現域の広い画像デ一夕を効率的に記録する画像記録装置および方法を提供することである。

本発明の他の目的では、コンピュータを上記の画像記録装置として機能させるための画像処理プログラムを記録した記録媒体を提供することを目的とする。本発明の他の目的は、上記の画像記録装置で記録された画像データを再生する画像再生装置および方法を提供することである。

さらに、本発明では、コンピュータを上記の画像記録装置または画像再生装置として機能させるための画像処理プログラムを記録した記録媒体を提供することを目的とする。

本発明の画像記録装置は、第 1階調変換特性により画像データを Nビットレンジの第 1情報に変換する第 1変換部と、第 1階調変換特性よりも階調圧縮の少ない（階調圧縮をしない場合も含む）特性である第 2階調変換特性により、画像デ —夕を Mビットレンジ（M > N ) の第 2情報に変換する第 2変換部と、第 1情報と第 2情報との相関関係を規定する情報を算出して第 3情報とする相関算出部と、第 1情報と第 3情報とをファイル内に記録する記録部とを備える。

上記構成では、まず、同一の画像データから、階調圧縮の強い Nビットレンジの第 1情報と、階調圧縮の少ない Mビットレンジ（M > N ) の第 2情報を生成する。このとき、第 2情報は、 ^ I f, 報よりも階調 ΡΪ現域が広く、かつ階調数の多い画像情報となる。

次に、相関算出部は、これら両^報の相 f 関係を規定する情報を算出して第 3情報とする。通常、第 1情報と第 2情報とは、同一の画像デ一夕を元にしているため、階調変化の類似性は非常に高い。したがって、相関算出の作業によって、両情報間の冗長な類似性が適切に区別され、かつ有意な変化分（主に、第 1情報から失われてしまった第 2情報中の階調情報）を確実に含んだ第 3情報を得ることが可能となる。

記録部は、このように ί た l 'h 報および第 3情報を記録する。この場合、第 1情報および第 2情報を独立して記録するケースに比べて、両情報の冗長な類似性を予め区別できるので、記録容 fiを適切に小さくすることが容易となる。さらに好ましくは、記録部が第 1情報を非可逆に圧縮して記録するものであり、相関算出部が非可逆に圧縮された第 1情報を伸長し、『第 2情報』と『伸長後の第 1情報』との相関関係を規定する情報を算出して第 3情報とする。このように第 1情報を非可逆圧縮した場合、圧縮伸長の課程で第 1情報に非可逆な変化が生じる。この場合、第 2情報を再現する際の基準（第 1情報）がずれてしまうため、第 2情報を完全に再現することはできなくなる。そこで、相関算出部は、記録用に非可逆に圧縮された第 1情報を伸長し、再生時と等しい『伸長後の第 1情報』を作成する。相関算出部は、この『伸長後の第 1清報』を基準にして、第 3情報を作成する。したがって、再生時に基準はずれず、『第 2情報』をより正確に再現することが可能となる。

さらに好ましくは、記録部が. ファイル内において優先的に参照される画像格納領域に、第 1情報を記録する。この場合、汎用の画像閲覧プログラムなどでは、従来の II耐象ファイルと同様に第 1 fi 報を読み出し、気軽に印刷 '表示することが可能となる。したがって、従来の画像ファイルとの互換性を維持できる。

さらに好ましくは、記録部が、ファイル内のアプリケーションセグメント（画像ファイルに任 ;に付加可能な数または複数のデータ領域）に、第 3情報を記録する。このようにアプリケーションセグメントを利用することにより、従来の画像ファイルとの換性を維持できる。

さらに好ましくは、 ¾ 1階調変換特性の特性カーブと、第 2階調変換特性の特性カーブとが、少なくとも一部の人力^ 域（階調域）において致する。この場合、 2つの階調変換特性の特性を部分的に --致させることにより、第 1情報と第 2怙 ¾との問の類似性を一段と,',' 5めることができる。したがって、相関算出により第 3 ^報を作成する過程で、 1面像ファィルの記録容量をより確実に低減することが可能となる。

さらに好ましくは、相関出部が、 ¾ 2情報と第 1情報との差異に関する情報を算出して、第 3 ' 報とする。この場合、複雑な相関検出の浈算を行う必要がなく、第 3† 報を高速に作成できる。また、画像再生装置側においても、第 1情報と第 3 |₍¾報とを加算する程度の Πΐί易な処理で、第 2 tit報を高速に f ¾現することが可能となる。

さらに好ましくは、 3己録部が、 3情報を非線形量子化によりデ一夕圧縮してファイル内に記録する。通常、第 3情報には、主として、高輝度側の階調成分または低輝度側の階調成分などの情報が含まれる。人間は、これらの階調成分中の微細な階調差に対して、視覚的な感度が一般に低い。したがって、第 3情報を非線形量子化することにより、劣化が視覚的に目立たない範囲で、第 3情報をデー夕圧縮することが可能となる。

さらに好ましくは、記録部が、第 3情報を画面（画像空間）上での標本化刻みを粗くすることによりデータ圧縮してファイル内に記録することを特徴とする。このように視覚感度の低い第 3情報を間引くことにより、視覚的に目立たない範囲で、第 3情報をデータ圧縮することが可能となる。なお、上記構成は、間引き処理に限るものではない。例えば、第 3情報の高域空間周波数成分を削減するなどして、標本化刻みを実質的に粗くしてもよい。

さらに好ましくは、記録部が、第 3情報を、非相関領域（第 1情報と第 2情報とに実質的な差異が生じた画像領域）の形に関するマップ情報と、その非相関領域の値に関する情報とに分けることを特徴とする。このような形式で記録することにより、「非相関領域」以外の冗長な情報を排除し、第 3情報をデータ圧縮することが可能となる。また、画像再生装置側では、このマップ情報に基づいて、値に関する情報を再配置することにより、第 2情報を容易に S現することが可能となる。

さらに好ましくは、記録部が、非対応箇所（第 1情報から ¾ 2 ' 報を直に算出不可能な画像上の箇所）の第 3佶報を、ファイル内に記録する。例えば、第 1階調変換特性と第 2階調変換特性との特性が一致している箇所については、第 1情報と第 2情報とがほぼ一対一に対応する。このように第 1情報と第 2 ½^;報との相関が極めて強い箇所については、第 3情報を使うことなく、第 1佶報から第 2情報をある程度まで算出することが可能である。そこで、上記の構成では、非対応箇所の第 3情報に限定して記録することにより、第 3怙報のデータ aを効率的に低減できる。なお、後述する画像 Ρϊΐ装置では、 ^生時の第 1† 報に基づいて非対応箇所の判別を実行し、記録されていた^ 3情報を画面上に再配^する。そこで、上記構成においても、画像再生装置側の非対応箇所の判別と一致するように、画像記録装置側の非対応箇所を決定しておくことが好ましい。

さらに好ましくは、記録部が、ファイル内に記録する第 3情報を、ランレングス符号化および/またはェント口ピー符号化および/または予測符号化を用いてデータ圧縮する。通常、第 3情報は、同一画像データにおける第 1情報と第 2情報との相関から求める。そのため、第 3情報内には同一データが連続して出現する可能性が高い。このような第 3情報については、ランレングス符号化を行うことにより、データサイズを小さくすることができる。また、第 3情報内には無効デ一夕や同一データが高頻度に出現する可能性が高い。このような第 3情報については、エントロピー符号化を行うことにより、デ一夕サイズを小さくすることができる。また、空間的相関性の元々高い画像データから第 3情報を求めているため、第 3情報も空間的相関性の高いデータ配列となる可能性が高い。このような第 3情報については、予測符号化を行うことにより、データサイズを小さくすることができる。また、これらの予測符号化 · ランレングス符号化 'エントロピ一符号化を適宜組み合わせて実行することにより、第 3情報を一層小さなデ一夕サイズに圧縮することが可能となる。

さらに好ましくは、第 2変換部が、画像データの特徴に対応して、第 2階調変換特性を変更する。

一般に、撮像される画像データは、被写体や撮影条件や照明条件に応じて、下例に挙げたような多嵇多様な特徴を/ f、す。

• 高輝度側の階調成分を多数含んでいるもの

•低輝度側の階調成分を多数含んでいるもの

•中 i i]輝度域の階調成分を多数含んでいるもの

•低〜 ^輝度側の広い輝度域にわたって階調成分が存在するもの

上記の構成では、このような入力信号域の広さや入力信号域の偏りといった画像データの特徴を判別して、第 2階調変換特性を変更できる。そのため、画像デ一夕の特徴を忠実に反映した第 2情報を生成することが可能となる。なお、このような第 2情報を、後から忠実に if生するためには、使用した第 2階調変換特性を特定するための†i*f ffiを、 1 ' 報および第 3情報と合わせて記録しておくことが好ましい。

さらに好ましくは、上述した第 1変換部、第 2変換部、相関算出部および記録部の各機能をコンビユー夕上で実現する画像処理プログラムを作成し、その画像処理プログラムを記録媒体に記録する。

さらに好ましくは、上述した第 1変換部、第 2変換部、相関算出部および記録部の各機能をステップ化して、画像記録方法として逐一実行する。

一方、本発明の画像再生装置は、上述した画像記録装置によって記録されたフアイルから第 1情報および第 3情報を読み出す読み出し部と、第 1情報および第 3情報に基づいて第 2情報を再現する第 2情報算出部とを備える。このように読み出される第 3情報には、第 1情報と第 2情報との相関関係を規定する情報が存在する。この第 3情報と第 1情報とに基づいて、第 2情報（第 2情報そのものとは限らず、記録時の第 2情報に近似した階調再現域が広くて階調数 (number of sign al levels)の多い画像である場合もある）が再現される。

さらに好ましくは、まず、読み出し部が、第 1情報と非対応箇所の第 3情報とを読み出す。第 2情報算出部は、第 1情報の画素値に基づいて非対応箇所の判別を行う。例えば、このような判別は、第 1情報の画素値が、第 1変換特性および第 2変換特性の不一致部分に入るか否かを判別すればよい。読み出し部は、この非対応箇所に第 3情報を配置して、第 1情報と笫 3情報との位置合わせを行う。第 2情報算出部は、第 1情報および『第 1情報と画素位置の対応のとれた第 3情银』に基づいて、第 2情報を i現する。

さらに好ましくは、第 2情報算出部が、第 2情報を『外部装置で階調再現可能な輝度領域』に階調圧縮して出力する。笫 2情報の使用用途の一つとして、印刷 · デザィンなどのデータ加工用途が想定される。このようなデ一夕加工用途には、再生された第 2情報を Mビット階調のまま忠実に出力することが好ましい。一方、第 2情報が有する広い階調再現域や豊かな階調変化を、外部装置（表示装置や印刷装置など）で簡易に楽しむという用途もある。しかしながら、これらの外部装置は、 Mビット階調に標準対応していない。そこで、上記の画像再生装置側において、第 2情報を外部装置で階調再現可能な輝度領域に階調圧縮して出力する。このような階調圧縮を行うことにより、笫 2情報の有する高画質の特徴を、外部装置で簡易に楽しむことが可能となる。

さらに好ましくは、上述した読み出し部および第 2情報算出部の各機能をコンビュー夕上で実現する画像処理プログラムを作成し、その画像処理プログラムを記録媒体に記録する。

さらに好ましくは、上述した読み出し部および第 2情報算出部の各機能をステップ化して、画像記録方法として逐一実行する。

なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによつて容易に確認することができる。図面の簡単な説明図 1は、電子スチルカメラ 1 1の構成を示すブロック図である。

図 2は、第 1の実施例における画像記録の動作を説明する流れ図である。

図 3は、第 1の実施例における画像再生の動作を説明する流れ図である。

図 4は、 1の実施例における階調変換特性を示す図である。

図 5は、第 2の実施例における画像記録の動作を説明する流れ図である。

図 6は、第 2の実施例における画像再生の動作を説明する流れ図である。

図 7は、第 2の実施例における記録時の階調変換特性を示す図である。

図 8は、第 2の実施例における ii i時の階調変換特性を示す図である。 % HjJを ' 施するための J¾の形態

以下、図面に基づいて本允明の好適な実施例を説 njjする。

《第 1の突施例》

第 1の突施例は、 S子スチルカメラの突施例である。

図 1は、本実施例における' 1子スチルカメラ 1 1の構成を示すブロック図である。

図 1において、電子スチルカメラ 1 1には、撮影レンズ 1 2が装着される。この撮影レンズ 1 2の像空^には、撮像素子 1 3の撮像而が配匿される。この撮像素子 1 3で撮像された画像デ一夕は、信号処理部 1 4および A/ D変換部 1 5を介して、ノッファメモリ 1 6に -時記録される。このバッファメモリ 1 6の入出力端子は、デ一夕バス 1 7に接絞される。このデータバス 1 7には、その他に C P U 1 8、フレームメモリ 1 9、メモリカード 2 0、画像出力用のィンターフェ —ス 2 1などが接続される。フレームメモリ 1 9の出力端子は、モニタ 2 2に接続される。

1 . 画像記録の動作説明

図 2は、第 1の実施例における画像記録の動作を説明する流れ図である。以下、図 2に示すステップ番号に沿って、第 1の実施例における画像記録動作を説明する。

ステップ S 1 ：撮像素子 1 3で撮像された画像信号は、信号処理部 1 4を介して、 A/D変換部 1 5に与えられる。 A/D変換部 1 5は、この画像信号を 0〜4 0 0 %白までの入力信号域で直線量子化し、 1 4ビット階調情報に変換する。 A/D変換部 1 5は、この 1 4ビット階調情報をバッファメモリ 1 6に一時記録する。

ステップ S 2 ： CPU 1 8は、この 1 4ビット階調情報に対して、図 4に示すァ 1の階調変換を施し、 8ビット階調情報を得る。 CPU 1 8は、この 8ビット階調情報をバッファメモリ 1 6に一時記録する。

ステップ S 3 ： CPU 1 8は、この 1 4ビット階調情報について、『画面周辺の背景輝度』と『画面中央の主要被写体輝度』との輝度差が閾値以上か否かを判定する。ここで輝度差が閾値以上である場合、 C PU 1 8は、高輝度側の階調成分が存在するので、 ¾輝度側の階調再現を重視すべきと判断して、ステップ S 4に動作を移行する。方、輝度差が岡値に達しない場合、 C PU 1 8は、人力信号域はさほど広くないので、低輝度側の微妙な階調現を ffi視すべきと ΐ-リ断して、ステップ S 5に動作を移行する。

ステップ S 4 ： C P U 1 8は、 1 4ビット階調' 報に対して、図 4に示すァ 2 の階調変換（高輝度側の階調再現を重視した特性）を施し、 1 2ビット階調情報を得る。 C P U 1 8は、この 1 2ビット階調情報をバッファメモリ 1 6に一時記録する。その後、 CPU 1 8は、ステップ S 6に勋作を移行する。

ステップ S 5 : CPU 1 8は、 1 4ビット階調佶報に対して、図 4に示すァ 3 の階調変換（低輝度側の階調再現を ffi視した特性）を施し、 1 2ビット階調情報を得る。 C P U 1 8は、この 1 2ビット階調情報をバッファメモリ 1 6に一時記録する。その後、 CPU 1 8は、ステップ S 6に動作を移行する。

ステップ S 6 : CPU 1 8は、 1 2ビット階調情報と 8ビット階調情報との差分を求めて、差分情報とする。このように算出した差分情報はバッファメモリ 1 6に一時記録される。（ここでは、 8ビット階調情報が第 1情報に該当する。 1 2 ビット階調情報が第 2情報に該当する。さらに、差分情報が第 3情報に該当する。）なお、ァ 3の階調変換特性を使用して 1 2ビット階調情報を生成した場合には、 8ビット階調情報との間に 2ビット分のオフセッ卜が生じている。このような場合は、 8ビット階調情報を 4倍（ 2ビット左にシフト）して、階調情報間のオフセットを除去した後に、差分情報を求める。ステップ S 7 : CPU 1 8は、 8ビット階調情報に基づいて極端に高輝度な画像領域を求める。このように極端に高輝度な画像領域については、視覚感度が低いので、微細に画像を再現する必要がない。そこで、 CPU 18は、このような視覚感度の低い画像領域について、差分情報の標本数を 1/2または 1/4程度に問引く。なお、 8ビット階調情報に非可逆圧縮を実行する場合、再生時の画像領域の判定と合わせるために、 CPU 1 8は、一旦伸長した 8ビット階調情報に基づレ、て画像領域の判定を行うことが好ましい。

ステップ S 8 ： C P U 1 8は、？測符号化（例えば DP CM) を実行し、差分情報をデ一夕圧縮する。

続いて、 CPU 1 8は、ランレングス符号化を実行し、差分情報を更にデ一夕圧縮する。

ISに続いて、 CPU 1 8は、エントロピー符号化を実行し、差分情報を一段とデ一夕圧縮する。

ステップ S 9 ： C P U 1 8は、次のように、デ一夕を 1ファイルにまとめて、メモリカード 20に記録する。

• 8ビット階調情報の圧縮データ · '汎用画像ファイル（例えば J PE G) の画像格納領域

'差分†F 報の圧縮データ · '汎用画像ファイル（例えば J P EG) のアプリケーシヨンセグメント

· ァ情報（ 1 2ビッ卜階調変換時に使用した階調変換特性の種類を示す情報）以上のような動作により、 'l子スチルカメラ 1 1の記録動作が完了する。 2. 画像再生の動作説明

図 3は、第 1の実施例における画像再生の動作を説明する流れ図である。以下、図 3に示すステップ番号に沿って、第 1の実施例における画像再生動作を説明する。

ステップ S 1 1 ： C P U 1 8は、メモリカ一ド 20内の画像ファイルから 8ビット階調情報を再生する。

ステップ S 1 2 : 次に、 CPU 1 8は、メモリカード 20内の画像ファイルに差分情報が存在するか否かを判定する。ここで差分情報が画像ファイル内に存在する場合、 CPU 1 8はステップ S 1 3に動作を移行する。一方、差分情報が画像ファイル内に存在しない場合、 CPU 1 8は、従来の画像ファイルであると判断して再生動作を完了する。

ステップ S 1 3 ： CPU 1 8は、メモリカード 20内の画像ファイルから、差分情報とァ情報を抽出する。さらに、 CPU 1 8は、この差分情報に関して、ェントロピ一符号化 · ランレングス符号化 ·予測符号化のデータ伸長を順番に実行する。

ステップ S 14 : CPU 1 8は、 8ビット階調情報に基づいて、視覚感度の低い画像領域を判断する。 CPU 1 8は、この画像領域について、記録時に間引いた差分情報を、周囲の差分情報などから推定する。

ステップ S 1 5 : CPU 1 8は、 8ビット階調情報に差分情報を加算して、 1 2ビッ卜階調情報を再現する。

なお、ァ情報によって記録時にァ 3の階調変換特性が使用されていたと判断される場合、 CPU 1 8は、 8ビット階調情報を 4倍（2ビット左にシフト）したものに差分情報を加算して、 1 2ビット階調情報を再現する。

ステップ S 1 6 ： CPU 1 8は、このように生成した 1 2ビット階調情報を、ァ情報などと共に、インターフェース 2 1を介して外部出力する。また、 CPU 18は、この 1 2ビット階調愦報に、モニタ表示用や外部機器での印刷用の簡易な階調変換（例えば、図 8に示すァ 4' ) を施して、 8ビット階調に変換して出力する。

以上の動作により、電子スチルカメラ 1 1の再生動作が完了する。

3. 第 1の実施例の効果など

以上説明した動作により、第 1の実施例では、 1 2ビット階調情報をそのまま記録せずに、 8ビット階調情報との差分情報として記録する。したがって、 1 2 ビッ卜階調情報を別に圧縮記録する場合に比べて、記録容量を適切かつ容易に低減することが可能となる。

また、第 1の実施例では、 2つの階調変換特性（図 4に示すァ 1およびァ 2、並びにァ 1およびァ 3) を入力信号域の中間で一致させている。そのため、 8ビット階調情報と 12ビッ卜階調情報とは、主要な入力信号域でほぼ一対一に対応するようになる。このように、 8ビット階調情報と 1 2ビット階調情報との相関を強くすることにより、差分情報の圧縮効率を一段と高めることが可能となる。さらに、第 1の実施例では、視覚感度の低い画像領域（高輝度領域や低輝度領域）について、差分情報を問引いて記録する。このような処理により、視覚的に Ώ立たない範囲で差分情報を効率的にデータ圧縮することが可能となる。

また、第 1の実施例では、分情報に対して、予測符^化 · ランレングス符号ィ匕 ·ェントロピー符^化を施すことにより、差分' 報を効率的にデ一夕圧縮することが可能となる。

さらに、第 1の実施例では、 ιΦΗ象データの特徴に適応して^ 2階調変換特性を変更するので、より階調^かな 1 2ビット階調 ' 報を生成することができる。また、第 1の施例では、，;d鉍された 8ビット階調 'h'i银および差分' 報に基づいて、階調 ^かな 1 2ビット階調 ½報を適 Sに生することが可能となる。

さらに、第 1の施例では、このように ¾生された 1 2ビット階調情報を簡易に階調変換して出力するので、階調かな 1 2ビット階調情報を外部装 gで簡易に楽しむことが可能となる。

次に、別の実施例について説明する。

《第 2の突施例》

第 2の実施例は、 ίϊ子スチルカメラの実施例である。

なお、第 2の^施例における 0:了-スチルカメラの構成は、 1の突施例（図 1 ) と同様である。そのため、図 1に示す各構成の参照符をそのまま使用して、第 2の実施例の構成説明を省略する。

1 . 画像記録の動作説明

以下、図 5に示すステップ番号に沿って、第 2の実施例における記録動作を説明する。

ステップ S 2 1 ： A / D変換部 1 5は、画像信号を 0〜4 0 0 %白までの入力信号域で直線量子化し、 1 4ビット階調情報に変換する。

ステップ S 2 2 : C P U 1 8は、この 1 4ビット階調情報に対して、図 7に示すァ 4の階調変換を施し、 8ビット階調情報に変換する。なお、このときの階調変換としては、ほぼ 1 40 %白までの階調再現を保証する特性が好ましい。ステップ S 2 3 : CPU 1 8は、 1 4ビット階調情報に対して、図 7に示すァ 5の階調変換を施し、 1 2ビット階調情報に変換する。なお、このときの階調変換としては、ほぼ 2 0 0 %白（できれば、ほぼ 4 0 0 %白）までの階調再現を保証する特性が好ましい。

ステップ S 24 : CPU 1 8は、 8ビット階調情報を J P E G圧縮して、画像フアイル内の優先参照される画像格納領域に格納する。

ステップ S 2 5 ： CPU 1 8は、圧縮後の 8ビット階調情報に対して J P E G 伸長を施し、 8ビット階調の仲長情報（以下『8ビット伸長情報』という）を得る。

ステップ S 2 6 ： C P U 1 8は、 8ビット仲長^報を画素^位に順次参照し、参照画素が非対応箇所か否かを判定する。なお、ここでの非対応箇所は、 1 2ビット階調情報の 8ビッ卜分と 8ビット仲張佶報とがー致しない箇所を指す。このような非対応箇所は、 1 2ビッ卜階調の再現に差分情報が必要となる。逆に、一致する箇所については、 8ビット伸張情報から 1 2ビット階調情報を再現できるので、差分情報が不要となる。

すなわち、参照画素の 8ビット仲長情報が所定の閟値（図 7に示す A) を越えている場合、 C PU 1 8は、 1 2ビット階調情報の ¾現に差分情報が必須となるので参照画素を非対応箇所と j定する。方、参照画素の 8ビット仲投 ' 報が閾値 A以下のときは、 8ビッ卜伸長情報から 1 2ビッ卜階調情報を ί現すれば実用上は十分であると判断して、参照画素を非対応箇所ではないと判定する。

ここで、参照画素が非対応箇所である場合、 C P U 1 8は動作をステップ S 2 7に移行する。一方、参照画素の非対応箇所でない場合、 C PU 1 8は動作をステツプ S 3 0に移行する。

ステップ S 2 7 : C PU 1 8は、参照画素について、 1 2ビット階調情報と 8 ビット伸長情報との差分値を求める。

ステップ S 28 ： CPU 1 8は、この差分値を、高輝度側（または低輝度側）の階調を圧縮する特性で非線形量子化して量子化ビット数を低減する。

ステップ S 2 9 ： CPU 1 8は、量子化ビット数を低減した差分値について、 DP CM圧縮をさらに施す。

ステップ S 30 ： CPU 1 8は、全画素について参照を完了したか否かを判定する。ここで、全画素の参照が完了している場合、 CPU 1 8は、次のステップ S 3 1に動作を移す。一方、全画素の参照が未完了の場合、 CPU 1 8は、ステップ S 2 6に戻って、上記の動作を繰り返す。

ステップ S 3 1 ： CPU 1 8は、差分情報（上記のように求めた差分値の配列）の圧縮データを、画像ファイル内のアプリケ一ションセグメン卜に格納する。ステップ S 32 ： CPU 1 8は、このように生成された画像ファイルを、メモリカード 20に転送して記録する。

以 J:のような動作により、笫 2の実施例における記録動作が完了する。

2. 画像 lの動作説明

図 6は、 2の実施例における画像再生の動作を説明する流れ図である。

以下、図 6に示すステップ番号に沿って、第 2の実施例における再生動作を説明する。

ステップ S 4 1 : CPU 1 8は、メモリカード 20内の画像ファイル内の画像格納領域から J PEG圧縮デ一夕を抽出して画像伸長し、 8ビット伸長情報を得る。

ステップ S 42 : CPU 1 8は、 8ビット伸長情報を画素単位に順次参照し、参照画索が非対応箇所か否かを判定する。

すなわち、参照画素の 8ビヅ卜伸長情報が閫値 A以下の場合、 C P U 1 8は参照画素が非対応箇所でないと判断して、動作をステップ S 43に移行する。一方、参照画素の 8ビット伸長情報が閾値 Aを越えている場合、 CPU 1 8は参照画素を非対応箇所であると判断して、動作をステップ S 44に移行する。

ステップ S 43 : CPU 1 8は、参照画素の 8ビット伸長情報から 1 2ビット階調情報を算出する（図 7に示す特性では、 8ビット伸長情報をそのまま 1 2ビヅト階調情報とすればよい）。このような処理の後、 CPU 1 8は、ステップ S 4 7に動作を移行する。

ステップ S 44 : CPU 1 8は、画像ファイル内のアプリケーションセグメン卜の差分情報から差分値を抽出する。ステップ S 45 : CPU 1 8は、 D P CM圧縮されている差分値を復元する。さらに、 CPU 18は、差分値の高輝度側（または低輝度側）の階調を伸長し、差分値の量子化ビット数を復元する（差分値の逆量子化により、ステップ S 28 の量子化を戻す）。

ステップ S 46 : CPU 1 8は、復元された差分値と、 8ビット伸長情報とを加算して、参照画素の 1 2ビット階調情報を再現する。

ステップ S 47 ： CPU 1 8は、全画素について参照を完了したか否かを判定する。ここで、全画素の参照が完了している場合、 CPU 1 8は、次のステップ S 48に動作を移す。一方、全画素の参照が未完了の場合、 CPU 18は、ステップ S 42に戻って、上記の動作を繰り返す。

ステップ S 48 ： CPU 1 8は、以上のように求めた 1 2ビット階調情報を、モニタ表示用や外部機器での印刷用の簡易な階調変換を施して、 8ビット階調に変換して出力する。（例えば、 1 2ビット階調情報に対して、図 8に示す『ァ 5の逆特性』と『ァ 4' の特性』とを順次に施して、 8ビッ卜階調に変換する。）以上の動作により、電子スチルカメラ 1 1の再生動作が完了する。

3. 第 2の実施例の効果など

以上説明した動作により、第 2の実施例においても、 1 2ビット階調情報をそのまま記録せずに、 8ビット階調情報の差分情報として記録する。したがって、 12ビッ卜階調情報を別に圧縮記録する場合に比べて、記録容量を適切かつ容易に低減することが可能となる。

また、第 2の実施例では、 2つの階調変換特性（図 7に示すァ 4およびァ 5) を階調値 Aまで一致させている。そのため、 8ビット階調情報と 1 2ビット階調情報との相関が強くなり、差分情報の圧縮効率を一段と高めることができる。さらに、第 2の実施例では、視覚感度の低い入力信号域について差分情報を階調圧縮（非線形量子化）して記録する。このような処理により、視覚的に目立たない範囲で差分情報の量子化ビット数を合理的に低減することが可能となる。また、第 2の実施例では、画像ファイル内の優先参照される画像格納領域に 8 ビット階調情報を記録する。また、画像ファイル内のアプリケーションセグメン卜に差分情報を記録する。このような記録形式により、画像ファイルの従来互換性を確実に維持することができる。したがって、汎用の画像閲覧プログラムゃ汎用の外部装置をそのまま使用して、本発明の画像ファイル内の 8ビッ卜階調情報を加工 ·表示 · 印刷することが可能となる。

さらに、第 2の実施例では、画像記録時に、『8ビッ卜伸長情報』と『 1 2ビッ卜階調情報』とに基づいて差分情報を生成する。したがって、画像再生時において、『8ビッ卜伸長情報』と『差分情報』とから 1 2ビット階調情報をより正確に再現することが可能となる。

なお、第 2の¾施例では、 |「}生時に非対応简所の判定を行うことにより、第 3 情報と第 1情報との対応付けを行っている。このような動作により、第 3情報にマップ^報を含める必要がなく、 ¾ 3 ' 報のデータ Sをより効率的に低減できるという利点がある。

なお、 3怙報を、相 ι¾領域のマップ^報と値怙報とに分けて記録してもよい。この場合、マップ情報として、非相 ¾領域かかを示す 2値化ビットマップの圧縮情報を記録してもよい。また、マップ情報として、非相関領域の輪郭形状を示す情報（例えばチェーン符^化情報）などを記録してもよい。

さらに、第 2の実施例において、 ^分情報の標本化刻みを組くすることにより、差分' h 報のデータ量を 31に低減してもよい。また、上述した^ 2の実施例において、画像データの特徴に応じて、図 7に示す階調変換特性ァ 5を自動変更することにより、第 2情報の階調现性を更に高めてもよい。

《実施例の補足事項について》

なお、上述した実施例では、説明の都合上、 i 子スチルカメラの適用例について説明している。しかしながら、本発明は、これに限定されず、広い階調の画像データを記録再生する際に適用可能な技術である。例えば、上述した処理（例えば図 1、図 2、図 5、図 6、および上述した説明）を実行する画像処理プログラムを所定のプログラム言語で記述し、機械読み取り可能な記録媒体に記録してもよい。

さらに、この画像処理プログラムに関する発明の実施は、これに限定されるものではない。例えば、通信回線を介してこの画像処理プログラムのデ一夕を配送することにより、配送先のコンピュータ内に『画像処理プログラムの記録されたメモリやハードディスクその他の記録媒体』を製造することもできる。さらに、この画像処理プログラムの所在を情報提供することにより、プログラムの譲渡や、記録媒体の製造を仲介することもできる。

このような記録媒体を使用することにより、上述した実施例と同様の作用効果をコンピュータ上で得ることが可能となる。

また、上述した処理（例えば図 1、図 2、図 5、図 6、および上述した説明）の手順に従うことにより、画像記録方法および画像再生方法を実施することもできる。この場合も、 1:述した実施例と同様の作 ffl効果を得ることが可能となる。また、上述した実施例では、階調処理を中心に説明を行っているが、これに狭く限定されるものではない。冽えば、カラー画像データでは、 R G B、 Y C b C rなどの刺激値の階調ごとに、上述した処理を行えばよい。

また例えば、カラー画像データの各刺激値の中で、視党感度の高い成分（例えば Υや G ) に限って笫 3情報を求めてもよい。このような処理により、？β 3情報のデータ量をさらに低減することが可能となる。なおこの場合、再生時には、『視覚感度の高い成分からなる第 3情報』と『第 1情報』とを用いて、第 2 ' 報を再現すればよい。このような再生動作では、第 3情報から欠落している成分（視覚的に低感度な C b C r、 R Bなど）について 1 0 0 %完全に復元することはできない。しかしながら、視覚的に^用ト分な範囲で^ 2情報を ffl現することは可能である。

さらに、上述した実施例では、第 3情報として差分情報を使用しているが、これに限定されるものではない。一般に、第 3情報としては、第 1情報と第 2情報との相関関係を規定する情報であればよい。例えば、第 1情報と第 2情報との差異として比率を算出し、第 3情報としてもよい。

また、上述した実施例では、予測符号化 · ランレングス符号化 ·エントロピー符号化を多重にかけることにより、第 3情報をできる限りデ一夕圧縮している。しかしながら、これに限定されるものではない。例えば、予測符号化 · ランレングス符号化 'ェントロビー符号化のいずれか 1つまたは 2つを実施して第 3情報をデータ圧縮してもよい。また、第 3情報をデータ圧縮せずに記録してももちろんよい。さらに、上述した実施例では、第 1情報を 8ビット階調とし、第 2情報を 1 2 ビット階調とした場合について説明したが、本発明は、当然ながら、これらの階調数に限定されるものではない。

また、上述した実施例では、静止画像の場合について説明したが、本発明はこれに限定されるものではない。例えば、動画像に本発明を適用してもよい。この場合、 3¾ 3情報について時間軸方向のデ一夕圧縮などを行ってもよい。

なお、上述した実施例では、作成した画像ファイルをメモリーカードに保存しているが、本発明の記録部は、ファイルを長期問にわたって保存するものに限定されるものではない。例えば、本発明の記録部は、システムメモリ、画像メモリゃバッファなどにフアイルを一時記憶するものでもよい。

本允 Wは、その結神または主要な特徴から逸脱することなく、他のいろいろな形で^施することができる。そのため、前述の ¾施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発 Π刀の範囲は、特許請求の範囲によつて示すものであって、明細 Φ本文には、なんら拘束されない。さらに、特許請求の筛の均等範囲に屈する変形や変更は、すべて本究明の範囲内のものである。

Claims

請求の範囲

1 . 第 1階調変換特性に従って、画像デ一夕を Nビットレンジの第 1情報に変換する第 1変換部と、

前記第 1階調変換特性よりも階調圧縮が弱い特性（階調圧縮をしない特性の場合も含む）の第 2階調変換特性に従って、前記画像デ一夕を Mビットレンジ（ただし M > N ) の第 2情報に変換する第 2変換部と、

前記第 1情報と前記第 2情報との相関関係を規定する情報を算出して、第 3情報とする相関算出部と、

前記第 1情報と前記第 3情報とをファイル内に記録する記録部と

を備えたことを特徴とする画像記録装置。

2 . 請求項 1に記載の画像記録装置において、

前記記録部は、前記ファイル内の「優先的に参照される画像の格納領域」に、前記第 1情報を記録する

ことを特徴とする画像記録装置。

3 . 請求項 2に記載の画像記録装置において、

前記記録部は、前記ファイル内の「任意に付加可能なアプリケーションセグメント」に、前記第 3情報を記録する

ことを特徴とする画像記録装置。

4 . 請求項 1に記載の画像記録装置において、

前記第 1階調変換特性と前記第 2階調変換特性とは、少なくとも一部の入力信号域において特性カーブが一致する

ことを特徴とする画像記録装置。

5 . 請求項 1に記載の画像記録装置において、

前記相関算出部は、前記第 2情報と前記第 1情報との差異に関する情報を算出し、前記差異に関する情報を前記第 3情報とする

ことを特徴とする画像記録装置。

6 . 請求項 1に記載の画像記録装置において、

前記記録部は、前記第 3情報を非線形に量子化してデータ圧縮し、デ一夕圧縮された前記第 3情報をファイル内に記録することを特徴とする画像記録装置。

7 . 請求項 1に記載の画像記録装置において、

前記記録部は、前記第 3情報の画面上での標本化刻みを粗くしてデ一夕圧縮し、データ圧縮された前記第 3情報をファイル内に記録する

ことを特徴とする画像記録装置。

8 . 請求項 1に記載の画像記録装置において、

前記 ¾録部は、

前記第 1 tit報と ί記 2 f 報との間で突質的な差異を生じた画像エリアである非ネ Π ί 領域を判別し、前記 3†¾報を「前記非相 [¾領域の形を示すマップ情報」と「前記非相関領域の ίι¾を示す情報」とに区別して、ファイル内に記録することを特徴とする画像記録装。

9 . ^求項 1に記載の画像記録装^において、

前記記録部は、 ιϊϊ記第 1 ½報から前記第 2 ^報を直に！？出不可能な画像上の箇所である非対応箇所を判別し、前記非対応箇所の前記第 3情報をファィル内に記録する

ことを特徴とする画像記録装^。

1 0 . 請求項 1に記載の画像記録装置において、

前記記録部は、前記第 3情報を、ランレングス符化および/またはェントロピー符^化および/または予測符^化によりデータ圧縮し、データ圧縮された前記第 3佶報をファイル内に ¾録する

ことを特徴とする画像記録装置。

1 1 . 請求項 1に記載の画像記録装置において、

前記第 2変換部は、前記画像データの特徴に対応して、前記第 2階調変換特性を変更する

ことを特徴とする画像記録装置。

1 2 . 第 1階調変換特性に従って、画像デ一夕を Νビットレンジの第 1情報に変換する第 1変換部と、

前記第 1階調変換特性よりも階調圧縮が弱い特性（階調圧縮をしない特性の場合も含む）の第 2階調変換特性に従って、前記画像データを Μビットレンジ（ただし M > N ) の第 2情報に変換する第 2変換部と、

前記第 1情報と前記第 3情報とをフアイル内に記録する記録部とを備え、前記記録部は、前記第 1情報を非可逆圧縮し、非可逆圧縮された前記第 1情報を記録するものであり、

前記相関算出部は、前記記録部により非可逆圧縮された前記第 1情報を伸長し、『伸長後の前記第 1情報』と『前記第 2情報』との相関関係を規定する情報を算出して、前記第 3情報とする

ことを特徴とする画像記録装置。

1 3 . 請求項 1 2に記載の画像記録装^において、

ことを特徴とする画像記録装置。

1 4 . 請求項 1 3に記載の画像記録装置において、

ことを特徴とする画像記録装 g。

1 5 . 請求頌 1 2に記載の画像記録装において、

ことを特徴とする画像記録装置。

1 6 . 請求項 1 2に記載の画像記録装置において、

ことを特徴とする画像記録装置。

1 7 . 請求項 1 2に記載の画像記録装置において、

前記記録部は、前記第 3情報を非線形に量子化してデータ圧縮し、データ圧縮された前記第 3情報をファイル内に記録することを特徴とする画像記録装置。

1 8 . 請求項 1 2に記載の画像記録装置において、

ことを特徴とする画像記録装置。

1 9 . 請求項 1 2に記載の画像記録装置において、

前記記録部は、

前記第報と前記第 2情報との問で実質的な差異を生じた画像エリァである非相関領域を判別し、前記第 3情報を「前記非相関領域の形を示すマップ情報」と「前記非相関領域の値を示す情報」とに区別して、ファイル内に記録することを特徴とする画像記録装置。

2 0 . ^求 J¾ 1 2に記載の晒像記録装置において、

前記記録部は、前記第 1† 報から前記第 2情報を直に出不可能な画像上の箇所である非対応箇所を判別し、前記非対応箇所の前記第 3情報をファィル内に記録する

ことを特徴とする画像記録装置。

2 1 . 詰求项 1 2に記載の画像記録装置において、

前記記録部は、前記第 3情報を、ランレングス符号化および/またはェントロピー符号化および/または" F'測符化によりデータ圧縮し、データ圧縮された前記第 3情報をファイル内に記録する

ことを特徴とする画像記録装置。

2 2 . 請求項 1 2に記載の画像記録装置において、

ことを特徴とする画像記録装置。

2 3 . 第 1階調変換特性に従って、画像デ一夕を Νビットレンジの第 1情報に変換するステツブと、

前記第 1階調変換特性よりも階調圧縮が弱い特性（階調圧縮をしない特性の場合も含む）の第 2階調変換特性に従って、前記画像データを Μビットレンジ（ただし M > N ) の第 2情報に変換するステップと、

前記第 1情報と前記第 2情報との相関関係を規定する情報を算出して、第 3情報とするステップと、

前記第 1情報と前記第 3情報とをファイル内に記録するステップと

をコンピュータに実行させるための画像処理プログラムを記録した記録媒体。

2 4 . 請求項 2 3に記載の記録媒体において、

前記記録するステツプは、前記第 1情報を非可逆圧縮して記録するステツプであり、

前記規定するステップは、非可逆圧縮された前記第 1情報を伸長し、『伸長後の前記第 1情報』と『前記第 2情報』との相関関係を規定する情報を算出して、前記第 3情報とする

ことを特徴とする画像処理プログラムを記録した記録媒体。

2 5 . 第 1階調変換特性に従って、画像デ一夕を Nビットレンジの第 1情報に変換するステツプと、

前記第 1階調変換特性よりも階調圧縮が弱い特性（階調圧縮をしない特性の場合も含む）の第 2階調変換特性に従って、前記画像データを Mビッ卜レンジ（ただし M > N ) の第 2情報に変換するステップと、

前記第 1情報と前記第 3情報とをファイル内に記録するステヅプと

を有する画像記録方法。

2 6 . 請求項 2 5に記載の画像記録方法において、

ことを特徴とする画像記録方法。

2 7 . 請求項 1に記載の画像記録装置によって ¾録された「前記第 1情報および前記第 3情報を含むファイル」から前記第 2情報を再生する画像再生装置であつて、

前記ファイルから前記第 1情報および前記第 3情報を読み出す読み出し部と、前記第 1 報および前記笫 3情報に基づいて、前記第 2情報を再現する第 2情報算出部と

を備えたことを特徴とする画像再生装置。

2 8 . ^求項 2 7に記載の画像 Ρί生装 ISにおいて、

前記 2怙報算出部は、 ¾記 2恺報を外部装 ίΞで階調現可能な輝度領域 (bit range)に階調圧縮して出力する

ことを特徴とする画像生装^。

2 9 . 求项 9に記載の 1¾]像鉍¾ ^によって記された「½記第 1情報と前 ;ΰ非対応 eg所の前 ^ΐίπ 3†,i银とをむファイル」から m 2 ' を生する画像 ΡΪ生装 sであって、

前記ファイルから前記第 U ffiおよび前 ¾笫 3 ^報を読み出す読み出し部と、前記 1 ^報および前記 ¾ 3 報に^づいて、前記^ 2情報を現する第 2情報算出部とを備え

前記 2怡報算出部は、 ιϊ ·記 1 ' 報の i ίιΰに基づいて前記非対応箇所の判別を行い、記非対応筒所に ι , ΰίϊ! 3 報を配 Είして前記笫 l td報と前記第 3情報との位合わせを行い、報および『前記第 1情報と画素位置の対応のとれた前記第 3佶報』に^づいて、前記^ 2† 報を再現する

ことを特徴とする画像再^装置。

3 0 . 請求項 1に記載の画像記録装置によって記録された「前記第 1情報および前記第 3情報を含むファイル」から前記^ 2情報を再生する画像処理プログラムを記録した記録媒体であって、

前記フアイルから前記第 1情報および前記第 3情報を読み出すステップと、前記第 1情報および前記第 3情報に基づいて、前記第 2情報を再現するステツプと

を備えた画像処理プログラムを記録した記録媒体。

3 1 . 請求項 9に記載の画像記録装置によって記録された「前記第 1情報と前記非対応箇所の前記第 3情報とを含むファイル」から前記第 2情報を再生する画像処理プログラムを記録した記録媒体であって、

前記ファイルから前記第 1情報および前記第 3 til報を読み出すステップと、前記第 1情報の画素値に基づいて前記非対応箇所の判別を行い、前記非対応箇所に前記第 3情報を配置して前記第 1情報と前記第 3佶報との位置合わせを行い、前記第 1情報および『前記第 1情報と画素位置の対応のとれた前記第 3情報』に基づいて、前記第 2情報を再現するステップと

3 2 . 諳求項 1に記載の画像記録装^によって記録された「前記報および前記 3佶報を含むファイル」から前記^ 2 f,f報を ΡΪ生する 1 像 I 生方法であつて、

前記ファイルから前記第 1 ' 報および前記第 3怙報を, み出すステップと、前記 ¾ 1 1.¹!報および前 ¾第 3怙報に^づいて、記第 2 ¾を現するステツプと

を有することを特徴とする画像丙生方法。

前記ファイルから ι¾記^ 1 ½報および前, 3 ½報を^み出すステップと、前記第 1怙報および前 _u¾ 3 報に^づいて、前記^ 2 t. 裉を f fi現するステツブとを備え、

前記再現するステップは、前記第 1情報の画素値に基づいて前記非対応箇所の判別を行い、前記非対応箇所に前記第 3情報を配置して前記第 1情報と前記第 3 情報との位置合わせを行い、前記第 1情報および『前記第 1情報と画素位置の対応のとれた前記第 3情報』に基づいて、前記第 2情報を再現する

ことを特徴とする画像再生方法。