JP4688945B2 - 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ - Google Patents

視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ Download PDF

Info

Publication number
JP4688945B2
JP4688945B2 JP2009115325A JP2009115325A JP4688945B2 JP 4688945 B2 JP4688945 B2 JP 4688945B2 JP 2009115325 A JP2009115325 A JP 2009115325A JP 2009115325 A JP2009115325 A JP 2009115325A JP 4688945 B2 JP4688945 B2 JP 4688945B2
Authority
JP
Japan
Prior art keywords
signal
value
visual processing
unit
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009115325A
Other languages
English (en)
Other versions
JP2009213155A (ja
Inventor
春生 山下
辰巳 渡辺
祐亮 物部
武志 井東
章夫 小嶋
康浩 桑原
俊晴 黒沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2009115325A priority Critical patent/JP4688945B2/ja
Publication of JP2009213155A publication Critical patent/JP2009213155A/ja
Application granted granted Critical
Publication of JP4688945B2 publication Critical patent/JP4688945B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/75
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/92
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4092Edge or detail enhancement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、視覚処理装置、特に、画像信号の空間処理または階調処理などの視覚処理を行う視覚処理装置に関する。
原画像の画像信号の視覚処理として、空間処理と階調処理とが知られている。
空間処理とは、フィルタ適用の対象となる着目画素の周辺の画素を用い、着目画素の処理を行うことである。また、空間処理された画像信号を用いて、原画像のコントラスト強調、ダイナミックレンジ(DR)圧縮など行う技術が知られている。コントラスト強調では、原画像とボケ信号との差分(画像の鮮鋭成分)を原画像に加え、画像の鮮鋭化が行われる。DR圧縮では、原画像からボケ信号の一部が減算され、ダイナミックレンジの圧縮が行われる。
階調処理とは、着目画素の周辺の画素とは無関係に、着目画素毎にルックアップテーブル(LUT)を用いて画素値の変換を行う処理であり、ガンマ補正と呼ばれることもある。例えば、コントラスト強調する場合、原画像での出現頻度の高い(面積の大きい)階調レベルの階調を立てるLUTを用いて画素値の変換が行われる。LUTを用いた階調処理として、原画像全体に1つのLUTを決定して用いる階調処理(ヒストグラム均等化法)と、原画像を複数に分割した画像領域のそれぞれについてLUTを決定して用いる階調処理(局所的ヒストグラム均等化法)とが知られている(例えば、特許文献1参照。)。
一方、空間処理と階調処理とを組み合わせた視覚処理についても知られている。図48〜図51を用いて、空間処理と階調処理とを組み合わせた従来の視覚処理について説明する。
図48にアンシャープマスキングを利用したエッジ強調、コントラスト強調を行う視覚処理装置400を示す。図48に示す視覚処理装置400は、入力信号ISに対して空間処理を行いアンシャープ信号USを出力する空間処理部401と、入力信号ISからアンシャープ信号USを減算し差分信号DSを出力する減算部402と、差分信号DSの強調処理を行い強調処理信号TSを出力する強調処理部403と、入力信号ISと強調処理信号TSとを加算し出力信号OSを出力する加算部404とを備えている。
ここで、強調処理は、差分信号DSに対して、線形あるいは非線形の強調関数を用いて行われる。図49に強調関数R1〜R3を示す。図49の横軸は、差分信号DS、縦軸は、強調処理信号TSを表している。強調関数R1は、差分信号DSに対して線形な強調関数である。強調関数R1は、例えば、R1(x)=0.5x(xは、差分信号DSの値)で表されるゲイン調整関数である。強調関数R2は、差分信号DSに対して非線形な強調関数であり、過度のコントラストを抑制する関数である。すなわち、絶対値の大きい入力x(xは、差分信号DSの値)に対して、より大きい抑制効果(より大きい抑制率による抑制効果)を発揮する。例えば、強調関数R2は、絶対値のより大きい入力xに対して、より小さい傾きを有するグラフで表される。強調関数R3は、差分信号DSに対して非線形な強調関数であり、小振幅のノイズ成分を抑制する。すなわち、絶対値の小さい入力x(xは、差分信号DSの値)に対して、より大きい抑制効果(より大きい抑制率による抑制効果)を発揮する。例えば、強調関数R3は、絶対値のより大きい入力xに対して、より大きい傾きを有するグラフで表される。強調処理部403では、これらの強調関数R1〜R3のいずれかが用いられている。
差分信号DSは、入力信号ISの鮮鋭成分である。視覚処理装置400では、差分信号DSの強度を変換し、入力信号ISに加算する。このため、出力信号OSでは、入力信号ISのエッジ、コントラストが強調される。
図50に、局所コントラスト(インテンシティ)の改善を行う視覚処理装置406を示す(例えば、特許文献2参照。)。図50に示す視覚処理装置406は、空間処理部407と、減算部408と、第1の変換部409と、乗算部410と、第2の変換部411と、加算部412とを備えている。空間処理部407は、入力信号ISに対して空間処理を行いアンシャープ信号USを出力する。減算部408は、入力信号ISからアンシャープ信号USを減算し差分信号DSを出力する。第1の変換部409は、アンシャープ信号USの強度に基づいて、差分信号DSを局所的に増幅する増幅係数信号GSを出力する。乗算部410は、差分信号DSに増幅係数信号GSを乗算し、差分信号DSを局所的に増幅したコントラスト強調信号HSを出力する。第2の変換部411は、アンシャープ信号USの強度を局所的に修正し、修正アンシャープ信号ASを出力する。加算部412は、コントラスト強調信号HSと修正アンシャープ信号ASとを加算し、出力信号OSを出力する。
増幅係数信号GSは、入力信号ISにおいてコントラストが適切で無い部分について、局所的にコントラストを適正化する非線形の重み係数である。このため、入力信号ISにおいてコントラストの適切な部分は、そのまま出力され、適切で無い部分は、適正化して出力される。
図51に、ダイナミックレンジの圧縮を行う視覚処理装置416を示す(例えば、特許文献3参照。)。図51に示す視覚処理装置416は、入力信号ISに対して空間処理を行いアンシャープ信号USを出力する空間処理部417と、アンシャープ信号USをLUTを用いて反転変換処理したLUT処理信号LSを出力するLUT演算部418と、入力信号ISとLUT処理信号LSとを加算し出力信号OSを出力する加算部419とを備えている。
LUT処理信号LSは、入力信号ISに加算され、入力信号ISの低周波成分(空間処理部417のカットオフ周波数より低い周波数成分)のダイナミックレンジを圧縮する。このため、入力信号ISのダイナミックレンジを圧縮しつつ、高周波成分は保持される。
特開2000−57335号公報(第3頁,第13図〜第16図) 特許第2832954号公報(第2頁,第5図) 特開2001−298619号公報(第3頁,第9図)
上記した視覚処理では、視覚処理された画像を視覚する者にとって、より視覚的効果の高い画像を得ることが求められる。例えば、視覚処理された画像が表示される場合、表示された画像は、表示環境の影響を受けた状態で視覚される。
そこで本発明では、視覚処理された画像を視覚する者にとって、より視覚的効果の高い画像を得ることを課題とする。
発明1の視覚処理装置は、パラメータ出力手段と、変換手段とを備えている。パラメータ出力手段は、環境光を表すパラメータに基づいて輝度調整パラメータを出力する。変換手段は、パラメータ出力手段により出力された輝度調整パラメータと、視覚処理の対象となる対象画素の輝度と、対象画素の周辺に位置する周辺画素の輝度とに基づいて、対象画素の輝度を変換する。
環境光を表すパラメータは、例えば、光の強さを検知する光センサなどにより測定され、パラメータ出力手段に入力される。あるいは、環境光を表すパラメータは、ユーザの判断により作成され、パラメータ出力手段に入力される。
輝度調整パラメータとは、例えば、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などに対する変換後の対象画素の輝度を格納するルックアップテーブル(LUT)や、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などを変換するための係数マトリクスデータ、などである。また、輝度調整パラメータは、環境光を表すパラメータを含んでもよい。
パラメータ出力手段は、例えば、複数の輝度調整パラメータから環境光を表すパラメータに応じた輝度調整パラメータを選択し、出力する、あるいは環境光を表すパラメータに応じた演算により、輝度調整パラメータを生成し、出力する。
本発明の視覚処理装置では、環境光に応じた視覚処理を実現することが可能となる。すなわち、視覚処理された画像を視覚する者にとって、より視覚的効果の高い画像を得ることが可能となる。
発明2の視覚処理装置は、発明1の視覚処理装置であって、パラメータ出力手段は、環境光を表すパラメータと外部から入力される外部パラメータとに基づいて輝度調整パラメータを出力することを特徴とする。
外部パラメータとは、例えば、画像を視覚するユーザが求める視覚的効果を表すパラメータである。より具体的には、画像を視覚するユーザが求めるコントラストなどの値である(以下、この欄において同じ)。
パラメータ出力手段は、環境光を表すパラメータと外部パラメータとに基づいて、輝度調整パラメータを出力する。ここで、輝度調整パラメータは、例えば、外部パラメータをさらに含んでもよい。
本発明の視覚処理装置では、環境光と外部パラメータとに応じた視覚処理を実現することが可能となる。例えば、画像を視覚するユーザが求めるコントラストなどの値をユーザ自身が設定し、よりユーザにとって視覚的効果の高い画像を得ることが可能となる。
発明3の視覚処理装置は、発明1の視覚処理装置であって、パラメータ出力手段は、環境光を表すパラメータに基づいて輝度調整パラメータを出力する第1のモードと、環境光を表すパラメータと外部から入力される外部パラメータとに基づいて輝度調整パラメータを出力する第2のモードとのいずれかを、切り換え信号に基づいて切り換えて動作することを特徴とする。
第1のモードでは、環境光に応じた輝度調整パラメータが出力される。第2のモードでは、環境光と外部パラメータに応じた輝度調整パラメータが出力される。
例えば、第1のモードでは、システムにあらかじめ設定されている既定の輝度調整パラメータが出力される。また、例えば、第2のモードでは、画像を視覚するユーザが求めるコントラストなどの値をユーザ自身が設定し、設定された値と環境光とに応じて輝度調整パラメータが出力される。
本発明の視覚処理装置では、画像を視覚するユーザ自身により設定されたコントラストなどの値を用いるか、あるいはシステムにあらかじめ設定されている既定の値を用いるかを切り換えることが可能となる。
発明4の視覚処理装置は、発明1の視覚処理装置であって、変換手段は、対象画素の輝度と周辺画素の輝度との差または比を強調する演算を行うことを特徴とする。
ここで、強調する演算とは、正方向への強調のみならず負方向への強調も含む。例えば、対象画素の輝度と周辺画素の輝度とを平滑化する処理や、局所的なコントラストを強調する処理などを含む。
本発明の視覚処理装置では、例えば、局所的なコントラストを強調し、環境光の存在する環境において視覚されるコントラストを維持することなどが可能となる。
発明5の視覚処理装置は、発明1の視覚処理装置であって、環境光を表すパラメータ、あるいは輝度調整パラメータの時間変化を制御する時間変化調整部、をさらに備えている。
ここで、時間変化調整部とは、例えば、パラメータの時間変化の応答を緩やかにする、あるいはパラメータの時間変化の応答を遅延させるなど、時間変化を制御する。応答を穏やかにする場合には、時間変化調整部は、例えば、IIRフィルタなどの平滑化フィルタやそれぞれのパラメータの値を積分した値または積分した値を平均した値などを出力する手段などで構成されてもよい。
本発明の視覚処理装置では、環境光を表すパラメータ、あるいは輝度調整パラメータの時間変化を制御することにより、例えば、急激なパラメータ変動を抑えることが可能となり、表示画面のちらつきを抑えることなどが可能となる。
発明6の視覚処理方法は、パラメータ出力ステップと、変換ステップとを備えている。パラメータ出力ステップは、環境光を表すパラメータに基づいて輝度調整パラメータを出力する。変換ステップは、パラメータ出力ステップにより出力された輝度調整パラメータと、視覚処理の対象となる対象画素の輝度と、対象画素の周辺に位置する周辺画素の輝度とに基づいて、対象画素の輝度を変換する。
環境光を表すパラメータは、例えば、光の強さを検知する光センサなどにより測定される。あるいは、環境光を表すパラメータは、ユーザの判断により作成される。
輝度調整パラメータとは、例えば、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などに対する変換後の対象画素の輝度を格納するルックアップテーブル(LUT)や、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などを変換するための係数マトリクスデータ、などである。また、輝度調整パラメータは、環境光を表すパラメータを含んでもよい。
パラメータ出力ステップは、例えば、複数の輝度調整パラメータから環境光を表すパラメータに応じた輝度調整パラメータを選択し、出力する、あるいは環境光を表すパラメータに応じた演算により、輝度調整パラメータを生成し、出力する。
本発明の視覚処理方法では、環境光に応じた視覚処理を実現することが可能となる。すなわち、より視覚的効果の高い視覚処理を実現することが可能となる。
発明7の視覚処理プログラムは、コンピュータに視覚処理方法を行わせるプログラムである。視覚処理方法は、パラメータ出力ステップと、変換ステップとを備えている。パラメータ出力ステップは、環境光を表すパラメータに基づいて輝度調整パラメータを出力する。変換ステップは、パラメータ出力ステップにより出力された輝度調整パラメータと、視覚処理の対象となる対象画素の輝度と、対象画素の周辺に位置する周辺画素の輝度とに基づいて、対象画素の輝度を変換する。
環境光を表すパラメータは、例えば、光の強さを検知する光センサなどにより測定される。あるいは、環境光を表すパラメータは、ユーザの判断により作成される。
輝度調整パラメータとは、例えば、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などに対する変換後の対象画素の輝度を格納するルックアップテーブル(LUT)や、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などを変換するための係数マトリクスデータ、などである。また、輝度調整パラメータは、環境光を表すパラメータを含んでもよい。
パラメータ出力ステップは、例えば、複数の輝度調整パラメータから環境光を表すパラメータに応じた輝度調整パラメータを選択し、出力する、あるいは環境光を表すパラメータに応じた演算により、輝度調整パラメータを生成し、出力する。
本発明の視覚処理プログラムでは、環境光に応じた視覚処理を実現することが可能となる。すなわち、より視覚的効果の高い視覚処理を実現することが可能となる。
発明8の半導体装置は、パラメータ出力部と、変換部とを備えている。パラメータ出力部は、環境光を表すパラメータに基づいて輝度調整パラメータを出力する。変換部は、パラメータ出力部により出力された輝度調整パラメータと、視覚処理の対象となる対象画素の輝度と、対象画素の周辺に位置する周辺画素の輝度とに基づいて、対象画素の輝度を変換する。
環境光を表すパラメータは、例えば、光の強さを検知する光センサなどにより測定され、パラメータ出力部に入力される。あるいは、環境光を表すパラメータは、ユーザの判断により作成され、パラメータ出力部に入力される。
輝度調整パラメータとは、例えば、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などに対する変換後の対象画素の輝度を格納するルックアップテーブル(LUT)や、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などを変換するための係数マトリクスデータ、などである。また、輝度調整パラメータは、環境光を表すパラメータを含んでもよい。
パラメータ出力部は、例えば、複数の輝度調整パラメータから環境光を表すパラメータに応じた輝度調整パラメータを選択し、出力する、あるいは環境光を表すパラメータに応じた演算により、輝度調整パラメータを生成し、出力する。
本発明の半導体装置では、環境光に応じた視覚処理を実現することが可能となる。すなわち、より視覚的効果の高い視覚処理を実現することが可能となる。
本発明の視覚処理装置により、視覚処理された画像を視覚する者にとって、より視覚的効果の高い画像を得ることが可能となる。
視覚処理装置1の構造を説明するブロック図(第1実施形態) プロファイルデータの一例(第1実施形態) 視覚処理方法を説明するフローチャート(第1実施形態) 視覚処理部500の構造を説明するブロック図(第1実施形態) プロファイルデータの一例(第1実施形態) 視覚処理装置520の構造を説明するブロック図(第1実施形態) 視覚処理装置525の構造を説明するブロック図(第1実施形態) 視覚処理装置530の構造を説明するブロック図(第1実施形態) プロファイルデータ登録装置701の構造を説明するブロック図(第1実施形態) 視覚処理プロファイル作成方法について説明するフローチャート(第1実施形態) 視覚処理装置901の構造を説明するブロック図(第1実施形態) 変更度関数fk(z)を変化させた場合の入力信号IS’と出力信号OS’との関係を示すグラフ(第1実施形態) 変更度関数f1(z)およびf2(z)を示すグラフ(第1実施形態) 視覚処理装置905の構造を説明するブロック図(第1実施形態) 視覚処理装置11の構造を説明するブロック図(第1実施形態) 視覚処理装置21の構造を説明するブロック図(第1実施形態) ダイナミックレンジ圧縮関数F4について説明する説明図(第1実施形態) 強調関数F5について説明する説明図(第1実施形態) 視覚処理装置31の構造を説明するブロック図(第1実施形態) 視覚処理装置41の構造を説明するブロック図(第1実施形態) 視覚処理装置51の構造を説明するブロック図(第1実施形態) 視覚処理装置61の構造を説明するブロック図(第1実施形態) 視覚処理装置71の構造を説明するブロック図(第1実施形態) 視覚処理装置600の構造を説明するブロック図(第2実施形態) 式M20による変換を説明するグラフ(第2実施形態) 式M2による変換を説明するグラフ(第2実施形態) 式M21による変換を説明するグラフ(第2実施形態) 視覚処理方法について説明するフローチャート(第2実施形態) 関数α1(A)の傾向を示すグラフ(第2実施形態) 関数α2(A)の傾向を示すグラフ(第2実施形態) 関数α3(A)の傾向を示すグラフ(第2実施形態) 関数α4(A,B)の傾向を示すグラフ(第2実施形態) 変形例としての実コントラスト設定部605の構造を説明するブロック図(第2実施形態) 変形例としての実コントラスト設定部605の構造を説明するブロック図(第2実施形態) 制御部605eの動作を説明するフローチャート(第2実施形態) 色差補正処理部608を備える視覚処理装置600の構造を説明するブロック図(第2実施形態) 色差補正処理の概要を説明する説明図(第2実施形態) 色差補正処理部608における推定演算について説明するフローチャート(第2実施形態) 変形例としての視覚処理装置600の構造を説明するブロック図(第2実施形態) 視覚処理装置910の構造を説明するブロック図(第3実施形態) 視覚処理装置920の構造を説明するブロック図(第3実施形態) 視覚処理装置920’の構造を説明するブロック図(第3実施形態) 視覚処理装置920”の構造を説明するブロック図(第3実施形態) コンテンツ供給システムの全体構成について説明するブロック図(第4実施形態) 本発明の補間フレーム作成装置を搭載する携帯電話の例(第4実施形態) 携帯電話の構成について説明するブロック図(第4実施形態) ディジタル放送用システムの例(第4実施形態) アンシャープマスキングを利用した視覚処理装置400の構造を説明するブロック図(背景技術) 強調関数R1〜R3について説明する説明図(背景技術) 局所コントラストの改善を行う視覚処理装置406の構造を説明するブロック図(背景技術) ダイナミックレンジの圧縮を行う視覚処理装置416の構造を説明するブロック図(背景技術)
以下、本発明の最良の形態としての第1〜第4実施形態について説明する。
第1実施形態では、2次元LUTを利用した視覚処理装置について説明する。
第2実施形態では、画像を表示する環境に環境光が存在する場合に環境光の補正を行う視覚処理装置について説明する。
第3実施形態では、第1実施形態および第2実施形態の応用例について説明する。
第4実施形態では、第1〜第3実施形態のさらなる応用例について説明する。
[第1実施形態]
図1〜図10を用いて、本発明の第1実施形態としての2次元LUTを利用した視覚処理装置1について説明する。また、図11〜図14を用いて、視覚処理装置の変形例について説明する。また、図15〜図23を用いて、視覚処理装置1と等価な視覚処理を実現する視覚処理装置について説明する。
視覚処理装置1は、画像信号の空間処理、階調処理など視覚処理を行う装置である。視覚処理装置1は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなどの画像を取り扱う機器において、画像信号の色処理を行う装置とともに画像処理装置を構成する。
〈視覚処理装置1〉
図1に、画像信号(入力信号IS)に視覚処理を行い視覚処理画像(出力信号OS)を出力する視覚処理装置1の基本構成を示す。視覚処理装置1は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部2と、同じ画素についての入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部3とを備えている。
空間処理部2は、例えば、入力信号ISの低域空間のみを通過させる低域空間フィルタによりアンシャープ信号USを得る。低域空間フィルタとしては、アンシャープ信号の生成に通常用いられるFIR(Finite Impulse Respones)型の低域空間フィルタ、あるいはIIR(Infinite Impulse Respones)型の低域空間フィルタなどを用いてもよい。
視覚処理部3は、入力信号ISおよびアンシャープ信号USと出力信号OSとの関係を与える2次元LUT4を有しており、入力信号ISとアンシャープ信号USとに対して、2次元LUT4を参照して出力信号OSを出力する。
〈2次元LUT4〉
2次元LUT4には、プロファイルデータと呼ばれるマトリクスデータが登録される。プロファイルデータは、入力信号ISのそれぞれの画素値に対応する行(または列)とアンシャープ信号USのそれぞれの画素値に対応する列(または行)とを有しており、行列の要素として、入力信号ISとアンシャープ信号USとの組み合わせに対応する出力信号OSの画素値が格納されている。プロファイルデータは、視覚処理装置1に内蔵あるいは接続されるプロファイルデータ登録装置8により、2次元LUT4に登録される。プロファイルデータ登録装置8には、パーソナルコンピュータ(PC)等によりあらかじめ作成された複数のプロファイルデータが格納されている。例えば、コントラスト強調、Dレンジ圧縮処理、あるいは階調補正など(詳細は、下記〈プロファイルデータ〉の欄参照)を実現する複数のプロファイルデータが格納されている。これにより、視覚処理装置1では、プロファイルデータ登録装置8を用いて2次元LUT4のプロファイルデータの登録内容を変更し、様々な視覚処理を実現することが可能となる。
プロファイルデータの一例を図2に示す。図2に示すプロファイルデータは、視覚処理装置1に、図48で示した視覚処理装置400と等価な処理を実現させるためのプロファイルデータである。図2において、プロファイルデータは、64×64のマトリクス形式で表現されており、列方向(縦方向)には8ビットで表現される入力信号ISの輝度値の上位6ビットの値が、行方向(横方向)には8ビットで表現されるアンシャープ信号USの輝度値の上位6ビットの値が示されている。また、2つの輝度値に対する行列の要素として出力信号OSの値が8ビットで示されている。
図2に示すプロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A(例えば、8ビットで表現される入力信号ISの下位2ビットを切り捨てた値)とアンシャープ信号USの値B(例えば、8ビットで表現されるアンシャープ信号USの下位2ビットを切り捨てた値)とを用いて、C=A+0.5*(A−B)(以下、式M11という)で表現される。すなわち、視覚処理装置1では、強調関数R1(図49参照)を用いた視覚処理装置400(図48参照)と等価な処理が行われていることを示している。
なお、入力信号ISの値Aとアンシャープ信号USの値Bとの値の組み合わせによっては、式M11で求められる値Cが負の値となることがある。この場合、入力信号ISの値Aとアンシャープ信号USの値Bとに対応するプロファイルデータの要素は、値0としてもよい。また、入力信号ISの値Aとアンシャープ信号USの値Bとの値の組み合わせによっては、式M11で求められる値Cが飽和してしまうことがある。すなわち、8ビットで表現できる最大値255を超えてしまうことがある。この場合、入力信号ISの値Aとアンシャープ信号USの値Bとに対応するプロファイルデータの要素は、値255としてもよい。図2では、このようにして求めたプロファイルデータの各要素を等高線表示している。
また、例えば、各要素の値Cが、C=R6(B)+R5(B)*(A−B)(以下、式M12という)で表現されるプロファイルデータを用いると、図50で示した視覚処理装置406と等価な処理を実現することが可能である。ここで、関数R5は、第1の変換部409においてアンシャープ信号USから増幅係数信号GSを出力する関数であり、関数R6は、第2の変換部411においてアンシャープ信号USから修正アンシャープ信号ASを出力する関数である。
さらに、各要素の値Cが、C=A+R8(B)(以下、式M13という)で表現されるプロファイルデータを用いると、図51で示した視覚処理装置416と等価な処理を実現することが可能である。ここで、関数R8は、アンシャープ信号USからLUT処理信号LSを出力する関数である。
なお、式M12、式M13で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値Cを0又は255としてもよい。
〈視覚処理方法および視覚処理プログラム〉
図3に視覚処理装置1における視覚処理方法を説明するフローチャートを示す。図3に示す視覚処理方法は、視覚処理装置1においてハードウェアにより実現され、入力信号IS(図1参照)の視覚処理を行う方法である。
図3に示す視覚処理方法では、入力信号ISは、低域空間フィルタにより空間処理され(ステップS11)、アンシャープ信号USが取得される。さらに、入力信号ISとアンシャープ信号USとに対する2次元LUT4の値が参照され、出力信号OSが出力される(ステップS12)。以上の処理が入力信号ISとして入力される画素毎に行われる。
なお、図3に示す視覚処理方法のそれぞれのステップは、コンピュータなどにより、視覚処理プログラムとして実現されるものであっても良い。
〈効果〉
(1)
入力信号ISの値Aだけに基づいて視覚処理を行う場合に(例えば、1次元の階調変換曲線による変換を行う場合など)、画像中の異なる場所で同じ濃度の画素が存在すると、同じ明るさの変換が行われてしまう。より具体的には、画像中の人物の背景の暗い場所を明るくすると、同じ濃度の人物の髪の毛も明るくなる。
それに比較して、視覚処理装置1では、入力信号ISの値Aとアンシャープ信号USの値Bとに対応する2次元の関数に基づいて作成されたプロファイルデータを用いて視覚処理を行う。このため、画像中の異なる場所に存在する同じ濃度の画素を、一様に変換するのでなく、周囲情報を含めて明るくしたり、暗くしたりすることができ、画像中の領域毎に最適な明るさの調整ができる。より具体的には、画像中の人物の髪の毛の濃度を変えずに、同じ濃度の背景を明るくすることができる。
(2)
視覚処理装置1では、2次元LUT4を用いて、入力信号ISの視覚処理を行う。視覚処理装置1は、実現される視覚処理効果に依存しないハードウェア構成を有している。すなわち、視覚処理装置1は、汎用性の有るハードウェアで構成することが可能であり、ハードウェアコストの削減などに有効である。
(3)
2次元LUT4に登録されるプロファイルデータは、プロファイルデータ登録装置8により変更可能である。このため、視覚処理装置1では、視覚処理装置1のハードウェア構成を変更することなく、プロファイルデータを変更することにより、様々な視覚処理を実現することが可能となる。より具体的には、視覚処理装置1では、空間処理および階調処理を同時に実現することが可能となる。
(4)
2次元LUT4の登録されるプロファイルデータは、あらかじめ算出しておくことが可能である。一旦作成されたプロファイルデータは、いかに複雑な処理を実現するものであっても、それを用いた視覚処理に要する時間は一定である。このため、ハードウェアあるいはソフトウェアで構成した場合には複雑な構成となる視覚処理であっても、視覚処理装置1を用いた場合には、視覚処理の複雑さに処理時間は依存せず、視覚処理の高速化を図ることが可能となる。
〈変形例〉
(1)
図2では、64×64のマトリクス形式のプロファイルデータについて説明した。ここで、本発明の効果は、プロファイルデータのサイズに依存するものではない。例えば、2次元LUT4は、入力信号ISおよびアンシャープ信号USが取りうる全ての値の組み合わせに応じたプロファイルデータを有することも可能である。例えば、入力信号およびアンシャープ信号USが8ビットで表現される場合、プロファイルデータは、256×256のマトリクス形式であってもよい。
この場合、2次元LUT4に必要なメモリ容量は増えるが、より正確な視覚処理を実現することが可能となる。
(2)
図2では、プロファイルデータは、8ビットで表現される入力信号ISの輝度値の上位6ビットの値と、8ビットで表現されるアンシャープ信号USの輝度値の上位6ビットの値とについての出力信号OSの値を格納していると説明した。ここで、視覚処理装置1は、隣接するプロファイルデータの要素と、入力信号ISおよびアンシャープ信号USの下位2ビットの大きさとに基づいて、出力信号OSの値を線形補間する補間部をさらに備えていても良い。
この場合、2次元LUT4に必要なメモリ容量を増やすことなく、より正確な視覚処理を実現することが可能となる。
また、補間部は、視覚処理部3に備えられ、2次元LUT4の格納する値を線形補間した値を出力信号OSとして出力するものであってもよい。
図4に、視覚処理部3の変形例として、補間部501を備える視覚処理部500を示す。視覚処理部500は、入力信号ISおよびアンシャープ信号USと補間前出力信号NSとの関係を与える2次元LUT4と、補間前出力信号NS、入力信号ISおよびアンシャープ信号USを入力とし、出力信号OSを出力する補間部501とを備えている。
2次元LUT4は、8ビットで表現される入力信号ISの輝度値の上位6ビットの値と、8ビットで表現されるアンシャープ信号USの輝度値の上位6ビットの値とについての補間前出力信号NSの値を格納している。補間前出力信号NSの値は、例えば、8ビットの値として格納されている。2次元LUT4は、入力信号ISの8ビット値とアンシャープ信号USの8ビット値とが入力されると、それぞれの値を含む区間に対応する4つの補間前出力信号NSの値を出力する。それぞれの値を含む区間とは、(入力信号ISの上位6ビットの値、アンシャープ信号USの上位6ビットの値)、(入力信号ISの上位6ビットの値を超える最小の6ビットの値、アンシャープ信号USの上位6ビットの値)、(入力信号ISの上位6ビットの値、アンシャープ信号USの上位6ビットの値を超える最小の6ビットの値)、(入力信号ISの上位6ビットの値を超える最小の6ビットの値、アンシャープ信号USの上位6ビットの値を超える最小の6ビットの値)のそれぞれの組み合わせに対して格納されている4つの補間前出力信号NSに囲まれる区間である。
補間部501には、入力信号ISの下位2ビットの値とアンシャープ信号USの下位2ビットの値とが入力され、これらの値を用いて、2次元LUT4が出力した4つの補間前出力信号NSの値が線形補間される。より具体的には、入力信号ISの下位2ビットの値とアンシャープ信号USの下位2ビットの値とを用いて、4つの補間前出力信号NSの値の加重平均を計算し、出力信号OSが出力される。
以上により、2次元LUT4に必要なメモリ容量を増やすことなく、より正確な視覚処理を実現することが可能となる。
なお、補間部501では、入力信号ISあるいはアンシャープ信号USのいずれか一方についてのみ線形補間を行うものでもよい。
(3)
空間処理部2で行われる空間処理では、着目画素についての入力信号ISに対して、着目画素と着目画素の周辺画素との入力信号ISの平均値(単純平均または加重平均)、最大値、最小値、あるいは中央値をアンシャープ信号USとして出力するものであっても良い。また、着目画素の周辺画素のみの平均値、最大値、最小値、あるいは中央値をアンシャープ信号USとして出力するものであってもよい。
(4)
図2では、プロファイルデータの各要素の値Cは、入力信号ISの値Aとアンシャープ信号USの値Bとのそれぞれに対して線形の関数M11に基づいて作成されている。一方、プロファイルデータの各要素の値Cは、入力信号ISの値Aに対して非線形の関数に基づいて作成されていても良い。
この場合、例えば、視覚特性に応じた視覚処理の実現や出力信号OSを出力するコンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなどの画像を取り扱う機器の非線形特性に適切な視覚処理を実現することが可能となる。
また、プロファイルデータの各要素の値Cは、入力信号ISの値Aとアンシャープ信号USの値Bとのそれぞれに対して非線形の関数、すなわち2次元非線形の関数に基づいて作成されていてもよい。
例えば、入力信号ISの値Aだけに基づいて視覚処理を行う場合に(例えば、1次元の階調変換曲線による変換を行う場合など)、画像中の異なる場所で同じ濃度の画素が存在すると、同じ明るさの変換が行われる。より具体的には、画像中の人物の背景の暗い場所を明るくすると、同じ濃度の人物の髪の毛も明るくなる。
一方、2次元非線形の関数に基づいて作成されたプロファイルデータを用いて視覚処理を行う場合、画像中の異なる場所に存在する同じ濃度の画素を、一様に変換するのでなく、周囲情報を含めて明るくしたり、暗くしたりすることができ、画像中の領域毎に最適な明るさの調整ができる。より具体的には、画像中の人物の髪の毛の濃度を変えずに、同じ濃度の背景を明るくすることが可能となる。さらに、線形の関数に基づく視覚処理では処理後の画素値が飽和してしまうような画素領域についても、階調を維持した視覚処理を行うことなどが可能となる。
このようなプロファイルデータの一例を図5に示す。図5に示すプロファイルデータは、視覚処理装置1に、視覚特性にあったコントラスト強調を実現させるためのプロファイルデータである。図5において、プロファイルデータは、64×64のマトリクス形式で表現されており、列方向(縦方向)には8ビットで表現される入力信号ISの輝度値の上位6ビットの値が、行方向(横方向)には8ビットで表現されるアンシャープ信号USの輝度値の上位6ビットの値が示されている。また、2つの輝度値に対する行列の要素として出力信号OSの値が8ビットで示されている。
図5に示すプロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A(例えば、8ビットで表現される入力信号ISの下位2ビットを切り捨てた値)、アンシャープ信号USの値B(例えば、8ビットで表現されるアンシャープ信号USの下位2ビットを切り捨てた値)、変換関数F1、変換関数の逆変換関数F2、強調関数F3を用いて、C=F2(F1(A)+F3(F1(A)−F1(B)))(以下、式M14という)と表される。ここで、変換関数F1は、常用対数関数である。逆変換関数F2は、常用対数関数の逆関数としての指数関数(アンチログ)である。強調関数F3は、図49を用いて説明した強調関数R1〜R3のいずれかの関数である。
このプロファイルデータでは、変換関数F1により対数空間に変換された入力信号ISおよびアンシャープ信号USを用いた視覚処理が実現される。人間の視覚特性は、対数的であり、対数空間に変換して処理を行うことで視覚特性に適した視覚処理が実現される。これにより、視覚処理装置1では、対数空間におけるコントラスト強調が実現される。
なお、入力信号ISの値Aとアンシャープ信号USの値Bとの値の組み合わせによっては、式M14で求められる値Cが負の値となることがある。この場合、入力信号ISの値Aとアンシャープ信号USの値Bとに対応するプロファイルデータの要素は、値0としてもよい。また、入力信号ISの値Aとアンシャープ信号USの値Bとの値の組み合わせによっては、式M14で求められる値Cが飽和してしまうことがある。すなわち、8ビットで表現できる最大値255を超えてしまうことがある。この場合、入力信号ISの値Aとアンシャープ信号USの値Bとに対応するプロファイルデータの要素は、値255としてもよい。図5では、このようにして求めたプロファイルデータの各要素を等高線表示している。
非線形のプロファイルデータについてのさらに詳しい説明は、下記〈プロファイルデータ〉で行う。
(5)
2次元LUT4が備えるプロファイルデータは、入力信号ISの階調補正を実現する階調変換曲線(ガンマ曲線)を複数含んでいるものであってもよい。
それぞれの階調変換曲線は、例えば、異なるガンマ係数を有するガンマ関数など、単調増加関数であり、アンシャープ信号USの値に対して関連付けられている。関連付けは、例えば、小さいアンシャープ信号USの値に対して、大きいガンマ係数を有するガンマ関数が選択されるよう行われている。これにより、アンシャープ信号USは、プロファイルデータが含む階調変換曲線群から少なくとも1つの階調変換曲線を選択するための選択信号としての役割を果たしている。
以上の構成により、アンシャープ信号USの値Bにより選択された階調変換曲線を用いて、入力信号ISの値Aの階調変換が行われる。
なお、上記(2)で説明したのと同様に2次元LUT4の出力を補間することも可能である。
(6)
プロファイルデータ登録装置8は、視覚処理装置1に内蔵あるいは接続され、PC等によりあらかじめ作成された複数のプロファイルデータを格納しており、2次元LUT4の登録内容を変更すると説明した。
ここで、プロファイルデータ登録装置8が格納するプロファイルデータは、視覚処理装置1の外部に設置されるPCにより作成されている。プロファイルデータ登録装置8は、ネットワークを介して、あるいは記録媒体を介して、PCからプロファイルデータを取得する。
プロファイルデータ登録装置8は、格納する複数のプロファイルデータを所定の条件に従って2次元LUT4に登録する。図6〜図8を用いて、詳しく説明する。なお、図1を用いて説明した視覚処理装置1とほぼ同様の機能を有する部分については、同じ符号を付し説明を省略する。
《1》
図6に、入力信号ISの画像を判定し、判定結果に基づいて、2次元LUT4に登録するプロファイルデータを切り替える視覚処理装置520のブロック図を示す。
視覚処理装置520は、図1に示した視覚処理装置1と同様の構造に加え、プロファイルデータ登録装置8と同様の機能を備えるプロファイルデータ登録部521を備えている。さらに、視覚処理装置520は、画像判定部522を備えている。
画像判定部522は、入力信号ISを入力とし、入力信号ISの判定結果SAを出力とする。プロファイルデータ登録部521は、判定結果SAを入力とし、判定結果SAに基づいて選択されたプロファイルデータPDを出力とする。
画像判定部522は、入力信号ISの画像を判定する。画像の判定では、入力信号ISの輝度、明度などの画素値を取得することにより、入力信号ISの明るさが判定される。
プロファイルデータ登録部521は、判定結果SAを取得し、判定結果SAに基づいて、プロファイルデータPDを切り替えて出力する。より具体的には、例えば、入力信号ISが明るいと判定される場合には、ダイナミックレンジを圧縮するプロファイルなどが選択される。これにより、全体的に明るい画像に対してもコントラストを維持することが可能となる。また、出力信号OSを表示する装置の特性を考慮して、適切なダイナミックレンジの出力信号OSが出力されるようなプロファイルが選択される。
以上により、視覚処理装置520では、入力信号ISに応じて、適切な視覚処理を実現することが可能となる。
なお、画像判定部522は、入力信号ISの輝度、明度などの画素値だけでなく、空間周波数などの画像特性を判定するものであってもよい。
この場合、例えば、空間周波数が低い入力信号ISに対して、鮮鋭さを強調する度合いがより高いプロファイルが選択されるなど、より適切な視覚処理を実現することが可能となる。
《2》
図7に、明るさに関する条件を入力するための入力装置からの入力結果に基づいて、2次元LUT4に登録するプロファイルデータを切り替える視覚処理装置525のブロック図を示す。
視覚処理装置525は、図1に示した視覚処理装置1と同様の構造に加え、プロファイルデータ登録装置8と同様の機能を備えるプロファイルデータ登録部526を備えている。さらに、視覚処理装置525は、入力装置527を有線または無線により接続して備えている。より具体的には、入力装置527は、出力信号OSを出力するコンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなど、画像を取り扱う機器自体に備えられる入力ボタンあるいはそれぞれの機器のリモコンなどとして実現される。
入力装置527は、明るさに関する条件を入力するための入力装置であり、例えば、「明るい」「暗い」などのスイッチを備えている。入力装置527は、ユーザの操作により、入力結果SBを出力する。
プロファイルデータ登録部526は、入力結果SBを取得し、入力結果SBに基づいて、プロファイルデータPDを切り替えて出力する。より具体的には、例えば、ユーザが「明るい」と入力した場合には、入力信号ISのダイナミックレンジを圧縮するプロファイルなどを選択し、プロファイルデータPDとして出力する。これにより、出力信号OSを表示する装置が置かれている環境が「明るい」状態にある場合でも、コントラストを維持することが可能となる。
以上により、視覚処理装置525では、入力装置527からの入力に応じて、適切な視覚処理を実現することが可能となる。
なお、明るさに関する条件とは、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど出力信号を出力する媒体周辺の環境光の明るさに関する条件だけでなく、例えば、プリンタ用紙など出力信号を出力する媒体自体の明るさに関する条件であっても良い。また、例えば、スキャナ用紙など入力信号を入力する媒体自体の明るさなどに関する条件であっても良い。
また、これらは、スイッチなどによる入力だけでなく、フォトセンサなどにより自動的に入力されるものであっても良い。
なお、入力装置527は、明るさに関する条件を入力するだけでなく、プロファイルデータ登録部526に対して、直接プロファイルの切り替えを動作させるための装置であってもよい。この場合、入力装置527は、明るさに関する条件以外に、プロファイルデータのリストを表示し、ユーザに選択させるものであっても良い。
これにより、ユーザは、好みに応じた視覚処理を実行することが可能となる。
なお、入力装置527は、ユーザを識別する装置であっても良い。この場合、入力装置527は、ユーザを識別するためのカメラ、あるいは、ユーザ名を入力させるための装置であっても良い。
例えば、入力装置527により、ユーザが子供であると入力された場合には、過度の輝度変化を抑制するプロファイルデータなどが選択される。
これにより、ユーザに応じた視覚処理を実現することが可能となる。
《3》
図8に、2種類の明るさを検出するための明度検出部からの検出結果に基づいて2次元LUT4に登録するプロファイルデータを切り替える視覚処理装置530のブロック図を示す。
視覚処理装置530は、図1に示した視覚処理装置1と同様の構造に加え、プロファイルデータ登録装置8と同様の機能を備えるプロファイルデータ登録部531を備えている。さらに、視覚処理装置530は、明度検出部532を備えている。
明度検出部532は、画像判定部522と、入力装置527とから構成される。画像判定部522および入力装置527は、図6,図7を用いて説明したのと同様である。これにより、明度検出部532は、入力信号ISを入力とし、画像判定部522からの判定結果SAと、入力装置527からの入力結果SBとを検出結果として出力する。
プロファイルデータ登録部531は、判定結果SAと入力結果SBとを入力とし、判定結果SAと入力結果SBとに基づいて、プロファイルデータPDを切り替えて出力する。より具体的には、例えば、環境光が「明るい」状態にあって、さらに入力信号ISも明るいと判定される場合、入力信号ISのダイナミックレンジを圧縮するプロファイルなどを選択し、プロファイルデータPDとして出力する。これにより、出力信号OSを表示する際に、コントラストを維持することが可能となる。
以上により、視覚処理装置530では、適切な視覚処理を実現することが可能となる。
《4》
図6〜図8の視覚処理装置において、それぞれのプロファイルデータ登録部は、視覚処理装置と一体として備えられていなくてもよい。具体的には、プロファイルデータ登録部は、プロファイルデータを複数備えるサーバとして、あるいはそれぞれのプロファイルデータを備える複数のサーバとして、ネットワークを介して視覚処理装置と接続されているものでも良い。ここで、ネットワークとは、例えば、専用回線、公衆回線、インターネット、LANなどの通信が可能な接続手段であり、有線であっても無線であってもよい。またこの場合、判定結果SAや入力結果SBも、同様のネットワークを介して視覚処理装置側からプロファイルデータ登録部側に伝えられる。
(7)
上記実施形態では、プロファイルデータ登録装置8が複数のプロファイルデータを備え、2次元LUT4への登録を切り替えることにより、異なる視覚処理を実現すると説明した。
ここで、視覚処理装置1は、異なる視覚処理を実現するプロファイルデータが登録される複数の2次元LUTを備えるものであってもよい。この場合、視覚処理装置1では、それぞれの2次元LUTへの入力を切り替えることにより、あるいはそれぞれの2次元LUTからの出力を切り替えることにより、異なる視覚処理を実現するものであっても良い。
この場合、2次元LUTのために確保すべき記憶容量は増大するが、視覚処理の切り替えに必要な時間が短縮可能となる。
また、プロファイルデータ登録装置8は、複数のプロファイルデータに基づいて新たなプロファイルデータを生成し、生成されたプロファイルデータを2次元LUT4に登録する装置であっても良い。
これに関し、図9〜図10を用いて説明を加える。
図9は、プロファイルデータ登録装置8の変形例としてのプロファイルデータ登録装置701について主に説明するブロック図である。プロファイルデータ登録装置701は、視覚処理装置1の2次元LUT4に登録されるプロファイルデータを切り替えるための装置である。
プロファイルデータ登録装置701は、複数のプロファイルデータが登録されるプロファイルデータ登録部702と、複数のプロファイルデータに基づいて新たなプロファイルデータを生成するプロファイル作成実行部703と、新たなプロファイルデータを生成するためのパラメータを入力するためのパラメータ入力部706と、各部の制御を行う制御部705とから構成されている。
プロファイルデータ登録部702には、プロファイルデータ登録装置8あるいは図6〜図8に示すそれぞれのプロファイルデータ登録部と同様に複数のプロファイルデータが登録されており、制御部705からの制御信号C10により選択された選択プロファイルデータの読み出しを行う。ここで、プロファイルデータ登録部702からは2つの選択プロファイルデータが読み出されるとし、それぞれを第1の選択プロファイルデータd10および第2の選択プロファイルデータd11とする。
プロファイルデータ登録部702から読み出されるプロファイルデータは、パラメータ入力部706の入力により決定される。例えば、パラメータ入力部706では、所望される視覚処理効果、その処理度合い、処理された画像の視環境に関する情報などがパラメータとして、手動により、あるいはセンサなどから自動により、入力される。制御部705は、パラメータ入力部706により入力されたパラメータから読み出すべきプロファイルデータを制御信号c10により指定するとともに、それぞれのプロファイルデータの合成度の値を制御信号c12により指定する。
プロファイル作成実行部703は、第1の選択プロファイルデータd10および第2の選択プロファイルデータd11から新たなプロファイルデータである生成プロファイルデータd6を作成するプロファイル生成部704を備えている。
プロファイル生成部704は、プロファイルデータ登録部702から第1の選択プロファイルデータd10および第2の選択プロファイルデータd11を取得する。さらに、制御部705からそれぞれの選択プロファイルデータの合成度を指定する制御信号c12を取得する。
さらに、プロファイル生成部704は、第1の選択プロファイルデータd10の値[m]および第2の選択プロファイルデータd11の値[n]に対して、制御信号c12が指定する合成度の値[k]を用いて、値[l]の生成プロファイルデータd6を作成する。ここで、値[l]は、[l]=(1−k)*[m]+k*[n]により計算される。なお、値[k]が0≦k≦1を満たす場合には、第1の選択プロファイルデータd10と第2の選択プロファイルデータd11とは内分され、値[k]がk<0またはk>1を満たす場合には、第1の選択プロファイルデータd10と第2の選択プロファイルデータd11とは外分されることとなる。
2次元LUT4は、プロファイル生成部704が生成する生成プロファイルデータd6を取得し、取得した値を制御部705のカウント信号c11が指定するアドレスに格納する。ここで、生成プロファイルデータd6は、生成プロファイルデータd6を作成するのに用いられたそれぞれの選択プロファイルデータが関連づけられているのと同じ画像信号値に関連づけられる。
以上により、例えば、異なる視覚処理を実現するプロファイルデータに基づいて、さらに異なる視覚処理を実現する新たなプロファイルデータを作成することが可能となる。
図10を用いて、プロファイルデータ登録装置701を備える視覚処理装置において実行される視覚処理プロファイル作成方法について説明する。
制御部705からのカウント信号c10により、プロファイルデータ登録部702のアドレスが一定のカウント周期で指定され、指定されたアドレスに格納されている画像信号値が読み出される(ステップS701)。詳しくは、パラメータ入力部706により入力されたパラメータに応じて、制御部705はカウント信号c10を出力する。カウント信号c10は、プロファイルデータ登録部702において異なる視覚処理を実現する2つのプロファイルデータのアドレスを指定する。これにより、プロファイルデータ登録部702から第1の選択プロファイルデータd10と第2の選択プロファイルデータd11とが読み出される。
プロファイル生成部704は、制御部705から合成度を指定する制御信号c12を取得する(ステップS702)。
プロファイル生成部704は、第1の選択プロファイルデータd10の値[m]および第2の選択プロファイルデータd11の値[n]に対して、制御信号c12が指定する合成度の値[k]を用いて、値[l]の生成プロファイルデータd6を作成する(ステップS703)。ここで、値[l]は、[l]=(1−k)*[m]+k*[n]により計算される。
2次元LUT4に対して生成プロファイルデータd6が書き込まれる(ステップS704)。ここで、書き込み先のアドレスは、2次元LUT4に対して与えられる制御部705からのカウント信号c11により指定される。
制御部705は、選択されたプロファイルデータの全てのデータについての処理が終了したか否かを判断し(ステップ705)、終了するまでステップS701からステップS705の処理を繰り返す。
また、このようにして2次元LUT4に格納された新たなプロファイルデータは、視覚処理を実行するのに用いられる。
《(7)の効果》
プロファイルデータ登録装置701を備える視覚処理装置においては、異なる視覚処理を実現するプロファイルデータに基づいて、さらに異なる視覚処理を実現する新たなプロファイルデータを作成し、視覚処理を行うことが可能となる。すなわち、プロファイルデータ登録部702において、少数のプロファイルデータを備えるだけで、任意の処理度合いの視覚処理を実現することが可能となり、プロファイルデータ登録部702の記憶容量を削減することが可能となる。
なお、プロファイルデータ登録装置701は、図1に示す視覚処理装置1だけでなく、図6〜図8の視覚処理装置において備えられていてもよい。この場合、プロファイルデータ登録部702とプロファイル作成実行部703とが図6〜図8に示すそれぞれのプロファイルデータ登録部521,526,531の代わりに用いられ、パラメータ入力部706と制御部705とが図6の画像判定部522,図7の入力装置527、図8の明度検出部532の代わりに用いられてもよい。
(8)
視覚処理装置は、入力信号ISの明るさを変換する装置であってもよい。図11を用いて、明るさを変換する視覚処理装置901について説明する。
《構成》
視覚処理装置901は、入力信号IS’の明るさを変換する装置であって、入力信号IS’に対して所定の処理を行い処理信号US’を出力する処理部902と、入力信号IS’および処理信号US’を用いて入力信号IS’の変換を行う変換部903とから構成される。
処理部902は、空間処理部2(図1参照)と同様に動作し、入力信号IS’の空間処理を行う。なお、上記〈変形例〉(3)で記載したような空間処理を行うものであってもよい。
変換部903は、視覚処理部3と同様に2次元LUTを備え入力信号IS’(値[x])と処理信号US’(値[z])とに基づいて出力信号OS’(値[y])を出力する。
ここで、変換部903が備える2次元LUTの各要素の値は、明るさの変更度合いに関する関数fk(z)の値に応じて定められたゲインあるいはオフセットに対して、入力信号IS’の値[x]を作用させることにより定められている。以下、明るさの変更度合いに関する関数fk(z)を「変更度関数」と呼ぶ。
2次元LUTの各要素の値(=出力信号OS’の値[y])は、入力信号IS’の値[x]と処理信号US’の値[z]との関数に基づいて定められている。以下、この関数を「変換関数」と呼び、一例としての変換関数(a)〜(d)を示す。また、図12(a)〜(d)に、変更度関数fk(z)を変化させた場合の入力信号IS’と出力信号OS’との関係を示す。
《変換関数(a)について》
変換関数(a)は、[y]=f1(z)*[x]と表される。
ここで、変更度関数f1(z)は、入力信号IS’のゲインとして作用している。このため、変更度関数f1(z)の値により、入力信号IS’のゲインが変化し、出力信号OS’の値[y]が変化する。
図12(a)は、変更度関数f1(z)の値が変化した場合の入力信号IS’と出力信号OS’との関係の変化を示す。
変更度関数f1(z)が大きくなる(f1(z)>1)につれて、出力信号の値[y]は大きくなる。すなわち、変換後の画像は、明るくなる。一方、変更度関数f1(z)が小さくなる(f1(z)<1)につれて、出力信号の値[y]は小さくなる。すなわち、変換後の画像は、暗くなる。
ここで、変更度関数f1(z)は、値[z]の定義域における最小値が値[0]未満とならない関数である。
また、変換関数(a)の演算により、出力信号の値[y]が取りうる値の範囲を超える場合には、取りうる値の範囲にクリップされてもよい。例えば、値[1]を超える場合には、出力信号の値[y]は、値[1]にクリップされてもよいし、値[0]に満たない場合には、出力信号の値[y]は、値[0]にクリップされてもよい。これは、以下の変換関数(b)〜(d)についても同様である。
《変換関数(b)について》
変換関数(b)は、[y]=[x]+f2(z)と表される。
ここで、変更度関数f2(z)は、入力信号IS’のオフセットとして作用している。このため、変更度関数f2(z)の値により、入力信号IS’のオフセットが変化し、出力信号OS’の値[y]が変化する。
図12(b)は、変更度関数f2(z)の値が変化した場合の入力信号IS’と出力信号OS’との関係の変化を示す。
変更度関数f2(z)が大きくなる(f2(z)>0)につれて、出力信号の値[y]は大きくなる。すなわち、変換後の画像は、明るくなる。一方、変更度関数f2(z)が小さくなる(f2(z)<0)につれて、出力信号の値[y]は小さくなる。すなわち、変換後の画像は、暗くなる。
《変換関数(c)について》
変換関数(c)は、[y]=f1(z)*[x]+f2(z)と表される。
ここで、変更度関数f1(z)は、入力信号IS’のゲインとして作用している。さらに、変更度関数f2(z)は、入力信号IS’のオフセットとして作用している。このため、変更度関数f1(z)の値により、入力信号IS’のゲインが変化するとともに、変更度関数f2(z)の値により、入力信号IS’のオフセットが変化し、出力信号OS’の値[y]が変化する。
図12(c)は、変更度関数f1(z)および変更度関数f2(z)の値が変化した場合の入力信号IS’と出力信号OS’との関係の変化を示す。
変更度関数f1(z)および変更度関数f2(z)が大きくなるにつれて、出力信号の値[y]は大きくなる。すなわち、変換後の画像は、明るくなる。一方、変更度関数f1(z)および変更度関数f2(z)が小さくなるにつれて、出力信号の値[y]は小さくなる。すなわち、変換後の画像は、暗くなる。
《変換関数(d)について》
変換関数(d)は、[y]=[x]^(1−f2(z))と表される。
ここで、変更度関数f2(z)は、「べき関数」の「べき」を決定する。このため、変更度関数f2(z)の値により、入力信号IS’が変化し、出力信号OS’の値[y]が変化する。
図12(d)は、変更度関数f2(z)の値が変化した場合の入力信号IS’と出力信号OS’との関係の変化を示す。
変更度関数f2(z)が大きくなる(f2(z)>0)につれて、出力信号の値[y]は大きくなる。すなわち、変換後の画像は、明るくなる。一方、変更度関数f2(z)が小さくなる(f2(z)<0)につれて、出力信号の値[y]は小さくなる。すなわち、変換後の画像は、暗くなる。また、変更度関数f2(z)が値[0]の場合は、入力信号IS’に対する変換は行われないこととなる。
なお、値[x]は、入力信号IS’の値を[0]〜[1]の範囲に正規化した値である。
《効果》
(1)
視覚処理装置901では、以上に示した変換関数(a)〜(d)のいずれかを用いて定められた要素を有する2次元LUTにより、入力信号IS’の視覚処理が行われる。2次元LUTの各要素は、値[x]と値[z]とに対する値[y]を格納している。このため、入力信号IS’と処理信号US’とに基づいて、入力信号IS’の明るさを変換する視角処理が実現される。
(2)
ここで、変更度関数f1(z)と変更度関数f2(z)とがともに単調減少する関数である場合、さらに、逆光補正や白飛びの防止などの効果が得られる。これに関して説明を加える。
図13(a)〜(b)に、単調減少する変更度関数f1(z)およびf2(z)の例を示す。それぞれ3つのグラフ(a1〜a3、b1〜b3)を示しているが、いずれも単調減少する関数の例である。
変更度関数f1(z)は、値[1]をまたぐ値域を有する関数であり、値[z]の定義域に対する最小値が値[0]未満とならない関数である。変更度関数f2(z)は、値[0]をまたぐ値域を有する関数である。
例えば、画像中の暗くて面積の大きい部分では、処理信号US’の値[z]が小さい。小さい値の[z]に対する変更度関数の値は、大きくなる。すなわち、変換関数(a)〜(d)に基づいて作成された2次元LUTを用いると、画像中の暗くて面積の大きい部分は、明るく変換される。よって、例えば、逆光で撮影された画像では、暗くて面積の大きい部分に対して暗部の改善が行われ、視覚的効果が向上する。
また、例えば、画像中の明るくて面積の大きい部分では、処理信号US’の値[z]が大きい。大きい値の[z]に対する変更度関数の値は、小さくなる。すなわち、変換関数(a)〜(d)に基づいて作成された2次元LUTを用いると、画像中の明るくて面積の大きい部分は、暗く変換される。よって、例えば、空などの明るい部分を有する画像では、明るくて面積の大きい部分に対して白飛びの改善が行われ、視覚的効果が向上する。
《変形例》
(1)
上記した変換関数は、一例であり、同様の性質を有する変換であれば、任意の関数であってよい。
(2)
2次元LUTの各要素の値は、厳密に上記した変換関数により定められていなくてもよい。
例えば、上記した変換関数の値が、出力信号OS’として扱うことのできる値の範囲を超える場合には、2次元LUTは、出力信号OS’として扱うことのできる値の範囲にクリップされた値を格納してもよい。
(3)
上記と同様の処理は、2次元LUTを用いずに行われてもよい。例えば、変換部903は、入力信号IS’と処理信号US’とに対して、変換関数(a)〜(d)を演算することにより出力信号OS’を出力してもよい。
(9)
視覚処理装置は、複数の空間処理部を備え、空間処理の程度の異なる複数のアンシャープ信号を用いて視覚処理を行うものであってもよい。
《構成》
図14に、視覚処理装置905の構成を示す。視覚処理装置905は、入力信号IS”の視覚処理を行う装置であって、入力信号IS”に対して第1の所定の処理を行い第1処理信号U1を出力する第1処理部906aと、入力信号IS”に対して第2の所定の処理を行い第2処理信号U2を出力する第2処理部906bと、入力信号IS”と第1処理信号U1と第2処理信号U2とを用いて入力信号IS”の変換を行う変換部908とから構成される。
第1処理部906aおよび第2処理部906bは、空間処理部2(図1参照)と同様に動作し、入力信号IS”の空間処理を行う。なお、上記〈変形例〉(3)で記載したような空間処理を行うものであってもよい。
ここで、第1処理部906aと第2処理部906bとは、空間処理において用いる周辺画素の領域の大きさが異なっている。
具体的には、第1処理部906aでは、着目画素を中心として縦30画素、横30画素の領域に含まれる周辺画素を用いる(小さいアンシャープ信号)のに対して、第2処理部906bでは、着目画素を中心として縦90画素、横90画素の領域に含まれる周辺画素を用いる(大きいアンシャープ信号)。なお、ここで記載した周辺画素の領域は、あくまで一例であり、これに限定されるわけではない。視覚処理効果を十分に発揮するためには、かなり広い領域からアンシャープ信号を生成することが好ましい。
変換部908は、LUTを備え、入力信号IS”(値[x])と第1処理信号U1(値[z1])と第2処理信号U2(値[z2])とに基づいて出力信号OS”(値[y])を出力する。
ここで、変換部903が備えるLUTは、入力信号IS”の値[x]と第1処理信号U1の値[z1]と第2処理信号U2の値[z2]とに対する出力信号OS”の値[y]を格納する3次元LUTである。この3次元LUTの各要素の値(=出力信号OS”の値[y])は、入力信号IS’の値[x]と第1処理信号U1の値[z1]と第2処理信号U2の値[z2]との関数に基づいて定められている。
この3次元LUTは、上記実施形態および下記実施形態で記載する処理を実現可能であるが、ここでは、3次元LUTが《入力信号IS”の明るさを変換する場合》と、《入力信号IS”を強調変換する場合》とについて説明を加える。
《入力信号IS”の明るさを変換する場合》
変換部908は、第1処理信号U1の値[z1]が小さければ、入力信号IS”を明るくするように変換を行う。ただし、第2処理信号U2の値[z2]も小さければ、明るくする度合いを抑制する。
このような変換の一例として、変換部903が備える3次元LUTの各要素の値は、次の変換関数(e)または(f)に基づいて定められている。
(変換関数(e)について)
変換関数(e)は、[y]=[f11(z1)/f12(z2)]*[x]と表される。
ここで、変更度関数f11(z1),f12(z2)は、上記〈変形例〉(8)で記載した変更度関数f1(z)と同様の関数である。また、変更度関数f11(z1)と変更度関数f12(z2)とは、異なる関数となっている。
これにより、[f11(z1)/f12(z2)]は、入力信号IS”のゲインとして作用し、第1処理信号U1の値と第2処理信号U2の値とにより、入力信号IS”のゲインが変化し、出力信号OS”の値[y]が変化する。
(変換関数(f)について)
変換関数(f)は、[y]=[x]+f21(z1)−f22(z2)と表される。
ここで、変更度関数f21(z1),f22(z2)は、上記〈変形例〉(8)で記載した変更度関数f2(z)と同様の関数である。また、変更度関数f21(z1)と変更度関数f22(z2)とは、異なる関数となっている。
これにより、[f21(z1)−f22(z2)]は、入力信号IS”のオフセットとして作用し、第1処理信号U1の値と第2処理信号U2の値とにより、入力信号IS”のオフセットが変化し、出力信号OS”の値[y]が変化する。
(効果)
このような変換関数(e)〜(f)を用いた変換により、例えば、逆光部分の小さい領域の暗部を明るくしつつ、夜景の画像の大きい領域の暗部を明るくしすぎないなどといった効果を実現することが可能となる。
(変形例)
なお、変換部908における処理は、3次元LUTを用いた処理に限定されず、変換関数(e)や(f)などと同様の演算を行うものであってもよい。
また、3次元LUTの各要素は厳密に変換関数(e)や(f)に基づいて定められていなくてもよい。
《入力信号IS”を強調変換する場合》
変換部908における変換が、入力信号IS”を強調する変換である場合、複数の周波数成分を独立して強調することが可能となる。
例えば、第1処理信号U1をより強調する変換であれば、周波数の比較的高い濃淡部分の強調を行うことが可能となるし、第2処理信号U2をより強調する変換であれば、周波数の低い濃淡部分の強調を行うことが可能となる。
〈プロファイルデータ〉
視覚処理装置1は、上記で説明した以外にも、様々な視覚処理を実現するプロファイルデータを備えることが可能である。以下、様々な視覚処理を実現する第1〜第7プロファールデータについて、プロファイルデータを特徴づける式と、そのプロファイルデータを備える視覚処理装置1と等価な視覚処理を実現する視覚処理装置の構成とを示す。
それぞれのプロファイルデータは、入力信号ISとアンシャープ信号USとから算出された値を強調する演算を含む数式に基づいて定められている。ここで、強調する演算とは、例えば、非線形の強調関数による演算である。
これにより、それぞれのプロファイルデータでは、入力信号ISの視覚特性にあった強調、あるいは出力信号OSを出力する機器の非線形特性にあった強調を実現することなどが可能となる。
(1)
《第1プロファイルデータ》
第1プロファイルデータは、入力信号ISとアンシャープ信号USとに対して所定の変換を行ったそれぞれの変換値の差を強調する関数を含む演算に基づいて定められている。これにより、入力信号ISとアンシャープ信号USとを別空間に変換した上でそれぞれの差を強調することが可能となる。これにより、例えば、視覚特性にあった強調などを実現することが可能となる。
以下、具体的に説明する。
第1プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、変換関数F1、変換関数の逆変換関数F2、強調関数F3を用いて、C=F2(F1(A)+F3(F1(A)−F1(B)))(以下、式M1という)と表される。
ここで、変換関数F1は、常用対数関数である。逆変換関数F2は、常用対数関数の逆関数としての指数関数(アンチログ)である。強調関数F3は、図49を用いて説明した強調関数R1〜R3のいずれかの関数である。
《等価な視覚処理装置11》
図15に、第1プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置11を示す。
視覚処理装置11は、入力信号ISとアンシャープ信号USとに対して所定の変換を行ったそれぞれの変換値の差を強調する演算に基づいて出力信号OSを出力する装置である。これにより、入力信号ISとアンシャープ信号USとを別空間に変換した上でそれぞれの差を強調することが可能となり、例えば、視覚特性にあった強調などを実現することが可能となる。
図15に示す視覚処理装置11は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部12と、入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部13とを備えている。
空間処理部12は、視覚処理装置1が備える空間処理部2と同様の動作を行うため、説明を省略する。
視覚処理部13は、入力信号ISとアンシャープ信号USとの信号空間の変換を行い、変換入力信号TISと変換アンシャープ信号TUSとを出力する信号空間変換部14と、変換入力信号TISを第1の入力、変換アンシャープ信号TUSを第2の入力とし、それぞれの差分である差分信号DSを出力する減算部17と、差分信号DSを入力とし強調処理された強調処理信号TSを出力する強調処理部18と、変換入力信号TISを第1の入力、強調処理信号TSを第2の入力とし、それぞれを加算した加算信号PSを出力する加算部19と、加算信号PSを入力とし出力信号OSを出力する逆変換部20とを備えている。
信号空間変換部14は、入力信号ISを入力とし変換入力信号TISを出力とする第1変換部15と、アンシャープ信号USを入力とし変換アンシャープ信号TUSを出力とする第2変換部16とをさらに有している。
《等価な視覚処理装置11の作用》
視覚処理部13の動作についてさらに説明を加える。
第1変換部15は、変換関数F1を用いて、値Aの入力信号を値F1(A)の変換入力信号TISに変換する。第2変換部16は、変換関数F1を用いて、値Bのアンシャープ信号USを値F1(B)の変換アンシャープ信号TUSに変換する。減算部17は、値F1(A)の変換入力信号TISと、値F1(B)の変換アンシャープ信号TUSとの差分を計算し、値F1(A)−F1(B)の差分信号DSを出力する。強調処理部18は、強調関数F3を用いて、値F1(A)−F1(B)の差分信号DSから値F3(F1(A)−F1(B))の強調処理信号TSを出力する。加算部19は、値F1(A)の変換入力信号TISと、値F3(F1(A)−F1(B))の強調処理信号TSとを加算し、値F1(A)+F3(F1(A)−F1(B))の加算信号PSを出力する。逆変換部20は、逆変換関数F2を用いて、値F1(A)+F3(F1(A)−F1(B))の加算信号PSを逆変換し、値F2(F1(A)+F3(F1(A)−F1(B)))の出力信号OSを出力する。
なお、変換関数F1、逆変換関数F2、強調関数F3を用いた計算は、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《効果》
第1プロファイルデータを備える視覚処理装置1と視覚処理装置11とは、同様の視覚処理効果を奏する。
(i)
変換関数F1により対数空間に変換された変換入力信号TISおよび変換アンシャープ信号TUSを用いた視覚処理が実現される。人間の視覚特性は、対数的であり、対数空間に変換して処理を行うことで視覚特性に適した視覚処理が実現される。
(ii)
それぞれの視覚処理装置では、対数空間におけるコントラスト強調が実現される。
図48に示す従来の視覚処理装置400は、一般的にボケ具合が小さいアンシャープ信号USを用いて輪郭(エッジ)強調を行うために用いられる。しかし、視覚処理装置400は、ボケ具合の大きいアンシャープ信号USを用いてコントラスト強調する場合には、原画像の明部には強調不足、暗部には強調過多になり、視覚特性に適さない視覚処理となる。すなわち、明るくする方向への補正は強調不足、暗くする方向への補正は強調過多となる傾向にある。
一方、視覚処理装置1または視覚処理装置11を用いて視覚処理を行った場合には、暗部から明部まで視覚特性に適した視覚処理を行うことが可能であり、明るくする方向の強調と暗くする方向の強調とをバランス良く行うことが可能である。
(iii)
従来の視覚処理装置400では、視覚処理後の出力信号OSが負になり破綻する場合がある。
一方、式M1で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値を0又は255としておくことにより、補正後の画素信号が負になり破綻することや、飽和して破綻することが防止可能となる。このことは、プロファイルデータの要素を表現するためのビット長にかかわらず実現される。
《変形例》
(i)
変換関数F1は、対数関数に限られない。例えば、変換関数F1を、入力信号ISにかけられているガンマ補正(例えば、ガンマ係数[0.45])を外す変換とし、逆変換関数F2を入力信号ISに掛けられていたガンマ補正をかける変換としてもよい。
これにより、入力信号ISにかけられてるガンマ補正を外し、線形特性のもとで処理を行うことが可能となる。このため、光学的なボケの補正を行うことが可能となる。
(ii)
視覚処理装置11では、視覚処理部13は、入力信号ISとアンシャープ信号USとに基づいて、2次元LUT4を用いずに上記式M1を演算するもので有っても良い。この場合、それぞれの関数F1〜F3の計算においては、1次元のLUTを用いても良い。
(2)
《第2プロファイルデータ》
第2プロファイルデータは、入力信号ISとアンシャープ信号USとの比を強調する関数を含む演算に基づいて定められている。これにより、例えば、シャープ成分を強調する視覚処理などを実現することが可能となる。
さらに、第2プロファイルデータは、強調された入力信号ISとアンシャープ信号USとの比に対してダイナミックレンジ圧縮を行う演算に基づいて定められている。これにより、例えば、シャープ成分を強調しつつ、ダイナミックレンジの圧縮を行う視覚処理などを実現することが可能となる。
以下、具体的に説明する。
第2プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、ダイナミックレンジ圧縮関数F4、強調関数F5を用いて、C=F4(A)*F5(A/B)(以下、式M2という)と表される。
ここで、ダイナミックレンジ圧縮関数F4は、例えば、上に凸のべき関数などの単調増加関数である。例えば、F4(x)=x^γ(0<γ<1)と表される。強調関数F5は、べき関数である。例えば、F5(x)=x^α(0<α≦1)と表される。
《等価な視覚処理装置21》
図16に、第2プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置21を示す。
視覚処理装置21は、入力信号ISとアンシャープ信号USとの比を強調する演算に基づいて出力信号OSを出力する装置である。これにより、例えば、シャープ成分を強調する視覚処理などを実現することが可能となる。
さらに、視覚処理装置21は、強調された入力信号ISとアンシャープ信号USとの比に対してダイナミックレンジ圧縮を行う演算に基づいて出力信号OSを出力する。これにより、例えば、シャープ成分を強調しつつ、ダイナミックレンジの圧縮を行う視覚処理などを実現することが可能となる。
図16に示す視覚処理装置21は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部22と、入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部23とを備えている。
空間処理部22は、視覚処理装置1が備える空間処理部2と同様の動作を行うため、説明を省略する。
視覚処理部23は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、入力信号ISをアンシャープ信号USで除算した除算信号RSを出力する除算部25と、除算信号RSを入力とし、強調処理信号TSを出力とする強調処理部26と、入力信号ISを第1の入力、強調処理信号TSを第2の入力とし、出力信号OSを出力する出力処理部27とを備えている。出力処理部27は、入力信号ISを入力とし、ダイナミックレンジ(DR)圧縮されたDR圧縮信号DRSを出力するDR圧縮部28と、DR圧縮信号DRSを第1の入力、強調処理信号TSを第2の入力とし、出力信号OSを出力する乗算部29とを備えている。
《等価な視覚処理装置21の作用》
視覚処理部23の動作についてさらに説明を加える。
除算部25は、値Aの入力信号ISを値Bのアンシャープ信号USで除算し、値A/Bの除算信号RSを出力する。強調処理部26は、強調関数F5を用いて、値A/Bの除算信号RSから値F5(A/B)の強調処理信号TSを出力する。DR圧縮部28は、ダイナミックレンジ圧縮関数F4を用いて、値Aの入力信号ISから値F4(A)のDR圧縮信号DRSを出力する。乗算部29は、値F4(A)のDR圧縮信号DRSと値F5(A/B)の強調処理信号TSとを乗算し、値F4(A)*F5(A/B)の出力信号OSを出力する。
なお、ダイナミックレンジ圧縮関数F4、強調関数F5を用いた計算は、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《効果》
第2プロファイルデータを備える視覚処理装置1と視覚処理装置21とは、同様の視覚処理効果を奏する。
(i)
従来では、画像全体のダイナミックレンジを圧縮する場合、図17に示すダイナミックレンジ圧縮関数F4を用いて、暗部からハイライトまで飽和させずに階調レベルを圧縮する。すなわち、圧縮前の画像信号における再現目標の黒レベルをL0、最大の白レベルをL1とすると、圧縮前のダイナミックレンジL1:L0は、圧縮後のダイナミックレンジQ1:Q0に圧縮される。しかし、画像信号レベルの比であるコントラストは、ダイナミックレンジの圧縮により、(Q1/Q0)*(L0/L1)倍に下がることとなる。ここで、ダイナミックレンジ圧縮関数F4は、上に凸のべき関数などである。
一方、第2プロファイルデータを備える視覚処理装置1および視覚処理装置21では、値A/Bの除算信号RS、すなわちシャープ信号を強調関数F5で強調処理し、DR圧縮信号DRSに乗じている。このため、局所的なコントラストを強調することになる。ここで、強調関数F5は、図18に示すようなべき関数であり(F5(x)=x^α)、除算信号RSの値が1より大きいときに明るい方に強調を行い、1より小さいときに暗い方向に強調を行う。
一般に、人間の視覚は、局所コントラストを維持すれば、全体的なコントラストが低下していても同じコントラストに見える性質がある。これにより、第2プロファイルデータを備える視覚処理装置1および視覚処理装置21では、ダイナミックレンジの圧縮を行いつつ、視覚的にはコントラストを低下させない視覚処理を実現することが可能となる。
(ii)
さらに具体的に本発明の効果を説明する。
ダイナミックレンジ圧縮関数F4は、F4(x)=x^γ(例えば、γ=0.6とする)であるとする。また、強調関数F5は、F5(x)=x^α(例えば、α=0.4とする)であるとする。また、入力信号ISの最大の白レベルを値1に正規化した場合の再現目標の黒レベルが値1/300であるとする。すなわち、入力信号ISのダイナミックレンジが300:1であるとする。
ダイナミックレンジ圧縮関数F4を用いて、この入力信号ISのダイナミックレンジ圧縮した場合、圧縮後のダイナミックレンジは、F4(1):F4(1/300)=30:1となる。すなわち、ダイナミックレンジ圧縮関数F4により、ダイナミックレンジは1/10に圧縮されることとなる。
一方、出力信号OSの値Cは、上記式M2で表され、C=(A^0.6)*{(A/B)^0.4}、すなわちC=A/(B^0.4)である。ここで、局所的な範囲では、Bの値は一定と見なせるため、CはAに比例する。すなわち、値Cの変化量と値Aの変化量との比は1となり、入力信号ISと出力信号OSとにおいて局所的なコントラストは変化しないこととなる。
上記同様、人間の視覚は、局所コントラストを維持すれば、全体的なコントラストが低下していても同じコントラストに見える性質がある。これにより、第2プロファイルデータを備える視覚処理装置1および視覚処理装置21では、ダイナミックレンジの圧縮を行いつつ、視覚的にはコントラストを低下させない視覚処理を実現することが可能となる。
なお、図18に示す強調関数F5のべき乗数αを0.4より大きくすれば、ダイナミックレンジの圧縮を行いつつ、入力信号ISよりも出力信号OSの見かけのコントラストを上げることも可能である。
(iii)
本発明では、以上の効果を実現できるため、次の状況において特に有効である。すなわち、物理的なダイナミックレンジの狭いディスプレイで、暗部も明部もつぶれずにコントラストの高い画像を再現することが可能となる。また例えば、明るい環境下のテレビプロジェクタでコントラストの高い映像を表示する、濃度の低いインク(薄い色しかでないプリンタ)でコントラストの高いプリントを得ることが可能となる。
《変形例》
(i)
視覚処理装置21では、視覚処理部23は、入力信号ISとアンシャープ信号USとに基づいて、2次元LUT4を用いずに上記式M2を演算するもので有っても良い。この場合、それぞれの関数F4,F5の計算においては、1次元のLUTを用いても良い。
(ii)
なお、式M2で求められるプロファイルデータのある要素の値CがC>255となる場合には、その要素の値Cを255としてもよい。
(3)
《第3プロファイルデータ》
第3プロファイルデータは、入力信号ISとアンシャープ信号USとの比を強調する関数を含む演算に基づいて定められている。これにより、例えば、シャープ成分を強調する視覚処理などを実現することが可能となる。
以下、具体的に説明する。
上記第2プロファイルデータの式M2において、ダイナミックレンジ圧縮関数F4は、比例係数1の正比例関数であってもよい。この場合、第3プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、強調関数F5を用いて、C=A*F5(A/B)(以下、式M3という)と表される。
《等価な視覚処理装置31》
図19に、第3プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置31を示す。
視覚処理装置31は、入力信号ISとアンシャープ信号USとの比を強調する演算に基づいて出力信号OSを出力する装置である。これにより、例えば、シャープ成分を強調する視覚処理などを実現することが可能となる。
図19に示す視覚処理装置31は、DR圧縮部28を備えない点において図16に示す視覚処理装置21と相違している。以下、図19に示す視覚処理装置31において、図16に示す視覚処理装置21と同様の動作を行う部分については、同じ符号を付し、詳しい説明を省略する。
視覚処理装置31は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部22と、入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部32とを備えている。
空間処理部22は、視覚処理装置1が備える空間処理部2と同様の動作を行うため、説明を省略する。
視覚処理部32は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、入力信号ISをアンシャープ信号USで除算した除算信号RSを出力する除算部25と、除算信号RSを入力とし、強調処理信号TSを出力とする強調処理部26と、入力信号ISを第1の入力、強調処理信号TSを第2の入力とし、出力信号OSを出力する乗算部33とを備えている。
《等価な視覚処理装置31の作用》
視覚処理部32の動作についてさらに説明を加える。
除算部25および強調処理部26は、図16に示す視覚処理装置21について説明したのと同様の動作を行う。
乗算部33は、値Aの入力信号ISと値F5(A/B)の強調処理信号TSとを乗算し、値A*F5(A/B)の出力信号OSを出力する。ここで、強調関数F5は、図18に示したものと同様である。
なお、強調関数F5を用いた計算は、図16に示す視覚処理装置21について説明したのと同様に、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《効果》
第3プロファイルデータを備える視覚処理装置1と視覚処理装置31とは、同様の視覚処理効果を奏する。
(i)
強調処理部26では、入力信号ISとアンシャープ信号USとの比として表されるシャープ信号(除算信号RS)の強調処理が行われ、強調されたシャープ信号が入力信号ISに乗算される。入力信号ISとアンシャープ信号USとの比として表されるシャープ信号を強調処理することは、対数空間における入力信号ISとアンシャープ信号USとの差分を計算することに相当する。すなわち、対数的な人間の視覚特性に適した視覚処理が実現される。
(ii)
強調関数F5による強調量は、入力信号ISが大きい場合(明るい場合)に大きくなり、小さい場合(暗い場合)に小さくなる。また、明るくする方向への強調量は、暗くする方向への強調量より大きくなる。このため、視覚特性に適した視覚処理が実現可能となり、バランス良く自然な視覚処理が実現される。
(iii)
なお、式M3で求められるプロファイルデータのある要素の値CがC>255となる場合には、その要素の値Cを255としてもよい。
(iv)
式M3を用いた処理では、入力信号ISに対するダイナミックレンジの圧縮は施されないが、局所的なコントラストを強調することができ、視覚的にダイナミックレンジの圧縮・伸張を行うことが可能となる。
(4)
《第4プロファイルデータ》
第4プロファイルデータは、入力信号ISとアンシャープ信号USとの差を入力信号ISの値に応じて強調する関数を含む演算に基づいて定められている。これにより、例えば、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調することが可能となる。このため、入力信号ISの暗部から明部まで適切な強調を行うことが可能となる。
さらに、第4プロファイルデータは、強調された値に対して、入力信号ISをダイナミックレンジ圧縮した値を加える演算に基づいて定められている。これにより、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調しつつ、ダイナミックレンジの圧縮を行うことが可能となる。
以下、具体的に説明する。
第4プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、強調量調整関数F6、強調関数F7、ダイナミックレンジ圧縮関数F8を用いて、C=F8(A)+F6(A)*F7(A−B)(以下、式M4という)と表される。
ここで、強調量調整関数F6は、入力信号ISの値に対して単調増加する関数である。すなわち、入力信号ISの値Aが小さい時は、強調量調整関数F6の値も小さく、入力信号ISの値Aが大きい時は、強調量調整関数F6の値も大きくなる。強調関数F7は、図49を用いて説明した強調関数R1〜R3のいずれかの関数である。ダイナミックレンジ圧縮関数F8は、図17を用いて説明したべき関数であり、F8(x)=x^γ(0<γ<1)と表される。
《等価な視覚処理装置41》
図20に、第4プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置41を示す。
視覚処理装置41は、入力信号ISとアンシャープ信号USとの差を入力信号ISの値に応じて強調する演算に基づいて出力信号OSを出力する装置である。これにより、例えば、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調することが可能となる。このため、入力信号ISの暗部から明部まで適切な強調を行うことが可能となる。
さらに、視覚処理装置41は、強調された値に対して、入力信号ISをダイナミックレンジ圧縮した値を加える演算に基づいて出力信号OSを出力する。これにより、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調しつつ、ダイナミックレンジの圧縮を行うことが可能となる。
図20に示す視覚処理装置41は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部42と、入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部43とを備えている。
空間処理部42は、視覚処理装置1が備える空間処理部2と同様の動作を行うため、説明を省略する。
視覚処理部43は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、それぞれの差分である差分信号DSを出力する減算部44と、差分信号DSを入力とし、強調処理信号TSを出力する強調処理部45と、入力信号ISを入力とし、強調量調整信号ICを出力する強調量調整部46と、強調量調整信号ICを第1の入力、強調処理信号TSを第2の入力とし、強調量調整信号ICと強調処理信号TSとを乗算した乗算信号MSを出力する乗算部47と、入力信号ISを第1の入力、乗算信号MSを第2の入力とし、出力信号OSを出力する出力処理部48とを備えている。出力処理部48は、入力信号ISを入力とし、ダイナミックレンジ(DR)圧縮されたDR圧縮信号DRSを出力するDR圧縮部49と、DR圧縮信号DRSを第1の入力、乗算信号MSを第2の入力とし、出力信号OSを出力する加算部50とを備えている。
《等価な視覚処理装置41の作用》
視覚処理部43の動作についてさらに説明を加える。
減算部44は、値Aの入力信号ISと値Bのアンシャープ信号USとの差分を計算し、値A−Bの差分信号DSを出力する。強調処理部45は、強調関数F7を用いて、値A−Bの差分信号DSから値F7(A−B)の強調処理信号TSを出力する。強調量調整部46は、強調量調整関数F6を用いて、値Aの入力信号ISから値F6(A)の強調量調整信号ICを出力する。乗算部47は、値F6(A)の強調量調整信号ICと値F7(A−B)の強調処理信号TSとを乗算し、値F6(A)*F7(A−B)の乗算信号MSを出力する。DR圧縮部49は、ダイナミックレンジ圧縮関数F8を用いて、値Aの入力信号ISから値F8(A)のDR圧縮信号DRSを出力する。加算部50は、DR圧縮信号DRSと、値F6(A)*F7(A−B)の乗算信号MSとを加算し、値F8(A)+F6(A)*F7(A−B)の出力信号OSを出力する。
なお、強調量調整関数F6、強調関数F7、ダイナミックレンジ圧縮関数F8を用いた計算は、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《効果》
第4プロファイルデータを備える視覚処理装置1と視覚処理装置41とは、同様の視覚処理効果を奏する。
(i)
入力信号ISの値Aにより、差分信号DSの強調量の調整を行う。このため、ダイナミックレンジ圧縮を行いつつ、暗部から明部までの局所コントラストを維持することが可能となる。
(ii)
強調量調整関数F6は、単調増加する関数であるが、入力信号ISの値Aが大きいほど、関数の値の増加量が減少する関数とすることができる。この場合、出力信号OSの値が飽和することが防止される。
(iii)
強調関数F7を、図49を用いて説明した強調関数R2とする場合、差分信号DSの絶対値が大きい時の強調量を抑制することが可能となる。このため、鮮鋭度の高い部分での強調量が飽和することが防止され、視覚的にも自然な視覚処理を実行することが可能となる。
《変形例》
(i)
視覚処理装置41では、視覚処理部43は、入力信号ISとアンシャープ信号USとに基づいて、2次元LUT4を用いずに上記式M4を演算するもので有っても良い。この場合、それぞれの関数F6〜F8の計算においては、1次元のLUTを用いても良い。
(ii)
強調関数F7を比例係数1の正比例関数とする場合には、強調処理部45は、特に設ける必要がない。
(iii)
なお、式M4で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値Cを0又は255としてもよい。
(5)
《第5プロファイルデータ》
第5プロファイルデータは、入力信号ISとアンシャープ信号USとの差を入力信号ISの値に応じて強調する関数を含む演算に基づいて定められている。これにより、例えば、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調することが可能となる。このため、入力信号ISの暗部から明部まで適切な強調を行うことが可能となる。
以下、具体的に説明する。
上記第4プロファイルデータの式M4において、ダイナミックレンジ圧縮関数F8は、比例係数1の正比例関数であってもよい。この場合、第5プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、強調量調整関数F6、強調関数F7を用いて、C=A+F6(A)*F7(A−B)(以下、式M5という)と表される。
《等価な視覚処理装置51》
図21に、第5プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置51を示す。
視覚処理装置51は、入力信号ISとアンシャープ信号USとの差を入力信号ISの値に応じて強調する演算に基づいて出力信号OSを出力する装置である。これにより、例えば、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調することが可能となる。このため、入力信号ISの暗部から明部まで適切な強調を行うことが可能となる。
図21に示す視覚処理装置51は、DR圧縮部49を備えない点において図20に示す視覚処理装置41と相違している。以下、図21に示す視覚処理装置51において、図20に示す視覚処理装置41と同様の動作を行う部分については、同じ符号を付し、詳しい説明を省略する。
視覚処理装置51は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部42と、入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部52とを備えている。
空間処理部42は、視覚処理装置1が備える空間処理部2と同様の動作を行うため、説明を省略する。
視覚処理部52は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、それぞれの差分である差分信号DSを出力する減算部44と、差分信号DSを入力とし、強調処理信号TSを出力する強調処理部45と、入力信号ISを入力とし、強調量調整信号ICを出力する強調量調整部46と、強調量調整信号ICを第1の入力、強調処理信号TSを第2の入力とし、強調量調整信号ICと強調処理信号TSとを乗算した乗算信号MSを出力する乗算部47と、入力信号ISを第1の入力、乗算信号MSを第2の入力とし、出力信号OSを出力する加算部53とを備えている。
《等価な視覚処理装置51の作用》
視覚処理部52の動作についてさらに説明を加える。
減算部44、強調処理部45、強調量調整部46および乗算部47は、図20に示す視覚処理装置41について説明したのと同様の動作を行う。
加算部53は、値Aの入力信号ISと、値F6(A)*F7(A−B)の乗算信号MSとを加算し、値A+F6(A)*F7(A−B)の出力信号OSを出力する。
なお、強調量調整関数F6、強調関数F7を用いた計算は、図20に示す視覚処理装置41について説明したのと同様に、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《効果》
第5プロファイルデータを備える視覚処理装置1と視覚処理装置51とは、同様の視覚処理効果を奏する。また、第4プロファイルデータを備える視覚処理装置1および視覚処理装置41が奏する効果と、ほぼ同様の視覚処理効果を奏する。
(i)
入力信号ISの値Aにより、差分信号DSの強調量の調整を行う。このため、暗部から明部までのコントラストの強調量を均一にすることが可能となる。
《変形例》
(i)
強調関数F7を比例係数1の正比例関数とする場合には、強調処理部45は、特に設ける必要がない。
(ii)
なお、式M5で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値Cを0又は255としてもよい。
(6)
《第6プロファイルデータ》
第6プロファイルデータは、入力信号ISとアンシャープ信号USとの差を強調した値に対して、入力信号ISの値を加えた値を階調補正する演算に基づいて定められている。これにより、例えば、シャープ成分が強調された入力信号ISに対して、階調補正を行う視覚処理を実現することが可能となる。
以下、具体的に説明する。
第6プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、強調関数F9、階調補正関数F10を用いて、C=F10(A+F9(A−B))(以下、式M6という)と表される。
ここで、強調関数F9は、図49を用いて説明した強調関数R1〜R3のいずれかの関数である。階調補正関数F10は、例えば、ガンマ補正関数、S字型の階調補正関数、逆S字型の階調補正関数など、通常の階調補正で用いられる関数である。
《等価な視覚処理装置61》
図22に、第6プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置61を示す。
視覚処理装置61は、入力信号ISとアンシャープ信号USとの差を強調した値に対して、入力信号ISの値を加えた値を階調補正する演算に基づいて、出力信号OSを出力する装置である。これにより、例えば、シャープ成分が強調された入力信号ISに対して、階調補正を行う視覚処理を実現することが可能となる。
図22に示す視覚処理装置61は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部62と、入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部63とを備えている。
空間処理部62は、視覚処理装置1が備える空間処理部2と同様の動作を行うため、説明を省略する。
視覚処理部63は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、それぞれの差分である差分信号DSを出力する減算部64と、差分信号DSを入力とし強調処理された強調処理信号TSを出力する強調処理部65と、入力信号ISを第1の入力、強調処理信号TSを第2の入力とし、それぞれを加算した加算信号PSを出力する加算部66と、加算信号PSを入力とし出力信号OSを出力する階調補正部67とを備えている。
《等価な視覚処理装置61の作用》
視覚処理部63の動作についてさらに説明を加える。
減算部64は、値Aの入力信号ISと、値Bのアンシャープ信号USとの差分を計算し、値A−Bの差分信号DSを出力する。強調処理部65は、強調関数F9を用いて、値A−Bの差分信号DSから値F9(A−B)の強調処理信号TSを出力する。加算部66は、値Aの入力信号ISと、値F9(A−B)の強調処理信号TSとを加算し、値A+F9(A−B)の加算信号PSを出力する。階調補正部67は、階調補正関数F10を用いて、値A+F9(A−B)の加算信号PSから、値F10(A+F9(A−B))の出力信号OSを出力する。
なお、強調関数F9、階調補正関数F10を用いた計算は、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《効果》
第6プロファイルデータを備える視覚処理装置1と視覚処理装置61とは、同様の視覚処理効果を奏する。
(i)
差分信号DSは、強調関数F9により強調処理され、入力信号ISに加算される。このため、入力信号ISのコントラストを強調することが可能となる。さらに、階調補正部67は、加算信号PSの階調補正処理を実行する。このため、例えば、原画像における出現頻度の高い中間調でさらにコントラストを強調することが可能となる。また、例えば、加算信号PS全体を明るくすることが可能となる。以上により、空間処理と階調処理とを同時に組み合わせて実現することが可能となる。
《変形例》
(i)
視覚処理装置61では、視覚処理部63は、入力信号ISとアンシャープ信号USとに基づいて、2次元LUT4を用いずに上記式M6を演算するもので有っても良い。この場合、それぞれの関数F9,F10の計算においては、1次元のLUTを用いても良い。
(ii)
なお、式M6で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値Cを0又は255としてもよい。
(7)
《第7プロファイルデータ》
第7プロファイルデータは、入力信号ISとアンシャープ信号USとの差を強調した値に対して、入力信号ISを階調補正した値を加える演算に基づいて定められている。ここで、シャープ成分の強調と入力信号ISの階調補正とは独立して行われる。このため、入力信号ISの階調補正量にかかわらず、一定のシャープ成分の強調を行うことが可能となる。
以下、具体的に説明する。
第7プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、強調関数F11、階調補正関数F12に対して、C=F12(A)+F11(A−B)(以下、式M7という)と表される。
ここで、強調関数F11は、図49を用いて説明した強調関数R1〜R3のいずれかの関数である。階調補正関数F12は、例えば、ガンマ補正関数、S字型の階調補正関数、逆S字型の階調補正関数などである。
《等価な視覚処理装置71》
図23に、第7プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置71を示す。
視覚処理装置71は、入力信号ISとアンシャープ信号USとの差を強調した値に対して、入力信号ISを階調補正した値を加える演算に基づいて出力信号OSを出力する装置である。ここで、シャープ成分の強調と入力信号ISの階調補正とは独立して行われる。このため、入力信号ISの階調補正量にかかわらず、一定のシャープ成分の強調を行うことが可能となる。
図23に示す視覚処理装置71は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部72と、入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部73とを備えている。
空間処理部72は、視覚処理装置1が備える空間処理部2と同様の動作を行うため、説明を省略する。
視覚処理部73は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、それぞれの差分である差分信号DSを出力する減算部74と、差分信号DSを入力とし強調処理された強調処理信号TSを出力する強調処理部75と、入力信号ISを入力とし、階調補正された階調補正信号GCを出力する階調補正部76と、階調補正信号GCを第1の入力、強調処理信号TSを第2の入力とし、出力信号OSを出力する加算部77とを備えている。
《等価な視覚処理装置71の作用》
視覚処理部73の動作についてさらに説明を加える。
減算部74は、値Aの入力信号ISと、値Bのアンシャープ信号USとの差分を計算し、値A−Bの差分信号DSを出力する。強調処理部75は、強調関数F11を用いて、値A−Bの差分信号DSから値F11(A−B)の強調処理信号TSを出力する。階調補正部76は、階調補正関数F12を用いて、値Aの入力信号ISから値F12(A)の階調補正信号GCを出力する。加算部77は、値F12(A)の階調補正信号GCと、値F11(A−B)の強調処理信号TSとを加算し、値F12(A)+F11(A−B)の出力信号OSを出力する。
なお、強調関数F11、階調補正関数F12を用いた計算は、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《効果》
第7プロファイルデータを備える視覚処理装置1と視覚処理装置71とは、同様の視覚処理効果を奏する。
(i)
入力信号ISは、階調補正部76により階調補正された後、強調処理信号TSと加算される。このため、階調補正関数F12の階調変化の少ない領域、すなわちコントラストが低下される領域においても、その後の強調処理信号TSの加算により、局所コントラストを強調することが可能となる。
《変形例》
(i)
視覚処理装置71では、視覚処理部73は、入力信号ISとアンシャープ信号USとに基づいて、2次元LUT4を用いずに上記式M7を演算するもので有っても良い。この場合、それぞれの関数F11,F12の計算においては、1次元のLUTを用いても良い。
(ii)
なお、式M7で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値Cを0又は255としてもよい。
(8)
《第1〜第7プロファイルデータの変形例》
(i)
上記(1)〜(7)において、第1〜第7プロファイルデータの各要素は、式M1〜M7に基づいて計算された値を格納すると説明した。また、それぞれのプロファイルデータでは、式M1〜M7により算出される値がプロファイルデータが格納可能な値の範囲を超える場合には、その要素の値を制限しても良いと説明した。
さらに、プロファイルデータでは、一部の値については、任意であっても良い。例えば、暗い夜景の中にある小さい明かりの部分など(夜景の中にあるネオン部分など)、入力信号ISの値は大きいが、アンシャープ信号USの値は小さい場合、視覚処理された入力信号ISの値が画質に与える影響は小さい。このように、視覚処理後の値が画質に与える影響が小さい部分では、プロファイルデータが格納する値は、式M1〜M7により算出される値の近似値、あるいは任意の値であっても良い。
プロファイルデータが格納する値が、式M1〜M7により算出される値の近似値、あるいは任意の値となる場合にも、同じ値の入力信号ISとアンシャープ信号USとに対して格納されている値は、入力信号ISとアンシャープ信号USとの値に対して、単調増加、あるいは単調減少する関係を維持していることが望ましい。式M1〜M7等に基づいて作成されたプロファイルデータにおいて、同じ値の入力信号ISとアンシャープ信号USとに対するプロファイルデータが格納する値は、プロファイルデータの特性の概要を示している。このため、2次元LUTの特性を維持するために、上記関係を維持した状態でプロファイルデータのチューニングを行うことが望ましい。
[第2実施形態]
図24〜図39を用いて、本発明の第2実施形態としての視覚処理装置600について説明する。
視覚処理装置600は、画像信号(入力信号IS)に視覚処理を行い視覚処理画像(出力信号OS)を出力する視覚処理装置であり、出力信号OSを表示する表示装置(図示しない)が設置される環境(以下、表示環境という。)に応じた視覚処理を行う装置である。
具体的には、視覚処理装置600は、表示環境の環境光の影響による表示画像の「視覚的なコントラスト」の低下を、人間の視覚特性を利用した視覚処理により改善する装置である。
視覚処理装置600は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなどの画像を取り扱う機器において、画像信号の色処理を行う装置とともに画像処理装置を構成する。
〈視覚処理装置600〉
図24に、視覚処理装置600の基本構成を示す。
視覚処理装置600は、目標コントラスト変換部601と、変換信号処理部602と、実コントラスト変換部603と、目標コントラスト設定部604と、実コントラスト設定部605とから構成されている。
目標コントラスト変換部601は、入力信号ISを第1の入力、目標コントラスト設定部604において設定された目標コントラストC1を第2の入力とし、目標コントラスト信号JSを出力とする。なお、目標コントラストC1の定義については、後述する。
変換信号処理部602は、目標コントラスト信号JSを第1の入力、目標コントラストC1を第2の入力、実コントラスト設定部605において設定された実コントラストC2を第3の入力とし、視覚処理された目標コントラスト信号JSである視覚処理信号KSを出力とする。なお、実コントラストC2の定義については、後述する。
実コントラスト変換部603は、視覚処理信号KSを第1の入力、実コントラストC2を第2の入力とし、出力信号OSを出力とする。
目標コントラスト設定部604および実コントラスト設定部605は、ユーザに対して目標コントラストC1および実コントラストC2の値を入力インターフェイスなどを介して設定させる。
以下、各部の詳細について説明する。
〈目標コントラスト変換部601〉
目標コントラスト変換部601は、視覚処理装置600に入力された入力信号ISを、コントラスト表現に適した目標コントラスト信号JSに変換する。ここで、入力信号ISでは、視覚処理装置600に入力される画像の輝度値が値[0.0〜1.0]の階調で表されている。
目標コントラスト変換部601は、目標コントラストC1(値[m])を用いて、入力信号IS(値[P])を「式M20」により変換し、目標コントラスト信号JS(値[A])を出力する。ここで、式M20は、A={(m−1)/m}*P+1/mである。
目標コントラストC1の値[m]は、表示装置により表示される表示画像が最もコントラスト良く見えるようなコントラスト値として設定される。
ここで、コントラスト値とは、画像の黒レベルに対する白レベルの明度比として表される値であり、黒レベルを1とした場合の白レベルの輝度値を示している(黒レベル:白レベル=1:m)。
目標コントラストC1の値[m]は、100〜1000(黒レベル:白レベル=1:100〜1:1000)程度に設定されるのが適切であるが、表示装置が表示可能な黒レベルに対する白レベルの明度比に基づいて決定してもよい。
図25を用いて、式M20による変換をさらに詳しく説明する。図25は、入力信号ISの値(横軸)と目標コントラスト信号JSの値(縦軸)との関係を示すグラフである。図25が示すように、目標コントラスト変換部601により、値[0.0〜1.0]の範囲の入力信号ISが値[1/m〜1.0]の範囲の目標コントラスト信号JSに変換される。
〈変換信号処理部602〉
図24を用いて、変換信号処理部602の詳細について説明する。
変換信号処理部602は、入力される目標コントラスト信号JSの局所的なコントラストを維持しつつ、ダイナミックレンジを圧縮し、視覚処理信号KSを出力する。具体的には、変換信号処理部602は、第1実施形態で示した視覚処理装置21における入力信号IS(図16参照)を目標コントラスト信号JSと見なし、出力信号OS(図16参照)を視覚処理信号KSと見なしたのと同様の構成・作用・効果を有している。
変換信号処理部602は、目標コントラスト信号JSとアンシャープ信号USとの比を強調する演算に基づいて視覚処理信号KSを出力する。これにより、例えば、シャープ成分を強調する視覚処理などを実現することが可能となる。
さらに、変換信号処理部602は、強調された目標コントラスト信号JSとアンシャープ信号USとの比に対してダイナミックレンジ圧縮を行う演算に基づいて視覚処理信号KSを出力する。これにより、例えば、シャープ成分を強調しつつ、ダイナミックレンジの圧縮を行う視覚処理などを実現することが可能となる。
《変換信号処理部602の構成》
変換信号処理部602は、目標コントラスト信号JSにおける画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部622と、目標コントラスト信号JSとアンシャープ信号USとを用いて、目標コントラスト信号JSに対する視覚処理を行い、視覚処理信号KSを出力する視覚処理部623とを備えている。
空間処理部622は、視覚処理装置1(図1参照)が備える空間処理部2と同様の動作を行うため、詳しい説明を省略する。
視覚処理部623は、除算部625と、強調処理部626と、DR圧縮部628および乗算部629を有する出力処理部627とを備えている。
除算部625は、目標コントラスト信号JSを第1の入力、アンシャープ信号USを第2の入力とし、目標コントラスト信号JSをアンシャープ信号USで除算した除算信号RSを出力する。強調処理部626は、除算信号RSを第1の入力、目標コントラストC1を第2の入力、実コントラストC2を第3の入力とし、強調処理信号TSを出力する。
出力処理部627は、目標コントラスト信号JSを第1の入力、強調処理信号TSを第2の入力、目標コントラストC1を第3の入力、実コントラストC2を第4の入力とし、視覚処理信号KSを出力する。DR圧縮部628は、目標コントラスト信号JSを第1の入力、目標コントラストC1を第2の入力、実コントラストC2を第3の入力とし、ダイナミックレンジ(DR)圧縮されたDR圧縮信号DRSを出力する。乗算部629は、DR圧縮信号DRSを第1の入力、強調処理信号TSを第2の入力とし、視覚処理信号KSを出力する。
《変換信号処理部602の作用》
変換信号処理部602は、目標コントラストC1(値[m])および実コントラストC2(値[n])を用いて、目標コントラスト信号JS(値[A])を「式M2」により変換し、視覚処理信号KS(値[C])を出力する。ここで、式M2は、ダイナミックレンジ圧縮関数F4と強調関数F5とを用いて、C=F4(A)*F5(A/B)とあらわされる。なお、値[B]は、目標コントラスト信号JSを空間処理したアンシャープ信号USの値である。
ダイナミックレンジ圧縮関数F4は、上に凸の単調増加関数である「べき関数」であり、F4(x)=x^γと表される。ダイナミックレンジ圧縮関数F4の指数γは、常用対数を用いて、γ=log(n)/log(m)と表される。強調関数F5は、「べき関数」であり、F5(x)=x^(1−γ)と表される。
以下、式M2と変換信号処理部602の各部の動作との関係について説明を加える。
空間処理部622は、値[A]の目標コントラスト信号JSに対して空間処理を行い、値[B]のアンシャープ信号USを出力する。
除算部625は、値[A]の目標コントラスト信号JSを値[B]のアンシャープ信号USで除算し、値[A/B]の除算信号RSを出力する。強調処理部626は、強調関数F5を用いて、値[A/B]の除算信号RSから値[F5(A/B)]の強調処理信号TSを出力する。DR圧縮部628は、ダイナミックレンジ圧縮関数F4を用いて、値[A]の目標コントラスト信号JSから値[F4(A)]のDR圧縮信号DRSを出力する。乗算部629は、値[F4(A)]のDR圧縮信号DRSと値[F5(A/B)]の強調処理信号TSとを乗算し、値[F4(A)*F5(A/B)]の視覚処理信号KSを出力する。
なお、ダイナミックレンジ圧縮関数F4、強調関数F5を用いた計算は、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《変換信号処理部602の効果》
視覚処理信号KSにおける視覚的なダイナミックレンジは、ダイナミックレンジ圧縮関数F4の値により決定される。
図26を用いて、式M2による変換をさらに詳しく説明する。図26は、目標コントラスト信号JSの値(横軸)と、目標コントラスト信号JSにダイナミックレンジ圧縮関数F4を適用した値(縦軸)との関係を示すグラフである。図26が示すように、目標コントラスト信号JSのダイナミックレンジは、ダイナミックレンジ圧縮関数F4により圧縮される。より詳しくは、ダイナミックレンジ圧縮関数F4により、値[1/m〜1.0]の範囲の目標コントラスト信号JSは、値[1/n〜1.0]の範囲に変換される。この結果、視覚処理信号KSにおける視覚的なダイナミックレンジは、1/n(最小値:最大値=1:n)へと圧縮される。
ここで、実コントラストC2について説明する。実コントラストC2の値[n]は、表示環境の環境光のもとでの表示画像の視覚的なコントラスト値として設定されている。すなわち、実コントラストC2の値[n]は、目標コントラストC1の値[m]を、表示環境の環境光の輝度による影響分だけ低下させた値として決定することができる。
このようにして設定された実コントラストC2の値[n]を用いているため、式M2により目標コントラスト信号JSのダイナミックレンジは、1:mから1:nへと圧縮されることとなる。なお、ここで「ダイナミックレンジ」とは、信号の最小値と最大値との比を意味している。
一方、視覚処理信号KSにおける局所的なコントラストの変化は、目標コントラスト信号JSの値[A]と視覚処理信号KSの値[C]との変換の前後における変化量の比として表される。ここで、局所的すなわち狭い範囲におけるアンシャープ信号USの値[B]は一定と見なせる。このため、式M2における値Cの変化量と値Aの変化量との比は1となり、目標コントラスト信号JSと視覚処理信号KSとの局所的なコントラストは変化しないこととなる。
人間の視覚は、局所コントラストを維持すれば、全体的なコントラストが低下していても同じコントラストに見える性質がある。このため、変換信号処理部602では、目標コントラスト信号JSのダイナミックレンジの圧縮を行いつつ、視覚的なコントラストを低下させない視覚処理を実現することが可能となる。
〈実コントラスト変換部603〉
図24を用いて、実コントラスト変換部603の詳細について説明する。
実コントラスト変換部603は、視覚処理信号KSを、表示装置(図示しない)に入力可能な範囲の画像データに変換する。表示装置に入力可能な範囲の画像データとは、例えば、画像の輝度値を、値[0.0〜1.0]の階調で表した画像データである。
実コントラスト変換部603は、実コントラストC2(値[n])を用いて、視覚処理信号KS(値[C])を「式M21」により変換し、出力信号OS(値[Q])を出力する。ここで、式M21は、Q={n/(n−1)}*C−{1/(n−1)}である。
図27を用いて、式M21による変換をさらに詳しく説明する。図27は、視覚処理信号KSの値(横軸)と出力信号OSの値(縦軸)との関係を示すグラフである。図27が示すように、実コントラスト変換部603により、値[1/n〜1.0]の範囲の視覚処理信号KSが値[0.0〜1.0]の範囲の出力信号OSに変換される。ここで、それぞれの視覚処理信号KSの値に対して、出力信号OSの値は減少することとなる。この減少分は、表示画像の各輝度が環境光から受ける影響に相当している。
なお、実コントラスト変換部603では、値[1/n]以下の視覚処理信号KSが入力される場合には、出力信号OSは、値[0]に変換される。また、実コントラスト変換部603では、値[1]以上の視覚処理信号KSが入力される場合には、出力信号OSは、値[1]に変換される。
〈視覚処理装置600の効果〉
視覚処理装置600は、第1実施形態で説明した視覚処理装置21と同様の効果を奏する。以下、視覚処理装置600に特徴的な効果を記載する。
(i)
視覚処理装置600の出力信号OSを表示する表示環境に環境光が存在する場合、出力信号OSは、環境光の影響を受けて視覚される。しかし、出力信号OSは、実コントラスト変換部603により、環境光の影響を補正する処理が施された信号である。すなわち、環境光の存在する表示環境のもとでは、表示装置に表示された出力信号OSは、視覚処理信号KSの特性を持つ表示画像として視覚される。
視覚処理信号KSの特性とは、第1実施形態で説明した視覚処理装置21の出力信号OS(図16参照)などと同様に、局所的なコントラストを維持しつつ画像全体のダイナミックレンジが圧縮されている、というものである。すなわち、視覚処理信号KSは、局所的には表示画像が最適に表示される目標コントラストC1を維持しつつ、環境光の影響下において表示可能なダイナミックレンジ(実コントラストC2に相当)に圧縮された信号となっている。
このため、視覚処理装置600では、環境光の存在によって低下するコントラストの補正を行いつつ、視覚特性を利用した処理により視覚的なコントラストを維持することが可能となる。
〈視覚処理方法〉
図28を用いて、上記視覚処理装置600と同様の効果を奏する視覚処理方法を説明する。なお、それぞれのステップの具体的な処理は、上記視覚処理装置600における処理と同様であるため、説明を省略する。
図28に示す視覚処理方法では、まず、設定された目標コントラストC1および実コントラストC2が取得される(ステップS601)。次に、取得された目標コントラストC1を用いて、入力信号ISに対する変換が行われ(ステップS602)、目標コントラスト信号JSが出力される。次に、目標コントラスト信号JSに対して空間処理が行われ(ステップS603)、アンシャープ信号USが出力される。次に、目標コントラスト信号JSがアンシャープ信号USにより除算され(ステップS604)、除算信号RSが出力される。除算信号RSは、目標コントラストC1および実コントラストC2により決定される指数を持つ「べき関数」である強調関数F5により強調され(ステップS605)、強調処理信号TSが出力される。一方、目標コントラスト信号JSは、目標コントラストC1および実コントラストC2により決定される指数を持つ「べき関数」であるダイナミックレンジ圧縮関数F4によりダイナミックレンジ圧縮され(ステップS606)、DR圧縮信号DRSが出力される。次に、ステップS605により出力された強調処理信号TSとステップS606により出力されたDR圧縮信号DRSは、乗算され(ステップS607)、視覚処理信号KSが出力される。次に、実コントラストC2を用いて、視覚処理信号KSに対する変換が行われ(ステップS608)、出力信号OSが出力される。入力信号ISのすべての画素についてステップS602〜ステップS608の処理が繰り返される(ステップS609)。
図28に示す視覚処理方法のそれぞれのステップは、視覚処理装置600やその他のコンピュータなどにおいて、視覚処理プログラムとして実現されるものであっても良い。また、ステップS604〜ステップS607までの処理は、式M2を計算することにより一度に行われるものであってもかまわない。
〈変形例〉
本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。
(i)式M2−強調関数F5を備えない場合−
上記実施形態では、変換信号処理部602は、式M2に基づいて視覚処理信号KSを出力すると記載した。ここで、変換信号処理部602は、ダイナミックレンジ強調関数F4のみに基づいて視覚処理信号KSを出力するものであってもよい。この場合、変形例としての変換信号処理部602では、空間処理部622、除算部625、強調処理部626、乗算部629を備える必要がなく、DR圧縮部628のみを備えていればよい。
変形例としての変換信号処理部602では、環境光の影響下において表示可能なダイナミックレンジに圧縮された視覚処理信号KSを出力することが可能となる。
(ii)強調関数F5−指数・その他の変形例−
上記実施形態では、強調関数F5は、「べき関数」であり、F5(x)=x^(1−γ)と表される、と記載した。ここで、強調関数F5の指数は、目標コントラスト信号JSの値[A]またはアンシャープ信号USの値[B]の関数であってもよい。
以下、具体例《1》〜《6》を示す。
《1》
強調関数F5の指数は、目標コントラスト信号JSの値[A]の関数であって、目標コントラスト信号JSの値[A]がアンシャープ信号USの値[B]よりも大きい場合に、単調減少する関数である。より具体的には、強調関数F5の指数は、α1(A)*(1−γ)と表され、関数α1(A)は、図29に示すように目標コントラスト信号JSの値[A]に対して単調減少する関数である。なお、関数α1(A)の最大値は、[1.0]となっている。
この場合、強調関数F5により高輝度部の局所コントラストの強調量が少なくなる。このため、着目画素の輝度が周囲画素の輝度よりも高い場合に、高輝度部の局所コントラストの強調過多が抑制される。すなわち、着目画素の輝度値が高輝度へと飽和し、いわゆる白飛びの状態になることが抑制される。
《2》
強調関数F5の指数は、目標コントラスト信号JSの値[A]の関数であって、目標コントラスト信号JSの値[A]がアンシャープ信号USの値[B]よりも小さい場合に、単調増加する関数である。より具体的には、強調関数F5の指数は、α2(A)*(1−γ)と表され、関数α2(A)は、図30に示すように目標コントラスト信号JSの値[A]に対して単調増加する関数である。なお、関数α2(A)の最大値は、[1.0]となっている。
この場合、強調関数F5により低輝度部の局所コントラストの強調量が少なくなる。このため、着目画素の輝度が周囲画素の輝度よりも低い場合に、低輝度部の局所コントラストの強調過多が抑制される。すなわち、着目画素の輝度値が低輝度へと飽和し、いわゆる黒潰れの状態になることが抑制される。
《3》
強調関数F5の指数は、目標コントラスト信号JSの値[A]の関数であって、目標コントラスト信号JSの値[A]がアンシャープ信号USの値[B]よりも大きい場合に、単調増加する関数である。より具体的には、強調関数F5の指数は、α3(A)*(1−γ)と表され、関数α3(A)は、図31に示すように目標コントラスト信号JSの値[A]に対して単調増加する関数である。なお、関数α3(A)の最大値は、[1.0]となっている。
この場合、強調関数F5により低輝度部の局所コントラストの強調量が少なくなる。このため、着目画素の輝度が周囲画素の輝度よりも高い場合に、低輝度部の局所コントラストの強調過多が抑制される。画像中の低輝度部は、信号レベルが小さいため、相対的にノイズの割合が高くなっているが、このような処理を行うことで、SN比の劣化を抑制することが可能となる。
《4》
強調関数F5の指数は、目標コントラスト信号JSの値[A]とアンシャープ信号USの値[B]との関数であって、値[A]と値[B]との差の絶対値に対して単調減少する関数である。言い換えれば、強調関数F5の指数は、値[A]と値[B]との比が1に近い程増加する関数であるとも言える。より具体的には、強調関数F5の指数は、α4(A,B)*(1−γ)と表され、関数α4(A,B)は、図32に示すように値[A−B]の絶対値に対して単調減少する関数である。
この場合、周囲画素との明暗差が小さい着目画素における局所的なコントラストを特に強調し、周囲画素との明暗差が大きい着目画素における局所的なコントラストの強調を抑制するということが可能となる。
《5》
上記《1》〜《4》の強調関数F5の演算結果には、上限あるいは下限が設けられていてもよい。具体的には、値[F5(A/B)]が所定の上限値を超える場合には、強調関数F5の演算結果として所定の上限値が採用される。また、値[F5(A/B)]が所定の下限値を超える場合には、強調関数F5の演算結果として所定の下限値が採用される。
この場合、強調関数F5による局所的なコントラストの強調量を適切な範囲に制限することが可能となり、過多あるいは過少のコントラストの強調が抑制される。
《6》
なお、上記《1》〜《5》は、第1実施形態において強調関数F5を用いた演算を行う場合にも同様に適用可能である(例えば、第1実施形態〈プロファイルデータ〉(2)あるいは(3)など)。なお、第1実施形態では、値[A]は、入力信号ISの値であり、値[B]は、入力信号ISを空間処理したアンシャープ信号USの値である。
(iii)式M2−ダイナミックレンジ圧縮を行わない場合−
上記実施形態では、変換信号処理部602は、第1実施形態で示した視覚処理装置21と同様の構成を有している、と説明した。ここで、変形例としての変換信号処理部602は、第1実施形態で示した視覚処理装置31(図19参照)と同様の構成を有するものであってもよい。具体的には、視覚処理装置31における入力信号ISを目標コントラスト信号JSと見なし、出力信号OSを視覚処理信号KSと見なすことにより変形例としての変換信号処理部602が実現される。
この場合、変形例としての変換信号処理部602では、目標コントラスト信号JS(値[A])およびアンシャープ信号US(値[B])に対して、「式M3」に基づいて視覚処理信号KS(値[C])が出力される。ここで式M3とは、強調関数F5を用いて、C=A*F5(A/B)と表される。
式M3を用いた処理では、入力信号ISに対するダイナミックレンジの圧縮は施されないが、局所的なコントラストを強調することができる。この局所的なコントラストの強調の効果により、「視覚的に」ダイナミックレンジが圧縮あるいは伸張された様な印象を与えることが可能となる。
なお、本変形例に対しても、上記〈変形例〉(ii)《1》〜《5》を同様に適用可能である。すなわち、本変形例において、強調関数F5は、「べき関数」であり、その指数は、上記〈変形例〉(ii)《1》〜《4》で説明した関数α1(A),α2(A),α3(A),α4(A,B)と同様の傾向を持つ関数であってよい。また、上記〈変形例〉(ii)《5》で説明したように、強調関数F5の演算結果には、上限あるいは下限が設けられていてもよい。
(iv)パラメータ自動設定
上記実施形態では、目標コントラスト設定部604および実コントラスト設定部605は、ユーザに対して目標コントラストC1および実コントラストC2の値を入力インターフェイスなどを介して設定させる、と説明した。ここで、目標コントラスト設定部604および実コントラスト設定部605は、目標コントラストC1および実コントラストC2の値を自動設定できるものであってもよい。
《1》ディスプレイ
出力信号OSを表示する表示装置がPDP,LCD,CRTなどのディスプレイであり、環境光の無い状態で表示できる白輝度(白レベル)と黒輝度(黒レベル)とが既知の場合に、実コントラストC2の値を自動設定する実コントラスト設定部605について説明する。
図33に実コントラストC2の値を自動設定する実コントラスト設定部605を示す。実コントラスト設定部605は、輝度測定部605aと、記憶部605bと、計算部605cとを備えている。
輝度測定部605aは、出力信号OSを表示するディスプレイの表示環境における環境光の輝度値を測定する輝度センサである。記憶部605bは、出力信号OSを表示するディスプレイが環境光の無い状態で表示できる白輝度(白レベル)と黒輝度(黒レベル)とを記憶している。計算部605cは、輝度測定部605aと記憶部605bとからそれぞれ値を取得し、実コントラストC2の値を計算する。
計算部605cの計算の一例を説明する。計算部605cは、輝度測定部605aから取得した環境光の輝度値を記憶部605bが記憶する黒レベルの輝度値および白レベルの輝度値のそれぞれに加算する。さらに、計算部605cは、黒レベルの輝度値への加算結果を用いて、白レベルの輝度値への加算結果を除算した値を実コントラストC2の値[n]として出力する。これにより、実コントラストC2の値[n]は、環境光が存在する表示環境においてディスプレイが表示するコントラスト値を示すこととなる。
また、図33に示した記憶部605bは、ディスプレイが環境光の無い状態で表示できる白輝度(白レベル)と黒輝度(黒レベル)との比を目標コントラストC1の値[m]として記憶しているものであってもよい。この場合、実コントラスト設定部605は、目標コントラストC1を自動設定する目標コントラスト設定部604の機能を同時に果たすこととなる。なお、記憶部605bは、比を記憶しておらず、比は計算部605cにより計算されるものであってもよい。
《2》プロジェクタ
出力信号OSを表示する表示装置がプロジェクタなどであり、環境光の無い状態で表示できる白輝度(白レベル)と黒輝度(黒レベル)とがスクリーンまでの距離に依存する場合に、実コントラストC2の値を自動設定する実コントラスト設定部605について説明する。
図34に実コントラストC2の値を自動設定する実コントラスト設定部605を示す。実コントラスト設定部605は、輝度測定部605dと、制御部605eとを備えている。
輝度測定部605dは、プロジェクタにより表示された出力信号OSの表示環境における輝度値を測定する輝度センサである。制御部605eは、プロジェクタに対して、白レベルと黒レベルとの表示を行わせる。さらに、それぞれのレベルが表示される際の輝度値を輝度測定部605dから取得し、実コントラストC2の値を計算する。
図35を用いて、制御部605eの動作の一例を説明する。まず制御部605eは、環境光の存在する表示環境においてプロジェクタを動作させ、白レベルの表示を行わせる(ステップS620)。制御部605eは、輝度測定部605dから、測定された白レベルの輝度を取得する(ステップS621)。次に、制御部605eは、環境光の存在する表示環境においてプロジェクタを動作させ、黒レベルの表示を行わせる(ステップS622)。制御部605eは、輝度測定部605dから、測定された黒レベルの輝度を取得する(ステップS623)。制御部605eは、取得した白レベルの輝度値と黒レベルの輝度値との比を計算し、実コントラストC2の値として出力する。これにより、実コントラストC2の値[n]は、環境光が存在する表示環境においてプロジェクタが表示するコントラスト値を示すこととなる。
また、上記と同様にして、環境光が存在しない表示環境における白レベルと黒レベルとの比を計算することにより、目標コントラストC1の値[m]を導出することも可能である。この場合、実コントラスト設定部605は、目標コントラストC1を自動設定する目標コントラスト設定部604の機能を同時に果たすこととなる。
(v)他の信号空間
上記実施形態では、視覚処理装置600における処理は、入力信号ISの輝度について行うと説明した。ここで、本発明は、入力信号ISがYCbCr色空間で表されている場合のみに有効であるものではない。入力信号ISは、YUV色空間、Lab色空間、Luv色空間、YIQ色空間、XYZ色空間、YPbPr色空間などで表されているものでもよい。これらの場合に、それぞれの色空間の輝度、明度に対して、上記実施形態で説明した処理を実行することが可能である。
また、入力信号ISがRGB色空間で表されている場合に、視覚処理装置600における処理は、RGBそれぞれの成分に対して独立に行われるものであってもよい。すなわち、入力信号ISのRGB成分に対して、目標コントラスト変換部601による処理が独立に行われ、目標コントラスト信号JSのRGB成分が出力される。さらに、目標コントラスト信号JSのRGB成分に対して、変換信号処理部602による処理が独立に行われ、視覚処理信号KSのRGB成分が出力される。さらに、視覚処理信号KSのRGB成分に対して、実コントラスト変換部603による処理が独立に行われ、出力信号OSのRGB成分が出力される。ここで、目標コントラストC1および実コントラストC2は、RGB成分それぞれの処理において、共通の値が用いられる。
(vi)色差補正処理
視覚処理装置600は、変換信号処理部602により処理された輝度成分の影響により出力信号OSの色相が入力信号ISの色相と異なるものとなることを抑制するため、色差補正処理部をさらに備えるものであってもよい。
図36に色差補正処理部608を備える視覚処理装置600を示す。なお、図24に示す視覚処理装置600と同様の構成については同じ符号を付す。なお、入力信号ISは、YCbCrの色空間を有するとし、Y成分については、上記実施形態で説明したのと同様の処理が行われるとする。以下、色差補正処理部608について説明する。
色差補正処理部608は、目標コントラスト信号JSを第1の入力(値[Yin])、視覚処理信号KSを第2の入力(値[Yout])、入力信号ISのCb成分を第3の入力(値[CBin])、入力信号ISのCr成分を第4の入力(値[CRin])とし、色差補正処理されたCb成分を第1の出力(値[CBout])、色差補正処理されたCr成分を第2の出力(値[CRout])とする。
図37に色差補正処理の概要を示す。色差補正処理部608は、[Yin]、[Yout]、[CBin]、[CRin]の4入力を有し、この4入力を演算することにより、[CBout]、[CRout]の2出力を得る。
[CBout]と[CRout]とは、[Yin]と[Yout]との差および比により、[CBin]と[CRin]とを補正する次式に基づいて導出される。
[CBout]は、a1*([Yout]−[Yin])*[CBin]+a2*(1−[Yout]/[Yin])*[CBin]+a3*([Yout]−[Yin])*[CRin]+a4*(1−[Yout]/[Yin])*[CRin]+[CBin]、に基づいて導出される(以下、式CBという)。
[CRout]は、a5*([Yout]−[Yin])*[CBin]+a6*(1−[Yout]/[Yin])*[CBin]+a7*([Yout]−[Yin])*[CRin]+a8*(1−[Yout]/[Yin])*[CRin]+[CRin]、に基づいて導出される(以下、式CRという)。
式CBおよび式CRにおける係数a1〜a8には、以下に説明する推定演算により事前に視覚処理装置600の外部の計算装置などによって決定された値が用いられている。
図38を用いて、計算装置などにおける係数a1〜a8の推定演算について説明する。
まず、[Yin]、[Yout]、[CBin]、[CRin]の4入力が取得される(ステップS630)。それぞれの入力の値は、係数a1〜a8を決定するためにあらかじめ用意されたデータである。例えば、[Yin]、[CBin]、[CRin]としては、それぞれが取りうる全ての値を所定の間隔で間引いた値などが用いられる。さらに[Yout]としては、[Yin]の値を変換信号処理部602に入力した場合に出力されうる値を所定の間隔で間引いた値などが用いられる。このようにして用意されたデータが、4入力として取得される。
取得された[Yin]、[CBin]、[CRin]は、Lab色空間に変換され、変換されたLab色空間における色度値[Ain]および[Bin]が計算される(ステップS631)。
次に、デフォルトの係数a1〜a8を用いて、「式CB」および「式CR」が計算され、[CBout]および[CRout]の値が取得される(ステップS632)。取得された値および[Yout]は、Lab色空間に変換され、変換されたLab色空間における色度値[Aout]および[Bout]が計算される(ステップS633)。
次に、計算された色度値[Ain]、[Bin]、[Aout]、[Bout]を用いて、評価関数が計算され(ステップS634)、評価関数の値が所定の閾値以下となるか判断される。ここで、評価関数は、[Ain]および[Bin]と、[Aout]および[Bout]との色相の変化が小さくなる場合に小さな値となる関数であり、例えば、それぞれの成分の偏差の自乗和といった関数である。より具体的には、評価関数は、([Ain]−[Aout])^2+([Bin]−[Bout])^2、などである。
評価関数の値が所定の閾値よりも大きい場合(ステップS635)、係数a1〜a8が修正され(ステップS636)、新たな係数を用いて、ステップS632〜ステップS635の演算が繰り返される。
評価関数の値が所定の閾値よりも小さい場合(ステップS635)、評価関数の計算に用いられた係数a1〜a8が推定演算の結果として出力される(ステップS637)。
なお、推定演算においては、あらかじめ用意した[Yin]、[Yout]、[CBin]、[CRin]の4入力の組み合わせのうちの1つを用いて係数a1〜a8を推定演算してもよいが、組み合わせのうちの複数を用いて上述の処理を行い、評価関数を最小とする係数a1〜a8を推定演算の結果として出力してもよい。
〔色差補正処理における変形例〕
《1》
上記色差補正処理部608では、目標コントラスト信号JSの値を[Yin]、視覚処理信号KSの値を[Yout]、入力信号ISのCb成分の値を[CBin]、入力信号ISのCr成分の値を[CRin]、出力信号OSのCb成分の値を[CBout]、出力信号OSのCr成分の値を[CRout]とした。ここで、[Yin]、[Yout]、[CBin]、[CRin]、[CBout]、[CRout]は、他の信号の値を表すものであってもよい。
例えば、入力信号ISがRGB色空間の信号である場合、目標コントラスト変換部601(図24参照)は、入力信号ISのそれぞれの成分に対して処理を行う。この場合、処理後のRGB色空間の信号をYCbCr色空間の信号に変換し、そのY成分の値を[Yin]、Cb成分の値を[CBin]、Cr成分の値を[CRin]としてもよい。
さらに、出力信号OSがRGB色空間の信号である場合、導出された[Yout]、[CBout]、[CRout]をRGB色空間に変換し、それぞれの成分に対して実コントラスト変換部603による変換処理を行い、出力信号OSとしてもよい。
《2》
色差補正処理部608は、変換信号処理部602の処理の前後における信号値の比を用いて、色差補正処理部608に入力されるRGB成分のそれぞれを補正処理するものであってもよい。
図39を用いて、変形例としての視覚処理装置600の構造について説明する。なお、図36に示す視覚処理装置600とほぼ同様の機能を果たす部分については、同じ符号を付し、説明を省略する。変形例としての視覚処理装置600は、特徴的な構成として、輝度信号生成部610を備えている。
RGB色空間の信号である入力信号ISのそれぞれの成分は、目標コントラスト変換部601において、RGB色空間の信号である目標コントラスト信号JSに変換される。詳しい処理については上述したため説明を省略する。ここで、目標コントラスト信号JSのそれぞれの成分の値を[Rin]、[Gin]、[Bin]とする。
輝度信号生成部610は、目標コントラスト信号JSのそれぞれの成分から、値[Yin]の輝度信号を生成する。輝度信号は、RGBのそれぞれの成分の値をある比率で足し合わせることにより求められる。例えば、値[Yin]は、次式、[Yin]=0.299*[Rin]+0.587*[Gin]+0.114*[Bin]、などにより求められる。
変換信号処理部602は、値[Yin]の輝度信号を処理し、値[Yout]の視覚処理信号KSを出力する。詳しい処理は、目標コントラスト信号JSから視覚処理信号KSを出力する変換信号処理部602(図36参照)における処理と同様であるため説明を省略する。
色差補正処理部608は、輝度信号(値[Yin])、視覚処理信号KS(値[Yout])、目標コントラスト信号JS(値[Rin]、[Gin]、[Bin])を用いて、RGB色空間の信号である色差補正信号(値[Rout]、[Gout]、[Bout])を出力する。
具体的には、色差補正処理部608では、値[Yin]と値[Yout]との比(値[[Yout]/[Yin]])が計算される。計算された比は、色差補正係数として、目標コントラスト信号JS(値[Rin]、[Gin]、[Bin])のそれぞれの成分に乗算される。これにより、色差補正信号(値[Rout]、[Gout]、[Bout])が出力される。
実コントラスト変換部603は、RGB色空間の信号である色差補正信号のそれぞれの成分に対して変換を行い、RGB色空間の信号である出力信号OSに変換する。詳しい処理については、上述したため説明を省略する。
変形例としての視覚処理装置600では、変換信号処理部602における処理は、輝度信号に対する処理のみであり、RGB成分のそれぞれについて処理を行う必要がない。このため、RGB色空間の入力信号ISに対しての視覚処理の負荷が軽減される。
《3》
「式CB」および「式CR」は、一例であり、他の式が用いられてもよい。
(vii)視覚処理部623
図24に示す視覚処理部623は、2次元LUTにより形成されていてもよい。
この場合、2次元LUTは、目標コントラスト信号JSの値とアンシャープ信号USの値とに対する視覚処理信号KSの値を格納している。より具体的には、[第1実施形態]〈プロファイルデータ〉(2)《第2プロファイルデータ》で説明した「式M2」に基づいて視覚処理信号KSの値が定められている。なお、「式M2」中、値Aとして目標コントラスト信号JSの値が、値Bとしてアンシャープ信号USの値が用いられる。
視覚処理装置600は、このような2次元LUTを記憶装置(図示せず)に複数備えている。ここで、記憶装置は、視覚処理装置600に内臓されていてもよいし、有線あるいは無線を介して外部に接続されていてもよい。記憶装置に記憶されるそれぞれの2次元LUTは、目標コントラストC1の値と実コントラストC2の値とに対して関連づけられている。すなわち、目標コントラストC1の値と実コントラストC2の値との組み合わせのそれぞれに対して、[第2実施形態]〈変換信号処理部602〉《変換信号処理部602の作用》で説明したのと同様の演算が行われ、2次元LUTとして記憶されている。
視覚処理部623は、目標コントラストC1と実コントラストC2との値を取得すると、記憶装置に記憶されている2次元LUTのうち、取得されたそれぞれの値に関連づけられた2次元LUTを読み込む。さらに、視覚処理部623は、読み込んだ2次元LUTを用いて、視覚処理を行う。具体的には、視覚処理部623は、目標コントラスト信号JSの値とアンシャープ信号USの値とを取得し、取得された値に対する視覚処理信号KSの値を2次元LUTから読み出し、視覚処理信号KSを出力する。
[第3実施形態]
〈1〉
本発明の第3実施形態として、上記第1実施形態および第2実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムの応用例と、それを用いたシステムとについて説明する。
視覚処理装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の視覚処理を行う装置であり、LSIなどの集積回路として実現される。
より詳しくは、上記実施形態の各機能ブロックは、個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
上記第1実施形態および第2実施形態で説明したそれぞれの視覚処理装置の各ブロックの処理は、例えば、視覚処理装置が備える中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、図1の視覚処理装置1において2次元LUT4は、ハードディスク、ROMなどの記憶装置に格納されており、必要に応じて参照される。さらに、視覚処理部3は、視覚処理装置1に直接的に接続される、あるいはネットワークを介して間接的に接続されるプロファイルデータ登録装置8からプロファイルデータの提供を受け、2次元LUT4として登録する。
また、視覚処理装置は、動画像を取り扱う機器に内蔵、あるいは接続されて、フレーム毎(フィールド毎)の画像の階調処理を行う装置であってもよい。
また、視覚処理装置1では、上記第1実施形態で説明した視覚処理方法が実行される。
視覚処理プログラムは、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなど、画像を取り扱う機器に内蔵、あるいは接続される装置において、ハードディスク、ROMなどの記憶装置に記憶され、画像の視覚処理を実行するプログラムであり、例えば、CD−ROMなどの記録媒体を介して、あるいはネットワークを介して提供される。
〈2〉
上記第1実施形態および第2実施形態で説明した視覚処理装置は、図40〜図41に示す構成で表すことも可能である。
(1)
《構成》
図40は、例えば、図7を用いて示した視覚処理装置525と同様の機能を果たす視覚処理装置910の構成を示すブロック図である。
視覚処理装置910において、センサ911およびユーザ入力部912は、入力装置527(図7参照)と同様の機能を有する。より具体的には、センサ911は、視覚処理装置910が設置される環境、あるいは視覚処理装置910からの出力信号OSが表示される環境における環境光を検出するセンサであり、検出した値を環境光を表すパラメータP1として出力する。また、ユーザ入力部912は、ユーザに対して、環境光の強さを、例えば、「強・中・弱」の段階的に、あるいは無段階的(連続的)に設定させる装置であり、設定された値を環境光を表すパラメータP1として出力する。
出力部914は、プロファイルデータ登録部526(図7参照)と同様の機能を有する。より具体的には、出力部914は、環境光を表すパラメータP1の値に関連づけられた複数のプロファイルデータを備えている。ここで、プロファイルデータとは、入力信号ISと入力信号ISを空間処理した信号とに対する出力信号OSの値を与えるテーブル形式のデータである。さらに、出力部914は、取得した環境光を表すパラメータP1の値に対応するプロファイルデータを輝度調整パラメータP2として変換部915に出力する。
変換部915は、空間処理部2および視覚処理部3(図7参照)と同様の機能を有する。変換部915は、視覚処理の対象となる対象画素(着目画素)の輝度と、対象画素の周辺に位置する周辺画素の輝度と、輝度調整パラメータP2とを入力とし、対象画素の輝度を変換し、出力信号OSを出力する。
より具体的には、変換部915は、対象画素と周辺画素とを空間処理する。さらに、変換部915は、対象画素と空間処理した結果とに対応する出力信号OSの値をテーブル形式の輝度調整パラメータP2から読み出し、出力信号OSとして出力する。
《変形例》
(1)
上記構成において、輝度調整パラメータP2は、上記したプロファイルデータに限定されるものではない。例えば、輝度調整パラメータP2は、対象画素の輝度と周辺画素の輝度とから出力信号OSの値を演算する際に用いられる係数マトリクスデータであってもよい。ここで、係数マトリクスデータとは、対象画素の輝度と周辺画素の輝度とから出力信号OSの値を演算する際に用いられる関数の係数部分を格納したデータである。
(2)
出力部914は、環境光を表すパラメータP1の全ての値に対するプロファイルデータや係数マトリクスデータを備えている必要はない。この場合、取得された環境光を表すパラメータP1に応じて、備えられているプロファイルデータなどを適宜内分あるいは外分することにより適切なプロファイルデータなどを生成するものであってもよい。
(2)
《構成》
図41は、例えば、図24を用いて示した視覚処理装置600と同様の機能を果たす視覚処理装置920の構成を示すブロック図である。
視覚処理装置920では、出力部921が環境光を表すパラメータP1に加えて外部パラメータP3をさらに取得し、環境光を表すパラメータP1と外部パラメータP3とに基づいて輝度調整パラメータP2を出力する。
ここで、環境光を表すパラメータP1とは、上記(1)で記載したのと同様である。
また、外部パラメータP3とは、例えば、出力信号OSを視覚するユーザが求める視覚的効果を表すパラメータである。より具体的には、画像を視覚するユーザが求めるコントラストなどの値(目標コントラスト)である。ここで、外部パラメータP3は、目標コントラスト設定部604(図24参照)により設定される。あるいは、予め出力部921に記憶されたデフォルト値を用いて設定される。
出力部921は、環境光を表すパラメータP1から、図33や図34に示した構成により実コントラストの値を算出し、輝度調整パラメータP2として出力する。また、出力部921は、外部パラメータP3(目標コントラスト)を輝度調整パラメータP2として出力する。また、出力部921は、[第2実施形態]〈変形例〉(vii)で説明した2次元LUTに格納されるプロファイルデータを複数記憶しており、外部パラメータP3と環境光を表すパラメータP1から算出された実コントラストからプロファイルデータを選択し、そのテーブル形式のデータを輝度調整パラメータP2として出力する。
変換部922は、目標コントラスト変換部601,変換信号処理部602,実コントラスト変換部603(以上、図24参照)と同様の機能を有する。より具体的には、変換部922には、入力信号IS(対象画素の輝度および周辺画素の輝度)と、輝度調整パラメータP2とが入力され、出力信号OSが出力される。例えば、入力信号ISは、輝度調整パラメータP2として取得される目標コントラストを用いて、目標コントラスト信号JS(図24参照)に変換される。さらに、目標コントラスト信号JSが、空間処理され、アンシャープ信号US(図24参照)が導出される。
変換部922は、[第2実施形態]〈変形例〉(vii)で説明した変形例としての視覚処理部623を備えており、輝度調整パラメータP2として取得されたプロファイルデータと、目標コントラスト信号JSと、アンシャープ信号USとから、視覚処理信号KS(図24参照)が出力される。さらに、視覚処理信号KSは、輝度調整パラメータP2として取得される実コントラストを用いて、出力信号OSに変換される。
この視覚処理装置920では、外部パラメータP3と環境光を表すパラメータP1とに基づいて視覚処理に用いるプロファイルデータを選択することが可能となる、とともに、環境光による影響を補正し、環境光の存在する環境でも局所的なコントラストを改善し、出力信号OSを視覚するユーザの好みのコントラストに近づけることが可能となる。
《変形例》
なお、本構成においても、(1)で記載したのと同様の変形を行うことが可能である。
また、(1)に記載した構成と(2)に記載した構成とは、必要に応じて切り替えて用いることも可能である。切り替えは、外部からの切り替え信号を用いて行ってもよい。また、外部パラメータP3が存在するか否かでいずれの構成を用いるかを判断してもよい。
また、実コントラストは、出力部921で算出されると記載したが、実コントラストの値が出力部921に直接入力されるような構成であってもよい。
(3)
図41に示す構成では、出力部921から変換部922への入力が急激に変化しないようにするための手段をさらに採用することが可能である。
図42に示す視覚処理装置920’は、図41に示す視覚処理装置920に対して、環境光を表すパラメータP1の時間変化を緩やかにさせる調整部925を備える点において相違している。調整部925は、環境光を表すパラメータP1を入力とし、調整後の出力P4を出力とする。
これにより、出力部921は、急激な変化を伴わない環境光を表すパラメータP1を取得することが可能となり、この結果、出力部921の出力の時間変化も緩やかになる。
調整部925は、例えば、IIRフィルタにより実現される。ここで、IIRフィルタでは、調整部925の出力P4の値[P4]は、[P4]=k1*[P4]’+k2*[P1]により演算される。なお式中、k1,k2は、それぞれ正の値をとるパラメータであり、[P1]は、環境光を表すパラメータP1の値であり、[P4]’は、調整部925の出力P4の遅延出力(例えば、前回の出力)の値である。なお、調整部925における処理は、IIRフィルタ以外の構成を用いて行われてもよい。
さらに、調整部925は、図43に示す視覚処理装置920”のように、出力部921の出力側に備えられ、輝度調整パラメータP2の時間変化を直接緩やかにする手段であってもよい。
ここで、調整部925の動作は、上記したのと同様である。具体的には、調整部925の出力P4の値[P4]は、[P4]=k3*[P4]’+k4*[P2]により演算される。なお式中、k3,k4は、それぞれ正の値をとるパラメータであり、[P2]は、輝度調整パラメータP2の値であり、[P4]’は、調整部925の出力P4の遅延出力(例えば、前回の出力)の値である。なお、調整部925における処理は、IIRフィルタ以外の構成を用いて行われてもよい。
図42、図43などに示した構成により、環境光を表すパラメータP1、あるいは輝度調整パラメータP2の時間変化を制御することが可能となる。このため、例えば、環境光を検出するセンサ911が、センサの前を移動する人に応答し、短時間にパラメータが大きく変化した場合でも、急激なパラメータ変動を抑えることができる。この結果、表示画面のちらつきを抑えることができる。
[第4実施形態]
本発明の第4実施形態として、上記で説明した視覚処理装置、視覚処理方法、視覚処理プログラムの応用例とそれを用いたシステムを図44〜図47を用いて説明する。
図44は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。
しかし、コンテンツ供給システムex100は図44のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband-Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってもどちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)を符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
コンテンツの表示に際して、上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを用いても良い。例えば、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等は、上記実施形態で示した視覚処理装置を備え、視覚処理方法、視覚処理プログラムを実現するものであっても良い。
また、ストリーミングサーバex103は、視覚処理装置に対して、インターネットex101を介してプロファイルデータを提供するものであっても良い。さらに、ストリーミングサーバex103は、複数台存在し、それぞれ異なるプロファイルデータを提供するものであっても良い。さらに、ストリーミングサーバex103は、プロファイルの作成を行うものであっても良い。このように、インターネットex101を介して、視覚処理装置がプロファイルデータを取得できる場合、視覚処理装置は、あらかじめ視覚処理に用いるプロファイルデータを記憶しておく必要が無く、視覚処理装置の記憶容量を削減することも可能となる。また、インターネットex101介して接続される複数のサーバからプロファイルデータを取得できるため、異なる視覚処理を実現することが可能となる。
一例として携帯電話について説明する。
図45は、上記実施形態の視覚処理装置を備えた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ex115について図46を用いて説明する。携帯電話ex115は表示部ex202および操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCD(Liquid Crystal Display)制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306および音声処理部ex305が同期バスex313を介して互いに接続されている。
電源回路部ex310は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。
携帯電話ex115は、CPU、ROMおよびRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303およびLCD制御部ex302を介して表示部ex202に直接表示することも可能である。
画像符号化部ex312は、カメラ部ex203から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。
多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。
次に、画像復号化部ex309は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
以上の構成において、画像復号化部ex309は、上記実施形態の視覚処理装置を備えていても良い。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図47に示すようにディジタル放送用システムにも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを組み込むことができる。具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置が上記実施形態で説明した視覚処理装置を備えていてもよい。また、上記実施形態の視覚処理方法を用いるものであってもよい。さらに、視覚処理プログラムを備えていてもよい。また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットストリームを読み取り、復号化する再生装置ex403にも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に上記実施形態で説明した視覚処理装置を組み込んでも良い。また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。
更に、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。更にSDカードex422に記録することもできる。レコーダex420が上記実施形態の復号化装置を備えていれば、DVDディスクex421やSDカードex422に記録した画像信号を補間して再生し、モニタex408に表示することができる。
なお、カーナビゲーションex413の構成は例えば図46に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ(受信機)ex401等でも考えられる。
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。
このように、上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。
[付記]
本発明は、次のように表現することも可能である。
〈付記の内容〉
(付記1)
入力された画像信号に対して空間処理を行い、処理信号を出力する入力信号処理手段と、
前記画像信号と前記処理信号とを所定の変換により変換したそれぞれの値の差を強調する演算に基づいて出力信号を出力する信号演算手段と、
を備える視覚処理装置。
(付記2)
前記信号演算手段は、前記画像信号の値A、前記処理信号の値B、変換関数F1、前記変換関数F1の逆変換関数F2、強調関数F3に対して、数式F2(F1(A)+F3(F1(A)−F1(B)))に基づいて出力信号の値Cを演算する、
付記1に記載の視覚処理装置。
(付記3)
前記変換関数F1は、対数関数である、
付記2に記載の視覚処理装置。
(付記4)
前記逆変換関数F2は、ガンマ補正関数である、
付記2に記載の視覚処理装置。
(付記5)
前記信号演算手段は、前記画像信号および前記処理信号の信号空間の変換を行う信号空間変換手段と、変換後の前記画像信号と変換後の前記処理信号との差分信号に対して強調処理を行う強調処理手段と、変換後の前記画像信号と前記強調処理後の前記差分信号との加算信号に対して信号空間の逆変換を行い、前記出力信号を出力する逆変換手段とを有する、
付記2〜4のいずれかに記載の視覚処理装置。
(付記6)
入力された画像信号に対して空間処理を行い、処理信号を出力する入力信号処理手段と、
前記画像信号と前記処理信号との比を強調する演算に基づいて出力信号を出力する信号演算手段と、
を備える視覚処理装置。
(付記7)
前記信号演算手段は、前記画像信号のダイナミックレンジ圧縮をさらに行う前記演算に基づいて前記出力信号を出力する、
付記6に記載の視覚処理装置。
(付記8)
前記信号演算手段は、前記画像信号の値A、前記処理信号の値B、ダイナミックレンジ圧縮関数F4、強調関数F5に対して、数式F4(A)*F5(A/B)に基づいて出力信号の値Cを演算する、
付記6または7に記載の視覚処理装置。
(付記9)
前記ダイナミックレンジ圧縮関数F4は、比例係数1の正比例関数である、
付記8に記載の視覚処理装置。
(付記10)
前記ダイナミックレンジ圧縮関数F4は、単調増加関数である、
付記8に記載の視覚処理装置。
(付記11)
前記ダイナミックレンジ圧縮関数F4は、上に凸の関数である、
付記10に記載の視覚処理装置。
(付記12)
前記ダイナミックレンジ圧縮関数F4は、べき関数である、
付記8に記載の視覚処理装置。
(付記13)
前記ダイナミックレンジ圧縮関数F4におけるべき関数の指数は、画像表示を行う際のコントラストの目標値である目標コントラスト値と、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値とに基づいて定められる、
付記12に記載の視覚処理装置。
(付記14)
前記強調関数F5は、べき関数である、
付記8〜13のいずれかに記載の視覚処理装置。
(付記15)
前記強調関数F5におけるべき関数の指数は、画像表示を行う際のコントラストの目標値である目標コントラスト値と、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値とに基づいて定められる、
付記14に記載の視覚処理装置。
(付記16)
前記強調関数F5におけるべき関数の指数は、前記画像信号の値Aが前記処理信号の値Bよりも大きい場合に、前記画像信号の値Aに対して単調減少する値である、
付記14または15に記載の視覚処理装置。
(付記17)
前記強調関数F5におけるべき関数の指数は、前記画像信号の値Aが前記処理信号の値Bよりも小さい場合に、前記画像信号の値Aに対して単調増加する値である、
付記14または15に記載の視覚処理装置。
(付記18)
前記強調関数F5におけるべき関数の指数は、前記画像信号の値Aが前記処理信号の値Bよりも大きい場合に、前記画像信号の値Aに対して単調増加する値である、
付記14または15に記載の視覚処理装置。
(付記19)
前記強調関数F5におけるべき関数の指数は、前記画像信号の値Aと前記処理信号の値Bとの差の絶対値に対して単調増加する値である、
付記14または15に記載の視覚処理装置。
(付記20)
前記強調関数F5の最大値あるいは最小値の少なくとも一方は、所定の範囲内に制限されている、
付記14〜19のいずれかに記載の視覚処理装置。
(付記21)
前記信号演算手段は、前記画像信号を前記処理信号で除算した除算処理信号に対して強調処理を行う強調処理手段と、前記画像信号と前記強調処理された前記除算処理信号とに基づいて前記出力信号を出力する出力処理手段とを有する、
付記8に記載の視覚処理装置。
(付記22)
前記出力処理手段は、前記画像信号と前記強調処理された前記除算処理信号との乗算処理を行う、
付記21に記載の視覚処理装置。
(付記23)
前記出力処理手段は、前記画像信号に対してダイナミックレンジ(DR)圧縮を行うDR圧縮手段を含んでおり、前記DR圧縮された前記画像信号と前記強調処理された前記除算処理信号との乗算処理を行う、
付記21に記載の視覚処理装置。
(付記24)
第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、前記画像信号とする第1変換手段と、
第3の所定の範囲の前記出力信号を第4の所定の範囲に変換し、出力画像データとする第2変換手段と、
をさらに備え、
前記第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められており、
前記第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている、
付記8〜23のいずれかに記載の視覚処理装置。
(付記25)
前記ダイナミックレンジ圧縮関数F4は、前記第2の所定の範囲の前記画像信号を前記第3の所定の範囲の前記出力信号に変換する関数である、
付記24に記載の視覚処理装置。
(付記26)
前記第1変換手段は、前記第1の所定の範囲の最小値と最大値とのそれぞれを前記第2の所定の範囲の最小値と最大値とのそれぞれに変換し、
前記第2変換手段は、前記第3の所定の範囲の最小値と最大値とのそれぞれを前記第4の所定の範囲の最小値と最大値とのそれぞれに変換する、
付記24または25に記載の視覚処理装置。
(付記27)
前記第1変換手段および前記第2変換手段における変換は、それぞれ線形の変換である、
付記26に記載の視覚処理装置。
(付記28)
前記第3の所定の範囲を設定する設定手段をさらに備える、
付記24〜27のいずれかに記載の視覚処理装置。
(付記29)
前記設定手段は、画像表示を行う表示装置のダイナミックレンジを記憶する記憶手段と、画像表示を行う際の表示環境における環境光の輝度を測定する測定手段とを含む、
付記28に記載の視覚処理装置。
(付記30)
前記設定手段は、画像表示を行う表示装置の表示環境における黒レベル表示時と白レベル表示時との輝度を測定する測定手段を含む、
付記28に記載の視覚処理装置。
(付記31)
入力された画像信号に対して空間処理を行い、処理信号を出力する入力信号処理手段と、
前記画像信号と前記処理信号との差を、前記画像信号の値に応じて強調する演算に基づいて出力信号を出力する信号演算手段と、
を備える視覚処理装置。
(付記32)
前記信号演算手段は、前記強調する演算により強調された値に対して、前記画像信号をダイナミックレンジ圧縮した値を加える演算に基づいて前記出力信号を出力する、
付記31に記載の視覚処理装置。
(付記33)
前記信号演算手段は、前記画像信号の値A、前記処理信号の値B、強調量調整関数F6、強調関数F7、ダイナミックレンジ圧縮関数F8に対して、数式F8(A)+F6(A)*F7(A−B)に基づいて出力信号の値Cを演算する、
付記31または32に記載の視覚処理装置。
(付記34)
前記ダイナミックレンジ圧縮関数F8は、比例係数1の正比例関数である、
付記33に記載の視覚処理装置。
(付記35)
前記ダイナミックレンジ圧縮関数F8は、単調増加関数である、
付記33に記載の視覚処理装置。
(付記36)
前記ダイナミックレンジ圧縮関数F8は、上に凸の関数である、
付記35に記載の視覚処理装置。
(付記37)
前記ダイナミックレンジ圧縮関数F8は、べき関数である、
付記33に記載の視覚処理装置。
(付記38)
前記信号演算手段は、前記画像信号と前記処理信号との差分信号に対して前記画像信号の画素値に応じた強調処理を行う強調処理手段と、前記画像信号と前記強調処理された差分信号とに基づいて前記出力信号を出力する出力処理手段とを有する、
付記33に記載の視覚処理装置。
(付記39)
前記出力処理手段は、前記画像信号と前記強調処理された前記差分信号との加算処理を行う、
付記38に記載の視覚処理装置。
(付記40)
前記出力処理手段は、前記画像信号に対してダイナミックレンジ(DR)圧縮を行うDR圧縮手段を含んでおり、前記DR圧縮された前記画像信号と前記強調処理された前記差分信号との加算処理を行う、
付記38に記載の視覚処理装置。
(付記41)
入力された画像信号に対して空間処理を行い、処理信号を出力する入力信号処理手段と、
前記画像信号と前記処理信号との差を強調した値に対して、前記画像信号を階調補正した値を加える演算に基づいて出力信号を出力する信号演算手段と、
を備える視覚処理装置。
(付記42)
前記信号演算手段は、前記画像信号の値A、前記処理信号の値B、強調関数F11、階調補正関数F12に対して、数式F12(A)+F11(A−B)に基づいて出力信号の値Cを演算する、
付記41に記載の視覚処理装置。
(付記43)
前記信号演算手段は、前記画像信号と前記処理信号との差分信号に対して強調処理を行う強調処理手段と、階調補正された前記画像信号と前記強調処理された差分信号とを加算処理し出力信号として出力する加算処理手段とを有する、
付記42に記載の視覚処理装置。
(付記44)
第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする第1変換ステップと、
前記画像信号のダイナミックレンジ圧縮を行う演算、あるいは前記画像信号と前記画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する信号演算ステップと、
前記第3の所定の範囲の前記出力信号を第4の所定の範囲に変換し、出力画像データとする第2変換ステップと、
を備え、
前記第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められており、
前記第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている、
視覚処理方法。
(付記45)
第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする第1変換手段と、
前記画像信号のダイナミックレンジ圧縮を行う演算、あるいは前記画像信号と前記画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する信号演算手段と、
前記第3の所定の範囲の前記出力信号を第4の所定の範囲に変換し、出力画像データとする第2変換手段と、
を備え、
前記第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められており、
前記第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている、
視覚処理装置。
(付記46)
コンピュータに視覚処理を行わせるための視覚処理プログラムであって、
第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする第1変換ステップと、
前記画像信号のダイナミックレンジ圧縮を行う演算、あるいは前記画像信号と前記画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する信号演算ステップと、
前記第3の所定の範囲の前記出力信号を第4の所定の範囲に変換し、出力画像データとする第2変換ステップと、
を備え、
前記第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められており、
前記第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている、
視覚処理方法をコンピュータに対して行わせるものである、
視覚処理プログラム。
〈付記の説明〉
付記1に記載の視覚処理装置は、入力信号処理手段と、信号演算手段とを備えている。入力信号処理手段は、入力された画像信号に対して空間処理を行い、処理信号を出力する。信号演算手段は、画像信号と処理信号とを所定の変換により変換したそれぞれの値の差を強調する演算に基づいて出力信号を出力する。
ここで、空間処理とは、入力された画像信号に対して低域空間フィルタを適用する処理、あるいは、入力された画像信号の着目画素と周囲画素との平均値、最大値あるいは最小値などを導出する処理などである(以下、この欄において同じ)。また、強調する演算とは、例えば、ゲインを調整する演算、過度のコントラストを抑制する演算、小振幅のノイズ成分を抑制する演算などである(以下、この欄において同じ)。
本発明の視覚処理装置では、画像信号と処理信号とを別空間に変換した上でそれぞれの差を強調することが可能となる。これにより、例えば、視覚特性にあった強調などを実現することが可能となる。
付記2に記載の視覚処理装置は、付記1に記載の視覚処理装置であって、信号演算手段は、画像信号の値A、処理信号の値B、変換関数F1、変換関数F1の逆変換関数F2、強調関数F3に対して、数式F2(F1(A)+F3(F1(A)−F1(B)))に基づいて出力信号の値Cを演算する。
強調関数F3とは、例えば、ゲインを調整する関数、過度のコントラストを抑制する関数、小振幅のノイズ成分を抑制する関数などである。
出力信号の値Cは、次のことを示している。すなわち、画像信号の値Aと処理信号の値Bとは、変換関数F1により別空間上の値に変換されている。変換後の画像信号の値と処理信号の値との差分は、例えば、別空間上でのシャープ信号などを表している。強調関数F3により強調された変換後の画像信号と処理信号との差分は、変換後の画像信号に加算されている。これにより、出力信号の値Cは、別空間上におけるシャープ信号成分が強調された値を示している。
本発明の視覚処理装置では、例えば、別空間に変換された画像信号の値Aおよび処理信号の値Bを用いて、別空間上でのエッジ強調、コントラスト強調などの処理が可能となる。
付記3に記載の視覚処理装置は、付記2に記載の視覚処理装置であって、変換関数F1は、対数関数である。
ここで、人間の視覚特性は、一般に対数的である。このため対数空間に変換して画像信号および処理信号の処理を行うと、視覚特性に適した処理を行うことが可能となる。
本発明の視覚処理装置では、視覚的効果の高いコントラスト強調、あるいは局所コントラストを維持するダイナミックレンジ圧縮が可能となる。
付記4に記載の視覚処理装置は、付記2に記載の視覚処理装置であって、逆変換関数F2は、ガンマ補正関数である。
一般的に画像信号には、画像信号を入出力する機器のガンマ特性に応じて、ガンマ補正関数によるガンマ補正が施されている。
本発明の視覚処理装置では、変換関数F1により、画像信号のガンマ補正を外し、線形特性のもとで処理を行うことが可能となる。これにより、光学的なボケの補正を行うことが可能となる。
付記5に記載の視覚処理装置は、付記2〜4のいずれかに記載の視覚処理装置であって、信号演算手段は、信号空間変換手段と、強調処理手段と、逆変換手段とを有している。信号空間変換手段は、画像信号および処理信号の信号空間の変換を行う。強調処理手段は、変換後の画像信号と変換後の処理信号との差分信号に対して強調処理を行う。逆変換手段は、変換後の画像信号と強調処理後の差分信号との加算信号に対して信号空間の逆変換を行い、出力信号を出力する。
本発明の視覚処理装置では、信号空間変換手段は、変換関数F1を用いて、画像信号と処理信号との信号空間の変換を行う。強調処理手段は、強調関数F3を用いて、変換後の画像信号と変換後の処理信号との差分信号に対して強調処理を行う。逆変換手段は、逆変換関数F2を用いて、変換後の画像信号と強調処理後の差分信号との加算信号に対して信号空間の逆変換を行う。
付記6に記載の視覚処理装置は、入力信号処理手段と、信号演算手段とを備えている。入力信号処理手段は、入力された画像信号に対して空間処理を行い、処理信号を出力する。信号演算手段は、画像信号と処理信号との比を強調する演算に基づいて出力信号を出力する。
本発明の視覚処理装置では、例えば、画像信号と処理信号との比は、画像信号のシャープ成分を表している。このため、例えば、シャープ成分を強調する視覚処理を行うことが可能となる。
付記7に記載の視覚処理装置は、付記6に記載の視覚処理装置であって、信号演算手段は、画像信号のダイナミックレンジ圧縮をさらに行う演算に基づいて出力信号を出力する。
本発明の視覚処理装置では、例えば、画像信号と処理信号との比が表す画像信号のシャープ成分を強調しつつ、ダイナミックレンジの圧縮を行うことが可能となる。
付記8に記載の視覚処理装置は、付記6または7に記載の視覚処理装置であって、信号演算手段は、画像信号の値A、処理信号の値B、ダイナミックレンジ圧縮関数F4、強調関数F5に対して、数式F4(A)*F5(A/B)に基づいて出力信号の値Cを演算する。
ここで出力信号の値Cは、次のことを示している。すなわち、画像信号の値Aと処理信号の値Bとの除算量(A/B)は、例えばシャープ信号を表している。また、F5(A/B)は、例えば、シャープ信号の強調量を表している。これらは、画像信号の値Aと処理信号の値Bとを対数空間に変換し、それぞれの差分を強調処理するのと等価な処理を示しており、視覚特性に適した強調処理が行われている。
本発明の視覚処理装置では、必要に応じてダイナミックレンジの圧縮を行いつつ、局所的なコントラストを強調することが可能となる。
付記9に記載の視覚処理装置は、付記8に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、比例係数1の正比例関数である。
本発明の視覚処理装置では、画像信号の暗部から明部まで均一に、コントラストを強調することが可能となる。このコントラスト強調は、視覚特性に適した強調処理となっている。
付記10に記載の視覚処理装置は、付記8に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、単調増加関数である。
本発明の視覚処理装置では、単調増加関数であるダイナミックレンジ圧縮関数F4を用いてダイナミックレンジ圧縮を行いつつ、局所的なコントラストを強調することが可能となる。
付記11に記載の視覚処理装置は、付記10に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、上に凸の関数である。
本発明の視覚処理装置では、上に凸の関数であるダイナミックレンジ圧縮関数F4を用いてダイナミックレンジ圧縮を行いつつ、局所的なコントラストを強調することが可能となる。
付記12に記載の視覚処理装置は、付記8に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、べき関数である。
本発明の視覚処理装置では、べき関数であるダイナミックレンジ圧縮関数F4を用いてダイナミックレンジの変換を行いつつ、局所的なコントラストを強調することが可能となる。
付記13に記載の視覚処理装置は、付記12に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4におけるべき関数の指数は、画像表示を行う際のコントラストの目標値である目標コントラスト値と、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値とに基づいて定められる。
ここで、目標コントラスト値とは、画像表示を行う際のコントラストの目標値であり、例えば、画像表示を行う表示装置のダイナミックレンジにより決定される値などである。実コントラスト値とは、画像表示を行う際の表示環境におけるコントラスト値であり、例えば、環境光が存在する場合において表示装置が表示する画像のコントラストにより決定される値などである。
本発明の視覚処理装置では、ダイナミックレンジ圧縮関数F4により目標コントラスト値と等しいダイナミックレンジを有する画像信号を実コントラスト値と等しいダイナミックレンジにダイナミックレンジ圧縮することが可能となる。
付記14に記載の視覚処理装置は、付記8〜13のいずれかに記載の視覚処理装置であって、強調関数F5は、べき関数である。
本発明の視覚処理装置では、べき関数である強調関数F5を用いて局所的なコントラストを強調することが可能となり、視覚的にダイナミックレンジの変換を行うことが可能となる。
付記15に記載の視覚処理装置は、付記14に記載の視覚処理装置であって、強調関数F5におけるべき関数の指数は、画像表示を行う際のコントラストの目標値である目標コントラスト値と、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値とに基づいて定められる。
本発明の視覚処理装置では、べき関数である強調関数F5を用いて局所的なコントラストを強調することが可能となり、視覚的にダイナミックレンジの変換を行うことが可能となる。
付記16に記載の視覚処理装置は、付記14または15に記載の視覚処理装置であって、強調関数F5におけるべき関数の指数は、画像信号の値Aが処理信号の値Bよりも大きい場合に、画像信号の値Aに対して単調減少する値である。
本発明の視覚処理装置では、画像信号において周囲画素よりも輝度の高い着目画素のうち、高輝度の部分における局所的なコントラストの強調を弱めることが可能となる。このため、視覚処理された画像において、いわゆる白飛びが抑制される。
付記17に記載の視覚処理装置は、付記14または15に記載の視覚処理装置であって、強調関数F5におけるべき関数の指数は、画像信号の値Aが処理信号の値Bよりも小さい場合に、画像信号の値Aに対して単調増加する値である。
本発明の視覚処理装置では、画像信号において周囲画素よりも輝度の低い着目画素のうち、低輝度の部分における局所的なコントラストの強調を弱めることが可能となる。このため、視覚処理された画像において、いわゆる黒潰れが抑制される。
付記18に記載の視覚処理装置は、付記14または15に記載の視覚処理装置であって、強調関数F5におけるべき関数の指数は、画像信号の値Aが処理信号の値Bよりも大きい場合に、画像信号の値Aに対して単調増加する値である。
本発明の視覚処理装置では、画像信号において周囲画素よりも輝度の高い着目画素のうち、低輝度の部分における局所的なコントラストの強調を弱めることが可能となる。このため、視覚処理された画像において、SN比の劣化が抑制される。
付記19に記載の視覚処理装置は、付記14または15に記載の視覚処理装置であって、強調関数F5におけるべき関数の指数は、画像信号の値Aと処理信号の値Bとの差の絶対値に対して単調増加する値である。
ここで、画像信号の値Aと処理信号の値Bとの差の絶対値に対して単調増加する値とは、画像信号の値Aと処理信号の値Bとの比が1に近いほど増加すると定義することもできる。
本発明の視覚処理装置では、画像信号において周囲画素との明暗差が小さい着目画素における局所的なコントラストを特に強調し、画像信号において周囲画素との明暗差が大きい着目画素における局所的なコントラストを強調しすぎないということが可能となる。
付記20に記載の視覚処理装置は、付記14〜19のいずれかに記載の視覚処理装置であって、強調関数F5の最大値あるいは最小値の少なくとも一方は、所定の範囲内に制限されている。
本発明の視覚処理装置では、局所的なコントラストの強調量を適切な範囲に制限することが可能となる。
付記21に記載の視覚処理装置は、付記8に記載の視覚処理装置であって、信号演算手段は、強調処理手段と、出力処理手段とを有している。強調処理手段は、画像信号を処理信号で除算した除算処理信号に対して強調処理を行う。出力処理手段は、画像信号と強調処理された除算処理信号とに基づいて出力信号を出力する。
本発明の視覚処理装置では、強調処理手段は、画像信号を処理信号で除算した除算処理信号に対して、強調関数F5を用いて強調処理を行う。出力処理手段は、画像信号と除算処理信号に基づいて出力信号を出力する。
付記22に記載の視覚処理装置は、付記21に記載の視覚処理装置であって、出力処理手段は、画像信号と強調処理された除算処理信号との乗算処理を行う。
本発明の視覚処理装置では、ダイナミックレンジ圧縮関数F4は、例えば、比例係数1の正比例関数である。
付記23に記載の視覚処理装置は、付記21に記載の視覚処理装置であって、出力処理手段は、画像信号に対してダイナミックレンジ(DR)圧縮を行うDR圧縮手段を含んでおり、DR圧縮された画像信号と強調処理された除算処理信号との乗算処理を行う。
本発明の視覚処理装置では、DR圧縮手段は、ダイナミックレンジ圧縮関数F4を用いて画像信号のダイナミックレンジ圧縮を行う。
付記24に記載の視覚処理装置は、付記8〜23のいずれかに記載の視覚処理装置であって、第1変換手段と第2変換手段とをさらに備えている。第1変換手段は、第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする。第2変換手段は、第3の所定の範囲の出力信号を第4の所定の範囲に変換し、出力画像データとする。第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められている。第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている。
本発明の視覚処理装置では、環境光の存在によって低下した実コントラスト値まで画像全体のダイナミックレンジを圧縮しつつ、局所的には目標コントラスト値を維持することなどが可能となる。このため、視覚処理された画像の視覚的効果が向上する。
付記25に記載の視覚処理装置は、付記24に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、第2の所定の範囲の画像信号を第3の所定の範囲の出力信号に変換する関数である。
本発明の視覚処理装置では、ダイナミックレンジ圧縮関数F4により、画像全体のダイナミックレンジが第3の所定の範囲まで圧縮されている。
付記26に記載の視覚処理装置は、付記24または25に記載の視覚処理装置であって、第1変換手段は、第1の所定の範囲の最小値と最大値とのそれぞれを第2の所定の範囲の最小値と最大値とのそれぞれに変換する。第2変換手段は、第3の所定の範囲の最小値と最大値とのそれぞれを第4の所定の範囲の最小値と最大値とのそれぞれに変換する。
付記27に記載の視覚処理装置は、付記26に記載の視覚処理装置であって、第1変換手段および第2変換手段における変換は、それぞれ線形の変換である。
付記28に記載の視覚処理装置は、付記24〜27のいずれかに記載の視覚処理装置であって、第3の所定の範囲を設定する設定手段をさらに備える。
本発明の視覚処理装置では、画像表示を行う表示装置の表示環境に応じて第3の所定の範囲を設定可能となる。このため、より適切に環境光の補正を行うことが可能となる。
付記29に記載の視覚処理装置は、付記28に記載の視覚処理装置であって、設定手段は、画像表示を行う表示装置のダイナミックレンジを記憶する記憶手段と、画像表示を行う際の表示環境における環境光の輝度を測定する測定手段とを含む。
本発明の視覚処理装置では、環境光の輝度を測定し、測定された輝度と表示装置のダイナミックレンジとから実コントラスト値を決定することが可能となる。
付記30に記載の視覚処理装置は、付記28に記載の視覚処理装置であって、設定手段は、画像表示を行う表示装置の表示環境における黒レベル表示時と白レベル表示時との輝度を測定する測定手段を含む。
本発明の視覚処理装置では、表示環境における黒レベル表示時と白レベル表示時との輝度を測定し実コントラスト値を決定することが可能となる。
付記31に記載の視覚処理装置は、入力信号処理手段と、信号演算手段とを備えている。入力信号処理手段は、入力された画像信号に対して空間処理を行い、処理信号を出力する。信号演算手段は、画像信号と処理信号との差を、画像信号の値に応じて強調する演算に基づいて出力信号を出力する。
本発明の視覚処理装置では、例えば、画像信号と処理信号との差である画像信号のシャープ成分を画像信号の値に応じて強調することが可能となる。このため、画像信号の暗部から明部まで適切な強調を行うことが可能となる。
付記32に記載の視覚処理装置は、付記31に記載の視覚処理装置であって、信号演算手段は、強調する演算により強調された値に対して、画像信号をダイナミックレンジ圧縮した値を加える演算に基づいて出力信号を出力する。
本発明の視覚処理装置では、例えば、画像信号のシャープ成分などを画像信号の値に応じて強調しつつ、ダイナミックレンジの圧縮を行うことが可能となる。
付記33に記載の視覚処理装置は、付記31または32に記載の視覚処理装置であって、信号演算手段は、画像信号の値A、処理信号の値B、強調量調整関数F6、強調関数F7、ダイナミックレンジ圧縮関数F8に対して、数式F8(A)+F6(A)*F7(A−B)に基づいて出力信号の値Cを演算する。
ここで出力信号の値Cは、次のことを示している。すなわち、画像信号の値Aと処理信号の値Bとの差分(A−B)は、例えばシャープ信号を表している。また、F7(A−B)は、例えば、シャープ信号の強調量を表している。さらに、強調量は、強調量調整関数F6により、画像信号の値Aに応じて調整され、必要に応じてダイナミックレンジ圧縮を行った画像信号に対して加算されている。
本発明の視覚処理装置では、例えば、画像信号Aの値が大きいところでは、強調量を減らすなど暗部から明部までのコントラストを維持することが可能となる。また、ダイナミックレンジ圧縮を行った場合でも、暗部から明部までの局所コントラストを維持することが可能となる。
付記34に記載の視覚処理装置は、付記33に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F8は、比例係数1の正比例関数である。
本発明の視覚処理装置では、画像信号の暗部から明部まで均一に、コントラストを強調することが可能となる。
付記35に記載の視覚処理装置は、付記33に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F8は、単調増加関数である。
本発明の視覚処理装置では、単調増加関数であるダイナミックレンジ圧縮関数F8を用いてダイナミックレンジ圧縮を行いつつ、局所的なコントラストを維持することが可能となる。
付記36に記載の視覚処理装置は、付記35に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F8は、上に凸の関数である。
本発明の視覚処理装置では、上に凸の関数であるダイナミックレンジ圧縮関数F8を用いてダイナミックレンジ圧縮を行いつつ、局所的なコントラストを維持することが可能となる。
付記37に記載の視覚処理装置は、付記33に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F8は、べき関数である。
本発明の視覚処理装置では、べき関数であるダイナミックレンジ圧縮関数F8を用いてダイナミックレンジの変換を行いつつ、局所的なコントラストを維持することが可能となる。
付記38に記載の視覚処理装置は、付記33に記載の視覚処理装置であって、信号演算手段は、強調処理手段と、出力処理手段とを有している。強調処理手段は、画像信号と処理信号との差分信号に対して画像信号の画素値に応じた強調処理を行う。出力処理手段は、画像信号と強調処理された差分信号とに基づいて出力信号を出力する。
本発明の視覚処理装置では、強調処理手段は、強調量調整関数F6により強調量を調整された強調関数F7を用いて強調処理を行う。出力処理手段は、画像信号と差分信号とに基づいて出力信号を出力する。
付記39に記載の視覚処理装置は、付記38に記載の視覚処理装置であって、出力処理手段は、画像信号と強調処理された差分信号との加算処理を行う。
本発明の視覚処理装置では、ダイナミックレンジ圧縮関数F8は、例えば、比例係数1の正比例関数である。
付記40に記載の視覚処理装置は、付記38に記載の視覚処理装置であって、出力処理手段は、画像信号に対してダイナミックレンジ(DR)圧縮を行うDR圧縮手段を含んでおり、DR圧縮された画像信号と強調処理された差分信号との加算処理を行う。
本発明の視覚処理装置では、DR圧縮手段は、ダイナミックレンジ圧縮関数F8を用いて画像信号のダイナミックレンジ圧縮を行う。
付記41に記載の視覚処理装置は、入力信号処理手段と、信号演算手段とを備えている。入力信号処理手段は、入力された画像信号に対して空間処理を行い、処理信号を出力する。信号演算手段は、画像信号と処理信号との差を強調した値に対して、画像信号を階調補正した値を加える演算に基づいて出力信号を出力する。
本発明の視覚処理装置では、例えば、画像信号と処理信号との差は、画像信号のシャープ成分を表している。また、シャープ成分の強調と画像信号の階調補正とは独立して行われる。このため、画像信号の階調補正量にかかわらず、一定のシャープ成分の強調を行うことが可能となる。
付記42に記載の視覚処理装置は、付記41に記載の視覚処理装置であって、信号演算手段は、画像信号の値A、処理信号の値B、強調関数F11、階調補正関数F12に対して、数式F12(A)+F11(A−B)に基づいて出力信号の値Cを演算する。
ここで出力信号の値Cは、次のことを示している。すなわち、画像信号の値Aと処理信号の値Bとの差分(A−B)は、例えば、シャープ信号を表している。また、F11(A−B)は、例えば、シャープ信号の強調処理を表している。さらに、階調補正された画像信号と強調処理されたシャープ信号とが加算されていることを表している。
本発明の視覚処理装置では、階調補正にかかわらず、一定のコントラスト強調を行うことが可能となる。
付記43に記載の視覚処理装置は、付記42に記載の視覚処理装置であって、信号演算手段は、強調処理手段と、加算処理手段とを有している。強調処理手段は、画像信号と処理信号との差分信号に対して強調処理を行う。加算処理手段は、階調補正された画像信号と強調処理された差分信号とを加算処理し出力信号として出力する。
本発明の視覚処理装置では、強調処理手段は、差分信号に対して、強調関数F11を用いて強調処理を行う。加算処理手段は、階調補正関数F12を用いて階調補正処理した画像信号と、強調処理された差分信号とを加算処理する。
付記44に記載の視覚処理方法は、第1変換ステップと、信号演算ステップと、第2変換ステップとを備えている。第1変換ステップは、第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする。信号演算ステップは、画像信号のダイナミックレンジ圧縮を行う演算、あるいは画像信号と画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する。第2変換ステップは、第3の所定の範囲の出力信号を第4の所定の範囲に変換し、出力画像データとする。第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められている。第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている。
本発明の視覚処理方法では、例えば、環境光の存在によって低下した実コントラスト値まで画像全体のダイナミックレンジを圧縮しつつ、局所的には目標コントラスト値を維持することなどが可能となる。このため、視覚処理された画像の視覚的効果が向上する。
付記45に記載の視覚処理装置は、第1変換手段と、信号演算手段と、第2変換手段とを備えている。第1変換手段は、第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする。信号演算手段は、画像信号のダイナミックレンジ圧縮を行う演算、あるいは画像信号と画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する。第2変換手段は、第3の所定の範囲の出力信号を第4の所定の範囲に変換し、出力画像データとする。第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められている。第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている。
本発明の視覚処理装置では、例えば、環境光の存在によって低下した実コントラスト値まで画像全体のダイナミックレンジを圧縮しつつ、局所的には目標コントラスト値を維持することなどが可能となる。このため、視覚処理された画像の視覚的効果が向上する。
付記46に記載の視覚処理プログラムは、コンピュータに視覚処理を行わせるための視覚処理プログラムであって、第1変換ステップと、信号演算ステップと、第2変換ステップとをそなえる視覚処理方法をコンピュータに対して行わせるものである。
第1変換ステップは、第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする。信号演算ステップは、画像信号のダイナミックレンジ圧縮を行う演算、あるいは画像信号と画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する。第2変換ステップは、第3の所定の範囲の出力信号を第4の所定の範囲に変換し、出力画像データとする。第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められている。第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている。
本発明の視覚処理プログラムでは、例えば、環境光の存在によって低下した実コントラスト値まで画像全体のダイナミックレンジを圧縮しつつ、局所的には目標コントラスト値を維持することなどが可能となる。このため、視覚処理された画像の視覚的効果が向上する。
本発明の視覚処理装置により、視覚処理された画像を視覚する者にとって、より視覚的効果の高い画像を得ることが可能となり、視覚処理装置、特に、画像信号の空間処理または階調処理などの視覚処理を行う視覚処理装置として有用である。
1 視覚処理装置
2 空間処理部
3 視覚処理部
4 2次元LUT
IS 入力信号
US アンシャープ信号
OS 出力信号
TIS 変換入力信号
TUS 変換アンシャープ信号
DS 差分信号
TS 強調処理信号
PS 加算信号
RS 除算信号
DRS DR圧縮信号
MS 乗算信号
IC 強調量調整信号
GC 階調補正信号

Claims (12)

  1. 環境光を表すパラメータに基づいて調整パラメータを出力するパラメータ出力部と、
    入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、前記周囲情報を処理信号として出力する空間処理部と、
    前記処理信号と、前記調整パラメータに基づき決定された変換特性により、前記画像信号を変換し、出力信号を出力する視覚処理部と、
    を備え、
    前記視覚処理部が有する変換特性は、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記調整パラメータに基づき、前記対象画素の周囲の画素との明暗差の絶対値が小さい前記対象画素において、前記環境光の明るさが大きいほど、前記対象画素の値に対して、前記出力信号の値が下に凸となる度合いが大きくなる、
    特性を含むことを特徴とする、
    視覚処理装置。
  2. 前記変換特性は、前記調整パラメータに基づき、前記環境光の明るさが大きいほど、前記画像信号の局所コントラスト強調の度合いを大きくする、
    請求項1に記載の視覚処理装置。
  3. 前記パラメータ出力手段は、前記環境光を表すパラメータと外部から入力される外部パラメータとに基づいて調整パラメータを出力することを特徴とする、
    請求項1または2に記載の視覚処理装置。
  4. 前記環境光を表すパラメータ、あるいは前記調整パラメータの時間変化を制御する時間変化調整部、
    をさらに備える、
    請求項1から3のいずれか1項に記載の視覚処理装置。
  5. 環境光を表すパラメータに基づいて調整パラメータを出力するパラメータ出力部と、
    入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、前記周囲情報を処理信号として出力する空間処理部と、
    前記処理信号と、前記調整パラメータに基づき決定された変換特性により、前記画像信号を変換し、出力信号を出力する視覚処理部と、
    前記出力信号を表示する表示部と、
    を備え、
    前記視覚処理部が有する変換特性は、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記調整パラメータに基づき、前記対象画素の周囲の画素との明暗差の絶対値が小さい前記対象画素において、前記環境光の明るさが大きいほど、前記対象画素の値に対して、前記出力信号の値が下に凸となる度合いが大きくなる、
    特性を含むことを特徴とする、
    画像表示装置。
  6. 映像信号を受信する受信部と、
    前記映像信号を復号し画像信号を出力する復号部と、
    環境光を表すパラメータに基づいて調整パラメータを出力するパラメータ出力部と、
    前記画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、
    前記周囲情報を処理信号として出力する空間処理部と、
    前記処理信号と、前記調整パラメータに基づき決定された変換特性により、前記画像信号を変換し、出力信号を出力する視覚処理部と、
    前記出力信号を表示する表示部と、
    を備え、
    前記視覚処理部が有する変換特性は、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記調整パラメータに基づき、前記対象画素の周囲の画素との明暗差の絶対値が小さい前記対象画素において、前記環境光の明るさが大きいほど、前記対象画素の値に対して、前記出力信号の値が下に凸となる度合いが大きくなる、
    特性を含むことを特徴とする、
    テレビジョン。
  7. 映像信号を受信する受信部と、
    前記映像信号を復号し画像信号を出力する復号部と、
    環境光を表すパラメータに基づいて調整パラメータを出力するパラメータ出力部と、
    前記画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、
    前記周囲情報を処理信号として出力する空間処理部と、
    前記処理信号と、前記調整パラメータに基づき決定された変換特性により、前記画像信号を変換し、出力信号を出力する視覚処理部と、
    前記出力信号を表示する表示部と、
    を備え、
    前記視覚処理部が有する変換特性は、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記調整パラメータに基づき、前記対象画素の周囲の画素との明暗差の絶対値が小さい前記対象画素において、前記環境光の明るさが大きいほど、前記対象画素の値に対して、前記出力信号の値が下に凸となる度合いが大きくなる、
    特性を含むことを特徴とする、
    携帯情報端末。
  8. 前記パラメータ出力部は、
    前記表示部の表示環境の明るさを検出する明るさ検出部をさらに備え、
    前記明るさ検出部が検出した表示環境の明るさに応じて、前記調整パラメータを出力する、
    請求項からのいずれか1項に記載の画像表示装置。
  9. 画像を行う撮影して画像信号を生成する撮影部と、
    環境光を表すパラメータに基づいて調整パラメータを出力するパラメータ出力部と、
    前記画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、
    前記周囲情報を処理信号として出力する空間処理部と、
    前記処理信号と、前記調整パラメータに基づき決定された変換特性により、前記画像信号を変換し、出力信号を出力する視覚処理部と、
    前記出力信号を表示する表示部と、
    を備え、
    前記視覚処理部が有する変換特性は、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記調整パラメータに基づき、前記対象画素の周囲の画素との明暗差の絶対値が小さい前記対象画素において、前記環境光の明るさが大きいほど、前記対象画素の値に対して、前記出力信号の値が下に凸となる度合いが大きくなる、
    特性を含むことを特徴とする、
    カメラ。
  10. 環境光を表すパラメータに基づいて調整パラメータを出力するパラメータ出力ステップと、
    入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、前記周囲情報を処理信号として出力する空間処理ステップと、
    前記処理信号と、前記調整パラメータに基づき決定された変換特性により、前記画像信号を変換し、出力信号を出力する視覚処理ステップと、
    を含み、
    前記視覚処理ステップが有する変換特性は、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記調整パラメータに基づき、前記対象画素の周囲の画素との明暗差の絶対値が小さい前記対象画素において、前記環境光の明るさが大きいほど、前記対象画素の値に対して、前記出力信号の値が下に凸となる度合いが大きくなる、
    特性を含むことを特徴とする、
    視覚処理方法。
  11. 画像出力装置に用いられる集積回路であって、
    環境光を表すパラメータに基づいて調整パラメータを出力するパラメータ出力ステップと、
    入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、前記周囲情報を処理信号として出力する空間処理ステップと、
    前記処理信号と、前記調整パラメータに基づき決定された変換特性により、前記画像信号を変換し、出力信号を出力する視覚処理ステップと、
    を実行し、
    前記視覚処理ステップが有する変換特性は、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記調整パラメータに基づき、前記対象画素の周囲の画素との明暗差の絶対値が小さい前記対象画素において、前記環境光の明るさが大きいほど、前記対象画素の値に対して、前記出力信号の値が下に凸となる度合いが大きくなる、
    特性を含むことを特徴とする、
    画像出力装置に用いられる集積回路。
  12. コンピュータにより画像信号の処理を行う画像処理プログラムであって、
    前記画像処理プログラムは、
    環境光を表すパラメータに基づいて調整パラメータを出力するパラメータ出力ステップと、
    入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、前記周囲情報を処理信号として出力する空間処理ステップと、
    前記処理信号と、前記調整パラメータに基づき決定された変換特性により、前記画像信号を変換し、出力信号を出力する視覚処理ステップと、
    を含み、
    前記視覚処理ステップが有する変換特性は、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記調整パラメータに基づき、前記対象画素の周囲の画素との明暗差の絶対値が小さい前記対象画素において、前記環境光の明るさが大きいほど、前記対象画素の値に対して、前記出力信号の値が下に凸となる度合いが大きくなる、
    特性を含むことを特徴とする、
    視覚処理方法を、コンピュータに行わせるものである、
    画像処理プログラム。
JP2009115325A 2003-09-11 2009-05-12 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ Expired - Fee Related JP4688945B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009115325A JP4688945B2 (ja) 2003-09-11 2009-05-12 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2003320060 2003-09-11
JP2003320060 2003-09-11
JP2004084118 2004-03-23
JP2004084118 2004-03-23
JP2009115325A JP4688945B2 (ja) 2003-09-11 2009-05-12 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004264004A Division JP4414307B2 (ja) 2003-09-11 2004-09-10 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010288267A Division JP4745458B2 (ja) 2003-09-11 2010-12-24 視覚処理装置

Publications (2)

Publication Number Publication Date
JP2009213155A JP2009213155A (ja) 2009-09-17
JP4688945B2 true JP4688945B2 (ja) 2011-05-25

Family

ID=34315662

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2009115325A Expired - Fee Related JP4688945B2 (ja) 2003-09-11 2009-05-12 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP2010288267A Expired - Fee Related JP4745458B2 (ja) 2003-09-11 2010-12-24 視覚処理装置
JP2011083128A Active JP5300906B2 (ja) 2003-09-11 2011-04-04 視覚処理装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2010288267A Expired - Fee Related JP4745458B2 (ja) 2003-09-11 2010-12-24 視覚処理装置
JP2011083128A Active JP5300906B2 (ja) 2003-09-11 2011-04-04 視覚処理装置

Country Status (5)

Country Link
US (1) US20070109447A1 (ja)
EP (1) EP1667065B1 (ja)
JP (3) JP4688945B2 (ja)
KR (2) KR101027849B1 (ja)
WO (1) WO2005027042A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100640063B1 (ko) * 2005-02-18 2006-10-31 삼성전자주식회사 외부조도를 고려한 영상향상방법 및 장치
TW200631432A (en) * 2005-02-21 2006-09-01 Asustek Comp Inc Display system and displaying method capable of auto-adjusting display brightness
JP4872508B2 (ja) 2006-07-28 2012-02-08 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
KR100782505B1 (ko) * 2006-09-19 2007-12-05 삼성전자주식회사 이동통신 단말기의 명암색을 이용한 영상 표시 방법 및장치
KR100827239B1 (ko) * 2006-10-17 2008-05-07 삼성전자주식회사 영상의 시인성을 향상시키는 장치 및 방법
WO2008099443A1 (ja) 2007-01-30 2008-08-21 Fujitsu Limited 画像生成プログラム、画像生成装置、画像生成方法
US20100277452A1 (en) * 2007-02-23 2010-11-04 Sony Corporation Mobile display control system
US20080204599A1 (en) * 2007-02-23 2008-08-28 Sony Corporation Mobile display control system
JP4858610B2 (ja) * 2007-02-28 2012-01-18 株式会社ニコン 画像処理方法
JP4894595B2 (ja) * 2007-04-13 2012-03-14 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP2009071621A (ja) * 2007-09-13 2009-04-02 Panasonic Corp 画像処理装置及びデジタルカメラ
JP4314305B1 (ja) * 2008-02-04 2009-08-12 シャープ株式会社 鮮鋭化画像処理装置、方法、及びソフトウェア
JP5275122B2 (ja) * 2008-05-30 2013-08-28 パナソニック株式会社 ダイナミックレンジ圧縮装置、ダイナミックレンジ圧縮方法、プログラム、集積回路および撮像装置
JP5169652B2 (ja) * 2008-09-08 2013-03-27 セイコーエプソン株式会社 画像処理装置、画像表示装置、画像処理方法及び画像表示方法
JP5487610B2 (ja) * 2008-12-18 2014-05-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8654140B2 (en) * 2008-12-26 2014-02-18 Seiko Epson Corporation Image processor, image display device, and image processing method
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
KR101389932B1 (ko) 2011-11-29 2014-04-29 연세대학교 산학협력단 이미지 톤 매핑 장치 및 방법
JP5933332B2 (ja) * 2012-05-11 2016-06-08 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記憶した記録媒体
JP5514344B2 (ja) 2012-05-15 2014-06-04 シャープ株式会社 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
KR101947125B1 (ko) * 2012-11-27 2019-02-13 엘지디스플레이 주식회사 타이밍 컨트롤러 및 그 구동 방법과 이를 이용한 표시장치
RU2563333C2 (ru) * 2013-07-18 2015-09-20 Федеральное государственное унитарное предприятие "Научно-производственное объединение автоматики имени академика Н.А. Семихатова" Бесплатформенная инерциальная навигационная система
KR102111777B1 (ko) * 2013-09-05 2020-05-18 삼성디스플레이 주식회사 영상 표시장치 및 그의 구동 방법
WO2015073377A1 (en) 2013-11-13 2015-05-21 Dolby Laboratories Licensing Corporation Workflow for content creation and guided display management of edr video
RU2548927C1 (ru) * 2013-12-05 2015-04-20 Федеральное государственное унитарное предприятие "Научное объединение автоматики имени академика Н.А. Семихатова" Система астронавигации
JP6335614B2 (ja) * 2014-04-25 2018-05-30 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
JP6523151B2 (ja) * 2015-12-09 2019-05-29 富士フイルム株式会社 表示装置
US10043456B1 (en) * 2015-12-29 2018-08-07 Amazon Technologies, Inc. Controller and methods for adjusting performance properties of an electrowetting display device
US10664960B1 (en) * 2019-04-15 2020-05-26 Hanwha Techwin Co., Ltd. Image processing device and method to perform local contrast enhancement

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11501841A (ja) * 1995-03-10 1999-02-16 アキュソン コーポレイション イメージングシステム用表示プロセッサ
JP2002204372A (ja) * 2000-12-28 2002-07-19 Canon Inc 画像処理装置およびその方法

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US660774A (en) * 1900-03-23 1900-10-30 Thomas H Hicks Amalgamator.
DE3024459A1 (de) * 1979-07-03 1981-01-08 Crosfield Electronics Ltd Pyramideninterpolation
US4837722A (en) * 1986-05-14 1989-06-06 Massachusetts Institute Of Technology Digital high speed 3-dimensional interpolation machine
JPH0348980A (ja) * 1989-07-18 1991-03-01 Fujitsu Ltd 輪郭強調処理方式
JP2663189B2 (ja) * 1990-01-29 1997-10-15 富士写真フイルム株式会社 画像のダイナミックレンジ圧縮処理方法
JP2752309B2 (ja) * 1993-01-19 1998-05-18 松下電器産業株式会社 表示装置
JP3196864B2 (ja) * 1993-04-19 2001-08-06 富士写真フイルム株式会社 画像のダイナミックレンジ圧縮処理方法
US5483360A (en) * 1994-06-06 1996-01-09 Xerox Corporation Color printer calibration with blended look up tables
US5774599A (en) * 1995-03-14 1998-06-30 Eastman Kodak Company Method for precompensation of digital images for enhanced presentation on digital displays with limited capabilities
US6094185A (en) * 1995-07-05 2000-07-25 Sun Microsystems, Inc. Apparatus and method for automatically adjusting computer display parameters in response to ambient light and user preferences
JP3003561B2 (ja) * 1995-09-25 2000-01-31 松下電器産業株式会社 階調変換方法及びその回路と画像表示方法及びその装置と画像信号変換装置
EP1156451B1 (en) * 1995-09-29 2004-06-02 Fuji Photo Film Co., Ltd. Image processing method and apparatus
JPH09275496A (ja) * 1996-04-04 1997-10-21 Dainippon Screen Mfg Co Ltd 画像の輪郭強調処理装置および方法
JPH1065930A (ja) * 1996-08-19 1998-03-06 Fuji Xerox Co Ltd カラー画像処理方法およびカラー画像処理装置
US6351558B1 (en) * 1996-11-13 2002-02-26 Seiko Epson Corporation Image processing system, image processing method, and medium having an image processing control program recorded thereon
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
KR100261214B1 (ko) * 1997-02-27 2000-07-01 윤종용 영상처리 시스템의 콘트라스트 확장장치에서 히스토그램 등화방법 및 장치
JP2951909B2 (ja) * 1997-03-17 1999-09-20 松下電器産業株式会社 撮像装置の階調補正装置及び階調補正方法
JPH10334218A (ja) * 1997-06-02 1998-12-18 Canon Inc 画像処理装置およびその方法、並びに、記録媒体
JP3585703B2 (ja) * 1997-06-27 2004-11-04 シャープ株式会社 画像処理装置
US6147664A (en) * 1997-08-29 2000-11-14 Candescent Technologies Corporation Controlling the brightness of an FED device using PWM on the row side and AM on the column side
US6069597A (en) * 1997-08-29 2000-05-30 Candescent Technologies Corporation Circuit and method for controlling the brightness of an FED device
GB2335326B (en) * 1997-10-31 2002-04-17 Sony Corp Image processing apparatus and method and providing medium.
US6411306B1 (en) * 1997-11-14 2002-06-25 Eastman Kodak Company Automatic luminance and contrast adustment for display device
WO1999033684A2 (en) * 1997-12-31 1999-07-08 Gentex Corporation Vehicle vision system
US6323869B1 (en) * 1998-01-09 2001-11-27 Eastman Kodak Company Method and system for modality dependent tone scale adjustment
JP3809298B2 (ja) * 1998-05-26 2006-08-16 キヤノン株式会社 画像処理方法、装置および記録媒体
US6643398B2 (en) * 1998-08-05 2003-11-04 Minolta Co., Ltd. Image correction device, image correction method and computer program product in memory for image correction
US6275605B1 (en) * 1999-01-18 2001-08-14 Eastman Kodak Company Method for adjusting the tone scale of a digital image
US6674436B1 (en) * 1999-02-01 2004-01-06 Microsoft Corporation Methods and apparatus for improving the quality of displayed images through the use of display device and display condition information
US6580835B1 (en) * 1999-06-02 2003-06-17 Eastman Kodak Company Method for enhancing the edge contrast of a digital image
JP2001111858A (ja) * 1999-08-03 2001-04-20 Fuji Photo Film Co Ltd 色修正定義作成方法、色修正定義作成装置、および色修正定義作成プログラム記憶媒体
JP4076302B2 (ja) * 1999-08-31 2008-04-16 シャープ株式会社 画像の輝度補正方法
US7006668B2 (en) * 1999-12-28 2006-02-28 Canon Kabushiki Kaisha Image processing method and image processing apparatus
US6618045B1 (en) * 2000-02-04 2003-09-09 Microsoft Corporation Display device with self-adjusting control parameters
JP3758452B2 (ja) * 2000-02-28 2006-03-22 コニカミノルタビジネステクノロジーズ株式会社 記録媒体、並びに、画像処理装置および画像処理方法
US6813041B1 (en) * 2000-03-31 2004-11-02 Hewlett-Packard Development Company, L.P. Method and apparatus for performing local color correction
US6822762B2 (en) * 2000-03-31 2004-11-23 Hewlett-Packard Development Company, L.P. Local color correction
JP4081219B2 (ja) * 2000-04-17 2008-04-23 富士フイルム株式会社 画像処理方法及び画像処理装置
US20020154138A1 (en) * 2000-08-28 2002-10-24 Osamu Wada Environment adaptive image display system, image processing method and information storing medium
US6483245B1 (en) * 2000-09-08 2002-11-19 Visteon Corporation Automatic brightness control using a variable time constant filter
JP3793987B2 (ja) * 2000-09-13 2006-07-05 セイコーエプソン株式会社 補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体
US6856704B1 (en) * 2000-09-13 2005-02-15 Eastman Kodak Company Method for enhancing a digital image based upon pixel color
US6915024B1 (en) * 2000-09-29 2005-07-05 Hewlett-Packard Development Company, L.P. Image sharpening by variable contrast mapping
US7023580B2 (en) * 2001-04-20 2006-04-04 Agilent Technologies, Inc. System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines
US6826310B2 (en) * 2001-07-06 2004-11-30 Jasc Software, Inc. Automatic contrast enhancement
JP3705180B2 (ja) * 2001-09-27 2005-10-12 セイコーエプソン株式会社 画像表示システム、プログラム、情報記憶媒体および画像処理方法
JP3752448B2 (ja) * 2001-12-05 2006-03-08 オリンパス株式会社 画像表示システム
JP2003242498A (ja) * 2002-02-18 2003-08-29 Konica Corp 画像処理方法および画像処理装置ならびに画像出力方法および画像出力装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11501841A (ja) * 1995-03-10 1999-02-16 アキュソン コーポレイション イメージングシステム用表示プロセッサ
JP2002204372A (ja) * 2000-12-28 2002-07-19 Canon Inc 画像処理装置およびその方法

Also Published As

Publication number Publication date
KR20110007630A (ko) 2011-01-24
JP4745458B2 (ja) 2011-08-10
KR101027849B1 (ko) 2011-04-07
KR101089426B1 (ko) 2011-12-07
US20070109447A1 (en) 2007-05-17
WO2005027042A1 (ja) 2005-03-24
EP1667065A4 (en) 2009-06-03
KR20060121875A (ko) 2006-11-29
JP2011172260A (ja) 2011-09-01
EP1667065A1 (en) 2006-06-07
EP1667065B1 (en) 2018-06-06
JP5300906B2 (ja) 2013-09-25
JP2011090706A (ja) 2011-05-06
JP2009213155A (ja) 2009-09-17

Similar Documents

Publication Publication Date Title
JP4688945B2 (ja) 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP4410304B2 (ja) 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP4857360B2 (ja) 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP4157592B2 (ja) 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
JP2008159069A5 (ja)
JP4440245B2 (ja) 視覚処理装置、表示装置および集積回路
JP4437150B2 (ja) 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
JP2009211708A (ja) 階調変換処理装置、テレビジョン、情報携帯端末、カメラ、階調変換処理方法およびプロセッサ
JP4414307B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP4126297B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末
JP2006024176A5 (ja)
JP4094652B2 (ja) 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路
JP4414464B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP4126298B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110215

R150 Certificate of patent or registration of utility model

Ref document number: 4688945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees