JP5247910B1 - 画像表示装置またはその方法 - Google Patents

画像表示装置またはその方法 Download PDF

Info

Publication number
JP5247910B1
JP5247910B1 JP2012078891A JP2012078891A JP5247910B1 JP 5247910 B1 JP5247910 B1 JP 5247910B1 JP 2012078891 A JP2012078891 A JP 2012078891A JP 2012078891 A JP2012078891 A JP 2012078891A JP 5247910 B1 JP5247910 B1 JP 5247910B1
Authority
JP
Japan
Prior art keywords
illumination light
light component
component
image display
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012078891A
Other languages
English (en)
Other versions
JP2013210709A (ja
Inventor
玲央 安倍
政史 中尾
正史 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eizo Corp
Original Assignee
Eizo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012078891A priority Critical patent/JP5247910B1/ja
Application filed by Eizo Corp filed Critical Eizo Corp
Priority to AU2012374785A priority patent/AU2012374785B2/en
Priority to EP12872320.2A priority patent/EP2833317B1/en
Priority to RU2014137568A priority patent/RU2617328C2/ru
Priority to IN8975DEN2014 priority patent/IN2014DN08975A/en
Priority to PCT/JP2012/071861 priority patent/WO2013145365A1/ja
Priority to US14/388,610 priority patent/US20150123985A1/en
Priority to CN201280071981.8A priority patent/CN104221051B/zh
Application granted granted Critical
Publication of JP5247910B1 publication Critical patent/JP5247910B1/ja
Publication of JP2013210709A publication Critical patent/JP2013210709A/ja
Priority to US15/252,388 priority patent/US10134359B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/20—Function-generator circuits, e.g. circle generators line or curve smoothing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】 暗部の視認性を向上しつつ、過補正による画質劣化を防止する。
【解決手段】 反射率算出部２７は、反射率成分Rの振幅を調節するパラメータRGainを記憶している。照明光補正部２５は、照明光成分Ｌと式L1=(log(LAmp*L+1))/(log(LAmp+1)）とから、補正後照明光成分L1を生成する。画像再合成部２９は、L’＝LGain＊L1＋（１−LGain）＊Lから補正後の照明光成分L’を求める。画像再合成部２９は、補正後照明光成分L’と補正後反射率R’から、式Iout＝exp（logL’＋RGain(logI-logL)）から、補正画像Ioutを演算する。補正後照明光成分（L‘）の値を補正関数の出力値（L1）と元の照明光成分（L）との混合比（LGain)で決定することにより、コントラストをある程度維持しつつ、自然な画像とすることができる。
【選択図】 図１

Description

この発明は、表示装置におけるレティネックス処理に関し、特に、階調変換強度の調整に関する。
撮像装置におけるダイナミックレンジの圧縮方法として、レティネックス理論による画像処理が知られている。これは、自然界のダイナミックレンジに比べ、撮像装置のダイナミックレンジが小さいことによる。このため、レティネックス理論により照明光成分を分離して圧縮し、再合成することで、ダイナミックレンジを圧縮する。
レティネックス理論による画像処理として、シングルスケールレティネックス（SSR:Single Scale Retinex）が知られている。レティネックス理論では、入射光Ｉは、照明光Lと反射率Rの積で定義される（I=RL）。かかる式から対数空間におけるlogR を、画像の出力値とするというものである（特許文献１ 段落０００７参照）。
ｌｏｇＲ ＝ ｌｏｇＩ−ｌｏｇＬ
これは、補正後の照明光L’が一様な照明光環境である（L'=１）として、出力値I’= R を、視覚上認識しやすい対数空間へと変換したものである。これより照明光変化の影響を取り除いた値を得ることができる。
特表2005-515515号公報
しかし、表示装置では、入力画像がダイナミックレンジの許容範囲を超えることはないため、上記手法を採用すると過補正となり、その結果、画質が劣化してしまうという問題があった。
この発明は、上記問題を解決し、暗部の視認性を向上しつつ、過補正による画質劣化を防止できる階調変換強度を自動調整できる画像表示装置またはその方法を提供することを目的とする。
(1)本発明にかかる画像表示装置は、レティネックス理論に基づき、入力画像を補正した出力画像データを生成してする画像表示装置であって、前記入力画像をフィルタにより照明光成分と反射光成分に分離する分離手段、前記分離された照明光成分を、その明るさを調整する明るさ調整パラメータによって調整することにより、補正後照明光成分を算出する補正後照明光成分算出手段、前記分離された反射光成分を、その反射率を調整する反射率調整パラメータによって調整することにより、補正後反射率を算出する補正後反射率算出手段、前記補正後照明光成分および前記補正後反射率に基づいて、前記出力画像データを生成する生成手段、を備えている。
このように、反射光成分を調整することにより、小さなフィルタを採用した場合でも、反射率の振幅を増大させることができる。
(2)本発明にかかる画像表示装置においては、前記補正後照明光成分算出手段は、前記照明光成分の低階調に対する強調度合を調整する強調度合調整パラメータによって、前記分離された照明光成分の低階調成分の強調度を調整したあと、前記明るさ調整パラメータに基づいて、前記低階調成分調整した照明光成分と、前記分離手段が分離した前記照明光成分とを混合加算する度合いを決定した、前記補正後照明光成分を演算する。このように、前記照明光成分と混合させて、前記補正後照明光成分を演算することにより、より、自然な補正後照明光成分を得ることができる。
(3)本発明にかかる画像表示装置は、レティネックス理論に基づき、入力画像を補正した出力画像データを生成してする画像表示装置であって、前記入力画像をフィルタにより照明光成分と反射光成分に分離する分離手段、前記分離された照明光成分を、その明るさを調整する照明光成分調整パラメータによって調整することにより、補正後照明光成分を算出する補正後照明光成分算出手段、前記補正後照明光成分に基づいて、前記補正後の入力画像を生成する生成手段、を備え、前記補正後照明光成分算出手段は、前記照明光成分の低階調に対する強調度合を調整する強調度合調整パラメータによって、前記分離された照明光成分の低階調成分の強調度を調整したあと、前記明るさ調整パラメータに基づいて、前記低階調成分調整した照明光成分と、前記分離手段が分離した前記照明光成分とを混合加算する度合いを決定した、前記補正後照明光成分を演算する。
このように、補正前の照明光成分と補正後の照明光成分を混合加算することにより、より自然な視覚的向上効果が得られる。
(4)本発明にかかる画像表示装置においては、前記補正後照明光成分算出手段は、前記入力画像の特定領域における各画素について、輝度値の平均代表値を算出し、前記平均代表値が高い場合には、前記低階調成分強調照明光成分の混合率が小さくなるように、前記照明光成分と、前記低階調成分強調照明光成分を混合加算する。したがって、前記平均代表値が高い場合には、前記低階調成分強調照明光成分の混合率が小さくなるようにすることができる。これにより、前記平均が大きい場合には、前記低階調成分強調照明光成分の率を少なくすることができるので、過補正を防止できる。
(5)本発明にかかる画像表示装置においては、前記補正後照明光成分算出手段は、前記周辺画素領域内の各画素について、輝度値のばらつき度を算出し、このばらつき度が小さい場合には、前記低階調成分強調照明光成分の混合率が小さくなるように、前記照明光成分と、前記低階調成分強調照明光成分を混合加算する。
このように、前記ばらつき度が小さい場合には、前記低階調成分強調照明光成分の混合率を小さくすることにより、特定階調に集中した画像において階調補正によって、見にくくなることを防止できる。
なお、前記補正後照明光成分L'は、例えば、下記式（１）により演算すればよい。
L'=LGain＊L1＋（１−LGain）＊L・・・式（１）
ここで、L':補正後照明光成分、L1:低階調成分強調照明光成分、L:照明光成分、０≦LGain≦１
前記LGainを変更するだけで、前記照明光成分と、前記低階調成分強調照明光成分を適宜、混合することができる。
(6)本発明にかかる画像表示装置は、さらに、前記分離された反射光成分を、その反射率を調整する反射率調整パラメータによって調整することにより、補正後反射率を算出する補正後反射率算出手段、前記補正後照明光成分算出手段は、前記補正後照明光成分および前記補正後反射率に基づいて、前記出力画像データを生成する。このように、反射光成分を調整することにより、小さなフィルタを採用した場合でも、反射率の振幅を増大させることができる。
(7)本発明にかかる画像表示装置においては、前記反射率調整パラメータは、前記分離ステップで用いるローパスフィルタのスケールが大きくなるにつれて小さくなり、表示対象のモニタの解像度が小さくなるにつれて小さく設定されている。
したがって、ローパスフィルタのサイズにあわせて、前記増幅が可能となる。また、モニタの解像度が小さくなったら、振幅を小さくすることができる。
(8)本発明にかかる画像表示装置は、レティネックス理論に基づき、入力画像を補正した出力画像データを生成する画像表示装置であって、入力画像データについて、注目画素およびその周辺に位置する周辺画素領域の画素値に基づいて、照明光成分の分離を行う分離手段、前記分離手段で分離した照明光成分について、低階調成分を強調した低階調成分強調照明光成分を求めるとともに、前記照明光成分と混合加算した、補正後の照明光成分を演算する補正後照明光成分演算手段、を備え、前記補正後照明光成分演算手段は、前記入力画像の特定領域における各画素について、輝度値の平均代表値、および／または、ばらつき度を算出し、前記平均代表値が高い場合、および／または、前記ばらつき度が低い場合には、前記低階調成分強調照明光成分の混合率が小さくなるように、前記照明光成分と、前記低階調成分強調照明光成分を混合加算する。
したがって、前記平均が大きい場合には、前記低階調成分強調照明光成分の混合率を少なくすることができ、および／または、高階調に集中した画像においては階調補正によって、かえって見にくくなることを防止できる。
(9)本発明にかかる画像表示装置においては、前記入力画像データは、複数のフレームで構成される動画像データであり、各フレームの入力画像データについて、前記輝度値の平均代表値およびばらつき度を算出し、前記平均代表値が高い場合、および／または、前記ばらつき度が低い場合には、前記低階調成分強調照明光成分の混合率が小さくなるように、前記照明光成分と、前記低階調成分強調照明光成分を混合加算する。したがって、動画についても、前記自然な補正後照明光成分を得ることができる
なお、本明細書において「輝度値」とはHSV色空間におけるV値を採用したが、V値そのものだけでなく、バックライトによる輝度変化を考慮にいれてもよい。
「平均代表値」は、単純平均値、ヒストグラムにおいて閾値以上の階調範囲の中央値、ヒストグラムにおける最頻値などを採用してもよい。
「ばらつき度」とは、輝度の分布におけるばらつきを表すものであればどのようなものでもよく、例えば、分散、一定値以上を満たす階調の範囲幅、平均代表値との差分値の総和、輝度の分布（ヒストグラム）から算出されるエントロピー値を含む。ここで、「差分値」はL2ノルム（差分の二乗）でも、L1ノルム（差分の絶対値）でもよい。
「低階調成分調整した照明光成分」とは、実施形態では、式（２）を採用したが、これに限定されない。
また、「混合加算」とは、実施形態では、一方を0から１の間とし、他方を1から前記一方の値を減算したものとしたが、さらに、いずれかまたは双方に係数をかけるようにしてもよい。
「入力画像の特定領域」とは、実施形態では、入力画像全体が該当するが、その一部であってもよい。一部の場合には、例えば、入力画像のうち、動画枠等を検出するようにしてよいし、ユーザが特定するようにしてもよい。
画像表示装置のブロック図である。 照明光成分Lと補正後照明光成分L1 との対応関係を示す図である。 「平均代表値」に基づく補正後照明光成分の制約条件を示す図である。 「分散変動制限値」に基づく補正後照明光成分の制約条件を示す図である。
以下、本発明における実施形態について、図面を参照して説明する。
（１．概要）
図１に、本発明にかかる補正後画像生成装置２０を含む画像表示装置の概要図を示す。この実施形態においては、照明光補正部２５，反射率算出部２７，画像再合成部２９，パラメータ自動制御部３９，ヒストグラム解析部３７が階調補正装置に該当する。
HSV色空間変換部２１は、RGB色空間からHSV色空間への変換を行う。HSV色空間からRGB色空間 変換については、通常の変換式で行う。HSV色空間を用いることにより、YUV色空間による明るさ調整による彩度減少効果をなくし、視覚的に良好な明るさ補正を実現することができる。
照明光分離部２３は、エッジ保存型ローパスフィルタであり、局所的な明るさの加重平均値、すなわち、照明光成分の算出を行う。ヒストグラム解析部３７は、HSV空間における入力画像と出力画像のV成分に基づいた３２分割の階調ヒストグラムを生成し、画像全体の特徴量を計算する。パラメータ自動調整部３９は、ヒストグラム解析の結果得られた画像特徴量に基づき、照明光補正量のパラメータを決定する。
照明光補正部２５は、パラメータ自動調整部３９から与えられた照明光補正量のパラメータ値および、照明光分離部２３から与えられる照明光成分Ｌから、照明光成分の低階調領域を補正する。
反射率算出部２７は、照明光分離部２３が求めた照明光成分および反射光成分（入力V値）の対数差分から、反射率を求める。求めた反射率にはそのまま出力する。
画像再合成部２９は、照明光補正部２５が演算した補正後照明光成分と、反射率算出部２７が算出した反射率成分から、補正画像を演算する。レンジ補正部３１は、レンジ補正量のパラメータ値に基づき、画素のV成分のレンジ補正を行う。照明光補正部２５は局所的な明るさの補正を行い、レンジ補正部３１は画像全体に対する明るさの補正を行う。これより、画像全体におけるコントラストを最適化できる。
ヒストグラム解析部３７は、レンジ補正部３１による補正後のV値から３２分割の階調ヒストグラムを生成し、画像全体の特徴量を計算し、パラメータ自動制御部３９に与える。パラメータ自動調整部３９は、与えられた特徴量に基づきレンジ補正量のパラメータを決定する。
彩度補正部３５は、低階調領域における彩度を補正する。かかる低階調領域における彩度補正として、本実施形態においては、強調または低減のいずれかを選択させるようにした。
RGB色空間変換部３３は、HSV色空間からRGB色空間への変換を行う。
（２．詳細）
図１を用いて、補正後画像生成装置２０の詳細について説明する。
反射率算出部２７は、反射率成分Rの振幅を調節するパラメータRGainを記憶している。かかるパラメータRGainの意義について説明する。レティネックス演算による効果は、対象画素値（反射光成分） I と、その周辺の局所平均値（照明光成分）L との対数差分であるR によって生まれる。例えば、ローパスフィルタのフィルターサイズが１＊１であれば、L=Iとなり、Rは常に１となる。ローパスフィルタのフィルターサイズが大きくなると、Rは１を中心とした波打つ波形へと変化する。従来のレティネックス理論では、前記フィルターサイズが直径が数十ピクセル 〜数百ピクセルという広範囲なものが使用されている。しかし、かかるサイズをモニタで実現する場合、前記フィルタサイズの2乗に比例してコストが増大する。そこで、小さいフィルタサイズでもレティネックスの視覚的効果を、増減させられるようlogRの係数として、パラメータRGainを採用した。
パラメータRGainを、１<RGainに設定すれば、反射率成分Rの波形の振幅が増大され、擬似的にフィルタサイズが大きくなったような効果（局所的なコントラストが強調されて見える）を得ることができる。
なお、付加的な機能として、パラメータRGainを、0 < RGain < 1 に設定すれば、局所的なコントラストが抑制されて、輪郭がぼけたような画像を出力することもできる。
このように、照明光分離部２３が求めた照明光成分および反射光成分（入力V値）の対数差分から、反射率Rを求め、求めた反射率Rについて、ゲイン調整後の補正後の反射率R’を出力する。すなわち、補正後の反射率R’は下記式（１）で求められる。
R’＝(I/L)^RGain ・・・式（１）
これは、logR’＝RGain＊logR、およびR＝(I/L)から導き出すことができる。
照明光補正部２５は、パラメータ自動調整部３９から与えられた照明光補正量のパラメータ値および、照明光分離部２３から与えられる照明光成分Ｌから、補正後照明光成分L1を生成する。本実施形態においては、下記式（２）にて補正後照明光成分L1を演算した。
L1=(log(LAmp*L+1))／（log(LAmp+1) ） ・・・式（２）
パラメータLAmpは、照明光成分について、低階調部分の強調度合いを調節する。本実施形態においては、低階調部分をなるべく自然に強調するために、一般的な Log カーブの式とした。
図２に、パラメータLAmpが変化した場合における、照明光成分Lと補正後照明光成分L1 との対応関係を示す。パラメータLAmpを大きくすればするほど、低階調部分の立ち上がりが早くなり、より明るく補正される。一方、パラメータLAmpを１に近づけると、補正後照明光成分L1の値は照明光成分Lに漸近し、照明光成分の補正効果がなくなる。
パラメータLAmpは、使用するパネルのガンマ特性や、バックライトの光量、さらに、環境光（表面反射輝度）に依存して定めればよい。理由は下記の通りである。現実の世界（高照度環境）では見えていても、モニタに表示する場合には、ダイナミックレンジ圧縮が行われる。これにより、低階調部分については、モニタに表示されることによって視覚的に識別が困難になる場合がある。本階調補正方法は、低階調部分の反射率R を見えるように変換することにより画像本来の見た目を再現することを目的とする。すなわち、かかる低階調部分における照明光成分の強調度は、モニタにおける光学的な入出力特性に依存するからである。また、環境光が強いと、パネルの表面反射輝度が高くなり、低階調が見づらくなるからである。
なお、パラメータLAmpは、入力画像のヒストグラム等に応じて動的に調整するようにしてもよい。
画像再合成部２９(図１参照)は、低階調成分を強調した補正後照明光成分L1と、元の照明光成分Lと混合加算した、補正後の照明光成分L’を演算する。本実施形態においては、下記式（３）によりL’を求めた。
L’＝LGain＊L1＋（１−LGain）＊L ・・・式（３）
パラメータLGainの意義について説明する。パラメータLGainは、階調補正処理画像と元画像の合成画像を生成する際の混合比を決定するパラメータである。モニタにおけるSSRの適用を考えた場合、SSRに見られるような極端な補正は必要なく、むしろ、画像としての見た目（コントラスト）はある程度維持しなければいけない。また、補正効果については、強弱を調整でき、かつ、効果を最も弱くしたときは元画像に近づくことが望ましい。そこで、本実施形態においては、補正後照明光成分（L‘）の値を補正関数の出力値（L1）と元の照明光成分（L）との混合比（LGain)で決定するようにした。その結果、LGain ＝0 の場合は、L’=L となり、元画像に漸近する。一方、LGain=1 の場合はL=L1となり、最も明るい補正結果となる。
また、LGain による明るさ調整はシームレスに働くので、動画処理などの時々刻々と変化するパラメータ変動にも違和感なく使用することができる。
つぎに、画像再合成部２９(図１参照)のおける演算処理について説明する。画像再合成部２９は、照明光補正部２５が演算した補正後照明光成分L’と、反射率算出部２７が算出した補正後の反射率R’から、式（４）により、補正画像Ioutを演算する。
Iout＝exp（logL’＋RGain(logI-logL)） ・・・式（４）
上記式（４）は、下記式より導いたものである。
レティネックス理論では、I＝RLであり、本件発明では、反射率成分Rおよび照明光成分Lのそれぞれを補正した、補正後の反射率成分R’、および補正後照明光成分L’を求めている。
したがって、補正後の出力Iout＝R'L' で表される。ここで、logR’＝RGain＊logRである。したがって、R’＝(I/L)^RGainである。よって、Iout＝R’L'は、Iout＝(I/L)^RGain＊L' となる。これを指数関数で表すと、上記式（４）となる。
このように、本実施形態においては、 パラメータLAmp、RGain、LGainという３つのパラメータを採用することにより、小規模なフィルタサイズであっても、見た目（コントラスト）をある程度維持しつつ、暗部の視認性を向上させた出力画像Ioutを生成することができる。
つぎに、ヒストグラム解析部３７におけるパラメータLGainの調整について説明する。
上記パラメータLGain 制御による補正は、階調補正の効果を弱める方向で調整をすることにより、階調補正による副作用を軽減するというものである。
1)特定の階調付近に集中して分布しているような画像の場合では、分散値の値が小さくなり、視覚的向上効果が得られるなくなる。また、2)高階調に集中した白っぽい画像のような、特定階調に集中した画像においては階調補正によって、かえって見にくくなる。
具体的に説明する。様々な任意の画像に対して、LGain値を、目視で好ましくなるよう調整した時の、入力画像の平均値（APL）と分散値（VAR）をプロットしたものを、図３、図４にそれぞれ示す。
図３は、横軸が入力画像の平均輝度（APL_IN）、縦軸が出力画像の平均輝度と入力画像の平均輝度の差（(APL_OUT)−（APL_IN））である。図４は横軸が入力画像の分散（VAR_IN）で、縦軸が出力画像の分散（VAR_OUT)である。
図３で明らかなように、1)入力画像の平均輝度が元々高い場合は、パラメータLGainを小さくし、出力の平均輝度値を小さくすることが好ましい。
また、一般的に、入力画像のVAR値は階調補正を行うことで低下する傾向にある。したがって、図４からわかるように、2)特定階調に偏っているようにVAR値が低いシーンの場合は、階調補正の効果を和らげる必要がある。
そこで、本実施形態においては、上記1)に対して、輝度成分をストレッチ拡大して分散値を大きくさせることで、パラメータLGainを大きくさせ、視覚的な向上効果を最大限に高めるようにした。
また、上記2)に対しては、特定階調に集中した画像に対しては、出力の階調が高くならないようパラメータLGainを低く抑えるように制御するようにした。
かかる制御を行うことにより、階調補正の効果は、低階調部分の視認性向上だけでなく、画面全体のコントラストを、より最適化することができる。
具体的には、平均輝度については、図３に示すようなAPL変動制限を設け、入力画像の平均輝度（APL_IN）と出力画像の平均輝度(APL_OUT)の関係が、APL制限の値を越える領域２０１に位置する場合には、前記APL変動制限となるLGainとするようにした。また、分散値については、図４に示すVAR変動制限値を設け、出力分散値がVAR変動制限値未満の領域２１１で無い場合には、VAR変動制限値を上限とする。すなわち、APL制限の値の上限値に該当するLGainについては、予め計算しておき、対応表として記憶しておけばよい。VAR変動制限値についても同様である。
APL変動制限の値APL_LIMIT、およびVAR変動制限値VAR_LIMITについては、下記式（５）、式（６）で決定すればよい。
APL_LIMIT＝max(0，iAPL_LIMIT_OFFSET−iAPL_IN*（iAPL_LIMIT_GAIN／２５６）） ・・・(式）５
ここで、iAPL_LIMIT_OFFSET、iAPL_LIMIT_GAINは固定値、iAPL_INは入力画像における対象領域の平均値である。
すなわち、iAPL_LIMIT_OFFSET−iAPL_IN*（iAPL_LIMIT_GAIN／２５６）がゼロよりも小さい場合には、APL_LIMIT＝０、それ以外は、APL_LIMIT＝iAPL_LIMIT_OFFSET−iAPL_IN*（iAPL_LIMIT_GAIN／２５６）という一次減少関数で定義される。
VAR_LIMIT＝min(iVAR_IN，iVAR_LIMIT_OFFSET＋iAPL_IN*（iVAR_LIMIT_GAIN／２５６）） ・・・(式）６
iVAR_LIMIT_OFFSETと、iVAR_LIMIT_GAINは固定値、iVAR_INは入力画像の対象領域における分散値である。
すなわち、iVAR_INが、iVAR_LIMIT_OFFSET＋iAPL_IN*（iVAR_LIMIT_GAIN／２５６）を越えるまでは、VAR_LIMIT＝iVAR_INであり、これを越えると、VAR_LIMIT＝iVAR_LIMIT_OFFSET＋iAPL_IN*（iVAR_LIMIT_GAIN／２５６）となる。
平均と分散の演算手法は、通常の演算を行えばよい。
（３.他の実施形態）
上記実施形態では、静止画である場合について説明したが、同様に、入力画像が時々刻々と変化する動画像についても同様に適用可能である。
本実施形態においては、画素値として HSV色空間における明度を採用したが、HLS色空間における輝度を採用してもよい。また、ＲＧＢ値、ＹＵＶ値を採用してもよい。
本実施形態においては、LPFのサイズは固定であるとしたが、入力される解像度が変化した場合に、そのフィルタ効果を最適なものにするために、大きくしたり小さくしたりと、調節するようにしてもよい。
上記各部については、ハードウェア、ソフトウェアのいずれで実現するようにしてもよい。
本発明は、下記1)2)のような方法として把握することができる。
1)レティネックス処理における補正後照明光成分を演算する補正後照明光成分演算方法であって、入力画像データについて、注目画素およびその周辺に位置する周辺画素領域の画素値に基づいて、照明光成分の分離を行う分離ステップ、前記分離した前記照明光成分について、低階調成分を強調した低階調成分強調照明光成分を求める低階調成分強調照明光成分演算ステップ、前記低階調成分強調照明光成分と前記照明光成分とを混合加算した、補正後の照明光成分を演算する補正後照明光成分演算ステップ、を備えたことを特徴とする補正後照明光成分演算方法。
2)レティネックス処理における補正後照明光成分を演算する補正後照明光成分演算方法であって、入力画像データについて、注目画素およびその周辺に位置する周辺画素領域の画素値に基づいて、照明光成分の分離を行う分離ステップ、前記分離した照明光成分について、低階調成分を強調した低階調成分強調照明光成分を求めるとともに、前記照明光成分と混合加算した、補正後の照明光成分を演算する補正後照明光成分演算ステップ、を備え、前記補正後照明光成分演算ステップでは、前記周辺画素領域内の各画素について、輝度値の平均代表値および分散度を算出し、前記平均代表値が高いほど、および／または、前記分散度が低い場合には、前記低階調成分強調照明光成分の混合率が小さくなるように、前記照明光成分と、前記低階調成分強調照明光成分を混合加算することを特徴とする補正後照明光成分演算方法。
２５ 照明光補正部
２７ 反射率算出部
２９ 画像再合成部
３７ ヒストグラム解析部
３９ パラメータ自動制御部

Claims (11)

  1. レティネックス理論に基づき、入力画像を補正した出力画像データを生成してする画像表示装置であって、
    前記入力画像をフィルタにより照明光成分と反射光成分に分離する分離手段、
    前記分離された照明光成分を、その明るさを調整する照明光成分調整パラメータによって調整することにより、補正後照明光成分を算出する補正後照明光成分算出手段、
    前記補正後照明光成分に基づいて、前記出力画像データを生成する生成手段、
    を備え、
    前記補正後照明光成分算出手段は、前記分離手段が分離した前記照明光成分と、この照明光成分の低階調成分の強調度を調整した調整照明光成分とを混合加算する度合いを前記照明光成分調整パラメータに基づいて決定した、前記補正後照明光成分を演算すること、
    を特徴とする画像表示装置。
  2. 請求項１の画像表示装置において、
    前記照明光成分の低階調成分の強調度調整は、前記照明光成分の低階調に対する強調度合を調整する強調度合調整パラメータによって、実行されること、
    を特徴とする画像表示装置。
  3. 請求項１または請求項２の画像表示装置において、
    前記入力画像は、動画を構成するフレームデータであること、
    を特徴とする画像表示装置。
  4. 請求項１〜３のいずれかの画像表示装置において、
    前記補正後照明光成分算出手段は、前記入力画像の特定領域における輝度値の平均代表値を算出し、前記平均代表値が高い場合には、前記低階調成分強調照明光成分の混合率が小さくなるように、前記照明光成分と、前記低階調成分強調照明光成分を混合加算すること、
    を特徴とする画像表示装置。
  5. 請求項１〜請求項４のいずれかの画像表示装置において、
    前記補正後照明光成分算出手段は、前記入力画像の特定領域における輝度値のばらつき度を算出し、このばらつき度が小さい場合には、前記低階調成分強調照明光成分の混合率が小さくなるように、前記照明光成分と、前記低階調成分強調照明光成分を混合加算すること、
    を特徴とする画像表示装置。
  6. 請求項１〜５のいずれかの画像表示装置において、さらに、
    前記分離された反射光成分を、その反射率を調整する反射率調整パラメータによって調整することにより、補正後反射率を算出する補正後反射率算出手段を備え、
    前記生成手段は、前記補正後照明光成分および前記補正後反射率に基づいて、前記出力画像データを生成すること、
    を特徴とする画像表示装置。
  7. 請求項６の画像表示装置において、
    前記反射率調整パラメータは、前記分離ステップで用いるローパスフィルタのスケールが大きくなるにつれて小さくなり、表示対象のモニタの解像度が小さくなるにつれて小さく設定されていること、
    を特徴とする画像表示装置。
  8. レティネックス理論に基づき、入力画像を補正した出力画像データを生成してする画像表示装置であって、
    入力画像データについて、注目画素およびその周辺に位置する周辺画素領域の画素値に基づいて、照明光成分の分離を行う分離手段、
    前記分離手段で分離した照明光成分について、低階調成分を強調した低階調成分強調照明光成分を求めるとともに、前記照明光成分と混合加算した、補正後の照明光成分を演算する補正後照明光成分演算手段、
    を備え、
    前記補正後照明光成分演算手段は、前記入力画像の特定領域における輝度値の平均代表値、および／または、ばらつき度を算出し、前記平均代表値が高い場合、および／または、前記ばらつき度が低い場合には、前記低階調成分強調照明光成分の混合率が小さくなるように、前記照明光成分と、前記低階調成分強調照明光成分を混合加算すること、
    を特徴とする画像表示装置。
  9. レティネックス理論に基づき、入力画像を補正した出力画像データを生成してする画像表示方法であって、
    前記入力画像をフィルタにより照明光成分と反射光成分に分離し、
    前記分離された照明光成分を、その明るさを調整する照明光成分調整パラメータによって調整することにより、補正後照明光成分を算出し、
    前記補正後照明光成分に基づいて、前記補正後の入力画像を生成する画像表示方法において、
    前記分離した前記照明光成分と、この照明光成分の低階調成分の強調度を調整した調整照明光成分とを混合加算する度合いを前記照明光成分調整パラメータに基づいて決定した、前記補正後照明光成分を演算すること、
    を特徴とする画像表示方法。
  10. 請求項９の画像表示方法において、
    前記照明光成分の低階調成分の強調度調整は、前記照明光成分の低階調に対する強調度合を調整する強調度合調整パラメータによって、実行されること、
    を特徴とする画像表示方法。
  11. レティネックス理論に基づき、入力画像を補正した出力画像データを生成してする画像表示方法であって、
    入力画像データについて、注目画素およびその周辺に位置する周辺画素領域の画素値に基づいて、照明光成分の分離を行い、
    前記分離した照明光成分について、低階調成分を強調した低階調成分強調照明光成分を求めるとともに、前記照明光成分と混合加算した、補正後の照明光成分を演算する画像表示方法において、
    前記入力画像の特定領域内の各画素について、輝度値の平均代表値および／または、ばらつき度を算出し、前記平均代表値が高い場合、および／または、前記ばらつき度が低い場合には、前記低階調成分強調照明光成分の混合率が小さくなるように、前記照明光成分と、前記低階調成分強調照明光成分を混合加算すること、
    を特徴とする画像表示方法。
JP2012078891A 2012-03-30 2012-03-30 画像表示装置またはその方法 Active JP5247910B1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2012078891A JP5247910B1 (ja) 2012-03-30 2012-03-30 画像表示装置またはその方法
EP12872320.2A EP2833317B1 (en) 2012-03-30 2012-08-29 Image display device and/or method therefor
RU2014137568A RU2617328C2 (ru) 2012-03-30 2012-08-29 Устройство и/или способ вывода изображения на экран
IN8975DEN2014 IN2014DN08975A (ja) 2012-03-30 2012-08-29
AU2012374785A AU2012374785B2 (en) 2012-03-30 2012-08-29 Device or method for displaying image
PCT/JP2012/071861 WO2013145365A1 (ja) 2012-03-30 2012-08-29 画像表示装置またはその方法
US14/388,610 US20150123985A1 (en) 2012-03-30 2012-08-29 Device or method for displaying image
CN201280071981.8A CN104221051B (zh) 2012-03-30 2012-08-29 图像显示装置或其方法
US15/252,388 US10134359B2 (en) 2012-03-30 2016-08-31 Device or method for displaying image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012078891A JP5247910B1 (ja) 2012-03-30 2012-03-30 画像表示装置またはその方法

Publications (2)

Publication Number Publication Date
JP5247910B1 true JP5247910B1 (ja) 2013-07-24
JP2013210709A JP2013210709A (ja) 2013-10-10

Family

ID=49041854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012078891A Active JP5247910B1 (ja) 2012-03-30 2012-03-30 画像表示装置またはその方法

Country Status (8)

Country Link
US (2) US20150123985A1 (ja)
EP (1) EP2833317B1 (ja)
JP (1) JP5247910B1 (ja)
CN (1) CN104221051B (ja)
AU (1) AU2012374785B2 (ja)
IN (1) IN2014DN08975A (ja)
RU (1) RU2617328C2 (ja)
WO (1) WO2013145365A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015075387A (ja) * 2013-10-09 2015-04-20 住友電気工業株式会社 電波センサおよび検知方法
KR20180060989A (ko) * 2016-11-28 2018-06-07 삼성전자주식회사 화상 처리 장치, 화상 처리 방법 및 화상 처리 방법이 기록된 컴퓨터 판독가능 기록 매체
US11368606B1 (en) 2020-12-18 2022-06-21 Fujifilm Business Innovation Corp. Image processing apparatus and non-transitory computer readable medium

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5596075B2 (ja) * 2012-03-30 2014-09-24 Ｅｉｚｏ株式会社 階調補正装置またはその方法
JP2014122997A (ja) * 2012-12-21 2014-07-03 Sony Corp 表示装置、画像処理装置、表示方法、および電子機器
JP6160426B2 (ja) * 2013-10-04 2017-07-12 富士ゼロックス株式会社 画像処理装置及びプログラム
GB2535127A (en) 2014-01-10 2016-08-10 Fujitsu Ltd Image processing apparatus, electronic device and method
KR102141032B1 (ko) * 2014-02-25 2020-08-05 삼성디스플레이 주식회사 영상 표시 방법 및 이를 구동하는 표시 장치
JP6303816B2 (ja) 2014-05-28 2018-04-04 富士ゼロックス株式会社 画像処理装置及びプログラム
JP6357881B2 (ja) 2014-05-28 2018-07-18 富士ゼロックス株式会社 画像処理装置及びプログラム
EP3156968B1 (en) * 2014-06-12 2019-02-27 EIZO Corporation Haze removal device and image generation method
KR101621614B1 (ko) 2014-06-30 2016-05-17 성균관대학교산학협력단 디지털 이미지 향상 방법 및 장치와, 이를 이용한 영상 처리 장치
WO2016088162A1 (ja) * 2014-12-01 2016-06-09 Eizo株式会社 画像変換方法
WO2016088161A1 (ja) * 2014-12-01 2016-06-09 Eizo株式会社 画像合成方法、画像表示方法、画像合成装置、画像表示装置、画像投影システム
CN104574377A (zh) * 2014-12-24 2015-04-29 南京金智视讯技术有限公司 用于电子警察的红灯偏黄的校正方法
JP6548403B2 (ja) 2015-02-24 2019-07-24 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、及びプログラム
JP6627530B2 (ja) * 2015-08-10 2020-01-08 富士ゼロックス株式会社 画像処理装置及びプログラム
US9881364B2 (en) * 2015-08-10 2018-01-30 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method and computer readable medium for image enhancement
JP6623832B2 (ja) 2016-02-26 2019-12-25 富士通株式会社 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
WO2018097677A1 (en) * 2016-11-28 2018-05-31 Samsung Electronics Co., Ltd. Image processing apparatus, image processing method, and computer-readable recording medium thereof
US10311570B1 (en) * 2018-12-07 2019-06-04 Sonavista, Inc. Medical image based distortion correction mechanism
JP2022166693A (ja) * 2021-04-21 2022-11-02 シャープセミコンダクターイノベーション株式会社 光センサ、電子機器、距離算出方法、および、プログラムの記録媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6941028B2 (en) 2001-04-30 2005-09-06 Hewlett-Packard Development Company, L.P. System and method for image enhancement, dynamic range compensation and illumination correction
US7489814B2 (en) * 2003-02-21 2009-02-10 Ramot At Tel Aviv University Ltd. Method of and device for modulating a dynamic range of still and video images
US7409083B2 (en) * 2003-07-18 2008-08-05 Canon Kabushiki Kaisha Image processing method and apparatus
ATE414972T1 (de) * 2005-06-01 2008-12-15 Koninkl Philips Electronics Nv Anzeige mit zwei übereinander angeordneten anzeigen
US7791656B2 (en) * 2005-08-16 2010-09-07 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method
US7590303B2 (en) * 2005-09-29 2009-09-15 Samsung Electronics Co., Ltd. Image enhancement method using local illumination correction
RU2298226C1 (ru) * 2005-10-28 2007-04-27 Самсунг Электроникс Ко., Лтд. Способ улучшения цифровых изображений
JP2007174482A (ja) * 2005-12-26 2007-07-05 Konica Minolta Holdings Inc 撮像装置、画像処理方法、及び画像処理プログラム
US7843493B2 (en) * 2006-01-31 2010-11-30 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method
JP4867529B2 (ja) * 2006-08-30 2012-02-01 ブラザー工業株式会社 画像処理プログラムおよび画像処理装置
KR100849845B1 (ko) * 2006-09-05 2008-08-01 삼성전자주식회사 영상 보정 방법 및 장치
US8154628B2 (en) * 2006-09-14 2012-04-10 Mitsubishi Electric Corporation Image processing apparatus and imaging apparatus and method
RU2400815C2 (ru) * 2006-10-09 2010-09-27 Самсунг Электроникс Ко., Лтд. Способ повышения качества цифрового фотоизображения
CN100562067C (zh) * 2007-07-26 2009-11-18 上海交通大学 带有去噪功能的实时数字图像处理增强方法
JP4986250B2 (ja) * 2007-07-26 2012-07-25 オムロン株式会社 ノイズ除去機能付きのデジタル画像処理増強システム及び方法
CN101102398B (zh) * 2007-07-26 2010-05-19 上海交通大学 全自动的实时数字图像处理增强系统
JP5109551B2 (ja) * 2007-09-21 2012-12-26 コニカミノルタアドバンストレイヤー株式会社 画像処理装置、画像処理方法、及び撮像装置
JP5381354B2 (ja) * 2009-06-05 2014-01-08 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP5365881B2 (ja) * 2010-06-28 2013-12-11 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015075387A (ja) * 2013-10-09 2015-04-20 住友電気工業株式会社 電波センサおよび検知方法
KR20180060989A (ko) * 2016-11-28 2018-06-07 삼성전자주식회사 화상 처리 장치, 화상 처리 방법 및 화상 처리 방법이 기록된 컴퓨터 판독가능 기록 매체
KR102342283B1 (ko) 2016-11-28 2021-12-22 삼성전자주식회사 화상 처리 장치, 화상 처리 방법 및 화상 처리 방법이 기록된 컴퓨터 판독가능 기록 매체
US11368606B1 (en) 2020-12-18 2022-06-21 Fujifilm Business Innovation Corp. Image processing apparatus and non-transitory computer readable medium

Also Published As

Publication number Publication date
WO2013145365A1 (ja) 2013-10-03
US20150123985A1 (en) 2015-05-07
EP2833317A1 (en) 2015-02-04
US20160372080A1 (en) 2016-12-22
RU2617328C2 (ru) 2017-04-24
CN104221051B (zh) 2018-07-13
AU2012374785B2 (en) 2016-07-14
JP2013210709A (ja) 2013-10-10
AU2012374785A1 (en) 2014-11-20
CN104221051A (zh) 2014-12-17
US10134359B2 (en) 2018-11-20
RU2014137568A (ru) 2016-05-27
EP2833317B1 (en) 2020-02-19
EP2833317A4 (en) 2016-06-08
IN2014DN08975A (ja) 2015-05-29

Similar Documents

Publication Publication Date Title
JP5247910B1 (ja) 画像表示装置またはその方法
CN109983530B (zh) 环境光自适应显示管理
RU2647636C2 (ru) Управление отображением видео с расширенным динамическим диапазоном
JP5596075B2 (ja) 階調補正装置またはその方法
KR101648762B1 (ko) 입력 영상의 동적 범위를 변환하는 방법 및 장치
JP6335924B2 (ja) 映像表示装置
KR101389932B1 (ko) 이미지 톤 매핑 장치 및 방법
JP6342085B2 (ja) 画像変換方法及び装置
JP2011128325A (ja) 表示装置
JP2012028937A (ja) 映像信号補正装置および映像信号補正プログラム
KR101642034B1 (ko) 입력 영상의 동적 범위를 변환하는 방법 및 장치
JP6738480B2 (ja) 映像表示装置
JP2014211914A (ja) 階調補正装置またはその方法
US10565756B2 (en) Combining drawing media texture and image data for display while maintaining the dynamic range of the original image
JP2013246265A (ja) 映像表示装置
WO2021070342A1 (ja) 映像表示装置およびプロジェクタ
JP6700869B2 (ja) 画像処理装置および画像処理方法
JP2023532083A (ja) Ｐｑシフトを用いた周囲光補償のためのシステムおよび方法
Kwon et al. Tone mapping algorithm for luminance separated HDR rendering based on visual brightness functions
JP2019148777A (ja) 表示装置、表示装置の制御方法、プログラムおよび記憶媒体
Liu et al. Under-Exposed Image Enhancement Based on Relaxed Luminance Optimization

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130409

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5247910

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250