JP6689508B2 - 画像処理装置、圧縮回路、表示ドライバ、表示装置及び画像処理方法 - Google Patents

画像処理装置、圧縮回路、表示ドライバ、表示装置及び画像処理方法 Download PDF

Info

Publication number
JP6689508B2
JP6689508B2 JP2016079745A JP2016079745A JP6689508B2 JP 6689508 B2 JP6689508 B2 JP 6689508B2 JP 2016079745 A JP2016079745 A JP 2016079745A JP 2016079745 A JP2016079745 A JP 2016079745A JP 6689508 B2 JP6689508 B2 JP 6689508B2
Authority
JP
Japan
Prior art keywords
image
data
function
gradation value
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016079745A
Other languages
English (en)
Other versions
JP2017191413A5 (ja
JP2017191413A (ja
Inventor
弘史 降旗
弘史 降旗
織尾 正雄
正雄 織尾
進 齋藤
進 齋藤
能勢 崇
崇 能勢
杉山 明生
明生 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synaptics Japan GK
Original Assignee
Synaptics Japan GK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synaptics Japan GK filed Critical Synaptics Japan GK
Priority to JP2016079745A priority Critical patent/JP6689508B2/ja
Priority to US15/483,315 priority patent/US10235598B2/en
Priority to CN201710235609.0A priority patent/CN107293245B/zh
Publication of JP2017191413A publication Critical patent/JP2017191413A/ja
Priority to US16/355,100 priority patent/US10657412B2/en
Publication of JP2017191413A5 publication Critical patent/JP2017191413A5/ja
Priority to JP2020066859A priority patent/JP6956222B2/ja
Application granted granted Critical
Publication of JP6689508B2 publication Critical patent/JP6689508B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0264Details of driving circuits
    • G09G2310/027Details of drivers for data electrodes, the drivers handling digital grey scale data, e.g. use of D/A converters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • G09G2320/106Determination of movement vectors or equivalent parameters within the image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00Solving problems of bandwidth in display systems

Description

本発明は、画像処理のための装置及び方法に関し、特に、画像(画像データ)の類似度を算出する技術に関する。
複数の画像を比較する処理は、最も基本的な画像処理の一つである。例えば、対象画像とテンプレート画像との類似度を算出するテンプレートマッチングは、画像認識において広く用いられる技術である。また、静止画や動画の画像圧縮においても、しばしば、2つの画像の類似度(又は差異の程度)に基づいた演算処理が行われる。
2つの画像の類似度(又は2つの画像の画像データの類似度)は、最も典型的には、階調値又は輝度値のSAD(sum of absolute differences:差分絶対値和)又はSSD(sum of squared differences:誤差2乗和)を用いて評価される。例えば、2つの画像P、Qの各画素iの輝度値(YUVデータにおけるYデータ)に基づいて画像P、Qを比較する場合、下記式(1)によって類似度Sを算出してもよい:
Figure 0006689508
ここで、YPi、YQiは、それぞれ、画像P、Qの画素iの輝度値Yであり、Σは、画像P、Qの全画素についての和を表している。各画素iの画像データとしてRGBデータが与えられる場合、式(1)の画像P、Qの各画素iの輝度値YPi、YQiは、例えば、下記式(2a)、(2b)に従って算出可能である:
Pi=0.300RPi+0.590GPi+0.110BPi ・・・(2a)
Qi=0.300RQi+0.590GQi+0.110BQi ・・・(2b)
ここで、RPi、GPi、BPiは、それぞれ、画像Pの画像データに示されている画素iの赤(R)、緑(G)、青(B)の階調値であり、RQi、GQi、BQiは、それぞれ、画像Qの画像データに示されている画素iの赤、緑、青の階調値である。なお、当業者には周知であるように、RGBデータからYデータへの変換には、様々な式が用いられ得る。
しかしながら、発明者の検討によれば、各画素の各色の階調値又は各画素の輝度値のSADやSSDに基づいて算出される2つの画像の類似度は、表示装置に実際に表示される画像の差異(又は、表示装置を観察する観察者に実際に認識される画像の差異)を表現するパラメータとして最適ではない。
なお、特開7−231391号公報(特許文献1)は、ページ記述言語で記述された画像データの圧縮において属性データに応じて選択された圧縮処理を行う技術を開示している。
特開平9−200750号公報(特許文献2)は、曲面フィッティングによるブロック圧縮処理において、圧縮誤差の二乗和に基づいて曲面フィッティングのパラメータを同定する技術を開示している。
特開5−155072号公報(特許文献3)は、ホスト装置から入力したビットマップデータを複数の形態で圧縮し、最もデータ量が小さくなる圧縮形態を選択する技術を開示している。
特開平7−231391号公報 特開平9−200750号公報 特開平5−155072号公報
したがって、本発明の目的は、表示装置に実際に表示される画像の差異(又は、表示装置を観察する観察者に実際に認識される画像の差異)に基づく画像処理を実現する技術を提供することにある。本発明の他の目的、新規な特徴は、以下の開示から当業者には理解されよう。
本発明の一の観点では、画像処理装置が、第1画像の各画素iについて、第1画像の各画素iのR階調値RPi、G階調値GPi及びB階調値BPiに、関数f(x)をそれぞれに適用して得られる値f(RPi)、f(GPi)、f(BPi)を算出する手段と、第2画像の各画素iについて、第2画像の各画素iのR階調値RQi、G階調値GQi及びB階調値BQiに、関数f(x)をそれぞれに適用して得られる値f(RQi)、f(GQi)、f(BQi)を算出する手段と、第1画像と第2画像の類似度を、第1画像及び第2画像の各画素iの|f(RPi)−f(RQi)|、|f(GPi)−f(GQi)|及び|f(BPi)−f(BQi)|に依存して算出する手段とを具備する。
f(x)は、R階調値RPi、RQi、G階調値GPi、GQi、及びB階調値BPi、BQiの許容最小値を下限とし、R階調値RPi、RQi、G階調値GPi、GQi、及びB階調値BPi、BQiの許容最大値を上限とする定義域を有し、定義域において広義に単調に増加する凸関数である。
本発明の他の観点では、画像データに対し、それぞれ、第1乃至第N圧縮処理を行って第1乃至第N圧縮データを生成する圧縮回路部(Nは、2以上の整数)と、第1乃至第N圧縮データに対し、それぞれに対応する展開処理を行って第1乃至第N展開データを生成する展開回路部と、第1乃至第N+1階調データ変換回路と、第1乃至第N圧縮データのうちから出力圧縮データを選択し、出力圧縮データを出力する圧縮データ選択回路とを具備する。第1乃至第N階調データ変換回路のうちの第k階調データ変換回路(kは、1以上N以下の整数)は、第1乃至第N展開データのうちの第k展開データの各画素iについて、第k展開データの各画素iのR階調値Rki、G階調値Gki及びB階調値Bkiに、関数f(x)をそれぞれに適用して得られる値f(Rki)、f(Gki)、f(Bki)を算出するように構成される。第N+1階調データ変換回路は、画像データの各画素iについて、画像データの各画素iのR階調値RINi、G階調値GINi及びB階調値BINiに関数f(x)をそれぞれに適用して得られる値f(RINi)、f(GINi)、f(BINi)を算出するように構成される。圧縮データ選択回路は、第1乃至第N展開データのそれぞれと画像データとの類似度を算出し、算出された類似度に応じて第1乃至第N圧縮データのうちから出力圧縮データを選択するように構成されている。第k展開データと画像データとの類似度は、第k展開データ及び画像データの各画素iの|f(Rki)−f(RINi)|、|f(Gki)−f(GINi)|及び|f(Bki)−f(BINi)|に依存して算出される。f(x)は、R階調値Rki、RINi、G階調値Gki、GINi、及びB階調値Bki、BINiの許容最小値を下限とし、R階調値Rki、RINi、G階調値Gki、GINi、及びB階調値Bki、BINiの許容最大値を上限とする定義域を有し、定義域において広義に単調に増加する凸関数である。
このような圧縮回路は、表示パネルを駆動する表示ドライバや、表示装置において用いられてもよい。
本発明の更に他の観点では、画像処理方法が、第1画像の各画素iについて、第1画像の各画素iのR階調値RPi、G階調値GPi及びB階調値BPiに、関数f(x)をそれぞれに適用して得られる値f(RPi)、f(GPi)、f(BPi)を算出するステップと、第2画像の各画素iについて、第2画像の各画素iのR階調値RQi、G階調値GQi及びB階調値BQiに、関数f(x)をそれぞれに適用して得られる値f(RQi)、f(GQi)、f(BQi)を算出するステップと、第1画像と第2画像の類似度を、第1画像及び第2画像の各画素iの|f(RPi)−f(RQi)|、|f(GPi)−f(GQi)|及び|f(BPi)−f(BQi)|に依存して算出するステップとを具備する。f(x)は、R階調値RPi、RQi、G階調値GPi、GQi、及びB階調値BPi、BQiの許容最小値を下限とし、R階調値RPi、RQi、G階調値GPi、GQi、及びB階調値BPi、BQiの許容最大値を上限とする定義域を有し、定義域において広義に単調に増加する凸関数である。
本発明によれば、表示装置に実際に表示される画像の差異(又は、表示装置を観察する観察者に実際に認識される画像の差異)に基づく画像処理を実現する技術を提供することができる。
比較画像#1、#2と参照画像を概念的に示す図である。 画像データの各色の階調値と表示装置における副画素の実際の輝度との関係を示すグラフである。 x^2.2を近似する折れ線関数の一例を示すグラフである。 表示パネル“A”の色域を示す概念図である。 表示パネル“B”の色域を示す概念図である。 一実施形態における画像処理装置の構成を示すブロック図である。 他の実施形態における画像処理装置の構成を示すブロック図である。 更に他の実施形態における画像処理装置の構成を示すブロック図である。 一実施形態における圧縮回路の構成を示すブロック図である。 図8の圧縮回路を搭載した表示ドライバを備える表示装置の構成の一例を示すブロック図である。 図8の圧縮回路を搭載したタイミングコントローラを備える表示装置の構成の一例を示すブロック図である。 一実施形態における動き検出回路の構成を示すブロック図である。 本実施形態における動きベクトルの検出について説明する図である。 本実施形態における移動方向#1〜#8、移動量#1〜#8の定義を示す図である。
以下、添付図面を参照しながら本発明の実施形態を説明する。なお、以下において、同一又は類似の構成要素は、同一又は対応する参照符号で参照することがあり、また、複数の同一の構成要素を互いに区別する場合、参照符号に添字を付することがある。
本発明の技術的意義の理解を容易にするために、以下では、まず、2つの画像の類似度(差異の程度)を、各画素の各色の階調値又は各画素の輝度値のSAD(差分絶対値和)又はSSD(2乗誤差和)を用いて表す技術に生じ得る問題について説明する。
上述されているように、2つの画像の類似度(又は、2つの画像の画像データの類似度)は、最も典型的には、各画素の各色の階調値又は各画素の輝度値のSAD又はSSDに基づいて算出される。例えば、比較画像#1、#2と参照画像の画像データがいずれもRGBフォーマットで記述されている場合、比較画像#1と参照画像の類似度S及び比較画像#と参照画像の類似度Sは、最も単純には、SADに基づく下記の式(3a)、(3b)で算出され得る:
Figure 0006689508
ここで、R1i、G1i、B1iは、それぞれ、比較画像#1の画像データに記述された画素iのR階調値、G階調値及びB階調値(即ち、赤、緑、青の階調値)であり、R2i、G2i、B2iは、比較画像#2の画像データに記述された画素iのR階調値、G階調値及びB階調値である。また、RREFi、GREFi、BREFiは、それぞれ、参照画像の画像データに記述された画素iのR階調値、G階調値及びB階調値ある。Σは、全画素についての和を表している。
しかしながら、発明者は、比較される画像データの2つの画像を特定の表示装置に表示した場合に、該表示装置に実際に表示される画像の差異の程度、又は、該表示装置を観察する観察者に実際に認識される画像の差異の程度は、差分絶対値和や2乗誤差和では適切に表現されていないことを見出した。
以下では、一例として、図1に図示されている比較画像#1、#2の画像データを参照画像の画像データと比較する場合について議論する。議論を簡単にするために、比較画像#1、#2、参照画像は、いずれも、4つの画素を有しており、比較画像#1、#2と参照画像の画像データにおいて、当該4つの画素のR階調値、G階調値及びB階調値が、いずれも、図1に図示されている値であるとする。例えば、参照画像の左上の画素の画像データのR階調値、G階調値及びB階調値は、いずれも100である。
図1に示された比較画像#1、#2及び参照画像について、式(3a)、(3b)に従って比較画像#1と参照画像の類似度S及び比較画像#と参照画像の類似度Sを算出すると、類似度S、Sは、下記のように得られる:
=|100−99|+|100−99|+|100−99|+
|50−50|+|50−50|+|50−50|+
|50−50|+|50−50|+|50−50|+
|100−100|+|100−100|+|100−100|
=3
=|100−100|+|100−100|+|100−100|+
|50−49|+|50−49|+|50−49|+
|50−50|+|50−50|+|50−50|+
|100−100|+|100−100|+|100−100|
=3
即ち、式(3a)、(3b)に従って算出した類似度S及びSは同一である。
しかしながら、実際に比較画像#1、#2及び参照画像が表示装置に表示された場合には、当該表示装置の観測者は、比較画像#1と参照画像との差異が、比較画像#2と参照画像との差異よりも大きいと認識する。これは、各画素の各色の階調値のSADに基づいて算出された類似度(又は差異の程度)は、表示装置の観測者の認識する類似度(又は差異の程度)を完全に反映したものではないことを意味している。この議論は、各画素の各色の階調値のSSDに基づいて類似度を算出した場合、及び、各画素の輝度値(Yデータ)のSAD又はSSDに基づいて類似度を算出した場合にも同様に当てはまる。
発明者は、このような現象が生じる原因の一つが、各画素の各色の階調値又は各画素の輝度値のSAD又はSSDに基づいて類似度(又は差異の程度)を評価する手法では、表示装置の入出力特性(一般に、ガンマ特性と呼ばれることがある)の影響を無視していることであることを見出した。
図2は、表示装置の入出力特性の一例を示すグラフである。表示装置の入出力特性は、一般に、非線形である。入力として与えられた画像データに、特定の画素の特定の色(例えば、赤色、緑色、又は青色)の階調値が記述されている場合、最も典型的には、表示装置の表示画面における該特定の画素の該特定の色の副画素の輝度は、該階調値のγ乗に比例する。γは、ガンマ値と呼ばれるパラメータであり、えば、液晶表示装置やOLED(organic light emitting diode)表示装置のようなパネル表示装置では、通常、ガンマ値γは2.2に設定される。
表示装置の入出力特性が非線形であることに起因して、画像データに記述されている各画素の各色の階調値のSAD又はSSDが同一であっても、該表示装置に実際に表示される画像においては、画像データに記述された階調値が相対的に大きい範囲にある場合に対応する副画素に生じる輝度の差が、階調値が相対的に小さい範囲にある場合に対応する副画素に生じる輝度の差よりも大きくなる。図1の例では、比較画像#1と参照画像の左上の画素の階調値がいずれも100の近傍である一方で、比較画像#2と参照画像の右上の画素の階調値がいずれも50の近傍である。この場合、比較画像#1と参照画像との間に存在している100の近傍の範囲における階調値の差“1”は、比較画像#2と参照画像との間に存在している50の近傍の範囲における階調値の差“1”よりも、該表示装置に実際に表示される画像における画素の輝度に大きな影響を与える。各画素の各色の階調値又は各画素の輝度値のSAD又はSSDに基づいて類似度(又は差異の程度)を評価する手法では、このような輝度の差異を評価できない。以下に記述される実施形態では、表示装置の入出力特性が非線型であることを考慮した最適な類似度(又は差異の程度)を算出するための技術が提示される。
一実施形態では、2つの画像P、Qの画像データがRGBフォーマットで与えられる場合に、画像P、Qの類似度S(又は、画像P、Qの画像データの類似度S)が、下記式(4)に従って算出される:
Figure 0006689508
Pi、GPi、BPiは、それぞれ、画像Pの画像データに記述された画素iのR階調値、G階調値及びB階調値であり、RQi、GQi、BQiは、画像Qの画像データに記述された画素iのR階調値、G階調値及びB階調値である。Σは、画像P、Qの全画素についての和を表している。
なお、以下の説明においては、画像P、Qの画像データにおいて、R階調値、G階調値及びB階調値が0以上の整数で表現されているとする。プロセッサその他の半導体装置において画像データが取り扱われる場合、R階調値、G階調値及びB階調値は、一般に、2進数で表現されるから、R階調値、G階調値及びB階調値を0以上の整数で表現すると考えても一般性を失わない。
式(4)において、f(x)は、画像データにおける各画素の階調値(R階調値、G階調値、B階調値)の許容最小値を下限、許容最大値を上限とする定義域を有し、当該定義域において広義に単調増加する(monotonically non-decreasing)凸関数(convex function)である。凸関数は、下に凸である関数(downward-convex function)と呼ばれることもある。例えば、画像データにおいてR階調値、G階調値、B階調値がいずれも8ビットで表される場合、R階調値、G階調値、B階調値の許容最小値は0であり、許容最大値は255であり、よって、関数f(x)の定義域の下限は0であり、上限は255である。関数f(x)は、当該定義域において、狭義に単調増加する(monotonically increasing)凸関数であってもよい。
ここで、関数f(x)は、凸関数(下に凸である関数)であるから、非線形の関数であることに留意されたい。また、関数f(x)は、広義に単調増加する関数であり、且つ、凸関数でもあるから、定数関数ではない。
更に、g(x、y、z)は、x、y、zのそれぞれに依存する定数関数ではない関数である。言い換えれば、g(x、y、z)を用いて類似度Sを算出する式(4)は、画像P、Qの類似度Sが、3つの差分絶対値|f(RPi)−f(RQi)|、|f(GPi)−f(GQi)|、|f(BPi)−f(BQi)|に依存するように算出されることを意味している。式(4)によって算出された画像P、Qの類似度Sは、R階調値、G階調値、B階調値の差分絶対値|RPi−RQi|、|GPi−GQi|、|BPi−BQi|に依存して算出された類似度と比較して、表示装置の入出力特性が非線型であることを考慮した最適な類似度を算出することができる。
実際の実装においては、関数f(x)、g(x、y、z)の演算は、どのような技術的手段で実行してもよい。例えば、関数f(x)、g(x、y、z)の演算は、関数f(x)、g(x、y、z)を演算する専用のハードウェア回路で実行してもよいし、ルックアップテーブルを用いて実現してもよい。また、関数f(x)、g(x、y、z)の演算は、ソフトウェアによって行ってもよい。
好適な実施形態では、画像P、Qの類似度Sは、下記式(5)に従って算出される:
Figure 0006689508
ここで、pは、0でない数であり、K、K、Kは、類似度Sの算出において、それぞれ、赤、緑、青に与えられる重み付け係数である。なお、本明細書において、ある式に従って算出すると記載した場合、「従って」という文言は、当該式そのものを用いて算出する場合のみならず、当該式と等価な式を用いて算出する場合も含むことに留意されたい。例えば、ある特定式を、単に数学的に変形したに過ぎない式は、該特定式と等価な式である。重み付け係数K、K、Kが正の値である場合には、式(5)が、
Figure 0006689508
と変形可能であるが、この場合には式(5)と式(5’)が数学的に等価であることは、当業者には容易に理解されよう。
なお、K、K、Kは、1であってもよく、この場合、式(5)は、下記式(6)のように変形可能である。
Figure 0006689508
類似度Sの算出の容易性の観点では、p=1である、即ち、画像P、Qの類似度Sが、下記式(7)に従って算出されることが好ましい。
Figure 0006689508
上述されているように、表示装置は、最も典型的には、表示装置の表示画面における特定の画素の特定の色の副画素の輝度が、画像データにおける該特定の色の階調値のγ乗(γは、当該表示装置のガンマ値)に比例するような入出力特性を有している。このような観点では、関数f(x)は、xのべき乗に依存するような関数であることが好ましい。例えば、関数f(x)が下記のように定義されることが好ましい。
f(x)=x^a
ここで、演算子“^”は、べき乗を表しており、aは、1より大きい定数である。
特に、表示装置のガンマ値がγである場合、当該表示装置において使用される画像データに対応する画像の類似度Sの算出について使用されるf(x)は、xのγ乗(γ≠1)に依存する関数であることが好ましい。例えば、画像P、Qの類似度Sは、下記式(8)に従って算出されることが好ましい。
Figure 0006689508
式(8)は、式(7)において、関数f(x)を、下記のように定義することで得られることに留意されたい:
f(x)=x^γ
表示装置(例えば、液晶表示装置やOLED表示装置)では、一般的に、ガンマ値γが2.2に設定されるから、画像P、Qの類似度Sは、下記式(9)に従って算出されることが好ましい:
Figure 0006689508
上述のように、関数f(x)をxのべき乗に依存するような関数として定義すること、例えば、類似度Sを式(8)、(9)に従って算出することは、2つの画像の画像データから表示装置に実際に表示される画像の差異を評価するために好適である。その一方で、べき乗の演算を厳密に行うハードウェア回路の回路規模は大きいので、関数fをxのべき乗に依存するような関数として定義することは、実デバイスへの実装においては、回路規模の増大の問題を引き起こし得る。
このような問題に対応するためには、関数f(x)として、xのべき乗を近似する折れ線関数、又は、xのべき乗を近似するxの多項式関数を用いることが好適である。ここでいう折れ線関数とは、そのグラフが線分で構成される連続関数である。図3は、xのべき乗を近似する折れ線関数として定義されたf(x)の一例を示している。図3の例では、当該グラフが3本の線分で構成されるような連続関数である関数f(x)を示している。折れ線関数又は多項式関数を演算するハードウェア回路の規模は、べき乗の演算を厳密に行うハードウェア回路の規模と比較すると相当に小さくできるので、関数f(x)として、xのべき乗を近似する折れ線関数、又は、xのべき乗を近似するxの多項式関数を用いることは、回路規模の低減に有効である。
特に、表示装置のガンマ値がγである場合には、関数f(x)として、x^γを近似する折れ線関数又はx^γを近似する多項式関数が用いられることが好適である。例えば、表示装置のガンマ値が2.2である場合には、関数f(x)として、x^2.2を近似する折れ線関数、又は、x^2.2を近似する多項式関数を用いることが好ましい。
式(5)〜式(10)において用いられる重み付け係数K、K、Kは、それぞれ、赤色、青色、緑色の階調値が類似度Sに与える影響を調節するために用いられる。一実施形態では、重み付け係数K、K、Kを、表示装置の特性、例えば、表示装置が備える表示パネルの色域に基づいて設定してもよい。これにより、表示装置に実際に表示される画像の差異の程度を一層に良く反映した類似度Sを算出可能である。
以下では、一例として、図4A、図4Bに図示されている色域をそれぞれ有する表示パネル“A”、“B”を備えた表示装置について議論しよう。図4A、図4Bから理解されるように、表示パネル“B”の色域は、表示パネル“A”と比較して、緑(G)の領域が広い。このような場合、表示パネル“B”が表現可能な緑の輝度は、表示パネル“A”と比較すると高い。したがって、表示パネル“B”を備えた表示装置について類似度Sを算出する場合には、表示パネル“A”を備えた表示装置と比較すると、緑について与えられた重み付け係数Kを大きくすることが好ましい。他の色(赤、青)についても同様の議論が成立する。
上述されている2つの画像の類似度Sの算出は、ハードウェア回路によって実施してもよい。図5は、画像P、Qの類似度Sの算出をハードウェア回路によって行う画像処理装置10の構成の一例を示すブロック図である。
図5の画像処理装置10は、RGBフォーマットで与えられた画像P、Qの類似度Sを算出するように構成されている。図5において、画像Pの画素iの画像データは、記号“DPi”で示されており、画像Qの画素iの画像データは、記号“DQi”で示されている。画像Pの画素iの画像データDPiは、画素iの階調値RPi階調値GPi及び階調値BPiを含んでいる。同様に、画像Qの画素iの画像データDQiは、画素iの階調値RQi階調値GQi階調値BQiを含んでいる。
画像処理装置10は、RGB階調データ変換回路11、12と、類似度演算回路13と、設定レジスタ14、15とを備えている。RGB階調データ変換回路11は、R変換ブロック11R、G変換ブロック11G及びB変換ブロック11Bを備えている。RGB階調データ変換回路11には、画像Pの各画素iの画像データDPiが順次に与えられる。RGB階調データ変換回路11のR変換ブロック11Rは、画像Pの各画素iの画像データDPiのR階調値RPiに対して上述の関数f(x)を適用して値f(RPi)を算出する回路を備えている。同様に、G変換ブロック11Gは、画像Pの各画素iの画像データDPiのG階調値GPiに対して上述の関数f(x)を適用して値f(GPi)を算出する回路を備えており、B変換ブロック11Bは、画像Pの各画素iの画像データDPiのB階調値BPiに対して上述の関数f(x)を適用し、値f(BPi)を算出する回路を備えている。
同様に、RGB階調データ変換回路12は、R変換ブロック12R、G変換ブロック12G及びB変換ブロック12Bを備えている。RGB階調データ変換回路12には、画像Qの各画素iの画像データDQiが順次に与えられる。RGB階調データ変換回路12のR変換ブロック12Rは、画像Qの各画素iの画像データDQi階調値RQiに対して上述の関数f(x)を適用し、値f(RQi)を算出する回路を備えている。同様に、G変換ブロック12Gは、画像Qの各画素iの画像データDQi階調値GQiに対して上述の関数f(x)を適用し、値f(GQi)を算出する回路を備えており、B変換ブロック12Bは、画像Qの各画素iの画像データDQi階調値BQiに対して上述の関数f(x)を適用し、値f(BQi)を算出する回路を備えている。
類似度演算回路13は、RGB階調データ変換回路11から受け取った値f(RPi)、f(GPi)、f(BPi)及びRGB階調データ変換回路12から受け取った値f(RQi)、f(GQi)、f(BQi)に基づいて、式(4)〜(9)のいずれかに従って画像P、Qの類似度Sを算出し、類似度Sを示すデータを出力する。
設定レジスタ14は、RGB階調データ変換回路11、12において使用される関数f(x)に含まれる係数を指定する設定パラメータを保持している。設定レジスタ14に保持されている設定パラメータを変更することで、関数f(x)を変更可能である。例えば、関数f(x)が、下記式
f(x)=x^γ
で定義される場合、γを指定する設定パラメータが設定レジスタ14に保持されてもよい。また、関数f(x)が、折れ線関数である場合には、該折れ線関数のグラフを構成する各線分を規定する式の係数を指定する設定パラメータが設定レジスタ14に保持されてもよい。更に、関数f(x)が、xの多項式として表される場合には、該多項式の各項の係数を指定する設定パラメータが設定レジスタ14に保持されていてもよい。
設定レジスタ15は、関数g(x,y,z)に含まれる係数を指定する設定パラメータを保持している。設定レジスタ15に保持されている設定パラメータを変更することで、関数g(x,y,z)を変更可能である。例えば、類似度Sが、式(5)、(7)、(8)、(9)のいずれかに従って算出される場合、設定レジスタ15は、重み付け係数K、K、Kを保持していてもよい。この場合、類似度Sは、設定レジスタ15に保持されている重み付け係数K、K、Kを用いて算出される。
画像P、Qの画像データがRGBフォーマット以外のフォーマットで与えられる場合、画像P、Qの画像データがRGBフォーマットの画像データに変換され、変換によって得られたRGBフォーマットの画像データから類似度Sが算出されてもよい。図6は、このような構成の画像処理装置10Aの構成の例を示すブロック図である。
図6に図示されている画像処理装置10Aは、図5に図示されている画像処理装置10と類似した構成を有しているが、画像データ変換回路16、17を追加的に備えている。画像データ変換回路16は、RGBフォーマット以外のフォーマットを有する画像Pの画像データD^を受け取り、画像データD^から画像Pの各画素iのRGBフォーマットの画像データDPiを生成する。同様に、画像データ変換回路17は、RGBフォーマット以外のフォーマットを有する画像Qの画像データD^を受け取り、画像データD^から画像Qの各画素iのRGBフォーマットの画像データDQiを生成する。RGB階調データ変換回路11、12と類似度演算回路13の動作は、上述されている通りであり、類似度演算回路13から画像P、Qの類似度Sを示すデータが出力される。
画像P、Qの類似度Sの算出は、ソフトウェアによって実施してもよい。図7は、画像P、Qの類似度Sの算出をソフトウェアによって行う画像処理装置20の構成の一例を概念的に示すブロック図である。画像処理装置20は、コンピュータとして構成されており、プロセッサ21(例えば、CPU(central processing unit))と、主記憶装置22と、入力装置23と、表示装置24と、外部記憶装置25とを備えている。外部記憶装置25には、画像処理ソフトウェア26とデータファイル27とが格納されている。画像処理ソフトウェア26は、画像処理装置20における画像処理、例えば、上述されている画像P、Qの類似度Sの算出を実行するために用いられるプログラムコードを有しており、上述されている画像P、Qの類似度Sの算出は、プロセッサ21が画像処理ソフトウェア26を実行することにより実施される。データファイル27には、画像処理装置20による画像処理の対象の画像データ(例えば、画像P、Qの画像データ)、該画像処理において用いられるデータ、及び、該画像処理の結果として得られるデータが格納される。画像処理装置20への画像処理ソフトウェア26のインストールは、例えば、画像処理ソフトウェア26を記録した非一時的記録媒体(non-transitory recording medium)28を用いて行ってもよい。
例えば、画像P、Qの画像データがデータファイル27に格納されており、画像処理ソフトウェア26は、画像P、Qの画像データに対して上述されている処理を行うことで画像P、Qの類似度Sを算出する。画像P、Qの画像データがRGBフォーマット以外のフォーマットで与えられる場合、該画像データをRGBフォーマットに変換する処理が行われ、この処理によって得られた画像データから類似度Sが算出されてもよい。
述された本実施形態における画像の類似度の算出手法は、様々な画像処理に用いられ得る。例えば、画像圧縮において、複数の圧縮処理から最適な圧縮処理を選択するために用いてもよい。図8は、このような動作を実行する圧縮回路30の構成の例を示すブロック図である。
図8の圧縮回路30は、RGBフォーマットの画像データDINに対して圧縮処理を行って出力圧縮データDOUTを出力するように構成されており、圧縮ブロック31〜31と、展開ブロック32〜32と、RGB階調データ変換回路33〜33、34と、圧縮データ選択回路35とを備えている。
圧縮ブロック31〜31は、画像データDINに対して第1乃至第3の圧縮処理を行って圧縮データ#1〜#3を生成する圧縮回路部を構成している。詳細には、圧縮ブロック31は、画像データDINに対して第1の圧縮処理(圧縮処理#1)を行って圧縮データ#1を生成する。同様に、圧縮ブロック31は、画像データDINに対して第2の圧縮処理(圧縮処理#2)を行って圧縮データ#2を生成し、圧縮ブロック31は、画像データDINに対して第3の圧縮処理(圧縮処理#3)を行って圧縮データ#3を生成する。
展開ブロック32〜32は、圧縮データ#1〜#3に対してそれぞれに対応する展開処理を行って展開データ#1〜#3を生成する展開回路部を構成している。詳細には、展開ブロック32は、圧縮データ#1に対して圧縮処理#1に対応する展開処理(展開処理#1)を行って展開データ#1を生成する。展開処理#1によって得られた展開データ#1は、画像データDINと同様にRGBフォーマットを有している。同様に、展開ブロック32は、圧縮データ#2に対して圧縮処理#2に対応する展開処理(展開処理#2)を行って展開データ#2を生成し、展開ブロック32は、圧縮データ#3に対して圧縮処理#3に対応する展開処理(展開処理#3)を行って展開データ#3を生成する。展開処理#2、#3によって得られた展開データ#2、#3は、画像データDINと同様にRGBフォーマットを有している。
RGB階調データ変換回路33〜33は、上述のRGB階調データ変換回路11、12(図5参照)と同様の構成及び機能を有している。RGB階調データ変換回路33は、展開データ#1の各画素iのR階調値R1i、G階調値G1i、B階調値B1iに対して関数f(x)をそれぞれに適用することにより、値f(R1i)、f(G1i)、f(B1i)を算出する。同様に、RGB階調データ変換回路33は、展開データ#2の各画素iのR階調値R2i、G階調値G2i、B階調値B2iに対して関数f(x)をそれぞれに適用することにより、値f(R2i)、f(G2i)、f(B2i)を算出する。更に、RGB階調データ変換回路33は、展開データ#3の各画素iのR階調値R3i、G階調値G3i、B階調値B3iに対して関数f(x)をそれぞれに適用することにより、値f(R3i)、f(G3i)、f(B3i)を算出する。
RGB階調データ変換回路34も、上述のRGB階調データ変換回路11、12と同様の構成及び機能を有している。RGB階調データ変換回路34は、元の画像データDINの各画素iのR階調値RINi、G階調値GINi、B階調値BINiに対してそれぞれ関数f(x)をそれぞれに適用することにより、値f(RINi)、f(GINi)、f(BINi)を算出する。
圧縮データ選択回路35は、展開データ#1と元の画像データDINとの類似度S、展開データ#2と画像データDINとの類似度S及び展開データ#3と画像データDINとの類似度Sを算出し、類似度S〜Sに基づいて圧縮データ#1〜#3のうちから選択した圧縮データを出力圧縮データDOUTとして出力する。
詳細には、一実施形態では、展開データ#1と元の画像データDINとの類似度Sは、式(4)〜(9)のいずれかにおいて、画像P、Qの画像データとして、それぞれ展開データ#1と元の画像データDINを適用することで算出される。同様に、展開データ#2と元の画像データDINとの類似度Sは、式(4)〜(9)のいずれかにおいて、画像P、Qの画像データとして、それぞれ展開データ#2と元の画像データDINを適用することで算出される。また、展開データ#3と元の画像データDINとの類似度Sは、式(4)〜(9)のいずれかにおいて、画像P、Qの画像データとして、それぞれ展開データ#3と元の画像データDINを適用することで算出される。
言い換えれば、展開データ#kと元の画像データDINと類似度S(kは、1以上3以下の整数)は、下記式(10)〜(15)のいずれかに従って算出してもよい。
Figure 0006689508
Figure 0006689508
Figure 0006689508
Figure 0006689508
Figure 0006689508
Figure 0006689508
また、式(10)〜(13)に現れる関数f(x)についても、xのべき乗を近似する折れ線関数、又は、xのべき乗を近似するxの多項式関数を用いることが好適である。特に、表示装置のガンマ値がγである場合には、関数f(x)として、x^γを近似する折れ線関数又はx^γを近似する多項式関数が用いられることが好適である。
RGB階調データ変換回路33〜33、34において用いられる関数f(x)の係数は、設定レジスタ36に格納される設定パラメータによって指定されてもよい。この場合、設定レジスタ36に保持されている設定パラメータを変更することで、関数f(x)を変更可能である。例えば、関数f(x)が、下記式
f(x)=x^γ
で定義される場合、γを指定する設定パラメータが設定レジスタ36に保持されてもよい。また、関数f(x)が、折れ線関数である場合には、該折れ線関数のグラフを構成する各線分を規定する式の係数を指定する設定パラメータが設定レジスタ36に保持されてもよい。更に、関数f(x)が、xの多項式として表される場合には、該多項式の各項の係数を指定する設定パラメータが設定レジスタ36に保持されていてもよい。
また、圧縮データ選択回路35における類似度S(kは、1以上3以下の整数)の算出に用いられる関数g(x,y,z)の係数は、設定レジスタ37に格納される設定パラメータによって指定されてもよい。この場合、設定レジスタ37に保持されている設定パラメータを変更することで、関数g(x,y,z)を変更可能である。例えば、類似度Sが、式(11)、(13)、(14)、(15)のいずれかに従って算出される場合、設定レジスタ37は、重み付け係数K、K、Kを保持していてもよい。この場合、類似度Sは、設定レジスタ37に保持されている重み付け係数K、K、Kを用いて算出される。
上記のように構成された圧縮回路30は、複数の圧縮処理(図8の構成では3つの圧縮処理)のうちの最適な圧縮処理、より具体的には、圧縮歪みが最も少ない圧縮処理により生成された出力圧縮データDOUTを出力することができる。例えば、類似度S〜Sが小さいほど類似度が高いとして類似度S〜Sが定義される場合、類似度S〜Sのうち最も小さいものに対応する圧縮データが出力圧縮データDOUTとして選択される。これにより、圧縮歪みが最も小さい圧縮処理によって生成された圧縮データが出力圧縮データDOUTとして出力される。本実施形態では、類似度S〜Sが表示装置の入出力特性を考慮して算出されるので、表示装置に実際に表示される画像における圧縮歪みが小さい圧縮処理によって生成された圧縮データを出力圧縮データDOUTとして出力することができる。
図8に図示されている圧縮回路30は、例えば、表示パネルを駆動する表示ドライバにおいて画像データに対して圧縮処理を行うために使用され得る。図9Aは、このように構成された表示ドライバを備える表示装置40の構成を示すブロック図である。表示装置40は、表示パネル41(例えば、液晶表示パネルやOLED表示パネル)と、表示ドライバ42とを備えている。表示パネル41は、表示部41aとGIP(gate in panel)回路41bとを備えている。表示部41aには、画素とゲート線とソース線とが設けられている。GIP回路41bは、表示部41aに配置されたゲート線を駆動する。表示ドライバ42は、プロセッサ43から受け取った画像データと制御データとに応じて表示パネル41のソース線を駆動すると共に、GIP回路41bを制御する。
表示ドライバ42は、命令制御回路51と、圧縮回路52と、画像メモリ53と、展開回路54と、ソース線駆動回路55と、階調発生回路56と、タイミング制御回路57と、設定レジスタ58、59とを備えている。
命令制御回路51は、プロセッサ43から受け取った画像データを圧縮回路52に転送する。命令制御回路51は、更に、プロセッサ43から受け取った制御データに応答して表示ドライバ42の各回路、例えば、階調発生回路56やタイミング制御回路57を制御する。
圧縮回路52は、命令制御回路51から受け取った画像データに対して圧縮処理を行って圧縮データを生成し、該圧縮データを画像メモリ53に供給する。図9Aの表示装置40では、圧縮回路52として、図8に図示されている圧縮回路30が使用される。
画像メモリ53は、圧縮回路52から供給された圧縮データを一時的に保存する。圧縮データは、画像メモリ53から読み出されて展開回路54に供給される。
展開回路54は、画像メモリ53から読み出された圧縮データに対して展開処理を行って展開後画像データを生成し、該展開後画像データをソース線駆動回路55に供給する。
ソース線駆動回路55は、該展開後画像データに応答して表示パネル41の表示部41aのソース線を駆動する。詳細には、ソース線駆動回路55は、階調発生回路56から受け取った階調電圧を用いて該展開後画像データに対応する電圧レベルを有するソース電圧を生成し、該ソース電圧で各ソース線を駆動する。
階調発生回路56は、ソース電圧の生成に使用される階調電圧を発生し、ソース線駆動回路55に供給する。
タイミング制御回路57は、表示ドライバ42の各回路及び表示パネル41のGIP回路41bの動作タイミングを制御する。
設定レジスタ58は、圧縮回路52において用いられる関数f(x)の係数を指定する設定パラメータを保持する。このような構成では、設定レジスタ58に保持されている設定パラメータを変更することで、関数f(x)を変更可能である。例えば、関数f(x)が、下記式
f(x)=x^γ
で定義される場合(例えば、圧縮回路52において式(8)に従って類似度が算出される場合)、γを指定する設定パラメータが設定レジスタ58に保持されてもよい。この場合、γとして、表示装置40のガンマ値又は表示パネル41のガンマ値が用いられることが好ましい。
また、表示装置40のガンマ値又は表示パネル41のガンマ値がγである場合には、関数f(x)として、x^γを近似する折れ線関数又はx^γを近似する多項式関数が用いられることが好ましい。このとき、関数f(x)が、折れ線関数である場合には、該折れ線関数のグラフを構成する各線分を規定する式の係数を指定する設定パラメータが設定レジスタ58に保持されてもよい。更に、関数f(x)が、xの多項式として表される場合には、該多項式の各項の係数を指定する設定パラメータが設定レジスタ58に保持されてもよい。
設定レジスタ59は、圧縮回路52において使用される関数g(x,y,z)に含まれる係数を指定する設定パラメータを保持している。設定レジスタ59に保持されている設定パラメータを変更することで、関数g(x,y,z)を変更可能である。例えば、圧縮回路52において、類似度Sが、式(11)、(13)、(14)、(15)のいずれかに従って算出される場合、設定レジスタ59は、重み付け係数K、K、Kを保持していてもよい。この場合、類似度Sは、設定レジスタ59に保持されている重み付け係数K、K、Kを用いて算出される。
本実施形態では、プロセッサ43から受け取った画像データを圧縮して圧縮データを生成し、該圧縮データを画像メモリ53に供給する圧縮回路52として、図に図示されている圧縮回路30が使用される。これにより、表示パネル41に実際に表示される画像における圧縮歪みが小さい圧縮処理によって生成された圧縮データを生成することができる。
また、図8に図示されている圧縮回路30は、表示ドライバに画像データを供給するタイミングコントローラに搭載されてもよい。図9Bは、このようなタイミングコントローラを備えた表示装置40Aの構成を示すブロック図である。表示装置40Aは、表示パネル41と表示ドライバ42Aとタイミングコントローラ44とを備えている。
タイミングコントローラ44は、圧縮回路44aと、通信インターフェース44bと、設定レジスタ44c、44dとを備えている。圧縮回路44aは、表示パネル41に表示すべき画像に対応する画像データを受け取り、該画像データを圧縮して圧縮データを生成する。図9Bの表示装置40Aでは、圧縮回路44aとして、図8に図示されている圧縮回路30が使用される。通信インターフェース44bは、圧縮回路44aによって生成された圧縮データを表示ドライバ42Aに送信し、更に、表示ドライバ42Aの動作を制御する制御データを表示ドライバ42Aに送信する。
設定レジスタ44cは、圧縮回路44aにおいて用いられる関数f(x)の係数を指定する設定パラメータを保持する。このような構成では、設定レジスタ44cに保持されている設定パラメータを変更することで、関数f(x)を変更可能である。例えば、関数f(x)が、下記式
f(x)=x^γ
で定義される場合(例えば、圧縮回路44aにおいて式(8)に従って類似度が算出される場合)、γを指定する設定パラメータが設定レジスタ44cに保持されてもよい。この場合、γとして、表示装置40Aのガンマ値又は表示パネル41のガンマ値が用いられることが好ましい。
また、表示装置40のガンマ値又は表示パネル41のガンマ値がγである場合には、関数f(x)として、x^γを近似する折れ線関数又はx^γを近似する多項式関数が用いられることが好ましい。このとき、関数f(x)が、折れ線関数である場合には、該折れ線関数のグラフを構成する各線分を規定する式の係数を指定する設定パラメータが設定レジスタ44cに保持されてもよい。更に、関数f(x)が、xの多項式として表される場合には、該多項式の各項の係数を指定する設定パラメータが設定レジスタ44cに保持されてもよい。
設定レジスタ44dは、圧縮回路44aにおいて使用される関数g(x,y,z)に含まれる係数を指定する設定パラメータを保持している。設定レジスタ44dに保持されている設定パラメータを変更することで、関数g(x,y,z)を変更可能である。例えば、圧縮回路44aにおいて、類似度Sが、式(11)、(13)、(14)、(15)のいずれかに従って算出される場合、設定レジスタ44dは、重み付け係数K、K、Kを保持していてもよい。この場合、類似度Sは、設定レジスタ44dに保持されている重み付け係数K、K、Kを用いて算出される。
表示ドライバ42Aは、命令制御回路51と、展開回路54と、ソース線駆動回路55と、階調発生回路56と、タイミング制御回路57とを備えている。図9Bの表示ドライバ42Aの構成及び動作は、図9Aに図示された表示ドライバ42の構成及び動作と類似しているが、圧縮回路52と画像メモリ53とが設けられていない点で相違する。命令制御回路51は、タイミングコントローラ44から受け取った圧縮データを展開回路54に転送する。展開回路54は、命令制御回路51から受け取った圧縮データに対して展開処理を行って展開後画像データを生成し、該展開後画像データをソース線駆動回路55に供給する。
他の応用例として、上述された本実施形態における画像の類似度の算出手法は、動きベクトルを検出する動き検出回路に適用してもよい。図10は、このような動き検出回路60の構成の例を示すブロック図である。
図10の動き検出回路60は、隣接するフレーム画像における特定のブロックの動きベクトル(即ち、移動方向及び移動量)を検出するように構成されている。図11は、本実施形態における動きベクトルの検出について説明する図である。図11に図示されているように、前フレーム画像の特定ブロック(例えば、16×16画素)に含まれる画像要素71が、現フレーム画像において移動したとしよう。図11の符号72は、前フレーム画像において画像要素71が存在していた位置を示している。本実施形態の動き検出回路60は、該画像要素71を含む該ブロックの動きベクトルを算出する。
詳細には、図10に図示されているように、動き検出回路60は、動き生成ブロック61〜61と、RGB階調データ変換回路62〜62、63と、動きベクトル選択回路64とを備えている。動き生成ブロック61〜61は、現フレーム画像データ(現フレーム画像の画像データ)を受け取り、現フレーム画像について該特定ブロックを特定の移動方向に特定の移動量だけ移動させた画像に対応する画像データである移動データを生成する。ここで、動き生成ブロック61は(kは、1以上N以下の整数)、現フレーム画像について該特定ブロックを移動方向#kに移動量#kだけ移動させた画像に対応する画像データである移動データ#kを生成する。図12は、移動方向#1〜#N及び移動量#1〜#Nの定義の例を示しており、移動方向#1〜#8及び移動量#1〜#8が図示されている。
RGB階調データ変換回路62〜62は、上述のRGB階調データ変換回路11、12(図5参照)と同様の構成及び機能を有している。RGB階調データ変換回路62(kは、1以上N以下の整数)は、移動データ#kの各画素iのR階調値Rki、G階調値Gki、B階調値Bkiに対してそれぞれ関数f(x)をそれぞれに適用することにより、値f(Rki)、f(Gki)、f(Bki)を算出する。
RGB階調データ変換回路63も、上述のRGB階調データ変換回路11、12と同様の構成及び機能を有している。RGB階調データ変換回路63は、前フレーム画像の画像データの各画素iのR階調値RPREi、G階調値GPREi、B階調値BPREiに対して関数f(x)をそれぞれに適用することにより、値f(RPREi)、f(GPREi)、f(BPREi)を算出する。
動きベクトル選択回路64は、移動データ#1〜#Nにそれぞれに対応する画像と前フレーム画像の類似度S〜Sをそれぞれ算出し、類似度S〜Sに基づいて該特定ブロックの動きベクトルを選択する。類似度S〜Sから、移動データ#1〜#Nに対応する画像のうち移動データ#jに対応する画像が、前フレーム画像と最も類似すると判断された場合、移動データ#jの生成に用いられた移動方向#j、移動量#jを示す動きベクトルが選択される。このようにして、該特定ブロックの動きベクトルが検出される。
本実施形態の動き検出回路60では、類似度S〜Sが表示装置の入出力特性を考慮して算出されるので、表示装置に実際に表示される画像における差異に基づいて動きベクトルが検出でき、動き予測の精度を向上させることができる。
以上には、本発明の実施形態が具体的に記述されているが、本発明は、上記の実施形態に限定されると解釈してはならない。本発明が様々な変更と共に実施され得ることは、当業者には自明的であろう。
10、10A:画像処理装置
11 :RGB階調データ変換回路
11B :B変換ブロック
11G :G変換ブロック
11R :R変換ブロック
12 :RGB階調データ変換回路
12B :B変換ブロック
12G :G変換ブロック
12R :R変換ブロック
13 :類似度演算回路
14、15 :設定レジスタ
16、17 :画像データ変換回路
20 :画像処理装置
21 :プロセッサ
22 :主記憶装置
23 :入力装置
24 :表示装置
25 :外部記憶装置
26 :画像処理ソフトウェア
27 :データファイル
28 :非一時的記録媒体
30 :圧縮回路
31、31、31:圧縮ブロック
32、32、32:展開ブロック
33、33、33:RGB階調データ変換回路
34 :RGB階調データ変換回路
35 :圧縮データ選択回路
36、37 :設定レジスタ
40、40A:表示装置
41 :表示パネル
41a :表示部
41b :GIP回路
42、42A:表示ドライバ
43 :プロセッサ
44 :タイミングコントローラ
44a :圧縮回路
44b :通信インターフェース
44c、44d:設定レジスタ
50 :表示装置
51 :命令制御回路
52 :圧縮回路
53 :画像メモリ
54 :展開回路
55 :ソース線駆動回路
56 :階調発生回路
57 :タイミング制御回路
58、59 :設定レジスタ
60 :動き検出回路
61〜61:動き生成ブロック
62〜62:RGB階調データ変換回路
63 :RGB階調データ変換回路
64 :動きベクトル選択回路
71 :画像要素
72 :位置

Claims (24)

  1. 第1画像の各画素iについて、前記第1画像の各画素iのR階調値RPi、G階調値GPi及びB階調値BPiに、関数f(x)をそれぞれに適用して得られる値f(RPi)、f(GPi)、f(BPi)を算出する手段と、
    第2画像の各画素iについて、前記第2画像の各画素iのR階調値RQi、G階調値GQi及びB階調値BQiに、前記関数f(x)をそれぞれに適用して得られる値f(RQi)、f(GQi)、f(BQi)を算出する手段と、
    前記第1画像と前記第2画像の類似度を、前記第1画像及び前記第2画像の各画素iの|f(RPi)−f(RQi)|、|f(GPi)−f(GQi)|及び|f(BPi)−f(BQi)|に依存して算出する手段
    とを具備し、
    前記関数f(x)が、R階調値RPi、RQi、G階調値GPi、GQi、及びB階調値BPi、BQiの許容最小値を下限とし、R階調値RPi、RQi、G階調値GPi、GQi、及びB階調値BPi、BQiの許容最大値を上限とする定義域を有し、前記定義域において広義に単調に増加する凸関数である
    画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    前記第1画像と前記第2画像の前記類似度Sは、下記式(1):
    Figure 0006689508
    に従って算出される
    画像処理装置。
    ここで、Σは、前記第1画像と前記第2画像の全画素についての和を表しており、g(x,y,z)は、定数関数でない関数である。
  3. 請求項1に記載の画像処理装置であって、
    前記第1画像と前記第2画像の前記類似度Sが、下記式(2):
    Figure 0006689508
    に従って算出される
    画像処理装置。
    ここで、pは、0でない数であり、K、K、Kは、前記類似度Sの算出において、それぞれ、赤、緑、青に与えられる重み付け係数である。
  4. 請求項1に記載の画像処理装置であって、
    前記第1画像と前記第2画像の前記類似度Sが、下記式(3):
    Figure 0006689508
    に従って算出される
    画像処理装置。
    ここで、K、K、Kは、前記類似度Sの算出において、それぞれ、赤、緑、青に与えられる重み付け係数である。
  5. 請求項1に記載の画像処理装置であって、
    前記第1画像と前記第2画像の前記類似度Sが、下記式(4):
    に従って算出される
    Figure 0006689508
    画像処理装置。
    ここで、K、K、Kは、前記類似度Sの算出において、それぞれ、赤、緑、青に与えられる重み付け係数であり、γは、所定の定数である。
  6. 請求項1乃至5のいずれかに記載の画像処理装置であって、
    前記関数f(x)として、x^γ(γは所定の定数)を近似する折れ線関数が用いられる
    画像処理装置。
  7. 請求項1乃至5のいずれかに記載の画像処理装置であって、
    前記関数f(x)として、x^γ(γは所定の定数)を近似する多項式関数が用いられる
    画像処理装置。
  8. 請求項6又は7に記載の画像処理装置であって、
    前記γが、前記第1画像及び前記第2画像の画像データが用いられる表示装置のガンマ値である
    画像処理装置。
  9. 請求項4に記載の画像処理装置であって、
    前記重み付け係数K、K、Kは、前記第1画像及び前記第2画像の画像データが用いられる表示装置が有する表示パネルの色域に基づいて設定されている
    画像処理装置。
  10. 請求項1乃至4のいずれかに記載の画像処理装置であって、
    更に、
    前記関数f(x)に含まれる係数を指定する第1設定パラメータを保持する第1設定レジスタを具備する
    画像処理装置。
  11. 請求項2に記載の画像処理装置であって、
    更に、
    前記g(x,y,z)に含まれる係数を指定する第2設定パラメータを保持する第2設定レジスタを具備する
    画像処理装置。
  12. 請求項4又は5の画像処理装置であって、
    更に、
    前記重み付け係数K、K、Kを指定する第2設定パラメータを保持する第2設定レジスタを具備する
    画像処理装置。
  13. 画像データに対し、それぞれ、第1乃至第N圧縮処理を行って第1乃至第N圧縮データを生成する圧縮回路部(Nは、2以上の整数)と、
    前記第1乃至第N圧縮データに対し、それぞれに対応する展開処理を行って第1乃至第N展開データを生成する展開回路部と、
    第1乃至第N+1階調データ変換回路と、
    前記第1乃至第N圧縮データのうちから出力圧縮データを選択し、前記出力圧縮データを出力する圧縮データ選択回路
    とを具備し、
    前記第1乃至第N階調データ変換回路のうちの第k階調データ変換回路(kは、1以上N以下の整数)は、前記第1乃至第N展開データのうちの第k展開データの各画素iについて、前記第k展開データの各画素iのR階調値Rki、G階調値Gki及びB階調値Bkiに、関数f(x)をそれぞれに適用して得られる値f(Rki)、f(Gki)、f(Bki)を算出するように構成され、
    第N+1階調データ変換回路は、前記画像データの各画素iについて、前記画像データの各画素iのR階調値RINi、G階調値GINi及びB階調値BINiに関数f(x)をそれぞれに適用して得られる値f(RINi)、f(GINi)、f(BINi)を算出するように構成され、
    前記圧縮データ選択回路は、前記第1乃至第N展開データのそれぞれと前記画像データとの類似度を算出し、算出された前記類似度に応じて前記第1乃至第N圧縮データのうちから前記出力圧縮データを選択するように構成され、
    前記第k展開データと前記画像データとの類似度は、前記第k展開データ及び前記画像データの各画素iの|f(Rki)−f(RINi)|、|f(Gki)−f(GINi)|及び|f(Bki)−f(BINi)|に依存して算出され、
    前記関数f(x)が、R階調値Rki、RINi、G階調値Gki、GINi、及びB階調値Bki、BINiの許容最小値を下限とし、R階調値Rki、RINi、G階調値Gki、GINi、及びB階調値Bki、BINiの許容最大値を上限とする定義域を有し、前記定義域において広義に単調に増加する凸関数である
    圧縮回路。
  14. 請求項13に記載の圧縮回路であって、
    前記第k展開データと前記画像データの前記類似度Sが、下記式(5):
    Figure 0006689508
    に従って算出される
    圧縮回路。
    ここで、K、K、Kは、前記類似度S の算出において、それぞれ、赤、緑、青に与えられる重み付け係数である。
  15. 請求項13に記載の圧縮回路であって、
    前記第k展開データと前記画像データの前記類似度Sが、下記式(6):
    に従って算出される
    Figure 0006689508
    圧縮回路。
    ここで、K、K、Kは、前記類似度Sの算出において、それぞれ、赤、緑、青に与えられる重み付け係数であり、γは、所定の定数である。
  16. 請求項13又は14のいずれかに記載の圧縮回路であって、
    前記関数f(x)として、x^γ(γは所定の定数)を近似する折れ線関数が用いられる
    圧縮回路。
  17. 表示パネルを駆動する表示ドライバであって、
    請求項13乃至16のいずれかに記載された圧縮回路と、
    前記圧縮回路から受け取った前記出力圧縮データを記憶する画像メモリと、
    前記画像メモリから受け取った前記出力圧縮データを展開して展開後画像データを生成する展開回路と、
    前記展開後画像データに応じて前記表示パネルを駆動する駆動部
    とを具備する
    表示ドライバ。
  18. 請求項17に記載の表示ドライバであって、
    更に、
    前記関数f(x)に含まれる係数を指定する第1設定パラメータを保持する第1設定レジスタを具備する
    表示ドライバ。
  19. 表示パネルを駆動する表示ドライバであって、
    請求項14又は15に記載された圧縮回路と、
    前記圧縮回路から受け取った前記出力圧縮データを記憶する画像メモリと、
    前記画像メモリから受け取った前記出力圧縮データを展開して展開後画像データを生成する展開回路と、
    前記展開後画像データに応じて前記表示パネルを駆動する駆動部と、
    前記重み付け係数K、K、Kを指定する第2設定パラメータを保持する第2設定レジスタ
    とを具備する
    表示ドライバ。
  20. 表示パネルを駆動する表示ドライバであって、
    請求項15又は16に記載された圧縮回路と、
    前記圧縮回路から受け取った前記出力圧縮データを記憶する画像メモリと、
    前記画像メモリから受け取った前記出力圧縮データを展開して展開後画像データを生成する展開回路と、
    前記展開後画像データに応じて前記表示パネルを駆動する駆動部
    とを具備し、
    前記γが、前記表示パネルのガンマ値である
    表示ドライバ。
  21. 表示パネルと、
    請求項13、14又は16に記載された圧縮回路と、
    前記圧縮回路から出力される前記出力圧縮データを受け取り、前記出力圧縮データを展開して展開後画像データを生成する展開回路と、
    前記展開後画像データに応じて前記表示パネルを駆動する駆動部と、
    前記関数f(x)に含まれる係数を指定する第1設定パラメータを保持する第1設定レジスタ
    とを具備する
    表示装置。
  22. 表示パネルと、
    請求項14又は15に記載された圧縮回路と、
    前記圧縮回路から出力される前記出力圧縮データを受け取り、前記出力圧縮データを展開して展開後画像データを生成する展開回路と、
    前記展開後画像データに応じて前記表示パネルを駆動する駆動部と、
    前記重み付け係数K、K、Kを指定する第2設定パラメータを保持する第2設定レジスタ
    とを具備する
    表示装置。
  23. 表示パネルと、
    請求項15又は16に記載された圧縮回路と、
    前記圧縮回路から出力される前記出力圧縮データを受け取り、前記出力圧縮データを展開して展開後画像データを生成する展開回路と、
    前記展開後画像データに応じて前記表示パネルを駆動する駆動部
    とを具備する表示装置であって、
    前記γが、前記表示装置又は前記表示パネルのガンマ値である
    表示装置。
  24. 第1画像の各画素iについて、前記第1画像の各画素iのR階調値RPi、G階調値GPi及びB階調値BPiに、関数f(x)をそれぞれに適用して得られる値f(RPi)、f(GPi)、f(BPi)を算出するステップと、
    第2画像の各画素iについて、前記第2画像の各画素iのR階調値RQi、G階調値GQi及びB階調値BQiに、関数f(x)をそれぞれに適用して得られる値f(RQi)、f(GQi)、f(BQi)を算出するステップと、
    前記第1画像と前記第2画像の類似度を、前記第1画像及び前記第2画像の各画素iの|f(RPi)−f(RQi)|、|f(GPi)−f(GQi)|及び|f(BPi)−f(BQi)|に依存して算出するステップ
    とを具備し、
    前記関数f(x)が、R階調値RPi、RQi、G階調値GPi、GQi、及びB階調値BPi、BQiの許容最小値を下限とし、R階調値RPi、RQi、G階調値GPi、GQi、及びB階調値BPi、BQiの許容最大値を上限とする定義域を有し、前記定義域において広義に単調に増加する凸関数である
    画像処理方法。
JP2016079745A 2016-04-12 2016-04-12 画像処理装置、圧縮回路、表示ドライバ、表示装置及び画像処理方法 Active JP6689508B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016079745A JP6689508B2 (ja) 2016-04-12 2016-04-12 画像処理装置、圧縮回路、表示ドライバ、表示装置及び画像処理方法
US15/483,315 US10235598B2 (en) 2016-04-12 2017-04-10 Calculation of degree of similarity between two images
CN201710235609.0A CN107293245B (zh) 2016-04-12 2017-04-12 图像处理装置、压缩电路、显示驱动器、显示装置以及图像处理方法
US16/355,100 US10657412B2 (en) 2016-04-12 2019-03-15 Calculation of degree of similarity between two images
JP2020066859A JP6956222B2 (ja) 2016-04-12 2020-04-02 画像処理装置、プログラム、記録媒体及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016079745A JP6689508B2 (ja) 2016-04-12 2016-04-12 画像処理装置、圧縮回路、表示ドライバ、表示装置及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020066859A Division JP6956222B2 (ja) 2016-04-12 2020-04-02 画像処理装置、プログラム、記録媒体及び方法

Publications (3)

Publication Number Publication Date
JP2017191413A JP2017191413A (ja) 2017-10-19
JP2017191413A5 JP2017191413A5 (ja) 2019-05-09
JP6689508B2 true JP6689508B2 (ja) 2020-04-28

Family

ID=59999489

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016079745A Active JP6689508B2 (ja) 2016-04-12 2016-04-12 画像処理装置、圧縮回路、表示ドライバ、表示装置及び画像処理方法

Country Status (3)

Country Link
US (2) US10235598B2 (ja)
JP (1) JP6689508B2 (ja)
CN (1) CN107293245B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7306812B2 (ja) 2018-10-05 2023-07-11 シナプティクス インコーポレイテッド 画像圧縮回路及び画像圧縮方法
CN111327905B (zh) * 2020-01-09 2022-02-18 武汉中元华电软件有限公司 基于fpga实现相似图像压缩的预处理方法及系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3031391B2 (ja) 1991-12-06 2000-04-10 セイコーエプソン株式会社 プリンタ
JP3211545B2 (ja) 1994-02-16 2001-09-25 富士ゼロックス株式会社 画像処理装置
US5640200A (en) * 1994-08-31 1997-06-17 Cognex Corporation Golden template comparison using efficient image registration
US6384859B1 (en) * 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
JP2841314B2 (ja) 1996-11-08 1998-12-24 ソニー株式会社 データ伝送方法および伝送装置
US6154567A (en) * 1998-07-01 2000-11-28 Cognex Corporation Pattern similarity metric for image search, registration, and comparison
US6972508B2 (en) * 2000-04-28 2005-12-06 Murata Manufacturing Co., Ltd. Surface acoustic wave device
US7233708B2 (en) * 2003-11-07 2007-06-19 Microsoft Corporation Systems and methods for indexing and retrieving images
JP2006189661A (ja) * 2005-01-06 2006-07-20 Toshiba Corp 画像表示装置及びその方法
JP4947343B2 (ja) * 2006-05-24 2012-06-06 ソニー株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
CN102054177B (zh) * 2010-12-29 2012-11-21 北京新媒传信科技有限公司 一种图像相似度计算方法和装置
CN103295022B (zh) * 2012-02-24 2018-01-26 富泰华工业(深圳)有限公司 图像相似度计算系统及方法
CN103366170B (zh) * 2012-04-02 2018-02-06 周口师范学院 图像二值化处理装置及其方法
CN104981861B (zh) * 2013-02-14 2017-04-12 三菱电机株式会社 信号转换装置和方法
JP6347957B2 (ja) * 2014-01-17 2018-06-27 シナプティクス・ジャパン合同会社 表示装置、表示パネルドライバ、及び、表示パネルの駆動方法
JP2015177510A (ja) * 2014-03-18 2015-10-05 株式会社リコー カメラシステム、画像処理方法及びプログラム
JP2015191118A (ja) * 2014-03-28 2015-11-02 シナプティクス・ディスプレイ・デバイス合同会社 電子機器及び表示ドライバ
JP6351034B2 (ja) * 2014-07-29 2018-07-04 シナプティクス・ジャパン合同会社 表示装置、表示パネルドライバ、画像処理装置及び表示パネルの駆動方法
CN104156191A (zh) * 2014-08-22 2014-11-19 沈炜 将移动电子设备扩展为pc机显示器的系统及方法
CN104680993B (zh) * 2015-03-09 2018-04-10 深圳市华星光电技术有限公司 一种液晶显示器的驱动方法及驱动装置

Also Published As

Publication number Publication date
US20190213440A1 (en) 2019-07-11
CN107293245B (zh) 2021-06-22
US20170293823A1 (en) 2017-10-12
US10235598B2 (en) 2019-03-19
CN107293245A (zh) 2017-10-24
JP2017191413A (ja) 2017-10-19
US10657412B2 (en) 2020-05-19

Similar Documents

Publication Publication Date Title
CN109474769B (zh) 预烧统计和预烧补偿
CN109817184B (zh) 用于色差校正的设备和方法
CN107644608B (zh) 显示装置及其影像处理方法
JP2015094767A5 (ja)
CN104835460A (zh) 图像处理设备、图像处理方法、显示面板驱动器以及显示设备
JP6689508B2 (ja) 画像処理装置、圧縮回路、表示ドライバ、表示装置及び画像処理方法
US9602696B2 (en) Color conversion method, gray scale value correction apparatus, computer program and display apparatus
US11189222B1 (en) Device and method for mura compensation
US11355049B2 (en) Pixel leakage and internal resistance compensation systems and methods
JP6956222B2 (ja) 画像処理装置、プログラム、記録媒体及び方法
US9773470B2 (en) Display device, method of driving display device, and electronic apparatus
JP2020008859A (ja) Rgbg形式の画像データ表示方法、rgbg形式画像データの色変換方法、表示装置およびプログラム
JP2017191413A5 (ja)
CN110992251B (zh) 视频中logo替换方法、装置及电子设备
US20190057493A1 (en) Display device and display method therefor
US9569999B2 (en) Signal generation apparatus, signal generation program, signal generation method, and image display apparatus
KR20220048943A (ko) 상이한 픽셀 레이아웃들의 영역들을 포함하는 디스플레이 패널에 대한 ir 드롭 보상
WO2018099087A1 (zh) 用于数字图像的动态范围扩展的系统、方法以及存储介质
JP2019003128A (ja) 表示ドライバの設定方法、色調整装置、プログラム及び表示システム
KR20170015678A (ko) 영상 처리 방법, 영상 처리 방법을 수행하는 영상 처리 장치, 및 영상 처리 장치를 포함하는 표시 장치
KR102082070B1 (ko) 높은 정밀도 색역 매핑
US11810494B2 (en) Dither enhancement of display gamma DAC systems and methods
JP2018085578A (ja) 画像処理装置、画像処理方法、及びプログラム
CN111276089B (zh) 一种灰阶补偿计算方法、装置和显示装置
JP7301532B2 (ja) 表示ドライバ、装置及び表示パネル駆動方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160825

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200402

R150 Certificate of patent or registration of utility model

Ref document number: 6689508

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250