JP7365532B1 - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents
画像処理装置、画像処理方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7365532B1 JP7365532B1 JP2023524670A JP2023524670A JP7365532B1 JP 7365532 B1 JP7365532 B1 JP 7365532B1 JP 2023524670 A JP2023524670 A JP 2023524670A JP 2023524670 A JP2023524670 A JP 2023524670A JP 7365532 B1 JP7365532 B1 JP 7365532B1
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- frame
- pixel value
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 91
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000004590 computer program Methods 0.000 title abstract description 5
- 238000012937 correction Methods 0.000 claims abstract description 104
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000008569 process Effects 0.000 claims abstract description 53
- 230000004044 response Effects 0.000 claims abstract description 48
- 230000007423 decrease Effects 0.000 claims abstract description 43
- 230000000630 rising effect Effects 0.000 claims abstract description 14
- 230000002093 peripheral effect Effects 0.000 claims abstract description 12
- 230000007704 transition Effects 0.000 claims description 75
- 230000002542 deteriorative effect Effects 0.000 abstract description 3
- 230000001629 suppression Effects 0.000 abstract description 2
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007562 laser obscuration time method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/66—Transforming electric information into light information
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
Description
(1)第1フレームと第2フレームとに基づいて第2フレームを補正する補正処理を行う画像処理装置であって、フリッカー成分推定部と、画素値補正部とを備え、前記フリッカー成分推定部は、第1及び第2フレームの領域内画素の画素値に基づいて、フリッカー成分値を取得するように構成され、前記領域内画素は、第1及び第2フレームの予め定められた領域に含まれる複数の画素で構成され、前記複数の画素は、注目画素と、前記注目画素の周辺に配置される周辺画素とを有し、前記フリッカー成分値は、第1フレームから第2フレームに移行するときに、前記領域内画素において画素応答遅延により画像表示部に生じるフリッカーの度合いに対応し、前記画素応答遅延は、第1フレームから第2フレームに移行するときに、前記複数の画素のうち前記画素値が上昇する上昇画素と前記画素値が低下する低下画素との応答速度の差に対応し、前記画素値補正部は、前記フリッカー成分値に基づいて補正画素値を取得するように構成され、前記補正画素値は、第2フレームの前記注目画素の前記画素値を補正した値である、画像処理装置。
(2)(1)に記載の画像処理装置であって、前記フリッカー成分推定部は、第1統計値及び第2統計値の差分に基づいて前記フリッカー成分値を取得し、第1統計値は、第1フレームの前記領域内画素の前記複数の画素の前記画素値の統計値であり、第2統計値は、第2フレームの前記領域内画素の前記複数の画素の前記画素値の前記統計値である、画像処理装置。
(3)(2)に記載の画像処理装置であって、前記統計値は、前記領域内画素の前記複数の画素の前記画素値の平均値、分散値、中央値、又は、低周波成分値であり、前記低周波成分値は、画素間距離及び画素値のうちの少なくとも一方に応じた確率密度分布における重み付け値である、画像処理装置。
(4)(1)~(3)の何れか1つに記載の画像処理装置であって、前記フリッカー成分推定部は、上昇値及び低下値に基づいて前記フリッカー成分値を取得し、前記上昇値は、第1フレームから第2フレームに移行するときにおいて、前記複数の画素のうち前記上昇画素の前記画素値に基づいており、前記低下値は、第1フレームから第2フレームに移行するときにおいて、前記複数の画素のうち前記低下画素の前記画素値に基づいている、画像処理装置。
(5)(4)に記載の画像処理装置であって、前記上昇値は、前記上昇画素における、第1及び第2フレームの前記画素値の差分の総和であり、前記低下値は、前記低下画素における、第1及び第2フレームの前記画素値の差分の総和である、画像処理装置。
(6)(1)~(5)の何れか1つに記載の画像処理装置であって、画素値決定部を更に備え、前記画素値補正部は、前記フリッカー成分値に基づいた遷移量を取得し、前記遷移量に基づいて前記補正画素値を取得するように構成され、前記画素値決定部は、前記遷移量の大きさに応じて、現補正処理の後の前記補正処理で用いる第1フレームの前記注目画素の前記画素値を決定する、画像処理装置。
(7)(6)に記載の画像処理装置であって、前記画素値決定部は、前記遷移量が予め定められた閾値以上である場合には、現補正処理の後の前記補正処理で用いる第1フレームの前記注目画素の前記画素値を、前記現補正処理の第2フレームの前記注目画素の前記画素値とし、前記遷移量が予め定められた閾値未満である場合には、前記現補正処理の後の前記補正処理で用いる第1フレームの前記注目画素の前記画素値を、遷移画素値とし、前記遷移画素値は、前記現補正処理で取得される前記補正画素値、前記現補正処理の第2フレームの前記注目画素の前記画素値、又は、これらの2つの間の値である、画像処理装置。
(8)(1)~(7)の何れか1つに記載の画像処理装置であって、前記画像表示部を更に備え、前記画像表示部は、前記画素値補正部で取得した前記補正画素値が反映されたフレームを表示するように構成される、画像処理装置。
(9)第1フレームと第1フレームより後のフレームである第2フレームとに基づいて第2フレームを補正する補正処理を行う画像処理方法であって、フリッカー成分推定ステップと、画素値補正ステップとを備え、前記フリッカー成分推定ステップでは、第1及び第2フレームの領域内画素の画素値に基づいて、フリッカー成分値を取得し、前記領域内画素は、第1及び第2フレームの予め定められた領域に含まれる複数の画素で構成され、前記複数の画素は、注目画素と、前記注目画素の周辺に配置される周辺画素とを有し、前記フリッカー成分値は、第1フレームから第2フレームに移行するときに、前記領域画素内において画素応答遅延により画像表示部に生じるフリッカーの度合いに対応し、前記画素応答遅延は、第1フレームから第2フレームに移行するときに、前記複数の画素のうち前記画素値が上昇する上昇画素と前記画素値が低下する低下画素との応答速度の差に対応し、前記画素値補正ステップでは、前記フリッカー成分値に基づいて補正画素値を取得し、前記補正画素値は、第2フレームの前記注目画素の画素値を補正した値である、方法。
(10)コンピュータに、(9)に記載の画像処理方法を実行させる、プログラム。
実施形態に係る画像処理装置100の全体構成について説明する。実施形態において、画像処理装置100は、図1に示すように、出力装置200に通信可能に接続されている。なお、出力装置200は、情報処理装置(例えばパーソナル・コンピュータ)であって、ビデオ信号を出力可能に構成されている。
画像処理装置100の各構成要素は、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、CPUがコンピュータプログラムを実行することによって各種機能を実現することができる。プログラムは、内蔵の記憶部に格納してもよく、コンピュータ読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶部に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。ハードウェアによって実現する場合、ASIC、FPGA、又はDRP(Dynamically Reconfigurable Processor)などの種々の回路によって実現することができる。本実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、0又は1で構成される2進数のビット集合体として信号値の高低によって表され、上記のソフトウェア又はハードウェアの態様によって通信や演算が実行され得るものである。
なお、フレームが移行するときとは、任意のタイミングのフレームから、次のタイミングのフレームに移行することに対応している。
図2Aに示すように、画像処理部10は、フレームF1のビデオ信号と、フレームF1より後のフレームである、フレームF2のビデオ信号とに基づいて、フレームF2を補正する補正処理を行うように構成されている。そして、図3に示すように、画像処理部10は、この補正処理を含む各種処理を実行するためのフリッカー成分推定部1、画素値補正部2及び画素値決定部3を備えている。以下に、フリッカー成分推定部1等について説明する。
フリッカー成分推定部1は、フレームF1の領域内画素Rgの画素値及びフレームF2の領域内画素Rgの画素値に基づいて、フリッカー成分値FDEGREEを取得するように構成されている。フリッカー成分値FDEGREEは、フレームF1の領域内画素Rgと同じ位置のフレームF2の領域内画素Rgに基づいて、取得される。フリッカー成分推定部1における動作が、フリッカー成分推定ステップの一例である。
フリッカー成分値FDEGREEは、フレームF1からフレームF2に移行するときに、領域内画素Rgにおいて画素応答遅延により画像表示部に生じるフリッカーの度合いに対応する。そして、フリッカー成分値FDEGREEは、フレームが移行するときにおけるフリッカーを抑制するため、フレームに含まれる任意の注目画素a1の画素値の補正に用いられる。
領域内画素Rgは、各フレーム中に含まれる1つの注目画素a1と、注目画素a1の周辺に配置される周辺画素a2とを有する。つまり、領域内画素Rgは、注目画素a1及び周辺画素a2といった複数の画素から構成される一塊の画素である。
なお、領域内画素Rgが、1つのみの周辺画素a2を含むものであってもよいが、実施形態では、より適切なフリッカー成分値FDEGREEを取得する観点から、複数の周辺画素a2を含んでいる。領域内画素Rgの設定範囲(形状)は、特に限定されるものではないが、例えば、図4Aに示すように、矩形状の範囲に設定することができる。具体的には、領域内画素Rgのサイズは、上下方向の列数をa、左右方向の列数をbとしたとき、図4Aに示す領域内画素Rgは、2列×5列の画素で構成される。
なお、フレームF2の全画素に対して、実施形態に係る補正処理を実施する必要はなく、所定の範囲内としてもよい。換言すると、各フレーム中の全画素を、注目画素a1に設定しなくてもよい。
フリッカー成分推定部1が、フリッカー成分値FDEGREEを取得する方法について以下に説明する。
フリッカーは、連続する2フレームの一対の任意の領域に対する画素値の平均値(例えば、N番目のフレームの画素値の平均値とN+1番目のフレームの画素値の平均値)を結ぶ直線(図5の理想的な遷移線L1に対応)に対する、実際の平均値の遷移(図5の実際の遷移線L2に対応)の乖離が大きいと、度合いが大きくなる。
なお、図5に示す遷移線L1でフレームの任意の領域に対する画素値の平均値が遷移する場合は、理想的な遷移となり、人間がフリッカーを感じにくいが、それに対し、遷移線L2のようにフレームの画素値の平均値が遷移し、遷移線L1の始端又は終端の画素値の平均値のうち、大きい方を上回る又は小さい方を下回る場合は、人間がフリッカーを感じることがある。一般的に、実際のフレームの画素値の平均値の遷移の仕方は、状況に応じて異なるものの、遷移線L1からずれる。
第1観点は、図5に示す遷移線L1の終端を通る水平線HLと、遷移線L2との間の面積T1(図5斜線部)である。つまり、第1観点は、遷移線L2のうち水平線HLから下に突き出した部分に対応している。なお、より一般的には、遷移線L1の始端及び終端を対角線とする矩形を定義したとき、遷移線L2のうち、この矩形より外側の領域が、第1観点に対応している。
第2観点は、図5に示す最大距離T2である。最大距離T2は、水平線HLと、遷移線L2との間の最大の長さに対応している。具体的には、遷移線L1の始端及び終端を対角線とする矩形を定義したとき、遷移線L2のうちこの矩形より外側の領域に接する上述の矩形の辺(図5では、水平線HLと重なる辺)から伸びて遷移線L2と交差する垂線のうち、最長のものが、第2観点に対応している。これらの第1観点の面積T1及び第2観点の最大距離T2が大きいと、フリッカーを感じる度合いが大きくなる。
なお、ここで説明する第1及び第2項の算出方法では、領域内画素Rgのサイズが、上下方向の列数aが2M+1であり、左右方向の列数bが2N+1である(但し、MとNは正の整数)。なお、式中の変数は、以下の通りである。
・(x,y)は、フレームの画素の座標である(xが左右方向,yが上下方向)。
・f(x,y)は、後フレーム(フレームF2)の座標(x,y)の画素(注目画素a1及び周辺画素a2)の画素値である。
・f'(x,y)は、前フレーム(フレームF1)の座標(x,y)の画素(注目画素a1及び周辺画素a2)の画素値である。
・RTHRESHOLD及びFTHRESHOLDは、後述する上昇値(RSUM)及び低下値(FSUM)の値を0~1に正規化するための予め定められる閾値である。なお、RTHRESHOLDは、RSUMの取り得る値の最大値の0.4倍~0.6倍の間の範囲の値を用いることができる。また、FTHRESHOLDは、FSUMの取り得る値の最大値の0.4倍~0.6倍の間の範囲の値を用いることができる。
・bitdepthは、ビット深度を表し、式(1)及び式(2)のCFAVE及びPFAVEの値を0~1に正規化するための値である。
第1項は、フレームF1,F2の画素値の平均値の差に係る項(1-|CFAVE-PFAVE|)である。つまり、フリッカー成分推定部1は、第1統計値(PFAVE)及び第2統計値(CFAVE)の差分に基づいてフリッカー成分値FDEGREEを取得する。
第1統計値(PFAVE)は、フレームF1の領域内画素Rgの画素値の統計値であり、実施形態では、平均値である。
第2統計値(CFAVE)は、フレームF2の領域内画素Rgの画素値の統計値であり、実施形態では、平均値である。
ここで、好ましくは、フリッカー成分推定部1は、第1統計値(PFAVE)及び第2統計値(CFAVE)の差分が大きい場合にフリッカー成分値FDEGREEを小さくし、差分が小さい場合にフリッカー成分値FDEGREEを大きくする。
第2統計値(CFAVE)は、上記式(2)の通りであり、フレームF2(後フレーム)における領域内画素Rgの画素値の平均値である。なお、こちらも、bitdepth(ビット深度)によって正規化されており、0~1の間の値をとる。
このように、第1項は、CFAVE(第2統計値)とPFAVE(第1統計値)との差分に基づいて表される。
第2項は、フレームF1からフレームF2へ移行するときにおいて、領域内画素Rg内の画素のうち画素値が変化している画素の差分の総和に係る項(max(RSUM,FSUM))である。なお、フリッカーが生じやすいフレーム(例えば、ドットメッシュのフレーム)では、RSUM及びFSUMのうちの一方又はその両方の絶対値が大きいことが分かっているため、実施形態では、max(RSUM,FSUM)を採用している。また、第1項だけでは、静止画の場合や、上昇画素や低下画素が共に少ない場合に第1項が大きくなってしまい、フリッカー成分値(FDEGREE)を精度よく取得することができないため、これに対する対策として実施形態では第1項に加えて、第2項も採用している。
フリッカー成分推定部1は、上昇値(RSUM)及び低下値(FSUM)に基づいてフリッカー成分値FDEGREEを取得する。例えば、上昇値(RSUM)及び低下値(FSUM)のうち一方又はその両方が大きい場合に、フリッカー成分値(FDEGREE)を大きくする。また、例えば、静止画や領域内画素が一方向へ上昇(低下)する割合が多い場合であって、且つ、第1項が大きい場合において、フリッカー成分値(FDEGREE)を小さくする。
式(5)の上昇値(RSUM(x,y))は、式(3)を用いて取得することができる。式(5)の上昇値(RSUM(x,y))は、フレームF1からフレームF2に移行するときにおいて、領域内画素Rgの画素のうち画素値が上昇する画素(上昇画素)の画素値に基づいている。具体的には、上昇値(RSUM(x,y))は、上昇画素における、フレームF1,F2の画素値の差分の総和である。
式(6)の低下値(FSUM(x,y))は、式(4)を用いて取得することができる。式(6)の低下値(FSUM(x,y))は、フレームF1からフレームF2に移行するときにおいて、領域内画素Rgの画素のうち画素値が低下する画素(低下画素)の画素値に基づいている。具体的には、低下値(FSUM(x,y))は、低下画素における、フレームF1,F2の画素値の差分の総和である。
第1項が大きく、且つ、第2項が大きいほど第1及び第2観点の値(面積T1及び最大距離T2)が大きくなりやすい。
画素値補正部2は、フリッカー成分値FDEGREEに基づいて補正画素値p(図2A及び図2Bに示す補正画素値p1~p3に対応)を取得するように構成されている。ここで、補正画素値pは、フレームF1,F2の関係においてフリッカーが発生することを抑制するため、フレームF2の注目画素a1の画素値を補正した値(画素値)である。実施形態では、画素値補正部2は、まず、フリッカー成分値FDEGREEに基づいた後述する遷移量Tを取得し、この遷移量Tに基づいて補正画素値pを取得するように構成されている。画素値補正部2における動作が、画素値補正ステップの一例である。
加えて、画素値補正部2は、任意の連続する一対のフレームに対し、遷移量T及び補正画素値pを取得する。つまり、画素値補正部2は、N番目のフレーム(フレームF1に対応)とN+1番目のフレーム(フレームF2に対応)とに基づいて、N+1番目のフレームの各注目画素a1を補正するための各遷移量Tや各補正画素値pを取得する。続いて、画素値補正部2は、N+1番目のフレーム(フレームF1に対応)とN+2番目のフレーム(フレームF2に対応)に基づいて、N+2番目のフレームの各注目画素a1を補正するための各遷移量Tや各補正画素値pを取得する。
遷移量Tは、以下に説明する2つの目的で取得される。
第1目的は、フレームF2の注目画素a1の画素値を補正するための補正画素値pを取得することである。
第2目的は、現補正処理の後の補正処理において用いる、フレームF1の注目画素a1の画素値を決定することである。この決定方法については、後述する画素値決定部3で説明する。
また、座標(x,y)の遷移量Tは、それ以外の場合には式(12)のTFとなる。換言すると、座標(x,y)の遷移量Tは、後フレーム(フレームF2)の座標(x,y)の注目画素a1の画素値が、前フレーム(フレームF1)の座標(x,y)の注目画素a1の画素値未満である場合には、式(12)のTFとなる。
また、式(12)には、フリッカー成分推定部1で取得したフリッカー成分値FDEGREEと、CLIP関数と、予め定められる値FAMPと、予め定められる値FCLIPとが用いられる。
・式(10)のCLIP関数(以下、クリップ処理と称する)は、遷移量T(TR及びTF)のとり得る値の範囲に制限を与えている。
・RAMPは、上昇値(RSUM)に対する振り幅のパラメータである。RAMPは、任意の値に設定することが可能である。
・FAMPは、低下値(FSUM)に対する振り幅のパラメータである。FAMPは、任意の値に設定することが可能である。
・RCLIPは、TRに対するクリップ処理のパラメータである。RCLIPは、-1以上、1以下の値に設定することができる。
・FCLIPは、TFに対するクリップ処理のパラメータである。RCLIPは、-1以上、1以下の値に設定することができる。
なお、クリップ処理のパラメータであるRCLIP及びFCLIPの正負は、それぞれ、RAMP及びFAMPに応じて設定することができる。
画素値補正部2は、以下の式(14)に基づいて、補正画素値pを取得することができる。つまり、補正画素値pは、第1フレームの座標(x,y)の注目画素a1の画素値(f'(x,y))と、第2フレームの座標(x,y)の注目画素a1の画素値(f(x,y))と、遷移量Tとに基づいて、取得される。そして、画素値補正部2は、各注目画素a1の補正画素値pを、画像表示部20に出力する。
画素値決定部3は、遷移量Tの大きさに応じて、現補正処理(N番目のフレームとN+1番目のフレームによる補正処理)の後の補正処理(N+1番目のフレームとN+2番目のフレームによる補正処理)において用いる、フレームF1の注目画素a1の画素値を決定する。なお、下記の式(15)のd(x,y)が、画素値決定部3で決定された画素値に対応し、この画素値は、フレームメモリ30に格納される。
つまり、実施形態では、後の補正処理(N+1番目のフレームとN+2番目のフレームによる補正処理)において、補正画素値pを使用するとは限らず、条件によっては、補正していない画素値(N+1番目のフレームの画素値そのもの)を使用する。
一方、画素値決定部3は、遷移量Tが予め定められた閾値DTHRESHOLD未満である場合には、当該現補正処理の後の補正処理で用いるフレームF1の注目画素a1の画素値を、画素値補正部2で取得した補正画素値pに決定する。つまり、補正された画素値が使用される。ここで、画素値決定部3が決定する画素値(補正画素値p)は、遷移画素値の一例である。
つまり、遷移量Tが大きい場合、画像表示部20における遷移の応答時間が1フレームより長くなることがある。そうすると、画像表示部20が次のフレームまでに到達する画素値(輝度)と、フレームメモリ30に格納される画素値(階調)とに差が生じる。この差が、現補正処理の後の補正処理におけるフリッカー成分値FDEGREEの算出精度の低下を招くことがある。そこで、画素値決定部3は、遷移量Tの大きさに応じて、現補正処理の後の補正処理において使用する画素値を選択する構成となっている。換言すると、遷移量Tの大きさに応じて、フレームメモリ30に格納する画素値(階調)を、式(15)に示すf(x,y)にするか(補正されていない画素値にするか)、それとも、式(15)に示すp(x,y)にするか(補正された画素値)が、画素値決定部3によって選択されることになる。
例えば、フレームメモリ30に格納する画素値(階調)が式(15)に示すf(x,y)である場合には、画像表示部20で使用される画素値は補正画素値p(x,y)であるため、フレームメモリ30に格納される画素値と画像表示部20で使用される画素値が異なることになる。
逆に、フレームメモリ30に格納する画素値(階調)が式(15)に示すp(x,y)である場合には、フレームメモリ30に格納される画素値と画像表示部20で使用される画素値は同じである。
図6A~図7を参照して、補正画素値pの取得の流れについて説明する。なお、実施形態におけるここでの説明では、bitdepthは8である。
図6Aに示すように、フレームF1に対応するN番目のフレームの領域内画素Rgは、中心に配置された注目画素a1と、その周囲を取り込むように配置された8つの周辺画素a2とを備えている。領域内画素Rgにおける各画素の画素値は、図6Aに示す数値から、図6Bに示す数値となるものとする。例えば、注目画素a1であれば、50から128へ上昇する。つまり、注目画素a1は、上昇画素である。また、例えば、4つの周辺画素a2(数字に下線が付してある画素)は、0から100、0から150、0から255、0から200へ上昇する。つまり、これらの4つの周辺画素a2も、上昇画素である。
第1項((1-|CFAVE-PFAVE|))については次の通りである。
CFAVEは、図6Bに示す数値を用いて算出する。CFAVE=(0+100+0+150+128+255+0+200+0)/(3×3×255)≒0.36
PFAVEは、図6Aに示す数値を用いて算出する。PFAVE=(255+0+100+0+50+0+150+0+255)/(3×3×255)≒0.35
よって、(1-|CFAVE-PFAVE|)=(1-|0.36-0.35|)=0.99
RSUMは、図6A及び図6Bに示す上昇画素(数字に下線が付してある画素)の数値の差分を用いて算出する。RSUM=(100+150++78+255+200)/(3×3×255)≒0.34
FSUMは、図6A及び図6Bに示す低下画素(数字に下線が付していない画素)の数値の差分を用いて算出する。FSUM=(255+100+150+255)/(3×3×255)≒0.33
よって、max(RSUM,FSUM)=0.34
次に、遷移量Tを算出する。ここで、注目画素a1は、上昇画素である。このため、式(13)の条件より、遷移量Tは、式(11)のTRとなる。
T=TR=CLIP(FDEGREE×RAMP,RCLIP)=CLIP(0.3×1,1)=0.3
ここで、RAMP及びRCLIPは、共に1としている。
p=128+((128-50)×0.3)≒151
つまり、図7に示すようにN+1番目のフレーム(フレームF2)の注目画素a1の画素値は、128から151へ補正されることになる。この例では、画素値が上昇するときの応答速度は、画素値が低下するときの応答速度よりも遅いことから、画素値が上昇する注目画素a1に対し、オーバードライブ補正処理がなされている。
画素値補正部2が、フリッカー成分値FDEGREEに基づいて補正画素値pを取得するように構成されている。フリッカー成分値FDEGREEは、フレームF1,F2における注目画素a1の画素値だけでなく、注目画素a1の周辺に配置される周辺画素a2の画素値に基づいている。つまり、フリッカー成分値FDEGREEは、フレームF1,F2の内容(種類)を加味した値であることから、対応して補正画素値pも第1及び第2フレームの内容が加味された値となる。
例えば、白ベタ(例えば、画素値が最大)のフレームから黒ベタ(例えば、画素値が最小)のフレームへ遷移する場合は、本来的に、フリッカーが生じにくい。このような場合においても、特許文献1のような技術が一律に適用されると、画素の応答速度を不必要に低下させることになるため、残像が見える、輝度のオーバーシュートやアンダーシュートを誘発する等の画質の低下を招くことがある。
また、フリッカーが生じやすいフレームについては、上記の図6A~図7で説明したような補正画素値pを用いることで、フリッカーを抑制することが可能である。例えば、図6A及び図6Bのようなフリッカーが生じやすいフレームに対して、補正処理が行われないと、図5に示すように面積T1が増大してしまい、フリッカーが生じやすくなる。それに対し、実施形態では、当該補正処理により、面積T1を小さくする、又は、遷移線L1に対して上に突き出すように画素値の平均値が推移して面積T1を相殺するように作用する(積分効果)。これにより、フリッカーが生じることを抑制することができる。
5-1 変形例1:統計値
実施形態では、第1統計値(PFAVE)及び第2統計値(CFAVE)として、フレームF1,F2の領域内画素Rgの画素値の平均値を用いたが、これに限定されるものではない。平均値の代わりに、フレームF1,F2の領域内画素Rgの分散値、フレームF1,F2の領域内画素Rgの中央値、又は、フレームF1,F2の領域内画素Rgの低周波成分値を用いてもよい。
なお、低周波成分値とは、領域内画素Rgの画素間距離及び画素値のうちの少なくとも一方に応じた確率密度分布における重み付け値である。
実施形態では、フリッカー成分値FDEGREEを算出するにあたって、max(RSUM,FSUM)を用いたがこれに限定されるものではない。max(RSUM,FSUM)の代わりに、min(RSUM,FSUM)を用いても、実施形態と同様の作用・効果を得ることができる。
また、max(RSUM,FSUM)の代わりに、max(RSUM,FSUM)とmin(RSUM,FSUM)との間の値を用いても、実施形態と同様の作用・効果を得ることができる。例えば、{max(RSUM,FSUM)+min(RSUM,FSUM)}/2といったように、RSUM及びFSUMの平均に対応する値を用いることができる。
また、(α×RSUM+β×FSUM)/(α+β)といったように、RSUM及びFSUMに対して、フリッカーに対する感度の比重を設定した値を用いることもできる(α,βは0以上の値)。
このように、フリッカー成分値FDEGREEを算出するにあたって、RSUM及びFSUMに基づいた値を用いることもできる。
実施形態では、遷移量Tが予め定められた閾値未満である場合において、画素値決定部3が、遷移画素値として、補正画素値pを用いるものとして説明したが、これに限定されるものではない。例えば、遷移画素値は、現補正処理で取得される補正画素値p、当該現補正処理のフレームF2の注目画素a1(補正前の画素値そのもの)の画素値、又は、これらの2つの間の値であってもよい。なお、これらの2つの間の値とは、現補正処理で取得される補正画素値pと、当該現補正処理のフレームF2の注目画素a1(補正前の画素値そのもの)の画素値との間の値である。
実施形態では、画像処理部10及びフレームメモリ30と、画像表示部20とが、一体であるものとして説明(1つの同じ筐体に収められているものとして説明)したが、これに限定されるものではない。画像処理部10及びフレームメモリ30と、画像表示部20とが、別体でもよい。換言すると、画像処理部10及びフレームメモリ30と、画像表示部20とが、独立した異なる筐体に設けられていてもよい。
実施形態では、画像処理装置100が画素値決定部3を備えるものとして説明したが、画素値決定部3は必須の構成ではない。つまり、画像処理装置100は、図8に示すように、画素値決定部3を備えていなくてもよい。この場合には、画素値d1(x,y)は、画素値決定部3で決定された画素値ではなく、各フレームの画素値そのものである。
例えば、図8に示すように、フレームF2が画像処理装置100に入力されると、フレームF2は、フリッカー成分推定部1だけでなく、フレームメモリ30にも出力され、フレームメモリ30に格納される。また、フリッカー成分推定部1がフリッカー成分値FDEGREEを算出する場合には、入力されたフレームF2と、フレームメモリ30に格納されているフレームF1が用いられる。
実施形態では、ビデオ信号を保持する構成(出力装置200)と、ビデオ信号を表示する構成(画像処理装置100)とが別体であるものとして説明しているが、これに限定されるものではなく、これらの構成が一体であってもよい。
また、実施形態では、画像処理装置100が、画像表示部20を備えるものとして説明しているが、これに限定されるものではなく、画像処理装置100は、画像表示部20を備えていなくてもよい。
2 :画素値補正部
3 :画素値決定部
10 :画像処理部
20 :画像表示部
30 :フレームメモリ
100 :画像処理装置
200 :出力装置
Claims (10)
- 第1フレームと第2フレームとに基づいて第2フレームを補正する補正処理を行う画像処理装置であって、
フリッカー成分推定部と、画素値補正部とを備え、
前記フリッカー成分推定部は、第1及び第2フレームの領域内画素の画素値に基づいて、フリッカー成分値を取得するように構成され、
前記領域内画素は、第1及び第2フレームにおいて同じ位置であり予め定められた領域に含まれる複数の画素で構成され、
前記複数の画素は、画素値の補正対象である注目画素と、前記注目画素の周辺に配置される周辺画素とを有し、
前記フリッカー成分値は、第1フレームから第2フレームに移行するときに、前記領域内画素において画素応答遅延により画像表示部に生じるフリッカーの度合いに対応し、
前記画素応答遅延は、第1フレームから第2フレームに移行するときに、前記複数の画素のうち前記画素値が上昇する上昇画素の応答速度が、前記画素値が低下する低下画素の応答速度よりも遅いこと、又は、速いことに対応し、
前記フリッカーは、第1フレームと第2フレームの間で2画素以上の領域の画素値の増減の仕方に応じて生じ、
前記画素値補正部は、前記フリッカー成分値に基づいて補正画素値を取得するように構成され、
前記補正画素値は、第2フレームの前記注目画素の画素値を補正した値である、画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記フリッカー成分推定部は、第1統計値及び第2統計値の差分に基づいて前記フリッカー成分値を取得し、
前記第1統計値は、第1フレームの前記領域内画素の前記複数の画素の前記画素値の統計値であり、
前記第2統計値は、第2フレームの前記領域内画素の前記複数の画素の前記画素値の前記統計値である、画像処理装置。 - 請求項2に記載の画像処理装置であって、
前記統計値は、前記領域内画素の前記複数の画素の前記画素値の平均値、分散値、中央値、又は、低周波成分値であり、
前記低周波成分値は、画素間距離及び画素値のうちの少なくとも一方に応じた確率密度分布における重み付け値である、画像処理装置。 - 請求項1~請求項3の何れか1つに記載の画像処理装置であって、
前記フリッカー成分推定部は、上昇値及び低下値に基づいて前記フリッカー成分値を取得し、
前記上昇値は、第1フレームから第2フレームに移行するときにおいて、前記複数の画素のうち前記上昇画素の前記画素値に基づいており、
前記低下値は、第1フレームから第2フレームに移行するときにおいて、前記複数の画素のうち前記低下画素の前記画素値に基づいている、画像処理装置。 - 請求項4に記載の画像処理装置であって、
前記上昇値は、前記上昇画素における、第1及び第2フレームの前記画素値の差分の総和であり、
前記低下値は、前記低下画素における、第1及び第2フレームの前記画素値の差分の総和である、画像処理装置。 - 請求項1~請求項3の何れか1つに記載の画像処理装置であって、
画素値決定部を更に備え、
前記画素値補正部は、前記フリッカー成分値に基づいた遷移量を取得し、前記遷移量に基づいて前記補正画素値を取得するように構成され、
前記画素値決定部は、前記遷移量の大きさに応じて、現補正処理の後の前記補正処理で用いる第1フレームの前記注目画素の前記画素値を決定する、画像処理装置。 - 請求項6に記載の画像処理装置であって、
前記画素値決定部は、
前記遷移量が予め定められた閾値以上である場合には、前記現補正処理の後の前記補正処理で用いる第1フレームの前記注目画素の前記画素値を、前記現補正処理の第2フレームの前記注目画素の前記画素値とし、
前記遷移量が予め定められた閾値未満である場合には、前記現補正処理の後の前記補正処理で用いる第1フレームの前記注目画素の前記画素値を、遷移画素値とし、
前記遷移画素値は、前記現補正処理で取得される前記補正画素値、前記現補正処理の第2フレームの前記注目画素の前記画素値、又は、これらの2つの間の値である、画像処理装置。 - 請求項1~請求項3の何れか1つに記載の画像処理装置であって、
前記画像表示部を更に備え、
前記画像表示部は、前記画素値補正部で取得した前記補正画素値が反映されたフレームを表示するように構成される、画像処理装置。 - 第1フレームと第2フレームとに基づいて第2フレームを補正する補正処理を行う画像処理方法であって、
フリッカー成分推定ステップと、画素値補正ステップとを備え、
前記フリッカー成分推定ステップでは、第1及び第2フレームの領域内画素の画素値に基づいて、フリッカー成分値を取得し、
前記領域内画素は、第1及び第2フレームにおいて同じ位置であり予め定められた領域に含まれる複数の画素で構成され、
前記複数の画素は、画素値の補正対象である注目画素と、前記注目画素の周辺に配置される周辺画素とを有し、
前記フリッカー成分値は、第1フレームから第2フレームに移行するときに、前記領域画素内において画素応答遅延により画像表示部に生じるフリッカーの度合いに対応し、
前記画素応答遅延は、第1フレームから第2フレームに移行するときに、前記複数の画素のうち前記画素値が上昇する上昇画素の応答速度が、前記画素値が低下する低下画素の応答速度よりも遅いこと、又は、速いことに対応し、
前記フリッカーは、第1フレームと第2フレームの間で2画素以上の領域の画素値の増減の仕方に応じて生じ、
前記画素値補正ステップでは、前記フリッカー成分値に基づいて補正画素値を取得し、
前記補正画素値は、第2フレームの前記注目画素の画素値を補正した値である、方法。 - コンピュータに、請求項9に記載の画像処理方法を実行させる、プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/025107 WO2023248429A1 (ja) | 2022-06-23 | 2022-06-23 | 画像処理装置、画像処理方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7365532B1 true JP7365532B1 (ja) | 2023-10-19 |
JPWO2023248429A1 JPWO2023248429A1 (ja) | 2023-12-28 |
Family
ID=88328478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023524670A Active JP7365532B1 (ja) | 2022-06-23 | 2022-06-23 | 画像処理装置、画像処理方法及びコンピュータプログラム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7365532B1 (ja) |
TW (1) | TW202405787A (ja) |
WO (1) | WO2023248429A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004045919A (ja) * | 2002-07-15 | 2004-02-12 | Nippon Avionics Co Ltd | 液晶表示装置のフリッカ抑止回路 |
JP2004226841A (ja) * | 2003-01-24 | 2004-08-12 | Mitsubishi Electric Corp | フレームデータ補正量出力装置、フレームデータ補正装置、フレームデータ表示装置、垂直エッジ検出装置、垂直エッジ強度信号出力装置、およびフレームデータ補正量出力方法、フレームデータ補正方法、フレームデータ表示方法、垂直エッジ検出方法、垂直エッジ強度信号出力方法 |
US20070236432A1 (en) * | 2006-04-06 | 2007-10-11 | Lockheed Martin Corporation | Compensation for display device flicker |
JP2010008871A (ja) * | 2008-06-30 | 2010-01-14 | Funai Electric Co Ltd | 液晶表示装置 |
JP2019101100A (ja) * | 2017-11-29 | 2019-06-24 | 富士通株式会社 | 画像表示制御プログラム、画像表示制御方法および画像表示制御装置 |
-
2022
- 2022-06-23 WO PCT/JP2022/025107 patent/WO2023248429A1/ja unknown
- 2022-06-23 JP JP2023524670A patent/JP7365532B1/ja active Active
-
2023
- 2023-06-20 TW TW112123083A patent/TW202405787A/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004045919A (ja) * | 2002-07-15 | 2004-02-12 | Nippon Avionics Co Ltd | 液晶表示装置のフリッカ抑止回路 |
JP2004226841A (ja) * | 2003-01-24 | 2004-08-12 | Mitsubishi Electric Corp | フレームデータ補正量出力装置、フレームデータ補正装置、フレームデータ表示装置、垂直エッジ検出装置、垂直エッジ強度信号出力装置、およびフレームデータ補正量出力方法、フレームデータ補正方法、フレームデータ表示方法、垂直エッジ検出方法、垂直エッジ強度信号出力方法 |
US20070236432A1 (en) * | 2006-04-06 | 2007-10-11 | Lockheed Martin Corporation | Compensation for display device flicker |
JP2010008871A (ja) * | 2008-06-30 | 2010-01-14 | Funai Electric Co Ltd | 液晶表示装置 |
JP2019101100A (ja) * | 2017-11-29 | 2019-06-24 | 富士通株式会社 | 画像表示制御プログラム、画像表示制御方法および画像表示制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023248429A1 (ja) | 2023-12-28 |
TW202405787A (zh) | 2024-02-01 |
WO2023248429A1 (ja) | 2023-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2670774C9 (ru) | Способ установки значений уровня серого для жидкокристаллической панели и жидкокристаллического дисплея | |
KR101138852B1 (ko) | 모바일 디스플레이를 위한 스마트 클리퍼 | |
US7646512B2 (en) | Image processing apparatus and method of the same | |
KR100843817B1 (ko) | 계조 보정 장치, 휴대 단말 기기, 촬상 장치, 휴대 전화 및 계조 보정 방법 | |
US20050162620A1 (en) | Image processing apparatus | |
US8462267B2 (en) | Frame rate conversion apparatus and frame rate conversion method | |
KR20050075707A (ko) | 화상 처리 장치, 화상 표시 장치, 화상 처리 방법 및 화상처리 프로그램을 기록한 기록 매체 | |
EP2124430B1 (en) | Frame rate conversion apparatus, frame rate conversion method, and computer-readable storage medium | |
US8823617B2 (en) | Liquid crystal display apparatus and program used for the same | |
CN102568386A (zh) | 动态背光局部控制液晶显示方法及系统 | |
KR20060047260A (ko) | 이미지 처리 장치, 이미지 처리 방법 및 이미지 처리프로그램 | |
JP2017151908A (ja) | 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム | |
EP2610850A1 (en) | Video-display control device | |
US10438323B2 (en) | Image brightness correction and noise suppression method, device, and recording medium for storing image processing program | |
JP7365532B1 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
EP2811481B1 (en) | Video display control device | |
CN100525469C (zh) | 图像处理装置及其方法 | |
JP4246178B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2021086284A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN107358904B (zh) | 将rgb图像显示在rgbw面板上的方法及装置 | |
KR102303666B1 (ko) | 영상 처리 방법, 영상 처리 방법을 수행하는 영상 처리 장치, 및 영상 처리 장치를 포함하는 표시 장치 | |
KR20160069452A (ko) | 영상 처리 장치, 영상 처리 방법, 및 프로그램 | |
JP5486791B2 (ja) | 画像処理装置 | |
JP2014123814A (ja) | 画像処理装置及び画像処理方法 | |
JP7524491B2 (ja) | 画像表示装置、画像表示方法、及び画像表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20230424 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230501 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230501 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7365532 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |