JPWO2017203941A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JPWO2017203941A1
JPWO2017203941A1 JP2018519162A JP2018519162A JPWO2017203941A1 JP WO2017203941 A1 JPWO2017203941 A1 JP WO2017203941A1 JP 2018519162 A JP2018519162 A JP 2018519162A JP 2018519162 A JP2018519162 A JP 2018519162A JP WO2017203941 A1 JPWO2017203941 A1 JP WO2017203941A1
Authority
JP
Japan
Prior art keywords
signal
pixel
image
correction target
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018519162A
Other languages
English (en)
Other versions
JP7014158B2 (ja
Inventor
江藤 博昭
博昭 江藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017203941A1 publication Critical patent/JPWO2017203941A1/ja
Application granted granted Critical
Publication of JP7014158B2 publication Critical patent/JP7014158B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41Bandwidth or redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6005Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6077Colour balance, e.g. colour cast correction
    • H04N1/608Colour balance, e.g. colour cast correction within the L, C1, C2 colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/06Transmission systems characterised by the manner in which the individual colour picture signal components are combined
    • H04N11/20Conversion of the manner in which the individual colour picture signal components are combined, e.g. conversion of colour television standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Color Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

サブサンプル画像のバンディング現象を低減し、高画質化を実現する装置、方法を提供する。画素値の間引き位置に隣接画素値をコピーしたサブサンプル画像を入力画像とし、入力画像の補正対象画素の画素位置を含む複数の連続画素からなるグローバル領域の補正対象信号の傾きと、輝度信号の傾きとの比率である補正対象信号グローバルゲインを算出し、入力画像の補正対象画素の画素位置を含み、グローバル領域内の領域であり、グローバル領域より小さいローカル領域の輝度信号の傾きである輝度ローカル傾きを算出し、輝度ローカル傾きに補正対象信号グローバルゲインを乗算し、乗算結果を適用して補正対象画素の補正画素値を算出する。例えば、乗算値にローカル領域の端部の補正対象信号画素値を加算して補正画素値を算出する。

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、複数画素単位で1つの画素信号が設定されたいわゆるサブサンプル画像信号に基づいて生成する補間画像の画質低下を低減する画像処理装置、および画像処理方法、並びにプログラムに関する。
画像データの転送や記録処理に際して、データ量を削減するため、各画素単位の信号の一部を間引いたデータを生成することが行われる。
例えば輝度信号Yと色差信号Cb,CrからなるYCbCr信号を用いる場合、色差信号Cb,Crを数画素単位で1つの信号とする等、データ間引きによるデータ量の削減が行われる。
YCbCr画像は、輝度信号Yと、2つの色差信号(Cb,Cr)を使って表現される色空間に対応する画像データである。
Cbは、B信号から輝度Yを減算した(B−Y)に定数を乗算した信号に相当し、CrはR信号から輝度Yを減算した(R−Y)に定数を乗算した信号に相当する。
なお、YCbCrはYPbPrとして記載する場合もあるが、実質的にはYCbCRもYPbPrも同一の色信号である。なおYUVとして表現する場合もある。
以下では、YCbCr信号に対する処理として説明する。ただし、本願の処理は、YUV,YPbPr各信号に対しても適用可能な処理である。
YCbCr信号の伝送や記録の際には、信号量の削減処理が行われる場合がある。具体的には、色差(Cb,Cr)成分を間引く方法が使用される場合が多い。人間の目は色の変化よりも明るさの変化に敏感であり、輝度成分Yは削減することなく、色差成分CbCrの情報量を間引いてデータ量を削減する処理が広く行われている。
広く利用されているサンプリング形式としては、以下の種類がある。
(1)4:4:4サンプリング
各画素のYCbCr各信号を間引かず全て保持する形式のサンプリング形式である
(2)4:2:2サンプリング
各画素のYCbCr信号中、輝度信号であるY信号は全画素について保持するが、色差信号であるCbCr信号は、水平方向に1つおきに保持する。
一般的な業務用ビデオに採用されている方式である。印刷や表示等の再生時には1垂直ラインの色差信号CbCrを2つの垂直ラインの色差信号CbCrとして利用する。
(3)4:2:0サンプリング
各画素のYCbCr信号中、輝度信号であるY信号は全画素について保持するが、色差信号であるCbCr信号は、4画素単位で1つのみ保持する。
具体的には、1フレーム目の奇数番目の走査線ではCb信号のみを取得し、偶数番目の走査線ではCr信号を取得、2フレーム目の奇数番目の走査線では逆にCr信号のみを取得し、偶数番目の走査線ではCb信号のみを取得する。このように、CbCr信号を走査線ごとに間引いて取得する。再生時には、例えば色差信号のない画素位置の色差信号を走査線の隣接画素位置の色差信号を用いて補間する。
家庭用デジタルビデオの主流方式であり、DVDなどで利用されるMPEG圧縮フォーマット、AVCHDなどのフォーマットで利用される。
このように、YCbCrの伝送や記録に際しては、信号量の削減のためYCbCr信号中の色差信号CbCrを間引く処理、すなわちサブサンプルした画像データとして伝送あるいは記録することが多い。
前述したように、輝度信号Yではなく、色差信号CbCrをサブサンプルする理由は、視覚は輝度に比べて色差の変化に鈍感であるためである。
このようなサブサンプル画像は、画像の構成画素中、約半数、あるいは半数以上の画素に本来のCbCr信号が設定されていないため、ディスプレイに対する表示処理や、印刷を行なう場合、色差信号CbCr信号の欠落した画素位置にCbCr信号を設定する補間処理を行なうことが必要となる。この補間処理は、例えばCbCr信号欠落画素位置に近傍画素位置のCbCr画素値をコピーする処理として行われる。しかし、このような単純コピーを行なうと、色が変化する色境界である色エッジ領域に色差信号の折り返し成分が発生し、色が階段状に変化した縞模様、いわゆるバンディングが観察されてしまうという問題がある。
このバンディング現象の低減構成を開示した従来技術として、例えば特許文献1(特開2014−45398号公報)がある。
この特許文献1には、補正対象画素の近傍画素領域と、隣接する垂直ライン画素、または水平画素ラインの画素領域の相似度を算出し、相似度に応じて、画素値寄与率を調整した画素値合成により補正画素値を算出する構成を開示している。
しかし、このような相似度判定や補正処理を全画素について行うと、処理コストが大きくなり、画像表示の遅延を招く可能性があるという問題がある。
特開2014−45398号公報
本開示は、例えばこのような状況に鑑みてなされたものであり、一部の画素情報が間引きされたいわゆるサブサンプル画像信号に対する補間処理等によって各画素に必要な画素情報を設定した出力画像を生成する構成において、画質劣化の少ない出力画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
画素値の間引き位置に隣接画素値をコピーしたサブサンプル画像を入力画像とし、
前記入力画像の補正対象画素の画素位置を含む複数の連続画素からなるグローバル領域の補正対象信号の傾きと、輝度信号の傾きとの比率である補正対象信号グローバルゲインを算出し、
前記入力画像の補正対象画素の画素位置を含み前記グローバル領域内の領域であり、前記グローバル領域より小さいローカル領域の前記輝度信号の傾きである輝度ローカル傾きを算出し、
前記輝度ローカル傾きに前記補正対象信号グローバルゲインを乗算し、乗算結果を適用して前記補正対象画素の補正画素値を算出する信号補正部を有する画像処理装置にある。
さらに、本開示の第2の側面は、
画像処理装置において実行する画像処理方法であり、
信号処理部が、
入力画像として、画素値の間引き位置に隣接画素値をコピーしたサブサンプル画像を入力し、
前記入力画像の補正対象画素の画素位置を含む複数の連続画素からなるグローバル領域の補正対象信号の傾きと、輝度信号の傾きとの比率である補正対象信号グローバルゲインを算出し、
前記入力画像の補正対象画素の画素位置を含み前記グローバル領域内の領域であり、前記グローバル領域より小さいローカル領域の前記輝度信号の傾きである輝度ローカル傾きを算出し、
前記輝度ローカル傾きに前記補正対象信号グローバルゲインを乗算し、乗算結果を適用して前記補正対象画素の補正画素値を算出する画像処理方法にある。
さらに、本開示の第3の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
信号処理部に、
入力画像として、画素値の間引き位置に隣接画素値をコピーしたサブサンプル画像を入力し、
前記入力画像の補正対象画素の画素位置を含む複数の連続画素からなるグローバル領域の補正対象信号の傾きと、輝度信号の傾きとの比率である補正対象信号グローバルゲインの算出処理と、
前記入力画像の補正対象画素の画素位置を含み前記グローバル領域内の領域であり、前記グローバル領域より小さいローカル領域の前記輝度信号の傾きである輝度ローカル傾きの算出処理と、
前記輝度ローカル傾きに前記補正対象信号グローバルゲインを乗算し、乗算結果を適用して前記補正対象画素の補正画素値を算出する処理を実行させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、サブサンプル画像のバンディング現象を低減し、高画質化を実現する装置、方法が実現される。
具体的には、画素値の間引き位置に隣接画素値をコピーしたサブサンプル画像を入力画像とし、入力画像の補正対象画素の画素位置を含む複数の連続画素からなるグローバル領域の補正対象信号の傾きと、輝度信号の傾きとの比率である補正対象信号グローバルゲインを算出し、入力画像の補正対象画素の画素位置を含み、グローバル領域内の領域であり、グローバル領域より小さいローカル領域の輝度信号の傾きである輝度ローカル傾きを算出し、輝度ローカル傾きに補正対象信号グローバルゲインを乗算し、乗算結果を適用して補正対象画素の補正画素値を算出する。例えば、乗算値に、ローカル領域の端部の補正対象信号画素値を加算して補正画素値を算出する。
これらの処理により、サブサンプル画像のバンディング現象を低減し、高画質化を実現する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
サブサンプル画像について説明する図である。 サブサンプル画像の特性について説明する図である。 サブサンプル画像に発生するバンティングについて説明する図である。 本開示の画像処理装置の構成と処理について説明する図である。 本開示の画像処理装置の色空間変換部の実行する処理について説明する図である。 本開示の画像処理装置の信号補正部の実行する処理について説明する図である。 本開示の画像処理装置の信号補正部の実行する処理について説明する図である。 本開示の画像処理装置の信号補正部の実行する処理について説明する図である。 本開示の画像処理装置の信号補正部の実行する処理について説明する図である。 本開示の画像処理装置の信号補正部の実行する処理について説明する図である。 本開示の画像処理装置の信号補正部の実行する処理について説明する図である。 本開示の画像処理装置の信号補正部の実行する処理について説明する図である。 本開示の画像処理装置の出力信号生成部の実行する処理について説明する図である。 本開示の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログ
ラムの詳細について説明する。なお、説明は以下の項目に従って行う。
1.サブサンプル画像の概要について
2.本開示の画像処理装置の構成と処理について
2−1.色空間変換部の実行する処理について
2−2.信号補正部の実行する処理について
2−3.出力信号生成部の実行する処理について
3.画像処理装置の実行する画像処理シーケンスについて
4,画像処理装置のハードウェア構成例について
5.本開示の構成のまとめ
[1.サブサンプル画像の概要について]
まず、サブサンプル画像の概要について説明する。
前述したように、画像データの転送や記録処理に際して、データ量を削減するため、各画素単位の信号の一部を間引いたデータを生成することが行われる。
例えば輝度信号Yと色差信号Cb,CrからなるYCbCr信号を用いる場合、色差信号Cb,Crを数画素単位で1つの信号とする等、データ間引きによるデータ量の削減が行われる。
YCbCr画像は、輝度信号Yと、2つの色差信号(Cb,Cr)を使って表現される色空間に対応する画像データである。
Cbは、B信号から輝度Yを減算した(B−Y)に定数を乗算した信号に相当し、CrはR信号から輝度Yを減算した(R−Y)に定数を乗算した信号に相当する。
なお、YCbCrはYPbPrとして記載する場合もあるが、実質的にはYCbCRもYPbPrも同一の色信号である。なおYUVとして表現する場合もある。
以下では、YCbCr信号に対する処理として説明する。ただし、本願の処理は、YUV,YPbPr各信号に対しても適用可能な処理である。
YCbCr信号の伝送や記録の際には、信号量の削減処理が行われる場合がある。具体的には、色差(Cb,Cr)成分を間引く方法が使用される場合が多い。人間の目は色の変化よりも明るさの変化に敏感であり、輝度成分Yは削減することなく、色差成分CbCrの情報量を間引いてデータ量を削減する処理が広く行われている。
図1を参照して、具体的なビデオフォーマットとして採用されているコンポーネント映像信号のサンプリング形式について説明する。
広く利用されているサンプリング形式としては、図1に示すように、以下の種類がある。
(1)4:4:4サンプリング
各画素のYCbCr各信号を間引かず全て保持する形式のサンプリング形式である
(2)4:2:2サンプリング
各画素のYCbCr信号中、輝度信号であるY信号は全画素について保持するが、色差信号であるCbCr信号は、水平方向に1つおきに保持する。
一般的な業務用ビデオに採用されている方式である。印刷や表示等の再生時には1垂直ラインの色差信号CbCrを2つの垂直ラインの色差信号CbCrとして利用する。
(3)4:2:0サンプリング
各画素のYCbCr信号中、輝度信号であるY信号は全画素について保持するが、色差信号であるCbCr信号は、4画素単位で1つのみ保持する。
具体的には、1フレーム目の奇数番目の走査線ではCb信号のみを取得し、偶数番目の走査線ではCr信号を取得、2フレーム目の奇数番目の走査線では逆にCr信号のみを取得し、偶数番目の走査線ではCb信号のみを取得する。このように、CbCr信号を走査線ごとに間引いて取得する。再生時には、例えば色差信号のない画素位置の色差信号を走査線の隣接画素位置の色差信号を用いて補間する。
家庭用デジタルビデオの主流方式であり、DVDなどで利用されるMPEG圧縮フォーマット、AVCHDなどのフォーマットで利用される。
このように、YCbCrの伝送や記録に際しては、信号量の削減のためYCbCr信号中の色差信号CbCrを間引く処理、すなわちサブサンプルした画像データとして伝送あるいは記録することが多い。
前述したように、輝度信号Yではなく、色差信号CbCrをサブサンプルする理由は、視覚は輝度に比べて色差の変化に鈍感であるためである。
このようなサブサンプル画像は、画像の構成画素中、約半数、あるいは半数以上の画素に本来のCbCr信号が設定されていないため、ディスプレイに対する表示処理や、印刷を行なう場合、色差信号CbCr信号の欠落した画素位置にCbCr信号を設定する補間処理を行なうことが必要となる。この補間処理は、例えばCbCr信号欠落画素位置に近傍画素位置のCbCr画素値をコピーする処理として行われる。しかし、このような単純コピーを行なうと、色が変化する色境界である色エッジ領域に色差信号の折り返し成分が発生し、色が階段状に変化した縞模様、いわゆるバンディングが観察されてしまうという問題がある。
バンディング現象の具体例について図2、図3を参照して説明する。
図2に示す(1)画像は、上述した4:2:0サンプリングに従った符号化データから生成した表示画像データの例である。
前述したように、4:2:0サンプリング方式は、各画素のYCbCr信号中、輝度信号であるY信号は全画素について保持するが、色差信号であるCbCr信号は、4画素単位で1つのみ保持する設定としたサンプリング方式である。
再生時には、例えば色差信号のない画素位置の色差信号を走査線の隣接画素位置の色差信号を用いて補間する。この補間処理によって生成された再生画像が図2(1)に示す画像データである。
図2(2)は、(1)画像中の1つの水平ライン(走査線)pqに沿ったY,Cb,Cr各信号の信号レベル(画素値)を示すグラフである。横軸が水平ラインpqに沿った画素位置であり、縦軸が信号レベル(画素値)を示している。
図2(1)画像中のpqラインは太陽と空からなる画像によって構成されている。
図2(2)に示すYCbCr各信号中、輝度信号(Y)は、左側(p側)から、次第に高くなり、太陽部分でピークとなり、その後右方向(q方向)に進むに従って低下している。
色差信号(Cb,Cr)は、輝度信号(Y)ほどの大きな変化は見られない。
このYCbCr信号の画素位置に沿った信号レベルの変化について、局所的な微小画像領域について解析した結果を図3にに示す。
図3(1),(2)は図2(1),(2)と同様の画像とYCbCr各信号のpqラインに沿ったレベル変化を示すグラフである。
図3(3)は、図3(2)に示す領域aの拡大図に相当する。
すなわち、(1)画像の太陽部分における色差信号Cb,Crの信号レベルの変化を詳細に示すグラフである。
図3(3)に示すように、色差信号Cb,Crの信号レベルは、階段状に変化している。
これは、4:2:0サンプリング方式によって色差信号Cb,Cr信号値が欠落した画素位置に、補間処理によって隣接画素位置のCb,Cr信号値をそのままコピーした結果を反映したものである。
このようなコピー処理によって、本来、なめらかに信号レベルが変化する画像領域において、連続2画素で同一画素値が設定されてしまい、結果として、図3(2)に示すような階段状の信号レベル変化が発生する。
このような階段状の信号レベル変化が、画像を観察した場合に縞模様、すなわちバンディングとして認識されることになる。
このようにサブサンプル画像を表示または印刷等、出力する場合、色差信号CbCr信号の欠落した画素位置にCbCr信号を設定する補間処理を行なうことが必要となり、この補間処理によって色が階段状に変化した縞模様、いわゆるバンディングが発生し、画質を劣化させてしまうという問題を引き起こす。
以下、このような画質劣化を低減させる本開示の構成と処理について説明する。
[2.本開示の画像処理装置の構成と処理について]
本開示の画像処理装置は、例えば図3を参照して説明した問題点を解決する画像処理を実行する。
具体的には、輝度信号と色差信号からなる画像信号、例えばYCbCr(あるいはYPbPr,YUV)画像信号において、色差信号が各画素単位ではなく、複数画素単位で1つの信号に間引きされた画像信号、すなわちサブサンプル画像を入力し、この入力画像の全画素にYCbCrの各信号を設定した出力画像を生成する。
なお、前述したようにYCbCr信号とYPbPr信号、YUV信号はいずれも輝度信号と色差信号からなる同様の画像である。以下ではYCbCr画像信号に対する処理例について説明する。ただし、以下に説明する本開示の処理はYPbPr,YUV信号に対しても同様に適用可能であり、同様の効果を奏するものである。
上述のように、本開示の画像処理装置は、サブサンプル画像に対する従来の補間処理において発生していた問題点を解決する。
すなわち、先に図3を参照して説明した補間処理において発生するバンディングを低減した画質劣化の少ない高品質の出力画像を生成する。
図4以下を参照して本開示の画像処理装置の実行する処理について説明する。
図4は、本開示の画像処理装置の構成例を示す図である。
図4に示すように、画像処理装置100は、色空間変換部101、信号補正部102、出力信号生成部103を有する。
画像処理装置100は、入力画像11としてYCbCrサブサンプル画像に基づいて生成された出力用の画像である。例えば、先に図1〜図3を参照して説明した4:2:2サブサンプル画像、あるいは4:2:0サブサンプル画像等のサブサンプル画像に基づいて、CbCr画素値の設定されていない画素位置に隣接のCbCr画素値をコピーして生成された画像である。
輝度信号(Y)については全画素に本来の画素値が設定されているが、色差信号(Cb,Cr)については、約半数、または半数以下の画素にはコピー画素値が設定されている。
従って、先に図3を参照して説明したバンディングが発生する低品質な画像である。
この入力画像11は、色空間変換部101に入力される。色空間変換部101は、入力画像11のYCbCr色空間をRGB色空間へ変換する色空間変換を実行し、RGB画像信号12を生成する。
なお、各処理部の具体的な処理については、図5以下を参照して、後段で説明する。
RGB画像12は、信号補正部102に入力される。
なお、RGB画像12は、入力画像11であるサブサンプルYCbCr画像に基づいて生成された画像であり、画像構成画素の一部のRGB値は、隣接画素の画素値をそのままコピーした画素値として設定される。
すなわち、信号補正部102に入力されるRGB画像12は、図3を参照して説明したバンディング現象を持つ低品質の画像である。
信号補正部102は、この低品質のRGB画像12の画像補正を実行して、バンディングを低減させた高品質なRGB画像を生成する。
すなわち、図4に示す高品質RGB画像(Rout,Gout,Bout)13を生成して出力する。
高品質RGB画像13は、出力信号生成部103に入力される。
出力信号生成部103は、高品質RGB画像123のRGB色空間をYCbCr色空間に変換する色空間変換処理を実行する。
すなわち、図4に示す高品質YCbCr画像(Yout,Cbout,Crout)14を生成して出力する。
この高品質YCbCr画像14は、元の入力画像11に存在したパンディングが低減された高品質な画像である。
以下、図4に示す画像処理装置100の色空間変換部101、信号補正部102、出力信号生成部103の実行する処理の具体例について、順次、説明する。
[2−1.色空間変換部の実行する処理について]
まず、図4に示す画像処理装置100の色空間変換部101の実行する処理について、図5を参照して説明する。
図4を参照して説明したように、画像処理装置100は、入力画像11としてYCbCrサブサンプル画像を入力する。例えば、先に図1〜図3を参照して説明した4:2:2サブサンプル画像、あるいは4:2:0サブサンプル画像等のサブサンプル画像に基づいて、CbCr画素値の設定されていない画素位置に隣接のCbCr画素値をコピーして生成された画像である。
輝度信号(Y)については全画素に本来の画素値が設定されているが、色差信号(Cb,Cr)については、約半数、または半数以下の画素にはコピー画素値が設定されている。
従って、先に図3を参照して説明したバンディングが発生する低品質な画像である。
この入力画像11は、色空間変換部101に入力される。色空間変換部101は、入力画像11のYCbCr色空間をRGB色空間へ変換する色空間変換を実行し、RGB画像信号12を生成する。
この色空間変換処理は、例えばマトリクス変換によって実行される。
具体的には、図5、および以下の(式1)に示すマトリクスを用いた演算処理による色空間変換処理を実行する。
なお、上記(式1)に適用するマトリクス(行列)は、従来から知られる既存の色空間変換処理用マトリクスが適用可能であり、各係数m11〜m33も既知の値が適用できる。ただし、利用する色空間や変換方式に応じて異なるマトリクスが適用される。
例えば、ITU−R BT.709方式に従った変換には以下の(式2)のマトリクスが用いられる。
上記(式2)に示すマトリクスは、ITU−R BT.709に規定されたマトリクスであり、適用する色空間や変換方式によって、その他の様々なマトリクスが適用される。
色空間変換部101は、このように、入力画像11のYCbCr色空間をRGB色空間へ変換する色空間変換を実行し、RGB画像信号12を生成する。
RGB画像12は、信号補正部102に入力される。
[2−2.信号補正部の実行する処理について]
次に信号補正部102の実行する処理の具体例について、図6以下を参照して説明する。
図4を参照して説明したように、色空間変換部101が生成したRGB画像12は、入力画像11としてのサブサンプルYCbCr画像に基づいて生成された画像であり、画像構成画素の一部のRGB値は、隣接画素の画素値をそのままコピーした画素値に設定されている。
すなわち、信号補正部102に入力されるRGB画像12は、図3を参照して説明したバンディングが表れる低品質の画像である。
信号補正部102は、この低品質のRGB画像12の画像補正を実行して、バンディングを低減した高品質なRGB画像を生成する。
すなわち、図4に示す高品質RGB画像(Rout,Gout,Bout)13を生成して出力する。
信号補正部102の実行する処理について、図6〜図11を参照して説明する。
図6〜図10は、信号補正部102の実行する処理を時系列の処理ステップとして説明する図である。図11は、例外処理について説明する図である。
まず、図6〜図10を参照して信号補正部102の実行する処理ステップについて、順次、説明する。
(ステップS21)
図6を参照して、信号補正部102の実行する最初の処理ステップであるステップS21の処理について説明する。
なお、信号補正部102は、入力画像11であるYCbCr画像と、色空間変換部101の生成画像であるRGB画像12を入力して処理を行なう。
信号補正部102は、色空間変換部101の生成画像であるRGB画像12のRGB画素値の補正を実行する。
RGB画像12から、補正対象画素を1つずつ選択して、選択した補正対象画素について、RGB画素値の補正処理を実行する。
図6に示すように、信号補正部102は、まず、ステップS21において、入力画像11であるYCbCr画像と、色空間変換部101の生成画像であるRGB画像12から補正対象画素を含む水平ラインの補正対象画素位置の近傍画素のY画素値と、RGB画素値を取得する。
なお、図6に示す例では、補正対象画素は、RGB画像12の水平ラインPQ上の座標(x,y)の画素であるとする。
図6に示すように、色空間変換部101の生成画像であるRGB画像12の補正対象画素を含む水平ラインpqを選択し、補正対象画素(x,y)の左右に参照画素領域(グローバル領域)を設定し、(x−n,y)〜(x+m,y)の画素の画素値(RGB)を取得する。
さらに、信号補正部102は、入力画像(サブサンプルYCbCr画像)11についても、水平ラインpq上の補正対象画素(x,y)の左右に参照画素領域(x−n,y)〜(x+m,y)の画素の輝度値(Y)を取得する。
なお、補正対象画素(x,y)の水平ライン上の参照画素領域(グローバル領域)の範囲は、様々な設定が可能であるが、例えば補正対象画素(x,y)を中心とした10画素程度の画素領域を参照領域とする。
図6の下段に示す4つのグラフは、入力画像11から取得した輝度値(Y)と、色空間変換部101の生成画像であるRGB画像12から取得したRGB画素値のグラフである。
横軸に画素位置、縦軸に画素値を設定したグラフである。
水平ラインpq上の補正対象画素(x,y)の左右の参照画素領域(x−n,y)〜(x+m,y)の各画素の画素値をグラフとして示している。
図6の入力画像11、RGB画像12に示すように、補正対象画素(x,y)は太陽の左側の画素位置であり、参照画素領域の左端(x−n,y)から右端(x+m,y)までのY,RGBの各画素値は、順次、上昇するグラフとなっている。
ただし、図に示すRやBのグラフは、2つの連続画素位置で、画素値がほぼ同一の画素が存在する。
これは、RやBの画素値が、サブサンプル画像である入力画像、すなわち、サブサンプルYCbCr画像の色差情報CbCrのコピー画素値を用いて生成されていることに起因する。
なお、G画素値は、R,B画素のような平坦な信号推移を示していない。これは、先に説明した色空間変換部101における前述の(式1)を用いたYCbCrからRGBへの信号変換において、G画素値が、RB画素より、輝度(Y)信号の寄与率が高い設定で算出するためである。
一方、RB画素は、CbCr信号の寄与率が高いため、元々CbCr信号にあるコピー画素値に基づく信号平坦部がそのまま反映されてしまう。
この信号平坦部は、図3(3)を参照して説明した階段状の画素値変化に相当しバンディング現象の要因となる。
(ステップS22)
次に、図7を参照して、信号補正部102の実行する次の処理ステップであるステップS22の処理について説明する。
信号補正部202は、ステップS22において、補正対象画素(x,y)の水平ライン上の近傍画素の画素値変化率(グローバル傾き)[ΔY(G),ΔR(G),ΔG(G),ΔB(G)]を算出する。
さらに、RGB各画素について、輝度Yに対するグローバル傾きの比率(グローバルゲイン)[GainR(G),GainG(G),GainB(G)]を算出する。
図7には、図6に示すと同様のグラフを示している。
入力画像11から取得した輝度値(Y)と、色空間変換部101の生成画像であるRGB画像12から取得したRGB画素値のグラフである。
横軸に画素位置、縦軸に画素値を設定したグラフである。
水平ラインpq上の補正対象画素(x,y)の左右の参照画素領域(x−n,y)〜(x+m,y)の各画素の画素値をグラフとして示している。
信号補正部は、補正対象画素(x,y)と同一水平ライン上のグローバル領域の参照画素(x−n,y)〜(x+m,y)これらの画素値に基づいて、画素値変化率(グローバル傾き)を算出する。
画素値変化率(グローバル傾き)は、図7のグラフ中のΔY(G),ΔR(G),ΔG(G),ΔB(G)である。
具体的には、例えば、参照領域の2つの両端画素の画素値の差分を、画素値変化率(グローバル傾き)[ΔY(G),ΔR(G),ΔG(G),ΔB(G)]として算出することが可能である。
例えば10画素の参照領域を設定した場合、その10画素の両端の画素値の差分を、画素値変化率(グローバル傾き)[ΔY(G),ΔR(G),ΔG(G),ΔB(G)]として算出する。
さらに、図7に示すように、信号補正部102は、RGB各画素について、輝度Yに対するグローバル傾きの比率(グローバルゲイン)[GainR(G),GainG(G),GainB(G)]を算出する。
具体的には、以下の式に従って、RGB対応のグローバルゲインを算出する。
GainR(G)=ΔR(G)/ΔY(G)
GainG(G)=ΔG(G)/ΔY(G)
GainB(G)=ΔB(G)/ΔY(G)
上記式から、理解されるように、RGB対応のグローバルゲインは、参照領域における輝度値(Y)の画素値の傾き(画素値差分)と、RGB各画素の画素値の傾き(画素値差分)との比率に相当する。
(ステップS23)
次に、図8〜図10を参照して、信号補正部102の実行する次の処理ステップであるステップS23の処理について説明する。
図8〜図10に示す処理は、信号補正部102が実行する補正対象画素(x,y)の補正画素値(Rout,Gout,Bout)の算出処理である。
図8は、補正画素値Routの算出処理を説明する図である。
図9は、補正画素値Goutの算出処理を説明する図である。
図10は、補正画素値Boutの算出処理を説明する図である。
信号補正部102は、補正対象画素(x,y)位置の輝度Yと、同一水平ライン上の隣接画素(x−1,y)の輝度Yとの画素値変化率(ローカル傾き)[ΔY(L)]を算出する。
なお、ローカル傾きは、前述した参照領域(グローバル領域)内の領域であり、グローバル領域より小さいローカル領域の画素値変化率(ローカル傾き)[ΔY(L)]である。
具体的には、例えば、補正対象画素(x,y)と隣接画素(x−1,y)の輝度Yの差分を画素値変化率(ローカル傾き)[ΔY(L)]として算出することができる。
さらに、RGB補正対象画素各画素について、輝度Yのローカル傾き[ΔY(L)]に、RGB各グローバルゲイン[GainR(G),GainG(G),GainB(G)]を乗算して、補正画素値[Rout,Gout,Bout]を算出する。
まず、図8を参照して、補正画素値Routの算出処理について説明する。
図8の下部には、信号補正部102の実行する3つの処理ステップS23a,S23b,S23cを示している。
まず、ステップS23aにおいて、
信号補正部102は、補正対象画素(x,y)位置の輝度Yと、同一水平ライン上の隣接画素の輝度Yを取得し、これら2つの輝度の画素値変化率(ローカル傾き)[ΔY(L)]を算出する。
図8に示す例では、
補正対象画素(x,y)と、同じ水平ライン上の隣接画素(x−1,y)を選択し、これら2つの画素の画素値(輝度値(Y))の差分を、輝度(Y)のローカル傾き[ΔY(L)]として算出する。
さらに、信号補正部102は、ステップS23bにおいて、
補正対象画素(x,y)について、輝度Yのローカル傾き[ΔY(L)]に、Rグローバルゲイン[GainR(G)]を乗算して、グローバルゲインのローカル適用データを算出する。
図のステップS23bに示すように、以下の演算式により乗算値、すなわちグローバルゲイン・ローカル適用データを算出する。
グローバルゲイン・ローカル適用データ=ΔY(L)×GainR(G)
この乗算結果は、図に示すように、補正対象画素(x,y)の補正画素値Rout(x,y)と、隣接画素(x−1,y)のR画素値との差分に相当する。
さらに、信号補正部102は、ステップS23cにおいて、
補正対象画素(x,y)の補正画素値Rout(x,y)を以下の式に従って算出する。
Rout(x,y)=R(x−1,y)+(ΔY(L)×GainR(G))
上記の補正画素値算出式は、
補正対象画素(x,y)の隣接画素(x−1,y)のR画素値[R(x−1,y)]に、グローバルゲイン・ローカル適用データ[ΔY(L)×GainR(G)]を加算する算出式である。
この加算式により、補正対象画素(x,y)の補正画素値Rout(x,y)を算出する。
次に、図9を参照して、補正画素値Goutの算出処理について説明する。
図9の下部には、信号補正部102の実行する3つの処理ステップS23a,S23b,S23cを示している。
まず、ステップS23aにおいて、
信号補正部102は、補正対象画素(x,y)位置の輝度Yと、同一水平ライン上の隣接画素の輝度Yを取得し、これら2つの輝度の画素値変化率(ローカル傾き)[ΔY(L)]を算出する。
図9に示す例では、
補正対象画素(x,y)と、同じ水平ライン上の隣接画素(x−1,y)を選択し、これら2つの画素の画素値(輝度値(Y))の差分を、輝度(Y)のローカル傾き[ΔY(L)]として算出する。
さらに、信号補正部102は、ステップS23bにおいて、
補正対象画素(x,y)について、輝度Yのローカル傾き[ΔY(L)]に、Gグローバルゲイン[GainG(G)]を乗算して、グローバルゲインのローカル適用データを算出する。
図のステップS23bに示すように、以下の演算式により乗算値、すなわちグローバルゲイン・ローカル適用データを算出する。
グローバルゲイン・ローカル適用データ=ΔY(L)×GainG(G)
この乗算結果は、図に示すように、補正対象画素(x,y)の補正画素値Gout(x,y)と、隣接画素(x−1,y)のG画素値との差分に相当する。
さらに、信号補正部102は、ステップS23cにおいて、
補正対象画素(x,y)の補正画素値Gout(x,y)を以下の式に従って算出する。
Gout(x,y)=G(x−1,y)+(ΔY(L)×GainG(G))
上記の補正画素値算出式は、
補正対象画素(x,y)の隣接画素(x−1,y)のG画素値[G(x−1,y)]に、グローバルゲイン・ローカル適用データ[ΔY(L)×GainG(G)]を加算する算出式である。
この加算式により、補正対象画素(x,y)の補正画素値Gout(x,y)を算出する。
次に、図10を参照して、補正画素値Boutの算出処理について説明する。
図10の下部には、信号補正部102の実行する3つの処理ステップS23a,S23b,S23cを示している。
まず、ステップS23aにおいて、
信号補正部102は、補正対象画素(x,y)位置の輝度Yと、同一水平ライン上の隣接画素の輝度Yを取得し、これら2つの輝度の画素値変化率(ローカル傾き)[ΔY(L)]を算出する。
図10に示す例では、
補正対象画素(x,y)と、同じ水平ライン上の隣接画素(x−1,y)を選択し、これら2つの画素の画素値(輝度値(Y))の差分を、輝度(Y)のローカル傾き[ΔY(L)]として算出する。
さらに、信号補正部102は、ステップS23bにおいて、
補正対象画素(x,y)について、輝度Yのローカル傾き[ΔY(L)]に、Bグローバルゲイン[GainB(G)]を乗算して、グローバルゲインのローカル適用データを算出する。
図のステップS23bに示すように、以下の演算式により乗算値、すなわちグローバルゲイン・ローカル適用データを算出する。
グローバルゲイン・ローカル適用データ=ΔY(L)×GainB(G)
この乗算結果は、図に示すように、補正対象画素(x,y)の補正画素値Bout(x,y)と、隣接画素(x−1,y)のB画素値との差分に相当する。
さらに、信号補正部102は、ステップS23cにおいて、
補正対象画素(x,y)の補正画素値Bout(x,y)を以下の式に従って算出する。
Bout(x,y)=B(x−1,y)+(ΔY(L)×GainB(G))
上記の補正画素値算出式は、
補正対象画素(x,y)の隣接画素(x−1,y)のB画素値[B(x−1,y)]に、グローバルゲイン・ローカル適用データ[ΔY(L)×GainB(G)]を加算する算出式である。
この加算式により、補正対象画素(x,y)の補正画素値Bout(x,y)を算出する。
このように、信号補正部102は、バンディングの低減されたRGB画像、すなわち図4に示す高品質RGB画像(Rout,Gout,Bout)13を生成して、この高品質RGB画像13を出力信号生成部103に入力する。
図6〜図10を参照して説明した信号補正部102の実行するステップS21〜S23の処理についてまとめて、図11を参照して説明する。
図11は、信号補正部102の詳細構成を示す図である。
図11に示すように、信号補正部102は、補正画素選択部201、輝度(Y)グローバル傾き(ΔY(G))算出部202、RGBグローバルゲイン算出部203、輝度(Y)ローカル傾き(ΔY(L))算出部204、補正画素値算出部205を有する。
信号補正部102には、サブサンプルYCbCr画像である入力画像11と、入力画像11に対する色空間変換部102における色空間変換処理によって生成されたRGB画像12が入力される。
まず、補正画素選択部201は、色空間変換処理によって生成されたRGB画像12から、順次、補正対象画素を選択する。
なお、補正対象画素は、色空間変換部101の生成したRGB画像の構成画素の全画素について、順次、選択して行う。
ただし、例えば、サブサンプル画像である入力YCbCr画像の構成画素情報として、CbCrのコピー画素値設定位置が、入力画像の属性情報として記録されている場合は、属性情報からコピー画素位置情報を取得し、その画素位置のみを処理対象として選択してもよい。
なお、以下において、補正画素選択部201が選択した補正画素を補正対象画素(x,y)とする。
輝度(Y)グローバル傾き(ΔY(G))算出部202は、図6を参照して説明したステップS21の処理を実行する。
すなわち、以下の処理である。
(ステップS21)
補正対象画素(x,y)の周囲の広めの参照領域(例えば10画素程度)を適用して、輝度値(Y)と画素値(RGB)、これらの画素値のグローバル傾き[ΔY(G),ΔR(G),ΔG(G),ΔB(G)]を算出する。
RGBグローバルゲイン算出部203は、図7を参照して説明したステップS22の処理を実行する。
すなわち、以下の処理である。
(ステップS22)
輝度値(Y)と画素値(R)、これら2つのグローバル傾きの比率であるグローバルゲインを算出する。
GainR(G)=ΔR(G)/ΔY(G)
GainG(G)=ΔG(G)/ΔY(G)
GainB(G)=ΔB(G)/ΔY(G)
輝度(Y)ローカル傾き(ΔY(L))算出部204は、図8〜図10を参照して説明したステップS23aの処理を実行する。
すなわち、以下の処理である。
(ステップS23a)
補正対象画素(x,y)位置の輝度Yと、同一水平ライン上の隣接画素の輝度Yを取得し、これら2つの輝度の画素値変化率(ローカル傾き)[ΔY(L)]を算出する。
補正画素値算出部205は、図8〜図10を参照して説明したステップS23b〜S23cの処理を実行する。
すなわち、以下の処理である。
(ステップS23b)
補正対象画素(x,y)について、輝度Yのローカル傾き[ΔY(L)]に、RGBのグローバルゲイン[GainR(G),GainG(G),GainB(G)]を乗算して、グローバルゲインのローカル適用データを算出する。
ΔY(L)×GainR(G)
ΔY(L)×GainG(G)
ΔY(L)×GainB(G)
(ステップS23c)
補正対象画素(x,y)の隣接画素(x−1,y)のRGB画素値[R(x−1,y),G(x−1,y),B(x−1,y)]に、グローバルゲイン・ローカル適用データ[ΔY(L)×GainR(G),ΔY(L)×GainG(G),ΔY(L)×BainR(G)]を加算して、補正画素値RGBout(x,y)を算出する。
Rout(x,y)=R(x−1,y)+(ΔY(L)×GainR(G))
Gout(x,y)=G(x−1,y)+(ΔY(L)×GainG(G))
Bout(x,y)=B(x−1,y)+(ΔY(L)×GainB(G))
信号補正部102は、これらの処理により、補正対象画素(x,y)の補正RGB画素値[Rout,Gout,Bout]を算出する。
ただし、信号補正部102は、画像を構成する一部の画素については上記の画素値補正を実行しない。
この例外処理について、図12を参照して説明する。
信号補正部102は、図12に示すように、隣接画素間の画素値の傾きが既定しきい値より大であるエッジなど高周波成分領域である場合、画素値補正は行わない。
図12に示すグラフのように、補正対象画素(x,y)の画素値(Y,R,G,B)と、その隣接画素(x−1,y)の画素値(Y,R,G,B)が大きく異なっている場合がある。
このような画素値設定は、画素位置(x,y)と画素位置(x−1,y)との間に被写体境界等のエッジが存在する可能性が高いことを示すものである。
このような画素値が設定されている領域について、図6〜図11を参照して説明した画素値補正処理を実行すると、補正対象画素(x,y)の画素値と、隣接画素(x−1,y)の画素値との差分が小さくなり、結果としてエッジが不明瞭なぼやけた画像になってしまうと想定される。
従って、このような隣接画素間の画素値の差分が大きい画素についての画素値補正は実行しない設定とする。
具体的には、例えば、予めしきい値Thを設定し、
隣接画素の画素値差分:|K(x,y)−K(x−1,y)|がしきい値Th以下の場合にのみ図8〜図10を参照して説明した画素値補正を実行する設定とする。
ただし、K=Y,またはR,またはG,またはBである。
すなわち、信号補正部102は、補正対象画素(x,y)について、
|K(x,y)−K(x−1,y)|≦Th
上記判定式が成立するか否かを判定し、成立する場合にのみ画素値補正を実行する。
ただし、K=Y,またはR,またはG,またはB、
である。
[2−3.出力信号生成部の実行する処理について]
次に、図4に示す画像処理装置100の出力信号生成部103の実行する処理について、図13を参照して説明する。
図6〜図11を参照して説明したように、信号補正部102は、バンディングの低減されたRGB画像、すなわち図4に示す高品質RGB画像(Rout,Gout,Bout)13を生成して出力信号生成部103に入力する。
出力信号生成部103は、高品質RGB画像13のRGB色空間をYCbCr色空間に変換する色空間変換を実行し、高品質YCbCr画像14を生成する。
この色空間変換処理は、例えばマトリクス変換によって実行される。
具体的には、図13、および以下の(式3)に示すマトリクスを用いた演算処理による色空間変換処理を実行する。
なお、上記(式3)に適用するマトリクス(行列)としては、先に図5を参照して説明した色空間変換部101が、YCbCr色空間からRGB色空間への変換処理に適用したマトリクスの逆行列を適用することができる。
この上記(式3)に適用するマトリクス(行列)も従来から知られる既存の色空間変換処理用マトリクスが適用可能であり、各係数m11〜m33も既知の値が適用できる。
出力信号生成部103は、このように、信号補正部102の生成した高品質RGB画像13のRGB色空間をYCbCr色空間に変換する色空間変換を実行し、高品質YCbCr画像14を生成して出力する。
この高品質YCbCr画像14は、信号補正部102の生成した高品質RGB画像13の色特性と同様の色特性を有しており、バンディングの低減された高品質画像である。
[3.画像処理装置の実行する画像処理シーケンスについて]
次に、図14、図15に示すフローチャートを参照して、本開示の画像処理装置の実行する画像処理シーケンスについて説明する。
図14、図15に示すフローに従った処理は、例えば画像処理装置内のメモリに格納されたプログラムに従って、画像処理装置のプログラム実行機能を持つCPU等を備えたデータ処理部において実行される処理である。
各ステップの処理について説明する。
(ステップS301)
まず、ステップS301において、処理対象とする画像を入力する。
入力画像は、図4に示す画像処理装置100の色空間変換部101に入力される。
具体的には、色差情報の欠落したサブサンプル画像であるYCbCr画像を色空間変換部101に入力する。
図1を参照して説明した4:2:2サブサンプル画像や、4:2:0サブサンプル画像等のサブサンプル画像に基づいて、CbCr画素値の設定されていない画素位置に隣接のCbCr画素値をコピーして生成された画像である。
輝度信号(Y)については全画素に本来の画素値が設定されているが、色差信号(Cb,Cr)については、約半数、または半数以下の画素にはコピー画素値が設定されている。
従って、先に図3を参照して説明したバンディングが発生する低品質な画像である。
(ステップS302)
次に、ステップS302において、色空間変換部101は、入力画像のYCbCr色空間をRGB色空間へ変換する色空間変換を実行し、RGB画像信号を生成する。
この色空間変換処理は、例えばマトリクス変換によって実行される。
具体的には、先に図5を参照して説明したように、前述の(式1)に示すマトリクスを用いた演算処理による色空間変換処理を実行する。
(ステップS303)
ステップS303〜S309の処理は、図4に示す信号補正部102が実行する処理である。
まず、信号補正部102は、ステップS303において、色空間変換部101の生成したRGB画像から補正画素を選択する。
この処理は、図11に示す信号補正部102の補正画素選択部201の実行する処理である。
信号補正部102の補正画素選択部201は、補正対象画素として、色空間変換部101の生成したRGB画像の構成画素の全画素について、順次、選択する。
ただし、前述したように、例えば、サブサンプル画像である入力YCbCr画像の構成画素情報として、CbCrのコピー画素値設定位置が、入力画像の属性情報として記録されている場合は、属性情報からコピー画素位置情報を取得し、その画素位置のみを処理対象として選択してもよい。
以下の説明において補正対象画素は、補正対象画素(x,y)として説明する。
(ステップS304〜S305)
ステップS304〜S305の処理は、図11に示す信号補正部102の輝度(Y)グローバル傾き算出部202と、RGBグローバルゲイン算出部203の実行する処理である。
図11に示す信号補正部102の輝度(Y)グローバル傾き算出部202は、補正対象画素(x,y)の周囲の広めの参照領域(例えば10画素程度)を適用して、輝度値(Y)と画素値(RGB)、これらの画素値のグローバル傾き[ΔY(G),ΔR(G),ΔG(G),ΔB(G)]を算出する。
さらに、ステップS305において、RGBグローバルゲイン算出部203は、輝度値(Y)と画素値(R)、これら2つのグローバル傾きの比率であるグローバルゲインを算出する。
GainR(G)=ΔR(G)/ΔY(G)
GainG(G)=ΔG(G)/ΔY(G)
GainB(G)=ΔB(G)/ΔY(G)
(ステップS306)
ステップS306の処理は、図11に示す信号補正部102の輝度(Y)ローカル傾き算出部204の実行する処理である。
輝度(Y)ローカル傾き(ΔY(L))算出部204は、図8〜図10を参照して説明した処理を実行する。
すなわち、以下の処理である。
補正対象画素(x,y)位置の輝度Yの水平ライン上の隣接画素との画素値変化率(ローカル傾き)[ΔY(L)]を算出する。
なお、ローカル傾き[ΔY(L)]は、本例では、補正対象画素とその隣接画素との2画素の画素値値差分として説明しているが、例えば、3画素分の画素値差分を用いる等の構成としてもよい。
ただし、前述のグローバル傾きよりも小さい画素領域であることが必要である。
(ステップS307)
ステップS307において、信号補正部102は、ステップS306において算出した補正対象画素(x,y)位置の輝度Yの水平ライン上の隣接画素との画素値変化率(ローカル傾き)[ΔY(L)]が規定のしきい値(TH1)以下であるか否かを判定する。すなわち、
ΔY(L)≦TH1
上記判定式を満足するか否かを判定する。
上記判定式を満足する場合は、ステップS308に進み、補正対象数疎(x,y)の補正画素値を算出する。
一方、上記判定式を満足しない場合は、ステップS308の補正画素値算出処理を実行することなく、ステップS309に進む。
このステップS307におけるNo判定処理は、先に図12を参照して説明した例外処理に相当する。
(ステップS308)
ステップS307において、
ΔY(L)≦TH1
上記判定式を満足すると判定された場合は、ステップS308に進み、補正対象画素(x,y)の補正画素値を算出する。
この処理は、図11に示す信号補正部102の補正画素値算出部205の実行する処理である。
補正画素値算出部205は、図8〜図10を参照して説明した処理を実行する。
すなわち、以下の処理である。
補正対象画素(x,y)について、輝度Yのローカル傾き[ΔY(L)]に、RGBのグローバルゲイン[GainR(G),GainG(G),GainB(G)]を乗算して、グローバルゲインのローカル適用データを算出する。
ΔY(L)×GainR(G)
ΔY(L)×GainG(G)
ΔY(L)×GainB(G)
さらに、補正対象画素(x,y)の隣接画素(x−1,y)のRGB画素値[R(x−1,y),G(x−1,y),B(x−1,y)]に、グローバルゲイン・ローカル適用データ[ΔY(L)×GainR(G),ΔY(L)×GainG(G),ΔY(L)×BainR(G)]を加算して、補正画素値RGBout(x,y)を算出する。
Rout(x,y)=R(x−1,y)+(ΔY(L)×GainR(G))
Gout(x,y)=G(x−1,y)+(ΔY(L)×GainG(G))
Bout(x,y)=B(x−1,y)+(ΔY(L)×GainB(G))
信号補正部102は、これらの処理により、補正対象画素(x,y)の補正RGB画素値[Rout,Gout,Bout]を算出する。
(ステップS309)
ステップS309において、信号補正部102は、画像の全画素の処理が終了したか否かを判定する。
なお、予め補正対象画素が限定されている場合は、その補正対象画素の処理が終了したか否かを判定する。
処理終了と判定した場合は、ステップS310に進む。
未処理画素がある場合は、ステップS303に戻り、未処理画素について、ステップS303以下の処理を実行する。
(ステップS310)
ステップS309において、補正処理終了と判定された場合、ステップS310に進む。
ステップS310の処理は、図4に示す出力信号生成部103の実行する処理である。
図4に示すように、出力信号生成部103は、信号補正部102の生成した高品質RGB画像13、すなわちバンディングを低減させた高品質RGB画像13のRGB色空間をYCbCr色空間に変換する色空間変換を実行し、高品質YCbCr画像14を生成する。
この色空間変換処理は、先に図13を参照して説明したように、例えばマトリクス変換によって実行される。
具体的には、図13、すなわち前述の(式3)に示すマトリクスを用いた演算処理による色空間変換処理を実行する。
出力信号生成部103は、このように、信号補正部102の生成した高品質RGB画像13のRGB色空間をYCbCr色空間に変換する色空間変換を実行し、高品質YCbCr画像14を生成して出力する。
この高品質YCbCr画像14は、信号補正部102の生成した高品質RGB画像13の色特性と同様の色特性を有しており、バンディングの低減された高品質画像である。
[4,画像処理装置のハードウェア構成例について]
次に、図16を参照して、本開示の画像処理装置のハードウェア構成例について説明する。
本開示の画像処理装置は、画像を入力して画像を出力する画像処理装置であり、ハードウェアに実装して実行することもできるし、ソフトウェアにより実行することもできる。図16は、本開示の一連の処理をソフトウェアプログラムとして実現し、そのプログラムを実行する画像処理装置としてのコンピュータのハードウェアの構成例を示すブロック図である。
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部507が接続されている。CPU501は、入力部506から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部507に出力する。
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
なお、図16に示すハードウェア構成は一例であり、本開示の処理は、上述した実施例に従った処理シーケンスを記録したプログラムを格納するメモリと、プログラム実行機能を持つCPU等のデータ処理部を備えた様々な機器、例えば、PC、デジタルカメラなど、様々な機器において実行可能である。
なお、上述した実施例では、YCbCr信号に対する処理として説明したが、先に説明したように、本願の処理は、YUV,YPbPr各信号に対しても適用できる。
[5.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 画素値の間引き位置に隣接画素値をコピーしたサブサンプル画像を入力画像とし、
前記入力画像の補正対象画素の画素位置を含む複数の連続画素からなるグローバル領域の補正対象信号の傾きと、輝度信号の傾きとの比率である補正対象信号グローバルゲインを算出し、
前記入力画像の補正対象画素の画素位置を含み前記グローバル領域内の領域であり、前記グローバル領域より小さいローカル領域の前記輝度信号の傾きである輝度ローカル傾きを算出し、
前記輝度ローカル傾きに前記補正対象信号グローバルゲインを乗算し、乗算結果を適用して前記補正対象画素の補正画素値を算出する信号補正部を有する画像処理装置。
(2) 前記信号補正部は、
前記輝度ローカル傾きに前記補正対象信号グローバルゲインを乗算した乗算値に、前記輝度ローカル傾きを算出したローカル領域の端部の補正対象信号画素値を加算して前記補正画素値を算出する(1)に記載の画像処理装置。
(3) 前記グローバル領域の信号の傾きは、前記グローバル領域の両端画素の画素値差分に相当し、
前記ローカル領域の信号の傾きは、前記ローカル領域の両端画素の画素値差分に相当する(1)または(2)に記載の画像処理装置。
(4) 前記グローバル領域は、補正対象画素を含む水平ラインの複数の隣接画素によって構成される領域である(1)〜(3)いずれかに記載の画像処理装置。
(5) 前記入力画像は、色差信号Cb,Crを間引きしたYCbCr画像信号であり、
前記YCbCr画像信号をRGB画像信号に変換する色空間変換部を有し、
前記信号補正部は、
前記色空間変換部の生成したRGB画像信号のRGB画素値を補正対象信号として、前記YCbCr画像信号の輝度(Y)信号を用いて、RGB各画素値の補正画素値を算出する(1)〜(4)いずれかに記載の画像処理装置。
(6) 前記色空間変換部は、
マトリクス変換による色空間変換処理を実行する(5)に記載の画像処理装置。
(7) 前記画像処理装置は、さらに、
前記信号補正部の生成した補正RGB画像信号の色空間変換処理を実行して補正YCbCr信号を生成する出力信号生成部を有する(5)または(6)に記載の画像処理装置。
(8) 前記信号補正部は、
前記色空間変換部の生成したRGB画像信号のRGB画素値を補正対象信号として、
前記RGB画像信号のグローバル領域のRGB各信号の傾きと、前記YCbCr画像信号の輝度(Y)信号の傾きとの比率であるRGB各信号対応グローバルゲインを算出し、
前記輝度ローカル傾きに前記RGB各信号グローバルゲインを乗算し、乗算結果を適用して補正後のRGB画素値を算出する(5)〜(7)いずれかに記載の画像処理装置。
(9) 前記ローカル領域は、補正対象画素と該補正対象画素の隣接画素の2画素からなる領域である(1)〜(8)いずれかに記載の画像処理装置。
(10) 前記信号補正部は、
前記輝度ローカル傾きに前記補正対象信号グローバルゲインを乗算した乗算値に、前記隣接画素の画素値を加算して前記補正画素値を算出する(9)に記載の画像処理装置。
(11) 前記信号補正部は、
補正対象画素の画素値と隣接画素の画素値との差分が既定しきい値以下の場合に、前記補正対象画素の補正画素値算出処理を実行し、
前記差分が既定しきい値より大きい場合には、前記補正対象画素の補正画素値を算出しない(1)〜(10)いずれかに記載の画像処理装置。
(12) 画像処理装置において実行する画像処理方法であり、
信号処理部が、
入力画像として、画素値の間引き位置に隣接画素値をコピーしたサブサンプル画像を入力し、
前記入力画像の補正対象画素の画素位置を含む複数の連続画素からなるグローバル領域の補正対象信号の傾きと、輝度信号の傾きとの比率である補正対象信号グローバルゲインを算出し、
前記入力画像の補正対象画素の画素位置を含み前記グローバル領域内の領域であり、前記グローバル領域より小さいローカル領域の前記輝度信号の傾きである輝度ローカル傾きを算出し、
前記輝度ローカル傾きに前記補正対象信号グローバルゲインを乗算し、乗算結果を適用して前記補正対象画素の補正画素値を算出する画像処理方法。
(13) 画像処理装置において画像処理を実行させるプログラムであり、
信号処理部に、
入力画像として、画素値の間引き位置に隣接画素値をコピーしたサブサンプル画像を入力し、
前記入力画像の補正対象画素の画素位置を含む複数の連続画素からなるグローバル領域の補正対象信号の傾きと、輝度信号の傾きとの比率である補正対象信号グローバルゲインの算出処理と、
前記入力画像の補正対象画素の画素位置を含み前記グローバル領域内の領域であり、前記グローバル領域より小さいローカル領域の前記輝度信号の傾きである輝度ローカル傾きの算出処理と、
前記輝度ローカル傾きに前記補正対象信号グローバルゲインを乗算し、乗算結果を適用して前記補正対象画素の補正画素値を算出する処理を実行させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、サブサンプル画像のバンディング現象を低減し、高画質化を実現する装置、方法が実現される。
具体的には、画素値の間引き位置に隣接画素値をコピーしたサブサンプル画像を入力画像とし、入力画像の補正対象画素の画素位置を含む複数の連続画素からなるグローバル領域の補正対象信号の傾きと、輝度信号の傾きとの比率である補正対象信号グローバルゲインを算出し、入力画像の補正対象画素の画素位置を含み、グローバル領域内の領域であり、グローバル領域より小さいローカル領域の輝度信号の傾きである輝度ローカル傾きを算出し、輝度ローカル傾きに補正対象信号グローバルゲインを乗算し、乗算結果を適用して補正対象画素の補正画素値を算出する。例えば、乗算値に、ローカル領域の端部の補正対象信号画素値を加算して補正画素値を算出する。
これらの処理により、サブサンプル画像のバンディング現象を低減し、高画質化を実現する装置、方法が実現される。
101 色空間変換部
102 信号補正部
103 出力信号生成部
201 補正画素選択部
202 輝度(Y)グローバル傾き(ΔY(G))算出部
203 RGBグメローバルゲイン算出部
204 輝度(Y)ローカル傾き(ΔY(L))算出部
205 補正画素値算出部
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記録部
509 通信部
510 ドライブ
511 リムーバブルメディア

Claims (13)

  1. 画素値の間引き位置に隣接画素値をコピーしたサブサンプル画像を入力画像とし、
    前記入力画像の補正対象画素の画素位置を含む複数の連続画素からなるグローバル領域の補正対象信号の傾きと、輝度信号の傾きとの比率である補正対象信号グローバルゲインを算出し、
    前記入力画像の補正対象画素の画素位置を含み前記グローバル領域内の領域であり、前記グローバル領域より小さいローカル領域の前記輝度信号の傾きである輝度ローカル傾きを算出し、
    前記輝度ローカル傾きに前記補正対象信号グローバルゲインを乗算し、乗算結果を適用して前記補正対象画素の補正画素値を算出する信号補正部を有する画像処理装置。
  2. 前記信号補正部は、
    前記輝度ローカル傾きに前記補正対象信号グローバルゲインを乗算した乗算値に、前記輝度ローカル傾きを算出したローカル領域の端部の補正対象信号画素値を加算して前記補正画素値を算出する請求項1に記載の画像処理装置。
  3. 前記グローバル領域の信号の傾きは、前記グローバル領域の両端画素の画素値差分に相当し、
    前記ローカル領域の信号の傾きは、前記ローカル領域の両端画素の画素値差分に相当する請求項1に記載の画像処理装置。
  4. 前記グローバル領域は、補正対象画素を含む水平ラインの複数の隣接画素によって構成される領域である請求項1に記載の画像処理装置。
  5. 前記入力画像は、色差信号Cb,Crを間引きしたYCbCr画像信号であり、
    前記YCbCr画像信号をRGB画像信号に変換する色空間変換部を有し、
    前記信号補正部は、
    前記色空間変換部の生成したRGB画像信号のRGB画素値を補正対象信号として、前記YCbCr画像信号の輝度(Y)信号を用いて、RGB各画素値の補正画素値を算出する請求項1に記載の画像処理装置。
  6. 前記色空間変換部は、
    マトリクス変換による色空間変換処理を実行する請求項5に記載の画像処理装置。
  7. 前記画像処理装置は、さらに、
    前記信号補正部の生成した補正RGB画像信号の色空間変換処理を実行して補正YCbCr信号を生成する出力信号生成部を有する請求項5に記載の画像処理装置。
  8. 前記信号補正部は、
    前記色空間変換部の生成したRGB画像信号のRGB画素値を補正対象信号として、
    前記RGB画像信号のグローバル領域のRGB各信号の傾きと、前記YCbCr画像信号の輝度(Y)信号の傾きとの比率であるRGB各信号対応グローバルゲインを算出し、
    前記輝度ローカル傾きに前記RGB各信号グローバルゲインを乗算し、乗算結果を適用して補正後のRGB画素値を算出する請求項5に記載の画像処理装置。
  9. 前記ローカル領域は、補正対象画素と該補正対象画素の隣接画素の2画素からなる領域である請求項1に記載の画像処理装置。
  10. 前記信号補正部は、
    前記輝度ローカル傾きに前記補正対象信号グローバルゲインを乗算した乗算値に、前記隣接画素の画素値を加算して前記補正画素値を算出する請求項9に記載の画像処理装置。
  11. 前記信号補正部は、
    補正対象画素の画素値と隣接画素の画素値との差分が既定しきい値以下の場合に、前記補正対象画素の補正画素値算出処理を実行し、
    前記差分が既定しきい値より大きい場合には、前記補正対象画素の補正画素値を算出しない請求項1に記載の画像処理装置。
  12. 画像処理装置において実行する画像処理方法であり、
    信号処理部が、
    入力画像として、画素値の間引き位置に隣接画素値をコピーしたサブサンプル画像を入力し、
    前記入力画像の補正対象画素の画素位置を含む複数の連続画素からなるグローバル領域の補正対象信号の傾きと、輝度信号の傾きとの比率である補正対象信号グローバルゲインを算出し、
    前記入力画像の補正対象画素の画素位置を含み前記グローバル領域内の領域であり、前記グローバル領域より小さいローカル領域の前記輝度信号の傾きである輝度ローカル傾きを算出し、
    前記輝度ローカル傾きに前記補正対象信号グローバルゲインを乗算し、乗算結果を適用して前記補正対象画素の補正画素値を算出する画像処理方法。
  13. 画像処理装置において画像処理を実行させるプログラムであり、
    信号処理部に、
    入力画像として、画素値の間引き位置に隣接画素値をコピーしたサブサンプル画像を入力し、
    前記入力画像の補正対象画素の画素位置を含む複数の連続画素からなるグローバル領域の補正対象信号の傾きと、輝度信号の傾きとの比率である補正対象信号グローバルゲインの算出処理と、
    前記入力画像の補正対象画素の画素位置を含み前記グローバル領域内の領域であり、前記グローバル領域より小さいローカル領域の前記輝度信号の傾きである輝度ローカル傾きの算出処理と、
    前記輝度ローカル傾きに前記補正対象信号グローバルゲインを乗算し、乗算結果を適用して前記補正対象画素の補正画素値を算出する処理を実行させるプログラム。
JP2018519162A 2016-05-25 2017-05-01 画像処理装置、および画像処理方法、並びにプログラム Active JP7014158B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016104439 2016-05-25
JP2016104439 2016-05-25
PCT/JP2017/017114 WO2017203941A1 (ja) 2016-05-25 2017-05-01 画像処理装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2017203941A1 true JPWO2017203941A1 (ja) 2019-03-22
JP7014158B2 JP7014158B2 (ja) 2022-02-01

Family

ID=60412278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018519162A Active JP7014158B2 (ja) 2016-05-25 2017-05-01 画像処理装置、および画像処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US10771755B2 (ja)
JP (1) JP7014158B2 (ja)
CN (1) CN109155845B (ja)
WO (1) WO2017203941A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210185285A1 (en) * 2018-09-18 2021-06-17 Zhejiang Uniview Technologies Co., Ltd. Image processing method and apparatus, electronic device, and readable storage medium
CN112312001B (zh) * 2019-07-30 2022-08-23 阿波罗智能技术(北京)有限公司 一种图像检测的方法、装置、设备和计算机存储介质
TWI727784B (zh) * 2020-05-05 2021-05-11 瑞昱半導體股份有限公司 影像去色帶方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005039679A (ja) * 2003-07-17 2005-02-10 Nec Plasma Display Corp 画像変換方法及び回路並びにその制御プログラム
JP2008182627A (ja) * 2007-01-26 2008-08-07 Matsushita Electric Ind Co Ltd 色トランジェント補正装置
JP2014033357A (ja) * 2012-08-03 2014-02-20 Jvc Kenwood Corp 映像信号処理装置及び映像信号処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4687320B2 (ja) * 2005-08-11 2011-05-25 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
WO2007069328A1 (ja) * 2005-12-15 2007-06-21 Fujitsu Limited 画像処理プログラム、画像処理方法、画像処理装置
JP2010002876A (ja) * 2008-05-19 2010-01-07 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
KR101330396B1 (ko) * 2010-06-25 2013-11-15 엘지디스플레이 주식회사 표시장치와 그의 콘트라스트 향상 방법
JP5664255B2 (ja) * 2011-01-14 2015-02-04 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8937683B2 (en) * 2011-06-30 2015-01-20 Stmicroelectronics Asia Pacific Pte Ltd Apparatus and method for inverse telecine with local video de-interlacing
JP2014045398A (ja) 2012-08-28 2014-03-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN103606132B (zh) * 2013-10-31 2016-04-13 西安电子科技大学 基于空域和时域联合滤波的多帧数字图像去噪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005039679A (ja) * 2003-07-17 2005-02-10 Nec Plasma Display Corp 画像変換方法及び回路並びにその制御プログラム
JP2008182627A (ja) * 2007-01-26 2008-08-07 Matsushita Electric Ind Co Ltd 色トランジェント補正装置
JP2014033357A (ja) * 2012-08-03 2014-02-20 Jvc Kenwood Corp 映像信号処理装置及び映像信号処理方法

Also Published As

Publication number Publication date
US20190191138A1 (en) 2019-06-20
CN109155845B (zh) 2021-03-23
WO2017203941A1 (ja) 2017-11-30
CN109155845A (zh) 2019-01-04
JP7014158B2 (ja) 2022-02-01
US10771755B2 (en) 2020-09-08

Similar Documents

Publication Publication Date Title
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
US8600159B2 (en) Color converting images
US8305489B2 (en) Video conversion apparatus and method, and program
EP2074586A2 (en) Image enhancement
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
US8982248B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP4949463B2 (ja) アップスケーリング
JP2004221644A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US20090002562A1 (en) Image Processing Device, Image Processing Method, Program for Image Processing Method, and Recording Medium Having Program for Image Processing Method Recorded Thereon
JP4321064B2 (ja) 画像処理装置および画像処理プログラム
JPWO2017203941A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9762850B2 (en) Image processing apparatus, image processing method, and storage medium
JP2006506875A (ja) 画像変換装置及び方法
US9928577B2 (en) Image correction apparatus and image correction method
US20070258653A1 (en) Unit for and Method of Image Conversion
US8224120B2 (en) Image signal processing apparatus and image signal processing method
JP2001339695A (ja) 画像信号処理装置及び画像信号処理方法
WO2014034242A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4734239B2 (ja) 空間的信号変換
JPWO2020240913A1 (ja) 画像処理方法、画像処理装置およびプログラム
JP4632100B2 (ja) 画像処理装置、画像処理方法、記録媒体、およびプログラム
JP2008021219A (ja) 画像処理装置及び方法
JP4283728B2 (ja) 動きベクトル検出装置及び動きベクトル検出プログラム
JP2006332904A (ja) 輪郭強調回路

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220103