JPWO2010150327A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JPWO2010150327A1
JPWO2010150327A1 JP2011519320A JP2011519320A JPWO2010150327A1 JP WO2010150327 A1 JPWO2010150327 A1 JP WO2010150327A1 JP 2011519320 A JP2011519320 A JP 2011519320A JP 2011519320 A JP2011519320 A JP 2011519320A JP WO2010150327 A1 JPWO2010150327 A1 JP WO2010150327A1
Authority
JP
Japan
Prior art keywords
video data
output
video
circuit
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011519320A
Other languages
English (en)
Inventor
晋哉 村上
晋哉 村上
柳澤 玲互
玲互 柳澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2010150327A1 publication Critical patent/JPWO2010150327A1/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635HDMI

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

量子化されたデジタル映像のビット幅を拡張し、高階調の映像を復元する画像処理装置において、ローパスフィルタ103にて8ビットの入力映像データVI1の低周波成分を抽出し、低周波成分抽出時の演算過程で10ビットに拡張された映像データLP1が得られる。この映像データLP1は丸め回路104で下位2ビットが四捨五入されて、8ビットの映像データRD1として出力される。比較回路105は、前記映像データRD1と映像データVI2とを比較し、映像出力制御回路106は前記比較の結果CP1に基づいて制御信号OC1を出力する。ビット付加回路109では、映像データVI1のLSB側に2ビット付加して10ビットの映像データBS1を出力する。出力映像選択回路111は、前記制御信号OC1に基づいて、映像データLP2と映像データBS2との何れかを選択し、10ビットの映像データVO1として出力する。

Description

本発明は、デジタル映像信号を処理する画像処理装置に関し、特に、階調を向上させて滑らかな映像を復元する画像処理装置に関する。
近年のデジタル画像処理装置の高性能化に伴い、高解像度の映像コンテンツが増加している。更に、映像及び音声の伝送方式であるHDMI(High-Definition Multimedia Interface)では、8ビットを超えるディープカラーでの伝送が可能となり、ディープカラー出力が可能な再生装置も増えてきている。また、映像を表示するディスプレイの性能向上に伴い、8ビット以上の精度で表示できるディスプレイも増えてきている。
ビデオカメラ等で撮影された映像はアナログ映像としてフィルムに記録され、アナログ−デジタル変換(以下、A/D変換という)により、デジタル映像データに変換される。しかしながら、A/D変換により得られるデジタル映像データの量子化ビット幅は、光ディスク等の記憶媒体に記憶する際のデータ容量の削減等の理由で、8ビット程度に制限されている。
従来のディスプレイでは、映像表示時の分解能が8ビット程度であったため、表示する映像データが8ビットであったとしても問題にはならなかったが、8ビット以上の精度で表示可能なディスプレイに表示する際には、特にCG(Computer Graphics)等におけるグラデーション映像等のなだらかに変化する映像信号を表示する場合において、8ビットのLSB(Least Significant Bit)の差分が顕著に現れ、画面上で等高線状に視認されてしまう。
このような画質の劣化を抑止するための方法として、例えば特許文献1に記載のビット拡張装置が提案されている。
図1は、特許文献1のビット拡張装置の構成例である。図1のビット拡張装置では、入力端子001には例えば8ビットの画像信号S1が供給されており、画像信号S1は、10ビット化回路002にてLSB側に2ビット「0」を付加して、10ビットにビット拡張されて映像信号S2となる。10ビットの映像信号S2は、入力画像信号S1の画像の性質に基づいて制御信号を出力する制御信号出力回路020と、この制御信号出力回路020からの制御信号に応じて適応的に10ビットの信号に変換する変換部030とに送られている。
前記制御信号出力回路020は、加算器005と比較器006とから成り、変換部030は、ローパスフィルタ(LPF)003、LSB抽出回路004、加算器007、009及びスイッチ008から成っている。10ビット化回路002の出力信号S2は、変換部030のローパスフィルタ003、加算器007及び制御信号出力回路020の加算器005に各々送られている。変換部030のローパスフィルタ003は、10ビット化された画像信号S2にフィルタ処理を行い、信号S3を出力する。上記信号S3は、LSB抽出回路004及び制御信号出力回路020の加算器005に送られる。制御信号出力回路020の加算器005では、ローパスフィルタ003の出力信号S3と10ビット化回路の出力信号S2との差分S5=S2−S3を出力し、比較器006に送る。比較器006は、その差分S5を所定の閾値、例えば2ビットに相当する「4」と比較し、その比較結果に基づいて、後述するように、入力画像信号の高周波成分を失うことなく下位ビットを付加するための制御信号C1と、下位ビットの付加の仕方を制御するための制御信号C2とを出力する。
変換部030のLSB抽出回路004は、10ビットの画像信号S3のLSB側の2ビットのみを出力信号S4として取り出し、スイッチ008に供給する。上記比較器006からの制御信号C1は、スイッチ008にオン/オフ制御信号として供給されている。加算器007には、上記制御信号C2が供給され、加算器007からの出力信号は変換部030の加算器009に送られる。加算器009にはスイッチ008からの出力信号が供給され、加算器009からの出力信号は、出力端子010を介して取り出される。
ここで、ローパスフィルタ003がFIR(有限インパルス応答)フィルタで構成されており、その伝達関数が以下の式1で表される場合について考える。
(1+2×Z−1+2×Z−2+2×Z−3+Z−4)/8 (式1)
図2(A)は、入力端子001に入力された映像信号D001と、ローパスフィルタ003からの出力信号S3の変化D002とを示している。図2(B)は、図2(A)の映像信号D001が入力端子001に入力されたときの出力端子010からの出力映像データD003を示している。映像信号D001と出力映像データD003とを比較すると、信号の変化が滑らかになっていることが判る。
また、第2の方法として、特許文献2に記載の画像処理装置が提案されている。
特許文献2の画像処理装置では、入力映像の近接して並んでいる画素において、隣り合う画素データの値が異なる変化点画素の近傍で、変化点画素の前後数画素で同じデータが複数連続しているときに、変化点画素の前後で滑らかに変化するように線形的にビット拡張する。図4は、符号D011のように変化する映像データを特許文献2の画像処理装置に入力したときに、特許文献2の画像処理装置より出力される映像データD012の変化を示している。領域A011及びA013では、データの変化点の周辺で同じデータが複数画素連続しているため、線形的にビット拡張される。領域A012では、データの変化点の周辺で連続的に変化しており、同じ値の画素が複数連続していないため、入力されたデータをそのまま出力している。
また、第3の方法として、図5に示す特許文献3に記載の画像処理装置が提案されている。
特許文献3の画像処理装置によれば、入力映像信号をビット拡張する際に、ローパスフィルタの周波数特性に依存することなく、滑らかに変化する信号を得ることが可能となる。特許文献3に記載の装置では、図5に示すように、ローパスフィルタ041を用いて8ビットの入力映像の低周波成分を抽出する。次に、ローパスフィルタ041が出力した低周波成分(8ビット以上)は、丸め処理演算部042にて入力信号Siと同じ8ビットに丸め処理された映像データと、10ビットに丸め処理された映像データとを出力する。加算器044では、入力信号Siから上記10ビットに丸め処理された映像データを減算し、高周波成分を抽出する。また丸め処理演算部042から出力される8ビットに丸め処理された映像データは、ビット拡張部046に入力される。ビット拡張部046から出力された10ビットの映像信号は、加算器047において、減算器044から出力された映像信号に足し合わされ、リミッタ048で、(s+11)ビットを10ビットに制限して出力する。ビット拡張部046では、入力された8ビットの低周波信号のLSBの変化及び同じ値が連続する領域の検出を行い、同じ値が連続していてかつ前の変化点からの変化量が8ビットの最小変化量(1LSB)であるときに、前の変化点から次の変化点に向けて線形的に変化するように、8ビットの低周波信号のLSBに2ビット付加する。その結果、ビット拡張部046では、8ビットの低周波信号が1LSB変化する(即ち、8ビットでの最小変化する)変化点の近傍で、線形的に滑らかに変化するようにビット拡張される。
特開平8−237669号公報 特開2004−54210号公報 特開2007−221569号公報
上記従来の画像処理装置により、低周波部分の階調が向上し、滑らかな映像を出力することが可能となる。
しかしながら、特許文献1のビット拡張装置では、特定の領域で不要なノイズが発生する可能性がある。例として、図3(A)の符号D004のように変化する映像信号を入力端子001に入力した場合を考える。
図3(A)は、入力端子001に入力された映像信号D004と、ローパスフィルタ003からの出力信号S3の変化D005とを示している。図3(B)の符号D006は、図3(A)の映像信号D004が入力端子001に入力されたときの出力端子010からの出力映像データの変化を示している。図1の加算器005では、信号S3(D005)と信号S2(D004)との差分を計算し、差分信号S5として出力される。比較器006では、上記の差分S5を基に出力映像を制御するための制御信号C1及びC2を出力する。このとき、比較器006が比較する閾値を仮に「4」であるものとする。図3(A)の領域A002においては、信号S3(D005)と信号S2(D004)との差分が「4」以上であるため、加算器007及び009では加算されずに、S2(D004)が出力されるが、領域A001及びA003においては、信号S3(D005)と信号S2(D004)との差分が「4」以下になるため、制御信号C1によりスイッチ008がONし、加算器007及び009による加算が実行される。その結果、図3(B)の符号D006に示す通り、領域A001及びA003においてノイズが発生してしまう。
また、特許文献2の画像処理装置では、図4の領域A011及びA013においては、線形的に変化するようにビット拡張されるため、滑らかに変化する映像を得ることができるが、領域A012には線形補完が適用されないため、領域A011と領域A013との間で滑らかな映像を得ることができず、領域A012の影響で輪郭が視認される可能性がある。
更に、特許文献3の画像処理装置では、低周波成分と高周波成分とを分離し、低周波成分のみに画像補正を行った後、低周波成分と高周波成分とを足し合わせて映像を出力している。特許文献3の画像処理装置では、ビット拡張部046において、ローパスフィルタからの出力データの変化と連続性を検出し、上記の変化及び連続性の情報に基づいて、線形的に滑らかに変化するように補正を加えている。しかしながら、変化量が8ビットの2LSB以上である部分については補正が加えられない上に、本補正を加えるために多量のメモリを必要となるため、回路規模が増大することが懸念される。
上記課題を解決するため、本発明の画像処理装置は、量子化されたデジタル映像データから元映像を復元する画像処理装置であって、前記量子化されたデジタル映像データが入力される入力手段と、前記入力手段から出力される第1の映像データに対してフィルタ処理を施すフィルタ手段と、前記フィルタ手段から出力される第2の映像データを前記第1の映像データのビット幅に変換する丸め手段と、前記丸め手段から出力される第3の映像データと前記第1の映像データとを比較する比較手段と、前記比較手段から出力される比較結果に基づいて制御信号を生成する映像出力制御手段と、前記第1の映像データに予め決められたビット数だけ付加するビット付加手段と、前記制御信号に基づいて、前記第2の映像データと前記ビット付加手段から出力される第4の映像データとを選択して出力する出力映像選択手段と、前記出力映像選択手段から出力される第5の映像データを外部に出力する出力手段とを具備することを特徴とする。
本発明は、前記画像処理装置において、前記フィルタ手段は、前記第1の映像データの低周波成分を抽出するローパスフィルタであることを特徴とする。
本発明は、前記画像処理装置において、前記比較手段は、前記第1の映像データと前記第3の映像データとが等しいことを検出することを特徴とする。
本発明は、前記画像処理装置において、前記映像出力制御手段は、前記比較手段から出力される前記比較結果を1つ以上保持する比較結果保持手段を有し、前記映像出力制御手段は、前記比較結果保持手段が保持している前記1つ以上の比較結果のうち、予め決められた複数の比較結果に基づいて前記制御信号を生成することを特徴とする。
本発明は、前記画像処理装置において、前記第1の映像データを保持するメモリ手段を有し、前記フィルタ手段には、前記第1の映像データの代わりに、前記メモリ手段が出力する垂直映像データ列が入力され、前記ビット付加手段には、前記第1の映像データの代わりに、前記メモリ手段が出力する第6の映像データが入力され、前記比較手段には、前記第1の映像データの代わりに、前記第6の映像データが入力され、前記垂直映像データ列には、前記第6の映像データが含まれていることを特徴とする。
本発明は、前記画像処理装置において、前記ビット付加手段は、前記第1の映像データの高周波成分を抽出するハイパスフィルタと、前記ハイパスフィルタから出力される前記第1の映像データの高周波成分と、前記第1の映像データとを加算する加算手段とを有し、前記加算手段から出力されたデータを前記第4の映像データとして出力することを特徴とする。
以上により、本発明では、特定の領域で不要なノイズや輪郭を発生させず、高階調の滑らかな映像を出力することが可能である。
以上説明したように、本発明の画像処理装置によれば、量子化された映像データのビット幅を拡張して出力する際に、入力映像を損なうことなく、高階調の滑らかな映像を出力することが可能である。
図1は特許文献1に記載のビット拡張装置の構成例を示すブロック図である。 図2は同ビット拡張装置の動作を説明するための図であり、同図(A)は入力端子に入力される映像信号とローパスフィルタからの出力信号の変化とを示す図、同図(B)は同図(A)の映像信号が入力端子に入力されたときの出力端子からの出力映像データを示す図である。 図3は同ビット拡張装置の課題を説明するための図であり、同図(A)は入力端子に入力される映像信号を示す図、同図(B)は同図(A)の映像信号が入力端子に入力されたときの出力端子からの出力映像データの変化を示す図である。 図4は特許文献2に記載の画像処理装置の動作を説明するための図である。 図5は特許文献3に記載の画像処理装置の構成例を示すブロック図である。 図6は本発明の実施形態1の画像処理装置の構成例を示すブロック図である。 図7は同画像処理装置の入力データと出力データの制御の動作を説明する図であり、同図(A)は映像データの値の変化と同映像データがローパスフィルタを通過した後のデータの変化を示す図、同図(B)は同図(A)の映像データが入力されたときの比較回路からの比較結果と映像出力制御回路からの制御信号の推移を示す図である。 図8は同画像処理装置により図7の映像データを入力したときの出力データを示す図である。 図9は本発明の実施形態2の画像処理装置の構成例を示すブロック図である。 図10は本発明の実施形態2及び4の画像処理装置のローパスフィルタの動作を説明する図であり、同図(A)はFIRフィルタで構成されたローパスフィルタのフィルタ係数の一例を示す図、同図(B)は画素の並びの一例を示す図である。 図11は本発明の実施形態2の画像処理装置のメモリ制御とローパスフィルタの処理との関係を説明する図である。 図12は同画像処理装置のデータ出力制御部の動作を説明する図である。 図13は同画像処理装置の出力データの選択動作を説明する図であり、同図(A)は比較回路による比較結果を画素ごとに並べた例であって全ての画素の比較結果が「1」の場合を例示する図、同図(B)は比較結果が「0」の画素が存在する場合を例示する図である。 図14は本発明の実施形態3の画像処理装置の構成例を示すブロック図である。 図15は本発明の実施形態3及び4の画像処理装置のハイパスフィルタの構成例を示すブロック図である。 図16は本発明の実施形態3の画像処理装置の入力データと出力データの制御の動作を説明する図であり、同図(A)は映像データの値の変化と、その映像データがローパスフィルタを通過した後のデータの値の変化を示す図、同図(B)は同図(A)の映像データが変化したときの比較回路の比較結果と映像出力制御回路の制御信号の値の推移を示す図である。 図17は本発明の実施形態3の画像処理装置のハイパスフィルタの動作を説明する図であり、同図(A)は図15のFIRフィルタから出力されるデータの変化を示す図、同図(B)は図15の1/nゲイン回路から出力されるデータの変化を示す図、同図(C)は図15の加算器が出力する映像データの値の変化を示す図である。 図18は本発明の実施形態3の画像処理装置により図16の映像データを入力したときの出力データを示す図である。 図19は本発明の実施形態4の画像処理装置の構成例を示すブロック図である。 図20は同実施形態4の画像処理装置のハイパスフィルタの動作を説明する図であり、同図(A)はハイパスフィルタ内のFIRフィルタが3×3のFIRフィルタである場合を例示する図、同図(B)は画素の並びを例示する図である。 図21は本発明の実施形態4の画像処理装置のメモリ制御とローパスフィルタの処理との関係を説明する図である。 図22は本発明の実施形態4の画像処理装置のデータ出力制御部の動作を説明する図である。 図23は本発明の実施形態4の画像処理装置の出力データの選択動作を説明する図であり、同図(A)は比較回路による比較結果を画素ごとに並べた例であって全ての画素の比較結果が「1」の場合を例示する図、同図(B)は比較結果が「0」の画素が存在する場合を例示する図である。
以下に本発明の実施形態について、図面を参照しながら説明する。
(実施形態1)
図6に本発明の実施形態1の構成例を示す。図6において、101は映像コンテンツが記憶された記憶媒体、102は映像信号処理回路、103はローパスフィルタ(LPF)、104は丸め回路、105は比較回路、106は映像出力制御回路、107、108、110は遅延回路、109はビット付加回路、111は出力映像選択回路、112は出力回路(HDMI)である。
記憶媒体101には、例えばMPEG2等の方式で圧縮された映像コンテンツが記憶されている。映像信号処理回路(入力手段)102では、記憶媒体101から読み出された映像コンテンツMV1を入力し、この映像コンテンツMV1に対して復号化処理等の信号処理を施し、量子化された8ビットの映像データVI1が出力される。ローパスフィルタ(フィルタ手段)103は、8ビットの映像データVI1の低周波成分のみを抽出し、抽出時の演算の過程でビット拡張することにより、10ビットの映像データLP1を出力する。ここでは、例としてローパスフィルタ103はFIR(有限インパルス応答)フィルタで構成されており、その伝達関数は以下の式2で表されるものとする。
(1+2×Z−1+6×Z−2+4×Z−3+Z−4)/16 (式2)
但し、10ビットで出力するため、16による除算は行わず、ローパスフィルタの最終段で10ビットに制限して出力する。丸め回路(丸め手段)104ではローパスフィルタ103が出力した10ビットの映像データLP1の下位2ビットを四捨五入することにより、入力映像データVI1と同じ8ビットの映像データRD1として出力する。比較回路(比較手段)105には、丸め回路104から出力される映像データRD1と、遅延回路108にて映像データVI1を一定時間遅延させた映像データVI2とが入力される。ここで、遅延回路108では、映像データVI1に対して、ローパスフィルタ103及び丸め回路104での処理にかかる時間分だけ遅延させて映像データVI2を出力することにより、映像データRD1と映像データVI2とが同じタイミングで比較回路105に入力される。比較回路105では、8ビットの映像データRD1と8ビットの映像データVI2とを比較し、映像データRD1と映像データVI2とが一致しているかどうかを比較結果CP1として出力する。その比較結果CP1は、映像データRD1と映像データVI2とが一致していた場合には「1」となり、映像データRD1と映像データVI2とが一致していない場合には「0」となる。
映像出力制御回路(映像出力制御手段)106では、比較回路105が出力した比較結果CP1に基づいて、出力映像を制御するための制御信号OC1を出力する。ビット付加回路(ビット付加手段)109では、入力映像データVI1のLSB(Least Significant Bit)側に2ビット付加して10ビットの映像データBS1として出力する。ここでは、例として付加される2ビットは「00」であるものとする。出力映像選択回路(出力映像選択手段)111には、映像出力制御回路106が出力する制御信号OC1と、ローパスフィルタ103が出力した映像データLP1を一定時間遅延させた映像データLP2と、ビット付加回路109が出力した映像データBS1を一定時間遅延させた映像データBS2とが入力される。ここで、遅延回路107では、映像データLP1に対して、丸め回路104、比較回路105、映像出力制御回路106での処理にかかる時間分だけ遅延させて映像データLP2を出力する。遅延回路110では、映像データBS1に対して、ローパスフィルタ103、丸め回路104、比較回路105、映像出力制御回路106での処理にかかる時間からビット付加回路109での処理にかかる時間を差し引いた時間分だけ遅延させて、映像データBS2を出力する。遅延回路107及び110により、制御信号OC1、映像データLP2及び映像データBS2は同じタイミングで出力映像選択回路111に入力される。出力映像選択回路111では、制御信号OC1により、映像データLP2か映像データBS2かを選択して映像データVO1として出力する。
ここで、制御信号OC1が「1」の場合には、映像データLP2を映像データVO1として出力し、制御信号OC1が「0」の場合には、映像データBS2を映像データVO1として出力する。出力映像選択回路111から出力された10ビットの映像データVO1はHDMI112に入力され、HDMI112においてHDMI規格準拠のパラレル−シリアル変換が実行され、HDMIケーブルに出力される。
映像出力制御回路106は、比較結果CP1を複数保持することができる比較結果保持回路(比較結果保持手段)113を持ち、比較結果保持回路113に保持された比較結果に基づいて制御信号OC1を出力する。ここで、比較結果保持回路113に保持されている全ての比較結果が「1」であったときにのみ、制御信号OC1に「1」を出力し、比較結果保持回路113に保持されている比較結果のうち1つ以上の比較結果が「0」であったときには、制御信号OC1に「0」を出力する。ここでは、例として、比較結果保持回路113には3つの比較結果を保持することができ、新しい比較結果が入力される毎に、古い比較結果から順に消去されて行くこととする。
図7(A)の実線D101は、図6の映像データVI1の値の変化を表しており、破線D102は、実線D101のように変化する映像データVI1が、ローパスフィルタ103に入力されたときの映像データLP1のデータの変化を示している。図7(B)は、図7(A)の符号D101ように変化する映像データVI1が入力されたときの、比較回路105から出力される比較結果CP1と、映像出力制御回路106から出力される制御信号OC1の推移を示している。また、図8は、映像データVI1が図7(A)の実線D101のように変化していたときの、映像データVO1の出力値を示している。
ローパスフィルタ103では、図7(A)の破線D102に示すように、低周波成分を抽出することにより、映像データVI1の変化D101と比べて滑らかに変化する映像データが得られている。
破線D102のように変化する映像データLP1は、丸め回路104でLSB側の2ビットが四捨五入され、8ビットの映像データRD1として比較回路105に入力される。ここで、データD101と、データD102の下位2ビットを四捨五入したデータとを比較したときの比較結果CP1が図7(B)に示されている。図7(B)に示す通り、領域A102において、8ビットの映像データRD1と映像データVI1とが不一致しており、CP1に「0」が出力されている。映像出力制御回路106が出力する制御信号OC1は、比較結果保持回路113に保持された3つの比較結果に基づいて生成される。図7(B)の符号aのように、比較結果保持回路113に格納された前後合わせて3画素分の比較結果が全て「1」であった場合には、制御信号OC1に「1」が出力され、図7(B)の符号bのように、比較結果保持回路に格納された前後合わせて3画素分の比較結果に1つでも「0」が含まれている場合には、制御信号OC1に「0」が出力される。図7(A)の領域A101及びA103においては、制御信号OC1が「1」となるため、映像データVO1として、映像データLP1を遅延させた映像データLP2が出力される。図7(A)の領域A102においては、制御信号OC1が「0」となるため、映像データVO1として映像データVI1に2ビット付加した映像データBS2が出力される。その結果、出力映像選択回路110から出力される映像データVO1は、図8のデータD103のようになり、図7(A)のデータD101の8ビットの1LSBの変化点において、より滑らかな信号変化が得られている。
(実施形態2)
図9に本発明の実施形態2の構成例を示す。
図9は実施形態1の構成例である図6に対してメモリ部(メモリ手段)114が追加されており、ローパスフィルタ103への映像データ、ビット付加回路109への映像データ、遅延回路108への映像データの出力源が、メモリ部114となっている点で、実施形態1とは異なる構成である。
メモリ部114には、映像データVI1を複数ライン保持することができる。ここでは、例として3+1ライン分の映像データを保持できるものとする。また、ローパスフィルタ103は、メモリ部114から垂直に並ぶ3画素分の映像データLM1を用いて、映像データLM1から低周波成分を抽出する。ここでは、例としてローパスフィルタ103は3×3のFIRフィルタで構成されており、フィルタ係数は図10(A)の通りである。図10(B)のように並ぶ画素において、画素V22の値を算出する際には、以下の式3の計算式となる。
(((V11×1)+(V12×2)+(V13×1))+
((V21×2)+(V22×4)+(V23×2))+
((V31×1)+(V32×2)+(V33×1)))/16 (式3)
但し、10ビットで出力するため、16による除算は行わず、ローパスフィルタ103の最終段で10ビットに制限して出力する。
図11及び図12は、入力映像VI1の画素の並びを示したものである。ここで、画素V101のデータが、映像データVI1に入力されている時間における動作について説明する。画素V101の映像データが、映像データVI1として、メモリ部114に入力されている。この時間、それ以前の時間に入力された領域L101の画素データは全てメモリ部114に保持されている。そこで、画素V102を中心画素として低周波成分を抽出するため、ローパスフィルタ103は範囲F101に対して、式3のフィルタ演算を行う。上記フィルタ演算により得られた画素V102の映像データは、丸め回路104にて下位2ビットが四捨五入され、8ビットの映像データRD1として比較回路105に入力される。一方で、メモリ部114から画素V102のデータが画素データLM2として出力される。画素データLM2は、遅延回路108で一定の遅延を付加され、ローパスフィルタ103から出力された画素V102の映像データLP1が丸め回路104の処理を経て比較回路105に入力されると同時に、映像データVI2として比較回路105に入力される。比較回路105では、映像データRD1と映像データVI2とを比較し、比較結果CP1を出力する。映像出力制御回路106では、入力された比較結果CP1を比較結果保持回路113に保持し、保持されている比較結果に基づいて制御信号OC1を生成する。ここで、比較結果保持回路113には、比較結果を3+1ライン分だけ保持することができ、新しい比較結果を保持する際には、一番古い比較結果から順に消去されて行く。画素V102の映像データに対して比較回路105での比較結果がCP1に出力されたとき、図12の●の画素の比較結果が、比較結果保持回路113に保持されている。
ここで、図13は、比較回路105による比較結果を画素ごとに並べた例であり、図12及び図13を用いて、制御信号OC1の制御方法について説明する。図12の画素V103のデータを出力するために、映像出力制御回路106では、領域F102にある全ての画素の比較結果が「1」の場合(図13(A)の場合)には、制御信号OC1に「1」を出力し、領域F102にある画素のうち1つでも比較結果が「0」の画素が存在する場合(図13(B)の場合)には、制御信号OC1に「0」を出力する。
遅延回路107では、画素V103のローパスフィルタ103からの出力データが、上記制御信号OC1と同時に出力映像選択回路111に入力されるように一定の遅延を付加して映像データLP2として出力する。遅延回路110では、画素V103にビット付加回路109にて2ビット付加された映像データBS1が、上記制御信号OC1と同時に出力映像選択回路111に入力されるように一定の遅延を付加して映像データBS2として出力する。出力映像選択回路111では、制御信号OC1が「1」のときには、映像データVO1として映像データLP2を出力し、制御信号OC1が「0」のときには、映像データVO1として映像データBS2を出力する。出力映像選択回路111から出力された10ビットの映像データVO1はHDMI112に入力され、HDMI112においてHDMI規格準拠のパラレル−シリアル変換を実行し、HDMIケーブルに出力される。
本実施形態2によれば、平面的に並んでいる画素に対して、平面的に低周波成分を抽出できるので、2次元で滑らかな映像を得ることが可能となる。
(実施形態3)
図14に実施形態3の構成例を示す。
図14は実施形態1の構成例である図6に対して、ビット付加回路109が、ハイパスフィルタ(HPF)115と、LSB追加回路116と、加算器117とを有している点で異なる。
ビット付加回路109では、ハイパスフィルタ115にて8ビットの映像データVI1の高周波成分を抽出し、LSB追加回路116において8ビットの映像データVI1のLSB側に2ビット付加して10ビットの映像データとして出力し、加算器(加算手段)117にて映像データVI1に2ビット付加して10ビット化した映像データに映像データVI1の高周波成分を加算して、10ビットの映像データBS1として出力する。ここでは、例としてLSB追加回路116で付加される2ビットの値は「00」であるものとする。
ハイパスフィルタ115は、例として図15に示すような構成となっている。図15の118はFIRフィルタ、119は1/nゲイン回路であり、120はリミッタである。
FIRフィルタ118は、例として以下の式4のような伝達関数のフィルタとする。
(1−4×Z−1+6×Z−2−4×Z−3+Z−4)/16 (式4)
但し、10ビットで出力するため、16による除算は行わず、リミッタ120で10ビットに制限して出力する。本実施形態3では、ビット付加回路109のハイパスフィルタとしてFIRフィルタ118を内蔵しているが、映像データVI1とローパスフィルタ103が出力する映像データLP1とを基にして高周波成分を抽出することも可能である。その場合、映像データVI1から映像データLP1を減算することにより、映像データVI1の高周波成分を算出できる。
1/nゲイン回路119は、FIRフィルタ118からの出力値の振幅を1/nに下げるためのものであり、ここでは例としてn=4とする。リミッタ120は1/nゲイン回路119からの出力データに制限をかけるためのものであり、ここでは例として、10ビットの−2〜+1の範囲内に収めるため、10ビットで−2以下の値は−2に、1以上の値は1に制限する。
図16(A)に、図14の映像データVI1の値の変化D104と、そのときのローパスフィルタ103が出力する映像データLP1の値の変化D105とを示す。図16(B)は、図16(A)のように映像データVI1及び映像データLP1が変化したときの、比較回路105から出力される比較結果CP1と、映像出力制御回路106が出力する制御信号OC1の値の推移を示している。図16(B)によると、領域A104及びA106では、制御信号OC1が「1」であるため、出力映像選択回路111からの出力映像データVO1として、遅延回路107からの出力映像データLP2が選択される。また、領域A105では、制御信号OC1が「0」であるため、出力映像選択回路111からの出力映像データVO1として、遅延回路110からの出力映像データBS2が選択される。
図17は、図14の映像データVI1が図16(A)の符号D104のように変化したときの、ビット付加回路109内でのビット付加の処理の様子を示している。具体的には、図17(A)は、図15のFIRフィルタ118から出力されるデータHP1の変化を示しており、図17(B)は、1/nゲイン回路119から出力されるデータHP2の変化を示しており、図17(C)は、ハイパスフィルタ115からの出力映像データHP3と、8ビットの映像データVI1を10ビットに拡張した映像データBA1とを足し合わせた映像データBS1の値の変化を示している。
FIRフィルタ118に対して、図16(A)の符号D104のように変化する映像データVI1が入力されると、FIRフィルタ118では、式4に示すような伝達関数のフィルタが実行され、図17(A)のように変化するkビットのデータHP1(k>10)が得られる。データHP1は、1/nゲイン回路119により、データ振幅が1/n(ここでは例としてn=4)に補正され、データHP2として出力される。データHP2は、リミッタ120で、−2〜+1の範囲内に収まるように制限され、10ビットのデータHP3として出力される。図17(B)に示す通り、1/nゲイン回路119から出力されたデータHP2は、min(−2)〜max(+1)の範囲内であるため、リミッタ120から出力されるデータHP3は、図17(B)の通り出力される。加算器116では、図16(A)の符号D104のように変化する映像データVI1に対してLSB追加回路116で2ビット(値は「00」)付加した映像データBA1に、10ビットのデータBA1を足し合わせて、10ビットの映像データBS1として出力する。このとき、映像データBS1の変化は、図17(C)の通りである。
図16と図17を合わせると、図14の出力映像選択回路111では、制御信号OC1が「1」のとき(領域A104、A106)に、映像データLP2を選択して出力し、制御信号OC1が「0」のとき(領域A105)に、映像データBS2を選択して出力する。その結果、映像信号VO1は、図18の符号D106のように変化するデータとして得られる。領域A104のようななだらかに変化する領域ではより滑らかに変化するデータが得られ、領域A105のように急峻に変化する領域では、より変化を強調するようなデータが得られていることが判る。
(実施形態4)
図19に実施形態4の構成例を示す。本実施形態4は、上記実施形態2と実施形態3とを合わせた構成となっている。
メモリ部114には、映像データVI1を複数ライン保持することができる。ここでは、例として3+1ライン分の映像データを保持できるものとする。また、ローパスフィルタ103は、メモリ部114から垂直に並ぶ3画素分の映像データLM1を用いて、映像データLM1から低周波成分を抽出する。ここでは、例としてローパスフィルタ103は3×3のFIRフィルタで構成されており、フィルタ係数は実施形態2の図10(A)と同じである。図10(B)のように並ぶ画素において、画素V22の値を算出する際の演算式は実施形態2の式3の演算式の通りである。但し、10ビットで出力するため、16による除算は行わず、ローパスフィルタの最終段で10ビットに制限して出力する。
また、ハイパスフィルタ115は、前記実施形態3と同様に図15のような構成となっており、ハイパスフィルタ115は、メモリ部114から垂直に並ぶ3画素分の映像データLM1を用いて、映像データLM1から高周波成分を抽出する。
図15に示したハイパスフィルタ115内のFIRフィルタ118は図20(A)に示すような3×3のFIRフィルタとする。図20(B)のように並ぶ画素において、画素V22の値を算出する際には、以下の式5の演算式となる。
(((V11×(−1))+(V12×(+2))+(V13×(−1)))+
((V21×(+2))+(V22×(−4))+(V23×(+2)))+
((V31×(−1))+(V32×(+2))+(V33×(+1))))/16 (式5)
但し、10ビットで出力するため、16による除算は行わず、リミッタ120で10ビットに制限して出力する。
図21及び図22は、入力映像VI1の画素の並びを示したものである。ここで、画素V104のデータが、映像データVI1に入力されている時間における動作について説明する。画素V104の映像データが、映像データVI1として、メモリ部114に入力されている。この時間、それ以前の時間に入力された領域L102の画素データは、メモリ部114に保持されている。そこで、画素V105を中心画素として低周波成分を抽出するため、ローパスフィルタ103は範囲F103に対して、実施形態2の式3によりフィルタ演算を行う。上記フィルタ演算により得られた映像データV105は、丸め回路104にて下位2ビットが四捨五入され、8ビットの映像データRD1として比較回路105に入力される。
一方で、メモリ部114から画素V105のデータが画素データLM2として出力される。この画素データLM2は、遅延回路108で一定の遅延を付加され、ローパスフィルタ103から出力された画素V105の映像データLP1が丸め回路104の処理を経て比較回路105に入力されると同時に、映像データVI2として比較回路105に入力される。
比較回路105では、映像データRD1と映像データVI2とを比較し、比較結果CP1を出力する。映像出力制御回路106では、入力された比較結果CP1を比較結果保持回路113に保持し、比較結果保持回路113に保持されている比較結果に基づいて制御信号OC1を生成する。ここで、比較結果保持回路113には、比較結果を3+1ライン分保持することができ、新しい比較結果を保持する際には、一番古い比較結果から順に消去されて行く。画素V105の映像データに対して比較回路105での比較結果がCP1に出力されたとき、図22の●の画素の比較結果が比較結果保持回路113に保持されている。
ここで、図23は、比較回路105による比較結果を画素ごとに並べた例であり、図22及び図23を用いて制御信号OC1の制御方法について説明する。図22の画素V106のデータを出力するために、映像出力制御回路106では、領域F104にある全ての画素の比較結果が「1」の場合(図23(A)の場合)には制御信号OC1に「1」を出力し、領域F104にある画素のうち1つでも比較結果が「0」の画素が存在する場合(図23(B)の場合)には、制御信号OC1に「0」を出力する。
一方で、ビット付加回路109では、ローパスフィルタ103に入力されるデータと同じ、垂直に並ぶ3画素分の映像データLM1が入力され、ハイパスフィルタ115にて高周波成分の抽出が実行される。ハイパスフィルタ115が有するFIRフィルタ118(図15参照)は、図21の領域F103に対して、式5の演算式により高周波成分の抽出を行う。FIRフィルタ118で得られた高周波成分HP1は、1/nゲイン回路119にて、信号振幅を1/n(ここでは例としてn=4)に下げられて高周波成分HP2として出力され、リミッタ120で信号振幅が制限(ここでは例として−2〜+1)されて高周波成分HP3として出力される。LSB追加回路116では、映像データVI1のLSB側に2ビット(ここでは例として値「00」)付加して、映像データBA1を出力する。加算器117では、映像データBA1と高周波成分HP3とを足し合わせて、10ビットの映像データBS1を出力する。
遅延回路107では、画素V106のローパスフィルタ103からの出力データLP1が、上記制御信号OC1と同時に出力映像選択回路111に入力されるように、一定の遅延を付加して映像データLP2として出力する。遅延回路110では、画素V106にビット付加回路109にて10ビットに拡張された映像データBS1が、上記制御信号OC1と同時に出力映像選択回路111に入力されるように一定の遅延を付加して映像データBS2として出力する。出力映像選択回路111では、制御信号OC1が「1」のときには、映像データVO1として映像データLP2を出力し、制御信号OC1が「0」のときには、映像データVO1として映像データBS2を出力する。出力映像選択回路111から出力された10ビットの映像データVO1はHDMI112に入力され、HDMI112においてHDMI規格準拠のパラレル−シリアル変換を実行し、HDMIケーブルに出力される。
従って、本実施形態4によれば、平面的に並んでいる画素に対して、平面的に低周波成分を抽出することにより、2次元で滑らかな映像を得ることができ、更に急峻に変化する高周波領域に対しては平面的に強調処理を施すことが可能である。
以上説明したように、本発明は、量子化された映像データのビット幅を拡張して出力する際に、入力映像を損なうことなく、高階調の滑らかな映像を出力することが可能であるので、画像処理装置に適用して有用である。
102 映像信号処理回路(入力手段)
103 フィルタ回路(フィルタ手段)
104 丸め回路(丸め手段)
105 比較回路(比較手段)
106 映像出力制御回路(映像出力制御手段)
107、108、110 遅延回路
109 ビット付加回路(ビット付加手段)
111 出力映像選択回路(出力映像選択手段)
112 HDMI(出力手段)
113 比較結果保持回路(比較結果保持手段)
114 メモリ部(メモリ手段)
115 ハイパスフィルタ
117 加算回路(加算手段)
本発明は、デジタル映像信号を処理する画像処理装置に関し、特に、階調を向上させて滑らかな映像を復元する画像処理装置に関する。
近年のデジタル画像処理装置の高性能化に伴い、高解像度の映像コンテンツが増加している。更に、映像及び音声の伝送方式であるHDMI(High-Definition Multimedia Interface)では、8ビットを超えるディープカラーでの伝送が可能となり、ディープカラー出力が可能な再生装置も増えてきている。また、映像を表示するディスプレイの性能向上に伴い、8ビット以上の精度で表示できるディスプレイも増えてきている。
ビデオカメラ等で撮影された映像はアナログ映像としてフィルムに記録され、アナログ−デジタル変換(以下、A/D変換という)により、デジタル映像データに変換される。しかしながら、A/D変換により得られるデジタル映像データの量子化ビット幅は、光ディスク等の記憶媒体に記憶する際のデータ容量の削減等の理由で、8ビット程度に制限されている。
従来のディスプレイでは、映像表示時の分解能が8ビット程度であったため、表示する映像データが8ビットであったとしても問題にはならなかったが、8ビット以上の精度で表示可能なディスプレイに表示する際には、特にCG(Computer Graphics)等におけるグラデーション映像等のなだらかに変化する映像信号を表示する場合において、8ビットのLSB(Least Significant Bit)の差分が顕著に現れ、画面上で等高線状に視認されてしまう。
このような画質の劣化を抑止するための方法として、例えば特許文献1に記載のビット拡張装置が提案されている。
図1は、特許文献1のビット拡張装置の構成例である。図1のビット拡張装置では、入力端子001には例えば8ビットの画像信号S1が供給されており、画像信号S1は、10ビット化回路002にてLSB側に2ビット「0」を付加して、10ビットにビット拡張されて映像信号S2となる。10ビットの映像信号S2は、入力画像信号S1の画像の性質に基づいて制御信号を出力する制御信号出力回路020と、この制御信号出力回路020からの制御信号に応じて適応的に10ビットの信号に変換する変換部030とに送られている。
前記制御信号出力回路020は、加算器005と比較器006とから成り、変換部030は、ローパスフィルタ(LPF)003、LSB抽出回路004、加算器007、009及びスイッチ008から成っている。10ビット化回路002の出力信号S2は、変換部030のローパスフィルタ003、加算器007及び制御信号出力回路020の加算器005に各々送られている。変換部030のローパスフィルタ003は、10ビット化された画像信号S2にフィルタ処理を行い、信号S3を出力する。上記信号S3は、LSB抽出回路004及び制御信号出力回路020の加算器005に送られる。制御信号出力回路020の加算器005では、ローパスフィルタ003の出力信号S3と10ビット化回路の出力信号S2との差分S5=S2−S3を出力し、比較器006に送る。比較器006は、その差分S5を所定の閾値、例えば2ビットに相当する「4」と比較し、その比較結果に基づいて、後述するように、入力画像信号の高周波成分を失うことなく下位ビットを付加するための制御信号C1と、下位ビットの付加の仕方を制御するための制御信号C2とを出力する。
変換部030のLSB抽出回路004は、10ビットの画像信号S3のLSB側の2ビットのみを出力信号S4として取り出し、スイッチ008に供給する。上記比較器006からの制御信号C1は、スイッチ008にオン/オフ制御信号として供給されている。加算器007には、上記制御信号C2が供給され、加算器007からの出力信号は変換部030の加算器009に送られる。加算器009にはスイッチ008からの出力信号が供給され、加算器009からの出力信号は、出力端子010を介して取り出される。
ここで、ローパスフィルタ003がFIR(有限インパルス応答)フィルタで構成されており、その伝達関数が以下の式1で表される場合について考える。
(1+2×Z−1+2×Z−2+2×Z−3+Z−4)/8 (式1)
図2(A)は、入力端子001に入力された映像信号D001と、ローパスフィルタ003からの出力信号S3の変化D002とを示している。図2(B)は、図2(A)の映像信号D001が入力端子001に入力されたときの出力端子010からの出力映像データD003を示している。映像信号D001と出力映像データD003とを比較すると、信号の変化が滑らかになっていることが判る。
また、第2の方法として、特許文献2に記載の画像処理装置が提案されている。
特許文献2の画像処理装置では、入力映像の近接して並んでいる画素において、隣り合う画素データの値が異なる変化点画素の近傍で、変化点画素の前後数画素で同じデータが複数連続しているときに、変化点画素の前後で滑らかに変化するように線形的にビット拡張する。図4は、符号D011のように変化する映像データを特許文献2の画像処理装置に入力したときに、特許文献2の画像処理装置より出力される映像データD012の変化を示している。領域A011及びA013では、データの変化点の周辺で同じデータが複数画素連続しているため、線形的にビット拡張される。領域A012では、データの変化点の周辺で連続的に変化しており、同じ値の画素が複数連続していないため、入力されたデータをそのまま出力している。
また、第3の方法として、図5に示す特許文献3に記載の画像処理装置が提案されている。
特許文献3の画像処理装置によれば、入力映像信号をビット拡張する際に、ローパスフィルタの周波数特性に依存することなく、滑らかに変化する信号を得ることが可能となる。特許文献3に記載の装置では、図5に示すように、ローパスフィルタ041を用いて8ビットの入力映像の低周波成分を抽出する。次に、ローパスフィルタ041が出力した低周波成分(8ビット以上)は、丸め処理演算部042にて入力信号Siと同じ8ビットに丸め処理された映像データと、10ビットに丸め処理された映像データとを出力する。加算器044では、入力信号Siから上記10ビットに丸め処理された映像データを減算し、高周波成分を抽出する。また丸め処理演算部042から出力される8ビットに丸め処理された映像データは、ビット拡張部046に入力される。ビット拡張部046から出力された10ビットの映像信号は、加算器047において、減算器044から出力された映像信号に足し合わされ、リミッタ048で、(s+11)ビットを10ビットに制限して出力する。ビット拡張部046では、入力された8ビットの低周波信号のLSBの変化及び同じ値が連続する領域の検出を行い、同じ値が連続していてかつ前の変化点からの変化量が8ビットの最小変化量(1LSB)であるときに、前の変化点から次の変化点に向けて線形的に変化するように、8ビットの低周波信号のLSBに2ビット付加する。その結果、ビット拡張部046では、8ビットの低周波信号が1LSB変化する(即ち、8ビットでの最小変化する)変化点の近傍で、線形的に滑らかに変化するようにビット拡張される。
特開平8−237669号公報 特開2004−54210号公報 特開2007−221569号公報
上記従来の画像処理装置により、低周波部分の階調が向上し、滑らかな映像を出力することが可能となる。
しかしながら、特許文献1のビット拡張装置では、特定の領域で不要なノイズが発生する可能性がある。例として、図3(A)の符号D004のように変化する映像信号を入力端子001に入力した場合を考える。
図3(A)は、入力端子001に入力された映像信号D004と、ローパスフィルタ003からの出力信号S3の変化D005とを示している。図3(B)の符号D006は、図3(A)の映像信号D004が入力端子001に入力されたときの出力端子010からの出力映像データの変化を示している。図1の加算器005では、信号S3(D005)と信号S2(D004)との差分を計算し、差分信号S5として出力される。比較器006では、上記の差分S5を基に出力映像を制御するための制御信号C1及びC2を出力する。このとき、比較器006が比較する閾値を仮に「4」であるものとする。図3(A)の領域A002においては、信号S3(D005)と信号S2(D004)との差分が「4」以上であるため、加算器007及び009では加算されずに、S2(D004)が出力されるが、領域A001及びA003においては、信号S3(D005)と信号S2(D004)との差分が「4」以下になるため、制御信号C1によりスイッチ008がONし、加算器007及び009による加算が実行される。その結果、図3(B)の符号D006に示す通り、領域A001及びA003においてノイズが発生してしまう。
また、特許文献2の画像処理装置では、図4の領域A011及びA013においては、線形的に変化するようにビット拡張されるため、滑らかに変化する映像を得ることができるが、領域A012には線形補完が適用されないため、領域A011と領域A013との間で滑らかな映像を得ることができず、領域A012の影響で輪郭が視認される可能性がある。
更に、特許文献3の画像処理装置では、低周波成分と高周波成分とを分離し、低周波成分のみに画像補正を行った後、低周波成分と高周波成分とを足し合わせて映像を出力している。特許文献3の画像処理装置では、ビット拡張部046において、ローパスフィルタからの出力データの変化と連続性を検出し、上記の変化及び連続性の情報に基づいて、線形的に滑らかに変化するように補正を加えている。しかしながら、変化量が8ビットの2LSB以上である部分については補正が加えられない上に、本補正を加えるために多量のメモリを必要となるため、回路規模が増大することが懸念される。
上記課題を解決するため、請求項1記載の発明の画像処理装置は、量子化されたデジタル映像データから元映像を復元する画像処理装置であって、前記量子化されたデジタル映像データが入力される入力手段と、前記入力手段から出力される第1の映像データに対してフィルタ処理を施すフィルタ手段と、前記フィルタ手段から出力される第2の映像データを前記第1の映像データのビット幅に変換する丸め手段と、前記丸め手段から出力される第3の映像データと前記第1の映像データとを比較する比較手段と、前記比較手段から出力される比較結果に基づいて制御信号を生成する映像出力制御手段と、前記第1の映像データに予め決められたビット数だけ付加するビット付加手段と、前記制御信号に基づいて、前記第2の映像データと前記ビット付加手段から出力される第4の映像データとを選択して出力する出力映像選択手段と、前記出力映像選択手段から出力される第5の映像データを外部に出力する出力手段とを具備することを特徴とする。
請求項2記載の発明は、前記請求項1記載の画像処理装置において、前記フィルタ手段は、前記第1の映像データの低周波成分を抽出するローパスフィルタであることを特徴とする。
請求項3記載の発明は、前記請求項2記載の画像処理装置において、前記比較手段は、前記第1の映像データと前記第3の映像データとが等しいことを検出することを特徴とする。
請求項4記載の発明は、前記請求項2又は3記載の画像処理装置において、前記映像出力制御手段は、前記比較手段から出力される前記比較結果を1つ以上保持する比較結果保持手段を有し、前記映像出力制御手段は、前記比較結果保持手段が保持している前記1つ以上の比較結果のうち、予め決められた複数の比較結果に基づいて前記制御信号を生成することを特徴とする。
請求項5記載の発明は、前記請求項2〜4の何れか1項に記載の画像処理装置において、前記第1の映像データを保持するメモリ手段を有し、前記フィルタ手段には、前記第1の映像データの代わりに、前記メモリ手段が出力する垂直映像データ列が入力され、前記ビット付加手段には、前記第1の映像データの代わりに、前記メモリ手段が出力する第6の映像データが入力され、前記比較手段には、前記第1の映像データの代わりに、前記第6の映像データが入力され、前記垂直映像データ列には、前記第6の映像データが含まれていることを特徴とする。
請求項6記載の発明は、前記請求項2〜5の何れか1項に記載の画像処理装置において、前記ビット付加手段は、前記第1の映像データの高周波成分を抽出するハイパスフィルタと、前記ハイパスフィルタから出力される前記第1の映像データの高周波成分と、前記第1の映像データとを加算する加算手段とを有し、前記加算手段から出力されたデータを前記第4の映像データとして出力することを特徴とする。
以上により、本発明では、特定の領域で不要なノイズや輪郭を発生させず、高階調の滑らかな映像を出力することが可能である。
以上説明したように、本発明の画像処理装置によれば、量子化された映像データのビット幅を拡張して出力する際に、入力映像を損なうことなく、高階調の滑らかな映像を出力することが可能である。
特許文献1に記載のビット拡張装置の構成例を示すブロック図である。 同ビット拡張装置の動作を説明するための図であり、同図(A)は入力端子に入力される映像信号とローパスフィルタからの出力信号の変化とを示す図、同図(B)は同図(A)の映像信号が入力端子に入力されたときの出力端子からの出力映像データを示す図である。 同ビット拡張装置の課題を説明するための図であり、同図(A)は入力端子に入力される映像信号を示す図、同図(B)は同図(A)の映像信号が入力端子に入力されたときの出力端子からの出力映像データの変化を示す図である。 特許文献2に記載の画像処理装置の動作を説明するための図である。 特許文献3に記載の画像処理装置の構成例を示すブロック図である。 本発明の実施形態1の画像処理装置の構成例を示すブロック図である。 同画像処理装置の入力データと出力データの制御の動作を説明する図であり、同図(A)は映像データの値の変化と同映像データがローパスフィルタを通過した後のデータの変化を示す図、同図(B)は同図(A)の映像データが入力されたときの比較回路からの比較結果と映像出力制御回路からの制御信号の推移を示す図である。 同画像処理装置により図7の映像データを入力したときの出力データを示す図である。 本発明の実施形態2の画像処理装置の構成例を示すブロック図である。 本発明の実施形態2及び4の画像処理装置のローパスフィルタの動作を説明する図であり、同図(A)はFIRフィルタで構成されたローパスフィルタのフィルタ係数の一例を示す図、同図(B)は画素の並びの一例を示す図である。 本発明の実施形態2の画像処理装置のメモリ制御とローパスフィルタの処理との関係を説明する図である。 同画像処理装置のデータ出力制御部の動作を説明する図である。 同画像処理装置の出力データの選択動作を説明する図であり、同図(A)は比較回路による比較結果を画素ごとに並べた例であって全ての画素の比較結果が「1」の場合を例示する図、同図(B)は比較結果が「0」の画素が存在する場合を例示する図である。 本発明の実施形態3の画像処理装置の構成例を示すブロック図である。 本発明の実施形態3及び4の画像処理装置のハイパスフィルタの構成例を示すブロック図である。 本発明の実施形態3の画像処理装置の入力データと出力データの制御の動作を説明する図であり、同図(A)は映像データの値の変化と、その映像データがローパスフィルタを通過した後のデータの値の変化を示す図、同図(B)は同図(A)の映像データが変化したときの比較回路の比較結果と映像出力制御回路の制御信号の値の推移を示す図である。 本発明の実施形態3の画像処理装置のハイパスフィルタの動作を説明する図であり、同図(A)は図15のFIRフィルタから出力されるデータの変化を示す図、同図(B)は図15の1/nゲイン回路から出力されるデータの変化を示す図、同図(C)は図15の加算器が出力する映像データの値の変化を示す図である。 本発明の実施形態3の画像処理装置により図16の映像データを入力したときの出力データを示す図である。 本発明の実施形態4の画像処理装置の構成例を示すブロック図である。 同実施形態4の画像処理装置のハイパスフィルタの動作を説明する図であり、同図(A)はハイパスフィルタ内のFIRフィルタが3×3のFIRフィルタである場合を例示する図、同図(B)は画素の並びを例示する図である。 本発明の実施形態4の画像処理装置のメモリ制御とローパスフィルタの処理との関係を説明する図である。 本発明の実施形態4の画像処理装置のデータ出力制御部の動作を説明する図である。 本発明の実施形態4の画像処理装置の出力データの選択動作を説明する図であり、同図(A)は比較回路による比較結果を画素ごとに並べた例であって全ての画素の比較結果が「1」の場合を例示する図、同図(B)は比較結果が「0」の画素が存在する場合を例示する図である。
以下に本発明の実施形態について、図面を参照しながら説明する。
(実施形態1)
図6に本発明の実施形態1の構成例を示す。図6において、101は映像コンテンツが記憶された記憶媒体、102は映像信号処理回路、103はローパスフィルタ(LPF)、104は丸め回路、105は比較回路、106は映像出力制御回路、107、108、110は遅延回路、109はビット付加回路、111は出力映像選択回路、112は出力回路(HDMI)である。
記憶媒体101には、例えばMPEG2等の方式で圧縮された映像コンテンツが記憶されている。映像信号処理回路(入力手段)102では、記憶媒体101から読み出された映像コンテンツMV1を入力し、この映像コンテンツMV1に対して復号化処理等の信号処理を施し、量子化された8ビットの映像データVI1が出力される。ローパスフィルタ(フィルタ手段)103は、8ビットの映像データVI1の低周波成分のみを抽出し、抽出時の演算の過程でビット拡張することにより、10ビットの映像データLP1を出力する。ここでは、例としてローパスフィルタ103はFIR(有限インパルス応答)フィルタで構成されており、その伝達関数は以下の式2で表されるものとする。
(1+2×Z−1+6×Z−2+4×Z−3+Z−4)/16 (式2)
但し、10ビットで出力するため、16による除算は行わず、ローパスフィルタの最終段で10ビットに制限して出力する。丸め回路(丸め手段)104ではローパスフィルタ103が出力した10ビットの映像データLP1の下位2ビットを四捨五入することにより、入力映像データVI1と同じ8ビットの映像データRD1として出力する。比較回路(比較手段)105には、丸め回路104から出力される映像データRD1と、遅延回路108にて映像データVI1を一定時間遅延させた映像データVI2とが入力される。ここで、遅延回路108では、映像データVI1に対して、ローパスフィルタ103及び丸め回路104での処理にかかる時間分だけ遅延させて映像データVI2を出力することにより、映像データRD1と映像データVI2とが同じタイミングで比較回路105に入力される。比較回路105では、8ビットの映像データRD1と8ビットの映像データVI2とを比較し、映像データRD1と映像データVI2とが一致しているかどうかを比較結果CP1として出力する。その比較結果CP1は、映像データRD1と映像データVI2とが一致していた場合には「1」となり、映像データRD1と映像データVI2とが一致していない場合には「0」となる。
映像出力制御回路(映像出力制御手段)106では、比較回路105が出力した比較結果CP1に基づいて、出力映像を制御するための制御信号OC1を出力する。ビット付加回路(ビット付加手段)109では、入力映像データVI1のLSB(Least Significant Bit)側に2ビット付加して10ビットの映像データBS1として出力する。ここでは、例として付加される2ビットは「00」であるものとする。出力映像選択回路(出力映像選択手段)111には、映像出力制御回路106が出力する制御信号OC1と、ローパスフィルタ103が出力した映像データLP1を一定時間遅延させた映像データLP2と、ビット付加回路109が出力した映像データBS1を一定時間遅延させた映像データBS2とが入力される。ここで、遅延回路107では、映像データLP1に対して、丸め回路104、比較回路105、映像出力制御回路106での処理にかかる時間分だけ遅延させて映像データLP2を出力する。遅延回路110では、映像データBS1に対して、ローパスフィルタ103、丸め回路104、比較回路105、映像出力制御回路106での処理にかかる時間からビット付加回路109での処理にかかる時間を差し引いた時間分だけ遅延させて、映像データBS2を出力する。遅延回路107及び110により、制御信号OC1、映像データLP2及び映像データBS2は同じタイミングで出力映像選択回路111に入力される。出力映像選択回路111では、制御信号OC1により、映像データLP2か映像データBS2かを選択して映像データVO1として出力する。
ここで、制御信号OC1が「1」の場合には、映像データLP2を映像データVO1として出力し、制御信号OC1が「0」の場合には、映像データBS2を映像データVO1として出力する。出力映像選択回路111から出力された10ビットの映像データVO1はHDMI112に入力され、HDMI112においてHDMI規格準拠のパラレル−シリアル変換が実行され、HDMIケーブルに出力される。
映像出力制御回路106は、比較結果CP1を複数保持することができる比較結果保持回路(比較結果保持手段)113を持ち、比較結果保持回路113に保持された比較結果に基づいて制御信号OC1を出力する。ここで、比較結果保持回路113に保持されている全ての比較結果が「1」であったときにのみ、制御信号OC1に「1」を出力し、比較結果保持回路113に保持されている比較結果のうち1つ以上の比較結果が「0」であったときには、制御信号OC1に「0」を出力する。ここでは、例として、比較結果保持回路113には3つの比較結果を保持することができ、新しい比較結果が入力される毎に、古い比較結果から順に消去されて行くこととする。
図7(A)の実線D101は、図6の映像データVI1の値の変化を表しており、破線D102は、実線D101のように変化する映像データVI1が、ローパスフィルタ103に入力されたときの映像データLP1のデータの変化を示している。図7(B)は、図7(A)の符号D101ように変化する映像データVI1が入力されたときの、比較回路105から出力される比較結果CP1と、映像出力制御回路106から出力される制御信号OC1の推移を示している。また、図8は、映像データVI1が図7(A)の実線D101のように変化していたときの、映像データVO1の出力値を示している。
ローパスフィルタ103では、図7(A)の破線D102に示すように、低周波成分を抽出することにより、映像データVI1の変化D101と比べて滑らかに変化する映像データが得られている。
破線D102のように変化する映像データLP1は、丸め回路104でLSB側の2ビットが四捨五入され、8ビットの映像データRD1として比較回路105に入力される。ここで、データD101と、データD102の下位2ビットを四捨五入したデータとを比較したときの比較結果CP1が図7(B)に示されている。図7(B)に示す通り、領域A102において、8ビットの映像データRD1と映像データVI1とが不一致しており、CP1に「0」が出力されている。映像出力制御回路106が出力する制御信号OC1は、比較結果保持回路113に保持された3つの比較結果に基づいて生成される。図7(B)の符号aのように、比較結果保持回路113に格納された前後合わせて3画素分の比較結果が全て「1」であった場合には、制御信号OC1に「1」が出力され、図7(B)の符号bのように、比較結果保持回路に格納された前後合わせて3画素分の比較結果に1つでも「0」が含まれている場合には、制御信号OC1に「0」が出力される。図7(A)の領域A101及びA103においては、制御信号OC1が「1」となるため、映像データVO1として、映像データLP1を遅延させた映像データLP2が出力される。図7(A)の領域A102においては、制御信号OC1が「0」となるため、映像データVO1として映像データVI1に2ビット付加した映像データBS2が出力される。その結果、出力映像選択回路110から出力される映像データVO1は、図8のデータD103のようになり、図7(A)のデータD101の8ビットの1LSBの変化点において、より滑らかな信号変化が得られている。
(実施形態2)
図9に本発明の実施形態2の構成例を示す。
図9は実施形態1の構成例である図6に対してメモリ部(メモリ手段)114が追加されており、ローパスフィルタ103への映像データ、ビット付加回路109への映像データ、遅延回路108への映像データの出力源が、メモリ部114となっている点で、実施形態1とは異なる構成である。
メモリ部114には、映像データVI1を複数ライン保持することができる。ここでは、例として3+1ライン分の映像データを保持できるものとする。また、ローパスフィルタ103は、メモリ部114から垂直に並ぶ3画素分の映像データLM1を用いて、映像データLM1から低周波成分を抽出する。ここでは、例としてローパスフィルタ103は3×3のFIRフィルタで構成されており、フィルタ係数は図10(A)の通りである。図10(B)のように並ぶ画素において、画素V22の値を算出する際には、以下の式3の計算式となる。
(((V11×1)+(V12×2)+(V13×1))+
((V21×2)+(V22×4)+(V23×2))+
((V31×1)+(V32×2)+(V33×1)))/16 (式3)
但し、10ビットで出力するため、16による除算は行わず、ローパスフィルタ103の最終段で10ビットに制限して出力する。
図11及び図12は、入力映像VI1の画素の並びを示したものである。ここで、画素V101のデータが、映像データVI1に入力されている時間における動作について説明する。画素V101の映像データが、映像データVI1として、メモリ部114に入力されている。この時間、それ以前の時間に入力された領域L101の画素データは全てメモリ部114に保持されている。そこで、画素V102を中心画素として低周波成分を抽出するため、ローパスフィルタ103は範囲F101に対して、式3のフィルタ演算を行う。上記フィルタ演算により得られた画素V102の映像データは、丸め回路104にて下位2ビットが四捨五入され、8ビットの映像データRD1として比較回路105に入力される。一方で、メモリ部114から画素V102のデータが画素データLM2として出力される。画素データLM2は、遅延回路108で一定の遅延を付加され、ローパスフィルタ103から出力された画素V102の映像データLP1が丸め回路104の処理を経て比較回路105に入力されると同時に、映像データVI2として比較回路105に入力される。比較回路105では、映像データRD1と映像データVI2とを比較し、比較結果CP1を出力する。映像出力制御回路106では、入力された比較結果CP1を比較結果保持回路113に保持し、保持されている比較結果に基づいて制御信号OC1を生成する。ここで、比較結果保持回路113には、比較結果を3+1ライン分だけ保持することができ、新しい比較結果を保持する際には、一番古い比較結果から順に消去されて行く。画素V102の映像データに対して比較回路105での比較結果がCP1に出力されたとき、図12の●の画素の比較結果が、比較結果保持回路113に保持されている。
ここで、図13は、比較回路105による比較結果を画素ごとに並べた例であり、図12及び図13を用いて、制御信号OC1の制御方法について説明する。図12の画素V103のデータを出力するために、映像出力制御回路106では、領域F102にある全ての画素の比較結果が「1」の場合(図13(A)の場合)には、制御信号OC1に「1」を出力し、領域F102にある画素のうち1つでも比較結果が「0」の画素が存在する場合(図13(B)の場合)には、制御信号OC1に「0」を出力する。
遅延回路107では、画素V103のローパスフィルタ103からの出力データが、上記制御信号OC1と同時に出力映像選択回路111に入力されるように一定の遅延を付加して映像データLP2として出力する。遅延回路110では、画素V103にビット付加回路109にて2ビット付加された映像データBS1が、上記制御信号OC1と同時に出力映像選択回路111に入力されるように一定の遅延を付加して映像データBS2として出力する。出力映像選択回路111では、制御信号OC1が「1」のときには、映像データVO1として映像データLP2を出力し、制御信号OC1が「0」のときには、映像データVO1として映像データBS2を出力する。出力映像選択回路111から出力された10ビットの映像データVO1はHDMI112に入力され、HDMI112においてHDMI規格準拠のパラレル−シリアル変換を実行し、HDMIケーブルに出力される。
本実施形態2によれば、平面的に並んでいる画素に対して、平面的に低周波成分を抽出できるので、2次元で滑らかな映像を得ることが可能となる。
(実施形態3)
図14に実施形態3の構成例を示す。
図14は実施形態1の構成例である図6に対して、ビット付加回路109が、ハイパスフィルタ(HPF)115と、LSB追加回路116と、加算器117とを有している点で異なる。
ビット付加回路109では、ハイパスフィルタ115にて8ビットの映像データVI1の高周波成分を抽出し、LSB追加回路116において8ビットの映像データVI1のLSB側に2ビット付加して10ビットの映像データとして出力し、加算器(加算手段)117にて映像データVI1に2ビット付加して10ビット化した映像データに映像データVI1の高周波成分を加算して、10ビットの映像データBS1として出力する。ここでは、例としてLSB追加回路116で付加される2ビットの値は「00」であるものとする。
ハイパスフィルタ115は、例として図15に示すような構成となっている。図15の118はFIRフィルタ、119は1/nゲイン回路であり、120はリミッタである。
FIRフィルタ118は、例として以下の式4のような伝達関数のフィルタとする。
(1−4×Z−1+6×Z−2−4×Z−3+Z−4)/16 (式4)
但し、10ビットで出力するため、16による除算は行わず、リミッタ120で10ビットに制限して出力する。本実施形態3では、ビット付加回路109のハイパスフィルタとしてFIRフィルタ118を内蔵しているが、映像データVI1とローパスフィルタ103が出力する映像データLP1とを基にして高周波成分を抽出することも可能である。その場合、映像データVI1から映像データLP1を減算することにより、映像データVI1の高周波成分を算出できる。
1/nゲイン回路119は、FIRフィルタ118からの出力値の振幅を1/nに下げるためのものであり、ここでは例としてn=4とする。リミッタ120は1/nゲイン回路119からの出力データに制限をかけるためのものであり、ここでは例として、10ビットの−2〜+1の範囲内に収めるため、10ビットで−2以下の値は−2に、1以上の値は1に制限する。
図16(A)に、図14の映像データVI1の値の変化D104と、そのときのローパスフィルタ103が出力する映像データLP1の値の変化D105とを示す。図16(B)は、図16(A)のように映像データVI1及び映像データLP1が変化したときの、比較回路105から出力される比較結果CP1と、映像出力制御回路106が出力する制御信号OC1の値の推移を示している。図16(B)によると、領域A104及びA106では、制御信号OC1が「1」であるため、出力映像選択回路111からの出力映像データVO1として、遅延回路107からの出力映像データLP2が選択される。また、領域A105では、制御信号OC1が「0」であるため、出力映像選択回路111からの出力映像データVO1として、遅延回路110からの出力映像データBS2が選択される。
図17は、図14の映像データVI1が図16(A)の符号D104のように変化したときの、ビット付加回路109内でのビット付加の処理の様子を示している。具体的には、図17(A)は、図15のFIRフィルタ118から出力されるデータHP1の変化を示しており、図17(B)は、1/nゲイン回路119から出力されるデータHP2の変化を示しており、図17(C)は、ハイパスフィルタ115からの出力映像データHP3と、8ビットの映像データVI1を10ビットに拡張した映像データBA1とを足し合わせた映像データBS1の値の変化を示している。
FIRフィルタ118に対して、図16(A)の符号D104のように変化する映像データVI1が入力されると、FIRフィルタ118では、式4に示すような伝達関数のフィルタが実行され、図17(A)のように変化するkビットのデータHP1(k>10)が得られる。データHP1は、1/nゲイン回路119により、データ振幅が1/n(ここでは例としてn=4)に補正され、データHP2として出力される。データHP2は、リミッタ120で、−2〜+1の範囲内に収まるように制限され、10ビットのデータHP3として出力される。図17(B)に示す通り、1/nゲイン回路119から出力されたデータHP2は、min(−2)〜max(+1)の範囲内であるため、リミッタ120から出力されるデータHP3は、図17(B)の通り出力される。加算器116では、図16(A)の符号D104のように変化する映像データVI1に対してLSB追加回路116で2ビット(値は「00」)付加した映像データBA1に、10ビットのデータBA1を足し合わせて、10ビットの映像データBS1として出力する。このとき、映像データBS1の変化は、図17(C)の通りである。
図16と図17を合わせると、図14の出力映像選択回路111では、制御信号OC1が「1」のとき(領域A104、A106)に、映像データLP2を選択して出力し、制御信号OC1が「0」のとき(領域A105)に、映像データBS2を選択して出力する。その結果、映像信号VO1は、図18の符号D106のように変化するデータとして得られる。領域A104のようななだらかに変化する領域ではより滑らかに変化するデータが得られ、領域A105のように急峻に変化する領域では、より変化を強調するようなデータが得られていることが判る。
(実施形態4)
図19に実施形態4の構成例を示す。本実施形態4は、上記実施形態2と実施形態3とを合わせた構成となっている。
メモリ部114には、映像データVI1を複数ライン保持することができる。ここでは、例として3+1ライン分の映像データを保持できるものとする。また、ローパスフィルタ103は、メモリ部114から垂直に並ぶ3画素分の映像データLM1を用いて、映像データLM1から低周波成分を抽出する。ここでは、例としてローパスフィルタ103は3×3のFIRフィルタで構成されており、フィルタ係数は実施形態2の図10(A)と同じである。図10(B)のように並ぶ画素において、画素V22の値を算出する際の演算式は実施形態2の式3の演算式の通りである。但し、10ビットで出力するため、16による除算は行わず、ローパスフィルタの最終段で10ビットに制限して出力する。
また、ハイパスフィルタ115は、前記実施形態3と同様に図15のような構成となっており、ハイパスフィルタ115は、メモリ部114から垂直に並ぶ3画素分の映像データLM1を用いて、映像データLM1から高周波成分を抽出する。
図15に示したハイパスフィルタ115内のFIRフィルタ118は図20(A)に示すような3×3のFIRフィルタとする。図20(B)のように並ぶ画素において、画素V22の値を算出する際には、以下の式5の演算式となる。
(((V11×(−1))+(V12×(+2))+(V13×(−1)))+
((V21×(+2))+(V22×(−4))+(V23×(+2)))+
((V31×(−1))+(V32×(+2))+(V33×(+1))))/16 (式5)
但し、10ビットで出力するため、16による除算は行わず、リミッタ120で10ビットに制限して出力する。
図21及び図22は、入力映像VI1の画素の並びを示したものである。ここで、画素V104のデータが、映像データVI1に入力されている時間における動作について説明する。画素V104の映像データが、映像データVI1として、メモリ部114に入力されている。この時間、それ以前の時間に入力された領域L102の画素データは、メモリ部114に保持されている。そこで、画素V105を中心画素として低周波成分を抽出するため、ローパスフィルタ103は範囲F103に対して、実施形態2の式3によりフィルタ演算を行う。上記フィルタ演算により得られた映像データV105は、丸め回路104にて下位2ビットが四捨五入され、8ビットの映像データRD1として比較回路105に入力される。
一方で、メモリ部114から画素V105のデータが画素データLM2として出力される。この画素データLM2は、遅延回路108で一定の遅延を付加され、ローパスフィルタ103から出力された画素V105の映像データLP1が丸め回路104の処理を経て比較回路105に入力されると同時に、映像データVI2として比較回路105に入力される。
比較回路105では、映像データRD1と映像データVI2とを比較し、比較結果CP1を出力する。映像出力制御回路106では、入力された比較結果CP1を比較結果保持回路113に保持し、比較結果保持回路113に保持されている比較結果に基づいて制御信号OC1を生成する。ここで、比較結果保持回路113には、比較結果を3+1ライン分保持することができ、新しい比較結果を保持する際には、一番古い比較結果から順に消去されて行く。画素V105の映像データに対して比較回路105での比較結果がCP1に出力されたとき、図22の●の画素の比較結果が比較結果保持回路113に保持されている。
ここで、図23は、比較回路105による比較結果を画素ごとに並べた例であり、図22及び図23を用いて制御信号OC1の制御方法について説明する。図22の画素V106のデータを出力するために、映像出力制御回路106では、領域F104にある全ての画素の比較結果が「1」の場合(図23(A)の場合)には制御信号OC1に「1」を出力し、領域F104にある画素のうち1つでも比較結果が「0」の画素が存在する場合(図23(B)の場合)には、制御信号OC1に「0」を出力する。
一方で、ビット付加回路109では、ローパスフィルタ103に入力されるデータと同じ、垂直に並ぶ3画素分の映像データLM1が入力され、ハイパスフィルタ115にて高周波成分の抽出が実行される。ハイパスフィルタ115が有するFIRフィルタ118(図15参照)は、図21の領域F103に対して、式5の演算式により高周波成分の抽出を行う。FIRフィルタ118で得られた高周波成分HP1は、1/nゲイン回路119にて、信号振幅を1/n(ここでは例としてn=4)に下げられて高周波成分HP2として出力され、リミッタ120で信号振幅が制限(ここでは例として−2〜+1)されて高周波成分HP3として出力される。LSB追加回路116では、映像データVI1のLSB側に2ビット(ここでは例として値「00」)付加して、映像データBA1を出力する。加算器117では、映像データBA1と高周波成分HP3とを足し合わせて、10ビットの映像データBS1を出力する。
遅延回路107では、画素V106のローパスフィルタ103からの出力データLP1が、上記制御信号OC1と同時に出力映像選択回路111に入力されるように、一定の遅延を付加して映像データLP2として出力する。遅延回路110では、画素V106にビット付加回路109にて10ビットに拡張された映像データBS1が、上記制御信号OC1と同時に出力映像選択回路111に入力されるように一定の遅延を付加して映像データBS2として出力する。出力映像選択回路111では、制御信号OC1が「1」のときには、映像データVO1として映像データLP2を出力し、制御信号OC1が「0」のときには、映像データVO1として映像データBS2を出力する。出力映像選択回路111から出力された10ビットの映像データVO1はHDMI112に入力され、HDMI112においてHDMI規格準拠のパラレル−シリアル変換を実行し、HDMIケーブルに出力される。
従って、本実施形態4によれば、平面的に並んでいる画素に対して、平面的に低周波成分を抽出することにより、2次元で滑らかな映像を得ることができ、更に急峻に変化する高周波領域に対しては平面的に強調処理を施すことが可能である。
以上説明したように、本発明は、量子化された映像データのビット幅を拡張して出力する際に、入力映像を損なうことなく、高階調の滑らかな映像を出力することが可能であるので、画像処理装置に適用して有用である。
102 映像信号処理回路(入力手段)
103 フィルタ回路(フィルタ手段)
104 丸め回路(丸め手段)
105 比較回路(比較手段)
106 映像出力制御回路(映像出力制御手段)
107、108、110 遅延回路
109 ビット付加回路(ビット付加手段)
111 出力映像選択回路(出力映像選択手段)
112 HDMI(出力手段)
113 比較結果保持回路(比較結果保持手段)
114 メモリ部(メモリ手段)
115 ハイパスフィルタ
117 加算回路(加算手段)

Claims (6)

  1. 量子化されたデジタル映像データから元映像を復元する画像処理装置であって、
    前記量子化されたデジタル映像データが入力される入力手段と、
    前記入力手段から出力される第1の映像データに対してフィルタ処理を施すフィルタ手段と、
    前記フィルタ手段から出力される第2の映像データを前記第1の映像データのビット幅に変換する丸め手段と、
    前記丸め手段から出力される第3の映像データと前記第1の映像データとを比較する比較手段と、
    前記比較手段から出力される比較結果に基づいて制御信号を生成する映像出力制御手段と、
    前記第1の映像データに予め決められたビット数だけ付加するビット付加手段と、
    前記制御信号に基づいて、前記第2の映像データと前記ビット付加手段から出力される第4の映像データとを選択して出力する出力映像選択手段と、
    前記出力映像選択手段から出力される第5の映像データを外部に出力する出力手段とを具備する
    ことを特徴とする画像処理装置。
  2. 前記請求項1記載の画像処理装置において、
    前記フィルタ手段は、前記第1の映像データの低周波成分を抽出するローパスフィルタである
    ことを特徴とする画像処理装置。
  3. 前記請求項2記載の画像処理装置において、
    前記比較手段は、前記第1の映像データと前記第3の映像データとが等しいことを検出する
    ことを特徴とする画像処理装置。
  4. 前記請求項2又は3記載の画像処理装置において、
    前記映像出力制御手段は、前記比較手段から出力される前記比較結果を1つ以上保持する比較結果保持手段を有し、
    前記映像出力制御手段は、前記比較結果保持手段が保持している前記1つ以上の比較結果のうち、予め決められた複数の比較結果に基づいて前記制御信号を生成する
    ことを特徴とする画像処理装置。
  5. 前記請求項2〜4の何れか1項に記載の画像処理装置において、
    前記第1の映像データを保持するメモリ手段を有し、
    前記フィルタ手段には、前記第1の映像データの代わりに、前記メモリ手段が出力する垂直映像データ列が入力され、
    前記ビット付加手段には、前記第1の映像データの代わりに、前記メモリ手段が出力する第6の映像データが入力され、
    前記比較手段には、前記第1の映像データの代わりに、前記第6の映像データが入力され、
    前記垂直映像データ列には、前記第6の映像データが含まれている
    ことを特徴とする画像処理装置。
  6. 前記請求項2〜5の何れか1項に記載の画像処理装置において、
    前記ビット付加手段は、前記第1の映像データの高周波成分を抽出するハイパスフィルタと、
    前記ハイパスフィルタから出力される前記第1の映像データの高周波成分と、前記第1の映像データとを加算する加算手段とを有し、
    前記加算手段から出力されたデータを前記第4の映像データとして出力する
    ことを特徴とする画像処理装置。
JP2011519320A 2009-06-23 2009-11-05 画像処理装置 Withdrawn JPWO2010150327A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009148522 2009-06-23
JP2009148522 2009-06-23
PCT/JP2009/005884 WO2010150327A1 (ja) 2009-06-23 2009-11-05 画像処理装置

Publications (1)

Publication Number Publication Date
JPWO2010150327A1 true JPWO2010150327A1 (ja) 2012-12-06

Family

ID=43386123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011519320A Withdrawn JPWO2010150327A1 (ja) 2009-06-23 2009-11-05 画像処理装置

Country Status (4)

Country Link
US (1) US20120002885A1 (ja)
JP (1) JPWO2010150327A1 (ja)
CN (1) CN102461151A (ja)
WO (1) WO2010150327A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5759114B2 (ja) * 2009-07-23 2015-08-05 キヤノン株式会社 画像処理装置およびその方法
KR102134030B1 (ko) 2014-10-23 2020-07-15 엘지디스플레이 주식회사 영상 변환 장치 및 이를 구비하는 디스플레이 장치
CN106204428A (zh) * 2016-07-08 2016-12-07 深圳天珑无线科技有限公司 一种图片的处理方法及处理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08237669A (ja) * 1995-02-28 1996-09-13 Sony Corp 画像信号処理装置、画像信号処理方法および画像信号復号化装置
JP3710131B2 (ja) * 2002-05-29 2005-10-26 シャープ株式会社 画像処理装置および画像処理方法、並びに画像表示装置、携帯電子機器
JP2006050358A (ja) * 2004-08-06 2006-02-16 Pioneer Electronic Corp 映像信号処理装置
JP4682866B2 (ja) * 2006-02-17 2011-05-11 ソニー株式会社 信号処理装置および信号処理方法

Also Published As

Publication number Publication date
CN102461151A (zh) 2012-05-16
WO2010150327A1 (ja) 2010-12-29
US20120002885A1 (en) 2012-01-05

Similar Documents

Publication Publication Date Title
CA2204228C (en) Noise reducer
JP4358283B1 (ja) ノイズ低減装置及びノイズ低減方法
JP2009207113A (ja) 階調変換装置、階調変換方法、及び、プログラム
WO2010150327A1 (ja) 画像処理装置
JP5249166B2 (ja) 画像処理装置、画像処理方法
JP5343458B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5159651B2 (ja) 画像処理装置、画像処理方法、及び画像表示装置
JP4674437B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5024112B2 (ja) 画像信号処理装置および画像信号処理プログラム
JP3106831B2 (ja) 映像信号処理装置
JP3723995B2 (ja) 画像情報変換装置および方法
JP2008047986A (ja) 映像処理回路
JP2006179975A (ja) 映像信号処理装置、映像信号処理方法及びテレビ放送受信装置
JP4062326B2 (ja) 係数生成装置および方法
JP4111108B2 (ja) 画像処理装置及び方法
JP2011040910A (ja) 信号処理装置、再生装置、信号処理方法及びプログラム
JP4605283B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2004007292A (ja) モスキート歪み低減装置およびモスキート歪み低減方法
JP2010068368A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP3767019B2 (ja) 積和演算回路および方法
JP4241720B2 (ja) 積和演算回路
WO2012073865A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および表示装置
JP5513179B2 (ja) 画像処理システム
JP5056179B2 (ja) データ処理装置及び方法
JP2008124570A (ja) 信号処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130108