JP5398365B2 - 画像処理装置、画像処理方法 - Google Patents

画像処理装置、画像処理方法 Download PDF

Info

Publication number
JP5398365B2
JP5398365B2 JP2009138647A JP2009138647A JP5398365B2 JP 5398365 B2 JP5398365 B2 JP 5398365B2 JP 2009138647 A JP2009138647 A JP 2009138647A JP 2009138647 A JP2009138647 A JP 2009138647A JP 5398365 B2 JP5398365 B2 JP 5398365B2
Authority
JP
Japan
Prior art keywords
image
frequency component
low
pixel
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009138647A
Other languages
English (en)
Other versions
JP2010286568A5 (ja
JP2010286568A (ja
Inventor
陽輔 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009138647A priority Critical patent/JP5398365B2/ja
Priority to US12/792,986 priority patent/US8363971B2/en
Priority to EP10165300.4A priority patent/EP2262255B1/en
Priority to CN2010101992699A priority patent/CN101924899B/zh
Publication of JP2010286568A publication Critical patent/JP2010286568A/ja
Publication of JP2010286568A5 publication Critical patent/JP2010286568A5/ja
Application granted granted Critical
Publication of JP5398365B2 publication Critical patent/JP5398365B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/16Determination of a pixel data signal depending on the signal applied in the previous frame
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2018Display of intermediate tones by time modulation using two or more time intervals
    • G09G3/2022Display of intermediate tones by time modulation using two or more time intervals using sub-frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Picture Signal Circuits (AREA)

Description

本発明は、より高いフレームレートに変換するための技術に関するものである。
テレビジョン受像機に代表される動画像の表示装置として、液晶デバイスを用いた表示装置(ホールド型)やフィールドエミッションタイプの表示装置(インパルス型)が知られている。
また、それらの表示装置の駆動方法として、ホールド型の表示装置においては動きボケ対策として、もしくはインパルス型の表示装置においてはフリッカ対策として、周波数成分によりフレーム画像を2つのサブフレームに分配する方法が知られている。
ホールド型の倍速駆動を実現する方法の一例として、特許文献1に開示されている技術がある。特許文献1に開示されている回路構成の一部を図10に示す。入力フレーム画像に対し、LPF(ローパスフィルタ)処理部104は、低域成分のみを含むサブフレーム画像を生成する。
差分検出部105は、入力フレーム画像と、LPF処理部104が生成した低域成分のみを含むサブフレーム画像との差分を、高域成分として抽出する。そして後段の加算器199によって、差分検出部105が求めた高域成分の画像と、入力フレーム画像とを加算することで、高域成分を強調したサブフレーム画像を得ることができる。
切替回路107は、低域成分のみを含むサブフレーム画像と、高域成分を強調したサブフレーム画像とを、120Hzの周期で切り替えて後段に出力する。高域成分を除いたサブフレーム画像と高域成分を強調したサブフレーム画像とを交互に表示することで、60Hzの時間周期で見た場合は、元のフレーム画像が再現されていることになる。
しかしながら、2つのサブフレーム画像を交互に表示することであたかもこれら2つの画像が合成されているかのように見えるフレーム画像が、元のフレーム画像と同じにならない場合がある。係る点について図11を用いて説明する。
図11(a)は、入力フレーム画像の波形例を示している。図11(b)は、この入力フレーム画像を、LPF処理部104によって処理した結果の波形を示している。図11(c)は、図11(a)に示した波形の入力フレーム画像と、図11(b)に示した波形のフレーム画像とを差分検出部105に入力した場合に、この差分検出部105から出力されるフレーム画像の波形を示している。このフレーム画像は高域成分の画像であるため、その波形は正負の値を取る。図11(d)は、図11(c)に示した波形のフレーム画像と、図11(a)に示した波形のフレーム画像とを加算器199に入力した場合に、この加算器199から出力されるフレーム画像の波形を示している。
ここで理論上では、120Hzの周期で図11(b)に示した波形と図11(c)に示した波形とを交互に表示することで、見かけ上の波形は、図11(a)に示した波形と同じになる。しかしながら、図11(a)に示した波形における低輝度レベル部分がゼロ、もしくはそれに近い値である場合、図11(d)に示した波形は、負の値を持つことになる。負の値の画像を表示することはできないので、実際には、図11(e)に示すように、負の値はゼロとして表示されることになる。すると、見かけの合成波形は、図11(b)に示した波形のフレーム画像と図11(e)に示した波形のフレーム画像とを交互に表示することになるので、図11(f)に示す波形となる。このような波形のフレーム画像が、例えば、黒の背景に白の文字が配置されているような画像である場合、この文字の輪郭がにじんだ画像として知覚される。このように、入力フレーム画像の波形によっては、分配処理後の画像が元の画像と同じに見えず、それが劣化として知覚される、という問題がある。
このサブフレーム画像の分割時に負値が発生する問題を解決するため、特許文献2では、図12に示すように、LPF処理部104の前に最小値フィルタ部101を設け、LPF処理部104による処理対象領域内に対して最小値フィルタ処理を施していた。図12に示す構成を有する装置によって各段階で得られるフレーム画像の波形を図13に示す。
図13(a)は入力フレーム画像の波形を示している。最小値フィルタ部101がこの入力フレーム画像に対して最小値フィルタ処理を施すことで、図13(b)に示す波形のフレーム画像が生成される。LPF処理部104が図13(b)に示した波形のフレーム画像に対してローパスフィルタ処理を施すことで、図13(c)に示した波形のフレーム画像を生成する。この波形のフレーム画像は、最小値フィルタによりエッジによる勾配領域が高信号値領域側に半区間長分シフトされるため、勾配の開始点が図13(a)に示した波形のフレーム画像のエッジと一致するという特徴を持つ。
差分検出部105は、図13(a)に示した波形のフレーム画像から図13(c)に示した波形のフレーム画像を減じることで、図13(d)に示した波形のフレーム画像を生成する。最小値フィルタにより、どの信号領域においても、図13(c)に示した波形のフレーム画像は図13(a)に示した波形のフレーム画像よりも低い値を取るため、図13(d)に示した波形のフレーム画像は常に正値をとる。
加算器199は、図13(a)に示した波形のフレーム画像に図13(d)に示した波形のフレーム画像を加えることで、図13(e)に示した波形のフレーム画像を生成する。
そして、表示においては、図13(e)に示した波形のフレーム画像と図13(c)に示した波形のフレーム画像とをサブフレーム画像として時間的に交互に表示させる。これにより、図13(f)に示した波形のフレーム画像(見かけのフレーム画像)を、図13(a)に示した波形のフレーム画像(入力フレーム画像)と一致させることができる。このように、最小値フィルタには、サブフレーム分割時における負値発生抑止機能があり、これにより画質を向上させることができる。
特開2006−184896号公報 特願2008−119059号
しかし、この最小値フィルタの負値発生抑止機能は性能面に課題がある。それは画像の絵柄に依り、最小値フィルタが選択する画素値が低すぎるため、ローパスフィルタによるエッジ領域における画素値の勾配領域が不必要に拡大してしまうことである。
図6を用いてこの課題を説明する。図6(a)、(b)は共に、1次元の信号波形で画像情報を示す図で、横軸が画像座標、縦軸が画素値を示しており、図6(a)は、最小値フィルタを用いる場合における画像情報、図6(b)は、最小値フィルタを用いない場合における画像情報を示している。また、図6(a)、(b)の何れの画像情報にも、画像座標=10付近に急峻なエッジがある。
図6(a)、(b)に示す如く、低域成分のみを含む信号(SL)については、最小値フィルタを用いない場合よりも、最小値フィルタを用いた方が、画素値の勾配領域が広がっている。この現象は、絵柄が時間的に変化しない場合は、2つのサブフレーム画像を合成した見かけのフレーム画像が、元のフレーム画像と同じになるため、画質上の問題とならない。しかし、絵柄が時間的に変化する場合には、画質上の副作用となり、SLの画素値の勾配領域がエッジ領域の動きの反対方向にゴーストとして視聴者に知覚される。しかしながら、この副作用はサブフレーム画像分割時における負値発生問題とのトレードオフであるので、負値発生抑止のために許容される。
問題とする点は、最小値フィルタを用いてサブフレーム画像分割を行った場合に、高域成分を含む信号(SH)の最小値が0よりも大きい値を取っていることである。SLの画素値の勾配領域が大きくなることは、負値発生問題とのトレードオフである以上、SHの最小値を0より大きくする必要はなく、可能であれば0にしてSLの画素値の勾配領域を最小化することが最も望ましい。しかしながら、特許文献2が開示する方法および構成では、区間内の画素の最小値を選択する機能しか開示されていないため、それを実現するのは困難である。
本発明は、以上の問題に鑑みてなされたものであり、1フレームの画像を最小値フィルタを用いてサブフレーム画像に分割する場合にゴーストを最小化し、画質劣化を低減させる為の技術を提供することを目的とする。
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、動画像を構成する各フレームの画像を処理する画像処理装置であって、
合成比率を求める合成比率算出手段と、
着目フレーム画像と、当該着目フレーム画像中の各画素の画素値を該画素値及び該画素を囲むそれぞれの画素の画素値のうち最小の画素値に更新する最小値フィルタ処理を実行することで得られる処理済み画像と、を前記合成比率で合成することで合成画像を生成する合成手段と、
前記合成画像から、該合成画像の低周波数成分で構成されている低周波数成分画像を生成する手段と、
前記着目フレーム画像と前記低周波数成分画像とを用いて、前記着目フレーム画像中の高周波数成分を強調した高周波数成分画像を生成する手段と、
前記高周波数成分画像と前記低周波数成分画像とを、前記着目フレーム画像の代わりに出力する出力手段とを備え、
前記合成比率算出手段は、
前記着目フレーム画像中のエッジ領域を特定
前記特定したエッジ領域内の画像を第1の画像、前記エッジ領域に対応する前記処理済み画像内の領域内の画像を第2の画像とし、前記第1の画像と前記第2の画像とを、合成比率aで合成することで部分合成画像を生成
前記部分合成画像から、該部分合成画像の低周波数成分で構成されている低周波数成分部分画像を生成
前記第1の画像と前記低周波数成分部分画像とを用いて、前記第1の画像中の高周波数成分を強調した高周波数成分部分画像を生成
前記高周波数成分部分画像を構成する全ての画素値が0以上となるような最小の前記合成比率aを求め、
前記合成手段は、前記合成比率aで、前記処理済み画像と前記着目フレーム画像とを合成することで前記合成画像を生成する
ことを特徴とする。
本発明の構成により、1フレームの画像を最小値フィルタを用いてサブフレーム画像に分割する場合にゴーストを最小化し、画質劣化を低減させることができる。
第1の実施形態に係る画像処理装置の機能構成例を示すブロック図。 第1の実施形態に係る画像処理において各段階で得られるフレーム画像の波形を示す図。 ステップS505における処理の詳細を示すフローチャート。 ラプラシアンフィルタ構成例を示す図。 第1の実施形態に係る画像処理装置が行う処理のフローチャート。 1次元の信号波形で画像情報を示す図。 第2の実施形態に係る画像処理装置の機能構成例を示すブロック図。 第2の実施形態に係る画像処理において各段階で得られるフレーム画像の波形を示す図。 第2の実施形態に係る画像処理装置が行う処理のフローチャート。 特許文献1に開示されている回路構成の一部を示す図。 2つのサブフレーム画像を交互に表示することであたかもこれら2つの画像が合成されているかのように見えるフレーム画像が、元のフレーム画像と同じにならない場合について説明するための図である。 LPF処理部104を設けた場合の装置構成を示す図。 図12に示す構成を有する装置によって各段階で得られるフレーム画像の波形を示す図。 第3の実施形態に係る画像処理装置の機能構成例を示すブロック図。 第4の実施形態に係る画像処理装置の機能構成例を示すブロック図。
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の1つである。
[第1の実施形態]
本実施形態では、ホールド型の表示装置としての画像処理装置について説明する。図1は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。図1に示す如く、本実施形態に係る画像処理装置は、入力端子150、最小値フィルタ部101、最小値強度制御部102、合成部103、LPF処理部104、フレームメモリ106、差分検出部105、加算器199、切替回路107、を有する。
入力端子150には、動画像を構成する各フレームの画像(フレーム画像)が順次入力される。以下では、入力端子150に着目フレーム画像が入力された場合における、各部の動作について説明する。即ち、以下に説明する各部の動作は、各フレーム画像について行われることになる。
入力端子150を介して入力された着目フレーム画像は、差分検出部105、加算器199、最小値強度制御部102、最小値フィルタ部101、合成部103、に入力される。
最小値フィルタ部101は、着目フレーム画像に対して最小値フィルタ処理を施すことで、処理済み画像を生成し、生成した処理済み画像を最小値強度制御部102、合成部103に送出する。
ここで最小値フィルタ処理とは周知の通り、画像を構成する各画素について次のような処理を行うことである。即ち、画素Pを処理する場合、この画素Pを囲む8画素とこの画素Pの合計9画素についてそれぞれの画素値を参照し、最小の画素値を特定する。そして画素Pの画素値を、この特定した最小の画素値に更新する。従って、このような処理を画像を構成する各画素について行うことで、この画像に対して最小値フィルタ処理を施し、処理済み画像を生成することができる。
ここで、図2は、本実施形態に係る画像処理において各段階で得られるフレーム画像の波形を示す図で、横軸は画像座標、縦軸は画素値を示す。図2(a)は、着目フレーム画像の波形を示し、図2(b)は、図2(a)に示す波形を有する着目フレーム画像を最小値フィルタ部101に与えた場合の、最小値フィルタ部101による処理結果としての処理済み画像の波形を示している。最小値フィルタ処理では、高輝度の画素値と低輝度の画素値とが隣接しているエッジ領域では低輝度の画素値に更新されるので、エッジは高輝度領域にブロックの半分の長さだけシフトする。
合成部103は、入力端子150から受けた着目フレーム画像と、最小値フィルタ部101から受けた処理済み画像とを、合成比率aに従って合成することで、合成画像を生成する。即ち、処理済み画像をM、着目フレーム画像をA、合成画像をC、とすると、合成部103は、下記の式に従って合成画像Cを生成する。
C=a×M+(1−a)×A
係る式は、処理済み画像Mを構成する各画素の画素値をa倍したものと、着目フレーム画像Aを構成する各画素の画素値を(1−a)倍したものとを加算した値を画素値とする画像を、合成画像Cとして生成することを意味している。図2(c)は、合成画像Cの波形を示している。
最小値強度制御部102は、入力端子150から受けた着目フレーム画像Aと、最小値フィルタ部101から受けた処理済み画像Mとを取得すると、これらを用いて、上記合成比率aを求める処理を行う。即ち、最小値強度制御部102は、合成部103において上記合成処理を行う前に合成比率aを決定し、この決定した合成比率aを合成部103に送出することになる。これにより、合成部103は、最小値強度制御部102から入力した合成比率aを用いて上記合成処理を行う。最小値強度制御部102の詳細については後述する。
次に、LPF処理部104は、合成部103が生成した合成画像Cに対して2次元のローパスフィルタ処理を施し、低周波数成分で構成されている(低周波数成分のみを含む)画像(低周波数成分画像)を生成する。ここで、ローパスフィルタは、特に関数を規定するものではなく、例えばガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。
図2(d)は、低周波数成分画像の波形を示している。LPF処理部104から出力された低周波数成分画像は、フレームメモリ106に格納されると共に、差分検出部105にも出力される。
差分検出部105は、入力端子150から入力された着目フレーム画像Aから、LPF処理部104から入力された低周波数成分画像を差し引くことで、差分画像を生成する。図2の例では、図2(a)に示した波形を有する着目フレーム画像から、図2(d)に示した波形を有する低周波数成分画像を差し引いた結果が、図2(e)に示した波形を有する差分画像となる。差分検出部105はこの求めた差分画像を、後段の加算器199に送出する。
加算器199は、差分検出部105から受けた差分画像と、入力端子150から受けた着目フレーム画像Aと、を合成することで、高周波数成分で構成されている(高周波数成分を強調した)高周波数成分画像を生成する。図2の例では、図2(a)に示した波形を有する着目フレーム画像と、図2(e)に示した波形を有する差分画像と、を合成した結果が、図2(f)に示した波形を有する高周波数成分画像となる。そして加算器199は、この高周波数成分画像を、後段の切替回路107に送出する。
切替回路107は、加算器199から送出される高周波数成分画像と、フレームメモリ106に格納されている低周波数成分画像とを交互に読み出し、読み出した方の画像を表示する。これにより、例えば、60Hzで各フレームの画像が入力端子150に入力される場合、切替回路107は120Hzで画像(高周波数成分画像と低周波数成分画像とが交互)を表示することになる。なお、切替回路107で読み出した画像は表示以外に用いても良く、例えばメモリなどに出力しても良い。
これにより、切替回路107によって表示された画像をユーザが見ると、視覚的には、60Hz表示におけるフレーム画像の波形(図2(a)に示した波形)と同一の波形として知覚することができる。
なお、画像がR、G、Bのように1画素が複数の色要素で構成されている場合には、それぞれの色要素について上記処理を行えばよいのであるが、色要素はR、G、Bに限定するものではなく、Y,Cb,Crであっても良い。また、上記処理は、Yのみについて行っても良い。また、R、G、BからYを算出し、算出したYに対して上記処理を行い、その処理結果をR、G、Bに当てはめるようにしても良い。
図5は、本実施形態に係る画像処理装置が行う処理のフローチャートである。先ず、ステップS501では、画像処理装置の不図示の制御部は、後述する各処理で用いる変数やパラメータなどを初期化する。例えば最小値フィルタ部101で用いる最小値フィルタのサイズや、LPF処理部104で用いるローパスフィルタの静的特性などを初期化する。
次に、ステップS502では、上記制御部は、本処理を終了するか否かを判断する。本処理を終了する為の条件には様々なものがあり、本実施形態では係る点については主要ではないので、これについての言及は省略する。係る判断の結果、終了する場合には、上記制御部は本処理を終了させるための処理を行うし、終了しない場合には処理をステップS503に勧める。
次に、ステップS503では、入力端子150は、着目フレーム画像Aを取得し、これを、差分検出部105、加算器199、最小値強度制御部102、最小値フィルタ部101、合成部103、に出力する。
次に、ステップS504では、最小値フィルタ部101は、入力端子150から入力した着目フレーム画像Aに対して最小値フィルタ処理を施すことで、処理済み画像Mを生成し、生成した処理済み画像Mを最小値強度制御部102、合成部103に送出する。
次に、ステップS505では、最小値強度制御部102は、入力端子150から受けた着目フレーム画像Aと、最小値フィルタ部101から受けた処理済み画像Mとを取得すると、これらを用いて、上記合成比率aを求める処理を行う。
ここで、ステップS505における処理の詳細について、図3に示したフローチャートを用いて説明する。図3は、ステップS505における処理の詳細を示すフローチャートである。なお、図3のフローチャートに従った処理の主体はもちろん最小値強度制御部102である。
先ず、ステップS301では、以下の処理で用いるパラメータなどの初期化処理を行う。例えば、閾値th01、閾値th02にそれぞれ予め定められた値を設定したり、合成比率aを「1.0」に初期化したりする。
次に、ステップS302では、入力端子150から着目フレーム画像Aを取得する。次にステップS303では、処理済み画像Mと着目フレーム画像Aとを合成部103において合成した場合に、その合成画像Cにおいて最も負の画素値を取りやすいエッジ領域(急峻エッジ領域)を、着目フレーム画像Aから検出する。
急峻エッジ領域は、着目フレーム画像A内のコンテンツに応じて、唯一に特定できる、複数特定される、特定できない、の何れかのケースが生じる。急峻エッジ領域が唯一に特定できる場合とは、以下の2つの処理工程によって、着目フレーム画像内で、コントラストの変化率が閾値以上のエッジ領域が1つ特定される場合である。
(処理工程1) 着目フレーム画像Aから検出した1以上のエッジ領域のうち、エッジ領域内のコントラスト変化率が閾値以上(閾値th01以上)を取るエッジ領域を特定する。
(処理工程2) (処理工程1)で特定されたエッジ領域群のうち、エッジ領域内の最低コントラスト値が閾値以上(閾値th02以上)であるエッジ領域群を特定する。そして、特定したエッジ領域群のうち、最も小さい最低コントラスト値を求めたエッジ領域を急峻エッジ領域として特定する。
なお、エッジ領域の検出技術には、様々な技術を適用することができる。例えば、図4に例示したラプラシアンフィルタを用いてエッジの検出を行っても良い。また、コントラスト変化率を求めるためには、様々な方法を適用することができるが、その一例として、ラプラシアンフィルタを用いた出力結果の総和を用いても良い。
また、急峻エッジ領域が複数特定される場合とは、上記(処理工程1)、(処理工程2)による処理結果として、複数のエッジ領域が特定された場合である。しかし、複数のエッジ領域の何れを用いても後段の処理は同じとなるので、この場合はこの複数のエッジ領域のうち何れか1つを急峻エッジ領域として適当に選択すればよい。
また、急峻エッジ領域が特定できない場合とは、上記(処理工程1)、(処理工程2)による処理結果として、1つもエッジ領域が特定されなかった場合である。この場合、合成比率aとしてどのような値を設定しても、結果としての画像の画質の差異は微弱であり、その効果は薄い。
次に、ステップS304では、上記ステップS303で急峻エッジが特定できなかったか、合成比率aが決定したか、合成比率aが0.0(±ε≪0)となったか、を判断する。係る判断の結果、何れか1つの条件が満たされている場合には処理をステップS390に進める。一方、何れの条件も満たされていない場合には、処理をステップS306に進める。
ステップS390では、この時点での合成比率aを合成部103に送出する。ステップS306では、入力端子150からの着目フレーム画像Aにおける急峻エッジ領域内の画像(第1の画像)と、最小値フィルタ部101からの処理済み画像Mにおいて急峻エッジ領域に対応する領域内の画像(第2の画像)とを合成比率aで合成する。この合成処理(第1手段)は、合成部103が行うものとして上述した合成処理と同じであるが、画像全体同士の合成処理ではなく、急峻エッジ領域同士の合成処理である点のみが異なる。係る処理によれば、画像全体で合成する処理に比べてより高速に合成処理を行うことができる。
次にステップS307では、ステップS306における合成処理で生成された部分合成画像に2次元のローパスフィルタ処理を施し、低周波数成分で構成されている(低周波数成分のみを含む)画像(低周波数成分部分画像)を生成する(第2手段)。
次に、ステップS309では、入力端子150から入力された着目フレーム画像Aにおける急峻エッジ領域内の画像(第1の画像)から、ステップS307で生成した低周波数成分部分画像を差し引くことで、差分画像を生成する。そして、この差分画像と、入力端子150から受けた着目フレーム画像Aにおける急峻エッジ領域内の画像(第1の画像)と、を合成することで、高周波数成分で構成されている(高周波数成分を強調した)高周波数成分部分画像を生成する(第3手段)。
次に、ステップS310では、ステップS309で生成した高周波数成分部分画像を構成する各画素値を参照し、高周波数成分部分画像を構成する全ての画素値が0以上であるか否かを判断する。即ち、アンダーフローが生じているか否かを判断する。係る判断の結果、高周波数成分部分画像を構成する画素のうち画素値が0より小さい画素が存在する場合には、処理をステップS350に進める。一方、高周波数成分部分画像を構成する全ての画素の画素値が0以上である場合には、処理をステップS311に進める。
ステップS350では、合成比率aの値に予め定められた値b(0<b≦1)を加算して合成比率aを更新する。そしてこの更新した合成比率aを最終結果として確定させる。一方、ステップS311では、合成比率aの値から予め定められた値bを減じることで合成比率aを更新する。そしてステップS311,S350の何れの処理の後も、処理をステップS304に戻す。
なお、合成比率aを計算する(求める)ための上記処理は一例であり、同様の目的を達成することができるのであれば、他の方法でもって合成比率aを求めても良い。即ち、合成画像における急峻エッジ領域に対応する、高周波数成分画像内の領域を構成する全ての画素値が0以上となるような最小の合成比率aを求めることができるのであれば、他の方法を用いて合成比率aを求めても良い。
図5に戻って次にステップS506では、合成部103は、入力端子150から受けた着目フレーム画像Aと、最小値フィルタ部101から受けた処理済み画像Mとを、上記ステップS505で求めた合成比率aに従って合成することで、合成画像Cを生成する。
次に、ステップS507では、LPF処理部104は、合成部103が生成した合成画像Cに対して2次元のローパスフィルタ処理を施し、低周波数成分で構成されている(低周波数成分のみを含む)画像(低周波数成分画像)を生成する。この生成された低周波数成分画像は、フレームメモリ106に格納されると共に、差分検出部105にも出力される。
次に、ステップS508では、差分検出部105は、入力端子150から入力された着目フレーム画像Aから、LPF処理部104から入力された低周波数成分画像を差し引くことで、差分画像を生成する。差分検出部105は、この求めた差分画像を、後段の加算器199に送出する。加算器199は、差分検出部105から受けた差分画像と、入力端子150から受けた着目フレーム画像Aと、を合成することで、高周波数成分で構成されている(高周波数成分を強調した)高周波数成分画像を生成する。そして加算器199は、この高周波数成分画像を、後段の切替回路107に送出する。
次に、ステップS510では、切替回路107は、高周波数成分画像(第2のサブフレーム画像)、低周波数成分画像(第1のサブフレーム画像)の何れを表示するタイミングであるのかを判断する。上述の取り、切替回路107は、例えば120Hzで第1のサブフレーム画像、第2のサブフレーム画像を交互に表示するので、現タイミングで何れのサブフレーム画像を表示するのかを判断する。そして第1のサブフレーム画像を表示する場合には処理をステップS511に進めるし、第2のサブフレーム画像を表示する場合には処理をステップS512に進める。
ステップS511では切替回路107は、第1のサブフレーム画像として低周波数成分画像を表示するし、ステップS512では切替回路107は、第2のサブフレーム画像として高周波数成分画像を表示する。
即ち、切替回路107は、着目フレーム画像Aの代わりに高周波数成分画像と低周波数成分画像とを順次出力することで、倍速表示を可能にしている。ホールド型の表示装置の場合、最初の1/120秒の間に第1のサブフレーム画像を表示し、次の1/120秒の間に第2のサブフレーム画像を表示することになる。
なお、液晶の応答特性の改善や、バックライトを制御するなどの方法により、1/120秒よりも短い時間でサブフレーム画像を表示させることも可能である。しかし、1/60秒の時間周期で入力と見かけ上同じ波形を生成する、という本実施形態の特徴は何ら変わるものではない。
以上の説明により、本実施形態によれば、最小値フィルタを用いて駆動分配処理(倍速表示)した場合でも、絵柄が動いているときにゴーストを最小化することにより画質劣化を低減することができる。
[第2の実施形態]
本実施形態では、インパルス型の表示装置としての画像処理装置について説明する。図7は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。なお、図7と図1とで同じ構成要素については同じ参照番号を付している。また、本実施形態において、特に説明しない点については、第1の実施形態と同じ若しくは同様であるとする。入力端子150を介して入力された着目フレーム画像は、差分検出部105、最小値強度制御部102、最小値フィルタ部101、合成部103、に入力される。
最小値フィルタ部101は、着目フレーム画像に対して第1の実施形態と同様の最小値フィルタ処理を施すことで、処理済み画像を生成し、生成した処理済み画像を最小値強度制御部102、合成部103に送出する。
ここで、図8は、本実施形態に係る画像処理において各段階で得られるフレーム画像の波形を示す図で、横軸は画像座標、縦軸は画素値を示す。図8(a)は、着目フレーム画像の波形を示し、図8(b)は、図8(a)に示す波形を有する着目フレーム画像を最小値フィルタ部101に与えた場合の、最小値フィルタ部101による処理結果としての処理済み画像の波形を示している。最小値フィルタ処理では、高輝度の画素値と低輝度の画素値とが隣接しているエッジ領域では低輝度の画素値に更新されるので、エッジは高輝度領域にブロックの半分の長さだけシフトする。
合成部103は、入力端子150から受けた着目フレーム画像と、最小値フィルタ部101から受けた処理済み画像とを、合成比率aに従って合成することで、合成画像を生成する。係る合成処理については第1の実施形態で説明したとおりである。図8(c)は、合成画像の波形を示している。
最小値強度制御部102は、入力端子150から受けた着目フレーム画像と、最小値フィルタ部101から受けた処理済み画像とを取得すると、これらを用いて、上記合成比率aを求める処理を行う。本実施形態では、最小値強度制御部102の動作が第1の実施形態とは若干異なる。
先ず最小値強度制御部102は、以下の処理で用いるパラメータなどの初期化処理を行う。例えば、閾値th01、閾値th02にそれぞれ予め定められた値を設定したり、合成比率aを「1.0」に初期化したりする。
次に、最小値強度制御部102は、入力端子150から着目フレーム画像を取得し、この着目フレーム画像から上記急峻エッジ領域を、第1の実施形態と同様にして取得する。
次に、最小値強度制御部102は、急峻エッジが特定できなかったか、合成比率aが決定したか、合成比率aが0.0(±ε≪0)となったか、を判断し、何れか1つの条件が満たされている場合には、この時点での合成比率aを合成部103に送出する。一方、何れの条件も満たされていない場合には、入力端子150からの着目フレーム画像における急峻エッジ領域内の画像と、最小値フィルタ部101からの処理済み画像において急峻エッジ領域に対応する領域内の画像とを合成比率aで合成する。
次に、最小値強度制御部102は、この合成処理で生成された部分合成画像に2次元のローパスフィルタ処理を施し、低周波数成分で構成されている(低周波数成分のみを含む)画像(低周波数成分部分画像)を生成する。
次に、最小値強度制御部102は、この低周波数成分部分画像を構成する各画素の輝度値を下げる(例えば50%下げる)ことで、この低周波数成分部分画像を更新する。次に、最小値強度制御部102は、入力端子150から入力された着目フレーム画像における急峻エッジ領域内の画像から、上記更新した低周波数成分部分画像を差し引くことで、差分画像を生成する。
次に、最小値強度制御部102は、この差分画像を構成する各画素値を参照し、差分画像を構成する全ての画素値が0以上であるか否かを判断する。即ち、アンダーフローが生じているか否かを判断する。係る判断の結果、差分画像を構成する画素のうち画素値が0より小さい画素が存在する場合には、合成比率aの値に予め定められた値b(0<b≦1)を加算して合成比率aを更新する。そしてこの更新した合成比率aを最終結果として確定させる。一方、差分画像を構成する全ての画素の画素値が0以上である場合には、合成比率aの値から予め定められた値bを減じることで合成比率aを更新する。そして合成比率aが確定していない限りは、この更新した合成比率aを用いて、上記部分合成画像を作成する以降の処理を繰り返す。これにより、合成比率aを確定させる。
もちろん、本実施形態においても、合成比率aを求めるための上記処理は一例であり、同様の目的を達成することができるのであれば、他の方法でもって合成比率aを求めても良い。
そして最小値強度制御部102は、このようにして確定させた合成比率aを、第1の実施形態と同様に、合成部103に設定する。次に、LPF処理部104は、合成部103が生成した合成画像に対して2次元のローパスフィルタ処理を施し、低周波数成分で構成されている(低周波数成分のみを含む)画像(低周波数成分画像)を生成する。ここで、ローパスフィルタは、特に関数を規定するものではなく、例えばガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。
図8(d)は、低周波数成分画像の波形を示している。LPF処理部104から出力された低周波数成分画像は、ゲイン補正部706に出力される。ゲイン補正部706は、LPF処理部104から送出された低周波数成分画像を構成する各画素の輝度値を下げる(例えば50%下げる)ことで、この低周波数成分画像に対してゲイン補正処理を施し、この低周波数成分画像を更新する。図8(e)は、図8(d)に示した波形を有する低周波数成分画像を構成する各画素の画素値に0.5を乗じて得た画像の波形を示している。なお、ゲイン補正部706により得られる更新済みの低周波数成分画像を第1のサブフレーム画像と呼称する場合がある。そしてゲイン補正部706は、この求めた第1のサブフレーム画像を後段の切替回路107に送出する。
一方、差分検出部105は、入力端子150から入力された着目フレーム画像から、ゲイン補正部706によって得られた第1のサブフレーム画像を差し引くことで、この差分画像を第2のサブフレーム画像として求める。図8(f)は、図8(a)に示した波形を有する着目フレーム画像Aから、図8(e)に示した波形を有する更新済みの低周波数成分画像を差し引くことで得られる第2のサブフレーム画像の波形を示している。そして差分検出部105は、この求めた第2のサブフレーム画像を後段の切替回路107に送出する。
切替回路107では、所望のタイミング、例えば入力60Hzの場合、120Hzの周期で、2つのサブフレーム(第1のサブフレーム画像、第2のサブフレーム画像)を交互に表示する。図8(f)に示した波形を有するサブフレーム画像と、図8(e)に示した波形を有するサブフレーム画像とを高速に交互表示すると、視覚的には60Hz表示における入力フレーム画像(図8(a))と同一の波形として知覚することができる。
このように、ホールド型とインパルス型とでは、サブフレーム画像の生成形態が異なるが、入力フレーム画像から低域成分のみを含むサブフレーム画像を減じた場合に、負値を取らないという点が、共通する処理である。
図9は、本実施形態に係る画像処理装置が行う処理のフローチャートである。先ず、ステップS901では、画像処理装置の不図示の制御部は、後述する各処理で用いる変数やパラメータなどを初期化する。例えば最小値フィルタ部101で用いる最小値フィルタのサイズや、LPF処理部104で用いるローパスフィルタの静的特性や、ゲイン補正部706で用いるゲイン補正量、などを初期化する。
次に、ステップS902では、上記制御部は、本処理を終了するか否かを判断する。本処理を終了する為の条件には様々なものがあり、本実施形態では係る点については主要ではないので、これについての言及は省略する。係る判断の結果、終了する場合には、上記制御部は本処理を終了させるための処理を行うし、終了しない場合には処理をステップS903に勧める。
次に、ステップS903では、入力端子150は、着目フレーム画像を取得し、取得した着目フレーム画像を、差分検出部105、最小値強度制御部102、最小値フィルタ部101、合成部103、に出力する。
次に、ステップS904では、最小値フィルタ部101は、入力端子150から入力した着目フレーム画像に対して最小値フィルタ処理を施すことで、処理済み画像を生成し、生成した処理済み画像を最小値強度制御部102、合成部103に送出する。
次に、ステップS905では、最小値強度制御部102は、入力端子150から受けた着目フレーム画像と、最小値フィルタ部101から受けた処理済み画像とを取得すると、これらを用いて、上記合成比率aを求める処理を行う。
次に、ステップS906では、合成部103は、入力端子150から受けた着目フレーム画像と、最小値フィルタ部101から受けた処理済み画像とを、上記ステップS905で求めた合成比率aに従って合成することで、合成画像を生成する。
次に、ステップS907では、LPF処理部104は、合成部103が生成した合成画像に対して2次元のローパスフィルタ処理を施し、低周波数成分で構成されている(低周波数成分のみを含む)画像(低周波数成分画像)を生成する。この生成された低周波数成分画像は、ゲイン補正部706に出力される。
次に、ステップS908では、ゲイン補正部706は、LPF処理部104から送出された低周波数成分画像を構成する各画素の輝度値を下げる(例えば50%下げる)ことで、この低周波数成分画像に対してゲイン補正処理を施す。これにより、この低周波数成分画像を第1のサブフレーム画像として更新する。
次に、ステップS909では、差分検出部105は、入力端子150から入力された着目フレーム画像から、ゲイン補正部706によって得られた第1のサブフレーム画像を差し引くことで、この差分画像を第2のサブフレーム画像として求める。
次に、ステップS910では、切替回路107は、高周波数成分画像(第2のサブフレーム画像)、低周波数成分画像(第1のサブフレーム画像)の何れを表示するタイミングであるのかを判断する。上述の取り、切替回路107は、例えば120Hzで第1のサブフレーム画像、第2のサブフレーム画像を交互に表示するので、現タイミングで何れのサブフレーム画像を表示するのかを判断する。そして第1のサブフレーム画像を表示する場合には処理をステップS911に進めるし、第2のサブフレーム画像を表示する場合には処理をステップS912に進める。
ステップS911では切替回路107は、第1のサブフレーム画像として低周波数成分画像を表示するし、ステップS912では切替回路107は、第2のサブフレーム画像として高周波数成分画像を表示する。
第1のサブフレーム画像のエッジ勾配領域とエッジにおけるゲイン差が最小化されている点が、本実施形態の特徴部分である。インパルス型の表示装置の場合、最初の1/120秒の瞬間に第1のサブフレーム画像を表示し、次の1/120秒の瞬間に第2のサブフレーム画像を表示することになる。1/60秒の時間平均での見かけの波形は、入力フレーム画像と同じ波形となる。
[第3の実施形態]
本実施形態では、ホールド型の表示装置としての画像処理装置について説明する。なお、本実施形態は第1の実施形態と類似しているため、本実施形態において第1の実施形態と同じ部分についてはその説明を省略する。
図14は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。なお、図14と図1とで同じ構成要素については同じ参照番号を付けており、その説明は省略する。
合成部103では第1の実施形態と同様、最小値フィルタ部101が生成した処理済み画像と、着目フレーム画像とを、合成比率aに基づいて合成するが、この合成比率aが0.0に初期化されているものとする。また、この合成比率aは、この後、最小値強度制御部2202によって更新されうるのであるが、最小値強度制御部2202で用いる合成比率aは0.0に初期化されているものとする。
合成比率aを0.0に初期化して最小値フィルタ部101、合成部103、LPF処理部104、差分検出部105、加算器199を動作させると、フレームメモリ106には低周波数成分画像が格納されることになる。更に、最小値強度制御部2202には加算器199から高周波数成分画像が入力されることになる。
最小値強度制御部2202は、加算器199から高周波数成分画像を受けると、この高周波数成分画像を構成する各画素値を参照し、0より小さい画素値を有する画素が存在するか否かを判断する。存在しない場合には、加算器199から受けた高周波数成分画像をそのまま後段の切替回路107に送出する。一方、存在する場合には、最小値強度制御部2202に設定されている合成比率aの値に予め定められた値b(0<b≦1)を加算して合成比率aを更新する。そしてこの更新した合成比率aを最終結果として確定させ、この確定させた合成比率aを合成部103に設定する。そして最小値強度制御部2202は、この新たに設定した合成比率aを用いて再度、合成処理を合成部103に実行させる。
もちろん、LPF処理部104は、この合成部103が再度実行した合成処理(最小値強度制御部2202によって更新された合成比率aを用いた合成処理)によって生成された合成画像を用いて低周波数成分画像を新たに生成する。また、差分検出部105は、加算器199は、この新たに生成された低周波数成分画像と着目フレーム画像とを用いて新たに高周波数成分画像を生成する。そして最小値強度制御部2202は、この新たに生成された高周波数成分画像を後段の切替回路107に送出する。
係る構成により、切替回路107から出力され、表示される画像をユーザが見た場合、視覚的には、60Hz表示における入力フレーム画像の波形(図3(a))と同一の波形として知覚させることができる。
本実施形態が第1の実施形態と大きく異なるのは、第1の実施形態では、着目フレーム画像を解析して合成比率aを算出するのに対し、本実施形態では、高周波数成分画像を解析して合成比率aを算出する点にある。換言すると、第1の実施形態に係る画像処理装置は、フィードフォワード制御を行っているのに対し、本実施形態に係る画像処理装置は、フィードバック制御を行っている。また、本実施形態では、最小値強度制御部2202で行う処理は第1の実施形態に比べて簡素であるため、画像処理装置全体の構成をより簡素に構成することができる。
[第4の実施形態]
本実施形態では、インパルス型の表示装置としての画像処理装置について説明する。なお、本実施形態は第2の実施形態と類似しているため、本実施形態において第2の実施形態と同じ部分についてはその説明を省略する。
図15は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。なお、図15と図1、7とで同じ構成要素については同じ参照番号を付けており、その説明は省略する。
合成部103では第1の実施形態と同様、最小値フィルタ部101が生成した処理済み画像と、着目フレーム画像とを、合成比率aに基づいて合成するのが、この合成比率aが0.0に初期化されているものとする。また、この合成比率aは、この後、最小値強度制御部2302によって更新されうるのであるが、最小値強度制御部2302で用いる合成比率aは0.0に初期化されているものとする。
合成比率aを0.0に初期化して最小値フィルタ部101、合成部103、LPF処理部104、ゲイン補正部706、差分検出部105、を動作させると、ゲイン補正部706からは低周波数成分画像が出力されることになる。更に、差分検出部105からは最小値強度制御部2302に対して差分画像が入力されることになる。
最小値強度制御部2302は、差分検出部105から差分画像を受けると、この差分画像を構成する各画素値を参照し、0より小さい画素値を有する画素が存在するか否かを判断する。存在しない場合には、差分検出部105から受けた差分画像をそのまま後段の切替回路107に送出する。一方、存在する場合には、最小値強度制御部2302に設定されている合成比率aの値に予め定められた値b(0<b≦1)を加算して合成比率aを更新する。そしてこの更新した合成比率aを最終結果として確定させ、この確定させた合成比率aを合成部103に設定する。そして最小値強度制御部2302は、この新たに設定した合成比率aを用いて再度、合成処理を合成部103に実行させる。
もちろん、LPF処理部104は、この合成部103が再度実行した合成処理(最小値強度制御部2302によって更新された合成比率aを用いた合成処理)によって生成された合成画像を用いて低周波数成分画像を新たに生成する。また、差分検出部105は、この新たに生成された低周波数成分画像と着目フレーム画像とを用いて新たに差分画像を生成する。そして最小値強度制御部2302は、この新たに生成された差分画像を後段の切替回路107に送出する。
係る構成により、切替回路107から出力され、表示される画像をユーザが見た場合、視覚的には、60Hz表示における入力フレーム画像の波形(図3(a))と同一の波形として知覚させることができる。
本実施形態が第2の実施形態と大きく異なるのは、第2の実施形態では、着目フレーム画像を解析して合成比率aを算出するのに対し、本実施形態では、差分画像を解析して合成比率aを算出する点にある。換言すると、第2の実施形態に係る画像処理装置は、フィードフォワード制御を行っているのに対し、本実施形態に係る画像処理装置は、フィードバック制御を行っている。また、本実施形態では、最小値強度制御部2302で行う処理は第2の実施形態に比べて簡素であるため、画像処理装置全体の構成をより簡素に構成することができる。

Claims (14)

  1. 動画像を構成する各フレームの画像を処理する画像処理装置であって、
    合成比率を求める合成比率算出手段と、
    着目フレーム画像と、当該着目フレーム画像中の各画素の画素値を該画素値及び該画素を囲むそれぞれの画素の画素値のうち最小の画素値に更新する最小値フィルタ処理を実行することで得られる処理済み画像と、を前記合成比率で合成することで合成画像を生成する合成手段と、
    前記合成画像から、該合成画像の低周波数成分で構成されている低周波数成分画像を生成する手段と、
    前記着目フレーム画像と前記低周波数成分画像とを用いて、前記着目フレーム画像中の高周波数成分を強調した高周波数成分画像を生成する手段と、
    前記高周波数成分画像と前記低周波数成分画像とを、前記着目フレーム画像の代わりに出力する出力手段とを備え、
    前記合成比率算出手段は、
    前記着目フレーム画像中のエッジ領域を特定
    前記特定したエッジ領域内の画像を第1の画像、前記エッジ領域に対応する前記処理済み画像内の領域内の画像を第2の画像とし、前記第1の画像と前記第2の画像とを、合成比率aで合成することで部分合成画像を生成
    前記部分合成画像から、該部分合成画像の低周波数成分で構成されている低周波数成分部分画像を生成
    前記第1の画像と前記低周波数成分部分画像とを用いて、前記第1の画像中の高周波数成分を強調した高周波数成分部分画像を生成
    前記高周波数成分部分画像を構成する全ての画素値が0以上となるような最小の前記合成比率aを求め、
    前記合成手段は、前記合成比率aで、前記処理済み画像と前記着目フレーム画像とを合成することで前記合成画像を生成する
    ことを特徴とする画像処理装置。
  2. 前記出力手段は、前記着目フレーム画像の代わりに前記高周波数成分画像と前記低周波数成分画像とを順次出力することで倍速表示を可能にすることを特徴とする請求項1に記載の画像処理装置。
  3. 前記合成比率算出手段は、
    前記高周波数成分部分画像を構成する全ての画素の画素値が0以上である場合には、合成比率aの値から予め定められた値を減じることで合成比率aを更新し、更新した合成比率aを用いて再度、前記部分合成画像を生成する処理及び前記低周波数成分部分画像を生成する処理及び前記高周波数成分部分画像を生成する処理を実行
    前記高周波数成分部分画像を構成する画素のうち画素値が0より小さい画素が存在する場合には、合成比率aの値に予め定められた値を加算して合成比率aを更新し、更新した合成比率aを前記最小の合成比率aとする
    ことを特徴とする請求項1又は2に記載の画像処理装置。
  4. 動画像を構成する各フレームの画像を処理する画像処理装置であって、
    着目フレーム画像と、当該着目フレーム画像中の各画素の画素値を該画素値及び該画素を囲むそれぞれの画素の画素値のうち最小の画素値に更新する最小値フィルタ処理を実行することで得られる処理済み画像と、を合成することで合成画像を生成する合成手段と、
    前記合成画像に対してローパスフィルタ処理を施すことで、低周波数成分で構成されている低周波数成分画像を生成する第1手段と、
    前記着目フレーム画像と前記低周波数成分画像との差分画像を生成し、生成した差分画像を前記着目フレーム画像に加算することで、高周波数成分で構成されている高周波数成分画像を生成する第2手段と、
    前記高周波数成分画像を構成する全ての画素値が0以上となるような最小の合成比率aを求める手段と、
    前記合成手段前記合成比率aを用いて再度生成した合成画像を用いて前記第1手段が生成した低周波数成分画像と、当該低周波数成分画像と前記着目フレーム画像とを用いて前記第2手段が生成した高周波数成分画像と、を前記着目フレーム画像の代わりに出力する出力手段と
    を備えることを特徴とする画像処理装置。
  5. 前記第2手段が生成した前記高周波数成分画像を構成する全ての画素の画素値が0以上である場合、
    前記合成手段は合成処理を実行せず、
    前記出力手段は、前記第1手段が生成した低周波数成分画像と、前記第2手段が生成した高周波数成分画像とを、前記着目フレーム画像の代わりに出力する
    ことを特徴とする請求項4に記載の画像処理装置。
  6. 前記画像処理装置は、ホールド型の表示装置であることを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
  7. 動画像を構成する各フレームの画像を処理する画像処理装置であって、
    合成比率を求める合成比率算出手段と、
    着目フレーム画像と、当該着目フレーム画像中の各画素の画素値を該画素値及び該画素を囲むそれぞれの画素の画素値のうち最小の画素値に更新する最小値フィルタ処理を実行することで得られる処理済み画像と、を前記合成比率で合成することで合成画像を生成する合成手段と、
    前記合成画像に対してローパスフィルタ処理を施すことで、低周波数成分で構成されている低周波数成分画像を生成する手段と、
    前記低周波数成分画像に対してゲイン補正処理を施すことで、前記低周波数成分画像を更新する更新手段と、
    前記更新手段によって更新された前記低周波数成分画像と前記着目フレーム画像との差分画像を生成する手段と、
    前記差分画像と前記低周波数成分画像とを、前記着目フレーム画像の代わりに出力する出力手段とを備え、
    前記合成比率算出手段は、
    前記着目フレーム画像内で、コントラストの変化率が閾値以上のエッジ領域を1つ特定
    前記特定したエッジ領域内の画像を第1の画像、前記エッジ領域に対応する前記処理済み画像内の領域内の画像を第2の画像とし、前記第1の画像と前記第2の画像とを、合成比率aで合成することで部分合成画像を生成
    前記部分合成画像に対してローパスフィルタ処理を施すことで、低周波数成分で構成されている低周波数成分部分画像を生成
    前記低周波数成分部分画像に対してゲイン補正処理を施すことで前記低周波数成分部分画像を更新し、更新した低周波数成分部分画像と、前記第1の画像と、の差分画像を生成
    前記更新した低周波数成分部分画像と前記第1の画像との差分画像を構成する全ての画素値が0以上となるような最小の前記合成比率aを求め、
    前記合成手段は、前記合成比率aで、前記処理済み画像と前記着目フレーム画像とを合成することで前記合成画像を生成する
    ことを特徴とする画像処理装置。
  8. 前記合成比率算出手段は、
    前記更新した低周波数成分部分画像と前記第1の画像との差分画像を構成する全ての画素の画素値が0以上である場合には、合成比率aの値から予め定められた値を減じることで合成比率aを更新し、更新した合成比率aを用いて再度、前記部分合成画像を生成する処理及び前記低周波数成分部分画像を生成する処理及び前記更新した低周波数成分部分画像と前記第1の画像との差分画像を生成する処理を実行
    前記更新した低周波数成分部分画像と前記第1の画像との差分画像を構成する画素のうち画素値が0より小さい画素が存在する場合には、合成比率aの値に予め定められた値を加算して合成比率aを更新し、更新した合成比率aを前記最小の合成比率aとする
    ことを特徴とする請求項7に記載の画像処理装置。
  9. 動画像を構成する各フレームの画像を処理する画像処理装置であって、
    着目フレーム画像と、当該着目フレーム画像中の各画素の画素値を該画素値及び該画素を囲むそれぞれの画素の画素値のうち最小の画素値に更新する最小値フィルタ処理を実行することで得られる処理済み画像と、を合成することで合成画像を生成する合成手段と、
    前記合成画像に対してローパスフィルタ処理を施すことで、低周波数成分で構成されている低周波数成分画像を生成する第1手段と、
    前記低周波数成分画像に対してゲイン補正処理を施すことで、前記低周波数成分画像を更新する更新手段と、
    前記更新手段によって更新された前記低周波数成分画像と前記着目フレーム画像との差分画像を生成する第2手段と、
    前記差分画像を構成する全ての画素値が0以上となるような最小の合成比率aを求める計算手段と、
    前記合成手段前記合成比率aを用いて再度生成した合成画像を用いて前記第1手段、前記更新手段が生成した低周波数成分画像と、当該低周波数成分画像と前記着目フレーム画像とを用いて前記第2手段が生成した差分画像を、前記着目フレーム画像の代わりに出力する出力手段と
    を備えることを特徴とする画像処理装置。
  10. 前記画像処理装置は、インパルス型の表示装置であることを特徴とする請求項7乃至9の何れか1項に記載の画像処理装置。
  11. 動画像を構成する各フレームの画像を処理する画像処理装置が行う画像処理方法であって、
    前記画像処理装置の合成手段が、着目フレーム画像と、当該着目フレーム画像中の各画素の画素値を該画素値及び該画素を囲むそれぞれの画素の画素値のうち最小の画素値に更新する最小値フィルタ処理を実行することで得られる処理済み画像と、を合成することで合成画像を生成する合成工程と、
    前記画像処理装置の低周波数成分画像生成手段が、前記合成画像から、該合成画像の低周波数成分で構成されている低周波数成分画像を生成する工程と、
    前記画像処理装置の高周波数成分画像生成手段が、前記着目フレーム画像と前記低周波数成分画像とを用いて、前記着目フレーム画像中の高周波数成分を強調した高周波数成分画像を生成する工程と、
    前記画像処理装置の出力手段が、前記高周波数成分画像と前記低周波数成分画像とを、前記着目フレーム画像の代わりに出力する出力工程とを備え、
    前記合成工程は、
    前記着目フレーム画像中のエッジ領域を特定する工程と、
    前記特定したエッジ領域内の画像を第1の画像、前記エッジ領域に対応する前記処理済み画像内の領域内の画像を第2の画像とし、前記第1の画像と前記第2の画像とを、合成比率aで合成することで部分合成画像を生成する第1工程と、
    前記部分合成画像から、該部分合成画像の低周波数成分で構成されている低周波数成分部分画像を生成する第2工程と、
    前記第1の画像と前記低周波数成分部分画像とを用いて、前記第1の画像中の高周波数成分を強調した高周波数成分部分画像を生成する第3工程と、
    前記高周波数成分部分画像を構成する全ての画素値が0以上となるような最小の前記合成比率aを求める計算工程とを備え、
    前記合成工程では、前記計算工程で求めた合成比率aで、前記処理済み画像と前記着目フレーム画像とを合成することで前記合成画像を生成する
    ことを特徴とする画像処理方法。
  12. 動画像を構成する各フレームの画像を処理する画像処理装置が行う画像処理方法であって、
    前記画像処理装置の合成手段が、着目フレーム画像と、当該着目フレーム画像中の各画素の画素値を該画素値及び該画素を囲むそれぞれの画素の画素値のうち最小の画素値に更新する最小値フィルタ処理を実行することで得られる処理済み画像と、を合成することで合成画像を生成する合成工程と、
    前記画像処理装置の第1手段が、前記合成画像に対してローパスフィルタ処理を施すことで、低周波数成分で構成されている低周波数成分画像を生成する第1工程と、
    前記画像処理装置の第2手段が、前記着目フレーム画像と前記低周波数成分画像との差分画像を生成し、生成した差分画像を前記着目フレーム画像に加算することで、高周波数成分で構成されている高周波数成分画像を生成する第2工程と、
    前記画像処理装置の合成比率計算手段が、前記高周波数成分画像を構成する全ての画素値が0以上となるような最小の合成比率aを求める工程と、
    前記画像処理装置の制御手段が、前記合成比率aを用いて再度、前記合成工程を実行する制御工程と、
    前記画像処理装置の出力手段が、前記制御工程で制御された前記合成工程で生成した合成画像を用いて前記第1工程で生成した低周波数成分画像と、当該低周波数成分画像と前記着目フレーム画像とを用いて前記第2工程で生成した高周波数成分画像と、を前記着目フレーム画像の代わりに出力する出力工程と
    を備えることを特徴とする画像処理方法。
  13. 動画像を構成する各フレームの画像を処理する画像処理装置が行う画像処理方法であって、
    前記画像処理装置の合成手段が、着目フレーム画像と、当該着目フレーム画像中の各画素の画素値を該画素値及び該画素を囲むそれぞれの画素の画素値のうち最小の画素値に更新する最小値フィルタ処理を実行することで得られる処理済み画像と、を合成することで合成画像を生成する合成工程と、
    前記画像処理装置の低周波数成分画像生成手段が、前記合成画像に対してローパスフィルタ処理を施すことで、低周波数成分で構成されている低周波数成分画像を生成する工程と、
    前記画像処理装置の更新手段が、前記低周波数成分画像に対してゲイン補正処理を施すことで、前記低周波数成分画像を更新する更新工程と、
    前記画像処理装置の差分画像生成手段が、前記更新工程で更新された前記低周波数成分画像と前記着目フレーム画像との差分画像を生成する工程と、
    前記画像処理装置の出力手段が、前記差分画像と前記低周波数成分画像とを、前記着目フレーム画像の代わりに出力する出力工程とを備え、
    前記合成工程は、
    前記着目フレーム画像内で、コントラストの変化率が閾値以上のエッジ領域を1つ特定する工程と、
    前記特定したエッジ領域内の画像を第1の画像、前記エッジ領域に対応する前記処理済み画像内の領域内の画像を第2の画像とし、前記第1の画像と前記第2の画像とを、合成比率aで合成することで部分合成画像を生成する第1工程と、
    前記部分合成画像に対してローパスフィルタ処理を施すことで、低周波数成分で構成されている低周波数成分部分画像を生成する第2工程と、
    前記低周波数成分部分画像に対してゲイン補正処理を施すことで前記低周波数成分部分画像を更新し、更新した低周波数成分部分画像と、前記第1の画像と、の差分画像を生成する第3工程と、
    前記第3工程で生成した差分画像を構成する全ての画素値が0以上となるような最小の前記合成比率aを求める計算工程とを備え、
    前記合成工程では、前記計算工程で求めた合成比率aで、前記処理済み画像と前記着目フレーム画像とを合成することで前記合成画像を生成する
    ことを特徴とする画像処理方法。
  14. 動画像を構成する各フレームの画像を処理する画像処理装置が行う画像処理方法であって、
    前記画像処理装置の合成手段が、着目フレーム画像と、当該着目フレーム画像中の各画素の画素値を該画素値及び該画素を囲むそれぞれの画素の画素値のうち最小の画素値に更新する最小値フィルタ処理を実行することで得られる処理済み画像と、を合成することで合成画像を生成する合成工程と、
    前記画像処理装置の第1手段が、前記合成画像に対してローパスフィルタ処理を施すことで、低周波数成分で構成されている低周波数成分画像を生成する第1工程と、
    前記画像処理装置の更新手段が、前記低周波数成分画像に対してゲイン補正処理を施すことで、前記低周波数成分画像を更新する更新工程と、
    前記画像処理装置の第2手段が、前記更新工程で更新された前記低周波数成分画像と前記着目フレーム画像との差分画像を生成する第2工程と、
    前記画像処理装置の計算手段が、前記差分画像を構成する全ての画素値が0以上となるような最小の合成比率aを求める計算工程と、
    前記画像処理装置の制御手段が、前記合成比率aを用いて再度、前記合成工程を実行する制御工程と、
    前記画像処理装置の出力手段が、前記制御工程で制御された前記合成工程で生成した合成画像を用いて前記第1工程、前記更新工程で生成した低周波数成分画像と、当該低周波数成分画像と前記着目フレーム画像とを用いて前記第2工程で生成した差分画像を、前記着目フレーム画像の代わりに出力する出力工程と
    を備えることを特徴とする画像処理方法。
JP2009138647A 2009-06-09 2009-06-09 画像処理装置、画像処理方法 Active JP5398365B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009138647A JP5398365B2 (ja) 2009-06-09 2009-06-09 画像処理装置、画像処理方法
US12/792,986 US8363971B2 (en) 2009-06-09 2010-06-03 Image processing apparatus and image processing method
EP10165300.4A EP2262255B1 (en) 2009-06-09 2010-06-08 Image processing apparatus and image processing method
CN2010101992699A CN101924899B (zh) 2009-06-09 2010-06-09 图像处理设备和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009138647A JP5398365B2 (ja) 2009-06-09 2009-06-09 画像処理装置、画像処理方法

Publications (3)

Publication Number Publication Date
JP2010286568A JP2010286568A (ja) 2010-12-24
JP2010286568A5 JP2010286568A5 (ja) 2012-07-19
JP5398365B2 true JP5398365B2 (ja) 2014-01-29

Family

ID=42635536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009138647A Active JP5398365B2 (ja) 2009-06-09 2009-06-09 画像処理装置、画像処理方法

Country Status (4)

Country Link
US (1) US8363971B2 (ja)
EP (1) EP2262255B1 (ja)
JP (1) JP5398365B2 (ja)
CN (1) CN101924899B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5473373B2 (ja) * 2009-04-01 2014-04-16 キヤノン株式会社 画像処理装置、画像処理方法
JP5324391B2 (ja) * 2009-10-22 2013-10-23 キヤノン株式会社 画像処理装置およびその制御方法
CN105229998B (zh) * 2013-05-22 2018-12-28 索尼半导体解决方案公司 图像处理装置、方法和计算机可读介质
JP2015011130A (ja) * 2013-06-27 2015-01-19 株式会社横須賀テレコムリサーチパーク 画像処理装置、電気泳動表示装置、画像処理方法、及びプログラム
KR102139698B1 (ko) * 2013-11-14 2020-07-31 삼성디스플레이 주식회사 표시 패널의 영상 보정 방법
CN105993032A (zh) * 2014-03-27 2016-10-05 诺日士精密株式会社 图像处理装置
JP6333145B2 (ja) 2014-09-30 2018-05-30 株式会社Screenホールディングス 画像処理方法および画像処理装置
CN107492110A (zh) * 2017-07-31 2017-12-19 腾讯科技(深圳)有限公司 一种图像边缘检测方法、装置和存储介质
JP6904842B2 (ja) * 2017-08-03 2021-07-21 キヤノン株式会社 画像処理装置、画像処理方法
JP7265316B2 (ja) * 2017-12-28 2023-04-26 三星電子株式会社 画像処理装置及び画像処理方法
WO2019132548A1 (en) * 2017-12-28 2019-07-04 Samsung Electronics Co., Ltd. Method and apparatus for processing image and computer program product thereof
JP7262940B2 (ja) 2018-07-30 2023-04-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030052A (ja) * 1998-07-13 2000-01-28 Oki Electric Ind Co Ltd 画像処理装置
JP2000069275A (ja) * 1998-08-24 2000-03-03 Canon Inc 画像処理装置及び画像処理方法
US6390980B1 (en) * 1998-12-07 2002-05-21 Atl Ultrasound, Inc. Spatial compounding with ultrasonic doppler signal information
US6304684B1 (en) * 2000-02-15 2001-10-16 Cyberecord, Inc. Information processing system and method of using same
JP2002351382A (ja) 2001-03-22 2002-12-06 Victor Co Of Japan Ltd ディスプレイ装置
JP2004112422A (ja) 2002-09-19 2004-04-08 Canon Inc 撮像装置
JP4532819B2 (ja) 2002-11-20 2010-08-25 キヤノン株式会社 撮像装置
US7349026B2 (en) * 2004-01-30 2008-03-25 Broadcom Corporation Method and system for pixel constellations in motion adaptive deinterlacer
JP4250543B2 (ja) 2004-02-06 2009-04-08 キヤノン株式会社 撮像装置及び情報処理装置及びそれらの制御方法
JP4260707B2 (ja) * 2004-08-05 2009-04-30 三菱電機株式会社 撮像装置
JP2006180470A (ja) * 2004-11-26 2006-07-06 Canon Inc 画像処理装置及び画像処理方法
TW200623897A (en) * 2004-12-02 2006-07-01 Seiko Epson Corp Image display method, image display device, and projector
JP4794911B2 (ja) 2005-05-31 2011-10-19 キヤノン株式会社 画像処理装置
JP2007036799A (ja) * 2005-07-28 2007-02-08 Kyocera Corp 画像処理装置
JP4172495B2 (ja) * 2006-05-09 2008-10-29 ソニー株式会社 画像表示装置、信号処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2008119059A (ja) 2006-11-08 2008-05-29 Aruze Corp 遊技機及び遊技システム
US8508672B2 (en) * 2006-12-28 2013-08-13 Texas Instruments Incorporated System and method for improving video image sharpness
KR101143833B1 (ko) * 2007-05-29 2012-07-12 삼성테크윈 주식회사 재현성이 높은 휘도 신호를 발생시키는 영상 신호 처리장치
JP5080899B2 (ja) * 2007-08-08 2012-11-21 キヤノン株式会社 映像処理装置及びその制御方法
JP5060200B2 (ja) * 2007-08-08 2012-10-31 キヤノン株式会社 画像処理装置および画像処理方法
JP4926886B2 (ja) * 2007-08-24 2012-05-09 富士フイルム株式会社 画像処理装置、画像処理プログラム
JP5049703B2 (ja) * 2007-08-28 2012-10-17 株式会社日立製作所 画像表示装置、画像処理回路およびその方法
JP2009081617A (ja) * 2007-09-26 2009-04-16 Mitsubishi Electric Corp 画像データ処理装置および画像データ処理方法
TWI384454B (zh) * 2008-03-06 2013-02-01 Sunplus Technology Co Ltd Applicable to the liquid crystal display of the image processing system and methods
JP5464819B2 (ja) 2008-04-30 2014-04-09 キヤノン株式会社 動画像処理装置および方法、プログラム
JP5249166B2 (ja) * 2009-10-06 2013-07-31 キヤノン株式会社 画像処理装置、画像処理方法
JP5324391B2 (ja) * 2009-10-22 2013-10-23 キヤノン株式会社 画像処理装置およびその制御方法
JP5451319B2 (ja) * 2009-10-29 2014-03-26 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5537121B2 (ja) * 2009-10-30 2014-07-02 キヤノン株式会社 画像処理装置およびその制御方法
JP5676874B2 (ja) * 2009-10-30 2015-02-25 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
JP5479064B2 (ja) * 2009-12-11 2014-04-23 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
JP5606054B2 (ja) * 2009-12-16 2014-10-15 キヤノン株式会社 画像処理装置およびその制御方法、プログラム

Also Published As

Publication number Publication date
CN101924899B (zh) 2013-02-20
EP2262255A2 (en) 2010-12-15
US8363971B2 (en) 2013-01-29
EP2262255A3 (en) 2011-10-26
EP2262255B1 (en) 2013-06-05
US20100310191A1 (en) 2010-12-09
CN101924899A (zh) 2010-12-22
JP2010286568A (ja) 2010-12-24

Similar Documents

Publication Publication Date Title
JP5398365B2 (ja) 画像処理装置、画像処理方法
JP4586052B2 (ja) 画像処理装置及びその制御方法
JP5464819B2 (ja) 動画像処理装置および方法、プログラム
JP4231071B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP5451319B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
WO2008062578A1 (fr) Appareil d'affichage d'image
JP2009098574A (ja) 画像処理装置、画像表示装置および画像処理方法
JP5202347B2 (ja) 動画像処理装置および動画像処理方法
JP5479064B2 (ja) 画像処理装置およびその制御方法、プログラム
JP2010028575A (ja) 画像処理装置及びその制御方法
JP5676874B2 (ja) 画像処理装置およびその制御方法、プログラム
JPWO2008016036A1 (ja) 画像処理装置および画像処理方法
JPWO2011155258A1 (ja) 画像処理装置および方法、画像表示装置および方法
JP2011081150A (ja) 画像処理装置、画像処理方法
JP6541326B2 (ja) 画像処理装置及びその制御方法、画像表示装置、コンピュータプログラム
JP5537121B2 (ja) 画像処理装置およびその制御方法
JP5147655B2 (ja) 映像信号処理装置および映像表示装置
JP5340104B2 (ja) 画像処理装置、画像処理方法
KR101577703B1 (ko) 흐림과 이중 윤곽의 효과를 줄이는 비디오 화상 디스플레이방법과 이러한 방법을 구현하는 디바이스
JP2010028576A (ja) 画像処理装置及びその制御方法
JP2010283695A (ja) 画像処理装置、画像処理方法
JP2012252069A (ja) フレーム画像処理装置およびフレーム画像処理方法
JP2010154300A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120604

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121019

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130719

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131022

R151 Written notification of patent or utility model registration

Ref document number: 5398365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151