JP5121639B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP5121639B2 JP5121639B2 JP2008228931A JP2008228931A JP5121639B2 JP 5121639 B2 JP5121639 B2 JP 5121639B2 JP 2008228931 A JP2008228931 A JP 2008228931A JP 2008228931 A JP2008228931 A JP 2008228931A JP 5121639 B2 JP5121639 B2 JP 5121639B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- pixel
- interlaced
- progressive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
本発明は画像処理装置及び画像処理方法に関し、特に、インターレース画像をプログレッシブ画像に変換する際に用いて好適な技術に関する。 The present invention relates to an image processing apparatus and an image processing method, and more particularly, to a technique suitable for use when converting an interlaced image into a progressive image.
動画であるインターレース画像を表示画面に静止画表示したり、または印刷等をしたりする場合、インターレース画像をプログレッシブ画像に変換して、静止画表示または印刷を行っていた。 When displaying an interlaced image, which is a moving image, on a display screen as a still image or printing, the interlaced image is converted into a progressive image, and the still image is displayed or printed.
インターレース・プログレッシブ変換を行う場合は、インターレース画像のフィールド画像間の動きを求め、対となるフィールド画像同士を合成するときに、求めた動き量を参考に画素位置の調整を行ってから合成することも知られている。 When performing interlace / progressive conversion, obtain motion between field images of interlaced images, and when combining paired field images, adjust the pixel position with reference to the obtained motion amount and then compose Is also known.
また、インターレース走査で得られた映像信号に対して、ライン信号を内挿補間してノンインターレース信号を生成する構成において、画像のエッジに応じて補間画素を生成する先行技術もある(例えば、特許文献1参照)。 There is also a prior art that generates interpolated pixels according to the edge of an image in a configuration in which a non-interlaced signal is generated by interpolating a line signal with respect to a video signal obtained by interlaced scanning (for example, patents) Reference 1).
しかしながら、前記従来の技術では、生成されたプログレッシブ画像を観賞するユーザーにとっては、フィールド画像間の動きが大きい箇所等で画像の高域成分が欠落していても視覚的に分からない場合が多かった。また、フィールド画像間の動きの大小に応じてプログレッシブ画像の表示を変えるようにしたり、動きの大きいところをユーザーが認識可能なように明示したりすることができない問題点があった。 However, in the conventional technique, for a user who views the generated progressive image, there are many cases where the high frequency component of the image is missing at a place where the movement between the field images is large, etc. . In addition, there is a problem that it is impossible to change the display of the progressive image according to the magnitude of the motion between the field images, or to clearly indicate the location where the motion is large so that the user can recognize it.
本発明はこのような問題点に鑑み、インターレース画像をプログレッシブ画像に変換した画像における、フィールド画像間の動きによって高域成分の欠落した部分を識別できるようにすることを目的とする。
また、フィールド画像間の動きの大きい部分を明示することにより、動きの少ない好適なプログレッシブ画像を生成できるようにすることを本発明の更なる目的とする。
In view of such problems, an object of the present invention is to make it possible to identify a portion in which a high frequency component is missing due to a motion between field images in an image obtained by converting an interlaced image into a progressive image.
It is a further object of the present invention to make it possible to generate a suitable progressive image with little motion by clearly indicating a portion with a large motion between field images.
上記目的を達成するために、本発明の画像処理装置は、インターレースの画像データをプログレッシブの画像データに変換する画像処理装置であって、前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する検出手段と、前記検出手段により検出された前記画素毎の動き量を所定のしきい値と比較することによって、動きの大きい画素領域を判定する判定手段と、前記インターレースの画像データをプログレッシブの画像データに変換する変換手段と、前記変換手段によって変換されたプログレッシブ画像に含まれる前記判定手段によって判定された前記動きの大きい画素領域に対して、所定のパターンを合成する画像処理手段とを備えることを特徴とする。
また、本発明の他の画像処理装置は、インターレースの画像データをプログレッシブの画像データに変換する画像処理装置であって、前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する検出手段と、前記検出手段により検出された前記画素毎の動き量を所定のしきい値と比較することによって、前記複数のフィールド画像間の動きによって画像の高域成分の欠落した部分を判定する判定手段と、前記インターレースの画像データをプログレッシブの画像データに変換する変換手段と、前記変換手段によって変換されたプログレッシブ画像に含まれる前記判定手段によって判定された前記高域成分の欠落した部分に対して、所定のパターンを合成する画像処理手段とを備えることを特徴とする。
In order to achieve the above object, an image processing apparatus according to the present invention is an image processing apparatus that converts interlaced image data into progressive image data, and includes pixels between a plurality of field images constituting the interlaced image data. Detecting means for detecting a motion amount for each pixel; determining means for determining a pixel region having a large motion by comparing the motion amount for each pixel detected by the detecting means with a predetermined threshold; and the interlace A predetermined pattern is combined with the pixel area determined by the determining means included in the progressive image converted by the converting means and the converting means for converting the image data into progressive image data. And an image processing means.
Another image processing apparatus of the present invention is an image processing apparatus that converts interlaced image data into progressive image data, and a motion amount for each pixel between a plurality of field images constituting the interlaced image data. And a portion where the high frequency component of the image is lost due to the motion between the plurality of field images by comparing the motion amount for each pixel detected by the detection device with a predetermined threshold. Determination means for determining the interlaced image data into progressive image data, and lack of the high-frequency component determined by the determination means included in the progressive image converted by the conversion means And image processing means for synthesizing a predetermined pattern with the portion. .
また、本発明の画像処理方法は、インターレースの画像データをプログレッシブの画像データに変換する画像処理方法であって、前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する工程と、前記検出された前記画素毎の動き量を所定のしきい値と比較することによって、動きの大きい画素領域を判定する工程と、前記インターレースの画像データをプログレッシブの画像データに変換する工程と、前記変換されたプログレッシブ画像に含まれる前記動きの大きい画素領域に対して、所定のパターンを合成する工程とを有することを特徴とする。
また、本発明の他の画像処理方法は、インターレースの画像データをプログレッシブの画像データに変換する画像処理方法であって、前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する工程と、前記検出された前記画素毎の動き量を所定のしきい値と比較することによって、前記複数のフィールド画像間の動きによって画像の高域成分の欠落した部分を判定する工程と、前記インターレースの画像データをプログレッシブの画像データに変換する工程と、前記変換されたプログレッシブ画像に含まれる前記高域成分の欠落した部分に対して、所定のパターンを合成する工程とを有することを特徴とする。
The image processing method of the present invention is an image processing method for converting interlaced image data into progressive image data, and detects a motion amount for each pixel between a plurality of field images constituting the interlaced image data. Comparing the detected motion amount for each pixel with a predetermined threshold value to determine a pixel region having a large motion, and converting the interlaced image data into progressive image data. And a step of synthesizing a predetermined pattern with the pixel region having a large motion included in the converted progressive image.
Another image processing method of the present invention is an image processing method for converting interlaced image data into progressive image data, and a motion amount for each pixel between a plurality of field images constituting the interlaced image data. And a step of determining a missing portion of the high frequency component of the image by the motion between the plurality of field images by comparing the detected amount of motion for each pixel with a predetermined threshold value. And converting the interlaced image data into progressive image data, and synthesizing a predetermined pattern with the missing portion of the high frequency component included in the converted progressive image. It is characterized by.
本発明によれば、インターレース画像をプログレッシブ画像に変換した画像において、高域成分の欠落を容易に識別することができるようになる。また、フィールド画像間の動きの大きい部分が明示されることによって、動きの少ない好適なプログレッシブ画像を生成、或いは選択できるようになる。 According to the present invention, it is possible to easily identify missing high-frequency components in an image obtained by converting an interlaced image into a progressive image. In addition, by specifying a portion where the motion between the field images is large, it is possible to generate or select a suitable progressive image with little motion.
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
図1は、本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。
図1において、10が画像処理装置である。なお、20は再生装置、30は表示装置であって、再生装置20は画像処理装置10内の入力端子101に接続され、表示装置30は画像処理装置10内の出力端子108に接続される。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration example of an image processing apparatus according to an embodiment of the present invention.
In FIG. 1,
画像処理装置10において、101は入力端子であり、再生装置20からインターレース走査の画像データが入力される。102は制御回路(CPU)であり、103はメモリであり、104はデータバスであり、105はデコーダであり、106はエッジ検出回路である。また、107はインターレース・プログレッシブ変換回路(IP変換回路)であり、インターレース走査の画像データをプログレッシブ走査の画像データに変換する。108はプログレッシブ変換された画像データを出力するための出力端子である。
In the
次に、このように構成された本実施形態の画像処理装置10の動作を説明する。
入力端子101よって、再生装置20で再生された画像データが入力される。ここで、入力される画像データは、例えばMPEG(Moving Picture Experts Group)などの圧縮符号化方法によって圧縮符号化されたインターレースの圧縮画像データである。入力された圧縮画像データは、データバス104を介して、デコーダ105に入力される。
Next, the operation of the
The image data reproduced by the
デコーダ105に入力された圧縮画像データは、所定の復号方式によってデコードされ、デコード画像となり、データバス104を介して、メモリ103に記憶される。メモリ103内に記憶されたデコード画像がCPU102の制御に従って読み出され、各部に供給される。この場合、CPU102は、データの読み出し手段として機能する。
The compressed image data input to the
インターレースの画像データをそのままの形態で出力する場合は、メモリ103から読み出された画像データがデータバス104を介して、出力端子108に供給される。そして、出力端子108から表示装置30へ画像データが出力される。
When interlaced image data is output as it is, the image data read from the
一方、インターレースの画像データをプログレッシブの画像データに変換する場合は、メモリ103から読み出された画像データが画面表示順に、データバス104を介して、エッジ検出回路106、及び、IP変換回路107に供給される。
On the other hand, when interlaced image data is converted into progressive image data, the image data read from the
エッジ検出回路106は、入力されたデコード画像であるインターレース画像に含まれるフィールド画像毎にエッジを検出する。エッジの検出は、1画素単位、或いは、画素ブロック単位で行われる。そして、CPU102は、エッジ検出回路106で検出されたエッジの位置や移動量等に関する情報(エッジ情報)を取得して、エッジ情報に基づいて、インターレース画像からプログレッシブ画像への変換を制御する。
The
インターレース画像からプログレッシブ画像への変換は、IP変換回路107において行われる。具体的に、IP変換回路107は、入力されたデコード画像のうち、連続する2枚のフィールド画像を合成して、プログレッシブ画像を逐次生成する。
The conversion from the interlaced image to the progressive image is performed in the
また、IP変換回路107は、インターレース画像からプログレッシブ画像への変換処理を行うとともに、CPU102の制御に従って、フィールド画像間でエッジが移動している部分に対して補正処理と特殊処理とを行う。補正処理とはエッジの移動した分を打ち消すように合成する画像を修整する処理である。また、特殊処理とは、エッジが極端に移動している部分、すなわち、フィールド画像間で動きの大きい部分を視覚的に目立つように画像加工する処理である。それは、インターレース画像をプログレッシブ画像に変換した際に見られる、フィールド画像間の動きによって高域成分の欠落した部分を明示するための強調処理でもある。なお、インターレース画像をプログレッシブ画像に変換する際の具体的な説明は後述する。
The
IP変換回路107において変換処理されることにより、プログレッシブ画像となったデコード画像は、データバス104を介してメモリ103に再び記憶される。その後、再びCPU102によって読み出され、データバス104を介して出力端子108に供給され、表示装置30へ出力することが可能となる。
The decoded image that has become a progressive image by the conversion processing in the
ここで、CPU102と、エッジ検出回路106と、IP変換回路107とに関連するインターレース・プログレッシブ変換に係る処理の一例を説明する。
図2は、インターレース画像の一例を示す図である。このインターレース画像がメモリ103から、IP変換回路107に供給される。さらに、同じインターレース画像がエッジ検出回路106にも供給される。
Here, an example of processing related to interlace / progressive conversion related to the
FIG. 2 is a diagram illustrating an example of an interlaced image. This interlaced image is supplied from the
図3(a)及び図3(b)は、それぞれフィールド画像の例を示す図である。エッジ検出回路106は、入力されたインターレース画像を、図3(a)、図3(b)のようにフィールド毎の画像に分割してから、各フィールド画像についてエッジ検出を行う。図4(a)及び図4(b)は、それぞれフィールド画像のエッジ検出結果の例を示す図である。図3(a)及び図3(b)の各フィールド画像に対して、エッジ検出回路106がエッジ検出した結果が、それぞれ図4(a)及び図4(b)のように示される。さらに、エッジ検出回路106は、図4(a)及び図4(b)の如きフィールド画像毎のエッジ同士を比較し、エッジが検出された画素の移動画素数を算出する。
FIG. 3A and FIG. 3B are diagrams showing examples of field images, respectively. The
図5(a)及び図5(b)は、それぞれフィールド画像のエッジ検出結果の一部を拡大した様子を示す図である。図4(a)及び図4(b)のようなフィールド画像同士のエッジを、図5(a)及び図5(b)のように画素レベルで比較することにより、移動画素数を算出することができる。図5(a)及び図5(b)の例では、エッジがX軸方向(画面の水平方向)に14画素分移動したことが分かる。なお、本実施形態では、X軸方向の移動を例に示したが、インターレース画像のフィールド間の動き量判定を行う場合にはX軸、Y軸(画面の垂直方向)のそれぞれについての移動画素数を算出する。 FIG. 5A and FIG. 5B are diagrams illustrating a state in which a part of the edge detection result of the field image is enlarged. The number of moving pixels is calculated by comparing the edges of field images as shown in FIGS. 4A and 4B at the pixel level as shown in FIGS. 5A and 5B. Can do. In the example of FIGS. 5A and 5B, it can be seen that the edge has moved by 14 pixels in the X-axis direction (the horizontal direction of the screen). In the present embodiment, the movement in the X-axis direction is shown as an example. However, in the case of performing the motion amount determination between the fields of the interlaced image, the moving pixel for each of the X-axis and the Y-axis (the vertical direction of the screen) Calculate the number.
なお、エッジ検出に用いるのは、例えば、Cannyフィルタやラプラシアンフィルタがある。これらのフィルタの係数を変更することでエッジの検出度合を変更できるため、係数を変更し、エッジ検出可能な画素の移動を求めることが可能である。さらに、エッジ検出されない画素の移動は周辺画素の移動画素数から求めることも可能である。 For example, a Canny filter or a Laplacian filter is used for edge detection. Since the degree of edge detection can be changed by changing the coefficients of these filters, it is possible to change the coefficients and obtain the movement of pixels capable of edge detection. Furthermore, the movement of pixels whose edges are not detected can be obtained from the number of moving pixels of the peripheral pixels.
エッジ検出回路106によりフィールド画像間のエッジの動きが検出されると、CPU102は、IP変換回路107で行われるインターレース・プログレッシブ変換処理に対して、エッジの動きに応じた補正制御を行う。そして、IP変換回路107は、CPU102による補正指示に従いながら、連続する2枚のフィールド画像から1枚のプログレッシブ画像を逐次生成する。
When the edge movement between the field images is detected by the
ここで、IP変換回路107によって生成されるプログレッシブ画像について説明する。
図6は、インターレース画像からプログレッシブ画像に変換したときの例を示す図である。図6の例のように、動きの補正を行いながらインターレース・プログレッシブ変換を行った画像は、図2で示したようなインターレース画像をそのまま表示したものとは異なり、フィールド間のブレは無くなっている。
Here, a progressive image generated by the
FIG. 6 is a diagram illustrating an example when an interlaced image is converted to a progressive image. As in the example of FIG. 6, an image obtained by performing interlace / progressive conversion while correcting for motion is different from a display of an interlaced image as shown in FIG. 2 as it is, and there is no blur between fields. .
しかし、特に動きが速い被写体の画像に対しては、補正処理がうまくできなかったり、そもそも撮影時に高域部が失われていたりするので、プログレッシブ画像に変換しても、良好な画像とはならない。すなわち、フィールド画像間の動きによって高域成分の欠落した部分を含むプログレッシブ画像となる。 However, especially for fast-moving subject images, the correction process cannot be performed well, or the high frequency area is lost in the first place, so even if converted to a progressive image, it will not be a good image. . That is, it becomes a progressive image including a portion where a high frequency component is missing due to movement between field images.
そこで、本実施形態においては、IP変換回路107は前述した特殊処理を行う。特殊処理を具体的に説明する。まず、CPU102はエッジ検出回路106からのエッジ画素の動き量を示すエッジ情報を取得する。そして、CPU102は、エッジ情報を基にして、2枚のフィールド画像をプログレッシブ画像に変換したときのエッジの移動画素数を判定する。さらに、その判定結果に基づいて、CPU102は、IP変換回路107に対して、上記2枚のフィールド画像から生成されるプログレッシブ画像を加工(強調処理)するための指示を出す。
Therefore, in the present embodiment, the
CPU102は、動き量が所定のしきい値以上となるエッジ画素は高域成分が欠落していると判定し、生成されるプログレッシブ画像に対して、高域成分の欠落した部分を視覚的に認識できるような強調処理をIP変換回路107に行わせる。
The
ここで、上記の強調処理に関する画像処理として、例えば、エッジの動きが所定のしきい値よりも大きい領域または小さい領域のうち、どちらか一方の画素領域に別の画像信号を重ねて合成する例を考慮することができる。合成する別の画像信号を所定のパターン、例えば、ゼブラパターン信号とすることにより、特定領域にゼブラパターンを合成することができる。 Here, as the image processing related to the enhancement processing, for example, an example in which another image signal is superimposed on one of the pixel regions of the region where the edge motion is larger or smaller than a predetermined threshold is combined. Can be considered. By using another image signal to be synthesized as a predetermined pattern, for example, a zebra pattern signal, a zebra pattern can be synthesized in a specific area.
また、上記特定領域の色相を変えるようにしてもよいし、さらにゼブラパターンと組み合わせて用いてもよい。勿論、所定のパターンはゼブラパターンに限らず、その他の模様のパターンであってもよい。また、動きのある画素の輝度を反転させてもよいし、フレーム又はフィールド単位で明滅するように表示させてもよい。更には、動きのある画素を周辺画素との平均値で置き換えて、高域成分の減少している画素が、より一層ぼやけて見えるような強調表示を行ってもよい。 Further, the hue of the specific area may be changed, or may be used in combination with a zebra pattern. Of course, the predetermined pattern is not limited to the zebra pattern, and may be a pattern having another pattern. In addition, the luminance of the moving pixels may be reversed, or may be displayed so as to blink in units of frames or fields. Furthermore, highlighting may be performed so that pixels with reduced high-frequency components appear to be more blurred by replacing moving pixels with the average value of the surrounding pixels.
図7は、上記のように、動きの大きかった部分にゼブラパターンを合成したプログレッシブ画像を示す図である。本実施形態によれば、表示装置30において、図7の如きプログレッシブ画像の表示画像を表示することができる。なお、本実施形態におけるゼブラパターンとは、輝度レベルが第1及び第2のしきい値レベル範囲内にある斜め縞模様(ストライプ)である。上記した第1のしきい値レベルとは画像として識別できる黒レベルの値であり、第2のしきい値レベルとは画像の輝度が飽和しない程度の白レベルの値である。
FIG. 7 is a diagram illustrating a progressive image in which a zebra pattern is combined with a portion having a large movement as described above. According to the present embodiment, the
本実施形態によれば、ゼブラパターンをデコード画像の特定領域に合成することによって、図7のようにデコード画像中の移動物体などに縞模様が重なって表示されることになる。 According to the present embodiment, by combining the zebra pattern with the specific area of the decoded image, the striped pattern is displayed so as to overlap the moving object or the like in the decoded image as shown in FIG.
なお、本実施形態では、IP変換回路107が画像の強調処理を行う構成としたが、プログレッシブ変換された画像をメモリ103に保存した後、CPU102の制御によってメモリ103上で所定のパターン(ゼブラパターン)を合成するように構成してもよい。また、生成されるプログレッシブ画像を直接加工せず、別の画像レイヤーとしての所定のパターン(ゼブラパターン)を、生成されたプログレッシブ画像にオーバーレイ表示させるように変形してもよい。
In this embodiment, the
図8は、動き判定して、動きの大きい部分を強調表示する処理手順の概略を示すフローチャートである。
図8において、まず、CPU102は、動画ポーズ中か否かを判定する(ステップS81)。ステップS81の処理は、再生装置20から入力される画像データが、再生装置20が動画再生中によるものであるか、動画ポーズ中によるものであるかを判定する工程である。
FIG. 8 is a flowchart showing an outline of a processing procedure for determining a motion and highlighting a portion with a large motion.
In FIG. 8, first, the
動画ポーズ中である場合(ステップS81でYES)、CPU102は、エッジの動き量を判定するためのしきい値を「しきい値=P」にセットする(ステップS82)。一方、動画ポーズ中でない場合(ステップS81でNO)、CPU102は、エッジの動き量を判定するためのしきい値を「しきい値=Q」にセットする(ステップS83)。なお、動画ポーズ中は再生画像が静止画として表示される状態である。この場合、1画面を詳細に観察して評価する目的である。
When the moving image pause is being performed (YES in step S81), the
一方、動画再生中は複数画面を粗く観察する目的である。よって、しきい値Pは、しきい値Qよりも低い値とし、しきい値Pの方がエッジ検出されやすい状態となる。なお、しきい値P及びしきい値Qは予め用意されてメモリ103に記憶されており、CPU102がパラメータを選択的に用いる構成とする。
On the other hand, during moving image reproduction, the purpose is to roughly observe a plurality of screens. Therefore, the threshold value P is set to a value lower than the threshold value Q, and the threshold value P is in a state where edge detection is easier. The threshold value P and the threshold value Q are prepared in advance and stored in the
次に、エッジ検出回路106が、入力されたインターレース画像を構成する、フィールド画像毎にエッジを検出する(ステップS84)。
次に、エッジ検出回路106は、エッジが検出された画素(エッジ画素)についての移動画素数を算出する(ステップS85)。エッジ画素の移動画素数の算出は、前述したようにフィールド画像同士のエッジを比較することにより行う。
Next, the
Next, the
ここで、エッジ画素の移動画素数の求め方について説明する。図9は、エッジ画素の移動画素数の求め方を説明するための図である。図9において、横線はフィールド内のある1ラインである。そして、同じ1ラインについて、N−1番目のフィールド、N番目のフィールド、N+1番目のフィールドの3フィールド分を示している。黒丸はライン上に存在する画素を示したものである。 Here, how to determine the number of moving pixels of edge pixels will be described. FIG. 9 is a diagram for explaining how to determine the number of moving pixels of edge pixels. In FIG. 9, the horizontal line is one line in the field. Further, for the same one line, three fields of the (N−1) th field, the Nth field, and the (N + 1) th field are shown. Black circles indicate the pixels present on the line.
N−1番目のフィールドとN+1番目のフィールドは同じ偶数フィールドであるから垂直方向に同じ位置に画素が存在し、N番目のフィールドは奇数フィールドであるから1画素分ずれた位置に画素が存在している。N−1番目のフィールドのライン上の画素を例にすると、i−4、i−2、i、i+2、i+4の位置に画素が存在することになる。すなわち、各フィールドにおいて、画素の位置はi+2x(xは整数)で表せ、フィールドの1つおきに1画素ずつ、ずれて配置している。 Since the (N−1) -th field and the (N + 1) -th field are the same even field, there are pixels at the same position in the vertical direction, and the N-th field is an odd field, so there is a pixel at a position shifted by one pixel. ing. Taking the pixel on the line of the (N-1) th field as an example, the pixel exists at the positions i-4, i-2, i, i + 2, and i + 4. That is, in each field, the position of the pixel can be expressed by i + 2x (x is an integer), and is shifted by one pixel every other field.
エッジ検出回路106は、例えばN番目のフィールドに含まれるエッジ画素の移動画素数を算出する際には、N−1番目のフィールドとの画素移動量を求め、さらに、N+1番目のフィールドとの画素移動量を求める。
For example, when calculating the number of moving pixels of the edge pixel included in the Nth field, the
このとき、エッジ検出回路106は、補間画素p[N][i](図9の白丸)を求める。そして、時間的相関からp[N][i]を点対称とするp[N−1][i−y]とp[N+1][i+y] (yは0以上の整数)によって、複数方向について画素の動きを求める。これは、次の式1で表わすことができる。
|p[N−1][i−y] - p[N+1][i+y]| ・・・(式1)
At this time, the
| P [N−1] [i−y] −p [N + 1] [i + y] | (Formula 1)
前述した式1の計算の結果、最小値となった値が最も時間相関が高いこととなり、そのときのyが移動画素数であると決定する。このようにして、各フィールドの画素(エッジ画素)毎に移動画素数を求めることができる。
As a result of the calculation of
次に、CPU102は、ステップS85で算出された移動画素数と、ステップS82またはステップS83でセットされたしきい値とを比較して、画素毎の動き量が所定の動き量よりも大きいか否か(動きの大小)を判定する(ステップS86)。この判定の結果、移動画素数がしきい値以上である画素の場合(ステップS86でYES)、CPU102、及び、IP変換回路107は、動きの大きかった画素領域に対する強調表示のための画像処理を行い(ステップS87)、このフローは終了となる。
Next, the
一方、ステップS86の判定の結果、移動画素数がしきい値未満である画素の場合(ステップS86でNO)、その画素領域に対する強調表示は行われず、このフローは終了となる。 On the other hand, if the result of determination in step S86 is that the number of moving pixels is less than the threshold value (NO in step S86), highlighting is not performed for that pixel area, and this flow ends.
次に、図8のステップS87で行われる強調表示のための画像処理について、図10のフローチャートを用いて詳細に説明する。図10は、動きの大きい部分を強調表示する処理手順の詳細なフローチャートである。 Next, the image processing for highlighting performed in step S87 of FIG. 8 will be described in detail using the flowchart of FIG. FIG. 10 is a detailed flowchart of a processing procedure for highlighting a portion with a large movement.
主な画素の動きの原因は、画像データを生成したときの、撮像素子の受光時間と被写体の動き量によって発生する撮像ぼけの影響である。本実施形態によれば、そのような被写体の動きによって、インターレース画像をプログレッシブ画像に変換した場合に高域成分が低下してしまう部分を、図10の処理のように所定のパターンを合成することによって強調して表示することができる。 The main cause of pixel movement is the influence of imaging blur caused by the light receiving time of the image sensor and the amount of motion of the subject when image data is generated. According to the present embodiment, a predetermined pattern is synthesized as in the process of FIG. 10 at a portion where the high frequency component is reduced when an interlaced image is converted into a progressive image due to the movement of the subject. Can be highlighted.
図10において、IP変換回路107は、入力されたインターレース画像を構成する連続する2枚のフィールド画像をプログレッシブ画像に変換する(ステップS101)。
次に、IP変換回路107は、CPU102からの制御情報に従って、プログレッシブ画像中の各画素が、しきい値以上移動した画素であるか否かを判定する(ステップS102)。
In FIG. 10, the
Next, the
しきい値以上移動した画素ではない場合(ステップS102でNO)、IP変換回路107は、その画素を現画像のまま出力する(ステップS103)。すなわち、動きの少ない画素の強調処理は行われない。
If the pixel has not moved beyond the threshold (NO in step S102), the
一方、しきい値以上移動した画素である場合(ステップS102でYES)、IP変換回路107は、CPU102からの制御情報に従って、特定領域内の画素にゼブラパターンを合成する(ステップS104)。ここで、特定領域とは、移動画素数がしきい値以上である画素領域である。
On the other hand, if the pixel has moved beyond the threshold value (YES in step S102), the
そして、1枚のプログレッシブ画像の変換処理、及び強調表示に係る画像処理が終了すると、次のフレームの処理へと進むか否かを判定する(ステップS105)。動画再生中ならば次のフレームへ進むことになり(ステップS105でYES)、ステップS101に戻り、次以降のインターレース画像についてもプログレッシブ画像の変換処理、及び強調表示に係る画像処理を繰り返す。 Then, when the conversion processing of one progressive image and the image processing related to highlighting are completed, it is determined whether or not to proceed to the processing of the next frame (step S105). If a moving image is being played back, the process proceeds to the next frame (YES in step S105), and the process returns to step S101 to repeat the progressive image conversion process and the image process related to highlight display for the next and subsequent interlaced images.
一方、動画ポーズ中ならば次のフレームへは進まず(ステップS105でNO)、このフローは終了となる。なお、動画再生中の場合も、再生が停止された場合にはこのフローは強制終了される。 On the other hand, if the video is paused, the process does not proceed to the next frame (NO in step S105), and this flow ends. Even when the moving image is being reproduced, this flow is forcibly terminated when the reproduction is stopped.
本実施形態によれば、ステップS104においてゼブラパターンの合成されたプログレッシブ画像を表示装置30等で表示することにより、変換されたプログレッシブ画像のうち高域成分が欠落している領域をユーザーに明示することができる。また、プログレッシブ変換された画像の画素領域毎にゼブラパターンの合成及び非合成が選択できるので、動きのある部分のみにゼブラパターンを表示し、動きの少ない部分は原画像のまま表示することができる。このような処理を行うことによって、所望する被写体について高域成分まで十分含んでいる画像であるか、高域成分が欠落している画像であるかを、ユーザーが容易に判定することができる。
According to the present embodiment, in step S104, the progressive image combined with the zebra pattern is displayed on the
本実施形態では、所定パターン(ゼブラパターン)の表示または非表示はCPU102が制御している。また、CPU102は、動画再生中か動画ポーズ中かに応じて、エッジの動き量を判定するためのしきい値を変更する機能を有する。
In the present embodiment, the
さらに、CPU102は、再生装置20の動作モード(動画再生モード、静止画再生モード、プリント画像を選択するモード等)に応じて、エッジの動き量を判定するためのしきい値を変更する機能も有する。例えば、動画再生モードならば、高いしきい値をセットして、極端に動いているエッジ画素だけを強調表示するようにする。
Further, the
また、静止画再生モードやプリント画像を選択するモードが実行されたときは、低いしきい値をセットして画像の細部までユーザーがチェックできるようにするとよい。その結果、静止画表示や、プリント画像の選択時には、ユーザーが最も動きの少なく、最も高域成分の保たれたプログレッシブ画像を選ぶこともできるようになるであろう。なお、静止画再生モードよりも、プリント画像を選択するモードの方を、さらにしきい値を低くセットするようにしてもよい。 When a still image reproduction mode or a print image selection mode is executed, a low threshold value may be set so that the user can check the details of the image. As a result, when a still image is displayed or a print image is selected, the user will be able to select a progressive image that has the least movement and retains the highest frequency component. Note that the threshold may be set lower in the mode for selecting a print image than in the still image reproduction mode.
以上、本実施形態によれば、インターレース画像をプログレッシブ画像に変換した画像において高域成分の欠落を容易に識別することができるようになる。また、フィールド画像間の動きの大きい部分が明示されることによって、動きの少ない好適なプログレッシブ画像を生成、或いは選択できるようになる。
(本発明に係る他の実施の形態)
前述した本発明の実施の形態における画像処理装置を構成する各手段は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
As described above, according to the present embodiment, it is possible to easily identify missing high-frequency components in an image obtained by converting an interlaced image into a progressive image. In addition, by specifying a portion where the motion between the field images is large, it is possible to generate or select a suitable progressive image with little motion.
(Another embodiment according to the present invention)
Each means constituting the image processing apparatus according to the embodiment of the present invention described above can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。 In addition, the present invention can be implemented as a system, apparatus, method, program, storage medium, or the like, and can be applied to a system composed of a plurality of devices. Moreover, you may apply to the apparatus which consists of one apparatus.
なお、本発明は、前述した画像処理方法における各工程を実行するソフトウェアのプログラム(実施の形態では図8及び図10に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 In the present invention, a software program (in the embodiment, a program corresponding to the flowcharts shown in FIGS. 8 and 10) for executing each step in the above-described image processing method is directly or remotely supplied to the system or apparatus. To do. In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.
したがって、本発明の実施形態に係る機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の実施形態に係る機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。 Therefore, the program code installed in the computer in order to realize the functional processing according to the embodiment of the present invention by the computer also realizes the present invention. That is, the computer program itself for realizing the functional processing according to the embodiment of the present invention is also included in the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などがある。
In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
Various recording media can be used as a recording medium for supplying the program. For example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD- R).
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明の実施形態に係るコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 As another program supply method, a browser on a client computer is used to connect to an Internet home page. Then, the computer program itself according to the embodiment of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading to a recording medium such as a hard disk.
また、本発明の実施形態に係るプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の実施形態に係る機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザーに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program according to the embodiment of the present invention into a plurality of files and downloading each file from a different home page. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing according to the embodiment of the present invention by a computer is also included in the present invention.
また、本発明の実施形態に係るプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザーに配布し、所定の条件を満足したユーザーに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 Further, the program according to the embodiment of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and decrypted from a home page via the Internet for users who satisfy predetermined conditions. Download key information. It is also possible to execute the encrypted program by using the key information and install the program on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行うことによっても前述した実施の形態の機能が実現され得る。 In addition to the functions of the above-described embodiments being realized by the computer executing the read program, the OS running on the computer performs part or all of the actual processing. Also, the functions of the above-described embodiments can be realized.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。 Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.
10 画像処理装置
20 再生装置
30 表示装置
101 入力端子
102 制御回路(CPU)
103 メモリ
104 データバス
105 デコーダ
106 エッジ検出回路
107 インターレース・プログレッシブ変換回路(IP変換回路)
108 出力端子
DESCRIPTION OF
103
108 Output terminal
Claims (12)
前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する検出手段と、
前記検出手段により検出された前記画素毎の動き量を所定のしきい値と比較することによって、動きの大きい画素領域を判定する判定手段と、
前記インターレースの画像データをプログレッシブの画像データに変換する変換手段と、
前記変換手段によって変換されたプログレッシブ画像に含まれる前記判定手段によって判定された前記動きの大きい画素領域に対して、所定のパターンを合成する画像処理手段とを備えることを特徴とする画像処理装置。 An image processing device for converting interlaced image data into progressive image data,
Detecting means for detecting a motion amount for each pixel between a plurality of field images constituting the interlaced image data;
A determination unit that determines a pixel region having a large movement by comparing the amount of movement of each pixel detected by the detection unit with a predetermined threshold;
Conversion means for converting the interlaced image data into progressive image data;
An image processing apparatus comprising: an image processing unit that synthesizes a predetermined pattern with respect to the pixel region having a large motion determined by the determination unit included in the progressive image converted by the conversion unit.
前記判定手段は、前記再生手段が動画再生モードである場合と、静止画再生モードである場合とで、前記所定のしきい値を変更することを特徴とする請求項1又は2に記載の画像処理装置。 Reproducing means for reproducing the interlaced image data,
3. The image according to claim 1, wherein the determination unit changes the predetermined threshold value when the reproduction unit is in a moving image reproduction mode and when the reproduction unit is in a still image reproduction mode. 4. Processing equipment.
前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する検出手段と、
前記検出手段により検出された前記画素毎の動き量を所定のしきい値と比較することによって、前記複数のフィールド画像間の動きによって画像の高域成分の欠落した部分を判定する判定手段と、
前記インターレースの画像データをプログレッシブの画像データに変換する変換手段と、
前記変換手段によって変換されたプログレッシブ画像に含まれる前記判定手段によって判定された前記高域成分の欠落した部分に対して、所定のパターンを合成する画像処理手段とを備えることを特徴とする画像処理装置。 An image processing device for converting interlaced image data into progressive image data,
Detecting means for detecting a motion amount for each pixel between a plurality of field images constituting the interlaced image data;
A determination unit that determines a missing portion of a high-frequency component of an image due to the movement between the plurality of field images by comparing the amount of movement of each pixel detected by the detection unit with a predetermined threshold;
Conversion means for converting the interlaced image data into progressive image data;
Image processing means comprising: an image processing means for synthesizing a predetermined pattern with respect to a portion lacking the high frequency component determined by the determination means included in the progressive image converted by the conversion means. apparatus.
前記判定手段は、前記再生手段が動画再生モードである場合と、静止画再生モードである場合とで、前記所定のしきい値を変更することを特徴とする請求項6又は7に記載の画像処理装置。 Reproducing means for reproducing the interlaced image data,
8. The image according to claim 6, wherein the determination unit changes the predetermined threshold value when the reproduction unit is in a moving image reproduction mode and when the reproduction unit is in a still image reproduction mode. Processing equipment.
前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する工程と、
前記検出された前記画素毎の動き量を所定のしきい値と比較することによって、動きの大きい画素領域を判定する工程と、
前記インターレースの画像データをプログレッシブの画像データに変換する工程と、
前記変換されたプログレッシブ画像に含まれる前記動きの大きい画素領域に対して、所定のパターンを合成する工程とを有することを特徴とする画像処理方法。 An image processing method for converting interlaced image data into progressive image data,
Detecting a motion amount for each pixel between a plurality of field images constituting the interlaced image data;
Determining a pixel area having a large movement by comparing the detected amount of movement for each pixel with a predetermined threshold;
Converting the interlaced image data into progressive image data;
And a step of synthesizing a predetermined pattern with the pixel region having a large motion included in the converted progressive image.
前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する工程と、
前記検出された前記画素毎の動き量を所定のしきい値と比較することによって、前記複数のフィールド画像間の動きによって画像の高域成分の欠落した部分を判定する工程と、
前記インターレースの画像データをプログレッシブの画像データに変換する工程と、
前記変換されたプログレッシブ画像に含まれる前記高域成分の欠落した部分に対して、所定のパターンを合成する工程とを有することを特徴とする画像処理方法。 An image processing method for converting interlaced image data into progressive image data,
Detecting a motion amount for each pixel between a plurality of field images constituting the interlaced image data;
Determining the missing portion of the high frequency component of the image by the motion between the plurality of field images by comparing the detected amount of motion for each pixel with a predetermined threshold;
Converting the interlaced image data into progressive image data;
And a step of synthesizing a predetermined pattern with a portion lacking the high frequency component included in the converted progressive image.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008228931A JP5121639B2 (en) | 2007-09-28 | 2008-09-05 | Image processing apparatus and image processing method |
US12/239,268 US8345157B2 (en) | 2007-09-28 | 2008-09-26 | Image processing apparatus and image processing method thereof |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007255367 | 2007-09-28 | ||
JP2007255367 | 2007-09-28 | ||
JP2008228931A JP5121639B2 (en) | 2007-09-28 | 2008-09-05 | Image processing apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009100457A JP2009100457A (en) | 2009-05-07 |
JP5121639B2 true JP5121639B2 (en) | 2013-01-16 |
Family
ID=40702986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008228931A Expired - Fee Related JP5121639B2 (en) | 2007-09-28 | 2008-09-05 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5121639B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5499600B2 (en) * | 2009-09-29 | 2014-05-21 | 株式会社ニコン | Image reproduction apparatus and image reproduction program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3572882B2 (en) * | 1997-08-26 | 2004-10-06 | 松下電器産業株式会社 | Progressive scan conversion circuit |
JP2005184421A (en) * | 2003-12-19 | 2005-07-07 | Hitachi Ltd | Image information recorder-player and method therefor |
-
2008
- 2008-09-05 JP JP2008228931A patent/JP5121639B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009100457A (en) | 2009-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4444354B2 (en) | Image processing apparatus and image processing method | |
JP5243833B2 (en) | Image signal processing circuit, image display device, and image signal processing method | |
WO2007015452A1 (en) | Digital watermark padding method, digital watermark padding device, digital watermark detecting method, digital watermark detecting device, and program | |
JP2010041336A (en) | Image processing unit and image processing method | |
JP4924228B2 (en) | Image processing apparatus, image processing method, and program | |
JP2010199976A (en) | Image processor and image processing method | |
US9215353B2 (en) | Image processing device, image processing method, image display device, and image display method | |
JP4528857B2 (en) | Image processing apparatus and image processing method | |
US8385430B2 (en) | Video signal processing apparatus and video signal processing method | |
JP4427592B2 (en) | Image processing apparatus and image processing method | |
JP7014158B2 (en) | Image processing equipment, image processing method, and program | |
JP5178579B2 (en) | Image processing device | |
JP5121639B2 (en) | Image processing apparatus and image processing method | |
US8345157B2 (en) | Image processing apparatus and image processing method thereof | |
JP4484775B2 (en) | Playback apparatus and playback method | |
JP5130171B2 (en) | Image signal processing apparatus and image signal processing method | |
JP2011040836A (en) | Frame interpolation device and frame interpolation method | |
JP5225123B2 (en) | Moving image processing apparatus, moving image processing method, program, and recording medium | |
JP4869302B2 (en) | Image processing apparatus and image processing method | |
JP5096883B2 (en) | Image processing apparatus and image recording / reproducing apparatus | |
JP4991884B2 (en) | Image processing apparatus and image processing method | |
JP4270071B2 (en) | Video signal setting device | |
JP4897036B2 (en) | Image processing apparatus and image processing method | |
JP2010041633A (en) | Video signal processing apparatus, video display, and video signal processing method | |
JP5075923B2 (en) | Image processing apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110905 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120925 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121023 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151102 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151102 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |