JP5121639B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP5121639B2
JP5121639B2 JP2008228931A JP2008228931A JP5121639B2 JP 5121639 B2 JP5121639 B2 JP 5121639B2 JP 2008228931 A JP2008228931 A JP 2008228931A JP 2008228931 A JP2008228931 A JP 2008228931A JP 5121639 B2 JP5121639 B2 JP 5121639B2
Authority
JP
Japan
Prior art keywords
image
image data
pixel
interlaced
progressive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008228931A
Other languages
Japanese (ja)
Other versions
JP2009100457A (en
Inventor
晃弘 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008228931A priority Critical patent/JP5121639B2/en
Priority to US12/239,268 priority patent/US8345157B2/en
Publication of JP2009100457A publication Critical patent/JP2009100457A/en
Application granted granted Critical
Publication of JP5121639B2 publication Critical patent/JP5121639B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Systems (AREA)

Description

本発明は画像処理装置及び画像処理方法に関し、特に、インターレース画像をプログレッシブ画像に変換する際に用いて好適な技術に関する。   The present invention relates to an image processing apparatus and an image processing method, and more particularly, to a technique suitable for use when converting an interlaced image into a progressive image.

動画であるインターレース画像を表示画面に静止画表示したり、または印刷等をしたりする場合、インターレース画像をプログレッシブ画像に変換して、静止画表示または印刷を行っていた。   When displaying an interlaced image, which is a moving image, on a display screen as a still image or printing, the interlaced image is converted into a progressive image, and the still image is displayed or printed.

インターレース・プログレッシブ変換を行う場合は、インターレース画像のフィールド画像間の動きを求め、対となるフィールド画像同士を合成するときに、求めた動き量を参考に画素位置の調整を行ってから合成することも知られている。   When performing interlace / progressive conversion, obtain motion between field images of interlaced images, and when combining paired field images, adjust the pixel position with reference to the obtained motion amount and then compose Is also known.

また、インターレース走査で得られた映像信号に対して、ライン信号を内挿補間してノンインターレース信号を生成する構成において、画像のエッジに応じて補間画素を生成する先行技術もある(例えば、特許文献1参照)。   There is also a prior art that generates interpolated pixels according to the edge of an image in a configuration in which a non-interlaced signal is generated by interpolating a line signal with respect to a video signal obtained by interlaced scanning (for example, patents) Reference 1).

特開2007−110217号公報JP 2007-110217 A

しかしながら、前記従来の技術では、生成されたプログレッシブ画像を観賞するユーザーにとっては、フィールド画像間の動きが大きい箇所等で画像の高域成分が欠落していても視覚的に分からない場合が多かった。また、フィールド画像間の動きの大小に応じてプログレッシブ画像の表示を変えるようにしたり、動きの大きいところをユーザーが認識可能なように明示したりすることができない問題点があった。   However, in the conventional technique, for a user who views the generated progressive image, there are many cases where the high frequency component of the image is missing at a place where the movement between the field images is large, etc. . In addition, there is a problem that it is impossible to change the display of the progressive image according to the magnitude of the motion between the field images, or to clearly indicate the location where the motion is large so that the user can recognize it.

本発明はこのような問題点に鑑み、インターレース画像をプログレッシブ画像に変換した画像における、フィールド画像間の動きによって高域成分の欠落した部分を識別できるようにすることを目的とする。
また、フィールド画像間の動きの大きい部分を明示することにより、動きの少ない好適なプログレッシブ画像を生成できるようにすることを本発明の更なる目的とする。
In view of such problems, an object of the present invention is to make it possible to identify a portion in which a high frequency component is missing due to a motion between field images in an image obtained by converting an interlaced image into a progressive image.
It is a further object of the present invention to make it possible to generate a suitable progressive image with little motion by clearly indicating a portion with a large motion between field images.

上記目的を達成するために、本発明の画像処理装置は、インターレースの画像データをプログレッシブの画像データに変換する画像処理装置であって、前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する検出手段と、前記検出手段により検出された前記画素毎の動き量を所定のしきい値と比較することによって、動きの大きい画素領域を判定する判定手段と、前記インターレースの画像データをプログレッシブの画像データに変換する変換手段と、前記変換手段によって変換されたプログレッシブ画像に含まれる前記判定手段によって判定された前記動きの大きい画素領域に対して、所定のパターンを合成する画像処理手段とを備えることを特徴とする。
また、本発明の他の画像処理装置は、インターレースの画像データをプログレッシブの画像データに変換する画像処理装置であって、前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する検出手段と、前記検出手段により検出された前記画素毎の動き量を所定のしきい値と比較することによって、前記複数のフィールド画像間の動きによって画像の高域成分の欠落した部分を判定する判定手段と、前記インターレースの画像データをプログレッシブの画像データに変換する変換手段と、前記変換手段によって変換されたプログレッシブ画像に含まれる前記判定手段によって判定された前記高域成分の欠落した部分に対して、所定のパターンを合成する画像処理手段とを備えることを特徴とする。
In order to achieve the above object, an image processing apparatus according to the present invention is an image processing apparatus that converts interlaced image data into progressive image data, and includes pixels between a plurality of field images constituting the interlaced image data. Detecting means for detecting a motion amount for each pixel; determining means for determining a pixel region having a large motion by comparing the motion amount for each pixel detected by the detecting means with a predetermined threshold; and the interlace A predetermined pattern is combined with the pixel area determined by the determining means included in the progressive image converted by the converting means and the converting means for converting the image data into progressive image data. And an image processing means.
Another image processing apparatus of the present invention is an image processing apparatus that converts interlaced image data into progressive image data, and a motion amount for each pixel between a plurality of field images constituting the interlaced image data. And a portion where the high frequency component of the image is lost due to the motion between the plurality of field images by comparing the motion amount for each pixel detected by the detection device with a predetermined threshold. Determination means for determining the interlaced image data into progressive image data, and lack of the high-frequency component determined by the determination means included in the progressive image converted by the conversion means And image processing means for synthesizing a predetermined pattern with the portion. .

また、本発明の画像処理方法は、インターレースの画像データをプログレッシブの画像データに変換する画像処理方法であって、前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する工程と、前記検出された前記画素毎の動き量を所定のしきい値と比較することによって、動きの大きい画素領域を判定する工程と、前記インターレースの画像データをプログレッシブの画像データに変換する工程と、前記変換されたプログレッシブ画像に含まれる前記動きの大きい画素領域に対して、所定のパターンを合成する工程とを有することを特徴とする。
また、本発明の他の画像処理方法は、インターレースの画像データをプログレッシブの画像データに変換する画像処理方法であって、前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する工程と、前記検出された前記画素毎の動き量を所定のしきい値と比較することによって、前記複数のフィールド画像間の動きによって画像の高域成分の欠落した部分を判定する工程と、前記インターレースの画像データをプログレッシブの画像データに変換する工程と、前記変換されたプログレッシブ画像に含まれる前記高域成分の欠落した部分に対して、所定のパターンを合成する工程とを有することを特徴とする。
The image processing method of the present invention is an image processing method for converting interlaced image data into progressive image data, and detects a motion amount for each pixel between a plurality of field images constituting the interlaced image data. Comparing the detected motion amount for each pixel with a predetermined threshold value to determine a pixel region having a large motion, and converting the interlaced image data into progressive image data. And a step of synthesizing a predetermined pattern with the pixel region having a large motion included in the converted progressive image.
Another image processing method of the present invention is an image processing method for converting interlaced image data into progressive image data, and a motion amount for each pixel between a plurality of field images constituting the interlaced image data. And a step of determining a missing portion of the high frequency component of the image by the motion between the plurality of field images by comparing the detected amount of motion for each pixel with a predetermined threshold value. And converting the interlaced image data into progressive image data, and synthesizing a predetermined pattern with the missing portion of the high frequency component included in the converted progressive image. It is characterized by.

本発明によれば、インターレース画像をプログレッシブ画像に変換した画像において、高域成分の欠落を容易に識別することができるようになる。また、フィールド画像間の動きの大きい部分が明示されることによって、動きの少ない好適なプログレッシブ画像を生成、或いは選択できるようになる。   According to the present invention, it is possible to easily identify missing high-frequency components in an image obtained by converting an interlaced image into a progressive image. In addition, by specifying a portion where the motion between the field images is large, it is possible to generate or select a suitable progressive image with little motion.

以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
図1は、本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。
図1において、10が画像処理装置である。なお、20は再生装置、30は表示装置であって、再生装置20は画像処理装置10内の入力端子101に接続され、表示装置30は画像処理装置10内の出力端子108に接続される。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration example of an image processing apparatus according to an embodiment of the present invention.
In FIG. 1, reference numeral 10 denotes an image processing apparatus. Reference numeral 20 denotes a playback device, and reference numeral 30 denotes a display device. The playback device 20 is connected to an input terminal 101 in the image processing device 10, and the display device 30 is connected to an output terminal 108 in the image processing device 10.

画像処理装置10において、101は入力端子であり、再生装置20からインターレース走査の画像データが入力される。102は制御回路(CPU)であり、103はメモリであり、104はデータバスであり、105はデコーダであり、106はエッジ検出回路である。また、107はインターレース・プログレッシブ変換回路(IP変換回路)であり、インターレース走査の画像データをプログレッシブ走査の画像データに変換する。108はプログレッシブ変換された画像データを出力するための出力端子である。   In the image processing apparatus 10, reference numeral 101 denotes an input terminal to which image data for interlace scanning is input from the reproduction apparatus 20. 102 is a control circuit (CPU), 103 is a memory, 104 is a data bus, 105 is a decoder, and 106 is an edge detection circuit. Reference numeral 107 denotes an interlace / progressive conversion circuit (IP conversion circuit), which converts interlaced scan image data into progressive scan image data. Reference numeral 108 denotes an output terminal for outputting progressively converted image data.

次に、このように構成された本実施形態の画像処理装置10の動作を説明する。
入力端子101よって、再生装置20で再生された画像データが入力される。ここで、入力される画像データは、例えばMPEG(Moving Picture Experts Group)などの圧縮符号化方法によって圧縮符号化されたインターレースの圧縮画像データである。入力された圧縮画像データは、データバス104を介して、デコーダ105に入力される。
Next, the operation of the image processing apparatus 10 of the present embodiment configured as described above will be described.
The image data reproduced by the reproduction device 20 is input through the input terminal 101. Here, the input image data is interlaced compressed image data that has been compression-encoded by a compression encoding method such as MPEG (Moving Picture Experts Group). The input compressed image data is input to the decoder 105 via the data bus 104.

デコーダ105に入力された圧縮画像データは、所定の復号方式によってデコードされ、デコード画像となり、データバス104を介して、メモリ103に記憶される。メモリ103内に記憶されたデコード画像がCPU102の制御に従って読み出され、各部に供給される。この場合、CPU102は、データの読み出し手段として機能する。   The compressed image data input to the decoder 105 is decoded by a predetermined decoding method, becomes a decoded image, and is stored in the memory 103 via the data bus 104. The decoded image stored in the memory 103 is read according to the control of the CPU 102 and supplied to each unit. In this case, the CPU 102 functions as a data reading unit.

インターレースの画像データをそのままの形態で出力する場合は、メモリ103から読み出された画像データがデータバス104を介して、出力端子108に供給される。そして、出力端子108から表示装置30へ画像データが出力される。   When interlaced image data is output as it is, the image data read from the memory 103 is supplied to the output terminal 108 via the data bus 104. Then, the image data is output from the output terminal 108 to the display device 30.

一方、インターレースの画像データをプログレッシブの画像データに変換する場合は、メモリ103から読み出された画像データが画面表示順に、データバス104を介して、エッジ検出回路106、及び、IP変換回路107に供給される。   On the other hand, when interlaced image data is converted into progressive image data, the image data read from the memory 103 is transferred to the edge detection circuit 106 and the IP conversion circuit 107 via the data bus 104 in the screen display order. Supplied.

エッジ検出回路106は、入力されたデコード画像であるインターレース画像に含まれるフィールド画像毎にエッジを検出する。エッジの検出は、1画素単位、或いは、画素ブロック単位で行われる。そして、CPU102は、エッジ検出回路106で検出されたエッジの位置や移動量等に関する情報(エッジ情報)を取得して、エッジ情報に基づいて、インターレース画像からプログレッシブ画像への変換を制御する。   The edge detection circuit 106 detects an edge for each field image included in the interlaced image that is the input decoded image. Edge detection is performed in units of one pixel or pixel block. Then, the CPU 102 acquires information (edge information) related to the position and movement amount of the edge detected by the edge detection circuit 106, and controls the conversion from the interlaced image to the progressive image based on the edge information.

インターレース画像からプログレッシブ画像への変換は、IP変換回路107において行われる。具体的に、IP変換回路107は、入力されたデコード画像のうち、連続する2枚のフィールド画像を合成して、プログレッシブ画像を逐次生成する。   The conversion from the interlaced image to the progressive image is performed in the IP conversion circuit 107. Specifically, the IP conversion circuit 107 synthesizes two continuous field images among the input decoded images, and sequentially generates progressive images.

また、IP変換回路107は、インターレース画像からプログレッシブ画像への変換処理を行うとともに、CPU102の制御に従って、フィールド画像間でエッジが移動している部分に対して補正処理と特殊処理とを行う。補正処理とはエッジの移動した分を打ち消すように合成する画像を修整する処理である。また、特殊処理とは、エッジが極端に移動している部分、すなわち、フィールド画像間で動きの大きい部分を視覚的に目立つように画像加工する処理である。それは、インターレース画像をプログレッシブ画像に変換した際に見られる、フィールド画像間の動きによって高域成分の欠落した部分を明示するための強調処理でもある。なお、インターレース画像をプログレッシブ画像に変換する際の具体的な説明は後述する。   The IP conversion circuit 107 performs a conversion process from an interlaced image to a progressive image, and performs a correction process and a special process on a portion where an edge is moved between field images under the control of the CPU 102. The correction process is a process for modifying an image to be combined so as to cancel out the amount of movement of the edge. Further, the special processing is processing that performs image processing so that a portion where the edge is extremely moved, that is, a portion having a large movement between field images is visually conspicuous. It is also an emphasis process for clearly showing a portion in which a high frequency component is missing due to the motion between field images, which is seen when an interlaced image is converted into a progressive image. A specific description when converting an interlaced image to a progressive image will be described later.

IP変換回路107において変換処理されることにより、プログレッシブ画像となったデコード画像は、データバス104を介してメモリ103に再び記憶される。その後、再びCPU102によって読み出され、データバス104を介して出力端子108に供給され、表示装置30へ出力することが可能となる。   The decoded image that has become a progressive image by the conversion processing in the IP conversion circuit 107 is stored again in the memory 103 via the data bus 104. Thereafter, the data is read again by the CPU 102, supplied to the output terminal 108 via the data bus 104, and can be output to the display device 30.

ここで、CPU102と、エッジ検出回路106と、IP変換回路107とに関連するインターレース・プログレッシブ変換に係る処理の一例を説明する。
図2は、インターレース画像の一例を示す図である。このインターレース画像がメモリ103から、IP変換回路107に供給される。さらに、同じインターレース画像がエッジ検出回路106にも供給される。
Here, an example of processing related to interlace / progressive conversion related to the CPU 102, the edge detection circuit 106, and the IP conversion circuit 107 will be described.
FIG. 2 is a diagram illustrating an example of an interlaced image. This interlaced image is supplied from the memory 103 to the IP conversion circuit 107. Further, the same interlaced image is also supplied to the edge detection circuit 106.

図3(a)及び図3(b)は、それぞれフィールド画像の例を示す図である。エッジ検出回路106は、入力されたインターレース画像を、図3(a)、図3(b)のようにフィールド毎の画像に分割してから、各フィールド画像についてエッジ検出を行う。図4(a)及び図4(b)は、それぞれフィールド画像のエッジ検出結果の例を示す図である。図3(a)及び図3(b)の各フィールド画像に対して、エッジ検出回路106がエッジ検出した結果が、それぞれ図4(a)及び図4(b)のように示される。さらに、エッジ検出回路106は、図4(a)及び図4(b)の如きフィールド画像毎のエッジ同士を比較し、エッジが検出された画素の移動画素数を算出する。   FIG. 3A and FIG. 3B are diagrams showing examples of field images, respectively. The edge detection circuit 106 divides the input interlaced image into images for each field as shown in FIGS. 3A and 3B, and then performs edge detection for each field image. 4A and 4B are diagrams illustrating examples of edge detection results of field images, respectively. The results of edge detection performed by the edge detection circuit 106 on the field images in FIGS. 3A and 3B are shown in FIGS. 4A and 4B, respectively. Further, the edge detection circuit 106 compares the edges for each field image as shown in FIGS. 4A and 4B and calculates the number of moving pixels of the pixels in which the edges are detected.

図5(a)及び図5(b)は、それぞれフィールド画像のエッジ検出結果の一部を拡大した様子を示す図である。図4(a)及び図4(b)のようなフィールド画像同士のエッジを、図5(a)及び図5(b)のように画素レベルで比較することにより、移動画素数を算出することができる。図5(a)及び図5(b)の例では、エッジがX軸方向(画面の水平方向)に14画素分移動したことが分かる。なお、本実施形態では、X軸方向の移動を例に示したが、インターレース画像のフィールド間の動き量判定を行う場合にはX軸、Y軸(画面の垂直方向)のそれぞれについての移動画素数を算出する。   FIG. 5A and FIG. 5B are diagrams illustrating a state in which a part of the edge detection result of the field image is enlarged. The number of moving pixels is calculated by comparing the edges of field images as shown in FIGS. 4A and 4B at the pixel level as shown in FIGS. 5A and 5B. Can do. In the example of FIGS. 5A and 5B, it can be seen that the edge has moved by 14 pixels in the X-axis direction (the horizontal direction of the screen). In the present embodiment, the movement in the X-axis direction is shown as an example. However, in the case of performing the motion amount determination between the fields of the interlaced image, the moving pixel for each of the X-axis and the Y-axis (the vertical direction of the screen) Calculate the number.

なお、エッジ検出に用いるのは、例えば、Cannyフィルタやラプラシアンフィルタがある。これらのフィルタの係数を変更することでエッジの検出度合を変更できるため、係数を変更し、エッジ検出可能な画素の移動を求めることが可能である。さらに、エッジ検出されない画素の移動は周辺画素の移動画素数から求めることも可能である。   For example, a Canny filter or a Laplacian filter is used for edge detection. Since the degree of edge detection can be changed by changing the coefficients of these filters, it is possible to change the coefficients and obtain the movement of pixels capable of edge detection. Furthermore, the movement of pixels whose edges are not detected can be obtained from the number of moving pixels of the peripheral pixels.

エッジ検出回路106によりフィールド画像間のエッジの動きが検出されると、CPU102は、IP変換回路107で行われるインターレース・プログレッシブ変換処理に対して、エッジの動きに応じた補正制御を行う。そして、IP変換回路107は、CPU102による補正指示に従いながら、連続する2枚のフィールド画像から1枚のプログレッシブ画像を逐次生成する。   When the edge movement between the field images is detected by the edge detection circuit 106, the CPU 102 performs correction control according to the edge movement for the interlace / progressive conversion processing performed by the IP conversion circuit 107. Then, the IP conversion circuit 107 sequentially generates one progressive image from two consecutive field images while following the correction instruction from the CPU 102.

ここで、IP変換回路107によって生成されるプログレッシブ画像について説明する。
図6は、インターレース画像からプログレッシブ画像に変換したときの例を示す図である。図6の例のように、動きの補正を行いながらインターレース・プログレッシブ変換を行った画像は、図2で示したようなインターレース画像をそのまま表示したものとは異なり、フィールド間のブレは無くなっている。
Here, a progressive image generated by the IP conversion circuit 107 will be described.
FIG. 6 is a diagram illustrating an example when an interlaced image is converted to a progressive image. As in the example of FIG. 6, an image obtained by performing interlace / progressive conversion while correcting for motion is different from a display of an interlaced image as shown in FIG. 2 as it is, and there is no blur between fields. .

しかし、特に動きが速い被写体の画像に対しては、補正処理がうまくできなかったり、そもそも撮影時に高域部が失われていたりするので、プログレッシブ画像に変換しても、良好な画像とはならない。すなわち、フィールド画像間の動きによって高域成分の欠落した部分を含むプログレッシブ画像となる。   However, especially for fast-moving subject images, the correction process cannot be performed well, or the high frequency area is lost in the first place, so even if converted to a progressive image, it will not be a good image. . That is, it becomes a progressive image including a portion where a high frequency component is missing due to movement between field images.

そこで、本実施形態においては、IP変換回路107は前述した特殊処理を行う。特殊処理を具体的に説明する。まず、CPU102はエッジ検出回路106からのエッジ画素の動き量を示すエッジ情報を取得する。そして、CPU102は、エッジ情報を基にして、2枚のフィールド画像をプログレッシブ画像に変換したときのエッジの移動画素数を判定する。さらに、その判定結果に基づいて、CPU102は、IP変換回路107に対して、上記2枚のフィールド画像から生成されるプログレッシブ画像を加工(強調処理)するための指示を出す。   Therefore, in the present embodiment, the IP conversion circuit 107 performs the special processing described above. The special processing will be specifically described. First, the CPU 102 acquires edge information indicating the amount of movement of the edge pixel from the edge detection circuit 106. Then, the CPU 102 determines the number of edge moving pixels when two field images are converted into progressive images based on the edge information. Further, based on the determination result, the CPU 102 instructs the IP conversion circuit 107 to process (emphasize processing) the progressive image generated from the two field images.

CPU102は、動き量が所定のしきい値以上となるエッジ画素は高域成分が欠落していると判定し、生成されるプログレッシブ画像に対して、高域成分の欠落した部分を視覚的に認識できるような強調処理をIP変換回路107に行わせる。   The CPU 102 determines that the edge pixel whose amount of movement is equal to or greater than a predetermined threshold is missing a high frequency component, and visually recognizes the portion where the high frequency component is missing from the generated progressive image. The IP conversion circuit 107 is made to perform such enhancement processing.

ここで、上記の強調処理に関する画像処理として、例えば、エッジの動きが所定のしきい値よりも大きい領域または小さい領域のうち、どちらか一方の画素領域に別の画像信号を重ねて合成する例を考慮することができる。合成する別の画像信号を所定のパターン、例えば、ゼブラパターン信号とすることにより、特定領域にゼブラパターンを合成することができる。   Here, as the image processing related to the enhancement processing, for example, an example in which another image signal is superimposed on one of the pixel regions of the region where the edge motion is larger or smaller than a predetermined threshold is combined. Can be considered. By using another image signal to be synthesized as a predetermined pattern, for example, a zebra pattern signal, a zebra pattern can be synthesized in a specific area.

また、上記特定領域の色相を変えるようにしてもよいし、さらにゼブラパターンと組み合わせて用いてもよい。勿論、所定のパターンはゼブラパターンに限らず、その他の模様のパターンであってもよい。また、動きのある画素の輝度を反転させてもよいし、フレーム又はフィールド単位で明滅するように表示させてもよい。更には、動きのある画素を周辺画素との平均値で置き換えて、高域成分の減少している画素が、より一層ぼやけて見えるような強調表示を行ってもよい。   Further, the hue of the specific area may be changed, or may be used in combination with a zebra pattern. Of course, the predetermined pattern is not limited to the zebra pattern, and may be a pattern having another pattern. In addition, the luminance of the moving pixels may be reversed, or may be displayed so as to blink in units of frames or fields. Furthermore, highlighting may be performed so that pixels with reduced high-frequency components appear to be more blurred by replacing moving pixels with the average value of the surrounding pixels.

図7は、上記のように、動きの大きかった部分にゼブラパターンを合成したプログレッシブ画像を示す図である。本実施形態によれば、表示装置30において、図7の如きプログレッシブ画像の表示画像を表示することができる。なお、本実施形態におけるゼブラパターンとは、輝度レベルが第1及び第2のしきい値レベル範囲内にある斜め縞模様(ストライプ)である。上記した第1のしきい値レベルとは画像として識別できる黒レベルの値であり、第2のしきい値レベルとは画像の輝度が飽和しない程度の白レベルの値である。   FIG. 7 is a diagram illustrating a progressive image in which a zebra pattern is combined with a portion having a large movement as described above. According to the present embodiment, the display device 30 can display a progressive image as shown in FIG. Note that the zebra pattern in the present embodiment is an oblique stripe pattern (stripe) whose luminance level is within the first and second threshold level ranges. The first threshold level is a black level value that can be identified as an image, and the second threshold level is a white level value that does not saturate the luminance of the image.

本実施形態によれば、ゼブラパターンをデコード画像の特定領域に合成することによって、図7のようにデコード画像中の移動物体などに縞模様が重なって表示されることになる。   According to the present embodiment, by combining the zebra pattern with the specific area of the decoded image, the striped pattern is displayed so as to overlap the moving object or the like in the decoded image as shown in FIG.

なお、本実施形態では、IP変換回路107が画像の強調処理を行う構成としたが、プログレッシブ変換された画像をメモリ103に保存した後、CPU102の制御によってメモリ103上で所定のパターン(ゼブラパターン)を合成するように構成してもよい。また、生成されるプログレッシブ画像を直接加工せず、別の画像レイヤーとしての所定のパターン(ゼブラパターン)を、生成されたプログレッシブ画像にオーバーレイ表示させるように変形してもよい。   In this embodiment, the IP conversion circuit 107 is configured to perform image enhancement processing. However, after the progressively converted image is stored in the memory 103, a predetermined pattern (zebra pattern) is stored on the memory 103 under the control of the CPU 102. ) May be synthesized. Further, the generated progressive image may not be directly processed, and a predetermined pattern (zebra pattern) as another image layer may be modified to be displayed as an overlay on the generated progressive image.

図8は、動き判定して、動きの大きい部分を強調表示する処理手順の概略を示すフローチャートである。
図8において、まず、CPU102は、動画ポーズ中か否かを判定する(ステップS81)。ステップS81の処理は、再生装置20から入力される画像データが、再生装置20が動画再生中によるものであるか、動画ポーズ中によるものであるかを判定する工程である。
FIG. 8 is a flowchart showing an outline of a processing procedure for determining a motion and highlighting a portion with a large motion.
In FIG. 8, first, the CPU 102 determines whether or not a moving image pause is being performed (step S81). The process of step S81 is a step of determining whether the image data input from the playback device 20 is due to the playback device 20 being playing back a moving image or during moving image pause.

動画ポーズ中である場合(ステップS81でYES)、CPU102は、エッジの動き量を判定するためのしきい値を「しきい値=P」にセットする(ステップS82)。一方、動画ポーズ中でない場合(ステップS81でNO)、CPU102は、エッジの動き量を判定するためのしきい値を「しきい値=Q」にセットする(ステップS83)。なお、動画ポーズ中は再生画像が静止画として表示される状態である。この場合、1画面を詳細に観察して評価する目的である。   When the moving image pause is being performed (YES in step S81), the CPU 102 sets a threshold value for determining the edge motion amount to "threshold value = P" (step S82). On the other hand, when the video pause is not in progress (NO in step S81), the CPU 102 sets a threshold value for determining the amount of movement of the edge to “threshold value = Q” (step S83). Note that the playback image is displayed as a still image during the video pause. In this case, the purpose is to observe and evaluate one screen in detail.

一方、動画再生中は複数画面を粗く観察する目的である。よって、しきい値Pは、しきい値Qよりも低い値とし、しきい値Pの方がエッジ検出されやすい状態となる。なお、しきい値P及びしきい値Qは予め用意されてメモリ103に記憶されており、CPU102がパラメータを選択的に用いる構成とする。   On the other hand, during moving image reproduction, the purpose is to roughly observe a plurality of screens. Therefore, the threshold value P is set to a value lower than the threshold value Q, and the threshold value P is in a state where edge detection is easier. The threshold value P and the threshold value Q are prepared in advance and stored in the memory 103, and the CPU 102 selectively uses parameters.

次に、エッジ検出回路106が、入力されたインターレース画像を構成する、フィールド画像毎にエッジを検出する(ステップS84)。
次に、エッジ検出回路106は、エッジが検出された画素(エッジ画素)についての移動画素数を算出する(ステップS85)。エッジ画素の移動画素数の算出は、前述したようにフィールド画像同士のエッジを比較することにより行う。
Next, the edge detection circuit 106 detects an edge for each field image constituting the input interlaced image (step S84).
Next, the edge detection circuit 106 calculates the number of moving pixels for the pixel (edge pixel) from which the edge is detected (step S85). The number of moving pixels of the edge pixel is calculated by comparing the edges of the field images as described above.

ここで、エッジ画素の移動画素数の求め方について説明する。図9は、エッジ画素の移動画素数の求め方を説明するための図である。図9において、横線はフィールド内のある1ラインである。そして、同じ1ラインについて、N−1番目のフィールド、N番目のフィールド、N+1番目のフィールドの3フィールド分を示している。黒丸はライン上に存在する画素を示したものである。   Here, how to determine the number of moving pixels of edge pixels will be described. FIG. 9 is a diagram for explaining how to determine the number of moving pixels of edge pixels. In FIG. 9, the horizontal line is one line in the field. Further, for the same one line, three fields of the (N−1) th field, the Nth field, and the (N + 1) th field are shown. Black circles indicate the pixels present on the line.

N−1番目のフィールドとN+1番目のフィールドは同じ偶数フィールドであるから垂直方向に同じ位置に画素が存在し、N番目のフィールドは奇数フィールドであるから1画素分ずれた位置に画素が存在している。N−1番目のフィールドのライン上の画素を例にすると、i−4、i−2、i、i+2、i+4の位置に画素が存在することになる。すなわち、各フィールドにおいて、画素の位置はi+2x(xは整数)で表せ、フィールドの1つおきに1画素ずつ、ずれて配置している。   Since the (N−1) -th field and the (N + 1) -th field are the same even field, there are pixels at the same position in the vertical direction, and the N-th field is an odd field, so there is a pixel at a position shifted by one pixel. ing. Taking the pixel on the line of the (N-1) th field as an example, the pixel exists at the positions i-4, i-2, i, i + 2, and i + 4. That is, in each field, the position of the pixel can be expressed by i + 2x (x is an integer), and is shifted by one pixel every other field.

エッジ検出回路106は、例えばN番目のフィールドに含まれるエッジ画素の移動画素数を算出する際には、N−1番目のフィールドとの画素移動量を求め、さらに、N+1番目のフィールドとの画素移動量を求める。   For example, when calculating the number of moving pixels of the edge pixel included in the Nth field, the edge detection circuit 106 obtains a pixel movement amount with respect to the (N−1) th field, and further, the pixel with respect to the (N + 1) th field. Find the amount of movement.

このとき、エッジ検出回路106は、補間画素p[N][i](図9の白丸)を求める。そして、時間的相関からp[N][i]を点対称とするp[N−1][i−y]とp[N+1][i+y] (yは0以上の整数)によって、複数方向について画素の動きを求める。これは、次の式1で表わすことができる。
|p[N−1][i−y] - p[N+1][i+y]| ・・・(式1)
At this time, the edge detection circuit 106 obtains the interpolation pixel p [N] [i] (white circle in FIG. 9). Based on temporal correlation, p [N−1] [i−y] and p [N + 1] [i + y] (y is an integer greater than or equal to 0) Find pixel motion. This can be expressed by the following equation 1.
| P [N−1] [i−y] −p [N + 1] [i + y] | (Formula 1)

前述した式1の計算の結果、最小値となった値が最も時間相関が高いこととなり、そのときのyが移動画素数であると決定する。このようにして、各フィールドの画素(エッジ画素)毎に移動画素数を求めることができる。   As a result of the calculation of Equation 1, the value that is the minimum value has the highest temporal correlation, and y at that time is determined to be the number of moving pixels. In this way, the number of moving pixels can be obtained for each pixel (edge pixel) in each field.

次に、CPU102は、ステップS85で算出された移動画素数と、ステップS82またはステップS83でセットされたしきい値とを比較して、画素毎の動き量が所定の動き量よりも大きいか否か(動きの大小)を判定する(ステップS86)。この判定の結果、移動画素数がしきい値以上である画素の場合(ステップS86でYES)、CPU102、及び、IP変換回路107は、動きの大きかった画素領域に対する強調表示のための画像処理を行い(ステップS87)、このフローは終了となる。   Next, the CPU 102 compares the number of moving pixels calculated in step S85 with the threshold set in step S82 or step S83, and determines whether or not the amount of motion for each pixel is greater than a predetermined amount of motion. Is determined (step S86). If the result of this determination is that the number of moving pixels is greater than or equal to the threshold value (YES in step S86), the CPU 102 and the IP conversion circuit 107 perform image processing for emphasis display on the pixel area that has moved greatly. This is done (step S87).

一方、ステップS86の判定の結果、移動画素数がしきい値未満である画素の場合(ステップS86でNO)、その画素領域に対する強調表示は行われず、このフローは終了となる。   On the other hand, if the result of determination in step S86 is that the number of moving pixels is less than the threshold value (NO in step S86), highlighting is not performed for that pixel area, and this flow ends.

次に、図8のステップS87で行われる強調表示のための画像処理について、図10のフローチャートを用いて詳細に説明する。図10は、動きの大きい部分を強調表示する処理手順の詳細なフローチャートである。   Next, the image processing for highlighting performed in step S87 of FIG. 8 will be described in detail using the flowchart of FIG. FIG. 10 is a detailed flowchart of a processing procedure for highlighting a portion with a large movement.

主な画素の動きの原因は、画像データを生成したときの、撮像素子の受光時間と被写体の動き量によって発生する撮像ぼけの影響である。本実施形態によれば、そのような被写体の動きによって、インターレース画像をプログレッシブ画像に変換した場合に高域成分が低下してしまう部分を、図10の処理のように所定のパターンを合成することによって強調して表示することができる。   The main cause of pixel movement is the influence of imaging blur caused by the light receiving time of the image sensor and the amount of motion of the subject when image data is generated. According to the present embodiment, a predetermined pattern is synthesized as in the process of FIG. 10 at a portion where the high frequency component is reduced when an interlaced image is converted into a progressive image due to the movement of the subject. Can be highlighted.

図10において、IP変換回路107は、入力されたインターレース画像を構成する連続する2枚のフィールド画像をプログレッシブ画像に変換する(ステップS101)。
次に、IP変換回路107は、CPU102からの制御情報に従って、プログレッシブ画像中の各画素が、しきい値以上移動した画素であるか否かを判定する(ステップS102)。
In FIG. 10, the IP conversion circuit 107 converts two consecutive field images constituting the input interlaced image into a progressive image (step S101).
Next, the IP conversion circuit 107 determines whether each pixel in the progressive image is a pixel moved by a threshold value or more according to the control information from the CPU 102 (step S102).

しきい値以上移動した画素ではない場合(ステップS102でNO)、IP変換回路107は、その画素を現画像のまま出力する(ステップS103)。すなわち、動きの少ない画素の強調処理は行われない。   If the pixel has not moved beyond the threshold (NO in step S102), the IP conversion circuit 107 outputs the pixel as it is (step S103). In other words, the pixel enhancement process with little motion is not performed.

一方、しきい値以上移動した画素である場合(ステップS102でYES)、IP変換回路107は、CPU102からの制御情報に従って、特定領域内の画素にゼブラパターンを合成する(ステップS104)。ここで、特定領域とは、移動画素数がしきい値以上である画素領域である。   On the other hand, if the pixel has moved beyond the threshold value (YES in step S102), the IP conversion circuit 107 synthesizes a zebra pattern with the pixel in the specific area according to the control information from the CPU 102 (step S104). Here, the specific region is a pixel region in which the number of moving pixels is equal to or greater than a threshold value.

そして、1枚のプログレッシブ画像の変換処理、及び強調表示に係る画像処理が終了すると、次のフレームの処理へと進むか否かを判定する(ステップS105)。動画再生中ならば次のフレームへ進むことになり(ステップS105でYES)、ステップS101に戻り、次以降のインターレース画像についてもプログレッシブ画像の変換処理、及び強調表示に係る画像処理を繰り返す。   Then, when the conversion processing of one progressive image and the image processing related to highlighting are completed, it is determined whether or not to proceed to the processing of the next frame (step S105). If a moving image is being played back, the process proceeds to the next frame (YES in step S105), and the process returns to step S101 to repeat the progressive image conversion process and the image process related to highlight display for the next and subsequent interlaced images.

一方、動画ポーズ中ならば次のフレームへは進まず(ステップS105でNO)、このフローは終了となる。なお、動画再生中の場合も、再生が停止された場合にはこのフローは強制終了される。   On the other hand, if the video is paused, the process does not proceed to the next frame (NO in step S105), and this flow ends. Even when the moving image is being reproduced, this flow is forcibly terminated when the reproduction is stopped.

本実施形態によれば、ステップS104においてゼブラパターンの合成されたプログレッシブ画像を表示装置30等で表示することにより、変換されたプログレッシブ画像のうち高域成分が欠落している領域をユーザーに明示することができる。また、プログレッシブ変換された画像の画素領域毎にゼブラパターンの合成及び非合成が選択できるので、動きのある部分のみにゼブラパターンを表示し、動きの少ない部分は原画像のまま表示することができる。このような処理を行うことによって、所望する被写体について高域成分まで十分含んでいる画像であるか、高域成分が欠落している画像であるかを、ユーザーが容易に判定することができる。   According to the present embodiment, in step S104, the progressive image combined with the zebra pattern is displayed on the display device 30 or the like, so that the region where the high frequency component is missing in the converted progressive image is clearly indicated to the user. be able to. In addition, since zebra pattern synthesis and non-synthesis can be selected for each pixel region of the progressively converted image, the zebra pattern can be displayed only in a portion with motion, and the portion with little motion can be displayed as the original image. . By performing such processing, the user can easily determine whether the desired subject is an image that sufficiently includes the high-frequency component or an image that lacks the high-frequency component.

本実施形態では、所定パターン(ゼブラパターン)の表示または非表示はCPU102が制御している。また、CPU102は、動画再生中か動画ポーズ中かに応じて、エッジの動き量を判定するためのしきい値を変更する機能を有する。   In the present embodiment, the CPU 102 controls display or non-display of a predetermined pattern (zebra pattern). In addition, the CPU 102 has a function of changing a threshold value for determining the amount of edge movement according to whether the moving image is being reproduced or the moving image is being paused.

さらに、CPU102は、再生装置20の動作モード(動画再生モード、静止画再生モード、プリント画像を選択するモード等)に応じて、エッジの動き量を判定するためのしきい値を変更する機能も有する。例えば、動画再生モードならば、高いしきい値をセットして、極端に動いているエッジ画素だけを強調表示するようにする。   Further, the CPU 102 also has a function of changing a threshold value for determining the amount of edge movement according to the operation mode of the playback device 20 (moving image playback mode, still image playback mode, print image selection mode, etc.). Have. For example, in the moving image reproduction mode, a high threshold value is set so that only edge pixels that are extremely moving are highlighted.

また、静止画再生モードやプリント画像を選択するモードが実行されたときは、低いしきい値をセットして画像の細部までユーザーがチェックできるようにするとよい。その結果、静止画表示や、プリント画像の選択時には、ユーザーが最も動きの少なく、最も高域成分の保たれたプログレッシブ画像を選ぶこともできるようになるであろう。なお、静止画再生モードよりも、プリント画像を選択するモードの方を、さらにしきい値を低くセットするようにしてもよい。   When a still image reproduction mode or a print image selection mode is executed, a low threshold value may be set so that the user can check the details of the image. As a result, when a still image is displayed or a print image is selected, the user will be able to select a progressive image that has the least movement and retains the highest frequency component. Note that the threshold may be set lower in the mode for selecting a print image than in the still image reproduction mode.

以上、本実施形態によれば、インターレース画像をプログレッシブ画像に変換した画像において高域成分の欠落を容易に識別することができるようになる。また、フィールド画像間の動きの大きい部分が明示されることによって、動きの少ない好適なプログレッシブ画像を生成、或いは選択できるようになる。
(本発明に係る他の実施の形態)
前述した本発明の実施の形態における画像処理装置を構成する各手段は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
As described above, according to the present embodiment, it is possible to easily identify missing high-frequency components in an image obtained by converting an interlaced image into a progressive image. In addition, by specifying a portion where the motion between the field images is large, it is possible to generate or select a suitable progressive image with little motion.
(Another embodiment according to the present invention)
Each means constituting the image processing apparatus according to the embodiment of the present invention described above can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。   In addition, the present invention can be implemented as a system, apparatus, method, program, storage medium, or the like, and can be applied to a system composed of a plurality of devices. Moreover, you may apply to the apparatus which consists of one apparatus.

なお、本発明は、前述した画像処理方法における各工程を実行するソフトウェアのプログラム(実施の形態では図8及び図10に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   In the present invention, a software program (in the embodiment, a program corresponding to the flowcharts shown in FIGS. 8 and 10) for executing each step in the above-described image processing method is directly or remotely supplied to the system or apparatus. To do. In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.

したがって、本発明の実施形態に係る機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の実施形態に係る機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。   Therefore, the program code installed in the computer in order to realize the functional processing according to the embodiment of the present invention by the computer also realizes the present invention. That is, the computer program itself for realizing the functional processing according to the embodiment of the present invention is also included in the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などがある。
In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
Various recording media can be used as a recording medium for supplying the program. For example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD- R).

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明の実施形態に係るコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。   As another program supply method, a browser on a client computer is used to connect to an Internet home page. Then, the computer program itself according to the embodiment of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading to a recording medium such as a hard disk.

また、本発明の実施形態に係るプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の実施形態に係る機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザーに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。   It can also be realized by dividing the program code constituting the program according to the embodiment of the present invention into a plurality of files and downloading each file from a different home page. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing according to the embodiment of the present invention by a computer is also included in the present invention.

また、本発明の実施形態に係るプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザーに配布し、所定の条件を満足したユーザーに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   Further, the program according to the embodiment of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and decrypted from a home page via the Internet for users who satisfy predetermined conditions. Download key information. It is also possible to execute the encrypted program by using the key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行うことによっても前述した実施の形態の機能が実現され得る。   In addition to the functions of the above-described embodiments being realized by the computer executing the read program, the OS running on the computer performs part or all of the actual processing. Also, the functions of the above-described embodiments can be realized.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。   Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.

本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image processing apparatus which concerns on embodiment of this invention. インターレース画像の一例を示す図である。It is a figure which shows an example of an interlace image. (a)及び(b)は、それぞれフィールド画像の例を示す図である。(A) And (b) is a figure which shows the example of a field image, respectively. (a)及び(b)は、それぞれフィールド画像のエッジ検出結果の例を示す図である。(A) And (b) is a figure which shows the example of the edge detection result of a field image, respectively. (a)及び(b)は、それぞれフィールド画像のエッジ検出結果の一部を拡大した様子を示す図である。(A) And (b) is a figure which shows a mode that a part of edge detection result of the field image was expanded, respectively. インターレース画像からプログレッシブ画像に変換したときの例を示す図である。It is a figure which shows the example when converting from an interlace image to a progressive image. 動きの大きかった部分にゼブラパターンを合成したプログレッシブ画像を示す図である。It is a figure which shows the progressive image which synthesize | combined the zebra pattern in the part with the big motion. 動き判定して、動きの大きい部分を強調表示する処理手順の概略を示すフローチャートである。It is a flowchart which shows the outline of the process sequence which performs a motion determination and highlights the part with a big motion. エッジ画素の移動画素数の求め方を説明するための図である。It is a figure for demonstrating how to obtain | require the moving pixel number of an edge pixel. 動きの大きい部分を強調表示する処理手順の詳細なフローチャートである。It is a detailed flowchart of the process sequence which highlights a part with a big motion.

符号の説明Explanation of symbols

10 画像処理装置
20 再生装置
30 表示装置
101 入力端子
102 制御回路(CPU)
103 メモリ
104 データバス
105 デコーダ
106 エッジ検出回路
107 インターレース・プログレッシブ変換回路(IP変換回路)
108 出力端子
DESCRIPTION OF SYMBOLS 10 Image processing apparatus 20 Playback apparatus 30 Display apparatus 101 Input terminal 102 Control circuit (CPU)
103 Memory 104 Data Bus 105 Decoder 106 Edge Detection Circuit 107 Interlace Progressive Conversion Circuit (IP Conversion Circuit)
108 Output terminal

Claims (12)

インターレースの画像データをプログレッシブの画像データに変換する画像処理装置であって、
前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する検出手段と、
前記検出手段により検出された前記画素毎の動き量を所定のしきい値と比較することによって、動きの大きい画素領域を判定する判定手段と、
前記インターレースの画像データをプログレッシブの画像データに変換する変換手段と、
前記変換手段によって変換されたプログレッシブ画像に含まれる前記判定手段によって判定された前記動きの大きい画素領域に対して、所定のパターンを合成する画像処理手段とを備えることを特徴とする画像処理装置。
An image processing device for converting interlaced image data into progressive image data,
Detecting means for detecting a motion amount for each pixel between a plurality of field images constituting the interlaced image data;
A determination unit that determines a pixel region having a large movement by comparing the amount of movement of each pixel detected by the detection unit with a predetermined threshold;
Conversion means for converting the interlaced image data into progressive image data;
An image processing apparatus comprising: an image processing unit that synthesizes a predetermined pattern with respect to the pixel region having a large motion determined by the determination unit included in the progressive image converted by the conversion unit.
前記検出手段は、前記複数のフィールド画像のそれぞれに含まれるエッジの動き量を検出することを特徴とする請求項1に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the detection unit detects an amount of movement of an edge included in each of the plurality of field images. 前記判定手段は、前記インターレースの画像データが動画再生中の画像である場合と、動画ポーズ中の画像である場合とで、前記所定のしきい値を変更することを特徴とする請求項1又は2に記載の画像処理装置。   2. The determination unit according to claim 1, wherein the determination unit changes the predetermined threshold value depending on whether the interlaced image data is an image during moving image reproduction or an image during a moving image pause. 2. The image processing apparatus according to 2. 前記インターレースの画像データを再生する再生手段をさらに備え、
前記判定手段は、前記再生手段が動画再生モードである場合と、静止画再生モードである場合とで、前記所定のしきい値を変更することを特徴とする請求項1又は2に記載の画像処理装置。
Reproducing means for reproducing the interlaced image data,
3. The image according to claim 1, wherein the determination unit changes the predetermined threshold value when the reproduction unit is in a moving image reproduction mode and when the reproduction unit is in a still image reproduction mode. 4. Processing equipment.
前記画像処理手段は、前記所定のパターンとしてゼブラパターンを前記動きの大きい画素領域に重ねて合成することを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。   5. The image processing apparatus according to claim 1, wherein the image processing unit synthesizes a zebra pattern as the predetermined pattern by superimposing the zebra pattern on the pixel region having a large movement. 6. インターレースの画像データをプログレッシブの画像データに変換する画像処理装置であって、
前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する検出手段と、
前記検出手段により検出された前記画素毎の動き量を所定のしきい値と比較することによって、前記複数のフィールド画像間の動きによって画像の高域成分の欠落した部分を判定する判定手段と、
前記インターレースの画像データをプログレッシブの画像データに変換する変換手段と、
前記変換手段によって変換されたプログレッシブ画像に含まれる前記判定手段によって判定された前記高域成分の欠落した部分に対して、所定のパターンを合成する画像処理手段とを備えることを特徴とする画像処理装置。
An image processing device for converting interlaced image data into progressive image data,
Detecting means for detecting a motion amount for each pixel between a plurality of field images constituting the interlaced image data;
A determination unit that determines a missing portion of a high-frequency component of an image due to the movement between the plurality of field images by comparing the amount of movement of each pixel detected by the detection unit with a predetermined threshold;
Conversion means for converting the interlaced image data into progressive image data;
Image processing means comprising: an image processing means for synthesizing a predetermined pattern with respect to a portion lacking the high frequency component determined by the determination means included in the progressive image converted by the conversion means. apparatus.
前記検出手段は、前記複数のフィールド画像のそれぞれに含まれるエッジの動き量を検出することを特徴とする請求項6に記載の画像処理装置。   The image processing apparatus according to claim 6, wherein the detection unit detects a motion amount of an edge included in each of the plurality of field images. 前記判定手段は、前記インターレースの画像データが動画再生中の画像である場合と、動画ポーズ中の画像である場合とで、前記所定のしきい値を変更することを特徴とする請求項6又は7に記載の画像処理装置。   7. The determination unit according to claim 6, wherein the determination unit changes the predetermined threshold value between when the interlaced image data is an image during moving image reproduction and when the interlaced image data is an image during moving image pause. 8. The image processing apparatus according to 7. 前記インターレースの画像データを再生する再生手段をさらに備え、
前記判定手段は、前記再生手段が動画再生モードである場合と、静止画再生モードである場合とで、前記所定のしきい値を変更することを特徴とする請求項6又は7に記載の画像処理装置。
Reproducing means for reproducing the interlaced image data,
8. The image according to claim 6, wherein the determination unit changes the predetermined threshold value when the reproduction unit is in a moving image reproduction mode and when the reproduction unit is in a still image reproduction mode. Processing equipment.
前記画像処理手段は、前記所定のパターンとしてゼブラパターンを前記高域成分の欠落した部分に重ねて合成することを特徴とする請求項6乃至9の何れか1項に記載の画像処理装置。   The image processing apparatus according to claim 6, wherein the image processing unit synthesizes a zebra pattern as the predetermined pattern by superimposing the zebra pattern on a portion lacking the high frequency component. インターレースの画像データをプログレッシブの画像データに変換する画像処理方法であって、
前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する工程と、
前記検出された前記画素毎の動き量を所定のしきい値と比較することによって、動きの大きい画素領域を判定する工程と、
前記インターレースの画像データをプログレッシブの画像データに変換する工程と、
前記変換されたプログレッシブ画像に含まれる前記動きの大きい画素領域に対して、所定のパターンを合成する工程とを有することを特徴とする画像処理方法。
An image processing method for converting interlaced image data into progressive image data,
Detecting a motion amount for each pixel between a plurality of field images constituting the interlaced image data;
Determining a pixel area having a large movement by comparing the detected amount of movement for each pixel with a predetermined threshold;
Converting the interlaced image data into progressive image data;
And a step of synthesizing a predetermined pattern with the pixel region having a large motion included in the converted progressive image.
インターレースの画像データをプログレッシブの画像データに変換する画像処理方法であって、
前記インターレースの画像データを構成する複数のフィールド画像間における画素毎の動き量を検出する工程と、
前記検出された前記画素毎の動き量を所定のしきい値と比較することによって、前記複数のフィールド画像間の動きによって画像の高域成分の欠落した部分を判定する工程と、
前記インターレースの画像データをプログレッシブの画像データに変換する工程と、
前記変換されたプログレッシブ画像に含まれる前記高域成分の欠落した部分に対して、所定のパターンを合成する工程とを有することを特徴とする画像処理方法。
An image processing method for converting interlaced image data into progressive image data,
Detecting a motion amount for each pixel between a plurality of field images constituting the interlaced image data;
Determining the missing portion of the high frequency component of the image by the motion between the plurality of field images by comparing the detected amount of motion for each pixel with a predetermined threshold;
Converting the interlaced image data into progressive image data;
And a step of synthesizing a predetermined pattern with a portion lacking the high frequency component included in the converted progressive image.
JP2008228931A 2007-09-28 2008-09-05 Image processing apparatus and image processing method Expired - Fee Related JP5121639B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008228931A JP5121639B2 (en) 2007-09-28 2008-09-05 Image processing apparatus and image processing method
US12/239,268 US8345157B2 (en) 2007-09-28 2008-09-26 Image processing apparatus and image processing method thereof

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007255367 2007-09-28
JP2007255367 2007-09-28
JP2008228931A JP5121639B2 (en) 2007-09-28 2008-09-05 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2009100457A JP2009100457A (en) 2009-05-07
JP5121639B2 true JP5121639B2 (en) 2013-01-16

Family

ID=40702986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008228931A Expired - Fee Related JP5121639B2 (en) 2007-09-28 2008-09-05 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP5121639B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5499600B2 (en) * 2009-09-29 2014-05-21 株式会社ニコン Image reproduction apparatus and image reproduction program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3572882B2 (en) * 1997-08-26 2004-10-06 松下電器産業株式会社 Progressive scan conversion circuit
JP2005184421A (en) * 2003-12-19 2005-07-07 Hitachi Ltd Image information recorder-player and method therefor

Also Published As

Publication number Publication date
JP2009100457A (en) 2009-05-07

Similar Documents

Publication Publication Date Title
JP4444354B2 (en) Image processing apparatus and image processing method
JP5243833B2 (en) Image signal processing circuit, image display device, and image signal processing method
WO2007015452A1 (en) Digital watermark padding method, digital watermark padding device, digital watermark detecting method, digital watermark detecting device, and program
JP2010041336A (en) Image processing unit and image processing method
JP4924228B2 (en) Image processing apparatus, image processing method, and program
JP2010199976A (en) Image processor and image processing method
US9215353B2 (en) Image processing device, image processing method, image display device, and image display method
JP4528857B2 (en) Image processing apparatus and image processing method
US8385430B2 (en) Video signal processing apparatus and video signal processing method
JP4427592B2 (en) Image processing apparatus and image processing method
JP7014158B2 (en) Image processing equipment, image processing method, and program
JP5178579B2 (en) Image processing device
JP5121639B2 (en) Image processing apparatus and image processing method
US8345157B2 (en) Image processing apparatus and image processing method thereof
JP4484775B2 (en) Playback apparatus and playback method
JP5130171B2 (en) Image signal processing apparatus and image signal processing method
JP2011040836A (en) Frame interpolation device and frame interpolation method
JP5225123B2 (en) Moving image processing apparatus, moving image processing method, program, and recording medium
JP4869302B2 (en) Image processing apparatus and image processing method
JP5096883B2 (en) Image processing apparatus and image recording / reproducing apparatus
JP4991884B2 (en) Image processing apparatus and image processing method
JP4270071B2 (en) Video signal setting device
JP4897036B2 (en) Image processing apparatus and image processing method
JP2010041633A (en) Video signal processing apparatus, video display, and video signal processing method
JP5075923B2 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120925

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121023

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees