JP4761102B2 - Image display apparatus and method, and program - Google Patents

Image display apparatus and method, and program Download PDF

Info

Publication number
JP4761102B2
JP4761102B2 JP2003412500A JP2003412500A JP4761102B2 JP 4761102 B2 JP4761102 B2 JP 4761102B2 JP 2003412500 A JP2003412500 A JP 2003412500A JP 2003412500 A JP2003412500 A JP 2003412500A JP 4761102 B2 JP4761102 B2 JP 4761102B2
Authority
JP
Japan
Prior art keywords
image
resolution
input
image signal
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003412500A
Other languages
Japanese (ja)
Other versions
JP2005173158A (en
Inventor
誠司 小林
秀紀 小柳津
康孝 平澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003412500A priority Critical patent/JP4761102B2/en
Priority to US11/006,384 priority patent/US7660487B2/en
Priority to EP04029082A priority patent/EP1542161B1/en
Priority to DE602004001962T priority patent/DE602004001962T2/en
Priority to EP10009708.8A priority patent/EP2293237B1/en
Priority to EP05027806A priority patent/EP1643442B1/en
Priority to KR1020040103970A priority patent/KR101091217B1/en
Priority to CNB200410086659XA priority patent/CN100397886C/en
Publication of JP2005173158A publication Critical patent/JP2005173158A/en
Priority to US12/641,798 priority patent/US8009934B2/en
Application granted granted Critical
Publication of JP4761102B2 publication Critical patent/JP4761102B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、画像表示装置および方法、並びにプログラムに関し、特に、入力画像を、所定領域毎に、その移動量に基づいて解像度変換する画像表示装置および方法、並びにプログラムに関するものである。   The present invention relates to an image display device and method, and a program, and more particularly, to an image display device and method, and a program for converting the resolution of an input image for each predetermined area based on the amount of movement.

従来、表示装置において、表示された画像の解像度を超える解像度で、その画像の観測者が認識できるようにする方法として、液晶表示素子を複数使い、ハーフミラーなどを使って光学的に位置ずらして合成する第1の方法(特許文献1参照)や、液晶表示素子からの光の光軸を光学的に振動させるウォブリングと呼ばれる画素ずらし操作を行う第2の方法(特許文献2参照)などが提案されている。なお表示された画像の解像度を超える解像度で、観測者が画像を知覚することを、適宜、超解像度効果と称する。   Conventionally, in a display device, as a method for enabling an observer to recognize an image at a resolution exceeding the resolution of the displayed image, a plurality of liquid crystal display elements are used and optically shifted using a half mirror or the like. A first method for combining (see Patent Document 1), a second method for performing a pixel shifting operation called wobbling that optically vibrates the optical axis of light from a liquid crystal display element (see Patent Document 2), and the like are proposed. Has been. The perception of the image by the observer at a resolution exceeding the resolution of the displayed image is appropriately referred to as a super-resolution effect.

特開平6―18836号公報JP-A-6-18836 特開平6―324320号公報JP-A-6-324320

しかしながら、第1の方法による表示装置では、高解像度効果を実現するために複数の表示素子や、また複数の表示素子から出力される光を合成するための光学素子を用いる必要があることから、装置がコスト高になるとともに、その構造が複雑になり小型化が困難になるという問題があった。   However, in the display device according to the first method, it is necessary to use a plurality of display elements and an optical element for combining light output from the plurality of display elements in order to realize a high resolution effect. There is a problem that the cost of the apparatus becomes high and the structure becomes complicated and it is difficult to reduce the size.

また従来第2の方法による表示装置では、高解像度効果を実現するために光学的に光軸をずらす光学素子を必要としている。これは、ウォブリングを行うための光学素子によるコストアップに加え、駆動方式が複雑になるという問題があった。   Further, the display device according to the second conventional method requires an optical element that optically shifts the optical axis in order to realize a high resolution effect. This has the problem that the driving method becomes complicated in addition to the cost increase due to the optical element for wobbling.

本発明はこのような状況に鑑みてなされたものであり、表示素子の構造は変えることなく、超解像度効果を容易に得ることができるようにしたものである。   The present invention has been made in view of such a situation, and is capable of easily obtaining the super-resolution effect without changing the structure of the display element.

本発明の、第1の解像度を持つ画像信号を入力する画像入力ステップと、入力された画像信号を、第1の解像度より低い第2の解像度を持つ画像信号に変換する解像度変換ステップと、解像度変換された画像信号に対応する画像を所定のフレームレートで表示手段に表示させる画像表示制御ステップとを有する第1の画像表示方法は、解像度変換ステップが、画像入力ステップで入力された画像信号の少なくとも一部の領域の移動量を検出し、検出された移動量に基づいて決定される空間間引き量で、所定のフレームレートで表示する表示手段が第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行うことを特徴とする。 An image input step for inputting an image signal having a first resolution, a resolution conversion step for converting the input image signal into an image signal having a second resolution lower than the first resolution, and a resolution A first image display method including an image display control step of displaying an image corresponding to the converted image signal on a display unit at a predetermined frame rate, wherein the resolution conversion step is a step of converting the image signal input in the image input step; A vision in which the display means for detecting the amount of movement of at least a part of the area and displaying it at a predetermined frame rate with a spatial thinning amount determined based on the detected amount of movement has a resolution exceeding the second resolution. It is characterized by performing spatial thinning processing that provides an effect.

領域の横方向の移動量に基づいて横方向の空間間引き量を決定するとともに、領域の縦方向の移動量に基づいて縦方向の空間間引き量を決定することができる。   A horizontal thinning amount in the horizontal direction can be determined based on the horizontal movement amount of the region, and a vertical spatial thinning amount can be determined based on the vertical movement amount of the region.

フレームレートが高い場合に、空間間引き処理における空間間引き量を大きくすることができる。   When the frame rate is high, the spatial thinning amount in the spatial thinning process can be increased.

任意のフレームの空間間引き処理は、当該フレームと時間的に前後に隣接する所定数のフレームにおける当該空間間引き処理された信号のすべての折り返し成分が、互いに打ち消し合うように空間間引き量が決定されることができる。 The spatial decimation processing any frame, all aliasing components of the spatial decimation processed signal in a predetermined number of frames adjacent back and forth the frame temporally can be determined spatial thinning amount so cancel each other Can.

解像度変換ステップは、入力された画像信号に空間フィルタ処理を施した信号に対して、空間間引き処理を行うことができる。   In the resolution conversion step, spatial thinning processing can be performed on a signal obtained by performing spatial filtering on the input image signal.

解像度変換ステップは、画像入力ステップで入力された画像信号を複数の領域に分割し、分割された領域毎に移動量を検出することができる。 In the resolution conversion step, the image signal input in the image input step can be divided into a plurality of regions, and the movement amount can be detected for each of the divided regions.

本発明の、第1の解像度を持つ画像信号を入力する画像入力ステップと、入力された画像信号を、第1の解像度より低い第2の解像度を持つ画像信号に変換する解像度変換ステップと、解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御ステップとを有する第2の画像表示方法は、解像度変換ステップが、画像入力ステップで入力された画像信号を複数の領域に分割してその領域毎の移動量を検出し、検出された移動量に基づいて各領域の空間間引き量を設定するとともに、入力された画像信号の各領域に対して空間フィルタ処理を施した後で、設定された空間間引き量に基づいて領域毎に所定のフレームレートで表示する表示手段が第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行うことができる。 An image input step for inputting an image signal having a first resolution, a resolution conversion step for converting the input image signal into an image signal having a second resolution lower than the first resolution, and a resolution A second image display method including an image display control step of displaying the converted image signal on a display unit at a predetermined frame rate, wherein the resolution conversion step includes the image signal input in the image input step in a plurality of regions; After dividing, detecting the amount of movement for each area, setting the amount of spatial thinning for each area based on the detected amount of movement, and applying spatial filtering to each area of the input image signal in, inter space which gives a visual effect, such as having a resolution of a display means for displaying at a predetermined frame rate for each region based on the spatial decimation amount set exceeds a second resolution Can processing can be performed.

本発明の、第1の解像度を持つ画像信号を入力する画像入力手段と、画像入力手段に入力された画像信号を、第1の解像度より低い第2の解像度を持つ画像信号に変換する解像度変換手段と、解像度変換手段で解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御手段とを有する第1の画像表示装置は、解像度変換手段は、画像入力手段により入力された画像信号の少なくとも一部の領域の移動量を検出する移動量検出部と、検出された移動量に基づいて決定される空間間引き量で、所定のフレームレートで表示する表示手段が第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う解像度変換処理部とを有することを特徴とする。 Image input means for inputting an image signal having a first resolution and resolution conversion for converting the image signal input to the image input means into an image signal having a second resolution lower than the first resolution according to the present invention. In the first image display apparatus, the resolution conversion unit is input by the image input unit. The first image display device includes: a display unit configured to display the image signal converted in resolution by the resolution conversion unit on the display unit at a predetermined frame rate. A moving amount detector for detecting a moving amount of at least a part of the image signal, and a display means for displaying at a predetermined frame rate with a spatial thinning amount determined based on the detected moving amount; And a resolution conversion processing unit that performs a spatial thinning process that gives a visual effect having a resolution exceeding the resolution.

領域の横方向の移動量に基づいて横方向の空間間引き量が決定されるとともに、領域の縦方向の移動量に基づいて縦方向の空間間引き量が決定されるようにすることができる。The horizontal spatial thinning amount is determined based on the horizontal movement amount of the region, and the vertical spatial thinning amount can be determined based on the vertical movement amount of the region.
フレームレートが高い場合には、空間間引き処理における空間間引き量が大きくされるようにすることができる。When the frame rate is high, the amount of space decimation in the space decimation process can be increased.
任意のフレームの空間間引き処理では、当該フレームと時間的に前後に隣接する所定数のフレームにおける当該空間間引き処理された信号のすべての折り返し成分が、互いに打ち消し合うように空間間引き量が決定されるようにすることができる。In the spatial decimation process for an arbitrary frame, the spatial decimation amount is determined so that all the aliasing components of the signal subjected to the spatial decimation process in a predetermined number of frames that are temporally adjacent to the corresponding frame cancel each other out. Can be.

解像度変換処理部は、入力された画像信号に空間フィルタ処理を施した信号に対して、空間間引き処理を行うことができる。 The resolution conversion processing unit can perform spatial thinning processing on a signal obtained by subjecting the input image signal to spatial filtering.

移動量検出部は、画像入力手段により入力された画像信号を複数の領域に分割し、分割された領域毎に移動量を検出することができる。 The movement amount detection unit can divide the image signal input by the image input unit into a plurality of regions and detect the movement amount for each of the divided regions.

本発明の、第1の解像度を持つ画像信号を入力する画像入力手段と、画像入力手段に入力された画像信号を、第1の解像度より低い第2の解像度を持つ画像信号に変換する解像度変換手段と、解像度変換手段で解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御手段とを有する第2の画像表示装置は、解像度変換手段が、画像入力手段に入力された画像信号を複数の領域に分割して領域毎に移動量を検出する移動量検出部と、検出された移動量に基づいて各領域の空間間引き量を設定するとともに、入力された画像信号の各領域に対して空間フィルタ処理を施した後で、設定された空間間引き量に基づいて領域毎に所定のフレームレートで表示する表示手段が第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う解像度変換処理部とを有することを特徴とする。 Image input means for inputting an image signal having a first resolution and resolution conversion for converting the image signal input to the image input means into an image signal having a second resolution lower than the first resolution according to the present invention. And a second image display device having an image display control means for causing the display means to display the image signal converted in resolution by the resolution conversion means at a predetermined frame rate. The resolution conversion means is input to the image input means. A moving amount detection unit that divides the image signal into a plurality of regions and detects a moving amount for each region, and sets a spatial thinning amount of each region based on the detected moving amount, and the input image signal after performing a spatial filter processing for each region, such as having a resolution of a display means for displaying at a predetermined frame rate for each region based on the spatial decimation amount set exceeds a second resolution And having a resolution conversion processing unit that performs spatial decimation processing to give sense effect.

本発明の、コンピュータに、第1の解像度を持つ画像信号の入力を制御する画像入力制御ステップと、入力された画像信号の、第1の解像度より低い第2の解像度を持つ画像信号への変換を制御する解像度変換制御ステップと、解像度変換された画像信号に対応する画像の所定のフレームレートでの表示を制御する画像表示制御ステップとを含む処理を実行させるためのプログラムは、解像度変換制御ステップが、画像入力制御ステップの処理で入力された画像信号の少なくとも一部の領域の移動量を検出し、検出された移動量に基づいて決定される空間間引き量で、所定のフレームレートで表示する表示手段が第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行うことができる。 An image input control step for controlling input of an image signal having a first resolution to a computer, and conversion of the input image signal into an image signal having a second resolution lower than the first resolution A program for executing processing including a resolution conversion control step for controlling the image and an image display control step for controlling display of an image corresponding to the resolution-converted image signal at a predetermined frame rate is provided in the resolution conversion control step. Detects the amount of movement of at least a part of the region of the image signal input in the processing of the image input control step, and displays the amount of spatial thinning determined based on the detected amount of movement at a predetermined frame rate. Spatial thinning processing can be performed which gives a visual effect such that the display means has a resolution exceeding the second resolution.

本発明においては、第1の解像度を持つ画像信号が入力され、入力された画像信号が、第1の解像度より低い第2の解像度を持つ画像信号に変換され、解像度変換された画像信号に対応する画像が所定のフレームレートで表示手段に表示され、解像度変換の際、入力された画像信号の少なくとも一部の領域の移動量が検出され、検出された移動量に基づいて決定される空間間引き量で、所定のフレームレートで表示する表示手段が第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理が行われる。 In the present invention, an image signal having the first resolution is input, the input image signal is converted to an image signal having a second resolution lower than the first resolution, and the resolution-converted image signal is supported. The image to be displayed is displayed on the display means at a predetermined frame rate, and at the time of resolution conversion, the amount of movement of at least a part of the input image signal is detected, and spatial thinning determined based on the detected amount of movement A spatial thinning process is performed in which the visual effect is such that the display means displaying at a predetermined frame rate has a resolution exceeding the second resolution.

また本発明においては、第1の解像度を持つ画像信号が入力され、入力された画像信号が、第1の解像度より低い第2の解像度を持つ画像信号に変換され、解像度変換された画像信号が所定のフレームレートで表示手段に表示され、解像度変換の際、入力された画像信号を複数の領域に分割してその領域毎の移動量が検出され、検出された移動量に基づいて各領域の空間間引き量を設定するとともに、入力された画像信号の各領域に対して空間フィルタ処理を施した後で、設定された空間間引き量に基づいて領域毎に所定のフレームレートで表示する表示手段が第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理が行われる。 In the present invention, an image signal having the first resolution is input, the input image signal is converted into an image signal having a second resolution lower than the first resolution, and the resolution-converted image signal is Displayed on the display means at a predetermined frame rate, and at the time of resolution conversion, the input image signal is divided into a plurality of regions, and the movement amount for each region is detected. Based on the detected movement amount, Display means for setting a spatial decimation amount and performing a spatial filter process on each region of the input image signal and then displaying each region at a predetermined frame rate based on the set spatial decimation amount Spatial thinning processing is performed that provides a visual effect that has a resolution that exceeds the second resolution.

本発明によれば、画像の移動量に基づく空間間引き等の解像度変換により、超解像度効果を、容易に得ることができる。   According to the present invention, the super-resolution effect can be easily obtained by resolution conversion such as spatial thinning based on the moving amount of the image.

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。   Embodiments of the present invention will be described below. The correspondence relationship between the invention described in this specification and the embodiments of the invention is exemplified as follows. This description is intended to confirm that the embodiments supporting the invention described in this specification are described in this specification. Therefore, although there is an embodiment which is described in the embodiment of the invention but is not described here as corresponding to the invention, it means that the embodiment is not It does not mean that it does not correspond to the invention. Conversely, even if an embodiment is described herein as corresponding to an invention, that means that the embodiment does not correspond to an invention other than the invention. Absent.

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。   Further, this description does not mean all the inventions described in this specification. In other words, this description is for the invention described in the present specification, which is not claimed in this application, that is, for the invention that will be applied for in the future or that will appear and be added by amendment. It does not deny existence.

本発明の、第1の解像度を持つ画像信号を入力する画像入力ステップと、入力された画像信号を、第1の解像度より低い第2の解像度を持つ画像信号に変換する解像度変換ステップと、解像度変換された画像信号に対応する画像を所定のフレームレートで表示手段に表示させる画像表示制御ステップとを有する第1の画像表示方法は、解像度変換ステップが、画像入力ステップで入力された画像信号の少なくとも一部の領域の移動量を検出し(例えば、図23のステップS3での処理)、検出された移動量に基づいて決定される空間間引き量で、所定のフレームレートで表示する表示手段が第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理(例えば、図23のステップS4乃至ステップS7の処理)を行うことを特徴とする。 An image input step for inputting an image signal having a first resolution, a resolution conversion step for converting the input image signal into an image signal having a second resolution lower than the first resolution, and a resolution A first image display method including an image display control step of displaying an image corresponding to the converted image signal on a display unit at a predetermined frame rate, wherein the resolution conversion step is a step of converting the image signal input in the image input step; Display means for detecting the amount of movement of at least a part of the region (for example, the processing in step S3 in FIG. 23) and displaying the amount of spatial thinning determined based on the detected amount of movement at a predetermined frame rate Performing spatial thinning processing (for example, processing in steps S4 to S7 in FIG. 23) that gives a visual effect having a resolution exceeding the second resolution. And butterflies.

解像度変換ステップが、表示手段が第2の解像度を超える解像度を有するような視覚効果を与える空間間引き処理(例えば、ステップS7の処理)を含むようにすることができる。   The resolution conversion step may include a spatial thinning process (for example, a process of step S7) that gives a visual effect such that the display unit has a resolution exceeding the second resolution.

空間間引き処理における空間間引き量は、領域の移動量に基づいて決定されるようにすることができる(例えば、図23のステップSS4,5の処理)。   The amount of space thinning in the space thinning processing can be determined based on the amount of movement of the region (for example, the processing of steps SS4 and 5 in FIG. 23).

領域の横方向の移動量に基づいて横方向の空間間引き量を決定するとともに、領域の縦方向の移動量に基づいて縦方向の空間間引き量を決定することができる(例えば、図23のステップS4,S5の処理)。   The horizontal spatial thinning amount can be determined based on the horizontal movement amount of the region, and the vertical spatial thinning amount can be determined based on the vertical movement amount of the region (for example, step of FIG. 23). Processing of S4 and S5).

フレームレートが高い場合に、空間間引き処理における空間間引き量を大きくすることができる(例えば、図23のステップS4,S5の処理)。   When the frame rate is high, the spatial thinning amount in the spatial thinning process can be increased (for example, the processes in steps S4 and S5 in FIG. 23).

任意のフレームの空間間引き処理は、当該フレームと時間的に前後に隣接する所定数のフレームにおける当該空間間引き処理された信号のすべての折り返し成分が、互いに打ち消し合うように空間間引き量が決定されることができる。(例えば、図23のステップS5の処理)。 The spatial decimation processing any frame, all aliasing components of the spatial decimation processed signal in a predetermined number of frames adjacent back and forth the frame temporally can be determined spatial thinning amount so cancel each other Can. (For example, the process of step S5 of FIG. 23).

解像度変換ステップは、入力された画像信号に空間フィルタ処理を施した信号に対して、空間間引き処理を行うことができる(例えば、図23のステップS6,S7の処理)。   In the resolution conversion step, spatial thinning processing can be performed on a signal obtained by performing spatial filtering on the input image signal (for example, processing in steps S6 and S7 in FIG. 23).

解像度変換ステップは、画像入力ステップで入力された画像信号を複数の領域に分割し、分割された領域毎に移動量を検出することができる(例えば、図23のステップS3の処理)。 In the resolution conversion step, the image signal input in the image input step can be divided into a plurality of regions, and the movement amount can be detected for each of the divided regions (for example, the process in step S3 in FIG. 23).

本発明の、第1の解像度を持つ画像信号を入力する画像入力ステップと、入力された画像信号を、第1の解像度より低い第2の解像度を持つ画像信号に変換する解像度変換ステップと、解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御ステップとを有する第2の画像表示方法は、解像度変換ステップが、画像入力ステップで入力された画像信号を複数の領域に分割してその領域毎の移動量を検出し(例えば、図23のステップS3の処理)、検出された移動量に基づいて各領域の空間間引き量を設定するとともに(例えば、図23のステップS4,S5の処理)、入力された画像信号の各領域に対して空間フィルタ処理を施した後で(例えば、図23のステップS6の処理)、設定された空間間引き量に基づいて領域毎に所定のフレームレートで表示する表示手段が第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理(例えば、図23のステップS7の処理)を行うことができる。 An image input step for inputting an image signal having a first resolution, a resolution conversion step for converting the input image signal into an image signal having a second resolution lower than the first resolution, and a resolution A second image display method including an image display control step of displaying the converted image signal on a display unit at a predetermined frame rate, wherein the resolution conversion step includes the image signal input in the image input step in a plurality of regions; The movement amount for each area is detected by division (for example, the process of step S3 in FIG. 23), and the spatial thinning amount of each area is set based on the detected movement amount (for example, step S4 in FIG. 23). , S5), and after performing spatial filter processing on each area of the input image signal (for example, processing in step S6 in FIG. 23), the set spatial thinning amount Based display means for displaying at a predetermined frame rate for each region by the spatial decimation processing to provide a visual effect that has a resolution exceeding the second resolution (for example, step S7 in FIG. 23) can be performed.

本発明の、第1の解像度を持つ画像信号を入力する画像入力手段(例えば、図18の画像入力部11)と、画像入力手段に入力された画像信号を、第1の解像度より低い第2の解像度を持つ画像信号に変換する解像度変換手段(例えば、図18の画像変換部12)と、解像度変換手段で解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御手段(例えば、図18の画像表示部13)とを有する第1の画像表示装置は、解像度変換手段は、画像入力手段により入力された画像信号の少なくとも一部の領域の移動量を検出する移動量検出部(例えば、図18の移動量検出部21)と、検出された移動量に基づいて決定される空間間引き量で、所定のフレームレートで表示する表示手段が第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う解像度変換処理部(例えば、図18の画素数変換部22)とを有することを特徴とする。 The image input means (for example, the image input unit 11 in FIG. 18) for inputting an image signal having the first resolution and the image signal input to the image input means of the present invention are set to a second lower than the first resolution. Resolution conversion means (for example, the image conversion section 12 in FIG. 18) that converts the image signal having the resolution of the image, and image display control means for causing the display means to display the image signal that has undergone resolution conversion by the resolution conversion means at a predetermined frame rate. (For example, the image display unit 13 in FIG. 18), the first image display apparatus includes a resolution conversion unit that detects a movement amount of at least a partial area of the image signal input by the image input unit. detector (e.g., the movement amount detecting unit 21 of FIG. 18) exceeds the, at spatial thinning amount determined based on the detected movement amount, a display means for displaying at a predetermined frame rate and the second resolution solutions Resolution conversion processing unit that performs spatial decimation processing to provide a visual effect such as those having degrees (e.g., the number of pixel conversion section 22 of FIG. 18) and having a.

解像度変換手段は、移動量に対応した空間間引き量のテーブルを記憶するための記憶部(例えば、図19の記憶部44A)をさらに有し、テーブルを参照することにより、空間間引き量が決定されるようにすることができる。   The resolution conversion unit further includes a storage unit (for example, the storage unit 44A in FIG. 19) for storing a table of spatial thinning amounts corresponding to the movement amount, and the spatial thinning amount is determined by referring to the table. You can make it.

解像度変換処理部は、入力された画像信号に空間フィルタ処理を施した信号に対して、空間間引き処理を行う(例えば、図19の空間間引き処理部42)。 The resolution conversion processing unit performs spatial thinning processing on a signal obtained by performing spatial filtering on the input image signal (for example, the spatial thinning processing unit 42 in FIG. 19).

移動量検出部は、画像入力手段により入力された画像信号を複数の領域に分割し、分割された領域毎に移動量を検出することができる(例えば、図19のブロックマッチング回路34)。 The movement amount detection unit can divide the image signal input by the image input unit into a plurality of regions and detect the movement amount for each of the divided regions (for example, the block matching circuit 34 in FIG. 19).

本発明の、第1の解像度を持つ画像信号を入力する画像入力手段(例えば、図18の画像入力部11)と、画像入力手段に入力された画像信号を、第1の解像度より低い第2の解像度を持つ画像信号に変換する解像度変換手段(例えば、図18の画像変換部12)と、解像度変換手段で解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御手段(例えば、図18の画像表示部13)とを有する第2の画像表示装置は、解像度変換手段が、画像入力手段に入力された画像信号を複数の領域に分割して領域毎に移動量を検出する移動量検出部(例えば、図18の移動量検出部21)と、検出された移動量に基づいて各領域の空間間引き量を設定するとともに(例えば、図19の制御部44)、入力された画像信号の各領域に対して空間フィルタ処理を施した後で(例えば、図19の空間フィルタ処理部41)、設定された空間間引き量に基づいて領域毎に所定のフレームレートで表示する表示手段が第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う解像度変換処理部(例えば、図19の空間間引き処理部42)とを有することを特徴とする。 The image input means (for example, the image input unit 11 in FIG. 18) for inputting an image signal having the first resolution and the image signal input to the image input means of the present invention are set to a second lower than the first resolution. Resolution conversion means (for example, the image conversion section 12 in FIG. 18) that converts the image signal having the resolution of the image, and image display control means for causing the display means to display the image signal that has undergone resolution conversion by the resolution conversion means at a predetermined frame rate. (For example, the image display unit 13 in FIG. 18), the resolution conversion unit divides the image signal input to the image input unit into a plurality of regions, and sets the movement amount for each region. Based on the detected movement amount detection unit (for example, the movement amount detection unit 21 in FIG. 18), the spatial thinning amount of each region is set based on the detected movement amount (for example, the control unit 44 in FIG. 19), and input Image After performing a spatial filter processing for each area (for example, spatial filtering unit 41 of FIG. 19), display means for displaying at a predetermined frame rate for each region based on the spatial decimation amount set first And a resolution conversion processing unit (for example, the spatial thinning processing unit 42 in FIG. 19) that performs spatial thinning processing that gives a visual effect that has a resolution exceeding two resolutions.

本発明を適用した画像表示装置は、入力画像を、その解像度より低い解像度を持つ表示画像に変換して表示デバイスに表示するが、その際、所定の視覚特性を利用した解像度変換処理を行うことにより、観測者がその解像度を超える解像度で画像を知覚するという知覚効果(超解像度効果)を実現する。   An image display device to which the present invention is applied converts an input image into a display image having a resolution lower than the resolution and displays the converted image on a display device. At that time, resolution conversion processing using predetermined visual characteristics is performed. This realizes a perceptual effect (super-resolution effect) in which the observer perceives an image at a resolution exceeding the resolution.

ここでその視覚特性および解像度変換処理について説明する。   Here, the visual characteristics and resolution conversion processing will be described.

人の視覚は、受けた光の刺激の総和がある閾値になったとき光を知覚するという機能(以下、時間的積分機能と称する)を有している。すなわち光の知覚は、呈示時間内の光の刺激の分布状態に関係なく、時間的に積分された光の総和に従う。また光を知覚できる刺激(閾値)は、刺激の呈示時間が長くなるにつれて小さくなり、呈示時間が短くなるにつれて大きくなる。   Human vision has a function of perceiving light when the sum of received light stimuli reaches a certain threshold (hereinafter referred to as a temporal integration function). That is, the perception of light follows the sum of the light integrated over time regardless of the distribution state of the light stimulus within the presentation time. Further, the stimulus (threshold) that can perceive light becomes smaller as the presentation time of the stimulus becomes longer, and becomes larger as the presentation time becomes shorter.

この関係は、ブロックの法則(Bloch's law)として知られ、以下の式が成り立つ。式中、Iは、閾値としての刺激の強度であり、Tは、刺激の呈示時間であり、kは定数である。
I×T=k
This relationship is known as the Block's law, and the following equation holds: Where I is the intensity of the stimulus as a threshold, T is the stimulus presentation time, and k is a constant.
I × T = k

またこの関係は、横軸を刺激呈示時間Tとし、縦軸を閾値(強度I)とすると、図1に示すように表すことができる。この曲線は、閾値呈示時間曲線として知られている。図1の閾値呈示時間曲線によれば、強度Iaの光がインパルス的に時間Taの間呈示された場合と、Iaの1/nの強度Ibの光がTaのn倍の時間Tbだけ連続して呈示された場合とでは、人は、同じ明るさを感じることになる。   This relationship can be expressed as shown in FIG. 1, where the horizontal axis is the stimulus presentation time T and the vertical axis is the threshold (intensity I). This curve is known as the threshold presentation time curve. According to the threshold value presentation time curve of FIG. 1, when light of intensity Ia is presented in impulse for time Ta, light of intensity Ib 1 / n of Ia continues for time Tb that is n times Ta. The person feels the same brightness when presented.

なお、刺激の呈示時間のある時間(図1の例では時間TL)までは、ブロックの法則が成り立つが(時間TLまでは右下がりの直線になるが)、時間TLを越えると閾値が刺激の強度のみに依存するようになる(呈示時間によって変化しなくなり、その結果閾値呈示時間曲線は折れ線のような特性を示す)。ブロックの法則が成り立つ最大の刺激呈示時間TLは、臨界呈示時間と呼ばれている。この時間TLは、背景光の強度などの刺激呈示条件によって変化するが、およそ25ms乃至100msであるという報告がある。   It should be noted that the rule of the block is valid up to a time when the stimulus is presented (time TL in the example of FIG. 1) (although it becomes a straight line to the right until time TL), the threshold value of the stimulus is exceeded when time TL is exceeded. It depends only on the intensity (it does not change with the presentation time, and as a result, the threshold presentation time curve shows a characteristic like a broken line). The maximum stimulus presentation time TL for which the block law holds is called the critical presentation time. Although this time TL varies depending on the stimulus presentation conditions such as the intensity of the background light, there is a report that it is approximately 25 ms to 100 ms.

ブロックの法則の詳細については、例えば、"視覚情報処理ハンドブック,日本視覚学会編,pp.219-220"などに記載されている。   Details of the block rule are described in, for example, “Visual Information Processing Handbook, Japanese Visual Society, pp.219-220”.

人の視覚はまた、刺激を知覚すると、その刺激を、その刺激の呈示が終了した後もある時間記憶するという機能(以下、感覚記憶機能と称する)を有している。この時間については、10ms乃至200msであるという報告が多数されている。この機能は、アイコニックメモリーとか視覚的持続などとも呼ばれ、例えば、"視覚情報ハンドブック,日本視覚学界編,pp.229-230"などに記載されている。   The human vision also has a function (hereinafter referred to as a sensory memory function) that, when a stimulus is perceived, the stimulus is stored for a certain period of time after the presentation of the stimulus ends. There are many reports that this time is 10 ms to 200 ms. This function is also called iconic memory or visual persistence, and is described in, for example, “Visual Information Handbook, Japanese Visual Society, pp.229-230”.

次に、超解像度効果を実現する解像度変換処理について説明する。なお本発明における超解像度効果は、観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性を利用している。これは上記の時間的積分機能および感覚記憶機能が複雑に関係して引き起こされていると考えられるが、以下の説明においては、これを便宜上、時間的積分機能によるものとする。   Next, resolution conversion processing for realizing the super-resolution effect will be described. Note that the super-resolution effect in the present invention uses a visual characteristic that an observer perceives a sum of a plurality of images within a certain time. This is considered to be caused by the complicated relationship between the temporal integration function and the sensory memory function. In the following description, this is based on the temporal integration function for convenience.

例えば、水平方向に平行移動する被写体を、所定のフレームレート(以下、入力画像フレームレートと称する)および所定のサンプリングレート(以下、入力画像サンプリングレートと称する)で撮影すると、図2Aに示すような、被写体像Waが、速度v(ピクセル/フレーム)で、図面に向かって右方向(X軸方向)に移動する入力フレームFaが得られる。図2Aには、連続する4枚の入力フレームFa1乃至Fa4が図示されている。   For example, when a subject moving in parallel in the horizontal direction is photographed at a predetermined frame rate (hereinafter referred to as an input image frame rate) and a predetermined sampling rate (hereinafter referred to as an input image sampling rate), as shown in FIG. 2A. An input frame Fa in which the subject image Wa moves rightward (X-axis direction) toward the drawing at a speed v (pixel / frame) is obtained. FIG. 2A shows four consecutive input frames Fa1 to Fa4.

このように得られた入力フレームFaを、X軸方向(被写体像Waの移動方向)に、入力画像サンプリングレートの、1/mのサンプリングレート(以下、表示画像サンプリングレートと称する)でサンプリングするものとする(間引き量mで間引きするものとする)。図2Aの場合、入力フレームFaが間引き量4で間引きされているので、図2Bに示すような、X軸方向の画素数が1/4になった(X軸方向に粗くなった)(画質が劣化した)表示フレームFbが得られる。表示フレームFbには、入力フレームFaの被写体像Waが間引き量4で間引きされた画像(以下、表示被写体像Wbと称する)が含まれている。   The input frame Fa obtained in this way is sampled in the X-axis direction (moving direction of the subject image Wa) at a sampling rate (hereinafter referred to as a display image sampling rate) that is 1 / m of the input image sampling rate. (Thinning shall be performed with the thinning amount m). In the case of FIG. 2A, since the input frame Fa is thinned by the thinning amount 4, the number of pixels in the X-axis direction is reduced to 1/4 (rough in the X-axis direction) as shown in FIG. Display frame Fb is obtained. The display frame Fb includes an image obtained by thinning the subject image Wa of the input frame Fa with a thinning amount 4 (hereinafter referred to as a display subject image Wb).

そしてこのように得られた表示フレームFbを、所定のフレームレート(以下、表示画像フレームレート)で表示するものとする。その結果観測者は、上述した時間的積分機能における積分時間内に表示された複数の表示フレームFbの積分画像を知覚する。   The display frame Fb thus obtained is displayed at a predetermined frame rate (hereinafter referred to as display image frame rate). As a result, the observer perceives integrated images of a plurality of display frames Fb displayed within the integration time in the temporal integration function described above.

ここで観測者の視線は、このように表示された表示フレームFb上の表示被写体像Wbを追従しているものとする。この場合観測者の視点は、常に表示被写体像Wbの中心に位置するので、観測者の網膜上の表示被写体像Wbはほぼ静止している。図2Bに示す座標軸Vx,Vyは、網膜上の座標を示し、座標軸X,Yは、フレーム上の座標を示している(ともに、図中表示フレームFb1上に示されているが、表示フレームFb2乃至Fb4についてはその図示は省略されている)。座標軸Vx,Vyは、網膜には実像の反転像が結像するため、座標系の向きは座標軸X,Yと逆になっている。   Here, it is assumed that the observer's line of sight follows the display subject image Wb on the display frame Fb displayed in this way. In this case, since the viewpoint of the observer is always located at the center of the display subject image Wb, the display subject image Wb on the observer's retina is almost stationary. The coordinate axes Vx and Vy shown in FIG. 2B indicate coordinates on the retina, and the coordinate axes X and Y indicate coordinates on the frame (both are shown on the display frame Fb1 in the figure, but the display frame Fb2 The illustration of Fb4 to Fb4 is omitted). As for the coordinate axes Vx and Vy, since a reverse image of the real image is formed on the retina, the direction of the coordinate system is opposite to that of the coordinate axes X and Y.

また表示フレームFbのサンプリングは、図3中の点線で示されているように、フレーム上一定の位置(この例の場合、4画素間隔の位置)がサンプルされる。したがって、移動量がサンプリング間隔の倍数と一致しない場合、サンプリングされる被写体像Waの位置は、フレーム毎にvずつずれるので、表示フレームFbの各表示被写体像Wbは、被写体像Waの、サンプリング位置のずれ分だけ異なる部分で形成される。   In addition, as shown by the dotted line in FIG. 3, the display frame Fb is sampled at a certain position on the frame (in this example, a position at an interval of 4 pixels). Therefore, when the movement amount does not match the multiple of the sampling interval, the position of the sampled subject image Wa is shifted by v for each frame, so that each display subject image Wb of the display frame Fb is the sampling position of the subject image Wa. It is formed in a part different by the amount of deviation.

例えば、被写体像Waの移動速度vが、1(ピクセル/フレーム)である場合、フレーム間の移動量(1ピクセル)がサンプリング間隔(4ピクセル)の倍数と一致せず、サンプリングされる被写体像Waの位置が、1画素ずつX軸方向にずれる。したがってこの場合、表示フレームFbの各表示被写体像Wbは、被写体像Waの、その分だけ異なる部分から形成される。   For example, when the moving speed v of the subject image Wa is 1 (pixel / frame), the amount of movement (1 pixel) between frames does not match a multiple of the sampling interval (4 pixels), and the sampled subject image Wa is sampled. Is shifted by one pixel in the X-axis direction. Therefore, in this case, each display subject image Wb of the display frame Fb is formed from a different portion of the subject image Wa.

このように表示被写体像Wbが、被写体像Waの、サンプリング位置のずれ分だけ異なる部分から形成されている場合、その表示被写体像Wbが視覚系で複数フレームにわたって積分されることにより、表示被写体像Wbより画素が密になった画像(表示被写体像像Wbの解像度より高解像度(以下、超解像度と称する)の画像)が知覚される。   In this way, when the display subject image Wb is formed from a portion that differs from the subject image Wa by the deviation of the sampling position, the display subject image Wb is integrated over a plurality of frames in the visual system. An image in which the pixels are denser than Wb (an image having a higher resolution than the resolution of the display subject image Wb (hereinafter referred to as super-resolution)) is perceived.

例えば、視覚特性における積分時間が、図2Bにおける4枚分の表示フレームFbの表示時間に相当し、表示フレームFa1乃至Fa4の4個の表示被写体像Wbが積分される場合、図2Cに示すような、表示被写体像Wbの解像度の約4倍、すなわち被写体像Waと同程度の解像度の画像が知覚される。   For example, when the integration time in the visual characteristic corresponds to the display time of the four display frames Fb in FIG. 2B and the four display subject images Wb in the display frames Fa1 to Fa4 are integrated, as shown in FIG. 2C. In addition, an image having a resolution of about four times the resolution of the display subject image Wb, that is, about the same resolution as the subject image Wa is perceived.

超解像度効果はこの原理によって実現されるが、間引き処理を施すと折り返し成分が発生し、それが折り返し歪みとなり画質が劣化する。そこで本発明では、以下に説明するようにその折り返し成分を取り除く工夫がなされている。   The super-resolution effect is realized by this principle. However, when the thinning process is performed, a aliasing component is generated, which becomes aliasing distortion and image quality deteriorates. Therefore, in the present invention, as described below, a device for removing the folding component is devised.

式(1)は、1次元の原信号f(x)を間隔Xで離散化した信号fs(x)を表している。式(1)中、δ(x)はデルタ関数である。式(2)は、離散化信号fs(x)のフーリエ変換Fs(ω)を表している。式(2)中、F(ω)は原信号f(x)のフーリエ変換であり、ωsはサンプリング角周波数を表している。

Figure 0004761102
・・・(1)

Figure 0004761102
・・・(2) Expression (1) represents a signal f s (x) obtained by discretizing a one-dimensional original signal f (x) with an interval X. In equation (1), δ (x) is a delta function. Equation (2) represents the Fourier transform F s (ω) of the discretized signal f s (x). In equation (2), F (ω) is the Fourier transform of the original signal f (x), and ω s represents the sampling angular frequency.
Figure 0004761102
... (1)

Figure 0004761102
... (2)

式(3)は、原信号f(x)を、実空間においてφだけずらして間隔Xでの離散化を行った信号f(x)のフーリエ変換F(ω)を表している。

Figure 0004761102
・・・(3) Expression (3) represents the Fourier transform F (ω) of the signal f (x) obtained by discretizing the original signal f (x) by an interval X while shifting the original signal f (x) in the real space.
Figure 0004761102
... (3)

式(3)は、k=0の基本波は原信号と同じになり、k=nのn次高調波は2πnφだけ位相がずれていることを示している。上述のように、被写体像Waがある移動速度vで平行移動しているとし、移動方向に1/mで間引きサンプリングする場合を考えると、原信号は表示フレームFbのナイキスト周波数のm倍の帯域を持っている。したがって、1/mで間引きサンプリングされたサンプリング信号f(x)は折り返し成分を持っており、式(3)において、k=0は原信号成分となり、k=1,2,・・・,(m−1)は折り返し成分となる。 Equation (3) indicates that the fundamental wave of k = 0 is the same as the original signal, and the n-th harmonic of k = n is out of phase by 2πnφ. As described above, assuming that the subject image Wa is moving in parallel at a certain moving speed v and the sampling is sampled at 1 / m in the moving direction, the original signal is a band of m times the Nyquist frequency of the display frame Fb. have. Therefore, the sampling signal f (x) thinned and sampled at 1 / m has an aliasing component, and in Equation (3), k = 0 is the original signal component, and k = 1, 2 ,. (m-1) is a folding component.

図4は、間引き量m=2としたときのフーリエ変換F(ω)を示している。このとき、原信号の帯域はナイキスト周波数の2倍となり、1/mで間引きサンプリングされたサンプリング信号f(x)には1次高調波の折り返し成分が存在している。この図からわかるように、サンプリング信号f(x)は原信号f(x)のフーリエ変換F(ω)成分をそのまま持っており、k=1における1次高調波F(ω-ωs)およびF(ω+ωs)が、それぞれ −2πφおよび 2πφだけ位相がずれて折り返している。 FIG. 4 shows the Fourier transform F (ω) when the thinning amount m = 2. At this time, the band of the original signal is twice the Nyquist frequency, and the first harmonic return component exists in the sampling signal f (x) sampled by 1 / m. As can be seen from this figure, the sampling signal f (x) has the Fourier transform F (ω) component of the original signal f (x) as it is, and the first harmonic F (ω−ω s ) at k = 1. And F (ω + ω s ) are folded back by −2πφ and 2πφ, respectively.

間引きサンプリング間隔が1/mの場合には、その1/mで間引きされたサンプリング信号f(x)には1乃至(m−1)次の折り返し成分が存在し、それぞれの位相は2πkφだけずれていることになる。このサンプリング信号f(x)は、φだけずれた原信号f(x)を1/mに間引きサンプリングした信号であるので、図2Bにおける任意の1表示フレームFbに相当すると考えられる。 When the thinning sampling interval is 1 / m, the sampling signal f (x) thinned by 1 / m includes 1st to (m−1) -order folding components, and each phase is 2πkφ. It will be shifted. Since the sampling signal f (x) is a signal obtained by sampling the original signal f (x) shifted by φ by 1 / m, it is considered to correspond to any one display frame Fb in FIG. 2B.

ここで図2Bにおける時間的に異なる各表示フレームFbの信号について考える。被写体(原信号f(x))が速度vで平行移動している場合、図3で示したように、フレーム毎にサンプル点の位相がずれる。このことから、式(3)におけるサンプリング点のずれ量φは時間tの関数となっており、速度v(ピクセル/フレーム)と間引き量m(ピクセル)に依存して式(4)のようになる。式(4)中Tは、時間間隔を表しており、フレームレートの逆数である。

Figure 0004761102
・・・(4) Here, consider the signals of the display frames Fb that are different in time in FIG. 2B. When the subject (original signal f (x)) is translated at the speed v, the phase of the sample points is shifted for each frame as shown in FIG. Therefore, the sampling point shift amount φ in the equation (3) is a function of the time t, and depends on the speed v (pixel / frame) and the thinning-out amount m (pixel) as in the equation (4). Become. In Expression (4), T represents a time interval and is the reciprocal of the frame rate.
Figure 0004761102
... (4)

式(4)は、t=0のときにずれ量φ0が0となり、t=T,2T,3T・・・と変化するにつれてずれ量がv/mずつ増えていくことを表している。式(4)を式(3)に当てはめると、各時刻における折り返し成分の位相が求められる。図5は、1次の折り返し成分の時刻t=0,T,2T,3T,・・・における位相を表している。図6は、2次の折り返し成分の、図7は、3次の折り返し成分の、そして図8は、4次の折り返し成分の時刻t=0,T,2T,3T,・・・における位相をそれぞれ表している。 Expression (4) represents that the shift amount φ 0 becomes 0 when t = 0, and the shift amount increases by v / m as t = T, 2T, 3T. When equation (4) is applied to equation (3), the phase of the aliasing component at each time is obtained. FIG. 5 shows the phases of the primary folding components at time t = 0, T, 2T, 3T,. 6 shows the phase of the second-order aliasing component, FIG. 7 shows the phase of the third-order aliasing component, and FIG. 8 shows the phase of the fourth-order aliasing component at time t = 0, T, 2T, 3T,. Represents each.

このようにk次の折り返し成分は、時間、すなわちフレームが進むに従って、等間隔(2πkφT間隔)で回転し、時間t=(m/v)Tの時に位相0に戻る。また折り返し成分の次数が上がるに従って、位相の回転間隔が倍になる。   In this way, the k-th order folding component rotates at equal intervals (2πkφT intervals) as time advances, that is, the frame, and returns to phase 0 at time t = (m / v) T. Further, the phase rotation interval doubles as the order of the aliasing component increases.

このように間引き量mでの間引き処理(間引きサンプリング)によって発生するk(=1,2,・・・,(m−1))次の折り返し成分の位相は、2πkφTで回転するので、位相の方向と積分される画像の数(合成される折り返し成分の数)によっては、折り返し成分が互いに打ち消される場合がある。言い換えれば、φtは、式(4)に示すように移動速度vと間引き量mに依存するので、移動速度vと間引き量m並びに積分される画像の数によって、折り返し成分が互いに打ち消される場合がある。   In this way, the phase of the next aliasing component of k (= 1, 2,..., (M−1)) generated by the thinning process (thinning sampling) with the thinning amount m rotates at 2πkφT. Depending on the direction and the number of images to be integrated (the number of folded components to be combined), the folded components may cancel each other. In other words, since φt depends on the moving speed v and the thinning amount m as shown in the equation (4), the aliasing components may be canceled out depending on the moving speed v and the thinning amount m and the number of images to be integrated. is there.

例えば、v=1である場合、m=4で間引きしたとき、表示フレームFbの画像には、図9に示すように、0(=2π×1×[(1/4)×0/T]),π/2(=2π×1×[(1/4)×(T/T)],π(=2π×1×[(1/4)×2T/T]、3/2π(=2π×1×[(1/4)×3T/T]),・・・で位相が変化する(π/2間隔で位相が変化する)1次の折り返し成分が存在する。なお図9においてt=4T以降の折り返し成分の図示は省略されている。後述する図10および図11においても同様である。   For example, when v = 1, when m = 4 is thinned, the image of the display frame Fb has 0 (= 2π × 1 × [(1/4) × 0 / T] as shown in FIG. ), Π / 2 (= 2π × 1 × [(1/4) × (T / T)], π (= 2π × 1 × [(1/4) × 2T / T], 3 / 2π (= 2π .Times.1.times. [(1/4) .times.3T / T]), ..., there is a primary folding component whose phase changes (the phase changes at intervals of .pi. / 2). The folding components after 4T are not shown, and the same applies to FIGS.

表示フレームFbの画像にはまた、図10に示すように、0(=2π×2×[1/4×0/T]),π(=2π×2×[1/4×T/T])、2π(=2π×2×[(1/4)×(2T/T)])、3π(=2π×2×[(1/4)×3T/T]),・・・で位相が変化する(π間隔で位相が変化する)2次の折り返し成分と、図11に示すように、0(=2π×3×[(1/4)×(0/T)]、3π/2(=2π×3×[(1/4)×(T/T)]、3π(=2π×3×[(1/4)×(2T×T)]),9π/2(=2π×3×[(1/4)×(3T/T)]),・・・で位相が変化する(3π/2間隔で位相が変化する)3次の折り返し成分が存在する。   In the image of the display frame Fb, as shown in FIG. 10, 0 (= 2π × 2 × [1/4 × 0 / T]), π (= 2π × 2 × [1/4 × T / T] ), 2π (= 2π × 2 × [(1/4) × (2T / T)]), 3π (= 2π × 2 × [(1/4) × 3T / T]),. A second-order aliasing component that changes (the phase changes at an interval of π), and 0 (= 2π × 3 × [(1/4) × (0 / T)], 3π / 2 ( = 2π × 3 × [(1/4) × (T / T)], 3π (= 2π × 3 × [(1/4) × (2T × T)]), 9π / 2 (= 2π × 3 ×) [(1/4) × (3T / T)]), ..., there is a third-order aliasing component whose phase changes (the phase changes at intervals of 3π / 2).

この場合、t=0,T,2T,3Tそれぞれにおける1次乃至3次の折り返し成分のベクトルは、図9乃至図11に示したように、それぞれ互いに打ち消す方向を向いているので、視覚系で4枚分の表示フレームFbが積分される場合、それらはすべて打ち消される。   In this case, since the vectors of the primary to tertiary folding components at t = 0, T, 2T, and 3T are directed to cancel each other, as shown in FIGS. When four display frames Fb are integrated, they are all canceled out.

k次の折り返し成分が打ち消される条件を式で表せば、式(5)のようになり、式(5)をオイラーの公式により展開すれば、式(6),(7)のようになる。

Figure 0004761102
・・・(5)
Figure 0004761102
・・・(6)
Figure 0004761102
・・・(7) If the condition for canceling the k-th order aliasing component is expressed by an expression, the expression (5) is obtained. If the expression (5) is expanded by Euler's formula, the expressions (6) and (7) are obtained.
Figure 0004761102
... (5)
Figure 0004761102
... (6)
Figure 0004761102
... (7)

すなわち本発明では、被写体像Waの移動速度vに応じて、互いに打ち消される折り返し成分が発生するように間引き量mを決定することによって、折り返し成分を除去するようにしている。   That is, in the present invention, the aliasing component is removed by determining the thinning-out amount m so that aliasing components cancel each other are generated according to the moving speed v of the subject image Wa.

ここで離散化信号f(x)を帯域制限型のデジタルフィルタにより1/mに縮小する場合を考えると、φだけずれた原信号f(x)は折り返しが発生しないようにナイキスト周波数において帯域制限される。このため例えばm=2のとき、フーリエ空間は、図12に示すようになり、1/mに縮小された信号に対応する各フレーム画像は折り返し成分を含まない低解像度の画像となる。したがって、この場合には縮小信号の基本波は原信号とは異なる信号となっており、複数フレームの画像をどのように加算処理してもナイキスト周波数以上の周波数成分を表現することはできず、超解像度効果を得ることができない。したがってこのことから、超解像効果を得るためには、原信号を帯域制限しないことが重要であり、広帯域の空間周波数成分を持つ原画像を間引きサンプリングするのが最適である。 Here, considering the case where the discretized signal f (x) is reduced to 1 / m by a band-limited digital filter, the original signal f (x) shifted by φ is a band at the Nyquist frequency so that no aliasing occurs. Limited. Therefore, for example, when m = 2, the Fourier space is as shown in FIG. 12, and each frame image corresponding to the signal reduced to 1 / m is a low-resolution image that does not include the aliasing component. Therefore, in this case, the fundamental wave of the reduced signal is a signal different from the original signal, and it is not possible to express a frequency component equal to or higher than the Nyquist frequency no matter how the addition processing is performed on images of a plurality of frames. The super resolution effect cannot be obtained. Therefore, in order to obtain the super-resolution effect, it is important not to limit the band of the original signal, and it is optimal to thin out and sample the original image having a wideband spatial frequency component.

なお以上においては簡単のために、原信号が1次元信号の場合を例として説明したが、2次元画像においても同様である。また図2を参照して被写体像WaのX軸方向の移動を例として説明したが、Y軸方向の移動についても同様である。   In the above, for the sake of simplicity, the case where the original signal is a one-dimensional signal has been described as an example, but the same applies to a two-dimensional image. Although the movement of the subject image Wa in the X-axis direction has been described as an example with reference to FIG. 2, the same applies to the movement in the Y-axis direction.

次に互いに打ち消される折り返し成分の条件(超解像度効果を得ることができる画像の折り返し成分の条件)について説明する。   Next, conditions for aliasing components that cancel each other (conditions for aliasing components of an image that can obtain a super-resolution effect) will be described.

超解像度効果を得ることができるための条件は、式(5)が成立する、つまり式(6)および式(7)が成立することである。これは、図13に示すように、時刻tにおけるk次の折り返し成分をベクトルZk(t)とすると、視覚系の積分範囲におけるベクトルZk(t)和がゼロになることである。この条件の成立は、積分時間に依存するが、この積分時間は、観察環境によって変化することが知られている上に、それを正確に計測することが困難なため、この条件を満たす範囲を限定することは難しい。   The condition for obtaining the super-resolution effect is that Expression (5) is satisfied, that is, Expression (6) and Expression (7) are satisfied. As shown in FIG. 13, if the k-th order folding component at time t is a vector Zk (t), the sum of the vectors Zk (t) in the integration range of the visual system is zero. The establishment of this condition depends on the integration time, but it is known that this integration time varies depending on the observation environment, and it is difficult to measure it accurately. It is difficult to limit.

一方、例えば、所定の移動速度vでX軸方向またはY軸方向に移動する被写体像Waを、所定の間引き量mでサンプリングして所定のフレームレート毎に表示し、表示された表示被写体像Wbを、観測者が実際に見て超解像度で知覚できたかを確認する実験から、フレームレートが高い、つまり積分される画像数が多ければ、間引き量mが大きくなっても超解像度効果が得られることがわかっている。このとき超解像度効果が得られる条件は、移動速度vに依存しており、およそ式(8)のような関係にあると考えられる。
2πn+α≦2πkφT≦2π(n+1)−α・・・(8)
On the other hand, for example, a subject image Wa moving in the X-axis direction or the Y-axis direction at a predetermined moving speed v is sampled at a predetermined thinning amount m and displayed at a predetermined frame rate, and the displayed display subject image Wb is displayed. From an experiment to confirm whether the observer actually perceived the image at the super resolution, if the frame rate is high, that is, if the number of images to be integrated is large, the super resolution effect can be obtained even if the thinning amount m increases. I know that. At this time, the condition for obtaining the super-resolution effect depends on the moving speed v, and it is considered that the relationship is approximately represented by Expression (8).
2πn + α ≦ 2πkφT ≦ 2π (n + 1) −α (8)

前述のように、各折り返し成分の位相は2πkφT間隔で回転するが、式(8)は、その各次の折り返し成分の位相回転間隔が、2πの倍数に近いときには超解像度効果が得られないことを表している。図14に示すように、位相回転間隔が2πの倍数に近いということは、時刻tが変化しても折り返し成分の位相がほとんど変わらないことを意味しており、折り返し成分は打ち消されずに残ってしまうためである。   As described above, the phase of each aliasing component rotates at intervals of 2πkφT, but Equation (8) indicates that the super-resolution effect cannot be obtained when the phase rotation interval of each subsequent aliasing component is close to a multiple of 2π. Represents. As shown in FIG. 14, the fact that the phase rotation interval is close to a multiple of 2π means that the phase of the aliasing component hardly changes even when the time t changes, and the aliasing component remains without being canceled. It is because it ends.

例えば、m=4のときに発生する1次乃至3次の折り返し成分について、式(8)の成立条件を検討すると、図15中、陰が付されている移動速度v(ピクセル/フレーム)の範囲では、式(8)が成立せず、超解像度効果を得ることができない。   For example, when the conditions for establishing Equation (8) are examined for the primary to tertiary folding components generated when m = 4, the shaded moving speed v (pixel / frame) in FIG. In the range, equation (8) does not hold and the super-resolution effect cannot be obtained.

この1次の折り返し成分については、例えば、v=4のとき、折り返し成分の位相回転間隔=2π×1×(4/4)(2πkφT)となり、折り返し成分の位相回転間隔は2πの1倍となるので、速度v=4を中心とする一定範囲(位相回転間隔が2πの倍数を中心とする2αの範囲となる速度の範囲)において、1次式の折り返し成分が打ち消されなくなる。すなわちv=4n(n=0,1,2,3,・・・)のとき、位相回転間隔は2πのn倍となるので、v=4nを中心とする一定範囲においては、1次式の折り返し成分は打ち消されない。   For this primary folded component, for example, when v = 4, the phase rotation interval of the folded component = 2π × 1 × (4/4) (2πkφT), and the phase rotation interval of the folded component is 1 × 2π. Therefore, in a certain range centered on the speed v = 4 (a range of speed where the phase rotation interval is a range of 2α centered on a multiple of 2π), the folding component of the linear expression is not canceled. That is, when v = 4n (n = 0, 1, 2, 3,...), The phase rotation interval is n times 2π. Therefore, in a certain range centered on v = 4n, the linear expression The folded component is not negated.

2次の折り返し成分については、例えば、v=2のとき、位相回転間隔=2π×2×(2/4)(2πの1倍)となり、そしてv=4のとき、位相回転間隔=2π×2×(4/4)(2πの2倍)となるので、速度v=2,4を中心とする一定範囲(位相回転間隔が2πの倍数を中心とする2αの範囲となる速度の範囲)において、2次式の折り返し成分が打ち消されなくなる。すなわちv=2nのとき、位相回転間隔は2πのn倍となるので、v=2nを中心とする一定範囲においては、2次式の折り返し成分は打ち消されない。   For the second-order aliasing component, for example, when v = 2, the phase rotation interval = 2π × 2 × (2/4) (1 × 2π), and when v = 4, the phase rotation interval = 2π × Since 2 × (4/4) (twice 2π), a constant range centered on the velocity v = 2, 4 (a range of velocity where the phase rotation interval is a range of 2α centered on a multiple of 2π) , The folding component of the quadratic expression is not canceled out. That is, when v = 2n, the phase rotation interval is n times 2π. Therefore, the folding component of the quadratic expression is not canceled within a certain range centered on v = 2n.

3次の折り返し成分については、例えば、v=4/3のとき、位相回転間隔=2π×3×(4/3)/4(2πの1倍)となり、v=8/3のとき、位相回転間隔=2π×3×(8/3)/4(2πの2倍)となり、そしてv=4のとき、位相回転間隔=2π×3×4/4(2πの3倍)となるので、速度v=4/3,8/3,4を中心とする一定範囲(位相回転間隔が2πの倍数を中心とする2αの範囲となる速度の範囲)において、3次式の折り返し成分が打ち消されなくなる。すなわちv=(4/3)nのとき、位相回転間隔は2πのn倍となるので、v=(4/3)nを中心とする一定範囲においては、3次式の折り返し成分は打ち消されない。   For the third-order aliasing component, for example, when v = 4/3, the phase rotation interval = 2π × 3 × (4/3) / 4 (1 × 2π), and when v = 8/3, the phase Rotation interval = 2π × 3 × (8/3) / 4 (2 × 2π), and when v = 4, phase rotation interval = 2π × 3 × 4/4 (3 × 2π), In a certain range centered on the speed v = 4/3, 8/3, 4 (the range of speed where the phase rotation interval is 2α centered on a multiple of 2π), the folding component of the cubic equation is canceled out. Disappear. That is, when v = (4/3) n, the phase rotation interval is n times 2π, so that the third-order aliasing component is canceled within a certain range centered on v = (4/3) n. Absent.

なお速度v=0のとき、位相回転間隔2πkφT=0となるので、1次乃至3次の折り返し成分のそれぞれは、v=0付近の一定範囲(0乃至vα1,0乃至vα2,0乃至vα3)において打ち消されなくなる。 Since the phase rotation interval 2πkφT = 0 when the speed v = 0, each of the primary to tertiary folding components is in a certain range (0 to v α1 , 0 to v α2 , 0 to v α3 ) no longer cancels.

m=3のときに存在する1次,2次の折り返し成分(図16)およびm=2のときに存在する1次の折り返し成分(図17)についても、m=4を例として上述したように、位相回転間隔が2πの倍数を中心とする2αの範囲内となる速度では、各次式の折り返し成分は打ち消されない。   The primary and secondary aliasing components that exist when m = 3 (FIG. 16) and the primary aliasing component that exists when m = 2 (FIG. 17) are also described above by taking m = 4 as an example. In addition, at the speed at which the phase rotation interval is in the range of 2α centered on a multiple of 2π, the aliasing components of the following equations are not canceled out.

また図13に示すように、折り返し成分の次数が上がるに従い、各次数における位相回転間隔は2倍、3倍と大きくなる。位相回転間隔をθとすれば被写体像Waの移動速度vが小さく、位相回転間隔θがαより小さいときには式(8)が成立せず超解像度効果は得られない。被写体像Waの移動速度vが上がり、位相回転間隔がαに達すると超解像度が得られる。このことから、αは超解像度効果が得られる臨界点(位相回転間隔)であると考えられる。このαは、表示画像フレームレートによって変化し、表示画像フレームレートが高いと小さくなる傾向にある。臨界点における被写体像Waの移動速度をvαとすると、式(9)が得られ、それを変形すると式(10)が得られる。したがって表示画像フレームレートが高くなってαが小さくなると、速度vα(図15の例の場合、vα1、vα2、またはvα3)が小さくなり、その結果、移動量が小さくても超解像度効果が得られる。

Figure 0004761102
Further, as shown in FIG. 13, as the order of the aliasing component increases, the phase rotation interval at each order increases to 2 times and 3 times. If the phase rotation interval is θ, the moving speed v of the subject image Wa is small, and when the phase rotation interval θ is smaller than α, equation (8) does not hold and the super-resolution effect cannot be obtained. When the moving speed v of the subject image Wa increases and the phase rotation interval reaches α, super resolution is obtained. From this, it is considered that α is a critical point (phase rotation interval) at which the super-resolution effect is obtained. This α varies depending on the display image frame rate, and tends to decrease as the display image frame rate increases. If the moving speed of the subject image Wa at the critical point is v α , Equation (9) is obtained, and if it is transformed, Equation (10) is obtained. Therefore, when the display image frame rate increases and α decreases, the velocity v α (v α1 , v α2 , or v α3 in the example of FIG. 15) decreases, and as a result, even if the movement amount is small, the super-resolution is achieved. An effect is obtained.

Figure 0004761102

また式(10)から、臨界点におけるvαは、間引き量mと折り返し成分の次数kに依存しており、間引き量mが大きくなると臨界点の速度vαも大きくなることがわかる。また次数kが大きくなると臨界点における速度vαは小さくなることから(図15の例の場合、vα2はvα1より小さく、vα3はvα2より小さくなることから)、高次の折り返し成分における超解像度効果が得られない領域は狭くなることがわかる。 Also, it can be seen from equation (10) that v α at the critical point depends on the thinning amount m and the order k of the aliasing component, and the critical point speed v α increases as the thinning amount m increases. Since the velocity v α at the critical point decreases as the order k increases (in the example of FIG. 15, v α2 is smaller than v α1 and v α3 is smaller than v α2 ), the higher-order folding component It can be seen that the region where the super-resolution effect is not obtained becomes narrow.

以上をまとめると、視覚系における超解像度効果について以下のことが言える。
・超解像度効果が得られる臨界点αは、高フレームレート表示において小さくなる。
・間引き量がmのとき、1乃至m−1次の折り返し成分が式(8)を満たす必要がある。
・間引き量mが小さくなると、臨界点における被写体像Waの速度vαは小さくなる(間引き量mが小さい場合には、移動量が小さくても超解像度効果が得られる)。
In summary, the following can be said about the super-resolution effect in the visual system.
The critical point α at which the super-resolution effect can be obtained becomes small in high frame rate display.
When the thinning amount is m, the 1st to m−1 order folding components need to satisfy the formula (8).
When the thinning amount m decreases, the speed v α of the subject image Wa at the critical point decreases (when the thinning amount m is small, the super-resolution effect can be obtained even if the movement amount is small).

以上から、被写体の移動速度(大きさと方向)に応じて間引き処理を行うことにより、超解像度効果を実現することができることがわかる。   From the above, it can be seen that the super-resolution effect can be realized by performing the thinning process according to the moving speed (size and direction) of the subject.

なおこのように表示画像フレームレートを高くすることは超解像度効果を得るのに有利となるが、表示画像フレームレートを高くすれば、その他、動きぼけやジャーキネス等の画質劣化を改善することにも有利となる。   Increasing the display image frame rate in this way is advantageous for obtaining the super-resolution effect, but increasing the display image frame rate can also improve image quality degradation such as motion blur and jerkiness. It will be advantageous.

次に、本発明を適用した画像表示装置1の構成例を、図18を参照して説明する。   Next, a configuration example of the image display device 1 to which the present invention is applied will be described with reference to FIG.

画像入力部11は、所定のフレームレートおよび所定の空間サンプリングレート(以下、単にサンプリングレートと称する)で構成される画像を入力し、それを内部データ形式に変換する。例えば、画像表示部13の表示デバイスのフレームレートがFで、表示画素数が(x×y)画素である時、フレームレートがFで、画素数が(ix×jy)画素の画像を入力し、これを内部データ形式の入力フレームFaに変換する。i、j、x、およびyは、それぞれ正の数である。   The image input unit 11 inputs an image composed of a predetermined frame rate and a predetermined spatial sampling rate (hereinafter simply referred to as a sampling rate), and converts it into an internal data format. For example, when the frame rate of the display device of the image display unit 13 is F and the number of display pixels is (x × y) pixels, an image having a frame rate of F and the number of pixels (ix × jy) is input. This is converted into an input frame Fa in the internal data format. i, j, x, and y are each a positive number.

画像入力部11は、変換した入力フレームFa((ix×jy)画素)を画像変換部12に供給する。   The image input unit 11 supplies the converted input frame Fa ((ix × jy) pixels) to the image conversion unit 12.

なお画像入力部11は、アナログ信号を入力した場合、内蔵するアナログデジタル変換器(図示せず)により内部データ形式に従ったデジタル信号に変換する。   Note that, when an analog signal is input, the image input unit 11 converts the analog signal into a digital signal according to an internal data format by a built-in analog-digital converter (not shown).

また、画像入力部11は、SMPTE(Society of Motion Picture and Television Engineers)が標準化したテレビ信号、VESA(Video Electronics Standards Association)が標準化したアナログビデオ信号、またはDDWG(Digital Display Working Group)が標準化したDVI(Digital Visual Interface)信号などの画像信号にも対応可能である。   The image input unit 11 is a television signal standardized by Society of Motion Picture and Television Engineers (SMPTE), an analog video signal standardized by VESA (Video Electronics Standards Association), or a DVI standardized by DDWG (Digital Display Working Group). It can also handle image signals such as (Digital Visual Interface) signals.

また、上述したように高フレームレートの方が、超解像度効果が得られやすいことから、入力フレームFaのフレームレートが高い場合、画像入力部11は、高フレームレートに対応することができるようになされている。   Further, as described above, since the super-resolution effect is more easily obtained at the high frame rate, when the frame rate of the input frame Fa is high, the image input unit 11 can cope with the high frame rate. Has been made.

画像変換部12は、画像入力部11から供給された入力フレームFa((ix×jy)画素)を、画像表示部13が表示することができる解像度を有する表示フレームFb((x×y)画素)に変換する。画像変換部12はその際、所定の大きさのブロック毎に、上述した超解像度効果を利用した解像度変換処理を実行することにより、表示フレームFbの画像を見た観測者が、その解像度を超える解像度(超解像度)で知覚するという視覚的効果(超解像度効果)を実現する。画像変換部12は、生成した表示フレームFbを画像表示部13に供給する。   The image conversion unit 12 has a display frame Fb ((x × y) pixel having a resolution with which the image display unit 13 can display the input frame Fa ((ix × jy) pixel) supplied from the image input unit 11. ). At that time, the image conversion unit 12 executes the resolution conversion process using the above-described super-resolution effect for each block of a predetermined size, so that an observer who has seen the image of the display frame Fb exceeds the resolution. Realize the visual effect (super-resolution effect) of perceiving at the resolution (super-resolution). The image conversion unit 12 supplies the generated display frame Fb to the image display unit 13.

画像表示部13は、(x×y)画素の画素数を持つ表示デバイスで構成されており、画像変換部12から供給された画像を、所定のフレームレートで表示する。上述したように高フレームレートの方が、超解像度効果が得られやすいことから、画像表示部13は、高フレームレートに画像を表示することができるようになされている。   The image display unit 13 is configured by a display device having the number of (x × y) pixels, and displays the image supplied from the image conversion unit 12 at a predetermined frame rate. As described above, since the super-resolution effect is more easily obtained at the high frame rate, the image display unit 13 can display an image at the high frame rate.

次に、画像変換部12の構成を説明する。   Next, the configuration of the image conversion unit 12 will be described.

画像変換部12の移動量検出部21は、いま画像入力部11から供給された入力フレームFa((ix×jy)画素)(現フレームFa)と、1フレーム時間、または数フレーム前に入力された入力フレームFa(前フレームFa)との間のブロックマッチング処理により、現フレームFaのブロック画像((ip×jq)画素)の動きベクトルを検出する。pおよびqは、ともに正の整数である。この場合、入力フレームFaの総ブロック数は、(x/p×y/q)となる。   The movement amount detection unit 21 of the image conversion unit 12 is input from the input frame Fa ((ix × jy) pixels) (current frame Fa) supplied from the image input unit 11 and one frame time or several frames before. The motion vector of the block image ((ip × jq) pixels) of the current frame Fa is detected by block matching processing with the input frame Fa (previous frame Fa). p and q are both positive integers. In this case, the total number of blocks of the input frame Fa is (x / p × y / q).

移動量検出部21は、入力フレームFaをブロック単位で、検出した動きベクトルとともに画素数変換部22に供給する。   The movement amount detection unit 21 supplies the input frame Fa to the pixel number conversion unit 22 together with the detected motion vector in units of blocks.

画素数変換部22は、移動量検出部21から供給される入力フレームFaのブロック画像((ip×jq)画素)に対して、その動きベクトルから得られるX軸方向およびY軸方向のフレーム毎の移動量v(ピクセル)(移動速度v(ピクセル/フレーム))に応じた、X軸方向およびY軸方向のフィルタリングまたはサンプリング(間引き処理)を施す。画素数変換部22は、その処理の結果得られた表示フレームFbのブロック画像((p×q)画素)を総ブロック数(x/p×y/q)だけ集め、1枚の表示フレームFb((x×y)画素)を生成し、画像表示部13に出力する。   The pixel number conversion unit 22 applies to the block image ((ip × jq) pixels) of the input frame Fa supplied from the movement amount detection unit 21 for each frame in the X-axis direction and the Y-axis direction obtained from the motion vector. Filtering or sampling (thinning-out processing) in the X-axis direction and Y-axis direction according to the moving amount v (pixel) (moving speed v (pixel / frame)). The pixel number conversion unit 22 collects the block images ((p × q) pixels) of the display frame Fb obtained as a result of the processing by the total number of blocks (x / p × y / q), and displays one display frame Fb. ((X × y) pixels) is generated and output to the image display unit 13.

次に、図19を参照して、画像変換部12の移動量検出部21および画素数変換部22の構成を説明する。   Next, the configuration of the movement amount detection unit 21 and the pixel number conversion unit 22 of the image conversion unit 12 will be described with reference to FIG.

移動量検出部21のフレームメモリ31は、画像入力部11から供給された入力フレームFa(現フレームFa)を記憶する。遅延回路32は、現フレームFaより1フレーム時間、または数フレーム時間前に入力された前フレームFaを、その位相が現フレームFaの位相と合うように遅延させる。遅延回路32は、遅延させた前フレームFaをフレームメモリ33に供給する。フレームメモリ33は、遅延回路32からの前フレームFaを記憶する。   The frame memory 31 of the movement amount detection unit 21 stores the input frame Fa (current frame Fa) supplied from the image input unit 11. The delay circuit 32 delays the previous frame Fa input one frame time or several frame times before the current frame Fa so that the phase thereof matches the phase of the current frame Fa. The delay circuit 32 supplies the delayed previous frame Fa to the frame memory 33. The frame memory 33 stores the previous frame Fa from the delay circuit 32.

ブロックマッチング回路34は、フレームメモリ31に記憶されている現フレームFaとフレームメモリ33に記憶されている前フレームFaとの間で、(ip×jq)画素のブロック単位でのブロックマッチングをとり、現フレームFaのブロック画像((ip×jq)画素)の動きベクトルを検出する。ブロックマッチング回路34は、現フレームFaのブロック画像そのものを、画素数変換部22の空間フィルタ処理部41に供給し、検出したそのブロック画像の動きベクトルを、画素数変換部22の制御部44に供給する。   The block matching circuit 34 performs block matching in units of blocks of (ip × jq) pixels between the current frame Fa stored in the frame memory 31 and the previous frame Fa stored in the frame memory 33. A motion vector of a block image ((ip × jq) pixels) of the current frame Fa is detected. The block matching circuit 34 supplies the block image itself of the current frame Fa to the spatial filter processing unit 41 of the pixel number conversion unit 22 and the detected motion vector of the block image to the control unit 44 of the pixel number conversion unit 22. Supply.

なお、この移動量検出部21の構成は実施の一例であり、入力フレームFaの各ブロックの動きベクトルを検出することが出来れば、他の構成をとることにしてもよい。   The configuration of the movement amount detection unit 21 is an example, and other configurations may be adopted as long as the motion vector of each block of the input frame Fa can be detected.

画素数変換部22の空間フィルタ処理部41には、移動量検出部21のブロックマッチング回路34からの入力フレームFaのブロック画像((ip×jq)画素)(図20の左側参照)が入力される。空間フィルタ処理部41は、空間解像度の帯域制限を行うデジタルフィルタであり、折り返し成分を軽減して制御部44から与えられる所望の画素数に変換する。   A block image ((ip × jq) pixels) (see the left side of FIG. 20) of the input frame Fa from the block matching circuit 34 of the movement amount detection unit 21 is input to the spatial filter processing unit 41 of the pixel number conversion unit 22. The The spatial filter processing unit 41 is a digital filter that limits the bandwidth of the spatial resolution, reduces the aliasing component, and converts it into a desired number of pixels given from the control unit 44.

具体的には空間フィルタ処理部41は、制御部44による制御に従って、入力フレームFaのブロック画像((ip×jq)画素)を、後段の空間間引き処理部42で間引き量mx,myで間引きが行われることによって、表示フレームFbのブロック画像((p×q)画素)が得られるように空間フィルタリングし、(mxp×myp)画素の画像(図20の左側参照)に変換する。   Specifically, the spatial filter processing unit 41 thins out the block image ((ip × jq) pixels) of the input frame Fa with the thinning amounts mx and my in the subsequent spatial thinning processing unit 42 according to the control by the control unit 44. As a result, spatial filtering is performed so that a block image ((p × q) pixels) of the display frame Fb is obtained, and the block image is converted into an image of (mxp × myp) pixels (see the left side in FIG. 20).

空間フィルタ処理部41は、変換した(mxp×myq)画素の画像を、空間間引き処理部42に供給する。なおmxとmyは、ともに正の整数である。   The spatial filter processing unit 41 supplies the converted (mxp × myq) pixel image to the spatial thinning processing unit 42. Note that mx and my are both positive integers.

空間間引き処理部42は、空間解像度の帯域制限を行わずに、元画像を間引きサンプリングして制御部44から与えられる所望の画素数に変換する。   The spatial thinning processing unit 42 performs thinning sampling on the original image without converting the bandwidth of the spatial resolution, and converts the original image into a desired number of pixels given from the control unit 44.

具体的には空間フィルタ処理部41から供給された(mxp×myq)画素(図20の右側参照)の画像に対して、制御部44から通知されたX軸方向の間引き量mx、およびY軸方向の間引き量myに従って、X軸方向およびY軸方向の間引きを行い、(p×q)画素の画像(表示フレームFbのブロック画像)(図20の右側参照)を生成する。空間間引き処理部42は、生成した(p×q)画素の画像を、フレームメモリ43に供給する。   Specifically, for the image of (mxp × myq) pixels (see the right side of FIG. 20) supplied from the spatial filter processing unit 41, the thinning amount mx in the X-axis direction notified from the control unit 44, and the Y-axis In accordance with the direction thinning amount my, thinning is performed in the X-axis direction and the Y-axis direction to generate an image of (p × q) pixels (block image of the display frame Fb) (see the right side in FIG. 20). The spatial thinning processing unit 42 supplies the generated (p × q) pixel image to the frame memory 43.

なお図20の例のように、mx<i、my<jである場合、間引き量は、制御部44から通知されたmxおよびmyとなるが、mx>i、my>jである場合、間引き量は、iまたはjとなる。   As in the example of FIG. 20, when mx <i, my <j, the thinning amount is mx and my notified from the control unit 44, but when mx> i, my> j, thinning is performed. The quantity is i or j.

図19に戻り、フレームメモリ43は、空間間引き処理部42により供給されたブロック画像((p×q)画素)を記憶し、1枚の表示フレームFb((x×y)画素)を生成する。   Returning to FIG. 19, the frame memory 43 stores the block image ((p × q) pixels) supplied by the spatial thinning processing unit 42 and generates one display frame Fb ((x × y) pixels). .

制御部44には、移動量検出部21からのブロック画像の動きベクトルが入力される。制御部44は、動きベクトルから得られたX軸方向およびY軸方向の移動速度vから、折り返し成分の位相回転間隔が式(8)を満たす間引き量(のうちの最大値)mx,myを検出する(超解像度効果が得られる条件を満たす間引き量を検出する)。   A motion vector of the block image from the movement amount detection unit 21 is input to the control unit 44. The control unit 44 calculates the thinning amounts (maximum values) mx and my satisfying the equation (8) from the moving speed v in the X-axis direction and the Y-axis direction obtained from the motion vector. Detect (detect a thinning amount that satisfies a condition for obtaining the super-resolution effect).

なお式(8)中のαは、上述したように視覚系で積分時間内に積分される画像の数によって変化するので、その値を適宜決定することは困難である。そこで本発明では、例えば、所定の移動速度vでX軸方向またはY軸方向に移動する被写体像Waを、所定の間引き量mでサンプリングして表示し、表示された表示被写体像Wbを、観測者が実際に見て超解像度で知覚できたかを確認する実験を予め行い、その実験結果としての、超解像度効果があったときの移動速度vと間引き量mとの関係から間引き量mを決定するものとする。   Note that α in the equation (8) varies depending on the number of images integrated within the integration time in the visual system as described above, and it is difficult to determine the value as appropriate. Therefore, in the present invention, for example, a subject image Wa moving in the X-axis direction or the Y-axis direction at a predetermined moving speed v is sampled and displayed with a predetermined thinning amount m, and the displayed display subject image Wb is observed. An experiment is performed in advance to confirm whether the person can actually perceive at the super resolution, and the thinning amount m is determined from the relationship between the moving speed v and the thinning amount m when there is a super resolution effect as a result of the experiment. It shall be.

図21は、水平方向に移動する被写体像Waについて上記実験を行った場合の実験結果を示している。   FIG. 21 shows an experimental result when the above-described experiment is performed on the subject image Wa moving in the horizontal direction.

図21には、間引き量m=4においては、速度v=4/3,2,8/3,4を中心とする一定範囲内の移動速度、間引き量m=3においては、速度v=3/2,3を中心とする一定範囲の移動速度、そして間引き量m=2においては、速度m=2,4を中心とする一定範囲の移動速度では、超解像度効果が得られないことが示されている。また移動速度vが0を始点とする所定の範囲P0内である場合(図中、速度v0で表示されている速度以下では)、m=2,3,4のいずれにおいても超解像度効果は得られないことが示されている。   In FIG. 21, when the thinning-out amount m = 4, the moving speed within a certain range centered on the speed v = 4/3, 2, 8/3, 4 and when the thinning-out amount m = 3, the speed v = 3. It is shown that the super-resolution effect cannot be obtained at a moving speed within a certain range centered at / 2,3, and at a moving speed within a certain range centered at speed m = 2,4 at a thinning amount m = 2. Has been. Also, when the moving speed v is within a predetermined range P0 starting from 0 (below the speed indicated by the speed v0 in the figure), the super-resolution effect can be obtained at any of m = 2, 3 and 4. It is shown that it is not possible.

これは、図15乃至図17で参照した説明した、式(8)が成立しない移動速度vの範囲に対応するものである。   This corresponds to the range of the moving speed v in which the equation (8) is not satisfied as described with reference to FIGS.

例えば、図21におけるm=4の部分と、図15を対応させて表すと、図22に示すようになる。1次の折り返し成分については、v=4nを中心とする一定範囲において、1次式の折り返し成分は打ち消されない。2次の折り返し成分については、v=2nを中心とする一定範囲において、2次式の折り返し成分は打ち消されない。そして3次の折り返し成分については、v=(4/3)nを中心とする一定範囲において、3次式の折り返し成分は打ち消されない。v=0付近の一定範囲においても、1次乃至3次の折り返し成分が打ち消されない。   For example, if m = 4 in FIG. 21 is associated with FIG. 15, it is as shown in FIG. Regarding the primary folding component, the folding component of the primary expression is not canceled within a certain range centered on v = 4n. Regarding the secondary folding component, the folding component of the quadratic expression is not canceled within a certain range centered on v = 2n. As for the third-order folding component, the third-order folding component is not canceled within a certain range centered on v = (4/3) n. Even in a certain range near v = 0, the first-order to third-order aliasing components are not canceled out.

すなわち1次乃至3次の折り返し成分のいずれか1つでも打ち消されない場合、その移動速度vの範囲では、m=4での間引きによっては、超解像度効果を得ることができない。図22では、そのような超解像度効果が得られない範囲を、範囲U4a乃至範囲U4dで示してある。さらに、図22では、m=4の場合に超解像度効果が得られる範囲を、範囲P4a乃至P4dで示してある。   In other words, if any one of the first-order to third-order aliasing components is not canceled, the super-resolution effect cannot be obtained by thinning out at m = 4 within the range of the moving speed v. In FIG. 22, ranges in which such a super-resolution effect cannot be obtained are indicated by ranges U4a to U4d. Further, in FIG. 22, ranges where the super-resolution effect can be obtained when m = 4 are indicated by ranges P4a to P4d.

また図21にも、m=4の場合に超解像度効果が得られる範囲を、範囲P4a乃至P4dで示してある。同様に、図21には、m=3の場合に超解像度効果が得られる範囲を、範囲P3a乃至P3cで示してあり、m=2の場合に超解像度効果が得られる範囲を、範囲P2a,P2bで示してある。   Also in FIG. 21, ranges where the super-resolution effect is obtained when m = 4 are indicated by ranges P4a to P4d. Similarly, in FIG. 21, ranges where the super-resolution effect is obtained when m = 3 are shown as ranges P3a to P3c, and ranges where the super-resolution effect is obtained when m = 2 are shown as ranges P2a, This is indicated by P2b.

したがってこの例の場合、例えば、入力フレームFaのブロック画像のX軸方向の移動速度vが、例えば、0から4/3の範囲の図21においてvaで示す速度である場合、間引き量は超解像度効果が得られる2(ピクセル)とされ、そのブロック画像のX軸方向が間引き量2で間引きされる。また例えば、入力フレームFaのブロック画像のX軸方向の移動速度vが、例えば0から4/3の範囲のvaよりも早いvbで示す速度である場合、超解像度効果が得られるm=2,3,4の中の最大の4とされ、そのブロック画像のX軸方向が間引き量4で間引きされる。   Therefore, in this example, for example, when the moving speed v in the X-axis direction of the block image of the input frame Fa is, for example, the speed indicated by va in FIG. It is assumed that the effect is 2 (pixel), and the X-axis direction of the block image is thinned by the thinning amount 2. Further, for example, when the moving speed v in the X-axis direction of the block image of the input frame Fa is a speed indicated by vb faster than va in the range of 0 to 4/3, for example, a super-resolution effect can be obtained m = 2. The maximum 4 of 3 and 4 is set, and the X-axis direction of the block image is thinned by the thinning amount 4.

なお、入力フレームFaのブロック画像のX軸方向の移動速度vが、範囲P0内のものである場合(超解像度効果が得られない速度である場合)、間引き量mが1とされ、画素数変換はすべて空間フィルタ処理で行うようにする。すなわち本発明では、被写体像Waの移動速度vが大きい領域に対しては、折り返し成分を含むように間引き処理をして超解像度効果を可能にし、移動速度が小さい(範囲P0)(超解像度効果が得られない範囲)の領域に対しては、折り返しがでないように空間フィルタ処理により帯域制限が行われる。   When the moving speed v in the X-axis direction of the block image of the input frame Fa is within the range P0 (when the super-resolution effect cannot be obtained), the thinning amount m is set to 1 and the number of pixels All conversions are performed by spatial filtering. In other words, in the present invention, for a region where the moving speed v of the subject image Wa is high, the thinning process is performed so as to include the aliasing component to enable the super resolution effect, and the moving speed is low (range P0) (super resolution effect). In the region where (a) cannot be obtained, band limitation is performed by spatial filter processing so as not to return.

また高フレームレートならば、上述したように超解像度効果が得られない範囲が狭くなり(超解像度効果が得られる速度の範囲が大きくなり)、より大きい間引き量で間引きすることができるようになる。   If the frame rate is high, the range in which the super-resolution effect cannot be obtained is narrowed as described above (the range of speed at which the super-resolution effect can be obtained becomes large), and thinning can be performed with a larger thinning amount. .

この間引き量の選択をまとめると、図21中のテーブルが得られる。すなわち制御部44は、このテーブル(Y軸方向についても同様なテーブル)に基づいて、間引き量が決定される。   Summarizing the selection of the thinning amount, the table in FIG. 21 is obtained. That is, the control unit 44 determines the thinning amount based on this table (the same table for the Y-axis direction).

制御部44は、例えば、図21に示したようなテーブルを記憶部44Aに記憶しており、そのテーブルにおいて、移動速度vに対応する間引き量m(mx,my)を検出する。制御部44は、空間フィルタ処理部41を制御して、入力フレームFaのブロック画像((ip×jq)画素)を、(mxp×myq)画素に変換させ(帯域制限をする空間フィルタ処理による間引きを行わせ)、また空間間引き処理部42を制御して、空間フィルタ処理部41から供給された(mxp×myq)画素の画像に対して、間引き量mx,myでの間引きを行わせる(帯域制限をしない間引きを行わせる)。   For example, the control unit 44 stores a table as shown in FIG. 21 in the storage unit 44A, and detects the thinning amount m (mx, my) corresponding to the moving speed v in the table. The control unit 44 controls the spatial filter processing unit 41 to convert the block image ((ip × jq) pixels) of the input frame Fa into (mxp × myq) pixels (decimation by spatial filter processing for band limitation). In addition, the spatial thinning processing unit 42 is controlled to perform thinning with the thinning amounts mx and my on the (mxp × myq) pixel image supplied from the spatial filter processing unit 41 (bandwidth). Let me thin out without restriction).

制御部44は、移動速度vが範囲P0内にある場合、m=2,3,4のいずれにおいても超解像度効果は得られないので、この場合、間引き量を1として画素変換はすべて空間フィルタ処理部41によるフィルタ処理で行うようにする。   When the moving speed v is within the range P0, the control unit 44 cannot obtain the super-resolution effect in any of m = 2, 3 and 4. In this case, the pixel conversion is performed for all the pixel conversions with the thinning amount set to 1. The filtering is performed by the processing unit 41.

次に、画像変換部12の動作を、図23のフローチャートを参照して説明する。   Next, the operation of the image conversion unit 12 will be described with reference to the flowchart of FIG.

ステップS1において、画像変換部12の移動量検出部21のブロックマッチング回路34は、ブロック番号を初期化し(例えば、1に初期化し)、ステップS2において、入力フレームFaの全ブロックについて動きベクトルを検出したか否かを判定する。   In step S1, the block matching circuit 34 of the movement amount detection unit 21 of the image conversion unit 12 initializes a block number (for example, 1), and in step S2, detects a motion vector for all blocks of the input frame Fa. Determine whether or not.

ステップS2で、全ブロックについて動きベクトルの検出がなされていないと判定された場合、ステップS3に進み、移動量検出部21のブロックマッチング回路34は、ブロック番号で示されるブロック画像について、ブロックマッチング処理を行い、そのブロック画像の動きベクトルを検出する。なお、総ブロック数は(x/p×y/q)個であり、入力フレームFaの各ブロック画像は、ブロック番号1乃至番号(x/p×y/q)でそれぞれ識別できるようになされている。   If it is determined in step S2 that motion vectors have not been detected for all blocks, the process proceeds to step S3, where the block matching circuit 34 of the movement amount detection unit 21 performs block matching processing on the block image indicated by the block number. And the motion vector of the block image is detected. The total number of blocks is (x / p × y / q), and each block image of the input frame Fa can be identified by block numbers 1 to (x / p × y / q). Yes.

具体的には、ブロックマッチング回路34は、現フレームFaの対象ブロック画像と前フレームFaの探索領域内の任意ブロック画像を比較し、平均二乗誤差が最小になる、前フレームFaのブロック位置を検出し、現フレームFaの対象ブロックと検出した前フレームFaのブロックを結ぶベクトルを動きベクトルとする。ブロックマッチング回路34は、現フレームFaのブロック画像を画素数変換部22の空間フィルタ処理部41に供給し、そのブロック画像の動きベクトルを、制御部44に供給する。   Specifically, the block matching circuit 34 compares the target block image of the current frame Fa with an arbitrary block image in the search area of the previous frame Fa, and detects the block position of the previous frame Fa that minimizes the mean square error. A vector connecting the target block of the current frame Fa and the detected block of the previous frame Fa is defined as a motion vector. The block matching circuit 34 supplies the block image of the current frame Fa to the spatial filter processing unit 41 of the pixel number conversion unit 22 and supplies the motion vector of the block image to the control unit 44.

次に、ステップS4において、画素数変換部22の制御部44は、移動量検出部21(ブロックマッチング回路34)から供給された動きベクトルに基づいて、X軸方向の移動速度v(移動量v)を求める。そして制御部44は、保持する、図21に示した移動速度vと間引き量mとの関係を表すテーブルから、その移動速度v(移動量v)に対応する間引き量mxを検出する。   Next, in step S4, the control unit 44 of the pixel number conversion unit 22 moves the moving speed v (moving amount v in the X-axis direction) based on the motion vector supplied from the moving amount detecting unit 21 (block matching circuit 34). ) Then, the control unit 44 detects the thinning amount mx corresponding to the moving speed v (moving amount v) from the table representing the relationship between the moving speed v and the thinning amount m shown in FIG.

ステップS5において、制御部44は、移動量検出部21(ブロックマッチング回路34)から供給された動きベクトルに基づいて、Y軸方向の移動速度v(移動量v)を検出する。そして制御部44は、保持する、Y軸方向の移動速度vと間引き量mとの関係を表すテーブルから、その移動速度v(移動量v)に対応する間引き量myを検出する。   In step S5, the control unit 44 detects the movement speed v (movement amount v) in the Y-axis direction based on the motion vector supplied from the movement amount detection unit 21 (block matching circuit 34). Then, the control unit 44 detects the thinning amount my corresponding to the moving speed v (moving amount v) from the table representing the relationship between the moving speed v in the Y-axis direction and the thinning amount m.

次に、ステップS6において、画素数変換部22の制御部44は、空間フィルタ処理部41を制御して、移動量検出部21から供給された入力フレームFaのブロック画像((ip×jq)画素)を、(mxp×myq)画素の画像に解像度変換させる(図20の左側参照)(ブロック画像を空間フィルタ処理させる)。   Next, in step S <b> 6, the control unit 44 of the pixel number conversion unit 22 controls the spatial filter processing unit 41 to block the block image ((ip × jq) pixels of the input frame Fa supplied from the movement amount detection unit 21. ) Is converted into an image of (mxp × myq) pixels (see the left side of FIG. 20) (the block image is subjected to spatial filter processing).

制御部44は、例えば間引き量mx=4である場合、空間フィルタ処理部41を制御して、(4p×q)画素の画像を得るための空間フィルタ処理を行わせる。また、制御部44は、間引き量mx=3である場合、空間フィルタ処理部41を制御して、(3p×q)画素の画像を得るための空間フィルタ処理を行わせる。ここではX軸方向の画素を例して説明したが、Y軸方向の画素についても同様である。   For example, when the thinning amount mx = 4, the control unit 44 controls the spatial filter processing unit 41 to perform spatial filter processing for obtaining an image of (4p × q) pixels. In addition, when the thinning amount mx = 3, the control unit 44 controls the spatial filter processing unit 41 to perform spatial filter processing for obtaining an image of (3p × q) pixels. Here, the pixel in the X-axis direction has been described as an example, but the same applies to the pixel in the Y-axis direction.

次に、ステップS7において、制御部44は、空間間引き処理部42を制御して、ステップS4,S5で決定した間引き量mx,myに従って、空間フィルタ処理部41から供給された(mxp×myq)画素の画像を間引きさせる。これにより、空間間引き処理部42は、空間フィルタ処理部41から供給された(mxp×myq)画素のブロック画像に対して、X軸方向については間引き量mxでの、そしてY軸方向については間引き量myでの間引き処理を行う。その結果、(p×q)画素のブロック画像が得られる(図20の右側参照)。   Next, in step S7, the control unit 44 controls the spatial thinning processing unit 42 and is supplied from the spatial filter processing unit 41 according to the thinning amounts mx and my determined in steps S4 and S5 (mxp × myq). The pixel image is thinned out. Thus, the spatial thinning processing unit 42 uses the thinning amount mx in the X-axis direction and the thinning-out operation in the Y-axis direction with respect to the block image of (mxp × myq) pixels supplied from the spatial filter processing unit 41. A thinning process is performed with the amount my. As a result, a block image of (p × q) pixels is obtained (see the right side of FIG. 20).

例えば、間引き量mx=4であるとき、空間フィルタ処理部41により供給された(4p×q)の画素に対して、X軸方向について間引き量4での間引き処理が行われて、(p×q)画素のブロック画像が生成される。間引き量mx=3であるとき、空間フィルタ処理部41により供給された(3p×q)画素の画像に対して、X軸方向について間引き量3での間引き処理が行われて、(p×q)画素のブロック画像が生成される。   For example, when the thinning amount mx = 4, the thinning processing is performed on the (4p × q) pixels supplied by the spatial filter processing unit 41 with the thinning amount 4 in the X-axis direction, and (p × q) A block image of pixels is generated. When the thinning amount mx = 3, the thinning processing is performed on the (3p × q) pixel image supplied by the spatial filter processing unit 41 with the thinning amount 3 in the X-axis direction, and (p × q ) A block image of pixels is generated.

なお空間間引きが行われると折り返し成分が発生するが、間引き量mx,myは、式(8)を満たす間引き量であるので、その折り返し成分は互いに打ち消し合い存在しなくなる。   When space thinning is performed, aliasing components are generated. However, since the thinning amounts mx and my are thinning amounts satisfying Expression (8), the aliasing components do not cancel each other.

空間間引き処理部42は、間引き処理の結果得られた(p×q)画素のブロック画像をフレームメモリ43に供給する。フレームメモリ43は、そのブロック画像を所定の位置に記憶し、1枚の表示フレームFbを合成する。   The spatial thinning processing unit 42 supplies a block image of (p × q) pixels obtained as a result of the thinning processing to the frame memory 43. The frame memory 43 stores the block image at a predetermined position and synthesizes one display frame Fb.

ステップS8において、移動量検出部21のブロックマッチング回路34は、ブロック番号を1だけインクリメントする。   In step S8, the block matching circuit 34 of the movement amount detector 21 increments the block number by one.

その後、ステップS2に戻り、それ以降の処理が行われる。   Thereafter, the process returns to step S2, and the subsequent processing is performed.

ステップS2で、全ブロックについて動きベクトル検出がなされたと判定されたとき、処理は終了する。   If it is determined in step S2 that motion vectors have been detected for all blocks, the process ends.

このように1枚の入力フレームFaの解像度が、ブロック毎に、ステップS3乃至ステップS7の処理で変換されることによって、1枚の表示フレームFbが生成され、表示画像フレームレートで表示されるように画像表示部13に出力される。その結果、観測者は、表示被写体像Wbの解像度を超える解像度の画像を知覚し得るが、超解像度効果により観測者が知覚する空間解像度は、表示フレームFbのブロック画像((p×q)画素)のX軸方向がmx倍、Y軸方向がmy倍になった(mxp×myq)画素の画像の解像度に相当する。   As described above, the resolution of one input frame Fa is converted for each block by the processing in steps S3 to S7, so that one display frame Fb is generated and displayed at the display image frame rate. Are output to the image display unit 13. As a result, the observer can perceive an image having a resolution exceeding the resolution of the display subject image Wb, but the spatial resolution perceived by the observer due to the super-resolution effect is the block image ((p × q) pixels of the display frame Fb. ) Corresponds to the resolution of an image of (mxp × myq) pixels in which the X-axis direction is mx times and the Y-axis direction is my times.

以上のように、画像のブロック毎に動きを検出し、空間フィルタ処理部41と空間間引き処理部42それぞれにおいて、適切な空間フィルタ処理と空間間引き処理を行うようにしたので、動きがある程度以上のブロックについては、超解像度効果が得られ、動きが小さいブロックについては、折り返し歪みを低減し、全体として、高画質の画像を知覚することが可能となる。   As described above, the motion is detected for each block of the image, and appropriate spatial filter processing and spatial thinning processing are performed in the spatial filter processing unit 41 and the spatial thinning processing unit 42, respectively. With respect to the block, the super-resolution effect is obtained, and with respect to the block having a small motion, the aliasing distortion is reduced, and as a whole, a high-quality image can be perceived.

さらに、従来のように表示素子の構造は変えることなく、超解像度効果を容易に得ることができる。   Furthermore, the super-resolution effect can be easily obtained without changing the structure of the display element as in the prior art.

図24は、本発明を適用した画像処理装置51の構成例を示している。この画像処理装置には、図18の画像表示装置1の画像表示部13に代えて、画像出力部61が設けられている。他の部分は、図18の画像表示装置1の場合と同様であるので、その説明は省略する。   FIG. 24 shows a configuration example of an image processing apparatus 51 to which the present invention is applied. In this image processing apparatus, an image output unit 61 is provided instead of the image display unit 13 of the image display apparatus 1 of FIG. The other parts are the same as in the case of the image display device 1 of FIG.

画像処理装置51の画像変換部12は、図18の例の場合と同様に、画像入力部11から入力された入力フレームFaを、表示装置52で表示可能な解像度を有する表示フレームFbに変換する。画像変換部12は、生成した表示フレームFbを、画像出力部61に出力する。   The image conversion unit 12 of the image processing device 51 converts the input frame Fa input from the image input unit 11 into a display frame Fb having a resolution that can be displayed on the display device 52, as in the example of FIG. . The image conversion unit 12 outputs the generated display frame Fb to the image output unit 61.

画像出力部61は、画像変換部12から供給された表示フレームFbの画像信号を、表示装置52で受信可能な画像信号フォマットに変換し、表示装置52に出力する。表示装置52は、基本的には、図18の画像表示部13と同様に構成され、画像処理装置51(画像出力部61)から供給された画像信号に対応する画像を表示デバイスに表示する。   The image output unit 61 converts the image signal of the display frame Fb supplied from the image conversion unit 12 into an image signal format that can be received by the display device 52, and outputs the image signal format to the display device 52. The display device 52 is basically configured in the same manner as the image display unit 13 of FIG. 18, and displays an image corresponding to the image signal supplied from the image processing device 51 (image output unit 61) on the display device.

すなわち本発明は、表示装置を構成要素としない画像処理装置にも適用することができる。   That is, the present invention can also be applied to an image processing apparatus that does not include a display device.

上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述した管理装置2が機能的に実現される。   The series of processes described above can be realized by hardware, but can also be realized by software. When a series of processing is realized by software, a program constituting the software is installed in a computer, and the management device 2 described above is functionally realized by executing the program by the computer.

図25は、上述のような画像表示装置1および画像処理装置51として機能するコンピュータ101の一実施の形態の構成を示すブロック図である。CPU(Central Processing Unit)111にはバス115を介して入出力インタフェース116が接続されており、CPU111は、入出力インタフェース116を介して、ユーザから、キーボード、マウスなどよりなる入力部118から指令が入力されると、例えば、ROM(Read Only Memory)112、ハードディスク114、またはドライブ120に装着される磁気ディスク131、光ディスク132、光磁気ディスク133、若しくは半導体メモリ134などの記録媒体に格納されているプログラムを、RAM(Random Access Memory)113にロードして実行する。これにより、上述した各種の処理(例えば、図23のフローチャートにより示される処理)が行われる。さらに、CPU111は、その処理結果を、例えば、入出力インタフェース116を介して、LCD(Liquid Crystal Display)などよりなる表示部117に必要に応じて出力する。なお、プログラムは、ハードディスク114やROM112に予め記憶しておき、コンピュータ101と一体的にユーザに提供したり、磁気ディスク131、光ディスク132、光磁気ディスク133,半導体メモリ134等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部119を介してハードディスク114に提供することができる。   FIG. 25 is a block diagram illustrating a configuration of an embodiment of a computer 101 that functions as the image display device 1 and the image processing device 51 as described above. An input / output interface 116 is connected to a CPU (Central Processing Unit) 111 via a bus 115, and the CPU 111 receives commands from an input unit 118 such as a keyboard and a mouse via the input / output interface 116. When input, it is stored in a recording medium such as a ROM (Read Only Memory) 112, a hard disk 114, or a magnetic disk 131, an optical disk 132, a magneto-optical disk 133, or a semiconductor memory 134 attached to the drive 120, for example. The program is loaded into a RAM (Random Access Memory) 113 and executed. Thereby, the various processes described above (for example, the process shown by the flowchart of FIG. 23) are performed. Further, the CPU 111 outputs the processing result to a display unit 117 such as an LCD (Liquid Crystal Display) via the input / output interface 116 as necessary. The program is stored in advance in the hard disk 114 or the ROM 112 and provided to the user integrally with the computer 101 or as a package medium such as the magnetic disk 131, the optical disk 132, the magneto-optical disk 133, and the semiconductor memory 134. Or can be provided to the hard disk 114 via the communication unit 119 from a satellite, a network, or the like.

なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   In the present specification, the step of describing the program provided by the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.

ブロックの法則を説明する図である。It is a figure explaining the rule of a block. 解像度変換処理の原理を説明する図である。It is a figure explaining the principle of resolution conversion processing. サンプリング位置を説明する図である。It is a figure explaining a sampling position. 折り返し成分を説明する図である。It is a figure explaining a return component. 折り返し成分の位相の変化を説明する図である。It is a figure explaining the change of the phase of a return component. 折り返し成分の位相の変化を説明する他の図である。It is another figure explaining the change of the phase of a return component. 折り返し成分の位相の変化を説明する他の図である。It is another figure explaining the change of the phase of a return component. 折り返し成分の位相の変化を説明する他の図である。It is another figure explaining the change of the phase of a return component. 折り返し成分の位相の変化を説明する他の図である。It is another figure explaining the change of the phase of a return component. 折り返し成分の位相の回転間隔を説明する他の図である。It is another figure explaining the rotation interval of the phase of a return component. 折り返し成分の位相の回転間隔を説明する他の図である。It is another figure explaining the rotation interval of the phase of a return component. 折り返し成分を説明する他の図である。It is another figure explaining a return component. 折り返し成分の位相の回転間隔を説明する他の図である。It is another figure explaining the rotation interval of the phase of a return component. 超解像度効果を得るための折り返し成分の位相を説明する図である。It is a figure explaining the phase of the return component for obtaining a super-resolution effect. 超解像度効果を得ることができない速度範囲を示す図である。It is a figure which shows the speed range which cannot acquire a super-resolution effect. 超解像度効果を得ることができない速度範囲を示す他の図である。It is another figure which shows the speed range which cannot acquire a super-resolution effect. 超解像度効果を得ることができない速度範囲を示す他の図である。It is another figure which shows the speed range which cannot acquire a super-resolution effect. 本発明を適用した画像表示装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image display apparatus to which this invention is applied. 図18の動き検出部および画素数変換部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the motion detection part and pixel number conversion part of FIG. 図18の画素数変換部の動作を説明する図である。It is a figure explaining the operation | movement of the pixel number conversion part of FIG. 超解像度効果を得ることができる場合の画像の移動速度と間引き量との関係を示す図である。It is a figure which shows the relationship between the moving speed of an image in case a super-resolution effect can be acquired, and the thinning-out amount. 超解像度効果を得ることができる場合の画像の移動速度と間引き量との関係を示す他の図である。It is another figure which shows the relationship between the moving speed of an image in case a super-resolution effect can be acquired, and the thinning-out amount. 図19の画像処理部の動作を説明するフローチャートである。20 is a flowchart for explaining the operation of the image processing unit in FIG. 19. 本発明を適用した画像処理装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image processing apparatus to which this invention is applied. パーソナルコンピュータの構成例を示すブロック図である。And FIG. 16 is a block diagram illustrating a configuration example of a personal computer.

符号の説明Explanation of symbols

1 画像表示装置, 11 画像入力部, 12 画像変換部, 13 画像表示部, 21 移動量検出部, 22 画素数変換部, 31 フレームメモリ, 32 遅延回路, 33 フレームメモリ, 34 ブロックマッチング回路, 41 空間フィルタ処理部, 42 空間間引き処理部, 43 フレームメモリ, 44 制御部, 51 画像処理装置, 52 表示装置, 61 画像出力部   DESCRIPTION OF SYMBOLS 1 Image display apparatus, 11 Image input part, 12 Image conversion part, 13 Image display part, 21 Movement amount detection part, 22 Pixel number conversion part, 31 Frame memory, 32 Delay circuit, 33 Frame memory, 34 Block matching circuit, 41 Spatial filter processing unit, 42 Spatial thinning processing unit, 43 frame memory, 44 control unit, 51 image processing device, 52 display device, 61 image output unit

Claims (16)

第1の解像度を持つ画像信号を入力する画像入力ステップと、
入力された前記画像信号を、前記第1の解像度より低い第2の解像度を持つ画像信号に変換する解像度変換ステップと、
解像度変換された前記画像信号に対応する画像を所定のフレームレートで表示手段に表示させる画像表示制御ステップと
を有する画像表示方法であって、
前記解像度変換ステップは、前記画像入力ステップで入力された画像信号の少なくとも一部の領域の移動量を検出し、検出された前記移動量に基づいて決定される空間間引き量で、前記所定のフレームレートで表示する表示手段が前記第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う
ことを特徴とする画像表示方法。
An image input step of inputting an image signal having a first resolution;
A resolution conversion step of converting the input image signal into an image signal having a second resolution lower than the first resolution;
An image display control step of displaying on the display means an image corresponding to the image signal whose resolution has been converted at a predetermined frame rate,
The resolution conversion step detects a movement amount of at least a part of the region of the image signal input in the image input step, and uses the predetermined amount of space with a spatial thinning amount determined based on the detected movement amount. An image display method characterized by performing a spatial thinning process that gives a visual effect such that display means for displaying at a rate has a resolution exceeding the second resolution.
前記領域の横方向の移動量に基づいて横方向の前記空間間引き量を決定するとともに、前記領域の縦方向の移動量に基づいて縦方向の前記空間間引き量を決定する
ことを特徴とする請求項1記載の画像表示方法。
The horizontal thinning amount in the horizontal direction is determined based on the horizontal movement amount of the region, and the vertical spatial thinning amount is determined based on the vertical movement amount of the region. Item 2. The image display method according to Item 1.
前記フレームレートが高い場合に、前記空間間引き処理における空間間引き量を大きくする
ことを特徴とする請求項1記載の画像表示方法。
The image display method according to claim 1, wherein when the frame rate is high, an amount of space thinning in the space thinning process is increased.
任意のフレームの前記空間間引き処理では、当該フレームと時間的に前後に隣接する所定数のフレームにおける当該空間間引き処理された信号のすべての折り返し成分が、互いに打ち消し合うように前記空間間引き量が決定される
ことを特徴とする請求項1記載の画像表示方法。
In the spatial thinning process for an arbitrary frame, the spatial thinning amount is determined so that all the aliasing components of the spatial thinned signal in a predetermined number of frames that are temporally adjacent to the frame temporally cancel each other. The image display method according to claim 1, wherein:
前記解像度変換ステップは、入力された前記画像信号に空間フィルタ処理を施した信号に対して、前記空間間引き処理を行う
ことを特徴とする請求項1記載の画像表示方法。
The image display method according to claim 1, wherein the resolution conversion step performs the spatial thinning process on a signal obtained by subjecting the input image signal to a spatial filter process.
前記解像度変換ステップは、前記画像入力ステップで入力された画像信号を複数の領域に分割し、分割された領域毎に前記移動量を検出する
ことを特徴とする請求項1記載の画像表示方法。
The image display method according to claim 1, wherein the resolution conversion step divides the image signal input in the image input step into a plurality of regions, and detects the movement amount for each of the divided regions.
第1の解像度を持つ画像信号を入力する画像入力ステップと、
入力された前記画像信号を、前記第1の解像度より低い第2の解像度を持つ画像信号に変換する解像度変換ステップと、
解像度変換された前記画像信号を所定のフレームレートで表示手段に表示させる画像表示制御ステップとを有する画像表示方法であって、
前記解像度変換ステップは、前記画像入力ステップで入力された画像信号を複数の領域に分割してその領域毎の移動量を検出し、検出された前記移動量に基づいて各領域の空間間引き量を設定するとともに、入力された前記画像信号の前記各領域に対して空間フィルタ処理を施した後で、前記設定された空間間引き量に基づいて前記領域毎に前記所定のフレームレートで表示する表示手段が前記第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う
ことを特徴とする画像表示方法。
An image input step of inputting an image signal having a first resolution;
A resolution conversion step of converting the input image signal into an image signal having a second resolution lower than the first resolution;
An image display control step of displaying the resolution-converted image signal on a display means at a predetermined frame rate,
The resolution conversion step divides the image signal input in the image input step into a plurality of regions, detects a movement amount for each region, and calculates a spatial thinning amount of each region based on the detected movement amount. Display means for setting and displaying each predetermined area at the predetermined frame rate based on the set spatial thinning amount after performing spatial filter processing on each area of the input image signal An image display method characterized by performing a spatial thinning process that gives a visual effect that has a resolution exceeding the second resolution.
第1の解像度を持つ画像信号を入力する画像入力手段と、
前記画像入力手段に入力された画像信号を、前記第1の解像度より低い第2の解像度を持つ画像信号に変換する解像度変換手段と、
前記解像度変換手段で解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御手段とを有する画像表示装置であって、
前記解像度変換手段は、前記画像入力手段により入力された画像信号の少なくとも一部の領域の移動量を検出する移動量検出部と、検出された前記移動量に基づいて決定される空間間引き量で、前記所定のフレームレートで表示する表示手段が前記第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う解像度変換処理部とを有する
ことを特徴とする画像表示装置。
Image input means for inputting an image signal having a first resolution;
Resolution conversion means for converting the image signal input to the image input means into an image signal having a second resolution lower than the first resolution;
An image display control unit for displaying an image signal whose resolution is converted by the resolution conversion unit on a display unit at a predetermined frame rate,
The resolution conversion unit includes a movement amount detection unit that detects a movement amount of at least a partial region of the image signal input by the image input unit, and a spatial thinning amount determined based on the detected movement amount. An image display apparatus comprising: a resolution conversion processing unit that performs a spatial thinning process that provides a visual effect such that the display unit that displays at the predetermined frame rate has a resolution exceeding the second resolution.
前記領域の横方向の移動量に基づいて横方向の前記空間間引き量が決定されるとともに、前記領域の縦方向の移動量に基づいて縦方向の前記空間間引き量が決定される
ことを特徴とする請求項8記載の画像表示装置。
The horizontal spatial thinning amount is determined based on the horizontal movement amount of the region, and the vertical spatial thinning amount is determined based on the vertical movement amount of the region. The image display device according to claim 8.
前記フレームレートが高い場合には、前記空間間引き処理における空間間引き量が大きくされる
ことを特徴とする請求項8記載の画像表示装置。
The image display apparatus according to claim 8, wherein when the frame rate is high, a spatial thinning amount in the spatial thinning process is increased.
任意のフレームの前記空間間引き処理では、当該フレームと時間的に前後に隣接する所定数のフレームにおける当該空間間引き処理された信号のすべての折り返し成分が、互いに打ち消し合うように前記空間間引き量が決定される
ことを特徴とする請求項8記載の画像表示装置。
In the spatial thinning process for an arbitrary frame, the spatial thinning amount is determined so that all the aliasing components of the spatial thinned signal in a predetermined number of frames that are temporally adjacent to the frame temporally cancel each other. The image display device according to claim 8, wherein:
前記解像度変換手段は、前記移動量に対応した空間間引き量のテーブルを記憶するための記憶部をさらに有し、前記テーブルを参照することにより、前記空間間引き量が決定される
ことを特徴とする請求項8記載の画像表示装置。
The resolution conversion unit further includes a storage unit for storing a table of spatial thinning amounts corresponding to the movement amount, and the spatial thinning amount is determined by referring to the table. The image display device according to claim 8.
前記解像度変換処理部は、入力された前記画像信号に空間フィルタ処理を施した信号に対して、前記空間間引き処理を行う
ことを特徴とする請求項8記載の画像表示装置。
The image display device according to claim 8, wherein the resolution conversion processing unit performs the spatial thinning process on a signal obtained by subjecting the input image signal to a spatial filter process.
前記移動量検出部は、前記画像入力手段により入力された画像信号を複数の領域に分割し、分割された領域毎に移動量を検出する
ことを特徴とする請求項8記載の画像表示装置。
The image display apparatus according to claim 8, wherein the movement amount detection unit divides the image signal input by the image input unit into a plurality of regions, and detects a movement amount for each of the divided regions.
第1の解像度を持つ画像信号を入力する画像入力手段と、
前記画像入力手段に入力された画像信号を、前記第1の解像度より低い第2の解像度を持つ画像信号に変換する解像度変換手段と、
前記解像度変換手段で解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御手段とを有する画像表示装置であって、
前記解像度変換手段は、
前記画像入力手段に入力された画像信号を複数の領域に分割して領域毎に移動量を検出する移動量検出部と、
検出された前記移動量に基づいて各領域の空間間引き量を設定するとともに、入力された画像信号の前記各領域に対して空間フィルタ処理を施した後で、前記設定された空間間引き量に基づいて前記領域毎に前記所定のフレームレートで表示する表示手段が前記第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う解像度変換処理部と
を有することを特徴とする画像表示装置。
Image input means for inputting an image signal having a first resolution;
Resolution conversion means for converting the image signal input to the image input means into an image signal having a second resolution lower than the first resolution;
An image display control unit for displaying an image signal whose resolution is converted by the resolution conversion unit on a display unit at a predetermined frame rate,
The resolution conversion means includes
A movement amount detector that divides the image signal input to the image input means into a plurality of regions and detects a movement amount for each region;
Based on the detected amount of movement, a spatial thinning amount of each region is set, and after applying spatial filtering processing to each region of the input image signal, based on the set spatial thinning amount And a resolution conversion processing unit that performs a spatial thinning process that provides a visual effect such that the display means for displaying the image at the predetermined frame rate for each region has a resolution exceeding the second resolution. Display device.
コンピュータに、
第1の解像度を持つ画像信号の入力を制御する画像入力制御ステップと、
入力された前記画像信号の、前記第1の解像度より低い第2の解像度を持つ画像信号への変換を制御する解像度変換制御ステップと、
解像度変換された前記画像信号に対応する画像を所定のフレームレートで表示手段に表示させる画像表示制御ステップと
を含む処理を実行させるための画像表示用のプログラムであって、
前記解像度変換制御ステップは、前記画像入力制御ステップの処理で入力された画像信号の少なくとも一部の領域の移動量を検出し、検出された前記移動量に基づいて決定される空間間引き量で、前記所定のフレームレートで表示する表示手段が前記第2の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行うことを特徴とするプログラム。
On the computer,
An image input control step for controlling input of an image signal having a first resolution;
A resolution conversion control step for controlling conversion of the input image signal into an image signal having a second resolution lower than the first resolution;
An image display program for executing a process including an image display control step of displaying an image corresponding to the image signal having undergone resolution conversion on a display unit at a predetermined frame rate,
The resolution conversion control step detects a movement amount of at least a partial region of the image signal input in the processing of the image input control step, and is a spatial thinning amount determined based on the detected movement amount. A program for performing a spatial thinning process for providing a visual effect such that the display means for displaying at the predetermined frame rate has a resolution exceeding the second resolution.
JP2003412500A 2003-12-10 2003-12-10 Image display apparatus and method, and program Expired - Fee Related JP4761102B2 (en)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2003412500A JP4761102B2 (en) 2003-12-10 2003-12-10 Image display apparatus and method, and program
US11/006,384 US7660487B2 (en) 2003-12-10 2004-12-07 Image processing method and apparatus with image resolution conversion related to relative movement detection
DE602004001962T DE602004001962T2 (en) 2003-12-10 2004-12-08 Method, device and program for image processing
EP10009708.8A EP2293237B1 (en) 2003-12-10 2004-12-08 Image processing method
EP04029082A EP1542161B1 (en) 2003-12-10 2004-12-08 Image processing method and apparatus, and program
EP05027806A EP1643442B1 (en) 2003-12-10 2004-12-08 Image processing method and apparatus, and program
KR1020040103970A KR101091217B1 (en) 2003-12-10 2004-12-10 Image processing method and apparatus, and computer readable recording medium
CNB200410086659XA CN100397886C (en) 2003-12-10 2004-12-10 Image processing method and apparatus and program
US12/641,798 US8009934B2 (en) 2003-12-10 2009-12-18 Image processing method and apparatus setting spatial decimation to movement within image regions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003412500A JP4761102B2 (en) 2003-12-10 2003-12-10 Image display apparatus and method, and program

Publications (2)

Publication Number Publication Date
JP2005173158A JP2005173158A (en) 2005-06-30
JP4761102B2 true JP4761102B2 (en) 2011-08-31

Family

ID=34732924

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003412500A Expired - Fee Related JP4761102B2 (en) 2003-12-10 2003-12-10 Image display apparatus and method, and program

Country Status (1)

Country Link
JP (1) JP4761102B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041196A (en) * 2005-08-02 2007-02-15 Sony Corp Device and method for processing image, and computer program
KR101152137B1 (en) 2005-09-29 2012-06-15 삼성전자주식회사 Liquid crystal display
KR101166841B1 (en) * 2005-12-15 2012-07-19 엘지디스플레이 주식회사 Apparatus and method for down sampling of image display device
JP4518043B2 (en) 2006-05-31 2010-08-04 株式会社日立製作所 Image signal processing apparatus, method for increasing resolution of image signal, and program for executing the method
JP4775210B2 (en) * 2006-09-26 2011-09-21 株式会社日立製作所 Image signal processing apparatus, image resolution increasing method, image display apparatus, recording / reproducing apparatus
JP2009002976A (en) * 2007-06-19 2009-01-08 Renesas Technology Corp Display driving circuit
JP5049703B2 (en) * 2007-08-28 2012-10-17 株式会社日立製作所 Image display device, image processing circuit and method thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01200882A (en) * 1987-12-22 1989-08-14 Philips Gloeilampenfab:Nv Signal prucessng method and signal receiver
JPH01231583A (en) * 1988-03-11 1989-09-14 Fujitsu Ltd Picture coding device with variable bit rate
JPH0818976A (en) * 1994-06-29 1996-01-19 Toshiba Corp Dynamic image encoder/decoder
JPH114361A (en) * 1997-06-13 1999-01-06 Hitachi Ltd Image information processing method and digital image pickup device using it
JP2000148126A (en) * 1998-11-18 2000-05-26 Dream Technologies Kk Image display device and method
JP2004341356A (en) * 2003-05-16 2004-12-02 Nec Plasma Display Corp Signal processing method, picture display method, and picture display device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01200882A (en) * 1987-12-22 1989-08-14 Philips Gloeilampenfab:Nv Signal prucessng method and signal receiver
JPH01231583A (en) * 1988-03-11 1989-09-14 Fujitsu Ltd Picture coding device with variable bit rate
JPH0818976A (en) * 1994-06-29 1996-01-19 Toshiba Corp Dynamic image encoder/decoder
JPH114361A (en) * 1997-06-13 1999-01-06 Hitachi Ltd Image information processing method and digital image pickup device using it
JP2000148126A (en) * 1998-11-18 2000-05-26 Dream Technologies Kk Image display device and method
JP2004341356A (en) * 2003-05-16 2004-12-02 Nec Plasma Display Corp Signal processing method, picture display method, and picture display device

Also Published As

Publication number Publication date
JP2005173158A (en) 2005-06-30

Similar Documents

Publication Publication Date Title
EP1643442B1 (en) Image processing method and apparatus, and program
WO2021238500A1 (en) Panoramic video frame interpolation method and device, and corresponding storage medium
US8311392B2 (en) Image processing apparatus, image processing method, and storage medium
US8031191B2 (en) Apparatus and method for generating rendering data of images
JP5133038B2 (en) Image restoration method and image restoration apparatus
US8922712B1 (en) Method and apparatus for buffering anchor frames in motion compensation systems
EP2161687A1 (en) Video signal processing device, video signal processing method, and video signal processing program
JP2005198268A (en) Dynamic image converting apparatus and method therefor, and dynamic image data format
JP4761102B2 (en) Image display apparatus and method, and program
JP2008017060A (en) Device and method for converting moving picture, and computer program
JP2005217532A (en) Resolution conversion method and resolution conversion apparatus
JP4379100B2 (en) Imaging apparatus and method, and program
EP1820341B1 (en) Method and apparatus for generating motion compensated pictures
JP4431973B2 (en) Moving image processing apparatus and method
JP5331643B2 (en) Motion vector detection apparatus and program
JP2009239698A (en) Video image converting device, and video image converting method
JP5409245B2 (en) Image processing apparatus and control method thereof
JP2011070594A (en) Image processing apparatus, image processing method and image processing program
JP6854629B2 (en) Image processing device, image processing method
WO2009115867A1 (en) Frame rate conversion with motion estimation in a plurality of resolution levels
US7529787B2 (en) Apparatus and method for generating coefficient data, apparatus and method for processing information signal, program, and medium for recording the same
JP5998889B2 (en) Video signal processing apparatus and video signal processing method
CN114500905A (en) Indirect observation system and frame rate adjustment method
JPH11187360A (en) Image processor
JP2004056474A (en) Picture processor and program for the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110525

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4761102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees