JPH01138859A - Picture processing method - Google Patents
Picture processing methodInfo
- Publication number
- JPH01138859A JPH01138859A JP62298408A JP29840887A JPH01138859A JP H01138859 A JPH01138859 A JP H01138859A JP 62298408 A JP62298408 A JP 62298408A JP 29840887 A JP29840887 A JP 29840887A JP H01138859 A JPH01138859 A JP H01138859A
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- video image
- images
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000012937 correction Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Abstract
Description
【発明の詳細な説明】
産業上の利用分野
本発明は、連続した複数のビデオ画像からハードコピー
等のための高画質の静止画像を作り出すための画像処理
方法に関する。DETAILED DESCRIPTION OF THE INVENTION Field of the Invention The present invention relates to an image processing method for producing high quality still images for hardcopy etc. from a plurality of consecutive video images.
従来の技術
我が国では、テレビジョン放送の標準方式としてＮＴＳ
Ｃを採用している。ＮＴＳＣのビデオ信号の周波数帯域
幅は約４．３ＭＨｚであり、走査線数は５２５本である
。４．３ Ｍ Ｉｌｚ帯域幅のビデオ信号を十分再現で
きるようにサンプリングした場合のデータ数は、−走査
線につき６８０データになる。Conventional technology In Japan, NTS is the standard method for television broadcasting.
C is adopted. The frequency bandwidth of an NTSC video signal is approximately 4.3 MHz, and the number of scanning lines is 525. The number of data when sampled to sufficiently reproduce a video signal with a 4.3 M Ilz bandwidth is 680 data per -scanning line.
つまり、ビデオ画像は、有効部分のみを考えると、横５
７０縦４８０程度の画素で表現される。これを写真のサ
ービスサイズ撞の大きさ（ＩＩＯＸ８０ｍｍ）にハード
コピーすると、画素密度は５〜６画素／ｆｉとなり、普
通の印刷物が２０画素／龍程度であるのと比べると、画
素の見える目の粗い画像になってしまう、その点を補う
方法として、ビデオ画像の画素間のデータを隣接した画
素データより補間計算して求め画素数を増やしている。In other words, if we consider only the effective part of the video image, the horizontal
It is expressed by approximately 70 vertical pixels and 480 pixels. If you hard copy this to the size of the photo service size (IIOX 80mm), the pixel density will be 5 to 6 pixels/fi, which is about 20 pixels/fi for ordinary printed matter. As a method to compensate for the roughness of the image, the number of pixels is increased by interpolating data between pixels of a video image from adjacent pixel data.
補間方法はいろいろあるが、代表的な方法としては平均
値補間法やキュービック・コンボリューション法がある
。（たとえば特開昭６１−２０１５９１号公報参照）。There are various interpolation methods, but representative methods include the average value interpolation method and the cubic convolution method. (For example, see Japanese Patent Application Laid-Open No. 61-201591).
従来の補間方法の一例として、平均値補間法について図
面を参照しながら説明する。第４図は、平均値補間法の
概略を示す図である０図中において、９は元画像の画素
を、８は補間された画素を示している。補間画素データ
ｒ （ｋ、１）は、元画像の画素データＩ （ｍ、
ｎ）を用いて次式Ｆ１１により計算される。As an example of a conventional interpolation method, an average value interpolation method will be described with reference to the drawings. FIG. 4 is a diagram showing an outline of the average value interpolation method. In FIG. 4, 9 indicates a pixel of the original image, and 8 indicates an interpolated pixel. The interpolated pixel data r (k, 1) is the pixel data I (m,
n) using the following formula F11.
１（ｋ、１）＝ΣΣＩ （ｍ、 ｎ）−ｆ （ｋ−ｍ）
・ｆ（１・ｎ） ・・・・・・（１）
ｆ （ｘ） ＝ １−ｌｘ／ｄｌ Ｏ≦Ｉｘｌ＜ｄ
Ｏｄ≦ＩＸＩ
発明が解決しようとする問題点
しかしながら、上記のような方法によって一枚のビデオ
画像に補間を行うと、画素数は増えるのでハードコピー
した時に目の細かい画像にはなるが、画緘の解像度は向
上しないにのことを第５図を用いて説明する。ビデオ画
像が画面の垂直方向に実線で示すような濃淡波形６をも
つ場合、それを９で示した画素間隔でサンプリングする
と、細かい濃淡情報は無くなってしまう。その後、補間
を行うと８で示す補間画素が付加されるが、波形は点線
のようになり細かい濃淡情報を再現することはできない
。つまり、従来の方法によって補間を行っても画像の解
像度を向上させることはできない。1 (k, 1) = ΣΣI (m, n) - f (k - m)
・f(1・n) ......(1) f (x) = 1-lx/dl O≦Ixl<d
Od≦IXI Problem to be Solved by the Invention However, when interpolating a single video image using the method described above, the number of pixels increases, resulting in a fine-grained image when hard-copied, but the The reason why the resolution is not improved will be explained using FIG. If a video image has a grayscale waveform 6 as shown by a solid line in the vertical direction of the screen, if it is sampled at the pixel interval shown by 9, fine grayscale information will be lost. After that, when interpolation is performed, interpolation pixels indicated by 8 are added, but the waveform becomes like a dotted line and detailed shading information cannot be reproduced. In other words, even if interpolation is performed using the conventional method, the resolution of the image cannot be improved.
本発明は、上記問題点に鑑み、画像の解像度を向上させ
るような画素補間を行うための画像処理方法を提供する
ものである。In view of the above problems, the present invention provides an image processing method for performing pixel interpolation that improves the resolution of an image.
問題点を解決するための手段
上記問題点を解決する本発明の技術的手段は、動きのあ
る連続した複数のビデオ画像（ビデオ画像１〜ビデオ画
像ＮＵＮは２以上の整数）から高画質のビデオ画像を得
る画像処理方法において、ビデオ画像１とその他のビデ
オ画像２〜Ｎのそれぞれとの間で画像各部の動き量を求
め、その動き量に基づいてビデオ画像２〜Ｎに動き補正
を行うことによりビデオ画像１と時間差の無いビデオ画
像２゛〜Ｎ′を作り、ビデオ画像１をビデオ画像２′〜
Ｎ′で細かく補間することにより高画質のビデオ画像を
作り出すというものである。Means for Solving the Problems The technical means of the present invention for solving the above problems is to extract high-quality video from a plurality of continuous moving video images (video image 1 to video image NUN are integers of 2 or more). In an image processing method for obtaining an image, the amount of movement of each part of the image is determined between video image 1 and each of the other video images 2 to N, and motion correction is performed to video images 2 to N based on the amount of movement. to create video images 2'~N' with no time difference from video image 1, and convert video image 1 into video images 2'~N'.
A high-quality video image is created by finely interpolating N'.
作用 この技術的手段による作用は次のようになる。action The effect of this technical means is as follows.
動きのある連続したＮ枚のビデオ画像を同一時刻の画像
となるように動き補正を行うと、同一時刻のＮ枚のビデ
オ画像ができる。このＮ枚のビデオ画像は、画素の間隔
は同じであるが、動きに応じて画素の位置のずれた画像
となる。このような画素の位置のずれたＮ枚のビデオ画
像で画素データの補間を行うので、結果的に細かい画素
間隔でサンプリングしたのと同じになり、１枚のビデオ
画像と比べてＮ枚のビデオ画像を使って画像を補間した
方が解像度が向上する。If N consecutive video images with movement are subjected to motion correction so that they become images at the same time, N video images at the same time are created. These N video images have the same pixel spacing, but the pixel positions are shifted depending on the movement. Since pixel data is interpolated using N video images with shifted pixel positions, the result is the same as sampling at fine pixel intervals, and compared to one video image, N video images are Using images to interpolate images will improve resolution.
実施例
以下、本発明の一実施例について図面を参照しながら説
明する。EXAMPLE Hereinafter, an example of the present invention will be described with reference to the drawings.
第１図は、本発明の一実施例における画像処理の概略を
示すブロック図である。まずＮ枚のビデオ画像（ビデオ
画像１〜ビデオ画像Ｎ）において、ビデオ画像１とその
他のビデオ画像２〜Ｎのそれぞれとの間で動き量検出２
をする。動き量の最小単位は１／ｍ画素である必要があ
り、本実施例ではｍ−２とする。動き量検出方法には、
連続する画素間の差を最小にする偏位を求める方法や相
互相関関数を最大にする偏位を求める方法などの種々の
方法がある。（吹抜散音：“画像のディジタル信号処理
”２日刊工業新聞社、ｐｐ、２２１−２２７ （昭６０
）を参照）検出された動き量に基づいて、それぞれのビ
デオ画像は動き補正３が行われ、ビデオ画像１と時間差
の無いビデオ画像２″〜Ｎ°が作られる。そして、ビデ
オ画像１をビデオ画像２゛〜Ｎ゛の画素で補間してやる
ことにより高解像度のビデオ画像５が得られる。FIG. 1 is a block diagram showing an outline of image processing in an embodiment of the present invention. First, in N video images (video image 1 to video image N), motion amount detection 2 is performed between video image 1 and each of the other video images 2 to N.
do. The minimum unit of motion amount must be 1/m pixel, and in this embodiment, it is set to m-2. The motion amount detection method includes
There are various methods, such as finding a deviation that minimizes the difference between consecutive pixels and finding a deviation that maximizes the cross-correlation function. (Atrium sound: “Digital signal processing of images” 2 Nikkan Kogyo Shimbunsha, pp. 221-227 (1983)
) Based on the detected amount of motion, each video image is subjected to motion correction 3 to create video images 2'' to N° with no time difference from video image 1. A high-resolution video image 5 is obtained by interpolating the pixels of images 2' to N'.
本実施例における動き補正３と補間４の概略を第２図を
用いて具体的に説明する。ビデオ画像１に対してビデオ
画像２が水平方向にＯ画素、垂直方向に＋２画素動いた
と検出されると、動き補正によりビデオ画像２において
ａの位置にあった画素はビデオ画像１を補間する時には
ｂの位置の画素となる。ビデオ画像１に対してビデオ画
像３が水平方向に十％画素、垂直方向に十％画素３にお
いてａの位置にあった画素はＣの位置の画素として補間
される。このことをビデオ画像Ｎについてまで行うと、
画面の水平・垂直方向ともに％画素間隔で正しい画素デ
ータを補間することができる。An outline of motion correction 3 and interpolation 4 in this embodiment will be specifically explained using FIG. 2. When it is detected that video image 2 has moved by O pixels in the horizontal direction and +2 pixels in the vertical direction with respect to video image 1, the pixel at position a in video image 2 is changed by motion compensation when interpolating video image 1. This is the pixel at position b. When video image 3 is 10% pixels in the horizontal direction and 10% pixels in the vertical direction with respect to video image 1, the pixel at position a is interpolated as a pixel at position C. If we do this for video image N, we get
Correct pixel data can be interpolated at % pixel intervals in both the horizontal and vertical directions of the screen.
ただし、ビデオ画像の枚数Ｎには限界があるので、すべ
ての８で示す補間画素が補間できるとは限らないし、２
つ以上の画素が同じ位置にくることもありうる。補間で
きなかった画素については、従来例で述べたような補間
方法によってビデオ画像１の画素より補間画素データを
求めればよい、また、２つ以上の画素が同じ位置に補間
された場合には、それらを加算平均を補間画素データと
すればよい。However, since there is a limit to the number of video images N, not all interpolation pixels indicated by 8 can be interpolated, and 2
It is possible for more than one pixel to be at the same location. For pixels that could not be interpolated, interpolated pixel data can be obtained from the pixels of video image 1 using the interpolation method described in the conventional example.Also, if two or more pixels are interpolated at the same position, The average of them may be used as interpolated pixel data.
本実施例における画像処理においてどのようにビデオ画
像の解像度が向上するかを第３図を用いて説明する。ビ
デオ画像１が画面の垂直方向に実線で示すような濃淡波
形６をもち、ビデオ画像２は画像が垂直方向に動いたた
め、ビデオ画像ｌの波形より少しずれた点線で示すよう
な濃淡波形７をもつとする。ビデオ画像１および２の画
素データは図中の９で示されている。ビデオ画像２の垂
直方向の動き量が〃画素と検出され、その分だけ動き補
正した位置に補間してやることにより８で示す画素が補
間され、その結果として細かい濃淡波形の情報を失うこ
となく高解像度のビデオ画像を得ることができる。How the resolution of a video image is improved in the image processing in this embodiment will be explained using FIG. 3. Video image 1 has a gradation waveform 6 as shown by a solid line in the vertical direction of the screen, and video image 2 has a gradation waveform 7 as shown by a dotted line that is slightly shifted from the waveform of video image 1 because the image has moved in the vertical direction. I'll try it. Pixel data for video images 1 and 2 are indicated by 9 in the figure. The amount of vertical movement of video image 2 is detected as 〃pixel, and by interpolating to the position where the movement is corrected by that amount, the pixel shown by 8 is interpolated, and as a result, high resolution is achieved without losing detailed gradation waveform information. video images can be obtained.
発明の効果
以上のように本発明は、連続した複数のビデオ画像に動
き補正をし補間することにより、高画質のビデオ画像を
得るというものである。これは、実際の画素データを動
き量だけずらして補間していくので、一枚のビデオ画像
と比べて高い解像度のビデオ画像を得ることができる。Effects of the Invention As described above, the present invention obtains high-quality video images by performing motion compensation and interpolation on a plurality of consecutive video images. Since this interpolates the actual pixel data by shifting it by the amount of movement, it is possible to obtain a video image with a higher resolution than a single video image.
第１図は本発明の一実施例における画像処理の概略を示
すブロック図、第２図は本発明の一実施例における動き
補正と補間の概略を示すための説明図、第３図は本発明
の一実施例における解像度向上の様子を示す説明図、第
４図は従来の画像処理方法の一例を示す概略図、第５図
は従来の画像処理方法における信号波形の様子を示す説
明図である。
１・・・・・・Ｎ枚のビデオ画像、２・・・・・・動き
量検出、３・・・・・・動き補正、４・・・・・・補間
、５・・・・・・ビデオ画像、２２〜２Ｎ・・・・・・
動き量、８・・・・・・補間画素。
代理人の氏名 弁理士 中尾敏男 はか１名第１図
画面７１（乎Ｘ尚FIG. 1 is a block diagram showing an outline of image processing in an embodiment of the present invention, FIG. 2 is an explanatory diagram showing an outline of motion correction and interpolation in an embodiment of the invention, and FIG. 3 is a block diagram showing an outline of image processing in an embodiment of the present invention. FIG. 4 is a schematic diagram showing an example of a conventional image processing method. FIG. 5 is an explanatory diagram showing a signal waveform in a conventional image processing method. . 1...N video images, 2...Motion amount detection, 3...Motion correction, 4...Interpolation, 5... Video image, 22~2N...
Movement amount, 8... Interpolation pixels. Name of agent: Patent attorney Toshio Nakao
Claims (1)
Ｎ：Ｎは２以上の整数）から一枚のビデオ画像を得る画
像処理方法において、ビデオ画像１とその他のビデオ画
像２〜Ｎのそれぞれとの間で画像各部の動き量を求め、
その動き量に基づいてビデオ画像２〜Ｎに動き補正を行
うことによりビデオ画像１と時間差の無いビデオ画像（
ビデオ画像２′〜Ｎ′：Ｎ′は２以上の整数）を作り、
ビデオ画像１をビデオ画像２′〜Ｎ′で補間することに
より一枚のビデオ画像を作り出すことを特徴とする画像
処理方法。In an image processing method for obtaining one video image from a plurality of consecutive video images (video image 1 to video image N: N is an integer of 2 or more), the relationship between video image 1 and each of the other video images 2 to N is Find the amount of movement of each part of the image between
By performing motion correction on video images 2 to N based on the amount of movement, video images with no time difference from video image 1 (
Create video images 2' to N'(N' is an integer greater than or equal to 2),
An image processing method characterized in that one video image is created by interpolating video image 1 with video images 2' to N'.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP62298408A JPH01138859A (en) | 1987-11-26 | 1987-11-26 | Picture processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP62298408A JPH01138859A (en) | 1987-11-26 | 1987-11-26 | Picture processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH01138859A true JPH01138859A (en) | 1989-05-31 |
Family
ID=17859324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP62298408A Pending JPH01138859A (en) | 1987-11-26 | 1987-11-26 | Picture processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH01138859A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6122017A (en) * | 1998-01-22 | 2000-09-19 | Hewlett-Packard Company | Method for providing motion-compensated multi-field enhancement of still images from video |
-
1987
- 1987-11-26 JP JP62298408A patent/JPH01138859A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6122017A (en) * | 1998-01-22 | 2000-09-19 | Hewlett-Packard Company | Method for providing motion-compensated multi-field enhancement of still images from video |
| US6381279B1 (en) | 1998-01-22 | 2002-04-30 | Hewlett-Packard Company | Method for providing motion-compensated multi-field enhancement of still images from video |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2939330B2 (en) | Method and apparatus for generating high definition electronic signals from line scans of color originals | |
| JPS58125957A (en) | High visibility suppressing television video system | |
| WO2008053791A1 (en) | Imaging device and video signal generating method employed in imaging device | |
| JP2577748B2 (en) | Image signal interpolation method and image signal processing apparatus for implementing the method | |
| US5430489A (en) | Video to film conversion | |
| JPH01138859A (en) | Picture processing method | |
| JP3395195B2 (en) | Image distortion correction method | |
| US6563548B1 (en) | Interlace noise filter | |
| JPH0578989B2 (en) | ||
| JP2716979B2 (en) | Blur image processing method and apparatus for implementing the method | |
| JPH03101390A (en) | Image converter | |
| JPH01138860A (en) | Picture processing method | |
| JPH01312671A (en) | Picture processor | |
| JP3105240B2 (en) | Method for image reproduction of digital video signal | |
| CN111885337B (en) | Multi-frame-rate video efficient editing method | |
| JPH02107061A (en) | Picture signal processing method | |
| JP3435732B2 (en) | Video signal filtering method and video special effect device using the same | |
| JPH02107060A (en) | Picture signal processing method | |
| JP3292233B2 (en) | Interpolation processing circuit | |
| JP3793333B2 (en) | Time variable image speed conversion device | |
| JPH0578990B2 (en) | ||
| JPH0578988B2 (en) | ||
| KR0163915B1 (en) | High efficiency digital electronic zoom camera system using fish-eye lens | |
| JP2005308934A (en) | Image processing method | |
| JPH11191859A (en) | Image pickup device |