JP6786107B2 - Color moving image transmission device, color moving image receiving device, color moving image transmission / reception system, color moving image transmission method and color moving image receiving method - Google Patents

Color moving image transmission device, color moving image receiving device, color moving image transmission / reception system, color moving image transmission method and color moving image receiving method Download PDF

Info

Publication number
JP6786107B2
JP6786107B2 JP2017011133A JP2017011133A JP6786107B2 JP 6786107 B2 JP6786107 B2 JP 6786107B2 JP 2017011133 A JP2017011133 A JP 2017011133A JP 2017011133 A JP2017011133 A JP 2017011133A JP 6786107 B2 JP6786107 B2 JP 6786107B2
Authority
JP
Japan
Prior art keywords
image
light
primary color
color
color image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017011133A
Other languages
Japanese (ja)
Other versions
JP2018121193A (en
Inventor
杉山 賢二
賢二 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SCHOOL JURIDICAL PERSON SEIKEI GAKUEN
Original Assignee
SCHOOL JURIDICAL PERSON SEIKEI GAKUEN
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SCHOOL JURIDICAL PERSON SEIKEI GAKUEN filed Critical SCHOOL JURIDICAL PERSON SEIKEI GAKUEN
Priority to JP2017011133A priority Critical patent/JP6786107B2/en
Publication of JP2018121193A publication Critical patent/JP2018121193A/en
Application granted granted Critical
Publication of JP6786107B2 publication Critical patent/JP6786107B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、カラー動画像を効率的かつ高画質に伝送するための映像信号形式とその受信方法に関し、特に白色に近い淡色の色プレーンを使うことにより、情報圧縮に適したカラー動画像伝送方法及びカラー動画像受信方法に関する。 The present invention relates to a video signal format for efficiently and high-quality transmission of a color moving image and a receiving method thereof. A color moving image transmission method suitable for information compression by using a light color plane close to white in particular. And the method of receiving color moving images.

<カラー動画像>
動画像に限らずカラー画像信号は、赤(Red),緑(Green),青(Blue)の加法3原色により形成され、撮像や表示はこの形態で行われている。一方、伝送や記録のための形態は、輝度とふたつの色差により形成される信号が使われる。動画像においては、アナログ映像では主にコンポジット方式が、ディジタル映像ではコンポーネント方式が使われている。
<Color moving image>
Not limited to moving images, color image signals are formed by three additive primary colors of red (Red), green (Green), and blue (Blue), and imaging and display are performed in this form. On the other hand, as a form for transmission or recording, a signal formed by luminance and two color differences is used. In moving images, the composite method is mainly used for analog video, and the component method is used for digital video.

<コンポジット方式>
輝度成分のみを伝送する白黒テレビ信号と互換性を持たせたカラーテレビ方式として、NTSC、PAL、SECAMなどがあった。これらは、色差成分をライン毎に変化させて輝度成分に重畳しており、後述されるコンポーネントに対比させてコンポジット(複合)信号と呼ばれていた。白黒テレビ信号と互換性があるのみならず、信号が1系統で済むので扱いやすかった。
<Composite method>
NTSC, PAL, SECAM, and the like have been used as a color television system compatible with a black-and-white television signal that transmits only a luminance component. These are superimposed on the luminance component by changing the color difference component for each line, and are called composite signals in contrast to the components described later. Not only is it compatible with black-and-white TV signals, but it is easy to handle because it requires only one signal.

これらの方式がデジタル放送等で用いられなかったのは、高能率符号化(情報圧縮)に適さないためである。動き補償を用いない簡易な手法は、この形式の信号にも適用可能であったが、動き補償の適用は現実的でなかった。輝度に重畳されている色情報の位相の関係から2画素精度でしか動き補償できないので、効率はきわめて低い。なお、現在の動き補償は、4分の1画素精度が一般的である。 These methods were not used in digital broadcasting and the like because they are not suitable for high-efficiency coding (information compression). A simple method that does not use motion compensation could be applied to this type of signal, but the application of motion compensation was not realistic. The efficiency is extremely low because motion compensation can be performed only with two-pixel accuracy due to the phase relationship of the color information superimposed on the luminance. It should be noted that the current motion compensation generally has a quarter pixel accuracy.

<コンポーネント方式>
コンポジットに対し、輝度とふたつの色差を別々の系統(チャンネル)で伝送するのが、コンポーネント方式である。放送用VTRでは、アナログでも使われていたが、主にディジタル映像において用いられる。輝度とふたつの色差は3原色から所定の変換により得られ、さらに色差がサブサンプリングされる場合が多い。具体的には、水平方向に2分の1にサブサンプリングされた4:2:2、水平と垂直の両方で2分の1にサブンサンプリングされた4:2:0がある。放送制作機器では4:2:2が使われるが、放送自体やテレビなどその民生機器、またインターネットなども、すべて4:2:0が使われる。動き補償では、色差信号の画像サイズが輝度と異なるのでやや面倒であるが、コンポジットの様な制約は無いので、高能率化が可能である。
<Component method>
The component method is to transmit the luminance and the two color differences to the composite by separate systems (channels). In VTRs for broadcasting, it was also used in analog, but it is mainly used in digital video. The brightness and the two color differences are obtained by a predetermined conversion from the three primary colors, and the color difference is often subsampled. Specifically, there is 4: 2: 2, which is subsampled in half in the horizontal direction, and 4: 2: 0, which is subsampled in half in both horizontal and vertical directions. 4: 2: 2 is used for broadcasting production equipment, but 4: 2: 0 is used for broadcasting itself, consumer equipment such as televisions, and the Internet. Motion compensation is a little troublesome because the image size of the color difference signal is different from the luminance, but it is possible to improve efficiency because there are no restrictions like composite.

<フレームシーケンシャル方式>
動画像のフレーム(インターレース走査の場合はフィールド)単位で、R,G,Bの中のひとつだけとする方法がある。これはフレーム(フィールド)シーケンシャルと呼ばれるもので、各フレームはR,G,Bいずれかのプレーン(色面)のみが存在する。この方法は、撮像、伝送、表示のいずれでも行われ得るが、状況はそれぞれで異なる。表示においては、元々同一タイミングで撮像されたR,G,B各プレーンが、時間的にずらされて表示されるのが一般的である。DLP方式のプロジェクタで用いられている。この場合フルカラーでのフレームレート(60fps)に対して、表示フレームレートは3倍(180fps)となる。
<Frame sequential method>
There is a method in which only one of R, G, and B is used for each frame (field in the case of interlaced scanning) of a moving image. This is called a frame (field) sequential, and each frame has only one of R, G, and B planes (color planes). This method can be imaged, transmitted, or displayed, but the situation is different. In the display, the R, G, and B planes originally imaged at the same timing are generally displayed with a time lag. It is used in DLP type projectors. In this case, the display frame rate is tripled (180 fps) with respect to the full color frame rate (60 fps).

一方、撮像や伝送にフレームシーケンシャルを適用した場合、R,G,Bは別フレームとなる。この場合、フレームレート(60fps)に対して、1色のレートは3分の1(20fps)となる。1フレームが1プレーンだけなので、データ量は輝度のみ(または単色)と同様になり、データ量が少なく合理的である。また、映像信号が1系統で済むので、取り扱いやすくなる。しかし、フルカラー画像を得るためには、各フレームで存在しない残り2色を補間して形成する必要がある(例えば、特許文献1)。 On the other hand, when frame sequential is applied to imaging and transmission, R, G, and B are separate frames. In this case, the rate of one color is one-third (20 fps) with respect to the frame rate (60 fps). Since one frame has only one plane, the amount of data is the same as that of only brightness (or a single color), and the amount of data is small and rational. In addition, since only one video signal is required, it is easy to handle. However, in order to obtain a full-color image, it is necessary to interpolate and form the remaining two colors that do not exist in each frame (for example, Patent Document 1).

特開2012−142817号公報Japanese Unexamined Patent Publication No. 2012-142817

従来のカラー動画像伝送方式はそれぞれ次のような問題点があった。コンポジット信号は、色差成分をライン毎に変化させて輝度成分に重畳していたので、動き補償が適切にできず、情報圧縮に適さなかった。コンポーネント信号は、輝度成分とふたつの色差成分を分けて伝送するの3系統が必要で情報量や処理量が多くなっており、色差信号はサブサンプリングされるので、特に彩度の高い部分で画質劣化が顕著となった。フレームシーケンシャル信号は、異色となるフレーム間での動き推定が、彩度の高い部分で適切にできず、RGB全色を揃えるための変換処理が容易でなかった。 Each of the conventional color moving image transmission methods has the following problems. Since the color difference component of the composite signal was changed for each line and superimposed on the luminance component, motion compensation could not be performed properly and it was not suitable for information compression. The component signal requires three systems to transmit the luminance component and the two color difference components separately, which increases the amount of information and processing, and the color difference signal is subsampled, so the image quality is particularly high in the highly saturated part. Deterioration became remarkable. In the frame sequential signal, motion estimation between frames having different colors could not be performed appropriately in a highly saturated portion, and conversion processing for aligning all RGB colors was not easy.

本発明は、上記従来技術における課題に鑑みてなされたものであり、フレームシーケンシャル方式の動画像伝送において、異色のフレーム間で適正な動き推定を行うことを目的とする。 The present invention has been made in view of the above-mentioned problems in the prior art, and an object of the present invention is to perform appropriate motion estimation between frames of different colors in frame sequential video transmission.

本発明者は、フレームシーケンシャル方式の動画像伝送において、異色のフレーム間で適正な動き推定を行うための構成につき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。 As a result of diligent studies on a configuration for performing appropriate motion estimation between frames of different colors in frame sequential video transmission, the present inventor came up with the following configuration and arrived at the present invention.

すなわち、本発明によれば、カラー動画像を伝送する装置であって、第1の原色画像と第2の原色画像と第3の原色画像をフレーム単位で順次取得する手段と、取得した3種類の原色画像を、第1の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第1の淡色画像を生成する手段と、取得した3種類の原色画像を、第2の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第2の淡色画像を生成する手段と、取得した3種類の原色画像を、第3の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第3の淡色画像を生成する手段と、生成した前記第1の淡色画像と前記第2の淡色画像と前記第3の淡色画像をフレーム単位で順次送信する手段と、を含むカラー動画像伝送装置およびカラー動画像伝送方法が提供される。 That is, according to the present invention, there is a device for transmitting a color moving image, a means for sequentially acquiring a first primary color image, a second primary color image, and a third primary color image in frame units, and three types of acquisition. The means for generating the first light-colored image by weight-adding the primary color images of the above so that the addition ratio of the first primary color image is lower than that of the remaining primary color images, and the acquired three types of primary color images. , A means for generating a second light color image by weighting and adding so that the addition ratio of the second primary color image is lower than that of the remaining primary color images, and the acquired three types of primary color images are added to the third primary color image. A means for generating a third light color image by weighting and adding so that the addition ratio of the primary color images is lower than that of the remaining primary color images, and the generated first light color image and the second light color image. A means for sequentially transmitting the third light-colored image in frame units, a color moving image transmission device including, and a color moving image transmission method are provided.

また、本発明によれば、カラー動画像を受信する装置であって、前記第1の淡色画像と前記第2の淡色画像と前記第3の淡色画像をフレーム単位で順次受信する手段と、1種類の前記淡色画像のみを受信した現フレームにおいて、受信していないその余の2種類の前記淡色画像の補間画像を動き補償により取得する手段と、取得した2種類の前記補間画像のぞれぞれから前記現フレームで受信した前記淡色画像を減算して2種類の差分画像を取得する手段と、取得した2種類の前記差分画像のぞれぞれからノイズを除去した後に、該2種類の前記差分画像のぞれぞれに前記現フレームで受信した前記淡色画像を加算して、2種類の補正済み補間画像を取得する手段と、前記現フレームで受信した前記淡色画像と取得した前記2種類の補正済み補間画像をマトリックス演算により第1の原色画像と第2の原色画像と第3の原色画像に変換する手段と、を含むカラー動画像受信装置およびカラー動画像受信方法が提供される。 Further, according to the present invention, there is a means for receiving a color moving image, which sequentially receives the first light color image, the second light color image, and the third light color image in frame units, and 1 In the current frame in which only the light-colored image of the type is received, the means for acquiring the interpolated image of the other two types of the light-colored image that has not been received by motion compensation, and the two types of the interpolated image obtained respectively. A means for acquiring two types of difference images by subtracting the light-colored image received in the current frame, and after removing noise from each of the two types of acquired difference images, the two types are used. A means for acquiring two types of corrected interpolated images by adding the light-colored image received in the current frame to each of the difference images, and the light-colored image received in the current frame and the acquired 2). A color moving image receiving device and a color moving image receiving method including means for converting a kind of corrected interpolated image into a first primary color image, a second primary color image, and a third primary color image by matrix calculation are provided. ..

さらに、本発明によれば、前記カラー動画像伝送装置と前記カラー動画像受信装置とからなるカラー動画像送受信システムが提供される。 Further, according to the present invention, there is provided a color moving image transmission / reception system including the color moving image transmitting device and the color moving image receiving device.

上述したように、本発明によれば、フレームシーケンシャル方式の動画像伝送において、異色のフレーム間で適正な動き推定を行うための構成が提供される。 As described above, according to the present invention, in the frame sequential type moving image transmission, a configuration for performing appropriate motion estimation between frames of different colors is provided.

図1は第1の実施形態のカラー動画像伝送装置の構成例を示す図である。FIG. 1 is a diagram showing a configuration example of the color moving image transmission device of the first embodiment. 図2は第2の実施形態の補色系淡色フレームシーケンシャルの様子を示す図である。FIG. 2 is a diagram showing a state of the complementary light color frame sequential of the second embodiment. 図3は第2の実施形態のカラー動画像伝送装置の構成例を示す図である。FIG. 3 is a diagram showing a configuration example of the color moving image transmission device of the second embodiment. 図4は第3の実施形態のカラー動画像受信装置の構成例を示す図である。FIG. 4 is a diagram showing a configuration example of the color moving image receiving device of the third embodiment. 図5は第3の実施形態の動き補償色プレーン補間の様子を示す図である。FIG. 5 is a diagram showing a state of motion compensation color plane interpolation according to the third embodiment. 図6は第3の実施形態の空間フィルタの構成例を示す図である。FIG. 6 is a diagram showing a configuration example of the spatial filter of the third embodiment.

以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。 Hereinafter, the present invention will be described with reference to the embodiments shown in the drawings, but the present invention is not limited to the embodiments shown in the drawings. In each of the figures referred to below, the same reference numerals are used for common elements, and the description thereof will be omitted as appropriate.

<第1の実施形態>
本発明の第1の実施形態であるカラー動画像伝送装置について説明する。図1は、本実施形態のカラー動画像伝送装置の構成を示したものである。図1で、R画像入力1から入来する赤色プレーンのR画像信号は、R画像バッファ4に一時保持され、受け取り側の要求に応じたタイミングで出力される。同様にG画像入力2から入来する緑色プレーンのG画像信号は、G画像バッファ5で保持され、B画像入力3から入来する青色プレーンのB画像信号は、B画像バッファ6で保持され、それぞれ所定タイミングで出力される。各バッファの容量は、R,G,Bの各信号が完全に並列に入力されるなら僅かで、入出力による遅延もほぼ無い。RGB信号がシリアルに入力されるなら1フレーム分を格納して、すべてが揃ってから処理を行うので、1フレーム分の容量と遅延を生じる。なお、以下においては、3種類の原色画像である「R画像」、「G画像」、「B画像」を、単に、「R」、「G」、「B」と表現する場合がある。
<First Embodiment>
The color moving image transmission device according to the first embodiment of the present invention will be described. FIG. 1 shows the configuration of the color moving image transmission device of the present embodiment. In FIG. 1, the red plane R image signal coming from the R image input 1 is temporarily held in the R image buffer 4 and output at a timing corresponding to a request on the receiving side. Similarly, the green plane G image signal coming in from the G image input 2 is held in the G image buffer 5, and the blue plane B image signal coming in from the B image input 3 is held in the B image buffer 6. Each is output at a predetermined timing. The capacity of each buffer is small if the R, G, and B signals are input completely in parallel, and there is almost no delay due to input / output. If the RGB signal is input serially, one frame is stored and processing is performed after all the signals are prepared, so that the capacity and delay for one frame are generated. In the following, the three types of primary color images "R image", "G image", and "B image" may be simply expressed as "R", "G", and "B".

白色画像形成器7は、R,G,Bの各画像信号を同期して受け取り、3値を加算して白色画像Wを得る。フレーム選択器8は、フレーム単位でR画像バッファ4の出力、G画像バッファ5の出力、B画像バッファ6の出力を選択して乗算器9に与える。乗算器9は、選択されたR,G,B何れかの画像信号に所定の数値を乗じて減算器10に与える。減算器10は白色画像形成器7から与えられる白色画像Wから乗算器9からの信号を減算する。 The white image former 7 receives the R, G, and B image signals in synchronization, and adds the three values to obtain the white image W. The frame selector 8 selects the output of the R image buffer 4, the output of the G image buffer 5, and the output of the B image buffer 6 in frame units and gives them to the multiplier 9. The multiplier 9 multiplies the selected image signal of any of R, G, and B by a predetermined numerical value and gives it to the subtractor 10. The subtractor 10 subtracts the signal from the multiplier 9 from the white image W given by the white image former 7.

形成される画像は、純粋な白色に対して補色系の淡色となる。Rを減じたものは明るいシアンでA(Aqua)、Gを減じたものは明るいマゼンタでV(Violet)、Bを減じたものは明るい黄色でE(Lemon)と呼ぶ。なお、Lemonは、LimeまたはLight GreenをLとしたので、区別するために2文字目のEとした。これらは、R,G,B,WやY,M,C,Kと別アルファベットとなるように、本実施形態において決めたものであるが、色名としても存在する。 The image formed is a complementary light color to pure white. The one with R reduced is called A (Aqua) with bright cyan, the one with G reduced is called V (Violet) with bright magenta, and the one with B reduced is called E (Lemon) with bright yellow. In Lemon, Lime or Light Green was L, so the second letter E was used to distinguish them. These are determined in the present embodiment so as to have different alphabets from R, G, B, W and Y, M, C, K, but they also exist as color names.

つまり、本実施形態では、3種類の原色画像を、第1の原色画像(R)の加算比率がその余の原色画像(G、B)のそれより低くなるように加重加算することによって第1の淡色画像(補色系淡色画像A)を生成し、また、3種類の原色画像を、第2の原色画像(G)の加算比率がその余の原色画像(R、B)のそれより低くなるように加重加算することによって第2の淡色画像(補色系淡色画像V)を生成し、さらに、3種類の原色画像を、第3の原色画像(B)の加算比率がその余の原色画像(R、G)のそれより低くなるように加重加算することによって第3の淡色画像(補色系淡色画像E)を生成する。 That is, in the present embodiment, the three types of primary color images are weighted and added so that the addition ratio of the first primary color image (R) is lower than that of the remaining primary color images (G, B). (Complementary color light color image A) is generated, and the addition ratio of the second primary color image (G) is lower than that of the remaining primary color images (R, B) of the three types of primary color images. A second light-colored image (complementary-colored light-colored image V) is generated by weighting and adding, and three types of primary-colored images are further added to the third primary-colored image (B) with the addition ratio of the remaining primary-colored images ( A third light-colored image (complementary-colored light-colored image E) is generated by weighting and adding so as to be lower than that of R and G).

以上の処理を式で表す。まず、白色Wは次式で示される。 The above processing is expressed by an expression. First, white W is expressed by the following equation.

加算比率を減じる割合をc(0〜1.0)とすると、淡色画像信号A, V, Eは、次式で与えられる。 Assuming that the ratio of subtracting the addition ratio is c (0 to 1.0), the light-colored image signals A, V, and E are given by the following equations.

信号振幅を正規化したものは、行列により次のように表される。 The normalized signal amplitude is represented by a matrix as follows.

c=0.5の場合は次式になる。 When c = 0.5, the following equation is obtained.

減じる割合を増やしてc=2/3とすると次式になる。 If the rate of subtraction is increased and c = 2/3, the following equation is obtained.

さらに増やしてc=0.75とすると次式になる。 If we increase it further and set c = 0.75, we get the following equation.

なお、c=1.0の場合は、1色が完全に無くなるので、純粋な補色(C,M,Y)になる。 When c = 1.0, one color disappears completely, so that it becomes a pure complementary color (C, M, Y).

上述したように、本実施形態では、3種類の原色画像を、第1の原色画像(R)の加算比率がその余の原色画像(G、B)のそれより低くなるように加重加算して、第1の淡色画像(補色系淡色画像A)を生成し、また、3種類の原色画像を、第2の原色画像(G)の加算比率がその余の原色画像(R、B)のそれより低くなるように加重加算して、第2の淡色画像(補色系淡色画像V)を生成し、さらに、3種類の原色画像を、第3の原色画像(B)の加算比率がその余の原色画像(R、G)のそれより低くなるように加重加算して、第3の淡色画像(補色系淡色画像E)を生成する。 As described above, in the present embodiment, the three types of primary color images are weighted and added so that the addition ratio of the first primary color image (R) is lower than that of the remaining primary color images (G, B). , A first light color image (complementary light color image A) is generated, and three types of primary color images are added to those of the other primary color images (R, B) with the addition ratio of the second primary color image (G). A second light color image (complementary color light color image V) is generated by weighting and adding so as to be lower, and three types of primary color images are further added with the addition ratio of the third primary color image (B) remaining. A third light color image (complementary light color image E) is generated by weighting and adding so as to be lower than that of the primary color images (R, G).

この様にして得られた補色系淡色のフレームシーケンシャル(FS)画像は、図2に表されるような画像信号(淡色画像信号A, V, E)となり、FS画像符号化器11に与えられる。FS画像符号化器11は、伝送路に合わせてFS画像信号を符号化するもので、最も簡単な場合は同期形成やパリティ追加のみを行う。フレーム単位の圧縮は、JPEGやAVCイントラなど、通常の符号化の単色(4:0:0)モードが使える。 The complementary light-colored frame sequential (FS) image obtained in this manner becomes an image signal (light-colored image signals A, V, E) as shown in FIG. 2, and is given to the FS image encoder 11. .. The FS image encoder 11 encodes an FS image signal according to a transmission line, and in the simplest case, only synchronous formation and parity addition are performed. For frame-by-frame compression, you can use normal encoding monochromatic (4: 0: 0) modes such as JPEG and AVC intra.

高圧縮する場合は、FS画像専用の動き補償フレーム間予測符号化を行う必要がある。その際、異色プレーン間の予測信号形成方法が、原色(R,G,B)の場合と異なる。また、成分の多くが共通であるので、色プレーン間の画像間相関が高くなり、異色間の動き推定処理が行いやすくなる。得られた淡色のフレームシーケンシャル動画像の情報は、FS画像情報出力12より出力され、各種伝送路を通して伝送される。 In the case of high compression, it is necessary to perform motion compensation inter-frame prediction coding dedicated to the FS image. At that time, the method of forming the prediction signal between the different color planes is different from the case of the primary colors (R, G, B). Further, since many of the components are common, the correlation between images between the color planes becomes high, and the motion estimation processing between different colors becomes easy. The obtained light-colored frame sequential moving image information is output from the FS image information output 12 and transmitted through various transmission lines.

<第2の実施形態>
本発明の第2の実施形態であるカラー動画像伝送装置について説明する。図3は、本実施形態のカラー動画像伝送装置の構成を示したもので、図1の第1の実施形態と同一構成要素には同一付番を記してある。図3には、図1と比較して、白色画像形成器7、乗算器9の代わりにマトリックス21がある。また、フレーム選択器22は淡色画像に対してのものになるので、図1のフレーム選択器8と処理bit数などが若干異なる。
<Second embodiment>
A color moving image transmission device according to a second embodiment of the present invention will be described. FIG. 3 shows the configuration of the color moving image transmission device of the present embodiment, and the same components as those of the first embodiment of FIG. 1 are designated by the same number. FIG. 3 has a matrix 21 instead of the white image former 7 and the multiplier 9 as compared to FIG. Further, since the frame selector 22 is for a light-colored image, the number of processing bits and the like are slightly different from those of the frame selector 8 of FIG.

第2の実施形態において、第1の実施形態と異なるのは淡色プレーンの形成方法で、R画像入力1、G画像入力2、B画像入力3、R画像バッファ4、G画像バッファ5、B画像バッファ6は、基本的に第1の実施形態と同じである。 In the second embodiment, the method of forming the light color plane is different from that of the first embodiment, that is, R image input 1, G image input 2, B image input 3, R image buffer 4, G image buffer 5, and B image. The buffer 6 is basically the same as in the first embodiment.

図3で、マトリックス21は、同一画素の全色プレーンの画素値を同時に受け取り、R,G,B(原色)の3値を行列演算で加重加算してA,V,Eの3値を得る。また、R,G,Bを加重加算して、白色Wでなく輝度Yに近づけることも考えられる。これもマトリックスの係数値を変更することで実現できる。1.2倍された近似輝度成分Y'を次式とする。 In FIG. 3, the matrix 21 simultaneously receives the pixel values of all color planes of the same pixel, and the three values of R, G, and B (primary colors) are weighted and added by matrix calculation to obtain the three values of A, V, and E. .. It is also conceivable that R, G, and B are weighted and added to bring the brightness Y closer to the brightness Y instead of the white W. This can also be realized by changing the coefficient value of the matrix. Let the approximate luminance component Y'multiplied by 1.2 be the following equation.

Y'から0.2倍されたR,G,Bを減算すると、次式になる。 Subtracting R, G, B multiplied by 0.2 from Y'will give the following equation.

また、Vは輝度Yに近いので、Yそのものにしてしまうと、次式になる。 Moreover, since V is close to the brightness Y, if Y itself is used, the following equation is obtained.

上述したように、本実施形態では、3種類の原色画像を、第1の原色画像(R)の加算比率が輝度成分における第1の原色(R)の比率より低くなるように加重加算して、第1の淡色画像(補色系淡色画像A)を生成し、また、3種類の原色画像を、第2の原色画像(G)の加算比率が輝度成分における第2の原色(G)の比率より低くなるように加重加算して、第2の淡色画像(補色系淡色画像V)を生成し、さらに、3種類の原色画像を、第3の原色画像(B)の加算比率が輝度成分における第3の原色(B)の比率より低くなるように加重加算して、第3の淡色画像(補色系淡色画像E)を生成する。 As described above, in the present embodiment, the three types of primary color images are weighted and added so that the addition ratio of the first primary color image (R) is lower than the ratio of the first primary color (R) in the brightness component. , A first light color image (complementary light color image A) is generated, and the addition ratio of the second primary color image (G) is the ratio of the second primary color (G) to the brightness component of the three types of primary color images. A second light color image (complementary color light color image V) is generated by weighting so as to be lower, and three types of primary color images are further added, and the addition ratio of the third primary color image (B) is the brightness component. A third light color image (complementary color light color image E) is generated by weighting and adding so as to be lower than the ratio of the third primary color (B).

フレーム選択器22は、フレーム単位でマトリックスの出力であるA画像、V(Y)画像、E画像を選択する。この様にして得られた淡色のフレームシーケンシャル画像信号の様子を図5に示す。 The frame selector 22 selects the A image, the V (Y) image, and the E image, which are the outputs of the matrix, in frame units. FIG. 5 shows the state of the light-colored frame sequential image signal obtained in this manner.

FS画像符号化器11は、フレーム単位の圧縮までは、第1の実施形態と同じである。動き補償フレーム間予測符号化では、異色プレーン間の予測信号形成方法を、マトリックスに合わせて変更する。 The FS image encoder 11 is the same as the first embodiment up to frame-by-frame compression. In motion compensation interframe prediction coding, the prediction signal formation method between different color planes is changed according to the matrix.

<第3の実施形態>
本発明の第3の実施形態であるカラー動画像受信装置について説明する。本実施形態のカラー動画像受信装置は、上述した第1または第2の実施形態のカラー動画像伝送装置から伝送される3種類の補色系淡色画像(A、V、E)を3種類の原色画像(R、G、B)に変換する装置であって、上述したカラー動画像伝送装置とこれから説明するカラー動画像受信装置の組み合わせは、本発明のカラー動画像送受信システムとして観念される。
<Third embodiment>
A color moving image receiving device according to a third embodiment of the present invention will be described. The color moving image receiving device of the present embodiment has three types of complementary light color images (A, V, E) transmitted from the color moving image transmitting device of the first or second embodiment described above as three primary colors. A device that converts an image (R, G, B), and the combination of the color moving image transmitting device described above and the color moving image receiving device described below is conceived as the color moving image transmitting / receiving system of the present invention.

図4は、本実施形態のカラー動画像受信装置の構成を示したものである。図4で、FS画像入力31から入来する淡色のフレームシーケンシャルカラー画像(A、V、E)は、1色プレーンが新画像メモリ32に1フレーム分蓄積される。同時に、それまで新画像メモリに蓄えられていた1フレーム前の色プレーンが現画像メモリ33に移動する。さらに、それまで現画像メモリに蓄えられていた2フレーム前の色プレーンが旧画像メモリ34に移動する。これにより、連続した3フレームの3種類の色プレーンが各メモリに揃う。各メモリからは、各色プレーンの画像信号が、受け取り側の要求に応じたタイミングで出力される。 FIG. 4 shows the configuration of the color moving image receiving device of the present embodiment. In FIG. 4, in the light-colored frame sequential color images (A, V, E) coming in from the FS image input 31, one color plane is stored in the new image memory 32 for one frame. At the same time, the color plane one frame before, which has been stored in the new image memory until then, moves to the current image memory 33. Further, the color plane two frames before, which has been stored in the current image memory until then, is moved to the old image memory 34. As a result, three types of color planes of three consecutive frames are aligned in each memory. From each memory, the image signal of each color plane is output at the timing according to the request of the receiving side.

<フレーム間処理>
動き補償フレーム間補間と、そのための動き推定処理について説明する。ここでのフレームと色プレーンの関係は、図5に示される。片方向のフレームのみを使う図中(a)の隣接補間では、既存画像がAである4フレームの欠損色Eが前の3フレームから、欠損色Vが後の5フレームから補間される。図4は、この処理でのものであるが、オクルージョン等の複雑な画像変化に対応するためには、両方向のフレームを使って図中(b)の内挿補間を行なう。この場合、既存画像がEである12フレームの欠損色Vが前の11フレームと後の14フレームから内挿補間される。そして、欠損色Aが前の10フレームと後の13フレームから内挿補間される。内挿補間における2画像の混合比は、画像相関によって変えられる。
<Inter-frame processing>
Motion compensation interpolation between frames and motion estimation processing for that purpose will be described. The relationship between the frame and the color plane here is shown in FIG. In the adjacent interpolation of the figure (a) using only one-way frames, the missing color E of the four frames in which the existing image is A is interpolated from the previous three frames, and the missing color V is interpolated from the latter five frames. FIG. 4 shows this process, but in order to deal with complicated image changes such as occlusion, interpolation interpolation in (b) in the figure is performed using frames in both directions. In this case, the missing color V of 12 frames in which the existing image is E is interpolated from the previous 11 frames and the subsequent 14 frames. Then, the missing color A is interpolated from the front 10 frames and the rear 13 frames. The mixing ratio of two images in interpolation interpolation is changed by image correlation.

図4において、後動き推定器35は、現画像メモリ33に蓄えられている被補間フレーム(現フレーム)の画像に対して、新画像メモリに蓄えられている画像の動きベクトルを求める。前動き推定器36は、現画像メモリ33に蓄えられている現フレーム画像に対して、旧画像メモリに蓄えられている画像の動きベクトルを求める。後動き推定器35で求められた動きベクトルは、後動き補償器37に与えられる。前動き推定器36で求められた動きベクトルは、前動き補償器38に与えられる。この動き推定は異色間処理であるが、色成分の多くがフレーム間で共通であり、画像間相関が高いので適正な動きベクトルが求められる。 In FIG. 4, the back motion estimator 35 obtains the motion vector of the image stored in the new image memory with respect to the image of the interpolated frame (current frame) stored in the current image memory 33. The forward motion estimator 36 obtains the motion vector of the image stored in the old image memory with respect to the current frame image stored in the current image memory 33. The motion vector obtained by the back motion estimator 35 is given to the back motion compensator 37. The motion vector obtained by the forward motion estimator 36 is given to the forward motion compensator 38. This motion estimation is intercolor processing, but since most of the color components are common between frames and the correlation between images is high, an appropriate motion vector is required.

後動き補償器37は、新画像メモリ32に蓄えられている画像を動き補償し、得られた第1の補間画像を減算器39に与える。前動き補償器38は、旧画像メモリ34に蓄えられている画像を動き補償し、得られた第2の補間画像を減算器40に与える。具体的な色は、フレームにより順次変化するが、現フレームがVのときは、第1の補間画像がE、第2補間画像がAとなる。これにより、欠損色プレーンが得られ、この段階で既存色プレーンを含めて3種類の色プレーンが揃う。ただし、動き補償により完全な補間はできないので、続けてフレーム内処理を行う。 The back motion compensator 37 motion compensates the image stored in the new image memory 32, and gives the obtained first interpolated image to the subtractor 39. The forward motion compensator 38 motion compensates the image stored in the old image memory 34, and gives the obtained second interpolated image to the subtractor 40. The specific color changes sequentially depending on the frame, but when the current frame is V, the first interpolated image is E and the second interpolated image is A. As a result, a missing color plane is obtained, and at this stage, three types of color planes including the existing color plane are prepared. However, since complete interpolation cannot be performed due to motion compensation, in-frame processing is continuously performed.

<フレーム内処理>
フレーム内処理は、色間の予測処理に他ならない。各色プレーンは、色の付いた部分では、異なった値となるが、色の変化は輝度(白色成分)の変化ほど激しくない。つまり空間変化についての相関はかなり高い。一方、動き補償フレーム間補間で再構成された欠損画像は、大局的には正しいが動き補償の性能限界により、若干のずれや歪を生じる。そこで、本実施形態では、同フレーム内の色間の残差を得て、それの孤立点ノイズ(孤立的な変化成分)を除去することで、ずれや歪を減らす。
<In-frame processing>
In-frame processing is nothing but prediction processing between colors. Each color plane has a different value in the colored part, but the change in color is not as drastic as the change in brightness (white component). In other words, the correlation for spatial changes is quite high. On the other hand, the missing image reconstructed by motion compensation frame-to-frame interpolation is generally correct, but due to the performance limit of motion compensation, slight deviation and distortion occur. Therefore, in the present embodiment, deviation and distortion are reduced by obtaining a residual between colors in the same frame and removing isolated point noise (isolated changing component) of the residual.

減算器39では、ある色プレーンの補間画像から、それとは異なった色プレーンの既存画像を減算し、第1の差分画像を得て、これに空間フィルタ41を作用させる。減算器40では、さらに異なった色プレーンの補間画像から既存画像を減算し、第2の差分画像を得て、空間フィルタ42を作用させる。具体的には、現フレームがVのときは、第1の差分画像がE−V、第2の差分画像がA−Vとなる。 The subtractor 39 subtracts an existing image of a color plane different from the interpolated image of a certain color plane to obtain a first difference image, and causes the spatial filter 41 to act on the first difference image. In the subtractor 40, the existing image is subtracted from the interpolated image of a different color plane to obtain a second difference image, and the spatial filter 42 is operated. Specifically, when the current frame is V, the first difference image is EV and the second difference image is AV.

空間フィルタ41と42は、基本的に同様な処理動作で対象信号のみが異なる。具体的な処理は、孤立成分除去に効果的なメディアン(中間値)フィルタ等とする。参照画素数は、周辺3×3画素では効果が低いので、5×5画素程度とする。これにより、動き補償で生じやすいエッジのずれなどは、大幅に軽減される。ここで、本実施形態では、空間フィルタ(41,42)の強度は、動き推定器(35,36)で得た動きベクトルでのマッチング誤差の量に応じて適応的に制御される。具体的には、マッチング誤差が少ないほど、空間フィルタの強度を弱くし、マッチング誤差が多いほど、空間フィルタの強度を強くする。 The spatial filters 41 and 42 basically have the same processing operation and differ only in the target signal. The specific treatment is a median (intermediate value) filter or the like that is effective in removing isolated components. The number of reference pixels is set to about 5 × 5 pixels because the effect is low in the peripheral 3 × 3 pixels. As a result, edge deviations that are likely to occur in motion compensation are greatly reduced. Here, in the present embodiment, the intensity of the spatial filter (41, 42) is adaptively controlled according to the amount of matching error in the motion vector obtained by the motion estimator (35, 36). Specifically, the smaller the matching error, the weaker the strength of the spatial filter, and the larger the matching error, the stronger the strength of the spatial filter.

<空間フィルタ処理>
この場合の空間フィルタの構成を図6に示す。減算器(39,40)から入力信号端子51を通して入来した信号は、5×5画素メディアンフィルタ53、3×3画素メディアンフィルタ54、乗算器60に与えられる。5×5画素メディアンフィルタ53は、対象画素を含めた周辺5×5の25画素の中間値を乗算器55へ、3×3画素メディアンフィルタ54は、周辺3×3の9画素の中間値を乗算器56に与える。
<Spatial filtering>
The configuration of the spatial filter in this case is shown in FIG. The signal input from the subtractor (39,40) through the input signal terminal 51 is given to the 5 × 5 pixel median filter 53, the 3 × 3 pixel median filter 54, and the multiplier 60. The 5 × 5 pixel median filter 53 transfers the intermediate value of 25 pixels of peripheral 5 × 5 including the target pixel to the multiplier 55, and the 3 × 3 pixel median filter 54 transfers the intermediate value of 9 pixels of peripheral 3 × 3 to the multiplier 55. Give to the multiplier 56.

乗算器55はα(0〜1)を乗じて加算器57へ、乗算器56は(1-α)を乗じて加算器57に出力する。加算器57は両値を加算し、乗算器59へ与える。乗算器59はβ(0〜1)を乗じて加算器61へ、乗算器60は(1-β)を乗じて加算器61に出力する。加算器61は両値を加算し、得られた最終結果が信号出力62より出力される。α、βの値は、フィルタ強度制御器58から与えられる。 The multiplier 55 multiplies α (0 to 1) and outputs it to the adder 57, and the multiplier 56 multiplies it by (1-α) and outputs it to the adder 57. The adder 57 adds both values and gives them to the multiplier 59. The multiplier 59 multiplies β (0 to 1) and outputs it to the adder 61, and the multiplier 60 multiplies it by (1-β) and outputs it to the adder 61. The adder 61 adds both values, and the final result obtained is output from the signal output 62. The values of α and β are given by the filter intensity controller 58.

フィルタ強度制御器58は、動き推定器(35,36)から誤差量入力端子52を通して入来する各動き補償ブロックのマッチング誤差量により、制限範囲(0〜1.0)でαとβの値は変化させ、各乗算器に与える。αとβの値は、誤差量に比例して増加させる。この処理はノイズ軽減効果もあり、処理をしてもエッジは保持されるので、完全にフィルタリング無しとする必要性は低い。つまり、βの最低値は0.5程度としても良い。 In the filter strength controller 58, the values of α and β change within the limit range (0 to 1.0) depending on the matching error amount of each motion compensation block input from the motion estimator (35, 36) through the error amount input terminal 52. And give to each multiplier. The values of α and β are increased in proportion to the amount of error. This process also has a noise reduction effect, and the edges are retained even after the process, so there is little need to completely eliminate filtering. That is, the minimum value of β may be about 0.5.

空間フィルタ41で補正された第1の差分画像は、加算器43に与えられる。空間フィルタ42で補正された第2の差分画像は、加算器44に与えられる。加算器43と加算器44は、それぞれの補正された差分画像と現フレームの既存色プレーン画像を加算し、得られたそれぞれの補正済み補間画像を逆マトリックス45に与える。 The first difference image corrected by the spatial filter 41 is given to the adder 43. The second difference image corrected by the spatial filter 42 is given to the adder 44. The adder 43 and the adder 44 add the corrected difference image and the existing color plane image of the current frame, and give each of the obtained corrected interpolated images to the inverse matrix 45.

前述のように、補間画像と既存画像の差分画像に対して、孤立点ノイズに対してフィルタが作用する。補間画像と既存画像は、本質的に白色成分は共通であるので、その差分画像は、色差成分となる。動き補償が適正に機能すると、色差成分は本来の色変化のみで、色変化自体は緩やかであるので、差分信号の変化も緩やかである。一方、補間画像にずれがあると、そのずれが差分信号に強く現れる。この成分は、本来の色変化とは無関係に孤立して現れるので、これを除去することで、動き補償で生じた色差のエラーを大幅に抑圧できる。 As described above, the filter acts on the isolated point noise on the difference image between the interpolated image and the existing image. Since the interpolated image and the existing image have essentially the same white component, the difference image becomes a color difference component. When the motion compensation functions properly, the color difference component is only the original color change, and the color change itself is gradual, so that the change of the difference signal is also gradual. On the other hand, if there is a deviation in the interpolated image, the deviation appears strongly in the difference signal. Since this component appears in isolation regardless of the original color change, it is possible to significantly suppress the color difference error caused by motion compensation by removing it.

<逆変換>
逆マトリックス45は、両方の補間画像と共に既存画像も得て、R,G,B画像へと変換する。なお、具体的な色は、フレームにより順次変化するので、入力される色の関係に応じてマトリックスを切り替える必要がある。
<Inverse conversion>
The inverse matrix 45 obtains an existing image together with both interpolated images and converts them into R, G, B images. Since the specific color changes sequentially depending on the frame, it is necessary to switch the matrix according to the relationship of the input colors.

逆マトリックス45は、A,V,EからR,G,Bへのマトリックス変換が行われる。これはR,G,BからA,V,Eへの変換の逆変換であり、(5)式に対応するものは次式で表される。 The inverse matrix 45 undergoes matrix conversion from A, V, E to R, G, B. This is the inverse conversion of the conversion from R, G, B to A, V, E, and the one corresponding to Eq. (5) is expressed by the following equation.

c=0.5とした(6)式に対応する逆変換は、次式になる。 The inverse transformation corresponding to equation (6) with c = 0.5 is as follows.

c=2/3とした(7)式に対応する逆変換は、次式になる。 The inverse transformation corresponding to equation (7) with c = 2/3 is as follows.

c=0.75とした(8)式に対応する逆変換は、次式になる。 The inverse transformation corresponding to equation (8) with c = 0.75 is as follows.

本実施形態の信号は、白色成分と色差成分を重畳して伝送している。従って、各成分はそれぞれを独立に伝送したのと比較して、レベル(振幅)が下げられている。その程度とcの関係は、白色成分Wについては、次式に示すように、cによって変わらず、原色に等しい。 The signal of the present embodiment is transmitted by superimposing a white component and a color difference component. Therefore, the level (amplitude) of each component is lowered as compared with the case where each component is transmitted independently. The relationship between the degree and c does not change with c for the white component W, as shown in the following equation, and is equal to the primary color.

また、色差成分は、R-Gを例にすると、次式に示すように、逆変換において差分値は(3-c)/c倍される。 As for the color difference component, taking R-G as an example, the difference value is multiplied by (3-c) / c in the inverse conversion as shown in the following equation.

具体的には、c=0.5で5倍、c=2/3で7/2倍、c=0.75で3倍、c=1.0で2倍され、伝送で生じる誤差の影響が出やすくなる。しかし、色差成分誤差に対する視感度は、輝度成分誤差に対する視感度よりかなり低いので、cが1に近い場合の画質は、そのままでも視覚特性に適合する。また、高い空間周波数に対する色感度は、色差成分に関して大幅に低いので、色差成分にノイズ軽減処理を適用することを前提にすると、c < 0.75も可能になる。c <0.5は、倍率が5より大きくなるので、色差ノイズが目立ち易くなり、現実的でない。 Specifically, c = 0.5 is 5 times, c = 2/3 is 7/2 times, c = 0.75 is 3 times, and c = 1.0 is 2 times, and the influence of errors caused by transmission is likely to appear. However, since the luminosity factor for the color difference component error is considerably lower than the luminosity factor for the luminance component error, the image quality when c is close to 1 matches the visual characteristics as it is. Moreover, since the color sensitivity to a high spatial frequency is significantly low with respect to the color difference component, c <0.75 is also possible on the premise that noise reduction processing is applied to the color difference component. When c <0.5, the magnification is larger than 5, so the color difference noise becomes noticeable, which is not realistic.

第2の実施形態において、輝度に近づけた(9)式の逆変換は、次式になる。 In the second embodiment, the inverse transformation of Eq. (9) approaching the brightness is given by the following equation.

VをYにした(10)式の逆変換は、次式になる。 The inverse transformation of Eq. (10) with V as Y is as follows.

<従来方式との比較>
本実施形態は、白色(輝度)成分を全フレーム送るので、原色(R,G,B)のフレームシーケンシャルと言うより、むしろ輝度に色差情報を重畳するコンポジット信号に近いと言える。しかし、コンポジット信号のような空間周波数での処理は無いので、空間解像度の低下は無い。原色(R,G,B)のフレームシーケンシャルに対しては、長所はそのままで、問題点を解決している。
<Comparison with the conventional method>
In this embodiment, since the white (luminance) component is sent in all frames, it can be said that it is closer to a composite signal in which color difference information is superimposed on the luminance rather than the frame sequential of the primary colors (R, G, B). However, since there is no processing at a spatial frequency unlike a composite signal, there is no decrease in spatial resolution. For the frame sequential of the primary colors (R, G, B), the advantages remain the same and the problems are solved.

コンポジット信号(NTSC)、コンポーネント信号(4:2:0)、原色フレームシーケンシャル、本実施形態の淡色フレームシーケンシャルの特性を比較して表1に示す。表で、(伝送)チャンネル数は、プレーン数と同様である。カラー周期は、動画像を編集しようとした場合、位相を保たなければならないもので、NTSCは2フレーム(インターレースなので4フィールド)である。相対サンプル数は、一色のみを1.0とした相対値である。解像度や動き補償に関する特性は上述のとおりである。 Table 1 compares the characteristics of the composite signal (NTSC), the component signal (4: 2: 0), the primary color frame sequential, and the light color frame sequential of the present embodiment. In the table, the number of (transmission) channels is similar to the number of planes. The color period must maintain the phase when trying to edit a moving image, and NTSC has 2 frames (4 fields because it is interlaced). The relative number of samples is a relative value with only one color as 1.0. The characteristics related to resolution and motion compensation are as described above.

以上、説明したように、本発明は、3種類の原色画像から、第1の原色画像の割合を低くした淡色画像と第2の原色画像の割合を低くした淡色画像と第3の原色画像の割合を低くした淡色画像を得て、それらのうちのひとつを、フレーム単位で順次選択してフレーム順次で送る。従って、動き補償フレーム間予測符号化や欠損色プレーンの動き補償フレーム間補間のための動き推定において、画像内容の彩度が高い場合でも、その画像信号に含まれる成分の多くは各色共通であり、画像間相関が高いので動き推定が容易になる。得られた画像信号は、輝度または白色成分のノイズが少なく、動き補償画像間符号化で伝送する場合、符号化効率が改善される。 As described above, the present invention includes a light color image in which the ratio of the first primary color image is low, a light color image in which the ratio of the second primary color image is low, and a third primary color image out of three types of primary color images. Light-colored images with a low proportion are obtained, and one of them is sequentially selected in frame units and sent in frame order. Therefore, in motion estimation for motion compensation interframe prediction coding and motion compensation interpolation of missing color planes, many of the components contained in the image signal are common to each color even if the image content is highly saturated. Since the correlation between images is high, motion estimation becomes easy. The obtained image signal has less noise of the luminance or white component, and the coding efficiency is improved when the motion-compensated image-to-image coding is transmitted.

一方、色差成分はレベルが下げられ多重化されて伝送される形になるので、そのままでは色差の誤差が増加するが、受信において色差に対する孤立成分の除去が効果的に行なわれ、主観画質に適合した良好な画質の再生が可能になる。 On the other hand, since the level of the color difference component is lowered and multiplexed and transmitted, the error of the color difference increases as it is, but the isolated component for the color difference is effectively removed in reception, which is suitable for the subjective image quality. Good image quality can be reproduced.

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうるその他の実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 Although the present invention has been described above with embodiments, the present invention is not limited to the above-described embodiments, and the actions and effects of the present invention can be exhibited within the scope of other embodiments that can be conceived by those skilled in the art. As long as it works, it is included in the scope of the present invention.

1…R画像入力、2…G画像入力、3…B画像入力、4…R画像バッファ、5…G画像バッファ、6…B画像バッファ、7…白色画像形成器、8,22…フレーム選択器、9,55,56,59,60…乗算器、10…減算器、11…FS画像符号化器、12…FS画像情報出力、21…マトリックス、31…FS画像入力、32…新画像メモリ、33…現画像メモリ、34…旧画像メモリ、35…後動き推定器、36…前動き推定器、37…後動き補償器、38…前動き補償器、39,40…減算器、41,42…空間フィルタ、43,44,57,61…加算器、45…逆マトリックス、51…入力信号端子、52…誤差量入力端子、53…5×5画素メディアンフィルタ、54…3×3画素メディアンフィルタ、58…フィルタ強度制御器、62…信号出力 1 ... R image input, 2 ... G image input, 3 ... B image input, 4 ... R image buffer, 5 ... G image buffer, 6 ... B image buffer, 7 ... White image former, 8, 22 ... Frame selector , 9, 55, 56, 59, 60 ... Multiplier, 10 ... Subtractor, 11 ... FS image encoder, 12 ... FS image information output, 21 ... Matrix, 31 ... FS image input, 32 ... New image memory, 33 ... current image memory, 34 ... old image memory, 35 ... backward motion estimator, 36 ... forward motion estimator, 37 ... backward motion compensator, 38 ... forward motion compensator, 39, 40 ... subtractor, 41, 42 ... Spatial filter, 43, 44, 57, 61 ... Adder, 45 ... Inverse matrix, 51 ... Input signal terminal, 52 ... Error amount input terminal, 53 ... 5 x 5 pixel median filter, 54 ... 3 x 3 pixel median filter , 58 ... Filter strength controller, 62 ... Signal output

Claims (8)

カラー動画像を伝送する装置であって、
第1の原色画像と第2の原色画像と第3の原色画像をフレーム単位で順次取得する手段と、
取得した3種類の原色画像を、第1の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第1の淡色画像を生成する手段と、
取得した3種類の原色画像を、第2の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第2の淡色画像を生成する手段と、
取得した3種類の原色画像を、第3の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第3の淡色画像を生成する手段と、
生成した前記第1の淡色画像と前記第2の淡色画像と前記第3の淡色画像をフレーム単位で順次送信する手段と、
を含むカラー動画像伝送装置。
A device that transmits color moving images
A means for sequentially acquiring the first primary color image, the second primary color image, and the third primary color image in frame units, and
A means for generating a first light-colored image by weight-adding the acquired three types of primary color images so that the addition ratio of the first primary color image is lower than that of the remaining primary color images.
A means for generating a second light-colored image by weight-adding the acquired three types of primary color images so that the addition ratio of the second primary color image is lower than that of the remaining primary color images.
A means for generating a third light-colored image by weight-adding the acquired three types of primary color images so that the addition ratio of the third primary color image is lower than that of the remaining primary color images.
A means for sequentially transmitting the generated first light-color image, the second light-color image, and the third light-color image in frame units, and
Color video transmission equipment including.
カラー動画像を伝送する装置であって、
第1の原色画像と第2の原色画像と第3の原色画像をフレーム単位で順次取得する手段と、
取得した3種類の原色画像を、第1の原色画像の加算比率が第1の淡色画像の輝度成分における第1の原色の比率より低くなるように加重加算して、第1の淡色画像を生成する手段と、
取得した3種類の原色画像を、第2の原色画像の加算比率が第2の淡色画像の輝度成分における第2の原色の比率より低くなるように加重加算して、第2の淡色画像を生成する手段と、
取得した3種類の原色画像を、第3の原色画像の加算比率が第3の淡色画像の輝度成分における第3の原色の比率より低くなるように加重加算して、第3の淡色画像を生成する手段と、
生成した前記第1の淡色画像と前記第2の淡色画像と前記第3の淡色画像をフレーム単位で順次送信する手段と、
を含むカラー動画像伝送装置。
A device that transmits color moving images
A means for sequentially acquiring the first primary color image, the second primary color image, and the third primary color image in frame units, and
The acquired three types of primary color images are weighted and added so that the addition ratio of the first primary color image is lower than the ratio of the first primary color in the luminance component of the first light color image to generate the first light color image. Means to do and
The acquired three types of primary color images are weighted and added so that the addition ratio of the second primary color image is lower than the ratio of the second primary color in the luminance component of the second light color image to generate the second light color image. Means to do and
The acquired three types of primary color images are weighted and added so that the addition ratio of the third primary color image is lower than the ratio of the third primary color in the luminance component of the third light color image to generate the third light color image. Means to do and
A means for sequentially transmitting the generated first light-color image, the second light-color image, and the third light-color image in frame units, and
Color video transmission equipment including.
カラー動画像を受信する装置であって、
請求項1または2に記載の前記第1の淡色画像と前記第2の淡色画像と前記第3の淡色画像をフレーム単位で順次受信する手段と、
1種類の前記淡色画像のみを受信した現フレームにおいて、当該フレームに前後するフレームのその余の2種類の前記淡色画像を用いて当該2種類の前記淡色画像の補間画像を動き補償により取得する手段と、
取得した2種類の前記補間画像のれぞれから前記現フレームで受信した前記淡色画像を減算して2種類の差分画像を取得する手段と、
取得した2種類の前記差分画像のれぞれに空間フィルタを作用させて孤立点ノイズを除去した後に、該2種類の前記差分画像のれぞれに前記現フレームで受信した前記淡色画像を加算して、2種類の補正済み補間画像を取得する手段と、
前記現フレームで受信した前記淡色画像と取得した前記2種類の補正済み補間画像をマトリックス演算により第1の原色画像と第2の原色画像と第3の原色画像に変換する手段と、
を含むカラー動画像受信装置。
A device that receives color moving images
A means for sequentially receiving the first light-colored image, the second light-colored image, and the third light-colored image according to claim 1 or 2 in frame units.
Means for acquiring an interpolated image of the two types of the light-colored image by motion compensation using the other two types of the light-colored image of the frame before and after the frame in the current frame in which only one type of the light-colored image is received. When,
Means for obtaining two types of differential image the light color image received by the current frame from, respectively Re its the obtained two types of the interpolation image is subtracted,
After removing the isolated point noise by applying the spatial filter to the acquired two types of the difference image of their respective, the light color image received by the current frame to the two types of the difference image of their respective To obtain two types of corrected interpolated images by adding
A means for converting the light-color image received in the current frame and the acquired two types of corrected interpolated images into a first primary color image, a second primary color image, and a third primary color image by matrix calculation.
Color video receiver including.
前記動き補償に係る動きベクトルのマッチング誤差の量に応じて、前記空間フィルタの強度を適応的に制御することを特徴とする、
請求項3に記載のカラー動画像受信装置。
It is characterized in that the intensity of the spatial filter is adaptively controlled according to the amount of matching error of the motion vector related to the motion compensation.
The color moving image receiving device according to claim 3.
請求項1または2に記載のカラー動画像伝送装置と、
請求項3または4に記載のカラー動画像受信装置と、
からなるカラー動画像送受信システム。
The color moving image transmission device according to claim 1 or 2,
The color moving image receiving device according to claim 3 or 4,
A color moving image transmission / reception system consisting of.
カラー動画像を伝送する方法であって、
第1の原色画像と第2の原色画像と第3の原色画像をフレーム単位で順次取得するステップと、
取得した3種類の原色画像を、第1の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第1の淡色画像を生成するステップと、
取得した3種類の原色画像を、第2の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第2の淡色画像を生成するステップと、
取得した3種類の原色画像を、第3の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第3の淡色画像を生成するステップと、
前記第1の淡色画像と前記第2の淡色画像と前記第3の淡色画像をフレーム単位で順次送信するステップと、
を含むカラー動画像伝送方法。
It is a method of transmitting color moving images.
A step of sequentially acquiring a first primary color image, a second primary color image, and a third primary color image in frame units, and
A step of generating a first light-colored image by weight-adding the acquired three types of primary color images so that the addition ratio of the first primary color image is lower than that of the remaining primary color images.
A step of generating a second light-colored image by weight-adding the acquired three types of primary color images so that the addition ratio of the second primary color image is lower than that of the remaining primary color images.
A step of generating a third light-colored image by weight-adding the acquired three types of primary color images so that the addition ratio of the third primary color image is lower than that of the remaining primary color images.
A step of sequentially transmitting the first light-color image, the second light-color image, and the third light-color image in frame units, and
Color video transmission methods including.
カラー動画像を伝送する方法であって、
第1の原色画像と第2の原色画像と第3の原色画像をフレーム単位で順次取得するステップと、
取得した3種類の原色画像を、第1の原色画像の加算比率が第1の淡色画像の輝度成分における第1の原色の比率より低くなるように加重加算して、第1の淡色画像を生成するステップと、
取得した3種類の原色画像を、第2の原色画像の加算比率が第2の淡色画像の輝度成分における第2の原色の比率より低くなるように加重加算して、第2の淡色画像を生成するステップと、
取得した3種類の原色画像を、第3の原色画像の加算比率が第3の淡色画像の輝度成分における第3の原色の比率より低くなるように加重加算して、第3の淡色画像を生成するステップと、
生成した前記第1の淡色画像と前記第2の淡色画像と前記第3の淡色画像をフレーム単位で順次送信するステップと、
を含むカラー動画像伝送方法。
It is a method of transmitting color moving images.
A step of sequentially acquiring a first primary color image, a second primary color image, and a third primary color image in frame units, and
The acquired three types of primary color images are weighted and added so that the addition ratio of the first primary color image is lower than the ratio of the first primary color in the luminance component of the first light color image to generate the first light color image. Steps to do and
The acquired three types of primary color images are weighted and added so that the addition ratio of the second primary color image is lower than the ratio of the second primary color in the luminance component of the second light color image to generate the second light color image. Steps to do and
The acquired three types of primary color images are weighted and added so that the addition ratio of the third primary color image is lower than the ratio of the third primary color in the luminance component of the third light color image to generate the third light color image. Steps to do and
A step of sequentially transmitting the generated first light-color image, the second light-color image, and the third light-color image in frame units, and
Color video transmission methods including.
カラー動画像を受信する方法であって、
請求項6または7に記載の前記第1の淡色画像と前記第2の淡色画像と前記第3の淡色画像をフレーム単位で順次受信するステップと、
1種類の前記淡色画像のみを受信した現フレームにおいて、当該フレームに前後するフレームのその余の2種類の前記淡色画像を用いて当該2種類の前記淡色画像の補間画像を動き補償により取得する手段と、
取得した2種類の前記補間画像のれぞれから前記現フレームで受信した前記淡色画像を減算して2種類の差分画像を取得するステップと、
取得した2種類の前記差分画像のれぞれに空間フィルタを作用させて孤立点ノイズを除去した後に、該2種類の前記差分画像のれぞれに前記現フレームで受信した前記淡色画像を加算して、2種類の補正済み補間画像を取得するステップと、
前記現フレームで受信した前記淡色画像と取得した前記2種類の補正済み補間画像をマトリックス演算により第1の原色画像と第2の原色画像と第3の原色画像に変換するステップと、
を含むカラー動画像受信方法。

It is a method of receiving color moving images.
A step of sequentially receiving the first light-colored image, the second light-colored image, and the third light-colored image according to claim 6 or 7 in frame units.
Means for acquiring an interpolated image of the two types of the light-colored image by motion compensation using the other two types of the light-colored image of the frame before and after the frame in the current frame in which only one type of the light-colored image is received. When,
Obtaining two types of difference images by subtracting the light color image received by the current frame from, respectively Re its the obtained two types of the interpolation image,
After removing the isolated point noise by applying the spatial filter to the acquired two types of the difference image of their respective, the light color image received by the current frame to the two types of the difference image of their respective And the step of acquiring two types of corrected interpolated images by adding
A step of converting the light color image received in the current frame and the acquired two types of corrected interpolated images into a first primary color image, a second primary color image, and a third primary color image by matrix calculation.
Color video receiving method including.

JP2017011133A 2017-01-25 2017-01-25 Color moving image transmission device, color moving image receiving device, color moving image transmission / reception system, color moving image transmission method and color moving image receiving method Active JP6786107B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017011133A JP6786107B2 (en) 2017-01-25 2017-01-25 Color moving image transmission device, color moving image receiving device, color moving image transmission / reception system, color moving image transmission method and color moving image receiving method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017011133A JP6786107B2 (en) 2017-01-25 2017-01-25 Color moving image transmission device, color moving image receiving device, color moving image transmission / reception system, color moving image transmission method and color moving image receiving method

Publications (2)

Publication Number Publication Date
JP2018121193A JP2018121193A (en) 2018-08-02
JP6786107B2 true JP6786107B2 (en) 2020-11-18

Family

ID=63044089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017011133A Active JP6786107B2 (en) 2017-01-25 2017-01-25 Color moving image transmission device, color moving image receiving device, color moving image transmission / reception system, color moving image transmission method and color moving image receiving method

Country Status (1)

Country Link
JP (1) JP6786107B2 (en)

Also Published As

Publication number Publication date
JP2018121193A (en) 2018-08-02

Similar Documents

Publication Publication Date Title
US6208382B1 (en) Color video processing system and method
JPS58117788A (en) Color television signal processing circuit
JPS62128683A (en) Picture signal converter
JPH0257081A (en) Television signal transmitter and television signal receiver
JPH08506699A (en) Device for combining and separating components of video signal
US5161006A (en) Method for separating chrominance and luminance components of a television signal
US7724305B2 (en) Video data conversion method and system for multiple receivers
JPH09233483A (en) Method and device for transmitting digital color video signal
CN110719484B (en) Image processing method
JP6786107B2 (en) Color moving image transmission device, color moving image receiving device, color moving image transmission / reception system, color moving image transmission method and color moving image receiving method
JPH04144391A (en) Encoding method and circuit for color television signal
JP5742049B2 (en) Color moving picture coding method and color moving picture coding apparatus
JPH0722400B2 (en) Motion compensation method
JP5742048B2 (en) Color moving image structure conversion method and color moving image structure conversion device
JP6713165B2 (en) Color moving image transmitting method, color moving image receiving method, color moving image processing device, and color moving image communication device
JP6099104B2 (en) Color moving image structure conversion method and color moving image structure conversion device
JPS6324596B2 (en)
JPS62274993A (en) Television signal processing system
KR100896498B1 (en) Image Processing System and Method thereof
JP2625693B2 (en) Transmission method of television signal
JPH04306997A (en) Yc separator circuit in common use for moving adaptive processing
Honma et al. All Colors Motion Estimation for the Frame Sequential Video with Pastel Color
JPH03179890A (en) Television receiver
JPS63313977A (en) Television signal transmission system
JPH05244625A (en) Video camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201021

R150 Certificate of patent or registration of utility model

Ref document number: 6786107

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250