JP6713165B2 - Color moving image transmitting method, color moving image receiving method, color moving image processing device, and color moving image communication device - Google Patents
Color moving image transmitting method, color moving image receiving method, color moving image processing device, and color moving image communication device Download PDFInfo
- Publication number
- JP6713165B2 JP6713165B2 JP2016062451A JP2016062451A JP6713165B2 JP 6713165 B2 JP6713165 B2 JP 6713165B2 JP 2016062451 A JP2016062451 A JP 2016062451A JP 2016062451 A JP2016062451 A JP 2016062451A JP 6713165 B2 JP6713165 B2 JP 6713165B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- primary color
- light
- images
- types
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000004891 communication Methods 0.000 title claims description 5
- 239000003086 colorant Substances 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007792 addition Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 2
- 235000011941 Tilia x europaea Nutrition 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004571 lime Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Landscapes
- Processing Of Color Television Signals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、カラー動画像伝送方法、カラー動画像受信方法、カラー動画像処理装置およびカラー動画像通信装置に関する。 The present invention relates to a color moving image transmitting method, a color moving image receiving method, a color moving image processing device, and a color moving image communication device.
＜カラー動画像フォーマット＞
動画像に限らずカラー画像信号は、赤(Red),緑(Green),青(Blue)の加法３原色により形成され、撮像や表示はこの形態で行われている。一方、伝送や記録のための形態は、輝度とふたつの色差により形成されるコンポーネントカラー信号が使われる。これらは３原色から所定の変換により得られ、さらに色差がサブサンプリングされる場合が多い。具体的には、サブサンプリングされない４：４：４、水平方向に２分の１にサブサンプリングされた４：２：２、水平と垂直の両方で２分の１にサブンサンプリングされた４：２：０がある。各動画像カラーフォーマットは、規格で詳細に定義されており、放送などで広く使われている。
<Color video format>
A color image signal, not limited to a moving image, is formed by the additive three primary colors of red (Red), green (Green), and blue (Blue), and imaging and display are performed in this form. On the other hand, a component color signal formed by luminance and two color differences is used as a form for transmission and recording. These are obtained from the three primary colors by a predetermined conversion, and the color difference is often subsampled. Specifically, it is not sub-sampled 4:4:4, is horizontally sub-sampled at 1/2:2:2, and is horizontally and vertically sub-sampled at 4:4. There is 2:0. Each moving image color format is defined in detail in the standard and is widely used in broadcasting and the like.
＜フレームシーケンシャル伝送＞
動画像のフレーム(インターレース走査の場合はフィールド)単位で、Ｒ,Ｇ,Ｂの中のひとつだけとする方法がある。これはフレーム(フィールド)シーケンシャルと呼ばれるもので、各フレームはＲ,Ｇ,Ｂいずれかのプレーン(色面)のみが存在する。
この方法は、撮像、伝送、表示のいずれでも行われ得るが、状況はそれぞれで異なる。表示においては、元々同一タイミングで撮像されたＲ,Ｇ,Ｂ各プレーンが、時間的にずらされて表示されるのが一般的である。ＤＬＰ方式のプロジェクタで用いられている。この場合フルカラーでのフレームレート(60fps)に対して、表示フレームレートは３倍(180fps)となる。
<Frame sequential transmission>
There is a method in which only one of R, G, and B is set for each frame (field in the case of interlaced scanning) of a moving image. This is called a frame (field) sequential, and each frame has only one plane (color plane) of R, G, or B.
This method can be performed either for imaging, transmission, or display, but the situation is different for each. In the display, the R, G, and B planes originally imaged at the same timing are generally displayed with a temporal shift. It is used in DLP type projectors. In this case, the display frame rate is triple (180 fps) with respect to the frame rate in full color (60 fps).
一方、撮像にフレームシーケンシャルを適用した場合、撮影のタイミングがＲ,Ｇ,Ｂで必ず異なるので、Ｒ,Ｇ,Ｂは別フレームとなる。この場合撮像フレームレート(60fps)に対して、１色のレートは３分の１(20fps)となる。１フレームが１プレーンだけなので、輝度のみ(または単色)と同様になり、データ量が少なく合理的である。しかし、フルカラー画像を得るためには、各フレームで存在しない残り２色を補間して形成する必要がある。 On the other hand, when the frame sequential is applied to the image pickup, the image pickup timing is always different for R, G, and B, so that R, G, and B are different frames. In this case, the rate of one color is 1/3 (20 fps) with respect to the image pickup frame rate (60 fps). Since one frame has only one plane, it is similar to luminance only (or single color), and the amount of data is small and rational. However, in order to obtain a full-color image, it is necessary to interpolate and form the remaining two colors that do not exist in each frame.
伝送においては、同一フレームのＲ,Ｇ,Ｂの場合と１フレーム１プレーンのみの両タイプが有り得る。前者はフレームバッファが必須となるので、フレーム単位でなく画素単位、またはＲ,Ｇ,Ｂ一体の24bitで送るほうが一般的である。後者も欠損色の補間処理が容易でないので、使われていないのが実状である。 In transmission, there can be both types of R, G, and B of the same frame and only one plane per frame. In the former case, a frame buffer is indispensable, so it is more common to send in a pixel unit, or R, G, B integrated 24 bits instead of a frame unit. In the latter case, the interpolation process of the missing color is not easy, so that the actual situation is that it is not used.
これまで、シーケンシャル動画像を処理する技術として、例えば、本発明者による特開２０１２−１４２８１７号公報（特許文献１）では、被補間フレームと、フレーム順で前方向と後方向に存在するフレームの間で動き推定を行い、被補間フレームに対して前方向と後方向の動きベクトルを求める動き推定手段を備えるカラー動画像構造変換方法及びカラー動画像構造変換装置が開示されている。しかしながら、特許文献１の技術が存在するにも関わらず、近年において画像品質のさらなる改善が望まれていた。 Heretofore, as a technique for processing a sequential moving image, for example, in Japanese Unexamined Patent Application Publication No. 2012-142817 (Patent Document 1) by the present inventor, an interpolated frame and a frame existing in a forward direction and a backward direction in a frame order are described. A color moving image structure conversion method and a color moving image structure conversion device are disclosed which include a motion estimation unit that performs motion estimation between frames and obtains a forward motion vector and a backward motion vector for an interpolated frame. However, in spite of the existence of the technique of Patent Document 1, further improvement in image quality has been desired in recent years.
従来のカラー画像フレームシーケンシャル伝送では、３原色のＲ(赤),Ｇ(緑),Ｂ(青)をそのままフレーム順で送っていた。この場合、彩度の高い画像においてフレームでかなり異なる画像となり、異色フレーム間で動き推定を行うのが困難であった。特に純粋な赤色などでは、ＧとＢの画素値はすべて０となるので、動き推定が不可能になる場合が発生する。そのため、３フレーム離れた同色間での動き推定に基く動き補償補間やフレーム内補間となり、高画質で３原色(Ｒ,Ｇ,Ｂ)すべての画像を復元することが困難であった。このような問題を解決して、異色フレーム間でも適切な動き推定が可能になり、確実な欠損カラー動画像伝送方法、カラー動画像受信方法、カラー動画像処理装置およびカラー動画像通信装置を提供することを目的とする。 In the conventional color image frame sequential transmission, the three primary colors R (red), G (green), and B (blue) are sent as they are in frame order. In this case, an image having a high saturation has a considerably different frame, and it is difficult to perform motion estimation between different-color frames. Particularly in pure red or the like, since the pixel values of G and B are all 0, there are cases where motion estimation becomes impossible. Therefore, motion compensation interpolation or intra-frame interpolation based on motion estimation between the same colors separated by three frames is performed, and it is difficult to restore images of all three primary colors (R, G, B) with high image quality. By solving such a problem, it is possible to perform appropriate motion estimation even between different color frames, and provide a reliable lossy color moving image transmission method, a color moving image receiving method, a color moving image processing device, and a color moving image communication device. The purpose is to do.
本発明は、３種類の原色を持つカラー画像を伝送する際に、３種類の原色画像を加重比を変えて加算し、第１の原色画像の割合を高めた淡色画像と第２の原色画像の割合を高めた淡色画像と第３の原色画像の割合を高めた淡色画像を得て、それらのうちのひとつを、フレーム単位で順次選択してフレーム順次淡色画像を送るカラー動画像伝送方法である。 The present invention, when transmitting a color image having three types of primary colors, adds three types of primary color images with different weighting ratios to increase the ratio of the first primary color image and the light color image and the second primary color image. A color moving image transmission method in which a light-colored image with an increased ratio of a third primary color image and a light-colored image with an increased ratio of a third primary color image are obtained, and one of them is sequentially selected in frame units and a frame-sequential light-colored image is transmitted. is there.
また、本発明は、前記のフレーム順次淡色画像を受信し、所定フレームにおいて、受信していない２種類の淡色画像を前後フレームからの補間で形成し、３種類すべての淡色画像を得て、それらからマトリックス演算で３種類の原色画像を得ることを特徴とするカラー動画像受信方法である。 Further, the present invention receives the frame-sequential light-colored images, forms two types of light-colored images that have not been received in a predetermined frame by interpolation from preceding and following frames, obtains all three types of light-colored images, and Is a color moving image receiving method characterized in that three types of primary color images are obtained by matrix calculation.
さらに、本発明は、上記処理を可能とするカラー動画像処理装置および上記処理を実行するカラー動画像通信装置である。 Furthermore, the present invention is a color moving image processing apparatus that enables the above processing and a color moving image communication apparatus that executes the above processing.
本発明は、３種類の原色画像を、加重比を変えて加算し、第１の原色画像の割合を高めた淡色画像と第２の原色画像の割合を高めた淡色画像と第３の原色画像の割合を高めた淡色画像を得て、それらのうちのひとつを、フレーム単位で順次選択してフレーム順次淡色画像を送る。それを受信し、所定フレームにおいて、受信していない２種類の淡色画像を前後フレームからの補間で形成し、３種類すべての淡色画像を得て、それらからマトリックス演算で３種類の原色画像を得る。 According to the present invention, three types of primary color images are added with different weighting ratios, and a light color image in which the ratio of the first primary color image is increased and a light color image in which the ratio of the second primary color image is increased and a third primary color image are added. Is obtained, one of them is sequentially selected in frame units, and frame-sequential light color images are sent. Upon receiving it, in a predetermined frame, two types of light color images that have not been received are formed by interpolation from the preceding and following frames, all three types of light color images are obtained, and from these, three types of primary color images are obtained by matrix calculation. ..
これにより、得られた動画像信号の動き補償フレーム間予測符号化や欠損色プレーンの動き補償フレーム間補間のための動き推定において、画像内容の彩度が高い場合でも、その画像信号に含まれる成分の多くは各色共通の白色(Ｗ)であり、画像間相関が高いので動き推定が容易になる。その結果、動き補償フレーム間予測性能に関して、通常の輝度信号に対する動き推定と同等の性能が得られる。 As a result, even in the case where the saturation of the image content is high in the motion estimation for the motion-compensated inter-frame predictive coding of the obtained moving image signal or the motion-compensated inter-frame interpolation of the defective color plane, it is included in the image signal. Most of the components are white (W) common to all colors, and the correlation between images is high, which facilitates motion estimation. As a result, with respect to the motion-compensated inter-frame prediction performance, performance equivalent to that of motion estimation for a normal luminance signal can be obtained.
白色成分は加算によりノイズが相殺されて少なくなり、動き補償画像間符号化で伝送する場合、符号化効率が改善される。輝度成分に近い白色成分が主体となって伝送されるので、輝度成分の画質が向上する。このような効果は、白色を多くするほど顕著になるが、逆変換で色差成分が増幅される形になるので、色差成分の誤差は増加する。 Noise in the white component is canceled by the addition, and the white component is reduced. When the motion-compensated inter-picture coding is performed, the coding efficiency is improved. Since the white component close to the luminance component is mainly transmitted, the image quality of the luminance component is improved. Such an effect becomes more remarkable as the amount of white is increased, but since the color difference component is amplified by the inverse conversion, the error of the color difference component increases.
以上より、従来の原色画像(ＲＧＢ)のフレームシーケンシャルに対して、高画質な画像伝送が可能になる。 As described above, high-quality image transmission is possible with respect to the frame sequential of the conventional primary color image (RGB).
以下、本発明を、実施形態を以て説明するが、本発明は後述する実施形態に限定されるものではない。 Hereinafter, the present invention will be described with reference to embodiments, but the present invention is not limited to the embodiments described below.
＜第１の実施例カラー動画像伝送＞
本発明の第１の実施例カラー動画像伝送について説明する。図１は、本実施例の構成を示したものである。図１で、Ｒ画像入力１から入来する赤色プレーンのＲ画像信号は、Ｒ画像バッファ４に一時保持され、受け取り側の要求に応じたタイミングで出力される。同様にＧ画像入力２から入来する緑色プレーンのＧ画像信号は、Ｇ画像バッファ５で保持され、Ｂ画像入力３から入来する青色プレーンのＢ画像信号は、Ｂ画像バッファ６で保持され、それぞれ所定タイミングで出力される。
<First Embodiment Color Moving Image Transmission>
The color moving image transmission according to the first embodiment of the present invention will be described. FIG. 1 shows the configuration of this embodiment. In FIG. 1, the R image signal of the red plane coming from the R image input 1 is temporarily held in the R image buffer 4 and is output at the timing according to the request from the receiving side. Similarly, the G image signal of the green plane coming from the G image input 2 is held in the G image buffer 5, and the B image signal of the blue plane coming from the B image input 3 is held in the B image buffer 6. Each is output at a predetermined timing.
各バッファの容量は、Ｒ,Ｇ,Ｂの各信号が完全に並列に入力されるなら僅かで、入出力による遅延もほぼ無い。ＲＧＢ信号がシリアルに入力されるなら１フレーム分を格納して、すべてが揃ってから処理を行うので、１フレーム分の容量と遅延を生じる。 The capacity of each buffer is small if the R, G, and B signals are completely input in parallel, and there is almost no delay due to input/output. If the RGB signals are serially input, one frame is stored, and the processing is performed after all are prepared, so that a capacity and a delay for one frame occur.
白色画像形成器７は、Ｒ,Ｇ,Ｂの各画像信号を同期して受け取り、３値を加算して白色画像Ｗを得る。この処理の一般式は、下記式（１）となる。 The white image forming device 7 receives the R, G, and B image signals in synchronization with each other, and adds the three values to obtain a white image W. The general formula of this processing is the following formula (1).
ここで、kr, kg, kbは加重係数であるが、本実施例ではkr=1.0, kg=1.0, kb=1.0とし、式（１）は、次式となる。 Here, k r , k g , and k b are weighting coefficients, but in the present embodiment, k r =1.0, k g =1.0, k b =1.0, and equation (1) is as follows.
演算処理では、除算せずに３値の加算のみを行う。その結果、白色画像信号の最大値は元のＲＧＢ画像信号の３倍となり、量子化bit数は2bit増加させる必要がある。 In the arithmetic processing, only three values are added without division. As a result, the maximum value of the white image signal becomes three times that of the original RGB image signal, and the number of quantization bits needs to be increased by 2 bits.
フレーム選択器８は、フレーム単位でＲ画像バッファ４の出力、Ｇ画像バッファ５の出力、Ｂ画像バッファ６の出力を選択して加算器９に与える。加算器９は白色画像形成器７から与えられる白色画像Ｗとフレーム選択器８で選択されたＲ,Ｇ,Ｂ何れかの画像信号を加算する。この様子を図４に示すが、それぞれの画像は淡色(パステルカラー)となる。ＲとＷの加算結果をＰ(Pink)、ＧとＷの加算結果をＬ(Lime)、ＢとＷの加算結果をＡ(Aqua)と呼ぶ。これらは、Ｒ,Ｇ,Ｂ,ＷやＹ,Ｍ,Ｃ,Ｋと別アルファベットとなるように、本実施例において独自に選んだものである。なお、ピンク、ライム、アクアはＲ,Ｇ,Ｂほど一般的ではないが、色名として存在する。加算結果の画像信号Ｐ,Ｌ,Ａは、次式で与えられる。 The frame selector 8 selects the output of the R image buffer 4, the output of the G image buffer 5, and the output of the B image buffer 6 for each frame, and gives them to the adder 9. The adder 9 adds the white image W given from the white image forming device 7 and the image signal of any one of R, G and B selected by the frame selector 8. This state is shown in FIG. 4, and each image becomes a light color (pastel color). The addition result of R and W is called P (Pink), the addition result of G and W is called L (Lime), and the addition result of B and W is called A (Aqua). These are uniquely selected in this embodiment so as to be different alphabets from R, G, B, W and Y, M, C, K. Although pink, lime, and aqua are not as common as R, G, and B, they exist as color names. The image signals P, L, A as the addition result are given by the following equations.
この加算も除算せずに行うが、結果的に４値の加算なので白色画像信号と同じ量子化bit数となる。すなわち元のＲＧＢ画像が8bit(0-255)なら10bit(0-1020)、10bitなら12bit(0-4080)となる。この様にして得られた淡色(パステルカラー)のフレームシーケンシャル(ＦＳ)画像信号は、ＦＳ画像符号化器１０に与えられる。
ＦＳ画像符号化器１０は、伝送路に合わせてＦＳ画像信号を符号化するもので、最も簡単な場合は同期形成やパリティ追加のみを行う。フレーム単位の圧縮は、ＪＰＥＧやＡＶＣイントラなど、通常の符号化の単色(4:0:0)モードが使える。
This addition is also performed without division, but as a result, since it is addition of four values, the number of quantization bits is the same as that of the white image signal. That is, if the original RGB image is 8 bits (0-255), it is 10 bits (0-1020), and if it is 10 bits, it is 12 bits (0-4080). The light-colored (pastel-color) frame sequential (FS) image signal thus obtained is supplied to the FS image encoder 10.
The FS image encoder 10 encodes the FS image signal in accordance with the transmission path, and in the simplest case, performs only synchronization formation and parity addition. For frame-by-frame compression, a normal encoding monochrome (4:0:0) mode such as JPEG or AVC intra can be used.
高圧縮する場合は、ＦＳ画像専用の動き補償フレーム間予測符号化を行う必要がある。その際、異色プレーン間の予測信号形成方法が、原色(Ｒ,Ｇ,Ｂ)の場合と異なる。また、３／４は共通であるので、色プレーン間の画像間相関が高くなり、異色間の動き推定処理が行いやすくなる。その結果、動き補償フレーム間予測性能に関して、通常の輝度信号に対する動き推定と同等の性能が得られる。得られた淡色(パステルカラー)のフレームシーケンシャル動画像の情報は、ＦＳ画像情報出力１１より出力され、各種伝送路を通して伝送される。 In the case of high compression, it is necessary to perform motion-compensated interframe predictive coding exclusively for FS images. At this time, the prediction signal forming method between the different color planes is different from that of the primary colors (R, G, B). Also, since 3/4 is common, the correlation between images between color planes becomes high, and the motion estimation process between different colors becomes easy to perform. As a result, with respect to the motion-compensated inter-frame prediction performance, performance equivalent to that of motion estimation for a normal luminance signal can be obtained. The information of the obtained light color (pastel color) frame sequential moving image is output from the FS image information output 11 and transmitted through various transmission paths.
＜第２の実施例カラー動画像伝送＞
本発明の第２の実施例カラー動画像伝送について説明する。図２は、本実施例の構成を示したもので、図１の第一の実施例と同一構成要素には同一付番を記してある。図２には、図１と比較して、白色画像形成器７、加算器９の代わりにマトリックス演算器２１がある。また、フレーム選択器２２は淡色画像に対してのものになるので、図１のフレーム選択器８と処理bit数などが若干異なる。
<Second Embodiment Color Video Transmission>
Second Embodiment A color moving image transmission according to a second embodiment of the present invention will be described. FIG. 2 shows the configuration of this embodiment, and the same components as those of the first embodiment of FIG. 1 are designated by the same reference numerals. Compared to FIG. 1, FIG. 2 includes a matrix calculator 21 instead of the white image forming unit 7 and the adder 9. Further, since the frame selector 22 is for a light color image, the number of processing bits is slightly different from that of the frame selector 8 of FIG.
第２の実施例において、第１の実施例と異なるのは淡色プレーンの形成方法で、Ｒ画像入力１、Ｇ画像入力２、Ｂ画像入力３、Ｒ画像バッファ４、Ｇ画像バッファ５、Ｂ画像バッファ６は、基本的に第一の実施例と同じである。
図２で、マトリックス演算器２１は、同一画素の全色プレーンの画素値を同時に受け取り、Ｒ,Ｇ,Ｂ(原色)の３値を行列演算で加重加算してＰ,Ｌ,Ａ(淡色)の３値を得る。実施例１と同様な場合は、Ｒ,Ｇ,ＢからＰ,Ｌ,Ａへの変換式は、下記式(6)〜(8)で表わされる。
The second embodiment differs from the first embodiment in the method of forming a light-colored plane, namely, R image input 1, G image input 2, B image input 3, R image buffer 4, G image buffer 5, and B image. The buffer 6 is basically the same as in the first embodiment.
In FIG. 2, the matrix calculator 21 receives the pixel values of all color planes of the same pixel at the same time, weights and adds the three values of R, G, B (primary colors) by matrix calculation, and P, L, A (light color) To get the three values of. In the same case as in Example 1, the conversion equations from R, G, B to P, L, A are represented by the following equations (6) to (8).
ここで、本発明の特徴を寄り強くする場合は、Ｗ成分を多くするため係数を平坦化し、例えば次式のようにする。 Here, in order to further strengthen the characteristics of the present invention, the coefficient is flattened in order to increase the W component, for example, as in the following equation.
逆にＲ,Ｇ,Ｂ(原色)に近づける場合は、対角を大きくし、例えば次式のようにする。 On the other hand, in the case of approaching R, G, B (primary colors), the diagonal is made large, for example, as in the following formula.
また、Ｒ,Ｇ,Ｂを加重加算して、白色Ｗでなく輝度Ｙに近づけることも考えられる。これもマトリックスの係数値を変更することで実現できる。ただし、量子化bitを考慮すると(6)が合理的である。(7)や(8)式の場合、必要bit数が(1)より1bit多い+3bitとなるので、除算してbit数(信号レンジ)を元のＲＧＢと同等や+1bit程度にしても良い。 It is also conceivable to perform weighted addition of R, G, and B to bring the brightness W closer to the brightness Y instead of the white W. This can also be realized by changing the coefficient value of the matrix. However, considering the quantization bit, (6) is rational. In the case of equations (7) and (8), the required number of bits is +3 bits, which is 1 bit more than that of (1), so it is possible to divide the number of bits (signal range) to be equal to the original RGB or about +1 bit. ..
フレーム選択器２２は、フレーム単位でマトリックスの出力であるＰ画像、Ｌ画像、Ａ画像を選択する。この様にして得られた淡色(パステルカラー)のフレームシーケンシャル画像信号の様子を図５に示す。 The frame selector 22 selects a P image, an L image, and an A image, which are matrix outputs, on a frame-by-frame basis. FIG. 5 shows the appearance of the light-colored (pastel-colored) frame sequential image signal thus obtained.
ＦＳ画像符号化器１０は、フレーム単位の圧縮までは、第一の実施例と同じである。動き補償フレーム間予測符号化では、異色プレーン間の予測信号形成方法を、マトリックスに合わせて変更する。異色間の動き推定処理は、Ｗ成分が多い(7)で、通常の輝度信号に対する動き推定により近づく。 The FS image encoder 10 is the same as that of the first embodiment up to compression on a frame-by-frame basis. In motion-compensated interframe predictive coding, the method of forming a predictive signal between planes of different colors is changed according to the matrix. The motion estimation process between different colors has more W components (7), and is closer to the motion estimation for a normal luminance signal.
＜実施例カラー動画像受信方法＞
本発明の実施例カラー動画像受信について説明する。図３は、本実施例の構成を示したものである。図３で、ＳＣ画像入力１から入来するシーケンシャルカラー画像は、復号化器３２で復号化され、各フレーム１プレーンの淡色画像となる。復号化された画像は、フレーム選択器３３で各フレーム単位格納先が選択される。ＰプレーンはＰ画像メモリ３４へ、ＬプレーンはＬ画像メモリ３５、ＡプレーンはＡ画像メモリ３６にそれぞれ１フレーム分が格納される。各メモリからは、各プレーンの画像信号が、受け取り側の要求に応じたタイミングで出力される。
<Example color moving image receiving method>
An embodiment of the present invention will be described for color moving image reception. FIG. 3 shows the configuration of this embodiment. In FIG. 3, the sequential color image coming from the SC image input 1 is decoded by the decoder 32 and becomes a light color image of each frame 1 plane. The frame selector 33 selects a storage destination for each frame of the decoded image. One frame is stored in the P image memory 34, the L plane is stored in the L image memory 35, and the A plane is stored in the A image memory 36. The image signal of each plane is output from each memory at a timing according to the request from the receiving side.
Ｐ画像補間器３７、Ｌ画像補間器３８、Ａ画像補間器３９は、自己が既存色プレーンのフレームではそのまま出力し、欠損色プレーンとなるフレームでは、他色プレーンを使い欠損色の画像を補間して出力する。既存色プレーンとふたつの欠損色プレーンとその補間の様子を図６に示す。 The P image interpolator 37, the L image interpolator 38, and the A image interpolator 39 output the same as they are in the frame of the existing color plane, and interpolate the image of the defective color using the other color plane in the frame which becomes the defective color plane. And output. FIG. 6 shows an existing color plane, two missing color planes, and the interpolation state thereof.
欠損色の補間処理は、動き補償フレーム間補間が基本となる。この処理の様子を図７に示すが、P4に対する処理は過去のみを参照する片方向補間、A12に対する処理は双方向を参照する内挿補間である。片方向補間の場合、補間プレーンと参照プレーンは、１ないし２フレーム間の距離があり、動き推定は必ず異色間になってしまう。内挿補間の場合、参照プレーン間は同色であるが、対象フレームの既存色プレーン(B12)が使われないと、誤補間となる可能性がある。 The interpolation processing for the missing color is based on the motion compensation inter-frame interpolation. The state of this processing is shown in FIG. 7. The processing for P4 is unidirectional interpolation that refers only to the past, and the processing for A12 is interpolation that refers to both directions. In the case of unidirectional interpolation, the interpolation plane and the reference plane have a distance of 1 or 2 frames, and the motion estimation always involves a different color. In the case of interpolation, the reference planes have the same color, but if the existing color plane (B12) of the target frame is not used, incorrect interpolation may occur.
異色間動き推定では、ＲＧＢの場合は画像の彩度が低ければ画像間相関が比較的高いが、彩度が高いと画像間相関が低くなり動き推定が困難になる。一方、淡色画像では彩度が高い場合でも、その成分の多くは白色(Ｗ)であり、画像間相関が高いので動き推定が容易になる。その結果、動き補償フレーム間予測性能に関して、通常の輝度信号に対する動き推定と同等の性能が得られる。 In the inter-color motion estimation, in the case of RGB, the inter-image correlation is relatively high when the saturation of the image is low, but when the saturation is high, the inter-image correlation becomes low and the motion estimation becomes difficult. On the other hand, in a light-colored image, even if the saturation is high, most of its components are white (W) and the inter-image correlation is high, so that motion estimation becomes easy. As a result, with respect to the motion-compensated inter-frame prediction performance, performance equivalent to that of motion estimation for a normal luminance signal can be obtained.
各補間器からは、毎フレームその色プレーンの画像信号が逆マトリックス演算器４０に与えられる。逆マトリックス演算器４０は、Ｐ,Ｌ,ＡからＲ,Ｇ,Ｂへのマトリックス変換が行われる。これはＲ,Ｇ,ＢからＰ,Ｌ,Ａへの変換の逆変換であり、(6)式(第一の実施例)に対応するものは下記式(9)で表される。 From each interpolator, the image signal of the color plane of each frame is given to the inverse matrix calculator 40. The inverse matrix calculator 40 performs matrix conversion from P, L, A to R, G, B. This is an inverse conversion of conversion from R, G, B to P, L, A, and the one corresponding to the equation (6) (first embodiment) is represented by the following equation (9).
(7)式に対するのは下記式(10)となる。 The following equation (10) corresponds to the equation (7).
(8)式に対するのは下記式(11)となる。 The following equation (11) corresponds to equation (8).
なお、各式内の1／4や1／9は、変換で除算が行われておらず、元の量子化bit精度に戻す場合に対応する。このような３行３列の逆変換は、変換係数による一般式があり、他の変換の場合もそれに当てはめて求めることができる。 Note that 1/4 and 1/9 in each equation correspond to the case where the division is not performed in the conversion and the original quantization bit precision is restored. Such 3-row/3-column inverse transformation has a general formula using transformation coefficients, and can be applied to other transformations as well.
このようにして得られたＲ,Ｇ,Ｂ画像信号は、基本的に元のＲ,Ｇ,Ｂ画像信号と同等であるが、途中で生じるノイズや量子化(符号化)で生じる誤差において、特徴を持つ。輝度成分に近いＷ(白色)成分が主体となって伝送されるので、輝度成分の画質が向上する。このような効果は、白色を多くするほど顕著になるが、逆変換で色差成分が増幅される形になるので、色差成分の誤差は増加する。 The R, G, B image signal thus obtained is basically equivalent to the original R, G, B image signal, but in the noise generated in the middle and the error generated by the quantization (coding), It has characteristics. Since the W (white) component close to the luminance component is mainly transmitted, the image quality of the luminance component is improved. Such an effect becomes more remarkable as the amount of white is increased, but since the color difference component is amplified by the inverse conversion, the error of the color difference component increases.
これは、一般的な動画像符号化において、4:2:0フォーマットなどで色差信号がサブサンプリングされ、実効的ダイナミックレンジも狭めて、色差信号の劣化を相対的に大きくしていることに類似する。この画質変化は、主観画質に適合した望ましい方向の変化と言える。一方、4:2:0で生じる色差成分の解像度低下や、高彩度部分の輝度成分解像度低下は起こらない。 This is similar to the fact that in general video coding, the color difference signals are sub-sampled in the 4:2:0 format etc., the effective dynamic range is narrowed, and the deterioration of the color difference signals is relatively large. To do. This change in image quality can be said to be a change in a desired direction that matches the subjective image quality. On the other hand, the resolution reduction of the color difference component and the resolution reduction of the luminance component in the high saturation part which occur at 4:2:0 do not occur.
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 Although the present embodiment has been described so far, the present invention is not limited to the above-described embodiment, and other embodiments, additions, changes, deletions, etc. are within the scope of those skilled in the art. The present invention can be changed and is included in the scope of the present invention as long as the effects and advantages of the present invention are exhibited in any of the modes.
１…Ｒ画像入力、２…Ｇ画像入力、３…Ｂ画像入力、４…Ｒ画像バッファ、５…Ｇ画像バッファ、６…Ｂ画像バッファ、７…白色画像形成器、８…フレーム選択器、９…加算器、１０…ＦＳ画像符号化器、１１…ＦＳ画像情報出力、２１…マトリックス演算器、２２…フレーム選択器、３１…ＳＣ画像入力、３２…復号化器、３３…フレーム選択器、３４…Ｐ画像メモリ、３５…Ｌ画像メモリ、３６…Ａ画像メモリ、３７…Ｐ画像補間器、３８…Ｌ画像補間器、３９…Ａ画像補間器、４０…逆マトリックス演算器、４１…Ｒ画像出力、４２…Ｇ画像出力、４３…Ｂ画像出力 1...R image input, 2...G image input, 3...B image input, 4...R image buffer, 5...G image buffer, 6...B image buffer, 7...white image forming device, 8...frame selector, 9 ... Adder, 10... FS image encoder, 11... FS image information output, 21... Matrix calculator, 22... Frame selector, 31... SC image input, 32... Decoder, 33... Frame selector, 34 ...P image memory, 35...L image memory, 36...A image memory, 37...P image interpolator, 38...L image interpolator, 39...A image interpolator, 40...inverse matrix calculator, 41...R image output , 42... G image output, 43... B image output
Claims (5)
第１の原色画像と第２の原色画像と第３の原色画像を得て、
前記第１の原色画像を第１の割合とし、前記第２の原色画像および前記第３の原色画像を前記第１の割合より低い第２の割合として、前記３種類の原色画像を加重加算し、第１の淡色画像を得て、
前記第２の原色画像を前記第１の割合とし、前記第１の原色画像および前記第３の原色画像を前記第２の割合として、前記３種類の原色画像を加重加算し、第２の淡色画像を得て、
前記第３の原色画像を前記第１の割合とし、前記第１の原色画像および前記第２の原色画像を前記第２の割合として、前記３種類の原色画像を加重加算し、第３の淡色画像を得て、
前記第１の淡色画像と前記第２の淡色画像と前記第３の淡色画像のうちのひとつを、フレーム単位で順次選択してフレーム順次淡色画像を送ることを特徴とするカラー動画像伝送方法。 When transmitting a color image with three primary colors,
Obtaining the first primary color image, the second primary color image and the third primary color image,
The first primary color image is set to a first ratio, the second primary color image and the third primary color image are set to a second ratio lower than the first ratio, and the three types of primary color images are weighted and added. , Get the first light color image,
The second primary color image is set to the first ratio, the first primary color image and the third primary color image are set to the second ratio, and the three types of primary color images are subjected to weighted addition to obtain a second light color. Get the image,
The third primary color image is set to the first ratio, the first primary color image and the second primary color image are set to the second ratio, and the three types of primary color images are subjected to weighted addition to obtain a third light color. Get the image,
Color moving, characterized in that sending the one frame sequentially pale images are sequentially selected in units of frames of the third light Iroga image and the first light-colored image and the second light Iroga image Image transmission method.
第１の原色画像と第２の原色画像と第３の原色画像を得る手段と、
前記第１の原色画像を第１の割合とし、前記第２の原色画像および前記第３の原色画像を前記第１の割合より低い第２の割合として、前記３種類の原色画像を加重加算し、第１の淡色画像を得る手段と、
前記第２の原色画像を前記第１の割合とし、前記第１の原色画像および前記第３の原色画像を前記第２の割合として、前記３種類の原色画像を加重加算し、第２の淡色画像を得る手段と、
前記第３の原色画像を前記第１の割合とし、前記第１の原色画像および前記第２の原色画像を前記第２の割合として、前記３種類の原色画像を加重加算し、第３の淡色画像を得る手段と、
前記第１の淡色画像と前記第２の淡色画像と前記第３の淡色画像のうちのひとつを、フレーム単位で順次選択してフレーム順次淡色画像を送る手段と
を含むことを特徴とする、カラー動画像処理装置。 A color moving image processing apparatus for transmitting a color image having three types of primary colors,
Means for obtaining a first primary color image, a second primary color image and a third primary color image,
The first primary color image is set to a first ratio, the second primary color image and the third primary color image are set to a second ratio lower than the first ratio, and the three types of primary color images are weighted and added. , Means for obtaining a first light-colored image,
The second primary color image is set to the first ratio, the first primary color image and the third primary color image are set to the second ratio, and the three types of primary color images are subjected to weighted addition to obtain a second light color. Means to get images,
The third primary color image is set to the first ratio, the first primary color image and the second primary color image are set to the second ratio, and the three types of primary color images are subjected to weighted addition to obtain a third light color. Means to get images,
Characterized in that it comprises means for sending the one frame sequentially pale images are sequentially selected in units of frames of the third light Iroga image and the first light-colored image and the second light Iroga image A color moving image processing device.
第１の原色画像の割合が高い淡色画像と、第２の原色画像の割合が高い淡色画像と、第３の原色画像の割合が高い淡色画像を、各フレームでひとつのみフレーム順次で受信し、
所定フレームにおいて、受信していない２種類の淡色画像を前後フレームからの補間で形成し、３種類すべての淡色画像を得て、
前記３種類の淡色画像からマトリックス演算で３種類の原色画像を得ることを特徴とするカラー動画像受信方法。 When receiving three types of light-colored images with a higher proportion of one of the three types of primary colors,
And a high proportion pale image of the first primary color image, and a light image is high ratio of the second primary color images, the third primary light color image ratio is not high image only one received by the frame sequential in each frame Then
In a given frame, two types of light color images that have not been received are formed by interpolation from the preceding and following frames to obtain all three types of light color images,
A color moving image receiving method characterized in that three types of primary color images are obtained from the three types of light color images by matrix calculation.
第１の原色画像の割合が高い淡色画像と、第２の原色画像の割合が高い淡色画像と、第３の原色画像の割合が高い淡色画像を、各フレームでひとつのみフレーム順次で受信する手段と、
所定フレームにおいて、受信していない２種類の淡色画像を前後フレームからの補間で形成し、３種類すべての淡色画像を得る手段と、
前記３種類の淡色画像からマトリックス演算で３種類の原色画像を得る手段と
を含むことを特徴とする、カラー動画像処理装置。 What is claimed is: 1. A color moving image processing apparatus for receiving three types of light color images in which the ratio of only one of the three types of primary colors is increased.
And a high proportion pale image of the first primary color image, and a light image is high ratio of the second primary color images, the third primary light color image ratio is not high image only one received by the frame sequential in each frame Means to do
A means for forming two types of light-color images that have not been received in a predetermined frame by interpolation from preceding and following frames, and obtaining all three types of light-color images;
Means for obtaining three types of primary color images by matrix calculation from the three types of light color images.
第１の原色画像と第２の原色画像と第３の原色画像を得る手段と、
前記第１の原色画像を第１の割合とし、前記第２の原色画像および前記第３の原色画像を前記第１の割合より低い第２の割合として、前記３種類の原色画像を加重加算し、第１の淡色画像を得る手段と、
前記第２の原色画像を前記第１の割合とし、前記第１の原色画像および前記第３の原色画像を前記第２の割合として、前記３種類の原色画像を加重加算し、第２の淡色画像を得る手段と、
前記第３の原色画像を前記第１の割合とし、前記第１の原色画像および前記第２の原色画像を前記第２の割合として、前記３種類の原色画像を加重加算し、第３の淡色画像を得る手段と、
前記第１の淡色画像と前記第２の淡色画像と前記第３の淡色画像のうちのひとつを、フレーム単位で順次選択してフレーム順次淡色画像を送る手段と、
前記フレーム順次淡色画像を、各フレームでひとつのみフレーム順次で受信する手段と、
所定フレームにおいて、受信していない２種類の淡色画像を前後フレームからの補間で形成し、３種類すべての淡色画像を得る手段と、
前記３種類の淡色画像からマトリックス演算で３種類の原色画像を得る手段と
を備えるカラー動画像通信装置。 A color video communication device for transmitting and receiving color images having three primary colors,
Means for obtaining a first primary color image, a second primary color image and a third primary color image,
The first primary color image is set to a first ratio, the second primary color image and the third primary color image are set to a second ratio lower than the first ratio, and the three types of primary color images are weighted and added. , Means for obtaining a first light-colored image,
The second primary color image is set to the first ratio, the first primary color image and the third primary color image are set to the second ratio, and the three types of primary color images are subjected to weighted addition to obtain a second light color. Means to get images,
The third primary color image is set to the first ratio, the first primary color image and the second primary color image are set to the second ratio, and the three types of primary color images are subjected to weighted addition to obtain a third light color. Means to get images,
Means for sending the one frame sequentially pale images are sequentially selected in units of frames of the third light Iroga image and the first light-colored image and the second light Iroga image,
Means for receiving only one frame-sequential light-colored image in each frame in frame-sequential order;
A means for forming two types of light-color images that have not been received in a predetermined frame by interpolation from preceding and following frames, and obtaining all three types of light-color images;
And a means for obtaining three types of primary color images by matrix calculation from the three types of light color images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016062451A JP6713165B2 (en) | 2016-03-25 | 2016-03-25 | Color moving image transmitting method, color moving image receiving method, color moving image processing device, and color moving image communication device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016062451A JP6713165B2 (en) | 2016-03-25 | 2016-03-25 | Color moving image transmitting method, color moving image receiving method, color moving image processing device, and color moving image communication device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017175562A JP2017175562A (en) | 2017-09-28 |
| JP6713165B2 true JP6713165B2 (en) | 2020-06-24 |
Family
ID=59972278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016062451A Active JP6713165B2 (en) | 2016-03-25 | 2016-03-25 | Color moving image transmitting method, color moving image receiving method, color moving image processing device, and color moving image communication device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6713165B2 (en) |
-
2016
- 2016-03-25 JP JP2016062451A patent/JP6713165B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017175562A (en) | 2017-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8989273B2 (en) | Image information encoding method and encoder, and image information decoding method and decoder | |
| JP4855418B2 (en) | Color video encoding and decoding method and apparatus using correlation of color difference components | |
| JP4761390B2 (en) | Improvement of calculation method of interpolated pixel value | |
| JP2000333163A (en) | Decoder, its method, coder, its method, image processing system and image processing method | |
| CN113992913B (en) | Intra-frame cross-component prediction method and system applicable to VVC (variable value code) coding standard | |
| JPH11266457A (en) | Method and device for picture processing and recording medium | |
| US20190238817A1 (en) | Image processing device and method for operating image processing device | |
| JP2011193363A (en) | Encoding device, decoding device, and program | |
| JP6713165B2 (en) | Color moving image transmitting method, color moving image receiving method, color moving image processing device, and color moving image communication device | |
| JP5742049B2 (en) | Color moving picture coding method and color moving picture coding apparatus | |
| US7415068B2 (en) | Process for the format conversion of an image sequence | |
| JP5742048B2 (en) | Color moving image structure conversion method and color moving image structure conversion device | |
| JP6786107B2 (en) | Color moving image transmission device, color moving image receiving device, color moving image transmission / reception system, color moving image transmission method and color moving image receiving method | |
| JP6099104B2 (en) | Color moving image structure conversion method and color moving image structure conversion device | |
| JP2023008624A (en) | Imaging apparatus and control method thereof and program | |
| JP4390009B2 (en) | Encoding apparatus and method, and image processing system | |
| JP2014179921A (en) | Dynamic image encoder, control method thereof, and program | |
| JPH03247190A (en) | Moving vector detection circuit | |
| JP2019176212A (en) | Color-difference signal form determination device, coding device, and program | |
| JP2000350214A (en) | Method and device for movement compensating predictive encoding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200520 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6713165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |