JP6796435B2

JP6796435B2 - Rate control device, video decoding device, and program

Info

Publication number: JP6796435B2
Application number: JP2016179578A
Authority: JP
Inventors: 俊枝三須; 境田　慎一; 慎一境田; 菊文神田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2016-09-14
Filing date: 2016-09-14
Publication date: 2020-12-09
Anticipated expiration: 2036-09-14
Also published as: JP2018046407A

Description

本発明は、映像符号化におけるビットレート制御を実現する装置、及び、ビットレート制御されたビット列から映像を復号する装置に関する。 The present invention relates to a device that realizes bit rate control in video coding and a device that decodes video from a bit rate controlled bit string.

映像符号化におけるビットレート制御法としては、これまでの発生符号量の多寡に応じて直交変換係数の量子化幅（量子化パラメータ）を増減するのが一般的である。例えば、固定ビットレート（ＣＢＲ、ＣｏｎｓｔａｎｔＢｉｔｒａｔｅ）の実現方法としては、下記のものが知られている。まず、ＦＩＦＯ（ＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔ）型メモリ等の出力バッファを設ける。この出力バッファは、符号化後のビット列を一旦収めてから出力する。そして、出力バッファ内に現在蓄積されているデータ量がある所定の上限閾値を超えた場合には、量子化パラメータを増加する。また、出力バッファ内に現在蓄積されているデータ量が所定の下限閾値を超えた場合には、量子化パラメータを減少する。このように映像符号化処理を制御することで発生符号量を調整し、固定ビットレートを実現することができる。 As a bit rate control method in video coding, it is common to increase or decrease the quantization width (quantization parameter) of the orthogonal conversion coefficient according to the amount of code generated so far. For example, the following are known as methods for realizing a constant bit rate (CBR, Constant Bitrate). First, an output buffer such as a FIFO (First In First Out) type memory is provided. This output buffer temporarily stores the coded bit string and then outputs it. Then, when the amount of data currently stored in the output buffer exceeds a predetermined upper threshold value, the quantization parameter is increased. Further, when the amount of data currently stored in the output buffer exceeds a predetermined lower limit threshold value, the quantization parameter is reduced. By controlling the video coding process in this way, the amount of generated code can be adjusted and a fixed bit rate can be realized.

映像の符号化では、符号化対象の映像に細かいテクスチャが多く含まれていると、発生符号量が増加する傾向がある。特に雑音等のランダム性のあるテクスチャは、発生符号量を顕著に増加させる。このため、符号化対象の映像から雑音を除去することにより発生符号量を抑制することが可能である。しかしながら、符号化前に雑音除去を行うと、復号により得られる映像が平坦化してしまい、元の映像の質感が損なわれてしまう。この質感の損失を補う方式として、特許文献１の復号化装置及び復号化プログラムが提案されている。 In video coding, if the video to be coded contains many fine textures, the amount of code generated tends to increase. In particular, a texture having randomness such as noise significantly increases the amount of generated code. Therefore, it is possible to suppress the generated code amount by removing noise from the video to be encoded. However, if noise removal is performed before coding, the image obtained by decoding is flattened and the texture of the original image is impaired. As a method for compensating for this loss of texture, a decoding device and a decoding program of Patent Document 1 have been proposed.

特許第５７２７８７２号公報Japanese Patent No. 5727872

しかしながら、量子化パラメータの増減はブロック歪の発生に影響するため、上記のような量子化パラメータの増減により発生符号量を制御する方式の場合、映像符号化が困難な映像の場合にはブロック歪が増加し、映像符号化が容易な映像の場合にはブロック歪が小さくなる。ブロック歪は矩形状の目立ちやすいパターンを呈するため、時々刻々の歪の増減が目障りになる。従って、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることが望まれている。 However, since the increase / decrease of the quantization parameter affects the occurrence of block distortion, in the case of the method of controlling the generated code amount by the increase / decrease of the quantization parameter as described above, the block distortion is caused in the case of an image in which video coding is difficult. Increases, and block distortion decreases in the case of an image that is easy to encode. Since the block distortion has a rectangular and conspicuous pattern, the increase and decrease of the distortion from moment to moment becomes annoying. Therefore, it is desired that the bit rate can be adjusted while suppressing the distortion of the image due to the image coding.

本発明のいくつかの態様は、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることができるレート制御装置、映像復号装置、及び、プログラムを提供することを目的の一つとする。 One of an object of the present invention is to provide a rate control device, a video decoding device, and a program capable of adjusting a bit rate while suppressing video distortion due to video coding. Let's try.

また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にするレート制御装置、映像復号装置、及び、プログラムを提供することを目的の一つとする。 Another object of the present invention is to provide a rate control device, a video decoding device, and a program capable of exerting the effects described in the embodiments described later.

上述した課題を解決するために、本発明の一態様は、第１の映像信号から特定の成分を除去した第２の映像信号を出力する信号処理部と、前記第２の映像信号を符号化した符号化映像信号のビットレートと、前記符号化映像信号を復号した復号映像信号の符号化歪と、の少なくともいずれかに係る制御信号に基づいて、前記信号処理部による特定の成分の除去の度合いを制御する制御部と、を備え、前記信号処理部は、前記第２の映像信号の符号化における非可逆な情報圧縮過程とは異なる演算によって前記特定の成分を除去するレート制御装置である。
また、本発明の一態様は、上記のレート制御装置であって、前記特定の成分とは、雑音成分であり、前記信号処理部は、パラメータによって除去の強度が可変な中央値フィルタ又は低域通過型フィルタを用いて前記雑音成分を除去する。
また、本発明の一態様は、上記のレート制御装置であって、前記信号処理部による特定の信号成分の除去量を演算する演算部、を備える。
また、本発明の一態様は、上記のレート制御装置であって、前記符号化映像信号を一時的に蓄積する蓄積部、を備え、前記制御信号とは、前記蓄積部による前記符号化映像信号の蓄積量に係る信号である。
また、本発明の一態様は、上記のレート制御装置が演算した特定の成分の前記除去量に基づいて、特定の成分の信号を発生する信号発生部と、前記符号化映像信号を復号する映像復号部と、前記映像復号部が復号した前記復号映像信号に、前記信号発生部が発生した信号を重畳する重畳部と、を備える映像復号装置である。
また、本発明の一態様は、コンピュータに、第１の映像信号から特定の成分を除去した第２の映像信号を出力する第１ステップと、前記第２の映像信号を符号化した符号化映像信号のビットレートと、前記符号化映像信号を復号した復号映像信号の符号化歪と、の少なくともいずれかに係る制御信号に基づいて、前記第１の映像信号からの特定の成分の除去の度合いを制御する第２ステップと、を実行させるためのプログラムであって、前記第１ステップでは、前記第２の映像信号の符号化における非可逆な情報圧縮過程とは異なる演算によって前記特定の成分を除去するプログラムである。
また、本発明の一態様は、コンピュータに、上記のレート制御装置が演算した特定の成分の前記除去量に基づいて、特定の成分の信号を発生する第１ステップと、前記符号化映像信号を復号して復号映像信号を取得する第２ステップと、前記第２ステップにおいて復号した復号映像信号に、前記第１ステップにおいて発生した信号を重畳する第３ステップと、を実行させるためのプログラムである。 In order to solve the above-mentioned problems, one aspect of the present invention encodes a signal processing unit that outputs a second video signal obtained by removing a specific component from the first video signal, and the second video signal. Removal of a specific component by the signal processing unit based on a control signal related to at least one of the bit rate of the encoded video signal and the coding distortion of the decoded video signal obtained by decoding the encoded video signal. The signal processing unit includes a control unit that controls the degree, and the signal processing unit is a rate control device that removes the specific component by an operation different from the lossy information compression process in the coding of the second video signal. ..
Further, one aspect of the present invention is the above-mentioned rate control device, in which the specific component is a noise component, and the signal processing unit is a median filter or a low frequency range whose removal intensity is variable depending on a parameter. The noise component is removed by using a pass-through filter.
Further, one aspect of the present invention includes the above-mentioned rate control device, which includes a calculation unit for calculating the amount of removal of a specific signal component by the signal processing unit.
Further, one aspect of the present invention is the rate control device, which includes a storage unit that temporarily stores the coded video signal, and the control signal is the coded video signal by the storage unit. It is a signal related to the accumulated amount of.
Further, one aspect of the present invention is a signal generation unit that generates a signal of a specific component and an image that decodes the coded video signal based on the removal amount of the specific component calculated by the rate control device. It is a video decoding device including a decoding unit and a superimposing unit that superimposes a signal generated by the signal generation unit on the decoded video signal decoded by the video decoding unit.
Further, one aspect of the present invention includes a first step of outputting a second video signal from which a specific component is removed from the first video signal to a computer, and a coded video in which the second video signal is encoded. The degree of removal of a specific component from the first video signal based on a control signal relating to at least one of the bit rate of the signal and the coding distortion of the decoded video signal obtained by decoding the coded video signal. This is a program for executing the second step of controlling the above, and in the first step, the specific component is subjected to an operation different from the lossy information compression process in the coding of the second video signal. It is a program to remove.
Further, one aspect of the present invention is to provide a computer with a first step of generating a signal of a specific component based on the amount of removal of the specific component calculated by the rate control device, and the coded video signal. This is a program for executing a second step of decoding and acquiring a decoded video signal, and a third step of superimposing a signal generated in the first step on the decoded video signal decoded in the second step. ..

本発明の一態様によれば、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることができる。 According to one aspect of the present invention, the bit rate can be adjusted while suppressing the distortion of the image due to the image coding.

本発明の第１の実施形態に係る映像符号化復号システムの構成を示すブロック図である。It is a block diagram which shows the structure of the video coding decoding system which concerns on 1st Embodiment of this invention. 同実施形態に係るレート制御装置の構成を示すブロック図である。It is a block diagram which shows the structure of the rate control apparatus which concerns on this embodiment. 同実施形態に係る映像復号装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image decoding apparatus which concerns on this embodiment. 本発明の第２の実施形態に係るレート制御装置の構成を示すブロック図である。It is a block diagram which shows the structure of the rate control apparatus which concerns on 2nd Embodiment of this invention. 同実施形態に係る映像復号装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image decoding apparatus which concerns on this embodiment. 本発明の第３の実施形態に係るレート制御装置の構成を示すブロック図である。It is a block diagram which shows the structure of the rate control apparatus which concerns on 3rd Embodiment of this invention. 本発明の第４の実施形態に係るレート制御装置の構成を示すブロック図である。It is a block diagram which shows the structure of the rate control apparatus which concerns on 4th Embodiment of this invention.

以下、本発明の一実施形態について、図面を参照して説明する。
[第１の実施形態]
本発明の第１の実施形態について説明する。
まず、映像符号化復号システム１の構成について説明する。
本実施形態に係る映像符号化復号システム１は、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４やＭＰＥＧ−ＨＨＥＶＣ／Ｈ．２６５等の映像符号化方式により、映像の符号化・復号を行うシステムである。なお、映像符号化方式の種類は任意であり、可逆符号化であってもよいし、非可逆符号化であってもよい。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[First Embodiment]
The first embodiment of the present invention will be described.
First, the configuration of the video coding / decoding system 1 will be described.
The video coding / decoding system 1 according to the present embodiment includes MPEG-4 AVC / H. 264 and MPEG-H HEVC / H. It is a system that encodes / decodes a video by a video coding method such as 265. The type of video coding method is arbitrary, and may be reversible coding or lossy coding.

図１は、本実施形態に係る映像符号化復号システム１の構成を示すブロック図である。
映像符号化復号システム１は、レート制御装置１０と、映像符号化装置３０と、伝送蓄積部５０と、映像復号装置７０と、を備える。レート制御装置１０と、映像符号化装置３０と映像復号装置７０とは、例えば、コンピュータシステムを備える電子機器である。 FIG. 1 is a block diagram showing a configuration of a video coding / decoding system 1 according to the present embodiment.
The video coding / decoding system 1 includes a rate control device 10, a video coding device 30, a transmission storage unit 50, and a video decoding device 70. The rate control device 10, the video coding device 30, and the video decoding device 70 are, for example, electronic devices including a computer system.

レート制御装置１０は、映像符号化装置３０と通信可能に接続され、映像符号化装置３０による映像信号の圧縮符号化のビットレートを制御する装置である。レート制御装置１０は、符号化対象の映像信号（入力映像信号）から特定の成分を除去する。特定の成分とは、周波数、波長、振幅、位相の少なくともいずれかに係る成分である。本実施形態では、一例として、特定の成分とは、高周波数の雑音成分であるとして説明する。 The rate control device 10 is a device that is communicably connected to the video coding device 30 and controls the bit rate of compression coding of the video signal by the video coding device 30. The rate control device 10 removes a specific component from the video signal (input video signal) to be encoded. The specific component is a component related to at least one of frequency, wavelength, amplitude, and phase. In the present embodiment, as an example, the specific component will be described as a high frequency noise component.

レート制御装置１０は、映像信号からの雑音成分の除去の度合い（以下、「除去度」と称する。）を、所定の制御信号に応じて制御する。これにより、レート制御装置１０は、所定の制御信号とは、符号化映像信号のビットレートと、復号映像信号の符号化歪との少なくともいずれかに係るパラメータである。 The rate control device 10 controls the degree of removal of noise components from the video signal (hereinafter, referred to as “removal degree”) according to a predetermined control signal. As a result, in the rate control device 10, the predetermined control signal is a parameter related to at least one of the bit rate of the coded video signal and the coded distortion of the decoded video signal.

レート制御装置１０は、特定の成分を除去した映像信号（以下、「雑音除去映像信号」と称する。）を、映像符号化装置３０に出力する。レート制御装置１０は、雑音成分の除去度を調整することにより、映像信号の符号化難易度（クリティカリティ）を調整することで映像信号の符号化のビットレートを制御する。除去度を高くすれば映像信号のクリティカリティが減少するため、映像符号化の発生符号量を相対的に少なくすることができ、除去度を低くすれば映像信号のクリティカリティが増加するため、映像符号化の発生符号量を相対的に大きくすることができる。これにより、レート制御装置１０は、固定ビットレートを実現することができる。ただし、レート制御装置１０は、固定ビットレートではなく、可変ビットレート（ＶＢＲ、ＶａｒｉａｂｌｅＢｉｔｒａｔｅ）としてもよいし、平均ビットレート（ＡＶＲ、ＡｖｅｒａｔｅＢｉｔｒａｔｅ）としてもよい。 The rate control device 10 outputs a video signal from which a specific component has been removed (hereinafter, referred to as a “noise-removed video signal”) to the video coding device 30. The rate control device 10 controls the coding bit rate of the video signal by adjusting the coding difficulty (criticality) of the video signal by adjusting the degree of removal of the noise component. If the degree of removal is increased, the criticality of the video signal is reduced, so that the amount of code generated for video coding can be relatively reduced, and if the degree of removal is lowered, the criticality of the video signal is increased. The amount of code generated for coding can be made relatively large. As a result, the rate control device 10 can realize a fixed bit rate. However, the rate control device 10 may have a variable bit rate (VBR, Variable Bitrate) or an average bit rate (AVR, Variable Bitrate) instead of a fixed bit rate.

映像符号化装置３０は、レート制御装置１０から雑音除去映像信号を圧縮符号化する。映像符号化装置３０は、圧縮符号化した映像信号（以下、「符号化映像信号」と称する。）のビット列を、レート制御装置１０に出力する。 The video coding device 30 compresses and encodes the noise-removed video signal from the rate control device 10. The video coding device 30 outputs a bit string of a compressed video signal (hereinafter, referred to as “coded video signal”) to the rate control device 10.

レート制御装置１０は、映像符号化装置３０から符号化映像信号のビット列を取得する。レート制御装置１０は、取得した符号化映像信号のビット列を一旦蓄積し、ビット列の順序を保ったまま伝送蓄積部５０に出力する。本実施形態では、一例として、上記の制御信号とは、レート制御装置１０による符号化映像信号のビット列の蓄積量に係るパラメータであるとして説明する。つまり、レート制御装置１０は、符号化映像信号のビット列の蓄積量に応じて、雑音成分の除去度を制御する。 The rate control device 10 acquires a bit string of the coded video signal from the video coding device 30. The rate control device 10 temporarily stores the bit strings of the acquired coded video signal, and outputs the bit strings to the transmission storage unit 50 while maintaining the order of the bit strings. In the present embodiment, as an example, the above control signal will be described as a parameter related to the amount of accumulated bit strings of the coded video signal by the rate control device 10. That is, the rate control device 10 controls the degree of removal of noise components according to the amount of accumulated bit strings of the coded video signal.

伝送蓄積部５０は、符号化映像信号のビット列、すなわち符号を伝送又は蓄積する。伝送蓄積部５０は、必要に応じ、映像符号化装置３０側で伝送路符号化や信号の変調を行う。そして、伝送蓄積部５０は、無線や有線、又はこれらの組み合わせによる伝送路を通じて信号伝送を行う。伝送蓄積部５０の映像復号装置７０側で、必要に応じて復調や伝送路復号を行い、符号を出力する。伝送蓄積部５０は、暗号化を施したり、電子署名を付加したり、他の信号との多重化や逆多重化を行ったりしてもよい。また、伝送蓄積部５０は、伝送路の途中経路において分配、交換、再変調、遅延、増幅等を行ってもよい。 The transmission storage unit 50 transmits or stores a bit string of a coded video signal, that is, a code. The transmission storage unit 50 performs transmission line coding and signal modulation on the video coding device 30 side, if necessary. Then, the transmission storage unit 50 transmits signals through a transmission line by wireless, wired, or a combination thereof. The video decoding device 70 side of the transmission storage unit 50 performs demodulation and transmission line decoding as necessary, and outputs a code. The transmission storage unit 50 may perform encryption, add an electronic signature, and perform multiplexing or demultiplexing with other signals. Further, the transmission storage unit 50 may perform distribution, exchange, remodulation, delay, amplification, etc. in the middle path of the transmission line.

また、伝送蓄積部５０は、符号を蓄積する場合、取得した符号を記憶媒体に保存する。伝送蓄積部５０は、符号の保存と同時に符号を出力してもよいし、一旦保存された符号を読み出して出力してもよい。伝送蓄積部５０は、取得した符号を記憶媒体に保存する際に、誤り訂正符号等による符号化や暗号化、電子署名付加等を行ってもよい。この記憶媒体は、固体メモリであってもよいし、磁気や光による記録媒体であってもよい。 Further, when the transmission storage unit 50 stores the code, the transmission storage unit 50 stores the acquired code in the storage medium. The transmission storage unit 50 may output the code at the same time as the code is stored, or may read out and output the code once stored. When the acquired code is stored in the storage medium, the transmission storage unit 50 may perform coding, encryption, addition of an electronic signature, or the like with an error correction code or the like. This storage medium may be a solid-state memory, or may be a magnetic or optical recording medium.

また、伝送蓄積部５０は、伝送と蓄積を複合した形態であってもよい。この場合、伝送蓄積部５０は、例えば、いわゆるクラウドのように、遠隔にある記憶媒体に符号を伝送し、当該遠隔にある記憶媒体にその符号を保存する。そして、伝送蓄積部５０は、符号の保存と同時に符号を映像復号装置７０に伝送したり、一旦保存された符号を読み出して映像復号装置７０に出力したりする。
なお、ここでは、伝送蓄積部５０は、伝送、蓄積の過程において、信号の誤りや信号劣化を生じないものとする。つまり、伝送蓄積部５０は、レート制御装置１０から取得した符号を、そのまま映像復号装置７０に出力する。 Further, the transmission storage unit 50 may be in a form in which transmission and storage are combined. In this case, the transmission storage unit 50 transmits the code to a remote storage medium, such as a so-called cloud, and stores the code in the remote storage medium. Then, the transmission storage unit 50 transmits the code to the video decoding device 70 at the same time as the code is stored, or reads the stored code and outputs it to the video decoding device 70.
Here, it is assumed that the transmission storage unit 50 does not cause a signal error or signal deterioration in the process of transmission and storage. That is, the transmission storage unit 50 outputs the code acquired from the rate control device 10 to the video decoding device 70 as it is.

映像復号装置７０は、伝送蓄積部５０から符号、すなわち符号化映像信号のビット列を取得する。映像復号装置７０は、取得した符号化映像信号のビット列を復号する。映像復号装置７０は、復号した映像信号（以下、「復号映像信号」と称する。）を、例えば、映像の再生装置等に出力する。
以上が、映像符号化復号システム１の構成についての説明である。 The video decoding device 70 acquires a code, that is, a bit string of a coded video signal from the transmission storage unit 50. The video decoding device 70 decodes the bit string of the acquired coded video signal. The video decoding device 70 outputs the decoded video signal (hereinafter, referred to as “decoded video signal”) to, for example, a video playback device or the like.
The above is the description of the configuration of the video coding / decoding system 1.

次に、レート制御装置１０の構成について説明する。
図２は、本実施形態に係るレート制御装置１０の構成を示すブロック図である。
レート制御装置１０は、雑音除去部１１と、送信バッファ１２と、制御部１３と、を備える。雑音除去部１１と、送信バッファ１２と、制御部１３とは、レート制御装置１０のＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）が記憶部に記憶されたプログラムを実行することにより実装されてよいし、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等の集積回路として実装されてもよい。 Next, the configuration of the rate control device 10 will be described.
FIG. 2 is a block diagram showing a configuration of the rate control device 10 according to the present embodiment.
The rate control device 10 includes a noise removing unit 11, a transmission buffer 12, and a control unit 13. The noise removing unit 11, the transmission buffer 12, and the control unit 13 may be implemented by the CPU (Central Processing Unit) of the rate control device 10 executing a program stored in the storage unit, or an LSI (Application). It may be implemented as an integrated circuit such as Scale Integration) and ASIC (Application Specific Integrated Circuit).

雑音除去部１１は、入力された映像信号から雑音成分を除去し、雑音除去映像信号を生成する。雑音除去部１１は、雑音除去映像信号を映像符号化装置３０に対して出力する。雑音除去部１１による雑音成分の除去度は可変である。雑音除去部１１は、後述の制御部１３から取得する制御信号ｃに応じて雑音成分の除去度を変更する。 The noise removing unit 11 removes a noise component from the input video signal and generates a noise removing video signal. The noise removing unit 11 outputs the noise removing video signal to the video coding device 30. The degree of removal of noise components by the noise removing unit 11 is variable. The noise removing unit 11 changes the degree of removing noise components according to the control signal c acquired from the control unit 13 described later.

前記雑音成分とは、撮像素子や回路で発生する熱雑音、光量が少ない場合に光の粒子性に起因して生じるショット雑音、撮像素子の画素欠陥による点状や線状の画像信号パターン（いわゆる白傷や黒傷）など、被写体本来の像から逸脱して露呈する微小な（例えば、１画素乃至１０画素程度の連結領域、あるいは１ライン又は１カラム程度の）画素値の乱れを指す。また、前記雑音成分の除去とは、映像符号化における非可逆な情報圧縮過程（例えば、直交変換係数の量子化）とは異なる演算によって、映像信号波形の特定の波形成分を除去する操作を指すものとする。 The noise component includes thermal noise generated in the image sensor or circuit, shot noise caused by the particle nature of light when the amount of light is small, and point-like or linear image signal patterns due to pixel defects of the image sensor (so-called). It refers to minute disturbance of pixel values (for example, a connection area of about 1 pixel to 10 pixels or about 1 line or 1 column) that is exposed deviating from the original image of the subject such as white scratches and black scratches. Further, the removal of the noise component refers to an operation of removing a specific waveform component of the video signal waveform by an operation different from the lossy information compression process (for example, quantization of the orthogonal conversion coefficient) in the video coding. It shall be.

ここで、雑音除去部１１による雑音成分の除去の具体例について説明する。
例えば、雑音除去部１１は、入力映像信号のフレームＩを処理対象とする。そして、フレームＩの画像座標［ｘ，ｙ］^Ｔにおける画素値を、画素値Ｉ（［ｘ，ｙ］^Ｔ）とする。上付きのＴは、行列やベクトルの転置を表す。つまり、画像座標（［ｘ，ｙ］^Ｔ）とは、列ベクトルで表現された画像座標である。雑音除去部１１は、雑音成分の除去度を示すパラメータｐに応じて雑音成分を除去し、雑音除去映像信号Ｊ_ｐを生成する。そして、雑音除去部１１は、雑音除去映像信号Ｊ_ｐを、映像符号化装置３０に出力する。
例えば、雑音除去部１１は、下記の式（１）、（２）の演算により、フレームＩを雑音除去映像信号のフレームＪ_ｐに変換する。 Here, a specific example of removing the noise component by the noise removing unit 11 will be described.
For example, the noise removing unit 11 processes the frame I of the input video signal. Then, the pixel value at the image coordinates [x, y] ^T of the frame I is defined as the pixel value I ([x, y] ^T ). The superscript T represents the transpose of a matrix or vector. That is, the image coordinates ([x, y] ^T ) are the image coordinates expressed by the column vector. Noise removal unit 11 removes the noise components according to the parameter p indicating the removal of the noise component, to generate a noise cancellation video signal J _p. Then, the noise removing unit 11 outputs the noise removing video signal _Jp to the video coding device 30.
For example, the noise removal unit 11, the following equation (1) is converted by calculation of (2), the frame I to the frame J _p denoising video signal.

ここで、ｍｅｄは中央値演算であり、領域Ｋは中央値を求める対象の座標範囲とする。また、以下では、画像Ｍを中央値画像と称する。例えば領域Ｋは、以下の式（３）に示すように設定されてよい。 Here, med is the median calculation, and the area K is the coordinate range of the object for which the median is to be obtained. In the following, the image M will be referred to as a median image. For example, the region K may be set as shown in the following equation (3).

すなわち、領域Ｋをチェビシェフ距離における半径１の円内（円周を含む）の格子点の集合とすることができる。なお、領域Ｋは、チェビシェフ距離の代わりにユークリッド距離やマンハッタン距離により設定されてもよい。また、領域Ｋは、円以外であってもよいし、円の場合には半径は１以外の正の実数（１以上とする。）であってもよい。パラメータｐは実数とし、例えば、０以上１以下の値（０≦ｐ≦１）としてよい。この場合、式（１）において、パラメータｐの値を大きくすれば大きくする程、中央値処理による雑音除去の効果が大きくなる。 That is, the region K can be a set of lattice points within a circle (including the circumference) having a radius of 1 at the Chebyshev distance. The region K may be set by the Euclidean distance or the Manhattan distance instead of the Chebyshev distance. Further, the region K may be a region other than a circle, and in the case of a circle, the radius may be a positive real number (1 or more) other than 1. The parameter p may be a real number, for example, a value of 0 or more and 1 or less (0 ≦ p ≦ 1). In this case, in the equation (1), the larger the value of the parameter p, the greater the effect of noise removal by the median processing.

雑音除去部１１は、制御部１３からの制御信号ｃの値に応じて、雑音成分の除去度を変化させる。例えば、下記の式（４）に示すように、制御信号ｃの値に応じて、実定数ａ及び実定数ｂを用いてパラメータｐを逐次更新する。 The noise removing unit 11 changes the degree of removing noise components according to the value of the control signal c from the control unit 13. For example, as shown in the following equation (4), the parameter p is sequentially updated using the real constant a and the real constant b according to the value of the control signal c.

なお、式（４）において矢印（←）は、その左辺値を右辺値で逐次更新することを表す。この逐次更新のタイミングは、例えばフレーム単位とする。実定数ａは、「−１」以上ゼロ未満の値（−１≦ａ＜０）としてよい。また、実定数ｂは、（０＜ｂ≦＋１）としてよい。例えば、実定数ａ、ｂの値は、下記の式（５）、（６）のように設定してよい。 In the equation (4), the arrow (←) indicates that the lvalue is sequentially updated with the rvalue. The timing of this sequential update is, for example, in frame units. The real constant a may be a value (-1 ≦ a <0) of “-1” or more and less than zero. Further, the real constant b may be (0 <b ≦ + 1). For example, the values of the real constants a and b may be set as in the following equations (5) and (6).

なお、雑音除去部１１による雑音成分の除去方法は、上述した中央値演算に限られない。例えば、雑音除去部１１は、低域通過型フィルタにより雑音成分を除去してもよい。この場合、例えば低域通過型フィルタの遮断周波数をパラメータｐによって制御してもよい。この場合、パラメータｐが大きい程、遮断周波数を小さくするようにしてよい。また、例えば、ガウシアンフィルタによる低域通過型フィルタの分散値をパラメータｐに応じて制御してもよい。この場合、パラメータｐが大きい程、分散値が大きくなるようにしてもよい。 The method for removing the noise component by the noise removing unit 11 is not limited to the median calculation described above. For example, the noise removing unit 11 may remove a noise component by a low frequency passing filter. In this case, for example, the cutoff frequency of the low-pass filter may be controlled by the parameter p. In this case, the larger the parameter p, the smaller the cutoff frequency may be. Further, for example, the dispersion value of the low-pass type filter by the Gaussian filter may be controlled according to the parameter p. In this case, the larger the parameter p, the larger the variance value may be.

送信バッファ１２は、映像符号化装置３０から取得した符号化映像信号のビット列を一時的に記憶するメモリである。例えば、送信バッファは、ＦＩＦＯ型メモリである。送信バッファ１２は、メモリ内に保持したビット列を、その順序を保ったまま適切なタイミングで順次出力する。ここで、適切なタイミングとは、例えば一定のビットレートであってもよいし、伝送蓄積部５０のデータ輻輳状況に応じたタイミングであってもよい。 The transmission buffer 12 is a memory that temporarily stores a bit string of a coded video signal acquired from the video coding device 30. For example, the transmit buffer is a FIFO type memory. The transmission buffer 12 sequentially outputs the bit strings held in the memory at an appropriate timing while maintaining the order. Here, the appropriate timing may be, for example, a constant bit rate or a timing according to the data congestion state of the transmission storage unit 50.

また、送信バッファ１２は、未送信量情報を制御部１３へ出力する。
未送信量情報とは、送信バッファ１２に蓄積され、未送信のデータの総量に関する情報である。例えば、未送信量情報とは、送信バッファ１２内に蓄積されている未送信のデータの量そのものを示す情報であってもよいし、送信バッファ１２内に蓄積されている未送信のデータの量が１、又は、複数の閾値を超えているか否かを示すフラグ情報であってもよい。以下では、一例として、未送信量情報とは、送信バッファ１２内に蓄積されている未送信のデータの量を示す情報であるとして説明する。また、送信バッファ１２内に蓄積されている未送信のデータの量を、未送信データ量ｕとし、送信バッファの記憶可能な最大容量を、容量Ｂとして説明する。 Further, the transmission buffer 12 outputs untransmitted amount information to the control unit 13.
The untransmitted amount information is information regarding the total amount of untransmitted data stored in the transmission buffer 12. For example, the untransmitted amount information may be information indicating the amount of untransmitted data stored in the transmission buffer 12 itself, or the amount of untransmitted data stored in the transmission buffer 12. May be flag information indicating whether or not one or a plurality of threshold values are exceeded. In the following, as an example, the untransmitted amount information will be described as information indicating the amount of untransmitted data stored in the transmission buffer 12. Further, the amount of untransmitted data stored in the transmission buffer 12 will be referred to as the untransmitted data amount u, and the maximum storable capacity of the transmission buffer will be described as the capacity B.

制御部１３は、未送信データ量ｕの多寡に応じて後述する雑音除去部１１を制御するための制御信号ｃを生成する。
例えば、制御信号ｃは、未送信データ量ｕの増減に応じて３つの値をとる。具体的には、制御信号ｃは、増加の場合「１」（ｃ＝１）、保持の場合「０」（ｃ＝０）、減少の場合「−１」（ｃ＝−１）である。また、別の例では、未送信データ量ｕがない場合（ｕ＝０）、制御信号ｃを「１」（ｃ＝−１）とし、未送信データ量ｕが所定の閾値ｋ・Ｂ以下の場合（０＜ｕ≦ｋ・Ｂ）、制御信号ｃを「０」（ｃ＝０）とし、未送信データ量ｕが所定の閾値より大きい場合（ｕ＞ｋＢ）、制御信号ｃを「１」（ｃ＝１）としてもよい。このとき、係数ｋは０より大きく１以下（０＜ｋ≦１）の実定数とする。例えば、係数ｋの値は「０．８」（ｋ＝０．８）であってもよい。
以上が、レート制御装置１０の構成についての説明である。 The control unit 13 generates a control signal c for controlling the noise removal unit 11, which will be described later, according to the amount of untransmitted data u.
For example, the control signal c takes three values according to the increase / decrease in the amount of untransmitted data u. Specifically, the control signal c is "1" (c = 1) in the case of increase, "0" (c = 0) in the case of holding, and "-1" (c = -1) in the case of decrease. In another example, when there is no untransmitted data amount u (u = 0), the control signal c is set to “1” (c = -1), and the untransmitted data amount u is equal to or less than a predetermined threshold k · B. In the case (0 <u ≦ k · B), the control signal c is set to “0” (c = 0), and when the amount of untransmitted data u is larger than a predetermined threshold (u> kB), the control signal c is set to “1”. (C = 1) may be set. At this time, the coefficient k is a real constant larger than 0 and 1 or less (0 <k ≦ 1). For example, the value of the coefficient k may be "0.8" (k = 0.8).
The above is the description of the configuration of the rate control device 10.

ここで、係数ｋの値が「０．８」（ｋ＝０．８）の場合の雑音の除去度の制御の具体例について説明する。送信バッファ１２が空（ｕ＝０）の場合には、制御信号ｃは「−１」（ｃ＝−１）となり、制御部１３は、雑音成分の除去度が下がるように雑音除去部１１を制御する。これにより、発生符号量が増加し、映像の劣化が抑制される。未送信データ量ｕが送信バッファ１２の容量Ｂの８割を超えた場合（ｕ＞ｋＢ）には、制御信号ｃは「１」（ｃ＝１）となり、制御部１３は、雑音成分の除去度が上がるように雑音除去部１１を制御する。これにより、発生符号量が低下する。その他の場合（０＜ｕ≦ｋ・Ｂ）には、制御部１３は、雑音成分の除去度が現状のまま維持されるように雑音除去部１１を制御する。
以上が、係数ｋの値が「０．８」（ｋ＝０．８）の場合の雑音の除去度の制御の具体例についての説明である。 Here, a specific example of controlling the degree of noise removal when the value of the coefficient k is “0.8” (k = 0.8) will be described. When the transmission buffer 12 is empty (u = 0), the control signal c becomes “-1” (c = -1), and the control unit 13 sets the noise removal unit 11 so that the degree of noise component removal is reduced. Control. As a result, the amount of generated code increases and deterioration of the image is suppressed. When the amount of untransmitted data u exceeds 80% of the capacity B of the transmission buffer 12 (u> kB), the control signal c becomes “1” (c = 1), and the control unit 13 removes the noise component. The noise removing unit 11 is controlled so as to increase the degree. As a result, the amount of generated code decreases. In other cases (0 <u ≦ k · B), the control unit 13 controls the noise removal unit 11 so that the degree of removal of the noise component is maintained as it is.
The above is a description of a specific example of controlling the degree of noise removal when the value of the coefficient k is "0.8" (k = 0.8).

次に、映像復号装置７０の構成について説明する。
図３は、映像復号装置７０の構成を示すブロック図である。
映像復号装置７０は、映像復号部７１を備える。
映像復号部７１は、映像符号化装置３０（映像符号化部）と対をなす構成である。映像復号部７１は、伝送蓄積部５０を介して、レート制御装置１０から出力された符号化映像信号のビット列を取得する。映像復号部７１は、符号化映像信号を復号し、復号映像信号Ｒを生成する。映像復号部７１は、復号映像信号Ｒを、表示装置等に出力する。
以上が、映像復号装置７０の構成についての説明である。 Next, the configuration of the video decoding device 70 will be described.
FIG. 3 is a block diagram showing the configuration of the video decoding device 70.
The video decoding device 70 includes a video decoding unit 71.
The video decoding unit 71 is configured to be paired with the video coding device 30 (video coding unit). The video decoding unit 71 acquires a bit string of the coded video signal output from the rate control device 10 via the transmission storage unit 50. The video decoding unit 71 decodes the encoded video signal and generates the decoded video signal R. The video decoding unit 71 outputs the decoded video signal R to a display device or the like.
The above is a description of the configuration of the video decoding device 70.

従来のレート制御装置は、発生符号量の多寡に応じて量子化パラメータを変更することにより、ビットレートを調整していた。そのため、従来のレート制御装置では、フレーム間でブロック歪の増減が生じることになり、目立ちやすかった。 In the conventional rate control device, the bit rate is adjusted by changing the quantization parameter according to the amount of generated code. Therefore, in the conventional rate control device, the block distortion increases or decreases between frames, which is easily noticeable.

これに対して、本実施形態に係るレート制御装置１０は、第１の映像信号（例えば、入力映像信号）から特定の成分（例えば、雑音成分）を除去した第２の映像信号（例えば、雑音除去映像信号）を出力する雑音除去部１１と、前記第２の映像信号を符号化した符号化映像信号のビットレートに係る制御信号に基づいて、前記雑音除去部１１による特定の成分の除去の度合いを制御する制御部１３と、を備え、雑音除去部１１は、前記第２の映像信号の符号化における非可逆な情報圧縮過程とは異なる演算によって前記特定の成分を除去する。 On the other hand, the rate control device 10 according to the present embodiment has a second video signal (for example, noise) obtained by removing a specific component (for example, a noise component) from the first video signal (for example, an input video signal). Based on the noise removing unit 11 that outputs the removed video signal) and the control signal related to the bit rate of the coded video signal that encodes the second video signal, the noise removing unit 11 removes a specific component. A control unit 13 for controlling the degree is provided, and the noise removal unit 11 removes the specific component by an operation different from the lossy information compression process in the coding of the second video signal.

つまり、レート制御装置１０は、入力映像信号から特定の成分を除去して発生符号量を抑制する。また、レート制御装置１０は、発生符号量の多寡に応じて、特定の成分の除去の度合いを制御し、発生符号量を調整する。そのため、レート制御装置１０は、ビットレートの制御を行いながらも、フレーム間で、量子化パラメータの増減に起因するブロック歪の増減を生じない。従って、レート制御装置１０は、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることができる。つまり、映像符号化復号システム１は、レート制御によって生じる画質の時間的変化をブロック歪のような目立つものではなく、例えば、より目立ちにくい雑音量の増減とするため、主観的な映像の品質を向上することができる。 That is, the rate control device 10 removes a specific component from the input video signal to suppress the generated code amount. Further, the rate control device 10 controls the degree of removal of a specific component according to the amount of generated code amount, and adjusts the generated code amount. Therefore, the rate control device 10 does not increase or decrease the block distortion due to the increase or decrease of the quantization parameter between frames while controlling the bit rate. Therefore, the rate control device 10 can adjust the bit rate while suppressing the distortion of the image due to the image coding. That is, in the video coding / decoding system 1, the temporal change in image quality caused by rate control is not conspicuous like block distortion, but for example, the amount of noise that is less conspicuous is increased or decreased, so that the subjective image quality is improved. Can be improved.

また、レート制御装置１０において、前記特定の成分とは、雑音成分であり、雑音除去部１１は、パラメータによって除去の強度が可変な中央値フィルタ又は低域通過型フィルタを用いて前記雑音成分を除去する。
雑音成分は、被写体本来の像から逸脱して露呈する微小な画素値の乱れであるため、中央値フィルタや低域通過型フィルタにより除去することが可能である。従って、レート制御装置１０は、量子化パラメータを変更して発生符号量を調整する場合に比して、映像の品質を維持したままレート制御を行うことができる。 Further, in the rate control device 10, the specific component is a noise component, and the noise removing unit 11 uses a median filter or a low frequency passing filter whose removal intensity is variable depending on a parameter to remove the noise component. Remove.
Since the noise component is a minute disturbance of the pixel value that deviates from the original image of the subject and is exposed, it can be removed by a median filter or a low-pass filter. Therefore, the rate control device 10 can perform rate control while maintaining the quality of the image, as compared with the case where the generated code amount is adjusted by changing the quantization parameter.

また、レート制御装置１０は、前記符号化映像信号を一時的に蓄積する送信バッファ１２、を備え、前記制御信号とは、前記送信バッファ１２による前記符号化映像信号の蓄積量（例えば、未送信データ量ｕ）に係る信号である。
つまり、レート制御装置１０は、符号化映像信号の発生符号量や伝送蓄積部５０のデータ輻輳状況に応じて、特定の成分の除去の度合いを制御する。従って、レート制御装置１０は、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることができる。 Further, the rate control device 10 includes a transmission buffer 12 for temporarily storing the coded video signal, and the control signal is the amount of the coded video signal stored by the transmission buffer 12 (for example, untransmitted). This is a signal related to the amount of data u).
That is, the rate control device 10 controls the degree of removal of a specific component according to the generated code amount of the coded video signal and the data congestion status of the transmission storage unit 50. Therefore, the rate control device 10 can adjust the bit rate while suppressing the distortion of the image due to the image coding.

［第２の実施形態］
本発明の第２の実施形態について説明する。ここでは、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る映像符号化復号システム１Ａ（不図示）は、映像符号化復号システム１と同様に、映像の符号化・復号を行うシステムである。ただし、映像符号化復号システム１Ａは、入力映像信号から除去した雑音成分の量（除去量）を演算し、除去量に応じた雑音を復号時に加える。これにより、符号化時の発生符号量を抑制しつつ、復号時に入力映像信号の質感を再現することができる。 [Second Embodiment]
A second embodiment of the present invention will be described. Here, the same reference numerals are given to the same configurations as those in the above-described embodiment, and the description is incorporated.
The video coding / decoding system 1A (not shown) according to the present embodiment is a system that encodes / decodes a video in the same manner as the video coding / decoding system 1. However, the video coding / decoding system 1A calculates the amount (removal amount) of the noise component removed from the input video signal, and adds noise according to the removal amount at the time of decoding. As a result, it is possible to reproduce the texture of the input video signal at the time of decoding while suppressing the amount of code generated at the time of coding.

次に、映像符号化復号システム１Ａの構成について説明する。
映像符号化復号システム１Ａは、映像符号化復号システム１が備えるレート制御装置１０と映像復号装置７０とに代えて、レート制御装置１０Ａと映像復号装置７０Ａとを備える。 Next, the configuration of the video coding / decoding system 1A will be described.
The video coding / decoding system 1A includes a rate control device 10A and a video decoding device 70A in place of the rate control device 10 and the video decoding device 70 included in the video coding / decoding system 1.

図４は、レート制御装置１０Ａの構成を示すブロック図である。
レート制御装置１０Ａは、レート制御装置１０が備える各種構成に加え、雑音電力演算部１４Ａと、多重化部１５Ａと、を備える。
雑音電力演算部１４Ａは、入力映像信号と、雑音除去映像信号との間で、映像フレームを比較し、雑音成分の除去量を定量化する。例えば、雑音電力演算部１４Ａは、入力映像信号のフレームＩと、雑音除去映像信号のフレームＪ_ｐとに基づき、雑音電力Ｐを演算する。そして、雑音電力演算部１４Ａは、雑音電力Ｐを示す情報（すなわち、除去量に関する情報）を、多重化部１５Ａに出力する。この除去量に関する情報とは、雑音成分の除去に伴う画質変化を、復号時に補償するための情報である。雑音電力Ｐは、例えば、下記の式（７）により演算する。 FIG. 4 is a block diagram showing the configuration of the rate control device 10A.
The rate control device 10A includes a noise power calculation unit 14A and a multiplexing unit 15A in addition to various configurations included in the rate control device 10.
The noise power calculation unit 14A compares the video frames between the input video signal and the noise-removing video signal, and quantifies the amount of noise component removed. For example, the noise power calculation unit 14A includes a frame I of the input video signal, based on the frame J _p denoising video signal, it calculates the noise power P. Then, the noise power calculation unit 14A outputs information indicating the noise power P (that is, information regarding the amount of removal) to the multiplexing unit 15A. The information regarding the amount of removal is information for compensating for a change in image quality due to removal of a noise component at the time of decoding. The noise power P is calculated by, for example, the following equation (7).

多重化部１５Ａは、送信バッファ１２から読み出した符号化映像信号のビット列と、雑音電力演算部１４Ａから取得した除去量に関する情報と、を多重化したビット列を、伝送蓄積部５０に出力する。なお、多重化部１５Ａは、除去量に関する情報をそのまま多重化してもよいし、量子化してから多重化してもよい。また、多重化部１５Ａは、除去量に関する情報を、予測符号化やエントロピー符号化してから多重化してもよいし、予測符号化の後にエントロピー符号化して多重化してもよい。 The multiplexing unit 15A outputs to the transmission storage unit 50 a bit string obtained by multiplexing the bit string of the coded video signal read from the transmission buffer 12 and the information on the removal amount acquired from the noise power calculation unit 14A. The multiplexing unit 15A may multiplex the information regarding the removal amount as it is, or may quantize and then multiplex the information. Further, the multiplexing unit 15A may multiplex the information regarding the removal amount after predictive coding or entropy coding, or may perform entropy coding and multiplexing after the predictive coding.

図５は、映像復号装置７０Ａの構成を示すブロック図である。
映像復号装置７０Ａは、映像復号装置７０が備える各種構成に加えて、逆多重化部７２Ａと、雑音発生部７３Ａと、重畳部７４Ａと、を備える。
逆多重化部７２Ａは、レート制御装置１０Ａの多重化部１５Ａにより多重化されたビット列から、符号化映像信号のビット列と、雑音成分の除去量に関する情報と、を分離する。逆多重化部７２Ａは、分離した符号化映像信号のビット列を、映像復号部７１に出力する。また、逆多重化部７２Ａは、雑音成分の除去量に関する情報を雑音発生部７３Ａに出力する。 FIG. 5 is a block diagram showing the configuration of the video decoding device 70A.
The video decoding device 70A includes a demultiplexing unit 72A, a noise generating unit 73A, and a superimposing unit 74A, in addition to the various configurations included in the video decoding device 70.
The demultiplexing unit 72A separates the bit string of the coded video signal and the information regarding the amount of noise component removed from the bit string multiplexed by the multiplexing unit 15A of the rate control device 10A. The demultiplexing unit 72A outputs the bit string of the separated coded video signal to the video decoding unit 71. Further, the demultiplexing unit 72A outputs information regarding the amount of noise component removed to the noise generating unit 73A.

雑音発生部７３Ａは、逆多重化部７２Ａから雑音成分の除去量に関する情報を取得する。雑音発生部７３Ａは、雑音成分の除去量に関する情報に基づき、雑音信号Ｎを生成する。例えば、雑音発生部７３Ａは、雑音電力Ｐに応じた分散値を有する雑音を生成し、これを画像化したものを雑音信号Ｎとする。雑音発生部７３Ａは、例えば、ガウス雑音を生成する。雑音発生部７３Ａは、生成した雑音信号Ｎを、重畳部７４Ａに出力する。 The noise generating unit 73A acquires information regarding the amount of noise component removed from the demultiplexing unit 72A. The noise generation unit 73A generates a noise signal N based on the information regarding the amount of noise component removed. For example, the noise generation unit 73A generates noise having a dispersion value corresponding to the noise power P, and an image of this is referred to as a noise signal N. The noise generating unit 73A generates, for example, Gaussian noise. The noise generation unit 73A outputs the generated noise signal N to the superimposition unit 74A.

重畳部７４Ａは、映像復号部７１から復号映像信号Ｒを取得する。重畳部７４Ａは、雑音発生部７３Ａから雑音信号Ｎを取得する。重畳部７４Ａは、復号映像信号Ｒと、雑音信号Ｎと、を重畳し、出力映像信号Ｏとして出力する。例えば、重畳部７４Ａは、下記の式（８）に示すように、復号映像信号Ｒと、雑音信号Ｎと、を加算処理することにより重畳してよい。 The superimposing unit 74A acquires the decoded video signal R from the video decoding unit 71. The superimposing unit 74A acquires the noise signal N from the noise generating unit 73A. The superimposition unit 74A superimposes the decoded video signal R and the noise signal N and outputs the output video signal O. For example, the superimposition unit 74A may superimpose the decoded video signal R and the noise signal N by performing addition processing as shown in the following equation (8).

以上が、映像符号化復号システム１Ａの構成についての説明である。
以上説明したように、レート制御装置１０Ａは、雑音除去部１１による特定の信号成分（例えば、雑音成分）の除去量を演算する雑音電力演算部１４Ａ、を備える。
また、映像復号装置７０Ａは、レート制御装置１０Ａが演算した特定の成分の前記除去量に基づいて、特定の成分の信号を発生する雑音発生部７３Ａと、前記符号化映像信号を復号する映像復号部７１と、前記復号部が復号した前記復号映像信号に、前記信号発生部が発生した信号を重畳する重畳部７４Ａと、を備える映像復号装置である。 The above is the description of the configuration of the video coding / decoding system 1A.
As described above, the rate control device 10A includes a noise power calculation unit 14A that calculates the amount of removal of a specific signal component (for example, a noise component) by the noise removal unit 11.
Further, the video decoding device 70A includes a noise generating unit 73A that generates a signal of a specific component based on the removal amount of the specific component calculated by the rate control device 10A, and a video decoding unit that decodes the coded video signal. This is a video decoding device including a unit 71 and a superimposing unit 74A that superimposes a signal generated by the signal generating unit on the decoded video signal decoded by the decoding unit.

つまり、レート制御装置１０Ａは、入力映像信号から除去された成分の量を特定する。例えば、レート制御装置１０Ａは、符号化映像信号のビット列とともに雑音量の増減に伴う画質変化を補償するための情報を付して送信することができる。そして、映像復号装置７０Ａは、レート制御装置１０Ａにより除去された量の成分を、復号映像信号に追加する。つまり、映像復号装置７０Ａは、例えば、符号化映像信号に対して符号化の前に除去された雑音量を補うことができる。従って、映像符号化復号システム１Ａは、雑音除去処理、符号化・復号処理による映像の時間的な質感の変化を抑制し、主観的な画質を向上することができる。 That is, the rate control device 10A specifies the amount of components removed from the input video signal. For example, the rate control device 10A can transmit the coded video signal with a bit string and information for compensating for a change in image quality due to an increase or decrease in the amount of noise. Then, the video decoding device 70A adds an amount of components removed by the rate control device 10A to the decoded video signal. That is, the video decoding device 70A can supplement, for example, the amount of noise removed before coding the coded video signal. Therefore, the video coding / decoding system 1A can suppress changes in the texture of the video over time due to noise removal processing and coding / decoding processing, and can improve subjective image quality.

［第３の実施形態］
本発明の第３の実施形態について説明する。ここでは、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る映像符号化復号システム１Ｂ（不図示）は、映像符号化復号システム１Ａと同様に、映像の符号化・復号を行うシステムであり、除去量に応じた雑音を復号時に加える。ただし、映像符号化復号システム１Ａは、入力映像信号と、雑音除去映像信号との比較により除去量を演算したのに対して、映像符号化復号システム１Ｂは、入力映像信号と、復号映像信号との比較により除去量を演算する点が異なる。 [Third Embodiment]
A third embodiment of the present invention will be described. Here, the same reference numerals are given to the same configurations as those in the above-described embodiment, and the description is incorporated.
The video coding / decoding system 1B (not shown) according to the present embodiment is a system that encodes / decodes a video like the video coding / decoding system 1A, and adds noise according to the amount of removal at the time of decoding. However, the video coding / decoding system 1A calculates the removal amount by comparing the input video signal with the noise-removing video signal, whereas the video coding / decoding system 1B has the input video signal and the decoded video signal. The difference is that the removal amount is calculated by comparing.

次に、映像符号化復号システム１Ｂの構成について説明する。
映像符号化復号システム１Ｂは、映像符号化復号システム１Ａが備えるレート制御装置１０Ａに代えてレート制御装置１０Ｂを備える。
図６は、レート制御装置１０Ｂの構成を示すブロック図である。
レート制御装置１０Ｂは、レート制御装置１０Ａが備える各種構成に加え、映像復号部１６Ｂを備える。 Next, the configuration of the video coding / decoding system 1B will be described.
The video coding / decoding system 1B includes a rate control device 10B instead of the rate control device 10A included in the video coding / decoding system 1A.
FIG. 6 is a block diagram showing the configuration of the rate control device 10B.
The rate control device 10B includes a video decoding unit 16B in addition to various configurations included in the rate control device 10A.

映像復号部１６Ｂは、映像復号部７１と同様の構成である。映像復号部１６Ｂは、復号映像信号を、雑音電力演算部１４Ａに出力する。
本実施形態に係る雑音電力演算部１４Ａは、雑音除去映像信号のフレームに代えて、映像復号部１６Ｂから取得する復号映像信号のフレームを用い、雑音電力Ｐを演算する。これにより、映像復号装置７０Ａは、雑音成分の除去量に応じた雑音を、復号映像信号に加えることができる。
以上が、映像符号化復号システム１Ｂの構成についての説明である。 The video decoding unit 16B has the same configuration as the video decoding unit 71. The video decoding unit 16B outputs the decoded video signal to the noise power calculation unit 14A.
The noise power calculation unit 14A according to the present embodiment calculates the noise power P by using the frame of the decoded video signal acquired from the video decoding unit 16B instead of the frame of the noise removal video signal. As a result, the video decoding device 70A can add noise to the decoded video signal according to the amount of noise component removed.
The above is the description of the configuration of the video coding / decoding system 1B.

このように、レート制御装置１０Ｂは、復号時に追加する特定の成分の量を、入力映像信号と、符号化・復号処理後の映像信号との比較により特定してもよい。 As described above, the rate control device 10B may specify the amount of the specific component to be added at the time of decoding by comparing the input video signal with the video signal after the coding / decoding processing.

［第４の実施形態］
本発明の第４の実施形態について説明する。ここでは、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る映像符号化復号システム１Ｃ（不図示）は、映像符号化復号システム１と同様に、映像の符号化・復号を行うシステムである。ただし、映像符号化復号システム１は、送信バッファ１２の未送信データ量ｕに基づいて、入力映像信号からの雑音成分の除去度を制御したのに対して、映像符号化復号システム１Ｃは、符号化映像信号の符号化歪に基づいて、雑音成分の除去度を制御する点が異なる。 [Fourth Embodiment]
A fourth embodiment of the present invention will be described. Here, the same reference numerals are given to the same configurations as those in the above-described embodiment, and the description is incorporated.
The video coding / decoding system 1C (not shown) according to the present embodiment is a system that encodes / decodes a video in the same manner as the video coding / decoding system 1. However, the video coding / decoding system 1 controls the degree of removal of noise components from the input video signal based on the amount of untransmitted data u in the transmission buffer 12, whereas the video coding / decoding system 1C has a code. The difference is that the degree of removal of noise components is controlled based on the coding distortion of the converted video signal.

次に、映像符号化復号システム１Ｃの構成について説明する。
映像符号化復号システム１Ｃは、映像符号化復号システム１が備えるレート制御装置１０に代えてレート制御装置１０Ｃを備える。
図７は、レート制御装置１０Ｃの構成を示すブロック図である。
レート制御装置１０Ｃは、レート制御装置１０が備える制御部１３に代えて、制御部１３Ｃを備える。また、レート制御装置１０Ｃは、レート制御装置１０が備える各種構成に加え、映像復号部１６Ｂを備える。 Next, the configuration of the video coding / decoding system 1C will be described.
The video coding / decoding system 1C includes a rate control device 10C instead of the rate control device 10 included in the video coding / decoding system 1.
FIG. 7 is a block diagram showing the configuration of the rate control device 10C.
The rate control device 10C includes a control unit 13C instead of the control unit 13 included in the rate control device 10. Further, the rate control device 10C includes a video decoding unit 16B in addition to various configurations included in the rate control device 10.

制御部１３Ｃは、送信バッファ１２の未送信データ量ｕに代えて、符号化歪に基づいて制御信号ｃを決定する。制御部１３Ｃは、任意の方法により符号化歪を演算してよい。例えば、制御部１３Ｃは、雑音除去映像信号と、復号映像信号との比較により符号化歪を演算してよい。具体的には、ＨＥＶＣＴｅｓｔＭｏｄｅｌにおける歪評価関数を用いて符号化歪を演算してよい。そして、制御部１３Ｃは、例えば、符号化歪が大きい場合には、制御信号ｃの値を「−１」（ｃ＝−１）とし、符号化歪が小さい場合には、制御信号ｃの値を「１」（ｃ＝１）としてよい。これにより、映像復号装置７０Ａは、符号化歪に基づいて雑音成分の除去度を制御することができる。
以上が、映像符号化復号システム１Ｃの構成についての説明である。 The control unit 13C determines the control signal c based on the coding distortion instead of the untransmitted data amount u of the transmission buffer 12. The control unit 13C may calculate the coding distortion by any method. For example, the control unit 13C may calculate the coding distortion by comparing the noise-removed video signal with the decoded video signal. Specifically, the coded distortion may be calculated using the distortion evaluation function in the HEVC Test Model. Then, for example, when the coding distortion is large, the control unit 13C sets the value of the control signal c to "-1" (c = -1), and when the coding distortion is small, the value of the control signal c. May be "1" (c = 1). As a result, the video decoding device 70A can control the degree of removal of noise components based on the coding distortion.
The above is the description of the configuration of the video coding / decoding system 1C.

このように、レート制御装置１０Ｃは、送信バッファ１２の未送信データ量ｕ以外にも、符号化歪の程度に応じて特定の成分の除去の度合いを制御してもよい。この場合も、レート制御装置１０Ｃは、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることができる。 As described above, the rate control device 10C may control the degree of removal of a specific component according to the degree of coding distortion in addition to the amount of untransmitted data u in the transmission buffer 12. In this case as well, the rate control device 10C can adjust the bit rate while suppressing the distortion of the image due to the image coding.

［変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第１〜４の実施形態において説明した各構成は、任意に組み合わせることができる。また、例えば、上述の第１〜第４において説明した各構成は、別体の装置に分離して備えられてもよい。
例えば、制御信号ｃは、第１の実施形態で説明した送信バッファ１２の未送信データ量ｕと、第４の実施形態で説明した符号化歪との両方に基づいて決定されてもよい。例えば、制御信号ｃは、Ｒ−Ｄ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）コストに基づいて決定されてよい。 [Modification example]
Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to the above-described embodiments, and includes designs and the like within a range that does not deviate from the gist of the present invention. For example, the configurations described in the first to fourth embodiments described above can be arbitrarily combined. Further, for example, each of the configurations described in the first to fourth above may be separately provided in a separate device.
For example, the control signal c may be determined based on both the untransmitted data amount u of the transmission buffer 12 described in the first embodiment and the coding distortion described in the fourth embodiment. For example, the control signal c may be determined based on the RD (Rate-Distortion) cost.

また、上述のレート制御装置１０、１０Ａ、１０Ｂ、１０Ｃ、映像符号化装置３０、映像復号装置７０、７０Ａの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりレート制御装置１０、１０Ａ、１０Ｂ、１０Ｃ、映像符号化装置３０、映像復号装置７０、７０Ａとしての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 Further, a program for realizing the functions of the rate control devices 10, 10A, 10B, 10C, the video coding device 30, the video decoding device 70, and 70A described above is recorded on a computer-readable recording medium, and the recording medium is recorded. The program recorded in the above may be read into a computer system and executed to perform processing as the rate control devices 10, 10A, 10B, 10C, the video coding device 30, and the video decoding devices 70, 70A. Here, "loading a computer system a program recorded on a recording medium and executing it" includes installing the program in the computer system. The term "computer system" as used herein includes hardware such as an OS and peripheral devices. Further, the "computer system" may include a plurality of computer devices connected via a network including a communication line such as the Internet, WAN, LAN, and a dedicated line. Further, the "computer-readable recording medium" refers to a storage device such as a flexible disk, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, or a hard disk built in a computer system. As described above, the recording medium in which the program is stored may be a non-transient recording medium such as a CD-ROM. The recording medium also includes a recording medium provided inside or outside that can be accessed from the distribution server for distributing the program. The code of the program stored in the recording medium of the distribution server may be different from the code of the program in a format that can be executed by the terminal device. That is, the format stored in the distribution server does not matter as long as it can be downloaded from the distribution server and installed in a form that can be executed by the terminal device. The program may be divided into a plurality of parts, downloaded at different timings, and then combined by the terminal device, or the distribution server that distributes each of the divided programs may be different. Furthermore, a "computer-readable recording medium" is a volatile memory (RAM) inside a computer system that serves as a server or client when a program is transmitted via a network, and holds the program for a certain period of time. It shall include things. Further, the above program may be for realizing a part of the above-mentioned functions. Further, a so-called difference file (difference program) may be used, which can realize the above-mentioned functions in combination with a program already recorded in the computer system.

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to the above, and various design changes and the like can be made without departing from the gist of the present invention. It is possible to do.

１、１Ａ、１Ｂ、１Ｃ…映像符号化復号システム、１０、１０Ａ、１０Ｂ、１０Ｃ…レート制御装置、３０…映像符号化装置、５０…伝送蓄積部、７０、７０Ａ…映像復号装置、１１…雑音除去部、１２…送信バッファ、１３、１３Ｃ…制御部、１４Ａ…雑音電力演算部、１５Ａ…多重化部、１６Ｂ…映像復号部、７１…映像復号部、７２Ａ…逆多重化部、７３Ａ…雑音発生部、７４Ａ…重畳部 1, 1A, 1B, 1C ... Video coding / decoding system, 10, 10A, 10B, 10C ... Rate control device, 30 ... Video coding device, 50 ... Transmission storage unit, 70, 70A ... Video decoding device, 11 ... Noise Removal unit, 12 ... Transmission buffer, 13, 13C ... Control unit, 14A ... Noise power calculation unit, 15A ... Multiplexing unit, 16B ... Video decoding unit, 71 ... Video decoding unit, 72A ... Demultiplexing unit, 73A ... Noise Generating part, 74A ... Superimposing part

Claims

A signal processing unit that outputs a second video signal from which a specific component is removed from the first video signal, and
The signal is based on a control signal related to at least one of a bit rate of a coded video signal in which the second video signal is encoded and a coding distortion of a decoded video signal obtained by decoding the coded video signal. A control unit that controls the degree of removal of a specific component by the processing unit,
With
The signal processing unit removes the specific component by an operation different from the lossy information compression process in the coding of the second video signal.
The specific component is a noise component and is
The signal processing unit is intended for removing the noise component by using a variable median filter strength removed by parameters,
The signal processing unit converts the first video signal into the second video signal by the calculation of the following equations (1) and (2) (however, med is a median calculation and the area K is a region K. It is the coordinate range of the object for which the median is to be obtained, I is the frame of the first video signal, Jp is the frame of the second video signal, and p is a parameter indicating the strength of the removal of the noise component ( 0 ≦ p ≦ 1)),

Rate control device.

The region K is as shown in the formula (3) below.

The rate control device according to claim 1 .

The signal processing unit updates the parameter p according to the value of the control signal from the control unit as shown in the following equation (4) (where c is the value of the control signal and a is -1. ≤a <0 real constant, b is 0 <b≤1 real constant),

The rate control device according to claim 1 or 2 .

An arithmetic unit that calculates the amount of removal of a specific signal component by the signal processing unit,
The rate control device according to any one of claims 1 to 3 .

A storage unit for temporarily storing the coded video signal is provided.
The control signal is a signal related to the amount of storage of the coded video signal by the storage unit.
The rate control device according to any one of claims 1 to 4 .

A signal generating unit that generates a signal of a specific component based on the removal amount of the specific component calculated by the rate control device according to claim 4 .
A video decoding unit that decodes the coded video signal,
A superimposing unit that superimposes a signal generated by the signal generating unit on the decoded video signal decoded by the video decoding unit.
A video decoding device including.

Computer,
The rate control device according to any one of claims 1 to 5 .
A program to function as.

Computer,
The video decoding apparatus according to claim 6 .
A program to function as.