JP5477575B2 - Compression decoding method for super-resolution control and compression decoding circuit for super-resolution control - Google Patents

Compression decoding method for super-resolution control and compression decoding circuit for super-resolution control Download PDF

Info

Publication number
JP5477575B2
JP5477575B2 JP2010037276A JP2010037276A JP5477575B2 JP 5477575 B2 JP5477575 B2 JP 5477575B2 JP 2010037276 A JP2010037276 A JP 2010037276A JP 2010037276 A JP2010037276 A JP 2010037276A JP 5477575 B2 JP5477575 B2 JP 5477575B2
Authority
JP
Japan
Prior art keywords
super
video signal
resolution
compression
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010037276A
Other languages
Japanese (ja)
Other versions
JP2011176423A (en
Inventor
尚樹 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010037276A priority Critical patent/JP5477575B2/en
Publication of JP2011176423A publication Critical patent/JP2011176423A/en
Application granted granted Critical
Publication of JP5477575B2 publication Critical patent/JP5477575B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、映像信号処理装置等における圧縮された映像信号の復号に関し、特に超解像化制御のための圧縮復号方式に関する。   The present invention relates to decoding of a compressed video signal in a video signal processing apparatus or the like, and more particularly to a compression decoding system for super-resolution control.

映像信号を伝送するにあたり、伝送帯域の効率化観点で、帯域圧縮技術がある。この点、動画像を扱う圧縮技術として、例えば、MPEG(Moving Picture Experts Group)方式が挙げられる。そして、MPEG方式として具体的にはMPEG2やMPEG4、最近では、H.264/MPEG−4 AVCといった方式があり、これらの圧縮技術は規格化され既知のものである。   In transmitting a video signal, there is a band compression technique from the viewpoint of efficient transmission band. In this regard, for example, a moving picture experts group (MPEG) method can be cited as a compression technique for handling moving images. As MPEG systems, specifically, MPEG2 and MPEG4, and recently H.264. There are systems such as H.264 / MPEG-4 AVC, and these compression techniques are standardized and known.

もっとも、これらの規格化された内容は、技術方式の規定について述べられているだけであり、本発明に関わる、高画質化を目指すものとしては決して十分ではない。なぜなら、高画質化を目指すためには、これらの規格に準拠するだけではなく、高画質化のための技術、いわゆるアルゴリズムを高性能にする必要があるからである。   However, these standardized contents only describe the provisions of the technical system, and are not sufficient for the purpose of improving the image quality related to the present invention. This is because in order to achieve high image quality, it is necessary not only to comply with these standards, but also to improve the technology for improving the image quality, so-called algorithms.

つまり、高画質を得るためには、高性能なアルゴリズムが必要ということであるが、伝送網の発展にともない、様々なアルゴリズムが混在する現在の特に公衆回線を用いた伝送形態においては、そのような高性能なアルゴリズムを特別なものとして扱わざるを得ない状況となっている。   In other words, in order to obtain high image quality, a high-performance algorithm is necessary. However, with the development of the transmission network, this is especially the case in the current transmission form using public lines where various algorithms are mixed. A high-performance algorithm must be treated as a special one.

他方、高解像度の表示が可能な表示装置が一般に広く普及しつつある。そして、普及に伴い超解像化のような画質を良く見せる技術も進歩してきており、この超解像化等の技術は、家庭用テレビを初め、業務用表示機器にも導入されている。   On the other hand, display devices capable of high-resolution display are generally becoming widespread. Along with the spread of the technology, a technique for improving the image quality such as super-resolution has also been developed, and this technique such as super-resolution has been introduced to display devices for business use such as home television.

これら、帯域圧縮技術や超解像化技術は、インターレース方式やプログレッシブ方式といった走査方式の違う映像信号や、輝度信号と色差信号が多重されているNTSC(National Television System Committee)といったコンポジット映像信号、又は、輝度信号と色差信号が分離されているRGBといったコンポーネント映像信号を処理するものである。   These band compression technology and super-resolution technology are video signals with different scanning methods such as interlace method and progressive method, composite video signals such as NTSC (National Television System Committee) where luminance signal and color difference signal are multiplexed, or The component video signal such as RGB in which the luminance signal and the color difference signal are separated is processed.

ここで、時間空間が推移する動画像の信号処理には、いくつかの不整合が生じる。   Here, some inconsistencies occur in signal processing of moving images in which the time space changes.

例えば、インターレース方式とプログレッシブ方式では、1画面として捉える画素データ数に違いがあるため、時間軸の変化とともに、斜めの表示精度に1画面間の粗が浮き彫りになってしまうことがある。更に、コンポジット映像信号とコンポーネント映像信号では、輝度信号と色差信号の分離状況による色にじみといった現象がある。   For example, since there is a difference in the number of pixel data captured as one screen between the interlace method and the progressive method, the coarseness between the screens may be highlighted in the oblique display accuracy as the time axis changes. Furthermore, the composite video signal and the component video signal have a phenomenon of color blur due to the separation state of the luminance signal and the color difference signal.

伝送帯域の効率化のための動画像圧縮技術と画質を良く見せるための超解像化技術の組み合わせが多くなってきたことにより、圧縮技術は、インターレース処理、片や超解像化技術はプログレッシブ処理のような、映像信号の扱い方も様々となり、相互の共通化も重要なものとなってきている。   Due to the increasing number of combinations of video compression technology to improve transmission bandwidth efficiency and super-resolution technology to improve image quality, interlace processing is used for compression technology, and progressive and super-resolution technology is progressive. Various ways of handling video signals, such as processing, have become important.

このような背景に鑑みて、下述するような多様な画像処理技術が提案されている。   In view of such a background, various image processing techniques as described below have been proposed.

例えば、特許文献1の特に段落[0022]や、図2においてDCT(Discrete Cosine Transform)変換に際しフィルタリング処理を行う技術が記載されている。   For example, paragraph [0022] of Patent Document 1 and a technique for performing filtering processing in DCT (Discrete Cosine Transform) conversion are described in FIG.

また、特許文献2の特に段落[0029]、[0030]や、図2においてフレームメモリ差分による画像処理についての技術が記載されている。   Further, in particular, paragraphs [0029] and [0030] of Patent Document 2 and a technique for image processing using a frame memory difference are described in FIG.

更に、特許文献3には超解像化処理についての技術が記載されている。また、特許文献4には符号化歪を低減するための技術が記載されている。また、特許文献5にはモスキート歪を低減するための技術が記載されている。   Furthermore, Patent Document 3 describes a technique for super-resolution processing. Patent Document 4 describes a technique for reducing coding distortion. Patent Document 5 describes a technique for reducing mosquito distortion.

特開2005−141722号公報JP 2005-141722 A 特開2008−293388号公報JP 2008-293388 A 特開2009−218965号公報JP 2009-218965 A 特開2007−068036号公報JP 2007-0608036 A 特開2004−007292号公報JP 2004-007292 A

上述したような特許文献記載の技術を用いることにより画質を改善することが可能となる。   Image quality can be improved by using the technique described in the patent literature as described above.

しかしながら、上述したような技術は、各処理単独の内容であるものや、既存状態に単純に付与、付加するだけの内容である。そして、これらの技術を用いた場合は、以下に示すような問題が生じていた。   However, the technology as described above is the content of each process alone or the content that is simply added and added to the existing state. When these techniques are used, the following problems have occurred.

第1の問題点は、圧縮復号された映像信号を超解像化しても十分な効果が得られないことである。   The first problem is that a sufficient effect cannot be obtained even if the compression-decoded video signal is subjected to super-resolution.

その理由は、圧縮されたデータを復号する時点で十分な映像情報が得られていないため適切な超解像化ができないからである。   The reason is that adequate video information cannot be obtained at the time of decoding the compressed data, so that proper super-resolution cannot be performed.

第2の問題点は、超解像化するための情報伝達が不足していることである。   A second problem is that information transmission for super-resolution is insufficient.

その理由は、映像信号の動的特性に応じた適応的な超解像化が可能な仕組みがないからである。   The reason is that there is no mechanism capable of adaptive super-resolution according to the dynamic characteristics of the video signal.

第3の問題点は、超解像化のような高画質化のための処理に時間がかかってしまうことである。   The third problem is that it takes time for processing for high image quality such as super-resolution.

その理由は、高度な超解像化処理自体ほど時間がかかってしまうことである。   The reason is that it takes longer time for the advanced super-resolution processing itself.

そこで本発明は、圧縮処理にて情報量が不足した復号処理後の映像信号の画質を追加処理による追加遅延を生じることなくより良好なものとすることが可能な、超解像化制御のための圧縮復号方法及び超解像化制御のための圧縮復号回路を提供することを目的とする。   Therefore, the present invention is for super-resolution control that can improve the image quality of a video signal after decoding processing in which the amount of information is insufficient in compression processing without causing additional delay due to additional processing. And a compression decoding circuit for super-resolution control.

本発明の第1の観点によれば、映像信号に圧縮処理を施して生成された符号化データを復号すると共に画質をより良好なものとする超解像化圧縮復号方法において、前記符号化データを復号する復号ステップと、前記符号化データに含まれている超解像化処理をするための情報を抽出する制御ステップと、前記制御ステップにおいて抽出された情報を用いて前記復号ステップにおいて復号された映像信号の画質を良好なものとする超解像化ステップと、を備え、前記制御ステップにおいて抽出された情報には、伝送レート内に含まれる情報数である発生符号量と圧縮規格による量子化データを掛け合わせることにより算出される散乱度数が少なくとも含まれており、前記超解像化ステップでは映像信号を1画面として捉え、前記散乱度数の多いほど前記1画面全体を対象として画質を良くするための処理の重み付けを重いものとすることにより画面制御強度を強くした上で前記1画面全体を対象として画質を良くするための処理を施すことを特徴とする超解像化圧縮復号方法が提供される。 According to a first aspect of the present invention, in the super-resolution compression / decoding method for decoding encoded data generated by performing compression processing on a video signal and improving the image quality, the encoded data a decoding step of decoding, and a control step of to extract the information for the super-resolution process that is included in the encoded data, decoded in said decoding step by using the information extracted in the control step A super-resolution step for improving the image quality of the received video signal, and the information extracted in the control step depends on the generated code amount and the compression standard, which is the number of information included in the transmission rate. At least the scattering power calculated by multiplying the quantized data is included. In the super-resolution step, the video signal is regarded as one screen, and the scattering power is increased. That as subjecting the entire screen processing for improving image quality as for the entire said one screen on which is strongly screen control intensity by a heavy weighting processing for improving image quality as target A featured super-resolution compression decoding method is provided.

本発明の第2の観点によれば、映像信号に圧縮処理を施して生成された符号化データを復号すると共に画質をより良好なものとする超解像化圧縮復号回路において、前記符号化データを復号する復号手段と、前記符号化データに含まれている超解像化処理をするための情報を抽出する制御手段と、前記制御手段において抽出された情報を用いて前記復号手段において復号された映像信号の画質を良好なものとする超解像化手段と、を備え、前記制御手段において抽出された情報には、伝送レート内に含まれる情報数である発生符号量と圧縮規格による量子化データを掛け合わせることにより算出される散乱度数が少なくとも含まれており、前記超解像化手段では映像信号を1画面として捉え、前記散乱度数の多いほど前記1画面全体を対象として画質を良くするための処理の重み付けを重いものとすることにより画面制御強度を強くした上で前記1画面全体を対象として画質を良くするための処理を施すことを特徴とする超解像化圧縮復号回路が提供される。 According to a second aspect of the present invention, in the super-resolution compression / decoding circuit that decodes encoded data generated by performing compression processing on a video signal and improves the image quality, the encoded data decoding means for decoding a decoded in said decoding means by using the control means, the information extracted in the control means to extract the information for the super-resolution process that is included in the encoded data Super-resolution means for improving the image quality of the received video signal, and the information extracted by the control means depends on the amount of generated code that is the number of information included in the transmission rate and the compression standard At least the scattering power calculated by multiplying the quantized data is included, and the super-resolution means regards the video signal as one screen, and the higher the scattering power, the more the entire screen is targeted. Super-resolution, wherein processing applying for improving the image quality as for the entire said one screen on which is strongly screen control intensity by a heavy weighting processing for improving image quality Te A compression decoding circuit is provided.

本発明は、超解像化処理する前に超解像化するための制御を準備し、十分な映像情報が得られていない圧縮されたデータに内在する情報を用いることから圧縮処理にて情報量が不足した復号処理後の映像信号の画質を追加処理による追加遅延を生じることなくより良好なものとすることが可能となる。   The present invention prepares control for super-resolution before performing super-resolution processing, and uses information contained in compressed data for which sufficient video information is not obtained, so that information in compression processing is used. It is possible to improve the image quality of the video signal after the decoding process whose amount is insufficient without causing an additional delay due to the additional process.

本発明の実施形態の基本的構成を表すブロック図である。It is a block diagram showing the basic composition of the embodiment of the present invention. 本発明の実施形態の基本的動作を表すフローチャート図である。It is a flowchart figure showing the basic operation | movement of embodiment of this invention. 散乱度と画面制御強度について表す図である。It is a figure showing about a scattering degree and screen control intensity | strength. 動きデータと部分制御領域について表す図である。It is a figure showing about motion data and a partial control area. 変化領域による部分制御強度について表す図である。It is a figure showing about the partial control intensity | strength by a change area | region.

まず、本発明の実施形態の概略を説明する。   First, an outline of an embodiment of the present invention will be described.

映像信号の伝送において、伝送帯域の効率化が必要であり、有線伝送や無線伝送と多くの伝送システムに圧縮技術が用いられている。インターネットの普及により、高い圧縮率、つまり、低レートでの伝送が蔓延している状況である。より高い圧縮率の方式が圧縮技術に求められており、画質劣化を防ぐための高度なアルゴリズムを追求する一方、低レートがゆえに、適度なアルゴリズムにて映像信号を伝送するシステムにおいて、画質を救済するというニーズも多くある。本発明の実施形態の構成として記載している超解像化技術は救済策の一つであるが、伝送されてくる映像信号そのものの情報量が不足している分、何らかの特徴を抽出することで、画質の救済具合も変わってくるものである。   In the transmission of video signals, it is necessary to increase the efficiency of the transmission band, and compression techniques are used in many transmission systems such as wired transmission and wireless transmission. Due to the spread of the Internet, transmission at a high compression rate, that is, at a low rate is prevalent. Higher compression ratio methods are required for compression technology, and while pursuing advanced algorithms to prevent image quality degradation, image quality is relieved in systems that transmit video signals with an appropriate algorithm because of the low rate. There are many needs to do. Although the super-resolution technique described as the configuration of the embodiment of the present invention is one of the remedies, some feature is extracted because the amount of information of the transmitted video signal itself is insufficient. As a result, the image quality relief will also change.

本発明の実施形態では、圧縮処理の際に後段へ伝送する特徴のあるデータを、画質を良くする特徴のあるデータとして抽出することで、超解像化技術のような画質を良くする技術を連動させることに着目した方式発明である。   In the embodiment of the present invention, a technique for improving image quality such as super-resolution technology is extracted by extracting characteristic data to be transmitted to the subsequent stage during compression processing as characteristic data for improving image quality. It is a method invention that focuses on interlocking.

以上が本願発明の実施形態の概略である。   The above is the outline of the embodiment of the present invention.

次に、本発明の実施形態について図面を用いて詳細に説明する。   Next, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本発明の実施形態の構成を示すブロック図である。本実施形態は、圧縮部100、復号部200、方式制御部300及び超解像化部400を有している。   FIG. 1 is a block diagram showing the configuration of the embodiment of the present invention. The present embodiment includes a compression unit 100, a decoding unit 200, a method control unit 300, and a super-resolution unit 400.

次に、各部の機能について説明する。圧縮部100は、入力映像信号を圧縮処理する機能を有する。また、復号部200は、圧縮部100が圧縮処理を施した信号を復号する機能を有する。更に、方式制御部300は圧縮処理を施した信号から超解像化処理をするための情報信号を抽出する機能を有する。また、超解像化部400は、画質を良く見せるための処理を施す機能を有する。   Next, the function of each part will be described. The compression unit 100 has a function of compressing an input video signal. In addition, the decoding unit 200 has a function of decoding the signal that has been subjected to compression processing by the compression unit 100. Further, the system control unit 300 has a function of extracting an information signal for super-resolution processing from the signal subjected to compression processing. In addition, the super-resolution unit 400 has a function of performing processing for making the image quality look good.

なお、図1では本実施形態全体の処理について説明するため圧縮部100を含めたブロック図としている。もっとも、本実施形態を実装する場合は、復号部200、方式制御部300及び超解像化部400の3つの部の一部又は全てを回路等(例えば、チップセット)としてもよい。すなわち、圧縮部100も含めて単一の装置に組み込まれていてもよいが、圧縮部100は他の装置により実現されてもよい。   FIG. 1 is a block diagram including the compression unit 100 in order to explain the overall processing of the present embodiment. However, when this embodiment is implemented, some or all of the three units of the decoding unit 200, the scheme control unit 300, and the super-resolution unit 400 may be a circuit or the like (for example, a chip set). That is, the compression unit 100 may be incorporated in a single device including the compression unit 100, but the compression unit 100 may be realized by another device.

以上のような構成からなる本発明の実施形態では、圧縮された信号(SIG2)には、人間の視覚的に疎いとされる情報や目立ちやすいといった情報が内在していることに着目し、それらの不十分な映像情報を補助的に利用することで、画質を良く見せることが可能となる。   In the embodiment of the present invention having the above-described configuration, attention is paid to the fact that the compressed signal (SIG2) contains information that is visually sparse and easily noticeable. It is possible to improve the image quality by supplementarily using the insufficient video information.

更に、圧縮された信号(SIG2)には、人間が目に付きやすい動きの激しさを表現する情報も内在している。そこで本実施形態では、その部分に着目し、画質を良く見せる制御を実現することで、映像信号の動的特性に応じた適応的な超解像化が可能な仕組みが可能となる。   Furthermore, the compressed signal (SIG2) also contains information that expresses the intensity of movement that is easily noticeable by humans. Therefore, in this embodiment, a mechanism capable of adaptive super-resolution according to the dynamic characteristics of the video signal becomes possible by focusing on that part and realizing control that makes the image quality look good.

加えて、本実施形態では、方式制御部300の追加処理を施すことで、超解像化処理自体の開始を待たせてしまわぬよう、並列に組み込むことで、画質を良く見せるための追加処理による遅延増大の弊害をきたさないことが可能である。   In addition, in the present embodiment, additional processing for improving the image quality by incorporating in parallel so as not to wait for the start of the super-resolution processing itself by performing additional processing of the method control unit 300. It is possible to avoid the adverse effects of increased delay due to.

次に、図1のブロック図及び図2に示すフローチャートを参照して本実施形態の信号の流れにそった動作概要について説明する。本実施形態では、アナログ映像信号やデジタル映像信号、又は、コンポジット映像信号やコンポーネント映像信号等の映像信号を入力映像信号(SIG1)として用いる。   Next, an outline of the operation according to the signal flow of this embodiment will be described with reference to the block diagram of FIG. 1 and the flowchart shown in FIG. In the present embodiment, an analog video signal, a digital video signal, or a video signal such as a composite video signal or a component video signal is used as the input video signal (SIG1).

まず、入力映像信号(SIG1)を伝送するため、圧縮部100に入力映像信号(SIG1)が入力される。圧縮部100は入力された入力映像信号(SIG1)に対して圧縮処理を行う(ステップA10)。圧縮された信号(SIG2)は、MPEG2やMPEG4、H.264/MPEG−4 AVCといった方式により処理された信号で、発生符号数や量子化データ、動きデータなどの情報が内在している。   First, in order to transmit the input video signal (SIG1), the input video signal (SIG1) is input to the compression unit 100. The compression unit 100 performs a compression process on the input video signal (SIG1) (Step A10). The compressed signal (SIG2) is MPEG2, MPEG4, H.264, or the like. It is a signal processed by a method such as H.264 / MPEG-4 AVC and contains information such as the number of generated codes, quantized data, and motion data.

圧縮された信号(SIG2)は、入力映像信号(SIG1)と同様な映像信号に戻すために復号部200に出力されるとともに、本発明の実施形態の特徴を実現するために、方式制御部300へも出力される(ステップA11)。なお、圧縮部100から、復号部200及び方式制御部300への圧縮された信号(SIG2)の出力(伝送)は、有線又は無線のネットワークを介して行われてもよいし、また、一度装置内の記憶装置に格納された後に、読み出されることにより行われてもよい。また、例えばDVD(Digital Versatile Disc)や、BD(Blu-ray Disc)といった記憶媒体に記録された後に読み込み出されることにより行われてもよい。   The compressed signal (SIG2) is output to the decoding unit 200 in order to return it to a video signal similar to the input video signal (SIG1), and in order to realize the characteristics of the embodiment of the present invention, the system control unit 300 Is also output (step A11). Note that the output (transmission) of the compressed signal (SIG2) from the compression unit 100 to the decoding unit 200 and the system control unit 300 may be performed via a wired or wireless network, or once the device The data may be read out after being stored in the internal storage device. Further, for example, the recording may be performed by being read out after being recorded on a storage medium such as a DVD (Digital Versatile Disc) or a BD (Blu-ray Disc).

続いて、復号部200にて、圧縮された信号(SIG2)は復号され、この復号された信号(SIG3)は、画質を良く見せるための超解像化部400に出力される(ステップA12)。   Subsequently, the compressed signal (SIG2) is decoded by the decoding unit 200, and the decoded signal (SIG3) is output to the super-resolution unit 400 for better image quality (step A12). .

他方、ステップA12における動作と同時に(つまり、復号部200にて復号処理を行っている間に)、方式制御部300より、超解像化処理をするために情報信号(SIG4)が抽出される。具体的には、圧縮された信号(SIG2)に内在している発生符号数や量子化データ、動きデータの情報が抽出される。この抽出は、後段の画質を良く見せるための超解像化部400を動的かつ適応的にコントロールするために方式制御部300内のロジックを通過させることにより実現される。そして、この超解像化処理をするための情報信号(SIG4)が超解像化部400に出力される(ステップA13)。   On the other hand, simultaneously with the operation in Step A12 (that is, while the decoding process is being performed by the decoding unit 200), the information signal (SIG4) is extracted from the scheme control unit 300 for the super-resolution processing. . Specifically, the number of generated codes, quantized data, and motion data information inherent in the compressed signal (SIG2) are extracted. This extraction is realized by passing the logic in the method control unit 300 in order to dynamically and adaptively control the super-resolution unit 400 for better displaying the image quality at the subsequent stage. Then, an information signal (SIG4) for performing this super-resolution processing is output to the super-resolution section 400 (step A13).

超解像化部400では、復号された信号(SIG3)と超解像化処理をするための情報信号(SIG4)により、画質を良く見せるための処理を施した後、入力映像信号(SIG1)と同様な出力映像信号(SIG5)として出力する(ステップA14)。ここで、超解像化処理をするための情報信号(SIG4)は、伝送レート内に含まれる情報数である発生符号数と圧縮規格による量子化データを掛け合わせた散乱度数と、動的変化を示す座標差異に応じた動きデータそのものを用いることとする。   The super-resolution section 400 performs a process for making the image quality better by using the decoded signal (SIG3) and the information signal (SIG4) for performing the super-resolution process, and then the input video signal (SIG1). Is output as an output video signal (SIG5) similar to (step A14). Here, the information signal (SIG4) for performing the super-resolution processing includes a scattering frequency obtained by multiplying the number of generated codes, which is the number of information included in the transmission rate, and quantized data according to the compression standard, and a dynamic change. It is assumed that the motion data itself corresponding to the coordinate difference indicating is used.

この点、まず、散乱度数について説明する。   First, the scattering power will be described.

圧縮技術により生成される圧縮された信号(SIG2)に伝送レート内に含まれる情報数である発生符号量と量子化データが内在する。高い比率で圧縮すれば発生符号量は減少するが、情報量不足により入力映像信号(SIG1)とは違った、画質劣化の激しい情報になるだけである。そのようなことがおきないように、量子化データを変化させ複雑な映像信号であっても、多くの情報量を割り当てられるように、圧縮されるものがアルゴリズムに依存した圧縮するためのコントロール技術である。   The generated code amount and the quantized data, which are the number of information included in the transmission rate, are inherent in the compressed signal (SIG2) generated by the compression technique. If the compression is performed at a high ratio, the amount of generated code is reduced, but due to the insufficient amount of information, it is only information with severe image quality deterioration unlike the input video signal (SIG1). In order to prevent this from happening, control technology for compressing what is compressed depends on the algorithm so that a large amount of information can be allocated even for complex video signals by changing quantized data It is.

具体的には、量子化データを小さくすることで、圧縮すべき映像信号を細かく刻み、複雑な映像信号であっても、多くの情報量を得ることが可能である。この圧縮技術により生成される圧縮された信号(SIG2)は、アルゴリズムにより高度な圧縮するためのコントロールにより、発生符号量や量子化データは個々に応用することができるが、伝送レート内に含まれる情報数である発生符号量と量子化データを掛け合わせた散乱度数を用いることで、アルゴリズムに深く依存せず、圧縮した映像信号を複雑度として判断することが可能である。   Specifically, by reducing the quantized data, it is possible to finely divide the video signal to be compressed and obtain a large amount of information even for a complicated video signal. The compressed signal (SIG2) generated by this compression technique can be applied individually to the amount of generated code and quantized data by control for advanced compression by an algorithm, but is included in the transmission rate. By using the scattered power obtained by multiplying the generated code amount, which is the number of information, and the quantized data, it is possible to determine the compressed video signal as the complexity without depending on the algorithm.

次に、動きデータについて説明する。本実施形態では散乱度数に加えて、圧縮された信号(SIG2)に内在している動きデータを用いることで、どのような映像信号なのかを判断することができる。超解像化部400では、映像信号を1画面として捉え、散乱度数と動きデータによる超解像化処理をするための情報信号(SIG4)より、散乱度数の多い場合は画面全体に、また、動きデータの座標差異に応じたドット単位、ライン単位、ブロック単位に画質を良くするための処理を施す。ここでは、超解像化部400にて処理する際の映像特性情報を伝達することだけで、超解像化部400の処理に関しては触れない。   Next, motion data will be described. In the present embodiment, in addition to the scattering power, it is possible to determine what kind of video signal it is by using the motion data inherent in the compressed signal (SIG2). In the super-resolution section 400, the video signal is regarded as one screen, and the information signal (SIG4) for performing the super-resolution processing based on the scattering power and the motion data, the entire screen when the scattering power is large, Processing for improving image quality is performed in dot units, line units, and block units according to the coordinate difference of the motion data. Here, the processing of the super-resolution section 400 is not touched only by transmitting the video characteristic information when the super-resolution section 400 performs processing.

これらにより、入力映像信号(SIG1)と同様な出力映像信号(SIG5)を出力できることになる。   Thus, an output video signal (SIG5) similar to the input video signal (SIG1) can be output.

なお、本発明は、映像信号を効率的に伝送するシステムにおいて、特に、圧縮復号する技術と画質を良く見せるといった超解像化の技術を組み合わせるシステムにおいて有効な発明につき、いくつかの他の実施形態も包括する発明である。すなわち上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。   It should be noted that the present invention relates to an invention that is effective in a system that efficiently transmits a video signal, particularly in a system that combines a compression decoding technique and a super-resolution technique that makes an image quality better. It is an invention that includes forms. That is, although the above-described embodiment is a preferred embodiment of the present invention, the scope of the present invention is not limited to the above-described embodiment, and various modifications are made without departing from the gist of the present invention. Implementation is possible.

具体的に説明すると、例えば上述の説明においては、動きのある画像信号を映像信号として規定しているが、動きのない画像信号も本発明の方式にて包括されるものである。また、効率的な伝送がゆえに、圧縮復号による情報量不足は否めず、その情報量不足による画質劣化の救済策として、単なるフィルタリングなどの信号処理技術も超解像化以外の技術として包括する。さらに、圧縮データに含まれる情報のどの部分をどのように抽出し利用するかの方法は、本圧縮復号方式の一部となるため本発明にて包括する。   Specifically, for example, in the above description, an image signal with motion is defined as a video signal, but an image signal without motion is also encompassed by the method of the present invention. In addition, due to efficient transmission, a shortage of information amount due to compression decoding cannot be denied, and signal processing techniques such as simple filtering are included as techniques other than super-resolution as a remedy for image quality deterioration due to the shortage of information amount. Further, the method of how to extract and use which part of the information included in the compressed data is included in the present invention since it is part of the present compression decoding system.

入力映像信号(SIG1)を効率的に伝送するため、圧縮部100にて行う処理にDCT(Discrete Cosine Transform)がある。次に、このDCTについて説明する。   In order to efficiently transmit the input video signal (SIG1), there is DCT (Discrete Cosine Transform) as a process performed in the compression unit 100. Next, this DCT will be described.

映像信号の画素位置を(x,y)としたときの画素領域的表現にてg(x,y)としたものから二次元周波数を(X,Y)としたときの周波数領域的表現にてG(X,Y)としたものへ順方向に変換する関数がある。   In the frequency domain representation when the two-dimensional frequency is (X, Y) from the pixel region representation when the pixel position of the video signal is (x, y). There is a function that converts forward to G (X, Y).

Figure 0005477575
但し、
Figure 0005477575
であるものとする。
Figure 0005477575
However,
Figure 0005477575
Suppose that

また、逆に戻す逆方向に変換する関数は以下の通りである。

Figure 0005477575
但し、
Figure 0005477575
であるものとする。 Moreover, the function to convert in the reverse direction to reverse is as follows.
Figure 0005477575
However,
Figure 0005477575
Suppose that

上記関数式の通り、この変換は、画像データを周波数データに変換するもので、この処理により、低周波成分と高周波成分が分解できる。そしてこの分解によりデータを圧縮しやすくなるため、圧縮処理の前段にて処理する常套手段でもある。また、相互の変換にて、元情報は維持しつつ、8×8等の画素単位で圧縮処理を行う過程においては、冗長度を除くことができるため、圧縮効率を高める手助けも担っている。   As in the above function equation, this conversion is to convert the image data into frequency data, and this processing can decompose the low frequency component and the high frequency component. Since this decomposition makes it easier to compress data, it is also a conventional means for processing in the previous stage of compression processing. Further, in the process of performing compression processing in units of pixels of 8 × 8 or the like while maintaining the original information by mutual conversion, redundancy can be removed, thereby helping to increase the compression efficiency.

このような基本的な前処理を経て、圧縮処理を行うが、冗長分を取り除くことで高周波成分情報不足の結果として、モスキートノイズが発生することや、8×8等の画素単位ブロックにて処理するがゆえ、細かなブロック状の塊がブロックノイズとして発生したりしてしまう。前記のようなモスキートノイズやブロックノイズは、MPEG2やMPEG4、H.264/MPEG−4 AVCといったすべての動画像圧縮方式と切っても切れない関係である。H.264/MPEG−4 AVC方式のように、細かな画素単位での圧縮処理やデブロッキングフィルタのような、特別な処理により、ノイズを低減させる策も投じられているが、絶対数的に情報量が不足している状況では、何らかの工夫をしなければなく、画質を良く見せるための超解像化技術相当の技術で救済せざるを得ない状況である。   After such basic preprocessing, compression processing is performed, but by removing redundancy, mosquito noise is generated as a result of lack of high-frequency component information, and processing is performed in pixel unit blocks such as 8 × 8. Therefore, a fine block-like lump is generated as block noise. The mosquito noise and block noise as described above are MPEG2, MPEG4, H.264, etc. It is inseparable from all moving image compression methods such as H.264 / MPEG-4 AVC. H. Although measures such as H.264 / MPEG-4 AVC are used to reduce noise by special processing such as compression processing in fine pixel units or deblocking filters, the amount of information in terms of absolute numbers In such a situation where there is a shortage, some kind of contrivance has to be made, and a technique equivalent to a super-resolution technique for better image quality must be remedied.

しかし、圧縮された信号(SIG2)処理された信号には、どのような処理をしたのかといった情報はもっているため、それらの情報を利用することに着目する。人間の視覚特性としては、動きのある部分に目が行くものである。目につくポイント、特に、動きの激しい部分の情報をもって、動きの激しい部分の画質を救済すれば、高画質化につながるものである。そのため、圧縮された信号(SIG2)の中で、ここでは、3つの重要な情報を方式制御部300にて抽出することを一例として挙げる。なお、ここで示すのはあくまで一例である。よってこれら3つの情報全てを用いても良いし、その一部のみを用いても良い。またこれら3つの情報に代えて、若しくはこれら3つの情報に加えて他の情報を用いるようにしても良い。   However, since the compressed signal (SIG2) -processed signal has information such as what kind of processing has been performed, attention is paid to using such information. As human visual characteristics, attention is paid to moving parts. Relieving the image quality of a part that moves sharply with the information of the point that is noticeable, especially the part that moves rapidly, will lead to higher image quality. Therefore, here, extraction of three important information in the compressed signal (SIG2) by the method control unit 300 is taken as an example. Note that this is only an example. Therefore, all these three pieces of information may be used, or only a part of them may be used. Further, instead of these three pieces of information, or in addition to these three pieces of information, other information may be used.

ここで3つの情報とは、画面全体がどの程度の符号量をもっているかを示す発生符号量と前記DCT処理により周波数分離された画像の刻み方を示す量子化データ、さらに、どのようなブロックにて動きが生じたかを示す動きデータである。なお、動きが激しくなくとも入力映像信号(SIG1)と同様に、出力映像信号(SIG5)が細かな部分まで再現できるよう、方式制御部300では、発生符号量と量子化データを掛け合わせることで表現できる散乱度を算出する。   Here, the three pieces of information are generated code amount indicating how much code amount the entire screen has, quantized data indicating how to cut the image frequency-separated by the DCT process, and in what block It is motion data indicating whether or not motion has occurred. Note that the method control unit 300 multiplies the generated code amount and the quantized data so that the output video signal (SIG5) can be reproduced to a fine part as in the case of the input video signal (SIG1) even if the motion is not intense. The degree of scattering that can be expressed is calculated.

この散乱度算出の狙いは次の通りである。圧縮部100から出力される圧縮された信号(SIG2)に、発生符号数と量子化データがある。高い比率で圧縮すれば発生符号数は減少するが、情報量不足により入力映像信号(SIG1)とは違った、画質劣化の激しい情報になる場合もある。そのようなことがおきないように、量子化データを変化させ、複雑な映像信号であっても、多くの情報量を割り当てられるように、圧縮処理したりするコントロールをアルゴリズムとして行っている。   The aim of this scattering degree calculation is as follows. The compressed signal (SIG2) output from the compression unit 100 includes the number of generated codes and quantized data. If the compression is performed at a high ratio, the number of generated codes is reduced. However, there is a case where information is severely deteriorated in image quality unlike the input video signal (SIG1) due to an insufficient amount of information. In order to prevent this from happening, the quantized data is changed, and control is performed as an algorithm to perform compression processing so that a large amount of information can be allocated even for a complicated video signal.

つまり、量子化データを小さくすることで、圧縮すべき映像信号を細かく刻み、複雑な映像信号であっても、多くの情報量を得ることが可能であるため、発生符号量と量子化データの双方を乗算することで、その画面の複雑度が散乱度として有効な情報になり得るのである。   In other words, by reducing the quantized data, the video signal to be compressed is finely chopped and a large amount of information can be obtained even with a complex video signal. By multiplying both, the complexity of the screen can be useful information as the degree of scattering.

圧縮された信号(SIG2)から発生符号量や量子化データ、動きデータを抽出し、発生符号量と量子化データの乗算によって計算することを方式制御部300にて行うとともに、復号部200にて復号処理を施す。復号された信号(SIG3)は、画質を良く見せるための超解像化部400に出力する一方、方式制御部300にて抽出、算出された超解像化処理をするための情報信号(SIG4)により、画質を良く見せるための超解像化部400を動的かつ適応的にコントロールし、その超解像化部400による処理を施す。   The system control unit 300 extracts the generated code amount, quantized data, and motion data from the compressed signal (SIG2) and calculates the generated code amount by multiplying the quantized data, and the decoding unit 200 Decryption processing is performed. The decoded signal (SIG3) is output to the super-resolution section 400 for better image quality, while the information signal (SIG4) for the super-resolution processing extracted and calculated by the method control section 300 is output. ) Dynamically and adaptively controls the super-resolution section 400 for better image quality, and performs processing by the super-resolution section 400.

生成される圧縮された信号(SIG2)は、アルゴリズムにより高度な圧縮するためのコントロールにより、発生符号量や量子化データは個々に応用することができるが、発生符号量と量子化データを掛け合わせた散乱度数を用いることで、アルゴリズムに深く依存せず、圧縮した映像信号を複雑度として判断することが可能であり、また、圧縮された信号(SIG2)に内在している動きデータを用いることで、どのような映像信号なのかを判断することができる。   The generated compressed signal (SIG2) can be applied individually to the generated code amount and quantized data by control for advanced compression by the algorithm, but the generated code amount and the quantized data are multiplied. By using the scattered power, it is possible to judge the compressed video signal as the complexity without depending on the algorithm, and to use the motion data inherent in the compressed signal (SIG2). Thus, it is possible to determine what kind of video signal it is.

ここで、圧縮技術について改めて記載するが、圧縮技術は類似信号の省略による情報数の削減であるため、同じような量子化情報や同じような動き情報をその都度伝送している訳ではなく、差分のみ伝送しているものである。その差分対象範囲は、画面全体であったり、数ラインの帯状単位であったり、正方形や長方形のブロック単位であったりさまざまである。動きデータには、座標の差異により、移動距離や移動方向が把握できるが、周辺の動きデータから予測する圧縮方式もある。差分そのものでなく、或る差分から、その周辺の差分を予測することもでき、結果的には、差分の周辺から差分を予測した分の伝送情報数が削減できる。これにより圧縮そのものの符号化情報数を多く伝送でき、圧縮による情報量不足を少し改善できることもある。この差分の周辺から差分を予測することによる圧縮そのものの符号化情報を多くすることで、平坦なアスファルトを映す映像信号では、復号化された映像信号の再現性が良いこともある。   Here, although compression technology is described again, since compression technology is a reduction in the number of information by omitting similar signals, it does not mean that similar quantization information or similar motion information is transmitted each time, Only the difference is transmitted. The difference target range may be the entire screen, a band unit of several lines, or a block unit of square or rectangle. In motion data, the distance and direction of movement can be grasped from the difference in coordinates, but there is also a compression method that predicts from surrounding motion data. The difference around the difference can be predicted from a certain difference instead of the difference itself. As a result, the number of transmission information corresponding to the difference predicted from the periphery of the difference can be reduced. As a result, a large amount of encoded information of the compression itself can be transmitted, and the shortage of information amount due to the compression can be slightly improved. By increasing the coding information of the compression itself by predicting the difference from the periphery of the difference, the reproducibility of the decoded video signal may be good for a video signal showing a flat asphalt.

このように方式制御部300では、圧縮された信号(SIG2)からさまざまな方法により画質を良くみせるための制御が行える。本実施形態では、圧縮された信号(SIG2)より、発生符号量、量子化データ、動きデータを抽出し、計算することにより、超解像化部400を効率的に制御する方式であり、超解像化部400では、図3の概要のように、映像信号を1画面として捉え、散乱度数による超解像化処理をするための情報信号(SIG4)より、散乱度数の多い場合は画面全体に、画質を良くするための処理の重み付け係数情報として、画面制御強度を利用した処理を施す。   As described above, the system control unit 300 can perform control for improving the image quality from the compressed signal (SIG2) by various methods. In this embodiment, the super-resolution section 400 is efficiently controlled by extracting and calculating the generated code amount, quantized data, and motion data from the compressed signal (SIG2). In the resolving unit 400, as shown in the outline of FIG. 3, the video signal is regarded as one screen, and when the scattering power is larger than the information signal (SIG4) for super-resolution processing based on the scattering power, the entire screen is displayed. In addition, processing using the screen control strength is performed as weighting coefficient information for processing for improving image quality.

また、図4の概要のように、方式制御部300にて、ある決めた画面領域毎に座標変化状況をもととした動きデータから、動きを生じた対象領域か否かの判断を行い、図5の概要のように、その変化量から部分的な制御強度に応じた、ドット単位、ライン単位、ブロック単位に画質を良くするための処理ができるような重み付け係数情報として、超解像化処理をするための情報信号(SIG4)を超解像化部400に渡す方式である。なお、図3〜図5の方法については、映像信号素材により、可変できる仕組みであるため、数値表現は行わない。   Further, as shown in the outline of FIG. 4, the method control unit 300 determines whether or not the target region has caused the motion from the motion data based on the coordinate change situation for each predetermined screen region. As shown in the outline of FIG. 5, super-resolution is performed as weighting coefficient information that can be processed to improve image quality in dot units, line units, or block units according to the partial control intensity from the amount of change. In this method, an information signal (SIG4) for processing is passed to the super-resolution section 400. Note that the method of FIGS. 3 to 5 is a mechanism that can be changed depending on the video signal material, and therefore numerical expression is not performed.

これらにより、入力映像信号(SIG1)と同様な出力映像信号(SIG5)を出力できることになる。   Thus, an output video signal (SIG5) similar to the input video signal (SIG1) can be output.

本発明の実施形態の具体的な活用例として、遠距離での監視システムが挙げられる。遠距離であるため、手ごろなネットワーク回線を利用することが多いが、セキュアな伝送の場合は、衛星回線を利用することもある。また、監視用途の場合は、常時接続が多いため、回線利用の効率化のためにも低レートでの伝送が必要となる。   A specific utilization example of the embodiment of the present invention is a monitoring system at a long distance. Since it is a long distance, an affordable network line is often used, but in the case of secure transmission, a satellite line may be used. In the case of a monitoring application, since there are many constant connections, transmission at a low rate is necessary for efficient use of the line.

しかし、見えればよいだけの監視目的はよろしくなく、見たいときの映像はきちんと見えるべきものであるため、画質を良くするシステムが必要なのである。   However, the purpose of surveillance that only needs to be visible is not good, and the video when you want to see it should be visible properly, so a system that improves image quality is necessary.

また、個々処理を行うことによる絶対遅延の短縮も有効である。監視用途の場合、遠隔操作にて見たいポイントに映像信号元のひとつであるカメラを操作することがあり、その操作による瞬時の反応を求められることが多く、多段接続にて処理ブロックを構成してしまうと、より多くの処理遅延が生じてしまうため、本発明のような並列処理による追加構成が必要なのである。   It is also effective to reduce the absolute delay by performing individual processing. In the case of surveillance applications, the camera that is one of the video signal sources may be operated at the point you want to see remotely, and there is often a need for an instantaneous response due to that operation. As a result, more processing delay occurs, and an additional configuration by parallel processing as in the present invention is necessary.

なお、本発明の実施形態である超解像化制御のための圧縮復号装置は、ハードウェアにより実現することもできるが、コンピュータをその超解像化制御のための圧縮復号装置として機能させるためのプログラムをコンピュータがコンピュータ読み取り可能な記録媒体から読み込んで実行することによっても実現することができる。   In addition, although the compression decoding apparatus for super-resolution control which is embodiment of this invention can also be implement | achieved by hardware, in order to make a computer function as a compression decoding apparatus for the super-resolution control. This program can also be realized by reading and executing the program from a computer-readable recording medium.

また、本発明の実施形態による超解像化制御のための圧縮復号方法は、ハードウェアにより実現することもできるが、コンピュータにその方法を実行させるためのプログラムをコンピュータがコンピュータ読み取り可能な記録媒体から読み込んで実行することによっても実現することができる。   Also, the compression decoding method for super-resolution control according to the embodiment of the present invention can be realized by hardware, but a computer-readable recording medium for causing a computer to execute the method is computer-readable This can also be realized by reading from and executing.

以上説明した本発明の実施形態は、以下に示すような多くの効果を奏する。   The embodiment of the present invention described above has many effects as described below.

第1の効果は、圧縮復号された映像信号を超解像化することで、十分な高画質化といった効果が得られることである。   The first effect is that an effect such as sufficient image quality can be obtained by super-resolution of the compressed and decoded video signal.

その理由は、十分な映像情報が得られていない圧縮されたデータを用いることで、適切な超解像化処理が行えるからである。   The reason is that appropriate super-resolution processing can be performed by using compressed data for which sufficient video information is not obtained.

第2の効果は、超解像化するための制御構成が可能となることである。その理由は、圧縮された信号に内在する映像信号の特性を示す情報から、動的特性に応じた適応的な超解像化が行えることになるからである。   The second effect is that a control configuration for super-resolution is possible. The reason is that adaptive super-resolution according to the dynamic characteristics can be performed from the information indicating the characteristics of the video signal inherent in the compressed signal.

第3の効果は、超解像化となるための処理に時間がかからないことである。   The third effect is that processing for achieving super-resolution does not take time.

その理由は、復号と、超解像化処理をするための情報信号の抽出を並列に行い、超解像化処理する前に超解像化するための制御を準備できるからである。   The reason is that decoding and extraction of an information signal for super-resolution processing are performed in parallel, and control for super-resolution can be prepared before the super-resolution processing.

100 圧縮部
200 復号部
300 方式制御部
400 超解像化部
SIG1 入力映像信号
SIG2 圧縮された信号
SIG3 復号された信号
SIG4 超解像化処理をするための情報信号
SIG5 出力映像信号
DESCRIPTION OF SYMBOLS 100 Compression part 200 Decoding part 300 Method control part 400 Super-resolution part SIG1 Input video signal SIG2 Compressed signal SIG3 Decoded signal SIG4 Information signal SIG5 Output video signal for super-resolution processing

Claims (8)

映像信号に圧縮処理を施して生成された符号化データを復号すると共に画質をより良好なものとする超解像化圧縮復号方法において、
前記符号化データを復号する復号ステップと、
前記符号化データに含まれている超解像化処理をするための情報を抽出する制御ステップと、
前記制御ステップにおいて抽出された情報を用いて前記復号ステップにおいて復号された映像信号の画質を良好なものとする超解像化ステップと、
を備え、
前記制御ステップにおいて抽出された情報には、伝送レート内に含まれる情報数である発生符号量と圧縮規格による量子化データを掛け合わせることにより算出される散乱度数が少なくとも含まれており、
前記超解像化ステップでは映像信号を1画面として捉え、前記散乱度数の多いほど前記1画面全体を対象として画質を良くするための処理の重み付けを重いものとすることにより画面制御強度を強くした上で前記1画面全体を対象として画質を良くするための処理を施すことを特徴とする超解像化圧縮復号方法。
In a super-resolution compression decoding method that decodes encoded data generated by performing compression processing on a video signal and further improves image quality,
A decoding step of decoding the encoded data;
A control step to extract the information for the super-resolution process contained in the encoded data,
A super-resolution step for improving the image quality of the video signal decoded in the decoding step using the information extracted in the control step;
With
The information extracted in the control step includes at least a scattering power calculated by multiplying the generated code amount, which is the number of information included in the transmission rate, and the quantized data according to the compression standard,
In the super-resolution step, the video signal is regarded as one screen, and the screen control intensity is increased by increasing the weighting of the processing for improving the image quality for the entire one screen as the scattering power increases. A super-resolution compression / decoding method , wherein the process for improving the image quality is performed on the entire one screen .
請求項1に記載の超解像化圧縮復号方法において、The super-resolution compression decoding method according to claim 1,
前記符号化データを生成するための前記圧縮処理は、前記制御ステップにおいて抽出する前記或る部分についての、或る映像信号と該或る映像信号とは別途の映像信号との動的変化を表す動きデータの差分から、前記或る部分の周辺部分の前記或る映像信号と、該或る映像信号とは別途の映像信号との動的変化を表す動きデータの差分を予測することにより前記或る部分の周辺の動きデータを予測する、という周辺動きデータ予測処理が可能な圧縮処理方式により行われており、  The compression processing for generating the encoded data represents a dynamic change between a certain video signal and a certain video signal for the certain portion extracted in the control step. By predicting a difference between motion data representing a dynamic change between the certain video signal in the peripheral portion of the certain portion and a video signal different from the certain video signal from the difference in motion data. Predicting the motion data around the part of the image
前記制御ステップにおいて抽出された情報には、動的変化を示す動きデータであって、或る部分についての、或る映像信号と該或る映像信号とは別途の映像信号との動的変化を表す動きデータと、該動きデータに基づいて前記周辺動きデータ予測処理を行うことにより予測される前記或る部分の周辺の動きデータとが含まれていることを特徴とする超解像化圧縮復号方法。  The information extracted in the control step is motion data indicating a dynamic change, and a dynamic change between a video signal and a video signal separate from the video signal for a certain part. Super-resolution compression decoding characterized by including motion data to be represented and motion data around the certain portion predicted by performing the peripheral motion data prediction processing based on the motion data Method.
請求項1又は2に記載の超解像化圧縮復号方法において、
前記超解像化ステップでは映像信号を1画面として捉え、前記動きデータの座標差異に応じた、ドット単位、ライン単位及びブロック単位の何れか又はその組合せの単位で画質を良くするための処理を施すことを特徴とする超解像化圧縮復号方法。
The super-resolution compression decoding method according to claim 1 or 2,
In the super-resolution step, a video signal is regarded as one screen, and processing for improving image quality in units of dot units, line units, block units, or a combination thereof according to the coordinate difference of the motion data. A super-resolution compression decoding method, characterized by:
請求項1乃至3の何れか1項に記載の超解像化圧縮復号方法において、
前記復号ステップにおける復号と、前記制御ステップにおける超解像化処理をするための情報の抽出とを並行して同時に行うことを特徴とする超解像化圧縮復号方法。
The super-resolution compression decoding method according to any one of claims 1 to 3,
A super-resolution compression / decoding method, wherein the decoding in the decoding step and the extraction of information for performing the super-resolution processing in the control step are simultaneously performed in parallel.
映像信号に圧縮処理を施して生成された符号化データを復号すると共に画質をより良好なものとする超解像化圧縮復号回路において、
前記符号化データを復号する復号手段と、
前記符号化データに含まれている超解像化処理をするための情報を抽出する制御手段と、
前記制御手段において抽出された情報を用いて前記復号手段において復号された映像信号の画質を良好なものとする超解像化手段と、
を備え、
前記制御手段において抽出された情報には、伝送レート内に含まれる情報数である発生符号量と圧縮規格による量子化データを掛け合わせることにより算出される散乱度数が少なくとも含まれており、
前記超解像化手段では映像信号を1画面として捉え、前記散乱度数の多いほど前記1画面全体を対象として画質を良くするための処理の重み付けを重いものとすることにより画面制御強度を強くした上で前記1画面全体を対象として画質を良くするための処理を施すことを特徴とする超解像化圧縮復号回路。
In a super-resolution compression decoding circuit that decodes encoded data generated by performing compression processing on a video signal and improves the image quality,
Decoding means for decoding the encoded data;
And control means to extract the information for the super-resolution process contained in the encoded data,
Super-resolution means for improving the image quality of the video signal decoded by the decoding means using the information extracted by the control means;
With
The information extracted by the control means includes at least a scattering power calculated by multiplying the generated code amount, which is the number of information included in the transmission rate, and the quantized data according to the compression standard,
The super-resolution means captures the video signal as one screen, and the higher the scattering power, the higher the screen control intensity by increasing the weight of processing for improving the image quality for the entire one screen. A super-resolution compression / decoding circuit , wherein a process for improving the image quality is performed on the entire screen .
請求項5に記載の超解像化圧縮復号回路において、  The super-resolution compression decoding circuit according to claim 5,
前記符号化データを生成するための前記圧縮処理は、前記制御手段において抽出する前記或る部分についての、或る映像信号と該或る映像信号とは別途の映像信号との動的変化を表す動きデータの差分から、前記或る部分の周辺部分の前記或る映像信号と、該或る映像信号とは別途の映像信号との動的変化を表す動きデータの差分を予測することにより前記或る部分の周辺の動きデータを予測する、という周辺動きデータ予測処理が可能な圧縮処理方式により行われており、  The compression processing for generating the encoded data represents a dynamic change between a certain video signal and a certain video signal for the certain portion extracted by the control means. By predicting a difference between motion data representing a dynamic change between the certain video signal in the peripheral portion of the certain portion and a video signal different from the certain video signal from the difference in motion data. Predicting the motion data around the part of the image
前記制御手段において抽出された情報には、動的変化を示す動きデータであって、或る部分についての、或る映像信号と該或る映像信号とは別途の映像信号との動的変化を表す動きデータと、該動きデータに基づいて前記周辺動きデータ予測処理を行うことにより予測される前記或る部分の周辺の動きデータとが含まれていることを特徴とする超解像化圧縮復号回路。  The information extracted by the control means is motion data indicating a dynamic change, and a dynamic change between a video signal and a video signal separate from the video signal for a certain portion. Super-resolution compression decoding characterized by including motion data to be represented and motion data around the certain portion predicted by performing the peripheral motion data prediction processing based on the motion data circuit.
請求項5又は6に記載の超解像化圧縮復号回路において、
前記超解像化手段では映像信号を1画面として捉え、前記動きデータの座標差異に応じた、ドット単位、ライン単位及びブロック単位の何れか又はその組合せの単位で画質を良くするための処理を施すことを特徴とする超解像化圧縮復号回路。
In the super-resolution compression decoding circuit according to claim 5 or 6,
The super-resolution means captures the video signal as one screen, and performs processing for improving the image quality in units of dots, lines, blocks, or a combination thereof according to the coordinate difference of the motion data. A super-resolution compression / decoding circuit, wherein:
請求項5乃至7の何れか1項に記載の超解像化圧縮復号回路において、
前記復号手段における復号と、前記制御手段における超解像化処理をするための情報の抽出とを並行して同時に行うことを特徴とする超解像化圧縮復号回路。
The super-resolution compression decoding circuit according to any one of claims 5 to 7,
A super-resolution compression / decoding circuit, wherein the decoding in the decoding means and the extraction of information for performing the super-resolution processing in the control means are simultaneously performed in parallel.
JP2010037276A 2010-02-23 2010-02-23 Compression decoding method for super-resolution control and compression decoding circuit for super-resolution control Active JP5477575B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010037276A JP5477575B2 (en) 2010-02-23 2010-02-23 Compression decoding method for super-resolution control and compression decoding circuit for super-resolution control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010037276A JP5477575B2 (en) 2010-02-23 2010-02-23 Compression decoding method for super-resolution control and compression decoding circuit for super-resolution control

Publications (2)

Publication Number Publication Date
JP2011176423A JP2011176423A (en) 2011-09-08
JP5477575B2 true JP5477575B2 (en) 2014-04-23

Family

ID=44688907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010037276A Active JP5477575B2 (en) 2010-02-23 2010-02-23 Compression decoding method for super-resolution control and compression decoding circuit for super-resolution control

Country Status (1)

Country Link
JP (1) JP5477575B2 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3325445B2 (en) * 1995-12-22 2002-09-17 株式会社日立製作所 Video signal processing device
JP2006174415A (en) * 2004-11-19 2006-06-29 Ntt Docomo Inc Image decoding apparatus, image decoding program, image decoding method, image encoding apparatus, image encoding program, and image encoding method
JP4847890B2 (en) * 2007-02-16 2011-12-28 パナソニック株式会社 Encoding method converter
JP5113479B2 (en) * 2007-10-15 2013-01-09 株式会社日立製作所 Image signal processing apparatus and image signal processing method
JP2009218965A (en) * 2008-03-11 2009-09-24 Sanyo Electric Co Ltd Image processor, imaging device mounted with the same and image reproduction device
JP5012647B2 (en) * 2008-04-30 2012-08-29 ソニー株式会社 Image processing apparatus and method, and program

Also Published As

Publication number Publication date
JP2011176423A (en) 2011-09-08

Similar Documents

Publication Publication Date Title
KR101632598B1 (en) Backward-compatible coding for ultra high definition video signals with enhanced dynamic range
JP4847890B2 (en) Encoding method converter
EP2299715A1 (en) Image coding method, image decoding method, image coding device, image decoding device, program, and integrated circuit
KR101694139B1 (en) High precision up-sampling in scalable coding of high bit-depth video
JP4804107B2 (en) Image encoding apparatus, image encoding method and program thereof
JP2004531969A (en) Method and apparatus for downscaling video image resolution
KR20150068402A (en) Video compression method
AU2003291058B2 (en) Apparatus and method for multiple description encoding
JP2007514359A (en) Spatial scalable compression scheme with dead zone
CN106028031B (en) Video encoding device and method, video decoding device and method
JP5800362B2 (en) Moving image sending device, moving image receiving device, moving image transmission system, moving image sending method, moving image receiving method, and program
US8077987B2 (en) Methods and apparatus for processing of a digital image
US8798379B2 (en) Image processing method, encoding device, decoding device, and image processing apparatus
JP5477575B2 (en) Compression decoding method for super-resolution control and compression decoding circuit for super-resolution control
JP4580880B2 (en) Image encoding apparatus, image decoding apparatus, and image processing system
JP2010268307A (en) Moving image-processing apparatus, moving image-processing program, and moving image-processing method
CN106664387B (en) Computer device and method for post-processing video image frame and computer readable medium
US20160100216A1 (en) Reproduction device, encoding device, and reproduction method
JP6332039B2 (en) Screen encoding device, screen decoding device, screen encoding transmission system
KR100715512B1 (en) Apparatus for image processing and method thereof
JP2011114770A (en) Image encoding device, image decoding device, image encoding-decoding system, and method for the same
JP2010004279A (en) Image processor and image forming apparatus including the same
US20140079328A1 (en) Encoding apparatus, decoding apparatus, and switcher apparatus
KR20110083376A (en) Image surveillance system
JP2013110532A (en) Image coding device, image decoding device, image coding method, image decoding method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140128

R150 Certificate of patent or registration of utility model

Ref document number: 5477575

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150