JP5294688B2 - Video compression encoding device - Google Patents

Video compression encoding device Download PDF

Info

Publication number
JP5294688B2
JP5294688B2 JP2008120407A JP2008120407A JP5294688B2 JP 5294688 B2 JP5294688 B2 JP 5294688B2 JP 2008120407 A JP2008120407 A JP 2008120407A JP 2008120407 A JP2008120407 A JP 2008120407A JP 5294688 B2 JP5294688 B2 JP 5294688B2
Authority
JP
Japan
Prior art keywords
encoding
moving image
area
data
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008120407A
Other languages
Japanese (ja)
Other versions
JP2009027693A5 (en
JP2009027693A (en
Inventor
寛朗 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008120407A priority Critical patent/JP5294688B2/en
Priority to US12/140,038 priority patent/US8649615B2/en
Publication of JP2009027693A publication Critical patent/JP2009027693A/en
Publication of JP2009027693A5 publication Critical patent/JP2009027693A5/ja
Application granted granted Critical
Publication of JP5294688B2 publication Critical patent/JP5294688B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To make the deterioration in the image quality of the boundaries inconspicuous when a screen is region-divided and encoded, and to set a proper coding parameter meeting the property of image. <P>SOLUTION: The moving image coding equipment divides a screen into a plurality of regions and applies compression coding of data in the divided regions by a plurality of coding circuits. The coding circuits code data in different regions in parallel, execute data coding in the region located on the upper side of vertically adjacent two regions located near the center of the screen prior to data coding in the region located on the lower side, or execute data coding in the region located on the left side of horizontally adjacent two regions located near the center of the screen prior to data coding in the region located on the right side. <P>COPYRIGHT: (C)2009,JPO&amp;INPIT

Description

本発明は動画像データの圧縮符号化装置に関し、特に、画面を分割して、前記分割された画面を複数の符号化部でそれぞれ並列に符号化を行うために用いて好適な技術である。   The present invention relates to a moving image data compression encoding apparatus, and in particular, is a technique suitable for dividing a screen and encoding the divided screens in parallel by a plurality of encoding units.

例えば、被写体を撮影し、それにより得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。近年のデジタルビデオカメラは、従来の磁気テープに代わって、ランダムアクセスが可能で利便性の高いディスク媒体や半導体メモリが使われるようになってきている。しかし、一般にディスク媒体などは記憶容量が少ないため、高能率に圧縮符号化する必要がある。   For example, a digital video camera is well known as a camera-integrated moving image recording apparatus that captures a subject and compresses and records moving image data obtained thereby. In recent digital video cameras, instead of conventional magnetic tapes, disk media and semiconductor memories that can be accessed randomly and are highly convenient have come to be used. However, in general, a disk medium or the like has a small storage capacity, so it is necessary to perform compression encoding with high efficiency.

また、最近では、高画質への期待から、スタンダードな映像より情報量の多いHD(High−Definition)映像を取り扱うデジタルビデオカメラの開発が行われている。よって、映像自体の情報量が増加しているといった観点からも、高能率な圧縮符号化が必要とされる。現在は、圧縮符号化を行う方式としてはMPEG(Moving Picture Experts Group)の方式が標準技術としてしばしば用いられている。MPEG方式では、動画像を構成する複数の画面を用いた動き補償予測によって高能率符号化を実現しているが、そのためには大量の画像データを高速処理する必要がある。   Recently, digital video cameras that handle HD (High-Definition) video, which has a larger amount of information than standard video, have been developed with the expectation of high image quality. Therefore, highly efficient compression coding is required also from the viewpoint that the amount of information of the video itself is increasing. At present, the MPEG (Moving Picture Experts Group) system is often used as a standard technique for performing compression encoding. In the MPEG system, high-efficiency encoding is realized by motion compensation prediction using a plurality of screens constituting a moving image. For this purpose, it is necessary to process a large amount of image data at high speed.

上記の高速処理のため、符号化回路を非常に高速なクロックによって動作させると、負荷が高まるとともに、消費電力が大きくなるという課題がある。そこでこの課題を解決するために、例えば、特許文献1に記載の画像符号化装置では、動画像信号の各画面を複数の領域に分割して、各領域に分割された画像信号を複数の符号化部で並列に符号化することにより、前述した課題を解決している。   Due to the high-speed processing described above, when the encoding circuit is operated with a very high-speed clock, there is a problem that the load increases and the power consumption increases. In order to solve this problem, for example, in the image encoding device described in Patent Document 1, each screen of a moving image signal is divided into a plurality of regions, and the image signal divided into each region is encoded with a plurality of codes. The above-described problem is solved by encoding in parallel in the conversion unit.

一方、前述したように動画像信号の各画面を複数の領域に分割して、複数の符号化部で各領域を並列に符号化すると、隣接する領域の境界部分で画質の差が生じてしまうことが考えられる。前記特許文献1に記載の画像符号化装置では、前述の領域分割とは異なる第2の方向で画像信号を分割し、第2の分割方向で分割した小領域毎に、各符号化手段の符号化パラメータを制御している。そして、各小領域を同一の符号化パラメータによって符号化することによって、小領域の境界部分における画質劣化を目立たないようにしている。
特開平7−95572号公報
On the other hand, if each screen of a moving image signal is divided into a plurality of regions as described above and each region is encoded in parallel by a plurality of encoding units, a difference in image quality occurs at the boundary between adjacent regions. It is possible. In the image coding device described in Patent Document 1, the image signal is divided in a second direction different from the above-described region division, and the code of each coding unit is divided for each small region divided in the second division direction. Controls the activation parameters. Then, by encoding each small region with the same encoding parameter, image quality deterioration at the boundary portion of the small region is made inconspicuous.
JP-A-7-95572

しかしながら、前記特許文献1に記載の画像符号化装置は、画面を異なる2つの方向に分割した小領域ごとに符号化パラメータの制御を行うものである。このため、各領域の符号化パラメータとしては予め定められた設定値が決まってしまい、画像の性質に合わせた好適な符号化パラメータを用いることが困難であるという問題点があった。   However, the image encoding device described in Patent Document 1 controls the encoding parameter for each small area obtained by dividing the screen in two different directions. For this reason, a predetermined set value is determined as the encoding parameter for each region, and there is a problem that it is difficult to use a suitable encoding parameter that matches the properties of the image.

本発明は前述の問題点に鑑み、簡易な構成によって、画面を領域分割して符号化したときの境界部の画質劣化を目立たないようにするとともに、画像の性質に合わせた好適な符号化パラメータを設定できるようにすることを目的とする。   In view of the above-mentioned problems, the present invention makes it possible to make the image quality degradation at the boundary portion inconspicuous when the screen is divided into regions and encode with a simple configuration and suitable encoding parameters according to the properties of the image. The purpose is to be able to set.

上記目的を達成するために、本発明の動画像圧縮符号化装置は、動画像データを構成する画面を水平方向に4個の領域に分割する領域分割手段と、前記領域分割手段によって分割された領域ごとに前記動画像データを符号化する、前記領域分割手段によって分割された領域数より少ない2つの符号化手段と、前記2つの符号化手段によってそれぞれ符号化された符号化データを合成する符号化データ合成手段と、前記2つの符号化手段が異なる領域のデータを並列に符号化するよう制御するとともに、前記領域分割手段によって分割された個の領域のうち前記動画像データを構成する画面の中央の上下に隣接する2つの領域のデータを、前記2つの符号化手段のうち単一の符号化手段で符号化すると共に、前記動画像データを構成する画面の中央の上下に隣接する2つの領域のデータを符号化する符号化手段は、前記上下に隣接する2つの領域のうち下側に位置する領域のデータの符号化を、上側に位置する領域のデータの符号化が終了してから行うように制御する符号化制御手段とを備えたことを特徴とする。 In order to achieve the above object, a moving image compression encoding apparatus according to the present invention is divided by a region dividing unit that divides a screen constituting moving image data into four regions in the horizontal direction and the region dividing unit. encoding the video data for each region, and two coding means fewer than the number of divided regions by the region dividing unit, the encoded data respectively encoded by the two coding means synthetic The encoded data synthesizing means and the two encoding means control to encode the data of the different areas in parallel, and the moving image data among the four areas divided by the area dividing means the data of two regions adjacent to and below the center of the screen constituting, together encode a single encoding means of said two encoding means, the screen constituting the moving image data Encoding means for encoding the data of the two regions adjacent to and below the center, the data of the vertical coding of data in the area located below the one of the two regions adjacent to, located in the upper region And encoding control means for performing control so as to be performed after the encoding is completed.

また、本発明の他の動画像圧縮符号化装置は、動画像データを構成する画面を垂直方向に4個の領域に分割する領域分割手段と、前記領域分割手段によって分割された領域ごとに前記動画像データを符号化する、前記領域分割手段によって分割された領域数より少ない2つの符号化手段と、前記2つの符号化手段によってそれぞれ符号化された符号化データを合成する符号化データ合成手段と、前記2つの符号化手段が異なる領域のデータを並列に符号化するよう制御するとともに、前記領域分割手段によって分割された個の領域のうち前記動画像データを構成する画面の中央の左右に隣接する2つの領域のデータを前記2つの符号化手段のうち単一の符号化手段で符号化すると共に、前記動画像データを構成する画面の中央の左右に隣接する2つの領域のデータを符号化する符号化手段は、前記左右に隣接する2つの領域のうち右側に位置する領域のデータの符号化を、左側に位置する領域のデータの符号化が終了してから行うように制御する符号化制御手段とを備えたことを特徴とする。 In addition, another moving image compression encoding apparatus of the present invention includes a region dividing unit that divides a screen constituting moving image data into four regions in the vertical direction, and the region dividing unit for each region divided by the region dividing unit. Encoding data for encoding moving image data, two encoding means less than the number of areas divided by the area dividing means, and encoded data encoded by the two encoding means, respectively. The synthesizing unit and the two encoding units control to encode the data of different areas in parallel, and the screens constituting the moving image data among the four areas divided by the area dividing unit the data of two regions adjacent to the left and right of the center as well as encoded in a single encoding means of said two encoding means, adjacent the right and left center of the screen constituting the moving image data The encoding means for encoding the data of the two areas is configured to encode the data of the area located on the right side of the two areas adjacent to the left and right, and to finish the coding of the data of the area located on the left side. And an encoding control means for performing control so as to be performed thereafter.

本発明によれば、画質の違いが視覚的に認識されやすい画面中央付近での画質の連続性を保つことができる。 According to the present invention, it is possible to maintain the continuity of image quality near the center of the screen where the difference in image quality is easily visually recognized .

(第1の実施形態)
図1は、本発明の第1の実施形態に係る動画像符号化装置の構成を示すブロック図である。本実施形態の動画像符号化装置は、動き補償予測を用いて動画像データを圧縮符号化する動画像圧縮符号化装置である。また、本実施形態の動画像符号化装置は、デジタルビデオカメラ等の撮像装置に適用できる。
(First embodiment)
FIG. 1 is a block diagram showing a configuration of a moving picture encoding apparatus according to the first embodiment of the present invention. The moving image encoding apparatus of the present embodiment is a moving image compression encoding apparatus that compresses and encodes moving image data using motion compensation prediction. In addition, the moving image encoding apparatus of the present embodiment can be applied to an imaging apparatus such as a digital video camera.

図1において、動画像符号化装置100は、不図示の撮像ユニットなどから出力される動画像データ(画像信号)を入力する画像信号入力部101を備えている。また、動画像における1フィールドまたは1フレームの画像信号をn個の領域に分割する領域分割回路102と、それぞれが画像信号の動き補償を用いた動き補償予測符号化を行う第1の符号化回路103a及び第2の符号化回路103bとを備えている。   In FIG. 1, a moving image encoding apparatus 100 includes an image signal input unit 101 that inputs moving image data (image signal) output from an imaging unit (not shown) or the like. In addition, a region dividing circuit 102 that divides an image signal of one field or one frame in a moving image into n regions, and a first encoding circuit that performs motion compensation prediction encoding using motion compensation of the image signal. 103a and a second encoding circuit 103b.

さらに、第1の符号化回路103a及び第2の符号化回路103bから出力される符号化データを合成する符号化データ合成回路105を備えている。また、第1の符号化回路103a及び第2の符号化回路103bから出力される符号化結果に基づいて、符号化パラメータの制御を行う符号化制御回路106を備えている。さらに、合成された符号化データを図示しない記録媒体や通信路へ出力する符号化データ出力部107を備えている。   Furthermore, an encoded data combining circuit 105 that combines encoded data output from the first encoding circuit 103a and the second encoding circuit 103b is provided. In addition, an encoding control circuit 106 that controls encoding parameters based on the encoding results output from the first encoding circuit 103a and the second encoding circuit 103b is provided. Furthermore, an encoded data output unit 107 that outputs the combined encoded data to a recording medium (not shown) or a communication path is provided.

第1の符号化回路103a及び第2の符号化回路103bは、符号化制御回路106の制御により、それぞれ並列に動作する。そして、各構成要素の動作は、システムコントローラ104によって制御される。なお、実際の動画像符号化装置においては、他の構成要素を必要とするが、本発明の主旨とは関係ないので説明を省略する。   The first encoding circuit 103a and the second encoding circuit 103b operate in parallel under the control of the encoding control circuit 106, respectively. The operation of each component is controlled by the system controller 104. Note that the actual moving image encoding apparatus requires other components, but the description is omitted because it is not related to the gist of the present invention.

次に、動画像符号化装置100の動作について説明する。図5は、本実施形態に係る動画像符号化装置の動作手順の一例を示すフローチャートである。   Next, the operation of the moving picture coding apparatus 100 will be described. FIG. 5 is a flowchart illustrating an example of an operation procedure of the moving image encoding apparatus according to the present embodiment.

フィールド単位、またはフレーム単位で画像信号入力部101に入力された画像信号が領域分割回路102に入力されると本フローチャートに示した処理が開始される。   When the image signal input to the image signal input unit 101 in the field unit or the frame unit is input to the area dividing circuit 102, the processing shown in this flowchart is started.

まず、ステップS501において、領域分割回路102は、図2に示すように入力された画像信号に含まれる各画面200を、メモリを用いて4個の領域(第1のエリア(Area1)201〜第4のエリア(Area4)204)にスライス単位に分割する。スライスとは、第1の符号化回路103a及び第2の符号化回路103bが行う符号化処理の単位である。図2は所定の画素ラインで画面を水平方向(横)に4分割した例である。本実施形態では符号化回路の数mは2とし、領域分割回路102における分割数nはn>2(nは2よりも大きい整数)を満たせばよいが、ここではnを4とする。 First, in step S501, the area dividing circuit 102 converts each screen 200 included in the input image signal as shown in FIG. 2 into four areas (first area (Area 1) 201-first using a memory. 4 areas (Area 4) 204). A slice is a unit of encoding processing performed by the first encoding circuit 103a and the second encoding circuit 103b. FIG. 2 shows an example in which the screen is divided into four in the horizontal direction (horizontal) along a predetermined pixel line. In the present embodiment, the number m of the encoding circuits is 2, and the division number n in the region division circuit 102 may satisfy n> 2 (n is an integer larger than 2). Here, n is 4.

次に、ステップS502において、符号化制御回路106は、複数の符号化回路103a及び103bのうち、分割された第1のエリア201〜第4のエリア204の各データを符号化する符号化回路を決める。さらに、符号化制御回路106は、複数の符号化回路103aと103bの符号化の時間的な順序を決める。   Next, in step S502, the encoding control circuit 106 selects an encoding circuit that encodes each data of the divided first area 201 to fourth area 204 among the plurality of encoding circuits 103a and 103b. Decide. Furthermore, the encoding control circuit 106 determines the temporal order of encoding of the plurality of encoding circuits 103a and 103b.

次に、ステップS503において、第1の符号化回路103a及び第2の符号化回路103bは、それぞれ割り当てられた領域のデータの符号化処理を行う。このとき、符号化制御回路106は、第1の符号化回路103a及び第2の符号化回路103bにおける符号化処理を並列に行うように制御する。次に、ステップS504において、符号化データ合成回路105は、第1の符号化回路103a及び第2の符号化回路103bにおいて符号化処理された符号化データのエレメントをメモリを用いて合成する。そして、符号化データ出力部107から符号化データを出力し、処理を終了する。   Next, in step S503, the first encoding circuit 103a and the second encoding circuit 103b perform encoding processing of data in the allocated areas. At this time, the encoding control circuit 106 performs control so that the encoding processes in the first encoding circuit 103a and the second encoding circuit 103b are performed in parallel. Next, in step S504, the encoded data combining circuit 105 combines the elements of the encoded data encoded by the first encoding circuit 103a and the second encoding circuit 103b using a memory. Then, the encoded data is output from the encoded data output unit 107, and the process ends.

本実施形態では、符号化制御回路106は、入力画像信号の1フレーム期間内に、1フレーム分のスライスの符号化処理を完了させる。すなわち、符号化制御回路106は、4個の領域を2つずつ並列で符号化し、それぞれの符号化回路が1フレーム期間に2つの領域の符号化を行うように第1の符号化回路103a及び第2の符号化回路103bを制御する。そして、第1の符号化回路103a及び第2の符号化回路103bが行う時分割の符号化処理は、図3に示すように1フレーム期間を時間的に前半期間と後半期間とに分けて行われる。すなわち、第1のエリア201〜第4のエリア204の各画像データについて、一部の複数領域を先に並列的に符号化し、残りの複数領域を前記一部の複数領域の符号化よりも時間順で後に符号化することになる。   In the present embodiment, the encoding control circuit 106 completes encoding processing of slices for one frame within one frame period of the input image signal. That is, the encoding control circuit 106 encodes four regions in parallel two by two, and the first encoding circuit 103a and the encoding circuit 103a and the encoding circuit 106 perform encoding of the two regions in one frame period. The second encoding circuit 103b is controlled. The time-division encoding processing performed by the first encoding circuit 103a and the second encoding circuit 103b is performed by dividing one frame period into a first half period and a second half period in terms of time as shown in FIG. Is called. That is, for each of the image data in the first area 201 to the fourth area 204, some of the plurality of areas are encoded in parallel first, and the remaining plurality of areas are timed longer than encoding of the some of the plurality of areas. It will be encoded later in order.

符号化制御回路106は、1フレーム期間の前半期間では第1の符号化回路103aで第2のエリア(Area2)202を符号化し、並行して第2の符号化回路103bで第1のエリア(Area1)201を符号化するように制御する。そして、1フレーム期間の後半期間では第1の符号化回路103aで第2のエリア202に隣接する第3のエリア(Area3)203を符号化し、並行して第2の符号化回路103bで第4のエリア(Area4)204を符号化するように制御する。ここで、画面中央付近に注目すれば、上側の領域(Area2)が先に符号化され、下側の領域(Area3)が後から符号化される。   The encoding control circuit 106 encodes the second area (Area2) 202 with the first encoding circuit 103a during the first half of one frame period, and in parallel with the first area (with the second encoding circuit 103b, the first area ( (Area1) 201 is controlled to be encoded. In the second half of one frame period, the first encoding circuit 103a encodes the third area (Area 3) 203 adjacent to the second area 202, and in parallel, the second encoding circuit 103b performs the fourth operation. The area (Area 4) 204 is controlled to be encoded. Here, if attention is paid to the vicinity of the center of the screen, the upper area (Area 2) is encoded first, and the lower area (Area 3) is encoded later.

また、符号化制御回路106は、符号化制御の際に、各符号化回路に対して符号化パラメータである量子化ステップ幅の初期値を設定する。なお、各エリア内の符号化は、所定の画素ブロック(マクロブロック等)単位で上から順に行われる。従って、本実施形態では、第3のエリア203の量子化ステップ幅の初期値を決める際に、第2のエリア202の符号化結果から、第2のエリア202の最終ブロックの量子化ステップ幅を参照するようにしている。具体的には、符号化制御回路106が、第2のエリア202の最終ブロックの量子化ステップ幅を記憶している。そして、符号化制御回路106は、記憶した第2のエリア202の最終ブロックの量子化ステップ幅を、第3のエリア203の最初に符号化されるブロックの量子化ステップ幅の初期値に設定する。このような符号化制御をすることにより、画面中央付近にある第2のエリア202と、当該第2のエリア202に隣接する第3のエリア203との量子化ステップ幅の連続性が保てるようになる。よって、画質の違いが視覚的に認識されやすい画面中央付近での画質の連続性を保つことができる。   Also, the encoding control circuit 106 sets an initial value of a quantization step width, which is an encoding parameter, for each encoding circuit during encoding control. Note that encoding within each area is performed in order from the top in units of predetermined pixel blocks (macroblocks, etc.). Therefore, in this embodiment, when determining the initial value of the quantization step width of the third area 203, the quantization step width of the final block of the second area 202 is determined from the encoding result of the second area 202. I try to refer to it. Specifically, the encoding control circuit 106 stores the quantization step width of the last block in the second area 202. Then, the encoding control circuit 106 sets the stored quantization step width of the last block in the second area 202 to the initial value of the quantization step width of the block encoded first in the third area 203. . By performing such encoding control, the continuity of the quantization step width between the second area 202 near the center of the screen and the third area 203 adjacent to the second area 202 can be maintained. Become. Therefore, it is possible to maintain the continuity of image quality near the center of the screen where the difference in image quality is easily recognized visually.

一方、画面中央付近以外の第1のエリア201及び第4のエリア204については、互いに離れたエリアである。よって、それぞれエリア内で閉じた符号化制御を行って、符号化対象のブロックの内容に基づいて、画像の性質に合わせた最適な量子化ステップ幅を設定できる。   On the other hand, the first area 201 and the fourth area 204 other than the vicinity of the center of the screen are areas apart from each other. Therefore, it is possible to perform the encoding control closed in each area and set the optimum quantization step width according to the property of the image based on the content of the block to be encoded.

以上のように本実施形態では、画面の中央部付近においては、エリア間で画質の連続性を保つように符号化順序及び符号化パラメータを決定している。したがって、分割数(領域数)nについては、符号化回路の数mよりも大きい数にする。なお、分割数nを多く設定すると、画面の中央部分以外の領域において境界部分の画質の差異が多く発生する可能性がある。したがって、分割数nは符号化回路の数mの2倍以下にするとよい。すなわち、1つの符号化回路において3つ以上のエリアを符号化することがないようにする。   As described above, in the present embodiment, the encoding order and the encoding parameters are determined so as to maintain the continuity of image quality between areas near the center of the screen. Therefore, the division number (region number) n is set to a number larger than the number m of the encoding circuits. If the number n of divisions is set to be large, there may be a large difference in image quality at the boundary portion in an area other than the central portion of the screen. Therefore, the division number n should be less than twice the number m of coding circuits. That is, three or more areas are not encoded in one encoding circuit.

次に、第1の符号化回路103a及び第2の符号化回路103bの動作について説明する。第1の符号化回路103a及び第2の符号化回路103bは、分割された領域(スライス)を符号化処理における1つの単位とみなし、領域(スライス)ごとの符号化を行う。   Next, operations of the first encoding circuit 103a and the second encoding circuit 103b will be described. The first encoding circuit 103a and the second encoding circuit 103b regard the divided area (slice) as one unit in the encoding process, and perform encoding for each area (slice).

図4は、本発明の実施形態に係る第1の符号化回路103aの詳細な構成を示すブロック図である。なお、第2の符号化回路103bの構成は、第1の符号化回路103aと同様であるため、説明を省略する。   FIG. 4 is a block diagram showing a detailed configuration of the first encoding circuit 103a according to the embodiment of the present invention. Note that the configuration of the second encoding circuit 103b is the same as that of the first encoding circuit 103a, and thus the description thereof is omitted.

図4において、第1の符号化回路103aは、画像信号を入力する入力部401と、フレームメモリ402と、動きベクトル探索回路403と、フレーム間動き補償回路404と、イントラ予測回路405と、スイッチ406とを備えている。さらに、減算器407と、整数変換回路408と、量子化回路409と、逆量子化回路410と、逆整数変換回路411と、加算器412と、ループ内フィルタ413とを備えている。さらに、エントロピー符号化回路415と、符号量制御回路416と、符号化データを出力する出力部417とを備えている。そして、符号量制御回路416など各構成要素の動作は、システムコントローラ104によって制御されている。   In FIG. 4, the first encoding circuit 103a includes an input unit 401 for inputting an image signal, a frame memory 402, a motion vector search circuit 403, an inter-frame motion compensation circuit 404, an intra prediction circuit 405, a switch 406. Further, a subtractor 407, an integer transformation circuit 408, a quantization circuit 409, an inverse quantization circuit 410, an inverse integer transformation circuit 411, an adder 412 and an in-loop filter 413 are provided. Furthermore, an entropy encoding circuit 415, a code amount control circuit 416, and an output unit 417 that outputs encoded data are provided. The operation of each component such as the code amount control circuit 416 is controlled by the system controller 104.

入力部401に入力された画像信号は、フレーム単位の場合、第1フレーム、第2フレーム、第3フレーム、・・・の順で、順次、フレームメモリ402に格納される。そして、フレームメモリ402からは、例えば、第3フレーム、第1フレーム、第2フレーム、・・・などの、符号化を行う順序で画像信号が取り出される。   In the case of a frame unit, the image signal input to the input unit 401 is sequentially stored in the frame memory 402 in the order of the first frame, the second frame, the third frame,. Then, from the frame memory 402, for example, image signals are extracted in the order of encoding, such as the third frame, the first frame, the second frame,.

ここで、符号化方式としてフレーム(スライスの場合、同一スライス)内の画像データのみで符号化する「イントラ符号化」と、フレーム間予測も含めて符号化する「インター符号化」とがある。インター符号化を行うピクチャ(フレーム)には、動き補償の単位(MCブロック)に対して1枚の参照フレームとの予測を行うPピクチャと、MCブロックに対して2枚までの参照フレームとの予測を行うBピクチャとがある。一方、イントラ符号化を行うピクチャは、Iピクチャという。符号化するフレームの順番が入力されたフレームの順番と異なる理由は、時間的に未来のフレームとの予測(後方予測)を可能にするためである。   Here, as an encoding method, there are “intra coding” in which only image data in a frame (in the case of a slice, the same slice) is encoded, and “inter coding” in which encoding is performed including inter-frame prediction. A picture (frame) to be inter-coded includes a P picture for prediction of one reference frame for a motion compensation unit (MC block) and up to two reference frames for an MC block. There is a B picture that performs prediction. On the other hand, a picture to be subjected to intra coding is called an I picture. The reason why the order of frames to be encoded is different from the order of input frames is to enable temporal prediction (backward prediction) with future frames.

イントラ符号化がなされる場合、符号化単位となるブロックの符号化対象画像は、フレームメモリ402から読み出されてイントラ予測回路405に入力される。イントラ予測回路405は、符号化対象ブロック(符号化対象画像)と、後述する同一フレーム内の符号化対象ブロックの近傍に位置する局所復号画像からなる複数の予測画像とのブロックマッチングを行う。そして、最も相関の高いイントラ予測画像を選択してスイッチ406へ出力する。   When intra coding is performed, a coding target image of a block serving as a coding unit is read from the frame memory 402 and input to the intra prediction circuit 405. The intra prediction circuit 405 performs block matching between an encoding target block (encoding target image) and a plurality of predicted images including local decoded images located in the vicinity of the encoding target block in the same frame described later. Then, the intra prediction image having the highest correlation is selected and output to the switch 406.

本実施形態では、前述したように、画面の中央位置を境にして上下に隣接する二つの領域(第2のエリア202及び第3のエリア203)は、同じ符号化回路によって符号化される。さらに、その符号化回路は、第2のエリア202(中央の上側の領域)の符号化を行った後に第3のエリア203(中央の下側の領域)の符号化を行う。一方、第3のエリア203の符号化を行うときに、フレームメモリ402は、第2のエリア202の局所復号画像のうち、少なくとも最下段のブロックのデータを保持しておく。これにより、第3のエリア203の最上段に位置するブロックのイントラ予測を行う際に、符号化済である第2のエリア202の最下段に位置するブロックの局所復号画像を予測に用いるようにする。さらに、符号化済である第2のエリア202の最下段に位置するブロックのイントラ予測方向の情報などを、第3のエリア203の最上段に位置するブロックのイントラ予測の際に参照するようにしても良い。このような、イントラ予測に用いるブロックの情報や、予測方向の情報なども符号化パラメータの1つとして符号化時に設定することもできる。   In the present embodiment, as described above, two regions (second area 202 and third area 203) that are adjacent vertically with respect to the center position of the screen are encoded by the same encoding circuit. Further, the encoding circuit encodes the third area 203 (lower central region) after encoding the second area 202 (central upper region). On the other hand, when encoding the third area 203, the frame memory 402 holds at least the data of the lowest block among the locally decoded images of the second area 202. Thereby, when performing intra prediction of the block located in the uppermost stage of the third area 203, the local decoded image of the block located in the lowermost stage of the second area 202 that has been encoded is used for the prediction. To do. Further, information on the intra prediction direction of the block located at the bottom of the second area 202 that has been encoded is referred to when performing intra prediction of the block located at the top of the third area 203. May be. Such block information used for intra prediction, prediction direction information, and the like can also be set as one of the encoding parameters at the time of encoding.

イントラ符号化がなされる場合、スイッチ406はイントラ予測画像の側へ切り替えられ、前記イントラ予測画像が減算器407へ出力される。そして、減算器407は、フレームメモリ402から出力された符号化対象画像と、スイッチ406から入力されるイントラ予測画像との画素値の差分情報を抽出し、整数変換回路408へ出力する。   When intra coding is performed, the switch 406 is switched to the intra predicted image side, and the intra predicted image is output to the subtractor 407. Then, the subtractor 407 extracts pixel value difference information between the encoding target image output from the frame memory 402 and the intra prediction image input from the switch 406, and outputs the difference information to the integer conversion circuit 408.

整数変換回路408は、前記画素値の差分情報に対して整数変換(周波数変換)を施して、変換係数を量子化回路409に送る。次に、量子化回路409は、入力された変換係数を量子化処理する。エントロピー符号化回路415は、量子化回路409で量子化された変換係数に対してエントロピー符号化を行った後、出力部417を介して符号化データ合成回路105へ出力する。   The integer conversion circuit 408 performs integer conversion (frequency conversion) on the difference information of the pixel values and sends the conversion coefficient to the quantization circuit 409. Next, the quantization circuit 409 performs a quantization process on the input transform coefficient. The entropy encoding circuit 415 performs entropy encoding on the transform coefficient quantized by the quantization circuit 409, and then outputs the result to the encoded data synthesis circuit 105 via the output unit 417.

なお、量子化回路409で用いられる量子化ステップ幅は、エントロピー符号化回路415で発生した符号量のフィードバックなどから符号量制御回路416により算出される。そして、量子化ステップ幅の初期値は符号化制御回路106により設定される。   Note that the quantization step width used in the quantization circuit 409 is calculated by the code amount control circuit 416 from feedback of the code amount generated by the entropy encoding circuit 415 or the like. The initial value of the quantization step width is set by the encoding control circuit 106.

また、逆量子化回路410は、量子化回路409で量子化された変換係数を逆量子化し、逆整数変換回路411において逆整数変換処理を施す。そして、加算器412は、スイッチ406から出力されたイントラ予測画像と、逆整数変換回路411において逆整数変換処理された画素値の差分情報とを加算して局所復号画像を生成する。この局所復号画像は、前述したイントラ予測回路405に入力されてイントラ予測画像の生成に用いられる。また、前記局所復号画像は、ループ内フィルタ413によって符号化歪の軽減処理が施された後、後述するインター符号化の際に用いる参照画像としてフレームメモリ402に記憶される。   Further, the inverse quantization circuit 410 inversely quantizes the transform coefficient quantized by the quantization circuit 409 and performs an inverse integer transform process in the inverse integer transform circuit 411. Then, the adder 412 adds the intra prediction image output from the switch 406 and the difference information of the pixel value subjected to the inverse integer transform process in the inverse integer transform circuit 411 to generate a local decoded image. This locally decoded image is input to the intra prediction circuit 405 described above and used to generate an intra prediction image. Further, the locally decoded image is subjected to encoding distortion reduction processing by the in-loop filter 413 and then stored in the frame memory 402 as a reference image used in inter-encoding described later.

一方、インター符号化がなされる場合、符号化単位となるブロックの符号化対象画像は、フレームメモリ402から読み出されて動きベクトル探索回路403に入力される。動きベクトル探索回路403は、前述した参照画像をフレームメモリ402から読み出し、符号化対象画像と参照画像とから動きベクトルを検出する。フレーム間動き補償回路404は、動きベクトル探索回路403で検出した動きベクトルに従って動き補償を行い、インター予測画像を生成する。   On the other hand, when inter coding is performed, a coding target image of a block serving as a coding unit is read from the frame memory 402 and input to the motion vector search circuit 403. The motion vector search circuit 403 reads the reference image described above from the frame memory 402 and detects a motion vector from the encoding target image and the reference image. The inter-frame motion compensation circuit 404 performs motion compensation according to the motion vector detected by the motion vector search circuit 403, and generates an inter prediction image.

インター符号化がなされる場合、スイッチ406はインター予測画像の側へ切り替えられ、前記インター予測画像が減算器407へ出力される。そして、減算器407は、符号化対象画像とインター予測画像とから差分画像を抽出し、抽出した差分画像を整数変換回路408に出力する。なお、その他の処理については前述のイントラ符号化の場合と同様であるため、説明は省略する。   When inter coding is performed, the switch 406 is switched to the inter prediction image side, and the inter prediction image is output to the subtractor 407. Then, the subtracter 407 extracts a difference image from the encoding target image and the inter prediction image, and outputs the extracted difference image to the integer conversion circuit 408. Since other processes are the same as those in the case of the above-described intra coding, description thereof is omitted.

以上のように本実施形態においては、第1の符号化回路103a及び第2の符号化回路103bによる符号化を並列に行い、画面の中央部に位置している第2のエリア202の符号化を、第3のエリア203の符号化よりも先に行うようにした。さらに、画面の中央部付近においては、エリア間で画質の連続性を保つように符号化順序及び符号化パラメータを決定している。これにより、符号化回路の動作速度を非常に高速にしなくても、符号化結果情報を共有して画質の違いが視覚的に認識されやすい画面中央付近での画質の連続性を保つことができる。したがって、画質の劣化が目立たないようにするとともに、画像の性質に合わせた最適な符号化パラメータを設定することができる。   As described above, in the present embodiment, the encoding by the first encoding circuit 103a and the second encoding circuit 103b is performed in parallel, and the encoding of the second area 202 located at the center of the screen is performed. Is performed prior to the encoding of the third area 203. Further, in the vicinity of the center of the screen, the encoding order and encoding parameters are determined so as to maintain continuity of image quality between areas. As a result, even if the operation speed of the encoding circuit is not very high, the encoding result information can be shared to maintain the continuity of the image quality near the center of the screen where the difference in image quality is easily visually recognized. . Therefore, it is possible to set the optimum encoding parameter according to the property of the image while making the deterioration of the image quality inconspicuous.

(第2の実施形態)
図6は、本発明の第2の実施形態に係る動画像符号化装置の構成を示すブロック図である。本実施形態の動画像符号化装置は、第1の実施形態と同様、動き補償予測を用いて動画像データを圧縮符号化する。また、本実施形態の動画像符号化装置も、デジタルビデオカメラ等の撮像装置に適用できる。
(Second Embodiment)
FIG. 6 is a block diagram showing a configuration of a video encoding apparatus according to the second embodiment of the present invention. As in the first embodiment, the moving image encoding apparatus according to the present embodiment compresses and encodes moving image data using motion compensated prediction. Further, the moving image encoding apparatus of the present embodiment can also be applied to an imaging apparatus such as a digital video camera.

図6において、動画像符号化装置600は、図1の動画像符号化装置100が備える領域分割回路102に替えて領域分割回路602を備え、さらにフレームメモリ601を備えている。図6の各構成要素のうち、図1の構成要素と同じ符号を有するものに関しては、図1に係る説明と同様であるので説明を省略する。   In FIG. 6, a moving image encoding apparatus 600 includes an area dividing circuit 602 instead of the area dividing circuit 102 included in the moving image encoding apparatus 100 in FIG. 1, and further includes a frame memory 601. 6 that have the same reference numerals as those in FIG. 1 are the same as those in FIG. 1, and thus the description thereof is omitted.

上述した図5のフローチャートに基づき、動画像符号化装置600の動作について説明する。   Based on the flowchart of FIG. 5 described above, the operation of the moving picture coding apparatus 600 will be described.

フィールド単位、またはフレーム単位で画像信号入力部101に入力された画像信号は、一旦フレームメモリ601に保存される。ステップS501では図7のように、領域分割回路602は、フレームメモリ601に保存されたフレーム画像(画面700)を、4個の領域(第5のエリア(Area5)701〜第8のエリア(Area8)704)にスライス単位に分割する。図7は所定の位置で画面700を垂直方向(縦)に4分割した例である。本実施形態では符号化回路の数mは2とし、領域分割回路602における分割数nはn>2(nは2よりも大きい整数)を満たせばよいが、ここでnを4とする。 The image signal input to the image signal input unit 101 in field units or frame units is temporarily stored in the frame memory 601. In step S501, as shown in FIG. 7, the area dividing circuit 602 converts the frame image (screen 700) stored in the frame memory 601 into four areas (fifth area (Area 5) 701 to eighth area (Area 8). ) Divide into slice units at 704). FIG. 7 shows an example in which the screen 700 is divided into four in the vertical direction (vertical) at a predetermined position. In the present embodiment, the number m of the encoding circuits is 2, and the division number n in the area division circuit 602 may satisfy n> 2 (n is an integer greater than 2), where n is 4.

次に、ステップS502において、符号化制御回路106は、複数の符号化回路103a及び103bのうち、分割された第5のエリア701〜第8のエリア704の各データを符号化する符号化回路を決める。さらに、符号化制御回路106は、複数の符号化回路103aと103bの符号化の時間的な順序を決める。   Next, in step S502, the encoding control circuit 106 selects an encoding circuit that encodes each data of the divided fifth area 701 to eighth area 704 among the plurality of encoding circuits 103a and 103b. Decide. Furthermore, the encoding control circuit 106 determines the temporal order of encoding of the plurality of encoding circuits 103a and 103b.

次に、ステップS503において、第1の符号化回路103a及び第2の符号化回路103bは、それぞれ割り当てられた領域のデータの符号化処理を行う。このとき、符号化制御回路106は、第1の符号化回路103a及び第2の符号化回路103bにおける符号化処理を並列に行うように制御する。次に、ステップS504において、符号化データ合成回路105は、第1の符号化回路103a及び第2の符号化回路103bにおいて符号化処理された符号化データのエレメントをメモリを用いて合成する。そして、符号化データ出力部107から符号化データを出力し、処理を終了する。   Next, in step S503, the first encoding circuit 103a and the second encoding circuit 103b perform encoding processing of data in the allocated areas. At this time, the encoding control circuit 106 performs control so that the encoding processes in the first encoding circuit 103a and the second encoding circuit 103b are performed in parallel. Next, in step S504, the encoded data combining circuit 105 combines the elements of the encoded data encoded by the first encoding circuit 103a and the second encoding circuit 103b using a memory. Then, the encoded data is output from the encoded data output unit 107, and the process ends.

本実施形態では、符号化制御回路106は、入力画像信号の1フレーム期間内に、1フレーム分のスライスの符号化処理を完了させる。すなわち、符号化制御回路106は、4個の領域を2つずつ並列で符号化し、それぞれの符号化回路が1フレーム期間に2つの領域の符号化を行うように第1の符号化回路103a及び第2の符号化回路103bを制御する。そして、第1の符号化回路103a及び第2の符号化回路103bが行う時分割の符号化処理は、図8に示すように1フレーム期間を時間的に前半期間と後半期間とに分けて行われる。すなわち、第5のエリア701〜第8のエリア704の各画像データについて、一部の複数領域を先に並列的に符号化し、残りの複数領域を前記一部の複数領域の符号化よりも時間順で後に符号化することになる。   In the present embodiment, the encoding control circuit 106 completes encoding processing of slices for one frame within one frame period of the input image signal. That is, the encoding control circuit 106 encodes four regions in parallel two by two, and the first encoding circuit 103a and the encoding circuit 103a and the encoding circuit 106 perform encoding of the two regions in one frame period. The second encoding circuit 103b is controlled. The time-division encoding process performed by the first encoding circuit 103a and the second encoding circuit 103b is performed by dividing one frame period into a first half period and a second half period in terms of time as shown in FIG. Is called. That is, for each of the image data in the fifth area 701 to the eighth area 704, some of the plurality of areas are encoded in parallel first, and the remaining plurality of areas are timed more than encoding of the some of the plurality of areas. It will be encoded later in order.

符号化制御回路106は、1フレーム期間の前半期間では第1の符号化回路103aで第6のエリア(Area6)702を符号化し、並行して第2の符号化回路103bで第5のエリア(Area5)701を符号化するように制御する。そして、1フレーム期間の後半期間では第1の符号化回路103aで第6のエリア702に隣接する第7のエリア(Area7)703を符号化し、並行して第2の符号化回路103bで第8のエリア(Area8)704を符号化するように制御する。ここで、画面中央付近に注目すれば、左側の領域(Area6)が先に符号化され、右側の領域(Area7)が後から符号化される。   In the first half of one frame period, the encoding control circuit 106 encodes the sixth area (Area 6) 702 with the first encoding circuit 103a, and in parallel with the second encoding circuit 103b, the fifth area ( (Area 5) 701 is controlled to be encoded. In the second half of one frame period, the first encoding circuit 103a encodes the seventh area (Area7) 703 adjacent to the sixth area 702, and the second encoding circuit 103b performs the eighth operation in parallel. The area (Area 8) 704 is controlled to be encoded. If attention is paid to the vicinity of the center of the screen, the left area (Area 6) is encoded first, and the right area (Area 7) is encoded later.

また、符号化制御回路106は、符号化制御の際に、各符号化回路に対して符号化パラメータである量子化ステップ幅の初期値を設定する。なお、各エリア内の符号化は、所定の画素ブロック(マクロブロック等)単位で行われる。なおかつ、画素ブロックの符号化の順序は、エリア内の一番上の行を左から右へ、次いで二番目の行を左から右へ、といった順番で行われる。従って、本実施形態では、第7のエリア703内の左端のブロックの量子化ステップ幅の初期値を決める際に、符号化済の第6のエリア702内における同じ行の右端のブロックの符号化結果を参照する。具体的には、符号化制御回路106が、第6のエリア702の右端のブロック列の量子化ステップ幅を記憶している。そして、符号化制御回路106は、第6のエリア702内の右端のブロックの量子化ステップ幅を、第7のエリア703内の左端のブロックの量子化ステップ幅の初期値に設定する。このような符号化制御をすることにより、画面中央付近にある第6のエリア702と、当該第6のエリア702に隣接する第7のエリア703との量子化ステップ幅の連続性が保てるようになる。よって、画質の違いが視覚的に認識されやすい画面中央付近での画質の連続性を保つことができる。   Also, the encoding control circuit 106 sets an initial value of a quantization step width, which is an encoding parameter, for each encoding circuit during encoding control. Note that encoding within each area is performed in units of predetermined pixel blocks (macroblocks or the like). In addition, the pixel blocks are encoded in the order of the top row in the area from left to right and then the second row from left to right. Therefore, in this embodiment, when the initial value of the quantization step width of the leftmost block in the seventh area 703 is determined, the encoding of the rightmost block in the same row in the encoded sixth area 702 is performed. Browse the results. Specifically, the encoding control circuit 106 stores the quantization step width of the rightmost block sequence of the sixth area 702. Then, the encoding control circuit 106 sets the quantization step width of the rightmost block in the sixth area 702 to the initial value of the quantization step width of the leftmost block in the seventh area 703. By performing such encoding control, the continuity of the quantization step width between the sixth area 702 near the center of the screen and the seventh area 703 adjacent to the sixth area 702 can be maintained. Become. Therefore, it is possible to maintain the continuity of image quality near the center of the screen where the difference in image quality is easily recognized visually.

一方、画面中央付近以外の第5のエリア701及び第8のエリア704については、互いに離れたエリアである。よって、それぞれエリア内で閉じた符号化制御を行って、符号化対象のブロックの内容に基づいて、画像の性質に合わせた最適な量子化ステップ幅を設定できる。   On the other hand, the fifth area 701 and the eighth area 704 other than the vicinity of the center of the screen are areas separated from each other. Therefore, it is possible to perform the encoding control closed in each area and set the optimum quantization step width according to the property of the image based on the content of the block to be encoded.

なお、第1の符号化回路103a及び第2の符号化回路103bの構成や符号化処理の詳細等については、図4を用いて上述した内容と同様であるので省略する。   Note that the configurations of the first encoding circuit 103a and the second encoding circuit 103b, details of the encoding process, and the like are the same as those described above with reference to FIG.

本実施形態では、前述したように、画面の中央位置を境にして左右に隣接する二つの領域(第6のエリア702及び第7のエリア703)は、同じ符号化回路によって符号化される。さらに、その符号化回路は、第6のエリア702(中央の左側の領域)の符号化を行った後に第7のエリア703(中央の右側の領域)の符号化を行う。一方、第7のエリア703の符号化を行うときに、フレームメモリ402は、第6のエリア702の局所復号画像のうち、少なくとも右端のブロックのデータを保持しておく。これにより、第7のエリア703の左端に位置するブロックのイントラ予測を行う際に、符号化済である第6のエリア702の右端に位置するブロックの局所復号画像を予測に用いるようにする。さらに、符号化済である第6のエリア702の右端に位置するブロックのイントラ予測方向の情報などを、第7のエリア703の左端に位置するブロックのイントラ予測の際に参照するようにしても良い。このような、イントラ予測に用いるブロックの情報や、予測方向の情報なども符号化パラメータの1つとして符号化時に設定することもできる。   In the present embodiment, as described above, two regions (the sixth area 702 and the seventh area 703) adjacent to the left and right with the center position of the screen as a boundary are encoded by the same encoding circuit. Further, the encoding circuit encodes the sixth area 702 (center left area) and then encodes the seventh area 703 (center right area). On the other hand, when encoding the seventh area 703, the frame memory 402 holds at least the data of the rightmost block in the locally decoded image of the sixth area 702. Thereby, when performing intra prediction of the block located at the left end of the seventh area 703, the local decoded image of the block located at the right end of the sixth area 702 that has been encoded is used for prediction. Further, information on the intra prediction direction of the block located at the right end of the sixth area 702 that has been encoded may be referred to during intra prediction of the block located at the left end of the seventh area 703. good. Such block information used for intra prediction, prediction direction information, and the like can also be set as one of the encoding parameters at the time of encoding.

以上のように本実施形態においては、第1の符号化回路103a及び第2の符号化回路103bによる符号化を並列に行い、画面の中央部に位置している第6のエリア702の符号化を、第7のエリア703の符号化よりも先に行うようにした。さらに、画面の中央部付近においては、エリア間で画質の連続性を保つように符号化順序及び符号化パラメータを決定している。これにより、符号化回路の動作速度を非常に高速にしなくても、符号化結果情報を共有して画質の違いが視覚的に認識されやすい画面中央付近での画質の連続性を保つことができる。したがって、画質の劣化が目立たないようにするとともに、画像の性質に合わせた最適な符号化パラメータを設定することができる。   As described above, in the present embodiment, encoding by the first encoding circuit 103a and the second encoding circuit 103b is performed in parallel, and encoding of the sixth area 702 located at the center of the screen is performed. Is performed prior to encoding of the seventh area 703. Further, in the vicinity of the center of the screen, the encoding order and encoding parameters are determined so as to maintain continuity of image quality between areas. As a result, even if the operation speed of the encoding circuit is not very high, the encoding result information can be shared to maintain the continuity of the image quality near the center of the screen where the difference in image quality is easily visually recognized. . Therefore, it is possible to set the optimum encoding parameter according to the property of the image while making the deterioration of the image quality inconspicuous.

(本発明に係る他の実施形態)
前述した本発明の実施形態における動画像符号化装置を構成する各手段、並びに動画像符号化方法の各工程は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
(Other embodiments according to the present invention)
Each means constituting the moving picture coding apparatus and each step of the moving picture coding method in the embodiment of the present invention described above can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。   Further, the present invention can be implemented as, for example, a system, apparatus, method, program, or recording medium. Specifically, the present invention may be applied to a system including a plurality of devices. The present invention may be applied to an apparatus composed of a single device.

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図5に示すフローチャートに対応したプログラム)を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   Note that the present invention includes a case where a software program for realizing the functions of the above-described embodiments (in the embodiment, a program corresponding to the flowchart shown in FIG. 5) is directly or remotely supplied to a system or apparatus. This includes the case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。   In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などもある。   Examples of the recording medium for supplying the program include a flexible disk, a hard disk, an optical disk, and a magneto-optical disk. Further, there are MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R) and the like.

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。   As another program supply method, there is a method of connecting to a homepage on the Internet using a browser of a client computer. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。   It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、その他の方法として、本発明のプログラムを暗号化してCD−ROM等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   As another method, the program of the present invention is encrypted, stored in a recording medium such as a CD-ROM, distributed to users, and encrypted from a homepage via the Internet to users who have cleared predetermined conditions. Download the key information to be solved. It is also possible to execute the encrypted program by using the key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。   Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。   As another method, the program read from the recording medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.

本発明の第1の実施形態に係る動画像符号化装置の構成を示すブロック図である。It is a block diagram which shows the structure of the moving image encoder which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る画面の分割例を示す図である。It is a figure which shows the example of a division | segmentation of the screen which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る符号化順序の例を示す図である。It is a figure which shows the example of the encoding order which concerns on the 1st Embodiment of this invention. 本発明の実施形態に係る第1の符号化回路の詳細な構成を示すブロック図である。It is a block diagram which shows the detailed structure of the 1st encoding circuit which concerns on embodiment of this invention. 本発明の実施形態に係る動画像符号化装置の動作手順の一例を示すフローチャートである。It is a flowchart which shows an example of the operation | movement procedure of the moving image encoder which concerns on embodiment of this invention. 本発明の第2の実施形態に係る動画像符号化装置の構成を示すブロック図である。It is a block diagram which shows the structure of the moving image encoder which concerns on the 2nd Embodiment of this invention. 本発明の第2の実施形態に係る画面の分割例を示す図である。It is a figure which shows the example of a division | segmentation of the screen which concerns on the 2nd Embodiment of this invention. 本発明の第2の実施形態に係る符号化順序の例を示す図である。It is a figure which shows the example of the encoding order which concerns on the 2nd Embodiment of this invention.

符号の説明Explanation of symbols

101 画像信号入力部
102 領域分割回路
103a 第1の符号化回路
103b 第2の符号化回路
104 システムコントローラ
105 符号化データ合成回路
106 符号化制御回路
107 符号化データ出力部
DESCRIPTION OF SYMBOLS 101 Image signal input part 102 Area | region division circuit 103a 1st encoding circuit 103b 2nd encoding circuit 104 System controller 105 Encoded data composition circuit 106 Encoding control circuit 107 Encoded data output part

Claims (14)

動画像データを構成する画面を水平方向に4個の領域に分割する領域分割手段と
記領域分割手段によって分割された領域ごとに前記動画像データを符号化する、前記領域分割手段によって分割された領域数より少ない2つの符号化手段と、
前記2つの符号化手段によってそれぞれ符号化された符号化データを合成する符号化データ合成手段と、
前記2つの符号化手段が異なる領域のデータを並列に符号化するよう制御するとともに、前記領域分割手段によって分割された4個の領域のうち前記動画像データを構成する画面の中央の上下に隣接する2つの領域のデータを、前記2つの符号化手段のうち単一の符号化手段で符号化すると共に、前記動画像データを構成する画面の中央の上下に隣接する2つの領域のデータを符号化する符号化手段は、前記上下に隣接する2つの領域のうち下側に位置する領域のデータの符号化を、上側に位置する領域のデータの符号化が終了してから行うように制御する符号化制御手段とを備えたことを特徴とする動画像圧縮符号化装置。
Area dividing means for dividing the screen constituting the moving image data into four areas in the horizontal direction ;
Encoding the video data for each prior Symbol regions divided by the dividing means region, and two coding means fewer than the number of divided regions by the region dividing means,
Encoded data combining means for combining the encoded data encoded by the two encoding means,
The two encoding means are controlled to encode data in different areas in parallel, and adjacent to the upper and lower sides of the center of the screen constituting the moving image data among the four areas divided by the area dividing means. The data of two areas to be encoded is encoded by a single encoding means of the two encoding means, and the data of two areas adjacent to the upper and lower sides of the center of the moving image data is encoded. The encoding means to be controlled controls the encoding of the data in the lower area of the two adjacent areas above and below after the encoding of the data in the upper area is completed. A moving image compression coding apparatus comprising coding control means.
前記2つの符号化手段はそれぞれ、前記動画像データにおける符号化対象ブロックに対して周波数変換を行う周波数変換手段と、前記周波数変換手段によって変換された変換係数を所定の量子化ステップ幅で量子化する量子化手段とを備え、
前記動画像データを構成する画面の中央の上下に隣接する2つの領域のデータを符号化する符号化手段は、前記動画像データを構成する画面の中央の上下に隣接する2つの領域のうち上側に位置する領域の符号化結果に応じて、前記動画像データを構成する画面の中央の上下に隣接する2つの領域のうち下側に位置する領域に対して前記量子化手段で用いる量子化ステップ幅の初期値を設定することを特徴とする請求項1に記載の動画像圧縮符号化装置。
Each of the two encoding means includes a frequency conversion means for performing frequency conversion on the encoding target block in the moving image data, and a transform coefficient converted by the frequency conversion means is quantized with a predetermined quantization step width. Quantization means for performing,
Encoding means for encoding the data of the two regions adjacent to and below the center of the screen constituting the moving image data, out of the two areas you adjacent to and below the center of the screen constituting the moving image data Quantization used by the quantization means for a region located on the lower side of two regions adjacent to the upper and lower sides of the center of the screen constituting the moving image data according to the result of encoding the region located on the upper side 2. The moving image compression coding apparatus according to claim 1, wherein an initial value of the step width is set.
前記領域分割手段は、前記画面を符号化処理の単位であるスライスで分割し、
前記2つの符号化手段はそれぞれ、前記領域分割手段によってスライス単位で分割された4個の領域の画像データを、動き補償予測を用いて圧縮符号化することを特徴とする請求項1または2に記載の動画像圧縮符号化装置。
The region dividing unit divides the screen into slices that are units of encoding processing,
3. The two encoding units respectively compress and encode the image data of the four regions divided in slice units by the region dividing unit using motion compensation prediction. The moving picture compression encoding apparatus described.
前記領域分割手段は、前記画面を符号化処理の単位であるスライスで分割し、
前記2つの符号化手段はそれぞれ、前記領域分割手段によってスライス単位で分割された4個の領域の画像データを、イントラ予測を用いて圧縮符号化することを特徴とする請求項1または2に記載の動画像圧縮符号化装置。
The region dividing unit divides the screen into slices that are units of encoding processing,
The said two encoding means each compresses and encodes the image data of the four area | regions divided | segmented per slice by the said area division means using intra prediction. The video compression encoding apparatus.
前記動画像データを構成する画面の中央の上下に隣接する2つの領域のデータを符号化する符号化手段は、前記動画像データを構成する画面の中央の上下に隣接する2つの領域のうち上側に位置する領域の最下段の符号化対象ブロックの情報に応じて、前記動画像データを構成する画面の中央の上下に隣接する2つの領域のうち下側に位置する領域の最上段の符号化対象ブロックの前記イントラ予測に係る符号化パラメータを設定することを特徴とする請求項4に記載の動画像圧縮符号化装置。   The encoding means for encoding the data of two areas adjacent to the upper and lower sides of the center of the screen constituting the moving image data is the upper side of the two areas adjacent to the upper and lower sides of the center of the screen constituting the moving image data. The uppermost encoding of the area located on the lower side of the two areas adjacent to the upper and lower sides of the center of the screen constituting the moving image data according to the information of the encoding target block at the lowermost stage of the area located at 5. The moving image compression encoding apparatus according to claim 4, wherein an encoding parameter related to the intra prediction of the target block is set. 前記符号化制御手段は、前記領域分割手段によって分割された4個の領域を1フレーム期間の中で時分割に符号化処理するよう制御することを特徴とする請求項1に記載の動画像圧縮符号化装置。   The moving image compression according to claim 1, wherein the encoding control unit controls the four regions divided by the region dividing unit to perform encoding processing in a time division within one frame period. Encoding device. 前記2つの符号化手段のうち、前記動画像データを構成する画面の中央の上下に隣接する2つの領域のデータを符号化する符号化手段とは別の符号化手段は前記領域分割手段によって分割された4個の領域のうち上下に隣接しない2つの領域のデータを符号化することを特徴とする請求項1から6のいずれか1項に記載の動画像圧縮符号化装置。   Of the two encoding means, the encoding means different from the encoding means for encoding the data of two regions adjacent to the upper and lower sides of the center of the screen constituting the moving image data is divided by the area dividing means. The moving image compression encoding apparatus according to any one of claims 1 to 6, wherein data of two regions that are not adjacent to each other among the four regions is encoded. 動画像データを構成する画面を垂直方向に4個の領域に分割する領域分割手段と、前記領域分割手段によって分割された領域ごとに前記動画像データを符号化する、前記領域分割手段によって分割された領域数より少ない2つの符号化手段と、
前記2つの符号化手段によってそれぞれ符号化された符号化データを合成する符号化データ合成手段と、
前記2つの符号化手段が異なる領域のデータを並列に符号化するよう制御するとともに、前記領域分割手段によって分割された4個の領域のうち前記動画像データを構成する画面の中央の左右に隣接する2つの領域のデータを前記複数の符号化手段のうち単一の符号化手段で符号化すると共に、前記動画像データを構成する画面の中央の左右に隣接する2つの領域のデータを符号化する符号化手段は、前記左右に隣接する2つの領域のうち右側に位置する領域のデータの符号化を、左側に位置する領域のデータの符号化が終了してから行うように制御する符号化制御手段とを備えたことを特徴とする動画像圧縮符号化装置。
Divided by the area dividing means for dividing the screen constituting the moving image data into four areas in the vertical direction and the area dividing means for encoding the moving image data for each area divided by the area dividing means. Two encoding means less than the number of regions,
Encoded data combining means for combining the encoded data encoded by the two encoding means,
The two encoding means are controlled to encode data in different areas in parallel, and adjacent to the right and left of the center of the screen constituting the moving image data among the four areas divided by the area dividing means. The data of two areas to be encoded is encoded by a single encoding means among the plurality of encoding means, and the data of two areas adjacent to the right and left of the center of the screen constituting the moving image data is encoded Encoding means for controlling the encoding of the data in the area located on the right side of the two adjacent areas on the right and left sides after the encoding of the data in the area located on the left side is completed. A moving image compression encoding apparatus comprising: a control unit.
前記2つの符号化手段はそれぞれ、前記動画像データにおける符号化対象ブロックに対して周波数変換を行う周波数変換手段と、前記周波数変換手段によって変換された変換係数を所定の量子化ステップ幅で量子化する量子化手段とを備え、
前記動画像データを構成する画面の中央の左右に隣接する2つの領域のデータを符号化する符号化手段は、前記動画像データを構成する画面の中央の左右に隣接する2つの領域のうち左側に位置する領域の右端の符号化対象ブロックの符号化結果に応じて、前記動画像データを構成する画面の中央の左右に隣接する2つの領域のうち右側に位置する領域の左端の符号化対象ブロックに対して前記量子化手段で用いる量子化ステップ幅の初期値を設定することを特徴とする請求項8に記載の動画像圧縮符号化装置。
Each of the two encoding means includes a frequency conversion means for performing frequency conversion on the encoding target block in the moving image data, and a transform coefficient converted by the frequency conversion means is quantized with a predetermined quantization step width. Quantization means for performing,
Code catheter stage to encode the data of two regions adjacent to the right and left center of the screen constituting the moving image data, out of the two areas adjacent to the right and left center of the screen constituting the moving image data According to the encoding result of the encoding target block at the right end of the area located on the left side, encoding of the left end of the area located on the right side of the two areas adjacent to the left and right of the center of the screen constituting the moving image data 9. The moving picture compression encoding apparatus according to claim 8, wherein an initial value of a quantization step width used by the quantization unit is set for a target block.
前記領域分割手段は、前記画面を符号化処理の単位であるスライスで分割し、
前記2つの符号化手段はそれぞれ、前記領域分割手段によってスライス単位で分割された4個の領域の画像データを、動き補償予測を用いて圧縮符号化することを特徴とする請求項8または9に記載の動画像圧縮符号化装置。
The region dividing unit divides the screen into slices that are units of encoding processing,
The said two encoding means respectively compresses and encodes the image data of four area | regions divided | segmented per slice by the said area division means using motion compensation prediction. The moving picture compression encoding apparatus described.
前記領域分割手段は、前記画面を符号化処理の単位であるスライスで分割し、
前記2つの符号化手段はそれぞれ、前記領域分割手段によってスライス単位で分割された4個の領域の画像データを、イントラ予測を用いて圧縮符号化することを特徴とする請求項8または9に記載の動画像圧縮符号化装置。
The region dividing unit divides the screen into slices that are units of encoding processing,
The said two encoding means respectively compresses and encodes the image data of the four area | regions divided | segmented per slice by the said area division means using intra prediction. The video compression encoding apparatus.
前記動画像データを構成する画面の中央の左右に隣接する2つの領域のデータを符号化する符号化手段は、前記動画像データを構成する画面の中央の左右に隣接する2つの領域のうち左側に位置する領域の右端の符号化対象ブロックの情報に応じて、前記動画像データを構成する画面の中央の左右に隣接する2つの領域のうち右側に位置する領域の左端の符号化対象ブロックの前記イントラ予測に係る符号化パラメータを設定することを特徴とする請求項11に記載の動画像圧縮符号化装置。 Code catheter stage to encode the data of two regions adjacent to the right and left center of the screen constituting the moving image data, out of the two areas adjacent to the right and left center of the screen constituting the moving image data According to the information of the encoding target block at the right end of the area located on the left side, the encoding target block at the left end of the area positioned on the right side of the two areas adjacent to the left and right of the center of the screen constituting the moving image data The video compression encoding apparatus according to claim 11, wherein encoding parameters related to the intra prediction are set. 前記符号化制御手段は、前記領域分割手段によって分割された4個の領域を1フレーム期間の中で時分割に符号化処理するよう制御することを特徴とする請求項8に記載の動画像圧縮符号化装置。   9. The moving image compression according to claim 8, wherein the encoding control unit controls the four regions divided by the region dividing unit to perform encoding processing in a time division within one frame period. Encoding device. 前記2つの符号化手段のうち、前記動画像データを構成する画面の中央の左右に隣接する2つの領域のデータを符号化する符号化手段とは別の符号化手段は前記領域分割手段によって分割された4個の領域のうち左右に隣接しない2つの領域を符号化することを特徴とする請求項8から13のいずれか1項に記載の動画像圧縮符号化装置。   Of the two encoding means, the encoding means different from the encoding means for encoding the data of two areas adjacent to the left and right of the center of the screen constituting the moving image data is divided by the area dividing means. The moving image compression encoding apparatus according to any one of claims 8 to 13, wherein two regions that are not adjacent to each other among the four regions are encoded.
JP2008120407A 2007-06-18 2008-05-02 Video compression encoding device Expired - Fee Related JP5294688B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008120407A JP5294688B2 (en) 2007-06-18 2008-05-02 Video compression encoding device
US12/140,038 US8649615B2 (en) 2007-06-18 2008-06-16 Moving picture compression coding apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007160379 2007-06-18
JP2007160379 2007-06-18
JP2008120407A JP5294688B2 (en) 2007-06-18 2008-05-02 Video compression encoding device

Publications (3)

Publication Number Publication Date
JP2009027693A JP2009027693A (en) 2009-02-05
JP2009027693A5 JP2009027693A5 (en) 2011-06-16
JP5294688B2 true JP5294688B2 (en) 2013-09-18

Family

ID=40399023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008120407A Expired - Fee Related JP5294688B2 (en) 2007-06-18 2008-05-02 Video compression encoding device

Country Status (1)

Country Link
JP (1) JP5294688B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009142021A1 (en) * 2008-05-23 2009-11-26 パナソニック株式会社 Image decoding device, image decoding method, image encoding device, and image encoding method
EP2299717A1 (en) * 2009-09-10 2011-03-23 Thomson Licensing Method and apparatus for image encoding using Hold-MBs, and method and apparatus for image decoding using Hold-MBs
WO2012035728A1 (en) * 2010-09-16 2012-03-22 パナソニック株式会社 Image decoding device and image encoding device, methods therefor, programs thereof, integrated circuit, and transcoding device
JP6206280B2 (en) * 2014-03-24 2017-10-04 富士通株式会社 Moving picture encoding apparatus and moving picture encoder
JP6736248B2 (en) 2014-07-23 2020-08-05 キヤノン株式会社 Image processing device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251598A (en) * 1995-03-13 1996-09-27 Mitsubishi Electric Corp Image encoding device and image decoding device
JPH09294262A (en) * 1996-04-26 1997-11-11 Hitachi Ltd Image coder
JP2000253397A (en) * 1999-03-01 2000-09-14 Nec Corp Moving picture encoding device
WO2005125215A1 (en) * 2004-06-18 2005-12-29 Fujitsu Limited Image data encoding device and encoding method
JP4616057B2 (en) * 2005-04-13 2011-01-19 パイオニア株式会社 Image coding apparatus and image coding method
JP2006340183A (en) * 2005-06-03 2006-12-14 Canon Inc Image coding apparatus and image coding method

Also Published As

Publication number Publication date
JP2009027693A (en) 2009-02-05

Similar Documents

Publication Publication Date Title
EP2733703B1 (en) Video editing and reformatting for digital video recorder
TWI571104B (en) Image processing device, image processing method, image processing program, and recording medium
TWI436286B (en) Method and apparatus for decoding image
KR101906614B1 (en) Video decoding using motion compensated example-based super resolution
JP2006157481A (en) Image coding apparatus and method thereof
JPH11225329A (en) Image encoding device and method, image decoding device and method, computer readable recording medium recording image encoding program and computer readable recording medium recording image decoding program
JP5267655B2 (en) Image coding apparatus, image coding control method, and image coding program
JP5294688B2 (en) Video compression encoding device
JP4939273B2 (en) Image coding apparatus and image coding method
KR20040094441A (en) Editing of encoded a/v sequences
US8649615B2 (en) Moving picture compression coding apparatus
JP2006340183A (en) Image coding apparatus and image coding method
JP4875008B2 (en) Moving picture encoding method, moving picture decoding method, moving picture encoding apparatus, and moving picture decoding apparatus
JP4898415B2 (en) Moving picture coding apparatus and moving picture coding method
JP4357560B2 (en) Moving picture coding apparatus, moving picture coding method, and moving picture coding program
JP2007336036A (en) Motion picture compositing apparatus and program
JP4700992B2 (en) Image processing device
JP2008193501A (en) Image encoding device and image encoding method
WO2011122659A1 (en) Encoder apparatus and decoder apparatus
JP5247210B2 (en) Moving picture coding apparatus and moving picture coding method
JP2009049513A (en) Moving picture encoding device and moving picture encoding method
JP5094750B2 (en) Moving picture coding apparatus and moving picture coding method
JP5355234B2 (en) Encoding apparatus and encoding method
JP4765961B2 (en) Digital video recording device
JP4590337B2 (en) Moving picture coding apparatus and moving picture coding method

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110427

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120918

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130611

R151 Written notification of patent or utility model registration

Ref document number: 5294688

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees