KR100801385B1 - Image coding apparatus and image decoding apparatus - Google Patents
Image coding apparatus and image decoding apparatus Download PDFInfo
- Publication number
- KR100801385B1 KR100801385B1 KR1020067025365A KR20067025365A KR100801385B1 KR 100801385 B1 KR100801385 B1 KR 100801385B1 KR 1020067025365 A KR1020067025365 A KR 1020067025365A KR 20067025365 A KR20067025365 A KR 20067025365A KR 100801385 B1 KR100801385 B1 KR 100801385B1
- Authority
- KR
- South Korea
- Prior art keywords
- picture
- image
- inter
- filter
- data
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Making Paper Articles (AREA)
Abstract
Description
도 1은 종래의 화상 부호화 장치의 구성을 나타내는 블록도,1 is a block diagram showing the structure of a conventional picture coding apparatus;
도 2는 종래의 화상 복호화 장치의 구성을 나타내는 블록도, 2 is a block diagram showing the structure of a conventional picture decoding apparatus;
도 3은 본 발명의 제1 실시형태에 관한 화상 부호화 장치의 구성을 나타내는 블록도, 3 is a block diagram showing a configuration of a picture coding apparatus according to a first embodiment of the present invention;
도 4는 입력 화상의 슬라이스마다 화소간 필터를 전환하는 화상 부호화 장치의 구성을 나타내는 블록도,4 is a block diagram showing a configuration of an image coding device for switching an inter pixel filter for each slice of an input image;
도 5(a)는 본 발명의 화상 부호화 장치가 출력하는 부호화 데이터(Bitstream)의 스트림 구성을 나타내는 도면, 도 5(b)는 본 발명의 화상 부호화 장치가 화소간 필터를 슬라이스를 단위로서 전환한 경우에 출력되는 부호화 데이터(Bitstream)의 스트림 구성을 나타내는 도면, FIG. 5 (a) is a diagram showing a stream structure of coded data (Bitstream) outputted by the picture coding apparatus of the present invention. FIG. 5 (b) is a view showing a case where the picture coding apparatus of the present invention converts an inter-pixel filter in units of slices. A diagram showing a stream configuration of coded data (Bitstream) to be output in a case;
도 6은 본 실시형태 1에 관한 화상 부호화 장치에 의해서 생성된 부호화 데이터(Bitstream1)를 복호화하는 화상 복호화 장치의 구성을 나타내는 블록도, 6 is a block diagram showing the structure of a picture decoding apparatus for decoding coded data Bitstream1 generated by the picture coding apparatus according to the first embodiment;
도 7은 지정된 화소간 필터가 내부에 구비되어 있지 않은 경우에는, 구비되어 있는 화소간 필터를 대용하는 화상 복호화 장치의 구성을 나타내는 블록도, 7 is a block diagram showing the configuration of a picture decoding apparatus that substitutes the provided inter pixel filter when the specified inter pixel filter is not provided therein;
도 8은 본 발명의 제2 실시형태에 관한 화상 부호화 장치의 구성을 나타내는 블록도, 8 is a block diagram showing the structure of a picture coding apparatus according to a second embodiment of the present invention;
도 9는 도 8에 도시한 화소간 필터의 일례인 디블록 필터의 연산 내용을 나타내는 도면으로, (a)는 필터링 전의 블록 경계 부근의 화소 값을 나타내는 도면, (b)는 필터링 후의 블록 경계 부근의 화소 값을 나타내는 도면, FIG. 9 is a diagram showing the calculation contents of the deblocking filter which is an example of the inter-pixel filter shown in FIG. 8, (a) shows pixel values near the block boundary before filtering, and (b) shows near block boundary after filtering A diagram representing pixel values of,
도 10은 화소간 필터의 필터링 처리의 흐름을 나타내는 흐름도, 10 is a flowchart showing a flow of filtering processing between inter pixel filters;
도 11은 화소간 필터 처리를 행할지 여부를 선택할 수 있는 화상 복호화 장치의 구성을 나타내는 블록도, 11 is a block diagram showing the configuration of a picture decoding apparatus capable of selecting whether or not to perform inter pixel filter processing;
도 12는 또한 출력단에 선택 가능한 화소간 필터를 구비한 화상 복호화 장치의 구성을 나타내는 블록도, 12 is a block diagram showing the configuration of a picture decoding apparatus further comprising an inter-pixel filter selectable at an output stage;
도 13은 각 프레임의 픽처 타입에 따라서 화소간 필터를 선택할 수 있는 화상 복호화 장치의 구성을 나타내는 블록도, FIG. 13 is a block diagram showing a configuration of an image decoding device capable of selecting an inter-pixel filter according to a picture type of each frame; FIG.
도 14는 본 발명의 실시형태 3에 관한 화상 부호화 장치의 기능 구성을 나타내는 블록도, 14 is a block diagram showing the functional configuration of a picture coding apparatus according to
도 15는 도 14에 나타낸 우선 순위 결정부의 상세한 기능 구성을 나타내는 블록도, FIG. 15 is a block diagram showing a detailed functional configuration of a priority determining unit shown in FIG. 14;
도 16은 도 14에 나타낸 필터 처리 제어부의 상세한 기능 구성을 나타내는 블록도, 16 is a block diagram showing a detailed functional configuration of the filter processing control unit shown in FIG. 14;
도 17은 도 14에 나타낸 화상 메모리에 저장되어 있는 프레임 화상의 참조 관계를 나타내는 도면, 17 is a diagram showing a reference relationship between frame images stored in the image memory shown in FIG. 14;
도 18은 도 16에 나타낸 스위치 전환 처리부가 실행하는 스위치 구동 처리를 나타내는 흐름도, 18 is a flowchart showing a switch driving process executed by the switch switching processing unit shown in FIG. 16;
도 19는 본 발명의 실시형태 4에 관한 화상 복호화 장치의 기능 구성을 나타내는 블록도, 19 is a block diagram showing the functional configuration of a picture decoding apparatus according to Embodiment 4 of the present invention;
도 20은 상기 실시형태 1 내지 실시형태 3의 화상 부호화 방법 또는 화상 복호화 방법을 저장한 플렉시블 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우의 설명도로서, (a)는 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 나타내는 도면, (b)는 플렉시블 디스크의 정면에서 본 외관, 단면 구조 및 플렉시블 디스크를 나타내는 도면, (c)는 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 나타내는 도면, Fig. 20 is an explanatory diagram when a computer system is executed using a flexible disk storing the image coding method or the image decoding method of the first to third embodiments, wherein (a) is a flexible disk as a main body of a recording medium. A diagram showing an example of a physical format of FIG. 2, (b) shows an appearance, a cross-sectional structure and a flexible disk as viewed from the front of the flexible disk, and (c) shows a configuration for recording and reproducing the program on the flexible disk FD. Drawing,
도 21은 콘텐츠 배포 서비스를 실현하는 콘텐츠 공급 시스템의 전체 구성을 나타내는 블록도, 21 is a block diagram showing an overall configuration of a content supply system for realizing a content distribution service;
도 22는 휴대 전화의 외관의 일례를 나타내는 도면,22 is a diagram showing an example of the appearance of a mobile telephone;
도 23은 휴대 전화의 구성을 나타내는 블록도, 23 is a block diagram showing the structure of a mobile telephone;
도 24는 상기 실시형태에서 나타낸 부호화 처리 또는 복호화 처리를 행하는 기기 및 이 기기를 이용한 시스템을 설명하는 도면이다.FIG. 24 is a diagram illustrating a device that performs the encoding process or the decoding process shown in the above embodiment, and a system using the device.
본 발명은, 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치, 화상 복호화 장치, 이를 소프트웨어로 실시하기 위한 프로그램 및 해당 프로그램이 기록된 기록 매체에 관한 것이다.The present invention relates to a picture coding method, a picture decoding method, a picture coding apparatus, a picture decoding apparatus, a program for implementing the same in software, and a recording medium on which the program is recorded.
최근, 멀티미디어 어플리케이션의 발전에 따라서, 화상·음성·텍스트 등, 모든 미디어의 정보를 통일적으로 취급하는 것이 일반적이 되어 왔다. 이 때, 모든 미디어를 디지털화함으로써 통일적으로 미디어를 취급하는 것이 가능하게 된다. 그러나, 디지털화된 화상은 방대한 데이터 량을 갖기 때문에, 축적·전송을 위해서는 화상의 정보 압축 기술이 불가결하다. 한편, 압축한 화상 데이터를 상호 운용하기 위해서는 압축 기술의 표준화도 중요하다. 화상 압축 기술의 표준 규격으로서는, ITU-T 권고(국제 전기 통신 연합 전기 통신 표준화 부문)의 H.261, H.263, ISO(국제 표준화 기구)의 MPEG(Moving Picture Experts Group)-1, MPEG-2, MPEG-4 등이 있다.In recent years, with the development of multimedia applications, it has become common to handle information of all media such as images, voices, and texts uniformly. At this time, by digitizing all media, it becomes possible to handle media uniformly. However, since a digitized image has a huge amount of data, an information compression technique of the image is indispensable for accumulation and transmission. On the other hand, standardization of compression technology is also important for interoperating compressed image data. As standard standards of image compression technology, H.261, H.263 of the ITU-T Recommendation (International Telecommunication Union Telecommunication Standardization Division), Moving Picture Experts Group (MPEG) -1 of the International Organization for Standardization (ISO) -1, and MPEG- 2, MPEG-4 and the like.
도 1은 종래의 화상 부호화 장치(100)의 구성을 나타내는 블록도이다. 또, 본 발명에서는, 1장의 화상을 구성하는 단위를 픽처라고 부른다. 인터레이스 화상 신호에서는 픽처는 필드 또는 프레임을 의미하며, 프로그레시브 화상 신호에서는 픽처는 프레임의 것을 의미한다. 1 is a block diagram showing the structure of a conventional
화상 부호화 장치(100)는 차분기(差分器)(101), 화상 부호화부(102), 가변 길이 부호화부(103), 화상 복호화부(104), 가산기(105), 화소간 필터(106), 화상 메모리(107), 픽처간 예측부(108) 및 픽처간 예측 추정부(109)를 구비한다. 차분기(101)는 정입력 단자에 입력되는 입력 화상으로부터, 부입력 단자에 입력되는 예 측 화상을 감산하여, 그 차분 화상을 출력한다. 화상 부호화부(102)는 입력되는 차분 화상을 부호화한다. 예를 들면, 입력되는 데이터를 DCT 변환 등을 이용하여 주파수 변환하여, 변환 결과의 주파수 데이터를 양자화함으로써 부호화한다. 가변 길이 부호화부(103)는 부호화된 차분 화상과 픽처간 예측 추정부(109)로부터의 예측 파라미터를 가변 길이 부호화하여, 그 결과 얻어진 부호화 데이터에 그 부호화 데이터에 관련되는 정보를 기술한 헤더 등의 관련 데이터를 부가한 다음, 출력 부호화 비트 스트림의 포맷으로 모아 화상 부호화 장치(100)의 외부에 출력한다. 화상 복호화부(104)는 화상 부호화부(102)에 의해서 부호화된 차분 화상에 대해서, 화상 부호화부(102)에 의한 부호화의 역처리를 행함으로써 부호화된 차분 화상을 복호화하여, 복호화한다. 예를 들면, 부호화된 차분 화상에 대해서, 역 양자화 처리를 행한 뒤, 예를 들면 역 DCT 변환 등의 역 주파수 변환을 실시하여, 입력 화상과 예측 화상의 차분을 복호화한다. 가산기(105)는 복호화된 차분 화상과 예측 화상을 가산하여, 입력 화상을 복호화한다. 화소간 필터(106)는, 예를 들면, 복호화된 입력 화상의 고주파 성분의 부호화 노이즈를 억압하는 등의 필터링을 행한다. 화상 메모리(107)는, 가산기(105)에서 복호화된 화상의 적어도 1픽처분의 화상 데이터를 참조 화상으로서 유지한다. 픽처간 예측부(108)는, 픽처간 예측 추정부(109)에 의한 예측 결과에 기초하여, 화상 메모리(107) 내의 참조 화상으로부터 예측 화상을 읽어 낸다. 픽처간 예측 추정부(109)는 참조 화상에 대한 입력 화상의 움직임의 변화량인 예측 파라미터(PredParam)를 도출한다.The
보다 구체적으로는, 화상 부호화 장치(100)에는, 외부에서 화상 데이터(Img) 가 입력된다. 화상 데이터(Img)는 차분기(101)의 정입력 단자에 입력된다. 차분기(101)는 이 화상 데이터(Img)와, 부입력 단자에 입력된 예측 화상 데이터(Pred)와의 화소 값의 차분을 구하여, 차분 화상 데이터(Res)로서 출력한다. 이 예측 화상 데이터(Pred)는 이하와 같이 하여 얻어진다. 우선, 이미 부호화된 픽처의 화상에 있어서, 일단 부호화된 후 복호화되고, 1픽처분의 화상에 복호화된 참조 화상 데이터(Ref)가 화상 메모리(107)에 저장된다. 다음에, 이 참조 화상 데이터(Ref)로부터 예측 파라미터(PredParam)에 기초하여, 입력된 화상 데이터(Img)의 블록마다 대응하여 블록의 화상을 나타내는 데이터를 취한다. 이 블록의 화상을 나타내는 데이터가 예측 화상 데이터(Pred)이다. 화상 부호화 장치(100)는 부호화가 끝난 픽처 몇 장을 예측용의 참조 화상 데이터(Ref)로서 화상 메모리(107)에 저장하고 있고, 픽처간 예측부(108)는 화상 메모리(107)에 저장된 참조 화상 데이터(Ref)로부터 예측 화상 데이터(Pred)를 생성한다. 픽처간 예측 추정부(109)는 입력 화상 데이터(Img)와 참조 화상 데이터(Ref)에서 예측에 사용하는 예측 파라미터 데이터(PredParam)(예를 들면, MPEG의 화상 부호화 방식에서 사용되는 움직임 벡터 정보 등)를 구한다. 또, 화면 내 부호화의 경우에는 예측 화상의 화소 값은 "0"으로 한다. More specifically, image data Img is input to the image encoding
화상 부호화부(102)는 차분 화상 데이터(Res)를 부호화하여, 차분 화상 부호화 데이터(CodedRes)로서 출력한다. 화상 복호화부(104)는 부호화된 차분 화상 부호화 데이터(CodedRes)로부터 원래의 화상을 복호화하여, 픽처간 예측의 참조 화상으로서 사용하기 위해서, 차분 화상 부호화 데이터(CodedRes)를 복호화하여, 복호 화 차분 화상 데이터(ReconRes)로서 출력한다. 이 복호화 차분 화상 데이터(ReconRes)가 나타내는 화소 값과, 예측 화상 데이터(Pred)가 나타내는 화소 값이 가산기(105)에서 가산되어, 복호화 화상 데이터(Recon)로서 출력된다. 화소간 필터(106)는 복호화 화상 데이터(Recon)를 필터 연산 처리하여, 필터링된 복호화 화상 데이터(FilteredImg)로서 화상 메모리(107)에 저장한다. The
화소간 필터(106)에는, 복호화 화상 데이터(Recon)의 부호화 노이즈를 저감하고, 그 화상을 참조 화상으로서 사용한 경우에 예측 효율을 향상시키는 효과가 있다. 화소간 필터(106)의 예로서는, ITU-T 권고의 H.261의 루프·필터가 있다. 화소간 필터(106)에 의해 화소간 필터 연산이 행해진 필터링된 복호화 화상 데이터(FilteredImg)는 화상 메모리(107)에 저장되고, 이후의 픽처를 부호화할 때에 참조 화상으로서 사용된다. 가변 길이 부호화부(103)는 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)를 가변 길이 부호화하고, 하나의 부호화 데이터(Bitstream)로 모라 화상 부호화 장치(100)의 외부로 출력한다. The
도 2는 종래의 화상 복호화 장치(200)의 구성을 나타내는 블록도이다. 2 is a block diagram showing the structure of a conventional
화상 복호화 장치(200)는 가변 길이 복호화부(201), 화상 복호화부(202), 가산기(203), 화소간 필터(204), 화상 메모리(205) 및 픽처간 예측부(206)를 구비한다. 화상 복호화 장치(200)에는 외부로부터 부호화 데이터(Bitstream)가 입력된다. 가변 길이 복호화부(201)는 입력된 부호화 데이터(Bitstream)를 가변 길이 복호화하여, 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)로 분리한다. 화상 복호화부(202)는 차분 화상 부호화 데이터(CodedRes)를 복호화하 여, 복호화 차분 화상 데이터(ReconRes)로서 출력한다. 또, 복호화 차분 화상 데이터(ReconRes)로서 출력되는 픽처에 참조된, 즉, 화상 부호화 장치(100)에서 참조 화상 데이터(Ref)에 상당하는 픽처는, 이미 복호화되어 화상 메모리(107)에 저장되어 있다. 그래서, 픽처간 예측부(206)는, 예측 파라미터 데이터(PredParam)에 기초하여 참조 화상 데이터(Ref)로부터 예측 화상 데이터(Pred)를 생성한다. 가산기(203)는 예측 화상 데이터(Pred)와 복호화 차분 화상 데이터(ReconRes)를 가산하여, 복호화 화상 데이터(Recon)로서 출력한다. 화소간 필터(204)는 복호화 화상 데이터(Recon)에 화소간 필터 연산을 실시하고, 필터링된 복호화 화상 데이터(FilteredImg)로서 화상 복호화 장치(200)의 외부에 출력한다. 화상 복호화 장치(200)의 외부란, 예를 들면, 텔레비전 등의 표시 장치이다. 또한, 필터링된 복호화 화상 데이터(FilteredImg)는 화상 메모리(205)에 저장되고, 이후의 픽처의 참조 화상 데이터(Ref)로서 참조된다. The
그러나, 예를 들면, 휴대 전화기 등을 이용하여 동화상을 전송하는 경우 등을 고려하면, 휴대 기기에서는 1회의 충전으로 장시간 사용할 수 있도록 기기 전체에서의 소비 전력을 억제하는 것이 요망되기 때문에, 화상 처리를 위해서 큰 전력이 필요한 고성능의 처리 능력을 구비하는 것은 바람직하지 않다. 따라서, 화상 처리를 위해서 처리 능력이 낮은 연산기 밖에 사용할 수 없는 휴대 기기를 대상으로 하면, 요구되는 처리량이 적은 화소간 필터밖에 사용할 수 없는 경우가 있다. 한편, 고화질인 동화상의 전송 및 높은 부호화 효율에 대한 요구가 강한 어플리케이션에서는 연산기에 요구되는 처리량이 크지만, 성능이 높은 화소간 필터를 사용하 고자 하는 경우도 있다. 부호화 방식이 이들의 요구에 유연하게 대응할 수 있으면, 해당 부호화 방식, 해당 복호화 방식에 따른 화상 부호화 장치 및 화상 복호화 장치 등의 운용 범위가 넓어져서 유익하다. However, in consideration of the case where a moving image is transferred using a mobile phone or the like, for example, it is desired that the portable device suppress the power consumption of the entire device so that it can be used for a long time with one charge. It is not desirable to have a high performance processing capacity that requires a large amount of power. Therefore, when a portable device that can only be used for an image processing unit having low processing capacity is used for image processing, only an inter pixel filter having a small amount of processing required can be used. On the other hand, in applications with strong demands for high quality moving picture transmission and high coding efficiency, there is a case where an inter pixel filter having a high performance is required, but a high performance is required. If the coding scheme can flexibly respond to these demands, it is advantageous because the operating range of the coding scheme, the picture coding apparatus according to the decoding scheme, the picture decoding apparatus and the like is widened.
본 발명은, 이러한 종래의 문제점을 감안하여 이루어진 것으로서, 다양한 상황에 따라서 화소간 필터를 선택적으로 사용하여 부호화 데이터를 생성하는 화상 부호화 장치 및 그 부호화 데이터를 복호화하는 화상 복호화 장치를 제공하는 것을 목적으로 한다. SUMMARY OF THE INVENTION The present invention has been made in view of such a conventional problem, and an object thereof is to provide an image encoding apparatus for selectively generating encoded data using an inter-pixel filter according to various situations, and an image decoding apparatus for decoding the encoded data. do.
본 발명에 따른 화상 부호화 장치는, 입력 화상을 나타내는 입력 화상 데이터와, 상기 입력 화상의 픽처에 대한 예측 화상을 나타내는 예측 화상 데이터의 차분인 차분 화상 데이터를 부호화하여 부호화 화상 데이터를 생성하는 화상 부호화 장치에 있어서, 상기 차분 화상 데이터를 부호화한 뒤, 상기 부호화한 차분 화상 데이터를 복호화하여 상기 예측 화상 데이터와 가산하는 복호화 수단과, 상기 복호화 수단에서 얻어진 복호화 화상 데이터에 대해서 화소간 연산을 행하는 다수의 화소간 필터와, 상기 화소간 필터 중에서 하나를 선택하는 선택 수단과, 선택된 상기 화소간 필터에서 얻어진 필터링된 복호화 화상 데이터를 참조 화상 데이터로서 이용하고, 입력 화상 데이터에 대한 예측 화상 데이터를 생성하는 예측 화상 생성 수 단을 구비하는 것을 특징으로 한다. An image encoding apparatus according to the present invention encodes input image data representing an input image and differential image data that is a difference between prediction image data representing a predictive image for a picture of the input image to generate encoded image data. In the decoding apparatus, after decoding the differential image data, decoding means for decoding and adding the encoded differential image data to the predictive image data, and a plurality of pixels for performing an inter-pixel operation on the decoded image data obtained by the decoding means. A predictive image for generating predictive image data for input image data by using the inter filter, selection means for selecting one of the inter pixel filters, and the filtered decoded image data obtained by the selected inter pixel filter as reference image data To have a means of production It features.
따라서, 본 발명에 관한 화상 부호화 장치는, 화상 부호화 장치 측에서의 처리 능력이나, 부호화 신호를 수신하는 화상 복호화 장치 측에서의 처리 능력, 또는 부호화 대상의 화상의 성질이나 압축률 등에 따라서 적절한 화소간 필터를 전환하여 부호화 신호를 작성할 수 있다고 하는 효과가 있다. Therefore, the picture coding apparatus according to the present invention switches between the appropriate inter pixel filters according to the processing capability at the image coding apparatus side, the processing capability at the image decoding apparatus side which receives the coded signal, or the nature or compression ratio of the image to be encoded. This has the effect of producing a signal.
또한, 본 발명에 관한 화상 복호화 장치는, 동화상 중의 픽처를 나타내는 화상 데이터와 동화상 중의 다른 픽처를 나타내는 예측 화상 데이터의 차분을 부호화하여 얻어진 부호화 화상 데이터로부터, 원래의 동화상을 나타내는 다수의 화상 데이터를 복호화하는 화상 복호화 장치에 있어서, 상기 부호화 화상 데이터의 복호화 결과와, 해당 부호화 화상 데이터에 대응하는, 이미 복호화된 예측 화상 데이터를 가산하여, 원래의 픽처를 나타내는 화상 데이터를 복호화하는 복호 수단과, 복호화된 상기 화상 데이터에 대해서 화소간 필터 연산을 행하는 다수의 화소간 필터 중에서 하나를 선택하는 선택 수단과, 선택된 상기 화소간 필터에 의한 상기 연산이 행해진 화상 데이터로부터, 별도의 부호화 화상 데이터에 대응하는 예측 화상 데이터를 생성하는 예측 화상 생성 수단을 구비하는 것을 특징으로 한다. Further, the image decoding apparatus according to the present invention decodes a plurality of image data representing an original moving image from coded image data obtained by encoding a difference between image data representing a picture in a moving picture and predictive image data representing another picture in a moving picture. A picture decoding apparatus comprising: decoding means for decoding a picture data indicating an original picture by adding a decoding result of the coded picture data and already predicted decoded picture data corresponding to the coded picture data; A prediction unit corresponding to separate coded image data from selection means for selecting one of a plurality of inter-pixel filters for performing the inter-pixel filter operation on the image data and the image data on which the operation is performed by the selected inter-pixel filter; Example of generating data A side image generating means is provided.
따라서, 본 발명에 관한 화상 복호화 장치에서는, 화상 복호화 장치의 처리 능력이나 화상의 참조의 유무에 따라서 화소간 필터를 선택하여, 예측 화상을 생성할 수 있다고 하는 효과가 있다. 또, 화상 부호화 장치에서 화소간 필터를 전환한 경우는, 화상 복호화 장치에서도 대응하는 화소간 필터를 이용하여 바르게 복호화할 수 있다. Therefore, in the picture decoding apparatus according to the present invention, there is an effect that a predictive picture can be generated by selecting an inter-pixel filter in accordance with the processing capability of the picture decoding apparatus and the presence or absence of reference of the picture. In the case where the inter pixel filter is switched in the picture coding apparatus, the picture decoding apparatus can also decode correctly using a corresponding inter pixel filter.
또한, 본 발명에 관한 화상 부호화 장치(및 화상 복호화 장치)는, 반복하여 입력되는 프레임 화상을 부호화하는 화상 부호화 장치 등에 있어서, 프레임 화상에 소정의 변환 처리를 행함으로써 부호화를 행하는 부호화 수단과, 상기 부호화 수단에 의해서 부호화된 프레임 화상에 상기 변환 처리의 반대의 변환 처리를 행하는 역변환 수단과, 프레임 화상에 필터 처리를 행하는 필터 수단과, 프레임 화상을 기억하기 위한 기억 수단과, 상기 역변환 수단에 의한 역변환 처리에서 얻어진 프레임 화상에 대해서, 상기 필터 수단에 의한 필터 처리를 행한 뒤에 해당 프레임 화상을 상기 기억 수단에 저장하거나, 또는, 상기 필터 수단에 의한 필터 처리를 행하지 않고 해당 프레임 화상을 상기 기억 수단에 저장하도록 제어하는 제어 수단을 구비하고, 상기 부호화 수단은 상기 기억 수단에 저장된 과거의 프레임 화상을 참조하여 상기 프레임 화상을 부호화하는 것을 특징으로 한다. In addition, the picture coding apparatus (and the picture decoding apparatus) according to the present invention is, in the picture coding apparatus for encoding a repeatedly input frame image, encoding means for performing encoding by performing predetermined conversion processing on a frame image, and Inverse transform means for performing a transform process opposite to the transform process on the frame image encoded by the encoding means, filter means for performing a filter process on the frame image, storage means for storing the frame image, and inverse transform by the inverse transform means The frame image obtained by the process is stored in the storage means after performing the filter process by the filter means, or the frame image is stored in the storage means without performing the filter process by the filter means. And control means for controlling to perform the encoding. The means is characterized by encoding the frame image with reference to a past frame image stored in the storage means.
이것에 의해서, 화상 부호화(및 화상 복호화)에 있어서, 항상, 노이즈 제거 등의 화소간 필터를 설치하는 것이 아니라, 필요에 따라서, 선택적으로 화소간 필터를 설치할 수 있기 때문에, 예를 들면, 화질에 크게 영향을 주는 프레임 화상만에 대해서 화소간 필터를 설치함으로써, 처리 능력이 작은 화상 부호화 장치(화상 복호화 장치)에서도 화소간 필터를 채용하는 것이 가능해져서, 낮은 비트 레이트로 높은 화질 개선 효과를 얻을 수 있다. As a result, in image coding (and image decoding), instead of providing an inter-pixel filter such as noise removal at all times, an inter-pixel filter can be selectively provided as necessary, so that, for example, By providing an inter-pixel filter only for a frame image that greatly affects, an inter-pixel filter can be adopted even in an image coding apparatus (image decoding apparatus) having a small processing capacity, and a high image quality improvement effect can be obtained at a low bit rate. have.
여기에서, 상기 제어 수단은 상기 프레임 화상의 중요도가 높은 경우에, 해당 프레임 화상에 대해서 상기 필터 처리를 실시하여, 상기 프레임 화상의 중요도가 낮은 경우에, 해당 프레임 화상에 대해서 상기 필터 처리를 행하지 않도록 제어 해도 좋다. 예를 들면, 상기 제어 수단은 상기 프레임 화상이 상기 부호화 수단에 의해서 면 내 부호화가 행해진 경우에, 해당 프레임의 중요도가 높다고 판단하여, 해당 프레임 화상에 대해서 상기 필터 처리를 실시하고, 상기 프레임 화상이 상기 부호화 수단에 의해서 면 사이 부호화가 행해진 경우에, 해당 프레임의 중요도가 낮다고 판단하여, 해당 프레임 화상에 대해서 상기 필터 처리를 행하지 않도록 제어하거나, 상기 프레임 화상이 상기 부호화 수단에 의해서 전방향 예측 부호화가 행해진 경우에, 해당 프레임의 중요도가 높다고 판단하여, 해당 프레임 화상에 대해서 상기 필터 처리를 실시하고, 상기 프레임 화상이 상기 부호화 수단에 의해서 쌍방향 예측 부호화가 행해진 경우에, 해당 프레임의 중요도가 낮다고 판단하여, 해당 프레임 화상에 대해서 상기 필터 처리를 행하지 않도록 제어하거나, 상기 프레임 화상이 상기 부호화 수단에 의해서 베이스·레이어 부호화가 행해진 경우에, 해당 프레임의 중요도가 높다고 판단하여, 해당 프레임 화상에 대해서 상기 필터 처리를 실시하고, 상기 프레임 화상이 상기 부호화 수단에 의해서 인핸스먼트·레이어 부호화가 행해진 경우에, 해당 프레임의 중요도가 낮다고 판단하여, 해당 프레임 화상에 대해서 상기 필터 처리를 행하지 않도록 제어해도 좋다. Here, when the importance of the frame image is high, the control means performs the filter processing on the frame image, and when the importance of the frame image is low, the filter processing is not performed on the frame image. You may control it. For example, the control means determines that the importance of the frame is high when the frame image is subjected to in-plane encoding by the encoding means, and performs the filter process on the frame image. In the case where inter-plane encoding is performed by the encoding means, it is determined that the importance of the frame is low, so that the filter processing is not performed on the frame image, or the frame image is forward-predictive encoded by the encoding means. If it is determined that the importance of the frame is high, the filter process is performed on the frame image, and if the frame image is bidirectionally predictive encoded by the encoding means, the importance of the frame is determined to be low. For the frame image When the frame image is subjected to base layer encoding by the encoding means, or when the frame image is subjected to base layer coding, it is determined that the importance of the frame is high, and the filter process is performed on the frame image. When the image is subjected to enhancement layer encoding by the encoding means, it is determined that the importance of the frame is low, and control may be performed so that the filter process is not performed on the frame image.
이것에 의해서, 다른 프레임 화상에 대해서 큰 영향도를 갖는 프레임 화상, 요컨대, 면 내 부호화 프레임 화상, 전방향 예측 부호화 프레임 화상, 베이스·레이어 프레임 화상 등에 대해서 우선적으로 화소간 필터가 행해지기 때문에, 동일 처리 부하의 증대에 대해서, 보다 유효하게 화소간 필터에 의한 노이즈 제거 등의 화질 개선 효과를 얻을 수 있다. As a result, the inter pixel filter is preferentially performed on the frame image having a large influence on the other frame image, that is, the in-plane coded frame image, the omnidirectional predictive coded frame image, the base layer frame image, and the like. With respect to the increase in the processing load, an image quality improvement effect such as noise removal by the inter pixel filter can be obtained more effectively.
또, 상기 제어 수단은 해당 화상 부호화 장치(화상 복호화 장치)의 처리 능력에 관한 여유를 감시하고, 여유가 있는 경우에는 보다 중요도가 낮은 프레임 화상까지 필터 처리를 실시하고, 여유가 없는 경우에는 보다 중요도가 높은 프레임 화상까지 필터 처리를 행하지 않도록 제어해도 좋다. 예를 들면, 상기 프레임 화상에는, 상기 중요도에 대응하는 우선 순위가 대응되고, 상기 제어 수단은, 해당 화상 부호화 장치가 구비하는 CPU의 가동률을 감시함으로써 상기 여유를 감시하고, 상기 가동률이 높은 경우에는, 우선도가 높은 프레임 화상만 필터 처리를 실시하여, 상기 가동률이 낮은 경우에는, 우선도가 낮은 프레임 화상까지 필터 처리를 행하지 않도록 제어해도 좋다. In addition, the control means monitors the margin regarding the processing capability of the image encoding apparatus (image decoding apparatus), and if there is a margin, performs a filter process to a frame image having a lower importance, and if there is no margin, the importance is more important. You may control so that filter process may not be performed to a high frame image. For example, a priority corresponding to the importance is associated with the frame image, and the control means monitors the margin by monitoring the operation rate of the CPU included in the image encoding apparatus, and when the operation rate is high, If only the frame image having high priority is filtered and the operation rate is low, the control may be performed so as not to perform the filter process up to the frame image having a low priority.
이것에 의해서, 화상 부호화 장치(화상 복호화 장치)의 처리 능력이 충분히 발휘되도록, 필터 처리의 ON/OFF를 제어할 수 있기 때문에, 높은 효율로 CPU가 사용되게 되고, 동일 하드웨어 자원에서도, 고화질의 부호화(복호화)가 실현된다. As a result, the ON / OFF of the filter processing can be controlled so that the processing capacity of the image coding apparatus (image decoding apparatus) is sufficiently exhibited, so that the CPU is used with high efficiency, and even the same hardware resource can produce high quality coding. (Decryption) is realized.
또한, 본 발명에 따른 화상 복호화 장치는, 상기 부호화 신호를 복호화하여 복호화 화상을 복원하는 복호화 수단과, 상기 복호화 수단으로 획득한 부호화 화상에 대해, 상기 부호화 신호로부터 추출한 정보의 지시에 기초하여, 픽처보다 작은 화상 영역마다 화소 간 필터를 전환하여 필터링 처리하는 필터링 수단과, 상기 필터링 수단에서 획득한 필터링 처리된 부호화 화상만을 기억하는 기억 수단을 가지고, 상기 필터링 수단은 복수의 화소간 필터를 가지며, 상기 화소간 필터에 대응하는 정보를 상기 부호화 신호가 가지지 않는 경우에는, 상기 필터링 수단이 가지는 화소간 필터 중 하나를 대신 선택하여 사용하는 것을 특징으로 한다. The picture decoding apparatus according to the present invention further includes decoding means for decoding the coded signal to restore a decoded picture, and a picture based on an instruction of information extracted from the coded signal with respect to the coded image obtained by the decoding means. Filtering means for switching and filtering the pixel-to-pixel filter for each smaller image region, and storing means for storing only the filtered coded image obtained by the filtering means, the filtering means having a plurality of inter-pixel filters, When the coded signal does not have information corresponding to the inter pixel filter, one of the inter pixel filters included in the filtering means is selected and used instead.
여기서, 픽처보다 작은 화상 영역은 슬라이스, 매크로 블록 또는 블록 중 적어도 하나일 수 있다.Here, the image area smaller than the picture may be at least one of a slice, a macro block, or a block.
이상과 같이, 본 발명에 의해, 저 비트 레이트(고압축율)로 고화질의 화상 부호화 및 화상 복호화가 실현되고, 특히, 한정된 하드웨어 자원 하에서의 소프트웨어에 의한 화상 부호화 처리 및 화상 복호화 처리에 있어서의 높은 화질 개선 효과가 발휘되어, 정보 통신 기술과 컴퓨터가 널리 보급된 오늘날에 있어서의 실용적 가치는 지극히 높다고 말할 수 있다.As described above, according to the present invention, high quality image encoding and image decoding are realized at a low bit rate (high compression ratio), and in particular, high image quality improvement in image encoding processing and image decoding processing by software under limited hardware resources. It can be said that the practical value in today's widespread use of information and communication technology and computers is extremely high.
(실시형태1)
이하, 본 발명의 구체적인 실시형태에 대해서, 도면을 참조하여 설명한다. 도 3은 본 발명의 실시형태 1에 관한 화상 부호화 장치(300)의 구성을 나타내는 블록도이다. 동일 도면에 있어서, 도 1에 도시한 종래의 화상 부호화 장치(100)와 동일한 구성 요소 및 데이터에 대해서는 이미 설명했기 때문에, 동일한 부호를 붙여, 설명을 생략한다. 이후의 도면에서도 마찬가지로, 이미 설명한 이미 나온 구성 요소 및 데이터에 대해서는, 동일한 부호를 붙이고 설명을 생략한다. 화상 부호화 장치(300)는, 차분기(101), 화상 부호화부(102), 가변 길이 부호화부(305), 화상 복호화부(104), 가산기(105), 화상 메모리(107), 픽처간 예측부(108), 픽처간 예측 추정부(109), 스위치(301), 스위치(302), 화소간 필터 A(303) 및 화소간 필터 B(304)를 구비한다. 스위치(301)와 스위치(302)는 각각, 필터 종별 데이 터(FilterTypel)의 값에 따라서, 단자(1)와 단자(2) 중 어느 하나를 선택적으로 접속하는 스위치이다. 스위치(301)는, 가산기(105)의 출력 단자와, 화소간 필터 A(303) 및 화소간 필터 B(304)의 입력 단자 사이에 설치된다. 또, 스위치(302)는 화상 메모리(107)의 입력 단자와, 화소간 필터 A(303) 및 화소간 필터 B(304)의 출력 단자 사이에 설치되어 있다. 화소간 필터 A(303)와 화소간 필터 B(304)는 예를 들면, 블록간의 경계 부근에서의 고주파 노이즈를 평활화하여, 블록 왜곡을 제거하는 디블록·필터로, 각각 평활화의 정도가 다르다. 또, 평활화의 정도에 대응하여, 평활화를 위한 연산 처리량이 다르다. 또, 스위치(301)나 스위치(302) 등, 도시하는 구성은 하드웨어로서 설치해도 되고, 소프트웨어로서 설치해도 된다. 또, 다른 도면에서도 동일하다.EMBODIMENT OF THE INVENTION Hereinafter, specific embodiment of this invention is described with reference to drawings. 3 is a block diagram showing the configuration of the
가변 길이 부호화부(305)는, 입력되는 필터 종별 데이터(FilterType1)와 차분화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)를 각각 가변 길이 부호화, 예를 들면, 허프만 부호화하고, 하나의 부호화 데이터(Bitstream1)로 모아 화상 부호화 장치(300)의 외부로 출력한다. The variable
이상과 같이 구성되는 화상 부호화 장치(300)의 동작을, 종래의 화상 부호화 장치(100)와 비교하여 새롭게 구성된 부분에 대해서 보다 구체적으로 설명한다. 우선, 화상 부호화 장치(300)에는 외부에서 필터 종별 데이터(FilterType1)가 입력된다. 여기에서, 외부로부터의 입력이란, 예를 들면, 화상 부호화 장치의 외부로부터의 사용자에 의한 키보드 등의 사용자 인터페이스를 이용한 입력이거나, 혹은, 장치에 고정된 데이터인 것으로, 장치에 비트 레이트(압축률)나 화상 사이즈에 따라 서 결정되는 값이다. 이 필터 종별 데이터(FilterType1)는 스위치(301)와 스위치(302)에 입력된다. 해당 스위치(301)와 스위치(302)는 이 필터 종별 데이터(FilterType1)의 값에 따라서 단자 "1"과 단자 "2" 중 어느 하나에 접속을 전환한다. 예를 들면, 필터 종별 데이터(FilterType1)의 값이 "1"인 경우에는, 스위치(301)와 스위치(302)는 모두 단자 "1"을 접속한다. 이 때 가산기(105)로부터 출력되는 복호화 화상 데이터(Recon)에 대해서는, 화소간 필터 A(303)에 의한 필터링이 적용된다. 필터 종별 데이터(FilterType1)의 값이 "2"인 경우에는, 스위치(301)와 스위치(302)는 단자 "2"측으로 전환되고, 가산기(105)로부터 출력되는 복호화 화상 데이터(Recon)에 대해서, 화소간 필터 B(304)에 의한 필터링이 적용된다. 이와 같이 화소간 필터 A(303) 또는 화소간 필터 B(304)의 필터링이 행해진 필터링된 복호화 화상 데이터(FilteredImg1)는 화상 메모리(107)에 저장되고, 이후의 픽처의 예측 부호화에 있어서의 참조 화상으로서 사용된다. 또, 화소간 필터를 특정하는 필터 종별 데이터(FilterType1)는 동일 픽처의 차분 화상 부호화 데이터(CodedRes) 및 예측 파라미터 데이터(PredParam)와 함께 가변 길이 부호화부(305)에 입력되고, 각각 가변 길이 부호화된다. 필터 종별 데이터(FilterType1)의 가변 길이 부호화 결과는, 해당 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)의 가변 길이 부호화 결과에 대응되고, 부호화 데이터(Bitstream1)에 저장되어, 기록 매체에 기록되거나, 화상 복호화 장치에 전송되거나 한다. 즉, 각 픽처의 복호화 화상 데이터(Recon)에 대해서 적용된 화소간 필터의 종별이 부호화 데이터(Bitstream1)에 저장된 필터 종별 데이터(FilterTypel)에 의해서 화상 복호 화 장치에 통지된다. 이것에 의해, 부호화 데이터(Bitstream1)를 복호화하는 화상 복호화 장치에서는 화상 부호화 장치(300)에 있어서 각 픽처의 복호화 화상 데이터(Recon)에 적용된 화소간 필터를 특정할 수 있기 때문에, 각 픽처의 복호화 화상에 대해서 그것과 동일한 필터를 사용할 수 있다. 또, 상기 설명에 있어서 필터 종별 데이터(FilterType1)의 값을 "1", "2"로 하였지만, 이것은 설명의 편의상 정의한 값으로서, 다수의 필터를 구별할 수 있는 값이면 어떠한 값이라도 좋다. The operation of the
이상과 같이 화상 부호화 장치(300)에서는, 화소간 필터로서 다른 예측 성능·처리량의 화소간 필터를 여러 개 구비하고, 그것들을 외부에서 입력되는 필터 종별 데이터(FilterType1)에 따라서 전환하여 사용할 수 있다. 이와 같이 다른 예측 성능·처리량의 화소간 필터를 전환하여 사용하는 것에는 다음 이점이 있다. 우선, 설명을 위해서, 화소간 필터 A(303)는 화소간 필터 B(304)에 비교하여 처리량은 적고, 한편, 화소간 필터 B(304)는 화소간 필터 A(303)에 비교하여 노이즈 억압 효과가 높고 예측 부호화 효율이 향상되는 것으로 한다. 본 발명의 화상 부호화 장치(300)가 출력하는 부호화 데이터를 복호화하는 화상 복호화 장치로서, 화소간 필터 A(303)만을 구비한 화상 복호화 장치(A)와, 화소간 필터 A(303) 및 화소간 필터 B(304)의 쌍방을 구비한 화상 복호화 장치(B)의 2종류의 화상 복호화 장치를 고려한다. 전자의 화상 복호화 장치(A)는 요구되는 처리량이 작고, 처리 능력이 낮은 기기에 적합하다. 후자의 화상 복호화 장치(B)는 처리량이 큰 기기에 적합하다. 후자의 화상 복호화 장치(B)는, 화소간 필터 A(303)와 화소간 필터 B(304) 중 어느 화소간 필터를 사용한 부호화 데이터도 복호화 가능하고, 전자의 화상 복호화 장 치(A)에 대해서 상위 호환성을 갖는다. 이러한 경우에, 화상 부호화 장치(300)는, 상기 2종류의 어느 화상 복호화 장치에도 대응하는 화상 부호화 장치로서 기능할 수 있다. 요컨대, 상기의 설명과 같이 화상 부호화 장치(300)에 있어서, 대상으로 하는 화상 복호화 장치의 처리 능력에 따라서 적절한 예측 성능·처리량의 화소간 필터를 선택할 수 있도록 해 둠으로써, 폭넓은 종류의 기기에 대해서 화상 부호화 장치(300)에서 적용된 것과 동일 화소간 필터를 사용한 부호화 방식을 적용할(부호화 데이터(Bitstream1)를 복호화시킨다) 수 있다.As described above, the
또, 화상 복호화 장치의 처리 능력에 따라서 부호화 데이터의 생성이라는 용도 이외에도, 화상 부호화 장치(300)의 처리 능력에 따라서 화소간 필터를 전환할 수 있다. 예를 들면, 부호화하는 화상 사이즈나 픽처 레이트가 큰 경우에는, 부호화 처리 전체에 요하는 처리량이 커진다. 따라서, 부호화하는 화상 사이즈나 픽처 레이트가 일정치 이하인 경우에는 요구되는 처리 능력이 높은 화소간 필터 B(304)를 사용하고, 부호화하는 화상 사이즈나 픽처 레이트가 일정치 이상인 경우에는 요구되는 처리 능력이 낮은 화소간 필터 A(303)를 사용하여, 부호화 처리 전체에 요하는 처리량이 높아지지 않도록 할 수 있다. 또, 다수의 처리를 1대의 장치로 시분할 하여 실행하는 시분할 시스템 상에서 화상 부호화를 실현하는 경우에는, 다른 처리의 영향으로 화상 부호화에 소비되는 처리량이 동적으로 변화할 가능성이 있다. 그래서, 화상 부호화에 소비되는 처리량이 일정 이상인 경우에는 처리량이 높은 화소간 필터 B(304)를 사용하고, 화상 부호화에 소비되는 처리량이 일정 이하인 경우에는 처리량이 화소간 필터 B(304)보다 적은 화소간 필터 A(303)를 사용할 수 있다. In addition to the use of generation of encoded data according to the processing capability of the picture decoding apparatus, the inter pixel filter can be switched according to the processing capability of the
화소간 필터의 전환 타이밍은, 특정한 성질의 화상에 적합한 화소간 필터를 다수 구비하고, 각 화상의 성질에 따라서 픽처 단위로 화소간 필터를 전환하도록 해도 좋다. 예를 들면, 문자 등 에지 정보가 중요한 경우에는 에지의 보존성이 뛰어난 화소간 필터를 사용한다. 이 전환은, 에지 검출이나 문자 검출 등의 화상 처리 기술에 의해서 자동적으로 판단하여 행하거나, 사용자가 명시적으로 자연 화상에 적합한 화소간 필터, 문자에 적합한 화소간 필터, 에지에 적합한 화소간 필터 중에서 선택해도 좋다. 이와 같이 다수의 화소간 필터의 전환이 가능하게 되면, 화상의 성질에 적절한 필터를 선택할 수 있기 때문에, 예측 효율을 보다 향상시킬 수 있다. 즉, 처리량에 따라서 전환하는 것이 아니라, 화질을 향상하도록 필터를 전환하는 것도 유효하다. 따라서, 본 실시형태에서는 처리량에 따라서 전환하는 설명을 행하였지만, 화질이 좋아지도록 필터를 전환해도 좋다. The switching timing of the inter pixel filter may include a plurality of inter pixel filters suitable for an image of a specific property, and the inter pixel filter may be switched in picture units according to the property of each image. For example, when edge information such as characters is important, an inter-pixel filter having excellent edge retention is used. This switching is automatically determined by image processing techniques such as edge detection and character detection, or the user may explicitly select between an inter-pixel filter suitable for a natural image, an inter-pixel filter suitable for a character, and an inter-pixel filter suitable for an edge. You may choose. When a plurality of inter-pixel filters can be switched in this manner, a filter suitable for the nature of the image can be selected, and thus the prediction efficiency can be further improved. In other words, it is also effective to switch the filter so as to improve the image quality instead of switching according to the throughput. Therefore, in the present embodiment, the description is given of switching according to the throughput, but the filter may be switched to improve the image quality.
또한, 화소간 필터를 전환하는 단위는, 픽처 단위뿐만 아니라, 화상 내의 부분에 의해서도 화상의 성질이 다를 가능성이 있기 때문에, 예를 들면, MPEG의 슬라이스, 매크로 블록 및 블록 등의 픽처보다 작은 화상 영역을 단위로 해도 좋고, 적어도 1화소 이상이 집합한 영역을 단위로 하여 화소간 필터를 전환하도록 해도 좋다.In addition, the unit for switching the inter-pixel filter may have a different nature of the image not only from the picture unit but also from the parts within the image. Thus, for example, an image area smaller than a picture such as a slice, a macroblock, and a block of MPEG May be used as a unit, or the inter pixel filter may be switched in units of an area in which at least one pixel is collected.
도 4는 입력 화상의 슬라이스마다 화소간 필터를 전환하는 화상 부호화 장치(400)의 구성을 나타내는 블록도이다. 화상 부호화 장치(400)는 MPEG의 슬라이스 단위로 화소간 필터를 전환하여 복호화 화상의 필터링을 행하는 화상 부호화 장치 에 있어서, 차분기(101), 화상 부호화부(102), 화상 복호화부(104), 가산기(105), 화상 메모리(107), 픽처간 예측부(108), 픽처간 예측 추정부(109), 스위치(403), 스위치(404), 화소간 필터 A(303), 화소간 필터 B(304), 가변 길이 부호화부(305), 필터 전환 위치 판정부(401) 및 스위치(402)를 구비한다. 필터 전환 위치 판정부(401)는 외부에서 입력되는 화상 데이터(Img)로부터 입력 화상의 슬라이스를 검출하고, 검출된 슬라이스가 전환될 때마다, 예를 들면, 하나의 펄스를 출력하는 필터 전환 제어 데이터(SetFType)를 스위치(402)에 출력한다. 스위치(402)는 필터 전환 제어 데이터(SetFType)가 출력되고 있지 않은 사이에는 단자간의 접속이 차단되어 있는 스위치로서, 필터 전환 제어 데이터(SetFType)가 출력되어 있는 순간, 극히 약간의 시간만, 외부에서 입력되는 필터 종별 데이터(FilterType1)를 스위치(403)와 스위치(404)에 전달하여 통하게 한다. 스위치(403)와 스위치(404)는 모두 입력 화상 데이터(Img)의 슬라이스가 전환될 때마다 순간적으로 입력되는 필터 종별 데이터(FilterType1)의 값에 따라서, 단자 "1" 또는 단자 "2"의 어느 하나를 접속하여, 그 상태를 유지한다. 즉, 스위치(402)의 접속이 차단되어 있는 동안에는, 화소간 필터는 전환되지 않는다. 그 결과, 입력 화상 데이터(Img)의 슬라이스가 전환될 때마다, 필터 종별 데이터(FilterType1)에 의해서 새로운 화소간 필터가 선택되어, 슬라이스의 도중에 화소간 필터가 전환되는 것을 방지할 수 있다. 4 is a block diagram showing the structure of an
이상 설명한 바와 같이, 본 발명의 화상 부호화 장치에 의해, 본 발명의 화상 부호화 장치가 출력하는 부호화 데이터를 재생하는 화상 복호화 장치의 처리 능력에 따른 화소간 필터를 이용한 부호화 데이터를 작성하는 것이 가능하게 된다. 또한, 화상 부호화 장치의 처리 능력에 따라서 화소간 필터를 선택할 수 있다. As described above, the picture coding apparatus of the present invention makes it possible to create coded data using an inter-pixel filter corresponding to the processing capability of the picture decoding apparatus for reproducing the coded data output by the picture coding apparatus of the present invention. . In addition, the inter pixel filter can be selected according to the processing capability of the picture coding apparatus.
또, 본 실시형태의 화상 부호화 장치가 구비하는 화소간 필터는 2개이지만, 3개 이상의 화소간 필터를 구비해도 좋다. 본 실시형태와 동일하게, 3개 이상의 화소간 필터의 어느 하나를 선택하여 사용하고, 사용한 화소간 필터의 종별을 나타내는 필터 종별 데이터를 부호화 데이터에 포함시키면 좋다. In addition, although the inter pixel filter with which the image coding apparatus of this embodiment is equipped is two, you may provide three or more inter pixel filters. As in this embodiment, any one of three or more inter-pixel filters may be selected and used, and filter type data indicating the type of the used inter-pixel filter may be included in the encoded data.
또한, 처리량에 따라서 전환하는 것이 아니라, 화질이 향상되도록 필터를 전환해도 좋다. In addition, instead of switching according to the throughput, the filter may be switched so that the image quality is improved.
또, 화상 부호화 장치(400)에서는, 필터 전환 제어 데이터(SetFType)를, 검출되는 슬라이스를 전환할 때마다 값 "1"을 나타내고, 그 이외의 사이에는 값 "0"을 나타내는 펄스 파형으로 하였지만, 본 발명은 이것으로 한정되지 않고, 예를 들면, 슬라이스가 전환될 때마다 반전하는 구형파 등이어도 좋고, 그 밖의 파형이어도 좋다. 또, 스위치(402)를 필터 전환 제어 데이터(SetFType)가 동일 위상인 사이에는 단자간의 접속이 차단되어 있는 스위치로 하였지만, 본 발명은 이것으로 한정되지 않고, 필터 전환 위치가 아닌 경우에는, 필터 전환 위치 판정부(401)는 스위치(402)를 차단하기 위한 값을 나타내는 필터 전환 제어 데이터(SetFType)를 출력하는 것으로 해도 좋다. 또, 화상 부호화 장치(400)에서는 화상 데이터(Img)의 슬라이스 단위로 화소간 필터를 전환하도록 하였지만, 픽처 단위로 화소간 필터를 전환하는 것으로 해도 좋고, 또, 블록, 매크로 블록 또는 일정 다수 화소씩을 단위로 화소간 필터를 전환해도 좋다.In the
도 5(a)는 본 발명의 화상 부호화 장치가 출력하는 부호화 데이 터(Bitstream)의 스트림 구성을 나타내는 도면이다. 도 5(b)는 본 발명의 화상 부호화 장치가 화소간 필터를 슬라이스를 단위로서 전환한 경우에 출력되는 부호화 데이터(Bitstream)의 스트림 구성을 나타내는 도면이다. 본 발명의 부호화 데이터의 특징은, 다수의 화소간 필터의 하나를 특정하는 필터 종별 데이터(FilterType)를 부호화 데이터(Bitstream)에 포함하는 것이다. 이 스트림 구성에 의해, 본 발명의 부호화 데이터(Bitstream)를 복호화하는 화상 복호화 장치에서는 부호화 데이터(Bitstream)에 포함되어 있는 필터 종별 데이터(FilterType)를 조사함으로써, 부호화 시에 사용된 화소간 필터와 동일한 화소간 필터를 사용할 수 있다. Fig. 5A is a diagram showing a stream structure of encoded data (Bitstream) outputted by the picture coding apparatus of the present invention. FIG. 5B is a diagram showing a stream configuration of coded data (Bitstream) output when the picture coding apparatus of the present invention switches the inter pixel filter as a slice unit. A feature of the coded data of the present invention is that the coded data Bitstream includes filter type data FilterType for specifying one of a plurality of inter-pixel filters. With this stream structure, the picture decoding apparatus for decoding the coded data (Bitstream) according to the present invention examines the filter type data (FilterType) included in the coded data (Bitstream), thereby providing the same result as the inter-pixel filter used at the time of encoding. An inter pixel filter can be used.
도 5(a)에 도시한 부호화 데이터(Bitstream)에서는, 부호화 데이터(Bitstream) 전체에 부여되는 헤더(901) 중(예를 들면, 사선부)에 각 픽처의 필터링에 이용된 화소간 필터를 나타내는 필터 종별 데이터(FilterType)의 값이 기술되어 있다. 이 부호화 데이터(Bitstream1)는 도 3에 도시한 화상 부호화 장치(300)로부터 출력되는 부호화 데이터(Bitstream1)에 대응하고 있다. 또, 도 5(b)에 도시한 부호화 데이터(Bitstream)에서는, 슬라이스마다 설치되는 슬라이스 헤더(902) 중(예를 들면, 사선부)에 해당 슬라이스의 필터링에 이용된 화소간 필터를 나타내는 필터 종별 데이터(FilterType)의 값이 기술된다. 이 부호화 데이터(Bitstream1)는 도 4에 도시한 화상 부호화 장치(400)로부터 출력되는 부호화 데이터(Bitstream1)에 대응하고 있다. 이와 같이, 필터 종별 데이터(FilterType)를 부호화 데이터(Bitstream)의 선두 부분인 헤더(901)나, 데이터의 기록·전송의 기본 단위이고 오류 정정·수정의 단위이기도 한 슬라이스의 선두가 되는 슬라이스 헤 더(902) 등에 저장함으로써, 화상 복호화 장치에서는 헤더(901) 또는 슬라이스로부터 부호화 데이터(Bitstream)를 입력함으로써, 해당 슬라이스의 복호화 전에 그 슬라이스의 필터링 종별을 특정할 수 있다.In the coded data bitstream shown in FIG. 5A, an inter-pixel filter used for filtering each picture in the header 901 (for example, an oblique portion) provided to the entire coded data Bitstream is shown. The value of the filter type data (FilterType) is described. This coded data Bitstream1 corresponds to coded data Bitstream1 output from the
또, 여기에서는 슬라이스 단위로 화소간 필터를 전환한다고 설명하였지만, 슬라이스 단위뿐만 아니라, 슬라이스보다 작은 화상 영역 단위(1화소 이상이 집합한 영역이면 좋다. 예를 들면, MPEG의 매크로 블록·블록 등)로 화소간 필터를 전환해도 좋다. 또, 슬라이스보다 큰 화상 영역의 단위인 픽처로 전환해도 좋다. 이 경우, 도 5(a)에 도시한 헤더(901) 내(예를 들면, 사선부)에 기술하는 것 이외에, 예를 들면, 픽처 부호화 데이터마다 설치되는 픽처 헤더 중에, 각 픽처에 대응하는 필터 종별 데이터(FilterType1)의 값을 기술해도 좋다. 또, 매크로 블록 또는 블록을 필터링 방법의 전환 단위로 하는 경우에는, 각 매크로 블록 또는 각 블록의 필터 종별 데이터(FilterType1)의 값을 슬라이스마다 일괄하여, 슬라이스 헤더에 기술해 두면 좋다. Although the explanation has been given here that the inter pixel filter is switched in units of slices, not only the units of slices, but also an image area unit smaller than a slice (a region in which one or more pixels are collected may be used. For example, an MPEG macro block or block) The inter pixel filter may be switched. In addition, you may switch to the picture which is a unit of an image area larger than a slice. In this case, in addition to the description in the header 901 shown in FIG. 5A (for example, an oblique portion), for example, a filter corresponding to each picture in a picture header provided for each picture coded data. The value of the type data FilterType1 may be described. When the macroblock or block is a switching unit of the filtering method, the values of the filter type data (FilterType1) of each macroblock or each block may be collectively described for each slice and described in the slice header.
또한, 패킷 등으로 전송하는 경우는 헤더부와 데이터부를 분리하여 별도로 전송해도 좋다. 그 경우는, 도 5와 같이 헤더부와 데이터부가 하나의 비트 스트림이 되는 경우는 없다. 그러나, 패킷의 경우에는, 전송하는 순서가 다소 전후하는 경우가 있어도, 대응하는 데이터부에 대응하는 헤더부가 별도의 패킷으로 전송될 뿐이고, 하나의 비트 스트림으로 되어 있지 않아도, 개념은 도 5에서 설명한 비트 스트림의 경우와 동일하다. In the case of transmission in a packet or the like, the header portion and the data portion may be separated and transmitted separately. In that case, the header portion and the data portion do not form one bit stream as shown in FIG. However, in the case of a packet, even if the order of transmission may be somewhat before and after, even if the header portion corresponding to the corresponding data portion is only transmitted as a separate packet, even if it is not a single bit stream, the concept described in FIG. Same as the bit stream.
이상 설명한 바와 같이, 본 발명의 화상 부호화 장치에 입력되는 필터 종별 데이터(FilterType1)의 값을 화상 복호화 장치의 처리 능력에 따른 화소간 필터를 선택하도록 설정해 둠으로써, 본 발명의 화상 부호화 장치가 출력하는 부호화 데이터를 재생하는 화상 복호화 장치의 처리 능력에 따른 부호화 데이터를 작성하는 것이 가능하게 된다. 또, 화상 부호화 장치의 처리 능력에 따라서 화소간 필터를 선택할 수 있다. As described above, by setting the value of the filter type data (FilterType1) input to the picture coding apparatus of the present invention to select an inter-pixel filter corresponding to the processing capability of the picture decoding apparatus, the picture coding apparatus of the present invention outputs It is possible to create coded data corresponding to the processing capability of an image decoding device for reproducing coded data. The inter pixel filter can be selected according to the processing capability of the picture coding apparatus.
또, 처리량에 따라서 전환하는 것이 아니라, 화질을 향상하도록 필터를 전환해도 좋다. In addition, instead of switching according to the throughput, the filter may be switched to improve the image quality.
도 6은 본 실시형태 1에 관한 화상 부호화 장치에 의해서 생성된 부호화 데이터(Bitstream1)를 복호화하는 화상 복호화 장치(1000)의 구성을 나타내는 블록도이다. 화상 복호화 장치(1000)는 입력되는 부호화 데이터(Bitstream1)의 헤더에 기술되어 있는 필터 종별 데이터(FilterType1)에 따라서 픽처마다 또는 슬라이스마다 화소간 필터를 전환하고, 부호화 데이터(Bitstream1)의 부호화 데이터를 복호화하는 화상 복호화 장치에 있어서, 가변 길이 복호화부(201), 화상 복호화부(202), 가산기(203), 화상 메모리(205), 픽처간 예측부(206), 스위치(1001), 스위치(1002), 화소간 필터 A(1003) 및 화소간 필터 B(1004)를 구비한다. FIG. 6 is a block diagram showing the configuration of a
화상 복호화 장치(1000)에는, 외부에서 부호화 데이터(Bitstream1)가 입력된다. 이 부호화 데이터(Bitstream1)는 예를 들면 실시형태 1에서의 화상 부호화 장치(300) 또는 화상 부호화 장치(400)에 의해서 부호화된 것이다. 가변 길이 복호화부(201)는 입력된 부호화 데이터(Bitstream1)를 가변 길이 복호화하여, 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)와 필터 종별 데이 터(FilterType1)로 분리하여, 차분 화상 부호화 데이터(CodedRes)를 화상 복호화부(202)에, 예측 파라미터 데이터(PredParam)를 픽처간 예측부(206)에, 필터 종별 데이터(FilterType1)를 스위치(1001)와 스위치(1002)에 각각 출력한다. 스위치(1001) 및 스위치(1002)는 필터 종별 데이터(FilterType1)로서 값 "1"이 입력된 경우에는, 단자 "1"측으로 전환되고, 복호화 화상 데이터(Recon)에 화소간 필터 A(1003)에 의한 필터링을 적용한다. 필터 종별 데이터(FilterType1)로서 값 "2"가 입력된 경우에는, 스위치(1001) 및 스위치(1002)는 단자 "2"측으로 전환되고, 복호화 화상 데이터(Recon)에 화소간 필터 B(1004)에 의한 필터링을 적용한다. 어느 쪽의 화소간 필터에 의해 화소간 필터 연산이 행해진 경우에도, 필터링된 복호화 화상 데이터(FilteredImg1)는 화상 메모리(205)에 저장되는 동시에, 화상 복호화 장치(1000)의 외부, 예를 들면, 표시 장치 등에 출력된다. The coded data Bitstream1 is externally input to the
이상 설명한 바와 같이, 본 발명의 화상 복호화 장치(1000)에 의하면, 헤더부에 화소간 필터의 종별을 특정하는 필터 종별 데이터(FilterType1)를 포함한 부호화 데이터(Bitstream1)를 복호화 하는 것이 가능하게 된다. As described above, according to the
또, 본 실시형태의 화상 복호화 장치가 구비하는 화소간 필터는 2개이지만, 3개 이상의 화소간 필터를 구비해도 좋다. 이 경우, 본 실시형태와 동일하게, 부호화 데이터(Bitstream) 내의 필터 종별 데이터에 따라서 3개 이상의 화소간 필터의 어느 하나를 선택하여 사용하면 좋다. In addition, although the inter pixel filter with which the image decoding apparatus of this embodiment is equipped is two, you may provide three or more inter pixel filters. In this case, as in the present embodiment, any one of three or more inter-pixel filters may be selected and used according to the filter type data in the encoded data (Bitstream).
또, 실시형태 1에서 나타낸 바와 같이, 필터 종별이 픽처 단위, 혹은 픽처보다 작은 화상 영역의 단위로 전환되는 경우에는, 필터 종별이 변경된 시점에서 화 소간 필터를 전환한다. In addition, as shown in the first embodiment, when the filter type is switched to a picture unit or a unit of an image area smaller than the picture, the inter-pixel filter is switched when the filter type is changed.
도 7은 지정된 화소간 필터가 내부에 구비되어 있지 않은 경우에, 구비되어 있는 화소간 필터를 대용하는 화상 복호화 장치(1100)의 구성을 나타내는 블록도이다. 화상 복호화 장치(1100)는 부호화 데이터 중에 포함되는 필터 종별 데이터에서 선택된 화소간 필터가 화상 복호화 장치(1100) 내에 구비되어 있지 않은 경우에는, 화상 부호화 장치(1100)에 구비되어 있는 어느 하나의 화소간 필터를 대신 이용하는 것을 특징으로 한다. 이 화상 복호화 장치(1100)는 가변 길이 복호화부(201), 화상 복호화부(202), 가산기(203), 화상 메모리(205), 픽처간 예측부(206), 스위치(1001), 스위치(1002), 화소간 필터 A(1003), 화소간 필터 B(1004) 및 필터 종별 데이터 변환부(1101)를 구비한다.FIG. 7 is a block diagram showing a configuration of an
예를 들면, 화상 복호화 장치(1100)에는 필터 종별 데이터(FilterType1)의 값 "1"과 값 "2"가 나타내는 2종류의 화소간 필터 A(1003)와, 화소간 필터 B(1004)밖에 구비되어 있지 않은 것으로 한다. 화상 복호화 장치(1100)에는 외부에서 부호화 데이터(Bitstream3)가 입력된다. 가변 길이 복호화부(201)는 입력되는 부호화 데이터(Bitstream3)를 가변 길이 복호화하고, 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)와 필터 종별 데이터(FilterType3)로 분리하여, 차분 화상 부호화 데이터(CodedRes)를 화상 복호화부(202)에, 예측 파라미터 데이터(PredParam)를 픽처간 예측부(206)에, 필터 종별 데이터(FilterType3)를 필터 종별 데이터 변환부(1101)에 각각 출력한다. 필터 종별 데이터 변환부(1101)는 필터 종별 데이터(FilterType3)의 값이 화상 복호화 장치(1100)에 구비되어 있지 않은 화소간 필터를 나타내는 값 "3"을 취하는 경우에는, 필터 종별 데이터(FilterType3)의 값 "3"을, 예를 들면 화상 복호화 장치(1100)에 구비되어 있는 화소간 필터 중, 지정된 화소간 필터와 평활도가 가장 근사한 화소간 필터를 나타내는 "2"의 값으로 변환하여, 필터 종별 데이터(FilterType4)로서 출력한다. For example, the
이 변환 처리를 행함으로써, 화상 복호화 장치(1100)에 있어서, 부호화 시와는 다른 화소간 필터를 이용하기 때문에 다소의 화질 열화는 생기지만, 본래의 복호화 화상에 가까운 복호화 처리가 가능하기 때문에, 간이적인 화상 복호 기능으로서는 충분히 유효성이 있다. 필터 종별 데이터(FilterType4)로서 값 "1"이 입력된 경우에는, 스위치(1001)와 스위치(1002)는 모두 단자 "1"측으로 전환되고, 복호화 화상 데이터(Recon)에 대해서 화소간 필터 A(1003)에 의한 필터링을 적용한다. 필터 종별 데이터(FilterType4)로서 값 "2"가 입력된 경우에는, 스위치(1001)와 스위치(1002)는 모두 단자 "2"측으로 전환되고, 복호화 화상 데이터(Recon)에 대해서 화소간 필터 B(1004)에 의한 필터링을 적용한다. 화소간 필터에 의한 처리 결과인 필터링된 복호화 화상 데이터(FilteredImg3)는 화상 복호화 장치(1100) 외의 표시 장치 등에 출력된다. By performing this conversion process, since the
이상 설명한 바와 같이, 화상 복호화 장치(1100)에 의하면, 화상 복호화 장치(1100)에 구비되어 있지 않은 화소간 필터를 지정한 필터 종별 데이터(FilterType3)가 입력 부호화 데이터(Bitstream3)에 포함되어 있는 경우에도, 내부에 구비되어 있는 화소간 필터를 대용하여 복호화를 행할 수 있다. 따라서, 대폭적인 화질의 열화를 초래하지 않고, 부호화 데이터(Bitstream)를 복호화 할 수 있 다. As described above, according to the
또, 화상 복호화 장치(1100)가 구비하고 있는 화소간 필터(화소간 필터 연산 없음도 포함한다)가 하나인 경우에는 강제적으로 그 화소간 필터를 사용함으로써 복호화를 행할 수 있다. In addition, when there is only one inter-pixel filter (including no inter-pixel filter operation) included in the
또, 본 실시형태의 화상 복호화 장치에서는, 2개의 화소간 필터(화소간 필터 연산 없음도 하나의 필터로서 계산한다)를 구비하고 있지만 3개 이상의 화소간 필터가 있어도 동일 처리가 가능하다. 즉, 화소간 필터의 하나로서, 화소간 필터 연산을 행하지 않고 복호화 화상 데이터(Recon)를 그대로 화상 메모리(205)에 저장하는 처리를 포함해도 좋다. In the picture decoding apparatus of the present embodiment, two inter-pixel filters (without inter-pixel filter calculation are also calculated as one filter), but the same processing is possible even if there are three or more inter-pixel filters. That is, one of the inter pixel filters may include a process of storing the decoded image data Recon in the
또, 실시형태 1에서 나타낸 바와 같이, 필터 종별이 픽처 단위, 혹은 픽처보다 작은 화상 영역의 단위로 전환되는 경우에는, 필터 종별이 변경된 시점에서 화소간 필터를 전환한다. In addition, as shown in the first embodiment, when the filter type is switched in a picture unit or a unit of an image area smaller than the picture, the inter pixel filter is switched at the time when the filter type is changed.
화소간 필터(303, 304, 1003, 1004)의 동작에 대해서 도 9 및 도 10을 이용하여 보다 상세하게 설명한다. 도 9는 화소간 필터의 일례인 디블록·필터의 연산 내용을 나타내는 도면이다. 도 9(a)는 필터링 전의 블록 경계 부근의 화소 값을 나타내는 도면이다. 도 9(b)는 필터링 후의 블록 경계 부근의 화소 값을 나타내는 도면이다. 도 10은 화소간 필터의 필터링 처리의 흐름을 나타내는 흐름도이다. 도 9(a)는 동일 수평 주사선 상의 화소(601)∼화소(608)에 있어서의 각각의 화소 값을 나타내고 있다. 화소(601)∼화소(604)는 모두 블록(610) 내의 화소이지만, 화소(605)∼화소(608)는 블록(610)에 인접하는 블록(611) 내의 화소이다. 화소(601) ∼화소(604)의 화소 값은 각각 p3, p2, p1 및 p0이고, 화소(605)∼화소(608)의 화소 값은 각각 q0, q1, q2 및 q3이다. 화상 부호화 장치에 있어서, 픽처간 예측, 화상 부호화, 가변 길이 부호화 및 화상 복호화 등의 처리는 일반적으로, 블록(또는 매크로 블록) 등을 단위로 하여 행해진다. 이 때문에, 인접 블록(또는 매크로 블록) 사이의 경계, 예를 들면 블록(610)과 블록(611)의 경계를 걸치는 화소간, 예를 들면 화소(604)와 화소(605)에서 고주파수에 부호화 노이즈가 생기기 쉽다. 예를 들면, 도 9(a)에 나타내는 화소(604)의 화소 값(p0)과 화소(605)의 화소 값(q0)에서는 부호화 노이즈의 영향에 의해서 화소 값의 차가 커지기 쉽다고 하는 경향이 있다. 이 때문에, 화소간 필터는, 다수의 파라미터를 이용하여 필터를 결정할 수 있고, 예를 들면 필터를 결정하는 파라미터(α, β)에 대응한 필터이고, 이 화소간 필터에 의해 블록 경계를 걸치는 화소군의 화소 값을 필터링한다.The operation of the inter pixel filters 303, 304, 1003, and 1004 will be described in more detail with reference to FIGS. 9 and 10. 9 is a diagram showing the calculation contents of a deblock filter, which is an example of an inter-pixel filter. Fig. 9A is a diagram showing pixel values near the block boundary before filtering. Fig. 9B is a diagram showing pixel values near the block boundary after filtering. 10 is a flowchart showing the flow of filtering processing between inter pixel filters. 9A shows respective pixel values in the
도 10에 나타내는 바와 같이, 화소간 필터는, 우선, 블록 경계를 걸치는 화소(604)와 화소(605)의 화소 값의 차(p0-q0)의 절대치를 구하고, 구해진 절대치가 파라미터(α)의 값 미만인지의 여부를 판정한다(S701). 판정의 결과, 화소 값의 차(p0-q0)의 절대치가 파라미터(α)의 값 이상이면, 화소간 필터는 복호화 화상 데이터(Recon)로 표시되는 화소 값에 대해서 디블록·필터 처리를 행하지 않는다(S704). 한편, 단계 S701에 있어서의 판정의 결과, 블록 경계를 걸치는 인접 화소간의 화소 값의 차(p0-q0)의 절대치가 파라미터(α)의 값 미만이면, 화소간 필터는 또한, 화소(604)와 화소(603)의 화소 값의 차(p1-p0)의 절대치를 구하고, 구해진 절대치가 파라미터(β)의 값 미만인지의 여부를 판정한다(S702). 여기에서, 화 소(604)와 화소(603)는 동일 블록(610) 내의 인접 화소이다. 판정의 결과, 화소 값의 차(p1-p0)의 절대치가 파라미터(β)의 값 이상이면, 화소간 필터(503)는 복호화 화상 데이터(Recon)에서 나타내는 화소 값에 대해서 디블록·필터 처리를 행하지 않는다(S704). 또, 판정의 결과, 화소 값의 차(p1-p0)의 절대치가 파라미터(β)의 값 미만이면, 또한, 화소(605)와 화소(606)의 화소 값의 차(q1-q0)의 절대치를 구하고, 구해진 절대치가 파라미터(β)의 값 미만인지의 여부를 판정한다(S703). 여기에서, 화소(605)와 화소(606)는 동일 블록(611) 내의 인접 화소이다. 판정의 결과, 화소 값의 차(q1-q0)의 절대치가 파라미터(β)의 값 이상이면, 화소간 필터는 복호화 화상 데이터(Recon)로 나타내는 화소 값에 대해서 디블록·필터 처리를 행하지 않는다(S704). 한편, 화소 값의 차(q1-q0)의 절대치가 파라미터(β)의 값 미만이면, 화소간 필터(503)는 복호화 화상 데이터(Recon)에 대해서 필터링을 행하여 부호화 노이즈를 제거하여, 처리를 종료한다. 화소간 필터는 이상의 처리를 블록 경계를 걸치는 수평 주사선 방향 및 수직 주사선 방향의 각 화소 열에 대해서 반복한다. 이와 같이, 3조의 인접 화소의 화소 값의 차의 어느 하나가 일정치 미만인 경우에 디블록·필터 처리를 행함으로써 블록 왜곡을 제거한다. As shown in Fig. 10, the inter-pixel filter first obtains an absolute value of the difference (p0-q0) of the pixel value between the
또, 상기 단계 S704에서의 디블록·필터 처리에서는, 경계 근방의 화소에 평활화 필터(고역 주파수 성분 억압 필터)를 행한다. 예를 들면, 평활화에 의한 화소(604)의 새로운 화소 값(P0)은 화소(604)의 화소 값(p0), 화소(605)의 화소 값(q0), 화소(603)의 화소 값(p1) 및 화소(606)의 화소 값(q1)에 고역 주파수 성분을 억압하는 저역 통과 필터(Low Pass Filter)를 이용하여 생성할 수 있다. In the deblocking filter process in step S704, a smoothing filter (high frequency component suppression filter) is performed on the pixels near the boundary. For example, the new pixel value P0 of the
(실시형태 2) (Embodiment 2)
도 8은 제2 실시형태에 관한 화상 부호화 장치(500)의 구성을 나타내는 블록도이다. 화상 부호화 장치(500)가 화상 부호화 장치(300)와 다른 것은, 화소간 필터 처리로서, 복호화 화상 데이터(Recon)를 그대로 참조 화상 데이터(Ref)로서 화상 메모리(107)에 저장하는 것을 선택할 수 있는 것이다. 화상 부호화 장치(500)는 차분기(101), 화상 부호화부(102), 화상 복호화부(104), 가산기(105), 화상 메모리(107), 픽처간 예측부(108), 픽처간 예측 추정부(109), 스위치(501), 스위치(502), 화소간 필터(503), 테이블 유지부(504) 및 가변 길이 부호화부(505)를 구비한다. 8 is a block diagram showing the configuration of a
스위치(501)와 스위치(502)는 필터 종별 데이터(FilterType2)의 값이 "0"일 때, 모두 단자 "0"측으로 전환되고, 가산기(105)로부터 출력되는 복호화 화상 데이터(Recon)를 그대로 화상 메모리(107)에 저장한다. 스위치(501)와 스위치(502)는 필터 종별 데이터(FilterType2)의 값이 "1"일 때, 모두 단자 "1"측으로 전환되고, 가산기(105)로부터 출력된 복호화 화상 데이터(Recon)를 화소간 필터(503)에 전달하여 통하게 한다. 화소간 필터(503)는 화소 값의 필터링에 이용되는 필터로, 예를 들면, 블록 경계에서의 고주파 성분의 부호화 노이즈를 억압하는 디블록·필터이다. 화소간 필터(503)에 의해 화소간 필터 연산된 필터링된 복호화 화상 데이터(FilteredImg2)는 화상 메모리(107)에 저장된다. 가변 길이 부호화부(505)는 이 필터 종별 데이터(FilterType2)와 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)를 가변 길이 부호화하여 도 5(a)에 나타낸 바와 같은 하나 의 부호화 데이터(Bitstream2)로 정리하여, 화상 부호화 장치(500)의 외부로 출력한다. When the value of the filter type data FilterType2 is "0", the
또, 화상 부호화 장치(500)가 구비하는 화소간 필터는 하나이지만, 2개 이상의 화소간 필터를 구비해도 좋다. 2개 이상의 화소간 필터의 어느 하나, 또는, 화소간 필터 연산 없음을 선택하여 사용하고, 사용한 화소간 필터의 종별(화소간 필터 연산 없음을 포함한다)을 나타내는 필터 종별 데이터를 부호화 데이터에 포함시키면 좋다. 또, 화상 부호화 장치(500)에서는 테이블 유지부(504)를 생략하고, 테이블 유지부(504)의 기능을 화소간 필터(503)의 내부에 구비하도록 해도 좋다. In addition, although there is only one inter pixel filter included in the
이상 설명한 바와 같이, 본 발명의 화상 부호화 장치(500)에서는, 해당 화상 부호화 장치(500)로부터 출력된 부호화 데이터(Bitstream2)를 재생하는 화상 복호화 장치의 처리 능력에 따른 화소간 필터를 이용하여 부호화 데이터를 작성하는 것이 가능하게 된다. 또, 화상 부호화 장치(500)의 처리 능력에 따라서 화소간 필터를 선택할 수도 있다. 또, 필터 종별을 픽처 단위 또는 픽처보다 작은 화상 영역의 단위로 전환한다고 해도 좋다. As described above, in the
도 11은 화소간 필터 처리를 행할지 여부를 선택할 수 있는 실시형태 2에 관한 화상 복호화 장치(1200)의 구성을 나타내는 블록도이다. 화상 복호화 장치(1200)가 도 6의 화상 복호화 장치(1000)와 다른 점은, 화소간 필터 처리로서 화소간 필터 연산을 행하지 않고, 복호화 화상 데이터(Recon)를 그대로 참조 화상 데이터(Ref)로서 화상 메모리(205)에 저장하는 것을 선택할 수 있는 것이다. 화상 복호화 장치(1200)는 가변 길이 복호화부(201), 화상 복호화부(202), 가산기(203), 화상 메모리(205), 픽처간 예측부(206), 스위치(1201), 스위치(1202) 및 화소간 필터(1203)를 구비한다.FIG. 11 is a block diagram showing a configuration of an
화상 복호화 장치(1200)에는, 예를 들면, 도 8의 화상 부호화 장치(500)에 의해서 부호화된 도 9(a)의 부호화 데이터와 같이, 헤더 내에 부호화 시에 적용된 화소간 필터를 나타내는 필터 종별 데이터(FilterType2)가 포함되어 있는 부호화 데이터(Bitstream2)가 입력된다. 필터 종별 데이터(FilterType2)에는 필터 종별로서 "화소간 필터 연산 없음"을 나타내는 값이 포함되어 있다. 가변 길이 복호화부(201)는 입력된 부호화 데이터(Bitstream2)를 가변 길이 복호화하여, 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)와 필터 종별 데이터(FilterType2)로 분리한다. 분리된 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)와 필터 종별 데이터(FilterType2)는 각각 화상 복호화부(202)와 픽처간 예측부(206)와 스위치(1201) 및 스위치(1202)에 출력된다.In the
스위치(1201) 및 스위치(1202)는 모두 필터 종별 데이터(FilterType2)로서 값 "0"이 입력된 경우에는 단자 "0"측으로 전환되고, 가산기(203)로부터 출력된 복호화 화상 데이터(Recon)는 그대로 화상 메모리(205)에 저장된다. 스위치(1201)와 스위치(1202)는 필터 종별 데이터(FilterType2)로서 값 "1"이 입력된 경우에는 모두 단자 "1"측으로 전환되고, 복호화 화상 데이터(Recon)에 대해서 화소간 필터(1203)에 의한 필터링을 적용한다. Both the
또한, 필터 종별 데이터로부터, 참조 화상이 되는 복호화 화상에 화소간 필터를 사용하지 않는다고 판단되는 경우에는, 그 복호화 화상을 참조 화상으로서 화 상 메모리에 저장할 때에는 화소간 필터에 의한 필터링을 행하지 않고, 화상 복호화 장치의 외부에 출력할 때에만 화소간 필터를 사용한다고 해도 좋다. 도 12는 또한 화상 출력부에 선택 가능한 화소간 필터를 구비한 화상 복호화 장치(1300)의 구성을 나타내는 블록도이다. 이미 설명한 바와 같이, 화상 복호화 장치(1300)는 가산기(203)로부터 출력되는 복호화 화상에 대해서, 화소간 필터에 의한 필터링을 행하지 않은 것을 필터 종별 데이터(FilterType2)가 나타내고 있는 경우에는, 화상 메모리에 저장되는 복호화 화상에는 필터링하지 않고, 외부에 출력되는 복호화 화상에는 출력 측에 설치한 화소간 필터에 의해서 필터링을 행하는 화상 복호화 장치에 있어서, 가변 길이 복호화부(201), 화상 복호화부(202), 가산기(203), 화상 메모리(205), 픽처간 예측부(206), 스위치(1201), 스위치(1202), 화소간 필터(1203), 스위치(1301), 스위치(1302) 및 화소간 필터(1303)를 구비한다. If it is determined from the filter type data that the inter-pixel filter is not used for the decoded image serving as the reference image, the image is not filtered by the inter-pixel filter when the decoded image is stored in the image memory as the reference image. The inter pixel filter may be used only when outputting to the outside of the decoding apparatus. 12 is a block diagram showing the structure of an
스위치(1201), 스위치(1202), 스위치(1301), 스위치(1302)는 필터 종별 데이터(FilterType2)의 값이 "1"인 경우에는 모두 단자 "1"측으로 전환된다. 이 경우에는, 스위치(1201)와 스위치(1202)는 가산기(203)의 출력과, 화소간 필터(1203)와, 화상 메모리(205)를 전달하여 통하게 하고, 스위치(1302)는 스위치(1202)의 출력과 화소간 필터(1303)의 전달 통과를 차단하여 스위치(1301)와 단락한다. 따라서, 화소간 필터(1203)가 복호화 화상 데이터(Recon)에 대해서 필터 연산을 행하고, 필터링된 복호화 화상 데이터(FilterdImg3)를 출력한다. 필터링된 복호화 화상 데이터(FilteredImg3)는 그대로, 즉, 거듭 화소간 필터(1303)로 필터링되지 않고, 출력 화상(OutImg)으로서 화상 복호화 장치 외의 표시 장치 등에 출력된다. 필터 종별 데이터(FilterType2)의 값이 "0"인 경우에는, 스위치(1201), 스위치(1202), 스위치(1301) 및 스위치(1302)는 모두 단자 "0"측으로 전환된다. 이 경우에는, 스위치(1201)는 가산기(203)의 출력과, 화소간 필터(1203)의 전달 통과를 차단하여, 스위치(1202)와 단락한다. 한편, 스위치(1302)는, 스위치(1202)의 출력과 화소간 필터(1303)와 스위치(1301)의 외부 출력 단자를 전달하여 통하게 한다. 따라서, 가산기(203)로부터 출력된 복호화 화상 데이터(Recon)는 화소간 필터(1203)에서는 화소간 필터 연산되지 않고, 그대로 화상 메모리(205)에 참조 화상으로서 저장된다. 스위치(1202)의 출력 측에서 추출된 복호화 화상 데이터(Recon), 즉, 실제로는 필터링되어 있지 않은 필터링된 복호화 화상 데이터(FilteredImg3)는 화소간 필터(1303)에 의해서 화소간 필터 연산이 행해지고, 출력 화상(OutImg)으로서 화상 복호화 장치(1300) 외의 표시 장치 등에 출력된다. The
또, 여기에서는 설명을 위해서, 화소간 필터(1203)와 화소간 필터(1303)는 다른 구성 요소로서 기재하였지만, 설치상 동일 화소간 필터를 사용해도 좋다(2개의 화소간 필터는 동시에 동작하는 일이 없기 때문에, 동일 화소간 필터를 이용해도 문제는 없다). 또, 화소간 필터(1203)와 화소간 필터(1303)는 종래의 화소간 필터(106)이어도 좋고, 도 8에 도시한 테이블 유지부(504)를 내장하는 화소간 필터(503)이어도 좋다. 또한, 다수의 파라미터표(620)를 유지하는 테이블 유지부(504)를 내장한 화소간 필터(503)이어도 좋다. 단, 이 경우에는, 화소간 필터(503)에도 필터 종별 데이터(FilterType2')가 입력될 필요가 있다. In addition, although the
이상 설명한 바와 같이, 화상 복호화 장치(1300)에 의하면, 참조 화상이 되 는 복호화 화상에 대해서 필터링을 행하지 않은 경우에도, 그 복호화 화상에 대해서 화소간 필터에 의한 필터링을 행할 수 있기 때문에, 화상 복호화 장치(1300)로부터 출력되는 출력 화상(OutImg)을 표시하는 표시 장치에서는, 보다 고화질의 동화상을 표시할 수 있다. 이것은, 참조 화상이 되는 복호화 화상에 대해서 필터링을 행하지 않은 경우에는 처리 능력에 여유가 있는 기기의 경우에 특히 유효하다. As described above, according to the
또, 실시형태 1에서 도시한 바와 같이, 필터 종별 데이터(FilterType2)에서 나타낸 화소간 필터의 종별이 픽처 단위, 혹은 픽처보다 작은 화상 영역의 단위로 전환되는 경우에는, 필터 종별이 변경된 시점에서 화소간 필터를 전환한다. In addition, as shown in
도 13은 각 픽처의 픽처 타입에 따라서 화소간 필터(1203)를 선택할 수 있는 화상 복호화 장치(1400)의 구성을 나타내는 블록도이다. 화상 복호화 장치(1400)는 복호화가 끝난 픽처가 참조 화상으로서 사용되는지 여부의 정보, 예를 들면, 각 픽처의 픽처 타입 등을 포함하는 부호화 데이터를 복호화하는 화상 복호화 장치에 있어서, 화상 복호화부(202), 가산기(203), 화상 메모리(205), 픽처간 예측부(206), 화소간 필터(1203), 가변 길이 복호화부(1401), 스위치(1402), 스위치(1403) 및 픽처 종별 데이터 변환부(1404)를 구비한다. FIG. 13 is a block diagram showing a configuration of an
가변 길이 복호화부(1401)는 외부에서 입력되는 부호화 데이터(Bitstream4)를 가변 길이 복호화하여, 픽처 종별 데이터(PType)와 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)로 분리한다. 분리된 픽처 종별 데이터(PType)는 픽처 종별 데이터 변환부(1404)에, 차분 화상 부호화 데이터(CodedRes)는 화상 복호화부(202)에, 예측 파라미터 데이터(PredParam)는 픽처간 예측부(206)에, 각각 출력된다. 픽처 종별 데이터(PType)는 해당 픽처가 참조 화상으로서 사용되는지의 여부를 나타내는 정보이다. 예를 들면, 국제 표준 규격인 MPEG-1, 2에서는, 프레임마다 픽처 타입이라고 불리는 정보가 부호화 데이터에 포함되고 있고, B 픽처라고 불리는 프레임은 참조 화상으로서 사용되는 경우는 없다. 따라서, 부호화 데이터에 포함되어 있는 이 픽처 타입을 본 실시형태의 픽처 종별 데이터(PType)로서 이용해도 좋다. 참조 화상으로서 사용되지 않은 픽처에는, 화소간 필터에 의한 필터링을 행하지 않고도, 다른 픽처의 복호화에는 그다지 악영향을 주지 않는다. The variable
여기에서, 화상 복호화 장치(1400)는 해당 픽처가 참조 화상으로서 사용되지 않은 경우에는 화소간 필터를 행하지 않는다. 예를 들면, 화상 복호화 장치(1400)의 처리 능력이 낮고, 재생 시각에 제시간에 맞춘 복호화를 실행할 수 없는 경우에는, 참조 화상으로서 사용되지 않은 픽처에 화소간 필터에 의한 필터링을 행하지 않음으로써 화상 복호화 장치(1400)의 처리량을 경감할 수 있다. 도 13의 블록도를 이용하여 설명하면, 우선, 픽처 종별 데이터 변환부(1404)는 입력되는 픽처 타입 데이터(PType)가 B 픽처 이외의 픽처를 도시하고 있으면, 즉, 해당 픽처가 참조 화상으로서 사용되는 것을 도시하고 있으면, 스위치(1402)와 스위치(1403)는 모두 단자 "1"로 전환된다. 이것에 의해 화상 복호화 장치(1400)는, 화소간 필터(1203)를 사용하여 복호화 화상 데이터(Recon)에 화소간 필터 연산을 행하고, 연산 결과를 필터링된 복호화 화상 데이터(FilteredImg5)로서 화상 메모리(205)에 저장하는 동시에, 화상 복호화 장치(1400) 외의 표시 장치 등에 출력한다. 한편, 픽처 타입 데 이터(PType)가 해당 픽처가 B 픽처인 것을 도시하고 있으면, 즉, 해당 픽처가 참조 화상으로서 사용되지 않은 것을 도시하고 있으면, 스위치(1402)와 스위치(1403)는 단자 "0"으로 전환되고, 화소간 필터(1203)는 사용되지 않으며, 가산기(105)로부터 출력된 복호화 화상 데이터(Recon)는 그대로 외부에 출력된다. Here, the
이상과 같이, 화상 복호화 장치(1400)에 의하면, 그다지 다른 픽처에 참조되는 일이 없는 B 픽처에 대해서 화소간 필터(1203)에 의한 필터링을 생략하기 때문에, 다른 픽처의 복호화에 큰 영향을 주지 않고, 부호화 데이터(Bitstream)의 복호화에 요구되는 처리량을 경감할 수 있다. 또한, 이와 같이 화상 복호화 장치(1400)는 부호화 데이터의 픽처 타입에 따라서 화소간 필터를 선택하기 때문에, 픽처 헤더 등의 헤더 정보 중에 화소간 필터의 선택 정보가 들어있지 않은 종래의 화상 부호화 장치로부터 출력되는 부호화 데이터에 대해서도, 참조되지 않은 화상에 대해서 필터링 처리를 생략하여, 필터링 처리의 부하를 경감할 수 있다. As described above, since the
또, 참조되지 않은 픽처는 필터링 처리를 하지 않는 것에 상관없이, 예를 들면 도 13에서 도시하면 화상 메모리(205)에는 보존할 필요가 없다. 따라서, 참조되는 픽처만, 화상 메모리(205)에 필터링 처리를 한 데이터를 저장하면 좋다. In addition, the picture not referred to need not be stored in the
*또, 엄밀하게는 B 픽처는 참조되지 않은 화상을 의미하는 것이 아니라, B 픽처를 참조하는 화상 부호화 방법도 생각할 수 있다. 따라서, 픽처 타입에 의해서 단순히 화소간 필터를 선택하는 것이 아니라, 실제로 참조되는 픽처인지 여부를 판단하면, B 픽처를 참조하는 경우에도 보다 적절한 처리가 가능하다. 단, B 픽처를 참조하는 경우에도, 설치를 간단히 하기 위해서, 단순히 픽처 타입으로 전환해도 좋다. In addition, strictly speaking, a B picture does not mean an unreferenced picture, but an image coding method of referring to a B picture can also be considered. Therefore, if it is determined that the picture is actually a reference picture instead of simply selecting the inter pixel filter based on the picture type, a more appropriate process can be performed even when the B picture is referred to. However, even when referring to a B picture, in order to simplify the installation, you may simply switch to the picture type.
또, 화소간 필터를 행하는지의 여부를 전환하는 것이 아니라, 도 6 또는 도 7에 나타내는 바와 같이, 화소간 필터(1003), 화소간 필터(1004)와 2개의 필터를 픽처 타입, 또는 참조되는 픽처인지 여부에 따라서 전환해도 좋다. Instead of switching whether or not to perform the inter-pixel filter, as shown in FIG. 6 or 7, the
또한, 픽처 타입 및 픽처가 참조되는지 여부에 따라서 화소간 필터를 전환하는 화상 복호화 장치의 예를 설명하였지만, 이 전환을 화상 부호화 장치에서도 동일하게 행할 수 있다. In addition, although the example of the picture decoding apparatus for switching the inter pixel filter according to the picture type and whether the picture is referenced has been described, the same can be done in the picture coding apparatus.
(실시형태 3) (Embodiment 3)
도 14는 본 발명의 실시형태 3에 관한 화상 부호화 장치(1500)의 기능 구성을 나타내는 블록도이다. 화상 부호화 장치(1500)는 CPU, 메모리, 화상 부호화를 위한 프로그램을 설치한 하드디스크(HD) 등을 구비하는 컴퓨터 장치에 의해 실현되고, 그 기능으로서, 조작 접수부(1505), 전처리부(1510), 감산부(1512), 직교 변환부(1513), 양자화부(1514), 가변 길이 부호화부(1517), 후처리부(1520), 역 양자화부(1521), 역 직교 변환부(1522), 가산부(1524), 스위치부(1530), 화소간 필터(1540), 화상 메모리(1541), 움직임 검출부(1542), 움직임 보상부(1543), 우선 순위 결정부(1550) 및 필터 처리 제어부(1560)를 구비한다. Fig. 14 is a block diagram showing the functional configuration of the
조작 접수부(1505)는 조작자의 입력 조작을 접수한다. 전처리부(1510)는 입력된 화상 신호를 조작 접수부(1505)의 조작으로 지정하여 공간 해상도로 포맷 변환하는 포맷 변환부 및 픽처 타입에 맞추어 픽처를 교체 나열하는 픽처 교체 나열 부 등을 구비하고, 픽처 타입 및 프레임마다의 프레임 화상 등을 순차적으로 출력한다. The
또, 픽처 타입에는, 화면 내 부호화 모드 시에 작성되는 참조 화상이 없는 I 픽처(Intra Picture : 면 내 부호화 화상)와, 화면간 부호화 모드 시에 작성되어 하나의 픽처만을 참조하는 P 픽처(Predictive Picture : 예측 부호화 화상) 및 후방 화상도 참조할 수 있는 B 픽처(Bi Predictive Picture : 다수 예측 화상)가 있고, 화면간 부호화 모드 시의 움직임 검출 시에, 화상 메모리(1541)에 저장된 움직임 검출부(1542)에 의해서 동시에 참조 가능한 복호화 화상의 매수가 제한된다. The picture type includes an I picture (Intra Picture: In-plane coded picture) without a reference picture created in the intra picture coding mode, and a P picture (Predictive Picture) created in the inter picture coding mode and referring only to one picture. : A predictive coded picture) and a B picture (Bi Predictive Picture) which can also refer to a back picture, and a
또, 프레임 화상을 부호화하는 경우, 3개의 픽처 타입을 사용하여 부호화하는 경우의 모드(이 모드를 이하, 「IPB 부호화 모드」라고도 기재한다)와, I 픽처 및 P 픽처의 2개만을 사용하여 부호화하는 경우의 모드가 있다. 이 I 픽처 및 P 픽처의 2개만을 사용하여 부호화하는 경우의 모드에는, 참조 가능성이 있는 P 픽처 및 가능성이 없는 P 픽처에 대해서 부호화하는 모드(이 모드를 이하, 「제1 IP 부호화 모드」라고도 기재한다)와, 계층 부호화에 있어서의 기본 레이어의 P 픽처, 보강 레이어로 참조 가능성이 있는 P 픽처 및 가능성이 없는 P 픽처에 대해서 부호화하는 모드(이 모드를 이하, 「제2 IP 부호화 모드」라고도 기재한다)가 있다. 계층 부호화란, 픽처를 기본 레이어와 보강 레이어의 2개로 분류하고, 기본 레이어는 기본 레이어의 픽처군만으로 단독으로 재생할 수 있는 그룹이고, 보강 레이어는 부호화·복호화를 위해서 베이스 라인의 픽처군이 필요한 픽처군이다. 기본 레이어뿐이면 비트수가 적고, 기본 레이어와 보강 레이어를 합치면 비트수가 많지만, 픽처 수가 많아지는 것으로부터, 베이스 라인은 모든 경우에 기록·전송하고, 보강 레이어는 고화질이 필요한 경우에만 기록·전송함으로써, 2종류의 용도를 용이하게 실현할 수 있는 것이 계층 부호화의 특징이다. In the case of encoding a frame image, encoding is performed using only two modes, i.e., I-picture and P-picture, in the case of encoding using three picture types (this mode is also referred to as "IPB encoding mode" below). There is a mode to do it. In the mode in which only two of the I picture and the P picture are encoded, a mode for encoding a P picture with reference possibility and a P picture without possibility (this mode is also referred to as " first IP encoding mode " hereinafter). And P mode of the base layer in hierarchical coding, a P picture that can be referred to by the reinforcement layer, and a P picture that is unlikely (this mode is also referred to as a "second IP encoding mode" hereinafter). It is mentioned). Hierarchical coding classifies a picture into two layers, a base layer and a reinforcement layer, and the base layer is a group that can be reproduced alone by the picture group of the base layer alone, and the reinforcement layer is a picture that requires a group of baselines for encoding and decoding. It's a military. If only the base layer has fewer bits, and if the base and reinforcement layers are combined, the number of bits is large.Because the number of pictures increases, the baseline is recorded and transmitted in all cases, and the reinforcement layer is recorded and transmitted only when high quality is required. It is a feature of hierarchical coding that two kinds of uses can be easily realized.
제1 IP 부호화 모드의 경우에는, 프레임 화상에 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가되는 동시에, 픽처 타입에 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가된다. 또, 제2 부호화 모드의 경우에는, 프레임 화상에「기본」, 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가되는 동시에, 픽처 타입에 「기본」, 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가된다. In the case of the first IP encoding mode, information of "possibility" or "possibility" is added to the frame image, and information of "possibility" or "possibility" is added to the picture type. In the case of the second coding mode, information of "basic", "possible" or "not likely" is added to the frame image, and the picture type is "basic", "possible" or "no possibility". The information is added.
감산부(1512)는 화면 내 부호화 모드 시에는 전처리부(1510)로부터 출력된 프레임 화상을 그대로 출력하고, 화면간 부호화 모드 시에는 프레임 화상과, 움직임 보상부(1543)로부터 출력된 움직임 보상 화상의 차분 값인 움직임 보상 오차(잔여 차분 화상)를 계산한다. The
직교 변환부(1513)는 감산부(1512)로부터 출력된 화면 내 부호화 모드시의 프레임 화상 및 화면간 부호화 모드시의 움직임 보상 오차에 대해서 각각 이산 코사인 변환 등의 직교 변환을 행함으로써, 주파수 영역으로 변환한 주파수 성분을 출력한다. 양자화부(1514)는 직교 변환부(1513)로부터 출력된 주파수 성분을 양자화함으로써, 양자화 값을 출력한다. 가변 길이 부호화부(1517)는 양자화부(1514)로부터 출력된 양자화 값에 대해서 그 발생 빈도에 따른 부호 길이를 할당하는 가변 길이 부호(허프만 부호)를 이용함으로써, 한층 더 정보 압축을 행한 부호화 신호를 출력한다. 후처리부(1520)는 부호화 신호 등을 일시적으로 기억하는 버퍼나, 양자 화부(1514)에서의 양자화 폭을 제어하기 위한 레이트 제어부 등을 구비하고, 상기 움직임 벡터, 픽처 타입 등이나, 가변 길이 부호화부(1517)로부터 출력된 부호화 신호를 비트 스트림의 부호화 신호로 변환하여 출력한다. The
역 양자화부(1521)는, 양자화부(1514)에 의해서 생성된 양자화 값을 역 양자화함으로써 주파수 성분을 복호화한다. 역 직교 변환부(1522)는 역 양자화부(1521)에 의해서 복호화된 주파수 성분을 역 직교 변환함으로써, 화면 내 부호화 모드 시에는 프레임 화상을, 화면간 부호화 모드 시에는 화소의 차분 값인 움직임 보상 오차(잔여 차분 화상)를 복호화한다. 가산부(1524)는 화면 내 부호화 모드 시에는 역 직교 변환부(1522)에 의해서 복호화된 프레임 화상(복호화 화상)을 그대로 출력하고, 화면간 부호화 모드 시에는 역 직교 변환부(1522)에 의해서 복호화된 잔여 차분 화상과, 움직임 보상부(1543)에 의해서 생성된 움직임 보상 화상을 가산함으로써 프레임 화상을 복호화 한다. The
스위치부(1530)는 필터 처리 제어부(1560)에 의한 픽처마다의 스위치 ON/OFF 제어에 의해 스위칭 양태를 동기하여 전환하는 한 쌍의 스위치(1531, 1532)로 이루어지고, 화소간 필터(1540)를 루프 내에 집어넣거나, 루프로부터 빼내거나, 즉, 화소간 필터(1540)에 의한 처리를 생략하거나 한다. 화소간 필터(1540)는 스위치(1531, 1532)의 ON시에, 가산부(1524)로부터 출력된 복호화 화상에 대해서 블록 단위로 공간적인 저역 통과 필터 처리를 행하여, 블록 왜곡 등이 없는 복호화 화상을 생성한다. 예를 들면, 어떤 화소와 그 주위의 화소와 평균치를 산출하여, 어떤 화소와 주위의 화소의 차가 소정의 범위 내이면, 그 어느 화소를 산출한 평균치로 치환하는 처리를 블록 경계 부근의 화소에 대해서 하나씩 실행한다. The
화상 메모리(1541)는 스위치부(1530)로부터 출력된 복호화 화상을 다수 프레임분 기억한다. 이것에 의해, 후처리부(1520)로부터 출력되는 부호화 신호를 복호화하는 화상 복호화 장치와 동일 상태에서 복호화 화상을 모니터하거나, 복호화 화상을 화면간 부호화 모드 시의 참조 화상으로서 이용하는 것이 가능하게 된다. 또, 제1 IP 부호화 모드 및 제2 IP 부호화 모드에서, 참조 가능성이 있는 정보가 부가된 P 픽처의 복호화 화상은 화상 메모리(1541)에 반드시 저장되고, 참조 가능성이 없는 정보가 부가된 P 픽처의 복호화 화상은 화상 메모리(1541)에 저장될 필요는 없다. 이 때문에, 가능성 있음/없음의 정보는, 복호화 화상을 화상 메모리(1541)에 저장한다/하지 않는다는 동일 의미를 나타내고 있다. The
움직임 검출부(1542)는 화면간 부호화 모드 시에 화상 메모리(1541)에 저장되어 있는 복호화 화상 중에서 전처리부(1510)로부터 출력된 프레임 화상과 차분이 가장 작은 참조 화상을 조사하여, 차분 화소의 움직임 양인 움직임 벡터를 출력한다. 또, 움직임 벡터 출력시에, 참조하는 화상이 전방 화상인지, 후방 화상인지, 양 화상의 평균치인지를 블록 예측 타입을 출력한다. 움직임 보상부(1543)는 움직임 벡터 및 블록 예측 타입으로 나타내는 연산을 행하고, 움직임 보상 화상을 생성한다. 우선 순위 결정부(1550)는 픽처 타입이나 기본 레이어, 보강 레이어에 따라서 그 픽처의 우선도를 출력한다. 필터 처리 제어부(1560)는 우선 순위 결정부(1550)로부터 출력된 우선도 또는 CPU 가동률에 따라서 스위치(1531, 1532)를 ON/OFF 제어한다. The
도 15는 도 14에 나타낸 우선 순위 결정부(1550)의 상세한 기능 구성을 나타내는 블록도이다. 동일 도면에 나타낸 바와 같이, 우선 순위 결정부(1550)는 픽처 타입 및 기본 레이어, 보강 레이어에 따라서 그 픽처의 우선도를 출력하는 것이고, 도 15에 나타낸 바와 같이, 3개의 테이블(1551∼1553)과, 셀렉터(1554)와, 결정 처리부(1555)로 이루어진다. 또, 제2 IP 부호화 모드에 있어서의 P 픽처의 경우에는, 그 픽처 타입에 「기본」, 「참조될 가능성이 있음」 또는 「없음」을 나타내는 정보도 부가되어 있다. FIG. 15 is a block diagram showing the detailed functional configuration of the
테이블(1551)은 조작 접수부(1505)의 조작에 의해서 IPB 부호화 모드가 지정된 경우에 선택되어, 프레임 화상의 픽처 타입과 우선도를 대응시킨 테이블로서, I 픽처에서는 우선도가 「0」, P 픽처에서는 우선도가 「1」, B 픽처에서는 우선도가 「2」로 설정되어 있다. 또, 수치가 커짐에 따라서 우선도가 낮게 되도록 정해져 있다. The table 1551 is selected when the IPB coding mode is designated by the operation of the
테이블(1552)은 조작 접수부(1505)의 조작에 의해서 제1 IP 부호화 모드가 지정된 경우에 선택되어, 프레임 화상의 픽처 타입과 우선도를 대응시킨 테이블로서, I 픽처에서는 우선도가 「0」, P(참조될 가능성 있음) 픽처에서는 우선도가 「1」, P(참조될 가능성 없음) 픽처에서는 우선도가 「2」로 설정되어 있다.The table 1552 is selected when the first IP encoding mode is designated by the operation of the
테이블(1553)은 제2 IP 부호화 모드 I, P(기본, 참조 가능성 있음, 참조 가능성 없음) 부호화 모드가 지정된 경우에 선택되는 테이블로서, I 피크에서는 우선도가 「0」, P(기본) 피크에서는 우선도가 「1」, P(참조될 가능성 있음) 픽처에서는 우선도가 「2」, P(참조될 가능성 없음) 픽처에서는 우선도가「3」으로 설정되 어 있다. The table 1553 is a table selected when the second IP encoding modes I and P (basic, referencing, and no referencing) encoding modes are specified. The priority is "0" and the P (basic) peak at the I peak. The priority is set to "1", the priority is set to "2" in the P (possibly referenced) picture, and the priority is set to "3" in the P (non-referenced) picture.
셀렉터(1554)는 조작 접수부(1505)에 의해 지정된 부호화 모드(IPB 부호화 모드, 제1 IP 부호화 모드)에 기초하여, 테이블(1551∼1553)의 어느 하나를 선택한다. 결정 처리부(1555)는 셀렉터(1554)에 의해서 선택된 테이블을 참조하여, 전처리부(1510)로부터 출력된 픽처 타입 및 기본 레이어, 보강 레이어에 따른 우선도를 결정하고, 결정한 우선도를 출력한다. 구체적으로는 IPB 부호화 모드가 지정되어 있는 경우, 셀렉터(1554)는 테이블(1551)을 선택하고 있고, 결정 처리부(1555)는 전처리부(1510)로부터 픽처 타입이 출력될 때마다, I 픽처, P 픽처, B 픽처에 대응된 우선도를 출력한다. 또, 제1 IP 부호화 모드가 지정되어 있는 경우, 셀렉터(1554)는 테이블(1552)을 선택하고 있고, 결정 처리부(1555)는 픽처 타입과, P 픽처에 부가되어 있는 데이터(「가능성 있음」,「가능성 없음」)에 기초하여, 우선도를 출력한다. 또한, 제2 IP 부호화 모드가 지정되어 있는 경우, 셀렉터(1554)는 테이블(1553)을 선택하고 있고, 결정 처리부(1555)는 픽처 타입과, P 픽처 타입에 부가되어 있는 데이터(참조의 「기본」, 「가능성 있음」, 「가능성 없음」)에 기초하여, 우선도를 출력한다. The
도 16은 도 14에 나타낸 필터 처리 제어부(1560)의 상세한 기능 구성을 나타내는 블록도이다. 동일 도면에 나타낸 바와 같이, 필터 처리 제어부(1560)는 우선 순위 결정부(1550)로부터 출력된 우선도 및 CPU 가동률에 따라서 스위치(1531, 1532)를 ON/OFF 제어하는 것으로, 도 16에 나타낸 바와 같이, 3개의 테이블(1561∼1563)과, 셀렉터(1564)와, 스위치 전환 처리부(1565)로 이루어진다. 테이블(1561) 은 IPB 부호화 모드가 지정되는 경우에 선택되고, 필터 처리를 행하는 경우의 우선도와 CPU의 가동률의 조합을 나타내는 테이블로서, CPU의 가동률이 70% 미만에서는 우선도가 0∼2인 경우에 스위치 ON 하고, CPU의 가동률이 70% 이상 80% 미만에서는 우선도가 0과 1인 경우에만 스위치 ON 하며, CPU의 가동률이 80% 이상에서는 우선도가 0인 경우에만 스위치 ON 하도록 설정되어 있다. FIG. 16 is a block diagram showing a detailed functional configuration of the filter
테이블(1562)은 제1 IP 부호화 모드가 지정되는 경우에 선택되고, 필터 처리를 행하는 경우의 우선도와 CPU의 가동률의 조합을 나타내는 테이블로서, CPU의 가동률이 70% 미만에서는 우선도가 0∼2인 경우에 스위치 ON 하고, CPU의 가동률이 70% 이상 80% 미만에서는 우선도가 0과 1인 경우에만 스위치 ON 하며, CPU의 가동률이 80% 이상에서는 우선도가 0인 경우에만 스위치 ON 하도록 설정되어 있다.The table 1562 is selected when the first IP encoding mode is specified, and indicates a combination of the priority and the CPU operation rate when performing the filter process, and the priority is 0 to 2 when the CPU operation rate is less than 70%. Is set to ON when the CPU operation rate is 70% or more and less than 80%, and the switch is ON only when the priority is 0 and 1 when the CPU operation rate is 80% or more. It is.
테이블(1563)은 제2 IP 부호화 모드가 지정되는 경우에 선택되고, 필터 처리를 행하는 경우의 우선도와 CPU의 가동률의 조합을 나타내는 테이블로서, CPU의 가동률이 70% 미만에서는 우선도가 0∼3인 경우에 스위치 ON 하고, CPU의 가동률이 70% 이상 80% 미만에서는 우선도가 0과 1과 2인 경우에만 스위치 ON 하며, CPU의 가동률이 80% 이상에서는 우선도가 0과 1인 경우에만 스위치 ON 하도록 설정되어 있다. The table 1563 is selected when the second IP encoding mode is specified, and represents a combination of the priority and the CPU operation rate when performing the filter process, and the priority is 0 to 3 when the CPU operation rate is less than 70%. If the switch is ON, the priority is 0, 1, and 2 when the CPU utilization is over 70% and less than 80% .On when the priority is 0 and 1, the CPU is at 80% or more. The switch is set to ON.
셀렉터(1564)는 조작 접수부(1505)에 의해 지정된 부호화 모드(IPB 부호화 모드, 신 제1 IP 부호화 모드)에 기초하여, 테이블(1561∼1563)의 어느 하나를 선택한다. 스위치 전환 처리부(1565)는 셀렉터(1564)에 의해서 선택된 테이블을 참조하여, 우선 순위 결정부(1550)로부터 출력된 우선도 및 픽처마다 취득한 CPU 가동 률에 기초하여, 스위치 ON 혹은 OFF의 신호를 출력하고, 스위치부(1530)의 스위치(1531, 1532)를 ON/OFF 제어한다. The
구체적으로는, IPB 부호화 모드가 지정되어 있는 경우, 셀렉터(1564)는 테이블(1561)을 선택하고 있고, 스위치 전환 처리부(1565)는 CPU 가동률이 70% 미만인 경우, I 픽처, P 픽처, B 픽처의 모두에 대해서 스위치 ON의 신호를 출력한다. 또, CPU 가동률이 70% 이상이고 80% 미만인 경우, 스위치 전환 처리부(1565)는 I 픽처와, P 픽처의 경우에만, 스위치 ON의 신호를 출력한다. 또, CPU 가동률이 80% 이상인 경우, 스위치 전환 처리부(1565)는 I 픽처의 경우에만 스위치 ON의 신호를 출력한다. Specifically, when the IPB coding mode is specified, the
또, 제1 IP 부호화 모드가 지정되어 있는 경우, 셀렉터(1564)는 테이블(1562)을 선택하고, 스위치 전환 처리부(1565)는 CPU 가동률이 70% 미만인 경우, I 픽처, P 픽처(가능성 있음), P 픽처(가능성 없음)의 모두에 대해서 스위치 ON의 신호를 출력한다. 또, CPU 가동률이 70% 이상이고 80% 미만인 경우, 스위치 전환 처리부(1565)는 I 픽처와, P 픽처(가능성 있음)의 경우에만, 스위치 ON의 신호를 출력한다. 또, CPU 가동률이 80% 이상인 경우, 스위치 전환 처리부(1565)는 I 픽처의 경우에만, 스위치 ON의 신호를 출력한다. In addition, when the first IP encoding mode is specified, the
또한, 제2 IP 부호화 모드가 지정되어 있는 경우, 셀렉터(1564)는 테이블(1563)을 선택하고 있고, 스위치 전환 처리부(1565)는, I 픽처, P 픽처(기본), P 픽처(가능성 있음), P 픽처(가능성 없음)의 모두에 대해서 스위치 ON의 신호를 출력한다. 또, CPU 가동률이 70% 이상이고 80% 미만인 경우, 스위치 전환 처리 부(1565)는 I 픽처와, P 픽처(기본)와, P 픽처(가능성 있음)의 경우에만, 스위치 ON의 신호를 출력한다. 또, CPU 가동률이 80% 이상인 경우, 스위치 전환 처리부(1565)는 I 픽처와, P 픽처(기본)의 경우에만, 스위치 ON의 신호를 출력한다. In addition, when the second IP encoding mode is specified, the
다음에, 이와 같이 구성된 화상 부호화 장치(1500)의 동작을 설명한다. Next, the operation of the
프레임 화상을 I 픽처로서 부호화하는 화면 내 부호화 모드 시에는, 전처리부(1510)로부터 출력된 프레임 화상은, 직교 변환부(1513)에 의한 직교 변환에 의해서 주파수 성분에 압축 부호화되어, 양자화부(1514)에 의한 양자화에 의하여 양자화 값에 압축 부호화된다. 이 양자화 값은 가변 길이 부호화부(1517)에 의한 가변 길이 부호화에 의해서 가변 길이에 압축 부호화되고, 후처리부(1520)에 의해서 I 픽처의 비트 스트림의 부호화 신호로 변환되어, 하드디스크 등의 기억 매체에 저장된다. In the intra-picture encoding mode in which the frame image is encoded as an I picture, the frame image output from the
한편, 양자화부(1514)로부터 출력된 양자화 값은 역 양자화부(1521)에 의한 역 직교 변환에 의해서 주파수 성분으로 복호화되고, 역 직교 변환부(1522)에 의한 역 직교 변환에 의해서 프레임 화상으로 복호화된다. 이 복호화된 프레임 화상(복호화 화상)은 필터 처리 제어부(1560)의 제어에 의해 스위치(1531, 1532)가 ON 되어 있는 경우에는 화소간 필터(1540)에 의해서 블록 왜곡을 제거하는 필터 처리가 행해진 후, 화상 메모리(1541)에 저장되고, 스위치(1531, 1532)가 OFF 되어 있는 경우에는 필터 처리가 행해지지 않고 화상 메모리(1541)에 저장된다. On the other hand, the quantization value output from the
또, 프레임 화상을 P 픽처 및 B 픽처로서 부호화하는 화면간 부호화 모드 시에는, 움직임 검출부(1542)에 의해서 움직임 벡터가 생성되고, 움직임 보상 부(1543)에 의해서 움직임 보상 화상(예측 화상)이 생성되며, 감산부(1512)에 의해서 움직임 보상 오차(차분 화상)가 생성된다. 또, 움직임 검출부(1542)는 화상 메모리(1541)에 저장되어 있는 복호화 화상 중에서 전처리부(1510)로부터 출력된 프레임 화상과 차분이 가장 작은 예측 화상을, 전방 또는 후방의 하나 또는 다수의 참조 화상으로부터 탐색한다. In the inter picture encoding mode in which a frame image is encoded as a P picture and a B picture, a motion vector is generated by the
도 17은 화상 메모리(1541)에 저장되어 있는 프레임 화상의 참조 관계를 나타내는 도면이다. 특히, 도 17(a)은 IPB 방식의 경우의 예측에서의 참조 화상을 나타내는 도면이고, 도 17(b)은 제1 IP 방식의 경우의 예측에서의 참조 화상을 나타내는 도면이며, 도 17(c)은 제2 IP 방식의 경우의 예측에서의 참조 화상을 나타내는 도면이다. 또, 각 방식의 각 픽처의 아래 란에 그 픽처에 대응된 우선 순위(우선도)가 표시되어 있다. 17 is a diagram showing a reference relationship between frame images stored in the
도 17(a)의 IPB 방식의 경우에 있어서의 P 픽처의 예측에서는, 전방의 I 픽처 및 P 픽처를 참조할 수 있다. B 픽처의 예측에서는, 전방의 I 픽처 또는 P 픽처를 참조할 수 있는 동시에, 후방에서 시간적으로 가장 가까운 I 픽처 또는 P 픽처를 하나 참조할 수 있다. In the case of the prediction of the P picture in the case of the IPB scheme of FIG. 17A, the front I picture and the P picture can be referred to. In the prediction of a B picture, it is possible to refer to an I picture or a P picture in front, and at the same time, refer to one I picture or P picture that is closest in time to the back.
또, H.26L의 B 픽처의 예측에서는, I 픽처, P 픽처에 더하여, B 픽처를 전방 화상으로서 참조할 수도 있도록 되어 있다. 이 B 픽처를 참조 화상으로서 이용하는 모드의 경우에는, B 픽처의 프레임 화상에 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가되는 동시에, 픽처 타입에 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가된다. 그리고, 이 모드에서, 참조 가능성이 있는 정보가 부가된 B 픽처 의 복호화 화상은 반드시 화상 메모리(1541)에 저장되고, 참조 가능성이 없는 정보가 부가된 B 픽처의 복호화 화상은 화상 메모리(1541)에 저장될 필요는 없다. In addition, in the prediction of the B picture of H.26L, in addition to the I picture and the P picture, the B picture can also be referred to as a front picture. In the mode of using this B picture as a reference picture, information of "Possibility" or "Possibility" is added to the frame picture of the B picture, and "Possibility" or "No possibility" information is added to the picture type. Is added. In this mode, the decoded picture of the B picture to which the referenceable information is added is always stored in the
도 17(b)의 제1 IP 방식의 경우의 P(참조 가능성 있음) 픽처의 예측에서는, 전방의 I 픽처 및 P(참조 가능성 있음) 픽처를 참조할 수 있다. P(참조 가능성 없음) 픽처의 예측에서는, 전방의 I 픽처 또는 P(참조 가능성 있음) 픽처를 참조할 수 있다. In the prediction of the P (with reference possibility) picture in the case of the first IP scheme of FIG. 17B, a forward I picture and a P (with reference possibility) picture can be referred to. In the prediction of a P (no reference possibility) picture, a forward I picture or a P (with reference possibility) picture can be referenced.
도 17(c)의 제2 IP 방식의 경우에 있어서의 P(기본) 픽처의 예측에서는, 전방의 I 픽처 및 P(기본) 픽처를 참조할 수 있다. P(참조 가능성 있음) 픽처의 예측에서는, 전방의 I 픽처 및 P(기본) 픽처를 참조할 수 있다. P(참조 가능성 없음)픽처의 예측에서는, 전방의 I 픽처, P(기본) 픽처 또는 P(참조 가능성 있음) 픽처를 다수 참조할 수 있다. 또, 설명의 편의상, IPB 부호화 모드가 지정되어 있는 경우에 대해서 설명한다. In the case of the prediction of the P (basic) picture in the case of the second IP scheme in FIG. 17 (c), the forward I picture and the P (basic) picture can be referred to. In the prediction of a P (possible referencing) picture, a forward I picture and a P (basic) picture may be referred to. In the prediction of a P (no reference possibility) picture, a plurality of forward I pictures, P (base) pictures, or P (with reference possibility) pictures can be referred to. For convenience of explanation, the case where the IPB coding mode is designated will be described.
이러한 제한 하에, 움직임 검출부(1542)는 조사한 참조 화상과 전처리부(1510)로부터 출력된 프레임 화상과의 차분 화소의 움직임 양을 움직임 벡터로서 출력하는 동시에, 참조하는 화상이 전방 화상인지, 후방 화상인지, 쌍방향 화상의 평균치인지를 나타내는 블록 예측 타입을 출력한다. 또, 움직임 보상부(1543)는 움직임 검출부(1542)로부터 출력된 움직임 벡터와, 블록 예측 타입으로 나타낸 연산을 차분 화소에 대해서 행하여, 움직임 보상 화상을 생성한다. 그리고, 감산부(1512)는 전처리부(1510)로부터 출력된 프레임 화상과 움직임 보상부(1543)에 의해서 생성된 움직임 보상 화상을 감산함으로써, 움직임 보상 오차(차분 화상)를 생 성한다. Under these limitations, the
감산부(1512)로부터 출력된 움직임 보상 오차(차분 화상)는 직교 변환부(1513)에 의한 직교 변환에 의해서 주파수 성분으로 압축 부호화되고, 양자화부(1514)에 의한 양자화에 의해서 양자화 값으로 압축 부호화된다. 이 양자화 값은 가변 길이 부호화부(1517)에 의한 가변 길이 부호화에 의해서 가변 길이로 압축 부호화되고, 후처리부(1520)에 의해서 움직임 벡터 등과 함께 P 픽처 또는 B 픽처의 비트 스트림의 부호화 신호로 변환되어, 하드디스크 등의 기억 매체에 저장된다. The motion compensation error (differential image) output from the
한편, 양자화부(1514)로부터 출력된 참조 가능성을 갖는 P 픽처 또는 B 픽처의 양자화 값은 역 양자화부(1521)에 의한 역 직교 변환에 의해서 주파수 성분으로 복호화되고, 역 직교 변환부(1522)에 의한 역 직교 변환에 의해서 움직임 보상 오차(차분 화상)로 복호화된다. 그리고, 가산부(1524)에 의해서 움직임 보상 오차(차분 화상)와 움직임 보상 화상을 가산함으로써, 프레임 화상으로 복호화된다. 이 복호화된 프레임 화상(복호화 화상)은 필터 처리 제어부(1560)의 제어에 의해 스위치(1531, 1532)가 ON 되어 있는 경우에는 화소간 필터(1540)에 의해서 블록 왜곡을 제거하는 필터 처리가 행해진 뒤, 화상 메모리(1541)에 저장되고, 스위치(1531, 1532)가 OFF 되어 있는 경우에는 필터 처리가 행해지지 않고 화상 메모리(1541)에 저장된다. On the other hand, the quantization value of the P picture or the B picture having the reference possibility output from the
여기서, 필터 처리 제어부(1560)에 의한 스위치(1531, 1532)의 ON/OFF 제어를 보다 상세히 설명한다. Here, the ON / OFF control of the
도 18은 필터 처리 제어부(1560)의 스위치 전환 처리부(1565)가 실행하는 스 위치 구동 처리를 나타내는 흐름도이다. 18 is a flowchart showing a switch driving process executed by the switch switching
그런데, 우선 순위 결정부(1550)의 결정 처리부(1555)는 셀렉터(1554)에 의해서 선택된 테이블(1551)을 참조하여, 전처리부(1510)로부터 출력된 픽처마다 픽처 타입에 따른 우선도를 결정하고, 결정한 우선도를 출력하고 있다. 구체적으로는, IPB 부호화 모드가 지정되어 있는 경우, 셀렉터(1554)는 테이블(1551)을 선택하고 있고, 결정 처리부(1555)는 전처리부(1510)로부터 픽처 타입이 출력될 때마다, I 픽처의 경우에는 우선도 「0」을, P 픽처의 경우에는 「1」을, B 픽처의 경우에는 우선도 「2」를 출력한다. However, the
필터 처리 제어부(1560)의 스위치 전환 처리부(1565)는 픽처의 부호화마다 그 픽처의 우선도와, 이 화상 부호화 장치(1500)가 구비하는 CPU의 가동률을 취득하고(S21), 테이블(도 16의 예에서는, 테이블(1561))의 참조하는 엔트리를 결정한다(S22). The switch
구체적으로는, CPU 가동률이 70% 미만이면, 참조하는 엔트리를 첫째 줄로 결정하고, CPU 가동률이 70% 이상이고 80% 미만이면, 참조하는 엔트리를 두 번째 줄로 결정하며, CPU 가동률이 80% 이상이면, 참조하는 엔트리를 세 번째 줄로 결정한다. Specifically, if CPU utilization is less than 70%, the entry to be referenced is determined as the first line; if CPU utilization is above 70% and less than 80%, the entry to be referenced is determined as the second line; if CPU utilization is above 80% On the third line, the entry to be referenced is determined.
참조하는 엔트리의 결정이 끝나면, 스위치 전환 처리부(1565)는 그 엔트리의 오른쪽 난을 읽어 내고(S23), 복호화 화상의 픽처 타입에 설정된 우선도가 오른쪽 란에 있는지의 여부를 판단한다(S24). 오른쪽 란에 있으면(S24에서 Yes), 스위치 전환 처리부(1565)는 스위치 온의 신호를 스위치(1531, 1532)에 출력한다(S25). 이 것에 의해 복호화 화상에 필터 처리가 행해지고, 필터 처리가 행해진 복호화 화상이 화상 메모리(1541)에 저장된다. After determining the entry to be referred, the switch switching
이것에 대해서, 오른쪽 란에 없으면(S24에서 No), 스위치 전환 처리부(1565)는 스위치 오프 신호를 스위치(1531, 1532)에 출력한다(S26). 이것에 의해 복호화 화상에 대한 필터 처리가 생략되고, 필터 처리를 행하지 않고 복호화 화상이 화상 메모리(1541)에 저장된다. On the other hand, if it is not in the right column (No in S24), the switch switching
이러한 제어가 픽처마다 행해지고, 필터 처리가 행해진 복호화 화상이나 필터 처리가 행해지지 않은 복호화 화상이 순차적으로 화상 메모리(1541)에 저장된다. 따라서, 화상 부호화에서, 항상, 노이즈 제거 등의 화소간 필터를 설치하는 것이 아니라, 필요에 따라서, 선택적으로 화소간 필터를 설치할 수 있기 때문에, 예를 들면, 화질에 크게 영향을 주는 프레임 화상에만 대해서 화소간 필터를 설치함으로써, 처리 능력이 작은 화상 부호화 장치에서도 화상 메모리에 저장되는 중요한 프레임의 화질을 유지하여, 화상 메모리에 저장된 복호화 화상에 블록 왜곡이 축적되는 것이 적어지고, 움직임 보상부에 의한 예측 효율이 향상되어, MPEG의 기술보다 화질열화를 감소시킬 수 있으며, 저 비트 레이트로 높은 화질 개선 효과를 얻을 수 있다. Such control is performed for each picture, and the decoded image subjected to the filter process or the decoded image not subjected to the filter process is sequentially stored in the
즉, 다른 프레임 화상에 대해서 큰 영향도를 갖는 프레임 화상, 요컨대, 화면 내 부호화 프레임 화상, 전방향 예측 부호화 프레임 화상, 기본 레이어의 프레임 화상 등에 대해서 우선적으로 화소간 필터가 행해지기 때문에, 동일 처리 부하의 증대에 대해서, 보다 유효하게 화소간 필터에 의한 노이즈 제거 등의 화질 개선 효과를 얻을 수 있다. In other words, the inter pixel filter is preferentially performed on a frame image having a large degree of influence on another frame image, that is, an intra coded frame image, an omnidirectional predictive encoded frame image, a frame image of a base layer, and the like. With respect to the increase of, the image quality improvement effect such as noise removal by the inter pixel filter can be obtained more effectively.
또한, 화상 부호화 장치의 처리 능력이 충분히 발휘되도록, 필터 처리의 ON/OFF를 제어할 수 있기 때문에, 높은 효율로 CPU가 사용됨으로써, 동일 하드웨어 자원에서도, 고화질의 부호화가 실현된다. In addition, since the ON / OFF of the filter processing can be controlled so that the processing capability of the image coding apparatus is sufficiently exhibited, high quality coding is realized even in the same hardware resource by using the CPU with high efficiency.
(실시형태 4) (Embodiment 4)
다음에, 본 발명의 실시형태에 관한 화상 복호화 장치에 대해서 설명한다. 도 19는 본 발명의 실시형태 4에 관한 화상 복호화 장치(1600)의 기능 구성을 나타내는 블록도이다. Next, a picture decoding apparatus according to an embodiment of the present invention will be described. 19 is a block diagram showing a functional configuration of an
이 화상 복호화 장치(1600)는, 도 14에 나타낸 화상 부호화 장치(1500)에서 부호화된 부호화 신호를 복호화하는 것으로서, CPU, 메모리, 화상 복호화를 위한 프로그램을 설치한 하드디스크(HD) 등을 구비하는 컴퓨터 장치에 의해 실현되고, 그 기능으로서, 전처리부(1610)와, 가변 길이 복호화부(1617)와, 역 양자화부(1621)와, 역 직교 변환부(1622)와, 가산부(1624)와, 스위치부(1630)와, 화소간 필터(1640)와, 후처리부(1670)와, 화상 메모리(1641)와, 움직임 보상부(1643)와, 우선 순위 결정부(1650)와, 필터 처리 제어부(1660)로 이루어진다. The
전처리부(1610)는 부호화 신호를 일시적으로 저장하는 버퍼 등을 구비하고, 부호화 신호에 포함되는 픽처 타입, 움직임 벡터, 화상 자체의 부호화 신호를 분리하여 출력한다. 또, 화상의 부호화 신호가 제1 IP 부호화 모드인 경우에는, 프레임 화상에 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가되는 동시에, 픽처 타입에 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가된다. 또, 제2 IP 부호 화 모드의 경우에는, 프레임 화상에 「기본」, 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가되는 동시에, 픽처 타입에 「기본」, 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가된다. The
가변 길이 복호화부(1617)는 전처리부(1610)로부터 출력된 부호화 신호에 대해서 복호화(허프만 복호화)함으로써, 고정 길이의 양자화 값을 출력한다. 역 양자화부(1621)는 가변 길이 복호화부(1617)로부터 출력된 양자화 값을 역 양자화함으로써 주파수 성분을 복호화한다. 역 직교 변환부(1622)는 역 양자화부(1621)에 의해서 복호화된 주파수 성분을 역 직교 교환함으로써, 화면 내 부호화 모드 시에는 프레임 화상을, 화면간 부호화 모드 시에는 화소의 차분 값인 움직임 보상 오차(잔여 차분 화상)를 복호화한다.The variable
가산부(1624)는 화면 내 부호화 모드 시에는 역 직교 변환부(1622)에 의해서 복호화된 프레임 화상(복호화 화상)을 그대로 출력하고, 화면간 부호화 모드 시에는 역 직교 변환부(1622)에 의해서 복호화된 움직임 보상 오차(잔여 차분 화상)와 움직임 보상부(1643)에 의해서 생성된 움직임 보상 화상을 가산함으로써 프레임 화상을 복호화한다. 스위치부(1630)는 필터 처리 제어부(1660)에 의한 픽처마다의 스위치 ON/OFF 제어에 의해 스위칭 양태를 동기하여 전환하는 한 쌍의 스위치(1631, 1632)로 이루어지고, 화소간 필터(1640)를 루프 내에 집어넣거나, 루프로부터 빼내거나, 즉, 화소간 필터(1640)에 의한 처리를 생략하거나 한다.The
화소간 필터(1640)는 스위치(1631, 1632)의 ON 시에, 가산부(1624)로부터 출력된 복호화 화상에 대해서 블록 단위로 공간적인 저역 통과 필터 처리를 행하여, 블록 왜곡 등이 없는 복호화 화상을 생성한다. 예를 들면, 어떤 화소와 그 주위의 화소와 평균치를 산출하여, 어떤 화소와 주위의 화소의 차가 소정의 범위 내이면, 그 어떤 화소를 산출한 평균치로 치환하는 처리를 블록 경계 부근의 화소에 대해서 하나씩 실행한다. The
후처리부(1670)는 소정의 공간 해상도로 포맷 변환하는 포맷 변환부와, 픽처 타입에 맞추어 교체 나열된 화면을 원래의 순서로 되돌리는 화면 순서 복귀부 등을 구비하여, 복호화 화상을 모니터 등에 출력한다. 화상 메모리(1641)는 스위치부(1630)로부터 출력된 참조 가능성을 갖는 복호화 화상을 다수 프레임분 기억한다. 움직임 보상부(1643)는 전처리부(1610)로부터 출력된 움직임 벡터 및 블록 예측 타입으로 나타낸 연산을 화상 메모리(1641)에 저장되어 있는 복호화 화상에 대해서 행하여, 움직임 보상 화상을 생성한다. 우선 순위 결정부(1650)는 도 15에 나타낸 우선 순위 결정부(1550)와 동일 구성으로서, 전처리부(1610)로부터 출력된 픽처 타입이나, 기본 레이어, 보강 레이어에 따라서 그 픽처의 우선도를 출력한다. 필터 처리 제어부(1660)는 도 16에 나타낸 필터 처리 제어부(1560)와 동일 구성으로서, 우선 순위 결정부(1650)로부터 출력된 우선도 및 감시에 의해서 얻어진 CPU 가동률에 따라서 스위치부(1630)의 스위치(1631, 1632)를 ON/OFF 제어한다. The
다음에, 이와 같이 구성된 화상 복호화 장치(1600)의 동작을 설명한다. 또, 화상 부호화 장치(1500)와 함께 설명하는 편의상, IPB 부호화 모드가 지정되어 있는 경우에 대해서 설명한다.Next, the operation of the
I 픽처의 부호화 신호를 프레임 화상으로 복호화하는 화면 내 부호화 모드 시에는, 전처리부(1610)로부터 출력된 부호화 신호는, 가변 길이 복호화부(1617)에 의해서 가변 길이 복호화되어 양자화 값으로 복호화되고, 역 양자화부(1621)에 의한 역 직교 변환에 의해서 주파수 성분으로 신장 복호화되며, 역 직교 변환부(1622)에 의한 역 직교 변환에 의해서 프레임 화상(복호화 화상)으로 복호화된다. 이 복호화된 프레임 화상(복호화 화상)은 필터 처리 제어부(1660)의 제어에 의해 스위치(1631, 1632)가 ON 되어 있는 경우에는 화소간 필터(1640)에 의해서 블록 왜곡을 제거하는 필터 처리가 행해진 뒤, 화상 메모리(1641)에 저장되는 동시에, 후처리부(1670)에 있어서 화상의 순서가 원래대로 되돌아가거나, 포맷 변환되어, 모니터 등에 출력된다. 이것에 대해서, 스위치(1631, 1632)가 OFF 되어 있는 경우에는, 복호화 화상은 필터 처리가 행해지지 않고 화상 메모리(1641)에 저장되는 동시에, 후처리부(1670)에 있어서 화상의 순서가 원래대로 되돌아가거나, 포맷 변환되어, 모니터 등에 출력된다.In the intra picture encoding mode in which the encoded signal of the I picture is decoded into a frame image, the encoded signal output from the
또한, P 픽처 및 B 픽처의 부호화 신호를 프레임 화상으로 복호화하는 화면간 부호화 모드 시에는, 전처리부(1610)로부터 출력된 부호화 신호는 가변 길이 복호화부(1617)에 의해서 가변 길이 복호화되어 양자화 값으로 복호화되고, 역 양자화부(1621)에 의한 역 직교 변환에 의해서 주파수 성분으로 신장 복호화되며, 역 직교 변환부(1622)에 의한 역 직교 변환에 의해서 움직임 보상 오차(차분 화상)로 복호화된다.In the inter picture encoding mode in which the coded signals of the P picture and the B picture are decoded into the frame image, the coded signal output from the
한편, 움직임 보상부(1643)에 의해서 움직임 보상 화상(예측 화상)이 생성된다. 또, 움직임 보상부(1643)는 전처리부(1610)로부터 출력된 움직임 벡터와, 블록 예측 타입으로 나타낸 연산을 화상 메모리(1641)로부터 독출한 참조 화상의 차분 화소에 대해서 행하여 움직임 보상 화상을 생성한다. On the other hand, the
그리고, 가산부(1624)에 의해서, 움직임 보상 오차(차분 화상)와 움직임 보상 화상을 가산함으로써, 프레임 화상으로 복호화 된다. 이 복호화된 프레임 화상(복호화 화상)은, 필터 처리 제어부(1660)의 제어에 의해 스위치(1631, 1632)가 ON되어 있는 경우에는 화소간 필터(1640)에 의해서 블록 왜곡을 제거하는 필터 처리가 행해진 뒤, 후처리부(1670)에서 화상의 순서가 원래대로 되돌아가거나, 포맷 변환되어, 모니터 등에 출력되는 동시에, 참조 가능성을 갖는 복호화 화상은 화상 메모리(1641)에 저장된다. 이에 반해 스위치(1631, 1632)가 OFF 되어 있는 경우에는 필터 처리가 행해지지 않고, 후처리부(1670)에서 화상의 순서가 원래대로 되돌아가거나, 포맷 변환되어, 모니터 등에 출력되는 동시에, 참조 가능성을 갖는 복호화 화상은, 화상 메모리(1641)에 저장된다. 여기서, 화상 부호화 장치(1500)의 스위치(1531, 1532)의 경우와 동일하게, 스위치(1631, 1632)는 필터 처리 제어부(1660)에 의해 ON/OFF 제어되어 있다.Then, the
즉, 필터 처리 제어부(1660)의 스위치 전환 처리부는, 픽처의 부호화마다 그 픽처의 우선도와, 이 화상 복호화 장치(1600)가 구비하는 CPU의 가동률을 취득하고, IPB 부호화 모드용의 테이블의 참조하는 엔트리를 결정하여, 그 엔트리의 오른쪽 난을 읽어, 복호화 화상의 픽처 타입으로 설정된 우선도가 오른쪽 란에 있는지의 여부를 판단한다. 오른쪽 란에 있으면, 필터 처리 제어부(1660)의 스위치 전환 처리부는 스위치 온의 신호를 스위치(1631, 1632)에 출력한다. 이것에 의해서, 복 호화 화상에 필터 처리가 행해지고, 필터 처리가 행해진 복호화 화상이 화상 메모리(1641)에 저장된다. 이에 반해, 오른쪽 란에 없으면, 필터 처리 제어부(1660)의 스위치 전환 처리부는 스위치 오프 신호를 스위치(1631, 1632)에 출력한다. 이것에 의해서, 복호화 화상에 대한 필터 처리가 생략되어, 필터 처리를 행하지 않고 복호화 화상이 화상 메모리(1641)에 저장된다.That is, the switch switching processing unit of the filter
이러한 제어가 픽처마다 행해지고, 필터 처리가 행해진 복호화 화상이나 필터 처리가 행해지지 않은 복호화 화상이 순차적으로 화상 메모리(1641)에 저장된다. Such control is performed for each picture, and the decoded image subjected to the filter process or the decoded image not subjected to the filter process is sequentially stored in the
따라서, 화상 복호화에 있어서, 항상, 노이즈 제거 등의 화소간 필터를 설치하는 것이 아니라, 필요에 따라서, 선택적으로 화소간 필터를 설치할 수 있기 때문에, 예를 들면, 화질에 크게 영향을 주는 프레임 화상만큼에 대해서 화소간 필터를 설치함으로써, 처리 능력이 작은 화상 복호화 장치에서도 화상 메모리에 저장되는 중요한 프레임의 화질을 유지하여, 화상 메모리에 저장된 복호화 화상에 블록 왜곡이 축적되는 경우가 적어져서, 움직임 보상부에 의한 예측 효율이 향상되고, MPEG의 기술보다 화질 열화를 감소시킬 수 있어서, 저 비트 레이트로 높은 화질 개선 효과를 얻을 수 있다. Therefore, in image decoding, instead of providing an inter-pixel filter such as noise removal at all times, an inter-pixel filter can be selectively provided as necessary, so that, for example, only a frame image which greatly affects image quality. By providing the inter pixel filter with respect to the image processing apparatus, even in an image decoding apparatus having a small processing capacity, the image quality of an important frame stored in the image memory is maintained, and the block distortion is less accumulated in the decoded image stored in the image memory. The prediction efficiency is improved, and the image quality deterioration can be reduced compared to the technique of MPEG, so that a high image quality improvement effect can be obtained at a low bit rate.
즉, 다른 프레임 화상에 대해서 큰 영향도를 갖는 프레임 화상, 요컨대, 화면 내 부호화 프레임 화상, 전방향 예측 부호화 프레임 화상, 베이스·레이어 프레임 화상 등에 대해서 우선적으로 화소간 필터가 행해지기 때문에, 동일 처리 부하의 증대에 대해 보다 유효하게 화소간 필터에 의한 노이즈 제거 등의 화질 개선 효 과를 얻을 수 있다. That is, the inter pixel filter is preferentially performed on a frame image having a large degree of influence on another frame image, that is, an intra-coded frame image, an omnidirectional predictive encoded frame image, a base layer frame image, or the like. The effect of improving image quality such as noise removal by the inter pixel filter can be obtained more effectively.
또, 화상 복호화 장치의 처리 능력이 충분히 발휘되도록, 필터 처리의 ON/OFF를 제어할 수 있기 때문에, 높은 효율로 CPU가 사용되게 되어, 동일 하드웨어 자원에서도, 고화질의 복호화가 실현된다. In addition, since the ON / OFF of the filter processing can be controlled so that the processing capability of the image decoding apparatus is sufficiently exhibited, the CPU is used with high efficiency, and high quality decoding is realized even with the same hardware resource.
또, 본 발명은 이러한 화상 부호화 장치나 화상 복호화 장치로서 실현할 수 있을 뿐만 아니라, 이들의 장치가 구비하는 특징적인 수단을 단계로 하는 화상 부호화 방법이나 화상 복호화 방법으로서 실현하거나, 그것들의 단계를 컴퓨터에 실행시키는 프로그램으로서 실현할 수도 있다. 그리고, 그 프로그램은 CD-ROM 등의 기록 매체나 인터넷 등의 전송 매체를 통해서 유통시킬 수 있는 것은 말할 필요도 없다. In addition, the present invention can be realized as such an image encoding apparatus or an image decoding apparatus, and can be realized as an image encoding method or an image decoding method using the characteristic means included in these apparatuses as steps, or those steps can be implemented in a computer. It can also be realized as a program to be executed. It goes without saying that the program can be distributed through a recording medium such as a CD-ROM or a transmission medium such as the Internet.
(실시형태 5) (Embodiment 5)
또한, 상기 각 실시형태에서 도시한 화상 부호화 방법 또는 화상 복호화 방법의 구성을 실현하기 위한 프로그램을 플렉시블 디스크 등의 기억 매체에 기록함으로써, 상기 각 실시형태에서 나타낸 처리를 독립한 컴퓨터 시스템에서 간단히 실시하는 것이 가능해진다. Furthermore, by recording a program for realizing the configuration of the picture coding method or the picture decoding method shown in each of the above embodiments on a storage medium such as a flexible disk, the processing shown in the above embodiments can be easily performed by an independent computer system. It becomes possible.
도 20은 상기 실시형태 1 내지 실시형태 2의 화상 부호화 방법 또는 화상 복호화 방법을 저장한 플렉시블 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다. 20 is an explanatory diagram in the case of performing by a computer system using a flexible disk which stores the image coding method or the image decoding method of the first to second embodiments.
도 20(b)은 플렉시블 디스크의 정면에서 본 외관, 단면 구조 및 플렉시블 디스크를 도시하고, 도 20(a)은 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예 를 도시하고 있다. 플렉시블 디스크(FD)는 케이스 내에 저장되고, 이 디스크의 표면에는 동심원 형상으로 외주로부터는 내주를 향해서 다수의 트랙(Tr)이 형성되고, 각 트랙은 각도 방향으로 16의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플렉시블 디스크에서는, 상기 플렉시블 디스크(FD) 상에 할당된 영역에, 상기 프로그램으로서의 화상 부호화 방법이 기록되어 있다. Fig. 20 (b) shows an external appearance, a cross-sectional structure and a flexible disk as seen from the front of the flexible disk, and Fig. 20 (a) shows an example of the physical format of the flexible disk as the main body of the recording medium. The flexible disk FD is stored in a case, and on the surface of the disk, a plurality of tracks Tr are formed concentrically from the outer circumference toward the inner circumference, and each track is divided into 16 sectors Se in the angular direction. have. Therefore, in the flexible disk which stored the said program, the image coding method as the said program is recorded in the area | region allocated on the said flexible disk FD.
또, 도 20(c)은 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한다. 상기 프로그램을 플렉시블 디스크(FD)에 기록하는 경우에는, 컴퓨터 시스템(Cs)으로부터 상기 프로그램으로서의 화상 부호화 방법 또는 화상 복호화 방법을 플렉시블 디스크 드라이브를 통해서 기입한다. 또, 플렉시블 디스크 내의 프로그램에 의해 상기 화상 부호화 방법을 컴퓨터 시스템 중에 구축하는 경우에는, 플렉시블 디스크 드라이브에 의해 프로그램을 플렉시블 디스크로부터 읽어 컴퓨터 시스템에 전송한다. 20C shows a configuration for recording and reproducing the program on the flexible disk FD. When the program is recorded on the flexible disk FD, the image coding method or the image decoding method as the program is written from the computer system Cs via the flexible disk drive. When the image coding method is built in the computer system by the program in the flexible disk, the program is read from the flexible disk by the flexible disk drive and transferred to the computer system.
또한, 상기 설명에서는, 기록 매체로서 플렉시블 디스크를 이용하여 설명을 행하였지만, 광 디스크를 이용해도 동일하게 행할 수 있다. 또, 기록 매체는 이것에 한정되지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다. In the above description, the description has been made using a flexible disk as a recording medium, but the same can be done using an optical disk. The recording medium is not limited to this, and any recording medium such as an IC card, a ROM cassette, or the like can be implemented.
도 21 내지 도 24는 상기 실시형태에서 나타낸 부호화 처리 또는 복호화 처리를 행하는 기기 및 이 기기를 이용한 시스템을 설명하는 도면이다. 21 to 24 are diagrams illustrating a device that performs the encoding process or the decoding process shown in the above embodiment, and a system using the device.
도 21은 콘텐츠 배포 서비스를 실현하는 콘텐츠 공급 시스템(ex100)의 전체 구성을 나타내는 블록도이다. 통신 서비스의 제공 영역을 원하는 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다. 이 콘텐츠 공급 시스템(ex200)은 예를 들면, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104)을 통해서 컴퓨터(ex11), PDA(persona1 digital assistant)(ex112), 카메라(ex113), 휴대 전화(ex114)가 접속된다. 그러나, 콘텐츠 공급 시스템(ex100)은 도 21과 같은 조합으로 한정되지 않고, 어느 하나를 조합하여 접속하도록 해도 좋다. 또, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고, 전화망(ex104)에 직접 접속되어도 좋다. 21 is a block diagram showing the overall configuration of a content supply system ex100 for realizing a content distribution service. The area for providing communication service is divided into cells of desired size, and base stations ex107 to ex110 which are fixed wireless stations are provided in respective cells. The content supply system ex200 is, for example, a computer ex11, a PDA (persona1 digital assistant) ex112, and a camera ex113 via the Internet service provider ex102 and the telephone network ex104 on the internet ex101. The cellular phone ex114 is connected. However, the content supply system ex100 is not limited to the combination as shown in Fig. 21 and may be connected to a combination of any of them. It is also possible to connect directly to the telephone network ex104 without passing through the base stations ex107 to ex110 which are fixed wireless stations.
카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또, 휴대 전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 또는 GSM(Global System for Mobile Communications) 방식의 휴대 전화기, 또는 PHS(Personal Handyphone System) 등이고, 어느 것이라도 상관없다.The camera ex113 is a device capable of shooting video such as a digital video camera. The mobile telephone may be a mobile telephone of a personal digital communications (PDC) system, a code division multiple access (CDMA) system, a wideband-code division multiple access (W-CDMA) system, a global system for mobile communications (GSM) system, Or PHS (Personal Handyphone System) or the like.
또한, 스트리밍 서버(ex103)는 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해서 접속되어 있고, 카메라(ex113)를 이용하여 사용자가 송신하는 부호화 처리된 데이터에 기초한 라이브 배송 등이 가능하게 된다. 촬영한 데이터의 부호화 처리는 카메라(ex113)로 행해도, 데이터의 송신 처리를 하는 서버 등으로 행해도 좋다. 또, 카메라(ex116)로 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해서 스트리밍 서버(ex103)에 송신되어도 좋다. 카메라(ex116)는 디지털 카메라 등의 정지화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카 메라(ex116)로 행해도 되고 컴퓨터(ex111)로 행해도 된다. 또, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또, 화상 부호화·복호화용 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 기록 매체인 어느 축적 미디어(CD-ROM, 플렉시블 디스크, 하드디스크 등)에 장착해도 좋다. 또한, 카메라가 장착된 휴대 전화(ex115)로 동화상 데이터를 송신해도 좋다. 이 때의 동화상 데이터는 휴대 전화(ex115)가 갖는 LSI에서 부호화 처리된 데이터이다. The streaming server ex103 is connected from the camera ex113 through the base station ex109 and the telephone network ex104, and live delivery based on the encoded data transmitted by the user using the camera ex113 is possible. Done. The encoding process of the photographed data may be performed by the camera ex113, or may be performed by a server or the like which performs the data transmission process. The moving picture data shot by the camera ex116 may be transmitted to the streaming server ex103 via the computer ex111. The camera ex116 is a device capable of capturing still images and moving images such as digital cameras. In this case, the encoding of the moving image data may be performed by the camera ex116 or by the computer ex111. The encoding process is performed by the LSI ex117 included in the computer ex111 or the camera ex116. The image encoding / decoding software may be mounted on any storage medium (CD-ROM, flexible disk, hard disk, etc.) that is a recording medium that can be read by a computer ex111 or the like. Further, the moving picture data may be transmitted to the mobile phone ex115 equipped with the camera. The moving picture data at this time is data encoded by the LSI included in the cellular phone ex115.
도 22는 휴대 전화(ex115)의 일례를 나타내는 도면이다. 휴대 전화(ex115)는 기지국(ex110) 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지화상을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)에서 촬영한 영상, 안테나(ex201)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키군으로 구성되는 본체부(ex204), 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 또는 정지화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 보존하기 위한 기억 미디어(ex207), 휴대 전화(ex115)에 기억 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 갖고 있다. 기억 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 고쳐쓰기나 삭제가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리 소자를 저장한 것이다. 22 is a diagram illustrating an example of the cellular phone ex115. The mobile phone ex115 includes an antenna ex201 for transmitting and receiving radio waves between the base station ex110, an image such as a CCD camera, a camera unit ex203 capable of taking still images, an image taken by the camera unit ex203, A display unit ex202 such as a liquid crystal display for displaying decoded data such as an image received by the antenna ex201, a main body ex204 composed of an operation key group, and an audio output unit ex208 such as a speaker for outputting audio. To store encoded data or decoded data such as a voice input unit ex205 such as a microphone for voice input, data of a captured or still image, data of a received mail, data of a moving image or still image And a slot section ex206 for attaching the storage medium ex207 to the mobile phone ex115. The storage medium ex207 stores a flash memory device, which is a type of electrically erasable and programmable read only memory (EEPROM), which is a nonvolatile memory that can be electrically rewritten or deleted in a plastic case such as an SD card.
이 콘텐츠 공급 시스템(ex100)에서는, 사용자가 카메라(ex113), 카메 라(ex116) 등으로 촬영하고 있는 콘텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 상기 실시형태와 동일하게 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편, 스트리밍 서버(ex103)의 요구가 있었던 클라이언트에 대해서 상기 콘텐츠 데이터를 스트림 배송한다. 클라이언트로서는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114) 등이 있다. 이와 같이 함으로써, 콘텐츠 공급 시스템(ex100)은 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에서 실시간으로 수신하여 복호화하여 재생함으로써, 개인 방송도 실현 가능하게 되는 시스템이다. In the content supply system ex100, the content (for example, a video shot of music live, etc.) captured by the user of the camera ex113, the camera ex116, or the like is encoded in the same manner as in the above-described embodiment. While transmitting to the streaming server ex103, the content data is stream-delivered to the client that has requested the streaming server ex103. As the client, there are a computer ex111, a PDA ex112, a camera ex113, a mobile phone ex114 and the like capable of decoding the encoded data. In this way, the content supply system ex100 can receive and reproduce the encoded data at the client, and can also realize personal broadcasting by receiving, decoding and playing back in real time at the client.
또한, 휴대 전화(ex115)에 대해서 도 23을 이용하여 설명한다. 휴대 전화(ex115)는 표시부(ex202) 및 본체부(ex204)의 각 부를 통괄적으로 제어하도록 이루어진 주 제어부(ex311)에 대해서, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해서 서로 접속되어 있다. 전원 회로부(ex310)는 사용자의 조작에 의해 통화 종료 및 전원 키가 온 상태가 되면, 배터리팩으로부터 각 부에 대해서 전력을 공급함으로써 카메라가 부착된 디지털 휴대 전화(ex115)를 동작 가능한 상태로 기동한다. 휴대 전화(ex115)는 CPU, ROM 및 RAM 등으로 되는 주 제어부(ex311)의 제어에 기초하여, 음성 통화 모드 시에 음성 입력부(ex205)에서 음을 모은 음성 데이터를 음성 처리부(ex305)에 의해서 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 뒤에 안테나(ex201)를 통해서 송신한다. 또 휴대 전화기(ex115)는 음성 통화 모드 시에 안테나(ex201)로 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 음성 처리부(ex305)에 의해서 아날로그 음성 데이터로 변환한 뒤, 이것을 음성 출력부(208)를 통해서 출력한다. 또한, 데이터 통신 모드 시에 전자 메일을 송신하는 경우, 본체부(ex204)의 조작키의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통해서 주 제어부(ex311)에 송출된다. 주 제어부(ex311)는 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 뒤에 안테나(ex201)를 통해서 기지국(ex110)으로 송신한다. The mobile telephone ex115 will be described with reference to FIG. 23. The cellular phone ex115 controls the power supply circuit ex310, the operation input control unit ex304, and the image coding unit (ex310) with respect to the main control unit ex311 configured to collectively control each unit of the display unit ex202 and the main body unit ex204. ex312, camera interface ex303, LCD (Liquid Crystal Display) control unit ex302, image decoding unit ex309, multiple separation unit ex308, recording / reproducing unit ex307, modulation and demodulation circuit unit ex306, and audio processing unit ex305 are connected to each other via the synchronizing bus ex313. When the call termination and the power key are turned on by the user's operation, the power supply circuit unit ex310 activates the digital mobile phone ex115 with the camera in an operable state by supplying power to each unit from the battery pack. . The cellular phone ex115 uses the voice processing unit ex305 to digitally collect voice data collected by the voice input unit ex205 in the voice call mode, based on the control of the main control unit ex311 including the CPU, ROM, RAM, and the like. The audio data is converted into audio data, and then spread-modulated by the modulation / demodulation circuit unit ex306, and then subjected to digital analog conversion processing and frequency conversion processing by the transmission / reception circuit unit ex301 and then transmitted through the antenna ex201. The mobile telephone ex115 amplifies the received data received by the antenna ex201 in the voice call mode, performs frequency conversion processing and analog digital conversion processing, and performs a spectrum despreading process by the modulation / demodulation circuit unit ex306, thereby processing the voice processing unit. After conversion to analog audio data by ex305, it is output through the audio output unit 208. In addition, when the electronic mail is transmitted in the data communication mode, the text data of the electronic mail input by the operation of the operation key of the main body ex204 is sent out to the main control unit ex311 via the operation input control unit ex304. . The main control unit ex311 performs spectrum spread processing on the text data by the modulation / demodulation circuit unit ex306 and transmits the digital data to the base station ex110 through the antenna ex201 after performing digital analog conversion processing and frequency conversion processing by the transmission / reception circuit unit ex301. .
데이터 통신 모드 시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서 촬상된 화상 데이터를 카메라 인터페이스부(ex303)를 통해서 화상 부호화부(ex312)에 공급한다. 또, 화상 데이터를 송신하지 않은 경우에는, 카메라부(ex203)에서 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해서 표시부(ex202)에 직접 표시하는 것도 가능하다. When image data is transmitted in the data communication mode, the image data picked up by the camera unit ex203 is supplied to the image coding unit ex312 via the camera interface unit ex303. When the image data is not transmitted, it is also possible to display the image data shot by the camera unit ex203 directly on the display unit ex202 via the camera interface unit ex303 and the LCD control unit ex302.
화상 부호화부(ex312)는 카메라부(ex203)로부터 공급된 화상 데이터를 상기실시형태에서 나타낸 부호화 방법에 의해서 압축 부호화함으로써 부호화 화상 데이터로 변환하고, 이것을 다중 분리부(ex308)에 송출한다. 또, 이 때 동시에 휴대 전 화기(ex115)는 카메라부(ex203)에서 촬상 중에 음성 입력부(ex205)에서 음을 모은 음성을 음성 처리부(ex305)를 통해서 디지털의 음성 데이터로서 다중 분리부(ex308)에 송출한다. The image coding unit ex312 converts the image data supplied from the camera unit ex203 into coded image data by compression coding by the coding method shown in the above embodiment, and sends this to the multiplexing unit ex308. At this time, the mobile phone ex115 simultaneously collects the sound collected by the voice input unit ex205 while the image is captured by the camera unit ex203 and transmits the voice to the multiplexing unit ex308 as digital voice data through the voice processing unit ex305. Send it out.
다중 분리부(ex308)는 화상 부호화부(ex312)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 후에 안테나(ex201)를 통해서 송신한다. The multiplexing unit ex308 multiplexes the encoded image data supplied from the image coding unit ex312 and the audio data supplied from the audio processing unit ex305 in a predetermined manner, and the resulting multiplexed data in the modulation / demodulation circuit unit ex306. After spread spectrum processing, the transmission / reception circuit unit ex301 performs digital analog conversion processing and frequency conversion processing, and then transmits them through the antenna ex201.
데이터 통신 모드 시에 홈페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통해서 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.In the case of receiving data of a moving image file linked to a homepage or the like in the data communication mode, the demodulation circuit section ex306 performs spectral despreading processing of the received data received from the base station ex110 via the antenna ex201, resulting in multiplexing. The data is sent to the multiple separator ex308.
또, 안테나(ex201)를 통해서 수신된 다중화 데이터를 복호화하기 위해서는, 다중 분리부(ex308)는 다중화 데이터를 분리함으로써 부호화 화상 데이터와 음성 데이터로 나누어, 동기 버스(ex313)를 통해서 해당 부호화 화상 데이터를 화상 복호화부(ex309)에 공급하는 동시에 해당 음성 데이터를 음성 처리부(ex305)에 공급한다. In addition, in order to decode the multiplexed data received through the antenna ex201, the multiplexer ex308 divides the multiplexed data into coded image data and audio data, and divides the coded image data through the sync bus ex313. The audio data is supplied to the image decoding unit ex309, and the audio data is supplied to the audio processing unit ex305.
다음에, 화상 복호화부(ex309)는 부호화 화상 데이터를 상기 실시형태에서 나타낸 부호화 방법에 대응한 복호화 방법으로 복호함으로써 재생 동화상 데이터를 생성하여, 이것을 LCD 제어부(ex302)를 통해서 표시부(ex202)에 공급하고, 이것에 의해, 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는 음성 데이터를 아날로그 음성 데이터로 변환한 뒤, 이것을 음성 출력부(ex208)에 공급하고, 이것에 의해, 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다. Next, the picture decoding unit ex309 decodes the coded image data by the decoding method corresponding to the coding method shown in the above embodiment to generate the reproduced moving image data, and supplies it to the display unit ex202 via the LCD control unit ex302. As a result, for example, moving picture data included in a moving picture file linked to the home page is displayed. At this time, the voice processing unit ex305 converts the voice data into analog voice data, and then supplies it to the voice output unit ex208, whereby the voice data contained in, for example, a moving image file linked to the home page, is stored. Is played.
또, 상기 시스템의 예에 한정되지 않고, 최근에는 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 24에 나타낸 바와 같이 디지털 방송용 시스템에도 상기 실시형태의 적어도 부호화 방법 또는 복호화 방법 중 어느 하나를 장착할 수 있다. 구체적으로는, 방송국(ex409)에서는 영상 정보의 부호화 비트 스트림이 전파를 통해서 통신 또는 방송 위성(ex410)에 전송된다. 이것을 받은 방송 위성(ex410)은 방송용의 전파를 발신하고, 이 전파를 위성 방송 수신 설비를 갖는 가정의 안테나(ex406)에서 수신하여, 텔레비전(수신기)(ex401) 또는 셋탑박스(STB)(ex407) 등의 장치에 의해 부호화 비트 스트림을 복호화하여 이것을 재생한다. 또, 기록 매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 부호화 비트 스트림을 독출하여, 복호화하는 재생 장치(ex403)에도 상기 실시형태에서 도시한 화상 복호화 장치를 설치하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또한, 케이블 텔레비전용의 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋탑박스(ex407) 내에 화상 복호화 장치를 설치하고, 이것을 텔레비전의 모니터(ex408)에서 재생하는 구성도 생각할 수 있다. 이 때, 셋탑박스가 아닌 텔레비전 내에 화상 복호화 장치를 장착해도 좋다. 또, 안테나(ex411)를 갖는 자동차(ex412)에서 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하 여, 자동차(ex412)가 갖는 카 네비게이션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다. Moreover, not only the example of the said system but digital broadcasting by satellite and terrestrial wave has become a hot topic in recent years, As shown in FIG. 24, at least any one of the encoding method or the decoding method of the said embodiment is applied also to a digital broadcasting system. I can attach it. Specifically, the broadcast station ex409 transmits the encoded bit stream of the video information to the communication or broadcast satellite ex410 via radio waves. The broadcast satellite ex410 which has received this transmits a radio wave for broadcast, and receives the radio wave from an antenna ex406 of a home having a satellite broadcast receiving facility, thereby receiving a television (receiver) ex401 or a set-top box (STB) ex407. The encoded bit stream is decoded by an apparatus such as the same and reproduced. The picture decoding apparatus shown in the above embodiments can also be provided in the reproduction apparatus ex403 which reads and decodes the coded bit stream recorded on the storage medium ex402 such as a CD or DVD, which is a recording medium. In this case, the reproduced video signal is displayed on the monitor ex404. In addition, a configuration in which an image decoding device is provided in a set-top box ex407 connected to a cable ex405 for a cable television or an antenna ex406 for satellite / terrestrial broadcasting, and reproduces it on the monitor ex408 of the television is also conceivable. have. At this time, the picture decoding apparatus may be incorporated into the television, not in the set top box. In addition, the vehicle ex412 having the antenna ex411 receives a signal from the satellite ex410, the base station ex107, or the like, and reproduces the moving image on a display device such as car navigation ex413 included in the vehicle ex412. It is also possible.
또한, 화상 신호를 상기 실시형태에서 나타낸 화상 부호화 장치로 부호화하여, 기록 매체에 기록하는 것도 가능하다. 구체예로서는, DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 레코더나, 하드디스크에 기록하는 디스크 레코더 등의 레코더(ex420)가 있다. 또한, SD 카드(ex422)에 기록할 수도 있다. 레코더(ex420)가 상기 실시형태에서 나타낸 화상 복호화 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여, 모니터(ex408)에서 표시할 수 있다. It is also possible to code an image signal with the image coding device shown in the above embodiment and record it on a recording medium. As a specific example, there is a recorder ex420 such as a DVD recorder for recording an image signal on a DVD disk ex421 or a disk recorder for recording on a hard disk. It is also possible to record to the SD card ex422. If the recorder ex420 includes the picture decoding apparatus as shown in the above embodiment, the picture signals recorded on the DVD disk ex421 or the SD card ex422 can be reproduced and displayed on the monitor ex408.
또, 카 네비게이션(ex413)의 구성은 예를 들면 도 23에 나타낸 휴대 전화기(ex115)와 동일하지만, 도 23에 도시한 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성을 생각할 수 있다. 동일한 것을 컴퓨터(ex111)나 텔레비전(수신기)(ex401) 등에서도 생각할 수 있다. The configuration of the car navigation ex413 is the same as that of the mobile telephone ex115 shown in FIG. 23, but among the configurations shown in FIG. 23, the camera unit ex203, the camera interface unit ex303, and the image coding unit are shown. A configuration other than ex312 can be considered. The same thing can be considered in the computer ex111, the television (receiver) ex401, and the like.
또, 상기 휴대 전화(ex114) 등의 단말은, 부호화기·복호화기를 모두 갖는 송수신형의 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3종류의 설치 형식을 생각할 수 있다. In addition, the terminal of the mobile telephone ex114 or the like can consider three types of installation forms of the transmitting terminal only of the encoder and the receiving terminal of the decoder only, in addition to the transmitting / receiving terminal having both the encoder and the decoder.
이와 같이, 본 명세서에 나타낸 부호화 방법, 복호화 방법을 설치함으로써 본 실시형태에서 나타낸 어느 장치 시스템에 대해서도 실현 가능하게 된다.Thus, by providing the coding method and decoding method shown in this specification, it is possible to implement | achieve any device system shown by this embodiment.
본 발명에 관한 화상 부호화 장치는, 통신 기능을 구비하는 퍼스널 컴퓨터, PDA 및 휴대 전화기 등에 구비되는 화상 부호화 장치로서 유용하다. The image encoding device according to the present invention is useful as an image encoding device included in a personal computer, a PDA, a cellular phone, or the like having a communication function.
또, 본 발명에 관한 화상 복호화 장치는, 통신 기능을 구비하는 퍼스널 컴퓨터, PDA 및 휴대 전화기 등에 구비되는 화상 복호화 장치로서 유용하다.Moreover, the image decoding apparatus which concerns on this invention is useful as an image decoding apparatus with which a personal computer, a PDA, a mobile telephone, etc. which have a communication function are equipped.
Claims (2)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001276280 | 2001-09-12 | ||
JPJP-P-2001-00276280 | 2001-09-12 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020067012680A Division KR100743818B1 (en) | 2001-09-12 | 2002-09-11 | Image coding method and image decoding method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20060133115A KR20060133115A (en) | 2006-12-22 |
KR100801385B1 true KR100801385B1 (en) | 2008-02-05 |
Family
ID=19101005
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020067012682A KR100845067B1 (en) | 2001-09-12 | 2002-09-11 | Image coding method and image decoding method |
KR20037006439A KR100656296B1 (en) | 2001-09-12 | 2002-09-11 | Image coding method and image decoding method |
KR1020067012681A KR100804902B1 (en) | 2001-09-12 | 2002-09-11 | Image coding method and image decoding method |
KR1020067012680A KR100743818B1 (en) | 2001-09-12 | 2002-09-11 | Image coding method and image decoding method |
KR1020067025365A KR100801385B1 (en) | 2001-09-12 | 2002-09-11 | Image coding apparatus and image decoding apparatus |
Family Applications Before (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020067012682A KR100845067B1 (en) | 2001-09-12 | 2002-09-11 | Image coding method and image decoding method |
KR20037006439A KR100656296B1 (en) | 2001-09-12 | 2002-09-11 | Image coding method and image decoding method |
KR1020067012681A KR100804902B1 (en) | 2001-09-12 | 2002-09-11 | Image coding method and image decoding method |
KR1020067012680A KR100743818B1 (en) | 2001-09-12 | 2002-09-11 | Image coding method and image decoding method |
Country Status (14)
Country | Link |
---|---|
US (8) | US7126989B2 (en) |
EP (8) | EP1387585B1 (en) |
JP (13) | JP3756475B2 (en) |
KR (5) | KR100845067B1 (en) |
CN (6) | CN1968412B (en) |
AT (6) | ATE337683T1 (en) |
BR (1) | BRPI0205988B1 (en) |
CA (3) | CA2582664C (en) |
DE (4) | DE60234962D1 (en) |
DK (2) | DK2296382T3 (en) |
ES (6) | ES2271762T3 (en) |
MX (1) | MXPA03004077A (en) |
PT (1) | PT2296382E (en) |
WO (1) | WO2003026314A1 (en) |
Families Citing this family (134)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100845067B1 (en) * | 2001-09-12 | 2008-07-09 | 마쯔시다덴기산교 가부시키가이샤 | Image coding method and image decoding method |
US8625680B2 (en) * | 2003-09-07 | 2014-01-07 | Microsoft Corporation | Bitstream-controlled post-processing filtering |
KR101056142B1 (en) * | 2004-01-29 | 2011-08-10 | 케이엘에이-텐코 코포레이션 | Computerized method for detecting defects in reticle design data |
US7430336B2 (en) * | 2004-05-06 | 2008-09-30 | Qualcomm Incorporated | Method and apparatus for image enhancement for low bit rate video compression |
US8503530B2 (en) * | 2004-05-27 | 2013-08-06 | Zhourong Miao | Temporal classified filtering for video compression |
JP2006047993A (en) * | 2004-07-08 | 2006-02-16 | Sharp Corp | Data conversion device |
CN1306820C (en) * | 2004-07-29 | 2007-03-21 | 联合信源数字音视频技术(北京)有限公司 | Fractional pixel filter system and its filter method for video frequency decoding chip |
US9560367B2 (en) * | 2004-09-03 | 2017-01-31 | Nokia Technologies Oy | Parameter set and picture header in video coding |
JP4904034B2 (en) * | 2004-09-14 | 2012-03-28 | ケーエルエー−テンカー コーポレイション | Method, system and carrier medium for evaluating reticle layout data |
EP1641274B1 (en) * | 2004-09-23 | 2013-06-05 | Panasonic Corporation | Video coding employing an image de-graining loop-filter |
EP1646243B1 (en) | 2004-09-30 | 2009-06-24 | Kabushiki Kaisha Toshiba | Information processing apparatus and program for use in the same |
US7729529B2 (en) * | 2004-12-07 | 2010-06-01 | Kla-Tencor Technologies Corp. | Computer-implemented methods for detecting and/or sorting defects in a design pattern of a reticle |
KR100679035B1 (en) * | 2005-01-04 | 2007-02-06 | 삼성전자주식회사 | Deblocking filtering method considering intra BL mode, and video encoder/decoder based on multi-layer using the method |
JP4191729B2 (en) * | 2005-01-04 | 2008-12-03 | 三星電子株式会社 | Deblock filtering method considering intra BL mode and multi-layer video encoder / decoder using the method |
DE102005032601A1 (en) * | 2005-01-07 | 2006-07-20 | Heidelberger Druckmaschinen Ag | press |
US7403562B2 (en) * | 2005-03-09 | 2008-07-22 | Eg Technology, Inc. | Model based rate control for predictive video encoder |
EP1876830A4 (en) | 2005-04-27 | 2011-03-16 | Nec Corp | Image decoding method, device therefor, and program |
JP4672431B2 (en) * | 2005-05-13 | 2011-04-20 | パナソニック株式会社 | Filter characteristic abnormality concealment processing device |
US7769225B2 (en) * | 2005-08-02 | 2010-08-03 | Kla-Tencor Technologies Corp. | Methods and systems for detecting defects in a reticle design pattern |
US8041103B2 (en) * | 2005-11-18 | 2011-10-18 | Kla-Tencor Technologies Corp. | Methods and systems for determining a position of inspection data in design data space |
US7676077B2 (en) * | 2005-11-18 | 2010-03-09 | Kla-Tencor Technologies Corp. | Methods and systems for utilizing design data in combination with inspection data |
US7570796B2 (en) | 2005-11-18 | 2009-08-04 | Kla-Tencor Technologies Corp. | Methods and systems for utilizing design data in combination with inspection data |
JP4643437B2 (en) * | 2005-12-27 | 2011-03-02 | 株式会社東芝 | Information processing device |
JP4643453B2 (en) * | 2006-01-10 | 2011-03-02 | 株式会社東芝 | Information processing apparatus and moving picture decoding method for information processing apparatus |
JP4828950B2 (en) * | 2006-01-31 | 2011-11-30 | 株式会社東芝 | Video decoding device |
JP4825524B2 (en) * | 2006-01-31 | 2011-11-30 | 株式会社東芝 | Moving picture decoding apparatus and moving picture decoding method |
JP5516842B2 (en) * | 2006-02-15 | 2014-06-11 | 日本電気株式会社 | Moving image processing apparatus, moving image processing method, and moving image processing program |
US7873224B2 (en) | 2006-03-01 | 2011-01-18 | Qualcomm Incorporated | Enhanced image/video quality through artifact evaluation |
EP1994756A2 (en) * | 2006-03-03 | 2008-11-26 | Koninklijke Philips Electronics N.V. | Differential coding with lossy embedded compression |
JP4417919B2 (en) * | 2006-03-31 | 2010-02-17 | 株式会社東芝 | Image encoding apparatus and image decoding apparatus |
US9014280B2 (en) * | 2006-10-13 | 2015-04-21 | Qualcomm Incorporated | Video coding with adaptive filtering for motion compensated prediction |
CN101711481B (en) * | 2006-10-18 | 2013-01-09 | 汤姆森特许公司 | Method and apparatus for video coding using prediction data refinement |
EP4224853A1 (en) | 2006-11-08 | 2023-08-09 | InterDigital VC Holdings, Inc. | Methods and apparatus for in-loop de-artifact filtering |
KR100835661B1 (en) * | 2006-12-07 | 2008-06-09 | 부산대학교 산학협력단 | Apparatus and method for video coding using multiple filter decision |
EP2123051B1 (en) * | 2006-12-18 | 2010-11-10 | Koninklijke Philips Electronics N.V. | Image compression and decompression |
JP5427609B2 (en) | 2006-12-19 | 2014-02-26 | ケーエルエー−テンカー・コーポレーション | Inspection recipe creation system and method |
US8194968B2 (en) * | 2007-01-05 | 2012-06-05 | Kla-Tencor Corp. | Methods and systems for using electrical information for a device being fabricated on a wafer to perform one or more defect-related functions |
CN101227601B (en) * | 2007-01-15 | 2011-09-14 | 飞思卡尔半导体公司 | Equipment and method for performing geometric transformation in video rendition |
FI120855B (en) * | 2007-02-15 | 2010-03-31 | Kone Corp | Hardware and Method for Controlling Engine Power Supply |
WO2008130367A1 (en) * | 2007-04-19 | 2008-10-30 | Thomson Licensing | Adaptive reference picture data generation for intra prediction |
EP2151124A4 (en) * | 2007-04-26 | 2010-12-29 | Polycom Inc | De-blocking filter arrangements |
US7962863B2 (en) | 2007-05-07 | 2011-06-14 | Kla-Tencor Corp. | Computer-implemented methods, systems, and computer-readable media for determining a model for predicting printability of reticle features on a wafer |
US7738093B2 (en) | 2007-05-07 | 2010-06-15 | Kla-Tencor Corp. | Methods for detecting and classifying defects on a reticle |
US8213704B2 (en) * | 2007-05-09 | 2012-07-03 | Kla-Tencor Corp. | Methods and systems for detecting defects in a reticle design pattern |
JPWO2009001793A1 (en) * | 2007-06-26 | 2010-08-26 | 株式会社東芝 | Method and apparatus for image encoding and image decoding |
US7796804B2 (en) | 2007-07-20 | 2010-09-14 | Kla-Tencor Corp. | Methods for generating a standard reference die for use in a die to standard reference die inspection and methods for inspecting a wafer |
US7711514B2 (en) * | 2007-08-10 | 2010-05-04 | Kla-Tencor Technologies Corp. | Computer-implemented methods, carrier media, and systems for generating a metrology sampling plan |
JP5425779B2 (en) * | 2007-08-20 | 2014-02-26 | ケーエルエー−テンカー・コーポレーション | A computer-implemented method for determining whether an actual defect is a potential systematic defect or a potentially random defect |
WO2009032255A2 (en) * | 2007-09-04 | 2009-03-12 | The Regents Of The University Of California | Hierarchical motion vector processing method, software and devices |
CN101926175A (en) * | 2008-03-07 | 2010-12-22 | 株式会社东芝 | Dynamic image encoding/decoding method and device |
KR101431545B1 (en) * | 2008-03-17 | 2014-08-20 | 삼성전자주식회사 | Method and apparatus for Video encoding and decoding |
KR101591825B1 (en) * | 2008-03-27 | 2016-02-18 | 엘지전자 주식회사 | A method and an apparatus for encoding or decoding of a video signal |
US9848209B2 (en) | 2008-04-02 | 2017-12-19 | Microsoft Technology Licensing, Llc | Adaptive error detection for MPEG-2 error concealment |
US8139844B2 (en) * | 2008-04-14 | 2012-03-20 | Kla-Tencor Corp. | Methods and systems for determining a defect criticality index for defects on wafers |
US9788018B2 (en) | 2008-06-30 | 2017-10-10 | Microsoft Technology Licensing, Llc | Error concealment techniques in video decoding |
JP5333449B2 (en) * | 2008-07-25 | 2013-11-06 | ソニー株式会社 | Image processing apparatus and method, program, and recording medium |
WO2010014609A2 (en) | 2008-07-28 | 2010-02-04 | Kla-Tencor Corporation | Computer-implemented methods, computer-readable media, and systems for classifying defects detected in a memory device area on a wafer |
EP2152009A1 (en) * | 2008-08-06 | 2010-02-10 | Thomson Licensing | Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore |
KR101377527B1 (en) * | 2008-10-14 | 2014-03-25 | 에스케이 텔레콤주식회사 | Method and Apparatus for Encoding and Decoding Motion Vector in Plural Number of Reference Pictures and Video Encoding/Decoding Method and Apparatus Using Same |
US9131241B2 (en) * | 2008-11-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Adjusting hardware acceleration for video playback based on error detection |
JP2012054618A (en) * | 2008-11-26 | 2012-03-15 | Hitachi Ltd | Moving image encoding apparatus and encoding method, and moving image decoding apparatus and decoding method |
JP2010157949A (en) * | 2009-01-05 | 2010-07-15 | Toshiba Corp | Moving image coding/decoding method and device |
US8775101B2 (en) | 2009-02-13 | 2014-07-08 | Kla-Tencor Corp. | Detecting defects on a wafer |
US8204297B1 (en) | 2009-02-27 | 2012-06-19 | Kla-Tencor Corp. | Methods and systems for classifying defects detected on a reticle |
US8112241B2 (en) * | 2009-03-13 | 2012-02-07 | Kla-Tencor Corp. | Methods and systems for generating an inspection process for a wafer |
WO2012044487A1 (en) | 2010-10-01 | 2012-04-05 | Dolby Laboratories Licensing Corporation | Optimized filter selection for reference picture processing |
WO2010137322A1 (en) * | 2009-05-29 | 2010-12-02 | 三菱電機株式会社 | Image encoder, image decoder, image encoding method and image decoding method |
WO2010143858A2 (en) * | 2009-06-09 | 2010-12-16 | 삼성전자주식회사 | Image-encoding apparatus and image-decoding apparatus for efficiently transmitting a large capacity image |
EP2264954B1 (en) | 2009-06-18 | 2012-02-01 | Alcatel Lucent | Method and apparatus for congestion control |
JP5528445B2 (en) * | 2009-06-19 | 2014-06-25 | 三菱電機株式会社 | Image encoding device, image decoding device, image encoding method, and image decoding method |
KR102350436B1 (en) * | 2009-07-07 | 2022-01-14 | 인터디지털 브이씨 홀딩스 인코포레이티드 | Methods and apparatus for collaborative partition coding for region based filters |
US8340510B2 (en) | 2009-07-17 | 2012-12-25 | Microsoft Corporation | Implementing channel start and file seek for decoder |
JP5233897B2 (en) * | 2009-07-31 | 2013-07-10 | ソニー株式会社 | Image processing apparatus and method |
JP5359657B2 (en) | 2009-07-31 | 2013-12-04 | ソニー株式会社 | Image encoding apparatus and method, recording medium, and program |
JP5604825B2 (en) * | 2009-08-19 | 2014-10-15 | ソニー株式会社 | Image processing apparatus and method |
US20110123121A1 (en) * | 2009-10-13 | 2011-05-26 | Sony Corporation | Method and system for reducing blocking artefacts in compressed images and video signals |
DE102009050312B4 (en) * | 2009-10-22 | 2015-01-22 | Airbus Operations Gmbh | Digital broadcasting |
JP5340415B2 (en) * | 2009-12-07 | 2013-11-13 | 三菱電機株式会社 | Image encoding device, image decoding device, image encoding method, and image decoding method |
WO2011096071A1 (en) * | 2010-02-05 | 2011-08-11 | 株式会社 東芝 | Video encoder and video decoder |
JP6029984B2 (en) * | 2010-03-09 | 2016-11-24 | トムソン ライセンシングThomson Licensing | Method and apparatus for classification-based loop filter |
KR101529992B1 (en) | 2010-04-05 | 2015-06-18 | 삼성전자주식회사 | Method and apparatus for video encoding for compensating pixel value of pixel group, method and apparatus for video decoding for the same |
US20110249742A1 (en) * | 2010-04-07 | 2011-10-13 | Apple Inc. | Coupled video pre-processor and codec including reference picture filter that minimizes coding expense during pre-processing mode transitions |
JP5393573B2 (en) * | 2010-04-08 | 2014-01-22 | 株式会社Nttドコモ | Moving picture predictive coding apparatus, moving picture predictive decoding apparatus, moving picture predictive coding method, moving picture predictive decoding method, moving picture predictive coding program, and moving picture predictive decoding program |
EP2564593B1 (en) | 2010-04-26 | 2018-01-03 | Sun Patent Trust | Filtering mode for intra prediction inferred from statistics of surrounding blocks |
KR20110123651A (en) | 2010-05-07 | 2011-11-15 | 한국전자통신연구원 | Apparatus and method for image coding and decoding using skip coding |
JP5805991B2 (en) * | 2010-05-07 | 2015-11-10 | トムソン ライセンシングThomson Licensing | Method for encoding picture sequence, corresponding reconstruction method, and stream of encoded data representing the sequence |
JP2012009934A (en) * | 2010-06-22 | 2012-01-12 | Sony Corp | Image processing apparatus and image processing method |
JP5066232B2 (en) * | 2010-07-28 | 2012-11-07 | 株式会社東芝 | Information processing apparatus and image processing method |
US8781781B2 (en) | 2010-07-30 | 2014-07-15 | Kla-Tencor Corp. | Dynamic care areas |
KR101373814B1 (en) * | 2010-07-31 | 2014-03-18 | 엠앤케이홀딩스 주식회사 | Apparatus of generating prediction block |
WO2012049876A1 (en) * | 2010-10-12 | 2012-04-19 | 株式会社 東芝 | Video image encoding method and decoding method |
JP2012085211A (en) * | 2010-10-14 | 2012-04-26 | Sony Corp | Image processing device and method, and program |
US9170211B2 (en) | 2011-03-25 | 2015-10-27 | Kla-Tencor Corp. | Design-based inspection using repeating structures |
JP5653307B2 (en) * | 2011-06-27 | 2015-01-14 | 日本電信電話株式会社 | Image coding method, image coding apparatus and program thereof |
KR101956284B1 (en) | 2011-06-30 | 2019-03-08 | 엘지전자 주식회사 | Interpolation Method And Prediction method thereof |
EP2728877A4 (en) * | 2011-06-30 | 2014-12-03 | Mitsubishi Electric Corp | Image encoding device, image decoding device, image encoding method, and image decoding method |
JP5159927B2 (en) * | 2011-07-28 | 2013-03-13 | 株式会社東芝 | Moving picture decoding apparatus and moving picture decoding method |
CN107172427B (en) | 2011-09-09 | 2021-01-05 | 太阳专利托管公司 | Decoding method and decoding device |
US9087367B2 (en) | 2011-09-13 | 2015-07-21 | Kla-Tencor Corp. | Determining design coordinates for wafer defects |
US8831334B2 (en) | 2012-01-20 | 2014-09-09 | Kla-Tencor Corp. | Segmentation for wafer inspection |
CN107257490B (en) * | 2012-01-27 | 2019-12-17 | 太阳专利托管公司 | Image encoding method and image encoding device |
WO2013147495A1 (en) * | 2012-03-26 | 2013-10-03 | 엘지전자 주식회사 | Scalable video encoding/decoding method and apparatus |
US8826200B2 (en) | 2012-05-25 | 2014-09-02 | Kla-Tencor Corp. | Alteration for wafer inspection |
KR102257542B1 (en) | 2012-10-01 | 2021-05-31 | 지이 비디오 컴프레션, 엘엘씨 | Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer |
US9189844B2 (en) | 2012-10-15 | 2015-11-17 | Kla-Tencor Corp. | Detecting defects on a wafer using defect-specific information |
KR20150079742A (en) * | 2012-12-28 | 2015-07-08 | 니폰 덴신 덴와 가부시끼가이샤 | Video coding device and method, video decoding device and method, and programs therefor |
US9053527B2 (en) | 2013-01-02 | 2015-06-09 | Kla-Tencor Corp. | Detecting defects on a wafer |
US9134254B2 (en) | 2013-01-07 | 2015-09-15 | Kla-Tencor Corp. | Determining a position of inspection system output in design data space |
US9311698B2 (en) | 2013-01-09 | 2016-04-12 | Kla-Tencor Corp. | Detecting defects on a wafer using template image matching |
KR102019534B1 (en) | 2013-02-01 | 2019-09-09 | 케이엘에이 코포레이션 | Detecting defects on a wafer using defect-specific and multi-channel information |
US10034008B2 (en) | 2013-03-06 | 2018-07-24 | Samsung Electronics Co., Ltd. | Method and apparatus for scalable video encoding using switchable de-noising filtering, and method and apparatus for scalable video decoding using switchable de-noising filtering |
JP5573997B2 (en) * | 2013-03-14 | 2014-08-20 | ソニー株式会社 | Image decoding apparatus and method, recording medium, and program |
JP5573996B2 (en) * | 2013-03-14 | 2014-08-20 | ソニー株式会社 | Image encoding apparatus and method, recording medium, and program |
US9865512B2 (en) | 2013-04-08 | 2018-01-09 | Kla-Tencor Corp. | Dynamic design attributes for wafer inspection |
US9310320B2 (en) | 2013-04-15 | 2016-04-12 | Kla-Tencor Corp. | Based sampling and binning for yield critical defects |
WO2014174591A1 (en) * | 2013-04-23 | 2014-10-30 | 富士通株式会社 | Image encoding device, image encoding method, and image pickup device |
KR101946039B1 (en) * | 2013-09-24 | 2019-02-08 | 브이아이디 스케일, 인크. | Inter-layer prediction for scalable video coding |
JP2015144423A (en) | 2013-12-25 | 2015-08-06 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Image encoder, image decoder, method of image encoder and image decoder, program and image processing system |
JPWO2016009587A1 (en) * | 2014-07-18 | 2017-05-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Image encoding method, image decoding method, image encoding device, image decoding device, and content distribution method |
FR3027480B1 (en) * | 2014-10-17 | 2020-10-23 | Institut Nat Des Sciences Appliquees De Rennes | DECODER, PROCESS AND SYSTEM FOR DECODING MULTIMEDIA STREAMS |
JP6396782B2 (en) * | 2014-12-11 | 2018-09-26 | 日本電信電話株式会社 | Deblocking processing method, deblocking processing apparatus, computer program, and recording medium |
EP3041233A1 (en) * | 2014-12-31 | 2016-07-06 | Thomson Licensing | High frame rate-low frame rate transmission technique |
CN107852493A (en) | 2015-05-12 | 2018-03-27 | 三星电子株式会社 | Picture decoding method and device for the method for encoding images and device of sample value compensation and for sample value compensation |
US9736081B2 (en) | 2015-06-04 | 2017-08-15 | At&T Intellectual Property I, L.P. | Apparatus and method to improve compression and storage data |
CN115134607A (en) | 2015-06-11 | 2022-09-30 | 杜比实验室特许公司 | Method for encoding and decoding image using adaptive deblocking filtering and apparatus therefor |
KR102398232B1 (en) * | 2015-06-16 | 2022-05-16 | 광운대학교 산학협력단 | Method and apparatus for decoding a video signal with reference picture filtering |
JP6229770B2 (en) * | 2016-07-25 | 2017-11-15 | ソニー株式会社 | Image processing apparatus and method, recording medium, and program |
WO2018069787A1 (en) | 2016-10-14 | 2018-04-19 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device, broadcasting system, and electronic device |
WO2019031410A1 (en) * | 2017-08-10 | 2019-02-14 | シャープ株式会社 | Image filter device, image decoding device, and image coding device |
CN107820128B (en) | 2017-11-10 | 2019-12-27 | 深圳创维-Rgb电子有限公司 | USB recording function customizing method and device and computer readable storage medium |
GB2574380A (en) * | 2018-05-30 | 2019-12-11 | Realvnc Ltd | Processing image data |
CN114175639A (en) * | 2019-08-07 | 2022-03-11 | 松下电器(美国)知识产权公司 | Encoding device, decoding device, encoding method, and decoding method |
US10929958B1 (en) * | 2019-11-15 | 2021-02-23 | Novatek Microelectronics Corp. | Method and image processing device for image blurring |
US20230059035A1 (en) * | 2021-08-23 | 2023-02-23 | Netflix, Inc. | Efficient encoding of film grain noise |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0638197A (en) * | 1992-06-30 | 1994-02-10 | Sony Corp | Coder, decoder and coding method |
KR940006349A (en) * | 1992-07-02 | 1994-03-23 | 모리시타 요이찌 | Image signal encoding and decoding device with adaptive energy enhancement filter |
EP0603878A2 (en) * | 1992-12-25 | 1994-06-29 | Mitsubishi Denki Kabushiki Kaisha | Coding system and method |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL8503007A (en) | 1985-11-04 | 1987-06-01 | Philips Nv | DISPLAY WITH LOW STEERING VOLTAGES. |
US4706260A (en) * | 1986-11-07 | 1987-11-10 | Rca Corporation | DPCM system with rate-of-fill control of buffer occupancy |
JPH0710103B2 (en) * | 1987-06-11 | 1995-02-01 | 三菱電機株式会社 | Image coding transmission device |
US4941043A (en) * | 1988-06-14 | 1990-07-10 | Siemens Aktiengesellschaft | Method for reducing blocking artifacts in video scene coding with discrete cosine transformation (DCT) at a low data rate |
DE3839642A1 (en) * | 1988-11-24 | 1990-05-31 | Bosch Gmbh Robert | DEVICE FOR CODING VIDEO SIGNALS |
JPH0714211B2 (en) | 1989-07-14 | 1995-02-15 | 国際電信電話株式会社 | Method and apparatus for removing block distortion in moving picture coding |
JPH03127580A (en) * | 1989-10-13 | 1991-05-30 | Matsushita Electric Ind Co Ltd | Movement compensation inter-frame coder |
JPH03136586A (en) * | 1989-10-23 | 1991-06-11 | Nec Corp | Compression coder |
DE69119936T2 (en) * | 1990-02-28 | 1996-11-14 | Victor Company Of Japan | Data compression facility |
JPH0431490A (en) | 1990-05-28 | 1992-02-03 | I B Ii:Kk | Manufacture of soil conditioner |
JPH04246763A (en) | 1991-01-31 | 1992-09-02 | Nec Corp | Multi-processor circuit |
US5337088A (en) * | 1991-04-18 | 1994-08-09 | Matsushita Electric Industrial Co. Ltd. | Method of correcting an image signal decoded in block units |
JP2643636B2 (en) | 1991-04-18 | 1997-08-20 | 松下電器産業株式会社 | Signal processing method |
JP3169263B2 (en) * | 1992-05-18 | 2001-05-21 | 日本電信電話株式会社 | Video data encoding device |
JPH063878A (en) * | 1992-06-17 | 1994-01-14 | Ricoh Co Ltd | Electrophotographic device |
US5329318A (en) * | 1993-05-13 | 1994-07-12 | Intel Corporation | Method for optimizing image motion estimation |
JP3495766B2 (en) * | 1993-10-01 | 2004-02-09 | テキサス インスツルメンツ インコーポレイテツド | Image processing method |
JPH07231449A (en) * | 1994-02-21 | 1995-08-29 | Sony Corp | Encoder and decoder for picture signal |
JP2673778B2 (en) * | 1994-02-22 | 1997-11-05 | 国際電信電話株式会社 | Noise reduction device for video decoding |
KR0165497B1 (en) * | 1995-01-20 | 1999-03-20 | 김광호 | Post processing apparatus and method for removing blocking artifact |
JPH08214309A (en) * | 1995-02-07 | 1996-08-20 | Canon Inc | Image signal encoder |
JPH0993132A (en) * | 1995-09-27 | 1997-04-04 | Toshiba Corp | Device and method for coding decoding |
US6041145A (en) * | 1995-11-02 | 2000-03-21 | Matsushita Electric Industrial Co., Ltd. | Device and method for smoothing picture signal, device and method for encoding picture and device and method for decoding picture |
JPH09284748A (en) * | 1996-04-19 | 1997-10-31 | Sony Corp | System and method for two-way information transmission |
JPH09289642A (en) * | 1996-04-23 | 1997-11-04 | Matsushita Electric Ind Co Ltd | Video signal coding method, video signal decoding method and device therefor |
JPH1070717A (en) * | 1996-06-19 | 1998-03-10 | Matsushita Electric Ind Co Ltd | Image encoding device and image decoding device |
GB2317525B (en) * | 1996-09-20 | 2000-11-08 | Nokia Mobile Phones Ltd | A video coding system |
JP3392335B2 (en) * | 1996-11-26 | 2003-03-31 | 松下電器産業株式会社 | Moving image variable bit rate encoding device, moving image variable bit rate encoding method, and moving image variable bit rate encoding program recording medium |
JP3872849B2 (en) * | 1996-11-28 | 2007-01-24 | 松下電器産業株式会社 | Video encoding device |
JP3961600B2 (en) | 1996-12-27 | 2007-08-22 | ソニー株式会社 | Block distortion reduction method and apparatus |
JPH10224790A (en) * | 1997-02-07 | 1998-08-21 | Matsushita Electric Ind Co Ltd | Filter eliminating block noise in companded image and filter method |
DE69806297T3 (en) * | 1997-03-26 | 2007-03-29 | Matsushita Electric Industrial Co., Ltd., Kadoma | Bilddekodiergerät |
US6078695A (en) * | 1997-06-13 | 2000-06-20 | Matsushita Electric Industrial Co., Ltd. | Shape coding method and shape decoding method |
KR100244290B1 (en) * | 1997-09-09 | 2000-02-01 | 구자홍 | Method for deblocking filtering for low bit rate video |
JP4186242B2 (en) * | 1997-12-26 | 2008-11-26 | ソニー株式会社 | Image signal processing apparatus and image signal processing method |
JP2000125260A (en) * | 1998-10-15 | 2000-04-28 | Toshiba Corp | Moving picture transmission server, moving picture transmission system using the server and moving picture transmission control method |
US6192161B1 (en) * | 1999-02-12 | 2001-02-20 | Sony Corporation | Method and apparatus for adaptive filter tap selection according to a class |
US6748113B1 (en) * | 1999-08-25 | 2004-06-08 | Matsushita Electric Insdustrial Co., Ltd. | Noise detecting method, noise detector and image decoding apparatus |
FI117534B (en) * | 2000-01-21 | 2006-11-15 | Nokia Corp | A method for filtering digital images and a filter |
JP3664626B2 (en) | 2000-02-10 | 2005-06-29 | シャープ株式会社 | Filter device |
JP2001275110A (en) * | 2000-03-24 | 2001-10-05 | Matsushita Electric Ind Co Ltd | Method and system for dynamic loop and post filtering |
JP2003032685A (en) | 2001-07-16 | 2003-01-31 | Sony Corp | Noise reduction method and image processing device |
KR100845067B1 (en) | 2001-09-12 | 2008-07-09 | 마쯔시다덴기산교 가부시키가이샤 | Image coding method and image decoding method |
US7319949B2 (en) * | 2003-05-27 | 2008-01-15 | Microsoft Corporation | Unilingual translator |
-
2002
- 2002-09-11 KR KR1020067012682A patent/KR100845067B1/en active IP Right Grant
- 2002-09-11 AT AT04027152T patent/ATE337683T1/en not_active IP Right Cessation
- 2002-09-11 CN CN2006100997951A patent/CN1968412B/en not_active Expired - Lifetime
- 2002-09-11 ES ES04027152T patent/ES2271762T3/en not_active Expired - Lifetime
- 2002-09-11 CN CNA028028643A patent/CN1493157A/en active Pending
- 2002-09-11 DE DE60234962T patent/DE60234962D1/en not_active Expired - Lifetime
- 2002-09-11 ES ES10171924T patent/ES2379337T3/en not_active Expired - Lifetime
- 2002-09-11 CA CA2582664A patent/CA2582664C/en not_active Expired - Lifetime
- 2002-09-11 AT AT06011479T patent/ATE454016T1/en not_active IP Right Cessation
- 2002-09-11 BR BRPI0205988A patent/BRPI0205988B1/en active IP Right Grant
- 2002-09-11 MX MXPA03004077A patent/MXPA03004077A/en active IP Right Grant
- 2002-09-11 KR KR20037006439A patent/KR100656296B1/en active IP Right Grant
- 2002-09-11 CA CA2582665A patent/CA2582665C/en not_active Expired - Lifetime
- 2002-09-11 US US10/416,002 patent/US7126989B2/en not_active Expired - Lifetime
- 2002-09-11 AT AT09174234T patent/ATE507677T1/en not_active IP Right Cessation
- 2002-09-11 ES ES06011479T patent/ES2335677T3/en not_active Expired - Lifetime
- 2002-09-11 CN CN2006100997985A patent/CN1968413B/en not_active Expired - Lifetime
- 2002-09-11 EP EP20020763018 patent/EP1387585B1/en not_active Expired - Lifetime
- 2002-09-11 KR KR1020067012681A patent/KR100804902B1/en active IP Right Grant
- 2002-09-11 AT AT10171925T patent/ATE540531T1/en active
- 2002-09-11 CN CNA2006100997947A patent/CN1968411A/en active Pending
- 2002-09-11 KR KR1020067012680A patent/KR100743818B1/en active IP Right Grant
- 2002-09-11 EP EP20100171925 patent/EP2296382B1/en not_active Expired - Lifetime
- 2002-09-11 DK DK10171925T patent/DK2296382T3/en active
- 2002-09-11 DE DE2002603492 patent/DE60203492T2/en not_active Expired - Lifetime
- 2002-09-11 WO PCT/JP2002/009244 patent/WO2003026314A1/en active IP Right Grant
- 2002-09-11 AT AT02763018T patent/ATE292357T1/en not_active IP Right Cessation
- 2002-09-11 EP EP20090174234 patent/EP2164267B1/en not_active Expired - Lifetime
- 2002-09-11 CN CNB2005101135971A patent/CN100515090C/en not_active Expired - Lifetime
- 2002-09-11 KR KR1020067025365A patent/KR100801385B1/en active IP Right Grant
- 2002-09-11 EP EP20100171924 patent/EP2293579B1/en not_active Expired - Lifetime
- 2002-09-11 CA CA002428081A patent/CA2428081C/en not_active Expired - Lifetime
- 2002-09-11 EP EP20040027152 patent/EP1515567B1/en not_active Expired - Lifetime
- 2002-09-11 PT PT10171925T patent/PT2296382E/en unknown
- 2002-09-11 EP EP20060011479 patent/EP1694076B1/en not_active Expired - Lifetime
- 2002-09-11 CN CNA2005100915073A patent/CN1738429A/en active Pending
- 2002-09-11 DK DK02763018T patent/DK1387585T3/en active
- 2002-09-11 DE DE60239904T patent/DE60239904D1/en not_active Expired - Lifetime
- 2002-09-11 EP EP20100180875 patent/EP2290987B1/en not_active Expired - Lifetime
- 2002-09-11 ES ES02763018T patent/ES2238593T3/en not_active Expired - Lifetime
- 2002-09-11 ES ES10171925T patent/ES2375553T3/en not_active Expired - Lifetime
- 2002-09-11 EP EP20100180885 patent/EP2278817B1/en not_active Expired - Lifetime
- 2002-09-11 DE DE2002614248 patent/DE60214248T8/en active Active
- 2002-09-11 ES ES10180885T patent/ES2387357T3/en not_active Expired - Lifetime
- 2002-09-11 AT AT10171924T patent/ATE543339T1/en active
- 2002-09-11 JP JP2002265355A patent/JP3756475B2/en not_active Expired - Lifetime
-
2005
- 2005-06-06 JP JP2005165828A patent/JP4031490B2/en not_active Expired - Lifetime
-
2006
- 2006-03-30 US US11/392,734 patent/US7583731B2/en not_active Expired - Lifetime
- 2006-06-22 US US11/472,396 patent/US7944977B2/en active Active
- 2006-06-22 US US11/472,438 patent/US7961793B2/en active Active
- 2006-06-22 US US11/472,439 patent/US7929616B2/en active Active
- 2006-12-27 JP JP2006353154A patent/JP4246763B2/en not_active Expired - Lifetime
-
2007
- 2007-10-30 US US11/979,009 patent/US8184722B2/en active Active
- 2007-10-30 US US11/979,014 patent/US8194759B2/en active Active
-
2008
- 2008-11-21 JP JP2008298800A patent/JP2009100481A/en active Pending
-
2010
- 2010-04-01 JP JP2010085576A patent/JP2010193490A/en active Pending
- 2010-07-16 JP JP2010162183A patent/JP4709318B2/en not_active Expired - Lifetime
- 2010-07-16 JP JP2010162182A patent/JP4621811B2/en not_active Expired - Lifetime
-
2011
- 2011-01-27 JP JP2011015658A patent/JP4847612B2/en not_active Expired - Lifetime
- 2011-02-18 JP JP2011033952A patent/JP4722234B2/en not_active Expired - Lifetime
- 2011-08-29 JP JP2011186406A patent/JP5468048B2/en not_active Expired - Lifetime
-
2012
- 2012-04-25 US US13/455,689 patent/US20120213276A1/en not_active Abandoned
-
2013
- 2013-09-05 JP JP2013184405A patent/JP2014017844A/en active Pending
-
2014
- 2014-09-03 JP JP2014179666A patent/JP2015006000A/en active Pending
- 2014-09-03 JP JP2014179667A patent/JP5755364B2/en not_active Expired - Lifetime
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0638197A (en) * | 1992-06-30 | 1994-02-10 | Sony Corp | Coder, decoder and coding method |
KR940006349A (en) * | 1992-07-02 | 1994-03-23 | 모리시타 요이찌 | Image signal encoding and decoding device with adaptive energy enhancement filter |
EP0603878A2 (en) * | 1992-12-25 | 1994-06-29 | Mitsubishi Denki Kabushiki Kaisha | Coding system and method |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100801385B1 (en) | Image coding apparatus and image decoding apparatus | |
JP5469761B2 (en) | Encoding distortion removal method | |
KR100944853B1 (en) | Moving picture encoding method and moving picture decoding method | |
JP4009650B2 (en) | Encoding distortion removal method, moving image encoding method, moving image decoding method, and apparatus and program for realizing the same | |
JP4105218B2 (en) | Receiver and transmitter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130104 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20140103 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20150105 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20151217 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20161220 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20171219 Year of fee payment: 11 |
|
FPAY | Annual fee payment |
Payment date: 20181219 Year of fee payment: 12 |
|
FPAY | Annual fee payment |
Payment date: 20191219 Year of fee payment: 13 |