KR20200075736A - 동화상 부호화 장치 및 그 동작 방법, 동화상 부호화 장치를 탑재하는 차량 - Google Patents

동화상 부호화 장치 및 그 동작 방법, 동화상 부호화 장치를 탑재하는 차량 Download PDF

Info

Publication number
KR20200075736A
KR20200075736A KR1020190147459A KR20190147459A KR20200075736A KR 20200075736 A KR20200075736 A KR 20200075736A KR 1020190147459 A KR1020190147459 A KR 1020190147459A KR 20190147459 A KR20190147459 A KR 20190147459A KR 20200075736 A KR20200075736 A KR 20200075736A
Authority
KR
South Korea
Prior art keywords
reference image
unit
memory
compressed data
inter
Prior art date
Application number
KR1020190147459A
Other languages
English (en)
Inventor
마이끼 호소까와
도시유끼 가야
데쯔야 시바야마
세이지 모찌즈끼
도모히로 우네
가즈시 아끼에
Original Assignee
르네사스 일렉트로닉스 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 르네사스 일렉트로닉스 가부시키가이샤 filed Critical 르네사스 일렉트로닉스 가부시키가이샤
Publication of KR20200075736A publication Critical patent/KR20200075736A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

소용량의 메모리를 사용하여 고화질의 부호화 처리를 행하는 동화상 부호화 장치를 제공한다.
동화상 부호화 장치는, 화상의 예측 부호화의 대상으로 되는 분할된 화상을 부호화한 결과에 기초하여 참조 화상을 생성하는 로컬 디코드 생성부와, 참조 화상을 압축하여 압축 데이터를 생성하는 압축부와, 압축 데이터를 메모리에 저장할지의 여부를 판정하는 참조 화상 저장 판정부와, 메모리에 저장된 참조 화상에 기초하여, 인터 부호화를 위한 움직임 검출을 행하는 인터 예측부를 구비한다. 참조 화상 저장 판정부는, 동화상 데이터의 정해진 영역마다, 참조 화상의 저장에 사용할 허용 데이터양을 설정하고, 허용 데이터양에 기초하여, 참조 화상을 압축한 압축 데이터를 메모리에 저장할지의 여부를 판정한다. 인터 예측부는, 메모리에 저장된 압축 데이터에 대응하는 참조 화상을 움직임 검출의 탐색 범위로 한다.

Description

동화상 부호화 장치 및 그 동작 방법, 동화상 부호화 장치를 탑재하는 차량{VIDEO ENCODING DEIVCE, OPERATING METHODS THEREOF, AND VEHICLES EQUIPPED WITH A VIDEO ENCODING DEVICE}
본 발명은, 동화상 부호화 장치 및 그 동작 방법, 동화상 부호화 장치를 탑재하는 차량에 관한 것이며, 예를 들어 화상 데이터의 압축 처리를 행하는 데 적합한 동화상 부호화 장치 및 그 동작 방법, 동화상 부호화 장치를 탑재하는 차량에 관한 것이다.
화상은 그 정보량이 방대한 데 비해, 동일한 프레임 내에서 근처에 위치하는 화소 간 또는 인접하는 프레임 간에서 프레임 내의 동일한 좌표에 위치하는 화상 간에서의 상관이 강하기 때문에, 그 상관을 이용하여 부호량의 압축이 행해진다. 예를 들어 대표적인 국제 표준으로서, MPEG-2(ITU-T Rec. H.262 | ISO/IEC 13818-2)나 MPEG-4(ISO/IEC 14496-2), H.264(ITU-T Rec. H.264 | ISO/IEC 14496-10), H.265(ISO/IEC 23008-2 HEVC) 등의, 동화상의 압축 부호화와 복호의 방법이 표준화되어 있다. 이들 부호화 방식에서는, 부호량을 삭감하기 위하여 예측 부호화가 채용되어 있으며, 부호화 시에는 어느 방법으로 예측한 화상(예측 화상)과 입력 화상의 차분을 부호화한다. 반대로 복호 시에는 예측 화상에 차분을 가함으로써 복호 화상을 얻는다.
상술한 부호화 처리는 영상 화면(프레임 또는 필드)마다 행해지는 것이며, 화면을 세분화한 블록이 처리 단위로 된다.
예측 화상의 생성 수법은 크게 나누어 2가지 종류로 분류된다. 한쪽은, 단일 프레임을 이용하여 동일 화면 내에서 예측을 행하는 수법(인트라 예측, 프레임 내 예측, 또는 화면 내 예측)이다. 다른 한쪽은, 부호화 대상의 프레임과는 상이한 프레임을 이용하여 프레임 간에서 예측을 행하는 수법(인터 예측, 프레임 간 예측, 또는 화면 간 예측)이다.
인터 부호화(프레임 간 예측 부호화)에 있어서, 동화상 부호화 장치는, 입력된 부호화 대상 프레임의 원화상과 인터 예측된 예측 화상과의 차분을 직교 변환 하고, 그 결과를 양자화하고 가변 길이 부호화하여 송출한다. 한편, 동화상 부호화 장치는 양자화 처리의 결과에 관하여, 역양자화와 역직교 변환을 행하여 참조 화상(국소 복호 화상)을 생성하고, 이후의 인터 부호화에 있어서의 예측 화상으로서 사용하기 위하여 참조 화상을 참조 프레임 메모리에 기억해 둔다. 즉, 동화상 부호화 장치는, 부호화 스트림의 각 화상에 대응하는 참조 화상을 기입 버스를 통하여 메모리에 기입함과 함께, 메모리에 기입된 다른 참조 화상을 판독 버스를 통하여 판독하여 인터 예측의 참조 화상으로서 사용함으로써, 부호화 대상 화상을 부호화한다.
상술한 바와 같이 인터 부호화에서는, 참조 화상을 저장할 메모리가 필요해진다. 이 점에 관하여, 참조 화상 메모리로서 사용할 수 있는 메모리 용량이 한정되어 있는 경우의 동화상 부호화 기술이 특허문헌 1에 개시되어 있다. 특허문헌 1에 기재된 동화상 부호화 장치는, 참조 화상 메모리로서 사용할 수 있는 메모리 용량에 기초하여, 1화상 프레임 내에서 인터 부호화할 최대 매크로블록 수를 결정하고, 현 화상의 부호화 시에 화상 정보나 부호량에 기초하여, 다음 프레임에서 인트라 부호화 및 인터 부호화할 매크로블록 위치를 결정한다. 또한 특허문헌 1에 기재된 동화상 부호화 장치는, 다음 프레임에서 인터 부호화할 것을 결정한 매크로블록 위치만에 대하여 참조 화상을 참조 화상 메모리에 저장함으로써, 참조 화상 메모리를 삭감한다.
또한 상술한 문제와 관련하여, 불가역 압축과 가역 압축의 조합을 이용하여 비디오 데이터를 보다 작은 사이즈로 압축하고, 추가 정보를 압축 데이터에 짜 넣는 방법 및 장치가 특허문헌 2에 개시되어 있다.
일본 특허 공개 제2004-266731호 공보 일본 특허 공개 제2009-260977호 공보
일반적으로 인터 부호화의 압축 효율은 인트라 부호화보다 높기 때문에, 인터 부호화의 비율이 적은 경우, 동일한 압축률에서는 화질이 열화된다. 특허문헌 1에 기재된 동화상 부호화 장치에서는, 미리 인터 부호화할 최대 매크로블록 수를 정해 버리기 때문에, 참조 화상 메모리가 작은 경우, 인터 부호화할 최대 매크로블록 수가 적어진다. 그 때문에 부호화 효율이 악화되어 화질 열화가 일어난다는 문제가 있었다.
한편, 특허문헌 2에 기재된 인코더에서는, 압축 후의 데이터양이, 미리 정한 허용 범위 내이면 가역 압축하고 허용 범위 외이면 비가역 압축한다. 또한 특허문헌 2에 기재된 인코더에서는, 비가역 압축 시에 노이즈가 크다고 판단되는 경우에는 비압축으로 한다. 즉, 도 20의 2MB째의 처리에 나타난 바와 같이, 특허문헌 2에 기재된 인코더에서는, 메모리에 저장되는 최대 데이터 사이즈는 비압축 시의 데이터 사이즈로 된다. 이 때문에, 특허문헌 2에 기재된 인코더에서는, 1매크로블록이 사용할 수 있는 메모리 용량으로서, 비압축 시의 데이터 사이즈분의 용량을 확보하고 있다.
도 20의 (a)에 나타난 바와 같이, 메모리 용량이 큰 경우에는, 모든 매크로블록의 참조 화상을 비압축인 채로 메모리에 저장할 수 있다. 그러나 도 20의 (b)에 나타난 바와 같이, 메모리 용량이 작은 경우, 특허문헌 2에 기재된 인코더는, 모든 매크로블록에 대하여 비압축 시의 데이터 사이즈분의 메모리 용량을 확보할 수가 없다. 그 때문에, 특허문헌 2에 개시되어 있는 기술을, 소용량의 메모리를 이용하여 동화상의 부호화를 행할 수 있는 장치에 적용하는 것은 곤란하다.
본 발명의 과제는, 소용량의 메모리(예를 들어 SRAM(Static Random Access Memory))를 사용하여 고화질의 부호화 처리를 행할 수 있는 동화상 부호화 장치를 제공하는 것이다. 그 외의 과제 및 신규의 특징은 본 명세서의 기술 및 도면의 기재로부터 밝혀질 것이다.
일 실시 형태에 따른 동화상 부호화 장치는, 예측 부호화의 대상으로 되는 분할된 화상과 참조 화상의 차분을 구하여 예측 부호화를 행하는 화상 부호화부와, 분할된 화상의 부호화 결과에 기초하여 참조 화상을 생성하는 로컬 디코드 생성부와, 참조 화상을 압축하여 압축 데이터를 생성하는 압축부와, 동화상 데이터의 정해진 영역마다, 메모리에 저장할 압축 데이터의 허용 데이터양을 미리 설정하는 허용 데이터양 설정부와, 압축 데이터를 메모리에 저장할지의 여부를 판정하는 참조 화상 저장 판정부와, 메모리에 저장된 참조 화상에 기초하여, 인터 부호화를 위한 움직임 검출을 행하는 인터 예측부를 구비하고, 참조 화상 저장 판정부는 허용 데이터양에 기초하여, 압축 데이터를 메모리에 저장할지의 여부를 판정하고, 압축 데이터를 메모리에 저장한다는 판정 결과에 기초하여 압축 데이터를 메모리에 저장하고, 인터 예측부는, 메모리에 저장된 압축 데이터에 대응하는 참조 화상을 움직임 검출의 탐색 범위로 한다.
다른 실시 형태에 따른 동화상 부호화 장치의 동작 방법은, 예측 부호화의 대상으로 되는 분할된 화상과 참조 화상의 차분을 구하여 예측 부호화를 행하는 화상 부호화부와, 분할된 화상의 부호화 결과에 기초하여 참조 화상을 생성하는 로컬 디코드 생성부와, 참조 화상을 압축하여 압축 데이터를 생성하는 압축부와, 동화상 데이터의 정해진 영역마다, 메모리에 저장할 압축 데이터의 허용 데이터양을 미리 설정하는 허용 데이터양 설정부와, 압축 데이터를 메모리에 저장할지의 여부를 판정하는 참조 화상 저장 판정부와, 메모리에 저장된 참조 화상에 기초하여, 인터 부호화를 위한 움직임 검출을 행하는 인터 예측부를 구비하는 동화상 부호화 장치의 동작 방법이며, 참조 화상 저장 판정부는 허용 데이터양에 기초하여, 압축 데이터를 메모리에 저장할지의 여부를 판정하고, 압축 데이터를 메모리에 저장한다는 판정 결과에 기초하여 압축 데이터를 메모리에 저장하고, 인터 예측부는, 메모리에 저장된 압축 데이터에 대응하는 참조 화상을 움직임 검출의 탐색 범위로 한다.
다른 실시 형태에 따른 차량은, 동화상 데이터를 출력하는 카메라와, 카메라로부터 출력되는 동화상 데이터를 입력되는 동화상 부호화 장치와, 메모리를 구비하고, 상기 동화상 부호화 장치는, 예측 부호화의 대상으로 되는 분할된 화상과 참조 화상의 차분을 구하여 예측 부호화를 행하는 화상 부호화부와, 분할된 화상의 부호화 결과에 기초하여 참조 화상을 생성하는 로컬 디코드 생성부와, 참조 화상을 압축하여 압축 데이터를 생성하는 압축부와, 동화상 데이터의 정해진 영역마다, 메모리에 저장할 압축 데이터의 허용 데이터양을 미리 설정하는 허용 데이터양 설정부와, 압축 데이터를 메모리에 저장할지의 여부를 판정하는 참조 화상 저장 판정부와, 메모리에 저장된 참조 화상에 기초하여, 인터 부호화를 위한 움직임 검출을 행하는 인터 예측부를 구비하고, 참조 화상 저장 판정부는 허용 데이터양에 기초하여, 압축 데이터를 메모리에 저장할지의 여부를 판정하고, 압축 데이터를 메모리에 저장한다는 판정 결과에 기초하여 압축 데이터를 메모리에 저장하고, 인터 예측부는, 메모리에 저장된 압축 데이터에 대응하는 참조 화상을 움직임 검출의 탐색 범위로 하고, 동화상 부호화 장치는 운전 모드에 따라 메모리의 사용량을 가변으로 한다.
일 실시 형태에 의하면, 동화상 부호화 장치는 소용량의 메모리를 사용하여 고화질의 부호화를 행할 수 있다.
도 1은 실시 형태 1에 따른 카메라 모듈의 구성예를 나타내는 블록도이다.
도 2는 실시 형태 1에 따른 동화상 부호화 장치를 포함하는 반도체 장치의 구성예를 나타내는 블록도이다.
도 3은 실시 형태 1에 따른 동화상 부호화 장치의 구성예를 나타내는 블록도이다.
도 4는 실시 형태 1에 따른 참조 화상 저장 판정부의 구성예를 나타내는 블록도이다.
도 5는 실시 형태 1에 따른 동화상 부호화 장치가 1프레임의 화상을 복수의 화상으로 분할하고, 분할된 화상을 정해진 순서대로 부호화하는 모습을 나타내는 도면이다.
도 6은 실시 형태 1에 따른 동화상 부호화 장치의 동작의 일례를 나타내는 도면이다.
도 7은 실시 형태 1에 따른 참조 화상 저장 판정부가, 참조 화상을 압축한 압축 데이터를 참조 화상 메모리에 저장할지 말지 판정하는 처리의 일례를 나타내는 흐름도이다.
도 8은 실시 형태 1에 따른 인터 예측부가 움직임 검출을 행할 때의 탐색 범위의 예를 나타내는 도면이다.
도 9는 실시 형태 1에 따른 동화상 부호화 장치에 있어서의 인트라/인터 부호화 판정 처리의 일례를 나타내는 흐름도이다.
도 10은 실시 형태 2에 따른 참조 화상 저장 판정부의 구성예를 나타내는 블록도이다.
도 11은 실시 형태 2에 따른 동화상 부호화 장치에 있어서의 참조 화상 저장 판정 처리의 일례를 나타내는 흐름도이다.
도 12는 실시 형태 3에 따른 동화상 부호화 장치의 구성예를 나타내는 블록도이다.
도 13은 실시 형태 1에 따른 동화상 부호화 장치에 의한 참조 화상 저장 결과의 일례를 나타내는 도면이다.
도 14는 실시 형태 3에 따른 동화상 부호화 장치의 동작의 일례를 나타내는 도면이다.
도 15는 실시 형태 4에 따른 동화상 부호화 장치의 구성예를 나타내는 블록도이다.
도 16은 실시 형태 4에 따른 복잡도 기억부 및 치환 정보 기억부가 기억하는 정보의 일례를 나타내는 도면이다.
도 17은 실시 형태 4에 따른 동화상 부호화 장치에 있어서의 참조 화상 저장 판정 처리의 일례를 나타내는 흐름도이다.
도 18은 실시 형태 5에 따른 차량 제어 시스템의 구성의 일례를 나타내는 블록도이다.
도 19는 실시 형태 5에 따른 카메라 모듈의 구성예를 나타내는 블록도이다.
도 20은 종래 기술(특허문헌 2)에 따른 인코더가 참조 화상을 압축할 때의 동작예를 나타내는 도면이다.
설명의 명확화를 위하여 이하의 기재 및 도면은 적절히 생략 및 간략화가 이루어져 있다. 또한 다양한 처리를 행하는 기능 블록으로서 도면에 기재되는 각 요소는, 하드웨어적으로는 CPU(Central Processing Unit), 메모리, 그 외의 회로로 구성할 수 있고, 소프트웨어적으로는 메모리에 로드된 프로그램 등에 의하여 실현된다. 따라서 이들 기능 블록을 하드웨어만, 소프트웨어만, 또는 그들의 조합에 의하여 다양한 형태로 실현할 수 있음은 당업자에게는 이해되는 바이며, 어느 것에 한정되는 것은 아니다. 또한 각 도면에 있어서 동일한 요소에는 동일한 부호가 붙여져 있으며, 필요에 따라 중복 설명은 생략되어 있다.
또한 상술한 프로그램은, 다양한 타입의 비일시적인 컴퓨터 가독 매체를 이용하여 저장되어 컴퓨터에 공급할 수 있다. 비일시적인 컴퓨터 가독 매체는, 다양한 타입의, 실체가 있는 기록 매체를 포함한다. 비일시적인 컴퓨터 가독 매체의 예는, 자기 기록 매체(예를 들어 플렉시블 디스크, 자기 테이프, 하드 디스크 드라이브), 광 자기 기록 매체(예를 들어 광 자기 디스크), CD-ROM(Read Only Memory), CD-R, CD-R/W, 반도체 메모리(예를 들어 마스크 ROM, PROM(Programmable ROM), EPROM(Erasable PROM), 플래시 ROM, RAM(Random Access Memory))를 포함한다. 또한 프로그램은, 다양한 타입의 일시적인 컴퓨터 가독 매체에 의하여 컴퓨터에 공급되어도 된다. 일시적인 컴퓨터 가독 매체의 예는 전기 신호, 광 신호 및 전자파를 포함한다. 일시적인 컴퓨터 가독 매체는, 전선 및 광 파이버 등의 유선 통신로, 또는 무선 통신로를 통하여 프로그램을 컴퓨터에 공급할 수 있다.
[실시 형태 1]
도 1은, 실시 형태 1에 따른 카메라 모듈(1)의 구성예를 나타내는 블록도이다. 본 실시 형태에 따른 카메라 모듈(1)은, 예를 들어 차량의 우측 전방과 좌측 전방과 우측 후방과 좌측 후방에 구비되어, 차량 주변의 영상을 동화상으로서 촬영한다. 도 1에 나타난 바와 같이 카메라 모듈(1)은, 카메라 센서(10)와, 카메라 ISP(Image Signal Processor)(11)와, 동화상 부호화 장치를 포함하는 반도체 장치(12)와, 송신부(13)를 구비한다.
카메라 센서(10)는, 주변의 동화상을 촬상하는 촬상 소자이며, 촬상한 동화상을 카메라 ISP(11)에 출력한다.
카메라 ISP(11)는, 카메라 센서(10)가 촬영한 데이터를 수신하여, 화이트 밸런스의 조정이나 왜곡 보정이나 데이터의 포맷 변환을 행하여 반도체 장치(12)에 동화상을 출력한다. 카메라 ISP가 행하는 처리는 상기 예에 한정되지 않으며, 동화상 데이터에 대한 다양한 처리를 포함해도 된다.
반도체 장치(12)는 동화상 부호화 장치를 포함한다. 반도체 장치(12)는, 카메라 ISP(11)로부터 입력된 부호화 대상의 입력 동화상을 부호화함으로써 부호화 스트림(비트 스트림)을 생성한다. 반도체 장치(12)는, 생성한 비트 스트림을 송신부(13)에 출력한다.
송신부(13)는 유선 네트워크 또는 무선 네트워크를 통하여 비트 스트림을, 카메라 모듈(1)의 외부에 있는 동화상 복호 장치(14)에 송신한다.
또한 도 1은, 카메라 모듈(1)의 일 구성예를 나타내는 블록도이며, 이와 상이한 구성을 취해도 된다. 예를 들어 카메라 ISP(11)는 반도체 장치(12)에 포함되어도 된다. 또한 송신부(13)의 일부가 반도체 장치(12)에 포함되어도 된다.
다음으로, 도 2는, 실시 형태 1에 따른 동화상 부호화 장치를 포함하는 반도체 장치(12)의 구성예를 나타내는 블록도이다. 도 2에 나타난 바와 같이 반도체 장치(12)는 CPU(15)와 버스(16)와 ROM(17)과 동화상 부호화 장치(18)와 SRAM(19)을 구비한다.
CPU(15)는 버스(16)를 통하여, ROM(17)에 저장된 프로그램을 판독하여 명령을 실행한다. CPU(15)는 프로그램을 실행하여, 동화상 부호화 장치(18)의 동작을 제어하는 다양한 제어 레지스터(도시하지 않음)에 설정값을 기입할 수 있으며, 또한 제어 레지스터 외에, 동화상 부호화 장치(18)의 처리 상태를 나타내는 스테이터스 레지스터 등 다양한 레지스터를 판독할 수 있다. 동화상 부호화 장치(18)는 버스(16)를 통하여 참조 화상을 SRAM(19)에 기입할 수 있으며, 또한 이를 판독할 수 있다.
또한 도 2는, 반도체 장치(12)의 일 구성예를 나타내는 블록도이며, 이와 상이한 구성을 취해도 된다. 예를 들어 도 2에서는, CPU(15)가 실행하는 프로그램을 저장하는 ROM(17)이 반도체 장치(12)에 내장되어 있지만, 프로그램을 저장하는 ROM은 반도체 장치(12)의 외부에 구비해도 된다.
다음으로, 도 3은, 동화상 부호화 장치(18)의 구성예를 나타내는 블록도이다. 도 3에 나타난 바와 같이 동화상 부호화 장치(18)는 화상 입력부(100)와 인트라 예측부(101)와 인터 예측부(102)와 인트라/인터 판정부(103)와 직교 변환부(104)와 양자화부(105)와 로컬 디코드 생성부(106)와 압축부(110)와 참조 화상 저장 판정부(111)와 메모리 제어부(112)와 플래그 저장부(114)와 참조 화상 유무 판정부(115)와 신장부(116)와 부호화부(117)와 부호량 제어부(118)와 감산기(120)와 가산기(121)를 구비한다. 또한 도 3에 나타나는 참조 화상 메모리(113)는 SRAM(19)의 일부 내지 전부의 영역으로서 구비되어 있다.
화상 입력부(100)는 입력 동화상 DVin을 수신한다. 화상 입력부(100)는, 입력 동화상 DVin의 주파수와 동화상 부호화 장치(18)의 동작 주파수의 차이를 조정하는 기능을 구비한다. 예를 들어 화상 입력부(100)는, 입력 동화상 DVin을 일시 보존하는 버퍼를 구비함으로써 주파수의 차를 조정한다.
화상 입력부(100)는, 수신한 입력 동화상 DVin에 기초하여, 예측 부호화의 대상으로 할 화상을, 동화상 부호화의 국제 표준에 준한 사이즈의 블록으로 분할하여 인트라 예측부(101)와 인터 예측부(102)와 감산기(120)에 송신한다.
인트라 예측부(101)는, 입력 화상을 인트라 부호화한 경우에 요하는 인트라 부호화 비용을 계산하여 인트라/인터 판정부(103)에 송신한다. 또한 인트라 예측부(101)는, 인트라 예측에 사용할 인트라 예측 화상을 인트라/인터 판정부(103)에 송신한다.
인터 예측부(102)는 움직임 예측을 행한다. 또한 인터 예측부(102)는 움직임 예측의 결과에 기초하여, 입력 화상과 참조 화상의 차분을 이용하여 인터 부호화한 경우에 요하는 인터 부호화 비용을 계산한다. 인터 예측부(102)는 인터 부호화 비용을 계산하기 위하여, 신장부(116)가 압축 데이터를 신장하여 얻어진 참조 화상을 움직임 검출의 탐색 범위로 한다. 또한 인터 예측부(102)는, 인터 예측에 사용할 인터 예측 화상으로서, 인터 부호화 비용이 최소로 되는 참조 화상을 인트라/인터 판정부(103)에 송신한다.
인트라/인터 판정부(103)는, 예측 부호화의 대상으로 되는 분할된 화상에 대하여, 인트라 예측부(101)로부터 송신되는 인트라 부호화 비용과, 인터 예측부(102)로부터 송신되는 인터 부호화 비용과, 참조 화상 유무 판정부로부터 송신되는 참조 화상 유무 정보에 기초하여, 인트라 부호화할지 인터 부호화할지를 결정한다. 인트라/인터 판정부(103)는, 결정한 예측 모드에 따라 선택한 예측 화상을 감산기(120)에 송신한다.
감산기(120)는, 입력 화상과, 인트라/인터 판정부(103)로부터 송신되는 예측 화상과의 차분을 산출한다.
직교 변환부(104)는, 감산기(120)가 출력하는, 입력 화상과 예측 화상의 차분 화상에 대하여, DCT(Discrete Cosine Transform)나 DST(Discrete Sine Transform)와 같은 직교 변환 처리를 행한다. 예를 들어 직교 변환부(104)의 직교 변환이 DCT인 경우, 직교 변환부(104)는 DCT 계수를 산출하여 양자화부(105)에 송신한다.
양자화부(105)는, 직교 변환부(104)에 의한 직교 변환 처리의 결과에 관하여 양자화 처리를 행한다. 예를 들어 직교 변환부(104)의 직교 변환이 DCT인 경우, 양자화부(105)는, 직교 변환부(104)로부터 출력된 DCT 계수를 양자화한다.
로컬 디코드부(106)는 역양자화부(107)와 역직교 변환부(108)와 가산기(121)와 디블로킹 필터부(109)를 구비한다. 로컬 디코드부(106)는, 양자화부(105)로부터 송신되는 양자화 처리 결과와, 예측 화상에 기초하여, 참조 화상을 생성하여 압축부(110)에 출력한다.
역양자화부(107)는, 양자화부(105)에 의한 양자화 처리 결과에 관하여 역양자화 처리를 행한다. 역직교 변환부(108)는, 역양자화부(107)에 의한 역양자화 처리 결과에 관하여 역직교 변환 처리를 행한다. 예를 들어 직교 변환부(104)의 직교 변환이 DCT인 경우, 역양자화부(107)는, 양자화된 DCT 계수에 대하여 역양자화를 행한다. 또한 역직교 변환부(108)는, 역양자화부(107)에 의하여 역양자화된 DCT 계수에 대하여 역DCT를 실시함으로써 차분 복호 화상을 출력한다.
가산기(121)는, 역직교 변환부(108)로부터 송신되는 차분 복호 화상과, 예측 화상을 가산하여, 가산 결과를 디블로킹 필터부(109)에 출력한다.
디블로킹 필터부(109)는, 가산기(121)의 가산 결과에 대하여 디블로킹 필터 처리를 행하여 참조 화상을 생성한다. 디블로킹 필터부(109)에 있어서, 필터가 오프인 경우에는 가산기(121)의 가산 결과가 그대로 참조 화상으로서 디블로킹 필터부(109)로부터 출력된다. 디블로킹 필터부(109)에 있어서, 필터가 온인 경우에는 가산기(121)의 가산 결과를 디블로킹 필터 처리한 결과가 참조 화상으로서 디블로킹 필터부(109)로부터 출력된다.
압축부(110)는, 로컬 디코드 생성부(106)로부터 수취한 참조 화상을 가역 압축하여 참조 화상 저장 판정부(111)에 출력한다.
참조 화상 저장 판정부(111)는, 압축부(110)로부터 수신한, 참조 화상을 압축한 압축 데이터(「참조 화상의 압축 데이터」라 칭하는 경우가 있음)를 참조 화상 메모리(113)에 저장할지 말지 판정한다. 참조 화상 저장 판정부(111)는, 압축 데이터를 참조 화상 메모리(113)에 저장하는 경우, 메모리 제어부(112)에, 참조 화상 메모리(113)로의 기입을 요구하고 압축 데이터를 송신한다. 참조 화상 저장 판정부(111)는 허용 데이터양 설정부(141)를 구비하는데, 허용 데이터양 설정부(141)에 대해서는, 도 4을 이용한 설명에서 후술한다.
플래그 저장부(114)는 참조 화상 저장 판정부(111)의 판정 결과에 기초하여, 참조 화상 메모리(113)에 압축 데이터를 저장하였는지의 여부를 나타내는 플래그를 기억한다.
메모리 제어부(112)는, 동화상 부호화 장치(18)의 각 부로부터의 요구에 기초하여, 압축 데이터를 참조 화상 메모리(113)에 기입하기 위한 제어, 및 압축 데이터를 참조 화상 메모리(113)로부터 판독하기 위한 제어를 행한다. 보다 구체적으로는, 메모리 제어부(112)는 버스(16)를 경유하여, SRAM 내에 있는 참조 화상 메모리(113)에 리드 액세스 또는 라이트 액세스한다.
참조 화상 메모리(113)는, 참조 화상을 압축한 압축 데이터를 저장하기 위한 기억 장치이다.
참조 화상 유무 판정부(115)는, 플래그 저장부(114)가 기억하는 참조 화상의 유무에 관한 정보를 판독한다. 참조 화상의 압축 데이터가 참조 화상 메모리(113)에 저장되어 있는 경우에는, 참조 화상 유무 판정부(115)는 메모리 제어부(112)에 대하여 참조 화상의 판독을 요구한다. 이 요구에 기초하여 메모리 제어부(112)는 참조 화상 메모리(113)로부터 참조 화상의 압축 데이터를 판독하고, 참조 화상 유무 판정부(115)를 경유하여 신장부(116)에 압축 데이터를 송신한다.
신장부(116)는, 참조 화상 메모리(113)로부터 판독된 참조 화상의 압축 데이터에 대하여 신장 처리를 행하고, 신장 처리의 결과인 참조 화상을 인터 예측부(102)에 송신한다.
부호화부(117)는, 양자화부(105)의 양자화 처리의 결과에 관하여 부호화 처리를 실행함으로써 비트 스트림 BSout를 생성한다.
부호량 제어부(118)는, 부호화부(117)에서 생성된 부호량에 기초하여 양자화 스케일을 조정하고, 양자화부(105)에서 조정된 양자화 스케일을 송신한다.
도 4는, 참조 화상 저장 판정부(111)의 구성예를 나타내는 블록도이다. 도 4에 나타난 바와 같이 참조 화상 저장 판정부(111)는 압축 데이터양 검출부(140)와 허용 데이터양 설정부(141)와 저장 데이터양 산출부(142)와 데이터양 비교부(146)와 저장 판정부(147)를 구비한다.
압축 데이터양 검출부(140)는, 압축부(110)로부터 송신되는 압축 데이터의 데이터 사이즈를 산출한다.
허용 데이터양 설정부(141)는, 입력 화상 내의 미리 정해진 영역(이하, 「단위 영역」이라 칭하는 경우가 있음)마다, 참조 화상 메모리(113)에 저장할 압축 데이터의 허용 데이터양을 미리 설정한다. 예를 들어 허용 데이터양 설정부(141)는, 기입 가능한 레지스터로 구성되며, CPU(15)가 동화상 부호화 장치(18)의 드라이버(소프트웨어)를 실행함으로써 설정된다.
단위 영역은 임의로 설정할 수 있다. 예를 들어 단위 영역은, MPEG의 1매크로블록 라인이어도 되고 2매크로블록 라인이어도 되고 1코딩 유닛 라인이어도 된다.
허용 데이터양(145)도 임의로 설정 가능하다. 예를 들어 사용 가능한 메모리 용량을, 입력 동화상 DVin의 1프레임에 포함되는 매크로블록 라인 수로 나눈 값을, 허용 데이터양(145)으로서 허용 데이터양 설정부(141)에 설정할 수 있다.
저장 데이터양 산출부(142)는 단위 영역에 대하여, 참조 화상 메모리(113)에 저장 완료된 데이터양(이하, 「저장 완료 데이터양」이라 칭함)과, 압축 데이터양 검출부(140)에서 검출한 압축 데이터의 데이터 사이즈를 가산하여, 가산 결과를 저장 시 데이터양(144)으로서 데이터양 비교부(146)에 송신한다. 저장 데이터양 산출부(142)는 단위 영역마다 저장 시 데이터양(144)을 산출하기 위하여, 단위 영역의 처리를 시작할 때마다 초기화된다. 즉, 단위 영역의 처리 개시 시에는 저장 완료 데이터양을 0으로 초기화한다.
데이터양 비교부(146)는, 허용 데이터양 설정부(141)에 설정된 허용 데이터양(145)과, 저장 데이터양 산출부(142)로부터 송신되는 저장 시 데이터양(144)을 비교하여, 비교 결과를 저장 판정부(147)에 송신한다.
저장 판정부(147)는 데이터양 비교부(146)의 비교 결과에 기초하여, 압축 데이터를 참조 화상 메모리(113)에 저장할지의 여부를 판정한다. 저장 시 데이터양(144)이 허용 데이터양(145) 이하인 경우, 저장 판정부(147)는, 압축 데이터를 참조 화상 메모리(113)에 저장하는 것을 허가한다는 판정 결과 정보(148)를 메모리 제어부(112)와 플래그 저장부(114)와 저장 데이터양 산출부(142)에 송신한다. 저장 판정부(147)는, 참조 화상의 압축 데이터를 참조 화상 메모리(113)에 저장한다고 판정한 경우에는, 저장할 데이터의 데이터 사이즈 정보(렝스 정보)도 플래그 저장부(114)에 더 송신한다.
저장 데이터양 산출부(142)는, 판정 대상 압축 데이터를 참조 화상 메모리(113)에 저장하는 것을 허가한다는 정보에 따른 저장 완료 데이터양을 보유하고 기억한다.
한편, 저장 시 데이터양(144)이 허용 데이터양(145)보다 큰 경우, 저장 판정부(147)는 데이터양 비교부(146)의 비교 결과에 기초하여, 압축 데이터를 참조 화상 메모리(113)에 저장하는 것을 허가하지 않는다는 판정 결과 정보(148)를 메모리 제어부(112)와 플래그 저장부(114)와 저장 데이터양 산출부(142)에 송신한다. 저장 데이터양 산출부(142)는, 판정 대상 압축 데이터를 참조 화상 메모리(113)에 저장하는 것을 허가하지 않는다는 정보에 따른 저장 완료 데이터양을 보유하고 기억한다.
(동화상 부호화 장치의 동작)
다음으로, 동화상 부호화 장치(18)의 동작에 대하여 설명한다. 도 5는, 실시 형태 1에 따른 동화상 부호화 장치(18)가 1프레임의 화상을 복수의 화상으로 분할하고, 분할된 화상을 정해진 순서대로 부호화하는 모습을 나타내는 도면이다. 도 5에 나타난 바와 같이 프레임 내의 화상은 복수의 직사각형 블록으로 분할된다. 예를 들어 MPEG에서는 통상, 16 화소×16 화소의 매크로블록(MB)이라 칭해지는 직사각형 블록으로 분할되어 매크로블록마다 부호화를 행한다. 동화상 부호화 장치(18)는, 1프레임 내에서는 좌측 상방으로부터 우측 하방을 향하여 화살표 순으로 각 직사각형 블록의 부호화 처리를 행한다. 이하에서는, 화상의 예측 부호화의 대상으로 되는 분할된 화상, 즉, 부호화 대상 블록은 매크로블록인 것으로 하여 설명하지만, 분할할 블록의 단위는 매크로블록에 한정되지 않는다. 예를 들어 HEVC 규격에 준거하여 부호화되는 경우의 부호화 처리 단위인 코딩 유닛이어도 된다. 분할된 화상이 매크로블록인 경우, 도 5에서, 위로부터 3행째의 직사각형 블록을 굵은 선으로 둘러싼 영역은 1매크로블록 라인(MBL)에 상당한다. 이하, 단위 영역은 1매크로블록 라인인 것으로 하여 설명한다.
도 3으로 되돌아가, 동화상 부호화 장치(18)의 부호화 동작을 설명한다. 화상 입력부(100)는 입력 동화상 DVin 중, 부호화 대상으로 되는 매크로블록을 인트라 예측부(101)와 인터 예측부(102)와 감산기(120)에 출력한다. 인트라 예측부(101), 인터 예측부(102)의 상세 동작은 후술하겠지만, 각각 인트라/인터 판정부(103)에, 산출한 부호화 비용과 예측 화상을 송신한다.
인트라/인터 판정부(103)는, 부호화 대상의 매크로블록을 인트라 부호화할지 인터 부호화할지를, 입력된 부호화 비용에 기초하여 판정한다. 그리고 인트라/인터 판정부(103)는, 선택한 부호화 방법에 대응하는 예측 화상을 감산기(120)에 송신한다. 감산기(120)는 입력 화상(부호화 대상인 매크로블록)과 예측 화상의 차분을 산출하고, 직교 변환부(104)에 차분 화상을 송신한다.
직교 변환부(104)는, 감산기(120)가 산출한 감산 결과에 대하여 직교 변환 처리를 행하고, 직교 변환의 결과를 양자화부(105)에 출력한다. 양자화부(105)는, 부호량 제어부(118)로부터 입력되는 양자화 스케일에 따라, 직교 변환부(104)의 직교 변환 처리 결과에 관하여 양자화 처리를 실행한다.
부호화부(117)는, 양자화부(105)가 양자화 처리한 결과에 관하여 부호화 처리를 실행함으로써 비트 스트림 BSout를 생성한다.
또한 도 3을 이용하여 동화상 부호화 장치(18)의 로컬 디코드 동작을 설명한다. 로컬 디코드 생성부(106)는, 양자화부(105)에 의한 양자화 처리의 결과에 관하여, 역양자화부(107)에 의한 역양자화와, 역직교 변환부(108)에 의한 역직교 변환 처리를 실시하여, 차분 복호 화상을 생성한다. 가산기(121)는 복호 차분 화상과 예측 화상을 가산한다. 디블로킹 필터부(109)는 가산기(121)의 가산 결과에 관하여 디블로킹 필터 처리를 행하여, 참조 화상을 생성하여 압축부(110)에 출력한다.
다음으로, 도 3에 도시하는 압축부(110)에서 행해지는, 참조 화상의 가역 압축에 대하여 설명한다. 압축부(110)는 참조 화상을 입력으로 하고, 이를 가역 압축하여 압축 데이터를 생성한다. 가역 압축은, 압축 후의 데이터 길이가 가변 길이이기 때문에, 매크로블록마다 처리를 행하면 압축 후의 데이터양이 압축 전의 데이터양보다 증가하는 경우가 있다. 이 경우, 참조 화상 메모리(113) 내에 있는, 아직 판독하고 있지 않은 참조 화상에 대응하는 압축 데이터를 덮어쓰기할 가능성이 있다. 그래서 본 실시 형태에서는, 데이터의 덮어쓰기를 방지하기 위하여 단위 영역마다, 압축 데이터를 참조 화상 메모리(113)에 저장할지의 여부의 제어를 행한다.
다음으로, 도 6을 이용하여, 참조 화상 메모리에 대한 저장 판정 동작에 대하여 설명한다. 본 실시 형태에 따른 동화상 부호화 장치(18)는 매크로블록마다 참조 화상을 가역 압축하고, 참조 화상을 압축하여 얻은 압축 데이터를 참조 화상 메모리(113)에 저장한다. 도 6은, 단위 영역이 1매크로블록 라인인 경우의 동작의 일례를 나타내고 있다. 도 6에 나타난 바와 같이, 압축부(110)가, 어느 매크로블록 라인의 1MB째에 대응하는 참조 화상을 압축하였을 때, 압축 데이터의 사이즈는 원래의 데이터 사이즈보다도 감소하고 있다. 그러나 압축부(110)가, 2MB째에 대응하는 참조 화상을 가역 압축하였을 때, 압축 데이터의 사이즈는 원래의 데이터 사이즈보다도 증가하고 있다. 그러나 본 실시 형태에서는, 매크로블록 라인마다, 허용 데이터양 설정부(141)에서 설정한 데이터양을 초과하지 않도록 참조 화상 메모리(113)로의 기입량을 제어하고 있으므로, 데이터의 덮어쓰기의 문제는 발생하지 않는다. 다음으로, 압축부(110)가, xMB째에 대응하는 압축 데이터를 참조 화상 메모리(113)에 저장한 시점에서, 허용 데이터양 설정부(141)에서 설정한 메모리양이 남김 없이 사용되어 있다. 이 때문에, 참조 화상 저장 판정부(111)는 이후의 MB에 대해서는, 참조 화상 메모리(113)의 잔량이 없다고 판단하여 압축 데이터를 참조 화상 메모리(113)에 저장하지 않는다.
도 7은, 본 실시 형태에 따른 참조 화상 저장 판정부(111)가, 참조 화상을 압축한 압축 데이터를 참조 화상 메모리(113)에 저장할지의 여부를 판정하는 처리의 일례를 나타내는 흐름도이다. 참조 화상 저장 판정부(111)는, 참조 화상을 압축한 압축 데이터를 압축부(110)로부터 수취하고(스텝 S100), 압축 데이터를 참조 화상 메모리(113)에 저장 가능한지를 판정한다(스텝 S101). 참조 화상 메모리(113)에 빈 용량이 있는 경우(스텝 S101: "예"), 참조 화상 저장 판정부(111)는, 저장 가능을 나타내는 판정 결과 정보를 플래그 저장부(114)에 송신한다. 플래그 저장부(114)는, 저장 가능을 나타내는 플래그(예를 들어 1)와, 압축 데이터의 렝스 정보를 보존한다(스텝 S102). 참조 화상 저장 판정부(111)는, 저장 가능을 나타내는 판정 결과 정보(148)를 메모리 제어부(112)에 더 송신한다. 메모리 제어부(112)는 압축 데이터를 참조 화상 메모리(113)에 저장하고(스텝 S103), 처리를 종료한다(스텝 S104). 참조 화상 메모리(113)의 용량이 부족한 경우(스텝 S101: "아니오"), 참조 화상 저장 판정부(111)는, 저장 불가를 나타내는 판정 결과 정보를 플래그 저장부(114)에 송신한다. 플래그 저장부(114)는, 저장 불가를 나타내는 플래그(예를 들어 0)를 보존하고(스텝 S105), 처리를 종료한다(스텝 S104).
다음으로, 인트라/인터 부호화의 판정 처리에 대하여 설명한다. 도 3에 나타난 바와 같이 화상 입력부(100)는 입력 화상을 인트라 예측부(101)와 인터 예측부(102)에 각각 송신한다.
인트라 예측부(101)는, 입력 화상에 대하여 복수의 인트라 모드에서 부호화하였을 때의 부호량을 추측한다. 인트라 예측부(101)는, 추측한 부호량에 대응한 비용을 계산하여, 가장 작은 비용을 최소 인트라 부호화 비용으로서 인트라/인터 판정부(103)에 송신한다. 인트라 예측부(101)는 인트라 예상 화상을 인트라/인터 판정부(103)에 더 송신한다.
한편, 인터 예측부(102)는, 입력 화상과 참조 화상의 움직임(차분)을 검출하기 위하여 현 프레임보다 전의 프레임 화상 데이터(참조 화상)가 필요하다. 그래서 참조 화상 유무 판정부(115)는, 부호화 대상의 매크로블록을 참조할 수 있는 영역(탐색 가능 범위)에 참조 화상이 저장되어 있는지를 확인한다. 그리고 인터 예측부(102)는 탐색 가능 범위 중, 참조 화상 메모리(113)에 저장되어 있는 압축 데이터에 대응하는 참조 화상을 움직임 검출의 탐색 범위로 한다. 이를, 도 8을 이용하여 상세히 설명한다. 도 8은, 본 실시 형태에 따른 인터 예측부(102)의 움직임 검출의 탐색 범위를 나타내는 도면이다. 도 8에 있어서, MB5는 부호화 대상의 MB 위치에 대응하고 있다. 탐색 가능 범위를, 예를 들어 부호화 위치의 MB에 대하여 1MB 외측까지로 정한 경우, MB5의 부호화 시에 MB1 내지 MB9의 9개의 매크로블록이 탐색 가능 범위로 된다. 도 8의 예에서는, MB1 내지 MB5, MB7의 6개의 MB에 대해서는 참조 화상의 압축 데이터가 참조 화상 메모리(113)에 저장되어 있다. 한편, MB6, MB8 내지 MB9의 3개의 MB에 대해서는 참조 화상의 압축 데이터가 참조 화상 메모리(113)에 저장되어 있지 않다. 본 실시 형태에 따른 동화상 부호화 장치(18)에서는, 인터 예측부(102)는, 참조 화상 메모리(113)에 저장되어 있는 압축 데이터에 대응하는 참조 화상만을 수신한다. 도 8의 예에서는, 인터 예측부(102)는 MB1 내지 MB5, MB7만을 수신하여 이를 움직임 검출의 탐색 범위로 한다.
도 9는, 본 실시 형태에 따른 동화상 부호화 장치(18)에 있어서의 인트라/인터 부호화 판정 처리의 일례를 나타내는 흐름도이다. 인터 예측부(102)가 참조 화상을 이용하여 움직임 검출을 행하기 위하여 참조 화상 유무 판정부(115)는, 플래그 저장부(114)에 저장된 정보를 참조하여, 탐색 가능 범위의 범위 내에 대하여, 참조 화상의 유무와, 참조할 수 있는 매크로블록의 정보를 판독한다(스텝 S120). 참조 화상 메모리(113)에 참조 화상이 저장되어 있는 경우(스텝 S121: "예"), 참조 화상 유무 판정부(115)는 메모리 제어부(112)에 대하여 참조 화상 메모리(113)로의 리드 액세스를 요구한다. 메모리 제어부(112)는 참조 화상 메모리(113)로부터, 리드 액세스 요구가 있던 압축 데이터를 판독하여 참조 화상 유무 판정부(115)에 송신한다. 참조 화상 유무 판정부(115)는 판독된 압축 데이터를 신장부(116)에 송신한다. 신장부(116)는 수신한 압축 데이터를 신장하고(스텝 S122), 인터 예측부(102)에 송신한다(스텝 S123). 인터 예측부(102)에 송신되는 참조 화상의 수는, 탐색 가능 범위와, 플래그 저장부(114)가 기억하는 플래그의 상태에 기초하여 정해진다. 스텝 S123에서 인터 예측부(102)에 송신되는 참조 화상의 수는 하나 이상이며, 복수인 경우도 있다.
인터 예측부(102)는, 움직임 검출의 탐색 범위에 포함되는 참조 화상마다, 입력 화상과 참조 화상의 차분으로부터 인터 부호화하였을 때의 부호량을 추측하고, 추측한 부호량에 대응한 인터 부호화 비용을 산출한다. 인터 예측부(102)는 또한, 산출한 하나 이상의 인터 부호화 비용 중, 최소로 되는 인터 부호화 비용을 산출하고, 인트라/인터 판정부에 최소 인터 부호화 비용을 송신한다. 또한 인터 예측부(102)는 인터 예상 화상을 인트라/인터 판정부(103)에 송신한다.
인트라/인터 판정부(103)는, 최소 인트라 부호화 비용과 최소 인터 부호화 비용을 비교하여 부호화 비용이 작은 예측 모드를 결정하고, 감산기(120)에 인터 예측 화상을 예측 화상으로서 송신하고(스텝 S124), 인트라/인터 부호화 판정 처리를 종료한다(스텝 S125).
한편, 탐색 가능 범위의 범위 내에 대하여, 참조 화상 메모리(113)에 참조 화상이 저장되어 있지 않은 경우(스텝 S121: "아니오"), 참조 화상 유무 판정부(115)는, 강제적으로 인트라 부호화할 것을 지시하는 정보를 인트라/인터 판정부(103)에 송신한다(스텝 S126). 인트라/인터 판정부(103)는, 강제적으로 인트라 부호화할 것을 지시하는 정보를 수신하여, 부호화 대상의 매크로블록을 인트라 부호화할 것을 결정하고, 감산기(120)에 인트라 예측 화상을 예측 화상으로서 송신하고(스텝 S127), 인트라/인터 부호화 판정 처리를 종료한다(스텝 S125).
(효과)
실시 형태 1에 의하면, 동화상 부호화 장치(18)는, 참조 화상을 가역 압축하여 압축 데이터를 생성하는 압축부(110)와, 허용 데이터양 설정부(141)와, 참조 화상 저장 판정부(111)를 갖는다. 이 때문에 참조 화상 저장 판정부(111)는, 압축부(110)가 참조 화상을 압축하여 얻은 압축 데이터를 참조 화상 메모리(113)에 저장할지의 여부를, 허용 데이터양 설정부(141)에 설정한 허용 데이터양에 기초하여 판정할 수 있다. 따라서 참조 화상 메모리(113)로서 사용할 수 있는 메모리 용량이 작은 경우에도 압축부(110)의 압축 결과에 따라, 참조 화상 메모리(113)에 저장할 참조 화상의 수를 증가시킬 수 있다. 그 결과, 참조 화상 메모리(113)에 저장될 참조 화상 수를 최대화할 수 있어서, 메모리 용량이 작은 것에 기인하는 화질의 열화를 억제하면서 인코드를 행할 수 있다.
일반적으로 차량 탑재용 카메라 모듈은, 차 밖에 카메라가 있기 때문에 방수 사양으로 되어 있다. 그 때문에 차량 탑재용 카메라 모듈의 내부는 밀폐되어 열이 충만하기 쉽다. 따라서 차량 탑재용 카메라로부터 입력되는 동화상을 부호화하는 동화상 부호화 장치에서는, 열, 공간의 문제로부터 대용량의 DRAM(Dynamic Random Access Memory)을 동화상 부호화 장치의 외부에 갖는 것은 어려우며, 또한 DRAM과 동등한 용량을 갖는 SRAM을 동화상 부호화 장치의 내부에 갖는 것도 비용 면, 회로 규모의 면으로부터 어렵다. 따라서 소용량의 메모리를 이용하여 동화상의 부호화를 행할 수 있는, 본 실시 형태에 따른 동화상 부호화 장치(18)는 차량 탑재용 카메라 모듈에 최적으로 적용할 수 있다.
[실시 형태 1의 변형예]
이상의 설명에서는 하나의 MB에 착안하여 동화상 부호 장치(12)의 일련의 동작을 설명하였다. 그러나 동화상 부호화 장치(18)는, 복수의 MB를 대상으로 하여 상술한 일련의 처리를 파이프라인적으로 병렬 처리하도록 동작해도 된다. 이것에 의하여 동화상 부호 장치(12)의 처리 효율을 향상시킬 수 있다.
[실시 형태 2]
다음으로, 실시 형태 2에 대하여 설명한다. 도 10은, 실시 형태 2에 따른 참조 화상 저장 판정부(111B)의 구성예를 나타내는 블록도이다. 도 10에 나타난 바와 같이, 실시 형태 1에서 설명한 참조 화상 저장 판정부(도 4 참조)에 비해, 참조 화상 저장 판정부(111B)는 복잡도 역치 설정부(201)와 복잡도 검출부(202)와 복잡도 비교부(203)를 더 구비하는 점에서 상이하다. 이 이외의 구성 및 동작에 대해서는, 실시 형태 1에서 설명한 참조 화상 저장 판정부(111)와 마찬가지이므로, 동일한 구성에 대해서는 동일한 부호를 붙여서, 중복된 설명은 생략한다.
실시 형태 2는, 참조 화상 저장 판정부(111B)가, 압축 데이터를 참조 화상 메모리(113)에 저장할지의 여부를 판정할 때, 압축 데이터에 대응하는 참조 화상의 복잡도도 판정 기준에 추가하는 점에서 실시 형태 1과 상이하다.
여기서 화상의 복잡도는, 국소적으로 비평탄한 정도를 나타내는 파라미터이다. 예를 들어 복잡도를 나타내는 파라미터의 일례로서 MPEG-2 레이트 컨트롤 모델 TM5, 스텝 3의 파라미터 「공간 activity」를 들 수 있다.
프레임 구조의 4개의 휘도 서브블록(n=1.. 4)과 필드 구조의 4개의 휘도 서브블록(n=5.. 8)으로 이루어지는 매크로블록 j의 공간 activity는 (식 1)로 표시된다.
Figure pat00001
Figure pat00002
Figure pat00003
일반적으로 화상의 복잡도가 높은 경우에는, 부호화 효율 면에서 인트라 부호화가 바람직할 것으로 여겨지고 있다. 그래서 실시 형태 2에 따른 참조 화상 저장 판정부(111B)는, 압축 데이터를 참조 화상 메모리(113)에 저장할지의 여부를 판정할 때, 압축 데이터에 대응하는 참조 화상의 복잡도에 기초하여, 부호화 대상인 분할된 화상(예를 들어 매크로블록)이 다음 프레임에서 인트라 부호화될지 인터 부호화될지를 추정한다. 여기서, 참조 화상 저장 판정부(111B)는, 인트라 부호화될지 인터 부호화될지를 추정하지만 결정은 하지 않는다. 즉, 참조 화상의 복잡도가 큰 경우, 참조 화상에 대응하는 압축 데이터를 참조 화상 메모리(113)에 저장하지 않는다고 판정함으로써, 인트라/인터 판정부(103)가 인트라 부호화를 행한다는 판정을 하도록 간접적으로 촉구한다. 인트라 부호화될지 인터 부호화될지는, 최종적으로는 인트라/인터 판정부(103)의 판정 결과에 의하여 정해진다.
도 10에 나타난 바와 같이, 실시 형태 2에서는, 로컬 디코드 생성부(106)는 압축부(110)에 더해, 복잡도 검출부(202)에 대해서도 참조 화상을 송신한다.
참조 화상 저장 판정부(111B)는, 참조 화상의 복잡도가, 미리 정해진 역치(이하, 「복잡도 역치」라 칭하는 경우가 있음)보다 큰 경우, 압축 데이터를 참조 화상 메모리(113)에 저장하지 않는다고 판정한다. 복잡도 역치 설정부(201)는 복잡도 역치를 설정하도록 구성된다. 예를 들어 복잡도 역치 설정부(201)는, 기입 가능한 레지스터로 구성되며, CPU(15)가 동화상 부호화 장치(18)의 드라이버(소프트웨어)을 실행함으로써 설정된다.
복잡도 검출부는 로컬 디코드 생성부(106)로부터 참조 화상을 수취하고 해석하여 참조 화상의 복잡도를 산출한다.
복잡도 비교부(203)는, 복잡도 역치 설정부(201)에 설정된 복잡도 역치와 복잡도 검출부(202)에서 산출된 참조 화상의 복잡도를 비교하여, 비교 결과를 저장 판정부(147)에 출력한다.
도 11은, 실시 형태 2에 따른 동화상 부호화 장치(18)에 있어서의, 참조 화상 저장 판정 처리의 일례를 나타내는 흐름도이다.
도 11에 나타난 바와 같이, 저장 판정의 대상인 압축 데이터가 참조 화상 저장 판정부(111B)에 입력되면(스텝 S200), 복잡도 비교부(203)는, 참조 화상의 복잡도와, 미리 정해진 복잡도 역치를 비교한다(스텝 S201). 참조 화상의 복잡도가 복잡도 역치보다 큰 경우(스텝 S201: "아니오"), 참조 화상에 대응하는 압축 데이터를 참조 화상 메모리(113)에 저장하지 않는다. 즉, 저장 판정부(147)는, 허용 데이터양과 저장 시 데이터양의 대소 관계와 무관하게, 참조 화상에 대응하는 압축 데이터를 참조 화상 메모리(113)에 저장하지 않는다. 저장 판정부(147)는, 압축 데이터를 참조 화상 메모리(113)에 저장하지 않는다는 정보를 판정 결과 정보(148)로서 메모리 제어부(112)와 플래그 저장부(114)와 저장 데이터양 산출부(142)에 송신한다. 이 경우, 메모리 제어부(112)는 압축 데이터를 참조 화상 메모리(113)에 저장하지 않는다. 플래그 저장부(114)는, 저장 불가를 나타내는 플래그(예를 들어 0)를 보존한다. 또한 저장 데이터양 산출부(142)는, 압축 데이터를 참조 화상 메모리(113)에 저장하지 않는다는 정보에 따른 저장 완료 데이터양을 보유하고 기억한다(스텝 S206). 메모리 제어부(112), 플래그 저장부(114), 저장 데이터양 산출부(142)의 각 처리의 후, 참조 화상 저장 판정부(111B)의 처리는 종료된다(스텝 S205).
한편, 참조 화상의 복잡도가 상기 역치 이하인 경우(스텝 S201: "예"), 저장 판정부(147)는 데이터양 비교부(146)의 비교 결과에 기초하여, 압축 데이터를 참조 화상 메모리(113)에 저장할지의 여부를 판정한다. 즉, 데이터양 비교부(146)는, 허용 데이터양 설정부(141)에 설정된 허용 데이터양과, 저장 데이터양 산출부(142)로부터 송신되는 저장 시 데이터양을 비교한다(스텝 S203).
저장 판정부(147)는, 저장 시 데이터양이 허용 데이터양 이하인 경우, 즉, 메모리 잔량이 있는 경우(스텝 S203: "예")에는, 압축 데이터를 참조 화상 메모리(113)에 저장하는 것을 허가한다는 정보를 판정 결과 정보(148)로서 메모리 제어부(112)와 플래그 저장부(114)와 저장 데이터양 산출부(142)에 송신한다. 메모리 제어부(112)는 압축 데이터를 참조 화상 메모리(113)에 저장한다. 플래그 저장부(114)는, 참조 화상을 저장한 것을 나타내는 플래그(예를 들어 1)와, 압축 데이터의 렝스 정보를 보존한다. 또한 저장 데이터양 산출부(142)는 저장 시 데이터양(144)을 저장 완료 데이터양으로서 기억, 보유한다(스텝 S204). 메모리 제어부(112), 플래그 저장부(114), 저장 데이터양 산출부(142)의 각 처리의 후, 참조 화상 저장 판정부(111B)의 처리는 종료된다(스텝 S205).
또한 저장 판정부(147)는, 저장 시 데이터양이 허용 데이터양보다 큰 경우(스텝 S203: "아니오")에는, 압축 데이터를 참조 화상 메모리(113)에 저장하는 것을 허가하지 않는다는 정보를 판정 결과 정보(148)로서 메모리 제어부(112)와 플래그 저장부(114)와 저장 데이터양 산출부(142)에 송신한다(스텝 S206).
(효과)
실시 형태 2에 의하면, 참조 화상 저장 판정부(111B)는 실시 형태 1의 참조 화상 저장 판정부(111)와 비교하여, 복잡도 역치 설정부(201)와 복잡도 검출부(202)와 복잡도 비교부(203)를 더 갖는다. 그 때문에, 복잡도 검출부(202)에서 검출된 참조 화상의 복잡도가, 복잡도 역치 설정부(201)에 설정된 복잡도 역치보다 크다는 비교 결과를 복잡도 비교부(203)가 출력하는 경우, 참조 화상 저장 판정부(111B)는, 참조 화상에 대응하는 압축 데이터를 참조 화상 메모리(113)에 저장하지 않는다고 판정한다. 따라서 동화상 부호화 장치(18)는, 인터 부호화에 적합하지 않은, 복잡도가 큰 참조 화상을 참조 화상 메모리(113)에 저장하지 않음으로써, 참조 화상 메모리(113)에 저장할 참조 화상의 최적화를 행할 수 있다. 즉, 동화상 부호화 장치(18)는, 인터 예측이 적합할 것으로 추정되는 참조 화상만을 참조 화상 메모리(113)에 저장할 수 있다. 그 결과, 동화상 부호화 장치(18)의 부호화 효율이 향상되어 화질을 향상시킬 수 있다.
[실시 형태 3]
다음으로, 실시 형태 3에 대하여 설명한다. 실시 형태 3은 실시 형태 1에 비해, 인트라 리프레시 기능을 구비하는 점과, 인트라 리프레시의 대상 영역(이하, 「인트라 리프레시 영역」이라 칭함)의 사이즈를 가변으로 하는 점에서 상이하다.
일반적으로 인트라 리프레시라 칭해지는 기능이 있다. 이 기능은, 프레임마다 위치가 변화되는 일정한 영역에 대하여 강제적으로 인트라 부호화를 행하여, 프레임 간의 예측 오차의 전파를 방지하여 화질을 향상시키는 것이다. 실시 형태 3에서는, 참조 화상 메모리(113)에 저장할 수 없던 참조 화상의 수에 따라 인트라 리프레시 영역의 사이즈를 변경한다.
도 12는, 실시 형태 3에 따른 동화상 부호화 장치의 구성예를 나타내는 블록도이다. 도 12에 나타난 바와 같이, 실시 형태 3은 실시 형태 1(도 3 및 도 4 참조)에 비해, 참조 화상 저장 판정부(111C)가 미저장 화상 수 카운트부(301)를 구비하는 점과, 동화상 부호화 장치(18)가 인트라 리프레시 영역 결정부(302)를 구비하는 점과, 인트라 리프레시 영역 결정부(302)로부터 저장 판정부(147)에 제어 신호(303)가 송신되는 점이 상이하다. 이 이외의 구성 및 동작에 대해서는, 실시 형태 1에서 설명한 동화상 부호화 장치(18) 및 참조 화상 저장 판정부(111)와 마찬가지이므로, 동일한 구성에 대해서는 동일한 부호를 붙여서, 중복된 설명은 생략한다.
미저장 화상 수 카운트부(301)는 단위 영역 내에 대하여, 참조 화상 메모리(113)에 압축 데이터를 저장할 수 없던 참조 화상의 수를 카운트한다. 미저장 화상 수 카운트부(301)는 단위 영역의 부호화 처리 개시 전, 또는 단위 영역의 부호화 처리 완료 시에 초기화된다.
본 실시 형태에서는, 동화상 부호화 장치(18)는 인트라 리프레시 영역 결정부(302)를 더 구비한다. 인트라 리프레시 영역 결정부(302)는, 다음 프레임에 있어서, 강제적으로 인트라 부호화를 행할 인트라 리프레시 영역의 사이즈와 위치를 결정한다. 인트라 리프레시 영역 결정부(302)는, 미저장 화상 수 카운트부(301)로부터 송신되는, 참조 화상 메모리(113)에 저장할 수 없던 분할된 화상(예를 들어 매크로블록) 수에 기초하여, 인트라 리프레시 영역의 사이즈를 조정한다.
도 13은, 실시 형태 1에 따른 동화상 부호화 장치(18)에 의한 참조 화상 저장 결과의 일례를 나타내는 도면이다. 도 5에 나타난 바와 같이, 분할된 화상(직사각형 블록)은, 동일한 라인 내에서는 좌측으로부터 우측으로 부호화된다. 따라서 단위 영역이 1매크로블록 라인(1MBL)인 경우, 도 13에 나타난 바와 같이, 매크로블록 라인의 좌측에 위치하는 MB는, 참조 화상을 압축한 압축 데이터가 참조 화상 메모리(113)에 저장되기 쉬워진다. 한편, 매크로블록 라인의 우측에 위치하는 MB는, 참조 화상을 압축한 압축 데이터가 참조 화상 메모리(113)에 저장되기 어려워진다. 따라서 참조 화상을 참조 화상 메모리(113)에 저장할지의 여부의 판정 재료가 참조 화상의 메모리 잔량만인 경우, 1프레임 내에 있어서, 인터 부호화할 수 있는 MB의 위치에 편중이 생긴다는 문제가 있다. 실시 형태 3에 따른 동화상 부호화 장치(18)는, 인트라 리프레시 영역을 가변으로 제어함으로써, 인터 부호화할 수 있는 MB의 위치에 편중이 생긴다는 문제를 해결한다.
도 14는, 실시 형태 3에 따른 동화상 부호화 장치(18)의 동작의 일례를 나타내는 도면이다. 본 실시 형태에 따른 동화상 부호화 장치(18)에서는, 미저장 화상 수 카운트부(301)가, 저장 판정부(147)로부터 출력되는 판정 결과 정보(148)를 수신한다. 판정 결과 정보(148)가, 압축 데이터를 참조 화상 메모리(113)에 저장하지 않는다는 정보인 경우에는, 미저장 화상 수 카운트부(301)는 카운트 업한다. 예를 들어 단위 영역이 1매크로블록 라인인 경우, 미저장 화상 수 카운트부(301)는, 참조 화상 메모리(113)에 저장할 수 없던 MB 수를 카운트한다. 그리고 미저장 화상 수 카운트부(301)는, 단위 영역의 처리가 완료되면, 저장되지 않은 MB 수의 합계값을 인트라 리프레시 영역 결정부(302)에 송신한다.
인트라 리프레시 영역 결정부(302)는, 저장되지 않은 MB 수의 합계값에 기초하여 인트라 리프레시 영역의 사이즈를 결정한다. 예를 들어 저장되지 않은 MB가 있는 경우에는 인트라 리프레시 영역의 사이즈를 크게 한다. 반대로 저장되지 않은 MB가 없는 경우에는 인트라 리프레시 영역의 사이즈를 작게 해도 된다. 인트라 리프레시 영역 결정부(302)는, 결정한 인트라 리프레시 영역의 사이즈와 위치의 정보를 제어 신호(303)로서 저장 판정부(147)에 송신한다.
저장 판정부(147)는, 압축 데이터가 인트라 리프레시 영역에 포함되는 경우에는, 압축 데이터를 참조 화상 메모리(113)에 저장하지 않는다고 판정한다. 한편, 저장 판정부(147)는, 압축 데이터가 인트라 리프레시 영역에 포함되지 않는 경우에는, 데이터양 비교부(146)가 출력하는 비교 결과에 기초하여, 압축 데이터를 참조 화상 메모리(113)에 저장할지의 여부를 판정한다.
(효과)
실시 형태 3에 의하면, 동화상 부호화 장치(18)는 미저장 화상 수 카운트부(301)와 인트라 리프레시 영역 결정부(302)를 더 구비한다. 인트라 리프레시 영역 결정부(302)는, 미저장 화상 수 카운트부(301)에 의하여 카운트된 참조 화상 메모리(113)에 저장할 수 없던 MB 수에 따라 인트라 리프레시 영역의 사이즈를 결정한다. 이 때문에, 참조 화상 메모리(113)에 저장되지 않은 화상 수에 따라 인트라 리프레시 영역의 사이즈를 변경할 수 있다. 또한 인트라 리프레시 영역에 있는 분할된 화상(예를 들어 MB)의 참조 화상에 대응하는 압축 데이터는 참조 화상 메모리(113)에 저장할 필요가 없다. 따라서 실시 형태 3에 따른 동화상 부호화 장치(18)에서는, 인트라 리프레시 영역의 사이즈를 조정함으로써, 참조 화상 메모리(113)에 저장할 압축 데이터의 수(참조 화상의 수)를 삭감할 수 있다. 그 결과, 프레임 우측 단(단위 영역의 우측 단)에 있어서의 참조 화상 메모리(113)의 잔량 부족을 경감할 수 있다. 또한 인트라 리프레시 영역은 프레임마다 위치가 상이하기 때문에, 인트라/인터 부호화 매크로블록의 위치의 편중을 프레임 전체에 대하여 해소할 수 있다. 이와 같이 실시 형태 3에 따른 동화상 부호화 장치(18)는 인트라/인터 부호화 매크로블록의 위치의 편중을 해소하여 화질을 향상시킬 수 있다.
[실시 형태 4]
다음으로, 실시 형태 4에 대하여 설명한다. 실시 형태 4에서는, 참조 화상 메모리(113)에 저장할 참조 화상을 최적화하기 위하여, 이미 참조 화상 메모리에 참조 화상을 저장하고 있던 경우이더라도 보다 적절한 참조 화상으로 교체하는 점에서, 실시 형태 1 내지 3과 상이하다.
도 15는, 실시 형태 4에 따른 동화상 부호화 장치의 구성예를 나타내는 블록도이다. 실시 형태 4에 따른 동화상 부호화 장치(18)는, 실시 형태 2에서 설명한 참조 화상 저장 판정부(111B)(도 10 참조)에 비해, 참조 화상 저장 판정부(111D)가 복잡도 기억부(401)와 치환 정보 기억부(402)를 더 구비하는 점이 상이하다. 이 이외의 구성 및 동작에 대해서는, 실시 형태 2에서 설명한 참조 화상 저장 판정부(111B)와 마찬가지이므로, 동일한 구성에 대해서는 동일한 부호를 붙여서, 중복된 설명은 생략한다.
복잡도 기억부(401)는, 참조 화상에 대응하는 압축 데이터를 참조 화상 메모리(113)에 저장한 경우, 대응하는 참조 화상의 복잡도를 기억한다.
저장 판정부(147)는, 참조 화상에 대응하는 압축 데이터를 참조 화상 메모리(113)에 저장한 후에 보다 적절한 참조 화상이 나타난 경우에, 참조 화상 메모리(113)에 저장할 압축 데이터를 교체한다.
저장 판정부(147)가 참조 화상을 교체하는 처리를 하는 경우, 치환 정보 기억부(402)는 치환 전의 참조 화상의 정보와 치환 후의 참조 화상의 정보를 기억한다.
도 16은, 본 실시 형태에 따른 복잡도 기억부(401) 및 치환 정보 기억부(402)가 기억하는 정보의 일례를 나타내는 도면이다. 본 실시 형태에서는, 단위 영역은 1매크로블록 라인(MBL)으로 하여 설명한다. 또한 일례로서, 복잡도가 취할 수 있는 값을 0 내지 63으로 하여 설명한다.
복잡도 기억부(401)는, 참조 화상 메모리(113)에 저장한 압축 데이터의 매크로블록 번호와, 참조 화상의 복잡도를 기억한다. 예를 들어 도 16에서는, 복잡도 10을 갖는 매크로블록 번호 1의 참조 화상과, 복잡도 12를 갖는 매크로블록 번호 2의 참조 화상과, 복잡도 18을 갖는 매크로블록 번호 3의 참조 화상과, 복잡도 28을 갖는 매크로블록 번호 5의 참조 화상과, 복잡도 22를 갖는 매크로블록 번호 7의 참조 화상이 참조 메모리(113)에 저장 완료인 것이 복잡도 기억부(401)에 기억되어 있다.
도 17은, 실시 형태 4에 따른 동화상 부호화 장치(18)에 있어서의, 참조 화상 저장 판정 처리의 일례를 나타내는 흐름도이다. 도 17에 나타난 바와 같이, 참조 화상 및 압축 데이터가 참조 화상 저장 판정부(111D)에 입력되면(스텝 S400), 복잡도 비교부(203)는 참조 화상의 복잡도와 미리 정해진 역치를 비교한다(스텝 S401). 참조 화상의 복잡도가 복잡도 역치보다 큰 경우(스텝 S401: "아니오")에는, 저장 판정부(147)는, 압축 데이터를 참조 화상 메모리(113)에 저장하지 않는다고 판정한다(스텝 S402). 즉, 저장 판정부(147)는, 허용 데이터양과 저장 시 데이터양의 대소 관계와 무관하게, 압축 데이터를 참조 화상 메모리(113)에 저장하지 않는다고 판정한다. 저장 판정부(147)는, 압축 데이터를 참조 화상 메모리(113)에 저장하지 않는다는 정보를 판정 결과 정보(148)로서 메모리 제어부(112)와 플래그 저장부(114)와 저장 데이터양 산출부(142)에 송신한다.
한편, 참조 화상의 복잡도가 복잡도 역치 이하인 경우(스텝 S401: "예"), 데이터양 비교부(146)는, 허용 데이터양 설정부(141)에 설정된 허용 데이터양과, 저장 데이터양 산출부(142)로부터 송신되는 저장 시 데이터양을 비교한다(스텝 S403). 저장 시 데이터양이 허용 데이터양 이하인 경우, 즉, 메모리 잔량이 있는 경우(스텝 S403: "예"), 저장 판정부(147)는 데이터양 비교부(146)의 비교 결과에 기초하여, 압축 데이터를 참조 화상 메모리(113)에 저장한다는 판정 결과 정보(148)를 메모리 제어부(112)와 플래그 저장부(114)와 저장 데이터양 산출부(142)에 송신하고(스텝 S404), 저장 판정 처리를 종료한다(스텝 S409).
한편, 저장 시 데이터양이 허용 데이터양보다 큰 경우(스텝 S403: "아니오")에는, 저장 판정부(147)는 복잡도 기억부(401)로부터, 저장 완료된 분할된 화상(예를 들어 매크로블록)의 복잡도를 읽어들인다(스텝 S405). 여기서, 저장 판정 대상의 압축 데이터를 CDnew, CDnew에 대응하는 참조 화상을 RPnew, 저장 완료 압축 데이터를 CDold, CDold에 대응하는 참조 화상을 RPold라 칭하기로 한다. 참조 화상 RPnew의 복잡도에 비해 보다 큰 복잡도를 갖는 참조 RPold가 발견되지 않는 경우(스텝 S406: "아니오"), 저장 판정부(147)는, 압축 데이터 CDnew를 참조 화상 메모리(113)에 저장하지 않는다고 판정한다(스텝 S402).
참조 화상 RPnew의 복잡도에 비해 보다 큰 복잡도를 갖는 참조 화상 RPold가 발견된 경우(스텝 S406: "예"), 저장 판정부(147)는 압축 데이터 CDnew와 압축 데이터 CDold의 데이터 사이즈를 비교한다(스텝 S407). 압축 데이터 CDnew의 데이터양이 저장 완료 압축 데이터 CDold의 데이터양보다 큰 경우, 참조 화상 메모리(113)의 메모리 용량은 부족하다. 이 때문에 저장 판정부(147)는, 압축 데이터 CDnew를 참조 화상 메모리(113)에 저장하지 않는다고 판정한다(스텝 S402). 한편, 압축 데이터 CDnew의 데이터양이 저장 완료 압축 데이터 CDold의 데이터양 이하인 경우, 저장 판정부(147)는, 참조 화상의 교체를 행한다는 정보를 치환 정보 기억부(402)에 기입한다(스텝 S408). 다음으로, 저장 판정부(147)는, 압축 데이터 CDnew를 참조 화상 메모리(113)에 저장한다는 정보를 판정 결과 정보(148)로서 메모리 제어부(112)와 플래그 저장부(114)와 저장 데이터양 산출부(142)에 송신하고(스텝 S404), 처리를 종료한다(스텝 S409).
저장 판정부(147)는, 압축 데이터의 치환을 행할 때마다, 또는 1MBL의 모든 MB에 대하여 압축 데이터의 저장 판정을 완료한 후, 치환 정보 기억부(402)에 기억된 정보를 플래그 저장부(114)에 송신하여, 플래그 저장부(114)에 기억된 정보를 갱신한다.
또한 스텝 S406에서 참조 화상 RPnew의 복잡도에 비해 보다 큰 복잡도를 갖는 참조 화상 RPold가 복수 발견된 경우, 저장 판정부(147)는 스텝 S407에서 복수의 치환 후보 중, 가장 데이터양이 큰 저장 완료 압축 데이터의 데이터양과, 압축 데이터 CDnew의 데이터양을 비교하여, 가장 데이터양이 큰 저장 완료 압축 데이터를 치환 대상으로 할 수 있다. 또한 참조 화상 RPnew의 복잡도에 비해 보다 큰 복잡도를 갖는 참조 화상 RPold가 복수 발견된 경우, 저장 판정부(147)는, 참조 화상 RPold의 복잡도가 큰 순으로, 압축 데이터 CDnew의 데이터양 이하의 데이터양을 갖는 압축 데이터 CDold를 탐색해도 된다.
또한 복잡도 기억부(401)에 기억하는 복잡도가 취할 수 있는 값은, 복잡도 기억부(401)의 용량에 따라 간이화해도 된다. 이를, 복잡도가 취할 수 있는 값이 0 내지 63인 경우를 예로 들어 설명한다. 이 경우, 예를 들어 복잡도가 0 내지 15일 때, 복잡도 기억부(401)에 기억하는 화상 복잡도의 값 C를 0으로 하고, 복잡도가 16 내지 31일 때, 값 C를 1로 하고, 복잡도가 32 내지 47일 때, 값 C를 2로 하고, 복잡도가 48 내지 63일 때, 값 C를 3으로 한다.
이와 같이 일정 범위의 복잡도에 대하여 동일값 C를 설정함으로써, 복잡도 기억부(401)에서 복잡도를 표현하기 위하여 요하는 비트 수를 저감시킬 수 있다. 따라서 복잡도 기억부(401)에 요하는 회로 규모를 작게 할 수 있다. 또한 복잡도가 취할 수 있는 값을 0 내지 63과 같이 잘게 하면, 치환 대상으로 되는 저장 완료 압축 데이터 CDold의 검색에 요하는 시간이 커진다. 이 때문에, 값 C와 같이 복잡도가 취할 수 있는 값을 적게 함으로써, 저장 완료 참조 화상 RPold, 압축 데이터 CDold의 검색에 요하는 시간을 작게 할 수 있다. 따라서 참조 화상 저장 판정부(111D)의 처리 능력을 향상시킬 수 있다.
(효과)
실시 형태 4에 의하면, 참조 화상 저장 판정부(111D)는, 실시 형태 2의 참조 화상 저장 판정부(111B)와 비교하여 복잡도 기억부(401)와 치환 정보 기억부(402)를 더 구비한다. 그 때문에 동화상 부호화 장치(18)는, 참조 화상의 복잡도와 압축 데이터의 데이터 사이즈에 기초하여, 저장할 참조 화상을 수시로 치환하여 더 최적화할 수 있다. 그 결과, 동화상 부호화 장치(18)는 부호화 효율을 더 향상시켜 화질을 향상시킬 수 있다.
[실시 형태 5]
실시 형태 5는, 실시 형태 1 내지 실시 형태 4에 따른 동화상 부호화 장치(18)가 탑재된 차량이다. 본 실시 형태에 따른 차량에서는, 차량의 운전 모드에 따라 동화상 부호화 장치(18)가 메모리 사용량을 가변으로 조정한다.
도 18은, 동화상 부호화 장치(18)를 탑재하는 차량 제어 시스템의 구성의 일례를 나타내는 블록도이다. 본 실시 형태에 따른 차량에 탑재된 동화상 부호화 장치는 운전 모드에 따라, 인터 예측에 사용할 참조 화상을 가역 압축할지의 여부를 전환한다.
도 18에 나타난 바와 같이 차량(500)에는 차량 제어 시스템(501)이 탑재된다. 차량 제어 시스템(501)은 하나 이상의 카메라 모듈(1E)과 차량 제어부(502)와 운전 모드 판정부(503)와 차량 탑재 네트워크(505)와 반도체 장치(506)를 구비한다.
차량(500)은 적어도 상이한 2개의 운전 모드를 구비한다. 즉, 차량(500)은, 제1 운전 모드인, 사람에 의한 수동 운전 모드와, 제2 운전 모드인 자동 운전 모드를 구비한다. 도 18에서는 4개의 카메라 모듈(1E)이 차량(500)의 우측 전방, 좌측 전방, 우측 후방, 좌측 후방에 구비되어 있지만, 차량(500)에 구비되는 카메라 모듈의 대수는 4대에 한정되지 않는다.
차량 제어부(502)는 차량의 각종 제어를 행한다. 예를 들어 차량 제어부는 차량(500)의 기어나 주행 속도를 제어한다.
운전 모드 판정부(503)는, 차량 제어부(502)로부터 출력되는 차량 제어 정보(504)에 기초하여, 차량(500)의 운전 모드가 수동 운전 모드인지 자동 운전 모드인지를 판정한다. 여기서 차량 제어 정보(504)는, 차량(500)의 운전자가 차량(500)에 대하여 직접 부여하는 운전 모드의 제어 지시 정보로 할 수 있지만, 이에 한정되지 않는다. 예를 들어 차량 제어 정보(504)는 차량(500)의 기어 정보여도 되고, 차량(500)의 속도 정보여도 되고, 주행 장소(예를 들어 고속도로상)여도 된다.
차량 탑재 네트워크(505)는 유선 네트워크여도 되고 무선 네트워크여도 된다.
반도체 장치(506)는 CPU(507)와 비디오 디코더(508)와 그래픽 프로세서(509)와 화상 인식부(510)와 버스(512)와 DDR 메모리 컨트롤러(513)를 더 구비한다.
CPU(507)는 프로그램을 실행하여 반도체 장치(506) 전체를 제어한다.
비디오 디코더(508)는, 카메라 모듈(1E)로부터 수신한 비트 스트림 BSout의 복호 처리를 행한다.
그래픽 프로세서(509)는, 비디오 디코더(508)에 의하여 복호된 화상에 대하여 화상 처리를 행한다. 예를 들어 그래픽 프로세서(509)는, 비디오 디코더(508)에 의하여 복호된 화상에 대하여 확대·축소 처리를 행한다.
화상 인식부(510)는, 비디오 디코더(508)가 복호한 화상에 기초하여 화상 인식 처리를 행한다. 예를 들어 화상 인식부(510)는 다른 차량이나 사람이나 신호기나 도로 표지를 인식하여, DDR 메모리 컨트롤러(513)를 통하여 DDR 메모리(514)에 화상 인식 결과를 기입한다.
DDR 메모리 컨트롤러(513)는, DDR 메모리(514)로의 기입 요구, DDR 메모리(514)로부터의 판독 요구를 버스 마스터(예를 들어 CPU(507)나 화상 인식부(510))로부터 수취하여, DDR 메모리(514)로의 기입 액세스, DDR 메모리(514)로부터의 판독 액세스를 제어한다.
DDR 메모리(514)는, CPU(507)가 처리하는 프로그램이나, 비디오 디코더(508)와 그래픽 프로세서(509)와 화상 인식부(510)의 입력 데이터, 일시 데이터, 처리 결과를 보존하는 반도체 기억 장치이다.
도 19는, 본 실시 형태에 따른 카메라 모듈(1E)의 구성예를 나타내는 블록도이다. 본 실시 형태에서는, 반도체 장치(12)는 SRAM을 내장하지 않으며 DDR 메모리(514)를 기억 장치로서 이용한다.
본 실시 형태에 따른 차량(500)이 자동 운전 모드에서 주행하는 경우에는, 차량(500)의 주변 상황, 예를 들어 주행 레인, 신호, 도로 표지, 다른 차량, 보행자를 인식한 후에 차량(500)을 제어할 필요가 있다. 이 때문에 차량 제어부(502)와 반도체 장치(506)는 대량의 정보 처리를 행할 필요가 있어서 DDR 메모리(514) 상의 다량의 메모리를 사용한다.
한편, 드라이버에 의한 수동 운전 모드에서 주행하는 경우에는, 차량(500)의 드라이버 자신이 차량(500)의 주변 상황을 인식한다. 이 때문에 차량 제어부(502)와 반도체 장치(506)는 자동 운전 모드에 비해 소용량의 DDR 메모리(514)밖에 사용하지 않는다.
본 실시 형태에 따른 동화상 부호화 장치(18)는, 차량의 운전 모드에 따라, 사용할 DDR 메모리의 용량을 가변으로 조정할 수 있다. 예를 들어 동화상 부호화 장치(18)는 차량의 운전 모드에 따라, 참조 화상을 가역 압축하는 기능의 온오프를 전환할 수 있다. 또한 동화상 부호화 장치(18)는, 사용할 수 있는 메모리양에 따라, DDR 메모리(514)에 저장할 참조 화상의 수를 조정할 수 있다.
(효과)
가역 압축이 오프인 경우는, 참조 화상 메모리로서 사용할 수 있는 메모리 용량이 큰 경우이기 때문에, 모든 분할된 화상(예를 들어 매크로블록)에 대하여 참조 화상을 저장할 수 있다. 동화상 부호화 장치(18)는, 인트라/인터 부호화할 매크로블록의 선택을, 메모리 용량에 제한되는 일 없이 최적으로 선택할 수 있다. 이 때문에 부호화 효율이 향상되어 화질이 향상된다. 한편, 참조 화상을 가역 압축하는 기능이 온인 경우는, 메모리 용량을 충분히 확보할 수 없는 경우이기 때문에, 동화상 부호화 장치(18) 내의 참조 화상 저장 판정부(111)는, 실시 형태 1 내지 실시 형태 4에 따른 판정 방법에 기초하여, 참조 화상의 압축 데이터를 참조 화상 메모리(113)에 저장할지의 여부를 판정한다. 따라서 동화상 부호화 장치(18)는 화질 열화를 억제하면서 입력 동화상 DVin을 부호화할 수 있다. 즉, 차량(500)은 운전 모드 판정부(503)를 갖기 때문에, 차량(500)의 운전 모드에 따라 동화상 부호화 장치(18)에 최적의 동화상 부호화를 행하게 할 수 있다.
이상, 본 발명에 의하여 이루어진 발명을 실시 형태에 기초하여 구체적으로 설명하였지만, 본 발명은 이미 설명한 실시 형태에 한정되는 것은 아니며, 그 요지를 일탈하지 않는 범위에서 다양하게 변경될 수 있다. 예를 들어 실시 형태 3은, 실시 형태 2, 실시 형태 4, 실시 형태 5 중 어느 것과 조합하는 것도 가능하다.
또한 실시 형태 1 내지 4의 설명에 있어서, 단위 영역(예를 들어 MBL)의 부호화 처리를 행하는 경우, 분할된 화상(예를 들어 MB)마다 참조 화상을 참조 화상 메모리(113)에 저장하는 것으로 하여 설명을 행하였다. 그러나 참조 화상의, 참조 화상 메모리(113)로의 저장은, 예를 들어 단위 영역에 포함되는 모든 분할된 화상(예를 들어 모든 MB)에 대하여, 참조 화상 메모리(113)에 대한 저장 가부를 판정한 후에 통합하여 행해져도 된다. 즉, 참조 화상의, 참조 화상 메모리(113)로의 저장은, 1MBL 중의 모든 MB에 대하여, 참조 화상 메모리(113)에 대한 저장 가부를 판정한 후에 통합하여 행해져도 된다.
1, 1E: 카메라 모듈
10: 카메라 센서
11: 카메라ISP
12: 반도체 장치
13: 송신부
14: 동화상 복호 장치
15: CPU
16: 버스
17: ROM
18: 동화상 부호화 장치
19: SRAM
100: 화상 입력부
101: 인트라 예측부
102: 인터 예측부
103: 인트라/ 인터 판정부
104: 직교 변환부
105: 양자화부
106: 로컬 디코드 생성부
107: 역양자화부
108: 역직교 변환부
109: 디블로킹 필터부
110: 압축부
111, 111B, 111C, 111D: 참조 화상 저장 판정부
112: 메모리 제어부
113: 참조 화상 메모리
114: 플래그 저장부
115: 참조 화상 유무 판정부
116: 신장부
117: 부호화부
118: 부호량 제어부
120: 감산기
121: 가산기
140: 압축 데이터양 검출부
141: 허용 데이터양 설정부
142: 저장 데이터양 산출부
144: 저장 시 데이터양
145: 허용 데이터양
146: 데이터양 비교부
147: 저장 판정부
148: 판정 결과 정보
201: 복잡도 역치 설정부
202: 복잡도 검출부
203: 복잡도 비교부
301: 미저장 화상 수 카운트부
302: 인트라 리프레시 영역 결정부
401: 복잡도 기억부
402: 치환 정보 기억부
500: 차량
501: 차량 제어 시스템
502: 차량 제어부
503: 운전 모드 판정부
504: 차량 제어 정보
505: 차량 탑재 네트워크
506: 반도체 장치
507: CPU
508: 비디오 디코더
509: 그래픽 프로세서
510: 화상 인식부
512: 버스
513: DDR 메모리 컨트롤러
514: DDR 메모리

Claims (20)

  1. 동화상 데이터를 부호화하는 동화상 부호화 장치는,
    예측 부호화의 대상으로 되는 분할된 화상과 참조 화상의 차분을 구하여 예측 부호화를 행하는 화상 부호화부와,
    상기 분할된 화상의 부호화 결과에 기초하여 상기 참조 화상을 생성하는 로컬 디코드 생성부와,
    상기 참조 화상을 압축하여 압축 데이터를 생성하는 압축부와,
    상기 동화상 데이터의 정해진 영역마다, 메모리에 저장할 상기 압축 데이터의 허용 데이터양을 미리 설정하는 허용 데이터양 설정부와,
    상기 압축 데이터를 상기 메모리에 저장할지의 여부를 판정하는 참조 화상 저장 판정부와,
    상기 메모리에 저장된 상기 참조 화상에 기초하여, 인터 부호화를 위한 움직임 검출을 행하는 인터 예측부를 구비하고,
    상기 참조 화상 저장 판정부는 상기 허용 데이터양에 기초하여, 상기 압축 데이터를 상기 메모리에 저장할지의 여부를 판정하고, 상기 압축 데이터를 상기 메모리에 저장한다는 판정 결과에 기초하여 상기 압축 데이터를 상기 메모리에 저장하고,
    상기 인터 예측부는, 상기 메모리에 저장된 상기 압축 데이터에 대응하는 상기 참조 화상을 움직임 검출의 탐색 범위로 하는,
    동화상 부호화 장치.
  2. 제1항에 있어서,
    상기 압축부는 상기 참조 화상을 가역 압축하여 상기 압축 데이터를 생성하는,
    동화상 부호화 장치.
  3. 제2항에 있어서,
    상기 동화상 부호화 장치는,
    상기 압축 데이터를 상기 메모리에 저장하는 경우에 필요해지는 상기 정해진 영역을 위한 저장 데이터양을 산출하는 저장 데이터양 산출부와,
    상기 허용 데이터양과 상기 저장 데이터양을 비교하여 비교 결과를 출력하는 비교부를 더 구비하고,
    상기 참조 화상 저장 판정부는 상기 비교 결과에 기초하여, 상기 압축 데이터를 상기 메모리에 저장할지의 여부를 판정하는,
    동화상 부호화 장치.
  4. 제3항에 있어서,
    상기 동화상 부호화 장치는,
    상기 압축 데이터를 상기 메모리에 저장하였는지의 여부를 나타내는 플래그를 저장하는 플래그 저장부와,
    상기 참조 화상의, 상기 메모리로의 저장의 유무를 상기 플래그에 기초하여 판정하는 참조 화상 유무 판정부와,
    상기 메모리에 저장된 상기 압축 데이터를 신장하는 신장부
    를 더 구비하고,
    상기 참조 화상 유무 판정부는, 상기 플래그 저장부가 기억하는 참조 화상의 유무에 관한 참조 화상 정보를 판독하고,
    상기 참조 화상 정보가, 상기 메모리에 상기 압축 데이터가 저장되어 있는 것을 나타내는 경우에는, 상기 참조 화상 유무 판정부는 상기 압축 데이터를 상기 메모리로부터 판독하여 상기 신장부에 송신하고, 상기 신장부는, 상기 압축 데이터를 신장한 참조 화상을 상기 인터 예측부에 송신하는,
    동화상 부호화 장치.
  5. 제3항에 있어서,
    상기 동화상 부호화 장치는,
    상기 분할된 화상을 인트라 부호화하는 경우에 요하는 제1 부호화 비용을 계산하는 인트라 예측부와,
    상기 분할된 화상을 인트라 부호화할지 인터 부호화할지를 판정하는 인트라/인터 판정부를 더 구비하고,
    상기 인트라 예측부는 상기 제1 부호화 비용을 상기 인트라/인터 판정부에 송신하고,
    상기 인터 예측부는, 상기 분할된 화상과 상기 참조 화상의 차분을 이용하여 인터 부호화하는 경우에 요하는 제2 부호화 비용을 계산하여, 상기 제2 부호화 비용을 상기 인트라/인터 판정부에 송신하고,
    상기 인트라/인터 판정부는, 상기 제1 부호화 비용과 상기 제2 부호화 비용의 비용 비교 결과에 기초하여, 상기 분할된 화상을 인트라 부호화할지 인터 부호화할지 결정하는,
    동화상 부호화 장치.
  6. 제4항에 있어서,
    상기 참조 화상 유무 판정부는 상기 참조 화상 정보에 기초하여, 상기 분할된 화상을 참조할 수 있는 범위에 상기 참조 화상이 저장되어 있는지의 여부를 판정하고, 참조할 수 있는 화상이 없는 경우에는 상기 인트라/인터 판정부에, 인트라 부호화하라는 지시 정보를 송신하는,
    동화상 부호화 장치.
  7. 제5항에 있어서,
    상기 인트라 예측부는, 상기 분할된 화상에 대하여 복수의 인트라 모드에서 부호화한 경우에 요하는 복수의 부호량을 추측하고, 추측한 복수의 부호량에 기초하여 복수의 부호화 비용을 계산하여, 상기 복수의 부호화 비용 중 최소로 되는 부호화 비용을 상기 제1 부호화 비용으로서 상기 인트라/인터 판정부에 송신하는,
    동화상 부호화 장치.
  8. 제5항 또는 제7항 중 어느 한 항에 있어서,
    상기 인터 예측부는, 상기 분할된 화상을 참조할 수 있는 범위에 있는 상기 참조 화상마다, 상기 분할된 화상과 상기 참조 화상의 차분으로부터 인터 부호화한 경우의 부호량을 추측하고, 추측한 부호량에 기초하여 부호화 비용을 계산하여, 상기 참조 화상 중 최소의 부호화 비용을 상기 제2 부호화 비용으로서 상기 인트라/인터 판정부에 송신하는,
    동화상 부호화 장치.
  9. 제3항에 있어서,
    상기 참조 화상 저장 판정부는, 상기 메모리에 저장할지의 여부의 판정 대상인 상기 참조 화상의 복잡도와, 미리 정해진 복잡도의 역치에 기초하여, 상기 메모리에 상기 참조 화상을 저장할지의 여부를 판정하고,
    상기 복잡도는, 상기 동화상 데이터의 국소적인 비평탄의 정도를 나타내는 파라미터인,
    동화상 부호화 장치.
  10. 제9항에 있어서,
    상기 참조 화상 저장 판정부는, 상기 비교 결과와, 상기 참조 화상의 상기 복잡도와 상기 복잡도의 역치를 비교한 복잡도 비교 결과에 기초하여, 상기 메모리에 저장 완료인 저장 완료 압축 데이터를 탐색하고,
    상기 참조 화상 저장 판정부는, 상기 참조 화상의 상기 복잡도와, 상기 저장 완료 압축 데이터의 상기 복잡도와, 상기 참조 화상에 대응하는 상기 압축 데이터의 데이터양과, 상기 저장 완료 압축 데이터의 데이터양에 기초하여, 상기 저장 완료 압축 데이터를 상기 압축 데이터로 치환하는,
    동화상 부호화 장치.
  11. 제3항에 있어서,
    상기 동화상 부호화 장치는 인트라 리프레시 영역 결정부를 더 구비하고,
    상기 인트라 리프레시 영역 결정부는, 상기 메모리에 저장할 수 없는 상기 참조 화상의 수에 기초하여 인트라 리프레시 영역의 사이즈를 가변으로 하는,
    동화상 부호화 장치.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 정해진 영역은 매크로블록 라인이고, 상기 허용 데이터양은 상기 매크로블록 라인마다 미리 결정되는,
    동화상 부호화 장치.
  13. 예측 부호화의 대상으로 되는 분할된 화상과 참조 화상의 차분을 구하여 예측 부호화를 행하는 화상 부호화부와,
    상기 분할된 화상의 부호화 결과에 기초하여 참조 화상을 생성하는 로컬 디코드 생성부와,
    상기 참조 화상을 압축하여 압축 데이터를 생성하는 압축부와,
    동화상 데이터의 정해진 영역마다, 메모리에 저장할 상기 압축 데이터의 허용 데이터양을 미리 설정하는 허용 데이터양 설정부와,
    상기 압축 데이터를 상기 메모리에 저장할지의 여부를 판정하는 참조 화상 저장 판정부와,
    상기 메모리에 저장된 상기 참조 화상에 기초하여, 인터 부호화를 위한 움직임 검출을 행하는 인터 예측부를 구비하는 동화상 부호화 장치의 동작 방법이며,
    상기 참조 화상 저장 판정부는 상기 허용 데이터양에 기초하여, 상기 압축 데이터를 상기 메모리에 저장할지의 여부를 판정하고, 상기 압축 데이터를 상기 메모리에 저장한다는 판정 결과에 기초하여 상기 압축 데이터를 상기 메모리에 저장하고,
    상기 인터 예측부는, 상기 메모리에 저장된 상기 압축 데이터에 대응하는 상기 참조 화상을 움직임 검출의 탐색 범위로 하는,
    동화상 부호화 장치의 동작 방법.
  14. 제13항에 있어서,
    상기 동화상 부호화 장치는,
    상기 압축 데이터를 상기 메모리에 저장하는 경우에 필요해지는 상기 정해진 영역을 위한 저장 데이터양을 산출하는 저장 데이터양 산출부와,
    상기 허용 데이터양과 상기 저장 데이터양을 비교하여 비교 결과를 출력하는 비교부를 더 구비하고,
    상기 압축부는 상기 참조 화상을 가역 압축하여 상기 압축 데이터를 생성하고,
    상기 참조 화상 저장 판정부는 상기 비교 결과에 기초하여, 상기 압축 데이터를 상기 메모리에 저장할지의 여부를 판정하는,
    동화상 부호화 장치의 동작 방법.
  15. 제14항에 있어서,
    상기 영역은 매크로블록 라인이고, 상기 허용 데이터양은 상기 매크로블록 라인마다 미리 결정되는,
    동화상 부호화 장치의 동작 방법.
  16. 제14항에 있어서,
    상기 동화상 부호화 장치는,
    상기 압축 데이터를 상기 메모리에 저장하였는지의 여부를 나타내는 플래그를 저장하는 플래그 저장부와,
    상기 참조 화상의, 상기 메모리로의 저장의 유무를 상기 플래그에 기초하여 판정하는 참조 화상 유무 판정부와,
    상기 메모리에 저장된 상기 압축 데이터를 신장하는 신장부를 더 구비하고,
    상기 참조 화상 유무 판정부는, 상기 플래그 저장부가 기억하는 참조 화상의 유무에 관한 참조 화상 정보를 판독하고,
    상기 참조 화상 정보가, 상기 메모리에 상기 압축 데이터가 저장되어 있는 것을 나타내는 경우에는, 상기 참조 화상 유무 판정부는 상기 압축 데이터를 상기 메모리로부터 판독하여 상기 신장부에 송신하고, 상기 신장부는, 상기 압축 데이터를 신장한 참조 화상을 상기 인터 예측부에 송신하는,
    동화상 부호화 장치의 동작 방법.
  17. 제14항에 있어서,
    상기 동화상 부호화 장치는,
    상기 분할된 화상을 인트라 부호화하는 경우에 요하는 제1 부호화 비용을 계산하는 인트라 예측부와,
    상기 분할된 화상을 인트라 부호화할지 인터 부호화할지를 판정하는 인트라/인터 판정부를 더 구비하고,
    상기 인트라 예측부는 상기 제1 부호화 비용을 상기 인트라/인터 판정부에 송신하고,
    상기 인터 예측부는, 상기 분할된 화상과 상기 참조 화상의 차분을 이용하여 인터 부호화하는 경우에 요하는 제2 부호화 비용을 계산하여, 상기 제2 부호화 비용을 상기 인트라/인터 판정부에 송신하고,
    상기 인트라/인터 판정부는 상기 제1 부호화 비용과 상기 제2 부호화 비용에 기초하여, 상기 분할된 화상을 인트라 부호화할지 인터 부호화할지 결정하는,
    동화상 부호화 장치의 동작 방법.
  18. 동화상 데이터를 출력하는 카메라와,
    상기 카메라로부터 출력되는 상기 동화상 데이터를 입력되는 동화상 부호화 장치와,
    메모리를 구비하고,
    상기 동화상 부호화 장치는,
    예측 부호화의 대상으로 되는 분할된 화상과 참조 화상의 차분을 구하여 예측 부호화를 행하는 화상 부호화부와,
    상기 분할된 화상의 부호화 결과에 기초하여 참조 화상을 생성하는 로컬 디코드 생성부와,
    상기 참조 화상을 압축하여 압축 데이터를 생성하는 압축부와,
    상기 동화상 데이터의 정해진 영역마다, 메모리에 저장할 상기 압축 데이터의 허용 데이터양을 미리 설정하는 허용 데이터양 설정부와,
    상기 압축 데이터를 상기 메모리에 저장할지의 여부를 판정하는 참조 화상 저장 판정부와,
    상기 메모리에 저장된 상기 참조 화상에 기초하여, 인터 부호화를 위한 움직임 검출을 행하는 인터 예측부를 구비하고,
    상기 참조 화상 저장 판정부는 상기 허용 데이터양에 기초하여, 상기 압축 데이터를 상기 메모리에 저장할지의 여부를 판정하고, 상기 압축 데이터를 상기 메모리에 저장한다는 판정 결과에 기초하여 상기 압축 데이터를 상기 메모리에 저장하고,
    상기 인터 예측부는, 상기 메모리에 저장된 상기 압축 데이터에 대응하는 상기 참조 화상을 움직임 검출의 탐색 범위로 하고,
    상기 동화상 부호화 장치는 운전 모드에 따라 상기 메모리의 사용량을 가변으로 하는,
    차량.
  19. 제18항에 있어서,
    상기 운전 모드는, 제1 운전 모드와, 제1 운전 모드와는 상이한 제2 운전 모드를 갖고,
    상기 제1 운전 모드에서는 상기 차량은 자동 운전으로 주행되고,
    상기 제1 운전 모드에서 상기 동화상 부호화 장치가 사용할 메모리 사용량은 제1 메모리 사용량으로 하고,
    상기 제2 운전 모드에서는 상기 차량은 수동 운전으로 주행되고,
    상기 제2 운전 모드에서 상기 동화상 부호화 장치가 사용할 메모리 사용량은 제2 메모리 사용량으로 하고,
    상기 제1 메모리 사용량은 상기 제2 메모리 사용량보다 작은,
    차량.
  20. 제19항에 있어서,
    상기 제1 운전 모드에서는 상기 동화상 부호화 장치의 가역 압축 기능이 유효로 되고, 상기 허용 데이터양은 상기 제1 메모리 사용량에 따라 조정되고,
    상기 제2 운전 모드에서는 상기 동화상 부호화 장치의 가역 압축 기능이 무효로 되는,
    차량.
KR1020190147459A 2018-12-18 2019-11-18 동화상 부호화 장치 및 그 동작 방법, 동화상 부호화 장치를 탑재하는 차량 KR20200075736A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018236818A JP7224892B2 (ja) 2018-12-18 2018-12-18 動画像符号化装置及びその動作方法、動画像符号化装置を搭載する車両
JPJP-P-2018-236818 2018-12-18

Publications (1)

Publication Number Publication Date
KR20200075736A true KR20200075736A (ko) 2020-06-26

Family

ID=68655299

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190147459A KR20200075736A (ko) 2018-12-18 2019-11-18 동화상 부호화 장치 및 그 동작 방법, 동화상 부호화 장치를 탑재하는 차량

Country Status (5)

Country Link
US (2) US11102475B2 (ko)
EP (1) EP3672247B1 (ko)
JP (1) JP7224892B2 (ko)
KR (1) KR20200075736A (ko)
CN (1) CN111343456A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11184623B2 (en) 2011-09-26 2021-11-23 Texas Instruments Incorporated Method and system for lossless coding mode in video coding
JP7224892B2 (ja) 2018-12-18 2023-02-20 ルネサスエレクトロニクス株式会社 動画像符号化装置及びその動作方法、動画像符号化装置を搭載する車両
WO2022110131A1 (zh) * 2020-11-30 2022-06-02 深圳市大疆创新科技有限公司 帧间预测方法、装置、编码器、解码器和存储介质
CN112714316B (zh) * 2020-12-21 2023-01-31 太原智林信息技术股份有限公司 基于视频码流的规则标志检测和分类识别方法
CN113868189B (zh) * 2021-12-02 2022-02-11 成都奥卡思微电科技有限公司 一种波形文件处理方法、存储介质和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266731A (ja) 2003-03-04 2004-09-24 Matsushita Electric Ind Co Ltd 動画符号化方法および装置
JP2009260977A (ja) 2008-04-15 2009-11-05 Sony Corp 不可逆圧縮及び可逆圧縮を組み合わせて用いたビデオデータ圧縮

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116539A (ja) * 1994-10-17 1996-05-07 Hitachi Ltd 動画像符号化装置と動画像符号化方法
JP3840020B2 (ja) * 1999-12-14 2006-11-01 株式会社東芝 動画像符号化装置
JP4641892B2 (ja) * 2005-07-27 2011-03-02 パナソニック株式会社 動画像符号化装置、方法、及びプログラム
JP4597103B2 (ja) * 2006-08-30 2010-12-15 Ｏｋｉセミコンダクタ株式会社 動きベクトル探索方法及び装置
EP2141930A4 (en) 2007-04-26 2011-03-23 Panasonic Corp MOTION DETECTION APPARATUS, MOTION DETECTION METHOD, AND MOTION DETECTION PROGRAM
WO2009045683A1 (en) * 2007-09-28 2009-04-09 Athanasios Leontaris Video compression and tranmission techniques
US20090245374A1 (en) * 2008-03-26 2009-10-01 Mediatek Inc. Video encoder and motion estimation method
JP2009267689A (ja) * 2008-04-24 2009-11-12 Panasonic Corp 動画像符号化装置、及び動画像符号化方法
US20100098166A1 (en) 2008-10-17 2010-04-22 Texas Instruments Incorporated Video coding with compressed reference frames
KR101602871B1 (ko) 2009-08-25 2016-03-11 삼성전자주식회사 데이터 부호화 방법 및 장치와 데이터 복호화 방법 및 장치
JP5328629B2 (ja) * 2009-12-17 2013-10-30 株式会社メガチップス エンコーダおよび画像変換装置
JP5396302B2 (ja) * 2010-02-08 2014-01-22 パナソニック株式会社 映像信号符号化装置及び映像信号符号化方法
JP5583439B2 (ja) * 2010-03-17 2014-09-03 パナソニック株式会社 画像符号化装置及びカメラシステム
WO2011123882A2 (en) * 2010-04-07 2011-10-13 Vincenzo Liguori Video transmission system having reduced memory requirements
JP5585271B2 (ja) 2010-07-27 2014-09-10 富士通株式会社 動画像符号化装置
JP5585290B2 (ja) 2010-08-12 2014-09-10 富士通株式会社 動画像符号化装置
JP5767816B2 (ja) * 2011-01-20 2015-08-19 ルネサスエレクトロニクス株式会社 記録装置に搭載可能な半導体集積回路およびその動作方法
JP2013115583A (ja) * 2011-11-28 2013-06-10 Canon Inc 動画像符号化装置及びその制御方法並びにプログラム
JP6066557B2 (ja) * 2011-12-26 2017-01-25 株式会社メガチップス データ記憶制御装置、データ記憶装置、データ記憶方法、圧縮回路、および圧縮方法
US9300984B1 (en) * 2012-04-18 2016-03-29 Matrox Graphics Inc. Independent processing of data streams in codec
CN102769753B (zh) * 2012-08-02 2015-12-09 豪威科技(上海)有限公司 H264编码器及编码方法
US20150312574A1 (en) * 2013-08-12 2015-10-29 Intel Corporation Techniques for low power image compression and display
JP6410495B2 (ja) * 2014-07-07 2018-10-24 ルネサスエレクトロニクス株式会社 画像符号化装置、画像復号装置、および画像通信システム
CN104333760B (zh) * 2014-10-10 2018-11-06 华为技术有限公司 三维图像编码方法和三维图像解码方法及相关装置
US20160277767A1 (en) * 2015-03-16 2016-09-22 Thomson Licensing Methods, systems and apparatus for determining prediction adjustment factors
WO2017094298A1 (ja) * 2015-12-04 2017-06-08 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP6728870B2 (ja) * 2016-03-28 2020-07-22 富士通株式会社 画像圧縮装置、画像圧縮方法、及び画像圧縮プログラム
JP6875821B2 (ja) * 2016-10-19 2021-05-26 キヤノン株式会社 画像符号化装置、撮像装置、画像符号化方法およびプログラム
WO2018110270A1 (ja) * 2016-12-12 2018-06-21 ソニー株式会社 画像処理装置および方法
US10972738B2 (en) * 2018-03-29 2021-04-06 Mediatek Inc. Video encoding apparatus having reconstruction buffer with fixed size and/or bandwidth limitation and associated video encoding method
TWI752331B (zh) * 2018-06-29 2022-01-11 大陸商北京字節跳動網絡技術有限公司 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
US11109023B2 (en) * 2018-11-27 2021-08-31 Tencent America LLC Intra mode selection in intra prediction
JP7224892B2 (ja) * 2018-12-18 2023-02-20 ルネサスエレクトロニクス株式会社 動画像符号化装置及びその動作方法、動画像符号化装置を搭載する車両
US10855983B2 (en) * 2019-06-13 2020-12-01 Intel Corporation Encoding video using two-stage intra search

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266731A (ja) 2003-03-04 2004-09-24 Matsushita Electric Ind Co Ltd 動画符号化方法および装置
JP2009260977A (ja) 2008-04-15 2009-11-05 Sony Corp 不可逆圧縮及び可逆圧縮を組み合わせて用いたビデオデータ圧縮

Also Published As

Publication number Publication date
CN111343456A (zh) 2020-06-26
EP3672247B1 (en) 2023-07-05
JP2020099013A (ja) 2020-06-25
US11606552B2 (en) 2023-03-14
JP7224892B2 (ja) 2023-02-20
EP3672247A1 (en) 2020-06-24
US11102475B2 (en) 2021-08-24
US20210352278A1 (en) 2021-11-11
US20200195918A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
KR20200075736A (ko) 동화상 부호화 장치 및 그 동작 방법, 동화상 부호화 장치를 탑재하는 차량
KR102481585B1 (ko) 참조 이미지 프로세싱을 위한 방법, 애플리케이션 프로세서 및 모바일 기기
JP4752631B2 (ja) 画像符号化装置、及び画像符号化方法
CN108632609B (zh) 视频编解码装置及方法
WO2010087157A1 (ja) 画像符号化方法及び画像復号方法
US11297324B2 (en) Interpolation filter for an inter prediction apparatus and method for video coding
KR20160110961A (ko) 비대칭 구획을 갖는 인트라 블록 카피 예측 및 인코더측 검색 패턴, 검색 범위 및 구획화 접근법
KR20050031674A (ko) 동영상 부호화기에서의 예측 수행 방법 및 장치
KR20170045013A (ko) 데이터 인코딩 장치 및 데이터 인코딩 방법
JP4732184B2 (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体
JP2014075652A (ja) 画像符号化装置及び方法
US8687910B2 (en) Image filtering method using pseudo-random number filter and apparatus thereof
KR102413038B1 (ko) 예측 화상 보정 장치, 화상 부호화 장치, 화상 복호 장치, 및 프로그램
WO2006025904A1 (en) Fast motion estimation for multiple reference pictures
US11683497B2 (en) Moving picture encoding device and method of operating the same
JP2007067694A (ja) 画像符号化装置、カメラ、携帯端末機器および画像符号化方法
WO2022140905A1 (zh) 预测方法、编码器、解码器以及存储介质
JPH10229563A (ja) 動画像符号化方法、及び動画像符号化装置
CN109672889B (zh) 约束的序列数据头的方法及装置
JP4857243B2 (ja) 画像符号化装置及びその制御方法、コンピュータプログラム
US8249373B2 (en) Image data decoding apparatus and method for decoding image data
JP6985899B2 (ja) 画像符号化装置及びその制御方法並びにプログラム
JP2008199521A (ja) 画像処理装置およびその方法
KR100507441B1 (ko) 가변장 부호의 입력 특성을 이용한 영상 신호 압축 방법및 상기 방법을 수행하는 비디오 인코더
CN118042136A (zh) 编解码方法和装置