KR20160048986A - 슬라이스 높이로 균등하게 분할할 수 없는 화상 높이 및/또는 화소 그룹 폭으로 균등하게 분할할 수 없는 슬라이스 폭을 갖는 화상을 처리하는 방법 및 장치 - Google Patents

슬라이스 높이로 균등하게 분할할 수 없는 화상 높이 및/또는 화소 그룹 폭으로 균등하게 분할할 수 없는 슬라이스 폭을 갖는 화상을 처리하는 방법 및 장치 Download PDF

Info

Publication number
KR20160048986A
KR20160048986A KR1020167008601A KR20167008601A KR20160048986A KR 20160048986 A KR20160048986 A KR 20160048986A KR 1020167008601 A KR1020167008601 A KR 1020167008601A KR 20167008601 A KR20167008601 A KR 20167008601A KR 20160048986 A KR20160048986 A KR 20160048986A
Authority
KR
South Korea
Prior art keywords
padding
slice
image
pixel
bitstream
Prior art date
Application number
KR1020167008601A
Other languages
English (en)
Other versions
KR102070484B1 (ko
Inventor
건-빈 이
텅-싱 우
한-리앙 쵸우
Original Assignee
미디어텍 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미디어텍 인크. filed Critical 미디어텍 인크.
Publication of KR20160048986A publication Critical patent/KR20160048986A/ko
Application granted granted Critical
Publication of KR102070484B1 publication Critical patent/KR102070484B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/08—Separation of synchronising signals from picture signals

Abstract

이미지 처리 방법은, 패딩 영역을 화상과 결합하는 단계 - 상기 패딩 영역에 포함된 임의의 패딩 화소는 미리 정해진 화소 값을 할당받음 -; 및 상기 패딩 영역이 결합되어 있는 화상을 인코딩하는 단계를 포함한다. 예를 들어, 상기 패딩 영역은 상기 화상의 하부 에지 바로 아래에 있다. 다른 예를 들어, 상기 패딩 영역에 포함된 모든 패딩 화소는 동일한 화소 값을 가진다.

Description

슬라이스 높이로 균등하게 분할할 수 없는 화상 높이 및/또는 화소 그룹 폭으로 균등하게 분할할 수 없는 슬라이스 폭을 갖는 화상을 처리하는 방법 및 장치 {METHOD AND APPARATUS FOR PROCESSING PICTURE HAVING PICTURE HEIGHT NOT EVENLY DIVISIBLE BY SLICE HEIGHT AND/OR SLICE WIDTH NOT EVENLY DIVISIBLE BY PIXEL GROUP WIDTH}
관련 출원의 상호참조
본 출원은 미국 가출원 제61/904,490호(2013년 11월 15일 출원), 미국 가출원 제61/895,454 호(2013년 10월 25일 출원), 및 미국 가출원 제61/895,46호(2013년 10월 25일 출원)의 혜택을 주장한다. 상기 관련 출원의 내용 전부는 인용에 의해 본 출원에 통합된다.
본 발명의 개시된 실시예들은 화소 패딩(pixel padding)을 사용하여 이미지를 처리하는 것에 관한 것으로, 더욱 구체적으로는, 슬라이스 높이로 균등하게 분할할 수 없는 화상 높이 및/또는 화소 그룹 폭으로 균등하게 분할할 수 없는 슬라이스 폭을 갖는 화상을 처리하는 방법 및 장치에 관한 것이다.
디스플레이 인터페이스(display interface)는 애플리케이션 프로세서(application processor, AP)와 디스플레이 드라이버 집적회로(display driver integrated circuit, DDIC) 사이에 배치되어, 추가적인 처리를 위해 디스플레이 데이터를 AP에서 DDIC로 전송할 수 있다. 디스플레이 패널이 높은 디스플레이 해상도를 지원할 때, 높은 해상도를 갖는 2D/3D 디스플레이가 실현될 수 있다. 따라서, 디스플레이 인터페이스 통해 송신되는 디스플레이 데이터는 큰 데이터 사이즈/데이터 레이트를 가질 것이고, 이는 필연적으로 디스플레이 인터페이스의 전력 소비를 증가시킨다. AP와 DDIC가 모두 배터리 기기(battery device)에 의해 전력을 공급받는 휴대형 기기(예컨대, 스마트폰)에 위치한 경우, 디스플레이 인터페이스의 전력 소비 증대로 인해 배터리 수명이 단축된다.
유사하게, 카메라 인터페이스는 카메라 모듈과 이미지 신호 프로세서(image signal processor, ISP) 사이에 배치되어, 추가적인 처리를 위해 멀티미디어 데이터를 카메라 모듈에서 ISP로 송신할 수 있다. ISP는 애플리케이션 프로세서의 일부일 수 있다. 높은 해상도를 갖는 카메라 센서가 카메라 모듈에 채용될 때, 카메라 인터페이스를 통해 송신되는 캡처된 이미지 데이터(captured image data)는 큰 데이터 사이즈/데이터 레이트를 가질 것이고, 이는 필연적으로 카메라 모듈의 전력 소비를 증가시킨다. 카메라 모듈과 ISP가 모두 배터리 기기에 의해 전력을 공급받은 휴대형 기기(예컨대, 스마트폰)에 위치하면, 카메라 인터페이스의 전력 소비 증가로 인해 배터리 수명이 단축된다.
디스플레이 인터페이스 또는 카메라 인터페이스와 같은 송신 인터페이스를 통해 송신되는 화상 데이터의 데이터 사이즈/데이터 레이트를 줄이기 위해 데이터 압축이 채용될 수 있다. 인코더 측, 디코더 측, 또는 이들 양측에서 병렬 처리가 가능하도록, 슬라이스 파티셔닝(slice partitioning)이 제안된다. 하지만, 화상의 화상 높이는 슬라이스 높이로 균등하게 분할 불가능할 수 있고 및/또는 화상의 슬라이스 폭은 화소 그룹 폭으로 균등하게 분할 불가능할 수 있다. 따라서 화소 패딩이 필요하다. 하지만, 슬라이스 경계 조건은 그 처리를 더 복잡하게 만들 수 있다. 따라서, 동등한 사이즈의 슬라이스로 파티셔닝되는 화상의 화소 패딩을 단순화할 수 있는 혁신적인 디자인이 필요하다.
본 발명의 예시적인 실시예들에 따르면, 슬라이스 높이로 균등하게 분할할 수 없는 화상 높이 및/또는 화소 그룹 폭으로 균등하게 분할할 수 없는 슬라이스 폭을 갖는 화상을 처리하는 방법 및 장치가 제안된다.
본 발명의 제1 측면에 따르면, 예시적인 이미지 처리 방법은, 패딩 영역(padding region)을 화상(picture)과 결합하는 단계 - 상기 패딩 영역에 포함된 임의의 패딩 화소는 미리 정해진 화소 값을 할당받음 -; 및 상기 패딩 영역이 결합되어 있는 화상을 인코딩하는 단계를 포함한다.
본 발명의 제2 측면에 따르면, 이미지 처리 방법은, 제1 패딩 규칙을 사용하여 화상의 오른쪽 에지(right edge) 너머에 제1 패딩 화소를 설정하는 단계; 제2 패딩 규칙을 사용하여 상기 화상의 하부 에지(bottom edge) 너머에 제2 패딩 화소를 설정하는 단계 - 상기 제2 패딩 규칙은 상기 제1 패딩 규칙과 다름 -; 및 상기 제1 패딩 화소 및 상기 제2 패딩 화소가 결합되어 있는 화상을 인코딩하는 단계를 포함한다.
본 발명의 제3 측면에 따르면, 예시적인 이미지 처리 방법은, 제1 패딩 규칙을 사용하여 화상의 오른쪽 에지 너머에 제1 패딩 화소를 설정하는 단계; 상기 제1 패딩 화소가 결합되어 있는 화상의 인코딩으로부터 비트스트림을 생성하는 단계; 및 제2 패딩 규칙을 사용하여 상기 화상의 하부 에지 너머의 제2 패딩 화소의 적어도 일부의 인코딩 결과를 나타내는 제1 미리 설정된 비트 패턴을 설정하고, 상기 제1 미리 정해진 비트 패턴을 상기 비트스트림에 패딩하는 단계 - 상기 제2 패딩 규칙은 상기 제1 패딩 규칙과 다름 -를 포함한다.
본 발명의 제4 측면에 따르면, 이미지 처리 방법은, 제1 패딩 영역이 결합되어 있는 화상의 인코딩으로부터 생성되는 비트스트림을 수신하는 단계 - 상기 제1 패딩 영역에 포함된 임의의 패딩 화소는 미리 정해진 화소 값을 할당받고, 상기 비트스트림은 상기 화상의 인코딩된 데이터의 제1 비트스트림과 상기 제1 패딩 영역의 인코딩된 데이터의 제2 비트스트림을 적어도 포함함 -; 상기 비트스트림에서 상기 제2 비트스트림을 식별하는 단계; 및 상기 제2 비트스트림의 적어도 일부의 디코딩을 무시하는 단계를 포함한다.
본 발명의 제5 측면에 따르면, 예시적인 이미지 처리 방법은, 슬라이스 행(slice row) 내의 슬라이스의 목표 개수로 화상의 화상 폭을 균등하게 분할하여 초기 슬라이스 폭을 결정하는 단계; 상기 초기 슬라이스 폭이 화소 그룹 폭의 정수배가 아닌 제1 값일 때, 상기 초기 슬라이스 폭을 상기 화소 그룹 폭의 정수배인 제2 값으로 확장하여 최종 슬라이스 폭을 결정하는 단계; 및 적어도 부분적으로 상기 최종 슬라이스 폭에 기초하여 상기 화상을 인코딩하는 단계를 포함한다.
본 발명의 제6 측면에 따르면, 예시적인 이미지 처리 장치는 패딩 회로와 인코딩 회로를 포함한다. 상기 패딩 회로는 패딩 영역을 화상과 결합하도록 구성되며, 상기 패딩 영역에 포함된 임의의 패딩 화소는 미리 정해진 화소 값을 할당받는다. 상기 인코딩 회로는 상기 패딩 영역이 결합되어 있는 화상을 인코딩하도록 구성된다.
본 발명의 제7 측면에 따르면, 예시적인 이미지 처리 장치는 패딩 회로와 인코딩 회로를 포함한다. 상기 패딩 회로는 제1 패딩 규칙을 사용하여 화상의 오른쪽 에지 너머에 제1 패딩 화소를 설정하고, 제2 패딩 규칙을 사용하여 상기 화상의 하부 에지 너머에 제2 패딩 화소를 설정하도록 구성되며, 상기 제2 패딩 규칙은 상기 제1 패딩 규칙과 다르다. 상기 인코딩 회로는 상기 제1 패딩 화소 및 상기 제2 패딩 화소가 결합되어 있는 화상을 인코딩하도록 구성된다.
본 발명의 제8 측면에 따르면, 예시적인 이미지 처리 장치가 개시된다. 상기 예시적인 이미지 처리 장치는 패딩 회로와 인코딩 회로를 포함한다. 상기 패딩 회로는 제1 패딩 규칙을 사용하여 화상의 오른쪽 에지 너머에 제1 패딩 화소를 설정하도록 구성된다. 상기 인코딩 회로는 상기 제1 패딩 화소가 결합되어 있는 화상의 인코딩으로부터 비트스트림을 생성하도록 구성된다. 상기 패딩 회로는, 제2 패딩 규칙을 사용하여 상기 화상의 하부 에지 너머의 제2 패딩 화소의 적어도 일부의 인코딩 결과를 나타내는 제1 미리 설정된 비트 패턴을 설정하고 상기 제1 미리 정해진 비트 패턴을 상기 비트스트림에 패딩하도록 더 구성되고, 상기 제2 패딩 규칙은 상기 제1 패딩 규칙과 다르다.
본 발명의 제9 측면에 따르면, 예시적인 이미지 처리 장치가 개시된다. 상기 예시적인 이미지 처리 장치는 인터페이스 회로와 디코딩 회로를 포함한다. 상기 인터페이스 회로는 제1 패딩 영역이 결합되어 있는 화상의 인코딩으로부터 생성되는 비트스트림을 수신하도록 구성되며, 상기 제1 패딩 영역에 포함된 임의의 패딩 화소는 미리 정해진 화소 값을 할당받고, 상기 비트스트림은 상기 화상의 인코딩된 데이터의 제1 비트스트림과 상기 제1 패딩 영역의 인코딩된 데이터의 제2 비트스트림을 적어도 포함한다. 상기 디코딩 회로는 상기 비트스트림에서 상기 제2 비트스트림을 식별하고, 상기 제2 비트스트림의 적어도 일부의 디코딩을 무시하도록 구성된다.
본 발명의 제10 측면에 따르면, 예시적인 이미지 처리 장치가 개시된다. 상기 예시적인 이미지 처리 장치는 슬라이스 폭 결정 회로와 인코딩 회로를 포함한다. 상기 슬라이스 폭 결정 회로는, 슬라이스 행 내의 슬라이스의 목표 개수로 화상의 화상 폭을 균등하게 분할하여 초기 슬라이스 폭을 생성하고; 상기 초기 슬라이스 폭이 화소 그룹 폭의 정수배가 아닌 제1 값일 때, 상기 초기 슬라이스 폭을 상기 화소 그룹 폭의 정수배인 제2 값으로 확장하여 최종 슬라이스 폭을 결정하도록 구성된다. 상기 인코딩 회로는 적어도 부분적으로 상기 최종 슬라이스 폭에 기초하여 상기 화상을 인코딩하도록 구성된다.
본 발명의 이들 및 다른 목적은 여러 도면에 예시되어있는 바람직한 실시예의 상세한 설명을 읽은 후에 당업자에게 명백해질 것이다.
도 1은 본 발명의 실시예에 따른 이미지 처리 시스템을 나타낸 도면이다.
도 2는 화소 그룹 폭으로 균등하게 분할할 수 없는 슬라이스 폭에 기초하여 파티셔닝된 화상에 적용된 화소 패딩을 나타낸 도면이다.
도 3은 화소 그룹 폭으로 균등하게 분할할 수 있는 슬라이스 폭에 기초하여 파티셔닝된 화상에 적용된 화소 패딩을 나타낸 도면이다.
도 4a는 본 발명의 실시예에 따른 화상에 부가된 패딩 영역을 나타낸 도면이다.
도 4b는 본 발명의 실시예에 따른 화상 내의 슬라이스의 파티셔닝 설정을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 다른 이미지 처리 시스템을 나타낸 도면이다.
상세한 설명 및 아래의 청구범위 전반에 특정 용어가 특정 구성 요소를 지칭하기 위해 사용된다. 당업자가 이해할 것인 바와 같이, 제조자들은 구성요소를 다른 명칭으로 지칭할 수 있다. 본 명세서는 명칭만 다르고 기능은 동일한 구성요소들은 구별하지는 않는다. 이하의 설명 및 청구범위에서 "포함한다"은 개방형(open-end fashion)로 사용되므로, "...를 포함하지만, 이에 한정되지는 않는"의 의미로 해석되어야 한다. 또한, 용어 "결합("couple")은 간접적인 또는 직접적인 전기적 연결을 의미한다. 따라서, 하나의 장치가 다른 장치에 연결되는 경우, 그 연결은 직접적인 전기적 연결을 통해, 또는 다른 장치들 및 연결을 통한 간접적인 전기적 연결을 통한 것일 수 있다.
본 발명은 화상에 대해 데이터 압축을 적용한 다음, 압축 화상을 송신 인터페이스를 통해 전송하는 것을 제안한다. 압축 화상의 데이터 사이즈/데이터 레이트는 원래의 압축되지 않은(비압축) 화상의 그것보다 작기 때문에, 송신 인터페이스의 전력 소비는 상응하게 감소한다. 데이터 압축과 관련하여, 본 발명은 슬라이스 폭을 화소 그룹 폭(예컨대, 화소의 일차원 그룹의 그룹 사이즈)의 정수배인 값으로 조절하고 및/또는 화상 에지(예컨대, 화상의 하부 에지) 너머의 패딩 화소 각각에 미리 정해진 값을 할당하는 것을 제안한다. 예이지만, 한정사항은 아닌, 제안된 슬라이스 폭 결정 방법 및/또는 제안된 패딩 방법은 인코더 측에서의 인코딩 작업(encoding operation)을 단순화하기 위해, 비디오 전자 표준 위원회(Video Electronics Standards Association, VESA) 디스플레이 스트림 압축(display stream compression, DSC)과 같은, 코딩 표준에 의해 채용될 수 있다. 또한, 화상 에지 너머의 패딩 화소 각각은 미리 정해진 값을 할당받기 때문에, 패딩 화소의 적어도 일부(일부 또는 전부)의 인코딩으로부터 생성된 비트스트림(즉, 비트 패턴)은 미리 공지 및 취득될 수 있다. 일 예시적인 디자인에서, 인코딩 작업(예컨대, 코딩의 예측 모드(P-mode) 또는 인덱싱된 컬러 히스토리(indexed color history, ICH) 코딩)은 패딩 화소의 적어도 일부에 실제로 적용되지 않고, 사전 생성된 미리 정해진 비트 패턴이 화상의 인코딩으로부터 생성된 비트스트림에 직접 패딩되어 패딩 화소의 적어도 일부에 대한 인코딩 결과의 역할을 한다. 다른 예시적인 디자인에서, 화소 패딩은 화소 에지 너머에 패딩 화소를 추가하기 위해 화소에 실제로 적용되지 않고, 패딩 화소의 적어도 일부의 인코딩 결과를 나타내는 미리 정해진 비트 패턴이 화상의 인코딩으로부터 생성된 비트스트림에 직접 패딩된다. 제안된 이미지 처리 디자인의 더 자세한 사항은 이하에 설명한다.
도 1은 본 발명의 실시예에 따른 이미지 처리 시스템을 나타낸 도면이다. 이미지 처리 시스템(100)은 복수의 이미지 처리 장치(102, 104)를 포함한다. 이미지 처리 장치(102)는 슬라이스 폭 결정 회로(112), 슬라이스 높이 결정 회로(113), 패딩 회로(114), 인코딩 회로(116), 레이트 컨트롤러(rate controller)(117), 및 출력 인터페이스(118)를 포함한다. 슬라이스 폭 결정 회로(112), 패딩 회로(114), 및 인코딩 회로(116) 각각은 인코더 측의 압축기(compressor)의 회로 구성요소일 수 있다. 이미지 처리 장치(104)는 입력 인터페이스(122) 및 디코딩 회로(124)를 포함하며, 디코딩 회로(124)는 디코더 측의 압축 해제기(decompressor)의 부분일 수 있다. 또한, 디코딩 회로(124)는 압축 효율을 향상시키기 위해 레이트 컨트롤러(117)에 의해 수행되는 것과 유사한 레이트 제어 기능을 수행할 수 있다. 유의해야 할 것은 본 발명에 관련된 회로 구성요소만 도 1에 도시되어 있다는 것이다. 실제로, 이미지 처리 장치(102, 104)들 중 하나 또는 모두가 추가적인 회로 구성요소를 갖도록 구성될 수 있다.
이미지 처리 장치(102, 104)는 상이한 칩으로 구현될 수 있다. 따라서, 이미지 처리 장치(102)는 송신 인터페이스(101)를 통해 이미지 처리 장치(104)에 대해 비트스트림(BS)을 생성한다. 구체적으로, 이미지 처리 장치(102)의 출력 인터페이스(118)는 송신 인터페이스(101)의 프로토콜에 따라 이미지 처리 장치(104)의 입력 인터페이스(122)와 통신한다.
일 예시적인 구현에서, 이미지 처리 장치(102)는 카메라 모듈 내에 구현될 수 있고, 이미지 처리 장치(104)는 이미지 신호 프로세서(ISP) 내에 구현될 수 있다. ISP는 애플리케이션 프로세서(AP)의 부분일 수 있다. 제안된 이미지 처리 장치(102)에 의해 처리될 화상(IMG)은 카메라 모듈 내의 카메라 센서의 출력으로부터도 도출될 수 있다. 또, 송신 인터페이스(101)는 모바일 산업 프로세서 인터페이스(Mobile Industry Processor Interface, MIPI)에 의해 표준화된 카메라 직렬 인터페이스(camera serial interface, CSI)일 수 있다.
다른 예시적인 구현에서, 이미지 처리 장치(102)는 애플리케이션 프로세서(AP) 내에 구현될 수 있고, 이미지 처리 장치(104)는 디스플레이 드라이버 집적 회로(display driver integrated circuit, DDIC) 내에 구현될 수 있다. 이미지 처리 장치(102)에 의해 처리될 화상(IMG)은 AP에서 생성될 수 있다. 또, 송신 인터페이스(101)는 모바일 산업 프로세서 인터페이스(MIPI)에 의해 표준화된 디스플레이 직렬 인터페이스(DSI)일 수 있다.
이미지 처리 장치(102)는 화상(IMG)을 인코딩 회로(116)에 의해 인코딩될 슬라이스로 파티셔닝하기 위해 참조되는 최종 슬라이스 폭(WS)을 결정하기 위해 제안된 슬라이스 폭 결정 방법을 채용할 수 있다. 화상(IMG) 내의 모든 슬라이스는 슬라이스 높이(HS) 및 슬라이스 폭(WS)에 의해 규정된 동일한 사이즈를 갖는다. 구체적으로, 화상(IMG)은 슬라이스 높이(HS)에 따라 복수의 슬라이스 행으로 파티셔닝되며, 슬라이스 행은 화상(IMG) 내에서 수직으로 정렬되고, 슬라이스 높이(HS)는 각각의 슬라이스 행에 포함된 라인(즉, 화소 행)의 개수를 결정한다. 각각의 슬라이스 행은 슬라이스 폭(WS)에 따라 복수의 슬라이스로 파티셔닝되며, 슬라이스들은 슬라이스 행 내에서 수평으로 정렬된다. 그룹 사이즈(즉, 화소로 구성된 화소 그룹의 사이즈)에 기초하여, 각 슬라이스는 복수의 화소 그룹으로 분할되고, 각각이 인코딩 회로(116)에 의해 처리되는 기본 압축 단위 역할을 한다. 예를 들어, 각 화소 그룹은 mxn개의 화소 블록일 수 있으며, m은 화소 그룹 높이를 나타내고, n은 화소 그룹 폭을 나타내고, m 및 n은 양의 정수이다. m=1일 때, 각 화소 그룹은 일차원 화소 블록이다. m>1일 때, 각 화소 그룹은 이차원 화소 블록이다.
본 실시예에서, 슬라이스 폭 결정 회로(112)는 화상(IMG)의 화상 폭(WP), 슬라이스 행 내의 슬라이스의 목표 개수(NS), 및 각 슬라이스 내의 각 화소 그룹의 화소 그룹 폭에 기초하여 최종 슬라이스 폭(WS)의 계산을 책임진다. 슬라이스 폭 결정 회로(112)는 화상 폭(WP)을 하나의 슬라이스 내의 슬라이스의 목표 개수로 균등하게 분할하여 초기 슬라이스 폭(WS')을 생성한다(즉, WS'= WP/NS). 다음에, 슬라이스 폭 결정 회로(112)는, 초기 슬라이스 폭(WS')이 화소 그룹 폭(n)의 정수배인지를 확인한다. 유의할 것은, 화소 그룹이 일차원일 때, 화소 그룹 폭은 일차원 화소 그룹의 그룹 사이즈이다.
초기 슬라이스 폭(WS')이 화소 그룹 폭(n)의 정수배인 경우를 생각해보자. 슬라이스 폭 결정 회로(112)는 최종 슬라이스 폭(WS)을 초기 슬라이스 폭(WS')으로 설정한다(즉, WS=WS'). 최종 슬라이스 폭(WS)이 화상(IMG)을 슬라이스로 파티셔닝하기 위해 사용되는 경우, 각 슬라이스의 슬라이스 폭이 화소 그룹 폭으로 균등하게 분할될 수 있다는 사실로 인해 각 슬라이스 오른쪽 에지에서 화소 패딩이 불필요하다.
초기 슬라이스 폭(WS')이 화소 그룹 폭(n)의 정수배가 아닌 다른 경우를 생각해보자. 최종 슬라이스 폭(WS)이 초기 슬라이스 폭(WS')으로 설정된 다음, 화상(IMG)을 슬라이스로 파티셔닝하기 위해 사용되면, 각 슬라이스의 슬라이스 폭이 화소 그룹 폭으로 균등하게 분할될 수 없다는 사실로 인해 각 슬라이스 오른쪽 에지에서 화소 패딩이 필요하다. 도 2는 슬라이스 폭이 화소 그룹 폭으로 균등하게 분할 불가능한 슬라이스에 기초하여 파티셔닝된 화상(IMG)에 적용되는 화소 패딩을 나타낸 도면이다. 화상 폭이 800이고, 슬라이스 폭(WS')이 400이고, 각 화소 그룹이 3개의 화소를 갖는 일차원 화소 그룹(즉, m=1 및 n=3)이라고 가정하자. 이 예에서, 원래의 화상(IMG)의 각 슬라이스 행은 두 개의 슬라이스로 균등하게 분할된다; 그러나 슬라이스 폭(WS')은 화소 그룹 폭으로 균등하게 분할 불가능한 값으로 설정된다. 각 슬라이스의 그룹 라인 내에는 134개의 화소 그룹이 있을 것이고, 각 슬라이스는 그룹 라인의 마지막 화소 그룹(즉, 가장 오른쪽 화소 그룹)에 패딩된 두 개의 여분의 화소(extra pixel)를 포함하여 400개의 화소를 가질 것이다. 도 2의 (A)에 도시된 바와 같이, 하나의 슬라이스 행은 두 개의 슬라이스 Slice_1 및 Slice_2를 포함하고, 각각은 WS'로 설정된 슬라이스 폭을 가진다. 슬라이스 폭( WS')은 3으로 분할 불가능하다. 도 2의 (B)에 도시된 슬라이스 Slice_1에 관해 설명하면, 그룹 라인의 마지막 화소 그룹은 화상(IMG)에 원래 포함된 하나의 화소 400 및 슬라이스 Slice_1의 오른쪽 에지 너머의 두 개의 패딩 화소를 포함한다. 유사하게, 도 2의 (B)에 도시된 슬라이스 Slice_2에 관해 설명하면, 그룹 라인의 마지막 화소 그룹은 화상(IMG)에 원래 포함된 하나의 화소 800 및 슬라이스 Slice_2의 오른쪽 에지 너머에 두 개의 패딩 화소를 포함한다. 슬라이스 Slice_2는 하나의 슬라이스 행 내의 마지막 슬라이스(즉, 가장 오른쪽 슬라이스)이기 때문에, 슬라이스 Slice_2의 화소 패딩은 화상(IMG)의 오른쪽 에지 너머로 확장된다. 일 예시적인 디자인에서, 패딩 회로(114)는 화상(IMG)의 오른쪽 에지 너머에 패딩 화소를 설정하기 위해 제1 패딩 규칙을 채용한다. 예를 들어, 제1 패딩 규칙은, 화상의 각 라인 내의 가장 오른쪽 화소가 반복되어, 슬라이스 행 내의 가장 오른쪽 슬라이스와 결합되는 패딩 화소가 되도록 정의한다. 따라서, 화소 800은 슬라이스 Slice_2 내의 그룹 라인의 마지막 화소 그룹을 위해 다음 두 개의 패딩 화소 각각을 형성하도록 복제된다. 제1 패딩 규칙하에서, 슬라이스 폭(WS')은 화소 그룹 폭의 정수배는 아니지만, 인코딩되는 슬라이스의 그룹 라인은 화소 그룹 폭의 정수배이다. 예를 들어, 슬라이스 폭(WS')이 400이고 인코딩될 슬라이스의 그룹 라인 내의 화소 개수가 402이면, 인코딩된 화소 중 두 개는 패딩 화소이다.
화소 패딩을 수행하는 빈도를 줄이고 인코딩 작업을 단순화하기 위해, 슬라이스 폭 결정 회로(112)는 초기 슬라이스 폭(WS')을 조정하여 최종 슬라이스 폭(WS)을 결정하도록 구성된다. 예를 들어, 초기 슬라이스 폭(WS')이 화소 그룹 폭(n)의 정수배가 아닌 제1 값을 가질 때, 슬라이스 폭 결정 회로(112)는 초기 슬라이스 폭(WS')을 화소 그룹 폭(n)의 정수배인 제2 값으로 확장하여 최종 슬라이스 폭(WS)을 결정한다. 최종 슬라이스 폭(WS)의 계산은 다음 식을 사용하여 표현될 수 있다:
Figure pct00001
위 식(1)에서,
Figure pct00002
는
Figure pct00003
보다 작은 최소 정수를 찾는 데 사용되는 천정 함수(ceiling function)를 나타낸다.
최종 슬라이스 폭(WS)이 화상(IMG)을 슬라이스로 파티셔닝하기 위해 참조되는 경우, 각 슬라이스의 슬라이스 폭이 화소 그룹 폭으로 균등하게 분할 가능한 값을 갖도록 적절히 제어된다는 사실로 인해, 화소 패딩은 각 슬라이스 행 내의 마지막 슬라이스(즉, 가장 오른쪽 슬라이스)의 오른쪽 에지에서만 필요하다. 도 3은 화소 그룹 폭으로 균등하게 분할 가능한 슬라이스 폭에 기초하여 파티셔닝된 화상(IMG)에 적용된 화소 패팅을 나타낸 도면이다. 화소 폭은 800이고, 초기 슬라이스 폭(WS')은 400이고, 각 화소 그룹은 3개의 화소를 갖는 일차원 화소 그룹(즉, m=1 및 n=3)이라고 가정하자. 이 예에서, 원래의 화상(IMG)의 각 슬라이스 행은 두 개의 슬라이스로 불균등하게 분할되지만; 슬라이스 폭(WS)은 화소 그룹 폭으로 균등하게 분할 가능한 값으로 설정된다. 또는, 슬라이스 Slice_1'의 슬라이스 폭은 화소 그룹 폭의 정수배로 설정되는 한편 슬라이스 Slice_2'의 슬라이스 폭은 화상(IMG)의 화상 폭(WP)과 슬라이스 Slice_1'의 슬라이스 폭 사이의 차로 설정된다. 따라서, 위의 식 (1)에 따르면, 값 400을 갖는 초기 슬라이스 폭(WS ')은 값 402를 갖는 최종 슬라이스 폭(WS)으로 확장될 것이고, 이에 따라 슬라이스 폭을 화소 그룹 폭으로 균등하게 분할 가능하게 만든다. 각 슬라이스의 그룹 라인 내에는 134개의 화소 그룹이 있을 것이고, 각 슬라이스는 402개 화소를 가질 것이다. 도 3의 (A)에 도시된 바와 같이, 그룹 라인 내에는 화소 1-402를 포함하고, 그룹 라인 내의 각 화소 그룹은 화상(IMG)에 원래 포함된 3개의 화소를 가진다. 도 3의 (B)에 도시된 슬라이스 Slice_2'에 대해 설명하면, 이는 화소 403-800 및 슬라이스 Slice_2'의 오른쪽 에지 너머의 4개의 패딩 화소를 포함하여, 마지막 두 화소 그룹은 그 안에 포함된 패딩 화소를 가질 수 있다. 슬라이스 Slice_2'는 하나의 슬라이스 행 내의 마지막 슬라이스(즉, 가장 오른쪽 슬라이스)이기 때문에, 슬라이스 Slice_2'의 화소 패딩은 화상(IMG)의 오른쪽 에지 너머로 확장된다. 일 예시적인 디자인에서, 패딩 회로(114)는 화상(IMG)의 오른쪽 에지 너머에 패딩 화소를 설정하기 위해 제1 패딩 규칙을 채용한다. 예를 들어, 제1 패딩 규칙은, 화상의 각 라인에서 가장 오른쪽 화소가 반복되어, 슬라이스 행 내의 가장 오른쪽 슬라이스와 결합되는 패딩 화소가 된다는 것을 정의한다. 따라서 화소 800이 복제되어 슬라이스 Slice_2' 내의 그룹 라인의 마지막 두 그룹에 대한 다음 4개의 패딩 화소를 형성한다. 제1 패딩 규칙하에서, 초기 슬라이스 폭(WS')은 화소 그룹 폭의 정수배는 아니지만, 인코딩되는 슬라이스의 그룹 라인은 화소 그룹 폭의 정수배이다. 예를 들어, 슬라이스 Slice_2'의 최종 슬라이스 폭(WS)이 402이고 인코딩될 슬라이스 Slice_2'의 그룹 라인 내의 화소 개수가 402이면, 인코딩된 화소 중 4개는 패딩 화소이다.
제안된 슬라이스 폭 결정 방법이 채용되는 경우, 슬라이스 행 내의 가장 오른쪽 슬라이스(예컨대, 도 3에서 슬라이스 Slice_2')만이 패딩 화소를 가진다. 다시 말해, 슬라이스 행 내의 임의의 가장 오른쪽 슬라이스가 아닌 것은 결합된 패딩 화소가 없다. 이와 같이, 화소 패딩 작업이 간단해질 수 있다.
슬라이스/화상의 오른쪽 에지 너머의 패딩 화소 외에도, 화상의 인코딩 작업은 화상의 하부 에지 너머에 화소를 패딩할 필요가 있을 수 있다. 동일한 화상 내의 모든 슬라이스는 동일한 슬라이스 높이를 가질 것을 요구한다. 화상 높이가 슬라이스 높이로 균등하게 분할 불가능한 경우, 패딩 화소가 화상의 하부 에지 너머에 추가될 것이다. 도 4a는 본 발명의 실시예에 따른 화상(IMG)에 추가된 패딩 영역을 나타낸 도면이다. 이 예에서, 이미지 처리 장치(102)는 화상(IMG)을, 수직으로 배열된 Slice(H1, V1), Slice(H1, V2), Slice(H1, V3), Slice(H1, V4) 및 수직으로 배열된 Slice(H2, V1), Slice(H2, V2), Slice H2, V3), Slice(H2, V4)를 포함하는 8개의 슬라이스로 파티셔닝한다. 도 4b는 본 발명의 실시예에 따른 화상(IMG) 내의 슬라이스(SL)의 파티션 설정을 나타낸 도면이다. 예를 들어, 슬라이스(SL)는 슬라이스 Slice(H1, V1)-Slice(H1, V4) 및 Slice(H2, V1)-Slice(H2, V4) 중 하나일 수 있다. 각 슬라이스는 하나 이상의 화소 그룹 행을 포함할 수 있고, 각 화소 그룹 행은 하나 이상의 화소 그룹을 포함할 수 있다. 이 예에서, 슬라이스(SL)는 4개의 화소 그룹 행을 가지고, 각 화소 그룹 행은 복수의 화소 그룹을 갖도록 정의되고, 각 화소 그룹은 3개의 화소를 갖도록 정의된다. 예를 들어, 화소 그룹 G1은 화소 P1-P3을 가진다. 유의해야 할 것은, 다른 디자인에서, 각 화소 그룹은 2차원 화소 블록일 수 있다는 것이다. 또, 다수의 화소 그룹은 하나의 슈퍼그룹(supergroup)으로 간주될 수 있다. 도 4b에 도시된 바와 같이, 슬라이스(SL) 내에는 10개 슈퍼 그룹 SG1-SG10이 있으며, 각 슈퍼 그룹은 4개의 화소 그룹을 갖는다. 예를 들어, 슈퍼그룹 SG1은 화소 그룹 G1-G4를 갖는다. SG3 및 SG9과 같이, 하나의 화소 그룹 행 내의 화소 그룹(들)을 포함하는 슈퍼그룹은 다음 화소 그룹 행 내의 화소 그룹을 포함하도록 줄바꿈될 수 있다.
슬라이스 폭 WS"는 화소 그룹 폭(예컨대, 화소의 일차원 그룹의 그룹 사이즈)으로 균등하게 분할 불가능할 수 있다. 따라서, 화소 패딩이 그러한 슬라이스의 오른쪽 에지에서 필요하다. 예를 들어, 슬라이스(SL)가 슬라이스 Slice(H2, V1)-Slice(H2, V4) 중 하나인 경우, 슬라이스(SL)의 오른쪽 에지는 또한 화상(IMG)의 오른쪽 에지이기도 하다. 화상(IMG)의 각 라인(즉, 화소 행) 내의 가장 오른쪽 화소가 반복되어, 슬라이스 행 내의 가장 오른쪽 슬라이스에 부가되는 패딩 화소가 된다. 다른 예를 들어, 슬라이스(SL)이 Slice(H1, V1)-Slice(H1, V4) 중 하나인 경우, 슬라이스(SL)의 오른쪽 에지는 화상(IMG)의 오른쪽 에지가 아니며, 슬라이스(SL)의 오른쪽 에지 너머에 패딩 화소를 설정하는 방법은 슬라이스(SL)의 화소 그룹 행 내의 마지막 화소 그룹의 코딩 모드에 의존한다. 구체적으로, 슬라이스(SL)의 각 라인(즉, 화소 행)에 관해 설명하면, 하나 이상의 패딩 화소는, 가장 오른쪽 화소가 속하는 화소 그룹의 코딩 모드(P 모드 또는 ICH 모드)에 적어도 부분적으로 기초하여 가장 오른쪽 화소의 오른쪽에 추가될 수 있다. 마지막 화소 그룹이 ICH 모드로 코딩되면, 가장 오른쪽 화소에 사용된 인덱스는 엔트로피 코딩 유닛(entropy coding unit)이 3개의 인덱스를 갖도록 패딩하기 위해 복제될 것이다. 마지막 화소 그룹이 P 모드로 코딩되면, 슬라이스의 오른쪽 에지 너머에 화소에 대응하는 임의의 잔차(residual)는 영(zero)으로 설정될 것이다.
전술한 바와 같이, 화상(IMG)의 화상 폭은 슬라이스 높이로 균등하게 분할 불가능할 수 있다. 명확성과 단순성을 위해, 화상(IMG)의 오른쪽 에지 너머의 패딩 화소는 도 4a에 나타내지 않는다. 또한 화상(IMG)의 화상 높이(HP)도 슬라이스 높이(HS)로 균등하게 불할 불가능할 수 있다. 따라서 패딩 회로(114)는 화상(IMG)의 하부 에지 너머에 패딩 화소를 설정하기 위해 제2 패딩 규칙을 채용하며, 이에 따라 가장 아래/마지막 슬라이스 행이 원하는 슬라이스 높이(HS)를 갖도록 하기 위해 가장 아래/마지막 슬라이스 행에 패딩 화소를 추가한다. 도 4a에 도시된 바와 같이, 패딩 영역(또는 의사 화상 영역이라고 불림)(402)은 화상(IMG)의 하부 에지 바로 아래에 있다. 따라서, 화상(IMG)의 마지막 라인(즉, 마지막 화소 행) 아래에 추가된 패딩 화소가 가장 아래/마지막 슬라이스 행의 슬라이스 Slice(H1, V4) 및 Slice(H2, V4)의 일부의 역할을 하기 위해 사용되고, 이에 따라 각각의 슬라이스가 동일한 슬라이스 높이(HS)를 갖도록 만든다. 제2 패딩 규칙하에서, 확장된 화소 높인 HP'는 슬라이스 높이(HS)의 정수배가 될 것이다.
화상의 하부 에지 너머에 패딩 화소를 설정하기 위해 사용된 제2 패딩 규칙은 화상의 오른쪽 에지 너머에 패딩 화소를 설정하기 위해 사용된 제1 패딩 규칙과다르다. 전술한 바와 같이, 제1 패딩 규칙은 화상 에지에 위치한 화소(예컨대, 화상의 가장 오른쪽/마지막 화소 열에 위치한 화소)를 복제하여 패딩 화소를 설정하는 것을 정의한다. 예로, 제2 패딩 규칙은 패딩 화소를 설정하기 위해 적어도 하나의 미리 정해진 화소 값(즉, 미리 생성되는 적어도 하나의 미리 정의된 화소 값)을 사용하는 것을 정의한다. 유의해야 할 것은, 제2 패딩 규칙이 채용되는 경우 패딩 화소의 화소 값은 화상 에지에 위치하는 화소(예컨대, 화상의 가장 아래/마지막 화소 행에 위치한 화소)의 화소 값에 의존하지 않는다는 것이다. 유의해야 할 것은, 미리 정해진 화소 값은 색 성분(color component) 각각에 대한 비트 심도(bit depth)에 따라 조정될 것이라는 것이다. 예를 들어, 미리 정해진 화소 값은 8비트 및 10비트 색 성분에 대해 상이한 값으로 설정될 것이다. 따라서, 이미지 처리 장치(102)는 비트 심도 지시자(bit depth indicator)에 따라 패딩 화소를 설정할 수 있다. 예를 들어, 비트 심도 지시자는 레지스터로 구현될 수 있거나 다른 하드웨어 기반의 수단으로 구현될 수 있다. 일 예시적인 구현에서, 제2 패딩 규칙에 의해 설정된 모든 패당 화소는 동일한 화소 값을 가질 수 있다. 예를 들어, 패딩 영역(402)에 포함된 패딩 화소 각각은 백색 화소(white pixel)로 설정될 수 있다. 다른 예를 들어, 패딩 영역(402)에 포함된 패딩 화소 각각은 흑색 화소(black pixel)로 설정될 수 있다. 또 다른 예를 들어, 패딩 영역(402)에 포함된 패딩 화소 각각은 색 성분 각각에 대해 중간점 샘플 값을 사용하여 설정될 수 있다. YCoCg 색 공간(color space)을 예로 들면, 색 성분 각각에 대해 8비트 심도를 가지는 패딩 화소 각각은 유사 휘도 값(pseudo luminance value) Y=0x80, 오렌지 색차 값(orange chrominance value) Co=0x100, 및 그린 색차 값(green chrominance value) Cg=0x100을 가질 수 있다. 유의해야 할 것은, 색 성분 각각에 대한 중간점 샘플 값은, 색 성분 각각에 대한 비트 심도가 변경되는 경우 조정될 것이라는 것이다. 또한, 상이한 색 공간은 색 성분에 대한 중간점 샘블 값의 상이한 설정값을 가질 수 있다. 따라서, 이미지 처리 장치(102)는 색 공간 지시자에 따라 패딩 화소를 설정할 수 있다. 예를 들어, 색 공간 지시자는 레지스터로 구현될 수 있거나 하드웨어 기반의 수단으로 구현될 수 있다.
본 발명에서, 슬라이스 높이 결정 회로(113)는 슬라이스 높이(HS)를 설정하도록 구성된다. 예를 들어, 슬라이스 높이(HS)는 화상(IMG)의 인코딩으로부터 생성된 압축된 화상의 압축 비율 CR에 기초하여 결정될 수 있으며,
Figure pct00004
이다. 화상 높이 HP가
Figure pct00005
의 정수배인 경우, 슬라이스 높이 (HS)는
Figure pct00006
의 정수배로 설정될 수 있다. 따라서, 화상 높이(HP)는 여전히 슬라이스 높이(HS)의 정수배로 유지된다. 예를 들어 CR=1/3일 때, 슬라이스 높이(HS)는 값 3*K로 설정되고, K는 양의 정수이다. 화상 높이(HP)가
Figure pct00007
의 정수배가 아닌 경우를 생각해보자. 화상의 하부 에지 너머에 화상 패딩이 바람직하면, 슬라이스 높이(HS)는
Figure pct00008
의 정수배로 설정될 수 있다. 따라서, 화소 패딩으로 인해, 확장된 화상 높이(HP')는 슬라이스 높이(HS)의 정수배로 유지된다. 다른 예를 들어, 슬라이스 높이(HS)는
Figure pct00009
가 정수인 조건에 기초하여 설정될 수 있다.
패딩 영역이 결정되는 경우, 패딩 회로(114)는 패딩 영역에 포함된 패딩 화소에 미리 정해진 화소 값을 할당하도록 구성된다. 패딩 영역은 화소 에지 너머에 있고 모든 슬라이스가 동일한 사이즈를 갖도록 보장하기 위해 화상에 추가된다. 예를 들어, 패딩 영역은 화상(IMG)의 하부 에지의 바로 아래에 있다. 바람직한 일 실시예에서, 패딩 영역에 포함된 모든 패딩 화소는 동일한 화소 값(즉, 동일한 미리 정해진 화소 값)을 갖는다.
도 4a에 도시된 예와 관련하여, 화상 높이(HP)가 슬라이스 높이 결정 회로(113)에 의해 결정된 슬라이스 높이(HS)로 균등하게 분할 불가능하기 때문에, 패딩 회로(114)는 화상(IMG)의 하부 에지 바로 아래에 패딩 영역(402)을 결정할 필요가 있다. 예를 들어, 패딩 회로(114)는 제1 화상 높이(예컨대, 화상(IMG)의 원래의 화상 높이(HP))의 정보를 수신하고; 제1 화상 높이가 슬라이스 높이(HS)의 정수배가 아닌 경우에 제2 화상 높이를 슬라이스 높이 HS의 정수배가 되도록 결정하고; 슬라이스 높이(HS)와 제2 화상 높이에 따라 화상(IMG)의 하부 에지 바로 아래에 패딩 영역(예컨대, 패딩 영역(402))을 결정하도록 구성된다.
인코딩 회로(116)는, 패딩 화소가 결합되어 있는 화상(IMG)을 인코딩하도록 구성된다. 예를 들어, 패딩 화소는 제1 패딩 화소와 제2 패딩 화소를 포함할 수 있으며, 제1 패딩 화소는 화상(IMG)의 오른쪽 에지 너머에 위치하고 제1 패딩 규칙에 의해 설정되고, 제2 패딩 화소는 화상(IMG)의 하부 에지 너머에 위치하고 제2 패딩 규칙에 의해 설정된다. 패딩 영역(402)은, 각각 미리 정해진 화소 값을 갖는 패딩 화소들로 구성되기 때문에, 패딩 영역(402)의 적어도 일부(즉, 일부 또는 전부)의 인코딩 결과는 미리 공지될 수 있다. 일 예시적인 디자인에서, 인코딩 회로(116)는, 패딩 영역(402)의 적어도 일부에 대한 코딩 작업(예컨대, P 모드 코딩 또는 ICH 코딩)을 실제로 수행하지 않고, 패딩 영역(402)의 적어도 일부의 인코딩 결과로서 미리 정해진 비트스트림을 출력한다. 예를 들어, 미리 정해진 비트스트림은 미리 계산될 수 있다. 다른 예를 들어, 미리 정해진 비트스트림은 패딩 영역(402)의 선행 부분에 대한 코딩 작업(예컨대, P 모드 코딩 또는 ICH 코딩)을 실제 수행하여 생성된 선행 비트스트림으로부터 복제된다. 인코딩 순서에 따라, 패딩 영역(402)의 선행 부분이 패딩 영역(402)의 적어도 일부보다 먼저 처리된다.
패딩 영역(402)의 모든 패딩 화소가 동일한 미리 정해진 값을 갖는 경우, 패딩 영역(402)을 압축하는 것은 더 쉽다. 레이트 컨트롤러(117)는 슬라이스의 인코딩 데이터가 그 슬라이스에 할당된 비트 예산을 충족하는 것을 보장하기 위해 각각의 압축/인코딩 작업에 비트 레이트 제어를 적용할 수 있다. 따라서, 레이트 컨트롤러(117)는 원래의 화상 영역에 비해 패딩 영역(402)에 더 적은 비트 예산을 할당할 수 있다. 예를 들어, 레이트 컨트롤러(117)는 화상(IMG)에 할당된 비트 예산 및 화상(IMG)에 원래 포함된 참(ture) 화소 그룹 라인의 수에 기초하여 하나의 참 화소 그룹 라인의 비트 예산을 결정할 수 있다. 하나의 참 화소 그룹 라인의 비트 예산은 아래 식에 따라 계산될 수 있다.
Figure pct00010
위 식 (2)에서, BBGL은 참 화소 그룹 라인의 비트 예산을 나타내고, BBPIC는 화상(IMG)에 할당된 비트 예산을 나타내고, NGL은 참 화소 그룹 라인의 개수를 나타낸다.
가장 아래/마지막 슬라이스 행은 화상(IMG)에 원래 포함되어 있는 참 화소 그룹 라인(들) 및 패딩 영역(402) 내의 패딩 화소 그룹 라인(들)을 포함한다. 가장 아래/마지막 슬라이스 행의 비트 예산은 아래 식에 따라 설정될 수 있다.
Figure pct00011
위 식 (3)에서, BBLASTSG는 가장 아래/마지막 슬라이스 행의 비트 예산을 나타내고, NSSGL은 가장 아래/마지막 슬라이스 행 내의 참 화소 그룹 라인의 개수를 나타내고, OFFSET은 패딩 영역(402)에 할당된 비트 예산을 나타낸다. 유의해야 할 것은 값 OFFSET은 패딩 영역(402)에 의존한다는 것이다.
가장 아래/마지막 슬라이스 행이 아닌 슬라이스 행과 관련하여, 이는 참 화소 그룹 라인만을 포함하고, 참 화소 그룹 라인의 개수는 슬라이스 높이(HS)와 같다. 가장 아래/마지막 슬라이스 행이 아닌 슬라이스 행의 비트 예산은 아래 식에 따라 설정될 수 있다.
Figure pct00012
위 식 (4)에서, BBSG는 가장 아래/마지막 슬라이스 행이 아닌 슬라이스의 비트 예산을 나타낸다.
또한, 인코딩 회로(116)는 화상(IMG)의 슬라이스의 인코딩으로부터 생성된 특정 비트스트림에 미리 정해진 비트 패턴(예컨대, 0's)을 패딩하기 위해 제2 패딩 규칙을 채용하여, 특정 비트스트림의 사이즈와 미리 정해진 비트 패턴의 사이즈의 합이 레이트 컨트롤러(117)에 의해 슬라이스에 할당된 비트 예산과 같도록 보장한다.
출력 인터페이스(118)는, 송신 인터페이스(101)를 통해 이미지 처리 장치(104)에, 화상(IMG)의 인코딩된 데이터의 제1 비트스트림(BS1) 및 패딩 영역(402)의 인코딩된 데이터의 제2 비트스트림(BS2)를 적어도 포함하는 비트스트림(BS)을 생성한다. 예를 들어, 송신 인터페이스(101)는 디스플레이 인터페이스 또는 카메라 인터페이스일 수 있다. 또, 이미지 처리 장치(102)는 비트스트림(BS)을 통해 이미지 처리 장치(104)에 슬라이스 높이(HS) 및 제1 화상 높이(즉, 화상(IMG)의 원래 화상 높이(HP))의 정보를 더 송신할 수 있다. 입력 인터페이스(122)는 송신 인터페이스(101)로부터 비트스트림(BS)을 수신한다. 따라서, 디코딩 회로(124)는 입력 인터페이스(112)에 의해 수신된 비트스트림(BS)으로부터 슬라이스 높이(HS) 및 제1 화상 높이(즉, 화상(IMG)의 원래 화상 높이(HP))의 정보를 도출할 수 있다. 제1 화상 높이가 슬라이스 높이의 정수배가 아닌 경우, 디코딩 회로(124)는 슬라이스 높이의 정수배가 되도록 제2 화상 높이(예컨대, 화상(IMG)의 확장된 화상 높이(HP'))를 결정하고, 적어도 슬라이스 높이 및 제2 화상 높이에 따라 비트스트림(BS)에서 제2 비트스트림(BS2)을 식별한다. 또한 디코딩 회로(124)는 위치 정보와 함께 제2 비트스트림(BS2)을 식별할 수 있다. 위치 정보는 화소 조정 정보(pixel coordination information)에 의해 결정될 수 있다. 디코딩 프로세스가 화상 높이(HP)에 도달하면, 나머지 비트스트림은 제2 비트스트림(BS2)으로 식별된다. 패딩 영역(402)은 디스플레이 화면에 표시되지 않을 것이다. 본 실시예에서, 디코딩 회로(124)는 비트스트림(BS)에서 식별된 제2 비트스트림(BS2)의 적어도 일부(즉, 일부 또는 전부)의 디코딩을 무시하도록 구성되므로, 디코더 측에서의 디코딩 작업이 단순해진다.
슬라이스 행 내에 하나 이상의 슬라이스가 있으면, 디코딩 회로(124)는 슬라이스 행 내의 슬라이스 각각에 대해 상이한 슬라이스 디코딩 회로를 가질 수 있다. 비트스트림(BS)은 디멀티플렉싱되고 각 슬라이스의 비트스트림 부분은 각 슬라이스 디코딩 회로에 전송된다. 그 후, 각 슬라이스 디코딩 회로는 자신의 BS2 부분을 식별한다. 디코딩 회로(124)가 하나 이상의 슬라이스를 디코딩하기 위한 슬라이스 디코딩 회로를 가지는 경우(즉, 시간 공유 방식), 슬라이스 디코딩 회로는 각 슬라이스의 비트스트림(BS2)을 식별한다. 어떤 경우에는, 마지막 슬라이스 행의 마지막 슬라이스의 비트스트림 부분만이 식별되어 디코딩 회로(124)의 디자인 복잡도를 단순화한다.
비트스트림(BS)은 화상의 하부 에지 바로 아래의 전술한 패딩 영역과는 상이한 다른 패딩 영역의 인코딩 데이터의 제3 비트스트림을 더 포함할 수 있다. 예를 들어, 다른 패딩 영역은 화상의 오른쪽 에지(또는 슬라이스의 오른쪽 에지) 너머에 패딩 화소를 포함할 수 있다. 디코딩 회로(124)는 비트스트림(BS)에서 제3 비트스트림을 더 식별하고, 적어도 제3 비트스트림의 일부를 디코딩하도록 구성된다.
도 1에 도시된 예시적인 실시예에서, 패딩 회로(114)는, 화상(IMG)와 패딩 영역(402)이 모두 데이터 압축을 위해 인코딩 회로(116)에 공급될 수 있도록, 패딩 영역(402)을 화상(IMG)과 실제로 결합하도록 구성된다. 패딩 영역(402)은, 각각이 미리 정해진 화소 값을 갖는 패딩 화소들로 구성되기 때문에, 적어도 패딩 영역(402)의 일부(즉, 일부 또는 전부)의 인코딩 결과는 미리 공지될 수 있다. 또는, 화상(IMG)에 패딩 영역(402)을 추가하는 작업은 인코더 측에서의 인코딩 작업을 더욱 단순화하기 위해 생략될 수 있다.
도 5는 본 발명의 실시예에 따른 다른 이미지 처리 시스템을 나타낸 도면이다. 이미지 처리 시스템(500)은 인코더 측의 이미지 처리 장치(502)와 디코더 측의 전술한 이미지 처리 장치(104)를 포함한다. 이미지 처리 장치(502)는 또한 화상(IMG)의 오른쪽 에지 너머에 제1 패딩 화소를 설정하기 위해 전술한 제1 패딩 규칙을 사용한다. 이미지 처리 장치(102)와 이미지 처리 장치(502)의 차이점은, 이미지 처리 장치(502)가 화상(IMG)의 하부 에지 너머에 제2 패딩 화소의 적어도 일부(즉, 일부 또는 전부)의 인코딩 결과를 나타내는 미리 정해진 비트 패턴을 설정하기 위해 제2 패딩 규칙을 사용하고, 미리 정해진 비트 패턴을 비트스트림(제1 패딩 화소가 결합된 화상(IMG)을 인코딩하는 인코딩 회로(516)로부터 생성됨)에 추가한다는 것이다.
화상(IMG)의 화상 높이(Hp)가 슬라이스 높이 결정 회로(113)에 의해 결정된 슬라이스 높이(HS)로 균등하게 분할 불가능한 경우, 패딩 회로(514)는, 패딩 영역(402)을 화상(IMG)과 실제로 결합하지 않고서, 화상(IMG)의 하부 에지 너머에 패딩 영역(402)의 위치 및 사이즈를 결정한다. 따라서, 화상(IMG)의 하부 에지 너머에 패딩 영역이 인코딩 회로(516)에 공급되지 않는다. 전술한 바와 같이, 본 발명은 각각이 미리 정해진 화소 값을 갖는 패딩 화소로 채원진 패딩 영역(402)을 사용하는 것을 제안한다. 적어도 패딩 영역의 일부(즉, 일부 또는 전부)의 인코딩 결과는 미리 공지될 수 있다. 따라서, 패딩 회로(514)는 미리 정해진 비트 패턴(패딩 영역의 적어도 일부의 인코딩 결과를 나타냄)을 설정하기 위해 제2 패딩 규칙을 채용하며, 제2 패딩 규칙은 화상 에지에 위치한 화소(예컨대, 화상의 가장 오른쪽/마지막 화소 열에 위치한 화소)를 복제하는 제1 패딩 규칙과 다르다. 예를 들어, 각각의 화소의 화소 그룹의 인코딩된 비트스트림을 나타내는 미리 정해진 비트 패턴이 색 성분 각각에 대한 중간점 샘플 값을 가지고, 이 화소 그룹은 ICH 코딩에 의해 인코딩된다. 다른 예를 들어, 각각의 화소의 화소 그룹의 인코딩된 비트스트림을 나타내는 미리 정해진 비트 패턴이 색 성분 각각에 대한 중간점 샘플 값을 가지고, 이 화소 그룹은 P 모드 코딩에 의해 인코딩된다. 송신 인터페이스(101)를 통해 이미지 처리 장치(104)에, 화상(IMG)의 인코딩된 데이터의 제1 비트스트림(BS1) 및 패딩 영역(402)의 인코딩된 데이터의 제2 비트스트림(BS2)을 포함하는 비트스트림( BS)을 생성하는 동일한 목적이 달성된다.
유사하게, 인코딩 회로(516)는 전술한 제3 패딩 규칙을 채용할 수 있다. 인코딩 회로(516)는 화상(IMG)의 슬라이스의 인코딩으로부터 생성된 특정 비트스트림에 다른 미리 정해진 비트 패턴(예컨대, 0's)을 패딩하기 위해 제3 패딩 규칙을 채용하여, 특정 비트스트림의 사이즈와 다른 미리 정해진 비트 패턴의 사이즈의 합이 레이트 컨트롤러(117)에 의해 슬라이스에 할당된 비트 예산과 같도록 보장한다.
당업자는 본 발명의 교시를 유지하면서 상기 장치 및 방법에 대한 다양한 수정 및 개조가 이루어질 수 있음을 알 것이다. 따라서, 이상의 개시내용은 첨부된 청구항들의 범위(metes and bounds)에 의해서만 한정되는 것으로 해석되어야 한다.

Claims (26)

  1. 패딩 영역(padding region)을 화상과 결합하는 단계 - 상기 패딩 영역에 포함된 임의의 패딩 화소는 미리 정해진 화소 값을 할당받음 -; 및
    상기 패딩 영역이 결합되어 있는 화상을 인코딩하는 단계
    를 포함하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 패딩 영역은 상기 화상의 하부 에지(bottom edge)의 바로 아래에 있는, 이미지 처리 방법.
  3. 제1항에 있어서,
    상기 패딩 영역에 포함된 모든 패딩 화소는 동일한 화소 값을 가지는, 이미지 처리 방법.
  4. 제1항에 있어서,
    슬라이스 높이를 설정하는 단계;
    제1 화상 높이의 정보를 수신하는 단계;
    상기 제1 화상 높이가 상기 슬라이스 높이의 정수배가 아닌 경우, 제2 화상 높이를 상기 슬라이스 높이의 정수배가 되도록 결정하는 단계; 및
    상기 슬라이스 높이 및 상기 제2 화상 높이에 따라 상기 패딩 영역을 결정하는 단계를 더 포함하는 이미지 처리 방법.
  5. 제1항에 있어서,
    상기 화상을 인코딩하는 단계는,
    미리 정해진 비트스트림을 상기 패딩 영역의 적어도 일부의 인코딩 결과로서 출력하는 단계를 포함하는, 이미지 처리 방법.
  6. 제1항에 있어서,
    상기 미리 정해진 화소 값은 색 성분(color component) 각각에 대한 중간점 샘플 값(midpoint sample value)을 포함하는, 이미지 처리 방법.
  7. 제1 패딩 규칙을 사용하여 화상의 오른쪽 에지 너머에 제1 패딩 화소를 설정하는 단계;
    제2 패딩 규칙을 사용하여 상기 화상의 하부 에지 너머에 제2 패딩 화소를 설정하는 단계 - 상기 제2 패딩 규칙은 상기 제1 패딩 규칙과 다름 -; 및
    상기 제1 패딩 화소 및 상기 제2 패딩 화소가 결합되어 있는 화상을 인코딩하는 단계
    를 포함하는 이미지 처리 방법.
  8. 제7항에 있어서,
    상기 제2 패딩 화소 중 어느 화소는 미리 정해진 화소 값을 할당받는, 이미지 처리 방법.
  9. 제8항에 있어서,
    상기 미리 정해진 화소 값은 색 성분 각각에 대한 중간점 샘플 값을 포함하는, 이미지 처리 방법.
  10. 제7항에 있어서,
    상기 제2 패딩 화소는 모두 동일한 화소 값을 가지는, 이미지 처리 방법.
  11. 제7항에 있어서,
    상기 화상의 슬라이스의 인코딩으로부터 생성된 비트스트림에 미리 정해진 비트 패턴을 패딩하여 상기 비트스트림의 사이즈와 상기 미리 정해진 비트 패턴의 사이즈의 합이 상기 슬라이스에 할당된 비트 예산과 같도록 보장하는 단계를 더 포함하는 이미지 처리 방법.
  12. 제1 패딩 규칙을 사용하여 화상의 오른쪽 에지 너머에 제1 패딩 화소를 설정하는 단계;
    상기 제1 패딩 화소가 결합되어 있는 화상의 인코딩으로부터 비트스트림을 생성하는 단계; 및
    제2 패딩 규칙을 사용하여 제1 미리 설정된 비트 패턴을 설정하고 상기 제1 미리 정해진 비트 패턴을 상기 비트스트림에 패딩하는 단계 - 상기 제1 미리 정해진 비트 패턴은 상기 화상의 하부 에지 너머의 제2 패딩 화소의 적어도 일부의 인코딩 결과를 나타내고, 상기 제2 패딩 규칙은 상기 제1 패딩 규칙과 다름 -
    를 포함하는 이미지 처리 방법.
  13. 제12항에 있어서,
    상기 제2 패딩 화소 중 어느 화소는 미리 정해진 화소 값을 할당받는, 이미지 처리 방법.
  14. 제13항에 있어서,
    상기 미리 정해진 화소 값은 색 성분 각각에 대한 중간점 샘플 값을 포함하는, 이미지 처리 방법.
  15. 제12항에 있어서,
    상기 제2 패딩 화소 모두는 동일한 화소 값을 가지는, 이미지 처리 방법.
  16. 제12항에 있어서,
    상기 화상의 슬라이스의 인코딩으로부터 생성된 특정 비트스트림에 제2 미리 정해진 비트 패턴을 패딩하여, 상기 특정 비트스트림의 사이즈와 상기 제2 미리 정해진 비트 패턴의 사이즈의 합이 상기 슬라이스에 할당된 비트 예산과 같도록 보장하는 단계를 더 포함하는 이미지 처리 방법.
  17. 적어도 제1 패딩 영역이 결합되어 있는 화상의 인코딩으로부터 생성되는 비트스트림을 수신하는 단계 - 상기 제1 패딩 영역에 포함된 임의의 패딩 화소는 미리 정해진 화소 값을 할당받고, 상기 비트스트림은 상기 화상의 인코딩된 데이터의 제1 비트스트림과 상기 제1 패딩 영역의 인코딩된 데이터의 제2 비트스트림을 적어도 포함함 -;
    상기 비트스트림에서 상기 제2 비트스트림을 식별하는 단계; 및
    상기 제2 비트스트림의 적어도 일부의 디코딩을 무시하는 단계
    를 포함하는 이미지 처리 방법.
  18. 제17항에 있어서,
    상기 제1 패딩 영역은 상기 화상의 하부 에지의 바로 아래에 있는, 이미지 처리 방법.
  19. 제17항에 있어서,
    상기 비트스트림은 적어도 상기 제1 패딩 영역 및 제2 패딩 영역이 결합되어 있는 화상의 인코딩으로부터 생성되고, 상기 비트스트림은 상기 제2 패딩 영역의 인코딩된 데이터의 제3 비트스트림을 포함하고, 상기 이미지 처리 방법은,
    상기 비트스트림에서 상기 제3 비트스트림을 식별하는 단계; 및
    상기 제3 비트스트림의 적어도 일부를 디코딩하는 단계를 더 포함하는 이미지 처리 방법.
  20. 제17항에 있어서,
    상기 비트스트림에서 상기 제2 비트스트림을 식별하는 단계는,
    슬라이스 높이의 정보를 수신하는 단계;
    제1 화상 높이의 정보를 수신하는 단계;
    상기 제1 화상 높이가 상기 슬라이스 높이의 정수배가 아닌 경우, 제2 화상 높이를 상기 슬라이스 높이의 정수배가 되도록 결정하는 단계; 및
    상기 슬라이스 높이 및 상기 제2 화상 높이에 따라 상기 비트스트림에서 상기 제2 비트스트림을 식별하는 단계를 포함하는, 이미지 처리 방법.
  21. 슬라이스 행(slice row) 내의 슬라이스의 목표 개수로 화상의 화상 폭을 균등하게 분할하여 초기 슬라이스를 결정하는 단계;
    상기 초기 슬라이스 폭이 화소 그룹 폭의 정수배가 아닌 제1 값일 때, 상기 초기 슬라이스 폭을 상기 화소 그룹 폭의 정수배인 제2 값으로 확장하여 최종 슬라이스 폭을 결정하는 단계; 및
    적어도 부분적으로 상기 최종 슬라이스 폭에 기초하여 상기 화상을 인코딩하는 단계
    를 포함하는 이미지 처리 방법.
  22. 패딩 영역을 화상과 결합하도록 구성된 패딩 회로 - 상기 패딩 영역에 포함된 임의의 패딩 화소는 미리 정해진 화소 값을 할당받음 -; 및
    상기 패딩 영역이 결합되어 있는 화상을 인코딩하도록 구성된 인코딩 회로
    를 포함하는 이미지 처리 장치.
  23. 제1 패딩 규칙을 사용하여 화상의 오른쪽 에지 너머에 제1 패딩 화소를 설정하고, 제2 패딩 규칙을 사용하여 상기 화상의 하부 에지 너머에 제2 패딩 화소를 설정하도록 구성된 패딩 회로 - 상기 제2 패딩 규칙은 상기 제1 패딩 규칙과 다름 -; 및
    상기 제1 패딩 화소 및 상기 제2 패딩 화소가 결합되어 있는 화상을 인코딩하도록 구성된 인코딩 회로
    를 포함하는 이미지 처리 장치.
  24. 제1 패딩 규칙을 사용하여 화상의 오른쪽 에지 너머에 제1 패딩 화소를 설정하도록 구성된 패딩 회로; 및
    상기 제1 패딩 화소가 결합되어 있는 화상의 인코딩으로부터 비트스트림을 생성하도록 구성된 인코딩 회로
    를 포함하고,
    상기 패당 회로는 제2 패딩 규칙을 사용하여 제1 미리 설정된 비트 패턴을 설정하고 상기 제1 미리 정해진 비트 패턴을 상기 비트스트림에 패딩하도록 더 구성되고, 상기 제1 미리 정해진 비트 패턴은 상기 화상의 하부 에지 너머의 제2 패딩 화소의 적어도 일부의 인코딩 결과를 나타내고, 상기 제2 패딩 규칙은 상기 제1 패딩 규칙과 다른,
    이미지 처리 장치.
  25. 적어도 제1 패딩 영역이 결합되어 있는 화상의 인코딩으로부터 생성되는 비트스트림을 수신하도록 구성된 인터페이스 회로 - 상기 제1 패딩 영역에 포함된 임의의 패딩 화소는 미리 정해진 화소 값을 할당받고, 상기 비트스트림은 상기 화상의 인코딩된 데이터의 제1 비트스트림과 상기 제1 패딩 영역의 인코딩된 데이터의 제2 비트스트림을 적어도 포함함 -;
    상기 비트스트림에서 상기 제2 비트스트림을 식별하고, 상기 제2 비트스트림의 적어도 일부의 디코딩을 무시하도록 구성된 디코딩 회로
    를 포함하는 이미지 처리 장치.
  26. 슬라이스 행 내의 슬라이스의 목표 개수로 화상의 화상 폭을 균등하게 분할하여 초기 슬라이스를 결정하고, 상기 초기 슬라이스 폭이 화소 그룹 폭의 정수배가 아닌 제1 값일 때, 상기 초기 슬라이스 폭을 상기 화소 그룹 폭의 정수배인 제2 값으로 확장하여 최종 슬라이스 폭을 결정하도록 구성된 슬라이스 폭 결정 회로; 및
    적어도 부분적으로 상기 최종 슬라이스 폭에 기초하여 상기 화상을 인코딩하도록 구성된 인코딩 회로
    를 포함하는 이미지 처리 장치.
KR1020167008601A 2013-10-25 2014-10-24 슬라이스 높이로 균등하게 분할할 수 없는 화상 높이 및/또는 화소 그룹 폭으로 균등하게 분할할 수 없는 슬라이스 폭을 갖는 화상을 처리하는 방법 및 장치 KR102070484B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361895461P 2013-10-25 2013-10-25
US201361895454P 2013-10-25 2013-10-25
US61/895,454 2013-10-25
US61/895,461 2013-10-25
US201361904490P 2013-11-15 2013-11-15
US61/904,490 2013-11-15
PCT/CN2014/089483 WO2015058719A1 (en) 2013-10-25 2014-10-24 Method and apparatus for processing picture having picture height not evenly divisible by slice height and/or slice width not evenly divisible by pixel group width

Publications (2)

Publication Number Publication Date
KR20160048986A true KR20160048986A (ko) 2016-05-04
KR102070484B1 KR102070484B1 (ko) 2020-01-29

Family

ID=52992296

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020187024164A KR101994599B1 (ko) 2013-10-25 2014-10-24 전송 동기화 이벤트에 따라 압축된 픽처의 전송을 제어하는 방법 및 장치
KR1020167008601A KR102070484B1 (ko) 2013-10-25 2014-10-24 슬라이스 높이로 균등하게 분할할 수 없는 화상 높이 및/또는 화소 그룹 폭으로 균등하게 분할할 수 없는 슬라이스 폭을 갖는 화상을 처리하는 방법 및 장치
KR1020167009207A KR20160053988A (ko) 2013-10-25 2014-10-24 전송 동기화 이벤트에 따라 압축된 픽처의 전송을 제어하는 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020187024164A KR101994599B1 (ko) 2013-10-25 2014-10-24 전송 동기화 이벤트에 따라 압축된 픽처의 전송을 제어하는 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020167009207A KR20160053988A (ko) 2013-10-25 2014-10-24 전송 동기화 이벤트에 따라 압축된 픽처의 전송을 제어하는 방법 및 장치

Country Status (8)

Country Link
US (4) US9807389B2 (ko)
EP (2) EP3036689B8 (ko)
JP (3) JP6309092B2 (ko)
KR (3) KR101994599B1 (ko)
CN (3) CN105659257B (ko)
AU (2) AU2014339383B2 (ko)
BR (2) BR112016009085B1 (ko)
WO (3) WO2015058719A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170131805A (ko) * 2016-05-20 2017-11-30 삼성디스플레이 주식회사 영상 압축 장치 및 영상 압축 해제 장치
WO2021071313A1 (ko) * 2019-10-09 2021-04-15 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150355818A1 (en) 2014-06-04 2015-12-10 Sonos, Inc. Continuous Playback Queue
US9654536B2 (en) 2014-06-04 2017-05-16 Sonos, Inc. Cloud queue playback policy
US9720642B2 (en) 2014-06-04 2017-08-01 Sonos, Inc. Prioritizing media content requests
CN104506381A (zh) * 2014-12-16 2015-04-08 新余兴邦信息产业有限公司 一种通过仪表监控文件上传的方法及装置
KR102602476B1 (ko) * 2015-07-03 2023-11-14 인텔 코포레이션 웨어러블 디바이스에서 데이터 압축을 위한 장치 및 방법
GB2544800A (en) * 2015-11-27 2017-05-31 V-Nova Ltd Adaptive bit rate ratio control
CN105828082B (zh) * 2016-03-25 2018-12-04 北京环境特性研究所 视频图像快速压缩系统及方法
JP6387511B2 (ja) * 2016-06-17 2018-09-12 株式会社アクセル 画像データ処理方法
CN107113430B (zh) * 2016-10-12 2019-04-30 深圳市大疆创新科技有限公司 码率控制的方法、计算机系统和装置
WO2018105515A1 (ja) * 2016-12-09 2018-06-14 株式会社アクセル 画像データ処理方法
JP6732337B2 (ja) 2016-12-09 2020-07-29 株式会社アクセル 画像データ処理方法
WO2018225648A1 (ja) 2017-06-08 2018-12-13 キヤノン株式会社 画像処理装置およびその制御方法
US10721469B2 (en) * 2017-11-28 2020-07-21 Qualcomm Incorporated Line buffer reduction for adaptive loop filtering in video coding
US10790932B2 (en) * 2018-01-12 2020-09-29 Apple Inc. Padding bits for CSI report coding
WO2019208677A1 (ja) * 2018-04-27 2019-10-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
KR102618692B1 (ko) * 2018-06-15 2024-01-02 삼성전자주식회사 노이즈 또는 디서의 영향을 감소시키기 위한 디스플레이 구동 회로 및 방법
FR3088124A1 (fr) 2018-11-06 2020-05-08 Stmicroelectronics (Rousset) Sas Procede d'elaboration de signaux declencheurs pour une commande d'une interface multimedia, et circuit integre correspondant
FR3088125A1 (fr) 2018-11-06 2020-05-08 Stmicroelectronics (Rousset) Sas Procede de surveillance d'une tache, en particulier une tache graphique, pour un module electronique, en particulier d'interface multimedia, et dispositif correspondant.
WO2020209477A1 (ko) * 2019-04-08 2020-10-15 엘지전자 주식회사 픽처 파티셔닝에 기반한 코딩 방법 및 장치
WO2020209478A1 (ko) * 2019-04-08 2020-10-15 엘지전자 주식회사 픽처를 복수의 타일들로 분할하는 방법 및 장치
US11259040B1 (en) * 2019-04-25 2022-02-22 Amazon Technologies, Inc. Adaptive multi-pass risk-based video encoding
CN114902664A (zh) * 2019-11-28 2022-08-12 Lg 电子株式会社 图像/视频编码/解码方法和装置
CA3162960A1 (en) * 2019-11-28 2021-06-03 Lg Electronics Inc. Method and device for signaling information related to slice in image/video encoding/decoding system
WO2021107621A1 (ko) * 2019-11-28 2021-06-03 엘지전자 주식회사 영상/비디오 코딩을 위한 슬라이스 및 타일 구성
KR20220087512A (ko) * 2019-11-28 2022-06-24 엘지전자 주식회사 픽처의 분할 구조에 기반한 영상/비디오 코딩 방법 및 장치
WO2021107622A1 (ko) * 2019-11-28 2021-06-03 엘지전자 주식회사 영상/비디오 코딩 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009035936A1 (en) * 2007-09-10 2009-03-19 Cisco Technology, Inc. Video compositing of an arbitrary number of source streams using flexible macroblock ordering
US20090317009A1 (en) * 2005-10-21 2009-12-24 Mobilic Technology (Cayman) Corp. Universal fixed-pixel-size isp scheme
KR20110115986A (ko) * 2010-04-16 2011-10-24 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
US20130128986A1 (en) * 2011-11-23 2013-05-23 Mediatek Inc. Method and Apparatus of Slice Boundary Padding for Loop Filtering
KR20130070646A (ko) * 2010-10-01 2013-06-27 제너럴 인스트루먼트 코포레이션 유연한 분할에서 영상 경계 패딩을 활용하는 코딩 및 디코딩

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940011605B1 (ko) * 1991-12-20 1994-12-22 삼성전자 주식회사 고정비트율 설정에 의한 영상압축방식
JP2959353B2 (ja) * 1993-09-07 1999-10-06 三菱電機株式会社 エコーキャンセラ装置
CA2157066C (en) * 1994-10-21 1999-09-21 Nelson Botsford Iii Method for controlling a compressed data buffer
JPH10224792A (ja) * 1997-02-12 1998-08-21 Hitachi Ltd 画像信号の符号化方法及び装置
FI106071B (fi) * 1997-03-13 2000-11-15 Nokia Mobile Phones Ltd Mukautuva suodatin
FI103003B1 (fi) * 1997-06-13 1999-03-31 Nokia Mobile Phones Ltd Suodatusmenetelmä, suodatin ja matkaviestinpääte
TW416220B (en) * 1998-01-23 2000-12-21 Matsushita Electric Ind Co Ltd Image transmitting method, image processing method, image processing device, and data storing medium
US6963608B1 (en) 1998-10-02 2005-11-08 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
JP2000152174A (ja) * 1998-11-09 2000-05-30 Sony Corp 画像データ処理装置および方法、並びに画像データ記録装置
US7061878B2 (en) * 1999-11-24 2006-06-13 Lg Electronics Inc. Method and apparatus for stopping data/packet transmission
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
JP2003037737A (ja) 2001-07-23 2003-02-07 Matsushita Electric Ind Co Ltd 画像処理装置
WO2003021936A2 (en) * 2001-09-05 2003-03-13 Emblaze Semi Conductor Ltd Method for reducing blocking artifacts
US6983079B2 (en) * 2001-09-20 2006-01-03 Seiko Epson Corporation Reducing blocking and ringing artifacts in low-bit-rate coding
EP1978747B1 (en) * 2001-11-29 2014-05-21 Panasonic Corporation Coding distortion removal method
US7412109B2 (en) * 2003-11-07 2008-08-12 Mitsubishi Electric Research Laboratories, Inc. System and method for filtering artifacts in images
US7460596B2 (en) * 2004-04-29 2008-12-02 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US20060013315A1 (en) * 2004-07-19 2006-01-19 Samsung Electronics Co., Ltd. Filtering method, apparatus, and medium used in audio-video codec
EP1638333A1 (en) * 2004-09-17 2006-03-22 Mitsubishi Electric Information Technology Centre Europe B.V. Rate adaptive video coding
US7839933B2 (en) * 2004-10-06 2010-11-23 Microsoft Corporation Adaptive vertical macroblock alignment for mixed frame video sequences
KR20070085745A (ko) * 2004-11-04 2007-08-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 코딩된 비디오 데이터를 처리하기 위한 방법 및 장치
US7746928B2 (en) * 2004-12-30 2010-06-29 General Instruments Corporation Method and apparatus for providing rate control
JP4455487B2 (ja) * 2005-12-16 2010-04-21 株式会社東芝 復号化装置及び復号化方法及びプログラム
WO2007110814A1 (en) * 2006-03-27 2007-10-04 Koninklijke Philips Electronics N.V. Encoding and decoding apparatuses and methods
CN1968410A (zh) 2006-11-23 2007-05-23 中兴通讯股份有限公司 一种视频数据自适应的分割方法
JP4607856B2 (ja) * 2006-12-26 2011-01-05 富士通株式会社 符号化復号システム及び符号化復号方法
CN101321277A (zh) * 2007-06-09 2008-12-10 华为技术有限公司 去块效应的方法及装置
JP4967921B2 (ja) * 2007-08-10 2012-07-04 セイコーエプソン株式会社 画像処理のための装置、方法、および、プログラム
WO2009022048A1 (en) * 2007-08-16 2009-02-19 Nokia Corporation A method and apparatuses for encoding and decoding an image
CN101453651B (zh) 2007-11-30 2012-02-01 华为技术有限公司 一种去块滤波方法和装置
JP5593596B2 (ja) * 2008-02-04 2014-09-24 ソニー株式会社 映像信号送信装置および映像信号送信方法
US9118944B2 (en) 2009-02-05 2015-08-25 Cisco Technology, Inc. System and method for rate control in a network environment
WO2010111261A1 (en) * 2009-03-23 2010-09-30 Azuki Systems, Inc. Method and system for efficient streaming video dynamic rate adaptation
US8891609B2 (en) * 2009-03-24 2014-11-18 Samsung Electronics Co., Ltd. System and method for measuring blockiness level in compressed digital video
JP2010226672A (ja) 2009-03-25 2010-10-07 Nippon Hoso Kyokai <Nhk> 画像分割装置、分割画像符号化装置及びプログラム
EP2425628A4 (en) * 2009-04-28 2016-03-02 Ericsson Telefon Ab L M DISTORTION EXPOSURE
CN101610417B (zh) 2009-07-09 2013-06-12 华为技术有限公司 一种图像填充方法、装置及设备
US20110030025A1 (en) * 2009-07-31 2011-02-03 Azure Communications Inc. High speed wireless video transmission
EP2285112A1 (en) 2009-08-07 2011-02-16 Canon Kabushiki Kaisha Method for sending compressed data representing a digital image and corresponding device
US8879623B2 (en) * 2009-09-02 2014-11-04 Sony Computer Entertainment Inc. Picture-level rate control for video encoding a scene-change I picture
CN104935934B (zh) * 2009-10-21 2018-04-03 Sk电信有限公司 视频编码装置
KR101452713B1 (ko) * 2009-10-30 2014-10-21 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
US20110149032A1 (en) * 2009-12-17 2011-06-23 Silicon Image, Inc. Transmission and handling of three-dimensional video content
US8885969B2 (en) 2010-03-29 2014-11-11 Sony Corporation Method and apparatus for detecting coding artifacts in an image
JP2011216968A (ja) * 2010-03-31 2011-10-27 Sony Corp 画像処理制御装置および方法
US8711933B2 (en) * 2010-08-09 2014-04-29 Sony Computer Entertainment Inc. Random access point (RAP) formation using intra refreshing technique in video coding
US20120243602A1 (en) * 2010-09-23 2012-09-27 Qualcomm Incorporated Method and apparatus for pipelined slicing for wireless display
JP5811097B2 (ja) * 2010-11-01 2015-11-11 日本電気株式会社 動画像配信システム、動画像配信方法および動画像配信用プログラム
ES2753587T3 (es) * 2010-12-07 2020-04-13 Sony Corp Dispositivo de procesamiento de imágenes y método de procesamiento de imágenes
PT3373581T (pt) * 2010-12-21 2020-01-27 Ntt Docomo Inc Codificação com intra-predição melhorada utilizando representações planares
DK2664149T3 (en) 2011-01-14 2017-02-27 ERICSSON TELEFON AB L M (publ) UNBLOCK FILTERING
JP6037179B2 (ja) * 2011-02-25 2016-12-07 サン パテント トラスト デブロッキング処理方法およびデブロッキング処理装置
EP2533537A1 (en) 2011-06-10 2012-12-12 Panasonic Corporation Transmission of picture size for image or video coding
US20120314767A1 (en) * 2011-06-13 2012-12-13 Qualcomm Incorporated Border pixel padding for intra prediction in video coding
JP2013031024A (ja) * 2011-07-29 2013-02-07 Hitachi Consumer Electronics Co Ltd 画像伝送装置、画像伝送方法、画像受信装置および画像受信方法
TWI652941B (zh) * 2011-11-03 2019-03-01 太陽專利信託 用於解區塊之有效修整技術（二）
US9510021B2 (en) * 2013-05-24 2016-11-29 Electronics And Telecommunications Research Institute Method and apparatus for filtering pixel blocks
US20140362098A1 (en) * 2013-06-10 2014-12-11 Sharp Laboratories Of America, Inc. Display stream compression
JP6305279B2 (ja) * 2014-08-26 2018-04-04 株式会社東芝 映像圧縮装置および映像再生装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090317009A1 (en) * 2005-10-21 2009-12-24 Mobilic Technology (Cayman) Corp. Universal fixed-pixel-size isp scheme
WO2009035936A1 (en) * 2007-09-10 2009-03-19 Cisco Technology, Inc. Video compositing of an arbitrary number of source streams using flexible macroblock ordering
KR20110115986A (ko) * 2010-04-16 2011-10-24 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
KR20130070646A (ko) * 2010-10-01 2013-06-27 제너럴 인스트루먼트 코포레이션 유연한 분할에서 영상 경계 패딩을 활용하는 코딩 및 디코딩
US20130128986A1 (en) * 2011-11-23 2013-05-23 Mediatek Inc. Method and Apparatus of Slice Boundary Padding for Loop Filtering

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170131805A (ko) * 2016-05-20 2017-11-30 삼성디스플레이 주식회사 영상 압축 장치 및 영상 압축 해제 장치
WO2021071313A1 (ko) * 2019-10-09 2021-04-15 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US11431974B2 (en) 2019-10-09 2022-08-30 Apple Inc. Method for encoding/decoding image signal, and device for same

Also Published As

Publication number Publication date
US20160277735A1 (en) 2016-09-22
EP3036903A4 (en) 2016-11-09
BR112016009083B8 (pt) 2022-07-19
BR112016009085A2 (ko) 2017-08-01
BR112016009085B1 (pt) 2023-04-04
CN105659257A (zh) 2016-06-08
WO2015058722A1 (en) 2015-04-30
BR112016009083A2 (ko) 2017-08-01
AU2014339383B2 (en) 2017-03-30
US10523938B2 (en) 2019-12-31
BR112016009083B1 (pt) 2022-06-28
JP6309092B2 (ja) 2018-04-11
AU2014339384B2 (en) 2017-08-17
US20160261880A1 (en) 2016-09-08
EP3036689A4 (en) 2016-12-07
JP2016537873A (ja) 2016-12-01
US10038904B2 (en) 2018-07-31
AU2014339384A1 (en) 2016-05-12
JP2016539550A (ja) 2016-12-15
CN105659593A (zh) 2016-06-08
JP6488030B2 (ja) 2019-03-20
CN105659593B (zh) 2018-12-11
JP2018082490A (ja) 2018-05-24
CN105659257B (zh) 2019-11-12
EP3036689A1 (en) 2016-06-29
KR101994599B1 (ko) 2019-06-28
KR102070484B1 (ko) 2020-01-29
WO2015058718A1 (en) 2015-04-30
KR20180096831A (ko) 2018-08-29
CN104871538B (zh) 2018-01-19
US20150304674A1 (en) 2015-10-22
US20180020213A1 (en) 2018-01-18
EP3036689B8 (en) 2020-11-11
EP3036689B1 (en) 2020-10-07
EP3036903A1 (en) 2016-06-29
KR20160053988A (ko) 2016-05-13
US9807389B2 (en) 2017-10-31
CN104871538A (zh) 2015-08-26
WO2015058719A1 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
JP6488030B2 (ja) スライス高さで均等に割り切れないピクチャ高さ及び／又はピクセルグループ幅で均等に割り切れないスライス幅を有するピクチャを処理する方法及び装置
US9307248B2 (en) Image encoding method and apparatus for performing bit-plane scanning coding upon pixel data and related image decoding method and apparatus
US9373176B2 (en) Image compression method and apparatus for encoding pixel data of frame into interleaved bit-stream, and related image decompression method and apparatus
US9596484B2 (en) Method of depth intra prediction using depth map modelling
CN101990095B (zh) 压缩文件生成方法和设备、相关的相机模块和终端
JP2020174358A (ja) ビットストリーム内で、ｌｄｒピクチャのピクチャ／ビデオ・フォーマットと、このｌｄｒピクチャおよびイルミネーション・ピクチャから取得された復号済みのｈｄｒピクチャのピクチャ／ビデオ・フォーマットとをシグナリングする方法および装置
US11659206B2 (en) Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
KR101346942B1 (ko) 벡터 임베디드 그래픽 코딩
US11445160B2 (en) Image processing device and method for operating image processing device
TWI487366B (zh) 用於無線ｈｄ１.１規範中的圖形模式壓縮的位元流語法
CN111491163B (zh) 基于对图像块的像素域预处理操作的图像块编码
US10715813B2 (en) Method and apparatus for performing block prediction search based on restored sample values derived from stored sample values in data buffer
US20120062710A1 (en) 3d display apparatus and methods with video processing and frame packing based on display format information
KR20190091179A (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
US10142640B2 (en) Method and apparatus for using small-sized buffer in compression/decompression with block prediction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2017101005869; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20171206

Effective date: 20190830

S901 Examination by remand of revocation
E902 Notification of reason for refusal
GRNO Decision to grant (after opposition)
GRNT Written decision to grant