KR102212762B1 - 코덱과 이를 포함하는 장치들 - Google Patents

코덱과 이를 포함하는 장치들 Download PDF

Info

Publication number
KR102212762B1
KR102212762B1 KR1020140123801A KR20140123801A KR102212762B1 KR 102212762 B1 KR102212762 B1 KR 102212762B1 KR 1020140123801 A KR1020140123801 A KR 1020140123801A KR 20140123801 A KR20140123801 A KR 20140123801A KR 102212762 B1 KR102212762 B1 KR 102212762B1
Authority
KR
South Korea
Prior art keywords
roi
current frame
complexity
codec
control signal
Prior art date
Application number
KR1020140123801A
Other languages
English (en)
Other versions
KR20160032969A (ko
Inventor
전성호
권녕규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140123801A priority Critical patent/KR102212762B1/ko
Priority to US14/830,188 priority patent/US10362315B2/en
Publication of KR20160032969A publication Critical patent/KR20160032969A/ko
Application granted granted Critical
Publication of KR102212762B1 publication Critical patent/KR102212762B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Abstract

코덱은 ROI 오브젝트를 포함하는 현재 프레임을 수신하고, 수신된 현재 프레임의 타입을 결정하는 코덱 CPU와, 이전 프레임의 평균 양자화 파라미터와 압축된 이전 프레임에서 생성된 비트 수를 이용하여, 상기 현재 프레임의 복잡도를 예측하는 복잡도 예측기와, 예측된 복잡도에 기초하여, 상기 ROI 오브젝트에 대한 ROI를 제어하기 위한 ROI 제어 신호를 생성하는 ROI 제어 신호 생성기를 포함한다.

Description

코덱과 이를 포함하는 장치들{CODEC AND DEVICES INCLUDING THE SAME}
본 발명의 개념에 따른 실시 예는 코덱에 관한 것으로, 특히 이전 프레임의 정보 또는 초기 정보를 이용하여 현재 프레임의 복잡도를 예측하고, 예측된 복잡도를 이용하여 효율적으로 ROI(region-of-interest)를 조절하고 인코드할 수 있는 코덱, 상기 코덱을 포함하는 시스템 온 칩, 및 상기 시스템 온 칩을 포함하는 이미지 데이터 처리 시스템에 관한 것이다.
인터넷 프로토콜 네트워크가 발달함에 따라, 무선 및 유선 IP 네트워크를 통한 비디오 통신이 큰 인기를 얻고 있다. 케이블 네트워크를 통한 전통적인 영상 전송과 달리, IP 네트워크를 통한 영상 전송은 영상 압축에 의해 발생되는 품질 저하를 해결하기 위한 여러 가지 방법이 모색되고 있다.
한편, 모바일 기기의 IP 네트워크를 통한 영상 전송은 상대적으로 낮은 대역폭을 이용해야 하므로, 사용자는 낮은 영상 품질의 컨텐츠를 이용해야하는 불편함이 있다.
ROI 코딩 기법은 사용자가 관심 있게 생각하는 이미지 프레임의 ROI 오브젝트(region-of-interest object)에 낮은 양자화 파라미터를 설정하여 높은 비트율에 의해 인코딩하고, 그 외의 영역에 대해서는 상대적으로 높은 양자화 파라미터를 설정하여 낮은 비트율에 의해 인코딩하는 방법이다.
모바일 기기에서 사용자의 관심 영역에 ROI 코딩 기법을 적용하면 보다 향상된 화질의 영상 이미지를 얻을 수 있지만, 모든 영상 이미지에 ROI 코딩 기법을 정용하게 되면 과도한 전력 소모가 발생하는 문제점이 있다.
본 발명이 이루고자 하는 기술적인 과제는 이전 프레임의 정보 또는 초기 정보를 이용하여 현재 프레임의 복잡도를 예측하고, 예측된 복잡도를 이용하여 ROI(region-of-interest object)를 조절하고 인코드할 수 있는 코덱, 상기 코덱을 포함하는 시스템 온 칩, 및 상기 시스템 온 칩을 포함하는 이미지 데이터 처리 시스템을 제공하는 것이다.
본 발명의 실시 예에 따른 코덱은 ROI(region of interest) 오브젝트를 포함하는 현재 프레임을 수신하고, 수신된 현재 프레임의 타입을 결정하는 코덱 CPU와, 이전 프레임의 평균 양자화 파라미터와 압축된 이전 프레임에서 생성된 비트 수를 이용하여, 상기 현재 프레임의 복잡도를 예측하는 복잡도 예측기와, 예측된 복잡도에 기초하여, 상기 ROI 오브젝트에 대한 ROI를 제어하기 위한 ROI 제어 신호를 생성하는 ROI 제어 신호 생성기를 포함한다.
상기 ROI 제어 신호 생성기는, 상기 예측된 복잡도에 따라, 상기 현재 프레임을 복수의 카테고리들 중에서 어느 하나로 분류하고 상기 ROI 제어 신호와 분류 정보를 출력하는 분류기와, 상기 ROI 제어 신호에 따라, (1) 상기 현재 프레임을 블록 단위로 인코딩하면서 양자화 파라미터를 계산하거나 (2) 계산된 양자화 파라미터를 ROI 정보에 따라 조절하고 상기 분류 정보에 해당하는 조절 값을 이용하여 조절된 양자화 파라미터를 다시 조절하는 계산기를 포함한다.
상기 분류기는 상기 예측된 복잡도가 문턱 값과 같거나 클 때 ROI 온(on)을 지시하는 상기 ROI 제어 신호를 생성하고, 상기 예측된 복잡도가 상기 문턱 값보다 작을 때 ROI 오프(off)를 지시하는 상기 ROI 제어 신호를 생성한다.
상기 계산기는 상기 ROI 온(on)을 지시하는 상기 ROI 제어 신호에 응답하여 코덱 메모리에 저장된 상기 ROI 정보를 리드하고, 상기 양자화 파라미터를 계산하고, 상기 계산된 양자화 파라미터를 상기 ROI 정보에 따라 조절하고, 상기 분류 정보에 해당하는 상기 조절 값을 이용하여 상기 조절된 양자화 파라미터를 다시 조절한다.
상기 계산기는 상기 ROI 오프(off)를 지시하는 상기 ROI 제어 신호에 응답하여 상기 양자화 파라미터를 계산한다.
상기 복잡도 예측기는, 장면 전환이 발생하지 않음을 지시하는 장면 전환 정보에 기초하여, 코덱 메모리에 저장된 상기 이전 프레임의 상기 평균 양자화 파라미터와 상기 압축된 이전 프레임에서 생성된 상기 비트 수를 이용하여 상기 현재 프레임의 상기 복잡도를 예측하고, 상기 복잡도 예측기는, 상기 장면 전환이 발생함을 지시하는 상기 장면 전환 정보에 기초하여, 상기 코덱 메모리에 저장된 초기 정보를 이용하여 상기 현재 프레임의 상기 복잡도를 예측한다.
본 발명의 실시 예에 따른 시스템 온 칩은 ROI 제어 신호에 응답하여 현재 프레임에 대한 ROI 정보를 생성하고 처리된 현재 프레임을 출력하는 전-처리 회로와, 이전 프레임에 대한 정보를 이용하여 상기 처리된 현재 프레임의 복잡도를 예측하고, 예측된 복잡도와 문턱 값을 비교하고, 비교 결과에 따라 상기 ROI 제어 신호를 생성하고, 생성된 ROI 제어 신호와 상기 ROI 정보를 이용하여 상기 처리된 현재 프레임에 포함된 복수의 블록들 각각을 인코딩하면서 상기 복수의 블록들 각각에 대한 양자화 파라미터를 계산하거나 계산된 양자화 파라미터를 2-스텝으로 조절하는 코덱을 포함한다.
상기 코덱은 코덱 메모리와, 상기 ROI 정보를 상기 코덱 메모리에 저장하고, ROI 오브젝트를 포함하는 상기 처리된 현재 프레임을 수신하고, 수신된 현재 프레임의 타입을 결정하는 코덱 CPU와, 상기 이전 프레임에 포함된 상기 이전 프레임의 평균 양자화 파라미터와 상기 압축된 이전 프레임에서 생성된 비트 수를 이용하여, 상기 처리된 현재 프레임의 상기 복잡도를 예측하는 복잡도 예측기와, 상기 예측된 복잡도에 기초하여, 상기 ROI 오브젝트에 대한 ROI를 제어하기 위한 ROI 제어 신호를 생성하는 ROI 제어 신호 생성기를 포함한다.
상기 전-처리 회로는 상기 현재 프레임에서 장면 전환이 발생했는지를 판단하고 판단의 결과에 따라 장면 전환 정보를 생성하고, 상기 복잡도 예측기는, 상기 장면 전환이 발생하지 않음을 지시하는 상기 장면 전환 정보에 기초하여, 상기 코덱 메모리에 저장된 상기 이전 프레임의 상기 평균 양자화 파라미터와 상기 압축된 이전 프레임에서 생성된 상기 비트 수를 이용하여 상기 현재 프레임의 상기 복잡도를 예측하고, 상기 복잡도 예측기는, 상기 장면 전환이 발생함을 지시하는 상기 장면 전환 정보에 기초하여, 상기 코덱 메모리에 저장된 초기 정보를 이용하여 상기 현재 프레임의 상기 복잡도를 예측한다.
본 발명의 실시 예에 따른 이미지 데이터 처리 시스템은 현재 프레임을 생성하는 카메라와, ROI 제어 신호에 응답하여 상기 현재 프레임에 대한 ROI 정보를 생성하고 처리된 현재 프레임을 출력하는 전-처리 회로와, 이전 프레임에 대한 정보를 이용하여 상기 처리된 현재 프레임의 복잡도를 예측하고, 예측된 복잡도와 문턱 값을 비교하고, 비교 결과에 따라 상기 ROI 제어 신호를 생성하고, 생성된 ROI 제어 신호와 상기 ROI 정보를 이용하여 상기 처리된 현재 프레임에 포함된 복수의 블록들 각각을 인코딩하면서 상기 복수의 블록들 각각에 대한 양자화 파라미터를 계산하거나 계산된 양자화 파라미터를 2-스텝으로 조절하는 코덱을 포함한다.
상기 코덱은 코덱 메모리와, 상기 ROI 정보를 상기 코덱 메모리에 저장하고, ROI 오브젝트를 포함하는 상기 처리된 현재 프레임을 수신하고, 수신된 현재 프레임의 타입을 결정하는 코덱 CPU와, 상기 이전 프레임에 포함된 상기 이전 프레임의 평균 양자화 파라미터와 상기 압축된 이전 프레임에서 생성된 비트 수를 이용하여, 상기 처리된 현재 프레임의 상기 복잡도를 예측하는 복잡도 예측기와, 상기 예측된 복잡도에 기초하여, 상기 ROI 오브젝트에 대한 ROI를 제어하기 위한 ROI 제어 신호를 생성하는 ROI 제어 신호 생성기를 포함한다.
상기 ROI 제어 신호 생성기는, 상기 예측된 복잡도에 따라, 상기 현재 프레임을 복수의 카테고리들 중에서 어느 하나로 분류하고 상기 ROI 제어 신호와 분류 정보를 출력하는 분류기와, 상기 ROI 제어 신호에 따라, (1) 상기 현재 프레임을 블록 단위로 인코딩하면서 양자화 파라미터를 계산하거나 (2) 계산된 양자화 파라미터를 ROI 정보에 따라 조절하고 상기 분류 정보에 해당하는 조절 값을 이용하여 조절된 양자화 파라미터를 다시 조절하는 계산기를 포함한다.
상기 현재 프레임을 상기 전-처리 회로로 전송하는 카메라 시리얼 인터페이스를 더 포함한다.
상기 전-처리 회로는 상기 현재 프레임에서 장면 전환이 발생했는지를 판단하고 판단의 결과에 따라 장면 전환 정보를 생성하고, 상기 복잡도 예측기는, 상기 장면 전환이 발생하지 않음을 지시하는 상기 장면 전환 정보에 기초하여, 상기 코덱 메모리에 저장된 상기 이전 프레임의 상기 평균 양자화 파라미터와 상기 압축된 이전 프레임에서 생성된 상기 비트 수를 이용하여 상기 현재 프레임의 상기 복잡도를 예측하고, 상기 복잡도 예측기는, 상기 장면 전환이 발생함을 지시하는 상기 장면 전환 정보에 기초하여, 상기 코덱 메모리에 저장된 초기 정보를 이용하여 상기 현재 프레임의 상기 복잡도를 예측한다.
본 발명의 실시 예에 따른 코덱과 이를 포함하는 장치들은 이전 프레임의 정보를 이용하여 현재 프레임의 복잡도를 예측하고, 예측된 복잡도에 따라 ROI 오브젝트에 대한 ROI 적용을 결정할 수 있는 효과가 있다.
따라서, 상기 코덱과 이를 포함하는 상기 장치들은 ROI 오브젝트의 화질을 개선시키고, 전력 소모를 줄일 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 이미지 데이터 처리 시스템의 블록도이다.
도 2는 ROI 제어 신호에 따른 ROI 정보를 나타낸다.
도 3은 도 1에 도시된 코덱의 개념도이다.
도 4는 도 3에 도시된 코덱의 일 실시 예를 나타내는 블록도이다.
도 5는 도 4에 도시된 분류기의 작동을 설명하기 위한 개념도이다.
도 6은 도 4에 도시된 계산기의 작동을 설명하기 위한 개념도이다.
도 7은 경계 영역의 양자화 파라미터를 조절하는 방법을 설명하기 위한 개념도이다.
도 8은 도 3에 도시된 코덱의 다른 실시 예를 나타내는 블록도이다.
도 9는 GOP(group of pictures)에 포함된 복수의 프레임들 각각의 복잡도를 예측하는 방법을 설명하기 위한 개념도이다.
도 10은 ROI 오브젝트와 비-ROI 오브젝트를 포함하는 현재 프레임을 개념적으로 나타낸다.
도 11은 도 1에 도시된 전-처리 회로의 작동을 설명하기 위한 개념도이다.
도 12는 도 4에 도시된 계산기의 작동을 설명하기 위한 개념도이다.
도 13은 도 1에 도시된 전-처리 회로의 작동과 코덱의 작동을 설명하기 위한 개념도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 이미지 데이터 처리 시스템의 블록도이다.
이미지 데이터 처리 시스템(10)은 TV, DTV(digital TV), IPTV(internet protocol TV), PC(personal computer), 데스크 탑 컴퓨터, 랩-탑(lap-top) 컴퓨터, 컴퓨터 워크스테이션(computer workstation), 태블릿(tablet) PC, 비디오 게임 플랫폼(또는 비디오 게임 콘솔), 서버, 또는 휴대용 전자 장치로 구현될 수 있다.
상기 휴대용 전자 장치는 이동 전화기, 스마트 폰(smart phone), PDA (personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP (portable multimedia player), PND(personal navigation device 또는 portable navigation device), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 만물 인터넷(internet of everything(IoE)) 장치, 또는 e-북(e-book)으로 구현될 수 있다.
이미지 데이터 처리 시스템(10)은 2D(dimensional) 또는 3D 그래픽스 데이터를 처리하고, 처리된 데이터를 디스플레이할 수 있는 다양한 디스플레이 장치를 의미할 수 있다.
이미지 데이터 처리 시스템(10)은 시스템 온 칩(system on chip(SoC); 100), 카메라(200), 디스플레이(300), 및 메모리(400)를 포함할 수 있다. 도 1에서는 SoC (100)의 외부에 메모리(400)가 도시되어 있으나, 실시 예에 따라 메모리(400)는 SoC(100)의 내부에 구현될 수 있다.
SoC(100)는 이미지 데이터 처리 시스템(10)의 작동을 전반적으로 제어할 수 있다. 예컨대, SoC(100)는 본 명세서에서 설명될 본 발명의 실시 예에 따른 작동들을 수행할 수 있는 집적 회로(integrated circuit(IC)), 마더 보드, 애플리케이션 프로세서(application processor(AP)), 또는 모바일(mobile AP)를 의미할 수 있다.
즉, SoC(100)은 카메라(200)로부터 출력된 이미지 데이터, 예컨대 프레임 (FR)을 처리하고, 처리된 데이터를 디스플레이(300)에서 디스플레이하거나 메모리 (400)에 저장할 수 있다. 카메라(200)로부터 출력된 이미지 데이터는 카메라 시리얼 인터페이스(camera serial interface(CSI))를 통해 전-처리 회로(110)로 전송될 수 있다.
SoC(100)는 전-처리 회로(110), 코덱(120), CPU(130), 디스플레이 컨트롤러 (140), 메모리 컨트롤러(150), 및 버스(160)를 포함한다.
코덱(120), CPU(130), 디스플레이 컨트롤러(140), 및 메모리 컨트롤러(150)는 적어도 하나의 버스(160)를 통해 서로 데이터를 주거나 받을 수 있다. 예컨대, 버스(160)는 PCI 버스(Peripheral Component Interconnect Bus), PCI 익스프레스(PCI Express) 버스, AMBA(Advanced High Performance Bus), AHB(Advanced High Performance Bus), APB(Advanced Peripheral Bus), 또는 AXI 버스, 또는 이들의 결합으로 구현될 수 있다.
전-처리 회로(110)는 카메라(200)로부터 출력된 제1이미지 데이터(FR)를 수신하고, 수신된 제1이미지 데이터(FR)를 처리하고, 처리된 제2이미지 데이터(FI)를 코덱(120)으로 출력할 수 있다. 제1이미지 데이터(FR)와 제2이미지 데이터(FI) 각각은 프레임을 의미할 수 있다. 이하, 설명의 편의를 위해, 각 이미지 데이터(FR과 FI)를 현재 프레임이라 한다.
카메라(200)는 CMOS 이미지 센서로 구현될 수 있다.
전-처리 회로(110)는 이미지 신호 프로세서(image signal processor(ISP))로 구현될 수 있다.
전-처리 회로(110)는, ROI 온(on)을 지시하는 ROI 제어 신호(ROI-C)에 기초하여, 카메라(200)로부터 전송된 현재 프레임(FR)으로부터 ROI 오브젝트(또는 ROI 영역)를 추출(또는 결정)하고, 추출(또는 결정)의 결과에 따라 ROI 정보(ROI-I)를 생성하고, 생성된 ROI 정보(ROI-I)를 코덱(120)으로 전송할 수 있다.
전-처리 회로(110)는, 카메라(200)로부터 전송된 현재 프레임(FR)에 기초하여, 장면 전환(scene change) 여부를 검출하고, 검출의 결과에 따라 장면 전환 정보(SC)를 생성하고, 장면 전환 정보(SC)를 코덱(120)으로 전송할 수 있다. 예컨대, 장면 전환 정보(SC)는 플래그(flag)로 설정될 수 있다. 장면 전환이 발생한 경우 전-처리 회로(110)는 '1'을 나타내는 플래그를 생성하고, 상기 장면 전환이 발생하지 않은 경우 전-처리 회로(110)는 '0'을 나타내는 플래그를 생성할 수 있다.
ROI 오브젝트는 현재 프레임(FR)에서 사용자가 관심 있게 주시하는 영역으로서, 비-ROI 오브젝트(non-ROI object)에 비해 향상된 화질을 요구한다. 전-처리 회로(110)는, ROI 온(on)을 지시하는 ROI 제어 신호(ROI-C)에 기초하여, ROI 오브젝트를 추출(결정 또는 설정)하는 알고리즘을 수행할 수 있다. 상기 알고리즘에 의해 추출된 ROI 오브젝트는 하나 또는 그 이상의 블록들을 포함할 수 있다.
도 2는 ROI 제어 신호에 따른 ROI 정보를 나타낸다.
전-처리 회로(110)는, 코덱(120)으로부터 출력된 ROI 온(on)을 지시하는 ROI 제어 신호(ROI-C)에 기초하여, 도 2의 (a)에 도시된 ROI 정보(ROI-I)를 블록 (block) 단위로 생성할 수 있다. 여기서, 블록의 크기는 16*16 픽셀들, 32*32 픽셀들, 64*64 픽셀들을 포함할 수 있으나, 상기 크기의 실시 예들에 따라 다양하게 변경될 수 있다.
도 2의 (a)를 참조하면, "0"은 양자화 파라미터(quantization parameter)를 유지하기 위한 정보를 나타내고, "1"은 양자화 파라미터를 감소시키기 위한 정보를 의미하고, "2"는 양자화 파라미터를 증가시키기 위한 정보를 의미한다.
예컨대, "0"은 영 오프셋(zero offset)을 의미할 수 있고, "1"은 마이너스 오프셋(minus offset)을 의미할 수 있고, "2"는 플러스 오프셋(plus off)을 의미할 수 있다. 이 경우, 상기 오프셋은 일정한 값을 가질 수 있다. 예컨대, 각 블록에 할당된 정보가 2-비트들로 표현될 때, "0"은 2b'00, "1"은 2b'01, 및 "2"는 2b'10을 의미할 수 있다. ROI 오프젝트(510)에 해당하는 각 블록은 "1"로 설정될 수 있다. 도 2의 (a)와 (b)에 도시된 각 숫자는 설명의 편의를 위해 예시된 것으로서 본 발명의 기술적 사상이 이에 한정되는 것은 아니다.
전-처리 회로(110)는, ROI 오프(OFF)를 지시하는 ROI 제어 신호(ROI-C)에 기초하여, 현재 프레임(FR)으로부터 ROI 오브젝트(또는 ROI 영역)를 추출(또는 결정)하는 작동을 수행하지 않는다. 이때, 전-처리 회로(110)는 도 2의 (b)에 도시된 ROI 정보(ROI-I)를 블록 단위로 생성할 수 있다.
전-처리 회로(110)는, 코덱(120)으로부터 전송된 현재 프레임 인코딩 종료 신호(DI)에 응답하여, 다음 프레임에 대한 처리를 수행할 수 있다. 예컨대, 전-처리 회로(110)는, ROI 제어 신호(ROI-C)에 기초하여, 도 2의 (a)와 도 2의 (b)에 도시된 바와 같이 상기 다음 프레임에 대한 ROI 정보(ROI-I)를 블록 단위로 생성할 수 있다.
도 1에서 전-처리 회로(110)는 SoC(100) 내부에 구현된 것으로 도시되어 있으나, 실시 예들에 따라 전-처리 회로(110)는 SoC(100) 외부에 구현될 수 있다.
코덱(120)은, 장면 전환이 발생하지 않은 경우, 이전 프레임에 대한 정보에 기초하여 현재 프레임(FI)의 복잡성을 예측하고, 예측 결과에 따라 ROI 제어 신호 (ROI-C)를 생성하고, ROI 정보(ROI-I)에 기초하여 현재 프레임(FI)에 포함된 각 블록에 대한 양자화 파라미터를 계산하거나 또는 계산된 양자화 파라미터를 2-스텝 (steps)으로 조절할 수 있다.
그러나, 코덱(120)은, 장면 전환이 발생한 경우, 초기 정보에 기초하여 현재 프레임(FI)의 복잡성을 예측하고, 예측 결과에 따라 ROI 제어 신호(ROI-C)를 생성하고, ROI 정보(ROI-I)에 기초하여 현재 프레임(FI)에 포함된 각 블록에 대한 양자화 파라미터를 계산하거나 또는 계산된 양자화 파라미터를 2-스텝(steps)으로 조절할 수 있다. 계산된 양자화 파라미터를 2-스텝으로 조절하는 방법은 도 6과 도 7을 참조하여 상세히 설명될 것이다.
코덱(120)은 현재 프레임(FI)에 포함된 복수의 블록들 각각에 대한 인코딩 작동을 수행하고, 현재 프레임(FI)에 대한 상기 인코딩 작동이 종료되면, 현재 프레임 인코딩 종료 신호(DI)를 전-처리 회로(110)로 전송한다.
도 1에서 코덱(120)은 하드웨어 코덱으로 구현되어 있으나, 본 발명의 기술적 사상에 따른 코덱은 소프트웨어 코덱으로 구현되고 CPU(130)에 의해 실행될 수 있다.
CPU(130)는 SoC(100)의 작동을 제어할 수 있다.
사용자는, CPU(130)가 하나 또는 그 이상의 애플리케이션들(예컨대, 소프트웨어 애플리케이션들)을 실행할 수 있도록, 입력을 SoC(100)로 제공할 수 있다.
CPU(130)에 의해 실행되는 애플리케이션들은 운영 체제(operating system (OS)), 워드프로세서 애플리케이션, 미디어 플레이어 애플리케이션, 비디오 게임 애플리케이션, 및/또는 그래픽 사용자 인터페이스(graphical user intergace(GUI)) 애플리케이션을 포함할 수 있다.
디스플레이 컨트롤러(140)는, 코덱(120) 또는 CPU(130)로부터 출력된 이미지 데이터를 디스플레이(300)에 디스플레이할 수 있다. 디스플레이(300)는 모니터, TV 모니터, 프로젝션 장치(projection device), TFT-LCD(thin film transistor-liquid crystal display), LED(light emitting diode) 디스플레이, OLED(organic LED) 디스플레이, AMOLED(active-matrix OLED) 디스플레이, 또는 플렉시블(flexible) 디스플레이로 구현될 수 있다.
예컨대, 디스플레이 컨트롤러(140)는 디스플레이 시리얼 인터페이스(display serial interface(DSI))를 통해 이미지 데이터를 디스플레이(300)로 전송할 수 있다.
메모리 컨트롤러(150)는, 코덱(120) 또는 CPU(130)로부터 출력된 명령에 기초하여, 메모리(400)에 저장된 데이터를 리드하고, 리드된 데이터를 코덱(120) 또는 CPU(130)로 전송할 수 있다. 또한, 메모리 컨트롤러(150)는, 코덱(120) 또는 CPU(130)로부터 출력된 명령에 기초하여, 코덱(120) 또는 CPU(130)로부터 출력된 데이터를 메모리(400)에 라이트할 수 있다.
실시 예들에 따라, 메모리(400)는 휘발성 메모리 또는 불휘발성 메모리로 구현될 수 있다. 휘발성 메모리는 RAM(random access memory), SRAM(static RAM), DRAM(dynamic RAM), SDRAM(synchronous DRAM), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.
불휘발성 메모리는 EEPROM(electrically erasable programmable read-only memory), 플래시(flash) 메모리, MRAM(magnetic RAM), 스핀전달토크 MRAM (spin-transfer torque MRAM), FeRAM(ferroelectric RAM), PRAM(phase change RAM), 또는 RRAM(resistive RAM)으로 구현될 수 있다. 또한, 상기 불휘발성 메모리는 MMC (multimedia card), eMMC(embedded MMC), UFS(universal flash storage), SSD (solid state drive), USB 플래시 드라이브, 또는 하드디스크 드라이브(hard disk drive(HDD))로 구현될 수 있다.
도 3은 도 1에 도시된 코덱의 개념도이다. 도 3을 참조하면, 코덱(120)은 코덱 CPU(122), 하드웨어 블록(124), 및 코덱 메모리(126)를 포함할 수 있다.
코덱 CPU(122)는 전-처리 회로(110)로부터 출력된 ROI 정보(ROI-I)를 코덱 메모리(126)에 저장할 수 있다. 실시 예에 따라, 코덱 CPU(122)는 전-처리 회로 (110)로부터 출력된 초기 정보를 코덱 메모리(126)에 저장할 수 있다. 코덱 CPU (122)는 현재 프레임(FI)의 타입을 결정하고, 타입 정보(TI), 현재 프레임(FI), 및 장면 전환 정보(SC)를 하드웨어 블록(124)으로 출력할 수 있다.
코덱 CPU(122)에서 실행되는 펌웨어(Firmware)는, GOP(group of picture(GOP))의 특성에 따라, 현재 프레임(FI)이 i-프레임, b-프레임, 또는 p-프레임인지를 판단하고, 판단의 결과에 따라 타입 정보(TI)를 생성할 수 있다.
실시 예들에 따라, GOP는 i-프레임, b-프레임, 및 p-프레임 중에서 적어도 하나를 포함할 수 있다. 실시 예들에 따라, GOP에 포함된 프레임들 모두는 i-프레임일 수 있다. 실시 예들에 따라, GOP에 포함되는 프레임들의 개수 및/또는 전-처리 회로(110)로부터 전송되는 서로 다른 타입을 갖는 프레임들의 순서는 다양하게 변경될 수 있다.
코덱 CPU(122)는 하드웨어 블록(124)으로부터 출력된 ROI 제어 신호(ROI-C)와 현재 프레임 인코딩 종료 신호(DI)를 전-처리 회로(110)로 전송할 수 있다.
하드웨어 블록(124)은 코덱 메모리(126)로부터 ROI 정보(ROI-C)를 리드할 수도 있고 리드하지 않을 수도 있다. 장면 전환이 발생하지 않았을 때 하드웨어 블록 (124)은 코덱 메모리(126)에 저장된 이전 프레임의 평균 양자화 파라미터(Qx-P)와 압축된 이전 프레임에서 생성된 비트 수(Sx-P)를 리드할 수도 있고 리드하지 않을 수도 있다. 또한, 장면 전환이 발생했을 때 하드웨어 블록(124)은 코덱 메모리 (126)에 저장된 초기 정보, 예컨대 초기 양자화 파라미터(Qip)와 초기 비트 수 (Sip)를 리드할 수도 있고 리드하지 않을 수도 있다.
하드웨어 블록(124)은 현재 프레임의 평균 양자화 파라미터(Qx-C)와 압축된 현재 프레임에서 생성된 비트 수(Sx-C)를 코덱 메모리(126)에 저장할 수 있다. 코덱 메모리(126)는 상술한 바와 같이 휘발성 메모리 또는 불휘발성 메모리로 구현될 수 있다.
도 4는 도 3에 도시된 코덱의 일 실시 예를 나타내는 블록도이다.
도 4를 참조하면, 코덱(120A)은 코덱 CPU(122), ROI 컨트롤러(124A), 및 코덱 메모리(126)를 포함한다. 코덱(120A)은 도 1의 코덱(120)의 일 실시 예이다.
ROI 컨트롤러(124A)는, 장면 전환이 발생하지 않은 경우, 이전 프레임에 대한 정보(Qx-P와 Sx-P)에 기초하여 현재 프레임(FI)의 복잡도(Xx)를 계산하고, 계산된 복잡도(Xx)에 기초하여 분류 정보(CI)를 생성하고, 현재 프레임(FI)에 포함된 복수의 블록들 각각에 대한 양자화 파라미터를 계산할 수 있다.
그러나, ROI 컨트롤러(124A)는, 장면 전환이 발생한 경우, 초기 정보(Qip와 Sip)에 기초하여 현재 프레임(FI)의 복잡도(Xx)를 계산하고, 계산된 복잡도(Xx)에 기초하여 분류 정보(CI)를 생성하고, 현재 프레임(FI)에 포함된 복수의 블록들 각각에 대한 양자화 파라미터를 계산할 수 있다.
ROI 컨트롤러(124A)는, 장면 전환이 발생하지 않은 경우, 이전 프레임에 대한 정보(Qx-P와 Sx-P)에 기초하여 현재 프레임(FI)의 복잡도(Xx)를 계산하고, 계산된 복잡도(Xx)에 기초하여 분류 정보(CI)를 생성하고, 현재 프레임(FI)에 포함된 복수의 블록들 각각에 대한 양자화 파라미터를 계산하고, ROI 정보(ROI-C)에 기초하여 상기 복수의 블록들 각각에 대한 상기 양자화 파라미터에 대한 제1조절 작동을 수행하고, 분류 정보(CI)에 관련된 조절 값을 이용하여, 상기 제1조절 작동에 따라 조절된 상기 복수의 블록들 각각에 대한 상기 양자화 파라미터에 대한 제2조절 작동을 수행할 수 있다.
ROI 컨트롤러(124A)는, 장면 전환이 발생한 경우, 초기 정보(Qip와 Sip)에 기초하여 현재 프레임(FI)의 복잡도(Xx)를 계산하고, 계산된 복잡도(Xx)에 기초하여 분류 정보(CI)를 생성하고, 현재 프레임(FI)에 포함된 복수의 블록들 각각에 대한 양자화 파라미터를 계산하고, ROI 정보(ROI-C)에 기초하여 상기 복수의 블록들 각각에 대한 상기 양자화 파라미터에 대한 제1조절 작동을 수행하고, 분류 정보(CI)에 관련된 조절 값을 이용하여, 상기 제1조절 작동에 따라 조절된 상기 복수의 블록들 각각에 대한 상기 양자화 파라미터에 대한 제2조절 작동을 수행할 수 있다.
ROI 컨트롤러(124A)는 복잡도 예측기(124-1)와 ROI 제어 신호 생성기(124-2)를 포함한다.
복잡도 예측기(124-1)는 타입 정보(TI), 현재 프레임(FI), 및 장면 전환 정보(SC)을 수신하고, 타입 정보(TI)와 장면 전환 정보(SC)에 기초하여 이전 프레임의 평균 양자화 파라미터(Qx-P)와 압축된 이전 프레임에서 생성된 비트 수(Sx-P)를 코덱 메모리(126)로부터 읽어 오거나 초기 양자화 파라미터(Qip)와 초기 비트 수 (Sip)를 코덱 메모리(126)로부터 읽어 올 수 있다.
복잡도 예측기(124-1)는 수학식 1을 이용하여 현재 프레임(FI)의 복잡도(Xx)를 계산한다.
[수학식 1]
Xx=(Qx-P)*(Sx-P) 또는 Xx=Qip*Sip
여기서, 소문자 x는 i, b, 또는 p를 의미할 수 있다.
예컨대, 타입 정보(TI)가 i-프레임을 나타낼 때, 복잡도 예측기(124-1)는 이전 i-프레임의 평균 양자화 파라미터(Qi-P)와 압축된 이전 i-프레임에서 생성된 비트 수(Si-P)를 코덱 메모리(126)로부터 읽어 온다. 그러나, 타입 정보(TI)가 b-프레임을 나타낼 때, 복잡도 예측기(124-1)는 이전 b-프레임의 평균 양자화 파라미터(Qb-P)와 압축된 이전 b-프레임에서 생성된 비트 수(Sb-P)를 코덱 메모리(126)로부터 읽어 온다. 타입 정보(TI)가 p-프레임을 나타낼 때, 복잡도 예측기(124-1)는 이전 p-프레임의 평균 양자화 파라미터(Qp-P)와 압축된 이전 p-프레임에서 생성된 비트 수(Sp-P)를 코덱 메모리(126)로부터 읽어 온다.
예컨대, 코덱 메모리(126)는 이전 i-프레임의 평균 양자화 파라미터(Qi-P)와 압축된 이전 i-프레임에서 생성된 비트 수(Si-P), 이전 b-프레임의 평균 양자화 파라미터(Qb-P)와 압축된 이전 b-프레임에서 생성된 비트 수(Sb-P), 및/또는 이전 p-프레임의 평균 양자화 파라미터(Qp-P)와 압축된 이전 p-프레임에서 생성된 비트 수 (Sp-P)를 저장한다.
현재 프레임(FI)에 대한 복잡도(Xx)가 클수록, 현재 프레임(FI)에 대한 인코딩은 어렵고 복잡한 이미지이다.
ROI 제어 신호 생성기(124-2)는 분류기(124-2a), 계산기(124-2b), 및 결정기 (124-2c)를 포함한다. 계산기(124-2b)는 블록 단위로 인코딩을 수행하는 인코더의 기능을 포함할 수 있다.
ROI 제어 신호 생성기(124-2)는 복잡도(Xx)에 기초하여 분류 정보(CI)를 생성하고, 현재 프레임(FI)에 포함된 복수의 블록들 각각에 대한 양자화 파라미터를 계산할 수 있다.
또한, ROI 제어 신호 생성기(124-2)는 복잡도(Xx)에 기초하여 분류 정보(CI)를 생성하고, 현재 프레임(FI)에 포함된 복수의 블록들 각각에 대한 양자화 파라미터를 계산하고, ROI 정보(ROI-C)에 기초하여 상기 복수의 블록들 각각에 대한 상기 양자화 파라미터에 대한 제1조절 작동을 수행하고, 분류 정보(CI)에 관련된 조절 값을 이용하여, 상기 제1조절 작동에 따라 조절된 상기 복수의 블록들 각각에 대한 상기 양자화 파라미터에 대한 제2조절 작동을 수행할 수 있다.
분류기(124-2a)는, 복잡도(Xx)에 기초하여, 현재 프레임(FI)을 복수의 카테고리들 중에서 어느 하나로 분류하고, 분류 정보(CI)와 현재 프레임(FI)을 계산기 (124-2b)로 출력한다.
현재 프레임(FI)의 복잡도(X1)가 제1문턱 값(THR1)과 같거나 클 때(X1≥THR1), 분류기(124-2a)는 현재 프레임(FI)을 제1카테고리로 분류한다. 이때, 분류기(124-2a)는 ROI 온(on)을 지시하는 ROI 제어 신호(ROI-C)를 코덱 CPU(122)와 계산기(124-2b)로 출력한다. 예컨대, 복잡도(X1)는 제1조절 값(dQ1)에 관련된다.
현재 프레임(FI)의 복잡도(X2)가 제1문턱 값(THR1)보다 작고 제2문턱 값 (THR2)과 같거나 클 때(THR2≤X2<THR1), 분류기(124-2a)는 현재 프레임(FI)을 제2카테고리로 분류한다. 이때, 분류기(124-2a)는 ROI 온(on)을 지시하는 ROI 제어 신호(ROI-C)를 코덱 CPU(122)와 계산기(124-2b)로 출력한다. 예컨대, 복잡도(X2)는 제2조절 값(dQ2)에 관련되고, 제2조절 값(dQ2)은 제1조절 값(dQ1)보다 작다.
현재 프레임(FI)의 복잡도(X3)가 제2문턱 값(THR2)보다 작을 때(X3<THR2), 분류기(124-2a)는 현재 프레임(FI)을 제3카테고리로 분류한다. 이때, 분류기(124-2a)는 ROI 오프(off)을 지시하는 ROI 제어 신호(ROI-C)를 코덱 CPU(122)와 계산기 (124-2b)로 출력한다.
계산기(124-2b)는, ROI 온(on)을 지시하는 ROI 제어 신호(ROI-C)에 응답하여, 코덱 메모리(126)에 저장된 ROI 정보(ROI-I)를 읽어온다. 그러나, 계산기(124-2b)는, ROI 오프(off)을 지시하는 ROI 제어 신호(ROI-C)에 응답하여, 코덱 메모리 (126)에 저장된 ROI 정보(ROI-I)를 읽어오지 않는다.
ROI 제어 신호(ROI-C)가 ROI 오프(off)을 지시할 때, 계산기(124-2b)는 현재 프레임(FI)에 포함된 복수의 블록들 각각을 인코딩하면서 상기 복수의 블록들 각각에 대한 양자화 파라미터를 계산하고, 현재 프레임(FI)의 평균 양자화 파라미터 (Qx-C)와 압축된 현재 프레임에서 생성된 비트 수(Sx-C)를 계산하고, 계산된 평균 양자화 파라미터(Qx-C)와 계산된 비트 수(Sx-C)를 코덱 메모리(126)에 저장한다.
도 6은 도 4에 도시된 계산기의 작동을 설명하기 위한 개념도이다.
ROI 제어 신호(ROI-C)는 ROI 온(on)을 지시하고 복잡도(Xx)는 제1카테고리에 속한다고 가정한다.
도 4와 도 6의 (a)를 참조하면, 계산기(124-2b)는 현재 프레임(FI)에 포함된 복수의 블록들 각각을 인코딩하면서 상기 복수의 블록들 각각에 대한 양자화 파라미터(QP1~QP25)를 계산한다.
도 4, 도 6의 (b), 및 도 6의 (c)를 참조하면, 계산기(124-2b)는, ROI 정보 (ROI-I)에 포함된 각 블록의 오프셋(0, 1, 또는 2)을 이용하여, 상기 복수의 블록들 각각에 대해 계산된 양자화 파라미터(QP1~QP25)를 조절한다.
도 2의 (a)를 참조하면 설명한 바와 같이, 계산기(124-2b)는 "1" 또는 "2"에 해당하는 각 블록의 양자화 파라미터(QP4', QP5', QP7'~ QP15', QP17'~QP19', QP21', 및 QP44')는 감소 또는 증가시킨다. 그러나, 계산기(124-2b)는 "0"에 해당하는 각 블록의 양자화 파라미터(QP1~QP3, QP6, QP16, QP20, QP22, QP23, 및 QP25)는 그대로 유지한다. 또한, 계산기(124-2b)는 ROI 오브젝트(510)에 포함된 블록들의 양자화 파라미터들을 감소시킨다.
도 4와 도 6의 (d)를 참조하면, 계산기(124-2b)는 제1조절 값(dQ1)을 이용하여 도 6의 (c)에 도시된 각 블록의 양자화 파라미터를 다시 한번 더 조절한다.
도 7은 경계 영역의 양자화 파라미터를 조절하는 방법을 설명하기 위한 개념도이다.
도 7에서는 설명의 편의를 위해, ROI 오프젝트(510)와 비-ROI 오프젝트의 경계 영역에 포함된 5개의 블록 그룹들을 도시한다. 상기 경계 영역을 포함하는 대응되는 두 개의 양자화 파라미터들 중에서 현재 블록의 양자화 파라미터가 조절 대상 파라미터이다. 도 7에서는 빗금 친 블록의 양자화 파라미터가 조절 대상 파라미터이다.
예컨대, 제1조절 값(dQ1)이 "10"이고, "1"에 해당하는 마이너스 오프셋이 "-5"이고, 도 6의 (a)의 양자화 파라미터(QP6)가 40이고, 양자화 파라미터(QP7)가 38일 때, 계산기(124-2b)는, ROI 정보(ROI-I, 즉 "1")를 이용하여, 조절된 양자화 파라미터(QP7'), 즉 33(=38-5)을 계산한다. 그러나, 두 개의 양자화 파라미터들(QP6과 QP7')의 차이가 7(=40-33)이므로, 양자화 파라미터(QP7'), 즉 33은 유지된다 (CASE1).
그러나, 도 6의 (c)의 양자화 파라미터(QP11')가 40이고, 양자화 파라미터 (QP12')가 33일 때, 계산기(124-2b)는, ROI 정보(ROI-I, 즉 "1")를 이용하여, 조절된 양자화 파라미터(QP12'), 즉 28(=33-5)을 계산한다. 두 개의 양자화 파라미터들 (QP11'와 QP12')의 차이가 12(=40-28)이므로, 계산기(124-2b)는, 두 개의 양자화 파라미터들(QP11'와 QP12')의 차이가 제1조절 값(dQ1="10")과 같거나 작도록, 양자화 파라미터(QP12')를 30으로 증가시킨다(CASE2).
계산기(124-2b)는 현재 프레임(FI)의 마지막 블록까지 양자화 파라미터를 계산하거나 계산된 양자화 파라미터를 2-스텝으로 조절한다. 계산기(124-2b)는 상기 마지막 블록에 대한 인코딩이 종료되면, 종료 신호(EI)를 결정기(124-2c)로 전송한다. 결정기(124-2c)는 종료 신호(EI)에 기초하여 현재 프레임 인코딩 종료 신호 (DI)를 코덱 CPU(122)로 전송한다.
도 8은 도 3에 도시된 코덱의 다른 실시 예를 나타내는 블록도이다.
도 8을 참조하면, 코덱(120B)은 코덱 CPU(122), ROI 컨트롤러(124B), 및 코덱 메모리(126)를 포함한다. 코덱(120B)은 도 1의 코덱(120)의 다른 실시 예이다.도 8을 참조하면, 분류기(124-2a')로부터 생성된 ROI 제어 신호(ROI-C)는 계산기(124-2b')를 통해 코덱 CPU(122)로 전송된다.
ROI 제어 신호(ROI-C)의 전송 경로를 제외하면, 분류기(124-2a')의 작동과 분류기(124-2a)의 작동은 실질적으로 동일 또는 유사하고, 계산기(124-2b')의 작동과 계산기(124-2b)의 작동은 실질적으로 동일 또는 유사하다.
도 9는 GOP(group of pictures)에 포함된 복수의 프레임들 각각의 복잡도를 예측하는 방법을 설명하기 위한 개념도이다.
도 9를 참조하면, 제1이미지 그룹(GOP0)은 i-프레임(I0), 복수의 b-프레임들 (B0, B1, B2, …), 및 복수의 p-프레임들(P0, P1, …)을 포함하고, 제2이미지 그룹(GOP1)은 i-프레임(I0), 복수의 b-프레임들(B0,…), 및 복수의 p-프레임들(P0, P1,…)을 포함한다.
복잡도 예측기(124-1)는, 현재 프레임(FI)이 장면 전환 상태이거나 이전 프레임의 평균 양자화 파라미터(Qx-P)와 압축된 이전 프레임에서 생성된 비트 수(Sx-P)를 이용할 수 없을 때, 현재 프레임의 복잡도(Xx)를 제2문턱 값(THR2)보다 큰 값으로 예측(또는 설정)하거나 현재 프레임의 복잡도(Xx)를 예측하는 과정은 스킵 (skip)할 수 있다.
예컨대, 제1이미지 그룹(GOP0)의 i-프레임(I0), b-프레임(B0), 및 p-프레임 (P0)은 이전 프레임의 정보를 이용할 수 없으므로, 분류기(124-2a 또는 124-2a')는 ROI 온(on)을 지시하는 ROI 제어 신호(ROI-C)를 생성할 수 있다.
제2이미지 그룹(GOP1)의 i-프레임(I0)에 대한 복잡도는 제1이미지 그룹 (GOP0)의 i-프레임의 복잡도(Xio)를 이용하여 예측될 수 있다. 제1이미지 그룹 (GOP0)의 b-프레임(B1)의 복잡도는 이전 b-프레임(B0)의 복잡도(Xbo)를 이용하여 예측될 수 있고, 제1이미지 그룹(GOP0)의 p-프레임(P1)의 복잡도는 이전 p-프레임 (P0)의 복잡도(Xpo)를 이용하여 예측될 수 있다.
제1이미지 그룹(GOP0)의 b-프레임(B2)의 복잡도는 이전 b-프레임(B1)의 복잡도(Xb1)를 이용하여 예측될 수 있고, 제2이미지 그룹(GOP1)의 p-프레임(P1)의 복잡도는 이전 p-프레임(P0)의 복잡도(Xpn)를 이용하여 예측될 수 있다.
도 10은 ROI 오브젝트와 비-ROI 오브젝트를 포함하는 현재 프레임을 개념적으로 나타낸다.
도 10의 (a)는 사람의 얼굴 이미지를 포함하는 현재 프레임(500)을 나타낸다. 도 10의 (b)를 참조하면, 전-처리 회로(110)는 사람의 얼굴과 상체(502)를 포함한 영역을 ROI 오브젝트(510)로 설정하고, 나머지 부분을 비-ROI 오브젝트(520)로 설정할 수 있다.
계산기(124-2b 또는 124-2b')는 ROI 오브젝트(510)에 포함된 블록들 각각에 대한 양자화 파라미터를 계산하거나 조절할 수 있다.
도 11은 도 1에 도시된 전-처리 회로의 작동을 설명하기 위한 개념도이다.
도 1과 도 11을 참조하면, 전-처리 회로(110)는 ROI 제어 신호(ROI-C)가 ROI 온을 지시하는지 ROI 오프를 지시하는지를 판단한다(S110).
ROI 제어 신호(ROI-C)가 ROI 온을 지시할 때, 전-처리 회로(110)는 현재 프레임(FR)으로부터 ROI 오브젝트(또는 ROI 영역)를 추출(또는 결정)하고, 추출(또는 결정)의 결과에 따라 도 2의 (b)에 도시된 바와 같은 ROI 정보(ROI-I)를 생성하고, 생성된 ROI 정보(ROI-I)를 코덱(120)으로 전송할 수 있다(S120).
그러나, ROI 제어 신호(ROI-C)가 ROI 오프를 지시할 때, 전-처리 회로(110)는 현재 프레임(FR)으로부터 ROI 오브젝트(또는 ROI 영역)를 추출(또는 결정)하지 않고, 도 2의 (b)에 도시된 바와 같은 올-제로(all-zero)를 포함하는 ROI 정보 (ROI-I)를 생성하고, 생성된 ROI 정보(ROI-I)를 코덱(120)으로 전송할 수 있다 (S130).
도 12는 도 4에 도시된 계산기의 작동을 설명하기 위한 개념도이다.
도 4, 도 6, 도 8, 및 도 12를 참조하면, 계산기(124-2b 또는 124-2b')는 분류기(124-2a 또는 124-2a')로부터 생성된 ROI 제어 신호(ROI-C)가 ROI 온을 지시하는지 ROI 오프를 지시하는지를 판단한다(S210).
ROI 제어 신호(ROI-C)가 ROI 온을 지시할 때(S210), 계산기(124-2b 또는 124-2b')는 코덱 메모리(126)로부터 ROI 정보(ROI-I)를 리드하고(S220), 현재 프레임(FI)에 포함된 복수의 블록들 각각에 대한 양자화 파라미터를 계산한다(S230).
계산기(124-2b 또는 124-2b')는, ROI 정보(ROI-I)를 이용하여, 상기 복수의 블록들 중에서 적어도 하나의 블록에 대한 양자화 파라미터를 조절한다(S240).
계산기(124-2b 또는 124-2b')는, 제1조절 값(dQ1) 또는 제2조절 값(dQ2)을 이용하여, S240 단계에서 조절된 적어도 하나의 블록에 대한 양자화 파라미터를 다시 조절한다(S250). 계산기(124-2b 또는 124-2b')는 현재 프레임(FI)에 대한 평균 양자화 파라미터를 계산하고, 계산된 평균 양자화 파라미터를 코덱 메모리(260)에 저장한다.
그러나, ROI 제어 신호(ROI-C)가 ROI 오프를 지시할 때(S210), 계산기(124-2b 또는 124-2b')는 코덱 메모리(126)로부터 ROI 정보(ROI-I)를 리드하지 않고, 현재 프레임(FI)에 포함된 복수의 블록들 각각에 대한 양자화 파라미터를 계산한다 (S270).
도 13은 도 1에 도시된 전-처리 회로의 작동과 코덱의 작동을 설명하기 위한 개념도이다. 도 1, 도 3, 도 4, 도 8 및 도 13을 참조하면, 전-처리 회로(110)는 현재 프레임 (FR)에서 장면 전환이 발생했는지를 판단하고 판단의 결과에 따라 장면 전환 정보(SC)를 코덱(120)으로 전송한다(S310).
ROI 컨트롤러(124A 또는 124B)는, 장면 전환이 발생하지 않은 경우(S310의 NO), 이전 프레임에 대한 정보(Qx-P와 Sx-P)에 기초하여 현재 프레임(FI)의 복잡도(Xx)를 계산한다(S320). 그러나, ROI 컨트롤러(124A 또는 124B)는, 장면 전환이 발생한 경우, 초기 정보(Qip와 Sip)에 기초하여 현재 프레임(FI)의 복잡도(Xx)를 계산한다(S330).
ROI 컨트롤러(124A 또는 124B)는 계산된 복잡도(Xx)에 기초하여 분류 정보 (CI)를 생성한다(S340).
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 이미지 데이터 처리 시스템
100: 시스템 온 칩
110: 전-처리 회로
120, 120A, 120B: 코덱
122: 코덱 CPU
124: 하드웨어 블록
124-1: 복잡도 예측기
124-2: ROI 제어기
124-2a : 분류기
124-2b : 계산기(인코더)
124-2c : 결정기
130 : CPU
140 : 디스플레이 컨트롤러
150 : 메모리 컨트롤러
160 : 버스
200 : 카메라
300 : 디스플레이 유닛
400 : 메모리

Claims (10)

  1. ROI(region of interest) 오브젝트를 포함하는 현재 프레임을 수신하고, 수신된 현재 프레임의 타입을 결정하는 코덱 CPU;
    상기 코덱 CPU로부터 상기 현재 프레임의 타입을 수신하고, 이전 프레임의 평균 양자화 파라미터와 압축된 이전 프레임에서 생성된 비트 수를 이용하여, 상기 현재 프레임의 복잡도를 예측하는 복잡도 예측기; 및
    예측된 복잡도에 기초하여, 상기 ROI 오브젝트에 대한 ROI 코딩의 인에이블 여부를 나타내는 ROI 제어 신호를 생성하는 ROI 제어 신호 생성기를 포함하고,
    상기 ROI 제어 신호 생성기는 상기 ROI 코딩이 인에이블됨을 지시하는 ROI 제어 신호에 응답하여, ROI 정보에 기초하여 상기 현재 프레임에 포함된 블록의 양자화 파라미터를 조절하고,
    상기 복잡도 예측기는, 장면 전환이 발생하지 않음을 지시하는 장면 전환 정보에 기초하여, 코덱 메모리에 저장된 상기 이전 프레임의 상기 평균 양자화 파라미터와 상기 압축된 이전 프레임에서 생성된 상기 비트 수를 이용하여 상기 현재 프레임의 상기 복잡도를 예측하고,
    상기 복잡도 예측기는, 상기 장면 전환이 발생함을 지시하는 상기 장면 전환 정보에 기초하여, 상기 코덱 메모리에 저장된 초기 정보를 이용하여 상기 현재 프레임의 상기 복잡도를 예측하는 코덱.
  2. 제1항에 있어서, 상기 ROI 제어 신호 생성기는,
    상기 예측된 복잡도에 따라, 상기 현재 프레임을 복수의 카테고리들 중에서 어느 하나로 분류하고 상기 ROI 제어 신호와 분류 정보를 출력하는 분류기; 및
    상기 ROI 제어 신호에 따라, (1) 상기 현재 프레임을 블록 단위로 인코딩하면서 양자화 파라미터를 계산하거나 (2) 계산된 양자화 파라미터를 ROI 정보에 따라 조절하고 상기 분류 정보에 해당하는 조절 값을 이용하여 조절된 양자화 파라미터를 다시 조절하는 계산기를 포함하는 코덱.
  3. 제2항에 있어서, 상기 분류기는,
    상기 예측된 복잡도가 문턱 값과 같거나 클 때 ROI 온(on)을 지시하는 상기 ROI 제어 신호를 생성하고,
    상기 예측된 복잡도가 상기 문턱 값보다 작을 때 ROI 오프(off)를 지시하는 상기 ROI 제어 신호를 생성하는 코덱.
  4. 제3항에 있어서, 상기 계산기는,
    상기 ROI 온(on)을 지시하는 상기 ROI 제어 신호에 응답하여 코덱 메모리에 저장된 상기 ROI 정보를 리드하고,
    상기 양자화 파라미터를 계산하고, 상기 계산된 양자화 파라미터를 상기 ROI 정보에 따라 조절하고, 상기 분류 정보에 해당하는 상기 조절 값을 이용하여 상기 조절된 양자화 파라미터를 다시 조절하는 코덱.
  5. 제3항에 있어서, 상기 계산기는,
    상기 ROI 오프(off)를 지시하는 상기 ROI 제어 신호에 응답하여 상기 양자화 파라미터를 계산하는 코덱.
  6. 삭제
  7. ROI 제어 신호에 응답하여 현재 프레임에 대한 ROI 정보를 생성하고 처리된 현재 프레임을 출력하는 전-처리 회로; 및
    이전 프레임에 대한 정보를 이용하여 상기 처리된 현재 프레임의 복잡도를 예측하고, 예측된 복잡도와 문턱 값을 비교하고, 비교 결과에 따라 상기 현재 프레임의 ROI 코딩의 인에이블 여부를 나타내는 상기 ROI 제어 신호를 생성하고, 상기 ROI 코딩이 디스에이블됨을 지시하는 ROI 제어 신호에 응답하여 생성된 ROI 제어 신호와 상기 ROI 정보를 이용하여 상기 처리된 현재 프레임에 포함된 복수의 블록들 각각을 인코딩하면서 상기 복수의 블록들 각각에 대한 양자화 파라미터를 계산하거나, 상기 ROI 코딩이 인에이블됨을 지시하는 ROI 제어 신호에 응답하여 계산된 양자화 파라미터를 2-스텝으로 조절하는 코덱을 포함하고,
    상기 코덱은,
    코덱 메모리;
    상기 ROI 정보를 상기 코덱 메모리에 저장하고, ROI 오브젝트를 포함하는 상기 처리된 현재 프레임을 수신하고, 수신된 현재 프레임의 타입을 결정하는 코덱 CPU;
    상기 이전 프레임에 포함된 상기 이전 프레임의 평균 양자화 파라미터와 압축된 이전 프레임에서 생성된 비트 수를 이용하여, 상기 처리된 현재 프레임의 상기 복잡도를 예측하는 복잡도 예측기; 및
    상기 예측된 복잡도에 기초하여, 상기 ROI 오브젝트에 대한 ROI 코딩의 인에이블 여부를 나타내는 ROI 제어 신호를 생성하는 ROI 제어 신호 생성기를 포함하고,
    상기 전-처리 회로는 상기 현재 프레임에서 장면 전환이 발생했는지를 판단하고 판단의 결과에 따라 장면 전환 정보를 생성하고,
    상기 복잡도 예측기는, 상기 장면 전환이 발생하지 않음을 지시하는 상기 장면 전환 정보에 기초하여, 상기 코덱 메모리에 저장된 상기 이전 프레임의 상기 평균 양자화 파라미터와 상기 압축된 이전 프레임에서 생성된 상기 비트 수를 이용하여 상기 현재 프레임의 상기 복잡도를 예측하고,
    상기 복잡도 예측기는, 상기 장면 전환이 발생함을 지시하는 상기 장면 전환 정보에 기초하여, 상기 코덱 메모리에 저장된 초기 정보를 이용하여 상기 현재 프레임의 상기 복잡도를 예측하는 시스템 온 칩.
  8. 삭제
  9. 현재 프레임을 생성하는 카메라;
    ROI 제어 신호에 응답하여 상기 현재 프레임에 대한 ROI 정보를 생성하고 처리된 현재 프레임을 출력하는 전-처리 회로; 및
    이전 프레임에 대한 정보를 이용하여 상기 처리된 현재 프레임의 복잡도를 예측하고, 예측된 복잡도와 문턱 값을 비교하고, 비교 결과에 따라 상기 현재 프레임의 ROI 코딩의 인에이블 여부를 나타내는 상기 ROI 제어 신호를 생성하고, 상기 ROI 코딩이 디스에이블됨을 지시하는 ROI 제어 신호에 응답하여 생성된 ROI 제어 신호와 상기 ROI 정보를 이용하여 상기 처리된 현재 프레임에 포함된 복수의 블록들 각각을 인코딩하면서 상기 복수의 블록들 각각에 대한 양자화 파라미터를 계산하거나, 상기 ROI 코딩이 인에이블됨을 지시하는 ROI 제어 신호에 응답하여 계산된 양자화 파라미터를 2-스텝으로 조절하는 코덱을 포함하고,
    상기 코덱은,
    코덱 메모리;
    상기 ROI 정보를 상기 코덱 메모리에 저장하고, ROI 오브젝트를 포함하는 상기 처리된 현재 프레임을 수신하고, 수신된 현재 프레임의 타입을 결정하는 코덱 CPU;
    상기 이전 프레임에 포함된 상기 이전 프레임의 평균 양자화 파라미터와 압축된 이전 프레임에서 생성된 비트 수를 이용하여, 상기 처리된 현재 프레임의 상기 복잡도를 예측하는 복잡도 예측기; 및
    상기 예측된 복잡도에 기초하여, 상기 ROI 오브젝트에 대한 ROI 코딩의 인에이블 여부를 나타내는 ROI 제어 신호를 생성하는 ROI 제어 신호 생성기를 포함하고,
    상기 전-처리 회로는 상기 현재 프레임에서 장면 전환이 발생했는지를 판단하고 판단의 결과에 따라 장면 전환 정보를 생성하고,
    상기 복잡도 예측기는, 상기 장면 전환이 발생하지 않음을 지시하는 상기 장면 전환 정보에 기초하여, 상기 코덱 메모리에 저장된 상기 이전 프레임의 상기 평균 양자화 파라미터와 상기 압축된 이전 프레임에서 생성된 상기 비트 수를 이용하여 상기 현재 프레임의 상기 복잡도를 예측하고,
    상기 복잡도 예측기는, 상기 장면 전환이 발생함을 지시하는 상기 장면 전환 정보에 기초하여, 상기 코덱 메모리에 저장된 초기 정보를 이용하여 상기 현재 프레임의 상기 복잡도를 예측하는 이미지 데이터 처리 시스템.
  10. 삭제
KR1020140123801A 2014-09-17 2014-09-17 코덱과 이를 포함하는 장치들 KR102212762B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140123801A KR102212762B1 (ko) 2014-09-17 2014-09-17 코덱과 이를 포함하는 장치들
US14/830,188 US10362315B2 (en) 2014-09-17 2015-08-19 Codec and devices including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140123801A KR102212762B1 (ko) 2014-09-17 2014-09-17 코덱과 이를 포함하는 장치들

Publications (2)

Publication Number Publication Date
KR20160032969A KR20160032969A (ko) 2016-03-25
KR102212762B1 true KR102212762B1 (ko) 2021-02-05

Family

ID=55456121

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140123801A KR102212762B1 (ko) 2014-09-17 2014-09-17 코덱과 이를 포함하는 장치들

Country Status (2)

Country Link
US (1) US10362315B2 (ko)
KR (1) KR102212762B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210289204A1 (en) * 2016-07-14 2021-09-16 Samsung Electronics Co., Ltd. Method for encoding/decoding image and apparatus therefor
EP3545673A4 (en) * 2016-12-27 2019-11-20 Zhejiang Dahua Technology Co., Ltd METHOD AND SYSTEMS WITH MULTIPLE CAMERAS
US10405003B2 (en) * 2017-01-20 2019-09-03 Google Llc Image compression based on semantic relevance
US11190810B2 (en) * 2018-01-26 2021-11-30 Samsung Electronics Co., Ltd. Device and method for compressing image data using quantization parameter and entropy tables
JP6941744B2 (ja) * 2018-09-26 2021-09-29 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
CN112312134B (zh) * 2019-08-01 2023-03-24 杭州海康威视数字技术股份有限公司 编码方法、装置、电子设备及可读存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW501022B (en) * 1998-03-16 2002-09-01 Mitsubishi Electric Corp Moving picture coding system
KR100468726B1 (ko) * 2002-04-18 2005-01-29 삼성전자주식회사 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법
US7653129B2 (en) * 2004-12-28 2010-01-26 General Instrument Corporation Method and apparatus for providing intra coding frame bit budget
US7724972B2 (en) * 2005-03-01 2010-05-25 Qualcomm Incorporated Quality metric-biased region-of-interest coding for video telephony
US9667980B2 (en) * 2005-03-01 2017-05-30 Qualcomm Incorporated Content-adaptive background skipping for region-of-interest video coding
US8768084B2 (en) * 2005-03-01 2014-07-01 Qualcomm Incorporated Region-of-interest coding in video telephony using RHO domain bit allocation
US8019175B2 (en) * 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
US8019170B2 (en) * 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
US8208758B2 (en) * 2005-10-05 2012-06-26 Qualcomm Incorporated Video sensor-based automatic region-of-interest detection
KR100739785B1 (ko) * 2006-01-09 2007-07-13 삼성전자주식회사 관심 영역 기반 영상 부호화, 복호화 방법 및 장치
US20080151998A1 (en) * 2006-12-21 2008-06-26 General Instrument Corporation Method and Apparatus for Providing Rate Control for Panel-Based Real Time Video Encoder
JP2010187337A (ja) 2009-02-13 2010-08-26 Toshiba Corp 動画像変換装置及び動画像変換方法
US20110235706A1 (en) * 2010-03-25 2011-09-29 Texas Instruments Incorporated Region of interest (roi) video encoding
CN107465924B (zh) 2010-06-10 2021-01-12 交互数字Vc控股公司 从多个相邻量化参数中确定量化参数预测值的方法和装置
KR20120059214A (ko) 2010-11-30 2012-06-08 고려대학교 산학협력단 적응적 관심 영역을 적용한 비디오 스트리밍을 제공하는 비디오 코덱 장치 및 그 방법
US8689267B2 (en) 2010-12-06 2014-04-01 Netflix, Inc. Variable bit video streams for adaptive streaming
US8804820B2 (en) * 2011-04-21 2014-08-12 Dialogic Corporation Rate control with look-ahead for video transcoding
KR102001415B1 (ko) * 2012-06-01 2019-07-18 삼성전자주식회사 다계층 비디오 코딩을 위한 레이트 제어 방법, 이를 이용한 비디오 인코딩 장치 및 비디오 신호 처리 시스템

Also Published As

Publication number Publication date
US10362315B2 (en) 2019-07-23
KR20160032969A (ko) 2016-03-25
US20160080746A1 (en) 2016-03-17

Similar Documents

Publication Publication Date Title
KR102212762B1 (ko) 코덱과 이를 포함하는 장치들
US9967573B2 (en) Codec, system on chip (SOC) including the same, and data processing system including the SOC
US11019337B2 (en) Video encoding apparatus
TWI791578B (zh) 視訊編碼裝置
US10116943B2 (en) Adaptive video compression for latency control
US20150117516A1 (en) Dynamic video encoding based on channel quality
TWI688260B (zh) 包括用於影像處理的編碼器之方法、系統及裝置
US10674160B2 (en) Parallel video encoding device and encoder configured to operate in parallel with another encoder
US10694178B2 (en) Video processing device for encoding frames constituting hierarchical structure
US20170013262A1 (en) Rate control encoding method and rate control encoding device using skip mode information
US10009617B2 (en) Method of operating encoder and method of operating system on chip including the encoder
TWI785073B (zh) 多重轉碼器編碼器及多重轉碼器編碼系統
US11284074B2 (en) Cross-channel look ahead rate control for multi-channel video encoding
TWI834621B (zh) 視訊編碼設備
US11726949B2 (en) System and method for selectively reprocessing video streams based on system resources and stream status
JP6032093B2 (ja) 動画像データ比較方法、動画像データ比較プログラム、動画像データ比較装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant