KR20220132155A

KR20220132155A - 전자 장치 및 최대 양자화 값 가감을 통한 인코딩 방법

Info

Publication number: KR20220132155A
Application number: KR1020210037069A
Authority: KR
Inventors: 이경일; 김봉곤; 김한상; 이정원
Original assignee: 삼성전자주식회사
Priority date: 2021-03-23
Filing date: 2021-03-23
Publication date: 2022-09-30
Also published as: WO2022203175A1

Abstract

다양한 실시예에 따른 전자 장치는, 메모리, 및 상기 메모리와 작동적으로(operatively) 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 전자 장치의 허용 최대 비트레이트를 획득하고, 적어도 하나의 프레임(frame)으로 구성된 영상을 인코딩하기 위한 최대 양자화 값을 결정하고, 상기 영상의 제1프레임 세트를, 상기 최대 양자화 값 이하의 양자화 값으로 인코딩하여 제1비트레이트(bitrate)를 획득하고, 상기 획득한 제1비트레이트가 상기 허용 최대 비트레이트를 초과하면 상기 최대 양자화 값을 증가시키고, 상기 획득한 제1비트레이트가 상기 허용 최대 비트레이트 이하면 상기 최대 양자화 값을 감소시키고, 상기 증가 또는 감소된 최대 양자화 값에 기반하여, 상기 영상의 상기 제1프레임 세트에 연속하는, 제2프레임 세트를 인코딩하여 제2비트레이트를 획득하고, 상기 획득한 제2비트레이트가 상기 허용 최대 비트레이트를 초과하면 상기 최대 양자화 값을 증가시키고, 상기 획득한 제2비트레이트가 상기 허용 최대 비트레이트 이하면 상기 최대 양자화 값을 감소시킬 수 있다.
그 외 다양한 실시예를 포함할 수 있다.

Description

전자 장치 및 최대 양자화 값 가감을 통한 인코딩 방법{ELECTRONIC DEVICE TO ENCODE VIDEO WITH MAX QUANTUM PARAMETER CONTROL AND THE METHOD THEREOF}

본 문서는 전자 장치에 관한 것이며, 예를 들어 전자 장치에서 최대 양자화 값의 가감을 통해 영상을 인코딩하는 방법에 관한 것이다.

이동통신 기술 및 하드웨어/소프트웨어 기술의 발달에 따라 휴대용 전자 장치(이하, 전자 장치)는 종래의 통화 기능에서 나아가 다양한 기능들을 구현할 수 있게 되었다. 전자 장치는 전면 및/또는 후면에 탑재된 적어도 하나의 카메라 모듈을 이용하여 이미지 및 영상을 촬영할 수 있다.

예를 들어, 전자 장치는 해상도와 타깃 비트레이트를 결정하여 영상의 촬영 화질을 결정할 수 있다. 해상도는 출력 장치에서 영상을 표현하는 픽셀의 개수에 의해 결정되고, 비트레이트는 정해진 시간 당 압축하는 데이터의 양에 의해 결정될 수 있다. 타깃 비트레이트가 클수록 고화질의 영상을 인코딩할 수 있지만 저장 용량이 많이 필요하고, 타깃 비트레이트가 작을수록 영상을 저화질로 인코딩하지만 저장 용량을 크게 차지하지 않을 수 있다.

종래의 전자 장치는 영상을 기록하고자 하는 타깃 비트레이트를 결정하고 영상을 생성하기 때문에, 영상의 복잡도가 증가하면 미리 결정한 타깃 비트레이트로는 영상의 원본 이미지를 기록하기 어려워 화질 열화가 발생할 수 있다. 또한, 복잡한 영상을 고화질로 인코딩하기 위하여 높은 타깃 비트레이트를 설정하면 불필요한 데이터까지 인코딩하기 때문에 콘텐츠의 크기가 지나치게 커질 수 있다.

종래의 전자 장치는 영상의 특징을 분석하여 실시간으로 비트레이트를 조절하거나, 한 번 인코딩 한 후에 후처리 과정을 거쳐 다시 인코딩을 하는 방법(2PASS 인코딩)도 있으나, 실시간 처리가 어려울 수 있다.

본 문서의 다양한 실시예들은 상기와 같이 전자 장치가 영상을 인코딩하는 경우, 비트레이트를 실시간으로 매크로블록의 양자화 값을 조절하여 복잡한 영상을 고화질로 인코딩하면서도 저장 용량이 지나치게 크지 않은 영상을 인코딩하는 방법을 제공할 수 있다.

다양한 실시예에 따른 전자 장치는, 메모리, 및 상기 메모리와 작동적으로(operatively) 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 전자 장치의 허용 최대 비트레이트를 획득하고, 적어도 하나의 프레임(frame)으로 구성된 영상을 인코딩하기 위한 최대 양자화 값을 결정하고, 상기 영상의 제1프레임 세트를, 상기 최대 양자화 값 이하의 양자화 값으로 인코딩하여 제1비트레이트(bitrate)를 획득하고, 상기 획득한 제1비트레이트가 상기 허용 최대 비트레이트를 초과하면 상기 최대 양자화 값을 증가시키고, 상기 획득한 제1비트레이트가 상기 허용 최대 비트레이트 이하면 상기 최대 양자화 값을 감소시키고, 상기 증가 또는 감소된 최대 양자화 값에 기반하여, 상기 영상의 상기 제1프레임 세트에 연속하는, 제2프레임 세트를 인코딩하여 제2비트레이트를 획득하고, 상기 획득한 제2비트레이트가 상기 허용 최대 비트레이트를 초과하면 상기 최대 양자화 값을 증가시키고, 상기 획득한 제2비트레이트가 상기 허용 최대 비트레이트 이하면 상기 최대 양자화 값을 감소시킬 수 있다.

다양한 실시예에 따른 최대 양자화 값 조절을 통한 인코딩 방법은, 전자 장치의 허용 최대 비트레이트를 획득하는 동작, 적어도 하나의 프레임(frame)으로 구성된 영상의 최대 양자화 값을 결정하는 동작, 상기 영상의 제1프레임 세트를, 상기 최대 양자화 값 이하의 양자화 값으로 인코딩하여 제1비트레이트(bitrate)를 획득하는 동작, 상기 획득한 제1비트레이트가 상기 허용 최대 비트레이트를 초과하면 상기 최대 양자화 값을 증가시키는 동작, 상기 획득한 제1비트레이트가 상기 허용 최대 비트레이트 이하면 상기 최대 양자화 값을 감소시키는 동작, 상기 증가 또는 감소된 최대 양자화 값에 기반하여, 상기 영상의 상기 제1프레임 세트에 연속하는, 제2프레임 세트를 인코딩하여 제2비트레이트를 획득하는 동작, 상기 획득한 제2비트레이트가 상기 허용 최대 비트레이트를 초과하면 상기 최대 양자화 값을 증가시키는 동작, 및 상기 획득한 제2비트레이트가 상기 허용 최대 비트레이트 이하면 상기 최대 양자화 값을 감소시키는 동작을 포함할 수 있다.

본 발명의 다양한 실시예들은 최대 양자화 값을 설정하고, 프레임 내의 매크로블록마다 양자화 값을 제어함으로써 고화질의 인코딩이 필요한 영역만 부분적으로 높은 비트레이트를 적용할 수 있다. 영상의 복잡도가 증가하여 허용 가능한 최대 비트레이트를 초과할 경우, 최대 양자화 값을 증가시켜 영상의 비트레이트를 낮출 수 있다.

본 발명의 다양한 실시예들은 인코딩하는 영상의 적어도 일부 영역을 관심 영역으로 지정할 수 있다. 전자 장치는 관심 영역의 최대 양자화 값을 주변 영역보다 낮게 설정하여, 관심 영역의 화질이 상대적으로 고화질인 영상을 인코딩할 수 있다.

그 외에 본 발명의 다양한 실시예들로 인하여 얻을 수 있거나 예측되는 효과에 대해서는 본 발명의 실시예에 대한 상세한 설명에서 직접적으로 또는 암시적으로 개시하도록 한다. 예컨대, 본 발명의 다양한 실시예들에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.

도 1은 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예에 따른 영상 내의 프레임 세트를 도시한 것이다.
도 3은 다양한 실시예에 따른 전자 장치의 블록도이다.
도 4a, 도 4b 및 도 4c는 다양한 실시예에 따른 영상의 적어도 하나의 관심 영역을 도시한 것이다.
도 5a는 다양한 실시예에 따른 영상의 최대 양자화 값을 설정하지 않은 경우 매크로블록마다 설정된 양자화 값을 도시한 것이다.
도 5b는 다양한 실시예에 따른 영상의 최대 양자화 값을 설정한 경우 매크로블록마다 설정된 양자화 값을 도시한 것이다.
도 6a는 다양한 실시예에 따른 최대 양자화 값을 조절하지 않고 영상을 인코딩할 때의 비트레이트를 도시한 것이다.
도 6b는 다양한 실시예에 따른 최대 양자화 값을 조절하면서 영상을 인코딩할 때의 비트레이트를 도시한 것이다.
도 7은 다양한 실시예에 따른 전자 장치의 자원 레벨 변화를 도시한 것이다.
도 8은 다양한 실시예에 따른 최대 양자화 값 가감을 통한 인코딩 방법에 대한 순서도이다.
도 9는 다양한 실시예에 따른 최대 양자화 값을 조절하는 방법에 대한 순서도이다.
도 10은 다양한 실시예에 따른 영상의 자원 레벨을 결정하여 저장하는 방법에 대한 순서도이다.

도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.

도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.

프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.

보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.

메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.

프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.

입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.

음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.

디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.

오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.

센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.

인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.

연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.

햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.

카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.

전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.

배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.

통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.

무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.

안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.

다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.

상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.

일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.

본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.

본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.

본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.

본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.

일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어^TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

도 2는 다양한 실시예에 따른 영상 내의 프레임 세트(200)를 도시한 것이다.

도 2를 참조하면, 원본 영상은 적어도 하나의 프레임(frame)으로 구성되며, 전자 장치(예: 도 1의 전자 장치(101))는 적어도 하나의 프레임으로 구성된 프레임 세트(200)를 포함하는 GOP(group of pictures) 단위로 영상을 인코딩할 수 있다. 일 실시예에 따르면, 프로세서(예: 도 1의 프로세서(120))는 타깃 비트레이트(target bitrate) 및 영상 화질을 고려하여 프레임 세트(200) 내에 포함될 프레임 넘버(예: GOP number)를 정할 수 있다. 다양한 실시예에 따르면, 프레임은 인트라 프레임(210)(intra frame, 또는 key frame), 순방향 예측 프레임(220)(predicted frame), 양방향 예측 프레임(230)(bidirectional frame) 중 어느 하나일 수 있다.

다양한 실시예에 따르면, 인트라 프레임(210)은 프레임 세트(200)의 기준이 되는 핵심 프레임이며, 모든 프레임 세트(200)의 시작에 위치할 수 있다. 일 실시에에 따르면, 프로세서는 순방향 예측 프레임(220) 및 양방향 예측 프레임(230)처럼 다른 프레임을 참조하지 않고도 인트라 프레임(210)에 입력된 원본 그대로를 저장할 수 있다.

다양한 실시예에 따르면, 프로세서는 바로 이전에 위치한 인트라 프레임(210)을 기준으로 차이가 나는 데이터만을 예측하여 순방향 예측 프레임(220)에 저장할 수 있다. 순방향 예측 프레임(220)은 인트라 프레임(210)보다 저장 용량이 훨씬 작을 수 있다(예: 인트라 프레임 저장 용량의 1/3).

다양한 실시예에 따르면, 프로세서는 인트라 프레임(210) 및 순방향 예측 프레임(220)을 모두 참조하고, 이 두 프레임 사이의 움직임을 추측한 데이터를 적어도 하나의 양방향 예측 프레임(230)에 저장할 수 있다. 양방향 예측 프레임(230)은 순방향 예측 프레임(220)보다 저장 용량이 훨씬 작을 수 있다(예: 순방향 예측 프레임 저장 용량의 1/3). 예를 들어, 순방향 예측 프레임(220) 및 양방향 예측 프레임(230)을 이용하면 인트라 프레임(210)만을 사용할 때에 비하여 저장 용량이 적은 영상을 인코딩할 수 있다.

다양한 실시예에 따르면, 프로세서는 적어도 하나의 인트라 프레임(210), 순방향 예측 프레임(220) 및 양방향 예측 프레임(230)을 포함하는 프레임 세트(200)를 결정할 수 있다. 프레임 세트(200)는 연속적으로 이어질 수 있다. 예를 들어, 제1프레임 세트의 마지막 프레임의 다음 프레임은, 제1프레임 세트에 연속하는 제2프레임 세트의 첫 프레임(인트라 프레임)일 수 있다. 일 실시예에 따르면, 프로세서는 하나의 프레임 세트(200)에서 순방향 예측 프레임(220) 및 양방향 예측 프레임(230)의 개수를 결정하여 프레임 넘버를 결정할 수 있다.

다양한 실시예에 따르면, 프레임은 적어도 하나의 매크로블록(macroblock)을 포함할 수 있다. 매크로블록은 움직임 예측을 위하여 적어도 하나의 픽셀을 그룹핑(grouping)한 예측 단위로, 프로세서는 매크로블록 단위로 영상을 인코딩할 수 있다. 다양한 실시예에 따르면, 프로세서는 매크로블록마다 다른 양자화 값을 설정할 수 있다.

도 3은 다양한 실시예에 따른 전자 장치의 블록도이다.

도 3을 참조 하면, 전자 장치(300)는 디스플레이(320), 카메라(330), 프로세서(310) 및 메모리(340)를 포함할 수 있으며, 다양한 실시예에서, 도시된 구성 중 일부가 생략 또는 치환 될 수도 있다. 전자 장치(300)는 도 1의 전자 장치(101)의 구성 및/또는 기능 중 적어도 일부를 더 포함할 수 있다. 도시된(또는 도시되지 않은) 전자 장치(300)의 각 구성 중 적어도 일부는 상호 작동적으로(operatively), 기능적으로(functionally) 및/또는 전기적으로 (electrically) 연결될 수 있다.

다양한 실시예에 따르면, 디스플레이(320)는 프로세서(310)의 제어에 따라 다양한 영상을 표시할 수 있다. 디스플레이(320)는 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 마이크로 LED(micro LED) 디스플레이, QD(quantum dot) 디스플레이 또는 유기 발광 다이오드(organic light-emitting diode(OLED)) 디스플레이 중 어느 하나로 구현될 수 있으며, 이에 한정되지는 않는다. 디스플레이(320)는 사용자의 신체 일부(예: 손가락) 또는 입력 장치(예: 스타일러스 펜)를 이용한 터치 및/또는 근접 터치(또는 호버링) 입력을 감지하는 터치 스크린으로 형성될 수 있다. 디스플레이(320)는 도 1의 디스플레이 모듈(160)의 구성 및/또는 기능 중 적어도 일부를 포함할 수 있다.

다양한 실시예에 따르면, 디스플레이(320)는 적어도 일부가 플렉서블(flexible) 할 수 있으며, 폴더블(foldable) 디스플레이, 또는 롤러블(rollable) 디스플레이로 구현될 수도 있다.

다양한 실시예에 따르면, 카메라(330)는 외부의 이미지 데이터를 획득할 수 있다. 카메라(330)는 CCD(charge coupled device), 또는 CMOS(complementary metal oxide semiconductor)와 같은 다양한 방식의 이미지 센서를 이용해 이미지 데이터를 획득할 수 있다. 카메라(330)는 도 1의 카메라 모듈(180)의 구성 및/또는 기능 중 적어도 일부를 포함할 수 있다. 전자 장치(300)는 하나 이상의 카메라(330)를 하우징의 전면 및/또는 후면에 배치할 수 있다.

다양한 실시예에 따르면, 메모리(340)는 휘발성 메모리(예: 도 1의 휘발성 메모리(132)) 및 비휘발성 메모리(예: 도 1의 비휘발성 메모리(134))를 포함하여, 다양한 데이터들을 일시적 또는 영구적으로 저장할 수 있다. 메모리(340)는 도 1의 메모리(130)의 구성 및/또는 기능 중 적어도 일부를 포함하고, 도 1의 프로그램(140)을 저장할 수 있다.

다양한 실시예에 따르면, 메모리(340)는 프로세서(310)에서 수행될 수 있는 다양한 인스트럭션(instruction)들을 저장할 수 있다. 이와 같은 인스트럭션들은 프로세서(310)에 의해 인식될 수 있는 산술 및 논리 연산, 데이터 이동, 입출력 등과 같은 제어 명령을 포함할 수 있다.

다양한 실시예에 따르면, 프로세서(310)는 전자 장치(300) 각 구성요소들(예: 디스플레이(320), 카메라(330) 및 메모리(340))과 작동적으로(operatively), 기능적으로(functionally), 및/또는 전기적으로(electrically) 연결되어, 각 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성일 수 있다. 프로세서(310)는 도 1의 프로세서(120)의 구성 및/또는 기능 중 적어도 일부를 포함할 수 있다.

다양한 실시예에 따르면, 프로세서(310)가 전자 장치(300) 상에서 구현할 수 있는 연산 및 데이터 처리 기능에는 한정됨이 없을 것이나, 이하에서는 양자화 값(예: 최대 양자화 값)을 조절하여 영상을 고화질로 인코딩하기 위한 다양한 실시예에 대해 설명하기로 한다. 후술할 프로세서(310)의 동작들은 메모리(340)에 저장된 인스트럭션들을 로딩(loading)함으로써 수행될 수 있다.

다양한 실시예에 따르면, 프로세서(310)는 원본 영상을 인코딩할 프레임 넘버를 결정할 수 있다. 프레임 넘버는 하나의 프레임 세트(예: 도 2의 프레임 세트(200)) 내에 포함되는 프레임의 개수(예: 30개)일 수 있다. 프레임 넘버는 전자 장치(300)의 제조 시 미리 설정되어 있을 수도 있으며, 프로세서(310)가 인코딩하는 영상에 따라서 다르게 결정할 수도 있다. 이하에서는, 원본 영상이 제1프레임 세트 및 제1프레임 세트에 연속하는 제2프레임 세트를 포함하는 것으로 설명하나, 원본 영상에 포함된 프레임 세트의 수가 이에 한정되는 것은 아니다.

다양한 실시예에 따르면, 프로세서(310)는 원본 영상을 인코딩할 타깃 비트레이트를 결정할 수 있다. 일 실시예에 따르면, 프로세서(310)는 인코딩할 영상의 화질 및 용량 크기에 따라서 타깃 비트레이트를 결정할 수 있다. 예를 들어, 프로세서(310)는 원본 영상의 복잡도가 높은 경우에는 화질 열화를 막기 위하여 낮은 타깃 비트레이트를 결정할 수 있고, 원본 영상의 복잡도가 낮은 경우에는 저장 용량을 줄이기 위하여 높은 타깃 비트레이트를 결정할 수 있다. 다른 실시예에 따르면, 프로세서(310)는 원본 영상의 타깃 비트레이트를 별도로 결정하지 않고 디폴트(default) 값으로 결정할 수도 있다.

다양한 실시예에 따르면, 프로세서(310)는 프레임 세트에서 적어도 하나의 관심 영역(region of interest, ROI)을 설정할 수 있다. 프로세서(310)는 영상 내에서 중요한 오브젝트가 포함된 영역, 선명한 화질이 필요한 영역 또는 복잡도가 높은 영역을 관심 영역으로 결정할 수 있다. 일 실시예에 따르면, 프로세서(310)는 원본 영상의 전체 화면을 관심 영역으로 결정할 수도 있다. 예를 들어, 원본 영상의 화면 전환이 빠르게 일어나는 경우, 프로세서(310)는 화면 전체를 관심 영역으로 결정할 수 있다. 일 실시예에 따르면, 프로세서(310)가 하나의 오브젝트를 포함한 영역을 관심 영역으로 결정한 프레임 이후의 프레임에서도 동일한 오브젝트를 포함하는 영역을 관심 영역으로 결정할 수 있다.

일 실시예에 따르면, 프로세서(310)는 프레임 세트 또는 프레임 마다 관심 영역을 달리 결정할 수 있다. 프로세서는 프레임에서 새롭게 등장한 오브젝트를 새로운 관심 영역으로 설정할 수 있다. 화면 전환이 빠르게 일어나는 영상의 경우에 프레임 마다 다른 오브젝트가 출현할 수 있으므로, 프로세서(310)는 프레임 및/또는 프레임 세트마다 다른 관심 영역을 설정할 수 있다.

예를 들어, 프로세서(310)가 인코딩하는 영상에서 제1프레임에 제1오브젝트 및 제2오브젝트가 출현하고, 제1프레임에 연속하는 제2프레임에는 제2오브젝트 및 제3오브젝트가 등장할 수 있다. 프로세서는 제1프레임에서는 제1오브젝트를 포함하는 제1관심 영역 및 제2오브젝트를 포함하는 제2관심 영역을 설정하고, 제2프레임에서는 제2오브젝트를 포함하는 제2관심 영역 및 제3오브젝트를 포함하는 제3관심 영역을 설정할 수 있다. 프로세서는 제1프레임에서 제1관심 영역과 제2관심 영역의 우선 순위를 설정할 수 있다. 프로세서가 제1관심 영역의 우선 순위를 더 높게 설정한 경우, 프로세서는 제1관심 영역의 최대 양자화 값을 제2관심 영역의 최대 양자화값보다 낮게 설정할 수 있다.

일 실시예에 따르면, 프로세서는 제2프레임에서 새롭게 등장한 제3관심 영역과 제2관심 영역의 우선 순위를 설정할 수 있다. 제1프레임에서는 제2관심 영역보다 제1관심 영역의 우선 순위가 더 높았으나, 프로세서는 제2프레임에서 제3관심 영역보다 제2관심 영역의 우선 순위를 더 높게 설정할 수 있다. 이에 따라, 프로세서는 제2관심 영역의 최대 양자화 값을 제3관심 영역의 최대 양자화 값보다 낮게 설정할 수 있다.

다양한 실시예에 따르면, 프로세서(310)는 관심 영역의 우선 순위를 결정할 수 있다. 일 실시예에 따르면, 프로세서(310)는 오브젝트의 전체 영상에서의 출현 빈도에 따라서 우선 순위를 결정할 수도 있다. 예를 들어, 프로세서(310)는 원본 영상 내의 적어도 하나의 오브젝트를 인식하고, 프레임 별 오브젝트의 위치, 크기, 출현 빈도 중 적어도 하나와 같은 기준에 따라 오브젝트의 우선 순위를 결정할 수 있다.

다양한 실시예에 따르면, 프로세서(310)는 원본 영상을 인코딩할 수 있는 허용 최대 비트레이트를 획득할 수 있다. 일 실시예에 따르면, 허용 최대 비트레이트는 하드웨어 코덱(HW Codec)의 스펙에 따라 결정될 수 있다. 허용 최대 비트레이트는 전자 장치(300)가 실시간으로 처리 가능한 비트레이트일 수 있다. 예를 들어, 프로세서(310)는 원본 영상의 비트레이트가 허용 최대 비트레이트를 초과하더라도 인코딩할 수 있으나, 화질 열화가 발생하고 끊김 현상이 발생할 수 있다.

다양한 실시예에 따르면, 프로세서(310)는 프레임 세트의 밝기, 감도, 모션, 및/또는 노이즈 정보 중 적어도 일부를 포함하는 프레임 정보를 획득할 수 있다. 프로세서(310)는 프레임 세트의 밝기, 감도, 모션 및/또는 노이즈 정보 중 적어도 하나의 변화량에 기초하여 영상의 복잡도를 판단할 수 있다. 예를 들면, 밝기의 변화가 많거나 모션이 많은 영상의 경우 복잡도가 높다고 판단할 수 있다. 프로세서(310)는 영상의 복잡도에 대한 판단에 기초하여 인코딩할 비트레이트를 결정할 수 있다. 프로세서(310)는 코덱의 허용 최대 비트레이트를 확인하고, 허용 최대 비트레이트를 초과하지 않는 비트레이트로 인코딩하기 위하여 일부 데이터를 압축할 수 있다.

다양한 실시예에 따르면, 프로세서(310)는 프레임 정보에 기초하여 프레임 세트를 인코딩하는 데 필요한 비트레이트를 획득할 수 있다. 프레임 정보에 기초하여 판단한 복잡도가 높을수록 프로세서(310)가 프레임 세트를 인코딩하는 데 필요한 비트레이트가 클 수 있다. 일 실시예에 따르면, 프로세서(310)가 획득한 비트레이트는 타깃 비트레이트를 초과할 수 있다. 프로세서(310)는 양자화 값을 제한하여 일정한 수준 이상으로 영상을 압축하지 않기 때문에 영상을 인코딩할 때 많은 비트레이트가 필요할 수 있고, 복잡도가 높은 영상을 고화질로 인코딩하고자 할 때에 획득한 비트레이트는 처음에 설정한 타깃 비트레이트 이상의 값일 수 있다.

다양한 실시예에 따르면, 프로세서(310)는 프레임 세트의 각 프레임마다 양자화 값을 결정할 수 있다. 일 실시예에 따르면, 프로세서(310)는 각 프레임을 구성하는 매크로블록 마다 다른 양자화 값을 결정할 수 있다. 이 때 양자화 값은 설정된 최대 양자화 값을 넘을 수 없다. 비관심 영역에 최대 양자화 값이 설정되지 않은 경우, 프로세서(310)는 비관심 영역의 양자화 값을 하드웨어 최대치(예: 51)까지 올릴 수 있다. 프로세서(310)는 매크로블록에 설정된 양자화 값에 기초하여 해당 매크로블록의 데이터를 압축하며, 양자화 값이 클수록 데이터를 더 많이 압축할 수 있다. 예를 들어, 프로세서(310)는 양자화 값을 증가시켜 저장 용량이 적은 데이터를 저장할 수 있다. 프로세서(310)는 매크로블록 중 관심 영역에 해당하는 매크로블록의 양자화 값은 관심 영역이 아닌 매크로블록의 양자화 값보다 낮게 설정할 수 있다. 예를 들어, 관심 영역에는 더 많은 용량을 할당하여 영상을 인코딩하고, 허용 최대 비트레이트를 초과하지 않기 위하여 관심 영역이 아닌 매크로블록에는 적은 용량만을 할당하여 영상을 인코딩할 수 있다.

일 실시예에 따르면, 프로세서(310)는 연관성이 높은 영상일수록 낮은 양자화 값을 설정할 수 있다. 예를 들어, 제1프레임 및 제1프레임에 연속하는 제2프레임의 차이가 크지 않아 연관성이 높은 프레임 세트에서는 각 매크로블록에 낮은 양자화 값을 설정할 수 있다. 반대로, 제1프레임 및 제2프레임의 차이가 커서 연관성이 낮은 프레임 세트에서는 각 매크로블록에 높은 양자화 값을 설정할 수 있다. 연관성이 낮은 프레임 세트에 낮은 양자화 값을 설정하면 인코딩된 영상의 저장 용량이 지나치게 커질 수 있기 때문이다.

일 실시예에 따르면, 프로세서(310)는 검색 범위가 넓을수록 낮은 양자화 값을 설정할 수 있다. 프로세서(310)는 검색 범위가 넓으면 현재 프레임을 인코딩할 때 더 많은 이전 프레임들을 참조할 수 있다. 반대로 검색 범위가 좁으면 현재 프레임을 인코딩할 때 참조하는 이전 프레임들의 수가 적을 수 있다. 프로세서(310)는 더 많은 수의 이전 프레임을 참조할수록 연관도가 높은 프레임을 발견할 확률이 높아지고, 더 적은 용량으로 영상을 인코딩할 수 있다. 따라서 검색 범위가 넓을수록 용량 부담이 적어져 낮은 양자화 값을 설정할 수 있다.

다양한 실시예에 따르면, 프로세서(310)는 초기 최대 양자화 값을 결정할 수 있다. 일 실시예에 따르면, 프로세서(310)는 우선 순위가 높은 관심 영역일수록 초기 최대 양자화 값을 작게 설정할 수 있다. 예를 들어, 제1관심 영역의 우선순위가 제2관심 영역의 우선 순위보다 높은 경우, 프로세서(310)는 제1관심 영역의 제1초기 최대 양자화 값을 제2관심 영역의 제2초기 최대 양자화 값보다 높게 설정할 수 있다. 프로세서(310)는 충분한 고화질이 유지되면서 저장 용량이 지나치게 크지 않은 값을 초기 최대 양자화 값으로 설정할 수 있다. 일 실시예에 따르면, 프로세서(310)는 최대 양자화 값이 초기값 이하로 내려가지 않도록 유지할 수 있다. 예를 들어, 초기 최대 양자화 값은 최대 양자화 값의 최소값일 수 있다.

다른 실시예에 따르면, 프로세서(310)는 관심 영역 외의 영역(이하, 비관심 영역)에도 최대 양자화 값을 설정할 수 있다. 프로세서(310)는 관심 영역과 비관심 영역 의 화질 차이를 줄이기 위하여 적절한 최대 양자화 값을 설정할 수 있다. 프로세서(310)는 비관심 영역에는 관심 영역보다 높은 최대 양자화 값을 설정할 수 있다. 이를 통해 프로세서(310)는 영상의 비트레이트가 증가하는 경우 관심 영역의 화질 열화를 최소화하고, 비관심 영역의 비트레이트를 줄여 허용 최대 비트레이트 이하로 인코딩할 수 있다.

다양한 실시예에 따르면, 프로세서(310)는 프레임 세트의 비트레이트가 허용 최대 비트레이트를 초과하는지 여부를 판단할 수 있다. 일 실시예에 따르면, 프로세서(310)는 하드웨어 코덱에서 허용 최대 비트레이트를 획득하고, 이를 획득한 프레임 세트의 비트레이트와 비교할 수 있다. 허용 최대 비트레이트를 초과하면 화질 열화, 멈춤 현상과 같은 오류가 발생할 수 있기 때문에, 프로세서(310)는 최대 양자화 값을 조절하여 비트레이트를 허용 최대 비트레이트 이하로 유지할 수 있다.

다양한 실시예에 따르면, 프로세서(310)는 프레임 세트의 최대 양자화 값을 조절할 수 있다. 일 실시예에 따르면, 프로세서(310)는 프레임 세트의 비트레이트 및 프레임 세트의 비트레이트가 허용 최대 비트레이트를 초과하는지 여부에 따라서 최대 양자화 값을 조절할 수 있다. 예를 들어, 프로세서(310)는 제1프레임 세트의 제1비트레이트와 허용 최대 비트레이트를 비교하여 대소 여부를 판별할 수 있다. 허용 최대 비트레이트가 더 큰 경우 문제가 없으나, 제1비트레이트가 더 큰 경우 프로세서(310)는 제1프레임 세트의 최대 양자화 값을 증가시킬 수 있다. 이를 통하여 제1프레임 세트의 데이터를 더욱 압축시키고, 결과적으로 제1비트레이트를 허용 최대 비트레이트 이하의 값으로 감소시킬 수 있다.

반대로, 프레임 세트의 비트레이트가 허용 최대 비트레이트 이하인 경우, 프로세서(310)는 최대 양자화 값을 감소시킬 수 있다. 일 실시예에 따르면, 프로세서(310)가 최대 양자화 값을 감소시키면 해당 프레임 세트의 영상은 저장 용량은 증가하지만 더 고화질로 인코딩될 수 있다. 프로세서(310)는 전자 장치(300)의 리소스를 최대한 활용하여 고화질의 영상을 인코딩하기 위하여 최대 양자화 값을 감소시킬 수 있다. 이 때, 프로세서(310)는 초기에 설정한 최대 양자화 값 이하로 최대 양자화 값을 감소시킬 수 없다. 예를 들어, 초기에 설정한 값이 최소치가 되는 범위 내에서 최대 양자화 값을 조절할 수 있다. 초기에 설정한 값보다 최대 양자화 값을 감소시키면 불필요한 정보까지 인코딩하여 저장 용량이 지나치게 커지는 문제가 발생할 수 있다. 따라서 프로세서(310)는 초기 최대 양자화 값을, 충분한 화질이 유지되면서 저장 용량이 지나치게 크지 않은 수치로 결정할 수 있다.

프로세서(310)는 제1프레임 세트의 인코딩에서 증가시키거나 또는 감소시킨 최대 양자화 값으로 제2프레임 세트를 인코딩할 수 있다. 제2프레임 세트에는 제1프레임 세트와 다른 장면이 포함될 수 있으므로 관심 영역의 위치가 이동할 수 있다. 프로세서(310)는 제2프레임 세트를 인코딩하는데 필요한 제2비트레이트를 획득할 수 있다. 프로세서(310)는 제2비트레이트가 허용 최대 비트레이트를 초과하는지 여부를 확인하여 허용 최대 비트레이트를 초과하면 관심 영역의 최대 양자화 값을 증가시키고, 허용 최대 비트 미만이면 관심 영역의 최대 양자화 값을 감소시킬 수 있다. 프로세서(310)는 변화한 최대 양자화 값을 이용하여 제2프레임 세트에 연속하는 다음 프레임 세트를 인코딩할 수 있다.

다양한 실시예에 따르면, 프로세서(310)는 프레임 세트에 대한 영상의 자원 레벨(level)을 결정할 수 있다. 프로세서(310)는 영상을 재생하는데 필요한 해상도, 버퍼 수, 및 영상을 인코딩하는데 필요한 최대 비트레이트 중 적어도 하나에 의해 자원 레벨을 결정할 수 있다. 일 실시예에 따르면, 프로세서(310)는 설정한 최대 양자화 값에 따라서 영상 인코딩에 필요한 비트레이트를 획득하므로 영상 인코딩에 필요한 최대 비트레이트는 타깃 비트레이트를 초과할 수 있다. 따라서 프로세서(310)는 영상 인코딩 처리가 종료된 이후에 영상의 자원 레벨을 결정할 수 있다.

예를 들어, 프로세서(310)는 제1프레임 세트에서 제1자원 레벨을 결정하여 메모리(340)에 저장하고, 제2프레임 세트에서 제2자원 레벨을 결정하고, 및 제1자원 레벨과 제2자원 레벨을 비교할 수 있다. 프로세서(310)는 제1자원 레벨이 제2자원 레벨보다 더 높은 경우 메모리(340)에 저장된 제1자원 레벨을 그대로 유지할 수 있고, 제2자원 레벨이 제1자원 레벨보다 더 높은 경우 제1자원 레벨 대신 제2자원 레벨을 메모리(340)에 저장할 수 있다.

프로세서(310)는 자원 레벨을 영상의 스트림 헤더(stream header)에 기록할 수 있다. 추후 외부 재생 장치는 인코딩 된 영상을 재생할 때 스트림 헤더의 자원 레벨을 확인하고, 영상을 재생하기 위하여 필요한 자원의 종류 및 개수를 결정할 수 있다.

도 4a, 도 4b 및 도 4c는 다양한 실시예에 따른 영상의 적어도 하나의 관심 영역을 도시한 것이다.

도 4a는 영상의 프레임 내에서 설정한 관심 영역(402)을 도시한 것이다. 다양한 실시예에 따르면, 프로세서(예: 도 3의 프로세서(310))는 프레임 내에서 적어도 하나의 관심 영역(402)을 설정할 수 있다. 관심 영역(402)은 적어도 하나의 오브젝트를 포함할 수 있고, 연속되는 프레임에서 오브젝트의 위치가 변함에 따라 관심 영역(402)의 위치도 변할 수 있다. 프로세서는 프레임에서 중요한 오브젝트가 포함된 영역, 밝기 및 모션이 빠르게 변화하는 영역과 같은 영역을 관심 영역(402)으로 결정할 수 있다. 일 실시예에 따르면, 관심 영역(402)은 프레임의 일부 영역일 수도 있고, 영상 전체일 수도 있다.

다양한 실시예에 따르면, 프로세서는 관심 영역(402)에 최대 양자화 값을 설정할 수 있다. 프로세서는 인코딩 과정에서 허용 최대 비트레이트를 초과하지 않기 위해 조절하는 양자화 값은, 설정한 최대 양자화 값을 초과할 수 없다.

도 4b를 참조하면, 프로세서는 프레임에서 복수의 관심 영역(402)을 결정할 수도 있다. 프로세서는 프레임 내의 오브젝트가 복수거나, 밝기 및 모션이 변화하는 영역이 여러 곳인 경우 복수의 관심 영역(402)을 결정할 수 있다. 예를 들어, 프로세서는 프레임 내에 제1관심 영역(412), 제2관심 영역(414), 제3관심 영역(416) 및 제4관심 영역(418)을 결정할 수 있다. 각 관심 영역의 크기 및 관심 영역이 포함하고 있는 오브젝트는 모두 다를 수 있다.

도 4c를 참조하면, 프로세서는 복수의 관심 영역(402)에 우선 순위를 설정할 수 있다. 다양한 실시예에 따르면, 프로세서는 설정한 우선 순위에 기초하여 관심 영역(402)의 최대 양자화 값을 결정할 수 있다. 프로세서는 우선 순위가 더 높은 관심 영역(402)에 더 낮은 최대 양자화 값을 설정할 수 있다. 예를 들어, 프로세서는 프레임에 제1관심 영역(422), 제2관심 영역(424), 제3관심 영역(426) 및 제4관심 영역(428)을 설정할 수 있다. 프로세서는 제1관심 영역(422) 및 제3관심 영역(426)이 1순위, 제2관심 영역(424)을 2순위, 및 제4관심 영역(428)을 3순위로 설정하고, 우선 순위가 높은 관심 영역에 더 낮은 양자화 값을 설정할 수 있다. 예를 들어, 제1관심 영역(422) 및 제3관심 영역(426)에는 제1최대 양자화 값(예: 35)을 설정하고, 제2관심 영역(424)에는 제1최대 양자화 값보다 높은 제2최대 양자화 값(예: 40)을 설정하고, 제4관심 영역(428)에는 제2최대 양자화 값보다 높은 제3최대 양자화 값(예: 45)을 설정할 수 있다.

다양한 실시예에 따르면, 프로세서는 설정한 최대 양자화 값에 기초하여 영상을 인코딩할 수 있다. 예를 들어, 제1관심 영역(422) 및 제3관심 영역(426)은 양자화 값이 낮으므로 압축이 상대적으로 덜 일어나 저장 용량이 크고, 고화질로 인코딩 될 수 있다. 제2순위 관심 영역인 제2관심 영역(424)은 1순위 관심 영역들(제1관심 영역(422), 제3관심 영역(426))보다 상대적으로 저화질로 인코딩될 수 있고, 제3순위 관심 영역인 제4관심 영역(428)은 가장 낮은 화질로 인코딩될 수 있다. 프로세서는 프레임 내에서 상대적으로 중요도가 떨어지거나, 외곽에 위치한 관심 영역의 우선 순위를 낮게 설정할 수 있다.

도 5a는 다양한 실시예에 따른 영상의 최대 양자화 값을 설정하지 않은 경우 매크로블록마다 설정된 양자화 값을 도시한 것이다.

도 5b는 다양한 실시예에 따른 영상의 최대 양자화 값을 설정한 경우 매크로블록마다 설정된 양자화 값을 도시한 것이다.

다양한 실시예에 따르면, 프로세서(예: 도 3의 프로세서(310))는 프레임의 매크로블록(502) 마다 양자화 값을 설정할 수 있다. 다양한 실시예에 따르면, 프로세서는 프레임 정보에 기초하여 프레임 세트(예: 도 2의 프레임 세트(200))의 비트레이트를 획득할 수 있다. 프로세서는 프레임 세트의 비트레이트가 지나치게 커지지 않도록 양자화 값을 조절할 수 있다. 양자화 값이 높은 매크로블록(502)의 데이터는 많이 압축되므로 저장 공간을 많이 필요로 하지 않을 수 있다. 일 실시예에 따르면, 프로세서는 매크로블록(502)마다 양자화 값을 설정하고, 획득한 비트레이트에 기초하여 양자화 값을 변경할 수 있다. 예를 들어, 프로세서는 매크로블록(502)의 비트레이트를 획득하고, 데이터가 지나치게 용량이 큰 경우 양자화 값을 증가시켜 매크로블록(502)의 비트레이트를 줄일 수 있다.

다양한 실시예에 따르면, 프로세서는 영상을 고화질로 인코딩하기 위하여 최대 양자화 값을 설정할 수 있다. 일 실시예에 따르면, 프로세서는 관심 영역(예: 도 4a의 관심 영역(402))을 설정하고, 관심 영역에만 적용되는 최대 양자화 값을 설정할 수도 있다. 프로세서는 양자화 값을 조절할 때, 매크로블록(502)에 적용되는 최대 양자화 값이 존재하는 경우 최대 양자화 값을 초과하여 양자화 값을 증가시킬 수 없다. 예를 들어, 매크로블록(502)에 적용되는 최대 양자화 값이 있는 경우, 프로세서는 매크로블록(502)의 비트레이트가 커서 타깃 비트레이트를 초과하더라도 최대 양자화 값을 넘는 양자화 값을 설정할 수 없다.

도 5a는 최대 양자화 값을 설정하지 않고 영상을 인코딩하는 경우의 매크로블록(502) 별 양자화 값을 나타낸 것이고, 도 5b는 도 5a와 같은 프레임에서 최대 양자화 값을 30으로 설정한 경우를 도시한 것이다. 도면에 나타나 있듯이, 최대 양자화 값을 설정한 경우 같은 영상임에도 더 적은 양자화 값으로 인코딩되는 것을 확인할 수 있다. 다양한 실시예에 따르면, 프로세서는 최대 양자화 값을 설정하여 영상 중 원하는 프레임 세트를 고화질로 인코딩할 수 있다.

도 6a는 다양한 실시예에 따른 최대 양자화 값을 조절하지 않고 영상을 인코딩할 때의 비트레이트를 도시한 것이다.

도 6b는 다양한 실시예에 따른 최대 양자화 값을 조절하면서 영상을 인코딩할 때의 비트레이트를 도시한 것이다.

다양한 실시예에 따르면, 프로세서(예: 도 3의 프로세서(310))는 프레임 세트(예: 도 2의 프레임 세트(200))마다 다른 비트레이트를 획득할 수 있다. 예를 들어, 제1프레임 세트에서는 제1비트레이트를 획득하고, 제2프레임 세트에서는 제2비트레이트를 획득할 수 있다. 프로세서는 허용 최대 비트레이트 이하로 인코딩해야 선명한 화질의 영상을 생성할 수 있기 때문에, 각 프레임 세트의 비트레이트는 허용 최대 비트레이트 이하로 제한될 수 있다. 프로세서는 프레임 세트의 비트레이트가 허용 최대 비트레이트를 초과하는 경우 양자화 값을 증가시켜 비트레이트를 조절할 수 있다. 일 실시예에 따르면, 프로세서는 하드웨어상 가능한 양자화 값 범위(예: 0부터 51)에서 양자화 값을 제어하며 비트레이트를 조절할 수 있다.

도 6a의 제1그래프(600)는 최대 양자화 값을 조절하지 않은 경우의 비트레이트이고, 도 6b의 제2그래프(610)는 최대 양자화 값을 조절하면서 영상을 인코딩한 경우의 비트레이트이다. 제1그래프(600)에서 나타나는 비트레이트 범위는 제2그래프(610)에서 나타나는 비트레이트 범위보다 훨씬 넓다. 프로세서가 최대 양자화 값을 설정하여 비트레이트를 조절하는 경우 처음 몇 프레임 세트는 높은 비트레이트를 획득할 수 있으나, 최대 양자화 값을 높여 비트레이트를 낮출 수 있다. 이후에도 영상에서 획득한 비트레이트가 증가하면 최대 양자화 값을 더 증가시키고, 획득한 비트레이트가 감소하면 최대 양자화 값을 더 감소시켜 안정적인 비트레이트를 획득하고, 영상의 화질을 조절할 수 있다.

예를 들어, 제1그래프(600)에서는 프로세서가 제7프레임 세트에서 획득한 비트레이트가 약 150Mbps로 최대치를 기록한 반면, 제2그래프(610)에서는 제7프레임 세트에서 획득한 비트레이트가 약 110Mbps로, 이전 프레임 세트의 비트레이트와 큰 차이가 없는 것을 확인할 수 있다. 이는 제7프레임 세트가 복잡도가 높으나, 프로세서가 최대 양자화 값을 증가시켜 비트레이트를 감소시켰기 때문일 수 있다.

도 7은 다양한 실시예에 따른 전자 장치의 자원 레벨 변화를 도시한 것이다.

도 7을 참조하면, 프로세서(예: 도 3의 프로세서(310))는 프레임 세트(예: 도 2의 프레임 세트(200)) 마다 다른 비트레이트를 획득할 수 있다. 예를 들어, 프로세서는 제1프레임 세트에서는 제1비트레이트로 인코딩하고, 제2프레임 세트에서는 제2비트레이트로 인코딩할 수 있다. 프로세서는 최대 비트레이트에 따라서 자원 레벨을 결정할 수 있는데, 이하에서는 자원 레벨을 결정하는 방법에 대하여 상세히 설명하겠다.

다양한 실시예에 따르면, 프로세서는 인코딩하는 영상의 자원 레벨을 결정할 수 있다. 프로세서는 영상의 재생에 필요한 해상도, 버퍼 수 및 최대 비트레이트 중 적어도 하나에 기초하여 영상의 자원 레벨을 결정할 수 있다. 해상도는 영상 재생 장치의 화소(pixel)개수에 의존하고, 버퍼 수는 현재 프레임의 인코딩을 위해서 참조할 수 있는 이전 프레임의 개수에 의존하며, 최대 비트레이트는 원본 영상을 인코딩하는데 필요한 최대 비트레이트를 의미할 수 있다. 프로세서는 원본 영상을 인코딩하면서 해당 자원 레벨을 결정하고, 영상의 스트림 헤더(stream header)에 자원 레벨을 기록할 수 있다.

다양한 실시예에 따르면, 프로세서는 프레임 세트에서 자원 레벨을 결정하고, 그 중 가장 높은 레벨을 영상의 자원 레벨로 결정할 수 있다. 예를 들어, 프로세서는 제1프레임 세트를 제1해상도, 제1버퍼 수 및 제1최대 비트레이트로 인코딩하고, 자원 레벨을 제1자원 레벨로 결정할 수 있다. 프로세서는 결정한 자원 레벨을 메모리(예: 도 3의 메모리(340))에 저장할 수 있다. 프로세서는 제1프레임 세트에 연속하는 제2프레임 세트를 제2해상도, 제2버퍼 수 및 제2최대 비트레이트로 인코딩하고, 자원 레벨을 제2자원 레벨로 결정할 수 있다. 프로세서는 결정한 제2자원 레벨 및 메모리에 저장한 제1자원 레벨을 비교하여 더 높은 레벨을 메모리에 저장할 수 있다. 예를 들어, 제1자원 레벨이 더 높은 경우 메모리에 저장된 값을 그대로 유지하고, 제2자원 레벨이 더 높은 경우 메모리에 저장된 값을 삭제하고 제2자원 레벨을 저장할 수 있다. 같은 방법으로 프로세서가 모든 프레임 세트에 대한 자원 레벨 결정 및 저장을 마치고 나면, 가장 높은 자원 레벨을 메모리에 저장할 수 있다. 프로세서는 메모리에 저장된 자원 레벨을 영상의 스트림 헤더에 기록할 수 있다.

도 7에 도시한 그래프에서, 프로세서는 제1프레임 세트의 제1자원 레벨(702), 제2프레임 세트의 제2자원 레벨, 제3프레임 세트의 제3자원 레벨 및 제4프레임 세트의 제4자원 레벨(704)을 결정할 수 있다. 프로세서는 제1프레임 세트의 제1자원 레벨(702)을 결정하고, 이를 메모리에 저장할 수 있다. 이후 제2자원 레벨 및 제3자원 레벨은 제1자원 레벨(702)보다 같거나 낮은 값이므로 메모리에 저장하지 않을 수 있다. 제4자원 레벨(704)은 제1자원 레벨(702)보다 높은 값이므로, 프로세서는 제1자원 레벨(702)을 메모리에서 삭제하고 제4자원 레벨(704)을 메모리에 저장할 수 있다. 프로세서는 제4자원 레벨(704)을 영상의 스트림 헤더에 기록할 수 있다.

다양한 실시예에 따르면, 상기 영상의 프레임은 적어도 하나의 매크로블록(macroblock)을 포함하고, 상기 프로세서는, 상기 각 매크로블록 마다 양자화 값을 결정할 수 있다.

다양한 실시예에 따르면, 상기 프로세서는, 상기 영상의 제1프레임 세트 내에 적어도 하나의 관심 영역(Region of interest)을 결정하고, 상기 관심 영역의 최대 양자화 값을 결정하고, 상기 영상의 제1비트레이트에 기초하여, 상기 관심 영역의 최대 양자화 값을 초과하지 않는 양자화 값을 결정할 수 있다.

다양한 실시예에 따르면, 상기 프로세서는, 상기 제1프레임 세트 내의 제1프레임에서 제1관심 영역 및 제2관심 영역을 결정하고, 상기 제1관심 영역 및 상기 제2관심 영역의 우선순위를 결정하고, 상기 제1관심 영역의 우선순위가 상기 제2관심 영역의 우선순위보다 높은 경우, 상기 제1관심 영역에 대한 제1최대 양자화 값에 상기 제2관심 영역에 대한 제2최대 양자화 값보다 더 작은 값을 부여하고, 상기 제2관심 영역의 우선순위가 상기 제1관심 영역의 우선순위보다 높은 경우, 상기 제1최대 양자화 값에 상기 제2최대 양자화 값보다 더 큰 값을 부여할 수 있다.

다양한 실시예에 따르면, 상기 프로세서는, 상기 제1프레임에 연속하는 상기 제2프레임에서 관심 영역을 재설정할지 결정하고, 관심 영역을 재설정하는 경우, 적어도 하나의 관심 영역들 사이의 우선 순위를 재설정하고, 상기 우선 순위에 기초하여 최대 양자화 값을 재설정할 수 있다.

다양한 실시예에 따르면, 상기 프로세서는, 상기 관심 영역을 결정할 때 최초로 부여한 최대 양자화 값과 현재 프레임에서 상기 관심 영역의 최대 양자화 값을 비교하고, 상기 현재 프레임의 최대 양자화 값이 상기 최초로 부여한 최대 양자화 값보다 작은 경우, 상기 현재 프레임의 최대 양자화 값을 증가시킬 수 있다.

다양한 실시예에 따르면, 상기 프로세서는, 상기 영상의 밝기, 감도, 노이즈 및 모션 중 적어도 하나에 대한 정보를 포함하는 프레임 정보를 획득하고, 상기 프레임 정보에 기초하여 양자화 값을 결정할 수 있다.

다양한 실시예에 따르면, 상기 프로세서는, 재생 장치에서 상기 영상을 재생하는 데 필요한 자원 레벨을 결정하고, 상기 결정한 자원 레벨을 상기 영상 데이터의 헤더에 저장할 수 있다.

다양한 실시예에 따르면, 상기 프로세서는, 상기 제1비트레이트에 기초하여 상기 제1프레임 세트의 제1자원 레벨을 결정하고, 상기 제2비트레이트에 기초하여 상기 제2프레임 세트의 제2자원 레벨을 결정하고, 상기 제2자원 레벨이 상기 제1자원 레벨보다 높은 경우 상기 영상 데이터의 헤더에 상기 제2자원 레벨을 저장할 수 있다.

다양한 실시예에 따르면, 상기 프로세서는, 상기 영상의 제1프레임 및 상기 제1프레임에 연속하는 제2프레임의 차이를 계산하고, 상기 제1프레임 및 상기 제2프레임의 차이가 클수록 더 높은 양자화 값을 결정할 수 있다.

다양한 실시예에 따르면, 상기 프로세서는, 현재 프레임에서 적어도 하나의 이전 프레임을 참조할 검색 범위를 결정하고, 상기 검색 범위가 넓을수록 더 낮은 양자화 값을 결정할 수 있다.

도 8은 다양한 실시예에 따른 최대 양자화 값 가감을 통한 인코딩 방법에 대한 순서도이다.

다양한 실시예에 따르면, 동작 802에서, 전자 장치는 허용 최대 비트레이트를 획득할 수 있다. 일 실시예에 따르면, 허용 최대 비트레이트는 하드웨어 코덱(HW Codec)의 스펙에 따라 결정될 수 있고, 전자 장치가 실시간으로 처리 가능한 비트레이트일 수 있다. 예를 들어, 전자 장치는 원본 영상의 비트레이트가 허용 최대 비트레이트를 초과하더라도 인코딩할 수 있으나, 화질 열화가 발생하고 끊김 현상이 발생할 수 있다.

다양한 실시예에 따르면, 전자 장치는 원본 영상을 인코딩할 타깃 비트레이트를 결정할 수 있다. 일 실시예에 따르면, 전자 장치는 인코딩할 영상의 화질 및 용량 크기에 따라서 타깃 비트레이트를 결정할 수 있다. 다른 실시예에 따르면, 전자 장치는 원본 영상의 타깃 비트레이트를 별도로 결정하지 않고 디폴트(default) 값으로 결정할 수도 있다.

다양한 실시예에 따르면, 전자 장치는 원본 영상을 인코딩할 프레임 넘버를 결정할 수 있다. 프레임 넘버는 하나의 프레임 세트(예: 도 2의 프레임 세트(200)) 내에 포함되는 프레임의 개수(예: 30개)일 수 있다. 프레임 넘버는 전자 장치의 제조 시 미리 설정되어 있을 수도 있으며, 전자 장치가 인코딩하는 영상에 따라서 다르게 결정할 수도 있다. 이하에서는, 원본 영상이 제1프레임 세트 및 제1프레임 세트에 연속하는 제2프레임 세트를 포함하는 것으로 설명하나, 원본 영상에 포함된 프레임 세트의 수가 이에 한정되는 것은 아니다.

다양한 실시예에 따르면, 전자 장치는 프레임 세트에서 적어도 하나의 관심 영역(예: 도 4a의 관심 영역(402))(region of interest, ROI)을 설정할 수 있다. 전자 장치는 영상 내에서 중요한 오브젝트가 포함된 영역, 선명한 화질이 필요한 영역 또는 복잡도가 높은 영역을 관심 영역으로 결정할 수 있다. 일 실시예에 따르면, 전자 장치는 원본 영상의 전체 화면을 관심 영역으로 결정할 수도 있다. 전자 장치는 하나의 오브젝트를 포함한 영역을 관심 영역으로 결정한 프레임 이후의 프레임에서도 동일한 오브젝트를 포함하는 영역을 관심 영역으로 결정할 수 있다.

일 실시예에 따르면, 전자 장치는 프레임 세트 또는 프레임 마다 관심 영역을 달리 결정할 수 있다. 예를 들어, 화면 전환이 빠르게 일어나는 영상의 경우에 프레임 마다 다른 오브젝트가 출현할 수 있으므로, 전자 장치는 프레임 및/또는 프레임 세트마다 다른 관심 영역을 설정할 수 있다.

다양한 실시예에 따르면, 전자 장치는 관심 영역의 우선 순위를 결정할 수 있다. 일 실시예에 따르면, 전자 장치는 오브젝트의 전체 영상에서의 출현 빈도에 따라서 우선 순위를 결정할 수도 있다.

다양한 실시예에 따르면, 전자 장치는 프레임 세트의 밝기, 감도, 모션, 및 노이즈 정보를 포함하는 프레임 정보를 획득할 수 있다. 전자 장치는 프레임 세트의 밝기, 감도, 모션 및 노이즈 정보의 변화량에 기초하여 영상의 복잡도를 판단할 수 있다. 전자 장치는 영상의 복잡도에 대한 판단에 기초하여 인코딩할 비트레이트를 결정할 수 있다. 전자 장치는 코덱의 허용 최대 비트레이트를 확인하고, 허용 최대 비트레이트를 초과하지 않는 비트레이트로 인코딩하기 위하여 일부 데이터를 압축할 수 있다.

다양한 실시예에 따르면, 동작 804에서, 전자 장치는 영상의 비트레이트를 획득할 수 있다. 프레임 정보에 기초하여 판단한 복잡도가 높을수록 전자 장치가 프레임 세트를 인코딩하는 데 필요한 비트레이트가 클 수 있다. 일 실시예에 따르면, 전자 장치가 획득한 비트레이트는 타깃 비트레이트를 초과할 수 있다. 전자 장치는 양자화 값을 제한하여 일정한 수준 이상으로 영상을 압축하지 않기 때문에 영상을 인코딩할 때 많은 비트레이트가 필요할 수 있고, 복잡도가 높은 영상을 고화질로 인코딩하고자 할 때에 획득한 비트레이트는 처음에 설정한 타깃 비트레이트 이상의 값일 수 있다.

다양한 실시예에 따르면, 전자 장치는 프레임 세트의 각 프레임마다 양자화 값을 결정할 수 있다. 일 실시예에 따르면, 전자 장치는 각 프레임을 구성하는 매크로블록(예: 도 5a의 매크로 블록(502))마다 다른 양자화 값을 결정할 수 있다. 이 때 양자화 값은 설정된 최대 양자화 값을 넘을 수 없다. 비관심 영역에 최대 양자화 값이 설정되지 않은 경우, 전자 장치는 비관심 영역의 양자화 값을 하드웨어 최대치(예: 50)까지 올릴 수 있다. 전자 장치는 매크로블록에 설정된 양자화 값에 기초하여 해당 매크로블록의 데이터를 압축하며, 양자화 값이 클수록 데이터를 더 많이 압축할 수 있다. 예를 들어, 전자 장치는 양자화 값을 증가시켜 저장 용량이 적은 데이터를 저장할 수 있다. 전자 장치는 매크로블록 중 관심 영역에 해당하는 매크로블록의 양자화 값은 관심 영역이 아닌 매크로블록의 양자화 값보다 낮게 설정할 수 있다. 예를 들어, 관심 영역에는 더 많은 용량을 할당하여 영상을 인코딩하고, 허용 최대 비트레이트를 초과하지 않기 위하여 관심 영역이 아닌 매크로블록에는 적은 용량만을 할당하여 영상을 인코딩할 수 있다.

일 실시예에 따르면, 전자 장치는 연관성이 높은 영상일수록 낮은 양자화 값을 설정할 수 있다. 예를 들어, 제1프레임 및 제1프레임에 연속하는 제2프레임의 차이가 크지 않아 연관성이 높은 프레임 세트에서는 각 매크로블록에 낮은 양자화 값을 설정할 수 있다. 반대로, 제1프레임 및 제2프레임의 차이가 커서 연관성이 낮은 프레임 세트에서는 각 매크로블록에 높은 양자화 값을 설정할 수 있다.

일 실시예에 따르면, 전자 장치는 검색 범위가 넓을수록 낮은 양자화 값을 설정할 수 있다. 전자 장치는 검색 범위가 넓으면 현재 프레임을 인코딩할 때 더 많은 이전 프레임들을 참조할 수 있고, 각 프레임 내에서 더 넓은 영역을 참조할 수도 있다. 따라서 전자 장치가 영상을 인코딩하기 위해서 필요한 비트레이트가 크지 않아, 낮은 양자화 값을 설정할 수 있다. 반대로 검색 범위가 좁으면 현재 프레임을 인코딩할 때 참조하는 이전 프레임들의 수가 적을 수 있다. 검색 범위가 좁은 경우, 전자 장치가 영상을 인코딩하기 위해 필요한 비트레이트가 크며, 따라서 높은 양자화 값을 설정할 수 있다.

다양한 실시예에 따르면, 동작 806에서, 전자 장치는 프레임 세트의 매크로블록 별 최대 양자화 값을 결정할 수 있다. 우선, 전자 장치는 초기 최대 양자화 값을 결정할 수 있다. 일 실시예에 따르면, 전자 장치는 우선 순위가 높은 관심 영역일수록 초기 최대 양자화 값을 작게 설정할 수 있다. 일 실시예에 따르면, 전자 장치는 최대 양자화 값이 초기값 이하로 내려가지 않도록 유지할 수 있다. 예를 들어, 초기 최대 양자화 값은 최대 양자화 값의 최소값일 수 있다.

다른 실시예에 따르면, 전자 장치는 관심 영역 외의 영역(이하, 비관심 영역)에도 최대 양자화 값을 설정할 수 있다. 전자 장치는 관심 영역과 비관심 영역 의 화질 차이를 줄이기 위하여 적절한 최대 양자화 값을 설정할 수 있다. 전자 장치는 비관심 영역에는 관심 영역보다 높은 최대 양자화 값을 설정할 수 있다. 이를 통해 전자 장치는 영상의 비트레이트가 증가하는 경우 관심 영역의 화질 열화를 최소화하고, 비관심 영역의 비트레이트를 줄여 허용 최대 비트레이트 이하로 인코딩할 수 있다.

다양한 실시예에 따르면, 동작 808에서, 전자 장치는 매크로블록의 양자화 값 및 최대 양자화 값을 조절하며 영상을 인코딩할 수 있다. 다양한 실시예에 따르면, 전자 장치는 프레임 세트의 비트레이트가 허용 최대 비트레이트를 초과하는지 여부를 판단할 수 있다. 전자 장치는 하드웨어 코덱에서 허용 최대 비트레이트를 획득하고, 이를 획득한 프레임 세트의 비트레이트와 비교할 수 있다. 허용 최대 비트레이트를 초과하면 화질 열화, 멈춤 현상과 같은 오류가 발생할 수 있기 때문에, 전자 장치는 최대 양자화 값을 조절하여 비트레이트를 허용 최대 비트레이트 이하로 유지할 수 있다.

다양한 실시예에 따르면, 전자 장치는 프레임 세트의 최대 양자화 값을 조절할 수 있다. 일 실시예에 따르면, 전자 장치는 프레임 세트의 비트레이트 및 프레임 세트의 비트레이트가 허용 최대 비트레이트를 초과하는지 여부에 따라서 최대 양자화 값을 조절할 수 있다. 허용 최대 비트레이트가 더 큰 경우 문제가 없으나, 제1비트레이트가 더 큰 경우 전자 장치는 제1프레임 세트의 최대 양자화 값을 증가시킬 수 있다.

반대로, 프레임 세트의 비트레이트가 허용 최대 비트레이트 이하인 경우, 전자 장치는 최대 양자화 값을 감소시킬 수 있다. 일 실시예에 따르면, 전자 장치가 최대 양자화 값을 감소시키면 해당 프레임 세트의 영상은 저장 용량은 증가하지만 더 고화질로 인코딩될 수 있다. 전자 장치는 전자 장치의 리소스를 최대한 활용하여 고화질의 영상을 인코딩하기 위하여 최대 양자화 값을 감소시킬 수 있다. 이 때, 전자 장치는 초기에 설정한 최대 양자화 값 이하로 최대 양자화 값을 감소시킬 수 없다. 예를 들어, 초기에 설정한 값이 최소치가 되는 범위 내에서 최대 양자화 값을 조절할 수 있다. 초기에 설정한 값보다 최대 양자화 값을 감소시키면 불필요한 정보까지 인코딩하여 저장 용량이 지나치게 커지는 문제가 발생할 수 있다. 따라서 전자 장치는 초기 최대 양자화 값을, 충분한 화질이 유지되면서 저장 용량이 지나치게 크지 않은 수치로 결정할 수 있다.

전자 장치는 제1프레임 세트의 인코딩에서 증가시키거나 또는 감소시킨 최대 양자화 값으로 제2프레임 세트를 인코딩할 수 있다. 제2프레임 세트에는 제1프레임 세트와 다른 장면이 포함될 수 있으므로 관심 영역의 위치가 이동할 수 있다. 전자 장치는 제2프레임 세트를 인코딩하는데 필요한 제2비트레이트를 획득할 수 있다. 전자 장치는 제2비트레이트가 허용 최대 비트레이트를 초과하는지 여부를 확인하여 허용 최대 비트레이트를 초과하면 관심 영역의 최대 양자화 값을 증가시키고, 허용 최대 비트 미만이면 관심 영역의 최대 양자화 값을 감소시킬 수 있다. 전자 장치는 변화한 최대 양자화 값을 이용하여 제2프레임 세트에 연속하는 다음 프레임 세트를 인코딩할 수 있다.

다양한 실시예에 따르면, 동작 810에서, 전자 장치는 영상의 자원 레벨을 결정하고, 영상의 스트림 헤더에 업데이트할 수 있다. 전자 장치는 영상을 재생하는데 필요한 해상도, 버퍼 수, 및 영상을 인코딩하는데 필요한 최대 비트레이트 중 적어도 하나에 의해 자원 레벨을 결정할 수 있다. 일 실시예에 따르면, 전자 장치는 설정한 최대 양자화 값에 따라서 영상 인코딩에 필요한 비트레이트를 획득하므로 영상 인코딩에 필요한 최대 비트레이트는 타깃 비트레이트를 초과할 수 있다. 따라서 전자 장치는 영상 인코딩 처리가 종료된 이후에 영상의 자원 레벨을 결정할 수 있다.

전자 장치는 자원 레벨을 영상의 스트림 헤더에 기록할 수 있다. 추후 외부 재생 장치는 인코딩 된 영상을 재생할 때 스트림 헤더의 자원 레벨을 확인하고, 영상을 재생하기 위하여 필요한 자원의 종류 및 개수를 결정할 수 있다.

도 9는 다양한 실시예에 따른 최대 양자화 값을 조절하는 방법에 대한 순서도이다.

다양한 실시예에 따르면, 동작 902에서, 전자 장치는 초기 최대 양자화 값을 설정할 수 있다. 일 실시예에 따르면, 프로세서는 관심 영역(예: 도 4a의 관심 영역(402))의 우선 순위에 기초하여 초기 최대 양자화 값을 다르게 설정할 수 있다. 예를 들어, 전자 장치는 우선 순위가 더 높은 관심 영역에 더 낮은 초기값을 설정할 수 있다. 우선 순위가 높은 영역의 압축률을 줄여 고화질로 잉ㄴ코딩할 수 있다. 일 실시예에 따르면, 전자 장치가 설정한 초기 최대 양자화 값은 최대 양자화 값의 최소치일 수 있다. 예를 들어, 전자 장치는 최대 양자화 값을 초기값 이상으로 유지할 수 있다. 최대 양자화 값이 지나치게 낮아지면 불필요한 정보까지 모두 인코딩하여 저장 용량이 커지기 때문에, 효율적인 인코딩을 위함이다.

다양한 실시예에 따르면, 동작 904에서, 전자 장치는 영상의 비트레이트를 획득할 수 있다. 전자 장치는 적어도 하나의 프레임 세트를 확인하고, 프레임 세트의 복잡도에 기초하여 비트레이트를 획득할 수 있다. 전자 장치는 하드웨어상 허용 가능한 최대 비트레이트를 획득할 수 있다.

다양한 실시예에 따르면, 동작 910에서, 전자 장치는 획득한 비트레이트가 허용 최대 비트레이트를 초과하는지 여부를 판단할 수 있다. 전자 장치는 하드웨어 상 허용 가능한 최대 비트레이트를 획득하고, 현재 프레임 세트의 비트레이트가 허용 최대 비트레이트를 초과하는지 여부를 판단할 수 있다. 프레임 세트의 비트레이트가 허용 최대 비트레이트를 초과하는 경우, 프레임 드랍 및/또는 화질 열화가 일어날 수 있으므로 비트레이트를 감소시킬 필요가 있다.

다양한 실시예에 따르면, 동작 920에서, 전자 장치는 프레임 세트의 최대 양자화 값이, 초기 최대 양자화 값 이하인지 판단할 수 있다. 전자 장치가 설정한 최대 양자화 값의 초기값이 최대 양자화 값의 최소값이므로, 최대 양자화 값이 초기값 이하로 내려가면 전자 장치는 최대 양자화 값을 증가시켜 코딩 효율을 향상시킬 수 있다.

다양한 실시예에 따르면, 동작 930에서, 전자 장치는 최대 양자화 값을 감소시킬 수 있다. 예를 들어, 전자 장치는 프레임 세트의 비트레이트가 허용 최대 비트레이트를 초과하지 않고, 관심 영역의 최대 양자화 값이 초기값 이하가 아닌 경우 최대 양자화 값을 감소시킬 수 있다. 전자 장치는 두 조건을 모두 만족시키는 경우 최대 양자화 값을 감소시켜 고화질의 영상을 인코딩할 수 있다.

다양한 실시예에 따르면, 동작 932에서, 전자 장치는 최대 양자화 값을 증가시킬 수 있다. 예를 들어, 프레임 세트의 비트레이트가 허용 최대 비트레이트를 초과하거나, 허용 최대 비트레이트를 초과하지 않더라도 관심 영역의 최대 양자화 값이 설정한 초기값 이하로 내려가는 경우 최대 양자화 값을 증가시킬 수 있다. 일 실시예에 따르면, 전자 장치가 허용 최대 비트레이트를 초과하여 영상을 인코딩하면 영상에서 오류가 발생할 수 있다. 프레임 세트의 비트레이트가 증가하는 경우, 전자 장치는 각 매크로블록(예: 도 5a의 매크로 블록(502))의 양자화 값을 증가시켜 비트레이트를 줄일 수 있다. 그러나 최대 양자화 값 이상으로는 증가시킬 수 없기 때문에 비트레이트를 줄이는 데 한계가 있으므로, 최대 양자화 값을 증가시켜 비트레이트를 더욱 줄일 수 있다.

도 10은 다양한 실시예에 따른 영상의 자원 레벨을 결정하여 저장하는 방법에 대한 순서도이다.

다양한 실시예에 따르면, 동작 1002에서, 전자 장치는 제1프레임 세트의 제1자원 레벨을 결정하고, 메모리(예: 도 3의 메모리(340))에 저장할 수 있다. 전자 장치는 영상의 재생에 필요한 해상도, 버퍼 수 및 최대 비트레이트 중 적어도 하나에 기초하여 영상의 자원 레벨을 결정할 수 있다. 해상도는 영상 재생 장치의 화소(pixel)개수에 의존하고, 버퍼 수는 현재 프레임의 인코딩을 위해서 참조할 수 있는 이전 프레임의 개수에 의존하며, 최대 비트레이트는 원본 영상을 인코딩하는데 필요한 최대 비트레이트를 의미할 수 있다. 전자 장치는 제1프레임 세트의 해상도 및 버퍼 수를 결정하고, 제1프레임 세트의 비트레이트를 획득하여 제1자원 레벨을 결정할 수 있다. 전자 장치는 결정한 제1자원 레벨을 메모리에 저장할 수 있다.

다양한 실시예에 따르면, 동작 1004에서, 전자 장치는 다음 프레임 세트의 비트레이트를 획득할 수 있다. 예를 들어, 제1프레임 세트에 연속하는 제2프레임 세트에 대한 비트레이트를 획득할 수 있다.

다양한 실시예에 따르면, 동작 1006에서, 전자 장치는 획득한 비트레이트에 기초하여 해당 프레임 세트의 자원 레벨을 결정할 수 있다. 예를 들어, 전자 장치는 제2프레임 세트를 인코딩하는데 필요한 해상도, 버퍼 수 및 비트레이트 중 적어도 하나에 기초하여 제2자원 레벨을 결정할 수 있다. 일 실시예에 따르면, 전자 장치는 프레임 세트를 인코딩하는데 필요한 자원(예: 해상도, 버퍼 수, 비트레이트)이 많이 필요할수록 더 높은 자원 레벨을 결정할 수 있다.

다양한 실시예에 따르면, 동작 1010에서, 전자 장치는 결정한 자원 레벨이 제1자원 레벨을 초과하는지 여부를 판단할 수 있다. 예를 들어, 전자 장치는 메모리에 저장되어 있는 제1자원 레벨 및 제2프레임 세트에 대한 제2자원 레벨의 대소를 비교할 수 있다. 제1자원 레벨이 더 높은 경우, 전자 장치는 메모리에 저장되어 있는 제1자원 레벨 값을 삭제하지 않을 수 있다. 제2자원 레벨이 제1자원 레벨보다 더 높은 경우, 전자 장치는 제1자원 레벨 값을 삭제하고 제2자원 레벨을 저장할 수 있다.

다양한 실시예에 따르면, 동작 1012에서, 전자 장치는 결정한 자원 레벨을 메모리에 저장할 수 있다. 메모리에 저장된 자원 레벨보다 현재 프레임 세트의 자원 레벨이 더 높은 경우, 전자 장치는 현재 프레임의 자원 레벨 전자 장치는 이후 재생 장치에서 적절한 자원을 사용하여 영상을 디코딩(decoding)하도록 돕기 위하여, 프레임 세트의 자원 레벨 중 가장 높은 값을 메모리에 저장할 수 있다.

다양한 실시예에 따르면, 동작 1020에서, 전자 장치는 현재 프레임 세트가 마지막 프레임 세트인지 판단할 수 있다. 전자 장치는 현재 프레임 세트가 마지막 프레임 세트가 아닌 경우 다음 프레임 세트로 넘어가 동작 1004를 반복할 수 있다. 프로세서는 처음부터 마지막까지 모든 프레임 세트에서 자원 레벨을 획득하고, 그 중 더 높은 자원 레벨을 메모리에 저장하는 동작을 반복할 수 있다. 이를 통해 전자 장치는 영상의 최대 비트레이트를 반영한 자원 레벨 값을 획득할 수 있다.

다양한 실시예에 따르면, 동작 1022에서, 전자 장치는 메모리에 저장된 자원 레벨을 영상 스트림 헤더에 기록할 수 있다. 현재 프레임 세트가 마지막인 경우, 전자 장치는 자원 레벨 갱신하는 동작을 완료할 수 있다. 전자 장치는 메모리에 저장된 자원 레벨을 영상의 스트림 헤더에 기록하여, 나중에 재생 장치가 영상을 재생하는 데 사용할 적절한 자원의 양에 대한 정보를 제공할 수 있다.

다양한 실시예에 따르면, 상기 영상의 프레임은 적어도 하나의 매크로블록(macroblock)을 포함하고, 상기 영상을 인코딩하는 동작은, 상기 각 매크로블록 마다 양자화 값을 결정하는 동작을 더 포함할 수 있다.

다양한 실시예에 따르면, 상기 영상을 인코딩하는 동작은, 상기 영상의 제1프레임 세트 내에 적어도 하나의 관심 영역(Region of interest)을 결정하는 동작, 상기 관심 영역의 최대 양자화 값을 결정하는 동작, 및 상기 영상의 제1비트레이트에 기초하여, 상기 관심 영역의 최대 양자화 값을 초과하지 않는 양자화 값을 결정하는 동작을 더 포함할 수 있다.

다양한 실시예에 따르면, 상기 관심 영역의 최대 양자화 값을 결정하는 동작은, 상기 제1프레임 세트 내의 제1프레임에서 제1관심 영역 및 제2관심 영역을 결정하는 동작, 상기 제1관심 영역 및 상기 제2관심 영역의 우선순위를 결정하는 동작, 상기 제1관심 영역의 우선순위가 상기 제2관심 영역의 우선순위보다 높은 경우, 상기 제1관심 영역에 대한 제1최대 양자화 값에 상기 제2관심 영역에 대한 제2최대 양자화 값보다 더 작은 값을 부여하는 동작, 및 상기 제2관심 영역의 우선순위가 상기 제1관심 영역의 우선순위보다 높은 경우, 상기 제1최대 양자화 값에 상기 제2최대 양자화 값보다 더 큰 값을 부여하는 동작을 더 포함할 수 있다.

다양한 실시예에 따르면, 상기 최대 양자화 값을 증가시키거나 감소시키는 동작은, 상기 관심 영역을 결정할 때 최초로 부여한 최대 양자화 값과 현재 프레임에서 상기 관심 영역의 최대 양자화 값을 비교하는 동작, 및 상기 현재 프레임의 최대 양자화 값이 상기 최초로 부여한 최대 양자화 값보다 작은 경우, 상기 현재 프레임의 최대 양자화 값을 증가시키는 동작을 더 포함할 수 있다.

다양한 실시예에 따르면, 상기 영상을 인코딩하는 동작은, 상기 영상의 밝기, 감도, 노이즈 및 모션에 대한 정보를 포함하는 프레임 정보를 획득하는 동작, 및 상기 프레임 정보에 기초하여 양자화 값을 결정하는 동작을 더 포함할 수 있다.

다양한 실시예에 따르면, 재생 장치에서 상기 영상을 재생하는 데 필요한 자원 레벨을 결정하는 동작, 및 상기 결정한 자원 레벨을 영상 데이터의 헤더에 저장하는 동작을 더 포함할 수 있다.

다양한 실시예에 따르면, 상기 자원 레벨을 결정하는 동작은, 상기 제1비트레이트에 기초하여 상기 제1프레임 세트의 제1자원 레벨을 결정하는 동작, 상기 제2비트레이트에 기초하여 상기 제2프레임 세트의 제2자원 레벨을 결정하는 동작, 및 상기 제2자원 레벨이 상기 제1자원 레벨보다 높은 경우 상기 영상 데이터의 헤더에 상기 제2자원 레벨을 저장하는 동작을 더 포함할 수 있다.

다양한 실시예에 따르면, 상기 영상을 인코딩하는 동작은, 상기 영상의 제1프레임 및 상기 제1프레임에 연속하는 제2프레임의 차이를 확인하는 동작, 상기 제1프레임 및 상기 제2프레임의 차이가 클수록 더 높은 양자화 값을 결정하는 동작을 더 포함할 수 있다.

Claims

전자 장치에 있어서,
메모리; 및
상기 메모리와 작동적으로(operatively) 연결된 프로세서를 포함하고,
상기 프로세서는,
상기 전자 장치의 허용 최대 비트레이트를 획득하고,
적어도 하나의 프레임(frame)으로 구성된 영상을 인코딩하기 위한 최대 양자화 값을 결정하고,
상기 영상의 제1프레임 세트를, 상기 최대 양자화 값 이하의 양자화 값으로 인코딩하여 제1비트레이트(bitrate)를 획득하고,
상기 획득한 제1비트레이트가 상기 허용 최대 비트레이트를 초과하면 상기 최대 양자화 값을 증가시키고,
상기 획득한 제1비트레이트가 상기 허용 최대 비트레이트 이하면 상기 최대 양자화 값을 감소시키고,
상기 증가 또는 감소된 최대 양자화 값에 기반하여,
상기 영상의 상기 제1프레임 세트에 연속하는, 제2프레임 세트를 인코딩하여 제2비트레이트를 획득하고,
상기 획득한 제2비트레이트가 상기 허용 최대 비트레이트를 초과하면 상기 최대 양자화 값을 증가시키고,
상기 획득한 제2비트레이트가 상기 허용 최대 비트레이트 이하면 상기 최대 양자화 값을 감소시키도록 설정된 전자 장치.
제 1항에 있어서,
상기 영상의 프레임은 적어도 하나의 매크로블록(macroblock)을 포함하고,
상기 프로세서는,
상기 각 매크로블록 마다 양자화 값을 결정하도록 설정된 전자 장치.
제 1항에 있어서,
상기 프로세서는,
상기 영상의 제1프레임 세트 내에 적어도 하나의 관심 영역(region of interest)을 결정하고,
상기 관심 영역의 최대 양자화 값을 결정하고,
상기 영상의 제1비트레이트에 기초하여, 상기 관심 영역의 최대 양자화 값을 초과하지 않는 양자화 값을 결정하도록 설정된 전자 장치.
제 3항에 있어서,
상기 프로세서는,
상기 제1프레임 세트 내의 제1프레임에서 제1관심 영역 및 제2관심 영역을 결정하고,
상기 제1관심 영역 및 상기 제2관심 영역의 우선순위를 결정하고,
상기 제1관심 영역의 우선순위가 상기 제2관심 영역의 우선순위보다 높은 경우, 상기 제1관심 영역에 대한 제1최대 양자화 값에 상기 제2관심 영역에 대한 제2최대 양자화 값보다 더 작은 값을 부여하고,
상기 제2관심 영역의 우선순위가 상기 제1관심 영역의 우선순위보다 높은 경우, 상기 제1최대 양자화 값에 상기 제2최대 양자화 값보다 더 큰 값을 부여하도록 설정된 전자 장치.
제 4항에 있어서,
상기 프로세서는,
상기 제1프레임에 연속하는 상기 제2프레임에서 관심 영역을 재설정할지 결정하고,
관심 영역을 재설정하는 경우, 적어도 하나의 관심 영역들 사이의 우선 순위를 재설정하고,
상기 우선 순위에 기초하여 최대 양자화 값을 재설정하도록 설정된 전자 장치.
제 3항에 있어서,
상기 프로세서는,
상기 관심 영역을 결정할 때 최초로 부여한 최대 양자화 값과 현재 프레임에서 상기 관심 영역의 최대 양자화 값을 비교하고,
상기 현재 프레임의 최대 양자화 값이 상기 최초로 부여한 최대 양자화 값보다 작은 경우, 상기 현재 프레임의 최대 양자화 값을 증가시키도록 설정된 전자 장치.
제 1항에 있어서,
상기 프로세서는,
상기 영상의 밝기, 감도, 노이즈 및 모션 중 적어도 하나에 대한 정보를 포함하는 프레임 정보를 획득하고,
상기 프레임 정보에 기초하여 양자화 값을 결정하도록 설정된 전자 장치.
제 1항에 있어서,
상기 프로세서는,
재생 장치에서 상기 영상을 재생하는 데 필요한 자원 레벨을 결정하고,
상기 결정한 자원 레벨을 상기 영상 데이터의 헤더에 저장하도록 설정된 전자 장치.
제 7항에 있어서,
상기 프로세서는,
상기 제1비트레이트에 기초하여 상기 제1프레임 세트의 제1자원 레벨을 결정하고,
상기 제2비트레이트에 기초하여 상기 제2프레임 세트의 제2자원 레벨을 결정하고,
상기 제2자원 레벨이 상기 제1자원 레벨보다 높은 경우 상기 영상 데이터의 헤더에 상기 제2자원 레벨을 저장하도록 설정된 전자 장치.
제 1항에 있어서,
상기 프로세서는,
상기 영상의 제1프레임 및 상기 제1프레임에 연속하는 제2프레임의 차이를 계산하고,
상기 제1프레임 및 상기 제2프레임의 차이가 클수록 더 높은 양자화 값을 결정하도록 설정된 전자 장치.
제 1항에 있어서,
상기 프로세서는,
현재 프레임에서 적어도 하나의 이전 프레임을 참조할 검색 범위를 결정하고,
상기 검색 범위가 넓을수록 더 낮은 양자화 값을 결정하도록 설정된 전자 장치.
최대 양자화 값 조절을 통한 인코딩 방법에 있어서,
전자 장치의 허용 최대 비트레이트를 획득하는 동작,
적어도 하나의 프레임(frame)으로 구성된 영상의 최대 양자화 값을 결정하는 동작,
상기 영상의 제1프레임 세트를, 상기 최대 양자화 값 이하의 양자화 값으로 인코딩하여 제1비트레이트(bitrate)를 획득하는 동작,
상기 획득한 제1비트레이트가 상기 허용 최대 비트레이트를 초과하면 상기 최대 양자화 값을 증가시키는 동작,
상기 획득한 제1비트레이트가 상기 허용 최대 비트레이트 이하면 상기 최대 양자화 값을 감소시키는 동작,
상기 증가 또는 감소된 최대 양자화 값에 기반하여,
상기 영상의 상기 제1프레임 세트에 연속하는, 제2프레임 세트를 인코딩하여 제2비트레이트를 획득하는 동작,
상기 획득한 제2비트레이트가 상기 허용 최대 비트레이트를 초과하면 상기 최대 양자화 값을 증가시키는 동작, 및
상기 획득한 제2비트레이트가 상기 허용 최대 비트레이트 이하면 상기 최대 양자화 값을 감소시키는 동작을 포함하는 방법.
제 12항에 있어서,
상기 영상의 프레임은 적어도 하나의 매크로블록(macroblock)을 포함하고,
상기 영상을 인코딩하는 동작은,
상기 각 매크로블록 마다 양자화 값을 결정하는 동작을 더 포함하는 방법.
제 12항에 있어서,
상기 영상을 인코딩하는 동작은,
상기 영상의 제1프레임 세트 내에 적어도 하나의 관심 영역(region of interest)을 결정하는 동작,
상기 관심 영역의 최대 양자화 값을 결정하는 동작, 및
상기 영상의 제1비트레이트에 기초하여, 상기 관심 영역의 최대 양자화 값을 초과하지 않는 양자화 값을 결정하는 동작을 더 포함하는 방법.
제 14항에 있어서,
상기 관심 영역의 최대 양자화 값을 결정하는 동작은,
상기 제1프레임 세트 내의 제1프레임에서 제1관심 영역 및 제2관심 영역을 결정하는 동작,
상기 제1관심 영역 및 상기 제2관심 영역의 우선순위를 결정하는 동작,
상기 제1관심 영역의 우선순위가 상기 제2관심 영역의 우선순위보다 높은 경우, 상기 제1관심 영역에 대한 제1최대 양자화 값에 상기 제2관심 영역에 대한 제2최대 양자화 값보다 더 작은 값을 부여하는 동작, 및
상기 제2관심 영역의 우선순위가 상기 제1관심 영역의 우선순위보다 높은 경우, 상기 제1최대 양자화 값에 상기 제2최대 양자화 값보다 더 큰 값을 부여하는 동작을 더 포함하는 방법.
제 12항에 있어서,
상기 최대 양자화 값을 증가시키거나 감소시키는 동작은,
상기 관심 영역을 결정할 때 최초로 부여한 최대 양자화 값과 현재 프레임에서 상기 관심 영역의 최대 양자화 값을 비교하는 동작, 및
상기 현재 프레임의 최대 양자화 값이 상기 최초로 부여한 최대 양자화 값보다 작은 경우, 상기 현재 프레임의 최대 양자화 값을 증가시키는 동작을 더 포함하는 방법.
제 12항에 있어서,
상기 영상을 인코딩하는 동작은,
상기 영상의 밝기, 감도, 노이즈 및 모션에 대한 정보를 포함하는 프레임 정보를 획득하는 동작, 및
상기 프레임 정보에 기초하여 양자화 값을 결정하는 동작을 더 포함하는 방법.
제 12항에 있어서,
재생 장치에서 상기 영상을 재생하는 데 필요한 자원 레벨을 결정하는 동작, 및
상기 결정한 자원 레벨을 영상 데이터의 헤더에 저장하는 동작을 더 포함하는 방법.
제 18항에 있어서,
상기 자원 레벨을 결정하는 동작은,
상기 제1비트레이트에 기초하여 상기 제1프레임 세트의 제1자원 레벨을 결정하는 동작,
상기 제2비트레이트에 기초하여 상기 제2프레임 세트의 제2자원 레벨을 결정하는 동작, 및
상기 제2자원 레벨이 상기 제1자원 레벨보다 높은 경우 상기 영상 데이터의 헤더에 상기 제2자원 레벨을 저장하는 동작을 더 포함하는 방법.
제 12항에 있어서,
상기 영상을 인코딩하는 동작은,
상기 영상의 제1프레임 및 상기 제1프레임에 연속하는 제2프레임의 차이를 확인하는 동작,
상기 제1프레임 및 상기 제2프레임의 차이가 클수록 더 높은 양자화 값을 결정하는 동작을 더 포함하는 방법.