KR101659514B1 - 프레임 레이트 제어 방법, 프레임 레이트 제어 장치 및 프레임 레이트 제어 프로그램 - Google Patents

프레임 레이트 제어 방법, 프레임 레이트 제어 장치 및 프레임 레이트 제어 프로그램 Download PDF

Info

Publication number
KR101659514B1
KR101659514B1 KR1020147017401A KR20147017401A KR101659514B1 KR 101659514 B1 KR101659514 B1 KR 101659514B1 KR 1020147017401 A KR1020147017401 A KR 1020147017401A KR 20147017401 A KR20147017401 A KR 20147017401A KR 101659514 B1 KR101659514 B1 KR 101659514B1
Authority
KR
South Korea
Prior art keywords
frame rate
picture
input
pictures
encoder
Prior art date
Application number
KR1020147017401A
Other languages
English (en)
Other versions
KR20140098197A (ko
Inventor
나오키 오노
아츠시 시미즈
겐 나카무라
마사키 기타하라
세이스케 교치
Original Assignee
니폰 덴신 덴와 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰 덴신 덴와 가부시끼가이샤 filed Critical 니폰 덴신 덴와 가부시끼가이샤
Publication of KR20140098197A publication Critical patent/KR20140098197A/ko
Application granted granted Critical
Publication of KR101659514B1 publication Critical patent/KR101659514B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Abstract

입력 영상의 입력 타이밍이 일정하지 않고 요동하는 경우라도, 지연을 늘리지 않고 인코더의 연산량과 부호화 결과의 정보량의 순간적인 증가를 억제하는 것을 목적으로 한다. 입력 영상의 프레임 레이트를 인코더가 부호화 가능한 프레임 레이트로 조정하는 프레임 레이트 제어 방법은, 세선화(細線化; thinning)의 판정 대상 픽처가 입력된 시각으로부터 소정의 시간만큼 과거에 입력된 픽처 매수가 소정의 문턱값을 넘는지의 여부를 판정하는 과정과, 상기 픽처 매수가 상기 문턱값을 넘는 경우에는 상기 판정 대상 픽처를 폐기하고, 상기 픽처 매수가 상기 문턱값을 넘지 않는 경우에는 상기 판정 대상 픽처를 부호화 대상으로 하는 과정을 가진다.

Description

프레임 레이트 제어 방법, 프레임 레이트 제어 장치 및 프레임 레이트 제어 프로그램{Frame rate control method, frame rate control device, and frame rate control program}
본 발명은 영상 부호화에서의 프레임 레이트 제어, 특히 인코더에서의 연산량 및 정보량을 억제하기 위한 프레임 레이트 제어 방법, 프레임 레이트 제어 장치 및 프레임 레이트 제어 프로그램에 관한 것이다.
본원은 2012년 1월 26일에 일본 출원된 특원 2012-013773호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.
종래에는, 부호화 가능한 프레임 레이트와 촬상 기기 등으로부터 인코더로의 입력 영상의 프레임 레이트가 다른 경우에, 입력 영상의 세선화(細線化; thinning) 처리를 행하여 부호화 가능한 프레임 레이트로 변환하는 기술이 이용되고 있다(특허문헌 1 참조).
도 5에 종래기술에 관한 장치의 구성을 나타내는 블록도를 도시한다. 도 6에 종래기술에서의 픽처 세선화 판정부의 흐름도를 도시한다.
도 5에서, 인코더(200)는 예를 들어 H.264 등의 부호화 방식에 따라 입력 영상을 부호화하고, 부호화 영상 스트림을 출력하는 장치이다. 인코더(200)는 프레임을 분할한 블록마다 움직임 검출을 행하는 움직임 검출부(203)와, 움직임 검출부(203)에 의해 검출된 움직임 벡터에 의해서 예측을 행하는 예측부(204)와, 입력 신호와 예측 신호의 잔차 신호를 DCT(Discrete Cosine Transform; 이산 코사인 변환) 등에 의해 직교 변환하는 직교 변환부(205)와, 변환 계수를 양자화하는 양자화부(206)와, 양자화 결과를 역양자화하는 역양자화부(207)와, 변환 계수를 역직교 변환하는 역직교 변환부(208)와, 역직교 변환부(208)의 출력에 예측 신호를 가산하여 얻어진 로컬 디코드 화상을 기억하는 로컬 디코드 화상 기억부(209)와, 양자화부(206)의 출력을 가변장 부호화하는 가변장 부호화부(210)와, 부호화 정보를 다중화하는 다중화부(211)와, 부호화 정보를 기억하고 부호화 영상 스트림으로서 출력하는 버퍼부(212)와, 발생 부호량 등에 의해 양자화부(206) 및 그 외의 부호화 제어를 행하는 제어부(213)를 구비한다.
픽처 세선화 판정부(201)는, 인코더(200)가 부호화 가능한 프레임 레이트와, 프레임 레이트 측정부(202)가 측정한 촬상 기기 등으로부터 인코더(200)로의 입력 영상의 프레임 레이트가 다른 경우에 입력 영상의 세선화 처리를 행하여 부호화 가능한 프레임 레이트로 변환한다. 프레임 레이트 측정부(202)는, 입력 영상의 프레임 레이트를 측정하여 픽처 세선화 판정부(201)에 통지한다.
픽처 세선화 판정부(201)는, 도 6에 도시된 처리를 실행한다. 우선, 인코더(200)가 입력 가능한 프레임 레이트(TA)를 설정하고(단계 S200), 입력 영상의 프레임 레이트를 CA라고 하면(단계 S201), CA로부터 세선화 프레임 인터벌 값 n=CA/(CA-TA)를 산출한다(단계 S202). 다음에, 픽처 번호 i를 1로, 픽처 세선화 수 d를 0으로 초기 설정하고(단계 S203), 이하의 처리를 행한다.
판정 대상인 픽처의 픽처 번호 i가 n에 그것까지의 픽처 세선화 수 d를 곱한 값을 넘는지의 여부로 픽처 i를 세선화할지의 여부를 결정한다. 즉, i≥n×(d+1)인지를 판정하여 i가 n×(d+1) 이상이면, 단계 S205, S206을 실행한다. 단계 S205에서는 d에 1을 가산하고, 단계 S206에서는 픽처 i를 세선화한다. i가 n×(d+1)보다 작으면, 픽처 i는 세선화되지 않는다. 전체 영상의 처리가 완료될 때까지(단계 S207이 YES임) i에 1을 가산하면서(단계 S208), 이상의 단계 S204∼S207을 반복한다.
이상과 같이, 종래기술에서는 인코더로의 입력 프레임 레이트와 부호화 가능한 프레임 레이트의 비율로부터, 영상의 픽처가 몇 장 입력되었다면 1장 픽처를 세선화하면 좋은지를 나타내는 픽처 세선화 수를 계산하고, 계산된 픽처 세선화 수에 따라 입력 영상의 세선화 처리를 행한다.
본 기술을 적용하기 위해서는 인코더로의 입력 프레임 레이트(CA)를 미리 알고 있을 필요가 있다. 그 때문에, 인코더로의 입력 영상의 프레임 레이트(CA)를, 예를 들어 도 5에 도시된 프레임 레이트 측정부(202)에 의해서 측정할 필요가 있다. 그러나, 입력 영상의 입력 타이밍이 요동하는 경우 등에는 측정시의 프레임 레이트가 항상 유지된다고는 할 수 없다. 이 때문에, 불필요하게 많은 픽처를 세선화하는 상태 혹은 세선화 수가 부족한 상태가 발생한다.
특허문헌 1: 일본공개특허 2005-328487호 공보
텔레비전 전화와 같은 영상 통신용 어플리케이션에서는, PC(Personal Computer; 퍼스널 컴퓨터)에 접속된 Web 카메라 등으로 영상을 입력하여 소프트웨어 인코더로 부호화하고, 부호화한 영상 스트림을 수신측으로 전송하는 것이 상정된다. 그때, CPU(central processing unit; 중앙 처리 장치) 자원의 부족 등의 이유로 카메라로 촬영한 영상이 인코더에 입력되는 타이밍이 일정하지 않고 요동하는 경우가 있다. 이러한 경우, 국소적으로 단위시간당 입력 프레임 레이트가 높아질 수 있다.
도 7에 영상의 입력 타이밍이 요동하는 예를 나타낸다. 카메라에 의한 촬영은 일정한 타이밍의 고정 프레임 레이트로 실행되고 있지만, 픽처 2가 입력된 직후에 CPU 자원이 부족하여 인코더 전단의 처리가 지연됨으로써 픽처 3 이후가 순차적으로 지연되어 인코더에 입력된다. 그 후, CPU 자원의 부족이 해소되고 인코더 전단에 밀려있던 영상이 한번에 인코더에 입력된다.
실시간 처리를 전제로 하는 인코더에서는, 단위시간당 부호화하는 픽처 매수가 늘어남으로써 국소적으로 부호량과 연산량이 증가한다. 도 7에 도시된 바와 같이, 시간 축을 일정 시간으로 구간으로 나누어 보면, 구간 1∼4는 픽처 매수가 1장인 데에 대해, 구간 5에서는 3장이 되어 다른 구간과 비교하여 약 3배의 부호량과 연산량이 필요하다. 이러한 인코더에 입력되는 영상의 타이밍 요동은 부호화된 영상 스트림을 전송하는 전송로의 용량을 초과하는 것에 의한 지연 발생, 또한 최악의 경우에는 패킷 로스(packet loss)가 발생함으로써 수신 측에서의 영상 품질 열화로 이어진다.
특허문헌 1에 기재된 기술과 같이, 인코더로의 입력 프레임 레이트와 부호화 가능한 프레임 레이트의 비율로부터, 영상의 픽처가 몇 장 입력되었다면 1장 픽처를 세선화하면 좋은지를 나타내는 픽처 세선화 수를 계산하고, 계산된 픽처 세선화 수에 따라 세선화 처리를 행하는 경우, 인코더로의 입력 프레임 레이트를 미리 알고 있을 필요가 있다.
그 때문에, 인코더로의 입력 프레임 레이트를 측정해도 다음과 같은 문제가 있다. 도 7의 예와 같이, 인코더로 부호화 가능한 프레임 수가 하나의 구간에 대해 1장인 경우, 구간 1∼4에 대해서는 인코더에 입력되는 프레임 수는 1장이다. 구간 1∼4의 측정 결과에 기초하면, 인코더에 입력되는 프레임 수는 부호화 가능한 프레임 수와 동일하기 때문에 프레임을 세선화할 필요는 없다. 그러나, 구간 5에 대해서는 입력되는 프레임 수는 3장으로 되어 있다. 구간 1∼4의 측정 결과에 기초하여 구간 5의 입력 영상에 대해 세선화를 실시하지 않는 경우, 부호화 가능한 프레임 매수를 넘는 영상이 인코더에 입력되게 된다.
본 발명은 상기 과제의 해결을 도모하고, 입력 영상의 입력 타이밍이 일정하지 않고 요동하는 경우라도 인코더의 연산량, 정보량을 일정한 범위 내로 억제할 수 있도록 하는 것을 목적으로 한다.
본 발명은 상기 과제를 해결하기 위해 부호화를 행하는 영상 프레임이 순간적으로 증가하는 일이 없도록 입력된 영상 프레임을 세선화할 지의 여부에 대한 판정을 행한다. 판정은 판정 대상 픽처가 입력된 시각으로부터 단위시간 내에서 과거에 입력된 프레임 매수가 소정의 문턱값을 넘는지의 여부로 행하고, 입력 영상의 입력 타이밍에서 결정되는 인코더로의 입력 프레임 레이트는 사용하지 않는다. 상기 프레임 매수가 문턱값을 넘는 경우에는 해당 프레임을 세선화하고, 그렇지 않은 경우에는 부호화를 행한다.
본 발명의 작용은 이하와 같다. 픽처 세선화 판정에는 인코더로의 입력 프레임 레이트는 사용하지 않는다. 그 때문에, 입력 영상의 입력 타이밍이 요동하고 있어 프레임 레이트가 항상 유지된다고는 할 수 없는 경우라도 양호한 판정 결과를 얻어 적절한 픽처 세선화를 행하는 것이 가능하다. 따라서, 입력 영상의 입력 타이밍이 요동하는 경우라도, 픽처 세선화 처리에 의해 부호화를 행하는 영상 프레임이 순간적으로 증가하는 것을 억제하는 것이 가능하다. 즉, 인코더 연산량의 순간적인 증가 및 영상 비트 스트림의 정보량의 순간적인 증가를 억제하는 것이 가능하다.
또한, 판정 대상 픽처가 입력된 시각으로부터 단위시간 내에서 과거에 입력된 픽처 매수가 설정 프레임 레이트로부터 계산되는 문턱값을 넘는지의 여부에 상응하는, 대상 픽처가 입력된 시점에서 미리 알고 있는 정보만을 사용하여 판정을 행하기 때문에, 지연이 발생하지 않는다.
또, 본 기술은 부호화 시의 정보도 이용하지 않기 때문에, 인코더와는 독립적으로 구성할 수 있고 종래의 인코더를 그대로 이용하는 것이 가능하다.
본 발명은 입력 영상의 입력 타이밍이 일정하지 않고 요동하는 경우라도 이하의 효과가 있다.
(1)지연을 늘리지 않고 인코더 연산량의 순간적인 증가를 억제할 수 있다.
(2)지연을 늘리지 않고 부호화 후의 영상 비트 스트림의 정보량의 순간적인 증가를 억제할 수 있다.
도 1은 본 발명의 실시예에 의한 픽처 세선화 처리의 예를 나타내는 도면이다.
도 2는 본 발명의 실시형태에 관한 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시형태에 관한 픽처 세선화 판정부의 흐름도이다.
도 4는 본 실시형태의 장치를 컴퓨터와 소프트웨어 프로그램을 이용하여 실현하는 경우의 시스템 구성 예를 나타내는 도면이다.
도 5는 종래기술에 관한 장치의 구성을 나타내는 블록도이다.
도 6은 종래기술에서의 픽처 세선화 판정부의 흐름도이다.
도 7은 영상의 입력 타이밍이 요동하는 예를 나타내는 도면이다.
이하, 도면을 이용하여 본 발명의 실시예 및 실시형태를 상세하게 설명한다.
인코더의 처리 성능 등에 기초하여 인코더에 입력 가능한 프레임 레이트(Fr)와 기준이 되는 프레임 레이트 측정 간격(Ti)을 설정한다. 기준 프레임 레이트 측정 간격(Ti)에 기초하여, 측정 간격에 입력 가능한 영상 픽처 매수(n)를 하기에 나타내는 식에 의해 미리 계산해 둔다.
n=Fr×Ti
부호화 개시 직후에 입력된 1∼n장째의 입력 영상 픽처에 대해서는 세선화 대상으로 하지 않고, 세선화 처리는 n장째의 픽처보다 미래의 입력 영상 픽처에 대해 행한다.
본 발명의 실시예에 의한 픽처 세선화 처리의 예를 도 1에 나타낸다. 도 1의 예에서는, 프레임 레이트(Fr) 및 기준 프레임 레이트 측정 간격(Ti)은 이하와 같다.
Fr=0.006(프레임/m초(밀리초))
Ti=500(m초)
측정 간격(Ti)에 입력 가능한 영상 픽처 매수(n)는 n=0.006×500=3(장)이다.
이하, 각 픽처가 본 처리에 입력된 시각, 즉 카메라 등의 인코더 전단으로부터 출력된 시각을 각 픽처의 타임 스탬프로서 타각(打刻)하여 판정에 사용한다. n=3이므로, 픽처 1∼3은 비-세선화 대상이 되어 인코더에 무조건 입력된다. 픽처 4가 입력된 시점에서 n(=3) 프레임의 과거의 프레임인 픽처 1의 타임 스탬프가 픽처 4가 입력된 시각으로부터 Ti(=500m초)만큼 과거 시각보다 더 과거인 경우, 다시 말하면 픽처 1의 타임 스탬프를 t1, 픽처 4의 타임 스탬프를 t4라고 한 경우, 아래 식이 성립되는지의 여부를 판정하여 아래 식이 성립될 때에는 픽처 4는 세선화되지 않는다.
(t4-t1)>Ti
도 1의 예의 경우, (t4-t1)>500이며, 이에 들어맞는다. 또, 이 판정은 픽처 4의 타임 스탬프를 기점으로서 단위시간인 프레임 레이트 측정 간격(Ti)만큼 과거의 시각과의 사이에 입력된 픽처 매수가 입력 가능한 영상 픽처 매수(n)를 넘는지의 여부의 판정과 등가이다.
픽처 5에 대해 마찬가지의 비교를 픽처 2와의 사이에서 실시하고, Ti(=500m초) 이내의 과거에 픽처 2가 존재하지 않는지의 여부를 판정한다. 즉, 아래 식의 판정을 행한다.
(t5-t2)>Ti
이 예에서는 (t5-t2)≤500이기 때문에, 픽처 5는 세선화된다.
다음에, 픽처 6에 대해 마찬가지의 비교를 행하는데, 비교 대상의 픽처를 탐색할 때에는 세선화된 픽처를 카운트하지 않는다. 픽처 5가 세선화되기 때문에, 픽처 6의 비교 대상은 픽처 2가 된다. 이 예에서는, (t6-t2)는 500(m초)보다 크다. 이 때문에, 픽처 6은 세선화되지 않는다.
도 2는 본 발명의 실시형태에 관한 장치의 구성을 나타내는 블록도이다. 도 3은 본 발명의 실시형태에 관한 픽처 세선화 판정부의 흐름도이다.
도 2에서, 인코더(100)는 예를 들어 H.264 등의 부호화 방식에 따라 입력 영상을 부호화하고, 부호화 영상 스트림을 출력하는 장치이다. 프레임 레이트 제어부(101)는, 인코더(100)로의 입력 영상의 프레임 레이트를 인코더(100)가 부호화 가능한 프레임 레이트에 맞도록 픽처의 세선화에 의해서 조정한다. 또, 인코더(100) 중에 프레임 레이트 제어부(101)가 통합되어 있어도 된다. 인코더(100)의 부호화 방식은 H.264에 한정하지 않고, MPEG(Moving Picture Experts Group)-2 등의 다른 부호화 방식으로도 된다.
입력 영상의 프레임은, 우선 프레임 레이트 제어부(101)에 입력된다. 타임 스탬프 타각부(102)는, 시각 측정부(103)가 측정한 시각에 따라 입력 프레임에 타임 스탬프(ti)를 타각한다. 픽처 세선화 판정부(104)는, 인코더(100)가 부호화 가능한 프레임 레이트(Fr)와 기준이 되는 프레임 레이트 측정 간격(Ti)으로부터 입력 프레임의 픽처를 세선화할지의 여부를 판정하여, 필요하면 입력 프레임의 픽처를 세선화하고 그 결과를 인코더(100)에 입력시킨다.
인코더(100)에 입력된 프레임은 블록으로 분할되고, 움직임 검출부(105)에 의해서 움직임 검출이 행해진다. 예측부(106)는, 움직임 검출부(105)에 의해 검출된 움직임 벡터에 의해서 예측을 행한다. 직교 변환부(107)는, 입력 신호와 예측 신호의 잔차 신호를 DCT 등에 의해 직교 변환한다. 양자화부(108)는 직교 변환에 의해 얻어진 변환 계수를 양자화하고, 결과를 역양자화부(109)와 가변장 부호화부(112)에 출력한다. 역양자화부(109)는 양자화 결과를 역양자화한다. 역직교 변환부(110)는, 역양자화에 의해 얻어진 변환 계수를 역직교 변환한다. 로컬 디코드 화상 기억부(111)에는, 역직교 변환부(110)의 출력인 잔차 복호 신호와 예측부(106)의 출력인 예측 신호를 가산하여 얻어진 로컬 디코드 화상이 저장된다. 이 로컬 디코드 화상은 나중의 예측 부호화에서의 참조 화상으로서 이용된다.
가변장 부호화부(112)는, 양자화부(108)의 출력을 가변장 부호화한다. 다중화부(113)는, 가변장 부호화부(112)의 출력이나 움직임 벡터 등의 부호화 정보를 다중화하여 버퍼부(114)에 출력한다. 버퍼부(114)에 저장된 데이터는 부호화 영상 스트림으로서 출력된다. 제어부(115)는, 발생 부호량 등에 의해 양자화부(108) 및 그 외의 부호화 제어를 행한다. 이상의 인코더(100)의 구성이나 동작은 도 5에서 설명한 종래의 인코더(200)와 마찬가지다. 이 인코더(100)로의 입력 프레임의 세선화 조정을 행하는 프레임 레이트 제어부(101)가 종래기술과 다르다.
본 실시형태에 관한 픽처 세선화 판정부(104)의 처리 흐름을 도 3에 따라 설명한다.
픽처 세선화 판정부(104)는, 우선, 인코더(100)가 부호화 가능한 프레임 레이트(입력 가능 프레임 레이트)(Fr)와 기준이 되는 프레임 레이트 측정 간격(Ti)을 설정하고(단계 S100), 입력 픽처 i의 타임 스탬프를 ti라고 한다(단계 S101). 다음에, 입력 가능한 영상 픽처 매수(n)를 n=Fr×Ti로부터 산출하고, 픽처 번호 i를 1로 설정하고, 픽처 세선화 수 d를 0으로 설정한다(단계 S102). 이후, 픽처마다 이하의 처리를 반복한다.
픽처 번호 i가 입력 가능한 영상 픽처 매수(n) 이하이면, 픽처 세선화 처리를 행하지 않고 픽처를 인코더(100)에 입력시킨다(단계 S103, S107). 픽처 번호 i가 입력 가능한 영상 픽처 매수(n)보다 크게 되었다면, 판정 대상 픽처 i의 타임 스탬프(ti)와 입력 가능한 영상 픽처 매수(n) 및 픽처 세선화 수(d)로부터 결정되는 (n+d)만큼 과거의 픽처에서의 타임 스탬프(t(i-n-d))와의 차분값이 기준이 되는 프레임 레이트 측정 간격(Ti)을 넘는지의 여부를 판정한다(단계 S104). 이 판정 방법은, 픽처 번호 i의 픽처(픽처 i)의 타임 스탬프(ti)를 기점으로서 단위시간인 프레임 레이트 측정 간격(Ti)만큼 과거의 시각과의 사이에 입력된 픽처 매수가 입력 가능한 영상 픽처 매수(n)를 넘는지의 여부의 판정과 등가이다.
타임 스탬프의 차분값(ti-t(i-n-d))이 프레임 레이트 측정 간격(Ti) 이하이면, 픽처 세선화 수 d에 1을 가산한 후(단계 S105), 그 픽처 i를 세선화하여 폐기한다(단계 S106). 한편, 타임 스탬프의 차분값(ti-t(i-n-d))이 프레임 레이트 측정 간격(Ti)보다 크면, 인코더(100)에서 그 픽처 i를 부호화 가능하므로, 픽처 i를 인코더(100)에 입력시킨다.
전체 영상의 처리가 완료될 때까지(단계 S108) i에 1을 가산하면서(단계 S109) 이상의 단계 S103∼S109를 반복한다.
이상 설명한 프레임 레이트 제어 및 인코더에 의한 부호화 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있고, 그 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하는 것도 가능하며 네트워크를 통해 제공하는 것도 가능하다.
도 4에, 도 2에 도시된 장치를 컴퓨터와 소프트웨어 프로그램에 의해서 구성하는 경우의 하드웨어 구성예를 나타낸다. 본 시스템은 프로그램을 실행하는 CPU(50)와, CPU(50)가 액세스하는 프로그램이나 데이터가 저장되는 RAM(random access memory; 랜덤 액세스 메모리) 등의 메모리(51)와, 카메라 등으로부터의 부호화 대상의 영상 신호를 입력하는 영상 신호 입력부(52)(디스크 장치 등에 의한 영상 신호를 기억하는 기억부로도 됨)와, 영상 부호화 프로그램(531) 및 프레임 레이트 제어 프로그램(532)을 기억하는 프로그램 기억 장치(53)와, 부호화 영상 스트림 출력부(54)(디스크 장치 등에 의한 부호화 영상 스트림을 기억하는 기억부로도 됨)가 버스로 접속된 구성으로 되어 있다.
CPU(50)는, 프로그램 기억 장치(53)로부터 메모리(51)에 로드된 영상 부호화 프로그램(531) 및 프레임 레이트 제어 프로그램(532)을 실행함으로써, 영상 신호 입력부(52)에 의해 입력된 입력 영상 신호를 부호화하고, 부호화 결과의 부호화 영상 스트림을 부호화 영상 스트림 출력부(54)를 통해 네트워크 등에 출력한다. 영상 부호화 프로그램(531)은 도 2의 인코더(100)의 기능을 실현하는 프로그램이며, 프레임 레이트 제어 프로그램(532)은 도 2의 프레임 레이트 제어부(101)의 기능을 실현하는 프로그램이다. 또, 프레임 레이트 제어 프로그램(532)을 영상 부호화 프로그램(531)의 일부로서 영상 부호화 프로그램(531) 내에 통합해도 된다.
이상, 도면을 참조하여 본 발명의 실시예 및 실시형태를 설명하였지만, 상기 실시예 및 실시형태는 본 발명의 예시에 불과하며, 본 발명이 상기 실시예 및 실시형태에 한정되는 것이 아님은 명백하다. 따라서, 본 발명의 정신 및 기술적 범위를 벗어나지 않는 범위에서의 구성요소의 추가, 생략, 치환, 기타의 변경을 행해도 된다.
본 발명은, 예를 들어 영상 부호화에 이용 가능하다. 본 발명에 의하면, 입력 영상의 입력 타이밍이 요동하는 경우라도 지연을 늘리지 않고 인코더 연산량 및 부호화 후의 영상 비트 스트림의 정보량의 순간적인 증가를 억제할 수 있다.
100 인코더
101 프레임 레이트 제어부
102 타임 스탬프 타각부
103 시각 측정부
104 픽처 세선화 판정부
105 움직임 검출부
106 예측부
107 직교 변환부
108 양자화부
109 역양자화부
110 역직교 변환부
111 로컬 디코드 화상 기억부
112 가변장 부호화부
113 다중화부
114 버퍼부
115 제어부

Claims (4)

  1. 삭제
  2. 입력 영상의 프레임 레이트를 인코더가 부호화 가능한 프레임 레이트로 조정하는 프레임 레이트 제어 방법으로서,
    기준이 되는 프레임 레이트 측정 간격(Ti)을 설정하는 과정;과
    세선화(細線化; thinning)의 판정 대상 픽처가 입력된 시각으로부터 소정의 시간만큼 과거에 입력된 픽처 매수가 소정의 문턱값을 넘는지의 여부를 판정하는 과정으로서, 상기 판정 대상 픽처의 타임 스탬프(ti)와, 상기 소정의 시간인 상기 프레임 레이트 측정 간격(Ti) 내에 상기 인코더로 부호화 가능한 픽처 매수(n) 및 픽처 세선화 수(d)로부터 결정되는 (n+d)만큼 과거의 픽처에서의 타임 스탬프(t(i-n-d))와의 차분값이 상기 프레임 레이트 측정 간격(Ti)을 넘는지의 여부에 의해, 상기 입력된 픽처 매수가 상기 소정의 문턱값을 넘는지의 여부를 판정하는 과정;과
    상기 판정 대상 픽처가 1∼n장째의 입력 영상 픽처가 아니고 또한 상기 입력된 픽처 매수가 상기 문턱값을 넘는 경우에는 상기 판정 대상 픽처를 폐기하고, 상기 판정 대상 픽처가 상기 1∼n장째의 입력 영상 픽처이거나 또는 상기 입력된 픽처 매수가 상기 문턱값을 넘지 않는 경우에는 상기 판정 대상 픽처를 부호화 대상으로 하는 과정;
    을 가지는, 프레임 레이트 제어 방법.
  3. 입력 영상의 프레임 레이트를 인코더가 부호화 가능한 프레임 레이트로 조정하는 프레임 레이트 제어 장치로서,
    기준이 되는 프레임 레이트 측정 간격(Ti)을 설정하는 설정부;와
    세선화(細線化; thinning)의 판정 대상 픽처가 입력된 시각으로부터 소정의 시간만큼 과거에 입력된 픽처 매수가 소정의 문턱값을 넘는지의 여부를 판정하는 판정부로서, 상기 판정 대상 픽처의 타임 스탬프(ti)와, 상기 소정의 시간인 상기 프레임 레이트 측정 간격(Ti) 내에 상기 인코더로 부호화 가능한 픽처 매수(n) 및 픽처 세선화 수(d)로부터 결정되는 (n+d)만큼 과거의 픽처에서의 타임 스탬프(t(i-n-d))와의 차분값이 상기 프레임 레이트 측정 간격(Ti)을 넘는지의 여부에 의해, 상기 입력된 픽처 매수가 상기 소정의 문턱값을 넘는지의 여부를 판정하는 판정부;와
    상기 판정 대상 픽처가 1∼n장째의 입력 영상 픽처가 아니고 또한 상기 입력된 픽처 매수가 상기 문턱값을 넘는 경우에는 상기 판정 대상 픽처를 폐기하고, 상기 판정 대상 픽처가 상기 1∼n장째의 입력 영상 픽처이거나 또는 상기 입력된 픽처 매수가 상기 문턱값을 넘지 않는 경우에는 상기 판정 대상 픽처를 부호화 대상으로 하는 세선화부;
    를 구비하는, 프레임 레이트 제어 장치.
  4. 청구항 2에 기재된 프레임 레이트 제어 방법을 컴퓨터에 실행시키기 위한 프레임 레이트 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020147017401A 2012-01-26 2013-01-21 프레임 레이트 제어 방법, 프레임 레이트 제어 장치 및 프레임 레이트 제어 프로그램 KR101659514B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2012-013773 2012-01-26
JP2012013773A JP5843631B2 (ja) 2012-01-26 2012-01-26 フレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラム
PCT/JP2013/051072 WO2013111701A1 (ja) 2012-01-26 2013-01-21 フレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラム

Publications (2)

Publication Number Publication Date
KR20140098197A KR20140098197A (ko) 2014-08-07
KR101659514B1 true KR101659514B1 (ko) 2016-09-23

Family

ID=48873421

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147017401A KR101659514B1 (ko) 2012-01-26 2013-01-21 프레임 레이트 제어 방법, 프레임 레이트 제어 장치 및 프레임 레이트 제어 프로그램

Country Status (10)

Country Link
US (1) US9712827B2 (ko)
EP (1) EP2779645A4 (ko)
JP (1) JP5843631B2 (ko)
KR (1) KR101659514B1 (ko)
CN (1) CN104471936B (ko)
BR (1) BR112014017565A8 (ko)
CA (1) CA2859631A1 (ko)
RU (1) RU2014129008A (ko)
TW (1) TWI536846B (ko)
WO (1) WO2013111701A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10425615B2 (en) 2017-05-10 2019-09-24 Mediatek Inc. Apparatuses and methods for dynamic frame rate adjustment
JP7208531B2 (ja) * 2019-05-31 2023-01-19 日本電信電話株式会社 同期制御装置、同期制御方法及び同期制御プログラム
CN111741305B (zh) * 2020-08-27 2020-11-24 科大讯飞(苏州)科技有限公司 视频编码方法、装置、电子设备和可读存储介质
CN112423072A (zh) * 2020-09-02 2021-02-26 上海幻电信息科技有限公司 直播场景下的视频推送方法及系统
CN114040247A (zh) * 2021-11-09 2022-02-11 新智认知数据服务有限公司 网络视频流的处理方法、电子设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125226A (ja) 2000-10-17 2002-04-26 Matsushita Electric Ind Co Ltd フレームレート制御方法及び画像伝送装置
JP2005328487A (ja) 2004-05-17 2005-11-24 Seiko Epson Corp 画像データ圧縮装置、電子機器及び画像データ圧縮方法
WO2008129648A1 (ja) 2007-04-13 2008-10-30 Mitsubishi Electric Corporation フレームレート変換装置、フレームレート変換方法及び動画像符号化装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2603931B2 (ja) * 1987-02-04 1997-04-23 株式会社東芝 画像伝送装置
EP0720383B1 (en) * 1994-12-30 2000-09-13 Daewoo Electronics Co., Ltd Method and apparatus for detecting motion vectors in a frame decimating video encoder
EP1357758A3 (en) * 1995-08-02 2004-10-27 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
US6633609B1 (en) * 1996-12-24 2003-10-14 Intel Corporation Method and apparatus for bit rate control in a digital video environment for arbitrary bandwidth
US6031584A (en) * 1997-09-26 2000-02-29 Intel Corporation Method for reducing digital video frame frequency while maintaining temporal smoothness
US6212232B1 (en) * 1998-06-18 2001-04-03 Compaq Computer Corporation Rate control and bit allocation for low bit rate video communication applications
JP4069524B2 (ja) * 1998-11-10 2008-04-02 ソニー株式会社 伝送方法及び装置
JP3324556B2 (ja) * 1999-04-13 2002-09-17 日本電気株式会社 映像記録方式
JP2001346216A (ja) * 2000-06-06 2001-12-14 Toshiba Corp 動画像圧縮方法および情報処理装置
KR100341063B1 (ko) * 2000-06-28 2002-06-20 송문섭 실시간 영상 통신을 위한 율제어 장치 및 그 방법
JP3823044B2 (ja) * 2001-10-31 2006-09-20 パナソニック モバイルコミュニケーションズ株式会社 タイムスタンプ値制御装置
KR100468726B1 (ko) * 2002-04-18 2005-01-29 삼성전자주식회사 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법
KR100484148B1 (ko) * 2002-07-27 2005-04-18 삼성전자주식회사 개선된 비트율 제어 방법과 그 장치
US7133448B2 (en) * 2002-11-07 2006-11-07 Silicon Integrated Systems Corp. Method and apparatus for rate control in moving picture video compression
US8054880B2 (en) * 2004-12-10 2011-11-08 Tut Systems, Inc. Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
MXPA05014209A (es) * 2003-06-26 2006-05-31 Thomson Licensing Control de pasos multiples de velocidad de video para emparejar restricciones de canal de ventana deslizable.
KR100505699B1 (ko) * 2003-08-12 2005-08-03 삼성전자주식회사 실시간 가변 비트율 제어로 화질을 개선시키는 비디오인코더의 인코딩율 제어기, 이를 구비한 비디오 데이터전송 시스템 및 그 방법
KR100594056B1 (ko) * 2003-09-01 2006-07-03 삼성전자주식회사 효율적인 비트율 제어를 위한 ｈ．263/ｍｐｅｇ 비디오인코더 및 그 제어 방법
US7330509B2 (en) * 2003-09-12 2008-02-12 International Business Machines Corporation Method for video transcoding with adaptive frame rate control
JP2008507915A (ja) 2004-07-20 2008-03-13 クゥアルコム・インコーポレイテッド 映像圧縮のための符号器補助式フレーム速度アップコンバージョンのための方法及び装置
TWI280798B (en) * 2004-09-22 2007-05-01 Via Tech Inc Apparatus and method of adaptive de-interlace of image
US7738561B2 (en) * 2004-11-16 2010-06-15 Industrial Technology Research Institute MPEG-4 streaming system with adaptive error concealment
JP4040052B2 (ja) 2005-05-24 2008-01-30 株式会社日立国際電気 画像データ圧縮装置
JP2006352529A (ja) * 2005-06-16 2006-12-28 Olympus Corp 撮像装置
JP4623650B2 (ja) * 2005-09-06 2011-02-02 パナソニック株式会社 動画像符号化装置，動画像符号化方法
US20080151998A1 (en) * 2006-12-21 2008-06-26 General Instrument Corporation Method and Apparatus for Providing Rate Control for Panel-Based Real Time Video Encoder
US8396118B2 (en) * 2007-03-19 2013-03-12 Sony Corporation System and method to control compressed video picture quality for a given average bit rate
CN101072339B (zh) 2007-06-12 2010-06-09 北京中星微电子有限公司 一种控制播放帧率同步的方法及系统
US8295344B2 (en) * 2007-10-22 2012-10-23 Broadcom Corporation Adaptive rate control for encoding of variable frame rate video sources
CN100589570C (zh) * 2008-01-08 2010-02-10 北京中星微电子有限公司 一种帧率控制方法及装置
WO2010150470A1 (ja) * 2009-06-23 2010-12-29 パナソニック株式会社 動画像符号化方法、動画像符号化装置、プログラム、および集積回路
US8902995B2 (en) * 2009-07-02 2014-12-02 Qualcomm Incorporated Transmitter quieting and reduced rate encoding
JP2012242821A (ja) * 2011-05-16 2012-12-10 Sony Mobile Communications Inc 表示画像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125226A (ja) 2000-10-17 2002-04-26 Matsushita Electric Ind Co Ltd フレームレート制御方法及び画像伝送装置
JP2005328487A (ja) 2004-05-17 2005-11-24 Seiko Epson Corp 画像データ圧縮装置、電子機器及び画像データ圧縮方法
WO2008129648A1 (ja) 2007-04-13 2008-10-30 Mitsubishi Electric Corporation フレームレート変換装置、フレームレート変換方法及び動画像符号化装置

Also Published As

Publication number Publication date
KR20140098197A (ko) 2014-08-07
TW201338546A (zh) 2013-09-16
CA2859631A1 (en) 2013-08-01
JP2013153366A (ja) 2013-08-08
EP2779645A4 (en) 2015-06-03
BR112014017565A2 (pt) 2017-06-13
WO2013111701A1 (ja) 2013-08-01
CN104471936B (zh) 2018-01-09
CN104471936A (zh) 2015-03-25
BR112014017565A8 (pt) 2017-07-04
EP2779645A1 (en) 2014-09-17
US20140341279A1 (en) 2014-11-20
US9712827B2 (en) 2017-07-18
JP5843631B2 (ja) 2016-01-13
TWI536846B (zh) 2016-06-01
RU2014129008A (ru) 2016-03-20

Similar Documents

Publication Publication Date Title
KR100468726B1 (ko) 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법
KR101659514B1 (ko) 프레임 레이트 제어 방법, 프레임 레이트 제어 장치 및 프레임 레이트 제어 프로그램
EP2120463B1 (en) Encoding bit rate control method, device, program, and recording medium containing the program
US8786711B2 (en) Image quality evaluation system, and apparatus, method and program used for the evaluation system
US10506257B2 (en) Method and system of video processing with back channel message management
US20100111180A1 (en) Scene change detection
KR20100101665A (ko) 비디오 인코딩에서 속도 제어 정확성을 위한 방법 및 장치
KR20010018573A (ko) 네트워크 대역폭에 적응적인 영상 압축 장치
KR20050012782A (ko) 코딩 중에 이미지 선명도를 최적화하기 위한 방법과 시스템
JP2004215275A (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
US9094685B2 (en) Efficient coding complexity estimation for video transcoding systems
CN115428451A (zh) 视频编码方法、编码器、系统以及计算机存储介质
KR100797396B1 (ko) 매크로블록 복잡도를 이용한 트랜스코딩 비트율 제어 방법및 장치
KR101058524B1 (ko) 비트량 제어장치 및 제어방법
JP4309703B2 (ja) 符号化誤差推定装置
KR20130032807A (ko) 동영상 부호화 장치 및 방법
CN113473125A (zh) 码率控制方法、设备、存储介质及产品
WO2007145137A1 (ja) 画像符号化装置および画像符号化方法
JPH07298270A (ja) 動き補償フレーム間予測符号化装置
KR20070056229A (ko) 영상 부호기 및 이의 관심 영역 검출방법
KR20120056443A (ko) 실시간 소스-채널 복합부호화 방법 및 그 장치
KR101697757B1 (ko) 영상 감시시스템의 디스플레이 채널 결정 시스템 및 이를 이용한 채널 결정방법
JP2012186569A (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム
WO2010035378A1 (ja) 画像符号化装置、画像符号化方法及び撮像システム
Lu et al. Efficient and low-cost video transcoding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190906

Year of fee payment: 4