WO2013111701A1 - フレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラム - Google Patents

フレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラム Download PDF

Info

Publication number
WO2013111701A1
WO2013111701A1 PCT/JP2013/051072 JP2013051072W WO2013111701A1 WO 2013111701 A1 WO2013111701 A1 WO 2013111701A1 JP 2013051072 W JP2013051072 W JP 2013051072W WO 2013111701 A1 WO2013111701 A1 WO 2013111701A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame rate
picture
input
encoder
pictures
Prior art date
Application number
PCT/JP2013/051072
Other languages
English (en)
French (fr)
Inventor
尚紀 小野
清水　淳
中村　健
正樹 北原
清介 京地
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to CN201380005516.9A priority Critical patent/CN104471936B/zh
Priority to RU2014129008A priority patent/RU2014129008A/ru
Priority to KR1020147017401A priority patent/KR101659514B1/ko
Priority to EP13740874.6A priority patent/EP2779645A4/en
Priority to BR112014017565A priority patent/BR112014017565A8/pt
Priority to US14/365,892 priority patent/US9712827B2/en
Priority to CA2859631A priority patent/CA2859631A1/en
Publication of WO2013111701A1 publication Critical patent/WO2013111701A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Definitions

  • the present invention relates to a frame rate control in video coding, and more particularly to a frame rate control method, a frame rate control device, and a frame rate control program for suppressing the amount of calculation and information in an encoder.
  • This application claims priority based on Japanese Patent Application No. 2012-013773 for which it applied to Japan on January 26, 2012, and uses the content here.
  • Patent Document 1 when the frame rate that can be encoded is different from the frame rate of the input video from the imaging device or the like to the encoder, a technique has been used in which the input video is thinned and converted into a frame rate that can be encoded ( Patent Document 1).
  • FIG. 5 is a block diagram showing the configuration of a device according to the prior art.
  • FIG. 6 shows a flowchart of the picture thinning determination unit in the prior art.
  • the encoder 200 includes a motion detection unit 203 that performs motion detection for each block obtained by dividing a frame, a prediction unit 204 that performs prediction based on a motion vector detected by the motion detection unit 203, and a residual signal between the input signal and the prediction signal.
  • an orthogonal transform unit 205 that quantizes the transform coefficient
  • an inverse quantization unit 207 that inversely quantizes the quantization result
  • An inverse orthogonal transform unit 208 for transforming, a local decoded image storage unit 209 for storing a local decoded image obtained by adding a prediction signal to the output of the inverse orthogonal transform unit 208, and an output of the quantization unit 206 as a variable length code
  • a variable length encoding unit 210 for encoding, a multiplexing unit 211 for multiplexing the encoded information, and a buffer for storing the encoded information and outputting it as an encoded video stream.
  • a fan unit 212, and a control unit 213 for performing quantization unit 206 other coding controlled by the generated code amount, and the like.
  • the picture thinning determination unit 201 performs thinning processing of the input video when the frame rate that can be encoded by the encoder 200 and the frame rate of the input video from the imaging device or the like measured by the frame rate measurement unit 202 to the encoder 200 are different. And convert to a frame rate that can be encoded.
  • the frame rate measurement unit 202 measures the frame rate of the input video and notifies the picture thinning determination unit 201 of the frame rate.
  • Whether or not the picture i is to be thinned is determined based on whether or not the picture number i of the picture to be judged exceeds the value obtained by multiplying n by the previous picture thinning-out number d. That is, it is determined whether i ⁇ n ⁇ (d + 1). If i is n ⁇ (d + 1) or more, steps S205 and S206 are executed. In step S205, 1 is added to d, and in step S206, picture i is thinned out. If i is smaller than n ⁇ (d + 1), picture i is not thinned out. Until the processing of all the images is completed (YES in step S207), the above steps S204 to S207 are repeated while adding 1 to i (step S208).
  • the picture thinning that indicates how many pictures of a video should be thinned out from the ratio of the input frame rate to the encoder and the frame rate that can be encoded is shown. The number is calculated, and the input video is thinned according to the calculated picture thinning number.
  • the input frame rate CA to the encoder needs to be known. Therefore, it is necessary to measure the frame rate CA of the video input to the encoder, for example, by the frame rate measuring unit 202 shown in FIG.
  • the frame rate measuring unit 202 shown in FIG. when the input timing of the input video fluctuates, the frame rate at the time of measurement is not always maintained. For this reason, a state where many pictures are unnecessarily thinned or a state where the number of thinnings is insufficient occurs.
  • a video communication application such as a videophone
  • a Web camera connected to a PC (personal computer)
  • encode it with a software encoder
  • the timing at which the video captured by the camera is input to the encoder may fluctuate due to lack of CPU (central processing unit) resources.
  • the input frame rate per unit time may locally increase.
  • Fig. 7 shows an example in which the video input timing fluctuates. Shooting by the camera is executed at a fixed frame rate at a fixed timing. However, immediately after picture 2 is input, CPU resources are insufficient, and the processing before the encoder is delayed so that pictures 3 and later are sequentially delayed. Entered. Thereafter, the shortage of CPU resources is resolved, and the video accumulated in the previous stage of the encoder is input to the encoder all at once.
  • the amount of code and the amount of computation increase locally as the number of pictures to be encoded per unit time increases.
  • FIG. 7 when the time axis is divided into sections at a fixed time, sections 1 to 4 have one picture, while section 5 has three pictures.
  • the code amount and the calculation amount are about three times as much.
  • Such fluctuations in the timing of the video input to the encoder may cause delay due to exceeding the capacity of the transmission path for transmitting the encoded video stream, and in the worst case, packet loss may occur. This leads to video quality degradation on the receiving side.
  • the ratio between the input frame rate to the encoder and the frame rate that can be encoded indicates how many picture pictures are input and one picture should be thinned out.
  • the input frame rate to the encoder needs to be known.
  • the number of frames input to the encoder is one for sections 1 to 4. Based on the measurement results in sections 1 to 4, the number of frames input to the encoder is equal to the number of frames that can be encoded, so there is no need to thin out the frames. However, for section 5, the number of input frames is three. If thinning is not performed on the input video in section 5 based on the measurement results in sections 1 to 4, video exceeding the number of frames that can be encoded is input to the encoder.
  • An object of the present invention is to solve the above-described problem and to suppress the calculation amount and information amount of an encoder within a certain range even when the input timing of the input video is not constant and fluctuates.
  • the present invention determines whether or not to thin out the input video frames so that the video frames to be encoded do not increase instantaneously. The determination is made based on whether or not the number of frames input during the unit time in the past from the input of the determination target picture exceeds a predetermined threshold, and the input frame rate to the encoder determined at the input timing of the input video Is not used. If the number of frames exceeds the threshold, the corresponding frame is thinned out, otherwise encoding is performed.
  • the operation of the present invention is as follows.
  • the input frame rate to the encoder is not used for the picture thinning determination. Therefore, even when the input timing of the input video fluctuates and the frame rate is not always maintained, it is possible to obtain a good determination result and perform appropriate picture thinning. Therefore, even when the input timing of the input video fluctuates, it is possible to suppress an instantaneous increase in video frames to be encoded by the picture thinning process. That is, it is possible to suppress an instantaneous increase in the calculation amount of the encoder and an instantaneous increase in the information amount of the video bitstream.
  • information that is known at the time the target picture is input such as whether the number of pictures input in the past unit time from the time when the target picture is input exceeds a threshold calculated from the set frame rate. No delay occurs because judgment is performed using only
  • the present technology does not use the information at the time of encoding, it can be configured independently from the encoder, and the conventional encoder can be used as it is.
  • the present invention has the following effects even when the input timing of the input video is not constant and fluctuates. (1) An instantaneous increase in the amount of calculation of the encoder can be suppressed without increasing the delay. (2) An instantaneous increase in the information amount of the encoded video bitstream can be suppressed without increasing the delay.
  • the frame rate F r that can be input to the encoder and the reference frame rate measurement interval T i are set. Based on the reference frame rate measurement interval T i , the number of video pictures n that can be input in the measurement interval is calculated in advance by the following formula.
  • n F r ⁇ T i
  • FIG. 1 An example of picture thinning-out processing according to an embodiment of the present invention is shown in FIG.
  • the frame rate F r and the reference frame rate measurement interval T i are as follows.
  • T i 500 (msec)
  • T i 500 msec
  • (t4-t1)> 500 which is the case.
  • This determination is, as a base point time stamp of the picture 4, the number of pictures which are inputted between the frame rate measurement interval T i only past time is a unit time is greater than the possible video picture number n Equivalent to the determination of whether or not.
  • FIG. 2 is a block diagram showing the configuration of the apparatus according to the embodiment of the present invention.
  • FIG. 3 is a flowchart of the picture thinning determination unit according to the embodiment of the present invention.
  • the encoder 100 is, for example, H.264. It is a device that encodes an input video according to an encoding method such as H.264 and outputs an encoded video stream.
  • the frame rate control unit 101 adjusts the frame rate of the input video to the encoder 100 by thinning out pictures so as to match the frame rate that can be encoded by the encoder 100.
  • the frame rate control unit 101 may be incorporated in the encoder 100.
  • the encoding method of the encoder 100 is H.264. In addition to H.264, other encoding methods such as MPEG (Moving Picture Experts Group) -2 may be used.
  • An input video frame is first input to the frame rate control unit 101.
  • the time stamp stamping unit 102 stamps the time stamp t i on the input frame according to the time measured by the time measuring unit 103.
  • the picture decimation determining unit 104 determines whether to decimate the picture of the input frame from the frame rate F r that can be encoded by the encoder 100 and the reference frame rate measurement interval T i, and if necessary, the picture of the input frame And the result is input to the encoder 100.
  • the frame input to the encoder 100 is divided into blocks, and motion detection is performed by the motion detection unit 105.
  • the prediction unit 106 performs prediction based on the motion vector detected by the motion detection unit 105.
  • the orthogonal transform unit 107 orthogonally transforms the residual signal between the input signal and the prediction signal using DCT or the like.
  • the quantization unit 108 quantizes the transform coefficient obtained by the orthogonal transform, and outputs the result to the inverse quantization unit 109 and the variable length coding unit 112.
  • the inverse quantization unit 109 inversely quantizes the quantization result.
  • the inverse orthogonal transform unit 110 performs inverse orthogonal transform on the transform coefficient obtained by inverse quantization.
  • the local decoded image storage unit 111 stores a local decoded image obtained by adding the residual decoded signal output from the inverse orthogonal transform unit 110 and the prediction signal output from the prediction unit 106. This local decoded image is used as a reference image in later predictive coding.
  • the variable length coding unit 112 performs variable length coding on the output of the quantization unit 108.
  • the multiplexing unit 113 multiplexes the encoding information such as the output of the variable length encoding unit 112 and the motion vector, and outputs the multiplexed information to the buffer unit 114.
  • the data stored in the buffer unit 114 is output as an encoded video stream.
  • the control unit 115 performs encoding control of the quantization unit 108 and others according to the generated code amount and the like.
  • the configuration and operation of the encoder 100 described above are the same as those of the conventional encoder 200 described with reference to FIG.
  • a frame rate control unit 101 that performs decimation adjustment of an input frame to the encoder 100 is different from the conventional technique.
  • F r inputtable frame rate
  • T i reference frame rate measurement interval
  • the picture is input to the encoder 100 without performing the picture thinning process (steps S103 and S107). If the picture number i is larger than the number of video pictures n that can be input, the past is determined by (n + d) determined from the time stamp t i of the picture i to be judged, the number of video pictures n that can be input, and the picture thinning-out number d. It is determined whether or not the difference value from the time stamp t (ind) in the picture exceeds the reference frame rate measurement interval T i (step S104).
  • This determination method as a base point time stamp t i of the picture number i of the picture (picture i), between the frame rate measurement interval T i only past time is a unit time, the entered number of pictures can be input This is equivalent to determining whether or not the number of video pictures n is exceeded.
  • step S105 If the difference value t i ⁇ t (ind) of the time stamp is less than or equal to the frame rate measurement interval T i , 1 is added to the picture decimation number d (step S105), and then the picture i is thinned out and discarded (step S105). S106). On the other hand, if the difference value t i ⁇ t (ind) of the time stamp is larger than the frame rate measurement interval T i , the picture i can be encoded by the encoder 100, so that the picture i is input to the encoder 100.
  • step S108 Until the processing of all the images is completed (step S108), the above steps S103 to S109 are repeated while adding 1 to i (step S109).
  • the frame rate control described above and the encoding process by the encoder can be realized by a computer and a software program, and the program can be recorded on a computer-readable recording medium or provided through a network. It is.
  • FIG. 4 shows a hardware configuration example when the apparatus shown in FIG. 2 is configured by a computer and a software program.
  • This system includes a CPU 50 that executes a program, a memory 51 such as a RAM (Random Access Memory) in which a program and data accessed by the CPU 50 are stored, and a video that inputs a video signal to be encoded from a camera.
  • a signal input unit 52 may be a storage unit that stores a video signal by a disk device or the like
  • a program storage device 53 that stores a video encoding program 531 and a frame rate control program 532
  • an encoded video stream output unit 54 disk A storage unit that stores an encoded video stream by a device or the like may be connected via a bus.
  • the CPU 50 executes the video encoding program 531 and the frame rate control program 532 loaded from the program storage device 53 to the memory 51, thereby encoding the input video signal input by the video signal input unit 52 and encoding results.
  • the encoded video stream is output to a network or the like via the encoded video stream output unit 54.
  • the video encoding program 531 is a program that realizes the function of the encoder 100 in FIG. 2
  • the frame rate control program 532 is a program that realizes the function of the frame rate control unit 101 in FIG.
  • the frame rate control program 532 may be incorporated in the video encoding program 531 as part of the video encoding program 531.
  • the present invention can be used for encoding video, for example. According to the present invention, even when the input timing of the input video fluctuates, an instantaneous increase in the amount of calculation of the encoder and the amount of information of the encoded video bitstream can be suppressed without increasing the delay. Can do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　入力映像の入力タイミングが一定でなく揺らいでいる場合でも，遅延を増やさずにエンコーダの演算量と符号化結果の情報量の瞬間的な増加を抑えることを目的とする。入力映像のフレームレートをエンコーダが符号化可能なフレームレートに調整するフレームレート制御方法は，間引きの判定対象ピクチャが入力された時刻から所定の時間だけ過去の間に入力されたピクチャ枚数が所定の閾値を超えているかどうかを判定する過程と，前記ピクチャ枚数が前記閾値を超えている場合には前記判定対象ピクチャを廃棄し，前記ピクチャ枚数が前記閾値を超えていない場合には前記判定対象ピクチャを符号化対象とする過程とを有する。

Description

フレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラム
　本発明は，映像符号化におけるフレームレート制御，特にエンコーダにおける演算量および情報量を抑制するためのフレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラムに関するものである。
　本願は，２０１２年１月２６日に日本へ出願された特願２０１２－０１３７７３号に基づき優先権を主張し，その内容をここに援用する。
　従来，符号化可能なフレームレートと撮像機器等からエンコーダへの入力映像のフレームレートが異なる場合に，入力映像の間引き処理を行って符号化可能なフレームレートに変換する技術が用いられている（特許文献１参照）。
　図５に従来技術に係る装置の構成を表すブロック図を示す。図６に従来技術におけるピクチャ間引き判定部のフローチャートを示す。
　図５において，エンコーダ２００は，例えばＨ．２６４等の符号化方式に従って入力映像を符号化し，符号化映像ストリームを出力する装置である。エンコーダ２００は，フレームを分割したブロックごとに動き検出を行う動き検出部２０３と，動き検出部２０３により検出された動きベクトルによって予測を行う予測部２０４と，入力信号と予測信号との残差信号をＤＣＴ（離散コサイン変換）等により直交変換する直交変換部２０５と，変換係数を量子化する量子化部２０６と，量子化結果を逆量子化する逆量子化部２０７と，変換係数を逆直交変換する逆直交変換部２０８と，逆直交変換部２０８の出力に予測信号を加算して得られたローカルデコード画像を記憶するローカルデコード画像記憶部２０９と，量子化部２０６の出力を可変長符号化する可変長符号化部２１０と，符号化情報を多重化する多重化部２１１と，符号化情報を記憶し，符号化映像ストリームとして出力するバッファ部２１２と，発生符号量等により量子化部２０６その他の符号化制御を行う制御部２１３とを備える。
　ピクチャ間引き判定部２０１は，エンコーダ２００が符号化可能なフレームレートと，フレームレート測定部２０２が測定した撮像機器等からエンコーダ２００への入力映像のフレームレートが異なる場合に，入力映像の間引き処理を行って符号化可能なフレームレートに変換する。フレームレート測定部２０２は，入力映像のフレームレートを測定し，ピクチャ間引き判定部２０１に通知する。
　ピクチャ間引き判定部２０１は，図６に示す処理を実行する。まず，エンコーダ２００が入力可能なフレームレートＴＡを設定し（ステップＳ２００），入力映像のフレームレートをＣＡとすると（ステップＳ２０１），ＣＡから間引きフレームインターバル値ｎ＝ＣＡ／（ＣＡ－ＴＡ）を算出する（ステップＳ２０２）。次に，ピクチャ番号ｉを１に，ピクチャ間引き数ｄを０に初期設定し（ステップＳ２０３），以下の処理を行う。
　判定対象であるピクチャのピクチャ番号ｉが，ｎにそれまでのピクチャ間引き数ｄを乗じた値を超えているかどうかで，ピクチャｉを間引くかどうかを決定する。すなわち，ｉ≧ｎ×（ｄ＋１）かどうかを判定し，ｉがｎ×（ｄ＋１）以上であれば，ステップＳ２０５，Ｓ２０６を実行する。ステップＳ２０５では，ｄに１を加算し，ステップＳ２０６では，ピクチャｉを間引く。ｉがｎ×（ｄ＋１）より小さければ，ピクチャｉは間引かない。全映像の処理が完了するまで（ステップＳ２０７がＹＥＳ），ｉに１を加算しながら（ステップＳ２０８），以上のステップＳ２０４～Ｓ２０７を繰り返す。
　以上のように，従来技術では，エンコーダへの入力フレームレートと符号化可能なフレームレートの比率から，映像のピクチャが何枚入力されたならば１枚ピクチャを間引けばよいかを示すピクチャ間引き数を計算し，計算されたピクチャ間引き数に従って入力映像の間引き処理を行う。
　本技術を適用するためには，エンコーダへの入力フレームレートＣＡが既知である必要がある。そのため，エンコーダへの入力映像のフレームレートＣＡを，例えば図５に示すフレームレート測定部２０２によって測定する必要がある。しかし，入力映像の入力タイミングが揺らいでいる場合などには，測定時のフレームレートが常に保持されるとは限らない。このため，不必要に多くのピクチャを間引いてしまうという状態，あるいは間引き数が足りないという状態が発生する。
日本特開２００５－３２８４８７号公報
　テレビ電話のような映像通信用アプリケーションにおいては，ＰＣ（パーソナル・コンピュータ）に接続されたＷｅｂカメラ等で映像を入力してソフトウェアエンコーダで符号化し，符号化した映像ストリームを受信側に伝送することが想定される。その際，ＣＰＵ（中央処理装置）資源の不足等の理由で，カメラで撮影した映像がエンコーダに入力されるタイミングが一定でなく揺らぐ場合がある。このような場合，局所的に単位時間あたりの入力フレームレートが高くなることがあり得る。
　図７に，映像の入力タイミングが揺らぐ例を示す。カメラによる撮影は一定のタイミングの固定フレームレートで実行されているが，ピクチャ２が入力された直後にＣＰＵ資源が不足し，エンコーダ前段の処理が遅延することでピクチャ３以降が順次遅れてエンコーダに入力される。その後，ＣＰＵ資源の不足が解消し，エンコーダ前段に溜まっていた映像が一気にエンコーダへ入力される。
　リアルタイム処理を前提とするエンコーダでは，単位時間当たりに符号化するピクチャ枚数が増えることにより，局所的に符号量と演算量が増加する。図７に示すように，時間軸を一定時間で区間に区切ってみると，区間１～４はピクチャ枚数が１枚であるのに対し，区間５では３枚となっており，他の区間と比較して約３倍の符号量と演算量が必要となっている。このようなエンコーダに入力される映像のタイミングの揺らぎは，符号化された映像ストリームを伝送する伝送路の容量を超過することによる遅延の発生，また，最悪の場合にはパケットロスが発生することで，受信側での映像品質劣化につながる。
　特許文献１に記載の技術のように，エンコーダへの入力フレームレートと符号化可能なフレームレートの比率から，映像のピクチャが何枚入力されたならば１枚ピクチャを間引けばよいかを示すピクチャ間引き数を計算し，計算されたピクチャ間引き数に従って間引き処理を行う場合，エンコーダへの入力フレームレートが既知である必要がある。
　そのため，エンコーダへの入力フレームレートを測定しても，次のような問題がある。図７の例のように，エンコーダで符号化可能なフレーム数が１つの区間に対して１枚の場合，区間１～４についてはエンコーダに入力されるフレーム数は１枚である。区間１～４の測定結果に基づけば，エンコーダに入力されるフレーム数は，符号化可能なフレーム数と等しいため，フレームを間引く必要はない。しかし，区間５については入力されるフレーム数は３枚となっている。区間１～４の測定結果に基づいて，区間５の入力映像に対して間引きを実施しない場合，符号化可能なフレーム枚数を超える映像がエンコーダに入力されてしまうこととなる。
　本発明は，上記課題の解決を図り，入力映像の入力タイミングが一定でなく揺らいでいる場合でも，エンコーダの演算量，情報量を一定の範囲内に抑制できるようにすることを目的とする。
　本発明は，上記課題を解決するため，符号化を行う映像フレームが瞬間的に増加することのないように，入力された映像フレームを間引くかどうかの判定を行う。判定は，判定対象ピクチャが入力された時刻から単位時間過去の間に入力されたフレーム枚数が所定の閾値を超えているかどうかで行い，入力映像の入力タイミングで決定されるエンコーダへの入力フレームレートは使用しない。上記フレーム枚数が閾値を超えている場合には該当フレームを間引き，そうでない場合には符号化を行う。
　本発明の作用は，以下のとおりである。ピクチャ間引き判定にはエンコーダへの入力フレームレートは使用しない。そのため，入力映像の入力タイミングが揺らいでいて，フレームレートが常に保持されるとは限らない場合にも良好な判定結果を得て，適切なピクチャ間引きを行うことが可能である。したがって，入力映像の入力タイミングが揺らいでいる場合でも，ピクチャ間引き処理により，符号化を行う映像フレームが瞬間的に増加することを抑えることが可能である。すなわち，エンコーダの演算量の瞬間的な増加および映像ビットストリームの情報量の瞬間的な増加を抑えることが可能である。
　また，判定対象ピクチャが入力された時刻から単位時間過去の間に入力されたピクチャ枚数が，設定フレームレートから計算される閾値を超えているかどうかという，対象ピクチャが入力された時点で既知の情報のみを使用して判定を行うため，遅延が生じない。
　なお，本技術は符号化時の情報も利用しないことから，エンコーダとは独立に構成でき，従来のエンコーダをそのまま利用することが可能である。
　本発明は，入力映像の入力タイミングが一定でなく揺らいでいる場合でも，以下の効果がある。
（１）遅延を増やさずに，エンコーダの演算量の瞬間的な増加を抑えることができる。
（２）遅延を増やさずに，符号化後の映像ビットストリームの情報量の瞬間的な増加を抑えることができる。
本発明の実施例によるピクチャ間引き処理の例を示す図である。 本発明の実施形態に係る装置の構成を示すブロック図である。 本発明の実施形態に係るピクチャ間引き判定部のフローチャートである。 本実施形態の装置をコンピュータとソフトウェアプログラムとを用いて実現する場合のシステムの構成例を示す図である。 従来技術に係る装置の構成を示すブロック図である。 従来技術におけるピクチャ間引き判定部のフローチャートである。 映像の入力タイミングが揺らぐ例を示す図である。
　以下，図面を用いて，本発明の実施例および実施形態を詳細に説明する。
　エンコーダの処理性能等に基づいて，エンコーダに入力可能なフレームレートＦr と基準となるフレームレート測定間隔Ｔi を設定する。基準フレームレート測定間隔Ｔi に基づき，測定間隔に入力可能な映像ピクチャ枚数ｎを下記に示す式により，あらかじめ計算しておく。
　　ｎ＝Ｆr ×Ｔi   
　エンコード開始直後に入力された１～ｎ枚目の入力映像ピクチャについては間引き対象とせず，間引き処理はｎ枚目のピクチャより未来の入力映像ピクチャについて行う。
　本発明の実施例によるピクチャ間引き処理の例を，図１に示す。図１の例では，フレームレートＦr および基準フレームレート測定間隔Ｔi は，以下のとおりである。
　　Ｆr ＝０．００６（フレーム／ｍ秒（ミリ秒））
　　Ｔi ＝５００（ｍ秒）
測定間隔Ｔi に入力可能な映像ピクチャ枚数ｎは，ｎ＝０．００６×５００＝３（枚）である。
　以下，各ピクチャが本処理に入力された時刻，すなわちカメラ等のエンコーダ前段から出力された時刻を各ピクチャのタイムスタンプとして打刻し，判定に使用する。ｎ＝３であるので，ピクチャ１～３は非間引き対象となり，エンコーダへ無条件に入力される。ピクチャ４が入力された時点で，ｎ（＝３）フレーム過去のフレームであるピクチャ１のタイムスタンプが，ピクチャ４が入力された時刻からＴi （＝５００ｍ秒）だけ過去の時刻よりもさらに過去である場合，言い換えると，ピクチャ１のタイムスタンプをｔ１，ピクチャ４のタイムスタンプをｔ４とした場合，下式が成り立つかどうかを判定し，下式が成り立つときにはピクチャ４は間引かない。
　　（ｔ４－ｔ１）＞Ｔi 
　図１の例の場合，（ｔ４－ｔ１）＞５００であり，これに当てはまる。なお，この判定は，ピクチャ４のタイムスタンプを基点として，単位時間であるフレームレート測定間隔Ｔi だけ過去の時刻との間に入力されたピクチャ枚数が，入力可能な映像ピクチャ枚数ｎを超えているかどうかの判定と等価である。
　ピクチャ５について同様の比較をピクチャ２との間で実施し，Ｔi （＝５００ｍ秒）以内の過去にピクチャ２が存在しないかどうかを判定する。すなわち，下式の判定を行う。
　　（ｔ５－ｔ２）＞Ｔi 
この例では，（ｔ５－ｔ２）≦５００であるため，ピクチャ５は間引かれる。
　次に，ピクチャ６について同様の比較を行うが，比較対象のピクチャを探索する際には間引かれたピクチャをカウントしない。ピクチャ５が間引かれているため，ピクチャ６の比較対象はピクチャ２となる。この例では，（ｔ６－ｔ２）は，５００（ｍ秒）より大きい。このため，ピクチャ６は間引かれない。
　図２は，本発明の実施形態に係る装置の構成を示すブロック図である。図３は，本発明の実施形態に係るピクチャ間引き判定部のフローチャートである。
　図２において，エンコーダ１００は，例えばＨ．２６４等の符号化方式に従って入力映像を符号化し，符号化映像ストリームを出力する装置である。フレームレート制御部１０１は，エンコーダ１００への入力映像のフレームレートを，エンコーダ１００が符号化可能なフレームレートに合うようにピクチャの間引きによって調整する。なお，エンコーダ１００の中に，フレームレート制御部１０１が組み込まれていてもよい。エンコーダ１００の符号化方式は，Ｈ．２６４に限らず，ＭＰＥＧ（Moving Picture Experts Group）－２などの他の符号化方式でもよい。
　入力映像のフレームは，まずフレームレート制御部１０１に入力される。タイムスタンプ打刻部１０２は，時刻測定部１０３が測定した時刻に従って，入力フレームにタイムスタンプｔi を打刻する。ピクチャ間引き判定部１０４は，エンコーダ１００が符号化可能なフレームレートＦr と基準となるフレームレート測定間隔Ｔi とから，入力フレームのピクチャを間引くかどうかを判定し，必要ならば入力フレームのピクチャを間引いて，その結果をエンコーダ１００に入力させる。
　エンコーダ１００に入力されたフレームは，ブロックに分割され，動き検出部１０５によって動き検出が行われる。予測部１０６は，動き検出部１０５により検出された動きベクトルによって予測を行う。直交変換部１０７は，入力信号と予測信号との残差信号をＤＣＴ等により直交変換する。量子化部１０８は，直交変換により得られた変換係数を量子化し，結果を逆量子化部１０９と可変長符号化部１１２へ出力する。逆量子化部１０９は，量子化結果を逆量子化する。逆直交変換部１１０は，逆量子化により得られた変換係数を逆直交変換する。ローカルデコード画像記憶部１１１には，逆直交変換部１１０の出力である残差復号信号と予測部１０６の出力である予測信号とを加算して得られたローカルデコード画像が格納される。このローカルデコード画像は，後の予測符号化における参照画像として用いられる。
　可変長符号化部１１２は，量子化部１０８の出力を可変長符号化する。多重化部１１３は，可変長符号化部１１２の出力や動きベクトル等の符号化情報を多重化し，バッファ部１１４に出力する。バッファ部１１４に格納されたデータは，符号化映像ストリームとして出力される。制御部１１５は，発生符号量等により量子化部１０８その他の符号化制御を行う。以上のエンコーダ１００の構成や動作は，図５で説明した従来のエンコーダ２００と同様である。このエンコーダ１００への入力フレームの間引き調整を行うフレームレート制御部１０１が従来技術と異なる。
　本実施形態に係るピクチャ間引き判定部１０４の処理の流れを，図３に従って説明する。
　ピクチャ間引き判定部１０４は，まず，エンコーダ１００が符号化可能なフレームレート（入力可能フレームレート）Ｆr と基準となるフレームレート測定間隔Ｔi とを設定し（ステップＳ１００），入力ピクチャｉのタイムスタンプをｔi とする（ステップＳ１０１）。次に，入力可能な映像ピクチャ枚数ｎを，ｎ＝Ｆr ×Ｔｉから算出し，ピクチャ番号ｉを１に設定し，ピクチャ間引き数ｄを０に設定する（ステップＳ１０２）。以後，ピクチャごとに以下の処理を繰り返す。
　ピクチャ番号ｉが入力可能な映像ピクチャ枚数ｎ以下であれば，ピクチャ間引き処理を行わないで，ピクチャをエンコーダ１００に入力させる（ステップＳ１０３，Ｓ１０７）。ピクチャ番号ｉが入力可能な映像ピクチャ枚数ｎより大きくなったならば，判定対象ピクチャｉのタイムスタンプｔi と，入力可能な映像ピクチャ枚数ｎおよびピクチャ間引き数ｄから決定される（ｎ＋ｄ）だけ過去のピクチャにおけるタイムスタンプｔ(i-n-d) との差分値が，基準となるフレームレート測定間隔Ｔi を超えているかどうかを判定する（ステップＳ１０４）。この判定方法は，ピクチャ番号ｉのピクチャ（ピクチャｉ）のタイムスタンプｔi を基点として，単位時間であるフレームレート測定間隔Ｔi だけ過去の時刻との間に，入力されたピクチャ枚数が入力可能な映像ピクチャ枚数ｎを超えているかどうかの判定と等価である。
　タイムスタンプの差分値ｔi －ｔ(i-n-d) が，フレームレート測定間隔Ｔi 以下であれば，ピクチャ間引き数ｄに１を加算した後（ステップＳ１０５），そのピクチャｉを間引いて廃棄する（ステップＳ１０６）。一方，タイムスタンプの差分値ｔi －ｔ(i-n-d) が，フレームレート測定間隔Ｔi より大きければ，エンコーダ１００でそのピクチャｉを符号化可能であるので，ピクチャｉをエンコーダ１００に入力させる。
　全映像の処理が完了するまで（ステップＳ１０８），ｉに１を加算しながら（ステップＳ１０９），以上のステップＳ１０３～Ｓ１０９を繰り返す。
  以上説明したフレームレート制御およびエンコーダによる符号化の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
  図４に，図２に示す装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ５０と，ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ（ランダム・アクセス・メモリ）等のメモリ５１と，カメラ等からの符号化対象の映像信号を入力する映像信号入力部５２（ディスク装置等による映像信号を記憶する記憶部でもよい）と，映像符号化プログラム５３１およびフレームレート制御プログラム５３２を記憶するプログラム記憶装置５３と，符号化映像ストリーム出力部５４（ディスク装置等による符号化映像ストリームを記憶する記憶部でもよい）とが，バスで接続された構成になっている。
　ＣＰＵ５０は，プログラム記憶装置５３からメモリ５１にロードされた映像符号化プログラム５３１およびフレームレート制御プログラム５３２を実行することにより，映像信号入力部５２により入力された入力映像信号を符号化し，符号化結果の符号化映像ストリームを，符号化映像ストリーム出力部５４を介してネットワーク等に出力する。映像符号化プログラム５３１は，図２のエンコーダ１００の機能を実現するプログラムであり，フレームレート制御プログラム５３２は，図２のフレームレート制御部１０１の機能を実現するプログラムである。なお，フレームレート制御プログラム５３２を，映像符号化プログラム５３１の一部として映像符号化プログラム５３１内に組み込んでもよい。
　以上，図面を参照して本発明の実施例および実施形態を説明してきたが，上記実施例および実施形態は本発明の例示に過ぎず，本発明が上記実施例および実施形態に限定されるものではないことは明らかである。したがって，本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加，省略，置換，その他の変更を行ってもよい。
　本発明は，例えば，映像の符号化に利用可能である。本発明によれば，入力映像の入力タイミングが揺らいでいる場合であっても，遅延を増やさずに，エンコーダの演算量および符号化後の映像ビットストリームの情報量の瞬間的な増加を抑えることができる。
　１００　エンコーダ
　１０１　フレームレート制御部
　１０２　タイムスタンプ打刻部
　１０３　時刻測定部
　１０４　ピクチャ間引き判定部
　１０５　動き検出部
　１０６　予測部
　１０７　直交変換部
　１０８　量子化部
　１０９　逆量子化部
　１１０　逆直交変換部
　１１１　ローカルデコード画像記憶部
　１１２　可変長符号化部
　１１３　多重化部
　１１４　バッファ部
　１１５　制御部

Claims (4)

  1. 　入力映像のフレームレートをエンコーダが符号化可能なフレームレートに調整するフレームレート制御方法であって，
    　間引きの判定対象ピクチャが入力された時刻から所定の時間だけ過去の間に入力されたピクチャ枚数が所定の閾値を超えているかどうかを判定する過程と，
    　前記ピクチャ枚数が前記閾値を超えている場合には前記判定対象ピクチャを廃棄し，前記ピクチャ枚数が前記閾値を超えていない場合には前記判定対象ピクチャを符号化対象とする過程と
    　を有するフレームレート制御方法。
  2. 　前記判定する過程では，
    　前記判定対象ピクチャのタイムスタンプｔi と，前記所定の時間である基準となるフレームレート測定間隔Ｔi 内に前記エンコーダで符号化可能なピクチャ枚数ｎおよびピクチャ間引き数ｄから決定される（ｎ＋ｄ）だけ過去のピクチャにおけるタイムスタンプｔ(i-n-d) との差分値が，前記フレームレート測定間隔Ｔi を超えているかどうかにより，前記入力されたピクチャ枚数が前記所定の閾値を超えているかどうかを判定する請求項１記載のフレームレート制御方法。
  3. 　入力映像のフレームレートをエンコーダが符号化可能なフレームレートに調整するフレームレート制御装置であって，
    　間引きの判定対象ピクチャが入力された時刻から所定の時間だけ過去の間に入力されたピクチャ枚数が所定の閾値を超えているかどうかを判定する判定部と，
    　前記ピクチャ枚数が前記閾値を超えている場合には前記判定対象ピクチャを廃棄し，前記ピクチャ枚数が前記閾値を超えていない場合には前記判定対象ピクチャを符号化対象とする間引き部と
    　を備えるフレームレート制御装置。
  4. 　請求項１または請求項２記載のフレームレート制御方法を，コンピュータに実行させるためのフレームレート制御プログラム。
PCT/JP2013/051072 2012-01-26 2013-01-21 フレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラム WO2013111701A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201380005516.9A CN104471936B (zh) 2012-01-26 2013-01-21 帧率控制方法以及帧率控制装置
RU2014129008A RU2014129008A (ru) 2012-01-26 2013-01-21 Способ управления частотой кадров, устройство управления частотой кадров и программа управления частотой кадров
KR1020147017401A KR101659514B1 (ko) 2012-01-26 2013-01-21 프레임 레이트 제어 방법, 프레임 레이트 제어 장치 및 프레임 레이트 제어 프로그램
EP13740874.6A EP2779645A4 (en) 2012-01-26 2013-01-21 METHOD FOR CONTROLLING A FRAME FREQUENCY; DEVICE FOR CONTROLLING A FRAME FREQUENCY; AND A PROGRAM FOR CONTROLLING A FRAME FREQUENCY
BR112014017565A BR112014017565A8 (pt) 2012-01-26 2013-01-21 método de controle da taxa de quadros, aparelho de controle da taxa de quadros, e programa de controle da taxa de quadros
US14/365,892 US9712827B2 (en) 2012-01-26 2013-01-21 Frame rate control method and apparatus for encoding image based on threshold value
CA2859631A CA2859631A1 (en) 2012-01-26 2013-01-21 Frame rate control method, frame rate control apparatus, and frame rate control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012013773A JP5843631B2 (ja) 2012-01-26 2012-01-26 フレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラム
JP2012-013773 2012-01-26

Publications (1)

Publication Number Publication Date
WO2013111701A1 true WO2013111701A1 (ja) 2013-08-01

Family

ID=48873421

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/051072 WO2013111701A1 (ja) 2012-01-26 2013-01-21 フレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラム

Country Status (10)

Country Link
US (1) US9712827B2 (ja)
EP (1) EP2779645A4 (ja)
JP (1) JP5843631B2 (ja)
KR (1) KR101659514B1 (ja)
CN (1) CN104471936B (ja)
BR (1) BR112014017565A8 (ja)
CA (1) CA2859631A1 (ja)
RU (1) RU2014129008A (ja)
TW (1) TWI536846B (ja)
WO (1) WO2013111701A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020198510A (ja) * 2019-05-31 2020-12-10 日本電信電話株式会社 同期制御装置、同期制御方法及び同期制御プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10425615B2 (en) 2017-05-10 2019-09-24 Mediatek Inc. Apparatuses and methods for dynamic frame rate adjustment
CN111741305B (zh) * 2020-08-27 2020-11-24 科大讯飞(苏州)科技有限公司 视频编码方法、装置、电子设备和可读存储介质
CN112423072A (zh) * 2020-09-02 2021-02-26 上海幻电信息科技有限公司 直播场景下的视频推送方法及系统
CN114040247A (zh) * 2021-11-09 2022-02-11 新智认知数据服务有限公司 网络视频流的处理方法、电子设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63191488A (ja) * 1987-02-04 1988-08-08 Toshiba Corp 画像伝送装置
JP2002125226A (ja) * 2000-10-17 2002-04-26 Matsushita Electric Ind Co Ltd フレームレート制御方法及び画像伝送装置
JP2005328487A (ja) 2004-05-17 2005-11-24 Seiko Epson Corp 画像データ圧縮装置、電子機器及び画像データ圧縮方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619281A (en) * 1994-12-30 1997-04-08 Daewoo Electronics Co., Ltd Method and apparatus for detecting motion vectors in a frame decimating video encoder
EP1357758A3 (en) * 1995-08-02 2004-10-27 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
US6633609B1 (en) * 1996-12-24 2003-10-14 Intel Corporation Method and apparatus for bit rate control in a digital video environment for arbitrary bandwidth
US6031584A (en) * 1997-09-26 2000-02-29 Intel Corporation Method for reducing digital video frame frequency while maintaining temporal smoothness
US6212232B1 (en) * 1998-06-18 2001-04-03 Compaq Computer Corporation Rate control and bit allocation for low bit rate video communication applications
JP4069524B2 (ja) * 1998-11-10 2008-04-02 ソニー株式会社 伝送方法及び装置
JP3324556B2 (ja) * 1999-04-13 2002-09-17 日本電気株式会社 映像記録方式
JP2001346216A (ja) * 2000-06-06 2001-12-14 Toshiba Corp 動画像圧縮方法および情報処理装置
KR100341063B1 (ko) * 2000-06-28 2002-06-20 송문섭 실시간 영상 통신을 위한 율제어 장치 및 그 방법
JP3823044B2 (ja) * 2001-10-31 2006-09-20 パナソニック モバイルコミュニケーションズ株式会社 タイムスタンプ値制御装置
KR100468726B1 (ko) * 2002-04-18 2005-01-29 삼성전자주식회사 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법
KR100484148B1 (ko) * 2002-07-27 2005-04-18 삼성전자주식회사 개선된 비트율 제어 방법과 그 장치
US7133448B2 (en) * 2002-11-07 2006-11-07 Silicon Integrated Systems Corp. Method and apparatus for rate control in moving picture video compression
US8054880B2 (en) * 2004-12-10 2011-11-08 Tut Systems, Inc. Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
JP2007525063A (ja) * 2003-06-26 2007-08-30 トムソン ライセンシング スライディング・ウィンドウ・チャネル制限に一致させるようマルチパス・ビデオレートを制御する方法
KR100505699B1 (ko) * 2003-08-12 2005-08-03 삼성전자주식회사 실시간 가변 비트율 제어로 화질을 개선시키는 비디오인코더의 인코딩율 제어기, 이를 구비한 비디오 데이터전송 시스템 및 그 방법
KR100594056B1 (ko) * 2003-09-01 2006-07-03 삼성전자주식회사 효율적인 비트율 제어를 위한 ｈ．263/ｍｐｅｇ 비디오인코더 및 그 제어 방법
US7330509B2 (en) 2003-09-12 2008-02-12 International Business Machines Corporation Method for video transcoding with adaptive frame rate control
EP2096873A3 (en) 2004-07-20 2009-10-14 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate conversion (EA-FRUC) for video compression
TWI280798B (en) * 2004-09-22 2007-05-01 Via Tech Inc Apparatus and method of adaptive de-interlace of image
US7738561B2 (en) * 2004-11-16 2010-06-15 Industrial Technology Research Institute MPEG-4 streaming system with adaptive error concealment
JP4040052B2 (ja) 2005-05-24 2008-01-30 株式会社日立国際電気 画像データ圧縮装置
JP2006352529A (ja) * 2005-06-16 2006-12-28 Olympus Corp 撮像装置
JP4623650B2 (ja) * 2005-09-06 2011-02-02 パナソニック株式会社 動画像符号化装置，動画像符号化方法
US20080151998A1 (en) * 2006-12-21 2008-06-26 General Instrument Corporation Method and Apparatus for Providing Rate Control for Panel-Based Real Time Video Encoder
US8396118B2 (en) * 2007-03-19 2013-03-12 Sony Corporation System and method to control compressed video picture quality for a given average bit rate
JPWO2008129648A1 (ja) 2007-04-13 2010-07-22 三菱電機株式会社 フレームレート変換装置、フレームレート変換方法及び動画像符号化装置
CN101072339B (zh) 2007-06-12 2010-06-09 北京中星微电子有限公司 一种控制播放帧率同步的方法及系统
US8295344B2 (en) * 2007-10-22 2012-10-23 Broadcom Corporation Adaptive rate control for encoding of variable frame rate video sources
CN100589570C (zh) * 2008-01-08 2010-02-10 北京中星微电子有限公司 一种帧率控制方法及装置
CN102138327B (zh) * 2009-06-23 2014-09-24 松下电器产业株式会社 运动图像编码方法、运动图像编码装置以及集成电路
US8902995B2 (en) * 2009-07-02 2014-12-02 Qualcomm Incorporated Transmitter quieting and reduced rate encoding
JP2012242821A (ja) * 2011-05-16 2012-12-10 Sony Mobile Communications Inc 表示画像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63191488A (ja) * 1987-02-04 1988-08-08 Toshiba Corp 画像伝送装置
JP2002125226A (ja) * 2000-10-17 2002-04-26 Matsushita Electric Ind Co Ltd フレームレート制御方法及び画像伝送装置
JP2005328487A (ja) 2004-05-17 2005-11-24 Seiko Epson Corp 画像データ圧縮装置、電子機器及び画像データ圧縮方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2779645A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020198510A (ja) * 2019-05-31 2020-12-10 日本電信電話株式会社 同期制御装置、同期制御方法及び同期制御プログラム
JP7208531B2 (ja) 2019-05-31 2023-01-19 日本電信電話株式会社 同期制御装置、同期制御方法及び同期制御プログラム

Also Published As

Publication number Publication date
BR112014017565A8 (pt) 2017-07-04
US9712827B2 (en) 2017-07-18
JP5843631B2 (ja) 2016-01-13
KR101659514B1 (ko) 2016-09-23
KR20140098197A (ko) 2014-08-07
JP2013153366A (ja) 2013-08-08
TWI536846B (zh) 2016-06-01
CN104471936A (zh) 2015-03-25
CA2859631A1 (en) 2013-08-01
TW201338546A (zh) 2013-09-16
EP2779645A4 (en) 2015-06-03
US20140341279A1 (en) 2014-11-20
RU2014129008A (ru) 2016-03-20
CN104471936B (zh) 2018-01-09
EP2779645A1 (en) 2014-09-17
BR112014017565A2 (pt) 2017-06-13

Similar Documents

Publication Publication Date Title
US7876821B2 (en) Method and an apparatus for controlling the rate of a video sequence; a video encoding device
WO2013111701A1 (ja) フレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラム
KR100601615B1 (ko) 네트워크 대역폭에 적응적인 영상 압축 장치
US7054497B2 (en) Method and system for optimizing image sharpness during coding and image enhancement
US8494047B2 (en) Encoding device, method for adjusting target amount of code and record medium
KR20040048289A (ko) 트랜스코딩 장치 및 방법, 이에 사용되는 타겟비트할당 및픽처 복잡도 예측 장치 및 방법
KR20130032807A (ko) 동영상 부호화 장치 및 방법
KR100797396B1 (ko) 매크로블록 복잡도를 이용한 트랜스코딩 비트율 제어 방법및 장치
KR20040007818A (ko) 동영상 부호화를 위한 ｄｃｔ연산량 조절 방법 및 그 장치
KR20060007842A (ko) 비트량 제어장치 및 제어방법
Yunus et al. A rate control model of MPEG-4 encoder for video transmission over Wireless Sensor Network
JP2005045736A (ja) 画像信号符号化方法及び装置、符号化制御装置並びにプログラム
JP2007336005A (ja) 画像符号化装置および画像符号化方法
JP2008182408A (ja) 動画像符号化装置及び方法
KR100918499B1 (ko) 멀티 패스 인코딩 장치 및 그 방법
KR100949755B1 (ko) 비디오 시퀀스의 레이트를 제어하는 방법 및 장치, 비디오부호화 장치
WO2010035378A1 (ja) 画像符号化装置、画像符号化方法及び撮像システム
Lu et al. Efficient and low-cost video transcoding
JP4458923B2 (ja) 画像処理装置
JP4239734B2 (ja) 符号化装置、および、符号化方法、並びに、プログラム
EP2160036A2 (en) Method of bit rate control in digital video compression systems based on MJPEG
JP2007329787A (ja) 画像符号化装置
JP2010187337A (ja) 動画像変換装置及び動画像変換方法
JP2007158804A (ja) 符号量制御装置、符号量制御方法及び符号量制御プログラム
JP2000092501A (ja) 可変レート画像符号化装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13740874

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2013740874

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013740874

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14365892

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2859631

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 20147017401

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2014129008

Country of ref document: RU

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014017565

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014017565

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140716