JP4834535B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4834535B2 JP4834535B2 JP2006346075A JP2006346075A JP4834535B2 JP 4834535 B2 JP4834535 B2 JP 4834535B2 JP 2006346075 A JP2006346075 A JP 2006346075A JP 2006346075 A JP2006346075 A JP 2006346075A JP 4834535 B2 JP4834535 B2 JP 4834535B2
- Authority
- JP
- Japan
- Prior art keywords
- recording
- encoding
- moving image
- unit
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、撮影画像を圧縮記録する撮像装置に関する。 The present invention relates to an imaging apparatus that compresses and records captured images.
近年、デジタルビデオカメラやDVD(Digital Versatile Disk)レコーダを始めとした映像記録装置における高能率符号化技術として、MPEG2やH.264等の符号化方式が確立されている。これらの符号化方式に関して、符号化効率を向上させるために様々な検討が従来から行われている。 In recent years, MPEG2 and H.264 encoding methods have been established as high-efficiency encoding techniques in video recording apparatuses such as digital video cameras and DVD (Digital Versatile Disk) recorders. Various studies have been made on these encoding methods in order to improve the encoding efficiency.
デジタルビデオカメラのようにカメラ処理部と符号化(記録)部を有する撮像装置では、カメラ処理部の制御データより得られるカメラステータス情報(例えば、フォーカス位置及びホワイトバランス値など)を取得できる。カメラステータス情報に応じて、符号化処理の符号量制御で使用される目標符号量等の符号化パラメータ(例えば、ビットレート及び画像の複雑度など)を設定することにより、符号化効率を向上させることが知られている(例えば、特許文献1参照)。 An imaging apparatus having a camera processing unit and an encoding (recording) unit such as a digital video camera can acquire camera status information (for example, a focus position and a white balance value) obtained from control data of the camera processing unit. Encoding efficiency is improved by setting encoding parameters (for example, bit rate, image complexity, etc.) such as a target code amount used in the code amount control of the encoding process according to the camera status information. It is known (see, for example, Patent Document 1).
MPEG2符号化方式の符号量制御を、リファレンスソフトエンコーダであるTM5(Test Model Editing Committee: "Test Model 5", ISO/IEC, JTC/SC29/WG11/n0400 (Apr.1993))の例に、説明する。TM5の符号量制御は以下の3つのステップに分けて行われる。
(ステップ1)
The code amount control of the MPEG2 encoding method is explained using the example of TM5 (Test Model Editing Committee: "
(Step 1)
今から符号化を行うピクチャの目標符号量を決定する。現在のGOP(Group Of Pictures)において利用可能な符号量であるRgopが、以下の式(1)により演算される。
Rgop=(ni+np+nb)×(bits_rate/picture_rate) (1)
ここで、ni,np,nbはそれぞれ、I,P,Bピクチャの現GOPにおける残りのピクチャ数であり、bits_rateは目標ビットレート、picture_rateはピクチャレートを表す。
The target code amount of the picture to be encoded from now is determined. Rgop, which is a code amount that can be used in the current GOP (Group Of Pictures), is calculated by the following equation (1).
Rgop = (ni + np + nb) × (bits_rate / picture_rate) (1)
Here, ni, np, and nb are the number of remaining pictures in the current GOP of I, P, and B pictures, bits_rate represents the target bit rate, and picture_rate represents the picture rate.
更に、I,P,Bピクチャ毎に符号化結果からピクチャの複雑度を以下の式(2)で求める。
Xi=Ri×Qi
Xp=Rp×Qp
Xb=Rb×Qb (2)
ここで、Xi,Xp,Xbは、コンプレキシティ(Complexity)とも呼ばれる。Ri、Rp及びRbは、それぞれI,P,Bピクチャを符号化した結果得られる符号量である。Qi、Qp及びQbは、それぞれI,P,Bピクチャ内のすべてのマクロブロックにおけるQスケールの平均値である。
Further, the complexity of the picture is obtained from the encoding result for each of the I, P, and B pictures by the following equation (2).
Xi = Ri × Qi
Xp = Rp × Qp
Xb = Rb × Qb (2)
Here, Xi, Xp, and Xb are also referred to as complexity. Ri, Rp, and Rb are code amounts obtained as a result of encoding I, P, and B pictures, respectively. Qi, Qp and Qb are average values of Q scales in all macroblocks in the I, P and B pictures, respectively.
式(1)及び式(2)から、I,P,Bピクチャそれぞれについての目標符号量Ti,Tp及びTbは、以下の式(3)で求めることができる。
Ti=max{(Rgop/(1+((Np×Xp)/(Xi×Kp))+((Nb×Xb)/(Xi×Kb))))(bit_rate/(8×picture_rate))}
Tp=max{(Rgop/(Np+(Nb×Kp×Xb)/(Kb×Xp)))(bit_rate/(8×picture_rate))}
Tb=max{(Rgop/(Nb+(Np×Kb×Xp)/(Kp×Xb)))(bit_rate/(8×picture_rate))} (3)
ただし、Np及びNbは、現GOP内のそれぞれP及びBピクチャの残りの枚数であり、定数Kp,Kbは、
Kp=1.0
Kb=1.4
である。
(ステップ2)
From the equations (1) and (2), the target code amounts Ti, Tp, and Tb for each of the I, P, and B pictures can be obtained by the following equation (3).
Ti = max {(Rgop / (1 + ((Np × Xp) / (Xi × Kp)) + ((Nb × Xb) / (Xi × Kb)))) (bit_rate / (8 × picture_rate))}
Tp = max {(Rgop / (Np + (Nb × Kp × Xb) / (Kb × Xp))) (bit_rate / (8 × picture_rate))}
Tb = max {(Rgop / (Nb + (Np × Kb × Xp) / (Kp × Xb))) (bit_rate / (8 × picture_rate))} (3)
Where Np and Nb are the remaining number of P and B pictures in the current GOP, respectively, and the constants Kp and Kb are
Kp = 1.0
Kb = 1.4
It is.
(Step 2)
I,P及びBピクチャ毎に3つの仮想バッファを使用し、式(3)で求めた目標符号量と発生符号量との差分を管理する。仮想バッファのデータ蓄積量をフィードバックし、そのデータ蓄積量に基づいて実際の発生符号量が目標符号量に近づくように、次にエンコードするマクロブロックに対するQスケールの参照値が設定される。例えば、現在のピクチャタイプがPピクチャの場合には、目標符号量と発生符号量との差分は、以下の式(4)に従う演算処理により求めることができ、
dp,j =dp,0+Bp,j-1-((Tp×(j-1))/MB_cnt) (4)
となる。ここで、添字jはピクチャ内のマクロブロックの番号であり、dp,0は仮想バッファの初期フルネスを示し、Bp,jはj番目のマクロブロックまでの総符号量、MB_cntはピクチャ内のマクロブロック数を示す。
Three virtual buffers are used for each I, P, and B picture, and the difference between the target code amount and the generated code amount obtained by the equation (3) is managed. The data accumulation amount of the virtual buffer is fed back, and the reference value of the Q scale for the macroblock to be encoded next is set so that the actual generated code amount approaches the target code amount based on the data accumulation amount. For example, when the current picture type is a P picture, the difference between the target code amount and the generated code amount can be obtained by an arithmetic process according to the following equation (4):
d p, j = d p, 0 + B p, j-1 -((Tp × (j-1)) / MB_cnt) (4)
It becomes. Here, the subscript j is the number of the macroblock in the picture, dp , 0 indicates the initial fullness of the virtual buffer, Bp , j is the total code amount up to the jth macroblock, and MB_cnt is in the picture Indicates the number of macroblocks.
次に、dp,j(以後、djと略す。) を用いて、j番目のマクロブロックにおけるQスケールの参照値を求めると、下記式(5)ように、
Qj= (dj×31)/r (5)
となる。ここで、
r = 2×bits_rate/picture_rate (6)
である。
(ステップ3)
Next, using d p, j (hereinafter abbreviated as d j ), the reference value of the Q scale in the j-th macroblock is obtained as shown in the following equation (5).
Q j = (d j × 31) / r (5)
It becomes. here,
r = 2 x bits_rate / picture_rate (6)
It is.
(Step 3)
視覚特性、即ち、復号画像の画質が良好になるように、エンコード対象のマクロブロックの空間アクティビティに基づいて、量子化スケールを最終的に決定する。具体的には、下記式(7)で、
ACTj=1+min(vblk1,vblk2,……,vblk8) (7)
を計算する。式(7)で、vblk1〜vblk4はフレーム構造のマクロブロックにおける8×8画素のサブブロックにおける空間アクティビティを示し、vblk5〜vblk8はフィールド構造のマクロブロックにおける8×8画素のサブブロックの空間アクティビティを示す。ここで、空間アクティビチィの演算は、以下の式(8)、(9)式により求めることができる。
vblk = Σ(Pi−Pbar)2 (8)
Pbar = (1/64 )×ΣPi (9)
ここで、Piはi番目のマクロブロックにおける画素値であり、式(8)、(9)中のΣはi=1〜64の累積加算である。
The quantization scale is finally determined based on the spatial activity of the macroblock to be encoded so that the visual characteristics, that is, the quality of the decoded image is improved. Specifically, in the following formula (7):
ACT j = 1 + min (vblk1, vblk2, ……, vblk8) (7)
Calculate In Equation (7), vblk1 to vblk4 indicate the spatial activity in the 8 × 8 pixel sub-block in the frame structure macroblock, and vblk5 to vblk8 indicate the spatial activity in the 8 × 8 pixel subblock in the field structure macroblock. Show. Here, the calculation of the space activity can be obtained by the following equations (8) and (9).
vblk = Σ (P i −P bar ) 2 (8)
P bar = (1/64) × ΣP i (9)
Here, P i is a pixel value in the i-th macroblock, and Σ in the equations (8) and (9) is a cumulative addition of i = 1 to 64.
次に、式(7)で求めたACTjを、以下の(10)式により正規化する。
N_ACTj=(2×ACTj+AVG_ACT)/(ACTj+AVG_ACT) (10)
ここで、AVG_ACTは、以前に符号化したピクチャにおけるACTjの参照値である。最終的に、量子化スケール(Qスケール値)MQUANTjは、以下の式(11)
MQUANTj=Qj×N_ACTj (11)
により、求められる。
Next, ACT j obtained by the equation (7) is normalized by the following equation (10).
N_ACT j = (2 x ACT j + AVG_ACT) / (ACT j + AVG_ACT) (10)
Here, AVG_ACT is a reference value of ACT j in a previously encoded picture. Finally, the quantization scale (Q scale value) MQUANT j is expressed by the following equation (11).
MQUANT j = Q j × N_ACT j (11)
Is required.
以上のTM5のアルゴリズムによれば、ステップ1の処理によりIピクチャに対して多くの符号量を割り当ており、更に、ピクチャ内においては、視覚的に劣化の目立ちやすい平坦部(空間アクティビティが低い部分)に符号量が多く配分されるようになる。
従来のTM5方式では、符号化を行う初期値に関して特に規定がなく、ステップ1で目標符号量を算出する際に使用する各ピクチャのコンプレキシティ(複雑度)及びフルネス値(初期量子化スケールコード)には、経験的に決められた数値を用いている。そのため、記録開始後の数GOPに対して、画像の特徴に応じた目標符号量を設定する事が難しい。 In the conventional TM5 system, there is no particular definition regarding the initial value to be encoded, and the complexity (complexity) and fullness value (initial quantization scale code) of each picture used when calculating the target code amount in step 1 ) Uses numerical values determined empirically. For this reason, it is difficult to set a target code amount according to image characteristics for several GOPs after the start of recording.
また、ステップ3で使用する平均アクティビティ(AVG_ACT)にも、同様に経験的に決められた数値(TM5では400)を用いている。そのため、符号化の1フレーム目における画像の難易度に応じてアクティビティが極端に小さい又は大きい方に偏る可能性がある。
The average activity (AVG_ACT) used in
特許文献1に記載されるように、カメラステータス情報を用いて目標符号量等の符号化初期パラメータを設定する方法でも、符号化処理部が動作して符号化処理が実行されている期間のカメラステータス情報を用いて符号化パラメータを設定する。したがって、実際の記録を行わないカメラスタンバイ(スリープ)状態においても符号化処理部を動作させなければならず、電力を無駄に消費することになる。
As described in
本発明は、上記の問題点を鑑みてなされたものであり、使用状況に応じた適切な符号化パラメータを設定でき、しかも電力消費を低減できる撮像装置を提示することを目的とする。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an imaging apparatus that can set an appropriate encoding parameter in accordance with a use situation and can reduce power consumption.
上記課題を解決するために、被写体を撮像して映像信号を出力するカメラ部と、当該カメラ部から出力される映像信号を一連の動画像として、当該動画像を画像の特徴に応じて変化する目標符号量に従って圧縮符号化する符号化部と、当該動画像の記録の開始及び終了を指示する指示手段と、第1の動画像を記録中のときに、当該指示手段によって当該第1の動画像の記録終了が指示されたことに応じて、当該カメラ部を動作状態としたまま当該符号化部を非動作状態とする記録ポーズへ遷移させる制御手段とを具備する撮像装置であって、当該制御手段は、当該記録ポーズ中に、当該指示手段によって第2の動画像の記録開始が指示されたことに応じて、当該カメラ部及び当該符号化部を動作状態とする記録モードへ遷移させ、当該符号化部は、当該第1の動画像の記録終了時における当該カメラ部のカメラステータス情報と、当該第2の動画像の記録開始時における当該カメラ部のカメラステータス情報との相違が所定範囲内の場合、当該第1の動画像と当該第2の動画像との間で連続する前記目標符号量を設定して当該第2の動画像の符号化処理を開始することを特徴とする.
本発明に係る撮像装置は、被写体を撮像して映像信号を出力するカメラ部と、当該カメラ部から出力される映像信号を一連の動画像として、当該動画像を画像の特徴に応じて変化する目標符号量に従って圧縮符号化する符号化部と、当該動画像の記録の開始及び終了を指示する指示手段と、第1の動画像を記録中のときに、当該指示手段によって当該第1の動画像の記録終了が指示されたことに応じて、当該カメラ部を動作状態としたまま当該符号化部を非動作状態とする記録ポーズへ遷移させる制御手段と、当該記録ポーズへ遷移する直前の当該第1の動画像の符号化で使用された目標符号量を記憶する符号化パラメータ保持部と、当該記録ポーズから、当該カメラ部及び当該符号化部を動作状態とする記録モードへ遷移するときに、記録対象の動画像に対する符号化初期パラメータを設定する符号化初期パラメータ設定手段とを具備する撮像装置であって、当該制御手段は、当該記録ポーズ中に、当該指示手段によって第2の動画像の記録開始が指示されたことに応じて当該記録モードへ遷移させ、当該符号化初期パラメータ設定手段は、当該第1の動画像の記録終了時における当該カメラ部のカメラステータス情報と、当該第2の動画像の記録開始時における当該カメラ部のカメラステータス情報との相違が所定範囲内の場合、当該符号化パラメータ保持部に記憶されている当該第1の動画像の符号化で使用された目標符号量を、当該第2の動画像に対する当該符号化初期パラメータに設定することを特徴とする。
本発明に係る撮像装置は、被写体を撮像して映像信号を出力するカメラ部と、当該カメラ部から出力される映像信号を一連の動画像として、当該動画像を画像の特徴に応じて変化する目標符号量に従って圧縮符号化する符号化部と、当該動画像の記録開始及び終了を指示する指示手段と、第1の動画像を記録中のときに、当該指示手段によって当該第1の動画像の記録終了が指示されたことに応じて、当該カメラ部を動作状態としたまま当該符号化部を非動作状態とする記録ポーズへ遷移させる制御手段と、当該記録ポーズの期間を計測する計測手段とを具備する撮像装置であって、当該制御手段は、当該記録ポーズ中に、当該指示手段によって第2の動画像の記録開始が指示されたことに応じて、当該カメラ部及び当該符号化部を動作状態とする記録モードへ遷移させ、当該符号化部は、当該計測手段により計測された記録ポーズの期間が所定時間内の場合、当該第1の動画像と当該第2の動画像との間で連続する前記目標符号量を設定して当該第2の動画像の符号化処理を開始することを特徴とする。
本発明に係る撮像装置は、被写体を撮像して映像信号を出力するカメラ部と、当該カメラ部から出力される映像信号を一連の動画像として、当該動画像を画像の特徴に応じて変化する目標符号量に従って圧縮符号化する符号化部と、当該動画像の記録の開始及び終了を指示する指示手段と、第1の動画像を記録中のときに、当該指示手段によって当該第1の動画像の記録終了が指示されたことに応じて、当該カメラ部を動作状態としたまま当該符号化部を非動作状態とする記録ポーズへ遷移させる制御手段と、当該記録ポーズの期間を計測する計測手段と、当該記録ポーズへ遷移する直前の当該第1の動画像の符号化で使用された目標符号量を記憶する符号化パラメータ保持部と、当該記録ポーズから、当該カメラ部及び当該符号化部を動作状態とする記録モードへ遷移するときに、記録対象の動画像に対する符号化初期パラメータを設定する符号化初期パラメータ設定手段とを具備する撮像装置であって、当該制御手段は、当該記録ポーズ中に、当該指示手段によって第2の動画像の記録開始が指示されたことに応じて当該記録モードへ遷移させ、当該符号化初期パラメータ設定手段は、当該計測手段により計測された記録ポーズの期間が所定時間内の場合、当該符号化パラメータ保持部に記憶されている当該第1の動画像の符号化で使用された目標符号量を、当該第2の動画像に対する当該符号化初期パラメータに設定することを特徴とする。
In order to solve the above problems, a camera unit that captures an image of a subject and outputs a video signal, and the video signal output from the camera unit as a series of moving images, the moving image changes according to the characteristics of the image. An encoding unit that performs compression encoding according to the target code amount, an instruction unit that instructs the start and end of recording of the moving image, and the first moving image by the instruction unit when the first moving image is being recorded in response to the recording end of the image is instructed, an imaging apparatus and a control means for shifting the coded unit while the camera unit and the operating state to a recording pause to the non-operating state, the In response to an instruction to start recording the second moving image by the instruction unit during the recording pause, the control unit makes a transition to a recording mode in which the camera unit and the encoding unit are in an operating state. The encoding , When the camera status information of the camera unit at the recording end of the moving image of those first differences between the camera status information of the camera unit in the recording start time of the second moving image in a predetermined range The encoding of the second moving image is started by setting the target code amount that is continuous between the first moving image and the second moving image .
An imaging apparatus according to the present invention captures a subject and outputs a video signal, and the video signal output from the camera unit as a series of moving images, the moving image changes according to the characteristics of the image. An encoding unit that performs compression encoding according to the target code amount, an instruction unit that instructs the start and end of recording of the moving image , and the first moving image by the instruction unit when the first moving image is being recorded In response to an instruction to end recording of an image, a control means for making a transition to a recording pose in which the encoding unit is in a non-operational state while keeping the camera unit in an operating state, and a control unit immediately before making a transition to the recording pose An encoding parameter holding unit for storing the target code amount used in the encoding of the first moving image, and a transition from the recording pause to a recording mode in which the camera unit and the encoding unit are in an operating state. , Record And an encoding initial parameter setting unit that sets an encoding initial parameter for an elephant moving image, wherein the control unit records the second moving image by the instruction unit during the recording pause. When the start is instructed, the recording mode is shifted to, and the encoding initial parameter setting means includes the camera status information of the camera unit at the end of the recording of the first moving image and the second moving image. If the difference from the camera status information of the camera unit at the start of image recording is within a predetermined range, the target code amount used in the encoding of the first moving image stored in the encoding parameter holding unit and characterized by setting to the encoding initialization parameters for the second video image.
An imaging apparatus according to the present invention captures a subject and outputs a video signal, and the video signal output from the camera unit as a series of moving images, the moving image changes according to the characteristics of the image. An encoding unit that performs compression encoding according to the target code amount, an instruction unit that instructs the start and end of recording of the moving image , and the first moving image by the instruction unit when the first moving image is being recorded. In response to an instruction to finish recording, the control means for making a transition to a recording pause in which the encoding section is in the non-operating state while the camera section is in an operating state, and a measuring means for measuring the period of the recording pause The control unit is configured to detect the camera unit and the encoding unit in response to an instruction to start recording the second moving image by the instruction unit during the recording pause. The operating state To transition to a recording mode in which, the encoding unit for a period of recording pause which is measured by the measuring means when within a predetermined time, continuously between the first moving image and the second moving image The target code amount is set and the encoding process of the second moving image is started .
An imaging apparatus according to the present invention captures a subject and outputs a video signal, and the video signal output from the camera unit as a series of moving images, the moving image changes according to the characteristics of the image. An encoding unit that performs compression encoding according to the target code amount, an instruction unit that instructs the start and end of recording of the moving image , and the first moving image by the instruction unit when the first moving image is being recorded In response to an instruction to end image recording, control means for transitioning to a recording pause in which the encoding unit is inoperative while the camera unit is in an operating state, and measurement for measuring the period of the recording pause Means, an encoding parameter holding unit for storing a target code amount used in encoding of the first moving image immediately before the transition to the recording pause, and the camera unit and the encoding unit from the recording pause Work And an encoding initial parameter setting unit that sets an encoding initial parameter for a moving image to be recorded when the recording mode is shifted to the recording mode. In response to the instruction to start recording the second moving image by the instruction unit, the recording mode is changed to the recording initial parameter setting unit. The encoding initial parameter setting unit has a predetermined recording pause period measured by the measuring unit. If in time, the target code amount that has been used in the encoding of the first moving image stored in the coded parameter holding unit, to be set in the encoding initialization parameters for the second video image It is characterized by.
本発明によれば、符号化ポーズの前の符号化処理時のカメラステータス情報と符号化ポーズ後のカメラステータス情報との相違、又は、符号化ポーズ期間に従って、符号化ポーズ前の符号化処理での符号化パラメータを符号化初期パラメータとして符号化を実行するので、定型的に決定される固定された符号化初期パラメータを利用する場合に比べ、画質の安定化を図ることができる。また、符号化処理を実行していないときに符号化部への電力供給を遮断しても、符号化の継続上、支障ないので、電力消費を低減できる。 According to the present invention, according to the difference between the camera status information at the time of the encoding process before the encoding pause and the camera status information after the encoding pause, or the encoding process before the encoding pause according to the encoding pause period. Therefore, the image quality can be stabilized as compared with the case where the fixed encoding initial parameter that is fixedly determined is used. Further, even if the power supply to the encoding unit is interrupted when the encoding process is not being executed, there is no problem in continuing the encoding, so that power consumption can be reduced.
以下、図面を参照して、本発明の実施例を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の一実施例である撮像装置の概略構成ブロック図を示す。 FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus according to an embodiment of the present invention.
カメラ部10は、CCD又はCMOS式等の撮像素子と、その出力画像信号にガンマ補正、色バランス調整等の周知のカメラ信号処理を施し、所定映像信号規格、例えば、NTSCに従う映像信号又はそのデジタル信号を符号化部12に出力する。
The
符号化部12は、カメラ部10からの映像信号を、後述する方法で決定及びセットされた符号化パラメータを使いMPEG2の圧縮方式で圧縮符号化する。圧縮符号化された画像データは、記録媒体26に記録される。監視用途等では、圧縮符号化された画像データは、遠隔地に伝送され、必要により記録される。
The
カメラ部10はまた、撮影時のカメラステータス情報を符号化初期パラメータ演算部14に出力する。カメラステータス情報は、カメラ部10を構成するモジュールの制御状態を示す情報からなる。例えば、使用レンズの識別情報、ズーム倍率、焦点距離、被写体距離、露出値、色バランス調整の色温度、ガンマ値、フラッシュの有無及び撮影日時等の1以上からなる。
The
符号化初期パラメータ演算部14は、カメラ部10からのカメラステータス情報から符号化部12の初期パラメータを演算し、演算結果を符号化初期パラメータ保持部16に格納する。演算結果を保持する符号化初期パラメータ保持部16は、例えば、RAMからなる。
The encoding initial
また、ROMからなる符号化初期パラメータ保持部18は、TM5で経験的に決められたような、符号化初期パラメータを保持し、この符号化初期パラメータは、本実施例の撮像装置の製造時に保持部18に書き込まれる。
The encoding initial
スイッチ20又はセレクタは、制御部22からのスイッチ制御信号に従い、保持部16又は保持部18に記憶される符号化初期パラメータを読出し、符号化部12にセットする。スイッチ20は、符号化部12に符号化初期パラメータを設定する符号化初期パラメータ設定手段として機能する。
The
制御部22は、記録スイッチ24の操作状況、具体的には、記録モードでの最初の記録か、記録ポーズ後の記録かに従い、スイッチ20を制御する。制御部22によるスイッチ20の制御の詳細は、後述する。
The
符号化部12で圧縮符号化した映像信号を外部に送信する場合、記録開始及び記録終了の指示はそれぞれ、符号化の開始及び終了の指示と理解されるべきである。同様に、記録ポーズは、符号化ポーズと理解されるべきである。
When the video signal compressed and encoded by the
図2は、符号化部12の概略構成ブロック図を示す。図2に示す装置構成は、MPEG方式に対応するものであるが、符号化部12として、H.264、その他の圧縮符号化方式を使用するものも利用可能である。
FIG. 2 shows a schematic block diagram of the
符号化部12の入力端子30には、カメラ部10からの映像信号(非圧縮の画像データ)が入力する。ブロック分割装置32は、入力端子30からの映像信号を画面単位で、複数のブロック、例えば、8画素×8画素、又は16画素×16画素といったブロックに分割し、ブロック単位で画像データを出力する。1ブロックのサイズは、圧縮方式に依存する。
A video signal (uncompressed image data) from the
減算器34は、画面内符号化、いわゆるイントラ符号化の際には、ブロック分割装置32からの画像データをスルーする。一方、画面間予測符号化、いわゆるインター符号化の際には、ブロック分割装置32からの画像データから、動き補償装置58からの参照画像データの予測値を減算する。即ち、減算器34は、イントラ符号化の際には画像データそのものを出力し、インター符号化の際には予想差分値を出力する。
The subtractor 34 passes through the image data from the
離散コサイン変換(DCT)装置36は、減算器34の出力を離散コサイン変換し、その変換係数を出力する。圧縮方式によっては、離散コサイン変換以外の変換符号化が使用されることがある。量子化器38は、符号量制御装置46により指定される量子化スケールに基づき、DCT装置36からの変換係数を量子化する。可変長符号化装置40は、量子化器38で量子化された変換係数を、ハフマン符号化等のエントロピー符号化に従い、可変長符号化する。可変長符号化装置40はまた、後述する動き検出装置56からの動きベクトルを、符号化した画像データと多重して、バッファ42に出力する。バッファ42は格納したデータを逐次読出し、出力端子44を介して記録媒体26に供給する。
A discrete cosine transform (DCT)
符号量制御装置46には、符号化開始時に使用する符号化初期パラメータがスイッチ20から供給される。符号化の開始当初では、符号量制御装置46は、スイッチ20からの符号化初期パラメータに応じた量子化スケールを量子化器38にセットする。その後は、符号量制御装置46は、バッファ42の残量のモニタ結果に従い、前述のTM5等の方法により、バッファ42がオーバーフローもアンダーフローも起こさないように量子化スケールを決定する。符号量制御装置46は、現在、適用されている量子化スケールに応じた符号化パラメータを、逐次、符号化初期パラメータ演算部14に供給する。
The code
量子化器38で量子化された変換係数は、予測画像データの生成にも使われる。逆量子化器48は、量子化器38の出力データを逆量子化し、逆離散コサイン変換(IDCT)装置50は、逆量子化器48の出力を逆離散コサイン変換する。IDCT装置50の出力は、ローカルで復元された画像データ(イントラ符号化の場合)又は差分データ(インター符号化の場合)である。加算器52は、イントラ符号化の場合に、IDCT装置50の出力データをスルーし、インター符号化の場合に、IDCT装置50の出力データに予測値を加算する。これにより、インター符号化の差分データが、画像データに復元される。加算器52から出力されるローカルに復号化された画像データは、予測符号化の参照画像データとして、フレームメモリ54に格納される。フレームメモリ54は、予測符号化で参照するフレーム範囲に従うフレーム数の画像データを記憶できる。
The transform coefficient quantized by the
動き検出装置56は、ブロック分割装置32からの現在の画像データと、フレームメモリ54の参照画像とから画像の動きベクトルを検出し、検出した動きベクトルを動き補償装置58と可変長符号化装置40に供給する。動き補償装置58は、動き検出装置56からの動きベクトルを参照して、フレームメモリ54からの参照画像の動きを補償し、予測値として減算器34及び加算器52に供給する。
The
このような動作により、符号化部12は、イントラ符号化と、動き補償及びフレーム間予測を利用するインター符号化とを併用して、一連の動画像を圧縮符号化する。
By such an operation, the
図3、図4及び図5を参照して、本実施例の特徴的な動作を説明する。図3は説明例を示す。図4は、撮影視野内の合焦エリア分割例を示す。図5は、本実施例の特徴的な動作のフローチャートである。 The characteristic operation of the present embodiment will be described with reference to FIGS. FIG. 3 shows an illustrative example. FIG. 4 shows an example of focusing area division within the photographing field of view. FIG. 5 is a flowchart of the characteristic operation of this embodiment.
符号化初期パラメータ演算部14は、前回記録終了時の、カメラ部10からのカメラステータス情報及び符号化部12からの符号化パラメータ、並びに、今回の記録を開始する際のカメラステータス情報を用いて、今回の記録の符号化初期パラメータ(第1の符号化初期パラメータ)を演算する。説明の都合上、符号化クリップ番号をnとして、前回の記録を(n−1)番目の記録と呼ぶ。(n−1)番目の記録で記録されたデータをクリップ(n−1)とし、そのカメラステータス情報をCn、符号化パラメータをEnとする。ここでn番目の記録を実行しようとしており、そのクリップをクリップnと表記し、その時のカメラステータス情報をCn、符号化パラメータをEnと表記する。
The encoding initial
この説明例では、カメラステータス情報がフォーカス情報とパン・チルト情報からなるとする。フォーカス情報は合焦状態を示す情報であり、本実施例では合焦レベルと合焦位置を指すものとする。合焦レベルは、オートフォーカス設定中に撮像装置が自動的に合焦位置に撮影レンズ系を調節する際に使用される指標であり、例えば、画像の高周波成分量が使用される。高周波成分が多くなれば、解像感が高くなり、合焦レベルが高いと判断する。逆に、高周波成分が少なくなれば、解像感が低くなり、合焦レベルが低いと判断する。また合焦位置については、図4に示すように撮影視野内の画像を複数のエリアに分割し、合焦レベルが最も高いエリアを合焦位置とする。 In this example, it is assumed that the camera status information includes focus information and pan / tilt information. The focus information is information indicating an in-focus state, and in this embodiment, the focus information indicates a focus level and a focus position. The focus level is an index used when the imaging apparatus automatically adjusts the photographing lens system to the focus position during autofocus setting. For example, the high-frequency component amount of the image is used. If the high-frequency component increases, the sense of resolution increases and it is determined that the focus level is high. Conversely, if the high-frequency component is reduced, the resolution is lowered and it is determined that the in-focus level is low. As for the in-focus position, as shown in FIG. 4, the image in the field of view is divided into a plurality of areas, and the area with the highest in-focus level is set as the in-focus position.
符号化パラメータとして、ここでは、目標符号量と、目標符号量決定の際に使用する画像のコンプレキシティを採用する。これは、TM5方式の説明中に記述したXi,Xp,Xbに相当する。 Here, the target code amount and the complexity of the image used when determining the target code amount are adopted as the encoding parameters. This corresponds to Xi, Xp, and Xb described in the description of the TM5 system.
図3(a)は、本実施例の撮像装置の動作状態を示す。電源オン後でモードダイヤルにより記録モードが設定されるか、又は、モードダイヤルで記録モードが設定された状態で電源がオンになると(時刻t1)、録画を待機する記録スタンバイ状態又は記録ポーズ状態になる。記録スタンバイ状態で記録スイッチ24が押下されると(時刻t2)、クリップ0の記録が開始される。再度、記録スイッチ24が押下されると(時刻t3)、記録を停止して、記録スタンバイ状態又は記録ポーズ状態に戻る。再度、記録スイッチ24が押下されると(時刻t4)、次のクリップ1の記録が開始される。
FIG. 3A shows the operating state of the image pickup apparatus of the present embodiment. When the recording mode is set with the mode dial after the power is turned on, or when the power is turned on with the recording mode set with the mode dial (time t1), the recording standby state or the recording pause state for waiting for recording is set. Become. When the
図3(b)はカメラ部10がアクティブ状態かスリープ状態かを示し、図3(c)は、符号化部12がアクティブ状態かスリープ状態かを示す。カメラ部10は、アクティブ状態のとき、被写体の映像信号を符号化部12に出力し、カメラステータス情報を符号化初期パラメータ演算部14に出力する。スリープ状態のとき、カメラ部10は、映像信号もカメラステータス信号も出力しない。符号化部12は、アクティブ状態では、カメラ部10からの映像信号の符号化処理を実行し、得られた圧縮データを出力している。カメラ部10は、スリープ状態では、符号化処理を実行せず、好ましくは電源オフ状態にある。
3B shows whether the
撮像装置の電源を投入して記録を開始するまでは、カメラ部10がアクティブ状態で、かつ符号化部12がスリープ状態にある。また、記録を終了し、電源を切らずに次の記録を待っている状態、いわゆる記録ポーズ状態では、カメラ部10はアクティブ状態で、符号化部12がスリープ状態にある(図3に示す例では、時刻t3〜t4の期間)。
The
図3(d)はカメラ部10から符号化初期パラメータ演算部14に供給されるカメラステータス情報の一例であるフォーカス情報の合焦度を示し、図3(e)は、その合焦エリアを示す。図3(d)では、縦軸に合焦レベルを示す。上に上がるほど合焦レベルが高く、下に下がるほど合焦レベルが低い状態を示す。
FIG. 3D shows the focus degree of focus information, which is an example of camera status information supplied from the
符号化初期パラメータ演算部14は、電源投入後の最初の記録時(つまり、クリップ番号n=0)に対しては機能せず、2番目以降の記録に対して機能する。2番目以降の記録、より具体的には、記録ポーズ解除後の記録では、記録ポーズ前の記録との間で、合焦レベルの差が所定値以内であり、且つ合焦位置に変動が無い場合に、直前の記録の最後で適用した符号化パラメータをそのまま利用する。
The encoding initial
記録ポーズ直前の記録との間で、合焦レベルの差が所定値を超えるか、又は、合焦位置に変動がある場合には、直前の記録の最後で適用した符号化パラメータから所定の演算で得られる符号化パラメータを利用する。例えば、記録ポーズ直前の記録の終了時の合焦レベルが低く、記録ポーズ解除後の記録の開始時の合焦レベルが高い場合、解像感が高くなるので、画像の符号化難易度が上がると予想され、目標符号量を高くする必要がある。逆に、記録ポーズ直前の記録の終了時の合焦レベルが高く、記録ポーズ解除後の記録開始時の合焦レベルが低い場合、解像感が低くなるので、画像の符号化難易度が下がる。これらを考慮すると、記録ポーズ直前の記録の終了時の目標符号量に合焦レベルの比率を乗算した結果で、記録ポーズ解除後の記録開始時の目標符号量とすることで、どちらの場合に対しても妥当な符号化を実行できるようになる。 If the difference in focus level from the recording immediately before the recording pause exceeds a predetermined value or the focus position varies, a predetermined calculation is performed from the encoding parameter applied at the end of the previous recording. The encoding parameter obtained in (1) is used. For example, if the focus level at the end of recording immediately before the recording pause is low and the focus level at the start of recording after releasing the recording pause is high, the resolution becomes high and the degree of difficulty in encoding the image increases. Therefore, it is necessary to increase the target code amount. Conversely, if the focus level at the end of recording immediately before the recording pause is high and the focus level at the start of recording after releasing the recording pause is low, the resolution becomes low and the difficulty of encoding the image decreases. . Considering these, the target code amount at the end of recording immediately before the recording pause is multiplied by the ratio of the focus level, and the target code amount at the start of recording after releasing the recording pause is used. Even for this, it is possible to perform appropriate encoding.
図5を具体的に説明する。モードダイヤルで記録モードが指定された状態で電源をオンにするか、電源オン状態で、モードダイヤルにより記録モードを指定すると(時刻t1)、図5に示すフローがスタートする。初期化作業として、クリップ番号nを0で初期化する(S1)。記録スイッチ24の押下を待機する記録スタンバイ状態になる(S2)。
FIG. 5 will be specifically described. When the power is turned on while the recording mode is designated by the mode dial or when the recording mode is designated by the mode dial in the power-on state (time t1), the flow shown in FIG. 5 starts. As an initialization operation, the clip number n is initialized to 0 (S1). A recording standby state in which the
時刻t2に記録スイッチ24が押下されると(S3)、クリップ番号nが0か否かが判定される(S4)。電源投入直後の記録では、nは0であり、記録ポーズ後の記録では、nは1以上である。
When the
nが0のとき(S4)、制御部22は、スイッチ20に保持部18が記憶する符号化初期パラメータEINITを選択して符号化部12に供給させる。これにより、符号化部12の符号量制御装置46には保持部18が記憶する符号化初期パラメータがセットされる(S5)。符号化部12は、セットされた符号化初期パラメータを使って、カメラ部10からの映像信号を圧縮符号化する。符号化部12による得られる圧縮データは、クリップ0として記録媒体26に格納される(S6)。
When n is 0 (S4), the
ユーザが、時刻t3に記録スイッチ24を押下すると(S7)、記録を停止して、記録スタンバイ状態、いわゆる記録ポーズ状態に移行する(S8)。この記録ポーズ状態では、図3に示すように、カメラ部10はアクティブ状態にあるが、符号化部12は、スリープ状態になる。符号化初期パラメータ演算部14は、クリップ0の記録最後の時点のカメラステータス情報C0、即ち、合焦レベルと合焦エリアを記憶し(S9)、制御部22は、クリップ番号nをインクリメントする(S10)。
When the user depresses the
電源がオフにされずに記録モードが維持されていると(S11)、ステップS2に戻り、記録スタンバイ状態を継続する(S2)。電源がオフにされるか、モードダイヤルで記録モードが解除される、例えば、再生モードに変更されると(S11)、図5に示すフローは終了する。 If the recording mode is maintained without turning off the power (S11), the process returns to step S2 to continue the recording standby state (S2). When the power is turned off or the recording mode is canceled with the mode dial, for example, when the mode is changed to the reproduction mode (S11), the flow shown in FIG. 5 ends.
2つ目のクリップに対して、ユーザが記録スイッチ24を押下して、記録開始を指示したとする(S3)。この時点で、n=1であるから、ステップS12に進む。ステップS12で、符号化初期パラメータ演算部14は、記録ポーズ前のクリップ0の記録終盤でのカメラステータス情報C0と、現在のカメラステータス情報C1とを比較し、その差が所定閾値th未満かどうかを調べる(S12)。th未満の場合、更に、合焦エリアが同じかどうかを調べる(S13)。即ち、被写体の距離と画角内での位置に、実質的な変化が無いか又は少ないかどうかを調べる。これは、同じ被写体に対する同じ撮影を継続するのかどうかを調べることに相当する。
Assume that the user presses the
このように同じ撮影を継続する場合(S12,S13)、符号化初期パラメータ演算部14は、記録ポーズ直前に記録されたクリップで使用された目標符号量を含む符号化初期パラメータを保持部16に格納する。スイッチ20は、制御部22の指示に従い、保持部16に保持される符号化初期パラメータを符号化部12にセットする(S14)。これにより、符号化部12は、異なるクリップでありながら、実質的に連続する目標符号量を使って、カメラ部10からの映像信号を圧縮符号化できる。
When the same shooting is continued in this way (S12, S13), the encoding initial
カメラステータス情報C0とカメラステータス情報C1の差が所定閾値th以上であるか(S12)、合焦エリアが異なる場合(S13)、符号化初期パラメータ演算部14は、合焦レベルに応じた目標符号量を変更する。そして、符号化初期パラメータ演算部14は、その目標符号量を含む符号化初期パラメータを保持部16に格納する。スイッチ20は、制御部22の指示に従い、保持部16に保持される符号化初期パラメータを符号化部12にセットする(S15)。これにより、画像の解像度に応じた適切な目標符号量を初期設定できる。
Camera status information C 0 and the camera status information whether the difference between the C 1 is equal to or greater than the predetermined threshold value th (S12), if the focusing area different (S13), the encoding initial
カメラステータス情報としてフォーカス情報である合焦レベルと合焦エリアを用いたが、その他にも、手ぶれ情報、ズーム情報、及びパンチルト情報の1以上を用いても良い。さらに、符号化初期パラメータとして目標符号量を用いたが、これ以外に、ビットレート、ビットレート算出に必要なフルネス、初期量子化スケールコード、及び、アクティビティ算出時の初期平均値の1以上を用いても良い。本実施例は、TM5方式で初期値を固定しているパラメータ一般を適応的に変更するケースに適用可能である。 Although the focus level and focus area, which are focus information, are used as camera status information, one or more of camera shake information, zoom information, and pan / tilt information may be used. Further, the target code amount is used as the initial encoding parameter, but in addition to this, one or more of the bit rate, the fullness necessary for bit rate calculation, the initial quantization scale code, and the initial average value at the time of activity calculation are used. May be. This embodiment can be applied to a case where the general parameters whose initial values are fixed in the TM5 method are adaptively changed.
図6は、本発明の実施例2の概略構成ブロック図を示し、図7は、本実施例の動作フローチャートを示す。図1に示す実施例と同じ構成要素には、同じ符号を付してある。カメラ部10aは、カメラステータス情報を出力しない点が、カメラ部10とは異なる。符号化初期パラメータ演算部14aは、カメラステータス情報の代わりに、タイマ28で計測される記録スタンバイ時間を利用する点で、符号化初期パラメータ演算部14とは異なる。
FIG. 6 shows a schematic block diagram of the second embodiment of the present invention, and FIG. 7 shows an operation flowchart of the present embodiment. The same components as those in the embodiment shown in FIG. The
図7を参照して、本実施例の特徴的な動作を説明する。モードダイヤルで記録モードが指定された状態で電源をオンにするか、電源オン状態で、モードダイヤルにより記録モードを指定すると、図7に示すフローがスタートする。初期化作業として、クリップ番号nを0で初期化する(S21)。記録スイッチ24の押下を待機する記録スタンバイ状態になる(S22)。
With reference to FIG. 7, the characteristic operation of the present embodiment will be described. When the power is turned on while the recording mode is designated by the mode dial, or when the recording mode is designated by the mode dial in the power-on state, the flow shown in FIG. 7 starts. As an initialization operation, the clip number n is initialized to 0 (S21). A recording standby state in which the
記録スイッチ24が押下されると(S23)、クリップ番号nが0か否かが判定される(S24)。電源投入直後の記録では、nは0であり、記録ポーズ後の記録では、nは1以上である。
When the
nが0のとき(S24)、制御部22は、スイッチ20に保持部18が記憶する符号化初期パラメータEINITを選択して符号化部12に供給させる。これにより、符号化部12の符号量制御装置46には保持部18が記憶する符号化初期パラメータがセットされる(S25)。符号化部12は、セットされた符号化初期パラメータを使って、カメラ部10からの映像信号を圧縮符号化する。符号化部12による得られる圧縮データは、クリップ0として記録媒体26に格納される(S26)。
When n is 0 (S24), the
ユーザが、記録スイッチ24を再び押下すると(S27)、記録を停止して、記録スタンバイ状態、いわゆる記録ポーズ状態に移行する(S28)。この記録ポーズ状態では、カメラ部10はアクティブ状態にあるが、符号化部12は、スリープ状態になる。符号化初期パラメータ演算部14aは、タイマ28を参照し、記録終了時刻tnを記憶する(S29)。制御部22は、クリップ番号nをインクリメントする(S30)。
When the user depresses the
電源がオフにされずに記録モードが維持されていると(S31)、ステップS22に戻り、記録スタンバイ状態が維持される(S22)。電源がオフにされるか、モードダイヤルで記録モードが解除される、例えば、再生モードに変更されると(S31)、図7に示すフローは、終了する。 If the recording mode is maintained without turning off the power (S31), the process returns to step S22, and the recording standby state is maintained (S22). When the power is turned off or the recording mode is canceled with the mode dial, for example, when the mode is changed to the reproduction mode (S31), the flow shown in FIG. 7 ends.
2つ目のクリップに対して、ユーザが記録スイッチ24を押下して、記録開始を指示したとする(S23)。この時点で、n=1であるから(S24)、ステップS32に進む。ステップS32では、符号化初期パラメータ演算部14aは、タイマ28を参照して、直前の記録ポーズ時間(tn−tn−1)を計測し、所定期間Tthより短いかどうかを調べる(S32)。tnはクリップnの記録開始時刻、tn−1は、クリップn−1の記録終了時刻である。
Assume that the user presses the
直前の記録ポーズ時間が所定期間Tthより短ければ(S32)、同じ被写体に対する同じ撮影を継続していると仮定することができる。このとき、符号化初期パラメータ演算部14aは、記録ポーズ直前に記録されたクリップで使用された目標符号量を含む符号化初期パラメータを保持部16に格納する。スイッチ20は、制御部22の指示に従い、保持部16に保持される符号化初期パラメータを符号化部12にセットする(S33)。これにより、符号化部12は、異なるクリップでありながら、実質的に連続する目標符号量を使って、カメラ部10からの映像信号を圧縮符号化できる。
If the immediately preceding recording pause time is shorter than the predetermined period Tth (S32), it can be assumed that the same shooting for the same subject is continued. At this time, the encoding initial
直前の記録ポーズ時間が所定期間Tth以上であれば(S32)、被写体か撮影状況が異なると仮定できる。このとき、制御部22は、スイッチ20を制御して、保持部18に保持される符号化初期パラメータを符号化部12にセットさせる(S25)。これにより、符号化部12は、記録ポーズ前の記録とは無関係な目標符号量等を使って、カメラ部10からの映像信号を圧縮符号化する。
If the immediately preceding recording pause time is equal to or longer than the predetermined period Tth (S32), it can be assumed that the subject or the shooting situation is different. At this time, the
図8は、本発明の実施例3の概略構成ブロック図を示し、図9は、本実施例の動作フローチャートを示す。図1に示す実施例と同じ構成要素には、同じ符号を付してある。符号化初期パラメータ演算部14bは、カメラ部10からのカメラステータス情報と、タイマ28で計測される記録スタンバイ時間の両方を利用する点で、符号化初期パラメータ演算部14,14aとは異なる。実施例3は、いわば、実施例1,2を合体したものである。
FIG. 8 shows a schematic block diagram of a third embodiment of the present invention, and FIG. 9 shows an operation flowchart of the present embodiment. The same components as those in the embodiment shown in FIG. The encoded initial
図9を参照して、本実施例の特徴的な動作を説明する。モードダイヤルで記録モードが指定された状態で電源をオンにするか、電源オン状態で、モードダイヤルにより記録モードを指定すると、図9に示すフローがスタートする。初期化作業として、クリップ番号nを0で初期化する(S41)。記録スイッチ24の押下を待機する記録スタンバイ状態になる(S42)。
With reference to FIG. 9, the characteristic operation of the present embodiment will be described. When the power is turned on while the recording mode is designated by the mode dial, or when the recording mode is designated by the mode dial in the power-on state, the flow shown in FIG. 9 starts. As an initialization operation, the clip number n is initialized to 0 (S41). A recording standby state in which the
記録スイッチ24が押下されると(S43)、クリップ番号nが0か否かが判定される(S44)。電源投入直後の記録では、nは0であり、記録ポーズ後の記録では、nは1以上である。
When the
nが0のとき(S44)、制御部22は、スイッチ20に保持部18が記憶する符号化初期パラメータEINITを選択して符号化部12に供給させる。これにより、符号化部12の符号量制御装置46には保持部18が記憶する符号化初期パラメータがセットされる(S45)。符号化部12は、セットされた符号化初期パラメータを使って、カメラ部10からの映像信号を圧縮符号化する。符号化部12による得られる圧縮データは、クリップ0として記録媒体26に格納される(S46)。
When n is 0 (S44), the
ユーザが、記録スイッチ24を再び押下すると(S47)、記録を停止して、記録スタンバイ状態、いわゆる記録ポーズ状態に移行する(S48)。この記録ポーズ状態では、図3に示すように、カメラ部10はアクティブ状態にあるが、符号化部12は、スリープ状態になる。符号化初期パラメータ演算部14bは、クリップ0の記録最後の時点のカメラステータス情報C0、即ち、合焦レベルと合焦エリアを記憶し、タイマ28を参照して、クリップ0の記録終了時刻t0を記憶する(S49)。制御部22は、クリップ番号nをインクリメントする(S50)。
When the user presses the
電源がオフにされずに記録モードが維持されていると(S51)、ステップS42に戻り、記録スタンバイ状態が維持される(S42)。電源がオフにされるか、モードダイヤルで記録モードが解除される、例えば、再生モードに変更されると(S51)、図9に示すフローは終了する。 If the recording mode is maintained without turning off the power (S51), the process returns to step S42, and the recording standby state is maintained (S42). When the power is turned off or the recording mode is canceled with the mode dial, for example, when the mode is changed to the reproduction mode (S51), the flow shown in FIG. 9 ends.
2つ目のクリップに対して、ユーザが記録スイッチ24を押下して、記録開始を指示したとする(S43)。この時点で、n=1であるから(S44)、ステップS52に進む。ステップS52で、符号化初期パラメータ演算部14bは、記録ポーズ前のクリップ0の記録終盤でのカメラステータス情報C0と、現在のカメラステータス情報C1とを比較し、その差が所定閾値th未満かどうかを調べる(S52)。th未満の場合、更に、合焦エリアが同じかどうかを調べる(S53)。即ち、被写体の距離と画角内での位置に、実質的な変化が無いか又は少ないかどうかを調べる。これは、同じ被写体に対する同じ撮影を継続するのかどうかを調べることに相当する。本実施例では、合焦エリアが同じ場合に(S53)、更に、直前の記録ポーズ時間が所定閾値Tthより短いかどうかを調べる(S54)。これにより、同じ被写体に対する同じ撮影の継続であることの確度が増す。
Assume that the user presses the
このように同じ撮影を継続する場合(S52〜S53)、符号化初期パラメータ演算部14bは、記録ポーズ直前に記録されたクリップで使用された目標符号量を含む符号化初期パラメータを保持部16に格納する。スイッチ20は、制御部22の指示に従い、保持部16に保持される符号化初期パラメータを符号化部12にセットする(S55)。これにより、符号化部12は、異なるクリップでありながら、実質的に連続する目標符号量を使って、カメラ部10からの映像信号を圧縮符号化できる。
When the same shooting is continued as described above (S52 to S53), the encoding initial
カメラステータス情報C0とカメラステータス情報C1の差が所定閾値th以上であるか(S52)、合焦エリアが異なるか(S53)、又は、直前の記録ポーズ時間が所定閾値Tth以上の場合(S54)、符号化初期パラメータ演算部14bは、合焦レベルに応じた目標符号量を変更する。そして、符号化初期パラメータ演算部14bは、その目標符号量を含む符号化初期パラメータを保持部16に格納する。スイッチ20は、制御部22の指示に従い、保持部16に保持される符号化初期パラメータを符号化部12にセットする(S56)。これにより、画像の解像度に応じた適切な目標符号量を符号化部12に初期設定できる。
Whether the difference between the camera status information C 0 and the camera status information C 1 is equal to or greater than the predetermined threshold th (S52), whether the focus area is different (S53), or the immediately preceding recording pause time is equal to or greater than the predetermined threshold T th (S54) The encoding initial
特定の説明用の実施例を参照して本発明を説明したが、特許請求の範囲に規定される本発明の技術的範囲を逸脱しないで、上述の実施例に種々の変更・修整を施しうることは、本発明の属する分野の技術者にとって自明であり、このような変更・修整も本発明の技術的範囲に含まれる。 Although the invention has been described with reference to specific illustrative embodiments, various modifications and alterations may be made to the above-described embodiments without departing from the scope of the invention as defined in the claims. This is obvious to an engineer in the field to which the present invention belongs, and such changes and modifications are also included in the technical scope of the present invention.
10,10a:カメラ部
12:符号化部
14,14a,14b:符号化初期パラメータ演算部
16:符号化初期パラメータ保持部
18:符号化初期パラメータ保持部
20:スイッチ
22:制御部
24:記録スイッチ
30:入力端子
32:ブロック分割装置
34:減算器
36:離散コサイン変換(DCT)装置
38:量子化器
40:可変長符号化装置
42:バッファ
44:出力端子
46:符号量制御装置
48:逆量子化器
50:逆離散コサイン変換(IDCT)装置
52:加算器
54:フレームメモリ
56:動き検出装置
58:動き補償装置
DESCRIPTION OF
Claims (8)
当該カメラ部から出力される映像信号を一連の動画像として、当該動画像を画像の特徴に応じて変化する目標符号量に従って圧縮符号化する符号化部と、
当該動画像の記録の開始及び終了を指示する指示手段と、
第1の動画像を記録中のときに、当該指示手段によって当該第1の動画像の記録終了が指示されたことに応じて、当該カメラ部を動作状態としたまま当該符号化部を非動作状態とする記録ポーズへ遷移させる制御手段と
を具備する撮像装置であって、
当該制御手段は、当該記録ポーズ中に、当該指示手段によって第2の動画像の記録開始が指示されたことに応じて、当該カメラ部及び当該符号化部を動作状態とする記録モードへ遷移させ、
当該符号化部は、当該第1の動画像の記録終了時における当該カメラ部のカメラステータス情報と、当該第2の動画像の記録開始時における当該カメラ部のカメラステータス情報との相違が所定範囲内の場合、当該第1の動画像と当該第2の動画像との間で連続する前記目標符号量を設定して当該第2の動画像の符号化処理を開始することを特徴とする撮像装置。 A camera unit that images a subject and outputs a video signal;
A video signal output from the camera unit as a series of moving images , an encoding unit that compresses and encodes the moving image according to a target code amount that changes according to the characteristics of the image ;
Instruction means for instructing the start and end of recording of the moving image ;
When the first moving image is being recorded, the encoding unit is deactivated while the camera unit is in an operating state in response to an instruction to stop recording the first moving image by the instruction unit. An imaging device comprising: a control means for transitioning to a recording pose to be in a state ;
The control means shifts to a recording mode in which the camera unit and the encoding unit are in an operating state in response to an instruction to start recording of the second moving image by the instruction unit during the recording pause. ,
The encoding unit includes a camera status information of the camera unit at the recording end of the moving image of those first differences between the camera status information of the camera unit in the recording start time of the second moving image given If it is within the range, the target code amount that is continuous between the first moving image and the second moving image is set, and the encoding process of the second moving image is started. Imaging device.
当該カメラ部から出力される映像信号を一連の動画像として、当該動画像を画像の特徴に応じて変化する目標符号量に従って圧縮符号化する符号化部と、
当該動画像の記録の開始及び終了を指示する指示手段と、
第1の動画像を記録中のときに、当該指示手段によって当該第1の動画像の記録終了が指示されたことに応じて、当該カメラ部を動作状態としたまま当該符号化部を非動作状態とする記録ポーズへ遷移させる制御手段と、
当該記録ポーズへ遷移する直前の当該第1の動画像の符号化で使用された目標符号量を記憶する符号化パラメータ保持部と、
当該記録ポーズから、当該カメラ部及び当該符号化部を動作状態とする記録モードへ遷移するときに、記録対象の動画像に対する符号化初期パラメータを設定する符号化初期パラメータ設定手段と
を具備する撮像装置であって、
当該制御手段は、当該記録ポーズ中に、当該指示手段によって第2の動画像の記録開始が指示されたことに応じて当該記録モードへ遷移させ、
当該符号化初期パラメータ設定手段は、当該第1の動画像の記録終了時における当該カメラ部のカメラステータス情報と、当該第2の動画像の記録開始時における当該カメラ部のカメラステータス情報との相違が所定範囲内の場合、当該符号化パラメータ保持部に記憶されている当該第1の動画像の符号化で使用された目標符号量を、当該第2の動画像に対する当該符号化初期パラメータに設定することを特徴とする撮像装置。 A camera unit that images a subject and outputs a video signal;
A video signal output from the camera unit as a series of moving images , an encoding unit that compresses and encodes the moving image according to a target code amount that changes according to the characteristics of the image ;
Instruction means for instructing the start and end of recording of the moving image ;
When the first moving image is being recorded, the encoding unit is deactivated while the camera unit is in an operating state in response to an instruction to stop recording the first moving image by the instruction unit. A control means for transitioning to a recording pose to be in a state ;
An encoding parameter holding unit that stores a target code amount used in encoding of the first moving image immediately before the transition to the recording pause ;
Encoding initial parameter setting means for setting an encoding initial parameter for a moving image to be recorded when transitioning from the recording pause to a recording mode in which the camera unit and the encoding unit are in an operating state;
An imaging device comprising:
The control means makes a transition to the recording mode in response to an instruction to start recording the second moving image by the instruction means during the recording pause,
The encoding initial parameter setting means includes a difference between camera status information of the camera unit at the end of recording of the first moving image and camera status information of the camera unit at the start of recording of the second moving image. Is within the predetermined range, the target code amount used in the encoding of the first moving image stored in the encoding parameter holding unit is set as the encoding initial parameter for the second moving image. An imaging apparatus characterized by:
当該カメラ部から出力される映像信号を一連の動画像として、当該動画像を画像の特徴に応じて変化する目標符号量に従って圧縮符号化する符号化部と、
当該動画像の記録開始及び終了を指示する指示手段と、
第1の動画像を記録中のときに、当該指示手段によって当該第1の動画像の記録終了が指示されたことに応じて、当該カメラ部を動作状態としたまま当該符号化部を非動作状態とする記録ポーズへ遷移させる制御手段と、
当該記録ポーズの期間を計測する計測手段
とを具備する撮像装置であって、
当該制御手段は、当該記録ポーズ中に、当該指示手段によって第2の動画像の記録開始が指示されたことに応じて、当該カメラ部及び当該符号化部を動作状態とする記録モードへ遷移させ、
当該符号化部は、当該計測手段により計測された記録ポーズの期間が所定時間内の場合、当該第1の動画像と当該第2の動画像との間で連続する前記目標符号量を設定して当該第2の動画像の符号化処理を開始することを特徴とする撮像装置。 A camera unit that images a subject and outputs a video signal;
A video signal output from the camera unit as a series of moving images , an encoding unit that compresses and encodes the moving image according to a target code amount that changes according to the characteristics of the image ;
Instruction means for instructing the start and end of recording of the moving image ;
When the first moving image is being recorded, the encoding unit is deactivated while the camera unit is in an operating state in response to an instruction to stop recording the first moving image by the instruction unit. A control means for transitioning to a recording pose to be in a state;
An imaging device comprising a measuring means for measuring the period of the recording pause ,
The control means shifts to a recording mode in which the camera unit and the encoding unit are in an operating state in response to an instruction to start recording of the second moving image by the instruction unit during the recording pause. ,
The encoding unit sets the target code amount that is continuous between the first moving image and the second moving image when the period of the recording pause measured by the measuring unit is within a predetermined time. And starting the encoding process of the second moving image .
当該カメラ部から出力される映像信号を一連の動画像として、当該動画像を画像の特徴に応じて変化する目標符号量に従って圧縮符号化する符号化部と、
当該動画像の記録の開始及び終了を指示する指示手段と、
第1の動画像を記録中のときに、当該指示手段によって当該第1の動画像の記録終了が指示されたことに応じて、当該カメラ部を動作状態としたまま当該符号化部を非動作状態とする記録ポーズへ遷移させる制御手段と、
当該記録ポーズの期間を計測する計測手段と、
当該記録ポーズへ遷移する直前の当該第1の動画像の符号化で使用された目標符号量を記憶する符号化パラメータ保持部と、
当該記録ポーズから、当該カメラ部及び当該符号化部を動作状態とする記録モードへ遷移するときに、記録対象の動画像に対する符号化初期パラメータを設定する符号化初期パラメータ設定手段と
を具備する撮像装置であって、
当該制御手段は、当該記録ポーズ中に、当該指示手段によって第2の動画像の記録開始が指示されたことに応じて当該記録モードへ遷移させ、
当該符号化初期パラメータ設定手段は、当該計測手段により計測された記録ポーズの期間が所定時間内の場合、当該符号化パラメータ保持部に記憶されている当該第1の動画像の符号化で使用された目標符号量を、当該第2の動画像に対する当該符号化初期パラメータに設定することを特徴とする撮像装置。 A camera unit that images a subject and outputs a video signal;
A video signal output from the camera unit as a series of moving images , an encoding unit that compresses and encodes the moving image according to a target code amount that changes according to the characteristics of the image ;
Instruction means for instructing the start and end of recording of the moving image ;
When the first moving image is being recorded, the encoding unit is deactivated while the camera unit is in an operating state in response to an instruction to stop recording the first moving image by the instruction unit. A control means for transitioning to a recording pose to be in a state;
A measuring means for measuring the period of the recording pause ;
An encoding parameter holding unit that stores a target code amount used in encoding of the first moving image immediately before the transition to the recording pause ;
Encoding initial parameter setting means for setting an encoding initial parameter for a moving image to be recorded when transitioning from the recording pause to a recording mode in which the camera unit and the encoding unit are in an operating state;
An imaging device comprising:
The control means makes a transition to the recording mode in response to an instruction to start recording the second moving image by the instruction means during the recording pause,
The encoding initial parameter setting unit is used for encoding the first moving image stored in the encoding parameter holding unit when the recording pause period measured by the measuring unit is within a predetermined time. and the target code amount, the image pickup apparatus characterized by setting to the encoding initialization parameters for the second video image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006346075A JP4834535B2 (en) | 2006-12-22 | 2006-12-22 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006346075A JP4834535B2 (en) | 2006-12-22 | 2006-12-22 | Imaging device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008160403A JP2008160403A (en) | 2008-07-10 |
JP2008160403A5 JP2008160403A5 (en) | 2010-02-12 |
JP4834535B2 true JP4834535B2 (en) | 2011-12-14 |
Family
ID=39660829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006346075A Expired - Fee Related JP4834535B2 (en) | 2006-12-22 | 2006-12-22 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4834535B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110262840B (en) * | 2019-06-17 | 2023-01-10 | Oppo广东移动通信有限公司 | Equipment starting monitoring method and related product |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3172500B2 (en) * | 1998-10-19 | 2001-06-04 | 三洋電機株式会社 | Electronic camera |
JP2000201287A (en) * | 1999-01-05 | 2000-07-18 | Fuji Photo Film Co Ltd | Electronic still camera and method for deciding photographing parameter |
JP2001352545A (en) * | 2000-06-08 | 2001-12-21 | Ricoh Co Ltd | Image pickup device |
JP2002262235A (en) * | 2001-03-02 | 2002-09-13 | Kawasaki Microelectronics Kk | Image compressing device |
JP3849461B2 (en) * | 2001-06-07 | 2006-11-22 | ソニー株式会社 | Imaging apparatus and imaging method |
JP2003018521A (en) * | 2001-07-02 | 2003-01-17 | Hitachi Ltd | Digital recording video camera and method for digital recording |
JP2003116130A (en) * | 2001-10-02 | 2003-04-18 | Olympus Optical Co Ltd | Image processing apparatus and image compression method |
-
2006
- 2006-12-22 JP JP2006346075A patent/JP4834535B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008160403A (en) | 2008-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100808717B1 (en) | Motion image coding apparatus, and control method and recording medium of the apparatus | |
JP4817990B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP2010035133A (en) | Moving image encoding apparatus and moving image encoding method | |
US7606433B2 (en) | Encoding apparatus, encoding method, and storage medium | |
WO2010050089A1 (en) | Encoding method and encoding device for compression encoding of moving images | |
JP3592025B2 (en) | Captured image recording device | |
JP5649296B2 (en) | Image encoding device | |
JP4724639B2 (en) | Imaging device | |
JP4834535B2 (en) | Imaging device | |
JP5625543B2 (en) | ENCODING DEVICE, ELECTRONIC DEVICE, IMAGING DEVICE, AND IMAGING SYSTEM | |
JP2004180345A (en) | Photographed image recording apparatus | |
JP4605183B2 (en) | Image signal processing apparatus and method | |
JP5419560B2 (en) | Imaging device | |
JP4564856B2 (en) | Image encoding apparatus and imaging apparatus | |
JP4700992B2 (en) | Image processing device | |
US8761530B2 (en) | Apparatus and method to control target code amount | |
JP4335779B2 (en) | Encoding apparatus, recording apparatus using the same, encoding method, and recording method | |
JP2005303576A (en) | Image signal processing apparatus and method, recording medium, program, and video camera | |
JP2008153802A (en) | Moving picture encoding device and moving picture encoding program | |
JP2009081727A (en) | Image encoding apparatus, method of controlling therefor, and program | |
JP2006166255A (en) | Image coding device, imaging apparatus, image recording method, image recording apparatus, image recording medium and image reproducing apparatus | |
JP5825976B2 (en) | Encoding apparatus and method | |
JP2011029690A (en) | Electronic camera and image encoding method | |
JP2008211441A (en) | Digital moving picture recorder | |
JPH0865565A (en) | Image recorder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091217 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110602 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110920 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110926 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140930 Year of fee payment: 3 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
LAPS | Cancellation because of no payment of annual fees |