WO2011111292A1 - 信号処理装置及び動画撮像装置 - Google Patents

信号処理装置及び動画撮像装置 Download PDF

Info

Publication number
WO2011111292A1
WO2011111292A1 PCT/JP2011/000487 JP2011000487W WO2011111292A1 WO 2011111292 A1 WO2011111292 A1 WO 2011111292A1 JP 2011000487 W JP2011000487 W JP 2011000487W WO 2011111292 A1 WO2011111292 A1 WO 2011111292A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoding
signal processing
frame
image
processing unit
Prior art date
Application number
PCT/JP2011/000487
Other languages
English (en)
French (fr)
Inventor
内田友和
方城正博
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180012475.7A priority Critical patent/CN102783153B/zh
Publication of WO2011111292A1 publication Critical patent/WO2011111292A1/ja
Priority to US13/604,175 priority patent/US9854167B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors

Definitions

  • the present invention relates to a moving image encoding technique, and more particularly to an encoding technique when shooting a moving image having a high resolution and a low bit rate.
  • Products used include network cameras, in-vehicle cameras, digital video cameras, and the like.
  • the frame rate is lowered according to a simple frame skip algorithm in order to obtain a target bit rate.
  • this simple frame skip often gives a noticeable discomfort to visual quality when decoded.
  • the frame skip is determined based on the pixel difference between the input frame and the reference frame as described above, there is a possibility that the pixel difference appears greatly even for a small amount of movement. In that case, frame skip determination is not performed even for a frame with small motion, and the amount of code assigned to one frame is small, and the image quality is deteriorated. In particular, the tendency appears remarkably in the case of an input image containing a lot of high frequency components.
  • the pixel difference amount is not proportional to the code size after encoding. Therefore, even for a frame with a small code amount, if the pixel difference is large, it is determined as a skip frame, and a visually uncomfortable feeling remains. In particular, the tendency appears remarkably in the case of an input image containing a lot of high frequency components.
  • frame skip determination is performed with the same algorithm for any scene, frame skip processing suitable for the scene may not be performed.
  • An object of the present invention is to provide a signal processing device and a moving image pickup device capable of dynamically changing a frame skip determination threshold when shooting a moving image having a high resolution and a low bit rate.
  • the present invention provides a signal processing device that compresses a plurality of frames of image data and generates a stream, an encoding processing unit that encodes input image data, image movement information, and a threshold value.
  • a coding determination processing unit that determines whether to perform encoding by comparing with each other, a frame skip control unit that performs frame skip control when encoding is not performed, and a coding determination process based on the result of the encoding process
  • a configuration including a threshold correction unit that corrects the encoding determination threshold of the unit is employed.
  • the image movement information used in the encoding determination processing unit includes pixel movement information obtained by the representative point matching method performed in the pixel movement calculation unit, angular velocity sensor information obtainable from the lens control unit, and frequency information obtainable from the image processing unit. Either or a combination thereof can be used.
  • the encoding execution determination process is determined based on information conventionally used in the camera (angular velocity sensor information and pixel movement information), the number of processes for acquiring image movement information is small. . Further, since the movement amount is seen instead of the difference information, the motion detection accuracy can be improved.
  • the threshold value is corrected based on the encoding result, so that only frames with poor encoding efficiency can be determined to be frame skips. By doing so, it is possible to generate a stream that does not reduce the frame rate as much as possible and has no visual discomfort.
  • FIG. 1 It is a block diagram of the moving image imaging device provided with the signal processing device according to the present invention.
  • A), (b) and (c) is explanatory drawing of the representative point matching algorithm in the pixel movement calculation part in FIG. It is explanatory drawing of the angular velocity sensor information obtained from the lens control part in FIG.
  • (b) is explanatory drawing of the frequency information obtained from the image processing part in FIG. 2 is a flowchart illustrating an example of a frame skip operation in the signal processing device in FIG. 1. It is explanatory drawing of the still image threshold value in the encoding determination process part in FIG. It is explanatory drawing of the moving image threshold value in the encoding determination process part in FIG.
  • FIG. 10 is another operation explanatory diagram of the frame skip control unit in FIG. 1.
  • the moving image capturing apparatus shown in FIG. 1 is a network camera that records moving images, for example, and generates an image data according to timing and outputs the image data input apparatus 101 and the image data output from the image data input apparatus 101.
  • a signal processing device 102 that performs image processing and encoding processing, converts the packet into a network transmission packet, and outputs the packet; a data communication device 103 that transmits the packet output from the signal processing device 102 to the network; And a data storage device 104 for storing the data.
  • the image data input device 101 includes an imaging unit 105 that converts video light into an electrical signal, and an imaging device control unit that controls the timing of capturing the electrical signal output from the imaging unit 105 and the irradiation time of the video light onto the imaging device. 106.
  • the signal processing apparatus 102 performs predetermined image processing (AE (automatic exposure) processing, WB (white balance) processing, aperture processing, YC processing, etc.) on the video signal read from the imaging unit 105, and luminance signal and color difference
  • An image processing unit 107 that converts a signal
  • a lens control unit 108 that controls a lens
  • a pixel movement calculation unit 109 that calculates a pixel movement amount
  • an encoding processing unit 110 that encodes input image data.
  • An encoding determination processing unit 111 that determines whether or not encoding is to be performed by the encoding processing unit 110 based on image movement information and a threshold, and a threshold for performing the encoding determination by the encoding determination processing unit 111 is corrected.
  • FIG. 2A is a diagram showing the first frame, where a point 201 is a representative point, and information on the one point is held.
  • FIG. 2B is a diagram showing the second frame, and a search is made as to where the point determined as the representative point has moved in this frame.
  • FIG. 2C is an overlay of the first frame and the second frame, and it can be seen that the representative point 202 defined in the first frame has moved to the point 203. This moved distance is defined as a pixel movement amount. In the present invention, this pixel movement amount is used as one piece of image movement information.
  • the angular velocity sensor information is information on the amount of movement of the camera as shown in FIG.
  • the angular velocity sensor attached to the sensor portion can represent how much the camera has moved. In the present invention, this angular velocity sensor information is used as one of the image movement information.
  • ⁇ Calculate the amount of motion for the acquired angular velocity sensor information.
  • the amount of movement differs depending on whether the zoom is performed or not. Even if the angular velocity sensor information is small, the amount of movement increases if the zoom is performed. Therefore, when calculating the amount of movement from the angular velocity sensor information, a value obtained by multiplying the angular velocity sensor information by the zoom magnification is used as the amount of movement. .
  • the image processing unit 107 when the input data is processed by the image processing unit 107, frequency information as shown in FIGS. 4A and 4B can be obtained.
  • the image processing unit 107 can also acquire frequency information of the entire image, but can also divide the screen into a plurality of pieces and acquire each frequency information.
  • the encoding determination processing unit 111 performs encoding determination processing based on the frequency information of the image. For example, the difference between the frequency information of the image data to be encoded and the frequency information of the image to be referred to at the time of encoding is calculated for each region, and if the calculation result is small, it is determined that there is no movement in the frame.
  • the skip control unit 113 is notified of non-encoding.
  • FIG. 5 shows a still image skip determination processing algorithm that combines pixel movement information and frequency information.
  • pixel movement information is acquired from the pixel movement calculation unit 109.
  • frequency information of the entire image is acquired from the image processing unit 107.
  • a determination is made based on the frequency information acquired from the image processing unit 107. If it is determined that the frequency is low, the pixel movement amount is compared with the still image threshold value in S104 as before, and if it is smaller than the threshold value, it is determined that there is no need for encoding, and the frame skip control unit 113 Frame skip processing S105 is performed. If it is larger than the threshold value, it is determined that encoding is necessary, and the encoding processing unit 110 performs encoding processing in S106.
  • the pixel movement information is compared with the threshold value in S107.
  • the threshold value is increased to facilitate frame skip determination. By doing so, it is possible to maintain the amount of code allocated per frame. If it is smaller than the threshold value, it is determined that there is no need for encoding, and the frame skip control unit 113 performs frame skip processing S105. If it is larger than the threshold value, it is determined that encoding is necessary, and the encoding processing unit 110 performs encoding processing in S106.
  • a scene with small motion is characterized by a small amount of change (difference) between frames. While shooting a video, even if you skip frames with small changes, there is almost no visual discomfort. Therefore, taking advantage of the feature that the amount of change is small, the encoding determination processing unit 111 holds a low threshold for determining a scene with small motion as the still image threshold 303. When the image movement information 301 is below the still image threshold 303 (when entering the area 302), it is determined as a frame skip target frame.
  • a scene with intense motion is characterized by a large amount of change (difference) between frames.
  • it uses the human visual characteristic that little information is obtained from moving images. While shooting a movie, skipping a frame with intense motion may cause some visual discomfort, but less information can be obtained in one frame than a stationary frame, so the generated stream There is no big impact. Deterioration of image quality without assigning a code amount becomes a fatal problem as a stream. Therefore, taking advantage of the feature that a scene with intense motion has a large amount of change, the encoding determination processing unit 111 holds a high threshold for determining a scene with intense motion as the moving image threshold 403. When the image movement information 401 exceeds the moving image threshold value 403 (when entering the area 402), it is determined as a frame skip target frame.
  • the encoding determination processing unit 111 can perform better frame skip control by having both the still image threshold and the moving image threshold.
  • the encoding determination processing unit 111 performs encoding determination processing for both the moving image threshold value 501 and the still image threshold value 502. By doing so, it is possible to perform an optimal frame skip process even for a scene change during moving image shooting.
  • An area 503 is determined to be a skip target frame.
  • the threshold correction unit 112 corrects the threshold according to the recorded scene based on the information of the encoding result.
  • the number of intra macroblocks that can be acquired at the time of encoding is acquired from the encoding processing unit 110, and image movement information at the time of encoding is acquired from the encoding determination processing unit 111.
  • the threshold correction unit 112 determines that there is no need to correct the moving image threshold because the motion is small, and the threshold is not corrected. If the image movement information is large, it is determined that there is a possibility of a scene with intense motion, and the threshold correction behavior is determined based on the number of intra macroblocks in S203.
  • intra macroblocks are generated motion is intense
  • threshold correction is performed. Specifically, when it is determined that the number of intra macroblocks is small, it is determined that the scene does not move strongly, and the moving image threshold is increased to make it difficult to determine frame skip (S204). If it is determined that the number of intra macroblocks is large, it is determined that the scene is intensely moving, and the moving image threshold is lowered to facilitate the determination of frame skip (S205).
  • the motion vector amount that can be acquired at the time of encoding is acquired from the encoding processing unit 110, and the image movement information at the time of encoding is acquired from the encoding determination processing unit 111.
  • the threshold correction unit 112 determines that the moving image threshold need not be corrected because the motion is small, and the threshold is not corrected. If the image movement information is large, it is determined that there is a possibility of a scene with intense motion, and the behavior of threshold correction is determined based on the motion vector amount in S303.
  • the motion vector amount indicates the amount of movement of the macroblock between the encoded frame and the reference frame
  • the motion vector amount is large the motion is intense”. If it is determined that the amount of motion vector is large, it is determined that the scene is intensely moving, and the moving image threshold is lowered in S304 to facilitate the determination of frame skipping. If it is determined that the amount of motion vector is small, it is determined that the scene is not moving strongly, and the moving image threshold is increased in S305 to make it difficult to determine frame skipping.
  • the encoding amount that can be acquired at the time of encoding and the QP value are acquired from the encoding processing unit 110, and the image movement information at the time of encoding is acquired from the encoding determination processing unit 111.
  • the threshold correction unit 112 determines that there is no need to correct the still image threshold because the movement is large, and the threshold is not corrected. If the image movement information is small, it is determined that there is a possibility of a scene with small motion, and the threshold correction behavior is determined based on the code amount and the QP value in S403, S404, and S406.
  • the coding efficiency is good when the code amount is small and the QP value is small, it is determined that coding does not affect the code amount allocation per frame, and threshold correction is performed. Specifically, when it is determined in S403 that the code amount is small, the magnitude of the QP value is determined in S404. If it is determined in S404 that the QP value is small, the frame can be determined as a frame with good encoding efficiency, and the still image threshold is lowered in S405 to make it difficult to determine frame skipping. If it is determined in S404 that the QP value is large, the code amount is small because high compression is being performed and not because coding efficiency is good, and the still image threshold is not corrected.
  • the magnitude of the QP value is determined in S406. If it is determined in S406 that the QP value is small, the code amount is large because the compression is low, and the still image threshold value is not corrected. If it is determined in S406 that the QP value is large, it is determined that the frame is a frame with poor compression efficiency, and the still image threshold is increased in S407.
  • FIG. 12 shows a simple frame thinning method. When it is determined that encoding is not performed in the frame 601, the frame rate is lowered by discarding the frame 601 without encoding the frame 601.
  • the frame 701 is discarded and replaced with a dummy frame 702 instead.
  • the dummy frame 702 is a frame composed of only skipped macroblocks, that is, a frame obtained by encoding only information that is the same as the reference source, it is composed of only a very small amount of information. Therefore, even if a dummy frame 702 is inserted instead of the discard frame 701, the influence on the code amount allocated per frame is small.
  • the encoding determination processing unit 111 does not perform the encoding determination process for all the frames, but makes a determination in consideration of the picture type at the time of encoding.
  • FIG. 15A and FIG. 15B show code amount allocation for streams having the same bit rate and different frame rates.
  • the amount of code allocated per frame is smaller than that in FIG. 15B. Therefore, in order to increase the amount of code allocation, the still image threshold is increased and the moving image threshold is decreased. It is necessary to set a threshold value that can be set and skipped more.
  • the frame rate is not fixed, and there is a possibility that a sense of incongruity appears visually. In particular, when a frame is skipped too much in a scene where movement is intense, the sense of incongruity appears remarkably. Therefore, as shown in FIG. 16, when a skip determination is made at frame 901, a transition is made to the dummy replacement mode, and frames are skipped from the frame at a constant interval between a plurality of frames. By doing so, the frame rate can be maintained at specific intervals.
  • the frame skip rate is fixed, and the frame rate cannot be lowered further. Therefore, multistage threshold values are prepared for each of the moving image threshold value and the still image threshold value.
  • the skip processing is performed in the range 1003 so that the upper threshold 1001 has a frame rate of 1/2, and the lower threshold 1002 has a frame rate of 1/4.
  • the frame rate is dynamically changed at specific intervals by changing the skip rate according to the value of the image movement information.
  • the encoding determination process by using the information of the above encoding result as the image movement information.
  • the encoding result is used as the image movement information of the next frame and skipped. Judgment processing is performed. However, since there is a time lag of one frame between the information on the coding determination and the frame on which the determination is made, the accuracy of the coding determination process is reduced.
  • the signal processing apparatus and the moving image capturing apparatus perform encoding determination based on representative point matching information and angular velocity sensor information before encoding, and dynamically determine an encoding determination threshold based on the encoding result. To change. By doing so, it is possible to perform frame skip determination processing suitable for each scene, the amount of code per frame can be increased, and encoding can be performed without a sense of incongruity visually and in image quality. Therefore, it is useful as a signal processing device and a moving image capturing device.

Abstract

　入力される画像データに対し符号化を行う符号化処理部（１１０）と、画像移動情報と閾値とを比較することで符号化実施判断を行う符号化判断処理部（１１１）と、符号化非実施の際にフレームスキップ制御を行うフレームスキップ制御部（１１３）と、符号化処理の結果をもとに符号化判断用閾値を補正する閾値補正部（１１２）とを設けることで、シーンに適したフレームスキップ処理を実現する。符号化判断処理部（１１１）で使用する画像移動情報は、例えば、画素移動算出部（１０９）で行う代表点マッチング方式で得られた画素移動情報、レンズ制御部（１０８）から取得できる角速度センサ情報、画像処理部（１０７）から取得できる周波数情報のいずれか、又はその組み合わせとする。

Description

信号処理装置及び動画撮像装置
　本発明は、動画像の符号化技術に関し、特に高解像度かつ低ビットレートの動画を撮影する際の符号化技術に関するものである。使用される製品としてはネットワークカメラ、車載カメラ、デジタルビデオカメラ等がある。
　近年、ネットワークカメラに高解像度化が進んできている。高解像度化されるにもかかわらず、目標とされるビットレートは従来通りの低いビットレートが要求されている。そのため、高解像度にもかかわらず、１フレーム当たりに割り当てられる符号量は従来のままであるため、画質劣化が課題とされている。
　従来のエンコーダでは、目標のビットレートを得るために、単純なフレームスキップアルゴリズムに従ってフレームレートを下げている。しかし、この単純なフレームスキップでは、復号化したときに視覚的品質に著しい違和感を及ぼすことが多い。
　そこで、この視覚的品質の劣化を防ぐ方法として、エンコードするフレーム画像とエンコード時に参照する画像との画素単位での差分を取得し、差分が小さいと判断したものに対してフレームスキップ処理を行う技術が知られている。「画素差分が小さい＝動きが小さい」と判断し、動きの小さいフレームに対してだけフレームスキップし、視覚的な違和感を少なくしつつ、１フレーム当たりに割り当てられる符号量を増やすのである（特許文献１参照）。
特開２００８－２３６７８９号公報
　上記のような入力フレームと参照フレームとの画素差分でフレームスキップの判断を行う場合、少しの動きに対しても画素差分が大きく現れる可能性がある。その場合、動きの小さいフレームに対してもフレームスキップ判断が行われず、１フレームに割り当てられる符号量が小さくなり、画質が劣化してしまう。特に、高周波成分を多く含むような入力画像の場合にその傾向が顕著に現れる。
　また、動画では参照フレームからの移動量と残りの差分値とを符号化するため、画素差分量が符号化後のコードサイズと比例の関係にあるわけではない。そのため、符号量が小さいフレームに対しても、画素差分が大きければスキップフレームと判断されてしまい、視覚的違和感が残る。特に、高周波成分を多く含むような入力画像の場合にその傾向が顕著に現れる。
　それに加えて、どのようなシーンに対しても同じアルゴリズムでフレームスキップ判断を行うため、シーンに適したフレームスキップ処理が行えないことがある。
　また、上記アルゴリズムであると動きの小さなシーンに対してのフレームスキップしか行うことができない。動きの激しいシーンでは動きの小さなシーンに比べ圧縮効率が悪いにもかかわらず、１フレーム当たりの符号量は変わらないため、画質劣化が改善されない。
　本発明の目的は、高解像度かつ低ビットレートの動画を撮影する際にフレームスキップの判断閾値をダイナミックに変更できる信号処理装置及び動画撮像装置を提供することにある。
　上記目的を達成するため、本発明は、複数フレームの画像データを圧縮しストリームを生成する信号処理装置において、入力される画像データに対し符号化を行う符号化処理部と、画像移動情報と閾値とを比較することで符号化実施判断を行う符号化判断処理部と、符号化非実施の際にフレームスキップ制御を行うフレームスキップ制御部と、符号化処理の結果をもとに符号化判断処理部の符号化判断用閾値を補正する閾値補正部とを備えた構成を採用したものである。
　符号化判断処理部で使用する画像移動情報は、画素移動算出部で行う代表点マッチング方式で得られた画素移動情報、レンズ制御部から取得できる角速度センサ情報、画像処理部から取得できる周波数情報のいずれか、又はその組み合わせとすることができる。
　本発明において、符号化実施判断処理を従来からカメラで使用されている情報（角速度センサ情報や、画素移動情報）で判断することとすれば、画像移動情報の取得のための処理の増加が少ない。また差分情報ではなく、移動量を見るため、動きの検出精度を高めることができる。
　また、従来動きの小さいフレームに対して全てフレームスキップさせていたのに対して、動きが小さくかつ符号量が大きい（符号化効率の悪い）フレームに対してだけ、フレームスキップ判断をすることが可能となる。そうすることで、必要最小限のフレームだけスキップ処理を行い、１フレーム当たりに割り当てられる符号量が増えるだけでなく、視覚的違和感のないストリームが生成できる。
　上記に加えて、動きの大きなシーンの判定を行う場合も、符号化結果にて閾値を補正するため、符号化効率の悪いフレームのみをフレームスキップと判断することができる。そうすることで、フレームレートを極力落とさず、視覚的違和感のないストリームを生成することが可能となる。
本発明に係る信号処理装置を備えた動画撮像装置のブロック図である。 （ａ）、（ｂ）及び（ｃ）は図１中の画素移動算出部における代表点マッチングアルゴリズムの説明図である。 図１中のレンズ制御部から得られる角速度センサ情報の説明図である。 （ａ）及び（ｂ）は図１中の画像処理部から得られる周波数情報の説明図である。 図１中の信号処理装置におけるフレームスキップ動作の例を示すフローチャートである。 図１中の符号化判断処理部における静止画閾値の説明図である。 図１中の符号化判断処理部における動画閾値の説明図である。 図１中の符号化判断処理部における静止画閾値及び動画閾値の説明図である。 図１中の閾値補正部におけるイントラマクロブロック数を用いた閾値補正アルゴリズムを示すフローチャートである。 図１中の閾値補正部における動きベクトル量を用いた閾値補正アルゴリズムを示すフローチャートである。 図１中の閾値補正部における符号量及び量子化パラメータ値を用いた閾値補正アルゴリズムを示すフローチャートである。 図１中のフレームスキップ制御部の動作説明図である。 図１中のフレームスキップ制御部の他の動作説明図である。 （ａ）及び（ｂ）は図１中の符号化判断処理部における符号化判断実施フレームの説明図である。 （ａ）及び（ｂ）は図１中の符号化判断処理部における符号化判断閾値の初期値設定説明図である。 図１中の符号化判断処理部におけるダミーフレームモードの説明図である。 図１中の符号化判断処理部における多段階閾値制御アルゴリズムの説明図である。 図１の変形例を示すブロック図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
　図１に示す動画撮像装置は、例えば動画記録を行うネットワークカメラであって、タイミングに応じて画像データを生成し出力する画像データ入力装置１０１と、画像データ入力装置１０１から出力された画像データを画像処理し符号化処理を行いネットワーク送信用のパケットに変換し出力する信号処理装置１０２と、信号処理装置１０２から出力されたパケットをネットワークへ送信するデータ通信装置１０３と、各処理のデータを一時的に格納するデータ記憶装置１０４とを備えている。
　画像データ入力装置１０１は、映像光を電気信号に変換する撮像部１０５と、撮像部１０５から出力される電気信号の取り込みタイミングや、映像光の撮像素子への照射時間を制御する撮像素子制御部１０６とを備えている。
　信号処理装置１０２は、撮像部１０５から読み出された映像信号を所定の画像処理（ＡＥ（automatic exposure）処理、ＷＢ（white balance）処理、アパーチャ処理、ＹＣ処理等）を施して輝度信号及び色差信号に変換する画像処理部１０７と、レンズの制御を行うレンズ制御部１０８と、画素移動量を算出する画素移動算出部１０９と、入力される画像データに対し符号化を行う符号化処理部１１０と、符号化処理部１１０で符号化を行うかどうか画像移動情報と閾値とをもって判断する符号化判断処理部１１１と、符号化判断処理部１１１にて符号化判断を行うための閾値を補正する閾値補正部１１２と、符号化判断処理部１１１にて符号化非実施と判断された場合にフレームスキップ制御を行うフレームスキップ制御部１１３と、符号化されたデータに対してネットワーク用にパケット分割を行うパケット生成部１１４と、パケット生成部１１４にてパケット分割されたデータをデータ通信装置１０３に転送するデータ通信制御部１１５とを備えている。
　ここで、画像移動情報の１つとして画素移動算出部１０９から出力される画素移動情報を得るための代表点マッチングのアルゴリズムについて、図２（ａ）～図２（ｃ）を用いて説明する。代表点マッチングとは、あるブロック（枠）の代表点を１点定め、その点が次のフレームにおいて、どれだけ移動したかを表したものである。図２（ａ）は１フレーム目を表した図であり、点２０１を代表点とし、その１点の情報を保持する。図２（ｂ）は２フレーム目を表した図であり、代表点として定めた点が、本フレーム内のどこに移動したかを探索する。図２（ｃ）は、１フレーム目と２フレーム目を重ねたものであり、１フレーム目で定めた代表点２０２が、点２０３まで移動していることが分かる。この移動した距離を画素移動量とする。本発明では、この画素移動量を画像移動情報の１つとして使用する。
　次に、画像移動情報として使用する、レンズ制御部１０８から出力される角速度センサ情報について、図３を用いて説明する。角速度センサ情報とは、図３で示すようにカメラの動き量の情報である。センサ部分についている角速度センサにてカメラがどれだけ動いたかを表すことができる。本発明では、この角速度センサ情報を画像移動情報の１つとして使用する。
　取得した角速度センサ情報に対して動き量の算出を行う。角速度センサの情報は、ズームをしている場合とそうでない場合とで動き量が異なってくる。角速度センサ情報が小さくても、ズームされていれば動き量としては大きくなるため、角速度センサ情報から動き量を算出する場合は、角速度センサ情報にズームの倍率をかけた値を動き量として使用する。
　また、画像移動情報の１つとして、入力されたデータを画像処理部１０７にて処理する際に、図４（ａ）及び図４（ｂ）に示されるような周波数情報を得ることができる。画像処理部１０７では、画像全体の周波数情報も取得できるが、画面を複数に分割し、それぞれの周波数情報を取得することもできる。符号化判断処理部１１１では、この画像の周波数情報によって、符号化判断処理を行う。例えば、符号化を行う画像データの周波数情報と、符号化の際に参照する画像の周波数情報との差分を領域毎に算出し、その算出結果が小さければ、画像に移動はないと判断しフレームスキップ制御部１１３に符号化非実施を通知する。
　また、上記画素移動情報と角速度センサ情報と周波数情報とを組み合わせることで、更に精度の高い符号化判断制御を行うことが可能となる。
　図５に、画素移動情報と周波数情報とを組み合わせた静止画像スキップ判断処理アルゴリズムを示す。Ｓ１０１では、画素移動算出部１０９から画素移動情報を取得する。Ｓ１０２では、画像処理部１０７から画像全体の周波数情報を取得する。Ｓ１０３では、画像処理部１０７から取得した周波数情報をもとに判断を行う。低周波と判断された場合は、従来通りＳ１０４にて画素移動量と静止画閾値とを比較し、閾値よりも小さければ符号化実施の必要性がないと判断し、フレームスキップ制御部１１３にてフレームスキップ処理Ｓ１０５を行う。閾値より大きければ符号化が必要と判断し、Ｓ１０６で符号化処理部１１０にて符号化処理を行う。
　Ｓ１０３で高周波と判断された場合は、Ｓ１０７にて、画素移動情報と閾値とを比較するが、画像が高周波であるため圧縮すると多くの符号量を出力される。そのため、閾値を大きくし、フレームスキップ判定をし易くする。そうすることで１フレーム当たりの割り当てられる符号量を維持することが可能となる。閾値よりも小さければ符号化実施の必要性がないと判断し、フレームスキップ制御部１１３にてフレームスキップ処理Ｓ１０５を行う。閾値より大きければ符号化が必要と判断し、Ｓ１０６で符号化処理部１１０にて符号化処理を行う。
　次に、符号化判断処理部１１１の符号化判断処理方法に関して、図６～図８にて説明する。
　まず、動きの小さなシーンのスキップ判断を、図６にて説明する。動きの小さなシーンは、フレーム間の変化量（差分）が小さいことが特徴として挙げられる。動画を撮影していくなかで、変化の小さいフレームをスキップしても視覚的な違和感はほとんど発生しない。そこで、変化量が小さいという特徴を生かし、符号化判断処理部１１１では、動きの小さなシーンを判定するための低い閾値を静止画閾値３０３として保持する。画像移動情報３０１が静止画閾値３０３を下回った場合（領域３０２に入った場合）、フレームスキップ対象フレームと判断する。
　次に、動きが激しいシーンのスキップ判断を、図７にて説明する。動きの激しいシーンは、フレーム間の変化量（差分）が大きいことが特徴として挙げられる。また、動きのある画像から得られる情報は少ないという人間の視覚特性を利用する。動画を撮影していくなかで、動きの激しいフレームをスキップしても視覚的な違和感は多少発生するものの、静止しているフレームに比べて１フレームで得られる情報は少ないため、生成されるストリームとして大きな影響はない。符号量が割り当てられずに画質劣化のほうが、ストリームとして致命的な課題となる。そこで、動きの激しいシーンは変化量が大きいという特徴を生かし、符号化判断処理部１１１では、動きの激しいシーンを判定するための高い閾値を動画閾値４０３として保持する。画像移動情報４０１が動画閾値４０３を上回った場合（領域４０２に入った場合）、フレームスキップ対象フレームと判断する。
　また、符号化判断処理部１１１では、静止画閾値と動画閾値とを併せて持つことで、よりよいフレームスキップ制御を行うことが可能となることを、図８にて説明する。
　符号化判断処理部１１１にて、動画閾値５０１と静止画閾値５０２との両方で符号化判断処理を行う。そうすることで、動画撮影中のシーン変化に対しても、最適なフレームスキップ処理を実施することが可能となる。５０３はスキップ対象フレームと判断する領域である。
　動画シーンのフレームスキップを抑制したい場合は、静止画閾値５０２を上げて動きの小さなフレームをスキップし易くし、かつ動画閾値５０１を上げて動きの激しいシーンをスキップし難くすることで、１フレームに割り当てる符号量を変化させずに動きの激しいシーンのフレームスキップ判断を抑制することができる。
　その逆に、静止画シーンのフレームスキップを抑制したい場合は、動画閾値５０１を下げて動きの激しいフレームをスキップし易くし、かつ静止画閾値５０２を下げて動きの小さなシーンをスキップし難くすることで、１フレームに割り当てる符号量を変化させずに動きの小さなシーンのフレームスキップ判断を抑制することができる。
　次に、閾値補正部１１２での制御方法に関して説明する。高周波の部分が画面の大半を占めるシーン、低周波の部分が画面の大半を占めるシーン、動きの小さいシーン、動きの激しいシーン等の、様々なシーンがあり、各シーンに対して適した閾値も異なってくる。動画撮影を行うなか、シーンは刻々と変化していくものであり、そのため、閾値もそれに合わせて変化させていく必要がある。そこで、閾値補正部１１２にて、符号化結果の情報をもとに、記録されているシーンに合わせて閾値の補正を行うようにする。
　まず、イントラマクロブロック数を使用した動画閾値補正制御アルゴリズムについて、図９を用いて説明する。Ｓ２０１では、符号化処理部１１０から符号化時に取得できるイントラマクロブロック数を取得するとともに、符号化判断処理部１１１から符号化時の画像移動情報を取得する。Ｓ２０２では、閾値補正部１１２にて、取得した画像移動情報が小さい場合は、動きは小さいため動画閾値の補正の必要はないと判断し、閾値の補正は行わない。画像移動情報が大きい場合、動きの激しいシーンの可能性があると判断し、Ｓ２０３にてイントラマクロブロック数をもとに閾値補正の振る舞いを決定する。すなわち、「イントラマクロブロックが発生する＝動きが激しい」と判断し、閾値補正を行う。具体的には、イントラマクロブロック数が少ないと判断した場合、動きが激しくないシーンと判断し、動画閾値を上げてフレームスキップとの判断をしにくくする（Ｓ２０４）。イントラマクロブロック数が多いと判断した場合、動きの激しいシーンだと判断し、動画閾値を下げて、フレームスキップと判断し易くする（Ｓ２０５）。
　次に、閾値補正用のパラメータとして符号化処理部１１０にて出力されるフレーム内の動きベクトル量を使用する方法について、図１０を用いて説明する。Ｓ３０１では、符号化処理部１１０から符号化時に取得できる動きベクトル量を取得するとともに、符号化判断処理部１１１から符号化時の画像移動情報を取得する。Ｓ３０２では、閾値補正部１１２にて、取得した画像移動情報が小さい場合は、動きが小さいため動画閾値の補正の必要はないと判断し、閾値の補正は行わない。画像移動情報が大きい場合、動きの激しいシーンの可能性があると判断し、Ｓ３０３にて動きベクトル量をもとに閾値補正の振る舞いを決定する。すなわち、動きベクトル量は符号化フレームと参照フレームとの間のマクロブロックの移動量を示すため、「動きベクトル量が大＝動きが激しい」と判断する。動きベクトル量が大きいと判断した場合、動きの激しいシーンだと判断し、Ｓ３０４にて動画閾値を下げて、フレームスキップと判断し易くする。動きベクトル量が小さいと判断した場合、動きが激しくないシーンと判断し、Ｓ３０５にて動画閾値を上げて、フレームスキップと判断しにくくする。
　次に、閾値補正用のパラメータとして符号化処理部１１０にて出力されるフレーム内の符号量と量子化パラメータ値（ＱＰ値）とを使用する方法について、図１１を用いて説明する。Ｓ４０１では、符号化処理部１１０から符号化時に取得できる符号量とＱＰ値とを取得するとともに、符号化判断処理部１１１から符号化時の画像移動情報を取得する。Ｓ４０２では、閾値補正部１１２にて、取得した画像移動情報が大きい場合は、動きが大きいため、静止画閾値の補正の必要はないと判断し、閾値の補正は行わない。画像移動情報が小さい場合、動きの小さいシーンの可能性があると判断し、Ｓ４０３、Ｓ４０４及びＳ４０６にて符号量とＱＰ値とをもとに閾値補正の振る舞いを決定する。
　まず、符号量が小さくかつＱＰ値が小さい場合、符号化効率が良いため、符号化してもフレーム当たりの符号量割り当てに影響はないと判断し、閾値補正を行う。具体的には、Ｓ４０３にて符号量が小さいと判断した場合、Ｓ４０４にてＱＰ値の大小を判断する。Ｓ４０４にてＱＰ値が小さいと判断された場合、そのフレームは符号化効率の良いフレームと判断でき、Ｓ４０５にて静止画閾値を下げてフレームスキップ判断をしにくくする。Ｓ４０４にてＱＰ値が大きいと判断された場合、符号量が小さいのは高圧縮を行っているためであり、符号化効率が良いからではないため、静止画閾値の補正は行わない。
　一方、Ｓ４０３にて符号量が大きいと判断した場合、Ｓ４０６にてＱＰ値の大小を判断する。Ｓ４０６にてＱＰ値が小さいと判断された場合、符号量が大きいのは低圧縮しているためであるので、静止画閾値の補正は行わない。Ｓ４０６にてＱＰ値が大きいと判断された場合、そのフレームは圧縮効率が悪いフレームだと判断し、Ｓ４０７にて静止画閾値を上げる。
　次に、フレームスキップ制御部１１３のスキップ処理に関して、図１２、図１３を用いて説明する。
　フレームスキップ処理としては２つの方法がある。図１２に示すのは、単純なフレーム間引き方法である。フレーム６０１で符号化非実施と判断された場合に、そのフレーム６０１の符号化を行わず、そのフレーム６０１を破棄することでフレームレートを下げる。
　しかしながら、各種ストリームの規格や、製品によっては、フレームレートを一定に保つよう規定されているものもある。そうした場合には、図１３に示すようなダミーフレームを挿入する方法もある。図１３によれば、フレーム７０１で符号化非実施と判断された場合、そのフレーム７０１は破棄し、代わりにダミーフレーム７０２に差し替える。ダミーフレーム７０２は、スキップドマクロブロックだけで構成されたフレーム、すなわち参照元と同様であるという情報だけを符号化したフレームであるため、極めて少量な情報だけで構成されている。そのため、破棄フレーム７０１の代わりにダミーフレーム７０２を挿入しても、フレーム当たりの割り当てられる符号量への影響は少ない。
　次に、符号化判断処理部１１１にて符号化判断処理を行うピクチャタイプについて説明する。符号化判断処理部１１１では、全てのフレームに対して符号化判断処理を行うわけではなく、符号化時のピクチャタイプを考慮して判断を行うようにするのである。
　図１４（ａ）のＰピクチャ８０２の被参照フレームとなるＰピクチャ８０１のフレームをスキップした場合、Ｐピクチャ８０２では、１フレーム空いたＩピクチャ８０３のフレームを参照する必要がある。そうした場合、時間的な差分が大きくなるため、フレーム間の差分も大きくなってしまい、符号量が増大してしまう。
　しかしながら、図１４（ｂ）のようなＢピクチャ８０４、すなわち参照されないフレームをスキップしても、以降の参照フレームの関係は変わらないため、符号量の増加にはならない。よって、ピクチャタイプに応じて符号化判断処理を行うことで、よりよいフレームスキップ処理を行うことが可能となる。
　また、上記の閾値はビットレートやフレームレートによって変更する必要がある。図１５（ａ）及び図１５（ｂ）は、ビットレートが同じでフレームレートが異なるストリームの符号量割り当てを示したものである。図１５（ｂ）に比べて図１５（ａ）の方が、１フレーム当たりの割り当てられる符号量が小さいため、符号割当量を増やすために、静止画閾値は高めに、動画閾値は低めにそれぞれ設定し、より多くスキップされるような閾値を設定する必要がある。
　また、符号化判断処理において、毎フレーム、又は特定のピクチャタイプ毎に符号化判断を実施するとフレームレートが定まらず、視覚的に違和感が出てしまう可能性がある。特に動きが激しいシーンでフレームをスキップし過ぎた場合に、その違和感が顕著に現れる。そこで、図１６に示すように、フレーム９０１でスキップ判断された場合に、ダミー置き換えモードに遷移し、そのフレームから複数フレーム間、一定の間隔でフレームをスキップさせる。そうすることで、特定の間隔でフレームレートを保つことができる。
　しかしながら、上記のような処理を行うと、フレームのスキップ率が固定になり、それ以上フレームレートを下げることができなくなる。そこで、動画閾値、静止画閾値毎に多段階の閾値を用意する。図１７に示す静止画閾値の例によれば、上段閾値１００１では、１／２のフレームレートになるように範囲１００３でスキップ処理を行い、下段閾値１００２では、１／４のフレームレートになるように範囲１００４でスキップ処理を行う。このように画像移動情報の値に応じてスキップ率を変えることで、フレームレートを特定の間隔毎に動的に変更させる。
　また、上記の符号化結果の情報を画像移動情報として使用することで、符号化判断処理を実現することも可能である。図１８のように処理の簡易化、回路規模の削減を図るために符号化するフレームの情報を事前に取得できないような場合に、符号化結果を次フレームの画像移動情報として使用して、スキップ判断処理を行う。ただし、符号化判断の情報と、判断を行うフレームとで１フレーム分のタイムラグが発生しているため、符号化判断処理の精度は落ちてしまう。
　本発明に係る信号処理装置及び動画撮像装置は、符号化を行う前に代表点マッチング情報や角速度センサ情報をもとに符号化判断を行い、符号化結果をもとにダイナミックに符号化判断閾値を変更する。そうすることで、シーン毎に適したフレームスキップ判断処理を行うことが可能になり、１フレーム当たりの符号量を増やすことができ、視覚的、画質的に違和感なく符号化を実施することができるため、信号処理装置及び動画撮像装置として有用である。
１０１　画像データ入力装置
１０２　信号処理装置
１０３　データ通信装置
１０４　データ記憶装置
１０５　撮像部
１０６　撮像素子制御部
１０７　画像処理部
１０８　レンズ制御部
１０９　画素移動算出部
１１０　符号化処理部
１１１　符号化判断処理部
１１２　閾値補正部
１１３　フレームスキップ制御部
１１４　パケット生成部
１１５　データ通信制御部

Claims (19)

  1. 　複数フレームの画像データを圧縮しストリームを生成する信号処理装置であって、
    　入力される画像データに対し符号化を行う符号化処理部と、
    　画像移動情報と閾値とを比較することで符号化実施判断を行う符号化判断処理部と、
    　符号化非実施の際にフレームスキップ制御を行うフレームスキップ制御部と、
    　符号化処理の結果をもとに前記符号化判断処理部の符号化判断用閾値を補正する閾値補正部とを備えたことを特徴とする信号処理装置。
  2. 　請求項１記載の信号処理装置において、
    　画素移動算出部を更に備え、前記符号化判断処理部で使用する前記画像移動情報を、前記画素移動算出部で行う代表点マッチング方式で得られた画素移動情報とすることを特徴とする信号処理装置。
  3. 　請求項１記載の信号処理装置において、
    　レンズ制御部を更に備え、前記符号化判断処理部で使用する前記画像移動情報を、前記レンズ制御部から取得できる角速度センサ情報とすることを特徴とする信号処理装置。
  4. 　請求項１記載の信号処理装置において、
    　画像処理部を更に備え、前記符号化判断処理部で使用する前記画像移動情報を、前記画像処理部から取得できる周波数情報とすることを特徴とする信号処理装置。
  5. 　請求項１記載の信号処理装置において、
    　画素移動算出部と、レンズ制御部と、画像処理部とのうち少なくとも２つを更に備え、前記画素移動算出部で行う代表点マッチング方式で得られた画素移動情報と、前記レンズ制御部から取得できる角速度センサ情報と、前記画像処理部から取得できる周波数情報とのいずれかを組み合わせて前記画像移動情報とすることを特徴とする信号処理装置。
  6. 　請求項１記載の信号処理装置において、
    　前記符号化判断処理部は、静止画閾値を設け、前記静止画閾値を下回ったフレームに対して、符号化非実施とすることを特徴とする信号処理装置。
  7. 　請求項１記載の信号処理装置において、
    　前記符号化判断処理部は、動画閾値を設け、前記動画閾値を上回ったフレームに対して符号化非実施とすることを特徴とする信号処理装置。
  8. 　請求項１記載の信号処理装置において、
    　前記符号化判断処理部は、静止画閾値と動画閾値とを設け、前記静止画閾値を下回ったフレームと前記動画閾値を上回ったフレームとに対して、符号化非実施とすることを特徴とする信号処理装置。
  9. 　請求項１記載の信号処理装置において、
    　前記閾値補正部は、前記画像移動情報と、前記符号化処理部から取得したフレーム内のイントラマクロブロック数とをもとに前記閾値補正を実行することを特徴とする信号処理装置。
  10. 　請求項１記載の信号処理装置において、
    　前記閾値補正部は、前記画像移動情報と、前記符号化処理部から取得したフレーム内の動きベクトル量とをもとに前記閾値補正を実行することを特徴とする信号処理装置。
  11. 　請求項１記載の信号処理装置において、
    　前記閾値補正部は、前記画像移動情報と、前記符号化処理部から取得した符号量及び量子化パラメータ値とをもとに前記閾値補正を実行することを特徴とする信号処理装置。
  12. 　請求項１記載の信号処理装置において、
    　前記符号化判断処理部にて符号化非実施と判断された場合、前記符号化処理部にて符号化を行わず、前記フレームスキップ制御部にてフレームを破棄することを特徴とする信号処理装置。
  13. 　請求項１記載の信号処理装置において、
    　前記符号化判断処理部にて符号化非実施と判断された場合、前記符号化処理部にて符号化を行わず、前記フレームスキップ制御部にてスキップドマクロブロックだけで構成されたダミーフレームを挿入することを特徴とする信号処理装置。
  14. 　請求項１記載の信号処理装置において、
    　前記符号化判断処理部は、符号化判断を行うフレームについて、ストリームのピクチャ構成に応じてスキップするピクチャタイプを選択することを特徴とする信号処理装置。
  15. 　請求項１記載の信号処理装置において、
    　前記符号化判断処理部にて判断に使用する閾値を、生成するストリームのビットレート、フレームレート、又は画像解像度に応じて変更することを特徴とする信号処理装置。
  16. 　請求項１記載の信号処理装置において、
    　前記符号化判断処理部にて動きが小さいと判断された場合、又は動きが大きいと判断された場合には、判断されたフレームより、以降複数フレーム間、一定の間隔でフレームスキップを実行することを特徴とする信号処理装置。
  17. 　請求項１記載の信号処理装置において、
    　前記符号化判断処理部にて閾値を多段階に設け、連続してスキップするフレーム数を変化させることを特徴とする信号処理装置。
  18. 　請求項１記載の信号処理装置において、
    　前記符号化判断処理部は、前記画像移動情報の代わりに、前記符号化処理部から取得したフレーム内のイントラマクロブロック数と、前記符号化処理部から取得したフレーム内の動きベクトル量と、前記符号化処理部から取得した符号量及び量子化パラメータ値とのうちいずれかを使用して符号化実施判断を行うことを特徴とする信号処理装置。
  19. 　画像データを入力する画像データ入力装置と、
    　データを一時的に格納しておくデータ記憶装置と、
    　外部から入力された画像情報を補正する画像処理部と、
    　前記画像処理部から出力されたデータを符号化する符号化処理部と、
    　画像移動情報をもとに符号化実施判断を行う符号化判断処理部と、
    　符号化非実施の際にフレームスキップ制御を行うフレームスキップ制御部と、
    　前記符号化判断処理部の符号化判断用閾値を補正する閾値補正部とを備えたことを特徴とする動画撮像装置。
PCT/JP2011/000487 2010-03-09 2011-01-28 信号処理装置及び動画撮像装置 WO2011111292A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201180012475.7A CN102783153B (zh) 2010-03-09 2011-01-28 信号处理装置以及动态图像拍摄装置
US13/604,175 US9854167B2 (en) 2010-03-09 2012-09-05 Signal processing device and moving image capturing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010051562A JP5583992B2 (ja) 2010-03-09 2010-03-09 信号処理装置
JP2010-051562 2010-03-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/604,175 Continuation US9854167B2 (en) 2010-03-09 2012-09-05 Signal processing device and moving image capturing device

Publications (1)

Publication Number Publication Date
WO2011111292A1 true WO2011111292A1 (ja) 2011-09-15

Family

ID=44563130

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/000487 WO2011111292A1 (ja) 2010-03-09 2011-01-28 信号処理装置及び動画撮像装置

Country Status (4)

Country Link
US (1) US9854167B2 (ja)
JP (1) JP5583992B2 (ja)
CN (1) CN102783153B (ja)
WO (1) WO2011111292A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130301706A1 (en) * 2012-05-11 2013-11-14 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
JP2015119335A (ja) * 2013-12-18 2015-06-25 Kddi株式会社 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103313091A (zh) * 2012-09-27 2013-09-18 中兴通讯股份有限公司 倍速播放方法、装置及系统
JP2014200074A (ja) * 2013-03-15 2014-10-23 株式会社リコー 配信制御システム、配信制御方法、及びプログラム
GB2516007B (en) 2013-06-28 2018-05-09 Displaylink Uk Ltd Efficient encoding of display data
US9615131B2 (en) * 2013-08-08 2017-04-04 Honeywell International Inc. System and method of motion detection on encrypted or scrambled video data streams
CN104144345B (zh) * 2013-09-18 2016-08-17 腾讯科技（深圳）有限公司 在移动终端进行实时图像识别的方法及该移动终端
JP2015220741A (ja) * 2014-05-21 2015-12-07 株式会社リコー 配信制御システム、配信制御方法、及びプログラム
US9269328B2 (en) * 2014-06-24 2016-02-23 Google Inc. Efficient frame rendering
CN105323466B (zh) * 2015-06-25 2019-01-29 维沃移动通信有限公司 一种基于场景的拍摄方法及终端
JP7197785B2 (ja) * 2019-01-28 2022-12-28 日本電信電話株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
JP7175941B2 (ja) * 2020-07-29 2022-11-21 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、プログラム
CN112254660B (zh) * 2020-09-14 2022-04-22 中铁七局集团有限公司 隧道智能监控量测信息集成与预警系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1066071A (ja) * 1996-08-20 1998-03-06 Fujitsu General Ltd 映像データ送信装置
JP2000350211A (ja) * 1999-06-07 2000-12-15 Toshiba Corp 動画像符号化方法及び動画像符号化装置
JP2001036908A (ja) * 1999-07-15 2001-02-09 Oki Electric Ind Co Ltd 動画像圧縮装置
JP2001245303A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 動画像符号化装置および動画像符号化方法
JP2008035281A (ja) * 2006-07-28 2008-02-14 Sanyo Electric Co Ltd 画像符号化方法
JP2008532430A (ja) * 2005-03-01 2008-08-14 クゥアルコム・インコーポレイテッド レート制御されたビデオ符号化のための適応フレーム・スキップ技術
JP2008236789A (ja) * 2001-03-05 2008-10-02 Intervideo Inc 符号化プロセスの実行中にスキップするビデオシーケンスフレームを選択する方法
JP2009201103A (ja) * 2008-01-22 2009-09-03 Panasonic Corp 映像信号処理装置
JP2010199656A (ja) * 2009-02-23 2010-09-09 Panasonic Corp 動画撮像装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2514114B2 (ja) * 1991-01-31 1996-07-10 株式会社グラフィックス・コミュニケーション・テクノロジーズ 動画像符号化装置
US5453787A (en) * 1993-12-10 1995-09-26 International Business Machines Corporation Variable spatial frequency chrominance encoding in software motion video compression
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
DE69836473T2 (de) * 1997-09-23 2007-09-20 Koninklijke Philips Electronics N.V. Bewegungsschätzung und bewegungskompensierte interpolation
JP3185763B2 (ja) * 1998-07-13 2001-07-11 日本電気株式会社 動画像符号化装置
JP4656680B2 (ja) * 1998-11-30 2011-03-23 シャープ株式会社 画像検索情報記録装置及び画像検索装置
EP1296525A4 (en) * 2000-06-28 2006-07-26 Mitsubishi Electric Corp IMAGE ENCODER AND IMAGE ENCODING METHOD
CN1344112A (zh) * 2000-09-18 2002-04-10 株式会社东芝 视频编码方法和视频编码设备
US6678590B1 (en) * 2000-10-17 2004-01-13 Bbnt Solutions Llc Vehicle navigation system with vision system preprocessor using MPEG encoder
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US6680738B1 (en) * 2002-02-22 2004-01-20 Neomagic Corp. Single-block virtual frame buffer translated to multiple physical blocks for multi-block display refresh generator
ES2401991T3 (es) * 2002-04-26 2013-04-26 Ntt Docomo, Inc. Dispositivo para la codificación de imágenes, procedimiento para la codificación de imágenes y programa para la codificación de imágenes
US7095786B1 (en) * 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
US20080089413A1 (en) * 2004-06-28 2008-04-17 Canon Kabushiki Kaisha Moving Image Encoding Apparatus And Moving Image Encoding Method
CN101189882B (zh) * 2004-07-20 2012-08-01 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
JP4622479B2 (ja) * 2004-11-25 2011-02-02 ソニー株式会社 再生装置および再生方法
US7933328B2 (en) * 2005-02-02 2011-04-26 Broadcom Corporation Rate control for digital video compression processing
US7400328B1 (en) * 2005-02-18 2008-07-15 Neomagic Corp. Complex-shaped video overlay using multi-bit row and column index registers
US9667980B2 (en) * 2005-03-01 2017-05-30 Qualcomm Incorporated Content-adaptive background skipping for region-of-interest video coding
US20060233253A1 (en) * 2005-03-10 2006-10-19 Qualcomm Incorporated Interpolated frame deblocking operation for frame rate up conversion applications
ES2528293T3 (es) * 2005-04-19 2015-02-06 Telecom Italia S.P.A. Procedimiento y aparato de codificación de imágenes digitales
JP2007306524A (ja) * 2006-05-15 2007-11-22 Nec Electronics Corp カメラ付き携帯機器及びその撮影支援方法
US8351513B2 (en) * 2006-12-19 2013-01-08 Allot Communications Ltd. Intelligent video signal encoding utilizing regions of interest information
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
US20110292997A1 (en) * 2009-11-06 2011-12-01 Qualcomm Incorporated Control of video encoding based on image capture parameters
US10178406B2 (en) * 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters
US8358359B2 (en) * 2010-01-21 2013-01-22 Microsoft Corporation Reducing motion-related artifacts in rolling shutter video information
US9020033B2 (en) * 2010-11-04 2015-04-28 Nice-Systems Ltd. System and method for enhancing compression using skip macro block on a compressed video
CN103582901A (zh) * 2010-12-29 2014-02-12 汤姆逊许可公司 生成运动合成数据的方法和生成运动合成数据的设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1066071A (ja) * 1996-08-20 1998-03-06 Fujitsu General Ltd 映像データ送信装置
JP2000350211A (ja) * 1999-06-07 2000-12-15 Toshiba Corp 動画像符号化方法及び動画像符号化装置
JP2001036908A (ja) * 1999-07-15 2001-02-09 Oki Electric Ind Co Ltd 動画像圧縮装置
JP2001245303A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 動画像符号化装置および動画像符号化方法
JP2008236789A (ja) * 2001-03-05 2008-10-02 Intervideo Inc 符号化プロセスの実行中にスキップするビデオシーケンスフレームを選択する方法
JP2008532430A (ja) * 2005-03-01 2008-08-14 クゥアルコム・インコーポレイテッド レート制御されたビデオ符号化のための適応フレーム・スキップ技術
JP2008035281A (ja) * 2006-07-28 2008-02-14 Sanyo Electric Co Ltd 画像符号化方法
JP2009201103A (ja) * 2008-01-22 2009-09-03 Panasonic Corp 映像信号処理装置
JP2010199656A (ja) * 2009-02-23 2010-09-09 Panasonic Corp 動画撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130301706A1 (en) * 2012-05-11 2013-11-14 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
WO2013169785A1 (en) * 2012-05-11 2013-11-14 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
US9451163B2 (en) 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
JP2015119335A (ja) * 2013-12-18 2015-06-25 Kddi株式会社 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法

Also Published As

Publication number Publication date
JP5583992B2 (ja) 2014-09-03
CN102783153B (zh) 2016-08-03
CN102783153A (zh) 2012-11-14
JP2011188243A (ja) 2011-09-22
US20120328008A1 (en) 2012-12-27
US9854167B2 (en) 2017-12-26

Similar Documents

Publication Publication Date Title
JP5583992B2 (ja) 信号処理装置
JP2011188243A5 (ja)
JP5908511B2 (ja) ブロックベースの画像安定化
US8624993B2 (en) Video image pickup device
US8237815B2 (en) Image processing apparatus, control method therefor, for suppressing deterioration of image quality caused by a foreign substance
EP2882184A2 (en) Robust automatic exposure control using embedded data
JP2010193441A (ja) 動画像処理装置、動画像処理方法および撮像装置
JP2012257198A (ja) 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置
JPWO2009093472A1 (ja) 動画像圧縮装置
JP2015115903A (ja) 撮像装置、撮像装置の制御方法、コンピュータプログラム
CN114500787A (zh) 基于照相机运动生成替代图像帧
US8488892B2 (en) Image encoder and camera system
US8405745B2 (en) Image processing apparatus, image processing method, and program
JP2007028598A (ja) 圧縮符号化装置及び圧縮符号化方法
JP2015023498A (ja) 画像符号化装置、画像符号化方法およびプログラム
WO2016171006A1 (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
JP2023052939A (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
KR102312681B1 (ko) 영상 처리 시스템 및 방법
US20170142431A1 (en) Image processing method and camera thereof
US9762926B2 (en) Image processing device and image processing method, program, and imaging apparatus
JP5482428B2 (ja) 撮像装置、手ブレ補正方法、プログラム
JPWO2012060030A1 (ja) 動画像符号化方法および動画像符号化装置
JP2008227876A (ja) 撮像装置
JP2010213238A (ja) 画像処理装置、画像処理方法
JP2005159925A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180012475.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11752960

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11752960

Country of ref document: EP

Kind code of ref document: A1