WO2010095207A1 - 動画撮像装置 - Google Patents

動画撮像装置 Download PDF

Info

Publication number
WO2010095207A1
WO2010095207A1 PCT/JP2009/007280 JP2009007280W WO2010095207A1 WO 2010095207 A1 WO2010095207 A1 WO 2010095207A1 JP 2009007280 W JP2009007280 W JP 2009007280W WO 2010095207 A1 WO2010095207 A1 WO 2010095207A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
movement
image
camera body
control unit
Prior art date
Application number
PCT/JP2009/007280
Other languages
English (en)
French (fr)
Inventor
内田友和
小川雅裕
方城正博
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2009801571981A priority Critical patent/CN102326389A/zh
Publication of WO2010095207A1 publication Critical patent/WO2010095207A1/ja
Priority to US13/210,951 priority patent/US8624993B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • the present invention relates to a moving image capturing apparatus, and more particularly, to a technique for eliminating the trade-off between code amount suppression and image quality securing in encoding when shooting a moving image with intense motion.
  • Examples of products on which the moving image pickup apparatus according to the present invention is mounted include a digital still camera and a digital video camera.
  • the inter-frame coding method is widely adopted as a data compression method for moving picture signals because of the strong correlation between frames in the moving picture signals.
  • Various inter-frame encoding methods have been proposed, and many of them are methods for encoding a frame difference of an image signal.
  • transform coding using orthogonal transform that efficiently uses the correlation in the two-dimensional space of the image with respect to the difference signal is often used.
  • international standard encoding methods such as ISO / IEC 11172-2 (commonly called MPEG1), which is a moving image encoding standard for storage media, are based on DCT (Discrete Cosine Transform), which is orthogonal transform.
  • DCT Discrete Cosine Transform
  • the inter-frame encoding method when the target frame is an inter-frame encoded frame, a difference between frames of the image signal is calculated, and the calculated difference value is converted into a variable length code such as a Huffman code.
  • the frame correlation after motion compensation is high due to the characteristics of moving images. Therefore, the compression efficiency is improved by assigning a short variable-length code to 0 or a difference value close thereto. be able to.
  • the compression efficiency can be further improved.
  • a quantization step variable method is known. This is a method for determining the quantization step to be used for encoding by monitoring the amount of generated code.
  • a virtual buffer that accepts a generated code and outputs it at a constant rate (fixed rate) is prepared, and a quantization step is calculated in proportion to the fullness rate of the virtual buffer. That is, the quantization step is increased when the buffer filling rate is increased, and the quantization step is decreased when the buffer filling rate is decreased.
  • the generation of codes is suppressed where the quantization step is large, and conversely, the generation of codes is promoted where the quantization step is small. Therefore, by controlling the buffer fullness to about 50%, for example, the generation of codes is controlled to be constant on average.
  • variable quantization step method Even in the variable quantization step method, the difference encoding becomes difficult and the code amount increases in a scene with intense motion, so even if the quantization step is increased in adjusting the code amount, the image quality deteriorates as a result. To do.
  • the quantization step is performed on the frame determined to have a large motion from the immediately preceding frame. There is also a method of suppressing the code amount by increasing the code amount.
  • the above-described quantization step variable method is a fixed rate code amount adjustment control method.
  • a variable rate method is known in which the quantization step is fixed and the fluctuation of the code amount is allowed. This is a method in which a quantization step that does not become lower than a certain standard image quality is determined in advance, and the quantization step is fixed at the time of encoding.
  • the code amount increases in a frame in which intense motion has occurred, so the code amount must be adjusted in the subsequent frames. If it does so, a quantization step will become an extremely high value with respect to the frame until then, and a remarkable degradation will generate
  • the present invention was created in view of such circumstances, and eliminates the trade-off between code amount suppression and image quality assurance even when the amount of movement of the subject image is intense due to the relative positional relationship with the screen.
  • the purpose is to make both compatible.
  • a scene determination encoding control unit for determining what kind of scene the imaging situation is before the encoding process.
  • the scene determination encoding control unit determines a shooting situation based on two types of motion information, that is, motion information of the camera body and motion information of the subject image on the screen, and outputs the determination result as encoding control information.
  • the motion information of the subject image within the screen is generated by an image processing unit that performs signal processing on moving image data input from the image sensor.
  • angular velocity information used for lens control can be used as the motion information of the camera body.
  • the moving picture imaging apparatus is An image processing unit that detects movement of a subject image within a screen in moving image data generated by an image sensor provided in the camera body and outputs subject image movement information; An image compression processing unit that performs compression encoding of the moving image data; A sensor that detects movement generated in the camera body and outputs camera body movement information; A scene determination encoding control unit that determines a shooting situation of the moving image data based on the subject image movement information and the camera body movement information; With The scene determination encoding control unit performs code amount suppression control suitable for the shooting situation on the image compression processing unit.
  • the shooting situation is a situation where a movement situation generated in the camera body and an actual subject movement situation are combined, and further, the scene determination encoding is performed.
  • the control unit is configured based on a combination of a degree of movement generated in the camera body indicated by the camera body movement information and a degree of movement of the subject image in the screen in the moving image data indicated by the subject image movement information. There is a method of determining the shooting situation.
  • the shooting situation includes, for example, “in-screen subject image movement”, “individual camera body movement”, “subject tracking camera body movement”, “no subject / camera body movement”.
  • “In-screen subject image movement” is a shooting situation in which the movement of the camera body is not a principle, and the subject image moves within the screen when the subject actually moves.
  • “Individual camera body movement” is a shooting situation in which there is no actual movement of the subject, the camera body is moving alone, and the subject image appears to move relatively within the screen.
  • “Subject tracking camera body movement” is a shooting situation in which the photographer moves the camera body in accordance with the movement of the subject in order to capture the moving subject image within the screen.
  • the scene determination encoding control unit determines the shooting situation according to the combination of the movement information of the camera body and the movement information of the subject image on the screen, and the determination result of the scene determination is the encoding control information.
  • the image compression processing unit or the image compression / decompression processing unit that has received the encoding control information performs compression encoding of the moving image data in accordance with the instruction of the encoding control information. That is, it is possible to select a code amount suppression control method suitable for each shooting situation and suppress the code amount without causing deterioration of image quality.
  • the encoding control information indicates a shooting situation of “subject tracking camera body movement”, it is a high-definition without reducing the amount of code because it is an imaging of an important scene for the photographer. It is only necessary to generate compressed moving image data without image quality deterioration.
  • the encoding control information indicates a “single camera body movement” shooting situation
  • the entire image is moving, so the visual characteristics that image quality degradation is not easily noticeable to the human eye are utilized.
  • the high frequency component of the input YC data may be removed to suppress the code amount.
  • the encoding control information means a shooting situation of “in-screen subject image movement”
  • the amount of code may be suppressed by increasing the compression.
  • the code amount suppression control may not be performed.
  • the moving image capturing apparatus of the present invention includes There is a mode in which the sensor detects an angular velocity applied to the camera body as a motion generated in the camera body.
  • Angular velocity is one of the preferable motion information of the camera body.
  • the moving image capturing apparatus of the present invention includes A lens control unit that corrects an unnecessary motion generated in a subject image in the screen by the angular velocity by giving a movement that cancels the angular velocity to a lens that collects photographing light on the image sensor; An angular velocity sensor that detects the angular velocity and supplies it to the lens controller; Further comprising The angular velocity sensor is shared as the sensor, There is a mode. According to this aspect, since the angular velocity sensor is shared as a sensor, the number of parts can be reduced.
  • the moving image capturing apparatus of the present invention includes The image processing unit detects representative point motion information obtained by inter-frame matching processing of representative points set in the screen as the subject image motion information; There is a mode.
  • the representative point matching is to determine one representative point of a certain block (frame) in the image data area and detect how much the point has moved in the next frame. In order to perform camera shake correction used.
  • a cost merit by using the constituent elements can be obtained.
  • the moving image capturing apparatus of the present invention includes The image processing unit further detects frequency distribution information in the moving image data;
  • the scene determination encoding control unit performs the image compression processing so that code amount suppression processing in each frequency band separated by the frequency distribution information in the moving image data is individually performed suitable for the situation determination. Control the part, There is a mode. According to this aspect, if the image contains a lot of high frequency components, it is possible to suppress the code amount by performing high compression.
  • the moving image capturing apparatus of the present invention includes The sensor detects an angular velocity applied to the camera body as a movement generated in the camera body, The image processing unit detects representative point motion information obtained by inter-frame matching processing of representative points set in the screen as the subject motion information; The image processing unit detects frequency distribution information in the moving image data; The scene determination encoding control unit determines the shooting situation by using the angular velocity, the representative point motion information, and the frequency distribution information by selecting according to the use of the moving image capturing apparatus. There is a mode. According to this aspect, it is possible to determine the shooting situation with high accuracy by employing the optimum information for each application.
  • the scene determination coding control unit determines the shooting situation by selecting and combining the angular velocity, the representative point motion information, and the frequency distribution information according to the use of the moving image capturing apparatus. There is a mode. According to this aspect, by adopting an optimal combination of information for each application, it is possible to determine the shooting situation with higher accuracy.
  • the moving image capturing apparatus of the present invention includes The scene determination coding control unit performs the code amount suppression control by removing a high frequency component filter. There is a mode. According to this aspect, in a shooting situation where the relative movement amount of the subject image with respect to the screen is large (such as “in-screen subject image movement”, “single camera body movement”, “subject camera movement”) described above. By removing high frequency components, it is possible to increase compression efficiency and prevent image quality degradation.
  • the moving image capturing apparatus of the present invention includes The scene determination encoding control unit performs multi-stage control of filter settings in the high-frequency component filter removal in units of a plurality of frames. There is a mode. According to this aspect, when removing the high-frequency component, the high-frequency component is smoothly removed by performing multistage control of the filter setting in units of a plurality of frames instead of in units of frames. It becomes possible to prevent changes.
  • the moving image capturing apparatus of the present invention includes The scene determination encoding control unit performs the code amount suppression control by skipping frames. There is a mode. According to this aspect, it is possible to effectively reduce the code amount by skipping frames in a shooting situation where the relative movement amount of the subject image with respect to the screen is severe.
  • the moving image capturing apparatus of the present invention includes The scene determination encoding control unit performs the code amount suppression control by inserting a dummy frame. There is a mode. According to this aspect, in a shooting situation in which the relative movement amount of the subject image on the screen is severe, it is possible to effectively reduce the code amount by inserting the dummy frame.
  • the moving image capturing apparatus of the present invention includes The scene determination encoding control unit performs the code amount suppression control by multiplexing frames. There is a mode. According to this aspect, in a shooting situation in which the relative movement amount of the subject image on the screen is severe, it is possible to effectively reduce the code amount by multiplexing the frames.
  • the moving image capturing apparatus of the present invention includes The scene determination encoding control unit performs the code amount suppression control by increasing a quantization step. There is a mode. According to this aspect, in a shooting situation in which the relative movement amount of the subject image on the screen is intense, it is possible to increase the compression efficiency by increasing the quantization step and to effectively reduce the code amount. It becomes.
  • the moving image capturing apparatus of the present invention includes: The scene determination encoding control unit performs the code amount suppression control by any one of high frequency component filter removal, frame skipping, dummy frame insertion, frame multiplexing, and quantization step increase. Carried out by There is a mode. According to this aspect, it is possible to employ optimal code amount suppression control for each determination result of the shooting situation, and it is possible to realize highly accurate code amount suppression control.
  • the moving image capturing apparatus of the present invention includes The scene determination coding control unit uses a multi-stage threshold for the motion determination of the subject image; There is a mode. According to this aspect, it is possible to perform fine-tuned control according to conditions by performing selective switching using multi-stage thresholds.
  • the moving image capturing apparatus of the present invention includes The scene determination encoding control unit uses a threshold value for determining the movement of the subject image, and switches the threshold value according to the size of the encoding search range. There is a mode. When the relative motion amount of the subject image on the screen is intense and the subject image exceeds the motion search range, inter-frame prediction cannot be performed, and the code amount increases abnormally. In general, the shooting situation to be determined through the movement of the subject image is a shooting situation in which the movement of the subject image exceeds the motion search range. According to this aspect, since the threshold value used for detection determination of the motion information of the subject image is changed according to the search range, appropriate control can be performed even in a shooting situation where the relative motion amount of the subject image on the screen is intense. It becomes possible.
  • the moving image capturing apparatus of the present invention includes The scene determination encoding control unit uses a threshold value for the motion determination of the subject image, and switches the threshold value according to an encoding frame rate or bit rate. There is a mode.
  • the amount of code assigned to one frame varies depending on the frame rate and bit rate. According to this aspect, since the threshold used for determining the motion of the subject image is changed according to the frame rate and the bit rate, it is possible to perform control that follows the change in the code amount assigned to one frame.
  • the shooting situation is determined based on the two types of motion information of the camera body motion information and the subject image motion information, and the determination result is output as the encoding control information.
  • Type camera body movement, individual camera body movement, subject image motion within the screen, and subject / camera body not moving, can be distinguished from each other.
  • FIG. 1 is a block diagram showing a configuration of a moving image capturing apparatus in a camera system for recording a moving image according to an embodiment of the present invention.
  • FIG. 2A is an explanatory diagram (part 1) of the representative point matching algorithm in the embodiment of the present invention.
  • FIG. 2B is an explanatory diagram (part 2) of the representative point matching algorithm according to the embodiment of the present invention.
  • FIG. 2C is an explanatory diagram (part 3) of the representative point matching algorithm in the embodiment of the present invention.
  • FIG. 3 is an explanatory diagram of the operation of the angular velocity sensor according to the embodiment of the present invention.
  • FIG. 4 is an explanatory diagram of a motion determination method according to the embodiment of the present invention.
  • FIG. 5 is a flowchart (part 1) showing the operation of the moving image capturing apparatus according to the embodiment of the present invention.
  • FIG. 6 is a flowchart (part 2) showing the operation of the moving image pickup apparatus in the embodiment of the present invention.
  • the moving image capturing apparatus 12 is a moving image capturing apparatus in a camera system that records moving images, and includes a sensor unit 1, a lens control unit 2, an image processing unit 3, an image compression / expansion processing unit 4, and a scene determination code.
  • a control unit 5 an image display processing unit 6, a CPU (Central Processing Unit) 7, an external memory 8, a display device 9, a recording medium 10, and a lens unit 11.
  • the moving image pickup device 12 is housed in the camera body 20.
  • the sensor unit 1 includes an image sensor 1a and an angular velocity sensor 1b.
  • the image sensor 1a takes in a moving image, performs photoelectric conversion, and outputs moving image data of RGB information.
  • the angular velocity sensor 1b detects a motion generated in the camera body 20 as an angular velocity, and outputs the detection result as angular velocity information.
  • Angular velocity information is an example of camera body movement information in the present invention.
  • the lens control unit 2 corrects unnecessary motion generated in the subject image in the screen by the angular velocity by applying a motion that cancels the angular velocity detected by the angular velocity sensor 1b to the predetermined lens in the lens unit 11.
  • the lens control unit 2 receives the angular velocity information output from the angular velocity sensor 1b, and controls the direction of the lens unit 11 based on the received angular velocity information.
  • the lens control unit 2 further outputs the received angular velocity information to the scene determination coding control unit 5.
  • the image processing unit 3 acquires RGB image data from the image sensor 1 a, performs image correction such as noise removal and signal level correction on the acquired image data, converts it into YC data, and stores it in the external memory 8. To do. Further, the image processing unit 3 performs representative point matching processing on the acquired image data and also performs image frequency analysis processing, and representative point matching information (an example of subject image motion information in the screen) obtained by these processing. And the frequency distribution information of the image are output to the scene determination coding control unit 5.
  • the image compression / decompression processing unit 4 performs encoding processing on the YC data read from the external memory 8 and compresses it, and stores the compressed code data in the external memory 8. Further, the image compression / decompression processing unit 4 The compressed code data is read from the memory 8, decompressed, and stored in the external memory 8.
  • the scene determination encoding control unit 5 acquires angular velocity information output from the lens control unit 2 and representative point matching information output from the image processing unit 3, and determines a shooting situation based on these two types of motion information. Based on the determination result, encoding control information is generated and output.
  • the shooting situation indicates a situation in which the movement situation occurring in the camera body 12 and the movement situation of the subject are combined.
  • the scene determination encoding control unit 5 determines the degree of motion that occurs in the camera body 12 (indicated by camera body motion information) and the degree of movement of the subject image within the screen in the moving image data (indicated by subject image motion information). The shooting situation is determined based on the combination of.
  • the image display processing unit 6 displays the YC data read from the external memory 8 in a form that matches the display device 9.
  • the CPU 7 is responsible for overall control.
  • the display device 9 displays data output from the image display processing unit 6.
  • Code data read from the external memory 8 via the CPU 7 is written to the recording medium 10.
  • the lens unit 11 is an optical mechanism that collects photographing light on the image sensor 1a, and includes a zoom lens that can change the focal length steplessly.
  • Inter-frame matching processing of representative points is to set a block (frame) in the image data area (frame) and then to determine one representative point in that block, and how much the representative point moves in the next frame It is a process to calculate whether or not.
  • FIG. 2A shows an image of the first frame.
  • the image processing unit 3 uses P1 as a representative point and holds information of the one point.
  • FIG. 2B shows an image of the second frame (a frame one frame after the first frame).
  • the image processing unit 3 searches where in the second frame the point P1 determined as the representative point in the first frame has moved.
  • FIG. 2C is an overlay of the image of the first frame and the image of the second frame.
  • the representative point P1 defined in the first frame moves to the point P2 in the second frame.
  • the moved distance is acquired as the amount of movement of the subject image, that is, the subject image movement information in the screen.
  • the process of acquiring subject image motion information as described above is a representative point inter-frame matching process.
  • the angular velocity information is information on the amount of movement of the camera body 20 shown in FIG. 3, and represents the result of detecting how much the camera body 20 has moved by the angular velocity sensor 1b. This angular velocity information is used as camera body movement information.
  • FIG. 4 is an explanatory diagram of the motion determination method.
  • a threshold is provided for motion determination, and the motion is determined based on whether or not the amount of motion exceeds the threshold.
  • the threshold for determining the movement of the subject image can be changed according to the size of the motion search range. Also, since the code amount allocated to one frame varies according to changes in the frame rate and bit rate, the threshold for determining the movement of the subject image is changed according to variations in the frame rate and bit rate.
  • step S1 the scene determination encoding control unit 5 performs processing for acquiring subject image motion information and camera body motion information as processing before encoding.
  • the acquired motion information becomes a detection element when the image processing unit 3 detects the motion of the image to be encoded.
  • the motion information to be acquired is representative point matching data (subject image motion information in the screen) acquired from the image processing unit 3 and angular velocity information (camera body motion information) acquired from the lens control unit 2.
  • step S2 the scene determination coding control unit 5 calculates the camera body motion amount from the angular velocity information acquired as the motion information from the lens control unit 2.
  • the amount of motion in the angular velocity information differs between a state where the lens is zoomed to the telephoto side (telephoto lens state) and a state where the lens is zoomed to the wide angle side (wide angle lens state). Even if the angular velocity information is small, if the telephoto lens is in the state, the amount of movement becomes large. Therefore, the scene determination encoding control unit 5 uses a value obtained by multiplying the angular velocity information by the zoom magnification as the amount of movement when calculating the amount of movement of the camera body 20 from the angular velocity information.
  • the zoom magnification is a ratio (fy / fx) between the focal length fx in the widest angle state of the zoom lens and the focal length fy after the zoom process.
  • step S3 the scene determination coding control unit 5 determines the subject image motion information acquired in step S1 and the amount of motion of the camera body 20 calculated in step S2.
  • the shooting status during shooting is ⁇ "Individual camera body movement", ⁇ "Subject tracking camera body movement”, ⁇ "In-screen subject image movement”, ⁇ “No subject / camera body movement” Which of the shooting conditions is selected is determined. This determination will be described later with reference to FIG.
  • step S4 the scene determination coding control unit 5 performs code amount suppression control suitable for the shooting situation determined in step S3 on the image compression / decompression processing unit 4.
  • the control is changed to suppression control suitable for the determined shooting situation.
  • step S11 the scene determination coding control unit 5 acquires each motion information and converts the acquired motion information into a motion determination parameter.
  • step S12 the motion of the camera body 20 is determined based on the parameters (camera body motion information) of the angular velocity sensor 1b. If it is determined in step S12 that the amount of motion of the camera body 12 is large (the parameter exceeds the threshold), the process branches to step S13. If it is determined that the amount of movement is small (the parameter is below the threshold), the process branches to step S16. .
  • step S13 and step S16 motion determination is performed based on the representative point matching parameters. If it is determined in step S13 that the amount of movement of the subject image within the screen is large (the parameter exceeds the threshold value), both the angular velocity and the representative point matching are large. In this state, the scene determination coding control unit 5 determines that a large movement has occurred in both the camera and the subject, and determines in step S14 that the shooting state is “individual camera body movement”. “Individual camera body movement” includes the following shooting conditions.
  • the “individual camera body movement” is caused by a physical movement such as a camera shake caused by a photographer during a shooting operation to the camera body 20, and thus a movement occurs in an actual subject.
  • the above-described physical movement includes the photographing situation detected as the movement of the representative point in the adjacent frame.
  • step S13 If it is determined in step S13 that the amount of motion of the subject image within the screen is small (the parameter is below the threshold value), only the angular velocity is large. In this state, the scene determination coding control unit 5 determines that the camera body 20 has a large movement, but the subject image on the screen does not have a large movement. It is determined to be “subject tracking camera body movement”. “Subject tracking camera body movement” is a shooting operation (pan / tilt) in which the photographer moves the camera body according to the movement of the subject in order to capture the moving subject image on the screen. Includes shooting conditions. In such a shooting situation, the camera body 20 moves relatively greatly, but the movement of the subject image within the screen is relatively small.
  • the representative point matching information that is the motion information of the subject image in the screen is increased although the angular velocity that is the motion information of the camera body 20 is increased. Becomes smaller.
  • the “subject tracking camera body movement” is the subject image in the screen, although the physical movement caused by the above shooting operation during the shooting operation propagates to the camera body. It can be said that this includes a shooting situation in which almost no movement is observed in (in which almost no movement is detected as a representative point in an adjacent frame).
  • step S16 when it is determined in step S16 that there is a motion (the parameter exceeds the threshold value), only the representative point matching information has a large value.
  • the scene determination coding control unit 5 determines that the camera body 20 does not have a large movement although a large movement has occurred in the subject image in the screen. It is determined that the subject image movement within the screen. “In-screen subject image movement” includes the following shooting conditions. That is, if the camera body 20 does not move due to camera shake or the like, but does move in the actual subject, the angular velocity that is the motion information of the camera body 20 is small, and the subject image on the screen The representative point matching information, which is the motion information of, increases.
  • the “in-screen subject image movement” is the actual movement in the state in which no physical movement such as camera shake caused by the photographer at the time of shooting operation or shooting operation such as pan / tilt is performed. Since the subject is moving, it can be said that it includes a shooting situation in which the movement of the subject image in the screen is detected as the movement of the representative point in the adjacent frame.
  • step S16 If it is determined in step S16 that the movement of the subject image is small (the parameter is below the threshold value), both the angular velocity information and the representative point matching information are small.
  • the scene determination coding control unit 5 determines that there is no large movement in the camera body 20 and the subject image in the screen, and in step S18, the shooting state is set to “no subject / camera body movement”. ”.
  • “No movement of subject / camera body” means the following state. That is, if the camera body 20 hardly moves due to camera shake or the like and the actual subject hardly moves, the angular velocity information that is the movement information of the camera body 12 is small, and The representative point matching information, which is the movement information of the subject image at, is also reduced.
  • no subject / camera body movement is actual when there is no physical movement such as camera shake caused by the photographer during the shooting operation or shooting operation such as pan / tilt. Since there is no movement in the subject, it can be said that this includes a shooting situation in which the movement of the representative point is not detected in the adjacent frame.
  • the scene determination coding control unit 5 removes the high frequency components of the input YC data so as to suppress the code amount in the shooting situation determined as “individual camera body movement”.
  • the image compression / decompression processing unit 4 is controlled. However, if the frequency component is suddenly reduced, it becomes easy for humans to see. Therefore, the frequency component is gradually reduced in units of frames.
  • the scene determination encoding control unit 5 further provides a threshold value for determining whether or not a significant amount of motion has occurred in the camera body 20, and if the angular velocity information exceeds the threshold value, the frame image Determines that the image is an unnecessary image, skips the frame without removing the high-frequency component of the YC data, and controls the image compression / decompression processing unit 4 so as not to encode the frame itself.
  • Such frame skip processing cannot be performed with image data adapted to a video stream standard such as AVCHD (Advanced Video Codec High Definition). This is because skipping a frame in such a standard is determined to be a violation of the standard.
  • the scene determination coding control unit 5 inserts a dummy frame in which all macroblocks are composed of skipped macroblocks into the frame instead of the frame skip processing, or the frame image in the previous frame is
  • the image compression / decompression processing unit 4 is controlled so as to be used as a frame image of the current frame.
  • the scene determination encoding control unit 5 controls the image compression / decompression processing unit 4 so as not to perform code amount suppression control. This is because, in a shooting situation where the photographer performs a shooting operation for shooting a moving subject image within a predetermined area on the screen, the photographer requests a high-definition image as much as possible. Because it is. However, if the image data contains a lot of high frequency components, the amount of codes will increase. In such a case, the scene determination encoding control unit 5 performs the following control on the image compression / decompression processing unit 4 based on the frequency distribution information acquired by the image processing unit 3. That is, the scene determination encoding control unit 5 performs control for suppressing the amount of code on the image compression / decompression processing unit 4 by increasing the quantization step in the high-frequency component region and performing high compression processing on the image data.
  • the scene determination encoding control unit 5 performs control to suppress the code amount by increasing the quantization step and highly compressing the image data. Is performed in the image compression / decompression processing unit 4.
  • the scene determination coding control unit 5 does not perform the code amount suppression control on the image compression / decompression processing unit 4.
  • the code amount suppression control after the shooting situation determination described above is for digital still cameras and digital video cameras.
  • the control method described above may have an adverse effect. Therefore, the code amount suppression control after the shooting situation determination is made to be able to be changed according to the application.
  • the moving image capturing apparatus of the present invention performs scene determination based on two types of motion information, that is, motion information of the camera body and motion information of the subject image in the screen, and outputs the determination result as coding control information. For this reason, the code amount can be suppressed well even in a frame with intense motion, and the code amount can be assigned to a frame that has finished moving, so that the image quality can be improved.
  • the present invention exhibiting such effects is very useful in digital still cameras, digital video cameras, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　画像処理部が、カメラ本体に設けられたイメージセンサが生成する動画像データにおける画面内での被写体像の動きを検出して被写体動き情報を出力する。センサがカメラ本体に生じる動きを検知してカメラ本体動き情報を出力する。シーン判定符号化制御部が、被写体像動き情報とカメラ本体動き情報とに基づいて、動画像データの撮影状況を判定しその撮影状況に適した符号量抑制制御を画像圧縮処理部に実施する。

Description

動画撮像装置
　本発明は動画撮像装置にかかわり、特には、動きの激しい動画を撮影する際の符号化において符号量抑制と画質確保とのトレードオフを解消するための技術に関する。本発明にかかわる動画撮像装置が搭載される製品としては、デジタルスチルカメラやデジタルビデオカメラなどがある。
　フレーム間符号化方法は、動画像信号においてフレーム間の相関関係が強いことから動画像信号のデータ圧縮方法として広く採用されている。フレーム間符号化方法は種々提案されており、その多くは画像信号のフレーム差分を符号化する方法である。フレーム間符号化方法では、差分信号に対してさらに画像の持つ２次元空間内の相関を効率良く利用する直交変換を用いた変換符号化がよく用いられる。特に、蓄積メディア用の動画像符号化標準であるＩＳＯ／ＩＥＣ　１１１７２－２（通称ＭＰＥＧ１）などの国際標準の符号化方法では、直交変換であるＤＣＴ（Discrete Cosine Transform：離散コサイン変換）をベースとした符号化方法が採用されている。
　フレーム間符号化方法においては、対象フレームがフレーム間符号化フレームの場合、画像信号のフレーム間の差分を算出し、算出した差分値をハフマン符号等の可変長符号に変換する。このような変換形態を有するフレーム間符号化方法では、動画像の特性上、動き補償後のフレーム相関が高くなるため、０またはそれに近い差分値に短い可変長符号を割り当てることで圧縮効率を高めることができる。なお分割したブロックの動き補償予測後のデータが０になる場合には、符号化しないでよいため、さらに圧縮効率を高めることができる。
　動画像信号のデータ圧縮においては、符号量調整（レートコントロール）が必須である。符号量調整方法としては量子化ステップ可変方法が知られている。これは、符号の発生量をモニターして符号化で使う量子化ステップを決定する方法である。この方法では、発生した符号を受け入れたうえで一定レート（固定レート）で出力する仮想バッファを用意したうえで、その仮想バッファの充足率に比例するように量子化ステップを算定する。すなわち、バッファの充足率が上がると量子化ステップを大きくし、充足率が下がると量子化ステップを小さくする。これにより量子化ステップが大きいところでは符号の発生が抑制され、逆に量子化ステップが小さいところでは符号の発生が促進される。したがって、バッファの充足率を例えば５０％程度に制御することにより、符号の発生が平均的に一定に制御されることになる。
　しかしながら、量子化ステップ可変方法においても、動きの激しいシーンでは、差分符号化がむずかしくなって符号量が増大してしまうため、符号量の調整において量子化ステップを大きくしても結果として画質が劣化する。量子化ステップ可変方法において高画質化を図る方法としては、手振れ情報または動きベクトルに基づいて各フレームの動きを判定したうえで、動きが大きいと判定されるフレームでは、直前フレームより量子化ステップを大きくすることで符号量を抑制する方法もある。
　上述した量子化ステップ可変方法は固定レート符号量調整制御方法である。このような固定レート制御方法とは別に、量子化ステップを固定して符号量の変動を許す可変レート方式が知られている。これは、ある基準の画質以下にならないような量子化ステップを予め決定しておき、符号化時に量子化ステップを固定する方法である。
特開２００６－１３５７０号公報 特開２００６‐１６６２３３号公報
　フレーム差分情報を用いた符号化は符号化効率が良いものの、フレーム間で激しい動きが発生すると、フレーム間の相関関係が弱くなる、またはなくなることで、符号化が困難になる。そのため、フレーム内の情報だけで符号化しなければならなくなるが、フレーム内での符号化は、フレーム差分の符号化に比べて符号化効率が低く符号量が増大してしまう。
　固定レート符号量調整制御方法では、激しい動きが発生したフレームで符号量が増大するため、その後のフレームで符号量を調整しなければならない。そうすると、量子化ステップがそれまでのフレーム対して極端に高い値になり、画像に著しい劣化が発生する。特に低周波成分の多いフレームでは、その傾向が顕著に現れる。
　このような画像劣化を回避する方法として、手振れ情報に基づいて量子化ステップを大きくすることで符号量を抑制する方法がある。しかしながら、動きの激しいフレームでは量子化ステップが大きいため、そのフレームが劣化してしまい、以後のフレームでもフレームの劣化を引きずってしまう。
　また、符号化前のＹＣデータに対して高周波成分を低減して符号量を抑制する方法もある。しかしながら、この方法では被写体の動きや、被写体に追従したカメラの移動も動きとして捉えてしまうため、撮影者が必要とする画像に対しても高周波成分が低減されてしまうという課題がある。
　本発明は、このような事情に鑑みて創作されたものであり、画面との相対的な位置関係で被写体像の動き量が激しい場合でも、符号量抑制と画質確保とのトレードオフを解消し、両者を両立させることができるようにすることを目的とする。
　（１）本発明では、符号化処理の前に撮像状況がどのようなシーンであるかを判定するためのシーン判定符号化制御部を設けている。シーン判定符号化制御部は、カメラ本体の動き情報と画面内での被写体像の動き情報との２種類の動き情報に基づいて撮影状況の判定を行い、その判定結果を符号化制御情報として出力する。画面内での被写体像の動き情報は、イメージセンサから入力されてくる動画像データに信号処理を施す画像処理部において生成される。カメラ本体の動き情報は、レンズ制御用に使用されている角速度情報を利用することができる。
　以上を要するに、本発明による動画撮像装置は、
　カメラ本体に設けられたイメージセンサが生成する動画像データにおける画面内での被写体像の動きを検出して被写体像動き情報を出力する画像処理部と、
　前記動画像データの圧縮符号化を行う画像圧縮処理部と、
　前記カメラ本体に生じる動きを検知してカメラ本体動き情報を出力するセンサと、
　前記被写体像動き情報と前記カメラ本体動き情報とに基づいて、前記動画像データの撮影状況を判定するシーン判定符号化制御部と、
　を備え、
　前記シーン判定符号化制御部は、前記撮影状況に適した符号量抑制制御を前記画像圧縮処理部に実施する。
　なお、本発明の態様には、前記撮影状況とは、前記カメラ本体に生じる運動状況と実際の被写体の移動状況とを組み合わせた状況である、というものがあり、さらには、前記シーン判定符号化制御部は、前記カメラ本体動き情報が示す前記カメラ本体に生じる運動の度合いと前記被写体像動き情報が示す前記動画像データにおける画面内での前記被写体像の移動の度合いとの組み合わせに基づいて前記撮影状況を判定する、というものがある。
　撮影状況については、例えば、“画面内被写体像動き”、“単独型カメラ本体動き”、“被写体追従型カメラ本体動き”、“被写体・カメラ本体移動なし”などがある。“画面内被写体像動き”は、カメラ本体の動きが原則としてなく、被写体が実際に動くことにより、被写体像が画面内で動く、という撮影状況である。“単独型カメラ本体動き”は、被写体には実際の動きがなく、カメラ本体が単独に動いており、画面内では相対的に被写体像が動くように見える、という撮影状況である。“被写体追従型カメラ本体動き”は、移動する被写体像を画面内に捕捉しておくために撮影者が被写体の動きに合わせてカメラ本体を動かす、撮影状況であって、これは、撮影者が被写体像を画面内の所定領域内に収める状態で撮影を行う撮影状況に相当する。デジタルスチルカメラのおけるいわゆる“流し撮り”といわれる撮影テクニックが実施された撮影状況も含んでいる。“被写体・カメラ本体移動なし”は、カメラ本体が静止し、かつ被写体も静止している撮影状況である。このようなカメラ本体の動き情報と画面内での被写体像の動き情報との組み合わせに応じた撮影状況の判定がシーン判定符号化制御部で行われ、そのシーン判定の判定結果が符号化制御情報として出力される。この符号化制御情報を受け取った画像圧縮処理部または画像圧縮／伸張処理部は、符号化制御情報の指示するところに従って動画像データの圧縮符号化を行うことになる。すなわち、それぞれの撮影状況に適した符号量抑制制御方法を選択し、画質の劣化を発生させることなく符号量を抑制することが可能となる。
　例えば、符号化制御情報が“被写体追従型カメラ本体動き”の撮影状況を意味しているときは、撮影者にとって大切なシーンの撮像であることから、符号量を削減することなく、高精細で画質劣化のない圧縮動画像データを生成させればよい。
　また、例えば、符号化制御情報が“単独型カメラ本体動き”の撮影状況を意味しているときは、画像全体が動いているため画質の劣化が人の目にはつきにくいという視覚特性を活かして、入力となるＹＣデータの高周波数成分を除去して符号量を抑制すればよい。
　また、例えば、符号化制御情報が“画面内被写体像動き”の撮影状況を意味しているときは、高圧縮にすることで符号量を抑制すればよい。
　また、例えば、符号化制御情報が“被写体・カメラ本体移動なし”の撮影状況を意味しているときは、符号量抑制制御は行わないようにすればよい。
　（２）本発明の動画撮像装置には、
　前記センサは、前記カメラ本体に加えられる角速度を前記カメラ本体に生じる動きとして検出する、という態様がある。角速度は、カメラ本体の動き情報として好ましいものの１つである。
　（３）本発明の動画撮像装置には、
　撮影光を前記イメージセンサに集光させるレンズに、前記角速度を相殺する動きを付与することで、前記角速度によって画面内の被写体像に生じる不要運動を補正するレンズ制御部と、
　前記角速度を検出して前記レンズ制御部に供給する角速度センサと、
　をさらに備え、
　前記角速度センサは、前記センサとして共用される、
　という態様がある。この態様によれば、角速度センサをセンサとして共用するため、部品点数の削減が図れる。
　（４）本発明の動画撮像装置には、
　前記画像処理部は、前記画面内に設定した代表点のフレーム間マッチング処理で得られる代表点動き情報を前記被写体像動き情報として検出する、
　という態様がある。代表点マッチングとは、画像データ領域内のあるブロック（枠）の代表点を１点定め、その点が次のフレームにおいてどれだけ移動したかを検出するもので、カメラの手振れ補正を行うために使用される。この態様によれば、このような代表点のフレーム間マッチング処理で得られる動き情報を画面内での被写体像動き情報として用いることで、構成要素の兼用によるコストメリットが得られる。
　（５）本発明の動画撮像装置には、
　前記画像処理部は前記動画像データにおける周波数分布情報をさらに検出し、
　前記シーン判定符号化制御部は、前記動画像データにおいて前記周波数分布情報によって分離される各周波数帯域における符号量抑制処理が、前記状況判定に適して個別に実施されるように、前記画像圧縮処理部を制御する、
　という態様がある。この態様によれば、高周波成分が多く含まれる画像であれば、高圧縮にして符号量を抑制することが可能となる。
　（６）本発明の動画撮像装置には、
　前記センサは、前記カメラ本体に加えられる角速度を前記カメラ本体に生じる動きとして検出し、
　前記画像処理部は、前記画面内に設定した代表点のフレーム間マッチング処理で得られる代表点動き情報を前記被写体動き情報として検出し、
　前記画像処理部は、前記動画像データにおける周波数分布情報を検出し、
　前記シーン判定符号化制御部は、前記角速度と、前記代表点動き情報と、前記周波数分布情報とを、当該動画撮像装置の用途に応じて選択して用いて前記撮影状況を判定する、
　という態様がある。この態様によれば、用途ごとに最適な情報を採用することにより、精度の高い撮影状況判定が可能となる。
　（７）上述した（６）の動画撮像装置には、
　前記シーン判定符号化制御部は、前記角速度と、前記代表点動き情報と、前記周波数分布情報とを、当該動画撮像装置の用途に応じて選択して組み合わせて前記撮影状況を判定する、
　という態様がある。この態様によれば、用途ごとに最適な情報の組み合わせを採用することにより、さらに精度の高い撮影状況の判定が可能となる。
　（８）本発明の動画撮像装置には、
　前記シーン判定符号化制御部は、前記符号量抑制制御を、高周波成分フィルタ除去によって実施する、
　という態様がある。この態様によれば、画面に対する被写体像の相対的な動き量が激しい撮影状況（前述した“画面内被写体像動き”、“単独型カメラ本体動き”、“被写体追従型カメラ本体動き”等）においては、高周波成分を除去することにより、圧縮効率を高めるとともに画質劣化を防ぐことが可能となる。
　（９）本発明の動画撮像装置には、
　前記シーン判定符号化制御部は、前記高周波成分フィルタ除去におけるフィルタ設定を複数のフレーム単位で多段階制御する、
　という態様がある。この態様によれば、高周波成分を除去する際に、フレーム単位ではなく複数のフレーム単位でフィルタの設定を多段階制御することで、高周波成分が滑らかに除去されることになり、急激な画像の変化を防ぐことが可能となる。
　（１０）本発明の動画撮像装置には、
　前記シーン判定符号化制御部は、前記符号量抑制制御を、フレームをスキップすることにより実施する、
　という態様がある。この態様によれば、画面に対する被写体像の相対的な動き量が激しい撮影状況においては、フレームをスキップすることにより符号量の削減を効果的なものにすることが可能となる。
　（１１）本発明の動画撮像装置には、
　前記シーン判定符号化制御部は、前記符号量抑制制御を、ダミーフレームを挿入することにより実施する、
　という態様がある。この態様によれば、画面における被写体像の相対的な動き量が激しい撮影状況においては、ダミーフレームを挿入することにより符号量の削減を効果的なものにすることが可能となる。
　（１２）本発明の動画撮像装置には、
　前記シーン判定符号化制御部は、前記符号量抑制制御を、フレームを多重化することにより実施する、
　という態様がある。この態様によれば、画面における被写体像の相対的な動き量が激しい撮影状況においては、フレームを多重化することにより符号量の削減を効果的なものにすることが可能となる。
　（１３）本発明の動画撮像装置には、
　前記シーン判定符号化制御部は、前記符号量抑制制御を、量子化ステップを増加させることにより実施する、
　という態様がある。この態様によれば、画面における被写体像の相対的な動き量が激しい撮影状況においては、量子化ステップを増加させることで圧縮効率を上げ、符号量の削減を効果的なものにすることが可能となる。
　（１４）本発明の動画撮像装置には、
　前記シーン判定符号化制御部は、前記符号量抑制制御を、高周波成分フィルタ除去と、フレームのスキップと、ダミーフレームの挿入と、フレームの多重化と、量子化ステップの増加とのうちのいずれかを行うことにより実施する、
　という態様がある。この態様によれば、撮影状況の判定結果ごとに最適な符号量抑制制御を採用することができて、精度の高い符号量抑制制御を実現することが可能となる。
　（１５）本発明の動画撮像装置には、
　前記シーン判定符号化制御部は、前記被写体像の動き判定に多段階の閾値を用いる、
　という態様がある。この態様によれば、多段階の閾値を用いて選択切り替えすることにより、条件に応じたきめ細かい制御が可能となる。
　（１６）本発明の動画撮像装置には、
　前記シーン判定符号化制御部は、前記被写体像の動き判定に閾値を用いるとともに、当該閾値を、符号化の探索範囲の大きさに応じて切り替える、
　という態様がある。画面における被写体像の相対的な動き量が激しく、被写体像が動き探索範囲を超えた場合にはフレーム間予測が行えなくなり、符号量が異常に増大してしまう。一般的に被写体像の動きを介して判定したい撮影状況は、動き探索範囲を超えた被写体像の動きが生じる撮影状況である。この態様によれば、被写体像の動き情報の検知判定に用いる閾値を探索範囲に応じて変更するので、画面における被写体像の相対的な動き量が激しい撮影状況においても適切な制御を行うことが可能となる。
　（１７）本発明の動画撮像装置には、
　前記シーン判定符号化制御部は、前記被写体像の動き判定に閾値を用いるとともに、当該閾値を、符号化のフレームレートまたはビットレートに応じて切り替える、
　という態様がある。
　１フレームに対して割り当てる符号量はフレームレート、ビットレートによって変わってくる。この態様によれば、被写体像の動き判定に用いる閾値をフレームレート、ビットレートに応じて変更するので、１フレームに対して割り当てる符号量の変化にも追随した制御が可能となる。
　本発明によれば、カメラ本体動き情報と被写体像動き情報との２種類の動き情報に基づいて撮影状況の判定を行い、その判定結果を符号化制御情報として出力するので、例えば、“被写体追従型カメラ本体動き”、“単独型カメラ本体動き”、“画面内被写体像動き”、“被写体・カメラ本体移動なし”といった各撮影状況を区別することが可能となり、それぞれの撮影状況に適した符号量抑制制御を選択して実施することで、画質の劣化を発生させることなく符号量を抑制することが可能となる。すなわち、画面との相対的な位置関係で被写体像の動き量が激しい場合でも、符号量抑制と画質確保とのトレードオフを解消し、両者を両立させることができる。
図１は本発明の実施の形態における動画記録を行うカメラシステムにおける動画撮像装置の構成を示すブロック図である。 図２Ａは本発明の実施の形態における代表点マッチングアルゴリズムの説明図（その１）である。 図２Ｂは本発明の実施の形態における代表点マッチングアルゴリズムの説明図（その２）である。 図２Ｃは本発明の実施の形態における代表点マッチングアルゴリズムの説明図（その３）である。 図３は本発明の実施の形態における角速度センサの動作説明図である。 図４は本発明の実施の形態における動き判定方法の説明図である。 図５は本発明の実施の形態における動画撮像装置の動作を示すフローチャート（その１）である。 図６は本発明の実施の形態における動画撮像装置の動作を示すフローチャート（その２）である。
　以下、本発明にかかわる動画撮像装置１２の実施の形態を図１を参照して詳細に説明する。この動画撮像装置１２は、動画記録を行うカメラシステムにおける動画撮像装置であって、センサ部１と、レンズ制御部２と、画像処理部３と、画像圧縮／伸張処理部４と、シーン判定符号化制御部５と、画像表示処理部６と、ＣＰＵ（Central Processing Unit）７と、外部メモリ８と、表示装置９と、記録媒体１０とレンズ部１１とを備える。動画撮像装置１２はカメラ本体２０に収納される。
　センサ部１はイメージセンサ１ａと角速度センサ１ｂとを備える。イメージセンサ１ａは、動画像を取り込んで光電変換を行い、ＲＧＢの情報の動画像データを出力する。角速度センサ１ｂは、カメラ本体２０に生じる動きを角速度として検知したうえで、その検出結果を角速度情報として出力する。角速度情報は本発明におけるカメラ本体動き情報の一例である。
　レンズ制御部２は、角速度センサ１ｂが検出する角速度を相殺する動きをレンズ部１１内の所定レンズに付与することで角速度によって画面内の被写体像に生じる不要運動を補正する。このような機能を発揮するために、レンズ制御部２は、角速度センサ１ｂが出力する角速度情報を受け取り、受け取った角速度情報に基づいてレンズ部１１の方向制御を行う。レンズ制御部２はさらに受け取った角速度情報をシーン判定符号化制御部５に出力する。
　画像処理部３は、イメージセンサ１ａからＲＧＢの画像データを取得したうえで、取得した画像データに、ノイズ除去,信号レベル補正等の画像補正を行い、ＹＣデータに変換して外部メモリ８に格納する。さらに画像処理部３は、取得した画像データに代表点マッチング処理を施すとともに、画像の周波数解析処理を行い、それらの処理で得られる代表点マッチング情報（画面内での被写体像動き情報の一例）と画像の周波数分布情報とをシーン判定符号化制御部５に出力する。
　画像圧縮／伸張処理部４は、外部メモリ８から読み出したＹＣデータに符号化処理を行って圧縮し、圧縮した符号データを外部メモリ８に格納する、さらに画像圧縮／伸張処理部４は、外部メモリ８から圧縮符号データを読み出して伸張して外部メモリ８に格納する。
　シーン判定符号化制御部５は、レンズ制御部２が出力する角速度情報と、画像処理部３が出力する代表点マッチング情報とを取得し、これら２種類の動き情報に基づいて撮影状況を判定し、その判定結果に基づいて符号化制御情報を生成して出力する。撮影状況とは、カメラ本体１２に生じる運動状況と被写体の移動状況とを組み合わせた状況を示す。シーン判定符号化制御部５は、カメラ本体１２に生じる運動の度合い（カメラ本体動き情報によって示される）と動画像データにおける画面内での被写体像の移動の度合い（被写体像動き情報によって示される）との組み合わせに基づいて撮影状況を判定する。
　画像表示処理部６は外部メモリ８から読み出したＹＣデータを表示装置９に合わせた形で表示する。ＣＰＵ７は全体の制御をつかさどる。表示装置９は画像表示処理部６から出力されるデータを表示する。記録媒体１０には外部メモリ８からＣＰＵ７を介して読み出された符号データが書き込まれる。レンズ部１１は撮影光をイメージセンサ１ａに集光させる光学機構であって、焦点距離を無段階に変更可能なズームレンズを備える。
　ここで、画像処理部３が行う代表点のフレーム間マッチング処理について説明する。図２Ａ～図２Ｃは代表点のフレーム間マッチング処理のアルゴリズムの説明図である。代表点のフレーム間マッチング処理とは、画像データ領域（フレーム）内にブロック（枠）を設定したうえでさらにそのブロック内に代表点を１点定め、その代表点が次のフレームにおいてどれだけ移動したかを算定する処理である。
　図２Ａは第１フレームの画像を表す。第１フレームにおいて画像処理部３は、Ｐ１を代表点とし、その１点の情報を保持する。図２Ｂは、第２フレーム（第１フレームから１フレーム後のフレーム）の画像を表す。第２フレームにおいて画像処理部３は、第１フレームで代表点として定めた点Ｐ１が、第２フレーム内のどこに移動したかを探索する。図２Ｃは、第１フレームの画像と第２フレームの画像とを重ねたものであり、図２Ｃで明らかなように、第１フレームで定めた代表点Ｐ１が第２フレームにおいて点Ｐ２まで移動していることが分かる。この移動した距離を被写体像の動き量すなわち画面内での被写体像動き情報として取得する。以上のようにして被写体像動き情報を取得する処理が代表点のフレーム間マッチング処理である。
　次に、レンズ制御部２から出力される角速度情報について説明する。角速度情報とは、図３で示すカメラ本体２０の動き量の情報であり、カメラ本体２０がどれだけ動いたかを角速度センサ１ｂで検出した結果を表す。この角速度情報をカメラ本体動き情報として使用する。
　次に、各シーン判定用に使用する動き検出方法に関して説明する。図４は動き判定方法の説明図である。動きの検知方法としては、動き判定用に閾値を設けて、動き量が閾値を上回ったかどうかで動きを判定する。
　動画像において被写体像に激しい動きが発生し、その動きが動き探索範囲を超えた場合には、フレーム間予測が行えなくなり、符号量が増大してしまう。一般に被写体像の動きとして判定したいのは、この動き探索範囲を超えたときとなる。そのため、被写体像の動きを判定する閾値は、動き探索範囲の大きさに応じて変更可能とする。また、１フレームに割り当てる符号量は、フレームレートやビットレートの変化に応じて変動するため、被写体像の動きを判定する閾値は、フレームレートやビットレートの変動に応じて変更する。
　次に、シーン判定符号化制御部５で行う処理を図５のフローチャートを参照して説明する。まずステップＳ１において、シーン判定符号化制御部５は、符号化を行う前の処理として被写体像動き情報とカメラ本体動き情報とを取得する処理を行う。取得した動き情報は、画像処理部３が符号化対象の画像の動きを検出する際における検出要素となる。取得する動き情報は、画像処理部３から取得する代表点マッチングデータ（画面内での被写体像動き情報）とレンズ制御部２から取得する角速度情報（カメラ本体動き情報）とである。
　次いでステップＳ２において、シーン判定符号化制御部５は、レンズ制御部２から動き情報として取得した角速度情報からカメラ本体動き量を算出する。図３で示すように、レンズにおいて望遠側にズーム操作された状態（望遠レンズ状態）と、広角側にズーム操作された状態（広角レンズ状態）とでは、角速度情報における動き量が異なる。角速度情報が小さくても望遠レンズ状態になっていると、動き量が大きくなる。そのため、シーン判定符号化制御部５は、角速度情報からカメラ本体２０の動き量を算出する場合に、角速度情報にズーム倍率をかけた値を動き量として使用する。ここで、ズーム倍率とは、ズームレンズにおいて最広角状態の焦点距離ｆｘと、ズーム処理後の焦点距離ｆｙとの間の比率（ｆｙ／ｆｘ）のことである。
　次いでステップＳ３において、シーン判定符号化制御部５は、ステップＳ１で取得した被写体像動き情報とステップＳ２で算出したカメラ本体２０の動き量に基づいて、
撮影中の撮影状況が、
・“単独型カメラ本体動き”、
・“被写体追従型カメラ本体動き”、
・“画面内被写体像動き”、
・“被写体・カメラ本体移動なし”
のうちのどの撮影状況であるのかを判定する。なお、この判定については、図６を参照して後述する。
　次いでステップＳ４において、シーン判定符号化制御部５は、ステップＳ３で判定した撮影状況に適した符号量抑制制御を画像圧縮／伸張処理部４に実施する。ここでは判定した撮影状況に適した抑制制御に変更する。
　次に、シーン判定符号化制御部５による撮影状況判定処理を図６のフローチャートを参照する説明する。シーン判定処理は図５のフローチャートにおけるステップＳ３に相当する。
　まずステップＳ１１において、シーン判定符号化制御部５は、各動き情報を取得し、取得した動き情報を動き判定用のパラメータに変換する。次にステップＳ１２において、角速度センサ１ｂのパラメータ（カメラ本体動き情報）に基づいてカメラ本体２０の動き判定を行う。ステップＳ１２においてカメラ本体１２の動き量が大きい（パラメータが閾値を上回る）と判定した場合はステップＳ１３に分岐し、動き量が少ない（パラメータが閾値を下回る）と判定した場合はステップＳ１６に分岐する。
　ステップＳ１３とステップＳ１６とでは、代表点マッチングパラメータに基づいて動き判定を行う。ステップＳ１３において画面内での被写体像の動き量が大きい（パラメータが閾値を上回る）と判定した場合、角速度,代表点マッチングともに値が大きいことになる。この状態になるとシーン判定符号化制御部５は、カメラ,被写体ともに大きい動きが生じていると判断したうえでステップＳ１４において、撮影状況を“単独型カメラ本体動き”であると判定する。“単独型カメラ本体動き”とは次のよう撮影状況を含む。すなわち、実際の被写体に動きが生じていないにもかかわらずカメラ本体２０に手振れ等に起因する動きが生じているのであれば、カメラ本体２０の動き情報である角速度が大きく、かつ画面内での被写体像の動き情報である代表点マッチング情報も大きくなる。このような分析に基づけば、“単独型カメラ本体動き”は、撮影操作時において撮影者が生じさせる手振れ等の物理的な動きがカメラ本体２０に伝播したために、実際の被写体には動きが生じていないにもかかわらず、前述した物理的な動きが隣接フレームにおいて代表点の移動として検出された撮影状況を含んだものであるといえる。
　ステップＳ１３において画面内での被写体像の動き量が小さい（パラメータが閾値を下回る）と判定した場合、角速度のみ値が大きいことになる。この状態になるとシーン判定符号化制御部５は、カメラ本体２０に大きい動きが生じているものの画面内での被写体像には大きな動きが生じていないと判断したうえでステップＳ１５において、撮影状況を“被写体追従型カメラ本体動き”であると判定する。“被写体追従型カメラ本体動き”は、移動する被写体像を画面内に捕捉しておくために撮影者が被写体の動きに合わせてカメラ本体を動かす、といった撮影操作（パン/ティルト）が実施された撮影状況を含む。このような撮影状況では、カメラ本体２０は比較的大きく動くものの画面内における被写体像の動きは比較的小さなものとなる。このような動きがカメラ本体２０と画面内の被写体像に生じているのであれば、カメラ本体２０の動き情報である角速度は大きくなるものの画面内での被写体像の動き情報である代表点マッチング情報は小さくなる。このような分析に基づけば、“被写体追従型カメラ本体動き”は、撮影操作時において上記撮影動作実施されたこと等に起因する物理的な動きがカメラ本体に伝播するものの、画面内の被写体像において動きはおいてほとんど観察されなくなる（隣接フレームにおいて代表点の移動としてほとんど検出されなくなる）撮影状況を含んだものであるといえる。
　一方、ステップＳ１６において動きがある（パラメータが閾値を上回る）と判定した場合、代表点マッチング情報のみ値が大きいことになる。この状態になるとシーン判定符号化制御部５は、画面内における被写体像に大きい動きが生じているものの、カメラ本体２０には大きな動きが生じていないと判断したうえでステップＳ１７において、撮影状況を“画面内被写体像動き”であると判定する。“画面内被写体像動き”とは、次のような撮影状況を含む。すなわち、カメラ本体２０に手振れ等に起因する動きが生じていないものの実際の被写体には動きが生じているのであれば、カメラ本体２０の動き情報である角速度は小さく、かつ画面内での被写体像の動き情報である代表点マッチング情報は大きくなる。このような分析に基づけば、“画面内被写体像動き”は、撮影操作時において撮影者が生じさせる手振れ等の物理的な動きやパン／ティルト等の撮影操作が実施されていない状態において実際の被写体に動きが生じているために、画面内における被写体像の動きが隣接フレームにおいて代表点の移動として検出された撮影状況を含んだものであるといえる。
　ステップＳ１６において被写体像の動きが少ない（パラメータが閾値を下回る）と判定した場合は、角速度情報と代表点マッチング情報とはともに小さいことになる。この状態になるとシーン判定符号化制御部５は、カメラ本体２０にも画面内における被写体像にも大きい動きが生じていないと判断したうえでステップＳ１８において、撮影状況を“被写体・カメラ本体移動なし”であるとする。“被写体・カメラ本体移動なし”とは、次のような状態をいう。すなわち、カメラ本体２０に手振れ等に起因する動きがほとんど生じておらずかつ実際の被写体にも動きがほとんど生じていないのであれば、カメラ本体１２の動き情報である角速度情報は小さく、かつ画面内での被写体像の動き情報である代表点マッチング情報も小さくなる。このような分析に基づけば、“被写体・カメラ本体移動なし”は、撮影操作時において撮影者が生じさせる手振れ等の物理的な動きやパン/ティルト等の撮影操作が実施されていない状態において実際の被写体にも動きが生じていないために、隣接フレームにおいて代表点の移動が検出されない撮影状況を含んだものであるといえる。
　（１）“単独型カメラ本体動き”であるとシーン判定された撮影状況では、画像全体が動いているため、画質の劣化が人の目にはつきにくくなる。このような視覚特性を活かし、“単独型カメラ本体動き”と判定した撮影状況においてシーン判定符号化制御部５は、入力となるＹＣデータの高周波数成分を除去して符号量が抑制されるように画像圧縮／伸張処理部４を制御する。ただし、急激に周波数成分を低減すると人の目につきやすくなるため、フレーム単位で徐々に周波数成分を低減するようにする。
　また、“単独型カメラ本体動き”であると判定された撮影状況においても、カメラ本体２０の動き量が著しく大きくなると、ＹＣデータの周波数成分を低減するだけでは符号量の抑制が効かなくなる。そこで、シーン判定符号化制御部５は、カメラ本体２０に著しく大きな動き量が発生しているかを否かを判定するための閾値をさらに設け、角速度情報がその閾値を超えた場合、そのフレーム画像は不要な画像と判定してＹＣデータの高周波成分を除去することなくそのフレームをスキップして、フレーム自体を符号化しないように画像圧縮／伸張処理部４を制御する。
　このようなフレームのスキップ処理は、ＡＶＣＨＤ（Advanced Video Codec High Definition）といったような動画ストリーム規格に適応した画像データでは実施できない。このような規格ではフレームをスキップすることは規格違反と判定されるためである。そのような場合、シーン判定符号化制御部５は、フレームのスキップ処理の代わりにすべてのマクロブロックがスキップマクロブロックで構成されたダミーフレームをそのフレームに挿入する、もしくは前回フレームにおけるフレーム画像を、今回フレームのフレーム画像として重複使用するように画像圧縮／伸張処理部４を制御する。
　（２）“被写体追従型カメラ本体動き”であるとシーン判定した撮影状況では、シーン判定符号化制御部５は、符号量抑制制御を行わないように画像圧縮／伸張処理部４を制御する。これは、動きのある被写体像を画面内の所定領域内に収める状態で撮影する撮影操作等を撮影者が実施する撮影状況においては、撮影者はできるだけ高精細の画像を要望していると考えられるからである。ただし、高周波成分が多く含まれる画像データであれば符号量が増大してしまう。そういった場合には画像処理部３が取得した周波数分布情報に基づいて、シーン判定符号化制御部５は、次のような制御を画像圧縮／伸張処理部４に実施する。すなわち、シーン判定符号化制御部５は、高周波成分領域において量子化ステップを増大させて画像データを高圧縮処理にすることで符号量を抑制する制御を画像圧縮／伸張処理部４に実施する。
　（３）“画面内被写体像動き”であると判定された撮影状況では、シーン判定符号化制御部５は、量子化ステップを増大させて画像データを高圧縮することで符号量を抑制する制御を画像圧縮／伸張処理部４に実施する。
　（４）“被写体・カメラ本体移動なし”であるとシーン判定された状態では、シーン判定符号化制御部５は、符号量抑制制御を画像圧縮／伸張処理部４に行わない。
　上記で述べた撮影状況判定後の符号量抑制制御は、デジタルスチルカメラやデジタルビデオカメラ用途のものである。監視カメラやネットワークカメラ等のカメラ固定式で、動いたものをできるだけ画質劣化なく表示すれることが要求される撮影装置では、上記で説明したような制御方法では悪影響を与える可能性がある。そこで、撮影状況判定後の符号量抑制制御に関しては、用途に応じて変更が行えるようにする。
　本発明の動画撮像装置は、カメラ本体の動き情報と画面内での被写体像の動き情報との２種類の動き情報に基づいてシーン判定を行い、その判定結果を符号化制御情報として出力する。そのため動きの激しいフレームでも符号量抑制が良好に行われ、動き終わったフレームに対しても符号量を割り当てることが可能となり、画質の向上を図ることができる。このような効果を発揮する本発明は、デジタルスチルカメラやデジタルビデオカメラなどにおいて大いに有用である。
　１　センサ部
　１ａ　イメージセンサ
　１ｂ　加速度センサ
　２　レンズ制御部
　３　画像処理部
　４　画像圧縮／伸張処理部
　５　シーン判定符号化制御部
　６　画像表示処理部
　７　ＣＰＵ
　８　外部メモリ
　９　表示装置
　１０　記録媒体
　１１　レンズ部
　１２　動画撮像装置
　２０　カメラ本体

Claims (21)

  1. 　カメラ本体に設けられたイメージセンサが生成する動画像データにおける画面内での被写体像の動きを検出して被写体像動き情報を出力する画像処理部と、
    　前記動画像データの圧縮符号化を行う画像圧縮処理部と、
    　前記カメラ本体に生じる動きを検知してカメラ本体動き情報を出力するセンサと、
    　前記被写体動き情報と前記カメラ本体動き情報とに基づいて、前記動画像データの撮影状況を判定するシーン判定符号化制御部と、
    　を備え、
    　前記シーン判定符号化制御部は、前記撮影状況に適した符号量抑制制御を前記画像圧縮処理部に実施する、
    　動画撮像装置。
  2. 　前記撮影状況とは、前記カメラ本体に生じる運動状況と実際の被写体の移動状況とを組み合わせた状況である、
    　請求項１の動画撮像装置。
  3. 　前記シーン判定符号化制御部は、前記カメラ本体動き情報が示す前記カメラ本体に生じる運動の度合いと前記被写体像動き情報が示す前記動画像データにおける画面内での前記被写体像の移動の度合いとの組み合わせに基づいて前記撮影状況を判定する、
    　請求項１の動画撮像装置。
  4. 　前記センサは、前記カメラ本体に加えられる角速度を前記カメラ本体に生じる動きとして検出する、
    　請求項１の動画撮像装置。
  5. 　撮影光を前記イメージセンサに集光させるレンズ部に、前記角速度を相殺する動きを付与することで、前記角速度によって画面内の被写体像に生じる不要運動を補正するレンズ制御部と、
    　前記角速度を検出して前記レンズ制御部に供給する角速度センサと、
    　をさらに備え、
    　前記角速度センサは、前記センサとして共用される、
    　請求項４の動画撮像装置。
  6. 　前記画像処理部は、前記画面内に設定した代表点のフレーム間マッチング処理で得られる代表点動き情報を前記被写体像動き情報として検出する、
    　請求項１の動画撮像装置。
  7. 　前記画像処理部は前記動画像データにおける周波数分布情報をさらに検出し、
    　前記シーン判定符号化制御部は、前記動画像データにおいて前記周波数分布情報によって分離される各周波数帯域における符号量抑制処理が、前記状況判定に適して個別に実施されるように、前記画像圧縮処理部を制御する、
    　請求項１の動画撮像装置。
  8. 　前記センサは、前記カメラ本体に加えられる角速度を前記カメラ本体に生じる動きとして検出し、
    　前記画像処理部は、前記画面内に設定した代表点のフレーム間マッチング処理で得られる代表点動き情報を前記被写体像動き情報として検出し、
    　前記画像処理部は、前記動画像データにおける周波数分布情報を検出し、
    　前記シーン判定符号化制御部は、前記角速度と、前記代表点動き情報と、前記周波数分布情報とを、当該動画撮像装置の用途に応じて選択して用いて前記撮影状況を判定する、
    　請求項１の動画撮像装置。
  9. 　前記シーン判定符号化制御部は、前記角速度と、前記代表点動き情報と、前記周波数分布情報とを、当該動画撮像装置の用途に応じて選択して組み合わせて前記撮影状況を判定する、
    　請求項８の動画撮像装置。
  10. 　前記シーン判定符号化制御部は、前記符号量抑制制御を、高周波成分フィルタ除去によって実施する、
    　請求項１の動画撮像装置。
  11. 　前記シーン判定符号化制御部は、前記高周波成分フィルタ除去におけるフィルタ設定を複数のフレーム単位で多段階制御する、
    　請求項１０の動画撮像装置。
  12. 　前記シーン判定符号化制御部は、前記符号量抑制制御を、フレームをスキップすることにより実施する、
    　請求項１の動画撮像装置。
  13. 　前記シーン判定符号化制御部は、前記符号量抑制制御を、ダミーフレームを挿入することにより実施する、
    　請求項１の動画撮像装置。
  14. 　前記シーン判定符号化制御部は、前記符号量抑制制御を、フレームを多重化することにより実施する、
    　請求項１の動画撮像装置。
  15. 　前記シーン判定符号化制御部は、前記符号量抑制制御を、量子化ステップを増加させることにより実施する、
    　請求項１の動画撮像装置。
  16. 　前記シーン判定符号化制御部は、前記符号量抑制制御を、高周波成分フィルタ除去と、フレームのスキップと、ダミーフレームの挿入と、フレームの多重化と、量子化ステップの増加とのうちのいずれかを行うことにより実施する、
    　請求項１の動画撮像装置。
  17. 　前記シーン判定符号化制御部は、前記被写体像の動き判定に多段階の閾値を用いる、
    　請求項１の動画撮像装置。
  18. 　前記シーン判定符号化制御部は、前記被写体像の動き判定に閾値を用いるとともに、当該閾値を、符号化の探索範囲の大きさに応じて切り替える、
    　請求項１の動画撮像装置。
  19. 　前記シーン判定符号化制御部は、前記被写体像の動き判定に閾値を用いるとともに、当該閾値を、符号化のフレームレートまたはビットレートに応じて切り替える、
    　請求項１の動画撮像装置。
  20. 　前記画像圧縮処理部は、動画像データの伸張を行う機能を有する画像圧縮／伸張処理部である、
    　請求項１の動画撮像装置。
  21. 　前記動画像データの画像表示制御を行う画像表示処理部をさらに備える、
    　請求項１の動画撮像装置。
PCT/JP2009/007280 2009-02-23 2009-12-25 動画撮像装置 WO2010095207A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2009801571981A CN102326389A (zh) 2009-02-23 2009-12-25 运动图像拍摄装置
US13/210,951 US8624993B2 (en) 2009-02-23 2011-08-16 Video image pickup device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-038849 2009-02-23
JP2009038849A JP2010199656A (ja) 2009-02-23 2009-02-23 動画撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/210,951 Continuation US8624993B2 (en) 2009-02-23 2011-08-16 Video image pickup device

Publications (1)

Publication Number Publication Date
WO2010095207A1 true WO2010095207A1 (ja) 2010-08-26

Family

ID=42633510

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/007280 WO2010095207A1 (ja) 2009-02-23 2009-12-25 動画撮像装置

Country Status (4)

Country Link
US (1) US8624993B2 (ja)
JP (1) JP2010199656A (ja)
CN (1) CN102326389A (ja)
WO (1) WO2010095207A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012065128A (ja) * 2010-09-16 2012-03-29 Nikon Corp 画像評価装置及び画像評価プログラム
CN105981362A (zh) * 2014-02-18 2016-09-28 华为技术有限公司 用于获得图片的方法和多相机系统
CN106027913A (zh) * 2016-07-15 2016-10-12 深圳市金立通信设备有限公司 一种拍照方法及终端

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5583992B2 (ja) * 2010-03-09 2014-09-03 パナソニック株式会社 信号処理装置
KR101690261B1 (ko) 2012-04-02 2016-12-27 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
US9451163B2 (en) 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
US8928765B2 (en) 2012-06-08 2015-01-06 Apple Inc. Noise reduction based on motion sensors
EP2680581A1 (en) * 2012-06-28 2014-01-01 Alcatel-Lucent Method and apparatus for dynamic adaptation of video encoder parameters
EP2885765B1 (en) * 2012-08-15 2019-12-18 Intuitive Surgical Operations, Inc. Methods and systems for optimizing video streaming
US9912847B1 (en) 2012-09-25 2018-03-06 Amazon Technologies, Inc. Image capture guidance to reduce specular reflection effects
US9307148B1 (en) * 2013-05-15 2016-04-05 Amazon Technologies, Inc. Video enhancement techniques
EP3033876A4 (en) * 2013-08-12 2017-07-12 Intel Corporation Techniques for low power image compression and display
US10063777B2 (en) 2015-05-01 2018-08-28 Gopro, Inc. Motion-based camera mode control to reduce rolling shutter artifacts
EP3751839A1 (en) * 2015-05-01 2020-12-16 GoPro, Inc. Camera mode control
CN107852491B (zh) * 2015-07-31 2021-09-14 深圳市大疆创新科技有限公司 传感器辅助的码率控制方法
EP3207708B1 (en) 2015-07-31 2021-10-13 SZ DJI Technology Co., Ltd. Method and system of modifying search areas
JP6559011B2 (ja) * 2015-08-20 2019-08-14 キヤノン株式会社 画像処理装置、および画像処理方法
AU2017245322A1 (en) * 2017-10-10 2019-05-02 Canon Kabushiki Kaisha Method, system and apparatus for selecting frames of a video sequence
EP3474548A1 (en) * 2017-10-18 2019-04-24 Axis AB Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
KR102475912B1 (ko) * 2017-12-01 2022-12-09 삼성전자 주식회사 전자 장치 및 그의 이미지 획득 방법
JP7491046B2 (ja) * 2020-05-15 2024-05-28 コベルコ建機株式会社 画像処理装置および画像処理方法
CN112911300B (zh) * 2021-01-22 2024-03-01 杭州睿影科技有限公司 安检图像的生成方法、安检系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09326955A (ja) * 1996-06-03 1997-12-16 Canon Inc 撮像装置
JP2001245303A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 動画像符号化装置および動画像符号化方法
JP2001352545A (ja) * 2000-06-08 2001-12-21 Ricoh Co Ltd 画像撮影装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5565921A (en) * 1993-03-16 1996-10-15 Olympus Optical Co., Ltd. Motion-adaptive image signal processing system
JPH09200769A (ja) 1996-01-16 1997-07-31 Nec Corp 動き補償フレーム間符号化方式
US6151965A (en) * 1998-01-21 2000-11-28 Denso Corporation Structure of angular rate sensor for minimizing output noise
JP3960451B2 (ja) 2000-03-06 2007-08-15 Ｋｄｄｉ株式会社 シーン特性検出型動画像符号化装置
JP4359773B2 (ja) 2004-06-22 2009-11-04 ソニー株式会社 画像圧縮処理装置、画像圧縮処理方法および画像圧縮処理プログラム
JP2006166233A (ja) 2004-12-09 2006-06-22 Konica Minolta Photo Imaging Inc デジタルカメラ
JP2007306524A (ja) * 2006-05-15 2007-11-22 Nec Electronics Corp カメラ付き携帯機器及びその撮影支援方法
US8619140B2 (en) * 2007-07-30 2013-12-31 International Business Machines Corporation Automatic adjustment of area monitoring based on camera motion
JP4985201B2 (ja) * 2007-08-07 2012-07-25 ソニー株式会社 電子機器、動きベクトル検出方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09326955A (ja) * 1996-06-03 1997-12-16 Canon Inc 撮像装置
JP2001245303A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 動画像符号化装置および動画像符号化方法
JP2001352545A (ja) * 2000-06-08 2001-12-21 Ricoh Co Ltd 画像撮影装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012065128A (ja) * 2010-09-16 2012-03-29 Nikon Corp 画像評価装置及び画像評価プログラム
CN105981362A (zh) * 2014-02-18 2016-09-28 华为技术有限公司 用于获得图片的方法和多相机系统
CN105981362B (zh) * 2014-02-18 2019-08-27 华为技术有限公司 用于获得图片的方法和多相机系统
CN106027913A (zh) * 2016-07-15 2016-10-12 深圳市金立通信设备有限公司 一种拍照方法及终端
CN106027913B (zh) * 2016-07-15 2019-06-18 深圳市金立通信设备有限公司 一种拍照方法及终端

Also Published As

Publication number Publication date
US8624993B2 (en) 2014-01-07
CN102326389A (zh) 2012-01-18
JP2010199656A (ja) 2010-09-09
US20110298942A1 (en) 2011-12-08

Similar Documents

Publication Publication Date Title
WO2010095207A1 (ja) 動画撮像装置
US8903222B2 (en) Image reproducing apparatus, image reproducing method, image capturing apparatus, and control method therefor
JP4687404B2 (ja) 画像信号処理装置、撮像装置、および画像信号処理方法
EP2847993B1 (en) Motion sensor assisted rate control for video encoding
US9854167B2 (en) Signal processing device and moving image capturing device
US7349023B2 (en) Camera-integrated video recording and reproducing apparatus, and record control method thereof
US20180262754A1 (en) Image compression apparatus, image decoding apparatus, and image processing method
JP2008193458A (ja) カメラ画像圧縮処理装置及び圧縮処理方法
US8514935B2 (en) Image coding apparatus, image coding method, integrated circuit, and camera
JP2017098934A (ja) デジタル画像前処理の方法及びデジタル画像前処理システム
US20220132030A1 (en) Generating substitute image frames based on camera motion
US20100194910A1 (en) Image processing apparatus for performing intra-frame predictive coding on pictures to be coded and image pickup apparatus equipped with the image processing apparatus
JP5583439B2 (ja) 画像符号化装置及びカメラシステム
JP5943733B2 (ja) 画像符号化装置およびその制御方法ならびにプログラム
JP6086619B2 (ja) 符号化装置および符号化方法
JP2007116633A (ja) 画像記録装置
JP2005295215A (ja) 動画像符号化装置
JP2004180345A (ja) 撮影画像記録装置
JP4700992B2 (ja) 画像処理装置
WO2011064935A1 (ja) 動きベクトル検出方法および動きベクトル検出装置
JP2006180200A (ja) 監視装置
US11019348B2 (en) Image processing apparatus and image processing method
JP2012222460A (ja) 動画像符号化装置、動画像符号化方法及びプログラム
JP2006166255A (ja) 画像符号化装置、撮像装置、画像記録方法、画像記録装置、画像記録媒体及び画像再生装置
JP2018093323A (ja) 画像処理システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980157198.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09840314

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09840314

Country of ref document: EP

Kind code of ref document: A1