WO2018179522A1 - 電子機器、プログラムおよび再生装置 - Google Patents

電子機器、プログラムおよび再生装置 Download PDF

Info

Publication number
WO2018179522A1
WO2018179522A1 PCT/JP2017/035655 JP2017035655W WO2018179522A1 WO 2018179522 A1 WO2018179522 A1 WO 2018179522A1 JP 2017035655 W JP2017035655 W JP 2017035655W WO 2018179522 A1 WO2018179522 A1 WO 2018179522A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
electronic device
moving
color
speed
Prior art date
Application number
PCT/JP2017/035655
Other languages
English (en)
French (fr)
Inventor
祐輝 勝俣
直樹 關口
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2019508524A priority Critical patent/JPWO2018179522A1/ja
Publication of WO2018179522A1 publication Critical patent/WO2018179522A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects

Definitions

  • the present invention relates to an electronic device, a program, and a playback device.
  • An imaging device that captures a moving image attached to a moving person or object is known (see Patent Document 1). Although the imaging apparatus may move during imaging, imaging conditions for moving and imaging have not been taken into consideration.
  • the electronic device is an electronic device that captures an image and generates a moving image.
  • the electronic device captures an image of a subject and outputs an imaging signal, and information on movement of the electronic device.
  • a generation unit that controls the color information of the imaging signal to generate an image.
  • the program is a program that is executed by an electronic device that performs imaging and generates a moving image.
  • the program causes the computer to image a subject and output an imaging signal, and the electronic device. And a second procedure for controlling the color information of the imaging signal to generate an image based on the information relating to the movement of the image.
  • the playback device captures the moving image based on the acquisition unit that acquires the moving image data generated by the electronic device that generates the moving image and the information related to the movement of the electronic device.
  • a generation unit that controls the color information of the moving image based on the data to generate a moving image, and a reproduction unit that reproduces the moving image generated by the generation unit.
  • the electronic device is an electronic device that processes a moving image that is generated by imaging while moving the electronic device, and an input unit that receives an input for adjusting a specific color component;
  • a generation unit configured to generate an image in which color information of a partial area of the moving image is controlled based on the input; and a display unit configured to display the generated image.
  • the program is based on the first procedure for causing the computer to acquire the moving image data generated by the electronic device that performs imaging and generates the moving image, and information related to the movement of the electronic device.
  • a second procedure for generating a moving image by controlling color information of the moving image based on the moving image data and a third procedure for reproducing the generated moving image are executed.
  • the electronic device is an electronic device that generates moving image data, the imaging device that captures an image of a subject and outputs an imaging signal, and the imaging based on information related to movement of the electronic device.
  • a control unit that controls color information of the signal.
  • FIG. 1 is a block diagram showing the configuration of a camera according to a first embodiment The figure which shows a mode that the camera was attached to the head of the skier who slides down the slope. It is an example of the image in the frame with the moving image imaged with the camera attached to the skier's head shown in FIG.
  • Explanatory drawing of compression processing Explanatory drawing of change amount restriction
  • Explanatory drawing of compression processing Explanatory drawing of trimming process
  • the flowchart which showed the process regarding the imaging of the camera of 3rd Embodiment Explanatory drawing of crop processing The flowchart which showed the process regarding the imaging of the camera 1 of 4th Embodiment.
  • Illustration of white balance adjustment process The flowchart which showed the process regarding the imaging of the camera 1 of 5th Embodiment.
  • Illustration of color correction processing The flowchart which showed the process regarding the imaging of the camera 1 of 6th Embodiment.
  • Illustration of color correction processing A block diagram showing a configuration of a camera and a personal computer according to an eighth embodiment The figure which shows the comparative example of the to-be-moved subjects typically The figure which illustrates the adjustment interface at the time of reproduction
  • FIG. 1 is a block diagram illustrating a configuration of a digital camera as an example of an imaging apparatus according to the present embodiment.
  • the camera 1 according to the present embodiment is a camera that generates a moving image or a still image by capturing an image of a subject attached to a moving person or object. That is, the camera 1 is a camera called by a name such as an action camera, an action cam, or a wearable camera.
  • the camera 1 is not limited to what is called an action camera or the like, but may be a digital camera or a portable phone having a camera function.
  • the camera 1 includes an imaging optical system 31, an imaging unit 33, a control unit 34, an acceleration sensor 35, a display unit 36, an operation member 37, and a recording unit 38.
  • the imaging optical system 31 guides the light flux from the object scene to the imaging unit 33.
  • the imaging optical system 31 is provided with a diaphragm 32 in addition to a lens (not shown).
  • the imaging unit 33 includes an imaging element 33a and a drive unit 33b.
  • the imaging unit 33 photoelectrically converts the subject image formed by the imaging optical system 31 to generate charges.
  • the drive unit 33b generates a drive signal necessary for causing the image sensor 33a to perform exposure control, that is, charge accumulation control.
  • An imaging instruction such as an exposure time (accumulation time) for the imaging unit 33 is transmitted from the control unit 34 to the driving unit 33b.
  • the control unit 34 is constituted by a CPU, for example, and controls the overall operation of the camera 1. For example, the control unit 34 performs a predetermined exposure calculation based on the photoelectric conversion signal acquired by the imaging unit 33, and exposes the exposure time, ISO sensitivity, aperture value of the aperture 32, and the like necessary for proper exposure. The condition is determined and an instruction is given to the drive unit 33b and the diaphragm 32.
  • the control unit 34 includes a moving speed calculation unit 34b and an image processing unit 34d. Each of these units is realized in software by the control unit 34 executing a program stored in a nonvolatile memory (not shown). In addition, you may comprise these each part by ASIC etc.
  • the moving speed calculation unit 34 b calculates the moving speed of the camera 1 based on the acceleration information of the camera 1.
  • the image processing unit 34d performs image processing on the image data acquired by the imaging unit 33. In addition to compression processing described later, for example, color interpolation processing, pixel defect correction processing, contour enhancement processing, noise reduction (Noise reduction) processing, white balance adjustment processing, gamma correction processing, display luminance adjustment processing, Saturation adjustment processing and the like are included.
  • the image processing unit 34d also generates an image to be displayed by the display unit 36.
  • the acceleration sensor 35 detects the acceleration of the camera 1.
  • the acceleration sensor 35 outputs the detection result to the moving speed calculation unit 34b of the control unit 34.
  • the moving speed calculation unit 34 b calculates the moving speed of the camera 1 based on the acceleration detected by the acceleration sensor 35.
  • the display unit 36 reproduces and displays the image generated by the image processing unit 34d, the image processed image, the image read by the recording unit 38, and the like.
  • the display unit 36 displays an operation menu screen, a setting screen for setting imaging conditions, and the like.
  • the operation member 37 is composed of various operation members such as a release button and a menu button.
  • the operation member 37 sends an operation signal corresponding to each operation to the control unit 34.
  • the operation member 37 includes a touch operation member provided on the display surface of the display unit 36.
  • the recording unit 38 records image data or the like on a recording medium including a memory card (not shown).
  • the recording unit 38 reads the image data recorded on the recording medium in response to an instruction from the control unit 34.
  • the camera 1 configured in this manner images a subject to generate a still image or a moving image, and records image data obtained by the imaging on a recording medium.
  • the camera 1 is held by a moving body such as a person or an object that moves, and is suitable for capturing an image and generating a moving image.
  • the holding includes a case where the person holds and a case where the person is attached to a moving body such as a person or an object.
  • FIG. 2 is a diagram schematically showing a state in which the camera 1 is attached to the head of a skier (competitor). A skier sliding down the slope is an example of a moving person. In the example shown in FIG.
  • FIG. 3 is an example of an image in a certain frame of a moving image generated by imaging with the camera 1 attached to the skier's head shown in FIG. 2, and shows a state of a slope.
  • this image 50 there are a plurality of trees 52 on both sides of a slope 51 where snow is piled up.
  • a mountain 53 appears on the other side of the slope 51, and a sky 54 appears on the mountain 53.
  • the photographing optical system 31 is often photographed with a short focal length, that is, with a wide angle of view, and with a relatively short exposure time.
  • the camera 1 moves during imaging, if the angle of view is wide and the exposure time is short, the image blur of the surrounding landscape may be reduced, and it may be difficult to feel the smoothness of the moving image during reproduction.
  • the feeling of speed may be less than the feeling of speed that the skier actually feels at the time of shooting. For example, consider a case where the camera 1 moves with a person as shown in FIG. At this time, the moving image obtained by imaging with the camera 1 records, for example, how the surrounding scenery such as the tree 52 in FIG. 3 moves, but it is difficult to feel smoothness during reproduction and the sense of speed is reduced. There is a risk that.
  • a subject whose position in the imaging range changes between frames such as the tree 52
  • a moving subject may be referred to as a moving subject. That is, “moving” of a moving subject does not mean that the subject itself actually moves, but means that the subject moves within the screen during playback of a moving image.
  • the generated moving image is compressed from the left-right direction toward the center based on the information about the camera movement.
  • the information related to movement is speed information when the camera 1 captures an image. Based on the speed information of the camera 1, the generated moving image is compressed from the left-right direction toward the center.
  • the speed information is, for example, information on the moving speed of the camera 1.
  • the process of compressing the generated moving image from the left-right direction toward the center based on the speed information of the camera 1 is referred to as a compression process.
  • the compression process is executed by the image processing unit 34d.
  • the information related to movement may be information that can calculate the moving speed at the time of imaging of the camera 1, such as information on the current position output from the GPS sensor, information on the distance between the camera 1 and the specific object, and the like. Also good.
  • FIG. 4 is an explanatory diagram of the compression process.
  • FIG. 4 illustrates an image 50a obtained by compressing the image 50 illustrated in FIG.
  • the compression process is a process of reducing the left and right width W of the image 50 to a shorter width Wa.
  • the image processing unit 34d compresses the image 50 by the compression amount d from the left-right direction toward the center C. In other words, the image processing unit 34d compresses the image 50 in the horizontal direction. That is, the content of the image 50 is shrunk by d ⁇ 2 in the horizontal direction in the image 50a.
  • It is desirable that the width of each frame of the moving image is unified. That is, it is desirable that the width of the image 50 shown in FIG. 3 and the width of the image 50a shown in FIG. Therefore, the image processing unit 34d fills the empty space 55 of d ⁇ 2 that can be left and right by reducing the width of the image with a predetermined color (for example, black).
  • a predetermined color for example, black
  • the tree 52 in the moving image is closer to the center C of the image than when the moving image is not compressed.
  • the sense of speed of the moving image improves as the subject moving between frames, such as the tree 52, is closer to the center C. Therefore, by compressing the image 50 shown in FIG. 3 like the image 50a shown in FIG. 4, the sense of speed of the moving image is improved.
  • the image processing unit 34d may compress the image 50 in the vertical direction.
  • the image processing unit 34d increases the compression amount d as the speed indicated by the speed information increases. In other words, the image processing unit 34d decreases the compression amount d as the speed indicated by the speed information is slower. For example, the image processing unit 34d sets a value obtained by multiplying the speed indicated by the speed information by a predetermined conversion coefficient as the compression amount d. In other words, the image processing unit 34d continuously sets the compression amount d based on the speed information. Alternatively, the image processing unit 34d compares the speed indicated by the speed information with a predetermined threshold value. If the speed is equal to or higher than the threshold value, the image processing unit 34d adopts a predetermined compression amount d1, and the speed exceeds the threshold value.
  • a compression amount d2 smaller than d1 is adopted. That is, the image processing unit 34d sets the compression amount d stepwise (discretely) based on the speed information. The higher the speed indicated by the speed information, the larger the compression amount d is, that is, the higher the speed of the skier at the time of imaging, the greater the sense of speed of the generated moving image. As described above, the image processing unit 34d compresses the image 50 in order to increase the speed of the moving image to be reproduced. By doing in this way, the feeling of speed that the viewer can feel from the reproduced moving image can be brought close to the feeling of speed that the skier actually felt.
  • the compression amount d is reduced as the speed indicated by the speed information increases. May be. In other words, the compression amount d may be increased as the speed indicated by the speed information is slower.
  • FIG. 5 is an explanatory diagram of the change amount limitation of the compression amount d.
  • FIG. 5 shows an image 61 taken at time t1, an image 62 taken at time t2 after time t1, and an image taken at time t3 after time t2, from the top to the bottom of the page. 63, an image 64 imaged at time t4 after time t3, and an image 65 imaged at time t5 after time t4.
  • the moving speed calculation unit 34b calculates a moving speed corresponding to a relatively large compression amount dx at time t1.
  • the amount of compression at time t1 is zero. Accordingly, when the change amount of the compression amount is not limited, the compression amount is set to dx in the next frame.
  • the limit value dth of the change amount of the compression amount is smaller than dx.
  • the image processing unit 34d gradually increases the compression amount by dth until dx is reached.
  • the compression amount in the image 62 captured at time t2 is dth.
  • the amount of compression in the image 63 captured at time t3 is dth ⁇ 2.
  • the amount of compression in the image 64 captured at time t4 is dth ⁇ 3.
  • the compression amount reaches dx.
  • FIG. 6 is a flowchart illustrating processing related to imaging of the camera 1 according to the first embodiment.
  • the processing of the flowchart shown in FIG. 6 is recorded in a memory or the like (not shown) of the camera 1.
  • a power switch (not shown) of the camera 1 When a power switch (not shown) of the camera 1 is turned on, the processing shown in FIG.
  • the control unit 34 stands by until the start of imaging is instructed, for example, by operating the release button.
  • moving image shooting starts and the process proceeds to step S15.
  • step S15 the control unit 34 controls the imaging unit 33 so as to capture an image of the subject, and proceeds to step S17.
  • the moving speed calculation unit 34b calculates the moving speed V of the camera 1 based on the acceleration information of the camera 1 detected by the acceleration sensor 35, and proceeds to step S19.
  • step S19 the image processing unit 34d calculates the compression amount d from the moving speed V of the camera 1, and proceeds to step S23.
  • step S23 the image processing unit 34d determines whether or not the absolute value of the change amount from the current compression amount to the compression amount d calculated in step S19 is equal to or less than the threshold value dth. If a positive determination is made in step S23, the process proceeds to step S25, and the image processing unit 34d sets the compression amount to the compression amount d calculated in step S19, and then proceeds to step S29.
  • step S27 the image processing unit 34d moves the compression amount closer to the compression amount d calculated in step S19 by dth and proceeds to step S29. That is, the image processing unit 34d increases / decreases the compression amount by dth and proceeds to step S29.
  • step S29 the image processing unit 34d executes a compression process using the compression amount set in step S25 or step S27, and proceeds to step S35.
  • step S ⁇ b> 35 the control unit 34 determines whether or not the end of moving image capturing has been instructed. If a negative determination is made in step S35, the process returns to step S15, and if a positive determination is made in step S35, the process proceeds to step S37.
  • step S37 the control unit 34 determines whether or not a power switch (not shown) is turned off. If a negative determination is made in step S37, the process returns to step S13, and if a positive determination is made in step S37, the program is terminated.
  • the camera 1 of the first embodiment has the following operational effects.
  • the image processing unit 34d generates a moving image to be displayed on the display unit by compressing the image 50 constituting the moving image in the horizontal direction based on the speed information regarding the movement of the camera 1. As a result, a moving image with a desired sense of speed can be obtained.
  • the image processing unit 34d compresses the image processing section 34d with a second compression amount that is larger than the first compression amount. To generate a moving image. That is, the image processing unit 34d performs compression to increase the speed of the moving image to be reproduced.
  • the image processing unit 34d compresses with a fourth compression amount that is smaller than the third compression amount. To generate a moving image. As a result, a viewer who appreciates a moving image captured during low-speed movement can be made to feel a weaker sense of speed.
  • Second Embodiment A second embodiment of the imaging apparatus will be described with reference to FIG.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment.
  • the image processing unit 34d executes a compression process having a content different from the content described in the first embodiment.
  • the compression processing in the first embodiment is processing for shrinking an image from the left-right direction toward the center, as described in FIG. As a result, for example, the tree 52 shown in FIG.
  • the compression processing in the second embodiment shrinks the image from the left-right direction toward the center while maintaining the shape of the moving object like the tree 52.
  • the point which calculates the compression amount d from the moving speed V is the same as that of 1st Embodiment.
  • FIG. 7 is an explanatory diagram of compression processing.
  • FIG. 7A shows one image 70 among a plurality of images constituting the moving image.
  • FIG. 7A illustrates an uncompressed image 70 to be subjected to compression processing
  • FIG. 7B illustrates an image 70 a obtained by compressing the image 70.
  • the image processing unit 34d recognizes and detects that the tree 52 is a moving subject by a known technique.
  • the image processing unit 34d calculates a difference between frames, and recognizes and detects a subject in a portion where the difference is larger than a certain value as a moving subject.
  • the moving subject is a subject that moves relative to the camera 1 when the moving body that holds the camera 1 moves.
  • the moving subject can also be considered as a subject near the camera 1. This is because the position of the subject located far from the camera 1 hardly changes between frames even when the camera 1 moves. That is, the subject near the camera 1 moves greatly between frames as the camera 1 moves, so that the subject near the camera 1 can be considered as a subject that moves between frames.
  • the image processing unit 34d detects a distance from the camera 1 to the subject using a known TOF (Time of Flight) sensor, and recognizes and detects a subject existing within a certain distance from the camera 1 as a moving subject.
  • the TOF sensor is an image sensor used for a known TOF method.
  • a light pulse (irradiation light) is emitted from a light source (not shown) toward the subject, and the distance to the subject is detected based on the time until the light pulse reflected by the subject returns to the TOF sensor.
  • the image processing unit 34d does not compress the area 71 and the area 73 where the tree 52 exists, and compresses only the area 72 where the tree 52 does not exist.
  • the tree 52 keeps the shape before compression.
  • the subject in the area 72a obtained by compressing the area 72 is greatly distorted in shape as compared with the first embodiment, but does not move between frames like the tree 52, so the sense of incongruity due to distortion is relatively small. .
  • the compression process may be executed using a known technique such as seam carving.
  • Seam carving is a technique for recognizing individual subjects in an image and changing the size of the image by deforming an unimportant subject such as a background while maintaining the shape of the important subject.
  • the camera 1 of the second embodiment has the following operational effects.
  • the image processing unit 34d generates a moving image based on the recognition result of the subject. Thereby, an optimal moving image can be generated for each subject. Specifically, the image processing unit 34 d recognizes a moving object that moves relative to the camera 1 as the camera 1 moves. The image processing unit 34d determines an area for compressing an image constituting the moving image based on the recognition result, that is, the position of the moving object. Thereby, it is possible to increase the speed of the moving image while maintaining the shape of the important subject.
  • the image processing unit 34d executes a trimming process instead of the compression process described in the first embodiment.
  • the trimming process is a process of cutting out a part of an image. Specifically, it is a process of deleting the upper and lower or left and right areas of the image. In other words, the trimming process is a process of changing the imaging area of the imaging element 33a. Since the field of view of the image is narrowed by the trimming process, the feeling of immersion in the moving image is increased, so that the feeling of speed of the moving image is improved.
  • FIG. 8 is an explanatory diagram of the trimming process.
  • FIG. 8A illustrates an untrimmed image 80 to be trimmed
  • FIG. 8B illustrates an image 80a obtained by trimming the image 80.
  • the image processing unit 34d calculates the trimming width L based on the moving speed V.
  • the image processing unit 34d calculates the trimming width L in the same manner as the compression amount d in the first embodiment. That is, the image processing unit 34d increases the trimming width L (the imaging region is narrowed) as the moving speed V increases. In other words, the image processing unit 34d decreases the trimming width L (expands the imaging region) as the moving speed V is slower.
  • the feeling of speed that the viewer can feel from the reproduced moving image can be brought close to the feeling of speed that the skier actually felt.
  • the trimming width L is increased as the moving speed V is slower (when the moving speed V is slower) when it is desired that the viewer always feels a certain level of speed regardless of the speed at which the image is captured. Narrow).
  • the faster the moving speed V the smaller the trimming width L (the wider the imaging area) may be.
  • the image processing unit 34d recognizes and detects that the tree 52 is a moving object in the image 80 by a known technique. For example, the image processing unit 34d calculates a difference between frames and detects a subject in a portion where the difference is larger than a certain value as a moving subject. As described in the second embodiment, the moving subject can be considered as a subject near the camera 1.
  • the image processing unit 34d sets an area 81 having a length corresponding to the trimming width L downward from the upper end of the image 80 and an area 82 having a length corresponding to the trimming width L upward from the lower end of the image 80.
  • the image processing unit 34d calculates a ratio of the tree 52 that is the moving subject in the area 81 and the area 82. In FIG. 8A, since the tree 81 is hardly included in the area 81 and the area 82, this ratio becomes extremely small.
  • the image processing unit 34d sets a region 83 having a length corresponding to the trimming width L from the left end of the image 80 to the right and a region 84 having a length corresponding to the trimming width L from the right end of the image 80 to the left.
  • the image processing unit 34d calculates a ratio of the tree 52 that is the moving subject in the region 83 and the region 84. In FIG. 8A, this ratio is larger than the ratio calculated in the area 81 and the area 82.
  • the image processing unit 34d compares the ratio of the trees 52 in the areas 81 and 82 with the ratio of the trees 52 in the areas 83 and 84.
  • the image processing unit 34d trims (cuts and removes) the region 81 and the region 82 having a smaller ratio, and generates an image 80a illustrated in FIG. 8B.
  • the number of textures in each region may be compared instead of the ratio occupied by the tree 52. For example, an area where there are many subjects with little texture, such as the sky 54, has little effect on the feeling of speed even when trimming. Therefore, by trimming the region with less texture, the sense of speed can be improved without degrading the information amount of the image.
  • the number of high-frequency components may be compared.
  • each frame of the moving image is uniform, so that the image processing unit 34d creates an empty space 55 of L ⁇ 2 that can be vertically adjusted by trimming. Fill with a color (for example, black).
  • a limit may be provided for the amount of change in the trimming width L between frames. That is, the trimming width may be changed little by little so that the size of the empty space 55 does not change suddenly between frames. Also, if the upper and lower trimming and the left and right trimming frequently change between frames, the viewer may feel uncomfortable. Therefore, when top and bottom trimming is performed in a certain frame, only top and bottom trimming may be performed without performing left and right trimming for a certain period thereafter.
  • This predetermined period may be a predetermined period (for example, 1 second or 30 frames), or may be a period until the trimming width L becomes a predetermined amount (for example, zero) or less.
  • FIG. 9 is a flowchart illustrating processing related to imaging of the camera 1 according to the third embodiment.
  • the process of the flowchart shown in FIG. 9 is recorded in a memory (not shown) of the camera 1 or the like.
  • a power switch (not shown) of the camera 1 is turned on, the processing shown in FIG.
  • the control unit 34 stands by until the start of imaging is instructed, for example, by operating the release button.
  • moving image shooting starts and the process proceeds to step S15.
  • step S15 the control unit 34 controls the imaging unit 33 so as to capture an image of the subject, and proceeds to step S17.
  • the moving speed calculation unit 34b calculates the moving speed V of the camera 1 based on the information on the acceleration of the camera 1 detected by the acceleration sensor 35, and proceeds to step S41.
  • step S41 the image processing unit 34d calculates the trimming width L from the moving speed V of the camera 1, and proceeds to step S43.
  • step S43 the image processing unit 34d identifies a subject that moves from the image, and proceeds to step S45.
  • step S45 the image processing unit 34d calculates the ratio of the moving subject in the upper and lower regions and the ratio of the moving subject in the left and right regions, and proceeds to step S47.
  • step S47 the image processing unit 34d determines whether the vertical ratio is less than the horizontal ratio. If an affirmative determination is made in step S47, the process proceeds to step S51, and the image processing unit 34d trims the upper and lower regions and proceeds to step S35.
  • step S47 If the vertical ratio is equal to or greater than the horizontal ratio, a negative determination is made in step S47 and the process proceeds to step S53.
  • step S53 the image processing unit 34d trims the left and right regions and proceeds to step S35.
  • step S35 the control unit 34 determines whether or not the end of moving image capturing has been instructed. If a negative determination is made in step S35, the process returns to step S15, and if a positive determination is made in step S35, the process proceeds to step S37.
  • step S37 the control unit 34 determines whether or not a power switch (not shown) is turned off. If a negative determination is made in step S37, the process returns to step S13, and if a positive determination is made in step S37, the program is terminated.
  • the camera 1 has the following operational effects.
  • the image processing unit 34d changes the imaging region of the imaging element 33a that generates the moving image based on the speed information related to the movement of the camera 1. As a result, a moving image with a desired sense of speed can be obtained.
  • the image processing unit 34d moves the moving image in the second imaging area that is narrower than the first imaging area. Is generated.
  • the image processing unit 34d generates a moving image of a narrow imaging region as the moving speed of the camera 1 based on the speed information increases. That is, the image processing unit 34d changes the imaging area in order to increase the speed of the moving image to be reproduced.
  • the image processing unit 34d moves the moving image in the fourth imaging area that is wider than the third imaging area. Is generated. As described above, the image processing unit 34d generates a moving image of a wider imaging region as the moving speed of the camera 1 based on the speed information becomes slower. As a result, a viewer who appreciates a moving image captured during low-speed movement can be made to feel a weaker sense of speed.
  • FIGS. 10 and 11 A fourth embodiment of the imaging apparatus will be described with reference to FIGS. 10 and 11.
  • the same components as those in the third embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the third embodiment.
  • the image processing unit 34d executes a crop process instead of the trimming process described in the third embodiment.
  • the cropping process is a process of cutting out a partial area of an image and removing other areas.
  • FIG. 10 is an explanatory diagram of the crop processing.
  • FIG. 10A illustrates an image 78 before cropping, which is a target of crop processing
  • FIG. 10B illustrates an image 78a cropped from the image 78.
  • the image processing unit 34d calculates the crop size S based on the moving speed V.
  • the image processing unit 34d decreases the crop size S as the moving speed V increases. In other words, the image processing unit 34d increases the crop size S as the moving speed V is slower. By doing in this way, the feeling of speed that the viewer can feel from the reproduced moving image can be brought close to the feeling of speed that the skier actually felt.
  • the crop size S can be reduced as the moving speed V decreases. Good. In other words, the crop size S may be increased as the moving speed V increases.
  • the image processing unit 34d detects in the image 78 that the tree 52 is a moving subject by a known technique. For example, the image processing unit 34d calculates a difference between frames and detects a subject in a portion where the difference is larger than a certain value as a moving subject. As described in the second embodiment, the moving subject can be considered as a subject near the camera 1.
  • the image processing unit 34d sets, in the image 78, a rectangular area 98 having the same aspect ratio as that of the image 78 and having a long side length of the crop size S.
  • the image processing unit 34d sets the position of the region 98 so that the proportion of the moving object, the tree 52, is as large as possible in the region 98.
  • the position of the region 98 is set to a position where as many trees 52 as possible are included in the region 98.
  • the image processing unit 34 d cuts out a partial image in the range occupied by the region 98 from the image 78 and generates an image 78 a enlarged to the same size as the image 78.
  • An example of the image 78a is shown in FIG. Instead of enlarging to the same size as the image 78, the empty spaces 55 that can be formed on the top, bottom, left, and right of the cut out partial image may be filled with a predetermined color (for example, black).
  • the ratio of the tree 52 that is the moving subject in the entire image 78a is larger than the ratio of the tree 52 that is the moving subject in the entire image 78 before cropping. Accordingly, the speed feeling of the moving image is improved.
  • a restriction may be provided on the change amount of the crop size S between frames. That is, the crop size may be changed little by little so that the size of the region 98 does not change suddenly between frames. Also, if the cropping position changes frequently between frames, the viewer may feel uncomfortable. Therefore, when crop processing is executed in a certain frame, the crop position may not be changed for a certain period thereafter. Alternatively, a limit may be provided for the amount of change in the crop position. In other words, the crop position may be changed little by little so that the crop position does not change abruptly due to the frame feeling.
  • FIG. 11 is a flowchart illustrating processing related to imaging of the camera 1 according to the fourth embodiment.
  • the process of the flowchart shown in FIG. 11 is recorded in a memory (not shown) of the camera 1.
  • a power switch (not shown) of the camera 1 When a power switch (not shown) of the camera 1 is turned on, the processing shown in FIG. In step S13, the control unit 34 stands by until the start of imaging is instructed, for example, by operating the release button. When the start of imaging is instructed, moving image shooting starts and the process proceeds to step S15.
  • step S15 the control unit 34 controls the imaging unit 33 so as to capture an image of the subject, and proceeds to step S17.
  • the moving speed calculation unit 34b calculates the moving speed V of the camera 1 based on the acceleration information of the camera 1 detected by the acceleration sensor 35, and proceeds to step S55.
  • step S55 the image processing unit 34d calculates the crop size S from the moving speed V of the camera 1, and proceeds to step S56.
  • step S56 the image processing unit 34d specifies a subject to be moved from the image, and proceeds to step S57.
  • step S57 the image processing unit 34d sets the crop position so that the moving subject is included as much as possible, and proceeds to step S58.
  • step S58 the image processing unit 34d performs crop processing, that is, cuts out a partial image, and proceeds to step S59.
  • step S59 the image processing unit 34d enlarges the partial image cut out in step S58 to the image size before the crop processing, and proceeds to step S35.
  • step S35 the control unit 34 determines whether or not the end of moving image capturing has been instructed. If a negative determination is made in step S35, the process returns to step S15, and if a positive determination is made in step S35, the process proceeds to step S37.
  • step S37 the control unit 34 determines whether or not a power switch (not shown) is turned off. If a negative determination is made in step S37, the process returns to step S13, and if a positive determination is made in step S37, the program is terminated.
  • the camera 1 of the fourth embodiment has the same operational effects as the camera 1 of the third embodiment.
  • FIG. 12 and FIG. 13 a fifth embodiment of the imaging apparatus will be described.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment.
  • the image processing unit 34d executes white balance adjustment processing instead of the compression processing described in the first embodiment.
  • the white balance adjustment process is a process for adjusting the color temperature of the image.
  • the ratio of the advance color and the backward color in the entire image changes, so that the sense of speed of the moving image increases or decreases. That is, the image processing unit 34d adjusts the sense of speed of the moving image by adjusting the ratio of a predetermined color in the moving image.
  • the advance color refers to a color closer to warm colors (warm colors), a color with high brightness, a color with high saturation, and the like. For example, warm colors are colors such as red, pink, yellow, and orange.
  • the receding color means a color closer to a cold color (cold color system), a color with low lightness, a color with low saturation, and the like.
  • the color closer to cold is a color such as blue, white, black, or gray.
  • a subject with a strong advance color appears to be more speedy.
  • a subject with a strong backward color appears to have a reduced sense of speed.
  • FIG. 12 is an explanatory diagram of white balance adjustment processing.
  • the image processing unit 34d sets the color temperature to 4000K (Kelvin) when the moving speed of the camera 1 is V1.
  • the image processing unit 34d sets the color temperature to 5000K when the moving speed of the camera 1 is V2, which is slower than V1.
  • the image processing unit 34d sets the color temperature to 6000K when the moving speed of the camera 1 is V3, which is slower than V2.
  • the color temperature may be set continuously based on the moving speed V, or may be set stepwise (discretely).
  • the numerical values of the color temperature shown in FIG. 12 are examples, and it is needless to say that different numerical values may be adopted.
  • the image processing unit 34d increases the color temperature as the moving speed V decreases.
  • the color temperature is increased, the blue of the image becomes stronger and the red becomes weaker, so the image becomes paler, the advance color decreases and the backward color increases. That is, the image processing unit 34d increases (increases) the proportion of the cold color as the moving speed V is slower. As a result, the speed of the moving image is reduced.
  • the image processing unit 34d lowers the color temperature as the moving speed V of the camera 1 increases. When the color temperature is lowered, the red color of the image becomes stronger and the blue color becomes weaker. Therefore, the image becomes reddish or yellowish, the advance color increases and the backward color decreases.
  • the image processing unit 34d increases (increases) the proportion of warm colors as the moving speed V increases.
  • the sense of speed of the moving image increases.
  • the feeling of speed that the viewer can feel from the reproduced moving image can be brought close to the feeling of speed that the skier actually felt.
  • the color temperature may be increased as the moving speed V increases. . In other words, the color temperature may be lowered as the moving speed V is slower.
  • FIG. 13 is a flowchart illustrating processing related to imaging of the camera 1 according to the fifth embodiment.
  • the processing of the flowchart shown in FIG. 13 is recorded in a memory (not shown) of the camera 1.
  • a power switch (not shown) of the camera 1 When a power switch (not shown) of the camera 1 is turned on, the processing shown in FIG.
  • the control unit 34 stands by until the start of imaging is instructed, for example, by operating the release button.
  • moving image shooting starts and the process proceeds to step S15.
  • step S15 the control unit 34 controls the imaging unit 33 so as to capture an image of the subject, and proceeds to step S17.
  • the moving speed calculation unit 34b calculates the moving speed V of the camera 1 based on the acceleration information of the camera 1 detected by the acceleration sensor 35, and proceeds to step S61.
  • step S61 the image processing unit 34d calculates the color temperature from the moving speed V of the camera 1, and proceeds to step S63.
  • step S63 the image processing unit 34d adjusts the white balance to the color temperature calculated in step S61, and proceeds to step S35.
  • step S35 the control unit 34 determines whether or not the end of moving image capturing has been instructed. If a negative determination is made in step S35, the process returns to step S15, and if a positive determination is made in step S35, the process proceeds to step S37.
  • step S37 the control unit 34 determines whether or not a power switch (not shown) is turned off. If a negative determination is made in step S37, the process returns to step S13, and if a positive determination is made in step S37, the program is terminated.
  • the camera 1 has the following operational effects.
  • the image processing unit 34d controls the color information of the imaging signal based on the speed information that is information related to the movement of the camera 1, and generates an image. As a result, a moving image with a desired sense of speed can be obtained.
  • the image processing unit 34d adjusts the ratio of the predetermined color based on the speed information. Thereby, the feeling of speed felt from the moving image can be adjusted only by simple image processing.
  • the image processing unit 34d adjusts the ratio of a predetermined color based on the color temperature set based on the speed information. Thereby, it is possible to adjust the feeling of speed felt from the moving image only by executing the known white balance processing.
  • the image processing unit 34d increases the ratio of the warm color and the moving speed of the camera 1 is the third moving speed. If the fourth moving speed is slower than that, the ratio of the cold color is increased. That is, the image processing unit 34d increases the ratio of warm colors as the moving speed of the camera 1 increases, and increases the ratio of cold colors as the moving speed of the camera 1 decreases. In this way, the image processing unit 34d adjusts the ratio of a predetermined color in order to increase the speed of the moving image to be reproduced. Thereby, the viewer of the moving image can also feel the sense of speed felt by the person holding the camera 1.
  • the image processing unit 34d executes a color tone correction process instead of the white balance adjustment process.
  • the color tone correction process is a process for adjusting the color tone of the image for each of the red, green, and blue components. That is, the image processing unit 34d according to the sixth embodiment adjusts the color tone of the image instead of adjusting the white balance (color temperature) of the image.
  • the image processing unit 34d adjusts the sense of speed of the moving image by adjusting the ratio of a predetermined color in the moving image.
  • FIG. 14 is an explanatory diagram of the color tone correction process.
  • the image processing unit 34d performs color tone correction according to the tone curve shown in FIG. 14A
  • R represents the tone curve of the red component
  • G represents the tone curve of the green component
  • B represents the tone curve of the blue component.
  • a tone curve is a curve showing input / output characteristics with the horizontal axis representing the input value and the vertical axis representing the output value.
  • the tone curve of each color has a one-to-one relationship between the input value and the output value. That is, the color tone of the image does not change.
  • the image processing unit 34d performs color tone correction according to the tone curve shown in FIG. 14B when the moving speed of the camera 1 is V2, which is faster than V1.
  • the output value of the red component is stronger than the input value. That is, when color tone correction is performed according to the tone curve shown in FIG. 14B, the image becomes more reddish and the proportion of advanced colors increases. Therefore, the speed feeling of the moving image is improved. That is, the image processing unit 34d increases (increases) the proportion of warm colors as the moving speed V increases.
  • the image processing unit 34d performs color tone correction according to the tone curve shown in FIG.
  • the output value for the red component is weaker than the input value
  • the output value for the blue component is stronger than the input value. That is, when the tone correction is performed according to the tone curve shown in FIG. 14C, the image becomes less reddish, the proportion of the advanced color decreases, the image becomes bluish, and the proportion of the backward color increases. Accordingly, the sense of speed of the moving image is attenuated. That is, the image processing unit 34d increases (increases) the proportion of the cold color as the moving speed V is slower.
  • the color tone correction may be performed continuously based on the moving speed V or may be performed stepwise (discretely).
  • the image processing unit 34d decreases the ratio of the advance color of the entire image and increases the ratio of the backward color of the entire image.
  • the image processing unit 34d increases the ratio of the advance color of the entire image and decreases the ratio of the backward color of the entire image.
  • a process for replacing a predetermined color may be executed instead of the color tone correction process.
  • the feeling of speed of the moving image may be adjusted by changing the ratio of the advancing color and the backward color by replacing a predetermined red color with a more bluish color or vice versa.
  • FIG. 15 is a flowchart illustrating processing related to imaging of the camera 1 according to the sixth embodiment.
  • the processing of the flowchart shown in FIG. 15 is recorded in a memory (not shown) of the camera 1.
  • a power switch (not shown) of the camera 1 When a power switch (not shown) of the camera 1 is turned on, the processing shown in FIG. In step S13, the control unit 34 stands by until the start of imaging is instructed, for example, by operating the release button. When the start of imaging is instructed, moving image shooting starts and the process proceeds to step S15.
  • step S15 the control unit 34 controls the imaging unit 33 so as to capture an image of the subject, and proceeds to step S17.
  • the moving speed calculation unit 34b calculates the moving speed V of the camera 1 based on the information of the acceleration of the camera 1 detected by the acceleration sensor 35, and proceeds to step S71.
  • step S71 the image processing unit 34d selects a tone curve from the moving speed V of the camera 1, and proceeds to step S73.
  • a tone curve for each moving speed V is stored in a nonvolatile memory (not shown) provided in the camera 1.
  • the image processing unit 34d selects a tone curve corresponding to the moving speed V and reads it from the nonvolatile memory.
  • step S73 the image processing unit 34d adjusts the color tone of the image using the tone curve selected in step S71, and proceeds to step S35.
  • step S35 the control unit 34 determines whether or not the end of moving image capturing has been instructed. If a negative determination is made in step S35, the process returns to step S15, and if a positive determination is made in step S35, the process proceeds to step S37.
  • step S37 the control unit 34 determines whether or not a power switch (not shown) is turned off. If a negative determination is made in step S37, the process returns to step S13, and if a positive determination is made in step S37, the program is terminated.
  • the camera 1 of the sixth embodiment has the same effects as the camera 1 of the fifth embodiment.
  • the image processing unit 34d performs the color tone correction process on the moving subject instead of performing the color tone correction process on the entire image.
  • the strength of the red component or the blue component of the moving subject changes due to the color correction
  • the ratio of the advance color and the backward color in the moving subject changes, so that the speed feeling of the moving image increases or decreases.
  • the image processing unit 34d decreases the ratio of the advance color in the moving subject as the moving speed V of the camera 1 is slower. In other words, the image processing unit 34d increases the ratio of the advance color in the moving subject as the moving speed V of the camera 1 increases. By doing in this way, the feeling of speed that the viewer can feel from the reproduced moving image can be brought close to the feeling of speed that the skier actually felt.
  • the faster the moving speed V the larger the proportion of advance color in the moving subject. May be reduced. In other words, as the moving speed V is slower, the ratio of the advance color in the moving subject may be increased.
  • a process for replacing a predetermined color may be executed instead of the color tone correction process. For example, by replacing the predetermined red color in a moving subject with a more bluish color and vice versa, the ratio of the advance color and the reverse color in the moving subject is changed to adjust the sense of speed of the moving image. Also good.
  • a non-moving subject may be recognized and detected, and different color correction may be performed for the former and the latter. For example, when the advance color of a moving subject is increased, the advance color of a non-moving subject may be reduced or the backward color may be increased. Conversely, when the backward color of the moving subject is increased, the advance color of the non-moving subject may be increased or the backward color may be reduced. It is also possible to recognize and detect a non-moving subject and perform color tone correction only on the non-moving subject.
  • the image processing unit 34d controls the color information of the imaging signal based on the recognition result of the subject. As a result, the speed feeling can be particularly increased or decreased with respect to a specific subject, and a sharp moving image can be generated.
  • FIG. 17 is a block diagram illustrating a configuration of a digital camera and a personal computer as examples of the imaging apparatus and the image processing apparatus of the present embodiment.
  • the personal computer 2 executes image processing (for example, compression processing) similar to that of the first embodiment on the moving image data captured by the camera 1 afterwards.
  • the control unit 34 of the camera 1 includes a moving speed recording unit 34a.
  • the moving speed recording unit 34a calculates the moving speed of the camera 1 in the same manner as the moving speed calculating unit 34b according to the first embodiment.
  • the moving speed recording unit 34a records speed information indicating the calculated moving speed on a recording medium including a memory card (not shown). This recording medium may be the same recording medium as the recording medium on which image data or the like is recorded, or may be a different recording medium.
  • the personal computer 2 includes a control unit 134, a display unit 136, an operation member 137, and a recording unit 138.
  • the control unit 134 is configured by a CPU, for example, and controls the overall operation of the personal computer 2.
  • the control unit 134 includes a moving speed reading unit 134a and an image processing unit 34d similar to those in the first to seventh embodiments. Each of these units is realized in software by causing the control unit 134 to execute a program stored in a nonvolatile memory (not shown). In addition, you may comprise these each part by ASIC etc.
  • the moving speed reading unit 134a reads the moving speed of the camera 1 recorded by the camera 1 when capturing a moving image from a recording medium including a memory card (not shown).
  • the image processing unit 34d performs image processing on the image data read from the recording medium, as in the first embodiment.
  • the display unit 136 reproduces and displays the image processed by the image processing unit 34d, the image read by the recording unit 138, and the like.
  • the display unit 136 displays an operation menu screen or the like.
  • the operation member 137 is configured by various operation members such as a keyboard and a mouse.
  • the operation member 137 sends an operation signal corresponding to each operation to the control unit 134.
  • the operation member 137 includes a touch operation member provided on the display surface of the display unit 136.
  • the recording unit 138 records image data subjected to image processing on a recording medium including a memory card (not shown).
  • the recording unit 38 reads image data and the like recorded on the recording medium in response to an instruction from the control unit 34.
  • the camera 1 may have the function of the personal computer 2. That is, the camera 1 may include the image processing unit 34d, and image processing may be performed afterwards on captured moving image data. Further, transfer of moving image data and speed information from the camera 1 to the personal computer 2 may be performed by wired or wireless data communication, not via a recording medium (not shown).
  • Modification 1 The first to fourth embodiments described above and the fifth to seventh embodiments may be combined.
  • the speed feeling may be adjusted more flexibly by applying both compression processing and color correction processing.
  • the other process may be applied only when it is determined that a sufficient sense of speed cannot be obtained by simply applying one process.
  • the first to fourth embodiments can be arbitrarily combined with the fifth to seventh embodiments.
  • a trimming process may be applied.
  • a compression process may be applied.
  • FIG. 18 is a diagram schematically showing a comparative example of moving subjects.
  • the board fence 110 exists on the left side and the fence 111 exists on the right side.
  • the surface of the sheet metal 110 is uniform and the contrast is small. That is, the difference of the sheet metal 110 between the frames is small. In other words, the feeling of speed felt from the board rod 110 between frames is weak.
  • the fence 111 has a high contrast. That is, the difference of the fence 111 is large between the frames. In other words, the feeling of speed felt from the fence 111 is strong between frames.
  • a subject having a small surface contrast is weak in the sense of speed felt from the subject even though the subject is actually moving at high speed. Therefore, in the case of FIG. 18, it is desirable to perform trimming and cropping by giving priority to the fence 111 over the board fence 110. For example, when trimming is performed, trimming is performed by avoiding the portion with the fence 111 so that the fence 111 is not lost by the trimming. Further, when cropping is performed, cropping is performed so that the fence 111 is largely included so that the fence 111 is not lost by the crop.
  • a user interface 114 for adjusting the feeling of speed is displayed on the display screen 112 so as to be superimposed on the image 113 being reproduced.
  • the UI 114 is a so-called slider, and the user can move the knob 115 left and right by a touch operation or the like.
  • the image processing unit 34d performs image processing so as to increase the sense of speed.
  • the image processing unit 34d performs image processing so that the sense of speed is further weakened.
  • an operation member such as a physical switch or a slider may be used instead of the UI 114.
  • the image processing unit 34d adjusts the speed feeling according to the amount of movement of the knob 115. For example, when the knob 115 is moved largely to the right, image processing is performed so that a moving image that is being reproduced has a stronger sense of speed than when the knob 115 is moved slightly to the right.
  • the image processing unit 34d performs different image processing even when the movement amount of the knob 115 is the same when the moving speed V of the camera 1 at the time of imaging is different. For example, when the image processing unit 34d performs compression processing, even if the movement amount of the knob 115 is the same, the higher the movement speed V, the larger the compression processing is performed. That is, the image processing unit 34d appropriately adjusts the strength of image processing so that the amount of movement of the knob 115 corresponds to the strength of the speed feeling received from the moving image. Note that the compression processing may be performed more greatly as the moving speed V is slower.
  • a method for adjusting the feeling of speed by changing the color of the image and a method for adjusting the feeling of speed by other methods are used. Although described, they may be combined.
  • the UI 114a corresponding to the color and the UI 114b corresponding to the compression may be displayed separately.
  • the image processing unit 34d changes the content of image white balance adjustment and color tone correction.
  • the image processing unit 34d changes contents such as image compression processing, trimming processing, and cropping processing.
  • the movement speed calculation unit 34 b of the control unit 34 calculates the movement speed V of the camera 1 from the acceleration of the camera 1 detected by the acceleration sensor 35.
  • the distance to the subject is calculated from the defocus amount obtained based on the signal from the image sensor, and the moving speed of the camera 1 is obtained from the change in the calculated distance to the subject.
  • the image sensor 33a is an image sensor that can perform distance measurement by an image plane phase difference method.
  • the control unit 34 calculates the defocus amount by the pupil division type phase difference detection method using the signal from the image sensor 33a, and calculates the distance to the subject based on the calculated defocus amount. Then, the control unit 34 calculates the relative speed between the subject and the camera 1 based on the calculated change in the distance to the subject, and sets the calculated relative speed as the moving speed V of the camera 1.
  • the acceleration sensor 35 is used to calculate the moving speed V of the camera 1.
  • a so-called TOF (time of flight) sensor is used instead of the acceleration sensor 35.
  • the TOF sensor is an image sensor used for a known TOF method.
  • a light pulse irradiation light
  • the control unit 34 calculates the relative speed between the subject and the camera 1 based on the detected change in the distance to the subject, and sets the calculated relative speed as the moving speed V of the camera 1.
  • the image sensor 33a may be used as a TOF sensor.
  • the acceleration sensor 35 is used to calculate the moving speed V of the camera 1.
  • a GPS sensor is used instead of the acceleration sensor 35.
  • the control unit 34 treats the information on the moving speed output from the GPS sensor as information on the moving speed V of the camera 1.
  • the moving speed calculating unit 34b of the control unit 34 moves the moving speed of the camera 1 based on the change in the information on the current position output from the GPS sensor. V is calculated.
  • the moving speed of the camera 1 has been described as an example of the speed information, but the speed information is not limited to the moving speed of the camera 1.
  • the speed information may be information on the distance between the camera 1 and a specific object. This is because the amount of change in the distance to the specific object changes as the speed of the camera 1 increases.
  • the camera 1 changes the image processing based on the magnitude (change amount, change rate) of the change in the distance between the camera 1 and the specific object.
  • control unit 34 acquires distance information from the camera 1 to a specific object.
  • the distance information may be acquired (calculated) from the defocus amount or may be calculated from the output of the TOF sensor described above.
  • the moving speed of the camera 1 has been described as an example of the speed information, but the speed information is not limited to the moving speed of the camera 1.
  • the speed information may be information on the size of a specific object. This is because the amount of change in the size of the specific object changes as the speed of the camera 1 increases.
  • the camera 1 changes the image processing based on the magnitude (change amount, rate of change) of the change in the size of the specific object.
  • the size information may be obtained using subject recognition (object recognition) technology or edge extraction technology.
  • the moving speed of the camera 1 has been described as an example of the speed information, but the speed information is not limited to the moving speed of the camera 1.
  • the speed information may be a loudness level. This is because as the speed of the camera 1 increases, the volume of sound to be acquired (particularly the volume of wind noise) increases. Specifically, the camera 1 changes the image processing based on the volume of sound acquired at the time of shooting.
  • control unit 34 acquires information on the volume of sound at the time of shooting. Sound volume information may be obtained by analyzing the sound that is captured and recorded. Moreover, the control part 34 is good also as acquiring the information of the magnitude of the sound of a specific frequency band corresponding to a wind noise.
  • Modification 7 In the seventh embodiment, the example in which the color tone correction process is performed on a part of an image has been described.
  • a part of an image is a moving subject, but it is also possible to execute a tone correction process on a part different from this.
  • a sensor for detecting the line of sight of a skier wearing the camera 1 is provided, for example, in goggles worn by the skier.
  • the camera 1 performs a color tone correction process on a subject existing ahead of the line of sight detected by the sensor.
  • the line of sight of a surrounding person such as a companion of the skier may be used.
  • Modification 8 In the seventh embodiment, the example in which the color tone correction process is performed on a part of an image has been described.
  • the color component that changes strength may be changed based on the recognition result of the subject.
  • an example of increasing the advance color will be described. For example, when a person's face is shown in the image, the person's face area is identified by subject recognition technology, and for the person's face area, the red component is not increased and oranges of other advancing colors are used. You may adjust so that the component of may be increased. This is because it is easy to feel uncomfortable when there are many changes in the color of the skin color area such as the face. In this way, the speed of the image can be adjusted without breaking the appearance of the image by changing the color that increases the ratio between when the image processing unit 34d recognizes the specific color portion and when it does not recognize it. Can do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

撮像を行い、動画像を生成する電子機器は、被写体を撮像し撮像信号を出力する撮像素子と、前記電子機器の移動に関する情報に基づいて、前記撮像信号の色情報を制御して画像を生成する生成部と、を備える。

Description

電子機器、プログラムおよび再生装置
 本発明は、電子機器、プログラムおよび再生装置に関する。
 移動する人や物体に取り付けられて、動画像を撮像する撮像装置が知られている(特許文献1参照)。撮像時に撮像装置が移動する場合があるが、移動して撮影するための撮影条件については考慮されているものではなかった。
日本国特開2012-205163号公報
 第1の態様によると、電子機器は、撮像を行い、動画像を生成する電子機器であって、被写体を撮像し撮像信号を出力する撮像素子と、前記電子機器の移動に関する情報に基づいて、前記撮像信号の色情報を制御して画像を生成する生成部と、を備える。
 第2の態様によると、プログラムは、撮像を行い、動画像を生成する電子機器で実行されるプログラムであって、コンピュータに、被写体を撮像し撮像信号を出力させる第1手順と、前記電子機器の移動に関する情報に基づいて、前記撮像信号の色情報を制御して画像を生成させる第2手順と、を実行させる。
 第3の態様によると、再生装置は、撮像を行い、動画像を生成する電子機器で生成された動画像データを取得する取得部と、前記電子機器の移動に関する情報に基づいて、前記動画像データによる動画像の色情報を制御して動画像を生成する生成部と、前記生成部が生成した動画像を再生する再生部と、を備える。
 第4の態様によると、電子機器は、電子機器を移動させながら撮像して生成された動画像を処理する電子機器であって、特定の色成分を調整させるための入力を受け付ける入力部と、前記入力に基づいて、前記動画像のうちの部分領域の色情報を制御した画像を生成する生成部と、前記生成された画像を表示する表示部と、を備える。
 第5の態様によると、プログラムは、コンピュータに、撮像を行い、動画像を生成する電子機器で生成された動画像データを取得させる第1手順と、前記電子機器の移動に関する情報に基づいて、前記動画像データによる動画像の色情報を制御して動画像を生成させる第2手順と、生成した動画像を再生させる第3手順と、を実行させる。
 第6の態様によると、電子機器は、動画像データを生成する電子機器であって、被写体を撮像し、撮像信号を出力する撮像素子と、前記電子機器の移動に関する情報に基づいて、前記撮像信号の色情報を制御する制御部と、を備える。
第1の実施の形態のカメラの構成を示すブロック図 ゲレンデを滑り下りるスキーヤーの頭部にカメラを取り付けた様子を模式的に示す図 図2に示したスキーヤーの頭部に取り付けられたカメラで撮像した動画像のあるフレームにおける画像の一例であり、ゲレンデの様子を示す図 圧縮処理の説明図 圧縮量dの変化量制限の説明図 第1の実施の形態のカメラの撮像に関する処理を示したフローチャート 圧縮処理の説明図 トリミング処理の説明図 第3の実施の形態のカメラの撮像に関する処理を示したフローチャート クロップ処理の説明図 第4の実施の形態のカメラ1の撮像に関する処理を示したフローチャート ホワイトバランス調整処理の説明図 第5の実施の形態のカメラ1の撮像に関する処理を示したフローチャート 色調補正処理の説明図 第6の実施の形態のカメラ1の撮像に関する処理を示したフローチャート 色調補正処理の説明図 第8の実施の形態のカメラおよびパーソナルコンピュータの構成を示すブロック図 移動する被写体同士の比較例を模式的に示す図 再生時の調整インタフェースを例示する図
---第1の実施の形態---
 図1~図6を参照して、撮像装置の第1の実施の形態を説明する。図1は、本実施の形態の撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。本実施の形態のカメラ1は、移動する人や物体に取り付けて被写体を撮像することにより、動画像や静止画像を生成するカメラである。すなわちカメラ1は、例えばアクションカメラ、アクションカム、ウェアラブルカメラ等の名称で呼ばれるカメラである。なお、カメラ1は、アクションカメラ等と呼ばれるものに限らず、デジタルカメラやカメラ機能を有した携帯型の電話機等であってもよい。カメラ1は、撮像光学系31と、撮像部33と、制御部34と、加速度センサ35と、表示部36と、操作部材37と、記録部38とを有する。
 撮像光学系31は、被写界からの光束を撮像部33へ導く。撮像光学系31には、不図示のレンズの他に絞り32が設けられている。撮像部33は、撮像素子33aおよび駆動部33bを含む。撮像部33は、撮像光学系31によって結像された被写体の像を光電変換し、電荷を生成する。駆動部33bは、撮像素子33aに露光制御、すなわち電荷の蓄積制御を行わせるために必要な駆動信号を生成する。撮像部33に対する露光時間(蓄積時間)などの撮像指示は、制御部34から駆動部33bへ送信される。
 制御部34は、例えばCPUによって構成され、カメラ1による全体の動作を制御する。例えば、制御部34は、撮像部33で取得された光電変換信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子33aの露光時間、ISO感度、絞り32の絞り値等の露出条件を決定して駆動部33bや絞り32へ指示する。
 制御部34は、移動速度算出部34bと、画像処理部34dとを有する。これらの各部は、制御部34が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現される。なお、これらの各部をASIC等により構成してもよい。
 移動速度算出部34bは、カメラ1の加速度の情報に基づいて、カメラ1の移動速度を算出する。画像処理部34dは、撮像部33によって取得された画像データに対する画像処理を行う。画像処理には、後述する圧縮処理の他に、例えば、色補間処理、画素欠陥補正処理、輪郭強調処理、ノイズ低減(Noise reduction)処理、ホワイトバランス調整処理、ガンマ補正処理、表示輝度調整処理、彩度調整処理等が含まれる。画像処理部34dは、表示部36により表示する画像も生成する。
 加速度センサ35は、カメラ1の加速度を検出する。加速度センサ35は、検出結果を制御部34の移動速度算出部34bに出力する。移動速度算出部34bは、加速度センサ35が検出した加速度に基づきカメラ1の移動速度を算出する。
 表示部36は、画像処理部34dによって生成された画像や画像処理された画像、記録部38によって読み出された画像などを再生表示する。表示部36は、操作メニュー画面や、撮像条件を設定するための設定画面等を表示する。
 操作部材37は、レリーズボタンやメニューボタン等の種々の操作部材によって構成される。操作部材37は、各操作に対応する操作信号を制御部34へ送出する。操作部材37は、表示部36の表示面に設けられたタッチ操作部材を含む。
 記録部38は、制御部34からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。記録部38は、制御部34からの指示に応じて記録媒体に記録されている画像データを読み出す。
 このように構成されるカメラ1は、被写体を撮像して静止画像や動画像を生成し、撮像して得られた画像データを記録媒体に記録する。カメラ1は、図2に示すように移動する人物や物体などの移動体に保持されて撮像を行い、動画像を生成するのに適している。ここで、保持とは、人物が持つ場合、人物や物体などの移動体に取り付けられる場合を含む。図2は、スキーヤー(競技者)の頭部にカメラ1を取り付けた様子を模式的に示す図である。ゲレンデを滑り下りるスキーヤーは、移動する人物の一例である。図2に示す例では、カメラ1は、スキーヤーの頭部に取り付けられているが、スキーヤーの胸部や腕部に取り付けられていてもよく、スキー板に取り付けられていてもよい。
 図3は、図2に示したスキーヤーの頭部に取り付けられたカメラ1で撮像して生成した動画像のあるフレームにおける画像の一例であり、ゲレンデの様子を示している。この画像50には、雪が積もっている斜面51の両脇に複数の木52が存在している。画像50では、斜面51の向こう側には、山53が写っており、山53の上には空54が写っている。
 この種のカメラは、一般に、撮影光学系31が短い焦点距離、即ち画角が広角で撮影され、また、比較的短い露光時間で撮影される場合が多い。撮像時にカメラ1が移動する場合、画角が広角で露光時間が短いと、周囲の風景の像ブレが少なくなる場合があり、再生時に動画像の滑らかさが感じられ難くなることがある。
 これにより、撮影して生成された動画像を再生すると、実際に撮影時にスキーヤーが体感している速度感よりも速度感が薄れてしまうおそれがある。例えば、図2に示すように、人物とともにカメラ1が移動する場合を考える。このとき、カメラ1で撮像して得られる動画像では、例えば図3における木52などの周囲の風景が移動する様子が記録されるが、再生時に滑らかさが感じられ難く、速度感が薄れてしまうおそれがある。
 以下の説明において、木52のように、フレーム間で撮像範囲内における位置が変化する被写体を、移動する被写体と呼ぶことがある。すなわち、移動する被写体の「移動する」とは、その被写体自身が現実に移動することを意味するのではなく、動画像の再生時に画面内を移動することを意味する。
 そこで、本実施の形態のカメラ1では、カメラの移動に関する情報に基づいて、生成する動画像を左右方向から中央に向けて圧縮する。ここで、移動に関する情報とは、カメラ1の撮像時の速度情報である。カメラ1の速度情報に基づいて、生成する動画像を左右方向から中央に向けて圧縮する。ここで速度情報とは、例えば、カメラ1の移動速度の情報である。カメラ1の速度情報に基づいて、生成する動画像を左右方向から中央に向けて圧縮する処理を、圧縮処理と称する。圧縮処理は画像処理部34dにより実行される。なお、移動に関する情報とは、カメラ1の撮像時の移動速度を算出できる情報であればよく、GPSセンサが出力する現在位置の情報やカメラ1と特定対象物との距離の情報などであってもよい。
 図4は、圧縮処理の説明図である。図4には、図3に例示した画像50に対して圧縮処理を施した画像50aを例示している。圧縮処理は、画像50の左右の幅Wを、より短い幅Waに縮める処理である。画像処理部34dは、画像50を左右方向からそれぞれ中央Cに向けて圧縮量dだけ圧縮する。換言すると、画像処理部34dは、画像50を横方向に圧縮する。つまり、画像50の内容は、画像50aにおいて、水平方向にd×2だけ縮む。動画像の各フレームの幅は統一されていることが望ましい。すなわち、図3に示した画像50の幅と、図4に示した画像50aの幅は一致していることが望ましい。そこで画像処理部34dは、画像の幅を縮めたことにより左右にできるd×2の分の空きスペース55を、所定の色(例えば黒色)で塗りつぶす。
 動画像を左右方向から中央Cに向けて圧縮すると、圧縮しない場合に比べて、動画像内の木52は画像の中央Cに近づく。動画像の速度感は、木52のような、フレーム間で移動する被写体が中央Cに近いほど向上する。従って、図3に示した画像50を図4に示した画像50aのように圧縮することにより、動画像の速度感が向上する。なお、左右方向からではなく、上下方向から中央Cに向けて圧縮してもよい。換言すると、画像処理部34dは、画像50を縦方向に圧縮してもよい。
 画像処理部34dは、速度情報が示す速度が速いほど、圧縮量dを大きくする。換言すると、画像処理部34dは、速度情報が示す速度が遅いほど、圧縮量dを小さくする。例えば画像処理部34dは、速度情報が示す速度に、所定の変換係数を掛けた値を、圧縮量dとする。すなわち、画像処理部34dは、速度情報に基づき、圧縮量dを連続的に設定する。または、画像処理部34dは、速度情報が示す速度を所定のしきい値と比較し、速度がしきい値以上であった場合には所定の圧縮量d1を採用し、速度がしきい値を下回る場合にはd1よりも小さい圧縮量d2を採用する。すなわち、画像処理部34dは、速度情報に基づき、圧縮量dを段階的に(離散的に)設定する。速度情報が示す速度が速いほど圧縮量dを大きくするということは、すなわち、撮像時にスキーヤーが高速に動いているほど、生成する動画像のスピード感を増大させるということである。このように、画像処理部34dは、再生する動画像の速度感を増すために画像50の圧縮を行う。このようにすることで、再生した動画像から鑑賞者が感得するスピード感を、実際にスキーヤーが感じていたスピード感に近づけることができる。
 なお、動画像の再生時に、鑑賞者に対して、撮像時の速度によらず常に一定以上のスピード感を感じさせたい場合には、速度情報が示す速度が速いほど、圧縮量dを小さくしてもよい。換言すると、速度情報が示す速度が遅いほど、圧縮量dを大きくしてもよい。
 フレーム間で被写体の幅が急に変化すると、鑑賞者に違和感を覚えさせるおそれがある。そこで画像処理部34dは、フレーム間の圧縮量dの変化量を制限する。図5は、圧縮量dの変化量制限の説明図である。図5には、紙面上から下に向かって、時刻t1に撮像された画像61と、時刻t1より後の時刻t2に撮像された画像62と、時刻t2より後の時刻t3に撮像された画像63と、時刻t3より後の時刻t4に撮像された画像64と、時刻t4より後の時刻t5に撮像された画像65を例示している。
 例えば時刻t1において、移動速度算出部34bが、比較的大きな圧縮量dxに対応する移動速度を算出したものとする。時刻t1における圧縮量はゼロである。従って、圧縮量の変化量に制限がかけられていない場合、次のフレームにおいて、圧縮量はdxに設定される。いま、圧縮量の変化量の制限値dthが、dxよりも小さいものとする。この場合、画像処理部34dは、圧縮量をdthずつ、dxに達するまで少しずつ増やしていく。例えば時刻t2に撮像された画像62における圧縮量はdthである。時刻t3に撮像された画像63における圧縮量は、dth×2である。時刻t4に撮像された画像64における圧縮量は、dth×3である。時刻t5に撮像された画像65において、圧縮量はdxに到達する。
 図6は、第1の実施の形態のカメラ1の撮像に関する処理を示したフローチャートである。図6に示されるフローチャートの処理は、カメラ1の不図示のメモリ等に記録されている。カメラ1の不図示の電源スイッチがオンされると、図6に示す処理が制御部34で実行される。ステップS13において、制御部34は、レリーズボタンが操作されるなどして撮像開始が指示されるまで待機し、撮像開始が指示されると、動画撮影を開始してステップS15へ進む。
 ステップS15において、制御部34は、被写体を撮像するように撮像部33を制御してステップS17へ進む。ステップS17において、移動速度算出部34bは、加速度センサ35で検出されたカメラ1の加速度の情報に基づいて、カメラ1の移動速度Vを算出してステップS19へ進む。
 ステップS19において、画像処理部34dは、カメラ1の移動速度Vから圧縮量dを算出してステップS23に進む。ステップS23において、画像処理部34dは、現在の圧縮量からステップS19で算出された圧縮量dへの変化量の絶対値がしきい値dth以下であるか否かを判断する。ステップS23が肯定判断されるとステップS25へ進み、画像処理部34dは、圧縮量をステップS19で算出された圧縮量dに設定してステップS29へ進む。
 現在の圧縮量からステップS19で算出された圧縮量dへの変化量の絶対値がしきい値dthを越える場合にはステップS23が否定判断されてステップS27へ進む。ステップS27において、画像処理部34dは、圧縮量をdthだけステップS19で算出された圧縮量dに近づけてステップS29へ進む。すなわち画像処理部34dは、圧縮量をdthだけ増減させてステップS29へ進む。
 ステップS29において、画像処理部34dは、ステップS25またはステップS27で設定された圧縮量を用いて圧縮処理を実行してステップS35へ進む。
 ステップS35において、制御部34は、動画像の撮像の終了が指示されたか否かを判断する。ステップS35が否定判断されるとステップS15へ戻り、ステップS35が肯定判断されるとステップS37へ進む。
 ステップS37において、制御部34は、不図示の電源スイッチがオフされたか否かを判断する。ステップS37が否定判断されるとステップS13へ戻り、ステップS37が肯定判断されると本プログラムを終了する。
 第1の実施の形態のカメラ1では、次の作用効果を奏する。
(1)画像処理部34dは、カメラ1の移動に関する速度情報に基づいて、動画像を構成する画像50を横方向に圧縮して、表示部に表示させる動画像を生成する。これにより、所望の速度感を覚える動画像が得られる。
(2)画像処理部34dは、速度情報に基づくカメラ1の移動速度が第1速度よりも早い第2速度を示す場合には、第1の圧縮量よりも大きい第2の圧縮量で圧縮して動画像を生成する。つまり画像処理部34dは、再生する動画像の速度感を増すために圧縮を行う。これにより、高速移動中に撮像された動画像を鑑賞する鑑賞者に、より強い速度感を覚えさせることができる。
(3)画像処理部34dは、速度情報に基づくカメラ1の移動速度が第3速度よりも遅い第4速度を示す場合には、第3の圧縮量よりも小さい第4の圧縮量で圧縮して動画像を生成する。これにより、低速移動中に撮像された動画像を鑑賞する鑑賞者には、より弱い速度感を覚えさせることができる。
---第2の実施の形態---
 図7を参照して、撮像装置の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。
 第2の実施の形態では、画像処理部34dは、第1の実施の形態で説明した内容とは異なる内容の圧縮処理を実行する。第1の実施の形態における圧縮処理は、図4で説明したように、画像を左右方向から中央に向けて縮める処理であった。その結果、例えば図4に示す木52などは、縦に細長く歪んでいた。第2の実施の形態における圧縮処理は、木52のように移動する被写体の形状を保ったまま、画像を左右方向から中央に向けて縮める。なお、圧縮量dを移動速度Vから算出する点などは第1の実施の形態と同様である。
 図7は、圧縮処理の説明図である。図7(a)は、動画像を構成する複数の画像うちの一枚の画像70を示している。図7(a)に圧縮処理の対象となる圧縮前の画像70を、図7(b)には画像70を圧縮した画像70aを、それぞれ例示する。画像処理部34dは、画像70において、木52が移動する被写体であることを、周知の技術により認識し検出する。例えば画像処理部34dは、フレーム間の差を演算し、差が一定以上大きい部分にある被写体を移動する被写体として認識し検出する。ここで移動する被写体とは、カメラ1を保持した移動体が移動することにより、カメラ1に対して相対的に移動する被写体である。
 なお、移動する被写体は、カメラ1の近くにある被写体と考えることもできる。これは、カメラ1の遠くにある被写体は、カメラ1が移動してもフレーム間で画像内の位置がほとんど変化しないことによる。つまり、カメラ1の近くにある被写体は、カメラ1の移動に伴いフレーム間で大きく動くので、カメラ1の近くにある被写体をフレーム間で移動する被写体と考えることができる。
 例えば画像処理部34dは、周知のTOF(Time of Flight)センサを用いて、カメラ1から被写体までの距離を検出し、カメラ1から一定距離以内に存在する被写体を移動する被写体として認識し検出する。TOFセンサは、公知のTOF法に用いるイメージセンサである。TOF法は、不図示の光源部から被写体に向けて光パルス(照射光)を発し、被写体で反射された光パルスがTOFセンサへ戻ってくるまでの時間に基づいて、被写体までの距離を検出する技術である。
 画像処理部34dは、圧縮処理において、木52が存在する領域71および領域73は圧縮せず、木52が存在しない領域72のみを圧縮する。圧縮後の画像70aにおいて、木52は圧縮前の形状をそのまま保っている。一方、領域72を圧縮した領域72aにある被写体は、第1の実施の形態に比べて形状が大きく歪んでいるが、木52のようにフレーム間で移動しないので、歪みによる違和感は比較的少ない。
 なお、例えばシームカービングなどの周知の技術を用いて圧縮処理を実行してもよい。シームカービングは、画像内の個々の被写体を認識して、重要な被写体の形状を維持したまま、背景などの重要でない被写体を変形することにより、画像のサイズを変更する技術である。
 第2の実施の形態のカメラ1では、第1の実施の形態のカメラ1の作用効果に加えて、更に次の作用効果を奏する。
(1)画像処理部34dは、被写体の認識結果に基づいて、動画像を生成する。これにより、被写体ごとに最適な動画像を生成することができる。具体的には、画像処理部34dは、カメラ1の移動により、カメラ1に対して相対的に移動する移動物体を認識する。画像処理部34dは、認識結果、すなわち移動物体の位置に基づいて動画像を構成する画像を圧縮する領域を決定する。これにより、重要な被写体の形状を維持したまま、動画像の速度感を高めることができる。
---第3の実施の形態---
 図8および図9を参照して、撮像装置の第3の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。
 第3の実施の形態では、画像処理部34dは、第1の実施の形態で説明した圧縮処理の代わりに、トリミング処理を実行する。トリミング処理は、画像の一部を切出す処理である。具体的には、画像の上下または左右の領域を削除する処理である。換言すると、トリミング処理は、撮像素子33aの撮像領域を変更する処理である。トリミング処理によって画像の視野が狭まることにより、動画像への没入感が増すので、動画像の速度感が向上する。
 図8は、トリミング処理の説明図である。図8(a)にトリミング処理の対象となるトリミング前の画像80を、図8(b)には画像80をトリミングした画像80aを、それぞれ例示する。画像処理部34dは、移動速度Vに基づき、トリミング幅Lを算出する。画像処理部34dは、第1の実施の形態における圧縮量dと同様にトリミング幅Lを算出する。つまり、画像処理部34dは、移動速度Vが速いほど、トリミング幅Lを大きくする(撮像領域を狭くする)。換言すると、画像処理部34dは、移動速度Vが遅いほど、トリミング幅Lを小さくする(撮像領域を広くする)。このようにすることで、再生した動画像から鑑賞者が感得するスピード感を、実際にスキーヤーが感じていたスピード感に近づけることができる。
 なお、動画像の再生時に、鑑賞者に対して、撮像時の速度によらず常に一定以上のスピード感を感じさせたい場合には、移動速度Vが遅いほど、トリミング幅Lを大きく(撮像領域を狭く)してもよい。換言すると、移動速度Vが速いほど、トリミング幅Lを小さく(撮像領域を広く)してもよい。
 画像処理部34dは、第2の実施の形態と同様に、画像80において、木52が移動する被写体であることを、周知の技術により認識し検出する。例えば画像処理部34dは、フレーム間の差を演算し、差が一定以上大きい部分にある被写体を移動する被写体として検出する。なお、第2の実施の形態で説明した通り、移動する被写体は、カメラ1の近くにある被写体と考えることもできる。
 画像処理部34dは、画像80の上端から下方向にトリミング幅Lだけの長さを有する領域81と、画像80の下端から上方向にトリミング幅Lだけの長さを有する領域82を設定する。画像処理部34dは、領域81および領域82内において、移動する被写体である木52が占める割合を算出する。図8(a)において、領域81および領域82内には木52がほとんど含まれていないので、この割合は極めて小さくなる。
 画像処理部34dは、画像80の左端から右方向にトリミング幅Lだけの長さを有する領域83と、画像80の右端から左方向にトリミング幅Lだけの長さを有する領域84を設定する。画像処理部34dは、領域83および領域84内において、移動する被写体である木52が占める割合を算出する。図8(a)において、この割合は、領域81および領域82で算出した割合に比べて大きくなる。
 画像処理部34dは、領域81および領域82における木52の割合と、領域83および領域84における木52の割合とを比較する。画像処理部34dは、割合が小さい方の領域81および領域82をトリミング(切除、除去)し、図8(b)に示す画像80aを生成する。
 なお、木52が占める割合ではなく、各領域内におけるテクスチャの多さを比較してもよい。例えば空54のように、テクスチャの少ない被写体が多い領域は、トリミングしても速度感にはほとんど影響しない。そこで、テクスチャの少ない方の領域をトリミングすれば、画像の情報量を損ねることなく速度感を向上させることができる。なお、上記のようにテクスチャの多さを比較することのほかに、高周波成分の多さを比較してもよい。
 第1の実施の形態と同様に、動画像の各フレームの幅は統一されていることが望ましいので、画像処理部34dは、トリミングにより上下にできるL×2の分の空きスペース55を、所定の色(例えば黒色)で塗りつぶす。
 なお、第1の実施の形態における圧縮量dと同様に、フレーム間におけるトリミング幅Lの変化量に制限を設けてもよい。つまり、フレーム間で空きスペース55の大きさが急激に変化しないように、トリミング幅を少しずつ変化させてもよい。
 また、フレーム間で上下のトリミングと左右のトリミングが頻繁に変化すると、鑑賞者が違和感を覚える恐れがある。そこで、あるフレームにおいて上下のトリミングを実行した場合には、その後一定期間、左右のトリミングを行わずに上下のトリミングのみを実行するようにしてもよい。この一定期間は、事前に決めておいた期間(例えば1秒や30フレームなど)であってもよいし、トリミング幅Lが一定量(例えばゼロ)以下になるまでの期間であってもよい。
 図9は、第3の実施の形態のカメラ1の撮像に関する処理を示したフローチャートである。図9に示されるフローチャートの処理は、カメラ1の不図示のメモリ等に記録されている。カメラ1の不図示の電源スイッチがオンされると、図9に示す処理が制御部34で実行される。ステップS13において、制御部34は、レリーズボタンが操作されるなどして撮像開始が指示されるまで待機し、撮像開始が指示されると、動画撮影を開始してステップS15へ進む。
 ステップS15において、制御部34は、被写体を撮像するように撮像部33を制御してステップS17へ進む。ステップS17において、移動速度算出部34bは、加速度センサ35で検出されたカメラ1の加速度の情報に基づいて、カメラ1の移動速度Vを算出してステップS41へ進む。
 ステップS41において、画像処理部34dは、カメラ1の移動速度Vからトリミング幅Lを算出してステップS43へ進む。ステップS43において、画像処理部34dは、画像から移動する被写体を特定してステップS45へ進む。ステップS45において、画像処理部34dは、上下の領域における移動被写体の割合と、左右の領域における移動被写体の割合とを算出してステップS47へ進む。ステップS47において、画像処理部34dは、上下の割合が左右の割合未満であるか否かを判断する。ステップS47が肯定判断されるとステップS51へ進み、画像処理部34dは、上下の領域をトリミングしてステップS35へ進む。
 上下の割合が左右の割合以上である場合にはステップS47が否定判断されてステップS53へ進む。ステップS53において、画像処理部34dは、左右の領域をトリミングしてステップS35へ進む。
 ステップS35において、制御部34は、動画像の撮像の終了が指示されたか否かを判断する。ステップS35が否定判断されるとステップS15へ戻り、ステップS35が肯定判断されるとステップS37へ進む。
 ステップS37において、制御部34は、不図示の電源スイッチがオフされたか否かを判断する。ステップS37が否定判断されるとステップS13へ戻り、ステップS37が肯定判断されると本プログラムを終了する。
 第3の実施の形態のカメラ1では、次の作用効果を奏する。
(1)画像処理部34dは、カメラ1の移動に関する速度情報に基づいて、動画像を生成する撮像素子33aの撮像領域を異ならせる。これにより、所望の速度感を覚える動画像が得られる。
(2)画像処理部34dは、速度情報に基づくカメラ1の移動速度が第1速度よりも早い第2速度を示す場合には、第1の撮像領域よりも狭い第2の撮像領域の動画像を生成する。このように、画像処理部34dは、速度情報に基づくカメラ1の移動速度が速くなるほど狭い撮像領域の動画像を生成する。つまり画像処理部34dは、再生する動画像の速度感を増すために撮像領域を異ならせる。これにより、高速移動中に撮像された動画像を鑑賞する鑑賞者に、より強い速度感を覚えさせることができる。
(3)画像処理部34dは、速度情報に基づくカメラ1の移動速度が第3速度よりも遅い第4速度を示す場合には、第3の撮像領域よりも広い第4の撮像領域の動画像を生成する。このように、画像処理部34dは、速度情報に基づくカメラ1の移動速度が遅くなるほど広い撮像領域の動画像を生成する。これにより、低速移動中に撮像された動画像を鑑賞する鑑賞者には、より弱い速度感を覚えさせることができる。
---第4の実施の形態---
 図10および図11を参照して、撮像装置の第4の実施の形態を説明する。以下の説明では、第3の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第3の実施の形態と同じである。
 第4の実施の形態では、画像処理部34dは、第3の実施の形態で説明したトリミング処理の代わりに、クロップ処理を実行する。クロップ処理は、画像の一部領域を切り出し、それ以外の領域を除去する処理である。
 図10は、クロップ処理の説明図である。図10(a)にクロップ処理の対象となるクロップ前の画像78を、図10(b)には画像78をクロップした画像78aを、それぞれ例示する。画像処理部34dは、移動速度Vに基づき、クロップサイズSを算出する。画像処理部34dは、移動速度Vが速いほど、クロップサイズSを小さくする。換言すると、画像処理部34dは、移動速度Vが遅いほど、クロップサイズSを大きくする。このようにすることで、再生した動画像から鑑賞者が感得するスピード感を、実際にスキーヤーが感じていたスピード感に近づけることができる。
 なお、動画像の再生時に、鑑賞者に対して、撮像時の速度によらず常に一定以上のスピード感を感じさせたい場合には、移動速度Vが遅いほど、クロップサイズSを小さくしてもよい。換言すると、移動速度Vが速いほど、クロップサイズSを大きくしてもよい。
 画像処理部34dは、第2の実施の形態と同様に、画像78において、木52が移動する被写体であることを、周知の技術により検出する。例えば画像処理部34dは、フレーム間の差を演算し、差が一定以上大きい部分にある被写体を移動する被写体として検出する。なお、第2の実施の形態で説明した通り、移動する被写体は、カメラ1の近くにある被写体と考えることもできる。
 画像処理部34dは、画像78と同一の縦横比を有し、長辺の長さがクロップサイズSである長方形の領域98を、画像78内に設定する。画像処理部34dは、領域98内において、移動する被写体である木52が占める割合が可能な限り大きくなるように、領域98の位置を設定する。例えば図10(a)において、領域98の位置は、領域98内に木52ができるだけ多く含まれるような位置に設定されている。
 画像処理部34dは、画像78から領域98が占める範囲の部分画像を切り出して、画像78と同一サイズに拡大した画像78aを生成する。画像78aの例を図10(b)に示す。なお、画像78と同一サイズに拡大する代わりに、切り出した部分画像の上下左右にできる空きスペース55を、所定の色(例えば黒色)で塗りつぶしてもよい。
 画像78aの全体のうち、移動する被写体である木52が占める割合は、クロップ前の画像78の全体のうち、移動する被写体である木52が占める割合よりも大きい。従って、動画像の速度感が向上する。
 なお、第1の実施の形態における圧縮量dと同様に、フレーム間におけるクロップサイズSの変化量に制限を設けてもよい。つまり、フレーム間で領域98の大きさが急激に変化しないように、クロップサイズを少しずつ変化させてもよい。
 また、フレーム間でクロップ位置が頻繁に変化すると、鑑賞者が違和感を覚える恐れがある。そこで、あるフレームにおいてクロップ処理を実行した場合には、その後一定期間、クロップ位置を変更しないようにしてもよい。または、クロップ位置の変化量に制限を設けてもよい。つまり、クロップ位置がフレーム感で急激に変化しないように、クロップ位置を少しずつ変化させてもよい。
 図11は、第4の実施の形態のカメラ1の撮像に関する処理を示したフローチャートである。図11に示されるフローチャートの処理は、カメラ1の不図示のメモリ等に記録されている。カメラ1の不図示の電源スイッチがオンされると、図11に示す処理が制御部34で実行される。ステップS13において、制御部34は、レリーズボタンが操作されるなどして撮像開始が指示されるまで待機し、撮像開始が指示されると、動画撮影を開始してステップS15へ進む。
 ステップS15において、制御部34は、被写体を撮像するように撮像部33を制御してステップS17へ進む。ステップS17において、移動速度算出部34bは、加速度センサ35で検出されたカメラ1の加速度の情報に基づいて、カメラ1の移動速度Vを算出してステップS55へ進む。
 ステップS55において、画像処理部34dは、カメラ1の移動速度VからクロップサイズSを算出してステップS56へ進む。ステップS56において、画像処理部34dは、画像から移動する被写体を特定してステップS57へ進む。ステップS57において、画像処理部34dは、移動被写体が可能な限り大きく含まれるように、クロップ位置を設定してステップS58へ進む。ステップS58において、画像処理部34dは、クロップ処理を行って、すなわち部分画像を切り出してステップS59へ進む。ステップS59において、画像処理部34dは、ステップS58で切り出した部分画像をクロップ処理前の画像サイズまで拡大してステップS35へ進む。
 ステップS35において、制御部34は、動画像の撮像の終了が指示されたか否かを判断する。ステップS35が否定判断されるとステップS15へ戻り、ステップS35が肯定判断されるとステップS37へ進む。
 ステップS37において、制御部34は、不図示の電源スイッチがオフされたか否かを判断する。ステップS37が否定判断されるとステップS13へ戻り、ステップS37が肯定判断されると本プログラムを終了する。
 第4の実施の形態のカメラ1では、第3の実施の形態のカメラ1と同様の作用効果を奏する。
---第5の実施の形態---
 図12および図13を参照して、撮像装置の第5の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。
 第5の実施の形態では、画像処理部34dは、第1の実施の形態で説明した圧縮処理の代わりに、ホワイトバランス調整処理を実行する。ホワイトバランス調整処理は、画像の色温度を調整する処理である。ホワイトバランス調整処理によって画像の色温度が変化すると、画像全体における進出色および後退色の割合が変化するので、動画像の速度感が増減する。つまり画像処理部34dは、動画像における所定の色の割合を調整することにより、動画像の速度感を調整する。
 なお、進出色とは、暖色寄り(暖色系)の色、明度が高い色、彩度が高い色などのことを言う。例えば、暖色寄りの色とは、赤色、桃色、黄色、オレンジ色などの色である。同様に、後退色とは、寒色寄り(寒色系)の色、明度が低い色、彩度が低い色などのことを言う。例えば、寒色寄りの色とは、青、白、黒、グレーなどの色である。進出色が強い被写体は、より速度感が増して見える。後退色が強い被写体は、より速度感が減じて見える。
 図12は、ホワイトバランス調整処理の説明図である。例えば画像処理部34dは、カメラ1の移動速度がV1のとき、色温度を4000K(ケルビン)に設定する。画像処理部34dは、カメラ1の移動速度がV1よりも遅いV2のとき、色温度を5000Kに設定する。画像処理部34dは、カメラ1の移動速度がV2よりも遅いV3のとき、色温度を6000Kに設定する。
 なお、色温度は移動速度Vに基づき連続的に設定されてもよいし、段階的に(離散的に)設定されてもよい。また、図12に示した色温度の数値は一例であり、異なる数値を採用してもよいことは勿論である。
 以上のように、画像処理部34dは、移動速度Vが遅いほど、色温度を高くする。色温度を高くすると、画像の青が強くなり、赤が弱くなるので、画像は青白くなり、進出色が減って後退色が増える。つまり画像処理部34dは、移動速度Vが遅いほど、寒色系の色の割合を増す(多くする)。その結果、動画像の速度感は減る。
 また、画像処理部34dは、カメラ1の移動速度Vが速いほど、色温度を低くする。色温度を低くすると、画像の赤が強くなり、青が弱くなるので、画像は赤っぽく、ないしは黄色っぽくなり、進出色が増えて後退色が減る。つまり画像処理部34dは、移動速度Vが速いほど、暖色系の色の割合を増す(多くする)。その結果、動画像の速度感は増す。
 このようにすることで、再生した動画像から鑑賞者が感得するスピード感を、実際にスキーヤーが感じていたスピード感に近づけることができる。
 なお、動画像の再生時に、鑑賞者に対して、撮像時の速度によらず常に一定以上のスピード感を感じさせたい場合には、移動速度Vが速いほど、色温度を高くしてもよい。換言すると、移動速度Vが遅いほど、色温度を低くしてもよい。
 図13は、第5の実施の形態のカメラ1の撮像に関する処理を示したフローチャートである。図13に示されるフローチャートの処理は、カメラ1の不図示のメモリ等に記録されている。カメラ1の不図示の電源スイッチがオンされると、図13に示す処理が制御部34で実行される。ステップS13において、制御部34は、レリーズボタンが操作されるなどして撮像開始が指示されるまで待機し、撮像開始が指示されると、動画撮影を開始してステップS15へ進む。
 ステップS15において、制御部34は、被写体を撮像するように撮像部33を制御してステップS17へ進む。ステップS17において、移動速度算出部34bは、加速度センサ35で検出されたカメラ1の加速度の情報に基づいて、カメラ1の移動速度Vを算出してステップS61へ進む。
 ステップS61において、画像処理部34dは、カメラ1の移動速度Vから色温度を算出してステップS63へ進む。ステップS63において、画像処理部34dは、ステップS61で算出した色温度にホワイトバランスを調整してステップS35へ進む。
 ステップS35において、制御部34は、動画像の撮像の終了が指示されたか否かを判断する。ステップS35が否定判断されるとステップS15へ戻り、ステップS35が肯定判断されるとステップS37へ進む。
 ステップS37において、制御部34は、不図示の電源スイッチがオフされたか否かを判断する。ステップS37が否定判断されるとステップS13へ戻り、ステップS37が肯定判断されると本プログラムを終了する。
 第5の実施の形態のカメラ1では、次の作用効果を奏する。
(1)画像処理部34dは、カメラ1の移動に関する情報である速度情報に基づいて、撮像信号の色情報を制御して画像を生成する。これにより、所望の速度感を覚える動画像が得られる。
(2)画像処理部34dは、速度情報に基づいて、所定の色の割合を調整する。これにより、簡易な画像処理のみで、動画像から感じる速度感を調整することができる。
(3)画像処理部34dは、速度情報に基づいて設定された色温度により、所定の色の割合を調整する。これにより、周知のホワイトバランス処理を実行するだけで、動画像から感じる速度感を調整することができる。
(4)画像処理部34dは、カメラ1の移動速度が第1移動速度よりも早い第2移動速度になると、暖色系の色の割合を多くし、カメラ1の移動速度が第3の移動速度よりも遅い第4移動速度になると、寒色系の色の割合を多くする。つまり画像処理部34dは、カメラ1の移動速度が速くなるほど、暖色系の色の割合を多くし、カメラ1の移動速度が遅くなるほど、寒色系の色の割合を多くする。このように、画像処理部34dは、再生する動画像の速度感を増すために所定の色の割合を調整する。これにより、カメラ1を保持していた人物が感じていた速度感を、動画像の閲覧者にも感じさせることができる。
---第6の実施の形態---
 図14および図15を参照して、撮像装置の第6の実施の形態を説明する。以下の説明では、第5の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第5の実施の形態と同じである。
 第6の実施の形態では、画像処理部34dは、ホワイトバランス調整処理の代わりに、色調補正処理を実行する。色調補正処理は、画像の色調を赤、緑、青の各成分ごとに調整する処理である。すなわち第6の実施の形態に係る画像処理部34dは、画像のホワイトバランス(色温度)を調整する代わりに、画像の色調を調整する。色調補正により画像の赤成分や青成分の強弱が変化すると、画像全体における進出色および後退色の割合が変化するので、動画像の速度感が増減する。つまり画像処理部34dは、動画像における所定の色の割合を調整することにより、動画像の速度感を調整する。
 図14は、色調補正処理の説明図である。画像処理部34dは、カメラ1の移動速度がV1のとき、図14(a)に示すトーンカーブに従って色調補正を行う。図14(a)において、Rは赤色成分のトーンカーブ、Gは緑色成分のトーンカーブ、Bは青色成分のトーンカーブをそれぞれ示している。トーンカーブは、横軸を入力値、縦軸を出力値とする、入出力特性を示す曲線である。図14(a)に示すように、カメラ1の移動速度がV1のとき、各色のトーンカーブは入力値と出力値が1対1の関係になる。つまり、画像の色調は変化しない。
 画像処理部34dは、カメラ1の移動速度がV1よりも速いV2のとき、図14(b)に示すトーンカーブに従って色調補正を行う。図14(b)に示すトーンカーブは、赤色成分について出力値が入力値よりも強められている。つまり、図14(b)に示すトーンカーブに従って色調補正を行うと、画像は赤みが強くなり、進出色の割合が多くなる。従って、動画像の速度感は向上する。つまり画像処理部34dは、移動速度Vが速いほど、暖色系の色の割合を増す(多くする)。
 画像処理部34dは、カメラ1の移動速度がV1よりも遅いV3のとき、図14(c)に示すトーンカーブに従って色調補正を行う。図14(c)に示すトーンカーブは、赤色成分について出力値が入力値よりも弱められていると共に、青色成分について出力値が入力値よりも強められている。つまり、図14(c)に示すトーンカーブに従って色調補正を行うと、画像は赤みが弱くなり、進出色の割合が少なくなると共に、画像は青みが強くなり、後退色の割合が多くなる。従って、動画像の速度感は減衰する。つまり画像処理部34dは、移動速度Vが遅いほど、寒色系の色の割合を増す(多くする)。
 なお、色調補正は移動速度Vに基づき連続的に為されてもよいし、段階的に(離散的に)為されてもよい。
 以上のように、画像処理部34dは、カメラ1の移動速度Vが遅いほど、画像全体の進出色の割合を減らし、画像全体の後退色の割合を増やす。換言すると、画像処理部34dは、カメラ1の移動速度Vが速いほど、画像全体の進出色の割合を増やし、画像全体の後退色の割合を減らす。このようにすることで、再生した動画像から鑑賞者が感得するスピード感を、実際にスキーヤーが感じていたスピード感に近づけることができる。
 なお、動画像の再生時に、鑑賞者に対して、撮像時の速度によらず常に一定以上のスピード感を感じさせたい場合には、移動速度Vが速いほど、画像全体の進出色の割合を減らし、画像全体の後退色の割合を増やしてもよい。換言すると、移動速度Vが遅いほど、画像全体の進出色の割合を増やし、画像全体の後退色の割合を減らしてもよい。
 なお、色調補正処理の代わりに、所定の色を置換する処理を実行してもよい。例えば、所定の赤色をより青みの強い色に置き換えたり、その逆を行うことにより、進出色および後退色の割合を変化させ、動画像の速度感を調整してもよい。
 また、被写体の種類により、どの進出色を強めるか(弱めるか)を切り替えてもよい。例えば被写体として人物が存在する場合、赤色を強くすると鑑賞の際に違和感を覚えるおそれがあるので、赤色を強めるのではなく橙色を強めることが望ましい。
 図15は、第6の実施の形態のカメラ1の撮像に関する処理を示したフローチャートである。図15に示されるフローチャートの処理は、カメラ1の不図示のメモリ等に記録されている。カメラ1の不図示の電源スイッチがオンされると、図15に示す処理が制御部34で実行される。ステップS13において、制御部34は、レリーズボタンが操作されるなどして撮像開始が指示されるまで待機し、撮像開始が指示されると、動画撮影を開始してステップS15へ進む。
 ステップS15において、制御部34は、被写体を撮像するように撮像部33を制御してステップS17へ進む。ステップS17において、移動速度算出部34bは、加速度センサ35で検出されたカメラ1の加速度の情報に基づいて、カメラ1の移動速度Vを算出してステップS71へ進む。
 ステップS71において、画像処理部34dは、カメラ1の移動速度Vからトーンカーブを選択してステップS73へ進む。例えばカメラ1に設けられた不図示の不揮発性メモリに、移動速度Vごとのトーンカーブが記憶されている。画像処理部34dは、移動速度Vに対応するトーンカーブを選択して、不揮発性メモリから読み出す。ステップS73において、画像処理部34dは、ステップS71で選択したトーンカーブを用いて画像の色調を調整してステップS35へ進む。
 ステップS35において、制御部34は、動画像の撮像の終了が指示されたか否かを判断する。ステップS35が否定判断されるとステップS15へ戻り、ステップS35が肯定判断されるとステップS37へ進む。
 ステップS37において、制御部34は、不図示の電源スイッチがオフされたか否かを判断する。ステップS37が否定判断されるとステップS13へ戻り、ステップS37が肯定判断されると本プログラムを終了する。
 第6の実施の形態のカメラ1では、第5の実施の形態のカメラ1と同様の作用効果を奏する。
---第7の実施の形態---
 図16を参照して、撮像装置の第7の実施の形態を説明する。以下の説明では、第6の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第6の実施の形態と同じである。
 第7の実施の形態では、画像処理部34dは、画像全体に色調補正処理を実行する代わりに、移動する被写体に対して色調補正処理を実行する。色調補正により移動する被写体の赤成分や青成分の強弱が変化すると、移動する被写体における進出色および後退色の割合が変化するので、動画像の速度感が増減する。
 図16は、色調補正処理の説明図である。画像処理部34dは、第2の実施の形態と同様に、画像50から木52を移動する被写体として認識し検出する。画像処理部34dは、木52を含む領域90に対して、第6の実施の形態と同様の色調補正処理を実行する。つまり、画像処理部34dは、移動する被写体の色調を補正する。なお、カメラ1の移動速度Vにより色調補正に用いられるトーンカーブが異なる点については、第6の実施の形態と同様である。
 以上のように、画像処理部34dは、カメラ1の移動速度Vが遅いほど、移動する被写体における進出色の割合を減らす。換言すると、画像処理部34dは、カメラ1の移動速度Vが速いほど、移動する被写体における進出色の割合を増やす。このようにすることで、再生した動画像から鑑賞者が感得するスピード感を、実際にスキーヤーが感じていたスピード感に近づけることができる。
 なお、動画像の再生時に、鑑賞者に対して、撮像時の速度によらず常に一定以上のスピード感を感じさせたい場合には、移動速度Vが速いほど、移動する被写体における進出色の割合を減らしてもよい。換言すると、移動速度Vが遅いほど、移動する被写体における進出色の割合を増やしてもよい。
 なお、色調補正処理の代わりに、所定の色を置換する処理を実行してもよい。例えば、移動する被写体における所定の赤色をより青みの強い色に置き換えたり、その逆を行うことにより、移動する被写体における進出色および後退色の割合を変化させ、動画像の速度感を調節してもよい。
 なお、移動する被写体とは別に、移動しない被写体を認識し検出して、前者と後者とで別々の色調補正を行ってもよい。例えば、移動する被写体の進出色を増やす際、移動しない被写体の進出色を減らしたり後退色を増やしたりしてもよい。逆に、移動する被写体の後退色を増やす際、移動しない被写体の進出色を増やしたり後退色を減らしたりしてもよい。また、移動しない被写体を認識し検出して、移動しない被写体に対してのみ色調補正を行うことも可能である。
 第7の実施の形態のカメラ1では、第5の実施の形態のカメラ1の作用効果に加えて、更に次の作用効果を奏する。
(1)画像処理部34dは、被写体の認識結果に基づいて、撮像信号の色情報を制御する。これにより、特定の被写体に対して特に速度感を強めたり弱めたりすることができ、メリハリのある動画像を生成することができる。
---第8の実施の形態---
 図17を参照して、第8の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。
 図17は、本実施の形態の撮像装置および画像処理装置の一例としてのデジタルカメラおよびパーソナルコンピュータの構成を示すブロック図である。第8の実施の形態では、カメラ1に加えて、パーソナルコンピュータ2が存在する。パーソナルコンピュータ2は、カメラ1により撮像された動画像データに対して、事後的に、第1の実施の形態と同様の画像処理(例えば圧縮処理など)を実行する。
 カメラ1の制御部34は、移動速度記録部34aを有する。移動速度記録部34aは、第1の実施の形態に係る移動速度算出部34bと同様にカメラ1の移動速度を算出する。移動速度記録部34aは、不図示のメモリカードなどで構成される記録媒体に、算出した移動速度を示す速度情報を記録する。この記録媒体は、画像データなどが記録される記録媒体と同一の記録媒体であってもよいし、異なる記録媒体であってもよい。
 パーソナルコンピュータ2は、制御部134と、表示部136と、操作部材137と、記録部138とを有する。制御部134は、例えばCPUによって構成され、パーソナルコンピュータ2による全体の動作を制御する。
 制御部134は、移動速度読出部134aと、第1の実施の形態~第7の実施の形態と同様の画像処理部34dとを有する。これらの各部は、制御部134が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現される。なお、これらの各部をASIC等により構成してもよい。
 移動速度読出部134aは、カメラ1により記録された、動画像の撮像時におけるカメラ1の移動速度を、不図示のメモリカードなどで構成される記録媒体から読み出す。画像処理部34dは、第1の実施の形態などと同様に、記録媒体から読み出された画像データに対する画像処理を行う。
 表示部136は、画像処理部34dによって画像処理された画像、記録部138によって読み出された画像などを再生表示する。表示部136は、操作メニュー画面等を表示する。
 操作部材137は、キーボードやマウス等の種々の操作部材によって構成される。操作部材137は、各操作に対応する操作信号を制御部134へ送出する。操作部材137は、表示部136の表示面に設けられたタッチ操作部材を含む。
 記録部138は、制御部134からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に、画像処理が施された画像データなどを記録する。記録部38は、制御部34からの指示に応じて、記録媒体に記録されている画像データなどを読み出す。
 以上のように構成されたカメラ1およびパーソナルコンピュータ2によれば、第1の実施の形態等と同様の作用効果を奏する。なお、カメラ1がパーソナルコンピュータ2の機能を兼ね備えていてもよい。つまり、カメラ1が画像処理部34dを有しており、撮像した動画像データに対して事後的に画像処理を実行可能にしてもよい。また、カメラ1からパーソナルコンピュータ2への動画像データや速度情報の転送は、不図示の記録媒体を介して行うのではなく、有線や無線によるデータ通信により為されてもよい。
 次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)上述した第1の実施の形態~第4の実施の形態と、第5の実施の形態~第7の実施の形態とを組み合わせてもよい。例えば、圧縮処理と色調補正処理の両方を適用することにより、より柔軟に速度感を調節可能にしてもよい。また、一方の処理を適用しただけでは十分な速度感が得られないと判断した場合にのみ、他方の処理を適用するようにしてもよい。その他、第1の実施の形態~第4の実施の形態と、第5の実施の形態~第7の実施の形態とを任意に組み合わせることができる。
 また、第1の実施の形態~第4の実施の形態のうち複数のものを組み合わせることも可能である。例えば、圧縮処理を適用した後、更にトリミング処理を適用してもよい。逆に、トリミング処理を適用した後、更に圧縮処理を適用してもよい。
(変形例2)上述した各実施の形態において、移動する被写体を検出して利用する実施の形態を説明したが、移動する被写体が複数存在する場合に、よりフレーム間の差が大きい被写体を優先的に利用するようにしてもよい。
 図18は、移動する被写体同士の比較例を模式的に示す図である。図18に示す画像99には、向かって左側に板塀110が存在し、向かって右側に柵111が存在する。板塀110の表面は均一であり、コントラストが小さい。つまり、フレーム間において、板塀110の差は小さい。換言すると、フレーム間で、板塀110から感じられる速度感は弱い。他方、柵111はコントラストが大きい。つまり、フレーム間において、柵111の差は大きい。換言すると、フレーム間で、柵111から感じられる速度感は強い。
 このように、表面のコントラストが小さい被写体は、実際には高速に移動していたとしても、その被写体から感じられる速度感は弱い。そこで、図18の場合には、板塀110よりも柵111を優先してトリミングやクロップを行うことが望ましい。例えば、トリミングを行う場合には、柵111がトリミングにより失われないよう、柵111がある部分を避けてトリミングを行う。また、クロップを行う場合には、柵111がクロップにより失われないよう、柵111を大きく含むようにクロップを行う。
(変形例3)第8の実施の形態のように、事後的に画像処理を行う場合において、速度感の強弱を利用者が調節可能にしてもよい。例えば図19(a)に例示するように、表示画面112において、再生中の画像113に重畳して、速度感調節のためのユーザーインタフェース114(UI114)を表示する。このUI114は、いわゆるスライダーであり、ユーザーはつまみ115をタッチ操作等により左右に動かすことができる。つまみ115を右方向に動かすと、画像処理部34dは、より速度感が強まるように画像処理を行う。他方、つまみ115を左方向に動かすと、画像処理部34dは、より速度感が弱まるように画像処理を行う。なお、UI114の代わりに、物理的なスイッチやスライダー等の操作部材を用いてもよい。
 画像処理部34dは、つまみ115の移動量により、速度感の強弱を調節する。例えば、つまみ115を右方向に大きく動かすと、つまみ115を右方向に小さく動かした場合に比べて、再生中の動画像にはより強い速度感が得られるような画像処理が施される。
 画像処理部34dは、撮像時のカメラ1の移動速度Vが異なる場合、つまみ115の移動量が同一であっても、異なる画像処理を施す。例えば画像処理部34dが圧縮処理を行う際、つまみ115の移動量が同一であっても、移動速度Vがより速いほど、より大きく圧縮処理を施す。つまり画像処理部34dは、つまみ115の移動量が動画像から受ける速度感の強さに対応するように、画像処理の強弱を適宜調節する。なお、移動速度Vがより遅いほど、より大きく圧縮処理を施すようにしてもよい。
 また、上述した各実施の形態では、画像の色を変えて速度感を調節する手法と、それ以外の方法で速度感を調節する手法(圧縮処理やトリミング処理、クロップ処理等を用いる手法)を説明したが、それらを組み合わせてもよい。例えば図19(b)に例示するように、色に対応するUI114aと、圧縮に対応するUI114bとを別々に表示してもよい。画像処理部34dは、前者のUI114aが操作された場合には、画像のホワイトバランス調整や色調補正の内容を変更する。画像処理部34dは、後者のUI114bが操作された場合には、画像の圧縮処理やトリミング処理、クロップ処理等の内容を変更する。
(変形例4)上述した各実施の形態では、制御部34の移動速度算出部34bは、加速度センサ35で検出したカメラ1の加速度からカメラ1の移動速度Vを算出した。変形例4では、撮像素子からの信号に基づいて求められるデフォーカス量から被写体までの距離を算出し、算出した被写体までの距離の変化からカメラ1の移動速度を求める。
 変形例4のカメラ1では、撮像素子33aは、像面位相差方式により測距を行うことができる撮像素子である。制御部34は、撮像素子33aからの信号を用いて瞳分割型の位相差検出方式によりデフォーカス量を算出し、算出したデフォーカス量に基づいて被写体までの距離を算出する。そして、制御部34は、算出した被写体までの距離の変化に基づいて被写体とカメラ1との相対速度を算出し、算出した相対速度をカメラ1の移動速度Vとする。
(変形例5)上述した各実施の形態では、カメラ1の移動速度Vを算出するために加速度センサ35を用いた。変形例5では、加速度センサ35に代えて、いわゆるTOF(time of flight)センサを用いる。
 TOFセンサは、公知のTOF法に用いるイメージセンサである。TOF法は、不図示の光源部から被写体に向けて光パルス(照射光)を発し、被写体で反射された光パルスがTOFセンサへ戻ってくるまでの時間に基づいて、被写体までの距離を検出する技術である。制御部34は、検出した被写体までの距離の変化に基づいて被写体とカメラ1との相対速度を算出し、算出した相対速度をカメラ1の移動速度Vとする。
 なお、撮像素子33aをTOFセンサに利用してもよい。
(変形例6)上述した各実施の形態では、カメラ1の移動速度Vを算出するために加速度センサ35を用いた。変形例6では、加速度センサ35に代えて、GPSセンサを用いる。
 たとえば、GPSセンサが出力する情報に移動速度の情報が存在すれば、制御部34は、GPSセンサから出力された移動速度の情報をカメラ1の移動速度Vの情報として扱う。たとえば、GPSセンサが出力する情報に移動速度の情報が存在しない場合には、制御部34の移動速度算出部34bは、GPSセンサが出力する現在位置の情報の変化に基づいてカメラ1の移動速度Vを算出する。
 上述した各実施の形態では、速度情報として、カメラ1の移動速度を例として説明したが、速度情報はカメラ1の移動速度に限られない。例えば、速度情報は、カメラ1と特定の対象物との距離の情報であってもよい。これは、カメラ1の速度が速くなると、特定の対象物までの距離の変化量が変わるためである。具体的には、カメラ1は、カメラ1と特定対象物との距離の変化の大きさ(変化量、変化率)に基づいて、画像処理を変更する。
 このような例では、制御部34がカメラ1から特定の対象物までの距離情報を取得する。距離情報は、例えば、デフォーカス量から取得(算出)してもよく、上述したTOFセンサの出力から算出してもよい。
 上述した各実施の形態では、速度情報として、カメラ1の移動速度を例として説明したが、速度情報はカメラ1の移動速度に限られない。例えば、速度情報は、特定の対象物の大きさの情報であってもよい。これは、カメラ1の速度が速くなると、特定の対象物の大きさの変化量が変わるためである。具体的には、カメラ1は、特定対象物の大きさの変化の大きさ(変化量、変化率)に基づいて、画像処理を変更する。
 このような例では、制御部34が撮影している特定の対象物の大きさの情報を取得する。大きさの情報は、被写体認識(物体認識)の技術やエッジの抽出技術を用いて行えばよい。
 上述した各実施の形態では、速度情報として、カメラ1の移動速度を例として説明したが、速度情報はカメラ1の移動速度に限られない。例えば、速度情報は、音の大きさであってもよい。これはカメラ1の速度が速くなるほど、取得する音の大きさ(特に風切音の大きさ)が大きくなるためである。具体的には、カメラ1は、撮影時に取得した音の大きさに基づいて、画像処理を変更する。
 このような例では、制御部34が撮影時の音の大きさの情報を取得する。音の大きさの情報は、撮影して記録する音の解析を行えばよい。また、制御部34は、風切音に対応する特定の周波数帯域の音の大きさの情報を取得することとしてもよい。
(変形例7)第7の実施の形態では、色調補正処理を、画像の一部分に対して実行する例を説明した。第7の実施の形態において、画像の一部分とは移動する被写体であったが、これとは異なる一部分に対して色調補正処理を実行することも可能である。例えば、カメラ1を装着するスキーヤーの視線を検出するセンサを、例えばスキーヤーが装着するゴーグルなどに設ける。カメラ1は、そのセンサにより検出された視線の先に存在する被写体に対して、色調補正処理を施す。カメラ1を装着するスキーヤーの視線ではなく、そのスキーヤーの同行者など、周囲の人物の視線を用いてもよい。
 また、そのセンサにより検出された視線に関する視線情報を、画像データと共に記録しておき、視線情報を用いた色調補正処理を事後的に実行することも可能である(第8の実施の形態)。更に、動画像の再生時に、動画像を鑑賞する鑑賞者の視線を検出し、その視線の先に存在する被写体に対して色調補正処理を施すこともできる。
(変形例8)第7の実施の形態では、色調補正処理を、画像の一部分に対して実行する例を説明した。画像の一部に対して処理を実行する際に被写体の認識結果に基づいて、強弱を変化させる色成分を変えてもよい。ここでは、進出色を増やす例を説明する。例えば、画像内に人物の顔が写っている場合に、被写体認識技術により人物の顔の領域を特定し、人物の顔の領域に対しては、赤成分を増やさず、他の進出色のオレンジの成分を増やすように調整してもよい。これは、顔などの肌色領域の色の変化が多いと違和感を感じやすくなるためである。このように、画像処理部34dが特定の色の部位を認識した場合と認識しない場合とで、割合を多くする色を変更することで、画像の見た目を破綻させることなく速度感を調整することができる。
 上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
 日本国特許出願2017年第71950号(2017年3月31日出願)
1…カメラ、31,31A…撮像光学系、32…絞り、33a…撮像素子、34,134…制御部、34b…移動速度算出部、34d…画像処理部

Claims (16)

  1.  撮像を行い、動画像を生成する電子機器であって、
     被写体を撮像し撮像信号を出力する撮像素子と、
     前記電子機器の移動に関する情報に基づいて、前記撮像信号の色情報を制御して画像を生成する生成部と、
    を備える電子機器。
  2.  請求項1に記載の電子機器において、
     被写体を認識する認識部を備え、
     前記生成部は、前記認識部の認識結果に基づいて、前記撮像信号の色情報を制御する電子機器。
  3.  請求項2に記載の電子機器において、
     前記生成部は、前記認識部が特定の色の部位を認識した場合と認識しない場合とで、割合を多くする色を変更する電子機器。
  4.  請求項3に記載の電子機器において、
     前記生成部は、前記認識部が肌色領域を認識した場合と、肌色を認識しない場合とで異なる色の割合を多くする電子機器。
  5.  請求項1から請求項4までのいずれか一項に記載の電子機器において、
     前記生成部は、前記情報に基づいて、所定の色の割合を調整する電子機器。
  6.  請求項1から請求項5までのいずれか一項に記載の電子機器において、
     前記生成部は、前記情報に基づいて設定された色温度により、所定の色の割合を調整する電子機器。
  7.  請求項5または請求項6に記載の電子機器において、
     前記生成部は、前記電子機器の移動速度が第1移動速度よりも早い第2移動速度になると、暖色系の色の割合を多くする電子機器。
  8.  請求項5または請求項6に記載の電子機器において、
     前記生成部は、前記電子機器の移動速度が第3の移動速度よりも遅い第4移動速度になると、寒色系の色の割合を多くする電子機器。
  9.  請求項7に記載の電子機器において、
     前記生成部は、前記電子機器の移動速度が速くなるほど、前記暖色系の色の割合を多くする電子機器。
  10.  請求項8に記載の電子機器において、
     前記生成部は、前記電子機器の移動速度が遅くなるほど、前記寒色系の色の割合を多くする電子機器。
  11.  請求項7から請求項10までのいずれか一項に記載の電子機器において、
     前記生成部は、再生する動画像の速度感を増すために所定の色の割合を調整する電子機器。
  12.  撮像を行い、動画像を生成する電子機器で実行されるプログラムであって、
     コンピュータに、
     被写体を撮像し撮像信号を出力させる第1手順と、
     前記電子機器の移動に関する情報に基づいて、前記撮像信号の色情報を制御して画像を生成させる第2手順と、
    を実行させるプログラム。
  13.  撮像を行い、動画像を生成する電子機器で生成された動画像データを取得する取得部と、
     前記電子機器の移動に関する情報に基づいて、前記動画像データによる動画像の色情報を制御して動画像を生成する生成部と、
     前記生成部が生成した動画像を再生する再生部と、
    を備える再生装置。
  14.  電子機器を移動させながら撮像して生成された動画像を処理する電子機器であって、
     特定の色成分を調整させるための入力を受け付ける入力部と、
     前記入力に基づいて、前記動画像のうちの部分領域の色情報を制御した画像を生成する生成部と、
     前記生成された画像を表示する表示部と、
    を備える電子機器。
  15.  コンピュータに、
     撮像を行い、動画像を生成する電子機器で生成された動画像データを取得させる第1手順と、
     前記電子機器の移動に関する情報に基づいて、前記動画像データによる動画像の色情報を制御して動画像を生成させる第2手順と、
     生成した動画像を再生させる第3手順と、
    を実行させるプログラム。
  16.  動画像データを生成する電子機器であって、
     被写体を撮像し、撮像信号を出力する撮像素子と、
     前記電子機器の移動に関する情報に基づいて、前記撮像信号の色情報を制御する制御部と、
    を備える電子機器。
PCT/JP2017/035655 2017-03-31 2017-09-29 電子機器、プログラムおよび再生装置 WO2018179522A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019508524A JPWO2018179522A1 (ja) 2017-03-31 2017-09-29 電子機器、プログラムおよび再生装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-071950 2017-03-31
JP2017071950 2017-03-31

Publications (1)

Publication Number Publication Date
WO2018179522A1 true WO2018179522A1 (ja) 2018-10-04

Family

ID=63674811

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/035655 WO2018179522A1 (ja) 2017-03-31 2017-09-29 電子機器、プログラムおよび再生装置

Country Status (2)

Country Link
JP (1) JPWO2018179522A1 (ja)
WO (1) WO2018179522A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029307A1 (ja) * 2022-08-03 2024-02-08 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007276615A (ja) * 2006-04-06 2007-10-25 Denso Corp プロンプター方式操作装置
JP2009077951A (ja) * 2007-09-26 2009-04-16 Fujinon Corp 撮影装置
JP2010130392A (ja) * 2008-11-28 2010-06-10 Hitachi Ltd 画像処理装置
JP2010136263A (ja) * 2008-12-08 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ
WO2011108091A1 (ja) * 2010-03-03 2011-09-09 株式会社 東芝 車載用表示装置及び表示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007276615A (ja) * 2006-04-06 2007-10-25 Denso Corp プロンプター方式操作装置
JP2009077951A (ja) * 2007-09-26 2009-04-16 Fujinon Corp 撮影装置
JP2010130392A (ja) * 2008-11-28 2010-06-10 Hitachi Ltd 画像処理装置
JP2010136263A (ja) * 2008-12-08 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ
WO2011108091A1 (ja) * 2010-03-03 2011-09-09 株式会社 東芝 車載用表示装置及び表示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029307A1 (ja) * 2022-08-03 2024-02-08 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム

Also Published As

Publication number Publication date
JPWO2018179522A1 (ja) 2020-02-06

Similar Documents

Publication Publication Date Title
US8587658B2 (en) Imaging device, image display device, and program with intruding object detection
KR101795601B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 저장매체
KR101573131B1 (ko) 이미지 촬상 방법 및 장치
US11470253B2 (en) Display device and program
US20110019029A1 (en) Image processing apparatus, image processing method, and storage medium thereof
US20110007187A1 (en) Imaging Device And Image Playback Device
US10284774B2 (en) Information terminal apparatus, image pickup apparatus, image-information processing system, and image-information processing method for controlling time-lapse imaging
US11190703B2 (en) Image-capturing apparatus, program, and electronic device that controls image sensor based on moving velocity
KR20120086088A (ko) 이미지 처리 방법 및 장치
JP2007027971A (ja) 撮影装置及びその制御方法及びプログラム及び記録媒体
WO2018179523A1 (ja) 電子機器およびプログラム
JP2006025311A (ja) 撮像装置、及び画像取得方法
JP5266701B2 (ja) 撮像装置、被写体分離方法、およびプログラム
JP2015064768A (ja) 撮像装置、画像修正装置およびその制御方法とプログラム
WO2018179522A1 (ja) 電子機器、プログラムおよび再生装置
JP2010183460A (ja) 撮像装置およびその制御方法
JP2008172395A (ja) 撮像装置、画像処理装置、方法およびプログラム
JP2013081136A (ja) 画像処理装置および制御プログラム
JP2018074523A (ja) 撮像装置、その制御方法、プログラムならびに記録媒体
JP4911287B2 (ja) 画像再生装置及びそのプログラム
JP2014220546A (ja) 画像記録装置及びその方法
JP6590681B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5948960B2 (ja) カメラ、画像処理装置及びプログラム
JP5206421B2 (ja) デジタルカメラ、撮影記録方法、及び、撮影制御プログラム
JP6213619B2 (ja) カメラおよびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17902810

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508524

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17902810

Country of ref document: EP

Kind code of ref document: A1