WO2015087582A1 - 画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム - Google Patents
画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- WO2015087582A1 WO2015087582A1 PCT/JP2014/071934 JP2014071934W WO2015087582A1 WO 2015087582 A1 WO2015087582 A1 WO 2015087582A1 JP 2014071934 W JP2014071934 W JP 2014071934W WO 2015087582 A1 WO2015087582 A1 WO 2015087582A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- unit
- image data
- suppression
- imaging
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Definitions
- the present invention relates to an image processing device that performs image processing on image data, a display device including the image processing device, an imaging device including the display device, an image processing method and a program performed by the image processing device.
- the present invention has been made in view of the above, and even when a viewing area changes rapidly due to a panning operation, a tilt operation, or other shooting screen changing operations during moving image shooting, a moving image during playback is displayed to the user.
- An object is to provide an image processing device, a display device, an imaging device, an image processing method, and a program that can be visually recognized comfortably.
- the image processing apparatus is based on two images corresponding to image data that are temporally input and output, and a visual field region at the time of photographing.
- a determination unit that determines whether or not the image has changed, and generation of suppressed image data that suppresses the amount of visible information included in the image when the determination unit determines that the field of view at the time of shooting has changed.
- a suppression unit that outputs the output.
- the suppression unit generates the suppressed image data by suppressing a spatial change amount or a temporal change amount of data at the time of information display.
- the suppression unit generates the suppression image data by performing image processing that suppresses any one or more of contrast, saturation, and resolution of the image. It is characterized by doing.
- the suppression unit generates the suppression image data by performing image processing for increasing an exposure value of the image data.
- the image processing apparatus is characterized in that, in the above invention, the suppression unit generates the suppression image data by performing image processing that thins out the number of pixels of the image corresponding to the image data. .
- a display device includes the image processing device according to the invention described above, and a display unit capable of displaying a suppression image corresponding to the suppression image data generated by the suppression unit.
- an imaging apparatus includes the display apparatus according to the invention described above and an imaging unit that sequentially captures a visual field and generates a plurality of image data sequentially.
- An imaging device includes the display device according to the invention described above and an imaging unit that sequentially captures a visual field and generates a plurality of image data in sequence, and collects light from the visual field. And an image sensor that receives the light collected by the lens unit and generates the image data, and the suppression unit generates the image generated by the image sensor. The focus position of the lens unit is adjusted so that the image corresponding to the data is out of focus.
- the determination unit determines that the visual field area at the time of shooting has changed
- the suppression image and the image are superimposed and displayed on the display unit.
- a display control unit is further provided.
- the determination unit divides each pixel of two images corresponding to the temporally changing image data or a plurality of regions with respect to the two images. By calculating a luminance difference for each divided region, it is determined whether or not the visual field region at the time of photographing has changed.
- the image processing method is an image processing method executed by the image processing apparatus, and is based on two images corresponding to image data that are input from outside and are temporally changed, and a visual field at the time of shooting.
- a suppressing step of generating and outputting is an image processing method executed by the image processing apparatus, and is based on two images corresponding to image data that are input from outside and are temporally changed, and a visual field at the time of shooting.
- the program according to the present invention determines whether or not the field of view at the time of shooting has changed based on two images corresponding to temporally input and output image data input to the image processing apparatus.
- FIG. 1 is a block diagram showing a functional configuration of the imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 2 is a flowchart showing an outline of processing executed by the imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 3 is a diagram illustrating a situation when the imaging apparatus according to Embodiment 1 of the present invention is panned by the user.
- FIG. 4 is a diagram schematically showing a visual field area captured by the imaging apparatus under the situation of FIG.
- FIG. 5 is a diagram illustrating an example of an image when the determination unit of the imaging apparatus according to Embodiment 1 of the present invention makes a determination.
- FIG. 1 is a block diagram showing a functional configuration of the imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 2 is a flowchart showing an outline of processing executed by the imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 3 is a diagram illustrating a situation when the imaging apparatus according to Embod
- FIG. 6 is a diagram illustrating another example of an image when the determination unit of the imaging apparatus according to Embodiment 1 of the present invention makes a determination.
- FIG. 7 is a diagram illustrating an example of an image displayed on the display unit of the imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 8 is a diagram illustrating another example of an image displayed by the display unit of the imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 9 is a diagram illustrating another example of an image when the determination unit of the imaging device according to Embodiment 1 of the present invention makes a determination.
- FIG. 10 is a diagram illustrating another example of an image displayed by the display unit of the imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 10 is a diagram illustrating another example of an image displayed by the display unit of the imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 11 is a block diagram illustrating a functional configuration of the imaging apparatus according to Embodiment 2 of the present invention.
- FIG. 12 is a flowchart showing an outline of processing executed by the imaging apparatus according to Embodiment 2 of the present invention.
- FIG. 13 is a diagram schematically illustrating the relationship between the position in the immediately preceding image generated by the imaging unit of the imaging apparatus according to Embodiment 2 of the present invention and the amount of information.
- FIG. 14 is a diagram schematically illustrating the relationship between the position and the information amount in the latest image generated by the imaging unit of the imaging apparatus according to Embodiment 2 of the present invention.
- FIG. 15 is a diagram illustrating the relationship between brightness and position when the curve of FIG. 13B and the curve of FIG. 14B are virtually overlapped.
- FIG. 16 is a diagram illustrating the relationship between the brightness difference and the position when the curve of FIG. 13B and the curve of FIG. 14B are virtually overlapped.
- FIG. 17 is a diagram schematically illustrating an outline of correction processing by the suppressing unit of the imaging apparatus according to Embodiment 2 of the present invention.
- FIG. 18 is a diagram illustrating an example of an image displayed by the display unit of the imaging apparatus according to Embodiment 2 of the present invention.
- FIG. 19 is a diagram showing another example of an image displayed by the display unit of the imaging apparatus according to Embodiment 2 of the present invention.
- FIG. 20 is a diagram schematically illustrating the relationship between the position and the information amount in the immediately preceding image generated by the imaging unit of the imaging apparatus according to the modification of the second embodiment of the present invention.
- FIG. 21 is a diagram schematically illustrating a relationship between a position and an information amount in the latest image generated by the imaging unit of the imaging apparatus according to the modification of the second embodiment of the present invention.
- FIG. 22 is a diagram showing the relationship between the brightness and the position when the brightness for each region in FIG. 21B and the brightness for each region in FIG. 22B are virtually overlapped.
- FIG. 23 is a diagram illustrating the relationship between the brightness and the position when the brightness of each region in FIGS. 21B and 22B is virtually overlapped.
- FIG. 24 is a block diagram showing a functional configuration of the imaging apparatus according to Embodiment 3 of the present invention.
- FIG. 25 is a flowchart showing an outline of processing executed by the imaging apparatus according to Embodiment 3 of the present invention.
- FIG. 22 is a diagram showing the relationship between the brightness and the position when the brightness for each region in FIG. 21B and the brightness for each region in FIG. 22B are virtually overlapped.
- FIG. 24 is a block diagram showing a
- FIG. 26 is a diagram illustrating an example of an image displayed by the display unit of the imaging apparatus according to Embodiment 3 of the present invention.
- FIG. 27 is a diagram illustrating another example of an image displayed by the display unit of the imaging apparatus according to Embodiment 3 of the present invention.
- FIG. 28 is a diagram illustrating another example of an image displayed by the display unit of the imaging apparatus according to Embodiment 3 of the present invention.
- FIG. 1 is a block diagram showing a functional configuration of the imaging apparatus according to Embodiment 1 of the present invention.
- the imaging device 1 illustrated in FIG. 1 includes at least an imaging unit 10, a display unit 11, an input unit 12, a recording unit 13, a recording medium 14, and a control unit 15.
- the imaging unit 10 continuously captures a predetermined visual field under the control of the control unit 15 and generates a plurality of temporally continuous image data (moving image data).
- the imaging unit 10 is composed of a plurality of lenses, and performs photoelectric conversion by receiving an optical system that forms an object image, an aperture that adjusts the amount of light of the optical system, and an object image formed by the optical system and performing photoelectric conversion.
- CMOS Complementary Metal Oxide Semiconductor
- a signal processing unit that performs predetermined analog processing and A / D conversion for analog image data input from the signal processing unit to generate digital image data and output the digital image data to the control unit 15
- a D conversion unit and a timing generator that generates the imaging timing of the imaging device are used.
- the display unit 11 displays an image corresponding to the image data generated by the imaging unit 10 under the control of the control unit 15.
- image display a rec view display for displaying an image corresponding to the image data immediately after shooting for a predetermined time (for example, 3 seconds) and a reproduction image corresponding to the image data recorded on the recording medium 14 are displayed.
- Playback display live view image display that sequentially displays live view images corresponding to image data continuously generated by the imaging unit 10, and the like are included.
- the display unit 11 is configured using a display panel made of liquid crystal or organic EL (Electro Luminescence), a drive driver, and the like. In the first embodiment, the display unit 11 and a control unit 15 described later function as a display device.
- the input unit 12 receives input of instruction signals for instructing various operations related to the imaging apparatus 1.
- the input unit 12 is a power switch that switches the power state of the imaging apparatus 1 to an on state or an off state, a release switch that receives an input of a release signal that gives an instruction to the imaging apparatus 1 to shoot a still image, and instructs the imaging apparatus 1 to shoot a moving image.
- a moving image switch that accepts an input of an instruction signal to be transmitted.
- the recording unit 13 is executing image data input via the control unit 15, information being processed by the imaging apparatus 1, various programs for operating the imaging apparatus 1, the program according to the first embodiment, and the program. Record various data used in The recording unit 13 includes an SDRAM (Synchronous Dynamic Random Access Memory), a flash memory, and the like.
- SDRAM Serial Dynamic Random Access Memory
- the recording medium 14 records image data input via the control unit 15.
- the recording medium 14 is configured using a memory card or the like mounted from the outside of the imaging device 1 and is detachably mounted on the imaging device 1 via a memory I / F (not shown).
- image data or moving image data processed by the control unit 15 described later is written.
- the recording medium 14 reads image data or moving image data recorded by the control unit 15.
- the control unit 15 comprehensively controls the operation of the imaging apparatus 1 by giving instructions to each unit constituting the imaging apparatus 1 and transferring data.
- the control unit 15 is configured using a CPU (Central Processing Unit). In the first embodiment, the control unit 15 functions as an image processing apparatus.
- CPU Central Processing Unit
- the control unit 15 includes a determination unit 151, a suppression unit 152, and a display control unit 153.
- the determination unit 151 determines whether or not the field of view of the imaging unit 10 has changed. Specifically, the determination unit 151 determines whether or not the field of view of the imaging unit 10 has changed based on the degree of coincidence between the two images corresponding to the temporally generated image data generated by the imaging unit 10. To do. For example, the determination unit 151 performs a motion determination on two images corresponding to image data that are generated before and after the time generated by the imaging unit 10, thereby causing a motion that occurs in the imaging device 1, such as a panning operation or a tilt by a user. Operation and other shooting screen change operations are determined.
- the suppression unit 152 suppresses the visually observable information amount included in the image corresponding to the image data generated by the imaging unit 10. Suppressed image data is generated and output to the display control unit 153 or an external device (for example, an image display device). Specifically, the suppression unit 152 performs image processing that reduces any one or more of contrast, saturation, resolution, and the number of pixels as visually-visible imaging information included in the image generated by the imaging unit 10. To generate suppressed image data.
- the suppression unit 152 may be affected by the visibility of the human eye, etc., so if other expressions are used, the amount of spatial change or temporal change in data when information is displayed You may perform the process which suppresses the amount (this becomes small when there is little spatial change) or the data amount at the time of recording.
- the suppression unit 152 may reduce the number of pixels or reduce the data change between the pixels, and the same effect can be obtained by the process of reducing the change in the information amount of each pixel.
- the suppression unit 152 cannot be seen well due to the overlap of external light.
- the change in the image is reduced and the flicker is less visible, of course, the result of the object of the present invention can be obtained even if the image data is increased by the offset.
- the fact that the change is small corresponds to a process in which the amount of data is reduced when compressed, which is advantageous in terms of recording time and capacity.
- the display control unit 153 causes the display unit 11 to display an image corresponding to the image data generated by the imaging unit 10.
- the display control unit 153 causes the display unit 11 to display a suppression image corresponding to the suppression image data generated by the suppression unit 152.
- the display control unit 153 causes the display unit 11 to display operation information regarding the imaging device 1.
- the display control unit 153 functions as an output unit that outputs the suppression image data generated by the suppression unit 152 to the display unit 11.
- FIG. 2 is a flowchart illustrating an outline of processing executed by the imaging apparatus 1.
- step S101 Yes
- the control unit 15 causes the imaging unit 10 to perform imaging (step S102).
- the determination unit 151 has a change amount of two images (hereinafter, simply referred to as “two images moving back and forth in time”) corresponding to the image data generated back and forth generated by the imaging unit 10 as the first. It is determined whether or not the threshold value is greater than or equal to (step S103). This amount of change may be determined by the distribution of the brightness of the image or changes in the brightness itself, or it may be determined by analyzing how the image has changed, such as a motion vector. It is assumed that the threshold value rises when is large.
- FIG. 3 is a diagram illustrating a situation when the imaging device 1 is panned by the user.
- FIG. 4 is a diagram schematically illustrating a visual field area that is imaged by the imaging apparatus 1 under the situation of FIG. 3. 3 and 4, the imaging device 1 moves in a substantially horizontal direction (arrow a1) by the user's panning operation, so that the field of view including the subject O4 from the field of view including the subject O1.
- a situation when continuously imaging up to an area is shown.
- the images F1 to F4 in FIG. 4 correspond to the image of the visual field area captured by the movement of the imaging device 1.
- FIG. 3 illustrates a case where the user performs a panning operation for moving the imaging device 1 in a substantially horizontal direction at a constant speed.
- the determination unit 151 is configured such that when the imaging device 1 performs a panning operation by the user, the amount of change between two images that are generated by the imaging unit 10 and that are temporally changed is the first. It is determined whether it is a threshold value. Specifically, the determination unit 151 calculates the amount of change in image information, for example, brightness information (luminance or hue) by performing pattern matching for each pixel as the amount of change between the two images. It is determined whether or not it is equal to or greater than a first threshold value. More specifically, as shown in FIGS. 5A and 5B, the determination unit 151 includes two immediately preceding images LV1 (the image F1 in FIG.
- the degree of coincidence between the latest image LV2a and the latest image LV2a is calculated for each pixel. It is determined whether or not 3/4 or more in the visual field region of the part 10 has changed.
- the first threshold is set to 3/4 or more in the visual field region of the imaging unit 10, but may be, for example, 1/2 or more in the visual field region of the imaging unit 10, or 2/3 or more. May be changed as appropriate.
- the first threshold value can be changed according to the shooting scene, for example, night view, portrait, landscape, and subject. Further, this may be changed according to the environment at the time of viewing. In other words, when it is bright, the contrast of the displayed image appears to be lowered, but when it is dark, the contrast is clear and it may feel uncomfortable. That is, in such a case, it may be changed assuming an assumed display reproduction environment.
- step S103 when the determination unit 151 determines that the amount of change between two temporally generated images generated by the imaging unit 10 is greater than or equal to the first threshold (step S103: Yes), the imaging device 1 The process proceeds to step S104 described later.
- the determination unit 151 determines whether or not the amount of change between the two images that are temporally generated and generated by the imaging unit 10 is greater than or equal to the second threshold (step S104). Specifically, the determination unit 151 calculates the difference or change amount of the image information for each divided region (for each block) divided for each pixel or for each predetermined region as the change amount of the two images. It is determined whether the result is equal to or greater than a second threshold value. More specifically, as illustrated in FIGS. 6A and 6B, the determination unit 151 includes two immediately preceding images LV1 and the latest image LV2b (FIG. 4) that are generated by the imaging unit 10 and that are temporally changed.
- the second threshold may be set larger than the first threshold.
- the determination unit 151 determines that the two or more images generated by the imaging unit 10 have a visual field region in which the immediately preceding image is superimposed on the latest image in the two images that are before and after the time, as the second threshold value or more.
- This second threshold value may also be changed under the shooting environment, or may be changed depending on the environment during playback viewing. In other words, when it is bright, the contrast of the displayed image appears to be lowered, but when it is dark, the contrast is clear and it may feel uncomfortable. That is, in such a case, the threshold value may be changed assuming an assumed display reproduction environment.
- step S104 when the determination unit 151 determines that the amount of change between two temporally generated images generated by the imaging unit 10 is greater than or equal to the second threshold (step S104: Yes), the imaging device 1 The process proceeds to step S105.
- the suppression unit 152 performs image processing that reduces the contrast of the latest image corresponding to the latest image data generated by the imaging unit 10 and generates suppressed image data that suppresses the amount of information that can be visually grasped.
- the suppression unit 152 may perform image processing that reduces saturation or brightness (luminance or gain) instead of contrast.
- the suppression unit 152 may generate suppressed image data in which the amount of information is suppressed by performing image processing that combines any two or more of contrast, saturation, and brightness. Even if the image is reduced, the peripheral portion is blurred, or a frame is provided, the change in the image on the screen is reduced. As described above, even if an offset signal is provided as a whole, the change in the image is reduced, and the eyes are not tired and uncomfortable. Such image quality adjustment may be performed at the time of shooting, but may be performed at the time of reproduction.
- the display control unit 153 causes the display unit 11 to display a live view image corresponding to the suppression image data with the reduced contrast generated by the suppression unit 152 (step S106). Specifically, as illustrated in FIG. 7, the display control unit 153 causes the display unit 11 to display the live view image LV10 corresponding to the suppression image data with the reduced contrast generated by the suppression unit 152.
- the display control unit 153 causes the display unit 11 to display the live view image LV10 corresponding to the suppression image data with the reduced contrast generated by the suppression unit 152.
- step S106 the imaging apparatus 1 proceeds to step S110 described later.
- step S104 when the determination unit 151 determines that the amount of change between two temporally generated images generated by the imaging unit 10 is not greater than or equal to the second threshold (step S104: No), the imaging device 1 The process proceeds to S107.
- the suppression unit 152 generates suppression image data by performing image processing for reducing the resolution of the immediately preceding image corresponding to the immediately preceding image data generated by the imaging unit 10 (step S107).
- the suppression unit 152 may suppress the suppression image data by thinning out the compression rate or pixels instead of the resolution of the immediately preceding image corresponding to the immediately preceding image data generated by the imaging unit 10.
- the display control unit 153 causes the display unit 11 to display a live view image in which the immediately preceding image corresponding to the suppression image data with the reduced resolution generated by the suppression unit 152 is superimposed on the latest image (step S108). Specifically, as illustrated in FIG. 8, the display control unit 153 displays a live view image LV11 in which the immediately preceding image corresponding to the suppression image data with the reduced resolution generated by the suppression unit 152 is superimposed on the latest image. It is displayed on the display unit 11.
- the immediately preceding images picked up from the subject O1 to the desired subject O4 are sequentially left behind and can be visually recognized in the image at the time of the panning operation. Therefore, even when the field of view changes when shooting a moving image, the user can comfortably view the information when playing the moving image.
- the afterimage is represented by a dotted line.
- the imaging apparatus 1 proceeds to step S110.
- step S103 when the determination unit 151 determines that the amount of change between two temporally generated images generated by the imaging unit 10 is not greater than or equal to the first threshold (step S103: No), the imaging device 1 The process proceeds to S109.
- the determination unit 151 includes the two immediately preceding images LV1 and the latest image LV2c (the field of view of the image F1 in FIG. The degree of coincidence) corresponds to the region), and it is determined that the change amount of the latest image LV2c with respect to the immediately preceding image LV1 is not equal to or greater than the first threshold.
- the threshold is not exceeded.
- the display control unit 153 causes the display unit 11 to display a live view image corresponding to the latest image data generated by the imaging unit 10 (step S109). Specifically, as illustrated in FIG. 10, the display control unit 153 causes the display unit 11 to display a live view image LV12 corresponding to the latest image data generated by the imaging unit 10. After step S109, the imaging apparatus 1 proceeds to step S110.
- step S106 when an instruction signal for instructing still image shooting is input via the input unit 12 (step S110: Yes), the control unit 15 causes the imaging unit 10 to perform shooting. (Step S111), the image data generated by the imaging unit 10 is recorded on the recording medium 14 (Step S112).
- step S113: Yes when the power of the imaging device 1 is turned off via the input unit 12 (step S113: Yes), the imaging device 1 ends this process. On the other hand, when the power of the imaging device 1 is not turned off via the input unit 12 (step S113: No), the imaging device 1 returns to step S101.
- step S110 when an instruction signal for instructing still image shooting is not input via the input unit 12 (step S110: No), the imaging apparatus 1 proceeds to step S114.
- step S114 when the imaging apparatus 1 is shooting a moving image (step S114: Yes), the control unit 15 records image data corresponding to the display image displayed on the display unit 11 in a moving image file of the recording medium 14 (step S114). S115).
- step S116 when an instruction signal for ending moving image shooting is input via the input unit 12 (step S116: Yes), the control unit 15 executes moving image end processing for ending moving image shooting of the imaging device 1 (step S117). ).
- the control unit 15 records information indicating the moving image time and the data amount as meta information on the moving image file of the recording medium 14.
- step S117 the imaging apparatus 1 proceeds to step S113.
- step S116 when the instruction signal for ending the moving image shooting is not input via the input unit 12 (step S116: No), the imaging device 1 proceeds to step S113.
- step S114 when the imaging device 1 is not shooting a moving image (step S114: No), the imaging device 1 proceeds to step S118.
- step S118 when an instruction signal for starting moving image shooting is input via the input unit 12 (step S118: Yes), the control unit 15 starts moving image shooting of the imaging device 1 (step S119). Specifically, the control unit 15 creates a moving image file for recording the image data sequentially generated by the imaging unit 10 in time series on the recording medium 14. After step S119, the imaging apparatus 1 proceeds to step S113.
- step S118 when an instruction signal for starting moving image shooting is not input via the input unit 12 (step S118: No), the imaging apparatus 1 proceeds to step S113.
- step S101: No the imaging device 1 is not set to the shooting mode in step S101
- step S120: Yes the display control unit 153 displays the thumbnail image recorded in the header of each image file or moving image file recorded on the recording medium 14. Are displayed as a list on the display unit 11 (step S121).
- step S122: Yes when an image file to be reproduced is specified from the image list displayed on the display unit 11 via the input unit 12 (step S122: Yes), the imaging device 1 proceeds to step S123.
- step S122: No when the image file to be reproduced is not specified from the image list displayed on the display unit 11 via the input unit 12 (step S122: No), the imaging apparatus 1 returns to step S121.
- step S123 when the image file designated via the input unit 12 is a moving image file (step S123: Yes), the display control unit 153 starts reproduction display of the moving image corresponding to the moving image data recorded in the moving image file. (Step S124).
- the determination unit 151 determines whether or not the amount of change between the two images that change in time is greater than or equal to the third threshold (step S125). Specifically, the determination unit 151 determines whether the amount of change between the immediately preceding image displayed on the display unit 11 and the latest image is equal to or greater than a third threshold value. When the determination unit 151 determines that the amount of change between two images that move back and forth in time is greater than or equal to the third threshold (step S125: Yes), the imaging device 1 proceeds to step S126. On the other hand, when the determination unit 151 determines that the amount of change between the two images that move back and forth in time is not greater than or equal to the third threshold (step S125: No), the imaging device 1 proceeds to step S133 described later. .
- step S126 when there is a stable image in which the change amount of the image is stabilized within a predetermined time from the current image displayed on the display unit 11 (step S126: Yes), the suppression unit 152 reduces the resolution of the stable image. A suppression process is executed (step S127).
- the display control unit 153 causes the display unit 11 to display the stable image with the resolution reduced by the suppression unit 152 on the current image (step S128). Thereby, a sense of security can be urged to the user by the notice effect.
- step S129: Yes the imaging device 1 proceeds to step S130 described later.
- step S129: No the imaging device 1 returns to step S125.
- step S130 when the image to be reproduced is switched through the input unit 12 (step S130: Yes), the imaging apparatus 1 returns to step S121. On the other hand, when there is no switching of the image reproduced via the input part 12 (step S130: No), the imaging device 1 transfers to step S113.
- step S126 when there is no stable image in which the change amount of the image is stabilized within a predetermined time from the current image displayed on the display unit 11 (step S126: No), the imaging device 1 proceeds to step S131.
- the suppression unit 152 executes a suppression process for reducing the resolution of the immediately preceding image (step S131).
- step S132 the imaging apparatus 1 proceeds to step S129.
- step S133 the display control unit 153 causes the display unit 11 to display an image corresponding to the image data (step S133). After step S133, the imaging apparatus 1 proceeds to step S129.
- step S123 when the image file designated via the input unit 12 is not a moving image file (step S123: No), the display control unit 153 causes the display unit 11 to display an image corresponding to the image data on the full screen (step S123). S134). After step S134, the imaging device 1 proceeds to step S130.
- step S120 when the imaging device 1 is not set to the reproduction mode (step S120: No), the imaging device 1 proceeds to step S113.
- the user can comfortably play back the moving image. It can be visually recognized.
- the suppression unit 152 is included in the image corresponding to the image data generated by the imaging unit 10.
- the display control unit 153 causes the display unit 11 to display a live view image corresponding to the suppression image data generated by the suppression unit 152.
- the latest image having a large change between frames is displayed on the display unit 11 with a small amount of change from the immediately preceding image, so that the user can comfortably visually recognize the movie during movie shooting or movie playback.
- Such processing for suppressing the amount of visible information does not need to be performed uniformly, and panning is started.
- the process may be changed between time and halfway, and the process may be changed depending on the intensity of image change during panning.
- the panning operation is performed by the user to move the imaging device 1 in a substantially horizontal direction.
- the tilt in which the imaging device 1 is moved in a substantially vertical direction by the user This can be applied even when an operation is performed, or other shooting screen change operations.
- the suppressing unit 152 when the live view image is displayed, the suppressing unit 152 reduces the amount of visually visible information included in the image corresponding to the image data generated by the imaging unit 10.
- the amount of information may be suppressed only for the image data recorded on the recording medium 14.
- the determination unit 151 determines whether or not the field of view of the imaging unit 10 has changed using two images that change in time. It is not necessary to be adjacent to each other, and it may be determined whether or not the field of view of the imaging unit 10 has changed using a predetermined frame interval, for example, an odd frame or an even frame of image data generated by the imaging unit 10. .
- the imaging apparatus according to the second embodiment has a configuration different from that of the imaging apparatus according to the first embodiment described above and a process to be executed. For this reason, in the following, after describing the configuration of the imaging apparatus according to the second embodiment, the processing executed by the imaging apparatus according to the second embodiment will be described. Note that the same components as those in the imaging apparatus according to Embodiment 1 described above are denoted by the same reference numerals, and description thereof is omitted. However, it is needless to say that the corresponding blocks and functional parts in this case can be adapted as they are by simply omitting the repetition.
- FIG. 11 is a block diagram showing a functional configuration of the imaging apparatus according to Embodiment 2 of the present invention.
- An imaging apparatus 1a illustrated in FIG. 11 includes an imaging unit 10a, a display unit 11, an input unit 12, a recording unit 13, a recording medium 14, a camera shake correction unit 16, a motion detection unit 17, a touch panel 18, A communication unit 19 and a control unit 20 are provided.
- the imaging unit 10a includes a plurality of lenses.
- the imaging unit 10a collects light from a predetermined field of view and forms a subject image of the subject.
- the imaging unit 10a receives the subject image formed by the lens unit 101 and receives the subject.
- an image sensor 102 for generating the image data.
- the image sensor 102 continuously generates image data of the subject and outputs it to the control unit 20.
- the camera shake correction unit 16 corrects camera shake that occurs in the imaging apparatus 1a. Specifically, the camera shake correction unit 16 moves the image pickup element 102 in a vertical plane orthogonal to the optical axis L of the image pickup unit 10a and moves the image pickup element 102 in a horizontal plane orthogonal to the optical axis L. By moving, the camera shake generated in the imaging apparatus 1a is corrected (camera shake correction in the body).
- the camera shake correction unit 16 includes a plurality of ultrasonic actuators and actuator driving units.
- the camera shake correction unit 16 moves the image sensor 102 in the vertical plane and the horizontal plane under the control of the control unit 20. Note that the camera shake correction unit 16 may correct camera shake generated in the imaging apparatus 1a by moving the lens unit 101 in the vertical plane and the horizontal plane instead of the image sensor 102 (camera shake correction in the lens).
- the motion detection unit 17 detects a motion that occurs in the imaging device 1 a and outputs the detection result to the control unit 20. Specifically, the motion detection unit 17 detects an acceleration and an angular velocity generated in the imaging device 1a, and outputs the detection result to the control unit 20.
- the motion detection unit 17 is configured using an acceleration sensor, a gyro sensor, and the like.
- the touch panel 18 is provided so as to be superimposed on the display screen of the display unit 11.
- the touch panel 18 detects a touch of an object from the outside, and outputs a position signal corresponding to the detected touch position to the control unit 20.
- the touch panel 18 detects a position touched by the user based on information displayed on the display unit 11, for example, an icon image or a thumbnail image, and instructs an operation performed by the imaging apparatus 1a according to the detected touch position.
- An instruction signal or a selection signal for selecting an image may be received.
- the touch panel 18 includes a resistance film method, a capacitance method, an optical method, and the like. In the second embodiment, any type of touch panel is applicable.
- the communication unit 19 transmits or receives an image file including image data by performing wireless communication with an external device according to a predetermined wireless communication standard.
- the predetermined wireless communication standard is IEEE802.11b, IEEE802.11n, or the like.
- any wireless communication standard can be applied.
- the communication unit 19 is configured by using a communication device for bidirectionally communicating various information such as image files and content data with an external device via a network.
- the communication device includes an antenna that transmits / receives radio signals to / from other devices, a transmission / reception circuit that demodulates a signal received by the antenna, and that modulates a signal to be transmitted.
- the communication unit 19 periodically transmits a communication signal including identification information (device ID) for notifying the presence of the imaging device 1a when the imaging device 1a is activated.
- the communication unit 19 may be provided in the recording medium 14 such as a memory card that is mounted from the outside of the imaging device 1a.
- the communication part 19 may be provided in the accessory with which the imaging device 1a is mounted
- the control unit 20 performs overall control of the operation of the imaging apparatus 1a by performing instructions and data transfer corresponding to the respective units constituting the imaging apparatus 1a.
- the control unit 20 is configured using a CPU or the like. In the second embodiment, the control unit 20 functions as an image processing apparatus.
- the control unit 20 includes a determination unit 201, a suppression unit 202, and a display control unit 203.
- the determination unit 201 superimposes the immediately preceding image corresponding to the temporally generated image data generated by the imaging unit 10a and the latest latest image to determine a difference for each pixel, thereby determining the visual field region of the imaging unit 10a. It is determined whether or not has changed. Specifically, the determination unit 201 adds the difference between the pixel values of the central portion of each of the immediately preceding image and the latest image, and adds the difference between the pixel values of the peripheral portion of each of the immediately preceding image and the latest image. If the value obtained by adding the differences between the central portion and the peripheral portion of the image is equal to or greater than a predetermined threshold value, it is determined that the field of view of the imaging unit 10a has changed.
- the center of the image is a 2/3 region including the center of the image.
- the image peripheral part is an area excluding the central part of the image.
- the suppression unit 202 suppresses the amount of visually visible information included in the image corresponding to the image data generated by the imaging unit 10a. Suppressed image data is generated. Specifically, the suppression unit 202 performs image processing that reduces any one or more of contrast, saturation, resolution, and the number of pixels as visually-visible imaging information included in the image generated by the imaging unit 10a. To generate suppressed image data.
- the display control unit 203 causes the display unit 11 to display an image corresponding to the image data generated by the imaging unit 10a. Moreover, the display control part 203 displays the suppression image corresponding to the suppression image data which the suppression part 202 produced
- FIG. 12 is a flowchart illustrating an outline of processing executed by the imaging apparatus 1a.
- step S201 the case where the imaging device 1a is set to the shooting mode (step S201: Yes) will be described.
- the control unit 20 causes the image sensor 102 to perform imaging (step S202).
- the determination unit 201 starts a determination process for determining a difference for each pixel by superimposing the immediately preceding image immediately before and after the time and the latest latest image (step S203), and each of the immediately preceding image and the latest image.
- a value obtained by adding the pixel differences in the central portion of the image hereinafter, a value obtained by adding the pixel differences in the central portion of the image is referred to as “C”) (step S204), and the image periphery of each of the immediately preceding image and the latest image
- a value obtained by adding the differences between the pixels in the area hereinafter, a value obtained by adding the differences between the pixels in the peripheral area of the image is referred to as “P” is calculated (step S205).
- the center of the image is a rectangular region including the center of the image.
- the image peripheral part is an area in the image excluding the center part of the image, and is an area from the image center part to the outer edge of the effective pixel area in the image.
- the determination unit 201 does not need to perform determination using all the pixels in the center portion of the image and the peripheral portion of the image, and may calculate the difference by thinning out the pixels at a predetermined interval. Specifically, the determination unit 201 may calculate a value obtained by adding differences between pixels in predetermined pixel columns, for example, odd-numbered columns or even-numbered columns, in each of the image central portion and the image peripheral portion.
- FIG. 13 is a diagram schematically showing the relationship between the position in the immediately preceding image and the information amount.
- FIG. 14 is a diagram schematically illustrating the relationship between the position in the latest image and the information amount.
- the brightness as the information amount on the straight line L1 will be described as an example.
- the horizontal axis indicates the position of each image, and the vertical axis indicates the brightness.
- the brightness of the straight line L1 across the face of the subject O1 in the immediately preceding image LV20 is a curve Im1 shown in FIG. 13 (b).
- the latest image LV21 shown in FIG. 14 can be obtained.
- the brightness of the straight line L1 across the face of the subject O1 in the latest image LV21 is a curve Im2 shown in FIG.
- the determination unit 201 compares the curve Im1 in FIG. 13B with the curve Im2 in FIG. 14B (see FIG. 15).
- FIG. 15 is a diagram showing a relationship between brightness and position when the curve Im1 of FIG. 13B and the curve Im2 of FIG. 14B are virtually overlapped.
- FIG. 16 is a diagram showing the relationship between the difference in brightness and the position of the curve Im1 in FIG. 13B and the curve Im2 in FIG. 14B.
- the user feels stress just by looking at an image having a difference D in a part of two-frame images such as the immediately preceding image and the latest image that are temporally changed. Furthermore, when a panning operation is performed on a moving image, the visual field region of the imaging apparatus 1a changes according to the panning operation, and color components and subjects change, which may be uncomfortable. Specifically, as indicated by a curve Im12 shown in FIG. 16, the larger the amplitude, the larger the image change from the immediately preceding image to the latest image. Therefore, the determination unit 201 determines an image change of the latest image L21 with respect to the immediately preceding image L20 by calculating a difference between each of the curves Im1 and Im2. In other words, the determination unit 201 quantifies the amount of change in the image change of the latest image L21 relative to the immediately preceding image L20 by adding the absolute values of the pixel values of the immediately preceding image and the latest image.
- step S206 the determination unit 201 adds the absolute value
- the determination unit 201 determines that the sum
- the imaging device 1a proceeds to step S207 described later.
- step S206: No the imaging device 1a proceeds to step S212 described later.
- step S207 the determination unit 201 determines whether or not the average value CA obtained by dividing C by the number of pixels in the central portion of the image is equal to or greater than the average value PA obtained by dividing P by the number of pixels in the peripheral portion of the image.
- the determination unit 201 determines that the C average value CA is equal to or greater than the P average value PA (step S207: Yes)
- the imaging apparatus 1a proceeds to step S208 described later.
- the determination unit 201 determines that the C average value CA is not equal to or greater than the P average value PA (step S207: No)
- the imaging apparatus 1a proceeds to step S210 described later.
- step S208 the suppression unit 202 performs image processing to reduce the contrast of the image peripheral portion in the latest image corresponding to the latest image data generated by the imaging unit 10a, and generates suppressed image data. Specifically, as shown in FIG. 17, image processing for reducing the contrast of the latest image is performed to reduce the amplitude so that the brightness of the latest image changes from the curve Im2 to the curve Im3.
- the display control unit 203 causes the display unit 11 to display a live view image corresponding to the suppression image data with the reduced contrast generated by the suppression unit 202 (step S209). Specifically, as illustrated in FIG. 18, the display control unit 203 causes the display unit 11 to display the live view image LV30 corresponding to the suppression image data with the reduced contrast generated by the suppression unit 202.
- the display control unit 203 causes the display unit 11 to display the live view image LV30 corresponding to the suppression image data with the reduced contrast generated by the suppression unit 202.
- step S209 the imaging device 1a proceeds to step S213 described later.
- step S210 the suppression unit 202 generates suppression image data by performing suppression processing to reduce the saturation and contrast of the latest image corresponding to the latest image data generated by the imaging unit 10a.
- the display control unit 203 causes the display unit 11 to display a live view image corresponding to the suppression image data with reduced saturation and contrast generated by the suppression unit 202 (step S211). Specifically, as illustrated in FIG. 19, the display control unit 203 causes the display unit 11 to display the live view image LV31 corresponding to the suppression image data generated by the suppression unit 202 and having reduced saturation and contrast. .
- the display control unit 203 causes the display unit 11 to display the live view image LV31 corresponding to the suppression image data generated by the suppression unit 202 and having reduced saturation and contrast.
- step S211 the imaging apparatus 1a proceeds to step S213 described later.
- step S212 the display control unit 203 causes the display unit 11 to display a live view image corresponding to the image data generated by the imaging unit 10a.
- the imaging apparatus 1a proceeds to step S213 described later.
- Steps S213 to S222 correspond to steps S110 to S119 of FIG. 2 described above, respectively.
- step S201 when the imaging device 1a is not set to the shooting mode (step S201: No) and is set to the reproduction mode (step S223: Yes), the imaging device 1a is recorded on the recording medium 14.
- a reproduction display process for reproducing an image corresponding to the image data is executed (step S224). After step S224, the imaging device 1a proceeds to step S216.
- step S201 when the imaging device 1a is not set to the shooting mode (step S201: No) and is not set to the reproduction mode (step S223: No), the imaging device 1a proceeds to step S216.
- the user can be made to visually recognize it comfortably.
- the panning operation is performed in which the imaging device 1a moves in the substantially horizontal direction by the user, but the tilt in which the imaging device 1a moves in the substantially vertical direction by the user.
- the present invention can be applied even when an operation or a viewing angle change in an oblique direction is performed.
- these ideas can also be applied to an operation in which information on the screen changes suddenly, such as a rapid zoom operation, and such an effect can be similarly applied to the previous embodiment.
- the determination unit 201 determines whether or not the field of view of the imaging unit 10a has changed using two images that change in time. It is not necessary to be adjacent to each other, and it may be determined every predetermined frame, for example, whether or not the field of view of the imaging unit 10 has changed using an odd frame or an even frame of image data generated by the imaging unit 10a.
- a communication unit and the like may be communicable over a network so that a remote viewer can see it. In this case, it is necessary to assume the case of viewing on an indoor TV or the like.
- the threshold value may be changed depending on the destination.
- the determination unit 201 compares the brightness for each pixel of the immediately preceding image and the latest image that are temporally changed, but in the modification of the second embodiment, the determination unit 201 temporally compares the brightness.
- Each of the immediately preceding and succeeding images and the latest image is divided into predetermined areas, and the brightness is compared for each of the divided areas.
- FIG. 20 is a diagram schematically showing the relationship between the position in the immediately preceding image and the information amount.
- FIG. 21 is a diagram schematically illustrating the relationship between the position in the latest image and the information amount.
- FIG. 22 is a diagram illustrating the relationship between the brightness and the position when the brightness for each region in FIG. 20B and the brightness for each region in FIG. 21B are virtually overlapped.
- FIG. 23 is a diagram showing the relationship between the brightness difference (luminance difference) and the position when the brightness for each area in FIG. 21B and the brightness for each area in FIG. It is. 20 to 23, the brightness as the information amount on the straight line L2 will be described as an example.
- the horizontal axis indicates the position of each region
- the vertical axis indicates the brightness.
- the determination unit 201 divides the immediately preceding image LV20 and the latest image LV21 into a plurality of regions for each predetermined region, and brightness within the region.
- the difference DIm between the maximum value and the minimum value is compared.
- the determination unit 201 compares the difference DIm between the maximum value and the minimum value of the brightness in the respective regions of the immediately preceding image LV20 and the latest image LV21, and determines the difference. It is determined for each region as DDIm, and it is determined that the change in the amount of information in the image increases as the difference (luminance difference) increases.
- the imaging apparatus according to the third embodiment has a configuration different from that of the imaging apparatus 1a according to the second embodiment described above and a process to be executed. Specifically, when a panning operation, a tilt operation, or other shooting screen change operation is performed on the imaging apparatus, the amount of information that can be visually grasped is reduced by changing the shooting conditions. For this reason, in the following, after describing the configuration of the imaging apparatus according to the third embodiment, processing executed by the imaging apparatus according to the third embodiment will be described.
- symbol is attached
- FIG. 24 is a block diagram showing a functional configuration of the imaging apparatus according to Embodiment 3 of the present invention.
- the imaging device 1b illustrated in FIG. 24 includes an imaging unit 10a, a display unit 11, an input unit 12, a recording unit 13, a recording medium 14, a camera shake correction unit 16, a motion detection unit 17, a touch panel 18, A communication unit 19, a focus drive unit 21, and a control unit 22 are provided.
- the focus driving unit 21 adjusts the focus of the imaging unit 10 a by moving the lens unit 101 along the optical axis L under the control of the control unit 22.
- the focus driving unit 21 moves the lens unit 101 along the optical axis L under the control of the control unit 22 to focus the imaging unit 10a on the subject.
- the focus drive unit 21 is configured using a stepping motor or the like.
- the control unit 22 performs overall control of the operation of the imaging apparatus 1b by performing instructions and data transfer corresponding to the respective units constituting the imaging apparatus 1b.
- the control unit 22 is configured using a CPU or the like. In the third embodiment, the control unit 22 functions as an image processing device.
- the control unit 22 includes a determination unit 221, a suppression unit 222, and a display control unit 223.
- the determination unit 221 determines whether or not the field of view of the imaging unit 10a has changed. Specifically, the determination unit 221 determines whether or not the field of view of the imaging unit 10a has changed based on the degree of coincidence of two images corresponding to temporally generated image data generated by the imaging unit 10a. To do. For example, the determination unit 221 performs a motion determination on two images corresponding to the temporally changing image data generated by the imaging unit 10a, thereby causing a motion that occurs in the imaging device 1b, such as a panning operation or tilt by a user. Operation and other shooting screen change operations are determined.
- the suppression unit 222 suppresses the visually observable information amount included in the image corresponding to the image data generated by the imaging unit 10a. Suppressed image data is generated. Specifically, the suppression unit 222 generates suppression image data by performing image processing for increasing the exposure value, for example, image processing for overexposure, on the image corresponding to the image data generated by the imaging unit 10a. The suppression unit 222 adjusts the focus of the lens unit 101 so that the image corresponding to the image data generated by the image sensor 102 is blurred by driving the focus driving unit 21.
- the display control unit 223 causes the display unit 11 to display an image corresponding to the image data generated by the imaging unit 10a. Moreover, the display control part 223 displays the suppression image corresponding to the suppression image data which the suppression part 222 produced
- FIG. 25 is a flowchart illustrating an outline of processing executed by the imaging apparatus 1b.
- step S301 the case where the imaging device 1b is set to the shooting mode (step S301: Yes) will be described.
- the control unit 22 causes the image sensor 102 to perform imaging (step S302).
- the determination unit 221 determines whether or not the entire screen of the latest image (entire field of view) has moved from the entire screen of the immediately preceding image based on the immediately preceding image and the latest image that move back and forth in time (step). S303). Specifically, the determination unit 221 determines whether or not the information amount of each pixel of the immediately preceding image and the latest image that are temporally changed is greater than or equal to the first threshold value. Note that the first threshold value can be changed as appropriate according to the frame rate of the image sensor 102.
- the imaging device 1b proceeds to step S304 described below.
- the determination unit 221 determines that the entire screen of the latest image has not moved from the entire screen of the immediately preceding image (step S303: No)
- the imaging device 1b proceeds to step S311 described later.
- step S304 the determination unit 221 determines whether or not the moving direction of the latest image is 1/3 or more of the entire screen of the immediately preceding image, based on the immediately preceding image that changes in time and the latest image. .
- the imaging device 1b proceeds to step S305 described later.
- the imaging device 1b proceeds to step S311 described later. To do.
- step S305 the determination unit 221 determines whether the contrast of the latest image is smaller than a predetermined threshold value.
- the determination unit 221 determines that the contrast of the latest image is smaller than the predetermined threshold (step S305: Yes)
- the imaging device 1b proceeds to step S306 described later.
- the determination unit 221 determines that the contrast of the latest image is not smaller than the predetermined threshold (step S305: No)
- the imaging device 1b proceeds to step S311 described later.
- step S306 the determination unit 221 determines whether or not the subject in the latest image is a subject brighter than a predetermined threshold.
- the determination unit 221 determines that the subject in the latest image is a subject brighter than the predetermined threshold (step S306: Yes)
- the imaging device 1b proceeds to step S307 described later.
- the determination unit 221 determines that the subject in the latest image is not a subject brighter than the predetermined threshold (step S306: No)
- the imaging device 1b proceeds to step S309 described later.
- step S307 the suppression unit 222 performs image processing for increasing the exposure value of the image data generated by the imaging unit 10a. Specifically, the suppression unit 222 performs correction to increase the exposure value of the image data generated by the imaging unit 10a from, for example, +0.0 to +2.0.
- the display control unit 223 causes the display unit 11 to display a live view image corresponding to the image data whose exposure value has been increased by the suppression unit 222 (step S308).
- the display control unit 223 increases the exposure value by the suppression unit 222.
- a live view image LV41 and a live view image LV42 corresponding to the image data are displayed on the display unit 11.
- the display control unit 223 displays the live view image LV43 on the display unit 11 when the panning operation is finished (FIG. 26 (a) ⁇ FIG. 26 (b) ⁇ FIG. 26 (c) ⁇ FIG. 26 (d)). ).
- step S308 the imaging device 1b proceeds to step S312.
- step S309 the suppression unit 222 adjusts the focus position with respect to the subject by driving the focus driving unit 21 and moving the lens unit 101 along the optical axis L.
- the display control unit 223 causes the display unit 11 to display a live view image corresponding to the image data generated by the imaging unit 10a with the focus position adjusted (Step S310). Specifically, as shown in FIG. 27, when the display unit 11 displays the live view image LV50, when a panning operation is performed, the display control unit 223 adjusts the focus position by the suppression unit 222. For example, a live view image L51 and a live view image LV52 corresponding to the image data generated by the imaging unit 10a with the lens unit 101 away from the focus position (focus position) so as to be blurred with respect to the subject are displayed. Displayed sequentially on the unit 11.
- the display control unit 223 displays the live view image LV53 corresponding to the image data generated by the imaging unit 10a in a state where the focus position is focused on the subject by the suppression unit 222 when the panning operation ends. 11 (FIG. 27 (a) ⁇ FIG. 27 (b) ⁇ FIG. 27 (c) ⁇ FIG. 27 (d)).
- the focus position is automatically adjusted with respect to the subject, so that a blurred image is displayed during reproduction.
- the amount of information that can be visually recognized in the image at the time of panning operation is suppressed, so that even when the viewing area changes suddenly during movie shooting or movie playback, it is comfortable for the user. It can be visually recognized.
- the imaging device 1b proceeds to step S312.
- Steps S311 to S323 correspond to steps S212 to S224 of FIG. 12 described above, respectively.
- the suppression unit 222 increases the exposure value of the image data generated by the imaging unit 10a and the image displayed on the display unit 11 is overexposed.
- the imaging unit 10a May be displayed on the display unit 11 by reducing the number of pixels of the image data generated.
- the suppression unit 222 performs image processing that suppresses the number of pixels of the image corresponding to the image data generated by the imaging unit 10a and outputs the suppression image data.
- the display control unit 223 generates the live view image corresponding to the suppression image data generated by the suppression unit 222 on the display unit 11. For example, as shown in FIG.
- the display control unit 223 is generated by the suppression unit 222.
- a live view image LV61 and a live view image LV62 corresponding to the suppression image data are sequentially displayed on the display unit 11.
- the display control unit 223 causes the display unit 11 to display the live view image LV63 corresponding to the image data generated by the imaging unit 10a when the panning operation is finished (FIG. 28 (a) ⁇ FIG. 28 (b) ⁇ FIG. 28 (c) ⁇ FIG. 28 (d)).
- the image processing apparatus changes the viewing area even when shooting a digital camera, a digital video camera, and an electronic device such as a mobile phone or a tablet-type mobile device having an imaging function.
- the present invention can also be applied to a processor unit of a possible microscope apparatus and endoscope apparatus.
- the lens unit may be detachable from the main body unit, or the lens unit may be integrally formed with the main body unit.
- the program to be executed by the image processing apparatus is file data in an installable or executable format, and is a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk), USB.
- the program is recorded on a computer-readable recording medium such as a medium or a flash memory.
- the program to be executed by the image processing apparatus according to the present invention may be configured to be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Furthermore, a program to be executed by the image processing apparatus according to the present invention may be provided or distributed via a network such as the Internet.
- the present invention can include various embodiments not described herein, and various design changes and the like can be made within the scope of the technical idea specified by the claims. Is possible.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作によって視野領域が急激に変化した場合であっても、ユーザに動画の再生時に快適に視認させることができる画像処理装置、表示装置、撮像装置、画像処理方法およびプログラムを提供する。画像処理部は、外部から入力される時間的に前後する画像データに対応する2つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定部と、前記判定部によって前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制部と、を備える。
Description
本発明は、画像データに画像処理を行う画像処理装置、画像処理装置を備えた表示装置、表示装置を備えた撮像装置、画像処理装置が行う画像処理方法およびプログラムに関する。
近年、デジタルビデオカメラ等の手振れ補正機能を有する撮像装置では、動画撮影を行っている場合において、ユーザがパンニング操作やチルト操作その他の撮影画面変更操作を行ったとき、手振れ補正の効果と重なって撮影時の画像が余計に揺れてしまう。このため、ユーザが動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作を行った場合、手振れ補正機能を禁止または抑制する技術が知られている(特許文献1参照)。
しかしながら、上述した特許文献1に記載の技術では、再生時の画像の変化までは考慮されていなかったため、動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作(以下、パンニングと略す場合もある)があった動画を再生する場合、視野領域が急激に変化したり、雑多な被写体がちらついたりする。このため、動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作によって視野領域が急激に変化した場合にも、ユーザに再生時の動画を快適に視認させることができる技術が望まれていた。
本発明は、上記に鑑みてなされたものであって、動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作によって視野領域が急激に変化した場合であっても、ユーザに再生時の動画を快適に視認させることができる画像処理装置、表示装置、撮像装置、画像処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、外部から入力される時間的に前後する画像データに対応する2つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定部と、前記判定部によって前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制部と、を備えたことを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記抑制部は、情報表示時のデータの空間的な変化量または時間的な変化量を抑制して前記抑制画像データを生成することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記抑制部は、前記画像のコントラスト、彩度および解像度のいずれか一つ以上を抑制する画像処理を行うことによって前記抑制画像データを生成することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記抑制部は、前記画像データの露出値を上げる画像処理を行うことによって前記抑制画像データを生成することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記抑制部は、前記画像データに対応する画像の画素数を間引く画像処理を行うことによって前記抑制画像データを生成することを特徴とする。
また、本発明に係る表示装置は、上記発明の画像処理装置と、前記抑制部が生成した前記抑制画像データに対応する抑制画像を表示可能な表示部と、を備えたことを特徴とする。
また、本発明に係る撮像装置は、上記発明の表示装置と、視野領域を連続的に撮像して複数の画像データを順次生成する撮像部と、を備えたことを特徴とする。
また、本発明に係る撮像装置は、上記発明の表示装置と、視野領域を連続的に撮像して複数の画像データを順次生成する撮像部と、を備え、前記視野領域から光を集光するとともに、ピント位置調整可能なレンズ部と、前記レンズ部が集光した光を受光して前記画像データを生成する撮像素子と、を有し、前記抑制部は、前記撮像素子が生成する前記画像データに対応する画像のピントがぼけるように前記レンズ部のピント位置を調整することを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記判定部によって前記撮影時の視野領域が変化したと判定された場合、前記抑制画像と前記画像とを重畳して前記表示部に表示させる表示制御部をさらに備えたことを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記判定部は、前記時間的に前後する画像データに対応する2つの画像の画素毎または該2つの画像に対して複数の領域に分割した分割領域毎に輝度差を算出することによって、前記撮影時の視野領域が変化したか否かを判定することを特徴とする。
また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、外部から入力される時間的に前後する画像データに対応する2つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定ステップと、前記判定ステップで前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、画像処理装置に、外部から入力される時間的に前後する画像データに対応する2つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定ステップと、前記判定ステップで前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制ステップと、を実行させることを特徴とする。
本発明によれば、動画撮影時に視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができるという効果を奏する。
以下、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。また、以下においては、本発明の画像処理装置および表示装置を搭載した撮像装置を例に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付して説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る撮像装置の機能構成を示すブロック図である。図1に示す撮像装置1は、少なくとも、撮像部10と、表示部11と、入力部12と、記録部13と、記録媒体14と、制御部15と、を備える。
図1は、本発明の実施の形態1に係る撮像装置の機能構成を示すブロック図である。図1に示す撮像装置1は、少なくとも、撮像部10と、表示部11と、入力部12と、記録部13と、記録媒体14と、制御部15と、を備える。
撮像部10は、制御部15の制御のもと、所定の視野領域を連続的に撮像して、時間的に連続する複数の画像データ(動画データ)を生成する。撮像部10は、複数のレンズから構成され、被写体像を結像する光学系と、光学系の光量を調整する絞りと、光学系が結像した被写体像を受光して光電変換を行うことによって画像データを生成するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子と、撮像素子の状態を露光状態または遮光状態に設定するシャッタと、撮像素子が生成した画像データに対して所定のアナログ処理を行う信号処理部と、信号処理部から入力されるアナログの画像データに対してA/D変換を行うことによってデジタルの画像データを生成して制御部15へ出力するA/D変換部と、撮像素子の撮像タイミングを発生するタイミングジェネレータと、を用いて構成される。
表示部11は、制御部15の制御のもと、撮像部10が生成した画像データに対応する画像を表示する。ここで、画像の表示には、撮影直後の画像データに対応する画像を所定時間(たとえば3秒間)だけ表示するレックビュー表示、記録媒体14に記録された画像データに対応する再生画像を表示する再生表示、および撮像部10が連続的に生成する画像データに対応するライブビュー画像を順次表示するライブビュー画像表示等が含まれる。表示部11は、液晶または有機EL(Electro Luminescence)からなる表示パネルおよび駆動ドライバ等を用いて構成される。なお、本実施の形態1では、表示部11および後述する制御部15が表示装置として機能する。
入力部12は、撮像装置1に関する各種の動作を指示する指示信号の入力を受け付ける。入力部12は、撮像装置1の電源状態をオン状態またはオフ状態に切り換える電源スイッチ、撮像装置1に静止画撮影の指示を与えるレリーズ信号の入力を受け付けるレリーズスイッチおよび撮像装置1に動画撮影を指示する指示信号の入力を受け付ける動画スイッチ等を用いて構成される。
記録部13は、制御部15を介して入力される画像データ、撮像装置1の処理中の情報、撮像装置1を動作させるための各種プログラムや本実施の形態1に係るプログラムおよびプログラムの実行中に使用される各種データ等を記録する。記録部13は、SDRAM(Synchronous Dynamic Random Access Memory)およびFlashメモリ等を用いて構成される。
記録媒体14は、制御部15を介して入力される画像データを記録する。記録媒体14は、撮像装置1の外部から装着されるメモリーカード等を用いて構成され、図示しないメモリI/Fを介して撮像装置1に着脱自在に装着される。記録媒体14は、後述する制御部15が処理を施した画像データまたは動画データが書き込まれる。また、記録媒体14は、制御部15によって記録された画像データまたは動画データが読み出される。
制御部15は、撮像装置1を構成する各部に対する指示やデータの転送等を行って撮像装置1の動作を統括的に制御する。制御部15は、CPU(Central Processing Unit)を用いて構成される。なお、本実施の形態1では、制御部15が画像処理装置として機能する。
ここで、制御部15の詳細な構成について説明する。制御部15は、判定部151と、抑制部152と、表示制御部153と、を有する。
判定部151は、撮像部10の視野領域が変化したか否かを判定する。具体的には、判定部151は、撮像部10が生成した時間的に前後する画像データに対応する2つの画像の一致度に基づいて、撮像部10の視野領域が変化したか否かを判定する。たとえば、判定部151は、撮像部10が生成した時間的に前後する画像データに対応する2つの画像に対して動き判定を行うことによって、撮像装置1に生じる動き、たとえばユーザによるパンニング操作やチルト操作その他の撮影画面変更操作を判定する。
抑制部152は、判定部151によって撮像部10の視野領域が変化したと判定された場合、撮像部10が生成する画像データに対応する画像に含まれる視覚的に視認可能な情報量を抑制した抑制画像データを生成して表示制御部153または外部機器(たとえば画像表示装置等)へ出力する。具体的には、抑制部152は、撮像部10が生成する画像に含まれる視覚的に視認可能な撮影情報として、コントラスト、彩度、解像度および画素数のいずれか1つ以上を低下させる画像処理を行って抑制画像データを生成する。もちろん抑制部152は、視認可能性が人の目の使い方などに影響を受ける可能性もあるので、他の表現を使うと、情報表示時のデータの空間的な変化量、あるいは時間的な変化量(これは空間的な変化が少ないと連動して小さくなる)、または記録時のデータ量を抑制する処理を行ってもよい。
また、抑制部152は、画素数を減らしたり、画素間のデータ変化を減らしたりしてもよく、各画素の情報量の変化を減らす処理によっても、同様の効果を得ることが出来る。抑制部152は、例えば、明るい屋外などで液晶などの発光型の表示素子を見ると、外光が重なって良く見えなくなるが、このように、全体的にオフセットを持たせて明るくしても、画像の変化が少なくなって、ちらつきが見えにくくなるが、もちろん、このようにオフセット分、画像のデータを増やしても本発明の目的の結果を得ることが出来る。また、変化が少ないのは、圧縮した時に、データ量が減るような処理に相当するので、記録時間や容量的にも有利な方向となる。眼球移動が急速の(サッカード)時、網膜上の像の動きが激しくても、知覚が抑制されない効果を生理学の分野では、サッカード抑制と呼んでおり、この抑制効果を機器の側でも補助しようとするという側面を持つのが本発明の考え方である。もちろん、眼球移動を伴わずとも、不快感や違和感、品位などに繋がる画像表現もあり、これもまた、本発明では、対策するようにしている。この変化量は、人間の眼の反応速度からすると、1/10秒くらいの差異における画像変化で判定すればよく、1/30秒とか1/60秒とかのフレームレートの場合、その何コマかの間の変化で検出すれば良い。
表示制御部153は、撮像部10が生成した画像データに対応する画像を表示部11に表示させる。また、表示制御部153は、判定部151が撮像部10の視野領域が変化したと判定した場合、抑制部152が生成した抑制画像データに対応する抑制画像を表示部11に表示させる。さらに、表示制御部153は、撮像装置1に関する操作情報を表示部11に表示させる。なお、本実施の形態1では、表示制御部153が表示部11に抑制部152が生成した抑制画像データを出力する出力部として機能する。
以上の構成を有する撮像装置1が実行する処理について説明する。図2は、撮像装置1が実行する処理の概要を示すフローチャートである。
図2に示すように、まず、撮像装置1が撮影モードに設定されている場合(ステップS101:Yes)について説明する。この場合において、制御部15は、撮像部10に撮像を実行させる(ステップS102)。
続いて、判定部151は、撮像部10によって生成された時間的に前後する画像データに対応する2つの画像(以下、単に「時間的に前後する2つの画像」という)の変化量が第1の閾値以上であるか否かを判定する(ステップS103)。この変化量は、画像の明るさの分布や明るさそのものの変化という判定でも良く、動きベクトルのように、どのように変化していったかを分析するような判定でもよく、いずれの場合も変化が大きいときに閾値が上がることを想定している。
図3は、撮像装置1がユーザによってパンニング操作される際の状況を示す図である。図4は、図3の状況下で撮像装置1が撮像する視野領域を模式的に示す図である。なお、図3および図4では、撮像装置1がユーザのパンニング操作によって、撮像装置1が略水平方向(矢印a1)へ移動することで、被写体O1が含まれる視野領域から被写体O4が含まれる視野領域までを連続的に撮像する際の状況を示す。また、図4の画像F1~F4が撮像装置1の移動によって撮像された視野領域の画像に相当する。さらに、図3では、ユーザは、一定の速度で撮像装置1を略水平方向へ移動させるパンニング操作を行う場合について説明する。
図3および図4に示すように、判定部151は、ユーザによって撮像装置1がパンニング操作を行った場合において、撮像部10が生成する時間的に前後する2つの画像の変化量が第1の閾値であるか否かを判定する。具体的には、判定部151は、2つの画像の変化量として、画素毎にパターンマッチングを行って画像情報、たとえば明るさ情報(輝度や色相)の変化量を算出し、この算出した結果が第1の閾値以上であるか否かを判定する。より具体的には、図5(a)および図5(b)に示すように、判定部151は、撮像部10が生成した時間的に前後する2つの直前画像LV1(図4の画像F1の視野領域に相当)および最新画像LV2a(図4の画像F2の視野領域に相当)の一致度を画素毎に算出し、直前画像LV1に対する最新画像LV2aの変化量が第1の閾値上、たとえば撮像部10の視野領域における3/4以上変化しているか否かを判定する。なお、図5においては、第1の閾値として撮像部10の視野領域における3/4以上としているが、たとえば撮像部10の視野領域における1/2以上であってもよいし、2/3以上であってもよく、適宜変更することができる。もちろん、撮影シーン、たとえば夜景、ポートレート、風景および被写体に応じて第1の閾値を変更することができる。また、鑑賞時の環境によって、これを変化させても良い。つまり明るい時には、表示画像のコントラストが低下したように見えるが、暗黒時では、コントラストがはっきりして、余計に不快に感じられることがある。つまり、このような場合は、想定される表示再生環境を想定して変更しても良い。
ステップS103において、判定部151が撮像部10によって生成された時間的に前後する2つの画像の変化量が第1の閾値以上であると判定した場合(ステップS103:Yes)、撮像装置1は、後述するステップS104へ移行する。
続いて、判定部151が撮像部10によって生成された時間的に前後する2つの画像の変化量が第2の閾値以上であるか否かを判定する(ステップS104)。具体的には、判定部151は、2つの画像の変化量として、画素毎または所定の領域毎に分割した分割領域毎(ブロック毎)に画像情報の差や変化量を算出し、この算出した結果が第2の閾値以上であるか否かを判定する。より具体的には、図6(a)および図6(b)に示すように、判定部151は、撮像部10が生成した時間的に前後する2つの直前画像LV1および最新画像LV2b(図4の画像F3の視野領域に相当)の一致度を画素毎または領域毎に算出し、直前画像LV1に対する最新画像LV2bの変化量が第2の閾値以上、たとえば、撮像部10の視野領域における4/5以上変化しているか否かを判定する。なお、図6において、第2の閾値は、第1の閾値よりも大きく設定されればよい。また、判定部151は、撮像部10が生成する時間的に前後する2つの画像内において、直前画像が最新画像に対して重畳する視野領域がなくなった場合も第2の閾値以上として判定する。この第2の閾値も、撮影環境下で変化させてもよく、再生鑑賞時の環境によって、これを変化させても良い。つまり明るい時には、表示画像のコントラストが低下したように見えるが、暗黒時では、コントラストがはっきりして、余計に不快に感じられることがある。つまり、このような場合は、想定される表示再生環境を想定して閾値を変更しても良い。
ステップS104において、判定部151が撮像部10によって生成された時間的に前後する2つの画像の変化量が第2の閾値以上であると判定した場合(ステップS104:Yes)、撮像装置1は、ステップS105へ移行する。
続いて、抑制部152は、撮像部10が生成した最新の画像データに対応する最新画像のコントラストを低減する画像処理を行って視覚的に把握可能な情報量を抑制した抑制画像データを生成する(ステップS105)。なお、抑制部152は、コントラストに換えて彩度または明るさ(輝度やゲイン)を低減させる画像処理を行ってもよい。さらに、抑制部152は、コントラスト、彩度および明るさのいずれか2つ以上を組み合わせた画像処理を行って情報量を抑制した抑制画像データを生成してもよい。また、画像を縮小したり、周辺部をかすませたり、枠を設けたりしても、画面内における画像の変化は小さくなる。前述のように全体にオフセット信号を持たせても、画像変化が小さくなって、目の疲れや違和感がなくなる方向になる。このような画質調節は、撮影時に行ってもよいが、再生時に行うようにしてもよいので、画像変化抑制信号を付与するだけでも良い。
続いて、表示制御部153は、抑制部152によって生成されたコントラストが低減された抑制画像データに対応するライブビュー画像を表示部11に表示させる(ステップS106)。具体的には、図7に示すように、表示制御部153は、抑制部152によって生成されたコントラストが低減された抑制画像データに対応するライブビュー画像LV10を表示部11に表示させる。これにより、ユーザが撮像装置1に対してパンニング操作を行った場合において、現在の被写体O1から所望の被写体O4までに写る雑多な被写体O2,O3のコントラストを低減させて、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時または動画再生時に視野領域が急激に変化したときであっても、ユーザに快適に視認させることができる。なお、図7においては、コントラストの低減をハッチングで表現した。ステップS106の後、撮像装置1は、後述するステップS110へ移行する。
ステップS104において、判定部151が撮像部10によって生成された時間的に前後する2つの画像の変化量が第2の閾値以上でないと判定した場合(ステップS104:No)、撮像装置1は、ステップS107へ移行する。
続いて、抑制部152は、撮像部10が生成した直前の画像データに対応する直前画像の解像度を低減する画像処理を行って抑制画像データを生成する(ステップS107)。なお、抑制部152は、撮像部10が生成した直前の画像データに対応する直前画像の解像度に換えて、圧縮率や画素を間引いて抑制画像データを抑制してもよい。
その後、表示制御部153は、抑制部152によって生成された解像度が低減された抑制画像データに対応する直前画像を、最新画像に重畳したライブビュー画像を表示部11に表示させる(ステップS108)。具体的には、図8に示すように、表示制御部153は、抑制部152によって生成された解像度が低減された抑制画像データに対応する直前画像を、最新画像に重畳したライブビュー画像LV11を表示部11に表示させる。これにより、ユーザが撮像装置1に対してパンニング操作を行った場合において、被写体O1から所望の被写体O4までに撮像される直前画像を順次残像させ、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時に視野領域が変化したときであっても、動画の再生時にユーザに快適に視認させることができる。なお、図8においては、残像を点線で表現した。ステップS108の後、撮像装置1は、ステップS110へ移行する。
ステップS103において、判定部151が撮像部10によって生成された時間的に前後する2つの画像の変化量が第1の閾値以上でないと判定した場合(ステップS103:No)、撮像装置1は、ステップS109へ移行する。たとえば、図9(a)および図9(b)に示す場合、判定部151は、撮像部10が生成した時間的に前後する2つの直前画像LV1および最新画像LV2c(図4の画像F1の視野領域に相当)の一致度を算出し、直前画像LV1に対する最新画像LV2cの変化量が第1の閾値以上でないと判定する。具体的には、図9(a)および図9(b)に示すように、撮像部10の視野領域がほぼ変化していない場合、時間的に前後する2つの画像の変化量が第1の閾値以上でないと判定する。
続いて、表示制御部153は、撮像部10が生成した最新の画像データに対応するライブビュー画像を表示部11に表示させる(ステップS109)。具体的には、図10に示すように、表示制御部153は、撮像部10が生成した最新の画像データに対応するライブビュー画像LV12を表示部11に表示させる。ステップS109の後、撮像装置1は、ステップS110へ移行する。
ステップS106、ステップS108およびステップS109の後、入力部12を介して静止画撮影を指示する指示信号が入力された場合(ステップS110:Yes)、制御部15は、撮像部10に撮影を実行させ(ステップS111)、撮像部10が生成した画像データを記録媒体14に記録する(ステップS112)。
続いて、入力部12を介して撮像装置1の電源がオフされた場合(ステップS113:Yes)、撮像装置1は、本処理を終了する。これに対して、入力部12を介して撮像装置1の電源がオフされていない場合(ステップS113:No)、撮像装置1は、ステップS101へ戻る。
ステップS110において、入力部12を介して静止画撮影を指示する指示信号が入力されていない場合(ステップS110:No)、撮像装置1は、ステップS114へ移行する。
続いて、撮像装置1が動画撮影中である場合(ステップS114:Yes)、制御部15は、表示部11が表示する表示画像に対応する画像データを記録媒体14の動画ファイルに記録する(ステップS115)。
その後、入力部12を介して動画撮影を終了する指示信号が入力された場合(ステップS116:Yes)、制御部15は、撮像装置1の動画撮影を終了する動画終了処理を実行する(ステップS117)。たとえば、制御部15は、記録媒体14の動画ファイルに対して動画時間やデータ量を示す情報をメタ情報として記録する。ステップS117の後、撮像装置1は、ステップS113へ移行する。
ステップS116において、入力部12を介して動画撮影を終了する指示信号が入力されていない場合(ステップS116:No)、撮像装置1は、ステップS113へ移行する。
ステップS114において、撮像装置1が動画撮影中でない場合(ステップS114:No)、撮像装置1は、ステップS118へ移行する。
続いて、入力部12を介して動画撮影を開始する指示信号が入力された場合(ステップS118:Yes)、制御部15は、撮像装置1の動画撮影を開始する(ステップS119)。具体的には、制御部15は、記録媒体14に、撮像部10が順次生成する画像データを時系列に沿って記録するための動画ファイルを作成する。ステップS119の後、撮像装置1は、ステップS113へ移行する。
ステップS118において、入力部12を介して動画撮影を開始する指示信号が入力されていない場合(ステップS118:No)、撮像装置1は、ステップS113へ移行する。
次に、ステップS101で撮像装置1が撮影モードに設定されていない場合(ステップS101:No)について説明する。この場合において、撮像装置1が再生モードに設定されているとき(ステップS120:Yes)、表示制御部153は、記録媒体14に記録された画像ファイルまたは動画ファイルそれぞれのヘッダに記録されたサムネイル画像を表示部11に一覧表示させる(ステップS121)。
続いて、入力部12を介して表示部11が表示する画像一覧から再生する画像ファイルが指定された場合(ステップS122:Yes)、撮像装置1は、ステップS123へ移行する。これに対して、入力部12を介して表示部11が表示する画像一覧から再生する画像ファイルが指定されていない場合(ステップS122:No)、撮像装置1は、ステップS121へ戻る。
ステップS123において、入力部12を介して指定された画像ファイルが動画ファイルの場合(ステップS123:Yes)、表示制御部153は、動画ファイルに記録された動画データに対応する動画の再生表示を開始する(ステップS124)。
続いて、判定部151は、時間的に前後する2つの画像の変化量が第3の閾値以上であるか否かを判定する(ステップS125)。具体的には、判定部151は、表示部11に表示させた直前の画像と最新の画像との変化量が第3の閾値以上であるか否かを判定する。判定部151が時間的に前後する2つの画像の変化量が第3の閾値以上であると判定した場合(ステップS125:Yes)、撮像装置1は、ステップS126へ移行する。これに対して、判定部151が時間的に前後する2つの画像の変化量が第3の閾値以上でないと判定した場合(ステップS125:No)、撮像装置1は、後述するステップS133へ移行する。
ステップS126において、表示部11が表示する現在の画像から所定の時間内に画像の変化量が安定する安定画像がある場合(ステップS126:Yes)、抑制部152は、安定画像の解像度を低減する抑制処理を実行する(ステップS127)。
続いて、表示制御部153は、抑制部152が解像度を低減した安定画像を現画像に重畳して表示部11に表示させる(ステップS128)。これにより、予告効果によってユーザに安心感を促すことができる。
その後、動画が終了した場合(ステップS129:Yes)、撮像装置1は、後述するステップS130へ移行する。これに対して、動画が終了した場合(ステップS129:No)、撮像装置1は、ステップS125へ戻る。
ステップS130において、入力部12を介して再生する画像の切換があった場合(ステップS130:Yes)、撮像装置1は、ステップS121へ戻る。これに対して、入力部12を介して再生する画像の切換がない場合(ステップS130:No)、撮像装置1は、ステップS113へ移行する。
ステップS126において、表示部11が表示する現在の画像から所定の時間内に画像の変化量が安定する安定画像がない場合(ステップS126:No)、撮像装置1は、ステップS131へ移行する。
続いて、抑制部152は、直前の画像の解像度を低減する抑制処理を実行する(ステップS131)。
その後、表示制御部153は、抑制部152が解像度を低減した直前の画像を現画像に重畳して表示部11に表示させる(ステップS132)。ステップS132の後、撮像装置1は、ステップS129へ移行する。
ステップS133において、表示制御部153は、画像データに対応する画像を表示部11に表示させる(ステップS133)。ステップS133の後、撮像装置1は、ステップS129へ移行する。
ステップS123において、入力部12を介して指定された画像ファイルが動画ファイルでない場合(ステップS123:No)、表示制御部153は、画像データに対応する画像を表示部11に全画面表示させる(ステップS134)。ステップS134の後、撮像装置1は、ステップS130へ移行する。
ステップS120において、撮像装置1が再生モードに設定されていない場合(ステップS120:No)、撮像装置1は、ステップS113へ移行する。
以上説明した本発明の実施の形態1によれば、動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作によって視野領域が急激に変化した場合であっても、ユーザに動画の再生時に快適に視認させることができる。
また、本発明の実施の形態1によれば、判定部151が撮像部10の視野領域が変化したと判定した場合、抑制部152が撮像部10によって生成された画像データに対応する画像に含まれる視覚的に視認可能な情報量を抑制した抑制画像データを生成し、表示制御部153が抑制部152によって生成された抑制画像データに対応するライブビュー画像を表示部11に表示させる。これにより、フレーム間で変化が大きい最新画像は、直前画像からの変化量を小さくして表示部11で表示されるので、動画撮影時または動画の再生時にユーザに快適に視認させることができる。このような、視認可能な情報量を抑制する処理(つまり、情報表示時のデータの空間的な変化量、あるいは時間的な変化量を抑制する処理)は、一律に行う必要はなく、パンニング開始時と途中で処理を変えても良く、パンニング時の画像変化の激しさによって処理を変えても良い。
なお、上述した本発明の実施の形態1では、ユーザによって撮像装置1が略水平方向へ移動するパンニング操作が行われた場合であったが、ユーザによって撮像装置1が略垂直方向へ移動するチルト操作が行われた場合や、その他の撮影画面変更操作であっても適用することができる。
また、本発明の実施の形態1では、ライブビュー画像の表示時に、抑制部152が撮像部10によって生成された画像データに対応する画像に含まれる視覚的に視認可能な情報量を低減していたが、たとえば、記録媒体14に記録する画像データのみに対して情報量を抑制してもよい。
また、本発明の実施の形態1では、判定部151が時間的に前後する2つの画像を用いて、撮像部10の視野領域が変化したか否かを判定していたが、必ずしも時間的に隣接している必要はなく、所定のフレーム間毎、たとえば撮像部10が生成する画像データの奇数フレームまたは偶数フレームを用いて撮像部10の視野領域が変化したか否かを判定してもよい。
(実施の形態2)
次に、本発明の実施の形態2について説明する。本実施の形態2に係る撮像装置は、上述した実施の形態1に係る撮像装置と構成が異なるうえ、実行する処理が異なる。このため、以下においては、本実施の形態2に係る撮像装置の構成を説明後、本実施の形態2に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態1に係る撮像装置と同一の構成には同一の符号を付して説明を省略する。ただし、先に書いた事項で、ここでも対応するブロック、機能部分は、同様の働きをすることは、繰り返しを省略しただけで、そのまま適応可能なことは言うまでもない。
次に、本発明の実施の形態2について説明する。本実施の形態2に係る撮像装置は、上述した実施の形態1に係る撮像装置と構成が異なるうえ、実行する処理が異なる。このため、以下においては、本実施の形態2に係る撮像装置の構成を説明後、本実施の形態2に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態1に係る撮像装置と同一の構成には同一の符号を付して説明を省略する。ただし、先に書いた事項で、ここでも対応するブロック、機能部分は、同様の働きをすることは、繰り返しを省略しただけで、そのまま適応可能なことは言うまでもない。
図11は、本発明の実施の形態2に係る撮像装置の機能構成を示すブロック図である。図11に示す撮像装置1aは、撮像部10aと、表示部11と、入力部12と、記録部13と、記録媒体14と、手振れ補正部16と、動き検出部17と、タッチパネル18と、通信部19と、制御部20と、を備える。
撮像部10aは、複数のレンズを用いて構成され、所定の視野領域から集光して被写体の被写体像を結像するレンズ部101と、レンズ部101が結像した被写体像を受光して被写体の画像データを生成する撮像素子102と、を有する。撮像素子102は、被写体の画像データを連続的に生成して制御部20へ出力する。
手振れ補正部16は、撮像装置1aに生じる手振れを補正する。具体的には、手振れ補正部16は、撮像素子102を撮像部10aの光軸Lと直交する垂直面内で撮像素子102を移動させるとともに、光軸Lと直交する水平面内で撮像素子102を移動させることによって、撮像装置1aに生じる手振れを補正する(ボディ内手振れ補正)。手振れ補正部16は、複数の超音波アクチュエータおよびアクチュエータ駆動部を用いて構成される。手振れ補正部16は、制御部20の制御のもと、撮像素子102を垂直面内および水平面内で移動させる。なお、手振れ補正部16は、撮像素子102に換えて、レンズ部101を垂直面内および水平面内で移動させることによって、撮像装置1aに生じる手振れを補正してもよい(レンズ内手振れ補正)。
動き検出部17は、撮像装置1aに生じる動きを検出し、この検出結果を制御部20へ出力する。具体的には、動き検出部17は、撮像装置1aに生じる加速度および角速度をそれぞれ検出し、この検出結果を制御部20へ出力する。動き検出部17は、加速度センサおよびジャイロセンサ等を用いて構成される。
タッチパネル18は、表示部11の表示画面上に重畳して設けられる。タッチパネル18は、外部からの物体のタッチを検出し、この検出したタッチ位置に応じた位置信号を制御部20へ出力する。また、タッチパネル18は、ユーザが表示部11で表示される情報、たとえばアイコン画像やサムネイル画像に基づいてタッチした位置を検出し、この検出したタッチ位置に応じて撮像装置1aが行う動作を指示する指示信号や画像を選択する選択信号の入力を受け付けてもよい。一般に、タッチパネル18としては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態2では、いずれの方式のタッチパネルであっても適用可能である。
通信部19は、所定の無線通信規格に従って、外部の機器と無線通信を行って画像データを含む画像ファイルを送信または受信する。ここで、所定の無線通信規格は、IEEE802.11bおよびIEEE802.11n等である。なお、本実施の形態2では、いずれの無線通信規格であっても適用可能である。また、通信部19は、ネットワークを介して外部の機器と画像ファイルやコンテンツデータ等の各種情報を双方向に通信を行うための通信デバイスを用いて構成される。通信デバイスは、他の機器との間で電波信号を送受信するアンテナと、アンテナが受信した信号を復調処理するとともに、送信する信号を変調処理する送受信回路等で構成される。また、通信部19は、撮像装置1aの起動時において、その存在を報知する識別情報(機器ID)を含む通信信号を定期的に送信する。なお、通信部19は、撮像装置1aの外部から装着されるメモリーカード等の記録媒体14に設けられていてもよい。さらに、通信部19は、ホットシューを介して撮像装置1aに装着されるアクセサリに設けられていてもよい。
制御部20は、撮像装置1aを構成する各部に対応する指示やデータの転送等を行って撮像装置1aの動作を統括的に制御する。制御部20は、CPU等を用いて構成される。なお、本実施の形態2では、制御部20が画像処理装置として機能する。
ここで、制御部20の詳細な構成について説明する。制御部20は、判定部201と、抑制部202と、表示制御部203と、を有する。
判定部201は、撮像部10aが生成した時間的に前後する画像データに対応する直前の直前画像と最新の最新画像とを重ねて画素毎に差を判定することによって、撮像部10aの視野領域が変化したか否かを判定する。具体的には、判定部201は、直前画像と最新画像それぞれの画像中央部の画素値の差を加算するとともに、直前画像と最新画像それぞれの画像周辺部の画素値の差を加算し、画像中央部と画像周辺部それぞれの差を加算した値が所定の閾値以上の場合、撮像部10aの視野領域が変化したと判定する。ここで、画像中央部とは、画像の中心を含む2/3の領域である。また、画像周辺部とは、画像中央部を除く領域である。
抑制部202は、判定部201によって撮像部10aの視野領域が変化したと判定された場合、撮像部10aが生成する画像データに対応する画像に含まれる視覚的に視認可能な情報量を抑制した抑制画像データを生成する。具体的には、抑制部202は、撮像部10aが生成する画像に含まれる視覚的に視認可能な撮影情報として、コントラスト、彩度、解像度および画素数のいずれか1つ以上を低下させる画像処理を行って抑制画像データを生成する。
表示制御部203は、撮像部10aが生成した画像データに対応する画像を表示部11に表示させる。また、表示制御部203は、判定部201が撮像部10aの視野領域が変化したと判定した場合、抑制部202が生成した抑制画像データに対応する抑制画像を表示部11に表示させる。さらに、表示制御部203は、撮像装置1aに関する操作情報を表示部11に表示させる。なお、本実施の形態2では、表示制御部203が出力部として機能する。
以上の構成を有する撮像装置1aが実行する処理について説明する。図12は、撮像装置1aが実行する処理の概要を示すフローチャートである。
図12において、まず、撮像装置1aが撮影モードに設定されている場合(ステップS201:Yes)について説明する。この場合、制御部20は、撮像素子102に撮像を実行させる(ステップS202)。
続いて、判定部201は、時間的に前後する直前の直前画像と最新の最新画像とを重ねて画素毎に差を判定する判定処理を開始し(ステップS203)、直前画像と最新画像それぞれの画像中央部における画素の差を加算した値(以下、画像中央部における画素の差を加算した値を「C」という。)を算出するとともに(ステップS204)、直前画像と最新画像それぞれの画像周辺部の画素の差を加算した値(以下、画像周辺部の画素の差を加算した値を「P」という)を算出する(ステップS205)。なお、画像中央部とは、画像の中心を含む矩形状の領域である。また、画像周辺部とは、画像内において画像中央部を除く領域であって、画像内の有効画素領域の画像中央部から外縁までの領域である。また、判定部201は、画像中央部および画像周辺部それぞれの全ての画素を用いて判定する必要はなく、画素を所定の間隔で間引いて差を算出してもよい。具体的には、判定部201は、画像中央部および画像周辺部それぞれの所定の画素列、たとえば奇数列または偶数列の画素の差を加算した値を算出してもよい。
図13は、直前画像内における位置と情報量との関係を模式的に示す図である。図14は、最新画像内における位置と情報量との関係を模式的に示す図である。図13および図14において、直線L1上における情報量としての明るさを例に説明する。また、図13(b)および図14(b)において、横軸が各画像の位置を示し、縦軸が明るさを示す。
図13(a)に示すように、直前画像LV20において被写体O1の顔を横切った直線L1の明るさは、図13(b)に示す曲線Im1となる。図13(a)に示す状態からユーザが撮像装置1aに対して水平方向にパンニング操作を行った場合、図14に示す最新画像LV21を得ることができる。このとき、最新画像LV21における被写体O1の顔を横切った直線L1の明るさは、図14(b)に示す曲線Im2となる。判定部201は、図13(b)の曲線Im1と図14(b)の曲線Im2とを比較する(図15を参照)。
図15は、図13(b)の曲線Im1と図14(b)の曲線Im2とを仮想的に重ねた際の明るさと位置との関係を示す図である。図16は、図13(b)の曲線Im1と図14(b)の曲線Im2との明るさの差分と位置との関係を示す図である。
図15に示すように、ユーザは、時間的に前後する直前画像と最新画像のような2フレームの画像の一部に差異Dがある画像を見ただけでも、ストレスを感じる。さらに、ユーザは、動画でパンニング操作があった場合、パンニング操作に応じて撮像装置1aの視野領域が変化するうえ、色の成分や被写体が変化するので、不快になってしまう場合があった。具体的には、図16に示す曲線Im12のように、振幅が大きいほど直前画像から最新画像への画像変化が大きいと考えられる。そこで、判定部201は、曲線Im1と曲線Im2それぞれの差分を算出することによって、直前画像L20に対する最新画像L21の画像変化を判定する。即ち、判定部201は、直前画像および最新画像それぞれの画素値の絶対値を加算することによって、直前画像L20に対する最新画像L21の画像変化の変化量を数値化する。
図12に戻り、ステップS206以降の説明を続ける。
ステップS206において、判定部201は、画素中央部における画素の差を加算した値Cの絶対値|C|と画像周辺部における画素の差を加算した値Pの絶対値|P|との和|C|+|P|が所定の閾値以上であるか否かを判定する。判定部201が和|C|+|P|が所定の閾値以上であると判定した場合(ステップS206:Yes)、撮像装置1aは、後述するステップS207へ移行する。これに対して、判定部201は、和|C|+|P|の値が所定の閾値以上でないと判定した場合(ステップS206:No)、撮像装置1aは、後述するステップS212へ移行する。
ステップS206において、判定部201は、画素中央部における画素の差を加算した値Cの絶対値|C|と画像周辺部における画素の差を加算した値Pの絶対値|P|との和|C|+|P|が所定の閾値以上であるか否かを判定する。判定部201が和|C|+|P|が所定の閾値以上であると判定した場合(ステップS206:Yes)、撮像装置1aは、後述するステップS207へ移行する。これに対して、判定部201は、和|C|+|P|の値が所定の閾値以上でないと判定した場合(ステップS206:No)、撮像装置1aは、後述するステップS212へ移行する。
ステップS207において、判定部201は、Cを画像中央部の画素数で除算した平均値CAがPを画像周辺部の画素数で除算した平均値PA以上であるか否かを判定する。判定部201がCの平均値CAがPの平均値PA以上であると判定した場合(ステップS207:Yes)、撮像装置1aは、後述するステップS208へ移行する。これに対して、判定部201がCの平均値CAがPの平均値PA以上でないと判定した場合(ステップS207:No)、撮像装置1aは、後述するステップS210へ移行する。
ステップS208において、抑制部202は、撮像部10aが生成した最新の画像データに対応する最新画像における画像周辺部のコントラストを低減する画像処理を行って抑制画像データを生成する。具体的には、図17に示すように、最新画像のコントラストを低減させる画像処理を行って、最新画像の明るさを曲線Im2から曲線Im3になるように振幅を低減する。
続いて、表示制御部203は、抑制部202によって生成されたコントラストが低減された抑制画像データに対応するライブビュー画像を表示部11に表示させる(ステップS209)。具体的には、図18に示すように、表示制御部203は、抑制部202によって生成されたコントラストが低減された抑制画像データに対応するライブビュー画像LV30を表示部11に表示させる。これにより、ユーザが撮像装置1aに対してパンニング操作を行った場合において、現在の被写体O1から所望の被写体O4までに写る雑多な被写体O2,O3のコントラストを低減させて、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時または動画の再生時に視野領域が急激に変化したときであっても、ユーザに快適に視認させることができる。なお、図18においては、コントラストの低減を点線およびシェーディングで表現した。ステップS209の後、撮像装置1aは、後述するステップS213へ移行する。
ステップS210において、抑制部202は、撮像部10aが生成した最新の画像データに対応する最新画像の彩度およびコントラストを低減する抑制処理を行って抑制画像データを生成する。
続いて、表示制御部203は、抑制部202によって生成された彩度およびコントラストが低減された抑制画像データに対応するライブビュー画像を表示部11に表示させる(ステップS211)。具体的には、図19に示すように、表示制御部203は、抑制部202によって生成された彩度およびコントラストが低減された抑制画像データに対応するライブビュー画像LV31を表示部11に表示させる。これにより、ユーザが撮像装置1aに対してパンニング操作を行った場合において、現在の被写体O1から所望の被写体O4までに写る雑多な被写体O2,O3のコントラストを低減させて、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時または動画の再生時に視野領域が急激に変化したときであっても、ユーザに快適に視認させることができる。なお、図19においては、彩度およびコントラストの低減をハッチングおよび点線で表現した。ステップS211の後、撮像装置1aは、後述するステップS213へ移行する。
ステップS212において、表示制御部203は、撮像部10aが生成した画像データに対応するライブビュー画像を表示部11に表示させる。ステップS212の後、撮像装置1aは、後述するステップS213へ移行する。
ステップS213~ステップS222は、上述した図2のステップS110~ステップS119にそれぞれ対応する。
ステップS201において、撮像装置1aが撮影モードに設定されておらず(ステップS201:No)、再生モードに設定されている場合(ステップS223:Yes)、撮像装置1aは、記録媒体14に記録された画像データに対応する画像を再生する再生表示処理を実行する(ステップS224)。ステップS224の後、撮像装置1aは、ステップS216へ移行する。
ステップS201において、撮像装置1aが撮影モードに設定されておらず(ステップS201:No)、再生モードに設定されていない場合(ステップS223:No)、撮像装置1aは、ステップS216へ移行する。
以上説明した本発明の実施の形態2によれば、動画撮影時にパンニング操作やチルト操作によって視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができる。
なお、上述した本発明の実施の形態2では、ユーザによって撮像装置1aが略水平方向へ移動するパンニング操作が行われた場合であったが、ユーザによって撮像装置1aが略垂直方向へ移動するチルト操作や、斜め方向の視野角度変更が行われた場合であっても適用することができる。もちろん、急速なズーム操作など画面内情報が急に変化する操作でもこれらの考え方は適用でき、このような効果は、先の実施形態でも同様に言えることである。
また、本発明の実施の形態2では、判定部201が時間的に前後する2つの画像を用いて、撮像部10aの視野領域が変化したか否かを判定していたが、必ずしも時間的に隣接している必要はなく、所定のフレーム間毎、たとえば撮像部10aが生成する画像データの奇数フレームまたは偶数フレームを用いて撮像部10の視野領域が変化したか否かを判定してもよい。ここでは、通信部なども設けた実施例で説明しているが、撮影中の画像や撮影された画像は、遠隔の視聴者が見られるようにネットワークで通信可能としても良い。この場合、室内のTVなどで視聴する場合を想定しなければならないが、室内でコントラストが高い映像を見ながら、パンニングがあったりすると、屋外の小さなモバイル機器を手に持って見る場合より、生理的に耐え難いので、送り先によって閾値などを変更しても良い。
(実施の形態2の変形例)
次に、本実施の形態2の変形例について説明する。上述した実施の形態2では、判定部201は、時間的に前後する直前画像および最新画像それぞれの画素毎に明るさを比較していたが、本実施の形態2の変形例では、時間的に前後する直前画像および最新画像それぞれを所定の領域毎に分割し、この分割した領域毎に明るさの比較を行う。
次に、本実施の形態2の変形例について説明する。上述した実施の形態2では、判定部201は、時間的に前後する直前画像および最新画像それぞれの画素毎に明るさを比較していたが、本実施の形態2の変形例では、時間的に前後する直前画像および最新画像それぞれを所定の領域毎に分割し、この分割した領域毎に明るさの比較を行う。
図20は、直前画像内における位置と情報量との関係を模式的に示す図である。図21は、最新画像内における位置と情報量との関係を模式的に示す図である。図22は、図20(b)の領域毎の明るさと図21(b)の領域毎の明るさとを仮想的に重ねた際の明るさと位置との関係を示す図である。図23は、図21(b)の領域毎の明るさと図22(b)の領域毎の明るさとを仮想的に重ねた際の明るさの差(輝度差)と位置との関係を示す図である。図20~図23において、直線L2上における情報量としての明るさを例に説明する。また、図20(b)、図21(b)、図22および図23において、横軸が各領域の位置を示し、縦軸が明るさを示す。
図20(b)、図21(b)および図22に示すように、判定部201は、直前画像LV20および最新画像LV21を所定の領域毎に複数の領域に分割し、この領域内の明るさの最大値と最小値の差分DImを比較する。具体的には、図22および図23に示すように、判定部201は、直前画像LV20および最新画像LV21それぞれの領域内の明るさの最大値と最小値の差分DImを比較し、その差分をDDImとして領域毎に判定し、その差分(輝度差)が大きいほど画像内における情報量の変化が多いと判定する。
以上説明した本発明の実施の形態2の変形例によれば、動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作によって視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。本実施の形態3に係る撮像装置は、上述した実施の形態2に係る撮像装置1aと構成が異なるうえ、実行する処理が異なる。具体的には、撮像装置に対してパンニング操作またはチルト操作その他の撮影画面変更操作があった場合、撮影条件を変更して視覚的に把握可能な情報量を低減させる。このため、以下においては、本実施の形態3に係る撮像装置の構成を説明後、本実施の形態3に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態2と同一の構成には同一の符号を付して説明を省略する。
次に、本発明の実施の形態3について説明する。本実施の形態3に係る撮像装置は、上述した実施の形態2に係る撮像装置1aと構成が異なるうえ、実行する処理が異なる。具体的には、撮像装置に対してパンニング操作またはチルト操作その他の撮影画面変更操作があった場合、撮影条件を変更して視覚的に把握可能な情報量を低減させる。このため、以下においては、本実施の形態3に係る撮像装置の構成を説明後、本実施の形態3に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態2と同一の構成には同一の符号を付して説明を省略する。
図24は、本発明の実施の形態3に係る撮像装置の機能構成を示すブロック図である。図24に示す撮像装置1bは、撮像部10aと、表示部11と、入力部12と、記録部13と、記録媒体14と、手振れ補正部16と、動き検出部17と、タッチパネル18と、通信部19と、ピント駆動部21と、制御部22と、を備える。
ピント駆動部21は、制御部22の制御のもと、レンズ部101を光軸Lに沿って移動させることによって、撮像部10aのピントを調整する。たとえば、ピント駆動部21は、制御部22の制御のもと、レンズ部101を光軸Lに沿って移動させることによって、撮像部10aのピントを被写体に対して合焦させる。ピント駆動部21は、ステッピングモータ等を用いて構成される。
制御部22は、撮像装置1bを構成する各部に対応する指示やデータの転送等を行って撮像装置1bの動作を統括的に制御する。制御部22は、CPU等を用いて構成される。なお、本実施の形態3では、制御部22が画像処理装置として機能する。
ここで、制御部22の詳細な構成について説明する。制御部22は、判定部221と、抑制部222と、表示制御部223と、を有する。
判定部221は、撮像部10aの視野領域が変化したか否かを判定する。具体的には、判定部221は、撮像部10aが生成した時間的に前後する画像データに対応する2つの画像の一致度に基づいて、撮像部10aの視野領域が変化したか否かを判定する。たとえば、判定部221は、撮像部10aが生成した時間的に前後する画像データに対応する2つの画像に対して動き判定を行うことによって、撮像装置1bに生じる動き、たとえばユーザによるパンニング操作やチルト操作その他の撮影画面変更操作を判定する。
抑制部222は、判定部221によって撮像部10aの視野領域が変化したと判定された場合、撮像部10aが生成する画像データに対応する画像に含まれる視覚的に視認可能な情報量を抑制した抑制画像データを生成する。具体的には、抑制部222は、撮像部10aが生成する画像データに対応する画像に対して露出値を上げる画像処理、たとえば露出オーバーする画像処理を行って抑制画像データを生成する。また、抑制部222は、ピント駆動部21を駆動して撮像素子102が生成する画像データに対応する画像のピントがぼけるようにレンズ部101のピントを調整する。
表示制御部223は、撮像部10aが生成した画像データに対応する画像を表示部11に表示させる。また、表示制御部223は、判定部221が撮像部10aの視野領域が変化したと判定した場合、抑制部222が生成した抑制画像データに対応する抑制画像を表示部11に表示させる。さらに、表示制御部223は、撮像装置1bに関する操作情報を表示部11に表示させる。なお、本実施の形態3では、表示制御部223が出力部として機能する。
以上の構成を有する撮像装置1bが実行する処理について説明する。図25は、撮像装置1bが実行する処理の概要を示すフローチャートである。
図25に示すように、まず、撮像装置1bが撮影モードに設定されている場合(ステップS301:Yes)について説明する。この場合、制御部22は、撮像素子102に撮像を実行させる(ステップS302)。
続いて、判定部221は、時間的に前後する直前画像と最新画像とに基づいて、直前画像の画面全体から最新画像の画面全体(視野領域全体)が移動したか否かを判定する(ステップS303)。具体的には、判定部221は、時間的に前後する直前画像および最新画像それぞれの画素の情報量が第1の閾値以上であるか否かを判定する。なお、第1の閾値は、撮像素子102のフレームレートに応じて適宜変更することができる。判定部221が直前画像の画面全体から最新画像の画面全体が移動したと判定した場合(ステップS303:Yes)、撮像装置1bは、後述するステップS304へ移行する。これに対して、判定部221が直前画像の画面全体から最新画像の画面全体が移動していないと判定した場合(ステップS303:No)、撮像装置1bは、後述するステップS311へ移行する。
ステップS304において、判定部221は、時間的に前後する直前画像と最新画像とに基づいて、最新画像の移動方向が直前画像の画面全体に対して1/3以上であるか否かを判定する。判定部221が最新画像の移動方向が直前画像の画面全体に対して1/3以上であると判定した場合(ステップS304:Yes)、撮像装置1bは、後述するステップS305へ移行する。これに対して、判定部221が最新画像の移動方向が直前画像の画面全体に対して1/3以上でないと判定した場合(ステップS304:No)、撮像装置1bは、後述するステップS311へ移行する。
ステップS305において、判定部221は、最新画像のコントラストが所定の閾値より小さいか否かを判定する。判定部221が最新画像のコントラストが所定の閾値より小さいと判定した場合(ステップS305:Yes)、撮像装置1bは、後述するステップS306へ移行する。これに対して、判定部221が最新画像のコントラストが所定の閾値より小さくないと判定した場合(ステップS305:No)、撮像装置1bは、後述するステップS311へ移行する。
ステップS306において、判定部221は、最新画像内における被写体が所定の閾値より明るい被写体であるか否かを判定する。判定部221が最新画像内における被写体が所定の閾値より明るい被写体であると判定した場合(ステップS306:Yes)、撮像装置1bは、後述するステップS307へ移行する。これに対して、判定部221が最新画像内における被写体が所定の閾値より明るい被写体でないと判定した場合(ステップS306:No)、撮像装置1bは、後述するステップS309へ移行する。
ステップS307において、抑制部222は、撮像部10aが生成した画像データの露出値を上げる画像処理を行う。具体的には、抑制部222は、撮像部10aが生成した画像データの露出値を、たとえば、+0.0から+2.0に上げる補正を行う。
続いて、表示制御部223は、抑制部222が露出値を上げた画像データに対応するライブビュー画像を表示部11に表示させる(ステップS308)。具体的には、図26に示すように、表示部11がライブビュー画像LV40を表示している場合において、パンニング操作があったとき、表示制御部223は、抑制部222が露出値を上げた画像データに対応するライブビュー画像LV41、ライブビュー画像LV42を表示部11に表示させる。その後、表示制御部223は、パンニング操作が終わった時点でライブビュー画像LV43を表示部11に表示させる(図26(a)→図26(b)→図26(c)→図26(d))。これにより、ユーザが撮像装置1bに対してパンニング操作を行った場合、画像データの露出値が自動的に上がり、再生時に露出オーバの画像が表示される。この結果、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時または動画の再生時に視野領域が急激に変化したときであっても、ユーザに快適に視認させることができる。ステップS308の後、撮像装置1bは、ステップS312へ移行する。
ステップS309において、抑制部222は、ピント駆動部21を駆動し、レンズ部101を光軸L上に沿って移動させることによって、被写体に対するピント位置を調整する。
続いて、表示制御部223は、ピント位置が調整された状態で撮像部10aが生成した画像データに対応するライブビュー画像を表示部11に表示させる(ステップS310)。具体的には、図27に示すように、表示部11がライブビュー画像LV50を表示している場合において、パンニング操作があったとき、表示制御部223は、抑制部222によってピント位置が調整された状態、たとえば、被写体に対してぼけるようにピント位置(合焦位置)からレンズ部101が離れた状態で撮像部10aが生成した画像データに対応するライブビュー画像L51、ライブビュー画像LV52を表示部11に順次表示させる。その後、表示制御部223は、パンニング操作が終わった時点で抑制部222によってピント位置が被写体に対して合焦された状態で撮像部10aが生成した画像データに対応するライブビュー画像LV53を表示部11に表示させる(図27(a)→図27(b)→図27(c)→図27(d))。これにより、ユーザが撮像装置1bに対してパンニング操作を行った場合、被写体に対して自動的にピント位置が調整されるので、再生時にぼけた画像が表示される。この結果、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時または動画の再生時に視野領域が急激に変化したときであっても、ユーザに快適に視認させることができる。ステップS310の後、撮像装置1bは、ステップS312へ移行する。
ステップS311~ステップS323は、上述した図12のステップS212~ステップS224にそれぞれ対応する。
以上説明した本発明の実施の形態3によれば、動画撮影時にパンニング操作やチルト操作によって視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができる。
なお、本発明の実施の形態3では、抑制部222が撮像部10aによって生成された画像データの露出値を上げて表示部11で表示される画像を露出オーバとしていたが、たとえば、撮像部10aが生成する画像データの画素数を減らして表示部11に表示させてもよい。具体的には、抑制部222は、撮像装置1bに対してパンニング操作があった場合、撮像部10aが生成する画像データに対応する画像の画素数を抑制する画像処理を行って抑制画像データを生成し、表示制御部223は、抑制部222が生成した抑制画像データに対応するライブビュー画像を表示部11に表示させる。たとえば、図28に示すように、表示部11がライブビュー画像LV60を表示している場合において、撮像装置1bに対してパンニング操作があったとき、表示制御部223は、抑制部222が生成した抑制画像データに対応するライブビュー画像LV61,ライブビュー画像LV62を表示部11に順次表示させる。その後、表示制御部223は、パンニング操作が終わった時点で撮像部10aが生成した画像データに対応するライブビュー画像LV63を表示部11に表示させる(図28(a)→図28(b)→図28(c)→図28(d))。これにより、動画撮影時または動画の再生時に撮像装置1bの視野領域が急激に変化した場合であっても、パンニング操作中の画像の画素数を低下させて、ユーザが視認可能な情報量を低下させているので、ユーザに快適に視認させることができる。
(その他の実施の形態)
また、本発明に係る画像処理装置は、デジタル一眼レフカメラ以外にも、たとえデジタルカメラ、デジタルビデオカメラおよび撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器、動画撮影時に視野領域を変更可能な顕微鏡装置および内視鏡装置のプロセッサ部にも適用することができる。
また、本発明に係る画像処理装置は、デジタル一眼レフカメラ以外にも、たとえデジタルカメラ、デジタルビデオカメラおよび撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器、動画撮影時に視野領域を変更可能な顕微鏡装置および内視鏡装置のプロセッサ部にも適用することができる。
また、本発明に係る撮像装置は、本体部に対してレンズ部が着脱自在であってもよいし、本体部に対してレンズ部が一体的に形成されていてもよい。
また、本発明に係る画像処理装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本発明に係る画像処理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明に係る画像処理装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
1,1a,1b 撮像装置
10,10a 撮像部
11 表示部
12 入力部
13 記録部
14 記録媒体
15,20,22 制御部
16 手振れ補正部
17 動き検出部
18 タッチパネル
19 通信部
21 ピント駆動部
101 レンズ部
102 撮像素子
151,201,221 判定部
152,202,222 抑制部
153,203,223 表示制御部
10,10a 撮像部
11 表示部
12 入力部
13 記録部
14 記録媒体
15,20,22 制御部
16 手振れ補正部
17 動き検出部
18 タッチパネル
19 通信部
21 ピント駆動部
101 レンズ部
102 撮像素子
151,201,221 判定部
152,202,222 抑制部
153,203,223 表示制御部
Claims (12)
- 外部から入力される時間的に前後する画像データに対応する2つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定部と、
前記判定部によって前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制部と、
を備えたことを特徴とする画像処理装置。 - 前記抑制部は、情報表示時のデータの空間的な変化量または時間的な変化量を抑制して前記抑制画像データを生成することを特徴とする請求項1に記載の画像処理装置。
- 前記抑制部は、前記画像のコントラスト、彩度および解像度のいずれか一つ以上を抑制する画像処理を行うことによって前記抑制画像データを生成することを特徴とする請求項1に記載の画像処理装置。
- 前記抑制部は、前記画像データの露出値を上げる画像処理を行うことによって前記抑制画像データを生成することを特徴とする請求項1に記載の画像処理装置。
- 前記抑制部は、前記画像データに対応する画像の画素数を間引く画像処理を行うことによって前記抑制画像データを生成することを特徴とする請求項1に記載の画像処理装置。
- 請求項1~5のいずれか1つに記載の画像処理装置と、
前記抑制部が生成した前記抑制画像データに対応する抑制画像を表示可能な表示部と、
を備えたことを特徴とする表示装置。 - 請求項6に記載の表示装置と、
視野領域を連続的に撮像して複数の画像データを順次生成する撮像部と、
を備えたことを特徴とする撮像装置。 - 請求項6に記載の表示装置と、
視野領域を連続的に撮像して複数の画像データを順次生成する撮像部と、
を備え、
前記視野領域から光を集光するとともに、ピント位置調整可能なレンズ部と、
前記レンズ部が集光した光を受光して前記画像データを生成する撮像素子と、
を有し、
前記抑制部は、前記撮像素子が生成する前記画像データに対応する画像のピントがぼけるように前記レンズ部のピント位置を調整することを特徴とする撮像装置。 - 前記判定部によって前記撮影時の視野領域が変化したと判定された場合、前記抑制画像と前記画像とを重畳して前記表示部に表示させる表示制御部をさらに備えたことを特徴とする請求項7または8に記載の撮像装置。
- 前記判定部は、前記時間的に前後する画像データに対応する2つの画像の画素毎または該2つの画像に対して複数の領域に分割した分割領域毎に輝度差を算出することによって、前記撮影時の視野領域が変化したか否かを判定することを特徴とする請求項7~9のいずれか一つに記載の撮像装置。
- 画像処理装置が実行する画像処理方法であって、
外部から入力される時間的に前後する画像データに対応する2つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定ステップと、
前記判定ステップで前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制ステップと、
を含むことを特徴とする画像処理方法。 - 画像処理装置に、
外部から入力される時間的に前後する画像データに対応する2つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定ステップと、
前記判定ステップで前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制ステップと、
を実行させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201480002439.6A CN105379247B (zh) | 2013-12-10 | 2014-08-21 | 图像处理装置、显示装置、摄像装置和图像处理方法 |
JP2015513548A JP5771767B1 (ja) | 2013-12-10 | 2014-08-21 | 画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム |
US14/624,108 US9571720B2 (en) | 2013-12-10 | 2015-02-17 | Image processing device, display device, imaging apparatus, image processing method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013255425 | 2013-12-10 | ||
JP2013-255425 | 2013-12-10 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/624,108 Continuation US9571720B2 (en) | 2013-12-10 | 2015-02-17 | Image processing device, display device, imaging apparatus, image processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015087582A1 true WO2015087582A1 (ja) | 2015-06-18 |
Family
ID=53370901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/071934 WO2015087582A1 (ja) | 2013-12-10 | 2014-08-21 | 画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP5771767B1 (ja) |
CN (1) | CN105379247B (ja) |
WO (1) | WO2015087582A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020065174A (ja) * | 2018-10-17 | 2020-04-23 | 株式会社アジェンシア | コンテンツ生成プログラム、コンテンツ生成方法及びコンテンツ生成システム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113542601B (zh) * | 2016-06-20 | 2024-01-23 | 麦克赛尔株式会社 | 摄像装置、显示装置和摄像显示系统 |
CN109997171B (zh) * | 2016-09-30 | 2024-03-08 | 株式会社尼康 | 显示装置以及存储有程序的记录介质 |
CN109040593B (zh) * | 2018-08-23 | 2020-08-11 | 惠州Tcl移动通信有限公司 | 一种基于动态环境的拍照对焦方法、终端及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009111855A (ja) * | 2007-10-31 | 2009-05-21 | Canon Inc | 撮像装置及びその制御方法 |
JP2009115681A (ja) * | 2007-11-08 | 2009-05-28 | Nikon Corp | 画像取得表示装置 |
JP2010098698A (ja) * | 2008-10-20 | 2010-04-30 | Canon Inc | 撮像装置及びその制御方法及びプログラム |
JP2010273268A (ja) * | 2009-05-25 | 2010-12-02 | Nikon Corp | 画像再生装置、撮像装置、画像再生方法、画像再生プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5395512B2 (ja) * | 2009-05-26 | 2014-01-22 | オリンパスイメージング株式会社 | 撮影装置 |
JP4958969B2 (ja) * | 2009-12-25 | 2012-06-20 | キヤノン株式会社 | 画像処理方法、画像処理装置、及び撮像装置 |
JP5562664B2 (ja) * | 2010-01-27 | 2014-07-30 | オリンパスイメージング株式会社 | 画質調整装置および画質調整装置の制御方法 |
JP5780764B2 (ja) * | 2011-01-17 | 2015-09-16 | オリンパス株式会社 | 撮像装置 |
-
2014
- 2014-08-21 CN CN201480002439.6A patent/CN105379247B/zh not_active Expired - Fee Related
- 2014-08-21 WO PCT/JP2014/071934 patent/WO2015087582A1/ja active Application Filing
- 2014-08-21 JP JP2015513548A patent/JP5771767B1/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009111855A (ja) * | 2007-10-31 | 2009-05-21 | Canon Inc | 撮像装置及びその制御方法 |
JP2009115681A (ja) * | 2007-11-08 | 2009-05-28 | Nikon Corp | 画像取得表示装置 |
JP2010098698A (ja) * | 2008-10-20 | 2010-04-30 | Canon Inc | 撮像装置及びその制御方法及びプログラム |
JP2010273268A (ja) * | 2009-05-25 | 2010-12-02 | Nikon Corp | 画像再生装置、撮像装置、画像再生方法、画像再生プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020065174A (ja) * | 2018-10-17 | 2020-04-23 | 株式会社アジェンシア | コンテンツ生成プログラム、コンテンツ生成方法及びコンテンツ生成システム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2015087582A1 (ja) | 2017-03-16 |
CN105379247B (zh) | 2019-08-20 |
JP5771767B1 (ja) | 2015-09-02 |
CN105379247A (zh) | 2016-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7606476B2 (en) | Imaging device and imaging method | |
US20080094498A1 (en) | Imaging apparatus and imaging control method | |
JP5771767B1 (ja) | 画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム | |
JP6833801B2 (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
JP5370555B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP2006295238A (ja) | 撮像装置 | |
US9571720B2 (en) | Image processing device, display device, imaging apparatus, image processing method, and program | |
JP5569617B2 (ja) | 画像処理装置、及び、プログラム | |
WO2014188647A1 (ja) | 画像調整装置、画像調整方法、画像調整プログラムおよび撮像装置 | |
JP2018056941A (ja) | 撮像装置、表示装置、電子機器、撮像方法、プログラム、撮像システム、表示システムおよび画像処理装置。 | |
JP5245648B2 (ja) | 画像処理装置、及び、プログラム | |
US9438822B2 (en) | Image processing device, display device, image processing method, and computer-readable recording medium | |
JP5933306B2 (ja) | 撮像装置 | |
WO2019065820A1 (ja) | 撮影装置とその制御方法および制御プログラム | |
JP2019121815A (ja) | 撮像装置、撮像装置の制御方法、および、プログラム | |
JP5750262B2 (ja) | 撮像装置及び撮像方法 | |
JP5951988B2 (ja) | 画像合成装置及び画像合成方法 | |
JP2010010881A (ja) | 撮影装置および画像中のモアレ有無の告知方法 | |
JP5731087B1 (ja) | 画像処理装置、表示装置、画像処理方法およびプログラム | |
JP2004120600A (ja) | デジタル双眼鏡 | |
US11134199B2 (en) | Image pickup apparatus, image display method for image pickup apparatus, and recording medium | |
US20240233181A1 (en) | Image pickup apparatus used as action camera, calibrator, control methods therefor, and storage media storing control programs therefor | |
JP6211139B2 (ja) | 画像合成装置 | |
JP2023047605A (ja) | 制御装置、撮像装置、制御方法、およびプログラム | |
JP2022140423A (ja) | 撮像装置及びその制御方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2015513548 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14868908 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 14868908 Country of ref document: EP Kind code of ref document: A1 |