WO2015087582A1 - 画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム - Google Patents

画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2015087582A1
WO2015087582A1 PCT/JP2014/071934 JP2014071934W WO2015087582A1 WO 2015087582 A1 WO2015087582 A1 WO 2015087582A1 JP 2014071934 W JP2014071934 W JP 2014071934W WO 2015087582 A1 WO2015087582 A1 WO 2015087582A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
image data
suppression
imaging
Prior art date
Application number
PCT/JP2014/071934
Other languages
English (en)
French (fr)
Inventor
泰則 工藤
亮 唐澤
恭子 飯島
野中　修
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201480002439.6A priority Critical patent/CN105379247B/zh
Priority to JP2015513548A priority patent/JP5771767B1/ja
Priority to US14/624,108 priority patent/US9571720B2/en
Publication of WO2015087582A1 publication Critical patent/WO2015087582A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to an image processing device that performs image processing on image data, a display device including the image processing device, an imaging device including the display device, an image processing method and a program performed by the image processing device.
  • the present invention has been made in view of the above, and even when a viewing area changes rapidly due to a panning operation, a tilt operation, or other shooting screen changing operations during moving image shooting, a moving image during playback is displayed to the user.
  • An object is to provide an image processing device, a display device, an imaging device, an image processing method, and a program that can be visually recognized comfortably.
  • the image processing apparatus is based on two images corresponding to image data that are temporally input and output, and a visual field region at the time of photographing.
  • a determination unit that determines whether or not the image has changed, and generation of suppressed image data that suppresses the amount of visible information included in the image when the determination unit determines that the field of view at the time of shooting has changed.
  • a suppression unit that outputs the output.
  • the suppression unit generates the suppressed image data by suppressing a spatial change amount or a temporal change amount of data at the time of information display.
  • the suppression unit generates the suppression image data by performing image processing that suppresses any one or more of contrast, saturation, and resolution of the image. It is characterized by doing.
  • the suppression unit generates the suppression image data by performing image processing for increasing an exposure value of the image data.
  • the image processing apparatus is characterized in that, in the above invention, the suppression unit generates the suppression image data by performing image processing that thins out the number of pixels of the image corresponding to the image data. .
  • a display device includes the image processing device according to the invention described above, and a display unit capable of displaying a suppression image corresponding to the suppression image data generated by the suppression unit.
  • an imaging apparatus includes the display apparatus according to the invention described above and an imaging unit that sequentially captures a visual field and generates a plurality of image data sequentially.
  • An imaging device includes the display device according to the invention described above and an imaging unit that sequentially captures a visual field and generates a plurality of image data in sequence, and collects light from the visual field. And an image sensor that receives the light collected by the lens unit and generates the image data, and the suppression unit generates the image generated by the image sensor. The focus position of the lens unit is adjusted so that the image corresponding to the data is out of focus.
  • the determination unit determines that the visual field area at the time of shooting has changed
  • the suppression image and the image are superimposed and displayed on the display unit.
  • a display control unit is further provided.
  • the determination unit divides each pixel of two images corresponding to the temporally changing image data or a plurality of regions with respect to the two images. By calculating a luminance difference for each divided region, it is determined whether or not the visual field region at the time of photographing has changed.
  • the image processing method is an image processing method executed by the image processing apparatus, and is based on two images corresponding to image data that are input from outside and are temporally changed, and a visual field at the time of shooting.
  • a suppressing step of generating and outputting is an image processing method executed by the image processing apparatus, and is based on two images corresponding to image data that are input from outside and are temporally changed, and a visual field at the time of shooting.
  • the program according to the present invention determines whether or not the field of view at the time of shooting has changed based on two images corresponding to temporally input and output image data input to the image processing apparatus.
  • FIG. 1 is a block diagram showing a functional configuration of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing an outline of processing executed by the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a diagram illustrating a situation when the imaging apparatus according to Embodiment 1 of the present invention is panned by the user.
  • FIG. 4 is a diagram schematically showing a visual field area captured by the imaging apparatus under the situation of FIG.
  • FIG. 5 is a diagram illustrating an example of an image when the determination unit of the imaging apparatus according to Embodiment 1 of the present invention makes a determination.
  • FIG. 1 is a block diagram showing a functional configuration of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing an outline of processing executed by the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a diagram illustrating a situation when the imaging apparatus according to Embod
  • FIG. 6 is a diagram illustrating another example of an image when the determination unit of the imaging apparatus according to Embodiment 1 of the present invention makes a determination.
  • FIG. 7 is a diagram illustrating an example of an image displayed on the display unit of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 8 is a diagram illustrating another example of an image displayed by the display unit of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 9 is a diagram illustrating another example of an image when the determination unit of the imaging device according to Embodiment 1 of the present invention makes a determination.
  • FIG. 10 is a diagram illustrating another example of an image displayed by the display unit of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 10 is a diagram illustrating another example of an image displayed by the display unit of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 11 is a block diagram illustrating a functional configuration of the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 12 is a flowchart showing an outline of processing executed by the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 13 is a diagram schematically illustrating the relationship between the position in the immediately preceding image generated by the imaging unit of the imaging apparatus according to Embodiment 2 of the present invention and the amount of information.
  • FIG. 14 is a diagram schematically illustrating the relationship between the position and the information amount in the latest image generated by the imaging unit of the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 15 is a diagram illustrating the relationship between brightness and position when the curve of FIG. 13B and the curve of FIG. 14B are virtually overlapped.
  • FIG. 16 is a diagram illustrating the relationship between the brightness difference and the position when the curve of FIG. 13B and the curve of FIG. 14B are virtually overlapped.
  • FIG. 17 is a diagram schematically illustrating an outline of correction processing by the suppressing unit of the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 18 is a diagram illustrating an example of an image displayed by the display unit of the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 19 is a diagram showing another example of an image displayed by the display unit of the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 20 is a diagram schematically illustrating the relationship between the position and the information amount in the immediately preceding image generated by the imaging unit of the imaging apparatus according to the modification of the second embodiment of the present invention.
  • FIG. 21 is a diagram schematically illustrating a relationship between a position and an information amount in the latest image generated by the imaging unit of the imaging apparatus according to the modification of the second embodiment of the present invention.
  • FIG. 22 is a diagram showing the relationship between the brightness and the position when the brightness for each region in FIG. 21B and the brightness for each region in FIG. 22B are virtually overlapped.
  • FIG. 23 is a diagram illustrating the relationship between the brightness and the position when the brightness of each region in FIGS. 21B and 22B is virtually overlapped.
  • FIG. 24 is a block diagram showing a functional configuration of the imaging apparatus according to Embodiment 3 of the present invention.
  • FIG. 25 is a flowchart showing an outline of processing executed by the imaging apparatus according to Embodiment 3 of the present invention.
  • FIG. 22 is a diagram showing the relationship between the brightness and the position when the brightness for each region in FIG. 21B and the brightness for each region in FIG. 22B are virtually overlapped.
  • FIG. 24 is a block diagram showing a
  • FIG. 26 is a diagram illustrating an example of an image displayed by the display unit of the imaging apparatus according to Embodiment 3 of the present invention.
  • FIG. 27 is a diagram illustrating another example of an image displayed by the display unit of the imaging apparatus according to Embodiment 3 of the present invention.
  • FIG. 28 is a diagram illustrating another example of an image displayed by the display unit of the imaging apparatus according to Embodiment 3 of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of the imaging apparatus according to Embodiment 1 of the present invention.
  • the imaging device 1 illustrated in FIG. 1 includes at least an imaging unit 10, a display unit 11, an input unit 12, a recording unit 13, a recording medium 14, and a control unit 15.
  • the imaging unit 10 continuously captures a predetermined visual field under the control of the control unit 15 and generates a plurality of temporally continuous image data (moving image data).
  • the imaging unit 10 is composed of a plurality of lenses, and performs photoelectric conversion by receiving an optical system that forms an object image, an aperture that adjusts the amount of light of the optical system, and an object image formed by the optical system and performing photoelectric conversion.
  • CMOS Complementary Metal Oxide Semiconductor
  • a signal processing unit that performs predetermined analog processing and A / D conversion for analog image data input from the signal processing unit to generate digital image data and output the digital image data to the control unit 15
  • a D conversion unit and a timing generator that generates the imaging timing of the imaging device are used.
  • the display unit 11 displays an image corresponding to the image data generated by the imaging unit 10 under the control of the control unit 15.
  • image display a rec view display for displaying an image corresponding to the image data immediately after shooting for a predetermined time (for example, 3 seconds) and a reproduction image corresponding to the image data recorded on the recording medium 14 are displayed.
  • Playback display live view image display that sequentially displays live view images corresponding to image data continuously generated by the imaging unit 10, and the like are included.
  • the display unit 11 is configured using a display panel made of liquid crystal or organic EL (Electro Luminescence), a drive driver, and the like. In the first embodiment, the display unit 11 and a control unit 15 described later function as a display device.
  • the input unit 12 receives input of instruction signals for instructing various operations related to the imaging apparatus 1.
  • the input unit 12 is a power switch that switches the power state of the imaging apparatus 1 to an on state or an off state, a release switch that receives an input of a release signal that gives an instruction to the imaging apparatus 1 to shoot a still image, and instructs the imaging apparatus 1 to shoot a moving image.
  • a moving image switch that accepts an input of an instruction signal to be transmitted.
  • the recording unit 13 is executing image data input via the control unit 15, information being processed by the imaging apparatus 1, various programs for operating the imaging apparatus 1, the program according to the first embodiment, and the program. Record various data used in The recording unit 13 includes an SDRAM (Synchronous Dynamic Random Access Memory), a flash memory, and the like.
  • SDRAM Serial Dynamic Random Access Memory
  • the recording medium 14 records image data input via the control unit 15.
  • the recording medium 14 is configured using a memory card or the like mounted from the outside of the imaging device 1 and is detachably mounted on the imaging device 1 via a memory I / F (not shown).
  • image data or moving image data processed by the control unit 15 described later is written.
  • the recording medium 14 reads image data or moving image data recorded by the control unit 15.
  • the control unit 15 comprehensively controls the operation of the imaging apparatus 1 by giving instructions to each unit constituting the imaging apparatus 1 and transferring data.
  • the control unit 15 is configured using a CPU (Central Processing Unit). In the first embodiment, the control unit 15 functions as an image processing apparatus.
  • CPU Central Processing Unit
  • the control unit 15 includes a determination unit 151, a suppression unit 152, and a display control unit 153.
  • the determination unit 151 determines whether or not the field of view of the imaging unit 10 has changed. Specifically, the determination unit 151 determines whether or not the field of view of the imaging unit 10 has changed based on the degree of coincidence between the two images corresponding to the temporally generated image data generated by the imaging unit 10. To do. For example, the determination unit 151 performs a motion determination on two images corresponding to image data that are generated before and after the time generated by the imaging unit 10, thereby causing a motion that occurs in the imaging device 1, such as a panning operation or a tilt by a user. Operation and other shooting screen change operations are determined.
  • the suppression unit 152 suppresses the visually observable information amount included in the image corresponding to the image data generated by the imaging unit 10. Suppressed image data is generated and output to the display control unit 153 or an external device (for example, an image display device). Specifically, the suppression unit 152 performs image processing that reduces any one or more of contrast, saturation, resolution, and the number of pixels as visually-visible imaging information included in the image generated by the imaging unit 10. To generate suppressed image data.
  • the suppression unit 152 may be affected by the visibility of the human eye, etc., so if other expressions are used, the amount of spatial change or temporal change in data when information is displayed You may perform the process which suppresses the amount (this becomes small when there is little spatial change) or the data amount at the time of recording.
  • the suppression unit 152 may reduce the number of pixels or reduce the data change between the pixels, and the same effect can be obtained by the process of reducing the change in the information amount of each pixel.
  • the suppression unit 152 cannot be seen well due to the overlap of external light.
  • the change in the image is reduced and the flicker is less visible, of course, the result of the object of the present invention can be obtained even if the image data is increased by the offset.
  • the fact that the change is small corresponds to a process in which the amount of data is reduced when compressed, which is advantageous in terms of recording time and capacity.
  • the display control unit 153 causes the display unit 11 to display an image corresponding to the image data generated by the imaging unit 10.
  • the display control unit 153 causes the display unit 11 to display a suppression image corresponding to the suppression image data generated by the suppression unit 152.
  • the display control unit 153 causes the display unit 11 to display operation information regarding the imaging device 1.
  • the display control unit 153 functions as an output unit that outputs the suppression image data generated by the suppression unit 152 to the display unit 11.
  • FIG. 2 is a flowchart illustrating an outline of processing executed by the imaging apparatus 1.
  • step S101 Yes
  • the control unit 15 causes the imaging unit 10 to perform imaging (step S102).
  • the determination unit 151 has a change amount of two images (hereinafter, simply referred to as “two images moving back and forth in time”) corresponding to the image data generated back and forth generated by the imaging unit 10 as the first. It is determined whether or not the threshold value is greater than or equal to (step S103). This amount of change may be determined by the distribution of the brightness of the image or changes in the brightness itself, or it may be determined by analyzing how the image has changed, such as a motion vector. It is assumed that the threshold value rises when is large.
  • FIG. 3 is a diagram illustrating a situation when the imaging device 1 is panned by the user.
  • FIG. 4 is a diagram schematically illustrating a visual field area that is imaged by the imaging apparatus 1 under the situation of FIG. 3. 3 and 4, the imaging device 1 moves in a substantially horizontal direction (arrow a1) by the user's panning operation, so that the field of view including the subject O4 from the field of view including the subject O1.
  • a situation when continuously imaging up to an area is shown.
  • the images F1 to F4 in FIG. 4 correspond to the image of the visual field area captured by the movement of the imaging device 1.
  • FIG. 3 illustrates a case where the user performs a panning operation for moving the imaging device 1 in a substantially horizontal direction at a constant speed.
  • the determination unit 151 is configured such that when the imaging device 1 performs a panning operation by the user, the amount of change between two images that are generated by the imaging unit 10 and that are temporally changed is the first. It is determined whether it is a threshold value. Specifically, the determination unit 151 calculates the amount of change in image information, for example, brightness information (luminance or hue) by performing pattern matching for each pixel as the amount of change between the two images. It is determined whether or not it is equal to or greater than a first threshold value. More specifically, as shown in FIGS. 5A and 5B, the determination unit 151 includes two immediately preceding images LV1 (the image F1 in FIG.
  • the degree of coincidence between the latest image LV2a and the latest image LV2a is calculated for each pixel. It is determined whether or not 3/4 or more in the visual field region of the part 10 has changed.
  • the first threshold is set to 3/4 or more in the visual field region of the imaging unit 10, but may be, for example, 1/2 or more in the visual field region of the imaging unit 10, or 2/3 or more. May be changed as appropriate.
  • the first threshold value can be changed according to the shooting scene, for example, night view, portrait, landscape, and subject. Further, this may be changed according to the environment at the time of viewing. In other words, when it is bright, the contrast of the displayed image appears to be lowered, but when it is dark, the contrast is clear and it may feel uncomfortable. That is, in such a case, it may be changed assuming an assumed display reproduction environment.
  • step S103 when the determination unit 151 determines that the amount of change between two temporally generated images generated by the imaging unit 10 is greater than or equal to the first threshold (step S103: Yes), the imaging device 1 The process proceeds to step S104 described later.
  • the determination unit 151 determines whether or not the amount of change between the two images that are temporally generated and generated by the imaging unit 10 is greater than or equal to the second threshold (step S104). Specifically, the determination unit 151 calculates the difference or change amount of the image information for each divided region (for each block) divided for each pixel or for each predetermined region as the change amount of the two images. It is determined whether the result is equal to or greater than a second threshold value. More specifically, as illustrated in FIGS. 6A and 6B, the determination unit 151 includes two immediately preceding images LV1 and the latest image LV2b (FIG. 4) that are generated by the imaging unit 10 and that are temporally changed.
  • the second threshold may be set larger than the first threshold.
  • the determination unit 151 determines that the two or more images generated by the imaging unit 10 have a visual field region in which the immediately preceding image is superimposed on the latest image in the two images that are before and after the time, as the second threshold value or more.
  • This second threshold value may also be changed under the shooting environment, or may be changed depending on the environment during playback viewing. In other words, when it is bright, the contrast of the displayed image appears to be lowered, but when it is dark, the contrast is clear and it may feel uncomfortable. That is, in such a case, the threshold value may be changed assuming an assumed display reproduction environment.
  • step S104 when the determination unit 151 determines that the amount of change between two temporally generated images generated by the imaging unit 10 is greater than or equal to the second threshold (step S104: Yes), the imaging device 1 The process proceeds to step S105.
  • the suppression unit 152 performs image processing that reduces the contrast of the latest image corresponding to the latest image data generated by the imaging unit 10 and generates suppressed image data that suppresses the amount of information that can be visually grasped.
  • the suppression unit 152 may perform image processing that reduces saturation or brightness (luminance or gain) instead of contrast.
  • the suppression unit 152 may generate suppressed image data in which the amount of information is suppressed by performing image processing that combines any two or more of contrast, saturation, and brightness. Even if the image is reduced, the peripheral portion is blurred, or a frame is provided, the change in the image on the screen is reduced. As described above, even if an offset signal is provided as a whole, the change in the image is reduced, and the eyes are not tired and uncomfortable. Such image quality adjustment may be performed at the time of shooting, but may be performed at the time of reproduction.
  • the display control unit 153 causes the display unit 11 to display a live view image corresponding to the suppression image data with the reduced contrast generated by the suppression unit 152 (step S106). Specifically, as illustrated in FIG. 7, the display control unit 153 causes the display unit 11 to display the live view image LV10 corresponding to the suppression image data with the reduced contrast generated by the suppression unit 152.
  • the display control unit 153 causes the display unit 11 to display the live view image LV10 corresponding to the suppression image data with the reduced contrast generated by the suppression unit 152.
  • step S106 the imaging apparatus 1 proceeds to step S110 described later.
  • step S104 when the determination unit 151 determines that the amount of change between two temporally generated images generated by the imaging unit 10 is not greater than or equal to the second threshold (step S104: No), the imaging device 1 The process proceeds to S107.
  • the suppression unit 152 generates suppression image data by performing image processing for reducing the resolution of the immediately preceding image corresponding to the immediately preceding image data generated by the imaging unit 10 (step S107).
  • the suppression unit 152 may suppress the suppression image data by thinning out the compression rate or pixels instead of the resolution of the immediately preceding image corresponding to the immediately preceding image data generated by the imaging unit 10.
  • the display control unit 153 causes the display unit 11 to display a live view image in which the immediately preceding image corresponding to the suppression image data with the reduced resolution generated by the suppression unit 152 is superimposed on the latest image (step S108). Specifically, as illustrated in FIG. 8, the display control unit 153 displays a live view image LV11 in which the immediately preceding image corresponding to the suppression image data with the reduced resolution generated by the suppression unit 152 is superimposed on the latest image. It is displayed on the display unit 11.
  • the immediately preceding images picked up from the subject O1 to the desired subject O4 are sequentially left behind and can be visually recognized in the image at the time of the panning operation. Therefore, even when the field of view changes when shooting a moving image, the user can comfortably view the information when playing the moving image.
  • the afterimage is represented by a dotted line.
  • the imaging apparatus 1 proceeds to step S110.
  • step S103 when the determination unit 151 determines that the amount of change between two temporally generated images generated by the imaging unit 10 is not greater than or equal to the first threshold (step S103: No), the imaging device 1 The process proceeds to S109.
  • the determination unit 151 includes the two immediately preceding images LV1 and the latest image LV2c (the field of view of the image F1 in FIG. The degree of coincidence) corresponds to the region), and it is determined that the change amount of the latest image LV2c with respect to the immediately preceding image LV1 is not equal to or greater than the first threshold.
  • the threshold is not exceeded.
  • the display control unit 153 causes the display unit 11 to display a live view image corresponding to the latest image data generated by the imaging unit 10 (step S109). Specifically, as illustrated in FIG. 10, the display control unit 153 causes the display unit 11 to display a live view image LV12 corresponding to the latest image data generated by the imaging unit 10. After step S109, the imaging apparatus 1 proceeds to step S110.
  • step S106 when an instruction signal for instructing still image shooting is input via the input unit 12 (step S110: Yes), the control unit 15 causes the imaging unit 10 to perform shooting. (Step S111), the image data generated by the imaging unit 10 is recorded on the recording medium 14 (Step S112).
  • step S113: Yes when the power of the imaging device 1 is turned off via the input unit 12 (step S113: Yes), the imaging device 1 ends this process. On the other hand, when the power of the imaging device 1 is not turned off via the input unit 12 (step S113: No), the imaging device 1 returns to step S101.
  • step S110 when an instruction signal for instructing still image shooting is not input via the input unit 12 (step S110: No), the imaging apparatus 1 proceeds to step S114.
  • step S114 when the imaging apparatus 1 is shooting a moving image (step S114: Yes), the control unit 15 records image data corresponding to the display image displayed on the display unit 11 in a moving image file of the recording medium 14 (step S114). S115).
  • step S116 when an instruction signal for ending moving image shooting is input via the input unit 12 (step S116: Yes), the control unit 15 executes moving image end processing for ending moving image shooting of the imaging device 1 (step S117). ).
  • the control unit 15 records information indicating the moving image time and the data amount as meta information on the moving image file of the recording medium 14.
  • step S117 the imaging apparatus 1 proceeds to step S113.
  • step S116 when the instruction signal for ending the moving image shooting is not input via the input unit 12 (step S116: No), the imaging device 1 proceeds to step S113.
  • step S114 when the imaging device 1 is not shooting a moving image (step S114: No), the imaging device 1 proceeds to step S118.
  • step S118 when an instruction signal for starting moving image shooting is input via the input unit 12 (step S118: Yes), the control unit 15 starts moving image shooting of the imaging device 1 (step S119). Specifically, the control unit 15 creates a moving image file for recording the image data sequentially generated by the imaging unit 10 in time series on the recording medium 14. After step S119, the imaging apparatus 1 proceeds to step S113.
  • step S118 when an instruction signal for starting moving image shooting is not input via the input unit 12 (step S118: No), the imaging apparatus 1 proceeds to step S113.
  • step S101: No the imaging device 1 is not set to the shooting mode in step S101
  • step S120: Yes the display control unit 153 displays the thumbnail image recorded in the header of each image file or moving image file recorded on the recording medium 14. Are displayed as a list on the display unit 11 (step S121).
  • step S122: Yes when an image file to be reproduced is specified from the image list displayed on the display unit 11 via the input unit 12 (step S122: Yes), the imaging device 1 proceeds to step S123.
  • step S122: No when the image file to be reproduced is not specified from the image list displayed on the display unit 11 via the input unit 12 (step S122: No), the imaging apparatus 1 returns to step S121.
  • step S123 when the image file designated via the input unit 12 is a moving image file (step S123: Yes), the display control unit 153 starts reproduction display of the moving image corresponding to the moving image data recorded in the moving image file. (Step S124).
  • the determination unit 151 determines whether or not the amount of change between the two images that change in time is greater than or equal to the third threshold (step S125). Specifically, the determination unit 151 determines whether the amount of change between the immediately preceding image displayed on the display unit 11 and the latest image is equal to or greater than a third threshold value. When the determination unit 151 determines that the amount of change between two images that move back and forth in time is greater than or equal to the third threshold (step S125: Yes), the imaging device 1 proceeds to step S126. On the other hand, when the determination unit 151 determines that the amount of change between the two images that move back and forth in time is not greater than or equal to the third threshold (step S125: No), the imaging device 1 proceeds to step S133 described later. .
  • step S126 when there is a stable image in which the change amount of the image is stabilized within a predetermined time from the current image displayed on the display unit 11 (step S126: Yes), the suppression unit 152 reduces the resolution of the stable image. A suppression process is executed (step S127).
  • the display control unit 153 causes the display unit 11 to display the stable image with the resolution reduced by the suppression unit 152 on the current image (step S128). Thereby, a sense of security can be urged to the user by the notice effect.
  • step S129: Yes the imaging device 1 proceeds to step S130 described later.
  • step S129: No the imaging device 1 returns to step S125.
  • step S130 when the image to be reproduced is switched through the input unit 12 (step S130: Yes), the imaging apparatus 1 returns to step S121. On the other hand, when there is no switching of the image reproduced via the input part 12 (step S130: No), the imaging device 1 transfers to step S113.
  • step S126 when there is no stable image in which the change amount of the image is stabilized within a predetermined time from the current image displayed on the display unit 11 (step S126: No), the imaging device 1 proceeds to step S131.
  • the suppression unit 152 executes a suppression process for reducing the resolution of the immediately preceding image (step S131).
  • step S132 the imaging apparatus 1 proceeds to step S129.
  • step S133 the display control unit 153 causes the display unit 11 to display an image corresponding to the image data (step S133). After step S133, the imaging apparatus 1 proceeds to step S129.
  • step S123 when the image file designated via the input unit 12 is not a moving image file (step S123: No), the display control unit 153 causes the display unit 11 to display an image corresponding to the image data on the full screen (step S123). S134). After step S134, the imaging device 1 proceeds to step S130.
  • step S120 when the imaging device 1 is not set to the reproduction mode (step S120: No), the imaging device 1 proceeds to step S113.
  • the user can comfortably play back the moving image. It can be visually recognized.
  • the suppression unit 152 is included in the image corresponding to the image data generated by the imaging unit 10.
  • the display control unit 153 causes the display unit 11 to display a live view image corresponding to the suppression image data generated by the suppression unit 152.
  • the latest image having a large change between frames is displayed on the display unit 11 with a small amount of change from the immediately preceding image, so that the user can comfortably visually recognize the movie during movie shooting or movie playback.
  • Such processing for suppressing the amount of visible information does not need to be performed uniformly, and panning is started.
  • the process may be changed between time and halfway, and the process may be changed depending on the intensity of image change during panning.
  • the panning operation is performed by the user to move the imaging device 1 in a substantially horizontal direction.
  • the tilt in which the imaging device 1 is moved in a substantially vertical direction by the user This can be applied even when an operation is performed, or other shooting screen change operations.
  • the suppressing unit 152 when the live view image is displayed, the suppressing unit 152 reduces the amount of visually visible information included in the image corresponding to the image data generated by the imaging unit 10.
  • the amount of information may be suppressed only for the image data recorded on the recording medium 14.
  • the determination unit 151 determines whether or not the field of view of the imaging unit 10 has changed using two images that change in time. It is not necessary to be adjacent to each other, and it may be determined whether or not the field of view of the imaging unit 10 has changed using a predetermined frame interval, for example, an odd frame or an even frame of image data generated by the imaging unit 10. .
  • the imaging apparatus according to the second embodiment has a configuration different from that of the imaging apparatus according to the first embodiment described above and a process to be executed. For this reason, in the following, after describing the configuration of the imaging apparatus according to the second embodiment, the processing executed by the imaging apparatus according to the second embodiment will be described. Note that the same components as those in the imaging apparatus according to Embodiment 1 described above are denoted by the same reference numerals, and description thereof is omitted. However, it is needless to say that the corresponding blocks and functional parts in this case can be adapted as they are by simply omitting the repetition.
  • FIG. 11 is a block diagram showing a functional configuration of the imaging apparatus according to Embodiment 2 of the present invention.
  • An imaging apparatus 1a illustrated in FIG. 11 includes an imaging unit 10a, a display unit 11, an input unit 12, a recording unit 13, a recording medium 14, a camera shake correction unit 16, a motion detection unit 17, a touch panel 18, A communication unit 19 and a control unit 20 are provided.
  • the imaging unit 10a includes a plurality of lenses.
  • the imaging unit 10a collects light from a predetermined field of view and forms a subject image of the subject.
  • the imaging unit 10a receives the subject image formed by the lens unit 101 and receives the subject.
  • an image sensor 102 for generating the image data.
  • the image sensor 102 continuously generates image data of the subject and outputs it to the control unit 20.
  • the camera shake correction unit 16 corrects camera shake that occurs in the imaging apparatus 1a. Specifically, the camera shake correction unit 16 moves the image pickup element 102 in a vertical plane orthogonal to the optical axis L of the image pickup unit 10a and moves the image pickup element 102 in a horizontal plane orthogonal to the optical axis L. By moving, the camera shake generated in the imaging apparatus 1a is corrected (camera shake correction in the body).
  • the camera shake correction unit 16 includes a plurality of ultrasonic actuators and actuator driving units.
  • the camera shake correction unit 16 moves the image sensor 102 in the vertical plane and the horizontal plane under the control of the control unit 20. Note that the camera shake correction unit 16 may correct camera shake generated in the imaging apparatus 1a by moving the lens unit 101 in the vertical plane and the horizontal plane instead of the image sensor 102 (camera shake correction in the lens).
  • the motion detection unit 17 detects a motion that occurs in the imaging device 1 a and outputs the detection result to the control unit 20. Specifically, the motion detection unit 17 detects an acceleration and an angular velocity generated in the imaging device 1a, and outputs the detection result to the control unit 20.
  • the motion detection unit 17 is configured using an acceleration sensor, a gyro sensor, and the like.
  • the touch panel 18 is provided so as to be superimposed on the display screen of the display unit 11.
  • the touch panel 18 detects a touch of an object from the outside, and outputs a position signal corresponding to the detected touch position to the control unit 20.
  • the touch panel 18 detects a position touched by the user based on information displayed on the display unit 11, for example, an icon image or a thumbnail image, and instructs an operation performed by the imaging apparatus 1a according to the detected touch position.
  • An instruction signal or a selection signal for selecting an image may be received.
  • the touch panel 18 includes a resistance film method, a capacitance method, an optical method, and the like. In the second embodiment, any type of touch panel is applicable.
  • the communication unit 19 transmits or receives an image file including image data by performing wireless communication with an external device according to a predetermined wireless communication standard.
  • the predetermined wireless communication standard is IEEE802.11b, IEEE802.11n, or the like.
  • any wireless communication standard can be applied.
  • the communication unit 19 is configured by using a communication device for bidirectionally communicating various information such as image files and content data with an external device via a network.
  • the communication device includes an antenna that transmits / receives radio signals to / from other devices, a transmission / reception circuit that demodulates a signal received by the antenna, and that modulates a signal to be transmitted.
  • the communication unit 19 periodically transmits a communication signal including identification information (device ID) for notifying the presence of the imaging device 1a when the imaging device 1a is activated.
  • the communication unit 19 may be provided in the recording medium 14 such as a memory card that is mounted from the outside of the imaging device 1a.
  • the communication part 19 may be provided in the accessory with which the imaging device 1a is mounted
  • the control unit 20 performs overall control of the operation of the imaging apparatus 1a by performing instructions and data transfer corresponding to the respective units constituting the imaging apparatus 1a.
  • the control unit 20 is configured using a CPU or the like. In the second embodiment, the control unit 20 functions as an image processing apparatus.
  • the control unit 20 includes a determination unit 201, a suppression unit 202, and a display control unit 203.
  • the determination unit 201 superimposes the immediately preceding image corresponding to the temporally generated image data generated by the imaging unit 10a and the latest latest image to determine a difference for each pixel, thereby determining the visual field region of the imaging unit 10a. It is determined whether or not has changed. Specifically, the determination unit 201 adds the difference between the pixel values of the central portion of each of the immediately preceding image and the latest image, and adds the difference between the pixel values of the peripheral portion of each of the immediately preceding image and the latest image. If the value obtained by adding the differences between the central portion and the peripheral portion of the image is equal to or greater than a predetermined threshold value, it is determined that the field of view of the imaging unit 10a has changed.
  • the center of the image is a 2/3 region including the center of the image.
  • the image peripheral part is an area excluding the central part of the image.
  • the suppression unit 202 suppresses the amount of visually visible information included in the image corresponding to the image data generated by the imaging unit 10a. Suppressed image data is generated. Specifically, the suppression unit 202 performs image processing that reduces any one or more of contrast, saturation, resolution, and the number of pixels as visually-visible imaging information included in the image generated by the imaging unit 10a. To generate suppressed image data.
  • the display control unit 203 causes the display unit 11 to display an image corresponding to the image data generated by the imaging unit 10a. Moreover, the display control part 203 displays the suppression image corresponding to the suppression image data which the suppression part 202 produced
  • FIG. 12 is a flowchart illustrating an outline of processing executed by the imaging apparatus 1a.
  • step S201 the case where the imaging device 1a is set to the shooting mode (step S201: Yes) will be described.
  • the control unit 20 causes the image sensor 102 to perform imaging (step S202).
  • the determination unit 201 starts a determination process for determining a difference for each pixel by superimposing the immediately preceding image immediately before and after the time and the latest latest image (step S203), and each of the immediately preceding image and the latest image.
  • a value obtained by adding the pixel differences in the central portion of the image hereinafter, a value obtained by adding the pixel differences in the central portion of the image is referred to as “C”) (step S204), and the image periphery of each of the immediately preceding image and the latest image
  • a value obtained by adding the differences between the pixels in the area hereinafter, a value obtained by adding the differences between the pixels in the peripheral area of the image is referred to as “P” is calculated (step S205).
  • the center of the image is a rectangular region including the center of the image.
  • the image peripheral part is an area in the image excluding the center part of the image, and is an area from the image center part to the outer edge of the effective pixel area in the image.
  • the determination unit 201 does not need to perform determination using all the pixels in the center portion of the image and the peripheral portion of the image, and may calculate the difference by thinning out the pixels at a predetermined interval. Specifically, the determination unit 201 may calculate a value obtained by adding differences between pixels in predetermined pixel columns, for example, odd-numbered columns or even-numbered columns, in each of the image central portion and the image peripheral portion.
  • FIG. 13 is a diagram schematically showing the relationship between the position in the immediately preceding image and the information amount.
  • FIG. 14 is a diagram schematically illustrating the relationship between the position in the latest image and the information amount.
  • the brightness as the information amount on the straight line L1 will be described as an example.
  • the horizontal axis indicates the position of each image, and the vertical axis indicates the brightness.
  • the brightness of the straight line L1 across the face of the subject O1 in the immediately preceding image LV20 is a curve Im1 shown in FIG. 13 (b).
  • the latest image LV21 shown in FIG. 14 can be obtained.
  • the brightness of the straight line L1 across the face of the subject O1 in the latest image LV21 is a curve Im2 shown in FIG.
  • the determination unit 201 compares the curve Im1 in FIG. 13B with the curve Im2 in FIG. 14B (see FIG. 15).
  • FIG. 15 is a diagram showing a relationship between brightness and position when the curve Im1 of FIG. 13B and the curve Im2 of FIG. 14B are virtually overlapped.
  • FIG. 16 is a diagram showing the relationship between the difference in brightness and the position of the curve Im1 in FIG. 13B and the curve Im2 in FIG. 14B.
  • the user feels stress just by looking at an image having a difference D in a part of two-frame images such as the immediately preceding image and the latest image that are temporally changed. Furthermore, when a panning operation is performed on a moving image, the visual field region of the imaging apparatus 1a changes according to the panning operation, and color components and subjects change, which may be uncomfortable. Specifically, as indicated by a curve Im12 shown in FIG. 16, the larger the amplitude, the larger the image change from the immediately preceding image to the latest image. Therefore, the determination unit 201 determines an image change of the latest image L21 with respect to the immediately preceding image L20 by calculating a difference between each of the curves Im1 and Im2. In other words, the determination unit 201 quantifies the amount of change in the image change of the latest image L21 relative to the immediately preceding image L20 by adding the absolute values of the pixel values of the immediately preceding image and the latest image.
  • step S206 the determination unit 201 adds the absolute value
  • the determination unit 201 determines that the sum
  • the imaging device 1a proceeds to step S207 described later.
  • step S206: No the imaging device 1a proceeds to step S212 described later.
  • step S207 the determination unit 201 determines whether or not the average value CA obtained by dividing C by the number of pixels in the central portion of the image is equal to or greater than the average value PA obtained by dividing P by the number of pixels in the peripheral portion of the image.
  • the determination unit 201 determines that the C average value CA is equal to or greater than the P average value PA (step S207: Yes)
  • the imaging apparatus 1a proceeds to step S208 described later.
  • the determination unit 201 determines that the C average value CA is not equal to or greater than the P average value PA (step S207: No)
  • the imaging apparatus 1a proceeds to step S210 described later.
  • step S208 the suppression unit 202 performs image processing to reduce the contrast of the image peripheral portion in the latest image corresponding to the latest image data generated by the imaging unit 10a, and generates suppressed image data. Specifically, as shown in FIG. 17, image processing for reducing the contrast of the latest image is performed to reduce the amplitude so that the brightness of the latest image changes from the curve Im2 to the curve Im3.
  • the display control unit 203 causes the display unit 11 to display a live view image corresponding to the suppression image data with the reduced contrast generated by the suppression unit 202 (step S209). Specifically, as illustrated in FIG. 18, the display control unit 203 causes the display unit 11 to display the live view image LV30 corresponding to the suppression image data with the reduced contrast generated by the suppression unit 202.
  • the display control unit 203 causes the display unit 11 to display the live view image LV30 corresponding to the suppression image data with the reduced contrast generated by the suppression unit 202.
  • step S209 the imaging device 1a proceeds to step S213 described later.
  • step S210 the suppression unit 202 generates suppression image data by performing suppression processing to reduce the saturation and contrast of the latest image corresponding to the latest image data generated by the imaging unit 10a.
  • the display control unit 203 causes the display unit 11 to display a live view image corresponding to the suppression image data with reduced saturation and contrast generated by the suppression unit 202 (step S211). Specifically, as illustrated in FIG. 19, the display control unit 203 causes the display unit 11 to display the live view image LV31 corresponding to the suppression image data generated by the suppression unit 202 and having reduced saturation and contrast. .
  • the display control unit 203 causes the display unit 11 to display the live view image LV31 corresponding to the suppression image data generated by the suppression unit 202 and having reduced saturation and contrast.
  • step S211 the imaging apparatus 1a proceeds to step S213 described later.
  • step S212 the display control unit 203 causes the display unit 11 to display a live view image corresponding to the image data generated by the imaging unit 10a.
  • the imaging apparatus 1a proceeds to step S213 described later.
  • Steps S213 to S222 correspond to steps S110 to S119 of FIG. 2 described above, respectively.
  • step S201 when the imaging device 1a is not set to the shooting mode (step S201: No) and is set to the reproduction mode (step S223: Yes), the imaging device 1a is recorded on the recording medium 14.
  • a reproduction display process for reproducing an image corresponding to the image data is executed (step S224). After step S224, the imaging device 1a proceeds to step S216.
  • step S201 when the imaging device 1a is not set to the shooting mode (step S201: No) and is not set to the reproduction mode (step S223: No), the imaging device 1a proceeds to step S216.
  • the user can be made to visually recognize it comfortably.
  • the panning operation is performed in which the imaging device 1a moves in the substantially horizontal direction by the user, but the tilt in which the imaging device 1a moves in the substantially vertical direction by the user.
  • the present invention can be applied even when an operation or a viewing angle change in an oblique direction is performed.
  • these ideas can also be applied to an operation in which information on the screen changes suddenly, such as a rapid zoom operation, and such an effect can be similarly applied to the previous embodiment.
  • the determination unit 201 determines whether or not the field of view of the imaging unit 10a has changed using two images that change in time. It is not necessary to be adjacent to each other, and it may be determined every predetermined frame, for example, whether or not the field of view of the imaging unit 10 has changed using an odd frame or an even frame of image data generated by the imaging unit 10a.
  • a communication unit and the like may be communicable over a network so that a remote viewer can see it. In this case, it is necessary to assume the case of viewing on an indoor TV or the like.
  • the threshold value may be changed depending on the destination.
  • the determination unit 201 compares the brightness for each pixel of the immediately preceding image and the latest image that are temporally changed, but in the modification of the second embodiment, the determination unit 201 temporally compares the brightness.
  • Each of the immediately preceding and succeeding images and the latest image is divided into predetermined areas, and the brightness is compared for each of the divided areas.
  • FIG. 20 is a diagram schematically showing the relationship between the position in the immediately preceding image and the information amount.
  • FIG. 21 is a diagram schematically illustrating the relationship between the position in the latest image and the information amount.
  • FIG. 22 is a diagram illustrating the relationship between the brightness and the position when the brightness for each region in FIG. 20B and the brightness for each region in FIG. 21B are virtually overlapped.
  • FIG. 23 is a diagram showing the relationship between the brightness difference (luminance difference) and the position when the brightness for each area in FIG. 21B and the brightness for each area in FIG. It is. 20 to 23, the brightness as the information amount on the straight line L2 will be described as an example.
  • the horizontal axis indicates the position of each region
  • the vertical axis indicates the brightness.
  • the determination unit 201 divides the immediately preceding image LV20 and the latest image LV21 into a plurality of regions for each predetermined region, and brightness within the region.
  • the difference DIm between the maximum value and the minimum value is compared.
  • the determination unit 201 compares the difference DIm between the maximum value and the minimum value of the brightness in the respective regions of the immediately preceding image LV20 and the latest image LV21, and determines the difference. It is determined for each region as DDIm, and it is determined that the change in the amount of information in the image increases as the difference (luminance difference) increases.
  • the imaging apparatus according to the third embodiment has a configuration different from that of the imaging apparatus 1a according to the second embodiment described above and a process to be executed. Specifically, when a panning operation, a tilt operation, or other shooting screen change operation is performed on the imaging apparatus, the amount of information that can be visually grasped is reduced by changing the shooting conditions. For this reason, in the following, after describing the configuration of the imaging apparatus according to the third embodiment, processing executed by the imaging apparatus according to the third embodiment will be described.
  • symbol is attached
  • FIG. 24 is a block diagram showing a functional configuration of the imaging apparatus according to Embodiment 3 of the present invention.
  • the imaging device 1b illustrated in FIG. 24 includes an imaging unit 10a, a display unit 11, an input unit 12, a recording unit 13, a recording medium 14, a camera shake correction unit 16, a motion detection unit 17, a touch panel 18, A communication unit 19, a focus drive unit 21, and a control unit 22 are provided.
  • the focus driving unit 21 adjusts the focus of the imaging unit 10 a by moving the lens unit 101 along the optical axis L under the control of the control unit 22.
  • the focus driving unit 21 moves the lens unit 101 along the optical axis L under the control of the control unit 22 to focus the imaging unit 10a on the subject.
  • the focus drive unit 21 is configured using a stepping motor or the like.
  • the control unit 22 performs overall control of the operation of the imaging apparatus 1b by performing instructions and data transfer corresponding to the respective units constituting the imaging apparatus 1b.
  • the control unit 22 is configured using a CPU or the like. In the third embodiment, the control unit 22 functions as an image processing device.
  • the control unit 22 includes a determination unit 221, a suppression unit 222, and a display control unit 223.
  • the determination unit 221 determines whether or not the field of view of the imaging unit 10a has changed. Specifically, the determination unit 221 determines whether or not the field of view of the imaging unit 10a has changed based on the degree of coincidence of two images corresponding to temporally generated image data generated by the imaging unit 10a. To do. For example, the determination unit 221 performs a motion determination on two images corresponding to the temporally changing image data generated by the imaging unit 10a, thereby causing a motion that occurs in the imaging device 1b, such as a panning operation or tilt by a user. Operation and other shooting screen change operations are determined.
  • the suppression unit 222 suppresses the visually observable information amount included in the image corresponding to the image data generated by the imaging unit 10a. Suppressed image data is generated. Specifically, the suppression unit 222 generates suppression image data by performing image processing for increasing the exposure value, for example, image processing for overexposure, on the image corresponding to the image data generated by the imaging unit 10a. The suppression unit 222 adjusts the focus of the lens unit 101 so that the image corresponding to the image data generated by the image sensor 102 is blurred by driving the focus driving unit 21.
  • the display control unit 223 causes the display unit 11 to display an image corresponding to the image data generated by the imaging unit 10a. Moreover, the display control part 223 displays the suppression image corresponding to the suppression image data which the suppression part 222 produced
  • FIG. 25 is a flowchart illustrating an outline of processing executed by the imaging apparatus 1b.
  • step S301 the case where the imaging device 1b is set to the shooting mode (step S301: Yes) will be described.
  • the control unit 22 causes the image sensor 102 to perform imaging (step S302).
  • the determination unit 221 determines whether or not the entire screen of the latest image (entire field of view) has moved from the entire screen of the immediately preceding image based on the immediately preceding image and the latest image that move back and forth in time (step). S303). Specifically, the determination unit 221 determines whether or not the information amount of each pixel of the immediately preceding image and the latest image that are temporally changed is greater than or equal to the first threshold value. Note that the first threshold value can be changed as appropriate according to the frame rate of the image sensor 102.
  • the imaging device 1b proceeds to step S304 described below.
  • the determination unit 221 determines that the entire screen of the latest image has not moved from the entire screen of the immediately preceding image (step S303: No)
  • the imaging device 1b proceeds to step S311 described later.
  • step S304 the determination unit 221 determines whether or not the moving direction of the latest image is 1/3 or more of the entire screen of the immediately preceding image, based on the immediately preceding image that changes in time and the latest image. .
  • the imaging device 1b proceeds to step S305 described later.
  • the imaging device 1b proceeds to step S311 described later. To do.
  • step S305 the determination unit 221 determines whether the contrast of the latest image is smaller than a predetermined threshold value.
  • the determination unit 221 determines that the contrast of the latest image is smaller than the predetermined threshold (step S305: Yes)
  • the imaging device 1b proceeds to step S306 described later.
  • the determination unit 221 determines that the contrast of the latest image is not smaller than the predetermined threshold (step S305: No)
  • the imaging device 1b proceeds to step S311 described later.
  • step S306 the determination unit 221 determines whether or not the subject in the latest image is a subject brighter than a predetermined threshold.
  • the determination unit 221 determines that the subject in the latest image is a subject brighter than the predetermined threshold (step S306: Yes)
  • the imaging device 1b proceeds to step S307 described later.
  • the determination unit 221 determines that the subject in the latest image is not a subject brighter than the predetermined threshold (step S306: No)
  • the imaging device 1b proceeds to step S309 described later.
  • step S307 the suppression unit 222 performs image processing for increasing the exposure value of the image data generated by the imaging unit 10a. Specifically, the suppression unit 222 performs correction to increase the exposure value of the image data generated by the imaging unit 10a from, for example, +0.0 to +2.0.
  • the display control unit 223 causes the display unit 11 to display a live view image corresponding to the image data whose exposure value has been increased by the suppression unit 222 (step S308).
  • the display control unit 223 increases the exposure value by the suppression unit 222.
  • a live view image LV41 and a live view image LV42 corresponding to the image data are displayed on the display unit 11.
  • the display control unit 223 displays the live view image LV43 on the display unit 11 when the panning operation is finished (FIG. 26 (a) ⁇ FIG. 26 (b) ⁇ FIG. 26 (c) ⁇ FIG. 26 (d)). ).
  • step S308 the imaging device 1b proceeds to step S312.
  • step S309 the suppression unit 222 adjusts the focus position with respect to the subject by driving the focus driving unit 21 and moving the lens unit 101 along the optical axis L.
  • the display control unit 223 causes the display unit 11 to display a live view image corresponding to the image data generated by the imaging unit 10a with the focus position adjusted (Step S310). Specifically, as shown in FIG. 27, when the display unit 11 displays the live view image LV50, when a panning operation is performed, the display control unit 223 adjusts the focus position by the suppression unit 222. For example, a live view image L51 and a live view image LV52 corresponding to the image data generated by the imaging unit 10a with the lens unit 101 away from the focus position (focus position) so as to be blurred with respect to the subject are displayed. Displayed sequentially on the unit 11.
  • the display control unit 223 displays the live view image LV53 corresponding to the image data generated by the imaging unit 10a in a state where the focus position is focused on the subject by the suppression unit 222 when the panning operation ends. 11 (FIG. 27 (a) ⁇ FIG. 27 (b) ⁇ FIG. 27 (c) ⁇ FIG. 27 (d)).
  • the focus position is automatically adjusted with respect to the subject, so that a blurred image is displayed during reproduction.
  • the amount of information that can be visually recognized in the image at the time of panning operation is suppressed, so that even when the viewing area changes suddenly during movie shooting or movie playback, it is comfortable for the user. It can be visually recognized.
  • the imaging device 1b proceeds to step S312.
  • Steps S311 to S323 correspond to steps S212 to S224 of FIG. 12 described above, respectively.
  • the suppression unit 222 increases the exposure value of the image data generated by the imaging unit 10a and the image displayed on the display unit 11 is overexposed.
  • the imaging unit 10a May be displayed on the display unit 11 by reducing the number of pixels of the image data generated.
  • the suppression unit 222 performs image processing that suppresses the number of pixels of the image corresponding to the image data generated by the imaging unit 10a and outputs the suppression image data.
  • the display control unit 223 generates the live view image corresponding to the suppression image data generated by the suppression unit 222 on the display unit 11. For example, as shown in FIG.
  • the display control unit 223 is generated by the suppression unit 222.
  • a live view image LV61 and a live view image LV62 corresponding to the suppression image data are sequentially displayed on the display unit 11.
  • the display control unit 223 causes the display unit 11 to display the live view image LV63 corresponding to the image data generated by the imaging unit 10a when the panning operation is finished (FIG. 28 (a) ⁇ FIG. 28 (b) ⁇ FIG. 28 (c) ⁇ FIG. 28 (d)).
  • the image processing apparatus changes the viewing area even when shooting a digital camera, a digital video camera, and an electronic device such as a mobile phone or a tablet-type mobile device having an imaging function.
  • the present invention can also be applied to a processor unit of a possible microscope apparatus and endoscope apparatus.
  • the lens unit may be detachable from the main body unit, or the lens unit may be integrally formed with the main body unit.
  • the program to be executed by the image processing apparatus is file data in an installable or executable format, and is a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk), USB.
  • the program is recorded on a computer-readable recording medium such as a medium or a flash memory.
  • the program to be executed by the image processing apparatus according to the present invention may be configured to be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Furthermore, a program to be executed by the image processing apparatus according to the present invention may be provided or distributed via a network such as the Internet.
  • the present invention can include various embodiments not described herein, and various design changes and the like can be made within the scope of the technical idea specified by the claims. Is possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

　動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作によって視野領域が急激に変化した場合であっても、ユーザに動画の再生時に快適に視認させることができる画像処理装置、表示装置、撮像装置、画像処理方法およびプログラムを提供する。画像処理部は、外部から入力される時間的に前後する画像データに対応する２つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定部と、前記判定部によって前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制部と、を備える。

Description

画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム
　本発明は、画像データに画像処理を行う画像処理装置、画像処理装置を備えた表示装置、表示装置を備えた撮像装置、画像処理装置が行う画像処理方法およびプログラムに関する。
　近年、デジタルビデオカメラ等の手振れ補正機能を有する撮像装置では、動画撮影を行っている場合において、ユーザがパンニング操作やチルト操作その他の撮影画面変更操作を行ったとき、手振れ補正の効果と重なって撮影時の画像が余計に揺れてしまう。このため、ユーザが動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作を行った場合、手振れ補正機能を禁止または抑制する技術が知られている（特許文献１参照）。
特開平９－２８９６１２号公報
　しかしながら、上述した特許文献１に記載の技術では、再生時の画像の変化までは考慮されていなかったため、動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作（以下、パンニングと略す場合もある）があった動画を再生する場合、視野領域が急激に変化したり、雑多な被写体がちらついたりする。このため、動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作によって視野領域が急激に変化した場合にも、ユーザに再生時の動画を快適に視認させることができる技術が望まれていた。
　本発明は、上記に鑑みてなされたものであって、動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作によって視野領域が急激に変化した場合であっても、ユーザに再生時の動画を快適に視認させることができる画像処理装置、表示装置、撮像装置、画像処理方法およびプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、外部から入力される時間的に前後する画像データに対応する２つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定部と、前記判定部によって前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制部と、を備えたことを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記抑制部は、情報表示時のデータの空間的な変化量または時間的な変化量を抑制して前記抑制画像データを生成することを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記抑制部は、前記画像のコントラスト、彩度および解像度のいずれか一つ以上を抑制する画像処理を行うことによって前記抑制画像データを生成することを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記抑制部は、前記画像データの露出値を上げる画像処理を行うことによって前記抑制画像データを生成することを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記抑制部は、前記画像データに対応する画像の画素数を間引く画像処理を行うことによって前記抑制画像データを生成することを特徴とする。
　また、本発明に係る表示装置は、上記発明の画像処理装置と、前記抑制部が生成した前記抑制画像データに対応する抑制画像を表示可能な表示部と、を備えたことを特徴とする。
　また、本発明に係る撮像装置は、上記発明の表示装置と、視野領域を連続的に撮像して複数の画像データを順次生成する撮像部と、を備えたことを特徴とする。
　また、本発明に係る撮像装置は、上記発明の表示装置と、視野領域を連続的に撮像して複数の画像データを順次生成する撮像部と、を備え、前記視野領域から光を集光するとともに、ピント位置調整可能なレンズ部と、前記レンズ部が集光した光を受光して前記画像データを生成する撮像素子と、を有し、前記抑制部は、前記撮像素子が生成する前記画像データに対応する画像のピントがぼけるように前記レンズ部のピント位置を調整することを特徴とする。
　また、本発明に係る撮像装置は、上記発明において、前記判定部によって前記撮影時の視野領域が変化したと判定された場合、前記抑制画像と前記画像とを重畳して前記表示部に表示させる表示制御部をさらに備えたことを特徴とする。
　また、本発明に係る撮像装置は、上記発明において、前記判定部は、前記時間的に前後する画像データに対応する２つの画像の画素毎または該２つの画像に対して複数の領域に分割した分割領域毎に輝度差を算出することによって、前記撮影時の視野領域が変化したか否かを判定することを特徴とする。
　また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、外部から入力される時間的に前後する画像データに対応する２つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定ステップと、前記判定ステップで前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制ステップと、を含むことを特徴とする。
　また、本発明に係るプログラムは、画像処理装置に、外部から入力される時間的に前後する画像データに対応する２つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定ステップと、前記判定ステップで前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制ステップと、を実行させることを特徴とする。
　本発明によれば、動画撮影時に視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができるという効果を奏する。
図１は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る撮像装置が実行する処理の概要を示すフローチャートである。 図３は、本発明の実施の形態１に係る撮像装置がユーザによってパンニング操作される際の状況を示す図である。 図４は、図３の状況下で撮像装置が撮影する視野領域を模式的に示す図である。 図５は、本発明の実施の形態１に係る撮像装置の判定部が判定する際の画像の一例を示す図である。 図６は、本発明の実施の形態１に係る撮像装置の判定部が判定する際の画像の別の一例を示す図である。 図７は、本発明の実施の形態１に係る撮像装置の表示部が表示する画像の一例を示す図である。 図８は、本発明の実施の形態１に係る撮像装置の表示部が表示する画像の別の一例を示す図である。 図９は、本発明の実施の形態１に係る撮像装置の判定部が判定する際の画像の別の一例を示す図である。 図１０は、本発明の実施の形態１に係る撮像装置の表示部が表示する画像の別の一例を示す図である。 図１１は、本発明の実施の形態２に係る撮像装置の機能構成を示すブロック図である。 図１２は、本発明の実施の形態２に係る撮像装置が実行する処理の概要を示すフローチャートである。 図１３は、本発明の実施の形態２に係る撮像装置の撮像部が生成した直前画像内における位置と情報量との関係を模式的に示す図である。 図１４は、本発明の実施の形態２に係る撮像装置の撮像部が生成した最新画像内における位置と情報量との関係を模式的に示す図である。 図１５は、図１３（ｂ）の曲線と図１４（ｂ）の曲線とを仮想的に重ねた際の明るさと位置との関係を示す図である。 図１６は、図１３（ｂ）の曲線と図１４（ｂ）の曲線とを仮想的に重ねた際の明るさの差分と位置との関係を示す図である。 図１７は、本発明の実施の形態２に係る撮像装置の抑制部による補正処理の概要を模式的に示す図である。 図１８は、本発明の実施の形態２に係る撮像装置の表示部が表示する画像の一例を示す図である。 図１９は、本発明の実施の形態２に係る撮像装置の表示部が表示する画像の別の一例を示す図である。 図２０は、本発明の実施の形態２の変形例に係る撮像装置の撮像部が生成した直前画像内における位置と情報量との関係を模式的に示す図である。 図２１は、本発明の実施の形態２の変形例に係る撮像装置の撮像部が生成した最新画像内における位置と情報量との関係を模式的に示す図である。 図２２は、図２１（ｂ）の領域毎の明るさと図２２（ｂ）の領域毎の明るさとを仮想的に重ねた際の明るさと位置との関係を示す図である。 図２３は、図２１（ｂ）と図２２（ｂ）との領域毎の明るさを仮想的に重ねた際の明るさと位置との関係を示す図である。 図２４は、本発明の実施の形態３に係る撮像装置の機能構成を示すブロック図である。 図２５は、本発明の実施の形態３に係る撮像装置が実行する処理の概要を示すフローチャートである。 図２６は、本発明の実施の形態３に係る撮像装置の表示部が表示する画像の一例を示す図である。 図２７は、本発明の実施の形態３に係る撮像装置の表示部が表示する画像の別の一例を示す図である。 図２８は、本発明の実施の形態３に係る撮像装置の表示部が表示する画像の別の一例を示す図である。
　以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。また、以下においては、本発明の画像処理装置および表示装置を搭載した撮像装置を例に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付して説明する。
（実施の形態１）
　図１は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。図１に示す撮像装置１は、少なくとも、撮像部１０と、表示部１１と、入力部１２と、記録部１３と、記録媒体１４と、制御部１５と、を備える。
　撮像部１０は、制御部１５の制御のもと、所定の視野領域を連続的に撮像して、時間的に連続する複数の画像データ（動画データ）を生成する。撮像部１０は、複数のレンズから構成され、被写体像を結像する光学系と、光学系の光量を調整する絞りと、光学系が結像した被写体像を受光して光電変換を行うことによって画像データを生成するＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等の撮像素子と、撮像素子の状態を露光状態または遮光状態に設定するシャッタと、撮像素子が生成した画像データに対して所定のアナログ処理を行う信号処理部と、信号処理部から入力されるアナログの画像データに対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成して制御部１５へ出力するＡ／Ｄ変換部と、撮像素子の撮像タイミングを発生するタイミングジェネレータと、を用いて構成される。
　表示部１１は、制御部１５の制御のもと、撮像部１０が生成した画像データに対応する画像を表示する。ここで、画像の表示には、撮影直後の画像データに対応する画像を所定時間（たとえば３秒間）だけ表示するレックビュー表示、記録媒体１４に記録された画像データに対応する再生画像を表示する再生表示、および撮像部１０が連続的に生成する画像データに対応するライブビュー画像を順次表示するライブビュー画像表示等が含まれる。表示部１１は、液晶または有機ＥＬ（Electro　Luminescence）からなる表示パネルおよび駆動ドライバ等を用いて構成される。なお、本実施の形態１では、表示部１１および後述する制御部１５が表示装置として機能する。
　入力部１２は、撮像装置１に関する各種の動作を指示する指示信号の入力を受け付ける。入力部１２は、撮像装置１の電源状態をオン状態またはオフ状態に切り換える電源スイッチ、撮像装置１に静止画撮影の指示を与えるレリーズ信号の入力を受け付けるレリーズスイッチおよび撮像装置１に動画撮影を指示する指示信号の入力を受け付ける動画スイッチ等を用いて構成される。
　記録部１３は、制御部１５を介して入力される画像データ、撮像装置１の処理中の情報、撮像装置１を動作させるための各種プログラムや本実施の形態１に係るプログラムおよびプログラムの実行中に使用される各種データ等を記録する。記録部１３は、ＳＤＲＡＭ（Synchronous　Dynamic　Random　Access　Memory）およびＦｌａｓｈメモリ等を用いて構成される。
　記録媒体１４は、制御部１５を介して入力される画像データを記録する。記録媒体１４は、撮像装置１の外部から装着されるメモリーカード等を用いて構成され、図示しないメモリＩ／Ｆを介して撮像装置１に着脱自在に装着される。記録媒体１４は、後述する制御部１５が処理を施した画像データまたは動画データが書き込まれる。また、記録媒体１４は、制御部１５によって記録された画像データまたは動画データが読み出される。
　制御部１５は、撮像装置１を構成する各部に対する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。制御部１５は、ＣＰＵ（Central　Processing　Unit）を用いて構成される。なお、本実施の形態１では、制御部１５が画像処理装置として機能する。
　ここで、制御部１５の詳細な構成について説明する。制御部１５は、判定部１５１と、抑制部１５２と、表示制御部１５３と、を有する。
　判定部１５１は、撮像部１０の視野領域が変化したか否かを判定する。具体的には、判定部１５１は、撮像部１０が生成した時間的に前後する画像データに対応する２つの画像の一致度に基づいて、撮像部１０の視野領域が変化したか否かを判定する。たとえば、判定部１５１は、撮像部１０が生成した時間的に前後する画像データに対応する２つの画像に対して動き判定を行うことによって、撮像装置１に生じる動き、たとえばユーザによるパンニング操作やチルト操作その他の撮影画面変更操作を判定する。
　抑制部１５２は、判定部１５１によって撮像部１０の視野領域が変化したと判定された場合、撮像部１０が生成する画像データに対応する画像に含まれる視覚的に視認可能な情報量を抑制した抑制画像データを生成して表示制御部１５３または外部機器（たとえば画像表示装置等）へ出力する。具体的には、抑制部１５２は、撮像部１０が生成する画像に含まれる視覚的に視認可能な撮影情報として、コントラスト、彩度、解像度および画素数のいずれか１つ以上を低下させる画像処理を行って抑制画像データを生成する。もちろん抑制部１５２は、視認可能性が人の目の使い方などに影響を受ける可能性もあるので、他の表現を使うと、情報表示時のデータの空間的な変化量、あるいは時間的な変化量（これは空間的な変化が少ないと連動して小さくなる）、または記録時のデータ量を抑制する処理を行ってもよい。
　また、抑制部１５２は、画素数を減らしたり、画素間のデータ変化を減らしたりしてもよく、各画素の情報量の変化を減らす処理によっても、同様の効果を得ることが出来る。抑制部１５２は、例えば、明るい屋外などで液晶などの発光型の表示素子を見ると、外光が重なって良く見えなくなるが、このように、全体的にオフセットを持たせて明るくしても、画像の変化が少なくなって、ちらつきが見えにくくなるが、もちろん、このようにオフセット分、画像のデータを増やしても本発明の目的の結果を得ることが出来る。また、変化が少ないのは、圧縮した時に、データ量が減るような処理に相当するので、記録時間や容量的にも有利な方向となる。眼球移動が急速の（サッカード）時、網膜上の像の動きが激しくても、知覚が抑制されない効果を生理学の分野では、サッカード抑制と呼んでおり、この抑制効果を機器の側でも補助しようとするという側面を持つのが本発明の考え方である。もちろん、眼球移動を伴わずとも、不快感や違和感、品位などに繋がる画像表現もあり、これもまた、本発明では、対策するようにしている。この変化量は、人間の眼の反応速度からすると、１／１０秒くらいの差異における画像変化で判定すればよく、１／３０秒とか１／６０秒とかのフレームレートの場合、その何コマかの間の変化で検出すれば良い。
　表示制御部１５３は、撮像部１０が生成した画像データに対応する画像を表示部１１に表示させる。また、表示制御部１５３は、判定部１５１が撮像部１０の視野領域が変化したと判定した場合、抑制部１５２が生成した抑制画像データに対応する抑制画像を表示部１１に表示させる。さらに、表示制御部１５３は、撮像装置１に関する操作情報を表示部１１に表示させる。なお、本実施の形態１では、表示制御部１５３が表示部１１に抑制部１５２が生成した抑制画像データを出力する出力部として機能する。
　以上の構成を有する撮像装置１が実行する処理について説明する。図２は、撮像装置１が実行する処理の概要を示すフローチャートである。
　図２に示すように、まず、撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）について説明する。この場合において、制御部１５は、撮像部１０に撮像を実行させる（ステップＳ１０２）。
　続いて、判定部１５１は、撮像部１０によって生成された時間的に前後する画像データに対応する２つの画像（以下、単に「時間的に前後する２つの画像」という）の変化量が第１の閾値以上であるか否かを判定する（ステップＳ１０３）。この変化量は、画像の明るさの分布や明るさそのものの変化という判定でも良く、動きベクトルのように、どのように変化していったかを分析するような判定でもよく、いずれの場合も変化が大きいときに閾値が上がることを想定している。
　図３は、撮像装置１がユーザによってパンニング操作される際の状況を示す図である。図４は、図３の状況下で撮像装置１が撮像する視野領域を模式的に示す図である。なお、図３および図４では、撮像装置１がユーザのパンニング操作によって、撮像装置１が略水平方向（矢印ａ１）へ移動することで、被写体Ｏ１が含まれる視野領域から被写体Ｏ４が含まれる視野領域までを連続的に撮像する際の状況を示す。また、図４の画像Ｆ１～Ｆ４が撮像装置１の移動によって撮像された視野領域の画像に相当する。さらに、図３では、ユーザは、一定の速度で撮像装置１を略水平方向へ移動させるパンニング操作を行う場合について説明する。
　図３および図４に示すように、判定部１５１は、ユーザによって撮像装置１がパンニング操作を行った場合において、撮像部１０が生成する時間的に前後する２つの画像の変化量が第１の閾値であるか否かを判定する。具体的には、判定部１５１は、２つの画像の変化量として、画素毎にパターンマッチングを行って画像情報、たとえば明るさ情報（輝度や色相）の変化量を算出し、この算出した結果が第１の閾値以上であるか否かを判定する。より具体的には、図５（ａ）および図５（ｂ）に示すように、判定部１５１は、撮像部１０が生成した時間的に前後する２つの直前画像ＬＶ１（図４の画像Ｆ１の視野領域に相当）および最新画像ＬＶ２ａ（図４の画像Ｆ２の視野領域に相当）の一致度を画素毎に算出し、直前画像ＬＶ１に対する最新画像ＬＶ２ａの変化量が第１の閾値上、たとえば撮像部１０の視野領域における３／４以上変化しているか否かを判定する。なお、図５においては、第１の閾値として撮像部１０の視野領域における３／４以上としているが、たとえば撮像部１０の視野領域における１／２以上であってもよいし、２／３以上であってもよく、適宜変更することができる。もちろん、撮影シーン、たとえば夜景、ポートレート、風景および被写体に応じて第１の閾値を変更することができる。また、鑑賞時の環境によって、これを変化させても良い。つまり明るい時には、表示画像のコントラストが低下したように見えるが、暗黒時では、コントラストがはっきりして、余計に不快に感じられることがある。つまり、このような場合は、想定される表示再生環境を想定して変更しても良い。
　ステップＳ１０３において、判定部１５１が撮像部１０によって生成された時間的に前後する２つの画像の変化量が第１の閾値以上であると判定した場合（ステップＳ１０３：Ｙｅｓ）、撮像装置１は、後述するステップＳ１０４へ移行する。
　続いて、判定部１５１が撮像部１０によって生成された時間的に前後する２つの画像の変化量が第２の閾値以上であるか否かを判定する（ステップＳ１０４）。具体的には、判定部１５１は、２つの画像の変化量として、画素毎または所定の領域毎に分割した分割領域毎（ブロック毎）に画像情報の差や変化量を算出し、この算出した結果が第２の閾値以上であるか否かを判定する。より具体的には、図６（ａ）および図６（ｂ）に示すように、判定部１５１は、撮像部１０が生成した時間的に前後する２つの直前画像ＬＶ１および最新画像ＬＶ２ｂ（図４の画像Ｆ３の視野領域に相当）の一致度を画素毎または領域毎に算出し、直前画像ＬＶ１に対する最新画像ＬＶ２ｂの変化量が第２の閾値以上、たとえば、撮像部１０の視野領域における４／５以上変化しているか否かを判定する。なお、図６において、第２の閾値は、第１の閾値よりも大きく設定されればよい。また、判定部１５１は、撮像部１０が生成する時間的に前後する２つの画像内において、直前画像が最新画像に対して重畳する視野領域がなくなった場合も第２の閾値以上として判定する。この第２の閾値も、撮影環境下で変化させてもよく、再生鑑賞時の環境によって、これを変化させても良い。つまり明るい時には、表示画像のコントラストが低下したように見えるが、暗黒時では、コントラストがはっきりして、余計に不快に感じられることがある。つまり、このような場合は、想定される表示再生環境を想定して閾値を変更しても良い。
　ステップＳ１０４において、判定部１５１が撮像部１０によって生成された時間的に前後する２つの画像の変化量が第２の閾値以上であると判定した場合（ステップＳ１０４：Ｙｅｓ）、撮像装置１は、ステップＳ１０５へ移行する。
　続いて、抑制部１５２は、撮像部１０が生成した最新の画像データに対応する最新画像のコントラストを低減する画像処理を行って視覚的に把握可能な情報量を抑制した抑制画像データを生成する（ステップＳ１０５）。なお、抑制部１５２は、コントラストに換えて彩度または明るさ（輝度やゲイン）を低減させる画像処理を行ってもよい。さらに、抑制部１５２は、コントラスト、彩度および明るさのいずれか２つ以上を組み合わせた画像処理を行って情報量を抑制した抑制画像データを生成してもよい。また、画像を縮小したり、周辺部をかすませたり、枠を設けたりしても、画面内における画像の変化は小さくなる。前述のように全体にオフセット信号を持たせても、画像変化が小さくなって、目の疲れや違和感がなくなる方向になる。このような画質調節は、撮影時に行ってもよいが、再生時に行うようにしてもよいので、画像変化抑制信号を付与するだけでも良い。
　続いて、表示制御部１５３は、抑制部１５２によって生成されたコントラストが低減された抑制画像データに対応するライブビュー画像を表示部１１に表示させる（ステップＳ１０６）。具体的には、図７に示すように、表示制御部１５３は、抑制部１５２によって生成されたコントラストが低減された抑制画像データに対応するライブビュー画像ＬＶ１０を表示部１１に表示させる。これにより、ユーザが撮像装置１に対してパンニング操作を行った場合において、現在の被写体Ｏ１から所望の被写体Ｏ４までに写る雑多な被写体Ｏ２，Ｏ３のコントラストを低減させて、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時または動画再生時に視野領域が急激に変化したときであっても、ユーザに快適に視認させることができる。なお、図７においては、コントラストの低減をハッチングで表現した。ステップＳ１０６の後、撮像装置１は、後述するステップＳ１１０へ移行する。
　ステップＳ１０４において、判定部１５１が撮像部１０によって生成された時間的に前後する２つの画像の変化量が第２の閾値以上でないと判定した場合（ステップＳ１０４：Ｎｏ）、撮像装置１は、ステップＳ１０７へ移行する。
　続いて、抑制部１５２は、撮像部１０が生成した直前の画像データに対応する直前画像の解像度を低減する画像処理を行って抑制画像データを生成する（ステップＳ１０７）。なお、抑制部１５２は、撮像部１０が生成した直前の画像データに対応する直前画像の解像度に換えて、圧縮率や画素を間引いて抑制画像データを抑制してもよい。
　その後、表示制御部１５３は、抑制部１５２によって生成された解像度が低減された抑制画像データに対応する直前画像を、最新画像に重畳したライブビュー画像を表示部１１に表示させる（ステップＳ１０８）。具体的には、図８に示すように、表示制御部１５３は、抑制部１５２によって生成された解像度が低減された抑制画像データに対応する直前画像を、最新画像に重畳したライブビュー画像ＬＶ１１を表示部１１に表示させる。これにより、ユーザが撮像装置１に対してパンニング操作を行った場合において、被写体Ｏ１から所望の被写体Ｏ４までに撮像される直前画像を順次残像させ、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時に視野領域が変化したときであっても、動画の再生時にユーザに快適に視認させることができる。なお、図８においては、残像を点線で表現した。ステップＳ１０８の後、撮像装置１は、ステップＳ１１０へ移行する。
　ステップＳ１０３において、判定部１５１が撮像部１０によって生成された時間的に前後する２つの画像の変化量が第１の閾値以上でないと判定した場合（ステップＳ１０３：Ｎｏ）、撮像装置１は、ステップＳ１０９へ移行する。たとえば、図９（ａ）および図９（ｂ）に示す場合、判定部１５１は、撮像部１０が生成した時間的に前後する２つの直前画像ＬＶ１および最新画像ＬＶ２ｃ（図４の画像Ｆ１の視野領域に相当）の一致度を算出し、直前画像ＬＶ１に対する最新画像ＬＶ２ｃの変化量が第１の閾値以上でないと判定する。具体的には、図９（ａ）および図９（ｂ）に示すように、撮像部１０の視野領域がほぼ変化していない場合、時間的に前後する２つの画像の変化量が第１の閾値以上でないと判定する。
　続いて、表示制御部１５３は、撮像部１０が生成した最新の画像データに対応するライブビュー画像を表示部１１に表示させる（ステップＳ１０９）。具体的には、図１０に示すように、表示制御部１５３は、撮像部１０が生成した最新の画像データに対応するライブビュー画像ＬＶ１２を表示部１１に表示させる。ステップＳ１０９の後、撮像装置１は、ステップＳ１１０へ移行する。
　ステップＳ１０６、ステップＳ１０８およびステップＳ１０９の後、入力部１２を介して静止画撮影を指示する指示信号が入力された場合（ステップＳ１１０：Ｙｅｓ）、制御部１５は、撮像部１０に撮影を実行させ（ステップＳ１１１）、撮像部１０が生成した画像データを記録媒体１４に記録する（ステップＳ１１２）。
　続いて、入力部１２を介して撮像装置１の電源がオフされた場合（ステップＳ１１３：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、入力部１２を介して撮像装置１の電源がオフされていない場合（ステップＳ１１３：Ｎｏ）、撮像装置１は、ステップＳ１０１へ戻る。
　ステップＳ１１０において、入力部１２を介して静止画撮影を指示する指示信号が入力されていない場合（ステップＳ１１０：Ｎｏ）、撮像装置１は、ステップＳ１１４へ移行する。
　続いて、撮像装置１が動画撮影中である場合（ステップＳ１１４：Ｙｅｓ）、制御部１５は、表示部１１が表示する表示画像に対応する画像データを記録媒体１４の動画ファイルに記録する（ステップＳ１１５）。
　その後、入力部１２を介して動画撮影を終了する指示信号が入力された場合（ステップＳ１１６：Ｙｅｓ）、制御部１５は、撮像装置１の動画撮影を終了する動画終了処理を実行する（ステップＳ１１７）。たとえば、制御部１５は、記録媒体１４の動画ファイルに対して動画時間やデータ量を示す情報をメタ情報として記録する。ステップＳ１１７の後、撮像装置１は、ステップＳ１１３へ移行する。
　ステップＳ１１６において、入力部１２を介して動画撮影を終了する指示信号が入力されていない場合（ステップＳ１１６：Ｎｏ）、撮像装置１は、ステップＳ１１３へ移行する。
　ステップＳ１１４において、撮像装置１が動画撮影中でない場合（ステップＳ１１４：Ｎｏ）、撮像装置１は、ステップＳ１１８へ移行する。
　続いて、入力部１２を介して動画撮影を開始する指示信号が入力された場合（ステップＳ１１８：Ｙｅｓ）、制御部１５は、撮像装置１の動画撮影を開始する（ステップＳ１１９）。具体的には、制御部１５は、記録媒体１４に、撮像部１０が順次生成する画像データを時系列に沿って記録するための動画ファイルを作成する。ステップＳ１１９の後、撮像装置１は、ステップＳ１１３へ移行する。
　ステップＳ１１８において、入力部１２を介して動画撮影を開始する指示信号が入力されていない場合（ステップＳ１１８：Ｎｏ）、撮像装置１は、ステップＳ１１３へ移行する。
　次に、ステップＳ１０１で撮像装置１が撮影モードに設定されていない場合（ステップＳ１０１：Ｎｏ）について説明する。この場合において、撮像装置１が再生モードに設定されているとき（ステップＳ１２０：Ｙｅｓ）、表示制御部１５３は、記録媒体１４に記録された画像ファイルまたは動画ファイルそれぞれのヘッダに記録されたサムネイル画像を表示部１１に一覧表示させる（ステップＳ１２１）。
　続いて、入力部１２を介して表示部１１が表示する画像一覧から再生する画像ファイルが指定された場合（ステップＳ１２２：Ｙｅｓ）、撮像装置１は、ステップＳ１２３へ移行する。これに対して、入力部１２を介して表示部１１が表示する画像一覧から再生する画像ファイルが指定されていない場合（ステップＳ１２２：Ｎｏ）、撮像装置１は、ステップＳ１２１へ戻る。
　ステップＳ１２３において、入力部１２を介して指定された画像ファイルが動画ファイルの場合（ステップＳ１２３：Ｙｅｓ）、表示制御部１５３は、動画ファイルに記録された動画データに対応する動画の再生表示を開始する（ステップＳ１２４）。
　続いて、判定部１５１は、時間的に前後する２つの画像の変化量が第３の閾値以上であるか否かを判定する（ステップＳ１２５）。具体的には、判定部１５１は、表示部１１に表示させた直前の画像と最新の画像との変化量が第３の閾値以上であるか否かを判定する。判定部１５１が時間的に前後する２つの画像の変化量が第３の閾値以上であると判定した場合（ステップＳ１２５：Ｙｅｓ）、撮像装置１は、ステップＳ１２６へ移行する。これに対して、判定部１５１が時間的に前後する２つの画像の変化量が第３の閾値以上でないと判定した場合（ステップＳ１２５：Ｎｏ）、撮像装置１は、後述するステップＳ１３３へ移行する。
　ステップＳ１２６において、表示部１１が表示する現在の画像から所定の時間内に画像の変化量が安定する安定画像がある場合（ステップＳ１２６：Ｙｅｓ）、抑制部１５２は、安定画像の解像度を低減する抑制処理を実行する（ステップＳ１２７）。
　続いて、表示制御部１５３は、抑制部１５２が解像度を低減した安定画像を現画像に重畳して表示部１１に表示させる（ステップＳ１２８）。これにより、予告効果によってユーザに安心感を促すことができる。
　その後、動画が終了した場合（ステップＳ１２９：Ｙｅｓ）、撮像装置１は、後述するステップＳ１３０へ移行する。これに対して、動画が終了した場合（ステップＳ１２９：Ｎｏ）、撮像装置１は、ステップＳ１２５へ戻る。
　ステップＳ１３０において、入力部１２を介して再生する画像の切換があった場合（ステップＳ１３０：Ｙｅｓ）、撮像装置１は、ステップＳ１２１へ戻る。これに対して、入力部１２を介して再生する画像の切換がない場合（ステップＳ１３０：Ｎｏ）、撮像装置１は、ステップＳ１１３へ移行する。
　ステップＳ１２６において、表示部１１が表示する現在の画像から所定の時間内に画像の変化量が安定する安定画像がない場合（ステップＳ１２６：Ｎｏ）、撮像装置１は、ステップＳ１３１へ移行する。
　続いて、抑制部１５２は、直前の画像の解像度を低減する抑制処理を実行する（ステップＳ１３１）。
　その後、表示制御部１５３は、抑制部１５２が解像度を低減した直前の画像を現画像に重畳して表示部１１に表示させる（ステップＳ１３２）。ステップＳ１３２の後、撮像装置１は、ステップＳ１２９へ移行する。
　ステップＳ１３３において、表示制御部１５３は、画像データに対応する画像を表示部１１に表示させる（ステップＳ１３３）。ステップＳ１３３の後、撮像装置１は、ステップＳ１２９へ移行する。
　ステップＳ１２３において、入力部１２を介して指定された画像ファイルが動画ファイルでない場合（ステップＳ１２３：Ｎｏ）、表示制御部１５３は、画像データに対応する画像を表示部１１に全画面表示させる（ステップＳ１３４）。ステップＳ１３４の後、撮像装置１は、ステップＳ１３０へ移行する。
　ステップＳ１２０において、撮像装置１が再生モードに設定されていない場合（ステップＳ１２０：Ｎｏ）、撮像装置１は、ステップＳ１１３へ移行する。
　以上説明した本発明の実施の形態１によれば、動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作によって視野領域が急激に変化した場合であっても、ユーザに動画の再生時に快適に視認させることができる。
　また、本発明の実施の形態１によれば、判定部１５１が撮像部１０の視野領域が変化したと判定した場合、抑制部１５２が撮像部１０によって生成された画像データに対応する画像に含まれる視覚的に視認可能な情報量を抑制した抑制画像データを生成し、表示制御部１５３が抑制部１５２によって生成された抑制画像データに対応するライブビュー画像を表示部１１に表示させる。これにより、フレーム間で変化が大きい最新画像は、直前画像からの変化量を小さくして表示部１１で表示されるので、動画撮影時または動画の再生時にユーザに快適に視認させることができる。このような、視認可能な情報量を抑制する処理（つまり、情報表示時のデータの空間的な変化量、あるいは時間的な変化量を抑制する処理）は、一律に行う必要はなく、パンニング開始時と途中で処理を変えても良く、パンニング時の画像変化の激しさによって処理を変えても良い。
　なお、上述した本発明の実施の形態１では、ユーザによって撮像装置１が略水平方向へ移動するパンニング操作が行われた場合であったが、ユーザによって撮像装置１が略垂直方向へ移動するチルト操作が行われた場合や、その他の撮影画面変更操作であっても適用することができる。
　また、本発明の実施の形態１では、ライブビュー画像の表示時に、抑制部１５２が撮像部１０によって生成された画像データに対応する画像に含まれる視覚的に視認可能な情報量を低減していたが、たとえば、記録媒体１４に記録する画像データのみに対して情報量を抑制してもよい。
　また、本発明の実施の形態１では、判定部１５１が時間的に前後する２つの画像を用いて、撮像部１０の視野領域が変化したか否かを判定していたが、必ずしも時間的に隣接している必要はなく、所定のフレーム間毎、たとえば撮像部１０が生成する画像データの奇数フレームまたは偶数フレームを用いて撮像部１０の視野領域が変化したか否かを判定してもよい。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像装置は、上述した実施の形態１に係る撮像装置と構成が異なるうえ、実行する処理が異なる。このため、以下においては、本実施の形態２に係る撮像装置の構成を説明後、本実施の形態２に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像装置と同一の構成には同一の符号を付して説明を省略する。ただし、先に書いた事項で、ここでも対応するブロック、機能部分は、同様の働きをすることは、繰り返しを省略しただけで、そのまま適応可能なことは言うまでもない。
　図１１は、本発明の実施の形態２に係る撮像装置の機能構成を示すブロック図である。図１１に示す撮像装置１ａは、撮像部１０ａと、表示部１１と、入力部１２と、記録部１３と、記録媒体１４と、手振れ補正部１６と、動き検出部１７と、タッチパネル１８と、通信部１９と、制御部２０と、を備える。
　撮像部１０ａは、複数のレンズを用いて構成され、所定の視野領域から集光して被写体の被写体像を結像するレンズ部１０１と、レンズ部１０１が結像した被写体像を受光して被写体の画像データを生成する撮像素子１０２と、を有する。撮像素子１０２は、被写体の画像データを連続的に生成して制御部２０へ出力する。
　手振れ補正部１６は、撮像装置１ａに生じる手振れを補正する。具体的には、手振れ補正部１６は、撮像素子１０２を撮像部１０ａの光軸Ｌと直交する垂直面内で撮像素子１０２を移動させるとともに、光軸Ｌと直交する水平面内で撮像素子１０２を移動させることによって、撮像装置１ａに生じる手振れを補正する（ボディ内手振れ補正）。手振れ補正部１６は、複数の超音波アクチュエータおよびアクチュエータ駆動部を用いて構成される。手振れ補正部１６は、制御部２０の制御のもと、撮像素子１０２を垂直面内および水平面内で移動させる。なお、手振れ補正部１６は、撮像素子１０２に換えて、レンズ部１０１を垂直面内および水平面内で移動させることによって、撮像装置１ａに生じる手振れを補正してもよい（レンズ内手振れ補正）。
　動き検出部１７は、撮像装置１ａに生じる動きを検出し、この検出結果を制御部２０へ出力する。具体的には、動き検出部１７は、撮像装置１ａに生じる加速度および角速度をそれぞれ検出し、この検出結果を制御部２０へ出力する。動き検出部１７は、加速度センサおよびジャイロセンサ等を用いて構成される。
　タッチパネル１８は、表示部１１の表示画面上に重畳して設けられる。タッチパネル１８は、外部からの物体のタッチを検出し、この検出したタッチ位置に応じた位置信号を制御部２０へ出力する。また、タッチパネル１８は、ユーザが表示部１１で表示される情報、たとえばアイコン画像やサムネイル画像に基づいてタッチした位置を検出し、この検出したタッチ位置に応じて撮像装置１ａが行う動作を指示する指示信号や画像を選択する選択信号の入力を受け付けてもよい。一般に、タッチパネル１８としては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態２では、いずれの方式のタッチパネルであっても適用可能である。
　通信部１９は、所定の無線通信規格に従って、外部の機器と無線通信を行って画像データを含む画像ファイルを送信または受信する。ここで、所定の無線通信規格は、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｎ等である。なお、本実施の形態２では、いずれの無線通信規格であっても適用可能である。また、通信部１９は、ネットワークを介して外部の機器と画像ファイルやコンテンツデータ等の各種情報を双方向に通信を行うための通信デバイスを用いて構成される。通信デバイスは、他の機器との間で電波信号を送受信するアンテナと、アンテナが受信した信号を復調処理するとともに、送信する信号を変調処理する送受信回路等で構成される。また、通信部１９は、撮像装置１ａの起動時において、その存在を報知する識別情報（機器ＩＤ）を含む通信信号を定期的に送信する。なお、通信部１９は、撮像装置１ａの外部から装着されるメモリーカード等の記録媒体１４に設けられていてもよい。さらに、通信部１９は、ホットシューを介して撮像装置１ａに装着されるアクセサリに設けられていてもよい。
　制御部２０は、撮像装置１ａを構成する各部に対応する指示やデータの転送等を行って撮像装置１ａの動作を統括的に制御する。制御部２０は、ＣＰＵ等を用いて構成される。なお、本実施の形態２では、制御部２０が画像処理装置として機能する。
　ここで、制御部２０の詳細な構成について説明する。制御部２０は、判定部２０１と、抑制部２０２と、表示制御部２０３と、を有する。
　判定部２０１は、撮像部１０ａが生成した時間的に前後する画像データに対応する直前の直前画像と最新の最新画像とを重ねて画素毎に差を判定することによって、撮像部１０ａの視野領域が変化したか否かを判定する。具体的には、判定部２０１は、直前画像と最新画像それぞれの画像中央部の画素値の差を加算するとともに、直前画像と最新画像それぞれの画像周辺部の画素値の差を加算し、画像中央部と画像周辺部それぞれの差を加算した値が所定の閾値以上の場合、撮像部１０ａの視野領域が変化したと判定する。ここで、画像中央部とは、画像の中心を含む２／３の領域である。また、画像周辺部とは、画像中央部を除く領域である。
　抑制部２０２は、判定部２０１によって撮像部１０ａの視野領域が変化したと判定された場合、撮像部１０ａが生成する画像データに対応する画像に含まれる視覚的に視認可能な情報量を抑制した抑制画像データを生成する。具体的には、抑制部２０２は、撮像部１０ａが生成する画像に含まれる視覚的に視認可能な撮影情報として、コントラスト、彩度、解像度および画素数のいずれか１つ以上を低下させる画像処理を行って抑制画像データを生成する。
　表示制御部２０３は、撮像部１０ａが生成した画像データに対応する画像を表示部１１に表示させる。また、表示制御部２０３は、判定部２０１が撮像部１０ａの視野領域が変化したと判定した場合、抑制部２０２が生成した抑制画像データに対応する抑制画像を表示部１１に表示させる。さらに、表示制御部２０３は、撮像装置１ａに関する操作情報を表示部１１に表示させる。なお、本実施の形態２では、表示制御部２０３が出力部として機能する。
　以上の構成を有する撮像装置１ａが実行する処理について説明する。図１２は、撮像装置１ａが実行する処理の概要を示すフローチャートである。
　図１２において、まず、撮像装置１ａが撮影モードに設定されている場合（ステップＳ２０１：Ｙｅｓ）について説明する。この場合、制御部２０は、撮像素子１０２に撮像を実行させる（ステップＳ２０２）。
　続いて、判定部２０１は、時間的に前後する直前の直前画像と最新の最新画像とを重ねて画素毎に差を判定する判定処理を開始し（ステップＳ２０３）、直前画像と最新画像それぞれの画像中央部における画素の差を加算した値（以下、画像中央部における画素の差を加算した値を「Ｃ」という。）を算出するとともに（ステップＳ２０４）、直前画像と最新画像それぞれの画像周辺部の画素の差を加算した値（以下、画像周辺部の画素の差を加算した値を「Ｐ」という）を算出する（ステップＳ２０５）。なお、画像中央部とは、画像の中心を含む矩形状の領域である。また、画像周辺部とは、画像内において画像中央部を除く領域であって、画像内の有効画素領域の画像中央部から外縁までの領域である。また、判定部２０１は、画像中央部および画像周辺部それぞれの全ての画素を用いて判定する必要はなく、画素を所定の間隔で間引いて差を算出してもよい。具体的には、判定部２０１は、画像中央部および画像周辺部それぞれの所定の画素列、たとえば奇数列または偶数列の画素の差を加算した値を算出してもよい。
　図１３は、直前画像内における位置と情報量との関係を模式的に示す図である。図１４は、最新画像内における位置と情報量との関係を模式的に示す図である。図１３および図１４において、直線Ｌ１上における情報量としての明るさを例に説明する。また、図１３（ｂ）および図１４（ｂ）において、横軸が各画像の位置を示し、縦軸が明るさを示す。
　図１３（ａ）に示すように、直前画像ＬＶ２０において被写体Ｏ１の顔を横切った直線Ｌ１の明るさは、図１３（ｂ）に示す曲線Ｉｍ１となる。図１３（ａ）に示す状態からユーザが撮像装置１ａに対して水平方向にパンニング操作を行った場合、図１４に示す最新画像ＬＶ２１を得ることができる。このとき、最新画像ＬＶ２１における被写体Ｏ１の顔を横切った直線Ｌ１の明るさは、図１４（ｂ）に示す曲線Ｉｍ２となる。判定部２０１は、図１３（ｂ）の曲線Ｉｍ１と図１４（ｂ）の曲線Ｉｍ２とを比較する（図１５を参照）。
　図１５は、図１３（ｂ）の曲線Ｉｍ１と図１４（ｂ）の曲線Ｉｍ２とを仮想的に重ねた際の明るさと位置との関係を示す図である。図１６は、図１３（ｂ）の曲線Ｉｍ１と図１４（ｂ）の曲線Ｉｍ２との明るさの差分と位置との関係を示す図である。
　図１５に示すように、ユーザは、時間的に前後する直前画像と最新画像のような２フレームの画像の一部に差異Ｄがある画像を見ただけでも、ストレスを感じる。さらに、ユーザは、動画でパンニング操作があった場合、パンニング操作に応じて撮像装置１ａの視野領域が変化するうえ、色の成分や被写体が変化するので、不快になってしまう場合があった。具体的には、図１６に示す曲線Ｉｍ１２のように、振幅が大きいほど直前画像から最新画像への画像変化が大きいと考えられる。そこで、判定部２０１は、曲線Ｉｍ１と曲線Ｉｍ２それぞれの差分を算出することによって、直前画像Ｌ２０に対する最新画像Ｌ２１の画像変化を判定する。即ち、判定部２０１は、直前画像および最新画像それぞれの画素値の絶対値を加算することによって、直前画像Ｌ２０に対する最新画像Ｌ２１の画像変化の変化量を数値化する。
　図１２に戻り、ステップＳ２０６以降の説明を続ける。
　ステップＳ２０６において、判定部２０１は、画素中央部における画素の差を加算した値Ｃの絶対値｜Ｃ｜と画像周辺部における画素の差を加算した値Ｐの絶対値｜Ｐ｜との和｜Ｃ｜＋｜Ｐ｜が所定の閾値以上であるか否かを判定する。判定部２０１が和｜Ｃ｜＋｜Ｐ｜が所定の閾値以上であると判定した場合（ステップＳ２０６：Ｙｅｓ）、撮像装置１ａは、後述するステップＳ２０７へ移行する。これに対して、判定部２０１は、和｜Ｃ｜＋｜Ｐ｜の値が所定の閾値以上でないと判定した場合（ステップＳ２０６：Ｎｏ）、撮像装置１ａは、後述するステップＳ２１２へ移行する。
　ステップＳ２０７において、判定部２０１は、Ｃを画像中央部の画素数で除算した平均値ＣAがＰを画像周辺部の画素数で除算した平均値ＰA以上であるか否かを判定する。判定部２０１がＣの平均値ＣAがＰの平均値ＰA以上であると判定した場合（ステップＳ２０７：Ｙｅｓ）、撮像装置１ａは、後述するステップＳ２０８へ移行する。これに対して、判定部２０１がＣの平均値ＣAがＰの平均値ＰA以上でないと判定した場合（ステップＳ２０７：Ｎｏ）、撮像装置１ａは、後述するステップＳ２１０へ移行する。
　ステップＳ２０８において、抑制部２０２は、撮像部１０ａが生成した最新の画像データに対応する最新画像における画像周辺部のコントラストを低減する画像処理を行って抑制画像データを生成する。具体的には、図１７に示すように、最新画像のコントラストを低減させる画像処理を行って、最新画像の明るさを曲線Ｉｍ２から曲線Ｉｍ３になるように振幅を低減する。
　続いて、表示制御部２０３は、抑制部２０２によって生成されたコントラストが低減された抑制画像データに対応するライブビュー画像を表示部１１に表示させる（ステップＳ２０９）。具体的には、図１８に示すように、表示制御部２０３は、抑制部２０２によって生成されたコントラストが低減された抑制画像データに対応するライブビュー画像ＬＶ３０を表示部１１に表示させる。これにより、ユーザが撮像装置１ａに対してパンニング操作を行った場合において、現在の被写体Ｏ１から所望の被写体Ｏ４までに写る雑多な被写体Ｏ２，Ｏ３のコントラストを低減させて、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時または動画の再生時に視野領域が急激に変化したときであっても、ユーザに快適に視認させることができる。なお、図１８においては、コントラストの低減を点線およびシェーディングで表現した。ステップＳ２０９の後、撮像装置１ａは、後述するステップＳ２１３へ移行する。
　ステップＳ２１０において、抑制部２０２は、撮像部１０ａが生成した最新の画像データに対応する最新画像の彩度およびコントラストを低減する抑制処理を行って抑制画像データを生成する。
　続いて、表示制御部２０３は、抑制部２０２によって生成された彩度およびコントラストが低減された抑制画像データに対応するライブビュー画像を表示部１１に表示させる（ステップＳ２１１）。具体的には、図１９に示すように、表示制御部２０３は、抑制部２０２によって生成された彩度およびコントラストが低減された抑制画像データに対応するライブビュー画像ＬＶ３１を表示部１１に表示させる。これにより、ユーザが撮像装置１ａに対してパンニング操作を行った場合において、現在の被写体Ｏ１から所望の被写体Ｏ４までに写る雑多な被写体Ｏ２，Ｏ３のコントラストを低減させて、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時または動画の再生時に視野領域が急激に変化したときであっても、ユーザに快適に視認させることができる。なお、図１９においては、彩度およびコントラストの低減をハッチングおよび点線で表現した。ステップＳ２１１の後、撮像装置１ａは、後述するステップＳ２１３へ移行する。
　ステップＳ２１２において、表示制御部２０３は、撮像部１０ａが生成した画像データに対応するライブビュー画像を表示部１１に表示させる。ステップＳ２１２の後、撮像装置１ａは、後述するステップＳ２１３へ移行する。
　ステップＳ２１３～ステップＳ２２２は、上述した図２のステップＳ１１０～ステップＳ１１９にそれぞれ対応する。
　ステップＳ２０１において、撮像装置１ａが撮影モードに設定されておらず（ステップＳ２０１：Ｎｏ）、再生モードに設定されている場合（ステップＳ２２３：Ｙｅｓ）、撮像装置１ａは、記録媒体１４に記録された画像データに対応する画像を再生する再生表示処理を実行する（ステップＳ２２４）。ステップＳ２２４の後、撮像装置１ａは、ステップＳ２１６へ移行する。
　ステップＳ２０１において、撮像装置１ａが撮影モードに設定されておらず（ステップＳ２０１：Ｎｏ）、再生モードに設定されていない場合（ステップＳ２２３：Ｎｏ）、撮像装置１ａは、ステップＳ２１６へ移行する。
　以上説明した本発明の実施の形態２によれば、動画撮影時にパンニング操作やチルト操作によって視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができる。
　なお、上述した本発明の実施の形態２では、ユーザによって撮像装置１ａが略水平方向へ移動するパンニング操作が行われた場合であったが、ユーザによって撮像装置１ａが略垂直方向へ移動するチルト操作や、斜め方向の視野角度変更が行われた場合であっても適用することができる。もちろん、急速なズーム操作など画面内情報が急に変化する操作でもこれらの考え方は適用でき、このような効果は、先の実施形態でも同様に言えることである。
　また、本発明の実施の形態２では、判定部２０１が時間的に前後する２つの画像を用いて、撮像部１０ａの視野領域が変化したか否かを判定していたが、必ずしも時間的に隣接している必要はなく、所定のフレーム間毎、たとえば撮像部１０ａが生成する画像データの奇数フレームまたは偶数フレームを用いて撮像部１０の視野領域が変化したか否かを判定してもよい。ここでは、通信部なども設けた実施例で説明しているが、撮影中の画像や撮影された画像は、遠隔の視聴者が見られるようにネットワークで通信可能としても良い。この場合、室内のＴＶなどで視聴する場合を想定しなければならないが、室内でコントラストが高い映像を見ながら、パンニングがあったりすると、屋外の小さなモバイル機器を手に持って見る場合より、生理的に耐え難いので、送り先によって閾値などを変更しても良い。
（実施の形態２の変形例）
　次に、本実施の形態２の変形例について説明する。上述した実施の形態２では、判定部２０１は、時間的に前後する直前画像および最新画像それぞれの画素毎に明るさを比較していたが、本実施の形態２の変形例では、時間的に前後する直前画像および最新画像それぞれを所定の領域毎に分割し、この分割した領域毎に明るさの比較を行う。
　図２０は、直前画像内における位置と情報量との関係を模式的に示す図である。図２１は、最新画像内における位置と情報量との関係を模式的に示す図である。図２２は、図２０（ｂ）の領域毎の明るさと図２１（ｂ）の領域毎の明るさとを仮想的に重ねた際の明るさと位置との関係を示す図である。図２３は、図２１（ｂ）の領域毎の明るさと図２２（ｂ）の領域毎の明るさとを仮想的に重ねた際の明るさの差（輝度差）と位置との関係を示す図である。図２０～図２３において、直線Ｌ２上における情報量としての明るさを例に説明する。また、図２０（ｂ）、図２１（ｂ）、図２２および図２３において、横軸が各領域の位置を示し、縦軸が明るさを示す。
　図２０（ｂ）、図２１（ｂ）および図２２に示すように、判定部２０１は、直前画像ＬＶ２０および最新画像ＬＶ２１を所定の領域毎に複数の領域に分割し、この領域内の明るさの最大値と最小値の差分ＤＩｍを比較する。具体的には、図２２および図２３に示すように、判定部２０１は、直前画像ＬＶ２０および最新画像ＬＶ２１それぞれの領域内の明るさの最大値と最小値の差分ＤＩｍを比較し、その差分をＤＤＩｍとして領域毎に判定し、その差分（輝度差）が大きいほど画像内における情報量の変化が多いと判定する。
　以上説明した本発明の実施の形態２の変形例によれば、動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作によって視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができる。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。本実施の形態３に係る撮像装置は、上述した実施の形態２に係る撮像装置１ａと構成が異なるうえ、実行する処理が異なる。具体的には、撮像装置に対してパンニング操作またはチルト操作その他の撮影画面変更操作があった場合、撮影条件を変更して視覚的に把握可能な情報量を低減させる。このため、以下においては、本実施の形態３に係る撮像装置の構成を説明後、本実施の形態３に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態２と同一の構成には同一の符号を付して説明を省略する。
　図２４は、本発明の実施の形態３に係る撮像装置の機能構成を示すブロック図である。図２４に示す撮像装置１ｂは、撮像部１０ａと、表示部１１と、入力部１２と、記録部１３と、記録媒体１４と、手振れ補正部１６と、動き検出部１７と、タッチパネル１８と、通信部１９と、ピント駆動部２１と、制御部２２と、を備える。
　ピント駆動部２１は、制御部２２の制御のもと、レンズ部１０１を光軸Ｌに沿って移動させることによって、撮像部１０ａのピントを調整する。たとえば、ピント駆動部２１は、制御部２２の制御のもと、レンズ部１０１を光軸Ｌに沿って移動させることによって、撮像部１０ａのピントを被写体に対して合焦させる。ピント駆動部２１は、ステッピングモータ等を用いて構成される。
　制御部２２は、撮像装置１ｂを構成する各部に対応する指示やデータの転送等を行って撮像装置１ｂの動作を統括的に制御する。制御部２２は、ＣＰＵ等を用いて構成される。なお、本実施の形態３では、制御部２２が画像処理装置として機能する。
　ここで、制御部２２の詳細な構成について説明する。制御部２２は、判定部２２１と、抑制部２２２と、表示制御部２２３と、を有する。
　判定部２２１は、撮像部１０ａの視野領域が変化したか否かを判定する。具体的には、判定部２２１は、撮像部１０ａが生成した時間的に前後する画像データに対応する２つの画像の一致度に基づいて、撮像部１０ａの視野領域が変化したか否かを判定する。たとえば、判定部２２１は、撮像部１０ａが生成した時間的に前後する画像データに対応する２つの画像に対して動き判定を行うことによって、撮像装置１ｂに生じる動き、たとえばユーザによるパンニング操作やチルト操作その他の撮影画面変更操作を判定する。
　抑制部２２２は、判定部２２１によって撮像部１０ａの視野領域が変化したと判定された場合、撮像部１０ａが生成する画像データに対応する画像に含まれる視覚的に視認可能な情報量を抑制した抑制画像データを生成する。具体的には、抑制部２２２は、撮像部１０ａが生成する画像データに対応する画像に対して露出値を上げる画像処理、たとえば露出オーバーする画像処理を行って抑制画像データを生成する。また、抑制部２２２は、ピント駆動部２１を駆動して撮像素子１０２が生成する画像データに対応する画像のピントがぼけるようにレンズ部１０１のピントを調整する。
　表示制御部２２３は、撮像部１０ａが生成した画像データに対応する画像を表示部１１に表示させる。また、表示制御部２２３は、判定部２２１が撮像部１０ａの視野領域が変化したと判定した場合、抑制部２２２が生成した抑制画像データに対応する抑制画像を表示部１１に表示させる。さらに、表示制御部２２３は、撮像装置１ｂに関する操作情報を表示部１１に表示させる。なお、本実施の形態３では、表示制御部２２３が出力部として機能する。
　以上の構成を有する撮像装置１ｂが実行する処理について説明する。図２５は、撮像装置１ｂが実行する処理の概要を示すフローチャートである。
　図２５に示すように、まず、撮像装置１ｂが撮影モードに設定されている場合（ステップＳ３０１：Ｙｅｓ）について説明する。この場合、制御部２２は、撮像素子１０２に撮像を実行させる（ステップＳ３０２）。
　続いて、判定部２２１は、時間的に前後する直前画像と最新画像とに基づいて、直前画像の画面全体から最新画像の画面全体（視野領域全体）が移動したか否かを判定する（ステップＳ３０３）。具体的には、判定部２２１は、時間的に前後する直前画像および最新画像それぞれの画素の情報量が第１の閾値以上であるか否かを判定する。なお、第１の閾値は、撮像素子１０２のフレームレートに応じて適宜変更することができる。判定部２２１が直前画像の画面全体から最新画像の画面全体が移動したと判定した場合（ステップＳ３０３：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ３０４へ移行する。これに対して、判定部２２１が直前画像の画面全体から最新画像の画面全体が移動していないと判定した場合（ステップＳ３０３：Ｎｏ）、撮像装置１ｂは、後述するステップＳ３１１へ移行する。
　ステップＳ３０４において、判定部２２１は、時間的に前後する直前画像と最新画像とに基づいて、最新画像の移動方向が直前画像の画面全体に対して１／３以上であるか否かを判定する。判定部２２１が最新画像の移動方向が直前画像の画面全体に対して１／３以上であると判定した場合（ステップＳ３０４：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ３０５へ移行する。これに対して、判定部２２１が最新画像の移動方向が直前画像の画面全体に対して１／３以上でないと判定した場合（ステップＳ３０４：Ｎｏ）、撮像装置１ｂは、後述するステップＳ３１１へ移行する。
　ステップＳ３０５において、判定部２２１は、最新画像のコントラストが所定の閾値より小さいか否かを判定する。判定部２２１が最新画像のコントラストが所定の閾値より小さいと判定した場合（ステップＳ３０５：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ３０６へ移行する。これに対して、判定部２２１が最新画像のコントラストが所定の閾値より小さくないと判定した場合（ステップＳ３０５：Ｎｏ）、撮像装置１ｂは、後述するステップＳ３１１へ移行する。
　ステップＳ３０６において、判定部２２１は、最新画像内における被写体が所定の閾値より明るい被写体であるか否かを判定する。判定部２２１が最新画像内における被写体が所定の閾値より明るい被写体であると判定した場合（ステップＳ３０６：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ３０７へ移行する。これに対して、判定部２２１が最新画像内における被写体が所定の閾値より明るい被写体でないと判定した場合（ステップＳ３０６：Ｎｏ）、撮像装置１ｂは、後述するステップＳ３０９へ移行する。
　ステップＳ３０７において、抑制部２２２は、撮像部１０ａが生成した画像データの露出値を上げる画像処理を行う。具体的には、抑制部２２２は、撮像部１０ａが生成した画像データの露出値を、たとえば、＋０.０から＋２.０に上げる補正を行う。
　続いて、表示制御部２２３は、抑制部２２２が露出値を上げた画像データに対応するライブビュー画像を表示部１１に表示させる（ステップＳ３０８）。具体的には、図２６に示すように、表示部１１がライブビュー画像ＬＶ４０を表示している場合において、パンニング操作があったとき、表示制御部２２３は、抑制部２２２が露出値を上げた画像データに対応するライブビュー画像ＬＶ４１、ライブビュー画像ＬＶ４２を表示部１１に表示させる。その後、表示制御部２２３は、パンニング操作が終わった時点でライブビュー画像ＬＶ４３を表示部１１に表示させる（図２６（ａ）→図２６（ｂ）→図２６（ｃ）→図２６（ｄ））。これにより、ユーザが撮像装置１ｂに対してパンニング操作を行った場合、画像データの露出値が自動的に上がり、再生時に露出オーバの画像が表示される。この結果、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時または動画の再生時に視野領域が急激に変化したときであっても、ユーザに快適に視認させることができる。ステップＳ３０８の後、撮像装置１ｂは、ステップＳ３１２へ移行する。
　ステップＳ３０９において、抑制部２２２は、ピント駆動部２１を駆動し、レンズ部１０１を光軸Ｌ上に沿って移動させることによって、被写体に対するピント位置を調整する。
　続いて、表示制御部２２３は、ピント位置が調整された状態で撮像部１０ａが生成した画像データに対応するライブビュー画像を表示部１１に表示させる（ステップＳ３１０）。具体的には、図２７に示すように、表示部１１がライブビュー画像ＬＶ５０を表示している場合において、パンニング操作があったとき、表示制御部２２３は、抑制部２２２によってピント位置が調整された状態、たとえば、被写体に対してぼけるようにピント位置（合焦位置）からレンズ部１０１が離れた状態で撮像部１０ａが生成した画像データに対応するライブビュー画像Ｌ５１、ライブビュー画像ＬＶ５２を表示部１１に順次表示させる。その後、表示制御部２２３は、パンニング操作が終わった時点で抑制部２２２によってピント位置が被写体に対して合焦された状態で撮像部１０ａが生成した画像データに対応するライブビュー画像ＬＶ５３を表示部１１に表示させる（図２７（ａ）→図２７（ｂ）→図２７（ｃ）→図２７（ｄ））。これにより、ユーザが撮像装置１ｂに対してパンニング操作を行った場合、被写体に対して自動的にピント位置が調整されるので、再生時にぼけた画像が表示される。この結果、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時または動画の再生時に視野領域が急激に変化したときであっても、ユーザに快適に視認させることができる。ステップＳ３１０の後、撮像装置１ｂは、ステップＳ３１２へ移行する。
　ステップＳ３１１～ステップＳ３２３は、上述した図１２のステップＳ２１２～ステップＳ２２４にそれぞれ対応する。
　以上説明した本発明の実施の形態３によれば、動画撮影時にパンニング操作やチルト操作によって視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができる。
　なお、本発明の実施の形態３では、抑制部２２２が撮像部１０ａによって生成された画像データの露出値を上げて表示部１１で表示される画像を露出オーバとしていたが、たとえば、撮像部１０ａが生成する画像データの画素数を減らして表示部１１に表示させてもよい。具体的には、抑制部２２２は、撮像装置１ｂに対してパンニング操作があった場合、撮像部１０ａが生成する画像データに対応する画像の画素数を抑制する画像処理を行って抑制画像データを生成し、表示制御部２２３は、抑制部２２２が生成した抑制画像データに対応するライブビュー画像を表示部１１に表示させる。たとえば、図２８に示すように、表示部１１がライブビュー画像ＬＶ６０を表示している場合において、撮像装置１ｂに対してパンニング操作があったとき、表示制御部２２３は、抑制部２２２が生成した抑制画像データに対応するライブビュー画像ＬＶ６１，ライブビュー画像ＬＶ６２を表示部１１に順次表示させる。その後、表示制御部２２３は、パンニング操作が終わった時点で撮像部１０ａが生成した画像データに対応するライブビュー画像ＬＶ６３を表示部１１に表示させる（図２８（ａ）→図２８（ｂ）→図２８（ｃ）→図２８（ｄ））。これにより、動画撮影時または動画の再生時に撮像装置１ｂの視野領域が急激に変化した場合であっても、パンニング操作中の画像の画素数を低下させて、ユーザが視認可能な情報量を低下させているので、ユーザに快適に視認させることができる。
（その他の実施の形態）
　また、本発明に係る画像処理装置は、デジタル一眼レフカメラ以外にも、たとえデジタルカメラ、デジタルビデオカメラおよび撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器、動画撮影時に視野領域を変更可能な顕微鏡装置および内視鏡装置のプロセッサ部にも適用することができる。
　また、本発明に係る撮像装置は、本体部に対してレンズ部が着脱自在であってもよいし、本体部に対してレンズ部が一体的に形成されていてもよい。
　また、本発明に係る画像処理装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital　Versatile　Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
　また、本発明に係る画像処理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明に係る画像処理装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
　なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
　このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
　１，１ａ，１ｂ　撮像装置
　１０，１０ａ　撮像部
　１１　表示部
　１２　入力部
　１３　記録部
　１４　記録媒体
　１５，２０，２２　制御部
　１６　手振れ補正部
　１７　動き検出部
　１８　タッチパネル
　１９　通信部
　２１　ピント駆動部
　１０１　レンズ部
　１０２　撮像素子
　１５１，２０１，２２１　判定部
　１５２，２０２，２２２　抑制部
　１５３，２０３，２２３　表示制御部

Claims (12)

  1. 　外部から入力される時間的に前後する画像データに対応する２つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定部と、
    　前記判定部によって前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制部と、
    　を備えたことを特徴とする画像処理装置。
  2. 　前記抑制部は、情報表示時のデータの空間的な変化量または時間的な変化量を抑制して前記抑制画像データを生成することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記抑制部は、前記画像のコントラスト、彩度および解像度のいずれか一つ以上を抑制する画像処理を行うことによって前記抑制画像データを生成することを特徴とする請求項１に記載の画像処理装置。
  4. 　前記抑制部は、前記画像データの露出値を上げる画像処理を行うことによって前記抑制画像データを生成することを特徴とする請求項１に記載の画像処理装置。
  5. 　前記抑制部は、前記画像データに対応する画像の画素数を間引く画像処理を行うことによって前記抑制画像データを生成することを特徴とする請求項１に記載の画像処理装置。
  6. 　請求項１～５のいずれか１つに記載の画像処理装置と、
    　前記抑制部が生成した前記抑制画像データに対応する抑制画像を表示可能な表示部と、
    　を備えたことを特徴とする表示装置。
  7. 　請求項６に記載の表示装置と、
    　視野領域を連続的に撮像して複数の画像データを順次生成する撮像部と、
    　を備えたことを特徴とする撮像装置。
  8. 　請求項６に記載の表示装置と、
    　視野領域を連続的に撮像して複数の画像データを順次生成する撮像部と、
    　を備え、
    　前記視野領域から光を集光するとともに、ピント位置調整可能なレンズ部と、
    　前記レンズ部が集光した光を受光して前記画像データを生成する撮像素子と、
    　を有し、
    　前記抑制部は、前記撮像素子が生成する前記画像データに対応する画像のピントがぼけるように前記レンズ部のピント位置を調整することを特徴とする撮像装置。
  9. 　前記判定部によって前記撮影時の視野領域が変化したと判定された場合、前記抑制画像と前記画像とを重畳して前記表示部に表示させる表示制御部をさらに備えたことを特徴とする請求項７または８に記載の撮像装置。
  10. 　前記判定部は、前記時間的に前後する画像データに対応する２つの画像の画素毎または該２つの画像に対して複数の領域に分割した分割領域毎に輝度差を算出することによって、前記撮影時の視野領域が変化したか否かを判定することを特徴とする請求項７～９のいずれか一つに記載の撮像装置。
  11. 　画像処理装置が実行する画像処理方法であって、
    　外部から入力される時間的に前後する画像データに対応する２つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定ステップと、
    　前記判定ステップで前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制ステップと、
    　を含むことを特徴とする画像処理方法。
  12. 　画像処理装置に、
    　外部から入力される時間的に前後する画像データに対応する２つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定ステップと、
    　前記判定ステップで前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制ステップと、
    　を実行させることを特徴とするプログラム。
PCT/JP2014/071934 2013-12-10 2014-08-21 画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム WO2015087582A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480002439.6A CN105379247B (zh) 2013-12-10 2014-08-21 图像处理装置、显示装置、摄像装置和图像处理方法
JP2015513548A JP5771767B1 (ja) 2013-12-10 2014-08-21 画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム
US14/624,108 US9571720B2 (en) 2013-12-10 2015-02-17 Image processing device, display device, imaging apparatus, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013255425 2013-12-10
JP2013-255425 2013-12-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/624,108 Continuation US9571720B2 (en) 2013-12-10 2015-02-17 Image processing device, display device, imaging apparatus, image processing method, and program

Publications (1)

Publication Number Publication Date
WO2015087582A1 true WO2015087582A1 (ja) 2015-06-18

Family

ID=53370901

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/071934 WO2015087582A1 (ja) 2013-12-10 2014-08-21 画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム

Country Status (3)

Country Link
JP (1) JP5771767B1 (ja)
CN (1) CN105379247B (ja)
WO (1) WO2015087582A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020065174A (ja) * 2018-10-17 2020-04-23 株式会社アジェンシア コンテンツ生成プログラム、コンテンツ生成方法及びコンテンツ生成システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017221659A1 (ja) * 2016-06-20 2017-12-28 マクセル株式会社 撮像装置、表示装置、及び撮像表示システム
CN109997171B (zh) * 2016-09-30 2024-03-08 株式会社尼康 显示装置以及存储有程序的记录介质
CN109040593B (zh) * 2018-08-23 2020-08-11 惠州Tcl移动通信有限公司 一种基于动态环境的拍照对焦方法、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009111855A (ja) * 2007-10-31 2009-05-21 Canon Inc 撮像装置及びその制御方法
JP2009115681A (ja) * 2007-11-08 2009-05-28 Nikon Corp 画像取得表示装置
JP2010098698A (ja) * 2008-10-20 2010-04-30 Canon Inc 撮像装置及びその制御方法及びプログラム
JP2010273268A (ja) * 2009-05-25 2010-12-02 Nikon Corp 画像再生装置、撮像装置、画像再生方法、画像再生プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5395512B2 (ja) * 2009-05-26 2014-01-22 オリンパスイメージング株式会社 撮影装置
JP4958969B2 (ja) * 2009-12-25 2012-06-20 キヤノン株式会社 画像処理方法、画像処理装置、及び撮像装置
JP5562664B2 (ja) * 2010-01-27 2014-07-30 オリンパスイメージング株式会社 画質調整装置および画質調整装置の制御方法
JP5780764B2 (ja) * 2011-01-17 2015-09-16 オリンパス株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009111855A (ja) * 2007-10-31 2009-05-21 Canon Inc 撮像装置及びその制御方法
JP2009115681A (ja) * 2007-11-08 2009-05-28 Nikon Corp 画像取得表示装置
JP2010098698A (ja) * 2008-10-20 2010-04-30 Canon Inc 撮像装置及びその制御方法及びプログラム
JP2010273268A (ja) * 2009-05-25 2010-12-02 Nikon Corp 画像再生装置、撮像装置、画像再生方法、画像再生プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020065174A (ja) * 2018-10-17 2020-04-23 株式会社アジェンシア コンテンツ生成プログラム、コンテンツ生成方法及びコンテンツ生成システム

Also Published As

Publication number Publication date
CN105379247B (zh) 2019-08-20
JP5771767B1 (ja) 2015-09-02
JPWO2015087582A1 (ja) 2017-03-16
CN105379247A (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
US7606476B2 (en) Imaging device and imaging method
US20080094498A1 (en) Imaging apparatus and imaging control method
JP5771767B1 (ja) 画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム
JP6833801B2 (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP5370555B2 (ja) 撮像装置、撮像方法及びプログラム
JP2006295238A (ja) 撮像装置
US9571720B2 (en) Image processing device, display device, imaging apparatus, image processing method, and program
JP5569617B2 (ja) 画像処理装置、及び、プログラム
WO2014188647A1 (ja) 画像調整装置、画像調整方法、画像調整プログラムおよび撮像装置
JP5245648B2 (ja) 画像処理装置、及び、プログラム
US9438822B2 (en) Image processing device, display device, image processing method, and computer-readable recording medium
JP5933306B2 (ja) 撮像装置
WO2019065820A1 (ja) 撮影装置とその制御方法および制御プログラム
JP2019121815A (ja) 撮像装置、撮像装置の制御方法、および、プログラム
JP2018056941A (ja) 撮像装置、表示装置、電子機器、撮像方法、プログラム、撮像システム、表示システムおよび画像処理装置。
JP5951988B2 (ja) 画像合成装置及び画像合成方法
JP2006157342A (ja) カメラモジュール
JP2010010881A (ja) 撮影装置および画像中のモアレ有無の告知方法
JP5731087B1 (ja) 画像処理装置、表示装置、画像処理方法およびプログラム
JP2004120600A (ja) デジタル双眼鏡
JP2012129900A (ja) 撮像装置及び撮像方法
US11134199B2 (en) Image pickup apparatus, image display method for image pickup apparatus, and recording medium
US20230126836A1 (en) Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor
US20240233181A1 (en) Image pickup apparatus used as action camera, calibrator, control methods therefor, and storage media storing control programs therefor
JP6211139B2 (ja) 画像合成装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015513548

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14868908

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14868908

Country of ref document: EP

Kind code of ref document: A1