WO2020195557A1 - 画像処理装置、画像処理方法、撮影装置及びプログラム - Google Patents

画像処理装置、画像処理方法、撮影装置及びプログラム Download PDF

Info

Publication number
WO2020195557A1
WO2020195557A1 PCT/JP2020/008568 JP2020008568W WO2020195557A1 WO 2020195557 A1 WO2020195557 A1 WO 2020195557A1 JP 2020008568 W JP2020008568 W JP 2020008568W WO 2020195557 A1 WO2020195557 A1 WO 2020195557A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
time
image processing
date
captured image
Prior art date
Application number
PCT/JP2020/008568
Other languages
English (en)
French (fr)
Inventor
リナ 藤野
俊朗 長井
佐藤 恒夫
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021508871A priority Critical patent/JP7576377B2/ja
Priority to CN202080022180.7A priority patent/CN113615157A/zh
Priority to EP20776733.6A priority patent/EP3944611A4/en
Publication of WO2020195557A1 publication Critical patent/WO2020195557A1/ja
Priority to US17/470,069 priority patent/US11842461B2/en
Priority to US18/480,935 priority patent/US12079966B2/en
Priority to JP2024000746A priority patent/JP2024032739A/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00188Printing, e.g. prints or reprints
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3214Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a date
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3215Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3271Printing or stamping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273Display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274Storage or retrieval of prestored additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging

Definitions

  • the present invention relates to an image processing device, an image processing method, a photographing device, and a program, and relates to an image processing device, an image processing method, a photographing device, and a program that change the image processing according to the length of the elapsed date and time from the time of photographing.
  • Patent Document 1 describes a technique for continuously outputting image contents by inserting an effect corresponding to the attribute information possessed by each image content when a plurality of image contents are continuously output.
  • Patent Document 1 describes a technique in which the recording date and time of the content is compared with the playback date and time, and the sepia effect is selected when the value is equal to or more than the threshold value (Patent Document 1: Paragraph). 0055), this change is a one-time change, not a secular change that gradually changes with the passage of time.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide an image processing device, an image processing method, a photographing device, and a program capable of performing image processing that changes over time.
  • An image processing device for achieving the above object acquires an image to be processed from a storage unit in which a photographed image having a first date and time information indicating the time of photographing is stored.
  • Date and time information acquisition unit that acquires the first date and time information from the acquisition unit and the captured image to be processed, and acquires the second date and time information indicating the date and time when the captured image to be processed is acquired from the storage unit by the image acquisition unit.
  • the elapsed date and time calculation unit that calculates the elapsed date and time from the time of shooting by comparing the first date and time information acquired by the date and time information acquisition unit with the second date and time information, and according to the length of the elapsed date and time.
  • the image processing unit includes an image processing unit that selects image processing based on the length of the elapsed date and time from a plurality of changing image processes and performs the selected image processing on the captured image to be processed.
  • the elapsed date and time from the time of shooting is calculated, and the image processing is performed based on the calculated length of the elapsed date and time from among a plurality of image processes that change according to the length of the elapsed date and time. ..
  • image processing that changes over time can be performed on the captured image.
  • the image processing device includes a display control unit that displays the captured image of the processing target that has been image-processed by the image processing unit on the display unit.
  • the image processing device includes a print control unit that causes the printing unit to print the captured image of the processing target that has been image-processed by the image processing unit.
  • the captured image of the processing target that has been image-processed by the image processing unit and the captured image of the processing target that has not been image-processed by the image processing unit are stored in the storage unit.
  • the captured image to be processed that has been image-processed by the image processing unit is not stored in the storage unit.
  • the image processing device includes a relationship input unit that accepts input of a correspondence relationship between a plurality of image processes and the lengths of elapsed dates and times on the time axis.
  • the image processing unit changes the entire color of the captured image to be processed according to the length of the elapsed date and time.
  • the image processing unit changes the color of a part of the subject of the captured image to be processed according to the length of the elapsed date and time.
  • the image processing unit lightens the background color of the captured image to be processed according to the length of the elapsed date and time.
  • the image processing unit changes a part of the color or a part of the hue of the captured image to be processed according to the length of the elapsed date and time.
  • the image processing unit changes the degree of blurring of a part of the captured image to be processed according to the length of the elapsed date and time.
  • the image processing unit changes the degree of blurring of the foreground or background of the person in the captured image according to the length of the elapsed date and time.
  • the image processing unit changes the decorative image added to the captured image to be processed according to the elapsed date and time.
  • the photographing apparatus according to another aspect of the present invention is equipped with the above-mentioned image processing apparatus.
  • the shooting device includes a shooting mode setting unit that sets one shooting mode from a plurality of shooting modes, and the image processing unit sets the elapsed date and time according to the shooting mode set by the shooting mode setting unit. Change multiple image processing that changes according to the length.
  • the image processing method includes a step of acquiring a photographed image to be processed from a storage unit in which a photographed image having a first date and time information indicating the time of photographing is stored, and a photographed image to be processed.
  • the step of acquiring the first date and time information from the above and acquiring the second date and time information indicating the date and time when the captured image to be processed is acquired from the storage unit is compared with the first date and time information and the second date and time information.
  • the image processing is selected based on the length of the elapsed date and time and selected. It includes a step of performing image processing on a captured image to be processed.
  • the program according to another aspect of the present invention includes a step of acquiring a photographed image to be processed from a storage unit in which a photographed image having a first date and time information indicating the time of photographing is stored, and a step of acquiring the photographed image to be processed from the photographed image to be processed.
  • the step of acquiring the date and time information of 1 and acquiring the second date and time information indicating the date and time when the captured image to be processed is acquired from the storage unit is compared with the first date and time information and the second date and time information.
  • the computer is made to execute an image processing step including the step of performing the above on the captured image to be processed.
  • the elapsed date and time from the time of shooting is calculated, and the image processing is performed based on the calculated length of the elapsed date and time from among a plurality of image processes that change according to the length of the elapsed date and time. Therefore, image processing that changes over time can be performed on the captured image.
  • FIG. 1 is a front perspective view showing an example of a digital camera with a printer.
  • FIG. 2 is a rear perspective view of a digital camera with a printer.
  • FIG. 3 is a front view of the instant film.
  • FIG. 4 is a rear view of the instant film.
  • FIG. 5 is a block diagram showing a main part of the electrical configuration of a digital camera with a printer.
  • FIG. 6 is a diagram showing a functional configuration example of the image processing device.
  • FIG. 7 is a conceptual diagram illustrating the image processing of aging performed by the image processing unit.
  • FIG. 8 is a flowchart showing an image processing method.
  • FIG. 9 is a diagram illustrating image processing in which the overall color of a captured image changes over time.
  • FIG. 9 is a diagram illustrating image processing in which the overall color of a captured image changes over time.
  • FIG. 10 is a diagram illustrating image processing in which the color of a part of a subject in a captured image changes over time.
  • FIG. 11 is a diagram illustrating image processing in which the same color or hue of a captured image changes over time.
  • FIG. 12 is a diagram illustrating image processing in which the degree of blurring of a part of a captured image changes over time.
  • FIG. 13 is a diagram illustrating image processing in which the decorative image added to the captured image changes over time.
  • FIG. 14 is a diagram showing an example of image processing using the sound of the shooting environment.
  • FIG. 15 is a diagram showing an example of processing using the information of the shooting location.
  • FIG. 16 is a diagram showing an example of an emotion setting screen.
  • FIG. 17 is a diagram showing an example of image processing according to emotions.
  • the digital camera with a printer (photographing device) 10 equipped with the image processing device 101 (see FIG. 6) of the present invention is a digital camera with a built-in printer, and has a function of printing a photographed image (photographed image) on the spot.
  • the digital camera 10 with a printer prints on instant film using an instant film pack. Further, the digital camera 10 with a printer of the present embodiment has a recording function and can record sound in association with a captured image.
  • FIG. 1 is a front perspective view showing an example of a digital camera with a printer.
  • FIG. 2 is a rear perspective view of the digital camera with a printer shown in FIG.
  • the digital camera 10 with a printer has a portable camera body 12.
  • the camera body 12 has a vertically long rectangular parallelepiped shape in which the thickness in the front-rear direction is thin and the dimension in the vertical direction is longer than the dimension in the horizontal direction.
  • the front side of the camera body 12 is provided with a photographing lens 14, a release button 16, a recording button 18, a strobe light emitting window 20, and the like.
  • a power button 22a, a menu button 22b, an OK button 22c, a mode switching button 22d, a microphone hole 24, a speaker hole 26, and the like are provided on one side surface of the camera body 12.
  • the release button 16 is a button for instructing recording of a captured image.
  • the power button 22a is a button for turning on and off the power of the digital camera 10 with a printer.
  • the menu button 22b is a button for calling the menu screen.
  • the OK button 22C is a button instructing OK.
  • the mode switching button 22d is a button for switching between the auto print mode and the manual print mode in the shooting mode.
  • the shooting mode can be changed by calling the menu screen with the menu button 22b, displaying the shooting mode change screen, and making a decision with the OK button 22C. Suitable shooting conditions are set for each shooting mode.
  • the shooting mode includes, for example, a portrait mode and a landscape mode.
  • the menu button 22b and the OK button 22c form a shooting mode setting unit.
  • a touch panel type display (display unit) 28 a film lid cover 30, and various operation buttons are provided on the back side of the camera body 12.
  • the film lid cover 30 is a cover that opens and closes the film loading chamber.
  • the operation buttons include a joystick 32a, a print button 32b, a play button 32c, a cancel button 32d, and the like.
  • the print button 32b is a button for instructing printing.
  • the play button 32c is a button for instructing switching to the play mode.
  • the cancel button 32d is a button for instructing the cancellation of the operation.
  • a film discharge port 34 is provided on the upper surface of the camera body 12. The printed instant film is discharged from the film outlet 34.
  • the digital camera 10 with a printer includes a film loading chamber (not shown), a film feeding mechanism 52, a film conveying mechanism 54, a print head 56, and the like as components of the printer portion that is a printing unit (see FIG. 5).
  • the film loading chamber is loaded with an instant film pack having a structure in which a plurality of instant films are housed in a case.
  • FIG. 3 is a front view of the instant film 42
  • FIG. 4 is a rear view of the instant film 42.
  • the direction indicated by the arrow F is the direction in which the instant film 42 is used, and the instant film 42 is conveyed in the direction indicated by the arrow F. Therefore, when the digital camera 10 with a printer is loaded, the direction indicated by the arrow F is the ejection direction of the instant film 42.
  • the instant film 42 is a self-developing instant film having a rectangular card shape.
  • the instant film 42 is configured with an exposed surface 42a on the back surface side and an observation surface 42b on the front surface side.
  • the exposed surface 42a is a surface for recording an image by exposure
  • the observation surface 42b is a surface for observing the recorded image.
  • the observation surface 42b of the instant film 42 is provided with an observation region 42h.
  • the exposed surface 42a of the instant film 42 is provided with an exposed region 42c, a pod portion 42d, and a trap portion 42f.
  • the instant film 42 is developed by developing the developing solution of the pod portion 42d in the exposure region 42c.
  • the development processing liquid pod 42e containing the development processing liquid is built in the pod portion 42d.
  • the developing solution of the pod portion 42d is squeezed out from the pod portion 42d by passing the instant film 42 between the roller pairs and developed in the exposure region 42c.
  • the developing liquid left over during the developing process is captured by the trap unit 42f.
  • An absorbent material 42 g is built in the trap portion 42f.
  • the instant print pack is loaded into a film loading chamber (not shown) provided inside the camera body 12.
  • the films are fed one by one by a claw (claw-shaped member) (not shown) of the film feeding mechanism 52, and are conveyed by a roller (not shown) of the film conveying mechanism 54.
  • a pair of unfolding rollers (not shown) crushes the pod portion 42d of the instant film 42 to develop the developing liquid.
  • the print head 56 is composed of a line-type exposure head, irradiates the exposed surface 42a of the instant film 42 conveyed by the film conveying mechanism 54 with print light line by line, and records a photographed image on the instant film 42 in a single pass. To do.
  • a frame 42i is provided around the observation area 42h, and the captured image is displayed inside the frame 42i.
  • FIG. 5 is a block diagram showing a main part of the electrical configuration of the digital camera 10 with a printer.
  • the digital camera 10 with a printer includes a photographing lens 14, a lens drive unit 62, an image sensor 64, an image sensor drive unit 66, an analog signal processing unit 68, a digital signal processing unit 70, and a memory (storage unit). It includes 72, a memory controller 74, a display 28, a display controller 76, a communication unit 78, and an antenna 80. Further, the digital camera 10 with a printer includes a film transmission drive unit 82, a film transfer drive unit 84, a head drive unit 86, a strobe 88, a strobe light emission control unit 90, a microphone 92, a speaker 94, an audio signal processing unit 96, and a clock unit 97. The operation unit 98 and the camera control unit 100 are provided.
  • the photographing lens 14 forms an optical image of the subject on the light receiving surface of the image sensor 64.
  • the photographing lens 14 has a focus adjustment function and includes an aperture and a shutter (not shown).
  • the lens drive unit 62 includes a motor and its drive circuit that drive the focus adjustment function of the photographing lens 14, a motor that drives the aperture and its drive circuit, and a motor that drives the shutter and its drive circuit, and includes a camera control unit 100.
  • the focus adjustment mechanism, aperture and shutter are operated in response to a command from.
  • the image sensor 64 is composed of a two-dimensional solid-state image sensor such as a CCD image sensor (CCD: Charge Coupled Device) and a CMOS image sensor (CMOS: Complementary Metal Oxide Semiconductor).
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the image sensor 64 has an imaging region having an aspect ratio corresponding to the printable region of the instant film to be used.
  • the image sensor drive unit 66 includes a drive circuit for the image sensor 64, and operates the image sensor 64 in response to a command from the camera control unit 100.
  • the analog signal processing unit 68 takes in the analog image signal for each pixel output from the image sensor 64, performs signal processing (for example, correlation double sampling processing, amplification processing, etc.), digitizes and outputs the signal.
  • signal processing for example, correlation double sampling processing, amplification processing, etc.
  • the digital signal processing unit 70 takes in the digital image signal output from the analog signal processing unit 68, and performs signal processing (for example, gradation conversion processing, white balance correction processing, gamma correction processing, simultaneous processing, YC conversion processing, etc.). ) Is applied to generate image data.
  • signal processing for example, gradation conversion processing, white balance correction processing, gamma correction processing, simultaneous processing, YC conversion processing, etc.
  • the memory 72 is a non-temporary recording medium that stores image data (captured image) and audio data obtained by photographing, and for example, a memory card or the like is used.
  • the memory 72 is an example of a storage unit.
  • the memory controller 74 reads and writes data to and from the memory 72 under the control of the camera control unit 100.
  • the display 28 is composed of, for example, a liquid crystal display (LCD), an organic electro-luminescence display (OELD), or the like.
  • the display 28 may be composed of a plasma display, a field emission display (FED), electronic paper, or the like.
  • the display controller 76 causes the display 28 to display an image under the control of the camera control unit 100.
  • the communication unit 78 wirelessly communicates with another digital camera 10 with a printer (another device) via the antenna 80 under the control of the camera control unit 100.
  • the communication unit 78 can directly communicate with another device at a short distance by short-range wireless communication such as NFC standard (NFC: Near Field Communication) and Bluetooth (registered trademark). Further, the communication unit 78 connects to an information communication network such as the Internet via a Wi-Fi spot (Wi-Fi: registered trademark) or the like, and is connected to another digital camera 10 with a printer (another device) regardless of the distance. Can communicate with.
  • NFC Near Field Communication
  • Bluetooth registered trademark
  • the film delivery drive unit 82 includes a motor for driving a claw (claw-shaped member) (not shown) of the film delivery mechanism 52 and a drive circuit thereof, and drives the motor under the control of the camera control unit 100 to drive the claw. Make it work.
  • the film transport drive unit 84 includes a motor for driving a transport roller pair (not shown) and a drive circuit thereof of the film transport mechanism 54, and a motor for driving a deployment roller pair (not shown) and a drive circuit thereof, and includes a camera control unit 100.
  • the transport roller pair motor and the deployment roller pair motor are driven to operate the transport roller pair and the deployment roller pair.
  • the head drive unit 86 includes a drive circuit for the print head 56, and drives the print head 56 under the control of the camera control unit 100.
  • the strobe 88 includes, for example, a xenon tube, an LED (Light Emitting Diode), or the like as a light source, emits light from the light source, and irradiates the subject with strobe light.
  • the strobe light is emitted from the strobe light emitting window 20 (see FIG. 1) provided in front of the camera body 12.
  • the strobe light emission control unit 90 includes a drive circuit for the strobe 88, and causes the strobe 88 to emit light in response to a command from the camera control unit 100.
  • the microphone 92 collects external sound through the microphone hole 24 (see FIG. 2) provided in the camera body 12.
  • the speaker 94 outputs sound to the outside through the speaker hole 26 provided in the camera body 12.
  • the audio signal processing unit 96 performs signal processing on the audio signal input from the microphone 92, digitizes it, and outputs it. Further, the audio signal processing unit 96 performs signal processing on the audio data given from the camera control unit 100 and outputs the audio data from the speaker 94.
  • the clock unit 97 holds the date and time information, and the camera control unit 100 sets the shooting time (date and time) with reference to this information.
  • the operation unit 98 includes various operation members such as a release button 16, a record button 18, a power button 22a, a menu button 22b, an OK button 22c, a joystick 32a, a print button 32b, a play button 32c, and a cancel button 32d, and signal processing thereof.
  • a circuit is included, and a signal based on the operation of each operating member is output to the camera control unit 100.
  • the camera control unit 100 is a control unit that comprehensively controls the overall operation of the digital camera 10 with a printer.
  • the camera control unit 100 includes a CPU (CPU: Central Processing Unit), a ROM (ROM: Read Only Memory), a RAM (RAM: Random Access Memory), an EEPROM (Electronically Erasable and Programmable Read Only Memory), and the like.
  • the camera control unit 100 is a computer composed of these CPUs and the like, and realizes various functions described below by executing a control program.
  • the digital camera 10 with a printer is equipped with an image processing device 101, and the main function of the image processing device 101 is provided in the camera control unit 100.
  • FIG. 6 is a diagram showing a functional configuration example of the image processing device 101 provided in the camera control unit 100.
  • the image processing device 101 includes an image acquisition unit 100A, a date / time information acquisition unit 100B, an elapsed date / time calculation unit 100C, an image processing unit 100D, a display control unit 100E, and a print control unit 100F.
  • the functions of each part of the camera control unit 100 (image processing device 101) described above can be realized by using various processors and recording media.
  • the various processors include, for example, a CPU, which is a general-purpose processor that executes software (program) to realize various functions.
  • the various processors described above include programmable logic devices (Programmable Logic Device: PLD) such as GPU (Graphics Processing Unit) and FPGA (Field Programmable Gate Array), which are processors specialized in image processing.
  • PLD programmable logic devices
  • GPU Graphics Processing Unit
  • FPGA Field Programmable Gate Array
  • a programmable logic device is a processor whose circuit configuration can be changed after manufacturing.
  • the above-mentioned various processors include a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as an ASIC (Application Specific Integrated Circuit).
  • each part may be realized by one processor, or may be realized by a plurality of processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA, or a combination of a CPU and a GPU). Further, one processor may have a plurality of functions. As an example of configuring a plurality of functions with one processor, first, as represented by a computer, one processor is configured by a combination of one or more CPUs and software, and this processor is used as a plurality of functions. There is a form to be realized.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system with one IC (Integrated Circuit) chip
  • various functions are configured by using one or more of the above-mentioned various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • These electric circuits may be electric circuits that realize the above-mentioned functions by using logical sum, logical product, logical denial, exclusive logical sum, and logical operations combining these.
  • the computer of the software to be executed (various processors and electric circuits constituting the camera control unit 100 (image processing device 101), and / or a combination thereof).
  • the code that can be read by the computer is stored in a non-temporary recording medium such as a ROM, and the computer refers to the software.
  • the software stored in the non-temporary recording medium includes a program for executing the shooting and compositing of captured images and data used in the execution.
  • the non-temporary recording medium for recording the code may be various optical magnetic recording devices, semiconductor memories, or the like instead of the ROM.
  • RAM is used as a temporary storage area during processing using software.
  • the image acquisition unit 100A acquires a photographed image to be processed from the photographed image stored in the memory 72.
  • a plurality of captured images taken by the digital camera 10 with a printer are stored in the memory 72.
  • the captured image has a first date and time information indicating the time of capture.
  • the first date and time information is information having at least one of the year, month, day, and time when the captured image was taken.
  • the captured image to be processed is selected in various modes. For example, a plurality of captured images stored in the memory 72 are listed on the display 28, and the user selects a captured image to be processed from the listed captured images. A single or a plurality of captured images to be processed may be selected, or all of the captured images stored in the memory 72 may be selected.
  • the date / time information acquisition unit 100B acquires the first date / time information and the second date / time information of the captured image acquired by the image acquisition unit 100A.
  • the second date and time information is information indicating the date and time when the captured image to be processed is acquired from the memory 72 by the image acquisition unit 100A.
  • the image processing device 101 immediately performs image processing, so that the second date and time information can be considered to be substantially the same as the information indicating the date and time when the image processing is performed. ..
  • the elapsed date / time calculation unit 100C compares the first date / time information acquired by the date / time information acquisition unit 100B with the second date / time information, and the elapsed date / time from the time of shooting until the image acquisition unit 100A acquires the captured image. Is calculated. For example, when the first date and time information is 9:04 on December 20, 2018, and the second date and time information is 9:06 on December 21, 2018, the elapsed date and time calculation unit 100C , Calculate the elapsed date and time as 1 day and 2 minutes.
  • the image processing unit 100D performs image processing that changes according to the length of the elapsed date and time on the captured image selected as the processing target. That is, the image processing unit 100D performs image processing that changes over time on the captured image. Specifically, the image processing unit 100D selects image processing based on the length of the elapsed date and time from among a plurality of image processes that change according to the length of the elapsed date and time, and processes the selected image processing. Perform on the target captured image.
  • FIG. 7 is a conceptual diagram illustrating the image processing of aging performed by the image processing unit 100D.
  • FIG. 7 shows an example of the relationship between the three preset image processes (image process A, image process B, image process C) (reference numeral 105) performed by the image processing unit 100D and the elapsed date and time T (reference numeral 107). It is shown.
  • Image processing A is performed during the period when the elapsed date and time T is from Ta to Tab
  • image processing B is performed during the period from Tab to Tbc
  • image processing C is performed during the period from Tbc to Tc.
  • the image processing A is selected
  • the image processing B is selected
  • the image processing C is selected.
  • the periods Ta to Tab of the image processing A, the periods Tab to Tbc of the image processing B, and the periods Tbc to Tc of the image processing C are constant, but are not limited thereto.
  • the user may arbitrarily determine the correspondence between a plurality of image processes and the length of the elapsed date and time on the time axis. In the case shown in FIG.
  • the user can arbitrarily set the periods Ta to Tab of the image processing A, the periods Tab to Tbc of the image processing B, and the periods Tbc to Tc of the image processing C.
  • the user inputs the correspondence relationship via the operation unit (relationship input unit) 98.
  • the image processing A, the image processing B, and the image processing C are different image processings from each other, and the captured image is aged by changing the processing contents of the image processing A, the image processing B, and the image processing C.
  • the plurality of preset image processes may be changed according to the shooting mode or shooting conditions. For example, the processing contents of image processing A, image processing B, and image processing C may be changed for each shooting mode, or the processing contents of image processing A, image processing B, and image processing C may be changed for each shooting condition. ..
  • the captured image to be processed by the image processing unit 100D may be stored in the memory 72, and the image-processed captured image may not be stored in the memory 72.
  • the captured image after image processing is stored in the memory 72, the user can enjoy the captured image that has changed over time even after a certain period of time has elapsed. Further, when the captured image after the image processing is not stored in the memory 72, the user enjoys the secular change by printing the captured image after the image processing.
  • the captured image before image processing selected as the processing target may also be stored in the memory 72 or may not be stored in the memory 72.
  • the display control unit 100E causes the display 28 to display the captured image of the processing target for which the image processing unit 100D has performed image processing.
  • the user can enjoy the secular change of the captured image by checking the displayed captured image after the image processing.
  • the print control unit 100F controls the printing of the captured image that has undergone image processing.
  • the print control unit 100F causes the print unit to print a photographed image to be processed that has been image-processed by the image processing unit 100D automatically or in response to a user's instruction.
  • the user can enjoy the secular change of the captured image by checking the captured image after the printed image processing.
  • FIG. 8 is a flowchart showing an image processing method.
  • the image acquisition unit 100A acquires the captured image of the selected processing target (step S10).
  • the date / time information acquisition unit 100B acquires the first date / time information and the second date / time information of the captured image acquired by the image acquisition unit 100A (step S11).
  • the elapsed date and time calculation unit 100C calculates the elapsed date and time from the first date and time information and the second date and time information (step S12).
  • the image processing unit 100D performs image processing based on the calculated length of the elapsed date and time (step S13).
  • the elapsed date and time from the time of shooting is calculated, and the calculated elapsed date and time is selected from a plurality of image processes that change according to the length of the elapsed date and time. Since image processing is performed based on this, it is possible to perform image processing that changes over time on the captured image.
  • the image processing unit 100D changes the entire color of the captured image to be processed according to the length of the elapsed date and time. For example, the image processing unit 100D changes the color of the entire captured image by lightening, darkening, or changing the color according to the length of the elapsed date and time.
  • FIG. 9 is a diagram illustrating image processing in which the overall color of the captured image changes over time.
  • Reference numeral 201 indicates a captured image P1 when the elapsed date and time is T1
  • reference numeral 203 indicates a captured image P1 when the elapsed date and time is T2
  • reference numeral 205 indicates a captured image P1 when the elapsed date and time is T3. ..
  • the length of the elapsed date and time is T1 ⁇ T2 ⁇ T3.
  • the image processing unit 100D performs image processing so as to change the overall color of the captured image according to the length of the elapsed date and time. Specifically, the color of the entire image (for example, sepia color) is gradually darkened in the order of the captured image P1 of reference numeral 201, the captured image P1 of reference numeral 203, and the captured image P1 of reference numeral 205. In this way, the captured image P1 can be changed over time by performing image processing that changes the overall color of the captured image according to the elapsed date and time.
  • the image processing unit 100D changes the color of a part of the subject of the captured image to be processed according to the length of the elapsed date and time.
  • the image processing unit 100D changes the background color of the captured image to be processed by making it lighter, darker, or discolored according to the length of the elapsed date and time.
  • FIG. 10 is a diagram illustrating image processing in which the color of a part of a subject in a captured image changes over time.
  • Reference numeral 207 indicates a captured image P2 when the elapsed date and time is T1
  • reference numeral 209 indicates a captured image P2 when the elapsed date and time is T2
  • reference numeral 211 indicates a captured image P2 when the elapsed date and time is T3. ..
  • the image processing unit 100D performs image processing in which the color of the background 213 of the captured image P2 is gradually lightened according to the length of the elapsed date and time. Specifically, the color of the background 213 is gradually lightened in the order of the captured image P2 of reference numeral 207, the captured image P2 of reference numeral 209, and the captured image P2 of reference numeral 211. In this way, the captured image P2 can be changed over time by lightening the color of the background 213 according to the elapsed date and time.
  • the image processing unit 100D changes a part of the color or a part of the hue of the captured image to be processed according to the length of the elapsed date and time.
  • some colors indicate the same color in the captured image
  • some hues indicate the same hue in the captured image.
  • the same color is a color having the same RGB signal value, and for example, the same hue is a hue belonging to the same group when the hue circle is divided into six equal parts.
  • FIG. 11 is a diagram illustrating image processing in which the same color or hue of a captured image changes over time.
  • Reference numeral 215 indicates a captured image P3 when the elapsed date and time is T1
  • reference numeral 217 indicates a captured image P3 when the elapsed date and time is T2
  • reference numeral 219 indicates a captured image P3 when the elapsed date and time is T3. ..
  • the leaves 221 of the photographed image P3 have the same color.
  • the image processing unit 100D performs image processing that changes the color of the leaves 221 according to the length of the elapsed date and time. Specifically, the color of the leaves 221 is gradually darkened in the order of the photographed image P3 of reference numeral 215, the photographed image P3 of reference numeral 217, and the photographed image P3 of reference numeral 219. In this way, the captured image P3 can be changed over time by changing the color of the leaves 221 according to the elapsed date and time.
  • the image processing unit 100D changes the degree of blurring of a part of the captured image to be processed according to the length of the elapsed date and time. For example, the image processing unit 100D changes the degree of blurring of the foreground or background of a person in a captured image according to the length of the elapsed date and time. In this way, the depth of field of the captured image can be changed in a pseudo manner by changing the degree of blurring of the foreground or the background of the captured image.
  • the image processing unit 100D detects a part of the area that changes the degree of blurring or a part of the area other than the part that changes the degree of blurring, and performs the blurring process. For example, the image processing unit 100D detects a region of a person (face) and performs blur processing on an region (for example, a background) other than the region of the detected person.
  • FIG. 12 is a diagram for explaining image processing in which the degree of blurring of the background of the captured image changes over time.
  • Reference numeral 223 indicates a captured image P4 when the elapsed date and time is T1
  • reference numeral 225 indicates a captured image P4 when the elapsed date and time is T2
  • reference numeral 227 indicates a captured image P4 when the elapsed date and time is T3.
  • the captured image P4 has a person 229 as a main subject and a mountain 231 as a background.
  • the captured image P4 has not been changed by image processing, and no blurring has occurred in the area of the mountain 231.
  • the person 229 In the case of the elapsed date and time T2 (reference numeral 225), the person 229 is in focus, but the mountain 231 as the background is blurred due to image processing. In the figure, the blur is indicated by double lines, and the size of the interval between the double lines indicates the degree of blur.
  • the person 229 is in focus, but the mountain 231 as the background is blurred due to image processing.
  • the degree of blur means the degree of blur, and the degree of blur can be adjusted from a smaller degree of blur to a larger degree of blur in image processing.
  • the degree of blur can be adjusted from a smaller degree of blur to a larger degree of blur in image processing.
  • the image processing unit 100D changes the decorative image added to the captured image to be processed according to the elapsed date and time.
  • the decorative image is an image added to the captured image by image processing, such as cracks, cinema-like vertical stripes, and stains.
  • FIG. 13 is a diagram illustrating image processing in which the decorative image added to the captured image changes over time.
  • Reference numeral 235 indicates a captured image P5 when the elapsed date and time is T1
  • reference numeral 237 indicates a captured image P5 when the elapsed date and time is T2
  • reference numeral 239 indicates a captured image P5 when the elapsed date and time is T3. ..
  • the crack 241 which is a decorative image has not yet been added to the captured image P5.
  • a crack 241 is added to the captured image P5 by image processing.
  • the crack 241 is added to the captured image P5 by image processing.
  • the crack 241 changes from the elapsed date and time T2 (reference numeral 237) to the elapsed date and time T3 (reference numeral 239). Specifically, from the elapsed date and time T2 (reference numeral 237) to the elapsed date and time T3 (reference numeral 239), the cracks 241 become longer or the number of cracks 241 increases. In this way, the captured image P5 can be changed over time by changing the crack 241 added to the captured image P5 according to the elapsed date and time.
  • the secular change image processing performed by the image processing unit 100D is not limited to the above-mentioned specific example.
  • Image processing can be performed on the captured image by using the shooting environment or the sound related to the captured image.
  • the digital camera 10 with a printer is provided with a microphone 92, and can collect the sound of the shooting environment. Therefore, the sound of the shooting environment is collected by the microphone 92, and the camera control unit 100 stores the input sound of the shooting environment in the memory 72 together with the shot image.
  • the image processing unit 100D performs image processing on the captured image by using the sound of the photographing environment stored in the memory 72.
  • FIG. 14 is a diagram showing an example of image processing using the sound of the shooting environment, and is a diagram showing an image taken at the concert venue.
  • the photographed image P6 is an image photographed at the concert venue.
  • the sound of the concert venue is collected by the microphone 92, and image processing is added to the captured image.
  • the photographed image P6 the fact that it is a concert venue is recognized by collecting sound with the microphone 92, and the musical note 250 is added to the photographed image P6.
  • the image processing unit 100D performs soft image processing when collecting the sound of the shooting environment of a classic concert, and edge enhancement or contrast in the case of the sound of a heavy or hard concert shooting environment. Performs strong image processing. Further, when the image processing unit 100D collects the sound of a crowd as the sound of the shooting environment, the image processing unit 100D performs image processing for adding noise to the shot image.
  • a GPS Global Positioning System
  • the image processing unit 100D performs image processing with a live feeling on the shot image.
  • FIG. 15 is a diagram showing an example of processing using information on the photographing location, and is a diagram showing a photographed image of a lion.
  • the photographed image P7 is a photograph of a lion in front of a lion's cage at the zoo.
  • the GPS function detects that the captured image P7 has been photographed in front of the animal lion's cage. Then, the lion's bark is stored in the memory 72 together with the captured image P7, and the explanation (voice or character) of the lion is stored together with the captured image P7.
  • the user can input his / her emotions and perform image processing on the captured image accordingly.
  • an emotion setting screen is displayed on the display 28 of the digital camera 10 with a printer, and the user inputs his / her own emotion via the emotion setting screen.
  • the image processing unit 100D performs image processing on the captured image according to the input emotion.
  • FIG. 16 is a diagram showing an example of an emotion setting screen displayed on the display 28 of the digital camera 10 with a printer.
  • the emotion setting screen shown in FIG. 16 is circular and shows four emotions (normal (H), lucky (I), sad (J), and stunning (K).
  • the user is on the emotion setting screen.
  • Emotions are input by operating each of the levers L.
  • the image processing unit 100D performs image processing on the captured image according to the input emotions.
  • FIG. 17 is a diagram showing an example of image processing according to emotions.
  • the captured image P8 is subjected to image processing according to the emotion input by the user on the emotion setting screen (FIG. 16).
  • the emotion input value display 252 on the emotion setting screen is also displayed together with the captured image P8.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

本発明は、経年変化する画像処理を行うことができる画像処理装置、画像処理方法、撮影装置及びプログラムを提供することを目的とする。画像処理装置101は、撮影時を示す第1の日時情報を有する撮影画像が記憶された記憶部から、処理対象の撮影画像を取得する画像取得部100Aと、処理対象の撮影画像から第1の日時情報を取得し、画像取得部により記憶部から処理対象の撮影画像が取得された日時を示す第2の日時情報を取得する日時情報取得部100Bと、日時情報取得部で取得された第1の日時情報と第2の日時情報とを比較して、撮影時からの経過日時を算出する経過日時算出部100Cと、経過日時の長さに応じて変化する複数の画像処理のうちから、経過日時の長さに基づいて画像処理を選択し、選択された画像処理を処理対象の撮影画像に行う画像処理部100Dと、を備える。

Description

画像処理装置、画像処理方法、撮影装置及びプログラム
 本発明は、画像処理装置、画像処理方法、撮影装置及びプログラムに関して、撮影時からの経過日時の長さに応じて画像処理を変化させる画像処理装置、画像処理方法、撮影装置及びプログラムに関する。
 従来より、画像に対して所定の処理を行い、画像を見る人に対して、より興味を抱かせるための技術が提案されてきた。
 例えば、特許文献1では、複数の画像コンテンツを連続的に出力する際に、各画像コンテンツが有する属性情報に対応するエフェクトを挿入して画像コンテンツを連続的に出力する技術が記載されている。
特開2008-61032号公報
 ここで、人に興味を抱かせる変化の一つとして経年変化がある。例えば、革製品は使用年数に応じて徐々に革の表面が変化し、その変化毎に異なる美観を与える。また例えば、酒の味は貯蔵期間に応じて徐々に変化し、酒を飲む人はその味の変化を楽しむことができる。
 上述した特許文献1では、コンテンツの記録日時と再生日時とを比較して、その値が閾値以上である場合にはセピアエフェクトが選択されるという技術が記載されているが(特許文献1:段落0055)、この変化は一度きりの変化であり、経過する時間に応じて徐々に変化する経年変化ではない。
 本発明はこのような事情に鑑みてなされたもので、その目的は、経年変化する画像処理を行うことができる画像処理装置、画像処理方法、撮影装置及びプログラムを提供することである。
 上記目的を達成するための本発明の一の態様である画像処理装置は、撮影時を示す第1の日時情報を有する撮影画像が記憶された記憶部から、処理対象の撮影画像を取得する画像取得部と、処理対象の撮影画像から第1の日時情報を取得し、画像取得部により記憶部から処理対象の撮影画像が取得された日時を示す第2の日時情報を取得する日時情報取得部と、日時情報取得部で取得された第1の日時情報と第2の日時情報とを比較して、撮影時からの経過日時を算出する経過日時算出部と、経過日時の長さに応じて変化する複数の画像処理のうちから、経過日時の長さに基づいて画像処理を選択し、選択された画像処理を処理対象の撮影画像に行う画像処理部と、を備える。
 本態様によれば、撮影時からの経過日時が算出され、経過日時の長さに応じて変化する複数の画像処理のうちから、算出された経過日時の長さに基づいて画像処理が行われる。これにより、本態様は、経年変化する画像処理を撮影画像に行うことができる。
 好ましくは、画像処理装置は、画像処理部で画像処理が行われた処理対象の撮影画像を表示部に表示させる表示制御部を備える。
 好ましくは、画像処理装置は、画像処理部で画像処理が行われた処理対象の撮影画像を印刷部に印刷させる印刷制御部を備える。
 好ましくは、画像処理部により画像処理が行われた処理対象の撮影画像と、画像処理部により画像処理が行われる前の処理対象の撮影画像とが記憶部に記憶される。
 好ましくは、画像処理部により画像処理が行われた処理対象の撮影画像は、記憶部に記憶されない。
 好ましくは、画像処理装置は、複数の画像処理と経過日時の長さとの時間軸における対応関係の入力を受け付ける関係入力部を備える。
 好ましくは、画像処理部は、処理対象の撮影画像の全体の色を経過日時の長さに応じて変化させる。
 好ましくは、画像処理部は、処理対象の撮影画像の一部の被写体の色を経過日時の長さに応じて変化させる。
 好ましくは、画像処理部は、処理対象の撮影画像の背景の色を経過日時の長さに応じて薄くする。
 好ましくは、画像処理部は、処理対象の撮影画像の一部の色又は一部の色相を経過日時の長さに応じて変化させる。
 好ましくは、画像処理部は、処理対象の撮影画像の一部の領域のぼけ具合を経過日時の長さに応じて変化させる。
 好ましくは、画像処理部は、撮影画像の人物の前景または背景のぼけ具合を、経過日時の長さに応じて変化させる。
 好ましくは、画像処理部は、処理対象の撮影画像に追加される装飾画像を経過日時に応じて変化させる。
 本発明の他の態様である撮影装置は、上述の画像処理装置を搭載する。
 好ましくは、撮影装置は、複数の撮影モードのうちから一つの撮影モードを設定する撮影モード設定部を備え、画像処理部は、撮影モード設定部で設定された撮影モードに応じて、経過日時の長さに応じて変化する複数の画像処理を変える。
 本発明の他の態様である画像処理方法は、撮影時を示す第1の日時情報を有する撮影画像が記憶された記憶部から、処理対象の撮影画像を取得するステップと、処理対象の撮影画像から第1の日時情報を取得し、記憶部から処理対象の撮影画像が取得された日時を示す第2の日時情報を取得するステップと、第1の日時情報と第2の日時情報とを比較して、撮影時からの経過日時を算出するステップと、経過日時の長さに応じて変化する複数の画像処理のうちから、経過日時の長さに基づいて画像処理を選択し、選択された画像処理を処理対象の撮影画像に行うステップと、を含む。
 本発明の他の態様であるプログラムは、撮影時を示す第1の日時情報を有する撮影画像が記憶された記憶部から、処理対象の撮影画像を取得するステップと、処理対象の撮影画像から第1の日時情報を取得し、記憶部から処理対象の撮影画像が取得された日時を示す第2の日時情報を取得するステップと、第1の日時情報と第2の日時情報とを比較して、撮影時からの経過日時を算出するステップと、経過日時の長さに応じて変化する複数の画像処理のうちから、経過日時の長さに基づいて画像処理を選択し、選択された画像処理を処理対象の撮影画像に行うステップと、を含む画像処理工程をコンピュータに実行させる。
 本発明によれば、撮影時からの経過日時が算出され、経過日時の長さに応じて変化する複数の画像処理のうちから、算出された経過日時の長さに基づいて画像処理が行われるので、経年変化する画像処理を撮影画像に行うことができる。
図1は、プリンタ付きデジタルカメラの一例を示す正面斜視図である。 図2は、プリンタ付きデジタルカメラの背面斜視図である。 図3は、インスタントフィルムの正面図である。 図4は、インスタントフィルムの背面図である。 図5は、プリンタ付きデジタルカメラの電気的構成の主要部を示すブロック図である。 図6は、画像処理装置の機能構成例を示す図である。 図7は、画像処理部で行われる経年変化の画像処理に関して説明する概念図である。 図8は、画像処理方法を示すフローチャートである。 図9は、撮影画像の全体の色が経年変化する画像処理を説明する図である。 図10は、撮影画像の一部の被写体の色が経年変化する画像処理を説明する図である。 図11は、撮影画像の同一の色又は色相が経年変化する画像処理を説明する図である。 図12は、撮影画像の一部の領域のぼけ具合が経年変化する画像処理を説明する図である。 図13は、撮影画像に追加される装飾画像が経年変化する画像処理を説明する図である。 図14は、撮影環境の音を利用した画像処理の例を示す図である。 図15は、撮影場所の情報を利用した処理の例を示す図である。 図16は、感情設定画面の一例を示す図である。 図17は、感情に応じた画像処理の例を示す図である。
 以下、添付図面にしたがって、本発明に係る画像処理装置、画像処理方法、撮影装置及びプログラムの好ましい実施の形態について説明する。
 <プリンタ付きデジタルカメラ>
 本発明の画像処理装置101(図6を参照)を搭載するプリンタ付きデジタルカメラ(撮影装置)10は、プリンタを内蔵したデジタルカメラであり、撮影した画像(撮影画像)をその場でプリントする機能を有する。プリンタ付きデジタルカメラ10は、インスタントフィルムパックを使用して、インスタントフィルムにプリントする。また、本実施形態のプリンタ付きデジタルカメラ10は、録音機能を有し、撮影画像に関連付けて音声を記録することができる。
 [外観構成]
 図1は、プリンタ付きデジタルカメラの一例を示す正面斜視図である。図2は、図1に示すプリンタ付きデジタルカメラの背面斜視図である。
 図1及び図2に示すように、プリンタ付きデジタルカメラ10は、携帯可能なカメラボディ12を有する。カメラボディ12は、前後方向の厚みが薄く、横方向の寸法に比して縦方向の寸法が長い、縦長の直方体形状を有する。
 カメラボディ12の正面側には、図1に示すように、撮影レンズ14、レリーズボタン16、録音ボタン18、ストロボ発光窓20等が備えられる。また、カメラボディ12の一方側の側面には、電源ボタン22a、メニューボタン22b、OKボタン22c、モード切替えボタン22d、マイク穴24、スピーカ穴26等が備えられる。レリーズボタン16は、撮影画像の記録を指示するボタンである。電源ボタン22aは、プリンタ付きデジタルカメラ10の電源をオン及びオフするボタンである。メニューボタン22bは、メニュー画面を呼び出すボタンである。OKボタン22Cは、OKを指示するボタンである。モード切替えボタン22dは、撮影モードにおいて、オートプリントモードとマニュアルプリントモードとを切り替えるボタンである。なお、メニューボタン22bでメニュー画面を呼び出し、撮影モード変更画面を表示させOKボタン22Cで決定することにより、撮影モードの変更を行うことができる。各撮影モードではそれぞれ適した撮影条件が設定されている。撮影モードには、例えばポートレートモードや風景モードがある。この場合メニューボタン22bおよびOKボタン22cは、撮影モード設定部を構成する。
 カメラボディ12の背面側には、図2に示すように、タッチパネル型のディスプレイ(表示部)28、フィルム蓋カバー30、各種操作ボタン類が備えられる。フィルム蓋カバー30は、フィルム装填室を開閉するカバーである。操作ボタン類には、ジョイスティック32a、プリントボタン32b、再生ボタン32c、キャンセルボタン32d等が含まれる。プリントボタン32bは、プリントを指示するボタンである。再生ボタン32cは、再生モードへの切り替えを指示するボタンである。キャンセルボタン32dは、操作のキャンセルを指示するボタンである。
 カメラボディ12の上面には、図1及び図2に示すように、フィルム排出口34が備えられる。プリントされたインスタントフィルムは、このフィルム排出口34から排出される。
 [プリンタ付きデジタルカメラのプリンタ部分の構成]
 プリンタ付きデジタルカメラ10は、プリント部であるプリンタ部分の構成要素として、フィルム装填室(不図示)、フィルム送出機構52、フィルム搬送機構54、プリントヘッド56等を備える(図5を参照)。フィルム装填室には、複数枚のインスタントフィルムがケースに収容された構造のインスタントフィルムパックが装填される。図3はインスタントフィルム42の正面図であり、図4はインスタントフィルム42の背面図である。図3及び図4において、矢印Fで示す方向がインスタントフィルム42の使用方向であり、インスタントフィルム42は矢印Fで示す方向に搬送される。したがって、プリンタ付きデジタルカメラ10に装填した場合は、矢印Fで示す方向がインスタントフィルム42の排出方向となる。
 インスタントフィルム42は、矩形のカード形状を有する自己現像型インスタントフィルムである。インスタントフィルム42は、裏面側が露光面42a、正面側が観察面42bとして構成される。露光面42aは露光により像を記録する面であり、観察面42bは記録された像を観察する面である。
 図3に示すように、インスタントフィルム42の観察面42bには観察領域42hが備えられる。また、図4に示すように、インスタントフィルム42の露光面42aには露光領域42c、ポッド部42d、及び、トラップ部42fが備えられる。インスタントフィルム42は、露光後、ポッド部42dの現像処理液を露光領域42cに展開させることにより現像処理される。ポッド部42dには、現像処理液を内包した現像処理液ポッド42eが内蔵される。ポッド部42dの現像処理液は、インスタントフィルム42をローラ対の間に通すことでポッド部42dから絞り出され、露光領域42cに展開される。展開処理時に余った現像処理液が、トラップ部42fで捕捉される。トラップ部42fには、吸収材42gが内蔵される。
 インスタントプリントパックはカメラボディ12の内部に設けられた図示せぬフィルム装填室に装填される。プリントの際はフィルム送出機構52の図示せぬクロー(爪状部材)によりフィルムが1枚ずつ送出され、フィルム搬送機構54の図示せぬローラにより搬送される。また、搬送過程では図示せぬ展開ローラ対がインスタントフィルム42のポッド部42dを押しつぶして、現像処理液を展開処理する。プリントヘッド56はライン型の露光ヘッドで構成され、フィルム搬送機構54によって搬送されるインスタントフィルム42の露光面42aに1ラインずつプリント光を照射して、シングルパスでインスタントフィルム42に撮影画像を記録する。観察領域42hの周囲には枠42iが備えられ、撮影画像は枠42iの内側に表示される。
 [プリンタ付きデジタルカメラの電気的構成]
 図5は、プリンタ付きデジタルカメラ10の電気的構成の主要部を示すブロック図である。
 同図に示すように、プリンタ付きデジタルカメラ10は、撮影レンズ14、レンズ駆動部62、イメージセンサ64、イメージセンサ駆動部66、アナログ信号処理部68、デジタル信号処理部70、メモリ(記憶部)72、メモリコントローラ74、ディスプレイ28、表示コントローラ76、通信部78、アンテナ80を備える。また、プリンタ付きデジタルカメラ10は、フィルム送出駆動部82、フィルム搬送駆動部84、ヘッド駆動部86、ストロボ88、ストロボ発光制御部90、マイクロフォン92、スピーカ94、音声信号処理部96、時計部97、操作部98、カメラ制御部100を備える。
 撮影レンズ14は、被写体の光学像をイメージセンサ64の受光面上に結像させる。撮影レンズ14は、焦点調節機能を有し、図示しない絞り及びシャッタを備える。レンズ駆動部62は、撮影レンズ14の焦点調節機能を駆動するモータ及びその駆動回路、絞りを駆動するモータ及びその駆動回路、並びに、シャッタを駆動するモータ及びその駆動回路を含み、カメラ制御部100からの指令に応じて、焦点調節機構、絞り及びシャッタを動作させる。
 イメージセンサ64は、例えばCCDイメージセンサ(CCD:Charge Coupled Device)、CMOSイメージセンサ(CMOS:Complementary Metal Oxide Semiconductor)等の二次元の固体撮像素子で構成される。イメージセンサ64は、使用するインスタントフィルムのプリント可能領域に対応したアスペクト比の撮像領域を有する。イメージセンサ駆動部66は、イメージセンサ64の駆動回路を含み、カメラ制御部100からの指令に応じて、イメージセンサ64を動作させる。
 アナログ信号処理部68は、イメージセンサ64から出力される画素ごとのアナログの画像信号を取り込み、信号処理(例えば、相関二重サンプリング処理、増幅処理等)を施し、デジタル化して出力する。
 デジタル信号処理部70は、アナログ信号処理部68から出力されるデジタルの画像信号を取り込み、信号処理(例えば、階調変換処理、ホワイトバランス補正処理、ガンマ補正処理、同時化処理、YC変換処理等)を施して、画像データを生成する。
 メモリ72は、撮影により得られた画像データ(撮影画像)及び音声データを記憶する非一時的記録媒体であり、例えばメモリカード等が用いられる。メモリ72は、記憶部の一例である。メモリコントローラ74は、カメラ制御部100による制御の下、メモリ72にデータを読み書きする。
 ディスプレイ28は、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)、有機エレクトロルミネッセンスディスプレイ(Organic Electro-Luminescence Display;OELD)等で構成される。この他、ディスプレイ28をプラズマディスプレイ、電界放出ディスプレイ(Field Emission Display;FED)、電子ペーパ等で構成してもよい。表示コントローラ76は、カメラ制御部100による制御の下、ディスプレイ28に映像を表示させる。
 通信部78は、カメラ制御部100による制御の下、アンテナ80を介して他のプリンタ付きデジタルカメラ10(他機)と無線で通信する。通信部78は、例えば、NFC規格(NFC:Near Field Communication)、Bluetooth(登録商標)、等の近距離無線通信により近距離で他機と直接通信することができる。また、通信部78は、Wi-Fiスポット(Wi-Fi:登録商標)等を介してインターネット等の情報通信ネットワークに接続し、他のプリンタ付きデジタルカメラ10(他機)と、距離を問わずに通信することができる。
 フィルム送出駆動部82は、フィルム送出機構52の図示せぬクロー(爪状部材)を駆動するモータ、及び、その駆動回路を含み、カメラ制御部100による制御の下、モータを駆動してクローを動作させる。
 フィルム搬送駆動部84は、フィルム搬送機構54の図示せぬ搬送ローラ対を駆動するモータ及びその駆動回路、並びに、図示せぬ展開ローラ対を駆動するモータ及びその駆動回路を含み、カメラ制御部100による制御の下、搬送ローラ対のモータ及び展開ローラ対のモータを駆動して、搬送ローラ対及び展開ローラ対を動作させる。
 ヘッド駆動部86は、プリントヘッド56の駆動回路を含み、カメラ制御部100の制御の下、プリントヘッド56を駆動する。
 ストロボ88は、光源として、例えばキセノン管、LED(Light Emitting Diode)等を備え、その光源を発光させて、被写体にストロボ光を照射する。ストロボ光は、カメラボディ12の正面に備えられたストロボ発光窓20(図1参照)から照射される。ストロボ発光制御部90は、ストロボ88の駆動回路を含み、カメラ制御部100からの指令に応じて、ストロボ88を発光させる。
 マイクロフォン92は、カメラボディ12に備えられたマイク穴24(図2参照)を介して外部の音声を集音する。スピーカ94は、カメラボディ12に備えられたスピーカ穴26から外部に音声を出力する。音声信号処理部96は、マイクロフォン92から入力される音声信号に信号処理を施し、デジタル化して出力する。また、音声信号処理部96は、カメラ制御部100から与えられる音声データに信号処理を施して、スピーカ94から出力させる。時計部97は日時の情報を保持し、カメラ制御部100はこの情報を参照して撮影時刻(日時)を設定する。
 操作部98は、レリーズボタン16、録音ボタン18、電源ボタン22a、メニューボタン22b、OKボタン22c、ジョイスティック32a、プリントボタン32b、再生ボタン32c、キャンセルボタン32d等の各種操作部材、及び、その信号処理回路を含み、各操作部材の操作に基づく信号をカメラ制御部100に出力する。
 カメラ制御部100は、プリンタ付きデジタルカメラ10の全体の動作を統括制御する制御部である。カメラ制御部100は、CPU(CPU:Central Processing Unit)、ROM(ROM:Read Only Memory)、RAM(RAM:Random Access Memory)、及びEEPROM(Electronically Erasable and Programmable Read Only Memory)等を備える。カメラ制御部100はこれらCPU等により構成されるコンピュータであり、制御プログラムを実行することにより以下に説明する各種機能を実現する。
 <画像処理装置の機能構成>
 プリンタ付きデジタルカメラ10は、画像処理装置101を搭載し、画像処理装置101の主な機能はカメラ制御部100に設けられる。
 図6は、カメラ制御部100に設けられる画像処理装置101の機能構成例を示す図である。画像処理装置101は、画像取得部100A、日時情報取得部100B、経過日時算出部100C、画像処理部100D、表示制御部100E及び印刷制御部100Fを備える。
 上述したカメラ制御部100(画像処理装置101)の各部の機能は、各種のプロセッサ(processor)及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア(プログラム)を実行して各種の機能を実現する汎用的なプロセッサであるCPUが含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイス(Programmable Logic Device:PLD)も含まれる。プログラマブルロジックデバイスは、製造後に回路構成を変更可能なプロセッサである。さらに、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
 各部の機能は1つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ)で実現されてもよい。また、1つのプロセッサが複数の機能を備えていてもよい。複数の機能を1つのプロセッサで構成する例としては、第1に、コンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、システム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを1つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。
 上述したプロセッサあるいは電気回路がソフトウェア(プログラム)を実行する際は、実行するソフトウェアのコンピュータ(カメラ制御部100(画像処理装置101)を構成する各種のプロセッサや電気回路、及び/またはそれらの組み合わせ)で読み取り可能なコードをROM等の非一時的記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、撮影画像の撮影や合成を実行するためのプログラム及び実行に際して用いられるデータを含む。コードを記録する非一時的記録媒体は、ROMではなく各種の光磁気記録装置、半導体メモリ等でもよい。ソフトウェアを用いた処理の際には例えばRAMが一時的記憶領域として用いられる。
 画像取得部100Aは、メモリ72に記憶されている撮影画像から処理対象の撮影画像を取得する。メモリ72には、プリンタ付きデジタルカメラ10で撮影された複数の撮影画像が記憶されている。撮影画像は、撮影時を示す第1の日時情報を有する。ここで、第1の日時情報とは、撮影画像が撮影された年、月、日及び時間のうち少なくとも一つを有する情報である。メモリ72に記憶される複数の撮影画像から、処理対象である撮影画像の選択は様々な態様で選択される。例えば、メモリ72に記憶されている複数の撮影画像がディスプレイ28に一覧表示され、ユーザは、一覧表示された撮影画像の中から処理対象の撮影画像を選択する。なお、処理対象の撮影画像は、単数又は複数選択されてもよいし、またメモリ72に記憶されている撮影画像の全てが選択されてもよい。
 日時情報取得部100Bは、画像取得部100Aで取得された撮影画像の第1の日時情報と第2の日時情報とを取得する。ここで第2の日時情報は、画像取得部100Aによりメモリ72から処理対象の撮影画像が取得された日時を示す情報である。画像取得部100Aにより撮影画像が取得されると、画像処理装置101は即座に画像処理を行うので、第2の日時情報は、画像処理が行われる日時を示す情報と略同一と考えることができる。
 経過日時算出部100Cは、日時情報取得部100Bで取得された第1の日時情報と第2の日時情報とを比較して、撮影時から画像取得部100Aが撮影画像を取得するまでの経過日時を算出する。例えば、第1の日時情報として、2018年12月20日9時04分であり、第2の日時情報が2018年12月21日9時06分である場合には、経過日時算出部100Cは、経過日時を1日と2分と算出する。
 画像処理部100Dは、経過日時の長さに応じて変化する画像処理を、処理対象として選択された撮影画像に行う。すなわち、画像処理部100Dは、経年変化する画像処理を撮影画像に行う。具体的には、画像処理部100Dは、経過日時の長さに応じて変化する複数の画像処理のうちから、経過日時の長さに基づいて画像処理を選択し、選択された画像処理を処理対象の撮影画像に行う。
 図7は、画像処理部100Dで行われる経年変化の画像処理に関して説明する概念図である。図7には、画像処理部100Dが行う予め設定された3つの画像処理(画像処理A、画像処理B、画像処理C)(符号105)と経過日時T(符号107)との関係の一例が示されている。経過日時TがTa~Tabまでの期間では画像処理Aが行われ、Tab~Tbcまでの期間では画像処理Bが行われ、Tbc~Tcまでの期間では画像処理Cが行われる。例えば、経過日時T1の場合には画像処理Aが選択され、経過日時T2の場合には画像処理Bが選択され、経過日時T3の場合には画像処理Cが選択される。なお、図7に示す場合では、画像処理Aの期間Ta~Tab、画像処理Bの期間Tab~Tbc、画像処理Cの期間Tbc~Tcは一定であるが、これに限定されるものではない。ユーザが任意に複数の画像処理と経過日時の長さとの時間軸における対応関係を決定してもよい。図7で示す場合では、ユーザは画像処理Aの期間Ta~Tab、画像処理Bの期間Tab~Tbc、画像処理Cの期間Tbc~Tcを任意に設定することができる。この場合ユーザは、操作部(関係入力部)98を介して、対応関係の入力を行う。なお、画像処理A、画像処理B及び画像処理Cは、相互に異なる画像処理であり、画像処理A、画像処理B、画像処理Cと処理内容が変化することにより、撮影画像を経年変化させる。また、予め設定される複数の画像処理は、撮影モードまたは撮影条件に応じてその処理内容を変えてもよい。例えば、撮影モード毎に画像処理A、画像処理B及び画像処理Cの処理内容を変えてもよいし、撮影条件毎に画像処理A、画像処理B及び画像処理Cの処理内容を変えてもよい。
 画像処理部100Dにより、画像処理が行われた処理対象の撮影画像は、メモリ72に記憶されてもよいし、また、画像処理された撮影画像はメモリ72には記憶させなくてもよい。画像処理後の撮影画像がメモリ72に記憶される場合には、ユーザは経年変化した撮影画像を一定の時間が経過した後でも楽しむことができる。また、画像処理後の撮影画像がメモリ72に記憶されない場合には、ユーザは画像処理後に撮影画像を印刷等して経年変化を楽しむ。なお、処理対象として選択された画像処理前の撮影画像についても、メモリ72に記憶されてもよいし、メモリ72に記憶されなくてもよい。
 図6に戻って、表示制御部100Eは、画像処理部100Dで画像処理が行われた処理対象の撮影画像をディスプレイ28に表示させる。ユーザは、表示された画像処理後の撮影画像を確認することにより、撮影画像の経年変化を楽しむことができる。
 印刷制御部100Fは、画像処理が行われた撮影画像の印刷を制御する。例えば、印刷制御部100Fは、自動的に、又はユーザの指示に応じて画像処理部100Dで画像処理が行われた処理対象の撮影画像を印刷部に印刷させる。ユーザは、印刷された画像処理後の撮影画像を確認することにより、撮影画像の経年変化を楽しむことができる。
 次に、画像処理装置101を使用した画像処理方法(画像処理工程)に関して説明する。図8は、画像処理方法を示すフローチャートである。
 先ず、画像取得部100Aにより、選択された処理対象の撮影画像が取得される(ステップS10)。その後、日時情報取得部100Bにより、画像取得部100Aで取得された撮影画像の第1の日時情報及び第2の日時情報が取得される(ステップS11)。次に、経過日時算出部100Cにより、第1の日時情報及び第2の日時情報から経過日時が算出される(ステップS12)。その後、画像処理部100Dにより、算出された経過日時の長さに基づいて画像処理が行われる(ステップS13)。
 上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
 以上説明したように、本実施態様によれば、撮影時からの経過日時が算出され、経過日時の長さに応じて変化する複数の画像処理のうちから、算出された経過日時の長さに基づいて画像処理が行われるので、経年変化する画像処理を撮影画像に行うことができる。
 <経年変化の画像処理の例>
 次に、画像処理部100Dで行われる経年変化の画像処理に関して説明する。画像処理部100Dで行われる経年変化の画像処理は、様々な態様が採用される。以下に、経年変化の画像処理の具体例を説明する。
 [第1の例]
 第1の例では、画像処理部100Dは、処理対象の撮影画像の全体の色を経過日時の長さに応じて変化させる。例えば、画像処理部100Dは、経過日時の長さに応じて撮影画像の全体の色を薄くしたり、濃くしたり、変色させて変化させる。
 図9は、撮影画像の全体の色が経年変化する画像処理を説明する図である。
 符号201では経過日時がT1の場合の撮影画像P1を示し、符号203では経過日時がT2の場合の撮影画像P1を示し、符号205では経過日時がT3の場合の撮影画像P1が示されている。なお、経過日時の長さはT1<T2<T3である。
 図9に示すように、画像処理部100Dは、経過日時の長さに応じて撮影画像の全体の色を変えるように画像処理を行う。具体的には、符号201の撮影画像P1、符号203の撮影画像P1、符号205の撮影画像P1の順で、画像全体の色(例えばセピア色)を徐々に濃くしていく。このように、経過日時に応じて、撮影画像の全体の色を変える画像処理を行うことにより、撮影画像P1を経年変化させることができる。
 [第2の例]
 第2の例では、画像処理部100Dは、処理対象の撮影画像の一部の被写体の色を経過日時の長さに応じて変化させる。例えば、画像処理部100Dは、処理対象の撮影画像の背景の色を経過日時の長さに応じて薄くしたり、濃くしたり、変色させて変化させる。
 図10は、撮影画像の一部の被写体の色が経年変化する画像処理を説明する図である。
 符号207では経過日時がT1の場合の撮影画像P2を示し、符号209では経過日時がT2の場合の撮影画像P2を示し、符号211では経過日時がT3の場合の撮影画像P2が示されている。
 図10に示すように、画像処理部100Dは、経過日時の長さに応じて、撮影画像P2の背景213の色を徐々に薄くする画像処理を行う。具体的には、符号207の撮影画像P2、符号209の撮影画像P2、符号211の撮影画像P2の順で、背景213の色を徐々に薄くしていく。このように、経過日時に応じて、背景213の色を薄くすることによって、撮影画像P2を経年変化させることができる。
 [第3の例]
 第3の例では、画像処理部100Dは、処理対象の撮影画像の一部の色又は一部の色相を、経過日時の長さに応じて変化させる。ここで、一部の色とは撮影画像中の同一の色を示し、一部の色相とは撮影画像中の同一の色相を示す。なお、例えば同一の色とはRGBの信号値が等しい色であり、例えば同一の色相とは色相環を6等分した場合に同じグループに属する色相である。
 図11は、撮影画像の同一の色又は色相が経年変化する画像処理を説明する図である。
 符号215では経過日時がT1の場合の撮影画像P3を示し、符号217では経過日時がT2の場合の撮影画像P3を示し、符号219では経過日時がT3の場合の撮影画像P3が示されている。なお、撮影画像P3の木の葉221は同じ色を有する。
 図11に示すように、画像処理部100Dは、経過日時の長さに応じて、木の葉221の色を変える画像処理を行う。具体的には、符号215の撮影画像P3、符号217の撮影画像P3、符号219の撮影画像P3の順で、木の葉221の色を徐々に濃くしていく。このように、経過日時に応じて、木の葉221の色を変えることによって、撮影画像P3を経年変化させることができる。
 [第4の例]
 第4の例では、画像処理部100Dは、処理対象の撮影画像の一部の領域のぼけ具合を経過日時の長さに応じて変化させる。例えば、画像処理部100Dは、撮影画像の人物の前景または背景のぼけ具合を経過日時の長さに応じて変化させる。このように、撮影画像の前景または背景のぼけ具合を変化させることにより、撮影画像の被写界深度を疑似的に変化させることができる。なお、画像処理部100Dは、ぼけ具合を変化させる一部の領域、または、ぼけ具合を変化させる一部の領域以外の領域を検出してぼけ処理を行う。例えば画像処理部100Dは、人物(顔)の領域を検出し、検出した人物の領域以外の領域(例えば背景)に対してぼけ処理をおこなう。
 図12は、撮影画像の背景のぼけ具合が経年変化する画像処理を説明する図である。
 符号223では経過日時がT1の場合の撮影画像P4を示し、符号225では経過日時がT2の場合の撮影画像P4を示し、符号227では経過日時がT3の場合の撮影画像P4が示されている。撮影画像P4は、主要被写体である人229、背景である山231を有する。
 経過日時T1の場合(符号223)には、撮影画像P4には画像処理による変化は加えられていなく、山231の領域にぼけが発生していない。経過日時T2の場合(符号225)には、人229にピントがあっているが、背景である山231は画像処理によりぼけが発生している。なお、図ではぼけを二重線で示し、二重線の間隔の大きさはぼけ具合の大きさを示している。経過日時T3の場合(符号227)には、人229にピントがあっているが、背景である山231は画像処理によりぼけが発生している。また、経過日時T3の場合(符号227)には、経過時間T2と比べてぼけ具合が大きくなるように画像処理が行われている。ここでぼけ具合とは、ぼけの程度を意味し画像処理により小さいぼけ具合から大きいぼけ具合に調節することができる。このように、経過日時に応じて、撮影画像P4の背景である山231のぼけ具合を大きくすると、疑似的に撮影画像P4の被写界深度を浅くすることができ、撮影画像P4を経年変化させることができる。
 [第5の例]
 第5の例では、画像処理部100Dは、処理対象の撮影画像に追加される装飾画像を経過日時に応じて変化させる。ここで、装飾画像とは、撮影画像に画像処理で追加される画像であり、例えばヒビ、シネマ風の縦筋、及びシミなどである。
 図13は、撮影画像に追加される装飾画像が経年変化する画像処理を説明する図である。
 符号235では経過日時がT1の場合の撮影画像P5を示し、符号237では経過日時がT2の場合の撮影画像P5を示し、符号239では経過日時がT3の場合の撮影画像P5が示されている。
 経過日時T1の場合(符号235)には、未だ撮影画像P5には装飾画像であるヒビ241の追加はされていない。経過日時T2の場合(符号237)には、撮影画像P5にヒビ241が画像処理により追加される。経過日時T3の場合(符号239)には、撮影画像P5にヒビ241が画像処理により追加される。
 図13に示した場合では、経過日時T2(符号237)から経過日時T3(符号239)で、ヒビ241は変化している。具体的には、経過日時T2(符号237)から経過日時T3(符号239)で、ヒビ241が長くなっていたり、ヒビ241の本数が増えていたりする。このように、経過日時に応じて、撮影画像P5に追加するヒビ241を変化させることにより撮影画像P5を経年変化させることができる。
 以上、画像処理部100Dで行われる経年変化の画像処理の具体例について説明してきたが、画像処理部100Dで行われる経年変化の画像処理は、上述の具体例に限定されるものではない。
 <その他>
 本実施形態では、撮影画像の撮影時からの経過日時に応じて、画像処理を変化させる態様について説明してきたが、画像を見る人に対して、興味を抱かせるような処理は他にもある。以下に他の例を説明する。
 [音を利用した処理]
 撮影環境または撮影画像に関連する音を利用することによって、撮影画像に対して画像処理を行うことができる。プリンタ付きデジタルカメラ10には、マイクロフォン92が備えられており、撮影環境の音を集音することができる。したがって、撮影環境の音をマイクロフォン92により集音し、カメラ制御部100は、入力された撮影環境の音を撮影画像と共にメモリ72に記憶させる。画像処理部100Dは、メモリ72に記憶された撮影環境の音を利用して、撮影画像に対して画像処理を行う。
 図14は、撮影環境の音を利用した画像処理の例を示す図であり、コンサート会場で撮影された画像を示す図である。
 撮影画像P6は、コンサート会場で撮影された画像である。例えば、マイクロフォン92によりコンサート会場の音を集音して、撮影画像に画像処理を加える。撮影画像P6では、コンサート会場であることをマイクロフォン92で集音することにより認識して、撮影画像P6に音符250が加えられている。また、画像処理部100Dは、クラシックコンサートの撮影環境の音を集音した場合にはソフトな画像処理を行ったり、ヘビーやハードなコンサートの撮影環境の音の場合には、エッジ強調やコントラストの強い画像処理を行ったりする。また、画像処理部100Dは、撮影環境の音として人混みの音を集音した場合には、撮影画像に対してノイズを追加する画像処理を行う。
 [撮影場所の情報を利用した処理]
 撮影場所の情報を利用することによって、撮影画像に撮影場所に応じた画像処理を行ったり、撮影画像に関連する情報を付加する。プリンタ付きデジタルカメラ10にGPS(Global Positioning System)機能を設けて、撮影場所を検知し、撮影場所に応じて撮影画像に対して様々な処理を行う。例えば、画像処理部100Dは、コンサート会場での撮影の場合には、ライブ感のある画像処理を撮影画像に対して行う。
 図15は、撮影場所の情報を利用した処理の例を示す図であり、ライオンを撮影した撮影画像を示す図である。
 撮影画像P7は、動物園のライオンの檻の前でライオンを撮影したものである。プリンタ付きデジタルカメラ10にGPS機能が備えられている場合には、そのGPS機能により、撮影画像P7の撮影が動物のライオンの檻の前で行われたことを検知する。そして、撮影画像P7と共にライオンの鳴き声がメモリ72に記憶されたり、撮影画像P7と共にライオンの説明(音声または文字)が記憶されたりする。
 [感情を利用した処理]
 ユーザが自分の感情を入力し、それに応じた画像処理を撮影画像に行うことができる。例えば、プリンタ付きデジタルカメラ10のディスプレイ28に感情設定画面を表示し、ユーザが自分自身の感情の入力を感情設定画面を介して行う。入力された感情に応じて、画像処理部100Dは、撮影画像に対して画像処理を行う。
 図16は、プリンタ付きデジタルカメラ10のディスプレイ28に表示される感情設定画面の一例を示す図である。図16に示される感情設定画面は、円形であり、4つの感情(普通(H)、ラッキー(I)、悲しい(J)、ドッキリ(K)が示されている。ユーザは、感情設定画面におけるそれぞれのレバーLを操作することにより、感情の入力を行う。画像処理部100Dは、この入力された感情に応じて、撮影画像に対して画像処理を行う。
 図17は、感情に応じた画像処理の例を示す図である。
 図17に示すように、撮影画像P8は、ユーザが感情設定画面(図16)で入力した感情に応じて、画像処理が行われる。なお、図17には、感情設定画面における感情入力値表示252も撮影画像P8と共に表示されている。
 以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10   :プリンタ付きデジタルカメラ
12   :カメラボディ
14   :撮影レンズ
16   :レリーズボタン
18   :録音ボタン
20   :ストロボ発光窓
22a  :電源ボタン
22b  :メニューボタン
22c  :OKボタン
22d  :モード切替えボタン
24   :マイク穴
26   :スピーカ穴
28   :ディスプレイ
30   :フィルム蓋カバー
32a  :ジョイスティック
32b  :プリントボタン
32c  :再生ボタン
32d  :キャンセルボタン
34   :フィルム排出口
42   :インスタントフィルム
42a  :露光面
42b  :観察面
42c  :露光領域
42d  :ポッド部
42e  :現像処理液ポッド
42f  :トラップ部
42g  :吸収材
42h  :観察領域
42i  :枠
52   :フィルム送出機構
54   :フィルム搬送機構
56   :プリントヘッド
62   :レンズ駆動部
64   :イメージセンサ
66   :イメージセンサ駆動部
68   :アナログ信号処理部
70   :デジタル信号処理部
72   :メモリ
74   :メモリコントローラ
76   :表示コントローラ
78   :通信部
80   :アンテナ
82   :フィルム送出駆動部
84   :フィルム搬送駆動部
86   :ヘッド駆動部
88   :ストロボ
90   :ストロボ発光制御部
92   :マイクロフォン
94   :スピーカ
96   :音声信号処理部
97   :時計部
98   :操作部
100  :カメラ制御部
100A :画像取得部
100B :日時情報取得部
100C :経過日時算出部
100D :画像処理部
100E :表示制御部
100F :印刷制御部
101  :画像処理装置

Claims (17)

  1.  撮影時を示す第1の日時情報を有する撮影画像が記憶された記憶部から、処理対象の撮影画像を取得する画像取得部と、
     前記処理対象の撮影画像から前記第1の日時情報を取得し、前記画像取得部により前記記憶部から前記処理対象の撮影画像が取得された日時を示す第2の日時情報を取得する日時情報取得部と、
     前記日時情報取得部で取得された前記第1の日時情報と前記第2の日時情報とを比較して、前記撮影時からの経過日時を算出する経過日時算出部と、
     前記経過日時の長さに応じて変化する複数の画像処理のうちから、前記経過日時の長さに基づいて画像処理を選択し、前記選択された画像処理を前記処理対象の撮影画像に行う画像処理部と、
     を備える画像処理装置。
  2.  前記画像処理部で画像処理が行われた前記処理対象の撮影画像を表示部に表示させる表示制御部を備える請求項1に記載の画像処理装置。
  3.  前記画像処理部で画像処理が行われた前記処理対象の撮影画像を印刷部に印刷させる印刷制御部を備える請求項1又は2に記載の画像処理装置。
  4.  前記画像処理部により画像処理が行われた前記処理対象の撮影画像と、前記画像処理部により画像処理が行われる前の前記処理対象の撮影画像とが前記記憶部に記憶される請求項1から3のいずれか1項に記載の画像処理装置。
  5.  前記画像処理部により画像処理が行われた前記処理対象の撮影画像は、前記記憶部に記憶されない請求項1から3のいずれか1項に記載の画像処理装置。
  6.  前記複数の画像処理と前記経過日時の長さとの時間軸における対応関係の入力を受け付ける関係入力部を備える請求項1から5のいずれか1項に記載の画像処理装置。
  7.  前記画像処理部は、前記処理対象の撮影画像の全体の色を前記経過日時の長さに応じて変化させる請求項1から6のいずれか1項に記載の画像処理装置。
  8.  前記画像処理部は、前記処理対象の撮影画像の一部の被写体の色を前記経過日時の長さに応じて変化させる請求項1から6のいずれか1項に記載の画像処理装置。
  9.  前記画像処理部は、前記処理対象の撮影画像の背景の色を前記経過日時の長さに応じて薄くする請求項8に記載の画像処理装置。
  10.  前記画像処理部は、前記処理対象の撮影画像の一部の色または一部の色相を前記経過日時の長さに応じて変化させる請求項1から9のいずれか1項に記載の画像処理装置。
  11.  前記画像処理部は、前記処理対象の撮影画像の一部の領域のぼけ具合を前記経過日時の長さに応じて変化させる請求項1から10のいずれか1項に記載の画像処理装置。
  12.  前記画像処理部は、前記撮影画像の人物の前景または背景の前記ぼけ具合を、前記経過日時の長さに応じて変化させる請求項11に記載の画像処理装置。
  13.  前記画像処理部は、前記処理対象の撮影画像に追加される装飾画像を前記経過日時に応じて変化させる請求項1から12のいずれか1項に記載の画像処理装置。
  14.  請求項1から13のいずれか1項に記載の画像処理装置を搭載する撮影装置。
  15.  複数の撮影モードのうちから一つの撮影モードを設定する撮影モード設定部を備え、
     前記画像処理部は、前記撮影モード設定部で設定された前記撮影モードに応じて、前記経過日時の長さに応じて変化する前記複数の画像処理を変える請求項14に記載の撮影装置。
  16.  撮影時を示す第1の日時情報を有する撮影画像が記憶された記憶部から、処理対象の撮影画像を取得するステップと、
     前記処理対象の撮影画像から前記第1の日時情報を取得し、前記記憶部から前記処理対象の撮影画像が取得された日時を示す第2の日時情報を取得するステップと、
     前記第1の日時情報と前記第2の日時情報とを比較して、前記撮影時からの経過日時を算出するステップと、
     前記経過日時の長さに応じて変化する複数の画像処理のうちから、前記経過日時の長さに基づいて画像処理を選択し、前記選択された画像処理を前記処理対象の撮影画像に行うステップと、
     を含む画像処理方法。
  17.  撮影時を示す第1の日時情報を有する撮影画像が記憶された記憶部から、処理対象の撮影画像を取得するステップと、
     前記処理対象の撮影画像から前記第1の日時情報を取得し、前記記憶部から前記処理対象の撮影画像が取得された日時を示す第2の日時情報を取得するステップと、
     前記第1の日時情報と前記第2の日時情報とを比較して、前記撮影時からの経過日時を算出するステップと、
     前記経過日時の長さに応じて変化する複数の画像処理のうちから、前記経過日時の長さに基づいて画像処理を選択し、前記選択された画像処理を前記処理対象の撮影画像に行うステップと、
     を含む画像処理工程をコンピュータに実行させるプログラム。
PCT/JP2020/008568 2019-03-22 2020-03-02 画像処理装置、画像処理方法、撮影装置及びプログラム WO2020195557A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2021508871A JP7576377B2 (ja) 2019-03-22 2020-03-02 画像処理装置、画像処理方法、撮影装置及びプログラム
CN202080022180.7A CN113615157A (zh) 2019-03-22 2020-03-02 图像处理装置、图像处理方法、摄影装置及程序
EP20776733.6A EP3944611A4 (en) 2019-03-22 2020-03-02 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PHOTOGRAPHING DEVICE AND PROGRAM
US17/470,069 US11842461B2 (en) 2019-03-22 2021-09-09 Image processing device, image processing method, imaging device, and program
US18/480,935 US12079966B2 (en) 2019-03-22 2023-10-04 Image processing device, image processing method, imaging device, and program
JP2024000746A JP2024032739A (ja) 2019-03-22 2024-01-05 画像処理装置、画像処理方法、撮影装置及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019054333 2019-03-22
JP2019-054333 2019-03-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/470,069 Continuation US11842461B2 (en) 2019-03-22 2021-09-09 Image processing device, image processing method, imaging device, and program

Publications (1)

Publication Number Publication Date
WO2020195557A1 true WO2020195557A1 (ja) 2020-10-01

Family

ID=72609291

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/008568 WO2020195557A1 (ja) 2019-03-22 2020-03-02 画像処理装置、画像処理方法、撮影装置及びプログラム

Country Status (5)

Country Link
US (2) US11842461B2 (ja)
EP (1) EP3944611A4 (ja)
JP (1) JP2024032739A (ja)
CN (1) CN113615157A (ja)
WO (1) WO2020195557A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003169225A (ja) * 2001-12-03 2003-06-13 Olympus Optical Co Ltd 画像処理装置、及びプログラム
JP2006025007A (ja) * 2004-07-06 2006-01-26 Fuji Photo Film Co Ltd 画像処理装置及び画像処理プログラム
JP2012165182A (ja) * 2011-02-07 2012-08-30 Ricoh Co Ltd 撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ131399A0 (en) 1999-06-30 1999-07-22 Silverbrook Research Pty Ltd A method and apparatus (NPAGE02)
CN101297545B (zh) * 2005-10-28 2012-05-02 株式会社尼康 摄影装置、图像处理装置
JP5121182B2 (ja) * 2006-08-11 2013-01-16 キヤノン株式会社 記録装置および記録方法
JP2008061032A (ja) 2006-08-31 2008-03-13 Sony Corp 画像再生装置及び画像再生方法、並びにコンピュータ・プログラム
JP2008079205A (ja) * 2006-09-25 2008-04-03 Olympus Corp 画像再生方法、画像再生装置および画像再生プログラム
CN101582991B (zh) 2008-05-13 2011-02-09 华为终端有限公司 图像处理方法及装置
JP2011239178A (ja) 2010-05-11 2011-11-24 Olympus Corp 撮像装置
JP5750692B2 (ja) * 2011-02-03 2015-07-22 オリンパス株式会社 撮像装置、撮像プログラムおよび撮像方法
US10248868B2 (en) * 2012-09-28 2019-04-02 Nec Corporation Information processing apparatus, information processing method, and information processing program
JP6402934B2 (ja) * 2015-05-19 2018-10-10 カシオ計算機株式会社 動画生成装置、動画生成方法、及びプログラム
US10455188B2 (en) * 2016-11-18 2019-10-22 Microsoft Technology Licensing, Llc Correlating UI with CPU stacks for profiling sessions
JP6684699B2 (ja) * 2016-12-15 2020-04-22 富士フイルム株式会社 プリンター及びプリンター付きデジタルカメラ、並びに、プリント方法
KR102402513B1 (ko) * 2017-09-15 2022-05-27 삼성전자주식회사 컨텐트를 실행하는 방법 및 장치
CN107959883B (zh) * 2017-11-30 2020-06-09 广州市百果园信息技术有限公司 视频编辑推送方法、系统及智能移动终端
CN110049258B (zh) * 2017-12-27 2022-03-25 佳能株式会社 电子设备及其控制方法和计算机可读介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003169225A (ja) * 2001-12-03 2003-06-13 Olympus Optical Co Ltd 画像処理装置、及びプログラム
JP2006025007A (ja) * 2004-07-06 2006-01-26 Fuji Photo Film Co Ltd 画像処理装置及び画像処理プログラム
JP2012165182A (ja) * 2011-02-07 2012-08-30 Ricoh Co Ltd 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3944611A4 *

Also Published As

Publication number Publication date
EP3944611A4 (en) 2022-03-09
US12079966B2 (en) 2024-09-03
US11842461B2 (en) 2023-12-12
JPWO2020195557A1 (ja) 2021-12-23
US20240029212A1 (en) 2024-01-25
CN113615157A (zh) 2021-11-05
JP2024032739A (ja) 2024-03-12
EP3944611A1 (en) 2022-01-26
US20210409596A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
US7639940B2 (en) Photography apparatus, photography method, and photography program using lighting condition parameters
US5914748A (en) Method and apparatus for generating a composite image using the difference of two images
CN101311962B (zh) 图像编辑装置和控制图像编辑装置的方法
WO2020188878A1 (ja) プリンタ付きデジタルカメラ
US20100182458A1 (en) Digital image acquisition system with portrait mode
JP2009504037A (ja) ディジタル画像における不適正露出領域の補正
US8593566B2 (en) Method and apparatus for controlling light emission of flash and digital photographing apparatus using the method and apparatus
JP2010278486A (ja) 撮影装置
JP2012165078A (ja) 撮像装置および撮像プログラム
JP2005197996A (ja) デジタルカメラの制御方法及び装置
WO2020195557A1 (ja) 画像処理装置、画像処理方法、撮影装置及びプログラム
US10496339B2 (en) Printer that detects a face as a subject, camera with printer, and printing method
JP7576377B2 (ja) 画像処理装置、画像処理方法、撮影装置及びプログラム
JP2012124601A (ja) 撮像装置および撮像プログラム
JP6533336B2 (ja) ホワイトバランス調整装置及びその作動方法並びに作動プログラム
JP5076911B2 (ja) 画像撮影編集装置および方法、並びにプログラム
JP2018094916A (ja) プリンタ、プリンタ付きカメラ、及びプリント方法
JP2003333380A (ja) 撮像装置、撮影画像確認方法、及びプログラム
CN104735431B (zh) 内容输出系统、内容输出装置及内容输出方法
JP2007281532A (ja) 画像データ生成装置、画像データ生成方法
JP5900826B2 (ja) 画像編集装置、画像編集方法、及び制御プログラム
JP5566679B2 (ja) 撮像装置及び撮像方法
JP4081917B2 (ja) 電子カメラ装置およびストロボ色補正方法
JP6664062B2 (ja) 写真シール作成装置および撮影方法
JPH10271424A (ja) 人物写真撮影装置及び画像記録装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20776733

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508871

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2020776733

Country of ref document: EP