WO2008150027A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2008150027A1
WO2008150027A1 PCT/JP2008/060733 JP2008060733W WO2008150027A1 WO 2008150027 A1 WO2008150027 A1 WO 2008150027A1 JP 2008060733 W JP2008060733 W JP 2008060733W WO 2008150027 A1 WO2008150027 A1 WO 2008150027A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
image
subject surface
distance information
subject
Prior art date
Application number
PCT/JP2008/060733
Other languages
English (en)
French (fr)
Inventor
Tatsuo Makii
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US14/470,294 priority Critical patent/USRE46976E1/en
Priority to US12/451,726 priority patent/US8564693B2/en
Priority to CN2008800187839A priority patent/CN101933040A/zh
Priority to EP08765504.9A priority patent/EP2154648B1/en
Publication of WO2008150027A1 publication Critical patent/WO2008150027A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Definitions

  • Image processing apparatus image processing method, and image processing program
  • the present invention relates to an image processing apparatus and the like, and in particular, an image processing apparatus, an image processing method, and an image processing that perform image processing such as blur processing according to a set subject surface.
  • an imaging lens is sometimes used to perform imaging.
  • “carry movement” means the basic relationship between the imaging device and lens in which the optical axis of the imaging lens is orthogonal to the film surface (or imaging device surface) at the center (portion) of the imaging screen.
  • This type of operation is referred to as “camera movement j”.
  • the tilt operation the perspective distortion of the building or the like is corrected and the depth of field is adjusted.
  • the camera movement can be avoided by trolling or mirroring etc.
  • this camera movement is roughly divided as shown in Fig. 35.
  • the camera movement has two operations: “Displacement (“ Shift ”,“ Rise-Fall ”),“ Swing ”, and“ Tilt ”.
  • the lens surface or film surface / image sensor surface
  • the position where the optical axes intersect is shifted from the center (part) of the screen.
  • the optical axis of the imaging lens and the film surface or The orthogonal relationship of the image element surface is broken.
  • the crossing angle between the optical axis and the film surface (or imaging element surface) is changed to something other than vertical (90 degrees).
  • shift orientation is used to move the lens optical axis (or film surface / image sensor surface) to the left and right, and is used for composition correction and distortion correction. By doing this, you can change the composition in the left-right direction without moving the camera.
  • This shift orientation is used, for example, a photograph taken at the center of the mirror can be obtained even though the image is taken from a position shifted to the left or right from the center of the mirror.
  • “Rise fall orientation” is to move the lens surface (or film surface / image sensor surface) 'up and down, and is used to correct the composition and correct the distortion as well as the shift orientation. By using this rise 'fallory', you can correct the composition up and down without moving your legs, etc. Also, when looking up at a tall building with a regular camera, the far part is projected as a small taper, but this is sometimes used as a perspective control to capture this vertically. '
  • tilting or tilting means tilting the lens surface (or film surface and imaging device surface) in the front-rear direction with respect to the optical axis of the lens. Used to correct distortion. By using this tilt or tilt, it is possible to focus over a wide range from far to near even when the aperture is open.
  • the “swing orientation” is to rotate the lens surface (or film surface / imaging device surface) around a line perpendicular to the optical axis of the imaging lens, and the effect is the same as that of the above-mentioned tilting. It is.
  • Scheinburg's law generally means that the subject plane, the lens plane, and the extended plane of the image plane intersect on a single straight line.
  • the imaging device surface 400 and the main plane of the imaging lens 4 0 1 are tilted, the imaging device surface 4 0 0 and the main plane of the imaging lens 4 0 1 are inclined so as to intersect with one ridge line. This means that the subject surface 4 0 2 is in focus.
  • the imaging technique that not only shows the depth of field by manipulating the subject surface but also adjusts the subject surface to capture the building like a miniature. It has been known.
  • the above imaging technique obtains the tilt effect by the operation of the optical system, but as a method to obtain the tilt effect by di: ditto processing, ⁇
  • ditto processing ⁇
  • An image pickup device that performs correction (shift orientation, rise Z fall orientation) (see, for example, Patent Document 1), an image that originally produced the “oriori effect” (for example, an image taken from diagonally below the white pod)
  • Patent Document 1 Japanese Patent Laid-Open No. Hei 8- 1 6 3 4 2 8 No. Gazette.
  • Patent Document 2 Japanese Patent Application Laid-Open No. 9-2 8 9 6 1 0.
  • the technique disclosed in Patent Document 1 performs digital image correction similar to the hololi effect electronically using digital technology, it realizes imaging techniques equivalent to swing gaoli and tilt quail by image processing. Do None has been done.
  • Patent Document 2 an oblique image is corrected to a pseudo front image, and similarly to Patent Document 1, an imaging technique corresponding to swing or tilt-ori is captured. It is not realized by processing.
  • an object of the present invention is to perform image processing such as blur processing according to the set subject surface. ,.
  • the subject surface setting for setting the subject surface based on the distance information corresponding to the point specified by the user in the display image based on the image data.
  • a distance information conversion unit that converts the distance information of the image according to the subject surface, and ' ⁇ converted by the distance information conversion unit
  • the image processing method according to the second aspect of the present invention is based on distance information corresponding to a point designated by a user in a display image based on image data.
  • the subject plane is set, and the distance information of the image data is converted according to the subject surface, and the image processing is performed on the image data based on the converted distance information.
  • the image processing program includes: setting a subject surface based on distance information corresponding to a point designated by a user in a display image based on image data; Depending on the surface An image processing method comprising a step of converting the distance information of the image data and a step of performing image processing on the image data based on the converted distance information is executed in a combination evening.
  • the object plane is set, and suitable image processing is performed according to the setting of the object plane.
  • FIG. 1 is a conceptual diagram of the basic principle of the image processing apparatus according to the first embodiment of the present invention. '.'
  • FIG. 3 ′ is a configuration diagram of the image processing apparatus according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart explaining in detail a characteristic effect of performing correction equivalent to the effect of the image processing apparatus according to the first embodiment of the present invention.
  • ⁇ 'Fig. 5' is a description of temporary setting of the subject surface. .
  • Figure 6 is a flowchart explaining the adjustment of the subject surface.
  • Fig. 7 shows a display example of a captured image
  • (b) is a figure showing an example of a depth map indicating distance information
  • (c) is distance information from the subject surface.
  • a diagram showing an example of converting the depth map (d) is a diagram showing a display example of an image subjected to blur processing.
  • FIG. 8 is a conceptual diagram illustrating the conversion of distance information associated with the change of the subject surface.
  • Fig. 9 is a conceptual diagram for explaining the basic principle of distance information acquisition.
  • FIG. 10 is a conceptual diagram illustrating an example in which (a) to (c) are arbitrary curved surfaces as a subject surface.
  • Fig. 11 shows an example of a display that uses a window that displays the subject surface.
  • FIG. 12 is a block diagram of an information processing apparatus according to the second embodiment of the present invention.
  • FIG. 13 is a configuration diagram of an image processing apparatus according to a third embodiment of the present invention.
  • FIGS. 14A and 14B are perspective views of an image processing apparatus according to the third embodiment.
  • FIG. 15 is a flowchart detailing a characteristic processing procedure performed by the image processing apparatus according to the third embodiment of the present invention.
  • FIG. 16 is a flowchart showing in detail the process related to the subject surface operation.
  • FIGS. 17A and 17B are diagrams showing display examples for explaining subject surface operations.
  • FIGS. 18A and 18B are flowcharts showing in detail processing related to image processing.
  • Figure 19 shows the relationship between blur added parameters and distance information.
  • FIG. 20 shows a display example of a screen related to re-operations (a) to (c). '.:'
  • FIGS. 21A to 21C are diagrams showing display examples of screens related to setting of the depth of field in the fourth embodiment.
  • FIGS. 22A and 22B are diagrams showing display examples of screens related to the setting of the depth of field and the end of setting in the fifth embodiment.
  • FIGS. '' are diagrams showing display examples of screens related to the setting of the depth of field and the end of setting in the fifth embodiment.
  • FIGS. 23A and 23B are diagrams showing display examples of screens related to the setting of the subject surface in the fifth embodiment.
  • FIGS. 23A and 23B are diagrams showing display examples of screens related to the setting of the subject surface in the fifth embodiment.
  • FIG. 24 ⁇ is a diagram showing a display example of the tilt amount on the subject surface in the sixth embodiment. .
  • FIGS. 25A to 25C are diagrams showing display examples of horizontal and vertical lines that define a subject surface in the seventh embodiment.
  • FIGS. 26 (a) to 26 (h) are views showing display examples of the subject surface in the eighth embodiment. '
  • Figure 27 shows (a) a conceptual diagram showing the median image plane, and (b) a sagittal view.
  • the conceptual diagram which shows a le image surface.
  • Fig. 28 shows the shape of the subject surface expressed in the same way as the depth map.
  • Figure 29 is a diagram conceptually showing the shape of the subject surface.
  • FIGS. 30A and 30B are views showing examples of screens relating to the change of the subject surface shape in the ninth embodiment.
  • FIGS. 31 (a) and 31 (b) are diagrams showing display examples of screens related to the setting of the subject plane in the tenth embodiment.
  • FIGS. 32 (a) and 32 (b) are diagrams showing display examples of other screens related to the setting of the object plane in the tenth embodiment.
  • FIGS. 33A to 33C are diagrams showing display examples of still another screen related to the setting of the object plane in the tenth embodiment.
  • FIGS. 33A to 33C are diagrams showing display examples of still another screen related to the setting of the object plane in the tenth embodiment.
  • FIG. 34 is a diagram showing a display example related to canceling the setting of the object plane in the tenth embodiment (a) and (c). ⁇ .
  • Fig. 35 shows the types of camera movements.
  • Figure 36 is a conceptual diagram that explains Scheinburg's law. BEST MODE FOR CARRYING OUT THE INVENTION
  • the image data and distance information are stored in the built-in memory 2 after predetermined image processing is performed.
  • This image data is read out appropriately and the captured image is It is displayed on the display unit 3 such as (Liquid Crystal Display).
  • the user While confirming the captured image displayed on the display unit 3, the user operates the evening panel 5 to designate one or more designated points as desired points, and uses the four-way controller 4 (for example, composed of up / down / left / right buttons). )) To set the tilt direction and angle of the subject surface arbitrarily.
  • the built-in memory 2 implements a storage function, for example.
  • the evening panel 5 implements a specified function.
  • the cross key 4 realizes a setting function. '' ⁇
  • the control unit 7 sets the object plane based on the distance information of the designated point in the display image based on the distance information corresponding to each area of the display image based on the image data. To do. Then, the control unit 7 converts the distance information of each point related to the image data according to the object surface.
  • the image processing unit 6 performs image processing on the image data based on the converted distance information. Therefore, in this case, the control unit 7 realizes a subject plane setting function and a distance information conversion function, and the image processing unit 6 realizes an image processing function.
  • the optical axis of the imaging lens including the designated point is designated.
  • the plane perpendicular to 'the optical axis of the incident light on the measure' is temporarily set as the subject surface 1 0 0, and then the subject surface around the X axis and the Y axis centering on the specified point It is possible to set the tilt direction and angle of 100. What is specified is a point that is part of the subject. '.
  • ⁇ For example, when the left and right buttons of the cross key 4 'are operated, the subject surface 1 0 0 rotates around the Y axis, and the tilt direction and angle are set according to the rotation b or For example, when the up and down buttons of the cross key 4 are operated, the subject plane 100 rotates around the X axis, and the tilt direction and angle are set according to the rotation.
  • FIG. 2 (b) as an example, the direction of tilt is set around the Y axis by rotating the Y key 4 and the tilt angle is set to 0 in the figure.
  • the subject surface 1 0 1 is shown. Note that rotation is not essential, and the subject plane 100 is set by specifying one point without rotation.
  • predetermined image processing is performed by the image processing unit 6 built in the imaging apparatus.
  • an image subjected to blur processing is displayed on the display unit 3 (or an external display (not shown)). That is, in this example, the distance information about each point in the image is converted based on the coordinates of the designated point, and the image data is subjected to, for example, blur processing based on the converted distance information. Etc. are processed.
  • the subject surface is changed by rotating the subject surface around the designated point according to the designation, the points of the image data are changed based on the coordinates of the designated point and the rotation angle.
  • the distance information related to is converted.
  • image processing such as blur processing is performed on the image data based on the converted distance information.
  • the image processing unit 6 ′ is, for example, for realizing this image processing function.
  • the distance information used in this embodiment is a so-called depth map, and is individual distance data for one or more points in the captured image.
  • de push 'map de.
  • Evening' is, for example, a distance de for each pixel of multiple pixels. ' . ' What ; ,.
  • the T 0 F method is a method of obtaining the distance to the subject from the light delay time until the light emitted from the light source is reflected by the object and reaches the sensor and the speed of the light. Details of these will be described later.
  • the surface that includes the point and is orthogonal to the optical axis is the subject surface. More specifically, the point and the point having the same distance information as the point A surface including the subject surface is set.
  • the distance information corresponding to these two or more points is read from the built-in memory 2 under the control of the control unit 7, and the object surface
  • the tilt direction and tilt angle with respect to the lens optical axis are respectively calculated, and the subject surface is set based on the tilt direction and tilt angle.
  • the method of calculating the tilt direction and tilt angle will be described in detail later. Therefore, the subject plane perpendicular to the optical axis of the imaging lens, that is, the point where no blur is added, is designated as one by operating the evening panel 5, for example, and is based on the distance from the subject plane.
  • Predetermined image processing that is, blur processing, for example.
  • Ru using optical Aori effects (Tirutaori or Suinguaori) 'It' a:. Ku
  • the performance of the actual imaging device can not be shooting 'images by adjusting the focal length by adjusting the lens position, etc.
  • the image processing apparatus according to the first embodiment of the present invention adopting the above basic principle will be described in detail.
  • the present invention is not limited to this.
  • Fig. 3 As shown in Fig. 3, the optical axis of the imaging optical system 11
  • the image sensor 12 is arranged above the image sensor 12.
  • the image sensor 12 is connected to the video output unit 13.
  • This video output unit 13 is analog / digital (hereinafter abbreviated as A / D).
  • the A / D converter 14 is connected to the memory control unit 15 and the image processing unit 24.
  • This memory control unit 15 is connected to the display memory 1 6.
  • the memory control unit 15 has a display.
  • DZA digital / analog comparator 18
  • the image processing unit 24 is connected to a frame notifier (frame memory) 25 composed of a dynamic random access memory (DAM) or the like.
  • frame memory composed of a dynamic random access memory (DAM) or the like.
  • CPU Central Processin Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • image processing unit 24, 0 SD (On Screen Display) processing
  • the unit 2.6, the imaging condition detection unit 27, the camera drive control unit 28, the distance measuring unit 29, the evening panel 34 and the control bus 35 are communicably connected.
  • the CPU 21 is connected to the memory card 31 via the control bus 35, memory interface (hereinafter abbreviated as I / F) '30, and the control bus 3 5, input I / F. It is connected to the operation input unit 33 via F32.
  • the CPU 21, ROM 22, and RAM 23 constitute a memory controller 20. : ''.
  • the RAM 23 and the memory card 3 1 realize, for example, a storage function.
  • the operation input unit 33 realizes, for example, a designation function and a setting function.
  • the , image processing unit 24, for example ⁇ realizing the image processing function further, the controlled unit 2, '' in particular '• C.:P'U.2:: 1 implements the example control function .
  • CPU 21 is in together by controlling the respective units of the apparatus reads out the R 0 M 22 for storing image processing programs, ⁇ Pu port Gras' arm In addition to the image processing program, this ROM22
  • RAM .23 will function as a work area.
  • the camera drive control unit 28 performs drive control such as exposure control, aperture control, focus control, zoom control, and shirt evening control.
  • the image sensor 12 performs photoelectric conversion and supplies an analog image signal to the video output unit 13.
  • the video output unit 13 The analog image signal is supplied to the imaging condition detection unit 27, and the imaging condition detection unit 27 detects the imaging condition such as white balance for the analog image signal.
  • the video output unit 13 sends an analog image signal composed of the luminance signal and the color difference signal to the A / D converter 14, and the A / D comparator 14 sends the analog image signal to the digital image. Convert to data and send to memory controller 15
  • the memory control unit 15 temporarily stores the image data in the display memory 16. This image data is read by the memory control unit 15 and supplied to the display processing unit 17. In the display processing unit 17, the image data is converted into R • GB image data. This R G B image data is converted to an R G B analog image signal for liquid crystal drive by a D / A converter 18 and then supplied to an LCD monitor 19. Then, a real image is displayed on the LCD monitor 19. The actual image is what is called a through image. "
  • the image data for one screen of the photographed image is taken into the frame buffer 25 through the “image processing unit” 2-4, compressed by the image processing unit 24, and predetermined It is converted into a format image file and recorded in the memory card 31 via the memory I / F 30.
  • information on the subject distance measured by the distance measuring unit 29 including the image sensor (hereinafter abbreviated as distance information) is also recorded in the memory card 31 in an arbitrary format.
  • the control unit 20 reads the image data and the distance information from the memory card 31, the compressed image data is expanded by the image processing unit 24 and stored in the frame buffer 25.
  • the data is written into the display memory 16 by the memory control unit 15 and read from the display memory 16. An image is displayed on the LCD monitor 1 9.
  • the CPU 21 when the user designates a desired point on the evening panel 34, the CPU 21 temporarily sets the point in the captured image as the designated point. At this time, a subject surface is temporarily set based on the set points. Thereafter, when the cross key as one element of the operation input unit 33 is further operated, the CPU 21 sets the tilt direction and tilt angle of the subject surface based on the operation. In this way, the CPU 21 of the control unit 20 performs image processing in the image processing unit 24 on the image data stored in the frame memory 25. ⁇ '
  • the image processing unit 24 is the same as taking a picture that is in focus at a shallow depth of field and the other is out of focus with a silver halide camera.
  • blur processing is applied to pixels that are not on the subject surface by image processing.
  • the image data subjected to the blur processing is supplied to the display processing unit 17 through the memory control unit 15, and the processed image is displayed on the LCD monitor 19.
  • the image data of this process is recorded in the memory card 3.1 via the memory I Z F 3 0.
  • the image processing unit 24 can also control the amount of blur according to the distance from the subject surface.
  • ⁇ the image on the subject surface; the blur can be changed step by step depending on the distance. For example, a blur effect similar to that of an imaging optical system can be obtained by increasing the amount of blur while the distance between the subject surface and another element is far away. That is, by doing this, the subject is in focus and this
  • the following processing also corresponds to the image processing method according to the first embodiment.
  • the CPU 21 of the control unit 20 performs an imaging operation (Step S 1) and generates distance information (Step S 2). 3 Record in 1 (step S3).
  • the processing procedure of the imaging operation and the generation of the distance information may be either first or simultaneously.
  • the recording destination is not limited to the memory card 31.
  • the screen is controlled under the control of the CPU 21 of the control unit 20.
  • Image data is taken into the frame memory 25 'through the image processing unit 24, compressed by the image processing unit 24, converted to an image file in a predetermined format, and via the memory I / F.30. Recorded on memory card 3.1. At this time, the distance information measured by the distance measuring unit 29 is also stored in the memory card in a predetermined format ⁇ .
  • the imaging operation and the generation of distance information are performed by one imaging device. 1 ; -2 and the imaging device (not shown) that is a component of the distance measuring unit 29 ' But this
  • one image sensor 1.2 ⁇ may be used for both imaging operation and distance information generation: : Needless to say, the imaging operation and the generation of distance information may be parallel processing or sequential processing. ⁇ ,.:-
  • the TOF method or blur amount analysis can be employed as a method for obtaining the distance information.
  • the “TOF” method is to measure the arrival time of the reflected light that is irradiated from the light emitting element constituting the distance measuring unit 29 and reflected by the subject, and obtains the subject distance.
  • “Bokeh amount analysis” is to calculate the distance from the analysis result of the amount of blur in the image.
  • two image sensors are used, at least the characteristics, size, aperture condition, etc. By changing either of these, it is possible to optimize the amount of blur for imaging and the amount of blur for distance measurement.
  • the amount of blur for imaging and the amount of blur for distance measurement can be optimized under different methods, for example, by changing the aperture condition and the like according to the method. However, it is not limited to these means.
  • the captured image thus recorded is displayed on the LCD monitor 19 (step S4).
  • FIG. 7 (a) an example of this display is as shown in FIG. 7 (a).
  • subjects 01 to 04 are displayed.
  • the distance information of the captured image is as shown in FIG. 7 (b). The closer to black, the closer to the distance, and the closer to white, the farther away.
  • the distance information is so-called depth map data, and is individual distance data for one or more points in the captured image. The maximum distance data can be obtained for each pixel.
  • the designated point in the captured image is temporarily set (step S5).
  • the details of the processing of this subroutine are as shown in the flowchart of FIG. 5, for example. : '..-;..'
  • Step S'2 1.
  • CPU 21 ⁇ , '1 Judge whether or not it is the designated point of the eye
  • Step S.2'2 When the user operates the dust panel 34 and' designated designated point in the captured image is designated (Step S'2: 1.)
  • CPU 21 ⁇ , '1 Judge whether or not it is the designated point of the eye
  • Step S.2'2 When CPU 2.1 judges that it is the designation of the first designated point (Step S 22 is changed to Y e (Branch to s)
  • Temporarily set a plane perpendicular to the optical axis including the designated first designated point as the first subject surface (step S23), and information relating to the first subject surface (The coordinates of the first designated point) are stored in the RAM 23 (step S 27), and the designated first designated point is displayed on the captured image of the LCD monitor 19 (step S 28).
  • step S 29 the CPU 21 operates to end the designation of the designated point by the user. It is determined whether or not an instruction has been given by the operation of the input unit 33 or the like (step S 29). If it is determined that a further specified point is to be specified without ending, '(step S 29 is branched to Y es ) Return to step S 2 1 and repeat the above process. On the other hand, if it is determined that the designation of the designated point should be finished (step S29 branches to No), the process is finished and the process is returned.
  • step S22 determines in step S22 above that the first designated point is not designated (step S22 branches to No), is the second designated point designated? It will be judged whether or not (step S24).
  • step S24 determines that the second specified point is specified (branch step S24 to Ye s), rotate the first object plane around the X and Y axes. Then, the object plane is converted, and a plane including the second designated point is temporarily set as the second object plane (step S 25). Then, information relating to the second object surface (the coordinates of the first and second designated points, the tilt angle, the tilt direction)-is stored in the RAM 2.3 (step S 27), and the captured image of the LCD monitor 19 is stored.
  • the first and second designated points designated above are displayed (step S 2 &). 2. For points, multiple surfaces including a straight line connecting the two points are assumed, and there is insufficient information for temporary setting of the subject surface. Therefore, it is possible to temporarily set the plane including the second designated point as the second subject plane by rotating the first subject plane around the Y axis (or around the X axis) ′. :: Pe '.
  • the GPU 21 determines whether or not further designation of the designated point is instructed by the user's operation input on the dinner panel 34 etc. (Step S).
  • step S 2 9 is branched to Ye s
  • the process returns to step S 21 and repeats the above processing. 'If it is determined that no further specified points are to be specified (branch step S29 to No), the process ends and returns.
  • step S 24 determines whether the second specified point is not specified (step S 24 branches to No).
  • step S 24 branches to No
  • CPU 2 1 Judged as a fixed point designation.
  • the second object surface is rotated around the X and Y axes, and a plane including the first to third designated points is temporarily set as the third object surface (step S 26).
  • the CPU 21 stores the information relating to the third subject surface (the coordinates of the first to third designated points, the tilt angle, and the tilt direction) in the RAM 23 (step S 2 7),
  • the first to third designated points designated as described above are displayed on the captured image of the LCD monitor 19 (step S 2 8).
  • step S 29 determines whether or not the designation of a further designated point is instructed by the user's operation input on the dinner panel 34 or the like.
  • step S 29 since it is assumed that the number of specified points is limited to three, it is assumed that no more specified points can be specified (step S 29 is branched to No) and the main routine ( Re-start after step S6 'in Fig. 4).
  • step S 29 is branched to No
  • step S 6 is branched to No
  • step S 6 'in Fig. 4 the main routine
  • the CPU 21 determines the information of the set subject surface (any one of the first to third subjects) (eg coordinate information, tilt angle, tilt direction) Etc.), the distance data of each point of the image data is converted, and the image processing unit 24 performs image processing based on the distance data after conversion (step S 6).
  • the image processing unit 24 performs image processing based on the distance data after conversion (step S 6).
  • an actual imaging element 12 for a point on the subject surface an effect equivalent to ⁇ imaging at a shallow depth of field and tilted subject surface '' that cannot be captured at the focal length.
  • Perform blur processing so that the assigned image is obtained.
  • the CPU 2 1 displays the image that has undergone this blurring process on the L CD Display on monitor 19 (step S7).
  • the direction perpendicular to the optical axis is the X-axis direction.
  • a plane including the first designated point P 1 and perpendicular to the optical axis is set as the first subject surface.
  • the first specified point P 1 becomes the center of the new coordinate system, and its coordinates are set from (X I, ⁇ 1, ⁇ 1) to (0, 0, 0).
  • the coordinates of the point ⁇ on the first object plane are converted from ( ⁇ , ⁇ , ⁇ ⁇ ) to ( ⁇ - ⁇ , . ⁇ - ⁇ 1, ⁇ ⁇ - ⁇ 1) Is done. Let the coordinates after this transformation be ( ⁇ ', ⁇ ', ⁇ ').
  • the second finger 'fixed point: ⁇ ⁇ 2' is further designated, the second subject plane including 'first designated point ⁇ 1 ⁇ , second designated point; ⁇ 2 is set.
  • the first designated point ⁇ .1 is the center of the new coordinate system, and its coordinates are (0, 0, 0). If the inclination angle of the second object surface with respect to the first object surface is 0 and the inclination direction is the ⁇ axis (positive) direction as shown in the figure, for example, the first object image 'Point + ⁇ : Neh; on the body surface;' ⁇ Second subject.
  • Projective transformation to distance information from the surface of the subject's body, and its ⁇ coordinate is ⁇ , ⁇ 3 X ⁇ ' ⁇ ta ⁇ 0 b , Distance information of ⁇ Pn after conversion.
  • the conversion has been described for the point Pn on the first object surface, but in the same way, distance information is converted for all points (for example, pixel units).
  • the above concept is the same when the first object plane is rotated around the Y axis (tilt angle is 0).
  • the distance information is further converted based on the inclination angle and the inclination direction.
  • the Z coordinate of the point Pn is Z n '-X n 3 -tan 5 -Yn 5 . This is the third This is the distance information of the point P n with reference to the subject surface.
  • the first subject surface is rotated around the Y axis (inclination angle 6 °) and then further rotated around the X axis (inclination angle).
  • the first to third designated points are designated on the subjects 0 1 to 03, or after the first designated point is designated, the subject is rotated by rotation around the X axis and / or the Y axis.
  • blur processing is performed according to the distance from the subject surface, as shown in FIG. 7 (d).
  • blur is added to the image with a blur amount corresponding to the converted distance information. More specifically, the blur is added to the image data so that the amount of blur increases as the distance from the subject surface increases. Accordingly, in the example of FIG. 7D, the subject 04 having the longest distance from the subject surface has a large amount of blur.
  • blur may be added to the image data so that the same blur amount is obtained at points where the distance from the subject surface is within a predetermined range. This takes the depth of field into account when adding blur. ⁇
  • Step S 8 determines whether or not the adjustment of the object surface is instructed by the user through the operation input of the evening panel 3 4 or the like (Step S 8); In case of 5 (branch step S8 to No);:. Record the image data of the above-mentioned blurred processing in memory capacity '3 1 (step S 1' 2) , — End the series of processing.
  • step S 12 the image data before the force processing may be recorded on the memory card 31. In this case, it is better to manage by sending a different number to the end.
  • GPU 2 1 decides to make the adjustment (branch step S 8 to Y es), set the tilt direction and tilt angle of the subject surface with respect to the lens optical axis. This is as shown in the flowchart in Figure 6.
  • step S 4 the CPU 21 determines whether or not the cross key as one element of the operation input unit 3 3 has been operated. If it is determined that the operation has not been performed (step S41 is branched to No), this process is terminated and the process returns.
  • step S 4 2 determines whether or not it is an upper key.
  • step S 4 2 is branched to Y es
  • the CPU 2 1 rotates the subject surface around the X axis and the upper side in the depth direction, Move to step S50 (step S43).
  • step S 44 it is determined whether or not it is the down key.
  • the CPU 21 rotates the subject surface around the X axis and the lower side in the depth direction. And move to step 'S 5 0 (step S.4 5) 0 '
  • step S46 it is determined whether or not it is the right key. If it is determined that the right key is operated (branch step S 46 to • Y e, S), CP'U 2: ': 1 will move the subject surface to the Y axis. Turn right on the right side in the depth direction, and move to Nu'Tetsu,: P & 5: 0. (Step S 47) o
  • step S 4 8 determines if it is the left key (step S 4 8); If it is determined that the left button is operated (step S.4 8 branches to es es), CPU 2 1 rotates the subject surface around the X axis and the left side in the depth direction. The process proceeds to step S 50 (step S 49).
  • step S 48 If it is not the left key (step S 48 is branched to No), C P U 21 is determined to be an erroneous operation and the process proceeds to step S 50.
  • the CPU 21 determines whether or not to end the setting according to the operation input to the decision key or the like, which is one element of the operation input unit 33 (step S 50). If it is determined not to end the setting, the process returns to step S41 and the above process is repeated. On the other hand, if it is determined that the setting is to be finished, the setting information of the set object surface is stored in RAM 23 (step S 5 1), and the main routine (after step S 10 in FIG. 4) is stored. Return.
  • the subject surface is adjusted to the desired tilt direction and tilt angle around the X or Y axis.
  • the tilt angle changes by a predetermined angle each time the + key is operated. Therefore, an image is obtained so that the desired point is placed on the subject surface, that is, an effect equivalent to imaging at a shallow depth of field equivalent to the Ari effect is applied to the desired point. Fine adjustments can be made.
  • Step S 1 ⁇
  • steps S.10 and S.11 are the same as the processes in steps S6 and S7 described above, and therefore, duplicate description is omitted here.
  • Step S 8 the process returns to step S 8 to determine whether or not to further adjust the subject surface.' If further adjustments are to be made, repeat the processing from step S 9 onwards, and further adjust the adjustments. If you decide not to do so (Step S'8 branches to N0) :, Above: Record the image of the image that has been blurred to the memory card 31.
  • Step S. 1 2 End the series of processing.
  • the T 0 F method which is a method for acquiring distance information
  • the distance measuring unit 29 includes a light emitting element 29 a, an imaging lens 29 b, and an image sensor 29 c. Then, under such a configuration, the light reflected from the subject 20 0 having a specific wavelength modulated from the light emitting element 29 a is reflected through the imaging lens 29 b to the image pickup element 20. Received at c, and based on the phase difference between the emitted light and reflected light, The “delay time” is measured and the distance d to the subject, that is, distance information is obtained based on the delay time.
  • the distance information may be calculated, for example, by multiplying the speed of light by the delay time and multiplying by 1/2. With the above processing, distance information can be obtained for each pixel at the maximum in this embodiment. In addition to this, a phase difference analysis or the like can also be employed as a method for acquiring distance information.
  • distance information corresponding to an image formed by the imaging optical system is obtained, and a subject is designated by specifying a point in the captured image.
  • the generated object surface may be not only a flat surface but also an arbitrary curved surface (eg, variable field curvature). That is, for example, after a plane orthogonal to the optical axis is set as the subject surface as shown in FIG. 10 (a) ', the left and right sides of the subject surface are image synthesizing devices as shown in FIG. 10 (b). Set a curved surface curved with a predetermined curvature on the side as a subject surface, or as shown in Fig. 10 (c), the left and right sides of the subject surface are curved with a predetermined curvature on the opposite side of the image composition device. You can also set the curved surface as the subject surface.
  • the upper and lower sides of the subject surface are on the image composition device side or the opposite side.
  • a curved surface curved with a predetermined curvature on the opposite side may be set as the subject surface, and the image surface may be set in a mortar shape. This will be described in detail in the ninth embodiment.
  • setting of an object surface and blur processing by the above-described image processing device are realized by an information processing device such as a computer or an accessory device. '.' ⁇ '
  • FIG. 12 shows a configuration example of the information processing apparatus according to the second embodiment. ..
  • the information processing device 50 includes an input unit 51, a control unit 52 that controls the whole based on the control program '53, a display unit 54, and an operation: Part 5 5 and storage part 5.6. Then, the control unit 52 performs, for example, a subject surface setting function 5 3 a,... Tilt setting function 5 3 b: an image processing function 5 3 3 ⁇ 4 based on “.control program .53”.
  • This control program corresponds to, for example, an image processing program.
  • the control unit .52 stores the control program stored in the storage unit 56.
  • Read The process is executed based on the control program 53.
  • the display unit 54 displays an image based on the image data, and prompts the subject surface to be set by operating the operation input unit 55.
  • the control unit 5 2 Function 5 3 Set the subject surface based on a. Then, based on the operation of the further operation input unit 5 5, the tilt direction and tilt angle of the subject surface are set. Then, based on the finally set object surface information and distance information, image processing such as blur processing is performed, and the processed image is displayed on the display unit 54. Details of the setting of the above example are the same as those of the first embodiment (refer to the flowchart of FIG. 4 and FIG. 6), and therefore, duplicate description is omitted here.
  • the setting of the subject surface is prompted based on the input image data and the distance information, and the image is determined based on the information on the subject surface and the distance information.
  • the second embodiment of the present invention it is possible to provide an image processing program for more easily obtaining an image corresponding to “aori (swing, tilt)”. If this image processing program is installed, it is possible to easily and inexpensively obtain an image with the above-described effect by an information processing apparatus such as a combo evening. :. ..
  • the depth of field '(aperture)' may be specified to adjust the degree of change in the blurring process.
  • the depth of field (aperture) may be determined automatically, with a shallow depth of field that is not possible and the same effect as imaging on a tilted subject surface.
  • the user may specify four or more points and calculate the depth of field so that all of these points are in focus, or each point may be given some weight.
  • the subject The depth of field refers to the range of distance that is considered to be in focus before and after the subject in focus.
  • the user may also specify the focal length and aperture value for 35 mm size conversion.
  • Converting to 35 mm format means that the lens of the angle of view is regarded as a standard lens at each imaging size with reference to the angle of view of the standard lens in 35 mm format.
  • the subject surface when 4 or more points are specified can be obtained by general stereoanalysis geometry. The same applies to the conversion of distance information based on the subject surface information.
  • the blur processing algorithm is not limited to the example described above.
  • the image processing is not limited to the blur processing described above, for example, graining, mosaicing, texture change, noise addition, brightness and saturation
  • the subject surface may be a curved surface (spherical surface, cylindrical surface, conical surface, higher-order approximate curved surface).
  • FIG. 13 shows the configuration of an image processing apparatus according to the third embodiment of the present invention. .
  • the image processing apparatus includes a camera unit 60, a camera 'DSP. (. Digital Signal Processor)' 6 1, and S: DRAM :( Synchronous Dynamic Random Access Memory) 6 3, Medium-to-face (hereinafter referred to as medium I / F) 6 4, control unit 6 2, operation unit 6 6, LCD (Liquid Crystal Display) controller 6 7 and LCD 6 8
  • An external interface (hereinafter referred to as an external I / F) 69 and a recording medium 65 are detachable.
  • the recording medium 65 may be a so-called memory card using a semiconductor memory, various recording media such as a recordable DVD (Digital Versatile Disk) or recordable CD (Compact Disc), or a magnetic disk. Can do.
  • the camera unit 60 includes an optical system block 60a, an aperture 60b, an image pickup device 60c, such as a CCD (Charge Coupled Device), an A / D converter circuit 60d, an optical product driver 60e, An aperture driver 60 f, an imaging device dry 60 g, a timing generation circuit 60 h, a drive unit 60 i, a detection unit 60 j, a shake detection unit 6 Ok, and the like.
  • the optical system block 60 a includes a lens, a focus mechanism, a shutter mechanism, an iris (iris) mechanism, a camera shake driving unit, and the like.
  • a zoom lens is used as the lens in the optical system 60 a.
  • the control unit 62 includes a CPU (Central Processing Unit) 6 2 a, a RAM (Random Access Memory) 6 2 b, a flash RO M. (Read Only Memory) 6 2 c, a clock circuit 6 2 d, etc. 6 2 is a microcomputer configured to be connected through e, and controls each part of the image pickup apparatus of this embodiment. -
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • flash RO M. Read Only Memory
  • 6 2 d a clock circuit
  • 6 2 is a microcomputer configured to be connected through e, and controls each part of the image pickup apparatus of this embodiment.
  • the flash ROM 6 2 ′ c stores various programs to be executed in the CPU 6 2 a and data and the like necessary for processing.
  • the image processing program may also be stored in the flash R 0 M 6 2 c.
  • the clock and circuit 6 2 d can provide the current date, current day of the week, and the current time, as well as the shooting date and time.
  • the optical block driver 60 0 e forms a drive signal for operating the optical block 60 0 a according to the control from the control unit 62. This is supplied to the optical system block 60a to operate the optical system block 60a.
  • the optical system block 60a captures the subject image in accordance with the drive signal from the optical block driver 60e. This is provided to the image sensor 60c.
  • the image sensor 60 c photoelectrically converts the image from the optical system block 60 a and outputs it.
  • the image sensor 60 c operates according to the drive signal from the image sensor driver 60 g, and outputs from the optical system block 60 a. Capture the subject image. Further, based on the timing signal from the timing generation circuit 60 h controlled by the control unit 62, the captured analog image data of the subject is supplied to the A / D conversion circuit 60 d.
  • the A / D conversion circuit 60d performs A / D conversion to form an image data that has been converted into a digital signal.
  • the image data set as the digital signal is supplied to the camera D S P 61.
  • the camera D SP 6 1 uses the AF
  • Camera signal processing such as (Auto Focus), AE (Auto Exposure), AWB (Auto White Balance) is performed.
  • the image data adjusted in this way is compressed by a predetermined compression method and supplied to the recording medium 65 via the system bus 62 e and the medium I ZF 64 for recording. . :
  • the image data recorded on this recording medium 65 is the same as that of the target object according to the operation input from the user received through the operation unit 66 consisting of the control panel. Is read from the T recording medium 65 through the medium I / F 64 and supplied to the camera DS ⁇ 61. '-
  • 'Camera BSP 61 is read from the recording medium 65,' Medium I;
  • F 64 ⁇ De-compressed image data that is supplied through De-compressed compression Processing (decompression processing), and decompressing the image data to the system bus
  • the LCD controller 67 forms an image signal to be supplied to the L CD 68 from the supplied image data and supplies it to the L CD 68.
  • an image corresponding to the image data recorded on the recording medium 65 is displayed on the display screen of the L CD 68. It is also possible to receive the image data from the personal computer and record it on the recording medium 6-5. Also, the image data recorded on the recording medium 65 can be supplied to an external personal computer via the external I / F 69.
  • a communication module by connecting a communication module to the external I / F 69, it can be connected to a network such as an Internet, for example, and various image data and other information can be connected through the network. Can be obtained and recorded on the recording medium 65. Alternatively, the data recorded on the recording medium 65 can be transmitted to the intended destination via the network.
  • a network such as an Internet
  • the external I / F 69 can also be provided as a wired interface such as IEEEE (Institute of Electrical and Electronics Engineers 1 3 94), USB (Universal Serial Bus), or the like.
  • IEEEE Institute of Electrical and Electronics Engineers 1 3 94
  • USB Universal Serial Bus
  • This external 69 can be installed as a wireless interface using light or radio waves. That is, the external I / F 69 may be a wired or wireless interface. .
  • FIGS. 14 and 14 show an external configuration diagram of the digital camera when the image processing device is applied to a digital camera as an imaging device.
  • Fig. 14 (a) is a perspective view of the digital camera viewed from the front
  • Fig. 14 (b) is a perspective view of the digital camera viewed from the rear.
  • the digital camera 70 has a lens 7 1, a shutter button 7 2, a menu button 7 3, a decision button 74, an exposure compensation button 7 5, an evening panel 7 6, Cross keys 7 7 are provided. The points specified later can be Perform by operation.
  • the CPU 62a of the control unit 62 captures a subject image with the image sensor 60c and generates digital image data with the A / D conversion circuit 60d (step S10 1). . Subsequently, the CPU 62 a generates distance information (Depth Map) corresponding to the generated image data (step S 1 02).
  • the distance information (Depth Map) is obtained by associating the distance to the object in the image in pixel units, and can be obtained by TOF (Time of flight.) Method or blur amount analysis (Depth from Defocus). Subsequently, the CPU 62 a. Records the image data and the distance information on the recording medium 65 (step S 103).
  • the image data and the distance information are recorded on the recording medium 65 via the medium I / F 64 in a state of being associated with each other.
  • Distance information It will be held and will be held. By saving the distance information associated with the image according to the file number, etc., the size of the image file itself can be reduced. In this case, it is necessary to judge the relationship between images and distance information. ..
  • step S104 the CPU 62a controls the 'LCD controllers 6 and 7 to display an image on the L CD 68. Then, the CPU 62a performs a process based on the operation of the subject surface corresponding to “aori (swing, tizolet)” (step S105). Details of the processing in step S 1 5 will be described later with reference to FIG.
  • the subject surface refers to the extension of the light receiving surface of the image sensor 60 c and the extension of the principal surface of the optical system according to the so-called Scheimpf lug principle. This is the surface that meets the focus.
  • the optical system of the image sensor 60 c and the optical system 60 a is in a position where the lens optical axis and the image sensor surface are (almost) orthogonal so that the so-called folly (sing, tilt) operation cannot be performed. In this case, the image is taken. Manipulation of the subject surface corresponding to “aori (swing, tilt)” is performed by image processing. Subsequently, CPU 6 2 a reads out the image data recorded in step S 1 0 3, and step S Image processing (bokeh processing according to the distance from the subject surface) is performed using the subject surface set in 1 0 5 (step S 1 0 6). Details of the processing in step S 1 06 will be described later with reference to FIGS. 18 and 19.
  • the CPU 62 a records the image data that has undergone image processing on the recording medium 65 via the medium 1 / F 64 (step S 10 07). :, At this time, the CPU 6 2 a will save the image data related to the displayed image to the original image data at the time of shooting. The image data related to the processed display image is recorded simultaneously. That's it for ⁇ . '
  • step S1 0 in Fig. 1.5
  • step S1 0 in Fig. 1.5
  • step S1 0 in Fig. 1.5
  • CP U 62 2 a Upon entering this process, CP U 62 2 a accepts an instruction related to the center of the subject surface by touching the evening panel 76 (step S 2 0 1). : In other words, C P U 62 2a detects the coordinates of the position that was set and accepts it as the position designation.
  • the center of the subject plane is the center of rotation of the subject plane, and is a three-dimensional and spatial center position that becomes the center when the subject plane is rotated in a new coordinate system consisting of X, ⁇ , and ⁇ axes. is there.
  • the CPU 6 2 a displays the rotation center of the subject surface in the display screen of the LCD 68 so that the user can recognize the rotation center of the subject surface thus set.
  • a point indicating is displayed (step S 2 0 2).
  • the CPU 62 2 a performs coordinate conversion of the distance information (Depth Map) so that the center of rotation of the object surface becomes the center of the solid coordinate. (Step S 20 3).
  • the distance information is related to the depth coordinate (Z) of the coordinates (X, Y, Z) defined by the plane coordinate (X, Y) and the depth coordinate (Z) of the image.
  • the CPU 62a first converts the coordinates (X, Y, Z) of the pixel set at the center of the subject surface to become the origin (0, 0, 0) of the solid coordinates.
  • the coordinates of other points (pixels) are converted into coordinate values of a new coordinate system with the coordinates of the center of the subject surface as the coordinates center.
  • the distance information is converted into a distance from the subject surface. Note that the details of the conversion of the distance information are as described above with reference to FIG. 8, and therefore, a duplicate description is omitted.
  • the shape of the subject surface is a simple plane.
  • the center of the displayed subject surface is shifted from the position intended by the user, correct it by dragging the display point. For example, by using the cross key 7 7 in FIG. 14 (b), the center point can be moved in the direction in which the cross key 7 7 is operated.
  • the CPU 6 2 a determines whether or not the center of the subject surface has been determined when the user operates the evening panel 76, for example, when the determination button is tapped. S204). If the center of the subject surface is modified according to the user's operation, the center coordinate will change, so the corrected subject surface center becomes the center of the solid coordinate. Return to S 2 0 3 and convert the coordinates of the distance information (Depth Map) again. On the other hand, for example, when the center of the subject surface that is not displayed on L C; D 68 is tapped again, and the center is determined, the process proceeds to step S 2 0 5.
  • the display image is displayed so that CPU 6 2 a is effective when the subject surface is operated. Is processed and displayed (step S 205).
  • This display image is not the captured image itself, but is displayed on the display screen (L CD 68) to confirm the image itself and the effect of the subject surface operation.
  • Image processing may be simple because it is for confirmation of the image itself.
  • This display image is changed from the captured image to the image that matches the resolution of the display screen (L CD 68). By reducing the size, it may be temporarily stored in RAM 62 b ′ (or SD RAM 63). Alternatively, the image may be stored in the recording medium 65 via the medium I / F 64 as a separate file from the original image data at the time of imaging.
  • step S205 specifically, blur processing is performed on the display image according to the distance from the subject surface.
  • the displayed image may be a smaller image than the actually recorded image.
  • the depth of field is constant (however, the depth of field is shallower than actual imaging).
  • the CPU 62a rotates the subject surface according to the user's operation. (Step S206).
  • ⁇ This rotation of the subject surface is performed by tapping coordinates other than the center of the subject surface. Rotate (tilt) the subject surface around the X or Y axis.
  • the direction of tilting the subject surface is indicated by the sunset position 500a on the display screen 500.
  • Coordinate of tap position 500 a in display screen 500 Around the rotation axis 5 0 0 c passing through the rotation center 5 0 0 b of the object plane perpendicular to the straight line connecting (X, Y) and the rotation center 5 0 0 b related to the specified point specified at the tip of the subject surface The subject surface rotates. Intuitive operation that taps the surface is realized by tapping.
  • the rotation of the object plane is performed by coordinate transformation in the three-dimensional analysis geometry. For example, the distance from the subject surface is calculated for each pixel.
  • C P the center of rotation of the subject surface
  • U 6 2 a performs the process of converting the coordinates of the distance information into the distance information from the subject surface. .
  • the display image is image-processed and displayed on the LC 8 so that the effect of rotating the subject surface about the rotation center 5 0 0 b as a fulcrum (in short, tilting the subject surface) (step S 2 0 7). That is, 'C P U 6 2 a is rotated'. (Tilde) 'Depending on the distance from the operated subject surface,' C P U 6 2 a is subjected to blur processing. 'The results are shown in Figure 17 (b).
  • step S 2.0 7 is similar to the image processing described in step S 2 0 5 described above, and user operations can be performed smoothly and the effect of the operation can be grasped. It can be an image ZEISS. Also, the operation of tilting the 'object plane line:. Worth Tsu, in due connexion fix child transgression to drag the rotation center of the object plane kill. In that case, it is sufficient to change the coordinates in the same manner as in step S2.03. '
  • Step S 2 0 8 the CPU 6 2 a is in the subject surface of the touch panel 7 6 by the user.
  • the process returns to step S 2 06 and repeats the above processing.
  • the process ends and returns to the process of FIG.
  • step S 1 0 6 of FIG. Details of the process will be described. It is assumed that the image processing apparatus holds a table based on the relationship as shown in FIG. In this Fig. 19, the vertical axis shows the value of blur added parameter, and the horizontal axis shows distance information. Until the distance reaches the depth of field, the blur added parameter is zero. From the distance that is the depth of field, for example, it is related to a linear function. As the distance increases, the value of the blur added parameter increases. Depending on the distance to the subject, you can keep several
  • C P U 6 2 a sets a pixel to be subjected to image processing (step S 3 0 1). Subsequently, C P U 6 2 a acquires distance information coordinate-converted to a distance from the subject surface (step S 3 0 2). Then, the table based on the relationship in FIG. 19 is referred to, and the blur added parameter overnight corresponding to the distance information is acquired (step S 3 0 3). Then, the blur added parameter is added to the pixel (step S 3 0 4). For example, you can add blur by performing pass-by-pass (LPF) processing using peripheral pixels, but for: You can change children:. 'The number of pixels when the average value of all the pixels used is the pixel value of the target pixel:
  • LPF pass-by-pass
  • C P U 6 2 a determines whether the processing has been completed for all pixels (step S 3 Q. 5). Processing has not been completed for all pixels
  • step S 3 0 1 If “No” is selected, return to step S 3 0 1 and repeat the above process. On the other hand, if it is determined that the process has been completed for all the pixels, the process is terminated and the process returns to the process of FIG.
  • “Cancel” and “Return” display an operation button 5 0 2 a superimposed on the display screen 5 0 2.
  • the display position is arranged so as not to overlap the point indicating the center of the subject surface.
  • buttons 5 0 3 a such as “Cancel” and “Back” can be moved by dragging on the display screen 5 0 3 Can do. This will not interfere with the correction of the rotation center point of the subject surface, and when checking the effect of tilting the subject surface, the button position can be shifted and the entire screen can be viewed.
  • buttons 5 0 4 a such as “Erase display” may be arranged on the display screen 5 4.
  • the “Erase display” operation button 5 0 4 a can also be moved by a drag operation as shown in FIG. 20 (b). '
  • this operation button 5 0 4 a you can hide the display screen except for the display screen '5 0 4 and look around the screen all at once. Can't confirm the effect of ⁇
  • the depth of field is usually ': ⁇ ' ' ⁇ ⁇ ⁇ ' When the image is taken with a squeezed aperture, the depth of field is shallow. (Shudder speed is fast) '..' ''.. ⁇ ⁇
  • the depth of field is determined by the time between the two taps when tapping twice. Set a shallow depth of field if the time between sunsets is short and set a deep depth of field if s is long. This agrees with the relationship between fast and slow speeds, so it can be intuitively understood for the user operating the camera.
  • the depth of field, and after determining the rotation center of the object plane, the object plane it is desirable even realizing the function of changing after tilting. Therefore, in the image processing apparatus and the image processing method according to the fourth embodiment, the object surface is repeatedly measured until the rotation of the object surface is instructed (corresponding to step S 2 0 8 in FIG. 16). It is possible to reset the depth of field by tapping the rotation center twice, and image processing according to the set depth of field (steps in Fig. 16) S 2 0 7).
  • Fig. 21 (a) when the center of rotation of the subject surface is set by the user's operation, in the display screen 5 0 5: (position that does not overlap with the center of rotation of the subject surface) ) Is displayed with a graph display section 5 0 5 a that changes depending on the time between taps.
  • the display is strip-shaped, and the display is switched to “shallow” or “deep” according to the time since the first tap operation was performed, and the user can set the depth of field.
  • the display is not limited to “shallow” or “deep” in the depth of field. As shown in the display screen 5 0 6 shown in Fig. 2 1 (b), the “front” and “ The graph display portion 5 0 6 a may indicate how much the pin 10 is within the range. Also, it's good to display numbers as well as intuitive graph display. ': For example, “35mm. Conversion, 85mm field angle equivalent to F2.8 depth of field” can be given as an example. It is also conceivable: '3' 5 mm from image data of image data: Automatically calculate the angle of view converted to size, and display the F value at that angle of view.
  • an “end” button 5 0 7 a is additionally displayed on the display screen 5 7 7.
  • This “end” button 5 0 7 a can also be moved by dragging it to a desired position on the display screen 5 0 7.
  • the correction of the center of rotation of the subject surface is not disturbed.
  • tilt the subject surface When checking the effect, you can shift the button position to see every corner of the screen.
  • an operation of tapping twice and an instruction to end rotation of the subject surface are not displayed instead of displaying the “end” button over the display image. Is performed in the same user interface (UI). :
  • the CPU 6 2 a determines that the instruction is to end the rotation of the subject surface ( (This corresponds to step S 2 0 8 in Figure 16).
  • the image processing apparatus or the like in order to provide a time until the display is switched when an instruction to end rotation of the subject surface is given (corresponding to step S 2 08 in FIG. 16). Since there is no need to display the “Finish” button, the screen display is not complicated. Needless to say, the depth of field can be set by specifying a 35 mm equivalent focal length and aperture value by the user's menu operation.
  • the depth of field setting is not limited to the method of setting the time for two evenings.
  • the 1st tap displays the display screen 5 1 1 shown in Fig. 2 2 (d), and the second tap on the dinner panel 7 6 is ⁇ shallow '' ⁇ deep '' depth of field.
  • the graph display section 5.1 1 a you can also enter this. According to this method, it is possible to instruct the setting of the depth of field and the end of rotation of the subject surface without requiring time to switch the display when instructing to end the rotation of the subject surface with one UI. Can '
  • FIG. 23 (a) shows an example in which a sunset range defined as “the center of the subject surface” and half-IJ is displayed on the display screen 5 1 2 with circles 5 1 2 a.
  • FIG. 23 (b) shows an example in which the tap range determined as “the rotation center of the subject surface” is displayed as a rectangular mark 5 1 3 a on the display screen 5 13.
  • the CPU 6 2 a determines that “the center of the subject surface” has been set and processes it, and taps outside this range. Occasionally, other processing (for example, subject surface rotation and tilting operations) is performed. ⁇
  • the screen display such as “Cancel”, “Return”, “Erase display”, “Exit” (button) and the depth of field are placed outside the range judged as “Center of subject surface”. Of course, it is desirable to do so.
  • the object surface is rotated (tilted) in step S 2 06 in FIG.
  • the rotation angle the amount to tilt the subject surface: according to the strength of the setting, as shown in Fig. 24, the tilt amount of the subject surface is indicated by the position to be dipped.
  • the display screen 5 1 • 4 displays the angle at which the subject's surface is tilted step by step to support user operations.
  • . Near the center of the skin image plane: is the range that is determined to be “the center of rotation of the subject surface”, and the tilt amount (the angle at which the subject surface is rotated / tilted) 'increases as the distance from that region increases. That is, a tilt amount corresponding to the distance from the subject surface center coordinate to the tap position coordinate (: ⁇ ⁇ ,,) is set. It is 1 degree near the center of rotation of the subject surface, 2 degrees far away, 3 degrees further away, and so on.
  • the rotation angle that is, the angle of coordinate transformation in the 3D analysis geometry, may be set so as to change stepwise from the center of rotation of the subject surface. It is more preferable that the angle can be finely adjusted according to the distance from the center to the tap position. Even if the display is gradual, the angle may be set more finely than the display in the actual processing.
  • the user can perform intuitive operation by changing the tilt angle in proportion to the distance from the center of rotation of the subject surface to the sunset position.
  • the rotation angle of the subject surface can be changed according to the angle of view of the photographed image (recorded as “me evening” in step S 1 0 1 in FIG. 15).
  • the tilt of the subject surface when tilting the lens is different for 24mmZ45mm / 90mm. If the tilt angle of the lens and the image sensor is the same (for example, 10 degrees), the tilt of the subject surface is larger with the wider angle lens.
  • the configuration of the image processing apparatus according to the seventh embodiment is the same as that of the third embodiment (FIGS. 13 and 14). . Also, when referring to the chart in Fig. 1: 5, ⁇ 6., The features will be explained with reference to the steps in the figure.
  • step S 2 0 5 of FIG. 16 the horizontal line 5 1 as shown in FIG. 5 a and vertical lines 5 1 5 b are displayed on the display screen 5 1 5.
  • the horizontal line 5 1 5 a and the vertical line 5 1 5 b are used when taking a picture (step S 1 0 1 in FIG. 15).
  • the angle may be recorded and displayed. Easier For simplicity, it is better to simply display the horizontal and vertical lines of image information that pass through the center of rotation of the subject surface.
  • the CPU 6 2 a fixes the rotation angle of the subject surface.
  • tapping horizontal line 5 1 6 a on display screen 5 1 6 on evening panel 7 6 causes CPU 6 2 a to rotate the subject surface to horizontal line 5
  • the direction of rotation is limited to be performed around the axis of 1 6 a, and the mark 5 1 6 c (triangular mark in this example) indicating that it is fixed to the horizontal line 5 1 6 a is displayed.
  • I can. For example, “Aori (swing ⁇ ⁇ tilde)”: Some lenses can determine the angle at a predetermined angle, so these 'uses are familiar to the user.' It can be said that there is.
  • the configuration of the image processing apparatus according to the eighth embodiment is the same as that of the third embodiment.
  • the object surface is rotated (tilted) in step S 2 06 in FIG. It is characterized by displaying the state and angle of the body surface.
  • the angle at which the subject surface is tilted must be confirmed by the captured image.
  • the angle when rotating the object plane that is, the angle used for coordinate conversion is: Record in RAM 6 2 b.
  • the actual display example is as shown in Fig. 26 (a) to (h). That is, each of the display screens 5 1, 8, 5, 5, 5, 5, 5, 5, 5, 5 1 5 a, 5 1 a 52, 5 2 1 a 52 2 a 5 2 3 a, 5 24 a, 52 5 a are displayed. These status indicators 5 1 8 a, 5 1 9 ⁇ , 5 2 0 a, 5 2 1 a, 5 2 2 a, 5 2 3 a, 5 24 a, 5 2 5 a Because it is presented in three dimensions, it can be said that it is intuitive and easy to understand for users.
  • the configuration of the image processing apparatus according to the ninth embodiment is the same as that of the third embodiment (FIGS. 13 and 14).
  • the shape of the subject surface has been described as a simple plane, but the image processing apparatus and image processing method of the ninth embodiment are limited to this. It will never be done.
  • a normal optical system lens
  • there is a curvature of field so the shape of the subject surface with respect to an image sensor, which is normally flat, is It will not be flat.
  • Figures 27 (a) and (b) are diagrams conceptually showing such curvature of field. That is, Fig. 27 (a) shows the meridional image plane, and Fig. 27 (b) shows the sagittal image plane.
  • the meridional image plane is sometimes referred to as the tangential image plane.
  • Sagittal is sometimes referred to as the radial image plane.
  • the meridional plane is a plane that includes the optical axis and the principal ray, and the image plane where the meridional ray that travels within the meridional plane is the most focused is the meridional image 'plane.
  • B The sagittal plane is perpendicular to the meridional plane.
  • a sagittal image plane is an image plane on which a sagittal ray traveling in the sagittal plane is best condensed.
  • the shape of the subject surface is not a flat surface, but is treated as if it were curved as much as an actual lens.
  • the distance information (Depth Map) is coordinate-converted (ie, the distance of each pixel in the captured image. When the information is converted into distance information from the subject surface, it is sometimes calculated using the shape of the subject surface. '
  • the shape of the object surface Seki image height (the distance from the image center) and the object plane shape: holding a de-data representing the engagement. Same as the distance information (Depth Map) to indicate the relationship between the position (X, Y) in the image and the shape of the subject surface (). ⁇ '. +...
  • figure '' 28 shows the shape of the object surface expressed in the same way as Depth : , Map (Depth Map). In the map, black indicates the front and white indicates the back. As shown in Fig. 29, the shape of the subject surface only needs to represent the relationship between the image height and the shape of the subject surface, so it is not always necessary to maintain the same data as the distance information. Absent.
  • Data may be stored for areas divided horizontally and vertically in the image, Only the image height to the subject surface shape may be held.
  • the subject surface shape may be held and recorded in: RAM 62b, or may be obtained from the outside via the external I / F 69.
  • the CPU 62a performs the following calculation.
  • the object surface shape is calculated at this stage. It is preferable. Note that the operations (1) and (2) may be performed simultaneously.
  • step S 20 1 in step S 20 1 (if corrected in step S 20)
  • the subject rotation center and the subject surface shape center coincide with each other. Do. ': ..
  • the center of the image and the center of the object surface shape match as in the latter case, so it is preferable for the user to obtain this effect. Therefore, in the following, the explanation will be made according to the latter concept.
  • the center of rotation of the subject surface and the center of the shape of the subject surface can be made to coincide with each other by specifying the menu operation.
  • the rotation center of the subject surface when the tilt operation is performed depends on the focal length, the tilt angle of the subject surface, and the imaging distance, that is, the distance to the subject. It moves from.
  • the distance information on the subject surface is converted into distance information from a plane orthogonal to the lens optical axis at the time of imaging through the subject surface center coordinates.
  • ⁇ Return the shape of the subject surface to the original flat shape.
  • the subject surface shape moved (X, Y) from the image center according to the rotation angle of the subject surface is added to or subtracted from the coordinate information (X, Y, Z) at each pixel position in the image (subject surface shape (It is the opposite depending on how you have the data.)
  • subject surface shape (It is the opposite depending on how you have the data.)
  • the center of the subject surface is long pressed in step S 2 04 or step S 2 0 6 in FIG. 16 (tap and drag).
  • C P U 6 2 a controls to display the display frame 5 2 6: a of the current subject surface shape on the display screen 5 2 6 of L CD 6 8.
  • the display frame 5 2 6 a of the object surface shape can be moved by, for example, dragging the display frame o This display frame 5, 2 6 a If the subject surface shape displayed in is touched and dragged: CPU 6 2 a changes the subject surface shape.
  • the effect of changing the shape of the subject surface can be immediately confirmed by the user by performing image processing in step S .2 and step S 2 07 in FIG. -.
  • the operation for displaying the shape of the object plane is not limited to long press on the center of the subject plane.
  • the 'Subject surface shape' button may be displayed on the display screen 5: 2: 6. In this case, it is desirable to place the “subject surface shape” button outside the range determined as “the center of the subject surface”. .
  • the first tap on the center of the subject surface displays the screen 5 2 7 as shown in Fig. 30 (b), and the second tap displays the depth of field setting of “shallow” to “deep J” and “ “End” and “Subject surface shape” are displayed It is also possible to enable input related to the depth of field in the graph display section 5 2 7 a. By doing this, it is possible to instruct the depth of field setting, the end of subject surface rotation, and the subject surface shape display with one UI. .
  • buttons such as “Cancel” and “Clear display” are also displayed on the screen displayed by the first tap, the subject surface can be operated with one UI.
  • Fig. 3 l '(a) J ⁇ is an example in which ⁇ is recognized by the positional relationship between rain eyes and nose / mouth, and' center position 'is set as the center of the subject plane. '.
  • the recognition area of ⁇ is indicated by a rectangular frame '5 2 8 a.
  • This screen 5 2 9 shows the recognition area Are indicated by rectangular frames 5 29 a to 5 2 9 d.
  • the CPU 6 2 a will display on the display screen 530 in the body analysis geometry.
  • the rotation axis of the subject surface is placed on the line connecting the two points by coordinate transformation, and the rotation axis 5 3 0 a is displayed, allowing the user to rotate.
  • an image subjected to the blur processing as shown in FIG. 3 2 (b) is displayed on the display screen 5 31.
  • the CPU 6 2 a displays a plurality of face recognition areas on the display screen 5 3 2. Is indicated by rectangular frames 5 3 2 a to 5 3 2 c, and the object plane is placed on a plane defined by three points by coordinate transformation in stereoanalysis geometry ⁇
  • CP U..6 2 a determines that the main subject is the center of rotation of the subject surface, and the subject with a large proportion of the subject in the screen 5 32 is the main subject detection range.
  • the center may be the rotation center of the subject surface.
  • the user can further manipulate the subject surface and set the depth of field. 'Also, if a detected range is specified.
  • CPU 6 2: a can also select the main subject (eg the center coordinates of the subject detection range) according to the range, for example: Figure 3: 3
  • the main subject eg the center coordinates of the subject detection range
  • Figure 3: 3 As shown in (b) ', in the display screen 5 3 3, when the subject 02 located deeper is specified by the user operation instead of the subject 01 with a large proportion of the subject, GP U 62 a
  • the subject 0 2 (such as the center coordinates of the detection range of the subject 02) is selected as the main subject and set as the center of rotation of the subject surface.
  • CPU 6 2a In the detection range by coordinate transformation in analytic geometry Set the subject plane / depth of field to include all the cardiac coordinates.
  • the CPU 62a sets the subject surface so that the center coordinates of the detection range are equidistant from the subject surface (however, the center coordinates of the detection range are not necessarily on the subject surface).
  • Set the depth of field so that it is equal to the distance from the subject surface to the center coordinates of each detection range.
  • the center of rotation of the object plane (reference numeral 5 3 4 a) is not the center coordinate of any of the detection ranges, but the distance from the object plane set as shown in Fig. 3 3 (c) is the minimum. Is set to a position. 'Even in this case, according to the further specification of the detected range, the CPU 6 2 a can select the main subject and reset the center of rotation of the subject surface.
  • the detected object range (for example, a face) is indicated by rectangular frames 53.5a to 5.35d on the display screen 535. Based on this subject range, if a new subject is selected by the user operation or if a subject that has already been recognized is deselected, C. PU 6 '2 a re-uses the subject used to set the subject surface. Set.
  • the detection range and surroundings of subjects 03 and 04 (rectangular frames 53: 6 c,'-: 5.3 6, d ) Shows an example of deselection.
  • 'CP U 6 2 a identifies the main subject (center coordinates of the detection range of the subject) from among the reset subjects, as shown in Figure 3 4 (c)': The image that has been processed with force is displayed on the display screen 5 3 7.
  • Figure 3 4 (c)' The image that has been processed with force is displayed on the display screen 5 3 7.
  • the image processing apparatus and the image processing method according to the fourth to first embodiments described above can be implemented by any combination. 'Although it has been explained on the assumption that the evening channel 7 6 is used, the pointing device for performing the operation input is not limited to this. Even if instructions are given with key ⁇ 4, the same convenience can be provided to the user.
  • Image processing device 'Odor' It is possible to freely operate the subject surface corresponding to the “aori (swing, tilt)” operation using special optical design and lens barrel design by the conventional technology. Can provide a way 6
  • the user can easily operate the subject surface and grasp the status. '.
  • the operation of the subject surface by the user and grasping the state can be made easier.
  • a small imaging device that combines a small imaging element and a lens with a short focal length can be used. Even for shadowed images with deep depth of field, image processing that virtually reduces the depth of field can be performed.
  • the present invention is not limited to the first to tenth embodiments described above, and various improvements and modifications can be made without departing from the spirit of the present invention.
  • the present invention can be implemented as a program related to the processing of the image processing apparatus described above, a recording medium recording the program, a program realizing the image processing method described above, and a recording medium recording the program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

被写体面が設定され、該被写体面の設定に応じて好適な画像処理が行われる。画像処理装置は、撮像画像に対応する画像デ一タと、前記撮像画像内で指定された点までの距離に関する距離情報を受け、この指定された前記点を含む被写体面（１００）を設定し、前記距離情報を前記被写体面からの距離情報に変換し、この変換された距離情報に応じた所定の画像処理を行なう制御部（７）を有する。

Description

画像処理装置、 画像処理方法及び画像処理プログラム 技術分野
本発明は、 画像処理装置等に係り、 特に設定された被写体面に応じて例 えばボカシ処理等の画像処理を行う画像処理装置、 画像処理方法及び画像 明
処理プログラムに関する。 . . .
田
背景技術 ,
従来、 フィルム式カメラやディジ夕ルカメラ等の撮像装置においては、 撮像レンズにァオリ操作を行って撮像を行うことがある。 ここで、 「ァォ リ操作」 （camera movement) とは、 撮像レンズの光軸を撮像画面の中心 (部） でフィルム面 （或いは撮像素子面） と直交させるといった撮像装置 とレンズとの基本的な関係を崩すことで、 結像効果を変えるレンズ操作 （ 或いはカメラ操作） である。 このような操作は、 「カメラムーブメン ト j 'と総称'される。 ァオリ操作によれば、 建物等の遠近感歪み （パースぺクテ イブ ' ディフオルメ一シヨン） を補正し、 被写界深度をコン トロールし、 或いは鏡等へのカメラの映り'込みを避けることができる。 ■ . · . ここで、 このカメラムーブメントは、 図 3 5に示されるように大別され る。
即ち、 .カメラムーブメントには、 「ディスプレ一スメント （ 「シフ ト」 、 「ライズフオール」 ） 」 と 「スイング」 、 「ティルト」 という、 2通り の操作がある。 前者では、 撮像レンズの光軸とフィルム面 （或いは撮像素 子面） との直交関係を崩すことなく レンズ面 （又はフィルム面/撮像素子 面） を互いに平行移動させる。 つまり、 光軸が交差する位置を画面の中心 (部） からずらす。 後者では、 撮像レンズの光軸とフィルム面 （或いは撮 像素子面） の直交関係を崩す。 つまり、 光軸とフィルム面 （或いは撮像素 子面） の交差角を垂直 （ 9 0度） 以外に変える。
厳密に解すれば、 前者の 「ディスプレースメント」 のみが 「ァォリ」 ( camera movement )に相当するが、 一般的には両者を混同して 「ァオリ」 と総称されていることが多い。 そこで、 以下では便宜上、 「シフト」 、 「 ライズフォール」 、 「ティルト」 、 「スイング」 を、 それぞれシフ トァォ リ、 ライズフォールァオリ、 ティルトァオリ、 スイングァオリと称する。 これらを更に詳細に説明すると、 「シフ トァオリ」 とは、 レンズ光軸 （ 又はフィルム面/撮像素子面） を左右に移動させるもので、 構図の修正、 歪みの矯正に使用される。 この操作をすればカメラを動かすことなく左右 方向へ構図を変更することができる。 このシフ トァオリを用いれば、 例え ば鏡の中心より左右どちらかにずれた位置から撮像しているにも関わらず 鏡の'中央で撮ったような写真が得られる。 「ライ.ズフォールァオリ」 とは 、 上下にレンズ面 （又はスイルム面/撮像素子面）' を移動させるもので、 シフ トァオリと同様に構.図の修正、 歪みの矯正に使用される。 このライズ 'フォールァォリを使用することで、 三脚のエレべ一夕一、 脚等を伸ばさな ' ぐてもく 上下に構図を修正できる。 また、 通常カメラで高いビルなどを見 '上げた場合、 遠い部分が小さく先細るように写る'が、 これを垂直に写すた めのパースペクティブ ' コントロールに用いられることもある。 '
ー方、. '「ティルトァオリ」 とは、 レンズ光軸に対して、 前後方向にレン ズ面 （又はフィルム面ゾ撮像素子面） を傾けるものであり、 主にピン ト面 .位置の変更や、 歪みの矯正に使用される。 このティルトァオリを使用すれ ば、 絞りが開放であっても、 遠くから近くまで広範に亘りピントを合わせ ることができる。 「スイングァオリ」 とは、 撮像レンズの光軸に対して垂 直な線を軸にしてレンズ面 （又はフィルム面/撮像素子面） を回転させる ものであり、.その効果は、 前述したティルトァォリと同様である。
例えば、 ティルトァオリで被写体面を操作することによって被写界深度 を深く見せる原理としては所謂 「シャインブルフの法則」 が知られている が、 以下、 図 3 6を参照して、 該シャインブルフの法則を用いた撮像手法 について、 その概略を説明する。 シャインブルフの法則とは、 一般的には 被写体面、 レンズ面及び結像面を延長した面が一本の直線上で交わること をいう。 つまり、 撮像素子面 4 0 0と撮像レンズ 4 0 1の主平面とを傾け て配置したとき撮像素子面 4 0 0と撮像レンズ 4 0 1の主平面と一つの稜 線で交わるように傾いた被写体面 4 0 2にピントが合うということをいう 。 この撮像レンズ 4 0 1·の光軸に対する傾斜角を調整することで、 被写体 面を変更するといつた撮像技法も今日では見受けられる。
そして、 例えば、 同技法によるァオリ効果を用いて、 被写体面を操作す ることによって被写界深度を深く見せるだけでなく被写体面.を調整して都 巿ゃ建物をミニチュアのように撮る撮像技法が知られている。
以上の撮像技法は、 光学系の操作によりァオリ効果を得るものであるが ディ:ジ夕ル処理によってァオリ効果を得るものとしては、''例えば、 特殊 な:レンズを用いることなく画像処理によってァオリ補正 （シフ トァオリ、 ライズ Zフォールァオリ） を行う撮像装置 （例えば特許文献 1参照） 、 元' 々ァオリ効果が.もたらされた画像 （例えば、 ホワイ トポ 'ドを斜め下から: 撮像した画像） を、 マ ュアル指定された傾斜角と被写体までの測距デ一 タに基づき疑似正面画像に変換するディジ夕ルカ ラ （特許文献 2参照 がある。 特許文献 1 特開平 8— 1 6 3 4 2 8号公報。
特許文献 2 特開平 9一 2 8 9 6 1 0号公報。 しかしながら、 特許文献 1に開示された技術は、 ァオリ効果と同様の図 形補正を、 ディジタル技術を用いて電子的に行うものではあるが、 スイン グァオリ、 ティルトァオリに相当する撮像技法を画像処理により実現する ことはなされていない。
一方、 特許文献 2に開示された技術では、 斜め画像を疑似正面画像に補 正して撮像するものであるが、 これも特許文献 1 と同様に、 スイングァォ リ、 ティルトァオリに相当する撮像技法を画像処理により実現することは なされていない。
そして、 実際の撮像素子/焦点距離では撮像できないような浅い被写界 深度及び傾いた被写体面での撮像と同等の効果を付与した画像を画像処理 により得ることや、 浅い被写界深度での撮像と同等の効果を付与した画像' を画像処理により得ることは従来なされていなかった。 . 発明の開示
そこで、 本発明は、 設定された被写体面に応じて例えばボカシ処理等の 画像処理を行うことを課題とする。 . ' . ,
" ：本発明の第 1の観点による.画像処理装置では、' 画像デ 夕に基づく表示 画像のうちのユーザにより指定された点に対応する距離情報に基づいて、 被写体面を設定する被写体面設定部と、 この被写体面に応じで前記画像デ —夕の距離情報を変換する距離情報変換部と、 '· この距離情報変換部で変換
： :ざれた距離情報に基づいて画像データに対して画像処理を行う'画像処理部'
： とを有するひ ： . - '
そして、 本発明の第 2の観点による画像処理方法は、 画像デ一夕に基づ く表示画像のうちのユーザにより指定された点に対応する距離情報に基づ
' いて被写体面を設定し、 この被写体面に応じて前記画像デ一夕の距離情報 を変換し、 この変換された距離情報に基づいて前記画像デ一夕に対して画 像処理を行う。
更に、 本発明の第 3の観点による画像処理プログラムは、 画像データに 基づく表示画像のうちのユーザにより指定された点に対応する距離情報に ^ 基づいて、 被写体面を設定するステップと、 前記被写体面に応じて前記画 像デ一夕の距離情報を変換するステツプと、 変換された距離情報に基づい て前記画像デー夕に対して画像処理を行うステップとからなる画像処理方 法をコンビユー夕に実行させる。
従って、 以上の第 1〜第 3の観点によれば、 被写体面が設定され、 該被 写体面の設定に応じて好適な画像処理が行われる。
本発明によれば、 設定された被写体面に応じて例えばボカシ処理等の画 像処理を行う画像処理装置、 画像処理方法及び画像処理プログラムを提供 することができる。 図面の簡単な説明
図 1は、 本発明の第 1の実施の形態に係る画像処理装置の基本原理の概 念図。'. '
図 2は、 （a ) 及び （b ) は被写体面の設定について説明する概念図。 . 図.3'は、 本発明の第 1の実施の形態に係る画像処理装置の構成図。 · 図 4は、 本発明の第 1の実施の形態に係る画像処理装置によるァォリ効 ：果と同等の補正を行う特徴的な処理について詳細に説明するフローチヤ一 卜。
·' 図 5'：は、:.被写体面の仮設定について説明するフ,. ΰ—チヤ一ト。.
図 6は、 被写体面の調整について説明するフロ—チヤ ト。
: 図 7は、 .（a ) は撮像画像の表示例を示す図、 ( b ) は距離情報である デプス ·'マップの表示例.を示す図、 （ c ) は被写体面から.の距離情報とし ：てデプス ·マップを変換し:た例を示す図、 （d ) はボカシ処理を施した画 像の表示例を示す図。
図 8は、 被写体面の変更に伴う距離情報の変換を説明する概念図。
図 9は、 距離情報の取得の基本原理を説明するための概念図。
図 1 0は、 （a ) 〜 （ c ) は被写体面を任意の湾曲面とする例を説明す る概念図。 図 1 1は、 被写体面を表示するウインドウを採用した表示例を示す図。 図 1 2は、 本発明の第 2の実施の形態に係る情報処理装置の構成図。 図 1 3は、 本発明の第 3の実施の形態に係る画像処理装置の構成図。 図 1 4は、 （a) 及び （b) は第 3の実施の形態に係る画像処理装置の 斜視図。
図 1 5は、 本発明の第 3の実施の形態に係る画像処理装置による特徴的 な処理手順を詳述するフローチヤ一ト。
図 1 6は、 被写体面操作に関わる処理を詳細に示すフローチャート。 図 1 7は、 （ a) 及び （b) は被写体面操作を説明する表示例を示す図 図 1 8は、 画像処理に関わる処理を詳細に示すフローチャート。
図 1 9は、 ボケ付加パラメ一夕と距離情報の関係を示す図。
図 2 0は、 （a) 〜 ズ c ) は操作やり直しに関わる画面の表示例を示す 図。； ' . ： '
図 2 1は、 （a) 〜 （ c) は第 4の実施の形態における被写界深度の設 定に関わる画面の表示例を示す図。
図 2 2は、 （ a) 〜 （d) は第 5の実施の形態における被写界深度の設 定並びに設定終了に.関わる画面の表示例を示す図。''
図 2 3'は、 （ a) 及び （b) は第 5の実施の形態における被写体面の設 定に関わる画面の表示例を示す図。
図 24·は、 第 6の実施の形態における被写体面のティルト量の表示例を 示す図。 .
図 2 5は、 （ a) 〜 （ c) は第 7の実施の形態における被写体面を定め る水平、 垂直ライン等の表示例を示す図。
図 2 6は、 （ a) 〜 （h) は第 8の実施の形態における被写体面の表示 例を示す図。 '
図 2 7は、 （ a) はメ リディォナル像面を示す概念図、 （b) はサジ夕 ル像面を示す概念図。
図 2 8は、 デプス ·マップ同様に表現された被写体面形状を示す図。 図 2 9は、 被写体面の形状を概念的に示す図。
図 3 0は、 （ a) 及び （b) は第 9の実施の形態における被写体面形状 の変更に関わる画面の表示例を示す図。
図 3 1は、 （ a).及び （b) は第 1 0の実施の形態における被写体面の 設定に関わる画面の表示例を示す図。
図 3 2は、 （a) 及び （b) は第 1 0の実施の形態における被写体面の 設定に関わる他の画面の表示例を示す図。
図 3 3は、 （ a) 〜 （ c) は第 1 0の実施の形態における被写体面の設 定に関わる更に他の画面の表示例を示す図。
' 図 34.は、 （a) 及び （ c ) は第 1 0の実施の形態における被写体面の 設定解除に関わる画面の表示例を示す図。 ·.
図 3 5は、 カメラムーブメントの類別を示す図。
図 3 6は、 シャインブルフの法則について説明する概念図。 発明を実施するための最良の形態
以下、 '図面を参照して、 本発明を実施するための最良の形態 （以下、 単 •に実施の形態と称する） について詳細に説明する。
(第 1の実施の形態）
：.先ず、 図 1の概念図を参照して、 本発明の第 1の実施の形態に係る画像 処理装置の基本原理について説明する。 ここでは、 第 1の実施の形態に係 る画像処理装置を撮像装置としてのディジ夕ルカメラに適用した例を挙げ ているが、 これに限定されるものではない。
図 1に示されるように、 撮像装置 1により撮像が行われると、 所定の画 像処理が施された後に、 画像デ一夕と距離情報 （距離データ） が内蔵メモ リ 2に記憶される。 この画像デ一夕は適宜読み出されて撮像画像が L CD (Liquid Crystal Display)等の表示部 3に表示される。
ユーザは、 表示部 3に表示された撮像画像を確認しつつ、 夕ツチパネル 5を操作して所望の点である指定点を 1点以上指定し、 十字キー 4 (例え ば、 上下左右ボタンで構成される） を操作して、 被写体面の傾き方向及び 角度を任意に設定する。
尚、 内蔵メモリ 2は例えば記憶機能を実現するものである。 夕ツチパネ ル 5は例えば指定機能を実現するものである。 十字キー 4は例えば設定機 能を実現するものである。 ' ' · 以上の構成により、 制御部 7は、 画像データに基づく表示画像の領域毎 に対応した距離情報に基づいて、 表示画像内のユーザ指定による指定点の 距離情報に基づいて被写体面を設定する。 そして、 制御部 7は、 この被写 体 '面に応じて画像データに係る各点の距離情報を変換する。 画像処理部 6 は、 この変換された距離情報に基づいて画像デ一夕に対して画像処理を行 う。 従って、 この場合、 制御部 7は被写体面設定機能、 距離情報変換機能 を実現し、 画像処理部 6は画像処理機能を実現することになる。 ， つまり、 図 2 ( a ) に示されるように、 ュ一ザによりタツチパネル 5上 で 1点が指定されると、 この指定された点である指定点を含み撮像レンズ の光軸 . ('ィ 'メ^ジャへの入射光の光軸） 'に直交する平面が被写体面 1 0 0 どして仮設定され、'以降く 指定点を中心どする X軸周り及び Y軸周りの被 写体面 1 0 0の傾き方向及び角度の設定が可能となる。 指定されるのは、 .当該対象の一部である点.である。 · ' .
. ·:例えば、 十字キー 4 'の左右のボタンが操作されると、 Y軸周りに被写体 面 1 0 0が回,転し、 その回転に応じて傾き方向及び角度が設定される b ま た、 例えば十字キー 4の上下のボタンが操作されると、 X軸周りに被写体 面 1 0 0が回転し、 その回転に応じて傾き方向及び角度が設定される。 尚 、 図 2 ( b ) では、 一例として、 十字キー 4の操作により Y軸周りの回転 により傾き方向が Y軸周りに設定され、 傾き角度が図中符号 0に設定され た被写体面 1 0 1を図示している。 尚、 回転は必須ではなく、 回転させな ぐても 1点の指定により被写体面 1 0 0は設定される。
こう して、 夕ツチパネル 5及び十字キー 4の操作により、 所望とする被 写体面 1 0 0 ( 1 0 1 ) の設定が完了すると、 撮像装置に内蔵された画像 処理部 6により所定の画像処理としての、 例えばボカシ処理が施された画 像が表示部 3 (若しくは不図示の外部ディスプレイ） に表示される。 即ち、 この例で.は、 指定された点の座標に基づいて画像デ一夕の各点に 係る距離情報を変換し、 この変換後の距離情報に基づいて画像データに対 して例えばボカシ処理等の画像処理を行う。 そして、 ュ" "ザ指定に従って 被写体面が指定点を回転中心として回転させ被写体面を変更した場合には 、 指定点の座標と、 前記回転の角度に基づいて、 前記画像デ一夕の各点に 係る距離情報を変換する。 そして、 この変換後の距離情報に基づいて画像 データに対して例えばボカシ処理等の画像処理を施される。 尚、 画像処理 部 6 'は、 例えぱ、 .この画像処理機能を実現す'るものである。： ' . 本実施の形態で用いる距離情報は所謂デプス ·マップ（Depth Map )デ一 夕であり、 撮像画像の内の 1点以上に対する個々の距離データである。'尚 .、 複数の領域を最も細かくした場合が画素に相当する。 この場合にほ.、 デ ,プス 'マップデ .夕とは、 '例えば複数画素の各画素每の距離デ.一夕である 'とも言える ':。' . ' へ ； ，.
: この距離情報を得る方法としては、 例えば T O F ( Time of f light) 方 式やボケ量解析 （Depth from Defocus) 等を採用することができる。 ここ で、 T 0 F法とは、 光源から出射された光が対象物で反射し、 センサに到 達するまでの光の遅れ時間と光の速度とから被写体までの距離を得る手法 である。 これらの詳細については、 後に詳述する。
以上のように、 第 1の実施の形態に係る画像処理装置では、 撮像画像内 の 1点が指示されたときには当該点を含み光軸と直交している面を被写体 面とする。 より詳細には、 当該点並びにその点と同じ距離情報を有する点 を含む面が被写体面として設定される。
更に、 例えば夕ツチパネル 5の操作により撮像画像内の少なくとも 2点 以上が指定されると、 制御部 7の制御の下、 これら 2以上の点に対応する 距離情報を内蔵メモリ 2から読み出し、 被写体面のレンズ光軸に対する傾 き方向と傾き角度を各々算出し、 該傾き方向と傾き角度に基づいて被写体 面を設定する。 この傾き方向と傾き角度の算出方法については後に詳述す る。 . ' . ' + • 従って、 撮像レンズの光軸と直交する被写体面、 即ち、 ボケを付加しな い点を、 例えば夕ツチパネル 5の操作により一つに指定し、 被写体面から の距離に基づいて所定の画像処理、 即ち例えばボカシ処理を施す。 これに より、 光学的なァオリ効果 （ティルトァオリ又はスイングァオリ） を用い る.'こと'な :く、 実際の撮像素子の性能、 レンズ位置等を調整することによる 焦点距離の調整では撮'像できない 「浅い被写界深度及び傾いた'被写体面で の撮像」 'と同等の効果を付与した画像が得られる。 従って、'撮像装置に適 用した場合には、. コンパク トディジ夕ルカメラで、 ディジタル一眼レフ力 メラゃ大判カメラで高度な技法を用いて得た画像と同等の画像が簡易に得 られる。 1 . - . · . ·■.' .. . '
" '次 'に、. 図 3のプロック図を参照して、 上記基本原理を採甩した本発明の 第 1の実施の形態に係る画像処理装置について詳細に説明する。'ここでは ' 該画像処理装置をディジダルカメラ等の撮像装置に適用した例を示して いるが、 こ.れには限定されない。 . ' ： . 図 3に.示ざれるように、 撮像光学系 1 1の光軸上には撮像素子 1 2が配 置ざれ、 .当該撮像素子 1 2は映像出力部 1 3に接続されている。 この映像 出力部 1 3はアナログ /ディジタル （以下、 A/ Dと略記する） コンパ'一 夕 1 4に接続されており、 当該 A/ Dコンバータ 1 4はメモリ制御部 1 5 及び画像処理部 2 4に接続されている。 このメモリ制御部 1 5は、 表示メ モリ 1 6と通信自在に接続されている。 更に、 メモリ制御部 1 5は、 表示 処理部 1 7、 ディジタル/アナログ （以下、 DZAと略記する） コンパ一 夕 1 8を介して LCDモニタ 19に接続されている。 画像処理部 24は D AM (Dynamic Random Access Memory) 等からなるフレームノ ッファ （ フレームメモリ） 25と接続されている。
一方、 装置全体の制御を司るための C P U (Central Processin Unit ) 2 1 は、 R O M (Read Only Memory) 2 2、 R A M (Random Access Memory) 23、 画像処理部 24、 0 S D (On Screen Display)処理部 2.6、 撮像条件検出部 27、 カメラ駆動制御部 28、 測距部 29、 夕ツチパネル 34と制御バス 35を介して通信自在に接続されている。
さらに、 CP U 21は、 制御バス 35、 メモリイン夕フェース （以下、 I/Fと略記する） '30を介してメモリカード 3 1と接続されており、 制 '御バス 3 5、 入力 I/F 32を介して操作入力部 33と接続されている。 . そして、 これらの構成のうち、 CPU 2 1と ROM22、 RAM 23によ ：り制御部 20を構成している。 . ： ·' ' . 尚、 RAM23、 メモリカード 3 1は、 例えば記憶機能を実現する。 操 作入力部 33は、 例えば指定機能や設定機能を実現する。：そして、， 画像処 理部 24は、 例えば画像処理機能を実現する ό さらに、 制御部 2ひ、' '特に' • C.:P'U.2::1は、 例えば制御機能を実現する。 ' ： , :. . ' " · · このような構成においで、 CPU 21は、 装置の各部を制御するととも に、 R 0 M 22に格納された画像処理プログラムを読み出し、 該プ口グラ ' ムに従った処理を行う。 この ROM22には、 画像処理プログラムのほか
、 各種の固定デ一夕が格納されている。 この処理の過程で、 RAM .23は 、 ワークエリアとして機能することになる。 被写体光が入射すると、 撮像光学系 1 1を介して撮像素子 1 2に結像さ れる。 カメラ駆動制御部 28は、 露出制御、 絞り制御、 焦点制御、 ズーム 制御、 シャツ夕一制御等の駆動制御を行う。 撮像素子 1 2は光電変換を行 い、 アナログ画像信号を映像出力部 13に供給する。 映像出力部 13は、 アナログ画像信号を撮像条件検出部 2 7に供給し、 撮像条件検出部 2 7は 当該アナログ画像信号についてホワイ トバランスなどの撮像条件を検出す る。
さらに、 映像出力部 1 3は、 この輝度信号と色差信号からなるアナログ 画像信号を A / Dコンバータ 1 4に送出し、 A / Dコンパ一夕 1 4は当該 アナログ画像信号をディ.ジタルの画像データに変換しメモリ制御部 1 5に 送出する。 メモリ制御部 1 5は、 この画像デ一夕を表示メモリ 1 6に一時 的に記憶する。 この画像デ一夕は、 メモリ制御部 1 5により読み出され、 表示処理部 1 7に供給される。 該表示処理部 1 7では、 画像データが、 R •G Bの画像デ一夕に変換される。 この: R G Bの画像データは、 D / Aコン バー夕 1 8で液晶駆動用の R G Bのアナログ画像信号に変換された後、 L C Dモニタ 1 9に供給ざれる。 そして、 該 L C Dモニタ 1 9上にて実写画 像が表示される。 なお、 実写画像はいわゆるスルー画像といわれるもので' ある。 "
このように実写画像が. L C Dモニタ 1 9上に表示された状態で、 操作入 力部 3 3の一要素であ ·る：シャッターボ夕ンが押下されると、 撮像動作が行 ·'われ'る.。 ' '■■ ·':' ―
即ち、 制御部 2 0の制御によって、 実写画像の 1画面分の画像デ タが '画像処理部' 2- 4を通じてフレームバッファ 2 5'に.取り込まれ、 画像処理部 2 4で圧縮され、 所定フォーマヅ トの画像ファイルに変換されて、 .メモリ I / F 3 0を介してメモリ,カード 3 1に記録される。 このとき、 撮像素子 を含む測距部 2 9により,測定された被写体距離の情報 （以下、 距離情報と 略記する） も、 任意のフォーマッ トでメモリカード 3 1に記録される。 制御部 2 0によって、 メモリカード 3 1から、 画像データ及び距離情報 が読み出されると、 圧縮された画像データが、 画像処理部 2 4にて伸長さ れて、 フレームバッファ 2 5に記憶されると共に、 メモリ制御部 1 5によ つて表示メモリ 1 6に書き込まれ、 該表示メモリ 1 6から読み出されて、 L C Dモニタ 1 9上に画像が表示される。
この状態下で、 ュ一ザにより、 夕ツチパネル 3 4上で所望とする点が指 定されると、 C P U 2 1は撮像画像の内の点を指定点として仮設定を行う 。 このとき、 この設定された点に基づいて被写体面を仮設定する。 その後 、 更に操作入力部 3 3の一要素である十字キーが操作されると、 C P U 2 1は、 その操作に基づいて被写体面の傾き方向と傾き角度を設定する。 こ うして、 制御部 2 0の C P U 2 1は、 フレームメモリ 2 5に記憶された画 像デ一夕に対して画像処理部 2 4にて画像処理を施す。 · '
より具体的には、 C P U 2 1の制御の下、 画像処理部 2 4は、 浅い被写 界深度でピントが合っていて他がボケている写真を銀塩カメラで撮影した のと同様となるよう、 画像処理により、 該被写体面に載つていない画素に 对してボカシ処理を施す.。 このボカシ処理が施された画像データほ、 メモ' リ制御部 1 5を通じて表示処理部 1 7に供給され、 L C Dモニタ 1 9上に 処理後の画像が表示される。 この処理の画像デニ夕は、 メモリ. I Z F 3 0 を介してメモリ..カード 3. 1に記録される。
： 尚、 -'ボカシ処理に際しては、 前記画像処理部 2 4は、 前記被写体面から の距離に応じてボケ量を制御することもできる。 ·.≥の場合、 被写体面ど画 ；素どの距離に応じてボケ具合が段階的に変ねるようにするこどができる。 例えば、 被写体面と.他の.酣素との距離が離れでい 'ぐのに'従ゥでボケ量を増 して くことによって、 撮像光学系同様のボカシ効果を得ることができる 。 即ち、 こう.することによって、 被写体面にピントが合っていて、 この被
：写体面から離れていぐのに従つてピントが合わなくなつてきて V 画像がぼ けていく様子を表現することができる。 尚、 以上の説明では、 被写体面と 他の画素との距離情報との関係に基づいてボケ量を制御する例を示したが 、 画素に限定されることなく、 所定の領域 （複数画素からなる） 単位で、 同様の制御をしてもよい。
以下、. 図 4〜図 6のフローチャートを参照して、 本発明の第 1の実施の 形態に係る画像処理装置によるァォリ効果と同等の補正を行う特徴的な処 理について詳細に説明する。
尚、 以下の処理は、 第 1の実施の形態に係る画像処理方法にも相当する ο
この図 4の処理を開始すると、 制御部 20の CPU 21は、 撮像動作を 行い （ステップ S 1) 、 距離情報を生成すると （ステップ S 2) 、 画像デ —夕と距離情報をメモリ力一ド 3 1に記録する （ステップ S 3) 。 尚、 撮 像動作と距離情報の生成の処理手順は、 いずれが先であっても同時であつ てもよいことは勿論である。 また、 記録先はメモリカード 3 1に限定され るものではない。
すなわち、 以上の処理により、 制御部 20の CPU 2 1の制御の下、 画
·,.像データが画像処理部 24を通じてフレームメモリ 25'に取り込まれ、：画 像処理部 24で圧縮され、：所定フォーマッ トの画像ファイルに変換され、 - メモリ I /F.30.を介してメモリカード 3.1に記録される。 このとき、 測 距部 29により測定された距離情報も所定のフォーマツ 卜でメモリカード
' 3:1'に記録されるこ'.とに'なる。 ： ノ ' '
.尚、 :.この例では、:..撮像動作と距離情報の生成を 1つの撮像素子.1;- 2と測 距部 29'の構成要素とじての不図示の撮像素子どで行う例を挙げたが、 こ
/れに限定される ' と'な:く'、 1つの撮像素子 1.2·を撮像動作と距離情報生成 のために兼用してもよい:。：また、 撮像動作と距離情報の生成は並列処理で あっても順次処理であって よいことは勿論である。 ·,. ： -
. ,また、 距離情報を得る めの方法としては、 例えば TO F方式やボケ量 解析等を採用することができる。 即ち、 「TOF」 方式とは、 測距部 ·29 を構成する発光素子から照射され被写体で反射されて戻ってくる反射光の 到達時間を計測し、 被写体距離を求めるものである。 一方、 「ボケ量解析 」 とは、 画像中のボケ量の解析結果から距離を算出するもので、 2つの撮 像素子を用いる場合には、 それらの特性、 サイズ、 絞り条件等の少なく と もいずれかを変えることで撮像用のボケ量、 測距用のボケ量を最適化する ことができる。 1つの撮像素子 12を用いる場合には、 異なる方式の下、 例えば絞り条件等を該方式に従って変えることで、 撮像用のボケ量、 測距 用のボケ量を最適化することができる。 但し、 これら手段には限定されな い。
こうして記録された撮像画像は、 L C Dモニタ 19に表示される （ステ ップ S 4 ) 。
即ち、 この表示の一例は、 図 7 (a) に示される通りであり、 この例で は、 被写体 01〜04が表示されている。 また、 同撮像画像の距離情報は 、 図 7 (b) に示される通りであって、 黒色に近いほど近距離にあること を表し、 白色に近いほど遠距離にあることを表すものである。 この例では 、 距離情報は、 所謂デプス ··マップ（Depth Map)データであり、'撮像画像 の内の 1点以上に対する個々の距離データである。 最大で、 画素ごとに距 離データを取得することができるようになつている。 ノ ' . 続いて、 撮像画像の内の指定点の仮設定を行う （ステップ S 5) 。 この サブルーチンの処理の詳細は、 例えば図 5のフローチヤ一卜に示される通 りである。 ：'. . - ;. . ' ·
': . '即ち、'.ユーザによりダツチパネル 34が操作されて、'撮像画像の内の所 望とする指定点が指定されると （ステップ S'2: 1.) CPU 21·ほ、' 1 目の指定点であるか否かを.判断する （ステヅプ S.2'2 ) ここで、 CPU 2.1は、 1つ目指定点の指定であると判断した場合には （ステップ S 22 を Y e. sに分岐） .、.指定された第 1の指定点を含む光軸に直交する平面を 第 1の被写体面としで仮設定し （ステップ S 23) 、 第 1の被写体面に係 る情報 （第 1の指定点の座標） を RAM 23に記憶して （ステツプ S 2 7 ) 、 L C Dモニタ 19の撮像画像上に指定された第 1の指定点を表示する (ステップ S 28 ) 。
そして、 CPU 21は、 ユーザにより指定点の指定を終了する旨が操作 入力部 33等の操作により指示されたか否かを判断して （ステップ S 29 ) 、 終了せずに更なる指定点の指定を行うと判断した場合には '（ステップ S 29を Y e sに分岐） 、 上記ステツプ S 2 1に戻り上記した処理を繰り 返す。 一方、 指定点の指定を終了すべきと判断した場合には （ステップ S 29を N oに分岐） 、 処理を終了し、 リタ一ンする。
一方、 上記ステップ S 22にて、 CPU 2 1は、 1つ目の指定点の指定 でないと判断した場合には （ステップ S 22を Noに分岐） 、 2つ目の指 定点の指定であるか否かを判断することになる （ステップ S 24) 。 · ここで、 CPU 2 は 2つ目の指定点の指定であると判断した場合には (ステップ S 24を Ye sに分岐） 、 第 1の被写体面を X軸周り及び Y軸 周りに回転させて被写体面の変換を行い、 更に第 2の指定点を含む平面を 第 2の被写体面どして仮設定する （ステップ S 25). 。 そして、 第 2の被 写体面に係る情報 （第 1及び第 2の指定点の座標、 傾き角度、 傾き方向） - を R A M 2· 3に記憶し （ステップ S 27 ) 、 L C Dモニタ 19の撮像画像 上に指定された第 1及び第 2の指定点を表示する （ステップ S 2 &) 。 2. 点では該 2点を結ぶ直線を含む複数の面が想定され、 被写体面仮設定の情 報として不足している。 そこで、 仮に第 1の被写体面を Y軸周り （又は X 軸周り )'に回転させて第 2の指定点を含む平面を第 2の被写体面として仮 設定^てもよい。： ：ぺ '.
' そして、 再び、. GPU 21は、 ユーザによる夕ヅチパネル 34等の操作 入力に：より更なる指定点の指定が指示されたか否かを判断し .（ステップ S
29) 、 更.なる指定点の指定を行うと判断した場合には （ステップ S 2: 9 を Ye sに分岐） 、 上記ステップ S 2 1に戻り上記した処理を繰り返す。' 更なる指定点の指定を行わないと判断した場合，（ステツプ S 29を N oに 分岐） 、 処理を終了し、 リターンする。
一方、 上記ステップ S 24にて、 2つ目の指定点の指定でないと判断し た場合には （ステップ S 24を Noに分岐） 、 C P U 2 1は、 3つ目の指 定点の指定であるものと判断する。 そして、 第 2の被写体面を X、 Y軸周 りに回転させて第 1〜第 3の指定点を含む平面を第 3の被写体面として仮 設定する （ステップ S 2 6 ) 。 さらに、 C P U 2 1は、 この第 3の被写体 面に係る情報 （第 1〜第 3の指定点の座標、 傾き角度、 傾き方向） を RA M 2 3に記憶して （ステップ S 2 7 ) 、 L CDモニタ 1 9の撮像画像上に 上述のようにして指定された第 1〜第 3の指定点を表示する （ステップ S 2 8 ) 。
そして、 再び、 C P U 2 1は、 ユーザによる夕ヅチパネル 3 4等の操作 入力.により更なる指定点の指定が指示されたか否かを判断する （ステツプ S 2 9 ) 。 この例では、 指定点の指定が 3つまでに制約されていることを 想定しているので、 更なる指定点の指定はできないものとして （ステップ S 2 9を N oに分岐） 、 メインルーチン （図 4のステップ S 6'以降） にリ 夕—ンすること..に.なる。， 尚、 ここでは、 説明の便宜上、,指定点を 3つまで 指定できる例を挙げたが、..これに限定されず、' 更に多ぐの指定点を指定で きるように拡張できることは勿論である。
' 以上の処理により.第.1 第 3の指定点が指定された場合 指定点により 定ま.る被写体面の距離情報が変換される。 例えば'、' '3つの指定点が指定さ '
'：れ fe場合、 図 7. ( c) に示されるように、 その 3つの指定点の距離情報に ' 係る.デブス 'マヅプデ^"夕に変換される。
図 4の.説明に戻り、 続いて CPU 2 1は、 設定された被写体面 （第；！〜 第 3の被写体.面のいずれか）.の情報 （例えば座標情報、 傾き角度、 傾き方 ' 向等). に基づいて画像デ 夕の各点の距離デ 夕を変換し、 この変換後の 距離デ一夕に基づいて画像処理部 24による画像処理を行う （ステヅプ' S 6 ) 。 すなわち、 例えば、 被写体面に載っている点に対して実際の撮像素 子 1 2、 焦点距離では撮像できないような 「浅い被写界深度及び傾いた被 写体面での撮像」 と同等の効果を付与した画像となるように、 ボカシ処理 を行う。 そして、 C P U 2 1は、 このボカシ処理が施された画像を L CD モニタ 1 9に表示する （ステップ S 7 ) 。
ここで、 図 8を参照して、 被写体面の設定に基づく距離デ一夕の変換に ついて述べる。
図 8において、 光軸に垂直な方向を X軸方向とする。 いま、 第 1の指定 点 P 1が指定されると、 この第 1の指定点 P 1を含み、 光軸に垂直な平面 を第 1の被写体面として設定する。 この設定により、 第 1の指定点 P 1ほ 新たな座標系の中心となり、 その座標は （X I， Υ 1， Ζ 1 ) から （ 0， 0， 0) に設定される。 この座標系の変換に伴って、 例えば第 1被写体面 上の点 Ρηの座標は、 （Χη, Υη, Ζ η) から （Χη— ΧΙ ,.Υη— Υ 1 , Ζ η - Ζ 1 ) に変換される。 この変換後の座標を （Χη' , Υη' , Ζ η' ) とする。
： また、 第 2の指'定点: Ρ·2が更に指定されると、' 第 1の指定点 Ρ 1·、 第 2 の指定点; Ρ 2を含む第 2の被写体面が設定される。 この場合も第 1の指定 点 Ρ.1は新たな座標系の中心であり、 その座標は ( 0 , 0 , 0 ) である。 この第 2の被写体面の第 1の被写体面に対する傾き角が 0であり、 傾き方 向が'図に示すよ'うに Ζ軸 （正） 方向であるものとすると、 例えば第.1の被 写体面上の'点 +Ρ:ねは; '·第 2の被.写体面上からの距離情報に射影変換され その' Ζ座標は Ζ, ή 3 X η' · t a η 0となる b これは、 変換後の^ P n の距離情報となる。 ここでは、 説明の便宜上 第 1の被写体面上の点 Pn につ,いて、 その変換を説明したが、 同様にして、 全ての点 （例えば画素単 位） ついて、 距灕情報を変換する。 以上の考え方は、 第 1の被写体面が Y軸周りに回転 （傾き角 0 された場合も同様である。
また、 図 8では不図示であるが、 第 3の指定点が更に指定され、 第 3の 被写体面が設定された場合には、 更にその傾き角度、 傾き方向に基づいて 距離情報を変換する。 いま、 第 3の被写体面が、 第 1の被写体面に対して 、 X軸周りに傾き角度ひで傾いたものとすると、 前述した点 Pnの Z座標 は、 Z n' -X n 3 - t a n 5 - Yn5 . t an となる。 これは、 第 3 の被写体面を基準とした点 P nの距離情報となる。 以上は、 第 1の被写体 面が Y軸周りに回転 （傾き角 6» ) された後、 更に X軸周りに回転 （傾き角 ) された場合も同様である。
つまり、 例えば第 1〜第 3の指定点が被写体 0 1〜0 3上に指定され、 或いは第 1の指定点が指定された後、 被写体面の X軸及び/又は Y軸周り の回転により被写体 0 1〜0 3が該被写体面に載るように設定された場合 、 図 7 ( d ) に示されるように、 被写体面からの距離に応じてボカシ処理 が施される。 即ち、 変換された距離倩報に応じたボケ量で画像デ一夕にボ ケを付加する。 より詳細には、 被写体面からの距離が大きいほどボケ量が 大きくなるように画像データにボケを付加する。 従って、 図 7 ( d ) の例 では、 被写体面からの距離が最も大きい被写体 0 4はボケ量が大きくなる 。 尚、 被写体面からの距離が所定範囲内である点については、 同じボケ量 となるように画像データにボケを付加してもよい。 これは、 被写界深度を ボケの付加に際して加味するものである。 ·
,続いて、 C P U 2 1は、 ーザにより夕ツチパネル 3 4等の操作入力に より被写体面の調整が指示されたか否かを判断し （ステップ. S 8 ) ； 該調 整を行わないと判断5 た場合には （ステップ S 8を N oに分岐） ；:. 上記ボカシ処理が施された画像の画像デ一夕をメモリ力 'ド 3 1に記録し （ステ ヅプ S 1' 2 ). 、 —連の処理を終了する。 尚、 ステップ S 1 2では、 ボ力シ 処理を施す前の画像デ一夕もメモリカード 3 1に記録しでもよい。 この場 合には、 末尾送り.して異なる番号を付する等して管理するとよい。 ^方、 G P U 2 1は、 該調整を行うと判断した場合にほ （ステップ S 8を Y e s に分岐） 、 被写体面のレンズ光軸に対する傾き方向と傾き角度を設定する この設定の詳細は、 図 6のフローチヤ一トに示される通りである。
即ち、 図 6の処理に移行すると、 先ず、 C P U 2 1は、 操作入力部 3 3 の一要素である十字キーが操作されたか否かを判断し （ステップ S 4 1 ) 、 該操作がなされていないと判断した場合には （ステップ S 4 1を N oに 分岐） 、 本処理を終了しリターンする。
—方、 CPU 2 1は、 該操作がなされていると判断した場合には、 それ が上キ一であるか否かを判断する （ステップ S 4 2) 。 ここで、 操作され たのが上キ であると判断した場合には （ステヅプ S 4 2を Y e sに分岐 ) 、 C P U 2 1は、 被写体面を X軸周りで上側を奥行方向に回転し、. ステ ヅプ S 5 0に移行する （ステップ S 43 ) 。
—方、' 操作ざれたのが上キーでない場合には （ステツプ S 4 2を N 0に 分岐) 、 それが下キ一であるか否かを判断する （ステップ S 44) 。 ここ で、 操作されたのが下キ一であると判断した場合には （ステップ S 44を Y e sに分岐）- 、 CPU 2 1は、 被写体面を X軸周りで下側を奥行方向に 回転し、 ステップ' S 5 0に移行する （ステップ S.4 5 ) 0 '
また、 操作ざれたのが下キーでない場合には （ステップ S 44を N oに 分岐） 、 それが右キ一であるか否かを判断する.（ステップ S 4 6 ) 。 ここ で、 操作されたのが右キ一であると判断した場合には （ステップ S 4 6を •Y e,Sに分岐） .、 CP'U 2:':1は、 被写体面を Y軸周りで右側を奥行方向に 雷転し、. ヌ'テツ,:プ & 5 :0.に移行する （ステ プ S 47) o
— 操作されたのが右キーでない場合に.は （ステヅプ S 4 6を N' oに 分岐） 、 'それが左キーであるか否かを判断する （ステヅプ S 4 8 ) ； ここ で、 .操作されたのが左.キ であると判断した場合はは （ステップ S.4 8を Ύ e sに分岐） 、 CPU 2 1は、 被写体面を X軸周りで左側を奥行方向に 回転し、. ステップ S 5 0に移行する （ステップ S 49 ) 。
そして、 操作されたのが左キ一でない場合には （ステツプ S 48を N o に分岐） 、 C P U 2 1は、 誤操作であるものと判断し、 ステップ S 5 0に 移行することになる。
こうして、 C PU 2 1は、 操作入力部 3 3の一要素である決定キ一など に操作入力に従い設定を終了するか否かを判断し （ステップ S 5 0 ) 、 設 定を終了しないと判断した場合にはステップ S 4 1に戻り、 上記処理を繰 り返す。 一方、 設定を終了するものと判断した場合には、 設定された被写 体面の設定情報を R A M 2 3に記憶し （ステツプ S 5 1 ) 、 メインルーチ ン （図 4のステップ S 1 0以降） にリターンする。
以上の一連の処理 （図 6 ) によれば、 十字キー （上下左右キー） の操作 に基づいて、 被写体面を X軸或いは Y軸周りに所望とする傾き方向、 傾き 角度となるように調整することができる。 たとえば、 +字キ一の操作をす る度に所定角度だけ、 傾き角度が変わるように段階的な調整をすることも できる。 ゆえに、 所望とする点が該被写体面に載るように、 つまり、- 所望 とする点に対してァォリ効果と同等の浅い被写界深度での撮像と同等の効 果が施された画像を得るように、 微調整を行うことができる。
·· 図 4の説明に戻り、 続いて、 設定された被写体面と距離情報とに基づい て画像処理を行い '（ステップ S 1 0 ) 、 画像処理が施された画像を L C D モニタ 1 9に表示する （ステップ S 1 1 ) 。 このステヅプ S. 1 0 、 S .1 1 の処理の詳細は、 前述したステップ S 6 、 S 7の処理と同様であるので、 ここでは重複した説明は省略する。
' こう して、 ステップ S 8に戻り、 更に被写体面の調整を行うか否かを判 断し、'.更に該調整を行う場合にはステップ S 9以降の処理を繰り返し、 更 に該調整を行わないと判断した場合には （ステヅプ S' 8を N 0に分岐）：、. 上記:ボカシ処理が施された画像の画像デ一夕をメモリカード 3 1に記録し
. (ステップ S. 1 2 ) 、 連の処理を終了する。 '
ここで、 図 9の概念図を参照して、 距離情報を取得する'手法である、 T 0 F方式について更に詳細に説明する。 測距部 2 9は、 図 9に示されるよ うに、 発光素子 2 9 aと結像レンズ 2 9 b、 撮像素子 2 9 cからなる。 そ して、 このような構成の下、 発光素子 2 9 aから照射された特定波長を変 調した光の被写体 2 0 0での反射光を結像レンズ 2 9 bを介して撮像素子 2 0 cで受光し、 出射光と反射光との位相差から、 撮像素子 2 0 cの各画 素における 「遅れ時間」 を計測し、 当該遅れ時間に基づいて被写体までの 距離 d、 つまり距離情報を得るものである。 尚、 この距離情報は、 例えば 、 光速と遅れ時間とを乗算し 1 / 2を乗ずることで算出すればよい。 以上 の処理により本実施の形態では、 最大で 1画素ごとに距離情報を得ること ができる。 また、 距離情報を取得する手法としては、 この他に位相差解析 等を採用することも可能である。
以上説明したように、 本発明の第 1の実施の形態によれば、 撮像光学系 により結像される画像に対応する距離情報を得て、 撮像画像の中で点を指 定することで被写体面を設定し、 前記距離情報と該被写体面の情報を基に 画像処理を行うことにより 「ァオリ （スイング、 ティルト） 」 相当の画像 を簡易な操作で得ることができる。
また、 このような機能を、 安価且つ小型なディジタルスチルカメラ等の 撮像装置において実現することも可能となることは勿論である。 ： つまり、 本発明の一実施の形態によれば、 「ァオリ （スイング、 ティル 卜）， _ι 相当の画像をより簡易に得ることができるので、 例えば光学的なァ オリ （スイング、 ティルト） を可能にするための複雑な機構 （所謂 「シャ ：ィノンプル：フ.の法則 j に沿ったメカ設計) も不要であり、 「ァォ：リ （スイン ：グ、 '： ：ルト ) 」 を'意図した特別な光学設計.を行う必要もなぐなるため、' 安価： aつ：小型の画像処理装置、 画像処理方法を提供することができる。.
• 尚、 .生'成される翁.写体面は、 平面のみならず任意の湾曲面 （e . g . Variabl e Field Curvature (可変像面湾曲）） でもよい。 即ち、 例えば図 1 0 ( a ) 'に示されるように光軸に直交する平面が被写体面として設定され た後、 .図 1 0 ( b ) に示されるように被写体面の左右が画像合成装置側に .所定の曲率で湾曲した湾曲面を被写体面として設定したり、 図 1 0 ( c ) に示されるように、 被写体面の左右が画像合成装置とは反対側に所定の曲 率で湾曲した湾曲面を被写体面として設定したり、 することもできる。 な お、 不図示ではあるが、 被写体面の上下を画像合成装置側あるいはその反 対側に所定の曲率で湾曲した湾曲面を被写体面として設定してもよいこと は勿論であるし、 像面をすり鉢状に設定することも可能である。 これにつ いては、 第 9の実施の形態で詳述する。
また、 図 1 1に示されるように、 操作入力部 3 3の一要素である十字キ —の操作による被写体面の調整にあたっては、 その調整の過程を L C Dモ 二夕 1 9の画面 3 5 0の右下のウィンドウ 3 5 1で表示するようにしても よい。 これについては、 第 8の実施の形態で詳述する。 ： .
(第 2の実施の形態） '
次に本発明の第 2の実施の形態について説明する。
本発明の第 2の実施の形態は、 前述した画像処理装置による被写体面の 設定やボカシ処理をコンピュータやアクセサリ装置等の情報処理装置によ り実現するものである。 '. ' · '
図 1 2には、 第 2の実施の形態に係る情報処理装置の構成例を示し説明 する。 .. ·· .
この図 1 2に示されるように、 情報処理装置 5 0は、 入力部 5 1、 制御 プ.ログラム' 5 3に基づいて全体を制御する制御部 5 2、 表示部 5 4\ 操作： ¾カ部 5 5、 記憶部 5 .6からなる。 そして、 制御部 5 2は、'.制御プロダラ . ム .5 3に基づいて、'例えば、 被写体面設定機能 5 3 a、…傾き設定機能 5 3 b :画像処理機能 5 3 ¾を奏することになる 尚、 この制御プ Pグラムは ： 例えば画像処理プログラムに相当するものである。
このような構成において、 画像デ一夕及び距離情報が入力部 5 .1より入： 力されると、 制御部.5 2は、 記憶部 5 6に記憶されている制御プログラム. : 5 3を読み出し、：当該制御プログラム 5 3に基づいて処理を実行する。 ·即 ち、 表示部 5 4に画像データに基づく画像の表示を行ない、 操作入力部 5 5の操作による被写体面の設定を促す。
ユーザにより、 操作入力部 5 5が操作されて、 表示画像の中で所望とさ れる点 （領域でもよい） が選択されると、 制御部 5 2は、 被写体面設定機 能 5 3 aに基づいて被写体面を設定する。 そして、 更なる操作入力部 5 5 の操作に基づいて、 被写体面の傾き方向及び傾き角の設定を行う。 そして 、 最終的に設定された被写体面の情報と距離情報とに基づいて、 ボケ処理 などの画像処理を行い、 該処理後の画像を表示部 5 4に表示する。 以上の 一例の設定の詳細は、 第 1の実施の形態 （先に図 4 図 6のフローチヤ一 ト参照） と同様であるので、 ここでは重複した説明は省略する。
以上説明したように、 本発明の第 2の実施の形態によれば、 入力された 画像デーダと距離情報に基づいて被写体面の設定を促し、 当該被写体面の 情報と距離情報とに基づいて画像処理を行うことにより 「ァォリ （スイン グ、 ティルト） 」 相当の画像を簡易な操作で得ることができる。
つまり、 本発明の第 2の実施の形態によれば、 「ァオリ （スイング、 テ 'ィルト） 」 相当の画像をより簡易に得るための画像処理プログラムを提供 ' する とができる。 また.、 この画像処理プログラムを実装すれば、 コンビ ュ一夕等の情報処理装置により、 上記効果が施された画像を簡易且つ安価 に得ることが可能となる。： . ..
' . '以上、 本発明の第 1及び第 2の実施の形態について説明したが、 本発明..
：:'ば.:こ 'れに限定きれ:ることなくその趣旨を逸脱じない範囲で種々.の改良 '-変
：:更;が'可:能であることは勿論である。
,例えば、 前述 た第 1:及び第 2の実施の形態ではく'画面を見ながらタヅ
'チパネルで所望とするボイントを最大 3点指定し、 該ポィントに基づいて 被写体面を設定する例'を挙げたが、 これには限定されない。 ユーザが 3点 を指定すると.共にボカシ処理の変化の度合いを調整するために被写界深度 ' (絞り） 'を指定してもよい：（絞り優先で実際の撮像素子 Z焦点距離では撮 像できないような浅い被写界深度及び傾いた被写体面での撮像と同等の効 果を付与） し、 被写界深度 （絞り） は自動で決定してもよい。 更に、 ユー ザが 4点以上を指定して、 これらの点全体にピン卜が合うように被写界深 度を演算してもよいし、 各点に何らかの重み付けをしてもよい。 尚、 被写 界深度とはピントを合わせた被写体の前後でピン卜が合うとみなされる距 離の範囲のことをいう。
また、 ユーザが 3 5 mm判換算 （35mm size conversion) の焦点距離及 び絞り値を指定してもよい。 3 5 m m判換算とは、 3 5 m m判における標 準レンズの画角を基準にして、 それぞれの撮像サイズで該画角のレンズを 標準レンズと見なすことをいう。 若しくは 4点以上のポイントを指定した ときの被写体面は、 一般的な立体解析幾何学で得ることができる。 これは 、 被写体面情報に基づく距離情報の変換についても同様 ある。 更に、 ボ カシ処理のァルゴリズムは前述した例に限定ざれないことは勿論である。 また、 画像処理は、 前述したボカシ処理に限定されることなく、 例えば 、 粒状化、 モザイク化、 テクスチャの変更、 ノイズの付加、 明度や彩度の
'変更 Λ 段階的にグラデーションを与えるなど、 各種の処理を含む。 更に、 被写体面は、 曲面 （球面や円筒面、 円錐面、 高次の近似曲面） であっても よい.ことは勿論である.。 '：
(第 3の実施の形態）
次に第 3の実施の形態について説明する。
, 図 : 1 3には本発明 第 3の実施の形態に係る画像処理装置の構成を示し 説明する。 .
： ；ここで'ほ 第 '3の実施の形態に係る画像処理装置をディジタルカメラ等 の撮像装置に適用した例を示し説明する。 '
この図 1 3.に示されるように、 画像処理装置は、 カメラ部 6 0と、 カメ ラ' D S P . ( .Digital Signal Processor )' 6 1 と、 S :D R A M :( Synchronous Dynamic Random Access Memory) 6 3と、 媒体ィン夕 ~ フエ ース （以下、 媒体 I / Fという） 6 4と、 制御部 6 2と、 操作部 6 6と、 L C D (Liquid Crystal Display) コントローラ 6 7及び L C D 6 8と、 外部イン夕一フェース （以下、 外部 I / Fという） 6 9を備えるとともに 、 記録媒体 6 5が着脱可能とされている。 記録媒体 6 5は、 半導体メモリを用いた所謂メモリカード、 記録可能な DVD (Digital Versatile Disk) や記録可能な CD (Compact Disc) 等 の光記凝媒体、 磁気ディスク等の種々のものを用いることができる。
カメラ部 6 0は、 光学系ブロック 6 0 a、 絞り 6 0 b、 C C D (Charge Coupled Device) 等の撮像素子 6 0 c、 A/D変換回路 6 0 d、 光学プロ ヅク用 ドライバ 6 0 e、 絞り用ドライバ 6 0 f 、 撮像素子用 ドライノ 6 0 g、 タイ ミング生成回路 6 0 h、 駆動部 6 0 i、 検出部 6 0 j ブレ検出 部 6 O k等を備える。 ここで、 光学系ブロック 6 0 aは、 .レンズ、 フォー カス機構、 シャッター機構、 絞り （アイ リス） 機構、 手振れ駆動部等を備 えている。 そして、 光学系プロヅク 6 0 a中のレンズには、 ズームレンズ が使用される。
制御部 6 2は、 CP U (Central Processing Unit) 6 2 a、 RAM ( Random Access Memory) 6 2 b フラ ッシュ R O M. (Read Only. Memory) 6 2 c, 時計回路 6 2 d等がシステムバス 6 2 eを通じて接続されて構成 されたマイクロコンピュータであり、 この実施の形態の撮像装置の各部の 制御を司るものである。 -
- R AM 6：2 bは、 処理の途中結果を一時記憶する等、 主に作業領域とし て用いられるものである。 フラッシュ R OM 6 2' cは、 CP U 6 2 aにお 'いて実行する種々'のプ口 'グラムや、 処理に必要になるデ一夕等が記憶され たものである。 画像処理プログラムもフラッシュ R 0 M 6 2 cに記憶して よい。 時計,回路 6 2 dは、 現在年月日や現在曜日、 現在時刻を提供するこ とができるとともに、 撮影日時等を提供する等のことができる。. ', 画像の撮像時においては、'光学プロック用ドライバ 6 0 eは、 制御部 6 2からの制御に応じて、 光学系プロック 6 0 aを動作させるようにする駆 動信号を形成し、 これを光学系ブロック 6 0 aに供給して、 光学系ブロッ ク 6 0 aを動作させるようにする。 光学系ブロック 6 0 aは、 光学プロヅ ク用 ドライバ 6 0 eからの駆動信号に応じて、 被写体の画像を取り込んで 、 これを撮像素子 6 0 cに対して提供する。
撮像素子 60 cは、 光学系ブロック 60 aからの画像を光電変換して出 力するものであり、 撮像素子用ドライバ 60 gからの駆動信号に応じて動 作し、 光学系ブロック 60 aからの被写体の画像を取り込む。 更に、 制御 部 62によって制御されるタイミング生成回路 60 hからのタイミング信 号に基づいて、 取り込んだ被写体のアナログ画像デ一夕を A/D変換回路 60 dに供給する。 A/D変換回路 60 dは、 A/D変換を行って、 ディ ジ夕ル信号とされた画像デ一夕を形成する。
このディジ夕ル信号とされた画像デ一夕は、 カメラ D S P 6 1に供給さ れる。 カメラ D SP 6 1は、 これに供給された画像デ一夕に対して、 AF
(Auto Focus) 、 A E (Auto Exposure) 、 A W B (Auto White Balance ) 等のカメラ信号処理を施す。 このようにして種々の調整がされた画像デ. —夕は、 所定の圧縮方式でデ一夕圧縮され、 システムバス 62 e、 媒体 I ZF 64を通じて、 記録媒体 6 5に供給され、 記録される。 ：
- この記録媒体 65に記録された画像デ一夕は、 夕ツチパネルゃコントロ . —ルキ一等からなる操作部 6 6を通じて受け付けたユーザからの操作入力 に応じて、 目的 'とする画像デ一夕が媒体 I/F 64を通じ T記録媒体 65 から読み出され、 これがカメラ D S Ρ 6 1に供給される。' -
' カメラ BSP 61は、 記録媒体 6 5から読み出され、' 媒体 Iズ； F 64を ·: 通じて供給されたデ一夕圧縮されている画像デ一夕について、 そのデ一夕 圧縮の解凍.処理 （伸張処理） を行い、 解凍後の画像データをシステムバス
62 eを通じてく. LCDコント口一ラ 67に供給する。 L C Dコン .トロ一 ラ 67は、 供給された画像デ一夕から L CD 68に供給する画像信号を形 成し、 これを L CD 68に供給する。 これにより、 記録媒体 65に記録さ れている画像データに応じた画像が、 L CD 68の表示画面に表示される 外部 Iノ F 69を通じて、 例えば、 外部のパーソナルコンビユー夕と接 続して、 パーソナルコンピュータから画像デ一夕の供給を受けて、 これを 記録媒体 6 -5に記録することもできる。 また、 外部 I/F 6 9を通じて、 記録媒体 6 5に記録されている画像データを外部のパーソナルコンピュー 夕等に供給することもできる。
また、 外部 I/F 6 9に通信モジュールを接続することにより、 例えば 、 イン夕一ネヅ ト等のネッ トワークに接続して、 ネヅ トヮ一クを通じて種 々の画像データやその他の情報を取得し、 記録媒体 6 5に記録することも できる。 あるいは、 記録媒体 6 5に記録されているデータを、 ネッ トヮ一 クを通じて目的とする相手先に送信することもできる。
なお、 この外部 I / F 6 9 は、 例えば、 I E E E ( Institute of Electrical and Electronics Engineers 1 3 9 4、 U S B ( Universal Seriar Bus) 等の有線用ィン夕一フエースとして設けることもできる。， 或
•いは この外部 6 9は、 光や電波による無線ィン夕一フェースとし て設 ることもできる。 即ち、 外部 I/F 69は、 有線、 無線のいずれの イ ン夕一フェースでもよい。 .
そして、： この'第.3の実施の形態に係る画像処理装置では、 特に 「ァオリ ： (スイング、 ティル小） 」. に相当する撮影技法をより簡易なものとするこ,': とを目的として、 CP U 6 2 aの制御の下、 画像処理、 画像補正によって これらを実現し、' 且つ直感的な操作ができるようにして.いる点を特徴の一
―つとしている。 '·
図, 1 4には画像処理装置を撮像装置としてのディジタルカメラに適用し た場合の該デ.イジ夕ルカメラの外観構成図を示し説明する。 図 1 4 ( a) はディジ夕ルカメラを前面から見た斜視図、 図 1 4 (b) はディジタルカ メラを後面から見た斜視図である。 これらの図に示されるように、 デイジ 夕ルカメラ 7 0には、 レンズ 7 1、 シャ ヅ夕一ボタン 7 2、 メニューボタ ン 7 3、 決定ボタン 74、 露出補正ボタン 7 5、 夕ツチパネル 7 6、 十字 キー 7 7が設けられている。 後述する点の指定は、 夕ツチパネル 7 6等の 操作により行う。
以下、 図 1 5のフローチヤ一トを参照して、 本発明の第 3の実施の形態 に係る画像処理装置による特徴的な処理手順を詳述する。 以下の処理手順 の一部または全部は本発明の第 3の実施の形態に係る画像処理方法にも相 当" 5—る。
この処理を開始すると、 制御部 62の C P U 62 aは、 撮像素子 60 c により被写体像を撮像し、 A/D変換回路 60 dにてディジタルの画像デ —ダを生成する （ステップ S 10 1 ) 。 続いて、 C P U 62 aは、 この生 成した.画像デ一夕に対応した距離情報 （Depth Map) を生成する （ステツ プ S 1 02 ) 。 距離情報 （Depth Map) は、 画像における物体までの距離 を画素単位で対応付けて取得したものであって、 TOF (Time of flight .) 方式やボケ量解析. (Depth from Defocus) などで.得ることが可能である 続いて、 CP U 62 a.は、 画像データと距離情報を記録媒体 65に記録 する （ステップ S 103) 。 即ち、 画像デ一夕と距離情報は、 互いに関連 付けられた状態で媒体 I/F 64を介して記録媒体 65に記録される。 距 離情報:は.メ夕デ '一夕.と.して保持する.。 フアイル番号などによって関連付は て画像ど距離情報を別:々に保存すれば、 画像ファイル自体のサイズを小さ ぐするこ 'ともできる。 こ:の場合には、 互いの関連付けを画像と距離情報を. 利用するときに判断しなくてはならない。 . .
次に、 CPU 62 aは、' L C Dコントローラ 6,7を制御しで、 L CD 6 8に,画像を表示する (ステップ S 1 04 ) 。 そして、 CPU 62 aは、 「 ァオリ （スイング、 ティゾレト） 」 に相当する被写体面の操作に基づく処理' を行う （ステップ S 1 05 ) 。 このステップ S 1 ひ 5の処理の詳細は図 1 6を参照して後述する。
ここで、 被写体面とは、 所謂シャイ ンブルフの法則 （ Scheimpf lug principle) に従い撮像素子 60 cの受光面の延長及び光学系主面の延長 と交わるピントが合う面である。 この実施の形態に係る画像処理装置では
、 撮像素子 6 0 cと光学系プロヅク 6 0 aの光学系とは、 所謂ァォリ （ス イング、 ティルト） 操作ができないよう、 レンズ光軸と撮像素子面は （ほ ぼ） 直交の位置関係のままで撮像を行うこととしている。 「ァオリ （スィ ング、 ティルト） 」 に相当する被写体面の操作は、 画像処理によって行う 続いて、 C P U 6 2 aは、 ステップ S 1 0 3で記録された画像デ一夕を '読み出し、 ステップ S 1 0 5で設定された被写体面を用いて、 画像処理 （ 被写体面からの距離に応じたボカシ処理） を施す （ステップ S 1 0 6 ) 。 このステップ S 1 0 6の処理の詳細は図 1 8及び図 1 9を参照して後述す る。 こう して、 C P U 6 2 aは、 画像処理を行った画像デ一夕を媒体 1 / F 6 4を介して記録媒体 6 5に記録する （ステップ S 1 0 7 ) 。 :， このとき、 C P U 6 2 aは、 表示画像に係る画像デ一夕を撮像時に元の 画像デ一.夕とぽ別のフアイルどして記録媒体 6 5に保存していたときには 、.画像処理を施した表示画像に係る画像デ一夕を同時に記録する。 以上で ヽ.処理を終了す 'る。'
次に、：図 1 .6のフロー.チヤ一トを参照して、 図 1. 5のステヅプ S 1：0 5 の処理の詳細.を説明する。 ここでは、 被写体面の操作に夕ツチパネル 7 6 'を用いた方法を説明する。：'.： ■
この処理に入ると、 C P U 6 2 aは、 夕ヅチパネル 7 6をタヅチするこ とによる被写体面の中心に係る指示を受け付ける （ステヅプ S 2 0 1 ) 。： 即ち、 C P U 6 2 aは、' 夕ヅチされた位置の座標を検出し、'位置の指定と して受け付ける。 この被写体面の中心は、 被写体面の回転中心であり、 X 、 Υ、. Ζ軸からなる新たな座標系で該被写体面を回転させる際に中心とな る立体的且つ空間的な中心位置である。
続いて、 C P U 6 2 aは、 こうして設定された被写体面の回転中心をュ 一ザが認識できるように、 L C D 6 8の表示画面中に被写体面の回転中心 を示す点を表示する （ステップ S 2 0 2 ) 。 そして、 C PU 6 2 aは、 被 写体面の回転の中心が立体座標中心となるように、 距離情報 （Depth Map ) を座標変換する。 （ステップ S 20 3 ) 。
ここでく 距離情報 （Depth Map) は、 画像の平面座標 （X， Y) と奥行 き座標 （ Z) で定義される座標 （X, Y, Z) のうちの奥行き座標 （ Z ) に関連するものである。 CPU 6 2 aは、 先ず被写体面の中心に設定され た画素の座標 （X， Y, Z) を立体座標の原点 （ 0， 0 , 0 ) になるよう に変換する。 その他の点 （画素） の座標は、 この被写体面中心の座標を座 標中心とする新たな座標系の座標値に変換される。 これにより、 距離情報 は、 被写体面からの距離に変換されることになる。 尚、 この距離情報の変 換の詳細は、 先に図 8を参照しつつ説明したとおりであるので、 重複した 説明は省略す'る。
この実施の形態でほ、 被写体面の形状は、 単純な平面として話を進める' 。 このとき、 表示された被写体面の中心がュ一ザの意図した位置からズレ てしまっている場合には、 表示点をドラッグすることによって修正する。 たとえば、 図 1 4 (b) の十字キ一 7 7を用いて、 該十字キ一 7 7を操作 した方向に中心点を動かすこともできる。
こうし:て、 C PU 6 2 aは、 ユーザにより夕ツチパネル 7 6が操作され 、 例えば決定ボタンがタップされる等しで、 被写体面の中心が決定された か否かを判断する '（ステップ S 204 ) 。 被写体面の中心をュ ザ操作に 従つて.修正した場合には、 その中心座標が変わってしまうので、 修正され た被写体面中心が立体座標中心になるように、' ステッフ。 S 2 0 3に戻り 再度距離情報 （Depth Map) の座標を変換する。 一方、 例えば、 L C;D 6 8に表示ざれている被写体面中心が再度タップされるなどして、 中心が決 定された場合にはステヅプ S 2 0 5に進む。
ユーザ操作によって被写体面中心が決定されたらと判断した場合、 CP U 6 2 aは被写体面の操作を行ったときに効果が分かるように、 表示画像 を画像処理して表示する （ステップ S 205 ) 。 この表示画像は、 撮像さ れた画像デ一夕そのものではなく、 画像自体の確認や被写体面操作の効果 を確認するために表示画面 （ L CD 68 ) に表示するために RAM 62 b (もしぐは SDRAM63) に書き込まれる画像のことである。 画像自体 の確認等のためのものであることから、 画像処理も簡易処理であってよい この表示画像は、 撮像された画像デ一夕から表示画面 （L CD 68) の 解像度に合った画像へとサイズダウンすることで、 一時的に RAM 62 b ' (もしくは SD RAM 63 ) に保持しても良い。 或いは、 撮像時に元の画 像デ一夕とは別のファイルとして媒体 I/F 64を介して記録媒体 65に 保存しても良い。
ステップ S 205では、 具体的には、 被写体面からの距離に応じて、 表 示画像に対じてボカシ処理を行う。 表示画像は実際に記録されている画像 より'もサイズの小ざな画像で構わない。 表示画面のサイズや画素数に応じ て、 最低限必要な大きさの画像を表示することによって処理負荷を軽減し て、 ス'ム'一ズなユーザ操作を実現することが望ましい。 ' ·
なお、 この実施の形態では、 簡易的なユーザ操作を意図して、 被写界深 度は一定で （但し、 実際の撮像よりも被写界深度が浅いように） 被写体面' だけ'を操作するものとして以下の説明を進める 6' 'へ
'続いて、 C P U 62 aは、 ュ"ザ操作に従い、.被写体面を回転する. (ス テツプ S 206 ) 。 ·この被写体面の回転は、 被写体面の中心以外の座標を タヅプする.ことによって、 被写体面を X軸または Y軸周りに回転 （傾ける ) させることに 'よる。'
より具体的には、 図 1 7 (a) に示されるように、 表示画面 500にお ける夕ヅプ （夕ヅチ） 位置 500 aによって被写体面を倒す （傾ける） 方 向を指示して、 夕ヅプした強さによって被写体面をティルトさせる （傾け る） 量を指示する。 表示画面 500内におけるタツプ位置 500 aの座標 ( X , Y ) と被写体面の先に指定さえた指定点に係る回転中心 5 0 0 bと を結ぶ直線に直交し、 被写体面の回転中心 5 0 0 bを通る回転軸 5 0 0 c 回りで被写体面が回転する。 タップによって、 面を突つつくような直感的 操作を実現する。
被写体面の回転は立体解析幾何学における座標変換によって行う。 例え ば、 各画素について被写体面からの距離を算出する。 すなわち、 被写体面 の回転中心を指示して、 被写体面の回転操作を行うユーザ操作に従い、 C P. U 6 2 aは、 距離情報を被写体面からの距離情報へと座標変換する処理 を TTう。
こうして被写体面をその回転中心 5 0 0 bを支点に回転させた （要は、 被写体面をティルト操作した） 効果が分かるように、 表示画像を画像処理 して L C 8に表示する （ステヅプ S 2 0 7 ) 。 すなわち、' C P U 6 2 aは、 回転'.（ティルド） '操作された被写体面からの距離に応じて、 'ボカシ 処理を施す。'その結果は、 図 1 7 ( b ) に示される。
このステップ S 2.0 7の画像処理は、 前述したステヅプ S 2 0 5におは 'る画像処理と同様、 ユーザ操作がスムーズに行えて且つ操作の効果を把握 'で.きるだ':け■の画像ザイスであれば良い。 また、'被写体面を傾ける操作を行 : つでかちも、 被写体面の回転中心をドラッグすることによつて修正するこ とがで.きる。 そのときには、 前述したス ッ.プ S 2 .0 3と同様に座標を変 換すれば良.い。'
' 次い;で、 C P U 6 2 aは、 ユーザによりタヅチパネル 7 6の被写体面中. 心がも,う一度夕：ッ.プざれる等して、 被写体面の回転の終了が指示ざれたか 否かを判断する （ステップ S 2 0 8 ) 。 ここで、 C P U 6 2 aは終了が指 示されていないと判断した場合にはステップ S 2 0 6に戻り、 上記処理を 繰り返す。 一方、 C P U 6 2 aは、 終了が指示されたと判断した場合には 、 本処理を終了し、 図 1 5の処理にリターンする。
次に、 図 1 8のフローチャートを参照して、 図 1 5のステップ S 1 0 6 の処理の詳細を説明する。 なお、 前提として、 画像処理装置は、 図 1 9に 示されるような関係に基づくテーブルをフラッシュ R O M 6 2 c等にて保 持しているものとする。 この図 1 9では、 縦軸はボケ付加パラメ一夕の値 を示し、 横軸は距離情報を示す。 被写界深度となる距離まではボケ付加パ ラメ一夕はゼロとなる。 被写界深度となる距離からは例えば 1次関数の関 係となり、 距離が大きくなるに従い、 ボケ付加パラメ一夕の値も大きくな る。 ボケ付加パラメ一夕は被写体までの距離に応じて、 いくつか保持して
'いることが好ましぐ、 ボケ付加パラメ一夕は 1次関数に限らず、 光学的な 計算結果に基づいたパラメ一夕を付加することも可能である。
処理を開始すると、 C P U 6 2 aは、 画像処理を施す画素を設定する （ ステップ S 3 0 1 ) 。 続いて、 C P U 6 2 aは、 被写体面からの距離に座 標変換された距離情報を取得する （ステップ S 3 0 2 ) 。 そして、 図 1 9 の.関係に基づくテーブルを参照し、 該距離情報に対応するボケ付加パラメ 一夕を取得する （ステップ S 3 0 3 ) 。 そして、 該ボケ付加パラメ一夕を 画素.に付加する （ステップ S 3 0 4 ) 。 たとえば、 周辺画素を用いた口一 パスフィル夕 （ L P F ),処理を行うことでボケを付加することができるが 、： そめ際に用:いる周.'辺画素の数を変える事でボケ量を変えるこどができる: 。 '利用する全ての画素の:平均値を対象画素の画素値とする場合に画素数を:.
'増やせばボケ量が増え 'る:'こ''とになる。
こうして、 C P U 6 2 aは、 全ての画素について処理を完了したかを判 断する （ステップ S 3 Q. 5 ) 。 全ての画素について処理を完了していない
• と半」断した場合にはステップ S 3 0 1に戻り上記処理を繰り返す。 一方、'' 全ての画素についで処理を完了したと判断した場合に'は、 この処理を終了 し、 図 1 5の処理にリターンする。
以上が、 '基本的な撮像〜被写体面中心の設定〜被写体面の操作〜画像処 理までの説明である。 いずれのステップにおいても、 操作をやり直したい ときには 「キャンセル」 や 「戻る」 などの操作を行うことによって、 やり 直すことができる。
即ち、 図 2 0 ( a ) に示されるように、 「キャンセル」 や 「戻る」 は、 表示画面 5 0 2に重ねて操作ボ夕ン 5 0 2 aを表示する。 そのとき、 表示 位置は被写体面中心を示す点に重ならないように配置する。 また、 被写体 面の回転中心をドラッグすることによつて修正する際に邪魔にならないよ う配置することが好ましい。
• ま.た、 図 2 0 ( b ) に示されるように、 「キャンセル」 や 「戻る」 など の操作ボタン 5 0 3 aは、 表示画面 5 0 3上でドラッグすることによって 位置を動かす'ことができる。 これによつて、 被写体面の回転中心点の修正 の邪魔にならないようになり、 被写体面を傾けた効果を確認する際にボタ ン位置をズラして画面内を隅々まで見ることもできる。
さらに、 「ァオリ （スイング、 ティルト） 」 に相当する効果を確認する ためにば、 被写体面'中心付近だけでなく、 画面の隅々を一度に見渡.したい 場合も'あるので、 図 2 0 ( c ) に示されるように表示画面 5 0 4上に 「表 示を消去」. などの操作ボタン 5 0 4 aを配置するようにしてもよい。 この
「表示を消去」.の操作ボタン. 5 0 4 aについても、 図 2 0 ( b ) に示した ような ドラヅグ操作によ'つて'移動させることができる。'
この 「表示を消去 j の操作ボタン 5 0 4 aを夕ップすると、 .表示画面' 5 0 4.以外の表示を非表示状態にすることができ、 画面内を一度に見渡して. 被写体面の操 ^の効果を確認することができるな もう一度、 '表示画面 5 :0 4の任意の位置を夕ップすることによって、 再度の表示を元に戻すことが できる-。 : 方、 メ二ュ一操作によって、 「表示を消去」 の操作ボタン & 0 4 aを操作したときにも表示を消さずに残したいものを選択し、:'表示する ことができる。 例えば、 被写体面の回転中心だけを表示して他を消去する. こともできる。
(第 4の実施の形態）
次に第 4の実施の形態について説明する。 尚、 第 4の実施の形態に係る画像処理装置の構成は、 第 3の実施の形態 (図 1 3、 1 4 ) と同様であるので、 これらの図を適宜参照し、 説明を進 める。 また、 図 1 5、 1 6のフローチャートを参照する場合、 同図のステ ップを引用しつつ特徴点を説明する。 -
「ァオリ （スイング、 ティルト） 」 に相当する効果を得るためには、 被 写体面を傾ける操作を可能にするだけでなく、 被写体面からの被写界深度 をも操作できる機能を実現することが望ましい。 そこで、 第 4の実施の形 態に係る画像処理装置、 画像処理方法では、 被写体面の回転中心を決定す る際 （図 1 6のステップ S 2 0 4に相当） に、 表示されている被写体面の 回転中心を 2回タップすることで、 被写体面中心の決定と被写界深度の決 定を行うことを可能とするものである。
被写界深度は通常、 ' ： · · ' ' ·朋'るい絞りで'撮像すると被写界深度は浅い. (シャッダースピー'ドは速い ) ' .. ' ' '. . . ' · - · ■■
-暗い絞りで撮像す：ると被写界深度は深い （シャッタースピードは遅い ) ' ' . ' . .
う関係があるので、 2回タップするときのダップ間の時間によって被 写界深度を決定する。 '夕ツプ間の時間が短ければ浅い被写界深度を設定し s 長^ければ深い'被写界深度を設定する。 これは、. .ジ ヅ夕一スピードが速 い、 遅いという関係に.合致しているので、 カメラを操作しているユーザに とつて直感的に分かりやすいと言える。
一方、 被写界深度は、 被写体面の回転中心を決定した後や、 被写体面を : 傾けた後でも変更できる機能を実現することが望ましい。 そこで、 第 4の 実施の形態に係る画像処理装置、 画像処理方法では、 被写体面の回転を終 了指示 （図 1 6のステツプ S 2 0 8に相当） するまでは、 何度でも被写体 面の回転中心を 2回タツプすることによって被写界深度を再設定すること を可能とし、 設定された被写界深度に応じた画像処理 （図 1 6のステップ S 2 0 7に相当） を行うことを可能とする。
具体的には、 図 2 1 ( a ) に示されるように、 表示画面 5 0 5の中で、 ユーザ操作に基づいて被写界深度を設定する際 （即ち、 この例では、 被写 体面の回転中心を 2回タップするとき） には、 被写界深度の目安をグラフ 表示部 5 0 5 aにより表示画面 5 0 5上に重ねて表示する。 これにより、 ユーザがより意図に沿った操作をできるようにする。
即ち、 図 2 1 ( a ) において、 ュ一ザ操作により被写体面の回転中心が . 1回目に夕ップされたとき、 表示画面 5 0 5内：（被写体面の回転中心とは 重ならない位置） にタップ間の時間によって変化するグラフ表示部 5 0 5 aを表示する。 この例では、 表示は帯状のもので、 一度目のタップ操作が 行われてからの時間に応じて 「浅い」 「深い」 に表示を切り替え、 ユー ザによる被写界深度の設定を支援する。
表示は、 被写界深度が 「浅い」 「深い」 ということには限定きれず、 図 2 1 ( b ) に示される表示画面 5 0 6のように、 被写体面の 「手前」 と'「 奥.」 にどれだけピン十の合う範囲があるのかをグラフ表示部 5 0 6 aによ り表示しても良い。 また、 直感的なグラフ表示だけでなく数字を表示して ：も'良い。 '： の表示する数字としては、 例えば " 35匪判.換算, 85mm相当の画 角で F2. 8 相当の被写界深度" などが例として挙げられる。. 画像データの' 撮影情報から 3' 5 mm:判換算の画角を自動的に算出 、 その画角における'： F値を表示する.こと.も考え:られる。
また、 被写体面中心を 2回タップすることによつて被写界深度を設定す る場合には、' 被写体面中心を一度夕ップすることによつて被写体面の回転 を終了指示する操作と混同してしまう。 そこで、 図 2 1 ( c ) に示される ように、 表示画面 5 0 7に別途 「終了」 ボタン 5 0 7 aを重ねて表示する 。 この 「終了」 ボタン 5 0 7 aも、 表示画面 5 0 7上の所望位置にドラヅ グすることによって位置を動かすことができる。 これによつて、 被写体面 の回転中心の修正の邪魔にならないようになる。 さらに、 被写体面を傾け た効果を確認する際にボタン位置をズラして画面内を隅々まで見ることも できる。
(第 5の実施の形態）
次に第 5の実施の形態について説明する。
尚、. 第 5の実施の形態に係る画像処理装置の構成は、 第 3の実施の形態 (図 1 3、 1 4 ) と同様であるので、 これらの図を適宜参照し、 説明を進 める。 また、 図 1 5、 1 .6のフローチャートを参照する場合、 同図のステ ヅプを引用しつつ特徴点を説明する。
この第 5の実施の形態に係る画像処理装置、 画像処理方法では、 表示画 像に重ねて 「終了」 ボタンを表示するのではなく、 2回タップする操作と 被写体面の回転を終了指示する操作を同一のュ一ザィン夕フエ一ス （U I ) で行うことを特徴とする。 . ：
即ち、 .図 2.2 ( a ) に示されるように、 表示画面 5 0 8上に、 ，夕 チパ ネル 7 &での 1回目のダヅプによって 「浅い j 〜 「深い」：までの被写界深 度設定を支援する表示をグラフ表示部 5 0 8 aにより行い、 該グラフ表示 部 5 0 8 aの上部に 「終了」 、 即ち被写体面の回転を終了指示する位置を 表:示する.。. .
その後、 図 2. 2 ( b ) に示されるように、 表示画面 5 0 9にて、 夕ヅチ パネル 7 6での .1回目;のタップを行ってからの時間に応じでグラフ表示部 5 0 9 aの表示を 「浅い」 から 「深い」 まで切り替えていき、.' 「深い」 と ' い:う状態'を所定時間だけ維持する。 ここまでの間にダツチパネル.7 6にて 2回目の夕ヅプが行われ,お:ち、 被写界深度が設定されたことを C P U 6 2 aが検出して、 画像処理 （図 1 6のステヅプ S 2 0 7に相当） 'を行う。 ダツチパネル 7 6にて 2回目の夕ヅプが行われないまま所定時間 （例え ば 1秒。 「深い」 という被写界深度をユーザが設定するために必要な時間 ) 経過したら、 図 2 2 ( c ) に示されるように、 表示画面 5 1 0のグラフ 表示部 5 1 0 aの表示を 「終了」 に至るまで切り替えていく。 この間にタ ヅチパネル 7 6にて 2回目のタツプが行われたら、 「深い」 被写界深度を 設定する。
して、 夕ツチパネル 7 6にて 2回目のタツプが行われないまま表示が 「終了」 に至った場合には、 被写体面の回転を終了するという指示である と C P U 6 2 aは判断する （図 1 6のステップ S 2 0 8に相当） 。
従って、 第 5の実施の形態に係る画像処理装置等では、 被写体面の回転 を終了指示 （図 1 6のステツプ S 2 0 8に相当） する際に表示が切り替わ るまでの時間を設けるため、 「終了」 ボタンを表示する必要がないため、 画面表示を煩雑にすることがなくなる。 尚、 被写界深度の設定は、 ユーザ のメニュー操作によって 35 ミ リ換算の焦点距離、 絞り値を指定してもよ いことは勿論である。
被写界深度の設定は 2回夕ップする時間で設定する方法には限定されな い。 例えば、 1'回目のタップで図 2 2 ( d ) に示される表示画面 5 1 1を 表示し、.夕ヅチパネル 7 6への 2回目のタップは 「浅い」 「深い」 とい う被写界深度の設定と、 「終了」 とを表示している箇所く 即ちグラフ表示 部 5. 1 1 aで.入力す.る 'こ 'ともできる。 この手法によれば、' .1つの U Iで被 写体面の回転を終了指示する際に表示が切り替わるまでの時間を要するこ となく、 被写界深度の設定と被写体面の回転終了とを指示することができ '
.+■る'
'· また、 被写体面の回転中心をタヅプするとき .（図 1 6のステップ S 2 0. ' .4'における被写体面の決定や、 被写界深度の設定、 被写体面の回転終了指 示） に、 「被写体面の回転中心 j と判定されるタップ範囲を表示して'もよ . い。 ..
即ち、 図 2 3 ( a ) には、 「被写体面の中心」 と半 IJ定される夕ヅプ範囲 を表示画面 5 1 2内に丸印 5 1 2 aで表示した例を示している。 図 2 3 ( b ) には 「被写体面の回転中心」 と判定されるタップ範囲を表示画面 5 1 3内に矩形印 5 1 3 aで表示した例である。 夕ツチパネル 7 6上でこの範囲の内側を夕ヅプされたときには、 C P U 6 2 aは 「被写体面の中心」 を夕ヅプされたものと判定して処理して、 こ の外側をタップしたときにはそれ以外の処理 （例えば被写体面の回転、 傾 け操作） を行う。 ■
この場合においても、 「キャンセル」 「戻る」 「表示を消去」 「終了」 (ボタン） や被写界深度の目安などの画面表示は、 「被写体面の中心」 と 判定される範囲の外側に配置することが望ましいことは勿論である。
(第 6の実施の形態）
• 次に第 6の実施の形態について説明する。
尚、 第 6の実施の形態に係る画像処理装置の構成は、 第 3の実施の形態 (図 1 3、 1 4 ) と同様であるので、 これらの図を適宜参照し、 説明を進 める。 また、 図 1 5、 1 6のフローチャートを参照する場合、 同図のステ ヅプを:引用しつつ特徴点を説明する。 ：
この第 6の実施の形態に係る画像処理装置、 画像処理方法では、 図 1 '6 . の.ステップ S 2 0 6での被写体面の回転 （傾け）.操作において、 夕ツチパ ネルマ · 6をタヅプ （夕ツチ） した強さによって回転角度 （被写体面をティ 'ルトさせる量）：を指示する以外に、 図 2 4に示すように、 ダヅプする位置 'によつて被写体面のテ ルト量を指示する。 ''
即ち、 第 6の実施の形態では、 図 2 4に示されるょゔに、:表示画面 5 1 •4に被写体'面を傾ける角度を段階的に表示して、 ユ^-ザ操作を支援する。 : ネ皮写体面中心近傍：は 「被写体面の回転中心」 と判定ざれる夕ップ範囲で 、 そこから離れるほどティルト量 （被写体面を回転/傾はる角度)' を大き- くする。 即ち、 被写体面中心座標からタップ位置座標 （:Χ· , Υ ) .までの距 離に応じたティルト量を設定する。 被写体面の回転中心に近いところは 1 度、 遠いところは 2度、 さらに離れると 3度等の如くである。
回転角度、 即ち立体解析幾何学における座標変換の角度は、 被写体面の 回転中心から段階的に変化するように設定しても良いが、 被写体面の回転 中心からタップ位置までの距離に応じて微小に角度を調整できるようにす ることが、 より好ましい。 また、 表示が段階的であっても、 実際の処理に おいては表示よりも細かい角度設定を行っても良い。
従って、 この第 6の実施の形態によれば、 被写体面の回転中心から夕 ップ位置までの距離に比例してティルト角度を変化させることで、 ユーザ の直感的操作を可能にする。
なお、 撮影画像の画角 （図 1 5のステップ S 1 0 1でメ夕デ一夕として 記録） に応じて被写体面の回転角度を変えることもできる。 例えば、 実際 のレンズにおいては、 24mmZ45mm/90mm ではレンズをティルト操仵した ときの被写体面の傾きが異なる。 レンズと撮像素子の傾き角度が同一 （例 えば 10 度） であれば、 より広角なレンズのほうが被写体面の傾きが大き
：ぃ o . ·：
(第 7.の実施の形態）
次に第' 7の実施め形態に όいて説明する。
尚、 第 7の実施の形態に係る画像処理装置の構成は、 第 3の実施の形態 (図 1 3、 1 4 ) と同様であるので、 これらの図を適宜参照し、 説明を進 める。 また、 図.1: 5、 Γ6.のフ口一チヤ一トを参照する場合、 同図のステ ップを引用しつつ特徴点を説明する。
' 写真撮影'にお V、ではヽ 氷平、 垂直を厳密に決めで撮像することも,あり、 実際の 「ァオリ ' (スイング、 ティルト） 」 レンズを用いた被写体面の操作 においてもより厳密に水平、 垂直を決める とがある。.そこで、 この第 7 の実施の形態に係る画像処理装置、 画像処理方法では、' 図' 1 6のステヅプ S 2 0 5において、 図 2 5 ( a ) に示されるように、 水平ライン 5 1 5 a 、 垂直ライン 5 1 5 bを表示画面 5 1 5上に表示することを特徴とする。 水平ライン 5 1 5 a、 垂直ライン 5 1 5 bは、 撮像 （図 1 5のステップ S 1 0 1 ) するときに、 例えばジャィ口センサなどの出力からメ夕デ一夕 としてカメラの撮影姿勢、 角度を記録しておいて表示しても良い。 より簡 易的には、 単純に被写体面の回転中心を通る画像情報の水平ライン、 垂直 ラインを表示するとよい。 表示されている水平ライン 5 1 5 a又は 5 1 5 bが夕ツチパネル 7 6にてタップされると、 CP U 6 2 aは、 被写体面の 回転角度を固定する。
例えば、 図 2 5 (b) に示されるように、 表示画面 5 1 6の水平ライン 5 1 6 aを夕ヅチパネル 7 6にてタップすると、 CPU 6 2 aは、 被写体 面の回転が水平ライン 5 1 6 aの軸周りに行われるように回転の方向を限 定し、 水平ライン 5 1 6 aに固定されていることを示すマーク 5 1 6 c ( この例では三角印） を表示する。
この状態では、 被写体面の回転は固定されたライン軸周りにしか行われ ないため、 ライン座標 （この場合 Y) からタヅプ位置 （この場合 Y) まで の距離によって、 回転角度を判定する。 尚、 夕ツチパネル 7 6にて、 固定 したラインが再度タップされた場合、 C PU 6 2 aは、 ラインの固定を解 除する。 ' ' - ラインは水平ライン、 垂直ラインに限らず、 図 2 5 ( c ) に示される表 示画面.5 1 7めように、 メニュー操作によって様々なラインを表示するこ
'とが:できる。： 例えぽ、：実際の 「ァオリ （スイング ·ν ティルド).」：レンズに は、 所定角度毎に角度を決めることができるものもあるので、. こういった '用途はュ"ザに馴染みがあるといえよう。 .
(第' 8'の実施の形態）.
' 次に第 8の実施の形態〖こついて説明する。
尚、 第 8の実施の形態に係る画像処理装置の構成は、 第 3の実施の形態
(図 1 3、 .14 ) と同様であるので、 これらの図を適宜参照し、 説明を進 める。 また、 図 1 5、 1 6のフ口一チャートを参照する場合、 同図のステ ップを'引用しつつ特徴点を説明する。
この第 8の実施の形態に係る画像処理装置、 画像処理方法では、 図 1 6 のステップ S 2 0 6にける、 被写体面の回転 （傾け） 操作において、 被写 体面がどのような状態、 角度にあるのかを表示することを特徴とする。 実際の 「ァオリ （スイング、 ティルト） 」 レンズにおいては、 被写体面 がどのような角度で傾いているのかはファインダゃ撮像画像によって確認 しなくてはならなかった。 これに対して、 画像処理によって同様の効果を 得るこの実施の形態では、 被写体面を回転 （図う 1 5のステップ S 2 0 6 に相当） させるときの角度、 即ち座標変換に用いる角度を: RAM 6 2 bに 記録しておく。 これにより、 画像の距離情報を被写体面からの距離情報へ と変換する処理を行うときに、 被写体面を初期値 (つまりカメラのレンズ 光軸と直交状態） からどれだけ傾けたのかという情報を得ることができる ο
実際の表示例は、 図 2 6 ( a) 〜 （h) に示される通りである。 即ち、 各表示画面 5 1 ·8·〜 5 2 5には、 被写体面の状態、 角度を示す状態表示部 5 1 8 a、 5 1 9 a_、 5 20 a、 5 2 1 a 52 2 a、 5 2 3 a、 5 24 a、 52 5 aが表示される。 これら状態表示部 5 1 8 a、 5 1 9 εί、 5 2 0 a、 5 2 1 a、 5 2 2 a、 5 2 3 a、 5 24 a、 5 2 5 aによる被写体 面の状態表示は、 立体的に提示されるので、 直感的であり、 ュ一ザにとつ て分かり易いものであるといえる。
(第 9の実施の形態） .
次に第 9の実施の形態について説明する。
尚、 第 9の実施の形態に係る画像処理装置の構成は、：第 3'の実施の形態 (図 1 3、 14 ) と同様であるので、 これらの図を適宜参照し、 説明を進 める。 :また、. 図 1 5、 .1 '6のフローチヤ一トを参照する場合、：同図のステ ップを引用しつつ特徵点を説明する。
• 前述した第 3〜第 8の実施の形態では、 被写体面の形状は、 単純な平面 として話を進めてきたが、 第 9の実施の形態の画像処理装置、 画像処理方 法はこれに限定されることはない。 通常の光学系 （レンズ） においては像 面湾曲があるため、 通常は平面である撮像素子に対する被写体面の形状は 、 平面にはならない。
図 2 7 ( a ) 、 （b ) は、 このような像面湾曲を概念的に示す図である 。 即ち、 図 2 7 ( a ) はメリディォナル （meridional) 像面を示し、 図 2 7 ( b ) はサジタル（sajittal )像面を示している。 メリディォナル像面は 、 タンジェンシャル（tangential )像面とも称される場合がある。 サジタル はラジアル （radial) 像面と称される場合もある。
メ リディォナル面とは光軸と主光線を含む平面であり、 該メ リディォナ ル面内を走るメ リディォナル光線が最も集光する像面がメリディォナル像' 面である b サジタル面とはメリディォナル面に垂直な平面であり、 該サジ タル面内を走るサジタル光線が最もよく集光する像面がサジタル像面であ る。 - この第 9の実施の形態で'ほ、 被写体面の形状を平面としてではなく、 実 際のレンズと同,じょうに湾曲しているように扱う。 そのために、 図 1 δの ステップ S 2 Ό 3において被写体面の回転中心が立体座標中心となるよう に距離情報 （Depth Map) .を座標変換 （即ち撮影画.像におけ.る各画素の距 離.情:報を,被写体面からの距離情報へと変換） する，ときに、 '被写体面の形状. を用いて演算する。'
被写体面の形状は、 像高 （画像中心からの距離） と被写体面形状との関 : 係を表すデ タとして保持する。 画像内の位置 （X , Y ) と被写体面形状 . ( ) ·との '関係を表すよう、 距離情報 (Depth Map) と.同 よ.うに保持す る.。 ■'. + . . .. .
• ここで、 図'' 2 8はデプス :， マヅプ （Depth Map) 同様に表現ざれた被写 体面形状を示している。 伺図において、 黒が手前、 白が奥を示している。 被写体面の形状は、 図 2 9に示されるように、 像高と被写体面の形状との 関係が表されていれば良いので、 必ずしも距離情報と同じようなデ一夕保 持をする必要はない。
画像内を水平、 垂直に分割した領域についてデータ保持しても良いし、 像高〜被写体面形状だけを保持しても良い。 また、 被写体面形状は、 ： RA M 62 bに保持、 記録されていてもよく、 外部 I/F 69を介して外部よ り入手しても良い。
具体的には、 CPU 62 aは、 以下の演算を行う。
. ( 1 ) まず、 被写体面中心に設定された画素の座標 （X, Y, Z) を立 体座標の原点 （0, 0， 0) になるように （X, Y, Z ) の座標値をすベ ての画素における座標情報から減算する。 これによつて、 カメラからの距 離情報を、 被写体面中心座標を通って撮影時のレンズ光軸と直交している 平面からの距離楕報へと変換する。
(2) 続いて、 画像内の各画素位置における座標情報 （X, Υ, Z) と 被写体面形状とを加算もしくは減算 （被写体面形状データの持ち方によつ ては逆になる） する。 'これによつて、 被写体面中心座標を通って撮影時の レンズ光軸と直交している平面からの距離情報を、 被写体面からの距離情 報へと変換す.る。 ··'" -
. 被写体面形状の演算処理を含めるのは処理負荷がかかって.しまうが、 ュ —ザに画像処理の効果を確認せしめ、 快適な操作を支援するためにはこの 段階で被写体面形状を演算することが好ましい。 なお、 この （ 1) ど （2 ) の演算は、■同時に行 ても構わない。
: ま 、 （.2):における演算では、 2通りの演算が考えられる。.
： ：; 図 1.6:のステツズ S 20 1において指示された (もしぐはステ^プ S 20 で修正された） 被写体面の回転中心と被写体面形状の中心とを一致 さ..せて処理を行う。' ： ..
'あくまでも画像中心と被写体面形状の中心とを一致きせて処理を行う
-。
実際の光学系においては後者のように画像中心と被写体面形状中心が一 致しているのでユーザにとってはこちらの効果を得るほうが好ましい。 そ こで、 以下では、 後者の考え方に沿って説明する。 但し、 実際のレンズと は異なった効果を得たいユーザのために、 メニュー操作などで指定するこ とによって、 被写体面の回転中心と被写体面形状中心とを一致させること ができるようにしても良い。
実際の 「ァオリ （スイング、 ティルト） 」 レンズにおいては、 ァオリ操 作を行ったときに被写体面の回転中心が焦点距離及び被写体面の傾け角度 、 撮像距離すなわち被写体までの距離に応じて、 画像中心から動いていく 。 画像処理によって 「ァオリ （スィング、 ティルト） 」 効果を得る本実施 の形態においても、 こうした挙動を再現可能とする手段を提供することが 好ましい。
そこで、 図 1 6のステップ S 2 0 6において被写体面を回転操作したと きには、 画像の画角 （図 1 5のステップ S 1 0 1でメ夕デ一夕として記録 ) ·と被写体面の回転角度に応じて、 被写体面の回転中心を画像中心がら'移 動させる。 ■ - 図 1 6のステップ S 2 0 6において被写体面の回転操作が行われたら、：
· .画像内の各画素位置における座標情報 （X， Y , Z ) から被写体面形状を 減算もしくは加算 （'被写体面形状データの持ぢ方によ ては逆になる)'.す
•る。 これで、 被写体面かちの距離情報を、 被写体面中心座標を通って撮像 · 時のレンズ光軸と直交している平面からの距離情報へと変換する。 つまり ヽ 被写体面の形状を一旦元の平面形状に戻す。
' . :続いて、 .立体解析幾何学による座標変換を行 όて、 各.画素に ¾いで被写 .体面中心座標を通って、 ュ一ザに指示/操作さ.れた角度回転した平面から の距離情報へと変換する。 つまり、 平面の状態で回転のための座標変換を 行つ.。 - 被写体面の回転角度と、 被写体面の回転中心が画像中心から移動する量 との関係は、 R O M 6 2 bに予め保持 '記録されていてもよく、 外部 1 / F 6 9を介して外部より入手するようにしても良い。 このとき、 C P U 6 2 aは、 被写体面の回転角度に応じて、 画像中心からの移動座標 （X , Y ) が分かるように保持する。
画像内の各画素位置における座標情報 （X , Y , Z ) に、 被写体面の回 転角度に応じて画像中心から移動 （X , Y ) した被写体面形状を加算もし くは減算 （被写体面形状データの持ち方によっては逆になる） する。 これ によって、 被写体面中心座標を通って、 ユーザに指示、 操作された角度回 転した平面からの距離情報を、 被写体面からの距離情報へと変換する。 つ まり、 最後にまた被写体面の形状に戻す。
一方、.被写体面の形状を操作したいというユーザも少なからず存在する ことから、 被写体面の形状を変更する機能を実現すると更に好ましい。 そ こで、 この実施の形態に係る画像処理装置、 画像処理方法では、 図 1 6の ステップ S 2 0 4もしくはステヅプ S 2 0 6において、 被写体面の中心が 長押し .（タップしてドラヅグせずに押し続ける） 操作された場合、 図 3 0
( a ) に示されるように、 C P U 6 2 aが現在の被写体面形状の表示枠 5 2 6: aを L C D 6 8の表示画面 5 2 6上に表示するよう制御する。 ： 図 3 0 ( a ) の表示画面 5 2 6において、 被写体面形状の表示枠 5 2 6 aは、 例えばその表示枠をドラッグ操作することによって移動可能である o この表示枠 5 ,2 6 aに表示された被写体面形状をタッ もしくほ 'ドラッ グされた場合、： C P U 6 2 aは、 被写体面形状を変更する。 被写体面の形 状を変更した効果は、 図 1 6のステップ S .2 ひ &おしくはステ 'ヅプ S 2 0 7で画像処理することによ-つてユーザが即座に確認可能とする。 - .
写体面の形状を表示する操作は、 被写体面中心の長押しには限定され ない。 表示画面 5 :2: 6に'「被写体面形状」 ボタンを表示 ても構わない。. この場合、 「被写体面形状」 ボタンを 「被写体面の中心」 と判定される範 囲の外側に配置することが望ましい。 .
また、 被写体面中心に対する 1回目のタップにより図 3 0 ( b ) に示さ れるような画面 5 2 7を表示し、 2回目のタップにより 「浅い」 〜 「深い J という被写界深度設定及び 「終了」 と 「被写体面形状」 を表示している グラフ表示部 5 2 7 aで被写界深度に関わる入力を可能とすることもでき る。 こうすれば、 1つの U Iによって被写界深度設定、 被写体面回転終了 、 被写体面形状表示を指示することができる。 .
さらに、 1回目のタップによる画面表示に 「キャンセル」 や 「表示を消 去」 などのボタンも更に表示すれば、 1つの U Iで被写体面の操作を行う ことができる。
(第 1 0の実施の形態）
次に第； L 0の実施の形態について説明する。 - 尚、 第 1 0の実施の形態に係る画像処理装置の構成は、 第 3の実施の形 態 （図 1 3、 1 4 ) と同様であるので、 これらの図を適宜参照し、 説明を 進める。 また、 図 1 5、 1 6のフローチャートを参照する場合、 同図のス テツプを引用しつつ特徴点を説明する。 ノ 被写体面の回転中心などを指示するときには、 ユーザによる指示以外で 指定しても構わない。 例えば 「顏認識」 などの検出系技術を用いて検出さ れた特定点.（特徴点） に基づいて、 被写体面の中心や被写体面を回転する 角度を袂め.るこ 'ともできる。 '. · V '
' . そ 'こ.で、 .第: 1..0の実施の形態に係る画像処理装置、 ·画像処理方法では、 •C P U 6 2 aが画像内の.輝度ゃコントラス トに基づいて特定点を'抽出じ、:
'特定点の配置 （位置闋'係） 等を R A M 6 2 bに記録されでいる'パタ ン:と 照合す'るこ:と:で '·被写体を認識する。
図 3 l '( a ) J±、 雨目ノ鼻/口の位置関係によって顏を認識し、' その中 '心位瞿を被写体面中心として設定した例であ—る。'.この画面 5 2 8'では、 顏 の認識領域は矩形枠' 5 2 8 aで示される。
また、 図 3 1 ( b ) に示されるように、 画面 5 2 9内の複数の被写体を 認識することによって、 検出された被写体の特定点 （例えば、 目/鼻ノロ ) もしくは被写体範囲 （例えば顔） を含むように被写体面及び被写界深度 を設定することも可能である。 この画面 5 2 9では、 複数の顏の認識領域 が矩形枠 5 29 a~ 5 2 9 dで示される。
さらに、 図 3 2 ( a) に示されるように、 例えば、 検出された被写体範 囲 （例えば顔） が 2箇所であれば、 C P U 6 2 aは、 表示画面 53 0に立 体解析幾何学における座標変換によって 2点を結ぶ線上に被写体面の回転 軸を配置して回転軸 5 3 0 aを表示し、 ユーザによる回転操作を可能にす る。 そして、 被写体面の回転に合わせて、 図 3 2 ( b ) に示されるような ボカシ処理を施した画像を表示画面 5 3 1にて表示する。
また、 図 33 (a) に示されるように、 例えば、 検出された被写体範囲 (例えば顔） が 3箇所であれば、 C PU 6 2 aは、 表示画面 5 3 2に複数 の顔の認識領域を矩形枠 5 3 2 a〜5 3 2 cで示すと共に、 立体解析幾何 学における座標変換によって 3点で規定される面上に被写体面を配置する ο
このとき . C P U..6 2 aは、 被写体面の回転中心を、 画面 5 32内にお いて被写体の占める割合の大きいものを主要な被写体であると判断し、 主 要被写体の検出範囲の中心を被写体面の回転中心としてもよい。：ここから 、 ュ一ザによる被写体面操作並びに被写界深度設定を更にすることができ る。' また、'検出された範囲が指定された場合 . C P U 6 2: a;は該範囲に従 づて主要被写体 （被写体の検出範囲の中心座標など） を選ぶこともできる たとえば、：図 3: 3 (b)'に示されるように、 表示画面 5 3 3において、 被写体の占める割合の大きい被写体 01ではなく、 ユーザ操作により奥に 位置する被写体 02が指定された場合には、 GP U 62 aは、.該被写体 0 2 (被写体 02の検出範囲の中心座標など） を主要被写体として選択し、 被写体面の回転中心に設定する。
また、 図 33 ( c ) に示されるように、 例えば、 表示画面 5 34にて、 検出された被写体範囲 （例えば顏） が 4箇所表示されているのであれば、 CP U 6 2 aは、 立体解析幾何学における座標変換によって検出範囲の中 心座標をすベて含むような被写体面/被写界深度を設定する。 C P U 6 2 aは、 検出範囲の中心座標が、 被写体面から等距離となるように被写体面 を設定する （但し、 検出範囲の中心座標が必ずしも被写体面上にはないこ とになる） 。 被写体面から各検出範囲の中心座標までの距離と等しくなる ように、 被写界深度を設定する。
このとき、 被写体面の回転中心 （符号 5 3 4 a) は各検出範囲のいずれ かの中心座標ではなく、 図 3 3 ( c ) に示されるように設定された被写体 面からの距離が最小となる位置に設定される。'この場合であっても、 検出 された範囲の更なる指定に従って、 CP U 6 2 aが主要被写体を選び、 被 写体面の回転中心を再設定することもできる。
さらに、 図 3 4 (a) に示されるように、 表示画面 5 3 5において、 検 出された被写体範囲 （例えば顔） が矩形枠 5 3.5 a〜 5.3 5 dで示されて いる。 この被写体範囲をふまえて、 ュ一ザ操作による新たな被写体の選択 や既に認識されている被写体の選択解除がなされた場合、. C. P U 6 '2 aが 被写体面の設定に用いる被写体を再設定する。 図 34 (b) の例では、 表 示画面 5 '3.6に表示されている被写体のうち、 被写体 03、. 04の検出範 ,囲.（矩形枠 53:6 c、'-:5.3 6,d ) が選択解除された例を示している。 ： そして、' CP U 6 2 aは、 再設定された被写体の中から主要被写体. (被 写体の検出範囲の中心座標） を特定し、 図 3 4 ( c)'に':示されるようなボ .力シ処理を施した画像を表示画面 5 3 7にて表示する。 ； '： ： ' 以上説明した第 4〜第 1 Όの実施の形態の画像処理装置、. 画像処理方法 は、 任意の組み合わせによっても実施可能であることは勿論である。'また 、 夕ツチ ネル 7 6を使用することを前提として説明したが、 操作入力を 行うボインティングデバイスはこれに限定されることはなく、 例えば十字 キー 7 7によって力一ソルを移動させて決定キー Ί 4で指示を行ったとし ても、 同じような利便性をュ一ザに提供することができる。
以上、 本発明の第 1〜第 1 0の実施の形態について説明したが、 これら 実施の形態によれば以下のような効果が奏される。
即ち、 画像処理によって 「ァオリ （スイング、 ティルト） 」 相当の画像 を得ることができるようにしたことで、 特殊な光学設計、 鏡筒設計を行う 必要がなくなる。 '
複雑な機構 （所謂シャインブルフの法則に沿ったメカ設計） を用意する ことが不要となるので、 「ァオリ （スイング、 ティルト） 」 を意図した特 別な光学設計を行う必要がなくなる。 さらに、 小型かつ安価な装置で撮像 した画像を用いて、 「ァオリ （スイング、 ティルト） 」 相当の画像を得る ことができる画像処理装置を提供することができる。
画像処理によって 「ァオリ （スィング、 ティルト） 」 相当の画像を得る ことができるようにしたことで、 撮影前の煩雑な操作が必要なくなる。 こ れによって、：シャヅ.夕チャンスを逸してしまう可能性を減らすことができ る - ' ' · , · .
：画像処理装置'におい':て、 従来技術による特殊な光学設計、 鏡筒設計を用 いた 「ァオリ （スイング、 ティルト） 」 操作に相当する被写体面の操作に ついて、 自在な操作が可能である方法を提供するこ ができる 6
- '：画像処里 '装,.置における被写体面の操作方法によれば、· .: -ザに直感的で： 容易な操作環境を提供す '"る :：ことができる。 たとえば、 '夕ッ.チパネルを用'い \る'場合にほ、 より直感的.な操作が可能となる。.
'ュ ザが設定した仮想的な被写体面の回転中心'を表示画面に表示するこ ' と.によって、 ユーザによる被写体面の操作、 状態把握をより簡単なものに することが-で.ぎる。' .
ュ ザによる仮想的被写体面の操作状態を表示画面に表示することによ つて、 ュ一ザによる被写体面の操作、 状態把握をより簡単なものにするこ とができる。
仮想的被写界深度を設定することを可能とすることによって、 小さな撮 像素子と短い焦点距離のレンズとを組み合わせた小型撮像装置によって撮 影された被写界深度の深い画像であっても、 仮想的に被写界深度を浅くす る画像処理を行うことができる。
. 仮想的な被写体面の形状を設定することを可能とすることによって、 ュ 一ザにより幅広い作画機能を提供することができ ¾。
なお、 本発明は前述した第 1〜第 1 0の実施の形態に限定されるもので はなく、 その趣旨を逸脱しない範囲で種々の改良や変更が可能である。 た とえば、 前述した画像処理装置の処理に係るプログラム、 該プログラムを 記録した記録媒体、 前述した画像処理方法を実現するプログラム、 該プロ グラムを記録した記録媒体としての実施も可能である。

Claims

1 . 画像データに基づく表示画像のうちのユーザにより指定された点に対 応する距離情報に基づいて、 被写体面を設定する被写体面設定手段と、 前記被写体面に応じて前記画像データの距離情報を変換する距離情報変, 換手段と、
賓
前記距離情報変換手段で変換された距離情報に基づいて前記画像データ に対して画像処理を行う画像処理手段とを有する
の
画像処理装置。 '
2 . 前記距離情報変換手段は、 前記指定された点の座標に基づいて前記画 像データの各点に係る距離情報を変換する 囲
請求項 1に記載の画像処理装置。
3 . ユーザ指定に従って、 前記点を前記被写体面内に維持した状態で前記 被写体面を変更する被写体面変更手段を更に備え、
前記距離情報変換手段は、 前記被写体面変更手段で変更された被写体面 に応じて前記距離情報を変換する
請求項 1に記載の画像処理装置。
4 . 前記被写体面変更手段は、 前記被写体面を、 前記指定された点を回転 中心として回転させることで、 前記被写体面を変更する
請求項 3に記載の画像処理装置。
5 . 前記 ¾写体面変更手段により、 前記被写体面が変更された場合には、 前記距離情報変換手段は、 前記指定された点の座標と、'前記回転の角度及 び方向に基づいて、 前記画像デ一夕の各点に係る距離情報を変換する 請求項 4に記載の画像処理装置。
6 . 前記画像処理手段は、 前記画像処理として、 前記距離情報変換手段に より変換された距離情報に応じたボケ量で前記画像データにボケを付加す る 請求項 1に記載の画像処理装置。
7 . 前記画像処理手段は、 前記被写体面からの距離が大きいほどボケ量が 大きくなるように前記画像デ一夕にボケを付加する
請求項 6に記載の画像処理装置。
8 . 前記画像処理手段は、 前記被写体面からの距離が所定範囲内である点 については、. 同じボケ量となるように前記画像データにボケを付加する 請求項 6に記載の画像処理装置。
9 . 前記画像処理手段は、 被写界深度を示す被写界深度情報に基づいて、 前記ボケ量を調整する
請求項 6に記載の画像処理装置。
1 0 . 前記被写体面の状態を表示部に表示させる表示制御手段をさらに有 する . ' · . 請求項 1に記載の画像処理装置。 · '
.
1 1 . 前記画像データと前記距離情報とを関連付けて記憶する記憶手段と 前記点を指定する指定手段と、
前記点を含む被写体面のレンズ光軸に対する傾き角度と傾き方向を設定 する設定手段とをさらに有する
請求項 1に記載の画像処理装置。
1 2 . 前記指定手段により前記点が指定され、 前記設定手段により前記被 •写体面の前記レンズ光軸に対する傾き方向と傾き角度が設定されると、 前 記被写体面設定手段は、 該傾き方向と傾き角度に基づいて前記被写体面を
5殳疋 9 る
請求項 1 1に記載の画像処理装置。
1 3 . 距離を測距する測距手段をさらに備え、 該測距手段により得られた 距離情報を画像データと関連付けて前記記憶手段に記憶する 請求項 1 1に記載の画像処理装置。
1 4 . 前記指定手段は夕ツチパネルであり、 前記夕ツチパネルは、 前記撮 像画像内の点の指定がなされた場合には座標を検出することによって位置 の指定として受け付ける
請求項 1 1に記載の画像処理装置。
1 5 . 前記指定手段による位置の指定では、 前記夕ツチパネルを所定回数 夕ヅチすることで指定する
請求項 1 4に記載の画像処理装置。
1 6 . 前記指定手段により指定された位置を撮像画像と合わせて表示部に 表示させる表示制御手段をさらに有し、 前記指定手段は指定した点のドラ ッグに基づき該位置の変更を受け付ける
請求項 1 1に記載の画像処理装置。 . . . .
1 7 . 前記指定手段及び設定手段は夕ツチパネルであり、 前記撮像画像の 内の少なくとも 1点の指定、 指定位置の変更、 並びに指定された前記点を 含む被写体面のレンズ光軸に対する傾き方向と傾き角度の設定は、 該夕ッ チパネルが所定回数夕ツチされることに応じて行なわれる
請求項 1. 1に記載の画像処理装置。
1 -8 前記距離情報.変換手段は、 前記被写体面に応じて 前記画.像デ一夕 のうちの複数の画素からなる所定単位の領域毎に、，距離情報を,変換する 請求項 1に記載の画像処理装置。
1 9 . 画像デ一夕に基づく表示画像のうちのユーザにより指定された点に 対応する距離情報に基づいて、 被写体面を設定するステヅプと、. · • 前記被写体面に応じて前記画像デ一夕の距離情報を変換するステップと 変換された距離情報に基づいて前記画像データに対して画像処理を行う ステップとを有する
画像処理方法。
2 0 . 画像デ一夕に基づく表示画像のうちのユーザにより指定された点に 対応する距離情報に基づいて、 被写体面を設定するステップと、
前記被写体面に応じて前記画像データの距離情報を変換するステップと 変換された距離情報に基づいて前記画像データに対して画像処理を行う ステヅプとからなる画像処理方法をコンビュ一夕に実行させる
画像処理プログラム。
PCT/JP2008/060733 2007-06-06 2008-06-05 画像処理装置、画像処理方法及び画像処理プログラム WO2008150027A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/470,294 USRE46976E1 (en) 2007-06-06 2008-06-05 Image processing device, image processing method, and image processing program
US12/451,726 US8564693B2 (en) 2007-06-06 2008-06-05 Image processing device, image processing method, and image processing program
CN2008800187839A CN101933040A (zh) 2007-06-06 2008-06-05 图像处理装置、图像处理方法以及图像处理程序
EP08765504.9A EP2154648B1 (en) 2007-06-06 2008-06-05 Image processing device, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007150071 2007-06-06
JP2007-150071 2007-06-06

Publications (1)

Publication Number Publication Date
WO2008150027A1 true WO2008150027A1 (ja) 2008-12-11

Family

ID=40093824

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/060733 WO2008150027A1 (ja) 2007-06-06 2008-06-05 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (5)

Country Link
US (2) US8564693B2 (ja)
EP (1) EP2154648B1 (ja)
JP (1) JP5109803B2 (ja)
CN (1) CN101933040A (ja)
WO (1) WO2008150027A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202174A (zh) * 2010-03-26 2011-09-28 索尼公司 成像设备和程序

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US8200039B2 (en) * 2007-04-05 2012-06-12 Adobe Systems Incorporated Laying out multiple images
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
KR101630302B1 (ko) * 2010-02-02 2016-06-14 삼성전자주식회사 입체 터치 패널을 구비하는 디지털 촬영 장치 및 이의 제어 방법
JP5760324B2 (ja) 2010-03-19 2015-08-05 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラム並びにこの画像処理プログラムが記録された記録媒体
JP2011249923A (ja) * 2010-05-24 2011-12-08 Nikon Corp 撮像装置、画像処理装置、及び画像処理プログラム
US8994788B2 (en) * 2010-05-25 2015-03-31 Panasonic Intellectual Property Corporation Of America Image coding apparatus, method, program, and circuit using blurred images based on disparity
JP5517746B2 (ja) * 2010-05-26 2014-06-11 キヤノン株式会社 画像処理装置およびその方法
EP2395369A1 (en) * 2010-06-09 2011-12-14 Thomson Licensing Time-of-flight imager.
JP2012027408A (ja) * 2010-07-27 2012-02-09 Sanyo Electric Co Ltd 電子機器
JP2012049773A (ja) * 2010-08-26 2012-03-08 Sony Corp 撮像装置および方法、並びにプログラム
US9055205B2 (en) * 2010-09-03 2015-06-09 Canon Kabushiki Kaisha Imaging control system, control apparatus, control method, and storage medium
JP5546394B2 (ja) * 2010-09-06 2014-07-09 キヤノン株式会社 撮像制御システム、制御装置、制御方法、及び、プログラム
TWI532009B (zh) * 2010-10-14 2016-05-01 華晶科技股份有限公司 產生淺景深影像的方法及裝置
US9338426B2 (en) * 2010-10-27 2016-05-10 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
JP5657343B2 (ja) * 2010-10-28 2015-01-21 株式会社ザクティ 電子機器
JP5377537B2 (ja) * 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US8842931B2 (en) * 2011-02-18 2014-09-23 Nvidia Corporation System, method, and computer program product for reducing noise in an image using depth-based sweeping over image samples
DE102011101004A1 (de) 2011-05-10 2015-08-13 Audi Ag Verfahren zum Bereitstellen einer Darstellung eines Gegenstandes auf einer Kraftfahrzeug-Anzeigeeinrichtung
CN102231798B (zh) * 2011-06-24 2015-09-23 天津市亚安科技股份有限公司 一种控制云台摄像机自动变倍的方法及系统
CN103181156B (zh) * 2011-07-12 2017-09-01 三星电子株式会社 模糊处理装置及方法
CN102891959B (zh) * 2011-07-21 2015-06-03 宝硕财务科技股份有限公司 图像式摄影控制系统及其控制方法
KR101792641B1 (ko) * 2011-10-07 2017-11-02 엘지전자 주식회사 이동 단말기 및 그의 아웃 포커싱 이미지 생성방법
EP2782329B1 (en) * 2011-11-14 2019-10-16 Canon Kabushiki Kaisha Imaging device, control device, control method and program
US8615140B2 (en) * 2011-11-18 2013-12-24 Canon Kabushiki Kaisha Compression of image data in accordance with depth information of pixels
JP2013118468A (ja) * 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
JP2013186293A (ja) * 2012-03-08 2013-09-19 Seiko Epson Corp 画像生成装置および画像表示方法
JP5919998B2 (ja) * 2012-04-27 2016-05-18 株式会社ニコン 撮像装置、画像処理装置、画像処理方法及びプログラム
CN102708570B (zh) * 2012-05-17 2015-06-17 北京数码视讯科技股份有限公司 获取深度图的方法及装置
US20130324857A1 (en) * 2012-05-31 2013-12-05 The Regents Of The University Of California Automated system for workspace, range of motion and functional analysis
TWI471630B (zh) * 2012-06-01 2015-02-01 Hon Hai Prec Ind Co Ltd 主動式距離對焦系統及方法
US20130342735A1 (en) * 2012-06-20 2013-12-26 Chen-Hung Chan Image processing method and image processing apparatus for performing defocus operation according to image alignment related information
US9858649B2 (en) * 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9298970B2 (en) * 2012-11-27 2016-03-29 Nokia Technologies Oy Method and apparatus for facilitating interaction with an object viewable via a display
JP6218377B2 (ja) * 2012-12-27 2017-10-25 キヤノン株式会社 画像処理装置及び画像処理方法
TWI486820B (zh) * 2012-12-28 2015-06-01 Wistron Corp 用於互動系統之座標轉換方法及電腦系統
CN103152522A (zh) * 2013-02-25 2013-06-12 东莞宇龙通信科技有限公司 调整拍摄位置的方法及其终端
US9762848B2 (en) 2013-03-15 2017-09-12 Google Inc. Automatic adjustment of video orientation
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
CN104252302A (zh) * 2013-06-26 2014-12-31 富泰华工业（深圳）有限公司 图像自适应调整系统及方法
KR101913319B1 (ko) * 2013-07-16 2019-01-14 삼성전자주식회사 깊이 영상에서 인터페이싱 영역을 검출하는 방법 및 장치
US20150033157A1 (en) * 2013-07-25 2015-01-29 Mediatek Inc. 3d displaying apparatus and the method thereof
US20150116529A1 (en) * 2013-10-28 2015-04-30 Htc Corporation Automatic effect method for photography and electronic apparatus
US20150146078A1 (en) * 2013-11-27 2015-05-28 Cisco Technology, Inc. Shift camera focus based on speaker position
JP5653509B2 (ja) * 2013-12-04 2015-01-14 キヤノン株式会社 画像処理装置及び画像処理方法
JP6263024B2 (ja) * 2013-12-25 2018-01-17 キヤノン株式会社 画像処理装置、画像処理方法および、プログラム、並びに画像再生装置
CN104020545B (zh) * 2014-06-23 2016-08-24 广州市雷凡建筑智能化工程有限公司 旋转式重影摄像镜头
JP6592881B2 (ja) * 2014-07-01 2019-10-23 株式会社ソシオネクスト 面検出方法、面検出装置、及び撮像装置
JP2016015009A (ja) * 2014-07-02 2016-01-28 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
JP6537228B2 (ja) 2014-07-04 2019-07-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US9635242B2 (en) 2014-09-29 2017-04-25 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus
JP5967172B2 (ja) * 2014-11-04 2016-08-10 ソニー株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5921646B2 (ja) * 2014-11-19 2016-05-24 キヤノン株式会社 画像処理装置及び画像処理方法
KR101531530B1 (ko) * 2014-12-31 2015-06-25 (주)스타넥스 이미지 분석 방법, 장치 및 컴퓨터로 판독가능한 장치
JP6525611B2 (ja) * 2015-01-29 2019-06-05 キヤノン株式会社 画像処理装置およびその制御方法
JP6525617B2 (ja) * 2015-02-03 2019-06-05 キヤノン株式会社 画像処理装置およびその制御方法
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
CN104853105B (zh) * 2015-06-15 2019-04-23 爱佩仪光电技术有限公司 基于可控制镜头倾斜的摄像装置的三维快速自动对焦方法
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10291845B2 (en) * 2015-08-17 2019-05-14 Nokia Technologies Oy Method, apparatus, and computer program product for personalized depth of field omnidirectional video
CN105405104B (zh) * 2015-09-24 2018-05-29 华为技术有限公司 一种人脸图像校正的方法及装置
US9955057B2 (en) * 2015-12-21 2018-04-24 Qualcomm Incorporated Method and apparatus for computational scheimpflug camera
TWI682876B (zh) * 2016-05-27 2020-01-21 日商日本電氣股份有限公司 檢查系統、管制裝置以及管制方法
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
CN105933589B (zh) * 2016-06-28 2019-05-28 Oppo广东移动通信有限公司 一种图像处理方法及终端
US10104292B2 (en) * 2016-08-04 2018-10-16 Microsoft Technology Licensing, Llc Multishot tilt optical image stabilization for shallow depth of field
JP6772726B2 (ja) * 2016-09-29 2020-10-21 リコーイメージング株式会社 撮像装置及び撮像方法
CN109791283B (zh) * 2016-10-04 2021-09-07 麦克赛尔株式会社 投影光学系统以及平视显示器装置
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
WO2018214067A1 (en) * 2017-05-24 2018-11-29 SZ DJI Technology Co., Ltd. Methods and systems for processing an image
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
CN107292849B (zh) * 2017-06-30 2020-01-03 维沃移动通信有限公司 一种图像处理方法及移动终端
JP2019015553A (ja) * 2017-07-05 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および個体撮像装置
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
TWI662289B (zh) * 2018-07-02 2019-06-11 廣達電腦股份有限公司 追蹤測距系統及其方法
JP7289309B2 (ja) * 2018-09-06 2023-06-09 株式会社 資生堂 画像解析装置、画像解析方法およびプログラム
JP7262997B2 (ja) * 2018-12-27 2023-04-24 キヤノン株式会社 制御装置、撮像装置、および、プログラム
CN109743511B (zh) * 2019-01-03 2021-04-20 苏州佳世达光电有限公司 自动调整播放画面显示方向的方法及系统
CN109873950B (zh) * 2019-01-30 2021-03-23 努比亚技术有限公司 一种图像修正方法、终端及计算机可读存储介质
JP6679779B1 (ja) * 2019-03-01 2020-04-15 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP7433848B2 (ja) * 2019-03-15 2024-02-20 キヤノン株式会社 撮像装置、コンピュータプログラム、記憶媒体および撮像制御方法
CN114071001B (zh) * 2020-07-31 2023-12-22 北京小米移动软件有限公司 控制方法、装置、电子设备及存储介质
CN112446823B (zh) * 2021-02-01 2021-04-27 武汉中科通达高新技术股份有限公司 监控图像展示方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5313306A (en) 1991-05-13 1994-05-17 Telerobotics International, Inc. Omniview motionless camera endoscopy system
JP2000207549A (ja) * 1999-01-11 2000-07-28 Olympus Optical Co Ltd 画像処理装置
US7268803B1 (en) 1999-08-26 2007-09-11 Ricoh Company, Ltd. Image processing method and apparatus, digital camera, image processing system and computer readable medium

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231514A (en) * 1990-02-05 1993-07-27 Minolta Camera Kabushiki Kaisha Image data processing device
US5168532A (en) * 1990-07-02 1992-12-01 Varian Associates, Inc. Method for improving the dynamic range of an imaging system
US7714936B1 (en) * 1991-05-13 2010-05-11 Sony Corporation Omniview motionless camera orientation system
US5990941A (en) * 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US6201574B1 (en) * 1991-05-13 2001-03-13 Interactive Pictures Corporation Motionless camera orientation system distortion correcting sensing element
US5384588A (en) * 1991-05-13 1995-01-24 Telerobotics International, Inc. System for omindirectional image viewing at a remote location without the transmission of control signals to select viewing parameters
US5359363A (en) * 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
JPH0721365A (ja) * 1993-07-06 1995-01-24 Canon Inc 画像処理方法および装置
JPH08163428A (ja) 1994-12-05 1996-06-21 Canon Inc 撮像装置
US6449004B1 (en) 1996-04-23 2002-09-10 Minolta Co., Ltd. Electronic camera with oblique view correction
JP3800661B2 (ja) 1996-04-23 2006-07-26 コニカミノルタフォトイメージング株式会社 デジタルカメラ
DE19637629A1 (de) * 1996-09-16 1998-03-19 Eastman Kodak Co Elektronische Kamera zur Realisierung der Abbildungseigenschaften einer Studio-Balgenkamera
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0930585B1 (en) * 1998-01-14 2004-03-31 Canon Kabushiki Kaisha Image processing apparatus
JP2001094841A (ja) * 1999-09-21 2001-04-06 Asahi Optical Co Ltd アオリ撮影機能を有するデジタルスチルカメラ
US6985177B2 (en) * 2000-07-04 2006-01-10 Canon Kabushiki Kaisha Image sensing system and its control method
JP2002312759A (ja) 2001-04-13 2002-10-25 Olympus Optical Co Ltd 画像変換装置
WO2003079272A1 (en) * 2002-03-15 2003-09-25 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
JP4306184B2 (ja) 2002-05-27 2009-07-29 株式会社ニコン 電子カメラ、画像処理装置、画像処理プログラム、および画像処理方法
US7429996B2 (en) * 2002-07-16 2008-09-30 Intel Corporation Apparatus and method for sensing depth in every direction
US7397504B2 (en) * 2003-06-24 2008-07-08 Microsoft Corp. Whiteboard view camera
FR2857133A1 (fr) * 2003-07-03 2005-01-07 Thomson Licensing Sa Procede de generation de flou
US7292758B2 (en) * 2003-07-14 2007-11-06 Massachusetts Institute Of Technology Optoelectronic fiber photodetector
WO2005029408A1 (ja) * 2003-09-18 2005-03-31 Brother Kogyo Kabushiki Kaisha 画像処理装置、及び、撮像装置
JP2007124609A (ja) * 2005-09-28 2007-05-17 Nissan Motor Co Ltd 車両周囲映像提供装置
US7400414B2 (en) * 2005-10-31 2008-07-15 Mitutoyo Corporation Hand-size structured-light three-dimensional metrology imaging system and method
KR101329470B1 (ko) 2005-11-11 2013-11-13 소니 주식회사 화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 기록 매체
KR100829581B1 (ko) * 2006-11-28 2008-05-14 삼성전자주식회사 영상 처리 방법, 기록매체 및 장치
JP2008309998A (ja) * 2007-06-14 2008-12-25 Sony Corp ティルトレンズ系及び撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5313306A (en) 1991-05-13 1994-05-17 Telerobotics International, Inc. Omniview motionless camera endoscopy system
JP2000207549A (ja) * 1999-01-11 2000-07-28 Olympus Optical Co Ltd 画像処理装置
US7268803B1 (en) 1999-08-26 2007-09-11 Ricoh Company, Ltd. Image processing method and apparatus, digital camera, image processing system and computer readable medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2154648A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202174A (zh) * 2010-03-26 2011-09-28 索尼公司 成像设备和程序

Also Published As

Publication number Publication date
JP2009015828A (ja) 2009-01-22
US20100103311A1 (en) 2010-04-29
EP2154648B1 (en) 2015-09-09
CN101933040A (zh) 2010-12-29
USRE46976E1 (en) 2018-07-31
US8564693B2 (en) 2013-10-22
EP2154648A1 (en) 2010-02-17
JP5109803B2 (ja) 2012-12-26
EP2154648A4 (en) 2010-11-24

Similar Documents

Publication Publication Date Title
WO2008150027A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5686244B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
CN103024265B (zh) 摄像装置和摄像装置的摄像方法
US8823864B2 (en) Image capturing apparatus and associated methodology for auto-focus and facial detection
US8908916B2 (en) Control apparatus, control method, and program to search for a subject and automatically perform image-recording
US20120105590A1 (en) Electronic equipment
JP6138201B2 (ja) 撮影機器及び撮影機器の制御方法
KR102059598B1 (ko) 디지털 촬영 장치 및 그의 제어 방법
US20170111574A1 (en) Imaging apparatus and imaging method
JP5709816B2 (ja) 撮像装置、その制御方法、および制御プログラム、並びに記録媒体
US20120194709A1 (en) Image pickup apparatus
KR20170009089A (ko) 사용자의 제스쳐를 이용하여 기능을 제어하는 방법 및 촬영 장치.
JP6644641B2 (ja) 撮像装置、制御方法、及びプログラム
JP5109853B2 (ja) 電子カメラ
JP2012015619A (ja) 立体表示装置及び立体撮影装置
US9261771B2 (en) Digital photographing apparatus for displaying panoramic images and methods of controlling the same
JP5984887B2 (ja) ズーム制御装置およびその制御方法
JP5289354B2 (ja) 撮像装置
JP2009244434A (ja) 手ぶれ防止装置、電子機器、手ぶれ防止方法、および、手ぶれ防止プログラム
KR20110060298A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP2010141458A (ja) 撮像装置および撮像装置の制御方法
JP2009198956A (ja) 撮像装置及びプログラム
JP5931639B2 (ja) 携帯端末装置、その制御方法およびその制御プログラム
JP2007096682A (ja) デジタルカメラ
JP6467827B2 (ja) 撮像装置、画像処理装置、表示制御装置、画像補正方法及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200880018783.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08765504

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12451726

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2008765504

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE