WO2020202684A1 - 画像処理装置と画像処理方法およびプログラムと撮像装置 - Google Patents

画像処理装置と画像処理方法およびプログラムと撮像装置 Download PDF

Info

Publication number
WO2020202684A1
WO2020202684A1 PCT/JP2020/000146 JP2020000146W WO2020202684A1 WO 2020202684 A1 WO2020202684 A1 WO 2020202684A1 JP 2020000146 W JP2020000146 W JP 2020000146W WO 2020202684 A1 WO2020202684 A1 WO 2020202684A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
sub
main
imaging
Prior art date
Application number
PCT/JP2020/000146
Other languages
English (en)
French (fr)
Inventor
仁史 八木澤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/441,133 priority Critical patent/US11743576B2/en
Priority to CN202080023014.9A priority patent/CN113632449A/zh
Publication of WO2020202684A1 publication Critical patent/WO2020202684A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/04—Bodies collapsible, foldable or extensible, e.g. book type
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/06—Roll-film cameras adapted to be loaded with more than one film, e.g. with exposure of one or the other at will
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H04N23/531—Constructional details of electronic viewfinders, e.g. rotatable or detachable being rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • This technology makes it easy to set the composition and check the imaging status of the image processing device, image processing method, program, and imaging device.
  • Patent Document 1 a first image generated by the camera body using the main body lens and an attachment attached to the camera body using an attachment lens having an angle of view different from that of the main body lens are used. Using the generated second image, the shooting range frame of the image on the narrow shooting range is superimposed on the image on the wide shooting range.
  • Patent Document 1 Although the imaging range of the camera body is clarified, the image generated by the camera body cannot be confirmed.
  • an object of this technique to provide an image processing device, an image processing method, a program, and an imaging device that can not only easily determine the composition at the time of shooting but also easily confirm the imaging state.
  • the first aspect of this technology is According to the angle-of-view comparison result between the main image captured by the main imaging unit and the sub-image generated by the sub-imaging unit, an image composition process is performed using the main image and the sub-image to display an image. And the image compositing part that generates
  • the image processing apparatus includes a control unit that causes the image composition unit to perform image composition processing in response to detecting an image viewing operation of the display image generated by the image composition unit.
  • the angle of view comparison between the main captured image and the sub-captured image is performed by the control unit.
  • the image compositing unit performs image compositing processing using the main captured image and the sub-captured image according to the angle of view comparison result, and generates a display image.
  • a display image is generated by superimposing the main captured image on the sub-captured image or superimposing the reduced sub-captured image on the main captured image.
  • the main captured image is used as the display image.
  • the control unit controls the image composition unit to perform the image composition process in response to detecting the image viewing operation of the display image generated by the image composition unit.
  • the angle of view of the main image pickup unit that generates the main image capture image or the sub image pickup unit that generates the sub image capture image can be changed.
  • the angle of view comparison result with the sub-image is output to the image composition unit.
  • the superimposed size of the main captured image is generated according to the user operation received by the user interface unit. Or the superimposition position is changed.
  • the second aspect of this technology is According to the angle-of-view comparison result between the main image captured by the main imaging unit and the sub-image generated by the sub-imaging unit, an image composition process is performed using the main image and the sub-image to display an image. Is generated by the image synthesizer,
  • the image processing method includes having the control unit perform the image composition process in response to the detection of the image viewing operation of the display image generated by the image composition unit.
  • the third aspect of this technology is A program that causes a computer to generate display images. According to the angle-of-view comparison result between the main image captured by the main imaging unit and the sub-image generated by the sub-imaging unit, an image composition process is performed using the main image and the sub-image to display an image. And the procedure to generate There is a program for causing the computer to execute a procedure for performing the image compositing process in response to detecting an image visual recognition operation of the displayed image.
  • the program of the present technology provides, for example, a storage medium, a communication medium, for example, a storage medium such as an optical disk, a magnetic disk, or a semiconductor memory, which is provided in a computer-readable format to a general-purpose computer capable of executing various program codes. It is a program that can be provided by a medium or a communication medium such as a network. By providing such a program in a computer-readable format, processing according to the program can be realized on the computer.
  • the fourth aspect of this technology is The main imaging unit that generates the main captured image and A sub-imaging unit that generates a sub-imaging image in the imaging direction corresponding to the imaging direction of the main imaging unit, and A control unit that compares the angles of view of the main captured image and the sub-captured image, An image compositing unit that generates a display image by performing an image compositing process using the main captured image and the sub-captured image according to the comparison result of the angle of view comparison performed by the control unit.
  • a display unit that displays the display image generated by the image composition unit, and Equipped with a detector that detects image viewing motion
  • the control unit is an imaging device that causes the image compositing unit to perform an image compositing process in response to the detection unit detecting an image viewing operation of a display image generated by the image compositing unit.
  • the main imaging unit generates the main image
  • the sub-imaging unit generates the sub-image in the imaging direction corresponding to the imaging direction of the main imaging unit.
  • the control unit compares the angles of view of the main captured image and the sub-captured image
  • the image synthesis unit compares the main captured image and the sub-captured image according to the comparison result of the angle of view comparison performed by the control unit.
  • the image compositing process used for example, an image compositing process of superimposing the other on one of the main captured image and the sub captured image is performed to generate a display image. It is displayed on the display.
  • control unit causes the image composition unit to perform image composition processing in response to the detection unit detecting the image viewing operation of the display image generated by the image composition unit.
  • a plurality of display units are provided, and the display unit for displaying the displayed image is switched according to the image confirmation operation of the user.
  • one display unit is a viewfinder, and when the user visually recognizes the viewfinder image, the displayed image is displayed on the viewfinder.
  • a touch panel provided on the screen of the display unit is used as a user interface unit that accepts user operations, and the control unit controls the image composition unit according to the user operation received by the user interface unit to synthesize an image. Change the superimposition size or superimposition position in the process.
  • the sub-imaging unit may be fixedly provided to the main body portion provided with the main imaging unit, or may be provided detachably from the main body portion provided with the main imaging unit. Further, the sub-imaging unit is electrically connected to the main body by a connection terminal, a connection cable, or wireless communication. Further, a plurality of sub-imaging units may be provided, and the imaging direction of the plurality of sub-imaging units may be outward with respect to the imaging direction of the main imaging unit.
  • An image pickup device using the image processing device of the present technology has a main image pickup unit, a sub image pickup unit, an image composition unit, a display unit, and a control unit.
  • the main imaging unit generates the main captured image
  • the sub-imaging unit generates the sub-image.
  • the image compositing unit performs image compositing processing of the main captured image and the sub-captured image according to the angle-of-view comparison result of the main captured image and the sub-captured image in the control unit to generate a display image.
  • the display unit displays the display image generated by the image composition unit.
  • FIG. 1 shows a first structural example of the imaging device.
  • FIG. 1A shows a front view
  • FIG. 1B shows a top view.
  • the imaging device 10-1 is provided with a main imaging unit 21 in the main body 11, and a sub-imaging unit 22 for setting a composition or the like is provided in the center of the upper part of the main body 11, for example.
  • the optical axis direction (imaging direction) of the main imaging unit 21 and the sub imaging unit 22 is set to be parallel.
  • the angle of view ⁇ of the sub-imaging unit 22 is wider than the angle of view ⁇ of the main imaging unit 21.
  • the angle of view ⁇ of the sub-imaging unit 22 is set so that the angle of view adjusting range includes a range having a narrower angle of view than the sub-imaging unit 22.
  • a shutter button 271 is provided on the upper surface of the main body 11.
  • FIG. 2 shows a second structural example of the imaging device.
  • FIG. 2A shows a front view
  • FIG. 2B shows a top view.
  • the image pickup apparatus 10-2 is provided with a main imaging unit 21 in the main body 11, and an attachment 12 is provided in the center of the upper surface of the main body 11, for example.
  • a sub-imaging unit 22 can be attached to the attachment 12, and when the sub-imaging unit 22 is attached to the attachment 12, the sub-imaging unit 22 is electrically connected to the main body 11 and is subordinated to the main body 11. Power is supplied to the imaging unit 22, and an image signal is supplied from the sub-imaging unit 22 to the main body 11.
  • the optical axis direction (imaging direction) of the main imaging unit 21 and the sub-imaging unit 22 mounted on the attachment 12 is set to be parallel.
  • the angle of view ⁇ of the sub-imaging unit 22 is wider than the angle of view ⁇ of the main imaging unit 21.
  • the angle of view ⁇ of the sub-imaging unit 22 is set so that the angle of view adjusting range includes a range having a narrower angle of view than the sub-imaging unit 22.
  • a shutter button 271 is provided on the upper surface of the main body 11.
  • FIG. 3 shows a third structural example of the imaging device.
  • FIG. 3A shows a front view
  • FIG. 3B shows a top view.
  • the imaging device 10-3 is provided with a main imaging unit 21 in the main body 11, and a mounting space SP for the sub-imaging unit 22 is provided in, for example, the upper part of the front surface of the main body 11.
  • the sub-imaging unit 22 is detachable from the mounting space SP, and the sub-imaging unit 22 may be connected to the main body 11 using a connection cable 14 or may be connected to the main body 11 via a wireless transmission line. You may.
  • the optical axis direction (imaging direction) of the sub-imaging unit 22 provided in the main imaging unit 21 and the mounting space SP is set to be parallel.
  • the angle of view ⁇ of the sub-imaging unit 22 is wider than the angle of view ⁇ of the main imaging unit 21.
  • the angle of view ⁇ of the sub-imaging unit 22 is set so that the angle of view adjusting range includes a range having a narrower angle of view than the sub-imaging unit 22.
  • a shutter button 271 is provided on the upper surface of the main body 11.
  • FIG. 4 shows a fourth structural example of the imaging device.
  • FIG. 4A shows a front view
  • FIG. 4B shows a top view.
  • the imaging device 10-4 is provided with a main imaging unit 21 in the main body 11, and a sub-imaging unit 22 and a sub-imaging unit 23 are provided, for example, on the front surface of the main body 11.
  • the optical axis directions (imaging directions) of the sub-imaging units 22 and 23 may be set to be parallel to the main imaging unit 21, and as shown in FIG. 4B, the optical axis of the main imaging unit 21 may be set.
  • the optical axis directions of the sub-imaging units 22 and 23 may be provided so as to face outward with respect to the direction.
  • the sub-imaging units 22 and 23 By providing the sub-imaging units 22 and 23 facing outward in this way, it is possible to prevent the image captured by the sub-imaging units 22 and 23 from being eclipsed by the lens or the like of the main imaging unit 21. Further, if the sub-images acquired by the sub-image unit 22 and the sub-image 23 are combined to generate the sub-image Ps, the sub-image Ps will be the image of the angle of view ⁇ 1 of the sub-image 22 and the image of the sub-image 23.
  • the angle of view ⁇ is wider than the angle ⁇ 2.
  • the angle of view ⁇ is set to be wider than the angle of view ⁇ of the main imaging unit 21.
  • the angles of view ⁇ 1 and ⁇ 2 and the imaging direction of the sub-imaging units 22 and 23 are set so that the angle of view adjustment range includes a range of an angle of view narrower than the angle of view ⁇ . It is set.
  • a shutter button 271 is provided on the upper surface of the main body 11.
  • FIG. 5 illustrates the functional configuration of an image pickup apparatus using the image processing apparatus of the present technology.
  • FIG. 5 illustrates the functional configuration of an image pickup apparatus using the image processing apparatus of the present technology.
  • the image pickup device 10 includes a main image pickup unit 21, a sub image pickup unit 22, an image composition unit 24, a display unit 25, a viewfinder (VF) 26, a user interface (user I / F) unit 27, and a control unit 35. There is. Further, the imaging device 10 may have a recording unit 28 and an output unit 29.
  • the main imaging unit 21 includes, for example, an imaging optical system block, an image sensor, a camera signal processing unit, and the like.
  • the imaging optical system block is configured by using a focus lens, a zoom lens, an iris mechanism, or the like, and forms an optical image of a subject on an imaging surface of an image sensor in a desired size.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the camera signal processing unit performs noise removal processing, gain adjustment processing, analog / digital conversion processing, defect pixel correction, development processing, etc. on the pixel signal generated by the image sensor to generate the main captured image Pm and synthesize the image.
  • Output to unit 24, recording unit 28, and output unit 29 are examples of the image sensor, and the like.
  • the sub-imaging unit 22 has an imaging optical system block, an image sensor, a camera signal processing unit, and the like, similarly to the main imaging unit 21. Further, the imaging optical system block of the sub-imaging unit 22 has a wider angle of view than, for example, the imaging optical system block of the main imaging unit 21.
  • the sub-imaging unit 22 generates sub-image images Ps and outputs them to the image synthesis unit 24.
  • the image pickup optical system block of the sub image pickup unit 22 includes a range of a narrower angle of view than the sub image pickup unit 22 in the angle of view adjustment range. The angle of view is set.
  • the image composition unit 24 Based on the control signal from the control unit 35, the image composition unit 24 performs image composition processing of the main image Pm generated by the main image pickup unit 21 and the sub-image Ps generated by the sub-image unit 22 and displays them. Generate image Pd. Further, the image synthesizing unit 24 outputs the image signal of the generated display image Pd to the display unit 25 or the viewfinder 26, or the display unit 25 and the viewfinder 26. Further, the image synthesizing unit 24 may output the image signal of the display image Pd to either the display unit 25 or the viewfinder 26 based on the control signal from the control unit 35.
  • the display unit 25 is configured by using a liquid crystal display element, an organic EL display element, or the like.
  • the display unit 25 displays the display image Pd supplied from the image composition unit 24. Further, the display unit 25 displays the menu of the image pickup device 10 and displays the GUI related to the operation of the user (photographer or the like) based on the control signal from the control unit 35.
  • the viewfinder 26 is configured by using a liquid crystal display element, an organic EL display element, or the like.
  • the viewfinder 26 displays the captured image based on the display image signal supplied from the image synthesizing unit 24.
  • the user interface unit 27 is composed of a shutter button 271, an operation switch, an operation button, and the like.
  • the user interface unit 27 generates an operation signal according to the user operation and outputs it to the control unit 35.
  • the user interface unit 27 has a detection unit that detects the visibility of the display of the viewfinder 26, for example, an eyepiece detection unit that detects whether the user is looking into the viewfinder 26, and operates a signal indicating the detection result. It may be output to the control unit 35 as a signal.
  • the recording unit 28 is configured by using a recording medium fixed to the image pickup apparatus 10 or a detachable recording medium.
  • the recording unit 28 records the captured image signal generated by the main imaging unit 21 on the recording medium based on the control signal from the control unit 35.
  • the control unit 35 has a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • the ROM (Read Only Memory) stores various programs executed by the CPU (Central Processing Unit).
  • RAM (Random Access Memory) stores information such as various parameters.
  • the CPU executes various programs stored in the ROM, and controls each unit based on the operation signal from the user interface unit 27 so that the image pickup apparatus 10 performs an operation according to the user operation. Further, the control unit 35 compares the angle of view of the main imaging unit 21 (main captured image Pm) with the angle of view of the sub-imaging unit 22 (sub-image Ps), and synthesizes a control signal indicating the comparison result.
  • the control unit 35 outputs a control signal indicating a new angle-of-view comparison result to the image synthesis unit. Output to 24. Further, the control unit 35 may control the image composition unit 24 to perform the image composition processing when the visual recognition of the display of the viewfinder 26 is detected based on the operation signal from the user interface unit 27.
  • FIG. 6 is a flowchart illustrating the captured image display operation of the imaging device.
  • the control unit acquires the angle of view of the imaging unit.
  • the control unit 35 acquires the angle of view ⁇ of the main imaging unit 21 (main captured image Pm) and the angle of view ⁇ of the sub-imaging unit 22 (sub-image Ps).
  • the angle of view information indicating the angle of view ⁇ of the main imaging unit 21 and the angle of view ⁇ of the sub-imaging unit 22 Is stored in advance in the control unit 35 in the manufacturing process of the imaging device or the like.
  • the angle of view ⁇ may be acquired from the image pickup lens, or the angle of view ⁇ corresponding to the zoom operation may be calculated by the control unit 35. Good.
  • the control unit 35 acquires the angles of view ⁇ and ⁇ and proceeds to step ST2.
  • step ST2 the control unit determines whether the angle of view ⁇ is narrower than the angle of view ⁇ .
  • the control unit 35 proceeds to step ST3 when the angle of view ⁇ is narrower than the angle of view ⁇ , and proceeds to step ST4 when the angle of view ⁇ is equal to or greater than the angle of view ⁇ .
  • step ST3 the control unit sets the image after the superimposition processing as the display image.
  • the control unit 35 controls the image synthesizing unit 24 to superimpose the main image Pm generated by the main imaging unit 21 on the sub-image Ps generated by the sub-imaging unit 22, or the main imaging unit 21.
  • the sub-image Ps generated by the sub-imaging unit 22 is reduced and superposed on the generated main image Pm, the image after the superimposition processing is set as the display image Pd, and the process proceeds to step ST5.
  • step ST4 the control unit sets the main captured image Pm as the display image.
  • the control unit 35 controls the image synthesizing unit 24, sets the main image Pm generated by the main image pickup unit 21 as the display image Pd, and proceeds to step ST5.
  • step ST5 the control unit performs display processing.
  • the control unit 35 displays the display image Pd set in step ST3 or step ST4 with, for example, the viewfinder 26, and returns to step ST1.
  • a display image is generated using the main imaging image Pm and the sub-imaging image Ps, so that the user can perform the main imaging.
  • the sub-images Ps By using the sub-images Ps while checking the image Pm, it becomes possible to easily take a picture with an optimum composition.
  • FIG. 7 illustrates other functional configurations of the imaging apparatus using the present technology.
  • the image pickup device 10 includes a main image pickup unit 21, a sub image pickup unit 22, an image composition unit 24, a display unit 25, a viewfinder 26, a user interface unit 27, an eyepiece detection unit 30, and a control unit 35. Further, the imaging device 10 may have a recording unit 28, an output unit 29, and the like.
  • the main image pickup unit 21 is configured by using an image pickup lens, an image sensor, a camera signal processing unit, and the like, and generates a main image pickup image Pm and outputs it to the image synthesis unit 24 and the recording unit 28. Further, the main imaging unit 21 may output the generated main captured image Pm to the outside.
  • the sub-imaging unit 22 is configured by using an image pickup lens, an image sensor, a camera signal processing unit, and the like having a wider angle of view than the main imaging unit 21, and generates sub-image images Ps and outputs them to the image synthesis unit 24. ..
  • the angle of view of the image pickup lens of the sub image pickup unit 22 is set so that the angle of view adjustment range includes a range of a narrower angle of view than the sub image pickup unit 22. Has been done.
  • the image composition unit 24 Based on the control signal from the control unit 35, the image composition unit 24 performs image composition processing of the main image Pm generated by the main image pickup unit 21 and the sub-image Ps generated by the sub-image unit 22 and displays them. Generate image Pd. Further, the image synthesizing unit 24 outputs the image signal of the generated display image Pd to the display unit 25 or the viewfinder 26, or the display unit 25 and the viewfinder 26. Further, the image synthesizing unit 24 may output the image signal of the display image Pd to either the display unit 25 or the viewfinder 26 based on the control signal from the control unit 35.
  • the display unit 25 is configured by using a liquid crystal display element, an organic EL display element, or the like.
  • the display unit 25 displays the display image Pd supplied from the image composition unit 24.
  • the display unit 25 displays the menu of the image pickup device 10 and displays the GUI related to the user's operation based on the control signal from the control unit 35.
  • the viewfinder 26 is configured by using a liquid crystal display element, an organic EL display element, or the like.
  • the viewfinder 26 displays the captured image based on the display image signal supplied from the image synthesizing unit 24.
  • a shutter button 271 In the user interface unit 27, a shutter button 271, an operation switch, an operation button, a GUI configured by providing a touch panel on the screen of the display unit 25, and the like are used.
  • the user interface unit 27 generates an operation signal according to the user operation and outputs it to the control unit 35.
  • the eyepiece detection unit 30 detects the user's image viewing operation, detects whether the user is looking into the viewfinder 26, for example, and outputs the eyepiece detection result to the control unit 35.
  • the recording unit 28 is configured by using a recording medium fixed to the image pickup apparatus 10 or a detachable recording medium.
  • the recording unit 28 records the captured image signal generated by the main imaging unit 21 on the recording medium based on the control signal from the control unit 35.
  • the control unit 35 has a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • the ROM (Read Only Memory) stores various programs executed by the CPU (Central Processing Unit).
  • RAM (Random Access Memory) stores information such as various parameters.
  • the CPU executes various programs stored in the ROM, and controls each unit based on the operation signal from the user interface unit 27 so that the image pickup apparatus 10 performs an operation according to the user operation. Further, the control unit 35 compares the angle of view of the main imaging unit 21 (main captured image Pm) with the angle of view of the sub-imaging unit 22 (sub-image Ps), and synthesizes a control signal indicating the comparison result.
  • the control unit 35 outputs a control signal indicating a new angle-of-view comparison result to the image synthesis unit. Output to 24. Further, the control unit 35 causes the image composition unit to perform the image composition process in response to the detection of the image viewing operation of the display image generated by the image composition unit 24 based on the detection result of the eyepiece detection unit 30. Further, the control unit 35 controls the display operation of the display image Pd based on the detection result of the eyepiece detection unit 30.
  • FIG. 8 is a flowchart illustrating other captured image display operations of the imaging device.
  • the control unit 35 acquires the eyepiece detection result.
  • the control unit 35 acquires the eyepiece detection result from the eyepiece detection unit 30, and the process proceeds to step ST12.
  • step ST12 the control unit 35 selects the display medium.
  • the control unit 35 determines that the user is looking into the viewfinder 26 based on the detection result acquired in step ST11, the control unit 35 selects the viewfinder 26 as the display medium and determines that the user is not looking into the viewfinder 26. In this case, the display unit 25 is selected as the display medium and the process proceeds to step ST13.
  • the control unit acquires the angle of view.
  • the control unit 35 acquires the angle of view ⁇ of the main imaging unit 21 (main captured image Pm) and the angle of view ⁇ of the sub-imaging unit 22 (sub-image Ps).
  • the angle of view information indicating the angle of view ⁇ of the main imaging unit 21 and the angle of view ⁇ of the sub-imaging unit 22 Is stored in advance in the control unit 35 in the manufacturing process of the imaging device or the like.
  • the angle of view ⁇ may be acquired from the image pickup lens, or the angle of view ⁇ corresponding to the zoom operation may be calculated by the control unit 35. Good.
  • the control unit 35 acquires the angles of view ⁇ and ⁇ and proceeds to step ST14.
  • step ST14 the control unit determines whether the angle of view ⁇ is narrower than the angle of view ⁇ .
  • the control unit 35 proceeds to step ST15 when it is determined that the angle of view ⁇ is narrower than the angle of view ⁇ , and proceeds to step ST18 when the angle of view ⁇ is equal to or greater than the angle of view ⁇ .
  • step ST15 the control unit sets the image after the superimposition processing as the display image.
  • the control unit 35 controls the image synthesizing unit 24 to superimpose the main image Pm generated by the main imaging unit 21 on the sub-image Ps generated by the sub-imaging unit 22, or the main imaging unit 21.
  • the sub-image Ps generated by the sub-imaging unit 22 is reduced and superposed on the generated main image Pm, the image after the superimposition processing is set as the display image Pd, and the process proceeds to step ST16.
  • step ST16 the control unit determines whether the update operation has been performed.
  • the control unit 35 proceeds to step ST17 when the user interface unit 27 determines that the update operation of the image composition process has been performed, and proceeds to step ST19 when it is not determined that the update operation has been performed.
  • step ST17 the control unit performs image composition update processing. Based on the operation signal from the user interface unit 27, the control unit 35 changes the superimposition size and superimposition position of the main image Pm superimposed on the sub-image Ps or the sub-image Ps superimposed on the main image Pm. The display image Pd is generated and the process proceeds to step ST19.
  • FIG. 9 illustrates a case where the superimposition position of the sub-image Ps is changed according to the swipe operation.
  • FIG. 9A shows a display image displayed by the viewfinder 26.
  • FIG. 9B shows a swipe operation performed using the touch panel of the user interface unit 27 provided on the screen of the display unit 25.
  • the superimposed position of the main captured image Pm moves upward and becomes the position Qv indicated by the broken line.
  • FIG. 10 illustrates a case where the main captured image Pm is enlarged according to the pinch-out operation.
  • FIG. 10A shows a display image Pd displayed by the viewfinder 26.
  • FIG. 10B shows a pinch-out operation performed using the touch panel of the user interface unit 27 provided on the screen of the display unit 25.
  • the main captured image Pm is enlarged in the vertical direction and the horizontal direction.
  • step ST18 the control unit sets the main captured image Pm as the display image.
  • the control unit 35 controls the image synthesizing unit 24, sets the main image Pm generated by the main image pickup unit 21 as the display image Pd, and proceeds to step ST19.
  • step ST19 the control unit performs display processing.
  • the control unit 35 causes the display image Pd to be displayed using the display medium selected in step ST12, and returns to step ST11.
  • the main imaging image Pm generated by the main imaging unit is superimposed on the sub-images Ps generated by the sub-imaging unit. While checking the image Pm, it becomes possible to take a picture with an optimum composition by using the sub-image Ps.
  • the display image can be displayed on the display medium used by the user. Further, when the main captured image Pm is superimposed on the sub-image Ps, the display size and the superimposed position of the main captured image Pm can be changed, so that the operation using the displayed image becomes easy.
  • the image synthesizing unit 24 synthesizes the captured images even generated by the plurality of sub-imaging units to synthesize a wide-angle sub-image. Generate Ps.
  • the angle of view can be widened as compared with the case where one sub-imaging unit generates sub-images Ps.
  • the optical axes of the plurality of sub-imaging units are tilted outward, the angle of view of the sub-images Ps generated by synthesizing the captured images can be further widened.
  • the subject area in which the eclipse occurs can be imaged by the other sub-imaging unit. It is possible to generate sub-images Ps that have not occurred.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program that records the processing sequence is installed in the memory in the computer embedded in the dedicated hardware and executed.
  • the program can be pre-recorded on a hard disk as a recording medium, an SSD (Solid State Drive), or a ROM (Read Only Memory).
  • the program is a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical) disk, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disk, semiconductor memory card. It can be temporarily or permanently stored (recorded) in a removable recording medium such as.
  • a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the image processing apparatus of the present technology can have the following configurations.
  • At least one of the main image and the sub image is used according to the angle of view comparison result between the main image generated by the main image unit and the sub image generated by the sub image.
  • An image compositing unit that performs image compositing processing and generates a display image
  • An image processing device including a control unit that causes the image compositing unit to perform image compositing processing in response to detecting an image visual recognition operation of a display image generated by the image compositing unit.
  • the control unit When the zoom operation is performed by the main imaging unit or the sub-imaging unit, the control unit outputs the angle of view comparison result between the main image and the sub-image to the image compositing unit (4).
  • the image compositing unit performs an image compositing process using the main captured image and the sub-captured image to display the displayed image.
  • the image processing apparatus according to any one of (1) to (4) to be generated.
  • the image processing apparatus according to (5), wherein the image synthesizing unit superimposes the reduced sub-captured image on the main captured image to generate the display image.
  • the image processing apparatus changes the superimposition size or superimposition position according to the user operation received by the user interface unit.
  • the image synthesizing unit sets the main captured image as the display image according to any one of (1) to (8).
  • the image processing apparatus described. (10) The image processing apparatus according to any one of (1) to (9), wherein the sub-image is an image generated by the sub-imaging unit, which is an imaging direction corresponding to the imaging direction of the main imaging unit. ..
  • Imaging device 11 ... Main body 12 ... Attachment 21 ... Main imaging unit 22, 23 ... Sub imaging unit 24 ⁇ ⁇ ⁇ Image composition unit 25 ⁇ ⁇ ⁇ Display unit 26 ⁇ ⁇ ⁇ Viewfinder 27 ⁇ ⁇ ⁇ User interface unit 28 ⁇ ⁇ ⁇ Recording unit 29 ⁇ ⁇ ⁇ Output unit 30 ⁇ ⁇ ⁇ Eyepiece detection unit 35 ⁇ ⁇ ⁇ Control unit

Abstract

制御部３５は、主撮像部２１で生成された主撮像画像と、副撮像部２２で生成された副撮像画像の画角を比較する。画像合成部２４は、制御部３５の画角比較結果によって主撮像画像の画角が副撮像画像の画角よりも狭いことが示された場合、副撮像画像に主撮像画像を重畳してあるいは主撮像画像に縮小した前記副撮像画像を重畳して表示画像を生成する。主撮像画像の画角が副撮像画像の画角よりも狭い場合、主撮像画像を表示画像とする。副撮像画像を利用して撮影時に構図を容易に決定できる。また、主撮像画像によって撮像状態を確認できる。

Description

画像処理装置と画像処理方法およびプログラムと撮像装置
　この技術は、画像処理装置と画像処理方法およびプログラムと撮像装置に関し、構図の設定や撮像状態の確認を容易に行えるようにする。
　従来、撮像装置で望遠撮影を行う際には、撮影時の画角が狭くなるため、構図確認中に一度被写体を見逃すと、被写体を探し難いことがある。これを解消するため、例えば特許文献１では、本体レンズを用いてカメラ本体で生成された第１の画像と、本体レンズとは異なる画角のアタッチメントレンズを用いてカメラ本体に装着されたアタッチメントで生成された第２の画像を用いて、撮影範囲が広い側の画像に撮影範囲が狭い側の画像の撮影範囲枠を重畳させることが行われている。
特開２０１３－２３５１９５号公報
　ところで、特許文献１では、カメラ本体の撮像範囲が明らかとなるが、カメラ本体で生成された画像を確認することができない。
　そこで、この技術では、撮影時に構図を容易に決定できるだけでなく、撮像状態を容易に確認できる画像処理装置と画像処理方法およびプログラムと撮像装置を提供することを目的とする。
　この技術の第１の側面は、
　主撮像部で生成された主撮像画像と副撮像部で生成された副撮像画像との画角比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を生成する画像合成部と、
  前記画像合成部で生成される表示画像の画像視認動作を検出したことに応じて、前記画像合成部で画像合成処理を行わせる制御部と
を備える画像処理装置にある。
　この技術においては、主撮像部で生成された主撮像画像と撮像方向が主撮像部の撮像方向とされている副撮像部で生成された副撮像画像の画角を示す画角情報に基づき、主撮像画像と副撮像画像との画角比較が制御部で行われる。画像合成部では、画角比較結果に応じて主撮像画像と副撮像画像を用いて画像合成処理を行い表示画像が生成される。例えば、主撮像画像の画角が副撮像画像の画角よりも狭い場合、副撮像画像に主撮像画像を重畳してあるいは主撮像画像に縮小した副撮像画像を重畳して表示画像が生成される。また、主撮像画像の画角が副撮像画像の画角よりも狭い場合、主撮像画像が表示画像として用いられる。また、制御部では、画像合成部で生成される表示画像の画像視認動作を検出したことに応じて画像合成部を制御して画像合成処理を行わせる。
　主撮像画像を生成する主撮像部または副撮像画像を生成する副撮像部は画角が変更可能とされており、主撮像部または副撮像部でズーム動作が行われた場合、主撮像画像と副撮像画像との画角比較結果を画像合成部へ出力する。
　また、ユーザ操作を受け付けるユーザインタフェース部が設けられて、副撮像画像に主撮像画像を重畳して表示画像が生成される場合、ユーザインタフェース部で受け付けたユーザ操作に応じて主撮像画像の重畳サイズまたは重畳位置が変更される。
　この技術の第２の側面は、
　主撮像部で生成された主撮像画像と副撮像部で生成された副撮像画像との画角比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を画像合成部で生成することと、
  前記画像合成部で生成される表示画像の画像視認動作を検出したことに応じて、制御部で前記画像合成処理を前記画像合成部で行わせること
を含む画像処理方法にある。
　この技術の第３の側面は、
　表示画像の生成をコンピュータで実行させるプログラムであって、
　主撮像部で生成された主撮像画像と副撮像部で生成された副撮像画像との画角比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を生成する手順と、
　前記表示画像の画像視認動作を検出したことに応じて、前記画像合成処理を行わせる手順と
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
　この技術の第４の側面は、
　主撮像画像を生成する主撮像部と、
　前記主撮像部の撮像方向に対応する撮像方向の副撮像画像を生成する副撮像部と、
　前記主撮像画像と前記副撮像画像の画角比較を行う制御部と、
　前記制御部で行われた前記画角比較の比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を生成する画像合成部と、
　前記画像合成部で生成された表示画像を表示する表示部と、
　画像視認動作を検出する検出部を備え、
　前記制御部は、前記画像合成部で生成される表示画像の画像視認動作を前記検出部で検出したことに応じて、前記画像合成部で画像合成処理を行わせる撮像装置。
　この技術においては、主撮像部で主撮像画像が生成されて、副撮像部では主撮像部の撮像方向に対応する撮像方向の副撮像画像が生成される。また、制御部によって主撮像画像と副撮像画像の画角比較が行われて、画像合成部では、制御部で行われた画角比較の比較結果に応じて、主撮像画像と副撮像画像を用いた画像合成処理、例えば主撮像画像と副撮像画像の一方に他方を重畳する画像合成処理が行われて表示画像が生成される。表示部で表示される。また、制御部は、画像合成部で生成される表示画像の画像視認動作を検出部で検出したことに応じて、画像合成部で画像合成処理を行わせる。表示部は複数設けられており、ユーザの画像確認動作に応じて、表示画像を表示する表示部の切り替えが行われる。例えば、１つの表示部はビューファインダであり、ユーザによるビューファインダ画像の視認動作が行われたとき、表示画像がビューファインダに表示される。また、ユーザ操作を受け付けるユーザインタフェース部として表示部の画面上に設けられたタッチパネルが用いられて、制御部は、ユーザインタフェース部で受け付けたユーザ操作に応じて画像合成部を制御して、画像合成処理における重畳サイズまたは重畳位置を変更する。
　副撮像部は、主撮像部が設けられた本体部に固定して設けられてもよく、主撮像部が設けられた本体部に対して着脱可能に設けられてもよい。また、副撮像部は、接続端子あるいは接続ケーブルまたは無線通信で本体部と電気的に接続される。また、副撮像部を複数設けて、複数の副撮像部の撮像方向は、主撮像部の撮像方向に対して外向きとしてもよい。
撮像装置の第１の構造例を示した図である。 撮像装置の第２の構造例を示した図である。 撮像装置の第３の構造例を示した図である。 撮像装置の第４の構造例を示した図である。 撮像装置の機能構成を例示した図である。 撮像画像表示動作を例示したフローチャートである。 撮像装置の他の機能構成を例示した図である。 他の撮像画像表示動作を例示したフローチャートである。 スワイプ操作に応じて副撮像画像Ｐｓの重畳位置を変更する場合を例示した図である。 ピンチアウト操作に応じて主撮像画像Ｐｍを拡大する場合を例示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．撮像装置について
　２．撮像装置の構造例
　３．撮像装置の機能構成と動作
　４．撮像装置の他の機能構成と動作
　５．撮像装置の他の表示画像生成動作
　＜１．撮像装置について＞
　本技術の画像処理装置を用いた撮像装置は、主撮像部と副撮像部と画像合成部と表示部および制御部を有している。主撮像部は主撮像画像の生成を行い、副撮像部は副撮像画像の生成を行う。画像合成部では、制御部における主撮像画像と副撮像画像の画角比較結果に応じて、主撮像画像と副撮像画像の画像合成処理を行い、表示画像を生成する。表示部は、画像合成部で生成された表示画像を表示する。
　＜２．撮像装置の構造例＞
　図１は撮像装置の第１の構造例を示している。図１の（ａ）は正面図、図１の（ｂ）は上面図を示している。撮像装置１０-1は、本体部１１に主撮像部２１が設けられており、本体部１１の例えば上部中央に、構図設定等のための副撮像部２２が設けられている。主撮像部２１と副撮像部２２の光軸方向（撮像方向）は平行となるように設定されている。副撮像部２２の画角βは、主撮像部２１の画角αよりも広い画角とされている。また、主撮像部２１でズームレンズが用いられる場合、画角調整範囲に副撮像部２２よりも狭画角の範囲を含むように、副撮像部２２の画角βが設定されている。なお、本体部１１の上面にはシャッターボタン２７１が設けられている。
　図２は撮像装置の第２の構造例を示している。図２の（ａ）は正面図、図２の（ｂ）は上面図を示している。撮像装置１０-2は、本体部１１に主撮像部２１が設けられており、本体部１１の例えば上面中央にアタッチメント１２が設けられている。アタッチメント１２には副撮像部２２が装着可能とされており、アタッチメント１２に副撮像部２２が装着されると、副撮像部２２は本体部１１と電気的に接続されて、本体部１１から副撮像部２２への電力の供給や副撮像部２２から本体部１１への画像信号の供給が行われる。主撮像部２１とアタッチメント１２に装着された副撮像部２２の光軸方向（撮像方向）は平行となるように設定されている。副撮像部２２の画角βは、主撮像部２１の画角αよりも広い画角とされている。また、主撮像部２１でズームレンズが用いられる場合、画角調整範囲に副撮像部２２よりも狭画角の範囲を含むように、副撮像部２２の画角βが設定されている。なお、本体部１１の上面にはシャッターボタン２７１が設けられている。
　図３は撮像装置の第３の構造例を示している。図３の（ａ）は正面図、図３の（ｂ）は上面図を示している。撮像装置１０-3は、本体部１１に主撮像部２１が設けられており、本体部１１の例えば前面上部には副撮像部２２の取り付けスペースＳＰが設けられている。副撮像部２２は、取り付けスペースＳＰに着脱可能とされており、副撮像部２２は接続ケーブル１４を用いて本体部１１と接続されてもよく、無線伝送路を介して本体部１１と接続されてもよい。主撮像部２１および取り付けスペースＳＰに設けられた副撮像部２２の光軸方向（撮像方向）は平行となるように設定されている。副撮像部２２の画角βは、主撮像部２１の画角αよりも広い画角とされている。また、主撮像部２１でズームレンズが用いられる場合、画角調整範囲に副撮像部２２よりも狭画角の範囲を含むように、副撮像部２２の画角βが設定されている。なお、本体部１１の上面にはシャッターボタン２７１が設けられている。
　図４は撮像装置の第４の構造例を示している。図４の（ａ）は正面図、図４の（ｂ）は上面図を示している。撮像装置１０-4は、本体部１１に主撮像部２１が設けられており、本体部１１の例えば前面には副撮像部２２と副撮像部２３が設けられている。主撮像部２１に対して副撮像部２２，２３の光軸方向（撮像方向）は平行となるように設定されてもよく、図４の（ｂ）に示すように主撮像部２１の光軸方向に対して副撮像部２２，２３の光軸方向がそれぞれ外側を向いて設けられてもよい。このように、外側を向いて副撮像部２２，２３を設ければ、副撮像部２２，２３で生成される撮像画像に主撮像部２１のレンズ等によってケラレが生じてしまうことを防止できる。また、副撮像部２２と副撮像部２３で取得された撮像画像を合成して副撮像画像Ｐｓを生成すれば、副撮像画像Ｐｓは副撮像部２２の画角β１および副撮像部２３の画角β２よりも広い画角βとなる。画角βは、主撮像部２１の画角αよりも広い画角とされている。また、主撮像部２１でズームレンズが用いられる場合、画角調整範囲に画角βよりも狭画角の範囲を含むように、副撮像部２２，２３の画角β1，β２や撮像方向が設定されている。なお、本体部１１の上面にはシャッターボタン２７１が設けられている。
　＜３．撮像装置の機能構成と動作＞
　図５は、本技術の画像処理装置を用いた撮像装置の機能構成を例示している。なお、以下の説明では、画角の異なる複数の撮像部として、例えば図１乃至図３に示す主撮像部２１と副撮像部２２が撮像装置に設けられている場合について説明する。
　撮像装置１０は、主撮像部２１、副撮像部２２と、画像合成部２４、表示部２５、ビューファインダ（ＶＦ）２６、ユーザインタフェース（ユーザＩ／Ｆ）部２７、制御部３５を有している。また、撮像装置１０は記録部２８や出力部２９を有してもよい。
　主撮像部２１は、例えば撮像光学系ブロック、イメージセンサ、カメラ信号処理部等を有している。撮像光学系ブロックは、フォーカスレンズやズームレンズ、アイリス機構等を用いて構成されており、被写体光学像をイメージセンサの撮像面に所望のサイズで結像させる。イメージセンサとしては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等が用いられており、光電変換を行うことで被写体光学像に応じた画像信号を生成する。カメラ信号処理部は、イメージセンサで生成された画素信号に対してノイズ除去処理や利得調整処理、アナログ／デジタル変換処理、欠陥画素補正、現像処理等を行い主撮像画像Ｐｍを生成して画像合成部２４と記録部２８や出力部２９へ出力する。
　副撮像部２２は、主撮像部２１と同様に、撮像光学系ブロックとイメージセンサとカメラ信号処理部等を有している。また、副撮像部２２の撮像光学系ブロックは、例えば主撮像部２１の撮像光学系ブロックよりも広い画角とされている。副撮像部２２は副撮像画像Ｐｓを生成して画像合成部２４へ出力する。また、主撮像部２１の撮像光学系ブロックとしてズームレンズが用いられる場合、画角調整範囲に副撮像部２２よりも狭画角の範囲を含むように、副撮像部２２の撮像光学系ブロックの画角が設定されている。
　画像合成部２４は、制御部３５からの制御信号に基づいて、主撮像部２１で生成された主撮像画像Ｐｍと副撮像部２２で生成された副撮像画像Ｐｓの画像合成処理を行い、表示画像Ｐｄを生成する。また、画像合成部２４は、生成した表示画像Ｐｄの画像信号を表示部２５またはビューファインダ２６、あるいは表示部２５とビューファインダ２６へ出力する。さらに、画像合成部２４は、制御部３５からの制御信号に基づいて、表示画像Ｐｄの画像信号を表示部２５またはビューファインダ２６のいずれかへ出力してもよい。
　表示部２５は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部２５は画像合成部２４から供給された表示画像Ｐｄを表示する。また、表示部２５は、制御部３５からの制御信号に基づき撮像装置１０のメニュー表示やユーザ（撮影者等）の操作に関したＧＵＩ表示等を行う。
　ビューファインダ２６は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。ビューファインダ２６は画像合成部２４から供給された表示画像信号に基づいて撮像画を表示する。
　ユーザインタフェース部２７は、シャッターボタン２７１や操作スイッチや操作ボタン等で構成されている。ユーザインタフェース部２７は、ユーザ操作に応じた操作信号を生成して制御部３５へ出力する。また、ユーザインタフェース部２７は、ビューファインダ２６の表示の視認を検出する検出部、例えばユーザがビューファインダ２６を覗いているかを検出する接眼検出部を有しており、検出結果を示す信号を操作信号として制御部３５へ出力してもよい。
　記録部２８は、撮像装置１０に固定されている記録媒体、あるいは着脱可能の記録媒体を用いて構成されている。記録部２８は、制御部３５からの制御信号に基づき、主撮像部２１で生成された撮像画像信号を記録媒体に記録する。
　制御部３５は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read　Only　Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random　Access　Memory）は、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザインタフェース部２７からの操作信号に基づき、ユーザ操作に応じた動作が撮像装置１０で行われるように各部を制御する。また、制御部３５は、主撮像部２１（主撮像画像Ｐｍ）の画角と副撮像部２２（副撮像画像Ｐｓ）の画角との画角比較を行い比較結果を示す制御信号を画像合成部へ出力して、画像合成部２４の画像合成処理を制御する。さらに、制御部３５は、主撮像部２１または副撮像部２２でズーム動作が行われた場合、撮像画像の画角が変化することから、新たな画角比較結果を示す制御信号を画像合成部２４へ出力する。また、制御部３５は、ユーザインタフェース部２７からの操作信号に基づき、ビューファインダ２６の表示の視認を検出した場合に、画像合成部２４で画像合成処理を行うように制御してもよい。
　図６は撮像装置の撮像画像表示動作を例示したフローチャートである。ステップＳＴ１で制御部は撮像部の画角を取得する。制御部３５は、主撮像部２１（主撮像画像Ｐｍ）の画角αと副撮像部２２（副撮像画像Ｐｓ）の画角βを取得する。例えば主撮像部２１と副撮像部２２で用いられている撮像レンズが固定焦点であって交換ができない場合、主撮像部２１の画角αと副撮像部２２の画角βを示す画角情報を予め撮像装置の製造工程等で制御部３５に記憶しておく。また、例えば主撮像部２１の撮像レンズがズームレンズや交換レンズである場合、撮像レンズから画角αを取得してもよく、ズーム操作に応じた画角αを制御部３５で算出してもよい。制御部３５は、画角α，βを取得してステップＳＴ２に進む。
　ステップＳＴ２で制御部は画角αが画角βよりも狭いか判別する。制御部３５は、画角αが画角βよりも狭い場合にステップＳＴ３に進み、画角αが画角β以上である場合にステップＳＴ４に進む。
　ステップＳＴ３で制御部は重畳処理後の画像を表示画像に設定する。制御部３５は画像合成部２４を制御して、副撮像部２２で生成された副撮像画像Ｐｓに主撮像部２１で生成された主撮像画像Ｐｍを重畳して、あるいは、主撮像部２１で生成された主撮像画像Ｐｍに副撮像部２２で生成された副撮像画像Ｐｓを縮小して重畳して、重畳処理後の画像を表示画像Ｐｄに設定してステップＳＴ５に進む。
　ステップＳＴ４で制御部は主撮像画像Ｐｍを表示画像に設定する。制御部３５は画像合成部２４を制御して、主撮像部２１で生成された主撮像画像Ｐｍを表示画像Ｐｄに設定してステップＳＴ５に進む。
　ステップＳＴ５で制御部は表示処理を行う。制御部３５は、ステップＳＴ３またはステップＳＴ４で設定された表示画像Ｐｄを例えばビューファインダ２６で表示させてステップＳＴ１に戻る。
　このように、本技術によれば、主撮像部よりも副撮像部の画角が広い場合、主撮像画像Ｐｍと副撮像画像Ｐｓを用いて表示画像が生成されるので、ユーザは、主撮像画像Ｐｍを確認しながら副撮像画像Ｐｓを利用することで、最適な構図で撮影を容易に行うことができるようになる。
　＜４．撮像装置の他の機能構成と動作＞
　ところで、上述の表示画像生成動作は、必要に応じて行うようにしてもよく、ユーザの希望する表示画像を得られるように画像合成処理を行うようにしてもよい。
　図７は、本技術を用いた撮像装置の他の機能構成を例示している。なお、以下の説明では、画角の異なる複数の撮像部として、例えば図１乃至図３に示す主撮像部２１と副撮像部２２が撮像装置に設けられている場合について説明する。
　撮像装置１０は、主撮像部２１、副撮像部２２と、画像合成部２４、表示部２５、ビューファインダ２６、ユーザインタフェース部２７、および接眼検出部３０と制御部３５を有している。また、撮像装置１０は記録部２８や出力部２９等を有してもよい。
　主撮像部２１は、撮像レンズやイメージセンサ、カメラ信号処理部等を用いて構成されており、主撮像画像Ｐｍを生成して画像合成部２４と記録部２８へ出力する。また、主撮像部２１は、生成した主撮像画像Ｐｍを外部に出力してもよい。
　副撮像部２２は、主撮像部２１よりも広い画角の撮像レンズやイメージセンサ、カメラ信号処理部等を用いて構成されており、副撮像画像Ｐｓを生成して画像合成部２４へ出力する。また、主撮像部２１の撮像レンズとしてズームレンズが用いられる場合、画角調整範囲に副撮像部２２よりも狭画角の範囲を含むように、副撮像部２２の撮像レンズの画角が設定されている。
　画像合成部２４は、制御部３５からの制御信号に基づいて、主撮像部２１で生成された主撮像画像Ｐｍと副撮像部２２で生成された副撮像画像Ｐｓの画像合成処理を行い、表示画像Ｐｄを生成する。また、画像合成部２４は、生成した表示画像Ｐｄの画像信号を表示部２５またはビューファインダ２６、あるいは表示部２５とビューファインダ２６へ出力する。さらに、画像合成部２４は、制御部３５からの制御信号に基づいて、表示画像Ｐｄの画像信号を表示部２５またはビューファインダ２６のいずれかへ出力してもよい。
　表示部２５は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部２５は画像合成部２４から供給された表示画像Ｐｄを表示する。また、表示部２５は、制御部３５からの制御信号に基づき撮像装置１０のメニュー表示やユーザの操作に関したＧＵＩ表示等を行う。
　ビューファインダ２６は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。ビューファインダ２６は画像合成部２４から供給された表示画像信号に基づいて撮像画を表示する。
　ユーザインタフェース部２７では、シャッターボタン２７１や操作スイッチや操作ボタン、表示部２５の画面上にタッチパネルを設けて構成されたＧＵＩ等が用いられている。ユーザインタフェース部２７は、ユーザ操作に応じた操作信号を生成して制御部３５へ出力する。
　接眼検出部３０は、ユーザの画像視認動作の検出を行い、例えばユーザがビューファインダ２６を覗いているか検出して、接眼検出結果を制御部３５へ出力する。
　記録部２８は、撮像装置１０に固定されている記録媒体、あるいは着脱可能の記録媒体を用いて構成されている。記録部２８は、制御部３５からの制御信号に基づき、主撮像部２１で生成された撮像画像信号を記録媒体に記録する。
　制御部３５は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read　Only　Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random　Access　Memory）は、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザインタフェース部２７からの操作信号に基づき、ユーザ操作に応じた動作が撮像装置１０で行われるように各部を制御する。また、制御部３５は、主撮像部２１（主撮像画像Ｐｍ）の画角と副撮像部２２（副撮像画像Ｐｓ）の画角との画角比較を行い比較結果を示す制御信号を画像合成部へ出力して、画像合成部２４の画像合成処理を制御する。また、制御部３５は、主撮像部２１または副撮像部２２でズーム動作が行われた場合、撮像画像の画角が変化することから、新たな画角比較結果を示す制御信号を画像合成部２４へ出力する。また、制御部３５は、接眼検出部３０の検出結果に基づき、画像合成部２４で生成される表示画像の画像視認動作を検出したことに応じて、画像合成部で画像合成処理を行わせる。さらに、制御部３５は、接眼検出部３０の検出結果に基づき、表示画像Ｐｄの表示動作を制御する。
　図８は撮像装置の他の撮像画像表示動作を例示したフローチャートである。ステップＳＴ１１で制御部３５は接眼検出結果を取得する。制御部３５は。接眼検出部３０から接眼検出結果を取得してステップＳＴ１２に進む。
　ステップＳＴ１２で制御部３５は表示媒体を選択する。制御部３５は、ステップＳＴ１１で取得した検出結果に基づき、ユーザがビューファインダ２６を覗いていると判別した場合は、表示媒体としてビューファインダ２６を選択して、ビューファインダ２６を覗いないと判別した場合は、表示部２５を表示媒体として選択してステップＳＴ１３に進む。
　ステップＳＴ１３で制御部は画角を取得する。制御部３５は、主撮像部２１（主撮像画像Ｐｍ）の画角αと副撮像部２２（副撮像画像Ｐｓ）の画角βを取得する。例えば主撮像部２１と副撮像部２２で用いられている撮像レンズが固定焦点であって交換ができない場合、主撮像部２１の画角αと副撮像部２２の画角βを示す画角情報を予め撮像装置の製造工程等で制御部３５に記憶しておく。また、例えば主撮像部２１の撮像レンズがズームレンズや交換レンズである場合、撮像レンズから画角αを取得してもよく、ズーム操作に応じた画角αを制御部３５で算出してもよい。制御部３５は、画角α，βを取得してステップＳＴ１４に進む。
　ステップＳＴ１４で制御部は画角αが画角βよりも狭いか判別する。制御部３５は、画角αが画角βよりも狭いと判別した場合にステップＳＴ１５に進み、画角αが画角β以上である場合にステップＳＴ１８に進む。
　ステップＳＴ１５で制御部は重畳処理後の画像を表示画像に設定する。制御部３５は画像合成部２４を制御して、副撮像部２２で生成された副撮像画像Ｐｓに主撮像部２１で生成された主撮像画像Ｐｍを重畳して、あるいは、主撮像部２１で生成された主撮像画像Ｐｍに副撮像部２２で生成された副撮像画像Ｐｓを縮小して重畳して、重畳処理後の画像を表示画像Ｐｄに設定してステップＳＴ１６に進む。
　ステップＳＴ１６で制御部は更新操作が行われたか判別する。制御部３５は、ユーザインタフェース部２７で画像合成処理の更新操作が行われたと判別した場合はステップＳＴ１７に進み、更新操作が行われたと判別されていない場合はステップＳＴ１９に進む。
　ステップＳＴ１７で制御部は画像合成更新処理を行う。制御部３５は、ユーザインタフェース部２７からの操作信号に基づき、副撮像画像Ｐｓに重畳する主撮像画像Ｐｍ、あるいは主撮像画像Ｐｍに重畳する副撮像画像Ｐｓの重畳サイズや重畳位置の変更を行って表示画像Ｐｄを生成してステップＳＴ１９に進む。
　図９は、スワイプ操作に応じて副撮像画像Ｐｓの重畳位置を変更する場合を例示している。図９の（ａ）はビューファインダ２６で表示される表示画像を示している。また、図９の（ｂ）は、表示部２５の画面上に設けられたユーザインタフェース部２７のタッチパネルを使用して行われたスワイプ操作を示している。ユーザがタッチパネルに触れて、その指先を上方向スライドさせた場合、主撮像画像Ｐｍの重畳位置は上方向に移動して破線で示す位置Ｑｖとなる。
　図１０は、ピンチアウト操作に応じて主撮像画像Ｐｍを拡大する場合を例示している。図１０の（ａ）はビューファインダ２６で表示される表示画像Ｐｄを示している。また、図１０の（ｂ）は、表示部２５の画面上に設けられたユーザインタフェース部２７のタッチパネルを使用して行われたピンチアウト操作を示している。ユーザがタッチパネルに触れた２本の指の間隔を画面の対角線方向に広くした場合、主撮像画像Ｐｍを縦方向と横方向に拡大する。
　図８に戻り、ステップＳＴ１８で制御部は主撮像画像Ｐｍを表示画像に設定する。制御部３５は画像合成部２４を制御して、主撮像部２１で生成された主撮像画像Ｐｍを表示画像Ｐｄに設定してステップＳＴ１９に進む。
　ステップＳＴ１９で制御部は表示処理を行う。制御部３５は、ステップＳＴ１２で選択された表示媒体を用いて表示画像Ｐｄの表示を行わせてステップＳＴ１１に戻る。
　このように、主撮像部よりも副撮像部の画角が広い場合、副撮像部で生成された副撮像画像Ｐｓに主撮像部で生成された主撮像画像Ｐｍが重畳されるので、主撮像画像Ｐｍを確認しながら副撮像画像Ｐｓを利用して最適な構図で撮影を行うことができるようになる。また、ユーザが使用する表示媒体で表示画像を表示させることができる。さらに、副撮像画像Ｐｓに主撮像画像Ｐｍが重畳される場合、主撮像画像Ｐｍの表示サイズや重畳位置を変更できるので、表示画像を利用した操作を行いやすくなる。
　＜５．撮像装置の他の表示画像生成動作＞
　上述の撮像装置では、副撮像画像Ｐｓに対して主撮像画像Ｐｍを重畳させて表示画像を生成したが、主撮像部２１で撮像されている領域を示す撮像画枠を副撮像画像Ｐｓに重畳してもよい。この場合、ユーザインタフェース部２７で撮像画枠のサイズ変更操作が行われた場合、変更後の撮像画枠の撮像画像が主撮像部２１で生成されるようにズームレンズを駆動してもよい。
　また、図４に示すように、複数の副撮像部が設けられている場合、画像合成部２４では、複数の副撮像部で生成さえた撮像画像を合成して、広画角の副撮像画像Ｐｓを生成する。このように、複数の副撮像部を設ければ、１つの副撮像部で副撮像画像Ｐｓを生成する場合に比べて、画角を広くできる。さらに、複数の副撮像部の光軸を外側方向に傾けるようにすれば、撮像画像を合成して生成される副撮像画像Ｐｓの画角をさらに広くできる。また、いずれかの副撮像部で生成された撮像画像に主撮像部によるケラレが生じても、このケラレを生じた被写体領域は、他の副撮像部で撮像できるので、主撮像部によるケラレを生じていない副撮像画像Ｐｓを生成できる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　主撮像部で生成された主撮像画像と副撮像部で生成された副撮像画像との画角比較結果に応じて、前記主撮像画像と前記副撮像画像の少なくともいずれかを用いて画像合成処理を行い表示画像を生成する画像合成部と、
  前記画像合成部で生成される表示画像の画像視認動作を検出したことに応じて、前記画像合成部で画像合成処理を行わせる制御部と
を備える画像処理装置。
　（２）　前記主撮像部または前記副撮像部は画角が変更可能とされている（１）に記載の画像処理装置。
　（３）　前記主撮像画像と前記副撮像画像の画角を示す画角情報に基づき、前記主撮像画像と前記副撮像画像との画角比較を行い比較結果を前記画像合成部へ出力する制御部をさらに備える（１）または（２）に記載の画像処理装置。
　（４）　前記制御部は、前記主撮像部または前記副撮像部でズーム動作が行われた場合、前記主撮像画像と前記副撮像画像との画角比較結果を前記画像合成部へ出力する（３）に記載の画像処理装置。
　（５）　前記画像合成部は、前記主撮像画像の画角が前記副撮像画像の画角よりも狭い場合、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い前記表示画像を生成する（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記画像合成部は、前記副撮像画像に前記主撮像画像を重畳して前記表示画像を生成する（５）に記載の画像処理装置。
　（７）　前記画像合成部は、前記主撮像画像に縮小した前記副撮像画像を重畳して前記表示画像を生成する（５）に記載の画像処理装置。
　（８）　ユーザ操作を受け付けるユーザインタフェース部をさらに備え、
　前記画像合成部は、前記ユーザインタフェース部で受け付けた前記ユーザ操作に応じて重畳サイズまたは重畳位置を変更する（５）に記載の画像処理装置。
　（９）　前記画像合成部は、前記主撮像画像の画角が前記副撮像画像の画角以上に広い場合、前記主撮像画像を前記表示画像とする（１）乃至（８）のいずれかに記載の画像処理装置。
　（１０）　前記副撮像画像は、前記主撮像部の撮像方向に対応する撮像方向である前記副撮像部で生成された画像である（１）乃至（９）のいずれかに記載の画像処理装置。
　１０，１０-1，１０-2，１０-3，１０-4・・・撮像装置
　１１・・・本体部
　１２・・・アタッチメント
　２１・・・主撮像部
　２２，２３・・・副撮像部
　２４・・・画像合成部
　２５・・・表示部
　２６・・・ビューファインダ
　２７・・・ユーザインタフェース部
　２８・・・記録部
　２９・・・出力部
　３０・・・接眼検出部
　３５・・・制御部

Claims (21)

  1. 　主撮像部で生成された主撮像画像と副撮像部で生成された副撮像画像との画角比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を生成する画像合成部と、
      前記画像合成部で生成される表示画像の画像視認動作を検出したことに応じて、前記画像合成部で画像合成処理を行わせる制御部と
    を備える画像処理装置。
  2. 　前記主撮像部または前記副撮像部は画角が変更可能とされている
    請求項１に記載の画像処理装置。
  3. 　前記主撮像画像と前記副撮像画像の画角を示す画角情報に基づき、前記主撮像画像と前記副撮像画像との画角比較を行い比較結果を前記画像合成部へ出力する制御部をさらに備える
    請求項１に記載の画像処理装置。
  4. 　前記制御部は、前記主撮像部または前記副撮像部でズーム動作が行われた場合、前記主撮像画像と前記副撮像画像との画角比較結果を前記画像合成部へ出力する
    請求項３に記載の画像処理装置。
  5. 　前記画像合成部は、前記主撮像画像の画角が前記副撮像画像の画角よりも狭い場合、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い前記表示画像を生成する
    請求項１に記載の画像処理装置。
  6. 　前記画像合成部は、前記副撮像画像に前記主撮像画像を重畳して前記表示画像を生成する
    請求項５に記載の画像処理装置。
  7. 　前記画像合成部は、前記主撮像画像に縮小した前記副撮像画像を重畳して前記表示画像を生成する
    請求項５に記載の画像処理装置。
  8. 　ユーザ操作を受け付けるユーザインタフェース部をさらに備え、
    　前記画像合成部は、前記ユーザインタフェース部で受け付けた前記ユーザ操作に応じて重畳サイズまたは重畳位置を変更する
    請求項５に記載の画像処理装置。
  9. 　前記画像合成部は、前記主撮像画像の画角が前記副撮像画像の画角以上に広い場合、前記主撮像画像を前記表示画像とする
    請求項１に記載の画像処理装置。
  10. 　前記副撮像画像は、前記主撮像部の撮像方向に対応する撮像方向である前記副撮像部で生成された画像である
    請求項１に記載の画像処理装置。
  11. 　主撮像部で生成された主撮像画像と副撮像部で生成された副撮像画像との画角比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を画像合成部で生成することと、
      前記画像合成部で生成される表示画像の画像視認動作を検出したことに応じて、制御部で前記画像合成処理を前記画像合成部で行わせること
    を含む画像処理方法。
  12. 　表示画像の生成をコンピュータで実行させるプログラムであって、
    　主撮像部で生成された主撮像画像と副撮像部で生成された副撮像画像との画角比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を生成する手順と、
      前記表示画像の画像視認動作を検出したことに応じて、前記画像合成処理を行わせる手順と
    を前記コンピュータで実行させるプログラム。
  13. 　主撮像画像を生成する主撮像部と、
    　前記主撮像部の撮像方向に対応する撮像方向の副撮像画像を生成する副撮像部と、
    　前記主撮像画像と前記副撮像画像の画角比較を行う制御部と、
    　前記制御部で行われた前記画角比較の比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を生成する画像合成部と、
    　前記画像合成部で生成された表示画像を表示する表示部と
    　画像視認動作を検出する検出部を備え、
    　前記制御部は、前記画像合成部で生成される表示画像の画像視認動作を前記検出部で検出したことに応じて、前記画像合成部で画像合成処理を行わせる撮像装置。
  14. 　前記表示部は複数設けられており、前記制御部は、前記検出部の検出結果に応じて、前記表示画像を表示する表示部を切り替える
    請求項１３に記載の撮像装置。
  15. 　前記複数の表示部の１つはビューファインダであり、ユーザによるビューファインダ画像の画像視認動作が行われたとき、前記表示画像を前記ビューファインダに表示する
    請求項１４に記載の撮像装置。
  16. 　ユーザ操作を受け付けるユーザインタフェース部をさらに備え、
    　前記画像合成部は、前記主撮像画像と前記副撮像画像の一方に他方を重畳する画像合成処理を行い、
    　前記制御部は、前記ユーザインタフェース部で受け付けた前記ユーザ操作に応じて前記画像合成部を制御して、前記画像合成処理における重畳サイズまたは重畳位置を変更する
    請求項１３に記載の撮像装置。
  17. 　前記ユーザインタフェース部は、前記複数の表示部のいずれかの表示画面上に設けられたタッチパネルである
    請求項１６に記載の撮像装置。
  18. 　前記副撮像部は、前記主撮像部が設けられた本体部に固定して設けられている
    請求項１３に記載の撮像装置。
  19. 　前記副撮像部は、前記主撮像部が設けられた本体部に対して着脱可能に設けられている
    請求項１３に記載の撮像装置。
  20. 　前記副撮像部は、接続端子あるいは接続ケーブルまたは無線通信で前記本体部と電気的に接続される
    請求項１３に記載の撮像装置。
  21. 　前記副撮像部は複数設けられており、複数の前記副撮像部の撮像方向は、前記主撮像部の撮像方向に対して外向きである
    請求項１３に記載の撮像装置。
PCT/JP2020/000146 2019-03-29 2020-01-07 画像処理装置と画像処理方法およびプログラムと撮像装置 WO2020202684A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/441,133 US11743576B2 (en) 2019-03-29 2020-01-07 Image processing apparatus, image processing method, program, and imaging apparatus
CN202080023014.9A CN113632449A (zh) 2019-03-29 2020-01-07 图像处理装置、图像处理方法、程序和成像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-066235 2019-03-29
JP2019066235A JP2020167518A (ja) 2019-03-29 2019-03-29 画像処理装置と画像処理方法およびプログラムと撮像装置

Publications (1)

Publication Number Publication Date
WO2020202684A1 true WO2020202684A1 (ja) 2020-10-08

Family

ID=72668011

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/000146 WO2020202684A1 (ja) 2019-03-29 2020-01-07 画像処理装置と画像処理方法およびプログラムと撮像装置

Country Status (4)

Country Link
US (1) US11743576B2 (ja)
JP (1) JP2020167518A (ja)
CN (1) CN113632449A (ja)
WO (1) WO2020202684A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012029245A (ja) * 2010-07-27 2012-02-09 Sanyo Electric Co Ltd 撮像装置
JP2012042805A (ja) * 2010-08-20 2012-03-01 Olympus Imaging Corp 撮像装置
WO2012120952A1 (ja) * 2011-03-04 2012-09-13 富士フイルム株式会社 撮影装置及び表示制御方法
JP2015136096A (ja) * 2013-12-20 2015-07-27 パナソニックＩｐマネジメント株式会社 撮像装置
WO2017200049A1 (ja) * 2016-05-20 2017-11-23 日立マクセル株式会社 撮像装置およびその設定画面

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6930718B2 (en) * 2001-07-17 2005-08-16 Eastman Kodak Company Revised recapture camera and method
JP4517664B2 (ja) * 2004-02-12 2010-08-04 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP4986189B2 (ja) * 2010-03-31 2012-07-25 カシオ計算機株式会社 撮像装置、及びプログラム
JP2013235195A (ja) 2012-05-10 2013-11-21 Casio Comput Co Ltd 撮像装置、及び撮影範囲表示方法、プログラム
JP6103526B2 (ja) * 2013-03-15 2017-03-29 オリンパス株式会社 撮影機器，画像表示機器，及び画像表示機器の表示制御方法
JP6573211B2 (ja) * 2015-03-04 2019-09-11 カシオ計算機株式会社 表示装置、画像表示方法及びプログラム
CN107960150B (zh) * 2015-05-08 2021-05-11 索尼公司 图像处理装置和方法
JP2019054461A (ja) * 2017-09-15 2019-04-04 オリンパス株式会社 撮像装置および撮像方法
CN107948519B (zh) * 2017-11-30 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN108154514B (zh) * 2017-12-06 2021-08-13 Oppo广东移动通信有限公司 图像处理方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012029245A (ja) * 2010-07-27 2012-02-09 Sanyo Electric Co Ltd 撮像装置
JP2012042805A (ja) * 2010-08-20 2012-03-01 Olympus Imaging Corp 撮像装置
WO2012120952A1 (ja) * 2011-03-04 2012-09-13 富士フイルム株式会社 撮影装置及び表示制御方法
JP2015136096A (ja) * 2013-12-20 2015-07-27 パナソニックＩｐマネジメント株式会社 撮像装置
WO2017200049A1 (ja) * 2016-05-20 2017-11-23 日立マクセル株式会社 撮像装置およびその設定画面

Also Published As

Publication number Publication date
CN113632449A (zh) 2021-11-09
US20220159192A1 (en) 2022-05-19
US11743576B2 (en) 2023-08-29
JP2020167518A (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
CN107026973B (zh) 图像处理装置、图像处理方法与摄影辅助器材
US8836754B2 (en) Image photographing device and control method thereof
US8780200B2 (en) Imaging apparatus and image capturing method which combine a first image with a second image having a wider view
KR101339193B1 (ko) 카메라 플랫폼 시스템
WO2016002228A1 (ja) 撮像装置
KR102280000B1 (ko) 표시 제어 장치, 표시 제어 방법 및 저장 매체
GB2572718A (en) Display control apparatus and control method of the same
JP2007028536A (ja) デジタルカメラ
US20160134805A1 (en) Imaging apparatus, imaging method thereof, and computer readable recording medium
JP5861395B2 (ja) 携帯機器
JP2006245793A (ja) 撮像システム
JP3788714B2 (ja) 撮像装置及びデジタルカメラ
JP2011142419A5 (ja)
US10447944B2 (en) Imaging apparatus, control method thereof and program
JP6598028B2 (ja) 撮像装置
JP6721084B2 (ja) ズーム制御装置、ズーム制御方法およびプログラム
JP5492651B2 (ja) 撮影装置、パノラマ撮影方法
JP2011035752A (ja) 撮像装置
JP2006174128A (ja) 撮像装置および撮像システム
WO2020202684A1 (ja) 画像処理装置と画像処理方法およびプログラムと撮像装置
JP2018006995A (ja) 撮像装置、表示装置、画像処理プログラム
JP4172352B2 (ja) 撮像装置及び方法、撮像システム、プログラム
JP2009044403A (ja) 撮像装置
JP4923674B2 (ja) デジタルカメラ及びフォーカス位置特定方法、プログラム
WO2010131724A1 (ja) デジタルカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20783708

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20783708

Country of ref document: EP

Kind code of ref document: A1