WO2019146226A1 - 画像処理装置、および出力情報制御方法、並びにプログラム - Google Patents

画像処理装置、および出力情報制御方法、並びにプログラム Download PDF

Info

Publication number
WO2019146226A1
WO2019146226A1 PCT/JP2018/042408 JP2018042408W WO2019146226A1 WO 2019146226 A1 WO2019146226 A1 WO 2019146226A1 JP 2018042408 W JP2018042408 W JP 2018042408W WO 2019146226 A1 WO2019146226 A1 WO 2019146226A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
display
composite
composite image
Prior art date
Application number
PCT/JP2018/042408
Other languages
English (en)
French (fr)
Inventor
渡部　剛史
浩尚 後藤
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to KR1020207019871A priority Critical patent/KR102638565B1/ko
Priority to US16/961,028 priority patent/US11159719B2/en
Priority to EP18902722.0A priority patent/EP3745704B1/en
Priority to CN201880086889.6A priority patent/CN111630837B/zh
Priority to JP2019567873A priority patent/JP7285791B2/ja
Publication of WO2019146226A1 publication Critical patent/WO2019146226A1/ja
Priority to US17/467,817 priority patent/US11606496B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present disclosure relates to an image processing device, an output information control method, and a program. More specifically, the present invention relates to an image processing apparatus that selectively outputs a composite image of one of two images or two images captured by a plurality of imaging units, an output information control method, and a program.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2015-197745 discloses a configuration in which a color image and a black and white image are combined, and high-quality images are generated using color information of the color image and luminance information of the black and white image. It is done.
  • Patent Document 1 discloses a configuration in which a color image and a black and white image are combined to generate a high quality image.
  • the composite image is of higher quality than the color monocular image, and the composite image may be of high quality or the color image may be of high quality depending on the photographing conditions.
  • the user may want to record any image in the memory regardless of the quality.
  • a color image may be selected and recorded. For example, when the parallax between the color image and the black and white image is large, the device determines that generation of a high quality composite image is difficult, and in such a case, the output of the composite image, the recording is stopped, and the color image is output. Recording is done.
  • the apparatus automatically determines which one of a composite image, a color image, and a black-and-white image is to be generated and output, a case may occur where an image the user thinks is not recorded (or displayed). .
  • the present disclosure solves such a problem, presents guide information for capturing a high-quality composite image, and further provides an image processing apparatus capable of recording (or displaying) an image desired by the user.
  • And output information control method, and an object of the present invention are to provide a program.
  • the first aspect of the present disclosure is A composite image generation unit that generates a composite image by executing composition processing of color images and black and white images captured from different viewpoints;
  • An image processing apparatus includes a display information control unit that performs control of displaying auxiliary information on a composite image on a display unit.
  • a second aspect of the present disclosure is: An output information control method to be executed in the image processing apparatus;
  • the image processing apparatus is It has a composite image generation unit that performs composite processing of color images and black and white images captured from different viewpoints to generate a composite image;
  • the third aspect of the present disclosure is: A program for controlling information output processing in the image processing apparatus;
  • the image processing apparatus is It has a composite image generation unit that performs composite processing of color images and black and white images captured from different viewpoints to generate a composite image;
  • the program is a program that causes the display information control unit to perform control to display auxiliary information on a composite image on the display unit.
  • the program of the present disclosure is, for example, a program that can be provided by a storage medium or communication medium that provides various program codes in a computer-readable format to an information processing apparatus or computer system capable of executing the program code.
  • a storage medium or communication medium that provides various program codes in a computer-readable format to an information processing apparatus or computer system capable of executing the program code.
  • a system is a logical set composition of a plurality of devices, and the device of each composition is not limited to what exists in the same case.
  • a composite image generation unit that performs composite processing of a color image and a black-and-white image captured from different viewpoints to generate a composite image and control to display auxiliary information on the composite image on the display unit It has a display information control unit.
  • the display information control unit outputs a proximity alert or an obstacle alert as warning information, and further displays a synthetic image adaptation level as warning information when a subject is too close or an obstacle can not generate a high quality synthesized image. Furthermore, the synthesized image and the color image etc.
  • an apparatus and method which outputs guide information for enabling high-quality composite images to be taken, and displays composite images and color images in parallel to allow user selection of recorded images.
  • the effects described in the present specification are merely examples and are not limited, and additional effects may be present.
  • FIG. 1 is a diagram illustrating an exemplary configuration of an image processing apparatus according to the present disclosure.
  • FIG. 1 illustrates an information processing terminal (smart phone) having a camera function, and is an example of an image processing apparatus according to the present disclosure.
  • the image processing apparatus of the present disclosure is not limited to such an information processing terminal (smartphone), but also includes an imaging apparatus such as a camera.
  • FIG. 1A shows the front side of the image processing apparatus 10, and the display unit 11 and the operation unit 12 are provided on the front side.
  • FIG. 1B shows the back side of the image processing apparatus 10, and a plurality of imaging units, that is, a color image pickup unit 21 and a black and white image pickup unit 22 are provided on the back side.
  • FIG. 2 shows a configuration example of a general two-lens type image processing apparatus having the color image pickup unit 111 and the black and white image pickup unit 112 individually.
  • the image processing apparatus 100 includes a color image capturing unit 111, a black and white image capturing unit 112, an image processing unit 120, and a display unit (touch panel) 131 as an output unit 130 of a processed image of the image processing unit 120.
  • a storage unit 132 is provided.
  • the sensor unit 141, the operation unit 142, the control unit 150, and the communication unit 160 are included.
  • the color image capturing unit 111 and the black and white image capturing unit 112 are provided on the same side of the image processing apparatus 100 as shown in FIG. 1B.
  • the color image capturing unit 111 and the black and white image capturing unit 112 are configured using an imaging element such as a complementary metal oxide semiconductor (CMOS) image sensor, and perform photoelectric conversion of light captured by a lens (not shown).
  • CMOS complementary metal oxide semiconductor
  • the image data of the captured image is generated and output to the image processing unit 120.
  • the color image capturing unit 111 and the black and white image capturing unit 112 have characteristic differences.
  • FIG. 3 exemplifies the pixel array of the imaging unit.
  • FIG. 3A shows the pixel array of the black and white image capturing unit 112.
  • all pixels are configured by W (white) pixels that output electrical signals based on incident light amounts of all wavelength regions of visible light. Accordingly, the black and white image capturing unit 112 generates image data of the black and white image.
  • FIG. 3B shows the pixel array of the color image pickup unit 111.
  • the color image capturing unit 111 is configured using, for example, a color filter in which a red (R) pixel, a blue (B) pixel, and a green (G) pixel are arranged in a Bayer pattern.
  • a color filter in which a red (R) pixel, a blue (B) pixel, and a green (G) pixel are arranged in a Bayer pattern.
  • two pixels at diagonal positions in the 2 ⁇ 2 pixel unit are green (G) pixels, and the remaining pixels are red (R) pixels and blue (B) pixels. That is, the color image pickup unit 111 is configured of color pixels each pixel of which outputs an electric signal based on the amount of incident light of any one color component of red, blue and green. Therefore, the color image pickup unit 111 generates image data of a color image in which each pixel shows any of three primary color (RGB) components.
  • RGB primary color
  • the image processing unit 120 generates a composite image using captured images acquired by the color image capturing unit 111 and the black and white image capturing unit 112. That is, the image processing unit 120 performs image processing using captured images acquired by the color image capturing unit 111 and the black and white image capturing unit 112, and is individually acquired by the color image capturing unit 111 and the black and white image capturing unit 112. To generate a composite image of the captured image with high image quality, and output the composite image to the display unit (touch panel) 131 or the storage unit 132 in the output unit 130. The details of the configuration and operation of the image processing unit 120 will be described later.
  • the sensor unit 141 is configured using a gyro sensor or the like, and detects a shake generated in the image processing apparatus 100.
  • the sensor unit 141 outputs information on the detected shake to the control unit 150.
  • the communication unit 160 communicates with devices on a network such as a LAN (Local Area Network) or the Internet.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the display unit (touch panel) 131 displays a captured image based on the image data supplied from the image processing unit 120, and displays a menu screen, various application screens and the like based on an information signal from the control unit 150.
  • the display surface of the display unit (touch panel) 131 has a touch panel configuration, and is configured to be able to use a GUI function.
  • the operation unit 142 is configured by using an operation switch or the like, generates an operation signal according to a user operation, and outputs the operation signal to the control unit 150.
  • the storage unit 132 stores information generated by the image processing apparatus 100, for example, image data supplied from the image processing unit 120, and various information used to execute communication and applications by the image processing apparatus 100.
  • the control unit 150 is configured of a central processing unit (CPU), a read only memory (ROM), a random access memory (RAM) (not shown), and the like.
  • the control unit 150 executes a program stored in the ROM or the RAM to cause the image processing apparatus 100 to perform an operation according to a user operation on the touch panel or the operation unit 142 that constitutes the display unit (touch panel) 131. Control the operation of
  • the image processing apparatus 100 is not limited to the configuration shown in FIG. 2 and, for example, an encoding processing unit for encoding image data and storing it in the storage unit 132, a resolution conversion unit for matching the image data with the resolution of the display unit, etc. May be provided.
  • the image processing unit 120 illustrated in FIG. 2 performs an image combining process using the black and white image acquired by the black and white image imaging unit 112 and the color image acquired by the color image imaging unit 111.
  • FIG. 4 is a diagram for explaining the image quality obtained by image combining processing using a black and white image as a reference image. For example, after a color image is aligned at the image position of the black and white image with the black and white image as a reference, image synthesis is performed to generate a synthesized image, the characteristics of the lens and sensor used in the black and white image imaging unit 112 Brightness can be faithfully reproduced.
  • FIG. 5 is a diagram for explaining the image quality obtained by the image combining process using a color image as a reference image.
  • a black and white image is aligned at the image position of a color image with a color image as a reference and then image synthesis is performed to generate a synthesized image
  • color deviation may occur in the synthesized image because the color image is used as a reference.
  • the brightness can be faithfully reproduced according to the characteristics of the lens and sensor used in the black and white image capturing unit 112.
  • the occlusion area increases in the near view as compared to the distant view.
  • the occlusion area is, for example, an area in which only one image is captured and an image not captured in the other image due to an obstacle or the like close to the imaging unit.
  • FIG. 6 shows an occlusion area based on the black and white image acquired by the black and white image capturing unit 112.
  • an occlusion occurs due to parallax
  • the pixel corresponding to the target pixel in one captured image may not be able to calculate the disparity vector because the pixel corresponding to the target pixel in one captured image exceeds the search range for disparity detection. Therefore, the quality of the combined image obtained by the image combining process may deteriorate more than that of the color image acquired by the color image capturing unit 111.
  • the monochrome image capturing unit 112 has higher sensitivity than the color image capturing unit 111 using a color filter, pixel saturation tends to occur compared to the color image capturing unit 111 when the luminance of the subject is high.
  • the number of saturated pixels in the black and white image increases, in the composite image, the deteriorated color image with the image quality in which the high luminance part of the subject is saturated more than the color image acquired by the color image capturing unit 111 turn into.
  • the image processing unit 120 performs image combination determination as to whether or not deterioration of the image quality caused by the parallax or the saturation of the pixels occurs based on the captured image.
  • the image processing unit 120 generates one of the following two types of composite images according to the result of the image composition determination.
  • a composite image using the color image acquired by the color image capturing unit 111 as a reference image A composite image using the black and white image acquired by the black and white image capturing unit 112 as a reference image.
  • FIG. 7 is a view showing a detailed configuration example of the image processing unit 120.
  • the image processing unit 120 includes pre-processing units 121 and 122, a parallax detection unit 123, a feature amount calculation unit 124, an image quality determination unit 125, a composite image generation unit 126, and an output image generation unit (selection / synthesis) 127. .
  • the preprocessing units 121 and 122 perform image correction processing such as lens distortion correction, defective pixel correction, and white balance adjustment on image data of captured images acquired by the color image capturing unit 111 and the black and white image capturing unit 112.
  • the corrected image data is output to the parallax detection unit 123, the feature amount calculation unit 124, the image quality determination unit 125, the composite image generation unit 126, and the output image generation unit (selection / combination) 127.
  • the parallax detection unit 123 performs parallax detection based on the black and white image data and the color image data supplied from the preprocessing units 121 and 122. Since the monochrome image capturing unit 112 and the color image capturing unit 111 perform imaging from different viewpoint positions as shown in (b) of FIG. 1, the captured images acquired by the monochrome image capturing unit 112 and the color image capturing unit 111 are It becomes an image with parallax.
  • the disparity detection unit 123 performs disparity detection in units of pixels by corresponding point detection processing such as block matching.
  • the detection information is output to the feature amount calculation unit 124.
  • the feature quantity calculation unit 124 receives parallax information of pixel units or image area units of two image data detected by the parallax detection unit 123, and the image feature quantity, specifically, a partial distribution of parallax or an occlusion area Calculate the size (occupancy rate) etc. A specific configuration example and processing of the feature amount calculation unit 124 will be described later.
  • the feature amount information calculated by the feature amount calculation unit 124 is output to the image quality determination unit 125.
  • the image quality determination unit 125 determines the image quality and the like of the combined image based on the feature amount information calculated by the feature amount calculation unit 124. Specifically, for example, (A) Color image standard composite image, (B) black and white image reference composite image, (C) a color monocular image captured by the color image capturing unit 111; (D) a monochrome monocular image captured by the monochrome image capturing unit 112; Determine the quality of these images. The determination result is output to the composite image generation unit 126 and the output image generation unit (selection / composition) 127. The specific configuration and processing of the image quality determination unit 125 will also be described later.
  • the composite image generation unit 126 (A) Color image standard composite image, (B) Black and white image reference composite image, Generate a composite image of any of these.
  • the reference image is an image serving as a reference when generating a composite image.
  • the composite image generation unit 126 When a color image is set as a reference image, the composite image generation unit 126 performs pixel value correction based on luminance information obtained from the black and white image based on the color image data supplied from the pre-processing unit 121, and generates a composite image. Generate On the other hand, when the monochrome image is set as the reference image, the composite image generation unit 126 performs pixel value correction based on the color information obtained from the color image based on the monochrome image data supplied from the pre-processing unit 122 Generate an image.
  • the image quality determination unit 125 A composite image generated by using a black and white image as a reference image; A composite image generated using a color image as a reference image, It is determined which of these two types of composite images can be high quality composite images.
  • the image quality determination unit 125 uses the feature amount information input from the feature amount calculation unit 124 to determine which of a color image and a black and white image is to be set as a reference image. Specifically, for example, based on parallax information of two image data and occlusion area detection information, it is determined which of the color image and the black and white image is to be set as the reference image.
  • An example of the reference image determination process will be described with reference to FIG.
  • the graph shown in FIG. 8 is a graph in which the horizontal axis represents the occlusion area and the vertical axis represents the parallax.
  • the occlusion area on the horizontal axis corresponds to the occupancy rate (%) of the color image captured by the color image capturing unit 111, the black and white image captured by the black and white image capturing unit 112, and the occlusion area included in the image region of these two images.
  • the parallax on the vertical axis is the parallax (for example, the number of pixels) of these two images, the color image photographed by the color image pickup unit 111, the black and white image photographed by the black and white image pickup unit 112.
  • the reference image determining unit 124 first calculates the occlusion area occupancy rate and the parallax in units of divided areas into which the image is divided. This process will be described with reference to FIG. FIG. 9 shows a color image photographed by the color image pickup unit 111 or a black and white image photographed image photographed by the black and white image pickup unit 112.
  • the reference image determination unit 124 selects one of the two images and sets a plurality of divided areas in the selected image. It is a division area divided by a dotted line shown in FIG.
  • the reference image is made a color image. If 50% or more is included in the black and white image reference area, the reference image is set as the black and white image.
  • the reference image determination unit 124 determines a reference image by such processing.
  • a large weight may be set to a divided area in the central area of the image, and the occlusion image occupancy rate and parallax (average value) of the central area may be reflected more largely to determine the reference image.
  • the weight of the divided area in which the face area is detected may be increased to determine the reference image.
  • the occupancy area occupancy rate is less than the threshold Thx and the parallax is less than the parallax threshold Thy, a black and white image is used as a reference image.
  • a black and white image is used as a reference image.
  • the occlusion area occupancy rate is equal to or higher than the threshold Thx or the parallax is equal to or higher than the parallax threshold Thy
  • a color image is used as a reference image.
  • the image quality determination unit 125 determines the reference image by such processing.
  • a high quality image can be generated by applying faithful luminance information of the black and white image to the entire image with the black and white image as a reference image. That is, when the occupancy area occupancy rate is small and the parallax is small, the area where color information can not be obtained from the color image is small due to the occlusion, and the problem of color shift due to parallax is also small.
  • a high quality black and white image reference composite image is generated in which faithful luminance information is applied to the entire image.
  • a color image reference composite image is generated using a color image as a reference image. Also in the color image reference composite image, composite image generation processing in which the luminance information of the black and white image is applied is performed.
  • the reference image determination process described with reference to FIGS. 8 and 9 is an example, and the image quality determination unit 125 uses the other image feature amounts to (A) Color image standard composite image, (B) black and white image reference composite image, (C) a color monocular image captured by the color image capturing unit 111; (D) a monochrome monocular image captured by the monochrome image capturing unit 112; Determine the quality of these images.
  • the determination result information is also output to the output image generation unit (selection / combination) 127.
  • the output image generation unit (selection / composition) 127 determines, based on the determination result, Generated by the composite image generation unit 126, (A) Color image standard composite image, (B) Black and white image reference composite image or (C) a color monocular image captured by the color image capturing unit 111; (D) a monochrome monocular image captured by the monochrome image capturing unit 112; One of these images is selected or synthesized and output to the display unit (touch panel) 131 and the storage unit 132.
  • the output image generation unit (selection / combination) 127 performs processing of gradually switching the images (A) to (D). For example, when switching output from a color image to a color image reference composite image, an image frame in which the composition ratio of each image is gradually changed from a color image 100% image to a color image reference composite image 100% Output sequentially. This processing makes it difficult for the image observer to detect the switching of the image.
  • FIG. 10 exemplifies the configuration of the feature amount calculation unit 124 and the image quality determination unit 125.
  • the feature amount calculation unit 124 calculates an image feature amount for performing the deterioration determination of the image quality caused by the parallax and the saturation of the pixels.
  • the feature amount calculation unit 124 includes a disparity histogram generation unit 201, a disparity distribution feature amount calculation unit 202, and a search range exceeding feature amount calculation unit A parallax gap histogram generation unit 204 and a parallax gap feature quantity calculation unit 205 are provided.
  • the feature amount calculation unit 124 includes a saturation determination histogram generation unit 206 and a saturation feature amount calculation unit 207 as functional blocks for calculating an image feature amount for performing deterioration determination of image quality caused by pixel saturation. There is.
  • the disparity histogram generation unit 201 generates a disparity histogram using the disparity vector calculated for each pixel of the calculation target area.
  • the parallax distribution feature quantity calculation unit 202 calculates a parallax distribution feature quantity FVfsd, which is a statistic indicating a feature of the parallax distribution, from the parallax histogram generated by the parallax histogram generation unit 201.
  • the search range over feature amount calculation unit 203 calculates the ratio of the frequency (over_search_range_counter) at which the parallax exceeds the search range set in advance to the total frequency (counter). A search range exceeding feature amount FVosr shown is calculated.
  • the search range over feature amount calculation unit 203 performs the following equation (1) using the parallax histogram to calculate the search range over feature amount FVosr.
  • F Vosr over_search_range_counter / counter * 100 (1)
  • the search range excess feature quantity calculation unit 203 calculates the search range excess feature quantity FVosr, it can be determined based on the search range excess feature quantity FVosr whether the subject causing a large parallax is imaged. . That is, it is possible to determine the occurrence status of the area causing the occlusion.
  • the disparity gap histogram generation unit 204 generates a disparity gap histogram.
  • FIG. 11A is a diagram for explaining the parallax difference absolute value used to generate the parallax gap histogram.
  • the parallax gap histogram generation unit 204 generates the parallax PV1 and “(PARALLAX_DIFF_DISTANCE) at a position away from the pixel of interest in the calculation target area horizontally by“ ⁇ (PARALLAX_DIFF_DISTANCE / 2) ”horizontally. 2) is calculated, and the parallax difference absolute value PVapd of the parallaxes PV1 and PV2 is calculated.
  • the parallax difference absolute value PVapd when the subject is close to the same plane, the parallax difference absolute value PVapd has a small difference between the parallax PV1 and the parallax PV2, and the value of the parallax difference absolute value PVapd is small.
  • the parallax difference absolute value PVapd has a large difference between the parallax PV1 and the parallax PV2, for example, if the distance to the subject is different and the target pixel is a boundary between subjects having different distances, the value of the parallax difference absolute value PVapd is large. Become.
  • the parallax gap histogram generation unit 204 generates a parallax gap histogram that is a histogram of the parallax difference absolute value PVapd calculated using each pixel of the calculation target area as the target pixel.
  • FIG. 11B illustrates a parallax gap histogram.
  • the parallax gap feature quantity calculation unit 205 calculates the parallax gap feature quantity FVpd from the parallax gap histogram generated by the parallax gap histogram generation unit 204.
  • the parallax gap feature quantity calculation unit 375 calculates the parallax gap feature quantity FVpd indicating the ratio of the frequency (large_parallax_diff_counter) of the frequency (large_parallax_diff_counter) generating the parallax gap greater than or equal to the maximum parallax gap distance preset from the parallax gap histogram. calculate.
  • the parallax gap feature quantity calculation unit 375 performs the calculation of Expression (3) using the parallax gap histogram to calculate the parallax gap feature quantity FVpd.
  • FVpd large_parallax_diff_counter / counter * 100 (3)
  • the parallax gap feature quantity FVpd calculated by the parallax gap feature quantity calculation unit 205 indicates the proportion of pixels that produce the maximum parallax gap distance.
  • the subject on the same plane has a small parallax gap, and the parallax gap is large at an image boundary portion of subjects having different distances. Therefore, it is possible to determine the generation state of the image boundary of subjects having large distances.
  • the saturation determination histogram generation unit 206 generates a pixel value histogram indicating the frequency (number of pixels) for each pixel value based on the black and white image data supplied from the pre-processing unit 122. Also, luminance data is generated by color space conversion of color image data supplied from the preprocessing unit 121, and a pixel value histogram indicating the frequency (number of pixels) for each pixel value is generated based on the generated luminance data.
  • the saturation feature amount calculation unit 207 calculates the saturation feature amount FVsat based on the luminance value histogram generated by the saturation determination histogram generation unit 206.
  • the image quality determination unit 125 is based on the image feature amount calculated by the feature amount calculation unit 124 and the imaging condition information 50 acquired from the control unit etc.
  • A Color image standard composite image
  • B black and white image reference composite image
  • C a color monocular image captured by the color image capturing unit 111
  • D a monochrome monocular image captured by the monochrome image capturing unit 112; Of these four types of images, it is determined which of the highest quality images is.
  • the determination information is output to the composite image generation unit 126 and the output image generation unit (selection / composition) 127.
  • the image quality determination unit 125 determines the switching speed of each of the images (a) to (d) on the basis of the amount of change in the image feature amount in the time direction calculated by the feature amount calculation unit 124. For example, when the change amount exceeds the change amount threshold in any of the individual determination results supplied from the change amount determination units 211d to 214d, the switching speed is set to be higher than a predetermined speed set in advance. Otherwise, it shall be the specified switching speed.
  • the switching speed information is output to the output image generation unit (selection / combination) 127.
  • the image quality determining unit 125 determines the individual image determining unit 211 to 215, the change amount determining unit 211d to 215d, and the integrated determination processing unit as a functional block related to the determination as to whether the image quality degrades or not and the change amount of the image feature amount in the time direction. It has 220.
  • the individual determination unit 211 performs image quality determination of a composite image or the like based on the parallax distribution feature quantity calculated by the parallax distribution feature quantity calculation unit 202.
  • the individual determination unit 211 compares the parallax distribution feature amount FVfsd with a predetermined determination threshold Thfsd for the parallax distribution feature amount. When the parallax distribution feature amount FVfsd is larger than the determination threshold Thfsd, the individual determination unit 211 determines that the combined image causes the deterioration of the image quality.
  • the individual determination unit 211 outputs the individual determination result to the integrated determination processing unit 220.
  • the change amount determination unit 211d calculates a temporal change amount (FVfsd (i) ⁇ FVfsd (i ⁇ 1)) of the parallax distribution feature amount calculated by the parallax distribution feature amount calculation unit 202. “I” indicates a frame in which the image quality determination unit 125 determines whether the image quality is degraded.
  • the variation determination unit 211 d compares the calculated absolute value of the variation with the preset variation threshold Thdfsd, and outputs the comparison result to the integrated determination processing unit 220.
  • the individual determination unit 212 performs image quality determination of a composite image or the like based on the search range over feature amount FVosr calculated by the search range over feature amount calculation unit 203.
  • the individual determination unit 212 compares the search range over feature amount FVosr with the determination threshold Thosr set in advance with respect to the search range over feature amount.
  • the individual determination unit 212 determines that the composite image causes the degradation of the image quality when the search range over feature amount FVosr is larger than the determination threshold Thosr.
  • the individual determination unit 212 outputs the individual determination result to the integrated determination processing unit 220.
  • the change amount determination unit 212d calculates a temporal change amount (FVosr (i) ⁇ FVosr (i ⁇ 1)) of the search range over feature value calculated by the search range over feature value calculation unit 203. Furthermore, the variation determination unit 212 d compares the calculated absolute value of the variation with the preset variation threshold Thdosr, and outputs the comparison result to the integrated determination processing unit 220.
  • a temporal change amount FVosr (i) ⁇ FVosr (i ⁇ 1)
  • the individual determination unit 213 performs image quality determination of a composite image or the like based on the parallax gap feature amount FVpd calculated by the parallax gap feature amount calculation unit 205.
  • the individual determination unit 213 compares the parallax gap feature amount FVpd with a predetermined determination threshold Thpd for the parallax gap feature amount. When the parallax gap feature amount FVpd is larger than the determination threshold Thpd, the individual determination unit 213 determines that the composite image causes the deterioration of the image quality.
  • the individual determination unit 213 outputs the individual determination result to the integrated determination processing unit 220.
  • the change amount determination unit 213d calculates a temporal change amount (FVpd (i) ⁇ FVpd (i ⁇ 1)) of the parallax gap feature amount calculated by the parallax gap feature amount calculation unit 205.
  • the variation determination unit 213d compares the calculated absolute value of the variation with the preset variation threshold Thdlpd, and outputs the comparison result to the integrated determination processing unit 220.
  • the individual determination unit 214 determines the image quality of a composite image or the like based on the saturated feature amount FVsat calculated by the saturated feature amount calculation unit 207.
  • the individual determination unit 214 compares the saturation feature amount FVsat with a determination threshold Thsat which is set in advance with respect to the saturation feature amount. When the saturation feature amount FVsat is larger than the determination threshold Thsat, the individual determination unit 214 determines that the composite image causes the deterioration of the image quality.
  • the individual determination unit 214 outputs the individual determination result to the integrated determination processing unit 220.
  • the change amount determination unit 214d calculates a temporal change amount (FVsat (i) -FVsat (i-1) of the saturated feature amount calculated by the saturation feature amount calculation unit 207.
  • the change amount determination unit 214d calculates The absolute value of the amount of change is compared with a preset change amount threshold Thdsat, and the comparison result is output to the integrated determination processing unit 220.
  • the individual determination unit 215 determines, based on the shooting condition information 50, for example, whether or not the composite image causes the deterioration of the image quality.
  • the shooting condition information 50 is, for example, imaging setting information such as brightness information, exposure information, subject distance information, focus, zoom information, and ISO sensitivity information.
  • the individual determination unit 215 compares the shooting condition information 50 and the shooting condition information 50 with a preset determination threshold to determine whether or not the composite image causes deterioration in image quality.
  • the individual determination unit 215 outputs the individual determination result to the integrated determination processing unit 220.
  • the integrated determination processing unit 220 performs image determination using the individual determination results supplied from the individual determination units 211 to 215. For example, the integrated determination processing unit 220 uses the individual determination results supplied from the individual determination units 211 to 215 to (A) Color image standard composite image, (B) black and white image reference composite image, (C) a color monocular image captured by the color image capturing unit 111; (D) a monochrome monocular image captured by the monochrome image capturing unit 112; Of these four types of images, it is determined which of the highest quality images is. The determination result is output to the composite image generation unit 126 and the output image generation unit (selection / composition) 127.
  • (C) a color monocular image captured by the color image capturing unit 111; A process of determining that the image is the highest quality image is executed.
  • the integrated determination processing unit 220 determines the switching speed of each of the images (a) to (d) based on the comparison result of the change amount supplied from the change amount determination units 211 d to 215 d and the change amount threshold. . This speed information is output to the output image generation unit (selection / combination) 127.
  • the output image generation unit (selection / composition) 127 (A) Color image standard composite image, (B) black and white image reference composite image, (C) a color monocular image captured by the color image capturing unit 111; (D) a monochrome monocular image captured by the monochrome image capturing unit 112; A single image estimated to have the highest image quality selected from these is selected and output to the display unit (touch panel) 131 and the storage unit 132.
  • the integrated determination processing unit 220 determines the switching speed of each of the images (a) to (d) based on the comparison result between the change amounts supplied from the change amount determination units 211 d to 214 d and the specified change amount threshold. decide. For example, when the change amount exceeds the change amount threshold in any of the individual determination results supplied from the change amount determination units 211d to 214d, the switching speed is set to be higher than a predetermined speed set in advance. Otherwise, it shall be the specified switching speed.
  • the switching speed information is output to the output image generation unit (selection / combination) 127.
  • the output image generation unit (selection / composition) 127 performs switching processing of each of the above-described (a) to (d) according to the switching speed. Specifically, for example, when moving images are photographed, the image switching speed is changed based on the change amount of the result detected from each photographing frame, and the image quality of the output image is rapidly deteriorated unless the image quality is rapidly deteriorated. To switch slowly.
  • the image switching process of the moving image in the output image generation unit (selection / composition) 127 is performed, for example, as follows. For example, when switching from a color image to a color image reference composite image, the composition ratio of each image is gradually changed from the image of 100% color image to the image of 100% color image reference composite image and switching Do.
  • the speed is set based on the amount of change supplied from the change amount determination units 211d to 214d.
  • the configuration and processing of the image quality determination unit 125 shown in FIG. 10 are processing for selecting an output image based on the parallax and occlusion of the color image captured by the color image capturing unit 111 and the black and white image captured by the black and white image capturing unit 112.
  • this image determination process is an example, and it is possible to select a high-quality image without based on other various image features and shooting condition information.
  • the image quality determination unit 125 there may be a user request to record an image different from the image selected by the image quality determination unit 125. Further, as described above, for example, when the subject distance is short and the parallax between the color image and the black-and-white image is large, or when it is determined that the occlusion area is large, etc. in case of, The “color monocular image captured by the color image capturing unit 111” is determined to be the highest quality image.
  • the output image generation unit (selection / composition) 127 selects and outputs “the color monocular image photographed by the color image pickup unit 111” based on the judgment result of the image quality judgment unit 125. That is, processing of displaying “the color monocular image captured by the color image capturing unit 111” on the display unit (touch panel) 131 and storing the same in the storage unit 132 is executed.
  • the image quality If it is determined that the image quality of the composite image is lowered as the determination result of the determination unit 125, the output of the composite image is not performed, and "a color monocular image captured by the color image capturing unit 111" is output.
  • FIG. 12 is a graph showing the subject distance on the horizontal axis and the brightness on the vertical axis.
  • the image quality determination unit 125 determines that either the color image or the composite image is the highest quality image, and selectively outputs one of the images.
  • the region B is insufficient in brightness, for example, in a dark environment such as nighttime or indoor, and the subject distance is equal to or more than the predetermined threshold Th1, the brightness information of the black and white image from the color image. It is determined that the synthesized image obtained by synthesizing the image quality is higher, and the synthesized image is output.
  • the image quality determination unit 125 Feature amount determination such as large parallax in black and white images and increase in occlusion area is made, and it is determined that the image quality of the composite image is degraded, and "color monocular image captured by color image capturing unit 111" is selected and output Do.
  • the area C has insufficient brightness, and the "color monocular image captured by the color image capturing unit 111" may not be a high quality image. That is, the result as shown in FIG. 13 may be obtained.
  • an area C shown in FIG. 12 that is, an object with insufficient brightness, for example, a dark environment such as nighttime or indoor, and a subject distance close to less than a predetermined threshold Th1 was photographed (1) color
  • combination image is shown.
  • a composite image is an image generated by combining luminance information of a black and white image with a color image
  • (1) is an image in which luminance information clearer than a color monocular image is output.
  • the determination result of the image quality determination unit 125 is not necessarily correct.
  • the user may want to record either a composite image, a color monocular image, or a black and white monocular image regardless of the image quality.
  • the image processing apparatus of the present disclosure When displaying a captured image (through image) on the display unit (touch panel) 131, the image processing apparatus of the present disclosure also displays the following pieces of information (auxiliary information).
  • auxiliary information auxiliary information
  • (A) Composite Image Shooting Guide Information is guidance information for shooting a high-quality composite image. As shown in FIG. 14, the following three types of display can be switched, for example, according to the imaging situation.
  • Display example 1 Proximity alert [subject is too close]
  • Display example 2 Obstacle alert [There is an obstacle]
  • Display example 1 Proximity alert [subject is too close]
  • the subject is too close, the parallax between the color image acquired by the color image pickup unit 111 and the black and white image obtained by the black and white image pickup unit 112 is large, and generation of a composite image is difficult.
  • This determination is the determination result of the image quality determination unit 125.
  • the subject is, for example, an object that is in focus control (focused) in the captured image.
  • the (B) composite image adaptation level indicator is an indicator indicating a composite image capture adaptation level for the current imaging condition.
  • the indicator is It is a setting in which levels from composite image imaging non-adaptation to composite image imaging adaptation (good) are displayed. This level is calculated by the image quality determination unit 125.
  • the following three types of images are displayed as optimal output image types according to the composite image adaptation level.
  • Color monocular image Color image reference composite image Black and white image reference composite image
  • the current composite image adaptation level corresponds to the composite image capture adaptation (good) level, and it is displayed that the generation of the black and white image reference composite image is optimal.
  • the user can use the information displayed on the display unit (touch panel) 131 together with the captured image (through image), that is, (A) Synthetic image photographing guide information (B) Synthetic image adaptation level indicator It becomes possible to perform camera setting capable of photographing high-quality synthetic images by looking at these pieces of information, and the image quality of synthetic images generated Can also be predicted.
  • the user can select an image to be output, that is, an image to be output to the display unit (touch panel) 131 or an image to be stored in the storage unit 132.
  • an image to be output that is, an image to be output to the display unit (touch panel) 131 or an image to be stored in the storage unit 132.
  • the screen can be switched to the output image selection screen shown in FIG.
  • FIG. A color image acquired by the color image pickup unit 111; A black and white image acquired by the black and white image capturing unit 112; A composite image generated by the composite image generation unit 126 by combining the color image and the black and white image; It is an example which displayed these three types of images in parallel.
  • the user can select an output image, that is, an image to be output to the display unit (touch panel) 131 or an image to be stored in the storage unit 132 by touching any of these three types of images.
  • the screen can be switched to the output image selection screen shown in FIG.
  • One image (through image) is divided into three, and each divided area is displayed as the following three types of images.
  • This is an example in which these three types of images are displayed in each branch area region obtained by dividing one image into three.
  • the user can select an output image, that is, an image to be output to the display unit (touch panel) 131 or a type of an image to be stored in the storage unit 132 by touching any of the images.
  • the configuration of the image processing apparatus of the present disclosure that implements the processing described with reference to FIGS. 14 to 16 will be described with reference to FIG.
  • the image processing apparatus 400 shown in FIG. 17 has a display information control unit 401 which is not included in the configuration of the image processing apparatus 100 described above with reference to FIG.
  • the display information control unit 401 inputs the imaging condition information 50, and further inputs the image quality determination result determined by the image processing unit 120, and the following information described above with reference to FIG.
  • A Synthetic Image Photographing Guide Information
  • B Synthetic Image Adaptive Level Indicator
  • designation information of an image to be output to the display unit (touch panel) 131 is input to the image processing unit 120, and for example, display of images with various settings shown in FIGS. 14 to 16 is performed.
  • the shooting condition information 50 is, for example, image pickup setting information such as brightness information, exposure information, subject distance information, focus, zoom information, and ISO sensitivity information.
  • the display information control unit 401 may be integrated with the control unit 150. That is, the control unit 150 may execute the processing of the display information control unit 401 described below.
  • the image designation information 421 by the user of the touch panel of the display unit (touch panel) 131 or the operation unit 142 is input to the image processing unit 120 via the control unit 150, and the display unit (touch panel) 131 or storage unit An image to be output to the output unit 130 such as 132 is selected.
  • FIG. 18 shows a detailed configuration example of the image processing unit 120.
  • This configuration is basically the same as the configuration described above with reference to FIG.
  • various information is input / output between the image processing unit 120 and the display information control unit 401.
  • the image quality determination result information of the image quality determination unit 125 of the image processing unit 120 is output to the display image control unit 401.
  • a display image switching request is input from the display information control unit 401 to the output image generation unit 127 of the image processing unit 1230, and various information and images described above with reference to FIGS. 14 to 16 are output. .
  • the image designation information 421 by the user of the touch panel of the display unit (touch panel) 131 or the operation unit 142 is input to the output image generation unit 127 of the image processing unit 120 via the control unit 150 and An image to be output to the output unit 130 such as the touch panel 131 or the storage unit 132 is selected.
  • the image processing apparatus 400 of the present disclosure transitions in three types of states shown in FIG. That is, (State 1) High-quality composite image output available state (State 2) Obstacle alert output state (State 3) Proximity alert output state
  • control unit 150 and the display information control unit 401 of the image processing apparatus 400 of the present disclosure transition these three types of states according to the situation. For example, state transition is performed in units of image frames input via the imaging unit of the image processing apparatus or in units of a plurality of predetermined frames. This transition sequence will be described with reference to the flowchart of FIG.
  • processing shown in the flowchart of FIG. 20 and the subsequent figures can be executed according to a program stored in the storage unit of the image processing apparatus 400, for example, as a program execution process by a processor such as a CPU having a program execution function. Can.
  • a processor such as a CPU having a program execution function.
  • Can The process of each step shown in the flowchart of FIG. 20 will be described below.
  • Step S101 When the control unit of the image processing apparatus (camera) is in the “(state 1) high-quality composite image output enabled state”, first, in step S101, there is an obstacle in front of the subject in the camera captured image or It is determined whether the subject distance is too close.
  • the information necessary for the determination is acquired from the imaging condition information 50 or the feature amount calculation unit 124 and the image quality determination unit 125 of the image processing unit 120.
  • the subject is, for example, an object in a captured image that has been subjected to focus control (focus).
  • Whether or not the subject distance is too close is determined based on, for example, the amount of parallax between the color image and the black and white image. That is, it is determined based on the determination of whether or not the amount of parallax between the color image and the black and white image is smaller than the parallax threshold value required to generate a high-quality composite image.
  • the information necessary for the determination is acquired from the feature amount calculation unit 124 and the image quality determination unit 125 of the image processing unit 120.
  • whether or not there is an obstacle in front of the subject is determined based on, for example, the occlusion area included in the color image and the black and white image. That is, it is determined based on the determination whether or not the occlusion area of the color image and the black and white image is smaller than the threshold value required to generate a high quality composite image.
  • the information necessary for the determination is acquired from the feature amount calculation unit 124 and the image quality determination unit 125 of the image processing unit 120.
  • step S101 If it is determined in step S101 that there is an obstacle in front of the subject in the camera-captured image or the subject distance is too close, the process proceeds to step S103. If it is determined that there is neither, the process proceeds to step S102.
  • Step S102 If it is determined in step S101 that there is no obstacle in front of the subject in the camera-captured image and that the subject distance is not too close, the process proceeds to step S102.
  • Step S103 On the other hand, when it is determined in step S101 that there is an obstacle in front of the subject in the camera-captured image or the subject distance is too close, the process proceeds to step S103. In step S103, it is determined whether the subject distance is too close. The information necessary for the determination is acquired from the shooting condition information 50 or the feature amount calculation unit 124 and the image quality determination unit 125 of the image processing unit 120.
  • step S103 If it is determined in step S103 that the subject distance is too close, the process proceeds to step S104. If it is determined not to be too close, the process proceeds to step S105.
  • Step S104 If it is determined in step S103 that the subject distance is too close, the process proceeds to step S104.
  • proximity alert output state “proximity alert [object is too close]” as the composite image shooting guide information described above with reference to FIG. Execute the display process of the above information.
  • Step S105 On the other hand, if it is determined in step S103 that the subject distance is not too short, the process proceeds to step S105.
  • processing according to the flow shown in FIG. 20 is repeatedly performed in units of image frames input via the imaging unit of the image processing apparatus or in units of a plurality of predetermined frames.
  • the image processing apparatus 400 refers to the flow shown in FIG. (State 2)
  • the display unit (touch panel) 131 has been described with reference to FIG. (Display example 2) Obstacle alert [there is an obstacle]
  • the processing sequence in the state where the above information is displayed will be described.
  • Step S121 When the control unit of the image processing apparatus (camera) is in the “(state 2) obstacle alert output state”, first, in step S121, it is determined whether or not there is an obstacle in front of the subject in the camera captured image.
  • the information necessary for the determination is acquired from the shooting condition information 50 or the feature amount calculation unit 124 and the image quality determination unit 125 of the image processing unit 120.
  • step S121 If it is determined in step S121 that there is an obstacle in front of the subject in the camera-captured image, the process proceeds to step S122. If it is determined that there is not, the process proceeds to step S123.
  • Step S122 If it is determined in step S121 that there is an obstacle in front of the subject in the camera-captured image, the process proceeds to step S122.
  • step S122 the "(state 2) obstacle alert output state” is continued. In this state, “obstacle alert [there is an obstacle]” as (A) composite image shooting guide information described above with reference to FIG. Execute the display process of the above information.
  • Step S123 On the other hand, if it is determined in step S121 that there is no obstacle in front of the subject in the camera-captured image, the process proceeds to step S123.
  • the control unit determines in step S123 whether the subject distance is too close. The information necessary for the determination is acquired from the shooting condition information 50 or the feature amount calculation unit 124 and the image quality determination unit 125 of the image processing unit 120.
  • step S123 If it is determined in step S123 that the subject distance is too close, the process proceeds to step S124. If it is determined not to be too close, the process proceeds to step S125.
  • Step S124 If it is determined in step S123 that the subject distance is too close, the process proceeds to step S124.
  • proximity alert output state “proximity alert [object is too close]” as the composite image shooting guide information described above with reference to FIG. Execute the display process of the above information.
  • Step S125 On the other hand, if it is determined in step S123 that the subject distance is not too close, the process proceeds to step S125.
  • processing according to the flow shown in FIG. 21 is repeatedly performed in units of image frames input via the imaging unit of the image processing apparatus or in units of a plurality of predetermined frames.
  • Step S141 When the control unit of the image processing apparatus (camera) is in “(state 3) proximity alert output state”, first, in step S141, it is determined whether the subject distance of the subject in the camera captured image is too close. The information necessary for the determination is acquired from the shooting condition information 50 or the feature amount calculation unit 124 and the image quality determination unit 125 of the image processing unit 120.
  • step S141 If it is determined in step S141 that the subject is too close, the process proceeds to step S142. If it is determined not to be too close, the process proceeds to step S143.
  • Step S142 If it is determined in step S141 that the subject in the camera-captured image is too close, the process proceeds to step S142.
  • step S142 the "(state 3) proximity alert output state” is continued. In this state, “proximity alert [subject is too close]” as the (A) composite image shooting guide information described above with reference to FIG. Execute the display process of the above information.
  • Step S143 On the other hand, when it is determined in step S141 that the distance of the subject in the camera-captured image is not too short, the process proceeds to step S143.
  • the control unit determines in step S143 whether or not there is an obstacle in front of the subject. The information necessary for the determination is acquired from the shooting condition information 50 or the feature amount calculation unit 124 and the image quality determination unit 125 of the image processing unit 120.
  • step S143 If it is determined in step S143 that there is an obstacle in front of the subject, the process proceeds to step S144. If it is determined that there is no obstacle, the process proceeds to step S145.
  • Step S144 If it is determined in step S143 that there is an obstacle in front of the subject, the process proceeds to step S144.
  • Step S145 On the other hand, when it is determined in step S143 that there is no obstacle, the process proceeds to step S145.
  • processing according to the flow shown in FIG. 22 is repeatedly performed in units of image frames input via the imaging unit of the image processing apparatus or in units of a plurality of predetermined frames.
  • the configuration of the present disclosure is not limited to selection output of these four types of images, for example, Composite image, Color image,
  • the present invention is also applicable to the selective output configuration of only these two types of images.
  • the present invention can be applied to the selection output configuration of various two or more different images.
  • a composite image generation unit that generates a composite image by performing composition processing of color images and black and white images captured from different viewpoints;
  • An image processing apparatus having a display information control unit that performs control to display auxiliary information on a composite image on a display unit.
  • the display information control unit Display an obstacle alert that warns that there is an obstacle in front of the subject when the high-quality composite image can not be generated due to an obstacle in front of the subject (1) or (2).
  • Image processing device Display an obstacle alert that warns that there is an obstacle in front of the subject when the high-quality composite image can not be generated due to an obstacle in front of the subject (1) or (2).
  • the display information control unit The image processing apparatus according to any one of (1) to (3), wherein notification information indicating that it is possible to shoot a high-quality composite image is displayed on the display unit when a high-quality composite image can be generated.
  • the display information control unit The image processing apparatus according to any one of (1) to (4), wherein a composite image adaptation level indicator indicating whether or not the current imaging conditions are adapted to generation of a high quality composite image is displayed on the display unit.
  • the display information control unit The image processing apparatus according to any one of (1) to (5), wherein a plurality of images including a composite image and a color image before combining are displayed in parallel on the display unit.
  • the display information control unit The image processing apparatus according to any one of (1) to (5), wherein an image obtained by combining a composite image and a plurality of images including a color image before composition is displayed on the display unit in units of divided regions obtained by dividing one image.
  • the image processing unit The image processing apparatus according to any one of (1) to (7), which selects and outputs a recorded image from a plurality of images including a composite image and a color image before combination based on image designation information by a user.
  • the image processing unit It has an image quality determination unit that determines whether a high-quality composite image can be generated,
  • the display information control unit The image processing apparatus according to any one of (1) to (8), wherein guide information for enabling generation of a high-quality synthesized image can be displayed on the display unit based on the determination information of the image quality determination unit.
  • the image processing apparatus (A) A state capable of capturing a high-quality composite image, and a display indicating that the composite image can be captured on the display unit (B) An obstacle alert output state in which there is an obstacle in front of the subject and a high quality composite image can not be taken, and a warning is displayed on the display unit that there is an obstacle, (C) A proximity alert output state in which a warning that the subject is too close is displayed on the display unit when the subject is too close to capture a high-quality composite image.
  • the image processing apparatus according to any one of (1) to (9), wherein the three states (a) to (c) are transitioned according to the situation.
  • An output information control method executed by an image processing apparatus is It has a composite image generation unit that performs composite processing of color images and black and white images captured from different viewpoints to generate a composite image;
  • the output information control method which performs control which a display information control part displays the auxiliary information regarding a synthesized image on a display part.
  • a program for controlling information output processing in an image processing apparatus is It has a composite image generation unit that performs composite processing of color images and black and white images captured from different viewpoints to generate a composite image;
  • the program is a program for causing the display information control unit to perform control to display auxiliary information on a composite image on the display unit.
  • the series of processes described in the specification can be performed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in memory in a computer built into dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It is possible to install and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be installed from a recording medium to a computer, or can be installed in a recording medium such as a built-in hard disk by receiving a program via a network such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • a system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to those in the same housing.
  • guide information for enabling high-quality composite images to be captured is output, and composite images and color images are displayed in parallel and recorded.
  • An apparatus and method enabling user selection of an image are realized.
  • a composite image generation unit that performs composite processing of a color image and a black-and-white image captured from different viewpoints to generate a composite image and control to display auxiliary information on the composite image on the display unit It has a display information control unit.
  • the display information control unit outputs a proximity alert or an obstacle alert as warning information, and further displays a synthetic image adaptation level as warning information when a subject is too close or an obstacle can not generate a high quality synthesized image.
  • the synthesized image and the color image etc. are displayed in parallel to enable user selection of the recorded image.
  • an apparatus and method are realized which outputs guide information for enabling high-quality composite images to be taken, and displays composite images and color images in parallel to allow user selection of recorded images. .

Abstract

高画質な合成画像を撮影可能とするためのガイド情報を出力し、さらに合成画像とカラー画像等を並列表示して記録画像のユーザ選択を可能とした装置、方法を実現する。異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、合成画像に関する補助情報を表示部に表示する制御を行う表示情報制御部を有する。表示情報制御部は、被写体が近すぎる場合や障害物により高画質な合成画像を生成できない場合、警告情報として近接アラートや、障害物アラートを出力し、さらに合成画像適応レベルを表示する。さらに、合成画像とカラー画像等を並列表示して記録画像のユーザ選択を可能とした。

Description

画像処理装置、および出力情報制御方法、並びにプログラム
　本開示は、画像処理装置、および出力情報制御方法、並びにプログラムに関する。さらに詳細には、複数の撮像部で撮影された２つの画像のいずれか、あるいは２つの画像の合成画像を選択的に出力する画像処理装置、および出力情報制御方法、並びにプログラムに関する。
　画質の異なる複数の画像を合成することで高品質な画像を生成することが知られている。
　例えば特許文献１（特開２０１５－１９７７４５号公報）には、カラー画像と白黒画像を合成して、カラー画像の色彩情報と、白黒画像の輝度情報を用いて高品質画像を生成する構成が開示されている。
特開２０１５－１９７７４５号公報
　上記特許文献１には、カラー画像と白黒画像を合成して高品質画像を生成する構成が開示されている。
　しかし、合成画像がカラー単眼画像より高品質である保証はなく、撮影条件によって合成画像が高品質な場合と、カラー画像が高品質な場合がある。
　また、品質に関わらずユーザがいずれかの画像をメモリに記録したいと考える場合もある。
　カメラ（画像処理装置）がカラー画像と白黒画像の特徴量を解析して解析結果に応じて、合成画像、あるいはカラー画像、または白黒画像の中から最も高品質な画像を選択出力する構成では、ユーザがカメラの撮影モードを合成画像出力モードに設定している場合でも、カラー画像が選択されて記録されるといったことがある。
　例えば、カラー画像と白黒画像との視差が大きい場合には高品質な合成画像の生成は困難と装置が判断し、このような場合に合成画像の出力、記録を停止し、カラー画像の出力、記録が行なわれる。
　このように、合成画像、カラー画像、白黒画像のどの画像を生成、出力するかを自動的に装置側で判断してしまうと、ユーザの思った画像が記録（または表示）されない場合が発生する。
　本開示は、このような問題を解決するものであり、高画質な合成画像を撮影するためのガイド情報を提示し、さらに、ユーザの希望する画像を記録（または表示）可能とした画像処理装置、および出力情報制御方法、並びにプログラムを提供することを目的とする。
　本開示の第１の側面は、
　異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、
　合成画像に関する補助情報を表示部に表示する制御を行う表示情報制御部を有する画像処理装置にある。
　さらに、本開示の第２の側面は、
　画像処理装置において実行する出力情報制御方法であり、
　前記画像処理装置は、
　異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部を有し、
　表示情報制御部が、合成画像に関する補助情報を表示部に表示する制御を行う出力情報制御方法にある。
　さらに、本開示の第３の側面は、
　画像処理装置において情報出力処理を制御するプログラムであり、
　前記画像処理装置は、
　異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部を有し、
　前記プログラムは、表示情報制御部に、合成画像に関する補助情報を表示部に表示する制御を行わせるプログラムにある。
　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、高画質な合成画像を撮影可能とするためのガイド情報を出力し、さらに合成画像とカラー画像等を並列表示して記録画像のユーザ選択を可能とした装置、方法が実現される。
　具体的には、例えば、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、合成画像に関する補助情報を表示部に表示する制御を行う表示情報制御部を有する。表示情報制御部は、被写体が近すぎる場合や障害物により高画質な合成画像を生成できない場合、警告情報として近接アラートや、障害物アラートを出力し、さらに合成画像適応レベルを表示する。さらに、合成画像とカラー画像等を並列表示して記録画像のユーザ選択を可能とした。
　本構成により、高画質な合成画像を撮影可能とするためのガイド情報を出力し、さらに合成画像とカラー画像等を並列表示して記録画像のユーザ選択を可能とした装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
画像処理装置の外観構成例について説明する図である。 画像処理装置の構成例について説明する図である。 撮像素子の構成例について説明する図である。 白黒画像の画質について説明する図である。 カラー画像の画質について説明する図である。 オクルージョンについて説明する図である。 画像処理部の構成例について説明する図である。 基準画像決定処理の一例について説明する図である。 基準画像決定処理の一例について説明する図である。 特徴量算出部と画質判定部の詳細構成と処理例について説明する図である。 視差差分絶対値ヒストグラムについて説明する図である。 画質判定に基づく出力画像の決定例と問題点について説明する図である。 画質判定に基づく出力画像の決定例と問題点について説明する図である。 本開示の画像処理装置の実行する処理について説明する図である。 本開示の画像処理装置の実行する処理について説明する図である。 本開示の画像処理装置の実行する処理について説明する図である。 本開示の画像処理装置の構成例について説明する図である。 画像処理部の構成例について説明する図である。 本開示の画像処理装置の状態遷移例について説明する図である。 本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
　以下、図面を参照しながら本開示の画像処理装置、および出力情報制御方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．画像処理装置の構成例について
　２．画像処理部の実行する合成画像の生成処理について
　３．出力画像の自動選択処理における問題点について
　４．高画質な合成画像を取得するためのガイド情報を出力し、さらに出力画像の選択を可能とした本開示の画像処理装置の構成と処理について
　５．その他の実施例について
　６．本開示の構成のまとめ
　　［１．画像処理装置の構成例について］
　図１は、本開示の画像処理装置の一構成例を示す図である。図１は、カメラ機能を備えた情報処理端末（スマホ）であり、本開示の画像処理装置の一例である。
　なお、本開示の画像処理装置は、このような情報処理端末（スマホ）に限らず、例えばカメラ等の撮像装置も含まれる。
　図１（ａ）は画像処理装置１０の表側を示しており、表示部１１および操作部１２が表側に設けられている。図１（ｂ）は画像処理装置１０の裏側を示しており、複数の撮像部、すなわちカラー画像撮像部２１、白黒画像撮像部２２が裏側に設けられている。
　図２は、カラー画像撮像部１１１、白黒画像撮像部１１２を個別に有する２眼型の一般的な画像処理装置の構成例を示している。
　画像処理装置１００は、撮像部１１０を構成するカラー画像撮像部１１１、白黒画像撮像部１１２、画像処理部１２０、さらに、画像処理部１２０の処理画像の出力部１３０として表示部（タッチパネル）１３１、記憶部１３２を有する。
　さらに、センサ部１４１、操作部１４２、制御部１５０、通信部１６０を有している。
　カラー画像撮像部１１１、白黒画像撮像部１１２は、図１（ｂ）に示すように画像処理装置１００の同一面側に設けられている。カラー画像撮像部１１１、白黒画像撮像部１１２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子を用いて構成されており、レンズ（図示せず）により取り込まれた光の光電変換を行い、撮像画の画像データを生成して画像処理部１２０へ出力する。また、カラー画像撮像部１１１、白黒画像撮像部１１２は特性差を有している。
　図３は、撮像部の画素配列を例示している。図３（ａ）は、白黒画像撮像部１１２の画素配列を示している。白黒画像撮像部１１２は、全画素が、可視光の全波長領域の入射光量に基づく電気信号を出力するＷ（ホワイト）画素によって構成される。したがって、白黒画像撮像部１１２は、白黒画像の画像データを生成する。
　図３（ｂ）は、カラー画像撮像部１１１の画素配列を示している。カラー画像撮像部１１１は、例えば赤色（Ｒ）画素と青色（Ｂ）画素と緑色（Ｇ）画素をベイヤ配列としたカラーフィルタを用いて構成されている。ベイヤ配列では２×２画素の画素単位において対角位置の２つの画素が緑色（Ｇ）画素で、残りの画素が赤色（Ｒ）画素と青色（Ｂ）画素とされている。すなわち、カラー画像撮像部１１１は、各画素が赤色と青色と緑色のいずれか１つの色成分の入射光量に基づく電気信号を出力する色画素によって構成されている。したがって、カラー画像撮像部１１１は、各画素が三原色（ＲＧＢ）成分のいずれかを示すカラー画像の画像データを生成する。
　画像処理部１２０は、カラー画像撮像部１１１、白黒画像撮像部１１２で取得された撮像画を用いて、合成画像を生成する。すなわち、画像処理部１２０は、カラー画像撮像部１１１、白黒画像撮像部１１２で取得された撮像画を用いて画像処理を行い、カラー画像撮像部１１１や、白黒画像撮像部１１２で個々に取得される撮像画を高画質化した合成画像を生成して、出力部１３０内の表示部（タッチパネル）１３１や記憶部１３２へ出力する。なお、画像処理部１２０の構成および動作の詳細については後述する。
　センサ部１４１はジャイロセンサなどを用いて構成されており、画像処理装置１００に生じた揺れを検出する。センサ部１４１は、検出した揺れの情報を制御部１５０へ出力する。
　通信部１６０は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やインターネットなどのネットワーク上の機器と通信を行う。
　表示部（タッチパネル）１３１は、画像処理部１２０から供給された画像データに基づき撮像画の表示、制御部１５０からの情報信号に基づきメニュー画面や各種アプリケーション画面等の表示を行う。なお、表示部（タッチパネル）１３１の表示面はタッチパネル構成を有し、ＧＵＩ機能利用できるように構成されている。
　操作部１４２は操作スイッチ等を用いて構成されており、ユーザ操作に応じた操作信号を生成して制御部１５０へ出力する。
　記憶部１３２は、画像処理装置１００で生成された情報例えば画像処理部１２０から供給された画像データや、画像処理装置１００で通信やアプリケーションを実行するために用いられる各種情報を記憶する。
　制御部１５０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ），ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）（図示せず）などで構成されている。制御部１５０は、ＲＯＭまたはＲＡＭに記憶されたプログラムを実行して、表示部（タッチパネル）１３１を構成するタッチパネルや操作部１４２に対するユーザ操作に応じた動作が画像処理装置１００で行われるように各部の動作を制御する。
　なお、画像処理装置１００は、図２に示す構成に限られず、例えば画像データを符号化して記憶部１３２に記憶するための符号化処理部、画像データを表示部の解像度に合わせる解像度変換部等が設けられてもよい。
　　［２．画像処理部の実行する合成画像の生成処理について］
　次に、画像処理部１２０の実行する合成画像の生成処理について説明する。
　図２に示す画像処理部１２０は、白黒画像撮像部１１２で取得された白黒画像とカラー画像撮像部１１１で取得されたカラー画像を用いて画像合成処理を行う。
　図４は、白黒画像を基準画像とした画像合成処理によって得られる画質を説明するための図である。例えば、白黒画像を基準として、白黒画像の画像位置にカラー画像を位置合わせした後、画像合成を行って合成画像を生成すると、白黒画像撮像部１１２で用いられているレンズおよびセンサの特性に応じて輝度を忠実に再現することができる。
　一方、図５は、カラー画像を基準画像とした画像合成処理によって得られる画質を説明するための図である。例えば、カラー画像を基準として、カラー画像の画像位置に白黒画像を位置合わせした後、画像合成を行って合成画像を生成すると、カラー画像を基準としていることから合成画像では色ずれを生じることがなく、白黒画像撮像部１１２で用いられているレンズおよびセンサの特性に応じて輝度を忠実に再現することができる。
　しかし、白黒画像撮像部１１２とカラー画像撮像部１１１では視点が異なることから、遠景に比べて近景では色ずれを生じるリスクが高くなる。また、遠景に比べて近景ではオクルージョン領域が増加する。
　オクルージョン領域は、例えば撮像部に近い障害物等によって、一方の画像にのみ撮影され、他方の画像に撮影されない領域である。
　図６は、白黒画像撮像部１１２で取得される白黒画像を基準としたときのオクルージョン領域を示している。視差によってオクルージョンが生じると、カラー画像撮像部１１１で取得されたカラー画像ではオクルージョン領域に対応する画像データがない。このため画像合成処理によって生成された合成画像ではオクルージョン領域で色情報が欠落した画像となる。さらに、遠景に比べて近景の画素では一方の撮像画における注目画素に対応する画素が視差検出の探索範囲を超えて、視差ベクトルを算出できないおそれもある。したがって、画像合成処理によって得られる合成画像は、カラー画像撮像部１１１で取得されたカラー画像よりも画質が劣化する場合がある。
　また、白黒画像撮像部１１２はカラーフィルタを用いたカラー画像撮像部１１１に比べて感度が高いことから、被写体の輝度が高くなると、カラー画像撮像部１１１に比べて画素の飽和を生じやすい。このように白黒画像において飽和した画素が多くなると、合成画像では、カラー画像撮像部１１１で取得されたカラー画像に比べて被写体の高輝度部分がより多く飽和している画質の劣化したカラー画像となってしまう。
　このため、画像処理部１２０は、撮像画に基づき視差や画素の飽和に起因する画質の劣化を生じるか否かの画像合成判定を行う。画像処理部１２０は、画像合成判定結果に応じて、以下の２種類の合成画像のいずれか一方を生成する。
　カラー画像撮像部１１１で取得されたカラー画像を基準画像とした合成画像、
　白黒画像撮像部１１２で取得された白黒画像を基準画像とした合成画像。
　図７は、画像処理部１２０の詳細構成例を示す図である。
　画像処理部１２０は、前処理部１２１，１２２、視差検出部１２３、特徴量算出部１２４、画質判定部１２５、合成画像生成部１２６、出力画像生成部（選択／合成）１２７を有している。
　前処理部１２１，１２２は、カラー画像撮像部１１１、白黒画像撮像部１１２の取得した撮像画の画像データに対して、レンズ歪補正や欠陥画素補正、ホワイトバランス調整等の画像補正処理を行う。補正後の画像データは、視差検出部１２３、特徴量算出部１２４、画質判定部１２５、合成画像生成部１２６、出力画像生成部（選択／合成）１２７へ出力される。
　視差検出部１２３は、前処理部１２１，１２２から供給された白黒画像データとカラー画像データに基づいて視差検出を行う。
　白黒画像撮像部１１２とカラー画像撮像部１１１は、図１の（ｂ）に示すように異なる視点位置から撮像を行うため、白黒画像撮像部１１２とカラー画像撮像部１１１で取得された撮像画は視差を持つ画像となる。
　視差検出部１２３は、ブロックマッチングなどの対応点検出処理によって、画素単位の視差検出を行う。この検出情報は、特徴量算出部１２４に出力される。
　特徴量算出部１２４は、視差検出部１２３の検出した２つの画像データの画素単位または画像領域単位の視差情報を入力して、画像特徴量、具体的には、視差の部分布やオクルージョン領域の大きさ（占有率）等を算出する。
　この特徴量算出部１２４の具体的構成例と処理については後述する。
　特徴量算出部１２４の算出した特徴量情報は、画質判定部１２５に出力される。
　画質判定部１２５は、特徴量算出部１２４の算出した特徴量情報に基づいて、合成画像の画質等を判定する。具体的には、例えば、
　（ａ）カラー画像基準合成画像、
　（ｂ）白黒画像基準合成画像、さらに、
　（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
　（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
　これらの画像の画質を判定する。
　この判定結果が、合成画像生成部１２６、および出力画像生成部（選択／合成）１２７に出力される。
　画質判定部１２５の具体的構成、処理についても後述する。
　合成画像生成部１２６は、画質判定部１２５の判定結果に基づいて、
　（ａ）カラー画像基準合成画像、
　（ｂ）白黒画像基準合成画像、
　これらのいずれかの合成画像を生成する。
　基準画像は、合成画像を生成する際の基準となる画像である。
　カラー画像を基準画像に設定した場合、合成画像生成部１２６では、前処理部１２１から供給されたカラー画像データをベースとして、白黒画像から得られる輝度情報に基づく画素値補正を行い、合成画像を生成する。
　一方、白黒画像を基準画像に設定した場合、合成画像生成部１２６では、前処理部１２２から供給された白黒画像データをベースとして、カラー画像から得られる色情報に基づく画素値補正を行い、合成画像を生成する。
　画質判定部１２５では、
　白黒画像を基準画像として生成した合成画像と、
　カラー画像を基準画像として生成した合成画像、
　これら２種類のいずれの合成画像が高画質な合成画像となり得るかを判定する。
　以下、この判定処理の一つの具体例について説明する。
　画質判定部１２５は、特徴量算出部１２４から入力する特徴量情報を用いて、カラー画像、白黒画像、どちらの画像を基準画像に設定するかを決定する。
　具体的には、例えば、２つの画像データの視差情報と、オクルージョン領域検出情報に基づいて、カラー画像、白黒画像、どちらの画像を基準画像に設定するかを決定する。
　この基準画像決定処理の一例について、図８を参照して説明する。
　図８に示すグラフは、横軸にオクルージョン面積、縦軸に視差を設定したグラフである。
　横軸のオクルージョン面積は、カラー画像撮像部１１１の撮影したカラー画像と、白黒画像撮像部１１２の撮影した白黒画像、これら２つの画像の画像領域に含まれるオクルージョン領域の占有率（％）に相当する。
　縦軸の視差は、カラー画像撮像部１１１の撮影したカラー画像と、白黒画像撮像部１１２の撮影した白黒画像、これら２つの画像の視差（例えば画素数）である。
　基準画像決定部１２４は、これらのオクルージョン領域占有率と視差を、まず、画像を分割した分割領域単位で算出する。
　図９を参照してこの処理について説明する。
　図９はカラー画像撮像部１１１の撮影したカラー画像、または白黒画像撮像部１１２の撮影した白黒画像撮影画像である。
　基準画像決定部１２４は、２つの画像のいずれか一方の画像を選択し、選択画像に複数の分割領域を設定する。図９に示す点線で区分けされた分割領域である。
　基準画像決定部１２４は、各分割領域単位のオクルージョン領域占有率と視差（平均値）を算出する。
　例えば、図９に示す例では、８×５＝４０個の分割領域が設定されており、４０個のオクルージョン領域占有率と視差（平均値）を算出する。
　この４０個のオクルージョン領域占有率と視差（平均値）を、図８に示すグラフ上に配置する。
　すなわち、
　オクルージョン領域占有率＝ｘ、
　視差（平均値）＝ｙ、
　としたときの座標（ｘ，ｙ）を図８に示すグラフ上に配置する。
　この処理によって、例えば、５０％以上がカラー画像基準領域に含まれていれば、基準画像をカラー画像とする。
　また、５０％以上が白黒画像基準領域に含まれていれば、基準画像を白黒画像とする。
　基準画像決定部１２４は、このような処理によって、基準画像を決定する。
　なお、上述した処理例は一例であり、その他の処理も可能である。
　例えば画像の中央領域にある分割領域に大きな重みを設定して、中央領域のオクルージョン領域占有率と視差（平均値）をより大きく反映させて基準画像を決定する処理を行ってもよい。
　あるいは、顔領域が検出された分割領域の重みを高くして基準画像を決定する処理を行ってもよい。
　図８に示すグラフから理解されるように、
　オクルージョン面積占有率がしきい値Ｔｈｘ未満で、視差が視差しきい値Ｔｈｙ未満の場合は、白黒画像を基準画像とする。
　一方、オクルージョン面積占有率がしきい値Ｔｈｘ以上、あるいは視差が視差しきい値Ｔｈｙ以上の場合は、カラー画像を基準画像とする。
　画質判定部１２５は、このような処理によって、基準画像を決定する。
　オクルージョン面積占有率が小さく、かつ視差が小さい場合、白黒画像を基準画像として白黒画像の忠実な輝度情報を画像全体に適用することで、高画質な画像を生成することができる。
　すなわち、オクルージョン面積占有率が小さく、かつ視差が小さい場合は、オクルージョンによってカラー画像から色情報が取得できない領域が小さく、また視差による色ずれの問題も少ないため、白黒画像を基準画像として白黒画像の忠実な輝度情報を画像全体に適用した高画質な白黒画像基準合成画像を生成する。
　一方、オクルージョン面積占有率が大きい場合、または視差が大きい場合は、オクルージョンによってカラー画像から色情報が取得できない領域が大きいか、あるいは視差による色ずれの問題が発生する領域が大きくなる可能性があり、これらの問題を低減させるためカラー画像を基準画像としたカラー画像基準合成画像を生成する。
　なお、カラー画像基準合成画像においても白黒画像の輝度情報を適用した合成画像生成処理を行う。
　なお、この図８、図９を参照して説明した基準画像決定処理は一例であり、画質判定部１２５は、その他の画像特徴量を用いて、
　（ａ）カラー画像基準合成画像、
　（ｂ）白黒画像基準合成画像、さらに、
　（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
　（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
　これらの画像の画質を判定する。
　この判定結果情報は、出力画像生成部（選択／合成）１２７にも出力される。
　出力画像生成部（選択／合成）１２７は、この判定結果に基づいて、
　合成画像生成部１２６の生成した、
　（ａ）カラー画像基準合成画像、
　（ｂ）白黒画像基準合成画像、または、
　（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
　（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
　これらの画像のいずれかを選択して、あるいは合成して表示部（タッチパネル）１３１、記憶部１３２に出力する。
　なお、動画の撮影、出力を行う場合には、出力画像生成部（選択／合成）１２７は、上記（Ａ）～（Ｄ）の画像を徐々に切り替える処理を行う。
　例えばカラー画像からカラー画像基準合成画像への切り替え出力を行う場合、カラー画像１００％の画像から、カラー画像基準合成画像１００％の画像へ、各画像の合成比率を徐々に変化させた画像フレームを順次、出力する。この処理により、画像観察者に画像の切り替えを検知されにくくなる。
　次に、特徴量算出部１２４と、画質判定部１２５の構成の具体例について説明する。図１０は特徴量算出部１２４と、画質判定部１２５の構成を例示している。
　特徴量算出部１２４は、視差および画素の飽和に起因する画質の劣化判定を行うための画像特徴量を算出する。特徴量算出部１２４は、視差に起因する画質の劣化判定を行うための画像特徴量を算出する機能ブロックとして、視差ヒストグラム生成部２０１、視差分布特徴量算出部２０２、サーチ範囲超え特徴量算出部２０３、視差ギャップヒストグラム生成部２０４、視差ギャップ特徴量算出部２０５を有している。また、特徴量算出部１２４は、画素の飽和に起因する画質の劣化判定を行うための画像特徴量を算出する機能ブロックとして、飽和判定ヒストグラム生成部２０６、飽和特徴量算出部２０７を有している。
　視差ヒストグラム生成部２０１は、算出対象領域の各画素について算出されている視差ベクトルを用いて視差ヒストグラムを生成する。視差分布特徴量算出部２０２は、視差ヒストグラム生成部２０１で生成された視差ヒストグラムから視差分布の特徴を示す統計量である視差分布特徴量ＦＶｆｓｄを算出する。
　サーチ範囲超え特徴量算出部２０３は、視差ヒストグラム生成部２０１で生成された視差ヒストグラムから、予め設定されているサーチ範囲以上の視差を生じている度数（ｏｖｅｒ＿ｓｅａｒｃｈ＿ｒａｎｇｅ＿ｃｏｕｎｔｅｒ）の全度数（ｃｏｕｎｔｅｒ）に対する割合を示すサーチ範囲超え特徴量ＦＶｏｓｒを算出する。サーチ範囲超え特徴量算出部２０３は、視差ヒストグラムを用いて以下の式（１）の演算を行いサーチ範囲超え特徴量ＦＶｏｓｒを算出する。
　ＦＶｏｓｒ＝ｏｖｅｒ＿ｓｅａｒｃｈ＿ｒａｎｇｅ＿ｃｏｕｎｔｅｒ　／　ｃｏｕｎｔｅｒ　＊１００　・・・（１）
　このように、サーチ範囲超え特徴量算出部２０３でサーチ範囲超え特徴量ＦＶｏｓｒを算出すれば、サーチ範囲超え特徴量ＦＶｏｓｒに基づき、大きな視差を生じる被写体が撮像されているか判定することが可能となる。すなわち、オクルージョンを生じる領域の発生状況を判定することが可能となる。
　視差ギャップヒストグラム生成部２０４は、視差ギャップヒストグラムを生成する。
　図１１（Ａ）は、視差ギャップヒストグラム生成に用いる視差差分絶対値を説明する図である。視差ギャップヒストグラム生成部２０４は、図１１（Ａ）に示すように、算出対象領域の注目画素位置から水平に「－（ＰＡＲＡＬＬＡＸ＿ＤＩＦＦ＿ＤＩＳＴＡＮＣＥ／２）」の画素分だけ離れた位置の視差ＰＶ１と「（ＰＡＲＡＬＬＡＸ＿ＤＩＦＦ＿ＤＩＳＴＡＮＣＥ／２）」の画素分だけ離れた位置の視差ＰＶ２を算出して、視差ＰＶ１，ＰＶ２の視差差分絶対値ＰＶａｐｄを算出する。
　以下の式（２）に示す視差差分絶対値ＰＶａｐｄを算出する。なお、視差ギャップ距離（ＰＡＲＡＬＬＡＸ＿ＤＩＦＦ＿ＤＩＳＴＡＮＣＥ）は予め設定されている。
　ＰＶａｐｄ＝ＡＢＳ（ＰＶ１－ＰＶ２）　・・・（２）
　視差差分絶対値ＰＶａｐｄは、例えば被写体が同一平面に近い状態である場合、視差ＰＶ１と視差ＰＶ２の差は小さいことから視差差分絶対値ＰＶａｐｄの値は小さくなる。また、視差差分絶対値ＰＶａｐｄは、例えば被写体までの距離が異なり、注目画素が距離の異なる被写体の境界であると、視差ＰＶ１と視差ＰＶ２の差が大きいことから視差差分絶対値ＰＶａｐｄの値は大きくなる。視差ギャップヒストグラム生成部２０４は、算出対象領域の各画素を注目画素として算出した視差差分絶対値ＰＶａｐｄのヒストグラムである視差ギャップヒストグラムを生成する。なお、図１１（Ｂ）は視差ギャップヒストグラムを例示している。
　視差ギャップ特徴量算出部２０５は、視差ギャップヒストグラム生成部２０４で生成された視差ギャップヒストグラムから視差ギャップ特徴量ＦＶｐｄを算出する。視差ギャップ特徴量算出部３７５は、視差ギャップヒストグラムから予め設定されている最大視差ギャップ距離以上の視差ギャップを生じている度数（ｌａｒｇｅ＿ｐａｒａｌｌａｘ＿ｄｉｆｆ＿ｃｏｕｎｔｅｒ）の全度数（ｃｏｕｎｔｅｒ）に対する割合を示す視差ギャップ特徴量ＦＶｐｄを算出する。視差ギャップ特徴量算出部３７５は、視差ギャップヒストグラムを用いて式（３）の演算を行い、視差ギャップ特徴量ＦＶｐｄを算出する。
　ＦＶｐｄ　＝　ｌａｒｇｅ＿ｐａｒａｌｌａｘ＿ｄｉｆｆ＿ｃｏｕｎｔｅｒ　／　ｃｏｕｎｔｅｒ　＊　１００　・・・（３）
　このように、視差ギャップ特徴量算出部２０５で算出された視差ギャップ特徴量ＦＶｐｄは、最大視差ギャップ距離を生じる画素の割合を示している。ここで、同一平面にある被写体は視差ギャップが小さく、距離が異なる被写体の画像境界部分では視差ギャップが大きいことから、距離が大きく異なる被写体の画像境界の発生状況を判定することが可能となる。
　飽和判定ヒストグラム生成部２０６は、前処理部１２２から供給された白黒画像データに基づき画素値毎の度数（画素数）を示す画素値ヒストグラムを生成する。また、前処理部１２１から供給されたカラー画像データの色空間変換によって輝度データを生成して、生成した輝度データに基づきに画素値毎の度数（画素数）を示す画素値ヒストグラムを生成する。
　飽和特徴量算出部２０７は、飽和判定ヒストグラム生成部２０６で生成された輝度値ヒストグラムに基づき飽和特徴量ＦＶｓａｔを算出する。
　画質判定部１２５は、特徴量算出部１２４で算出された画像特徴量と、制御部等から取得した撮影条件情報５０に基づき、
　（ａ）カラー画像基準合成画像、
　（ｂ）白黒画像基準合成画像、さらに、
　（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
　（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
　これら４種類の画像のうち、最も高画質な画像はどれであるかの判定処理を実行する。
　この判定情報は、合成画像生成部１２６、および出力画像生成部（選択／合成）１２７に出力される。
　また、画質判定部１２５は、特徴量算出部１２４で算出された画像特徴量の時間方向の変化量に基づき、上記（ａ）～（ｄ）各画像の切り替え速度を決定する。
　例えば変化量判定部２１１ｄ～２１４ｄから供給された個別判定結果のいずれかにおいて変化量が変化量閾値を超えている場合、切り替え速度を予め設定されている所定速度よりも高速とする。それ以外は規定の切り替え速度とする。
　この切り替え速度情報は、出力画像生成部（選択／合成）１２７に出力される。
　画質判定部１２５は、画質の劣化を生じるか否かの判定および画像特徴量の時間方向の変化量に関する機能ブロックとして、個別判定部２１１～２１５と変化量判定部２１１ｄ～２１５ｄおよび統合判定処理部２２０を有している。
　個別判定部２１１は、視差分布特徴量算出部２０２で算出された視差分布特徴量に基づき、合成画像等の画質判定を行う。個別判定部２１１は、視差分布特徴量ＦＶｆｓｄと視差分布特徴量に対して予め設定されている判定閾値Ｔｈｆｓｄを比較する。個別判定部２１１は、視差分布特徴量ＦＶｆｓｄが判定閾値Ｔｈｆｓｄよりも大きい場合、合成画像が画質の劣化を生じると判定する。個別判定部２１１は、個別判定結果を統合判定処理部２２０へ出力する。
　変化量判定部２１１ｄは、視差分布特徴量算出部２０２で算出された視差分布特徴量の時間的な変化量（ＦＶｆｓｄ（ｉ）－ＦＶｆｓｄ（ｉ－１））を算出する。なお、「ｉ」は画質判定部１２５で画質の劣化を生じるか否かの判定を行うフレームを示している。変化量判定部２１１ｄは、算出した変化量の絶対値と予め設定されている変化量閾値Ｔｈｄｆｓｄを比較して、比較結果を統合判定処理部２２０へ出力する。
　個別判定部２１２は、サーチ範囲超え特徴量算出部２０３で算出されたサーチ範囲超え特徴量ＦＶｏｓｒに基づき、合成画像等の画質判定を行う。個別判定部２１２は、サーチ範囲超え特徴量ＦＶｏｓｒとサーチ範囲超え特徴量に対して予め設定されている判定閾値Ｔｈｏｓｒを比較する。個別判定部２１２は、サーチ範囲超え特徴量ＦＶｏｓｒが判定閾値Ｔｈｏｓｒよりも大きい場合、合成画像が画質の劣化を生じると判定する。個別判定部２１２は、個別判定結果を統合判定処理部２２０へ出力する。
　変化量判定部２１２ｄは、サーチ範囲超え特徴量算出部２０３で算出されたサーチ範囲超え特徴量の時間的な変化量（ＦＶｏｓｒ（ｉ）－ＦＶｏｓｒ（ｉ－１））を算出する。さらに、変化量判定部２１２ｄは、算出した変化量の絶対値と予め設定されている変化量閾値Ｔｈｄｏｓｒを比較して、比較結果を統合判定処理部２２０へ出力する。
　個別判定部２１３は、視差ギャップ特徴量算出部２０５で算出された視差ギャップ特徴量ＦＶｐｄに基づき、合成画像等の画質判定を行う。個別判定部２１３は、視差ギャップ特徴量ＦＶｐｄと視差ギャップ特徴量に対して予め設定されている判定閾値Ｔｈｐｄを比較する。個別判定部２１３は、視差ギャップ特徴量ＦＶｐｄが判定閾値Ｔｈｐｄよりも大きい場合、合成画像が画質の劣化を生じると判定する。個別判定部２１３は、個別判定結果を統合判定処理部２２０へ出力する。
　変化量判定部２１３ｄは、視差ギャップ特徴量算出部２０５で算出された視差ギャップ特徴量の時間的な変化量（ＦＶｐｄ（ｉ）－ＦＶｐｄ（ｉ－１））を算出する。変化量判定部２１３ｄは、算出した変化量の絶対値と予め設定されている変化量閾値Ｔｈｄｌｐｄを比較して、比較結果を統合判定処理部２２０へ出力する。
　個別判定部２１４は、飽和特徴量算出部２０７で算出された飽和特徴量ＦＶｓａｔに基づき、合成画像等の画質判定を行う。個別判定部２１４は、飽和特徴量ＦＶｓａｔと飽和特徴量に対して予め設定されている判定閾値Ｔｈｓａｔを比較する。個別判定部２１４は、飽和特徴量ＦＶｓａｔが判定閾値Ｔｈｓａｔよりも大きい場合、合成画像が画質の劣化を生じると判定する。個別判定部２１４は、個別判定結果を統合判定処理部２２０へ出力する。
　変化量判定部２１４ｄは、飽和特徴量算出部２０７で算出された飽和特徴量の時間的な変化量（ＦＶｓａｔ（ｉ）－ＦＶｓａｔ（ｉ－１）を算出する。変化量判定部２１４ｄは、算出した変化量の絶対値と予め設定されている変化量閾値Ｔｈｄｓａｔを比較して、比較結果を統合判定処理部２２０へ出力する。
　個別判定部２１５は、撮影条件情報５０に基づき、例えば合成画像が画質の劣化を生じるか否かを判定する。撮影条件情報５０は、例えば、明るさ情報、露光情報、被写体距離情報、フォーカス、ズーム情報、さらに、ＩＳＯ感度情報等の撮像設定情報である。個別判定部２１５は、撮影条件情報５０と撮影条件情報５０に対して予め設定されている判定閾値を比較して、合成画像が画質の劣化を生じるか否か判定する。個別判定部２１５は、個別判定結果を統合判定処理部２２０へ出力する。
　統合判定処理部２２０は、個別判定部２１１～２１５から供給された個別判定結果を用いて画像判定を行う。例えば、統合判定処理部２２０は、個別判定部２１１～２１５から供給された個別判定結果を用いて、
　（ａ）カラー画像基準合成画像、
　（ｂ）白黒画像基準合成画像、さらに、
　（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
　（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
　これら４種類の画像のうち、最も高画質な画像はどれであるかの判定処理を実行する。
　この判定結果が、合成画像生成部１２６、および出力画像生成部（選択／合成）１２７に出力される。
　なお、具体的にには、例えば、被写体距離が近く、カラー画像と白黒画像の視差が大きい場合や、オクルージョン領域が多いと判断される場合などには、合成画像の画質が低下すると判定され、この場合には、
　（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
　最も高画質な画像と判定する処理等が実行される。
　また、統合判定処理部２２０は、変化量判定部２１１ｄ～２１５ｄから供給された変化量と変化量閾値との比較結果に基づいて、上記（ａ）～（ｄ）各画像の切り替え速度を決定する。この速度情報が出力画像生成部（選択／合成）１２７に出力される。
　出力画像生成部（選択／合成）１２７は、画質判定部１２５の判定結果に基づいて、
　（ａ）カラー画像基準合成画像、
　（ｂ）白黒画像基準合成画像、さらに、
　（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
　（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
　これらから選択された最も高画質となると推定された１つの画像を選択して、表示部（タッチパネル）１３１、記憶部１３２に出力する。
　また、統合判定処理部２２０は、変化量判定部２１１ｄ～２１４ｄから供給された変化量と規定の変化量閾値との比較結果に基づいて、上記（ａ）～（ｄ）各画像の切り替え速度を決定する。
　例えば変化量判定部２１１ｄ～２１４ｄから供給された個別判定結果のいずれかにおいて変化量が変化量閾値を超えている場合、切り替え速度を予め設定されている所定速度よりも高速とする。それ以外は規定の切り替え速度とする。
　この切り替え速度情報は、出力画像生成部（選択／合成）１２７に出力される。
　出力画像生成部（選択／合成）１２７は、この切り替え速度に応じて、上記（ａ）～（ｄ）各画像の切り替え処理を行う。これは具体的には、例えば動画像の撮影時に、各撮影フレームから検出された結果の変化量に基づいて画像切り替え速度を変化させ、出力画像の画質劣化が急激に発生した場合以外は、画像の切り替えをゆっくり実行するものである。
　なお、出力画像生成部（選択／合成）１２７において動画像の画像切り替え処理は、例えば、以下のように実行される。
　例えば、カラー画像からカラー画像基準合成画像への切り替え処理を行う場合、カラー画像１００％の画像から、カラー画像基準合成画像１００％の画像へ、各画像の合成比率を徐々に変化させて切り替えを行う。
　この速度を変化量判定部２１１ｄ～２１４ｄから供給された変化量に基づいて設定する。
　なお、図１０に示す画質判定部１２５の構成と処理は、カラー画像撮像部１１１の撮影したカラー画像と、白黒画像撮像部１１２の撮影した白黒画像の視差やオクルージョンに基づいて出力画像の選択処理を行う構成であるが、この画像判定処理は一例であり、この他の様々な画像の特徴や撮影条件情報に基づいて高画質画像無を選択する構成が可能である。
　　［３．出力画像の自動選択処理における問題点について］
　上述した出力画像の選択構成、すなわち、例えば図１０を参照して説明した画質判定部１２５の実行する出力画像の選択例では、カラー画像撮像部１１１の撮影したカラー画像と、白黒画像撮像部１１２の撮影した白黒画像の視差やオクルージョンに基づいて出力画像が自動的に選択されてしまう。
　しかし、画質判定部１２５の選択画像と異なる画像を記録したいといったユーザ要求がある場合がある。
　また、前述したように、例えば、被写体距離が近く、カラー画像と白黒画像の視差が大きい場合や、オクルージョン領域が多いと判断される場合などには、合成画像の画質が低下すると判定され、この場合には、
　「カラー画像撮像部１１１の撮影したカラー単眼画像」が最も高画質な画像と判定される。
　この結果、出力画像生成部（選択／合成）１２７は、画質判定部１２５の判定結果に基づいて、「カラー画像撮像部１１１の撮影したカラー単眼画像」を選択出力する。すなわち、「カラー画像撮像部１１１の撮影したカラー単眼画像」を表示部（タッチパネル）１３１に表示し、また記憶部１３２に格納する処理が実行される。
　ユーザは、画像処理装置１００の操作部１４２、あるいは表示部（タッチパネル）１３１に構成されるタッチパネルを介して、合成画像の生成モードをＯＮに設定して撮影を開始した場合であっても、画質判定部１２５の判定結果として合成画像の画質が低下するとの判定がなされると合成画像の出力が行われず、「カラー画像撮像部１１１の撮影したカラー単眼画像」が出力されてしまう。
　すべての状況において、この画質判定部１２５の判定結果が必ずしも正しいとは限らない。
　例えば、夜間のような暗い環境で、近い被写体の撮影を行う場合について考察する。
　図１２は、横軸に被写体距離、縦軸に明るさを示すグラフである。
　画質判定部１２５は、例えば、領域Ａ、すなわち明るさが十分な明るい領域では、カラー画像、または合成画像のいずれかを最も高画質画像であると判定し、いずれかの画像を選択出力する。
　また、領域Ｂ、すなわち明るさが不十分、例えば夜間や室内等の暗い環境で、かつ被写体距離が、所定しきい値Ｔｈ１以上である場合は、カラー画像より、カラー画像に白黒画像の輝度情報を合成した合成画像の方が高画質であると判定し、合成画像を出力する。
　しかし、領域Ｃ、すなわち明るさが不十分、例えば夜間や室内等の暗い環境で、かつ被写体距離が所定しきい値Ｔｈ１未満であり、近い被写体の場合は、画質判定部１２５は、カラー画像と白黒画像の視差が大きい、またオクルージョン領域が増加する等の特徴量判定がなされて、合成画像の画質が低下すると判定し、「カラー画像撮像部１１１の撮影したカラー単眼画像」を選択して出力する。
　しかし、この領域Ｃは、明るさが不十分であり、「カラー画像撮像部１１１の撮影したカラー単眼画像」は高画質な画像にはならない場合がある。
　すなわち、図１３に示すような結果となる可能性がある。
　図１３には、図１２に示す領域Ｃ、すなわち、明るさが不十分、例えば夜間や室内等の暗い環境で、かつ被写体距離が所定しきい値Ｔｈ１未満の近い被写体を撮影した（１）カラー単眼画像と、（２）合成画像の例を示している。
　（１）カラー単眼画像は明るさが不十分なため、全体に暗い画像となってしまう。これに対して、（２）合成画像は、カラー画像に白黒画像の輝度情報を合成して生成される画像であり、（１）カラー単眼画像より鮮明な輝度情報が出力された画像となる。
　このように、すべての状況において、画質判定部１２５の判定結果が必ずしも正しいとは限らない。
　また、ユーザは、画質に関わらず、合成画像、またはカラー単眼画像、あるいは白黒単眼画像のいずれかを記録したいと考える場合もある。
　以下、この問題を解決する構成について説明する。
　　［４．高画質な合成画像を取得するためのガイド情報を出力し、さらに出力画像の選択を可能とした本開示の画像処理装置の構成と処理について］
　以下、高画質な合成画像を取得するためのガイド情報等の補助情報を出力し、さらに出力画像の選択を可能とした本開示の画像処理装置の構成と処理について説明する。
　まず、本開示の画像処理装置の実行する具体的な処理例について、図１４以下を参照して説明する。
　本開示の画像処理装置は、表示部（タッチパネル）１３１に撮影画像（スルー画）を表示する際、併せて以下の各情報（補助情報）を表示する。
　（Ａ）合成画像撮影ガイド情報
　（Ｂ）合成画像適応レベルインジケータ
　（Ａ）合成画像撮影ガイド情報は、高画質な合成画像を撮影するための案内情報である。
　図１４に示すように、撮影状況に応じて、例えば、以下の３種類の表示が切り替えられる。
　（表示例１）近接アラート［被写体が近すぎます］
　（表示例２）障害物アラート［障害物があります］
　（表示例３）合成処理＝ＯＮ［きれいに撮れます］
　（表示例１）近接アラート［被写体が近すぎます］
　この表示は、被写体が近すぎて、カラー画像撮像部１１１で取得されたカラー画像と、白黒画像撮像部１１２で取得される白黒画像との視差が大きく、合成画像の生成が困難、すなわち高画質な合成画像を生成することができないと判定した場合に表示される。なお、この判定は、画質判定部１２５の判定結果である。被写体とは、撮影画像中の例えば、焦点制御（フォーカス）されたオブジェクトである。
　（表示例２）障害物アラート［障害物があります］
　この表示は、被写体の前に障害物があり、カラー画像撮像部１１１で取得されたカラー画像と、白黒画像撮像部１１２で取得される白黒画像にオクルージョン領域が多く発生し、合成画像の生成が困難、すなわち高画質な合成画像を生成することができないと判定した場合に表示される。なお、この判定は、画質判定部１２５の判定結果である。
　（表示例３）合成処理＝ＯＮ［きれいに撮れます］
　この表示は、被写体が近すぎず、また、障害物もなく、視差が小さく、またオクルージョン領域も少なく、高画質な合成画像を生成することができなると判定した場合に表示される。なお、この判定は、画質判定部１２５の判定結果である。
　なお、この３つの表示は、ユーザがカメラを移動、あるいは向きを変更することで自動的に切り替えられることになる。
　例えば、「（表示例１）近接アラート［被写体が近すぎます］」、この表示がなされている場合、カメラを持ったユーザが被写体から離れると、近接アラートは、「障害物アラート」、または「合成処理＝ＯＮ」表示に切り換えられる。
　また、「（表示例２）障害物アラート［障害物があります］」、この表示がなされている場合、カメラを持ったユーザがカメラの向きや位置を変更すると、障害物アラートは、「合成処理＝ＯＮ」、または「近接アラート」表示に切り換えられる。
　一方、（Ｂ）合成画像適応レベルインジケータは、現在の撮影条件についての合成画像撮影適応レベルを示すインジケータである。
　図に示すようにインジケータは、
　合成画像撮影不適応～合成画像撮影適応（良好）までのレベルが表示される設定である。このレベルは、画質判定部１２５において算出される。
　さらに、（Ｂ）合成画像適応レベルインジケータには、合成画像適応レベルに応じた最適な出力画像の種類として、以下の３種類の画像が表示される。
　カラー単眼画像、
　カラー画像基準合成画像
　白黒画像基準合成画像、
　図に示す例において、現在の合成画像適応レベルは、合成画像撮影適応（良好）のレベルに相当し、白黒画像基準合成画像の生成が最適であることが表示される。
　ユーザは、表示部（タッチパネル）１３１に撮影画像（スルー画）とともに表示されるこれらの情報、すなわち、
　（Ａ）合成画像撮影ガイド情報
　（Ｂ）合成画像適応レベルインジケータ
　これらの情報を見て、高画質な合成画像を撮影可能なカメラ設定を行うことが可能となり、また、生成される合成画像の画質についても予測することが可能となる。
　さらに、ユーザは、出力される画像、すなわち表示部（タッチパネル）１３１に出力する画像や記憶部１３２に格納する画像を選択することも可能である。
　例えば、図に示す表示切り換え部３０３を操作（タッチ）することで、図１５に示す出力画像選択画面に切り換えられる。
　図１５に示す例は、
　カラー画像撮像部１１１で取得されたカラー画像、
　白黒画像撮像部１１２で取得された白黒画像、
　合成画像生成部１２６がカラー画像と白黒画像の合成処理によって生成した合成画像、
　これら３種類の画像を並列に表示した例である。
　ユーザは、これら３種類の画像から、いずれかの画像をタッチすることで、出力画像、すなわち表示部（タッチパネル）１３１に出力する画像や記憶部１３２に格納する画像を選択することができる。
　さらに、図に示す表示切り換え部３０３を操作（タッチ）することで、図１６に示す出力画像選択画面に切り換えられる。
　図１６に示す例は、
　一枚の画像（スルー画）を、３分割して、各分割領域を、以下の３種類の画像として表示したものである。
　カラー画像撮像部１１１で取得されたカラー画像、
　白黒画像撮像部１１２で取得された白黒画像、
　合成画像生成部１２６が、カラー画像と白黒画像の合成処理によって生成した合成画像、
　１枚の画像を３分割した各分塚領域単位でこれら３種類の画像を表示した例である。
　ユーザは、これらの画像から、いずれかの画像をタッチすることで出力画像、すなわち表示部（タッチパネル）１３１に出力する画像や記憶部１３２に格納する画像の種類を選択することができる。
　図１４～図１６を参照して説明した処理を実現する本開示の画像処理装置の構成について図１７を参照して説明する。
　図１７に示す画像処理装置４００は、先に図２を参照して説明した画像処理装置１００の構成にはない表示情報制御部４０１を有する。
　表示情報制御部４０１は、撮影条件情報５０を入力し、さらに、画像処理部１２０において判定された画質判定結果を入力して、先に図１４を参照して説明した以下の情報、
　（Ａ）合成画像撮影ガイド情報
　（Ｂ）合成画像適応レベルインジケータ
　これらの情報を生成して表示部（タッチパネル）１３１に表示する。
　さらに、画像処理部１２０に対して、表示部（タッチパネル）１３１に出力する画像の指定情報を入力して、例えば図１４～図１６に示す様々な設定の画像の表示を実行させる。
　なお、撮影条件情報５０は、前述したように、例えば、明るさ情報、露光情報、被写体距離情報、フォーカス、ズーム情報、さらに、ＩＳＯ感度情報等の撮像設定情報である。
　なお、説明を理解しやすくするため、図１７では、表示情報制御部４０１を独立した構成として示しているが、表示情報制御部４０１は、制御部１５０と一体化した構成でもよい。すなわち、以下において説明する表示情報制御部４０１の処理を制御部１５０において実行する構成としてもよい。
　表示部（タッチパネル）１３１のタッチパネル、あるいは操作部１４２を介して入力されるユーザによる画像指定情報４２１は、制御部１５０を介して画像処理部１２０に入力され、表示部（タッチパネル）１３１や記憶部１３２等の出力部１３０に出力される画像が選択される。
　図１８は、画像処理部１２０の詳細構成例を示している。この構成は、基本的には、先に図７を参照して説明した構成と同様の構成である。
　ただし、画像処理部１２０と表示情報制御部４０１との間では、様々な情報が入出力される。
　例えば、画像処理部１２０の画質判定部１２５の画質判定結果情報が、表示画像制御部４０１に出力される。
　また、表示情報制御部４０１から表示画像切り替え要求が画像処理部１２３０の出力画像生成部１２７に入力され、先に図１４～図１６を参照して説明した様々な情報や画像の出力がなされる。
　表示部（タッチパネル）１３１のタッチパネル、あるいは操作部１４２を介して入力されるユーザによる画像指定情報４２１は、制御部１５０を介して画像処理部１２０の出力画像生成部１２７に入力され、表示部（タッチパネル）１３１や記憶部１３２等の出力部１３０に出力される画像が選択される。
　次に、図１９以下を参照して、本開示の画像処理装置４００の状態遷移シーケンスについて説明する。
　本開示の画像処理装置４００は、図１９に示す３種類の状態を遷移する。すなわち、
　（状態１）高画質合成画像出力可能状態
　（状態２）障害物アラート出力状態
　（状態３）近接アラート出力状態
　これらの３つの状態は、先に図１４を参照して説明した合成画像撮影ガイド情報の３種類の表示例の表示状態に対応する。すなわち、
　（状態１）高画質合成画像出力可能状態では、
　（表示例３）合成処理＝ＯＮ［きれいに撮れます］が表示される。
　また、（状態２）障害物アラート出力状態では、
　（表示例２）障害物アラート［障害物があります］が表示される。
　（状態３）近接アラート出力状態では、
　（表示例１）近接アラート［被写体が近すぎます］が表示される。
　本開示の画像処理装置４００の制御部１５０や表示情報制御部４０１は、図１９に示すように、これら３種類の状態を状況に応じて遷移させる。例えば、画像処理装置の撮像部を介して入力される画像フレーム単位、あるいは所定の複数フレーム単位で状態遷移が行われる。
　この遷移シーケンスについて、図２０以下のフローチャートを参照して説明する。
　まず、図２０に示すフローを参照して画像処理装置４００が、
　（状態１）高画質合成画像出力可能状態にある場合、すなわち、表示部（タッチパネル）１３１に、図１４を参照して説明した、
　（表示例３）合成処理＝ＯＮ［きれいに撮れます］、
　上記情報が表示された状態における処理シーケンスについて説明する。
　なお、図２０以下のフローチャートに示す処理は、画像処理装置４００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するＣＰＵ等のプロセッサによるプログラム実行処理として行うことができる。
　以下、図２０のフローチャートに示す各ステップの処理について説明する。
　　（ステップＳ１０１）
　画像処理装置（カメラ）の制御部は、「（状態１）高画質合成画像出力可能状態」にある場合、まず、ステップＳ１０１において、カメラ撮影画像中の被写体の前に障害物があるか、あるいは被写体距離が近すぎるかを判定する。
　これらの判定に必要な情報は、撮影条件情報５０、あるいは画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。
　なお、被写体とは、撮影画像中の例えば、焦点制御（フォーカス）されたオブジェクトである。
　被写体距離が近すぎるか否かは、例えばカラー画像と白黒画像の視差量に基づいて決定される。すなわち、カラー画像と白黒画像の視差量が、高画質な合成画像の生成に必要となる視差しきい値より小さいか否かの判定等に基づいて決定される。この判定に必要となる情報は、画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。
　また、被写体の前に障害物があるか否かについては、例えばカラー画像と白黒画像に含まれるオクルージョン面積に基づいて決定される。すなわち、カラー画像と白黒画像のオクルージョン領域が、高画質な合成画像の生成に必要となるしきい値より小さいか否かの判定等に基づいて決定される。この判定に必要となる情報は、画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。
　ステップＳ１０１において、カメラ撮影画像中の被写体の前に障害物があるか、あるいは被写体距離が近すぎると判定した場合は、ステップＳ１０３に進む。
　いずれでもないと判定した場合はステップＳ１０２に進む。
　　（ステップＳ１０２）
　ステップＳ１０１において、カメラ撮影画像中の被写体の前に障害物がなく、また被写体距離が近すぎることもないと判定した場合は、ステップＳ１０２に進む。
　ステップＳ１０２では、「（状態１）高画質合成画像出力可能状態」を継続する。
　なお、この状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「合成処理＝ＯＮ［きれいに撮れます］」、
　上記情報の表示処理を実行する。
　　（ステップＳ１０３）
　一方、ステップＳ１０１において、カメラ撮影画像中の被写体の前に障害物があるか、あるいは被写体距離が近すぎると判定した場合は、ステップＳ１０３に進む。
　ステップＳ１０３において、被写体距離が近すぎるかを判定する。
　この判定に必要な情報は、撮影条件情報５０、あるいは画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。
　ステップＳ１０３において、被写体距離が近すぎると判定した場合は、ステップＳ１０４に進む。
　近すぎないと判定した場合はステップＳ１０５に進む。
　　（ステップＳ１０４）
　ステップＳ１０３において、被写体距離が近すぎると判定した場合は、ステップＳ１０４に進む。
　ステップＳ１０４において、制御部は、現在の状態＝「（状態１）高画質合成画像出力可能状態」を、変更して、「（状態３）近接アラート出力状態」に移行する。
　この（状態３）近接アラート出力状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「近接アラート［被写体が近すぎます］」、
　上記情報の表示処理を実行する。
　　（ステップＳ１０５）
　一方、ステップＳ１０３において、被写体距離が近すぎないと判定した場合は、ステップＳ１０５に進む。
　ステップＳ１０５において、制御部は、現在の状態＝「（状態１）高画質合成画像出力可能状態」を、変更して、「（状態２）障害物アラート出力状態」に移行する。
　この（状態２）障害物アラート出力状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「障害物アラート［障害物があります］」、
　上記情報の表示処理を実行する。
　なお、図２０に示すフローに従った処理は、画像処理装置の撮像部を介して入力される画像フレーム単位、あるいは所定の複数フレーム単位で繰り返し実行される。
　次に、図２１に示すフローを参照して画像処理装置４００が、
　（状態２）障害物アラート出力状態にある場合、すなわち、表示部（タッチパネル）１３１に、図１４を参照して説明した、
　（表示例２）障害物アラート［障害物があります］、
　上記情報が表示された状態における処理シーケンスについて説明する。
　　（ステップＳ１２１）
　画像処理装置（カメラ）の制御部は、「（状態２）障害物アラート出力状態」にある場合、まず、ステップＳ１２１において、カメラ撮影画像中の被写体の前に障害物があるかを判定する。
　この判定に必要な情報は、撮影条件情報５０、あるいは画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。
　ステップＳ１２１において、カメラ撮影画像中の被写体の前に障害物があると判定した場合は、ステップＳ１２２に進む。
　ないと判定した場合はステップＳ１２３に進む。
　　（ステップＳ１２２）
　ステップＳ１２１において、カメラ撮影画像中の被写体の前に障害物があると判定した場合は、ステップＳ１２２に進む。
　ステップＳ１２２では、「（状態２）障害物アラート出力状態」を継続する。
　なお、この状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「障害物アラート［障害物があります］」、
　上記情報の表示処理を実行する。
　　（ステップＳ１２３）
　一方、ステップＳ１２１において、カメラ撮影画像中の被写体の前に障害物がないと判定した場合は、ステップＳ１２３に進む。
　制御部は、ステップＳ１２３において、被写体距離が近すぎるかを判定する。
　この判定に必要な情報は、撮影条件情報５０、あるいは画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。
　ステップＳ１２３において、被写体距離が近すぎると判定した場合は、ステップＳ１２４に進む。
　近すぎないと判定した場合はステップＳ１２５に進む。
　　（ステップＳ１２４）
　ステップＳ１２３において、被写体距離が近すぎると判定した場合は、ステップＳ１２４に進む。
　ステップＳ１２４において、制御部は、現在の状態＝「（状態２）障害物アラート出力状態」を、変更して、「（状態３）近接アラート出力状態」に移行する。
　この（状態３）近接アラート出力状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「近接アラート［被写体が近すぎます］」、
　上記情報の表示処理を実行する。
　　（ステップＳ１２５）
　一方、ステップＳ１２３において、被写体距離が近すぎないと判定した場合は、ステップＳ１２５に進む。
　ステップＳ１２５において、制御部は、現在の状態＝「（状態２）障害物アラート出力状態」を変更して、「（状態１）高画質合成画像出力可能状態」に移行する。
　この（状態１）高画質合成画像出力可能状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「合成処理＝ＯＮ［きれいに撮れます］」、
　上記情報の表示処理を実行する。
　なお、図２１に示すフローに従った処理は、画像処理装置の撮像部を介して入力される画像フレーム単位、あるいは所定の複数フレーム単位で繰り返し実行される。
　次に、図２２に示すフローを参照して画像処理装置４００が、
　（状態３）近接アラート出力状態にある場合、すなわち、表示部（タッチパネル）１３１に、図１４を参照して説明した、
　（表示例３）近接アラート［被写体が近すぎます］、
　上記情報が表示された状態における処理シーケンスについて説明する。
　　（ステップＳ１４１）
　画像処理装置（カメラ）の制御部は、「（状態３）近接アラート出力状態」にある場合、まず、ステップＳ１４１において、カメラ撮影画像中の被写体の被写体距離が近すぎるかを判定する。
　この判定に必要な情報は、撮影条件情報５０、あるいは画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。
　ステップＳ１４１において、被写体が近すぎると判定した場合は、ステップＳ１４２に進む。
　近すぎないと判定した場合はステップＳ１４３に進む。
　　（ステップＳ１４２）
　ステップＳ１４１において、カメラ撮影画像中の被写体が近すぎると判定した場合は、ステップＳ１４２に進む。
　ステップＳ１４２では、「（状態３）近接アラート出力状態」を継続する。
　なお、この状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「近接アラート［被写体が近すぎます］」、
　上記情報の表示処理を実行する。
　　（ステップＳ１４３）
　一方、ステップＳ１４１において、カメラ撮影画像中の被写体の距離がせ近すぎないと判定した場合は、ステップＳ１４３に進む。
　制御部は、ステップＳ１４３において、被写体の前に障害物があるか否かを判定する。
　この判定に必要な情報は、撮影条件情報５０、あるいは画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。
　ステップＳ１４３において、被写体の前に障害物があると判定した場合は、ステップＳ１４４に進む。
　障害物がないと判定した場合はステップＳ１４５に進む。
　　（ステップＳ１４４）
　ステップＳ１４３において、被写体の前に障害物があると判定した場合は、ステップＳ１４４に進む。
　ステップＳ１４４において、制御部は、現在の状態＝「（状態３）近接アラート出力状態」を、変更して、「（状態２）障害物アラート出力状態」に移行する。
　この（状態２）障害物アラート出力状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「障害物アラート［障害物があります］」、
　上記情報の表示処理を実行する。
　　（ステップＳ１４５）
　一方、ステップＳ１４３において、障害物がないと判定した場合は、ステップＳ１４５に進む。
　ステップＳ１４５において、制御部は、現在の状態＝「（状態３）近接アラート出力状態」を変更して、「（状態１）高画質合成画像出力可能状態」に移行する。
　この（状態１）高画質合成画像出力可能状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「合成処理＝ＯＮ［きれいに撮れます］」、
　上記情報の表示処理を実行する。
　なお、図２２に示すフローに従った処理は、画像処理装置の撮像部を介して入力される画像フレーム単位、あるいは所定の複数フレーム単位で繰り返し実行される。
　　［５．その他の実施例について］
　上述した実施例では、
　（ａ）カラー画像基準合成画像、
　（ｂ）白黒画像基準合成画像、さらに、
　（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
　（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
　これら４種類の画像のうち、最も高画質な画像はどれであるかの判定処理を実行して、高画質画像を出力することを可能とした構成例について説明した。
　本開示の構成は、これら４種類の画像の選択出力のみならず、例えば、
　合成画像、
　カラー画像、
　これら２種類の画像のみの選択出力構成にも適用可能である。
　その他、様々な２種類以上の異なる画像の選択出力構成に適用できる。
　また、本発明の構成を適用して出力が決定された画像以外の撮像部や、画像処理部を停止させることで、画像処理装置の消費電力を低減することが可能である。
　　［６．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、
　合成画像に関する補助情報を表示部に表示する制御を行う表示情報制御部を有する画像処理装置。
　（２）　前記表示情報制御部は、
　被写体が近すぎて高画質な合成画像を生成できない場合に、被写体に近すぎることを警告する近接アラートを前記表示部に表示する（１）に記載の画像処理装置。
　（３）　前記表示情報制御部は、
　被写体の前の障害物によって高画質な合成画像を生成できない場合に、被写体の前に障害物があることを警告する障害物アラートを前記表示部に表示する（１）または（２）に記載の画像処理装置。
　（４）　前記表示情報制御部は、
　高画質な合成画像を生成できる場合に、高画質な合成画像の撮影が可能であることを示す通知情報を前記表示部に表示する（１）～（３）いずれかに記載の画像処理装置。
　（５）　前記表示情報制御部は、
　現状の撮影条件が、高画質な合成画像の生成に適応しているか否かを示す合成画像適応レベルインジケータを前記表示部に表示する（１）～（４）いずれかに記載の画像処理装置。
　（６）　前記表示情報制御部は、
　合成画像と、合成前のカラー画像を含む複数画像を並列に前記表示部に表示する（１）～（５）いずれかに記載の画像処理装置。
　（７）　前記表示情報制御部は、
　一枚の画像を区分した区分領域単位で合成画像と合成前のカラー画像を含む複数画像を組み合わせた画像を前記表示部に表示する（１）～（５）いずれかに記載の画像処理装置。
　（８）　前記画像処理部は、
　ユーザによる画像指定情報に基づいて、合成画像と、合成前のカラー画像を含む複数画像から記録画像を選択出力する（１）～（７）いずれかに記載の画像処理装置。
　（９）　前記画像処理部は、
　高画質な合成画像が生成可能であるか否かを判定する画質判定部を有し、
　前記表示情報制御部は、
　前記画質判定部の判定情報に基づいて高画質な合成画像を生成可能とするためのガイド情報を前記表示部に表示する（１）～（８）いずれかに記載の画像処理装置。
　（１０）　前記画像処理装置は、
　（ａ）高画質な合成画像を撮影可能な状態であり、前記表示部に合成画像の撮影が可能であること示す表示を行う高画質合成画像出力可能状態、
　（ｂ）被写体の前に障害物があり高画質な合成画像を撮影できない状態であり、前記表示部に障害物があるとの警告表示を行う障害物アラート出力状態、
　（ｃ）被写体が近すぎて高画質な合成画像を撮影できない状態であり、前記表示部に被写体が近すぎるとの警告表示を行う近接アラート出力状態、
　上記（ａ）～（ｃ）の３状態を状況に応じて遷移する（１）～（９）いずれかに記載の画像処理装置。
　（１１）　画像処理装置において実行する出力情報制御方法であり、
　前記画像処理装置は、
　異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部を有し、
　表示情報制御部が、合成画像に関する補助情報を表示部に表示する制御を行う出力情報制御方法。
　（１２）　画像処理装置において情報出力処理を制御するプログラムであり、
　前記画像処理装置は、
　異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部を有し、
　前記プログラムは、表示情報制御部に、合成画像に関する補助情報を表示部に表示する制御を行わせるプログラム。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、高画質な合成画像を撮影可能とするためのガイド情報を出力し、さらに合成画像とカラー画像等を並列表示して記録画像のユーザ選択を可能とした装置、方法が実現される。
　具体的には、例えば、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、合成画像に関する補助情報を表示部に表示する制御を行う表示情報制御部を有する。表示情報制御部は、被写体が近すぎる場合や障害物により高画質な合成画像を生成できない場合、警告情報として近接アラートや、障害物アラートを出力し、さらに合成画像適応レベルを表示する。さらに、合成画像とカラー画像等を並列表示して記録画像のユーザ選択を可能とした。
　本構成により、高画質な合成画像を撮影可能とするためのガイド情報を出力し、さらに合成画像とカラー画像等を並列表示して記録画像のユーザ選択を可能とした装置、方法が実現される。
　　１０　画像処理装置
　　１１　表示部
　　１２　操作部
　　２１　カラー画像撮像部
　　２２　白黒画像撮像部
　　５０　撮影条件情報
　１００　画像処理装置
　１１０　撮像部
　１１１　カラー画像撮像部
　１１２　白黒画像撮像部
　１２０　画像処理部
　１２１，１２２　前処理部
　１２３　視差検出部
　１２４　特徴量算出部
　１２５　画質判定部
　１２６　合成画像生成部
　１２７　出力画像生成部（選択／合成）
　１３０　出力部
　１３１　表示部（タッチパネル）
　１３２　記憶部
　１４１　センサ部
　１４２　操作部
　１５０　制御部
　１６０　通信部
　３０１　合成画像撮影ガイド情報
　３０２　合成画像適応レベルインジケータ
　３０３　表示切り換え部
　４０１　表示情報制御部

Claims (12)

  1. 　異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、
    　合成画像に関する補助情報を表示部に表示する制御を行う表示情報制御部を有する画像処理装置。
  2. 　前記表示情報制御部は、
    　被写体が近すぎて高画質な合成画像を生成できない場合に、被写体に近すぎることを警告する近接アラートを前記表示部に表示する請求項１に記載の画像処理装置。
  3. 　前記表示情報制御部は、
    　被写体の前の障害物によって高画質な合成画像を生成できない場合に、被写体の前に障害物があることを警告する障害物アラートを前記表示部に表示する請求項１に記載の画像処理装置。
  4. 　前記表示情報制御部は、
    　高画質な合成画像を生成できる場合に、高画質な合成画像の撮影が可能であることを示す通知情報を前記表示部に表示する請求項１に記載の画像処理装置。
  5. 　前記表示情報制御部は、
    　現状の撮影条件が、高画質な合成画像の生成に適応しているか否かを示す合成画像適応レベルインジケータを前記表示部に表示する請求項１に記載の画像処理装置。
  6. 　前記表示情報制御部は、
    　合成画像と、合成前のカラー画像を含む複数画像を並列に前記表示部に表示する請求項１に記載の画像処理装置。
  7. 　前記表示情報制御部は、
    　一枚の画像を区分した区分領域単位で合成画像と合成前のカラー画像を含む複数画像を組み合わせた画像を前記表示部に表示する請求項１に記載の画像処理装置。
  8. 　前記画像処理部は、
    　ユーザによる画像指定情報に基づいて、合成画像と、合成前のカラー画像を含む複数画像から記録画像を選択出力する請求項１に記載の画像処理装置。
  9. 　前記画像処理部は、
    　高画質な合成画像が生成可能であるか否かを判定する画質判定部を有し、
    　前記表示情報制御部は、
    　前記画質判定部の判定情報に基づいて高画質な合成画像を生成可能とするためのガイド情報を前記表示部に表示する請求項１に記載の画像処理装置。
  10. 　前記画像処理装置は、
    　（ａ）高画質な合成画像を撮影可能な状態であり、前記表示部に合成画像の撮影が可能であること示す表示を行う高画質合成画像出力可能状態、
    　（ｂ）被写体の前に障害物があり高画質な合成画像を撮影できない状態であり、前記表示部に障害物があるとの警告表示を行う障害物アラート出力状態、
    　（ｃ）被写体が近すぎて高画質な合成画像を撮影できない状態であり、前記表示部に被写体が近すぎるとの警告表示を行う近接アラート出力状態、
    　上記（ａ）～（ｃ）の３状態を状況に応じて遷移する請求項１に記載の画像処理装置。
  11. 　画像処理装置において実行する出力情報制御方法であり、
    　前記画像処理装置は、
    　異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部を有し、
    　表示情報制御部が、合成画像に関する補助情報を表示部に表示する制御を行う出力情報制御方法。
  12. 　画像処理装置において情報出力処理を制御するプログラムであり、
    　前記画像処理装置は、
    　異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部を有し、
    　前記プログラムは、表示情報制御部に、合成画像に関する補助情報を表示部に表示する制御を行わせるプログラム。
PCT/JP2018/042408 2018-01-25 2018-11-16 画像処理装置、および出力情報制御方法、並びにプログラム WO2019146226A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020207019871A KR102638565B1 (ko) 2018-01-25 2018-11-16 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램
US16/961,028 US11159719B2 (en) 2018-01-25 2018-11-16 Image processing apparatus and output information control method
EP18902722.0A EP3745704B1 (en) 2018-01-25 2018-11-16 Image processing device, output information control method, and program
CN201880086889.6A CN111630837B (zh) 2018-01-25 2018-11-16 图像处理装置、输出信息控制方法以及程序
JP2019567873A JP7285791B2 (ja) 2018-01-25 2018-11-16 画像処理装置、および出力情報制御方法、並びにプログラム
US17/467,817 US11606496B2 (en) 2018-01-25 2021-09-07 Image processing apparatus and output information control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-010642 2018-01-25
JP2018010642 2018-01-25

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/961,028 A-371-Of-International US11159719B2 (en) 2018-01-25 2018-11-16 Image processing apparatus and output information control method
US17/467,817 Continuation US11606496B2 (en) 2018-01-25 2021-09-07 Image processing apparatus and output information control method

Publications (1)

Publication Number Publication Date
WO2019146226A1 true WO2019146226A1 (ja) 2019-08-01

Family

ID=67395370

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/042408 WO2019146226A1 (ja) 2018-01-25 2018-11-16 画像処理装置、および出力情報制御方法、並びにプログラム

Country Status (6)

Country Link
US (2) US11159719B2 (ja)
EP (1) EP3745704B1 (ja)
JP (1) JP7285791B2 (ja)
KR (1) KR102638565B1 (ja)
CN (1) CN111630837B (ja)
WO (1) WO2019146226A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
CN111630837B (zh) * 2018-01-25 2022-08-09 索尼半导体解决方案公司 图像处理装置、输出信息控制方法以及程序
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
CN110769152A (zh) * 2019-09-27 2020-02-07 华为技术有限公司 摄像处理方法、装置、终端设备及存储介质
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005223605A (ja) * 2004-02-05 2005-08-18 Sumitomo Electric Ind Ltd 画像処理方法、画像処理システムおよび画像処理装置
JP2007208346A (ja) * 2006-01-31 2007-08-16 Fujifilm Corp 撮像システムおよびその制御方法
JP2015197745A (ja) 2014-03-31 2015-11-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2017011504A (ja) * 2015-06-22 2017-01-12 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4193290B2 (ja) 1999-06-29 2008-12-10 コニカミノルタホールディングス株式会社 多眼式データ入力装置
JP3860552B2 (ja) * 2003-03-25 2006-12-20 富士通株式会社 撮影装置
JP2006067108A (ja) * 2004-08-25 2006-03-09 Ricoh Co Ltd 画像処理装置、ファクシミリ装置及び画像形成装置
US7469097B2 (en) * 2005-12-15 2008-12-23 Hewlett-Packard Development Company, L.P. Method and apparatus for coping with condition in which subject is too close to digital imaging device for acceptable focus
WO2010010521A2 (en) * 2008-07-24 2010-01-28 Koninklijke Philips Electronics N.V. Versatile 3-d picture format
JP2012023546A (ja) * 2010-07-14 2012-02-02 Jvc Kenwood Corp 制御装置、立体映像撮像装置、および制御方法
WO2012033005A1 (ja) 2010-09-08 2012-03-15 日本電気株式会社 撮影装置および撮影方法
US9208550B2 (en) * 2012-08-15 2015-12-08 Fuji Xerox Co., Ltd. Smart document capture based on estimated scanned-image quality
KR102145542B1 (ko) 2014-08-14 2020-08-18 삼성전자주식회사 촬영 장치, 복수의 촬영 장치를 이용하여 촬영하는 촬영 시스템 및 그 촬영 방법
US9414037B1 (en) * 2014-09-26 2016-08-09 Amazon Technologies, Inc. Low light image registration
US10536633B2 (en) 2015-02-06 2020-01-14 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging system and imaging apparatus including the same, and image processing method
CN111630837B (zh) * 2018-01-25 2022-08-09 索尼半导体解决方案公司 图像处理装置、输出信息控制方法以及程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005223605A (ja) * 2004-02-05 2005-08-18 Sumitomo Electric Ind Ltd 画像処理方法、画像処理システムおよび画像処理装置
JP2007208346A (ja) * 2006-01-31 2007-08-16 Fujifilm Corp 撮像システムおよびその制御方法
JP2015197745A (ja) 2014-03-31 2015-11-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2017011504A (ja) * 2015-06-22 2017-01-12 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3745704A4

Also Published As

Publication number Publication date
EP3745704A4 (en) 2021-01-06
CN111630837A (zh) 2020-09-04
EP3745704A1 (en) 2020-12-02
US20210067695A1 (en) 2021-03-04
KR20200110320A (ko) 2020-09-23
JPWO2019146226A1 (ja) 2021-02-04
US20210409597A1 (en) 2021-12-30
CN111630837B (zh) 2022-08-09
EP3745704B1 (en) 2024-03-06
US11606496B2 (en) 2023-03-14
US11159719B2 (en) 2021-10-26
JP7285791B2 (ja) 2023-06-02
KR102638565B1 (ko) 2024-02-19

Similar Documents

Publication Publication Date Title
WO2019146226A1 (ja) 画像処理装置、および出力情報制御方法、並びにプログラム
CN108028895B (zh) 有缺陷的图像传感器元件的校准
KR102266649B1 (ko) 이미지 처리 방법 및 장치
JP4904440B2 (ja) 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
US9113059B2 (en) Image pickup apparatus and image region discrimination method
US10992854B2 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium
JP6223059B2 (ja) 撮像装置、その制御方法およびプログラム
WO2019146418A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2013032008A1 (ja) 画像処理装置、プログラム
JP2010268426A (ja) 画像処理装置、画像処理方法およびプログラム
WO2019146419A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2010093336A (ja) 撮像装置および補間処理方法
JP2018054815A (ja) 領域判別装置、その制御方法、および制御プログラム、並びに撮像装置
WO2015156045A1 (ja) 画像処理装置、撮像装置および撮像方法
JP2017182668A (ja) データ処理装置、撮像装置、及びデータ処理方法
US9635330B2 (en) Image processing device, image processing method, and program
JP5854801B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011160204A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18902722

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019567873

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018902722

Country of ref document: EP

Effective date: 20200825