WO2012020558A1 - 画像処理装置、画像処理方法、表示装置、表示方法およびプログラム - Google Patents

画像処理装置、画像処理方法、表示装置、表示方法およびプログラム Download PDF

Info

Publication number
WO2012020558A1
WO2012020558A1 PCT/JP2011/004423 JP2011004423W WO2012020558A1 WO 2012020558 A1 WO2012020558 A1 WO 2012020558A1 JP 2011004423 W JP2011004423 W JP 2011004423W WO 2012020558 A1 WO2012020558 A1 WO 2012020558A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
distance
subject
region
Prior art date
Application number
PCT/JP2011/004423
Other languages
English (en)
French (fr)
Inventor
井上　英也
博久 太平
浩司 山垣
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2010179143A external-priority patent/JP5556493B2/ja
Priority claimed from JP2010179144A external-priority patent/JP5556494B2/ja
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201180039376.8A priority Critical patent/CN103069814B/zh
Publication of WO2012020558A1 publication Critical patent/WO2012020558A1/ja
Priority to US13/762,391 priority patent/US9488841B2/en
Priority to US15/286,588 priority patent/US10462455B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects

Definitions

  • the present invention relates to an image processing device, an image processing method, a display device, a display method, and a program.
  • the stereoscopic image display device an image with a sense of perspective is shown to the viewer by giving an image with parallax to the left and right eyes of the viewer.
  • Patent Document 1 Japanese Patent Laid-Open No. 6-324620
  • Patent Document 2 Japanese Patent Laid-Open No. 2004-289527
  • the display apparatus which displays a three-dimensional image can apply a three-dimensional image with the three-dimensional feeling which each person feels appropriately.
  • the three-dimensional feeling felt by each person is different, it is difficult to provide an image that feels an appropriate three-dimensional feeling to all people in common.
  • an object of one aspect of the present invention is to provide an image processing device, an image processing method, a display device, a display method, and a program that can solve the above-described problems.
  • This object is achieved by a combination of features described in the independent claims.
  • the dependent claims define further advantageous specific examples of the present invention.
  • a detection unit that detects a subject distance in each region of the captured image, and a subject distance detected for each region of the captured image
  • An image processing apparatus, an image processing method, and a program are provided that include an image processing unit that changes the sense of distance of an image in the region.
  • a display unit that displays an image that gives a three-dimensional effect to the viewer, and an emphasis amount of the three-dimensional effect in the image displayed by the display unit according to the setting by the viewer
  • a display device and a display method and program.
  • FIG. 1 shows a configuration of an image processing apparatus 10 according to a first embodiment.
  • An example of the original captured image before image processing is performed by the image processing apparatus 10 according to the first embodiment is shown.
  • An example of the captured image after image processing is performed by the image processing apparatus 10 according to the first embodiment is shown.
  • An example of the structure of the detection part 14 which concerns on 1st Embodiment is shown.
  • the structure of the image processing apparatus 10 which concerns on the modification of 1st Embodiment is shown.
  • the structure of the display apparatus 50 which concerns on 2nd Embodiment is shown.
  • the structure of the display apparatus 50 which concerns on the modification of 2nd Embodiment is shown.
  • 2 shows an exemplary hardware configuration of a computer 1900 according to the present embodiment.
  • FIG. 1 shows a configuration of an image processing apparatus 10 according to the first embodiment.
  • the image processing apparatus 10 according to the first embodiment performs image processing on a captured image captured by a camera.
  • the image processing apparatus 10 is provided in an image input stage of a display device. Further, the image processing apparatus 10 may be provided in the image output stage of the camera.
  • the image processing apparatus 10 includes an input unit 12, a detection unit 14, a distance information acquisition unit 16, an image processing unit 18, and an output unit 20.
  • the input unit 12 inputs a captured image captured by the camera.
  • the input unit 12 may read a captured image stored in a recording medium, or may demodulate a captured image transmitted from a broadcasting station or the like.
  • the detection unit 14 detects the subject distance in each area of the captured image.
  • the subject distance indicates the distance from the camera to the subject at the time of imaging.
  • the detection unit 14 calculates the subject distance in the region according to the ratio of the blue component of each region in the captured image. For example, a subject with a long subject distance when a landscape is imaged appears with a greater proportion of the blue component than the original subject color due to the influence of the air layer from the camera to the subject. Therefore, the detection unit 14 can estimate the subject distance in the region according to the ratio of the blue component included in each region in the captured image.
  • the detection unit 14 calculates the average color of each region in the captured image, analyzes the calculated average color, and calculates the ratio of the blue component included in the average color. For example, the detection unit 14 determines that the subject distance is farther as the ratio of the blue component is larger for each region, and performs a process of estimating the subject distance of the region.
  • the detection unit 14 may calculate the subject distance of the subject according to the spatial frequency of the contour of the subject displayed in the captured image. For example, a subject with a long subject distance when a landscape is imaged is greatly blurred due to an air layer between the camera and the subject. Therefore, the detection unit 14 can estimate the subject distance in the region according to the spatial frequency of the contour of the subject included in each region in the captured image.
  • the detection unit 14 extracts the edge portion of each subject in each region in the captured image, and calculates the spatial frequency of the extracted edge. For example, the detection unit 14 determines that the subject distance is farther as the spatial frequency is lower for each region, and performs a process of estimating the subject distance of the region.
  • the distance information acquisition unit 16 acquires distance information indicating the subject distance in each region measured by the camera when the captured image is captured.
  • the distance information acquisition unit 16 acquires two-dimensional information called a depth map that represents a distance from the camera to the surface of the subject in the screen.
  • the image processing unit 18 changes the sense of distance of the image of the region according to the subject distance detected for each region of the captured image.
  • the image processing unit 18 changes the sense of distance of the image of the region by changing the ratio of the blue component of each region according to the subject distance detected by the detection unit 14 for each region of the captured image. To do.
  • the image processing unit 18 increases the amount of blue component corresponding to the detected subject distance for each region of the captured image.
  • the image processing unit 18 may set a reference value of the subject distance in advance and increase the ratio of the blue component included in the region where the detected subject distance is larger than the reference value. For example, the image processing unit 18 sets two reference values of 1 km and 10 km. Then, the image processing unit 18 increases the ratio of the blue component by increasing the ratio of the blue component by 20% for the region where the subject distance is 1 km to 10 km, and increasing the ratio of the blue component by 40% for the region of 10 km or more. Increase.
  • the image processing unit 18 blurs each region according to the subject distance detected by the detection unit 14 for each region of the captured image, thereby changing the sense of distance of the image in the region. For example, the image processing unit 18 blurs the image with a blur amount corresponding to the detected subject distance for each region of the captured image.
  • the image processing unit 18 may set a reference value of the subject distance in advance and blur an image in a region where the detected subject distance is larger than the reference value. For example, the image processing unit 18 sets two reference values of 1 km and 10 km. Then, the image processing unit 18 blurs the image with the first blurring degree for the region where the subject distance is 1 km to 10 km, and the image with the second blurring degree larger than the first blurring degree for the region with the distance of 10 km or more. Blur the image, such as blurring.
  • the image processing unit 18 can increase the difference in the sense of distance between the region with a short subject distance and the region with a long subject distance. Thereby, the image processing unit 18 can emphasize the perspective of the captured image.
  • the image processing unit 18 may further change the sense of distance of each region of the captured image by further using the distance information acquired by the distance information acquiring unit 16. For example, for an area in which the distance acquired by the distance information acquisition unit 16 is longer than a predetermined distance, the image processing unit 18 determines the distance of the image in the area according to the subject distance detected by the detection unit 14. Change the feeling. For example, for the region detected by the distance information acquisition unit 16 as infinity, the image processing unit 18 changes the sense of distance of the image in the region according to the subject distance detected by the detection unit 14.
  • Change the sense of distance of the image For example, for the region where the distance information acquisition unit 16 detects a distance that is not infinity, the image processing unit 18 gives a sense of distance of the image in the region according to the subject distance detected by the distance information acquisition unit 16. change.
  • the image processing unit 18 can change the sense of distance of the image based on a wider range of the subject distance, and can further enhance the sense of perspective.
  • the output unit 20 outputs the captured image subjected to the image processing by the image processing unit 18 to the outside.
  • the output unit 20 outputs a captured image in which the perspective is emphasized to the monitor.
  • the output unit 20 stores a captured image in which a sense of perspective is emphasized in a storage medium.
  • FIG. 2 shows an example of an original captured image before image processing is performed by the image processing apparatus 10 according to the first embodiment.
  • FIG. 3 shows an example of a captured image after image processing is performed by the image processing apparatus 10 according to the first embodiment.
  • a cross indicates a region where the ratio of the blue component is increased.
  • the image processing apparatus 10 increases the ratio of the blue component with respect to, for example, a mountain (distant view) and a sky (super distant view) included in the image illustrated in FIG. Furthermore, the image processing apparatus 10 increases the ratio of the blue component more greatly in the sky (super far view) area where the subject distance is farther than in the mountain (distant view) area.
  • the image processing apparatus 10 may blur the mountain (far view) and the sky (super far view) in addition to or instead of increasing the ratio of the blue component. Also in this case, the image processing apparatus 10 blurs the image with a larger blur amount in the sky (super far view) area where the subject distance is farther than in the mountain (distant view) area.
  • Such an image processing apparatus 10 can make the difference in distance between a region where the subject distance is close and a region far in the captured image feel larger. Thereby, according to the image processing apparatus 10, it is possible to emphasize the perspective in the captured image without changing the contour and composition of the subject in the captured image captured by the camera.
  • FIG. 4 shows an example of the configuration of the detection unit 14 according to the first embodiment.
  • the detection unit 14 includes a determination unit 22, a blue component detection unit 24, a blue component storage unit 26, and a calculation unit 28.
  • the discrimination unit 22 discriminates the type of subject in each area in the captured image. As an example, the determination unit 22 compares an image pattern registered in advance with a subject included in the captured image to determine what type of subject is included in the captured image.
  • the blue component detection unit 24 detects the ratio of the blue component of each region in the captured image. As an example, the blue component detection unit 24 calculates the average color of each region for each region, analyzes the calculated color of the average color, and calculates the ratio of the blue component included in the average color.
  • the blue component storage unit 26 stores the proportion of the blue component that should be included in the image for each type of subject.
  • the blue component storage unit 26 stores, for each of the types of subjects that can be detected by the determination unit 22, the ratio of the blue component originally included in the surface color of the subject of that type.
  • the blue component storage unit 26 stores a value registered in advance by a user or the like.
  • the calculation unit 28 reads, from the blue component storage unit 26, the ratio of the blue component of the type of subject determined by the determination unit 22 for each region in the captured image. Subsequently, the calculation unit 28 detects the ratio of the blue component of the type of subject determined by the determination unit 22 out of the ratio of the blue component for each subject stored in the blue component storage unit 26 and the blue component detection unit 24. The difference from the ratio of the blue component is calculated. Then, the calculation unit 28 calculates the subject distance in the area based on the calculated difference.
  • the calculation unit 28 determines whether the difference obtained by subtracting the ratio of the blue component for each subject stored in the blue component storage unit 26 from the ratio of the blue component detected by the blue component detection unit 24 is greater than or equal to the reference value. Calculate whether or not. Then, when the difference is smaller than the reference value, the calculation unit 28 determines that the subject distance is equal to or less than the reference distance. Further, the calculation unit 28 determines that the subject distance is equal to or greater than the reference distance when the calculated difference is equal to or greater than the reference value.
  • Such a detection unit 14 can accurately detect the subject distance when a pre-registered type of subject is included in the captured image.
  • FIG. 5 shows a configuration of the image processing apparatus 10 according to a modification of the first embodiment.
  • the image processing apparatus 10 according to the present modification employs substantially the same configuration and function as the image processing apparatus 10 illustrated in FIG. 1, and is therefore the same as the member having substantially the same configuration and function as those illustrated in FIG. 1.
  • a reference numeral is attached, and the description will be omitted except for differences.
  • the image processing apparatus 10 further includes a position information acquisition unit 32 and a weather condition acquisition unit 34.
  • the position information acquisition unit 32 acquires position information indicating the position where the captured image is captured.
  • a camera including a GPS (Global Positioning System) receiver can output a captured image to which position information indicating an imaging position is added.
  • the position information acquisition unit 32 acquires position information included in the captured image output from such a camera.
  • the weather condition acquisition unit 34 acquires the weather condition at the time of capturing the captured image based on the imaging date and time of the captured image and the position information acquired by the position information acquisition unit 32.
  • the camera can output a captured image with the imaging date and time added.
  • the position information acquisition unit 32 acquires the imaging date and time included in the captured image output from such a camera.
  • the weather condition acquisition part 34 acquires the weather condition of the land shown by the positional information acquired by the positional information acquisition part 32 in the acquired imaging date, for example via a network.
  • the detection unit 14 detects the subject distance in each region of the captured image according to the weather condition acquired by the weather condition acquisition unit 34. For example, when the weather condition at the time of capturing a captured image is “clear”, the air is clear, so that the contour of a subject with a long subject distance is clearly captured. On the other hand, when the weather condition at the time of capturing the captured image is “rain” or the like, the air is stagnant, so that the contour of the subject with a long subject distance is imaged unclearly. Therefore, as an example, in the subject distance estimation process based on the spatial frequency of the contour of the subject, the detection unit 14 sets the weather condition to “rain” when the weather condition is “clear” even if the spatial frequency is the same. The subject distance is estimated to be shorter than in the case of the above.
  • the detection unit 14 calculates the subject distance in each region of the captured image according to the position information acquired by the position information acquisition unit 32. It may be detected. For example, there is a place where the air is clear and a place where it is stagnant depending on the location where the captured image is captured. In a place where the air is clear (for example, outside the city), the outline of a subject with a long subject distance is clearly imaged. On the contrary, the place where the air is stagnant (for example, the city) and the outline of the subject with a long subject distance are imaged unclearly.
  • the detection unit 14 is in the case of a shooting place (for example, other than a city) where the air is clear even at the same spatial frequency.
  • the subject distance is estimated to be shorter than that in a shooting place where the air is stagnant (for example, a city).
  • the image processing apparatus 10 can detect the subject distance more accurately and can accurately emphasize the perspective in the captured image.
  • the detection unit 14 may detect the subject distance in each region of the plurality of captured images based on a plurality of captured images captured with different settings of the focus distance with respect to the same subject.
  • the detection unit 14 detects a focused area in the screen for each of the plurality of captured images.
  • the detection unit 14 estimates the subject distance of the focused area in the screen from the focus distances of the plurality of captured images.
  • the detection part 14 can produce
  • the detection unit 14 may detect the subject distance in each region of the plurality of captured images based on the plurality of captured images captured with different settings of the aperture.
  • the range where the plurality of captured images are focused on the screen gradually expands as the aperture changes from the open state to the closed state. Therefore, as an example, the detection unit 14 estimates the subject distance of each region in the screen by comparing the range in focus on the screen for each of the plurality of captured images. Thereby, the detection part 14 can produce
  • FIG. 6 shows a configuration of the display device 50 according to the second embodiment.
  • the display device 50 displays an image that gives the viewer a stereoscopic effect.
  • the display device 50 displays an image for the right eye given to the right eye of the viewer and an image for the left eye given to the left eye as an image that gives the viewer a stereoscopic effect.
  • the right-eye image and the left-eye image are images with parallax in the left-right direction, and are given to the right eye and the left eye of the viewer so that the viewer can feel a stereoscopic effect.
  • the display device 50 includes an input unit 54, an image enhancement unit 56, a display unit 58, and a change unit 60.
  • the input unit 54 inputs an image that gives the viewer a stereoscopic effect from the outside.
  • the input unit 54 inputs an image reproduced from a storage medium or an image obtained by demodulating a broadcast signal.
  • the input unit 54 inputs a right-eye image to be given to the observer's right eye and a left-eye image to be given to the observer's left eye.
  • the image enhancement unit 56 performs image processing on the image input by the input unit 54 to enhance or reduce the stereoscopic effect that the viewer feels when viewing. Note that, when the enhancement level is not set, the image enhancement unit 56 may output the image as it is without performing any image processing on the image input by the input unit 54.
  • the display unit 58 displays an image that gives a three-dimensional effect to the viewer output from the image enhancement unit 56.
  • the display unit 58 displays a right-eye image and a left-eye image as images that give the viewer a stereoscopic effect.
  • the display unit 58 includes, for example, a monitor and dedicated glasses.
  • the monitor displays a right eye image and a left eye image.
  • the dedicated glasses give the right-eye image displayed on the monitor only to the viewer's right eye, and give the left-eye image displayed on the monitor only to the viewer's left eye. Thereby, the display part 58 can make a viewer feel a three-dimensional effect.
  • the changing unit 60 changes the emphasis amount of the stereoscopic effect in the image displayed by the display unit 58 according to the setting by the viewer. Specifically, the changing unit 60 changes the parameters for image processing by the image enhancing unit 56 and controls the enhancement amount of the stereoscopic effect.
  • the image enhancement unit 56 enhances or weakens the stereoscopic effect in the image by performing the following image processing.
  • the image enhancement unit 56 increases the proportion of the blue component of the image according to the subject distance. Conversely, when the stereoscopic effect is weakened, the image enhancement unit 56 reduces the proportion of the blue component of the image according to the subject distance. In this case, the image enhancement unit 56 increases or decreases the ratio of the blue component larger as the subject is farther away. Thereby, the image enhancement unit 56 can enhance or weaken the stereoscopic effect of the captured image.
  • the changing unit 60 changes the enhancement amount of the ratio of the blue component to the subject by the image enhancement unit 56 according to the setting of the viewer. That is, the changing unit 60 changes the amount of increase or decrease of the blue component ratio according to the setting of the viewer. Thereby, the change part 60 can change the three-dimensional effect of a captured image according to a viewer's setting.
  • the image enhancing unit 56 may increase the blur of the image according to the subject distance. Conversely, when the stereoscopic effect is weakened, the image enhancement unit 56 may reduce the blur of the image according to the subject distance. In this case, the image emphasizing unit 56 increases or decreases the amount of blur larger for a subject with a longer subject distance. Thereby, the image enhancement unit 56 can enhance or weaken the stereoscopic effect of the captured image.
  • the changing unit 60 changes the amount of blur enhancement applied to the subject by the image enhancing unit 56 according to the setting of the viewer. That is, the changing unit 60 changes the amount of increase or decrease in the amount of blur of the image according to the setting of the viewer. Thereby, the change part 60 can change the three-dimensional effect of a captured image according to a viewer's setting.
  • the image enhancement unit 56 sets the inter-image distance between the display position of the right eye image and the display position of the left eye image of the same subject as the subject distance of the subject. It may be increased accordingly. Conversely, when the stereoscopic effect is weakened, the image enhancement unit 56 may reduce the inter-image distance according to the subject distance. In this case, the image enhancement unit 56 increases or decreases the inter-image distance larger as the subject has a longer subject distance. Thereby, the image enhancement unit 56 can enhance or weaken the stereoscopic effect of the captured image.
  • the change unit 60 changes the enhancement amount of the inter-image distance with respect to the subject by the image enhancement unit 56 according to the setting of the viewer. That is, the change unit 60 changes the increase amount or the decrease amount of the inter-image distance according to the setting of the viewer. Thereby, the change part 60 can change the three-dimensional effect of a captured image according to a viewer's setting.
  • the display device 50 can freely change the degree to which the viewer feels a stereoscopic effect. Thereby, according to the display apparatus 50, the stereo image which gives a suitable three-dimensional effect with respect to each person can be provided.
  • the captured images shown in FIGS. 2 and 3 include, for example, a person (near view), a house (middle view), a mountain (distant view), and a sky (super distant view).
  • the image shown in FIG. 2 is an example of an original captured image before image processing is performed by the image enhancement unit 56 according to the second embodiment.
  • the image shown in FIG. 3 is an example of a captured image after image processing is performed by the image enhancement unit 56 according to the second embodiment.
  • a cross indicates a region where the ratio of the blue component is increased.
  • the image enhancement unit 56 increases the ratio of the blue component with respect to, for example, a mountain (distant view) and a sky (super distant view) included in the image illustrated in FIG. Further, the image enhancement unit 56 increases the ratio of the blue component to a larger area in the sky (super far view) where the subject distance is farther than in the mountain (distant view) area.
  • the image enhancement unit 56 may blur the mountain (far view) and the sky (super far view) in addition to or instead of increasing the ratio of the blue component. Also in this case, the image emphasizing unit 56 blurs the image with a larger blur amount in the sky (super far view) area where the subject distance is farther than in the mountain (distant view) area.
  • Such an image emphasizing unit 56 can make the difference in distance between a region with a close subject distance and a region with a long distance in the captured image feel larger. Thereby, according to the image emphasis part 56, the perspective in a captured image can be emphasized and the stereoscopic effect of an image can be emphasized.
  • FIG. 7 shows a configuration of a display device 50 according to a modification of the second embodiment. Since the display device 50 according to this modification employs substantially the same configuration and function as the display device 50 shown in FIG. 6, members having substantially the same configuration and function as those shown in FIG. The description will be omitted except for the differences.
  • the display device 50 further includes a detection unit 70.
  • the detection unit 70 detects the subject distance for each area of the image to be displayed by the display unit 58.
  • the detection unit 70 detects the inter-image distance between the display position of the right-eye image and the display position of the left-eye image in the same subject.
  • the detection unit 70 can estimate the subject distance of each region by detecting the inter-image distance in each region in the screen for the right-eye image and the left-eye image input by the input unit 54. .
  • the image enhancement unit 56 increases the difference in image display distance in the image displayed by the display unit 58 and increases the stereoscopic effect as the difference in subject distance detected by the detection unit 70 increases. Increase the amount of emphasis. Thereby, the image enhancement unit 56 can perform stepwise enhancement according to the subject distance.
  • the changing unit 60 may perform calibration prior to displaying an image. Specifically, the changing unit 60 displays an image that generates a different three-dimensional effect on the display unit 58, and executes calibration for allowing the viewer to select the emphasis amount of the three-dimensional effect.
  • the image enhancement unit 56 enhances the image output from the input unit 54 by the enhancement amount of the stereoscopic effect selected by the viewer. Then, the display unit 58 displays the image emphasized by the image enhancement unit 56. Thereby, the change part 60 can observe an image with a suitable three-dimensional effect for an observer.
  • the display device 50 according to the second embodiment may further include the function of the image processing device 10 according to the first embodiment. Accordingly, the display device 50 according to the second embodiment can enhance the perspective of the captured image and can provide a stereoscopic image that gives an appropriate stereoscopic effect to each person.
  • FIG. 8 shows an example of a hardware configuration of a computer 1900 according to this embodiment.
  • a computer 1900 according to this embodiment is connected to a CPU peripheral unit having a CPU 2000, a RAM 2020, a graphic controller 2075, and a display device 2080 that are connected to each other by a host controller 2082, and to the host controller 2082 by an input / output controller 2084.
  • Input / output unit having communication interface 2030, hard disk drive 2040, and CD-ROM drive 2060, and legacy input / output unit having ROM 2010, flexible disk drive 2050, and input / output chip 2070 connected to input / output controller 2084 With.
  • the host controller 2082 connects the RAM 2020 to the CPU 2000 and the graphic controller 2075 that access the RAM 2020 at a high transfer rate.
  • the CPU 2000 operates based on programs stored in the ROM 2010 and the RAM 2020 and controls each unit.
  • the graphic controller 2075 acquires image data generated by the CPU 2000 or the like on a frame buffer provided in the RAM 2020 and displays it on the display device 2080.
  • the graphic controller 2075 may include a frame buffer for storing image data generated by the CPU 2000 or the like.
  • the input / output controller 2084 connects the host controller 2082 to the communication interface 2030, the hard disk drive 2040, and the CD-ROM drive 2060, which are relatively high-speed input / output devices.
  • the communication interface 2030 communicates with other devices via a network.
  • the hard disk drive 2040 stores programs and data used by the CPU 2000 in the computer 1900.
  • the CD-ROM drive 2060 reads a program or data from the CD-ROM 2095 and provides it to the hard disk drive 2040 via the RAM 2020.
  • the ROM 2010, the flexible disk drive 2050, and the relatively low-speed input / output device of the input / output chip 2070 are connected to the input / output controller 2084.
  • the ROM 2010 stores a boot program that the computer 1900 executes at startup and / or a program that depends on the hardware of the computer 1900.
  • the flexible disk drive 2050 reads a program or data from the flexible disk 2090 and provides it to the hard disk drive 2040 via the RAM 2020.
  • the input / output chip 2070 connects the flexible disk drive 2050 to the input / output controller 2084 and inputs / outputs various input / output devices via, for example, a parallel port, a serial port, a keyboard port, a mouse port, and the like. Connect to controller 2084.
  • the program provided to the hard disk drive 2040 via the RAM 2020 is stored in a recording medium such as the flexible disk 2090, the CD-ROM 2095, or an IC card and provided by the user.
  • the program is read from the recording medium, installed in the hard disk drive 2040 in the computer 1900 via the RAM 2020, and executed by the CPU 2000.
  • a program installed in the computer 1900 and causing the computer 1900 to function as the image processing apparatus 10 according to the first embodiment includes an input module, a detection module, a distance information acquisition module, an image processing module, and an output module. These programs or modules work on the CPU 2000 or the like to cause the computer 1900 to function as the input unit 12, the detection unit 14, the distance information acquisition unit 16, the image processing unit 18, and the output unit 20, respectively.
  • the information processing described in these programs is read by the computer 1900, whereby the input unit 12, the detection unit 14, and distance information acquisition, which are specific means in which the software and the various hardware resources described above cooperate. Functions as the unit 16, the image processing unit 18, and the output unit 20. And the specific image processing apparatus 10 according to the intended use is constructed
  • a program that is installed in the computer 1900 and causes the computer 1900 to function as the display device 50 according to the second embodiment includes an input module, an image enhancement module, a display module, and a change module. These programs or modules work on the CPU 2000 or the like to cause the computer 1900 to function as the input unit 54, the image enhancement unit 56, the display unit 58, and the change unit 60, respectively.
  • the information processing described in these programs is read by the computer 1900, whereby the input unit 54, the image enhancement unit 56, and the display unit, which are specific means in which the software and the various hardware resources described above cooperate. 58 and the change unit 60. And the specific display apparatus 50 according to the intended purpose is constructed
  • the CPU 2000 executes a communication program loaded on the RAM 2020 and executes a communication interface based on the processing content described in the communication program.
  • a communication process is instructed to 2030.
  • the communication interface 2030 reads transmission data stored in a transmission buffer area or the like provided on a storage device such as the RAM 2020, the hard disk drive 2040, the flexible disk 2090, or the CD-ROM 2095, and sends it to the network.
  • the reception data transmitted or received from the network is written into a reception buffer area or the like provided on the storage device.
  • the communication interface 2030 may transfer transmission / reception data to / from the storage device by a DMA (direct memory access) method. Instead, the CPU 2000 transfers the storage device or the communication interface 2030 as a transfer source.
  • the transmission / reception data may be transferred by reading the data from the data and writing the data to the communication interface 2030 or the storage device of the transfer destination.
  • the CPU 2000 is all or necessary from among files or databases stored in an external storage device such as a hard disk drive 2040, a CD-ROM drive 2060 (CD-ROM 2095), and a flexible disk drive 2050 (flexible disk 2090). These parts are read into the RAM 2020 by DMA transfer or the like, and various processes are performed on the data on the RAM 2020. Then, CPU 2000 writes the processed data back to the external storage device by DMA transfer or the like. In such processing, since the RAM 2020 can be regarded as temporarily holding the contents of the external storage device, in the present embodiment, the RAM 2020 and the external storage device are collectively referred to as a memory, a storage unit, or a storage device.
  • the CPU 2000 can also hold a part of the RAM 2020 in the cache memory and perform reading and writing on the cache memory. Even in such a form, the cache memory bears a part of the function of the RAM 2020. Therefore, in the present embodiment, the cache memory is also included in the RAM 2020, the memory, and / or the storage device unless otherwise indicated. To do.
  • the CPU 2000 performs various operations, such as various operations, information processing, condition determination, information search / replacement, etc., described in the present embodiment, specified for the data read from the RAM 2020 by the instruction sequence of the program. Is written back to the RAM 2020. For example, when performing the condition determination, the CPU 2000 determines whether or not the various variables shown in the present embodiment satisfy the conditions such as large, small, above, below, equal, etc., compared to other variables or constants. If the condition is satisfied (or not satisfied), the program branches to a different instruction sequence or calls a subroutine.
  • the CPU 2000 can search for information stored in a file or database in the storage device. For example, in the case where a plurality of entries in which the attribute value of the second attribute is associated with the attribute value of the first attribute are stored in the storage device, the CPU 2000 displays the plurality of entries stored in the storage device. The entry that matches the condition in which the attribute value of the first attribute is specified is retrieved, and the attribute value of the second attribute that is stored in the entry is read, thereby associating with the first attribute that satisfies the predetermined condition The attribute value of the specified second attribute can be obtained.
  • the program or module shown above may be stored in an external recording medium.
  • an optical recording medium such as DVD or CD
  • a magneto-optical recording medium such as MO
  • a tape medium such as an IC card, and the like
  • a storage device such as a hard disk or RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the computer 1900 via the network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　撮像画像における遠近感を強調する。撮像画像の各領域における被写体距離を検出する検出部と、撮像画像の各領域に対して検出した被写体距離に応じて、当該領域の画像の距離感を変更する画像処理部と、を備える画像処理装置を提供する。画像処理部は、一例として、検出した被写体距離が基準値より大きい領域に含まれる青成分の割合を大きくしてもよい。また、画像処理部は、一例として、検出した被写体距離が基準値より大きい領域の画像をぼかしてもよい。

Description

画像処理装置、画像処理方法、表示装置、表示方法およびプログラム
　本発明は、画像処理装置、画像処理方法、表示装置、表示方法およびプログラムに関する。
　立体画像表示装置では、観視者の左右の眼に視差のある画像を与えることにより、遠近感のある画像を観視者に見せている。また、立体画像を見た人が感じる立体感には個人差がある。つまり、同一の３Ｄコンテンツが表示された場合であっても、立体感を強く感じる人もいれば、立体感をほとんど感じない人もいる。
　特許文献１　特開平６－３２４６２０号公報
　特許文献２　特開２００４－２８９５２７
　ところで、立体画像表示装置において、外部から入力した画像に対して更に遠近感を強調したり弱めたりする処理を行ってから画像を表示することは行われていなかった。また、立体画像を表示する表示装置は、各人が適切に感じる立体感で、立体画像を適用できることが好ましい。しかしながら、各人が感じる立体感は異なるので、適切な立体感を感じる画像を全ての人に対して共通に提供することは難しい。
　そこで本発明の１つの側面においては、上記の課題を解決することのできる画像処理装置、画像処理方法、表示装置、表示方法およびプログラムを提供することを目的とする。この目的は請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
　上記課題を解決するために、本発明の第１の態様においては、撮像画像の各領域における被写体距離を検出する検出部と、前記撮像画像の各領域に対して検出した被写体距離に応じて、当該領域の画像の距離感を変更する画像処理部と、を備える画像処理装置、並びに、画像処理方法およびプログラムを提供する。
　本発明の第２の態様においては、観視者に立体感を与える画像を表示する表示部と、観視者による設定に応じて、前記表示部により表示される前記画像における立体感の強調量を変更する変更部と、を備える表示装置、並びに、表示方法およびプログラムを提供する。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
第１実施形態に係る画像処理装置１０の構成を示す。 第１実施形態に係る画像処理装置１０により画像処理がされる前の元の撮像画像の一例を示す。 第１実施形態に係る画像処理装置１０により画像処理がされた後の撮像画像の一例を示す。 第１実施形態に係る検出部１４の構成の一例を示す。 第１実施形態の変形例に係る画像処理装置１０の構成を示す。 第２実施形態に係る表示装置５０の構成を示す。 第２実施形態の変形例に係る表示装置５０の構成を示す。 本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、第１実施形態に係る画像処理装置１０の構成を示す。第１実施形態にかかる画像処理装置１０は、カメラにより撮像された撮像画像に対して画像処理を施す。画像処理装置１０は、一例として、表示装置の画像入力段に備えられる。また、画像処理装置１０は、カメラの画像出力段に設けられてもよい。
　画像処理装置１０は、入力部１２と、検出部１４と、距離情報取得部１６と、画像処理部１８と、出力部２０とを備える。入力部１２は、カメラにより撮像された撮像画像を入力する。入力部１２は、一例として、記録媒体に格納された撮像画像を読み出してもよいし、放送局等から送信された撮像画像を復調してもよい。
　検出部１４は、撮像画像の各領域における被写体距離を検出する。被写体距離とは、撮像時におけるカメラから被写体までの距離を示す。
　検出部１４は、一例として、撮像画像における各領域の青成分の割合に応じて当該領域における被写体距離を算出する。例えば風景を撮像した場合における被写体距離が遠い被写体は、カメラから当該被写体までの間の空気の層の影響により、本来の被写体の色よりも青成分の割合が多くなって映る。従って、検出部１４は、撮像画像内の各領域に含まれている青成分の割合に応じて当該領域における被写体距離を推定することができる。
　検出部１４は、一例として、撮像画像における各領域のそれぞれの平均色を算出し、算出した平均色の色彩を解析して当該平均色が含んでいる青成分の割合を算出する。そして、検出部１４は、一例として、それぞれの領域について、青成分の割合が多いほど被写体距離が遠いと判断して、当該領域の被写体距離を推定する処理を行う。
　また、検出部１４は、撮像画像に表示された被写体の輪郭の空間周波数に応じて、当該被写体の被写体距離を算出してもよい。例えば風景を撮像した場合における被写体距離が遠い被写体は、カメラから当該被写体までの間の空気の層の影響により、ボケが大きくなる。従って、検出部１４は、撮像画像内の各領域に含まれている被写体の輪郭の空間周波数に応じて当該領域における被写体距離を推定することができる。
　検出部１４は、一例として、撮像画像における各領域のそれぞれの被写体のエッジ部分を抽出し、抽出したエッジの空間周波数を算出する。そして、検出部１４は、一例として、それぞれの領域について、空間周波数が低いほど被写体距離が遠いと判断して、当該領域の被写体距離を推定する処理を行う。
　距離情報取得部１６は、撮像画像の撮像時においてカメラにより測定された各領域における被写体距離を表す距離情報を取得する。距離情報取得部１６は、一例として、デプスマップと呼ばれる、カメラから画面内の被写体の表面までの距離を表す２次元情報を取得する。
　画像処理部１８は、撮像画像の各領域に対して検出した被写体距離に応じて、当該領域の画像の距離感を変更する。
　画像処理部１８は、一例として、検出部１４が撮像画像の各領域に対して検出した被写体距離に応じて各領域の青成分の割合を変更することにより、当該領域の画像の距離感を変更する。例えば、画像処理部１８は、撮像画像の各領域について、検出した被写体距離に応じた量の青成分を増加させる。
　より具体的には、画像処理部１８は、被写体距離の基準値を予め設定しておき、検出した被写体距離が基準値より大きい領域に含まれる青成分の割合を大きくしてもよい。例えば、画像処理部１８は、１ｋｍ、１０ｋｍという２つの基準値を設定する。そして、画像処理部１８は、被写体距離が１ｋｍから１０ｋｍまでの領域について青成分の割合を２０％増加し、１０ｋｍ以上の領域について青成分の割合を４０％増加する、といったように青成分の割合を増加する。
　また、画像処理部１８は、一例として、検出部１４が撮像画像の各領域に対して検出した被写体距離に応じて各領域をぼかすことにより、当該領域の画像の距離感を変更する。例えば、画像処理部１８は、撮像画像の各領域について、検出した被写体距離に応じたぼけ量で画像をぼかす。
　より具体的には、画像処理部１８は、被写体距離の基準値を予め設定しておき、検出した被写体距離が基準値より大きい領域の画像をぼかしてもよい。例えば、画像処理部１８は、１ｋｍ、１０ｋｍという２つの基準値を設定する。そして、画像処理部１８は、被写体距離が１ｋｍから１０ｋｍまでの領域について、第１のぼかし度合いで画像をぼかし、１０ｋｍ以上の領域について、第１のぼかし度合いより大きな第２のぼかし度合いで画像をぼかす、といったように画像をぼかす。
　このような処理を行うことにより、画像処理部１８は、被写体距離が短い領域と被写体距離が遠い領域との距離感の差を大きくすることができる。これにより、画像処理部１８は、撮像画像の遠近感を強調することができる。
　また、さらに、画像処理部１８は、距離情報取得部１６により取得された距離情報を更に用いて、撮像画像の各領域の画像の距離感を変更してもよい。例えば、画像処理部１８は、距離情報取得部１６が取得した距離が予め定められた距離より遠いとされた領域については、検出部１４により検出された被写体距離に応じて当該領域における画像の距離感を変更する。例えば、画像処理部１８は、距離情報取得部１６が無限遠と検出した領域については、検出部１４により検出された被写体距離に応じて当該領域における画像の距離感を変更する。
　そして、画像処理部１８は、距離情報取得部１６が取得した被写体距離が予め定められた距離より遠いとされていない領域については、距離情報取得部１６により取得された被写体距離に応じて当該領域の画像の距離感を変更する。例えば、画像処理部１８は、距離情報取得部１６が無限遠ではない距離を検出している領域については、距離情報取得部１６により検出された被写体距離に応じて当該領域における画像の距離感を変更する。これにより、画像処理部１８は、より広い範囲の被写体距離に基づいて画像の距離感を変更して、遠近感をより強調することができる。
　出力部２０は、画像処理部１８により画像処理がされた撮像画像を外部へと出力する。出力部２０は、例えば当該画像処理装置１０が表示装置に備えられている場合であれば、遠近感を強調した撮像画像をモニタに出力する。また、出力部２０は、例えば画像処理装置１０がカメラに備えられている場合であれば、遠近感を強調した撮像画像を記憶媒体に記憶させる。
　図２は、第１実施形態に係る画像処理装置１０により画像処理がされる前の元の撮像画像の一例を示す。図３は、第１実施形態に係る画像処理装置１０により画像処理がされた後の撮像画像の一例を示す。
　図２および図３に示される撮像画像には、例えば、人物（近景）、家（中景）、山（遠景）および空（超遠景）が含まれている。また、図３において、×印は青成分の割合を増加させた領域を示す。
　画像処理装置１０は、一例として、図２に示した画像に含まれる、例えば山（遠景）および空（超遠景）に対して、青成分の割合を増加させる。さらに、画像処理装置１０は、山（遠景）の領域よりも、被写体距離が遠い空（超遠景）の領域に対して、より大きく青成分の割合を増加させる。
　また、画像処理装置１０は、青成分の割合を増加させることに加えてまたはに代えて、山（遠景）および空（超遠景）をボケさせてもよい。この場合も、画像処理装置１０は、山（遠景）の領域よりも、被写体距離が遠い空（超遠景）の領域に対して、より大きなボケ量で画像をボケさせる。
　このような、画像処理装置１０は、撮像画像における被写体距離が近い領域と遠い領域との距離差をより大きく感じさせることができる。これにより、画像処理装置１０によれば、カメラにより撮像された撮像画像内の被写体の輪郭および構図を変化させずに、撮像画像における遠近感を強調することができる。
　図４は、第１実施形態に係る検出部１４の構成の一例を示す。検出部１４は、一例として、図４に示されるように、判別部２２と、青成分検出部２４と、青成分記憶部２６と、算出部２８とを有する。
　判別部２２は、撮像画像における各領域の被写体の種類を判別する。判別部２２は、一例として、予め登録された画像パターンと撮像画像に含まれている被写体とを比較して、撮像画像に含まれている被写体の種類が何であるかを判別する。
　青成分検出部２４は、撮像画像における各領域の青成分の割合を検出する。青成分検出部２４は、一例として、それぞれの領域について、当該領域の平均色を算出し、算出した平均色の色彩を解析して当該平均色が含んでいる青成分の割合を算出する。
　青成分記憶部２６は、被写体の種類毎に画像に含まれるべき青成分の割合を記憶する。青成分記憶部２６は、一例として、判別部２２が検出できる被写体の種類のそれぞれについて、当該種類の被写体の表面の色が本来含んでいる青成分の割合を記憶する。青成分記憶部２６は、一例として、ユーザ等により予め登録された値を記憶する。
　算出部２８は、撮像画像における各領域について、判別部２２により判別された種類の被写体の青成分の割合を、青成分記憶部２６から読み出す。続いて、算出部２８は、青成分記憶部２６に記憶された被写体毎の青成分の割合のうち判別部２２により判別された種類の被写体の青成分の割合と、青成分検出部２４により検出された青成分の割合との差を算出する。そして、算出部２８は、算出した差に基づき、当該領域における被写体距離を算出する。
　例えば、算出部２８は、青成分検出部２４により検出された青成分の割合から、青成分記憶部２６に記憶された被写体毎の青成分の割合を減じた差が、基準値以上であるか否かを算出する。そして、算出部２８は、差が基準値より小さい場合、被写体距離が基準距離以下であると判断する。また、算出部２８は、算出した差が基準値以上の場合、被写体距離が基準距離以上であると判断する。
　このような検出部１４によれば、予め登録された種類の被写体が撮像画像に含まれる場合、正確に被写体距離を検出することができる。
　図５は、第１実施形態の変形例に係る画像処理装置１０の構成を示す。本変形例に係る画像処理装置１０は、図１に示された画像処理装置１０と略同一の構成および機能を採るので、図１に示した部材と略同一の構成および機能の部材に同一の符号を付け、以下相違点を除き説明を省略する。
　本変形例に係る画像処理装置１０は、位置情報取得部３２と、気象条件取得部３４とを更に備える。位置情報取得部３２は、撮像画像を撮像した位置を表わす位置情報を取得する。例えばＧＰＳ（Global Positioning System）受信機を備えるカメラは、撮像位置を示す位置情報を付加した撮像画像を出力することができる。位置情報取得部３２は、このようなカメラから出力された撮像画像に含まれる位置情報を取得する。
　気象条件取得部３４は、撮像画像の撮像日時および位置情報取得部３２により取得された位置情報に基づき、撮像画像の撮像時における気象条件を取得する。例えばカメラは、撮像日時を付加した撮像画像を出力することができる。位置情報取得部３２は、このようなカメラから出力された撮像画像に含まれる撮像日時を取得する。そして、気象条件取得部３４は、取得した撮像日時における、位置情報取得部３２により取得された位置情報に示された土地の気象条件を、例えばネットワークを介して取得する。
　本変形例に係る検出部１４は、気象条件取得部３４により取得された気象条件に応じて撮像画像の各領域における被写体距離を検出する。例えば、撮像画像の撮像時における気象条件が"晴れ"の場合、空気が澄んでいるので、被写体距離が遠い被写体の輪郭が鮮明に撮像される。反対に、撮像画像の撮像時における気象条件が"雨"等の場合、空気が淀んでいるので、被写体距離が遠い被写体の輪郭は不鮮明に撮像される。そこで、検出部１４は、一例として、被写体の輪郭の空間周波数に基づく被写体距離の推定処理において、同一の空間周波数であっても、気象条件が"晴れ"の場合には気象条件が"雨"等の場合よりも、被写体距離を短く推定する。
　また、本変形例に係る検出部１４は、取得された気象条件に加えてまたは気象条件に代えて、位置情報取得部３２により取得された位置情報に応じて撮像画像の各領域における被写体距離を検出してもよい。例えば、撮像画像の撮像場所によって空気が澄んでいる場所と淀んでいる場所がある。空気が澄んでいる場所（例えば都会以外）では被写体距離が遠い被写体の輪郭が鮮明に撮像される。反対に、空気が淀んでいる場所（例えば都会）、被写体距離が遠い被写体の輪郭は不鮮明に撮像される。そこで、検出部１４は、一例として、被写体の輪郭の空間周波数に基づく被写体距離の推定処理において、同一の空間周波数であっても、空気が澄んでいる撮影場所（例えば都会以外）の場合には、空気が淀んでいる撮影場所（例えば都会）の場合よりも、被写体距離を短く推定する。
　以上のより、本変形例に係る画像処理装置１０は、より正確に被写体距離を検出して、撮像画像における遠近感を正確に強調することができる。
　また、本変形例に係る検出部１４は、同一被写体に対してピント距離の異なる設定により撮像された複数の撮像画像に基づき、複数の撮像画像の各領域における被写体距離を検出してもよい。この場合、検出部１４は、一例として、複数の撮像画像のそれぞれについて、画面内においてピントが合っている領域を検出する。そして、検出部１４は、複数の撮像画像のそれぞれのピント距離から、画面内においてピントがあっている領域の被写体距離を推定する。これにより、検出部１４は、例えば、撮像画像に距離情報が含まれていないような場合であっても、デプスマップと同様の距離情報を生成することができる。
　また、本変形例に係る検出部１４は、絞りの異なる設定により撮像された複数の撮像画像に基づき、複数の撮像画像の各領域における被写体距離を検出してもよい。この場合、複数の撮像画像における画面内におけるピントが合っている範囲は、絞りを開けている状態から絞りを絞った状態に遷移するに従って、順次に広がっていく。そこで、検出部１４は、一例として、複数の撮像画像のそれぞれについて、画面内においてピントが合っている範囲を比較して、画面内における各領域の被写体距離を推定する。これにより、検出部１４は、例えば、撮像画像に距離情報が含まれていないような場合であっても、デプスマップと同様の距離情報を生成することができる。
　図６は、第２実施形態に係る表示装置５０の構成を示す。表示装置５０は、観視者に立体感を与える画像を表示する。第２実施形態においては、表示装置５０は、観視者に立体感を与える画像として、観視者の右眼に与える右眼用画像および左眼に与える左眼用画像を表示する。右眼用画像および左眼用画像は、左右方向に視差のある画像であって、観視者の右眼および左眼に与えられることにより、観視者に立体感を感じさせることができる。
　表示装置５０は、入力部５４と、画像強調部５６と、表示部５８と、変更部６０とを備える。入力部５４は、観視者に立体感を与える画像を外部から入力する。入力部５４は、一例として、記憶媒体から再生された画像または放送信号を復調した画像を入力する。本例においては、入力部５４は、観察者の右眼に与える右眼用画像および観察者の左眼に与える左眼用画像を入力する。
　画像強調部５６は、入力部５４が入力した画像に画像処理を施して、観視者が観賞した場合において感じる立体感を強調する、または、立体感を弱める。なお、画像強調部５６は、強調度の設定がされていない場合には、入力部５４が入力した画像に対して何ら画像処理を施さずにそのまま画像を出力してもよい。
　表示部５８は、画像強調部５６から出力された観視者に立体感を与える画像を表示する。本実施形態においては、表示部５８は、観視者に立体感を与える画像として、右眼用画像および左眼用画像を表示する。
　表示部５８は、一例として、モニタと、専用メガネとを有する。モニタは、右眼用画像および左眼用画像を表示する。専用メガネは、モニタに表示された右眼用画像を観視者の右眼のみに与え、モニタに表示された左眼用画像を観視者の左眼のみに与える。これにより、表示部５８は、観視者に立体感を感じさせることができる。
　変更部６０は、観視者による設定に応じて、表示部５８により表示される画像における立体感の強調量を変更する。具体的には、変更部６０は、画像強調部５６による画像処理のためのパラメータを変更して、立体感の強調量を制御する。
　ここで、画像強調部５６は、一例として、次のような画像処理を行うことにより、画像における立体感を強調するまたは弱める。
　風景を撮像した場合、被写体距離が遠い被写体は、カメラから当該被写体までの空気の層の影響により、本来の被写体の色よりも青成分の割合が多くなって映る。そこで、立体感を強調する場合には、画像強調部５６は、被写体距離に応じて画像の青成分の割合を増加させる。反対に、立体感を弱める場合には、画像強調部５６は、被写体距離に応じて画像の青成分の割合を減少させる。この場合、画像強調部５６は、被写体距離が遠い被写体ほど大きく青成分の割合を増加または減少させる。これにより、画像強調部５６は、撮像画像の立体感を強調または弱めることができる。
　そして、この場合、変更部６０は、観視者の設定に応じて、画像強調部５６による被写体に対する青成分の割合の強調量を変更する。即ち、変更部６０は、観視者の設定に応じて、青成分の割合の増加量または減少量を変更する。これにより、変更部６０は、撮像画像の立体感を観視者の設定に応じて変更することができる。
　また、風景を撮像した場合、被写体距離が遠い被写体は、カメラから当該被写体までの空気の層の影響により、本来の被写体の輪郭よりもぼけて映る。そこで、立体感を強調する場合には、画像強調部５６は、被写体距離に応じて画像のボケを大きくしてもよい。反対に、立体感を弱める場合には、画像強調部５６は、被写体距離に応じて画像のボケを小さくしてもよい。この場合、画像強調部５６は、被写体距離が遠い被写体ほど大きくボケ量を増加または減少させる。これにより、画像強調部５６は、撮像画像の立体感を強調または弱めることができる。
　そして、この場合、変更部６０は、観視者の設定に応じて、画像強調部５６による被写体に対するぼけの強調量を変更する。即ち、変更部６０は、観視者の設定に応じて、画像のボケ量の増加量または減少量を変更する。これにより、変更部６０は、撮像画像の立体感を観視者の設定に応じて変更することができる。
　また、右眼用画像と左眼用画像との間の画像間距離を広げると、観視者の輻輳が平行に近づき、被写体を遠くに感じさせることができる。そこで、立体感を強調する場合には、画像強調部５６は、同一被写体の右眼用画像の表示位置と左眼用画像の表示位置との間の画像間距離を、当該被写体の被写体距離に応じて大きくしてもよい。反対に、立体感を弱める場合には、画像強調部５６は、画像間距離を被写体距離に応じて小さくしてもよい。この場合、画像強調部５６は、被写体距離が遠い被写体ほど大きく画像間距離を増加または減少させる。これにより、画像強調部５６は、撮像画像の立体感を強調または弱めることができる。
　そして、この場合、変更部６０は、観視者の設定に応じて、画像強調部５６による被写体に対する画像間距離の強調量を変更する。即ち、変更部６０は、観視者の設定に応じて、画像間距離の増加量または減少量を変更する。これにより、変更部６０は、撮像画像の立体感を観視者の設定に応じて変更することができる。
　以上のように表示装置５０は、観視者が立体感を感じる度合いを自由に変更することができる。これにより、表示装置５０によれば、各人に対して適切な立体感を与える立体画像を提供することができる。
　ここで、図２および図３に示される撮像画像には、例えば、人物（近景）、家（中景）、山（遠景）および空（超遠景）が含まれている。図２に示された画像は、第２実施形態に係る画像強調部５６により画像処理がされる前の元の撮像画像の一例である。また、図３に示された画像は、第２実施形態に係る画像強調部５６により画像処理がされた後の撮像画像の一例である。また、図３において、×印は青成分の割合を増加させた領域を示す。
　画像強調部５６は、一例として、図２に示した画像に含まれる、例えば山（遠景）および空（超遠景）に対して、青成分の割合を増加させる。さらに、画像強調部５６は、山（遠景）の領域よりも、被写体距離が遠い空（超遠景）の領域に対して、より大きく青成分の割合を増加させる。
　また、画像強調部５６は、青成分の割合を増加させることに加えてまたは代えて、山（遠景）および空（超遠景）をボケさせてもよい。この場合も、画像強調部５６は、山（遠景）の領域よりも、被写体距離が遠い空（超遠景）の領域に対して、より大きなボケ量で画像をボケさせる。
　このような、画像強調部５６は、撮像画像における被写体距離が近い領域と遠い領域との距離差をより大きく感じさせることができる。これにより、画像強調部５６によれば、撮像画像における遠近感を強調して、画像の立体感を強調することができる。
　図７は、第２実施形態の変形例に係る表示装置５０の構成を示す。本変形例に係る表示装置５０は、図６に示された表示装置５０と略同一の構成および機能を採るので、図６に示した部材と略同一の構成および機能の部材に同一の符号を付け、以下相違点を除き説明を省略する。
　本変形例に係る表示装置５０は、検出部７０を更に備える。検出部７０は、表示部５８により表示されるべき画像の領域毎の被写体距離を検出する。
　検出部７０は、一例として、同一被写体における右眼用画像の表示位置と左眼用画像の表示位置との間の画像間距離を検出する。人が遠い物体を観察する場合、近い物体を観察する場合よりも、右眼および左眼の輻輳角が狭くなる。従って、同一被写体における右眼用画像の表示位置と左眼用画像の表示位置との間の画像間距離は、被写体距離が大きいほど、大きくなる。従って、検出部７０は、入力部５４により入力された右眼用画像および左眼用画像について画面内の各領域における画像間距離を検出することにより、各領域の被写体距離を推定することができる。
　そして、本変形例において、画像強調部５６は、検出部７０により検出された被写体距離の差異が大きい部分ほど、表示部５８により表示される画像における画像表示距離の差異を大きくして立体感の強調量を大きくする。これにより、画像強調部５６は、被写体距離に応じた段階的な強調を行うことができる。
　また、本変形例において、変更部６０は、画像の表示に先立って、キャリブレーションを実行してもよい。具体的には、変更部６０は、異なる立体感を生ずる画像を表示部５８に表示して観視者に立体感の強調量を選択させるキャリブレーションを実行する。
　そして、キャリブレーションの実行後において、画像強調部５６は、観視者に選択された立体感の強調量により、入力部５４から出力された画像を強調する。そして、表示部５８は、画像強調部５６により強調された画像を表示する。これにより、変更部６０は、観察者にとって適切な立体感で画像を観察することができる。
　また、第２実施形態に係る表示装置５０は、第１実施形態に係る画像処理装置１０の機能を更に備えてもよい。これにより、第２実施形態に係る表示装置５０は、撮像画像の遠近感を強調することができるともに、各人に対して適切な立体感を与える立体画像を提供することができる。
　図８は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ－ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。
　ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
　入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ－ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ－ＲＯＭドライブ２０６０は、ＣＤ－ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。
　また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。
　ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ－ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。
　コンピュータ１９００にインストールされ、コンピュータ１９００を第１実施形態にかかる画像処理装置１０として機能させるプログラムは、入力モジュールと、検出モジュールと、距離情報取得モジュールと、画像処理モジュールと、出力モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、入力部１２、検出部１４、距離情報取得部１６、画像処理部１８および出力部２０としてそれぞれ機能させる。
　これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である入力部１２、検出部１４、距離情報取得部１６、画像処理部１８および出力部２０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像処理装置１０が構築される。
　また、コンピュータ１９００にインストールされ、コンピュータ１９００を第２実施形態に係る表示装置５０として機能させるプログラムは、入力モジュールと、画像強調モジュールと、表示モジュールと、変更モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、入力部５４、画像強調部５６、表示部５８および変更部６０としてそれぞれ機能させる。
　これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である入力部５４、画像強調部５６、表示部５８および変更部６０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の表示装置５０が構築される。
　一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ－ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
　また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ－ＲＯＭドライブ２０６０（ＣＤ－ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。
　また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
　また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。
　以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ－ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０　画像処理装置、１２　入力部、１４　検出部、１６　距離情報取得部、１８　画像処理部、２０　出力部、２２　判別部、２４　青成分検出部、２６　青成分記憶部、２８　算出部、３２　位置情報取得部、３４　気象条件取得部、５０　表示装置、５４　入力部、５６　画像強調部、５８　表示部、６０　変更部、７０　検出部、１９００　コンピュータ、２０００　ＣＰＵ、２０１０　ＲＯＭ、２０２０　ＲＡＭ、２０３０　通信インターフェイス、２０４０　ハードディスクドライブ、２０５０　フレキシブルディスク・ドライブ、２０６０　ＣＤ－ＲＯＭドライブ、２０７０　入出力チップ、２０７５　グラフィック・コントローラ、２０８０　表示装置、２０８２　ホスト・コントローラ、２０８４　入出力コントローラ、２０９０　フレキシブルディスク、２０９５　ＣＤ－ＲＯＭ

Claims (23)

  1. 　撮像画像の各領域における被写体距離を検出する検出部と、
    　前記撮像画像の各領域に対して検出した被写体距離に応じて、当該領域の画像の距離感を変更する画像処理部と、
    　を備える画像処理装置。
  2. 　前記画像処理部は、検出した被写体距離が基準値より大きい領域に含まれる青成分の割合を大きくする
    　請求項１に記載の画像処理装置。
  3. 　前記画像処理部は、検出した被写体距離が基準値より大きい領域の画像をぼかす
    　請求項１に記載の画像処理装置。
  4. 　前記検出部は、前記撮像画像における各領域の青成分の割合に応じて当該領域における被写体距離を算出する
    　請求項１から３の何れか１項に記載の画像処理装置。
  5. 　前記検出部は、
    　前記撮像画像における各領域の被写体の種類を判別する判別部と、
    　前記撮像画像における各領域の青成分の割合を検出する青成分検出部と、
    　被写体の種類毎に画像に含まれるべき青成分の割合を記憶する青成分記憶部と、
    　前記撮像画像における各領域について、前記青成分記憶部に記憶された被写体毎の青成分の割合のうち前記判別部により判別された種類の被写体の青成分の割合と、前記青成分検出部により検出された青成分の割合との差に基づき、当該領域における被写体距離を算出する算出部と、
    　を有する
    　請求項４に記載の画像処理装置。
  6. 　前記検出部は、前記撮像画像に表示された被写体の輪郭の空間周波数に応じて、当該被写体の被写体距離を算出する
    　請求項１から３の何れか１項に記載の画像処理装置。
  7. 　前記撮像画像の撮像日時に基づき前記撮像画像の撮像時における気象条件を取得する気象条件取得部
    　を更に備え、
    　前記検出部は、取得された気象条件に応じて前記撮像画像の各領域における被写体距離を検出する
    　請求項１から６の何れか１項に記載の画像処理装置。
  8. 　前記撮像画像を撮像した位置を表わす位置情報を取得する位置情報取得部を
    　更に備え、
    　前記検出部は、取得された前記位置情報に応じて前記撮像画像の各領域における被写体距離を検出する
    　請求項１から６の何れか１項に記載の画像処理装置。
  9. 　前記撮像画像の前記位置情報に基づき前記撮像画像の撮像時における気象条件を取得する気象条件取得部を
    　更に備え、
    　前記検出部は、取得された前記気象条件に応じて前記撮像画像の各領域における被写体距離を検出する
    　請求項８に記載の画像処理装置。
  10. 　前記撮像画像の撮像時においてカメラにより測定された各領域における被写体距離を表す距離情報を取得する距離情報取得部を
    　更に備え、
    　前記画像処理部は、前記距離情報取得部が取得した距離が予め定められた距離より遠いとされた領域については前記検出部により検出された被写体距離に応じて当該領域における画像の距離感を変更し、
    　前記距離情報取得部が取得した距離が予め定められた距離より遠いとされていない領域については前記距離情報取得部により取得された距離に応じて当該領域の画像の距離感を変更する
    　請求項１から９の何れか１項に記載の画像処理装置。
  11. 　前記検出部は、ピント距離の異なる設定により撮像された複数の撮像画像に基づき、前記複数の撮像画像の各領域における被写体距離を検出する
    　請求項１０に記載の画像処理装置。
  12. 　前記検出部は、絞りの異なる設定により撮像された複数の撮像画像に基づき、前記複数の撮像画像の各領域における被写体距離を検出する
    　請求項１０に記載の画像処理装置。
  13. 　撮像画像の各領域における被写体距離を検出し、
    　前記撮像画像の各領域に対して検出した被写体距離に応じて、当該領域の画像の距離感を変更する
    　画像処理方法。
  14. 　コンピュータを請求項１から１２の何れか１項に記載の画像処理装置として機能させるためのプログラム。
  15. 　観視者に立体感を与える画像を表示する表示部と、
    　観視者による設定に応じて、前記表示部により表示される前記画像における立体感の強調量を変更する変更部と、
    　を備える表示装置。
  16. 　被写体距離が遠い被写体ほど大きく青成分の割合を増加させることにより、前記画像における立体感を強調する画像強調部
    　を更に備え、
    　前記変更部は、前記観視者の設定に応じて、前記画像強調部による被写体に対する青成分の割合の強調量を変更する
    　請求項１５に記載の表示装置。
  17. 　被写体距離が遠い被写体ほど大きくボケを増加させることにより、前記画像における立体感を強調する画像強調部
    　を更に備え、
    　前記変更部は、前記観視者の設定に応じて、前記画像強調部による被写体に対するボケの強調量を変更する
    　請求項１５に記載の表示装置。
  18. 　前記表示部は、前記観視者に立体感を与える画像として、前記観視者の右眼に与える右眼用画像および左眼に与える左眼用画像を表示し、
    　当該表示装置は、被写体距離が遠い被写体ほど前記右眼用画像の表示位置と前記左眼用画像の表示位置との間の画像間距離を大きく増加させることにより、立体感を強調する画像強調部を更に備え、
    　前記変更部は、前記観視者の設定に応じて、前記画像強調部による被写体に対する画像間距離の強調量を変更する
    　請求項１５に記載の表示装置。
  19. 　当該表示装置は、前記表示部により表示されるべき画像の領域毎の被写体距離を検出する検出部を更に備え、
    　前記画像強調部は、前記被写体距離が大きい部分ほど、前記表示部により表示される前記画像における立体感の強調量を大きくする
    　請求項１６から１８の何れか１項に記載の表示装置。
  20. 　前記表示部は、前記観視者に立体感を与える画像として、前記観視者の右眼に与える右眼用画像および左眼に与える左眼用画像を表示し、
    　当該表示装置は、同一被写体における前記右眼用画像の表示位置と前記左眼用画像の表示位置との間の画像間距離を検出する検出部を更に備え、
    　前記画像強調部は、前記画像間距離が大きい部分ほど、前記表示部により表示される前記画像における立体感の強調量を大きくする
    　請求項１６から１８の何れか１項に記載の表示装置。
  21. 　前記変更部は、異なる立体感の画像を前記表示部に表示して前記観視者に立体感の強調量を選択させるキャリブレーションを実行し、
    　前記表示部は、前記観視者に選択された立体感の強調量により画像を表示する
    　請求項１５から２０の何れか１項に記載の表示装置。
  22. 　観視者に立体感を与える画像を表示し、
    　観視者による設定に応じて、表示される前記画像における立体感の強調量を変更する
    　表示方法。
  23. 　コンピュータを請求項１５から２１の何れか１項に記載の表示装置として機能させるためのプログラム。
PCT/JP2011/004423 2010-08-10 2011-08-04 画像処理装置、画像処理方法、表示装置、表示方法およびプログラム WO2012020558A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180039376.8A CN103069814B (zh) 2010-08-10 2011-08-04 图像处理装置、图像处理方法、显示装置、显示方法及程序
US13/762,391 US9488841B2 (en) 2010-08-10 2013-02-08 Image processing apparatus, image processing method, display apparatus, display method, and computer readable recording medium
US15/286,588 US10462455B2 (en) 2010-08-10 2016-10-06 Display apparatus, display method, and computer readable recording medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010179143A JP5556493B2 (ja) 2010-08-10 2010-08-10 表示装置、表示方法およびプログラム
JP2010179144A JP5556494B2 (ja) 2010-08-10 2010-08-10 画像処理装置、画像処理方法およびプログラム
JP2010-179144 2010-08-10
JP2010-179143 2010-08-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/762,391 Continuation US9488841B2 (en) 2010-08-10 2013-02-08 Image processing apparatus, image processing method, display apparatus, display method, and computer readable recording medium

Publications (1)

Publication Number Publication Date
WO2012020558A1 true WO2012020558A1 (ja) 2012-02-16

Family

ID=45567533

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/004423 WO2012020558A1 (ja) 2010-08-10 2011-08-04 画像処理装置、画像処理方法、表示装置、表示方法およびプログラム

Country Status (3)

Country Link
US (2) US9488841B2 (ja)
CN (2) CN105915880B (ja)
WO (1) WO2012020558A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130251281A1 (en) * 2012-03-22 2013-09-26 Qualcomm Incorporated Image enhancement
WO2017022303A1 (ja) * 2015-08-03 2017-02-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2021200270A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、及び情報処理方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105915880B (zh) * 2010-08-10 2018-02-23 株式会社尼康 图像处理装置和图像处理方法
CN104093015B (zh) * 2014-06-23 2016-01-06 京东方科技集团股份有限公司 一种显示系统及其控制方法
JP6369860B2 (ja) * 2014-07-15 2018-08-08 株式会社日立ハイテクノロジーズ 欠陥観察方法及びその装置
CN107180067B (zh) * 2016-03-11 2022-05-13 松下电器（美国）知识产权公司 图像处理方法、图像处理装置及记录介质
JP6482580B2 (ja) * 2017-02-10 2019-03-13 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
DE112018001730T5 (de) * 2017-03-31 2020-01-09 Hoya Corporation Elektronisches Endoskopsystem
CN108076492B (zh) * 2017-11-20 2018-10-30 张天勇 一种提升相机对人群拍摄的成像质量的方法
CN107784295B (zh) * 2017-11-20 2018-12-21 惠州太初科技有限公司 基于人体距离拉伸的相机拍摄系统
JP7134932B2 (ja) 2019-09-09 2022-09-12 株式会社日立製作所 光学条件決定システム、及び光学条件決定方法
CN112887605B (zh) * 2021-01-26 2022-09-30 维沃移动通信有限公司 图像防抖方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191397A (ja) * 1996-12-27 1998-07-21 Sanyo Electric Co Ltd 意図適応型の２次元映像を３次元映像に変換する装置
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004221700A (ja) * 2003-01-09 2004-08-05 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2007110360A (ja) * 2005-10-13 2007-04-26 Ntt Comware Corp 立体画像処理装置およびプログラム
JP2007264722A (ja) * 2006-03-27 2007-10-11 Victor Co Of Japan Ltd 画像処理装置
JP2009251141A (ja) * 2008-04-03 2009-10-29 Mitsubishi Electric Corp 立体画像表示装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06324620A (ja) 1993-05-17 1994-11-25 Patoroma Res Kk 人工環境形成装置
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
JP2001016609A (ja) * 1999-06-05 2001-01-19 Soft Foo Deii:Kk Ｍｐｅｇデータを用いた立体映像生成装置及び方法
US8369607B2 (en) 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
EP1489857B1 (en) * 2002-03-27 2011-12-14 Sanyo Electric Co., Ltd. 3-dimensional image processing method and device
JP4148811B2 (ja) 2003-03-24 2008-09-10 三洋電機株式会社 立体画像表示装置
JP2005018529A (ja) 2003-06-27 2005-01-20 Ricoh Co Ltd 画像処理装置
JP4251952B2 (ja) 2003-10-01 2009-04-08 シャープ株式会社 立体画像表示装置および立体画像表示方法
JPWO2006003737A1 (ja) * 2004-06-30 2008-04-17 松下電器産業株式会社 立体画像表示システム
JP4487188B2 (ja) * 2004-10-25 2010-06-23 ソニー株式会社 情報処理装置および方法、プログラム、並びにナビゲーション装置
US20070116457A1 (en) * 2005-11-22 2007-05-24 Peter Ljung Method for obtaining enhanced photography and device therefor
US20090013614A1 (en) * 2007-07-13 2009-01-15 Kim Rogers Retractable rigid roof system
KR101412752B1 (ko) * 2007-11-26 2014-07-01 삼성전기주식회사 디지털 자동 초점 영상 생성 장치 및 방법
CN101282492B (zh) * 2008-05-23 2010-07-21 清华大学 三维影像显示深度调整方法
CN101567082B (zh) * 2009-06-04 2011-07-13 福州华映视讯有限公司 影像处理方法及其装置
CA2696925A1 (en) * 2010-03-19 2011-09-19 Bertrand Nepveu Integrated field-configurable headset and system
WO2011162037A1 (ja) 2010-06-25 2011-12-29 富士フイルム株式会社 立体画像再生装置、立体画像再生システム及び立体画像再生方法
US20120019688A1 (en) * 2010-07-20 2012-01-26 Research In Motion Limited Method for decreasing depth of field of a camera having fixed aperture
CN105915880B (zh) * 2010-08-10 2018-02-23 株式会社尼康 图像处理装置和图像处理方法
JP2013197797A (ja) * 2012-03-19 2013-09-30 Seiko Epson Corp 映像表示装置および映像表示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191397A (ja) * 1996-12-27 1998-07-21 Sanyo Electric Co Ltd 意図適応型の２次元映像を３次元映像に変換する装置
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004221700A (ja) * 2003-01-09 2004-08-05 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2007110360A (ja) * 2005-10-13 2007-04-26 Ntt Comware Corp 立体画像処理装置およびプログラム
JP2007264722A (ja) * 2006-03-27 2007-10-11 Victor Co Of Japan Ltd 画像処理装置
JP2009251141A (ja) * 2008-04-03 2009-10-29 Mitsubishi Electric Corp 立体画像表示装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130251281A1 (en) * 2012-03-22 2013-09-26 Qualcomm Incorporated Image enhancement
CN104246822A (zh) * 2012-03-22 2014-12-24 高通股份有限公司 图像增强
US9286658B2 (en) * 2012-03-22 2016-03-15 Qualcomm Incorporated Image enhancement
WO2017022303A1 (ja) * 2015-08-03 2017-02-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2021200270A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、及び情報処理方法

Also Published As

Publication number Publication date
US20170026639A1 (en) 2017-01-26
US20130148859A1 (en) 2013-06-13
US9488841B2 (en) 2016-11-08
CN105915880B (zh) 2018-02-23
US10462455B2 (en) 2019-10-29
CN103069814B (zh) 2016-05-11
CN103069814A (zh) 2013-04-24
CN105915880A (zh) 2016-08-31

Similar Documents

Publication Publication Date Title
WO2012020558A1 (ja) 画像処理装置、画像処理方法、表示装置、表示方法およびプログラム
US10943409B2 (en) Information processing apparatus, information processing method, and program for correcting display information drawn in a plurality of buffers
US9916517B2 (en) Image processing method and apparatus
US8675048B2 (en) Image processing apparatus, image processing method, recording method, and recording medium
WO2020063100A1 (zh) 增强现实的图像展示方法、装置及设备
WO2016176840A1 (zh) 深度图/视差图的后处理方法和装置
US9990738B2 (en) Image processing method and apparatus for determining depth within an image
US8908959B2 (en) Image processing apparatus
WO2022126674A1 (zh) 立体全景图像的质量评价方法、系统
TW201315209A (zh) 呈現立體影像之系統及方法
EP2642446A2 (en) System and method of estimating page position
US8824778B2 (en) Systems and methods for depth map generation
KR101797035B1 (ko) 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
JP2010226390A (ja) 撮像装置および撮像方法
JP2022061495A (ja) 動的クロストークを測定する方法及び装置
WO2019150668A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2010226391A (ja) 画像処理装置、プログラムおよび画像処理方法
JP5402070B2 (ja) 画像提示システム、画像処理装置、プログラムおよび画像提示方法
JP5556494B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5733451B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5962810B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5556493B2 (ja) 表示装置、表示方法およびプログラム
CN110110614A (zh) 一种基于3d相机的手势识别装置及方法
JP2010258886A (ja) 撮像装置、プログラム、撮像方法
JP2010259009A (ja) 画像提示システム、画像処理装置、プログラムおよび画像処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180039376.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11816227

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11816227

Country of ref document: EP

Kind code of ref document: A1