WO2013191120A1 - 画像処理装置、方法、プログラム、および記録媒体 - Google Patents

画像処理装置、方法、プログラム、および記録媒体 Download PDF

Info

Publication number
WO2013191120A1
WO2013191120A1 PCT/JP2013/066552 JP2013066552W WO2013191120A1 WO 2013191120 A1 WO2013191120 A1 WO 2013191120A1 JP 2013066552 W JP2013066552 W JP 2013066552W WO 2013191120 A1 WO2013191120 A1 WO 2013191120A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
depth
image
image processing
adjustment amount
Prior art date
Application number
PCT/JP2013/066552
Other languages
English (en)
French (fr)
Inventor
幹生 瀬戸
永雄 服部
郁子 椿
久雄 熊井
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US14/408,604 priority Critical patent/US20150304625A1/en
Publication of WO2013191120A1 publication Critical patent/WO2013191120A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Definitions

  • the present invention relates to an image processing apparatus that adjusts a parameter indicating a sense of depth of an image, an image processing method, a program for causing a computer to execute the image processing method, and a recording medium on which the program is recorded.
  • Many general images have information about depth.
  • the depth-related information can be classified into monocular clues and binocular clues.
  • monocular cues include blurry, textured textures, shadows, overlap, contrast, relative size, and cues called pictorial cues such as linear perspective, as well as eye adjustment (focus adjustment by the lens).
  • pictorial cues such as linear perspective, as well as eye adjustment (focus adjustment by the lens).
  • binocular cues include vergence (intersection of eyes of left and right eyes) and binocular parallax (retinal image difference).
  • Patent Literature 1 and Patent Literature 2 are disclosed.
  • Patent Document 1 when a stereoscopic image is displayed on the display screen, the position of the stereoscopic image is controlled so as to be within the focal depth of the eyeball optical system based on the calculation result of the distance and depth between the two images.
  • a method is disclosed. Accordingly, it is described that the position of the stereoscopic image corresponds to the position of the display screen so that the convergence and the adjustment coincide with each other, and the visual fatigue is reduced.
  • Patent Document 2 when generating a stereoscopic image from a planar image and its depth map, a stereoscopic image in consideration of visual fatigue is generated by generating left and right images based on the depth map and the depth of focus of the eyeball optical system. A method for realizing content production is disclosed.
  • JP 2002-223458 A released on August 9, 2002
  • JP 2011-160302 A released on August 18, 2011
  • binocular cues have been described, but the same can be considered for monocular cues.
  • An example of “blur” is given as an example of a monocular cue. Even though the subject space displayed on the display (the space between the closest subject and the farthest subject) is actually within the focal depth, the subject is blurred. If it is, it may not look the same as in reality, and nature may be lost.
  • the present invention has been made in view of the above situation, and an object of the present invention is to provide a depth sensation parameter (both eyes) in an image processing apparatus according to ambient light in a viewing environment, that is, according to the light environment. This is to adjust parameters related to clues and monocular cues.
  • the first technical means of the present invention is a viewing environment light information acquisition that acquires viewing environment light information that is information related to ambient light among viewing environments on a display device in an image processing apparatus.
  • a depth sensation parameter adjustment amount calculation unit that calculates an adjustment amount of the depth sensation parameter for the clue.
  • the second technical means of the present invention further comprises a user input unit for inputting a user operation indicating a reference position for adjusting an adjustment amount of the depth sensation parameter in the first technical means, wherein the depth sensation parameter adjustment
  • the amount calculation unit calculates an adjustment amount of the depth sensation parameter based on the viewing environment light information, the auxiliary data, and user input information that is information input by the user input unit. is there.
  • a user input unit that inputs a user operation indicating a reference position for adjusting an adjustment amount of the depth sensation parameter; and a viewer for the display device
  • a viewing position detection unit that detects a position, and the depth sensation parameter adjustment amount calculation unit includes the viewing environment light information, the auxiliary data, and user input information that is information input by the user input unit;
  • the depth parameter adjustment amount is calculated based on the viewer position information indicating the viewer position detected by the viewing position detector.
  • the user input unit is a contact type or non-contact type touch sensor and / or a visual line detection device that senses the visual line position of the user. It is characterized by being.
  • a fifth technical means of the present invention is the first technical means, further comprising: a viewing position detecting unit that detects a position of a viewer with respect to the display device, wherein the depth sensation parameter adjustment amount calculating unit includes the viewing environment light.
  • the depth parameter adjustment amount is calculated based on the information, the auxiliary data, and viewer position information indicating the position of the viewer detected by the viewing position detector.
  • the viewing environment light information includes illumination information indicating brightness of the viewing environment and / or luminance information indicating display brightness on the display device.
  • the image processing apparatus includes an imaging apparatus, and based on imaging data captured by the imaging apparatus, one or more of the illumination information and / or the luminance information and the viewer position information are simultaneously used. It is characterized by detection.
  • the image processing device is used at a position spatially separated from the display device, and the image processing device is connected to the display device.
  • a connection distance detection unit that detects a distance to the image processing device is provided, and the viewing position detection unit detects the position of the viewer with respect to the display device using the distance. .
  • the viewing environment light information includes illumination information indicating brightness of the viewing environment and / or display brightness on the display device. This is characterized in that the luminance information indicates.
  • the viewing environment light information includes illumination information indicating brightness of the viewing environment and / or display brightness on the display device. It is the information which shows the viewer pupil diameter estimated by the luminance information which shows.
  • the depth sensation parameter adjustment amount calculation unit is based on information indicating the viewer pupil diameter, and the depth of field information to be expressed by the display device Is calculated or estimated, and the adjustment amount of the depth sensation parameter is calculated.
  • the auxiliary data is mask data designating an adjustment position of the depth sensation parameter corresponding to the position of the image data, And / or a depth map corresponding to the position of the image data.
  • the depth parameter is a blur amount.
  • the depth sensation parameter is a binocular parallax amount.
  • the viewing environment light information obtaining unit obtains viewing environment light information, which is information related to the environment light in the viewing environment on the display device, and a sense of depth.
  • a parameter adjustment amount calculation unit based on the viewing environment light information and auxiliary data for giving a sense of image depth in the image data, a monocular clue used when displaying an image indicated by the image data on the display device; And / or a calculation step for calculating an adjustment amount of the depth sensation parameter for the binocular cues.
  • an acquisition step of acquiring viewing environment light information which is information related to ambient light among viewing environments on a display device, the viewing environment light information, The adjustment amount of the depth sensation parameter for monocular clues and / or binocular cues used when displaying the image indicated by the image data on the display device based on auxiliary data for giving a sense of image depth in the image data.
  • a calculation step for performing the calculation is a step for performing the calculation.
  • the sixteenth technical means of the present invention is characterized in that the image processing program in the fifteenth technical means is recorded on a computer-readable recording medium.
  • the depth sensation parameter can be adjusted according to the light environment of the viewing environment or in addition to the viewer's position / orientation.
  • FIG. 2 is a diagram illustrating a configuration example of a viewing environment light information acquisition unit and its peripheral unit in the image processing apparatus of FIG. 1. It is a flowchart for demonstrating the example of a process in the viewing environment light information acquisition part of FIG.
  • FIG. 2 is a diagram illustrating a configuration example of a depth sensation parameter adjustment amount calculation unit and its peripheral part in the image processing apparatus of FIG. It is a flowchart for demonstrating the example of a process in the depth feeling parameter adjustment amount calculation part of FIG. FIG.
  • FIG. 7 is a flowchart for explaining an example of a depth parameter adjustment necessity determination process in the process of FIG. 6. It is a figure which shows the other structural example of the depth feeling parameter adjustment amount calculation part in the image processing apparatus of FIG. 1, and its peripheral part. It is a figure for comparing a 2nd embodiment and a 3rd embodiment of the present invention. It is a figure which shows the other structural example of the depth feeling parameter adjustment amount calculation part in the image processing apparatus of FIG. 1, and its peripheral part. It is a figure which shows the other structural example of the viewing environment light information acquisition part in the image processing apparatus of FIG. 1, and its peripheral part. It is a flowchart for demonstrating the process example of the viewing environment light information acquisition part in the image processing apparatus of FIG. It is a figure which shows one structural example of the display system containing the image processing apparatus which concerns on this invention. It is a flowchart for demonstrating an example of the three-dimensional display process of the image in the display system of FIG.
  • FIG. 1 is a diagram illustrating a configuration example of an image processing apparatus according to the first embodiment of the present invention.
  • the image processing apparatus 1 according to the present embodiment includes a viewing environment light information acquisition unit 40 and a depth sensation parameter adjustment amount calculation unit 20 as main features of the present invention.
  • the viewing environment light information acquisition unit 40 acquires viewing environment light information that is information related to ambient light in a viewing environment on the display device (that is, a viewing environment where a viewer who views the display device is placed).
  • the display device refers to a display device for displaying an image after image processing by the image processing device 1.
  • the information related to ambient light here refers to information indicating the light environment at the time of viewing (that is, information indicating the appearance of the image), and may refer only to so-called ambient brightness in the display device. Since the depth of focus of the human eyeball is also affected by the luminance of the image on the display device, it is preferable to include information indicating the display luminance (screen luminance) on the display device as will be described later.
  • information related to ambient light is also simply referred to as light information.
  • Examples of image data to be processed by the image processing apparatus include, for example, image data output from a camera sensor unit in a device having a camera, image data recorded on a recording medium such as a ROM (Read Only Memory), and via a network. And image data received from a server, image data received by a tuner or the like and converted into an image, and the like.
  • the depth feeling parameter adjustment amount calculation unit 20 calculates the adjustment amount of the depth feeling parameter used when displaying the image indicated by the image data on the display device, based on the viewing environment light information and the image auxiliary data.
  • This depth sensation parameter is a parameter indicating a sense of depth of an image, and is a parameter for monocular cues and / or binocular cues.
  • the depth parameter is not only used to indicate a depth when displaying image data as a stereoscopic image on the display device, but also indicates a depth such as a blur amount when displaying a normal planar image. Also used for.
  • the depth sensation parameter is one of display parameters in the display device, and may be information included in the image auxiliary data or information obtained by calculation from the image auxiliary data. In any case, the depth sensation parameter adjustment amount calculation unit 20 calculates the adjustment amount of the depth sensation parameter.
  • the image auxiliary data is auxiliary data for giving a sense of image depth in the image data.
  • the image auxiliary data may be attached in association with the image data or included in the image data. Also good.
  • the image auxiliary data includes, for example, mask data that specifies the adjustment position of the depth parameter corresponding to the position (pixel position) of the image data, and a depth map (depth map, parallax) corresponding to the position (pixel position) of the image data. Data) (also called a map).
  • the depth map includes, for example, (1) depth data calculated based on stereoscopic image data when the image data is stereoscopic image data, and (2) a distance measuring device corresponding to the camera device to be photographed. Depth data acquired, (3) Depth data estimated from 2D images by 2D3D conversion technology, and the like.
  • the image auxiliary data is preferably mask data and / or a depth map, but is not limited to this and may be data for giving a sense of depth to the image.
  • the image processing apparatus 1 illustrated in FIG. 1 further includes a depth sensation parameter adjustment unit 10 and a default information storage unit 30.
  • the default information storage unit 30 stores default information for obtaining the adjustment amount calculated by the depth sensation parameter adjustment amount calculation unit 20.
  • the depth sensation parameter adjustment amount calculation unit 20 calculates the adjustment amount of the depth sensation parameter based on the image auxiliary data, the viewing environment light information from the viewing environment light information acquisition unit 40, and the default information from the default information storage unit 30. .
  • the depth sensation parameter adjustment unit 10 obtains a depth sensation parameter from the depth sensation parameter adjustment amount from the depth sensation parameter adjustment amount calculation unit 20 and input data (input image data that is to be displayed on the display device). Generate an adjusted image.
  • step S ⁇ b> 1 the viewing environment light information acquisition unit 40 receives the viewing environment light information and sends it to the depth sensation parameter adjustment amount calculation unit 20.
  • step S2 the depth sensation parameter adjustment amount calculation unit 20 receives the viewing environment light information from the viewing environment light information acquisition unit 40, the default information from the default information storage unit 30, and the image auxiliary data, and the depth sensation parameter. The adjustment amount is calculated, and the adjustment amount is sent to the depth sensation parameter adjustment unit 10.
  • the depth sensation parameter adjustment unit 10 receives the depth sensation parameter adjustment amount and the image data from the depth sensation parameter adjustment amount calculation unit 20, and generates an image after adjusting the depth sensation parameter.
  • the viewing environment light information acquired by the viewing environment light information acquisition unit 40 includes illumination information indicating the brightness of the viewing environment (illumination information of the viewing environment), luminance information indicating the display brightness on the display device, and the like. It is preferable to employ both information and luminance information.
  • the luminance information is preferably a value actually measured in the display device, but instead, the maximum displayable luminance in the display device, that is, the display capability of the display device (maximum possible when displaying white data) Brightness), or the screen average value or screen maximum value of the display brightness value (estimated value) of the pixel when the display target image data is actually displayed, calculated from the pixel value of the display target image data. It may be.
  • the viewing environment light information acquisition unit 40 receives, for example, room illumination information and display luminance information as light information in the installation environment of the image processing apparatus 1, estimates the viewer pupil diameter, and indicates the viewer pupil diameter.
  • the information is sent to the depth sensation parameter adjustment amount calculation unit 20 as the viewing environment light information integration result.
  • the depth sensation parameter adjustment amount calculation unit 20 calculates or estimates depth-of-field information to be expressed by the display device based on the information indicating the viewer pupil diameter, and calculates the adjustment amount of the depth sensation parameter. It is preferable to do. This calculation method will be described later.
  • the viewer pupil diameter need not be estimated, and in that case, the illumination information and / or the luminance information may be used as they are. Further, although the description will be made on the assumption that the viewer pupil diameter is estimated from the illumination information and the luminance information, it may be estimated from only one of the illumination information and the luminance information.
  • FIG. 3 shows a configuration example of the viewing environment light information acquisition unit 40 and its peripheral part.
  • the viewing environment light information acquisition unit 40 is connected to a brightness detection sensor unit 51 that detects the illumination information (brightness information) and a screen luminance information generation unit 52 that generates screen luminance information as an example of the luminance information.
  • the viewing environment light information acquisition unit 40 includes a brightness information acquisition unit 41 that acquires brightness information from the brightness detection sensor unit 51, and a screen brightness information acquisition unit that acquires screen brightness information from the screen brightness information generation unit 52. 42, and a brightness parameter estimation unit 43 that estimates a brightness parameter indicating brightness perceived by the viewer based on the brightness information from the brightness information acquisition unit 41 and the screen brightness information from the screen brightness information acquisition unit 42 Is provided.
  • step S ⁇ b> 11 the brightness information acquisition unit 41 acquires and integrates the brightness information from the brightness detection sensor unit 51, and sends it to the brightness parameter estimation unit 43.
  • step S ⁇ b> 12 the screen brightness information acquisition unit 42 acquires and integrates the screen brightness information from the screen brightness information generation unit 52 and sends the screen brightness information to the brightness parameter estimation unit 43.
  • step S13 the brightness parameter estimation unit 43 estimates the brightness parameter based on the brightness information from the brightness information acquisition unit 41 and the screen brightness information from the screen brightness information acquisition unit 42, and adjusts the depth sensation parameter. This is sent to the quantity calculator 20.
  • the brightness detection sensor unit 51 has, for example, (1) an illuminance sensor (array) and acquires the brightness of the surrounding environment by the illuminance sensor, or (2) a camera sensor. It is possible to adopt a configuration in which the brightness of the surrounding environment is estimated by performing signal processing on image data acquired by the camera sensor.
  • the brightness detection sensor unit 51 integrates both the brightness information acquired from the illuminance sensor and the brightness information estimated from the camera sensor, generates brightness information as a result of the integration, and performs brightness parameter estimation. You may pass to the part 43.
  • the screen luminance information generation unit 52 receives, for example, (1) image data input to the image processing apparatus 1 and generates an average value of luminance of the entire screen as screen luminance information, or (2) an image from the image data And the luminance information of the attention area is generated as screen luminance information, or (3) the direction of the viewer's face (or the direction of the line of sight) and the viewing position are detected by the camera sensor, A configuration in which an attention area is set based on the detection result and luminance information of the attention area is generated as screen luminance information can be employed.
  • the screen brightness information generation unit 52 integrates the screen brightness information generated by any two or three of the methods (1) to (3), generates screen brightness information as a result of the integration, and generates the screen brightness. You may pass to the information acquisition part 42.
  • FIG. when both the brightness detection sensor unit 51 and the screen luminance information generation unit 52 employ camera sensors, it is preferable to use image data from a common camera.
  • the brightness parameter estimation unit 43 estimates the viewer's pupil diameter as the brightness parameter.
  • the human pupil diameter is said to be about 2 to 8 mm, and is calculated based on, for example, the equation (1).
  • SIZE_P ⁇ ⁇ Illum + ⁇ ⁇ Lumin + ⁇ (1)
  • SIZE_P is the size of the pupil diameter
  • Illum is the illuminance value obtained from the brightness information acquisition unit 41
  • Lumin is the luminance value obtained from the screen luminance information acquisition unit 42
  • ⁇ , ⁇ , and ⁇ are arbitrary coefficients.
  • the previous brightness is stored in a register or the like.
  • the output value at the time of parameter estimation is held, and smoothing is performed in the time direction as shown in Equation (2), for example.
  • SIZE_P ′ ⁇ ⁇ SIZE_P_CUR + (1 ⁇ ⁇ ) ⁇ SIZE_P_PRE (2)
  • SIZE_P ′ is the pupil diameter size after smoothing
  • SIZE_P_CUR is the currently estimated pupil diameter size
  • SIZE_P_PRE is the previously estimated pupil diameter size
  • ⁇ is the smoothing coefficient.
  • the brightness parameter estimation unit 43 sends the calculated pupil diameter size to the depth parameter adjustment amount calculation unit 20 as a brightness parameter.
  • the brightness parameter may be simply the viewing environment brightness intensity received by the viewer, or may be output as a discrete value such as “strong (3)”, “medium (2)”, and “weak (1)”. Good.
  • the data update frequency of the viewing environment light information acquisition unit 40 does not necessarily match the frame rate of the image data.
  • the depth sensation parameter adjustment amount calculation unit 20 includes an image auxiliary data analysis unit 21 that analyzes data related to the depth sensation parameter to be adjusted from image auxiliary data, and a depth of field calculation unit 22 that calculates the depth of field.
  • the depth sensation parameter adjustment amount calculation unit 20 further sets a range for adjusting the depth sensation parameter based on the depth of field information from the depth of field calculation unit 22 and the default information from the default information storage unit 30.
  • An adjustment amount generation unit 25 that determines the adjustment amount based on the determination result of the unit 24.
  • the default information storage unit 30 includes, for example, the viewer's standard viewing distance, the depth parameter to be adjusted and the default value of the depth parameter, the resolution of the display device connected to the image processing device 1 in the present invention (display resolution), Information necessary for various calculations such as aspect ratio and standard pupil spacing is held.
  • step S21 the image auxiliary data analysis unit 21 analyzes the depth feeling parameter from the image auxiliary data and the default information, and outputs the analysis data.
  • the default information is information obtained from the default information storage unit 30 such as “depth parameter to be adjusted”, “display size”, “display resolution”, “standard viewing distance”, and “standard interocular distance”.
  • the depth parameter to be adjusted is the binocular parallax amount
  • the depth map is received as the image auxiliary data, and the corresponding binocular parallax amount (binocular parallax range) is analyzed.
  • the nearest distance closest distance with the viewer position as the origin
  • the farthest distance farthest distance with the viewer position as the origin
  • the binocular parallax amount can be adopted as the depth sensation parameter.
  • the distance data D (x, y) is expressed by the equations (3) to ( Calculated by 6). Note that the case where the depth data is positive is the short distance direction, and the case where the depth data is negative is the long distance direction.
  • D (x, y) is the distance data at the coordinates (x, y)
  • M (x, y) is the pixel value of the depth map at the coordinates (x, y)
  • Dee is the distance between the viewer's eyes
  • Dview Is a viewing distance (distance from the viewer position to the display screen)
  • dot is the size of one pixel
  • abs () is a function for obtaining an absolute value.
  • the display size is 52 inches
  • the display resolution is 1920 ⁇ 1080
  • the viewing distance Dview is three times the screen height
  • the viewer's interocular distance Dee is 65 mm
  • the depth map pixel value M (x, y) is 30.
  • D (x, y) ⁇ 1522 mm.
  • step S 22 the depth of field calculation unit 22 calculates the depth of field based on information such as the brightness parameter from the viewing environment light information acquisition unit 40 and “standard viewing distance” from the default information storage unit 30. To do. A case where the pupil size SIZE_P is received as the brightness parameter will be described according to the above example. Examples of equations (approximate equations) for calculating the depth of field (nearest point, farthest point) are shown in equations (6) and (7).
  • DN Dview (H-f) / (H + Dview-2f) (6)
  • DF Dview (H-f) / (H-Dview) (7)
  • DN is the distance to the nearest point of the scene (distance with the viewer position as the origin)
  • DF is the farthest point distance of the scene (distance with the viewer position as the origin)
  • Dview is the viewing distance value ( The distance from the viewer position to the display surface)
  • H is the hyperfocal distance
  • f is the focal distance.
  • the hyperfocal distance H is calculated by equation (8).
  • H f x SIZE_P / c (8)
  • SIZE_P is a brightness parameter (pupil size) obtained from the viewing environment light information acquisition unit 40, and c is an allowable confusion circle constant.
  • the correction range setting unit 23 determines the depth of field information from the depth of field calculation unit 22, the default information such as “depth parameter to be adjusted” and “display size” from the default information storage unit 30, and the like. Then, a correction range based on the depth parameter adjustment amount is set and output as range setting data. That is, when the depth sensation parameter to be adjusted is the binocular parallax amount, a corresponding field range is set based on the depth of field information. At that time, as the correction range data, the closest field distance, the farthest object distance, and the range formed by them are output.
  • step S24 the correction content determination unit 24 determines (determines) whether or not to adjust the depth parameter according to the flow of FIG.
  • a binocular parallax amount (a value related to binocular parallax) is used as analysis data, and a value related to the depth of field is used as range setting data.
  • step S31 of FIG. 7 all the depth parameter adjustment determination flags (nearest distance flag, farthest distance flag, range flag) are initialized to OFF.
  • step S 32 the binocular parallax range> the field range is determined based on the “binocular parallax range” from the image auxiliary data analysis unit 21 and the “field range” from the correction range setting unit 23.
  • step S33 is executed. If NO in step S32, step S34 is executed.
  • step S33 the range flag of the determination flags is turned ON.
  • step S 34 the binocular parallax closest distance ⁇ the field closest distance is determined based on the “binocular parallax closest distance” from the image auxiliary data analysis unit 21 and the “field closest distance” from the correction range setting unit 23 ( Determination of whether the binocular disparity closest distance is closer to the viewer position).
  • step S35 is executed. If NO in step S34, step S36 is executed. In step S35, the closest distance flag among the determination flags is turned ON. In step S36, the binocular parallax farthest distance> the farthest object farthest according to the “binocular parallax farthest distance” from the image auxiliary data analysis unit 21 and the “far field farthest distance” from the correction range setting unit Distance determination (determination of whether the binocular farthest distance is farther from the viewer position) is performed. If YES in step S36, step S37 is executed. If NO in step S36, step S39 is executed without changing all the flags.
  • step S37 the recent distance flag is turned ON among the determination flags.
  • step S ⁇ b> 38 the correction content determination unit 24 sends the analysis data from the image auxiliary data analysis unit 21, the range setting data from the correction range setting unit 23, and information (flag information) of each determination flag to the adjustment amount generation unit 25. send.
  • step S39 the correction content determination unit 24 sends only each determination flag (in this case, all OFF) to the adjustment amount generation unit 25.
  • step S25 when any of the determination flags from the correction content determination unit 24 is ON, that is, when it is determined that the depth parameter needs to be adjusted. (In the case of YES at step S25), step S26 is executed. On the other hand, when all the determination flags are OFF (NO in step S25), step S27 is executed.
  • the adjustment amount generation unit 25 outputs a specified value 0 as the adjustment amount.
  • the depth sensation parameter adjustment unit 10 generates image data after adjusting the depth sensation parameter.
  • the depth parameter (depth of field) to be adjusted is estimated in accordance with the light environment in the viewing environment, so that the depth parameter (in this example, binocular parallax amount, that is, binocular An image with adjusted parallax range can be generated.
  • the depth parameter in this example, binocular parallax amount, that is, binocular An image with adjusted parallax range
  • the techniques described in Patent Documents 1 and 2 are not necessarily controlled within a comfortable depth range, but in this embodiment, optical information on the viewing environment is detected. Based on this, since the depth of field of the viewer is calculated, the depth parameter can be controlled according to the light information of the viewing environment.
  • step S26 of the present embodiment the adjustment amount generation unit 25 in FIG. 5 determines the depth map D (x, y) given as the image auxiliary data and the correction content when the range flag among the determination flags is ON. Based on the depth-of-field information from the unit 24, the adjustment amount (blurring amount) is calculated by the equations (9) and (10).
  • ADJ (x, y) is an adjustment amount (blurring amount) with respect to coordinates (x, y), DN is the closest distance to the object field, DF is the farthest object field distance, and D (x, y) is the coordinates ( Depth map in x, y), G () is a Gaussian function.
  • the blur amount is adjusted to increase as the distance from the closest distance position or the farthest distance position of the depth of field increases (however, the blur amount is saturated at a certain value or more).
  • the adjustment amount is calculated by Expression (9).
  • the adjustment amount is calculated by Expression (10).
  • the range in which the depth sensation parameter should be adjusted (depth of field) is estimated according to the light environment in the viewing environment, so that the image with the adjusted depth sensation parameter (in this example, the blur amount) can be obtained. Can be generated.
  • the user input unit is compared with the configuration in the second embodiment.
  • a configuration having 53 is employed.
  • the user input unit 53 inputs (accepts) a user operation indicating a reference position (for example, a reference position of the depth of field) for adjusting the adjustment amount of the depth sensation parameter.
  • the depth sensation parameter adjustment amount calculation unit 20 in the present embodiment is the viewing environment light information acquired by the viewing environment light information acquisition unit 40, the image auxiliary data, and the user that is information input by the user input unit 53 Based on the input information (reference position information), the adjustment amount of the depth sensation parameter is calculated.
  • step S26 of the present embodiment the adjustment amount generation unit 25, when the range flag of the determination flags is ON, the depth map D (x, y) given as the image auxiliary data and the correction content determination unit Based on the depth-of-field information from 24 and the user input coordinates (px, py), the adjustment amount (blurring amount) is calculated by Equation (11) and Equation (12).
  • Dview is the same as Dview in Equation (6) and Equation (7) or a position at an arbitrary distance within the depth of field
  • D (px, py) is a coordinate (px, py) specified by user input. It is a depth value of image auxiliary data (depth map) corresponding to the position. That is, an arbitrary position of the image can be set as a reference position of the depth of field by a user input.
  • FIG. 9 shows a conceptual diagram of comparison between the second embodiment and the third embodiment.
  • the blur amount is adjusted for the image in the depth range 62 of the image indicated by Max (D (x, y)) to Min (D (x, y)).
  • Max (D (x, y)) to Min (D (x, y)).
  • the depth range 62 of the image is larger than the field range 61, and an area closer to the closest distance position of the depth of field or an area farther than the farthest distance position is generated.
  • the blur amount is adjusted so that the blur amount increases as the distance from the nearest distance position or the farthest distance position increases in these areas.
  • the image depth range 63 indicates the position D (px, py) designated by the user in the image depth range 62.
  • the depth range of the image is set so that the position D (px, py) designated by the user becomes the depth position of the reference position s (as illustrated by the arrow in the depth range 63 of the image). Shift 62. Therefore, in the third embodiment, the position of the depth range 63 of the image is moved to the position of the depth range 64 of the image, and the range R (illustrated in gray) R in which the blur amount is adjusted is changed.
  • the user input unit 53 As for the method of designating coordinates by user input from the user input unit 53, (1) a display device for performing stereoscopic display through an input device such as a mouse, or a display device prepared for input separately. Specify the coordinates of the image data displayed above, or (2) image data on a touch sensor type display device for performing the stereoscopic display or a touch sensor type display device separately prepared for input. It is possible to display and specify the coordinates of the image data, or (3) to determine which coordinates of the image data the user is watching using an eye tracking device or the like.
  • the user input unit 53 is preferably a contact type or non-contact type touch sensor and / or a visual line detection device that senses the visual line position of the user.
  • the depth sense parameter adjustment range (depth of field) is estimated according to the light environment in the viewing environment and the input related to the user's attention area, thereby generating an image with the sense of depth parameter adjusted. can do.
  • the blur amount is described as the depth sensation parameter.
  • the binocular parallax amount can also be used as the depth sensation parameter as in the first embodiment.
  • a fourth embodiment of the present invention will be described.
  • a configuration for detecting viewer position information will be described.
  • a viewing position detection unit 54 is further provided in addition to the configuration of FIG.
  • the viewing position detector 54 detects the position of the viewer with respect to the display device, that is, the positional relationship between the display device and the viewer.
  • the viewing position detection unit 54 is preferably provided on the display device side, and the image processing apparatus 1 preferably receives information on the position from the display device. Even if it is provided on the apparatus 1 side, an appropriate adjustment amount can be obtained.
  • the viewer position is detected by a distance measuring sensor
  • the position operated by the viewer with a remote control or the like is used
  • the viewer is detected using various tracking devices. It is conceivable to detect the position, (4) detect the viewer's face position with a camera sensor, and estimate the position based on the parameters of face recognition.
  • it described about detecting a viewer position in the above in fact, it is only necessary to detect the position of the face (the position of the eyeball).
  • the image auxiliary data analysis unit 21, the depth of field calculation unit 22, and the adjustment amount generation unit 25 use the standard viewing distance information from the default information storage unit 30 as the position of Dview.
  • the adjustment amount is adaptively calculated for the viewer position by using the viewer position information indicating the position of the viewer detected by the viewing position detector 54 in the present embodiment. Will be able to. That is, in the present embodiment, the depth sensation parameter adjustment amount calculation unit 20 has the viewing environment light information acquired by the viewing environment light information acquisition unit 40, the image auxiliary data, and the viewer detected by the viewing position detection unit 54. The adjustment amount of the depth sensation parameter is calculated based on the viewer position information indicating the position of.
  • the adjustment amount of the depth sensation parameter may be calculated using user input information that is information input by the user input unit 53 shown in FIG.
  • the viewing distance of one viewer who is most facing the screen direction As for the setting of the viewing distance when multiple people are detected, (1) use the viewing distance of one viewer who is most facing the screen direction, and (2) the average (center of gravity position) of the distances of all viewers. Use of viewing distance, (3) use of weighted average viewing distance according to the orientation of all viewers in the screen direction, etc. can be considered.
  • the brightness detection sensor unit 51, the screen luminance information generation unit 52, and the viewing position detection unit 54 in the present embodiment in FIG. 3 can use camera sensors as means for acquiring various information. Indicated. Therefore, as shown in the configuration example of the viewing environment light information acquisition unit 40 and its peripheral part in FIG. 11, it is possible to acquire shooting data (camera image data) by the same camera sensor unit 55.
  • the camera sensor unit 55 is an imaging device such as a camera sensor array, and may be provided in the image processing device 1. 11, the output from the camera sensor unit 55 is input to the brightness information acquisition unit 41, the screen luminance information acquisition unit 42, the face detection unit 56, and the viewing position detection unit 54. Keep it.
  • the illumination information and / or the luminance information is adopted as the viewing environment light information and the position of the viewer is detected, the illumination information and the information are captured based on the imaging data captured by the imaging apparatus.
  • One or more of luminance information and viewer position information is detected simultaneously.
  • the illumination information and the luminance information may be detected by the imaging device, but not detected.
  • the other information may be detected by another device.
  • step S41 a camera image from the camera sensor unit 55 is captured.
  • the face detection unit 56 refers to the face recognition database (DB) recorded in the camera image and default information storage unit 30 and performs face recognition.
  • step S ⁇ b> 43 the viewing position detection unit 54 detects the position of the viewer based on the face recognition result and the camera image from the face detection unit 56, and sends the viewer position information to the depth sensation parameter adjustment amount calculation unit 20.
  • DB face recognition database
  • step S44 the screen brightness information acquisition unit 42 generates screen brightness information based on the camera image and the image data and the face recognition result from the face detection unit 56, and sends the screen brightness information to the brightness parameter estimation unit 43.
  • step S ⁇ b> 45 the brightness information acquisition unit 41 acquires illuminance information based on the camera image and sends it to the brightness parameter estimation unit 43.
  • the image processing apparatus 1 is mounted on a small terminal 100 at the viewer's hand and spatially separated.
  • the image data after adjusting the depth sensation parameter may be sent to the display device 101 installed in the screen.
  • the terminal 100 includes the image processing apparatus 1, a user input unit 53, a camera sensor unit 55, and a connection distance detection unit 57.
  • the terminal 100 is connected to a storage area (for example, a server on the Internet) in which image data and image auxiliary data are stored, reads the image data and image auxiliary data from the storage area, generates image data after adjusting the depth feeling parameter, The image data after adjusting the depth feeling parameter is sent to the display device 101.
  • a storage area for example, a server on the Internet
  • FIG. 14 shows an example of stereoscopic image display processing in such a display system.
  • the terminal 100 including the image processing device 1 is used at a position spatially separated from a display device 101 (that is, a display device for displaying an image after image processing) serving as a stereoscopic image display unit. ing. Therefore, in step S ⁇ b> 51, the terminal 100 first establishes (connects) with the display device 101, receives various information such as a display size from the display device 101, and writes it as default information in the default information storage unit 30.
  • image data and image auxiliary data are acquired from a tuner or a server on the Internet.
  • the user input unit 53 displays the image data using, for example, a touch sensor type display, causes the viewer to specify coordinates, and sends the specified coordinates (x, y) to the image processing apparatus 1. .
  • step S54 the camera sensor unit 55 executes steps S41 to S45 in FIG.
  • step S ⁇ b> 55 the connection distance detection unit 57 detects the distance between the terminal 100 and the display device 101.
  • a method for detecting the distance between the terminal 100 and the display device 101 is, for example, an imaging device such as a camera sensor in which the connection distance detection unit 57 can photograph the display device 101, and the display device 101 projected onto the camera image. The distance can be estimated by comparing the size on the image and the display size information recorded in the default information storage unit 30.
  • step S56 the image processing apparatus 1 determines the distance between the position of the viewer's face and the display device 101 from the terminal-display device distance obtained from the connection distance detection unit 57 and the terminal-face obtained from the camera sensor unit 55.
  • the relative distance is calculated from the distance.
  • the viewer with respect to the display device 101 uses the distance detected by the viewing position detection unit 57 by the viewing position detection unit 57. It is preferable to detect the position.
  • the camera sensor unit 55 is provided on the display device 101 side, and the position of the viewer with respect to the display device 101 acquired there is indicated. Information may be transmitted to the terminal 100 side (that is, the image processing apparatus 1 side).
  • step S57 the image processing apparatus 1 determines the image data, the image auxiliary data, the user input information from the user input unit 53, the viewing environment light information from the camera sensor unit 55, and the viewer's face calculated in step S56. Based on the distance information between the position and the display device 101, image data after adjusting the depth sensation parameter is generated and sent to the display device 101.
  • the range in which the depth sensation parameter should be adjusted based on the depth of field includes the light environment and the position / orientation of the viewer in the viewing environment.
  • the blurring amount is described as the depth sensation parameter.
  • the binocular parallax amount can also be used as the depth sensation parameter, as in the first embodiment.
  • each component for realizing the function is described as being a different part, but actually has a part that can be clearly separated and recognized in this way. It doesn't have to be.
  • the image processing apparatus that implements the functions of the above embodiments may configure each component for realizing the function using, for example, different parts, or all the components. May be mounted on a single LSI. That is, what kind of mounting form should just have each component as a function.
  • each component of the image processing apparatus includes hardware such as a CPU (Central Processing Unit), a memory, a bus, an interface, and a peripheral device, and software that can be executed on the hardware. realizable.
  • a CPU Central Processing Unit
  • a microprocessor or a DSP Digital Signal Processor
  • Part or all of the hardware can be mounted as an integrated circuit / IC (Integrated Circuit) chip set, and in this case, the software may be stored in the memory.
  • all the components of the present invention may be configured by hardware, and in that case as well, part or all of the hardware can be mounted as an integrated circuit / IC chip set. .
  • software for realizing the functions described in the above embodiments is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system such as a personal computer.
  • the processing of each unit may be performed by a CPU or the like in the computer system executing the program.
  • the “computer system” mentioned here includes an OS (Operating System) and hardware such as peripheral devices.
  • the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” means a storage device such as a flexible disk, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case is also used to hold a program for a certain period of time. Further, the program may be for realizing a part of the above-described functions, and may be capable of realizing the above-described functions in combination with a program already recorded in the computer system. .
  • the present invention can also take the form of an image processing method having the following acquisition step and calculation step.
  • the acquisition step is a step in which the viewing environment light information acquisition unit acquires viewing environment light information that is information related to ambient light in the viewing environment of the display device.
  • the depth sensation parameter adjustment amount calculation unit calculates an image indicated by the image data in the display device based on the viewing environment light information and auxiliary data for giving a sense of depth of the image in the image data.
  • This is a step of calculating the adjustment amount of the depth sensation parameter for the monocular cue and / or the binocular cue used for display.
  • Other application examples are the same as those described for the image processing apparatus, and a description thereof will be omitted.
  • the program itself is a program for causing a computer to execute the image processing method. That is, this program obtains a step of obtaining viewing environment light information, which is information related to ambient light among viewing environments on the display device, and a depth of the image in the viewing environment light information and image data. And a step of calculating an adjustment amount of a depth sensation parameter for a monocular cue and / or a binocular cue used when displaying the image indicated by the image data on the display device based on the auxiliary data of It is a program.
  • Other application examples are the same as those described for the image processing apparatus, and a description thereof will be omitted.
  • DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus, 10 ... Depth feeling parameter adjustment part, 20 ... Depth feeling parameter adjustment amount calculation part, 21 ... Image auxiliary data analysis part, 22 ... Depth of field calculation part, 23 ... Correction range setting part, 24 ... Correction content determination unit, 25 ... adjustment amount generation unit, 30 ... default information storage unit, 40 ... viewing environment light information acquisition unit, 41 ... brightness information acquisition unit, 42 ... screen luminance information acquisition unit, 43 ... brightness parameter estimation , 43 ... Brightness parameter estimation part, 51 ... Brightness detection sensor part, 52 ... Screen luminance information generation part, 53 ... User input part, 54 ... Viewing position detection part, 55 ... Camera sensor part, 56 ... Face detection part 57: Connection distance detection unit, 100 ... Terminal, 101 ... Display device.

Abstract

　画像処理装置において、視聴環境のうち環境光に応じて、奥行き感パラメータ（両眼手掛かり、単眼手掛かりに関わるパラメータ）を調整するために、画像処理装置（１）は、視聴環境光情報取得部（４０）と奥行き感パラメータ調整量計算部（３０）とを備える。視聴環境光情報取得部（４０）は、表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得する。奥行き感パラメータ調整量計算部（２０）は、視聴環境光情報と画像補助データとに基づき、表示装置において画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算する。

Description

画像処理装置、方法、プログラム、および記録媒体
　本発明は、画像の奥行き感を示すパラメータを調整する画像処理装置、画像処理方法、その画像処理方法をコンピュータに実行させるためのプログラム、およびそのプログラムを記録した記録媒体に関する。
　多くの一般的な画像（平面画像、立体画像）は、奥行きに関する情報を有している。ここで、奥行きに関する情報は、単眼手掛かり、両眼手掛かりに分類することができる。単眼手掛かりの例としては、ボケ、テクスチャの肌理、陰影、重なり、コントラスト、相対的な大きさ、線遠近法のような絵画的手掛かりと呼ばれる手掛かりの他、眼の調節（水晶体によるピント調節）などが挙げられる。両眼手掛かりの例としては、輻輳（左右眼の視線の交差）や両眼視差（網膜像差）などが挙げられる。これらの情報を知覚することによって、我々は、平面に投影された画像であったとしても奥行き感を感じることができる。
　しかしながら、これらの奥行きに関する手掛かりに大きな齟齬が生じた場合（現実の見えとかけ離れてしまった場合）、我々は画像に対して不自然さや不快感、視覚疲労を感じることがある。例えば、立体画像においては、輻輳と調節の齟齬による視覚疲労の例が挙げられる。２次元の平面ディスプレイ上に立体画像を表示した場合、調節がディスプレイ面上にあり、輻輳位置が中空となる状態が生じ、自然な視覚とは異なるために視覚的な疲労を引き起こすこととなる。
　以上の問題の解決策として、特許文献１および特許文献２が開示されている。
　特許文献１には、立体画像を表示画面上に表示する際に、２つの画像間の距離・奥行きの計算結果に基づいて、眼球光学系の焦点深度内になるように立体画像の位置を制御する方法が開示されている。それにより、立体画像の位置が表示画面の位置と対応することで輻輳と調節が一致し、視覚疲労が軽減されることが記されている。
　特許文献２には、平面画像およびそのデプスマップから立体画像を生成する際に、デプスマップと眼球光学系の焦点深度に基づき、左右それぞれの画像を生成することで、視覚疲労に配慮した立体画像コンテンツの制作を実現する方法について開示されている。
特開２００２－２２３４５８号公報（２００２年８月９日公開） 特開２０１１－１６０３０２号公報（２０１１年８月１８日公開）
　上記の特許文献１，２に記載された方法によれば、眼球光学系の焦点深度を考慮して立体画像の表示位置を制御し、視覚疲労の少ない快適な立体画像を提供することができる。しかしながら、人間の眼球の焦点深度は、周辺の環境光の影響を受けて変動する。焦点深度は、一般的に暗室においては狭くなり、明室においては広くなる。したがって、例えば、明室向けに調整された立体画像コンテンツを暗室で見た場合には視覚疲労が発生してしまう可能性があり、環境光によって視聴者が受ける印象が変わってしまう。
　以上において、両眼手掛かりの例について説明したが、単眼手掛かりにおいても同様のことが考えられる。単眼手掛かりの例として「ボケ」の例を挙げる。ディスプレイ上に表示されている被写体空間（最も近い被写体と最も遠い被写体とが成す空間）が、現実においては焦点深度内に収まるような構図であるにも関わらず、被写体にボケが生じてしまっている場合、現実と同様の見えではなくなってしまい、自然さが失われることも考えられる。
　本発明は、上述のような実状に鑑みてなされたものであり、その目的は、画像処理装置において、視聴環境のうち環境光に応じて、つまり光環境に応じて、奥行き感パラメータ（両眼手掛かり、単眼手掛かりに関わるパラメータ）を調整することにある。
　上記の課題を解決するために、本発明の第１の技術手段は、画像処理装置において、表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得する視聴環境光情報取得部と、前記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、前記表示装置において前記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算する奥行き感パラメータ調整量計算部と、を備えることを特徴としたものである。
　本発明の第２の技術手段は、第１の技術手段において、前記奥行き感パラメータの調整量を調整するための基準位置を示すユーザ操作を入力するユーザ入力部をさらに備え、前記奥行き感パラメータ調整量計算部は、前記視聴環境光情報と前記補助データと前記ユーザ入力部で入力された情報であるユーザ入力情報とに基づき、前記奥行き感パラメータの調整量を計算することを特徴としたものである。
　本発明の第３の技術手段は、第１の技術手段において、前記奥行き感パラメータの調整量を調整するための基準位置を示すユーザ操作を入力するユーザ入力部と、前記表示装置に対する視聴者の位置を検出する視聴位置検出部と、をさらに備え、前記奥行き感パラメータ調整量計算部は、前記視聴環境光情報と前記補助データと前記ユーザ入力部で入力された情報であるユーザ入力情報と前記視聴位置検出部で検出された視聴者の位置を示す視聴者位置情報とに基づき、前記奥行き感パラメータの調整量を計算することを特徴としたものである。
　本発明の第４の技術手段は、第２または第３の技術手段において、前記ユーザ入力部は、接触型もしくは非接触型のタッチセンサ、および／または、ユーザの視線位置をセンシングする視線検出装置であることを特徴としたものである。
　本発明の第５の技術手段は、第１の技術手段において、前記表示装置に対する視聴者の位置を検出する視聴位置検出部をさらに備え、前記奥行き感パラメータ調整量計算部は、前記視聴環境光情報と前記補助データと前記視聴位置検出部で検出された視聴者の位置を示す視聴者位置情報とに基づき、前記奥行き感パラメータの調整量を計算することを特徴としたものである。
　本発明の第６の技術手段は、第３または第５の技術手段において、前記視聴環境光情報は、視聴環境の明るさを示す照明情報および／または前記表示装置での表示輝度を示す輝度情報であり、前記画像処理装置は、撮像装置を備え、該撮影装置で撮影した撮像データに基づき、前記照明情報および／または前記輝度情報と、前記視聴者位置情報とのいずれか一方もしくは複数を同時に検出すること特徴としたものである。
　本発明の第７の技術手段は、第３または第５の技術手段において、前記画像処理装置は、前記表示装置と空間的に離れた位置で使用され、前記画像処理装置は、前記表示装置と前記画像処理装置との間の距離を検出する接続距離検出部を備え、前記視聴位置検出部は、前記距離を用いて前記表示装置に対する視聴者の位置を検出することを特徴としたものである。
　本発明の第８の技術手段は、第１～第５のいずれか１の技術手段において、前記視聴環境光情報は、視聴環境の明るさを示す照明情報および／または前記表示装置での表示輝度を示す輝度情報であることを特徴としたものである。
　本発明の第９の技術手段は、第１～第５のいずれか１の技術手段において、前記視聴環境光情報は、視聴環境の明るさを示す照明情報および／または前記表示装置での表示輝度を示す輝度情報によって推定される視聴者瞳孔径を示す情報であることを特徴としたものである。
　本発明の第１０の技術手段は、第９の技術手段において、前記奥行き感パラメータ調整量計算部は、前記視聴者瞳孔径を示す情報に基づき、前記表示装置が表現すべき被写界深度情報を計算もしくは推定し、前記奥行き感パラメータの調整量を計算することを特徴としたものである。
　本発明の第１１の技術手段は、第１～第１０のいずれか１の技術手段において、前記補助データは、前記画像データの位置に対応した前記奥行き感パラメータの調整位置を指定するマスクデータ、および／または、前記画像データの位置に対応した奥行きマップであることを特徴としたものである。
　本発明の第１２の技術手段は、第１～第１１のいずれか１の技術手段において、前記奥行き感パラメータは、ぼかし量であることを特徴としたものである。
　本発明の第１３の技術手段は、第１～第１１のいずれか１の技術手段において、前記奥行き感パラメータは、両眼視差量であることを特徴としたものである。
　本発明の第１４の技術手段は、画像処理方法において、視聴環境光情報取得部が、表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得する取得ステップと、奥行き感パラメータ調整量計算部が、前記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、前記表示装置において前記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算する計算ステップと、を有することを特徴としたものである。
　本発明の第１５の技術手段は、画像処理プログラムにおいて、コンピュータに、表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得する取得ステップと、前記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、前記表示装置において前記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算する計算ステップと、を実行させるためのプログラムであることを特徴としたものである。
　本発明の第１６の技術手段は、コンピュータ読み取り可能な記録媒体において、第１５の技術手段における画像処理プログラムを記録したことを特徴としたものである。
　本発明によれば、視聴環境の光環境に応じて、あるいはそれに加えて視聴者の位置・向き等の状態に応じて、奥行き感パラメータを調整することができる。
本発明の第１の実施の形態における画像処理装置の一構成例を示す図である。 図１の画像処理装置における画像処理例を説明するためのフロー図である。 図１の画像処理装置における視聴環境光情報取得部およびその周辺部の一構成例を示す図である。 図３の視聴環境光情報取得部における処理例を説明するためのフロー図である。 図１の画像処理装置における奥行き感パラメータ調整量計算部およびその周辺部の一構成例を示す図である。 図５の奥行き感パラメータ調整量計算部における処理例を説明するためのフロー図である。 図６の処理における奥行きパラメータ調整要否判定処理の一例を説明するためのフロー図である。 図１の画像処理装置における奥行き感パラメータ調整量計算部およびその周辺部の他の構成例を示す図である。 本発明の第２の実施の形態と第３の実施の形態とを比較するための図である。 図１の画像処理装置における奥行き感パラメータ調整量計算部およびその周辺部の他の構成例を示す図である。 図１の画像処理装置における視聴環境光情報取得部およびその周辺部の他の構成例を示す図である。 図１１の画像処理装置における視聴環境光情報取得部の処理例を説明するためのフロー図である。 本発明に係る画像処理装置を含む表示システムの一構成例を示す図である。 図１３の表示システムにおける画像の立体表示処理の一例を説明するためのフロー図である。
　以下、本発明に係わる実施の形態を、図面を参照して説明する。
（第１の実施の形態）
　図１は、本発明の第１の実施の形態における画像処理装置の一構成例を示す図である。本実施の形態における画像処理装置１は、本発明の主たる特徴として、視聴環境光情報取得部４０と奥行き感パラメータ調整量計算部２０とを備える。
　視聴環境光情報取得部４０は、表示装置での視聴環境（つまり、表示装置を視聴する視聴者の置かれている視聴環境）のうち環境光に関する情報である視聴環境光情報を取得する。ここで、表示装置とは、画像処理装置１で画像処理後の画像を表示するための表示装置を指す。また、ここで言う環境光に関する情報とは、視聴に際しての光環境を示す情報（つまり画像の見え方を示す情報）を指し、表示装置における所謂、周囲の明るさだけを指してもよいが、人間の眼球の焦点深度は表示装置での画像を輝度によっても影響を受けるため、後述するように表示装置での表示輝度（画面輝度）を示す情報を含むことが好ましい。以下、環境光に関する情報を、単に光情報とも言う。
　本画像処理装置で処理対象となる画像データとしては、例えば、カメラを有するデバイスにおいてカメラセンサ部から出力される画像データ、ＲＯＭ（Read Only Memory）などの記録媒体に記録された画像データ、ネットワーク経由でサーバから受信した画像データ、チューナ等によって受信されて画像に変換された画像データなどが該当する。
　奥行き感パラメータ調整量計算部２０は、視聴環境光情報と画像補助データとに基づき、表示装置において画像データが示す画像を表示させる際に用いる奥行き感パラメータの調整量を計算する。この奥行き感パラメータは、画像の奥行き感を示すパラメータであって、単眼手掛かりおよび／または両眼手掛かりについてのパラメータである。また、この奥行き感パラメータは、表示装置において画像データを立体画像で表示する際の奥行き感を示すために用いられるだけでなく、通常の平面画像を表示する際のぼかし量などの奥行き感を示すためにも用いられる。なお、奥行き感パラメータは、表示装置における表示パラメータの一つと言え、上記画像補助データに含まれる情報であってもよいし、上記画像補助データから計算によって求まる情報であってもよい。いずれの場合でも、奥行き感パラメータ調整量計算部２０は、奥行き感パラメータの調整量を計算する。
　上記の画像補助データとは、画像データにおける画像の奥行き感を出すための補助データであって、この画像補助データは、画像データに関連付けて付属されてもよいし、画像データ内に含ませてもよい。画像補助データは、例えば、上記画像データの位置（画素位置）に対応した奥行き感パラメータの調整位置を指定するマスクデータ、上記画像データの位置（画素位置）に対応した奥行きマップ（デプスマップ、視差マップとも呼ばれる）などのデータである。
　また、この奥行きマップとしては、例えば、（１）画像データが立体画像データであった場合、その立体画像データに基づき算出される奥行きデータ、（２）撮影するカメラデバイスに対応した測距デバイスから取得される奥行きデータ、（３）２Ｄ画像から２Ｄ３Ｄ変換技術によって推定される奥行きデータ、などが挙げられる。また、画像補助データは、マスクデータおよび／または奥行きマップであることが好ましいが、これに限ったものではなく、画像の奥行き感を出すためのデータであればよい。
　図１で例示した画像処理装置１には、その他、奥行き感パラメータ調整部１０およびデフォルト情報記憶部３０を備える。デフォルト情報記憶部３０は、奥行き感パラメータ調整量計算部２０で計算される調整量を求めるためのデフォルト情報を格納する。奥行き感パラメータ調整量計算部２０は、画像補助データ、視聴環境光情報取得部４０からの視聴環境光情報、およびデフォルト情報記憶部３０からのデフォルト情報に基づき、奥行き感パラメータの調整量を計算する。奥行き感パラメータ調整部１０は、奥行き感パラメータ調整量計算部２０からの奥行き感パラメータ調整量および入力データ（入力された画像データであって表示装置での表示対象のデータ）から、奥行き感パラメータを調整した画像を生成する。
　画像処理装置１における画像処理例を図２に示す。ステップＳ１において、視聴環境光情報取得部４０は、視聴環境の光情報を受け取り、奥行き感パラメータ調整量計算部２０に送る。ステップＳ２において、奥行き感パラメータ調整量計算部２０は、視聴環境光情報取得部４０からの視聴環境光情報と、デフォルト情報記憶部３０からのデフォルト情報と、画像補助データとを受け取り、奥行き感パラメータ調整量を計算し、調整量を奥行き感パラメータ調整部１０に送る。ステップＳ３において、奥行き感パラメータ調整部１０は、奥行き感パラメータ調整量計算部２０からの奥行き感パラメータ調整量と、画像データとを受け取り、奥行き感パラメータ調整後画像を生成する。
　まず、視聴環境光情報取得部４０の具体例について説明する。
　視聴環境光情報取得部４０で取得する視聴環境光情報としては、視聴環境の明るさを示す照明情報（視聴環境の照明情報）、表示装置での表示輝度を示す輝度情報などが挙げられ、照明情報と輝度情報とを双方採用することが好ましい。なお、輝度情報としては、表示装置において実際に測定した値であることが好ましいが、代わりに、表示装置における最大表示可能輝度、つまり表示装置の表示能力（白データを表示する際に可能な最大輝度）であってもよいし、表示対象の画像データの画素値から計算した、表示対象の画像データを実際に表示した際の画素の表示輝度値（推定値）の画面平均値や画面最大値などであってもよい。
　ここでは、視聴環境光情報取得部４０が、画像処理装置１の設置環境における光情報として、例えば、室内照明情報、ディスプレイ輝度情報を受け取り、視聴者瞳孔径を推定し、視聴者瞳孔径を示す情報を視聴環境光情報統合結果として、奥行き感パラメータ調整量計算部２０に送る。この場合、奥行き感パラメータ調整量計算部２０は、上記の視聴者瞳孔径を示す情報に基づき、表示装置が表現すべき被写界深度情報を計算もしくは推定し、奥行き感パラメータの調整量を計算することが好ましい。この計算の方法については後述する。但し、視聴者瞳孔径の推定は行わなくてもよく、その場合、照明情報および／または輝度情報をそのまま使用すればよい。また、視聴者瞳孔径を照明情報および輝度情報によって推定することを前提に説明するが、照明情報または輝度情報の一方のみから推定してもよい。
　視聴環境光情報取得部４０およびその周辺部の一構成例を図３に示す。視聴環境光情報取得部４０は、上記照明情報（明るさ情報）を検出する明るさ検出センサ部５１と、上記輝度情報の一例として画面輝度情報を生成する画面輝度情報生成部５２とに繋がっている。そして、視聴環境光情報取得部４０は、明るさ検出センサ部５１から明るさ情報を取得する明るさ情報取得部４１と、画面輝度情報生成部５２から画面輝度情報を取得する画面輝度情報取得部４２と、明るさ情報取得部４１からの明るさ情報および画面輝度情報取得部４２からの画面輝度情報に基づき、視聴者が感じる明るさを示す明るさパラメータを推定する明るさパラメータ推定部４３とを備える。
　視聴環境光情報取得部４０における処理例を図４に示す。ステップＳ１１において、明るさ情報取得部４１は、明るさ検出センサ部５１からの明るさ情報を取得・統合し、明るさパラメータ推定部４３に送る。ステップＳ１２において、画面輝度情報取得部４２は、画面輝度情報生成部５２からの画面輝度情報を取得・統合し、明るさパラメータ推定部４３に送る。ステップＳ１３において、明るさパラメータ推定部４３は、明るさ情報取得部４１からの明るさ情報と画面輝度情報取得部４２からの画面輝度情報とに基づき、明るさパラメータを推定し、奥行き感パラメータ調整量計算部２０に送る。
　より具体的に説明すると、まず、明るさ検出センサ部５１は、例えば、（１）照度センサ（アレイ）を有し、照度センサで周囲環境の明るさを取得する、もしくは、（２）カメラセンサを有し、カメラセンサで取得される画像データを信号処理することによって周囲環境の明るさを推定する、といった構成が採用できる。なお、明るさ検出センサ部５１では、照度センサから取得した明るさの情報とカメラセンサから推定した明るさの情報の双方を統合し、統合した結果の明るさ情報を生成し、明るさパラメータ推定部４３に渡してもよい。
　画面輝度情報生成部５２は、例えば、（１）画像処理装置１に入力される画像データを受け取り、画面全体の輝度の平均値を画面輝度情報として生成する、もしくは、（２）画像データから画像の注目領域を推定し、その注目領域の輝度情報を画面輝度情報として生成する、もしくは、（３）カメラセンサによって、視聴者の顔の向き（もしくは視線の向き）および視聴位置を検出し、その検出結果に基づき注目領域を設定し、その注目領域の輝度情報を画面輝度情報として生成する、といった構成が採用できる。なお、画面輝度情報生成部５２では、上記（１）～（３）のいずれか２つまたは３つの方法で生成した画面輝度情報を統合し、統合した結果の画面輝度情報を生成し、画面輝度情報取得部４２に渡してもよい。また、明るさ検出センサ部５１と画面輝度情報生成部５２でいずれもカメラセンサを採用する場合には、共通のカメラからの画像データを利用することが好ましい。
　明るさパラメータ推定部４３は、例えば、明るさパラメータとして視聴者の瞳孔径を推定する。一般的に、人間の瞳孔径は２～８ｍｍ程度と言われており、例えば、式(1)に基づき算出する。
　SIZE_P ＝ α × Illum ＋ β × Lumin ＋ γ　　　　　　　・・・(1)
　ここで、ＳＩＺＥ＿Ｐは瞳孔径のサイズ、Ｉｌｌｕｍは明るさ情報取得部４１から得られる照度値、Ｌｕｍｉｎは画面輝度情報取得部４２から得られる輝度値、α，β，γは任意の係数である。
　また、明るさパラメータ推定部４３で推定される明るさパラメータが、離散的に大きく変化することは望ましくない（瞳孔径を例にすると、不連続に変化しない）ため、レジスタ等に前の明るさパラメータ推定時の出力値を保持しておき、例えば、式(2)のように時間方向に平滑化を行う。
　SIZE_P′ ＝ η × SIZE_P_CUR ＋ ( 1 － η ) ×SIZE_P_PRE　・・・(2)
　ここで、ＳＩＺＥ＿Ｐ′は平滑化後の瞳孔径サイズ、ＳＩＺＥ＿Ｐ＿ＣＵＲは現在推定した瞳孔径サイズ、ＳＩＺＥ＿Ｐ＿ＰＲＥは前回推定した瞳孔径サイズ、ηは平滑化係数である。
　明るさパラメータ推定部４３は、算出した瞳孔径サイズを明るさパラメータとして、奥行き感パラメータ調整量計算部２０に送る。明るさパラメータは、単純に視聴者が受ける視聴環境明るさ強度としてもよく、「強（３）」「中（２）」「弱（１）」のように離散的な値として出力してもよい。
　なお、視聴環境光情報取得部４０のデータの更新頻度は、画像データのフレームレートに必ずしも合わせる必要はない。
　次に、奥行き感パラメータ調整量計算部２０の具体例について説明する。
　奥行き感パラメータ調整量計算部２０およびその周辺部の一構成例を図５に示す。奥行き感パラメータ調整量計算部２０は、調整する奥行き感パラメータに関するデータを画像補助データから解析する画像補助データ解析部２１と、被写界深度を算出する被写界深度計算部２２とを備える。奥行き感パラメータ調整量計算部２０は、さらに、被写界深度計算部２２からの被写界深度情報とデフォルト情報記憶部３０からのデフォルト情報とに基づき奥行き感パラメータの調整すべき範囲を設定する補正範囲設定部２３と、画像補助データ解析部２１からの解析結果と補正範囲設定部２３からの補正範囲情報とに基づき調整の必要の要否を判断する補正内容判断部２４と、補正内容判断部２４の判断結果に基づき調整量を決定する調整量生成部２５とを備える。
　ここで、デフォルト情報記憶部３０は、例えば、視聴者の標準視距離、調整する奥行きパラメータおよび奥行きパラメータのデフォルト値、本発明における画像処理装置１に接続される表示装置の解像度（ディスプレイ解像度）、アスペクト比、標準的な瞳孔間隔など、種々の計算において必要となる情報が保持されている。
　奥行き感パラメータ調整量計算部２０における処理例を図６に示す。ステップＳ２１において、画像補助データ解析部２１は、画像補助データとデフォルト情報とから、奥行き感パラメータを解析し、解析データを出力する。デフォルト情報とは、デフォルト情報記憶部３０から得た、「調整する奥行きパラメータ」、「ディスプレイサイズ」、「ディスプレイ解像度」、「標準視聴距離」、「標準眼間距離」などの情報である。このように、調整する奥行き感パラメータが両眼視差量であった場合、画像補助データとしてデプスマップを受け取り、相当する両眼視差量（両眼視差範囲）を解析する。その際、解析データとして、表示装置に表示した際に立体像として再現される最近距離（視聴者位置を原点とした最も近い距離）、最遠距離（視聴者位置を原点とした最も遠い距離）、およびそれらが成す範囲を出力する。このように、奥行き感パラメータとしては両眼視差量を採用することができる。
　ここで、距離データの算出方法の一例について説明する。デプスマップのデータが符号付き８ｂｉｔ（－１２８～１２７）であったとし、その画素値がディスプレイ上でのずれ量であったとすると、距離データＤ（ｘ，ｙ）は式(3)～式(6)によって算出される。なお、デプスデータが正である場合を近距離方向、負である場合を遠距離方向であるとする。
　if ( M(x,y) ≧ 0 )
　　D(x,y) ＝ Deye × Dview ／ ( Deye ＋dot × M(x,y) )　　・・・(3)
　else if ( M(x,y) ＜ 0 and dot × M(x,y) ＜ Deye )
　　D(x,y) ＝ Dview ＋ dot × M(x,y) ×Dview ／ ( Deye － abs( dot × M(x,y) ))
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・(4)
　else
　　D(x,y) ＝ ∞ (無限)　　　　　　　　　　　　　　　　　　・・・(5)
　ここで、Ｄ（ｘ，ｙ）は座標（ｘ，ｙ）における距離データ、Ｍ（ｘ，ｙ）は座標（ｘ，ｙ）におけるデプスマップの画素値、Ｄｅｙｅは視聴者の眼間距離、Ｄｖｉｅｗは視聴距離（視聴者位置から表示画面までの距離）、ｄｏｔは１ピクセルの大きさ、ａｂｓ（）は絶対値を求める関数である。例えば、ディスプレイサイズが５２インチ、ディスプレイ解像度が１９２０×１０８０、視距離Ｄｖｉｅｗが画面高の３倍、視聴者の眼間距離Ｄｅｙｅが６５ｍｍ、デプスマップの画素値Ｍ（ｘ，ｙ）が３０であったとすると、ディスプレイサイズおよび解像度よりｄｏｔ≒０．６０、Ｄｖｉｅｗ≒１９４３ｍｍであり、式(3)が適応されるためＤ（ｘ，ｙ）≒１５２２ｍｍとなる。
　ステップＳ２２において、被写界深度計算部２２は、視聴環境光情報取得部４０からの明るさパラメータとデフォルト情報記憶部３０からの「標準視聴距離」などの情報を基に被写界深度を算出する。前述の例に従い、明るさパラメータとして瞳孔サイズＳＩＺＥ＿Ｐを受け取った場合について説明する。被写界深度（最近点、最遠点）を算出するための式（近似式）の一例を式(6)および式(7)に示す。
　DN ＝ Dview ( H － f ) ／ ( H ＋ Dview － 2f ) 　　　　　・・・(6)
　DF ＝ Dview ( H － f ) ／ ( H － Dview )　　　　　　　　 ・・・(7)
　ここで、ＤＮは被写界の最近点距離（視聴者位置を原点とした距離）、ＤＦは被写界の最遠点距離（視聴者位置を原点とした距離）、Ｄｖｉｅｗは視距離値（視聴者位置から表示面までの距離）、Ｈは過焦点距離、ｆは焦点距離である。過焦点距離Ｈは式(8)によって算出される。
　H ＝ f × SIZE_P ／ c　　　　　　　　　　　　　　　　　　 ・・・(8)
　ここで、ＳＩＺＥ＿Ｐは視聴環境光情報取得部４０から得られた明るさパラメータ（瞳孔サイズ）、ｃは許容錯乱円定数である。
　ステップＳ２３において、補正範囲設定部２３は、被写界深度計算部２２からの被写界深度情報と、デフォルト情報記憶部３０からの「調整する奥行きパラメータ」、「ディスプレイサイズ」などのデフォルト情報とから、奥行き感パラメータ調整量による補正範囲を設定し、範囲設定データとして出力する。すなわち、調整する奥行き感パラメータが両眼視差量であった場合、被写界深度情報に基づき相当する被写界範囲を設定する。その際、補正範囲データとして、被写界最近距離、被写界最遠距離、およびそれらが成す範囲を出力する。
　ステップＳ２４において、補正内容判断部２４は、図７の流れにしたがい、奥行きパラメータの調整要否の判断（判定）を行う。なお、図７の処理例では、解析データとして両眼視差量（両眼視差に関する値）、範囲設定データとして被写界深度に関する値を採用した場合の例である。
　図７のステップＳ３１において、奥行きパラメータ調整の判断フラグ（最近距離フラグ、最遠距離フラグ、範囲フラグ）を全てＯＦＦに初期化する。ステップＳ３２において、画像補助データ解析部２１からの“両眼視差範囲”と補正範囲設定部２３からの“被写界範囲”により、両眼視差範囲＞被写界範囲の判定を行う。
　ステップＳ３２でＹＥＳの場合、ステップＳ３３を実行する。ステップＳ３２でＮＯの場合、ステップＳ３４を実行する。ステップＳ３３において、判断フラグのうち範囲フラグをＯＮとする。ステップＳ３４において、画像補助データ解析部２１からの“両眼視差最近距離”と補正範囲設定部２３からの“被写界最近距離”により、両眼視差最近距離＜被写界最近距離の判定（両眼視差最近距離の方が視聴者位置に近いか否かの判定）を行う。
　ステップＳ３４でＹＥＳの場合、ステップＳ３５を実行する。ステップＳ３４でＮＯの場合、ステップＳ３６を実行する。ステップＳ３５において、判断フラグのうち最近距離フラグをＯＮとする。ステップＳ３６において、画像補助データ解析部２１からの“両眼視差最遠距離”と補正範囲設定部２３からの“被写界最遠距離”により、両眼視差最遠距離＞被写界最遠距離の判定（両眼視差最遠距離の方が視聴者位置から遠いか否かの判定）を行う。ステップＳ３６でＹＥＳの場合、ステップＳ３７を実行する。ステップＳ３６でＮＯの場合、全てのフラグを変更せずにステップＳ３９を実行する。
　ステップＳ３７において、判断フラグのうち最近距離フラグをＯＮとする。ステップＳ３８において、補正内容判断部２４は、画像補助データ解析部２１からの解析データ、補正範囲設定部２３からの範囲設定データ、および各判断フラグの情報（フラグ情報）を調整量生成部２５に送る。ステップＳ３９において、補正内容判断部２４は、各判断フラグ（この場合には、全てＯＦＦ）のみを調整量生成部２５に送る。
　このようにして図６のステップＳ２４を処理した後、ステップＳ２５において、補正内容判断部２４からの判断フラグのいずれかがＯＮであった場合、つまり奥行きパラメータの調整が必要であると判定した場合（ステップＳ２５でＹＥＳの場合）、ステップＳ２６を実行する。一方、各判断フラグが全てＯＦＦであった場合（ステップＳ２５でＮＯの場合）、ステップＳ２７を実行する。
　ステップＳ２６において、調整量生成部２５は、判定フラグのうち範囲フラグがＯＮであった場合、両眼視差範囲＝被写界範囲、両眼視差最近距離＝被写界最近距離、両眼視差最遠距離＝被写界最遠距離となるように調整量を設定する。判定フラグのうち最近距離フラグがＯＮであった場合、両眼視差最近距離＝被写界最近距離となるように調整量を設定する。判定フラグのうち最遠距離フラグがＯＮであった場合、両眼視差最遠距離＝被写界最遠距離となるように調整量を設定する。すなわち、両眼視差データが被写界深度内に全て収まるように調整量を設定する。調整量の設定方法は種々考えられるが、本発明の内容には直接的に関係しないため言及しない。ステップＳ２７において、調整量生成部２５は、調整量として規定値０を出力する。
　そして、このようにして計算された調整量のデータに基づき、奥行き感パラメータ調整部１０は、奥行き感パラメータ調整後の画像データを生成する。
　なお、必ずしも判断フラグを利用する必要はなく、補正内容判断部２４を介することなく、調整量生成部２５に画像補助データの解析データと被写界深度データを直接送り、全てのフラグがＯＮであるとみなして図７の処理を実施することもできる。
　以上の構成により、奥行き感パラメータを調整すべき範囲（被写界深度）を、視聴環境における光環境に応じて推定することにより、奥行き感パラメータ（この例では、両眼視差量、つまり両眼視差範囲）を調整した画像を生成することができる。なお、焦点深度は視聴環境によって異なるため、特許文献１，２に記載の技術では必ずしも快適な奥行き範囲に制御されるとは限らないが、本実施の形態では、視聴環境の光情報を検出し、それに基づき、視聴者の被写界深度を算出するため、視聴環境の光情報に応じて奥行きパラメータが制御できるようになる。
（第２の実施の形態）
　次に、本発明の第２の実施の形態について説明する。本発明の第２の実施の形態では、図１の奥行き感パラメータ調整量計算部２０において、奥行き感パラメータとして“ぼかし量（単眼手がかりの例）”が指定された場合の動作の例を示す。具体的には、本実施の形態では、図６のステップＳ２１～Ｓ２５の処理が第１の実施の形態と同様の処理であり、ステップＳ２６における動作が異なる。
　本実施の形態のステップＳ２６では、図５の調整量生成部２５は、判断フラグのうち範囲フラグがＯＮであった場合、画像補助データとして与えられるデプスマップＤ（ｘ，ｙ）と補正内容判断部２４からの被写界深度情報とに基づき、式(9)および式(10)によって調整量（ぼかし量）を算出する。
　if ( D(x,y) ＜ DN )
　　ADJ(x,y) ＝ G( DN － D(x,y) )　　　　　　　　　　　　　・・・(9)
　if ( DF ＜ D(x,y) )
　　ADJ(x,y) ＝ G( D(x,y) － DF )　　　　　　　　　　　　　・・・(10)
　ここで、ＡＤＪ（ｘ，ｙ）は座標（ｘ，ｙ）に対する調整量（ぼかし量）、ＤＮは被写界最近距離、ＤＦは被写界最遠距離、Ｄ（ｘ，ｙ）は座標（ｘ，ｙ）におけるデプスマップ、Ｇ（）はガウシアン関数である。すなわち、被写界深度の最近距離位置もしくは最遠距離位置から離れるに従って、ぼけ量が増大するように調整される（但し、ぼかし量は一定値以上で飽和させる）。判断フラグのうち最近距離フラグがＯＮであった場合、式(9)によって調整量が算出される。判断フラグのうち最遠距離フラグがＯＮであった場合、式(10)によって調整量が算出される。
　以上の構成により、奥行き感パラメータを調整すべき範囲（被写界深度）を、視聴環境における光環境に応じて推定することにより、奥行き感パラメータ（この例では、ぼかし量）を調整した画像を生成することができる。
（第３の実施の形態）
　次に、本発明の第３の実施の形態について説明する。本発明の第３の実施の形態では、図８に奥行き感パラメータ調整量計算部２０およびその周辺部の構成例に示すように、例えば、第２の実施の形態に構成に対し、ユーザ入力部５３を有する構成を採用する。ユーザ入力部５３は、奥行き感パラメータの調整量を調整するための基準位置（例えば被写界深度の基準位置）を示すユーザ操作を入力する（受け付ける）。そして、本実施の形態における奥行き感パラメータ調整量計算部２０は、視聴環境光情報取得部４０で取得した視聴環境光情報と、画像補助データと、ユーザ入力部５３で入力された情報であるユーザ入力情報（基準位置情報）とに基づき、奥行き感パラメータの調整量を計算する。
　ユーザ入力部５３では、ユーザ入力として、例えば、画像データ（画像補助データ）の座標（ｐｘ，ｐｙ）が与えられる。そして、本実施の形態のステップＳ２６において、調整量生成部２５は、判断フラグのうち範囲フラグがＯＮであった場合、画像補助データとして与えられるデプスマップＤ（ｘ，ｙ）と補正内容判断部２４からの被写界深度情報およびユーザ入力座標（ｐｘ，ｐｙ）とに基づき、式(11)および式(12)によって調整量（ぼかし量）を算出する。
　if ( D(x,y) ＜ DN )
　　ADJ(x,y) ＝ G( DN － (D(x,y) ＋ DP) )　　　　　　　　　・・・(11)
　if ( DF ＜ D(x,y) )
　　ADJ(x,y) ＝ G( (D(x,y) ＋ DP) － DF )　　　　　　　　　・・・(12)
　ここで、ＤＰ以外に関しては式(9)および式(10)と同様である。ＤＰは式(13)によって算出される。
　DP ＝ Dview － D(px,py)　　　　　　　　　　　　　　　　 ・・・(13)
　ここで、Ｄｖｉｅｗは式(6)および式(7)のＤｖｉｅｗと同値もしくは被写界深度内の任意距離の位置、Ｄ（ｐｘ，ｐｙ）はユーザ入力によって指定された座標（ｐｘ，ｐｙ）の位置に対応した画像補助データ（デプスマップ）のデプス値である。すなわち、ユーザの入力によって、画像の任意の位置を被写界深度の基準位置に設定することができる。判断フラグのうち最近距離フラグがＯＮであった場合、式(11)によって調整量が算出される。判断フラグのうち最遠距離フラグがＯＮであった場合、式(12)によって調整量が算出される。
　第２の実施の形態と第３の実施の形態についての比較の概念図を図９に示す。図９に示すような被写界範囲６１の環境において、Ｍａｘ（Ｄ（ｘ，ｙ））からＭｉｎ（Ｄ（ｘ，ｙ））で示す画像の奥行き範囲６２の画像に対してぼかし量を調整する場合について説明する。ここで、ｓは被写界深度の基準位置（例えば、ｓ＝Ｄｖｉｅｗ＝標準視距離）とする。画像の奥行き範囲６２は、被写界範囲６１よりも大きく、被写界深度の最近距離位置よりも近い領域もしくは最遠距離位置よりも遠い領域が生じる。第２の実施の形態では、これらの領域に対して、最近距離位置もしくは最遠距離位置から離れるに従ってぼけ量が増大するようにぼかし量を調整する。
　第３の実施の形態について、画像の奥行き範囲６２に対する処理を、画像の奥行き範囲６３を参照しながら説明する。ここで、画像の奥行き範囲６３は、画像の奥行き範囲６２においてユーザにより指定された位置Ｄ（ｐｘ，ｐｙ）を示したものである。第３の実施の形態では、ユーザにより指定された位置Ｄ（ｐｘ，ｐｙ）が基準位置ｓの奥行き位置になるように（画像の奥行き範囲６３において矢印で図示したように）、画像の奥行き範囲６２をシフトする。したがって、第３の実施の形態においては画像の奥行き範囲６３の位置が画像の奥行き範囲６４の位置に移動することとなり、ぼかし量が調整される範囲（グレーで図示）Ｒが変わることとなる。
　また、ユーザ入力部５３からのユーザの入力による座標の指定方法に関しては、（１）マウスのような入力機器を介し、実施の立体表示を行わせる表示装置または別途入力用に用意された表示装置上に表示した画像データの座標を指定すること、もしくは、（２）実施の立体表示を行わせるタッチセンサ型の表示装置または別途入力用に用意されたタッチセンサ型の表示装置上に画像データを表示し、画像データの座標を指定すること、もしくは、（３）アイトラッキング装置などを用いてユーザが画像データのどの座標を注視しているかを判断させること、などが考えられる。このように、ユーザ入力部５３は、接触型もしくは非接触型のタッチセンサ、および／または、ユーザの視線位置をセンシングする視線検出装置であることが好ましい。
　以上の構成により、奥行き感パラメータを調整すべき範囲（被写界深度）を、視聴環境における光環境とユーザの注目領域に関する入力に応じて推定することにより、奥行き感パラメータを調整した画像を生成することができる。本実施の形態では、奥行き感パラメータとしてぼかし量を挙げて説明したが、第１の実施の形態と同様に両眼視差量を奥行き感パラメータとすることもできる。
（第４の実施の形態）
　次に、本発明の第４の実施の形態について説明する。本発明の第４の実施の形態では、視聴者位置情報を検出する構成について説明する。本実施の形態では、図１０に奥行き感パラメータ調整量計算部２０およびその周辺部の構成例に示すように、例えば、図５の構成に対してさらに視聴位置検出部５４を備える。
　視聴位置検出部５４は、表示装置に対する視聴者の位置、つまり表示装置と視聴者との位置関係を検出する。視聴位置検出部５４は、表示装置側に設け、画像処理装置１では表示装置からその位置の情報を受信することが望ましいが、特に表示装置と近接して設置することを想定すれば、画像処理装置１側に設けても適切な調整量が得られる。
　視聴者位置の検出方法は、例えば、（１）測距センサによって視聴者位置を検出、（２）視聴者がリモコンなどで操作した位置を検出、（３）各種トラッキング装置を利用し、視聴者位置を検出、（４）カメラセンサによって視聴者の顔位置を検出し、顔認識のパラメータに基づき位置を推定、などが考えられる。なお、以上において視聴者位置を検出することについて記載したが、実際には顔の位置（眼球の位置）が検出されるだけでよい。
　第１～第３の実施の形態において、画像補助データ解析部２１、被写界深度計算部２２および、調整量生成部２５では、Ｄｖｉｅｗの位置としてデフォルト情報記憶部３０からの標準視距離情報を利用していたが、本実施の形態においては、視聴位置検出部５４において検出された視聴者の位置を示す視聴者位置情報を利用することにより、視聴者位置に適応的に調整量を算出することができるようになる。つまり、本実施の形態では、奥行き感パラメータ調整量計算部２０は、視聴環境光情報取得部４０で取得した視聴環境光情報と、画像補助データと、視聴位置検出部５４で検出された視聴者の位置を示す視聴者位置情報とに基づき、奥行き感パラメータの調整量を計算する。その他の構成や応用例については、第１～第３の実施の形態と同様である。例えば、本実施の形態においても、図８に示したユーザ入力部５３で入力された情報であるユーザ入力情報も併せて用いて、奥行き感パラメータの調整量を計算するようにしてもよい。
　複数人が検出された場合の視聴距離の設定としては、（１）最も画面方向を向いている視聴者一人の視聴距離を利用、（２）全ての視聴者の距離の平均（重心位置）の視聴距離を利用、（３）全ての視聴者の画面方向への向きに応じて加重平均化した視聴距離を利用、などが考えられる。
　前述の通り、図３における明るさ検出センサ部５１、画面輝度情報生成部５２、および本実施の形態における視聴位置検出部５４は、種々の情報を取得する手段としてカメラセンサを用いることができることを示した。そこで、図１１に視聴環境光情報取得部４０およびその周辺部の構成例を示すように、同一のカメラセンサ部５５による撮影データ（カメラ画像データ）を取得させることもできる。
　このカメラセンサ部５５は、カメラセンサアレイ等の撮像装置でなり、画像処理装置１に具備しておけばよい。そして、図１１の構成例のように、カメラセンサ部５５からの出力は、明るさ情報取得部４１、画面輝度情報取得部４２、顔検出部５６、および視聴位置検出部５４に入力するようにしておく。このように、画像処理装置１では、視聴環境光情報として照明情報および／または輝度情報を採用し、且つ視聴者の位置を検出する場合、この撮影装置で撮影した撮像データに基づき、照明情報および／または輝度情報と、視聴者位置情報とのいずれか一方もしくは複数を同時に検出する。無論、上述したように、照明情報と輝度情報との双方を視聴環境光情報として採用した場合にも、照明情報と輝度情報のいずれか一方のみを撮像装置で検出してもよく、検出しなかった方の情報は他の機器で検出すればよい。
　この処理例を図１２に示す。ステップＳ４１において、カメラセンサ部５５からのカメラ画像をキャプチャする。ステップＳ４２において、顔検出部５６は、カメラ画像およびデフォルト情報記憶部３０に記録された顔認識のためのデータベース（ＤＢ）を参照し、顔の認識を行う。ステップＳ４３において、視聴位置検出部５４は、顔検出部５６からの顔認識結果およびカメラ画像に基づき、視聴者の位置を検出し、視聴者位置情報を奥行き感パラメータ調整量計算部２０に送る。
　ステップＳ４４において、画面輝度情報取得部４２は、カメラ画像および画像データおよび顔検出部５６からの顔認識結果に基づき、画面輝度情報を生成し、明るさパラメータ推定部４３に送る。ステップＳ４５において、明るさ情報取得部４１は、カメラ画像に基づき照度情報を取得し、明るさパラメータ推定部４３に送る。このような方法によって、同一のカメラセンサ部５５から種々のデータを取り出すことができる。
　また、図１３に本発明に係る画像処理装置を含む表示システムの一構成例を示すように、画像処理装置１を視聴者の手元の小型端末１００に対して実装し、空間的に離れた位置に設置した表示装置１０１に対して奥行き感パラメータ調整後画像データを送るようにしてもよい。端末１００は、画像処理装置１、ユーザ入力部５３、カメラセンサ部５５、および接続距離検出部５７から構成される。端末１００は、画像データおよび画像補助データが保持された記憶領域（例えばインターネット上のサーバなど）に接続され、そこから画像データおよび画像補助データを読み込み、奥行き感パラメータ調整後画像データを生成し、表示装置１０１に奥行き感パラメータ調整後画像データを送る。
　このような表示システムにおける画像の立体表示処理の一例を図１４に示す。この表示システムでは、画像処理装置１を含む端末１００は、立体画像の表示部となる表示装置（つまり画像処理後の画像を表示するための表示装置）１０１と空間的に離れた位置で使用されている。そのため、ステップＳ５１において、端末１００は、まず表示装置１０１との通信を確立し（接続し）、表示装置１０１からディスプレイサイズ等の種々の情報を受け取り、デフォルト情報記憶部３０にデフォルト情報として書き込む。ステップＳ５２において、チューナやインターネット上のサーバ等から画像データおよび画像補助データを取得する。ステップＳ５３において、ユーザ入力部５３として、例えばタッチセンサ型のディスプレイを用いてその画像データを表示し、視聴者に座標を指定させ、指定された座標（ｘ，ｙ）を画像処理装置１に送る。
　ステップＳ５４において、カメラセンサ部５５は図１２におけるステップＳ４１～ステップＳ４５を実行する。ステップＳ５５において、接続距離検出部５７は、端末１００と表示装置１０１との間の距離を検出する。ここで、端末１００と表示装置１０１との距離の検出方法は、例えば、接続距離検出部５７が表示装置１０１を撮影できるカメラセンサ等の撮像装置であって、カメラ画像に投影された表示装置１０１の画像上のサイズとデフォルト情報記憶部３０に記録されているディスプレイサイズ情報との比較を行うことによって距離を推定できる。
　ステップＳ５６において、画像処理装置１は、視聴者の顔の位置と表示装置１０１との距離を、接続距離検出部５７から得た端末－表示装置間距離とカメラセンサ部５５から得た端末－顔間距離とから、相対的に算出する。このように、表示装置１０１と離間した位置にある端末１００（画像処理装置１を含む）では、視聴位置検出部５４が、接続距離検出部５７で検出した距離を用いて表示装置１０１に対する視聴者の位置を検出することが好ましい。
　無論、このように表示装置１０１と端末１００とを離間した位置に配置する場合には、表示装置１０１側にカメラセンサ部５５をもたせておき、そこで取得した表示装置１０１に対する視聴者の位置を示す情報を端末１００側（つまり画像処理装置１側）に送信するようにしてもよい。
　ステップＳ５７において、画像処理装置１は、画像データ、画像補助データ、ユーザ入力部５３からのユーザ入力情報、カメラセンサ部５５からの視聴環境光情報、および、ステップＳ５６によって算出された視聴者の顔の位置と表示装置１０１との距離情報、に基づいて、奥行き感パラメータ調整後画像データを生成し、表示装置１０１に送る。
　以上の構成によって、画像処理装置１と表示装置１０１が離れていた場合にも、被写界深度に基づき奥行き感パラメータを調整すべき範囲を、視聴環境における光環境および視聴者の位置・向き等の状態に応じて推定することにより、奥行き感パラメータを調整した画像を生成し、表示することができる。本実施の形態では、奥行き感パラメータとして、ぼかし量を挙げて説明したが、第１の実施の形態と同様に両眼視差量を奥行き感パラメータとすることもできる。
＜第１～第４の実施の形態について＞
　上述した各実施の形態において、添付図面に図示されている構成等については、あくまで一例であり、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
　上述した各実施の形態の説明では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。上記の各実施の形態の機能を実現する画像処理装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していてもかまわないし、あるいは、全ての構成要素を一つのＬＳＩに実装していてもかまわない。すなわち、どういう実装形態であれ、機能として各構成要素を有していればよい。
　例えば、本発明に係る画像処理装置の各構成要素は、例えばＣＰＵ（Central Processing Unit）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。ＣＰＵの代わりに、マイクロプロセッサ、またはＤＳＰ（Digital Signal Processor）を採用することもできる。上記ハードウェアの一部または全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を集積回路／ＩＣチップセットとして搭載することも可能である。
　また、上述した各実施の形態で説明した機能を実現するためのソフトウェア（プログラム）をコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをパーソナルコンピュータ等のコンピュータシステムに読み込ませ、コンピュータシステム内のＣＰＵ等がそのプログラムを実行することにより、各部の処理を行ってもよい。なお、ここで言う「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　以上、本発明に係る画像処理装置について説明したが、処理の流れをフロー図で例示したように、本発明は、次の取得ステップおよび計算ステップを有する画像処理方法としての形態も採り得る。上記の取得ステップは、視聴環境光情報取得部が、表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得するステップである。上記の計算ステップは、奥行き感パラメータ調整量計算部が、上記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、上記表示装置において上記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算するステップである。その他の応用例については、画像処理装置について説明した通りであり、その説明を省略する。
　なお、上記プログラム自体は、換言すると、この画像処理方法をコンピュータに実行させるためのプログラムである。すなわち、このプログラムは、コンピュータに、表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得するステップと、上記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、上記表示装置において上記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算するステップと、を実行させるためのプログラムである。その他の応用例については、画像処理装置について説明した通りであり、その説明を省略する。
１…画像処理装置、１０…奥行き感パラメータ調整部、２０…奥行き感パラメータ調整量計算部、２１…画像補助データ解析部、２２…被写界深度計算部、２３…補正範囲設定部、２４…補正内容判断部、２５…調整量生成部、３０…デフォルト情報記憶部、４０…視聴環境光情報取得部、４１…明るさ情報取得部、４２…画面輝度情報取得部、４３…明るさパラメータ推定部、４３…明るさパラメータ推定部、５１…明るさ検出センサ部、５２…画面輝度情報生成部、５３…ユーザ入力部、５４…視聴位置検出部、５５…カメラセンサ部、５６…顔検出部、５７…接続距離検出部、１００…端末、１０１…表示装置。

Claims (16)

  1. 　表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得する視聴環境光情報取得部と、
    　前記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、前記表示装置において前記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算する奥行き感パラメータ調整量計算部と、
    を備えることを特徴とする画像処理装置。
  2. 　前記奥行き感パラメータの調整量を調整するための基準位置を示すユーザ操作を入力するユーザ入力部をさらに備え、
    　前記奥行き感パラメータ調整量計算部は、前記視聴環境光情報と前記補助データと前記ユーザ入力部で入力された情報であるユーザ入力情報とに基づき、前記奥行き感パラメータの調整量を計算することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記奥行き感パラメータの調整量を調整するための基準位置を示すユーザ操作を入力するユーザ入力部と、前記表示装置に対する視聴者の位置を検出する視聴位置検出部と、をさらに備え、
    　前記奥行き感パラメータ調整量計算部は、前記視聴環境光情報と前記補助データと前記ユーザ入力部で入力された情報であるユーザ入力情報と前記視聴位置検出部で検出された視聴者の位置を示す視聴者位置情報とに基づき、前記奥行き感パラメータの調整量を計算することを特徴とする請求項１に記載の画像処理装置。
  4. 　前記ユーザ入力部は、接触型もしくは非接触型のタッチセンサ、および／または、ユーザの視線位置をセンシングする視線検出装置であることを特徴とする請求項２または３に記載の画像処理装置。
  5. 　前記表示装置に対する視聴者の位置を検出する視聴位置検出部をさらに備え、
    　前記奥行き感パラメータ調整量計算部は、前記視聴環境光情報と前記補助データと前記視聴位置検出部で検出された視聴者の位置を示す視聴者位置情報とに基づき、前記奥行き感パラメータの調整量を計算することを特徴とする請求項１に記載の画像処理装置。
  6. 　前記視聴環境光情報は、視聴環境の明るさを示す照明情報および／または前記表示装置での表示輝度を示す輝度情報であり、
    　前記画像処理装置は、撮像装置を備え、該撮影装置で撮影した撮像データに基づき、前記照明情報および／または前記輝度情報と、前記視聴者位置情報とのいずれか一方もしくは複数を同時に検出すること特徴とする請求項３または５に記載の画像処理装置。
  7. 　前記画像処理装置は、前記表示装置と空間的に離れた位置で使用され、
    　前記画像処理装置は、前記表示装置と前記画像処理装置との間の距離を検出する接続距離検出部を備え、前記視聴位置検出部は、前記距離を用いて前記表示装置に対する視聴者の位置を検出することを特徴とする請求項３または５に記載の画像処理装置。
  8. 　前記視聴環境光情報は、視聴環境の明るさを示す照明情報および／または前記表示装置での表示輝度を示す輝度情報であることを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。
  9. 　前記視聴環境光情報は、視聴環境の明るさを示す照明情報および／または前記表示装置での表示輝度を示す輝度情報によって推定される視聴者瞳孔径を示す情報であることを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。
  10. 　前記奥行き感パラメータ調整量計算部は、前記視聴者瞳孔径を示す情報に基づき、前記表示装置が表現すべき被写界深度情報を計算もしくは推定し、前記奥行き感パラメータの調整量を計算することを特徴とする請求項９に記載の画像処理装置。
  11. 　前記補助データは、前記画像データの位置に対応した前記奥行き感パラメータの調整位置を指定するマスクデータ、および／または、前記画像データの位置に対応した奥行きマップであることを特徴とする請求項１～１０のいずれか１項に記載の画像処理装置。
  12. 　前記奥行き感パラメータは、ぼかし量であることを特徴とする請求項１～１１のいずれか１項に記載の画像処理装置。
  13. 　前記奥行き感パラメータは、両眼視差量であることを特徴とする請求項１～１１のいずれか１項に記載の画像処理装置。
  14. 　視聴環境光情報取得部が、表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得する取得ステップと、
    　奥行き感パラメータ調整量計算部が、前記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、前記表示装置において前記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算する計算ステップと、
    を有することを特徴とする画像処理方法。
  15. 　コンピュータに、
    　表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得する取得ステップと、
    　前記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、前記表示装置において前記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算する計算ステップと、
    を実行させるための画像処理プログラム。
  16. 　請求項１５に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2013/066552 2012-06-19 2013-06-17 画像処理装置、方法、プログラム、および記録媒体 WO2013191120A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/408,604 US20150304625A1 (en) 2012-06-19 2013-06-17 Image processing device, method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012138063A JP2015164235A (ja) 2012-06-19 2012-06-19 画像処理装置、方法、プログラム、および記録媒体
JP2012-138063 2012-06-19

Publications (1)

Publication Number Publication Date
WO2013191120A1 true WO2013191120A1 (ja) 2013-12-27

Family

ID=49768716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/066552 WO2013191120A1 (ja) 2012-06-19 2013-06-17 画像処理装置、方法、プログラム、および記録媒体

Country Status (3)

Country Link
US (1) US20150304625A1 (ja)
JP (1) JP2015164235A (ja)
WO (1) WO2013191120A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015048007A (ja) * 2013-09-03 2015-03-16 株式会社デンソー 情報表示装置
CN108885339A (zh) * 2015-12-31 2018-11-23 汤姆逊许可公司 用于使用自适应焦平面渲染虚拟现实的配置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101697286B1 (ko) * 2015-11-09 2017-01-18 경북대학교 산학협력단 사용자 스타일링을 위한 증강현실 제공 장치 및 방법
CN106375694B (zh) * 2015-12-31 2019-04-23 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
CN106254858B (zh) * 2015-12-31 2018-05-04 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
CN106254753B (zh) * 2015-12-31 2019-03-12 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
CN106254857B (zh) * 2015-12-31 2018-05-04 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
WO2018180843A1 (ja) * 2017-03-29 2018-10-04 シャープ株式会社 表示装置
US11917118B2 (en) * 2019-12-27 2024-02-27 Sony Group Corporation Information processing apparatus and information processing method
US20230344975A1 (en) * 2022-04-22 2023-10-26 Faurecia Irystec Inc. System and method for controlling perceptual three-dimensional elements for display

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010278703A (ja) * 2009-05-28 2010-12-09 Nec Casio Mobile Communications Ltd 端末装置及びプログラム
WO2012001970A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2012044308A (ja) * 2010-08-16 2012-03-01 Sharp Corp ３ｄ画像出力装置及び３ｄ画像表示装置
WO2012060169A1 (ja) * 2010-11-02 2012-05-10 シャープ株式会社 立体画像表示装置及びその表示調整方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070061830A1 (en) * 2005-09-14 2007-03-15 Sbc Knowledge Ventures L.P. Audio-based tracking system for IPTV viewing and bandwidth management
US7869649B2 (en) * 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
JP5372687B2 (ja) * 2009-09-30 2013-12-18 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US8823782B2 (en) * 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
JP2011166285A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像表示装置、画像表示観察システム及び画像表示方法
JP5732986B2 (ja) * 2011-04-08 2015-06-10 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US20130057573A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Face-Based User Preference Settings
JP2012249038A (ja) * 2011-05-27 2012-12-13 Hitachi Consumer Electronics Co Ltd 画像信号処理装置、画像信号処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010278703A (ja) * 2009-05-28 2010-12-09 Nec Casio Mobile Communications Ltd 端末装置及びプログラム
WO2012001970A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2012044308A (ja) * 2010-08-16 2012-03-01 Sharp Corp ３ｄ画像出力装置及び３ｄ画像表示装置
WO2012060169A1 (ja) * 2010-11-02 2012-05-10 シャープ株式会社 立体画像表示装置及びその表示調整方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015048007A (ja) * 2013-09-03 2015-03-16 株式会社デンソー 情報表示装置
CN108885339A (zh) * 2015-12-31 2018-11-23 汤姆逊许可公司 用于使用自适应焦平面渲染虚拟现实的配置
CN108885339B (zh) * 2015-12-31 2021-09-28 汤姆逊许可公司 用于使用自适应焦平面渲染虚拟现实的配置

Also Published As

Publication number Publication date
US20150304625A1 (en) 2015-10-22
JP2015164235A (ja) 2015-09-10

Similar Documents

Publication Publication Date Title
WO2013191120A1 (ja) 画像処理装置、方法、プログラム、および記録媒体
US10948726B2 (en) IPD correction and reprojection for accurate mixed reality object placement
JP6622395B2 (ja) バーチャルリアリティ画像を調整する方法及び装置
KR101741335B1 (ko) 안구추적을 기반으로 한 홀로그램 디스플레이 방법 및 홀로그램 디스플레이 장치
US10382699B2 (en) Imaging system and method of producing images for display apparatus
CN107005670B (zh) 影像显示装置、影像显示系统以及影像显示方法
US8692870B2 (en) Adaptive adjustment of depth cues in a stereo telepresence system
JP2007052304A (ja) 映像表示システム
KR20160149252A (ko) 시선 위치에 기초한 안정 평면 결정
US11943602B1 (en) Systems and methods for spatial update latency compensation for head-tracked audio
KR20140125183A (ko) 프로젝터 장착 안경 및 그 제어 방법
US11736674B2 (en) Dynamic convergence adjustment in augmented reality headsets
US9918066B2 (en) Methods and systems for producing a magnified 3D image
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
CN114365077B (zh) 观看者同步的照明感测
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
KR101343551B1 (ko) 눈 깜박임 측정을 통해 입체감을 조절하는 3차원 영상 표시 장치
US11727769B2 (en) Systems and methods for characterization of mechanical impedance of biological tissues
WO2018173445A1 (ja) 情報処理装置、情報処理方法、情報処理システム、及びプログラム
CN111464808B (zh) 立体显示装置及其参数校正方法
US20230379594A1 (en) Image blending
JP5485102B2 (ja) コミュニケーション装置、コミュニケーション方法、及びプログラム
US20210366142A1 (en) Dynamic depth determination
JP2023006630A (ja) 検出装置およびその制御方法
CN117730298A (zh) 使用eog坐标的屏幕交互

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13806702

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14408604

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13806702

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP