WO2010064479A1 - デジタル映像再生装置 - Google Patents

デジタル映像再生装置 Download PDF

Info

Publication number
WO2010064479A1
WO2010064479A1 PCT/JP2009/065566 JP2009065566W WO2010064479A1 WO 2010064479 A1 WO2010064479 A1 WO 2010064479A1 JP 2009065566 W JP2009065566 W JP 2009065566W WO 2010064479 A1 WO2010064479 A1 WO 2010064479A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
shadow
environment information
information
video data
Prior art date
Application number
PCT/JP2009/065566
Other languages
English (en)
French (fr)
Inventor
正宏 塩井
健一郎 山本
郁子 椿
健明 末永
健史 筑波
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2010064479A1 publication Critical patent/WO2010064479A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation

Definitions

  • the present invention relates to a digital video reproducing apparatus that performs video processing on the acquired digital video data and reproduces it.
  • Patent Document 1 as an example of a method for generating video data full of a sense of presence, color conversion of display video data is performed using information on shooting environment and information on viewing environment, so that the appearance of a subject in the shooting environment is displayed.
  • FIG. 8 is a diagram showing a schematic configuration of a conventional digital video reproduction apparatus disclosed in Patent Document 1.
  • a digital video reproduction apparatus 800 disclosed in Patent Document 1 includes a video data acquisition unit 801, a shooting environment information acquisition unit 802, a viewing environment information acquisition unit 803, and a video data color conversion unit 804.
  • the video data acquisition unit 801 is a part that acquires video data to be displayed from a digital tuner (not shown), a communication network, or a recording medium that stores video data.
  • the shooting environment information acquisition unit 802 is a part that connects to a digital tuner, a communication network, or a recording medium that stores video data (not shown), and acquires information on the environment in which the subject related to the video data to be displayed is shot. Examples of information on the environment in which the image was taken include the position and illuminance of the illumination in the scene where the image was taken, and the distance to the subject.
  • the viewing environment information acquisition unit 803 is a part that acquires information about an environment for viewing a video.
  • Examples of environmental information include the position and illuminance of illumination in the viewing environment and the distance (viewing distance) from the display screen to the viewer.
  • the video data color conversion unit 804 faithfully reproduces the appearance in the viewing environment from the shooting environment information acquired from the shooting environment information acquisition unit 802 and the viewing environment information acquired from the viewing environment information acquisition unit 803. This is the part that performs color conversion of the video data to be displayed.
  • Patent Document 2 describes the positional relationship between the sun and the subject. Based on the above, there is disclosed a technique for selecting and superimposing an appropriate one from prepared shadow images.
  • Patent Document 1 a look-up table for color conversion is determined from shooting environment information and viewing environment information, and color data conversion is performed uniformly. It is impossible to add a shadow to the subject in the video data or to erase the shadow of the subject.
  • Patent Document 2 since the technology disclosed in Patent Document 2 does not use viewing environment information, a shadow cannot be added to a subject according to the viewing environment, and a shadow of a different shape corresponding to the viewing environment is added. Can not do it.
  • the present invention has been made in view of such circumstances, and uses both the information on the environment at the time of shooting and the information on the viewing environment to match the shadow of the subject so as to match the lighting conditions of the viewing environment.
  • An object of the present invention is to provide a digital video reproducing apparatus capable of processing the video.
  • the first technical means includes a video data acquisition unit that acquires video data obtained by shooting a subject, a shooting environment information acquisition unit that acquires shooting environment information including at least a distance between the subject and the shooting device, and the shooting environment information.
  • a shooting environment information acquisition unit for acquiring viewing environment information including at least arrangement information indicating an arrangement relationship between the display device and the lighting device in the viewing environment, a subject of the video data, and the subject
  • a subject information extraction unit that extracts information related to the subject, and a shadow corresponding to the location of the illumination device is applied to the subject extracted by the subject information extraction unit based on the shooting environment information and the viewing environment information.
  • a digital video reproducing apparatus comprising a shadow processing unit to be added.
  • the shadow processing unit is configured such that the photographing device is located at a position of the display device, and the extracted subject acquires the photographing environment information behind the display device. A virtual space existing at the position of the distance acquired by the unit is assumed, and a shadow formed on the extracted subject by the illumination device is added to the subject in the video data.
  • the third technical means is the first or second technical means, wherein the shadow processing section erases the shadow of the extracted subject already existing in the video data.
  • the photographing environment information includes information indicating the transparency of the subject for each subject
  • the photographing environment information acquisition unit acquires the information.
  • a subject transparency analyzing unit that analyzes the light transmittance with respect to the extracted subject for each subject based on the obtained shooting environment information
  • the shadow processing unit determines the light transmittance analyzed by the analyzing unit. Based on this, a shadow is added to the extracted subject.
  • the photographing environment information includes information indicating the reflectance of the subject for each subject
  • the photographing environment information acquisition unit acquires the information.
  • a subject reflectivity analysis unit that analyzes the reflectivity of light with respect to the extracted subject for each subject based on the captured environment information
  • the shadow processing unit determines the reflectivity of the light analyzed by the analysis unit. Based on this, a shadow is added to the extracted subject.
  • the shadow processing unit applies the extracted illumination object to the extracted subject based on the shooting environment information and the viewing environment information. It is characterized by adding a shadow according to the arrangement location.
  • the shadow of the subject is processed so as to match the lighting conditions of the viewing environment. It is possible to enhance the sense of depth and generate video data full of realism.
  • FIG. 1 is a block diagram showing a schematic configuration of a digital video reproduction apparatus according to an embodiment of the present invention. It is the figure which described the concrete shadow processing method in one Embodiment of this invention. It is the figure which described an example of viewing environment. It is the figure which set the illumination of a to-be-photographed object and viewing environment to virtual space. It is a block diagram which shows schematic structure of the digital video reproduction apparatus which concerns on 2nd Embodiment of this invention. It is the figure which described the concrete shadow processing method in 2nd Embodiment of this invention. It is the figure which described the concrete shadow processing method in 3rd Embodiment of this invention. It is a block diagram which shows schematic structure of the conventional digital video reproduction
  • FIG. 1 is a diagram showing a schematic configuration of an example of a digital video reproduction apparatus according to an embodiment of the present invention.
  • the digital video reproduction apparatus 100 includes a video data acquisition unit 101, a shooting environment information acquisition unit 102, a viewing environment information acquisition unit 103, a subject information extraction unit 104, and a shadow processing unit 105. ing.
  • the video data acquisition unit 101 is a part that acquires video data (display video data) obtained by photographing a subject from a digital tuner, a communication network (not shown), or a recording medium that stores video data.
  • the shooting environment information acquisition unit 102 includes information about an environment in which the subject has been shot (hereinafter referred to as “photographing device”) including at least the distance between the subject and the shooting device from a digital tuner, a communication network, or a recording medium storing video data (not shown). , Which is referred to as shooting environment information).
  • shooting environment information include the positional relationship between the subject (object) and the shooting device, such as the distance and direction, the positional relationship between the subject and the lighting device, such as the distance and direction, and the lighting device. Illuminance etc.
  • the shooting environment information may be recorded on a recording medium together with the video data, or may be recorded on a server device connected to the network corresponding to the video data.
  • the video data and the shooting environment information may be acquired from the same tuner or network, or may be acquired from independent paths.
  • the viewing environment information acquisition unit 103 includes information on an environment for viewing a video (hereinafter referred to as viewing) including arrangement information indicating an arrangement relationship between at least the display device connected to the digital video reproduction device 100 and the illumination device in the viewing environment. This is the part that acquires environmental information).
  • the viewing environment information include the position / direction / illuminance / type of the lighting device in the viewing environment, the distance between the display device and the viewer, and the direction in which the viewer is present.
  • an illuminance meter for example, an illumination sensor, or the like may be provided around the digital video reproduction device 100, for example.
  • a distance sensor such as an infrared sensor or an ultrasonic sensor may be provided on the display connected to the digital video reproduction device 100.
  • these pieces of information may not be actually measured by a sensor, but set values prepared in advance may be selected using a menu or the like.
  • the subject information extraction unit 104 extracts a subject existing in the video data acquired by the video data acquisition unit 101. Also, information related to the extracted subject, for example, the distance (distance in the depth direction) between the subject and the photographing device that photographed the subject is extracted (analyzed) from the photographing environment information. Depth information is an example of shooting environment information used when analyzing the distance between the extracted subject and the shooting device that shot the subject. The depth information is information indicating how far a part of the subject (video data) displayed on the pixel is located from the photographing apparatus. This information may be information for each pixel, each region that is a collection of a plurality of pixels, or each subject.
  • a table in which the shape of the subject and the distance between the subject and the photographing apparatus are recorded may be created at the time of photographing and included in the photographing environment information as depth information.
  • a distance sensor such as an infrared sensor or an ultrasonic sensor is mounted on the shooting device, or the depth of each subject is obtained from multiple images obtained using a multi-view camera or multiple shooting devices. What is necessary is just to calculate information.
  • the analysis is based on the shooting environment information of the subject, but the acquired input video data may be analyzed to analyze the position of each subject.
  • the shadow processing unit 105 exists in the shooting environment information acquired from the shooting environment information acquisition unit 102, the viewing environment information acquired from the viewing environment information acquisition unit 103, and the video data extracted by the subject information extraction unit 104. Based on the distance in the depth direction of the subject, a shadow existing in the video data acquired by the video data acquisition unit 101 is processed (added) according to the location of the lighting device, and the processed video This is the part that outputs the data as output data to the video output device.
  • the method is not limited to the captured video, but may be applied to a created CG or an edited video.
  • the depth information may be created by editing or editing the depth information itself, in addition to being acquired by a sensor or calculated from an image taken by a multi-view camera.
  • the shadow processing may be applied to a still image or a moving image.
  • FIG. 2A is an example of input video data.
  • a square outer frame shows the input video data displayed on a display or the like.
  • the first subject 201 and the second subject 202 exist on a flat surface, and the first subject data is further displayed.
  • the shadow 203 of the subject and the shadow 204 of the second subject are displayed.
  • a shadow is formed on the left side of each subject.
  • FIG. 2B is an example of video data after adding (processing) a shadow suitable for the viewing environment to each subject in the input video data of FIG.
  • the illumination of the viewing environment is present on the lower right side in front of the display displaying FIG.
  • the area of the shadow 205 to be added to the first subject 201 and the area of the shadow 206 to be added to the second subject 202 are calculated from the position in the depth direction of the subject and the direction of illumination in the viewing environment. Add a shadow.
  • the shadow region of the second subject 202 may or may not overlap the region of the first subject 201 as shown in FIG.
  • the subject information extraction unit 104 extracts a subject from the video data.
  • Various methods for extracting a subject have been proposed. For example, in the case of video data having a subject with a distant background in the background, as described above, the depth information of each pixel related to the video data is acquired, and the distance in the depth direction of each pixel is calculated. Then, there is a method in which a portion where the distance in the depth direction is discontinuous is regarded as a boundary portion between a distant background and a foreground subject portion, and the background and the subject are separated by connecting the boundary portions.
  • the position coordinates of the subject in the video frame are recorded in a table corresponding to the video frame related to the subject, and the table is input to the digital video playback apparatus 100 together with the video frame. Also good.
  • the subject when the subject is moving, the subject can be extracted by referring to the motion vector of the subject.
  • the first subject 201 and the second subject 202 can be extracted from the video data in FIG.
  • distance information between the subject and the photographing device that photographed the subject which is information related to the extracted subject, is extracted from the photographing environment information acquired by the photographing environment information acquisition unit 102 described above.
  • the first subject 201 has a distance D1 from the photographing apparatus
  • the second subject 202 has a distance D2 from the photographing apparatus.
  • the information related to illumination can be acquired by an illuminometer or an illumination sensor provided in the digital video reproduction apparatus 100.
  • FIG. 3A is a diagram when the viewing environment is observed from the side
  • FIG. 3B is a diagram when the viewing environment is observed from above.
  • Reference numeral 301 denotes a display displaying video
  • 302 is a viewer
  • 303 is a chair on which the viewer 302 is sitting.
  • the display 301 displays an image having a width W and a height H.
  • the width W and the height H are illustrated on the assumption that the frame portion of the display is negligible.
  • Reference numeral 304 denotes illumination (device) of the viewing environment
  • D3 is a distance between the display and the illumination of the viewing environment
  • ⁇ 1 is an elevation angle between the display and the illumination of the viewing environment
  • ⁇ 2 is an azimuth angle between the display and the illumination of the viewing environment. Is shown.
  • the illumination of the viewing environment is present at a distance D3 in the direction of the elevation angle ⁇ 1 upward and the azimuth angle ⁇ 2 on the left side when viewed from the display.
  • the shadow processing unit 105 has the photographing device at the position of the display 301, and the extracted subject exists at the position behind the display 301 (on the opposite side of the viewer 302) at the distance acquired by the photographing environment information acquisition unit 102.
  • a shadow formed on the extracted subject by the lighting device 304 is added to the subject in the video data.
  • FIG. 4 shows an example of the virtual space.
  • 4A is a diagram when the virtual space is observed from the side
  • FIG. 4B is a diagram when the virtual space is observed from above.
  • the right side of the display 301 shows an arrangement state of illumination in the virtual space. According to FIG. 4, it can be seen that the illumination device 304 is virtually present at a distance D3 in the direction of the elevation angle ⁇ 1 upward and the azimuth angle ⁇ 2 on the left side when viewed from the display.
  • the left side of the display 301 shows the arrangement state of each subject in the virtual space (in the display video). As described above, since the first subject 201 has a distance D1 from the photographing apparatus and the second subject 202 has a distance D2 from the photographing apparatus, they are arranged at positions D1 and D2 from the display 301, respectively.
  • the distance from the photographing device is arranged as the distance from the display.
  • the distance may be reduced at a certain rate and arranged in a virtual space.
  • the position of the shadow to be added is determined.
  • the lighting device arranged in the virtual space and the outer peripheral portion of the subject are connected by a virtual straight line, and a position (coordinate) where the straight line collides with the position of the background is calculated.
  • FIG. 4 is a straight line connecting the illumination device 304 arranged in a virtual space and the vertex of the subject 201, and hits the back left of a uniformly flat plane (see symbol P).
  • the position shown in FIG. 2B is obtained by calculating the position (coordinates) where the straight line collides with the plane for the entire outer periphery of the subject 201, converting the coordinates for video display, and connecting the converted coordinates with lines. This is the entire outer peripheral portion of the shadow 205 of 201. If the coordinate values of the entire outer peripheral part of the shadow to be added can be calculated, the inner part becomes the position of the shadow to be added.
  • reference numeral 402 in FIG. 4 is a straight line connecting the lighting device 304 arranged in a virtual space and the apex of the subject 202, and collides with the subject 201 (see reference sign Q).
  • the calculation of the position corresponding to the entire outer peripheral part of the subject is performed by a method of drawing a straight line from the illumination position (illumination device), but the straight line is drawn in the entire outer peripheral part.
  • a calculation method may be used in which straight lines are drawn at outer circumferential positions at regular intervals, and the result is interpolated, or the object is approximated to a polygon or ellipse, and a straight line at the apex is drawn, and the result is obtained. You may interpolate with a straight line or a string, and you may calculate the outer peripheral part of a shadow combining these methods.
  • the shadow color to be added may be black in the shadow area to be added, the luminance may be subtracted by a certain amount or divided by a certain ratio, or the saturation may be subtracted by a certain amount or divided by a certain ratio. May be. Further, the subtraction amount and division amount of luminance and saturation may be determined according to the illumination intensity of the viewing environment.
  • the shadow may be blurred by blurring the shadow boundary calculated by the above-described method.
  • a known blurring method such as applying a Gaussian distribution filter may be used.
  • the intensity of the blur may be constant or may be changed according to the illumination intensity of the viewing environment and the virtual distance between the viewing environment illumination and the subject.
  • FIG. 2C shows the shadow of the subject shown in FIG. 2A (203) from the state in which a shadow is added to the subject shown in FIG. 2A as described above (see FIG. 2B). , 204) is shown.
  • the shadow processing unit 105 erases the shadow of the subject that already exists in the video data, and the shadow due to the illumination of the viewing environment. Preferably only. Specifically, since it is understood from the depth information of each subject that is shooting environment information and the direction of illumination at the time of shooting, 203 and 204 in FIG. 2A are shadows, these are deleted.
  • the calculation method of the part to be erased is similar to the method of calculating the position of the shadow to be added according to the illumination of the viewing environment, connecting the position of the illumination at the time of shooting and the outer peripheral part of the subject with a virtual straight line, and the background and The intersecting part becomes the outer peripheral part of the shadow to be erased.
  • a shadow portion to be erased may be determined in combination with a determination method such as whether the inside is completely black or whether brightness or saturation is lower than that of the surrounding area.
  • the erased portion may be estimated from surrounding images and shadows to make the image uncomfortable.
  • the surrounding image is a repetitive pattern such as a checkered pattern or a striped pattern
  • the repetitive pattern may be applied to the shadow part to be erased, or the shadow part is not completely black, and the brightness and color temperature If the brightness has fallen, the brightness and color temperature may be adjusted to the surroundings as compared to the surrounding images. Moreover, you may combine them.
  • images of the previous and subsequent frames that do not have shadows at the same position may be used.
  • the area of the shadow 205 added to the first subject 201 and the area of the shadow 206 added to the second subject 202 are calculated, and the shadow is added to the image. Is added.
  • the illumination illuminance in the viewing environment is larger and stronger than the illumination illuminance in the shooting environment, as shown in FIG. 2C.
  • the present invention is not limited to this. You may do it.
  • a new addition is made according to the ratio of the illumination illuminance of the viewing environment and the intensity of the illumination illuminance of the shooting environment.
  • the shades of the shadows 205 and 206 and the shades of the original shadow 203 and shadow 204 may be adjusted. For example, the shadows 203 and 204 may be lightened and the shadows 205 and 206 may be darkened.
  • FIG. 5 is a diagram showing a schematic configuration of an example of a digital video reproduction apparatus according to the second embodiment of the present invention.
  • the digital video reproduction apparatus 500 includes a video data acquisition unit 101, a shooting environment information acquisition unit 102, a viewing environment information acquisition unit 103, a subject information extraction unit 104, a subject transmission analysis unit 501, and a subject reflectance.
  • the analysis unit 502 and the shadow processing unit 503 are provided.
  • the same parts as those in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted.
  • the subject transparency analysis unit 501 includes video data acquired by the video data acquisition unit 101 based on the shooting environment information acquired by the shooting environment information acquisition unit 102, which includes information indicating the transparency of the subject for each subject. This is a part for analyzing the light transmittance to the subject in each of the subjects.
  • the transmittance information is information indicating how much the data displayed in which pixel is. Transmittance represents the rate at which visible light passes through. Light is easy to pass if the value is high, and light is blocked if the value is low.
  • the transmittance indicating the ratio of the unit as a percentage is used as the information on the transmittance of the subject.
  • the transmittance is not limited to this, and a unit system expressed by an absolute value may be used.
  • the information indicating the transparency of the subject may be information for each pixel, each region that is a collection of a plurality of pixels, or each subject.
  • transmittance information at the time of shooting for example, the degree of light absorption of a subject that is likely to be transmitted among subjects to be photographed in advance is measured and tabulated, and which subject (object) is the subject at which position It is possible to calculate the transmittance information from a table set in advance by recognizing at the time of shooting, analyze the type of subject, and if the subject type is glass, what is the transmittance, and if it is water Any number of transmittances may be set according to the subject. Based on the depth information after shooting, how much the subject is transmitting and displaying the image may be calculated based on a decrease in luminance or the like.
  • the analysis is based on the shooting environment information, but the input video data may be analyzed to analyze the transparency of each subject.
  • the subject reflectivity analysis unit 502 includes video data acquired by the video data acquisition unit 101 based on the shooting environment information acquired by the shooting environment information acquisition unit 102, which includes information indicating the reflectivity of the subject for each subject. This is a part for analyzing the reflectance of light with respect to the subject in each of the subjects.
  • the reflectance information is information indicating how much reflectance the data displayed on which pixel is.
  • the reflectance represents the proportion of visible light that is reflected. When the value is high, it is easy to reflect, and when the value is low, it is difficult to reflect.
  • the reflectance indicating the ratio of the unit as a percentage is used as the reflectance information of the subject.
  • the reflectance is not limited to this, and a unit system expressed in absolute values may be used.
  • the information indicating the reflectivity of the subject may be information for each pixel, each region that is a collection of a plurality of pixels, or each subject.
  • the analysis is based on the shooting environment information.
  • the reflectance of each subject may be analyzed by analyzing the input video data.
  • the shadow processing unit 503 exists in the shooting environment information acquired from the shooting environment information acquisition unit 102, the viewing environment information acquired from the viewing environment information acquisition unit 103, and the video data extracted by the subject information extraction unit 104.
  • the distance in the depth direction of the subject, the transparency of the subject existing in the video data analyzed by the subject transparency analysis unit 501, and the reflectance of the subject present in the video data analyzed by the subject reflectance analysis unit 502 Is a part that processes the shadow of the subject existing in the video data acquired by the video data acquisition unit 101 and outputs the processed video data to the video output device as output data.
  • the shadow processing unit 503 described here processes shadows using the shooting environment information, the viewing environment information, the distance in the depth direction, the transparency of the subject, and the reflectance of the subject, but all of them are used. Of these, the shadow may be processed using a plurality of pieces of information.
  • FIG. 6A shows an example of an image obtained by performing shadow processing on the assumption that the illumination in the viewing environment is present on the lower right side of the display as shown in FIG. 2C. It is.
  • the video data there are a first subject 601 and a second subject 603, the shadow of the first subject 601 is processed, a shadow 602 is added, and the shadow 602 overlaps the second subject 603. It is a situation.
  • the front surface of the second subject 603 is a subject with low transparency such as a wall
  • a shadow is added so as to stick to the front surface of the second subject 603 as shown in FIG. Good.
  • the front surface of the second subject 603 is a subject having a high transmittance such as glass, it is necessary to add a shadow so as to penetrate the front surface of the second subject 603 as shown in FIG. is there.
  • the front surface of the second subject 603 is a semi-transparent and medium-permeability subject
  • a shadow that sticks to the front surface of the second subject 603, as shown in FIG. It is necessary to add both shadows that penetrate the front of the subject 603.
  • the front surface of the second subject 603 is a subject having high reflectivity such as a mirror, it is necessary to add a shadow that is interrupted by the front surface of the second subject 603 as shown in FIG. is there.
  • the transmittance is medium and the reflectance is also medium
  • the color of the shadow sticking to the front surface of the second subject 603 or the shadow penetrating the front surface of the second subject 603 may be lightened.
  • the transmittance information and the reflectance information may be created by creating or editing the transmittance information and the reflectance information itself in addition to recognizing and setting the subject.
  • FIG. 7A shows an example of input video data, in which a first subject 701 is displayed.
  • the shadow processing unit (105, 503) is the subject extracted by the subject information extraction unit 104 based on the shooting environment information acquired from the shooting environment information acquisition unit 102 and the viewing environment information acquired from the viewing environment information acquisition unit 103.
  • a shadow corresponding to the location of the lighting device is added.
  • FIG. 7B is an example of video data in which the shadow processing unit (105, 503) performs shadow processing and addition of a shadow to the subject on the input video data in FIG. 7A.
  • the shadow is defined as a portion where light that can be applied to another subject by light shielding is not applied, and the shadow is defined as a change in the brightness of the subject itself caused by the direction of the light source.
  • the illumination of the viewing environment is present on the upper right side of the display displaying FIG.
  • the shadow processing unit calculates the area of the shadow 702 to be added to the subject 701 from the position in the depth direction of the subject and the direction of illumination in the viewing environment, and adds a shadow to the video. Further, the area of the shadow 703 to be added to the subject 701 is calculated, and the shadow is added to the video.
  • the shadow position calculation method sets the subject and the illumination position of the viewing environment in a virtual space, and the subject and the illumination position.
  • the part that cannot be connected with a straight line is the part that is not exposed to light, and is the position to add shadow.
  • the area to be added may be black, luminance may be subtracted by a certain amount or divided by a certain proportion, and saturation may be subtracted by a certain amount or may be divided by a certain proportion. Further, the subtraction amount and division amount of luminance and saturation may be determined according to the illumination intensity of the viewing environment.
  • DESCRIPTION OF SYMBOLS 100 ... Digital video reproduction apparatus, 101 ... Video data acquisition part, 102 ... Shooting environment information acquisition part, 103 ... Viewing environment information acquisition part, 104 ... Subject information extraction part, 105 ... Shadow processing part, 201, 202 ... Subject, 203 206 ... Shadow, 301 ... Display, 302 ... Viewer, 303 ... Chair, 304 ... Illumination, 500 ... Digital video playback device, 501 ... Subject transmission analysis unit, 502 ... Subject reflection analysis unit, 503 ... Shadow processing unit , 601, 603, 701 ... subject, 602, 702 ... shadow, 703 ... shadow, 800 ... digital video reproduction apparatus, 801 ... video data acquisition unit, 802 ... shooting environment information acquisition unit, 803 ... viewing environment information acquisition unit, 804 ... color converter.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

撮影時の環境の情報と視聴している環境の情報の両方を利用して、視聴環境の照明の状況と一致するように被写体の影を加工できるデジタル映像再生装置を提供する。少なくとも被写体と撮影装置との距離が含まれる撮影環境情報及び少なくとも視聴環境における表示装置と照明装置との配置関係を示す配置情報が含まれる視聴環境情報に基づき、被写体情報抽出部１０４が抽出した、映像データの中の被写体に対して、前記照明装置の配置場所に応じた影を付加する影加工部１０５を備える。

Description

デジタル映像再生装置
　本発明は、取得したデジタル映像データに映像処理を施して再生するデジタル映像再生装置に関するものである。
　表示装置の大画面化・高解像度化や映像処理技術の向上に伴い、放送局から受信した映像データやデジタルカメラなどが生成した映像データを表示装置にそのまま表示するのではなく、当該映像データに各種映像処理を施し、臨場感を高めて表示することが求められるようになってきた。
　特許文献１には、臨場感あふれる映像データを生成する方法の一例として、撮影環境の情報と視聴環境の情報とを用いて表示映像データの色変換を行うことで、撮影環境における被写体の見え方を任意の視聴環境において忠実に再現し、臨場感あふれる映像データを生成する技術が開示されている。この技術により、どのような視聴環境であっても、撮影環境での見え方を適切に再現することが可能となる。
　図８は、特許文献１に開示されている従来のデジタル映像再生装置の概略構成を示す図である。特許文献１に開示のデジタル映像再生装置８００は、映像データ取得部８０１、撮影環境情報取得部８０２、視聴環境情報取得部８０３、映像データ色変換部８０４を備えた構成となっている。
　映像データ取得部８０１は、図示しないデジタルチューナや通信ネットワークや映像データが格納された記録メディアから、表示する映像データを取得する部分である。
　撮影環境情報取得部８０２は、同様に図示しないデジタルチューナや通信ネットワークや映像データが格納された記録メディアに接続し、表示する映像データに係る被写体を撮影した環境の情報を取得する部分である。撮影した環境の情報の例として、撮影していた場面での照明の位置・照度や被写体までの距離などがある。
　視聴環境情報取得部８０３は、映像を視聴する環境の情報を取得する部分である。環境の情報の例として、視聴している環境での照明の位置・照度や表示画面と視聴者までの距離（視距離）などがある。
　映像データ色変換部８０４は、撮影環境情報取得部８０２から取得した撮影環境情報と、視聴環境情報取得部８０３から取得した視聴環境情報とから、視聴環境下での見え方を忠実に再現するために表示する映像データの色変換を行う部分である。
　また、臨場感あふれる映像とする方法として、影をより自然に見せることで立体感を増し臨場感を強めることが一般的に知られており、特許文献２には、太陽と被写体との位置関係に基づき、用意してある陰影画像の中から適切なものを選択して重ね合わせる技術が開示されている。
特開２００８－２０６０６７号公報 特開２００４－２８０４２８号公報
　しかし、特許文献１に開示の技術では、撮影環境の情報と視聴環境の情報とから、色変換を行うルックアップテーブルを決めて、一律に色データの変換を行うもので、立体感を増すために映像データ中の被写体に対して影を付加したり／当該被写体の影を消去することができない。
　また、特許文献２に開示の技術では、視聴環境の情報を用いていないため、視聴環境に応じて、被写体に影を付加することができず、視聴環境に対応する、異なる形状の影を付加することができない。
　本発明は、かかる実情に鑑みてなされたものであり、撮影時の環境の情報と視聴している環境の情報の両方を利用して、視聴環境の照明の状況と一致するように被写体の影を加工できるデジタル映像再生装置を提供することを目的とする。
　第１の技術手段は、被写体を撮影した映像データを取得する映像データ取得部と、少なくとも被写体と撮影装置との距離が含まれる撮影環境情報を取得する撮影環境情報取得部と、前記撮影環境情報を取得する撮影環境情報取得部と、少なくとも視聴環境における表示装置と照明装置との配置関係を示す配置情報が含まれる視聴環境情報を取得する視聴環境情報取得部と、前記映像データの被写体及び当該被写体に関連する情報を抽出する被写体情報抽出部と、前記撮影環境情報及び前記視聴環境情報に基づき、前記被写体情報抽出部が抽出した被写体に対して、前記照明装置の配置場所に応じた影を付加する影加工部とを備えたことを特徴とするデジタル映像再生装置である。
　第２の技術手段は、第１の技術手段において、前記影加工部は、前記表示装置の位置に前記撮影装置が位置し、前記抽出した被写体が、当該表示装置の後方の前記撮影環境情報取得部が取得した距離の位置に存在する仮想的な空間を想定し、前記照明装置によって前記抽出した被写体に形成される影を、前記映像データ中の当該被写体に付加することを特徴とする。
　第３の技術手段は、第１又は第２の技術手段において、前記影加工部は、前記映像データ中に既に存在している、前記抽出した被写体の影を消去することを特徴とする。
　第４の技術手段は、第１～第３の何れかの技術手段において、前記撮影環境情報には、被写体毎に当該被写体の透過度を示す情報が含まれ、前記撮影環境情報取得部が取得した撮影環境情報に基づき、前記抽出した被写体に対する光の透過度を、当該被写体毎に解析する被写体透過度解析部を備え、前記影加工部は、前記解析部によって解析された光の透過度に基づき、前記抽出した被写体に対して影を付加することを特徴とする。
　第５の技術手段は、第１～第３の何れかの技術手段において、前記撮影環境情報には、被写体毎に当該被写体の反射度を示す情報が含まれ、前記撮影環境情報取得部が取得した撮影環境情報に基づき、前記抽出した被写体に対する光の反射度を、当該被写体毎に解析する被写体反射度解析部を備え、前記影加工部は、前記解析部によって解析された光の反射度に基づき、前記抽出した被写体に対して影を付加することを特徴とする。
　第６の技術手段は、第１～第３の何れかの技術手段において、前記影加工部は、前記撮影環境情報及び前記視聴環境情報に基づき、前記抽出した被写体に対して、前記照明装置の配置場所に応じた陰影を付加することを特徴とする。
　本発明によれば、撮影時の環境の情報と視聴している環境の情報の両方を利用して、視聴環境の照明の状況と一致するように被写体の影を加工することにより、立体感や奥行き感などを強調し、臨場感あふれる映像データを生成することが可能となる。
本発明の一実施形態に係るデジタル映像再生装置の概略構成を示すブロック図である。 本発明の一実施形態での具体的な影の加工方法を記した図である。 視聴環境の一例を記した図である。 被写体と視聴環境の照明を仮想的な空間に設定した図である。 本発明の第２実施形態に係るデジタル映像再生装置の概略構成を示すブロック図である。 本発明の第２実施形態での具体的な影の加工方法を記した図である。 本発明の第３実施形態での具体的な影の加工方法を記した図である。 従来のデジタル映像再生装置の概略構成を示すブロック図である。
　（実施例１）
　図１は、本発明の一実施形態に係るデジタル映像再生装置の一例の概略構成を示す図である。同図に示すように、デジタル映像再生装置１００は、映像データ取得部１０１、撮影環境情報取得部１０２、視聴環境情報取得部１０３、被写体情報抽出部１０４、影加工部１０５を備えた構成となっている。
　映像データ取得部１０１は、図示しないデジタルチューナや通信ネットワークや映像データが格納された記録メディアから、被写体を撮影した映像データ（表示映像データ）を取得する部分である。
　撮影環境情報取得部１０２は、同様に図示しないデジタルチューナや通信ネットワークや映像データが格納された記録メディアから、少なくとも被写体と撮影装置との距離が含まれる、当該被写体を撮影した環境の情報（以下、撮影環境情報と記す）を取得する部分である。撮影環境情報の例として、撮影していた場面での、被写体（物体）と撮影装置との距離、方向などの位置関係や、被写体と照明装置との距離、方向などの位置関係、当該照明装置の照度などがある。
　前記撮影環境情報は、例えば、映像データと共に記録メディアに記録されている場合もあるし、当該映像データに対応して、ネットワーク接続されるサーバ装置などに記録されていることもある。
　なお、同一のチューナやネットワークから、映像データと撮影環境情報を取得しても良いし、各々独立の経路から取得してもよい。
　視聴環境情報取得部１０３は、少なくとも視聴環境におけるデジタル映像再生装置１００に接続している表示装置と照明装置との配置関係を示す配置情報が含まれる、映像を視聴する環境の情報（以下、視聴環境情報と記す）を取得する部分である。視聴環境情報の例として、視聴している環境での照明装置の位置・方向・照度・種類や表示装置と視聴者までの距離や視聴者のいる方向などがある。
　照明（照明装置）に関する情報を取得するには、例えば照度計や照明センサなどをデジタル映像再生装置１００の周囲などに設ければよい。ディスプレイ（表示装置）と視聴者との距離や視聴者のいる方向を取得するには、例えばデジタル映像再生装置１００に接続するディスプレイに赤外線センサや超音波センサなどの距離センサを設ければよい。また、これらの情報は、センサで実測するのではなく、あらかじめ用意しておいた設定値をメニューなどで選択するようにしてもよい。
　被写体情報抽出部１０４は、映像データ取得部１０１で取得した映像データの中に存在する被写体を抽出する。また、抽出した被写体に関連する情報、例えば、当該被写体と当該被写体を撮影した撮影装置との距離（奥行き方向の距離）を撮影環境情報から抽出（解析）する。
　抽出した被写体と、当該被写体を撮影した撮影装置との距離を解析する際に利用する撮影環境情報の例としては、奥行き情報がある。奥行き情報とは、画素に表示されている、被写体の一部（映像データ）が撮影装置からどの程度離れた位置にあるのかを示した情報である。この情報は、画素毎の情報でもよいし、複数の画素の集まりである領域毎でもよいし、被写体毎でもよい。
　この場合、被写体毎に、当該被写体の形状と、当該被写体と撮影装置との距離が記録されたテーブルを、撮影時に作成し奥行き情報として撮影環境情報に含めてもよい。撮影時に奥行き情報を作成するには、例えば撮影装置に赤外線センサや超音波センサなどの距離センサを実装したり、多眼カメラや複数の撮影装置を用いて得た複数の画像から各被写体の奥行き情報を算出すればよい。
　また、ここでの説明では、被写体の撮影環境情報を元に解析しているが、取得した入力映像テータを解析して、各被写体の位置を解析しても良い。
　影加工部１０５は、撮影環境情報取得部１０２から取得した撮影環境情報と、視聴環境情報取得部１０３から取得した視聴環境情報と、被写体情報抽出部１０４が抽出した、映像データの中に存在する被写体の奥行き方向の距離に基づき、映像データ取得部１０１で取得した映像データの中に存在する被写体に対して、照明装置の配置場所に応じた影の加工（付加）を行い、その加工した映像データを出力データとして、映像出力機器に出力する部分である。
　また、撮影した映像に対して影の加工を行う手法を記載するが、撮影した映像に限定するのではなく、作成したＣＧや編集した結果の映像に対して適用するようにしてもよい。
　この場合、奥行き情報は、センサで取得したり、多眼カメラで撮影した画像から算出したりする以外に、奥行き情報自体を作成したり、編集したりするようにして作成してもよい。また、影の加工は、静止画に適用しても動画に適用してもよい。
　以下に、図２を用いて、具体的な影の加工方法を記載する。図２（Ａ）は、入力映像データの例である。四角の外枠の中が、入力映像データをディスプレイなどに表示したものを示し、一様に平らな平面に、第１の被写体２０１と、第２の被写体２０２とが存在し、さらに、第１の被写体の影２０３と、第２の被写体の影２０４が表示されている例である。ここでは、撮影時に右側に光源があるため、それぞれの被写体の左側に影ができる。
　図２（Ｂ）は、図２（Ａ）の入力映像データにおける各被写体に対して、視聴環境にあった影を付加（加工）した後の映像データの一例である。
　ここでは、視聴環境の照明が図２（Ｂ）を表示しているディスプレイの手前右下側に存在していると仮定する。そして、被写体の奥行き方向の位置と、視聴環境の照明の方向から、第１の被写体２０１に付加する影２０５の領域と、第２の被写体２０２に付加する影２０６の領域を算出し、映像に影を付加する。被写体の位置関係によっては、図２（Ｂ）のように、第１の被写体２０１の領域に第２の被写体２０２の影領域が重なる場合もあるし、重ならない場合もある。
　ここで、被写体に影を付加する方法について詳細に説明する。
　まず、被写体情報抽出部１０４が、映像データの中から被写体を抽出する。被写体の抽出方法は様々提案されている。例えば、遠方の背景を背にした被写体がある映像データの場合、前述のように、当該映像データに係る各画素の奥行き情報を取得し、各画素の奥行き方向の距離を算出する。そして、奥行き方向の距離が不連続となっている個所を、遠方の背景と前景の被写体部分との境界部分とみなし、この境界部分をつなげることにより、背景と被写体とを分離する方法がある。
　他にも、被写体を撮影する時に、当該被写体に係わる映像フレームに対応して、当該映像フレームにおける被写体の位置座標をテーブルに記録し、当該テーブルを映像フレームと共にデジタル映像再生装置１００に入力してもよい。
　他にも、被写体が動いている場合には、当該被写体の動きベクトルを参照することにより、当該被写体を抽出することができる。
　このようにすることにより、図２（Ａ）における映像データから第１の被写体２０１と第２の被写体２０２とを抽出することができる。
　そして、抽出した被写体に関連する情報である、当該被写体と、当該被写体を撮影した撮影装置との距離情報を、前述した撮影環境情報取得部１０２によって取得した撮影環境情報から抽出する。
　ここで、第１の被写体２０１は撮影装置からの距離がＤ１で、第２の被写体２０２は撮影装置からの距離がＤ２であったとする。
　次に、視聴環境における照明に関する情報を取得する処理について説明する。
　照明に関する情報は、前述のように、デジタル映像再生装置１００に設けられた照度計や照明センサにより取得することができる。
　ここでは、図３に例示するような視聴環境で映像を視聴した場合について説明する。
　図３（Ａ）は視聴環境を横から観察した場合の図であり、図３（Ｂ）は視聴環境を上から観察した場合の図である。３０１は映像を表示しているディスプレイであり、３０２は視聴者であり、３０３は視聴者３０２が座っている椅子である。
　ディスプレイ３０１は、幅Ｗ、高さＨの映像を表示している。図３では、ディスプレイの額縁部分は無視できる大きさと考えて幅Ｗと高さＨを図示している。
　３０４は視聴環境の照明（装置）であり、Ｄ３はディスプレイと視聴環境の照明との距離で、θ１はディスプレイと視聴環境の照明との仰角で、θ２はディスプレイと視聴環境の照明との方位角を示している。
　すなわち視聴環境の照明は、ディスプレイから見て上方に仰角θ１及び左側に方位角θ２の方向で距離Ｄ３の位置に存在する事となる。
　次に、前記視聴環境の下で、被写体に影を付加する場合について説明する。
　影加工部１０５は、ディスプレイ３０１の位置に撮影装置が位置し、抽出した被写体が、ディスプレイ３０１の後方の（視聴者３０２の反対側）、撮影環境情報取得部１０２が取得した距離の位置に存在する仮想的な空間（同一環境）を想定し、照明装置３０４によって前記抽出した被写体に形成される影を、映像データ中の当該被写体に付加する。
　図４にその仮想的な空間の例を示す。図４（Ａ）は、仮想的な空間を横から観察した場合の図であり、図４（Ｂ）は仮想的な空間を上から観察した場合の図である。
　ディスプレイ３０１の右側は、前記仮想的な空間における照明の配置状態を示している。
　図４によれば、ディスプレイから見て上方に仰角θ１及び左側に方位角θ２の方向で距離Ｄ３の位置に照明装置３０４が仮想的に存在していることが分かる。
　そして、ディスプレイ３０１の左側は、前記仮想的な空間（表示映像内）における各被写体の配置状態を示している。
　前述のように、第１の被写体２０１は撮影装置からの距離がＤ１で、第２の被写体２０２は撮影装置からの距離がＤ２であるので、それぞれディスプレイ３０１からＤ１、Ｄ２の位置に配置する。
　ここでは撮影装置からの距離をディスプレイからの距離として配置したが、遠い被写体を撮影した場合などは一定の割合で距離を縮小して仮想的な空間に配置しても良い。
　さらに、付加する影の位置を決定する。具体的には仮想的な空間に配置されている照明装置と被写体の外周部分とを仮想的な直線で結び、その直線が背景の位置とぶつかる位置（座標）を算出する。
　その後、算出した位置座標を、映像表示用に座標変換すれば、図２（Ｂ）に示したように、前記被写体の影の外周部分の座標を算出することができる。
　図４の４０１は、仮想的な空間に配置されている照明装置３０４と被写体２０１の頂点とを結んだ直線であり、一様に平らな平面の左奥にぶつかっている（符号Ｐ参照）。
　被写体２０１の全外周部分につき、前記直線が前記平面とぶつかる位置（座標）を算出し、映像表示用に座標変換後、変換後の座標を線で結べば、図２（Ｂ）に示した被写体２０１の影２０５の全外周部分になる。付加する影の全外周部分の座標値が算出できれば、その内側部分が付加する影の位置になる。
　また、図４の４０２は、仮想的な空間に配置されている照明装置３０４と被写体２０２の頂点とを結んだ直線であり、被写体２０１とぶつかっている（符号Ｑ参照）。
　被写体２０２についても、被写体２０１について行った算出処理を実行すれば、図２（Ｂ）に示した被写体２０２の影２０６の外周部分になる。
　なお、ここでは、影の外周部分を算出するために、被写体の全外周部分に対応する位置の算出を照明位置（照明装置）から直線を引く方法で実行したが、全外周部分で直線を引かずに、一定間隔の外周位置で直線を引いて、その結果を補間するような算出方法でもよいし、被写体を多角形や楕円に近似して、その頂点部分の直線を引いて、その結果を直線や弦で補間してもよいし、これらの方法を組み合わせて影の外周部分を算出してもよい。
　付加する影の色は、付加する影の領域を真っ黒にしても良いし、輝度を一定量減算したり一定割合で除算しても良いし、彩度を一定量減算したり一定割合で除算しても良い。また輝度や彩度の減算量や除算量を、視聴環境の照明の照度に合わせて決定するようにしても良い。
　また、実際の影では光の屈折効果で影の境界がぼやけるため、前述の方法で算出した影の境界部分にぼかしをかけて影をぼやかしてもよい。ぼかし方はガウス分布フィルタをかけるなどの既知のぼかし方を用いればよい。またぼかしの強度は一定でも良いし、視聴環境の照明の照度や、視聴環境の照明と被写体の仮想的な距離に応じて変えても良い。
　なお、図２（Ｂ）では、視聴環境の照明が、表示しているディスプレイの手前下側に存在していると仮定したために、左上方向に伸びた影を付加したが、視聴環境の照明が、表示しているディスプレイの左側に存在した場合は、右側に影を伸ばし、視聴環境の照明が、ディスプレイの後方に存在した場合は、手前側に影を伸ばすように影を付加する事となる。
　図２（Ｃ）は、前述のようにして図２（Ａ）に示した被写体に影を付加した状態から（図２（Ｂ）参照）、図２（Ａ）に示した被写体の影（２０３、２０４）を消去した状態の映像データを示している。
　ここでも視聴環境の照明が図２（Ｃ）を表示しているディスプレイの手前右下側に存在していると仮定する。またここでは、視聴環境の照明照度が撮影環境の照明照度よりも大きく強いと仮定する。その場合、撮影時の照明による被写体の影があると不自然であるので、影加工部１０５は、映像データ中に既に存在している、被写体の影を消去して、視聴環境の照明による影だけにすることが好ましい。具体的には、撮影環境情報である各被写体の奥行き情報と撮影時の照明の方向から、図２（Ａ）の２０３と２０４が影であることがわかるため、これを消去する。
　消去する部分の算出方法は、視聴環境の照明に応じて付加する影の位置を算出する方法と同様に、撮影時の照明の位置と被写体の外周部分を仮想的な直線で結んで、背景と交わった部分が消去する影の外周部分になる。また、その内側が真っ黒になっているかとか、回りと比べて輝度や彩度が落ちているかなどの判定方法と組み合わせて、消去する影の部分を判定してもよい。
　消去した部分は、回りの映像や影の部分から推測して、違和感のない映像にすればよい。例えば、回りの映像が格子模様や縞模様などの繰り返しパターンであれば、その繰り返しパターンを消去する影の部分に適用するようにしてもよいし、影の部分が真っ黒でなく、輝度や色温度が落ちているのであれば、回りの映像と比較して、輝度や色温度を周りに合わせるようにしても良い。また、それらを組み合わせても良い。さらに動画の場合には、影が同じ位置にない前後のフレームの映像を利用するようにしても良い。
　そして、図２（Ｂ）の説明の箇所で記載したように、第１の被写体２０１に付加する影２０５の領域と、第２の被写体２０２に付加する影２０６の領域を算出し、映像に影を付加する。
　ここでは、視聴環境の照明照度が撮影環境の照明照度よりも大きく強かった場合に図２（Ｃ）のようにすると記載したが、これに限らず、大きく強くなくても図２（Ｃ）のようにしてもよい。また、図２（Ｂ）と図２（Ｃ）のどちらかを選択するようにするのではなく、視聴環境の照明照度と撮影環境の照明照度の強さの割合に応じて、新たに付加する影２０５と影２０６の濃淡と元からある影２０３と影２０４の濃淡を調整するようにしてもよい。例えば、影２０３と影２０４の影の色を薄くして、影２０５と影２０６の影の色を濃くするように調整してもよい。
　（実施例２）
　図５は、本発明の第二の実施形態に係るデジタル映像再生装置の一例の概略構成を示す図である。同図に示すように、デジタル映像再生装置５００は、映像データ取得部１０１、撮影環境情報取得部１０２、視聴環境情報取得部１０３、被写体情報抽出部１０４、被写体透過度解析部５０１、被写体反射度解析部５０２、影加工部５０３を備えた構成となっている。図１と同一部分には同一符号が付してあり、説明を省略する。
　被写体透過度解析部５０１は、被写体毎に当該被写体の透過度を示す情報が含まれている、撮影環境情報取得部１０２が取得した撮影環境情報に基づき、映像データ取得部１０１で取得した映像データの中の被写体に対する光の透過度を、当該被写体毎に解析する部分である。
　上記の解析処理において、利用する撮影環境情報の例としては、透過率情報がある。透過率情報とは、どの画素に表示されているデータがどの程度の透過率であるのかを示した情報である。透過率とは、可視光線が通り抜ける割合を表し、値が高ければ光を通し易く、値が低ければ光がさえぎられる。
　なお、ここでは被写体の透過度の情報として単位を百分率とした割合を示す透過率としたが、これに限定されるものではなく、絶対値で表現する単位系のものでもよい。また、被写体の透過度を示す情報として、画素毎の情報でもよいし、複数の画素の集まりである領域毎でもよいし、被写体毎でもよい。
　撮影時に透過率情報を作成するには、例えば事前に撮影する被写体の中で透過しそうな被写体の光吸収の度合を測定しておいてテーブル化しておき、どの被写体（物体）がどの位置の被写体になったのかを撮影時に認識して事前に設定したテーブルから透過率情報を算出しても良いし、被写体の種類を解析し、被写体の種類がガラスだったら透過率はいくつで、水だったら透過率はいくつとのように被写体に応じて固定値を設定するようにしても良い。撮影後に奥行き情報を元に、その被写体がどの程度透過して映像を映しているのかを、輝度の落ち具合などで算出しても良い。
　また、ここでの説明では、撮影環境情報を元に解析しているが、入力映像テータを解析して、各被写体の透過度を解析しても良い。
　被写体反射度解析部５０２は、被写体毎に当該被写体の反射度を示す情報が含まれている、撮影環境情報取得部１０２が取得した撮影環境情報に基づき、映像データ取得部１０１で取得した映像データの中の被写体に対する光の反射度を、当該被写体毎に解析する部分である。
　利用する撮影環境情報の例としては、反射率情報がある。反射率情報とは、どの画素に表示されているデータがどの程度の反射率であるのかを示した情報である。反射率とは、可視光線が反射する割合を表し、値が高ければ反射し易く、値が低ければ反射しにくい事となる。
　なお、ここでは被写体の反射度の情報として単位を百分率とした割合を示す反射率としたが、これに限定されるものではなく、絶対値で表現する単位系のものでもよい。また、被写体の反射度を示す情報として、画素毎の情報でもよいし、複数の画素の集まりである領域毎でもよいし、被写体毎でもよい。
　撮影時に反射率情報を作成するには、例えば事前に撮影する被写体の中で反射しそうな被写体の光の反射の度合を測定しておいてテーブル化しておき、どの被写体（物体）がどの位置の被写体になったのかを撮影時に認識して事前に設定したテーブルから反射率情報を算出しても良いし、鏡だったら反射率はいくつで、金属だったら反射率はいくつとのように被写体に応じて固定値を設定するようにしても良い。撮影後に奥行き情報を元に、その被写体がどの程度反射して映像を映しているのかを、輝度の変わり方などで算出しても良い。
　また、ここでの説明では、撮影環境情報を元に解析しているが、入力映像テータを解析して、各被写体の反射度を解析しても良い。
　影加工部５０３は、撮影環境情報取得部１０２から取得した撮影環境情報と、視聴環境情報取得部１０３から取得した視聴環境情報と、被写体情報抽出部１０４が抽出した、映像データの中に存在する被写体の奥行き方向の距離と、被写体透過度解析部５０１で解析した映像データの中に存在する被写体の透過度と、被写体反射度解析部５０２で解析した映像データの中に存在する被写体の反射度に基づき、映像データ取得部１０１で取得した映像データの中に存在する被写体の影の加工を行い、その加工した映像データを出力データとして、映像出力機器に出力する部分である。
　なお、ここでの影加工部５０３は、撮影環境情報と視聴環境情報と奥行き方向の距離と被写体の透過度と被写体の反射度とを用いて影を加工すると記載したが、これらを全て使用することに限定せず、これらのうち、複数の情報を用いて影を加工するようにしてもよい。
　以下に、図６を用いて、被写体の透過度や被写体の反射度を利用して影の加工を行う具体的な方法を記載する。図６（Ａ）は、図２（Ｃ）のように、視聴環境の照明が表示しているディスプレイの手前右下側に存在していると仮定して、影の加工を行った映像の一例である。映像データ中には、第１の被写体６０１と第２の被写体６０３が存在し、第１の被写体６０１の影を加工して、影６０２を付加し、影６０２が第２の被写体６０３に重なっている状況である。
　この第２の被写体６０３の前面が壁などの透過度が低い被写体の場合には、このような図６（Ａ）のように、第２の被写体６０３の前面に張り付くように影を付加すればよい。ただし、第２の被写体６０３の前面がガラスのような透過度が高い被写体の場合には、図６（Ｂ）のように、第２の被写体６０３の前面を突き抜けるように影を付加する必要がある。
　また、第２の被写体６０３の前面が半透明で透過度が中程度の被写体の場合には、図６（Ｃ）のように、第２の被写体６０３の前面に張り付くような影と、第２の被写体６０３の前面を突き抜けるような影の両方を付加する必要がある。さらに、第２の被写体６０３の前面が鏡のような反射度が高い被写体の場合には、図６（Ｄ）のように、第２の被写体６０３の前面で途切れるような影を付加する必要がある。
　また、透過度が中程度で反射度も中程度である場合には、第２の被写体６０３の前面に張り付く影や第２の被写体６０３の前面を突き抜ける影の色を薄くするようにしてもよい。
　これまでは、撮影した映像に対して影の加工を行う手法を記載したが、撮影した映像に限定するのではなく、作成したＣＧや編集した結果の映像に対して適用するようにしてもよい。この場合、透過率情報や反射率情報は、被写体を認識して設定する以外に、透過率情報や反射率情報自体を作成したり、編集したりするようにして作成してもよい。
　（実施例３）
　次に、第三の実施形態における影の加工方法の具体的な一例を記載する。図７（Ａ）は、入力映像データの例で、第１の被写体７０１が表示されている。このとき、影加工部（１０５、５０３）は、撮影環境情報取得部１０２から取得した撮影環境情報及び視聴環境情報取得部１０３から取得した視聴環境情報に基づき、被写体情報抽出部１０４が抽出した被写体に対して、照明装置の配置場所に応じた陰影を付加する。図７（Ｂ）は、影加工部（１０５、５０３）が、図７（Ａ）の入力映像データに対して、影の加工及び被写体への陰影の付加を行った映像データの一例である。
　なお、ここでは、影を、光の遮蔽によって他の被写体にできる光が当たらない箇所と定義し、陰影を、光源の方向により生じる被写体自体の明るさの変化と定義し、区別している。また、ここでは視聴環境の照明が図７（Ｂ）を表示しているディスプレイの奥右上側に存在していると仮定する。影加工部（１０５、５０３）は、前述のように、被写体の奥行き方向の位置と、視聴環境の照明の方向から、被写体７０１に付加する影７０２の領域を算出し、映像に影を付加し、さらに、被写体７０１に付加する陰影７０３の領域を算出し、映像に陰影を付加する。
　陰影の位置の算出方法は、視聴環境の照明に応じて付加する影の位置を算出する方法と同様に、被写体と視聴環境の照明の位置とを仮想的な空間に設定し、被写体と照明位置とが直線で結べない部分が光の当たらない部分となり、陰影を付加する位置となる。
　陰影を付加する方法は、付加する領域を真っ黒にしても良いし、輝度を一定量減算したり一定割合除算しても良いし、彩度を一定量減算したり一定割合除算しても良い。また輝度や彩度の減算量や除算量を、視聴環境の照明の照度に合わせて決定するようにしても良い。
１００…デジタル映像再生装置、１０１…映像データ取得部、１０２…撮影環境情報取得部、１０３…視聴環境情報取得部、１０４…被写体情報抽出部、１０５…影加工部、２０１，２０２…被写体、２０３～２０６…影、３０１…ディスプレイ、３０２…視聴者、３０３…椅子、３０４…照明、５００…デジタル映像再生装置、５０１…被写体透過度解析部、５０２…被写体反射度解析部、５０３…影加工部、６０１，６０３，７０１…被写体、６０２，７０２…影、７０３…陰影、８００…デジタル映像再生装置、８０１…映像データ取得部、８０２…撮影環境情報取得部、８０３…視聴環境情報取得部、８０４…色変換部。

Claims (6)

  1. 　被写体を撮影した映像データを取得する映像データ取得部と、
    　少なくとも被写体と撮影装置との距離が含まれる撮影環境情報を取得する撮影環境情報取得部と、
    　少なくとも視聴環境における表示装置と照明装置との配置関係を示す配置情報が含まれる視聴環境情報を取得する視聴環境情報取得部と、
    　前記映像データの被写体及び当該被写体に関連する情報を抽出する被写体情報抽出部と、
    　前記撮影環境情報及び前記視聴環境情報に基づき、前記被写体情報抽出部が抽出した被写体に対して、前記照明装置の配置場所に応じた影を付加する影加工部とを備えたことを特徴とするデジタル映像再生装置。
  2. 　前記影加工部は、前記表示装置の位置に前記撮影装置が位置し、前記抽出した被写体が、当該表示装置の後方の前記撮影環境情報取得部が取得した距離の位置に存在する仮想的な空間を想定し、前記照明装置によって前記抽出した被写体に形成される影を、前記映像データ中の当該被写体に付加することを特徴とする請求項１に記載のデジタル映像再生装置。
  3. 　前記影加工部は、前記映像データ中に既に存在している、前記抽出した被写体の影を消去することを特徴とする請求項１又は２に記載のデジタル映像再生装置。
  4. 　前記撮影環境情報には、被写体毎に当該被写体の透過度を示す情報が含まれ、前記撮影環境情報取得部が取得した撮影環境情報に基づき、前記抽出した被写体に対する光の透過度を、当該被写体毎に解析する被写体透過度解析部を備え、
    　前記影加工部は、前記解析部によって解析された光の透過度に基づき、前記抽出した被写体に対して影を付加することを特徴とする請求項１～３の何れかに記載のデジタル映像再生装置。
  5. 　前記撮影環境情報には、被写体毎に当該被写体の反射度を示す情報が含まれ、前記撮影環境情報取得部が取得した撮影環境情報に基づき、前記抽出した被写体に対する光の反射度を、当該被写体毎に解析する被写体反射度解析部を備え、
    　前記影加工部は、前記解析部によって解析された光の反射度に基づき、前記抽出した被写体に対して影を付加することを特徴とする請求項１～３の何れかに記載のデジタル映像再生装置。
  6. 　前記影加工部は、前記撮影環境情報及び前記視聴環境情報に基づき、前記抽出した被写体に対して、前記照明装置の配置場所に応じた陰影を付加することを特徴とする請求項１～３の何れかに記載のデジタル映像再生装置。
PCT/JP2009/065566 2008-12-05 2009-09-07 デジタル映像再生装置 WO2010064479A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-311070 2008-12-05
JP2008311070 2008-12-05

Publications (1)

Publication Number Publication Date
WO2010064479A1 true WO2010064479A1 (ja) 2010-06-10

Family

ID=42233134

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/065566 WO2010064479A1 (ja) 2008-12-05 2009-09-07 デジタル映像再生装置

Country Status (1)

Country Link
WO (1) WO2010064479A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154046A1 (ja) * 2016-03-10 2017-09-14 パナソニックＩｐマネジメント株式会社 表示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04195480A (ja) * 1990-11-28 1992-07-15 Hitachi Ltd コンピュータグラフィックス表示装置
JPH11259682A (ja) * 1997-10-22 1999-09-24 Sony Corp 画像処理装置および方法、並びに提供媒体
JP2000235657A (ja) * 1999-02-17 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> 画像表示方法及び装置
JP2007272292A (ja) * 2006-03-30 2007-10-18 Denso It Laboratory Inc 影認識方法及び影境界抽出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04195480A (ja) * 1990-11-28 1992-07-15 Hitachi Ltd コンピュータグラフィックス表示装置
JPH11259682A (ja) * 1997-10-22 1999-09-24 Sony Corp 画像処理装置および方法、並びに提供媒体
JP2000235657A (ja) * 1999-02-17 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> 画像表示方法及び装置
JP2007272292A (ja) * 2006-03-30 2007-10-18 Denso It Laboratory Inc 影認識方法及び影境界抽出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154046A1 (ja) * 2016-03-10 2017-09-14 パナソニックＩｐマネジメント株式会社 表示装置

Similar Documents

Publication Publication Date Title
JP7007348B2 (ja) 画像処理装置
US20100290697A1 (en) Methods and systems for color correction of 3d images
US11425283B1 (en) Blending real and virtual focus in a virtual display environment
WO2019047985A1 (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
CN107862718B (zh) 4d全息视频捕捉方法
US11328437B2 (en) Method for emulating defocus of sharp rendered images
US11615755B1 (en) Increasing resolution and luminance of a display
JP2022529417A (ja) 画像取得投影システム、該システムの使用及び画像取得投影挿入方法
WO2010064479A1 (ja) デジタル映像再生装置
US20230171508A1 (en) Increasing dynamic range of a virtual production display
JP7387029B2 (ja) ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術
US11308586B2 (en) Method for applying a vignette effect to rendered images
EP1847958B1 (fr) Segmentation d&#39;image numérique d&#39;une zone d&#39;observation en temps réel
WO2020066008A1 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
US20220215512A1 (en) Method for Emulating Defocus of Sharp Rendered Images
US11380048B2 (en) Method and system for determining a spectral representation of a color
CA3116076C (en) Method and system for rendering
EP4407977A1 (en) Information processing apparatus, image processing method, and program
WO2023094882A1 (en) Increasing dynamic range of a virtual production display

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09830247

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09830247

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP