WO2007125755A1 - データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 - Google Patents

データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 Download PDF

Info

Publication number
WO2007125755A1
WO2007125755A1 PCT/JP2007/058035 JP2007058035W WO2007125755A1 WO 2007125755 A1 WO2007125755 A1 WO 2007125755A1 JP 2007058035 W JP2007058035 W JP 2007058035W WO 2007125755 A1 WO2007125755 A1 WO 2007125755A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
frame
camera work
camera
video
Prior art date
Application number
PCT/JP2007/058035
Other languages
English (en)
French (fr)
Inventor
Takuya Iwanami
Kenichiroh Yamamoto
Yasuhiro Yoshida
Takashi Yoshii
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Priority to JP2008513135A priority Critical patent/JP4709897B2/ja
Publication of WO2007125755A1 publication Critical patent/WO2007125755A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H04N5/58—Control of contrast or brightness in dependence upon ambient light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams

Definitions

  • Data transmission device data transmission method, viewing environment control device, viewing environment control system, and viewing environment control method
  • the present invention can control illumination light around a video display device when the video is displayed on the video display device in accordance with the atmosphere and scene setting of the shooting scene of the video.
  • the present invention relates to a data transmission device, a data transmission method, a viewing environment control device, a viewing environment control system, and a viewing environment control method.
  • a mixed light intensity ratio of three primary colors of a light source is calculated for each frame from a color signal (RG B) and a luminance signal (Y) of a display image of a color television
  • a light color variable illumination device that performs dimming control in conjunction with an image.
  • This variable light color illumination device takes out the display video power color signal (RGB) and luminance signal (Y) of a color television, and from the color signal and luminance signal, three-color light (red light, green) used for the light source.
  • Light, blue light is calculated, the illuminance ratio of the three colors is set according to the illuminance ratio, and the three colors are mixed and output as illumination light.
  • the television image is divided into a plurality of parts, and the illumination around the division unit is controlled by detecting the average hue of the corresponding division unit.
  • a video effect lighting device is disclosed. This video effect lighting device includes illumination means for illuminating the surroundings of the installation location of the color television, divides the video displayed on the color television into a plurality of parts, and divides the video corresponding to the portion illuminated by the illumination means The average hue of the part is detected, and the illumination means is controlled based on the detected hue.
  • Japanese Patent Laid-Open No. 3-184203 simply describes the entire screen of the image display device.
  • Image power displayed on the screen of the image display device that does not calculate the average chromaticity and average luminance.
  • the remaining portion after removing the skin color pixels such as the human face is considered as the background portion, and each pixel in the background portion is considered.
  • the average chromaticity and luminance are obtained by taking out only the RGB signal and luminance signal of the image, and the chromaticity and luminance of the back wall of the image display device are the average chromaticity and luminance of the entire screen or the background portion excluding human skin color.
  • a method of controlling the lighting so as to be equal to the average luminance is disclosed.
  • the feature quantity (color signal and luminance signal) for each (screen) is detected and the illumination light is controlled, it is difficult to generate illumination light that matches the field (atmosphere) of the image depending on the displayed video content. It is difficult. For example, if an inappropriate color illumination light is irradiated to the surroundings due to the influence of the clothes of the subject person included in the video signal or the person behind the subject, the atmosphere of each scene is reproduced. Or the realism of each scene cannot be maintained. In other words, viewing environment lighting that greatly deviates from the lighting condition at the time of shooting a video scene will impair the sense of reality.
  • the state of the illumination light changes according to the change of the luminance and hue of the video signal for each frame, and particularly when the degree of change of the luminance and hue between frames is large.
  • the illumination light changes in a complicated manner, causing the problem that the viewer feels uncomfortable with the flicker.
  • FIG. 1 is a diagram for explaining an example of the problem of illumination control according to the above-described conventional technique, and shows a part of continuous moving images.
  • Fig. 1 (A) a scene of a video shot with the outdoor setting in the daytime in sunny weather is created! This scene also has the image power gained through a series of camera work without switching cameras.
  • an image in which the skier slides down with the upward force of the camera directed toward the vicinity of the camera is captured. Skiers are dressed in red and the sky is clear.
  • this video scene is represented by camera position (a), angle (b), number of subjects (d), camera movement (e), camera lens.
  • Each type (f) was shot under certain camera work conditions: low position, low angle, one shot (1S), fixed, standard lens.
  • the skier's red clothing area gradually grows as the skier with a large blue sky background slides down and approaches the camera.
  • the ratio of the colors that make up each frame changes.
  • the subject size (c) is that the frames A to D are log shots and the frame E is a full figure!
  • the blue light changes to strong illumination light power red illumination light.
  • illumination light that does not take into account the lighting conditions at the time of shooting is generated. This will make the viewer feel uncomfortable.
  • the color of the illumination light changes within a single segment of scenes where a single scene setting (atmosphere) is continuous, the atmosphere of the scene will still be disturbed, giving viewers a sense of discomfort.
  • FIG. 2 is a diagram for explaining another example of the problem of the illumination control according to the conventional technique.
  • a scene of a video shot with the scene setting of moonlight night is created.
  • This scene consists of three shots (1, 2, 3) with different camerawork.
  • shots 1 the camera takes a long shot of the target ghost. Yes.
  • shots 2 the ghost was shot with a bust shot.
  • Shot 3 the camera returns to the shot 1 camera position again.
  • shots are designed to be one-segment scenes with a continuous atmosphere even though the camerawork is different.
  • the camera work situation used for shooting this scene is as shown in Fig. 2 (B), where the camera position (a), angle (b), camera movement (e), camera
  • Each lens type (f) is eye height, horizontal angle, fixed, standard lens, subject size (c), number of subjects (d) force Frames A to B (shot 1) and frames E to F (shots) 3) Long shot, two shot (2S), Frames C to D (shot 2) are bust shot, one shot (1S).
  • illumination light that does not take into account the lighting condition at the time of shooting is generated and irradiated. This will disturb the atmosphere of the viewer and make the viewer feel uncomfortable. Also, if the illumination light becomes darker or brighter in a single segment of scenes where a single scene setting (atmosphere) is continuous, the atmosphere of that scene will still be disturbed and the viewer will feel uncomfortable.
  • FIG. 3 is a diagram for explaining another example of the problem of the illumination control according to the conventional technique.
  • Fig. 3 (A) an image scene was created with a scene setting of outdoors in a sunny day.
  • the image power obtained by taking a series of camera work without switching the camera is also the power of the subject (foreground) brown and the dog gradually changes from long shot to up shot by zoom shooting.
  • the camera work situation used for shooting this scene is as shown in Fig. 3 (B).
  • the movement of (e) Each is in the position, high position, high angle, one shot (1S), zoom, subject size (c) 1S Frames A to B are long shots, frame C is funnel figure, frame D is no shot, Frame E is an up shot, camera lens type (f) force Frame A is a standard lens, and frames B to E are telephoto lenses.
  • the illumination light intensity with a strong green color also changes to brown illumination light.
  • the color of the illumination light changes within a single segment of scenes where a single scene setting (atmosphere) is continuous, the atmosphere of the scene will still be disturbed, giving viewers a sense of discomfort.
  • FIG. 4 is a diagram for explaining another example of the problem of lighting control according to the conventional technique.
  • Fig. 4 (A) an image scene was created with a scene setting of outdoors in a sunny day.
  • the image power obtained by taking a series of camera work without switching the camera is also the power of zooming and the person wearing pink clothes, the subject (foreground), has a long shot (frame A) power bust shot ( It is gradually changing to frame E).
  • the camera work situation used for shooting this scene is as shown in Fig. 4 (B).
  • Each movement (e) is eye height, horizontal angle, one shot (1S), zoom, subject size (c) power frame A to B are long shots
  • frame C is funnel figure
  • frame D is a waist shot
  • frame E is a bust shot
  • camera lens type (f) 1S Frame A is a standard lens
  • frames B and beyond are telephoto lenses.
  • the blue illumination light intensity changes into pink illumination light.
  • illumination light that does not take into account the lighting conditions at the time of shooting is generated. This will make the viewer feel uncomfortable.
  • one scene setting atmosphere
  • the color of the illumination light changes within the scene, it will also disturb the atmosphere of the scene and give the viewer a sense of discomfort.
  • FIG. 5 is a diagram for explaining another example of the problem of the illumination control according to the conventional technique.
  • an image scene was created with a scene setting of outdoors in fine weather.
  • a person who wears pink clothes as the subject can be obtained by switching the camera lens and shooting the power obtained by taking a series of camera work without switching the camera. Changes from long shot to bust shot.
  • the camera work situation used for shooting this scene is as shown in Fig. 5 (B).
  • Each of the movements (e) is eye height, horizontal angle, one shot (1S), fixed, subject size (c), frames A to C are long shots, frames D to E are bust shots, Camera lens type (f) 1S Frames A to C are standard lenses, and frames D and later are telephoto lenses.
  • the illumination light is controlled according to the luminance and chromaticity of each frame of these images, the blue light suddenly changes to pink illumination light.
  • illumination light that does not take into account the lighting conditions at the time of shooting is generated * illuminated. This will make the viewer feel uncomfortable.
  • the color of the illumination light changes within a segment of a scene where a single scene setting (atmosphere) is continuous, the atmosphere of the scene is still obstructed and the viewer feels uncomfortable.
  • the present invention has been made in view of the above problems, and a data transmission apparatus and data transmission capable of realizing illumination control in an optimal viewing environment in accordance with the camera work situation at the time of shooting a display image It is an object to provide a method, a viewing environment control device, a viewing environment control system, and a viewing environment control method.
  • the camera work data indicating the camera work status at the time of shooting each frame of the video data is Adding to the video data and transmitting To do.
  • a second invention of the present application is characterized in that the camera work data power includes at least information representing a camera position at the time of photographing each frame.
  • a third invention of the present application is characterized in that the camera work data force includes at least information representing a camera angle at the time of photographing each frame.
  • a fourth invention of the present application is characterized in that the camera work data power includes at least information representing the size of a subject at the time of photographing each frame.
  • the fifth invention of the present application is characterized in that the camera work data force includes at least information representing the number of subjects at the time of photographing each frame.
  • the sixth invention of the present application is characterized in that the camera work data force includes at least information representing the movement of the camera at the time of photographing each frame.
  • the seventh invention of the present application is characterized in that the camera work data force includes at least information indicating a type of a camera lens used for photographing each frame.
  • the eighth invention of the present application is a data transmission device that receives camera requests and transmits camera work data indicating a camera work state at the time of photographing each frame constituting the video data in response to an external request.
  • the work data is transmitted together with the start timing of each frame constituting the video data.
  • the ninth invention of the present application is characterized in that the camera work data power includes at least information representing a camera position at the time of photographing each frame.
  • a tenth invention of the present application is characterized in that the camera work data force includes at least information representing a camera angle at the time of photographing each frame.
  • An eleventh invention of the present application is characterized in that the camera work data force includes at least information representing the size of a subject at the time of photographing each frame.
  • a twelfth aspect of the present invention is characterized in that the camera work data force includes at least information representing the number of subjects at the time of photographing each frame.
  • a thirteenth invention of the present application is characterized in that the camera work data force includes at least information representing the movement of the camera at the time of photographing each frame.
  • the camera work data power is used for photographing at least each frame. It includes information representing the type of camera lens used.
  • a fifteenth aspect of the present invention is a viewing environment control device that controls illumination light of a lighting device based on a feature amount of video data to be displayed on a display device, and each frame constituting the video data
  • the sixteenth invention of the present application is characterized in that the control means switches and controls the illumination light of the illumination device for each scene constituting the video data.
  • the seventeenth invention of the present application is characterized in that the camera work data force includes at least information representing a camera position at the time of photographing each frame.
  • the eighteenth invention of the present application is characterized in that the camera work data force includes at least information representing a camera angle at the time of photographing each frame.
  • the nineteenth invention of the present application is characterized in that the camera work data force includes at least information representing the size of a subject at the time of photographing each frame.
  • the twentieth invention of the present application is characterized in that the camera work data force includes at least information representing the number of subjects at the time of photographing each frame.
  • a twenty-first invention of the present application is characterized in that the camera work data power includes at least information representing the movement of the camera at the time of photographing each frame.
  • the twenty-second invention of the present application is characterized in that the camera work data force includes at least information indicating the type of camera lens used for photographing each frame.
  • a twenty-third invention of the present application is characterized in that the control means limits a target frame for detecting a feature amount of the video data in accordance with the camera work data.
  • a twenty-fourth invention of the present application is characterized in that the control means limits a screen area for detecting a feature amount of the video data in accordance with the camera work data.
  • a twenty-fifth aspect of the present invention is a viewing environment control system including the above-described viewing environment control device and a lighting device whose viewing environment illumination light is controlled by the viewing environment control device.
  • a data transmission device for transmitting video data composed of one or more frames.
  • camera work data indicating a camera work state at the time of photographing each frame of the video data is added to the video data and transmitted.
  • a twenty-seventh aspect of the present invention is a data transmission method for transmitting camera work data indicating a camera work state at the time of photographing of each frame constituting video data in response to an external request,
  • the camera work data is transmitted together with a start timing of each frame constituting the video data.
  • the twenty-eighth invention of the present application receives video data to be displayed on a display device and camera work data indicating a camera work status at the time of shooting of each frame constituting the video data, and the video On the basis of the data and the camera work data, illumination light of an illumination device installed around the display device is controlled.
  • FIG. 1 is a diagram for explaining an example of a problem of illumination variation according to the prior art.
  • FIG. 2 is a diagram for explaining another example of the problem of illumination variation according to the prior art.
  • FIG. 3 is a diagram for explaining another example of the problem of illumination variation according to the conventional technology.
  • FIG. 4 is a diagram for explaining another example of the problem of illumination variation according to the prior art.
  • FIG. 5 is a diagram for explaining another example of the problem of illumination variation according to the prior art.
  • FIG. 6 is a block diagram showing a schematic configuration of a main part of a video transmission device in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 7 is an explanatory diagram showing an example of an output bitstream of the video transmission device in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 8 is an explanatory diagram showing an example of camera work data in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 9 is an explanatory diagram for explaining a camera position and a camera angle.
  • FIG. 10 is an explanatory diagram for explaining a subject size (screen size).
  • FIG. 11 is an explanatory diagram for explaining the number of subjects.
  • FIG. 12 is an explanatory diagram for explaining the components of a video.
  • FIG. 13 is a block diagram showing a schematic configuration of a main part of the video reception device in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 14 is a block diagram showing a configuration of a lighting control data generation unit in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 15 is an explanatory diagram showing an example of a field (atmosphere) estimation target region determined by a position and an angle in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 16 is an explanatory diagram showing an example of a field (atmosphere) estimation target region determined by the subject size and the number of subjects in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 17 is a flowchart showing the operation of the illumination control data generation unit in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 18 is a block diagram showing a schematic configuration of a main part of an external server device in a viewing environment control system according to a second embodiment of the present invention.
  • FIG. 19 is an explanatory diagram showing an example of a camera work data storage table in the viewing environment control system according to the second embodiment of the present invention.
  • FIG. 20 is a block diagram showing a schematic configuration of a main part of a video reception device in a viewing environment control system according to a second embodiment of the present invention.
  • FIG. 6 is a block diagram showing a schematic configuration of a main part of the video transmission device in the viewing environment control system according to the embodiment of the present invention.
  • the video transmission device (data transmission device) in the present embodiment is shown in FIG.
  • TSP transport stream packet
  • a transmission unit 2 that performs modulation on the above and sends it to the transmission line as broadcast data.
  • FIG. 7 is an explanatory diagram showing an outline of the structure of a transport stream packet (TSP) defined by MPEG2 (Moving Picture Experts Group 2) —Systems
  • TSP transport stream packet
  • MPEG2 Moving Picture Experts Group 2
  • 11 is the data content of TSP and other MPEG2
  • 12 is an extension header (advancement 'field), which can describe information determined by the sender
  • 13 is a payload composed of data such as video and audio. It is.
  • video data and audio data are transmitted by the payload 13
  • camera work data as additional information can be transmitted by the extension header (adaptation field) 12. It is also possible to multiplex and transmit different data streams of video data, audio data, and camera work data.
  • FIG. 8 is a diagram for describing camera work data indicating a camera work situation at the time of shooting each frame of video data.
  • position information (a) representing the camera position at the time of photographing each frame
  • angle information (b) representing the camera angle at the time of photographing each frame
  • subject size information indicating the size of the subject at the time of shooting (c)
  • subject number information indicating the number of subjects at the time of shooting each frame
  • camera movement indicating the movement of the camera at the time of shooting each frame
  • Information e
  • lens type information indicating the type of camera lens used for photographing each frame.
  • Such information is useful information for estimating the lighting environment at the time of shooting each frame and producing the atmosphere and presence of each scene with illumination light. Each information is explained below.
  • the high position (al) is a position that is often used for long shots, which will be described later. is there.
  • the eye height (a2) is the normal position ,
  • the low position (a3) is a low position such as a child's line of sight.
  • the height of the horizontal line (horizon line) in the shooting screen tends to be higher in the low and low positions in the no and i positions, so it is adapted to the camera position during video shooting.
  • the screen area for detecting the video feature value and controlling the viewing environment illumination described later the realism of the displayed video scene can be improved. Therefore, in this embodiment, as the position information, a 2-bit description indicating whether the camera position at the time of shooting each video frame belongs to any of the high position Z eye height Z low position is included in the camera work data. Contains.
  • the camera angle (b) at the time of video recording is classified into (bl) high angle (overhead view), (b2) horizontal angle (line of sight), and (b3) low angle (tilt).
  • the angle (bl) is a method of shooting at an angle looking down, and is used to explain the overall objective situation.
  • Horizontal angle (b2) is a natural and standard angle with the camera oriented horizontally.
  • Low angle (b3) is a method of shooting at an angle looking upward, and is used to express intimidation, dominance, victory, and so on.
  • the height of the horizontal line (horizon line) in the shooting screen tends to be high at a high angle and low at a low angle, so adapting to the camera angle at the time of video shooting, By limiting the screen area for detecting the video feature value and controlling the viewing environment illumination described later, the presence of the displayed video scene can be improved. Therefore, in this embodiment, as the angle information, the camera angle at the time of shooting each video frame indicates whether it belongs to the high angle (overhead view) Z horizontal angle (line of sight) Z low angle (tilt) V, or shift 2 A bit description is included in the camera work data.
  • the subject (screen) size (c) during video recording includes long shot (cl), full figure (c2), knee shot (c3), waist shot (c4), bust shot (c5), and up. It is classified into shot (c6), close-up shot (c7), and big close-up shot (c8).
  • long shots (LS: cl) are studio landscapes and outdoor wide-angle shots, and are often used for the overall positional relationship and the beginning and end of stories.
  • Full figure (FF: c2) is the whole body of the subject in the shooting screen. This is the size that contains the full-length image of the body and the full-length image when sitting.
  • Knee shot (KS: c3) is the size that includes the upper knee of the subject in the shooting screen.
  • the waist shot (WS: c4) is the size of a half-body image with the subject's waist or hips in the shooting screen, and is used for basic shots of news and speakers. Is the feature.
  • the bust shot (B.S .: c5) is the size of the upper body with the subject's chest or upper chest in the shooting screen, which is the most commonly used size for portraits.
  • the up shot (U.S .: c6) is a shot that expresses the expression and excitement of the subject.
  • the close-up shot (C.U .: c7) is a shot that emphasizes up, and is sized to cut the head (hair) of the subject. Big close-up shots (B.C.U .: c8) are used to emphasize close-ups.
  • the frame for detecting the video feature amount is adapted to the subject size (screen size) at the time of video shooting. It is possible to improve the sense of presence of the displayed video scene by limiting the screen area for detecting the video feature quantity and controlling the viewing environment lighting described later. Therefore, in this embodiment, as the subject size information, the size of the subject at the time of shooting each video frame Long Shot Z Full Figure One shot Z Up shot A 3-bit description indicating whether it belongs to camera work data Contained in.
  • the number of subjects at the time of video shooting (d) is one shot (1S: dl), two shot (2S: d2), three shot (3S: d3), group shot (GS: d4), landscape ( (Background) only (d5).
  • one shot (dl) has only one (1) foreground subject
  • two shots (d2) has two (2) foreground subjects
  • three shots (d3) have a foreground. This is a shot when there are three (three) subjects and the group shot (d4) has more than the foreground subject power.
  • the screen area for detecting the video feature amount is limited in accordance with the number of subjects at the time of video shooting, and viewing is described later.
  • the realism of the displayed video scene can be improved. You can. Therefore, in this embodiment, as the number of subjects information, the number of subjects at the time of shooting each video frame One shot (IS) Z two shot (2S) Z three shot (3S) Z group shot (GS) Z landscape (background)
  • the camera work data contains a 3-bit description indicating whether it belongs to the shift.
  • the camera movement (e) during video recording includes fix (el), pan (e2), chill He3), roll (e4), zoom (e5), dolly (e6), follow (e7) are categorized.
  • Fix (el) is a shooting method that does not perform zoom operations that change the angle of view and does not power the camera position.
  • Pan (e2) is a shooting method that shows the surroundings by shaking the camera in the horizontal direction, and is used to explain the situation and show the positional relationship between the left and right objects.
  • Tilt (e3) is a shooting method in which the force lens is shaken in the vertical direction, and the lower force is taken upward (from top to bottom), or it is shaken upward along the trunk of the tree to take pictures of branches and leaves. It is used at any time.
  • the roll (e4) is a photographing method for rotating the camera
  • the zoom (e5) is a photographing method for making a large image or a wide size using a zoom lens.
  • the dolly (e6) is a technique for shooting while the camera itself moves
  • the follow (e7) is a technique for capturing a moving subject such as a running person or a vehicle while tracking the movement of the subject.
  • the frame for detecting the video feature amount is limited according to the movement of the camera at the time of video shooting.
  • the presence of the displayed video scene can be improved. Therefore, in this embodiment, as camera motion information, the camera motion power at the time of shooting each video frame Fix Z Pan Z Tilt Z Roll Z Zoom Z Dolly Z follow 3 bit description indicating whether it belongs to the deviation Is contained in the camera cake data.
  • lens work (lens type information; f) used at the time of video shooting, a standard lens is used.
  • the standard lens (fl) is a lens that can capture a natural perspective close to the human visual field.
  • the wide-angle lens (f2) is a lens that can shoot a wide range with a wide angle of view, and is often used for taking landscapes and group photos.
  • the telephoto lens (f3) is a lens that allows you to draw far away subjects and shoot large images. Often used for portrait photography.
  • the macro lens (f4) is a lens that allows close-up photography, and is suitable for close-up photography of flowers and insects.
  • the frame for detecting the video feature amount is limited in accordance with the movement of the camera at the time of video shooting, and the viewing will be described later.
  • the realism of the displayed video scene can be improved. Therefore, in this embodiment, as the lens type information, a 2-bit description indicating whether the type of the camera lens used at the time of shooting each video frame belongs to the deviation of the standard lens Z wide-angle lens Z telephoto lens Z macro lens Is included in the camera work data.
  • the camera work data described above is created based on a script (also called a scenario or a script) and can be generated using a camera work program used at the video shooting site. The work of creating work data can be omitted.
  • the video data making up a continuous moving image can be divided into three layers.
  • the first layer (# 1) constituting the video is a frame.
  • a frame is a physical layer and refers to a single two-dimensional image. Frames are usually obtained at a rate of 30 frames per second.
  • the second layer (# 2) is a shot.
  • a shot is a sequence of frames taken by a single camera.
  • the third layer (# 3) is a scene.
  • a scene is a sequence of shots that have a story-like connection.
  • the above-described camera work data is added in units of video data frames.
  • the camera at the time of shooting is also added.
  • the above-mentioned camera work data may be added only to a frame in which the work situation has changed. This also makes it possible to add camera work data indicating the camera work status at the time of shooting each frame of the video data to the video data.
  • a video receiving apparatus data receiving apparatus that receives broadcast data transmitted from the video transmitting apparatus, displays and reproduces video / audio, and controls the viewing environment illumination at that time will be described. To do.
  • the video receiving apparatus in the present embodiment receives and demodulates broadcast data input from the transmission path, and performs error correction, and the output of the receiving unit 21 Video data and TC (time code) output to the video display device 25, audio data and TC (time code) output to the audio playback device 26, and camera work data as additional information are separated and extracted from the data.
  • Video data and TC time code
  • audio data and TC time code
  • Illumination control data generation unit 24 that detects feature values of audio data and outputs illumination control data (RGB data) based on the detection result to illumination device 27 that illuminates the viewing environment space; and illumination Delay generators 28 and 29 for delaying and outputting video data and audio data by the processing time in the control data generator 24 are provided.
  • the CPU 23 of the present embodiment obtains control data for controlling a video frame and a screen area to be detected by the illumination control data generation unit 24 for detecting feature quantities of the video data. Output.
  • the time code (TC) is information added to indicate the reproduction time information of each of the video data and audio data.
  • the lighting device 27 can be configured by an LED that is installed around the video display device 25 and emits light of, for example, RGB three primary colors having a predetermined hue.
  • the lighting device 27 is not limited to the combination of LEDs emitting a predetermined color as described above, as long as the lighting color and brightness of the surrounding environment of the video display device 25 can be controlled.
  • a color filter, or a combination of a white light bulb, a fluorescent tube and a color filter, or a color lamp can be applied. Also, if there is at least one lighting device 27 installed!
  • reference numeral 31 denotes a scene section detection unit that detects the start point TC and end point TC of the video data and audio data, and various methods including scene change point detection methods are available. Can be used. Note that here, the ability to use the feature value of the audio data in addition to the feature value of the video data for the detection of the scene section is to improve the detection accuracy of the scene change point. Only the feature amount of the data may be detected in the scene section. In addition, when information indicating a scene change point is added to broadcast data, it may be used.
  • [0084] 32 is a field (atmosphere) estimation that estimates the lighting conditions and scene settings (atmosphere) at the shooting site from video data and audio data, and outputs lighting control data for controlling the lighting device 27 according to the estimation results.
  • an estimation method for estimating the state of ambient light at the time of shooting various techniques including known ones can be used.
  • the feature value of the audio data is used in addition to the feature value of the video data to estimate the place (atmosphere) at the time of shooting. This is for the purpose of improvement, and it may be possible to estimate the scene (atmosphere) of the shooting scene using only the characteristic amount of the video data!
  • the color signal and the luminance signal in a predetermined area of the screen can be used as they are, and the color of ambient light at the time of video shooting can be used from these. You may obtain
  • the frame used for detecting the feature amount of the video data and its screen area is determined by control data from the CPU 23.
  • the subject foreground part
  • the video feature amount is detected. Do not use for.
  • frames that have either a telephoto lens or a macro lens are not used to detect video feature quantities because the subject (foreground part) occupies a large area in the screen.
  • the background is likely to change drastically with a series of camera movements.
  • Other than the first frame is not used for detecting the video feature amount. For example, if two or more frames with camera panning are consecutive, the second and subsequent frames are not used for video feature detection. If the above-described camera motion frames are continuous, only the first few predetermined frames may be used to detect the video feature amount.
  • a screen area to be detected for the video feature amount varies depending on camera work at the time of video shooting.
  • the screen area suitable for estimating the color and brightness of ambient light at the time of shooting based on the camera position and angle at the time of shooting of the frame (in the shaded area in FIG. 15). Determined).
  • the screen area suitable for estimating the color and brightness of ambient light at the time of shooting is usually the area at the top of the screen, but the horizontal line that defines the size of the area at the top of the screen is the camera position. It depends on the angle.
  • a screen area suitable for estimating the color and brightness of ambient light at the time of shooting based on the subject size and number at the time of shooting of the frame (Indicated by the shaded area).
  • the screen area suitable for estimating the color and brightness of the ambient light at the time of shooting is an image feature that is more likely to be located in the area where it is desirable to exclude the foreground object.
  • the area to be excluded from the detection target area is determined by the subject size and the number. When the number of subjects is only the background, the entire screen area is the target for video feature detection.
  • each camera of position, angle, subject size, and number of subjects is displayed.
  • the target area for detecting the video feature amount is limited. Specifically, the video feature amount is calculated using only the video data of the screen area obtained by the logical product of the hatched area in FIG. 15 determined by the position and angle and the hatched area in FIG. 16 determined by the subject size and the number of subjects. Trying to detect.
  • the scene section detection unit 31 reads a newly input frame (step S1), and detects whether the frame is a scene start point (change point) from the video feature value and audio feature value of the frame. (Step S2). If the scene start frame is not detected, return to step S1 to read the next frame.
  • the field (atmosphere) estimation unit 32 reads video data and audio data for N frames continuous from the scene start frame (step S3).
  • the estimation target frame used for the field (atmosphere) estimation is determined and extracted from the read N frames.
  • Step S4 it is determined whether or not a field (atmosphere) estimation target frame exists in the read N frame (step S5). If a field (atmosphere) estimation target frame exists, the estimation target frame is selected.
  • Read one frame step S6).
  • the estimation target screen area used for the field (atmosphere) estimation in the read estimation target frame is determined.
  • Step S7 the video data feature quantity in the target area (atmosphere) estimation area is detected, and the field (atmosphere) is estimated (step S8).
  • step S9 it is determined whether or not the above-described field (atmosphere) estimation processing has been completed for all the field (atmosphere) estimation target frames (step S9), and all the fields (atmosphere) are estimated.
  • the target frame When the field (atmosphere) estimation process is complete, calculate the average value of the field (atmosphere) estimation results per frame (step S10) and generate lighting control data (RGB data) corresponding to this. (Step S11).
  • the detection of the audio data feature amount is performed over the above-described N frame period, and is used for the place (atmosphere) estimation process together with the video data feature amount calculated as described above.
  • step S5 when it is determined that there is no field (atmosphere) estimation target frame among the N frames read in step S5! Generate 'output lighting control data based on default values (step Sl l).
  • step Sl l when there is no frame (atmosphere) estimation target frame, for example, it is the power that illuminates the slightly weak white illumination light to the viewing environment space. Output and maintain the color and intensity of the viewing environment illumination light.
  • step S13 it is determined whether or not the processing is finished. For example, when video data is finished or when stop of viewing environment lighting control is instructed, scene section detection and The process of field (atmosphere) estimation ends. Otherwise, the process returns to step S1 to obtain a new frame.
  • illumination control data is generated based on the feature amounts of the video data and the audio data included in the scene start point N frame, and this illumination control data is then used as the scene. Since the output is performed until a change is detected, the color and intensity of the viewing environment illumination light can be switched in units of scenes, and the color and intensity of the viewing environment illumination light can be kept substantially constant in the same scene.
  • the video data and audio data separated by the data separation unit 22 are delayed by the delay generation units 28 and 29 for the time required for the estimation process by the field (atmosphere) estimation unit 32. Then, since it is played back by the video display device 25 and the audio playback device 26, the color and intensity of the viewing environment illumination light can be appropriately controlled in accordance with the playback timing of the video Z audio.
  • the video data feature quantity is detected only for frame A.
  • the video feature value is calculated using the image data of the screen area where the area shown by the diagonal lines in Fig. 15 (c) and the area shown by the diagonal lines in Fig. 16 (a) overlap. To detect.
  • the video data feature quantity is detected only for frame A.
  • the video feature value is calculated using the video data of the screen area where the area shown by the diagonal lines in Fig. 15 (e) and the area shown by the diagonal lines in Fig. 16 (a) overlap. To detect.
  • the video data feature is not detected for frames D and after that are switched to the telephoto lens and become a bust shot, and frames A to D-1 (the frames immediately before frame D are detected). Video data feature amounts are detected only for frames.
  • frames A to D-1 the video data of the screen area where the area shown by the oblique lines in FIG. 15 (e) and the area shown by the oblique lines in FIG. Detect feature values.
  • the lighting conditions (atmosphere) at the time of shooting each scene are appropriately reproduced using various information contents input as camera work data together with video data. It is possible to obtain the illumination control data as much as possible and control the illumination light of the illumination device 27. Therefore, it is possible to realize a natural and uncomfortable viewing environment illumination that is not affected by the video content of the foreground part (subject) or the like, and it is possible to increase a sense of reality when viewing the video. In addition, since the lighting control data is switched and controlled on a scene-by-scene basis, it is possible to prevent viewing environment lighting from changing drastically in the same scene and impairing the sense of reality.
  • the screen area patterns shown in FIGS. 15 and 16 can be set as appropriate.
  • the histogram distribution (frequency distribution) of the video data in the field (atmosphere) estimation screen area where the screen area pattern force is obtained is detected, and video feature quantities are detected only from video data with a high distribution ratio.
  • camera work data related to the camera work status at the time of shooting each frame is transmitted and received. Therefore, a desired frame can be searched using this camera work data.
  • Various functions other than the control of viewing environment lighting, such as editing, can be realized.
  • the power described for the case where the camera work data is multiplexed and transmitted with the broadcast data is transmitted.
  • the camera work data is added to the broadcast data.
  • it is possible to realize an optimal viewing environment according to the lighting conditions at the time of video shooting by transmitting and receiving camera work data corresponding to the video data to be displayed from an external server device. This will be described below.
  • FIG. 18 is a block diagram showing a schematic configuration of a main part of the external server device in the viewing environment control system of the present embodiment.
  • the external server device (data transmission device) in the present embodiment is as shown in FIG.
  • a receiving unit 41 for receiving a request for transmitting camera work data relating to specific video data (content) from the video receiving device (data receiving device) side, and camera work data for each video data (content) are stored.
  • the data storage unit 42 and the transmission unit 43 that transmits the camera work data that has received the transmission request to the requesting video reception device (data reception device).
  • the camera work data stored in the data storage unit 42 of the present embodiment is
  • Fig. 19 it is described in a table format in association with the start time code (TC) of a frame that has a change in the camera work status at the time of shooting.
  • the camera work data (a) to (f) corresponding to is transmitted from the transmitter 43 to the requesting video receiver together with the TC (time code) indicating the frame that has changed in the camera work status during video recording. .
  • the camera work data may be described for all the frames constituting the video data. However, as shown in Fig. 19, only the frames in which the camera work status at the time of shooting changes. Thus, by describing the camera work data, the amount of data stored in the data storage unit 42 can be reduced.
  • the video receiving apparatus receives and demodulates broadcast data input from a transmission path, and performs error correction, and receives data from output data of the receiving unit 51.
  • Video data to be output to the video display device 25 Audio data to be output to the audio playback device 26
  • a data separation unit 52 that separates and extracts each of them, and a transmission unit 54 that sends a camera work data transmission request corresponding to video data (content) to be displayed to an external server device (data transmission device) via a communication network.
  • a receiving unit 55 that receives the camera work data requested to be transmitted from an external server device via a communication network.
  • the CPU 53 stores the camera work data received by the receiving unit 55, and outputs control data obtained from the camera work data of the corresponding frame in synchronization with the TC (time code) of the video data.
  • Lighting control data generation unit that outputs lighting control data (RGB data) corresponding to the frame and video area image feature amount determined according to the output control data from the CPU 53 to the lighting device 27 that illuminates the viewing environment space And 24.
  • the CPU 53 receives the start time code of each frame of the camera work data storage table received from the external server device and stored therein, and the time code of the video data separated by the data separation unit 52. Compare and read the corresponding camera ark data when they match, and generate and output the control data for limiting the frame and screen area adapted to the field (atmosphere) estimation of this camera work data force display video scene Can do.
  • camera work data corresponding to the display video data is obtained from the external server device, and this camera work data is obtained.
  • the viewing environment control apparatus, method, and viewing environment control system of the present invention can be realized by various embodiments without departing from the gist of the present invention described above.
  • the viewing environment control device may be configured to control an external lighting device based on various information included in input video data that may be provided in the video display device.
  • the above-described camera work data is not limited to being acquired from broadcast data or acquired from an external server device.
  • an external device such as a DVD player or a Blu-ray Disc player
  • When displaying the reproduced video information read the camera work data added in the media and use it.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)

Abstract

　表示映像の撮影時におけるカメラワーク状況に応じた、最適な視聴環境の照明制御を実現することが可能な視聴環境制御システムを提供する。データ送信装置は、映像データの各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを前記映像データに多重するデータ多重部と、カメラワークデータが多重された映像データを変調して送出する送信部とを設けて構成される。データ受信装置は、受信した映像データからカメラワークデータを分離するデータ分離部２２と、該カメラワークデータに応じて、映像データの特徴量を検出し、これに基づいて照明装置２７の照明光を制御するＣＰＵ２３、照明制御データ生成部２４とを設けて構成される。

Description

明 細 書
データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御 システム、及び視聴環境制御方法
技術分野
[0001] 本発明は、映像表示装置に映像を表示する際に、その映像の撮影シーンの雰囲 気や場面設定に適応させて、映像表示装置の周囲の照明光を制御することが可能 なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、 及び視聴環境制御方法に関するものである。
背景技術
[0002] 例えば、テレビジョン受像機のような映像表示装置により映像表示を行う場合や、プ ロジェクタ装置を用いて映像を投影表示させるような場合に、その周囲の照明光を表 示映像に合わせて調整することにより臨場感を高めるなどの視聴演出効果を付与す るようにした技術が知られて！/、る。
[0003] 例えば、特開平 2— 158094号公報には、カラーテレビの表示映像の色信号 (RG B)と輝度信号 (Y)とから、フレーム毎に光源の三原色の混光照度比を算出し、映像 と連動させて調光制御を行うようにした光色可変形照明装置が開示されている。この 光色可変形照明装置は、カラーテレビの表示映像力 色信号 (RGB)と輝度信号 (Y )とを取り出し、その色信号と輝度信号とから、光源に使用する三色光 (赤色光，緑色 光，青色光)の適正調光照度比を算出し、その照度比に従って三色光の照度を設定 し、三色光を混光して照明光として出力している。
[0004] また、例えば特開平 2— 253503号公報には、テレビの映像を複数に分割し、対応 する分割部の平均的な色相を検出することによって、分割部の周囲の照明制御を行 う映像演出照明装置が開示されている。この映像演出照明装置は、カラーテレビの 設置場所の周囲を照明する照明手段を備えていて、カラーテレビに表示される映像 を複数に分割し、照明手段によって照明される部分に対応する映像の分割部の平均 的な色相を検出し、その検出した色相に基づいて照明手段を制御している。
[0005] さらに、例えば特開平 3— 184203号公報には、単に画像表示装置の画面全体の 平均色度及び平均輝度を求めるのではなぐ画像表示装置の画面に映し出された 画像力 人の顔などの肌色部分の画素を取り除いた残りの部分を背景部と考え、そ の背景部の各画素の RGB信号及び輝度信号だけを取り出して平均色度及び平均 輝度を求めて、画像表示装置の背面の壁面の色度及び輝度が、画面全体、或いは 人の肌色を除く背景部の平均色度及び平均輝度と同一になるように、照明を制御す る方法が開示されている。
発明の開示
発明が解決しょうとする課題
[0006] 上述した従来の視聴環境制御装置では、表示すべき映像信号における 1フレーム
(画面)毎の特徴量 (色信号及び輝度信号)を検出し、照明光を制御しているため、 表示映像内容によっては該映像の場 (雰囲気）に即した照明光を生成することが困 難である。例えば、映像信号に含まれる被写体人物の服装や被写体の背景にある人 ェ物などの影響を受けて、不適切な色の照明光を周囲に照射してしまうと、シーン毎 の雰囲気を再現したり、シーン毎の臨場感を維持することができない。すなわち、映 像シーンの撮影時における照明状況力 大きく逸脱した視聴環境照明は却って臨場 感を損なうことになる。
[0007] 上記特開平 3— 184203号公報のものは、肌色部分の画素を取り除いた残りの部 分を背景部として、この背景部の各画素の特徴量 (色信号及び輝度信号)に基づき、 視聴環境空間の照明光を制御しているが、例えば背景部に地面や建築物が多く占 める映像の場合、この影響を受けて不適切な色の照明光を周囲に照射してしまうこと になるので、却って臨場感や雰囲気を損なってしまうことになる。すなわち、表示映像 の撮影時における照明状況 (雰囲気)を映像信号力 推定するには、肌色部分の画 素を取り除くだけでは不十分であり、撮影時における照明状況 (雰囲気)を表わす背 景画素のみを適切に抽出して用いる必要がある。
[0008] また、上記従来の技術においては、映像信号の輝度や色相のフレーム毎の変化に 応じて照明光の状態が変化してしまい、特にフレーム間における輝度や色相の変化 の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる 違和感を感じるという問題が生じる。さらに、撮影時の照明状況に変化のない 1つの シーンの表示中に、フレーム毎の輝度や色相の変化に応じて照明光が変動すること は、シーン毎の雰囲気を逆に阻害して好ましくない。
[0009] 図 1は、上記従来の技術による照明制御の問題点の一例を説明するための図であ り、連続する動画像の一部を示すものである。図 1の (A)に示す例では、晴天の日中 の屋外と!/、う場面設定で撮影された映像のシーンが作成されて!、る。このシーンは、 カメラが切り替わることなく一連のカメラワークによる撮影によって得られた映像力もな る。この例では、カメラの上方力もカメラ近傍に向力つてスキーヤーが滑降してくる映 像が撮影されている。スキーヤーは赤い服を着ており、空は晴天である。
[0010] すなわち、この映像シーンは、図 1の（B)〖こ示すように、カメラポジション（a)、アング ル (b)、被写体の数 (d)、カメラの動き（e)、カメラレンズ種別 (f)のそれぞれは、ロー ポジション、ローアングル、ワンショット（1S)、フィックス、標準レンズという一定のカメ ラワーク状況により撮影されたものである。
[0011] そして、このシーンの映像は、その初期のフレーム（フレーム A)では背景の青空の 領域が大きぐスキーヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の 領域が徐々に大きくなつてくる。つまりシーン内の映像の進行に伴って、各フレーム を構成する色の比率が変化してくる。すなわち、被写体サイズ (c)は、フレーム A〜D がログショットで、フレーム Eがフルフィギュアとなって!/、る。
[0012] このような場合、各フレーム毎の色度や輝度を使用して照明光を制御すると、青色 が強い照明光力 赤い照明光に変化していくことになる。すなわち、一定の自然光照 明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮され ない照明光が生成 '照射されるため、却ってそのシーンの雰囲気を阻害して視聴者 に違和感を与えることになる。また、一つの場面設定 (雰囲気）が連続する一区切りの シーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴 者に違和感を与えることになる。
[0013] 図 2は、上記従来の技術による照明制御の問題点の他の例を説明するための図で ある。図 2の (A)に示す例では、月夜の屋外という場面設定で撮影された映像のシー ンが作成されている。このシーンは、カメラワークが異なる 3つのショット（1, 2, 3)によ り構成されている。ショット 1では、対象である亡霊をカメラがロングショットで撮影して いる。そしてショット 2に切り替わると、その亡霊がバストショットで撮影されている。ショ ット 3では、再度ショット 1のカメラ位置に戻っている。これらのショットは、カメラワーク は異なっていても、一つの雰囲気が連続する一区切りのシーンとして意図されて構 成されている。
[0014] すなわち、このシーンの撮影に用いられているカメラワーク状況は、図 2の（B)に示 すように、カメラポジション (a)、アングル (b)、カメラの動き (e)、カメラレンズ種別 (f) のそれぞれが、 目高、水平アングル、フィックス、標準レンズで、被写体のサイズ (c)、 被写体の数（d)力 フレーム A〜B (ショット 1)及びフレーム E〜F (ショット 3)はロング ショット、ツーショット（2S)、フレーム C〜D (ショット 2)はバストショット、ワンショット（1S )である。
[0015] このような場合、ショット 1では、月夜の比較的暗い映像が連続しているので、これら の映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光 となる。そしてショット 1がショット 2に切り替わると、バストショットで撮影された亡霊は比 較的明るい映像となる。このときに上記従来の技術によりフレーム毎に照明光を制御 すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる。 そしてまたショット 3に切り替わると、ショット 1と同様の暗い照明光に戻る。
[0016] すなわち、一定の照明状況の下で撮影された一連の映像であるにもかかわらず、こ の撮影時の照明状況が考慮されない照明光が生成 '照射されるため、却ってそのシ ーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定 (雰囲気）が連続する一区切りのシーン内で照明光が暗くなつたり明るくなつたりする と、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
[0017] 図 3は、上記従来の技術による照明制御の問題点の他の例を説明するための図で ある。図 3の (A)に示す例では、晴天の日中の屋外という場面設定で撮影された映 像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラ ワークによる撮影によって得られた映像力もなる力 ズーム撮影により被写体 (前景） である茶色 、犬がロングショットからアップショットへ序々に変化して 、る。
[0018] すなわち、このシーンの撮影に用いられているカメラワーク状況は、図 3の（B)に示 すように、カメラポジション (a)、アングル (b)、被写体の数 (d)、カメラの動き（e)のそ れぞれが、ノ、ィポジション、ハイアングル、ワンショット（1S)、ズームで、被写体サイズ (c) 1S フレーム A〜Bはロングショット、フレーム Cはフノレフィギュア、フレーム Dはノ ストショット、フレーム Eはアップショット、カメラレンズ種別（f)力 フレーム Aは標準レ ンズ、フレーム B〜Eは望遠レンズである。
[0019] これらの映像の各フレームの輝度や色度に従って照明光を制御すると、緑色が強 い照明光力も茶色い照明光に変化していくことになる。すなわち、一定の自然光照 明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮され ない照明光が生成 '照射されるため、却ってそのシーンの雰囲気を阻害して視聴者 に違和感を与えることになる。また、一つの場面設定 (雰囲気）が連続する一区切りの シーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴 者に違和感を与えることになる。
[0020] 図 4は、上記従来の技術による照明制御の問題点の他の例を説明するための図で ある。図 4の (A)に示す例では、晴天の日中の屋外という場面設定で撮影された映 像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラ ワークによる撮影によって得られた映像力もなる力 ズーム撮影により被写体 (前景） である桃色の服を着た人物がロングショット（フレーム A)力 バストショット（フレーム E )へ徐々に変化している。
[0021] すなわち、このシーンの撮影に用いられているカメラワーク状況は、図 4の（B)に示 すように、カメラポジション (a)、アングル (b)、被写体の数 (d)、カメラの動き（e)のそ れぞれが、 目高、水平アングル、ワンショット（1S)、ズームで、被写体サイズ (c)力 フ レーム A〜Bはロングショット、フレーム Cはフノレフィギュア、フレーム Dはウェストショッ ト、フレーム Eはバストショット、カメラレンズ種別（f) 1S フレーム Aは標準レンズ、フレ ーム B以降は望遠レンズである。
[0022] これらの映像の各フレームの輝度や色度に従って照明光を制御すると、青色が強 い照明光力 桃色の照明光に変化していくことになる。すなわち、一定の自然光照 明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮され ない照明光が生成 '照射されるため、却ってそのシーンの雰囲気を阻害して視聴者 に違和感を与えることになる。また、一つの場面設定 (雰囲気）が連続する一区切りの シーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴 者に違和感を与えることになる。
[0023] 図 5は、上記従来の技術による照明制御の問題点の他の例を説明するための図で ある。図 5の (A)に示す例では、晴天の日中の屋外という場面設定で撮影された映 像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラ ワークによる撮影によって得られた映像カゝらなる力 カメラレンズを切り替えて撮影す ることにより、被写体 (前景)である桃色の服を着た人物がロングショットからバストショ ットに変化している。
[0024] すなわち、このシーンの撮影に用いられているカメラワーク状況は、図 5の（B)に示 すように、カメラポジション (a)、アングル (b)、被写体の数 (d)、カメラの動き（e)のそ れぞれが、目高、水平アングル、ワンショット（1S)、フィックスで、被写体サイズ (c)が 、フレーム A〜Cはロングショット、フレーム D〜Eはバストショット、カメラレンズ種別（f) 1S フレーム A〜Cは標準レンズ、フレーム D以降は望遠レンズである。
[0025] これらの映像の各フレームの輝度や色度に従って照明光を制御すると、青色が強 い照明光から突然、桃色の照明光に変化することになる。すなわち、一定の自然光 照明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮さ れない照明光が生成 *照射されるため、却ってそのシーンの雰囲気を阻害して視聴 者に違和感を与えることになる。また、一つの場面設定 (雰囲気）が連続する一区切 りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して 視聴者に違和感を与えることになる。
[0026] 本発明は、上記課題に鑑みてなされたものであり、表示映像の撮影時カメラワーク 状況に応じた、最適な視聴環境の照明制御を実現することが可能なデータ送信装置 、データ送信方法、視聴環境制御装置、視聴環境制御システム及び視聴環境制御 方法を提供することを目的とする。
課題を解決するための手段
[0027] 本願の第 1の発明は、 1以上のフレーム力 構成される映像データを送信するデー タ送信装置において、前記映像データの各フレームの撮影時におけるカメラワーク 状況を示すカメラワークデータを、前記映像データに付加して送信することを特徴と する。
[0028] 本願の第 2の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影時に おけるカメラポジションを表わす情報を含むことを特徴とする。
[0029] 本願の第 3の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影時に おけるカメラアングルを表わす情報を含むことを特徴とする。
[0030] 本願の第 4の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影時に おける被写体のサイズを表わす情報を含むことを特徴とする。
[0031] 本願の第 5の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影時に おける被写体の数を表わす情報を含むことを特徴とする。
[0032] 本願の第 6の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影時に おけるカメラの動きを表わす情報を含むことを特徴とする。
[0033] 本願の第 7の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影に用 いられたカメラレンズの種別を表わす情報を含むことを特徴とする。
[0034] 本願の第 8の発明は、外部からの要求を受けて、映像データを構成する各フレーム の撮影時におけるカメラワーク状況を示すカメラワークデータを送信するデータ送信 装置であって、前記カメラワークデータを、前記映像データを構成する各フレームの 開始タイミングとともに送信することを特徴とする。
[0035] 本願の第 9の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影時に おけるカメラポジションを表わす情報を含むことを特徴とする。
[0036] 本願の第 10の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影時 におけるカメラアングルを表わす情報を含むことを特徴とする。
[0037] 本願の第 11の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影時 における被写体のサイズを表わす情報を含むことを特徴とする。
[0038] 本願の第 12の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影時 における被写体の数を表わす情報を含むことを特徴とする。
[0039] 本願の第 13の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影時 におけるカメラの動きを表わす情報を含むことを特徴とする。
[0040] 本願の第 14の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影に 用いられたカメラレンズの種別を表わす情報を含むことを特徴とする。
[0041] 本願の第 15の発明は、表示装置に表示すべき映像データの特徴量に基づいて、 照明装置の照明光を制御する視聴環境制御装置であって、前記映像データを構成 する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを受信 する受信手段と、前記カメラワークデータに応じて、前記照明装置の照明光を制御す る制御手段とを備えたことを特徴とする。
[0042] 本願の第 16の発明は、前記制御手段が、前記映像データを構成するシーン単位 で前記照明装置の照明光を切替制御することを特徴とする。
[0043] 本願の第 17の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影時 におけるカメラポジションを表わす情報を含むことを特徴とする。
[0044] 本願の第 18の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影時 におけるカメラアングルを表わす情報を含むことを特徴とする。
[0045] 本願の第 19の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影時 における被写体のサイズを表わす情報を含むことを特徴とする。
[0046] 本願の第 20の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影時 における被写体の数を表わす情報を含むことを特徴とする。
[0047] 本願の第 21の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影時 におけるカメラの動きを表わす情報を含むことを特徴とする。
[0048] 本願の第 22の発明は、前記カメラワークデータ力 少なくとも各フレームの撮影に 用いられたカメラレンズの種別を表わす情報を含むことを特徴とする。
[0049] 本願の第 23の発明は、前記制御手段が、前記カメラワークデータに応じて、前記 映像データの特徴量を検出する対象フレームを制限することを特徴とする。
[0050] 本願の第 24の発明は、前記制御手段が、前記カメラワークデータに応じて、前記 映像データの特徴量を検出する画面領域を制限することを特徴とする。
[0051] 本願の第 25の発明は、上述の視聴環境制御装置と、該視聴環境制御装置によつ て視聴環境照明光を制御される照明装置とを備えた視聴環境制御システムであるこ とを特徴とする。
[0052] 本願の第 26の発明は、 1以上のフレームから構成される映像データを送信するデ ータ送信方法にぉ 、て、前記映像データの各フレームの撮影時におけるカメラヮー ク状況を示すカメラワークデータを、前記映像データに付加して送信することを特徴 とする。
[0053] 本願の第 27の発明は、外部からの要求を受けて、映像データを構成する各フレー ムの撮影時におけるカメラワーク状況を示すカメラワークデータを送信するデータ送 信方法であって、前記カメラワークデータを、前記映像データを構成する各フレーム の開始タイミングとともに送信することを特徴とする。
[0054] 本願の第 28の発明は、表示装置に表示すべき映像データと、該映像データを構 成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータとを受 信し、前記映像データと前記カメラワークデータとに基づいて、前記表示装置の周辺 に設置された照明装置の照明光を制御することを特徴とする。
発明の効果
[0055] 本発明によれば、映像の撮影時における場 (雰囲気）に応じた最適な視聴環境を 実現することが可能となる。
図面の簡単な説明
[0056] [図 1]従来技術による照明変動の問題点の一例を説明するための図である。
[図 2]従来技術による照明変動の問題点の他の例を説明するための図である。
[図 3]従来技術による照明変動の問題点の他の例を説明するための図である。
[図 4]従来技術による照明変動の問題点の他の例を説明するための図である。
[図 5]従来技術による照明変動の問題点の他の例を説明するための図である。
[図 6]本発明の第 1実施形態に係る視聴環境制御システムにおける映像送信装置の 要部概略構成を示すブロック図である。
[図 7]本発明の第 1実施形態に係る視聴環境制御システムにおける映像送信装置の 出力ビットストリームの例を示す説明図である。
[図 8]本発明の第 1実施形態に係る視聴環境制御システムにおけるカメラワークデー タの一例を示す説明図である。
[図 9]カメラポジション及びカメラアングルを説明するための説明図である。
[図 10]被写体サイズ (画面サイズ)を説明するための説明図である。 [図 11]被写体数を説明するための説明図である。
[図 12]映像の構成要素を説明するための説明図である。
[図 13]本発明の第 1実施形態に係る視聴環境制御システムにおける映像受信装置 の要部概略構成を示すブロック図である。
[図 14]本発明の第 1実施形態に係る視聴環境制御システムにおける照明制御データ 生成部の構成を示すブロック図である。
[図 15]本発明の第 1実施形態に係る視聴環境制御システムにおけるポジション及び アングルによって決まる場 (雰囲気)推定対象領域の一例を示す説明図である。
[図 16]本発明の第 1実施形態に係る視聴環境制御システムにおける被写体サイズ及 び被写体数によって決まる場 (雰囲気)推定対象領域の一例を示す説明図である。
[図 17]本発明の第 1実施形態に係る視聴環境制御システムにおける照明制御データ 生成部の動作を示すフローチャートである。
[図 18]本発明の第 2実施形態に係る視聴環境制御システムにおける外部サーバ装 置の要部概略構成を示すブロック図である。
[図 19]本発明の第 2実施形態に係る視聴環境制御システムにおけるカメラワークデ ータ格納テーブルの一例を示す説明図である。
[図 20]本発明の第 2実施形態に係る視聴環境制御システムにおける映像受信装置 の要部概略構成を示すブロック図である。
符号の説明
[0057] 1…データ多重部、 2…送信部、 21, 51…受信部、 22, 52· ··データ分離部、 23, 53 •••CPU, 24· ··照明制御データ生成部、 25· ··映像表示装置、 26· ··音声再生装置、 27…照明装置、 28, 29…ディレイ発生部、 31…シーン区間検出部、 32…場 (雰囲 気)推定部、 41· ··受信部、 42…データ格納部、 43…送信部、 54…送信部、 55· ··受 信部。
発明を実施するための最良の形態
[0058] 図 6は、本発明の一実施形態に係る視聴環境制御システムにおける映像送信装置 の要部概略構成を示すブロック図で、本実施形態における映像送信装置 (データ送 信装置）は、図 6に示すように、映像データ、音声データ、付加情報として供給された カメラワークデータのそれぞれをトランスポートストリームパケット（Transport Stream pa cket； TSP)形式に分割して多重するデータ多重部 1と、データ多重部 1の出力デー タに対して誤り訂正符号を付加する等した上で変調を施し、放送データとして伝送路 に送出する送信部 2とを備えて 、る。
[0059] 図 7は、 MPEG2 (Moving Picture Experts Group 2)—Systemsで規定されたトラン スポートストリームパケット (TSP)の構成の概略を示す説明図であり、 11は TSPのデ ータ内容その他の MPEG2— Systemsで規定された情報が記述されたヘッダ、 12は 拡張ヘッダ (ァダブテーシヨン'フィールド)であって送信者が決めた情報を記述でき る部分、 13は映像、音声などのデータ力 構成されるペイロードである。本実施形態 では、例えば、映像データ及び音声データをペイロード 13で伝送し、付加的な情報 であるカメラワークデータなどを拡張ヘッダ (ァダプテーシヨン'フィールド） 12で伝送 することが可能に構成されている。なお、映像データ、音声データ、カメラワークデー タのそれぞれの異なるデータストリームを多重して伝送するようにしてもょ 、。
[0060] 図 8は、映像データの各フレームの撮影時におけるカメラワーク状況を示すカメラヮ ークデータを説明するための図である。図 8に示す本実施形態では、カメラワークデ ータとして、各フレームの撮影時におけるカメラポジションを表わすポジション情報 (a )、各フレームの撮影時におけるカメラアングルを表わすアングル情報 (b)、各フレー ムの撮影時における被写体のサイズを表わす被写体サイズ情報 (c)、各フレームの 撮影時における被写体の数を表わす被写体数情報 (d)、各フレームの撮影時にお けるカメラの動きを表わすカメラの動き情報 (e)、各フレームの撮影に用いられたカメ ラレンズの種別を表わすレンズ種別情報 (f)を有して 、る。これらの情報は 、ずれも、 各フレームの撮影時における照明環境を推定し、各シーンの雰囲気や臨場感を照 明光によって演出するために有用な情報である。以下、それぞれの情報について説 明する。
[0061] まず、映像撮影時のカメラのポジション（a)として、（al)ハイポジション、（a2)目高、
(a3)ローポジションに分類される。図 9の（A)〖こ示すように、ハイポジション（al)は、 後述するロングショットに活用されることが多いポジションで、広大な広がりを表現した り、人垣越しなどで用いられる高い位置である。 目高（a2)は、通常のポジションであり 、被写体 (O)の目の高さの位置である。ローポジション (a3)は、子供の目線などの低 い位置である。
[0062] 屋外撮影の場合、撮影画面内における水平線 (地平線)の高さは、ノ、ィポジション では低ぐローポジションでは高い位置になる傾向があるため、映像撮影時における カメラポジションに適応して、映像特徴量を検出する画面領域を制限し、後述する視 聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができ る。従って、本実施形態では、ポジション情報として、各映像フレームの撮影時にお けるカメラポジションが、ハイポジション Z目高 Zローポジションのいずれに属する力 を示す 2ビットの記述を、カメラワークデータの中に含有して 、る。
[0063] また、映像撮影時のカメラのアングル (b)として、（bl)ハイアングル (俯瞰）、（b2)水 平アングル（目線）、（b3)ローアングル (あおり）に分類される。図 9の（B)に示すように 、 ノ、ィアングル (bl)は、下方を見下ろす角度での撮影方法であり、全体の客観的な 状況説明などで用いられる。水平アングル (b2)は、カメラを水平方向に向けた、 自然 で標準的なアングルである。ローアングル (b3)は、上方を見上げる角度での撮影方 法であり、威圧的、優位、勝利などを表現する際に用いられる。
[0064] 屋外撮影の場合、撮影画面内における水平線 (地平線)の高さは、ハイアングルで は高ぐローアングルでは低い位置になる傾向があるため、映像撮影時におけるカメ ラアングルに適応して、映像特徴量を検出する画面領域を制限し、後述する視聴環 境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従 つて、本実施形態では、アングル情報として、各映像フレームの撮影時におけるカメ ラアングルが、ハイアングル (俯瞰) Z水平アングル (目線) Zローアングル (あおり）の V、ずれに属するかを示す 2ビットの記述を、カメラワークデータの中に含有して 、る。
[0065] さらに、映像撮影時の被写体 (画面)サイズ (c)として、ロングショット (cl)、フルフィ ギユア（c2)、 ニーショット (c3)、ウェストショット（c4)、バストショット（c5)、アップショッ ト（c6)、クローズアップショット（c7)、ビッグクローズアップショット（c8)に分類される。 図 10に示すように、ロングショット（L.S. : cl)は、スタジオ風景や野外の広角ショット であり、全体の位置関係や、ストーリーの始まりと終わりに用いられることが多い。フル フィギュア (F.F. : c2)は、撮影画面内に被写体の全身（立ったときの足先力も頭まで の全身像、座ったときの全身像)を納めたサイズとなる。ニーショット (K.S. : c3)は、撮 影画面内に被写体の膝上力 頭までを入れたサイズとなる。
[0066] ウェストショット (W.S. : c4)は、撮影画面内に被写体の腰か腰上力 頭までを入れ た半身像のサイズとなり、ニュース、話し手の基本的ショットに用いられ、テロップを入 れ易いのが特徴である。バストショット（B.S. : c5)は、撮影画面内に被写体の胸か胸 上力 頭までを入れた上半身のサイズとなり、これは人物像で最も多く使われるサイ ズである。アップショット (U.S. : c6)は、被写体の表情、盛り上げを表現するショットで ある。クローズアップショット（C.U. : c7)は、アップを強調するショットであり、被写体の 頭 (髪の毛）が切れる程度のサイズとなる。ビッグクローズアップショット（B.C.U.： c8) は、クローズアップを強調する際に用いられる。
[0067] このように、映像撮影時の被写体サイズ (画面サイズ）によって、背景の領域面積は 変わるので、映像撮影時における被写体サイズ (画面サイズ）に適応して、映像特徴 量を検出するフレームを制限したり、映像特徴量を検出する画面領域を制限し、後 述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させるこ とができる。従って、本実施形態では、被写体サイズ情報として、各映像フレームの 撮影時における被写体のサイズ力 ロングショット Zフルフィギュア 一ショット Zゥ アップショットのいずれに属するかを示す 3ビットの記述を、カメラワークデータの中に 含有している。
[0068] また、映像撮影時の被写体の数 (d)として、ワンショット（1S： dl)、ツーショット（2S： d2)、スリーショット（3S : d3)、グループショット（GS : d4)、風景（背景）のみ (d5)に分 類される。図 11に示すように、ワンショット (dl)は前景となる被写体が 1人（1つ）のみ 、ツーショット (d2)は前景となる被写体が 2人（2つ）、スリーショット（d3)は前景となる 被写体が 3人（3つ）、グループショット（d4)は前景となる被写体力 以上の多数であ る場合のショットである。
[0069] このように、映像撮影時の被写体数によって、背景の領域面積は変わるので、映像 撮影時における被写体数に適応して、映像特徴量を検出する画面領域を制限し、後 述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させるこ とができる。従って、本実施形態では、被写体数情報として、各映像フレームの撮影 時における被写体の数力 ワンショット（IS) Zツーショット（2S) Zスリーショット（3S) Zグループショット (GS) Z風景 (背景）のみの 、ずれに属するかを示す 3ビットの記 述を、カメラワークデータの中に含有している。
[0070] さらに、映像撮影時のカメラの動き（e)として、フィックス (el)、パン (e2)、チル He3 )、ロール（e4)、ズーム（e5)、ドリー（e6)、フォロー（e7)に分類される。フィックス (el )は、画角を変えるズーム操作などは行わないで、カメラ位置も動力さない撮影方法 である。パン (e2)は、カメラを水平方向に振って、周囲を見せる撮影方法であり、状 況説明や左右のものの位置関係を見せたいときなどに使用される。チルト (e3)は、力 メラを垂直方向に振る撮影方法であり、下力 上 (上から下）に向かって撮ったり、木 の幹に沿って上に振っていき、枝や葉を撮るようなときに利用される。
[0071] ロール (e4)は、カメラを回転させる撮影方法、ズーム（e5)は、ズームレンズによつ て大写しや広いサイズにする撮影方法である。ドリー (e6)は、カメラ自体が動きなが ら撮影する手法、フォロー（e7)は、走る人や乗り物など移動する被写体を撮る場合 に、被写体の動きを追 、かけながら撮影する手法である。
[0072] このように、映像撮影時のカメラの動きによって、急激に背景の領域面積や特徴量 が変わるので、映像撮影時におけるカメラの動きに適応して、映像特徴量を検出する フレームを制限し、後述する視聴環境照明を制御することにより、表示映像シーンの 臨場感を向上させることができる。従って、本実施形態では、カメラの動き情報として 、各映像フレームの撮影時におけるカメラの動き力 フィックス Zパン Zチルト Zロー ル Zズーム Zドリー Zフォローの 、ずれに属するかを示す 3ビットの記述を、カメラヮ ークデータの中に含有して 、る。
[0073] また、映像撮影時に用いられるレンズワーク（レンズ種別情報; f)として、標準レンズ
(f 1)、広角レンズ (f 2)、望遠レンズ (f 3)、マクロレンズ (f4)に分類される。標準レン ズ (fl)は、人間の視野に近ぐ自然な遠近感の撮影が可能なレンズである。広角レ ンズ (f2)は、画角が広ぐ広い範囲を撮影することが可能なレンズであり、風景や集 合写真の撮影などによく利用される。望遠レンズ (f3)は、遠くの被写体を引き寄せて 大きく撮影することが可能なレンズであり、実際に近づけないスポーツのワンシーン、 ポートレイトの撮影などによく利用される。マクロレンズ (f4)は、接近撮影が可能なレ ンズであり、草花や昆虫のクローズアップ撮影に適している。
[0074] このように、映像撮影時のレンズワークによって、背景の領域面積が変わるので、映 像撮影時におけるカメラの動きに適応して、映像特徴量を検出するフレームを制限し 、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させ ることができる。従って、本実施形態では、レンズ種別情報として、各映像フレームの 撮影時に用いられたカメラレンズの種別が、標準レンズ Z広角レンズ Z望遠レンズ Z マクロレンズの 、ずれに属するかを示す 2ビットの記述を、カメラワークデータの中に 含有している。
[0075] なお、カメラワークデータに含まれる各種情報は上述したものに限定されず、もっと 詳細な情報を追加するなどしてもよいことは明らかである。また、上述したカメラワーク データは、台本 (シナリオもしくは脚本とも呼ぶ）に基づいて作成され、映像撮影現場 で用いられるカメラワークプログラムなどを利用して生成することができ、この場合、新 たにカメラワークデータを作成する作業を省くことが可能となる。
[0076] ところで、シーンやショットを含む映像の構成について、図 12を参照して説明する。
連続する動画像を構成する映像データは、図 12に示すように、 3層（レイヤ)構成に 分けて考えることができる。映像 (Video)を構成する第 1レイヤ（# 1)は、フレーム (Fr ame)である。フレームは物理的なレイヤであり、単一の 2次元画像を指す。フレーム は、通常、毎秒 30フレームのレートで得られる。第 2レイヤ（# 2)はショット（Shot)で ある。ショットは単一のカメラにより撮影されたフレーム列である。そして、第 3レイヤ（ # 3)がシーン（Scene)である。シーンはストーリー的なつながりを有するショット列で ある。
[0077] ここでは、映像データのフレーム単位で、上述したカメラワークデータを付加するこ ととして 、るが、全てのフレームに対して上述のカメラワークデータを付加する以外に も、撮影時のカメラワーク状況に変化があるフレームに対してのみ、上述のカメラヮー クデータを付加するようにしてもよい。これによつても、映像データの各フレームの撮 影時におけるカメラワーク状況を示すカメラワークデータを、前記映像データに付カロ することが可能となる。 [0078] 次に、上記映像送信装置より送出された放送データを受信して、映像 ·音声を表示 •再生するとともに、そのときの視聴環境照明を制御する映像受信装置 (データ受信 装置）について説明する。
[0079] 本実施形態における映像受信装置は、図 13に示すように、伝送路より入力された 放送データを受信して復調するとともに、誤り訂正を行う受信部 21と、受信部 21の出 力データから、映像表示装置 25に出力する映像データと TC (タイムコード）、音声再 生装置 26に出力する音声データと TC (タイムコード）、付加情報としてのカメラワーク データのそれぞれを分離'抽出するデータ分離部 22と、データ分離部 22で分離され たカメラワークデータを受けて、照明制御データ生成部 24に対する制御データを出 力する CPU23と、 CPU23からの制御データに応じて、前記映像データ Z音声デー タの特徴量を検出し、この検出結果に基づいた照明制御データ (RGBデータ)を、視 聴環境空間を照明する照明装置 27に出力する照明制御データ生成部 24と、照明 制御データ生成部 24における処理時間分だけ映像データ、音声データを遅延して 出力するディレイ発生部 28, 29とを備えている。
[0080] ここで、本実施形態の CPU23は、カメラワークデータに基づき、照明制御データ生 成部 24にて映像データの特徴量を検出する対象の映像フレーム及び画面領域を制 御する制御データを出力する。
[0081] なお、タイムコード (TC)は、映像データ、音声データそれぞれの再生時間情報を 示すために付加された情報であり、例えば、映像データの時間 (h)：分 (m)：秒 (s)： フレーム (f)を示す情報により構成されて!、る。
[0082] また、照明装置 27は、映像表示装置 25の周囲に設置されて、所定の色相をもった 例えば RGBの三原色の光を発光する LEDにより構成することができる。ただし、照明 装置 27は、映像表示装置 25の周囲環境の照明色及び明るさを制御できるような構 成であればよぐ上記のような所定色を発光する LEDの組み合わせに限ることなぐ 白色 LEDと色フィルタとによって構成してもよぐあるいは白色電球や蛍光管とカラー フィルタとの組み合わせやカラーランプ等を適用することもできる。また、照明装置 27 は 1個以上設置されて 、ればよ!/、。
[0083] 次に、本実施形態における照明制御データ生成部 24の具体的構成について、図 14とともに説明する。図 14において、 31は映像データ及び音声データ力もシーン区 間の開始点 TC、終了点 TCを検出するシーン区間検出部であり、シーン変化点の検 出方法は、公知のものをはじめとする各種の技術を用いることができる。なお、ここで は、シーン区間の検出のために映像データの特徴量に加えて、音声データの特徴 量も用いている力 これはシーン変化点の検出精度をより向上させるためであり、映 像データの特徴量のみ力もシーン区間を検出するようにしてもよい。また、シーン変 化点を示す情報が放送データに付加されている場合、これを利用するようにしてもよ い。
[0084] 32は、映像データ及び音声データから撮影現場の照明状態や場面設定 (雰囲気） を推定し、その推定結果に従って照明装置 27を制御するための照明制御データを 出力する場 (雰囲気)推定部であり、撮影時の周囲光の状態の推定方法は、公知の ものをはじめとする各種の技術を用いることができる。なお、ここでも、撮影時の場 (雰 囲気）の推定のために映像データの特徴量にカ卩えて、音声データの特徴量も用いて いるが、これは場 (雰囲気）の推定精度をより向上させるためであり、映像データの特 徴量のみ力も撮影シーンの場 (雰囲気）を推定するようにしてもよ!、。
[0085] また、映像データの特徴量としては、例えば上述した従来例のように、画面の所定 領域における色信号、輝度信号をそのまま用いることもできるし、これらから映像撮影 時における周囲光の色温度を求めて用いてもよい。さらに、これらを映像データの特 徴量として切替出力可能に構成してもよい。また、音声データの特徴量としては、音 量、音声周波数などを用いることができる。
[0086] さらに、本実施形態では、同一シーンの中では視聴環境照明光の色及び強度を略 一定に保持するため、場 (雰囲気)推定部 32は、シーン区間検出部 31によりシーン 変化点（開始点）が検出された時点から、所定数 N (Nは予め設定された任意の自然 数であり、例えば N= 100)のフレームにおける映像特徴量及び音声特徴量を検出 し、この特徴量に応じた照明制御データ (RGBデータ）を、次のシーンに切り替わる まで出力するように構成して！/、る。
[0087] ここで、上記シーン変化点（開始点）が検出された時点から連続する所定数 Nのフ レームの中で、映像データの特徴量を検出する際に用いるフレーム及びその画面領 域は、 CPU23からの制御データによって決められる。例えば、被写体サイズがバスト ショット、アップショット、クローズアップショット、ビッグクローズアップショットのいずれ かであるフレームは、被写体 (前景部）が画面内の多くの領域面積を占めるため、映 像特徴量の検出には用いないようにする。また、レンズ種別が望遠レンズ、マクロレン ズのいずれかであるフレームも、被写体 (前景部）が画面内の多くの領域面積を占め るため、映像特徴量の検出には用いな 、ようにする。
[0088] さらに、カメラの動きがパン、チルト、ロール、ズーム、ドリー、フォローのいずれかで あるフレームは、一連のカメラの動きに伴って背景の様子が極端に変化する可能性 が高いことから、最初のフレーム以外は映像特徴量の検出に用いないこととする。例 えば、カメラの動きがパンであるフレームが 2以上連続した場合、 2枚目以降のフレー ムは映像特徴量の検出に用いない。なお、上述のカメラの動きのフレームが連続した 場合、予め定められた最初の数フレームのみを映像特徴量の検出に用いるようにし てもよい。
[0089] そしてまた、映像特徴量の検出に用いるフレームであっても、映像特徴量の検出対 象とすべき画面領域は、映像撮影時のカメラワークによって異なる。例えば、図 15に 示すように、当該フレームの撮影時におけるカメラポジションとアングルとによって、撮 影時の周囲光の色、明るさを推定するのに適した画面領域（図 15中、斜線部分で示 す)が決まる。すなわち、撮影時の周囲光の色、明るさを推定するのに適した画面領 域は通常、画面上部の領域であるが、この画面上部の領域の大きさを規定する水平 ラインがカメラポジションとアングルとによって決められる。
[0090] また、図 16に示すように、当該フレームの撮影時における被写体サイズと数とによ つても、撮影時の周囲光の色、明るさを推定するのに適した画面領域（図 16中、斜線 部分で示す)が決まる。すなわち、撮影時の周囲光の色、明るさを推定するのに適し た画面領域は、前景となる被写体を除いた領域が望ましぐこの被写体が位置する可 能性が高ぐ映像特徴量の検出対象領域から除外すべき領域が、被写体サイズと数 とによって決められる。なお、被写体の数が背景のみの場合は、全画面領域を映像 特徴量の検出対象とする。
[0091] 従って、本実施形態では、ポジション、アングル、被写体サイズ、被写体数の各カメ ラワーク情報に基づいて、映像特徴量を検出する対象領域を制限している。具体的 には、ポジション及びアングルによって決まる図 15の斜線領域と、被写体サイズ及び 被写体数によって決まる図 16の斜線領域との論理積によって求められる画面領域の 映像データのみを用いて、映像特徴量を検出することとしている。
[0092] このように、カメラワークデータを用いて、映像シーンの場 (雰囲気)推定に適したフ レーム及び画面領域のみを制限 '抽出し、抽出されたフレーム及び画面領域におけ る映像特徴量を検出することで、場 (雰囲気)の推定精度を向上させることができる。 これによつて、場 (雰囲気)の推定誤りによって、臨場感や雰囲気を阻害するような照 明制御がなされることを防止し、常に最適な視聴環境を実現することが可能となる。
[0093] さらに、本実施形態の照明制御データ生成部 24の動作について、図 17のフロー チャートとともに説明する。まず、シーン区間検出部 31は、新しく入力されたフレーム を読み込み (ステップ S1)、そのフレームの映像特徴量や音声特徴量から当該フレ ームがシーン開始点（変化点）か否かを検出する (ステップ S 2)。シーン開始フレーム が検出されない場合は、ステップ S1に戻って次のフレームを読み込む。シーン開始 フレームが検出された場合、場 (雰囲気)推定部 32は、該シーン開始フレームから連 続する Nフレーム分の映像データ及び音声データを読み込む (ステップ S3)。
[0094] そして、カメラワークデータの被写体サイズ情報、カメラの動き情報、レンズ種別情 報に基づいて、上記読み込んだ Nフレームの中から、場 (雰囲気)推定に用いる推定 対象フレームを判定'抽出する（ステップ S4)。ここで、上記読み込んだ Nフレームの 中に、場 (雰囲気)推定対象フレームが存在するか否かを判別し (ステップ S5)、場（ 雰囲気)推定対象フレームが存在する場合は、推定対象フレームを 1フレーム読み 込む (ステップ S6)。そして、カメラワークデータのポジション情報、アングル情報、被 写体サイズ情報、被写体数情報に基づいて、この読み込んだ推定対象フレームにお ける場 (雰囲気)推定に用いる推定対象画面領域を判定'抽出し (ステップ S7)、場（ 雰囲気)推定対象領域の映像データ特徴量を検出して、場 (雰囲気)推定を行う (ス テツプ S8)。
[0095] 次に、場 (雰囲気)推定対象フレームの全てにっ 、て、上述の場 (雰囲気)推定処 理が完了した力否かを判断し (ステップ S9)、全ての場 (雰囲気)推定対象フレームに ついて、場 (雰囲気)推定処理が完了した場合、場 (雰囲気)推定結果の 1フレーム当 たりの平均値を算出し (ステップ S10)、これに応じた照明制御データ (RGBデータ） を生成 '出力する (ステップ S 11)。なお、音声データ特徴量の検出は、上述の Nフレ ーム期間にわたって行われ、上記のようにして算出された映像データ特徴量と併せ て、場 (雰囲気）の推定処理に利用される。
[0096] また、上記ステップ S5にお!/、て、上記ステップ S3で読み込んだ Nフレームの中に、 場 (雰囲気)推定対象フレームが存在しな!ヽと判別された場合は、予め用意されたデ フォルト値に基づく照明制御データを生成 '出力する (ステップ Sl l)。ここでは、場（ 雰囲気)推定対象フレームが存在しない場合、例えばやや弱い白色の照明光を視聴 環境空間に照明するようにしている力 これに限らず、直前のシーンに係る照明制御 データをそのまま継続して出力し、視聴環境照明光の色、強度を保持するようにして ちょい。
[0097] そして、処理が終了であるか否かを判別し (ステップ S 13)、例えば映像データが終 了した場合や、視聴環境照明制御の停止が指示された場合は、シーン区間検出及 び場 (雰囲気)推定の処理を終了し、それ以外の場合は、ステップ S1に戻って新しい フレームを取得する。
[0098] 本実施形態においては、上述のとおり、シーン開始点力 Nフレーム内に含まれる 映像データ及び音声データの特徴量に基づいて照明制御データを生成し、この照 明制御データを次にシーン変化が検出されるまで出力するので、シーン単位で視聴 環境照明光の色、強度を切り替えて、同一シーン内では視聴環境照明光の色、強度 を略一定に保持することができる。
[0099] また、上記データ分離部 22で分離された映像データ、音声データは、上記場 (雰 囲気)推定部 32での推定処理に力かる時間分だけ、ディレイ発生部 28, 29で遅延さ れた上で、映像表示装置 25、音声再生装置 26により再生されるので、映像 Z音声 の再生タイミングに合わせて、視聴環境照明光の色、強度を適切に制御することがで きる。
[0100] さらに、図 1乃至図 5に示した各映像シーン例に対する場 (雰囲気)推定処理につ いて説明する。図 1に示した映像シーンにおいて、フレーム A〜E— 1 (フレーム Eの 直前のフレーム）に対しては、図 15 (g)の斜線で示した領域と図 16 (a)の斜線で示し た領域とが重なる画面領域の映像データを用いて、映像特徴量を検出する。また、フ レーム E以降に対しては、図 15 (g)の斜線で示した領域と図 16 (e)の斜線で示した 領域とが重なる画面領域の映像データを用いて、映像特徴量を検出する。これによ つて、背景部の映像特徴量のみを用いた照明制御データを生成することができ、本 シーン撮影時の照明状況を反映した適切な視聴環境照明光を、このシーンの表示 再生期間にわたって照射することが可能となる。
[0101] 図 2に示した映像シーンにおいて、フレーム C〜E—1に対しては、被写体サイズが バストショットであるので、映像データ特徴量の検出は行わない。そして、フレーム A 〜C— 1 (フレーム Cの直前のフレーム）、フレーム E以降に対しては、図 15 (e)の斜 線で示した領域と図 16 (b)の斜線で示した領域とが重なる画面領域の映像データを 用いて、映像特徴量を検出する。これによつて、背景部の映像特徴量のみを用いた 照明制御データを生成することができ、本シーン撮影時の照明状況を反映した適切 な視聴環境照明光を照射することが可能となる。
[0102] 図 3に示した映像シーンにおいては、ズーム撮影が行われていることから、フレーム Aに対してのみ、映像データ特徴量の検出は行う。ここで、フレーム Aに対しては、図 15 (c)の斜線で示した領域と図 16 (a)の斜線で示した領域とが重なる画面領域の映 像データを用いて、映像特徴量を検出する。これによつて、背景部の映像特徴量の みを用いた照明制御データを生成することができ、このシーン撮影時の照明状況を 反映した適切な視聴環境照明光を、このシーンの表示再生期間にわたって照射する ことが可能となる。
[0103] 図 4に示した映像シーンにおいては、同じくズーム撮影が行われていることから、フ レーム Aに対してのみ、映像データ特徴量の検出は行う。ここで、フレーム Aに対して は、図 15 (e)の斜線で示した領域と図 16 (a)の斜線で示した領域とが重なる画面領 域の映像データを用いて、映像特徴量を検出する。これによつて、背景部の映像特 徴量のみを用いた照明制御データを生成することができ、このシーン撮影時の照明 状況を反映した適切な視聴環境照明光を、このシーンの表示再生期間にわたって照 射することが可能となる。 [0104] 図 5に示した映像シーンにおいては、望遠レンズに切り換えられ、バストショットとな つたフレーム D以降に対する映像データ特徴量の検出を行わず、フレーム A〜D— 1 (フレーム Dの直前のフレーム）に対してのみ、映像データ特徴量の検出を行う。ここ で、フレーム A〜D— 1に対しては、図 15 (e)の斜線で示した領域と図 16 (a)の斜線 で示した領域とが重なる画面領域の映像データを用いて、映像特徴量を検出する。 これによつて、背景部の映像特徴量のみを用いた照明制御データを生成することが でき、このシーン撮影時の照明状況を反映した適切な視聴環境照明光を、このシー ンの表示再生期間にわたって照射することが可能となる。
[0105] 上記のように、本実施形態においては、映像データとともにカメラワークデータとし て入力された各種情報内容を利用して、各シーンの撮影時における照明状況 (雰囲 気)を適切に再現すべく照明制御データを求め、照明装置 27の照明光を制御するこ とが可能である。従って、前景部 (被写体)などの映像内容の影響を受けることなぐ 自然で違和感のない視聴環境照明を実現することができ、映像視聴時の臨場感を 増大させることが可能となる。また、シーン単位で照明制御データを切替制御する構 成としているので、同じシーン内で視聴環境照明が激しく変化して臨場感を損なって しまうことを防止することができる。
[0106] なお、図 15,図 16に示した画面領域パターンは適宜設定することができる。また、 この画面領域パターン力 求められた場 (雰囲気)推定画面領域内における映像デ ータのヒストグラム分布 (度数分布）を検出し、分布割合の高い映像データのみから映 像特徴量を検出して場 (雰囲気)推定を行うことにより、場 (雰囲気)推定の精度をさら に向上することが可能となる。
[0107] また、本実施形態においては、各フレームの撮影時におけるカメラワーク状況に関 するカメラワークデータを送受信するようにして 、るので、このカメラワークデータを用 いて所望のフレームを検索したり編集するなど、視聴環境照明の制御以外にも様々 な機能を実現することが可能となる。
[0108] 例えば、カメラポジションが目高、アングルが水平アングル、被写体サイズ (画面サ ィズ）がロングショット、カメラの動きがフィックス、レンズ種別が標準レンズを用いて撮 影されたフレームを選択'抽出することにより、代表的な映像場面 (キーフレーム、キ 一ショット）^^めたインデックスを作成することが可能となる。
[0109] さらに、上記本発明の第 1の実施形態においては、カメラワークデータが放送デー タに多重付加されて送信される場合について説明した力 放送データにカメラワーク データが付加されて!ヽな ヽ場合、表示する映像データに対応するカメラワークデータ を外部サーバ装置等より送受信することによって、映像の撮影時照明状況に応じた 最適な視聴環境を実現することが可能となる。これについて、以下に説明する。
[0110] 図 18は、本実施形態の視聴環境制御システムにおける外部サーバ装置の要部概 略構成を示すブロック図で、本実施形態における外部サーバ装置 (データ送信装置 )は、図 18に示すように、映像受信装置 (データ受信装置)側から特定の映像データ (コンテンツ）に関するカメラワークデータの送信要求を受信する受信部 41と、映像デ ータ（コンテンツ）毎のカメラワークデータを格納して 、るデータ格納部 42と、送信要 求を受けたカメラワークデータを要求元の映像受信装置 (データ受信装置)へ送信す る送信部 43とを備えている。
[0111] ここで、本実施形態のデータ格納部 42に格納されているカメラワークデータは、図
19に示すように、撮影時のカメラワーク状況に変化があるフレームの開始タイムコー ド (TC)に対応付けてテーブル形式に記述されており、送信要求を受けた映像デー タ (番糸且コンテンツ）に対応するカメラワークデータ (a)〜 (f)を、映像撮影時のカメラヮ ーク状況に変化のあるフレームを示す TC (タイムコード）とともに、送信部 43より要求 元の映像受信装置へ送信する。
[0112] なお、ここで、映像データを構成する全てのフレームについてカメラワークデータを 記述するようにしてもよいが、図 19に示すように、撮影時のカメラワーク状況に変化が あるフレームのみにっ 、てカメラワークデータを記述するようにすることで、データ格 納部 42に格納するデータ量を削減することができる。
[0113] 次に、上記外部サーバ装置より送出されたカメラワークデータを受けて、視聴環境 照明を制御する映像受信装置 (データ受信装置）について説明する。本実施形態に おける映像受信装置は、図 20に示すように、伝送路より入力された放送データを受 信して復調するとともに、誤り訂正を行う受信部 51と、受信部 51の出力データから、 映像表示装置 25に出力する映像データ、音声再生装置 26に出力する音声データ のそれぞれを分離'抽出するデータ分離部 52と、表示する映像データ（コンテンツ） に対応したカメラワークデータの送信要求を、通信ネットワークを介して外部サーバ 装置 (データ送信装置）に送出する送信部 54と、前記送信要求したカメラワークデー タを、通信ネットワークを介して外部サーバ装置より受信する受信部 55とを備えて ヽ る。
[0114] また、前記受信部 55で受信したカメラワークデータを記憶し、映像データの TC (タ ィムコード）に同期して、対応するフレームのカメラワークデータから求められた制御 データを出力する CPU53と、 CPU53からの出力制御データに応じて決められるフ レーム及び画面領域の映像特徴量に応じた照明制御データ (RGBデータ)を、視聴 環境空間を照明する照明装置 27に出力する照明制御データ生成部 24とを備えて いる。
[0115] すなわち、 CPU53は、外部サーバ装置より受信して内部に記憶しているカメラヮー クデータ格納テーブルの各フレームの開始タイムコードと、データ分離部 52で分離さ れた映像データのタイムコードとを比較し、これらが一致した時に対応するカメラヮー クデータを読み出し、このカメラワークデータ力 表示映像シーンの場 (雰囲気)推定 に適応したフレーム及び画面領域を制限するための制御データを生成し、出力する ことができる。
[0116] これによつて、放送データにカメラワークデータが付加されていない場合であっても 、表示映像データ (番組コンテンツ）に対応するカメラワークデータを外部サーバ装置 より入手し、このカメラワークデータを用いて照明制御データを生成することでき、しか も簡単な構成で映像シーンの表示切替わりタイミングと視聴環境照明の切替えタイミ ングとを同期させることができるので、映像の撮影時照明状況に応じた最適な視聴環 境を実現することが可能となる。
[0117] なお、本発明の視聴環境制御装置、方法、及び視聴環境制御システムは、上述し た本発明の主旨を逸脱しない範囲で、様々な実施形態により実現することが可能で ある。例えば、視聴環境制御装置は映像表示装置内に設けられてもよぐ入力映像 データに含まれる種々の情報に基づいて、外部の照明機器を制御することができる ような構成としてもよ 、ことは言うまでもな 、。 また、上述したカメラワークデータは、放送データから分離'取得する場合や、外部 サーバ装置カゝら取得する場合に限られず、例えば、外部機器 (DVD再生機やブル 一レイディスク再生機など)で再生された映像情報を表示する場合、メディア媒体内 に付加されたカメラワークデータを読み出して、これを用いるようにしてもょ 、。

Claims

請求の範囲
[1] 1以上のフレーム力も構成される映像データを送信するデータ送信装置において、 前記映像データの各フレームの撮影時におけるカメラワーク状況を示すカメラヮー クデータを、前記映像データに付加して送信することを特徴とするデータ送信装置。
[2] 前記請求項 1に記載のデータ送信装置にお!、て、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラポジション を表わす情報を含むことを特徴とするデータ送信装置。
[3] 前記請求項 1又は 2に記載のデータ送信装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラアングルを 表わす情報を含むことを特徴とするデータ送信装置。
[4] 前記請求項 1乃至 3のいずれかに記載のデータ送信装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時における被写体のサイズ を表わす情報を含むことを特徴とするデータ送信装置。
[5] 前記請求項 1乃至 4のいずれかに記載のデータ送信装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時における被写体の数を表 わす情報を含むことを特徴とするデータ送信装置。
[6] 前記請求項 1乃至 5のいずれかに記載のデータ送信装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラの動きを 表わす情報を含むことを特徴とするデータ送信装置。
[7] 前記請求項 1乃至 6のいずれかに記載のデータ送信装置において、
前記カメラワークデータは、少なくとも各フレームの撮影に用いられたカメラレンズの 種別を表わす情報を含むことを特徴とするデータ送信装置。
[8] 外部からの要求を受けて、映像データを構成する各フレームの撮影時におけるカメ ラワーク状況を示すカメラワークデータを送信するデータ送信装置であって、 前記カメラワークデータを、前記映像データを構成する各フレームの開始タイミング とともに送信することを特徴とするデータ送信装置。
[9] 前記請求項 8に記載のデータ送信装置にお 、て、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラポジション を表わす情報を含むことを特徴とするデータ送信装置。
[10] 前記請求項 8又は 9に記載のデータ送信装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラアングルを 表わす情報を含むことを特徴とするデータ送信装置。
[11] 前記請求項 8乃至 10のいずれかに記載のデータ送信装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時における被写体のサイズ を表わす情報を含むことを特徴とするデータ送信装置。
[12] 前記請求項 8乃至 11のいずれかに記載のデータ送信装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時における被写体の数を表 わす情報を含むことを特徴とするデータ送信装置。
[13] 前記請求項 8乃至 12のいずれかに記載のデータ送信装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラの動きを 表わす情報を含むことを特徴とするデータ送信装置。
[14] 前記請求項 8乃至 13のいずれかに記載のデータ送信装置において、
前記カメラワークデータは、少なくとも各フレームの撮影に用いられたカメラレンズの 種別を表わす情報を含むことを特徴とするデータ送信装置。
[15] 表示装置に表示すべき映像データの特徴量に基づいて、照明装置の照明光を制 御する視聴環境制御装置であって、
前記映像データを構成する各フレームの撮影時におけるカメラワーク状況を示す力 メラワークデータを受信する受信手段と、
前記カメラワークデータに応じて、前記照明装置の照明光を制御する制御手段とを 備えたことを特徴とする視聴環境制御装置。
[16] 前記請求項 15に記載の視聴環境制御装置にお 、て、
前記制御手段は、前記映像データを構成するシーン単位で前記照明装置の照明 光を切替制御することを特徴とする視聴環境制御装置。
[17] 前記請求項 15又は 16のいずれかに記載の視聴環境制御装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラポジション を表わす情報を含むことを特徴とする視聴環境制御装置。
[18] 前記請求項 15乃至 17のいずれかに記載の視聴環境制御装置において、 前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラアングルを 表わす情報を含むことを特徴とする視聴環境制御装置。
[19] 前記請求項 15乃至 18に記載の視聴環境制御装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時における被写体のサイズ を表わす情報を含むことを特徴とする視聴環境制御装置。
[20] 前記請求項 15乃至 19のいずれかに記載の視聴環境制御装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時における被写体の数を表 わす情報を含むことを特徴とする視聴環境制御装置。
[21] 前記請求項 15乃至 20のいずれかに記載の視聴環境制御装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラの動きを 表わす情報を含むことを特徴とする視聴環境制御装置。
[22] 前記請求項 15乃至 21のいずれかに記載の視聴環境制御装置において、
前記カメラワークデータは、少なくとも各フレームの撮影に用いられたカメラレンズの 種別を表わす情報を含むことを特徴とする視聴環境制御装置。
[23] 前記請求項 15乃至 22のいずれかに記載の視聴環境制御装置において、
前記制御手段は、前記カメラワークデータに応じて、前記映像データの特徴量を検 出する対象フレームを制限することを特徴とする視聴環境制御装置。
[24] 前記請求項 15乃至 23のいずれかに記載の視聴環境制御装置において、
前記制御手段は、前記カメラワークデータに応じて、前記映像データの特徴量を検 出する画面領域を制限することを特徴とする視聴環境制御装置。
[25] 前記請求項 15乃至 24のいずれかに記載の視聴環境制御装置と、該視聴環境制 御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視 聴環境制御システム。
[26] 1以上のフレーム力も構成される映像データを送信するデータ送信方法において、 前記映像データの各フレームの撮影時におけるカメラワーク状況を示すカメラヮー クデータを、前記映像データに付加して送信することを特徴とするデータ送信方法。
[27] 外部からの要求を受けて、映像データを構成する各フレームの撮影時におけるカメ ラワーク状況を示すカメラワークデータを送信するデータ送信方法であって、 前記カメラワークデータを、前記映像データを構成する各フレームの開始タイミング とともに送信することを特徴とするデータ送信方法。
表示装置に表示すべき映像データと、該映像データを構成する各フレームの撮影 時におけるカメラワーク状況を示すカメラワークデータとを受信し、
前記映像データと前記カメラワークデータとに基づいて、前記表示装置の周辺に設 置された照明装置の照明光を制御することを特徴とする視聴環境制御方法。
PCT/JP2007/058035 2006-04-28 2007-04-12 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 WO2007125755A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008513135A JP4709897B2 (ja) 2006-04-28 2007-04-12 視聴環境制御システム、視聴環境制御装置、視聴環境照明制御システム、及び視聴環境制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-124547 2006-04-28
JP2006124547 2006-04-28

Publications (1)

Publication Number Publication Date
WO2007125755A1 true WO2007125755A1 (ja) 2007-11-08

Family

ID=38655288

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/058035 WO2007125755A1 (ja) 2006-04-28 2007-04-12 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法

Country Status (2)

Country Link
JP (1) JP4709897B2 (ja)
WO (1) WO2007125755A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111838A (ja) * 1994-10-07 1996-04-30 Hitachi Ltd 映像記録再生システム
JP2002354327A (ja) * 2001-05-30 2002-12-06 Minolta Co Ltd 画像撮影装置、その操作装置、および画像撮影システム
JP2003214888A (ja) * 2002-01-22 2003-07-30 Matsushita Electric Ind Co Ltd 視覚障害者誘導システム並びにそれに用いられる無線携帯端末および通信装置
JP2006020293A (ja) * 2004-06-01 2006-01-19 Matsushita Electric Ind Co Ltd 番組演出装置、受信装置、番組演出プログラム、及びコンピュータ読み取り可能な記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04315875A (ja) * 1991-04-15 1992-11-06 Sony Corp Ｖｔｒ
JPH09205607A (ja) * 1996-01-25 1997-08-05 Sony Corp ビデオ記録装置および再生装置
JP2005286378A (ja) * 2004-03-26 2005-10-13 Fuji Photo Film Co Ltd 動画像再生システムおよび動画像再生方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111838A (ja) * 1994-10-07 1996-04-30 Hitachi Ltd 映像記録再生システム
JP2002354327A (ja) * 2001-05-30 2002-12-06 Minolta Co Ltd 画像撮影装置、その操作装置、および画像撮影システム
JP2003214888A (ja) * 2002-01-22 2003-07-30 Matsushita Electric Ind Co Ltd 視覚障害者誘導システム並びにそれに用いられる無線携帯端末および通信装置
JP2006020293A (ja) * 2004-06-01 2006-01-19 Matsushita Electric Ind Co Ltd 番組演出装置、受信装置、番組演出プログラム、及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JP4709897B2 (ja) 2011-06-29
JPWO2007125755A1 (ja) 2009-09-10

Similar Documents

Publication Publication Date Title
JP4950988B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP4950990B2 (ja) 映像送信装置及び方法、視聴環境制御装置及び方法
JP5058157B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP7434288B2 (ja) デジタル写真用カメラと物理ディスプレイ上に示される代替画像コンテンツを同期させるための方法およびデバイス
US5737031A (en) System for producing a shadow of an object in a chroma key environment
WO2007052395A1 (ja) 視聴環境制御システム
JP4889731B2 (ja) 視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
EP3103254B1 (en) Using inertial sensors to provide smoothed exposure and white balance adjustments for video and photographic applications
US20150138395A1 (en) Display System Using Metadata to Adjust Area of Interest and Method
CN102282849A (zh) 数据发送装置、数据发送方法、视听环境控制装置、视听环境控制方法以及视听环境控制系统
JP2009081822A (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP4992639B2 (ja) コンテンツ撮影装置
CA2244467C (en) Chroma keying studio system
JP4709897B2 (ja) 視聴環境制御システム、視聴環境制御装置、視聴環境照明制御システム、及び視聴環境制御方法
CN115393238A (zh) 一种基于虚拟现实技术的图像合成系统及方法
JP4789592B2 (ja) 視聴環境制御装置及び視聴環境制御方法
JP2009060542A (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP7259761B2 (ja) 撮像装置、電子機器および彩度抑制プログラム
JP2009081482A (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
US20210125535A1 (en) Video lighting apparatus with full spectrum white color
KR20140114940A (ko) 3d 가상스튜디오시스템 및 3d 가상스튜디오 영상합성방법
KR20140114939A (ko) 3d 가상스튜디오 영상합성방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07741471

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2008513135

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07741471

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)