WO2010010776A1 - 付加データ生成システム - Google Patents

付加データ生成システム Download PDF

Info

Publication number
WO2010010776A1
WO2010010776A1 PCT/JP2009/061390 JP2009061390W WO2010010776A1 WO 2010010776 A1 WO2010010776 A1 WO 2010010776A1 JP 2009061390 W JP2009061390 W JP 2009061390W WO 2010010776 A1 WO2010010776 A1 WO 2010010776A1
Authority
WO
WIPO (PCT)
Prior art keywords
additional data
output
data generation
generation system
unit
Prior art date
Application number
PCT/JP2009/061390
Other languages
English (en)
French (fr)
Inventor
青木 信明
幡 俊雄
岡崎 淳
省二 横田
宮田 正高
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US13/055,814 priority Critical patent/US20110115979A1/en
Priority to EP09800291A priority patent/EP2312845A4/en
Priority to CN2009801281527A priority patent/CN102100081B/zh
Publication of WO2010010776A1 publication Critical patent/WO2010010776A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic

Definitions

  • the present invention relates to an additional data generation system for adding an information transmission effect to output based on output data such as image data and / or sound data.
  • the recording medium of movie software is shifting from DVD (digital versatile disc) to BD (bully-ray disc), and it has become possible to record higher-definition and higher-quality video and sound as data.
  • an illumination device disclosed in Japanese Patent Laid-Open No. 2000-173783.
  • the brightness and color of a plurality of illuminations arranged in the space in which the image display device exists are preferable based on the screen of the image display device for each arranged position (effective visual field, guidance visual field or auxiliary visual field).
  • the state to be estimated By controlling the state to be estimated, the realism of the image displayed on the screen of the image display device is enhanced.
  • FIG. 13 is an explanatory diagram showing an example of a conventional image presentation system.
  • This image presentation system also acquires display information 1001 for presenting an effective visual field image and peripheral image or ambient light illumination by acquiring image information around the main image together with the main image presented in the effective visual field at the time of shooting. By playing back the video imaged by the display means 1002, the video of the effective field of view is viewed with a sense of reality close to the actual state.
  • FIG. 14 is an explanatory view showing an example of a conventional lighting unit.
  • a plurality of optical elements 2001 to 2004 are arranged in a space (living room) 2010 in which a display device for displaying an image based on a video signal is arranged, and an average color of each image phrase based on the video signal, Analyzing the prominent color or the corner color of the image phrase, or analyzing the object in each video frame (especially the expression when this object is a face), the optical elements 2001-2004 By using it when setting the light, the viewer's environment is enhanced.
  • Alight a lighting system manufactured by Philips.
  • This Aimlight is to analyze the color information of the video displayed on the screen and indirectly illuminate the room with the color tone.
  • RGB LEDs light emitting diodes composed of a red light emitting diode, a green light emitting diode, and a blue light emitting diode
  • the color tone of the LED is controlled to be orange when a sunset scene is displayed on the screen and to green when a fresh green scene is displayed.
  • the viewing space and the effective field of view are based on the average chromaticity and average luminance of the entire screen, or the representative color. Since the brightness and chromaticity of the illumination arranged in the field of view of 15 ° is controlled, the original video information data is not directly used and the detailed contents of the video displayed on the screen and the edge of the screen There is a problem that the color tone of the side is not reflected, and there is a case where the effective lighting for increasing the sense of reality cannot be presented.
  • the lighting placed in the viewing space or effective field of view is controlled to a bright color tone such as white before passing through the tunnel.
  • a color difference is generated between the edge portion and the illumination at the periphery of the screen controlled to be white.
  • a time lag occurs between the screen display and the illumination control. May end up.
  • the lighting unit disclosed in JP-T-2005-531908 by analyzing the video signal, the average color or the most prominent color of each image frame, the color of the corner of the image frame, or the image Since the illumination color, blinking pattern, and the like are controlled based on the object in the frame, there is a problem that the detailed display content of the screen and the illumination cannot be synchronized.
  • the above-described image presentation system disclosed in Japanese Patent Application Laid-Open No. 2007-25111 solves such a problem.
  • the video information data generation side captures an image with an effective field of view
  • Information such as panoramic image data necessary for generating video or ambient light illumination is also acquired at the same time, and on the playback side of the video information data, in addition to the effective visual field, the peripheral visual field (outside about ⁇ 15 ° from the front)
  • the visual field or the illumination is also presented. Therefore, the image presentation system has a problem that it is necessary to include means (omnidirectional camera) for acquiring information such as panoramic image data on the video information data generation side.
  • the present invention was devised to solve such problems, and its purpose is to generate additional data that emphasizes characteristic elements of the output when outputting based on output data such as image data and / or sound data. Then, an information transmission effect is added to the output based on the output data by the output based on the additional data.
  • an additional data generation system includes a source unit that supplies an output signal, an operation control unit that obtains output data from the output signal, and a first output that performs output based on the output data.
  • a second output unit for generating output based on the additional data, an additional data generation unit for generating additional data that emphasizes characteristic elements of the output from the first output unit, and changing the output data
  • An operation unit that outputs an operation signal to be output to the operation control unit.
  • an information transmission effect can be added to the output from the first output unit by the output from the second output unit.
  • the data generation unit may generate the additional data by analyzing the output data.
  • the data generation unit may generate the additional data by analyzing the output data output from the operation control unit.
  • the data generation unit may be provided in the operation control unit.
  • the data generation unit may generate the additional data by analyzing the output data obtained by the operation control unit.
  • the additional data generation system of the present invention may further include a detection unit that monitors the output from the first output unit, and the additional data generation unit is based on a detection result of the detection unit.
  • the additional data may be generated.
  • the second output unit may include a plurality of illumination devices arranged so as to surround a peripheral part of a region where the output from the first output unit is viewed.
  • the surround effect can be obtained by the output of the second output unit, and the sense of reality can be further improved.
  • the illumination device may be an LED illumination device that includes at least one of a red LED cell, a green LED cell, and a blue LED cell and outputs light of various color temperatures.
  • the lighting device may be any one of a ceiling light, a pendant, a bracket, a downlight, a spotlight, a projector, a hologram, and a laser drawing device.
  • the output of light can be controlled using various types of lighting equipment, and a higher level of realism can be realized.
  • the source unit is a communication terminal capable of receiving information distributed from a television station, an image distribution company or a music distribution company via a communication network, or a program for controlling the operation of various electronic devices; It may be a reading device that reads the program and data from a storage medium storing data.
  • the additional data generation unit may change the additional data in synchronization with the change of the output data.
  • the operation unit is a controller or remote controller of a TV, VCR, CD player, DVD player, BD player, PC, game machine or game machine, a sensor or item for monitoring the operator's physical information, or for a disaster prevention radio system
  • the operator detection sensor which comprises a receiver may be sufficient.
  • the output data can be easily changed.
  • the operation unit may output an operation signal for changing the output data to the operation control unit, and the operation control unit may change an output signal to be output based on the operation signal. Good.
  • the operation unit may output an operation signal for changing the output data to the source unit, and the source unit may change an output signal to be output based on the operation signal.
  • the configuration and operation method of the operation unit can be independently changed regardless of the configuration and arrangement of the source unit. Can be realized. On the other hand, when the operation signal is output to the source unit, the output data can be changed reliably.
  • the output data includes image data, and the additional data is included in the image brightness, the color included in the image, and the image, which are characteristic elements extracted from the image data. It may be generated based on at least one of the objects.
  • the additional data can be generated based on the detailed information obtained from the output data, and the sense of reality can be improved more reliably.
  • the output data includes image data
  • the first output unit includes a display screen that displays an image based on the image data
  • the detection unit includes a display
  • the image detection system may include an image monitoring camera that monitors the screen.
  • the additional data can be generated based on the detailed information obtained from the output, and the additional data generation system can be configured in more various forms.
  • the second output unit may include a lighting device arranged at an edge of the display screen.
  • the illumination device is arranged immediately next to the image displayed on the display screen arranged in the effective visual field, the output from the illumination device is easily seen by the viewer (operator), and the display Continuity between the image displayed on the screen and the output from the lighting device can be realized. As a result, a higher level of realism can be realized.
  • the second output unit further includes a lighting device arranged in the vicinity of the display screen, and is arranged in the vicinity of the lighting device arranged at an edge of the display screen and the display screen.
  • the lighting device may perform a continuous output for the image on the display screen.
  • the continuity between the image displayed on the display screen and the output from the lighting device can be realized, and a higher level of realism can be realized.
  • the additional data may include sound data
  • the second output unit may include a surround speaker system that performs output based on the sound data.
  • the surround speaker system is arranged at a position facing two surround speakers arranged at positions facing each other via the first output section and an area for viewing an output from the first output section.
  • One center speaker arranged between a region and the first output unit and one subwoofer arranged near the first output unit may be provided.
  • the viewer can be more effectively surrounded by the sound output from the surround speaker system, and a higher level of realism can be realized.
  • the second output unit may include four illumination devices arranged with each surround speaker.
  • the viewer can be more effectively surrounded by the light output from the lighting device, and a higher level of realism can be realized.
  • At least one of the plurality of illumination devices arranged so as to surround a peripheral part of the region where the output from the first output unit is viewed has at least one of the intensity and chromaticity of the output light. It may be configured to be adjustable.
  • the lighting device may be configured such that at least one of the intensity and chromaticity of the output light can be adjusted.
  • light of various colors can be controlled and output with various intensities according to the environment in which the additional data generation system is arranged, so that the health condition of the operator and the atmosphere of the environment can be affected.
  • the color of the light output from the lighting device can be combined.
  • the second output unit may include at least one of a speaker, a vibrator, and a display device arranged in the operation unit.
  • the second output unit may include an air conditioning facility that performs air conditioning in a region where the output from the first output unit is appreciated.
  • the additional data may be switched based on a detection result by a sensor or item for monitoring the physical information or an operator detection sensor.
  • the sensor for monitoring the body information may be disposed in the operation unit.
  • output such as an image, sound, and light from the second output unit can be controlled in consideration of the physical condition and health condition of the operator.
  • the operator's physical information can be fed back to control output such as an image, sound, and light from the second output unit, so that the sense of reality can be enhanced more safely.
  • At least one of the speaker, vibrator, and display device may also serve as an operation unit.
  • the operation can be further simplified, and furthermore, a wasteful power consumption can be suppressed and an environment-friendly form can be realized.
  • At least a part of the additional data may change in synchronization with the change of the output data.
  • the information transmission effect can be added to the output based on the output data, so that the sense of reality when outputting images, sounds, etc. is improved, and the amusement of the game device is improved.
  • Strengthening obtaining a system for improving the sense of realism that puts health first, simplifying operations and reducing wasteful power consumption, realizing an environmentally friendly form, and quickly and quickly in an emergency Reliable information transmission can be realized.
  • FIG. 1 is an explanatory view showing Embodiment 1 of the additional data generation system of the present invention.
  • FIG. 2 is an explanatory diagram showing a modification of the first embodiment of the additional data generation system of the present invention.
  • FIG. 3 is an explanatory diagram showing Embodiment 2 of the additional data generation system of the present invention.
  • FIG. 4 is an explanatory diagram showing an example of a living room in which Example 1 of the additional data generation system of the present invention is arranged.
  • FIG. 5 is an explanatory diagram showing an example of a game machine constituting the additional data generation system shown in FIG. FIG.
  • FIG. 6 is an explanatory view showing Embodiment 2 of the additional data generation system of the present invention, and shows only the display screen of the TV and the lighting device arranged in the peripheral portion of the display screen.
  • FIG. 7 is an explanatory diagram showing an example of a living room in which Example 3 of the additional data generation system of the present invention is arranged.
  • FIG. 8 is an explanatory diagram showing an example of a living room in which Example 4 of the additional data generation system of the present invention is arranged.
  • FIG. 9 is an explanatory diagram illustrating an example of a living room in which the first modification of the fourth embodiment of the additional data generation system of the present invention is arranged.
  • FIG. 10 is an explanatory diagram showing an example of a living room in which a second modification of the fourth embodiment of the additional data generation system of the present invention is arranged.
  • FIG. 11 is an explanatory diagram showing an example of a game machine that implements the fifth embodiment of the additional data generation system of the present invention.
  • FIG. 12 is an explanatory diagram showing an embodiment when an operator sensor is added to the additional data generation system shown in FIG.
  • FIG. 13 is an explanatory diagram showing an example of a conventional image presentation system.
  • FIG. 14 is an explanatory diagram showing an example of a conventional lighting unit.
  • FIG. 1 is an explanatory view showing Embodiment 1 of the additional data generation system of the present invention.
  • the additional data generation system includes a source unit 1 that supplies an output signal, an operation unit 2 that is operated by an operator, and the output unit that receives the output signal and uses the operation unit 2 from the received output signal.
  • the operation control unit 4 that obtains output data based on the performed operation, and the output data are analyzed, and characteristic elements of the output data (that is, characteristic elements of output from the first output unit 5 described later)
  • An additional data generation unit 3 that generates additional data that emphasizes the output, a first output unit 5 that performs an output operation according to the output data, and a second output unit 6 that performs an output operation according to the additional data. Yes.
  • the additional data generation unit 3 generates additional data by analyzing the output signal, but the additional data generation system of the present invention is not limited to this form.
  • an output signal on which an additional signal indicating additional data is superimposed in advance may be output from the source unit.
  • this modification a case where the additional signal is superimposed on the output signal will be described.
  • FIG. 2 is an explanatory diagram showing a modification of the first embodiment of the additional data generation system of the present invention.
  • the additional data generation system shown in FIG. 2 differs from the additional data generation system shown in FIG. 1 in that the operation control unit 41 serves as the operation control unit 4 and the additional data generation unit 3 shown in FIG. Yes. That is, in this additional data generation system, the operation control unit 41 can analyze the output data to generate additional data that emphasizes characteristic elements of the output data, and the second output unit 6 can handle the additional data. The signal is output to the second output unit 6 after being converted to a level. Note that the procedure for obtaining output data from the output signal in the operation control unit 41 and outputting it to the first output unit 5 is the same as that of the additional data generation system shown in FIG.
  • FIG. 3 is an explanatory view showing Embodiment 2 of the additional data generation system of the present invention.
  • the additional data generation system includes a source unit 1 that transmits an output signal, an operation unit 2 that is operated by an operator, and the output unit that receives the output signal and uses the operation unit 2 from the received output signal.
  • An operation control unit 4 that obtains output data based on the performed operation, a first output unit 5 that performs an output operation according to the output data, a detection unit 7 that monitors the output from the first output unit 5, and the detection
  • An additional data generation unit 8 that generates additional data that emphasizes characteristic elements of the output from the first output unit 5 based on the detection result of the unit 7, and a second output that performs output based on the additional data It is set as the structure provided with the part 6.
  • the detection unit 7 is an image color detection system in which, for example, a chromaticity measuring device is embedded at the end of the screen, and an average color of the screen can be detected.
  • the additional data generation units 3 and 8 and the operation control unit 4 are provided separately.
  • the generation units 3 and 8 may be provided in the operation control unit 4.
  • the source unit 1 may be a communication terminal (for example, an optical communication terminal) capable of receiving information distributed from a television station, an image distribution company or a music distribution company via a communication network, or various electronic devices. It is a reading device that reads the program and data from a storage medium that stores a program (also referred to as “software”) for controlling the operation of the device and data. Examples of the various electronic devices include game machines, game machines (for example, pachinko machines or slot machines), or receivers for disaster prevention radio systems. Specific examples of the storage medium include a cassette for VCR (video cassette recorder), a CD (compact disc), a DVD (digital versatile disc), a BD, various recording media for game machines, and a PC (personal computer). There are various recording media for use.
  • VCR video cassette recorder
  • CD compact disc
  • DVD digital versatile disc
  • BD digital versatile disc
  • PC personal computer
  • the operation unit 2 is operated when designating an operation of an electronic device or the like.
  • a remote controller remote controller for a TV, a VCR, a CD player, a DVD player, a BD player, a PC, or other various electronic devices is used.
  • an operation button or switch provided on the electronic device body including the operation control units 4 and 41 may be operated.
  • the additional data generation unit 3 generates additional data from output data.
  • the additional data generation unit 3 analyzes output data and outputs characteristic elements (for example, brightness of an image, included in an image). At least one of a color and an object included in the image) is extracted, and additional data is generated based on the extraction result, or an addition related to the extraction result from a storage unit storing a plurality of additional data
  • the storage unit stores an operation program for executing a step of reading data, and a signal processing unit that executes the operation program and executes the step.
  • the additional data generation unit 8 generates additional data from the detection result of the detection unit 7.
  • the detection result is analyzed to output characteristic elements (for example, an image Brightness, colors and objects included in the image, etc.) are extracted, and additional data is generated based on the extraction result, or additional data related to the extraction result is read from the storage means storing a plurality of additional data
  • the storage unit stores an operation program for executing such a step, and the signal processing unit executes the operation program and executes the step.
  • data corresponding to the background situation or game scene is extracted from the image data, or the image data
  • the data corresponding to the edge of the display screen is extracted from the data, and the data for controlling how much current is passed to the lighting at which position by comparing the extraction result with the judgment criteria in the operation program.
  • the additional data generating units 3 and 8 output the additional data after being converted to a level that can be handled by the second output unit 6, and the second output unit 6 performs an output operation based on the additional data.
  • the information transmission effect is added to the output of the first output unit 5. This information transmission effect refers to effects such as, for example, improvement of realism, backup of the health condition of the operator, or prompt and reliable information transmission, which will be described in detail later with specific examples.
  • the operation control unit 4 can extract only a signal related to the output of the first output unit 5 from an output signal in which a plurality of types of signals are superimposed, or can handle a signal extracted from the output signal by the first output unit 5.
  • a detector circuit and an amplifier circuit for example, a detector circuit and an amplifier circuit.
  • the operation control unit 4 a signal processing unit constituting a TV, a VCR, a CD player, a DVD player, a BD player, a PC, a game machine, a receiver for a disaster prevention radio system, or other various electronic devices is used. It is done.
  • the first output unit 5 includes, for example, at least one of an image display unit, a speaker, a vibrator, and an air conditioning facility, and the image display unit, the speaker, the vibrator, and the air conditioning facility configure various electronic devices. Or connected to various electronic devices. Examples of the various electronic devices include TVs, VCRs, CD players, DVD players, BD players, PCs, game machines, and receivers for disaster prevention radio systems.
  • the second output unit 6 includes at least one of an image display unit, a speaker, a lighting device, a vibrator, and air conditioning equipment.
  • an illuminating device any one of a ceiling light, a pendant, a bracket, a downlight, a spotlight, a projector, a hologram, and a laser drawing apparatus can be used, for example.
  • the operation control unit 4 is a TV receiving unit
  • the TV receives a signal such as an analog television signal or a digital television signal transmitted from a TV station, a satellite broadcast receiving antenna as a source unit 1, and a cable communication terminal. Or via the Internet.
  • the signal of the channel selected by operation of the remote control as the operation part 2 is extracted among the received signals, and the extracted signal is processed to generate image data and sound data.
  • the TV displays a video on the screen based on the generated image data, and outputs sound from the speaker based on the sound data.
  • the output data is output from a TV, a VCR, a CD player, a DVD player, a BD player, a PC, a game machine, a receiver for a disaster prevention radio system, or other various electronic devices and / or a speaker. Image or sound, or controls the operation of the vibrator or air conditioning equipment.
  • the additional data generation system of the first and second embodiments described above has such a configuration, an information transmission effect is added to the output from the first output unit by the output from the second output unit. Can do. Furthermore, according to the additional data generation system of the modification of Embodiment 1, the configuration of the additional data generation system can be simplified. Further, the output of the second output unit 6 can be synchronized with the output of the first output unit 5 to prevent occurrence of a time lag.
  • FIG. 4 is an explanatory view showing an example of a living room where the first embodiment of the additional data generation system of the present invention is arranged
  • FIG. 5 shows an example of a game machine constituting the additional data generation system shown in FIG. It is explanatory drawing.
  • a TV 101 is disposed near the wall on the right side of the page
  • a sofa 102 is disposed on the left side of the sheet so as to face the TV 101
  • a table 103 is disposed between the TV 101 and the sofa 102.
  • the chairs 104 and 105 are arranged at positions facing each other in the vertical direction of the drawing. Note that the arrangement of furniture such as the TV 101, the sofa 102, the table 103, and the chairs 104 and 105 in the living room 100 is merely an example, and the present invention is not limited to this arrangement.
  • the game machine 11 is connected to the TV 101 via a wiring 11a, and a controller 21 as an operation unit is connected to the game machine 11 via a wiring 121.
  • the display screen 51 and the speaker (not shown) of the TV 101 constitute a first output unit, and the plurality of lighting devices 61 to 67 arranged in the living room 100 constitute a second output unit. .
  • the game machine 11 includes a reading unit 111 as a source unit, an arithmetic processing unit 141 as an operation control unit, and an additional data generation unit 131.
  • the reading unit 111 reads game software and output information from a recording medium (so-called “game software”) on which game software and output information indicating a plurality of output signals are recorded.
  • game software a recording medium
  • the arithmetic processing unit 141 functions as a change state detection unit that detects a change (for example, at least one of the amount and direction of change) applied to the controller 21, and is based on an operation signal from the controller 21.
  • the game software read from the game software via the reading unit 111 is executed, the output signal based on the operation signal is read from the output information via the reading unit 111, and the output signal is displayed on the display screen 51 of the TV 101.
  • the output data (here, image data and sound data) is obtained by converting into a level that can be handled by a speaker.
  • the additional data generating unit 131 analyzes the output data acquired by the arithmetic processing unit 141 and generates additional data. Similar to the additional data generation system illustrated in FIG. 2, a part that functions as the additional data generation unit 131 may be provided in the arithmetic processing unit 141, and the additional data generation unit 131 may be omitted.
  • the output data is output to the TV 101 from one output terminal 11b1 of the game machine 11, and an image is displayed on the display screen 51 based on the output data, and sound is output from the speaker of the TV 101.
  • the additional data is output from the other output terminal 11b2 of the game machine 11 to the lighting devices 61 to 67, and operation control of the lighting devices 61 to 67 is performed based on the additional data.
  • the game machine 11 and the lighting devices 61 to 67 may be connected by wiring or may be connected using wireless communication such as infrared communication.
  • the lighting devices 61 to 67 shown in FIG. 4 are configured using at least one of a red LED (Light Emitting Diode) cell, a green LED cell, and a blue LED cell, and output light of various color temperatures. LED lighting device is used. As the lighting devices 61 to 67, other colors such as a halogen lamp and other light emitting resources can be used, and it is preferable that the lighting devices 61 and 67 can be dimmed freely.
  • the lighting devices 61 to 67 may include a spotlight or a projector. Furthermore, the irradiation direction may be adjustable.
  • the four lighting devices 61 to 64 are located at the four corners of the floor of the living room 100, the lighting device 65 is located on the ceiling of the living room 100, and the lighting device 66 is a peripheral portion of the display screen 51 of the TV 101.
  • the lighting device 67 is disposed below the sofa 102. More specifically, of the four lighting devices 61 to 64, two lighting devices 61 and 62 are opposed to each other via the TV 101, and the remaining two lighting devices 63 and 64 are opposed to each other via the sofa 102.
  • the lighting device 65 disposed on the ceiling is the overall illumination of the living room 100.
  • the arithmetic processing unit 141 executes game software read from a recording medium to obtain output data corresponding to the operation. And when these output data are output to TV101, the image displayed on the display screen 51 and the sound output from a speaker change.
  • the additional data generation unit 131 analyzes output data (particularly image data) and generates a plurality of additional data for controlling the illumination devices 61 to 67, respectively. The generated additional data is output from the game machine 11 to the lighting devices 61 to 67, and the lighting devices 61 to 67 operate according to the additional data.
  • the game software executes a game in which a plurality of scenes are cleared while avoiding various obstacles, images displayed on the display screen 51 in response to an operation using the controller 21 And change.
  • the operation of the illumination devices 61 to 67 is changed in synchronization with the change of the image.
  • examples of the operation of the lighting devices 61 to 67 are dark if the state inside the cave is displayed on the display screen 51, red if the state of the underground is displayed, and the state of underwater. If it is displayed in blue, or if a clear mountain is displayed, it will be changed to bright white with a color temperature of about 5500K, etc., it will be placed on the ceiling according to the overall color of the game space displayed on the display screen. Adjust the lighting device 65. Further, in addition to such adjustment, the lighting devices 61 to 64 arranged at the four corners of the living room 100 may be operated in the same manner as the lighting device 65.
  • the lighting device 66 arranged in the periphery of the display screen 51 of the TV 101 may be adjusted in the same manner as the overall lighting according to the overall color of the game space. For example, if a scene receiving flame radiation is displayed on the display screen 51, lighting devices 61 to 64 arranged at the periphery of the display screen 51 of the TV 101, four corners of the living room 100, and a lighting device 67 arranged below the sofa 102. May emit light with a strong red color.
  • the lighting devices 61 to 64 have a built-in spotlight that can adjust the irradiation direction, emission color, etc. according to the additional data, the exit from the dark ground to the bright ground
  • the illumination direction of the spotlight is changed in synchronization with approaching the exit, and the bright area formed by the light from the spotlight is the TV 101.
  • the illumination devices 61 to 64 may be operated so as to move from a distance of the display screen 51 to the edge of the display screen 51.
  • the shadows (shape) of the enemy by the lighting devices 61 to 64 arranged at the four corners of the living room 100 are displayed. And the color of the enemy may be displayed on a place other than the display screen 51 (for example, a wall surface).
  • the lighting devices 61 to 64 that are equipped with a built-in projector are used to project the appearance of the enemy in a place other than the display screen 51.
  • the devices 61 to 64 may be operated. At this time, the lighting devices 61 to 64 may be operated so that the appearance of the enemy approaches the display screen 51 in synchronization with the progress of the game.
  • the lighting devices 61 to 64 may be operated so that the color of the enemy's head is projected onto the sofa 102.
  • the operation control of the additional data generation unit may be performed using an operation program for analyzing output data.
  • the additional data generation unit includes a storage unit that stores an operation program, and an arithmetic processing unit that executes the operation program and analyzes output data.
  • the arithmetic processing unit 141 may be used instead of the arithmetic processing means.
  • the player operates the movement of the character in the game space with the controller 21, the image on the display screen 51 of the TV 101 and the sound from the speaker change, and the TV 101 and the player in real time.
  • the ambient light can be changed.
  • the player can enjoy a high-dimensional presence as if he were in the game space, and can add an information transmission effect.
  • this example more specifically describes the additional data generation system shown in FIG. 1 in the above-described first embodiment, but other forms, for example, the additional data generation system shown in the above-described second embodiment ( By referring to FIG. 3, it is possible to obtain an additional data generation system that performs the same operation as that of this embodiment.
  • the detection unit 7 includes an image detection system including an image monitoring camera that monitors the display screen of the TV constituting the first output unit 5, and the additional data generation unit 8 stores an operation program.
  • the storage means and arithmetic means for executing this operation program to perform arithmetic processing to generate additional data based on the detection result, and the other parts are configured in the same manner as the additional data system shown in FIG.
  • the additional data generation unit 8 executes the operation program to analyze the output signal of the detection unit 7 and display characteristic elements (for example, color, color) in the image displayed on the TV display screen. Brightness, object, etc.) are extracted, and additional data is generated based on the extracted characteristic elements.
  • display characteristic elements for example, color, color
  • Example 2 shows the other example of the illuminating device which comprises the additional data production
  • FIG. Compared with the additional data generation system shown in the first embodiment, the lighting device arranged in the periphery of the display screen of the TV is changed, and the other parts are configured in the same manner as the additional data system shown in the first embodiment. Has been.
  • FIG. 6 is an explanatory view showing Embodiment 2 of the additional data generation system of the present invention, and shows only the display screen of the TV and the lighting device arranged in the peripheral portion of the display screen.
  • the illumination device 266a disposed at the edge of the display screen 251 of the TV 201 is, for example, a display unit, a projector, or a projector screen in which a plurality of RGB three types of LEDs are arranged.
  • output data (image data and sound data) is generated by the arithmetic processing unit of the game machine in accordance with the operation of the controller by the player, and the operation program stored in the storage means of the additional data generation system is arithmetically processed.
  • additional data based on the image data is generated, and an image originally displayed in the display screen 251 of the TV 201 is displayed in an area composed of the display screen 251 and the lighting device 266a, and at the same time, other data
  • the lighting devices (lighting devices 61 to 65 and 67 in FIG. 4) are operated in the same manner as in the first embodiment.
  • an image having a resolution lower than that of the display screen 251 and higher than the output of the lighting devices 61 to 64 can be displayed on the lighting device 266a.
  • the lighting devices 61 to 64 pass from the display screen 251 through the lighting device 266a.
  • the resolution can be changed step by step up to.
  • the same effect as in the first embodiment can be obtained without making the image screen 251 feel a break in the image.
  • the recognition ability of the human visual function becomes lower as the distance from the center of the screen decreases, the sense of reality can be enhanced even if the resolution of the image or illumination displayed on the outside of the display screen 251 is reduced, and the information transmission effect is improved. Can be added.
  • an image including the car 211 as an object is displayed on the display screen 251.
  • the car 211 is traveling in a state where the headlight 211a is turned on toward the left in the drawing. Furthermore, a white glowing image indicating the light output from the headlight 211a is displayed in the area A of the lighting device 266a, and the background of the car 211 is displayed in the other areas. Further, on the outside of the lighting device 266a, a head is placed in a region B (for example, a space, a projector screen or a wall behind the TV) that is continuous with the region A by an output from at least one of the lighting devices 61 to 64. Light or an image shining white is displayed so that the light output from the light 211a is extended.
  • the illuminating device that performs output to at least the region B includes a spotlight or a projector, or has a built-in spotlight or projector. Is preferably output.
  • the lighting devices 61 to 64 transmits the enemy's shadow or color light (or image) to the wall behind the TV, etc.
  • the enemy's shadow or color light (or image) is brought close to the TV display screen, the enemy's shadow or color light (or video) is applied to the lighting device 266a.
  • Some of the lighting devices 266a perform an operation of projecting and reproducing an image of an enemy's shadow or color (initially only a part).
  • the operation control unit generates image data and sound data in accordance with the operation of the controller, and based on the image data, the operation program stored in the recording means constituting the additional data generation system is stored in the additional data generation system.
  • the additional data for controlling the operation of the lighting devices 266a, 61 to 64 may be generated by the calculation means constituting the above. By performing such an operation, it is possible to further increase the presence of the enemy approaching and to add an information transmission effect.
  • the operation control unit when a person is included as an object in the image displayed on the display screen, the facial expression of the person is recognized, and the lighting devices 266a and 61 to 64 are matched to the recognition result.
  • the output may be controlled.
  • the operation control unit generates image data and sound data in accordance with the operation of the controller, and based on the image data, the operation program stored in the recording means constituting the additional data generation system is stored in the additional data generation system.
  • the additional data for controlling the operation of the lighting devices 266a, 61 to 64 may be generated by the calculation means constituting the above. By performing such control, it is possible to increase the thickness of the emotional expression of the image.
  • the additional data creation system may recognize the facial expression of a person by analyzing the output signal output from the source unit, or from a detection unit (see FIG. 3) that monitors the display screen. May be used to recognize the facial expression of a person.
  • Example 3 a third embodiment of the additional data generation system of the present invention will be described with reference to the drawings.
  • a description will be given of a case where a surround speaker system is added to the additional data generation system (see FIG. 4) shown in the first embodiment. That is, the additional data generation system shown in the first embodiment configures the second output unit only by the lighting device, but the additional data generation system of the present embodiment configures the second output unit by the lighting device and the surround speaker system. is doing.
  • FIG. 7 is an explanatory diagram showing an example of a living room in which the third embodiment of the additional data generation system of the present invention is arranged, and the same reference numerals are given to the same parts as the additional data generation system shown in FIG. .
  • the left and right ends of the display screen 51 of the TV 101 are viewed from the positions where the surround speakers 361 to 364 of 4ch (channels) together with the lighting devices 61 to 64 are located at the four corners of the living room 100.
  • the left and right front speakers 365 and 366 have a center speaker (not shown) at the center of the lower end when viewed from the position of the display screen 51 facing the display screen 51, and outputs a low-frequency sound near the center speaker.
  • Subwoofers 367 are respectively arranged. That is, the surround speakers 361 to 364, the front speakers 365 and 366, the center speaker and the subwoofer 367 constitute a 7.1ch surround speaker system.
  • the additional data generation unit arranged in the game machine 11 analyzes the image data and the sound data generated by the signal processing unit (not shown) in the game machine 11, and the lighting devices 61 to 67, A plurality of additional data (sound data) for controlling the surround speakers 361 to 364, the front speakers 365 and 366, the center speaker and the subwoofer 367 are generated.
  • the additional data generation system of the present embodiment includes a surround speaker system, and the additional data generation unit generates additional data for controlling the surround speaker system as well as the lighting devices 61 to 67.
  • Other configurations are the same as those of the additional data generation system shown in FIG.
  • the controller 21 held in the player's hand a controller having a built-in acceleration sensor for detecting a change applied to the main body of the controller 21 is used.
  • the controller 21 may further include a hand speaker 21a that outputs a sound for enhancing a sense of presence as a second output unit constituent member.
  • the controller 21 outputs an operation signal to the game machine 11 according to the change state (at least one of the change amount and the change direction) detected by the acceleration sensor.
  • output data and additional data are generated by reading game software by a reading device and performing arithmetic processing by a signal processing unit based on an operation signal.
  • the display screen 51 of the TV 101 constituting the first output unit and the speaker each output an image or sound
  • the system (surround speakers 361 to 364, front speakers 365 and 366, center speaker and subwoofer 367) and the hand speaker 21a selectively output any one of light, video and sound.
  • the output based on the additional data for example, when the game software is to execute a baseball game, immediately after the pitcher displayed in the display screen 51 throws the ball, For example, sound effects are generated from the front speakers 365 and 366 as if the ball flew from the front (display screen 51 side). By outputting such sound effects, the sense of reality can be further enhanced.
  • Such a sound effect may be output from the hand speaker 21a, and a sound effect such as a cheer from the stand may be output from the surround speaker system. Furthermore, when the batter stands on the main board in the game space or when a return point enters the main board, an image is displayed on the display screen 51 and a sound effect such as the actual condition of the announcer is output from the center speaker or the like. Sound effects such as cheers from the stand may be output from the surround speaker system. Also in this case, light brighter than usual may be output from the lighting devices 61 to 67 so as to blink. By outputting such sound effects and light, a sense of reality can be further enhanced.
  • the controller 21 when the game software is for performing a simulated performance of a guitar, when the player swings the controller 21 with the wrist snap applied so as to perform the stroke performance, the controller For example, a guitar sound is output from the hand speaker 21 a in accordance with the movement of the hand 21. In this way, by outputting the sound from the speaker 21a for hand, it is possible to obtain a sense of presence as if actually playing a guitar.
  • the controller 21 when the game software is for performing an orchestra simulation, when the player swings the controller 21 while applying the wrist snap so that the player conducts the command, the controller 21 The number or type of musical instruments (number of sounds) to be played is changed according to the direction of the music, and the rhythm of the performance is also changed according to the rhythm to be swung.
  • the orientation of the controller is determined by sensing the infrared LEDs arranged at the upper end of the display screen 51 with the infrared sensor of the controller.
  • the speaker of the TV 101 not only the speaker of the TV 101 but also the surround speaker system (mainly the surround speakers 361 to 364) outputs sound, thereby improving the sense of reality. Further, a speaker that outputs sound may be switched depending on the instrument type.
  • the direction in which the player can hear the sound can be made different depending on the instrument type.
  • orchestra pseudo-performance a plurality of types of musical instruments are simulated, so that an image showing the type of musical instrument being played is displayed on the display screen 51.
  • the additional data generation system shown in the first embodiment includes the lighting device and the surround speaker system, and the second output unit is configured.
  • the additional data generation system of the present embodiment has the lighting device, the surround speaker system, and the hand speaker.
  • the vibrator constitute a second output unit.
  • FIG. 8 is an explanatory view showing an example of a living room in which the embodiment 4 of the additional data generation system of the present invention is arranged, and the same parts as those in the additional data generation system shown in FIG. .
  • the additional data generation system of the present embodiment is characterized in that the controller 21 has a built-in vibrator 21b, and that the additional data generation unit also generates additional data for controlling the vibrator 21b. Is the same as the additional data generation system shown in FIG.
  • the hand speaker 21a of the controller 21 The sound effect is generated at the same time, and at the same time, the vibrator 21b is vibrated short and sharply as if the ball hits the bat actually held by the hand. By outputting such sound effects and vibrations, it is possible to realize a sense of presence as if the ball was actually hit with a bat.
  • the game software when the game software is for performing a simulated performance of the guitar, when the player swings the controller 21 so as to perform the guitar performance, the guitar from the hand speaker 21a is used. At the same time that the sound is output, the vibrator 21b is vibrated finely as if it actually touched the string. By outputting such guitar sounds and vibrations, it is possible to realize a sense of realism as when actually playing a guitar.
  • FIG. 9 is an explanatory diagram illustrating an example of a living room in which the first modification of the additional data generation system according to the fourth embodiment of the present invention is arranged.
  • the same reference numerals are given to the same parts as those of the additional data generation system illustrated in FIG. It is attached.
  • This additional data generation system is characterized in that the controller 21 is provided with a display device 21c, and that the additional data generation unit also generates additional data for controlling the display device 21c.
  • the additional data generation system shown in FIG. That is, here, lighting devices 61 to 66 arranged in the living room 100, a surround speaker system (surround speakers 361 to 364, front speakers 365 and 366, a center speaker and a subwoofer 367), a hand speaker 21a, a vibrator 21b, and a display device 21c constitutes a second output unit.
  • the display device 21c can display information composed of figures, characters, or the like, or can change a light emission color and / or light emission pattern.
  • a liquid crystal display device an LED composed of RGB LEDs It is a light emitting device comprising at least one LED of a display device or RGB LEDs.
  • the TV 101 There is a method of outputting a sound from a speaker or a surround speaker system and at the same time displaying a level indicating the degree of completion of the command on the display device 21c.
  • the display device 21c may indicate the level by displaying specific information, or may indicate the level by the intensity of light emission or the number of lighting.
  • a controller 21 that does not include the local speaker 21a and the vibrator 21b may be used.
  • FIG. 10 is an explanatory diagram showing an example of a living room in which the modified example 2 of the embodiment 4 of the additional data generation system of the present invention is arranged.
  • the same reference numerals are given to the same parts as the additional data generation system shown in FIG. It is attached.
  • This additional data generation system is characterized in that an air conditioning system 461 is provided in the living room 100, and that the additional data generation unit also generates additional data for controlling the air conditioning system 461.
  • This is the same as the additional data generation system shown in FIG. That is, here, the lighting devices 61 to 66 arranged in the living room 100, the surround speaker system (surround speakers 361 to 364, front speakers 365 and 366, the center speaker and subwoofer 367), and the hand speaker 421b1 (the hand in FIG. 8).
  • a vibrator 421b2 having a structure similar to the vibrator 21b in FIG. 8) and an air conditioning system 461 disposed on the ceiling of the living room 100. 2 output part is comprised.
  • the controller includes a main controller 421a disposed on the floor and a sub-controller 421b held at the player's hand.
  • the main controller 421a and sub-controller 421b and the game machine 11 are connected by a wireless communication system using optical signals such as infrared rays, and transmission / reception of signals such as operation signals and additional data is performed by this wireless communication. This is done via a communication system.
  • the main controller 421a includes various sensors that detect the timing of the weight movement, the movement direction, the movement amount, and the like when the player moves the weight while standing on the main controller 421a. An operation signal is generated based on the above.
  • the sub-controller 421b includes an acceleration sensor that detects the timing, direction, amount, and the like of the player when the player swings as if making stock. It is what happens.
  • the sub-controller 421b also includes a hand speaker 421b1 and a vibrator 421b2.
  • the output based on the additional data implemented in the additional data generation system having such a configuration for example, a player standing on the main controller 421a and holding the sub controller 421b by hand displays the TV 101. While watching the image of the ski area displayed on the screen 51, when moving the weight on the main controller 421a and swinging the sub controller 421b as if actually skiing according to this image, the game Cold air that has been adjusted in strength according to the speed of sliding on the slope in the space is blown toward the player from the air conditioning system, and the vibrator 421b2 vibrates each time the stock is attached in the game space, and the speaker 421b1 for the hand turns into snow. The sound when the stock is attached is output There is. By outputting such air, sound, and vibration, the sense of reality can be improved.
  • the lighting devices 61 to 64 perform an illumination effect or image display as if a snowy mountain landscape flows from the front to the back around the player, and sound from the surround speakers 361 to 364 is output. In this case, the presence can be further improved.
  • Embodiment 5 of the additional data generation system of the present invention will be described with reference to the drawings.
  • the present example more specifically describes the additional data generation system shown in FIG. 1 in the first embodiment.
  • the operation control unit and the additional data generation unit constituting the additional data generation system shown in FIG. 1 are realized by one arithmetic processing unit.
  • FIG. 11 is an explanatory diagram showing an example of a game machine that implements the fifth embodiment of the additional data generation system of the present invention.
  • a pachinko machine is shown as an example of a game machine, but it may be a slot machine, for example.
  • the pachinko machine 500 is a source unit, and is a reading unit (not shown) that reads the control program and control data from a recording medium that stores the control program and control data of the pachinko machine 500, and an operation unit.
  • An arithmetic processing unit (not shown) that controls basic operations of the pachinko machine 500 based on the changing state of the pachinko machine 500 and also controls additional operations of the pachinko machine 500, a first output unit described later, And an output unit also serving as a second output unit.
  • the first output unit and the second output unit that individually constitute the additional data generation system shown in FIG. 1 are realized by the same output unit without providing them separately.
  • the pachinko machine 500 includes a plurality of types of output units. Specifically, the display device 551 provided at the center of the surface of the pachinko machine 500, speakers 552a and 552b that output sound, and the edges of the pachinko machine 500 The lighting device 553 arranged in the section is provided.
  • the pachinko ball 501 fired in accordance with the operation of the adjustment dial 521 changes its advancing direction from the upper part of the surface 502 of the pachinko machine table 500 downward to the obstacle 503 such as nails. Fall. Since the pachinko ball 501 generates sound and vibration due to the fall, the pachinko ball 501 itself also constitutes an output unit. However, the operation of the pachinko ball 501 is not controlled by the arithmetic processing unit, but is different from the configuration of the additional data generation system shown in FIG. 1 in that it is controlled by the operation of the adjustment dial 521.
  • the calculation is performed according to the state (for example, the pachinko ball 501 passes through a predetermined portion) when the pachinko ball 501 launched by operating the adjustment dial 521 falls on the surface of the board surface 502.
  • Image data, sound data, and operation control data for controlling the operation of the display unit are changed by the processing unit executing the control program.
  • basic operation changes such as an image displayed on the display device 551, sound output from the speakers 552a and 552b, and an illumination pattern and color of the illumination device 553 are implemented.
  • additional operations change according to the state of the pachinko ball 501 launched by the operation of the adjustment dial 521.
  • additional operation changes such as the lighting state of the lighting device 553 and the image displayed on the display device 551 are changed, and the reach is close. It is shown.
  • the lighting device is not limited to the lighting device 553 shown in FIG. 11.
  • the lighting device is provided on another part of the edge of the pachinko machine 500, or is provided on an obstacle 503 such as a nail. , And at least one of those provided on the surface of the board surface 502 may be further included.
  • a plurality of pachinko ball detection devices (not shown) and a plurality of illumination devices (not shown) arranged in a portion through which the pachinko balls 501 on the surface of the board surface 502 can pass (hereinafter also simply referred to as “passing portions”). (Not shown) may be further included.
  • a lighting device disposed in the vicinity of the one pachinko ball detection device is turned on, thereby causing the pachinko ball 501 to turn on.
  • An illumination pattern like a comet tail that emphasizes the trajectory of the ball 501 is realized.
  • Example 6 a sixth embodiment of the additional data generation system of the present invention will be described. This example more specifically describes the additional data generation system shown in FIG. 1 in the first embodiment. However, the additional data generation unit constituting the additional data system shown in FIG. 1 is provided in the operation control unit.
  • interactive television is a service that allows information to flow bidirectionally between broadcasters and viewers.
  • Such interactive television is realized by using digital broadcasting or cable television (CATV).
  • CATV cable television
  • This TV is a source unit, which uses a communication terminal that receives a bidirectional TV signal transmitted from a TV station to a viewer, an operation unit that uses a remote controller operated by the viewer, and the remote controller.
  • An operation control unit that obtains image data and sound data of a channel selected by an operation from a signal received by a communication terminal, and generates additional data based on the image data and sound data, and a first output unit,
  • a display screen that outputs image data, a speaker that outputs sound data, and a second output unit that includes an illumination device that operates based on the additional data and an additional speaker.
  • the illumination device that operates based on the additional data includes, for example, the illumination devices 61 to 65 shown in FIG. 7.
  • the additional speaker a speaker provided on the remote control or a speaker arranged near the viewer is used. I have.
  • a specific example of the output based on the additional data in such a case is that the lighting device arranged in the living room becomes dark when the correct answer is announced.
  • the operation control unit analyzes the image data obtained from the signal transmitted from the television station, and generates additional data that darkens the lighting device at the timing when the image data for presenting the correct answer is obtained.
  • a sound indicating a correct answer such as a fanfare is output from the additional speaker and the lighting device shines brightly in white.
  • the additional data is generated so that only the illumination device of the above shines red.
  • the correct answer number obtained from the image data is compared with the remote controller number pressed by the viewer, and the additional data is generated based on the determination result.
  • an operator sensor is added to the additional data generation system shown in the first or second embodiment.
  • the operator sensor is a sensor for monitoring physical information attached to the body of an operator such as a player or a viewer.
  • the pulse sensor fixed on a finger, wrist, ankle or face, the body It consists of a plurality of sensors that detect oxygen concentration, blood pressure, sweating, respiratory rate, line of sight, and the like.
  • this sensor may be incorporated in the operation part, and it may be comprised so that an operator can measure by holding an operation part.
  • the detection result is input to the additional data generation unit.
  • the additional data generation unit determines whether or not the operator is in a tension state based on the detection result. When the operator is in a tension state, the additional data generation unit switches the additional data to one for relieving the tension state.
  • the operation control unit instead of inputting the detection result of the operator sensor to the additional data generation unit, the operation control unit inputs the detection result, and based on the detection result of the operator sensor, the operation control unit controls the operation of the additional data generation unit. Also good. Further, an additional data generation unit may be provided in the operation control unit.
  • FIG. 12 is an explanatory diagram showing an embodiment in which an operator sensor is added to the additional data generation system shown in FIG.
  • the output of the operator sensor 602 is input to the additional data generation unit 3, and the other configuration of the additional data generation system is the same as that of the additional data generation system shown in FIG. Therefore, detailed description is omitted.
  • the operator's tension state is constantly monitored. can do.
  • the operator's pulse When performing such monitoring, the operator's pulse will be higher than the preset level, blood pressure will be higher or lower, there will be sweating, the respiratory rate will be rough, etc.
  • the additional data generated by the additional data generation unit 3 is switched to one that relaxes the tension state, and the output of the second output unit is switched.
  • the second output unit includes an illumination device and an additional speaker
  • the illumination device emits light in a bright and relaxing color, or the additional speaker is switched to an OFF (off) state.
  • the additional data for relieving the tension is set and stored in advance.
  • the additional data generation system of this example it is possible to improve the sense of reality in the same way as the additional data generation system shown in the first embodiment or the second embodiment, and when the operator is in a tension state. Can relieve the operator's excessive stress by switching the additional data to one for relieving tension.
  • the first output unit 5 is not limited to broadcasting a television program or reproducing a DVD image, and an additional data generation system as described above may be mounted on a game machine, for example.
  • an additional data generation system as described above may be mounted on a game machine, for example.
  • the light output from the lighting device can be relaxed, for example,
  • the additional data generation unit generates additional data that can be switched or the volume of the additional speaker can be reduced or turned off.
  • the motion control unit may adjust the difficulty level of the game based on the detection result of the operator sensor. In this case, when it is determined that the player's impatience is higher than a preset level, the operation control unit performs control to reduce the difficulty level of the game.
  • the additional data is switched when the detection result by the operator sensor indicates that it is not in a tension state, for example, using the surround effect of the surround speaker system.
  • a threshold value (numerical value or numerical range such as an upper limit value) is set only for at least a part of the detection results obtained by the sensor (for example, heart rate and blood pressure), and the detection result is compared with this threshold value. If it does not exceed, the surround effect of the surround speaker system is adjusted so that the footsteps of the enemy can be heard from the back of the player, the subwoofer is sounded unstable, and the brightness of the light output from the lighting device is adjusted. There are things such as extremely darkening or limiting the hue. Furthermore, when the detection result exceeds a threshold value, a relaxing environment is realized by switching the additional data to turn off the output of the surround speaker system or brighten the tone of light output from the lighting device. .
  • the operator's environment is adjusted by changing the output of the lighting device and the surround speaker system by switching the additional data according to the detection result by the operator sensor.
  • the output based on the additional data generated in such an additional data generation unit for example, when the operator is feeling depressed (that is, the detection result by the operator sensor is shallow in breathing, When the content indicates at least one of sighing and line of sight), the light output from the lighting device is adjusted brightly within a range where the operator can relax, While the TV program is switched to commercials, the surround speaker system automatically outputs relaxing music for the operator.
  • the operator's physical condition suddenly changes (that is, the detection result by the operator sensor indicates at least one of a sudden change in blood pressure and pulse rate, occurrence of arrhythmia, intense sweating, etc.) )
  • Adjusting the lighting device arranged on the ceiling to a normal state turning off the lighting device other than the lighting device arranged on the ceiling and the speaker constituting the surround speaker system, and then turning off the center speaker, etc.
  • There is also an output of an announcement that calms the operator's physical condition for example, a message that encourages a person to take a deep breath or sit on a sofa).
  • the health status of the operator holding the operator sensor can be backed up, and as a result, the additional data generation system can improve the sense of reality with the health first. It can be used as a system.
  • the additional data generation system including the above-described operator sensor is configured to feed back (input) the detection result from the operator sensor to the source unit itself and switch the output signal output from the source unit.
  • it is more preferable to feed back to the operation control unit or the additional data generation unit.
  • the additional data generation system of the present embodiment is configured such that the second output unit arranged in the operation unit also functions as the operation unit. That is, the output based on the additional data is indirectly used for the operation by the operator.
  • the display device 21c includes an infrared LED and an infrared sensor, and when the player performs an operation of blocking the output by holding a finger or the like above the display device 21c for a preset time, the operation is performed as the infrared light.
  • the sensor detects it.
  • the detection result is input to an arithmetic processing unit as an operation control unit, and the arithmetic processing unit controls the operation of the game machine 11 based on the detection result.
  • operation control based on the detection result, when the player holds a finger over the display device 21c for a preset time (for example, 1 second or more), the game machine 11 is temporarily stopped and a data storage operation is performed. There is something like this.
  • the operation can be simplified, and an environment-friendly form can be realized by suppressing wasteful power consumption.
  • the additional data generation system of the present embodiment is configured such that the operator sensor also functions as an operation unit.
  • the line-of-sight sensor that detects the line of sight of the operator is also functioned as the operation unit.
  • the line-of-sight sensor is attached to a glasses-type support frame, and it is possible to know which position on the display screen of the TV or the like the operator is viewing.
  • the additional data generation system detects this operation with the gaze sensor when the operator performs a preset operation while wearing the gaze sensor.
  • the detection result is input to an arithmetic processing unit as an operation control unit, and the arithmetic processing unit controls the operation of the TV based on the detection result.
  • operation control based on the detection result, the operator blinks after gazing at a preset time (for example, 2 seconds or more) in a program column of a program to be reserved for recording in a program guide displayed on a TV display screen.
  • a preset time for example, 2 seconds or more
  • the operation control unit when the operation control unit recognizes that the operator has not seen the display screen of the TV for a certain period of time based on the detection result of the line-of-sight sensor, the TV is turned off.
  • Output data image data and / or sound data
  • the additional data generation unit generates additional data for prompting the TV to be turned off based on the output data output from the operation control unit, and outputs the additional data to the second output unit. May be.
  • the additional data generation system of the present embodiment it is possible to realize a more convenient life by further simplifying the operation and to realize an environment-friendly life because unnecessary power consumption can be suppressed. .
  • the receiver for the disaster prevention radio system is a source unit, an emergency signal receiving unit that extracts an emergency signal from signals transmitted from a television station, and an operation unit that detects an evacuation status of the operator.
  • an emergency signal is transmitted from a television station in the event of an earthquake, typhoon or tsunami, and operation control is performed when this emergency signal is taken out by the emergency signal receiver.
  • Unit turns the TV power ON (or interrupts the image and sound being output on the TV) and outputs emergency information from the TV display screen and speakers, and the receiver body for the disaster prevention radio system
  • the light emitting element portion arranged in the light emitting element emits red light.
  • the detection result of the operator detection sensor is in a state where output data for outputting emergency information is output from the operation control unit as in the above-described operation example.
  • the additional data generation unit generates additional data and outputs evacuation recommendation information from the second output unit.
  • Specific examples of the output indicating the evacuation recommendation information include switching the color of light output from the lighting device every second, or outputting a sound indicating the evacuation recommendation information from the surround speaker system at a high volume. This output may continue to flow while a state that requires condemnation continues, and preferably continues to flow while a person is in the room.
  • the contents of the accused form and the evacuation recommendation information differ depending on the accused information.
  • the operator sensor may be disposed in an operation unit such as a TV remote controller.
  • the additional data generation unit analyzes the output data to the first output unit and generates additional data, as in the additional data generation system shown in the first embodiment.
  • the second output unit may be operated according to the data. Thereby, a higher sense of presence can be added to the output of the TV.
  • the output based on the output data and the additional data can be appropriately changed according to the state of the operator and the setting performed in advance by the operator, and is not limited to the above-described one. .
  • the operation signal output from the operation unit is input to the operation control unit, but this operation signal may be input to the source unit.
  • the output signal from a source part can be switched according to operation using an operation part. Therefore, when the operation signal is output to the source unit, the output data can be changed reliably.
  • Examples 1 to 10 described above more specifically show Embodiments 1 to 3, and do not limit the present invention. That is, the additional data generation system of the present invention is not limited to the forms shown in the first to tenth embodiments, and other alternative embodiments can be designed without departing from the scope of the claims.
  • the additional data generation system of the present invention can be utilized when an information transmission effect is given to the output of the output device installed in the living room at home.

Abstract

 付加データに基づく出力によって出力データに基づく出力に情報伝達効果を付加することができる付加データ生成システムを提供する。  出力信号を供給するソース部1と、前記出力信号から出力データを得る動作制御部4と、前記出力データに基づく出力を実施する第1出力部5と、前記第1出力部からの出力の特徴的な要素を強調する付加データを生成する付加データ生成部3と、前記付加データに基づく出力を実施する第2出力部6と、前記出力データを変化させる操作信号を前記動作制御部へ出力する操作部2とを備える。

Description

付加データ生成システム
 本発明は、画像データ及び/または音データ等の出力データに基づく出力に情報伝達効果を付加する付加データ生成システムに関するものである。
 近年、TV(television)の高画素化や高性能化に伴い、家庭においてもTV及びそれを取り囲むシステムによりリアルさを求める方向へと転換しつつある一方、通信網も発達してきて双方向TV放送や災害の緊急情報等も配信されるようになっている。
 さらに、前記高画素化や高性能化に伴って、家庭で使用されるゲーム機に関してもゲーム機の画面に映し出された画像の動きや画像自体がより緻密なものへと進化してきており、これによって、ゲーム機の操作手段に関しても多様な動きを伴う入力操作を取り扱うものへと進化を遂げている。
 また、映画ソフトの記録媒体もDVD(digital versatile disc)からBD(bul-ray disc)へと移行しつつあり、より高精細で高品質の映像・音響をデータとして収録できるようになった。
 前述したような転換や進化等によって、TVやゲーム機を使用する際には臨場感を高めることが必要とされている。
 このような臨場感を高めるための補助システムの一従来例として、特開2000-173783号公報に開示されている照明装置がある。この照明装置は、画像表示装置が存在する空間に配置された複数の照明の明るさや色を、配置されている位置(有効視野、誘導視野または補助視野)別に画像表示装置の画面に基づいて好ましいと推測される状態に制御することによって、画像表示装置の画面に表示される画像の臨場感を高めたものである。
 また、前記補助システムの他の従来例として、特開2007-25111号公報に開示されている画像呈示システムがある。
 図13は、従来の画像呈示システムの一例を示す説明図である。
 この画像呈示システムは、撮影時に、有効視野に呈示する主たる映像とともにこの主たる映像の周辺の画像情報も取得しておき、有効視野映像を呈示する表示手段1001と、周辺映像または周囲光照明を呈示する表示手段1002とにより撮影した映像を再生することによって、実際の状態に近い臨場感をもって有効視野の映像を視聴するといったものである。
 さらにまた、前記補助システムの他の従来例として、特表2005-531908号公報に開示されている照明ユニットがある。
 図14は、従来の照明ユニットの一例を示す説明図である。
 この照明ユニットは、ビデオ信号に基づく画像を表示する表示装置が配置されている空間(居間)2010に複数の光素子2001~2004を配置し、前記ビデオ信号に基づき各画像フレーズの平均の色、顕著な色または画像フレーズの隅の色を解析したり、各映像フレーム中のオブジェクトについて(特に、このオブジェクトが顔であるときにはその表情についても)解析したりして、前記光素子2001~2004の光を設定する際に用いることによって、鑑賞者の環境を高めるといったものである。
 また、前記補助システムを搭載した製品の一従来例として、Ambilight(フィリップス社製の照明システム)がある。このAmbilightは、画面に表示される映像の色情報を分析して、その色調で部屋を間接照明するといったものである。例えば、液晶TV等のフラットTVにAmbilightを搭載した場合、画面上下左右端辺部の裏側に照明装置としてRGBのLED(赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードから構成された発光ダイオード)が配置されており、画像中の代表色とLEDの色調とを同調させることによって臨場感を高めるといったものである。具体的には、画面に夕焼けのシーンが表示されているときにはオレンジ色に、新緑のシーンが表示されているときには緑色にLEDの色調が制御される。
特開2000-173783号公報 特開2007-25111号公報 特表2005-531908号公報
 しかしながら、前述した特開2000-173783号公報に開示されている照明装置やAmbilightによれば、画面全体の平均色度及び平均輝度、または代表色に基づいて鑑賞空間や有効視野(正面から約±15°の範囲の視野)に配置された照明の輝度及び色度を制御しているため、元の映像情報データを直接利用しておらず画面に表示されている映像の詳細な内容や画面端辺部の色調等が反映されず、臨場感を増すための効果的な照明を呈示できない場合があるといった問題があった。
 例えば、暗いトンネルを抜けていくシーンが表示されているときには、トンネルを抜け切る前に鑑賞空間や有効視野に配置された照明が白色のような明るい色調に制御されてしまうため、黒色表示の画面端辺部と白色に制御された画面周辺部の照明との間に色彩的な差が生じてしまう。さらに、画面全体の平均色度及び平均輝度、または代表色に基づいて照明を制御するための信号を生成する必要があるため、画面の表示と照明の制御との間に時間的なずれが生じてしまう場合がある。
 また、特表2005-531908号公報に開示されている照明ユニットによれば、ビデオ信号を解析することによって、各画像フレームの平均色や最も顕著な色、または画像フレームの隅の色、もしくは画像フレーム中のオブジェクトに基づいて照明の色や点滅パターン等を制御しているため、画面の詳細な表示内容と照明とを同調させることができないといった問題があった。
 前述した特開2007-25111号公報に開示されている画像呈示システムは、このような問題を解決するものであるが、映像情報データの生成側において、有効視野の映像を撮影する際に、周辺映像または周囲光照明を生成するために必要となるパノラマ画像データ等の情報も同時に取得しておき、映像情報データの再生側において、有効視野の他に周辺視野(正面から約±15°より外側の範囲の視野)にも映像または照明を呈示している。そのため、前記画像呈示システムには、映像情報データの生成側にパノラマ画像データ等の情報を取得するための手段(全方位カメラ)を備える必要があるといった問題があった。
 本発明はかかる問題点を解決すべく創案されたもので、その目的は、画像データ及び/または音データ等の出力データに基づく出力に際し、その出力の特徴的な要素を強調する付加データを生成し、当該付加データに基づく出力によって前記出力データに基づく出力に情報伝達効果を付加することにある。
 上記課題を解決するため、本発明の付加データ生成システムは、出力信号を供給するソース部と、前記出力信号から出力データを得る動作制御部と、前記出力データに基づく出力を実施する第1出力部と、前記第1出力部からの出力の特徴的な要素を強調する付加データを生成する付加データ生成部と、前記付加データに基づく出力を実施する第2出力部と、前記出力データを変化させる操作信号を前記動作制御部へ出力する操作部とを備えるものである。
 これにより、第2出力部での出力によって第1出力部での出力に情報伝達効果を付加することができる。
 また、前記データ生成部は、前記出力データを解析して前記付加データを生成するものであってもよい。具体例としては、前記データ生成部は、前記動作制御部が出力した前記出力データを解析して前記付加データを生成するものであってよい。
 また、前記データ生成部は、前記動作制御部に備えられていてもよい。この場合、前記データ生成部は、前記動作制御部が得た前記出力データを解析して前記付加データを生成するものであってもよい。
 また、本発明の付加データ生成システムは、さらに、前記第1出力部からの出力を監視する検出部を備えていてもよく、前記付加データ生成部は、前記検出部での検出結果に基づいて前記付加データを生成するものであってもよい。
 また、前記第2出力部は、前記第1出力部からの出力を鑑賞する領域の周辺部を取り囲むように配置された複数の照明装置を備えてなるものであってもよい。
 この場合、第2出力部の出力によってサラウンド効果を得て、臨場感をより向上することができる。
 また、前記照明装置は、赤色LEDセル、緑色LEDセル及び青色LEDセルのうちの少なくとも1つを用いて構成されており、種々の色温度の光を出力するLED照明装置であってもよい。
 この場合、複数の色温度光源によって単色白色のみならず、様々な色の光を出力することができる。また、LEDを用いているため低消費電力で長寿命の照明装置を実現できる。
 また、前記照明装置は、シーリングライト、ペンダント、ブラケット、ダウンライト、スポットライト、プロジェクター、ホログラム及びレーザー描画装置のうちのいずれか1つであってもよい。
 この場合、様々な種類の照明機器を用いて光の出力を制御することができ、より高次の臨場感を実現できる。
 また、前記ソース部は、通信網を介してテレビ局、画像配信会社または音楽配信会社から配信された情報を受信することが可能な通信端末機、もしくは各種電子機器の動作制御を行うためのプログラム及びデータを格納した記憶媒体から前記プログラム及びデータを読み出す読取装置であってもよい。
 この場合、さまざまなコンテンツを臨場感を高めた状態で再生(鑑賞)することができる。
 また、前記付加データ生成部は、前記出力データの変化に同調して付加データを変化させるものであってもよい。
 この場合、第1出力部からの出力である画像や音の変化に、付加データに基づく出力の変化が同期または追随するため、より高次の臨場感を実現できる。
 また、前記操作部が、TV、VCR、CDプレーヤ、DVDプレーヤ、BDプレーヤ、PC、ゲーム機または遊戯装置のコントローラまたはリモートコントローラ、操作者の身体情報をモニタするセンサまたはアイテム、もしくは防災無線システム用受信機を構成する操作者検出センサであってもよい。
 この場合、出力データを容易に変化させることができる。
 また、前記操作部は、前記出力データを変化させる操作信号を前記動作制御部に出力するものであり、当該動作制御部は、操作信号に基づいて出力する出力信号を変化させるものであってもよい。或いは、前記操作部は、前記出力データを変化させる操作信号を前記ソース部に出力するものであり、当該ソース部は、操作信号に基づいて出力する出力信号を変化させるものであってもよい。
 前記操作信号を動作制御部に出力する場合には、ソース部の構成や配置に関らず操作部の形態や操作方法等を独立して変更することができ、多種多様な形態の操作部を実現することができる。一方、前記操作信号をソース部に出力する場合には、出力データを確実に変化させることができる。
 また、前記出力データは、画像データを含んでなるものであり、前記付加データは、画像データから抽出された特徴的な要素である画像の明るさ、画像に含まれる色、及び画像に含まれるオブジェクトのうちの少なくとも1つに基づいて生成されるものであってもよい。
 この場合、出力データから得られた詳細な情報に基づいて付加データを生成することができ、より確実に臨場感を高めることができる。
 また、前記出力データは、画像データを含んでなるものであり、前記第1出力部は、前記画像データに基づいて画像を表示する表示画面を含んでなるものであり、前記検出部は、表示画面を監視する画像監視カメラを備えた画像検出システムであってもよい。
 この場合、出力から得られた詳細な情報に基づいて付加データを生成することができ、より多様な形態で付加データ生成システムを構成することができる。
 また、前記第2出力部は、前記表示画面の縁部に配置された照明装置を含んでなるものであってもよい。
 この場合、有効視野部に配置された表示画面に表示される画像のすぐそばに照明装置が配置されるため、照明装置からの出力が鑑賞者(操作者)の目に入りやすく、また、表示画面に表示される画像と照明装置からの出力との連続性を実現することができる。その結果、高次の臨場感を実現することができる。
 また、前記第2出力部は、前記表示画面の近傍に配置された照明装置を更に含んでなるものであり、前記表示画面の縁部に配置された照明装置及び前記表示画面の近傍に配置された照明装置は、前記表示画面の画像に対して切れ目ない出力を実施するものであってもよい。
 この場合、表示画面に表示される画像と照明装置からの出力との連続性を実現することができ、高次の臨場感を実現することができる。
 また、前記付加データは、音データを含んでなるものであり、前記第2出力部は、前記音データに基づく出力を実施するサラウンドスピーカシステムを含んでなるものであってもよい。なお、前記サラウンドスピーカシステムは、前記第1出力部を介して対向する位置に配置された2つのサラウンドスピーカと、前記第1出力部からの出力を鑑賞する領域を介して対向する位置に配置された2つのサラウンドスピーカと、前記第1出力部からの出力を鑑賞する領域から見て第1出力部の左右近傍に配置された2つのフロントスピーカと、前記第1出力部からの出力を鑑賞する領域と前記第1出力部との間に配置された1つのセンタースピーカと、前記第1出力部近傍に配置された1つのサブウーファとを備えるものであってもよい。
 この場合、サラウンドスピーカシステムから出力された音で鑑賞者をより効果的に取り囲むことができ、より高次の臨場感を実現することができる。
 また、前記第2出力部が、各サラウンドスピーカとともに配置された4つの照明装置を含んでなるものであってもよい。
 この場合、照明装置から出力された光で鑑賞者をより効果的に取り囲むことができ、より高次の臨場感を実現することができる。
 また、前記第1出力部からの出力を鑑賞する領域の周辺部を取り囲むように配置された複数の照明装置のうちの少なくとも1つは、出力する光の強度及び色度のうちの少なくとも一方が調整可能に構成されていてもよい。
 また、前記照明装置は、出力する光の強度及び色度のうちの少なくとも一方が調整可能に構成されていてもよい。
 この場合、付加データ生成システムを配置する環境に合わせて種々の色の光を様々な強度に制御して出力することができるので、操作者の健康状態や環境の雰囲気に影響を与えることができるように照明装置から出力される光の色を組み合わせることができる。
 また、前記第2出力部は、前記操作部に配置された、スピーカ、バイブレータ及び表示装置のうちの少なくとも1つを含んでなるものであってもよい。
 この場合、操作者の手元で音、振動、画像及び光等の出力を行うことができるため、操作部の操作に応じて付加データに基づく出力が変化する感覚がより強調され、高次の臨場感を出すことができる。
 また、前記第2出力部は、前記第1出力部からの出力を鑑賞する領域の空調を行う空調設備を含んでなるものであってもよい。
 この場合、より高次の臨場感を出すことができる。
 また、前記付加データの少なくとも一部分は、前記身体情報をモニタするセンサまたはアイテム、もしくは操作者検出センサによる検出結果に基づいて切り替えられるものであってもよい。なお、前記身体情報をモニタするセンサは操作部に配置されていてもよい。
 この場合、操作者の体調や健康状態に留意して第2出力部からの画像、音及び光等といった出力を制御することができる。また、操作者の身体情報をフィードバックして第2出力部からの画像、音及び光等といった出力を制御することができ、より安全に臨場感を高めることができる。
 また、前記スピーカ、バイブレータ及び表示装置のうちの少なくとも1つは操作部を兼ねてなるものであってもよい。
 この場合、操作をより簡単化することができ、さらに、無駄な電力消費を抑えて環境に対して優しい形態を実現することができる。
 また、前記付加データのうちの少なくとも一部分は、前記出力データの変化に同期して変化するものであってもよい。
 この場合には、操作部を用いた操作によって付加データに基づく出力を変化させる感覚がより強調され、高次の臨場感を出すことができる。
 本発明は上記のように構成したので、情報伝達効果を出力データに基づく出力に付加することができるため、画像や音等を出力する際の臨場感を向上させること、遊戯装置のアミューズメント性をより強めること、健康を第一に考えた臨場感向上システムを得ること、操作をより簡単化するとともに無駄な電力消費を抑えて環境に対して優しい形態を実現すること、及び緊急時の迅速かつ確実な情報伝達を実現することができる。
図1は、本発明の付加データ生成システムの実施形態1を示す説明図である。 図2は、本発明の付加データ生成システムの実施形態1の変形例を示す説明図である。 図3は、本発明の付加データ生成システムの実施形態2を示す説明図である。 図4は、本発明の付加データ生成システムの実施例1が配置された居間の一例を示す説明図である。 図5は、図4に示す付加データ生成システムを構成するゲーム機の一例を示す説明図である。 図6は、本発明の付加データ生成システムの実施例2を示す説明図であり、TVの表示画面及び当該表示画面の周辺部に配置された照明装置のみを示す。 図7は、本発明の付加データ生成システムの実施例3が配置された居間の一例を示す説明図である。 図8は、本発明の付加データ生成システムの実施例4が配置された居間の一例を示す説明図である。 図9は、本発明の付加データ生成システムの実施例4の変形例1が配置された居間の一例を示す説明図であ 図10は、本発明の付加データ生成システムの実施例4の変形例2が配置された居間の一例を示す説明図である。 図11は、本発明の付加データ生成システムの実施例5を実現する遊戯装置の一例を示す説明図である。 図12は、図1に示す付加データ生成システムに操作者用センサを付加した場合の一実施例を示す説明図である。 図13は、従来の画像呈示システムの一例を示す説明図である。 図14は、従来の照明ユニットの一例を示す説明図である。
 以下、本発明の付加データ生成システムの実施形態について説明する。
 <実施形態1>
 まず、本発明の付加データ生成システムの実施形態1について、図面を参照しつつ説明する。
 図1は、本発明の付加データ生成システムの実施形態1を示す説明図である。
 本実施形態の付加データ生成システムは、出力信号を供給するソース部1と、操作者によって操作される操作部2と、前記出力信号を受信し、受信した出力信号から前記操作部2を用いて実施された操作に基づく出力データを得る動作制御部4と、前記出力データを解析して、出力データの特徴的な要素(即ち、後述する第1出力部5からの出力の特徴的な要素)を強調する付加データを生成する付加データ生成部3と、前記出力データに従って出力動作を行う第1出力部5と、前記付加データに従って出力動作を行う第2出力部6とを備える構成とされている。
 <実施形態1の変形例>
 前述の実施形態1において付加データ生成部3は出力信号を解析することによって付加データを生成しているが、本発明の付加データ生成システムはこの形態に限定されるものではない。例えば、付加データを示す付加信号が予め重畳された出力信号がソース部から出力されてもよい。本変形例においては、付加信号が出力信号に重畳されている場合について説明する。
 図2は、本発明の付加データ生成システムの実施形態1の変形例を示す説明図である。
 図2に示す付加データ生成システムは、図1に示す付加データ生成システムと比較すると、動作制御部41が図1に示す動作制御部4及び付加データ生成部3の役割を果たしている点が異なっている。即ち、この付加データ生成システムでは、動作制御部41で、前記出力データを解析して出力データの特徴的な要素を強調する付加データを生成し、この付加データを第2出力部6で扱いうるレベルに変換してから第2出力部6へ出力している。なお、動作制御部41において出力信号から出力データを得て第1出力部5に出力する手順については、図1に示す付加データ生成システムと同様の手順であるため、詳細な説明を省略する。
 <実施形態2>
 次に、本発明の付加データ生成システムの実施形態2について、図面を参照しつつ説明する。
 図3は、本発明の付加データ生成システムの実施形態2を示す説明図である。
 本実施形態の付加データ生成システムは、出力信号を発信するソース部1と、操作者によって操作される操作部2と、前記出力信号を受信し、受信した出力信号から前記操作部2を用いて実施された操作に基づく出力データを得る動作制御部4と、前記出力データに従って出力動作を行う第1出力部5と、当該第1出力部5からの出力を監視する検出部7と、当該検出部7での検出結果に基づいて前記第1出力部5からの出力の特徴的な要素を強調する付加データを生成する付加データ生成部8と、前記付加データに基づく出力を実施する第2出力部6とを備える構成とされている。
 前記検出部7は、例えば、画面端部に色度測定器が埋設され、画面の平均的な色が検出できる画像色検出システムである。
 なお、前述の実施形態1及び実施形態2において、図1及び図3に示す付加データ生成システムでは、前記付加データ生成部3,8と動作制御部4とを個別に設けているが、付加データ生成部3,8を動作制御部4内に設けてもよい。
 また、前記ソース部1は、例えば、通信網を介してテレビ局、画像配信会社または音楽配信会社から配信された情報を受信することが可能な通信端末機(例えば光通信端末機)、もしくは各種電子機器の動作制御を行うためのプログラム(「ソフトウエア」とも言う。)とデータとを格納した記憶媒体から前記プログラム及びデータを読み出す読取装置である。前記各種電子機器としては、ゲーム機、遊戯装置(例えばパチンコ台またはスロット台等)もしくは防災無線システム用受信機がある。また、前記記憶媒体の具体例としては、VCR(video cassette recorder)用のカセット、CD(compact disc)、DVD(digital versatile disc)、BD、ゲーム機用の各種記録媒体、及びPC(personal computer)用の各種記録媒体等がある。
 前記操作部2は、電子機器等の動作を指定する際に操作されるものであり、例えばTV、VCR、CDプレーヤ、DVDプレーヤ、BDプレーヤ、PCまたはその他の各種電子機器用のリモートコントローラ(リモコン)、ゲーム機または前記電子機器用のコントローラ、もしくは身体情報をモニタするセンサである。なお、前記操作部2の代わりに動作制御部4,41を備えた電子機器本体に設けられた操作用ボタンやスイッチが操作されてもよい。
 実施形態1の前記付加データ生成部3は、出力データから付加データを生成するものであり、例えば、出力データを解析して出力の特徴的な要素(例えば、画像の明るさ、画像に含まれる色、及び画像に含まれるオブジェクト等のうちの少なくとも1つ)を抽出し、この抽出結果に基づいて付加データを生成する、または複数の付加データを記憶した記憶手段から前記抽出結果に関連する付加データを読み出すといったステップを実行するための動作プログラムを記憶した記憶部と、当該動作プログラムを実行して前記ステップを実行する信号処理部とから構成されている。
 一方、実施形態2の前記付加データ生成部8は、検出部7での検出結果から付加データを生成するものであり、例えば、検出結果を解析して出力の特徴的な要素(例えば、画像の明るさ、ならびに画像に含まれる色及びオブジェクト等)を抽出し、この抽出結果に基づいて付加データを生成する、または複数の付加データを記憶した記憶手段から前記抽出結果に関連する付加データを読み出すといったステップを実行するための動作プログラムを記憶した記憶部と、当該動作プログラムを実行して前記ステップを実行する信号処理部とから構成されている。
 また、前記付加データ生成部3,8で出力データまたは検出結果を解析する際に用いられる解析方法としては、例えば、画像データから背景状況やゲーム場面に対応するデータを抽出して、または画像データから表示画面端辺部に対応するデータを抽出して、この抽出結果と動作プログラム中の判定基準とを照らし合わせてどの位置にある照明にどれだけの電流を流すのかを制御するためのデータを生成するといった方法がある。
 なお、前記付加データ生成部3,8は第2出力部6で扱いうるレベルに変換した後に付加データを出力するものであり、前記第2出力部6は、前記付加データに基づいて出力動作を行い、第1出力部5の出力に対して情報伝達効果を付加するものである。この情報伝達効果は、例えば臨場感の向上、操作者の健康状態のバックアップ、または迅速かつ確実な情報伝達等といった効果のことをいい、後に具体例を示しつつ詳細に述べる。
 前記動作制御部4は、複数種の信号が重畳されてなる出力信号から第1出力部5の出力にかかわる信号のみを取り出したり、出力信号から取り出された信号を第1出力部5で扱いうるレベルに変換したりするものであり、例えば検波回路及び増幅回路等から構成される。具体的には、動作制御部4として、TV、VCR、CDプレーヤ、DVDプレーヤ、BDプレーヤ、PC、ゲーム機、防災無線システム用受信機、またはその他の各種電子機器を構成する信号処理部が用いられる。
 前記第1出力部5は、例えば画像表示部、スピーカ、バイブレータ及び空調設備のうちの少なくとも1つから構成されており、これら画像表示部、スピーカ、バイブレータ及び空調設備は、各種電子機器を構成するかまたは各種電子機器に接続されたものである。また、前記各種電子機器としては、例えばTV、VCR、CDプレーヤ、DVDプレーヤ、BDプレーヤ、PC、ゲーム機及び防災無線システム用受信機がある。
 前記第2出力部6は、画像表示部、スピーカ、照明装置、バイブレータ及び空調設備のうちの少なくとも1つで構成されている。また、前記照明装置としては、例えばシーリングライト、ペンダント、ブラケット、ダウンライト、スポットライト、プロジェクター、ホログラム及びレーザー描画装置のうちのいずれか1つを用いることができる。
 もし、動作制御部4がTVの受信部である場合、TVは、テレビ局から送信されたアナログテレビジョン信号又はデジタルテレビジョン信号といった信号を、ソース部1としての衛星放送受信アンテナ、ケーブル通信端末機、またはインターネット等を介して受信する。そして、受信した信号のうち、操作部2としてのリモコンの操作によって選択されたチャンネルの信号を抽出し、抽出した信号を処理して画像データ及び音データを生成する。さらに、TVは、生成した画像データに基づいて画面に映像を表示し、音データに基づいてスピーカから音を出力する。
 また、出力データは、TV、VCR、CDプレーヤ、DVDプレーヤ、BDプレーヤ、PC、ゲーム機、防災無線システム用受信機、またはその他の各種電子機器内蔵の画像表示部及び(または)スピーカから出力される画像または音を示すものであるか、もしくはバイブレータまたは空調設備の動作を制御するものである。
 前述した実施形態1及び実施形態2の付加データ生成システムは、このような構成を有しているため、第2出力部での出力によって第1出力部での出力に情報伝達効果を付加することができる。さらに、実施形態1の変形例の付加データ生成システムによれば、付加データ生成システムの構成を簡単化することができる。さらに、第1出力部5の出力に対して第2出力部6の出力を同期させて時間的なずれの発生を防止することができる。
 次に、本発明の付加データ生成システムの実施例について説明する。
 <実施例1>
 まず、本発明の付加データ生成システムの実施例1について図面を参照しつつ説明する。なお、本実施例は、前述の実施形態1において図1に示す付加データ生成システムをより具体的に説明したものである。
 図4は、本発明の付加データ生成システムの実施例1が配置された居間の一例を示す説明図であり、図5は、図4に示す付加データ生成システムを構成するゲーム機の一例を示す説明図である。
 居間100には、紙面右側の壁際にTV101が、当該TV101と対向するように紙面左側の壁際にソファー102が、前記TV101とソファー102との間にテーブル103が配置されており、さらに、テーブル103を介して紙面上下方向に沿って対向する位置に椅子104,105がそれぞれ配置されている。なお、居間100内のTV101、ソファー102、テーブル103及び椅子104,105等の家具の配置は一例にすぎず、本発明はこの配置に限定されるものではない。
 前記TV101には、ゲーム機11が配線11aを介して接続されており、ゲーム機11には操作部としてのコントローラ21が配線121を介して接続されている。前記TV101の表示画面51及びスピーカ(図示せず)は、第1出力部を構成しており、居間100内に配置された複数の照明装置61~67は、第2出力部を構成している。
 また、ゲーム機11は、図5に示すように、ソース部としての読取部111と、動作制御部としての演算処理部141と、付加データ生成部131とを含んでなるものである。
 前記読取部111は、ゲーム用ソフトウエア及び複数の出力信号を示す出力情報を記録した記録媒体(いわゆる、「ゲームソフト」)からゲーム用ソフトウエア及び出力情報を読み取るものである。
 前記演算処理部141は、コントローラ21に加えられた変化(例えば、変化の量及び方向のうちの少なくとも一方)を検出する変化状態検出手段として機能するものであり、コントローラ21からの操作信号に基づき、読取部111を介して前記ゲームソフトから読み出したゲーム用ソフトウエアを実行し、読取部111を介して出力情報から前記操作信号に基づく出力信号を読み出し、当該出力信号を前記TV101の表示画面51及びスピーカで扱いうるレベルに変換して出力データ(ここでは、画像データ及び音データ)を得るものである。
 また、前記付加データ生成部131は、演算処理部141で取得した出力データを解析して付加データを生成するものである。なお、図2に示す付加データ生成システムと同様に、演算処理部141内に付加データ生成部131として機能する部位を設けて、付加データ生成部131を省略してもよい。
 前記出力データはゲーム機11の一つの出力端子11b1から前記TV101へ出力され、この出力データに基づいて表示画面51に画像が表示され、TV101のスピーカから音が出力される。また、前記付加データは、ゲーム機11の他の一つの出力端子11b2から前記照明装置61~67へ出力され、この付加データに基づいて照明装置61~67の動作制御が行われる。なお、前記ゲーム機11と照明装置61~67の間は配線によって接続されていてもよく、また赤外線通信等の無線通信を用いて接続されていてもよい。
 図4に示す照明装置61~67としては、赤色LED(Light Emitting Diode)セル、緑色LEDセル及び青色LEDセルのうちの少なくとも1つを用いて構成されており、種々の色温度の光を出力するLED照明装置が用いられる。なお、前記照明装置61~67として、ハロゲンランプといった他の色及び他の発光リソースも用いることが可能であり、自在に調光できることが好ましい。また、前記照明装置61~67にはスポットライトやプロジェクターが内蔵されていてもよい。さらに、照射方向を調整できるものであってもよい。
 前記照明装置61~67の配置例について説明すると、4個の照明装置61~64は居間100の床四隅に、照明装置65は居間100の天井に、照明装置66はTV101の表示画面51周辺部に、照明装置67はソファー102の下部にそれぞれ配置されている。さらに詳しくは、前記4個の照明装置61~64のうち、2個の照明装置61,62はTV101を介して対向する位置に、残り2個の照明装置63,64はソファー102を介して対向する位置に配置されており、天井に配置された照明装置65は居間100の全体照明である。
 このような構成において、コントローラ21を用いた操作が実施されると、前記演算処理部141では、記録媒体から読み取ったゲーム用ソフトウエアを実行して前記操作に対応する出力データを得る。そして、これら出力データがTV101に出力されることによって表示画面51に表示される画像及びスピーカから出力される音が変化する。このとき、前記付加データ生成部131では、出力データ(特に画像データ)を解析して、前記照明装置61~67をそれぞれ制御するための複数の付加データを生成する。生成された付加データはゲーム機11から照明装置61~67へ出力され、照明装置61~67は付加データに従って動作する。
 例えば、ゲーム用ソフトウエアが様々な障害をかわしながら複数の場面をクリアしていくゲームを実施するものであった場合、コントローラ21を用いた操作に応じて表示画面51に表示される画像が刻々と変化する。ここでは、この画像の変化に同調させて、照明装置61~67の動作を変化させている。
 照明装置61~67の動作例を具体的にあげると、表示画面51に洞窟内部の様子が表示されていれば暗く、地底の様子が表示されていれば赤色に、水中の様子が表示されていれば青色に、また、晴天の野山の様子が表示されていれば色温度5500K程度の明るい白色に変化させる等、表示画面に表示されるゲーム空間の全体的な色に合わせて天井に配置された照明装置65を調整する。さらに、このような調整に加えて、居間100の四隅に配置された照明装置61~64も照明装置65と同様に動作させてもよい。また、TV101の表示画面51周辺部に配置された照明装置66も、ゲーム空間の全体的な色に合わせて全体照明と同じように調整してもよい。例えば、表示画面51に火炎放射を受ける場面が表示されていれば、TV101の表示画面51周辺部、居間100の四隅に配置された照明装置61~64及びソファー102下部に配置された照明装置67を強い赤色で発光させてもよい。
 他の具体例をあげると、例えば照明装置61~64に、付加データによって照射方向や発光色等を調整することができるスポットライトが内蔵されている場合には、暗い地底から明るい地上への出口に近づいて行く場面が表示画面51に表示されているときに、出口に近づいて行くのに同調させてスポットライトの照射方向を変更して、当該スポットライトからの光で形成した明るいエリアがTV101の表示画面51の遠方から表示画面51端辺部まで移動してくるように照明装置61~64を動作させてもよい。
 さらに他の具体例をあげると、敵が接近してくる場面では、敵が表示画面51に表示される前に、居間100の四隅に配置された照明装置61~64によって敵の影(形状)と敵の色とを表示画面51以外の場所(例えば壁面)に映し出してもよい。また、照明装置61~64で敵の影や色を映し出す代わりに、照明装置61~64としてプロジェクター内蔵のものを用いて、このプロジェクターで表示画面51以外の場所に敵の姿を映し出すように照明装置61~64を動作させてもよい。このとき、ゲームの進行に同調して敵の姿が表示画面51に近づいていくように照明装置61~64を動作させてもよい。
 また、さらに他の具体例をあげると、敵に飛び乗って敵をやっつける場面では、敵の頭部の色がソファー102に投影されるように照明装置61~64を動作させてもよい。
 なお、前記付加データ生成部の動作制御は、出力データの解析を行う動作プログラムを用いて実施されてもよい。この場合、付加データ生成部は、動作プログラムが格納された記憶手段と、この動作プログラムを実行して出力データの解析を行う演算処理手段とで構成される。但し、前記演算処理手段の代わりに前記演算処理部141を用いてもよい。
 本実施例によれば、プレイヤがコントローラ21でゲーム空間内のキャラクターの動きを操作することによってTV101の表示画面51の画像及びスピーカからの音が変化していくのに合わせ、リアルタイムでTV101やプレイヤの周辺光を変化させることができる。その結果、プレイヤはまるで自分がゲーム空間内にいるかのような高次元の臨場感を味わうことができ、情報伝達効果を付加することができる。
 また、本実施例は、前述した実施形態1において図1に示す付加データ生成システムをより具体的に説明したものであるが、他の形態、例えば前述の実施形態2に示す付加データ生成システム(図3参照)によって本実施例のものと同様の動作を行う付加データ生成システムを得ることもできる。
 この場合、検出部7は、第1出力部5を構成するTVの表示画面を監視する画像監視カメラ等を備えた画像検出システム等で構成され、付加データ生成部8は、動作プログラムを格納した記憶手段とこの動作プログラムを実行して演算処理を行い検出結果に基づく付加データを生成する演算手段とで構成され、他の部分は図4に示す付加データシステムと同様に構成されている。
 このような構成において、付加データ生成部8は動作プログラムを実行することにより、検出部7の出力信号を解析してTVの表示画面に表示された画像中の特徴的な要素(例えば、色、明るさ及びオブジェクト等)を抽出し、抽出した特長的な要素に基づいて付加データを生成する。
 <実施例2>
 次に、本発明の付加データ生成システムの実施例2について図面を参照しつつ説明する。なお、本実施例は、前述の実施例1に示す付加データ生成システムを構成する照明装置の他の例を示すものである。前述の実施例1に示す付加データ生成システムと比較すると、TVの表示画面周辺部に配置された照明装置を変更したものであり、他の部分は実施例1に示す付加データシステムと同様に構成されている。
 図6は、本発明の付加データ生成システムの実施例2を示す説明図であり、TVの表示画面及び当該表示画面の周辺部に配置された照明装置のみを示す。
 TV201の表示画面251の縁部に配置された照明装置266aは、例えば、RGB3種類のLEDが複数個配列されてなる表示部、プロジェクターまたはプロジェクター用スクリーンである。
 本実施例においては、プレイヤによるコントローラの操作に従ってゲーム機の演算処理部で出力データ(画像データ及び音データ)を生成するとともに、付加データ生成システムの記憶手段に格納されている動作プログラムを演算処理手段で実行することによって、前記画像データに基づく付加データを生成し、本来、TV201の表示画面251内に表示される画像を表示画面251と照明装置266aとからなる領域に表示すると同時に、他の照明装置(図4中の照明装置61~65、67)を前述の実施例1と同様に動作させる。即ち、表示画面251よりも低く、かつ、前記照明装置61~64による出力よりも高い解像度の画像を照明装置266aに表示させることができ、表示画面251から照明装置266aを経て照明装置61~64に至るまで解像度を段階的に変更することができる。その結果、表示画面251の画像の切れ目を感じさせることなく、前述の実施例1と同様の効果を得ることができる。なお、人の視覚機能の認識能力は画面中央部から離れる程低くなるため、表示画面251の外側に表示される画像や照明の解像度を落としても臨場感を高めることができ、情報伝達効果を付加することができる。
 次いで、本実施例の一具体例について図6を参照しつつ説明する。
 図6では、表示画面251にオブジェクトとして車211を含む画像が表示されている。車211は紙面左方向へ向かってヘッドライト211aを点灯させた状態で走行している。さらに、照明装置266aの領域Aにはヘッドライト211aから出力された光を示す白く光った画像が表示されており、その他の領域には車211の背景が表示されている。さらに、照明装置266aの外側には、照明装置61~64のうちの少なくとも1つからの出力によって、領域Aと連続する領域B(例えば、空間、プロジェクター用スクリーンまたはTV背後の壁面)に、ヘッドライト211aから出力された光を延長させた状態となるように白く光った光または画像が表示されている。なお、照明装置61~64のうち少なくとも領域Bへの出力を行う照明装置は、スポットライトまたはプロジェクターから構成されて、もしくはスポットライトまたはプロジェクターを内蔵しており、これらスポットライトまたはプロジェクターによって領域Bへの出力が行われることが好ましい。
 また、他の具体例として、これから表示画面に敵が表示されるときに、前記照明装置61~64のうちの少なくとも1つで敵の影や色の光(または画像)をTV背後の壁面等に映し出しておき、前記敵の影や色の光(または画像)をTVの表示画面に近づけていく場合には、敵の影や色の光(または映像)が照明装置266aにかかった時点で、この照明装置266aにも敵の影や色の映像(最初は一部分のみ)を映し出し再現するといった動作を実施するものがある。この場合、コントローラの操作に従って動作制御部で画像データ及び音データを生成するとともに、前記画像データに基づいて、付加データ作成システムを構成する記録手段に格納されている動作プログラムを当該付加データ作成システムを構成する演算手段で実行し、照明装置266a、61~64の動作制御を行う付加データを生成すればよい。このような動作を実施することによって、敵が近づいてくる臨場感をより高めることができ、情報伝達効果を付加することができる。
 また、さらに他の具体例として、表示画面に表示される画像にオブジェクトとして人物が含まれる場合に、当該人物の顔の表情を認識し、この認識結果に合わせて照明装置266a、61~64の出力を制御してもよい。この場合、コントローラの操作に従って動作制御部で画像データ及び音データを生成するとともに、前記画像データに基づいて、付加データ作成システムを構成する記録手段に格納されている動作プログラムを当該付加データ作成システムを構成する演算手段で実行し、照明装置266a、61~64の動作制御を行う付加データを生成すればよい。このような制御を行うことによって、画像の感情表現に厚みを増すことができる。なお、付加データ作成システムは、ソース部から出力された出力信号を解析して人物の顔の表情を認識するものであってもよく、また、表示画面を監視する検出部(図3参照)からの出力信号を解析して人物の顔の表情を認識するものであってもよい。
 <実施例3>
 次に、本発明の付加データ生成システムの実施例3について図面を参照しつつ説明する。なお、本実施例では、前述の実施例1に示す付加データ生成システム(図4参照)にサラウンドスピーカシステムを付加したものについて説明する。即ち、実施例1に示す付加データ生成システムは照明装置のみで第2出力部を構成しているが、本実施例の付加データ生成システムは照明装置とサラウンドスピーカシステムとで第2出力部を構成している。
 図7は、本発明の付加データ生成システムの実施例3が配置された居間の一例を示す説明図であり、図4に示す付加データ生成システムと同様の部位には同じ符号を付している。
 この付加データ生成システムは、居間100の四隅に照明装置61~64とともに4ch(チャンネル)のサラウンドスピーカ361~364が、TV101の表示画面51の当該表示画面51に対向する位置から見て左右両端部に左右のフロントスピーカ365,366が、表示画面51の当該表示画面51に対向する位置から見て下端部中央部にセンタースピーカ(不図示)が、当該センタースピーカ近傍に低音域の音を出力するサブウーファ367がそれぞれ配置されている。即ち、これらサラウンドスピーカ361~364、フロントスピーカ365,366、センタースピーカ及びサブウーファ367によって7.1chのサラウンドスピーカシステムが構成されている。
 さらに、ゲーム機11内に配置された付加データ生成部は、ゲーム機11内の前記信号処理部(不図示)で生成された画像データ及び音データを解析して、前記照明装置61~67、サラウンドスピーカ361~364、フロントスピーカ365,366、センタースピーカ及びサブウーファ367をそれぞれ制御するための複数の付加データ(音データ)を生成する。
 本実施例の付加データ生成システムは、サラウンドスピーカシステムを備えていること、及び付加データ生成部が照明装置61~67のみならずサラウンドスピーカシステムを制御するための付加データも生成することを特徴としており、その他の構成は、図4に示す付加データ生成システムと同様のものである。但し、ここでは、プレイヤの手中に保持されるコントローラ21として、コントローラ21本体に加えられた変化を検出する加速度センサを内蔵したものが用いられる。また、このコントローラ21は、第2出力部構成部材として、臨場感を高めるための音を出力する手元用スピーカ21aをさらに内蔵したものであってもよい。
 前記コントローラ21は、加速度センサによって検出した変化状態(変化量と変化方向とのうちの少なくとも一方)に従ってゲーム機11に操作信号を出力する。ゲーム機11では、操作信号に基づいて読取装置によるゲーム用ソフトウエアの読み取り及び信号処理部による演算処理を実施することによって出力データ及び付加データの生成が実施される。その結果、出力データに従って、第1出力部を構成するTV101の表示画面51とスピーカとが画像または音をそれぞれ出力し、付加データに従って、第2出力部を構成する照明装置61~66とサラウンドスピーカシステム(サラウンドスピーカ361~364、フロントスピーカ365,366、センタースピーカ及びサブウーファ367)と手元用スピーカ21aとが光、映像及び音のうちのいずれか1つをそれぞれ選択的に出力する。
 前記付加データに基づく出力の具体例1としては、例えばゲーム用ソフトウエアが野球ゲームを実施するものであった場合において、表示画面51内に表示されたピッチャーがボールを投げた直後に、プレイヤの前方(表示画面51側)からボールが飛んでくるかのようにフロントスピーカ365,366から効果音を発生させるといったものがある。このような効果音を出力することによって、臨場感をより高めることができる。
 また、具体例2としては、表示画面51に表示されたピッチャーの送球に合わせてプレイヤがコントローラ21をバットのようにスイングし、ゲーム空間でバットにボールを当てることができたときに、実際にバットにボールが当たったかのように手元用スピーカ21aから効果音を発生させるといったものがある。このとき、同時に、居間100に配置された照明装置(例えば天井に配置された照明装置65)から通常よりも明るい光(鋭い光)を出力させてもよい。さらに、ゲーム空間内でバットで打ったボールが長打となったときに、ボールの軌跡及び守備が移動する様子が表示画面51に表示されるとともに、打者が走っている足音(土を蹴る音)のような効果音を手元用スピーカ21aから出力し、かつ、スタンドからの歓声のような効果音をサラウンドスピーカシステムから出力してもよい。またさらに、ゲーム空間内で打者が本塁に立ったときや本塁に戻り点が入ったときに、表示画面51に画像を表示しセンタースピーカ等からアナウンサーの実況のような効果音を出力するとともに、スタンドからの歓声のような効果音をサラウンドスピーカシステムから出力してもよい。この場合においても、照明装置61~67から通常よりも明るい光を瞬くように出力させてもよい。このような効果音や光を出力することによって、臨場感をより高めることができる。
 さらに、具体例3としては、コントローラ21を振り動かすようにプレイヤが操作することにより、居間100及びコントローラ21内に配置された各種スピーカから音を出力させる、または出力される音を変化させるといったものがある。即ち、この具体例では音データに特化して付加データを生成している。
 より具体的には、ゲーム用ソフトウエアがギターの模擬演奏を実施するものであった場合において、プレイヤがコントローラ21をストローク演奏を行うように手首のスナップを効かせながら振り動かしたときに、コントローラ21の動きに合わせて例えば手元用スピーカ21aからギター音を出力させる。このように、手元用スピーカ21aから音を出力することによって、実際にギター演奏をしているときのような臨場感を得ることができる。
 また、ゲーム用ソフトウエアがオーケストラの模擬演奏を実施するものであった場合において、プレイヤが指揮を行うように手首のスナップを効かせながらコントローラ21を振り動かしたときに、振り動かす強弱やコントローラ21の向きに応じて演奏する楽器数または種類(音の数)を変化させ、さらに、振り動かすリズムに応じて演奏のリズムも変化させる。コントローラの向きは表示画面51上端部に並べた赤外線LEDをコントローラの赤外線センサで感知することで判別する。ここでは、TV101のスピーカのみならずサラウンドスピーカシステム(主にサラウンドスピーカ361~364)から音を出力することによって、臨場感を向上させることができる。さらに、楽器種によって音を出力するスピーカを切り替えてもよい。この場合、プレイヤにとって音が聞こえてくる方向を楽器種別に異ならせることができる。なお、このように、オーケストラの擬似演奏を行う場合には、複数種の楽器を擬似演奏するため、表示画面51には演奏中の楽器種を示す画像が表示されている。
 <実施例4>
 次に、本発明の付加データ生成システムの実施例4について図面を参照しつつ説明する。なお、本実施例では、前述の実施例2に示す付加データ生成システム(図7参照)にバイブレータを付加したものについて説明する。即ち、実施例1に示す付加データ生成システムは照明装置とサラウンドスピーカシステムとで第2出力部を構成しているが、本実施例の付加データ生成システムは照明装置とサラウンドスピーカシステムと手元用スピーカとバイブレータとで第2出力部を構成している。
 図8は、本発明の付加データ生成システムの実施例4が配置された居間の一例を示す説明図であり、図7に示す付加データ生成システムと同様の部位には同じ符号を付している。
 本実施例の付加データ生成システムは、コントローラ21にバイブレータ21bを内蔵していること、及び付加データ生成部がこのバイブレータ21bを制御するための付加データも生成することを特徴としており、その他の構成は、図7に示す付加データ生成システムと同様のものである。
 前記付加データに基づく出力の具体例1としては、例えばゲーム用ソフトウエアが野球ゲームを実施するものであった場合において、ゲーム空間でボールがバットに当たったときに、コントローラ21の手元用スピーカ21aから効果音を発生させると同時に、実際に手に握ったバットにボールが当たったかのようにバイブレータ21bを短く鋭く振動させるといったものがある。このような効果音及び振動を出力することにより、実際にバットでボールを打ったときのような臨場感を実現することができる。
 また、具体例2としては、ゲーム用ソフトウエアがギターの模擬演奏を実施するものであった場合において、ギター演奏をするようにプレイヤがコントローラ21を振り動かした際に、手元用スピーカ21aからギター音を出力すると同時に、実際に弦に触れたかのようにバイブレータ21bを細やかに振動させるといったものがある。このようなギター音及び振動を出力することにより、実際にギター演奏をしているときのような臨場感を実現することができる。
 <実施例4の変形例1>
 次に、本発明の付加データ生成システムの実施例4の変形例1について説明する。
 図9は、本発明の付加データ生成システムの実施例4の変形例1が配置された居間の一例を示す説明図であり、図8に示す付加データ生成システムと同様の部位には同じ符号を付している。
 この付加データ生成システムは、コントローラ21に表示装置21cが設けられていること、及び付加データ生成部が表示装置21cを制御するための付加データも生成することを特徴としており、その他の構成は、図8に示す付加データ生成システムと同様のものである。即ち、ここでは、居間100に配置された照明装置61~66とサラウンドスピーカシステム(サラウンドスピーカ361~364、フロントスピーカ365,366、センタースピーカ及びサブウーファ367)と手元用スピーカ21aとバイブレータ21bと表示装置21cとで第2出力部を構成している。
 前記表示装置21cは、図形や文字等で構成された情報を表示しうるものまたは発光色及び(または)発光パターンを変更しうるものであり、例えば液晶表示装置、RGBのLEDで構成されたLED表示装置、またはRGBのLEDのうちの少なくとも一つのLEDからなる発光装置である。
 前記付加データに基づく出力の具体例としては、例えばゲーム用ソフトウエアがオーケストラの模擬演奏を実施するものであった場合において、プレイヤが指揮を行うようにコントローラ21を振り動かしたときに、TV101のスピーカやサラウンドスピーカシステムから音を出力すると同時に、指揮の完成度を示すレベルを表示装置21cに表示するといったものがある。この場合、表示装置21cは、特定の情報を表示することによってレベルを示すものであってもよく、また、発光の強度や点灯数によってレベルを示すものであってもよい。このような音及びレベル表示を出力することにより、臨場感を向上させることができるとともに、指揮の完成度を明示することで緊張感を付与することができる。
 なお、この具体例においては、手元用スピーカ21a及びバイブレータ21bを備えていないものをコントローラ21として用いてもよい。
 <実施例4の変形例2>
 次に、本発明の付加データ生成システムの実施例4の変形例2について説明する。
 図10は、本発明の付加データ生成システムの実施例4の変形例2が配置された居間の一例を示す説明図であり、図8に示す付加データ生成システムと同様の部位には同じ符号を付している。
 この付加データ生成システムは、居間100に空調システム461が設けられていること、及び付加データ生成部が空調システム461を制御するための付加データも生成することを特徴としており、その他の構成は、図8に示す付加データ生成システムと同様のものである。即ち、ここでは、居間100に配置された照明装置61~66とサラウンドスピーカシステム(サラウンドスピーカ361~364、フロントスピーカ365,366、センタースピーカ及びサブウーファ367)と手元用スピーカ421b1(図8中の手元用スピーカ21aと同様の構成を有するものである。)とバイブレータ421b2(図8中のバイブレータ21bと同様の構成を有するものである。)と居間100の天井に配置された空調システム461とで第2出力部を構成している。
 前記付加データ生成システムを備えた電子機器の一例として、スキーの疑似体験を実施するゲーム用ソフトウエアがセットされたゲーム機について説明する。
 この場合、コントローラは、床に配置されたメインコントローラ421aとプレイヤの手元に保持されるサブコントローラ421bとから構成される。なお、ここでは、メインコントローラ421a及びサブコントローラ421bとゲーム機11との間は赤外線等の光信号を用いた無線通信システムによって接続されており、操作信号及び付加データ等といった信号の送受信はこの無線通信システムを介して行われる。
 前記メインコントローラ421aは、メインコントローラ421a上に立った状態でプレイヤが体重移動を行ったときに体重移動のタイミング、移動方向及び移動量等をそれぞれ検出する種々のセンサを備えており、この検出結果に基づいて操作信号を発生するものである。また、前記サブコントローラ421bは、プレイヤがストックをつくかのように振り動かしたときに動かしたタイミング、方向及び量等を検出する加速度センサを内蔵しており、この検出結果に基づいて操作信号を発生するものである。さらに、サブコントローラ421bは、手元用スピーカ421b1及びバイブレータ421b2も備えている。
 このような構成の付加データ生成システムにおいて実施される前記付加データに基づく出力の具体例としては、例えば、メインコントローラ421a上に立ち、サブコントローラ421bを手で保持した状態のプレイヤが、TV101の表示画面51に表示されるスキー場の画像を見ながら、この画像に合わせて実際にスキーをしているかのようにメインコントローラ421a上で体重移動を行いかつサブコントローラ421bを振り動かしたときに、ゲーム空間で斜面を滑走するスピードに合わせて強弱調整が行われた冷風が空調システムからプレイヤに向けて吹き付けられ、ゲーム空間でストックを付くたびにバイブレータ421b2が振動し、手元用スピーカ421b1からは雪にストックを付いたときの音が出力されるといったものがある。このような送風、音及び振動を出力することにより、臨場感を向上させることができる。
 さらに、照明装置61~64によってプレイヤの周囲に雪山の風景が前から後ろに流れていくかのような照明効果または画像表示を行い、サラウンドスピーカ361~364から滑走時の音を出力してもよく、この場合には臨場感をさらに向上することができる。
 <実施例5>
 次に、本発明の付加データ生成システムの実施例5について図面を参照しつつ説明する。なお、本実施例は、前述の実施形態1において図1に示す付加データ生成システムをより具体的に説明したものである。但し、図1に示す付加データ生成システムを構成する動作制御部及び付加データ生成部を1つの演算処理部で実現している。
 図11は、本発明の付加データ生成システムの実施例5を実現する遊戯装置の一例を示す説明図である。同図には、遊戯装置の一例としてパチンコ台を示したが、例えばスロット台等であってもよい。
 このパチンコ台500は、ソース部であり、パチンコ台500の制御プログラム及び制御に関る制御データを格納した記録媒体から当該制御プログラム及び制御データを読み取る読取部(不図示)と、操作部であり、パチンコ玉打出し用の調整ダイヤル(スロット台の場合はスロットレバーまたはボタン)521と、動作制御部であり、前記読取部を介して読み取った制御プログラム及び制御データ、ならびに調整ダイヤル521の操作に従って変化するパチンコ玉501の状態に基づいてパチンコ台500の基本的な動作を制御するとともに、パチンコ台500の付加的な動作も制御する演算処理部(不図示)と、後述の第1出力部及び第2出力部を兼ねた出力部とを備えてなるものである。
 さらに、本実施例では、図1に示す付加データ生成システムを個々に構成する前記第1出力部及び第2出力部を個別に設けることなく同一の出力部で実現している。但し、パチンコ台500は出力部を複数種備えており、具体的には、パチンコ台500表面の中央部に設けられた表示装置551、音を出力するスピーカ552a,552b、パチンコ台500の端辺部に配置された照明装置553を備えている。
 一般的に、調整ダイヤル521の操作に従って発射したパチンコ玉501は、パチンコ台500の盤面502表面の上部から下方に向かって、複数の釘等の障害物503との衝突によりその進行方向を変えながら落下する。この落下によってパチンコ玉501は音及び振動を発生するため、パチンコ玉501自体も出力部を構成する。但し、パチンコ玉501の動作は演算処理部によって制御されるものではなく、調整ダイヤル521の操作によって制御されるものである点が図1に示す付加データ生成システムの構成と異なっている。
 図11に示すパチンコ台500では、調整ダイヤル521の操作によって発射したパチンコ玉501が盤面502表面を落下していく際の状態(例えば、所定の部位をパチンコ玉501が通過する等)に従って、演算処理部が制御プログラムを実行することにより表示部の動作を制御するための画像データ、音データ及び動作制御データを変化させている。その結果、前記表示装置551に表示される画像、前記スピーカ552a,552bから出力される音、及び前記照明装置553の照明パターンや色が変化する等といった基本的な動作の変化が実施される。
 さらに、図11に示すパチンコ台500では、調整ダイヤル521の操作によって発射したパチンコ玉501の状態に従って付加的な動作も変化する。例えば、落下していく際の状態によりリーチが近い場合に、照明装置553等の点灯状態及び表示装置551に表示される画像が変化する等といった付加的な動作の変更が実施され、リーチが近いことが示される。なお、照明装置は、図11に示す照明装置553に限定されるものではなく、例えば、パチンコ台500端辺部の他の部位に設けられたもの、釘等の障害物503に設けられたもの、及び盤面502表面に設けられたもののうちの少なくとも1つがさらに含まれていてもよい。
 また、出力部として、盤面502表面のパチンコ玉501が通過しうる部位(以下、単に「通過部位」とも言う。)に配置された複数のパチンコ玉検出装置(不図示)及び複数の照明装置(不図示)がさらに含まれていてもよい。この場合には、演算処理部の制御により、パチンコ玉501が一つのパチンコ玉検出装置上を通過したときに、当該一つのパチンコ玉検出装置近傍に配置された照明装置を点灯させることによって、パチンコ玉501の軌跡を強調する彗星の尾のような照明パターンを実現する。
 本実施例の付加データ生成システムによれば、遊戯装置のアミューズメント性をより強めることができる。
 <実施例6>
 次に、本発明の付加データ生成システムの実施例6について説明する。なお、本実施例は、前述の実施形態1において図1に示す付加データ生成システムをより具体的に説明したものである。但し、図1に示す付加データシステムを構成する付加データ生成部は、動作制御部内に設けられている。
 本実施例では、双方向(インタラクティブ)テレビを視聴可能なTVにおいて付加データ生成システムを実現した場合について説明する。
 一般的に、双方向テレビは、放送事業者と視聴者との間で双方向に情報が流れる方式のサービスである。当該双方向テレビを利用することによって、番組内でリクエストを募り受け取ったリクエストに応じたり、番組を視聴しながらオンラインショッピングを実施したり、視聴者が目的とする地域のみの天気情報を表示させたり、クイズ番組に参加して回答をしたり、アンケートに答えたりと、リアルタイムに視聴者の要望を反映させることができる。このような双方向テレビは、デジタル放送やケーブルテレビ(CATV)を利用して実現されている。
 このTVは、ソース部であり、テレビ局から視聴者へ送信された双方向テレビ用の信号を受信する通信端末機と、操作部であり、視聴者によって操作されるリモコンと、当該リモコンを用いた操作によって選択されたチャンネルの画像データ及び音データを通信端末機で受信した信号から得るとともに、これら画像データ及び音データに基づいて付加データを生成する動作制御部と、第1出力部であり、画像データを出力する表示画面及び音データを出力するスピーカと、第2出力部であり、付加データに基づいて動作する照明装置及び付加スピーカとを備えている。なお、付加データに基づいて動作する照明装置としては、例えば図7に示す照明装置61~65を備えており、付加スピーカとしては、リモコンに設けられたスピーカまたは視聴者近傍に配置されたスピーカを備えている。
 一般に、視聴者がクイズ番組のチャンネルを選択している場合において、表示画面に表示されたクイズの問題に対して視聴者がリモコンで「A」という回答を選択したとき、この視聴者が「A」を選択したことを示す信号が通信端末機からテレビ局へ送信され、「A」を選択した回答者の一人としてカウントされる。これら選択結果及びカウント結果は、直ちに、表示画面に表示される画像やスピーカから出力される音に反映される。その後、回答を選択する時間が終了した後に、テレビ局から送信された信号に基づいて視聴者の回答が正解であったか不正解であったかが表示画面に表示される。
 このような場合の付加データに基づく出力の具体例としては、正解が発表される際に居間に配置された照明装置が暗くなるといったものがある。この場合には、動作制御部で、テレビ局から送信された信号から得た画像データを解析し、正解の発表を行う画像データが得られたタイミングに、照明装置を暗くする付加データを生成する。
 さらに、視聴者の回答が正解であれば、付加スピーカからファンファーレのような正解を示す音が出力されるとともに照明装置が白く明るく光りまたたき、不正解であれば、天井に配置された全体照明用の照明装置のみが赤く光るように、付加データの生成が行なわれる。この場合には、画像データより得られた正解番号と、視聴者が押したリモコンの番号とを照合し、この判断結果に基づいて付加データを生成する。
 本実施例の付加データ生成システムによれば、臨場感を高めることができる。
 <実施例7>
 次に、本発明の付加データ生成システムの実施例7について説明する。
 本実施例は、前述の実施形態1または実施形態2に示す付加データ生成システムに、操作者用センサが付加されてなるものである。
 前記操作者用センサは、プレイヤまたは視聴者等といった操作者の身体に取り付けられた身体情報をモニタするセンサであり、具体的には、指、手首、足首または顔等に固定された脈拍、体内酸素濃度、血圧、発汗、呼吸数または視線等を検出する複数のセンサからなる。なお、指に固定するタイプのセンサについては、操作部にこのセンサを内蔵しておき、操作者が操作部を保持することで測定が行えるように構成されていてもよい。
 この操作者用センサでは検出結果は付加データ生成部に入力される。当該付加データ生成部は、この検出結果に基づいて操作者が緊張状態にあるか否かを判断し、緊張状態にあるときには付加データを緊張状態を緩和するためのものに切り替える。
 なお、操作者用センサの検出結果を付加データ生成部に入力する代わりに動作制御部に入力し、操作者用センサの検出結果に基づき、付加データ生成部の動作を動作制御部によって制御してもよい。さらに、動作制御部内に付加データ生成部を設けてもよい。
 図12は、図1に示す付加データ生成システムに操作者用センサを付加した場合の一実施例を示す説明図である。
 図12に示す付加データ生成システムでは、操作者用センサ602の出力が付加データ生成部3に入力されており、この付加データ生成システムのその他の構成については図1に示す付加データ生成システムと同様であるため詳細な説明を省略する。
 例えば、第1出力部5でテレビ番組を放送するまたはDVD画像を再生する場合、付加データ生成部3には操作者用センサ602の出力が常時入力されるため、操作者の緊張状態を常に監視することができる。
 このような監視を行っているときに、予め設定されたレベルよりも操作者の脈拍が高くなる、血圧が高くなるまたは低くなる、発汗がある、呼吸数が荒くなること等によって、操作者用センサの検出結果が操作者が緊張状態になることを示すと、付加データ生成部3で生成される付加データが緊張状態を緩和するものに切り替わり、第2出力部の出力が切り替わる。例えば、第2出力部が照明装置及び付加スピーカで構成されている場合、照明装置を明るいリラックスできる色に発光させたり、付加スピーカをOFF(オフ)状態に切り替えたりする。なお、緊張状態を緩和するための付加データは予め設定され記憶されている。
 本実施例の付加データ生成システムによれば、通常時には実施形態1または実施形態2に示す付加データ生成システムと同様に臨場感を向上させることができ、さらに、操作者が緊張状態にある場合には、付加データを緊張状態を緩和するためのものに切り替えることによって、操作者の過度のストレスを軽減することができる。
 なお、第1出力部5でテレビ番組を放送するまたはDVD画像を再生する場合に限らず、前述したような付加データ生成システムを例えばゲーム機に搭載してもよい。この場合には、操作者用センサによる検出結果に基づきプレイヤの焦りが予め設定されたレベルよりも高まっていると判断されたときに、照明装置から出力される光を明るくする等リラックスできるものに切り替えることや付加スピーカの音量を下げるまたはOFFすることができる付加データを付加データ生成部にて生成する。さらに、前記動作制御部が、操作者用センサの検出結果に基づいてゲームの難易度を調整するものであってもよい。この場合には、プレイヤの焦りが予め設定されたレベルよりも高まっていると判断されたときに、動作制御部によりゲームの難易度を低くする制御が行なわれる。
 また、実施例7の変形例1としては、操作者用センサによる検出結果が緊張状態にないことを示しているときに付加データを切り替えて、例えば、サラウンドスピーカシステムのサラウンド効果を利用すること、スピーカから出力される音の音域を広げることや音量を大きくすること、さらに、照明装置から出力される光を極端に暗く(または明るく)することや光の色相を制限したりすることにより、臨場感をさらに向上させることができる付加データ生成部を備えたものがある。
 このような付加データ生成部において生成された付加データに基づく出力の具体例としては、例えばゲーム用ソフトウエアが見えない敵を探すシーンを含むゲームを実施するものであった場合において、操作者用センサによって得られる検出結果のうちの少なくとも一部(例えば心拍及び血圧)に関してのみを閾値(上限値等の数値または数値範囲)を設定し、検出結果とこの閾値とを比較して検出結果が閾値を超えないときには、敵の足音がプレイヤの背後から響いて聞こえるようにサラウンドスピーカシステムのサラウンド効果を調整したり、サブウーファを不安定に響かせたりするとともに、照明装置から出力される光の明るさを極端に暗くしたり色相を制限したりするといったものがある。さらに、検出結果が閾値を超えたときには、付加データを切り替えて、サラウンドスピーカシステムの出力をOFFにしたり、照明装置から出力される光のトーンを明るくしたりすることにより、リラックスできる環境を実現する。
 このような出力を実施することにより、プレイヤの緊張状態に合わせて臨場感を向上させたり制限したりする等といった調整を行うことができる。
 また、実施例7の変形例2としては、操作者用センサによる検出結果に合わせて付加データを切り替えて、照明装置及びサラウンドスピーカシステムの出力を変化させることにより、操作者の環境を調整することができる付加データ生成部を備えたものがある。
 このような付加データ生成部において生成された付加データに基づく出力の具体例としては、例えば操作者が気分的に落ち込んでいるときに(即ち、操作者用センサによる検出結果が、呼吸が浅い、ため息が出る、及び視線が下がる等のうちの少なくとも1つを示す内容となったときに)、照明装置から出力される光を操作者がリラックスできる範囲内で明るく調整するといったものや、視聴中のテレビ番組がコマーシャルに切り替わっている間、サラウンドスピーカシステムから操作者がリラックスできる音楽を自動的に出力するといったものがある。また、操作者の体調が急変したときに(即ち、操作者用センサによる検出結果が、血圧や脈拍数の急変、不整脈の発生、及び激しい発汗等のうちの少なくとも1つを示す内容であった場合)、天井に配置された照明装置をノーマルな状態に調整するとともに、天井に配置された照明装置以外の照明装置及びサラウンドスピーカシステムを構成するスピーカの出力をOFFにした後、センタースピーカ等から操作者の体調を落ち着かせるアナウンス(例えば深呼吸やソファーに腰掛けることを促すメッセージ等)を出力するといったものもある。
 このような出力を実施することにより、操作者用センサを保持している操作者の健康状態をバックアップすることができ、その結果、付加データ生成システムを、健康を第一に考えた臨場感向上システムとして利用することができる。
 なお、前述の操作者用センサを備えた付加データ生成システムに関しては、操作者用センサによる検出結果をソース部自体にフィードバック(入力)してソース部から出力される出力信号を切り替えるように構成してもよいが、検出結果を逐次反映させて細かく制御を行うためには、動作制御部または付加データ生成部にフィードバックすることがより好ましい。
 <実施例8>
 次に、本発明の付加データ生成システムの実施例8について説明する。
 本実施例の付加データ生成システムは、操作部に配置された第2出力部が操作部としても機能するように構成されたものである。即ち、付加データに基づく出力を操作者による操作に間接的に利用したものである。
 ここでは、一具体例として、前述の実施例4の変形例1に示す付加データ生成システム(図9参照)を構成する表示装置21cをコントローラ21とともに操作部として機能させた場合について説明する。
 この場合、前記表示装置21cは赤外LEDおよび赤外線センサを備えており、プレイヤが表示装置21c上方に指等を予め設定された時間かざして出力を遮るといった動作を実施すると、この動作を前記赤外線センサが検出する。この検出結果は動作制御部としての演算処理部に入力され、演算処理部は、この検出結果に基づいてゲーム機11の動作を制御する。前記検出結果に基づく動作制御例としては、プレイヤが前記表示装置21cに指を予め設定された時間(例えば1秒以上)かざしたときにゲーム機11を一時停止状態にするとともにデータ保存動作を行うといったものがある。
 本実施例の付加データ生成システムによれば、操作をより簡単化することができ、さらに無駄な電力消費を抑えて環境に対して優しい形態を実現することができる。
 <実施例9>
 次に、本発明の付加データ生成システムの実施例9について説明する。
 本実施例の付加データ生成システムは、操作者用センサが操作部としても機能するように構成されたものである。
 ここでは、実施例7に示す付加データ生成システムを構成する操作用センサのうち、操作者の視線を検出する視線センサを操作部としても機能させた場合について説明する。
 この場合、視線センサは、めがね型の支持フレームに取り付けられたものであり、操作者がTV等の表示画面のどの位置を見ているのかが分かるものである。
 付加データ生成システムは、操作者が視線センサを着用した状態で予め設定された動作を実施すると、この動作を視線センサで検出する。この検出結果は動作制御部としての演算処理部に入力され、演算処理部は、この検出結果に基づいてTVの動作を制御する。前記検出結果に基づく動作制御例としては、操作者がTVの表示画面に表示された番組表のうち録画予約をしたい番組の番組欄を予め設定された時間(例えば2秒以上)注視した後に瞬きを予め設定された回数(例えば3回)すばやく実施するといった動作を行うと、注視された番組欄が示す番組の録画予約が完了するといったものである。
 また、他の動作制御例としては、視線センサの検出結果に基づいて、操作者がTVの表示画面を一定時間以上見ていないことを動作制御部が認識すると、TVの電源をOFFにすることを促すための出力データ(画像データ及び(または)音データ)が動作制御部から第1出力部へ出力される。この場合、付加データ生成部において、動作制御部から出力された出力データに基づいてTVの電源をOFFにすることを促すための付加データを生成し、この付加データを第2出力部に出力してもよい。
 本実施例の付加データ生成システムによれば、操作をより単純化することによってより便利な生活が実現できるとともに、無駄な電力消費を抑えることができるため環境にも優しい生活を実現することができる。
 <実施例10>
 次に、本発明の付加データ生成システムの実施例10について説明する。
 本実施例では、防災無線システム用受信機において付加データ生成システムを実現した場合について説明する。
 この防災無線システム用受信機は、ソース部であり、テレビ局から送信された信号の中から緊急信号を取り出す緊急信号受信部と、操作部であり、操作者の避難状況を検出する操作者検出センサと、緊急信号受信部で受信した緊急信号が示す情報(緊急情報)を出力するための動作制御を実施する動作制御部と、第1出力部を構成する、TVの表示画面及びスピーカ、ならびに防災無線システム用受信機本体に配置された発光素子部と、第2出力部を構成する、照明装置、スピーカ及びその他出力装置(例えば、図9に示す照明装置61~67、サラウンドスピーカシステム(サラウンドスピーカ361~364、フロントスピーカ365,366、センタースピーカ及びサブウーファ367)、手元用スピーカ21a、バイブレータ21b、ならびに表示装置21c等)と、操作者検出センサによる検出結果に従って前記第2出力部へ出力する付加データを生成する付加データ生成部とを備える構成とされている。
 一般的な防災無線システム用受信機の動作例としては、地震、台風または津波等が発生した緊急時にテレビ局から緊急信号が送信され、この緊急信号を緊急信号受信部が取り出したときに、動作制御部が、TVの電源をON(オン)状態に(または、TVで出力中の画像及び音を中断)してTVの表示画面及びスピーカから緊急情報を出力するとともに、防災無線システム用受信機本体に配置された発光素子部を赤色に発光させるといったものがある。
 さらに、本実施例の防災無線システム用受信機では、前述の動作例と同様に動作制御部から緊急情報を出力するための出力データが出力されている状態において、操作者検出センサの検出結果が操作者が屋外に避難していないことを示している場合(例えば、操作者が操作部を保持したままの状態である場合、または人感センサによって居室内に人がいると判断される場合)には、付加データ生成部が付加データを生成して第2出力部から避難勧告情報を出力する。この避難勧告情報を示す出力の具体例としては、照明装置から出力される光の色を1秒おきに切り替える、サラウンドスピーカシステムから避難勧告情報を示す音を大音量で出力するといったものがある。この出力は、非難が必要な状態が続く間は流し続けても良く、特に、人が居室にいる間は流し続けることが好ましい。また、非難形態および避難勧告情報の内容は、非難情報により異なる。
 本実施例の付加データ生成システムによれば、緊急時の迅速かつ確実な情報伝達が可能になる。
 なお、前記操作者用センサはTVのリモコン等の操作部に配置されたものであってもよい。この場合、緊急信号が送信されていないときには、実施例1に示す付加データ生成システムと同様に、付加データ生成部で第1出力部への出力データを解析して付加データを生成し、この付加データに従って第2出力部を動作させてもよい。これにより、TVの出力により高い臨場感を付加することができる。
 また、前述した実施形態及び実施例において、出力データ及び付加データに基づく出力は、操作者の状態や操作者が予め実施した設定に応じて適宜変更可能なものであり、前述したものに限定されない。
 さらに、前述した実施形態及び実施例では、操作部から出力された操作信号が動作制御部に入力されているが、この操作信号はソース部に入力されてもよい。これにより、操作部を用いた操作に従ってソース部からの出力信号を切り替えることができる。そのため、前記操作信号をソース部に出力する場合には、出力データを確実に変化させることができる。
 なお、前述した実施例1~10は、実施形態1~3をより具体的に示したものであり、本発明を制限するものではない。即ち、本発明の付加データ生成システムは、実施例1~10に示す形態に限定されるものではなく、特許請求の範囲から逸脱することなく他の代替の実施例も設計可能である。
 本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
 また、この出願は、2008年7月25日に日本で出願された特願2008-192453に基づく優先権を請求する。これに言及することにより、その全ての内容は本出願に組み込まれるものである。
 本発明の付加データ生成システムは、自宅の居間に設置された出力装置の出力に情報伝達効果を付与する際に活用できる。
1  ソース部
2  操作部
3,8  付加データ生成部
4,41  動作制御部
5  第1出力部
6  第2出力部
7  検出部
11  ゲーム機
21  コントローラ
21a  手元用スピーカ
21b  バイブレータ
21c  表示装置
51  表示画面
61~67  照明装置
361~364  サラウンドスピーカ
365,366  フロントスピーカ
367  サブウーファ

Claims (26)

  1.  出力信号を供給するソース部と、
     前記出力信号から出力データを得る動作制御部と、
     前記出力データに基づく出力を実施する第1出力部と、
     前記第1出力部からの出力の特徴的な要素を強調する付加データを生成する付加データ生成部と、
     前記付加データに基づく出力を実施する第2出力部と、
     前記出力データを変化させる操作信号を前記動作制御部へ出力する操作部とを備えることを特徴とする付加データ生成システム。
  2.  請求項1に記載の付加データ生成システムにおいて、
     前記付加データ生成部は、前記出力データを解析して前記付加データを生成することを特徴とする付加データ生成システム。
  3.  請求項2に記載の付加データ生成システムにおいて、
     前記付加データ生成部は、前記動作制御部に備えられていることを特徴とする付加データ生成システム。
  4.   請求項1に記載の付加データ生成システムにおいて、
     前記第1出力部からの出力を監視する検出部をさらに備え、
     前記付加データ生成部は、前記検出部での検出結果に基づいて前記付加データを生成することを特徴とする付加データ生成システム。
  5.  請求項1記載の付加データ生成システムにおいて、
     前記第2出力部は、前記第1出力部からの出力を鑑賞する領域の周辺部を取り囲むように配置された複数の照明装置を備えてなる付加データ生成システム。
  6.  請求項5記載の付加データ生成システムにおいて、
     前記照明装置は、赤色発光ダイオードセル、緑色発光ダイオードセル及び青色発光ダイオードセルのうちの少なくとも1つを用いて構成されており、種々の色温度の光を出力する発光ダイオード照明装置である付加データ生成システム。
  7.  請求項5記載の付加データ生成システムにおいて、
     前記照明装置は、シーリングライト、ペンダント、ブラケット、ダウンライト、スポットライト、プロジェクター、ホログラム及びレーザー描画装置のうちのいずれか1つである付加データ生成システム。
  8.  請求項1記載の付加データ生成システムにおいて、
     前記ソース部は、通信網を介してテレビ局、画像配信会社または音楽配信会社から配信された情報を受信することが可能な通信端末機、もしくは各種電子機器の動作制御を行うためのプログラム及びデータを格納した記憶媒体から前記プログラム及びデータを読み出す読取装置である付加データ生成システム。
  9.  請求項1記載の付加データ生成システムにおいて、
     前記付加データ生成部は、前記出力データの変化に同調して付加データを変化させるものである付加データ生成システム。
  10.  請求項1記載の付加データ生成システムにおいて、
     前記操作部が、TV、VCR、CDプレーヤ、DVDプレーヤ、BDプレーヤ、PC、ゲーム機または遊戯装置のコントローラまたはリモートコントローラ、操作者の身体情報をモニタするセンサまたはアイテム、もしくは防災無線システム用受信機を構成する操作者検出センサである付加データ生成システム。
  11.  請求項1記載の付加データ生成システムにおいて、
     前記操作部は、前記出力データを変化させる操作信号を前記動作制御部に出力するものであり、当該動作制御部は、操作信号に基づいて出力する出力信号を変化させるものである付加データ生成システム。
  12.  請求項1記載の付加データ生成システムにおいて、
     前記操作部は、前記出力データを変化させる操作信号を前記ソース部に出力するものであり、当該ソース部は、操作信号に基づいて出力する出力信号を変化させるものである付加データ生成システム。
  13.  請求項2記載の付加データ生成システムにおいて、
     前記出力データは、画像データを含んでなるものであり、前記付加データは、画像データから抽出された特徴的な要素である画像の明るさ、画像に含まれる色、及び画像に含まれるオブジェクトのうちの少なくとも1つに基づいて生成される付加データ生成システム。
  14.  請求項4記載の付加データ生成システムにおいて、
     前記出力データは、画像データを含んでなるものであり、前記第1出力部は、前記画像データに基づいて画像を表示する表示画面を含んでなるものであり、前記検出部は、表示画面を監視する画像監視カメラを備えた画像検出システムである付加データ生成システム。
  15.  請求項14記載の付加データ生成システムにおいて、
     前記第2出力部は、前記表示画面の縁部に配置された照明装置を含んでなるものである付加データ生成システム。
  16.  請求項15記載の付加データ生成システムにおいて、
     前記第2出力部は、前記表示画面の近傍に配置された照明装置を更に含んでなるものであり、前記表示画面の縁部に配置された照明装置及び前記表示画面の近傍に配置された照明装置は、前記表示画面の画像に対して切れ目ない出力を実施するものである付加データ生成システム。
  17.  請求項1記載の付加データ生成システムにおいて、
     前記付加データは、音データを含んでなるものであり、前記第2出力部は、前記音データに基づく出力を実施するサラウンドスピーカシステムを含んでなるものである付加データ生成システム。
  18.  請求項17記載の付加データ生成システムにおいて、
     前記サラウンドスピーカシステムは、前記第1出力部を介して対向する位置に配置された2つのサラウンドスピーカと、前記第1出力部からの出力を鑑賞する領域を介して対向する位置に配置された2つのサラウンドスピーカと、前記第1出力部からの出力を鑑賞する領域から見て第1出力部の左右近傍に配置された2つのフロントスピーカと、前記第1出力部からの出力を鑑賞する領域と前記第1出力部との間に配置された1つのセンタースピーカと、前記第1出力部近傍に配置された1つのサブウーファとを備えるものである付加データ生成システム。
  19.  請求項18記載の付加データ生成システムにおいて、
     前記第2出力部が、各サラウンドスピーカとともに配置された4つの照明装置を含んでなるものである付加データ生成システム。
  20.  請求項5記載の付加データ生成システムにおいて、
     前記第1出力部からの出力を鑑賞する領域の周辺部を取り囲むように配置された複数の照明装置のうちの少なくとも1つは、出力する光の強度及び色度のうちの少なくとも一方が調整可能に構成されている付加データ生成システム。
  21.  請求項19記載の付加データ生成システムにおいて、
     前記照明装置は出力する光の強度及び色度のうちの少なくとも一方が調整可能に構成されている付加データ生成システム。
  22.  請求項1記載の付加データ生成システムにおいて、
     前記第2出力部は、前記操作部に配置された、スピーカ、バイブレータ及び表示装置のうちの少なくとも1つを含んでなるものである付加データ生成システム。
  23.  請求項1記載の付加データ生成システムにおいて、
     前記第2出力部は、前記第1出力部からの出力を鑑賞する領域の空調を行う空調設備を含んでなるものである付加データ生成システム。
  24.  請求項10記載の付加データ生成システムにおいて、
     前記付加データの少なくとも一部分は、前記身体情報をモニタするセンサまたはアイテム、もしくは操作者検出センサによる検出結果に基づいて切り替えられるものである付加データ生成システム。
  25.  請求項22記載の付加データ生成システムにおいて、
     前記スピーカ、バイブレータ及び表示装置のうちの少なくとも1つは前記操作部を兼ねてなるものである付加データ生成システム。
  26.  請求項1記載の付加データ生成システムにおいて、
     前記付加データのうちの少なくとも一部分は、前記出力データの変化に同期して変化するものである付加データ生成システム。
PCT/JP2009/061390 2008-07-25 2009-06-23 付加データ生成システム WO2010010776A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/055,814 US20110115979A1 (en) 2008-07-25 2009-06-23 Additional data generation system
EP09800291A EP2312845A4 (en) 2008-07-25 2009-06-23 SYSTEM FOR GENERATING ADDITIONAL DATA
CN2009801281527A CN102100081B (zh) 2008-07-25 2009-06-23 附加数据生成系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008192453A JP5323413B2 (ja) 2008-07-25 2008-07-25 付加データ生成システム
JP2008-192453 2008-07-25

Publications (1)

Publication Number Publication Date
WO2010010776A1 true WO2010010776A1 (ja) 2010-01-28

Family

ID=41570242

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/061390 WO2010010776A1 (ja) 2008-07-25 2009-06-23 付加データ生成システム

Country Status (5)

Country Link
US (1) US20110115979A1 (ja)
EP (1) EP2312845A4 (ja)
JP (1) JP5323413B2 (ja)
CN (1) CN102100081B (ja)
WO (1) WO2010010776A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5694369B2 (ja) * 2009-12-17 2015-04-01 コーニンクレッカ フィリップス エヌ ヴェ 映画館環境照明システム
JP2011254282A (ja) * 2010-06-02 2011-12-15 Nippon Logics Kk 映像・サウンドコンテンツ、これを製作する方法、これを記録した記録媒体及び映像・サウンド視聴システム並びに鎮静化方法
JP6074157B2 (ja) * 2012-04-26 2017-02-01 任天堂株式会社 ゲームシステム、ゲーム方法、ゲーム装置、及びゲームプログラム
CN103491432A (zh) * 2012-06-12 2014-01-01 联想(北京)有限公司 多媒体信息输出控制方法、装置和系统
EP2677719A1 (en) * 2012-06-19 2013-12-25 Alcatel Lucent A method for interfacing a communication terminal with networked objects
JP6243595B2 (ja) * 2012-10-23 2017-12-06 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置
KR102071576B1 (ko) 2012-12-21 2020-03-02 삼성전자주식회사 콘텐트 재생 방법 및 이를 위한 단말
JP2015046089A (ja) 2013-08-29 2015-03-12 ソニー株式会社 情報処理装置および情報処理方法
WO2015163030A1 (ja) * 2014-04-21 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6504165B2 (ja) * 2014-06-24 2019-04-24 ソニー株式会社 情報処理装置及び情報処理方法並びにプログラム
CN104267607A (zh) * 2014-09-10 2015-01-07 京东方科技集团股份有限公司 调节室内光亮度的方法、装置和智能家居控制系统
EP3067857A1 (en) 2015-03-13 2016-09-14 Thomson Licensing Method and device for processing a peripheral image
CN106341929B (zh) * 2015-07-07 2019-01-25 芋头科技(杭州)有限公司 一种灯光与显示内容融合的方法
US10469751B2 (en) * 2017-05-12 2019-11-05 Garmin Switzerland Gmbh Smart stabilization and reorientation for an omnidirectional camera
WO2019119096A1 (pt) * 2017-12-22 2019-06-27 Martins Vieira Filho Gilson Dispositivo eletrônico micro processado para produção de efeitos especiais através do controle e sincronização de luz e som
JP2020106753A (ja) * 2018-12-28 2020-07-09 ローランド株式会社 情報処理装置および映像処理システム
CN113677063A (zh) * 2020-05-15 2021-11-19 深圳光线上品科技有限公司 一种通用流光溢彩灯带系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000173783A (ja) 1998-04-13 2000-06-23 Matsushita Electric Ind Co Ltd 照明制御方法及び照明装置
JP2003324402A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム、外部機器連動型コンテンツ再生装置、その方法及びそのプログラム
JP2005531908A (ja) 2002-07-04 2005-10-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 周辺光を制御する方法及びシステムと、照明ユニット
JP2007025111A (ja) 2005-07-14 2007-02-01 Sharp Corp 映像呈示システム及び映像呈示方法並びに映像呈示プログラムとその記録媒体
JP2008192453A (ja) 2007-02-05 2008-08-21 Fujikura Ltd 電子機器及び電子機器配線用ハーネス

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5924486A (en) * 1997-10-29 1999-07-20 Tecom, Inc. Environmental condition control and energy management system and method
US6611297B1 (en) * 1998-04-13 2003-08-26 Matsushita Electric Industrial Co., Ltd. Illumination control method and illumination device
JP3907397B2 (ja) * 2000-10-11 2007-04-18 富士通株式会社 映像監視装置
US6441558B1 (en) * 2000-12-07 2002-08-27 Koninklijke Philips Electronics N.V. White LED luminary light control system
US7676403B2 (en) * 2002-05-16 2010-03-09 Crutchfield Corporation System and method of image capture simulation
JP2003325972A (ja) * 2002-05-17 2003-11-18 Nintendo Co Ltd 傾き操作に関連して音と画像を変化させるゲーム装置およびそのゲームプログラム
AU2003244976A1 (en) * 2002-07-04 2004-01-23 Koninklijke Philips Electronics N.V. Method of and system for controlling an ambient light and lighting unit
US20040019899A1 (en) * 2002-07-25 2004-01-29 Koninklijke Philips Electronics N.V Method of and system for signal detection
US7483538B2 (en) * 2004-03-02 2009-01-27 Ksc Industries, Inc. Wireless and wired speaker hub for a home theater system
WO2006003624A1 (en) * 2004-06-30 2006-01-12 Koninklijke Philips Electronics, N.V. Ambient lighting derived from video content and with broadcast influenced by perceptual rules and user preferences
US7073908B1 (en) * 2005-01-11 2006-07-11 Anthony Italo Provitola Enhancement of depth perception
US20120140068A1 (en) * 2005-05-06 2012-06-07 E-Watch, Inc. Medical Situational Awareness System
US7614753B2 (en) * 2005-10-31 2009-11-10 Hewlett-Packard Development Company, L.P. Determining an adjustment
KR100774203B1 (ko) * 2006-06-27 2007-11-08 엘지전자 주식회사 텔레비전 수신기 및 텔레비전 수신기에서 디스플레이특성을 조절하는 방법
WO2008068698A1 (en) * 2006-12-08 2008-06-12 Koninklijke Philips Electronics N.V. Ambient lighting
US8165315B2 (en) * 2007-02-09 2012-04-24 Sky Cross Inc. Multichannel wireless system
CN101463963B (zh) * 2007-12-21 2010-09-29 富士迈半导体精密工业(上海)有限公司 照明系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000173783A (ja) 1998-04-13 2000-06-23 Matsushita Electric Ind Co Ltd 照明制御方法及び照明装置
JP2003324402A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム、外部機器連動型コンテンツ再生装置、その方法及びそのプログラム
JP2005531908A (ja) 2002-07-04 2005-10-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 周辺光を制御する方法及びシステムと、照明ユニット
JP2007025111A (ja) 2005-07-14 2007-02-01 Sharp Corp 映像呈示システム及び映像呈示方法並びに映像呈示プログラムとその記録媒体
JP2008192453A (ja) 2007-02-05 2008-08-21 Fujikura Ltd 電子機器及び電子機器配線用ハーネス

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2312845A4

Also Published As

Publication number Publication date
JP5323413B2 (ja) 2013-10-23
EP2312845A1 (en) 2011-04-20
CN102100081B (zh) 2013-07-31
EP2312845A4 (en) 2013-02-06
US20110115979A1 (en) 2011-05-19
JP2010034687A (ja) 2010-02-12
CN102100081A (zh) 2011-06-15

Similar Documents

Publication Publication Date Title
JP5323413B2 (ja) 付加データ生成システム
US20220286728A1 (en) Information processing apparatus and information processing method, display equipped with artificial intelligence function, and rendition system equipped with artificial intelligence function
US11436803B2 (en) Insertion of VR spectator in live video of a live event
JP4902000B2 (ja) コンテンツ再生装置、テレビジョン受像機、コンテンツ再生方法、コンテンツ再生プログラム、および記録媒体
CN1331349C (zh) 用于控制环境光的方法和系统以及发光单元
JP4052556B2 (ja) 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム
US20190166674A1 (en) An ambience control system
US20190073830A1 (en) Program for providing virtual space by head mount display, method and information processing apparatus for executing the program
US20190075269A1 (en) Display Device And Information Processing Terminal Device
US20110292181A1 (en) Methods and systems using three-dimensional sensing for user interaction with applications
KR102413269B1 (ko) 정보 처리 장치
JP2011259354A (ja) 視聴環境制御システム、送信装置、受信装置
WO2018203453A1 (ja) 情報処理装置、情報処理方法及びプログラム
US6782238B2 (en) Method for presenting media on an electronic device
JP4833067B2 (ja) 映像演出システム及び映像演出方法
JP3669913B2 (ja) ディジタル放送受信装置
WO2021124680A1 (ja) 情報処理装置及び情報処理方法
US20230031160A1 (en) Information processing apparatus, information processing method, and computer program
JP6523038B2 (ja) 感覚提示装置
JP5562931B2 (ja) コンテンツ再生装置、テレビジョン受像機、コンテンツ再生方法、コンテンツ再生プログラム、および記録媒体
WO2021053936A1 (ja) 情報処理装置及び情報処理方法、並びに人工知能機能搭載表示装置
TWI833415B (zh) 現場即時收音情境效果產生系統及其應用方法
WO2022097478A1 (ja) 効果制御方法、制御システムおよび端末装置
JP2008006214A (ja) 電子機器の動作制御装置
KR20240045465A (ko) 공연 가상 참여 시스템

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980128152.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09800291

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13055814

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009800291

Country of ref document: EP