WO2007117019A1 - 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体 - Google Patents

記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体 Download PDF

Info

Publication number
WO2007117019A1
WO2007117019A1 PCT/JP2007/057934 JP2007057934W WO2007117019A1 WO 2007117019 A1 WO2007117019 A1 WO 2007117019A1 JP 2007057934 W JP2007057934 W JP 2007057934W WO 2007117019 A1 WO2007117019 A1 WO 2007117019A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
playback
user
sensing
recording
Prior art date
Application number
PCT/JP2007/057934
Other languages
English (en)
French (fr)
Inventor
Mitsuru Takehara
Yoichiro Sako
Toshiro Terauchi
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP07741370.6A priority Critical patent/EP1895537B1/en
Priority to US11/919,266 priority patent/US8945008B2/en
Priority to CN2007800005499A priority patent/CN101326582B/zh
Publication of WO2007117019A1 publication Critical patent/WO2007117019A1/ja
Priority to US14/574,939 priority patent/US9654723B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/436—Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/489—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Definitions

  • the present invention relates to a recording apparatus, a reproducing apparatus, a recording / reproducing apparatus, a recording method, a reproducing method, a recording / reproducing method, and a recording medium.
  • the present invention relates to a recording apparatus and a recording method for recording, for example, data sensed at the time of reproduction of content on a recording medium as sensing metadata.
  • the present invention also relates to a playback device, a recording / playback device, a playback method, and a recording / playback method for playing back content according to sensing data recorded on a recording medium.
  • the present invention relates to a recording medium on which sensing metadata is recorded.
  • Metadata On recording media on which content such as movies, music, and photographs are recorded, additional data called metadata is often recorded in association with the content.
  • metadata such as the movie performer, movie director, production year, and synopsis are recorded on the recording medium.
  • the content is music content, the title, genre, performance time, performer, etc. are recorded as the main event.
  • Content such as movies and music is generally narrative, and the psychological state of content viewers changes according to story development and scenes.
  • viewers depending on the content scene, viewers have different emotions such as surprise, excitement, peace of mind, and excitement.
  • These viewers emotions Changes in expression are expressed as facial expression changes, sweating, heart rate changes, blood pressure changes, and the like. Changes in viewers' emotions often depend on content scenes and story development, but the surrounding environment when watching content is also affected. For example, when viewing Antarctic video on a hot summer day, viewers generally feel comfortable. On the other hand, viewing the same Antarctica video on a cold winter day may make viewers feel uncomfortable. In this way, the viewer has a psychological state that changes variously according to the scene of the content and the surrounding environment when viewing the content.
  • Japanese Patent Application Laid-Open No. 2 00 2-3 4 4 9 0 4 describes a content reproduction device that reproduces content and generates an evaluation value by measuring a viewer's reaction to the content being reproduced. ing.
  • the content playback device described in Japanese Patent Laid-Open No. 2 0 2-3 4 4 9 0 4 the brightness and sound level of the video after a predetermined scene can be changed according to the generated evaluation value. Made.
  • the psychological state of the user (user) with respect to the content reproduced in the past, the environment around the user, and the usage mode of the content differ depending on the person. Impressions on content such as excitement and excitement when watching content and watching content vary from person to person, and impressions of these contents may be stored in association with the content. In addition, if content was played at a place that should be memorized for the user, that place may be stored in association with the content.
  • Metadata recorded in association with content is information added by content producers such as performers, performers, and synopses, and these metadata can be used during content playback.
  • content producers such as performers, performers, and synopses
  • the emotional changes in the user and the environment around the user It is impossible to reproduce.
  • the content playback device described in Japanese Patent Laid-Open No. 2 00 3-4 4 90 4 changes the playback mode of the content according to the user's reaction to the content being played back, and is used during content playback. It does not describe the change of the user's emotion and the recording of the environment around the user during content playback as metadata
  • the same content can be played back according to the metadata. It can reproduce the psychological state and surrounding environment during content playback.
  • an object of the present invention is to provide a recording apparatus and a recording method for recording a change in a user's emotion during reproduction of content and a surrounding environment on a recording medium as sensing metadata.
  • Another object of the present invention is to provide a playback device, a playback method, a recording / playback device, and a recording / playback method for playing back content in accordance with recorded sensing metadata.
  • an object of the present invention is to provide a recording medium in which changes in the user's emotions and the surrounding environment are recorded as sensing metadata.
  • the present invention provides a content providing unit that provides content, a biometric information measuring unit that measures the user's biometric information during content playback, and an environment measurement that measures the environment around the user during content playback. Sensing metadata using information detected by at least one of the fixed section and at least one of the biological information measuring section and the environmental measuring section
  • a recording device includes a sensing metadata generation unit that generates and a recording processing unit that records the generated sensing metadata in association with content.
  • the present invention also provides a playback device that plays back the provided content, a biometric information measurement unit that measures the biometric information of the user at the time of playback of the content, and measures the environment around the user at the time of playback of the content.
  • a reproduction processing unit for reproducing a recording medium on which sensing metadata generated using information detected by at least one of the environment measurement units is recorded, and a content in a reproduction mode corresponding to the sensing metadata.
  • a playback control unit that plays back the video.
  • At least a content providing unit that provides content
  • a biometric information measuring unit that measures a user's biometric information at the time of content reproduction
  • an environment measuring unit that measures the environment around the user at the time of content playback
  • a sensing metadata generation unit that generates sensing metadata using information detected by at least one of the biological information measurement unit and the environment measurement unit, and the generated sensing metadata in association with content
  • a recording processing unit for recording on the recording medium, a playback processing unit for playing back the recording medium on which the sensing metadata is recorded, and a playback control unit for playing back the content in a playback mode according to the sensing metadata are recorded. It is a playback device.
  • the present invention also provides a content providing step for providing content, biometric information of the user measured at the time of reproducing the content, and at least one information of the environment around the user measured at the time of playing the content.
  • a sensing metadata generation step for generating sensing data using the data, and a sensing data recording step for recording the sensing data in a recording medium in association with the content; Is a recording method.
  • the present invention provides a playback method for playing back the provided content, the user's biometric information measured at the time of playback of the content and the environment around the user measured at the time of playback of the content.
  • a recording medium playback step for playing back a recording medium on which sensing metadata generated using at least one piece of information is recorded, and a content playback step for playing back content in a playback mode according to the sensing metadata.
  • a reproduction method comprising:
  • the present invention also provides a content providing step for providing content, and at least one information of the user's biometric information measured at the time of content reproduction and the environment surrounding the user measured at the time of content reproduction.
  • a sensing metadata generation step for generating sensing metadata using the data
  • a sensing data recording step for recording the sensing metadata on the recording medium in association with the content, and reproducing the recording medium on which the sensing data is recorded.
  • This is a recording / playback method comprising a recording medium playback step and a content playback step for playing back content in a playback mode according to the sensing data.
  • the present invention provides a sensing metric data generated using at least one of the user's biological information measured at the time of content reproduction and the user's surrounding environment measured at the time of content reproduction.
  • One night is a recording medium recorded in association with content.
  • FIG. 1 is a block diagram showing a configuration of a recording / reproducing apparatus according to an embodiment of the present invention
  • FIG. 2 is a human body sensor according to an embodiment of the present invention
  • FIG. 3 is a schematic diagram showing a correspondence example between a time measured by the recording / reproducing apparatus according to the embodiment of the present invention and a content reproduction position.
  • FIG. 4 is a schematic diagram showing a heart rate associated with a content reproduction position
  • FIG. 5 is a flowchart showing a flow of processing for recording sensing metadata in one embodiment of the present invention
  • the figure is a flowchart showing a flow of processing for reproducing content in accordance with sensing metadata according to an embodiment of the present invention.
  • the content in this specification is at least one of video information and audio information, and each content is specified by an identifier (hereinafter referred to as “content ID” as appropriate).
  • Video information includes all visually recognizable information such as images, still images such as photos, graphics, electronic books, and text information displayed with them, and audio information includes music, natural sounds, voice This includes all information that can be recognized in terms of hearing.
  • viewers who view video content, listeners who listen to audio content, etc. are collectively referred to as users.
  • Reference numeral 1 in FIG. 1 indicates the main configuration of the recording / reproducing apparatus in one embodiment of the present invention.
  • the recording / playback device 1 includes a content providing unit 1 1, a playback control unit 1 2, a video signal processing unit 1 3, a video signal output unit 1 4, an audio signal processing unit 1 5, an audio signal output unit 1 6, and human body sensing data processing Unit 17, environmental sensing data processing unit 18, sensing metadata event generation unit 19, recording processing unit 20, recording medium 21, pattern storage unit 2 2, and reproduction processing unit 23.
  • the content providing unit 11 is, for example, a recording medium such as a CD—ROM Compact Disc-Read only Memory) ⁇ DVD-ROM (Digital Versatile Disc-Read only Memory), a semiconductor memory, or a magnetic tape. It is a medium.
  • the content providing unit 11 is not limited to a recording medium and a storage medium that can be attached to and detached from the recording / reproducing apparatus 1, but may be an HDD Hard Disk Drive incorporated in the recording / reproducing apparatus 1.
  • the content providing unit 11 includes a television broadcast such as a terrestrial analog Z digital broadcast and a BS (Broadcasting Satellite) digital broadcast, and a content distribution server that distributes the content via the Internet.
  • a television broadcast such as a terrestrial analog Z digital broadcast and a BS (Broadcasting Satellite) digital broadcast
  • BS Broadcasting Satellite
  • the content providing unit 11 supplies content corresponding to the content ID instructed by the user to the reproduction control unit 12 as will be described later.
  • the playback control unit 12 performs a process of playing back the content provided from the content providing unit 11 during normal playback.
  • the playback process in the playback control unit 1 2 varies depending on the means by which the content is provided. For example, when content is recorded on an optical disc, the playback control unit 12 reads a signal by an optical pickup, performs demodulation processing and error correction processing on the read signal, and performs processing. The signal is written once to the buffer memory. Then, demultiplex processing is performed on the signal written in the buffer memory, and the multiplexed video signal, audio signal, and the like are separated. The separated video signal is supplied to the video signal processing unit 13, and the audio signal is supplied to the audio signal processing unit 15.
  • the character signal separated by the demultiplexing process is supplied to a character signal processing unit (not shown). Is done.
  • the character signal that has been decoded by the character signal processing unit is superimposed on the video signal as needed and presented to the user.
  • the playback control unit 12 performs processing for selecting a target carrier wave from received radio waves, demodulation processing, error correction processing, descrambling processing, demultiplexing processing, Packet selection processing and the like are performed, and target video PES (Packetized Elementary Stream) and audio PES are extracted.
  • the selected video PES is supplied to the video signal processing unit 13, and the audio PES is supplied to the audio signal processing unit 15.
  • the playback control unit 12 performs appropriate processing according to the content providing unit 11. It is also possible to switch the processing performed in the reproduction control unit 12.
  • the sensing processing unit 2 3 is supplied from the playback processing unit 2 3.
  • the playback control unit 12 performs processing for playing back the content supplied from the content providing unit 11 in a playback mode according to the sensing metadata. Sensing method will be described later.
  • the video signal processing unit 13 performs a process of decoding the supplied video signal.
  • the video signal supplied to the video signal processing unit 13 is compressed and encoded by, for example, MPEG (Moving Picture Coding Experts Group) 2 system. Accordingly, the video signal processing unit 13 performs a process of decoding the compression-coded video signal. Further, the video signal processing unit 13 performs DZA (Digital to Analog) conversion processing for converting the decoded digital video signal into an analog video signal as necessary.
  • the video signal converted into an analog signal is supplied to the video signal output unit 14.
  • the video signal output unit 14 is a monitor such as CRT (Cathode Ray Tube), LCD (Liquid Crystal Display), or organic EL (Electro Luminescence). The video signal supplied from the video signal processing unit 13 is reproduced in the video signal output unit 14.
  • the audio signal processing unit 15 performs a process of decoding the supplied audio signal.
  • the audio signal supplied to the audio signal processing unit 15 is compressed and encoded by, for example, the MP3 (MPEG1-Audio Layer-111) method, the MPEG2AAC (Advanced Audio Coding) method, or the like. Accordingly, the audio signal processing unit 15 performs a process of decoding the audio signal that has been compression-encoded.
  • the audio signal processing unit 15 further performs DZA (Digital to Analog) conversion processing for converting the decoded digital audio signal into an analog signal as necessary.
  • the audio signal converted into an analog signal is supplied to the audio signal output unit 16.
  • the audio signal output unit 16 is a speaker, headphones, or the like.
  • the audio signal supplied from the audio signal output unit 15 is reproduced from the audio signal output unit 16.
  • the video signal and the audio signal are recorded together with the content on the optical disc, or the DTS (Decoding Time Stamp) of the PES is superimposed on the broadcast wave. Decoding is performed based on such timing information.
  • video signals and audio signals are presented to the user by timing information such as PTS (Presentation Time Stamp) that is recorded with the content on the optical disc or superimposed on the broadcast wave by PES.
  • PTS Presentation Time Stamp
  • the video signal output unit 14 and the audio signal output unit 16 may be separated from the recording / reproducing apparatus 1.
  • a recording / playback device The video signal may be transmitted from the video signal output unit 14 to the video signal output unit 14 installed remotely from the video signal output unit 14 by wireless transmission.
  • the human body sensing data processing unit 17 converts information detected by a human body sensor 24 (to be described later) (hereinafter referred to as human body sensing data as appropriate) into an electrical signal, and converts the converted human body sensing data. Record.
  • human body sensing data includes electrocardiogram, respiratory rate, respiratory cycle, electromyogram, cerebral blood flow, brain wave, sweating, skin temperature, pupil diameter, eye opening, limb temperature, body surface temperature, facial expression change, It is biometric information such as blink changes.
  • Each human body sensing event is specified by the user ID for each user.
  • Human body sensing data recorded in the human body sensing data processing unit 17 is supplied to the sensing metadata generation unit 19.
  • the environmental sensing data processing unit 18 converts information detected by the environmental sensor 25 described later (hereinafter referred to as environmental sensing data as appropriate) into an electrical signal, and converts the converted environmental sensing data. Record .
  • the environmental sensing data is at least one of temperature, humidity, air volume, atmospheric pressure, weather and location.
  • Each environmental sensing event is specified by the user ID for each user.
  • the environmental sensing data recorded in the environmental sensing data processor 18 is supplied to the sensing data generator 19.
  • the sensing metadata generation unit 19 generates sensing metadata using at least one of the supplied human body sensing data and environmental sensing data. For example, using the supplied human body sensing data, the sensing data generation unit 19 generates sensing metadata indicating the user's emotions and emotional changes during content playback. In addition, the content can be reproduced using the supplied environmental sensing data. The sensing metadata generator 19 generates sensing data indicating the surrounding environment of the user at the time of birth.
  • the sensing metadata generation unit 19 stores, for example, changes in heart rate obtained from human sensing data, and changes in information such as lip movement and blinking in the pattern storage unit 22. By comparing with the data, the user's feelings (joy, sadness, surprise, anger, etc.) in a section of content are determined. Then, for example, sensing metadata indicating changes in the user's emotion described in the XML (extensi- ble markup language) format is generated.
  • the pattern accumulating unit 22 is preferably composed of a non-volatile memory such as HDD, and the emotion pattern corresponding to the change in human body sensing data is accumulated. For example, changes in heart rate, sweating, and body temperature of content users, and emotion patterns such as excitement, tension, and calmness are stored.
  • the sensing metadata generation unit 19 generates sensing metadata indicating the identified user's emotion.
  • the sensing metadata generation unit 19 uses the environmental sensing data to generate sensing metadata indicating the environment around the user during content playback. For example, it generates sensing metadata that describes temperature, humidity, air volume, air pressure, and weather (clear, cloudy, rain, snow, storm, etc.) in XML format. For the location where the viewer is at the time of content playback, for example, the sensing metadata generator 19 generates latitude and longitude information as sensing metadata. A content ID for specifying the content that is normally played back by the playback control unit 12 is supplied to the sensing screen data generation unit 19. For example, the content title is used as the content ID. Then, the sensing metadata, the user ID, and the content ID are supplied from the sensing memory data generation unit 19 to the recording processing unit 20.
  • the recording processing unit 20 converts the supplied sensing metadata, user ID, and content ID into a format suitable for the recording medium 21, and records the converted sensing metadata and the like in association with the content on the recording medium 21. Process.
  • a recording process corresponding to the recording medium 21 is performed.
  • the recording medium 21 is, for example, a CD-R (Recordable), a CD-RW (Rewri table), a DVD-R, a DVD-RW or the like, a writable or rewritable optical disk or a magnetic tape.
  • it may be a storage medium such as a semiconductor memory or an HDD incorporated in the recording / reproducing apparatus 1.
  • the reproduction processing unit 23 performs a process of reproducing the sensing metadata recorded on the recording medium 21.
  • the sensing metadata corresponding to the user ID and content ID input instructions made by the user is reproduced from the recording medium 21.
  • appropriate reproduction processing is performed according to the recording medium 21.
  • the sensing metadata is reproduced from the recording medium 21 by the reproduction processing in the reproduction processing unit 23, and the reproduced sensing metadata is supplied to the reproduction control unit 12.
  • the human body sensor 24 which is an example of a biological information measuring unit, is attached to the body of a user of content, for example, and measures various human body sensing data. It is an instrument that can be used. Of course, in addition to timing human body sensing data, other functions such as a clock function may be added.
  • the human body sensor 24 in this embodiment is capable of wireless communication with the recording / reproducing apparatus 1 and can transmit the measured human body sensing data to the recording / reproducing apparatus 1.
  • the human body sensor 24 is not limited to a device attached to the content user's body.
  • the human body sensor 24 includes an imaging device that is provided in the recording / reproducing apparatus 1 and that images a user's facial expression, an infrared thermography that measures the body surface temperature of the user, and the like.
  • the environmental sensor 25 which is an example of an environmental measurement unit, consists of a thermometer, hygrometer, air flow meter, barometer, imaging device to determine the weather, etc., and may be attached to the user's body. It may be attached to the playback device 1.
  • the environmental sensor 25 also includes a GPS (Global Positioning System) receiving terminal for detecting an environmental sensing data indicating a location. Therefore, the environment sensor 25 can identify the location where the user is viewing the content using GPS. The location at the time of content reproduction may be specified by receiving a communication for location registration performed between the user's mobile phone and the base station. Next, a specific example in which the sensing metadata generated by the sensing memory data generation unit 19 is recorded on the recording medium 21 will be described.
  • the content is assumed to be video content supplied from the content providing unit 11 1 and whose information changes on the time axis.
  • the human body sensor 24 is a wristwatch type heart rate monitor having a wrist watch function and a heart rate monitor function, and the human body sensor 24 measures the heart rate of the user as an example of human body sensing metadata.
  • the heart rate means the number of beats per minute (BPM (Beat per Minute)).
  • BPM Beat per Minute
  • the received heart rate is transmitted to the recording / reproducing apparatus 1 by wireless communication together with a user ID indicating the user of the human body sensor 24.
  • the time measured by the recording / reproducing apparatus 1 and the time measured by the human body sensor 2 4 are the same.
  • the recording / reproducing device 1 and the human body sensor 2 4 receive the radio wave indicating the standard time
  • the time measured by the recording / reproducing device 1 and the time measured by the human body sensor 2 4 can be matched.
  • the time recorded by the recording / reproducing apparatus 1 and the human body sensor 24 can be matched by acquiring the standard time distributed via the Internet.
  • Video content is supplied from the content providing unit 11, and the playback control unit 12 performs normal playback processing on the supplied content. Then, in the video signal processing unit 13 and the audio signal processing unit 15, decoding processing or the like is performed, video is reproduced on the video signal output unit 14, and audio is reproduced from the audio signal output unit 16. As the content is played back, the human body sensor 24 measures the heart rate.
  • FIG. 2 shows an example of the heart rate of user A measured by human sensor 24.
  • the human body sensor 24 samples the heart rate at a predetermined time or a predetermined cycle.
  • the time information when the heart rate is measured is measured.
  • the heart rate 72 is measured at, for example, February 3, 2000, 20: 47: 10: 10.
  • Other heart rates are similarly measured in relation to time information.
  • User ID for identifying the user A from the human body sensor 2 4 to the recording / reproducing apparatus 1, the heart rate of the user A measured during normal playback of the content, and time information on which each heart rate was measured (Hereinafter collectively referred to as user ID, etc.) as appropriate.
  • the user ID the serial number added to the human body sensor 24 may be used, or the user ID is used. It may be entered by user A.
  • the user ID and the like are received by the recording / reproducing apparatus 1 and supplied to the human body sensing data processing unit 17.
  • the human sensing data processing unit 17 the user ID transmitted from the human body sensor 24 is converted into an electrical signal, and the converted user ID is recorded.
  • the recorded user ID and the like are supplied to the sensing metadata generation unit 19.
  • the recording / reproducing apparatus 1 can count the current time using a clock circuit or the like built in the recording / reproducing apparatus 1.
  • the playback control unit 12 can obtain playback position information of video content that is normally played back.
  • FIG. 3 shows an example of the playback position of the video content corresponding to the time information timed in the recording / playback apparatus 1.
  • the playback position of the video content is 0 00 15 5 minutes 20 seconds on February 3, 2000 2 00: 4 7 minutes 10 seconds.
  • the sensing data generator 19 determines the time information at which the heart rate was measured and the playback position corresponding to the time information, and associates the playback position of the video content with the measured heart rate.
  • the other measured heart rate is associated with the playback position of the video content.
  • the sensing metadata generation unit 19 refers to the past patterns stored in the pattern storage unit 2 2 and extracts user emotions corresponding to changes in the heart rate.
  • the pattern storage unit 2 2 Search for similar patterns from past patterns. Then, the emotion corresponding to the searched pattern is extracted as the user's emotion during content playback.
  • the playback position of the video content corresponding to the change in heart rate from 7 2 to 75 is 0 0 1 5 minutes 2 0 seconds to 0 0 hours 1 5 minutes 4 0 seconds is the heart rate Because of the slight increase, it is assumed that the user is excited when playing the video content in this section. Also, the playback position of the video content corresponding to the change in heart rate from 75 to 7 1 0 0 1 5 minutes 4 0 seconds to 0 0 hours 1 6 minutes 0 0 seconds, the heart rate decreases. Therefore, it is assumed that the user has settled down when playing the video content in this section. In addition, the user is surprised at the playback position of the video content at 0 1:20:40 when the heart rate is high at 82.
  • the sensing metadata generation unit 19 generates sensing metadata indicating the playback position and playback section of the video content and the corresponding user's emotion. Sensing metadata generated in the sensing data generation unit 19 is supplied to the recording processing unit 20.
  • the user ID for identifying user A who is the user of the normally played content and the content ID for specifying the video content to be played normally are sent from the sensing metadata generation unit 19 to the recording processing unit 2. Supplied for 0.
  • the recording processing unit 20 converts the supplied sensing metadata, user ID, and content ID into a format suitable for the recording medium 21. Then, the sensing metadata, user ID, and content ID converted into an appropriate format by the recording processing in the recording processing unit 20 are recorded on the recording medium 21.
  • sensing metadata is generated using environmental sensing data. You can also. In the case of environmental sensing data indicating temperature, humidity, air volume, weather, location, etc., it does not necessarily have to be measured in time series.
  • content such as photographs whose information does not change on the time axis and metadata generated from environmental sensing data may be recorded on the recording medium 21.
  • the time information is not necessarily required in the process of recording the sensing metadata.
  • FIG. 5 is a flowchart showing a flow of processing for recording the sensing metadata in one embodiment of the present invention.
  • the content is described as audio content.
  • step S1 a process for reproducing the content is performed. That is, the playback processing unit 12 performs normal playback processing on the audio content supplied from the content providing unit 11.
  • the audio signal processing unit 15 performs decoding processing on the audio content that has been subjected to the reproduction process, and the audio content is reproduced from the audio signal output unit 16 to the user.
  • the process proceeds to step S2.
  • step S2 the sensing process is started. That is, at least one of the human body sensor 24 and the environmental sensor 25 is used to measure at least one of the user's human body sensing data during content playback and the environmental sensing data during content playback.
  • the measured human body sensing data is supplied to the human body sensing data processing unit 17.
  • the measured environmental sensing data is Supplied to the sensing data processing unit 18.
  • Human sensing data processing unit 1 7 and environmental sensing data processing unit 1 8 Processed at least one of human sensing data and environmental sensing data is supplied to sensing metadata generation unit 19 .
  • step S2 the timing of starting the sensing process performed in step S2 is preferably at the start of content playback, but may be during the playback of content.
  • the process proceeds to step S3.
  • step S 3 the sensing metadata generation unit 19 performs processing for generating sensing metadata.
  • the sensing metadata generation unit 19 uses at least one of the human body sensing data supplied from the human body sensing data processing unit 17 and the environmental sensing metadata supplied from the environmental sensing data processing unit 18 to detect the sensing metadata. Generate an evening.
  • the process proceeds to step S4.
  • step S4 processing for recording the generated sensing metadata is performed.
  • the sensing metadata generated in step S 3 is supplied to the recording processing unit 20.
  • a user ID for specifying a user of content that is normally played back and a content ID for specifying content that is normally played back are supplied to the recording processing unit 20.
  • the sensing metadata, the user ID, and the content ID are converted into a format corresponding to the recording medium 21.
  • the converted sensing metadata, user ID, and content ID are recorded on the recording medium 21.
  • FIG. 6 shows an embodiment of the present invention.
  • 5 is a flowchart showing the flow of the reproduction process.
  • step S 11 sensing metadata acquisition processing is performed.
  • the user ID and content ID are input by the user, and the input user ID and content ID are instructed to the playback processing unit 23.
  • the reproduction processing unit 23 reproduces the sensing metadata corresponding to the instructed user ID and content ID from the recording medium 21.
  • the reproduced sensing metadata is supplied to the reproduction control unit 1 2.
  • the process proceeds to step S 1 2.
  • step S12 content acquisition processing is performed.
  • the content ID input by the user is instructed to the content providing unit 11.
  • the content providing unit 11 supplies the content corresponding to the instructed content ID to the reproduction control unit 12.
  • the content distribution server is accessed and the content specified by the content ID is downloaded.
  • the downloaded content is supplied to the playback control unit 1 2. If the content specified by the content ID cannot be provided by the content providing unit 11, for example, an error message is displayed on the video signal output unit 14 or a warning sound is emitted from the audio signal output unit 16.
  • the process proceeds to step S 1 3.
  • step S 13 content reproduction processing is performed.
  • step S 1 3 the playback control unit 1 2 performs a playback process different from that during normal playback, that is, a playback mode according to the sensing metadata supplied from the playback processing unit 23 3.
  • the content supplied from 1 is played back.
  • a reproduction example in which content is reproduced in a reproduction mode corresponding to sensing metadata will be described.
  • the playback control unit 12 changes the brightness level, contrast, and hue according to the playback position described overnight and the user's emotions in the playback section.
  • the playback control unit 1 2 changes the frequency characteristics and volume level according to the user's feeling in a section of the audio content described in the sensing metadata.
  • the scene corresponding to the playback position that is identified as being excited can be played back in a digest manner, and the scene can be played back with emphasis on the user's emotional uplift.
  • the video content processed in the playback control unit 12 is supplied to the video signal processing unit 13, and the audio content is supplied to the audio signal processing unit 15.
  • the video signal processing unit 1 3 and the audio signal processing unit 15 perform decoding processing, etc., and the video content is output from the video signal output unit 14 and the audio content is output as an audio signal in the playback mode according to the sensing metadata. Played from Part 16
  • the playback control unit 1 2 plays the content so that the user can recognize the surrounding environment indicated by the sensing metadata. .
  • the playback control unit 12 when the content is video content, the playback control unit 12 superimposes data indicating temperature, humidity, location, etc. obtained from the sensing metadata on the video content. Then, the video signal processing unit 13 performs a process such as a decoding process on the video content on which the data is superimposed. The video content that has been decrypted is played back on the video signal output unit 14. At this time, in the video signal output unit 14, character information indicating the temperature, humidity, location, etc. at the time of playback of the same video content in the past is played back together with the video content. As a result, Users can recognize the surrounding environment when playing back past video content.
  • the playback control unit 12 When the content is audio content, the playback control unit 12 performs, for example, the following processing. If the sensing metadata indicates that the weather at the time of past audio content playback is rain or strong wind, the playback control unit 12 superimposes rain or wind sound data on the audio content. Audio content on which rain and wind sound data is superimposed is supplied from the playback control unit 12 to the audio signal processing unit 15. Then, the audio signal processing unit 15 performs decoding processing on the audio content, and the processed audio content is reproduced from the audio signal output unit 16. At this time, the user can recognize the environment surrounding the user when playing back audio content by listening to the sound of rain and wind superimposed on the audio content along with the audio content. By recognizing the environment around the user when playing back audio content in the past, the user's memories stored in association with the audio content can be recalled.
  • the reproduction control unit 12 may control the content providing unit 11 to download rain and wind sound data via the network.
  • the downloaded rain and wind sound data is supplied from the content providing unit 1 1 to the playback control unit 1 2 and the playback control unit 1 2 superimposes the rain and wind sound data on the audio content.
  • audio content can also be played as follows.
  • the audio content provided from the content providing unit 1 1 or the recording medium 2 1 is subjected to predetermined processing in the reproduction control unit 1 2 and the audio signal processing unit 1 5. Played from the audio signal output unit 16.
  • sensing metadata indicating where the user was at the time of audio content reproduction is obtained by the reproduction processing in the reproduction processing unit 23, and the obtained sensing data is supplied to the reproduction control unit 12.
  • the playback control unit 1 2 controls the content providing unit 1 1 to capture the scenery around the place where the user indicated by the sensing screen, such as mountains, rivers, forests, coasts, etc. To get. For example, it is possible to access a server that distributes photos and acquire data of photos of various landscapes from the server. The acquired photo data is supplied from the content providing unit 1 1 to the playback control unit 1 2.
  • the photo data supplied to the playback control unit 12 is supplied to the video signal processing unit 13, and the video signal processing unit 13 performs decoding processing and the like.
  • the processed photographic data is supplied to the video signal output unit 14, and scenery such as mountains, rivers, forests, and coasts is reproduced on the video signal output unit 14.
  • the user of the audio content can recognize the surrounding landscape at the time of the playback of the past audio content by listening to the audio content while viewing the landscape to be reproduced on the video signal output unit 14. Therefore, the user's memories stored in association with the audio content can be recalled.
  • the processing described with reference to FIG. 5 and FIG. 6 is configured as a recording / playback method for recording sensing metadata and playing back content in a playback mode according to the recorded sensing data. Is also possible.
  • the recording / reproducing apparatus has been described. However, it may be configured as a recording apparatus that records sensing metadata generated during normal reproduction of content. Further, it can be configured as a playback device that plays back content in a playback mode corresponding to the sensing metadata recorded on the recording medium.
  • the process of normally playing back the content performed in the playback control unit 12 and the process of playing back the content in the playback mode corresponding to the sensing data may be switched by the user. .
  • the generated sensing metadata can be recorded in the content providing unit 11.
  • each means constituting the apparatus in the present invention can be constituted by a dedicated hardware circuit, or can be realized by software or a programmed computer.
  • the program describing the processing contents can be recorded on a computer-readable recording medium such as a magnetic recording device, an optical disc, a magneto-optical disc, or a semiconductor memory.
  • the present invention it is possible to record changes in the user's emotion during content playback and the surrounding environment during playback as sensing metadata on a recording medium such as an optical disk or semiconductor memory. wear.
  • a recording medium such as an optical disk or semiconductor memory. wear.
  • By playing back content according to the recorded sensing metadata changes in user emotions and interests during past content playback
  • the environment around the user can be reproduced.
  • recreating changes in the user's emotions and the environment surrounding the user it is possible to recall the user's memories that are stored with the content.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

コンテンツ再生時における利用者の感情の変化や利用者の周囲の環境をセンシングメタデータとして記録し、記録されたセンシングメタデータに応じた再生態様でもってコンテンツを再生する。コンテンツ提供部１１から供給されるコンテンツが通常再生されると共に、人体センサ２４においてコンテンツの利用者の生体情報が測定され、環境センサ２５において利用者の周囲の環境が測定される。センシングメタデータ生成部１９において、人体センサ２４および環境センサ２５の少なくとも一方によって検出される情報からセンシングメタデータが生成される。生成されたセンシングメタデータが記録処理部２０によって記録媒体２１に記録される。再生処理部２３では、センシングメタデータが再生され、再再生されたセンシングメタデータに応じて再生態様を変化させて再生制御部１２がコンテンツを再生する。

Description

明 細 書
記録装置、 再生装置、 記録再生装置、 記録方法、 再生方法および記 録再生方法並びに記録媒体 技術分野
この発明は、 例えば、 コンテンツの再生時にセンシングされたデー 夕をセンシングメタデータとして記録媒体に記録する記録装置および 記録方法に関する。 また、 記録媒体に記録されているセンシングメ夕 データに応じてコンテンツを再生する再生装置、 記録再生装置、 再生 方法および記録再生方法に関する。 さらには、 センシングメタデ一夕 が記録された記録媒体に関する。 背景技術
映画、 音楽、 写真等のコンテンツが記録された記録媒体には、 メタ データと称される付加的なデータがコンテンツと関連付けられて記録 されることが多い。 コンテンツが映画の場合は、 メタデータとして映 画の出演者、 映画監督、 製作年、 あらすじ等が記録媒体に記録される 。 また、 コンテンツが音楽コンテンツの場合は、 メ夕デ一夕として夕 ィトル、 ジャンル、 演奏時間、 演奏者等が記録される。 これらのメタ データは、 コンテンツと独立に再生することもできる。 したがって、 コンテンツの視聴者は、 メタデータを利用することでコンテンツの内 容の一面を容易に知ることができる。
これらの映画や音楽などのコンテンツには一般的に物語性があり、 コンテンッの視聴者の心理状態もストーリ展開やシーンに応じて変化 する。 すなわち、 コンテンツのシーンに応じて視聴者は驚き、 感動、 安心、 興奮等の異なる感情を抱くものである。 こうした視聴者の感情 の変化は、 表情の変化、 発汗、 心拍数の変化、 血圧の変化等として表 れる。 視聴者の感情の変化は、 コンテンツのシーンやストーリ展開に 依拠することが大きいが、 コンテンッ視聴時の周囲の環境も影響する. 。 例えば、 真夏の暑い日に南極の映像を観ると、 一般的に映像の視聴 者は心地良さを感じる。 一方、 真冬の寒い日に同じ南極の映像を観る と、 映像の視聴者は不快と感じることもある。 このように、 視聴者は 、 コンテンツ視聴時におけるコンテンツのシーンや周囲の環境に応じ て様々に変化する心理状態を有する。
特開 2 0 0 2— 3 4 4 9 0 4号公報には、 コンテンツを再生すると 共に、 再生されているコンテンツに対する視聴者の反応を測定して評 価値を生成するコンテンツ再生装置等が記載されている。 特開 2 0 0 2 - 3 4 4 9 0 4号公報に記載のコンテンツ再生装置等では、 生成さ れた評価値に応じて、 所定のシ一ン以降の映像の明るさや音響レベル の変更がなされる。
ところで、 過去に再生したコンテンツに対する利用者 （ユーザ） の 心理状態や、 利用者の周囲の環境、 コンテンツの利用態様は人によつ て異なるものである。 コンテンツを視聴してコンテンッのあるシーン に感動した、 興奮した等のコンテンツに対する印象は人によって異な り、 これらのコンテンツに対する印象がコンテンツと関連して記憶さ れる場合もある。 また、 利用者にとって記念すべき場所においてコン テンッが再生されていた場合は、 その場所がコンテンツと関連して記 憶される場合もある。
従来、 コンテンッと関連付けられて記録されていたメタデータは、 演奏者、 出演者、 あらすじのようなコンテンツの製作者側によって付 加された情報であり、 これらのメタデ一夕によってコンテンツ再生時 の利用者の感情の変化や、 コンテンッ再生時の利用者の周囲の環境を 再現することは不可能である。 特開 2 0 0 2— 3 4 4 9 0 4号公報に 記載のコンテンツ再生装置は、 再生中のコンテンツに対する利用者の 反応によってコンテンツの再生態様が変更するものであり、 コンテン ッ再生時の利用者の感情の変化や、 コンテンツ再生時の利用者の周囲 の環境をメタデータとして記録することについては記載されていない
例えば、 過去のコンテンツ再生時における利用者の心理状態や周囲 の環境をメタデータとしてコンテンツと関連付けて記録することがで きれば、 同一のコンテンツをメタデータに応じて再生することで、 過 去のコンテンツ再生時の心理状態や周囲の環境を再現できる。
発明の開示
したがって、 この発明の目的は、 コンテンツ再生時における利用者 の感情の変化や周囲の環境をセンシングメタデータとして記録媒体に 記録する記録装置および記録方法を提供することである。
また、 この発明の他の目的は、 記録されたセンシングメタデータに 応じてコンテンツを再生する再生装置、 再生方法、 記録再生装置およ び記録再生方法を提供することである。
さらに、 この発明は、 利用者の感情の変化や周囲の環境がセンシン グメタデータとして記録された記録媒体を提供することを目的とする
この発明は、 コンテンツを提供するコンテンツ提供部と、 コンテン ッの再生時における利用者の生体情報を測定する生体情報測定部およ びコンテンツの再生時における利用者の周囲の環境を測定する環境測 定部の少なくとも一方と、 生体情報測定部および環境測定部の少なく とも一方によって検出される情報を使用してセンシングメタデータを 生成するセンシングメタデータ生成部と、 生成されるセンシングメタ データをコンテンツと関連付けて記録媒体に記録する記録処理部とを 備える記録装置である。
また、 この発明は、 提供されたコンテンツを再生する再生装置であ つて、 コンテンツの再生時における利用者の生体情報を測定する生体 情報測定部およびコンテンツの再生時における利用者の周囲の環境を 測定する環境測定部の少なくとも一方によって検出された情報を使用 して生成されたセンシングメタデ一夕が記録された記録媒体を再生す る再生処理部と、 センシングメタデータに応じた再生態様でもってコ ンテンッを再生する再生制御部とを備える再生装置である。
また、 コンテンツを提供するコンテンツ提供部と、 コンテンツの再 生時における利用者の生体情報を測定する生体情報測定部およびコン テンッの再生時における利用者の周囲の環境を測定する環境測定部の 少なくとも一方と、 生体情報測定部および環境測定部の少なくとも一 方によって検出される情報を使用してセンシングメタデ一夕を生成す るセンシングメタデータ生成部と、 生成されるセンシングメタデータ をコンテンツと関連付けて記録媒体に記録する記録処理部と、 センシ ングメタデータが記録された記録媒体を再生する再生処理部と、 セン シングメタデータに応じた再生態様でもってコンテンツを再生する再 生制御部とを記録再生装置である。
また、 この発明は、 コンテンツを提供するコンテンツ提供ステップ と、 コンテンツの再生時において測定された利用者め生体情報および コンテンッの再生時において測定された利用者の周囲の環境の少なく とも一方の情報を使用してセンシングメ夕データを生成するセンシン グメタデータ生成ステップと、 センシングメ夕データをコンテンツと 関連付けて記録媒体に記録するセンシングメ夕データ記録ステップと からなる記録方法である。
また、 この発明は、 提供されたコンテンツを再生する再生方法であ つて、 コンテンツの再生時において測定された利用者の生体情報およ びコンテンツの再生時において測定された利用者の周囲の環境の少な くとも一方の情報を使用して生成されたセンシングメタデータが記録 された記録媒体を再生する記録媒体再生ステップと、 センシングメタ データに応じた再生態様でもってコンテンツを再生するコンテンツ再 生ステップとからなる再生方法である。
また、 この発明は、 コンテンツを提供するコンテンツ提供ステップ と、 コンテンツの再生時において測定された利用者の生体情報および コンテンッの再生時において測定された利用者の周囲の環境の少なく とも一方の情報を使用してセンシングメ夕データを生成するセンシン グメタデータ生成ステツプと、 センシングメタデー夕をコンテンツと 関連付けて記録媒体に記録するセンシングメ夕データ記録ステップと 、 センシングメ夕データが記録された記録媒体を再生する記録媒体再 生ステップと、 センシングメ夕データに応じた再生態様でもってコン テンッを再生するコンテンツ再生ステップとからなる記録再生方法で ある。
また、 この発明は、 コンテンツの再生時において測定された利用者 の生体情報およびコンテンッの再生時において測定された利用者の周 囲の環境の少なくとも一方の情報を使用して生成されたセンシングメ タデ一夕がコンテンツと関連付けられて記録された記録媒体である。 図面の簡単な説明
第 1図は、 この発明の一実施の形態における記録再生装置の構成を 示すブロック図、 第 2図は、 この発明の一実施の形態における人体セ ンサにおいて測定される心拍数を示す略線図、 第 3図は、 この発明の 一実施の形態における記録再生装置において計時される時刻とコンテ ンッの再生位置の対応例を示す略線図、 第 4図は、 コンテンツの再生 位置と対応付けされた心拍数を示す略線図、 第 5図は、 この発明の一 実施の形態におけるセンシングメタデータを記録する処理の流れを示 すフローチャート、 第 6図は、. この発明の一実施の形態におけるセン シングメタデータに応じてコンテンツを再生する処理の流れを示すフ ローチャー卜である。
発明を実施するための最良の形態
以下、 図面を参照しながらこの発明の一実施の形態について説明す る。 なお、 この明細書におけるコンテンツとは、 映像情報および音声 情報の少なくとも一方であり、 また、 各コンテンツは、 識別子 （以下 、 適宜、 コンテンツ I D (I dent i f i er)と称する） によって特定される 。 映像情報は、 映像、 写真等の静止画、 グラフィックス、 電子書籍お よびそれらと共に表示される文字情報などの視覚上、 認識できる情報 の全てを含み、 音声情報は、 音楽、 自然音、 話声などの聴感上、 認識 できる情報の全てを含む。 また、 映像コンテンツを視聴する視聴者や 音声コンテンツを聴取する聴取者等を総称して利用者と称する。 第 1図における参照符号 1は、 この発明の一実施の形態における記 録再生装置の主要な構成を示す。 記録再生装置 1は、 コンテンツ提供 部 1 1、 再生制御部 1 2、 映像信号処理部 1 3、 映像信号出力部 1 4 、 音声信号処理部 1 5、 音声信号出力部 1 6、 人体センシングデータ 処理部 1 7、 環境センシングデータ処理部 1 8、 センシングメタデー 夕生成部 1 9、 記録処理部 2 0、 記録媒体 2 1、 パターン蓄積部 2 2 、 再生処理部 2 3を含む構成とされる。 コンテンツ提供部 1 1は、 例えば、 CD— ROM Compact Disc-Re ad only Memory) ^DVD - ROM (Digital Versatile Disc-Read on ly Memory)等の光ディスクや半導体メモリ、 磁気テープなどの記録媒 体や記憶媒体である。 コンテンツ提供部 1 1は、 記録再生装置 1と着 脱自在とされる記録媒体や記憶媒体に限らず、 記録再生装置 1に内蔵 される HDD Hard Disk Drive)でも良い。 また、 コンテンツ提供部 1 1は、 地上アナログ Zディジタル放送や B S (Broadcasting Satel lite) ディジタル放送等のテレビジョン放送、 インターネットを介し てコンテンツを配信するコンテンツ配信サーバ等を含むものとされる 。
また、 コンテンツ提供部 1 1は、 後述するように、 利用者によって 入力指示されたコンテンツ I Dに対応するコンテンツを再生制御部 1 2に対して供給する。
再生制御部 1 2は、 通常再生時においては、 コンテンツ提供部 1 1 から提供されるコンテンツを再生する処理を行う。 再生制御部 1 2に おける再生処理は、 コンテンツが提供される手段によって異なる。 例 えば、 コンテンツが光ディスクに記録されている場合、 再生制御部 1 2においては、 光ピックアップによって信号が読み出され、 読み出さ れた信号に対して復調処理、 エラー訂正処理が行われ、 処理が行われ た信号がバッファメモリに一旦書き込まれる。 そして、 バッファメモ リに書き込まれた信号にデマルチプレクス処理が行われ、 多重化され ていた映像信号、 音声信号等が分離される。 分離された映像信号が映 像信号処理部 1 3に対して供給され、 音声信号が音声信号処理部 1 5 に対して供給される。
光ディスクに文字信号が記録されている場合は、 デマルチプレクス 処理によって分離された文字信号が図示しない文字信号処理部に供給 される。 文字信号処理部において復号処理等が行われた文字信号が必 要に応じて映像信号と重畳されて、 利用者に対して提示される。 また、 例えば、 B Sディジタル放送によってコンテンツが提供され る場合は、 再生制御部 1 2においては、 受信電波から目的の搬送波を 選択する処理、 復調処理、 誤り訂正処理、 デスクランブル処理、 デマ ルチプレクス処理、 パケット選択処理等が行われ、 目的とする映像 P E S (Packetized Elementary Stream)およぴ音声 P E Sが抽出される 。 そして、 選択された映像 P ESは映像信号処理部 1 3に供給され、 音声 PE Sは音声信号処理部 1 5に供給される。 このように、 再生制 御部 1 2においては、 コンテンツ提供部 1 1に応じて適切な処理が行 われる。 再生制御部 1 2において行われる処理を切り換えることも可 能である。
再生制御部 1 2に対しては、 再生処理部 2 3からセンシングメ夕デ 一夕が供給される。 再生制御部 1 2は、 通常再生以外に、 コンテンツ 提供部 1 1から供給されるコンテンツを、 センシングメタデ一夕に応 じた再生態様でもって再生する処理を行う。 なお、 センシングメ夕デ 一夕については後述する。
映像信号処理部 1 3は、 供給される映像信号を復号する処理等を行 う。 映像信号処理部 1 3に供給される映像信号は、 例えば、 MPEG (Moving Picture Coding Experts Group) 2方式によって圧縮符号 化されている。 したがって、 映像信号処理部 1 3では、 圧縮符号化さ れている映像信号を復号する処理が行われる。 さらに映像信号処理部 1 3では、 復号されたディジタル映像信号を必要に応じてアナログ映 像信号へと変換する DZA (Digital to Analog)変換処理が行われる 。 アナログ信号へと変換された映像信号が映像信号出力部 14に供給 される。 映像信号出力部 14は、 C RT (Cathode Ray Tube)や L CD (Liqu id Crystal Display) 、 有機 EL (Electro Luminescence)等のモニタ である。 映像信号出力部 14には、 映像信号処理部 1 3から供給され た映像信号が再生される。
音声信号処理部 1 5は、 供給される音声信号を復号する処理等を行 う。 音声信号処理部 1 5に供給される音声信号は、 例えば、 MP 3 (M PEGl- Audio Layer- 111)方式や M P E G 2 A A C (Advanced Audio Cod ing)方式等によって圧縮符号化されている。 したがって、 音声信号処 理部 1 5では、 圧縮符号化されている音声信号を復号する処理が行わ れる。 音声信号処理部 1 5ではさらに、 復号されたディジタル音声信 号を必要に応じてアナログ信号へと変換する DZA (Digital to Anal og)変換処理が行われる。 アナログ信号へと変換された音声信号が音 声信号出力部 1 6に供給される。
音声信号出力部 1 6は、 スピーカ、 ヘッドフォン等である。 音声信 号出力部 1 5から供給された音声信号が音声信号出力部 1 6から再生 される。
映像信号処理部 1 3や音声信号処理部 1 5において映像信号、 音声 信号は、 例えば、 光ディスクにコンテンツと共に記録されていたり、 放送波に P E S化されて重畳されている D T S (Decoding Time Stamp )のようなタイミング情報に基づいて復号される。 また、 映像信号お よび音声信号は、 例えば、 光ディスクにコンテンツと共に記録されて いたり、 放送波に P E S化されて重畳されている P T S (Presentatio n Time Stamp)のようなタイミング情報によって利用者に提示される ことで、 映像、 音声と同期を取ることができる。
なお、 映像信号出力部 1 4および音声信号出力部 1 6の少なくとも 一方が記録再生装置 1と別体とされても良い。 例えば、 記録再生装置 1と離れて設置された映像信号出力部 1 4に対して無線を利用して映 像信号が送信され、 映像信号出力部 1 4から映像信号が再生されるよ うにしても良い。
人体センシングデ一夕処理部 1 7は、 後述する人体センサ 2 4によ つて検出される情報 （以下、 適宜、 人体センシングデータと称する） を電気的な信号へと変換し、 変換した人体センシングデータを記録す る。 ここで、 人体センシングデータは、 心電図、 呼吸数、 呼吸周期、 筋電図、 脳血流量、 脳波、 発汗量、 皮膚温度、 瞳孔径、 開眼度、 手足 の温度、 体表温、 表情の変化、 瞬きの変化などの生体情報である。 各 人体センシングデ一夕は、 利用者毎の利用者 I Dによって特定される 。 人体センシングデータ処理部 1 7において記録された人体センシン グデータがセンシングメタデータ生成部 1 9に対して供給される。 環境センシングデータ処理部 1 8は、 後述する環境センサ 2 5によ つて検出される情報 （以下、 適宜、 環境センシングデータと称する） を電気的な信号へ変換し、 変換した環境センシングデ一夕を記録する 。 ここで、 環境センシングデータは、 温度、 湿度、 風量、 気圧、 天候 および場所等の少なくとも一つとされる。 また、 各環境センシングデ —夕は、 利用者毎の利用者 I Dによって特定される。 環境センシング データ処理部 1 8において記録された環境センシングデータは、 セン シングメ夕デ一タ生成部 1 9に対して供給される。
センシングメタデータ生成部 1 9は、 供給される人体センシングデ 一夕および環境センシングデータの少なくとも一方を使用してセンシ ングメタデータを生成する。 例えば、 供給される人体センシングデー 夕を使用してコンテンツ再生時の利用者の感情や感情の変化を示すセ ンシングメタデータをセンシングメ夕データ生成部 1 9が生成する。 また、 供給される環境センシングメ夕データを使用してコンテンツ再 生時の利用者の周囲の環境を示すセンシングメ夕データをセンシング メタデータ生成部 1 9が生成する。
具体的には、 センシングメタデータ生成部 1 9は、 例えば、 人体セ ンシングデータから得られる心拍数の変化、 唇の動きや瞬きなどの表 情の変化をパターン蓄積部 2 2に蓄積されているデータと照合して、 コンテンツのある区間における利用者の感情 （喜び ·悲しみ ·驚き · 怒りなど） を判別する。 そして、 例えば X M L (ext ens i b l e Markup L anguage)フォーマットで記述された利用者の感情の変化を示すセンシ ングメタデータを生成する。 ここで、 パターン蓄積部 2 2は、 好まし くは H D Dなどの不揮発性メモリからなり、 人体センシングデータの 変化に対応する感情のパターンが蓄積されている。 例えば、 コンテン ッの利用者の心拍数の変化や発汗量の変化、 体表温の変化などと、 そ の変化に対応する興奮、 緊張、 落ち着き等の感情のパターンが蓄積さ れている。
また、 例えば、 人体センシングデータから得られる発汗量、 心拍数 の上昇度、 瞳孔径の変化をパターン蓄積部 2 2に蓄積されているデー 夕と照合して、 驚き、 緊張などの利用者の感情を判別することができ る。 そして、 判別された利用者の感情を示すセンシングメタデータを センシングメタデータ生成部 1 9が生成する。
また、 センシングメタデータ生成部 1 9は、 環境センシングデータ を使用してコンテンツ再生時における利用者の周囲の環境を示すセン シングメタデータを生成する。 例えば、 温度、 湿度、 風量、 気圧、 天 候 （晴れ、 曇り、 雨、 雪、 嵐等） を X M Lフォーマットで記述したセ ンシングメタデータを生成する。 また、 コンテンツ再生時の視聴者が 居る場所に関しては、 例えば、 緯度、 経度情報をセンシングメタデ一 夕としてセンシングメタデータ生成部 1 9が生成する。 センシングメ夕データ生成部 1 9に対しては、 再生制御部 1 2によ つて通常再生されるコンテンツを特定するためのコンテンツ I Dが供 給される。 コンテンツ I Dとしては、 例えば、 コンテンツのタイトル が使用される。 そして、 センシングメ夕データ生成部 1 9から記録処 理部 20に対して、 センシングメタデータ、 利用者 I Dおよびコンテ ンッ I Dが供給される。
記録処理部 20は、 供給されるセンシングメタデータ、 利用者 I D およびコンテンツ I Dを記録媒体 2 1に適するフォーマツトへと変換 し、 変換したセンシングメタデータ等をコンテンツと関連付けて記録 媒体 2 1に記録する処理を行う。 記録処理部 20においては、 記録媒 体 2 1に応じた記録処理が行われる。 ここで、 記録媒体 2 1は、 例え ば、 C D— R (Recordable), C D - RW (Rewri table) , DVD-R, DVD— RW等の追記可能または書き換え可能な光ディスクや磁気テ ープである。 また、 半導体メモリや記録再生装置 1に内蔵される HD Dなどの記憶媒体でも良い。
再生処理部 2 3は、 記録媒体 2 1に記録されているセンシングメタ データを再生する処理を行う。 例えば、 利用者によってなされた利用 者 I Dおよびコンテンツ I Dの入力指示に対応するセンシングメタデ —夕を記録媒体 2 1から再生する処理を行う。 再生処理部 2 3におい ては、 記録媒体 2 1に応じて適切な再生処理が行われる。 再生処理部 2 3における再生処理によって記録媒体 2 1からセンシングメタデー 夕が再生され、 再生されたセンシングメタデータが再生制御部 1 2に 対して供給される。
次に、 人体センサ 24および環境センサ 2 5について説明する。 生 体情報測定部の一例である人体センサ 24は、 例えば、 コンテンツの 利用者の身体に取り付けられ、 様々な人体センシングデー夕を測定す ることができる器具である。 勿論、 人体センシングデータを計時する だけでなく、 時計機能等の他の機能が付加されても良い。 この一実施 の形態における人体センサ 2 4は、 記録再生装置 1と無線による通信 が可能とされ、 測定された人体センシングデータを記録再生装置 1に 対して送信することができる。
なお、 人体センサ 2 4は、 コンテンツの利用者の身体に取り付けら れる器具に限られない。 例えば、 記録再生装置 1に備えられ、 利用者 の表情を撮像する撮像装置や利用者の体表温度を測定する赤外線サー モグラフィ等も人体センサ 2 4に含まれる。
環境測定部の一例である環境センサ 2 5は、 温度計、 湿度計、 風量 計、 気圧計、 天候を判別するための撮像装置等からなり、 利用者の身 体に取り付けられても良く、 記録再生装置 1に取り付けられていても 良い。 また、 環境センサ 2 5には、 場所を示す環境センシングデ一夕 を検出するための G P S (Gl obal Pos i t i on ing Sys t em)受信端末等も 含まれる。 したがって、 環境センサ 2 5は、 G P Sを利用して利用者 がコンテンツを視聴している場所を特定することができる。 なお、 利 用者の携帯電話と基地局との間で行われる位置登録のための通信を受 信することでコンテンツ再生時の場所を特定するようにしても良い。 次に、 センシングメ夕データ生成部 1 9において生成されたセンシ ングメタデータを記録媒体 2 1に記録する具体例について説明する。 以下、 説明する具体例では、 コンテンツを、 コンテンツ提供部 1 1か ら供給され、 時間軸上で情報が変化する映像コンテンツとする。 また 、 人体センサ 2 4は、 腕時計の機能と心拍計の機能を有する腕時計型 心拍計とされ、 人体センシングメタデータの一例として利用者の心拍 数を人体センサ 2 4が測定する。 ここで心拍数は、 1分間の拍動の数 (BPM (Beat per Mi nu t e) )を意味する。 人体センサ 2 4において測定さ れた心拍数は、 人体センサ 2 4の利用者を示す利用者 I Dと共に無線 による通信によって記録再生装置 1に対して送信される。
また、 記録再生装置 1において計時される時刻と、 人体センサ 2 4 において計時される時刻は一致するものとされる。 例えば、 記録再生 装置 1および人体センサ 2 4が標準時刻を示す電波を受信することで 、 記録再生装置 1において計時される時刻と人体センサ 2 4において 計時される時刻とがー致可能とされる。 また、 インタ一ネットを介し て配信される標準時刻を取得することでも記録再生装置 1および人体 センサ 2 4が計時する時刻を一致させることができる。
コンテンツ提供部 1 1から映像コンテンツが供給され、 再生制御部 1 2において、 供給されたコンテンツに対する通常再生処理が行われ る。 そして、 映像信号処理部 1 3および音声信号処理部 1 5において 、 復号処理等が行われ、 映像信号出力部 1 4に映像が再生され、 音声 信号出力部 1 6から音声が再生される。 コンテンツの再生が行われる とともに、 人体センサ 2 4では心拍数が測定される。
第 2図は、 人体センサ 2 4において測定される利用者 Aの心拍数の 一例を示す。 人体センサ 2 4では、 所定の時刻若しくは所定の周期を もって心拍数がサンプリングされる。 また、 心拍数が測定された時間 情報が測定される。 この例では、 第 2図に示すように、 例えば、 2 0 0 6年 2月 3日 2 0時 4 7分 1 0秒において心拍数 7 2が測定される 。 他の心拍数も同様に、 時間情報と関連付けられて測定される。
人体センサ 2 4から記録再生装置 1に対して、 利用者 Aを特定する ための利用者 I D、 コンテンツの通常再生時に測定された利用者 Aの 心拍数、 各心拍数が測定された時間情報 （以下、 適宜、 利用者 I D等 と総称する） が送信される。 利用者 I Dとしては、 人体センサ 2 4に 付加されているシリアル番号が使用されても良いし、 利用者 I Dが利 用者 Aによって入力されても良い。 利用者 I D等が記録再生装置 1に おいて受信され、 人体センシングデータ処理部 1 7に供給される。 人 体センシングデータ処理部 1 7においては、 人体センサ 2 4から送信 された利用者 I D等が電気的な信号へと変換され、 変換された利用者 I D等が記録される。 そして、 記録された利用者 I D等がセンシング メタデータ生成部 1 9に供給される。
一方、 記録再生装置 1は、 記録再生装置 1に内蔵されるクロック回 路等によって現在時刻を計時することができる。 また、 再生制御部 1 2においては、 通常再生している映像コンテンツの再生位置情報を取 得できる。 第 3図は、 記録再生装置 1において計時されている時間情 報に対応する映像コンテンツの再生位置の例を示す。 例えば、 記録再 生装置 1において計時された 2 0 0 6年 2月 3日 2 0時 4 7分 1 0秒 では映像コンテンツの再生位置が 0 0時 1 5分 2 0秒とされる。
センシングメ夕データ生成部 1 9では、 心拍数が測定された時間情 報と当該時間情報に対応する再生位置を判別して、 映像コンテンツの 再生位置と測定された心拍数との対応付けがなされる。 例えば、 第 2 図および第 3図を使用して説明したように、 時間情報 2 0 0 6年 2月 3日 2 0時 4 7分 1 0秒において、 人体センサ 2 4では心拍数 7 2が 測定され、 映像コンテンツの再生位置が 0 0時 1 5分 2 0秒である。 したがって、 第 4図に示すように、 映像コンテンツの再生位置が 0 0 時 1 5分 2 0秒において心拍数が 7 2であることの対応付けがなされ る。 測定された他の心拍数も同様に、 映像コンテンツの再生位置との 対応付けがなされる。
次に、 センシングメタデータ生成部 1 9は、 パターン蓄積部 2 2に 蓄積されている過去のパターンを参照して、 心拍数の変化に対応する 利用者の感情を抽出する。 例えば、 パターン蓄積部 2 2に蓄積されて いる過去のパターンの中から類似しているパターンを検索する。 そし て、 検索されたパターンに対応する感情を、 コンテンツ再生時の利用 者の感情として抽出する。
一例を示せば、 心拍数が 7 2から 7 5への変化に対応する映像コン テンッの再生位置 0 0時 1 5分 2 0秒から 0 0時 1 5分 4 0秒の区間 は、 心拍数がやや上昇していることからこの区間の映像コンテンッの 再生時に利用者が興奮しているものとされる。 また、 心拍数が 7 5か ら 7 1への変化に対応する映像コンテンツの再生位置 0 0時 1 5分 4 0秒から 0 0時 1 6分 0 0秒の区間は、 心拍数が下降していることか ら、 この区間の映像コンテンツの再生時に利用者が落ち着いてきたも のとされる。 また、 心拍数 8 2と高くなつたときの映像コンテンツの 再生位置 0 1時 2 0分 4 0秒においては、 利用者が驚いたものとされ る。
続いて、 センシングメタデータ生成部 1 9は、 映像コンテンツの再 生位置や再生区間と、 それに対応する利用者の感情を示すセンシング メタデータを生成する。 センシングメ夕データ生成部 1 9において生 成されたセンシングメタデータが記録処理部 2 0に対して供給される 。 また、 通常再生されるコンテンツの利用者である利用者 Aを特定す るための利用者 I Dおよび通常再生される映像コンテンツを特定する コンテンツ I Dがセンシングメタデ一タ生成部 1 9から記録処理部 2 0に対して供給される。
記録処理部 2 0は、 供給されたセンシングメタデ一夕、 利用者 I D 、 コンテンツ I Dを記録媒体 2 1に適合するフォーマツトに変換する 。 そして、 記録処理部 2 0における記録処理によって、 適切なフォー マットへと変換されたセンシングメタデ一夕、 利用者 I D、 コンテン ッ I Dが記録媒体 2 1に記録される。 なお、 上述した具体例では、 心拍数を例とする人体センシングデ一 夕を使用してセンシングメタデータを生成する例を説明したが、 環境 センシングデ一夕を使用してセンシングメタデータを生成することも できる。 温度、 湿度、 風量、 天候、 場所等を示す環境センシングデー 夕の場合は、 必ずしも時系列に測定されていなくても良い。
また、 時間軸上で情報が変化しない写真などのコンテンツと環境セ ンシングデータから生成されたメタデータとが記録媒体 2 1に記録さ れるようにしても良い。 この場合におけるセンシングメタデータを記 録する処理においては、 必ずしも時間情報は必要とされない。
第 5図は、 この発明の一実施の形態におけるセンシングメタデータ を記録する処理の流れを示すフローチャートである。 なお、 第 5図を 使用して説明する処理においては、 コンテンツを音声コンテンッとし て説明する。
ステップ S 1においては、 コンテンツを再生する処理が行われる。 すなわち、 コンテンツ提供部 1 1から供給された音声コンテンツに対 して、 再生処理部 1 2において通常再生処理が行われる。 再生処理が 行われた音声コンテンツに対して音声信号処理部 1 5において復号処 理等が行われ、 音声信号出力部 1 6から音声コンテンツが利用者に対 して再生される。 コンテンツ再生処理が行われると、 処理がステップ S 2に進む。
ステップ S 2においては、 センシング処理が開始される。 すなわち 、 人体センサ 2 4および環境センサ 2 5の少なくとも一方を使用して 、 コンテンッの再生時における利用者の人体センシングデ一夕および コンテンツ再生時における環境センシングデータの少なくとも一方が 測定される。 測定された人体センシングデータが人体センシングデー 夕処理部 1 7に供給される。 測定された環境センシングデータが環境 センシングデータ処理部 1 8に供給される。 人体センシングデ一夕処 理部 1 7、 環境センシングデータ処理部 1 8において処理が行われた 人体センシングデータおよび環境センシングデ一夕の少なくとも一方 がセンシングメタデータ生成部 1 9に対して供給される。
なお、 このステップ S 2において行われるセンシング処理を開始す るタイミングは、 好ましくはコンテンツの再生開始時であるが、 コン テンッの再生途中からでも良い。 センシング処理が開始されると、 処 理がステップ S 3に進む。
ステップ S 3では、 センシングメタデータ生成部 1 9においてセン シングメタデータを生成する処理が行われる。 センシングメタデータ 生成部 1 9は、 人体センシングデータ処理部 1 7から供給される人体 センシングデー夕および環境センシングデータ処理部 1 8から供給さ れる環境センシングメタデータの少なくとも一方を使用して、 センシ ングメタデ一夕を生成する。 センシングメタデータが生成されると、 処理がステップ S 4に進む。
ステップ S 4においては、 生成されたセンシングメタデータを記録 する処理が行われる。 ステップ S 3において生成されたセンシングメ タデ一夕が記録処理部 2 0に対して供給される。 また、 通常再生され るコンテンツの利用者を特定するための利用者 I D、 通常再生される コンテンッを特定するためのコンテンツ I Dが記録処理部 2 0に対し て供給される。 記録処理部 2 0において、 センシングメタデ一夕、 利 用者 I D、 コンテンツ I Dが記録媒体 2 1に応じたフォーマツトへと 変換される。 変換されたセンシングメタデータ、 利用者 I D、 コンテ ンッ I Dが記録媒体 2 1に記録される。
次に、 センシングメタデータ等が記録された記録媒体 2 1を再生す る処理について説明する。 第 6図は、 この発明の一実施の形態におけ る再生処理の流れを示すフローチヤ一トである。
ステップ S 1 1においては、 センシングメタデータ取得処理が行わ れる。 例えば、 利用者によって利用者 I Dおよびコンテンツ I Dが入 力され、 入力された利用者 I Dおよびコンテンツ I Dが再生処理部 2 3に対して指示される。 再生処理部 2 3は、 指示された利用者 I Dお よびコンテンツ I Dに対応するセンシングメタデータを記録媒体 2 1 から再生する。 再生されたセンシングメタデータが再生制御部 1 2に 対して供給される。 次に、 処理がステップ S 1 2に進む。
ステップ S 1 2においては、 コンテンツ取得処理が行われる。 利用 者によって入力されたコンテンツ I Dがコンテンツ提供部 1 1に対し て指示される。 コンテンツ提供部 1 1は、 指示されたコンテンツ I D に対応するコンテンツを再生制御部 1 2に対して供給する。 例えば、 コンテンツ配信サーバにアクセスし、 コンテンツ I Dにより特定され るコンテンツをダウンロードする。 ダウンロードされたコンテンツが 再生制御部 1 2に対して供給される。 なお、 コンテンツ I Dによって 特定されるコンテンツをコンテンツ提供部 1 1が提供できない場合は 、 例えば、 映像信号出力部 1 4にエラーメッセージが表示されたり、 音声信号出力部 1 6から警告音が放音される。 次に、 処理がステップ S 1 3に進む。
ステップ S 1 3においては、 コンテンツ再生処理が行われる。 ステ ップ S 1 3において再生制御部 1 2は、 通常再生時とは異なる再生処 理、 すなわち、 再生処理部 2 3から供給されるセンシングメタデータ に応じた再生態様でもって、 コンテンツ提供部 1 1から供給されるコ ンテンッを再生する処理を行う。 以下、 センシングメタデータに応じ た再生態様でもってコンテンツを再生する再生例について説明する。 例えば、 コンテンツが映像コンテンツの場合は、 センシングメ夕デ 一夕に記述されている再生位置や再生区間における利用者の感情に応 じて、 輝度レベル、 コントラスト、 色合いを再生制御部 1 2が変更す る。 また、 コンテンツが音声コンテンツの場合は、 センシングメタデ —夕に記述されている音声コンテンツのある区間における利用者の感 情に応じて、 周波数特性や音量レベルを再生制御部 1 2が変更したり 、 エフェクトをかけたりする。 また、 興奮していたと判別される再生 位置に対応するシーンをダイジエスト再生することもでき、 利用者の 感情の抑揚あるシーンを強調するように再生することもできる。 再生制御部 1 2において処理が行われた映像コンテンッが映像信号 処理部 1 3に供給され、 音声コンテンツが音声信号処理部 1 5に供給 される。 映像信号処理部 1 3、 音声信号処理部 1 5において復号処理 等が行われ、 センシングメタデ一夕に応じた再生態様でもって映像コ ンテンッが映像信号出力部 1 4から、 音声コンテンツが音声信号出力 部 1 6から再生される。
また、 環境センシングメタデータが使用されてセンシングメタデ一 夕が生成された場合は、 再生制御部 1 2は、 センシングメタデータに よって指示される周囲の環境を利用者が認識可能にコンテンツを再生 する。
例えば、 コンテンツが映像コンテンツの場合は、 再生制御部 1 2に おいて、 センシングメタデータから得られる気温、 湿度、 場所等を示 すデータが映像コンテンツと重畳される。 そして、 データが重畳され た映像コンテンツに対して映像信号処理部 1 3において復号処理等の 処理が行われる。 復号処理等が行われた映像コンテンツが映像信号出 力部 1 4に再生される。 このとき、 映像信号出力部 1 4には、 過去の 同一の映像コンテンツ再生時の気温、 湿度、 場所等を示す文字情報が 映像コンテンツと共に再生される。 これにより、 映像コンテンツの利 用者は、 過去の映像コンテンツ再生時における周囲の環境を認識でき る。
また、 コンテンツが音声コンテンツの場合は、 再生制御部 1 2にお いて、 例えば、 以下の処理が行われる。 センシングメタデータによつ て、 過去の音声コンテンツ再生時の天候が雨や強風と指示されるとき は、 音声コンテンツに対して雨や風の音のデータを再生制御部 1 2が 重畳する。 雨や風の音のデータが重畳された音声コンテンツが再生制 御部 1 2から音声信号処理部 1 5に対して供給される。 そして、 音声 信号処理部 1 5において音声コンテンツに対して復号処理等が行われ 、 処理が行われた音声コンテンツが音声信号出力部 1 6から再生され る。 このとき、 利用者は、 音声コンテンツと共に、 音声コンテンツに 重畳された雨や風の音を聞くことで、 過去の音声コンテンッ再生時に おける利用者の周囲の環境を認識できる。 過去の音声コンテンッ再生 時における利用者の周囲の環境を認識することで、 音声コンテンッと 関連して記憶されている利用者の思い出を想起しうる。
なお、 雨や風の音のデ一タは、 例えば、 再生制御部 1 2がコンテン ッ提供部 1 1を制御して、 ネットヮ一クを介して雨や風の音のデータ をダウンロードしても良い。 ダウンロードされた雨や風の音のデータ がコンテンツ提供部 1 1から再生制御部 1 2に供給されて、 再生制御 部 1 2において、 雨や風の音のデ一夕が音声コンテンツと重畳される また、 記録媒体 2 1に過去の音声コンテンツの再生時における利用 者が居た場所を示すセンシングメタデータが記録されている場合は、 以下のようにして音声コンテンッを再生することもできる。 コンテン ッ提供部 1 1または記録媒体 2 1から提供される音声コンテンッは、 再生制御部 1 2、 音声信号処理部 1 5において所定の処理が行われて 、 音声信号出力部 1 6から再生される。
また、 音声コンテンツ再生時における利用者が居た場所を示すセン シングメタデータが再生処理部 2 3における再生処理により得られ、 得られたセンシングデ一夕が再生制御部 1 2に供給される。 再生制御 部 1 2は、 コンテンツ提供部 1 1を制御して、 センシングメ夕デ一夕 が示す利用者が居た場所の周囲の風景、 例えば、 山、 川、 森、 海岸な どの写真のデータを取得する。 例えば、 写真を配信するサーバにァク セスして、 当該サーバから様々な風景の写真のデータを取得すること ができる。 取得された写真のデータがコンテンツ提供部 1 1から再生 制御部 1 2に対して供給される。
再生制御部 1 2に供給された写真のデータが映像信号処理部 1 3に 供給され、 映像信号処理部 1 3において復号処理等が行われる。 処理 が行われた写真のデータが映像信号出力部 1 4に供給され、 映像信号 出力部 1 4には、 山、 川、 森、 海岸などの風景が再生される。 音声コ ンテンッの利用者は、 映像信号出力部 1 4に再生される風景を見なが ら音声コンテンッを聴くことで、 過去の音声コンテンッの再生時の周 囲の風景を認識できる。 したがって、 音声コンテンツと関連して記憶 されている利用者の思い出を想起しうる。
このように、 センシングメタデータに応じた再生態様でもってコン テンッを再生することで、 利用者は、 過去のコンテンツ再生時におけ る利用者の感情の変化を認識できる。 また、 過去のコンテンツ再生時 における利用者の周囲の環境を再現できる。 したがって、 コンテンツ と共に記憶されている思い出を想起できる。
なお、 第 5図および第 6図を使用して説明した処理は、 センシング メタデータを記録し、 記録されたセンシングメ夕データに応じた再生 態様でもってコンテンツを再生する記録再生方法として構成すること も可能である。
以上、 この発明の一実施の形態について具体的に説明したが、 この 発明は、 上述した一実施の形態に限定されるものではなく、 この発明 の技術的思想に基づく各種の変形が可能である。
上述した一実施の形態においては、 記録再生装置として説明したが 、 コンテンツの通常再生時に生成されたセンシングメタデータを記録 する記録装置として構成することもできる。 また、 記録媒体に記録さ れたセンシングメタデータに応じた再生態様でもってコンテンツを再 生する再生装置としで構成することもできる。
再生制御部 1 2において行われるコンテンツを通常再生する処理と 、 センシングメ夕データに応じた再生態様でもってコンテンツを再生 する処理とが、 利用者によって切換可能とされても良い。 .
また、 コンテンツ提供部 1 1が追記可能または書き換え可能な光デ イスクゃ半導体メモリである場合は、 生成されたセンシングメタデー 夕をコンテンツ提供部 1 1に記録することもできる。
また、 この発明における装置を構成する各手段を、 専用のハードウ エア回路によって構成できるし、 ソフトウエア若しくはプログラムさ れたコンピュータによって実現することもできる。 また、 処理内容を 記述したプログラムは、 磁気記録装置、 光ディスク、 光磁気ディスク 、 半導体メモリ等のコンピュータが読み取り可能な記録媒体に記録し ておくことができる。
以上説明したように、 この発明によれば、 コンテンツ再生時におけ る利用者の感情の変化や、 再生時の周囲の環境を光ディスクや半導体 メモリ等の記録媒体にセンシングメタデータとして記録することがで きる。 記録されたセンシングメタデータに応じてコンテンツを再生す ることで、 過去のコンテンツ再生時における利用者の感情の変化や利 用者の周囲の環境を再現できる。 利用者の感情の変化や利用者の周囲 の環境を再現することで、 コンテンッと共に記憶されている利用者の 思い出を想起させることができる。

Claims

2007/117019 請 求 の 範 囲
1 . コンテンツを提供するコンテンツ提供部と、
上記コンテンツの再生時における利用者の生体情報を測定する生体 情報測定部および上記コンテンツの再生時における利用者の周囲の環 境を測定する環境測定部の少なくとも一方と、
上記生体情報測定部および上記環境測定部の少なくとも一方によつ て検出される情報を使用してセンシングメタデータを生成するセンシ ングメ夕データ生成部と、
上記生成されるセンシングメタデータを上記コンテンツと関連付け て記録媒体に記録する記録処理部と
を備える記録装置。
2 . 上記コンテンツは、 時間軸上で情報が変化する請求の範囲 1に記 載の記録装置。
3 . 上記環境測定部は、 上記利用者の周囲の温度、 湿度、 風量、 気圧 、 天候および場所の少なくとも一つを測定する請求の範囲 1に記載の 記録装置。
4 . 提供されたコンテンツを再生する再生装置であって、
コンテンツの再生時における利用者の生体情報を測定する生体情報 測定部および上記コンテンッの再生時における利用者の周囲の環境を 測定する環境測定部の少なくとも一方によって検出された情報を使用 して生成されたセンシングメタデータが記録された記録媒体を再生す る再生処理部と、
上記センシングメタデ一夕に応じた再生態様でもってコンテンツを 再生する再生制御部と
を備える再生装置。
5 . 上記再生制御部は、 上記センシングメタデータによって指示され 2007/117019 る上記周囲の環境を上記コンテンツの利用者が認識可能なようにコン テンッを再生する請求の範囲 4に記載の再生装置。
6 . コンテンツを提供するコンテンツ提供部と、
上記コンテンツの再生時における利用者の生体情報を測定する生体 情報測定部および上記コンテンツの再生時における利用者の周囲の環 境を測定する環境測定部の少なくとも一方と、
上記生体情報測定部および上記環境測定部の少なくとも一方によつ て検出される情報を使用してセンシングメ夕デ一夕を生成するセンシ ングメ夕データ生成部と、
上記生成されるセンシングメタデータを上記コンテンッと関連付け て記録媒体に記録する記録処理部と、
上記センシングメタデータが記録された記録媒体を再生する再生処 理部と、
上記センシングメ夕デ一夕に応じた再生態様でもってコンテンツを 再生する再生制御部と
を記録再生装置。
7 . 上記再生制御部は、 上記センシングメ夕データによって指示され る上記周囲の環境を上記コンテンツの利用者が認識可能なようにコン テンッを再生する請求の範囲 6に記載の記録再生装置。
8 . コンテンツを提供するコンテンツ提供ステップと、
上記コンテンツの再生時において測定された利用者の生体情報およ び上記コンテンツの再生時において測定された利用者の周囲の環境の 少なくとも一方の情報を使用してセンシングメタデータを生成するセ ンシングメ夕データ生成ステップと、
上記センシングメ夕デ一夕を上記コンテンツと関連付けて記録媒体 に記録するセンシングメタデータ記録ステップと 2007/117019 からなる記録方法。
9 . 提供されたコンテンツを再生する再生方法であって、
コンテンツの再生時において測定された利用者の生体情報および上 記コンテンツの再生時において測定された利用者の周囲の環境の少な くとも一方の情報を使用して生成されたセンシングメタデータが記録 された記録媒体を再生する記録媒体再生ステップと、
上記センシングメ夕データに応じた再生態様でもってコンテンツを 再生するコンテンツ再生ステップと
からなる再生方法。
1 0 . コンテンツを提供するコンテンツ提供ステップと、
上記コンテンツの再生時において測定された利用者の生体情報およ び上記コンテンッの再生時において測定された利用者の周囲の環境の 少なくとも一方の情報を使用してセンシングメタデータを生成するセ ンシングメタデータ生成ステップと、
上記センシングメ夕データを上記コンテンツと関連付けて記録媒体 に記録するセンシングメタデータ記録ステツプと、
上記センシングメ夕データが記録された記録媒体を再生する記録媒 体再生ステップと、
上記センシングメタデータに応じた再生態様でもってコンテンツを 再生するコンテンツ再生ステップと
からなる記録再生方法。
1 1 . コンテンツの再生時において測定された利用者の生体情報およ び上記コンテンッの再生時において測定された利用者の周囲の環境の 少なくとも一方の情報を使用して生成されたセンシングメタデータが 上記コンテンツと関連付けられて記録された記録媒体。
PCT/JP2007/057934 2006-04-05 2007-04-04 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体 WO2007117019A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP07741370.6A EP1895537B1 (en) 2006-04-05 2007-04-04 Recording and reproducing apparatus, recording and reproducing method
US11/919,266 US8945008B2 (en) 2006-04-05 2007-04-04 Recording apparatus, reproducing apparatus, recording and reproducing apparatus, recording method, reproducing method, recording and reproducing method, and record medium
CN2007800005499A CN101326582B (zh) 2006-04-05 2007-04-04 记录装置、重放装置、记录重放装置、记录方法、重放方法、记录重放方法
US14/574,939 US9654723B2 (en) 2006-04-05 2014-12-18 Recording apparatus, reproducing apparatus, recording and reproducing apparatus, recording method, reproducing method, recording and reproducing method, and record medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006104263A JP2007280485A (ja) 2006-04-05 2006-04-05 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
JP2006-104263 2006-04-05

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US11/919,266 A-371-Of-International US8945008B2 (en) 2006-04-05 2007-04-04 Recording apparatus, reproducing apparatus, recording and reproducing apparatus, recording method, reproducing method, recording and reproducing method, and record medium
US14/574,939 Continuation US9654723B2 (en) 2006-04-05 2014-12-18 Recording apparatus, reproducing apparatus, recording and reproducing apparatus, recording method, reproducing method, recording and reproducing method, and record medium

Publications (1)

Publication Number Publication Date
WO2007117019A1 true WO2007117019A1 (ja) 2007-10-18

Family

ID=38581289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/057934 WO2007117019A1 (ja) 2006-04-05 2007-04-04 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体

Country Status (6)

Country Link
US (2) US8945008B2 (ja)
EP (1) EP1895537B1 (ja)
JP (1) JP2007280485A (ja)
KR (1) KR20080108896A (ja)
CN (1) CN101326582B (ja)
WO (1) WO2007117019A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009065702A1 (en) * 2007-11-23 2009-05-28 International Business Machines Corporation System and method for dynamically adapting a slide show presentation to an audience behaviour
JP2010094493A (ja) * 2008-09-22 2010-04-30 Koichi Kikuchi 視認情景に対する視認者情感判定装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006030443A (ja) * 2004-07-14 2006-02-02 Sony Corp 記録媒体、記録装置及び方法、データ処理装置及び方法、データ出力装置及び方法
JP2006107693A (ja) * 2004-09-10 2006-04-20 Sony Corp 記録媒体、記録装置、記録方法、データ出力装置、データ出力方法およびデータ配布・流通システム
JP2007280486A (ja) * 2006-04-05 2007-10-25 Sony Corp 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
JP2007280485A (ja) 2006-04-05 2007-10-25 Sony Corp 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
JP5256761B2 (ja) * 2008-02-08 2013-08-07 ソニー株式会社 記録再生方法、記録再生装置、再生方法および再生装置
KR101541497B1 (ko) * 2008-11-03 2015-08-04 삼성전자 주식회사 컨텐츠를 기록한 기록매체, 사용자 관련정보 수집 기능을 구비한 컨텐츠 제공 장치, 컨텐츠 제공 방법, 사용자 관련정보 제공 방법 및 컨텐츠 검색 방법
US20120250050A1 (en) * 2011-03-28 2012-10-04 Daniel Theobald Reconfigurable User Input/Output Device
US20140378781A1 (en) * 2013-06-25 2014-12-25 Qardio, Inc. Methods and systems for acquiring diagnostic information
JP6096095B2 (ja) * 2013-10-30 2017-03-15 日本電信電話株式会社 コンテンツ再生方法、コンテンツ再生装置及びコンテンツ再生プログラム
JP5774731B2 (ja) * 2014-01-09 2015-09-09 オリンパス株式会社 デジタルカメラ及びデジタルカメラの合成画像表示方法
JP5654148B2 (ja) * 2014-01-09 2015-01-14 オリンパスイメージング株式会社 デジタルカメラ及びデジタルカメラの合成画像表示方法
KR102251831B1 (ko) 2015-04-16 2021-05-13 삼성전자주식회사 외부 디바이스에게 태스크 실행을 요청하는 디바이스 및 그 방법
KR102361568B1 (ko) 2015-07-28 2022-02-10 삼성전자주식회사 디스플레이를 제어하는 전자 장치 및 방법
US10083369B2 (en) 2016-07-01 2018-09-25 Ricoh Company, Ltd. Active view planning by deep learning
US20180018899A1 (en) * 2016-07-15 2018-01-18 Panasonic Intellectual Property Management Co., Ltd. Information processing apparatus for presenting content, method for controlling the same, and control program
JP2022030262A (ja) * 2020-08-06 2022-02-18 キヤノン株式会社 表示制御装置およびその制御方法およびプログラムおよびその記録媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07134892A (ja) * 1993-11-12 1995-05-23 Canon Inc 再生装置
JP2001292407A (ja) * 2000-04-07 2001-10-19 Sony Corp 編集支援システム及び方法
US20020041692A1 (en) 2000-10-10 2002-04-11 Nissan Motor Co., Ltd. Audio system and method of providing music
JP2002344904A (ja) 2001-02-06 2002-11-29 Sony Corp コンテンツ再生装置、コンテンツ受信装置、コンテンツ呈示制御方法、コンテンツ評価収集解析方法、コンテンツ評価収集解析装置、コンテンツ評価集計管理方法およびコンテンツ評価集計管理装置
JP2005128884A (ja) * 2003-10-24 2005-05-19 Sony Corp 情報コンテンツの編集装置及び編集方法
JP2005166206A (ja) * 2003-12-04 2005-06-23 Sony Corp 情報記録再生装置及び情報提供システム

Family Cites Families (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63183495A (ja) 1987-01-27 1988-07-28 ヤマハ株式会社 音場制御装置
JP2617990B2 (ja) 1988-06-03 1997-06-11 富士通テン株式会社 オーディオ信号記録媒体とその再生装置
JP2512791B2 (ja) 1988-11-02 1996-07-03 パイオニア株式会社 再生音場制御装置
JPH02223299A (ja) 1988-11-18 1990-09-05 Nec Corp 音声信号の記録媒体およびその再生装置
JPH02295400A (ja) 1989-05-10 1990-12-06 Nec Home Electron Ltd Ｃｄプレーヤにおける音場再生方法
JPH03205659A (ja) 1989-10-27 1991-09-09 Pioneer Electron Corp ディジタル情報信号記録媒体及びその演奏装置
JPH03239100A (ja) 1990-02-16 1991-10-24 Pioneer Electron Corp 記録媒体演奏装置
JPH04306100A (ja) 1991-04-03 1992-10-28 Fujitsu Ten Ltd 音場再生用コンパクトディスク及び音場制御装置
US5875108A (en) * 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH06139704A (ja) 1992-10-29 1994-05-20 Kenwood Corp ディスク記録再生装置
JPH06215482A (ja) 1993-01-13 1994-08-05 Hitachi Micom Syst:Kk オーディオ情報記録媒体、およびこのオーディオ情報記録媒体を用いる音場生成装置
JP2870359B2 (ja) 1993-05-11 1999-03-17 ヤマハ株式会社 音響特性補正装置
JP3547813B2 (ja) * 1994-10-31 2004-07-28 パイオニア株式会社 音場生成装置
JP3550769B2 (ja) 1994-12-22 2004-08-04 ソニー株式会社 記録装置、及び再生装置
JP3357500B2 (ja) * 1995-04-21 2002-12-16 ヤマハ株式会社 個人情報読取機能付きカラオケ装置
US6001065A (en) * 1995-08-02 1999-12-14 Ibva Technologies, Inc. Method and apparatus for measuring and analyzing physiological signals for active or passive control of physical and virtual spaces and the contents therein
DE69637736D1 (de) * 1995-09-08 2008-12-18 Fujitsu Ltd Dreidimensionaler akustischer Prozessor mit Anwendung von linearen prädiktiven Koeffizienten
JP3685852B2 (ja) 1995-10-13 2005-08-24 ブラザー工業株式会社 カラオケ装置
JP3919086B2 (ja) 1995-10-24 2007-05-23 ソニー株式会社 情報処理装置および方法
US5725472A (en) * 1995-12-18 1998-03-10 Weathers; Lawrence R. Psychotherapy apparatus and method for the inputting and shaping new emotional physiological and cognitive response patterns in patients
US5676138A (en) * 1996-03-15 1997-10-14 Zawilinski; Kenneth Michael Emotional response analyzer system with multimedia display
US8350804B1 (en) * 1996-04-10 2013-01-08 Moll Edward W Thought controlled system
JPH1063281A (ja) 1996-08-23 1998-03-06 Ado Commun:Kk 音響映像装置及びこれを用いた楽曲のアレンジ方法
US20020120925A1 (en) * 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
KR100254610B1 (ko) * 1997-01-06 2000-05-01 구자홍 광디스크의 재생시간 산출장치 및 방법
JPH10304313A (ja) 1997-04-25 1998-11-13 Sony Corp 記録再生機能を有するテレビジョン受像機および記録再生機能を有するテレビジョン受像機の記録再生方法
US7333863B1 (en) * 1997-05-05 2008-02-19 Warner Music Group, Inc. Recording and playback control system
JPH10322651A (ja) 1997-05-19 1998-12-04 Sony Corp 再生装置、記録装置及び記録媒体
JPH1124682A (ja) 1997-07-07 1999-01-29 Xing:Kk 映像カラオケ装置
FI116990B (fi) 1997-10-20 2006-04-28 Nokia Oyj Menetelmä ja järjestelmä akustisen virtuaaliympäristön käsittelemiseksi
JPH11213630A (ja) 1998-01-29 1999-08-06 Matsushita Electric Ind Co Ltd 再生映像音声データ特定方法、映像音声データ編集方法、再生映像音声データ特定装置および映像音声データ編集装置
JP2000029482A (ja) 1998-07-15 2000-01-28 Ricoh Co Ltd カラオケ装置
JP3163064B2 (ja) * 1998-07-22 2001-05-08 三洋電機株式会社 ディスク記録装置
JP4051776B2 (ja) 1998-08-04 2008-02-27 株式会社日立製作所 映像情報記録装置、及び映像情報再生装置
US6898762B2 (en) * 1998-08-21 2005-05-24 United Video Properties, Inc. Client-server electronic program guide
JP2000268047A (ja) 1999-03-17 2000-09-29 Sony Corp 情報提供システム、クライアント、情報提供サーバ及び情報提供方法
US6847778B1 (en) * 1999-03-30 2005-01-25 Tivo, Inc. Multimedia visual progress indication system
JP2001005497A (ja) 1999-06-25 2001-01-12 Tdk Corp 音楽再生装置
US6270077B1 (en) * 1999-12-20 2001-08-07 Gene D. Cohen Non-competitive memory enhancement game
US6597375B1 (en) * 2000-03-10 2003-07-22 Adobe Systems Incorporated User interface for video editing
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
KR100865249B1 (ko) 2000-07-20 2008-10-27 디지맥 코포레이션 파일 공유에 임베딩된 데이터의 사용
JP2002095100A (ja) 2000-09-19 2002-03-29 Victor Co Of Japan Ltd 制御データの書換／追加装置及び方法並びにこれに用いる伝送方法及び記録媒体
JP3547385B2 (ja) 2000-09-19 2004-07-28 株式会社第一興商 演奏中の操作履歴を記憶して再現するカラオケ装置
US8302127B2 (en) * 2000-09-25 2012-10-30 Thomson Licensing System and method for personalized TV
JP3827522B2 (ja) 2000-11-14 2006-09-27 パイオニア株式会社 情報再生装置ならびにその方法及び同方法がプログラムされ記録された記録媒体
JP4368054B2 (ja) 2000-11-27 2009-11-18 シャープ株式会社 音声信号記録装置及び音声信号記録再生装置
JP4119083B2 (ja) 2000-11-30 2008-07-16 株式会社ケンウッド Ｐｃｍオーディオ信号再生装置
JP3722035B2 (ja) 2000-12-14 2005-11-30 ヤマハ株式会社 演奏信号処理装置、方法及びプログラム、並びに記憶媒体
US7096483B2 (en) * 2000-12-21 2006-08-22 Thomson Licensing Dedicated channel for displaying programs
GB2370954B (en) 2001-01-04 2005-04-13 British Broadcasting Corp Producing a soundtrack for moving picture sequences
JP2002236768A (ja) 2001-02-07 2002-08-23 Nippon Telegr & Teleph Corp <Ntt> コンテンツ提供方法、システム、コンテンツ提供プログラムおよび同プログラムを記録した記録媒体
JP2002261884A (ja) 2001-02-26 2002-09-13 Kenwood Corp 移動通信端末
US7603657B2 (en) * 2001-03-02 2009-10-13 Oracle International Corporation Customization of client-server interaction in an internet application
JP2002298555A (ja) 2001-03-30 2002-10-11 Matsushita Electric Ind Co Ltd 光ディスク記録再生装置、及び、光ディスク記録媒体
JP2002304197A (ja) 2001-04-03 2002-10-18 Mitsubishi Electric Corp オーディオ復号方法および装置
US6623427B2 (en) * 2001-09-25 2003-09-23 Hewlett-Packard Development Company, L.P. Biofeedback based personal entertainment system
JP4332311B2 (ja) 2001-10-03 2009-09-16 ソニー株式会社 サーバ、端末装置、配信方法およびデータアクセス方法
JP2003122378A (ja) 2001-10-15 2003-04-25 Sony Corp オーディオ再生装置
TWI229557B (en) 2001-10-23 2005-03-11 Samsung Electronics Co Ltd Method and apparatus for reproducing contents from information storage medium in interactive mode
JP3979351B2 (ja) * 2003-06-30 2007-09-19 ソニー株式会社 通信装置及び通信方法
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
JP2003186777A (ja) 2001-12-17 2003-07-04 Nippon Telegraph & Telephone East Corp パーソナルポータル装置、通信方法、プログラム及び記録媒体
JP4059478B2 (ja) * 2002-02-28 2008-03-12 パイオニア株式会社 音場制御方法及び音場制御システム
JP2003256363A (ja) 2002-02-28 2003-09-12 Nippon Telegr & Teleph Corp <Ntt> Ｐ２Ｐサービスを提供するＴｈｉｎクライアント型Ｐ２Ｐシステム及びＰ２Ｐサービスを提供する方法及びＰ２Ｐサーバ及び当該サーバの処理方法及び処理方法を記述したプログラム及び当該プログラムを記録した記録媒体
JP4065698B2 (ja) 2002-03-01 2008-03-26 松下電器産業株式会社 録画装置
JP3786036B2 (ja) 2002-03-12 2006-06-14 ヤマハ株式会社 残響付与装置、残響付与方法、プログラムおよび記録媒体
GB2386978B (en) 2002-03-25 2007-03-28 Sony Uk Ltd Data communications network
JP2003303488A (ja) 2002-04-05 2003-10-24 Pioneer Electronic Corp データ処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP3911436B2 (ja) 2002-04-23 2007-05-09 富士通テン株式会社 音声記録再生装置及び音声記録再生用プログラム
KR100910975B1 (ko) 2002-05-14 2009-08-05 엘지전자 주식회사 인터넷을 이용한 대화형 광디스크 재생방법
US20040052505A1 (en) * 2002-05-28 2004-03-18 Yesvideo, Inc. Summarization of a visual recording
EP1378912A3 (en) * 2002-07-02 2005-10-05 Matsushita Electric Industrial Co., Ltd. Music search system
JP2003202875A (ja) 2002-11-01 2003-07-18 Pioneer Electronic Corp 記録媒体再生装置及び方法
JP2004237022A (ja) * 2002-12-11 2004-08-26 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP2004227638A (ja) * 2003-01-21 2004-08-12 Sony Corp データ記録媒体、データ記録方法および装置、データ再生方法および装置並びにデータ伝送方法および装置
JP2004296065A (ja) 2003-03-10 2004-10-21 Toshiba Corp 情報記憶媒体、情報再生装置、および情報再生方法
US7761427B2 (en) * 2003-04-11 2010-07-20 Cricket Technologies, Llc Method, system, and computer program product for processing and converting electronically-stored data for electronic discovery and support of litigation using a processor-based device located at a user-site
JP2004361845A (ja) * 2003-06-06 2004-12-24 Mitsubishi Electric Corp 移動体における自動選曲システム
JP2005038352A (ja) * 2003-07-18 2005-02-10 Sony Corp 再生装置、再生システム及び再生制御方法
JP4396175B2 (ja) 2003-08-05 2010-01-13 ソニー株式会社 コンテンツ再生装置及びコンテンツ再生方法
JP4040012B2 (ja) 2003-10-24 2008-01-30 シャープ株式会社 番組記録装置
US7442870B2 (en) * 2004-01-02 2008-10-28 Apple Inc. Method and apparatus for enabling advanced manipulation of audio
US7648366B1 (en) * 2004-01-05 2010-01-19 Poulsen Peter D Subliminal or near-subliminal conditioning using diffuse visual stimuli
JP4568506B2 (ja) * 2004-02-05 2010-10-27 パイオニア株式会社 再生制御装置
JP2005259251A (ja) 2004-03-11 2005-09-22 Canon Inc 情報記録再生装置
US20050228785A1 (en) * 2004-04-02 2005-10-13 Eastman Kodak Company Method of diagnosing and managing memory impairment using images
JP2005315802A (ja) * 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
JP2006030443A (ja) * 2004-07-14 2006-02-02 Sony Corp 記録媒体、記録装置及び方法、データ処理装置及び方法、データ出力装置及び方法
US7290698B2 (en) * 2004-08-25 2007-11-06 Sony Corporation Progress bar with multiple portions
JP2006107693A (ja) * 2004-09-10 2006-04-20 Sony Corp 記録媒体、記録装置、記録方法、データ出力装置、データ出力方法およびデータ配布・流通システム
JP4352332B2 (ja) 2004-09-16 2009-10-28 富士フイルム株式会社 画像採点方法及び画像採点システム
JP2006157697A (ja) * 2004-11-30 2006-06-15 Orion Denki Kk 録画再生装置
US20070238934A1 (en) * 2006-03-31 2007-10-11 Tarun Viswanathan Dynamically responsive mood sensing environments
JP2007280486A (ja) * 2006-04-05 2007-10-25 Sony Corp 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
JP2007280485A (ja) 2006-04-05 2007-10-25 Sony Corp 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
CA2654960A1 (en) * 2006-04-10 2008-12-24 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
US20070297755A1 (en) * 2006-05-31 2007-12-27 Russell Holt Personalized cutlist creation and sharing system
US7716572B2 (en) * 2006-07-14 2010-05-11 Muvee Technologies Pte Ltd. Creating a new music video by intercutting user-supplied visual data with a pre-existing music video
JP2008067207A (ja) 2006-09-08 2008-03-21 Sony Corp 記録再生装置、表示制御方法、およびプログラム
US7716153B2 (en) * 2006-11-15 2010-05-11 Reqall, Inc. Memory assistance system comprising of a signal processing server receiving a media signal and associated data relating to information to be remembered and processing the input signal to identify media characteristics relevant to aiding user memory
US8677281B2 (en) * 2007-02-09 2014-03-18 Intel-Ge Care Innovations Llc System, apparatus and method for emotional experience time sampling via a mobile graphical user interface
JP4367662B2 (ja) * 2007-03-23 2009-11-18 ソニー株式会社 情報処理システム、端末装置、情報処理方法、プログラム
JP4933932B2 (ja) * 2007-03-23 2012-05-16 ソニー株式会社 情報処理システム、情報処理装置、情報処理方法、プログラム
JP4349441B2 (ja) * 2007-06-12 2009-10-21 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP4404130B2 (ja) * 2007-10-22 2010-01-27 ソニー株式会社 情報処理端末装置、情報処理装置、情報処理方法、プログラム
JP4424410B2 (ja) * 2007-11-07 2010-03-03 ソニー株式会社 情報処理システム、情報処理方法
JP2009294777A (ja) * 2008-06-03 2009-12-17 Sony Corp コンテンツ再生装置、コンテンツ再生方法、プログラム、コンテンツ再生システム
JP4596043B2 (ja) * 2008-06-03 2010-12-08 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP4600521B2 (ja) * 2008-06-03 2010-12-15 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP4596044B2 (ja) * 2008-06-03 2010-12-08 ソニー株式会社 情報処理システム、情報処理方法
US9872968B2 (en) * 2013-04-17 2018-01-23 Sri International Biofeedback virtual reality sleep assistant

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07134892A (ja) * 1993-11-12 1995-05-23 Canon Inc 再生装置
JP2001292407A (ja) * 2000-04-07 2001-10-19 Sony Corp 編集支援システム及び方法
US20020041692A1 (en) 2000-10-10 2002-04-11 Nissan Motor Co., Ltd. Audio system and method of providing music
JP2002344904A (ja) 2001-02-06 2002-11-29 Sony Corp コンテンツ再生装置、コンテンツ受信装置、コンテンツ呈示制御方法、コンテンツ評価収集解析方法、コンテンツ評価収集解析装置、コンテンツ評価集計管理方法およびコンテンツ評価集計管理装置
EP1389012A1 (en) 2001-02-06 2004-02-11 Sony Corporation Device for reproducing content such as video information and device for receiving content
JP2005128884A (ja) * 2003-10-24 2005-05-19 Sony Corp 情報コンテンツの編集装置及び編集方法
JP2005166206A (ja) * 2003-12-04 2005-06-23 Sony Corp 情報記録再生装置及び情報提供システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1895537A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009065702A1 (en) * 2007-11-23 2009-05-28 International Business Machines Corporation System and method for dynamically adapting a slide show presentation to an audience behaviour
JP2010094493A (ja) * 2008-09-22 2010-04-30 Koichi Kikuchi 視認情景に対する視認者情感判定装置

Also Published As

Publication number Publication date
KR20080108896A (ko) 2008-12-16
EP1895537A4 (en) 2010-10-13
EP1895537B1 (en) 2014-08-13
CN101326582B (zh) 2012-11-14
US20150104150A1 (en) 2015-04-16
US20090048494A1 (en) 2009-02-19
US8945008B2 (en) 2015-02-03
US9654723B2 (en) 2017-05-16
EP1895537A1 (en) 2008-03-05
CN101326582A (zh) 2008-12-17
JP2007280485A (ja) 2007-10-25

Similar Documents

Publication Publication Date Title
US9654723B2 (en) Recording apparatus, reproducing apparatus, recording and reproducing apparatus, recording method, reproducing method, recording and reproducing method, and record medium
JP2007280486A (ja) 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
CN102244788B (zh) 信息处理方法、信息处理装置和丢失恢复信息生成装置
JP2003178078A (ja) 画像、音声データへの付加用標識データとその付加方法
JP2006174291A (ja) 情報処理装置及び情報処理方法
JP2003046910A (ja) タイムシフト再生方法及び装置並びにこれらに用いられるブックマーク
KR20130070552A (ko) 시청각 콘텐츠 처리 방법 및 대응하는 장치
JP2009027428A (ja) 録画再生装置及び録画再生方法
JP2004219914A (ja) 情報伝送方法、情報伝送装置、情報記録方法、情報記録装置、情報再生方法、情報再生装置および記録媒体
JP2008178090A (ja) 映像処理装置
JP4030440B2 (ja) メッセージ再生装置、メッセージ記録および再生方法、およびプログラム
JP2008299032A (ja) 語学教材および文字データ再生装置
JP5306550B2 (ja) 映像解析情報送信装置、映像解析情報配信システム及び配信方法、映像視聴システム及び映像視聴方法
JP5596622B2 (ja) ダイジェスト映像情報提供装置、ダイジェスト映像情報提供方法、およびダイジェスト映像情報提供用プログラム
JP5198643B1 (ja) 映像解析情報アップロード装置及び映像視聴システム及び方法
JP4529632B2 (ja) コンテンツ処理方法およびコンテンツ処理装置
JP4126565B2 (ja) 録画再生方法及び録画再生装置
JP2014207619A (ja) 録画再生装置、及び録画再生装置の制御方法
JP2006074514A (ja) 映像編集装置、映像再生装置、ファイルデータベース、ファイル配信サーバ、映像編集方法、映像編集プログラム、映像再生方法、映像再生プログラム、およびコンピュータ読み取り可能な記録媒体
JP4284594B2 (ja) 記録再生装置及び方法
JP2006005788A (ja) 画像表示方法及び画像表示システム
JP2000217055A (ja) 画像処理装置
JP2016131329A (ja) 画像音声記録装置、画像音声記録方法、画像音声記録プログラム
JP2005294904A (ja) サムネイル画像抽出方法、装置、プログラム
JP2001094907A (ja) 蓄積型デジタル放送における映像音声の部分再生方法及び受信装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780000549.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 7789/DELNP/2007

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 11919266

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2007741370

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020077028313

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07741370

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE