WO2007029489A1 - コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒体 - Google Patents

コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒体 Download PDF

Info

Publication number
WO2007029489A1
WO2007029489A1 PCT/JP2006/316420 JP2006316420W WO2007029489A1 WO 2007029489 A1 WO2007029489 A1 WO 2007029489A1 JP 2006316420 W JP2006316420 W JP 2006316420W WO 2007029489 A1 WO2007029489 A1 WO 2007029489A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
replay
feature amount
start position
detection
Prior art date
Application number
PCT/JP2006/316420
Other languages
English (en)
French (fr)
Inventor
Takeshi Nakamura
Takayoshi Yamamoto
Original Assignee
Pioneer Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corporation filed Critical Pioneer Corporation
Priority to JP2007534312A priority Critical patent/JPWO2007029489A1/ja
Priority to US12/065,950 priority patent/US20090154890A1/en
Priority to EP06796634A priority patent/EP1924092A4/en
Publication of WO2007029489A1 publication Critical patent/WO2007029489A1/ja

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2508—Magnetic discs
    • G11B2220/2516—Hard disks

Definitions

  • Content replay device content playback device, content replay method, content playback method, program, and recording medium
  • the present invention relates to a content replay device, a content playback device, and a content replay method
  • the present invention relates to a content reproduction method, a program, and a recording medium.
  • the use of the present invention is not limited to the above-described content replay device, content playback device, content replay method, content playback method, program, and recording medium.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2003-134415
  • Patent Document 2 JP 2003-333463 A
  • a content replay device includes an acquisition unit that acquires content to be played back, a feature amount extraction unit that extracts a feature amount of the content acquired by the acquisition unit, and a replay.
  • a specific part start position closest to the input timing of the ribray instruction is selected from among the specific part start positions at which the feature amount extracted by the feature amount extraction unit is equal to or greater than a predetermined threshold in the content.
  • a content replay device includes an acquisition unit that acquires content to be played back, a feature amount extraction unit that extracts a feature amount of the content acquired by the acquisition unit, and a replay.
  • the feature amount extracted by the feature amount extraction unit is predetermined in the content up to a predetermined time before the input timing of the ribray instruction (hereinafter referred to as “detection section”). It is characterized by comprising detection means for detecting a specific part start position that is equal to or greater than a threshold value, and output means for outputting the content after the specific partial start position detected by the detection means.
  • a content reproduction apparatus includes an acquisition means for acquiring content to be reproduced, a reading means for reading the content acquired by the acquisition means, and a content read by the reading means.
  • a feature amount extraction means for extracting the feature amount of the feature amount, and in the content, the feature amount extracted by the feature amount extraction means exceeds a predetermined threshold value among the specific portion start positions.
  • a detection unit that detects a specific part start position closest to the input timing of the replay instruction, and a content read by the reading unit are sequentially output, and when the specific part start position is detected by the detection unit Output means for outputting the content after the detected specific part start position.
  • a content replay method includes an acquisition step of acquiring content to be reproduced, a feature amount extraction step of extracting feature amounts of the content acquired by the acquisition step, and a replay.
  • a specific part start position closest to the input timing of the ribray instruction is selected from among the specific part start positions at which the feature amount extracted by the feature amount extraction step is equal to or greater than a predetermined threshold in the content.
  • the content replay method includes an acquisition step of acquiring content to be reproduced, a feature amount extraction step of extracting feature amounts of the content acquired by the acquisition step, and a replay.
  • the feature amount extracted by the feature amount extraction step is predetermined in the content up to a predetermined time before the input timing of the ribray instruction (hereinafter referred to as “detection section”).
  • the method includes a detection step of detecting a specific portion start position that is equal to or greater than a threshold value, and an output step of outputting the content after the specific partial start position detected by the detection step.
  • a content reproduction method includes an acquisition step of acquiring content to be reproduced, a reading step of reading the content acquired by the acquisition step, and a content read by the reading step.
  • a feature amount extraction process for extracting a feature amount and a replay instruction are input, in the content, the feature portion extracted by the feature amount extraction step exceeds a predetermined threshold value among the specific part start positions.
  • a detection process for detecting a specific part start position closest to the input timing of the replay instruction and a content read by the reading process are sequentially output, and when the specific part start position is detected by the detection process An output step of outputting the content after the detected specific part start position.
  • a program according to claim 11 causes a computer to execute the method according to any one of claims 8 to 10.
  • a recording medium according to the invention of claim 12 records the program according to claim 11.
  • FIG. 1 is a block diagram showing a functional configuration of a content replay device according to this embodiment.
  • FIG. 2 is a flowchart showing a processing procedure of the content replay device according to this embodiment.
  • FIG. 3 is a block diagram of a hardware configuration of the recording / reproducing apparatus according to the first embodiment.
  • FIG. 4 is a schematic diagram showing a key arrangement of the remote control according to the first embodiment.
  • FIG. 5 is an explanatory diagram of a ring buffer provided in the recording / reproducing apparatus according to the first embodiment.
  • FIG. 6 is a flowchart of the recording process according to the first embodiment.
  • FIG. 7 is a flowchart of the replay process according to the first embodiment.
  • FIG. 8 is a flowchart of the start position detection process according to the first embodiment.
  • FIG. 9 is a flowchart of the replay end position detection process according to the first embodiment.
  • FIG. 10 is a flowchart of the detection interval setting process according to the first embodiment.
  • FIG. 11 is a block diagram of a hardware configuration of the recording / reproducing apparatus according to the second embodiment.
  • FIG. 12 is an explanatory diagram of a database included in the recording / reproducing apparatus according to the second embodiment.
  • FIG. 13 is a flowchart of a recording process according to the second embodiment.
  • FIG. 14 is a flowchart of the replay processing procedure according to the second embodiment.
  • FIG. 15 is a flowchart of highlight selection processing according to the second embodiment.
  • FIG. 1 is a block diagram showing a functional configuration of a content replay device according to this embodiment.
  • the content replay device includes an acquisition unit 101, a feature amount extraction unit 102, an importance calculation unit 103, a recording unit 104, a detection unit 105, an output unit 106, and a reading unit 107. It is equipped with.
  • the acquisition unit 101 acquires content to be played back.
  • the content may be, for example, a television program that is broadcast in real time in addition to the content recorded on the media. Further, the content may include video and audio, or only video or audio. Furthermore, the content can be recorded on media, for example, V, or it can be broadcast in real time, such as TV or radio programs!
  • the feature quantity extraction unit 102 extracts the feature quantity of the content acquired by the acquisition unit 101.
  • the feature amount is a numerical value of predetermined data constituting the content.
  • the feature quantity extraction unit 102 extracts information obtained by numerically representing the magnitude of audio in content as a feature quantity.
  • the feature amount may be, for example, information indicating the number of scene changes per unit time, or information indicating the frequency at which telops are inserted per unit time, for example, It is also possible to extract information such as information indicating the magnitude of movement of characters in the content, information indicating the state of camera work, and the like. Note that the feature amount is not limited to this.
  • the importance level calculation unit 103 calculates the importance level of the feature amount for each feature amount. Specifically, for example, if the content is a television program broadcast on soccer, the scene with a goal or a fine save was made. Like scenes, The importance is calculated so that the importance of the semantically important part (hereinafter referred to as “highlight scene”) is higher than the importance of the other parts.
  • the importance calculation unit 103 determines the size of the sound from the feature amount, and the larger part of the sound is the other. The degree of importance is calculated so as to be higher than the part.
  • the importance calculation target is only a portion that is determined to be a highlight scene based on the feature amount, and the highest importance power in each of the highlight scenes is set as the importance of the highlight scene. The importance is calculated for each no and ill scene.
  • the recording unit 104 records the content acquired by the acquisition unit 101 and the feature amount extracted by the feature amount extraction unit 102.
  • the recording unit 104 records the importance calculated by the importance calculation unit 103.
  • the feature amount and the importance are recorded in a state in which position information in the content is associated. As a result, it is possible to specify the position of the extracted feature value or the calculated importance / power content.
  • the recording unit 104 may record the importance for each highlight scene. Furthermore, the recording unit 104 may record only highlight scenes whose importance is equal to or higher than a predetermined value, for example!
  • the detection unit 105 detects the content from the input timing of the replay instruction to a predetermined time before (hereinafter referred to as a "detection section") by the feature amount extraction unit 102.
  • a specific part start position where the extracted feature amount is equal to or greater than a predetermined threshold is detected.
  • the feature amount of this portion also shows a large value when the voice becomes louder due to a cheering increase.
  • a portion where the feature value is a predetermined threshold is detected as a specific portion start position. That is, the detection unit 105 detects the start position of the highlight scene as the specific part start position.
  • the detection unit 105 when there are a plurality of specific part start positions in the detection section, the detection unit 105 has the highest importance calculated by the importance calculation unit 103 in the detection section, and the specific part opening Detect the starting position. In addition, when there are a plurality of specific part start positions in the detection section, the detection unit 105 may detect the specific part start position closest to the input timing of the replay instruction.
  • the detection interval is not limited to the time when the input timing force of the replay instruction is also before the predetermined time, and the input timing force of the replay instruction may be after the predetermined time. In this case, the start position of the highlight scene is detected from the content including the timing after the input timing of the replay instruction without being forced before the timing of inputting the replay instruction.
  • the detection unit 105 may change the detection section or the length of the detection section in accordance with the input pattern of the replay instruction, and detect the detected section force specific portion start position after the change.
  • the difference in the input pattern of the replay instruction can be realized, for example, by making the key operation pattern for inputting the replay instruction different from the key operation pattern for inputting the normal replay instruction.
  • the key operation pattern for inputting the replay instruction is varied by varying the number of key operations. More specifically, a single key operation is performed to input a normal replay instruction, and a plurality of key operations are performed to change the detection section or the length of the detection section.
  • a key for inputting a normal replay instruction is different from a key for changing the detection interval or the length of the detection interval. Even if the key operation pattern for entering is different.
  • the detection unit 105 calculates the importance according to the situation from the feature amount extracted by the feature amount extraction unit 102 instead of the importance calculated by the importance calculation unit 103. Then, the specific part start position may be detected. For example, the important feature amount is changed according to the TV program's gene (eg, the part where the sound is loud in a sports program, the importance after silence in a news program), or the time position in the program is important. It may be possible to correct the degree (eg, attach importance to the latter half of the program). In this case, an equivalent function that does not require the importance level calculation unit 103 is processed by the detection unit 105, for example.
  • the detection unit 105 obtains a new predetermined threshold in which the feature amount extracted by the feature amount extraction unit 102 is different from the predetermined threshold used to detect the specific part start position.
  • the specific part end position that is less than is detected.
  • the detection unit 105 detects the end position of the highlight scene as the specific part end position from such a change in the feature amount.
  • the output unit 106 outputs the content up to the specific part end position and the specific part start position force detected by the detection unit 105, and outputs the content as a highlight scene. Specifically, for example, video and audio are output using a display or a speaker. When the specific part end position is not detected, the output unit 106 outputs the content after the specific part start position until the specific part end position is detected.
  • the reading unit 107 reads the content acquired by the acquisition unit 101. For example, read in a direction in which the relative time with respect to the content start position is positive. If the content is a TV program that is currently being broadcast, the absolute time is read in accordance with the absolute time when the content was acquired.
  • the output unit 106 described above sequentially outputs the content read by the reading unit 107.
  • FIG. 2 is a flowchart showing the processing procedure of the content replay device that is relevant to this embodiment.
  • step S201: No if there is a reproduction instruction (step S201: Yes), the content instructed to reproduce is acquired by the acquisition unit 101.
  • step S202 The acquired content not shown in FIG. 2 is read by the reading unit 107 and sequentially output by the output unit 106 in the order of reading.
  • step S203 The feature amount of the content acquired in step S202 is extracted by the feature amount extraction unit 102 (step S203), and the importance level is calculated by the importance level calculation unit 103 from the extracted feature amount ( In step S204), the calculated importance is recorded by the recording unit 104 (step S205).
  • step S207 It is determined whether or not the replay instruction has been input (step S207). If it has not been input (step S207: No), the process returns to step S203 to continue playing the content.
  • step S207 When a replay instruction is input in step S207 (step S207: Yes), the detection unit 105 detects a highlight scene (step S208) and replays the detected highlight scene (step S209).
  • step S208 the content of the specific portion (start position force and end position) detected by the detection unit 105 is detected as a highlight scene. Until the replay of the highlight scene is completed (step S210: No), the replay of the no-light scene is continued.
  • step S210: Yes it is determined whether or not the content has been reproduced (step S211). If the content reproduction has not ended (step S211: No), the process returns to step S203. If the content reproduction has ended (step S211: Yes), the series of processing ends.
  • the feature amount in the detection section of the content to be played is a predetermined threshold value.
  • the content after the specific part start position is output.
  • the specific part start position force is output as the content force highlight scene up to the specific part end position.
  • the content after the specific portion start position with the highest importance of the feature amount in the detection section is output as a highlight scene. This makes it possible to replay a highlight scene that is expected to be replayed at the timing requested by the user. Note that, for example, by recording only highlight scenes whose importance is greater than or equal to a predetermined value, the amount of information to be recorded for detecting no and ill scenes can be reduced compared to the case of using feature quantities. it can.
  • the specific part start position closest to the input timing of the replay instruction is used instead of the importance calculated by the importance calculation unit 103. If the detection mode is adopted, for example, a scene immediately before the input timing of the replay instruction can be replayed. Thereby, for example, since the user can replay a scene that has been missed by looking away or blurring, a content replay device that conforms to actual use can be provided.
  • the detection interval or the length of the detection interval is changed according to the input pattern of the replay instruction, and the highlight scene is detected from the changed detection interval. Can do. As a result, it is possible to replay a no-light scene that flexibly responds to the user's request.
  • the content acquired by the acquisition unit and read by the reading unit is output by the output unit, and when a replay instruction is input, feature amount extraction is performed.
  • the specific part start position closest to the input timing of the replay instruction is detected by the detection unit among the specific part start positions where the feature amount extracted by the part is equal to or greater than a predetermined threshold value, and the content after the detected specific part start position is detected.
  • Example 1 of the recording / reproducing apparatus that can be applied to the above-described embodiment will be described.
  • a content replay device that works on the above-described embodiment is connected to a TV number.
  • This is an example applied to a recording / playback apparatus capable of recording content such as a set or playing back recorded content.
  • FIG. 3 is a block diagram of the hardware configuration of the recording / reproducing apparatus according to the first embodiment.
  • the recording / playback apparatus includes an antenna 301, a tuner 302, an IF circuit 303, a video demodulation unit 304, an audio demodulation unit 305, a video synthesis unit 306, a video encoding unit 30 7, and an AZD.
  • Conversion circuits 308 and 312, feature amount extraction unit 309, audio selection unit 310, audio encoding unit 311, HDD 313, highlight detection unit 314, video decoding unit 315, video processing unit 316, DZA conversion circuits 317 and 320, a video output unit 318, an audio decoding unit 319, an audio output unit 321, a control unit 322, and an operation unit 323 are provided.
  • the antenna 301 is, for example, a radio wave (for example, a TV radio wave) that is modulated in a broadcasting station such as a TV and includes an electric signal of a program (for example, a TV program) transmitted on a high-frequency carrier wave.
  • a radio wave for example, a TV radio wave
  • the received radio wave is output to tuner 302 as a received signal.
  • the antenna 301 includes, for example, a director, a feed element, a reflector, and the like.
  • the director is an element for picking up radio waves in the air
  • the feed element is an element for supplying the radio waves picked up by the director to the absorption tuner.
  • the reflector is an element that reflects the electromagnetic wave that is picked up by the director and guides it to the feed element.
  • the tuner 302 adjusts the wavelength of the radio wave received by the antenna 301, for example.
  • the radio wave tuned by the tuner 302 is output to the IF circuit 303.
  • the IF circuit 303 amplifies the IF signal output from the tuner 302, and the amplified IF signal power also detects the video signal and the audio signal.
  • the IF circuit 303 detects, for example, an NTSC composite video signal or a 4.5 MHz beat component force audio signal.
  • the video signal detected by the IF circuit 303 is output to the video demodulation unit 304, and the audio signal is output to the audio demodulation unit 305.
  • a video signal and an audio signal constituting a program will be described as contents.
  • the video demodulation unit 304 demodulates the video signal output from the IF circuit 303.
  • Video demodulation The video signal demodulated by the unit 304 is output to the video synthesis unit 306 and the video encoding unit 307. Note that the video signal output to the video encoding unit 307 is A / D converted by the AZD converter 308 and then input to the video encoding unit 307.
  • the video signal A / D converted by the AZD converter 308 is also output to the feature quantity extraction unit 309.
  • the audio demodulation unit 305 demodulates the audio signal output from the IF circuit 303.
  • the audio signal demodulated by the audio demodulator 305 is output to the audio selector 310 and the audio encoder unit 311.
  • the audio signal output to the audio encoding unit 311 is AZD converted by the AZD converter 312 and input to the audio encoding unit 311.
  • the audio signal that has been AZD converted by the AZD comparator 312 is also output to the feature quantity extraction unit 309.
  • the video encoding unit 307 encodes the video signal AZD-converted by the A / D converter 308. In addition to the encoding, the video encoding unit 307 compresses the video signal. For example, MPEG-2 is used as the compression method. Note that MPEG-4, ITU-T, H.264, etc. may be used as a compression method with higher compression efficiency.
  • the video signal encoded by the video encoding unit 303 is recorded in the HDD 313.
  • the speech encoding unit 311 encodes the speech signal that has been AZD converted by the AZD converter 312.
  • the audio encoding unit 311 compresses the audio signal.
  • MPEG-1, Layer2, MPEG-1 layer3 (MP3), MPEG-2 ACC, Dolby AC3, or the like is used as a compression method.
  • MP3 MPEG-1 layer3
  • MPEG-2 ACC MPEG-2 ACC
  • Dolby AC3, or the like is used as a compression method.
  • the audio signal encoded by the audio encoding unit 311 is recorded on the HDD 313.
  • the feature quantity extraction unit 309 extracts feature quantities from the content catalog.
  • the feature amount is data used to detect a scene that is assumed to be semantically important to the viewer (hereinafter referred to as “highlight scene”). Specifically, for example, when the content is a baseball broadcast, a scene where a home run or a timely hit is hit, or a scene where a fine play is played is expected.
  • the feature amount extraction unit 309 performs a motion of a person or an object (change in magnitude or intensity of motion) in a video, a scene change (for example, unit time) Scene change frequency), camera work (for example, the frequency of zoom-up or zoom-back), telop (for example, the frequency of telop insertion)
  • the feature amount may be extracted using an audio signal. Specifically, for example, in a baseball game where a home run is hit, the tone of the announcer's voice that broadcasts the game will increase, and the voice of the announcer and the audience will cheer up. It is possible to extract information obtained by numerically inputting the levels of (high, Z low) and volume (large, small Z) as feature quantities. Alternatively, text data may be created by voice recognition, and the text data power feature quantity may be extracted. The feature amount is not limited to these. When extracting the feature values, specifically, for example, a predetermined calculation process for numerically inputting the level of the tone (high Z low) and volume (high, low Z) of the voice is performed. Moyo!
  • the feature quantity extracted by the feature quantity extraction unit 309 is recorded in an HDD (Hard Disk Drive) 313.
  • the HDD 313 is provided with a table for recording the extracted feature values and the positions of the feature values.
  • the position of the feature amount is indicated by a relative time (unit: second) with the program start position set to 0.
  • the position of the feature value may be in units of frame or absolute time.
  • the light / illite detection unit 314 detects a highlight scene from the feature amount extracted by the feature amount extraction unit 309. Specifically, for example, when the motion of a person or object in the video is extracted as a feature value, the part where the magnitude or intensity of the movement changes greatly with respect to the previous video is high. Detect as light scene. [0060] More specifically, for example, the frequency of scene changes per unit time, camera work such as zoom-up or zoom-back, presence / absence of telop, etc. can be used to greatly increase the previous video. A changing portion is detected as a highlight scene. In addition, specifically, for example, a portion where the level strength of the sound tone (high Z low) or volume (large Z small) exceeds a certain level may be detected as a nourished scene.
  • the video decoding unit 315 decodes the encoded video signal recorded on the HDD 313.
  • the video signal decoded by the video decoding unit 315 is output to the video processing unit 316 and the feature amount extraction unit 309.
  • the video processing unit 316 performs predetermined image processing on the video signal output from the video decoding unit 315.
  • the video signal processed by the video processing unit 316 is DZA converted by the DZA converter 317 and then output to the video synthesis unit 306.
  • the video synthesis unit 306 synthesizes the video signal output from the video demodulation unit 304 and the video signal output from the video processing unit 316 via the DZA converter 317 as necessary. Specifically, for example, when performing two-screen display, the video composition unit 306 converts the video signals output from the video demodulation unit 304 and the video processing unit 316 into video signals for divided screens, respectively. After that, the converted video signals are combined into a single screen image. The video signal synthesized by the video synthesis unit 306 is output to the video output unit 318.
  • the video output unit 318 controls a display connected to the video output unit 318.
  • the video output unit 318 specifically stores, for example, a graphic controller that controls the entire display and image information that can be displayed immediately. It consists of a buffer memory such as VRAM (Video RAM) and a control IC that controls the display based on image information output from the graphic controller.
  • VRAM Video RAM
  • the audio decoding unit 319 decodes the encoded audio signal recorded on the HDD 313.
  • the audio signal decoded by the audio decoding unit 319 is output to the audio selection unit 310 or output to the feature amount extraction unit 309 via the DZA converter 320.
  • the audio selection unit 310 is connected to the audio signal output from the audio demodulation unit 305 or via a DZA converter. Then, one of the audio signals output from the audio decoding unit 319 is selectively output to the audio output unit 321.
  • the audio output unit 321 controls a speaker connected to the audio output unit 321 based on the audio signal output from the audio selection unit 310.
  • the sound output unit 321 may control one speaker or a plurality of speakers.
  • the audio output unit 321 can be realized by, for example, an audio IZF connected to an audio output speaker. More specifically, the audio IZF performs, for example, a DZA converter that performs DZA conversion of audio digital information, an amplifier that amplifies the audio analog signal output from the DZ A converter, and AZD conversion of audio analog information. And AZD converter.
  • the control unit 322 controls driving of each unit included in the recording / reproducing device.
  • the control unit 322 includes, for example, a CPU (Central Processing Unit) that executes predetermined arithmetic processing, a ROM (Read Only Memory) that stores various control programs, and a RAM that functions as a work area for the CPU. (Random Access Memory) and the like can be realized by a microcomputer.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM random Access Memory
  • control unit 322 includes, for example, the video signal encoded by the video encoding unit 307, the audio signal encoded by the audio encoding unit 311, and the feature amount extraction unit 309. Therefore, the recording of the feature quantity extracted to the HDD 313 or the reading from the HDD 313 is controlled.
  • the control unit 322 controls the HDD 313 to read out the corresponding data from the HDD 313 when, for example, a video content playback instruction is input by an operation in the operation unit 323.
  • the control unit 322 outputs a channel setting signal for selecting a desired program to the tuner 302, for example.
  • the ROM or RAM in the control unit 322 is provided with a replay flag area for setting a viewing mode.
  • ReplayFlag False is set when the viewing mode is the normal viewing mode
  • ReplayFlag True is set when the viewing mode is the replay mode.
  • the ROM or RAM in the control unit 322 stores the start position Ths and the end position The of the highlight scene to be replayed.
  • a management table is provided. This rib lay position management table is appropriately updated in accordance with the operation of the replay dedicated key 403.
  • the ROM or RAM in the control unit 322 is provided with a buffer for setting a detection section, which is used in a start position detection process (see FIG. 8) described later.
  • the detection section is a section for detecting a position where replay is started (hereinafter referred to as “replay start position”).
  • the length of the detection section is constant.
  • the start position s and end position e of the detection section are set in the buffer.
  • the start position s is set according to the number of seconds that goes back from the current time Tb with respect to the current time Tb at the playback position Tc. Since the length of the detection section is constant, the end position e is automatically set when the start position s is determined.
  • the operation unit 323 outputs information input by the user such as characters, numerical values, and various instructions to the control unit.
  • information input by the user such as characters, numerical values, and various instructions to the control unit.
  • various known forms such as a push button switch, a touch panel, a keyboard, and a joystick that detect physical pressing Z non-pressing can be employed.
  • the operation unit 323 may be configured to perform an input operation by sound using a microphone that inputs sound from the outside.
  • the operation unit 323 may be configured in a single or a plurality of forms among the various forms described above, or may be configured in a plurality of forms.
  • the operation unit 323 may be provided integrally with the recording / reproducing apparatus main body, or may be provided separately.
  • the user inputs information by appropriately performing an input operation according to the form of the operation unit 323.
  • An example of information input by operating the operation unit 323 is a replay instruction.
  • the operation unit 323 is realized by a remote controller that can be operated separately from the recording / reproducing apparatus, and the remote controller is denoted by reference numeral 323.
  • FIG. 4 is a schematic diagram showing a key arrangement of the remote control according to the first embodiment.
  • the remote controller 323 includes a replay-only key 403 in addition to the menu selection key group 401 and the reproduction related key group 402 provided in a general remote controller. By operating the replay-only key 403, replay of the content being viewed is started. Details of content replay will be described later.
  • outputting a video signal from the video output unit 318 or outputting an audio signal from the audio output unit 321 is referred to as “content viewing”, and the video output unit
  • the video signal output from 318 and the audio signal output from the audio output unit 321 will be described separately from general viewing that the user sees and hears.
  • the content to be viewed may be real-time content output from the tuner 302 without passing through the HDD 313, or content read from the HDD 313.
  • the menu selection key group 401 is a key for performing an operation of moving or determining the position of the cursor.
  • the playback related key group 402 is a key for performing operations related to playback such as playback, fast forward, and rewind.
  • the remote control 323 also includes a power key, channel tuning keys (ten keys and up / down keys), volume up / down keys, display switching keys for switching between 1-screen display and 2-screen display, etc. Various keys are provided.
  • FIG. 5 is an explanatory diagram of a ring buffer provided in the recording / reproducing apparatus according to the first embodiment.
  • the ring buffer 500 is provided, for example, in ROM or RAM in the control unit 322.
  • the ring buffer 500 stores HD information 501, operation time information 502, and elapsed time information 503.
  • the operation time information 502 is information indicating a time (operation time) when the replay dedicated key 403 is operated.
  • the elapsed time information 503 is information indicating the elapsed time from when the replay-only key 403 is operated the previous time until it is operated this time.
  • Information 501 is information for identifying a combination of operation time information 502 and elapsed time information 503.
  • the HDD 313 is provided with a flag area in which a flag is set when the replay-only key 403 is operated continuously. This flag area is flagged when the elapsed time force corresponding to the latest operation time stored in the ring buffer 500 is less than 1 second.
  • the recording / reproducing apparatus of Example 1 includes a recording process, a replay process, a start position detection process, and an end position detection process. Then, each process of the detection section setting process is executed.
  • the first embodiment will be described assuming that the TV program is a content and the content is viewed in real time.
  • FIG. 6 is a flowchart of the recording process according to the first embodiment.
  • the recording process shown in FIG. 6 is executed when the viewing mode is set to “normal viewing mode”.
  • it is first determined whether or not the recording start timing has arrived (step S601).
  • step S601 it is determined whether or not the recording start timing has arrived by determining whether or not content viewing has started.
  • step S601 the recording start timing is awaited (step S601: No), and when the recording start timing has arrived (step S601: Yes), the content that has been viewed is recorded (step S601: No).
  • step S602 the feature amount of the content is extracted (step S603), and the extracted feature amount and the position of the feature amount are recorded in the HDD 313 (step S604).
  • the position of the feature amount is indicated by a relative time (unit: second) with the program start position set to 0. Note that the position of the feature value may be in units of a frame or absolute time.
  • step S605 it is determined whether or not the recording end timing has arrived. If it is determined that the recording end timing has arrived (step S605: No), the process returns to step S602 to record. If it is determined that the end timing has arrived (step S605: Yes), a series of processing ends. Specifically, in step S605, it is determined whether or not the recording end timing has come by determining whether or not viewing of the content has ended or whether or not the content has been broadcast. .
  • the description has been given on the assumption that the TV program is the content and the content is viewed in real time.
  • the content to be viewed is limited to this. It is not a thing. For example, it is possible to target content that has already been recorded on the HDD 313 and features have already been extracted!
  • FIG. 7 is a flowchart of the replay process according to the first embodiment.
  • the replay process shown in FIG. 7 is executed when the viewing mode is set to “normal viewing mode”.
  • it is first determined whether or not a force has been given to the replay instruction (step S701). Specifically, in step S701, it is determined whether or not the replay instruction has been issued by determining whether or not the replay dedicated key 403 has been operated.
  • step S704 the content recorded in the recording process shown in FIG. 6 is also replayed at the replay start position detected in step S703 (step S704), and the replay of the content that has started replay is ended. It is determined whether or not the force to be set (hereinafter referred to as “replay end position”) is set (step S705). If the replay end position is set (step S705: Yes), the process proceeds to step S707.
  • step S705 if the replay end position is not set in step S705 (step S705: No), end position detection processing (see FIG. 9) is executed (step S706), and the replay end position is set. To detect. Details of the end position detection processing will be described later.
  • step S707 it waits for the content to be replayed to the replay end position (step S707:
  • step S708 it is determined whether or not the user has operated at any timing during the replay of the content from the replay start position to the replay end position.
  • information indicating the timing of the user's operation on the remote control 323 is stored in the RAM or the like in the control unit 322, and the content up to the replay end position is stored. Refer to the information stored in RAM etc. at the time of replay.
  • the user when the user wants to repeatedly listen to the no-light / light-light scene being replayed, the user operates the dedicated key 403 during replay of the highlight scene. . Note that this does not apply when a key other than the replay key 403 is operated.
  • step S708 if there is a user operation on remote control 323 during the replay of the content from the replay start position to the replay end position (step S708: Yes), the operation is a replay continuation instruction. It is determined whether or not there is a force (step S709).
  • step S709 specifically, for example, when the replay dedicated key 403 is operated during the replay of the content from the start of replay in step S704 to the replay end position in step S707: Yes, the replay is performed. It is determined that a continuation instruction has been received.
  • step S 709 If it is a replay continuation instruction (step S 709: Yes), the process returns to step S704.
  • step S710 a process corresponding to the operation is executed (step S710), and the series of processes is terminated.
  • step S710 specifically, for example, when the rewind key in the reproduction-related key group 402 is operated, the video content is rewound, or when the pause key is operated, replaying is in progress. To pause.
  • step S708 when there is no user operation on remote control 323 while replaying the content from the replay start position to the replay end position (step S7 08: No), the viewing mode is set to the normal viewing mode. (Step S711). Thereafter, normal viewing is resumed (step S712), and a series of processing ends.
  • step S712 until the replay mode is set in step S702. You can also play back the current position power! /, And switch to the current video! /.
  • the normal viewing process to be executed may be selected automatically according to the application, or arbitrarily selected by the user.
  • FIG. 7 As a situation where the replay dedicated key 403 is operated, it is assumed that the user wants to repeatedly watch the highlight scene.
  • the situation where the user operates the replay-only key 403 in the normal viewing state is roughly divided into the following two patterns. The first is when the user is looking away or vague and misses an important scene. The second is when the user thinks, for example, that he has once again watched a series of highlight scenes once viewed. From this, it can be considered that there are roughly two possible positions to start replay.
  • the no-light scene that the user desires is considered to be immediately before the timing when the replay dedicated key 403 is operated. For example, in the time range of about several seconds to several tens of seconds, It may be necessary to detect the no-light scene from the section that goes back from the time when the replay-only key was operated.
  • the highlight scene desired by the user is considered to be slightly before the timing when the replay key 403 is operated. For example, the highlight scene is for replay only in the range of 30 to 120 seconds. It is considered that the highlight scene should be detected from the section in which the time force of operating the key 403 is also traced back.
  • Example 1 Based on this, in Example 1, if you want to replay the highlight scene immediately before the currently playing (viewing) part, operate the replay key 403 once, If you want to replay an illuminated scene, you can detect the user's desired position force rib lay start position by operating the replay key 403 multiple times.
  • the start position detection process executed in step S703 of FIG. 7 described above will be described.
  • FIG. 8 is a flowchart of the start position detection process according to the first embodiment.
  • Judgment is made (step S801). Specifically, in step S801, it is determined whether or not the replay position change instruction S has been made by determining whether or not the replay dedicated key 403 has been operated continuously. Whether or not the replay-only key 403 is operated continuously is also determined by the presence / absence of the flag in the flag area. The processing when a replay position change instruction is issued will be described later.
  • step S801 if there is no instruction to change the replay position (step S801: No), the process proceeds to step S804, the detection section setting process is performed, and the detection section is set (step S804).
  • the start position s is set to a position that is 120 seconds backward from the current playback position T force, and 1 second backward from the current playback position T. Set end position e to the position. For this reason, the length of the detection interval is 119 seconds (120 seconds 1 second).
  • step S801 if there is an instruction to change the replay position in step S801 (step S801: Yes), the number of continuous operations is acquired with reference to the ring buffer 500 (step S802), and the acquired continuous operations are performed.
  • the start position s of the detection section is calculated using the number of times (step S803).
  • step S803 the start position s of the detection section is set to a position further back than the current reproduction position T force in accordance with the number of continuous operations.
  • the start position s of the detection section is a position that is back by 240 (120 seconds x 2) seconds from the current playback position T
  • the number of continuous operations is 3
  • set the start position s of the detection section to a position that is back by 360 (120 seconds x 3 times) the current playback position T force.
  • the force to set the start position s of the detection section to a position that is back by 120 seconds according to the number of operations of the replay-dedicated key 4 03 is not limited to 120 seconds. .
  • step S804 when there is an instruction to change the replay position, the start position s calculated in step S803 is set, and the position after 119 seconds from this start position s is set as the end position. Set as e.
  • step S806 the feature amount of the content in the detection section set in step S804 is read from the HDD 313 (step S805), and the repeat start position is detected based on the read feature amount (step S806).
  • step S806 For example, in the set detection section, a position where the feature amount is equal to or greater than a predetermined threshold is detected as the replay start position.
  • the predetermined threshold used for detecting the replay start position can be arbitrarily set, for example, at the time of manufacturing the recording / reproducing apparatus. In addition, a plurality of predetermined threshold values can be set for each stage.
  • FIG. 9 is a flowchart of the end position detection process according to the first embodiment.
  • step S901 feature values after the replay start position are read from the HDD 313
  • step S902 the replay end position T is detected based on the read feature values
  • the replay end position T is set in the replay position management table (step S903).
  • step S902 specifically, for example, the control after the replay start position T is performed.
  • a position where the feature amount is less than a new predetermined threshold different from the predetermined threshold used for detecting the replay start position described above is detected.
  • the new predetermined threshold can be arbitrarily set, for example, at the time of manufacturing the recording / reproducing apparatus, separately from the predetermined threshold used for detecting the replay start position described above.
  • new predetermined threshold values may be set for a plurality of stages according to each stage.
  • the content hs he from the replay start position T set in step S807 in Fig. 8 to the replay end position T set in step S903.
  • multiple highlight scenes may overlap, such as when multiple predetermined thresholds used for detecting the replay start position or new predetermined thresholds are set for each stage. There is also.
  • the force for setting the detection range according to the number of times the replay-only key 403 has been operated continuously is not limited to this.
  • the long-time operation of the replay-only key 403, such as long pressing the replay-only key 403, A detection range may be set.
  • the detection period may be set by acquiring the continuous operation time and multiplying the acquired continuous operation time by a time such as 120 seconds.
  • the following two patterns can be considered as the motivation for the user to operate the replay-only key 403.
  • the first is a case where the replay key 403 is operated by requesting correction of the replay position where the highlight scene detected last time is not in line with the user's intention.
  • the second is a case where the user operates the replay key 403 in order to see the highlight scene detected last time again.
  • the replay key 403 is determined according to the elapsed time from the time when the replay key 403 was last operated until the time when the current replay key 403 was operated.
  • the replay operation desired by the user can be performed. In this case, specifically, the following detection interval setting process is executed.
  • FIG. 10 is a flowchart of the detection interval setting process according to the first embodiment.
  • an elapsed time div from the time Tb-bak when the previous replay key 403 is operated to the time Tb when the current replay key 403 is operated is acquired (step S1001).
  • the elapsed time div acquired in step S1001 is less than 10 seconds (elapsed time). (Step S 1002) and if the elapsed time div is less than 10 seconds (Step S 1002: Yes), the detection interval is different from the previously set detection interval. Set the interval (step S 1003).
  • step S 1001 if the elapsed time div obtained in step S 1001 is less than 10 seconds! /,
  • Step S 1004 determines that the elapsed time div is 120 seconds or more.
  • a detection interval is set in the same manner as the previously set detection interval (step S1005). In other words, if the elapsed time is 120 seconds or more, it is considered natural to consider it as a new replay request. In this case, the normal replay operation is performed.
  • the detection section is set according to the elapsed time div.
  • the present invention is not limited to this.
  • a dedicated key for setting the detection interval It is also possible to set a detection section when this dedicated key is operated.
  • the detection section is not limited to the past direction from the time when the replay dedicated key 403 is operated, but may be set in the future direction from the time when the replay dedicated key is operated.
  • the detection section can be set by the following method. Specifically, for example, the reproduction related key group 402 in the remote control 323 shown in FIG. 4 is used as a dedicated key for setting a detection section. In this case, the reproduction-related key group 402 is a dedicated key for setting the force detection section only when it is operated when viewing the content.
  • a skip key after chapter (next to the left of the replay-only key in Fig. 4) is used for an instruction to correct the replay position in the future direction from the time when the replay-only key 403 is operated.
  • the pre-chapter skip key (next to the left of the post-chap skip key in FIG. 4) is used to instruct the replay position to be corrected in the past direction from the time when the replay dedicated key 403 is operated.
  • highlight scan the function of searching for the replay position in the past or future direction is called highlight scan.
  • the detection interval may be set using only the replay dedicated key 403 according to the combination of the elapsed time div and the number of operations of the replay dedicated key 403. Specifically, for example, if the elapsed time div is 10 seconds or more and the number of operations is 1 time, set the detection interval in the past direction, and if the elapsed time is less than 10 seconds and the number of operations is 2 times. Set the detection interval in the future direction. According to this method, the detection position can be set using only the replay key 403.
  • the keys used for the highlight scan are not limited to these keys.
  • the menu selection key group 401 may be a key for moving the cursor left / right! /, And other keys. Any key may be used.
  • the key is to use keys that are easy for the user to understand intuitively.
  • the user simply operates the replay dedicated key 403 at the timing when the replay is desired, You can replay the illite scene. This makes it possible to simplify operations during replay of highlight scenes and optimize the replay start position. . Further, according to the first embodiment, replay can be performed at an arbitrary timing intended by the user.
  • the detection range of the highlight scene can be adjusted, the detection accuracy (level) can be adjusted, and the detection accuracy can be adjusted.
  • Various trade-offs can be realized during subsequent rebreathing, such as setting a trade-off between the degree of processing and the processing time for detection.
  • the detection accuracy (level) can be adjusted so as to detect only a highlight scene having a feature amount greater than or equal to a predetermined amount according to the feature amount.
  • Highlight scenes can be selected according to size, and digest playback can be performed within a preset time.
  • the detection section is set according to the number of continuous operations of the replay dedicated key 403, the degree of freedom in setting the detection section is improved, and the simple operation is simplified.
  • the operation can flexibly respond to the timing that the user intends and can replay the noise light scene that is closer to the user's request.
  • the start position s of the detection section is set according to the continuous operation time of the replay-only key 403, it is possible to replay the noise light scene flexibly corresponding to the user's request with a simple operation. .
  • Example 2 of the recording / reproducing apparatus will be described.
  • the same part as Example 1 mentioned above is shown with the same code
  • FIG. 11 is a block diagram of a hardware configuration of the recording / reproducing apparatus according to the second embodiment.
  • the recording / reproducing apparatus shown in FIG. 11 differs from the recording / reproducing apparatus shown in FIG. 3 in the position and function of the highlight detection unit.
  • the no-illight detection unit 1101 uses the feature amount extracted by the feature amount extraction unit 309 to calculate the importance of the detected highlight scene. Specifically, for example, 100 is the highest importance and 0 is the lowest importance As an integer value between 100 and 0. Note that the method of expressing the importance is not limited to this. Further, as in the first embodiment described above, the specific method for highlight detection is not particularly limited even in the second embodiment.
  • FIG. 12 is an explanatory diagram of a database included in the recording / reproducing apparatus according to the second embodiment.
  • the database 1200 is provided in the HDD 313, for example.
  • the database 1200 stores HD information 1201, start position information 1202, end position information 1203, and importance information 1204.
  • the start position information 1202 is information indicating the start position of the highlight scene detected by the highlight detection unit 1101.
  • the end position information 1203 is information indicating the end position of the highlight scene detected by the highlight detection unit 1101.
  • the importance level information 1204 is information indicating the importance level in the no-light scene specified by the start position and the end position.
  • the HD information 1201 is information for identifying each highlight scene.
  • FIG. 13 is a flowchart of a recording process procedure according to the second embodiment.
  • the flowchart shown in FIG. 13 first waits for the recording start timing (Step S1301: No), and when the recording start timing arrives (Step S1301: Yes), records the content that has been viewed. (Step S1302), the feature amount of the content is extracted (step S1303).
  • step S1304 highlight scene detection processing is executed based on the feature amount extracted in step S1303 (step S1304).
  • the highlight scene is detected by detecting the start position and end position of the highlight scene based on the feature amount extracted in step S1303. No, the start position of the illite scene can be detected by performing the same process as the start position detection process of FIG.
  • the end position of the highlight scene can be detected by performing the same process as the end position detection process of FIG. 9 described above.
  • step S1305 the importance of the noisy scene detected in S1304 is calculated (step S1305), and the calculated importance and its position are recorded in the database 1200 in the HDD 313 (step S1306).
  • step S1305 the importance level is calculated for each highlight scene based on the feature amount extracted in step S1303.
  • the importance is determined according to the detection threshold according to the stage where the predetermined threshold used for detecting the replay start position is set to a new predetermined threshold used for detecting the replay end position.
  • a higher level is set as a higher level.
  • the importance is calculated based on the feature amount of the entire highlight scene based on, for example, the size and length of the sound in the highlight scene.
  • the position of importance is shown in relative time (unit: seconds) with the program start position set to 0, as with the feature value.
  • the position of importance may be in units of frames or absolute time.
  • step S1307 it is determined whether or not the recording end timing has arrived. If it is determined that the recording end timing has arrived (step S1307: No), step SI302 is performed. Returning to, when it is determined that the recording end timing has come (step S 1307: Yes), the series of processing ends. [0141] (Replay processing procedure)
  • FIG. 14 is a flowchart of the replay processing procedure according to the second embodiment.
  • the replay process shown in FIG. 14 is executed when the viewing mode is set to “normal viewing mode”.
  • the replay mode is set (step S 1402).
  • step S1403 a highlight selection process described later is executed (step S1403), and the video content is replayed from the start position of the selected highlight scene (step S1404).
  • step S1403 the scene with the highest importance is selected as the highlight scene in the content from the time when the replay-only key is operated to a predetermined time before (hereinafter referred to as “detection section”). Detect as.
  • step S 1405 Until the replay end position is replayed (step S 1405: No), the process returns to step S 1404.
  • step S 1405: Yes It is determined whether or not there has been a user operation on remote control 323 while replaying an illuminating scene (step S1406).
  • step S1406 it is determined whether or not the user has operated at any timing during the replay start position to the replay end position.
  • step S1406 If it is determined in step S1406 that the user operation has been performed on the remote control 323 while the highlight scene detected in step S1403 is being reproduced (step S1406: Yes), the operation is not performed. It is determined whether or not the replay continuation instruction is correct (step S 1407).
  • step S1407 If the instruction is a replay continuation instruction (step S1407: Yes), the process returns to step S1404. If it is not a replay continuation instruction (step S1407: No), processing corresponding to the operation is executed (step S1408), and the series of processing is terminated.
  • step S1406 when it is determined in step S1406 that there is no user operation on remote control 323 while the highlight scene detected in step S1403 is being played back (step S1406: No), the viewing mode is set. Is set to the normal viewing mode (step S1409), and normal viewing is resumed (step S1410).
  • step S1406 in addition to the method of detecting the replay start position and the replay end position and setting the highlight scene from the replay start position to the replay end position, the following description will be given. It is also possible to detect highlight scenes using this method. When a highlight scene is detected using the method described below, it is assumed that the replay-only key is operated once or twice according to the change in the user power to change the replay position. Specifically, if you want to replay the previous highlight with priority, operate once. If you want to detect the previous highlight, operate twice.
  • FIG. 15 is a flowchart of the highlight selection process according to the second embodiment.
  • a detection section is set (step S1501), and it is determined whether or not the replay-only key has been operated once (step S1502).
  • step S1501 for example, the detection interval is set in the same manner as in step S804 of FIG. 8 or the detection interval setting process of FIG.
  • step S1502 if the replay-only key is operated once (step S1502: Yes), the importance IP is calculated (step S1503), and the replay-only key is operated twice. If it is (step S1502: No), importance IP is calculated (step SI 504).
  • the importance level IP is calculated by the following equation (1).
  • T current time
  • T highlight section start time
  • IP highlight section importance
  • the importance level IP is calculated by the following equation (2).
  • the second embodiment by calculating the importance of each highlight scene, the most suitable scene as the highlight scene can be obtained in addition to the effect in the first embodiment. Can be replayed. In other words, it is possible to simplify the operation when replaying the no-light scene and to further optimize the replay start position. Further, according to the second embodiment, by recording the importance for each highlight scene, it is possible to reduce the amount of information to be recorded as compared with the case of recording the feature amount.
  • a highlight scene to be detected may be extracted according to the importance.
  • the replay time is set by the user, and a highlight scene to be detected as a digest is extracted so that the rib lay is completed within the set replay time. In this case, if the set replay time is long, more scenes can be replayed, and if the set replay time is short, only the highlight scene with higher importance is extracted.
  • the importance level corresponding to the time elapsed since the last operation of the replay dedicated key 403 is calculated, and the highlight scene to be replayed is detected according to the importance level. Since it did in this way, a user's request
  • the content replay method and content playback method described in this embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation.
  • This program can be read by a computer such as a hard disk, flexible disk, CD-ROM, MO, or DVD. It is recorded on a recordable recording medium and executed by being read out by the computer.
  • the program may be a transmission medium that can be distributed via a network such as the Internet.

Abstract

　コンテンツリプレイ装置は、取得部（１０１）と、特徴量抽出部（１０２）と、検出部（１０５）と、出力部（１０６）と、を備える。取得部（１０１）は、再生対象となるコンテンツを取得する。特徴量抽出部（１０２）は、取得部（１０１）によって取得されたコンテンツの特徴量を抽出する。検出部（１０５）は、リプレイ指示が入力された場合に、コンテンツにおいて、特徴量抽出部（１０２）によって抽出された特徴量が所定閾値以上となる特定部分開始位置のうちリプレイ指示の入力タイミングに直近する特定部分開始位置を検出する。出力部（１０６）は、検出部（１０５）によって検出された特定部分開始位置以降の前記コンテンツを出力する。

Description

明 細 書
コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コ ンテンッ再生方法、プログラム、および記録媒体
技術分野
[0001] この発明は、コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法
、コンテンツ再生方法、プログラム、および記録媒体に関する。なお、この発明の利用 は、上述したコンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、 コンテンツ再生方法、プログラム、および記録媒体に限らない。
背景技術
[0002] たとえば、映画や音楽などのコンテンツにおいて、同じシーンを繰り返して視聴する ためには、当該シーンの先頭部分まで戻り、戻った位置力 再び再生（以下、「リブレ ィ」という）する必要がある。このような煩雑な操作を簡略ィ匕するため、従来、たとえば 、一方のチューナで受信した映像を再生するとともに他方のチューナで受信した映 像を記録し、再生中の映像においてハイライトシーンを自動検出した場合には、その 旨をユーザに報知するとともに、ユーザの操作に応じて、記録された映像を用いて当 該ハイライトシーンをリプレイするようにした技術がある（たとえば、下記特許文献 1参 照。 ) oまた、たとえば、ユーザによってリプレイ操作がなされた場合、操作された位置 より所定時間ずつ遡った位置カもリプレイするようにした技術がある（たとえば、下記 特許文献 2参照。）。
[0003] 特許文献 1 :特開 2003— 134415号公報
特許文献 2：特開 2003 - 333463号公報
発明の開示
発明が解決しょうとする課題
[0004] しかしながら、上述した従来の技術（特開 2003— 134415号公報）では、ユーザの 意図に拘わらず自動検出されたノヽイライトシーンのみのリブレイが可能となるため、ハ イライトシーンとして自動検出されな力つたシーンのリプレイや、ユーザが意図するタ イミングでのリプレイができな 、と 、う問題が一例として挙げられる。 [0005] また、上述した従来の技術 (特開 2003— 333463号公報)では、リプレイ操作がな された位置より所定時間ずつ遡った位置からリプレイされるため、リプレイの開始位置 とユーザが意図するハイライトシーンの開始位置とにずれが生じてしまうという問題が 一例として挙げられる。
課題を解決するための手段
[0006] 請求項 1の発明に力かるコンテンツリプレイ装置は、再生対象となるコンテンツを取 得する取得手段と、前記取得手段によって取得されたコンテンツの特徴量を抽出す る特徴量抽出手段と、リプレイ指示が入力された場合に、前記コンテンツにおいて、 前記特徴量抽出手段によって抽出された特徴量が所定閾値以上となる特定部分開 始位置のうち前記リブレイ指示の入力タイミングに直近する特定部分開始位置を検 出する検出手段と、前記検出手段によって検出された特定部分開始位置以降の前 記コンテンツを出力する出力手段と、を備えることを特徴とする。
[0007] 請求項 2の発明に力かるコンテンツリプレイ装置は、再生対象となるコンテンツを取 得する取得手段と、前記取得手段によって取得されたコンテンツの特徴量を抽出す る特徴量抽出手段と、リプレイ指示が入力された場合に、前記リブレイ指示の入カタ イミング力 所定時間前までの間（以下、「検出区間」という）の前記コンテンツにおい て、前記特徴量抽出手段によって抽出された特徴量が所定閾値以上となる特定部 分開始位置を検出する検出手段と、前記検出手段によって検出された特定部分開 始位置以降の前記コンテンツを出力する出力手段と、を備えることを特徴とする。
[0008] 請求項 7の発明に力かるコンテンツ再生装置は、再生対象となるコンテンツを取得 する取得手段と、前記取得手段によって取得されたコンテンツを読み取る読取手段と 、前記読取手段によって読み取られたコンテンッの特徴量を抽出する特徴量抽出手 段と、リプレイ指示が入力された場合に、前記コンテンツにおいて、前記特徴量抽出 手段によって抽出された特徴量が所定閾値以上となる特定部分開始位置のうち前記 リプレイ指示の入力タイミングに直近する特定部分開始位置を検出する検出手段と、 前記読取手段によって読み取られたコンテンッを順次出力し、前記検出手段によつ て特定部分開始位置が検出された場合には検出された特定部分開始位置以降の 前記コンテンツを出力する出力手段と、を備えることを特徴とする。 [0009] 請求項 8の発明に力かるコンテンツリプレイ方法は、再生対象となるコンテンツを取 得する取得工程と、前記取得工程によって取得されたコンテンツの特徴量を抽出す る特徴量抽出工程と、リプレイ指示が入力された場合に、前記コンテンツにおいて、 前記特徴量抽出工程によって抽出された特徴量が所定閾値以上となる特定部分開 始位置のうち前記リブレイ指示の入力タイミングに直近する特定部分開始位置を検 出する検出工程と、前記検出工程によって検出された特定部分開始位置以降の前 記コンテンツを出力する出力工程と、を含んだことを特徴とする。
[0010] 請求項 9の発明に力かるコンテンツリプレイ方法は、再生対象となるコンテンツを取 得する取得工程と、前記取得工程によって取得されたコンテンツの特徴量を抽出す る特徴量抽出工程と、リプレイ指示が入力された場合に、前記リブレイ指示の入カタ イミング力 所定時間前までの間（以下、「検出区間」という）の前記コンテンツにおい て、前記特徴量抽出工程によって抽出された特徴量が所定閾値以上となる特定部 分開始位置を検出する検出工程と、前記検出工程によって検出された特定部分開 始位置以降の前記コンテンツを出力する出力工程と、を含んだことを特徴とする。
[0011] 請求項 10の発明に力かるコンテンツ再生方法は、再生対象となるコンテンツを取得 する取得工程と、前記取得工程によって取得されたコンテンツを読み取る読取工程と 、前記読取工程によって読み取られたコンテンッの特徴量を抽出する特徴量抽出ェ 程と、リプレイ指示が入力された場合に、前記コンテンツにおいて、前記特徴量抽出 工程によって抽出された特徴量が所定閾値以上となる特定部分開始位置のうち前記 リプレイ指示の入力タイミングに直近する特定部分開始位置を検出する検出工程と、 前記読取工程によって読み取られたコンテンッを順次出力し、前記検出工程によつ て特定部分開始位置が検出された場合には検出された特定部分開始位置以降の 前記コンテンツを出力する出力工程と、を含んだことを特徴とする。
[0012] 請求項 11の発明に力かるプログラムは、請求項 8〜10のいずれか一つに記載の方 法をコンピュータに実行させることを特徴とする。
[0013] 請求項 12の発明に力かる記録媒体は、請求項 11に記載のプログラムを記録したこ とを特徴とする。
図面の簡単な説明 [図 1]図 1は、この実施の形態にカゝかるコンテンツリプレイ装置の機能的構成を示すブ ロック図である。
[図 2]図 2は、この実施の形態にカゝかるコンテンツリプレイ装置の処理手順を示すフロ 一チャートである。
[図 3]図 3は、この実施例 1にかかる記録再生装置のハードウェア構成を示すブロック 図である。
[図 4]図 4は、この実施例 1にかかるリモコンのキー配列を示す模式図である。
[図 5]図 5は、この実施例 1にかかる記録再生装置が備えるリングバッファを示す説明 図である。
[図 6]図 6は、この実施例 1にかかる記録処理を示すフローチャートである。
[図 7]図 7は、この実施例 1にかかるリプレイ処理を示すフローチャートである。
[図 8]図 8は、この実施例 1にかかる開始位置検出処理を示すフローチャートである。
[図 9]図 9は、この実施例 1にかかるリプレイ終了位置検出処理を示すフローチャート である。
[図 10]図 10は、この実施例 1にかかる検出区間設定処理を示すフローチャートである
[図 11]図 11は、この実施例 2にかかる記録再生装置のハードウェア構成を示すブロッ ク図である。
[図 12]図 12は、この実施例 2にかかる記録再生装置が備えるデータベースを示す説 明図である。
[図 13]図 13は、この実施例 2にかかる記録処理の手順を示すフローチャートである。
[図 14]図 14は、この実施例 2にかかるリプレイ処理の手順を示すフローチャートであ る。
[図 15]図 15は、この実施例 2にかかるハイライト選択処理を示すフローチャートである 符号の説明
101 取得部
102 特徴量抽出部 103 重要度算出部
105 検出部
106 出力部
発明を実施するための最良の形態
[0016] 以下に添付図面を参照して、この発明に力かるコンテンツリプレイ装置、コンテンツ 再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒 体の好適な実施の形態を詳細に説明する。
[0017] (コンテンツリプレイ装置の機能的構成）
図 1は、この実施の形態にカゝかるコンテンツリプレイ装置の機能的構成を示すブロッ ク図である。図 1に示すように、コンテンツリプレイ装置は、取得部 101と、特徴量抽出 部 102と、重要度算出部 103と、記録部 104と、検出部 105と、出力部 106と、読取 部 107と、を備えている。
[0018] 取得部 101は、再生対象となるコンテンツを取得する。コンテンツは、たとえば、メデ ィァなどに記録されたコンテンツにカ卩えて、リアルタイムで放映されるテレビ番組など でもよい。また、コンテンツは、映像と音声とを含んでいてもよいし、映像のみあるいは 音声のみであってもよい。さらに、コンテンツは、たとえば、メディアなどに記録されて V、てもよ 、し、テレビやラジオ番組のようにリアルタイムで放映されるものでもよ!/、。
[0019] 特徴量抽出部 102は、取得部 101によって取得されたコンテンツの特徴量を抽出 する。ここで、特徴量は、コンテンツを構成する所定のデータを数値ィ匕したものである 。たとえば、特徴量抽出部 102は、コンテンツにおける音声の大小を数値ィ匕した情報 を特徴量として抽出する。他に、特徴量は、具体的には、たとえば、単位時間当たり にシーンチェンジがおこなわれた回数を示す情報であってもよいし、単位時間当たり にテロップが挿入される頻度を示す情報、たとえば、コンテンツにおける登場人物な どの動きの大きさを示す情報、カメラワークの状態を示す情報など力 抽出してもよい 。なお、特徴量は、これに限るものではない。
[0020] 重要度算出部 103は、特徴量抽出部 102によって算出された特徴量に基づいて、 特徴量の重要度を当該特徴量毎に算出する。具体的には、たとえば、コンテンツが サッカー中継のテレビ番組であれば、ゴールが決まったシーンやファインセーブした シーンなどのように、
Figure imgf000008_0001
、て意味的に重要な部分 (以下「ハイライトシ一 ン」という）の重要度が、それ以外の部分の重要度よりも高くなるように、重要度を算出 する。
[0021] 具体例として、サッカー中継のテレビ番組における音声の大小が特徴量として抽出 されている場合、重要度算出部 103は、特徴量から音声の大小を判断し、音声の大 きい部分程その他の部分よりも高くなるような重要度を算出する。重要度の算出対象 は、特徴量に基づいてハイライトシーンと判断される部分のみであり、各ノ、イライトシ ーンにおいて最も高い重要度力 当該ハイライトシーンの重要度とされる。重要度は 、ノ、イライトシーンごとに算出される。
[0022] 記録部 104は、取得部 101によって取得されたコンテンツや特徴量抽出部 102に よって抽出された特徴量を記録する。また、記録部 104は、重要度算出部 103によつ て算出された重要度を記録する。特徴量および重要度は、コンテンツにおける位置 情報が対応付けられた状態で記録される。これにより、抽出された特徴量あるいは算 出された重要度力 コンテンツのどの位置に該当するかを特定することができる。
[0023] なお、ハイライトシーン毎に重要度が算出されている場合、記録部 104は、ハイライ トシーン毎に重要度を記録してもよい。さらに、記録部 104は、たとえば、重要度が所 定値以上であるハイライトシーンのみを記録するようにしてもよ!、。
[0024] 検出部 105は、リプレイ指示が入力された場合に、リプレイ指示の入力タイミングか ら所定時間前までの間（以下、「検出区間」という）のコンテンツにおいて、特徴量抽 出部 102によって抽出された特徴量が所定閾値以上となる特定部分開始位置を検 出する。具体的には、たとえば、サッカー中継のテレビ番組における音声の大小が特 徴量として抽出されている場合、歓声が大きくなるなどして音声が大きくなると、この 部分の特徴量も大きな値を示す。この特徴量の値が所定閾値となる部分が、特定部 分開始位置として検出される。すなわち、検出部 105は、ハイライトシーンの開始位 置を特定部分開始位置として検出する。
[0025] ここで、検出区間内に特定部分開始位置が複数ある場合、検出部 105は、検出区 間内にお 、て重要度算出部 103によって算出された重要度が最も高 、特定部分開 始位置を検出する。また、検出区間内に特定部分開始位置が複数ある場合、検出部 105は、リプレイ指示の入力タイミングに直近する特定部分開始位置を検出してもよ い。なお、検出区間は、リプレイ指示の入力タイミング力も所定時間前までの間に限 らず、リプレイ指示の入力タイミング力も所定時間後までであってもよい。この場合、リ プレイ指示の入力タイミング以前に力ぎらず、リプレイ指示の入力タイミング以降も含 んだコンテンツから、ハイライトシーンの開始位置が検出される。
[0026] 力！]えて、検出部 105は、リプレイ指示の入力パターンに応じて、検出区間または当 該検出区間の長さを変更し、変更後の検出区間力 特定部分開始位置を検出しても よい。リプレイ指示の入力パターンの違いは、たとえば、リプレイ指示を入力するため のキー操作パターンを、通常のリプレイ指示を入力するためのキー操作パターンと異 ならせること〖こよって実現することができる。
[0027] 具体的には、たとえば、単一のキーを用いてリプレイ指示を入力する場合、キー操 作の回数を異ならせることによってリプレイ指示の入力に際してのキー操作パターン を異ならせる。より具体的には、通常のリプレイ指示を入力するためには 1回のキー 操作をおこない、検出区間または当該検出区間の長さを変更する場合には複数回 のキー操作をおこなうようにする。
[0028] 他に、具体的には、たとえば、通常のリプレイ指示を入力するためのキーと、検出区 間または当該検出区間の長さを変更する場合のキーとを異ならせることで、リプレイ 指示を入力するためのキー操作パターンを異ならせるようにしてもょ 、。
[0029] なお、検出部 105は、重要度算出部 103によって算出された重要度に代えて、特 徴量抽出部 102によって抽出された特徴量から、その都度状況に応じて重要度を計 算し、特定部分開始位置を検出するようにしてもよい。たとえば、テレビ番組のジヤン ルに応じて重要視する特徴量を変えたり（例:スポーツ番組では音声が大きい箇所、 ニュース番組では無音の後を重要視）、あるいは番組内の時間的な位置で重要度を 修正する (例:番組後半部分を重要視)などが考えられる。この場合、重要度算出部 1 03を設ける必要は無ぐ同等の機能は、たとえば、検出部 105で処理される。
[0030] また、検出部 105は、特定部分開始位置以降のコンテンツにおいて、特徴量抽出 部 102によって抽出された特徴量が、特定部分開始位置の検出に用いた所定閾値 とは異なるあらたな所定閾値未満となる特定部分終了位置を検出する。具体的には 、たとえば、サッカー中継のテレビ番組のコンテンツにおける音声の大小が特徴量と して抽出されている場合、上述したハイライトシーンが終了すると観客も落ち着きを取 り戻すなどして、特徴量もハイライトシーン以前と同等の変化となる。検出部 105は、 このような特徴量の変化から、ハイライトシーンの終了位置を特定部分終了位置とし て検出する。
[0031] 出力部 106は、検出部 105によって検出された特定部分開始位置力も特定部分終 了位置までのコンテンツ、これをハイライトシーンとして出力する。具体的には、たとえ ば、ディスプレイやスピーカなどを用いて、映像や音声を出力する。なお、特定部分 終了位置が検出されていない場合、出力部 106は、特定部分開始位置以降のコン テンッを、特定部分終了位置が検出されるまで出力する。
[0032] 読取部 107は、取得部 101によって取得されたコンテンツを読み取る。たとえば、コ ンテンッの開始位置に対する相対時間が正となる方向へ読み取る。コンテンツが現 在放送中のテレビ番組である場合には、コンテンツを取得した絶対時間にしたがって 、絶対時間が進む方向へ読み取る。上述した出力部 106は、読取部 107によって読 み取られたコンテンツを順次出力する。
[0033] (コンテンツリプレイ装置の処理手順）
つぎに、コンテンツリプレイ装置の処理手順について説明する。図 2は、この実施の 形態に力かるコンテンツリプレイ装置の処理手順を示すフローチャートである。図 2に 示すフローチャートにおいては、まず、コンテンツの再生指示を待って（ステップ S20 1 :No)、再生指示があった場合 (ステップ S201： Yes)には、再生指示されたコンテ ンッを取得部 101によって取得する (ステップ S202)。図 2中図示を省略する力 取 得されたコンテンツは、読取部 107によって読み取られ、読み取られた順に、順次出 力部 106によって出力される。
[0034] そして、ステップ S202において取得されたコンテンツの特徴量を特徴量抽出部 10 2によって抽出する (ステップ S203)とともに、抽出された特徴量から重要度算出部 1 03によって重要度を算出し (ステップ S204)、算出された重要度を記録部 104によつ て記録する（ステップ S 205)。
[0035] その後、ステップ S202において取得されたコンテンツを再生しながら（ステップ S20 6)、リプレイ指示が入力された力否かを判断し (ステップ S207)、入力されていない 場合 (ステップ S207 :No)には、ステップ S203に戻ってコンテンツの再生を継続す る。
[0036] ステップ S207においてリプレイ指示が入力された場合 (ステップ S207 : Yes)には 、検出部 105によってハイライトシーンを検出し (ステップ S208)、検出されたハイライ トシーンをリプレイする（ステップ S209)。ステップ S208においては、検出部 105によ つて検出された特定部分 (開始位置力も終了位置まで)のコンテンツをハイライトシ一 ンとして検出する。そして、ハイライトシーンのリプレイが終了するまで (ステップ S210 ： No)は、ノ、イライトシーンのリプレイを継続する。
[0037] ハイライトシーンのリプレイが終了した場合 (ステップ S210 : Yes)には、コンテンツ の再生が終了した力否かを判断する (ステップ S211)。コンテンツの再生が終了して いない場合 (ステップ S211 :No)にはステップ S203に戻り、終了した場合 (ステップ S211 :Yes)には一連の処理を終了する。
[0038] 以上説明したように、この実施の形態におけるコンテンツリプレイ装置によれば、リ プレイ指示が入力された場合には、再生対象となるコンテンツのうち、検出区間にお ける特徴量が所定閾値以上となる特定部分開始位置以降のコンテンツが出力される 。これにより、ユーザは、ハイライトシーンのリプレイを要求する何らかの操作をおこな うだけで、当該操作タイミングに応じたノヽイライトシーンをリプレイすることができるので 、 ノ、イライトシーンのリプレイに際しての操作の簡易化およびリブレイされるハイライト シーンの最適化を図ることができる。
[0039] ここで、取得されたコンテンツのすべての特徴量を抽出し記録することにより、いず れのタイミングでリプレイ指示が入力された場合にも、特徴量に基づ 、てハイライトシ 一ンをリプレイすることができる。
[0040] また、この実施の形態におけるコンテンツリプレイ装置によれば、特定部分開始位 置力 特定部分終了位置までのコンテンツ力 ハイライトシーンとして出力される。こ のように、ハイライトシーンの終了位置を明確にすることで、リプレイ終了以降、ハイラ イトシーンのリプレイを繰り返したり、通常再生 (視聴)へ切り替えたりすることができる [0041] さらに、この実施の形態におけるコンテンツリプレイ装置によれば、検出区間内で、 特徴量の重要度が最も高い特定部分開始位置以降のコンテンツが、ハイライトシ一 ンとして出力される。これにより、よりリプレイを希望すると想定されるハイライトシーン を、ユーザの要求するタイミングでリプレイすることができる。なお、たとえば、重要度 が所定値以上であるハイライトシーンのみを記録することで、特徴量を用いる場合と 比較して、ノ、イライトシーンの検出のために記録する情報量を少なく抑えることができ る。
[0042] なお、検出区間内に特定部分開始位置が複数ある場合、重要度算出部 103によつ て算出された重要度に代えて、リプレイ指示の入力タイミングに直近する特定部分開 始位置を検出する形態とすれば、たとえば、リプレイ指示の入力タイミングの直前の ノ、イライトシーンをリプレイすることができる。これにより、たとえば、ユーザが、よそ見 やぼんやりしているなどして見逃したノ、イライトシーンをリプレイすることができるので 、実使用に則したコンテンツリプレイ装置を提供することができる。
[0043] 力！]えて、この実施の形態におけるコンテンツリプレイ装置によれば、リプレイ指示の 入力パターンに応じて、検出区間または検出区間の長さを変更し、変更後の検出区 間からハイライトシーンを検出することができる。これによつて、ユーザの要求に柔軟 に対応したノヽイライトシーンをリプレイすることができる。
[0044] この実施の形態におけるコンテンツリプレイ装置によれば、取得部によって取得さ れ読取部によって読み取ったコンテンツを、出力部によって出力するとともに、リプレ ィ指示が入力された場合には、特徴量抽出部によって抽出された特徴量が所定閾 値以上となる特定部分開始位置のうちリプレイ指示の入力タイミングに直近する特定 部分開始位置を検出部によって検出し、検出された特定部分開始位置以降のコンテ ンッを出力部によって出力することができる。これによつて、コンテンツを通常通りに 視聴するとともに、ハイライトシーンをリプレイしたい場合には、ユーザが所望するハイ ライトシーンを適宜リプレイすることができる。
実施例 1
[0045] つぎに、上述した実施の形態に力かる記録再生装置の実施例 1について説明する 。この実施例 1は、上述した実施の形態に力かるコンテンツリプレイ装置を、テレビ番 組などのコンテンツの録画や録画されたコンテンツの再生が可能な記録再生装置へ 適用した例である。
[0046] (記録再生装置のハードウェア構成）
図 3は、この実施例 1にかかる記録再生装置のハードウェア構成を示すブロック図 である。図 3において、記録再生装置は、アンテナ 301と、チューナ 302と、 IF回路 3 03と、映像復調部 304と、音声復調部 305と、映像合成部 306と、映像符号化部 30 7と、 AZD変換回路 308、 312と、特徴量抽出部 309と、音声選択部 310と、音声符 号化部 311と、 HDD313と、ハイライト検出部 314と、映像復号部 315と、映像処理 部 316と、 DZA変換回路 317、 320と、映像出力部 318と、音声復号部 319と、音 声出力部 321と、制御部 322と、操作部 323と、を備える。
[0047] アンテナ 301は、たとえば、テレビなどの放送局において変調され、高周波の搬送 波に乗せて発信された番組 (たとえば、テレビ番組など）の電気信号を含む電波（たと えば、テレビ電波など）を受信する。受信された電波は、受信信号としてチューナ 302 に出力される。
[0048] 具体的には、アンテナ 301は、たとえば、導波器、給電素子、反射器などを有する。
公知の技術であるため詳細な説明は省略するが、導波器は空中の電波を拾うための 素子であり、給電素子は導波器で拾った電波を吸収チューナへ供給するための素 子であり、反射器は導波器で拾いきれな力つた電波を反射し給電素子に導くための 素子である。
[0049] チューナ 302は、たとえば、アンテナ 301で受信された電波の波長を整調する。チ ユーナ 302によって整調された電波は、 IF回路 303へ出力される。 IF回路 303は、 チューナ 302から出力された IF信号を増幅し、増幅した IF信号力もビデオ信号およ び音声信号を検波する。具体的には、 IF回路 303は、たとえば、 NTSCのコンポジッ トビデオ信号を検波したり、 4. 5MHzのビート成分力 音声信号を検波したりする。 I F回路 303によって検波されたビデオ信号は映像復調部 304に出力され、音声信号 は音声復調部 305に出力される。以下、この実施例 1においては、番組を構成するビ デォ信号および音声信号をコンテンツとして説明する。
[0050] 映像復調部 304は、 IF回路 303から出力されたビデオ信号を復調する。映像復調 部 304によって復調されたビデオ信号は、映像合成部 306や映像符号化部 307へ 出力される。なお、映像符号ィ匕部 307に対して出力されたビデオ信号は、 AZDコン バータ 308によって A/D変換されてから映像符号ィ匕部 307に入力される。 AZDコ ンバータ 308によって A/D変換されたビデオ信号は、特徴量抽出部 309へも出力 される。
[0051] 音声復調部 305は、 IF回路 303から出力された音声信号を復調する。音声復調部 305によって復調された音声信号は、音声選択部 310や音声符号ィ匕部 311へ出力 される。なお、音声符号ィ匕部 311に対して出力された音声信号は、 AZDコンバータ 312によって AZD変換されてカゝら音声符号ィ匕部 311に入力される。 AZDコンパ一 タ 312によって AZD変換された音声信号は、特徴量抽出部 309へも出力される。
[0052] 映像符号ィ匕部 307は、 A/Dコンバータ 308によって AZD変換されたビデオ信号 を符号化する。また、映像符号ィ匕部 307は、符号化に加えて、ビデオ信号を圧縮す る。圧縮方式としては、たとえば、 MPEG— 2を用いる。なお、より圧縮効率の高い圧 縮方式として、 MPEG— 4、 ITU-T, H. 264などを用いてもよい。映像符号化部 3 07によって符号化されたビデオ信号は、 HDD313に記録される。
[0053] 音声符号ィ匕部 311は、 AZDコンバータ 312によって AZD変換された音声信号を 符号化する。また、音声符号ィ匕部 311は、符号化に加えて、音声信号を圧縮する。 圧縮方式としては、 MPEG— 1、 Layer2、 MPEG— 1 layer3 (MP3)、 MPEG- 2 ACC、 Dolby AC3などを用いる。音声符号化部 311によって符号化された音声信 号は、 HDD313に記録される。
[0054] 特徴量抽出部 309は、コンテンツカゝら特徴量を抽出する。ここで、特徴量とは、視聴 者にとって意味的に重要であると想定されるシーン (以下、「ハイライトシーン」という） を検出するために用いるデータである。ハイライトシーンとしては、具体的には、たと えば、コンテンツが野球中継である場合、ホームランやタイムリーヒットを打ったシーン 、守備にファインプレーが出たシーンなどが想定される。
[0055] ところで、野球中継においては、ピッチャーを中心とするマウンド周辺の映像、バッ ターを中心とする打席周辺の映像、あるいは、ノ ッテリーの映像など、動作範囲が限 られた映像が比較的多い。これに対し、たとえば、ホームランを打った場合には、バッ ターがグランドを回る映像や、チームメイトがバッターを祝福する映像、観客が喜ぶ映 像など、通常とは異なる動きの多い映像になる。また、この場合、臨場感を伝えるため に、これらの映像がつぎつぎに切り替わることもある。さらに、得点が入ったことを示す テロップなど力 試合中継の映像に重ねて表示されたりする。
[0056] たとえば、特徴量の抽出に際してビデオ信号を用いる場合、特徴量抽出部 309は 、映像中の人物や物の動作 (動きの大きさや激しさの変化）、シーンチェンジ (たとえ ば、単位時間当たりのシーンチェンジの頻度）、カメラワーク（たとえば、ズームアップ やズームバックがおこなわれた頻度）、テロップ (たとえば、テロップが挿入された頻度
)など、ビデオ信号カゝら取得できる特定の情報を数値ィ匕した情報を、特徴量として抽 出する。
[0057] また、特徴量は、音声信号を用いて抽出してもよい。具体的には、たとえば、野球 中継において、ホームランを打った場面では、試合を中継するアナウンサーの声のト ーンがあがったり、アナウンサーの声や観客の歓声が大きくなつたりするため、音声 のトーン (高 、Z低 、)や音量 (大き 、Z小さ 、）のレベルを数値ィ匕した情報を、特徴 量として抽出することができる。また、音声認識によってテキストデータを作成し、この テキストデータ力 特徴量を抽出してもよい。なお、特徴量は、これらに限定されるも のではない。特徴量の抽出に際しては、具体的には、たとえば、音声のトーン (高い Z低 、)や音量 (大き 、Z小さ 、）のレベルを数値ィ匕するための所定の算出処理をお こなってもよ ヽ。
[0058] 特徴量抽出部 309によって抽出された特徴量は、 HDD (Hard Disk Drive) 31 3に記録される。特に図示しないが、 HDD313には、抽出された特徴量および当該 特徴量の位置を記録するテーブルが設けられている。特徴量の位置は、具体的には 、番組開始位置を 0とした相対時間（単位:秒)で示される。なお、特徴量の位置は、 フレームあるいは絶対時間を単位としてもよ 、。
[0059] ノ、イライト検出部 314は、特徴量抽出部 309によって抽出された特徴量からハイラ イトシーンを検出する。具体的には、たとえば、映像中の人物や物の動作が特徴量と して抽出されている場合、動きの大きさや激しさが、それ以前までの映像に対して大 きく変化する部分をハイライトシーンとして検出する。 [0060] また、具体的には、たとえば、単位時間当たりのシーンチェンジの頻度や、ズームァ ップゃズームバックなどのカメラワーク、テロップの有無などを用いて、それ以前まで の映像に対して大きく変化する部分をハイライトシーンとして検出する。他に、具体的 には、たとえば、音声のトーン (高い Z低い）や音量 (大きい Z小さい）のレベル力 一 定レベル以上である部分をノヽイライトシーンとして検出してもよい。
[0061] 映像復号部 315は、 HDD313に記録されている符号化されたビデオ信号を復号 する。映像復号部 315によって復号されたビデオ信号は、映像処理部 316や特徴量 抽出部 309へ出力される。映像処理部 316は、映像復号部 315から出力されたビデ ォ信号に対して所定の画像処理をおこなう。映像処理部 316によって処理されたビ デォ信号は、 DZAコンバータ 317によって DZA変換された後、映像合成部 306へ 出力される。
[0062] 映像合成部 306は、必要に応じて、映像復調部 304から出力されたビデオ信号や DZAコンバータ 317を介して映像処理部 316から出力されたビデオ信号を合成す る。具体的には、たとえば、 2画面表示をおこなう場合であれば、映像合成部 306は、 映像復調部 304および映像処理部 316から出力されたビデオ信号を、それぞれ分 割画面用の映像信号に変換した後、変換された各映像信号を用いて 1画面用の映 像に合成する。映像合成部 306によって合成されたビデオ信号は、映像出力部 318 へ出力される。
[0063] 映像出力部 318は、映像出力部 318に接続されたディスプレイを制御する。たとえ ば、ディスプレイがカラー画像を表示するディスプレイである場合、映像出力部 318 は、具体的には、たとえば、ディスプレイ全体の制御をおこなうグラフィックコントローラ と、即時表示可能な画像情報を一時的に記憶する VRAM (Video RAM)などのバ ッファメモリと、グラフィックコントローラから出力される画像情報に基づいて、ディスプ レイを表示制御する制御 ICなどによって構成される。
[0064] 音声復号部 319は、 HDD313に記録された、符号ィ匕された音声信号を復号する。
音声復号部 319によって復号された音声信号は、 DZAコンバータ 320を介して音 声選択部 310へ出力されたり、特徴量抽出部 309へ出力されたりする。音声選択部 310は、音声復調部 305から出力された音声信号、または、 DZAコンバータを介し て音声復号部 319から出力された音声信号のいずれかの音声信号を選択的に音声 出力部 321に出力する。
[0065] 音声出力部 321は、音声選択部 310から出力された音声信号に基づいて、音声出 力部 321に接続されたスピーカを制御する。音声出力部 321が制御するスピーカは 、 1つであってもよいし、複数であってもよい。音声出力部 321は、具体的には、たと えば、音声出力用のスピーカに接続される音声 IZFによって実現することができる。 より具体的には、音声 IZFは、たとえば、音声デジタル情報の DZA変換をおこなう DZAコンバータと、 DZ Aコンバータから出力される音声アナログ信号を増幅する増 幅器と、音声アナログ情報の AZD変換をおこなう AZDコンバータと、から構成する ことができる。
[0066] 制御部 322は、記録再生装置が備える各部を駆動制御する。制御部 322は、具体 的には、たとえば、所定の演算処理を実行する CPU (Central Processing Unit) や、各種制御プログラムを格納する ROM (Read Only Memory)、および、 CPU のワークエリアとして機能する RAM (Random Access Memory)などによって構 成されるマイクロコンピュータなどによって実現することができる。
[0067] 具体的には、制御部 322は、たとえば、映像符号ィ匕部 307によって符号ィ匕された映 像信号、音声符号化部 311によって符号化された音声信号、特徴量抽出部 309によ つて抽出された特徴量の HDD313への記録あるいは HDD313からの読み出しを制 御する。制御部 322は、たとえば、操作部 323における操作によって映像コンテンツ 再生の指示が入力された場合に、該当するデータを HDD313から読み出すように H DD313を制御する。また、制御部 322は、たとえば、チューナ 302に対して、所望の 番組を選局するためのチャンネル設定信号を出力する。
[0068] 特に図示しないが、制御部 322における ROMあるいは RAMには、視聴モードを 設定するリプレイフラグエリアが設けられている。リプレイフラグエリアにおいては、視 聴モードが通常視聴モードである場合には ReplayFlag = Falseが設定され、リプレ ィモードである場合には ReplayFlag=Trueが設定される。
[0069] 同様に、特に図示しないが、制御部 322における ROMあるいは RAMには、リプレ ィするハイライトシーンの開始位置 Thsおよび終了位置 Theを記憶するリプレイ位置 管理テーブルが設けられている。このリブレイ位置管理テーブルは、リプレイ専用キ 一 403の操作に応じて、適宜更新される。
[0070] また、特に図示しないが、制御部 322における ROMあるいは RAMには、後述する 開始位置検出処理 (図 8参照）に際して用いられる、検出区間を設定するバッファが 設けられている。ここで、検出区間とは、リプレイを開始する位置 (以下、「リプレイ開 始位置」という）を検出する区間である。検出区間の長さは一定である。バッファには 、検出区間の開始位置 sおよび終了位置 eが設定される。開始位置 sは、再生位置 Tc における現在時刻 Tbを基準にして、現在時刻 Tbカゝら遡った秒数に応じて設定され る。検出区間の長さは一定であるため、終了位置 eは、開始位置 sが決まると自動的 に設定される。
[0071] 操作部 323は、文字、数値、各種指示など、ユーザによって入力操作された情報を 制御部に対して出力する。操作部 323の構成としては、物理的な押下 Z非押下を検 出する押ボタンスィッチ、タツチパネル、キーボード、ジョイスティックなど公知の各種 形態を採用することが可能である。操作部 323は、外部からの音声を入力するマイク を用いて、音声によって入力操作を行う形態としてもよい。操作部 323は、上述した 各種形態のうち 、ずれか単一の形態で構成されて 、てもよ 、し、複数の形態で構成 されていてもよい。
[0072] なお、操作部 323は、記録再生装置本体に対して一体に設けられていてもよいし、 別体で設けられていてもよい。ユーザは、操作部 323の形態に応じて適宜入力操作 を行うことで情報を入力する。操作部 323の操作によって入力される情報として、たと えば、リプレイ指示が挙げられる。以降、この実施例 1においては、記録再生装置か ら分離して操作可能な形態のリモコンによって操作部 323が実現されている場合を 想定し、このリモコンに符号 323を付して説明する。
[0073] 図 4は、この実施例 1にかかるリモコンのキー配列を示す模式図である。リモコン 32 3は、一般的なリモコンが備えるメニュー選択キー群 401や再生関連キー群 402にカロ えて、リプレイ専用キー 403を備えている。リプレイ専用キー 403が操作されることに より、視聴中のコンテンツのリプレイが開始される。コンテンツのリプレイについては、 詳細を後述する。 [0074] 以下、この実施例 1においては、映像出力部 318からビデオ信号を出力したり、音 声出力部 321から音声信号を出力したりすることを「コンテンツの視聴」とし、映像出 力部 318から出力されるビデオ信号や音声出力部 321から出力される音声信号を、 ユーザが見たり聞いたりする一般的な視聴とは区別して説明する。なお、視聴するコ ンテンッは、チューナ 302から HDD313を経由せずに出力されたリアルタイムなコン テンッであってもよいし、 HDD313から読み出されたコンテンツであってもよい。
[0075] メニュー選択キー群 401は、カーソルの位置を動かすあるいは決定する操作をおこ なうためのキーである。再生関連キー群 402は、再生、早送り、巻き戻しなど、再生に 関連する操作をおこなうためのキーである。特に図示しないが、リモコン 323は、他に 、電源キー、チャンネル選局用のキー（テンキーおよびアップダウンキー）、音量用の アップダウンキー、 1画面表示と 2画面表示とを切り替える表示切換キーなどの各種 キーを備えている。
[0076] つぎに、記録再生装置が備えるリングバッファおよびこのリングバッファに記憶され る情報について説明する。図 5は、この実施例 1にかかる記録再生装置が備えるリン グバッファを示す説明図である。リングバッファ 500は、たとえば、制御部 322におけ る ROMあるいは RAMなどに設けられる。
[0077] 図 5に示すように、リングバッファ 500には、 HD情報 501、操作時間情報 502、およ び経過時間情報 503が記憶される。操作時間情報 502は、リプレイ専用キー 403が 操作された時間 (操作時間）を示す情報である。経過時間情報 503は、リプレイ専用 キー 403が、前回操作されてカゝら今回操作されるまでの経過時間を示す情報である 。 情報 501は、操作時間情報 502および経過時間情報 503の組み合わせを識別 する情報である。
[0078] 特に図示しないが、この実施例 1にかかる HDD313には、リプレイ専用キー 403が 連続して操作された場合にフラグが立てられるフラグエリアが設けられて 、る。このフ ラグエリアには、リングバッファ 500に記憶された最新の操作時間に対応する経過時 間力 1秒未満である場合にフラグが立てられる。
[0079] つぎに、記録再生装置が実行する処理の手順について説明する。この実施例 1の 記録再生装置は、記録処理、リプレイ処理、開始位置検出処理、終了位置検出処理 、検出区間設定処理の各処理を実行する。なお、この実施例 1においては、テレビ番 組をコンテンツとして、当該コンテンツをリアルタイムで視聴する場合を想定して説明 する。
[0080] (記録処理の手順）
まず、記録処理について説明する。図 6は、この実施例 1にかかる記録処理を示す フローチャートである。図 6に示す記録処理は、視聴モードが「通常視聴モード」に設 定されている場合に実行される。図 6に示すフローチャートは、まず、録画開始タイミ ングが到来したか否かを判断する（ステップ S601)。ステップ S601においては、コン テンッの視聴が開始されたか否かを判断することによって、録画開始タイミングが到 来したカゝ否かを判断する。
[0081] ステップ S601においては、録画開始タイミングの到来を待って（ステップ S601： No )、録画開始タイミングが到来した場合 (ステップ S601： Yes)には、視聴を開始したコ ンテンッを録画する (ステップ S602)ととも〖こ、当該コンテンツの特徴量を抽出し (ステ ップ S603)、抽出された特徴量および当該特徴量の位置を HDD313に記録する（ ステップ S604)。特徴量の位置は、具体的には、番組開始位置を 0とした相対時間（ 単位:秒)で示す。なお、特徴量の位置は、フレームあるいは絶対時間を単位としても よい。
[0082] そして、録画終了タイミングが到来したか否かを判断し (ステップ S605)、録画終了 タイミングが到来して 、な 、と判断した場合 (ステップ S605： No)にはステップ S602 に戻り、録画終了タイミングが到来したと判断した場合 (ステップ S605 : Yes)には一 連の処理を終了する。ステップ S605においては、具体的には、コンテンツの視聴が 終了されたか否か、あるいは、コンテンツの放送が終了した力否かを判断することに よって、録画終了タイミングが到来したか否かを判断する。
[0083] なお、この実施例 1にお!/、ては、テレビ番組をコンテンツとして、当該コンテンツをリ アルタイムで視聴する場合を想定して説明したが、視聴するコンテンツは、これに限 るものではない。たとえば、すでに HDD313に記録され、特徴量もすでに抽出され て 、るコンテンツを視聴対象としてもよ!、。
[0084] (リプレイ処理の手順） つぎに、リプレイ処理について説明する。ここで、この実施例 1では、具体例として、 野球中継のテレビ番組をコンテンツとして視聴して 、るユーザが、ホームランを打つ たシーンを見逃してしまったため、ホームランのシーンをリプレイするために、リプレイ 専用キー 403を操作したという状況を想定して説明する。
[0085] 図 7は、この実施例 1にかかるリプレイ処理を示すフローチャートである。図 7に示す リプレイ処理は、視聴モードが「通常視聴モード」に設定されている場合に実行される 。図 7に示すフローチャートにおいては、まず、リプレイ指示があった力否かを判断す る（ステップ S701)。具体的には、ステップ S 701においては、リプレイ専用キー 403 が操作された力否かを判断することによって、リプレイ指示があった力否かを判断す る。
[0086] ステップ S701においては、リプレイ指示を待って（ステップ S 701： No)、リプレイ指 示があった場合 (ステップ S701 : Yes)には、リプレイフラグエリアにおける視聴モード をリプレイモードに設定 (ReplayFlag=True)する（ステップ S702)。そして、開始位 置検出処理（図 8参照）を実行し (ステップ S 703)、リプレイを開始する位置 (以下、「リ プレイ開始位置」という）を検出する。開始位置検出処理については詳細を後述する
[0087] つぎに、図 6に示す記録処理において録画されたコンテンツを、ステップ S703にお いて検出されたリプレイ開始位置カもリプレイする (ステップ S 704)とともに、リプレイ を開始したコンテンツのリプレイを終了する位置（以下、「リプレイ終了位置」という）が 設定されている力否かを判断する (ステップ S705)。リプレイ終了位置が設定されて いる場合 (ステップ S705 :Yes)には、ステップ S707に移行する。
[0088] 一方、ステップ S705において、リプレイ終了位置が設定されていない場合 (ステツ プ S705 :No)には、終了位置検出処理（図 9参照）を実行し (ステップ S706)、リプレ ィ終了位置を検出する。終了位置検出処理については詳細を後述する。
[0089] そして、リプレイ終了位置までコンテンツをリプレイするのを待って (ステップ S707 :
No)、リプレイ終了位置までリプレイした場合 (ステップ S707 : Yes)には、リプレイ開 始位置からリプレイ終了位置まで、すなわち、ハイライトシーンをリプレイする間に、リ モコン 323におけるユーザの操作があつたか否かを判断する（ステップ S708)。ここ で、ステップ S708においては、リプレイ開始位置からリプレイ終了位置までコンテン ッをリプレイする間のいずれかのタイミングでユーザの操作があったカゝ否かを判断す る。具体的には、たとえば、リモコン 323におけるユーザの操作があったタイミング (上 述した相対時間や絶対時間など）を示す情報を、制御部 322における RAMなどに 記憶しておき、リプレイ終了位置までコンテンツをリプレイした時点で RAMなどに記 憶された情報を参照する。
[0090] ここで、この実施例 1では、ユーザは、リプレイ中のノ、イライトシーンを繰り返して視 聴したい場合に、当該ハイライトシーンのリプレイ中にリブレイ専用キー 403を操作す るものとする。なお、リプレイ専用キー 403以外のキーが操作された場合は、この限り ではない。
[0091] ステップ S708において、リプレイ開始位置からリプレイ終了位置までコンテンツをリ プレイする間に、リモコン 323におけるユーザの操作があった場合 (ステップ S708 :Y es)には、当該操作がリプレイ継続指示であった力否かを判断する (ステップ S 709)。 ステップ S709においては、具体的には、たとえば、ステップ S704においてリプレイを 開始してからステップ S707 : Yesにおいてリプレイ終了位置までコンテンツをリプレイ する間に、リプレイ専用キー 403の操作があったことをもって、リプレイ継続指示があ つたと判断する。
[0092] リプレイ継続指示であった場合 (ステップ S 709： Yes)には、ステップ S704へ戻る。
リプレイ継続指示ではない場合 (ステップ S709 : No)には、操作に応じた処理を実行 し (ステップ S710)、一連の処理を終了する。ステップ S710においては、具体的には 、たとえば、再生関連キー群 402における巻き戻しのキーが操作された場合には映 像コンテンツを巻き戻したり、一時停止のキーが操作された場合にはリプレイ中を一 時停止したりする。
[0093] 一方、ステップ S708において、リプレイ開始位置からリプレイ終了位置までコンテ ンッをリプレイする間に、リモコン 323におけるユーザの操作がない場合 (ステップ S7 08 : No)には、視聴モードを通常視聴モードに設定する (ステップ S711)。その後、 通常視聴を再開して (ステップ S712)、一連の処理を終了する。
[0094] ステップ S712においては、ステップ S702においてリプレイモードが設定されるまで に再生して 、た位置力も再生をおこなってもよ!/、し、現在の映像に切り替えてもよ!/、。 また、いずれの通常視聴処理を実行するかは、アプリケーションに応じて最適なもの を自動的に選択するようにしてもょ 、し、ユーザによって任意に選択させるようにして ちょい。
[0095] ところで、上述した図 7においては、リプレイ専用キー 403が操作される状況として、 ユーザが、ハイライトシーンを繰り返して視聴したい場合を想定して説明した力 リブ レイ中ではな!/、通常視聴の状態で、ユーザがリプレイ専用キー 403を操作する状況 としては、大別して、以下の 2パターンが想定される。 1つ目は、ユーザが、よそ見ある いはぼんやりしていて、肝心なシーンを見逃した場合である。 2つ目は、ユーザが、た とえば、一度視聴した一連のハイライトシーンをもう一度見た 、と思った場合である。 このことから、リプレイを開始したい位置は、大別して 2通りが想定されると考えられる
[0096] 1つ目の場合、ユーザが希望するノ、イライトシーンは、リプレイ専用キー 403を操作 したタイミングの直前であると考えられるため、たとえば、数秒から 10数秒間程度の時 間範囲で、リプレイ専用キーを操作した時刻から遡った区間から、ノ、イライトシーンを 検出すればよいと考えられる。 2つ目の場合、ユーザが希望するハイライトシーンは、 リプレイ専用キー 403を操作したタイミングよりも少し前であると考えられるため、たと えば、 30秒から 120秒間程度の時間範囲で、リプレイ専用キー 403を操作した時刻 力も遡った区間から、ハイライトシーンを検出すればよいと考えられる。
[0097] これを踏まえて、この実施例 1においては、現在再生 (視聴）中の部分の直前のハイ ライトシーンをリプレイしたい場合にはリプレイ専用キー 403を 1回操作し、少し前の ノ、イライトシーンをリプレイしたい場合にはリプレイ専用キー 403を複数回操作するこ とで、ユーザの任意の位置力 リブレイ開始位置を検出できるようにした。以下に、上 述した図 7のステップ S703において実行される開始位置検出処理について説明す る。
[0098] (開始位置検出処理）
図 8は、この実施例 1にかかる開始位置検出処理を示すフローチャートである。図 8 に示すフローチャートにおいては、まず、リプレイ位置の変更指示があった力否かを 判断する（ステップ S801)。具体的に、ステップ S801においては、リプレイ専用キー 403が連続して操作されたか否かを判断することによって、リプレイ位置の変更指示 力 Sあったカゝ否かを判断する。リプレイ専用キー 403が連続して操作されたカゝ否かは、 フラグエリアにおけるフラグの有無力も判断する。なお、リプレイ位置の変更指示があ つた場合の処理につ!ヽては後述する。
[0099] ステップ S801において、リプレイ位置の変更指示がない場合 (ステップ S801 : No) にはステップ S804へ移行し、検出区間設定処理をおこなって、検出区間を設定する (ステップ S804)。具体的には、リプレイ位置の変更指示がない場合のステップ S80 4においては、現在の再生位置 T力も 120秒遡った位置に開始位置 sを設定し、現 在の再生位置 Tから 1秒遡った位置に終了位置 eを設定する。このため、検出区間 の長さは、 119秒（120秒 1秒）である。
[0100] 一方、ステップ S801において、リプレイ位置の変更指示がある場合 (ステップ S801 ： Yes)には、リングバッファ 500を参照して、連続操作回数を取得し (ステップ S802) 、取得された連続操作回数を用いて、検出区間の開始位置 sを算出する (ステップ S8 03)。ステップ S803においては、連続操作回数に応じて、検出区間の開始位置 sを 、現在の再生位置 T力も 120秒よりもさらに遡った位置に設定する。
[0101] 具体的には、たとえば、連続操作回数が 2回である場合には、検出区間の開始位 置 sを現在の再生位置 Tカゝら 240 (120秒 X 2回)秒遡った位置に設定し、連続操作 回数が 3回である場合には、検出区間の開始位置 sを現在の再生位置 T力も 360 (1 20秒 X 3回)秒遡った位置に設定する。なお、この実施例 1では、リプレイ専用キー 4 03の操作回数に応じて 120秒ずつ遡った位置に検出区間の開始位置 sを設定する ようにした力 遡る時間は 120秒に限るものではな 、。
[0102] そして、リプレイ位置の変更指示があった場合のステップ S804においては、ステツ プ S803において算出された開始位置 sを設定するとともに、およびこの開始位置 sか ら 119秒経過した位置を終了位置 eとして設定する。
[0103] つぎに、ステップ S804において設定された検出区間におけるコンテンツの特徴量 を、 HDD313から読み出し (ステップ S805)、読み出された特徴量に基づいてリプレ ィ開始位置を検出する（ステップ S806)。ステップ S806においては、具体的には、た とえば、設定された検出区間において、特徴量が所定閾値以上となる位置をリプレイ 開始位置として検出する。リプレイ開始位置の検出に用いる所定閾値は、たとえば、 記録再生装置の製造時などに任意に設定することが可能である。また、所定閾値は 、段階別に複数設定することも可能である。
[0104] なお、ハイライト検出区間内に、特徴量が所定閾値以上変化する部分が検出され ない場合、たとえば、ハイライト検出区間内において特徴量の変化が最も大きい部分 をリプレイ開始位置として検出してもよい。そして、検出されたリプレイ開始位置 Tを
hs
、リプレイ位置管理テーブルに設定する (ステップ S807)。
[0105] (終了位置検出処理）
つぎに、終了位置検出処理について説明する。図 9は、この実施例 1にかかる終了 位置検出処理を示すフローチャートである。図 9に示すフローチャートにおいては、ま ず、リプレイ開始位置以降の特徴量を、 HDD313から読み出し (ステップ S901)、読 み出された特徴量に基づいてリプレイ終了位置 T を検出し (ステップ S902)、検出さ
he
れたリプレイ終了位置 T を、リプレイ位置管理テーブルに設定する（ステップ S903)
he
[0106] ステップ S902においては、具体的には、たとえば、リプレイ開始位置 T以降のコン
hs
テンッにおいて、特徴量が、上述したリプレイ開始位置の検出に用いる所定閾値とは 異なるあらたな所定閾値未満となる位置を検出する。あらたな所定閾値は、上述した リプレイ開始位置の検出に用いる所定閾値とは別に、たとえば、記録再生装置の製 造時などに任意に設定することが可能である。リプレイ開始位置の検出に用いる所定 閾値が段階別に複数設定されている場合、各段階に応じてあらたな所定閾値も複数 段階に設定されてもよい。
[0107] この実施例 1においては、図 8のステップ S807において設定されたリプレイ開始位 置 Tから、ステップ S903において設定されたリプレイ終了位置 Tまでのコンテンツ hs he
力 sハイライトシーンとなる。なお、リプレイ開始位置の検出に用いる所定閾値やあらた な所定閾値が段階別に複数設定されている場合など、リプレイ開始位置およびリプレ ィ終了位置の検出条件によっては、複数のハイライトシーンが重複することもある。
[0108] 図 8に示す開始位置検出処理によってリプレイ開始位置 Tが設定されてから、終 了位置検出処理によってリプレイ終了位置 T が設定されるまでの間、リプレイ位置管
he
理テーブルにおける終了位置 T には— 1が設定される (T =— 1)。すなわち、図 9
he he
に示す処理は、終了位置 T = 1である場合に実行される。
he
[0109] なお、この実施例 1においては、リプレイ専用キー 403が連続して操作された回数 に応じて、検出範囲を設定するようにした力 これに限るものではない。たとえば、リブ レイ専用キー 403が連続して操作された回数に代えて、リプレイ専用キー 403を長押 しするなど、リプレイ専用キー 403が継続して操作された時間 (継続操作時間）に応じ て、検出範囲を設定してもよい。
[0110] 特に図示しないが、この場合、具体的には、たとえば、リプレイ専用キー 403の長押 しが開始された時間およびリプレイ専用キー 403を離した時間を記憶するバッファを 設け、このバッファを参照して、継続操作時間を取得し、取得された継続操作時間に 120秒などの時間を乗算することによって検出区間を設定するようにしてもよい。
[0111] ところで、ユーザが、リプレイ専用キー 403を操作する動機としては、大別して、以 下の 2パターンが考えられる。一つ目は、前回検出されたハイライトシーンがユーザ の意に沿ったものではなぐリプレイ位置の修正を要求して、リプレイ専用キー 403を 操作する場合である。 2つ目は、ユーザが、前回検出されたハイライトシーンを再度 見たいと思ってリプレイ専用キー 403を操作する場合である。
[0112] このような状況を想定して、この実施例 1では、前回リプレイ専用キー 403を操作し た時刻から、今回リプレイ専用キー 403を操作した時刻までの経過時間によって、リ プレイ専用キー 403を操作した時点においてユーザが希望するリプレイ動作をおこな うことができる。この場合、具体的には、以下の検出区間設定処理を実行する。
[0113] (検出区間設定処理）
図 10は、この実施例 1にかかる検出区間設定処理を示すフローチャートである。図 10に示すフローチャートにおいては、まず、前回リプレイ専用キー 403を操作した時 刻 Tb— bakから、今回リプレイ専用キー 403を操作した時刻 Tbまでの経過時間 div を取得する（ステップ S1001)。ステップ S1001においては、具体的に、 divは、 div= Tb— Tb_bakによって算出される。
[0114] つぎに、ステップ S1001において取得された経過時間 divが 10秒未満である（経過 時間 divく 10秒）か否かを判断し (ステップ S 1002)、経過時間 divが 10秒未満であ る場合 (ステップ S 1002 : Yes)には、前回設定した検出区間とは異なる方法で検出 区間を設定する (ステップ S 1003)。
[0115] すなわち、経過時間 divが 10秒未満である場合、ユーザは直前にリプレイされたハ イライトシーンには満足せず、再度リプレイ専用キー 403を操作したと想定できるため 、リプレイ位置を修正する必要があると考えられる。この場合、検出区間の開始位置 s は、前回設定された検出区間の開始位置 sよりも、より遡った位置に設定する。具体 的には、ステップ S1003においては、検出区間の開始位置 s=T — 180秒、終了位
hs
置 e =T — 30秒に設定する。
hs
[0116] 一方、ステップ S 1001にお!/、て取得された経過時間 divが 10秒未満ではな!/、場合
(ステップ S1002 : No)には、経過時間 divが 10秒以上かつ 120秒未満（10秒≤経 過時間 divく 120秒）であるか否かを判断し (ステップ S 1004)、経過時間 divが 10秒 以上かつ 120秒未満である場合 (ステップ S 1004 : Yes)には、一連の処理を終了す る。
[0117] すなわち、 10秒以上かつ 120秒未満という経過時間 divは、ハイライトシーンを 1回 楽しむ程度の時間であると考えられ、ユーザは前回検出されたハイライトシーンを再 度見たいと思っていると想定できるため、同じシーンをリプレイすればよいと考えられ る。格別な図示を省略する力 具体的には、経過時間 divが 10秒以上かつ 120秒未 満である場合には、検出区間の開始位置 sおよび終了位置 eをともに 0に設定する（ 開始位置 s =終了位置 e = 0)。この場合、検出区間が 0となるため、新たなハイライト シーンの検出はおこなわれず、前回と同じハイライトシーンが再生される。
[0118] これに対し、ステップ S 1004において経過時間 divが 10秒以上かつ 120秒未満で はない場合 (ステップ S 1004 : No)には、経過時間 divが 120秒以上であると判断し て、前回設定した検出区間と同じ方法で検出区間を設定する (ステップ S1005)。す なわち、経過時間が 120秒以上の場合、新規のリプレイ要求と捉えるのが自然である と考えられるため、この場合は通常のリプレイ動作を行う。
[0119] なお、上述した実施例 1においては、経過時間 divに応じて検出区間を設定するよ うにしたが、これに限るものではない。たとえば、検出区間を設定するための専用のキ 一を設け、この専用のキーが操作されたことをもって、検出区間を設定するようにして もよい。また、検出区間は、リプレイ専用キー 403を操作した時刻から過去方向に限 らず、リプレイ専用キーを操作した時刻から未来方向において設定してもよい。
[0120] この実施例 1においては、以下の方法によって検出区間を設定することもできる。具 体的には、たとえば、図 4に示したリモコン 323における再生関連キー群 402を、検 出区間を設定するための専用のキーとして用いる。この場合、再生関連キー群 402 力 検出区間を設定するための専用のキーとなるのは、コンテンツの視聴時に操作さ れた場合に限る。
[0121] 具体的な操作例としては、たとえば、チヤプタ後スキップキー（図 4中、リプレイ専用 キーの左隣)を、リプレイ専用キー 403を操作した時刻から未来方向におけるリプレイ 位置の修正指示に用い、チヤプタ前スキップキー（図 4中、チヤプタ後スキップキーの 左隣)を、リプレイ専用キー 403を操作した時刻から過去方向におけるリプレイ位置の 修正指示に用いる。以下、リプレイ位置を過去あるいは未来方向に検索する機能を、 ハイライトスキャンという。
[0122] なお、経過時間 divおよびリプレイ専用キー 403の操作回数の組み合わせに応じて 、リプレイ専用キー 403のみを用いて検出区間を設定してもよい。具体的には、たと えば、経過時間 divが 10秒以上で操作回数が 1回ならば過去方向にぉ 、て検出区 間を設定し、経過時間が 10秒未満で操作回数が 2回ならば未来方向において検出 区間を設定する。この方法によれば、リプレイ専用キー 403のみを使用して、検出位 置を設定することができる。
[0123] なお、ハイライトスキャンに使用するキーはこれらに限らず、たとえば、メニュー選択 キー群 401にお!/、てカーソルを左右に動かすためのキーでもよ!/、し、それ以外の任 意のキーを用いてもよい。要はユーザにとって、直感的に解り易いキーを使用すれば よい。
[0124] 以上説明したように、この実施例 1によれば、ユーザは、リプレイを希望するタイミン グで、リプレイ専用キー 403を操作するだけで、リプレイ専用キー 403の操作時刻に 応じたノ、イライトシーンをリプレイすることができる。これによつて、ハイライトシーンのリ プレイに際しての操作の簡易化およびリプレイ開始位置の最適化を図ることができる 。また、この実施例 1によれば、ユーザが意図する任意のタイミングで、リプレイをおこ なうことができる。
[0125] また、この実施例 1によれば、コンテンツの特徴量を記録しておくことで、たとえば、 ハイライトシーンの検出範囲を調整したり、検出精度 (レベル)を調整したり、検出精 度と検出に際しての処理時間とのトレードオフを設定したり、などのように、以降のリブ レイに際しての多彩な動作を実現することができる。具体的には、たとえば、特徴量 の大小に応じて、特徴量が所定以上のハイライトシーンのみを検出するように検出精 度 (レベル)を調整することができる。
[0126] 他に、具体的には、たとえば、コンテンツを録画後に視聴する場合であれば、特徴 量がすでに抽出されているので、ノ、イライトシーンのみを選別して再生したり、特徴量 の大小に応じてハイライトシーンを選別し、あら力じめ設定された時間内でのダイジェ スト再生をおこなったりすることもできる。
[0127] さらに、この実施例 1によれば、リプレイ専用キー 403の連続操作回数に応じて、検 出区間を設定するようにしたので、検出区間の設定に際しての自由度を向上させ、 簡易な操作で、ユーザが意図するタイミングに柔軟に対応し、ユーザの要求により近 付けたノヽイライトシーンをリプレイすることができる。同様に、リプレイ専用キー 403の 継続操作時間に応じて、検出区間の開始位置 sを設定する場合にも、簡易な操作で 、ユーザの要求に柔軟に対応したノヽイライトシーンをリプレイすることができる。
実施例 2
[0128] つぎに、上述した実施の形態に力かる記録再生装置の実施例 2について説明する 。なお、上述した実施例 1と同一部分は同一符号で示し、説明も省略する。
[0129] (記録再生装置のハードウェア構成）
図 11は、この実施例 2にかかる記録再生装置のハードウェア構成を示すブロック図 である。図 11に示す記録再生装置は、図 3に示した記録再生装置と比較して、ハイラ イト検出部の位置および機能が異なっている。
[0130] ノ、イライト検出部 1101は、特徴量抽出部 309によって抽出された特徴量を用いて 、映像コンテンツからハイライトシーンを検出するとともに、検出されたハイライトシ一 ンの重要度を算出する。具体的には、たとえば、 100を最高重要度、 0を最低重要度 として、 100から 0までの間の整数値で重要度をあらわす。なお、重要度のあらわし方 は、これに限定するものではない。また、上述した実施例 1と同様に、この実施例 2に お!ヽてもハイライト検出の具体的な手法は特に限定はしな 、。
[0131] つぎに、この実施例 2にかかる記録再生装置が備えるデータベースおよびこのデー タベースに記憶される情報について説明する。図 12は、この実施例 2にかかる記録 再生装置が備えるデータベースを示す説明図である。データベース 1200は、たとえ ば、 HDD313などに設けられる。
[0132] 図 12に示すように、データベース 1200には、 HD情報 1201、開始位置情報 1202 、終了位置情報 1203、および重要度情報 1204が記憶される。開始位置情報 1202 は、ハイライト検出部 1101によって検出されたハイライトシーンの開始位置を示す情 報である。終了位置情報 1203は、ハイライト検出部 1101によって検出されたハイラ イトシーンの終了位置を示す情報である。重要度情報 1204は、開始位置および終 了位置によって特定されるノ、イライトシーンにおける重要度を示す情報である。 HD情 報 1201は、各ハイライトシーンを識別する情報である。
[0133] なお、 ID=4のハイライトシーンの終了位置が OOhOOmOOsOOfとなっている力 こ れは ID=4のハイライトシーンが現在テレビ放送中であり、 ID=4のハイライトシーン の終了位置が、未確定であることを示している。このように、終了位置が未確定である ハイライトシーンの重要度は、終了位置が確定するまでの間、ハイライト開始位置に おける特徴量に基づいて算出された、仮の重要度が設定される。
[0134] 仮の重要度が設定されたハイライトシーンに関しては、テレビ放送が進行し、当該 ハイライトシーンの終了位置が確定した時点で、確定した正 U、終了位置が設定され る。また、正しい終了位置の設定にともない、当該ハイライトシーン全体の特徴量に 基づいて、あらためて重要度が算出される。この算出結果に基づいて、設定されてい た仮の重要度は、必要に応じて更新される。
[0135] つぎに、記録再生装置が実行する処理の手順にっ 、て説明する。なお、ここでは、 実施例 1と同様の処理の手順については図示および説明は省略し、この実施例 2を 特徴付ける処理の手順にっ 、て説明する。
[0136] (記録処理の手順） まず、記録処理について説明する。図 13は、この実施例 2にかかる記録処理の手 順を示すフローチャートである。図 13に示すフローチャートは、まず、録画開始タイミ ングの到来を待って (ステップ S 1301： No)、録画開始タイミングが到来した場合 (ス テツプ S1301： Yes)には、視聴を開始したコンテンツを録画する（ステップ S1302)と とも〖こ、当該コンテンツの特徴量を抽出する (ステップ S1303)。
[0137] つぎに、ステップ S1303において抽出された特徴量に基づいて、ハイライトシーン 検出処理を実行する（ステップ S1304)。ステップ S1304においては、ステップ S130 3において抽出された特徴量に基づいて、ハイライトシーンの開始位置および終了位 置を検出することによってハイライトシーンを検出する。ノ、イライトシーンの開始位置 は、上述した図 8の開始位置検出処理と同様の処理をおこなうことで検出することが できる。ハイライトシーンの終了位置は、上述した図 9の終了位置検出処理と同様の 処理をおこなうことで検出することができる。
[0138] そして、 S1304において検出されたノヽイライトシーンの重要度を算出する (ステップ S1305)とともに、算出された重要度およびその位置を HDD313におけるデータべ ース 1200【こ記録する（ステップ S1306)。ステップ S1305【こお!ヽて ίま、ステップ S13 03において抽出された特徴量に基づいて、ハイライトシーンごとに重要度を算出す る。
[0139] ノ、イライトシーンが重複する場合、重要度は、リプレイ開始位置の検出に用いる所 定閾値ゃリプレイ終了位置の検出に用いるあらたな所定閾値に設定された段階に応 じて、検出条件として高い段階が設定されたハイライトシーンほど高くなるように算出 される。また、重要度は、たとえば、ハイライトシーンにおける音声の大きさや長さなど に基づいて、ハイライトシーン全体の特徴量に基づいて算出される。なお、重要度の 位置は、特徴量と同様に、番組開始位置を 0とした相対時間（単位:秒)で示す。なお 、重要度の位置は、フレームあるいは絶対時間を単位としてもよい。
[0140] そして、録画終了タイミングが到来したか否かを判断し (ステップ S 1307)、録画終 了タイミングが到来して 、な 、と判断した場合 (ステップ S 1307： No)にはステップ SI 302に戻り、録画終了タイミングが到来したと判断した場合 (ステップ S 1307 : Yes)に は一連の処理を終了する。 [0141] (リプレイ処理の手順）
つぎに、リプレイ処理について説明する。図 14は、この実施例 2にかかるリプレイ処 理の手順を示すフローチャートである。図 14に示すリプレイ処理は、視聴モードが「 通常視聴モード」に設定されている場合に実行される。図 14に示すフローチャートに おいては、まず、リプレイ指示を待って (ステップ S 1401 : No)、リプレイ指示があった 場合 (ステップ S1401： Yes)には、リプレイモードを設定する（ステップ S1402)。
[0142] つづ 、て、後述するハイライト選択処理を実行し (ステップ S 1403)、選択されたノヽ イライトシーンの開始位置から映像コンテンツをリプレイする (ステップ S1404)。具体 的に、ステップ S1403においては、リプレイ専用キーが操作された時刻から所定時 間前までの間（以下、「検出区間」という）のコンテンツにおいて、最も重要度が高いシ ーンをハイライトシーンとして検出する。
[0143] そして、リプレイ終了位置までリプレイするまでは (ステップ S 1405： No)、ステップ S 1404に戻り、リプレイ終了位置までリプレイした場合 (ステップ S 1405 : Yes)には、検 出されたノ、イライトシーンをリプレイしている間に、リモコン 323におけるユーザの操作 があったか否かを判断する（ステップ S1406)。ここで、ステップ S1406においては、 リプレイ開始位置カもリプレイ終了位置までリプレイする間のいずれかのタイミングで ユーザの操作があった力否かを判断する。
[0144] ステップ S1406において、ステップ S1403において検出されたハイライトシーンを 再生している間に、リモコン 323におけるユーザの操作があつたと判断した場合 (ステ ップ S1406 :Yes)には、当該操作がリプレイ継続指示であったカゝ否かを判断する (ス テツプ S 1407)。
[0145] リプレイ継続指示であった場合 (ステップ S 1407 : Yes)には、ステップ S1404へ戻 る。リプレイ継続指示ではない場合 (ステップ S 1407 : No)には、操作に応じた処理を 実行し (ステップ S 1408)、一連の処理を終了する。
[0146] 一方、ステップ S1406において、ステップ S1403において検出されたハイライトシ ーンを再生している間に、リモコン 323におけるユーザの操作がないと判断した場合 (ステップ S 1406 : No)には、視聴モードを通常視聴モードに設定し (ステップ S 140 9)、通常視聴を再開する（ステップ S1410)。 [0147] この実施例 2においては、上述したように、リプレイ開始位置およびリプレイ終了位 置を検出し、リプレイ開始位置からリプレイ終了位置までをハイライトシーンとする方 法に加えて、以下に説明する方法を用いて、ハイライトシーンを検出することもできる 。以下に説明する方法を用いてハイライトシーンを検出する場合、前提として、リプレ ィ位置を変更したいユーザ力 変更内容に応じて、リプレイ専用キーを 1回または 2回 操作するものとする。具体的には、直前のハイライトを優先的にリプレイしたい場合に は 1回、少し前のハイライトを検出したい場合には 2回操作する。
[0148] (ハイライト選択処理）
図 15は、この実施例 2にかかるハイライト選択処理を示すフローチャートである。図 15に示すフローチャートにおいては、まず、検出区間を設定する (ステップ S1501) とともに、リプレイ専用キーの操作回数が 1回であったカゝ否かを判断する (ステップ S1 502)。ステップ S1501においては、たとえば、図 8のステップ S804あるいは図 10の 検出区間設定処理と同様にして検出区間を設定する。
[0149] ステップ S1502において、リプレイ専用キーの操作回数が 1回であった場合 (ステツ プ S1502 :Yes)には重要度 IP を算出し (ステップ S1503)、リプレイ専用キーの操 作回数が 2回であった場合 (ステップ S1502 :No)には重要度 IP を算出する (ステツ プ SI 504)。
[0150] ここで、重要度 IP および IP の算出方法について説明する。まず、重要度 IP は、 下記の（1)式によって算出される。
[0151] [数 1] ( は定数） … （つ
Figure imgf000033_0001
[0152] ここで、 T =現在時刻、 T =ハイライト区間開始時間、 IP=ハイライト区間重要度 である。（1)式においては、 T =T の時に最大値 IP =IPをとり、 Tと T の時間差が 大きくなるにつれ、 IP の値が減少する。すなわち、リプレイ専用キーの操作時刻に 直近するハイライトシーンが優先的に検出される。
[0153] また、重要度 IP は、下記の（2)式によって算出される。
[0154] [数 2] i - ( は定数) -(2)
I + Tc -
[0155] (2)式においては、 T =T の時に最小値 IP =0をとり、 Tと T の時間差が大きく c hs wl c hs
なるにつれ、 IP の値が増加する。すなわち、リプレイ専用キーの操作時刻に対する wl
時間差が大きいハイライトシーンが優先的に検出される。
[0156] そして、算出された重要度 IP または IP を用いて、ステップ S1501において設定 w0 wl
された検出区間にお！/、て最も重要度が高 、ハイライトシーンを選択する (ステップ S 1 505)。
[0157] 以上説明したようにこの実施例 2によれば、各ハイライトシーンの重要度を算出する ことで、上述した実施例 1における効果にカ卩えて、もっともハイライトシーンとして相応 しい部分をリプレイすることができる。すなわち、ノ、イライトシーンのリプレイに際しての 操作の簡易化を図るとともに、リプレイ開始位置のより一層の最適化を図ることができ る。また、この実施例 2によれば、ハイライトシーンごとの重要度を記録しておくことで 、特徴量を記録する場合と比較して、記録する情報量を少なくすることができる。
[0158] また、たとえば、コンテンツのダイジェストをリプレイする場合、重要度に応じて、検 出するハイライトシーンを抽出してもよい。具体的には、たとえば、リプレイ時間をユー ザに設定させ、設定されたリプレイ時間内でリブレイが完了するように、ダイジェストと して検出するハイライトシーンを抽出する。この場合、設定されたリプレイ時間が長け ればより多くのノ、イライトシーンをリプレイすることができ、設定されたリプレイ時間が 短ければより重要度の高いハイライトシーンのみを抽出する。
[0159] さらに、この実施例 2によれば、前回リプレイ専用キー 403を操作してからの経過時 間に応じた重要度を算出し、この重要度にしたがって、リプレイするハイライトシーン を検出するようにしたので、ユーザの要求をより詳細に予測し、予測に応じて最適なリ プレイすることができる。
[0160] なお、この実施の形態で説明したコンテンツリプレイ方法およびコンテンツ再生方 法は、予め用意されたプログラムをパーソナル 'コンピュータやワークステーション等 のコンピュータで実行することにより実現することができる。このプログラムは、ハード ディスク、フレキシブルディスク、 CD— ROM、 MO、 DVD等のコンピュータで読み取 り可能な記録媒体に記録され、コンピュータによって記録媒体力 読み出されること によって実行される。またこのプログラムは、インターネット等のネットワークを介して配 布することが可能な伝送媒体であってもよ 、。

Claims

請求の範囲
[1] 再生対象となるコンテンツを取得する取得手段と、
前記取得手段によって取得されたコンテンッの特徴量を抽出する特徴量抽出手段 と、
リプレイ指示が入力された場合に、前記コンテンツにおいて、前記特徴量抽出手段 によって抽出された特徴量が所定閾値以上となる特定部分開始位置のうち前記リブ レイ指示の入力タイミングに直近する特定部分開始位置を検出する検出手段と、 前記検出手段によって検出された特定部分開始位置以降の前記コンテンツを出力 する出力手段と、
を備えることを特徴とするコンテンツリプレイ装置。
[2] 再生対象となるコンテンツを取得する取得手段と、
前記取得手段によって取得されたコンテンッの特徴量を抽出する特徴量抽出手段 と、
リプレイ指示が入力された場合に、前記リブレイ指示の入力タイミング力 所定時間 前までの間（以下、「検出区間」という）の前記コンテンツにおいて、前記特徴量抽出 手段によって抽出された特徴量が所定閾値以上となる特定部分開始位置を検出す る検出手段と、
前記検出手段によって検出された特定部分開始位置以降の前記コンテンツを出力 する出力手段と、
を備えることを特徴とするコンテンツリプレイ装置。
[3] 前記検出手段は、
前記特定部分開始位置以降の前記コンテンツにおいて、前記特徴量が前記所定 閾値とは異なるあらたな所定閾値未満となる特定部分終了位置を検出し、
前記出力手段は、
前記終了位置検出手段によって検出された特定部分終了位置までの前記コンテン ッを出力することを特徴とする請求項 2に記載のコンテンツリプレイ装置。
[4] 前記特徴量抽出手段によって抽出された特徴量に基づいて、前記特徴量の重要 度を当該特徴量毎に算出する重要度算出手段を備え、 前記検出手段は、
前記検出区間内において、前記重要度算出手段によって算出された重要度が最 も高い特定部分開始位置を検出することを特徴とする請求項 2に記載のコンテンツリ プレイ装置。
[5] 前記検出手段は、
前記入力タイミングに直近する前記特定部分開始位置を検出することを特徴とする 請求項 2に記載のコンテンッリプレイ装置。
[6] 前記検出手段は、
前記リブレイ指示の入力パターンに応じて、前記検出区間または当該検出区間の 長さを変更することを特徴とする請求項 2〜5のいずれか一つに記載のコンテンツリ プレイ装置。
[7] 再生対象となるコンテンツを取得する取得手段と、
前記取得手段によって取得されたコンテンツを読み取る読取手段と、
前記読取手段によって読み取られたコンテンッの特徴量を抽出する特徴量抽出手 段と、
リプレイ指示が入力された場合に、前記コンテンツにおいて、前記特徴量抽出手段 によって抽出された特徴量が所定閾値以上となる特定部分開始位置のうち前記リブ レイ指示の入力タイミングに直近する特定部分開始位置を検出する検出手段と、 前記読取手段によって読み取られたコンテンッを順次出力し、前記検出手段によ つて特定部分開始位置が検出された場合には検出された特定部分開始位置以降の 前記コンテンツを出力する出力手段と、
を備えることを特徴とするコンテンツ再生装置。
[8] 再生対象となるコンテンツを取得する取得工程と、
前記取得工程によって取得されたコンテンッの特徴量を抽出する特徴量抽出工程 と、
リプレイ指示が入力された場合に、前記コンテンツにおいて、前記特徴量抽出工程 によって抽出された特徴量が所定閾値以上となる特定部分開始位置のうち前記リブ レイ指示の入力タイミングに直近する特定部分開始位置を検出する検出工程と、 前記検出工程によって検出された特定部分開始位置以降の前記コンテンツを出力 する出力工程と、
を含んだ'ことを特徴とするコンテンツリプレイ方法。
[9] 再生対象となるコンテンツを取得する取得工程と、
前記取得工程によって取得されたコンテンッの特徴量を抽出する特徴量抽出工程 と、
リプレイ指示が入力された場合に、前記リブレイ指示の入力タイミング力 所定時間 前までの間（以下、「検出区間」という）の前記コンテンツにおいて、前記特徴量抽出 工程によって抽出された特徴量が所定閾値以上となる特定部分開始位置を検出す る検出工程と、
前記検出工程によって検出された特定部分開始位置以降の前記コンテンツを出力 する出力工程と、
を含んだ'ことを特徴とするコンテンツリプレイ方法。
[10] 再生対象となるコンテンツを取得する取得工程と、
前記取得工程によって取得されたコンテンツを読み取る読取工程と、
前記読取工程によって読み取られたコンテンッの特徴量を抽出する特徴量抽出ェ 程と、
リプレイ指示が入力された場合に、前記コンテンツにおいて、前記特徴量抽出工程 によって抽出された特徴量が所定閾値以上となる特定部分開始位置のうち前記リブ レイ指示の入力タイミングに直近する特定部分開始位置を検出する検出工程と、 前記読取工程によって読み取られたコンテンッを順次出力し、前記検出工程によ つて特定部分開始位置が検出された場合には検出された特定部分開始位置以降の 前記コンテンツを出力する出力工程と、
を含んだことを特徴とするコンテンツ再生方法。
[11] 請求項 8〜： LOのいずれか一つに記載の方法をコンピュータに実行させることを特 徴とするプログラム。
[12] 請求項 11に記載のプログラムを記録したことを特徴とする記録媒体。
PCT/JP2006/316420 2005-09-07 2006-08-22 コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒体 WO2007029489A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007534312A JPWO2007029489A1 (ja) 2005-09-07 2006-08-22 コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒体
US12/065,950 US20090154890A1 (en) 2005-09-07 2006-08-22 Content replay apparatus, content playback apparatus, content replay method, content playback method, program, and recording medium
EP06796634A EP1924092A4 (en) 2005-09-07 2006-08-22 Content replay device, content replay device, replay process, content replay process, program and replay medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005259898 2005-09-07
JP2005-259898 2005-09-07

Publications (1)

Publication Number Publication Date
WO2007029489A1 true WO2007029489A1 (ja) 2007-03-15

Family

ID=37835613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/316420 WO2007029489A1 (ja) 2005-09-07 2006-08-22 コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒体

Country Status (4)

Country Link
US (1) US20090154890A1 (ja)
EP (1) EP1924092A4 (ja)
JP (1) JPWO2007029489A1 (ja)
WO (1) WO2007029489A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009118461A (ja) * 2007-11-01 2009-05-28 Internatl Business Mach Corp <Ibm> ビデオ・ストリームに対するリアル・タイム新規イベント検出のシステムおよび方法
WO2010073366A1 (ja) * 2008-12-26 2010-07-01 富士通株式会社 出力装置、出力方法および出力プログラム
JP2012142754A (ja) * 2010-12-28 2012-07-26 Canon Inc コンテンツ再生装置及びコンテンツ再生方法
JP2014165877A (ja) * 2013-02-27 2014-09-08 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム
US9113028B2 (en) 2011-12-27 2015-08-18 Canon Kabushiki Kaisha Image processing apparatus capable of loop playback of video, method of controlling the same, and storage medium

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4282722B2 (ja) * 2007-01-31 2009-06-24 株式会社東芝 ストリーム記録装置
KR100935862B1 (ko) * 2007-07-06 2010-01-07 드리머 매체 재생 장치 기반 컨텐츠 제공 시스템
US20090183101A1 (en) * 2008-01-10 2009-07-16 International Business Machines Corporation Method, Apparatus and Program Storage Device for Providing a Gauge for Displaying Data that Includes Historical-Based Data
US9817829B2 (en) * 2008-10-28 2017-11-14 Adobe Systems Incorporated Systems and methods for prioritizing textual metadata
US20100194988A1 (en) * 2009-02-05 2010-08-05 Texas Instruments Incorporated Method and Apparatus for Enhancing Highlight Detection
US20120173970A1 (en) * 2011-01-04 2012-07-05 Daniel Richard Gremillion Automatic Translation of Visual Information Between a Handheld Calculator and a Computer System
US9363575B2 (en) * 2013-02-26 2016-06-07 Roku, Inc. Method and apparatus for viewing instant replay
JP6288476B2 (ja) * 2013-04-17 2018-03-07 パナソニックＩｐマネジメント株式会社 映像受信装置、及び、映像受信装置における情報表示制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320677A (ja) * 2000-03-13 2001-11-16 Lg Electronics Inc マルチメディアデータストリームの非線形的再生制御方法及びその装置
JP2003134415A (ja) 2001-10-30 2003-05-09 Toshiba Corp テレビジョン受像機及び表示方法
JP2003333463A (ja) 2002-05-17 2003-11-21 Canon Inc 再生装置、再生システム、再生方法、記憶媒体、及びプログラム
JP2005073294A (ja) * 2004-10-20 2005-03-17 Sony Corp 通信システム及び送信装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822493A (en) * 1994-11-17 1998-10-13 Matsushita Electric Industrial Co., Ltd. Real-time image recording/producing method and apparatus and video library system
US6154771A (en) * 1998-06-01 2000-11-28 Mediastra, Inc. Real-time receipt, decompression and play of compressed streaming video/hypervideo; with thumbnail display of past scenes and with replay, hyperlinking and/or recording permissively intiated retrospectively
JP4208434B2 (ja) * 2000-05-25 2009-01-14 富士通株式会社 放送受信機，放送制御方法，コンピュータ読み取り可能な記録媒体，及びコンピュータプログラム
US7013477B2 (en) * 2000-05-25 2006-03-14 Fujitsu Limited Broadcast receiver, broadcast control method, and computer readable recording medium
JP3886372B2 (ja) * 2001-12-13 2007-02-28 松下電器産業株式会社 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム
WO2004038694A1 (ja) * 2002-10-24 2004-05-06 National Institute Of Advanced Industrial Science And Technology 楽曲再生方法及び装置並びに音楽音響データ中のサビ区間検出方法
JP3891111B2 (ja) * 2002-12-12 2007-03-14 ソニー株式会社 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム
KR100831531B1 (ko) * 2004-01-14 2008-05-22 미쓰비시덴키 가부시키가이샤 기록 장치, 기록 방법, 기록 매체, 요약 재생 장치, 요약 재생 방법, 멀티미디어 요약 시스템 및 멀티미디어 요약 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320677A (ja) * 2000-03-13 2001-11-16 Lg Electronics Inc マルチメディアデータストリームの非線形的再生制御方法及びその装置
JP2003134415A (ja) 2001-10-30 2003-05-09 Toshiba Corp テレビジョン受像機及び表示方法
JP2003333463A (ja) 2002-05-17 2003-11-21 Canon Inc 再生装置、再生システム、再生方法、記憶媒体、及びプログラム
JP2005073294A (ja) * 2004-10-20 2005-03-17 Sony Corp 通信システム及び送信装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1924092A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009118461A (ja) * 2007-11-01 2009-05-28 Internatl Business Mach Corp <Ibm> ビデオ・ストリームに対するリアル・タイム新規イベント検出のシステムおよび方法
US9215479B2 (en) 2007-11-01 2015-12-15 International Business Machines Corporation System and method for real-time new event detection on video streams
WO2010073366A1 (ja) * 2008-12-26 2010-07-01 富士通株式会社 出力装置、出力方法および出力プログラム
JP2012142754A (ja) * 2010-12-28 2012-07-26 Canon Inc コンテンツ再生装置及びコンテンツ再生方法
US9113028B2 (en) 2011-12-27 2015-08-18 Canon Kabushiki Kaisha Image processing apparatus capable of loop playback of video, method of controlling the same, and storage medium
JP2014165877A (ja) * 2013-02-27 2014-09-08 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム

Also Published As

Publication number Publication date
US20090154890A1 (en) 2009-06-18
EP1924092A1 (en) 2008-05-21
JPWO2007029489A1 (ja) 2009-03-19
EP1924092A4 (en) 2013-02-27

Similar Documents

Publication Publication Date Title
WO2007029489A1 (ja) コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒体
JP4482829B2 (ja) 嗜好抽出装置、嗜好抽出方法及び嗜好抽出プログラム
US8260108B2 (en) Recording and reproduction apparatus and recording and reproduction method
JP3615195B2 (ja) コンテンツ記録再生装置およびコンテンツ編集方法
US20070239847A1 (en) Recording apparatus, reproducing apparatus, recording and reproducing apparatus, recording method, reproducing method, recording and reproducing method and recording medium
WO2007029479A1 (ja) 記録再生装置、記録再生方法、記録再生プログラムおよびコンピュータに読み取り可能な記録媒体
KR101255860B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 그 방법을 컴퓨터에 실행시키는 프로그램이 기록된 기록매체
JP2005210234A (ja) 映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラム
JP2007521736A (ja) 映像処理装置、映像処理装置の集積回路、映像処理方法、及び映像処理プログラム
KR20110097858A (ko) 프로그램 데이터 처리 장치, 프로그램 데이터 처리 방법, 및 프로그램을 기록한 컴퓨터 판독가능한 기록 매체
JP4735413B2 (ja) コンテンツ再生装置およびコンテンツ再生方法
JP2006303657A (ja) コマーシャル視聴制御機能を有する録画再生装置
JPWO2007000959A1 (ja) 同一シーン検出方法および装置およびプログラムを格納した記憶媒体
JP2006135808A (ja) 再生装置及びその方法
EP1610240A1 (en) Data processing device, method thereof, program thereof, and recording medium recording the program
JP2006303869A (ja) 特定条件区間検出装置および特定条件区間検出方法
JP5039020B2 (ja) 電子機器および映像コンテンツ情報表示方法
JP2001045395A (ja) 放送番組送受信システム、送信装置、放送番組送信方法、受信再生装置、放送番組再生方法、及び記録媒体
JP2007288300A (ja) 映像音声再生装置
JP5033653B2 (ja) 映像記録再生装置及び映像再生装置
JP4268925B2 (ja) 要約再生装置、要約再生方法、要約再生プログラムおよびそのプログラムが記録された情報記録媒体
JP2008205969A (ja) 記録装置、記録方法およびプログラム
JP4287243B2 (ja) 放送番組記録装置、放送番組再生装置、放送番組記録再生装置及び放送番組記録再生方法
JP2007013320A (ja) 映像記録装置、コンテンツ記録装置、コンテンツ検索制御方法、および、コンテンツ検索プログラム
JP2007048379A (ja) プログラムの再生方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006796634

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2007534312

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12065950

Country of ref document: US