WO2010109943A1 - サムネイル生成装置及びサムネイル生成方法 - Google Patents

サムネイル生成装置及びサムネイル生成方法 Download PDF

Info

Publication number
WO2010109943A1
WO2010109943A1 PCT/JP2010/051100 JP2010051100W WO2010109943A1 WO 2010109943 A1 WO2010109943 A1 WO 2010109943A1 JP 2010051100 W JP2010051100 W JP 2010051100W WO 2010109943 A1 WO2010109943 A1 WO 2010109943A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
thumbnail
face
area
unit
Prior art date
Application number
PCT/JP2010/051100
Other languages
English (en)
French (fr)
Inventor
加藤　大作
Original Assignee
日本ビクター株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本ビクター株式会社 filed Critical 日本ビクター株式会社
Priority to EP10755744.9A priority Critical patent/EP2413597B1/en
Priority to US13/259,685 priority patent/US8849093B2/en
Priority to CN201080013004.3A priority patent/CN102362491B/zh
Priority to KR1020117024660A priority patent/KR101296152B1/ko
Publication of WO2010109943A1 publication Critical patent/WO2010109943A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Definitions

  • the present invention relates to a thumbnail generation device and a thumbnail generation method for generating a moving image thumbnail for allowing a user to grasp the contents of a moving image played back by a playback device.
  • Still image thumbnails obtained by extracting and reducing any one of a plurality of frames or fields constituting the captured and recorded moving images are recorded for each recorded moving image or with a predetermined delimiter (A video camera having a still image thumbnail display function that is generated for each chapter) and displays the generated still image thumbnails as thumbnail list screens on a monitor liquid crystal panel provided in the main body is well known.
  • Patent Document 1 As a technique for making it easier for the user to grasp the content of an image corresponding to a still image thumbnail, for example, in Patent Document 1, a person's face is detected from a captured still image, and the detected person's face is detected.
  • an image processing apparatus that generates a still image thumbnail obtained by reducing a captured still image to a predetermined size.
  • Patent Document 1 makes it easier for the user to grasp the content of an image corresponding to a still image thumbnail as compared with a normal still image thumbnail display function, the displayed thumbnail is a still image. Therefore, when the image corresponding to the still image thumbnail is a moving image, the user may not be able to grasp the content of the moving image.
  • a still image thumbnail is focused (highlighted frame) by a user operation or the like on the thumbnail list screen
  • the still image thumbnail is displayed.
  • it has a motion thumbnail function for displaying a moving image thumbnail instead.
  • This motion thumbnail function reproduces a moving image of a predetermined period corresponding to the selected still image thumbnail, generates a moving image thumbnail in which the reproduced moving image is reduced to the same size as the still image thumbnail, and generates the generated moving image.
  • This is a function for displaying thumbnails in the corresponding still image thumbnail area on the still image thumbnail list screen. The user can easily grasp the contents of the moving image by viewing the moving image thumbnail displayed by the motion thumbnail function.
  • the motion thumbnail function is applied to the video camera, since the screen of the monitor liquid crystal panel provided in the main body is relatively small, the moving image thumbnail displayed on the thumbnail list screen also becomes small. Therefore, it is difficult for the user to grasp the content of the moving image thumbnail, that is, the content of the moving image corresponding to the moving image thumbnail.
  • the present invention has been made in view of the above problems, and an object of the present invention is to generate and display a moving image thumbnail that makes it easy for a user to grasp the content of a moving image recorded in a recording / playback device, and a thumbnail generation device It is to provide a thumbnail generation method.
  • a first feature of the thumbnail generating apparatus is that, within a first predetermined period of a moving image, the second predetermined period shorter than the first predetermined period, A moving image extraction unit that extracts each image constituting a moving image and a human face area included in each extracted image are integrated, and a face display area is determined so as to surround the integrated face area.
  • a second feature of the thumbnail generation apparatus is based on the number of consecutive images in which a human face region exists among the images extracted by the moving image extraction unit.
  • a thumbnail section determining unit that determines one or more of the first predetermined periods is further provided.
  • a third feature of the thumbnail generating apparatus is that the reduction / enlargement ratio calculation unit uses a value of the area of the face display area as a denominator and a value of a total area of the face area. If the ratio value obtained as a numerator is smaller than a predetermined threshold value, a facial region that is close to the center and has the largest area among the facial regions is used as a representative region, and the size of the representative region is the size of the display region. The reduction / enlargement ratio is calculated so as to be substantially the same.
  • a fourth feature of the thumbnail generating apparatus further includes a face feature information storage unit that stores face features that can uniquely identify a human face as face feature information.
  • the reduction / enlargement ratio calculation unit determines whether a facial feature existing in the facial region matches or approximates a facial feature indicated by facial feature information stored in the facial feature information storage unit. When it is determined that they match or approximate, the size of the face region corresponding to the matching or approximate facial feature is substantially the same as the size of the display region. The reduction / enlargement ratio is calculated.
  • a first feature of the thumbnail generation method is that, within a first predetermined period of a moving image, the second predetermined period shorter than the first predetermined period, A moving image extraction step for extracting each image constituting a moving image and a human face area included in each extracted image are integrated, and a face display area is determined so as to surround the integrated face area.
  • a reduction ratio calculating step for calculating a reduction / enlargement ratio of the moving image so that the determined size of the face display area is substantially the same as the size of a predetermined display area determined in advance for displaying thumbnails.
  • thumbnail generation device and thumbnail generation method of the present invention it is possible to generate and display a moving image thumbnail that makes it easy for the user to grasp the content of the moving image recorded in the recording / playback device.
  • FIG. 1 is a configuration diagram illustrating a configuration of a video camera that records an AV stream and stream management information to be supplied to a thumbnail generation apparatus that is Embodiment 1 of the present invention on a recording medium.
  • FIG. It is the block diagram which showed the structure of the thumbnail production apparatus which is Example 1 of this invention. It is the figure which showed an example of the screen which the user interface part with which the thumbnail production apparatus which is Example 1 of this invention is provided displays. It is the figure explaining the superimposition with the OSD screen and moving image reproduction
  • (A) is a figure explaining the order of superimposition of an OSD screen and a moving image reproduction screen
  • (b) is a figure which showed an example of each of an OSD screen and a moving image reproduction screen
  • (c) is an OSD. It is the figure which showed an example of the synthetic
  • 6 is a flowchart illustrating face detection processing in a face detection unit included in the video camera. It is the flowchart which showed the moving image extraction process in the thumbnail production
  • (A) shows a face detection area from time t1 to time t5 in a certain section
  • (b) is a diagram of a moving image when the face detection area shown in (a) is integrated
  • (C) is a diagram of a moving image when the face detection areas are dispersed in the moving image
  • (d) is a diagram of a moving image when the face detection regions are densely populated in the moving image. is there. It is the figure explaining calculation of the reduction rate of a moving image by the reduction rate calculation part with which the thumbnail production apparatus which is Example 1 of this invention is provided.
  • (A) shows an example of a moving image to be reduced
  • (b) shows an example of an OSD screen.
  • Embodiment 1 of the present invention a video camera having a face detection unit for detecting a human face based on a captured moving image, an AV stream generated by the video camera and recorded on a recording medium, and stream management information
  • a thumbnail generation apparatus that generates a moving image thumbnail will be described as an example.
  • FIG. 1 is a configuration diagram showing a configuration of a video camera that generates an AV stream and stream management information for use in the thumbnail generation apparatus according to the first embodiment of the present invention and records the information on a recording medium.
  • the video camera 101 includes an optical lens 111, an image sensor 112, a signal processor 113, and an H.264 video camera.
  • H.264 encoder 114 multiplexer 115, face detector 116, adder 117, microphone 121, A / D converter 122, AC3 encoder 123, and CPU 131.
  • the optical lens 111 condenses incident light with the axis P as the optical axis.
  • the image sensor 112 forms an image of the light collected by the optical lens 111 and converts the formed subject image into an electrical signal.
  • the signal processing unit 113 generates a video signal based on the electrical signal converted by the image sensor 112 according to an instruction from the CPU 131.
  • the H.264 encoder 114 generates a video stream and GOP (Group of picture) information based on the video signal generated by the signal processing unit 113 according to an instruction from the CPU 131.
  • GOP Group of picture
  • the A / D converter 122 converts the sound collected by the microphone 121 from analog data to digital data in accordance with an instruction from the CPU 131.
  • the AC3 encoder 123 generates an audio stream and audio information by encoding the digital data converted by the A / D converter 122 according to an instruction from the CPU 131.
  • Multiplexer 115 is instructed by CPU 131 according to instructions from H.131.
  • the video stream encoded by the H.264 encoder 114 and the audio stream encoded by the AC3 encoder 123 are multiplexed to generate an AV stream compliant with the AVCHD standard, and the generated AV stream is recorded on the recording medium A. .
  • the face detection unit 116 performs face detection based on the video signal generated by the signal processing unit 113 according to an instruction from the CPU 131. Specifically, the face detection unit 116 samples a moving image at a predetermined face detection time interval based on the video signal, detects a human face from the sampled moving image, and supplies the detected face to the adder 117 as face detection information. Supply.
  • the face detection process can be realized for each frame by using a device or algorithm capable of performing the process at high speed.
  • the data size of the face detection information is unnecessarily large for each frame. Therefore, the face detection time is preferably set to about 0.5 seconds, for example.
  • the face detection information includes the number of face detection areas in which face detection has been performed (0 to 4, 0 indicates no face detection), and the upper left of the moving image for each face detection area in which face detection has been performed. In this case, the upper left coordinates (X, Y) of the face detection area where the face is detected and the size (width and height) of the face detection area where the face is detected are included.
  • a moving image is composed of frames or fields that are continuous still images, and the present invention can be applied to any of them, but hereinafter, for convenience of explanation, a still image is referred to as a frame.
  • the face detection unit 116 calculates the reliability of the detected face of the person, that is, the degree of reliability indicating the person's face, and the reliability is equal to or higher than a predetermined reliability threshold. It is determined whether or not.
  • the adder 117 is operated according to the instruction from the CPU 131.
  • the stream management information including the GOP information supplied from the H.264 encoder 114, the audio information supplied from the AC3 encoder 123, and the face detection information supplied from the face detection unit 116 is generated, and the stream management information is recorded on the recording medium. Record in A.
  • the CPU 131 performs central control of the video camera 101. Specifically, the CPU 131 includes the above-described image sensor 112, the signal processing unit 113, H.264, and the like.
  • the H.264 encoder 114, the multiplexer 115, the face detection unit 116, the adder 117, the A / D conversion unit 122, and the AC3 encoder 123 are controlled.
  • FIG. 2 is a configuration diagram illustrating the configuration of the thumbnail generation apparatus according to the first embodiment of the present invention.
  • the thumbnail generating apparatus 1 includes a demultiplexer 11, an AC3 decoder 12, a speaker 13, and an H.264. It includes an H.264 decoder 14, a reduction / enlargement unit 15, an adder 16, a user interface unit 17, an OSD generation unit 18, a CPU 20, and a moving image thumbnail time storage unit 19.
  • the demultiplexer 11 reads an AV stream recorded on the recording medium A according to an instruction from the CPU 20, and generates a video stream and an audio stream by demultiplexing the read AV stream.
  • the AC3 decoder 12 decodes the audio stream supplied from the demultiplexer 11 according to an instruction from the CPU 20 to generate reproduced audio data and outputs the audio from the speaker 13.
  • the H.264 decoder 14 generates playback moving image data by decoding the video stream supplied from the demultiplexer 11 according to an instruction from the CPU 20, and supplies the generated playback moving image data to the reduction / enlargement unit 15.
  • the reduction / enlargement unit 15 is instructed by the CPU 20 to execute
  • the reproduced moving image data supplied from the H.264 decoder 14 is reduced or enlarged, thereby generating reduced or enlarged reproduced moving image data for display as a moving image thumbnail.
  • the CPU 20 performs central control of the thumbnail generation device 1. Specifically, the CPU 20 includes the demultiplexer 11, the AC3 decoder 12, the speaker 13, and the H.264. The H.264 decoder 14, the reduction / enlargement unit 15, the adder 16, the user interface unit 17, and the OSD generation unit 18 are controlled. Further, the CPU 20 supplies the stream management information read from the recording medium A to the OSD generation unit 18.
  • the OSD generation unit 18 generates OSD image data for displaying an OSD screen based on the supplied stream management information, and supplies the OSD image data to the adder 16 according to the instruction of the CPU 20.
  • the adder 16 superimposes the composite image data by superimposing the OSD image data supplied from the OSD generation unit 18 on the reduced or enlarged reproduction moving image data supplied from the reduction / enlargement unit 15 according to an instruction from the CPU 20.
  • the generated composite image data is displayed on the user interface unit 17.
  • the user interface unit 17 includes an image display unit composed of an organic EL (electroluminescence) display, a liquid crystal display, or the like. Then, the user interface unit 17 displays a composite screen on the image display unit based on the composite image data supplied from the adder 17 in accordance with an instruction from the CPU 20.
  • an image display unit composed of an organic EL (electroluminescence) display, a liquid crystal display, or the like. Then, the user interface unit 17 displays a composite screen on the image display unit based on the composite image data supplied from the adder 17 in accordance with an instruction from the CPU 20.
  • the user interface unit 17 also includes operation units such as operation buttons and sliders configured by touch sensors or the like. Then, when the operation button or slider is operated by the user, the user interface unit 17 generates an operation signal corresponding to the operation, and supplies the generated operation signal to the CPU 20.
  • operation units such as operation buttons and sliders configured by touch sensors or the like. Then, when the operation button or slider is operated by the user, the user interface unit 17 generates an operation signal corresponding to the operation, and supplies the generated operation signal to the CPU 20.
  • the moving image thumbnail time storage unit 19 stores the reproduction time of the moving image and the reproduction time of the moving image thumbnail corresponding to the reproduction time in association with each other. This association will be described later.
  • FIG. 3 is a diagram illustrating an example of an appearance of the user interface unit 17 included in the thumbnail generation apparatus 1 according to the first embodiment of the present invention and a screen displayed on the image display unit of the user interface unit 17.
  • the user interface unit 17 includes an image display unit 17g, operation buttons 17b, and a slider 17c.
  • an OSD screen including a still image thumbnail generated based on the OSD image data and a moving image thumbnail generated based on the playback moving image data reduced or enlarged by the reduction / enlargement unit 15 are superimposed. And displayed as a composite screen.
  • thumbnail display area 17d On the OSD screen displayed on the image display unit 17g, a thumbnail display area 17d, an operation guide display area 17e, and a page display area 17f are displayed as divided areas.
  • thumbnail display area 17d still image thumbnails and moving image thumbnails are displayed. This display method will be described later.
  • an icon or the like for indicating the function assigned to the operation button 17b to the user is displayed.
  • a page of the still image thumbnail list currently displayed in the thumbnail display area 17d is displayed. For example, when 8/9 is displayed, it indicates that there are 9 pages in total and the current 8th page is displayed.
  • buttons 17b are arranged. Of the five arranged operation buttons, the leftmost operation button generates an operation signal for requesting confirmation of selection of a moving image thumbnail, and the rightmost operation button generates an operation signal for requesting menu display. It is a menu button to do. In addition, no fixed function is assigned to the three operation buttons between these operation buttons, and the CPU 20 assigns various functions according to transition of user operations.
  • the operation guide display area 17e described above is used to indicate to the user the function assigned to each operation button. In the example of FIG. 3, a digest playback function is assigned to the left operation button, a zoom playback function is assigned to the center operation button, and a trash can function is assigned to the right operation button.
  • the slider 17c is for sliding a highlight frame 17k which is a display area for displaying a moving image thumbnail described later.
  • the highlight frame 17k moves from left to right, and when the user performs an operation of tracing up, the highlight frame 17k moves from right to left.
  • FIG. 4 is a diagram for explaining a method of displaying a list of moving image thumbnails together with still image thumbnails.
  • a moving image playback screen 17h and an OSD screen 17a are used.
  • the CPU 20 displays a thumbnail display area 17d on the OSD screen 17a.
  • a list of still image thumbnails is displayed in the thumbnail display area 17d.
  • the still image thumbnail is generated, for example, by extracting and decoding an I frame at an arbitrary position of each moving image, and reducing or enlarging the decoded image.
  • the highlight frame 17k displayed on the upper left still picture thumbnail in the thumbnail display area 17d is a still picture thumbnail displayed in a list in the thumbnail display area 17d by the user's operation of the slider 17c. Move so that any one of is selected.
  • the CPU 20 deletes the still image thumbnail surrounded by the highlight frame 17k and transmits the highlight frame 17k. Make the screen.
  • the CPU 20 causes the reduction / enlargement unit 15 to reduce or enlarge the playback moving image data to the same size as the highlight frame 17k, and generates a moving image thumbnail 17j whose display position matches the highlight frame. Displayed as a playback screen 17h.
  • CPU20 superimposes the moving image reproduction
  • the moving image thumbnail 17j in the moving image reproduction screen 17h on the back is displayed in the highlight frame 17k that is a transparent screen in the OSD screen 17a.
  • FIG. 5 is a diagram illustrating an example of moving image thumbnail time information stored in the moving image thumbnail time storage unit 19 included in the thumbnail generation device 1 according to the first embodiment of the present invention.
  • the column name “moving picture playback time” (reference numeral 101), the column name “moving picture thumbnail playback time” (reference numeral 102), and the column name “moving picture thumbnail playback section number” (reference numeral 103).
  • the moving image thumbnail playback time 102 is calculated by multiplying a unit segment time, which will be described later, by the number of moving image thumbnail playback sections 103.
  • the CPU 20 includes a moving image extraction unit 20a, a reduction / enlargement rate calculation unit 20b, and a thumbnail section determination unit 20d in terms of its functions.
  • the moving image extraction unit 20a extracts each image constituting the moving image for each second predetermined period shorter than a first predetermined period described later within the first predetermined period of the moving image.
  • the thumbnail section determination unit 20d determines one or more first predetermined periods based on the consecutive number of images in which human face regions exist among the images extracted by the moving image extraction unit 20a.
  • the reduction / enlargement ratio calculation unit 20b integrates the human face area included in each extracted image, determines a face display area so as to surround the integrated face area, and determines the determined face display area.
  • the reduction / enlargement ratio of the moving image is calculated so that the size of the video image is substantially the same as the size of a predetermined display area that is determined in advance for displaying the moving image thumbnail.
  • the reduction / enlargement ratio calculation unit 20b uses the face detection area close to the center and large in area as a representative area when the total area of the face detection area with respect to the determined area of the target face area is smaller than a predetermined threshold.
  • the reduction / enlargement ratio of the moving image is calculated so that the size of the representative area is substantially the same as the size of the moving image thumbnail.
  • FIG. 6 is a flowchart showing face detection processing in the face detection unit 116 provided in the video camera 101.
  • the face detection unit 116 selects frames constituting a moving image every face detection time (second predetermined period: here, for example, 0.5 seconds) based on the video signal. Sampling is performed, and a human face is detected from the sampled frame, and a mantissa Np of the face detection area (face area) from which the face has been detected is generated (step S201).
  • the face detection unit 116 assigns “1” as an initial value to the value of the counter i of the face detection area where the face is detected, and assigns “0” as an initial value to the number M of effective faces (step S202). ).
  • the face detection unit 116 calculates the reliability of the i-th face detection area detected from the mantissa Np of the detected face detection area, and the reliability is equal to or higher than a predetermined reliability threshold. Whether or not (step S203).
  • the reliability indicates the degree of probability that the face detected by the face detection is a human face.
  • step S203 when it is determined that the reliability of the i-th face detection area is less than the predetermined reliability threshold (in the case of NO), the face detection unit 116 deletes the i-th face detection area. (Step S204).
  • step S203 when it is determined in step S203 that the reliability of the i-th face detection area is equal to or greater than a predetermined reliability threshold value (in the case of YES), the face detection unit 116 sets the value of the effective face number M to “ Only 1 ′′ is added (step S205).
  • the face detection unit 116 determines whether or not the value of the counter i exceeds the mantissa Np of the face detection area where the face is detected (step S206).
  • step S206 when it is determined that the value of the counter i exceeds the mantissa Np of the face detection area where the face is detected (in the case of YES), the face detection unit 116 sets the effective face number M to the maximum face number Mmax. It is determined whether or not it exceeds (step S207).
  • the maximum number of faces Mmax is calculated in advance by a provider or the like in advance, such as “4”, for example, and an appropriate value is set in advance by the provider or the user. There is a need.
  • step S207 When it is determined in step S207 that the effective face number M is equal to or less than the maximum face number Mmax (in the case of NO), the face detection unit 116 substitutes the value of the effective face number M into the face evaluation number Mval (step S207). S208).
  • step S207 when it is determined in step S207 that the effective face number M exceeds the maximum face number Mmax (in the case of YES), the face detection unit 116 calculates the area of the face detection region for the effective face number M. (Step S208).
  • the face detection unit 116 sorts the face detection areas corresponding to the number M of effective faces in descending order of the area of the face detection area calculated in step S208 (step S209).
  • the face detection unit 116 selects Mmax from the top from the face detection areas for the number M of effective faces sorted in step S209 (step S210).
  • the face detection unit 116 substitutes the value of Mmax into the face evaluation number Mval (step S211).
  • the face detection unit 116 generates face detection information (step S212). Specifically, the face detection unit 116 substitutes the value of the face evaluation number Mval for the number N of face detection areas where the face is detected, and the number N of face detection areas where the face is detected and N Face detection information including the coordinates (X, Y) and size (width and height) of the face detection area is generated, and the generated face detection information is supplied to the adder 117.
  • the face detection unit 116 performs the video generated by the signal processing unit 113 by executing the face detection process. Based on the signal, a moving image (frame) is sampled at face detection time intervals, a human face is detected from the sampled moving image (frame), and is supplied to the adder 117 as face detection information.
  • the thumbnail generating apparatus 1 can generate a moving image thumbnail based on the face detection information.
  • the thumbnail generating apparatus 1 mainly executes a moving image extraction process and a moving image thumbnail display process in order. Therefore, each process will be described in detail below.
  • FIG. 7 is a flowchart showing moving image extraction processing in the thumbnail generation apparatus 1 according to the first embodiment of the present invention.
  • the moving image extraction unit 20a of the CPU 20 determines that a predetermined time (for example, 0.5 seconds) has elapsed after any one of the still image thumbnails is selected based on an operation signal from the user interface unit 17.
  • the thumbnail section determination unit 20d performs predetermined processing based on the number N of face detection areas (face areas) in which face detection is included in the face detection information of the stream management information read from the recording medium A.
  • the “section with face (first predetermined period)” of the unit section time is determined from the “section with face” continuous for the unit section time (here, 5 seconds) (step S102).
  • the unit division time is too long, the integration time of the face area, which will be described later, becomes long, so that the video thumbnail cannot be effectively enlarged and displayed. If it is too short, the video thumbnail image is skipped in a short time. Therefore, it becomes difficult for the user to grasp the contents. Therefore, it is necessary for the provider or the like to calculate an appropriate value based on the actual measurement in advance, for example, 5 seconds, and for the provider or the user to set an appropriate value in advance.
  • the thumbnail section determining unit 20 d of the thumbnail generating apparatus 1 determines “a section with a face of unit section time”, and the moving image extracting section 20 a is “a section with a face of unit section time”. It is a figure explaining the process which extracts ".”
  • the stream management information read from the recording medium A includes face detection information for each face detection time interval (0.5 seconds).
  • the face detection information includes face detection information.
  • the number N of face detection areas is included.
  • the thumbnail section determination unit 20d determines that a section in which the number N of face detection areas for which face detection has been performed is “0” continues for more than 4, that is, a section for which no face is detected for more than 2 seconds is a “faceless section”. And other sections as “section with face”.
  • the section 205 in which no face is detected for more than 2 seconds is set as a “faceless section”, and the section 206 in which face detection is not performed for 2 seconds or less is set as “a section with face”. .
  • the moving image extraction unit 20a extracts the sections with faces 207 and 208 for the unit segment time from the “section with faces”.
  • the total number of “sections with a face for a unit segment time” extracted by the moving image extraction unit 20a is referred to as an extraction section number S.
  • the moving image extraction unit 20a determines that the number of extracted sections S is a moving image thumbnail reproduction based on the moving image reproduction time included in the stream management information and the moving image thumbnail time information stored in the moving image thumbnail time storage unit 19. It is determined whether or not the number of sections is less than 103 (step S104). Specifically, the moving image extraction unit 20a, based on the moving image thumbnail time information stored in the moving image thumbnail time storage unit 19 shown in FIG. 5, moves the moving image thumbnail according to the moving image playback time included in the stream management information. The playback section number 103 is determined, and it is determined whether the extracted section number S is less than the determined moving image thumbnail playback section number 103.
  • step S104 When it is determined in step S104 that the number of extracted sections S is less than the number of moving image thumbnail playback sections 103 (in the case of YES), the moving image extracting unit 20a excludes the extracted “section with face of unit segment time”. Whether or not there is a “section with face” that is less than the unit segment time is determined (step S105).
  • step S105 When it is determined in step S105 that there is a “section with face” that is less than the unit section time except for the extracted “section with face of unit section time” (in the case of YES), the moving image extraction unit 20a Except for the extracted “section with face in unit segment time”, a shortage of “section with face” is extracted from the beginning of the moving image (step S106).
  • the moving image extracting unit 20a adds the number of sections extracted in step S106 to the number of extracted sections S, and sets the number of determined extracted sections Sf (step S107).
  • step S105 If it is determined in step S105 that there is no “section with face” that is less than the unit section time except for the extracted “section with face of unit section time” (NO), the moving image extraction unit 20a The number of extracted sections S is substituted for the number of confirmed extracted sections Sf (step S120).
  • step S104 when it is determined in step S104 that the number of extracted sections S is greater than or equal to the number of moving image thumbnail playback sections 103 (in the case of NO), the moving image extracting unit 20a determines that the number of extracted sections S is the number of moving image thumbnail playback sections 103. It is determined whether or not they are the same (step S108).
  • step S108 When it is determined in step S108 that the number of extracted sections S is the same as the number of moving image thumbnail playback sections 103 (in the case of YES), the moving image extracting unit 20a substitutes the number of extracted sections S for the determined number of extracted sections Sf. (Step S109).
  • step S108 when it is determined in step S108 that the number of extracted sections S is not the same as the number of moving image thumbnail playback sections 103 (in the case of NO), the moving image extracting unit 20a determines the size of the face detection area included in the face detection information. Based on (width and height), the average value of the area of the face detection region is calculated for each “section with face of unit section time” (step S110).
  • the moving image extraction unit 20a sorts the extracted “section with face of unit segment time” in descending order of the average value of the area of the face detection area calculated in step S110 (step S111).
  • the moving image extraction unit 20a selects from the head the number of moving image thumbnail playback sections of 103 minutes from the “section with face of unit division time” sorted in step S111 (step S112).
  • the moving image extraction unit 20a substitutes the number of moving image thumbnail playback sections 103 for the number of confirmed extraction sections Sf (step S113).
  • the section in which the average value of the area of the face detection area is preferentially selected so the section in which a person's face is captured is preferentially selected. Selected.
  • the thumbnail generating apparatus 1 performs the moving image extraction process so that the moving image extracting unit 20a detects the face for each moving image reproduction time and face detection time interval. Based on the number of detected face detection areas and the size (width and height) of the detected face detection areas, a moving image is reproduced from a moving image excluding frames in which no face is detected continuously for a predetermined time. It is possible to extract a moving image (frame) corresponding to the playback time of the moving image thumbnail that does not exceed the time.
  • FIG. 9 is a flowchart showing moving image thumbnail generation and display processing in the thumbnail generation apparatus 1 according to the first embodiment of the present invention.
  • the reduction / enlargement ratio calculation unit 20b of the CPU 20 substitutes “0” as the initial value for the value of the counter k in the section (step S301), and substitutes “1” as the initial value for the counter j of the face detection area. (Step S302).
  • the reduction / enlargement ratio calculation unit 20b of the CPU 20 determines the size (width and width) of the face detection area included in the face detection information in the k-th section among the “section with face” extracted by the number of confirmed extraction sections Sf. Based on (height), the total area B of the face detection area (face area) is calculated (step S303).
  • the reduction / enlargement ratio calculation unit 20b of the CPU 20 determines the upper left coordinates (X, Y) of the face detection area included in the face detection information and the size (width and height) of the face detection area in the kth section. Based on this, the area A of the rectangular area (face display area) having the same aspect ratio (16: 9) as the moving image surrounding the face detection area is calculated (step S304).
  • FIG. 10 is a diagram illustrating the calculation of the area A of the rectangular area having an aspect ratio of 16: 9 surrounding the face detection area by the reduction / enlargement ratio calculation unit 20b of the CPU 20 included in the thumbnail generation apparatus 1 according to the first embodiment of the present invention. is there.
  • A shows a face detection area from time t1 to time t5 within a certain section
  • (b) is a diagram of a frame when the face detection area shown in (a) is integrated
  • (c) () Is a diagram in the case where the face detection areas are dispersed in the frame
  • (d) is a diagram in the case where the face detection areas are dense in the frame.
  • the positions of the detected face detection areas 301 to 305 are moved little by little as time passes from time t1 to time t5.
  • the reduction / enlargement ratio calculation unit 20b calculates the area A of the rectangular area 402 having an aspect ratio (16: 9) surrounding the integrated face detection area 401.
  • the reduction / enlargement ratio calculation unit 20b calculates the area A of the rectangular area in this manner, when the face detection areas 301 to 305 are dispersed in the frame, as shown in FIG.
  • the area A of the 403 is large and the face detection areas 301 to 305 are dense within the frame, the area A of the rectangular area 404 is small as shown in FIG.
  • the reduction / enlargement ratio calculation unit 20b of the CPU 20 determines whether or not the sum B of the area of the face detection area calculated in step S303 with respect to the area A of the rectangular area calculated in step S304 is smaller than a predetermined threshold R. Determination is made (step S305).
  • the threshold R is too small, as will be described later, even if the area A of the rectangular area is large, the reduction / enlargement ratio of the moving image is set so that the area of the rectangular area is the same as the area of the moving image thumbnail. Since it is calculated, it is impossible to effectively enlarge and display the video thumbnail. If the threshold R is too large, the area A of the rectangular area is small, and even when it is desired to enlarge each of the plurality of face detection areas, only one face detection area with the maximum evaluation point P is enlarged. In addition, since the reduction / enlargement ratio of the moving image is calculated, it is impossible to effectively enlarge and display the moving image thumbnail.
  • step S305 when it is determined that the total area B of the face detection area with respect to the area A of the rectangular area is equal to or larger than the predetermined threshold R (in the case of NO), the reduction / enlargement ratio calculation unit 20b determines the size of the rectangular area ( The reduction / enlargement ratio of the moving image is calculated so that the width (height) is the same as the size (width and height) of the moving image thumbnail (step S306).
  • FIG. 11 is a diagram for explaining calculation of the reduction / enlargement ratio of a moving image by the reduction / enlargement ratio calculation unit 20b included in the thumbnail generation apparatus 1 according to the first embodiment of the present invention.
  • (A) shows an example of a frame of a moving image to be reduced and enlarged
  • (b) shows an example of an OSD screen 17a.
  • the frame size of the moving image is X ⁇ Y (aspect ratio 16: 9)
  • the size of the rectangular area 501 is X2 ⁇ Y2 (aspect ratio 16: 9)
  • the reduction / enlargement ratio calculation unit 20b calculates the reduction / enlargement ratio of the moving image so that the size of the rectangular area 501 is the same as the size of the highlight frame 17k. That is, when the reduction / enlargement ratio is Q, the reduction / enlargement ratio Q is calculated using the following (Equation 1).
  • step S305 in FIG. 9 when it is determined in step S305 in FIG. 9 that the total area B of the face detection area with respect to the area A of the rectangular area is less than the predetermined threshold R (in the case of YES), the reduction / enlargement ratio calculation unit 20b In the k-th section, the evaluation point P (j) of the j-th face detection area among the N face detection areas detected is calculated using the following (Formula 2) (step S307).
  • step S309 When it is determined in step S309 that the value of the counter j has exceeded the number N of face detection areas in which face detection has been performed (in the case of YES), the reduction / enlargement ratio calculation unit 20b determines that N face detection areas have been detected. Among them, a face detection area close to the center of the screen and having a large area, that is, a face detection area having the highest evaluation point P is selected as a representative area (step S310).
  • the reduction / enlargement ratio calculation unit 20b reduces the moving image so that the size (width and height) of the representative area selected in step S310 is substantially the same as the size (width and height) of the moving image thumbnail.
  • An enlargement ratio is calculated (step S311).
  • FIG. 12 is a diagram for explaining calculation of the reduction / enlargement ratio of a moving image by the reduction / enlargement ratio calculation unit 20b included in the thumbnail generation apparatus 1 according to the first embodiment of the present invention.
  • (A) shows an example of a frame of a moving image to be reduced or enlarged
  • (b) shows an example of an OSD screen 17a.
  • the frame size of the moving image is X ⁇ Y (aspect ratio 16: 9)
  • the representative area 502 is X3 ⁇ Y3 (aspect ratio 16: 9)
  • the reduction / enlargement ratio calculation unit 20b calculates the reduction / enlargement ratio of the moving image so that the size of the representative area 502 is the same as the size of the highlight frame 17k. That is, assuming that the reduction / enlargement ratio is Q, the reduction / enlargement ratio Q is calculated by substituting X2 and Y2 with X3 and Y3, respectively, using (Equation 1).
  • the reduction / enlargement ratio calculation unit 20b determines that the size (width and height) of the representative area selected in step S310 is substantially the same as the size (width and height) of the moving image thumbnail. Since the reduction / enlargement ratio is calculated, the person's face is easily enlarged, and the user can easily understand the contents of the moving image.
  • the reduction / enlargement unit 15 reduces or enlarges the moving image based on the reduction / enlargement rate calculated by the reduction / enlargement rate calculation unit 20b to generate a moving image thumbnail (step S312).
  • the adder 16 to which the reproduced image data including the generated moving image thumbnail is supplied combines the two screens based on the OSD image data so that the OSD screen overlaps the moving image reproduction screen.
  • the synthesized screen is displayed on the user interface unit 17.
  • the reduction / enlargement ratio calculation unit 20b of the CPU 20 adds “1” to the value of the counter k (step S313), and then determines whether the counter k is equal to or greater than the number of confirmed extraction sections Sf (step S314).
  • the processes in steps S303 to S314 are repeatedly executed until the counter k becomes equal to or more than the determined extraction section number Sf.
  • the thumbnail generating apparatus 1 As described above, according to the thumbnail generating apparatus 1 according to the first embodiment of the present invention, it is possible to generate and display a moving image thumbnail that allows the user to easily understand the content of the moving image.
  • face detection information related to the detected human face is supplied from the video camera 101 via the medium A, and a thumbnail for generating a moving image thumbnail based on the supplied face detection information.
  • the generation device has been described as an example, the present invention is not limited thereto, and is connected to the video camera 101 via a network, and face detection information related to a human face detected from the video camera 101 is supplied via this network, A moving image thumbnail may be generated based on the supplied face detection information.
  • Embodiment 1 of the present invention face detection related to a detected human face is performed via a recording medium A by a video camera 101 to which a face detection device that detects a human face based on a captured moving image is applied.
  • the description has been given by taking as an example a thumbnail generation device that supplies information and generates a moving image thumbnail by reducing or enlarging a moving image based on the supplied face detection information. Further, based on registered face feature information Thus, a moving image thumbnail may be generated by reducing or enlarging the moving image.
  • a video camera 101 to which a face detection device that detects a person's face based on a captured moving image is applied to a person's face detected via a recording medium A.
  • a description will be given by taking as an example a thumbnail generation apparatus that is supplied with face detection information and generates a moving image thumbnail by reducing or enlarging a moving image based on the supplied face detection information and face feature information.
  • ⁇ Configuration of video camera 101> The configuration of the video camera 101 that records the AV stream and stream management information to be supplied to the thumbnail generation apparatus according to the second embodiment of the present invention on the recording medium A is supplied to the thumbnail generation apparatus 1 according to the first embodiment of the present invention.
  • the video camera 101 for recording the AV stream and the stream management information for recording on the recording medium A has the same configuration, and a description thereof will be omitted.
  • FIG. 13 is a configuration diagram showing a configuration of a thumbnail generating apparatus 1A that is Embodiment 2 of the present invention.
  • the thumbnail generating apparatus 1A includes a demultiplexer 11, an AC3 decoder 12, a speaker 13, and an H.264. It includes an H.264 decoder 14, a reduction / enlargement unit 15, an adder 16, a user interface unit 17, an OSD generation unit 18, a CPU 20A, a moving image thumbnail time storage unit 19, and a face feature information storage unit 21.
  • the demultiplexer 11, the AC3 decoder 12, the speaker 13, and the H.264 The H.264 decoder 14, the reduction / enlargement unit 15, the adder 16, the user interface unit 17, the OSD generation unit 18, and the moving image thumbnail time storage unit 19 are included in the thumbnail generation apparatus 1 according to the first embodiment of the present invention. Since it is the same as the structure to which each is provided with the same code
  • the face feature information storage unit 21 stores a person ID that uniquely identifies a person and face feature information in association with each other as face feature information.
  • FIG. 14 is a diagram illustrating an example of face feature information stored in the face feature information storage unit 21 included in the thumbnail generation apparatus 1A according to the second embodiment of the present invention.
  • the column name “person ID” (reference numeral 601) and the column name “feature information” (reference numeral 602) are associated and stored as face characteristic information.
  • the facial feature information is information indicating facial features that can uniquely identify a human face such as the size and shape of eyes, nose, mouth, and the like.
  • the CPU 20A performs central control of the thumbnail generation device 1A. Further, the CPU 20A includes a moving image extraction unit 20a and a reduction / enlargement rate calculation unit 20c in terms of its functions.
  • the moving image extraction unit 20a based on the moving image reproduction time and the number of face images detected at each face detection time interval, from the frame of the moving image excluding the time when the face is not detected continuously for a predetermined time. Extract frames of moving images for a time that does not exceed the playback time of the video thumbnail.
  • the reduction / enlargement ratio calculation unit 20c stores the face feature information included in the supplied face detection information in the face feature information storage unit 21. It is determined whether or not the facial feature information matches or approximates. When it is determined that the facial feature information matches or approximates, the face detection area corresponding to the matching or approximate facial feature information is maximized.
  • the reduction / enlargement ratio of the moving image is calculated as follows.
  • the reduction / enlargement ratio calculation unit 20c selects a face detection area corresponding to matching or approximate face feature information as a registered face area, and the size of the selected registered face area is the size of the moving image thumbnail.
  • the reduction / enlargement ratio of the moving image is calculated so as to be substantially the same.
  • FIG. 15 is a diagram for explaining the calculation of the reduction / enlargement ratio of a moving image by the reduction / enlargement ratio calculation unit 20c included in the thumbnail generation apparatus 1A according to the second embodiment of the present invention.
  • (A) shows an example of a frame of a moving image to be reduced or enlarged
  • (b) shows an example of an OSD screen 17a.
  • the size of the moving image frame is X ⁇ Y (aspect ratio 16: 9), and the size of the registered face area 601 is X4 ⁇ Y4 (aspect ratio 16: 9).
  • the size of the moving image thumbnail on the OSD screen 17a that is, the size of the highlight frame 17k is X1 ⁇ Y1 (aspect ratio 16: 9).
  • the reduction / enlargement ratio calculation unit 20b calculates the reduction / enlargement ratio of the moving image so that the size of the registered face area 601 is the same as the size of the highlight frame 17k. That is, when the reduction / enlargement ratio is Q, the reduction / enlargement ratio Q is calculated by replacing X2 and Y2 with X4 and Y4, respectively, using the above-described (Equation 1).
  • the reduction / enlargement ratio calculation unit 20c calculates the reduction / enlargement ratio of the moving image so that the size of the selected registered face area is substantially the same as the size of the moving image thumbnail. Becomes easier to expand. This makes it easier for the user to view the face image of a desired person and to easily understand the content of the moving image.
  • the thumbnail generation apparatus 1A includes the face feature information storage unit 21 and the reduction / enlargement ratio calculation unit 20c. Therefore, the thumbnail according to the first embodiment of the present invention.
  • one or more persons registered in advance can be enlarged preferentially and displayed as a moving image thumbnail.
  • the second embodiment when a face that matches a pre-stored facial feature is detected among the detected faces, only the matched face is set as a processing target. Even in a moving image in which a child and his / her child are photographed together, only the child's face can be enlarged and displayed as a video thumbnail.
  • face feature information storage unit 101 ... video camera 111 ... optical lens 112 ... image element unit 113 ... signal processing unit 114 ... H. H.264 encoder 115 ... multiplexer 116 ... face detection unit 117 ... adder 121 ... microphone 122 ... A / D conversion unit 123 ... AC3 encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

サムネイル生成装置は、動画像抽出部、縮小拡大率算出部、及び縮小拡大部を備える。動画像抽出部は、動画像に含まれる人物の顔を検出して生成された顔検出情報から得られる顔検出領域の数及び面積に基づいて、動画像から、この動画像の再生時間より短い時間分の動画像を抽出する。縮小拡大率算出部は、動画像抽出部により抽出された動画像の顔検出情報に基づいて、所定の時間間隔毎に顔検出領域を積分し、この積分結果に基づいて、動画像抽出部により抽出された動画像に含まれる人物の顔が大きく表示されるように、動画像抽出部により抽出された動画像の縮小拡大率を算出する。縮小拡大部は、縮小拡大率算出部により算出された縮小拡大率に基づいて、動画像抽出部により抽出された動画像を縮小又は拡大した動画サムネイルを生成する。

Description

サムネイル生成装置及びサムネイル生成方法
　本発明は、再生装置で再生される動画像の内容をユーザに把握させるための動画サムネイルを生成するサムネイル生成装置及びサムネイル生成方法に関する。
　撮影、記録した動画像を構成する複数のフレーム又はフィールドのうちの任意の１枚を抽出して縮小した静止画サムネイルを、記録されている動画像毎や、これらの動画像における所定の区切り（チャプタ）毎に生成し、これら生成した複数の静止画サムネイルを、本体に具備するモニター用の液晶パネルにサムネイル一覧画面として表示させる静止画サムネイル表示機能を有するビデオカメラがよく知られている。
　また、静止画サムネイルに対応した画像の内容をユーザに把握させやすくするための技術として、例えば、特許文献１には、撮影した静止画像から人物の顔を検出し、その検出した人物の顔に合わせて、撮影した静止画像を所定のサイズに縮小した静止画サムネイルを生成する画像処理装置が提案されている。
　しかしながら、特許文献１に記載の技術は、通常の静止画サムネイル表示機能に比較すれば、静止画サムネイルに対応した画像の内容をユーザに把握させやすくなるものの、表示されるサムネイルは静止画であるので、その静止画サムネイルに対応した画像が動画像の場合、利用者は、その動画像の内容を把握できない場合があった。
　一方、ＨＤＤ（Hard Disk Drive）レコーダーやＤＶＤ（Digital Versatile Disk）レコーダーでは、サムネイル一覧画面において、ユーザ操作等によって１つの静止画サムネイルにフォーカス（ハイライト枠）があてられたとき、その静止画サムネイルに換えて動画サムネイルを表示するモーションサムネイル機能を有していることが多い。このモーションサムネイル機能は、選択された静止画サムネイルに対応する所定期間の動画像を再生し、この再生した動画像を静止画サムネイルと同じサイズに縮小させた動画サムネイルを生成し、この生成した動画サムネイルを、静止画サムネイル一覧画面において対応する静止画サムネイルの領域に表示する機能である。利用者はこのモーションサムネイル機能によって表示された動画サムネイルを見ることにより、動画像の内容を把握し易くなる。
特開２００５－２６９５６３号公報
　ここで、ビデオカメラにも、このモーションサムネイル機能を適用することが考えられる。
　しかしながら、ビデオカメラにモーションサムネイル機能を適用した場合、本体に具備するモニター用の液晶パネルの画面は比較的小さいので、サムネイル一覧画面に表示される動画サムネイルも小さくなってしまう。従って、利用者はその動画サムネイルの内容、つまりその動画サムネイルに対応する動画像の内容を把握することが困難であった。
　本発明は、上記課題に鑑みてなされたものであり、その目的は、利用者に、記録再生装置に記録されている動画像の内容を把握させやすい動画サムネイルを生成し表示するサムネイル生成装置及びサムネイル生成方法を提供することにある。
　上記目的を達成するため、本発明に係るサムネイル生成装置の第１の特徴は、動画像の第１の所定期間内において、前記第１の所定期間よりも短い第２の所定期間毎に、前記動画像を構成する各画像を抽出する動画像抽出部と、抽出された各画像に含まれる人物の顔の領域を積分し、この積分された顔の領域を囲むように顔表示領域を決定し、この決定された顔表示領域のサイズが、予め動画サムネイルを表示するために定められた所定の表示領域のサイズと略同一となるように、前記動画像の縮小拡大率を算出する縮小拡大率算出部と、算出された前記縮小拡大率に基づいて、前記動画像を縮小または拡大し、前記動画サムネイルを生成する動画サムネイル生成部とを備えたことにある。
　上記目的を達成するため、本発明に係るサムネイル生成装置の第２の特徴は、前記動画像抽出部によって抽出された各画像のうち、人物の顔の領域が存在する画像の連続する数に基づいて、前記第１の所定期間を１つ以上決定するサムネイル区間決定部を更に備えることを特徴としたことにある。
　上記目的を達成するため、本発明に係るサムネイル生成装置の第３の特徴は、前記縮小拡大率算出部は、前記顔表示領域の面積の値を分母とし、前記顔の領域の合計面積の値を分子として求めた比の値が、所定の閾値より小さい場合、前記顔の領域のうち中心に近くかつ面積が最も大きい顔の領域を代表領域として、この代表領域のサイズが前記表示領域のサイズと略同一となるように、前記縮小拡大率を算出することを特徴としたことにある。
　上記目的を達成するため、本発明に係るサムネイル生成装置の第４の特徴は、人物の顔を一意に識別可能な顔の特徴を顔特徴情報として記憶する顔特徴情報記憶部と、を更に備え、前記縮小拡大率算出部は、前記顔の領域内に存在する顔の特徴が、前記顔特徴情報記憶部に記憶されている顔特徴情報が示す顔の特徴と一致又は近似しているか否かを判定し、一致又は近似していると判定された場合に、この一致又は近似している顔の特徴に対応する前記顔の領域のサイズを前記表示領域のサイズと略同一となるように、前記縮小拡大率を算出することにある。
　上記目的を達成するため、本発明に係るサムネイル生成方法の第１の特徴は、動画像の第１の所定期間内において、前記第１の所定期間よりも短い第２の所定期間毎に、前記動画像を構成する各画像を抽出する動画像抽出ステップと、抽出された各画像に含まれる人物の顔の領域を積分し、この積分された顔の領域を囲むように顔表示領域を決定し、この決定された顔表示領域のサイズが、予めサムネイルを表示するために定められた所定の表示領域のサイズと略同一となるように、前記動画像の縮小拡大率を算出する縮小率算出ステップと、算出された前記縮小拡大率に基づいて、前記動画像を縮小または拡大し、前記動画サムネイルを生成する動画サムネイル生成ステップとを有することにある。
　本発明のサムネイル生成装置及びサムネイル生成方法によれば、利用者に、記録再生装置に記録されている動画像の内容を把握させやすい動画サムネイルを生成し表示することができる。
本発明の実施例１であるサムネイル生成装置に供給するためのＡＶストリーム及びストリーム管理情報を記録媒体に記録するビデオカメラの構成を示した構成図である。 本発明の実施例１であるサムネイル生成装置の構成を示した構成図である。 本発明の実施例１であるサムネイル生成装置が備えるユーザインタフェース部が表示する画面の一例を示した図である。 本発明の実施例１であるサムネイル生成装置が備えるユーザインタフェース部におけるＯＳＤ画面と動画再生画面との重ね合わせを説明した図である。（ａ）は、ＯＳＤ画面及び動画再生画面の重ね合わせの順序を説明した図であり、（ｂ）は、ＯＳＤ画面及び動画再生画面それぞれの一例を示した図であり、（ｃ）は、ＯＳＤ画面と動画再生画面とが重ね合わされた合成画面の一例を示した図である。 本発明の実施例１であるサムネイル生成装置が備える動画サムネイル時間記憶部に記憶された動画サムネイル時間情報の一例を示した図である。 ビデオカメラが備える顔検出部における顔検出処理を示したフローチャートである。 本発明の実施例１であるサムネイル生成装置における動画像抽出処理を示したフローチャートである。 本発明の実施例１であるサムネイル生成装置の動画像抽出部が、「単位区分時間の顔あり区間」を抽出する処理を説明した図である。 本発明の実施例１であるサムネイル生成装置における動画サムネイル表示処理を示したフローチャートである。 本発明の実施例１であるサムネイル生成装置が備えるＣＰＵの縮小率算出部による顔検出領域を囲むアスペクト比１６：９の矩形領域の面積Ａの算出を説明した図である。（ａ）は、ある区間内におけるｔ１時点からｔ５時点までにおける顔検出領域を示しており、（ｂ）は、（ａ）に示した顔検出領域を積分した場合における動画像の図であり、（ｃ）は、顔検出領域が動画像内で分散している場合における動画像の図であり、（ｄ）は、顔検出領域が動画像内で密集している場合における動画像の図である。 本発明の実施例１であるサムネイル生成装置が備える縮小率算出部による動画像の縮小率の算出を説明した図である。（ａ）は、縮小する動画像の一例を示しており、（ｂ）は、ＯＳＤ画面の一例を示している。 本発明の実施例１であるサムネイル生成装置が備える縮小率算出部による動画像の縮小率の算出を説明した図である。（ａ）は、縮小する動画像の一例を示しており、（ｂ）は、ＯＳＤ画面の一例を示している。 本発明の実施例２であるサムネイル生成装置の構成を示した構成図である。 本発明の実施例２であるサムネイル生成装置が備える顔特徴情報記憶部に記憶された顔特徴情報の一例を示した図である。 本発明の実施例２であるサムネイル生成装置が備える縮小率算出部による動画像の縮小率の算出を説明した図である。（ａ）は、縮小する動画像の一例を示しており、（ｂ）は、ＯＳＤ画面の一例を示している。
　以下、本発明の実施の形態について図面を参照して説明する。
　本発明の実施例１では、撮像された動画像に基づいて人物の顔を検出する顔検出部を有するビデオカメラと、このビデオカメラにより生成されて記録媒体に記録されたＡＶストリーム及びストリーム管理情報に基づいて、動画サムネイルを生成するサムネイル生成装置を例に挙げて説明する。
＜ビデオカメラの構成＞
　図１は、本発明の実施例１であるサムネイル生成装置で用いるためのＡＶストリーム及びストリーム管理情報を生成して記録媒体に記録するビデオカメラの構成を示した構成図である。
　ビデオカメラ１０１は、光学レンズ１１１と、撮像素子１１２と、信号処理部１１３と、Ｈ．２６４エンコーダ１１４と、マルチプレクサ１１５と、顔検出部１１６と、加算器１１７と、マイク１２１と、Ａ／Ｄ変換部１２２と、ＡＣ３エンコーダ１２３と、ＣＰＵ１３１とを備えている。
　光学レンズ１１１は、軸Ｐを光軸として入射する光を集光させる。
　撮像素子１１２は、光学レンズ１１１により集光された光を結像させ、結像させた被写体像を電気信号に変換する。
　信号処理部１１３は、ＣＰＵ１３１の指示により、撮像素子１１２により変換された電気信号に基づいてビデオ信号を生成する。
　Ｈ．２６４エンコーダ１１４は、ＣＰＵ１３１の指示により、信号処理部１１３により生成されたビデオ信号に基づいて、ビデオストリーム及びＧＯＰ（Group of picture）情報を生成する。
　Ａ／Ｄ変換部１２２は、ＣＰＵ１３１の指示により、マイク１２１により集音された音声をアナログデータからディジタルデータに変換する。
　ＡＣ３エンコーダ１２３は、ＣＰＵ１３１の指示により、Ａ／Ｄ変換部１２２により変換されたディジタルデータをエンコードすることによりオーディオストリーム及びオーディオ情報を生成する。
　マルチプレクサ１１５は、ＣＰＵ１３１の指示により、Ｈ．２６４エンコーダ１１４によりエンコードされたビデオストリームと、ＡＣ３エンコーダ１２３によりエンコードされたオーディオストリームとを、マルチプレクスしてＡＶＣＨＤ規格に準拠したＡＶストリームを生成し、生成されたＡＶストリームを記録媒体Ａに記録する。
　顔検出部１１６は、ＣＰＵ１３１の指示により、信号処理部１１３により生成されたビデオ信号に基づいて、顔検出を行う。具体的には、顔検出部１１６は、ビデオ信号に基づいて、所定の顔検出時間間隔で動画像をサンプリングし、サンプリングした動画像から人物の顔を検出し、顔検出情報として加算器１１７へ供給する。
　ここで、顔検出処理は、処理を高速に行なえるデバイスやアルゴリズムを用いればフレーム毎に実現することが可能である。しかし、フレーム毎では、顔検出情報のデータサイズが無駄に大きくなってしまう。従って、顔検出時間は、例えば０．５秒程度に設定することが好ましい。なお、顔検出情報には、顔検出された顔検出領域の数（０～４、０は顔検出なしを示す）と、顔検出された顔検出領域毎の、動画像の左上を基準点とした場合における顔検出された顔検出領域の左上の座標（Ｘ，Ｙ）と、顔検出された顔検出領域のサイズ（幅と高さ）とが含まれる。
　なお、動画像は連続する静止画像であるフレームまたはフィールドで構成され、本発明はいずれにも適用可能であるが、以降は説明の便宜上、静止画像をフレームと呼ぶこととする。
　また、顔検出部１１６は、検出した人物の顔の信頼度、即ち、どの程度の確からしさで人物の顔であるかを示した信頼度を算出し、この信頼度が所定の信頼度閾値以上であるか否かを判定する。
　加算器１１７は、ＣＰＵ１３１の指示により、Ｈ．２６４エンコーダ１１４から供給されるＧＯＰ情報と、ＡＣ３エンコーダ１２３から供給されるオーディオ情報と、顔検出部１１６から供給される顔検出情報とを含むストリーム管理情報を生成し、このストリーム管理情報を記録媒体Ａに記録する。
　ＣＰＵ１３１は、ビデオカメラ１０１の中枢的な制御を行う。具体的には、ＣＰＵ１３１は、上述した撮像素子１１２と、信号処理部１１３と、Ｈ．２６４エンコーダ１１４と、マルチプレクサ１１５と、顔検出部１１６と、加算器１１７と、Ａ／Ｄ変換部１２２と、ＡＣ３エンコーダ１２３とを制御する。
＜サムネイル生成装置の構成＞
　図２は、本発明の実施例１であるサムネイル生成装置の構成を示した構成図である。
　図２に示すように、本発明の実施例１であるサムネイル生成装置１は、デマルチプレクサ１１と、ＡＣ３デコーダ１２と、スピーカ１３と、Ｈ．２６４デコーダ１４と、縮小拡大部１５と、加算器１６と、ユーザインタフェース部１７と、ＯＳＤ生成部１８と、ＣＰＵ２０と、動画サムネイル時間記憶部１９とを備える。
　デマルチプレクサ１１は、ＣＰＵ２０の指示により、記録媒体Ａに記録されたＡＶストリームを読み出し、読み出されたＡＶストリームをデマルチプレクスすることにより、ビデオストリームとオーディオストリームとを生成する。
　ＡＣ３デコーダ１２は、ＣＰＵ２０の指示により、デマルチプレクサ１１から供給されたオーディオストリームをデコードすることにより、再生音声データを生成し、スピーカ１３から音声出力させる。
　Ｈ．２６４デコーダ１４は、ＣＰＵ２０の指示により、デマルチプレクサ１１から供給されたビデオストリームをデコードすることにより、再生動画像データを生成し、この生成した再生動画像データを縮小拡大部１５へ供給する。
　縮小拡大部１５は、ＣＰＵ２０の指示により、Ｈ．２６４デコーダ１４から供給された再生動画像データを縮小または拡大することにより、動画サムネイルとして表示するための縮小または拡大された再生動画像データを生成する。
　ＣＰＵ２０は、サムネイル生成装置１の中枢的な制御を行う。具体的には、ＣＰＵ２０は、デマルチプレクサ１１と、ＡＣ３デコーダ１２と、スピーカ１３と、Ｈ．２６４デコーダ１４と、縮小拡大部１５と、加算器１６と、ユーザインタフェース部１７と、ＯＳＤ生成部１８とを制御する。また、ＣＰＵ２０は、記録媒体Ａから読み出したストリーム管理情報をＯＳＤ生成部１８に供給する。
　ＯＳＤ生成部１８は、ＣＰＵ２０の指示により、供給されたストリーム管理情報に基づいてＯＳＤ画面を表示するためのＯＳＤ画像データに生成し、加算器１６へ供給する。
　加算器１６は、ＣＰＵ２０の指示により、縮小拡大部１５から供給された縮小または拡大された再生動画像データに、ＯＳＤ生成部１８から供給されたＯＳＤ画像データを重ね合わせることにより、合成画像データを生成し、この生成された合成画像データをユーザインタフェース部１７に表示させる。
　ユーザインタフェース部１７は、有機ＥＬ（electroluminescence）ディスプレイや、液晶ディスプレイ等で構成される画像表示部を備える。そして、ユーザインタフェース部１７は、この画像表示部に、ＣＰＵ２０の指示により、加算器１７から供給される合成画像データに基づいて合成画面を表示する。
　また、ユーザインタフェース部１７は、タッチセンサ等で構成される操作ボタンやスライダー等の操作部も備える。そして、ユーザインタフェース部１７は、利用者によってこの操作ボタンやスライダーが操作されると、その操作に応じた操作信号を生成し、生成した操作信号をＣＰＵ２０へ供給する。
　動画サムネイル時間記憶部１９は、動画像の再生時間と、この再生時間に応じた動画サムネイルの再生時間とを関連付けて記憶する。この関連付けについては後述する。
　図３は、本発明の実施例１であるサムネイル生成装置１が備えるユーザインタフェース部１７の外観と、このユーザインタフェース部１７の画像表示部に表示される画面の一例を示した図である。
　図３に示すように、ユーザインタフェース部１７は、画像表示部１７ｇと、操作ボタン１７ｂと、スライダー１７ｃとを含んで構成される。
　画像表示部１７ｇには、ＯＳＤ画像データに基づいて生成された静止画サムネイルを含むＯＳＤ画面と、縮小拡大部１５により縮小または拡大された再生動画像データに基づいて生成された動画サムネイルとが重ね合わされて、合成画面として表示される。
　画像表示部１７ｇに表示されるＯＳＤ画面には、サムネイル表示領域１７ｄと、操作ガイド表示領域１７ｅと、ページ表示領域１７ｆとが領域分割されて表示されている。
　サムネイル表示領域１７ｄは、静止画サムネイルと動画サムネイルとが表示される。この表示方法については後述する。
　操作ガイド表示領域１７ｅには、操作ボタン１７ｂに割り当てた機能をユーザに示すためのアイコン等を表示する。
　ページ表示領域１７ｆには、現在、サムネイル表示領域１７ｄに表示された静止画サムネイル一覧のページを表示する。例えば、８／９と表示されている場合、全部で９ページあり、現在８ページ目を表示していることを示す。
　操作ボタン１７ｂは、図３の例では、５つ配置されている。配置された５つの操作ボタンのうち、左端の操作ボタンは、動画サムネイルの選択確定を要求する操作信号を生成するためのＯＫボタン、右端の操作ボタンは、メニューの表示を要求する操作信号を生成するためのメニューボタンである。また、これらの操作ボタンの間の３個の操作ボタンには固定の機能が割り当てられておらず、ＣＰＵ２０が、ユーザ操作の遷移に応じて種々の機能を割り当てる。そして、各操作ボタンに割り当てた機能をユーザに示すために、上記した操作ガイド表示領域１７ｅを用いる。図３の例では、左側の操作ボタンにダイジェスト再生の機能が割り当てられており、中央の操作ボタンにズーム再生の機能が割り当てられており、右側の操作ボタンにゴミ箱の機能が割り当てられている。
　スライダー１７ｃは、後述する動画サムネイルを表示させるための表示領域であるハイライト枠１７ｋをスライドするためのものである。利用者がこのスライダー１７ｃを下になぞる操作を行うとハイライト枠１７ｋが左から右に移動し、上になぞる操作を行うと、ハイライト枠１７ｋは右から左に移動する。
　図４は、動画サムネイルを静止画サムネイルとともに一覧表示する方法を説明した図である。
　図４（ａ）に示すように、動画サムネイルを静止画サムネイルとともに一覧表示する場合、動画再生画面１７ｈとＯＳＤ画面１７ａとが用いられる。
　まず、図４（ｂ）に示すように、ＣＰＵ２０は、ＯＳＤ画面１７ａ上にサムネイル表示領域１７ｄを表示する。このサムネイル表示領域１７ｄには、静止画サムネイルが一覧表示されている。ここで静止画サムネイルは、例えば、各動画像の任意の位置のＩフレームを抽出してデコードし、そのデコードした画像を縮小または拡大することで生成される。
　図４（ｂ）においてサムネイル表示領域１７ｄ内の左上の静止画サムネイル上に表示されているハイライト枠１７ｋは、利用者によるスライダー１７ｃの操作により、サムネイル表示領域１７ｄに一覧表示された静止画サムネイルの中のいずれか１つが選択されるように移動する。
　そして、静止画サムネイルの中からいずれか１つが選択され後、例えば０．５秒経過すると、ＣＰＵ２０は、ハイライト枠１７ｋにより囲まれた静止画サムネイルを消去して、ハイライト枠１７ｋ内を透過画面にする。
　一方、ＣＰＵ２０は、縮小拡大部１５により、再生動画像データを、ハイライト枠１７ｋと同等のサイズに縮小または拡大するとともに、表示位置をこのハイライト枠に合わせた動画サムネイル１７ｊを生成し、動画再生画面１７ｈとして表示する。
　そして、図４（ｃ）に示すように、ＣＰＵ２０は、加算器１６により、ＯＳＤ画面１７ａの背面に動画再生画面１７ｈを重ね合わせて、合成画面を生成する。このようにすることで、ＯＳＤ画面１７ａのうち、透過画面になったハイライト枠１７ｋ内に背面の動画再生画面１７ｈ内の動画サムネイル１７ｊが表示されるようになる。
　図５は、本発明の実施例１であるサムネイル生成装置１が備える動画サムネイル時間記憶部１９に記憶された動画サムネイル時間情報の一例を示した図である。
　図５に示すように、カラム名“動画像の再生時間”（符号１０１）と、カラム名“動画サムネイルの再生時間”（符号１０２）と、カラム名“動画サムネイル再生区間数”（符号１０３）とが関連付けられて、動画サムネイル時間情報として記憶されている。なお、動画サムネイルの再生時間１０２は、後述する単位区分時間に動画サムネイル再生区間数１０３を乗算することにより算出される。
　また、ＣＰＵ２０は、その機能上、動画像抽出部２０ａと、縮小拡大率算出部２０ｂと、サムネイル区間決定部２０ｄとを備える。
　動画像抽出部２０ａは、動画像の第１の所定期間内において、後述する第１の所定期間よりも短い第２の所定期間毎に、動画像を構成する各画像を抽出する。
　サムネイル区間決定部２０ｄは、動画像抽出部２０ａによって抽出された各画像のうち、人物の顔の領域が存在する画像の連続する数に基づいて、第１の所定期間を１つ以上決定する。
　縮小拡大率算出部２０ｂは、抽出された各画像に含まれる人物の顔の領域を積分し、この積分された顔の領域を囲むように顔表示領域を決定し、この決定された顔表示領域のサイズが、予め動画サムネイルを表示するために定められた所定の表示領域のサイズと略同一となるように、動画像の縮小拡大率を算出する。
　また、縮小拡大率算出部２０ｂは、決定された対象顔領域の面積に対する顔検出領域の合計面積が所定の閾値より小さい場合に、中心に近くかつ面積が大きい顔検出領域を代表領域として、この代表領域のサイズが動画サムネイルのサイズと略同一となるように、前記動画像の縮小拡大率を算出する。
＜ビデオカメラ１０１が備える顔検出部１１６の作用＞
　次に、ビデオカメラ１０１が備える顔検出部１１６が実行する顔検出処理について説明する。
　図６は、ビデオカメラ１０１が備える顔検出部１１６における顔検出処理を示したフローチャートである。
　図６に示すように、顔検出部１１６は、ビデオ信号に基づいて、顔検出時間（第２の所定期間：ここでは、例えば０．５秒とする）毎に、動画像を構成するフレームをサンプリングし、サンプリングしたフレームから人物の顔を検出すると共に、顔検出された顔検出領域（顔の領域）の仮数Ｎｐを生成する（ステップＳ２０１）。
　次に、顔検出部１１６は、顔検出された顔検出領域のカウンタｉの値に初期値として“１”を代入すると共に、有効顔数Ｍに初期値として“０”を代入する（ステップＳ２０２）。
　そして、顔検出部１１６は、顔検出された顔検出領域の仮数Ｎｐのうち第ｉ番目に顔検出された顔検出領域の信頼度を算出し、この信頼度が所定の信頼度閾値以上であるか否かを判定する（ステップＳ２０３）。ここで、信頼度とは、顔検出された顔がどの程度の確からしさで人物の顔であるかを示している。
　ステップＳ２０３において、第ｉ番目の顔検出領域の信頼度が所定の信頼度閾値未満であると判定された場合（ＮＯの場合）、顔検出部１１６は、第ｉ番目の顔検出領域を削除する（ステップＳ２０４）。
　一方、ステップＳ２０３において、第ｉ番目の顔検出領域の信頼度が所定の信頼度閾値以上であると判定された場合（ＹＥＳの場合）、顔検出部１１６は、有効顔数Ｍの値を“１”だけ加算する（ステップＳ２０５）。
　次に、顔検出部１１６は、カウンタｉの値が顔検出された顔検出領域の仮数Ｎｐを越えているか否かを判定する（ステップＳ２０６）。
　ステップＳ２０６において、カウンタｉの値が顔検出された顔検出領域の仮数Ｎｐを越えていると判定された場合（ＹＥＳの場合）、顔検出部１１６は、有効顔数Ｍが最大顔数Ｍｍａｘを越えているか否かを判定する（ステップＳ２０７）。ここで、最大顔数Ｍｍａｘは、例えば“４”といったように、予め提供者等が実測に基づいた適正な値を予め算出し、提供者や利用者等が予め適正な値を設定しておく必要がある。
　ステップＳ２０７において、有効顔数Ｍが最大顔数Ｍｍａｘ以下であると判定された場合（ＮＯの場合）、顔検出部１１６は、有効顔数Ｍの値を、顔評価数Ｍｖａｌへ代入する（ステップＳ２０８）。
　一方、ステップＳ２０７において、有効顔数Ｍが最大顔数Ｍｍａｘを越えていると判定された場合（ＹＥＳの場合）、顔検出部１１６は、有効顔数Ｍ個分の顔検出領域の面積を算出する（ステップＳ２０８）。
　次に、顔検出部１１６は、有効顔数Ｍ個分の顔検出領域を、ステップＳ２０８において算出された顔検出領域の面積が大きい順にソートする（ステップＳ２０９）。
　そして、顔検出部１１６は、ステップＳ２０９においてソートされた有効顔数Ｍ個分の顔検出領域から、Ｍｍａｘ個だけ先頭から選択する（ステップＳ２１０）。
　さらに、顔検出部１１６は、Ｍｍａｘの値を、顔評価数Ｍｖａｌへ代入する（ステップＳ２１１）。
　次に、顔検出部１１６は、顔検出情報を生成する（ステップＳ２１２）。具体的には、顔検出部１１６は、顔評価数Ｍｖａｌの値を、顔検出された顔検出領域の数Ｎに代入し、この顔検出された顔検出領域の数Ｎと、Ｎ個分の顔検出領域の座標（Ｘ，Ｙ）及びサイズ（幅と高さ）とを含む顔検出情報を生成し、この生成された顔検出情報を加算器１１７へ供給する。
　以上のように、本発明の実施例１であるビデオカメラ１０１が備える顔検出部１１６によれば、顔検出処理を実行することにより、顔検出部１１６が、信号処理部１１３により生成されたビデオ信号に基づいて、顔検出時間間隔で動画像（フレーム）をサンプリングし、サンプリングした動画像（フレーム）から人物の顔を検出し、顔検出情報として加算器１１７へ供給するので、後述するように、サムネイル生成装置１が、この顔検出情報に基づいて、動画サムネイルを生成することができる。
＜サムネイル生成装置１の作用＞
　次に、本発明の実施例１であるサムネイル生成装置１の作用について説明する。
　本発明の実施例１であるサムネイル生成装置１は、主に動画像抽出処理及び動画サムネイル表示処理とを順に実行する。そのため、各々の処理について以下に詳細に説明する。
≪動画像抽出処理≫
　本発明の実施例１であるサムネイル生成装置１の動画像抽出処理の詳細について説明する。
　図７は、本発明の実施例１であるサムネイル生成装置１における動画像抽出処理を示したフローチャートである。
　まず、ＣＰＵ２０の動画像抽出部２０ａは、ユーザインタフェース部１７からの操作信号に基づき、静止画サムネイルの中からいずれか１つが選択された後、所定時間（例えば０．５秒）経過したと判断した場合（ステップＳ１０１）、サムネイル区間決定部２０ｄは、記録媒体Ａから読み出したストリーム管理情報の顔検出情報に含まれる顔検出された顔検出領域（顔の領域）の数Ｎに基づいて、所定の単位区分時間（ここでは、５秒とする）以上連続した「顔あり区間」から、「単位区分時間の顔あり区間（第１の所定期間）」を決定する（ステップＳ１０２）。
　ここで、単位区分時間は、長すぎると、後述する顔領域の積分時間が長くなるので、動画サムネイルの効果的な拡大表示ができなくなり、短かすぎると、動画サムネイルの画像が短時間でスキップするので、利用者にとって、内容を把握し難くなる。そのため、例えば５秒といったように、予め提供者等が実測に基づいた適正な値を予め算出し、提供者や利用者等が予め適正な値を設定しておく必要がある。
　図８は、本発明の実施例１であるサムネイル生成装置１のサムネイル区間決定部２０ｄが「単位区分時間の顔あり区間」を決定し、動画像抽出部２０ａが「単位区分時間の顔あり区間」を抽出する処理を説明した図である。
　図８に示すように、記録媒体Ａから読み出したストリーム管理情報には、顔検出時間間隔（０．５秒）毎の顔検出情報が含まれおり、この顔検出情報には、顔検出された顔検出領域の数Ｎが含まれている。
　サムネイル区間決定部２０ｄは、顔検出された顔検出領域の数Ｎが“０”である区間が、４を越えて連続する区間、即ち２秒を越えて顔検出されない区間を「顔なし区間」とし、その他の区間を「顔あり区間」とする。
　図８に示した例では、２秒を越えて顔検出されない区間２０５は、「顔なし区間」とされ、顔検出されないのが２秒以下である区間２０６は、「顔あり区間」とされる。
　そして、動画像抽出部２０ａは、この「顔あり区間」の中から、単位区分時間分の顔あり区間２０７，２０８を抽出する。ここで、動画像抽出部２０ａにより抽出された「単位区分時間分の顔あり区間」の総数を抽出区間数Ｓという。
　次に、動画像抽出部２０ａは、ストリーム管理情報に含まれる動画像の再生時間と、動画サムネイル時間記憶部１９に記憶された動画サムネイル時間情報に基づいて、抽出区間数Ｓが、動画サムネイル再生区間数１０３未満か否かを判定する（ステップＳ１０４）。具体的には、動画像抽出部２０ａは、図５に示す動画サムネイル時間記憶部１９に記憶された動画サムネイル時間情報に基づいて、ストリーム管理情報に含まれる動画像の再生時間に応じた動画サムネイル再生区間数１０３を決定し、抽出区間数Ｓが、この決定された動画サムネイル再生区間数１０３未満か否かを判定する。
　ステップＳ１０４において、抽出区間数Ｓが動画サムネイル再生区間数１０３未満であると判定された場合（ＹＥＳの場合）、動画像抽出部２０ａは、抽出済みの「単位区分時間の顔あり区間」を除いて、単位区分時間未満である「顔あり区間」があるか否かを判定する（ステップＳ１０５）。
　ステップＳ１０５において、抽出済みの「単位区分時間の顔あり区間」を除いて単位区分時間未満である「顔あり区間」があると判定された場合（ＹＥＳの場合）、動画像抽出部２０ａは、抽出済み「単位区分時間の顔あり区間」を除いて、動画像の先頭から「顔あり区間」を不足数だけ抽出する（ステップＳ１０６）。
　そして、動画像抽出部２０ａは、ステップＳ１０６において抽出された区間の数を抽出区間数Ｓに加算し、確定抽出区間数Ｓｆとする（ステップＳ１０７）。
　ステップＳ１０５において、抽出済みの「単位区分時間の顔あり区間」を除いて単位区分時間未満である「顔あり区間」がないと判定された場合（ＮＯの場合）、動画像抽出部２０ａは、確定抽出区間数Ｓｆに抽出区間数Ｓを代入する（ステップＳ１２０）。
　一方、ステップＳ１０４において、抽出区間数Ｓが動画サムネイル再生区間数１０３以上であると判定された場合（ＮＯの場合）、動画像抽出部２０ａは、抽出区間数Ｓが動画サムネイル再生区間数１０３と同一であるか否かを判定する（ステップＳ１０８）。
　ステップＳ１０８において、抽出区間数Ｓが動画サムネイル再生区間数１０３と同一であると判定された場合（ＹＥＳの場合）、動画像抽出部２０ａは、確定抽出区間数Ｓｆに抽出区間数Ｓを代入する（ステップＳ１０９）。
　一方、ステップＳ１０８において、抽出区間数Ｓが動画サムネイル再生区間数１０３と同一ではないと判定された場合（ＮＯの場合）、動画像抽出部２０ａは、顔検出情報に含まれる顔検出領域のサイズ（幅と高さ）に基づいて、「単位区分時間の顔あり区間」毎に、顔検出領域の面積の平均値を算出する（ステップＳ１１０）。
　次に、動画像抽出部２０ａは、抽出された「単位区分時間の顔あり区間」を、ステップＳ１１０において算出された顔検出領域の面積の平均値が大きい順にソートする（ステップＳ１１１）。
　そして、動画像抽出部２０ａは、ステップＳ１１１においてソートされた「単位区分時間の顔あり区間」から、動画サムネイル再生区間数１０３分だけ先頭から選択する（ステップＳ１１２）。
　次に、動画像抽出部２０ａは、確定抽出区間数Ｓｆに動画サムネイル再生区間数１０３数を代入する（ステップＳ１１３）。
　このように、「単位区分時間の顔あり区間」のうち、顔検出領域の面積の平均値が高い区間から優先して選択されるので、人物の顔が大きく撮影されている区間が優先的に選択される。
　以上のように、本発明の実施例１であるサムネイル生成装置１は、動画像抽出処理を実行することにより、動画像抽出部２０ａが、動画像の再生時間と顔検出時間間隔毎に顔検出された顔検出領域の数と、顔検出された顔検出領域のサイズ（幅と高さ）とに基づいて、所定時間連続して顔検出されなかったフレームを除く動画像から、動画像の再生時間を越えない、動画サムネイルの再生時間分の動画像（フレーム）を抽出することができる。
　これにより、選択された静止画サムネイルに対応する動画サムネイルを生成するために、記録媒体Ａに記録された動画像を構成するフレームのうち、適切な区間分のフレームを抽出することができる。
≪動画サムネイル生成及び表示処理≫
　本発明の実施例１であるサムネイル生成装置１の動画サムネイル生成及び表示処理の詳細について説明する。
　図９は、本発明の実施例１であるサムネイル生成装置１における動画サムネイル生成及び表示処理を示したフローチャートである。
　まず、ＣＰＵ２０の縮小拡大率算出部２０ｂは、区間のカウンタｋの値に初期値として“０”を代入し（ステップＳ３０１）、顔検出領域のカウンタｊの値に初期値として“１”を代入する（ステップＳ３０２）。
　次に、ＣＰＵ２０の縮小拡大率算出部２０ｂは、確定抽出区間数Ｓｆ分だけ抽出された「顔あり区間」のうち、第ｋ区間において、顔検出情報に含まれる顔検出領域のサイズ（幅と高さ）に基づいて、顔検出領域（顔の領域）の面積の総和Ｂを算出する（ステップＳ３０３）。
　さらに、ＣＰＵ２０の縮小拡大率算出部２０ｂは、第ｋ区間において、顔検出情報に含まれる顔検出領域の左上の座標（Ｘ，Ｙ）と、顔検出領域のサイズ（幅と高さ）とに基づいて、顔検出領域を囲む動画像と同一のアスペクト比（１６：９）の矩形領域（顔表示領域）の面積Ａを算出する（ステップＳ３０４）。
　図１０は、本発明の実施例１であるサムネイル生成装置１が備えるＣＰＵ２０の縮小拡大率算出部２０ｂによる顔検出領域を囲むアスペクト比１６：９の矩形領域の面積Ａの算出を説明した図である。（ａ）は、ある区間内におけるｔ１時点からｔ５時点までにおける顔検出領域を示しており、（ｂ）は、（ａ）示した顔検出領域を積分した場合におけるフレームの図であり、（ｃ）は、顔検出領域がフレーム内で分散している場合の図であり、（ｄ）は、顔検出領域がフレーム内で密集している場合の図である。
　図１０（ａ）に示すように、ｔ１時点～ｔ５時点において、時間の経過と共に、検出された顔検出領域３０１～３０５の位置が少しずつ移動している。
　そして、これらの顔検出領域３０１～３０５を積分すると、図１０（ｂ）に示すように、積分顔検出領域４０１となる。
　縮小拡大率算出部２０ｂは、この積分顔検出領域４０１を囲むアスペクト比（１６：９）の矩形領域４０２の面積Ａを算出する。
　縮小拡大率算出部２０ｂは、このようにして矩形領域の面積Ａを算出するので、顔検出領域３０１～３０５がフレーム内で分散していた場合、図１０（ｃ）に示すように、矩形領域４０３の面積Ａは大きくなり、顔検出領域３０１～３０５がフレーム内で密集していた場合、図１０（ｄ）に示すように、矩形領域４０４の面積Ａは小さくなる。
　次に、ＣＰＵ２０の縮小拡大率算出部２０ｂは、ステップＳ３０４において算出された矩形領域の面積Ａに対するステップＳ３０３において算出された顔検出領域の面積の総和Ｂが所定の閾値Ｒより小さいか否かを判定する（ステップＳ３０５）。
　ここで、この閾値Ｒは、小さすぎると、後述するように、矩形領域の面積Ａが大きくても、矩形領域の面積が動画サムネイルの面積と同一となるように、動画像の縮小拡大率を算出するので、動画サムネイルの効果的な拡大表示ができなくなる。また、閾値Ｒは、大きすぎると、矩形領域の面積Ａが小さく、複数の顔検出領域それぞれが拡大されるようにしたい場合でも、評価点Ｐが最大の１つの顔検出領域のみを拡大するように、動画像の縮小拡大率を算出してしまうので、この場合も動画サムネイルの効果的な拡大表示ができなくなる。
　ステップＳ３０５において、矩形領域の面積Ａに対する顔検出領域の面積の総和Ｂが所定の閾値Ｒ以上であると判定された場合（ＮＯの場合）、縮小拡大率算出部２０ｂは、矩形領域のサイズ（幅と高さ）が動画サムネイルのサイズ（幅と高さ）と同一となるように、動画像の縮小拡大率を算出する（ステップＳ３０６）。
　図１１は、本発明の実施例１であるサムネイル生成装置１が備える縮小拡大率算出部２０ｂによる動画像の縮小拡大率の算出を説明した図である。（ａ）は、縮小拡大する動画像のフレームの一例を示しており、（ｂ）は、ＯＳＤ画面１７ａの一例を示している。
　図１１（ａ）に示すように、動画像のフレームのサイズがＸ×Ｙ（アスペクト比１６：９）、矩形領域５０１のサイズがＸ２×Ｙ２（アスペクト比１６：９）であり、図１１（ｂ）に示すように、ＯＳＤ画面１７ａの動画サムネイルのサイズ、即ちハイライト枠１７ｋのサイズがＸ１×Ｙ１（アスペクト比１６：９）であるとする。
　この場合、縮小拡大率算出部２０ｂは、矩形領域５０１のサイズがハイライト枠１７ｋのサイズと同一となるように、動画像の縮小拡大率を算出する。即ち縮小拡大率をＱとすると、下記の（数式１）を用いて縮小拡大率Ｑを算出する。
　Ｑ＝（Ｘ１／Ｘ）×（Ｘ１／Ｘ２）　　・・・（数式１）
　なお、（Ｘ１／Ｘ２）のＸ２の値は、図１１（a）に示したオリジナルの動画像のフレーム中のＸ２の大きさではなく、図１１（ｂ）に示した動画サムネイルに合わせられた動画像のフレーム中のＸ２の大きさを表している。このように、縮小拡大率算出部２０ｂは、矩形領域５０１のサイズがハイライト枠１７ｋのサイズと同一となるように、動画像の縮小拡大率を算出するので、（Ｘ１／Ｘ）よりも（Ｘ１／Ｘ２）が大きい場合、動画サムネイルとしては拡大されて表示されているように見えるが、実際には、この動画サムネイルの画像は元の動画像から縮小または拡大されて表示されることとなる。
　一方、図９におけるステップＳ３０５において、矩形領域の面積Ａに対する顔検出領域の面積の総和Ｂが所定の閾値Ｒ未満であると判定された場合（ＹＥＳの場合）、縮小拡大率算出部２０ｂは、第ｋ区間において、Ｎ個の顔検出された顔検出領域のうち第ｊ番目の顔検出領域の評価点Ｐ（ｊ）を、下記の（数式２）を用いて算出する（ステップＳ３０７）。
　Ｐ（ｊ）＝第ｊ番目の顔検出領域の面積－（画面の中央から第ｊ番目の顔検出領域の中央までの長さ）２×０．２・・・（数式２）
　そして、縮小拡大率算出部２０ｂは、カウンタｊの値を“１”だけ加算した後（ステップＳ３０８）、カウンタｊの値が、顔検出された顔検出領域の数Ｎを越えたか否かを判定する（ステップＳ３０９）。
　ステップＳ３０９において、カウンタｊの値が顔検出された顔検出領域の数Ｎを越えたと判定された場合（ＹＥＳの場合）、縮小拡大率算出部２０ｂは、Ｎ個の顔検出された顔検出領域のうち、画面の中心に近くかつ面積が大きい顔検出領域、即ち、評価点Ｐの値が最も高い顔検出領域を代表領域として選択する（ステップＳ３１０）。
　次に、縮小拡大率算出部２０ｂは、ステップＳ３１０において選択された代表領域のサイズ（幅と高さ）が動画サムネイルのサイズ（幅と高さ）と略同一となるように、動画像の縮小拡大率を算出する（ステップＳ３１１）。
　図１２は、本発明の実施例１であるサムネイル生成装置１が備える縮小拡大率算出部２０ｂによる動画像の縮小拡大率の算出を説明した図である。（ａ）は、縮小または拡大する動画像のフレームの一例を示しており、（ｂ）は、ＯＳＤ画面１７ａの一例を示している。
　図１２（ａ）に示すように、動画像のフレームのサイズがＸ×Ｙ（アスペクト比１６：９）、代表領域５０２のサイズがＸ３×Ｙ３（アスペクト比１６：９）であり、図１２（ｂ）に示すように、ＯＳＤ画面１７ａの動画サムネイルのサイズ、即ちハイライト枠１７ｋのサイズがＸ１×Ｙ１（アスペクト比１６：９）であるとする。
　この場合、縮小拡大率算出部２０ｂは、代表領域５０２のサイズがハイライト枠１７ｋのサイズと同一となるように、動画像の縮小拡大率を算出する。即ち縮小拡大率をＱとすると、上述した（数式１）を用いて、Ｘ２，Ｙ２をそれぞれＸ３，Ｙ３に置き換えることにより縮小拡大率Ｑを算出する。
　このように、縮小拡大率算出部２０ｂが、ステップＳ３１０において選択された代表領域のサイズ（幅と高さ）が動画サムネイルのサイズ（幅と高さ）と略同一となるように、動画像の縮小拡大率を算出するので、人物の顔が拡大されやすくなり、利用者は動画像の内容を把握し易くなる。
　次に、縮小拡大部１５は、縮小拡大率算出部２０ｂにより算出された縮小拡大率に基づいて、動画像を縮小または拡大し、動画サムネイルを生成する（ステップＳ３１２）。
　これにより、この生成した動画サムネイルを含む再生画像データが供給された加算器１６は、ＯＳＤ画像データに基づいて、動画再生画面の上にＯＳＤ画面が重なるように、２つの画面を合成し、この合成された画面をユーザインタフェース部１７に表示させる。
　次に、ＣＰＵ２０の縮小拡大率算出部２０ｂは、カウンタｋの値を“１”だけ加算した後（ステップＳ３１３）、カウンタｋが確定抽出区間数Ｓｆ以上か否かを判定し（ステップＳ３１４）、カウンタｋが確定抽出区間数Ｓｆ以上になるまで、ステップＳ３０３～Ｓ３１４の処理を繰り返し実行する。
　以上のように、本発明の実施例１であるサムネイル生成装置１によれば、利用者にとって動画像の内容が把握しやすい動画サムネイルを生成し、表示することができる。
　なお、本発明の実施例１では、ビデオカメラ１０１から媒体Ａを介して、検出された人物の顔に関する顔検出情報が供給され、供給された顔検出情報に基づいて、動画サムネイルを生成するサムネイル生成装置を例に挙げて説明したが、これに限らず、ビデオカメラ１０１とネットワークを介して接続され、このネットワークを介してビデオカメラ１０１から検出された人物の顔に関する顔検出情報が供給され、供給された顔検出情報に基づいて、動画サムネイルを生成するようにしてもよい。
　本発明の実施例１では、撮像された動画像に基づいて人物の顔を検出する顔検出装置が適用されたビデオカメラ１０１により、記録媒体Ａを介して、検出された人物の顔に関する顔検出情報が供給され、供給された顔検出情報に基づいて、動画像を縮小または拡大して動画サムネイルを生成するサムネイル生成装置を例に挙げて説明したが、さらに、登録された顔特徴情報に基づいて、動画像を縮小または拡大して動画サムネイルを生成するようにしてもよい。
　そこで、本発明の実施例２では、撮像された動画像に基づいて人物の顔を検出する顔検出装置が適用されたビデオカメラ１０１により、記録媒体Ａを介して、検出された人物の顔に関する顔検出情報が供給され、供給された顔検出情報と顔特徴情報とに基づいて、動画像を縮小または拡大して動画サムネイルを生成するサムネイル生成装置を例に挙げて説明する。
＜ビデオカメラ１０１の構成＞
　本発明の実施例２であるサムネイル生成装置に供給するためのＡＶストリーム及びストリーム管理情報を記録媒体Ａに記録するビデオカメラ１０１の構成は、本発明の実施例１であるサムネイル生成装置１に供給するためのＡＶストリーム及びストリーム管理情報を記録媒体Ａに記録するビデオカメラ１０１と同一構成を有するので、説明を省略する。
＜サムネイル生成装置の構成＞
　図１３は、本発明の実施例２であるサムネイル生成装置１Ａの構成を示した構成図である。
　図１３に示すように、本発明の実施例２であるサムネイル生成装置１Ａは、デマルチプレクサ１１と、ＡＣ３デコーダ１２と、スピーカ１３と、Ｈ．２６４デコーダ１４と、縮小拡大部１５と、加算器１６と、ユーザインタフェース部１７と、ＯＳＤ生成部１８と、ＣＰＵ２０Ａと、動画サムネイル時間記憶部１９と、顔特徴情報記憶部２１とを備える。
　このうち、デマルチプレクサ１１と、ＡＣ３デコーダ１２と、スピーカ１３と、Ｈ．２６４デコーダ１４と、縮小拡大部１５と、加算器１６と、ユーザインタフェース部１７と、ＯＳＤ生成部１８と、動画サムネイル時間記憶部１９とは、本発明の実施例１であるサムネイル生成装置１が備えるそれぞれ同一符号が付された構成と同一であるので、説明を省略する。
　顔特徴情報記憶部２１は、人物を一意に識別する人物ＩＤと、顔の特徴情報とを関連付けて顔特徴情報として記憶する。
　図１４は、本発明の実施例２であるサムネイル生成装置１Ａが備える顔特徴情報記憶部２１に記憶された顔特徴情報の一例を示した図である。
　図１４に示すように、カラム名“人物ＩＤ”（符号６０１）と、カラム名“特徴情報”（符号６０２）とが関連付けられて、顔特徴情報として記憶されている。なお、顔特徴情報とは、目、鼻、及び口等の大きさ及び形等の人物の顔を一意に識別可能な顔の特徴を示す情報である。
　ＣＰＵ２０Ａは、サムネイル生成装置１Ａの中枢的な制御を行う。また、ＣＰＵ２０Ａは、その機能上、動画像抽出部２０ａと、縮小拡大率算出部２０ｃとを備える。
　動画像抽出部２０ａは、動画像の再生時間と顔検出時間間隔毎に検出された顔画像の数とに基づいて、所定時間連続して顔検出されなかった時間を除く動画像のフレームから、動画サムネイルの再生時間を越えない時間分の動画像のフレームを抽出する。
　縮小拡大率算出部２０ｃは、ビデオカメラ１０１から顔特徴情報を含む顔検出情報が供給された場合に、供給された顔検出情報に含まれる顔特徴情報が、顔特徴情報記憶部２１に記憶されている顔特徴情報に一致又は近似しているか否かを判定し、一致又は近似していると判定された場合に、この一致又は近似している顔特徴情報に対応する顔検出領域が最大になるように動画像の縮小拡大率を算出する。
　具体的には、縮小拡大率算出部２０ｃは、一致又は近似している顔特徴情報に対応する顔検出領域を登録顔領域として選択し、この選択された登録顔領域のサイズが動画サムネイルのサイズと略同一となるように、動画像の縮小拡大率を算出する。
　図１５は、本発明の実施例２であるサムネイル生成装置１Ａが備える縮小拡大率算出部２０ｃによる動画像の縮小拡大率の算出を説明した図である。（ａ）は、縮小または拡大する動画像のフレームの一例を示しており、（ｂ）は、ＯＳＤ画面１７ａの一例を示している。
　図１５（ａ）に示すように、動画像のフレームのサイズがＸ×Ｙ（アスペクト比１６：９）、登録顔領域６０１のサイズがＸ４×Ｙ４（アスペクト比１６：９）であり、図１５（ｂ）に示すように、ＯＳＤ画面１７ａの動画サムネイルのサイズ、即ちハイライト枠１７ｋのサイズがＸ１×Ｙ１（アスペクト比１６：９）であるとする。
　この場合、縮小拡大率算出部２０ｂは、登録顔領域６０１のサイズがハイライト枠１７ｋのサイズと同一となるように、動画像の縮小拡大率を算出する。即ち縮小拡大率をＱとすると、上述した（数式１）を用いて、Ｘ２，Ｙ２をそれぞれＸ４，Ｙ４に置き換えることにより縮小拡大率Ｑを算出する。
　このように、縮小拡大率算出部２０ｃは、選択された登録顔領域のサイズが動画サムネイルのサイズと略同一となるように、動画像の縮小拡大率を算出するので、登録された人物の顔が拡大されやすくなる。これにより、利用者は所望の人物の顔画像を注目して見やすくなるので、動画像の内容を把握し易くなる。
　以上のように、本発明の実施例２であるサムネイル生成装置１Ａによれば顔特徴情報記憶部２１と、縮小拡大率算出部２０ｃとを備えているので、本発明の実施例１であるサムネイル生成装置１による効果に加えて、予め登録された１人以上の人物を優先的に拡大して動画サムネイルとして表示することができる。
　本実施例２では、検出されている顔の中に、予め記憶している顔の特徴と一致する顔が検出された場合、この一致した顔をのみを処理対象とすることで、例えば、他人の子供と自分の子供が一緒に撮影された動画像においても、自分の子供の顔だけを動画サムネイルで拡大表示させることができる。
　１，１Ａ…サムネイル生成装置
　１１…デマルチプレクサ
　１２…ＡＣ３デコーダ
　１３…スピーカ
　１４…Ｈ．２６４デコーダ
　１５…縮小拡大部
　１６…加算器
　１７…ユーザインタフェース部
　１７ａ…画像表示部
　１７ｂ…操作ボタン
　１７ｃ…スライダー
　１７ｄ…サムネイル表示領域
　１７ｅ…操作ガイド表示領域
　１７ｆ…ページ表示領域
　１７ｇ…画像表示部
　１７ｋ…ハイライト枠
　１７ｈ…動画再生画面
　１７ｊ…動画サムネイル
　１８…ＯＳＤ生成部
　１９…動画サムネイル時間記憶部
　２０，２０Ａ，１３１…ＣＰＵ
　２０ａ…動画像抽出部
　２０ｂ，２０ｃ…縮小拡大率算出部
　２０ｄ…サムネイル区間決定部
　２１…顔特徴情報記憶部
　１０１…ビデオカメラ
　１１１…光学レンズ
　１１２…画像素子部
　１１３…信号処理部
　１１４…Ｈ．２６４エンコーダ
　１１５…マルチプレクサ
　１１６…顔検出部
　１１７…加算器
　１２１…マイク
　１２２…Ａ／Ｄ変換部
　１２３…ＡＣ３エンコーダ

Claims (5)

  1. 　動画像の第１の所定期間内において、前記第１の所定期間よりも短い第２の所定期間毎に、前記動画像を構成する各画像を抽出する動画像抽出部と、
    　抽出された各画像に含まれる人物の顔の領域を積分し、この積分された顔の領域を囲むように顔表示領域を決定し、この決定された顔表示領域のサイズが、予め動画サムネイルを表示するために定められた所定の表示領域のサイズと略同一となるように、前記動画像の縮小拡大率を算出する縮小拡大率算出部と、
    　算出された前記縮小拡大率に基づいて、前記動画像を縮小または拡大し、前記動画サムネイルを生成する動画サムネイル生成部と、
    　を備えたことを特徴とするサムネイル生成装置。
  2. 　前記動画像抽出部によって抽出された各画像のうち、人物の顔の領域が存在する画像の連続する数に基づいて、前記第１の所定期間を１つ以上決定するサムネイル区間決定部
    　を更に備えることを特徴とした請求項１記載のサムネイル生成装置。
  3. 　前記縮小拡大率算出部は、
    　前記顔表示領域の面積の値を分母とし、前記顔の領域の合計面積の値を分子として求めた比の値が、所定の閾値より小さい場合、前記顔の領域のうち中心に近くかつ面積が最も大きい顔の領域を代表領域として、この代表領域のサイズが前記表示領域のサイズと略同一となるように、前記縮小拡大率を算出する
    　ことを特徴とした請求項１又は２記載のサムネイル生成装置。
  4. 　人物の顔を一意に識別可能な顔の特徴を顔特徴情報として記憶する顔特徴情報記憶部と、を更に備え、
    　前記縮小拡大率算出部は、
    　前記顔の領域内に存在する顔の特徴が、前記顔特徴情報記憶部に記憶されている顔特徴情報が示す顔の特徴と一致又は近似しているか否かを判定し、一致又は近似していると判定された場合に、この一致又は近似している顔の特徴に対応する前記顔の領域のサイズを前記表示領域のサイズと略同一となるように、前記縮小拡大率を算出する
    　ことを特徴とした請求項１又は２記載のサムネイル生成装置。
  5. 　動画像の第１の所定期間内において、前記第１の所定期間よりも短い第２の所定期間毎に、前記動画像を構成する各画像を抽出する動画像抽出ステップと、
    　抽出された各画像に含まれる人物の顔の領域を積分し、この積分された顔の領域を囲むように顔表示領域を決定し、この決定された顔表示領域のサイズが、予めサムネイルを表示するために定められた所定の表示領域のサイズと略同一となるように、前記動画像の縮小拡大率を算出する縮小率算出ステップと、
    　算出された前記縮小拡大率に基づいて、前記動画像を縮小または拡大し、前記動画サムネイルを生成する動画サムネイル生成ステップと、
    　を有することを特徴とするサムネイル生成方法。
PCT/JP2010/051100 2009-03-25 2010-01-28 サムネイル生成装置及びサムネイル生成方法 WO2010109943A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP10755744.9A EP2413597B1 (en) 2009-03-25 2010-01-28 Thumbnail generation device and method of generating thumbnail
US13/259,685 US8849093B2 (en) 2009-03-25 2010-01-28 Thumbnail generating apparatus and thumbnail generating method
CN201080013004.3A CN102362491B (zh) 2009-03-25 2010-01-28 缩略图生成装置及缩略图生成方法
KR1020117024660A KR101296152B1 (ko) 2009-03-25 2010-01-28 섬네일 생성 장치 및 섬네일 생성 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-073345 2009-03-25
JP2009073345A JP4640515B2 (ja) 2009-03-25 2009-03-25 サムネイル生成装置、サムネイル生成方法、及びサムネイル生成プログラム

Publications (1)

Publication Number Publication Date
WO2010109943A1 true WO2010109943A1 (ja) 2010-09-30

Family

ID=42780640

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/051100 WO2010109943A1 (ja) 2009-03-25 2010-01-28 サムネイル生成装置及びサムネイル生成方法

Country Status (6)

Country Link
US (1) US8849093B2 (ja)
EP (1) EP2413597B1 (ja)
JP (1) JP4640515B2 (ja)
KR (1) KR101296152B1 (ja)
CN (1) CN102362491B (ja)
WO (1) WO2010109943A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101952260B1 (ko) * 2012-04-03 2019-02-26 삼성전자주식회사 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법
WO2014021005A1 (ja) * 2012-07-31 2014-02-06 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
CN102999599B (zh) * 2012-11-19 2015-10-07 北京奇虎科技有限公司 一种图片展示方法和装置
KR20140100784A (ko) * 2013-02-07 2014-08-18 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
CN104063844B (zh) * 2013-03-21 2019-01-15 腾讯科技（深圳）有限公司 一种缩略图生成方法及系统
JP2014220724A (ja) * 2013-05-10 2014-11-20 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
CN104252696B (zh) * 2013-06-28 2017-12-12 广州华多网络科技有限公司 获取缩略图的方法及装置
CN103927713B (zh) * 2014-04-23 2017-07-18 锤子科技（北京）有限公司 图片缩略图的获取方法及装置
CN104063444A (zh) * 2014-06-13 2014-09-24 百度在线网络技术（北京）有限公司 缩略图的生成方法和装置
KR102252448B1 (ko) 2014-09-12 2021-05-14 삼성전자주식회사 제어 방법 및 그 방법을 처리하는 전자장치
WO2016051803A1 (ja) * 2014-10-03 2016-04-07 パナソニックＩｐマネジメント株式会社 コンテンツ受信装置、コンテンツ受信システム、コンテンツ受信装置の制御方法、およびプログラム
EP3203751A4 (en) 2014-10-03 2017-08-09 Panasonic Intellectual Property Management Co., Ltd. Content reception device, content reception system, content reception device control method, and program
CN104504104B (zh) * 2014-12-30 2018-09-07 百度在线网络技术（北京）有限公司 用于搜索引擎的图片物料处理方法、装置和搜索引擎
JP6579925B2 (ja) * 2015-11-17 2019-09-25 キヤノン株式会社 画像再生装置およびその制御方法ならびにプログラムならびに記録媒体
US10347294B2 (en) * 2016-06-30 2019-07-09 Google Llc Generating moving thumbnails for videos
CN106341623A (zh) * 2016-10-19 2017-01-18 上海传英信息技术有限公司 连拍图片动态缩略图的生成方法及用户终端
US11169661B2 (en) * 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
JP6958226B2 (ja) * 2017-10-23 2021-11-02 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7171212B2 (ja) * 2018-04-02 2022-11-15 キヤノン株式会社 情報処理装置、画像表示方法、コンピュータプログラム、及び記憶媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0746582A (ja) * 1993-07-28 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> 映像切り出し方法
JP2002223412A (ja) * 2001-01-26 2002-08-09 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラムソフトウェア
JP2005210573A (ja) * 2004-01-26 2005-08-04 Mitsubishi Electric Corp 映像表示システム
JP2005269563A (ja) 2004-03-22 2005-09-29 Fuji Photo Film Co Ltd 画像処理装置及び画像再生装置
JP2008147838A (ja) * 2006-12-07 2008-06-26 Sony Corp 画像処理装置、画像処理方法、およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060064716A1 (en) * 2000-07-24 2006-03-23 Vivcom, Inc. Techniques for navigating multiple video streams
JP4489608B2 (ja) * 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法
JP4359773B2 (ja) * 2004-06-22 2009-11-04 ソニー株式会社 画像圧縮処理装置、画像圧縮処理方法および画像圧縮処理プログラム
EP1830361A1 (en) * 2006-03-02 2007-09-05 Sony Corporation Image displaying method and video playback apparatus
JP2008017042A (ja) * 2006-07-04 2008-01-24 Sony Corp 情報処理装置および方法、並びにプログラム
JP4998026B2 (ja) * 2007-03-15 2012-08-15 ソニー株式会社 画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラム
JP4518131B2 (ja) * 2007-10-05 2010-08-04 富士フイルム株式会社 撮像方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0746582A (ja) * 1993-07-28 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> 映像切り出し方法
JP2002223412A (ja) * 2001-01-26 2002-08-09 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラムソフトウェア
JP2005210573A (ja) * 2004-01-26 2005-08-04 Mitsubishi Electric Corp 映像表示システム
JP2005269563A (ja) 2004-03-22 2005-09-29 Fuji Photo Film Co Ltd 画像処理装置及び画像再生装置
JP2008147838A (ja) * 2006-12-07 2008-06-26 Sony Corp 画像処理装置、画像処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2413597A4

Also Published As

Publication number Publication date
KR101296152B1 (ko) 2013-08-19
CN102362491B (zh) 2014-06-18
JP4640515B2 (ja) 2011-03-02
EP2413597A1 (en) 2012-02-01
US8849093B2 (en) 2014-09-30
EP2413597A4 (en) 2013-02-06
JP2010226572A (ja) 2010-10-07
EP2413597B1 (en) 2015-09-30
CN102362491A (zh) 2012-02-22
US20120020643A1 (en) 2012-01-26
KR20120001765A (ko) 2012-01-04

Similar Documents

Publication Publication Date Title
JP4640515B2 (ja) サムネイル生成装置、サムネイル生成方法、及びサムネイル生成プログラム
JP4618166B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5326910B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP4525558B2 (ja) 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム
JP4379409B2 (ja) 撮像装置、および情報処理方法、並びにコンピュータ・プログラム
JP6249202B2 (ja) 画像表示装置、画像表示方法、およびプログラム
CN104092957B (zh) 一种融合人像和语音的屏幕视频生成方法
KR101376455B1 (ko) 화상 처리 장치 및 화상 표시 방법
KR100883066B1 (ko) 텍스트를 이용한 피사체 이동 경로 표시장치 및 방법
KR102170693B1 (ko) 영상재생장치 및 영상재생장치에서 영상정보 제공 방법
US20080022230A1 (en) Information processing apparatus and method, and program
JP5630541B2 (ja) 情報処理装置、情報処理方法およびプログラム
EP1347455A2 (en) Contents recording/playback apparatus and contents edit method
WO2014181529A1 (en) Display control apparatus, display control method, and program
JP4504452B1 (ja) 映像視聴装置及び映像再生制御方法及び記録再生用プログラム
JP5329130B2 (ja) 検索結果表示方法
WO2010125757A1 (ja) 映像音声再生装置、映像音声記録再生装置、映像音声再生方法、および映像音声記録再生方法
JP2009017598A (ja) 撮像装置、および情報処理方法、並びにコンピュータ・プログラム
WO2014181532A1 (en) Display control apparatus, display control method, and program
WO2017022296A1 (ja) 情報管理装置及び情報管理方法、並びに映像再生装置及び映像再生方法
JP6295442B2 (ja) 画像生成装置、撮影装置、画像生成方法及びプログラム
KR101198156B1 (ko) 디지털 비디오 레코더에서의 녹화 및 재생 제어방법
JP2010034918A (ja) 動画像再生装置
JP5868145B2 (ja) 画像処理装置及びその制御方法
JP6295443B2 (ja) 画像生成装置、撮影装置、画像生成方法及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080013004.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10755744

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13259685

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20117024660

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010755744

Country of ref document: EP