JP4379491B2 - Face data recording device, playback device, imaging device, image playback system, face data recording method and program - Google Patents
Face data recording device, playback device, imaging device, image playback system, face data recording method and program Download PDFInfo
- Publication number
- JP4379491B2 JP4379491B2 JP2007134948A JP2007134948A JP4379491B2 JP 4379491 B2 JP4379491 B2 JP 4379491B2 JP 2007134948 A JP2007134948 A JP 2007134948A JP 2007134948 A JP2007134948 A JP 2007134948A JP 4379491 B2 JP4379491 B2 JP 4379491B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- information
- image
- face data
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、顔データ記録装置に関し、特に、顔データを記録する顔データ記録装置、再生装置、撮像装置、画像再生システム、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。 The present invention relates to a face data recording apparatus , and more particularly to a face data recording apparatus , a reproducing apparatus, an imaging apparatus , an image reproducing system, a processing method in these, and a program for causing a computer to execute the method.
従来、静止画や動画等のコンテンツと、このコンテンツに付随するデータであるメタデータとを関連付けて記録しておき、このメタデータを用いて各種操作を容易にするための技術が多数提案されている。 Conventionally, many techniques have been proposed for recording content such as still images and moving images in association with metadata that is data associated with the content, and for facilitating various operations using the metadata. Yes.
また、近年では、静止画や動画等のコンテンツに含まれる人物の顔を検出する技術が存在し、検出された顔に関する情報をメタデータとして登録する技術が提案されている。また、この検出された人物の顔が特定人物の顔であるか否かを識別する識別処理が可能となっている。 In recent years, there is a technique for detecting a human face included in content such as a still image or a moving image, and a technique for registering information about the detected face as metadata has been proposed. Further, identification processing for identifying whether or not the detected face of the person is the face of the specific person is possible.
例えば、撮影された画像から顔を検出し、検出された顔を含む矩形領域と人の名前等の個人情報とをタグ形式でメタデータとして画像ファイルに書き込んで登録するメタデータ登録方法が提案されている(例えば、特許文献1参照。)。
上述の従来技術では、検出された顔を含む矩形領域と個人情報とを含むメタデータが画像ファイルにタグ形式で保存されている。このため、この画像ファイルを閲覧している場合に、例えば、所定の顔をクリックすることによって、その顔に対応して登録されているメタデータを用いた操作を行うことができる。 In the above-described prior art, metadata including a rectangular area including a detected face and personal information is stored in an image file in a tag format. For this reason, when browsing this image file, for example, by clicking a predetermined face, an operation using metadata registered corresponding to the face can be performed.
ここで、画像ファイルを検索する場合について考える。上述の従来技術により登録されたメタデータを用いて画像ファイルの検索をする場合には、メタデータが画像ファイルにタグ形式で書き込まれているため、これらのタグのそれぞれを検出して確認する必要がある。この場合には、タグのそれぞれを検出して確認する時間が必要であり、画像ファイルの検索時間が増大する。このため、コンテンツを迅速に利用することができない。 Here, consider the case of searching for an image file. When searching for an image file using the metadata registered by the above-described conventional technology, the metadata is written in the tag format in the image file, so it is necessary to detect and confirm each of these tags. There is. In this case, it takes time to detect and confirm each of the tags, and the search time for the image file increases. For this reason, the content cannot be used quickly.
そこで、本発明は、メタデータを用いてコンテンツを迅速に利用することを目的とする。 Accordingly, an object of the present invention is to quickly use content using metadata.
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、画像を入力する画像入力部と、上記入力された画像に含まれる被写体の顔を検出する顔検出部と、上記顔検出部の検出結果に基づいて、複数の要素情報から構成される上記検出された顔に関する顔データと、上記複数の要素情報の記録順序に対応してアサインされたビット列であって上記複数の要素情報の有無を記録するデータ構造情報と当該顔が検出された際における上記入力された画像に関する属性情報とを有し上記顔データを管理する顔データ管理情報とを作成し、上記顔データおよび上記顔データ管理情報を記録媒体に記録させる第1の制御部と、上記入力された画像に関する属性情報と上記顔データ管理情報に含まれる属性情報とを比較する比較部と、上記比較部による比較対象となる属性情報が一致した場合に上記データ構造情報に基づいて上記顔データを構成する上記要素情報の有無を確認し、上記複数の要素情報のうち一の要素情報の上記顔データにおける先頭からの記録オフセット値を算出し、上記算出された記録オフセット値に基づいて上記顔データを構成する要素情報から上記一の要素情報を読み出し、当該一の要素情報を用いて上記入力された画像を再生させる第2の制御部とを具備する画像再生システムおよびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力された画像に含まれる被写体の顔を検出し、この検出結果に基づいて顔データおよび顔データ管理情報を作成し、この顔データおよび顔データ管理情報を記録媒体に記録させ、入力された画像に関する属性情報と、顔データ管理情報に含まれる属性情報とを比較し、属性情報が一致した場合に、顔データを構成する要素情報の有無を確認し、一の要素情報の顔データにおける先頭からの記録オフセット値を算出し、この算出された記録オフセット値に基づいて一の要素情報を読み出し、この要素情報を用いて、入力された画像を再生させるという作用をもたらす。 The present invention has been made to solve the above problems, a first aspect of an image input unit for inputting an image and the face detection unit for detecting a face of a subject contained in the input image And a bit string assigned to the face data related to the detected face composed of a plurality of element information and the recording order of the plurality of element information based on the detection result of the face detection unit. Creating face data management information for managing the face data having data structure information for recording presence / absence of the plurality of element information and attribute information on the input image when the face is detected; A first control unit that records the face data and the face data management information on a recording medium; a comparison unit that compares the attribute information about the input image with the attribute information included in the face data management information; When the attribute information to be compared by the comparison unit matches, the presence of the element information constituting the face data is confirmed based on the data structure information, and the element information of one element information among the plurality of element information A recording offset value from the head in the face data is calculated, the one element information is read from the element information constituting the face data based on the calculated recording offset value, and the input is performed using the one element information. An image reproduction system including a second control unit that reproduces a recorded image, a processing method thereof, and a program for causing a computer to execute the method. Thereby, the face of the subject included in the input image is detected, face data and face data management information are created based on the detection result, the face data and face data management information are recorded on the recording medium, and input If the attribute information matches, the attribute information about the generated image is compared with the attribute information included in the face data management information, and the presence / absence of the element information constituting the face data is confirmed. The recording offset value from the head is calculated, one element information is read based on the calculated recording offset value, and the input image is reproduced using the element information .
また、本発明の第2の側面は、画像を入力する画像入力部と、上記入力された画像に含まれる被写体の顔を検出する顔検出部と、上記顔検出部の検出結果に基づいて、複数の要素情報から構成される上記検出された顔に関する顔データと、上記複数の要素情報の記録順序に対応してアサインされたビット列であって上記複数の要素情報の有無を記録するデータ構造情報と当該顔が検出された際における上記入力された画像に関する属性情報とを有し上記顔データを管理する顔データ管理情報とを作成し、上記顔データおよび上記顔データ管理情報を記録媒体に記録させる第1の制御部と、上記入力された画像に関する属性情報と上記顔データ管理情報に含まれる属性情報とを比較する比較部と、上記比較部による比較対象となる属性情報が一致しないと判断された画像について当該画像に含まれる被写体の顔を上記顔検出部に検出させ、当該検出結果に基づいて上記顔データおよび上記顔データ管理情報を作成し、当該作成された顔データおよび顔データ管理情報を上記記録媒体に記録させる第2の制御部とを具備する顔データ記録装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力された画像に含まれる被写体の顔を検出し、この検出結果に基づいて顔データおよび顔データ管理情報を作成し、この顔データおよび顔データ管理情報を記録媒体に記録させ、入力された画像に関する属性情報と、顔データ管理情報に含まれる属性情報とを比較し、属性情報が一致しないと判断された画像について、この画像に含まれる被写体の顔を検出させ、この検出結果に基づいて顔データおよび顔データ管理情報を作成し、この作成された顔データおよび顔データ管理情報を記録媒体に記録させるという作用をもたらす。 The second aspect of the present invention includes an image input unit for inputting an image, a face detection unit that detects a face of a subject contained in the input image, based on the detection result of the face detection unit, Data structure information for recording the presence / absence of the plurality of element information, which is a bit string assigned corresponding to the recording order of the plurality of element information and face data relating to the detected face composed of a plurality of element information And face data management information for managing the face data, and recording the face data and the face data management information on a recording medium. A first control unit that performs comparison, a comparison unit that compares the attribute information about the input image with the attribute information included in the face data management information, and attribute information that is a comparison target by the comparison unit. The face detection unit detects the face of the subject included in the image determined not to be generated, creates the face data and the face data management information based on the detection result, the created face data and A face data recording apparatus including a second control unit that records face data management information on the recording medium, a processing method thereof, and a program for causing a computer to execute the method. Thereby, the face of the subject included in the input image is detected, face data and face data management information are created based on the detection result, the face data and face data management information are recorded on the recording medium, and input The attribute information related to the captured image is compared with the attribute information included in the face data management information, and for the image determined to be inconsistent with the attribute information, the face of the subject included in the image is detected. Based on this, face data and face data management information are created, and the created face data and face data management information are recorded on a recording medium .
また、この第2の側面において、上記データ構造情報は、連続して割り当てられたビット列を有するデータ構造であって上記記録順序で記録された各要素情報に対して当該記録順序に従って所定のフラグがアサインされており、上記フラグは、上記顔データ内における当該フラグに対応する上記要素情報の有無を示すことができる。これにより、連続して割り当てられたビット列を有するデータ構造を具備し、顔データ内における要素情報の有無を示すフラグが、顔データの記録順序に従ってアサインされたデータ構造情報を有する顔データ管理情報を作成するという作用をもたらす。 In the second aspect, the data structure information is a data structure having continuously assigned bit strings, and a predetermined flag is set according to the recording order for each element information recorded in the recording order. Assigned, the flag can indicate the presence or absence of the element information corresponding to the flag in the face data. Thus, comprises a data structure having a bit string assigned consecutively, flag indicating the presence or absence of element information in the face data, the face data management information having a data structure information that are assigned in accordance with the recording order of the face data The effect is to create.
また、この第2の側面において、上記データ構造情報は、上記要素情報以外の拡張顔データに割り当てるための予約ビット列を有することができる。これにより、要素情報以外の拡張顔データに割り当てるための予約ビット列を有するデータ構造情報を具備する顔データ管理情報を作成するという作用をもたらす。 In the second aspect, the data structure information may have a reserved bit string for allocating to extended face data other than the element information. This produces an effect of creating face data management information including data structure information having a reserved bit string to be assigned to extended face data other than element information.
また、この第2の側面において、上記第1の制御部は、上記顔検出部により検出された顔について所定の条件を満たさない顔については当該顔に関する顔データを作成しないことができる。これにより、検出された顔について所定の条件を満たさない顔については、顔に関する顔データを作成しないという作用をもたらす。 In the second aspect, the first control unit may not create face data relating to a face detected by the face detection unit for a face that does not satisfy a predetermined condition. This brings about the effect that face data relating to the face is not created for a face that does not satisfy the predetermined condition for the detected face.
また、この第2の側面において、上記顔データ管理情報は、対応する上記顔データのデータ容量を示すデータ容量情報と当該顔データのバージョンを示すバージョン情報とを含むことができる。これにより、対応する顔データのデータ容量を示すデータ容量情報と、その顔データのバージョンを示すバージョン情報とを含む顔データ管理情報を作成するという作用をもたらす。 In the second aspect, the face data management information can include data capacity information indicating a data capacity of the corresponding face data and version information indicating a version of the face data. This brings about the effect that the face data management information including the data capacity information indicating the data capacity of the corresponding face data and the version information indicating the version of the face data is created.
また、この第2の側面において、上記顔データは、上記顔検出部により検出された顔の位置、その大きさ、顔らしさを示す顔スコア、笑顔の度合いを示す笑顔スコア、その検出時刻、上記入力された画像におけるその顔の重要度の少なくとも1つを含むことができる。これにより、検出された顔の位置、その大きさ、顔らしさを示す顔スコア、笑顔の度合いを示す笑顔スコア、その検出時刻、上記入力された画像におけるその顔の重要度の少なくとも1つを含む顔データを作成するという作用をもたらす。 In the second aspect, the face data includes the position of the face detected by the face detection unit , its size, a face score indicating the likelihood of a face, a smile score indicating the degree of smile, its detection time, At least one of the importance levels of the face in the input image may be included. This includes at least one of the position of the detected face , its size, a face score indicating the likelihood of a face, a smile score indicating the degree of smile, its detection time, and the importance of the face in the input image. This produces the effect of creating face data.
また、この第2の側面において、上記画像入力部は、上記画像として動画を入力し、上記顔検出部は、上記動画に含まれる顔を所定間隔で検出することができる。これにより、動画に含まれる顔を所定間隔で検出するという作用をもたらす。また、この場合において、上記第1の制御部は、上記検出された顔に関する上記顔データおよび上記顔データ管理情報を当該顔が検出された動画に対応する動画ファイルに記録することができる。これにより、検出された顔に関する顔データおよび顔データ管理情報を、顔が検出された動画ファイルに記録するという作用をもたらす。 Further, in the second aspect, the image input unit inputs a video as the image, the face detecting section can it detect a face contained in the video at predetermined intervals. This brings about the effect | action of detecting the face contained in a moving image at a predetermined space | interval. In this case, the first control unit can record the face data related to the detected face and the face data management information in a moving image file corresponding to the moving image in which the face is detected. As a result, the face data and the face data management information relating to the detected face are recorded in the moving image file in which the face is detected.
また、この第2の側面において、上記画像入力部は、上記画像としてAVCコーデックされた動画を入力し、上記顔検出部は、SPSが付加されたAUに含まれるIDRピクチャまたはIピクチャにおいて顔を検出することができる。これにより、SPSが付加されたAUに含まれるIDRピクチャまたはIピクチャにおいて顔を検出するという作用をもたらす。また、この場合において、上記第1の制御部は、上記検出された顔に関する上記顔データおよび上記顔データ管理情報を当該顔が検出されたIDRピクチャまたはIピクチャを含む上記AUにおけるSEIに記録することができる。これにより、検出された顔に関する顔データおよび顔データ管理情報を、顔が検出されたIDRピクチャまたはIピクチャを含むAUにおけるSEIに記録するという作用をもたらす。 Also, in this second aspect, the image input unit inputs a video that has been AVC codec as the image, and the face detection unit detects a face in the IDR picture or I picture included in the AU to which the SPS is added. Can be detected. This brings about the effect that the face is detected in the IDR picture or I picture included in the AU to which the SPS is added. In this case, the first control unit records the face data and the face data management information related to the detected face in the SEI in the AU including the IDR picture or I picture in which the face is detected. be able to. As a result, the face data and the face data management information regarding the detected face are recorded in the SEI in the AU including the IDR picture or I picture from which the face is detected.
また、この第2の側面において、上記画像入力部は、上記画像として静止画を入力し、上記第1の制御部は、上記検出された顔に関する上記顔データおよび上記顔データ管理情報を当該顔が検出された静止画に対応する静止画ファイルに記録することができる。これにより、検出された顔に関する顔データおよび顔データ管理情報を、顔が検出された静止画ファイルに記録するという作用をもたらす。 In the second aspect, the image input unit inputs a still image as the image, and the first control unit receives the face data and the face data management information related to the detected face. Can be recorded in a still image file corresponding to the detected still image . As a result, the face data and the face data management information relating to the detected face are recorded in the still image file from which the face is detected.
また、本発明の第3の側面は、画像に含まれる顔に関するデータであって複数の要素情報から構成される顔データと、上記複数の要素情報の記録順序に対応してアサインされたビット列であって上記複数の要素情報の有無を記録するデータ構造情報と当該顔が検出された際における上記画像に関する属性情報とを有し上記顔データを管理する顔データ管理情報とを入力する入力部と、上記画像に関する属性情報と上記顔データ管理情報に含まれる属性情報とを比較する比較部と、上記比較部による比較対象となる属性情報が一致した場合に上記データ構造情報に基づいて上記顔データを構成する上記要素情報の有無を確認し、上記複数の要素情報のうち一の要素情報の上記顔データにおける先頭からの記録オフセット値を算出し、上記算出された記録オフセット値に基づいて上記顔データを構成する要素情報から上記一の要素情報を読み出し、当該一の要素情報を用いて上記画像を再生させる制御部とを具備する再生装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、画像に関する属性情報と、顔データ管理情報に含まれる属性情報とを比較し、属性情報が一致した場合に、顔データを構成する要素情報の有無を確認し、一の要素情報の顔データにおける先頭からの記録オフセット値を算出し、この算出された記録オフセット値に基づいて一の要素情報を読み出し、この要素情報を用いて、画像を再生させるという作用をもたらす。 According to a third aspect of the present invention , there is face data composed of a plurality of element information and data relating to a face included in an image, and a bit string assigned corresponding to the recording order of the plurality of element information. An input unit for inputting data structure information for recording presence / absence of the plurality of element information and face data management information for managing the face data having attribute information regarding the image when the face is detected; The face data based on the data structure information when the attribute information on the image and the attribute information included in the face data management information match with the attribute information to be compared by the comparison unit. And the recording offset value from the head of the face data of one element information among the plurality of element information is calculated, and the calculated It was based on the recording offset value read out element data of the one from the element information constituting the face data, reproducing apparatus and a processing method using the element information of the one and a control unit for reproducing the image, as well as A program for causing a computer to execute the method. As a result, the attribute information related to the image is compared with the attribute information included in the face data management information. When the attribute information matches, the presence / absence of the element information constituting the face data is confirmed. The recording offset value from the head in the data is calculated, one element information is read based on the calculated recording offset value, and an image is reproduced using the element information .
また、この第3の側面において、上記属性情報は、当該属性情報に対応する画像が更新された日時を示す更新日時を含み、上記顔データ管理情報は、対応する顔が検出された際における画像が更新された日時を示す更新日時を上記属性情報として含み、上記比較部は、上記画像に関する属性情報に含まれる更新日時と上記顔データ管理情報に含まれる更新日時とを比較することができる。これにより、画像の更新日時と、その画像に関する顔データ管理情報に含まれる更新日時とを比較して、更新日時が一致すると判断された画像に含まれる顔に関する顔データについて所定の要素情報を読み出すという作用をもたらす。 In the third aspect, the attribute information includes an update date and time indicating the date and time when an image corresponding to the attribute information is updated, and the face data management information is an image when a corresponding face is detected. The attribute information includes an update date and time indicating the date and time when the image is updated, and the comparison unit can compare the update date and time included in the attribute information on the image with the update date and time included in the face data management information . As a result, the update date / time of the image is compared with the update date / time included in the face data management information related to the image, and predetermined element information regarding the face data related to the face included in the image determined to match the update date / time is read out. This brings about the effect.
また、この第3の側面において、上記比較部による比較対象となる属性情報が一致しないと判断された画像に含まれる被写体の顔を検出する顔検出部をさらに具備し、上記制御部は、上記顔検出部の検出結果に基づいて、上記顔データおよび上記顔データ管理情報を作成し、上記作成された顔データおよび上記作成された顔データ管理情報を記録媒体に記録させることができる。これにより、属性情報が一致しないと判断された画像については、その画像に含まれる被写体の顔に基づいて顔に関する顔データを作成するとともに、顔データを管理する顔データ管理情報を作成し、その画像と顔データおよび顔データ管理情報とを関連付けて記録媒体に記録するという作用をもたらす。 In addition, in the third aspect, the image processing apparatus further includes a face detection unit that detects a face of a subject included in an image that is determined that attribute information to be compared by the comparison unit does not match. The face data and the face data management information can be created based on the detection result of the face detection unit, and the created face data and the created face data management information can be recorded on a recording medium . As a result, for an image for which attribute information is determined not to match, face data related to the face is created based on the face of the subject included in the image, and face data management information for managing the face data is created. The image, the face data, and the face data management information are associated and recorded on the recording medium .
また、この第3の側面において、上記比較部による比較対象となる属性情報が一致しないと判断された場合には、当該一致しないと判断された画像とは異なる画像に対応する顔データおよび顔データ管理情報を検索する検索部をさらに具備することができる。これにより、属性情報が一致しないと判断された場合には、一致しないと判断された画像とは異なる画像に対応する顔データおよび顔データ管理情報を検索するという作用をもたらす。 In the third aspect, when it is determined that the attribute information to be compared by the comparison unit does not match, the face data and the face data corresponding to an image different from the image determined not to match The information processing apparatus may further include a search unit that searches for management information. Thereby, when it is determined that the attribute information does not match, the face data and the face data management information corresponding to an image different from the image determined not to match are retrieved.
また、この第3の側面において、上記属性情報は、当該属性情報に対応する画像の大きさを示す画像サイズを含み、上記顔データ管理情報は、対応する顔が検出された際における画像の画像サイズを上記属性情報として含み、上記比較部は、上記画像に関する属性情報に含まれる画像サイズと上記顔データ管理情報に含まれる画像サイズとを比較することができる。これにより、画像サイズが一致すると判断された画像については、その画像に含まれる顔に関する顔データについて所定の要素情報を読み出すという作用をもたらす。
また、この第3の側面において、上記属性情報は、当該属性情報に対応する画像に関する回転情報を含み、上記制御部は、上記比較部による比較対象となる属性情報が一致した場合に上記画像に関する属性情報に含まれる回転情報の有無と当該回転情報が無効値か否かとを確認し、当該回転情報が存在するとともに当該回転情報が無効値ではないと確認された画像に含まれる顔に関する顔データについて上記一の要素情報を読み出すことができる。これにより、回転情報が存在するとともに、この回転情報が無効値ではないと確認された画像については、その画像に含まれる顔に関する顔データについて所定の要素情報を読み出すという作用をもたらす。
In the third aspect, the attribute information includes an image size indicating a size of an image corresponding to the attribute information, and the face data management information is an image of an image when a corresponding face is detected. A size is included as the attribute information, and the comparison unit can compare the image size included in the attribute information regarding the image with the image size included in the face data management information . As a result, for the image determined to have the same image size, the predetermined element information is read out from the face data related to the face included in the image.
In the third aspect, the attribute information includes rotation information about an image corresponding to the attribute information, and the control unit relates to the image when the attribute information to be compared by the comparison unit matches. The presence / absence of the rotation information included in the attribute information and whether or not the rotation information is an invalid value, and face data related to the face included in the image in which the rotation information is present and the rotation information is confirmed not to be an invalid value The above one element information can be read out. As a result, the rotation information is present, and for an image in which the rotation information is confirmed not to be an invalid value, predetermined element information is read for the face data related to the face included in the image.
また、この第3の側面において、上記顔データ管理情報は、対応する画像から求められた誤り検出符号値を含み、上記画像に対応する画像データのうちの少なくとも一部のデータに基づいて誤り検出符号値を算出する誤り検出符号値算出部をさらに具備し、上記比較部は、上記算出された上記画像に関する誤り検出符号値と当該画像に対応する顔データ管理情報に含まれる誤り検出符号値とを比較し、上記制御部は、誤り検出符号値が一致すると判断された画像に含まれる顔に関する顔データについて上記一の要素情報を読み出すことができる。これにより、誤り検出符号値が一致すると判断された画像については、その画像に含まれる顔に関する顔データについて所定の要素情報を読み出すという作用をもたらす。 In the third aspect, the face data management information includes an error detection code value obtained from a corresponding image, and error detection is performed based on at least a part of the image data corresponding to the image. An error detection code value calculation unit that calculates a code value; and the comparison unit includes an error detection code value related to the calculated image and an error detection code value included in face data management information corresponding to the image. compare, the control unit can be the face data relating to a face included in an image is determined to an error detection code value matches reads the element information of the one. As a result, for an image that is determined to have the same error detection code value, there is an effect that predetermined element information is read for face data relating to the face included in the image.
また、この第3の側面において、上記顔データ管理情報は、上記顔データのバージョンを示すバージョン情報を含み、上記制御部は、上記顔データ管理情報に含まれるバージョン情報に基づいて当該顔データ管理情報に対応する上記顔データが対応可能か否かを判断し、対応可能であると判断された顔データについて上記一の要素情報を読み出すことができる。これにより、顔データ管理情報に含まれるバージョン情報に基づいて、その顔データ管理情報に対応する顔データが対応可能か否かを判断し、対応可能であると判断された顔データについて所定の要素情報を読み出すという作用をもたらす。 In the third aspect, the face data management information includes version information indicating a version of the face data, and the control unit performs the face data management based on the version information included in the face data management information. the face data is determined whether adaptable corresponding to information, for which is determined to be the corresponding face data can be read element information of the one. Thus, based on the version information contained in the face data management information, to determine whether it is possible correspondence corresponding face data on the face data management information, the predetermined on is determined to be the corresponding face data element The effect of reading out information is brought about.
また、本発明の第4の側面は、被写体の画像を撮像する撮像部と、上記撮像された画像に含まれる被写体の顔を検出する顔検出部と、上記顔検出部の検出結果に基づいて、複数の要素情報から構成される上記検出された顔に関する顔データと、上記複数の要素情報の記録順序に対応してアサインされたビット列であって上記複数の要素情報の有無を記録するデータ構造情報と当該顔が検出された際における上記撮像された画像に関する属性情報とを有し上記顔データを管理する顔データ管理情報とを作成し、上記顔データおよび上記顔データ管理情報を記録媒体に記録させる第1の制御部と、上記撮像された画像に関する属性情報と上記顔データ管理情報に含まれる属性情報とを比較する比較部と、上記比較部による比較対象となる属性情報が一致しないと判断された画像について当該画像に含まれる被写体の顔を上記顔検出部に検出させ、当該検出結果に基づいて上記顔データおよび上記顔データ管理情報を作成し、当該作成された顔データおよび顔データ管理情報を上記記録媒体に記録させる第2の制御部とを具備する撮像装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像された画像に含まれる被写体の顔を検出し、この検出結果に基づいて顔データおよび顔データ管理情報を作成し、この顔データおよび顔データ管理情報を記録媒体に記録させ、撮像された画像に関する属性情報と、顔データ管理情報に含まれる属性情報とを比較し、属性情報が一致しないと判断された画像について、この画像に含まれる被写体の顔を検出させ、この検出結果に基づいて顔データおよび顔データ管理情報を作成し、この作成された顔データおよび顔データ管理情報を記録媒体に記録させるという作用をもたらす。 The fourth aspect of the present invention includes an imaging unit for capturing an image of a subject, a face detection unit that detects a face of the subject included in the captured image, based on the detection result of the face detection unit A data structure for recording the presence / absence of the plurality of element information, the face data relating to the detected face composed of a plurality of element information, and a bit string assigned corresponding to the recording order of the plurality of element information Generating face data management information for managing the face data having information and attribute information about the captured image when the face is detected, and storing the face data and the face data management information on a recording medium A first control unit to be recorded; a comparison unit that compares the attribute information about the captured image and the attribute information included in the face data management information; and the attribute information to be compared by the comparison unit For the image determined not to match, the face detection unit detects the face of the subject included in the image, creates the face data and the face data management information based on the detection result, and the created face data And a second control unit that records face data management information on the recording medium, a processing method thereof, and a program for causing a computer to execute the method. Thereby, the face of the subject included in the captured image is detected, face data and face data management information are created based on the detection result, the face data and face data management information are recorded on a recording medium, and imaging is performed. The attribute information related to the captured image is compared with the attribute information included in the face data management information, and for the image determined to be inconsistent with the attribute information, the face of the subject included in the image is detected. Based on this, face data and face data management information are created, and the created face data and face data management information are recorded on a recording medium .
本発明によれば、コンテンツを迅速に利用することができるという優れた効果を奏し得る。 According to the present invention, it is possible to achieve an excellent effect that content can be used quickly.
次に本発明の実施の形態について図面を参照して詳細に説明する。 Next, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の実施の形態における撮像装置100の構成を示すブロック図である。この撮像装置100は、大きく分けると、カメラ部110と、カメラDSP(Digital Signal Processor)120と、SDRAM(Synchronous Dynamic Random Access Memory)121と、制御部130と、操作部140と、媒体インタフェース(以下、媒体I/Fという。)150と、LCD(Liquid Crystal Display)コントローラ161と、LCD162と、外部インタフェース(以下、外部I/Fという。)163と、通信インタフェース(以下、通信I/Fという。)164とを備える。なお、媒体インタフェース150と接続される記録媒体170については、撮像装置100に内蔵するようにしてもよく、撮像装置100から着脱可能とするようにしてもよい。
FIG. 1 is a block diagram illustrating a configuration of an
記録媒体170は、半導体メモリを用いたいわゆるメモリカード、記録可能なDVD(Digital Versatile Disc)、記録可能なCD(Compact Disc)等の光記録媒体、磁気ディスク、HDD(Hard Disk Drive)等の種々のものを用いるようにすることが考えられる。
The
カメラ部110は、光学ブロック111、CCD(Charge Coupled Device)112、前処理回路113、光学ブロック用ドライバ114、CCD用ドライバ115、および、タイミング生成回路116を備えるものである。ここで、光学ブロック111は、レンズ、フォーカス機構、シャッター機構、および、絞り(アイリス)機構などを備えるものである。
The
また、制御部130は、CPU(Central Processing Unit)141、RAM(Random Access Memory)142、フラッシュROM(Read Only Memory)143、および、時計回路144が、システムバス145を通じて接続されて構成されている。制御部130は、例えば、汎用の組み込み型のマイクロコンピュータまたは専用のシステムLSI(Large Scale Integrated circuit)などからなる。また、制御部130は、撮像装置100の各部を制御するものである。
The
ここで、RAM142は、処理の途中結果を一時記憶する等、主に作業領域として用いられるものである。また、フラッシュROM143は、CPU141において実行される種々のプログラムや、処理に必要になるデータなどを記憶したものである。また、時計回路144は、現在年月日、現在曜日、現在時刻を提供するとともに、撮影日時等を提供するものである。
Here, the
そして、画像の撮影時においては、光学ブロック用ドライバ114は、制御部130からの制御に応じて、光学ブロック111を動作させるようにする駆動信号を形成し、これを光学ブロック111に供給して、光学ブロック111を動作させるようにする。光学ブロック用ドライバ114からの駆動信号に応じて、光学ブロック111のフォーカス機構、シャッター機構、および、絞り機構が制御される。光学ブロック111は、被写体の光学的な画像を取り込んで、これをCCD112に結像させる。
At the time of shooting an image, the
CCD112は、光学ブロック111からの光学的な画像を光電変換して、変換により得られた画像の電気信号を出力する。すなわち、CCD112は、CCD用ドライバ115からの駆動信号に応じて動作し、光学ブロック111からの光学的な被写体の画像を取り込むとともに、制御部130によって制御されるタイミング生成回路116からのタイミング信号に基づいて、取り込んだ被写体の画像(画像情報)を電気信号として前処理回路113に供給する。なお、CCD112の代わりに、CMOS(Complementary Metal-Oxide Semiconductor)センサなどの光電変換デバイスを用いるようにしてもよい。
The
また、上述のように、タイミング生成回路116は、制御部130からの制御に応じて、所定のタイミングを提供するタイミング信号を形成するものである。また、CCDドライバ115は、タイミング生成回路116からのタイミング信号に基づいて、CCD112に供給する駆動信号を形成するものである。
Further, as described above, the
前処理回路113は、CCD112から供給された電気信号の画像情報に対して、CDS(Correlated Double Sampling)処理を行って、S/N比を良好に保つようにするとともに、AGC(Automatic Gain Control)処理を行って、利得を制御し、そして、A/D(Analog/Digital)変換を行って、デジタル信号とされた画像データを形成する。
The
前処理回路113においてデジタル信号とされた画像データは、カメラDSP120に供給される。カメラDSP120は、これに供給された画像データに対して、AF(Auto Focus)、AE(Auto Exposure)、および、AWB(Auto White Balance)などのカメラ信号処理を施す。このようにして種々の調整がされた画像データは、例えば、JPEG(Joint Photographic Experts Group)またはJPEG2000などの所定の符号化方式で符号化され、システムバス145および媒体I/F150を通じて記録媒体170に供給され、記録媒体170にファイルとして記録される。また、カメラDSP120は、MPEG4−AVC規格に基づいて、データ圧縮処理およびデータ伸長処理を行う。
The image data converted into a digital signal in the
また、記録媒体170に記録された画像データは、タッチパネルやコントロールキーなどからなる操作部140を通じて受け付けたユーザからの操作入力に応じて、目的とする画像データが媒体I/F150を通じて記録媒体170から読み出され、これがカメラDSP120に供給される。
Also, the image data recorded on the
カメラDSP120は、記録媒体170から読み出され、媒体I/F150を通じて供給された符号化されている画像データを復号し、復号後の画像データをシステムバス145を通じてLCDコントローラ161に供給する。LCDコントローラ161は、これに供給された画像データからLCD162に供給する画像信号を形成し、これをLCD162に供給する。これにより、記録媒体170に記録されている画像データに応じた画像が、LCD162の表示画面に表示される。なお、カメラDSP120は、前処理回路113または記録媒体170から供給された画像データに含まれる顔を検出して、検出された顔に関する情報を制御部130に出力する。
The
また、撮像装置100には、外部I/F163が設けられている。この外部I/F163を通じて、例えば外部のパーソナルコンピュータと接続して、パーソナルコンピュータから画像データの供給を受けて、これを撮像装置100に装着された記録媒体170に記録したり、また、撮像装置100に装着された記録媒体170に記録されている画像データを外部のパーソナルコンピュータ等に供給したりすることもできるものである。
The
また、通信I/F164は、いわゆるネットワークインターフェースカード(NIC)などからなり、ネットワークに接続して、ネットワークを通じて種々の画像データやその他の情報を取得する。
The communication I /
また、外部のパーソナルコンピュータやネットワークを通じて取得し、記録媒体170に記録された画像データ等の情報についても、上述したように、撮像装置100において読み出して再生し、LCD162に表示してユーザが利用することもできる。
Further, as described above, information such as image data acquired through an external personal computer or network and recorded in the
なお、通信I/F164は、IEEE(Institute of Electrical and Electronic Engineers)1394またはUSB(Universal Serial Bus)などの規格に準拠した有線用インタフェースとして設けることも可能であり、また、IEEE802.11a、IEEE802.11b、IEEE802.11g、または、ブルートゥースの規格に準拠した光や電波による無線インタフェースとして設けることも可能である。すなわち、通信I/F164は、有線または無線の何れのインタフェースであってもよい。
The communication I /
このように、撮像装置100は、被写体の画像を撮影して、撮像装置100に装填された記録媒体170に記録することができるとともに、記録媒体170に記録された画像データを読み出して、これを再生し、利用することができるものである。また、外部のパーソナルコンピュータやネットワークを通じて、画像データの提供を受けて、これを撮像装置100に装填された記録媒体170に記録したり、また、読み出して再生したりすることもできる。
As described above, the
次に、本発明の実施の形態で用いる動画コンテンツファイルについて図面を詳細に説明する。 Next, the drawings of the moving image content file used in the embodiment of the present invention will be described in detail.
図2は、撮像装置100で撮影された画像データがMPEG4−AVC(MPEG-4 part10:AVC)で符号化された、ビデオ信号の所定フレームを模式的に示す図である。
FIG. 2 is a diagram schematically illustrating a predetermined frame of a video signal in which image data captured by the
本発明の実施の形態では、MPEG4−AVCで符号化されたビデオ信号の何れかのフレームに含まれる人間の顔を検出し、検出された顔に対応する顔メタデータを記録する記録方法について説明する。 In the embodiment of the present invention, a recording method for detecting a human face included in any frame of a video signal encoded by MPEG4-AVC and recording face metadata corresponding to the detected face will be described. To do.
MPEG4−AVC規格では、動画像符号化処理を扱うVCL(Video Coding Layer)と、符号化された情報を伝送、蓄積する下位システムとの間にNAL(Network Abstraction Layer)が存在する。また、シーケンスやピクチャのヘッダ情報に相当するパラメータセットをVCLで生成された情報と分離して扱うことができる。さらに、MPEG−2システムなどの下位システムへのビットストリームの対応付けは、NALの一区切りである「NALユニット」を単位として行われる。 In the MPEG4-AVC standard, there is a NAL (Network Abstraction Layer) between a VCL (Video Coding Layer) that handles moving image encoding processing and a lower system that transmits and stores encoded information. Also, parameter sets corresponding to sequence and picture header information can be handled separately from the information generated by the VCL. Further, the bit stream is associated with a lower system such as the MPEG-2 system in units of “NAL units” which are one segment of the NAL.
ここでは、主なNALユニットについて説明する。SPS(Sequence Parameter Set)NALユニットには、プロファイル、レベル情報等シーケンス全体の符号化に関わる情報が含まれる。後述するAU(Access Unit)において、SPS NALユニットが挿入されているAU区間が、一般的には1シーケンスとされる。そして、この1シーケンスを編集単位として、ストリームの部分消去、結合等の編集が行われる。PPS(Picture Parameter Set)NALユニットには、エントロピー符号化モード、ピクチャ単位の量子化パラメータ等のピクチャ全体の符号化モードに関する情報が含まれる。 Here, main NAL units will be described. An SPS (Sequence Parameter Set) NAL unit includes information relating to encoding of the entire sequence such as profile and level information. In an AU (Access Unit) described later, an AU section in which an SPS NAL unit is inserted is generally one sequence. Then, editing such as partial deletion and combination of streams is performed with this one sequence as an editing unit. A PPS (Picture Parameter Set) NAL unit includes information related to the coding mode of the entire picture such as an entropy coding mode and a quantization parameter for each picture.
Coded Slice of an IDR picture NALユニットには、IDR(Instantaneous Decoder Refresh)ピクチャの符号化データが格納される。Coded Slice of a non IDR picture NALユニットには、IDRピクチャでない、その他のピクチャの符号化データが格納される。 Coded slice of an IDR picture NAL unit stores encoded data of an IDR (Instantaneous Decoder Refresh) picture. Coded slice of a non IDR picture NAL unit stores encoded data of other pictures that are not IDR pictures.
SEI(Supplemental Enhancement Information)NALユニットには、VCLの符号に必須でない付加情報が格納される。例えば、ランダムアクセスを行うのに便利な情報、ユーザが独自に定義する情報等が格納される。AUD(Access Unit Delimiter) NALユニットは、後述するアクセスユニット(AU)の先頭に付加される。このAUD NALユニットには、アクセスユニットに含まれるスライスの種類を示す情報が含まれる。その他、シーケンスの終了を示すEOS(End Of Sequence)NALユニット、および、ストリームの終了を示すEOST(End Of Stream)NALユニットが定義されている。 In the SEI (Supplemental Enhancement Information) NAL unit, additional information that is not essential for the VCL code is stored. For example, information useful for random access, information uniquely defined by the user, and the like are stored. An AUD (Access Unit Delimiter) NAL unit is added to the head of an access unit (AU) described later. The AUD NAL unit includes information indicating the type of slice included in the access unit. In addition, an EOS (End Of Sequence) NAL unit indicating the end of the sequence and an EOST (End Of Stream) NAL unit indicating the end of the stream are defined.
ビットストリーム中の情報をピクチャ単位にアクセスするために、いくつかのNALユニットをまとめたものをアクセスユニット(AU)と呼ぶ。アクセスユニットには、ピクチャのスライスに相当するNALユニット(Coded Slice of an IDR picture NALユニットまたはCoded Slice of a non IDR picture NALユニット)が必ず含まれる。本発明の実施の形態では、あるSPS NALユニットを含むAUを始点とし、EOS NALユニットを含むAUを終点とした一連のAUの括りを1シーケンスとして定義する。さらにSPSを含むAUは、IDRピクチャまたはIピクチャのスライスに相当されるNALユニットを含むものとする。つまり、1シーケンスの復号化順における先頭には他のピクチャに依存せずに復号可能なIDRピクチャまたはIピクチャを有することになるため、1シーケンスをランダムアクセスの単位、または編集における編集単位とすることが可能となる。 In order to access information in the bitstream in units of pictures, a group of several NAL units is called an access unit (AU). An access unit always includes a NAL unit (Coded Slice of an IDR picture NAL unit or Coded Slice of a non IDR picture NAL unit) corresponding to a slice of a picture. In the embodiment of the present invention, a sequence of AUs starting from an AU including an SPS NAL unit and starting from an AU including an EOS NAL unit is defined as one sequence. Furthermore, the AU including the SPS includes a NAL unit corresponding to a slice of an IDR picture or an I picture. That is, since an IDR picture or I picture that can be decoded without depending on other pictures is included at the head in the decoding order of one sequence, one sequence is a unit of random access or an editing unit in editing. It becomes possible.
例えば、図2に示すように、SPSを含むAU180には、SEI NALユニット181が含まれ、SPSを含むAU190には、SEI NALユニット191が含まれているものとする。このSEI NALユニット181およびSEI NALユニット191については、本発明の実施の形態の変形例において詳細に説明する。
For example, as shown in FIG. 2, it is assumed that the
なお、本発明の実施の形態では、動画コンテンツから人間の顔を抽出する際、その検出の単位をこの1シーケンスとする。すなわち、1シーケンス内において、このシーケンスに含まれる1フレームのみから顔を検出し、他のフレームからは顔を検出しない。ただし、所定シーケンス間隔おきに顔を検出するようにしてもよく、IDRを含むシーケンスおきに顔を検出するようにしてもよい。 In the embodiment of the present invention, when a human face is extracted from moving image content, the unit of detection is defined as one sequence. That is, in one sequence, a face is detected from only one frame included in this sequence, and a face is not detected from other frames. However, a face may be detected every predetermined sequence interval, or a face may be detected every sequence including IDR.
次に、記録媒体170に記録されている実ファイルについて図面を参照して詳細に説明する。
Next, the actual file recorded on the
図3は、ファイルシステム(File System)上に登録されている実ファイルのファイル構造を概略的に示す図である。本発明の実施の形態では、動画または静止画コンテンツファイルとこれらのコンテンツファイルに関する顔メタデータとについて、実ディレクトリとは異なる仮想的なエントリ構造で管理する。具体的には、動画または静止画コンテンツファイル以外に、これらのファイルと顔メタデータとを管理するコンテンツ管理ファイル340が記録媒体170に記録される。
FIG. 3 is a diagram schematically showing the file structure of an actual file registered on the file system. In the embodiment of the present invention, a moving image or still image content file and face metadata related to these content files are managed with a virtual entry structure different from the real directory. Specifically, in addition to the moving image or still image content file, a
ルートディレクトリ300には、動画コンテンツフォルダ310と、静止画コンテンツフォルダ320と、コンテンツ管理フォルダ330とが属する。
A moving
動画コンテンツフォルダ310は、撮像装置100で撮像された動画データである動画コンテンツファイル311および312が属する動画コンテンツフォルダである。なお、この例では、動画コンテンツファイル311および312が動画コンテンツフォルダ310に属するものと想定している。
The moving
静止画コンテンツフォルダ320は、撮像装置100で撮像された静止画データである静止画コンテンツファイル321および322が属する静止画コンテンツフォルダである。なお、この例では、静止画コンテンツファイル321および322が静止画コンテンツフォルダ320に属するものと想定している。
The still
コンテンツ管理フォルダ330は、コンテンツ管理ファイル340が属するコンテンツ管理フォルダである。コンテンツ管理ファイル340は、動画コンテンツフォルダ310および静止画コンテンツフォルダ320に属する各コンテンツファイルを仮想的な階層エントリで管理するファイルであり、プロパティファイル400とサムネイルファイル500とで構成されている。プロパティファイル400は、各コンテンツファイルを仮想的に管理するための管理情報と、各コンテンツファイルの作成日時等のコンテンツ属性情報と、顔メタデータ等の各コンテンツファイルに付随するメタデータとが記録されているファイルである。また、サムネイルファイル500は、各コンテンツファイルの代表サムネイル画像が格納されているファイルである。なお、プロパティファイル400およびサムネイルファイル500の詳細については、図4乃至図8等を参照して詳細に説明する。
The
ここで、動画コンテンツフォルダ310に属する各動画コンテンツファイル、および、静止画コンテンツフォルダ320に属する各静止画コンテンツファイルは、ユーザに可視である。すなわち、ユーザからの操作入力によって、これらのコンテンツファイルに対応する画像をLCD162に表示させることが可能である。
Here, each moving image content file belonging to the moving
一方、コンテンツ管理ファイル340については、コンテンツ管理ファイル340の内容がユーザに改変されることを避けるため、ユーザに不可視とする。コンテンツ管理ファイル340の内容を不可視とする具体的な設定方法として、例えば、ファイルシステムの対象となるコンテンツ管理フォルダ330を不可視にするフラグをオンにすることによってコンテンツ管理ファイル340の内容を不可視とすることができる。さらに、不可視にするタイミングとして、例えば、撮像装置100がUSB(Universal Serial Bus)経由でPC(パーソナルコンピュータ)と接続された場合(マスストレージ接続)において、撮像装置100が接続を感知したとき(接続が正しく行えたという信号をPC(ホスト)から受信したとき)に、上記フラグをオンにするようにしてもよい。
On the other hand, the
次に、プロパティファイル400の仮想的なエントリ構造について図面を参照して詳細に説明する。
Next, the virtual entry structure of the
図4は、プロパティファイル400が管理する仮想フォルダおよび仮想ファイルの構成例を示す図である。
FIG. 4 is a diagram illustrating a configuration example of virtual folders and virtual files managed by the
プロパティファイル400は、上述したように、記録媒体170に記録されている動画または静止画コンテンツファイルを管理するものであり、アプリケーションに応じた柔軟性のある管理方法が可能である。例えば、動画または静止画コンテンツファイルが撮像装置100に記録された日時に応じて管理することができる。また、動画または静止画の種別に応じて管理することができる。ここでは、記録された日時に応じて動画コンテンツファイルを分類して管理する管理方法について説明する。また、各エントリ内に示す数字は、エントリ番号を示す数字である。なお、エントリ番号については、図7を参照して詳細に説明する。
As described above, the
ルートエントリ407は、階層型エントリ構造における最上階層のエントリである。この例では、ルートエントリ407には、動画フォルダエントリ410および静止画フォルダエントリ409が属する。また、プロファイルエントリ408(エントリ番号:#150)は、各ファイルエントリのコーデック情報(符号化フォーマット、画サイズ、ビットレート等)を一括して保存するエントリである。なお、プロファイルエントリ408については、図7(c)を参照して詳細に説明する。静止画フォルダエントリ409は、静止画に関する日付フォルダエントリを下位の階層で管理するエントリである。動画フォルダエントリ410(エントリ番号:#1)は、日付フォルダエントリを下位の階層で管理するエントリである。この例では、動画フォルダエントリ410には、日付フォルダエントリ411および日付フォルダエントリ416が属する。
The root entry 407 is an entry at the highest level in the hierarchical entry structure. In this example, a moving
日付フォルダエントリ411(エントリ番号:#3)および日付フォルダエントリ416(エントリ番号:#5)は、記録媒体170に記録されている動画コンテンツファイルを日付毎に分類して管理するエントリであり、分類された動画コンテンツファイルを下位の階層で管理するエントリである。この例では、日付フォルダエントリ411は、「2006/1/11」に記録された動画コンテンツファイルを管理するエントリとし、日付フォルダエントリ411には動画ファイルエントリ412および動画ファイルエントリ414が属する。また、日付フォルダエントリ416は、「2006/7/28」に記録された動画コンテンツファイルを管理するエントリとし、日付フォルダエントリ416には動画ファイルエントリ417および動画ファイルエントリ419が属する。なお、フォルダエントリの詳細については、図5を参照して詳細に説明する。
The date folder entry 411 (entry number: # 3) and the date folder entry 416 (entry number: # 5) are entries that classify and manage moving image content files recorded on the
動画ファイルエントリ412(エントリ番号:#7)、動画ファイルエントリ414(エントリ番号:#28)、動画ファイルエントリ417(エントリ番号:#14)、動画ファイルエントリ419(エントリ番号:#21)には、記録媒体170に記録されている各動画コンテンツファイルを仮想的に管理するための管理情報と、各動画コンテンツファイルの作成日時等のコンテンツ属性情報とが格納されている。なお、ファイルエントリの詳細については、図5を参照して詳細に説明する。
The movie file entry 412 (entry number: # 7), movie file entry 414 (entry number: # 28), movie file entry 417 (entry number: # 14), movie file entry 419 (entry number: # 21) includes Management information for virtually managing each moving image content file recorded on the
メタデータエントリ413(エントリ番号:#10)、メタデータエントリ415(エントリ番号:#31)、メタデータエントリ418(エントリ番号:#17)、メタデータエントリ420(エントリ番号:#24)は、それぞれ連結されている動画ファイルエントリが管理する動画コンテンツファイルに付随するメタデータを格納するメタデータエントリである。メタデータとして、この例では、動画コンテンツファイルから抽出された顔データが格納される。この顔データは、動画コンテンツファイルから抽出された顔に関する各種データであり、例えば、図11に示すように、顔検出時刻情報、顔基本情報、顔スコア、笑顔スコア等のデータである。なお、メタデータエントリの詳細については、図5乃至図16を参照して詳細に説明する。 The metadata entry 413 (entry number: # 10), the metadata entry 415 (entry number: # 31), the metadata entry 418 (entry number: # 17), and the metadata entry 420 (entry number: # 24) are respectively It is a metadata entry for storing metadata attached to a moving image content file managed by a linked moving image file entry. In this example, face data extracted from a moving image content file is stored as metadata. This face data is various data related to the face extracted from the moving image content file, and is, for example, data such as face detection time information, face basic information, face score, smile score, as shown in FIG. Details of the metadata entry will be described in detail with reference to FIGS.
次に、コンテンツ管理ファイルとコンテンツファイルとの関係について図面を参照して詳細に説明する。 Next, the relationship between the content management file and the content file will be described in detail with reference to the drawings.
図5は、コンテンツ管理ファイル340を構成するプロパティファイル400およびサムネイルファイル500と、動画コンテンツフォルダ310に属する動画コンテンツファイル311乃至316との関係を概略的に示す図である。ここでは、図4に示す日付フォルダエントリ411、動画ファイルエントリ414、メタデータエントリ415と、代表サムネイル画像502と、動画コンテンツファイル312との関係について説明する。
FIG. 5 is a diagram schematically showing the relationship between the
日付フォルダエントリ411は、実コンテンツファイルの日付を仮想的に管理するフォルダエントリであり、「エントリ種別」、「親エントリリスト」、「親エントリ種別」、「子エントリリスト」、「子エントリ種別」、「スロット有効フラグ」、「スロットチェーン」等の情報が格納されている。
The
なお、エントリ番号は、各エントリを識別するための識別番号であり、日付フォルダエントリ411のエントリ番号として「#3」が割り当てられる。なお、このエントリ番号の割り当て方法については、図7および図8を参照して説明する。
The entry number is an identification number for identifying each entry, and “# 3” is assigned as the entry number of the
「エントリ種別」は、このエントリの種類を示すものであり、エントリの種類に応じて「動画フォルダエントリ」、「日付フォルダエントリ」、「動画ファイルエントリ」、「静止画ファイルエントリ」、「メタデータエントリ」等が格納される。例えば、日付フォルダエントリ411の「エントリ種別」には「日付フォルダエントリ」が格納される。
“Entry type” indicates the type of this entry, and “video folder entry”, “date folder entry”, “video file entry”, “still image file entry”, “metadata” depending on the type of entry. “Entry” and the like are stored. For example, “date folder entry” is stored in “entry type” of the
「親エントリリスト」には、このエントリが属する上位の階層エントリである親エントリに対応するエントリ番号が格納される。例えば、日付フォルダエントリ411の「親エントリリスト」には「#1」が格納される。
The “parent entry list” stores an entry number corresponding to a parent entry which is an upper layer entry to which this entry belongs. For example, “# 1” is stored in the “parent entry list” of the
「親エントリ種別」は、「親エントリリスト」に格納されているエントリ番号に対応する親エントリの種類を示すものであり、親エントリの種類に応じて「動画フォルダエントリ」、「日付フォルダエントリ」、「動画ファイルエントリ」、「静止画ファイルエントリ」等が格納される。例えば、日付フォルダエントリ411の「親エントリ種別」には「動画フォルダエントリ」が格納される。
“Parent entry type” indicates the type of the parent entry corresponding to the entry number stored in the “Parent entry list”, and “Movie folder entry” and “Date folder entry” according to the type of the parent entry. , “Moving image file entry”, “still image file entry” and the like are stored. For example, “moving image folder entry” is stored in the “parent entry type” of the
「子エントリリスト」は、このエントリに属する下位階層のエントリである子エントリに対応するエントリ番号が記録される。例えば、日付フォルダエントリ411の「子エントリリスト」には「#7」および「#28」が格納される。
In the “child entry list”, an entry number corresponding to a child entry that is a lower-level entry belonging to this entry is recorded. For example, “# 7” and “# 28” are stored in the “child entry list” of the
「子エントリ種別」は、「子エントリリスト」に格納されているエントリ番号に対応する子エントリの種類を示すものであり、子エントリの種類に応じて「動画フォルダエントリ」、「日付フォルダエントリ」、「動画ファイルエントリ」、「静止画ファイルエントリ」、「メタデータエントリ」等が記録される。例えば、日付フォルダエントリ411の「子エントリ種別」には「動画ファイルエントリ」が格納される。
“Child entry type” indicates the type of child entry corresponding to the entry number stored in the “child entry list”, and “video folder entry” and “date folder entry” according to the type of child entry. , “Moving image file entry”, “still image file entry”, “metadata entry”, and the like are recorded. For example, “moving image file entry” is stored in the “child entry type” of the
「スロット有効フラグ」は、このエントリを構成する各スロットが有効であるか無効であるかを示すフラグである。「スロットチェーン」は、このエントリを構成する各スロットに関するリンクや連結等の情報である。なお、「スロット有効フラグ」および「スロットチェーン」については、図7(b)を参照して詳細に説明する。 The “slot valid flag” is a flag indicating whether each slot constituting this entry is valid or invalid. The “slot chain” is information such as a link or connection regarding each slot constituting this entry. The “slot valid flag” and “slot chain” will be described in detail with reference to FIG.
動画ファイルエントリ414は、実コンテンツファイルを仮想的に管理するファイルエントリであり、仮想管理情報401およびコンテンツ属性情報402が格納されている。仮想管理情報401には、「エントリ種別」、「コンテンツ種別」、「コンテンツアドレス」、「親エントリリスト」、「親エントリ種別」、「子エントリリスト」、「子エントリ種別」、「スロット有効フラグ」、「スロットチェーン」等の情報が格納されている。なお、「エントリ種別」、「親エントリリスト」、「親エントリ種別」、「子エントリリスト」、「子エントリ種別」、「スロット有効フラグ」、「スロットチェーン」については、日付フォルダエントリ411で示したものと同様であるため、ここでの説明は省略する。
The moving
「コンテンツ種別」は、このファイルエントリに対応するコンテンツファイルの種類を示すものであり、ファイルエントリに対応するコンテンツファイルの種類に応じて、「動画コンテンツファイル」、「静止画コンテンツファイル」等が記録される。例えば、動画ファイルエントリ414の「コンテンツ種別」には「動画コンテンツファイル」が格納される。
The “content type” indicates the type of content file corresponding to this file entry, and “video content file”, “still image content file”, etc. are recorded according to the type of content file corresponding to the file entry. Is done. For example, “video content file” is stored in “content type” of the
「コンテンツアドレス」は、記録媒体170に記録されている動画コンテンツファイルの記録位置を示す情報であり、この記録位置情報によって記録媒体170に記録されている動画コンテンツファイルへのアクセスが可能となる。例えば、動画ファイルエントリ414の「コンテンツアドレス」には、動画コンテンツファイル312のアドレスを示す「A312」が格納される。
The “content address” is information indicating the recording position of the moving image content file recorded on the
コンテンツ属性情報402は、仮想管理情報401に格納されているコンテンツファイルの属性情報であり、「作成日時」、「更新日時」、「区間情報」、「サイズ情報」、「サムネイルアドレス」、「プロファイル情報」等の情報が格納されている。
The content attribute information 402 is attribute information of the content file stored in the
「作成日時」には、このファイルエントリに対応するコンテンツファイルが作成された日時が格納される。「更新日時」には、このファイルエントリに対応するコンテンツファイルが更新された日時が格納される。なお、「更新日時」を用いて、メタデータの不整合が判別される。「区間情報」には、このファイルエントリに対応するコンテンツファイルの時間の長さを示す情報が格納される。「サイズ情報」は、このファイルエントリに対応するコンテンツファイルのサイズを示す情報が格納される。 The “date and time of creation” stores the date and time when the content file corresponding to this file entry was created. “Update date and time” stores the date and time when the content file corresponding to this file entry was updated. Note that the inconsistency of metadata is determined using “update date and time”. The “section information” stores information indicating the length of time of the content file corresponding to this file entry. “Size information” stores information indicating the size of the content file corresponding to the file entry.
「サムネイルアドレス」は、サムネイルファイル500に格納されている代表サムネイル画像の記録位置を示す情報であり、この位置情報によってサムネイルファイル500に格納されている代表サムネイル画像へのアクセスが可能となる。例えば、動画ファイルエントリ414の「サムネイルアドレス」には、動画コンテンツファイル312の代表画像である代表サムネイル画像502のサムネイルファイル500内部におけるエントリ番号が格納される。
The “thumbnail address” is information indicating the recording position of the representative thumbnail image stored in the
「プロファイル情報」には、プロファイルエントリ408内部に格納されているビデオ・オーディオエントリ(video audio entry)のエントリ番号が記録されている。なお、ビデオ・オーディオエントリについては、図7(c)を参照して詳細に説明する。
In the “profile information”, an entry number of a video / audio entry (video audio entry) stored in the
メタデータエントリ415には、「エントリ種別」、「親エントリリスト」、「親エントリ種別」、「スロット有効フラグ」、「スロットチェーン」、「メタデータ」等の情報が格納されている。なお、「エントリ種別」、「親エントリリスト」、「親エントリ種別」「スロット有効フラグ」、「スロットチェーン」については、日付フォルダエントリ411で示したものと同様であるため、ここでの説明は省略する。
The
「メタデータ」は、このメタデータエントリが属する上位の階層ファイルエントリである親エントリに対応するコンテンツファイルから取得された各種属性情報(メタデータ)である。この「メタデータ」に格納される各種情報については、図9乃至図16を参照して詳細に説明する。 “Metadata” is various pieces of attribute information (metadata) acquired from a content file corresponding to a parent entry that is an upper layer file entry to which this metadata entry belongs. Various information stored in the “metadata” will be described in detail with reference to FIGS. 9 to 16.
サムネイルファイル500は、各コンテンツファイルの代表画像である代表サムネイル画像が格納されるサムネイルファイルである。例えば、図5に示すように、動画コンテンツフォルダ310に属する動画コンテンツファイル311乃至316の代表画像として、代表サムネイル画像501乃至506がサムネイルファイル500に格納されている。なお、サムネイルファイル500に格納されている各サムネイル画像については、プロパティファイル400に含まれるコンテンツ属性情報402の「サムネイルアドレス」に基づいてアクセスすることができる。また、各コンテンツファイルについては、プロパティファイル400に含まれる仮想管理情報401の「コンテンツアドレス」に基づいてアクセスすることができる。
The
次に、プロパティファイルに格納されている各エントリの親子関係について図面を参照して詳細に説明する。 Next, the parent-child relationship of each entry stored in the property file will be described in detail with reference to the drawings.
図6は、図4に示す動画フォルダエントリ410と、日付フォルダエントリ411と、動画ファイルエントリ412および414と、メタデータエントリ413および415との親子関係を概略的に示す図である。
FIG. 6 is a diagram schematically showing a parent-child relationship among the moving
動画フォルダエントリ410(エントリ番号:#1)には、「子エントリリスト」等の情報が格納されている。例えば、「子エントリリスト」には「#3」および「#5」が格納される。 The movie folder entry 410 (entry number: # 1) stores information such as “child entry list”. For example, “# 3” and “# 5” are stored in the “child entry list”.
日付フォルダエントリ411(エントリ番号:#3)には、「親エントリリスト」、「子エントリリスト」等の情報が格納されている。例えば、「親エントリリスト」には「#1」が格納され、「子エントリリスト」には「#7」および「#28」が格納される。 The date folder entry 411 (entry number: # 3) stores information such as “parent entry list” and “child entry list”. For example, “# 1” is stored in the “parent entry list”, and “# 7” and “# 28” are stored in the “child entry list”.
動画ファイルエントリ412(エントリ番号:#7)および414(エントリ番号:#28)には、「親エントリリスト」、「子エントリリスト」、「コンテンツアドレス」、「サムネイルアドレス」等の情報が格納されている。例えば、動画ファイルエントリ412において、「親エントリリスト」には「#3」が格納され、「子エントリリスト」には「#10」が格納され、「コンテンツアドレス」には「A311」が格納され、「サムネイルアドレス」には「#1」が格納される。なお、「サムネイルアドレス」に格納される「#1」は、サムネイルファイル500におけるエントリ番号であり、プロパティファイル400に格納されている各エントリのエントリ番号とは異なる。なお、「サムネイルアドレス」については、図7を参照した説明において詳細する。
The moving image file entries 412 (entry number: # 7) and 414 (entry number: # 28) store information such as “parent entry list”, “child entry list”, “content address”, “thumbnail address”, and the like. ing. For example, in the moving
メタデータエントリ413(エントリ番号:#10)および415(エントリ番号:#31)には、「親エントリリスト」等の情報が格納されている。例えば、メタデータエントリ413において、「親エントリリスト」には「#7」が格納される。これらの親子関係については、図6において、各エントリの親子関係について、「親エントリリスト」または「子エントリリスト」からの矢印で示す。また、図4に示す動画フォルダエントリ410と、日付フォルダエントリ416と、動画ファイルエントリ417および419と、メタデータエントリ418および420とについても、同様の親子関係が成立している。
In the metadata entries 413 (entry number: # 10) and 415 (entry number: # 31), information such as “parent entry list” is stored. For example, in the
なお、図4および図6に示すプロパティファイル400においては、1つのファイルエントリに1つのメタデータエントリを関連付けた構成例を示すが、1つのファイルエントリに複数のメタデータエントリを関連付けるようにしてもよい。すなわち、1つの親ファイルエントリに複数の子メタデータエントリを対応させることができる。
The
例えば、動画ファイルエントリ412の子メタデータエントリとして、顔メタデータを格納するメタデータエントリ413とともに、GPS情報を格納するメタデータエントリ(エントリ番号:#40)(図示せず)を対応させ、動画ファイルエントリ412の子エントリリストに「#10」および「#40」を記録する。この場合には、子エントリリストの格納順序をメタデータの種類に応じて予め決めておくようにする。これにより、1つのファイルエントリに複数のメタデータを格納する場合において、メタデータの数が増加した場合でも、データ管理が煩雑になることを防止して、所望のメタデータの抽出時間を短縮することができる。なお、ここでのメタデータの種類とは、単なるデータの種類(顔メタ、GPS等の種類)でもよく、メタデータがバイナリデータかテキストデータかというコーディングの種類でもよい。
For example, as a child metadata entry of the moving
図7(a)は、プロパティファイル400の基本構造の一例を示す図であり、図7(b)は、各エントリを構成するスロットの構造を示す図であり、図7(c)は、プロファイルエントリに含まれる情報の一例を示す図であり、図7(d)は、ヘッダ部430に含まれる情報のうちで、コンテンツ管理ファイル340が管理するコンテンツの種別を示す情報の一例を示す図である。また、図8は、図4に示すプロパティファイル400の全体構造を概略的に示す図である。
FIG. 7A is a diagram showing an example of the basic structure of the
プロパティファイル400は、図7(a)に示すように、ヘッダ部430およびエントリ部440の基本構造を有するファイルであり、これらの各エントリが1つの仮想フォルダや仮想ファイル等を示す単位となる。
As shown in FIG. 7A, the
エントリ部440を構成する各エントリは、1または複数のスロットで構成されている。なお、各エントリに格納されるデータの容量に応じて、各エントリには1または複数のスロットが割り当てられる。また、各エントリを構成するスロットは、プロパティファイルやサムネイルファイル等のファイル毎に決められた固定長のデータブロックとして定義されている。ただし、エントリによっては、構成されるスロット数が異なるため、スロットの整数倍で各エントリが可変長となる。
Each entry configuring the
例えば、図7(a)に示すように、動画フォルダエントリ410には、格納されるデータ451のデータ容量に応じて2つのスロット441および442が割り当てられる。また、日付フォルダエントリ411には、格納されるデータ452のデータ容量に応じて2つのスロット443および444が割り当てられる。
For example, as shown in FIG. 7A, two
なお、スロットが固定長であるため、スロットの全ての領域が有効データで埋められることがない場合があり、データ的にロスが発生する場合があるものの、スロットを固定長とすることによるデータアクセス性やデータ管理性を重視するため、このような構造とすることが好ましい。 Since the slot has a fixed length, the entire area of the slot may not be filled with valid data, and data loss may occur, but data access by making the slot a fixed length Therefore, such a structure is preferable.
また、エントリ部440を構成する各エントリは、図4および図6で示すように、エントリ番号で管理される。このエントリ番号は、エントリを構成する先頭のスロットが、プロパティファイル400の全体を構成するスロットの先頭から何番目のスロットに該当するかに応じて割り当てられる。例えば、図7(a)および図8に示すように、動画フォルダエントリ410は、このエントリ内の先頭のスロットが、プロパティファイル400の全体を構成するスロットの先頭から数えて1番目のスロットとなるため、エントリ番号として「#1」が割り当てられる。また、日付フォルダエントリ411は、このエントリ内の先頭のスロットが、プロパティファイル400の全体を構成するスロットの先頭から数えて3番目のスロットとなるため、エントリ番号として「#3」が割り当てられる。また、日付フォルダエントリ416は、このエントリ内の先頭のスロットが、プロパティファイル400の全体を構成するスロットの先頭から数えて5番目のスロットとなるため、エントリ番号として「#5」が割り当てられる。なお、他の各エントリに割り当てられるエントリ番号についても同様である。これらのエントリ番号に基づいて、各エントリが管理されるとともに各エントリの親子関係が管理される。なお、エントリをサーチする場合には、エントリ部440を構成するスロットを最初からカウントして対象となるエントリをサーチする。
Each entry constituting the
各エントリを構成するスロットは、図7(b)に示すように、スロットヘッダ部460および実データ部470の構造を有するスロットである。スロットヘッダ部460は、スロットが有効であるか無効であるかを示す有効/無効フラグ461と、チェーン462とで構成されている。
The slot constituting each entry is a slot having a structure of a
有効/無効フラグ461には、対応するコンテンツファイルが有効に存在する場合には有効フラグが立てられ、対応するコンテンツファイルが削除された場合には無効フラグが立てられる。このように、対応するコンテンツファイルが削除された場合には有効/無効フラグ461に無効フラグを立てることによって、この削除されたコンテンツファイルに対応するスロット内部の情報を削除する処理を発生させずに、このスロットが見かけ上存在しないことを示すことができる。仮に、有効/無効フラグ461がない場合には、対応するコンテンツファイルが削除されると、この削除されたコンテンツファイルに対応するスロット内部の情報を削除する処理が必要であるとともに、削除されたスロットの物理的に後ろに存在するスロット内部の情報を前につめる必要があるため、処理が煩雑になる。
In the valid /
チェーン462には、各スロットを連結するためのリンクや連結等の情報が格納される。このチェーン462に格納される情報により、複数のスロットが連結されて1つのエントリが構成される。また、実データ部470には、各エントリの実データが格納されている。
The
プロファイルエントリ408には、各コンテンツファイルのビデオおよびオーディオに関するコーデック情報が1対となった100種類程度のデータが記録されている。ビデオに関するコーデック情報として、ビデオエントリ(video entry)には、「符号化フォーマット(codec type)」、「画サイズ(visual size)」、「ビットレート(bit rate)」等が格納されている。また、オーディオに関するコーデック情報として、オーディオエントリ(audio entry)には、「符号化フォーマット(codec type)」、「サンプリングレート(sampling rate)」等が格納されている。また、各ビデオ・オーディオエントリには、エントリ番号が割り当てられている。このエントリ番号として、プロファイルエントリ408内部における記録順序を示す番号が割り当てられる。例えば、図7(c)に示すように、最初のビデオ・オーディオエントリ471には「#1」が割り当てられ、2番目のビデオ・オーディオエントリ472には「#2」が割り当てられる。なお、このビデオ・オーディオエントリのエントリ番号が、ファイルエントリの「プロファイル情報」(図5に示す)に記録される。そして、「プロファイル情報」に記録されているエントリ番号に基づいて、ファイルエントリに対応するコンテンツファイルのコーデック情報が読み出される。
The
サムネイルファイル500(図5に示す)は、基本的な構造はプロパティファイル400と同様であり、各エントリが1または複数のスロットで構成されている。これらの各エントリが1つの代表サムネイル画像を示す単位となる。ただし、サムネイルファイル500にはヘッダ部が存在しない。各スロットは、ファイル内で固定長であり、この1スロットの固定長に関するスロットサイズは、プロパティファイル400のヘッダ部430に記録されている。また、サムネイルファイル500の各エントリの対応関係は、プロパティファイル400に格納されている。なお、サムネイルファイル500のスロットサイズは、プロパティファイル400のスロットサイズとは異なる。
The thumbnail file 500 (shown in FIG. 5) has the same basic structure as the
サムネイルファイル500のスロットの容量は、サムネイルファイル毎に設定することができ、この容量はプロパティファイル400のヘッダ部430に記録される。また、ヘッダ部430にはサムネイルファイル500のサムネイルファイル名が記録されている。
The slot capacity of the
サムネイルファイル500には、コンテンツファイルの代表画像である代表サムネイル画像が、コンテンツファイルに対応するファイルエントリ毎に1枚記録されている。コンテンツファイルの代表画像は、例えば、コンテンツファイルが動画の場合には、その先頭画像である画面全体の画像とすることができる。また、通常のサムネイルファイルの場合には、1つのファイルエントリについて1つのスロットが対応する。また、サムネイルファイル500を構成する各エントリには、エントリ番号が割り当てられている。このサムネイルファイルのエントリ番号は、サムネイルファイル内を1エントリに1スロットを対応させる構成とする場合には、スロット番号となる。また、このサムネイルファイルのエントリ番号が、各ファイルエントリの「サムネイルアドレス」(図5に示す)に格納される。
In the
ヘッダ部430には、各エントリを管理する各種情報が記録されている。例えば、図7(d)に示すように、コンテンツ管理ファイル340が管理するコンテンツファイルの種別を示す情報がヘッダ部430に格納されている。なお、図7(d)に示す例では、コンテンツ管理ファイル340が管理するコンテンツファイルは、HD動画およびSD動画となり、静止画は管理しないことになる。これは、動画および静止画を記録することができるコンテンツ記録装置であっても、静止画はコンテンツ管理ファイル340で管理しない場合があるからである。図7(d)に示すようにヘッダ部430に記録されている場合には、静止画は、通常のファイルシステムに基づいて管理されることになる。なお、動画についても、通常のファイルシステムで管理されているため、コンテンツ管理ファイルを理解することができないコンテンツ再生装置等では、ファイルシステムの情報に基づいてコンテンツの再生が実行される。また、撮像装置100を他のコンテンツ再生装置に接続する場合や、着脱可能な記録媒体を他のコンテンツ再生装置に移動させて再生する場合等において、他のコンテンツ再生装置がコンテンツ管理ファイルを理解することができる場合には、コンテンツ管理ファイルに基づいてコンテンツファイルの読み出し等が実行される。また、ヘッダ部430には、プロファイルエントリ408(エントリ番号:#150)のエントリ番号が記録されている。これにより、エントリ部440を構成する各エントリの中からプロファイルエントリの位置を特定することができる。
In the
図8には、図4に示すプロパティファイル400を構成する各エントリと、各エントリに対応するスロットと、各スロットに格納されるデータとの関係を概略的に示す。なお、各エントリの名称については省略してエントリ番号を記載する。
FIG. 8 schematically shows the relationship between each entry constituting the
図9は、メタデータエントリ600の内部構成を概略的に示す図である。なお、メタデータエントリ600は、図4または図6等に示すメタデータエントリ413、415、418、420に対応する。また、本発明の実施の形態では、1つの動画コンテンツファイル毎に顔メタデータが記録されるものとする。
FIG. 9 is a diagram schematically showing the internal configuration of the
メタデータエントリ600は、1または複数のメタデータユニット(Meta_Data_Unit)から構成されている。また、メタデータユニット610は、データユニットサイズ(data_unit_size)611と、言語(language)612と、符号化形式(encoding_type)613と、メタデータの種類(data_type_ID)614と、メタデータ615とから構成されている。
The
データユニットサイズ611には、メタデータユニット610に格納されているメタデータのサイズが記録される。言語612には、メタデータユニット610に格納されているメタデータの言語が記録される。符号化形式613には、メタデータユニット610に格納されているメタデータの符号化形式が記録される。メタデータの種類614には、個々のメタデータの種類を識別するための識別情報が記録される。
In the
なお、メタデータ615には、顔メタデータ620が記録されるとともに、顔メタデータ以外のメタデータである他のメタデータ650が記録される。例えば、他のメタデータ650として、コンテンツファイルのタイトル情報やジャンル情報等の情報が格納される。
The
顔メタデータ620は、ヘッダ部630と顔データ部640とから構成されている。ヘッダ部630には、顔メタデータを管理する情報が格納される。また、ヘッダ部630は動画コンテンツ毎に固定長とする。顔データ部640には、動画コンテンツファイルから検出された顔について顔メタデータとして記録される顔毎に顔データが記録される。例えば、顔データ部640には、顔データ621乃至623等が格納される。この顔データは、図11に示すように、顔検出時刻情報、顔基本情報、顔スコア、笑顔スコア等のデータである。また、顔データ部640は、1つの動画コンテンツファイルで固定長とする。このように、ヘッダ部630および顔データ部640が固定長であるため、顔データへのアクセスを容易に行うことができる。
The
また、他のメタデータ650の構成についても、顔メタデータ620の構成と同様である。
The configuration of the
なお、本発明の実施の形態においては、1フレーム内において検出された顔のうちで、顔データ部に記録すべき顔データの値を規定する。例えば、1フレーム内において検出された顔の大きさや顔スコアの上位の顔等の所定の条件に基づいて、顔データ部に記録する顔データの最大値を規定して制限することができる。このように制限することによって、1フレーム内において不必要な顔(条件の悪い顔、顔らしくない顔等)を顔データ部に記録することによる記録媒体170の容量圧迫を防止することができる。
In the embodiment of the present invention, the value of face data to be recorded in the face data portion is defined among the faces detected in one frame. For example, the maximum value of face data to be recorded in the face data portion can be defined and limited based on predetermined conditions such as the size of the face detected in one frame and the face having a higher face score. By limiting in this way, it is possible to prevent compression of the
また、動画コンテンツファイルを記録媒体170に記録する場合において、顔検出エンジンにより検出された全ての顔毎に顔データが作成された場合には、作成された顔データの容量が莫大なものになる。また、顔を検出する時間間隔が小さい場合には、さらに容量が増加する。このため、例えば、時刻t0のフレームに対して記録すべき顔の顔データの個数が、次の検出時刻である時刻t1のフレームに対して記録すべき顔の顔データの個数が同数である場合には、時刻t1で検出した顔に対する顔データを顔データ部に記録しないようにする。これは、検出された顔の個数が同数であるため、同じ顔に関するメタデータが記録される可能性が高いためである。つまり、顔を検出する時刻の前後で記録すべき顔データの個数に変化がある場合にのみ、顔データを記録することによって記録媒体に不必要な重複顔データの記録を防ぐことができる。このように、本発明の実施の形態においては、1フレーム内において検出された顔の全てについて顔データを作成する必要はない。
In addition, when moving image content files are recorded on the
図10は、ヘッダ部630に格納される各種情報の概略を示す図である。
FIG. 10 is a diagram showing an outline of various types of information stored in the
ヘッダ部630には、ヘッダサイズ631と、メタデータバージョン632と、コンテンツ更新日時633と、顔データ構造フラグ660と、タイムスケール634と、顔データ個数635と、顔データサイズ636と、顔検出エンジンバージョン637と、コンテンツ画像サイズ638と、誤り検出符号値639とが格納される。なお、これらの格納単位は、図10の「サイズ」に示すように、バイトで規定される。
The
ヘッダサイズ631には、ヘッダ部630のデータサイズが格納される。このヘッダサイズ631によって、顔データ部640にアクセスする場合に、ヘッダ部630をジャンプして即座にアクセスすることが可能である。また、データサイズとして2バイトが規定されている。
The
メタデータバージョン632には、ヘッダ部630に対応する顔データ部640に記録されている顔メタデータのバージョン情報が格納される。コンテンツ再生装置でコンテンツファイルを再生する場合には、メタデータバージョン632に格納されている内容を確認することによって、そのコンテンツ再生装置が対応可能なデータであるか否かを装置自体が確認することが可能となる。本発明の実施の形態では、例えば、「1.00」が記録されるものとする。また、データサイズとして2バイトが規定され、上位8ビットがメジャーバージョンを示し、下位8ビットがマイナーバージョンを示す。なお、将来、顔メタデータフォーマットが拡張された場合には、更新されたバージョン情報が格納される。
The
コンテンツ更新日時633には、動画コンテンツファイルに記録される更新日時が格納される。例えば、撮像装置100で撮影された動画コンテンツファイルが他の装置に移動して編集された後に、この編集された動画コンテンツファイルが撮像装置100に再度記録されたような場合には、編集後の動画コンテンツファイルと顔メタデータと間で不整合が発生する。具体的には、以下で示す(1)乃至(3)のステップで動画コンテンツファイルが移動する場合が考えられる。このような場合に、これらの不整合を検出して、動画コンテンツファイルBから顔メタデータを再検出させ、編集後の動画コンテンツファイルと顔メタデータと間で発生した不整合を修正することが可能となる。
The content update date and
(1)ステップ1
コンテンツ記録装置Aで動画コンテンツファイルAが記録され、動画コンテンツファイルAに対応する顔メタデータが生成される。この場合には、動画コンテンツファイルAの作成日時および更新日時と、顔メタデータのコンテンツ更新日時とが同じ値となる。
(1)
The moving image content file A is recorded by the content recording device A, and face metadata corresponding to the moving image content file A is generated. In this case, the creation date and update date and time of the moving image content file A and the content update date and time of the face metadata have the same value.
(2)ステップ2
動画コンテンツファイルAがコンテンツ再生装置Bに移動された後に、コンテンツ再生装置Bで編集されて、動画コンテンツファイルBとなる。この場合には、動画コンテンツファイルBの更新日時が編集時の日時に更新される。
(2)
After the moving image content file A is moved to the content reproduction device B, it is edited by the content reproduction device B to become the moving image content file B. In this case, the update date / time of the moving image content file B is updated to the date / time at the time of editing.
(3)ステップ3
動画コンテンツファイルBがコンテンツ記録装置Aに戻される。この場合には、動画コンテンツファイルBと、顔メタデータのコンテンツ更新日時との値が異なる。
(3)
The moving image content file B is returned to the content recording device A. In this case, the values of the moving image content file B and the content update date / time of the face metadata are different.
顔データ構造フラグ660には、顔データ部640に格納される顔データで定義されたメタデータの有無を示すフラグが格納される。なお、顔データ構造フラグ660については、図12乃至図16を参照して詳細に説明する。
The face
タイムスケール634には、顔データ部で使用される時刻情報のタイムスケール(1秒あたりのユニット数を表す値)が格納される。すなわち、動画コンテンツファイルから顔が検出された時刻を示す情報(顔検出時刻情報)が顔データとして顔データ部に記録されるが、その時刻情報のタイムスケールがタイムスケール634に格納される。なお、単位はHzである。
The
顔データ個数635は、ヘッダ部630に続いて記録される顔データの個数を示す情報が格納される。顔を検出しなかった場合には、「0」が記録される。
The
顔データサイズ636には、ヘッダ部630に続いて記録される1つの顔データのデータサイズを示す情報が格納される。この顔データサイズ636に格納される情報に基づいて個々の顔データ間をジャンプすることが可能となる。なお、顔が検出されなかった場合には、「0」が記録される。
In the
顔検出エンジンバージョン637には、動画コンテンツファイルから顔を検出する顔検出エンジンに関する情報が記録される。これは、顔メタデータの再生時において、自機よりも性能の低い顔検出エンジンで検出された顔メタデータであることを認識した場合に、顔メタデータを再検出するか否かの指標として使用される。顔検出エンジンに関する情報は、例えば、ASCIIコードで記述される。
In the face
例えば、メタデータバージョンが「1.00」の場合には、図11に示すデータの順序で顔データ部640に各データが記録される。このため、コンテンツ再生装置がメタデータバージョンを「1.00」であると認識した場合には、それぞれのデータが固定長に、かつ予め決められた位置に配置されているため、顔データ部640の所望のデータの位置まで迅速にアクセスすることが可能となる。
For example, when the metadata version is “1.00”, each data is recorded in the
コンテンツ画像サイズ638には、顔が検出された画像の高さおよび幅を示す情報が記録される。また、誤り検出符号値639には、顔が検出された画像において所定範囲で計算された誤り検出符号値(エラー訂正符号値)を示す情報が記録される。例えば、誤り検出符号値639には、顔メタデータの作成時において、対応する画像データから計算されたチェックサムの値が記録される。なお、誤り検出符号値としては、チェックサム以外に、CRC(Cyclic Redundancy Check:巡回冗長検査)やハッシュ関数を用いたハッシュ値等を用いることが可能である。
In the
コンテンツ画像サイズ638および誤り検出符号値639は、コンテンツ更新日時633と同様に、動画コンテンツファイルと顔メタデータとの間で発生する不整合を検出するために用いられる。この不整合発生のメカニズムは、上述した(1)ステップ1乃至(3)ステップ3と同様である。例えば、静止画コンテンツファイルについては、静止画編集ソフトが数多く存在しているものの、これらの静止画編集ソフトの中には、静止画が編集された場合でもコンテンツ内部のコンテンツ日時情報が更新されないものが存在する。このような場合においては、コンテンツ更新日時の比較とともに、このコンテンツ画像サイズを用いた比較をすることによって、さらに確実な不整合を検出することが可能である。
Similar to the content update date and
図11は、顔データ部640に格納される顔データの概略を示す図である。なお、顔データ部640には、ヘッダ部630の顔データ構造フラグ660でビットアサインされた順序で各顔データが格納される。
FIG. 11 is a diagram showing an outline of face data stored in the
顔データ部640には、顔検出時刻情報641と、顔基本情報642と、顔スコア643と、笑顔スコア644と、顔重要度645とが記録される。なお、これらの格納単位は、バイトで規定される。ここでは、上述したように、メタデータバージョンが「1.00」の場合における顔データとして定義されるメタデータを例にして説明する。
In the
顔検出時刻情報641には、対応する動画コンテンツファイルの先頭を「0」として、この顔データが検出されたフレームの時刻が記録される。なお、顔検出時刻情報641には、ヘッダ部630のタイムスケール634に格納されたタイムスケールの整数倍の値が格納される。
In the face
顔基本情報642には、動画コンテンツファイルを構成する各フレームから検出された顔の位置および大きさが格納される。顔基本情報642として、顔位置情報が上位4バイトで規定され、顔サイズ情報が下位4バイトで規定される。また、顔位置情報は、例えば、顔が検出された画像における左上部分から検出された顔の左上部分までの差の値であり、上位16ビットで横軸の位置の値が規定され、下位16ビットで縦軸の位置の値が規定される。また、顔サイズ情報は、例えば、検出された顔の画像サイズを示す値であり、上位16ビットで顔の幅を示す値が規定され、下位16ビットで顔の高さを示す値が規定される。なお、顔基本情報642は、顔メタデータを利用するアプリケーションとしては最も重要なメタデータである。
The face
顔スコア643には、検出された顔の顔らしさを表すスコアに関する情報が格納される。
The
笑顔スコア644には、検出された顔がどのくらい笑っているかに関するスコア情報が格納される。 The smile score 644 stores score information regarding how much the detected face is laughing.
顔重要度645には、同一時刻で検出された画像の優先順位(重要度)を示す情報が格納される。これは、例えば、1フレーム中で複数の顔が検出された場合において、画面の中心に近い顔から高い優先順位を割り当てたり、フォーカスされている顔に高い優先順位を割り当てることができる。格納される情報としては、例えば、小さい値ほど重要度が大きいと規定して、「1」を最大重要度と規定することができる。これにより、例えば、画像を表示する表示部が小さいモバイル機器を使用する場合でも、全ての顔画像を小さく表示する代わりに、優先順位の高い顔のみを大きく表示させることが可能となる。
The
本発明の実施の形態では、顔データを検出された時刻順序に記録する。これにより、時間順で検索する場合に迅速に行うことができる。さらに、同一の動画コンテンツファイルにおいては、全ての顔データに含まれるメタデータの種別は同じものとし、図11に示す順序で顔データを記録する。ただし、図11に示す全てのデータを記録する必要はないものの、同一の動画コンテンツファイルで同種のメタデータを記録する。これにより、全ての顔データが固定長となり、顔データへのアクセス性を向上させることができる。また、同一の動画コンテンツファイルで同種のメタデータが格納されているため、所定のメタデータへのアクセスを向上させることができる。 In the embodiment of the present invention, face data is recorded in the detected time order. Thereby, when searching in time order, it can carry out rapidly. Further, in the same moving image content file, the types of metadata included in all face data are the same, and face data is recorded in the order shown in FIG. However, although it is not necessary to record all the data shown in FIG. 11, the same kind of metadata is recorded in the same moving image content file. Thereby, all face data becomes fixed length, and the accessibility to face data can be improved. Moreover, since the same kind of metadata is stored in the same moving image content file, access to predetermined metadata can be improved.
図12は、図10に示すヘッダ部630の顔データ構造フラグ660のデータ構造を示す図である。図13乃至図16は、顔データ構造フラグ660に格納されたビットと、顔データ部640に格納された顔データとの関係を示す図である。
FIG. 12 is a diagram showing a data structure of the face
本発明の実施の形態では、図11に示すように、顔データ部640において5個のメタデータが定義されているため、顔データ構造フラグ660のLSB(Least Significant Bit)から順番に、顔データ部640の順序に従って、0−4ビットにそれぞれのデータが割り当てられる。そして、顔データ構造フラグ660の各ビットには、顔メタデータのデータフィールドのデータの有無が格納される。すなわち、顔データ構造フラグ660の各ビットには、顔メタデータのデータフィールドにデータが存在する場合には「1」が格納され、データが存在しない場合には「0」が格納される。このように、顔データ部640に存在するメタデータが存在する場合には、対応するビットに「1」が設定される。なお、6ビット目以降は将来の顔データ内部のデータの拡張のための予約領域となる。
In the embodiment of the present invention, as shown in FIG. 11, since five pieces of metadata are defined in the
具体的には、例えば、図13(a)に示すように、顔データ部640には、メタデータバージョンが「1.00」で規定されたデータが格納されているとする。この場合には、図13(b)に示すように、LSBから0−4ビットのそれぞれには「1」が格納される。なお、コンテンツ記録装置は定義された全てのデータを記録する必要はなく、必要なデータのみを記録することができる。これにより、顔メタデータを利用するアプリケーションに応じた柔軟な顔メタデータの記録が可能となり、データ量を削減することも可能となる。
Specifically, for example, as shown in FIG. 13A, it is assumed that the
また、図14(a)に示すように、顔データ部640には、メタデータバージョンが「1.00」で規定された5つのデータのうちの3つのデータが、他のコンテンツ記録装置によって格納されているとする。この場合には、記録される顔データの順序は、図11に示す順序となり、記録されないデータの分はつめて記録される。図14(b)は、上記他のコンテンツ記録装置によって記録された顔データ構造フラグ660の実データの例を示すものであり、顔データとして存在するデータフィールドに割り当てられたフラグに「1」が格納される。このように、メタデータバージョンが「1.00」で規定された範囲内であれば、コンテンツ記録装置は、何れのメタデータでも記録することができる。また、顔メタデータを再生するコンテンツ再生装置は、他のコンテンツ記録装置により異なるメタデータが記録されていたとしても、ヘッダ部の情報を参照することによって顔データ内部のメタデータの有無を確認することができる。また、顔データが固定長であるため、所望のメタデータへのアクセスを高速に行うことが可能となる。
Further, as shown in FIG. 14A, in the
次に、本発明の実施の形態における顔データ部640に格納される顔データの拡張方法について図面を参照して説明する。
Next, a method for expanding the face data stored in the
将来的に顔検出技術が向上した場合や検出された顔の結果を新たなアプリケーションで利用する場合等において、メタデータバージョンが「1.00」で規定された顔メタデータのみでは不十分な場合が想定される。 When face detection technology is improved in the future or when the result of a detected face is used in a new application, the face metadata specified by “1.00” is not enough. Is assumed.
図15(a)に拡張された顔データの例を示す。ここでは、検出された顔の性別度合いを示す「性別スコア」と、フレーム上の顔の傾き度合いを示す「角度情報」とが拡張された顔データとして示されている。これらを追加した顔メタデータのメタデータバージョンが「1.10」として定義され、ヘッダ部のメタデータバージョンフィールドには「1.10」が記録される。メタデータの拡張の方法は、前バージョンで定義されたデータ下に新規メタデータを追加する形で行われる。具体的には、データを記録媒体170に記録する際には、顔データ単位でバージョン「1.00」で規定されたデータが記録された物理アドレスに連続する物理アドレスからバージョン「1.10」で規定されたデータを記録する。そして、バージョン「1.10」規定のメタデータが記録された物理アドレスに連続するアドレスに同様に次の顔データ単位のメタデータの記録が開始される。
FIG. 15A shows an example of expanded face data. Here, “sex score” indicating the degree of gender of the detected face and “angle information” indicating the degree of inclination of the face on the frame are shown as expanded face data. The metadata version of the face metadata to which these are added is defined as “1.10”, and “1.10” is recorded in the metadata version field of the header part. The method of extending the metadata is performed by adding new metadata under the data defined in the previous version. Specifically, when data is recorded on the
図16(b)には、バージョン「1.10」で定義されたメタデータのうち、ある記録機によって記録されたメタデータを示す。例えば、図15(a)に示す拡張された顔データが記録される場合でも、図15(a)に示す顔データの全てが記録される必要はない。ただし、このように記録されない顔データが存在する場合には、図15(a)に示す顔データのうちの所定の顔データが図16(a)に示す順序で記録されるとともに、顔データが記録されないフィールド分はつめて記録される。 FIG. 16B shows metadata recorded by a certain recorder among the metadata defined by the version “1.10”. For example, even when the expanded face data shown in FIG. 15A is recorded, it is not necessary to record all the face data shown in FIG. However, when there is face data that is not recorded in this way, predetermined face data among the face data shown in FIG. 15A is recorded in the order shown in FIG. Fields that are not recorded are recorded together.
さらに、バージョン「1.10」へのバージョンアップにともない顔データ構造フラグも拡張され、バージョン「1.00」時には予約領域だったビットに、図15(a)で定義されたフィールド順序に従い新規ビットが割り当てられ、顔データ部にデータが存在するビットには、図15(b)のように「1」がセットされる。これにより、バージョン「1.10」に対応した再生機では、ヘッダ部の顔データ構造フラグのビット列を確認することにより、顔データ部のデータ構造を理解可能となり、個々の顔データは固定長となるため所望のメタデータまで迅速にアクセス可能となる。 Furthermore, the face data structure flag is expanded with the version upgrade to version “1.10”, and a bit that was a reserved area at the time of version “1.00” is replaced with a new bit according to the field order defined in FIG. Is assigned to the bit in which data exists in the face data part, as shown in FIG. 15B. As a result, a playback device compatible with version “1.10” can understand the data structure of the face data portion by checking the bit string of the face data structure flag in the header portion, and each face data has a fixed length. Therefore, the desired metadata can be quickly accessed.
さらに、バージョン「1.10」に対応する記録機によって、着脱可能な記録媒体に顔メタデータが記録され、この記録媒体がバージョン「1.00」にのみ対応する再生機に移動された場合を考える。この場合において、この再生機はヘッダ部の顔データ構造フラグの0−4ビットまでは認識可能である。また、顔データサイズの仕様が変わっていないため、バージョン「1.00」で想定されていない顔データが格納されていたとしても、この再生機は、バージョン「1.00」で規定されている顔データを認識することが可能である。例えば、図16に示す例では、この再生機は、「顔検出時刻情報」、「顔基本情報」、「顔スコア」、「顔重要度」を理解することができる。このため、この再生機は、これらのメタデータへのアクセスが可能である。このように、メタデータエントリは、アクセス性に優れているデータ構造であるとともに、記録機または再生機のバージョンが変更された場合でも、この変更に対応することが可能である。 Furthermore, a case where face metadata is recorded on a removable recording medium by a recording device corresponding to version “1.10”, and this recording medium is moved to a playback device corresponding to version “1.00” only. Think. In this case, the player can recognize up to 0-4 bits of the face data structure flag in the header part. Further, since the specification of the face data size has not changed, even if face data that is not assumed in the version “1.00” is stored, the player is defined in the version “1.00”. It is possible to recognize face data. For example, in the example shown in FIG. 16, the player can understand “face detection time information”, “face basic information”, “face score”, and “face importance”. For this reason, this player can access these metadata. As described above, the metadata entry has a data structure having excellent accessibility, and can cope with the change even when the version of the recorder or the player is changed.
次に、本発明の実施の形態における撮像装置100の機能構成例について図面を参照して説明する。
Next, a functional configuration example of the
図17は、本発明の実施の形態における撮像装置100の機能構成例を示すブロック図である。この撮像装置100は、コンテンツ管理ファイル記憶部210と、コンテンツ入力部211と、顔検出部212と、顔メタデータ作成部213と、仮想管理情報作成部214と、代表サムネイル画像抽出部215と、コンテンツ属性情報作成部216と、記録制御部217とを備える。
FIG. 17 is a block diagram illustrating a functional configuration example of the
コンテンツ管理ファイル記憶部210は、仮想的な階層構造により構成される階層エントリを記録するコンテンツ管理ファイル340を記憶するものである。なお、コンテンツ管理ファイル340の詳細については、図3乃至図9等に示す。
The content management
コンテンツ入力部211は、コンテンツファイルを入力するものであり、入力されたコンテンツファイルを、顔検出部212、顔メタデータ作成部213、仮想管理情報作成部214、代表サムネイル画像抽出部215およびコンテンツ属性情報作成部216に出力する。具体的には、カメラ部110で撮影されたフレームがコンテンツ入力部211から順次入力される。
The
顔検出部212は、コンテンツ入力部211から入力されたコンテンツファイルに含まれる顔を検出するものであり、検出された顔の出現時刻および位置等を顔メタデータ作成部213に出力する。なお、同一時刻の画像から複数の顔が検出された場合には、検出された各顔についての出現時刻および位置等を顔メタデータ作成部213に出力する。
The
顔メタデータ作成部213は、コンテンツ入力部211から入力されたコンテンツファイルに基づいて顔メタデータを作成するものであり、作成された顔メタデータを記録制御部217に出力する。この顔メタデータ作成部213は、顔データ作成部218およびヘッダ情報作成部219を含む。顔データ作成部218は、顔検出部212により検出された顔の出現時刻および位置等に基づいてその顔に関する顔データ(図11の顔データ部640の各データ)を作成するものである。また、ヘッダ情報作成部219は、顔データ作成部218により作成された顔データを管理するヘッダ情報(図10のヘッダ部630の各情報)を作成するものである。これら顔データ作成部218により作成された顔データおよびヘッダ情報作成部219により作成されたヘッダ情報は、記録制御部217に出力される。また、顔データ作成部218は、所定間隔で検出された顔のうちで所定条件を満たさない顔については、顔に関する顔データを作成しないようにしてもよい。
The face
仮想管理情報作成部214は、コンテンツ入力部211から入力されたコンテンツファイルを仮想的に管理するための仮想管理情報401(図5)を、そのコンテンツファイルに基づいて作成するものであり、作成された仮想管理情報を記録制御部217に出力する。
The virtual management
代表サムネイル画像抽出部215は、コンテンツ入力部211から入力されたコンテンツファイルから、そのコンテンツファイルの代表サムネイル画像501乃至506(図5)を抽出するものであり、抽出された代表サムネイル画像をコンテンツ属性情報作成部216および記録制御部217に出力する。
The representative thumbnail
コンテンツ属性情報作成部216は、コンテンツ入力部211から入力されたコンテンツファイルに関するコンテンツ属性情報402(図5)を、そのコンテンツファイルに基づいて作成するものであり、作成されたコンテンツ属性情報を記録制御部217に出力する。また、コンテンツ属性情報作成部216は、代表サムネイル画像抽出部215により抽出された代表サムネイル画像に対応するコンテンツファイルに関するコンテンツ属性情報にその代表サムネイル画像のサムネイルファイル500における記録位置(サムネイルアドレス)を含めて属性情報を作成する。
The content attribute
記録制御部217は、仮想管理情報作成部214により作成された仮想管理情報401とコンテンツ属性情報作成部216により作成されたコンテンツ属性情報402とを含む動画ファイルエントリ414をプロパティファイル400としてコンテンツ管理ファイル記憶部210に記録するものである。また、記録制御部217は、顔メタデータ作成部213により作成された顔メタデータを含むメタデータエントリ415を、その顔メタデータが作成されたコンテンツファイルに対応する動画ファイルエントリ414のプロパティファイル400における下位の階層としてコンテンツ管理ファイル記憶部210に記録する。さらに、記録制御部217は、代表サムネイル画像抽出部215により抽出された代表サムネイル画像をサムネイルファイル500としてコンテンツ管理ファイル記憶部210に記録する。
The
図18は、本発明の実施の形態における撮像装置100の機能構成例を示すブロック図である。この撮像装置100は、コンテンツ管理ファイル記憶部210と、操作受付部221と、コンテンツ記憶部223と、選択部224と、抽出部225と、描画部226と、表示部227とを備える。
FIG. 18 is a block diagram illustrating a functional configuration example of the
コンテンツ管理ファイル記憶部210は、記録制御部217(図17)によって記録されたコンテンツ管理ファイル340を記憶するものである。そして、コンテンツ管理ファイル340に記録されている各エントリを選択部224および抽出部225に出力する。
The content management
操作受付部221は、各種入力キーを備え、これらの入力キーから操作入力を受け付けると、受け付けた操作入力の内容を選択部224に出力するものである。なお、操作受付部221の少なくとも一部と表示部227とをタッチパネルとして一体化して構成するようにしてもよい。
The
コンテンツ記憶部223は、動画や静止画等のコンテンツファイルを記憶するものであり、記憶されているコンテンツファイルを抽出部225および描画部226に出力する。
The
選択部224は、操作受付部221から入力された操作入力に応じた選択処理を実行し、この選択結果を抽出部225に出力するものである。具体的には、選択部224は、表示部227に表示されている代表サムネイル画像のうちから1つの代表サムネイル画像を選択する旨の操作入力を操作受付部221から入力すると、その操作入力に応じて、選択された代表サムネイル画像に対応するファイルエントリを選択して、その選択されたファイルエントリのエントリ番号を抽出部225に出力する。また、選択部224は、表示部227に表示されている顔サムネイル画像のうちから1つの顔サムネイル画像を選択する旨の操作入力を操作受付部221から入力すると、その操作入力に応じて、選択された顔サムネイル画像に対応する顔データを選択して、その選択された顔データの顔検出時刻情報641を抽出部225に出力する。すなわち、選択部224は、コンテンツ管理ファイル記憶部210に記憶されているコンテンツ管理ファイルに記録されているファイルエントリの中から所望のファイルエントリを選択するものであり、また、メタデータエントリに含まれる顔メタデータの顔データの中から、所望する顔データを選択するものである。
The
抽出部225は、選択部224から入力されたファイルエントリのエントリ番号に基づいて、コンテンツ記憶部223に記憶されているコンテンツファイルを抽出するものである。また、抽出部225は、選択部224から入力されたエントリ番号に対応するファイルエントリの下位階層に記録されているメタデータエントリに含まれる顔データを抽出し、この顔データに含まれる顔の時刻および位置等に基づいて、この顔データに対応する顔サムネイル画像をコンテンツファイルから抽出する。さらに、抽出部225は、選択部224から入力された選択された顔データの顔検出時刻情報641が含まれるメタデータエントリの上位階層に記録されているファイルエントリに基づいてコンテンツファイルを抽出する。また、抽出部225は、選択部224から入力された顔検出時刻情報641に対応する記録時間以降に記録された動画を、コンテンツ記憶部223に記憶されているコンテンツファイルから抽出する。なお、抽出部225は、これらの抽出した結果を描画部226に出力する。なお、これらの選択および抽出については、図19および図20を参照して詳細に説明する。
The
また、抽出部225は、コンテンツ記憶部223に記憶されているコンテンツファイルに対応する画像とこの画像に対応する顔データとについて所定の条件を満たすか否かを確認して、所定の条件を満たす画像に含まれる顔に関する顔データについて、所望の要素情報の各顔データにおける先頭からの記録オフセット値を算出し、この算出された記録オフセット値に基づいて顔データから所望の要素情報を読み出す。また、抽出部225は、所定の条件を満たさない場合には、所定の条件を満たさないと判断された画像とは異なる画像に対応する顔データおよび顔データ管理情報を検索する。なお、これらの要素情報の読出しは、図26、図27、図32、図33を参照して詳細に説明する。
Further, the
描画部226は、抽出部225から入力された抽出結果に基づいて、コンテンツ記憶部223に記憶されているコンテンツファイルから抽出された顔サムネイル画像、コンテンツ記憶部223に記憶されているコンテンツファイルから抽出された動画等を描画するものである。また、描画部226は、コンテンツ管理ファイル記憶部210のサムネイルファイル500に記憶されている代表サムネイル画像を描画するものである。
The
表示部227は、描画部226により描画された画像を表示するものである。
The
次に、プロパティファイルと、サムネイルファイルと、動画コンテンツファイルとの関係について図面を参照して詳細に説明する。 Next, the relationship among the property file, thumbnail file, and moving image content file will be described in detail with reference to the drawings.
図19は、動画ファイルエントリ414と、メタデータエントリ415と、サムネイルファイル500と、動画コンテンツファイル312との関係を概略的に示す図である。
FIG. 19 is a diagram schematically illustrating a relationship among the moving
例えば、図19に示すように、動画ファイルエントリ414には、動画コンテンツファイル312のコンテンツアドレスを示す「A312」と、動画コンテンツファイル312に対応する代表サムネイル画像502のサムネイルアドレスを示す「#2」が格納されている。また、動画ファイルエントリ414の子エントリリストには、動画コンテンツファイル312に関するメタデータが格納されているメタデータエントリ415のエントリ番号「#31」が格納されている。また、メタデータエントリ415の親エントリリストには、動画ファイルエントリ414のエントリ番号「#28」が格納されている。さらに、メタデータエントリ415の顔メタデータには、図9および図11に示すように、検出された顔に関する各種の顔メタデータが格納されている。この顔メタデータのうちの顔検出時刻情報および顔基本情報に基づいて、動画コンテンツファイル312の各フレームのうちから、1つのフレームを特定することができる。なお、これらの関係を矢印で示す。
For example, as shown in FIG. 19, the moving
このように各エントリの内容を関連付けて管理することによって、コンテンツファイルのサーチを迅速に行うことができる。 As described above, by managing the contents of each entry in association with each other, it is possible to quickly search for a content file.
例えば、2006年1月11日に撮影された動画像の一覧を表示する場合には、プロパティファイル400の各エントリの中で、動画コンテンツファイルを管理する動画フォルダエントリ410がサーチされ、サーチされた動画フォルダエントリ410の中の子エントリリストに格納された日付フォルダエントリ411および416の中から、2006年1月11日の日付に対応するファイルを管理する日付フォルダエントリ411がサーチされる。続いて、サーチされた日付フォルダエントリ411の子エントリリストに格納された動画ファイルエントリ412および414がサーチされ、各動画ファイルエントリ412および414に記録されたサムネイルファイル500のサムネイルアドレス(エントリ参照情報)が抽出される。続いて、サムネイルファイル500がオープンされ、抽出されたサムネイルアドレスに基づいてサムネイルファイル500から代表サムネイル画像が抽出され、抽出された代表サムネイル画像が表示される。
For example, when displaying a list of moving images taken on January 11, 2006, a moving
なお、コンテンツ管理ファイル340を用いずに、2006年1月11日に撮影された動画像の一覧を表示する場合には、各コンテンツファイルをサーチするために、全ての実コンテンツファイルのオープンおよびクローズが必要となり、処理に時間を要する。さらに、代表サムネイル画像を表示する場合には、実コンテンツファイルに対応する画像を縮小して表示するという処理が必要になるため、さらに処理時間を要することになる。
When a list of moving images taken on January 11, 2006 is displayed without using the
また、例えば、2006年1月11日に記録された動画像に登場する人物の顔を表示する場合には、表示されている代表サムネイル画像502に基づいて、動画ファイルエントリ414およびメタデータエントリ415が抽出され、動画ファイルエントリ414が管理する動画コンテンツファイル312にアクセスされ、メタデータエントリ415に記憶されている顔メタデータ(顔検出時刻情報641、顔基本情報642)に基づいて動画コンテンツファイル312から顔画像が抽出され、抽出された顔画像を表示させることができる。
Further, for example, when displaying the face of a person appearing in a moving image recorded on January 11, 2006, based on the displayed
図20は、コンテンツ管理ファイル340を用いたアプリケーションの一例を示す図である。ここでは、動画コンテンツファイル312に関する各種画像をLCD162に表示させ、動画コンテンツファイル312に対応する画像を所望の時刻から再生する場合について説明する。
FIG. 20 is a diagram illustrating an example of an application using the
最初に、図19で示したように、サムネイルファイル500がオープンされ、サムネイルファイル500に格納されている代表サムネイル画像501乃至506の一覧がLCD162に表示される。例えば、表示画面710に示すように、代表サムネイル画像501乃至503が表示される。また、選択マーク715が付されている代表サムネイル画像502の右側には、代表サムネイル画像502に対応する動画コンテンツファイル312の記録日時714が表示されている。また、上ボタン711または下ボタン712を押下することによって、スクロールバー713を上下に移動させ、表示画面710に表示される代表サムネイル画像を上下に移動させ、他の代表サムネイル画像を表示させることができる。また、代表サムネイル画像は、例えば、記録日時の順番で上から表示させることができる。
First, as shown in FIG. 19, the
表示画面710において、代表サムネイル画像502を選択する旨の操作入力がされると、代表サムネイル画像502に対応する動画ファイルエントリ414に格納されているコンテンツアドレスに基づいて、動画ファイルエントリ414に対応する動画コンテンツファイル312が抽出される。そして、動画ファイルエントリ414に格納されている子エントリリストに基づいて、動画ファイルエントリ414に対応するメタデータエントリ415が抽出される。続いて、メタデータエントリ415に格納されている顔メタデータに基づいて、動画コンテンツファイル312から顔サムネイル画像が抽出され、抽出された顔サムネイル画像の一覧がLCD162に表示される。この顔サムネイル画像は、例えば、表示画面720に示すように、一人の顔を含む矩形画像である。また、例えば、表示画面720に示すように、表示画面710で選択された代表サムネイル画像502が左側に表示されるとともに、右側の顔サムネイル画像表示領域725には、抽出された顔サムネイル画像730乃至732が表示される。また、選択されている顔サムネイル画像には、選択マーク726が付される。また、表示画面710で選択された代表サムネイル画像502に対応する動画コンテンツファイル312の記録日時724が表示されている。また、左ボタン721または右ボタン722を押下することによって、スクロールバー723を左右に移動させ、表示画面720に表示される顔サムネイル画像を左右に移動させ、他の顔サムネイル画像を表示させることができる。また、顔サムネイル画像は、例えば、記録日時の順番で左から表示させることができる。
When an operation input for selecting the
表示画面720において、例えば、顔サムネイル画像731を選択する旨の操作入力がされると、メタデータエントリ415に格納されている顔メタデータの顔検出時刻情報の中から、顔サムネイル画像731に対応する顔検出時刻情報が抽出される。この場合に、選択された顔サムネイル画像731についての先頭から順番に基づいて、メタデータエントリ415に格納されている顔メタデータから、顔サムネイル画像731に対応する顔データが特定され、この顔データに含まれる顔検出時刻情報が抽出される。続いて、抽出された顔検出時刻情報に基づいて、動画コンテンツファイル312のうちの顔検出時刻情報に対応する時刻からの再生画像がLCD162に表示される。例えば、図19に示すように、動画コンテンツファイル312のフレーム704から動画が再生される。そして、表示画面740に示すように、その再生画像が表示されるとともに、右上部分には再生画像の記録日時741が表示される。このように、所定の人物(例えば、本人)が出現する時刻から動画を再生させたい場合には、その人物に関する顔サムネイル画像を選択することによって、その時刻からの再生を容易に行うことができる。なお、同一時刻の画像から複数の顔が検出された場合には、同一時刻の複数の顔データが作成される。この場合には、それぞれの顔データに基づいて顔サムネイル画像が抽出される。このため、同一時刻の顔サムネイル画像が複数表示される場合がある。このように、同一時刻の顔サムネイル画像が複数表示されている場合においては、同一時刻の顔サムネイル画像の何れかが選択された場合でも、同一時刻からの動画が再生される。
On the
このように、仮想ファイル構造であるエントリから実ファイル構造への連結情報(コンテンツアドレス)が格納されているため、ファイルエントリ内の何らかの情報(例えば、記録日時に関する情報)からコンテンツファイルを検索して再生する場合には、その日時が記録されているファイルエントリを検索し、そのファイルエントリ内のコンテンツアドレスに基づいてコンテンツファイルを再生することができる。このように、全てのコンテンツファイルをオープンさせずにプロパティファイルのみをオープンさせればよく、さらに、スロットによる固定長管理(エントリ番号管理)であるため、迅速な処理が可能となる。 In this way, since the connection information (content address) from the entry having the virtual file structure to the real file structure is stored, the content file is searched from some information in the file entry (for example, information on the recording date and time). In the case of reproduction, the file entry in which the date and time is recorded can be searched, and the content file can be reproduced based on the content address in the file entry. In this way, it is only necessary to open the property file without opening all the content files. Furthermore, since the fixed length management (entry number management) is performed by the slot, rapid processing is possible.
仮に、仮想ファイル管理をしない場合において、同様の検索を行う場合には、実際にコンテンツファイルをオープンさせた後に、その内部の情報(例えば、記録日時情報)を読み出し、ファイルクローズし、さらに次のコンテンツファイルをオープンするという処理が必要となり検索に莫大な時間を要する。また、記録媒体の記録容量が大きくなれば、記録されるコンテンツ数も増加するため、問題がさらに顕著になる。 If the same search is performed when virtual file management is not performed, after the content file is actually opened, the internal information (for example, recording date and time information) is read, the file is closed, and the next The process of opening the content file is required, and the search takes an enormous amount of time. In addition, as the recording capacity of the recording medium increases, the number of contents to be recorded increases, and the problem becomes even more pronounced.
次に、本発明の実施の形態における撮像装置100の動作について図面を参照して説明する。
Next, the operation of the
図21は、撮像装置100によるプロパティファイル400の記録処理の処理手順を示すフローチャートである。なお、ここでは、コンテンツファイルとして、撮像された画像データに対応する動画コンテンツファイルが入力された場合について説明する。
FIG. 21 is a flowchart illustrating a processing procedure for recording the
最初に、カメラ部110で撮像された画像が符号化され、符号化された画像データであるストリームがコンテンツ入力部211に入力される(ステップS901)。
First, an image captured by the
続いて、入力されたストリームを構成するフレームが、シーケンスの先頭のIピクチャまたはIDRピクチャであるか否かが順次判断される(ステップS902)。入力されたストリームを構成するフレームが、IピクチャおよびIDRピクチャの何れでもなければ(ステップS902)、ストリームの入力が継続される(ステップS901)。 Subsequently, it is sequentially determined whether or not the frame constituting the input stream is the first I picture or IDR picture of the sequence (step S902). If the frame constituting the input stream is neither an I picture nor an IDR picture (step S902), the stream input is continued (step S901).
一方、入力されたストリームを構成するフレームが、IピクチャまたはIDRピクチャであれば(ステップS902)、そのフレームから顔検出部212が顔を検出する(ステップS903)。続いて、検出された顔が所定条件の範囲内の顔であるか否かが判断される(ステップS904)。顔が検出されなかった場合、または、検出された顔が所定条件の範囲内の顔でなかった場合には(ステップS904)、ステップS903に戻り、フレームからの顔の検出を繰り返す。
On the other hand, if the frame constituting the input stream is an I picture or IDR picture (step S902), the
一方、検出された顔が所定条件の範囲内の顔であった場合には(ステップS904)、検出された顔に基づいて顔データが作成され、作成された顔データがメモリに記録される(ステップS905)。続いて、1つのフレーム内において顔の検出が終了したか否かが判断される(ステップS906)。つまり、1フレーム内の全ての領域で顔検出を行う。1つのフレーム内において顔の検出が終了していなければ(ステップS906)、ステップS903に戻り、フレームからの顔の検出を繰り返す。 On the other hand, if the detected face is a face within the range of the predetermined condition (step S904), face data is created based on the detected face, and the created face data is recorded in the memory ( Step S905). Subsequently, it is determined whether or not face detection has been completed within one frame (step S906). That is, face detection is performed in all areas within one frame. If face detection is not completed within one frame (step S906), the process returns to step S903, and face detection from the frame is repeated.
一方、1つのフレーム内において顔の検出が終了していれば(ステップS906)、ストリームの入力が終了したか否かが判断される(ステップS907)。つまり、1つのまとまった画像コンテンツの入力が終了したか否かが判断される(ステップS907)。ストリームの入力が終了していなければ(ステップS907)、ステップS901に戻り、ストリームの入力を継続する。 On the other hand, if face detection has been completed within one frame (step S906), it is determined whether or not the input of the stream has been completed (step S907). That is, it is determined whether or not input of a single image content has been completed (step S907). If the input of the stream is not completed (step S907), the process returns to step S901, and the input of the stream is continued.
ストリームの入力が終了していれば(ステップS907)、メモリに記録されている顔データに基づいて顔メタデータのヘッダ部630(図10)に記録されるヘッダ情報が作成される(ステップS908)。 If the input of the stream has been completed (step S907), header information recorded in the header portion 630 (FIG. 10) of the face metadata is created based on the face data recorded in the memory (step S908). .
続いて、作成されたヘッダ情報を記録するヘッダ部と、検出された顔に対応する顔データを記録する顔データ部とを含むメタデータエントリが作成される(ステップS909)。続いて、入力されたストリームに対応する動画コンテンツファイルを管理するファイルエントリが作成される(ステップS910)。 Subsequently, a metadata entry including a header portion that records the created header information and a face data portion that records face data corresponding to the detected face is created (step S909). Subsequently, a file entry for managing the moving image content file corresponding to the input stream is created (step S910).
続いて、プロパティファイル400がオープンされ(ステップS911)、作成されたメタデータエントリおよびファイルエントリについてのエントリ番号が計算され、この計算された結果に基づいて、作成されたメタデータエントリおよびファイルエントリがプロパティファイル400に割り当てられる(ステップS912)。つまり、複数のエントリがスロット番号順にプロパティファイル400に割り当てられる。
Subsequently, the
続いて、プロパティファイル400に割り当てられたファイルエントリの子エントリリストに、このファイルエントリに属するメタデータエントリのエントリ番号が記録され、また、このメタデータエントリの親エントリリストに、このメタデータエントリが属するファイルエントリのエントリ番号が記録される(ステップS913)。
Subsequently, the entry number of the metadata entry belonging to the file entry is recorded in the child entry list of the file entry assigned to the
続いて、プロパティファイル400に割り当てられたファイルエントリが属するフォルダエントリの子エントリリストに、このファイルエントリのエントリ番号が記録され、また、このファイルエントリの親エントリリストに、このフォルダエントリのエントリ番号が記録される(ステップS914)。続いて、プロパティファイル400がクローズされて(ステップS915)、プロパティファイル400の記録処理の処理手順が終了する。
Subsequently, the entry number of this file entry is recorded in the child entry list of the folder entry to which the file entry assigned to the
なお、ステップS901で入力されたストリームを構成するフレームが、先頭のフレームである場合には、代表画像である代表サムネイル画像が抽出され(ステップS903)、この代表サムネイル画像がサムネイルファイル500に格納されるとともに、この代表サムネイル画像のサムネイルアドレスが、対応するファイルエントリのサムネイルアドレスに記録される(ステップS912)。また、入力されたストリームに対応するコンテンツファイルのコンテンツアドレスが、対応するファイルエントリのコンテンツアドレスに格納される(ステップS912)。
If the frame constituting the stream input in step S901 is the first frame, a representative thumbnail image that is a representative image is extracted (step S903), and the representative thumbnail image is stored in the
次に、動画コンテンツファイルを再生する場合に、所望する撮影時刻から再生させる場合における動作について図面を参照して説明する。 Next, an operation in the case of reproducing a moving image content file from a desired shooting time will be described with reference to the drawings.
図22乃至図24は、撮像装置100による動画コンテンツファイルの再生処理の処理手順を示すフローチャートである。
FIG. 22 to FIG. 24 are flowcharts showing the processing procedure of the moving image content file playback processing by the
操作部140からの操作入力を監視して、動画コンテンツファイルの一覧表示を指示する旨の操作入力がされたか否かが判断される(ステップS921)。コンテンツ一覧表示を指示する旨の操作入力がされなければ(ステップS921)、操作入力の監視を継続する。
The operation input from the
コンテンツ一覧表示を指示する旨の操作入力がされると(ステップS921)、プロパティファイル400をオープンさせ(ステップS922)、プロパティファイル400から動画コンテンツファイルを管理するフォルダエントリが抽出される(ステップS923)。続いて、抽出されたフォルダエントリに記録されている子エントリリストから、日付フォルダエントリのエントリ番号が抽出され、抽出されたエントリ番号に基づいて日付フォルダエントリが抽出される(ステップS924)。
When an operation input for instructing content list display is made (step S921), the
続いて、抽出された日付フォルダエントリに記録されている子エントリリストから、動画ファイルエントリのエントリ番号が抽出され、抽出されたエントリ番号に基づいて動画ファイルエントリが抽出される(ステップS925)。続いて、抽出されたファイルエントリのエントリ番号がメモリに順次記録される(ステップS926)。続いて、メモリに記録されたエントリ番号に対応するファイルエントリに記録されているサムネイルアドレスがメモリに順次記録される(ステップS927)。 Subsequently, the entry number of the moving image file entry is extracted from the child entry list recorded in the extracted date folder entry, and the moving image file entry is extracted based on the extracted entry number (step S925). Subsequently, the entry numbers of the extracted file entries are sequentially recorded in the memory (step S926). Subsequently, the thumbnail addresses recorded in the file entry corresponding to the entry number recorded in the memory are sequentially recorded in the memory (step S927).
続いて、1つの日付フォルダエントリに属するファイルエントリに記録されているサムネイルアドレスの抽出が全て終了したか否かが判断される(ステップS928)。終了していなければ、ステップS927に戻り、抽出処理を繰り返す。 Subsequently, it is determined whether or not extraction of all thumbnail addresses recorded in the file entry belonging to one date folder entry is completed (step S928). If not completed, the process returns to step S927 to repeat the extraction process.
一方、サムネイルアドレスの抽出が全て終了していれば(ステップS928)、全ての日付フォルダエントリについての抽出が終了したか否かが判断される(ステップS929)。全ての日付フォルダエントリについての抽出が終了していなければ(ステップS929)、ステップS925に戻り、抽出処理を繰り返す。 On the other hand, if the extraction of all thumbnail addresses has been completed (step S928), it is determined whether the extraction for all date folder entries has been completed (step S929). If extraction has not been completed for all date folder entries (step S929), the process returns to step S925 to repeat the extraction process.
全ての日付フォルダエントリについての抽出が終了していれば(ステップS929)、プロパティファイル400をクローズさせ(ステップS930)、サムネイルファイル500をオープンさせる(ステップS931)。続いて、ステップS927においてメモリに記録されたサムネイルアドレスに基づいて、サムネイルファイル500から代表サムネイル画像が読み出され、読み出された代表サムネイル画像がメモリに順次記録される(ステップS932)。続いて、サムネイルファイル500をクローズさせる(ステップS933)。続いて、ステップS932においてメモリに記録された代表サムネイル画像がLCD162に表示される(ステップS934)。例えば、図20の表示画面710に示すように表示される。
If extraction for all date folder entries has been completed (step S929), the
続いて、LCD162に表示されているサムネイル画像の中から、1つのサムネイル画像を選択する旨の操作入力が操作部140からされたか否かが判断される(ステップS935)。この操作入力がなければ(ステップS935)、操作入力の監視を継続する。
Subsequently, it is determined whether or not an operation input for selecting one thumbnail image from the thumbnail images displayed on the
代表サムネイル画像を選択する旨の操作入力がされると(ステップS935)、選択された代表サムネイル画像の順番に基づいて、ステップS926においてメモリに記録されたファイルエントリのエントリ番号が抽出される(ステップS936)。続いて、プロパティファイル400がオープンされ(ステップS937)、抽出されたエントリ番号に対応するファイルエントリがプロパティファイル400から抽出される(ステップS938)。
When an operation input for selecting a representative thumbnail image is made (step S935), the entry number of the file entry recorded in the memory is extracted in step S926 based on the order of the selected representative thumbnail images (step S935). S936). Subsequently, the
続いて、抽出されたファイルエントリに記録されている子エントリリストからメタデータエントリのエントリ番号が抽出され、抽出されたメタデータエントリのエントリ番号がメモリに記録される(ステップS939)。続いて、メモリに記録されたエントリ番号に対応するメタデータエントリがプロパティファイルから抽出される(ステップS940)。続いて、抽出されたメタデータエントリから顔メタデータが抽出され(ステップS941)、抽出された顔メタデータのヘッダ部の情報が確認される(ステップS942)。 Subsequently, the entry number of the metadata entry is extracted from the child entry list recorded in the extracted file entry, and the entry number of the extracted metadata entry is recorded in the memory (step S939). Subsequently, a metadata entry corresponding to the entry number recorded in the memory is extracted from the property file (step S940). Subsequently, face metadata is extracted from the extracted metadata entry (step S941), and information of the header portion of the extracted face metadata is confirmed (step S942).
続いて、ヘッダ部の情報に基づいて顔データが順次読み出され(ステップS943)、読み出された顔データに含まれる顔基本情報がメモリに順次記録される(ステップS944)。続いて、全ての顔データの読み出しが終了したか否かが判断される(ステップS945)。全ての顔データの読み出しが終了していなければ(ステップS945)、顔データの読み出しおよびメモリへの記録を継続する(ステップS943およびステップS944)。全ての顔データの読み出しが終了していれば(ステップS945)、プロパティファイル400をクローズさせ(ステップS946)、ステップS944においてメモリに記録された顔基本情報に基づいて、動画コンテンツファイルから顔サムネイル画像が作成され、作成された顔サムネイル画像がメモリに順次記録される(ステップS947)。続いて、ステップS947においてメモリに記録された顔サムネイル画像がLCD162に表示される(ステップS948)。例えば、図20の表示画面720に示すように表示される。
Subsequently, face data is sequentially read based on the information in the header portion (step S943), and the basic face information included in the read face data is sequentially recorded in the memory (step S944). Subsequently, it is determined whether or not all face data has been read (step S945). If reading of all face data has not been completed (step S945), reading of face data and recording to memory are continued (steps S943 and S944). If the reading of all face data has been completed (step S945), the
続いて、LCD162に表示されている顔サムネイル画像の中から、1つの顔サムネイル画像を選択する旨の操作入力が操作部140からされたか否かが判断される(ステップS949)。この操作入力がなければ(ステップS949)、操作入力の監視を継続する。
Subsequently, it is determined whether or not an operation input for selecting one face thumbnail image from the face thumbnail images displayed on the
顔サムネイル画像を選択する旨の操作入力がされると(ステップS949)、選択された顔サムネイル画像の表示順に応じた番号がメモリに記録される(ステップS950)。続いて、プロパティファイル400がオープンされ(ステップS951)、ステップS939においてメモリに記録されたメタデータエントリのエントリ番号に基づいて、このメタデータエントリがプロパティファイル400から抽出される(ステップS952)。
When an operation input for selecting a face thumbnail image is made (step S949), a number corresponding to the display order of the selected face thumbnail image is recorded in the memory (step S950). Subsequently, the
続いて、抽出されたメタデータエントリから顔メタデータが抽出され(ステップS953)、抽出された顔メタデータから、ステップS950においてメモリに記録された番号に対応する顔データが抽出される(ステップS954)。続いて、抽出された顔データから顔検出時刻情報が抽出され、抽出された顔検出時刻情報がメモリに記録される(ステップS955)。 Subsequently, face metadata is extracted from the extracted metadata entry (step S953), and face data corresponding to the number recorded in the memory in step S950 is extracted from the extracted face metadata (step S954). ). Subsequently, face detection time information is extracted from the extracted face data, and the extracted face detection time information is recorded in the memory (step S955).
続いて、メモリにエントリ番号が記録されているメタデータエントリの親エントリリストに対応するファイルエントリのエントリ番号が抽出され(ステップS956)、抽出されたエントリ番号に対応するファイルエントリがプロパティファイル400から抽出される(ステップS957)。続いて、抽出されたファイルエントリに記録されているコンテンツアドレスが抽出され、抽出されたコンテンツアドレスがメモリに記録される(ステップS958)。そして、プロパティファイル400がクローズされる(ステップS959)。
Subsequently, the entry number of the file entry corresponding to the parent entry list of the metadata entry whose entry number is recorded in the memory is extracted (step S956), and the file entry corresponding to the extracted entry number is extracted from the
続いて、ステップS957において抽出されたコンテンツアドレスに対応するコンテンツファイルについて、ステップS955においてメモリに記録された顔検出時刻情報に対応する時刻から再生を開始させる(ステップS960)。 Subsequently, the reproduction of the content file corresponding to the content address extracted in step S957 is started from the time corresponding to the face detection time information recorded in the memory in step S955 (step S960).
図25は、図9に示すメタデータエントリ600に含まれる顔メタデータ620の構成を概略的に示す図である。ここでは、顔データに記録されているデータをデータ1乃至6として、顔データの読出処理における顔データのオフセット値の計算方法について説明する。
FIG. 25 is a diagram schematically showing a configuration of
顔メタデータ620のヘッダサイズaは、顔メタデータ620のヘッダ部630のヘッダサイズ631に記録されている。また、顔メタデータ620の顔データサイズbは、顔メタデータ620のヘッダ部630の顔データサイズ636に記録されている。cは、1つの顔データの所望データまでの距離を示す。顔メタデータ620から必要なデータを読み出す場合には、各顔データの先頭からのオフセット値を、以下に示す式1を用いて計算し、計算して求められたオフセット値を用いてデータを読み出す。これにより、顔データに記録されているデータから所望のデータを読み出す場合に、読出処理を迅速に行うことができる。例えば、図25には、必要なデータ(所望データ)がデータ3である場合を示す。
a+c+n×b(n:0以上の整数)[byte]……(式1)
The header size a of the
a + c + n × b (n: integer greater than or equal to 0) [bytes] (Equation 1)
図26は、撮像装置100による顔データの読出処理の処理手順を示すフローチャートである。この処理手順は、例えば、図23に示すステップS941乃至ステップS943に対応する。ここでは、図10に示すヘッダ部630を参照して説明する。
FIG. 26 is a flowchart illustrating a processing procedure of face data reading processing by the
最初に、メタデータエントリから顔メタデータが読み出される(ステップS971)。続いて、読み出された顔メタデータのヘッダ部630の情報が読み出される(ステップS972)。続いて、読み出されたヘッダ部630のメタデータバージョン632に記録されている顔メタデータのバージョン情報に基づいて、撮像装置100が対応可能な顔メタデータのバージョンであるか否かが判断される(ステップS973)。なお、ここでは、所望するデータが存在する顔メタデータのバージョンであるか否かも判断される。例えば、バージョン「1.10」から付加された顔メタデータを使用する場合において、バージョン「1.00」が確認された場合には、ステップS980に進む。
First, face metadata is read from the metadata entry (step S971). Subsequently, information of the
対応可能な顔メタデータのバージョンではない場合には(ステップS973)、ステップS980に進み、コンテンツ記憶部223に記憶されている全てのコンテンツについて顔データの読出処理が終了したか否かが判断される(ステップS980)。
If the face metadata version is not compatible (step S973), the process proceeds to step S980, where it is determined whether or not the face data reading process has been completed for all the contents stored in the
対応可能な顔メタデータのバージョンである場合には(ステップS973)、対応する動画コンテンツファイルの更新日時と、ヘッダ部630のコンテンツ更新日時633に記録されている更新日時とが同じであるか否かが判断される(ステップS974)。
If the version of the face metadata is compatible (step S973), whether the update date / time of the corresponding video content file is the same as the update date / time recorded in the content update date /
動画コンテンツファイルの更新日時と、ヘッダ部630のコンテンツ更新日時633に記録されている更新日時とが同じでない場合には(ステップS974)、顔の再検出を行う設定であるか否かが判断される(ステップS982)。顔の再検出を行う設定である場合には、更新日時が同じでないと判断された動画コンテンツファイルについて、ステップS900のプロパティファイルの記録処理を実行して(ステップS900)、ステップS971に戻る。そして、プロパティファイルの記録処理が実行された動画コンテンツファイルに対応するメタデータエントリから顔メタデータが読み出される(ステップS971)。
If the update date / time of the video content file and the update date / time recorded in the content update date /
動画コンテンツファイルの更新日時と、ヘッダ部630のコンテンツ更新日時633に記録されている更新日時とが同じある場合には(ステップS974)、対応する動画コンテンツファイルの画像サイズと、ヘッダ部630のコンテンツ画像サイズ638に記録されている画像サイズとが同じであるか否かが判断される(ステップS975)。動画コンテンツファイルの画像サイズと、ヘッダ部630のコンテンツ画像サイズ638に記録されている画像サイズとが同じでない場合には(ステップS975)、ステップS982に進み、上述した処理を繰り返す。
When the update date / time of the video content file is the same as the update date / time recorded in the content update date /
動画コンテンツファイルの画像サイズと、ヘッダ部630のコンテンツ画像サイズ638に記録されている画像サイズとが同じである場合には(ステップS975)、ヘッダ部630の顔データ個数635に「0」が記録されているか否かが判断される(ステップS976)。顔データ個数635に「0」が記録されている場合には(ステップS976)、対象となる動画コンテンツファイルから顔が検出されず、顔データが存在しない場合であるため、ステップS980に進む。
If the image size of the moving image content file is the same as the image size recorded in the
顔データ個数635に「0」が記録されていない場合には(ステップS976)、ヘッダ部630の顔データ構造フラグ660の記録に基づいて、必要なデータが顔データとして記録されているか否かが判断される(ステップS977)。これは、バージョンが同じでも、必要なデータが含まれていない可能性があるために行うものである。必要なデータが顔データとして記録されていない場合には(ステップS977)、ステップS980に進む。
If “0” is not recorded in the face data count 635 (step S976), whether or not necessary data is recorded as face data based on the record of the face
必要なデータが顔データとして記録されている場合には(ステップS977)、顔データ構造フラグ660の記録に基づいて、式1を用いて顔データ内の必要なデータまでのオフセット値が計算される(ステップS978)。これは、必要なデータが顔データ内で先頭から何バイト目から始まるかを求めるためのものである。また、顔データがどのような構造であるかを検索するためのものである。続いて、計算して求められたオフセット値に基づいて、顔データを読み出す(ステップS979)。続いて、コンテンツ記憶部223に記憶されている全てのコンテンツについて顔データの読出処理が終了したか否かが判断される(ステップS980)。コンテンツ記憶部223に記憶されている全てのコンテンツについて顔データの読出処理が終了した場合には(ステップS980)、顔データの読出処理を終了する。
If the necessary data is recorded as face data (step S977), an offset value to the necessary data in the face data is calculated using
一方、コンテンツ記憶部223に記憶されている全てのコンテンツについて顔データの読出処理が終了していない場合には(ステップS980)、コンテンツ記憶部223に記憶されているコンテンツの中で、顔データの読出処理が終了していないコンテンツに対応するメタデータエントリから顔メタデータが選択され(ステップS981)、顔データの読出処理を繰り返す(ステップS971乃至ステップS979)。なお、この例では、コンテンツ記憶部223に記憶されている全てのコンテンツについて、顔データの読出処理を実行する場合について説明したが、コンテンツ記憶部223に記憶されているコンテンツの中の所望のコンテンツについてのみ顔データの読出処理を実行する場合についても、この例を適用することができる。
On the other hand, when the face data reading process has not been completed for all the contents stored in the content storage unit 223 (step S980), the content of the face data in the content stored in the
このように、コンテンツ更新日時の比較とともに、コンテンツ画像サイズを用いた比較をすることによって、さらに確実な不整合を検出することが可能である。 In this way, by comparing the content update date and the content image size, it is possible to detect a more reliable mismatch.
図27は、撮像装置100による顔データの読出処理の処理手順を示すフローチャートである。この処理手順は、チェックサムを用いて不整合を検出する処理手順であり、図26に示す処理手順において、ステップS974およびステップS975の代わりに、ステップS983およびステップS984の処理を行うものである。このため、ステップS983およびステップS984について詳細に説明し、他の処理についての説明を省略する。また、ここでは、図10に示すヘッダ部630を参照して説明する。
FIG. 27 is a flowchart illustrating a processing procedure of face data reading processing by the
ステップS972で読み出されたヘッダ部630のメタデータバージョン632に記録されている顔メタデータのバージョン情報に基づいて、撮像装置100が対応可能な顔メタデータのバージョンであるか否かが判断される(ステップS973)。そして、対応可能な顔メタデータのバージョンである場合には(ステップS973)、対応する動画コンテンツファイルの画像データからチェックサムが計算される(ステップS983)。このチェックサムの計算を行う場合において、対応する全ての画像データに基づいてチェックサムの計算を行うと、多くの処理時間を要すると考えられる。このため、対応する画像データのうちから、記録再生処理に支障がない程度の画像データを抽出して、この抽出された画像データを用いてチェックサムを計算するようにしてもよい。例えば、画像データの開始から100バイトまでの値を用いてチェックサムを計算することができる。この場合には、ヘッダ部630の誤り検出符号値639に記録されているチェックサムの値についても、画像データの開始から100バイトまでの値を用いて計算されている。
Based on the face metadata version information recorded in the
続いて、計算して求められたチェックサムの値と、ヘッダ部630の誤り検出符号値639に記録されているチェックサムの値とが同じであるか否かが判断される(ステップS984)。
Subsequently, it is determined whether the checksum value obtained by calculation is the same as the checksum value recorded in the error
計算して求められたチェックサムの値と、ヘッダ部630の誤り検出符号値639に記録されているチェックサムの値とが同じである場合には(ステップS984)、顔メタデータが信頼できるものであると判断することができるため、ステップS976に進む。一方、計算して求められたチェックサムの値と、ヘッダ部630の誤り検出符号値639に記録されているチェックサムの値とが同じでない場合には(ステップS984)、ステップS982に進む。ここで、誤り検出符号値として、CRCやハッシュ関数を用いたハッシュ値を用いる場合についても同様にこの処理手順を適用することができる。また、図26および図27で示したコンテンツ更新日時の比較(ステップS974)、コンテンツ画像サイズの比較(ステップS975)、チェックサムの比較(ステップS983およびステップS984)のうちの少なくとも2つを組み合わせて不整合を検出するようにしてもよい。
When the calculated checksum value is the same as the checksum value recorded in the error
次に本発明の実施の形態の変形例について図面を参照して詳細に説明する。 Next, modifications of the embodiment of the present invention will be described in detail with reference to the drawings.
ここでは、コンテンツファイルが動画コンテンツファイルである場合において、この動画コンテンツファイルに基づいて作成された顔メタデータを含むメタデータエントリをコンテンツ管理ファイル340に記録するとともに、この動画コンテンツファイル内部にも記録を行う例について説明する。この例では、顔メタデータを、図2に示すAU(アクセスユニット)に含まれるSEI NALユニットの付加情報として記録する場合について説明する。
Here, when the content file is a video content file, a metadata entry including face metadata created based on the video content file is recorded in the
図2を参照して説明したように、本発明の実施の形態において、MPEG4−AVCで符号化された動画ストリームに含まれる顔を検出するタイミングは、IDR AUまたはnon−IDR−I AUが出現するタイミングである。このため、例えば、IDR AUに対応するフレームから顔が検出された場合には、この検出された顔に関する顔メタデータが、そのIDR AUの中に含まれるSEI NALユニットの付加情報として記録される。例えば、図2に示すように、AU180に対応するフレームから顔が検出された場合には、この検出された顔に関する顔メタデータが、AU180に含まれるSEI NALユニット181の付加情報として記録される。また、AU190に対応するフレームから顔が検出された場合には、この検出された顔に関する顔メタデータが、AU190に含まれるSEI NALユニット191の付加情報として記録される。
As described with reference to FIG. 2, in the embodiment of the present invention, IDR AU or non-IDR-I AU appears at the timing of detecting a face included in a moving image stream encoded by MPEG4-AVC. It is time to do. Therefore, for example, when a face is detected from a frame corresponding to the IDR AU, face metadata regarding the detected face is recorded as additional information of the SEI NAL unit included in the IDR AU. . For example, as shown in FIG. 2, when a face is detected from a frame corresponding to the
ここで、SEI NALユニット(以下、SEIと称する。)に記録される顔メタデータは、例えば、図10に示すヘッダ部630および図11に示す顔データ部640から構成される顔メタデータ620である。なお、図13乃至図16等を参照して説明したように、顔データ部640については、必要な情報のみとすることができる。
Here, the face metadata recorded in the SEI NAL unit (hereinafter referred to as SEI) is, for example, face
ここで、SEIに記録される顔データが満たすべき所定の条件について図28を参照して詳細に説明する。上述したように、コンテンツ管理ファイル340において顔データ部に顔データの値を記録する場合には、例えば、所定の条件(顔の大きさ、位置、直前に検出された顔の個数の増減等)に基づいて、1フレーム内において検出された顔のうちで、顔データ部に記録すべき顔データを規定して制限していた。これに対して、SEIに顔データを記録する場合には、1フレーム内において検出された顔に関する顔メタデータを極力記録するものとする。すなわち、SEIに顔データを記録する場合には、コンテンツ管理ファイル340に顔データを記録する場合における所定の条件よりも緩和された条件に基づいて記録するものとする。
Here, a predetermined condition to be satisfied by the face data recorded in the SEI will be described in detail with reference to FIG. As described above, when the value of face data is recorded in the face data portion in the
例えば、SEIに格納する顔の個数の上限値を予め決めておき、検出された顔が上限値を超えた場合にのみ、検出された顔の大きさや位置等に基づいて、SEIに記録される顔メタデータを制限する。ここで、図28を参照して顔データの記録方法の一例を説明する。 For example, an upper limit value of the number of faces to be stored in the SEI is determined in advance, and only when the detected face exceeds the upper limit value, it is recorded in the SEI based on the size and position of the detected face. Limit face metadata. Here, an example of a face data recording method will be described with reference to FIG.
図28は、動画コンテンツファイルを構成するフレーム823乃至828において検出された顔と、顔データ部640に記録される顔データ811乃至822との関係を示す図である。なお、図28では、フレーム823乃至828において検出された顔が四角の枠で囲まれている状態を示す。また、フレーム823または824では1人の顔が検出され、フレーム825または827では2人の顔が検出され、フレーム826または828では3人の顔が検出されたものとする。
FIG. 28 is a diagram illustrating the relationship between the faces detected in the
例えば、検出時刻t1のフレーム823において検出された顔の数と、検出時刻t2のフレーム824において検出された顔の数とが同数である場合においても、検出された顔の数が上限値を超えていなければ、検出時刻t1のフレーム823および検出時刻t2のフレーム824において検出された顔の顔データを顔データ部640に記録する。また、同様に、時刻t5のフレーム827において検出された顔の数は、時刻t4のフレーム826において検出された顔の数よりも少ないものの、検出された顔の数が上限値を超えていなければ、検出時刻t4のフレーム826および検出時刻t5のフレーム827において検出された顔の顔データを顔データ部640に記録する。
For example, even when the number of faces detected in the
これに対して、コンテンツ管理ファイル340に顔データを記録する場合における所定の条件は、例えば、ある検出時刻のフレームにおいて検出された顔の個数と、次の検出時刻のフレームにおいて検出された顔の個数とが同数である場合には、次の検出時刻で検出された顔に関する顔データを顔データ部に記録しないとする条件である。これは、検出された顔の個数が同数であるため、同じ顔に関するメタデータが記録される可能性が高いためである。また、ある検出時刻のフレームにおいて検出された顔の個数よりも、次の検出時刻のフレームにおいて検出された顔の個数が少ない場合についても、同様に、次の検出時刻で検出された顔に関する顔データを顔データ部に記録しないようにすることができる。
On the other hand, the predetermined condition in the case of recording face data in the
例えば、図28に示すように、検出時刻t1のフレーム823において検出された顔の数と、検出時刻t2のフレーム824において検出された顔の数とが同数である場合において、コンテンツ管理ファイル340に顔データを記録する場合には、検出時刻t2のフレーム824において検出された顔の顔データは、顔データ部640に記録されない。また、検出時刻t5のフレーム827において検出された顔の数は、検出時刻t4のフレーム826において検出された顔の数よりも少ない。このため、検出時刻t5のフレーム825において検出された顔の顔データは、顔データ部640に記録されない。
For example, as shown in FIG. 28, when the number of faces detected in the
このように、SEIに顔データを記録する場合には、コンテンツ管理ファイルに顔メタデータを記録する場合における条件よりも緩和された条件に基づいて、顔メタデータの記録の是非を判定するようにする。これにより、顔データが記録されているSEIを含むコンテンツファイルが、この顔データが記録された記録機器から他の機器に移動された場合でも、このコンテンツファイルを移動先の機器におけるアプリケーションに広く対応させることができる。 As described above, when face data is recorded in the SEI, whether or not face metadata is recorded is determined based on a condition that is more relaxed than the condition in the case of recording face metadata in the content management file. To do. As a result, even if a content file containing SEI in which face data is recorded is moved from the recording device in which the face data is recorded to another device, the content file can be widely applied to applications in the destination device. Can be made.
例えば、検出された顔に関する顔メタデータが記録機器の所定条件に基づいて記録された場合において、この移動元の記録機器の所定条件により記録された顔メタデータが移動先の機器において有用だとは限らない。そこで、移動先の機器におけるアプリケーションに広く対応させることができるように、SEIに顔データを記録する場合における条件を緩和して比較的多数の顔データを記録しておく。これにより、顔メタデータの取捨選択の幅を持たせておくことができる。 For example, when face metadata relating to a detected face is recorded based on a predetermined condition of the recording device, the face metadata recorded based on the predetermined condition of the source recording device is useful in the destination device. Is not limited. Therefore, a relatively large amount of face data is recorded by relaxing the conditions for recording face data in SEI so that it can be widely applied to applications in destination devices. Thereby, it is possible to provide a range of selection of face metadata.
しかしながら、コンテンツ管理ファイルと動画ストリームとの両方に顔メタデータを記録する場合においては、同じ顔メタデータをそれぞれに記録する必要はない。例えば、コンテンツ管理ファイルと動画ストリームとの両方に顔メタデータを記録する場合において、コンテンツ管理ファイルに顔検出時刻情報が記録されている場合でも、SEIを含むAUにおける他のNALユニットに時刻情報が記録されているため、SEIには顔検出時刻情報を記録しないようにすることができる。これにより、顔メタデータの容量を削減することが可能となる。また、顔が検出されたAUは、通常は編集点となるAUである。このため、動画ストリームが途中で削除された場合でも顔検出時刻情報については正しい値を保持することができる。また、動画ストリームを編集する場合において、コンテンツ管理ファイル内の顔メタデータをメンテナンスする場合にも、SEIを含むAUの他のNALユニットに記録されている時刻情報を利用することが可能となる。 However, when face metadata is recorded in both the content management file and the moving image stream, it is not necessary to record the same face metadata in each. For example, when face metadata is recorded in both a content management file and a video stream, even when face detection time information is recorded in the content management file, the time information is stored in other NAL units in the AU including SEI. Since it is recorded, face detection time information can be prevented from being recorded in SEI. This makes it possible to reduce the face metadata capacity. Further, the AU in which the face is detected is usually an AU that becomes an editing point. For this reason, even when the moving image stream is deleted halfway, the correct value can be held for the face detection time information. In addition, when editing a video stream, time information recorded in another NAL unit of the AU including SEI can be used also when maintaining the face metadata in the content management file.
さらに、コンテンツ管理ファイルを備えた記録機器において、ストリーム内部に顔メタデータを記録することによって、コンテンツ管理ファイルが何らかの事情で破壊された場合には、ストリーム内部の顔メタデータを用いて迅速にコンテンツ管理ファイルの顔メタデータの再構築を行うことができる。これにより、全てのストリームから顔を検出して顔メタデータの補修を行うよりも、迅速にコンテンツ管理ファイルの顔メタデータの再構築を行うことができる。 Furthermore, in the recording device equipped with the content management file, if the content management file is destroyed for some reason by recording the face metadata inside the stream, the content can be quickly used by using the face metadata inside the stream. The face metadata of the management file can be reconstructed. As a result, the face metadata of the content management file can be reconstructed more quickly than the face metadata is repaired by detecting faces from all the streams.
コンテンツ管理ファイルを備えていない記録機器の場合には、動画ストリームの所定AUにおけるSEI NALユニットにのみ顔メタデータが記録されることになる。この場合には、この動画ストリーム内部に記録された顔メタデータを使用することによって、迅速にアプリケーションを実行することができる。これに対して、顔メタデータが記録されていない動画ストリームについて顔メタデータを用いるアプリケーションを実行する場合には、動画ストリームから顔を検出する必要があるため、アプリケーションの実行を迅速に行うことができない場合がある。 In the case of a recording device that does not include a content management file, face metadata is recorded only in the SEI NAL unit in a predetermined AU of the moving image stream. In this case, the application can be quickly executed by using the face metadata recorded in the moving image stream. On the other hand, when executing an application using face metadata for a video stream in which no face metadata is recorded, it is necessary to detect the face from the video stream, so that the application can be executed quickly. There are cases where it is not possible.
次に、コンテンツファイルが静止画コンテンツファイルである場合において、この静止画コンテンツファイルに基づいて作成された顔メタデータを、コンテンツ管理ファイル340に記録せずに、この静止画コンテンツファイル内部に記録する例について説明する。
Next, when the content file is a still image content file, face metadata created based on the still image content file is recorded in the still image content file without being recorded in the
図29は、DCF(Design rule for Camera File system)規格により記録される静止画ファイルのファイル構造の概略を示す図である。DCFは、デジタルスチルカメラやプリンタ等の機器間で、記録媒体を介して画像の相互利用を実現するためのファイルシステム規格であり、Exif(Exchangeable image file format)をベースにして記録媒体に記録する場合におけるファイル名の付け方やフォルダの構成が規定されている。このExifは、画像ファイルの中に画像データおよびカメラ情報を付加するための規格であり、画像ファイルを記録するための形式(ファイルフォーマット)を規定するものである。 FIG. 29 is a diagram showing an outline of the file structure of a still image file recorded according to the DCF (Design Rule for Camera File system) standard. DCF is a file system standard for realizing mutual use of images via a recording medium between devices such as a digital still camera and a printer, and records on a recording medium based on the Exif (Exchangeable image file format). In this case, file naming and folder structure are specified. This Exif is a standard for adding image data and camera information to an image file, and defines a format (file format) for recording the image file.
静止画ファイル800は、DCF規格により記録される静止画ファイルであり、図29(a)に示すように、付属情報801および画像情報802から構成されている。画像情報802は、例えば、カメラ部110により撮像された被写体の画像データである。
The still image file 800 is a still image file recorded according to the DCF standard, and is composed of attached
付属情報801は、図29(b)に示すように、属性情報803およびメーカーノート(maker note)804から構成されている。属性情報803は、静止画ファイル800に関する属性情報等であり、例えば、撮影更新日時、画サイズ、色空間情報、メーカー名等が含まれる。また、属性情報803には、画像の回転の有無を示す回転情報(TAGID=274、Orientation)が含まれる。なお、この回転情報については、Exif情報として画像の回転情報を記録しない設定(すなわち、回転情報をタグに記録しない設定)をすることができる。この設定がされている場合には、無効値として「0」が記録される。
The attached
メーカーノート804は、一般的にユーザ独自のデータが記録される領域であり、各メーカーが自由に情報を記録することができる拡張領域である(TAGID=37500、MakerNote)。この例では、図29(c)に示すように、このメーカーノート804に顔メタデータが記録される。すなわち、メーカーノート804は、顔メタデータ807等の1または複数の顔メタデータを記録する顔メタデータ記録領域805と、他の独自メタデータ等を記録する記録領域806とから構成されている。このように、顔メタデータを静止画ファイルに記録する場合には、Exifで規定されたメーカーノート804の内部に顔メタデータが記録される。
The
ここで、メーカーノート804に記録される顔メタデータについて説明する。メーカーノート804に記録される顔メタデータは、例えば、図10に示すヘッダ部630および図11に示す顔データ部640から構成される顔メタデータ620である。ここで、顔データ部640については、図13乃至図16等を参照して説明したように、必要な情報のみとすることができる。ただし、静止画の場合は、ヘッダ部630に記録される各情報のうちでタイムスケール635が必要ないものの、静止画のタイムスケール635には「0」が記録される。これは、動画または静止画に応じて異なるメタデータ量にするよりも、同じメタデータ量とする方がヘッダ部630を固定長とすることができるため、データのアクセスを容易にすることができる。また、動画または静止画において、異なるメタデータを記録することは、記録機器のシステム的に負荷が重い。このため、動画または静止画で検出された顔に関する顔メタデータを作成する場合には、それぞれ同様のメタデータとすることによって、負荷を軽減することが可能となる。
Here, the face metadata recorded in the maker note 804 will be described. The face metadata recorded in the
図30は、本発明の実施の形態の変形例における撮像装置100の機能構成例を示すブロック図である。この撮像装置100は、コンテンツ管理ファイル記憶部210と、コンテンツ入力部211と、顔検出部212と、顔メタデータ作成部213と、仮想管理情報作成部214と、代表サムネイル画像抽出部215と、コンテンツ属性情報作成部216と、記録制御部230と、コンテンツ記憶部223とを備える。ここでは、コンテンツ管理ファイル記憶部210と、コンテンツ入力部211と、記録制御部230と、コンテンツ記憶部223とについて、図17に示すものと異なる部分を詳細に説明して、他の構成については、ここでの説明を省略する。
FIG. 30 is a block diagram illustrating a functional configuration example of the
コンテンツ管理ファイル記憶部210は、仮想的な階層構造により構成される階層エントリを記録するコンテンツ管理ファイル340を記憶するものである。なお、この変形例では、コンテンツ管理ファイル記憶部210には、静止画に関する階層エントリを記録しにしない。
The content management
コンテンツ入力部211は、コンテンツファイルを入力するものであり、入力されたコンテンツファイルを、顔検出部212、顔メタデータ作成部213、仮想管理情報作成部214、代表サムネイル画像抽出部215、コンテンツ属性情報作成部216および記録制御部230に出力する。具体的には、動画の場合には、カメラ部110で撮影されたフレームがコンテンツ入力部211から順次入力される。静止画の場合には、カメラ部110で撮影された画像がコンテンツ入力部211から順次入力される。
The
記録制御部230は、顔メタデータ作成部213により作成された顔メタデータを、この顔メタデータに対応するコンテンツファイルに記録する。また、記録制御部230は、動画コンテンツファイルに関して、IDRピクチャまたはIピクチャ毎に作成された顔メタデータを、この顔メタデータに対応するIDRピクチャまたはIピクチャを含むAUにおけるSEIに記録する。さらに、記録制御部230は、動画コンテンツファイルに関して所定間隔で作成された顔メタデータを動画コンテンツファイルに記録する場合には、コンテンツ管理ファイル340に顔メタデータを記録する場合における記録条件よりも緩和された記録条件を用いて、動画コンテンツファイルに顔メタデータを記録する。また、記録制御部230は、静止画に関する顔メタデータについては、コンテンツ管理ファイル340に記録しない。
The
コンテンツ記憶部223は、顔メタデータが記録された動画や静止画等のコンテンツファイルを記憶するものである。
The
ここで、静止画および動画の利用環境等について簡単に説明する。 Here, a usage environment of still images and moving images will be briefly described.
一般的に、静止画は、記録媒体に記録されて機器間を移動することが多く、動画に比べて可搬性が高いと考えられる。このように静止画が移動される場合においては、移動先の機器においてコンテンツ管理ファイルを理解することができない市販の画像管理アプリケーションソフトウェアが利用されている可能性が高いと考えられる。このため、静止画については、コンテンツ管理ファイルで管理しなくてもよいと考えられる。 In general, a still image is often recorded on a recording medium and moves between devices, and is considered to be more portable than a moving image. When a still image is moved in this way, it is highly likely that commercially available image management application software that cannot understand the content management file is used in the destination device. For this reason, it is considered that still images need not be managed by the content management file.
また、静止画の場合は、静止画ファイルをPC上で編集可能なPCアプリケーションソフトウェアが多く存在している。これらのPCアプリケーションソフトウェアの中には、静止画がトリミングや回転処理された場合においても、Exifのメーカーノート以外のカメラ情報(更新日時や回転情報等)を正しくメンテナンスしないものも多い。そのようなPCアプリケーションソフトウェアで編集された静止画ファイルが、顔が検出された記録機器に戻される場合がある。この場合において、例えば、顔位置を示す顔データを用いて静止画から顔を切り出す処理を実行しても、顔が正しく切り出されていないということが生じ得る。 In the case of still images, there are many PC application software that can edit still image files on a PC. Many of these PC application softwares do not properly maintain camera information (update date and time, rotation information, etc.) other than Exif manufacturer notes even when a still image is trimmed or rotated. A still image file edited with such PC application software may be returned to the recording device in which the face is detected. In this case, for example, even if a process of cutting out a face from a still image using face data indicating the face position is executed, the face may not be cut out correctly.
このような場合を極力避けるために、静止画コンテンツ内にある更新日時情報とともに、画像サイズ情報等を用いることによって、不整合検出の可能性を高めることができる。 In order to avoid such a case as much as possible, the possibility of inconsistency detection can be increased by using the image size information and the like together with the update date / time information in the still image content.
一方、動画については、AVCHD(Advanced Video Codec High Definition)、BD(Blu-ray Disc:ブルーレイディスク)等の再生環境が整っていない段階では、動画が撮影された撮像装置に付属するPCアプリケーションソフトウェアでないと再生できない可能性が高い。このため、動画については、コンテンツ管理ファイルを理解することができるPCアプリケーションソフトウェアをユーザが使用する可能性が高く、メタデータへのアクセス性等のメリットを考えてコンテンツ管理ファイルで動画コンテンツを管理する。また、動画コンテンツのメタデータもコンテンツ管理ファイルに記録する。 On the other hand, for video, when playback environment such as AVCHD (Advanced Video Codec High Definition), BD (Blu-ray Disc: Blu-ray Disc) is not in place, it is not PC application software attached to the imaging device where the video was shot. There is a high possibility that it cannot be played. For this reason, with regard to moving images, it is highly likely that the user will use PC application software that can understand the content management file, and the moving image content is managed with the content management file in consideration of merits such as accessibility to metadata. . Also, the metadata of the moving image content is recorded in the content management file.
動画ファイルが編集される場合には、上述したように、動画対応フォーマットに対応する編集アプリケーションが少なければ、独自ファイルであるコンテンツ管理ファイルや動画ファイルに記録される更新日時情報が、その独自ファイルに対応するPCアプリケーションソフトウェアにより確実にメンテナンスされる可能性が高い。 When a movie file is edited, as described above, if there are few editing applications that support the movie-compatible format, the update date information recorded in the content management file or movie file that is a unique file is stored in the unique file. There is a high possibility that maintenance will be reliably performed by corresponding PC application software.
以上で示したように、静止画および動画の使用環境が異なるため、この変形例では、動画コンテンツファイルと、この動画コンテンツファイルから検出されたメタデータ(顔メタデータに限定されず)とをコンテンツ管理ファイルで管理する。一方、静止画コンテンツファイルについては、コンテンツ管理ファイルで管理せずに、通常のファイルシステムで管理して、この静止画コンテンツファイルに含まれるメタデータを、この静止画ファイル内(すなわち、Exifのメーカーノート)に記録する。 As described above, since the usage environment of still images and moving images is different, in this modified example, the content of the moving image content file and metadata (not limited to face metadata) detected from the moving image content file are included. Manage with a management file. On the other hand, the still image content file is not managed by the content management file, but is managed by a normal file system, and the metadata included in the still image content file is stored in the still image file (that is, the manufacturer of Exif). Note).
次に、本発明の実施の形態の変形例における顔データの読出処理について図面を参照して詳細に説明する。 Next, face data reading processing in a modification of the embodiment of the present invention will be described in detail with reference to the drawings.
図31および図32は、撮像装置100による顔データの読出処理の処理手順を示すフローチャートである。この例では、メーカーノート804に顔メタデータが記録されている静止画について、コンテンツ更新日時、コンテンツ画像サイズ、コンテンツ回転情報を用いて、静止画とメタデータとの不整合を検出する処理手順を示す。この処理手順は、図26に示す処理手順において、ステップS975とステップS976との処理の間に、ステップS985の処理を行うものである。このため、ステップS985について詳細に説明し、他の処理についての説明を省略する。また、ここでは、図10に示すヘッダ部630を参照して説明する。
FIG. 31 and FIG. 32 are flowcharts showing a processing procedure of face data reading processing by the
ステップS972で読み出されたヘッダ部630のメタデータバージョン632に記録されている顔メタデータのバージョン情報に基づいて、撮像装置100が対応可能な顔メタデータのバージョンであるか否かが判断される(ステップS973)。そして、対応可能な顔メタデータのバージョンである場合において(ステップS973)、対応する静止画コンテンツファイルの更新日時と、ヘッダ部630のコンテンツ更新日時633に記録されている更新日時とが同じでない場合(ステップS974)、または、対応する静止画コンテンツファイルの画像サイズと、ヘッダ部630のコンテンツ画像サイズ638に記録されている画像サイズとが同じでない場合には(ステップS975)、対応する静止画コンテンツファイルの画像がトリミングや解像度変換等の処理を施されている可能性が高いため、ステップS982に進み、上述した処理を繰り返す。
Based on the face metadata version information recorded in the
一方、対応する静止画コンテンツファイルの更新日時と、ヘッダ部630のコンテンツ更新日時633に記録されている更新日時とが同じであり(ステップS974)、かつ、対応する静止画コンテンツファイルの画像サイズと、ヘッダ部630のコンテンツ画像サイズ638に記録されている画像サイズとが同じである場合には(ステップS975)、対応する静止画コンテンツファイルの回転情報が存在し、かつ、この回転情報に無効値が記録されていないか否かが判断される(ステップS985)。対応する静止画コンテンツファイルの回転情報が存在し、かつ、この回転情報に無効値が記録されていない場合には(ステップS985)、ステップS976に進む。
On the other hand, the update date and time of the corresponding still image content file is the same as the update date and time recorded in the content update date and
一方、対応する静止画コンテンツファイルの回転情報が存在しない場合、または、この回転情報に無効値が記録されている場合には(ステップS985)、画像が回転処理されている可能性が高いため、ステップS982に進み、上述した処理を繰り返す。これらにより、静止画ファイルの編集において比較的多く用いられる画像の回転、トリミング、解像度変換等を考慮して不整合検出の可能性を高めることができる。なお、図26、図27、図31で示したコンテンツ更新日時の比較、コンテンツ画像サイズの比較、チェックサムの比較、回転情報の確認のうちの少なくとも2つを組み合わせて不整合を検出するようにしてもよい。 On the other hand, if there is no rotation information of the corresponding still image content file, or if an invalid value is recorded in this rotation information (step S985), there is a high possibility that the image has been rotated. Proceeding to step S982, the above-described processing is repeated. Accordingly, it is possible to increase the possibility of inconsistency detection in consideration of image rotation, trimming, resolution conversion, and the like that are used relatively frequently in editing of still image files. Note that inconsistency is detected by combining at least two of the content update date comparison, the content image size comparison, the checksum comparison, and the rotation information confirmation shown in FIGS. 26, 27, and 31. May be.
次に、顔メタデータを利用したアプリケーションの実行例について図面を参照して詳細に説明する。 Next, an execution example of an application using face metadata will be described in detail with reference to the drawings.
図33は、静止画コンテンツファイルについてのスライドショーが実行される場合における表示例を示す図である。図33(a)は、顔851を含む画像が表示部850に表示されている状態を示す図である。顔851については、静止画ファイル内のメーカーノートに顔データが記録されており、この顔データにより顔851を含む領域852を認識することが可能である。
FIG. 33 is a diagram illustrating a display example when a slide show is executed for a still image content file. FIG. 33A is a diagram illustrating a state where an image including the
従来では、1枚の画像をスライドショーによって表示させる場合には、例えば、1枚の画像の真中部分を上下に切り分け、この切り分けられた画像の上部分を画面上の右側から進入させるとともに、画像の下部分を画面上の左側から進入させていき、一枚の画像を再生するトランジション効果によって表示させるスライドショーが行われている。 Conventionally, when displaying one image by a slide show, for example, the middle part of one image is cut up and down, the upper part of the cut image is entered from the right side of the screen, and the image There is a slide show in which the lower part is entered from the left side of the screen and displayed by a transition effect that reproduces one image.
例えば、図33(a)に示す画像についてトランジション効果によりスライドショー表示させる場合には、図33(a)に示す点線853で示す真中部分で画像を上下に切り分けて、図33(b)に示すように、上部分の画像を矢印855方向に順次移動させるとともに、下部分の画像を矢印856方向に順次移動させていき、この画像全体を表示させることができる。しかしながら、このように点線853で示す部分で画像を上下に切り分けた場合には、この画像に含まれる顔851が上下に分かれてしまうため、上下に分かれた画像が組み合わされるまでの間は、顔851の全体を閲覧することができない。
For example, when the image shown in FIG. 33A is displayed as a slide show by the transition effect, the image is cut up and down at the middle portion indicated by the dotted
そこで、顔を含む画像についてトランジション効果によりスライドショー表示させる場合には、トランジションをかける前に、メーカーノートに記録されている顔メタデータに含まれる顔基本情報に基づいて、顔の位置を把握して、画像の上下を区切る位置を調節することができる。これにより、領域852に含まれる顔851が切り分けられないようにすることができる。例えば、領域852に含まれる顔851が切り分けられないように、図33(a)に示す点線854で示す部分で画像を上下に切り分けることができる。これにより、図33(c)に示すように、上下に区切られた画像が移動中であっても、顔851の全体を閲覧することができる。
Therefore, if you want to display a slideshow with an image that includes a face, you must know the position of the face based on the basic face information included in the face metadata recorded in the manufacturer's note before applying the transition. The position that separates the top and bottom of the image can be adjusted. Thereby, the
また、図33(a)に示すように、メーカーノートに顔データが記録されている画像については、上述したトランジション効果とは異なるトランジション効果によりスライドショー表示させることができる。例えば、顔が含まれる画像については、画像に含まれる顔のズームから、通常の顔の大きさに戻す等のように、画像に含まれる顔が切り分けられないようなトランジション効果を用いることができる。顔が含まれる画像と顔が含まれない画像とについて、トランジションを切り替えることによって、画像に含まれる顔を効果的に表示させることができるスライドショーを実行することができる。 As shown in FIG. 33A, an image in which face data is recorded in the maker note can be displayed as a slide show with a transition effect different from the transition effect described above. For example, for an image that includes a face, a transition effect that prevents the face included in the image from being separated, such as returning the face size from normal to the normal size, can be used. . By switching the transition between an image including a face and an image not including a face, a slide show that can effectively display the face included in the image can be executed.
次に、デジタルスチルカメラやデジタルビデオカメラ等の記録装置により撮像された画像データに付加された顔メタデータを、ビデオプレイヤーのような再生装置が利用する例について図面を参照して詳細に説明する。 Next, an example in which a playback device such as a video player uses face metadata added to image data captured by a recording device such as a digital still camera or a digital video camera will be described in detail with reference to the drawings. .
図34は、着脱可能な記録媒体831を接続することが可能な画像記録装置830および画像再生装置834を示す図である。ここでは、顔メタデータがコンテンツファイル内に内包される場合における顔メタデータの利用例について説明する。なお、画像記録装置830および画像再生装置834の構成は、図17、図18および図30に示す撮像装置100の構成とほぼ同様である。
FIG. 34 is a diagram showing an
図34(a)に示すように、画像記録装置830に記録媒体831が接続されている状態で被写体の撮像が行われ、これにより撮像された画像データおよびこの画像データにより作成された顔メタデータが記録媒体831にコンテンツファイル832として記録される。そして、コンテンツファイル832を画像再生装置834によって再生させる場合には、図34(b)に示すように、画像記録装置830から記録媒体831を取り外し、図34(c)に示すように、画像再生装置834に記録媒体831を接続することによって、記録媒体831に記録されているコンテンツファイル832を画像再生装置834に入力して再生させることができる。
As shown in FIG. 34 (a), the subject is imaged in a state where the
このように画像記録装置830により付加されたメタデータを画像再生装置834が利用することができるため、画像再生装置834が顔検出機能を有しない場合でも、顔メタデータを用いた再生を画像再生装置834が行うことができる。これにより、モバイル機器のように大きな再生負荷をかけることができない機器の場合においても高度な再生アプリケーションを実現することが可能となる。また、顔検出機能を有する再生機器においても、再生時に顔を検索する必要がないため、再生処理に要する時間を大幅に短縮することが可能となる。
Since the metadata added by the
図35は、画像記録装置870および画像再生装置880で構成されている画像処理システム860の概略を示すシステム構成図である。画像記録装置870および画像再生装置880は、USBケーブル等の装置間インタフェースで接続される。
FIG. 35 is a system configuration diagram illustrating an outline of an image processing system 860 including an
画像記録装置870は、デジタルスチルカメラやデジタルビデオカメラ等の画像記録装置であり、撮像された画像データをコンテンツファイルとしてコンテンツファイル記憶部872に記憶するとともに、このコンテンツファイルに関する顔メタデータをコンテンツ管理ファイル871に記録する画像記録装置である。
The
画像再生装置880は、送信要求出力部881と、再生制御部882と、表示部883とを備え、装置間インタフェースで接続されている画像記録装置870のコンテンツファイル記憶部872に記憶されているコンテンツファイルを読み出し、読み出されたコンテンツファイルを表示部883に表示して再生する画像再生装置である。なお、画像記録装置870の構成は、図17、図18および図30に示す撮像装置100の構成とほぼ同様であるため、その他の構成に関する図示および説明は省略する。
The image reproduction device 880 includes a transmission
送信要求出力部881は、画像記録装置870のコンテンツ管理ファイル871に記録されているメタデータエントリに含まれるメタデータの中から所望のメタデータを抽出するための送信要求を、信号線884に出力するものである。この信号線884に出力された送信要求に応答して、コンテンツ管理ファイル871に記録されているメタデータエントリに含まれるメタデータの中から所望のメタデータが抽出されるとともに、この抽出されたメタデータを含むメタデータエントリの上位階層に記録されているファイルエントリに含まれる仮想管理情報に基づいてコンテンツファイル記憶部872に記録されているコンテンツファイルが抽出される。そして、コンテンツ管理ファイル871から抽出されたメタデータが信号線885に出力されるとともに、コンテンツファイル記憶部872から抽出されたコンテンツファイルが信号線886に出力される。
The transmission
再生制御部882は、コンテンツ管理ファイル871から信号線885に出力されたメタデータを用いて、コンテンツファイル記憶部872から信号線886に出力されて表示部883に表示されるコンテンツファイルの再生を制御する再生制御部である。
The
このように、画像再生装置880は、画像記録装置870に記録されているコンテンツ管理ファイル871を読み出し、読み出されたコンテンツ管理ファイル871の中から必要なメタデータを抽出して、抽出されたメタデータをコンテンツファイルの再生時に用いる。これにより、例えば、図33を参照して説明したように、画像記録装置870に記録されているコンテンツ管理ファイル871のメタデータを用いて、コンテンツファイル記憶部872に記憶されているコンテンツファイルを表示部883に表示することができる。
As described above, the image playback device 880 reads the
ここでは、画像記録装置870および画像再生装置880を接続する接続手段としてUSBケーブル等の装置間インタフェースを用いた例について説明したが、有線回線または無線回線を用いたネットワーク等の他の接続手段を用いるようにしてもよい。
Here, an example using an inter-device interface such as a USB cable as a connection means for connecting the
このように、本発明の実施の形態によれば、所望のメタデータを迅速に検索することができ、対応するコンテンツファイルを迅速にサーチすることができる。このため、所望のアプリケーションを迅速に実行することができる。また、コンテンツファイルに関するメタデータを迅速に利用することができる。 Thus, according to the embodiment of the present invention, desired metadata can be searched quickly, and corresponding content files can be searched quickly. For this reason, a desired application can be executed quickly. Further, the metadata regarding the content file can be used quickly.
また、現在では、顔メタデータを利用するアプリケーションが多数開発されており、顔メタデータを利用するアプリケーションは今後も種々多様化するものと考えられる。このため、将来は、顔メタデータのフォーマット拡張が予想される。このような顔メタデータのフォーマットが拡張された場合であっても、本発明の実施の形態によれば、そのフォーマットの拡張に対して再生機器において互換性を確保することができるため、コンテンツファイルに関するメタデータを迅速に利用することができる。 At present, many applications that use face metadata have been developed, and it is considered that applications that use face metadata will be diversified in the future. For this reason, the format expansion of face metadata is expected in the future. Even when the format of such face metadata is extended, according to the embodiment of the present invention, compatibility with the playback device can be ensured for the extension of the format. The metadata about can be used quickly.
このように、本発明の実施の形態によれば、コンテンツファイルを迅速に利用することができる。 Thus, according to the embodiment of the present invention, a content file can be used quickly.
なお、本発明の実施の形態では、メタデータとして、人の顔に関する顔メタデータを一例として示したが、他のメタデータについても本発明の実施の形態を適用することができる。例えば、動物またはペット認識アルゴリズムを用いて画像に含まれる動物等を検出し、検出された動物の顔等に関する情報に対応するメタデータについて、本発明の実施の形態を適用することができる。例えば、顔検出エンジンの代わりに、ペット検出エンジンを設け、このペット検出エンジンによって検出されたペットに関するメタデータを用いて、本発明の実施の形態を適用することができる。また、人物または動物等の行動を認識し、この認識された行動が所定の記述により記録されたメタデータについても、本発明の実施の形態を適用することができる。また、本発明の実施の形態では、コンテンツ記録装置の一例として撮像装置について説明したが、コンテンツファイルを記録する携帯端末装置等の他のコンテンツ記録装置に本発明の実施の形態を適用することができる。また、本発明の実施の形態では、コンテンツ再生装置の一例として撮像装置について説明したが、コンテンツを再生するDVD(Digital Versatile Disc)レコーダ等の他のコンテンツ再生装置に本発明の実施の形態を適用することができる。 In the embodiment of the present invention, face metadata relating to a human face is shown as an example of metadata, but the embodiment of the present invention can be applied to other metadata. For example, the embodiment of the present invention can be applied to metadata corresponding to information relating to the detected animal's face or the like by detecting an animal or the like included in the image using an animal or pet recognition algorithm. For example, instead of the face detection engine, a pet detection engine is provided, and the embodiment of the present invention can be applied using metadata about a pet detected by the pet detection engine. The embodiment of the present invention can also be applied to metadata in which an action such as a person or an animal is recognized and the recognized action is recorded by a predetermined description. In the embodiment of the present invention, the imaging device has been described as an example of the content recording device. However, the embodiment of the present invention can be applied to other content recording devices such as a portable terminal device that records content files. it can. In the embodiment of the present invention, the imaging apparatus has been described as an example of the content reproduction apparatus. However, the embodiment of the present invention is applied to other content reproduction apparatuses such as a DVD (Digital Versatile Disc) recorder that reproduces content. can do.
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。 The embodiment of the present invention is an example for embodying the present invention and has a corresponding relationship with the invention-specific matters in the claims as shown below, but is not limited thereto. However, various modifications can be made without departing from the scope of the present invention.
すなわち、請求項1において、画像再生システムは、例えば画像処理システム860に対応する。また、請求項2乃至請求項12において、顔データ記録装置は、例えば撮像装置100に対応する。また、請求項13乃至請求項20において、再生装置は、例えば撮像装置100に対応する。また、請求項21において、撮像装置は、例えば撮像装置100に対応する。
That is, in
また、請求項1、2、8、10、12において、画像入力部は、例えばコンテンツ入力部211に対応する。
In
また、請求項1、2、8、10、15、21、22において、顔検出部は、例えば顔検出部212に対応する。
Further, in
また、請求項1、2、5、9、11、12、21、22において、第1の制御部は、例えば顔メタデータ作成部213および記録制御部217、230に対応する。
Further, in
また、請求項1、2、13、14、17、19、21、22において、比較部は、例えば抽出部225に対応する。Further, in
また、請求項1において、第2の制御部は、例えば抽出部225および描画部226に対応する。Further, in
また、請求項2、21、22において、第2の制御部は、例えばCPU141、記録制御部217、230に対応する。Further, in
また、請求項13において、入力部は、例えば抽出部225に対応する。In claim 13, the input unit corresponds to, for example, the
また、請求項13、15、18乃至20において、制御部は、例えば抽出部225および描画部226に対応する。Further, in claims 13, 15, 18 to 20, the control unit corresponds to, for example, the
また、請求項16において、検索部は、例えば抽出部225に対応する。
Further, in claim 16, the search unit corresponds to, for example, the
また、請求項19において、誤り検出符号値算出部は、例えば抽出部225に対応する。
In claim 19, the error detection code value calculation unit corresponds to, for example, the
また、請求項21において、撮像部は、例えばカメラ部110に対応する。
In
また、請求項22および請求項23において、顔検出手順は、例えばステップS903に対応する。また、第1の制御手順は、例えばステップS905、ステップS908、ステップS912乃至S914に対応する。また、比較手順は、例えばステップS974、S975に対応する。また、第2の制御手順は、例えばステップS900に対応する。
In claim 22 and claim 23, the face detection procedure corresponds to, for example, step S903. The first control procedure corresponds to, for example, step S905, step S908, and steps S912 to S914. The comparison procedure corresponds to, for example, steps S974 and S975. The second control procedure corresponds to, for example, step S900.
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。 The processing procedure described in the embodiment of the present invention may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program May be taken as
100 撮像装置
110 カメラ部
111 光学ブロック
112 CCD
113 前処理回路
114 光学ブロック用ドライバ
115 CCD用ドライバ
116 タイミング生成回路
120 カメラDSP
121 SDRAM
130 制御部
140 操作部
141 CPU
142 RAM
143 フラッシュROM
144 時計回路
145 システムバス
150 媒媒体I/F
161 LCDコントローラ
162 LCD
163 外部I/F
164 通信I/F
170 記録媒体
210 コンテンツ管理ファイル記憶部
211 コンテンツ入力部
212 顔検出部
213 顔メタデータ作成部
214 仮想管理情報作成部
215 代表サムネイル画像抽出部
216 コンテンツ属性情報作成部
217 記録制御部
218 顔データ作成部
219 ヘッダ情報作成部
221 操作受付部
223 コンテンツ記憶部
224 選択部
225 抽出部
226 描画部
227 表示部
DESCRIPTION OF
113
121 SDRAM
130
142 RAM
143 Flash ROM
144
161
163 External I / F
164 Communication I / F
170 Recording medium 210 Content management
Claims (23)
前記入力された画像に含まれる被写体の顔を検出する顔検出部と、
前記顔検出部の検出結果に基づいて、複数の要素情報から構成される前記検出された顔に関する顔データと、前記複数の要素情報の記録順序に対応してアサインされたビット列であって前記複数の要素情報の有無を記録するデータ構造情報と当該顔が検出された際における前記入力された画像に関する属性情報とを有し前記顔データを管理する顔データ管理情報とを作成し、前記顔データおよび前記顔データ管理情報を記録媒体に記録させる第1の制御部と、
前記入力された画像に関する属性情報と前記顔データ管理情報に含まれる属性情報とを比較する比較部と、
前記比較部による比較対象となる属性情報が一致した場合に前記データ構造情報に基づいて前記顔データを構成する前記要素情報の有無を確認し、前記複数の要素情報のうち一の要素情報の前記顔データにおける先頭からの記録オフセット値を算出し、前記算出された記録オフセット値に基づいて前記顔データを構成する要素情報から前記一の要素情報を読み出し、当該一の要素情報を用いて前記入力された画像を再生させる第2の制御部と
を具備する画像再生システム。 An image input unit for inputting an image,
A face detection unit for detecting a face of a subject included in the input image;
Based on the detection result of the face detection unit, the face data related to the detected face composed of a plurality of element information, and a bit string assigned corresponding to the recording order of the plurality of element information, Generating face data management information for managing face data having data structure information for recording presence / absence of element information and attribute information regarding the input image when the face is detected, And a first control unit that records the face data management information on a recording medium;
A comparison unit that compares the attribute information about the input image with the attribute information included in the face data management information;
When the attribute information to be compared by the comparison unit matches, the presence or absence of the element information constituting the face data is confirmed based on the data structure information, and the element information of one element information among the plurality of element information Calculates a recording offset value from the beginning of the face data, reads the one element information from element information constituting the face data based on the calculated recording offset value, and uses the one element information to perform the input images reproducing system that includes a <br/> the second control unit to reproduce the image.
前記入力された画像に含まれる被写体の顔を検出する顔検出部と、
前記顔検出部の検出結果に基づいて、複数の要素情報から構成される前記検出された顔に関する顔データと、前記複数の要素情報の記録順序に対応してアサインされたビット列であって前記複数の要素情報の有無を記録するデータ構造情報と当該顔が検出された際における前記入力された画像に関する属性情報とを有し前記顔データを管理する顔データ管理情報とを作成し、前記顔データおよび前記顔データ管理情報を記録媒体に記録させる第1の制御部と、
前記入力された画像に関する属性情報と前記顔データ管理情報に含まれる属性情報とを比較する比較部と、
前記比較部による比較対象となる属性情報が一致しないと判断された画像について当該画像に含まれる被写体の顔を前記顔検出部に検出させ、当該検出結果に基づいて前記顔データおよび前記顔データ管理情報を作成し、当該作成された顔データおよび顔データ管理情報を前記記録媒体に記録させる第2の制御部と
を具備する顔データ記録装置。 An image input unit for inputting an image,
A face detection unit for detecting a face of a subject included in the input image;
Based on the detection result of the face detection unit, the face data related to the detected face composed of a plurality of element information, and a bit string assigned corresponding to the recording order of the plurality of element information, Generating face data management information for managing face data having data structure information for recording presence / absence of element information and attribute information regarding the input image when the face is detected, And a first control unit that records the face data management information on a recording medium;
A comparison unit that compares the attribute information about the input image with the attribute information included in the face data management information;
The face detection unit is caused to detect the face of the subject included in the image for which the attribute information to be compared by the comparison unit is determined not to match, and the face data and the face data management are based on the detection result A face data recording apparatus comprising: a second control unit that creates information and records the created face data and face data management information on the recording medium .
前記フラグは、前記顔データ内における当該フラグに対応する前記要素情報の有無を示す
請求項2記載の顔データ記録装置。 The data structure information is a data structure having continuously assigned bit strings, and a predetermined flag is assigned to each element information recorded in the recording order according to the recording order,
The flag shows the presence or absence of the element information corresponding to the flag in the said face data
Face data storage device 請 Motomeko 2 wherein.
前記顔検出部は、前記動画に含まれる顔を所定間隔で検出する
請求項2記載の顔データ記録装置。 The image input unit inputs a moving image as the image,
The face detecting section that detect the face contained in the video at predetermined intervals
Face data storage device 請 Motomeko 2 wherein.
前記顔検出部は、SPSが付加されたAUに含まれるIDRピクチャまたはIピクチャにおいて顔を検出する
請求項2記載の顔データ記録装置。 The image input unit inputs an AVC codec moving image as the image ,
The face detecting section that detect a face in the IDR picture or an I picture contained in the SPS is added AU
Face data storage device 請 Motomeko 2 wherein.
前記第1の制御部は、前記検出された顔に関する前記顔データおよび前記顔データ管理情報を当該顔が検出された静止画に対応する静止画ファイルに記録する
請求項2記載の顔データ記録装置。 The image input unit inputs a still image as the image,
Wherein the first control unit that records the face data and the face data management information on the detected face to a still image file corresponding to the still image in which the face is detected
Face data storage device 請 Motomeko 2 wherein.
前記画像に関する属性情報と前記顔データ管理情報に含まれる属性情報とを比較する比較部と、
前記比較部による比較対象となる属性情報が一致した場合に前記データ構造情報に基づいて前記顔データを構成する前記要素情報の有無を確認し、前記複数の要素情報のうち一の要素情報の前記顔データにおける先頭からの記録オフセット値を算出し、前記算出された記録オフセット値に基づいて前記顔データを構成する要素情報から前記一の要素情報を読み出し、当該一の要素情報を用いて前記画像を再生させる制御部と
を具備する再生装置。 Data relating to a face included in an image, which is composed of face data composed of a plurality of element information, and a bit string assigned corresponding to the recording order of the plurality of element information, and records the presence / absence of the plurality of element information An input unit for inputting face data management information for managing the face data having data structure information to be performed and attribute information on the image when the face is detected;
A comparison unit that compares the attribute information about the image and the attribute information included in the face data management information;
When the attribute information to be compared by the comparison unit matches, the presence or absence of the element information constituting the face data is confirmed based on the data structure information, and the element information of one element information among the plurality of element information A recording offset value from the head in the face data is calculated, the one element information is read out from element information constituting the face data based on the calculated recording offset value, and the image is used using the one element information playback device includes a <br/> a control unit to regenerate.
前記顔データ管理情報は、対応する顔が検出された際における画像が更新された日時を示す更新日時を前記属性情報として含み、
前記比較部は、前記画像に関する属性情報に含まれる更新日時と前記顔データ管理情報に含まれる更新日時とを比較する
請求項13記載の再生装置。 The attribute information includes an update date and time indicating a date and time when an image corresponding to the attribute information is updated.
The face data management information includes, as the attribute information , an update date and time indicating the date and time when the image was updated when the corresponding face was detected ,
The comparison unit compares the update date / time included in the attribute information on the image with the update date / time included in the face data management information.
Reproducing apparatus of 請 Motomeko 13 described.
前記制御部は、前記顔検出部の検出結果に基づいて、前記顔データおよび前記顔データ管理情報を作成し、前記作成された顔データおよび前記作成された顔データ管理情報を記録媒体に記録させる
請求項13記載の再生装置。 A face detection unit for detecting the face of the subject included in the image determined to be inconsistent with the attribute information to be compared by the comparison unit ;
The control unit creates the face data and the face data management information based on the detection result of the face detection unit, and records the created face data and the created face data management information on a recording medium.
The playback apparatus according to claim 13 .
前記顔データ管理情報は、対応する顔が検出された際における画像の画像サイズを前記属性情報として含み、
前記比較部は、前記画像に関する属性情報に含まれる画像サイズと前記顔データ管理情報に含まれる画像サイズとを比較する
請求項13記載の再生装置。 The attribute information includes an image size indicating a size of an image corresponding to the attribute information ,
The face data management information includes an image size of an image when a corresponding face is detected as the attribute information ,
The comparison unit compares an image size included in attribute information about the image with an image size included in the face data management information.
The playback apparatus according to claim 13 .
前記制御部は、前記比較部による比較対象となる属性情報が一致した場合に前記画像に関する属性情報に含まれる回転情報の有無と当該回転情報が無効値か否かとを確認し、当該回転情報が存在するとともに当該回転情報が無効値ではないと確認された画像に含まれる顔に関する顔データについて前記一の要素情報を読み出す
請求項13記載の再生装置。 The attribute information includes rotation information related to an image corresponding to the attribute information ,
When the attribute information to be compared by the comparison unit matches, the control unit checks whether or not the rotation information is included in the attribute information about the image and whether the rotation information is an invalid value , and the rotation information The one element information is read for face data relating to a face included in an image that exists and is confirmed that the rotation information is not an invalid value.
The playback apparatus according to claim 13 .
前記画像に対応する画像データのうちの少なくとも一部のデータに基づいて誤り検出符号値を算出する誤り検出符号値算出部をさらに具備し、
前記比較部は、前記算出された前記画像に関する誤り検出符号値と当該画像に対応する顔データ管理情報に含まれる誤り検出符号値とを比較し、
前記制御部は、誤り検出符号値が一致すると判断された画像に含まれる顔に関する顔データについて前記一の要素情報を読み出す
請求項13記載の再生装置。 The face data management information includes an error detection code value obtained from a corresponding image,
An error detection code value calculation unit for calculating an error detection code value based on at least a part of the image data corresponding to the image ;
The comparison unit compares the error detection code value contained in the face data management information corresponding to the error detection code value and the image relating to the image pre-Symbol is calculated,
The control unit reads the one element information regarding face data relating to a face included in an image determined to have the same error detection code value.
Reproducing apparatus of 請 Motomeko 13 described.
前記制御部は、前記顔データ管理情報に含まれるバージョン情報に基づいて当該顔データ管理情報に対応する前記顔データが対応可能か否かを判断し、対応可能であると判断された顔データについて前記一の要素情報を読み出す
請求項13記載の再生装置。 The face data management information includes version information indicating a version of the face data,
Wherein the control unit, wherein the face data corresponding to the face data management information based on the version information contained in the face data management information is determined whether it is possible to correspond, for being determined to be corresponding face data Read the one element information
Reproducing apparatus of 請 Motomeko 13 described.
前記撮像された画像に含まれる被写体の顔を検出する顔検出部と、
前記顔検出部の検出結果に基づいて、複数の要素情報から構成される前記検出された顔に関する顔データと、前記複数の要素情報の記録順序に対応してアサインされたビット列であって前記複数の要素情報の有無を記録するデータ構造情報と当該顔が検出された際における前記撮像された画像に関する属性情報とを有し前記顔データを管理する顔データ管理情報とを作成し、前記顔データおよび前記顔データ管理情報を記録媒体に記録させる第1の制御部と、
前記撮像された画像に関する属性情報と前記顔データ管理情報に含まれる属性情報とを比較する比較部と、
前記比較部による比較対象となる属性情報が一致しないと判断された画像について当該画像に含まれる被写体の顔を前記顔検出部に検出させ、当該検出結果に基づいて前記顔データおよび前記顔データ管理情報を作成し、当該作成された顔データおよび顔データ管理情報を前記記録媒体に記録させる第2の制御部と
を具備する撮像装置。 An imaging unit that captures an image of a subject;
A face detection unit that detects a face of a subject contained in the captured image,
Based on the detection result of the face detection unit, the face data related to the detected face composed of a plurality of element information, and a bit string assigned corresponding to the recording order of the plurality of element information, Creating face data management information for managing the face data having data structure information for recording presence / absence of element information and attribute information on the captured image when the face is detected, And a first control unit that records the face data management information on a recording medium;
A comparison unit that compares the attribute information about the captured image with the attribute information included in the face data management information;
The face detection unit is caused to detect the face of the subject included in the image for which the attribute information to be compared by the comparison unit is determined not to match, and the face data and the face data management are based on the detection result A second control unit that creates information and records the created face data and face data management information on the recording medium;
An imaging apparatus comprising:
第1の制御部が、前記顔検出手順での検出結果に基づいて、複数の要素情報から構成される前記検出された顔に関する顔データと、前記複数の要素情報の記録順序に対応してアサインされたビット列であって前記複数の要素情報の有無を記録するデータ構造情報と当該顔が検出された際における前記入力された画像に関する属性情報とを有し前記顔データを管理する顔データ管理情報とを作成し、前記顔データおよび前記顔データ管理情報を記録媒体に記録させる第1の制御手順と、
比較部が、前記入力された画像に関する属性情報と前記顔データ管理情報に含まれる属性情報とを比較する比較手順と、
第2の制御部が、前記比較部による比較対象となる属性情報が一致しないと判断された画像について当該画像に含まれる被写体の顔を前記顔検出部に検出させ、当該検出結果に基づいて前記顔データおよび前記顔データ管理情報を作成し、当該作成された顔データおよび顔データ管理情報を前記記録媒体に記録させる第2の制御手順と
を具備する顔データ記録方法。 A face detection procedure in which the face detection unit detects the face of the subject included in the input image;
The first control unit assigns the face data related to the detected face composed of a plurality of element information and the recording order of the plurality of element information based on the detection result in the face detection procedure. Data management information for managing the face data having data structure information for recording presence / absence of the plurality of element information and attribute information on the input image when the face is detected. And a first control procedure for recording the face data and the face data management information on a recording medium,
A comparison procedure in which the comparison unit compares the attribute information regarding the input image with the attribute information included in the face data management information;
The second control unit causes the face detection unit to detect the face of the subject included in the image for which the attribute information to be compared by the comparison unit is determined not to match, and based on the detection result, create a face data and the face data management information, the second control procedure as to that face data recording method comprising the <br/> to record the created face data and the face data management information on said recording medium.
前記顔検出手順での検出結果に基づいて、複数の要素情報から構成される前記検出された顔に関する顔データと、前記複数の要素情報の記録順序に対応してアサインされたビット列であって前記複数の要素情報の有無を記録するデータ構造情報と当該顔が検出された際における前記入力された画像に関する属性情報とを有し前記顔データを管理する顔データ管理情報とを作成し、前記顔データおよび前記顔データ管理情報を記録媒体に記録させる第1の制御手順と、
前記入力された画像に関する属性情報と前記顔データ管理情報に含まれる属性情報とを比較する比較手順と、
前記比較手順で比較対象となる属性情報が一致しないと判断された画像について当該画像に含まれる被写体の顔を顔検出部に検出させ、当該検出結果に基づいて前記顔データおよび前記顔データ管理情報を作成し、当該作成された顔データおよび顔データ管理情報を前記記録媒体に記録させる第2の制御手順と
をコンピュータに実行させるプログラム。 A face detection procedure for detecting the face of the subject included in the input image;
Based on the detection result in the face detection procedure, the face data related to the detected face composed of a plurality of element information, and a bit string assigned corresponding to the recording order of the plurality of element information, Creating face data management information for managing the face data having data structure information for recording presence / absence of a plurality of element information and attribute information on the input image when the face is detected, A first control procedure for recording data and the face data management information on a recording medium;
A comparison procedure for comparing the attribute information about the input image with the attribute information included in the face data management information;
The face detection unit detects the face of the subject included in the image for which the attribute information to be compared does not match in the comparison procedure, and based on the detection result, the face data and the face data management information create and Help program is executed and the second control procedure for recording the created face data and the face data management information on said recording medium <br/> the computer.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007134948A JP4379491B2 (en) | 2007-04-04 | 2007-05-22 | Face data recording device, playback device, imaging device, image playback system, face data recording method and program |
US12/053,899 US8116537B2 (en) | 2007-04-04 | 2008-03-24 | Image recording device, player device, imaging device, player system, method of recording image, and computer program |
EP08005828A EP1978524A3 (en) | 2007-04-04 | 2008-03-27 | Image recording device, player device, imaging device, player system, method of recording image, and computer program |
CN2008100898476A CN101282446B (en) | 2007-04-04 | 2008-04-03 | Image recording device, player device, imaging device, player system, method of recording image, and computer program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007098101 | 2007-04-04 | ||
JP2007134948A JP4379491B2 (en) | 2007-04-04 | 2007-05-22 | Face data recording device, playback device, imaging device, image playback system, face data recording method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008276707A JP2008276707A (en) | 2008-11-13 |
JP4379491B2 true JP4379491B2 (en) | 2009-12-09 |
Family
ID=40014694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007134948A Expired - Fee Related JP4379491B2 (en) | 2007-04-04 | 2007-05-22 | Face data recording device, playback device, imaging device, image playback system, face data recording method and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4379491B2 (en) |
CN (1) | CN101282446B (en) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4496264B2 (en) * | 2008-10-24 | 2010-07-07 | 株式会社東芝 | Electronic device and video display method |
JP4625862B2 (en) | 2008-12-24 | 2011-02-02 | 株式会社東芝 | Authoring apparatus and authoring method |
JP5100667B2 (en) * | 2009-01-09 | 2012-12-19 | キヤノン株式会社 | Image coding apparatus and image coding method |
JP2010212821A (en) * | 2009-03-09 | 2010-09-24 | Hitachi Ltd | Recording and reproducing device |
JP2010252008A (en) * | 2009-04-15 | 2010-11-04 | Olympus Imaging Corp | Imaging device, displaying device, reproducing device, imaging method and displaying method |
JP5600405B2 (en) | 2009-08-17 | 2014-10-01 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
JP5624809B2 (en) * | 2010-06-24 | 2014-11-12 | 株式会社 日立産業制御ソリューションズ | Image signal processing device |
JP5751898B2 (en) * | 2011-04-05 | 2015-07-22 | キヤノン株式会社 | Information processing apparatus, information processing method, program, and storage medium |
JP5721617B2 (en) * | 2011-12-28 | 2015-05-20 | キヤノン株式会社 | Image processing apparatus and control method thereof |
JP5895703B2 (en) * | 2012-05-22 | 2016-03-30 | ソニー株式会社 | Image processing apparatus, image processing method, and computer program |
CN103428432B (en) * | 2012-05-23 | 2020-05-12 | 杭州阿尔法红外检测技术有限公司 | Image capturing device and image capturing method |
JP6420947B2 (en) * | 2013-09-10 | 2018-11-07 | 株式会社藤商事 | Game machine |
JP6846963B2 (en) * | 2017-03-16 | 2021-03-24 | 三菱電機インフォメーションネットワーク株式会社 | Video playback device, video playback method, video playback program and video playback system |
CN110197107B (en) * | 2018-08-17 | 2024-05-28 | 平安科技(深圳)有限公司 | Micro-expression recognition method, micro-expression recognition device, computer equipment and storage medium |
-
2007
- 2007-05-22 JP JP2007134948A patent/JP4379491B2/en not_active Expired - Fee Related
-
2008
- 2008-04-03 CN CN2008100898476A patent/CN101282446B/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101282446B (en) | 2010-09-01 |
JP2008276707A (en) | 2008-11-13 |
CN101282446A (en) | 2008-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4379491B2 (en) | Face data recording device, playback device, imaging device, image playback system, face data recording method and program | |
EP1978524A2 (en) | Image recording device, player device, imaging device, player system, method of recording image, and computer program | |
JP4636135B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
US7890556B2 (en) | Content recording apparatus, content playback apparatus, content playback system, image capturing apparatus, processing method for the content recording apparatus, the content playback apparatus, the content playback system, and the image capturing apparatus, and program | |
US8520231B2 (en) | Record/replay apparatus and method that display moving images and still images generated from moving images | |
WO2008035688A1 (en) | Recording device and method, program, and reproducing device and method | |
CN101287089B (en) | Image capturing apparatus, image processing apparatus and control methods thereof | |
JP2006115457A (en) | System and its method for embedding multimedia editing information into multimedia bit stream | |
JP2007082088A (en) | Contents and meta data recording and reproducing device and contents processing device and program | |
KR20090012152A (en) | Recording apparatus, reproducing apparatus, recording/reproducing apparatus, image pickup apparatus, recording method and program | |
JP2006311154A (en) | Imaging apparatus, processing method therefor, and program for executing the method by computer | |
US8818165B2 (en) | Data processing apparatus, data processing method, and computer program | |
US20060210246A1 (en) | Data processing apparatus | |
US20090033769A1 (en) | Image shooting apparatus | |
JP4462290B2 (en) | Content management information recording apparatus, content reproduction apparatus, content reproduction system, imaging apparatus, content management information recording method and program | |
CN102630001A (en) | Image data recording apparatus and control method thereof | |
JP2008060622A (en) | Video editing system, video processing apparatus, video editing device, video processing method, video editing method, program, and data structure | |
JP2008165274A (en) | Content management apparatus, imaging apparatus, content management method therein, and program for making computer execute the method | |
US8934738B2 (en) | Image processing apparatus and method for controlling the same | |
JP2009159314A (en) | Recording apparatus, playback apparatus, recording method, playback method and program | |
JP4693735B2 (en) | Still image file recording and editing device | |
KR20090020180A (en) | Mothod for setting highlight scene of moving picture and terminal using the same | |
JP2010041294A (en) | Device for recording/reproducing image | |
JP2009010692A (en) | Recorder, thumbnail image generating method, and program | |
JP2007065897A (en) | Imaging apparatus and its control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090907 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |