JP4597803B2

JP4597803B2 - Video scene information generator

Info

Publication number: JP4597803B2
Application number: JP2005215496A
Authority: JP
Inventors: 剛毅大森
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2005-07-26
Filing date: 2005-07-26
Publication date: 2010-12-15
Anticipated expiration: 2025-07-26
Also published as: JP2007036540A

Description

本発明は、映像シーン毎の登場人物を個人認証により特定し、映像シーン情報を作成する機能を有する映像シーン情報生成装置に関する。 The present invention relates to a video scene information generation apparatus having a function of specifying a character for each video scene by personal authentication and creating video scene information.

各種の映像を撮影した映像コンテンツをアップロードし、視聴できるようにしたコンテンツアーカイブシステムが知られている。このコンテンツアーカイブシステムでは、コンテンツ検索やシーン検索、または将来実施が予定されているサーバ型放送でのダイジェスト視聴等で利用が想定される映像シーン情報（各シーンの説明やシーンの開始終了時刻など）などを作成する場合、例えば画像処理により取り込まれた映像内の人物を認識して映像シーン情報などを手動で作成する場合、手間と時間がかかる。そこで、この映像シーン情報などを、個人認識技術を利用することで、自動的に形成することができる映像シーン情報生成装置が知られている（例えば、特許文献１参照）。 There is known a content archiving system in which video content obtained by shooting various videos can be uploaded and viewed. In this content archiving system, video scene information (such as description of each scene and start / end time of the scene) that is assumed to be used for content search, scene search, or digest viewing in a server-type broadcast that is scheduled to be implemented in the future. When, for example, a person in a video captured by image processing is recognized and video scene information is manually created, it takes time and effort. Therefore, a video scene information generation apparatus is known that can automatically form this video scene information and the like by using a personal recognition technique (see, for example, Patent Document 1).

例えば図１８に示すように、この映像シーン情報生成装置１００は、カメラ部１０１、映像メモリ処理部１０２、個人認証処理部１０３、映像シーン情報生成処理部１０４で構成されており、カメラ部１０１から映像信号を取得し、映像メモリ処理部１０２で映像データを一時保持し、個人認証処理部１０３で、一時保持した映像データから、例えば顔認識技術を利用して個人を特定し、映像シーン情報生成処理部１０４で映像のシーン毎の登場人物の情報を生成し、メタデータ等として出力する。このメタデータとは、例えば画像ファイルに含まれる単に生の画像データだけでなく、そのファイルの映像に関する説明などを記述した付加的なデータのことをいう。
特開２００４−６２８６８号公報 For example, as shown in FIG. 18, the video scene information generation apparatus 100 includes a camera unit 101, a video memory processing unit 102, a personal authentication processing unit 103, and a video scene information generation processing unit 104. A video signal is acquired, and video data is temporarily stored in the video memory processing unit 102. An individual is identified from the temporarily stored video data by using, for example, a face recognition technology, and video scene information is generated. The processing unit 104 generates character information for each scene of the video and outputs it as metadata or the like. This metadata refers to, for example, additional data describing not only the raw image data included in the image file but also a description of the video of the file.
JP 2004-62868 A

しかしながら、従来の映像シーン情報生成装置では、画面内に登場するすべての人物を個人認識するため、登場人物が多い場合、シーン毎にどの人物が重要な役割を果たしているか認識できないという問題が生じている。また、個人認証の不必要な人物まで認識しようとするため、不必要な登場人物のデータを作成し、その分処理時間がかかるという問題もあった。 However, since the conventional video scene information generation apparatus recognizes all persons appearing on the screen individually, when there are many characters, there is a problem that it is not possible to recognize which person plays an important role for each scene. Yes. In addition, since an attempt is made to recognize even a person who does not require personal authentication, there is a problem that unnecessary character data is created and processing time is required.

本発明は、上記した事情に鑑みてなされたもので、シーン毎に重要度の高い順に人物の特定とランク付けすることができるとともに、不必要な登場人物のデータはカットすることができる映像シーン情報生成装置を提供することを目的とする。 The present invention has been made in view of the above-described circumstances, and it is possible to specify and rank a person in descending order of importance for each scene, and to cut unnecessary character data. An object is to provide an information generation apparatus.

本発明の映像シーン情報生成装置は、各映像シーンでの登場人物情報を個人認証により生成する映像シーン情報生成装置であって、重要度下限設定処理部、範囲パターン設定処理部、個人認証処理部、映像シーン情報生成処理部を備え、前記範囲パターン設定処理部は、前記各映像シーンでの登場人物のうち重要な役割を果す登場人物が映る画面領域を最重要範囲として画面全体を重要度別に領域分割した範囲パターンを予め複数用意しておき、その中から撮影者が撮影シーン毎に最適な範囲パターンを選択し、前記重要度下限設定処理部は、個人認証する画面領域を限定するために選択した前記範囲パターンの重要度の中で最低とする重要度を指定し、前記個人認証処理部は、前記最重要度から前記指定した重要度までの前記範囲パターン内の画面領域で個人認証を行い、前記映像シーン情報生成処理部は、前記範囲パターンで指定した各重要度の画面領域内に映っている登場人物の情報とその登場人物の重要度とをランク付けしたデータを生成し各映像シーンで重要な役割を担っている登場人物に絞った情報生成を行うとともに、前記映像シーンの時刻情報と併せて映像シーン情報として生成する構成を有している。この構成により、カメラ部から入力された映像信号をもとに、範囲パターン設定処理部では、各シーンで重要な役割を担う登場人物が映っている画面領域を最重要範囲として画面全体を重要度別に領域分割した範囲パターンを予め複数用意し、その中から撮影者が撮影シーン毎に最適な範囲パターンを選択する。さらに、重要度下限設定処理部では、個人認証する画面領域を限定するために、選択した範囲パターンの重要度の中で最低とする重要度を指定し、個人認証処理部では最重要度から指定重要度までの範囲内の画面領域で個人認証を行う。さらに、映像シーン情報生成処理部では、範囲パターンで指定した各重要度の画面領域内に映っている登場人物の情報と、その重要度値を紐付けてランク付けしたデータ生成することで、各映像シーンで重要な役割を担っている登場人物に絞った情報生成を行い、さらにシーン時刻（認識した人物の登場時刻・期間）の情報等と併せ、映像シーン情報として生成することができる。 Video scene information generating apparatus of the present invention is a video scene information generating device for generating the personal identification of character information in the video scene, severity limit setting processing unit, the range pattern setting unit, the personal authentication process parts, comprising a video scene information generating section, the front above range pattern setting section, important the whole screen the screen area character is reflected to play an important role among the characters in each video scene as the most important range A plurality of range patterns divided into regions according to the degree are prepared in advance, and a photographer selects an optimum range pattern for each shooting scene, and the importance lower limit setting processing unit limits a screen region for personal authentication. Specifying the lowest importance among the importance of the range pattern selected for the personal authentication processing unit, the range pattern from the highest importance to the designated importance The image scene information generation processing unit ranks the information of the characters shown in the screen area of each importance specified by the range pattern and the importance of the characters. Information is generated and information is narrowed down to characters who play an important role in each video scene, and is generated as video scene information together with the time information of the video scene. With this configuration, based on the video signal input from the camera unit, the range pattern setting processing unit sets the importance of the entire screen with the most important range being the screen area where the characters who play an important role in each scene are shown. Separately, a plurality of range patterns divided into regions are prepared in advance, and the photographer selects an optimum range pattern for each shooting scene. Furthermore, in order to limit the screen area for personal authentication, the minimum importance setting processing unit specifies the lowest importance among the selected range patterns, and the personal authentication processing unit specifies from the most important level. Personal authentication is performed in the screen area within the range of importance. Furthermore, in the video scene information generation processing unit, by generating data that ranks the importance value associated with the information of the characters reflected in the screen area of each importance specified by the range pattern, It is possible to generate information focused on the characters who play an important role in the video scene, and to generate the video scene information together with information on the scene time (appearance time / period of the recognized person).

また、本発明の映像シーン情報生成装置は、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、カメラ部、ズーム情報取得処理部、第１の重要度下限判定処理部及び被写体距離取得処理部を備え、前記ズーム情報取得処理部は、前記カメラ部からレンズの画角情報を取得し、前記被写体距離取得処理部は、被写体までの距離情報を取得し、前記第１の重要度下限判定処理部は、前記被写体がほぼ一定の距離のままズームアップして画角を変えるとき、前記画角に合わせて個人認証する画面範囲を自動で限定する構成を有している。この構成により、ズーム情報取得処理部ではカメラ部からレンズの画角情報を常に取得し、被写体距離取得処理部では被写体までの距離情報を常に取得し、重要度下限判定処理部では、被写体がほぼ一定の距離でズームアップし画角を変えるとき、画角が狭くなるにつれ画面中央部にいる登場人物がクローズアップされ重要度が上がることが多い。このため、それに合わせ範囲パターン設定処理部で設定されている重要度の中で画面中央付近のみ個人認証するように狭める重要度下限の自動設定を行うことで、画角に合わせて個人認証する画面範囲を自動で限定し映像シーン情報を生成することができる。 The video scene information generating apparatus of the present invention, the front above range pattern setting unit, the personal authentication processing unit, in addition to the video scene information generation processing unit, the camera unit, zoom information acquisition processing unit, the first key The zoom information acquisition processing unit acquires lens angle-of-view information from the camera unit, and the subject distance acquisition processing unit acquires distance information to the subject. The first importance lower limit determination processing unit automatically limits a screen range for personal authentication according to the angle of view when the subject zooms in with a substantially constant distance to change the angle of view. have. With this configuration, the zoom information acquisition processing unit always acquires the angle of view information of the lens from the camera unit, the subject distance acquisition processing unit always acquires the distance information to the subject, and the importance lower limit determination processing unit substantially When zooming in at a certain distance and changing the angle of view, as the angle of view becomes narrower, the characters in the center of the screen are often close-up and the importance increases. For this reason, by automatically setting the importance lower limit that narrows the personality authentication so that only near the center of the screen within the importance set in the range pattern setting processing unit according to it, the personal authentication screen according to the angle of view It is possible to automatically limit the range and generate video scene information.

さらに、本発明の映像シーン情報生成装置は、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、カメラ部、カメラ台座情報取得処理部及び第２の重要度下限判定処理部を備え、前記カメラ台座情報取得処理部は、位置検出による単位時間当たりのカメラ移動量と、雲台の単位時間当たりのカメラ回転量とを検出し、前記第２の重要度下限判定処理部は、前記カメラ移動量及び前記カメラ回転量の変化量が多くなるにつれ、前記範囲パターン中の検索範囲を前記画面中央付近のみ個人認証するように自動設定を行い、単位時間当たりの前記カメラ移動量及び前記カメラ回転量に合わせて個人認証する画面範囲を自動で限定する構成を有している。この構成により、カメラ台座情報取得処理部では、カメラ台座のタイヤ回転量や赤外線などを利用した位置検出による単位時間当たりのカメラ移動量や、ロータリーエンコーダーなどによる雲台の単位時間当たりのカメラ回転量を検出する。ここで、前記カメラ移動量やカメラ回転量の単位時間当たりの変化量が多い時は、撮影者が被写体を追っている場合が多く、また被写体は、映像中央付近に映されることが多い。このため、重要度下限判定処理部では、変化量が多くなるにつれ範囲パターン設定処理部で設定した範囲パターン中の検索範囲の重要度下限設定を映像中央付近のみ個人認証するように自動設定を行うことで、単位時間当たりのカメラ移動量やカメラ回転量に合わせて個人認証する画面範囲を自動で限定し、映像シーン情報を生成することができる。 Furthermore, the video scene information generating apparatus of the present invention, the front above range pattern setting unit, the personal authentication processing unit, in addition to the video scene information generation processing unit, the camera unit, the camera mount information acquisition processing unit and the second An importance lower limit determination processing unit, and the camera pedestal information acquisition processing unit detects a camera movement amount per unit time by position detection and a camera rotation amount per unit time of the pan head, and The lower limit determination processing unit performs automatic setting so that the search range in the range pattern is personally authenticated only near the center of the screen as the amount of movement of the camera and the amount of rotation of the camera increases. The screen range for personal authentication is automatically limited in accordance with the camera movement amount and the camera rotation amount. With this configuration, the camera pedestal information acquisition processing unit uses the camera pedestal tire rotation amount and the amount of camera movement per unit time based on position detection using infrared rays, etc., and the camera rotation amount per unit time of the pan head using a rotary encoder, etc. Is detected. Here, when the amount of change of the camera movement amount or camera rotation amount per unit time is large, the photographer often follows the subject, and the subject is often projected near the center of the video. For this reason, the importance lower limit determination processing unit automatically performs setting so that the importance lower limit setting of the search range in the range pattern set by the range pattern setting processing unit is personally authenticated only near the center of the video as the amount of change increases. Thus, it is possible to automatically limit the screen range for personal authentication according to the amount of camera movement and the amount of camera rotation per unit time, and to generate video scene information.

さらに、本発明の映像シーン情報生成装置は、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、カメラ部、ズーム情報取得処理部、カメラ台座情報取得処理部、被写体距離取得処理部、第３の重要度下限判定処理部及び被写体距離取得処理部を備え、前記ズーム情報取得処理部は、ズーム情報を取得するとともに、前記被写体距離取得処理部は、被写体距離に関する情報を取得し、前記カメラ台座情報取得処理部は、前記カメラ移動量及び前記カメラ回転量に関するカメラ台座情報を取得し、前記第３の重要度下限判定処理部は、前記ズーム情報と前記被写体距離から画角を取得するとともに、前記カメラ台座情報からカメラ移動やカメラ回転の変化量を取得し、画角と変化量のパラメータのマトリクスに合わせて個人認証する画面範囲を自動で限定する構成を有している。この構成により、前述のズーム情報取得処理部、被写体距離取得処理部、及びカメラ台座情報取得処理部では、前述の場合と同様の方法で各情報を取得するとともに、重要度下限判定処理部では、ズーム情報と被写体距離から画角を取得する。即ち、カメラ台座情報からカメラ移動やカメラ回転の変化量を取得する一方、画角とその変化量のパラメータのマトリクスに合わせ、範囲パターン設定処理部で設定した重要度の中で下限設定を自動で行うことで、画角と変化量にあわせ個人認証する画面範囲を自動で限定し、映像シーン情報を生成することができる。 Furthermore, the video scene information generating apparatus of the present invention, the front above range pattern setting unit, the personal authentication processing unit, in addition to the video scene information generation processing unit, the camera unit, zoom information acquisition processing unit, a camera mount information acquisition A processing unit, a subject distance acquisition processing unit, a third importance lower limit determination processing unit, and a subject distance acquisition processing unit, the zoom information acquisition processing unit acquires zoom information, and the subject distance acquisition processing unit includes: The information on the subject distance is acquired, the camera pedestal information acquisition processing unit acquires camera pedestal information on the camera movement amount and the camera rotation amount, and the third importance lower limit determination processing unit is configured to acquire the zoom information and The angle of view is obtained from the subject distance, and the amount of change in camera movement and camera rotation is obtained from the camera pedestal information. It has a configuration to limit automatically the screen range of personal authentication in accordance with the box. With this configuration, the zoom information acquisition processing unit, the subject distance acquisition processing unit, and the camera pedestal information acquisition processing unit acquire each information in the same manner as described above, and the importance lower limit determination processing unit The angle of view is acquired from the zoom information and the subject distance. That is, while acquiring the camera movement and camera rotation change amount from the camera pedestal information, the lower limit setting is automatically set within the importance set in the range pattern setting processing unit according to the angle of view and parameter matrix of the change amount. By doing so, it is possible to automatically limit the screen range for personal authentication according to the angle of view and the amount of change, and generate video scene information.

さらに、本発明の映像シーン情報生成装置は、前記重要度下限設定処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、カメラ部、設定確認処理部を備え、前記カメラ部、前記設定確認処理部、前記重要度下限設定処理部及び前記範囲パターン設定処理部は一体化したカメラ撮影装置としてまとめて構成し、前記カメラ撮影装置のビューファインダー又はモニター上の映像に、前記範囲パターンを重ねて表示し、前記個人認証処理部は、前記ビューファインダー又は前記モニター上の前記範囲パターンの種類、位置、各重要度範囲の幅を確認しながら、個人認証を行う構成を有している。この構成により、カメラ部、映像メモリ処理部、設定確認処理部、重要度下限設定部及び範囲パターン設定処理部を一体化したカメラ撮影装置を形成し、カメラのビューファインダーやモニター上の映像に、設定する範囲パターンと重ねて表示させることで、撮影者の意図で範囲パターン種類や位置、各重要度範囲の幅を撮影状況に合わせ確認しながら調節し、個人認証処理部で個人認証を行い、映像シーン情報を生成することができる。 Furthermore, the video scene information generating apparatus of the present invention, prior Symbol severity limit setting processing unit, the range pattern setting unit, the personal authentication processing unit, in addition to the video scene information generation processing unit, the camera unit, verification settings comprising a processing unit, the camera unit, before Symbol setting confirmation processing unit, the severity limit setting processing unit and the range pattern setting process unit configured collectively as a camera imaging apparatus integral viewfinder of the camera imaging device Alternatively, the range pattern is displayed in an overlapping manner on the image on the monitor, and the personal authentication processing unit confirms the type, position, and width of each importance range of the range pattern on the viewfinder or the monitor, It has a configuration for personal authentication. With this configuration, a camera photographing device in which a camera unit, a video memory processing unit, a setting confirmation processing unit, an importance lower limit setting unit, and a range pattern setting processing unit are integrated is formed. By displaying it overlaid with the range pattern to be set, the photographer's intention is to adjust the range pattern type and position while checking the width of each importance range according to the shooting situation, perform personal authentication in the personal authentication processing unit, Video scene information can be generated.

さらに、本発明の映像シーン情報生成装置は、前記ズーム情報取得処理部はレンズ焦点距離を取得するとともに、前記被写体距離取得処理部は被写体距離を取得し、前記範囲パターン設定処理部は、前記被写体の結像サイズを計算し、前記レンズ焦点距離、前記被写体距離、前記結像サイズにより、範囲パターン中の各重要度範囲の幅設定を自動で行い、前記個人認証処理部は個人認証を行う構成を有している。この構成により、ズーム情報取得処理部からレンズ焦点距離を取得し、被写体距離取得処理部から被写体距離を取得することで、範囲パターン設定処理部では、被写体のカメラ映像素子上の結像サイズ（倍率）を計算し、範囲パターン中の各重要度範囲の幅設定を自動で行い、個人認証処理部で個人認証を行い、映像シーン情報を生成することができる。 Furthermore, in the video scene information generation device of the present invention, the zoom information acquisition processing unit acquires a lens focal length, the subject distance acquisition processing unit acquires a subject distance, and the range pattern setting processing unit includes the subject The image forming size is calculated, and the width of each importance range in the range pattern is automatically set based on the lens focal length, the subject distance, and the image forming size, and the personal authentication processing unit performs personal authentication. have. With this configuration, by acquiring the lens focal length from the zoom information acquisition processing unit and the subject distance from the subject distance acquisition processing unit, the range pattern setting processing unit allows the imaging size (magnification ratio) of the subject on the camera image element. ), The width of each importance range in the range pattern is automatically set, the personal authentication processing unit performs personal authentication, and video scene information can be generated.

さらに、本発明の映像シーン情報生成装置は、前記個人認証処理部は、個人認証をする際、前記登場人物の顔の移動または顔の回転、口の動きが一定時間以上継続して変化する顔の動きが多い人物の重要度を自動で設定した値より高くして映像シーン情報を生成する構成を有している。この構成により、最重要付近の重要度の範囲内に映っている複数人物のうち、どの人物が重要であるかを判別する場合、一定時間以上、顔が移動したり、回転したり、口が動くなどの動作が続くと、その登場人物は、最重要度の範囲に映っていなくても重要な役割を果たしている可能性があるため、個人認証処理部で個人認証をする際、顔の動きが多い人物の重要度を自動で設定した値より高くして、映像シーン情報を生成することができる。 Furthermore, in the video scene information generation device according to the present invention, when the personal authentication processing unit performs personal authentication, the facial movement or rotation of the character or the movement of the mouth continuously changes for a certain time or more. The video scene information is generated by setting the importance of a person with many movements higher than the automatically set value. With this configuration, when determining which person is important among the multiple persons in the importance range near the most important, the face moves, rotates, or has a mouth If the movement continues, the characters may play an important role even if they are not in the most important range. It is possible to generate video scene information by setting the importance of a person with a large number higher than the automatically set value.

本発明によれば、映像シーン毎の登場人物を特定し映像シーン情報を作成するときに、個人認証を利用してデータ作成効率を上げるという効果に加え、シーン毎にどの登場人物が重要な役割を果たしているかを判別して作成し、特に登場人物が多い場合、不要な人物のデータを作成しないという効果、および不要な人物の認識処理をしないため処理速度を向上させる効果を有する映像シーン情報生成装置を提供することができるものである。
また、コンテンツアーカイブシステムでのコンテンツ検索や、シーン検索、および将来実施が予定されているサーバ型放送でのダイジェスト視聴等での利用が想定される映像シーン情報は、手動で作成する場合、手間と時間がかかるが、本発明によれば、個人認識技術を利用することでデータ作成効率を上げることができ、さらにシーン毎に重要な役割を果たしている人物に絞って映像シーン情報を作成することができる。 According to the present invention, when creating a video scene information by specifying a character for each video scene, which character plays an important role in each scene, in addition to the effect of increasing the data creation efficiency using personal authentication. Video scene information generation that has the effect of not creating unnecessary person data, especially when there are many characters, and the effect of improving the processing speed because unnecessary person recognition processing is not performed An apparatus can be provided.
In addition, when manually creating video scene information that is expected to be used for content search in a content archive system, scene search, and digest viewing in a server-type broadcast that is planned to be implemented in the future, Although it takes time, according to the present invention, it is possible to improve the data creation efficiency by using the personal recognition technology, and it is possible to create video scene information focusing on the person who plays an important role for each scene. it can.

以下、本発明の実施の形態について、添付図面を用いて説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る映像シーン情報生成装置１を示すものであり、この映像シーン情報生成装置１は、カメラ部１１と、映像メモリ処理部１２と、重要度下限設定処理部１３と、範囲パターン設定処理部１４と、個人認証処理部１５と、映像シーン情報生成処理部１６とを備えている。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
[First Embodiment]
FIG. 1 shows a video scene information generation apparatus 1 according to the first embodiment of the present invention. This video scene information generation apparatus 1 includes a camera unit 11, a video memory processing unit 12, and an importance lower limit. A setting processing unit 13, a range pattern setting processing unit 14, a personal authentication processing unit 15, and a video scene information generation processing unit 16 are provided.

カメラ部１１は、被写体を撮影するためのものであり、出力が映像メモリ処理部１２の入力に接続されている。映像メモリ処理部１２は、映像信号を個人認証処理用に一時記憶させるためのものであり、入力がカメラ部の出力に接続されているとともに、出力が個人認証処理部１５の入力に接続されている。重要度下限設定処理部１３は、後述する範囲パターン中で画面分割された領域の重要度の下限設定を行うためのものであり、出力が範囲パターン設定処理部１４の入力に接続されている。範囲パターン設定処理部１４は、個人認証をする範囲パターンを設定するためのものであり、入力が重要度下限設定処理部１３の出力に接続されているとともに、出力が個人認証処理部１５の入力に接続されている。個人認証処理部１５は、顔認証など映像から個人を特定するためのものであり、入力が映像メモリ処理部１２出力及び範囲パターン設定処理部１４の出力に接続されているとともに、出力が映像シーン情報生成処理部１６の入力に接続されている。映像シーン情報生成処理部１６は、シーン毎に認証した人物データを重要度別にランク付けして映像シーン情報を生成するためのものであり、入力が個人認証処理部１５の出力に接続されている。 The camera unit 11 is for photographing a subject, and an output is connected to an input of the video memory processing unit 12. The video memory processing unit 12 is for temporarily storing a video signal for personal authentication processing. The input is connected to the output of the camera unit and the output is connected to the input of the personal authentication processing unit 15. Yes. The importance lower limit setting processing unit 13 is used to set the lower limit of the importance of an area divided into screens in a range pattern to be described later, and an output is connected to an input of the range pattern setting processing unit 14. The range pattern setting processing unit 14 is for setting a range pattern for personal authentication. The input is connected to the output of the importance lower limit setting processing unit 13 and the output is the input of the personal authentication processing unit 15. It is connected to the. The personal authentication processing unit 15 is for identifying an individual from video such as face authentication, and the input is connected to the output of the video memory processing unit 12 and the output of the range pattern setting processing unit 14 and the output is a video scene. It is connected to the input of the information generation processing unit 16. The video scene information generation processing unit 16 is for generating the video scene information by ranking the personal data authenticated for each scene according to importance, and the input is connected to the output of the personal authentication processing unit 15. .

以上のように構成された映像シーン情報生成装置について、図２を用いてその動作を説明する。
（１）まず、範囲パターン設定処理（第１ステップＳ１１）では、範囲パターン設定処理部１４で、映像シーン毎に重要な役割を果たす登場人物が映っている範囲を最重要度の範囲として、映像画面全体を重要度別に領域分割した情報を「範囲パターン」として、予め複数用意しておき、この中から撮影者が撮影シーンに合わせて最適な範囲パターンを選択する。
ここで、範囲パターンで設定する「重要度」とは、映像画面上の人物がどの重要度のエリアに映っているかで登場人物の重要度を判断し、ランク付けするためのものである。この範囲パターンは、例えば図３（Ａ）のように、同心円状の重要度の範囲設定を行い、中央の円を最重要として設定するパターンＰ１が考えられる。前記の範囲パターンは、バラエティ番組などで階段席にゲストが座っているシーンや演説シーンなど重要人物の周りに人がいる場合に適用できる。また、図３（Ｂ）のように、縦縞状の重要度範囲設定を行い、中央の縦縞を最重要として設定するパターンＰ２なども考えられる。
また、この範囲パターンは、例えば図３（Ｂ）のように、野球などで立ちポーズの人物を特定するシーンに適用できる。画面上に人物が映る大きさによって、各重要度に範囲を分割するときの半径の大きさや幅を変更する必要がある。その他、シーンに合わせて最適な範囲パターンの形状を考える必要があるが、撮影者は注目すべき人物を中央付近に置いたアングルにすることが多い。このため、基本的に映像中央が最重要になることが多い。映像中央付近が最重要でない撮影シーンの場合でも、最重要人物が映る範囲を最重要として範囲パターンを作成すれば、同様に適用可能である。範囲パターンは、撮影状況に応じて、どの位置を最重要位置にするかまたは、どのような形状や間隔にするかについて自由に取り決められる。 The operation of the video scene information generating apparatus configured as described above will be described with reference to FIG.
(1) First, in the range pattern setting process (first step S11), the range pattern setting processing unit 14 sets the range in which characters who play an important role for each video scene are shown as the most important range. A plurality of pieces of information obtained by dividing the entire screen into regions according to importance are prepared as “range patterns”, and the photographer selects an optimum range pattern according to the shooting scene.
Here, the “importance” set by the range pattern is for determining and ranking the importance of the characters based on the importance area in which the person on the video screen is reflected. As this range pattern, for example, as shown in FIG. 3A, a pattern P1 in which a concentric importance range is set and the center circle is set as the most important is conceivable. The above range pattern can be applied when there are people around an important person such as a scene where a guest is sitting on a staircase or a speech scene in a variety program or the like. In addition, as shown in FIG. 3B, a pattern P2 in which a vertical stripe-shaped importance range is set and the central vertical stripe is set as the most important is also conceivable.
In addition, this range pattern can be applied to a scene that identifies a person in a standing pose, such as baseball, as shown in FIG. Depending on the size of the person on the screen, it is necessary to change the size and width of the radius when dividing the range into each importance. In addition, it is necessary to consider the optimum shape of the range pattern according to the scene, but the photographer often takes an angle with a notable person placed near the center. For this reason, the center of the video is often the most important. Even in the case of a shooting scene in which the vicinity of the center of the video is not the most important, it can be similarly applied if a range pattern is created with the range in which the most important person appears as the most important. The range pattern can be freely determined as to which position is the most important position or what shape or interval is set according to the photographing situation.

（２）重要度下限設定処理（第２ステップＳ１２）では、重要度下限設定処理部１３で処理され、範囲パターン設定処理部１４で設定した重要度範囲のうち、最重要の範囲を含めどの重要度までの範囲に映っている人物を個人認証の対象とするか、下限を設定する。ここで設定された範囲のみを対象として個人認証が行われる。下限を設定することで、不要な人物の個人認証を行う必要がなくなり、認証処理速度向上が図れ、またシーン毎に重要な役割を果たしている人物に絞った映像シーン情報を生成できる。例えば、図４は、前記の同心円状の範囲パターンで重要度下限を設定したパターンＰ３であって、重要度下限をＢに設定し色づけしたＡ〜Ｂの範囲（但し、図４において、Ａ，Ｂの範囲については色づけに替えて背景に多数の細かいドットを付してある）を検索対象としている。 (2) the severity limit setting process (second step S12), the treated with severity limit setting processing unit 13, among the severity range set in a range pattern setting section 14, which key including the most important range The person shown in the range up to the degree is targeted for personal authentication, or a lower limit is set. Personal authentication is performed only for the range set here. By setting the lower limit, it is not necessary to perform personal authentication of unnecessary persons, the speed of authentication processing can be improved, and video scene information focused on persons who play an important role for each scene can be generated. For example, FIG. 4 shows a pattern P3 in which the lower limit of importance is set in the above-mentioned concentric range pattern, and the range of A to B colored by setting the lower limit of importance to B (however, in FIG. For the range of B, a number of fine dots are added to the background instead of coloring).

（３）映像信号取得処理（第３ステップＳ１３）では、カメラ部１１で映像信号を取得し、個人認証処理で使用する映像データを映像メモリ処理部１２へ一時記録する。 (3) In the video signal acquisition process (third step S13), the video signal is acquired by the camera unit 11 and video data used in the personal authentication process is temporarily recorded in the video memory processing unit 12.

（４）個人認証処理（第４ステップＳ１４）では、重要度下限設定処理部１３で設定された映像画面上の範囲内で、個人認証処理部１５が各重要度別に個人認証を行い人物名を特定する。個人認証方法としては、例えば顔認証など映像から個人を特定できる技術を利用することで実現可能である。また、重要度の境界線にまたがる人物を認証する場合は、予め重要度を切り上げるか切り下げるか、またがり具合で四捨五入するかを決めておく必要がある。 (4) In the personal authentication process (fourth step S14), within the range on the video screen set by the importance lower limit setting processing unit 13, the personal authentication processing unit 15 performs personal authentication for each importance level and sets the person name. Identify. The personal authentication method can be realized by using a technology that can identify an individual from a video such as face authentication. In addition, when authenticating a person who straddles the boundary line of importance, it is necessary to determine in advance whether the importance is rounded up or down or rounded off.

（５）映像シーン情報生成処理（第５ステップＳ１５）では、個人認証処理部１５で特定した人物名を重要度と関連付けたデータを映像シーン情報生成処理部１６で映像シーン情報として出力する。生成された映像シーン情報は、シーン毎の開始時刻と期間を加えることで、例えばコンテンツアーカイブシステムで人物名をキーワードにコンテンツ検索やシーン検索をする場合の情報として有用である。また、将来実施が予定されているサーバー型放送のダイジェスト視聴用のメタ情報として利用し、特定の登場人物のダイジェストを閲覧する場合などにも有用である。その他、個人認証により解析した人物の情報と映像を管理し、映像を検索する装置やシステムにおいても有用である。 (5) In the video scene information generation process (fifth step S15), the video scene information generation processing unit 16 outputs data associating the person name specified by the personal authentication processing unit 15 with the importance as video scene information. The generated video scene information is useful as information when a content search or scene search is performed using a person name as a keyword in a content archive system by adding a start time and a period for each scene. It is also useful when browsing the digest of a particular character by using it as meta-information for digest viewing of server-type broadcasts scheduled to be implemented in the future. In addition, it is also useful in an apparatus or system that manages information and videos of persons analyzed by personal authentication and searches for videos.

従って、このような本実施形態の映像シーン情報生成装置１によれば、従来の構成に加え、重要度下限設定処理部１３と、範囲パターン設定処理部１４とを設けることにより、各シーンで重要な役割を果たしている人物に絞って個人認証を行った映像シーン情報を生成することができる。また、絞込みをしてから個人認証を行うことで、処理時間の短縮にもつながる。 Therefore, according to the video scene information generating apparatus 1 of the present embodiment as described above, the importance level lower limit setting processing unit 13 and the range pattern setting processing unit 14 are provided in addition to the conventional configuration, so that each scene is important. It is possible to generate video scene information obtained by performing personal authentication focusing on persons who play a role. Also, by narrowing down and performing personal authentication, the processing time can be shortened.

［第２の実施形態］
次に、本発明の第２の実施形態に係る映像シーン情報生成装置２について、説明する。なお、本実施形態において、第１の実施形態と同一部分には同一符号を付して、重複説明を避ける。
図５は、本実施形態に係る映像シーン情報生成装置２を示すものであり、この映像シーン情報生成装置２は、カメラ部１１と、映像メモリ処理部１２と、範囲パターン設定処理部１４と、個人認証処理部１５と、映像シーン情報生成処理部１６との他に、ズーム情報取得処理部２１と、第１の重要度下限判定処理部２２Ａと、被写体距離取得処理部２３とを備えている。 [Second Embodiment]
Next, the video scene information generation device 2 according to the second embodiment of the present invention will be described. In the present embodiment, the same parts as those in the first embodiment are denoted by the same reference numerals to avoid redundant description.
FIG. 5 shows a video scene information generation device 2 according to the present embodiment. The video scene information generation device 2 includes a camera unit 11, a video memory processing unit 12, a range pattern setting processing unit 14, In addition to the personal authentication processing unit 15 and the video scene information generation processing unit 16, a zoom information acquisition processing unit 21, a first importance lower limit determination processing unit 22A, and a subject distance acquisition processing unit 23 are provided. .

ズーム情報取得処理部２１は、画角計算に必要なカメラレンズの情報を取得するためのものであり、入力がカメラ部１１の出力に接続されているとともに、出力が第１の重要度下限判定処理部２２Ａの入力に接続されている。第１の重要度下限判定処理部２２Ａは、後述の対応表を用いて、前記範囲パターンの重要度の下限設定を入力値から自動で設定するためのものであり、入力がズーム情報取得処理部２１及び被写体距離取得処理部２３の各出力に接続されているとともに、出力が範囲パターン設定処理部１４の入力に接続されている。被写体距離取得処理部２３は、被写体までの距離を計測するためのものであり、出力が第１の重要度下限判定処理部２２Ａの入力に接続されている。 The zoom information acquisition processing unit 21 acquires camera lens information necessary for angle of view calculation. The input is connected to the output of the camera unit 11 and the output is the first importance level lower limit determination. It is connected to the input of the processing unit 22A. The first importance lower limit determination processing unit 22A is for automatically setting the lower limit setting of the importance of the range pattern from an input value using a correspondence table described later, and the input is a zoom information acquisition processing unit. 21 and the subject distance acquisition processing unit 23, and the output is connected to the input of the range pattern setting processing unit 14. The subject distance acquisition processing unit 23 is for measuring the distance to the subject, and the output is connected to the input of the first importance lower limit determination processing unit 22A.

以上のように構成された本実施形態の映像シーン情報生成装置２について、図６を用いてその動作を説明する。
（１）まず、被写体距離取得処理（第１ステップＳ２１）では、被写体距離取得処理部２３で処理され被写体までの距離を計測する。計測は既存の画像処理や赤外線での計測などの方法を使うことで実現できる。
（２）ズーム情報取得処理（第２ステップＳ２２）では、ズーム情報取得処理部２１で処理されカメラ部１１から画角計算に必要な情報を取得する。
（３）範囲パターン設定処理（第３ステップＳ２３）では、範囲パターン設定処理部１４で処理されるが、本発明の第１の実施形態である範囲パターン設定処理（第１ステップＳ１１）と同様の処理であるため、説明を省略する。
（４）重要度下限判定処理（第４ステップＳ２４）では、第１の重要度下限判定処理部２２Ａで処理され、取得したズーム情報と被写体距離を常に取得し、レンズの画角を求める。被写体がほぼ一定の距離で撮影者がズームアップし画角を変化させる場合、画角が狭くなるにつれ、画面中央部にいる登場人物がクローズアップされ重要度が上がることが多い。このため、画角が狭くなるにつれ、重要度下限設定値を引き上げる（個人認証範囲を狭くする）。この制御を実現するため、例えば図７（Ｃ）に示すように、画角と重要度下限設定値の対応表Ｔ１を作成しておき、ズーム情報から計算される画角を入力値として対応表Ｔ１と比較しながら、対応する重要度下限設定値を自動で設定する。
（５）映像信号取得処理（第５ステップＳ２５）、個人認証処理（第６ステップＳ２６）および映像シーン情報生成処理（第７ステップＳ２７）は、それぞれ、カメラ部１１、映像メモリ１２、個人認証処理部１５、映像シーン情報生成処理部１６で処理されるが、本発明の第１の実施形態での第３ステップＳ１３から第５ステップＳ１５と同様の処理であるため、説明を省略する。 The operation of the video scene information generating apparatus 2 of the present embodiment configured as described above will be described with reference to FIG.
(1) First, in subject distance acquisition processing (first step S21), the subject distance acquisition processing unit 23 processes the distance to the subject. Measurement can be achieved by using existing image processing and infrared measurement methods.
(2) In the zoom information acquisition process (second step S22), information that is processed by the zoom information acquisition processing unit 21 and necessary for calculating the angle of view is acquired from the camera unit 11.
(3) In the range pattern setting process (third step S23), it is processed by the range pattern setting processing unit 14, but is the same as the range pattern setting process (first step S11) according to the first embodiment of the present invention. Since it is a process, description is abbreviate | omitted.
(4) In the importance level lower limit determination process (fourth step S24), the first importance level lower limit determination processing unit 22A processes the acquired zoom information and the subject distance, and obtains the angle of view of the lens. When the photographer zooms up at a substantially constant distance and changes the angle of view, as the angle of view narrows, the characters in the center of the screen are often close-up and the importance increases. For this reason, as the angle of view becomes narrower, the importance lower limit set value is raised (the personal authentication range is narrowed). In order to realize this control, for example, as shown in FIG. 7C, a correspondence table T1 between the angle of view and the importance lower limit setting value is created, and the correspondence table using the angle of view calculated from the zoom information as an input value is created. Corresponding importance lower limit setting value is automatically set while comparing with T1.
(5) The video signal acquisition process (fifth step S25), the personal authentication process (sixth step S26), and the video scene information generation process (seventh step S27) are the camera unit 11, the video memory 12, and the personal authentication process, respectively. The processing is performed by the unit 15 and the video scene information generation processing unit 16, but the description is omitted because it is the same processing as the third step S13 to the fifth step S15 in the first embodiment of the present invention.

なお、図７の画角と重要度下限設定値の対応表Ｔ１は、例えば被写体までの距離を予め想定しておいて、被写体までの距離毎に対応表を用意しておき、被写体までの想定する距離で、対応する対応表を切りかえて重要度を設定しても良い。 In the correspondence table T1 between the angle of view and the importance lower limit setting value in FIG. 7, for example, the distance to the subject is assumed in advance, and a correspondence table is prepared for each distance to the subject, and the assumption up to the subject is assumed. The importance may be set by switching the corresponding correspondence table according to the distance to be used.

以上のように、本発明の第２の実施形態の映像シーン情報生成装置２によれば、従来の形態に加え、ズーム情報取得処理部２１、第１の重要度下限判定処理部２２Ａ、範囲パターン設定処理部１４、被写体距離取得処理部２３を設けることにより、本発明の第１の実施形態での効果に加え、ズーム情報および被写体距離により重要度下限を自動で設定できる、という効果が得られる。 As described above, according to the video scene information generation device 2 of the second exemplary embodiment of the present invention, in addition to the conventional configuration, the zoom information acquisition processing unit 21, the first importance lower limit determination processing unit 22A, the range pattern By providing the setting processing unit 14 and the subject distance acquisition processing unit 23, in addition to the effect of the first embodiment of the present invention, there is an effect that the importance level lower limit can be automatically set by the zoom information and the subject distance. .

［第３の実施形態］
次に、本発明の第３の実施形態の映像シーン情報生成装置３について、説明する。なお、本実施形態において、第１、第２の実施形態と同一部分には同一符号を付して、重複説明を避ける。
図８は、本発明の実施形態に係る映像シーン情報生成装置３を示すものであり、この映像シーン情報生成装置３は、カメラ部１１と、映像メモリ処理部１２と、範囲パターン設定処理部１４と、個人認証処理部１５と、映像シーン情報生成処理部１６と、第２の重要度下限判定処理部２２Ｂとの他に、カメラ台座情報取得処理部３１を備えている。 [Third Embodiment]
Next, the video scene information generating device 3 according to the third embodiment of the present invention will be described. In the present embodiment, the same parts as those in the first and second embodiments are denoted by the same reference numerals to avoid redundant description.
FIG. 8 shows a video scene information generation device 3 according to an embodiment of the present invention. The video scene information generation device 3 includes a camera unit 11, a video memory processing unit 12, and a range pattern setting processing unit 14. In addition to the personal authentication processing unit 15, the video scene information generation processing unit 16, and the second importance lower limit determination processing unit 22B, a camera pedestal information acquisition processing unit 31 is provided.

カメラ台座情報取得処理部３１は、カメラの移動量や回転量を取得するためのものであり、入力がカメラ部１１の出力に接続されているとともに、出力が第２の重要度下限判定処理部２２Ｂの入力に接続されている。 The camera pedestal information acquisition processing unit 31 is for acquiring the amount of movement and rotation of the camera. The input is connected to the output of the camera unit 11 and the output is the second importance lower limit determination processing unit. 22B is connected to the input.

次に、以上のように構成された本実施形態に係る映像シーン情報生成装置３について、図９を用いてその動作を説明する。
（１）まず、カメラ台座情報取得処理（第１ステップＳ３１）では、カメラ台座情報取得処理部３１で処理され、カメラ移動量やカメラ回転量を取得する。カメラ移動量は、撮影者の移動距離、レール上のカメラ台の移動距離、カメラアームの移動量などを、例えば赤外線やレール上のタイヤの回転量などで検出する。一方、カメラ回転量は、雲台回転時に例えばロータリーエンコーダーなどで検出可能である。これらの情報は、リアルタイムに取得することもできる。
（２）範囲パターン設定処理（第２ステップＳ３２）では、範囲パターン設定処理部１４で処理されるが、本発明の第１の実施形態での範囲パターン設定処理（第１ステップＳ１１）と同様の処理であるため、説明を省略する。
（３）重要度下限判定処理（第３ステップＳ３３）では、第２の重要度下限判定処理部２２Ｂで処理され、カメラ台座情報からカメラ移動量やカメラ回転量をリアルタイムに取得し、常に単位時間当たりの変化量を求める。カメラ移動量やカメラ回転量の単位時間当たりの変化量が大きいときは、撮影者が被写体を追っている場合が多く、また被写体を映像中心付近に映した構図としていることが多い。このため、変化量が大きくなるにつれ映像（構図）中央付近の重要度が高くなり、重要度下限を引き上げる（個人認証範囲を狭くする）という制御が可能である。この制御を実現するため、例えば図１０（Ａ）のようなカメラ移動量やタイヤや雲台の回転量の単位時間当たりの変化量と重要度下限設定値の対応表Ｔ２（同図（Ｃ）参照）を作成しておき、カメラ台座情報を入力値として対応表Ｔ２と比較しながら対応する重要度下限値を自動で設定する。
（４）映像信号取得処理（第４ステップＳ３４）、個人認証処理（第５ステップＳ３５）、および映像シーン情報生成処理（第６ステップＳ３６）では、それぞれカメラ部１１、映像メモリ処理部１２、個人認証処理部１５、映像シーン情報生成処理部１６で処理されるが、本発明の第１の実施形態である第３ステップＳ１３から第５ステップＳ１５と同様の処理であるため、説明を省略する。 Next, the operation of the video scene information generating apparatus 3 according to the present embodiment configured as described above will be described with reference to FIG.
(1) First, in camera pedestal information acquisition processing (first step S31), processing is performed by the camera pedestal information acquisition processing unit 31 to acquire a camera movement amount and a camera rotation amount. As the camera movement amount, the movement distance of the photographer, the movement distance of the camera stand on the rail, the movement amount of the camera arm, and the like are detected by, for example, infrared rays or the rotation amount of the tire on the rail. On the other hand, the camera rotation amount can be detected by, for example, a rotary encoder when the camera platform rotates. Such information can also be acquired in real time.
(2) In the range pattern setting process (second step S32), it is processed by the range pattern setting processing unit 14, but is the same as the range pattern setting process (first step S11) in the first embodiment of the present invention. Since it is a process, description is abbreviate | omitted.
(3) In the importance lower limit determination process (third step S33), the second importance lower limit determination processing unit 22B processes the camera movement amount and the camera rotation amount in real time from the camera pedestal information. Find the amount of change per hit. When the amount of change in the amount of camera movement or camera rotation per unit time is large, the photographer often follows the subject and often has a composition in which the subject is projected near the center of the image. For this reason, as the amount of change increases, the importance in the vicinity of the center of the video (composition) increases, and it is possible to control to raise the importance lower limit (narrow the personal authentication range). In order to realize this control, for example, as shown in FIG. 10A, a correspondence table T2 of the amount of change per unit time of the camera movement amount and the rotation amount of the tire or the pan head and the importance lower limit setting value (FIG. 10C). The corresponding importance lower limit value is automatically set while comparing with the correspondence table T2 using the camera pedestal information as an input value.
(4) In the video signal acquisition process (fourth step S34), the personal authentication process (fifth step S35), and the video scene information generation process (sixth step S36), the camera unit 11, the video memory processing unit 12, and the individual, respectively. Although the processing is performed by the authentication processing unit 15 and the video scene information generation processing unit 16, the processing is the same as the third step S13 to the fifth step S15, which is the first embodiment of the present invention, and thus the description thereof is omitted.

以上のように、本発明の第３の実施形態に係る映像シーン情報生成装置３によれば、第１の実施形態の構成に加え、第２の重要度下限判定処理部２２Ｂ、カメラ台座情報取得処理部３１を設けることにより、本発明の第１の実施形態の効果に加え、カメラ台座情報により重要度下限を自動で設定できるという効果を得が得られる。 As described above, according to the video scene information generating apparatus 3 according to the third embodiment of the present invention, in addition to the configuration of the first embodiment, the second importance lower limit determination processing unit 22B, camera pedestal information acquisition By providing the processing unit 31, in addition to the effect of the first embodiment of the present invention, the effect that the lower importance level can be automatically set by the camera base information is obtained.

［第４の実施形態］
次に、本発明の第４の実施形態の映像シーン情報生成装置４について説明する。なお、本実施形態において、第１〜第３の実施形態と同一部分には同一符号を付して、重複説明を避ける。
図１１は、本発明の第４の実施形態に係る映像シーン情報生成装置４を示すものであり、この映像シーン情報生成装置４は、第２実施形態及び第３実施形態に備える構成ものを全て備えた（但し、後述する第３の重要度下限判定処理部２２Ｃは新規に設けてある）構成となっている。即ち、本実施形態の映像シーン情報生成装置４は、第２実施形態の構成である、カメラ部１１と、映像メモリ処理部１２と、ズーム情報取得処理部２１と、第３の重要度下限判定処理部２２Ｃと、被写体距離取得処理部２３と、範囲パターン設定処理部１４、個人認証処理部１５と、映像シーン情報生成処理部１６とを備える他に、第３の実施形態に備えるカメラ台座情報取得処理部３１も具備した構成のものである。 [Fourth Embodiment]
Next, the video scene information generation device 4 according to the fourth embodiment of the present invention will be described. In the present embodiment, the same parts as those in the first to third embodiments are denoted by the same reference numerals to avoid redundant description.
FIG. 11 shows a video scene information generation device 4 according to the fourth embodiment of the present invention, and this video scene information generation device 4 has all the components provided in the second embodiment and the third embodiment. Provided (however, a later-described third importance lower limit determination processing unit 22C is newly provided). That is, the video scene information generation device 4 of the present embodiment includes the camera unit 11, the video memory processing unit 12, the zoom information acquisition processing unit 21, and the third importance level lower limit determination, which are the configurations of the second embodiment. In addition to the processing unit 22C, the subject distance acquisition processing unit 23, the range pattern setting processing unit 14, the personal authentication processing unit 15, and the video scene information generation processing unit 16, the camera pedestal information provided in the third embodiment The acquisition processing unit 31 is also provided.

以上のように構成された映像シーン情報生成装置４について、図１２を用いてその動作を説明する。
なお、ここで、
（１）被写体距離取得処理(第１ステップＳ４１)は、本発明の第２の実施形態での処理である被写体距離取得処理(第１ステップＳ２１)と、
（２）ズーム情報取得処理(第２ステップＳ４２)は、本発明の第２の実施形態での処理である第２ステップＳ２２と、
（３）カメラ台座情報取得処理(第３ステップＳ４３)は、本発明の第３の実施形態での処理であるカメラ台座情報取得処理(第１ステップＳ３１)と、それぞれ、同様の処理であるため、説明を省略する。
（４）範囲パターン設定処理(第４ステップＳ４４)は、範囲パターン設定処理部１４で処理されるが、本発明の第１の実施形態での処理である第１ステップＳ１１と同様の処理であるため説明を省略する。
（５）重要度下限判定処理(第５ステップＳ４５)は、第３の重要度下限判定処理部２２Ｃで処理され、取得したズーム情報や被写体距離、カメラ台座情報から、画角と後述の変化量を計算する。即ち、ズーム情報や被写体距離は、本発明の第２の実施形態での処理である第４ステップＳ２４と同様の処理を行い、画角を計算する。一方、カメラ台座情報は、本発明の第３の実施形態での処理である第３ステップＳ３３と同等の処理を行い、カメラ移動量やカメラ回転量から、変化量を計算する。
なお、入力値が画角と変化量の２入力であるため、図１３のように、重要度下限設定値の対応表Ｔ３の作成はマトリクス形式で行い、対応表Ｔ３と比較しながら対応する重要度下限設定を自動で設定する。
（６）映像信号取得処理（第６ステップＳ４６）、（７）個人認証処理（第７ステップＳ４７）および（８）映像シーン情報生成処理（第８ステップＳ４８）は、それぞれカメラ部１１、映像メモリ処理部１２、個人認証処理部１５、映像シーン情報生成処理部１６で処理されるが、本発明の第１の実施形態である第３ステップＳ１３〜第５ステップＳ１５と同様の処理であるため、説明を省略する。 The operation of the video scene information generation device 4 configured as described above will be described with reference to FIG.
Where
(1) Subject distance acquisition processing (first step S41) is subject distance acquisition processing (first step S21) that is processing in the second embodiment of the present invention.
(2) The zoom information acquisition process (second step S42) is a second step S22 which is a process in the second embodiment of the present invention.
(3) The camera pedestal information acquisition process (third step S43) is the same process as the camera pedestal information acquisition process (first step S31), which is the process in the third embodiment of the present invention. The description is omitted.
(4) The range pattern setting process (fourth step S44) is processed by the range pattern setting processing unit 14, but is the same process as the first step S11 which is the process in the first embodiment of the present invention. Therefore, explanation is omitted.
(5) The importance lower limit determination process (fifth step S45) is processed by the third importance lower limit determination processing unit 22C, and based on the acquired zoom information, subject distance, and camera base information, the angle of view and the amount of change described later. Calculate That is, the zoom information and the subject distance are processed in the same manner as in the fourth step S24, which is the process in the second embodiment of the present invention, and the angle of view is calculated. On the other hand, the camera pedestal information performs a process equivalent to the third step S33, which is a process in the third embodiment of the present invention, and calculates a change amount from the camera movement amount and the camera rotation amount.
Since the input value is two inputs of the angle of view and the amount of change, as shown in FIG. 13, the correspondence table T3 of the importance lower limit setting value is created in a matrix format, and the corresponding importance is compared with the correspondence table T3. Set the degree lower limit setting automatically.
(6) Video signal acquisition processing (sixth step S46), (7) Personal authentication processing (seventh step S47), and (8) Video scene information generation processing (eighth step S48) are the camera unit 11 and video memory, respectively. The processing is performed by the processing unit 12, the personal authentication processing unit 15, and the video scene information generation processing unit 16, but is the same processing as the third step S13 to the fifth step S15 according to the first embodiment of the present invention. Description is omitted.

以上のように、本発明の第４の実施形態に係る映像シーン情報生成装置４によれば、従来の構成に加え、ズーム情報取得処理部２１、カメラ台座情報取得処理部３１、被写体距離取得処理部２３、第３の重要度下限判定処理部２２Ｃ、範囲パターン設定処理部１４を設けることにより、本発明の第１の実施形態の効果に加え、ズーム情報と被写体距離、カメラ台座情報により重要度下限を自動で設定できるという効果が得られる。 As described above, according to the video scene information generation device 4 according to the fourth embodiment of the present invention, in addition to the conventional configuration, the zoom information acquisition processing unit 21, the camera pedestal information acquisition processing unit 31, the subject distance acquisition processing By providing the unit 23, the third importance lower limit determination processing unit 22C, and the range pattern setting processing unit 14, in addition to the effects of the first embodiment of the present invention, the importance depends on the zoom information, the subject distance, and the camera pedestal information. The effect that the lower limit can be automatically set is obtained.

［第５の実施形態］
次に、本発明の第５の実施形態の映像シーン情報生成装置について説明する。なお、本実施形態において、第１〜第４の実施形態と同一部分には同一符号を付して、重複説明を避ける。
図１４は、本発明の第５の実施形態に係る映像シーン情報生成装置５を示すものであり、この映像シーン情報生成装置５は、カメラ部１１と、映像メモリ処理部１２と、重要度下限設定処理部１３と、範囲パターン設定処理部１４と、個人認証処理部１５と、映像シーン情報生成処理部１６との他に、設定確認処理部５１を備えている。
また、本実施形態では、カメラ部１１、映像メモリ処理部１２、重要度下限設定処理部１３、範囲パターン設定処理部１４及び設定確認処理部５１を一体化したカメラ撮影装置としている。 [Fifth Embodiment]
Next, a video scene information generation apparatus according to the fifth embodiment of the present invention will be described. In the present embodiment, the same parts as those in the first to fourth embodiments are denoted by the same reference numerals to avoid redundant description.
FIG. 14 shows a video scene information generation device 5 according to the fifth embodiment of the present invention. This video scene information generation device 5 includes a camera unit 11, a video memory processing unit 12, and an importance lower limit. In addition to the setting processing unit 13, the range pattern setting processing unit 14, the personal authentication processing unit 15, and the video scene information generation processing unit 16, a setting confirmation processing unit 51 is provided.
In the present embodiment, the camera 11, the video memory processing unit 12, the importance lower limit setting processing unit 13, the range pattern setting processing unit 14, and the setting confirmation processing unit 51 are integrated.

次に、以上のように構成された本実施形態の映像シーン情報生成装置５について、図１５を用いてその動作を説明する。
（１）範囲パターン設定処理(第１ステップＳ５１)は、本発明の第１の実施形態での処理である第１ステップＳ１１と、
（２）重要度下限設定処理(第２ステップＳ５２)は、本発明の第１の実施形態での処理である第２ステップＳ１２と同様の処理を行い、
（３）設定確認処理(第３ステップＳ５３)では、先の第１ステップＳ５１及び第２ステップＳ５２で設定した内容を、撮影者がカメラビューファインダーやモニター上の映像に重ねて表示させることで、確認しながら範囲パターンや重要度下限の設定を行う。
これにより、撮影者の意図で撮影状況に合わせて範囲パターンを選択し、最重要範囲の位置設定（中央以外でも設定可能）、重要度を領域分割するときの間隔の設定、重要度下限設定を行うことができる。
（４）映像信号取得処理（第４ステップＳ５４）、（５）個人認証処理（第４ステップＳ５４）および（６）映像シーン情報生成処理（第６ステップＳ５６）は、それぞれカメラ部１１、映像メモリ１２、個人認証処理部１５、映像シーン情報生成処理部１６で処理されるが、本発明の第１の実施形態での処理である第３ステップＳ１３〜第５ステップＳ１５と同様の処理であるため、説明を省略する。 Next, the operation of the video scene information generating apparatus 5 of the present embodiment configured as described above will be described with reference to FIG.
(1) The range pattern setting process (first step S51) is a first step S11 which is a process in the first embodiment of the present invention.
(2) The importance lower limit setting process (second step S52) performs the same process as the second step S12, which is the process in the first embodiment of the present invention.
(3) In the setting confirmation process (third step S53), the photographer displays the contents set in the first step S51 and the second step S52 in an overlapping manner on the video on the camera viewfinder or monitor. Set the range pattern and the lower limit of importance while checking.
This allows the photographer to select the range pattern according to the shooting situation, set the position of the most important range (can be set other than the center), set the interval when dividing the importance, and set the lower limit of importance. It can be carried out.
(4) Video signal acquisition processing (fourth step S54), (5) Personal authentication processing (fourth step S54), and (6) Video scene information generation processing (sixth step S56) are the camera unit 11 and video memory, respectively. 12. Processed by the personal authentication processing unit 15 and the video scene information generation processing unit 16, but is the same process as the third step S13 to the fifth step S15 which is the process in the first embodiment of the present invention. The description is omitted.

以上のように、本発明の第５の実施形態の映像シーン情報生成装置５によれば、従来の構成に加え、設定確認処理部５１、重要度下限設定処理部１３、範囲パターン設定処理部１４を設けることにより、本発明の第１の実施形態の効果に加え、撮影者の意図でカメラファインダーやモニターで確認しながら、範囲パターン設定（範囲パターン選択、最重要範囲の位置設定、重要度を分割する間隔の設定など）や重要度下限設定を行うことで、さらに撮影シーンに柔軟に対応できるという効果が得られる。 As described above, according to the video scene information generation device 5 of the fifth exemplary embodiment of the present invention, in addition to the conventional configuration, the setting confirmation processing unit 51, the importance lower limit setting processing unit 13, and the range pattern setting processing unit 14 In addition to the effects of the first embodiment of the present invention, the range pattern setting (range pattern selection, position setting of the most important range, importance level is confirmed while checking with the camera finder or monitor for the photographer's intention. By setting the interval to be divided, etc.) and setting the lower limit of importance, it is possible to obtain an effect that the shooting scene can be flexibly handled.

［第６の実施形態］
次に、本発明の第６の実施形態に係る映像シーン情報生成装置について説明する。
本実施形態の映像シーン情報生成装置は、本発明の第２の実施形態および本発明の第４の実施形態と同様の構成であるが、第２の実施形態および第４の実施形態と異なる点は、範囲パターン設定処理部１４の処理である。
即ち、本実施形態では、ズーム情報から、例えば図１６（Ａ）に示すように、被写体までの距離（ａ）、レンズ焦点距離（ｂ）と人の顔の大きさ（一般的な大きさ（ｈ）を想定し、汎用的に扱う）から、範囲パターンの重要度を分割する幅（間隔）の値、例えば図１６（Ｂ）に示すように、Ｄ１、Ｄ２などを図１６（Ｃ）の演算式などから計算し、自動で調整する機能が範囲パターン設定処理部１４に加わることである。その他の処理は、本発明の第２の実施形態および本発明の第４の実施形態と同様である。 [Sixth Embodiment]
Next, a video scene information generating apparatus according to the sixth embodiment of the present invention will be described.
The video scene information generation device of this embodiment has the same configuration as that of the second embodiment and the fourth embodiment of the present invention, but differs from the second embodiment and the fourth embodiment. Is a process of the range pattern setting processing unit 14.
That is, in the present embodiment, from the zoom information, for example, as shown in FIG. 16A, the distance (a) to the subject, the lens focal length (b), and the size of the human face (general size ( h) is assumed and is treated universally), the width (interval) values for dividing the importance of the range pattern, for example, as shown in FIG. 16B, D1, D2, etc. are shown in FIG. A function of calculating from an arithmetic expression or the like and automatically adjusting is added to the range pattern setting processing unit 14. Other processes are the same as those of the second embodiment and the fourth embodiment of the present invention.

以上のように、本発明の第６の実施形態の映像シーン情報生成装置６によれば、第２の実施形態および本発明の第４の実施形態の範囲パターン設定処理部１４に、ズーム情報と被写体距離から範囲パターンの重要度を分割する幅（間隔）を自動で設定する機能を加えることで、撮影状況に応じて範囲パターンの設定を自動で変えることが可能である。 As described above, according to the video scene information generating device 6 of the sixth embodiment of the present invention, the zoom information and the range pattern setting processing unit 14 of the second embodiment and the fourth embodiment of the present invention are transmitted. By adding a function for automatically setting the width (interval) for dividing the importance of the range pattern from the subject distance, it is possible to automatically change the setting of the range pattern according to the shooting situation.

［第７の実施形態］
次に、本発明の第７の実施の形態の映像シーン情報生成装置について説明する。
本実施形態の映像シーン情報生成装置は、本発明の第１〜６の実施形態と同様の構成であるが、本発明の第１〜６の実施形態と異なる点は、個人認証処理部１５の処理である。
本実施形態では、図１７のパターンＰ８に示すように、個人認証を行うとき、特に最重要範囲付近の各重要度のランク（例えば、Ａ，Ｂ）の範囲内の位置に映っている人の中で、顔の移動や顔の回転、口の動きが一定時間以上継続して変化する場合、そのシーンではその登場人物が最重要の範囲内に映っていなくても、重要な役割を果たしている可能性が高い（会話しているなどの状況が考えられる）。このため、図１７に示すように、例えば該当人物が映っている重要度がＢの範囲内であるが、個人認証処理部１５では、これをランクＡに引き上げる処理をする。このように、個人認証処理部１５には、顔の動作を検知する機能と重要度を引き上げる機能を加えることで、さらに登場人物の重要度のランク付けの微調整が可能である。その他の処理については、本発明の第１〜６の実施形態と同様である。 [Seventh Embodiment]
Next, a video scene information generating apparatus according to a seventh embodiment of the present invention will be described.
The video scene information generation apparatus of the present embodiment has the same configuration as that of the first to sixth embodiments of the present invention, but differs from the first to sixth embodiments of the present invention in that the personal authentication processing unit 15 It is processing.
In the present embodiment, as shown in the pattern P8 of FIG. 17, when performing personal authentication, the person shown in the position within the rank (for example, A, B) of each importance level, particularly near the most important range. If the movement of the face, the rotation of the face, or the movement of the mouth changes continuously for a certain period of time, it plays an important role even if the character is not in the most important range in the scene The possibility is high (conceived situations such as talking). For this reason, as shown in FIG. 17, for example, the degree of importance in which the person is shown is within the range of B, but the personal authentication processing unit 15 performs processing to raise this to rank A. As described above, the personal authentication processing unit 15 can be further finely adjusted in the ranking of the importance level of the characters by adding the function of detecting the motion of the face and the function of raising the importance level. Other processes are the same as those in the first to sixth embodiments of the present invention.

以上のように、本発明の第７の実施形態の映像シーン情報生成装置によれば、本発明の第１〜６の実施形態の個人認証処理部１５に、顔の動きを検知する機能と、ある一定時間以上動作した場合は重要度を引き上げる機能を加えることで、登場人物の重要度のランク付けの微調整を行うことが可能である。 As described above, according to the video scene information generation device of the seventh embodiment of the present invention, the personal authentication processing unit 15 of the first to sixth embodiments of the present invention has a function of detecting the movement of the face, By adding a function to increase the importance when the operation is performed for a certain period of time or more, it is possible to finely adjust the ranking of the importance of the characters.

なお、本発明は上述した実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において種々の形態で実施し得るものである。 The present invention is not limited to the embodiment described above, and can be implemented in various forms without departing from the gist of the present invention.

本発明にかかる映像シーン情報生成装置は、映像シーン毎の登場人物データを個人認証により映像シーン情報を生成する場合、映像シーン毎に重要度の高い順に人物を特定し、さらに不必要な登場人物データはカットして生成することができるという効果、および不要な認識処理をしないため処理速度を向上させることができるという効果を有し、コンテンツアーカイブシステムでのコンテンツ検索やシーン検索、および将来実施が予定されているサーバ型放送でのダイジェスト視聴等で利用するための映像シーン情報作成用途にも適用でき、有用である。 The video scene information generation device according to the present invention specifies a person in order of importance in each video scene when generating video scene information by personal authentication of character data for each video scene, and further unnecessary characters. The data can be cut and generated, and the processing speed can be improved because unnecessary recognition processing is not performed. Content search and scene search in the content archive system, and future implementation It can also be applied to video scene information creation applications for use in scheduled server-type broadcast digest viewing and the like, and is useful.

本発明の第１の実施形態に係る映像シーン情報生成装置の構成を示すブロック図1 is a block diagram showing a configuration of a video scene information generation device according to a first embodiment of the present invention. その映像シーン情報生成装置の動作説明のためのフロー図Flow diagram for explaining the operation of the video scene information generation device （Ａ）はその映像シーン情報生成装置の範囲パターン設定例を示す説明図（Ｂ）はその範囲パターン設定例の変形例を示す説明図(A) is explanatory drawing which shows the range pattern setting example of the video scene information generation apparatus, (B) is explanatory drawing which shows the modification of the range pattern setting example その映像シーン情報生成装置の重要度下限設定例を示す説明図Explanatory drawing which shows the example of importance lower limit setting of the video scene information generation device 本発明の第２の実施形態に係る映像シーン情報生成装置の構成を示すブロック図The block diagram which shows the structure of the video scene information generation apparatus which concerns on the 2nd Embodiment of this invention. その映像シーン情報生成装置の動作説明のためのフロー図Flow diagram for explaining the operation of the video scene information generation device （Ａ）はその映像シーン情報生成装置での画角を示す説明図、（Ｂ）は範囲パターンを示す説明図、（Ｃ）は重要度下限設定の対応表を示す説明図(A) is an explanatory view showing the angle of view in the video scene information generating device, (B) is an explanatory view showing a range pattern, (C) is an explanatory view showing a correspondence table of importance lower limit setting 本発明の第３の実施形態に係る映像シーン情報生成装置の構成を示すブロック図The block diagram which shows the structure of the video scene information generation apparatus which concerns on the 3rd Embodiment of this invention. その映像シーン情報生成装置の動作説明のためのフロー図Flow diagram for explaining the operation of the video scene information generation device （Ａ）はその映像シーン情報生成装置での移動量や回転量を示す説明図、（Ｂ）は範囲パターンを示す説明図、（Ｃ）は重要度下限設定の対応表を示す説明図(A) is an explanatory diagram showing the amount of movement and rotation in the video scene information generating device, (B) is an explanatory diagram showing a range pattern, and (C) is an explanatory diagram showing a correspondence table of importance lower limit settings 本発明の第４の実施形態に係る映像シーン情報生成装置の構成を示すブロック図The block diagram which shows the structure of the video scene information generation apparatus which concerns on the 4th Embodiment of this invention. その映像シーン情報生成装置の動作説明のためのフロー図Flow diagram for explaining the operation of the video scene information generation device （Ａ）はその映像シーン情報生成装置の範囲パターンを示す説明図、（Ｂ）は重要度下限設定の対応表を示す説明図(A) is explanatory drawing which shows the range pattern of the video scene information generation apparatus, (B) is explanatory drawing which shows the correspondence table of importance lower limit setting 本発明の第５の実施形態に係る映像シーン情報生成装置の構成を示すブロック図The block diagram which shows the structure of the video scene information generation apparatus which concerns on the 5th Embodiment of this invention. その映像シーン情報生成装置の動作説明のためのフロー図Flow diagram for explaining the operation of the video scene information generation device （Ａ）はその映像シーン情報生成装置での結像サイズを示す説明図、（Ｂ）は結像素子面での範囲パターンを示す説明図、（Ｃ）は範囲パターン幅の設定値を算出する演算式を示す説明図(A) is an explanatory diagram showing the imaging size in the video scene information generating device, (B) is an explanatory diagram showing a range pattern on the imaging element surface, and (C) is a setting value of the range pattern width. Explanatory drawing showing the calculation formula 本発明の第７の実施形態に係る映像シーン情報生成装置の登場人物の重要度引き上げ方法を示す説明図Explanatory drawing which shows the importance raising method of the character of the video scene information generation apparatus which concerns on the 7th Embodiment of this invention. 従来の映像シーン情報生成装置の構成を示すブロック図The block diagram which shows the structure of the conventional video scene information generation apparatus

Explanation of symbols

１、２、３、４、５映像シーン情報生成装置
１１カメラ部
１２映像メモリ処理部
１３重要度下限設定処理部
１４範囲パターン設定処理部
１５個人認証処理部
１６映像シーン情報生成処理部
２１ズーム情報取得処理部
２２Ａ〜２２Ｃ第１〜第３の重要度下限判定処理部
２３被写体距離取得処理部
３１カメラ台座情報取得処理部
５１設定確認処理部
Ｐ１範囲パターン設定例（同心円状）
Ｐ２範囲パターン設定例（縦縞状）
Ｐ３重要度下限設定例（同心円状）
Ｐ４範囲パターン設定例（縦縞状）
Ｔ１画角と重要度下限設定値の対応表
Ｔ２回転量と重要度下限設定値の対応表
Ｔ３回転量と画角のマトリクスによる重要度下限設定値の対応表
Ｐ８顔の動作検地による重要度設定値の変更方法の説明図 1, 2, 3, 4, 5 Video scene information generation device 11 Camera unit 12 Video memory processing unit 13 Importance lower limit setting processing unit 14 Range pattern setting processing unit 15 Personal authentication processing unit 16 Video scene information generation processing unit 21 Zoom information Acquisition Processing Units 22A-22C First to Third Importance Lower Limit Determination Processing Units 23 Subject Distance Acquisition Processing Unit 31 Camera Base Information Acquisition Processing Unit 51 Setting Confirmation Processing Unit P1 Range Pattern Setting Example (Concentric)
P2 Range pattern setting example (vertical stripes)
P3 Importance lower limit setting example (concentric)
P4 Range pattern setting example (vertical stripes)
Correspondence table of T1 angle of view and lower limit setting value of importance T2 Correspondence table of rotation amount and lower limit value of importance setting T3 Correspondence table of importance lower limit setting value by matrix of rotation amount and angle of view P8 Importance setting by face motion detection Illustration of how to change the value

Claims

A video scene information generation device for generating character information in each video scene by personal authentication,
An importance lower limit setting processing unit, a range pattern setting processing unit, a personal authentication processing unit, a video scene information generation processing unit,
The range pattern setting processing unit prepares in advance a plurality of range patterns in which the entire screen is divided into regions by importance, with the screen region showing the characters playing an important role among the characters in each video scene as the most important range. The photographer selects the optimum range pattern for each shooting scene,
The importance lower limit setting processing unit designates the lowest importance among the importance of the range pattern selected to limit the screen area for personal authentication,
The personal authentication processing unit performs personal authentication in a screen area in the range pattern from the most important level to the specified importance level,
The video scene information generation processing unit generates data that ranks the information of the characters shown in the screen areas of the respective importance levels specified by the range pattern and the importance levels of the characters, and generates each video scene. A video scene information generation device that generates information focused on characters who play an important role and generates video scene information together with time information of the video scene.

In addition to the range pattern setting processing unit, the personal authentication processing unit, and the video scene information generation processing unit, a camera unit, a zoom information acquisition processing unit, a first importance lower limit determination processing unit, and a subject distance acquisition processing unit are provided. ,
The zoom information acquisition processing unit acquires field angle information of a lens from the camera unit,
The subject distance acquisition processing unit acquires distance information to the subject,
The first importance lower limit determination processing unit automatically limits a screen range for personal authentication according to the angle of view when the subject is zoomed up at a substantially constant distance to change the angle of view. The video scene information generating device described in 1.

In addition to the range pattern setting processing unit, the personal authentication processing unit, and the video scene information generation processing unit, a camera unit, a camera pedestal information acquisition processing unit, and a second importance lower limit determination processing unit,
The camera pedestal information acquisition processing unit detects a camera movement amount per unit time by position detection and a camera rotation amount per unit time of the pan head,
The second importance lower limit determination processing unit automatically sets the search range in the range pattern to perform personal authentication only near the center of the screen as the amount of change in the camera movement amount and the camera rotation amount increases. The video scene information generation apparatus according to claim 1, wherein the screen range for performing personal authentication is automatically limited in accordance with the camera movement amount and the camera rotation amount per unit time.

In addition to the range pattern setting processing unit, the personal authentication processing unit, and the video scene information generation processing unit, a camera unit, zoom information acquisition processing unit, camera pedestal information acquisition processing unit, subject distance acquisition processing unit, third important A lower limit determination processing unit and a subject distance acquisition processing unit,
The zoom information acquisition processing unit acquires zoom information,
The subject distance acquisition processing unit acquires information on the subject distance,
The camera pedestal information acquisition processing unit acquires camera pedestal information related to the camera movement amount and the camera rotation amount,
The third importance lower limit determination processing unit acquires an angle of view from the zoom information and the subject distance, acquires a change amount of camera movement and camera rotation from the camera base information, and determines an angle of view and an amount of change. The video scene information generation apparatus according to claim 1, wherein a screen range for personal authentication is automatically limited in accordance with a parameter matrix.

In addition to the importance lower limit setting processing unit, the range pattern setting processing unit, the personal authentication processing unit, and the video scene information generation processing unit, a camera unit, a setting confirmation processing unit,
The camera unit, the setting confirmation processing unit, the importance lower limit setting processing unit and the range pattern setting processing unit are collectively configured as an integrated camera photographing device,
Displaying the range pattern superimposed on the image on the viewfinder or monitor of the camera photographing device,
The video scene information generation apparatus according to claim 1, wherein the personal authentication processing unit performs personal authentication while confirming the type, position, and width of each importance range on the viewfinder or the monitor.

The zoom information acquisition processing unit acquires a lens focal length,
The subject distance acquisition processing unit acquires a subject distance,
The range pattern setting processing unit calculates an imaging size of the subject, and automatically performs width setting of each importance range in the range pattern based on the lens focal length, the subject distance, and the imaging size,
5. The video scene information generation apparatus according to claim 2, wherein the personal authentication processing unit performs personal authentication.