WO2006129664A1 - メタデータ付与装置及びメタデータ付与方法 - Google Patents

メタデータ付与装置及びメタデータ付与方法 Download PDF

Info

Publication number
WO2006129664A1
WO2006129664A1 PCT/JP2006/310782 JP2006310782W WO2006129664A1 WO 2006129664 A1 WO2006129664 A1 WO 2006129664A1 JP 2006310782 W JP2006310782 W JP 2006310782W WO 2006129664 A1 WO2006129664 A1 WO 2006129664A1
Authority
WO
WIPO (PCT)
Prior art keywords
metadata
focus plane
focus
video
information
Prior art date
Application number
PCT/JP2006/310782
Other languages
English (en)
French (fr)
Inventor
Yasuaki Inatomi
Mitsuhiro Kageyama
Tohru Wakabayashi
Masashi Takemura
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US11/915,947 priority Critical patent/US20090303348A1/en
Priority to EP06747010A priority patent/EP1887795A1/en
Publication of WO2006129664A1 publication Critical patent/WO2006129664A1/ja

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252—Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274—Storage or retrieval of prestored additional information
    • H04N2201/3277—The additional information being stored in the same storage device as the image data

Definitions

  • the present invention relates to a metadata providing apparatus and a metadata providing method for providing metadata to an image captured by an imaging apparatus.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2004-356984 (Page 6, Figure 1)
  • the classification based on the conventional image analysis described above requires correction processing in the case of an image of a subject, that is, an image with a different angle or size of the subject, and may have a high recognition accuracy. there were.
  • the camera is located at a different position, so the way the subject is captured is always different, and from this point, it is not possible to classify and extract an arbitrary part of the video by image analysis. It was difficult.
  • the present invention has been made in view of the above-described conventional circumstances, and is a metadata providing apparatus that can easily search and extract an image obtained by photographing the same region with low load. And it aims at providing the metadata provision method.
  • the metadata providing apparatus is a metadata providing apparatus that provides metadata to an image captured by an imaging apparatus, and includes sensing information acquisition means that acquires sensor information relating to imaging conditions of the imaging apparatus.
  • a focus plane deriving unit for deriving a position of a focus plane that is an imaging surface of the captured image based on the acquired sensor information, and the derived position of the focus plane as metadata in the captured image.
  • a metadata providing means for providing.
  • the metadata providing apparatus of the present invention records a grouping unit that performs gnope division of each image based on the positional relationship of each focus plane, and records the grouped result in association with the image as additional information. Additional information recording means.
  • a focus plane including the captured image is derived, and each image is divided into gnoles based on the positional relationship between the focus planes. Since the processing load can be reduced, it is possible to easily search and extract images obtained by photographing the same area with a low load.
  • the metadata providing apparatus of the present invention divides images in which the grouping means force focus planes intersect each other into the same group. According to the above configuration, the image can be divided into gnoles by calculation.
  • the metadata providing apparatus of the present invention divides each image including the focus plane in the position information into the same group based on the table storing the position information of the grouping means force focus plane. is there. According to the above configuration, if the position of the focus plane that divides each image into the same group is determined in advance, the images can be grouped without calculation.
  • the metadata providing method of the present invention is a metadata providing method for assigning metadata to an image captured by an imaging apparatus, and sensing information for acquiring sensor information relating to imaging conditions of the imaging apparatus. Based on the acquired sensor information, the focus plane deriving step for deriving the position of the focus plane that is the imaging plane of the captured image, and the derived position of the focus plane in the captured image And a metadata adding step for giving as metadata.
  • a grouping step of performing gnope division of each image based on the positional relationship of each focus plane, and the grouped result is recorded in association with the image as additional information. And an additional information recording step.
  • the grouping step divides images whose focus planes intersect each other into the same group.
  • the grouping step divides each image including the focus plane into the same group based on a table storing the position information of the focus plane. It is.
  • the gnorape division is performed by image analysis. Compared to the conventional method, the processing load is reduced, and the same imaging area and the same subject can be shot with higher accuracy, and the motion picture can be gnolled. Extraction can be easily performed with low load Become positive.
  • FIG. 1 is a diagram showing an internal configuration of a multi-angle information generation device and a configuration of a multi-angle information generation system including the multi-angle information generation device in an embodiment of the present invention
  • FIG. 2 is a diagram showing an internal configuration of an imaging apparatus used in the multi-angle information generation system according to the embodiment of the present invention.
  • FIG. 3 is a flowchart showing an operation procedure of the imaging apparatus used in the multi-angle information generation system in the embodiment of the present invention.
  • FIG. 4 is a flowchart showing a video recording operation procedure of the imaging apparatus.
  • FIG. 5 is a flowchart showing a sensing metadata generation operation procedure of the imaging apparatus.
  • FIG. 7 is a flowchart showing a multi-angle information generation operation procedure of the multi-angle information generation apparatus in the embodiment of the present invention.
  • FIG.9 A flow chart showing the procedure for deriving the focus plane of the multi-angle information generator
  • FIG.10 A diagram schematically showing the data structure of the generated focus plane metadata
  • FIG. 11 is a flowchart showing a multi-angle metadata generation operation procedure of the multi-angle information generating device.
  • FIG. 12 A diagram for explaining the intersection determination of the focus plane
  • FIG. 13 is a flowchart showing the grouping determination operation procedure of the multi-angle information generating device.
  • FIG. 15 is a diagram for explaining presence determination within a predetermined area of the focus plane.
  • FIG.16 A diagram for explaining the gnolling rules generated by specifying the location information of multiple areas
  • FIG. 17 A gnole pin of the multi-angle information generating device under the determination condition of the second embodiment Flowchart showing the operation procedure
  • FIG. 18 A diagram schematically showing the data structure of generated multi-angle metadata
  • FIG. 19 is a diagram showing an internal configuration of an additional information generation device and a configuration of an additional information generation system including the additional information generation device in Embodiment 3 of the present invention.
  • FIG. 20 is a diagram showing an internal configuration of an imaging apparatus used in the additional information generation system in Embodiment 3 of the present invention.
  • FIG. 21 is a flowchart showing an operation procedure of the imaging apparatus used in the additional information generation system in Embodiment 3 of the present invention.
  • FIG. 22 is a flowchart showing a video recording operation procedure of the imaging apparatus.
  • FIG. 23 is a flowchart showing the sensing metadata generation operation procedure of the imaging apparatus.
  • FIG. 25 is a flowchart showing an additional information generating operation procedure of the additional information generating device in the embodiment of the present invention.
  • FIG. 27 is a flowchart showing a focus plane deriving operation procedure of the additional information generating apparatus.
  • FIG. 28 is a diagram schematically showing the data structure of generated focus plane metadata.
  • FIG. 29 is a flowchart showing an operation procedure for generating attached calometa data of the additional information generating device.
  • FIG. 31 is a diagram for explaining the intersection determination of the focus plane.
  • FIG. 32 is a flowchart showing an operation procedure for determining the gnolling of the additional information generating apparatus.
  • FIG.33 A diagram that schematically shows the data structure of the attached calometadata.
  • Embodiments 1 and 2 show an example in which the metadata providing apparatus is implemented as a multi-angle information generating apparatus
  • Embodiment 3 shows an example in which the metadata providing apparatus is implemented as an additional information generating apparatus. Show.
  • FIG. 1 is a diagram illustrating an internal configuration of a multi-angle information generation device and a configuration of a multi-angle information generation system including the multi-angle information generation device according to an embodiment of the present invention.
  • the multi-angle information generating system shown in FIG. 1 includes a multi-angle information generating device 10 for grouping images taken by a plurality of imaging devices, a plurality of imaging devices 20 (20a to 20n), a database 30, Multi-angle video search device 40 It is prepared for.
  • the multi-angle information generation system groups videos composed of a plurality of images.
  • the multi-angle information generating device 10 includes sensing metadata acquisition means 101, force plane metadata derivation means 102, grouping determination means 103, and multi-angle metadata recording means 104.
  • Sensing metadata acquisition means 101 acquires sensor information related to imaging conditions of the imaging device 20, and sensing metadata related to the position, orientation, elevation angle, field angle, and force distance of each imaging device. Data is acquired through database 30. In this embodiment, it is assumed that the sensing metadata is generated by the imaging device 20. Details of the internal configuration of the imaging device 20 and the sensing metadata will be described later.
  • the focus plane metadata deriving unit 102 derives a focus plane, which is an imaging surface of an image captured by each imaging device 20, based on the acquired sensing metadata. Based on this, a rectangle representing the imaging focus plane in the real space of the imaging device 20 is calculated as a coordinate value. Details of the focus plane metadata will be described later.
  • the grouping determination unit 103 performs gnope division of each image based on the positional relationship between the focus planes.
  • the grouping determination unit 103 uses the focus plane for each imaging device derived by the focus plane metadata deriving unit 102. Based on a predetermined determination condition, it is determined whether or not the image is an image of the same area.
  • the multi-angle metadata recording unit 104 records the grouped result as multi-angle information in association with the image, and stores information associated with the image determined to have taken the same area. , Output and record to the database 30 side as multi-angle metadata. Details of multi-angle metadata will be described later.
  • the multi-angle information generating device 10 is connected to a database 30 in which video data from a plurality of imaging devices 20 are stored, and based on sensing metadata acquired from the imaging devices, the same subject at the same time Multi-angle metadata is generated as information related to associating a plurality of video data obtained by shooting and output to the database 30. Also, The multi-angle video search device 40 connected to the database 30 can search video data based on multi-angle metadata.
  • FIG. 2 is a diagram showing an internal configuration of the imaging apparatus used in the multi-angle information generating system according to the embodiment of the present invention.
  • the imaging device 20 includes a lens group 201, a CCD 202, a drive circuit 203, a timing signal generation unit 204, a sampling unit 205, an A / D conversion unit 206, a video file generation unit 207, a video address generation unit 208, and a video identifier generation unit. 209, a device information sensor 210, a sensing metadata generation unit 211, and a recording unit 212.
  • the CCD 202 is driven in synchronism with the timing signal generated by the timing signal generating means 204 connected to the driving circuit 203 and samples the image signal of the object image incident through the lens group 201. Output to 205.
  • the sampling means 205 samples the image signal at a sampling rate specific to the CCD 202.
  • the A / D conversion means 206 converts the image signal output from the CCD 202 into digital image data and outputs it to the video file generation means 207.
  • the video address generation unit 208 starts generating a video address based on a signal from the timing signal generation unit 204.
  • the video identifier generation means 209 issues and assigns an identifier (for example, a file name or ID) for associating the video with sensing metadata described later.
  • the device information sensor 210 includes a GPS receiver (Global Positioning System), a gyro sensor, an orientation sensor, a distance measurement sensor, and a field angle sensor.
  • the GPS receiver knows its position by receiving radio waves from the satellite.
  • the GPS receiver's 3D position (latitude, longitude, altitude) can be obtained.
  • the absolute position of the imaging device on the earth can be acquired.
  • the gyro sensor is generally called a three-axis acceleration sensor.
  • the gyro sensor is the force that the acceleration is exerted in which axial direction as viewed from the sensor, that is, in which axial direction. It can be detected as a numerical value how much, leaning, and tilting. By using this function, the tilt (azimuth angle and elevation angle) of the imaging device can be acquired.
  • the direction sensor is generally called an electronic compass, and uses the earth's geomagnetism. Therefore, the east, west, north, and south directions of the earth can be detected. By combining the gyro sensor and the orientation sensor, the absolute orientation of the imaging device on the earth can be expressed.
  • the distance measuring sensor is a sensor that measures the distance to the subject.
  • the distance from the imaging device to the subject that is, the focus distance to focus on, can be determined by the time it takes for the imaging device to send infrared rays or ultrasonic waves toward the subject and receive the reflection. .
  • the angle of view sensor can obtain the angle of view from the focal length and the height of the CCD.
  • the focal length can be obtained by measuring the distance between the lens and the light receiving unit, and the height of the light receiving unit is unique to the imaging apparatus.
  • the device information sensor 210 determines the position of the imaging device, the reference from the GPS receiver (Global Positioning System), gyro sensor, direction sensor, distance sensor, and angle sensor. Sensing information related to the azimuth, azimuth angle, elevation angle, field angle, and focus distance is output.
  • the sensing metadata generation unit 211 acquires sensing information from the device information sensor 210 according to the video address generation timing from the video address generation unit 208, generates sensing metadata, and outputs the sensing metadata to the recording unit 212.
  • the device information sensor 210 and the sensing metadata generation unit 211 start to operate in response to a signal from the timing signal generation unit 204.
  • the sensing information may be obtained at the CCD sampling rate (l / 30 sec) or may be obtained every several frames.
  • the position information of the shooting location can be manually input.
  • position information input by input means (not shown) is input to the device information sensor.
  • FIG. 3 is a flowchart showing an operation procedure of the imaging apparatus used in the multi-angle information generating system according to the embodiment of the present invention.
  • step S 102 the video recording process started in step S 102 and the sensing metadata generation process started in step S 103 will be described with reference to FIGS. 4 and 5.
  • FIG. 4 is a flowchart showing the video recording operation procedure of step S102.
  • the photographing start signal is acquired (step S201)
  • the photographing operation is started by the operation instruction command from the timing signal generating means 204 (step S202).
  • a video identifier is generated by the video identifier generation unit 209 in accordance with an instruction command from the timing signal generation unit 204 (step S203).
  • the video electrical signal from the CCD 202 is acquired (step S204), the sampling means 205 samples the acquired signal (step S205), and the A / D conversion means 206 converts it into digital image data (step S205). S 206).
  • the video address generated by the video address generating unit 208 is acquired by an instruction command from the timing signal generating unit 204 (step S207), and the video file generating unit 207 generates a video file (step S208). ). Further, the video identifier generated by the video identifier generation unit 209 is assigned (step S209), and the final video file is recorded in the recording unit 212 (step S210).
  • FIG. 5 is a flowchart showing the sensing metadata generation operation procedure of step S103.
  • the sensing metadata generation unit 211 acquires the video address generated by the video address generation unit 208 (step S302). Also, the video identifier generated by the video identifier generation means 209 is acquired (step S303). Furthermore, the sensing metadata generation unit 211 obtains a request to output sensing information to the device information sensor 210 at the same time as obtaining a video address, and obtains information on the camera position, azimuth, elevation, angle of view, and focus distance.
  • the camera position can be obtained from the GPS receiver, the azimuth and elevation angles can be obtained from the gyro sensor, and the position can be obtained from the distance sensor. A single distance can be obtained, and an angle of view can be obtained from an angle of view sensor. (Step S304).
  • the sensing metadata generation unit 211 records the camera position, azimuth, elevation, angle of view, and focus distance together with the acquired video identifier and video address, and generates and outputs sensing metadata (step S305), and records in the recording means 212 (step 3306).
  • FIG. 6 is a diagram schematically showing a data structure of generated sensing metadata.
  • a series of video data composed of an arbitrary number of frames is assigned a video identifier, and the video data and sensing metadata uniquely correspond to this identifier.
  • camera coordinates, azimuth angle, elevation angle, field angle, and focus distance are recorded for each video address.
  • the minimum unit of the video address is the sampling rate of the CCD 202, that is, the frame. For example, “0123 45” that is information acquired from the video identifier generation means 209 is input to the video identifier in FIG.
  • “00: 00: 00: 01” which is information acquired from the video address generation means 208 is input to the video address.
  • the video address “00: 00: 00: 01” includes the camera position “1, 0, 0” and the azimuth and elevation angles “each sensor information acquired from the device information sensor 210 at the timing when the video address is acquired”. — 90 degrees, 0 degrees, angle of view “90 degrees”, and focus distance “lm” are entered.
  • the camera position is expressed as “x, y, z”, where X is latitude, y is longitude, and z is altitude (altitude above sea level).
  • the video address “00: 00: 00: 02” includes the camera position “1, 0, 0” and the azimuth and elevation angles “each sensor information acquired from the device information sensor 210 at the timing when the video address is acquired”.
  • “00: 00: 00: 03” which is information acquired from the video address generation means 208 is input to the next video address.
  • the video address “00: 00: 00: 03” includes the camera position “1, 0, 0” and the azimuth and elevation angles “each sensor information acquired from the device information sensor 210 at the timing when the video address is acquired”.
  • FIG. 7 is a flowchart showing a multi-angle information generation operation procedure of the multi-angle information generation apparatus according to the embodiment of the present invention.
  • the sensing metadata acquisition unit 101 of the multi-angle information generation device 10 acquires all the sensing metadata of a group of images captured at the same time by the plurality of imaging devices 20 (step S401).
  • the focus plane metadata deriving unit 102 derives focus plane metadata based on the acquired sensing metadata (step S402).
  • the focus plane metadata deriving unit 102 determines whether or not the derivation of the focus plane metadata has been completed for all the sensing metadata. If not, the focus plane metadata in step S402 is determined. Repeat the data derivation operation. On the other hand, when the derivation of the focus plane metadata has been completed for all the sensing metadata, the process proceeds to the multi-angle metadata generation operation (step S403). Next, the gnolling determination unit 103 generates multi-angle metadata based on the focus plane metadata acquired from the focus plane metadata deriving unit 102 (step S404).
  • the multi-angle metadata recording unit 104 outputs the multi-angle metadata acquired from the grouping determination unit 103 to the database 30 side (step S405).
  • FIG. 8 is a diagram for explaining the focus plane.
  • the focus plane is a rectangular plane showing an imaging region in focus, that is, a focus when shooting, and can be expressed by coordinate values (referred to as boundary coordinates) of the four corners of the rectangle.
  • the distance from the imaging device (camera) to the focus plane is determined by the focus distance, that is, the focal length, and the size of the rectangle is determined by the angle of view of the camera.
  • the center of the rectangle is the focus point.
  • the focus plane metadata deriving unit 102 acquires sensing metadata (step S501).
  • Sensing information power of an arbitrary camera at an arbitrary time point As shown in FIG. 8, the camera position (a, b, c), azimuth angle, elevation angle, angle of view 2 ⁇ / degree, focus distance L (m)
  • the camera orientation vector with the camera position (a, b, c) as the base point can be obtained from the azimuth angle and the elevation angle / 3 degrees.
  • the orientation vector of the camera is ( ⁇ sin ⁇ cos / 3, cos a cos ⁇ , sin / 3).
  • the obtained camera orientation vector is defined as (e, f, g). Since the camera orientation vector (e, f, g) penetrates the focus plane vertically, it becomes the normal vector of the focus plane (step S502).
  • the equation of the focus plane can be derived from the normal vector (e, f, g) and the focus point (h, i, j). .
  • the distance from the camera position (a, b, c) force to the boundary coordinates of the focus plane is os ⁇ .
  • the boundary coordinates exist on a sphere having a radius L os y centered at the camera position (a, b, c), and can be said to be coordinates on the focus plane obtained above.
  • the plane photographed by the camera it is not horizontally horizontal (that is, the upper side of the plane is constant in height ( ⁇ axis) and the lower side is also constant in height ( ⁇ axis)), and focus The plane is used as a condition for solving the equation with the ratio of length to width. Since ⁇ is constant (ie, the upper side of the plane is constant in height ( ⁇ axis) and the lower side is also constant in height ( ⁇ axis)), ⁇ can be set to two values zl and z2.
  • ( ⁇ , ⁇ , ⁇ ) ( ⁇ 2, ⁇ 2, ⁇ 1) ( ⁇ 3, ⁇ 3, ⁇ 2) ( ⁇ 4, ⁇ 4, ⁇ 2) is upper left (XI, ⁇ , ⁇ ) upper right ( ⁇ 2, ⁇ 2, ⁇ 1) Lower left ( ⁇ 3, ⁇ 3, ⁇ 2) Lower right ( ⁇ 4, ⁇ 4, ⁇ 2).
  • the focus plane metadata deriving unit 102 adds the calculated boundary coordinate information of the four points to the sensing metadata for each video address, and generates the focus plane metadata (step S506).
  • the sensing metadata in FIG. 6 used in this description includes the camera position (1,0,0), azimuth angle. Elevation angle “_90 degrees, 0 degrees”, and angle of view “00: 00: 00: 01”. 90 degrees "and the focus distance is" lm ".
  • azimuth 'elevation angle “—90 degrees, 0 degrees” is broken down into x, y, z components of size 1, and the vector indicating the camera direction by the difference from the camera position (1,0,0) is ( -1,0, 0).
  • the vector indicating the direction of the camera is a normal vector of the focus plane.
  • the distance to the boundary coordinates on the focus plane is 1 os 45 °, that is, 2.
  • the boundary coordinates are on a sphere whose radius is 2 and whose center is the camera position (1,0,0), and on the focus plane.
  • FIG. 11 is a flowchart showing a multi-angle metadata generation operation procedure of the multi-angle information generation apparatus.
  • the constant n is initialized to 1 (step S601), and the grouping determination unit 103 acquires the focus plane metadata information (equation, boundary coordinates) of the nth frame of all the images (step S602). Then, a grouping determination operation is executed (step S603).
  • the gnoleping determination unit 103 outputs the generated multi-angle metadata to the multi-angle metadata recording unit 104 (step S604).
  • step S605 the constant n is incremented by 1 (step S605), and the grouping determination means 103 determines whether or not there is a next video frame (nth frame) (step S606). If there is a next frame, the process returns to step S602 to repeat the multi-angover data generation operation. On the other hand, if there is no next frame, the multi-angle metadata generation operation is terminated.
  • the grouping determination operation in step S603 is an operation in which video data obtained by photographing the same subject is divided into a plurality of video data taken at the same time based on a predetermined judgment condition.
  • images in which the focus planes intersect each other are divided into the same group. That is, in the first embodiment, “intersection determination of the focus plane” is performed as a determination condition for gnoleping.
  • FIG. 12 is a diagram for explaining the intersection determination of the focus plane. As shown in the figure, the video data of the camera (imaging device) where the focus plane intersects is determined to be the image data capturing the same subject, and the video data where the focus plane does not intersect captures a different subject. It is determined that the video data is being played.
  • FIG. 13 is a flowchart showing a gnolling determination operation procedure of the multi-angle information generating apparatus.
  • the gnoleping determination means 103 is configured to obtain all acquired force values.
  • For the plane plane metadata it is determined whether or not the intersection line of the plane equation is within the boundary coordinates (step S701). If the intersection line of the plane equation is within the boundary coordinates, the corresponding video identifier information and the video address representing the nth frame are added to the focus plane metadata to generate multi-angle metadata (step S702). ).
  • the grouping determination method will be described using the focus plane metadata in FIG. 10 actually.
  • “012345” is used as the “video identifier”
  • “(0,3 / 5,4 / 5), (0, -3 / 5,4 / 5” is used as the “focus plane boundary coordinates”.
  • “video identifier” is “543210”
  • “focus plane boundary coordinates” are “(3 / 5,0,4 / 5), ( ⁇ 3 / 5,0,4 / 5”.
  • the video plane identifier “543210” is added to the focus plane metadata whose “video identifier” is “012345” and the multi-angle metadata is added. Generate as data.
  • the video plane identifier “012345” is added to the focus plane metadata whose “video identifier” is “543210” to generate multi-angle metadata.
  • FIG. 14 is a diagram schematically showing a data structure of generated multi-angle metadata.
  • Multi-angle information including a material ID that can identify other video data that captured the same subject at the same time and a video address that can identify the relative position of the video data is recorded for each video address.
  • the item of “multi-angle information” derived above is added to the video address “00: 00: 00: 01” shown in FIG. “Material ID: 543210, Video Address 00: 00: 00: 01” is entered in “Information”.
  • the multi-angle metadata is recorded in association with the corresponding video data, so that the multi-angle video search device 40 uses the multi-angle metadata to record the same subject at the same time. Search and extract data
  • the imaging device and the multi-angle information generation device are separate, but the imaging device is provided with sensing metadata acquisition means and focus plane metadata derivation means. It may be configured.
  • the power for measuring the correspondence between video data and various types of metadata using the video identifier is streamed and multiplexed with video data to obtain the video identifier. It may not be used.
  • the focus distance may be expanded or contracted according to the depth of field that is the range before and after the subject that appears to be in focus, and the focus plane may be calculated for each focus distance to perform the gnoraping determination. Good.
  • each image is grouped based on a table storing focus plane position information that divides each image into the same gnole. That is, in the second embodiment, a table describing the grouping no-rail is provided inside the gnolling determination means 103, and “existence determination within a predetermined area of the focus plane” is performed based on this table.
  • FIG. 15 is a diagram for explaining existence determination in a predetermined area of the focus plane. As shown in the figure, it is determined that the video data existing in a predetermined area where the focus plane is set within the range of the three-dimensional coordinates is video data divided into the same group, and the predetermined area. Video data that does not exist in the area is determined to be video data divided into different gnoles.
  • FIG. 16 is a diagram for explaining a grouping rail that is generated by designating position information of a plurality of regions.
  • video data is classified into four types by setting four types of areas.
  • Fig. 16 when the X coordinate force S0 ⁇ x ⁇ l, y coordinate force 3 ⁇ 4 ⁇ y ⁇ 1, z coordinate 0 ⁇ 1, and the name is near the center. If the X coordinate is 2 ⁇ x ⁇ 3, the y coordinate is 2 ⁇ y ⁇ 3, the z coordinate is 2 ⁇ z ⁇ 3, and the name is near the light.
  • FIG. 17 is a flowchart showing a procedure for determining a nodding operation of the multi-angle information generating device under the determination condition of the second embodiment.
  • the grouping determination unit 103 determines whether or not the plane boundary coordinates are within the region of the gnolling rule for all the acquired focus plane metadata (step S801). If it is within the area of the grouping rail, the corresponding video identifier information is added to the focus plane metadata to generate multi-angle metadata (step S802).
  • the focus plane metadata in Fig. 10 includes “012345” force as the “image identifier” and “(0,3 / 5,4 / 5), (0, -3 / 5,4 / 5)” as the “focus plane boundary coordinates”. ), (0, -3 / 5 -4/5), (_1, 3/5, _4 / 5) ".
  • Video identifier is “543210”
  • “Focus plane boundary coordinates” is “(3 / 5,0,4 / 5), ( ⁇ 3 / 5,0,4 / 5) , (-3 / 5,0, -4 / 5), (3 / 5,0, _4 / 5) ”.
  • the “video identifier” is “012345” and the “focus plane boundary coordinates” are “(0,3 / 5,4 / 5), (0, -3 / 5,4 / 5), (0, -3 / 5, -4 / 5), (-1,3 / 5, -4 / 5) '', so 0 ⁇ x ⁇ 1, 0 ⁇ y ⁇ 1 and 0 ⁇ 1 It is gnoreped.
  • the “focus plane boundary coordinates” with the “video identifier” “543210” are (3 / 5,0,4 / 5), (-3 / 5,0,4 / 5), (-3/5, 0,- 4/5), (3/5, 0, -4/5) ", so 0 ⁇ x ⁇ l, 0 ⁇ y ⁇ l, 0 ⁇ z ⁇ l, which is also grouped near the center . Therefore, it is determined that these two video data belong to the same group, and the video plane identifier “543210” and the name “near the center” are added to the focus plane metadata whose “video identifier” is “012345”. It will be generated as Also, the video plane identifier “012345” and the name “near the center” are added to the focus plane metadata whose “video identifier” is “543210” to generate multi-angle metadata.
  • FIG. 18 is a diagram schematically showing a data structure of generated multi-angle metadata.
  • Multi-angle information including the material ID that can identify other video data taken from the same subject at the same time, the video address that can specify the relative position, and information related to the name of the predetermined area are recorded for each video address.
  • the items of “multi-angle information” and “name” derived above are added to the video address “00: 00: 00: 01” shown in FIG. Material ID: 543201, video address 00: 00: 00: 01 ”, and“ name ”are entered as“ near the center ”.
  • the gnoleoping rule may be changed according to the situation.
  • a table describing the gnolling rules may be provided in an external database, not inside the grouping determination means, and the grouping determination means may refer to the external table.
  • sensing metadata can be generated by reducing the processing amount and improving the processing speed if the metadata is generated only when the sensing information changes. S can.
  • the multi-angle information of adjacent image frames is expected to be the same in many cases. Therefore, it is not necessary to generate multi-angle metadata for each image frame.
  • multi-angle metadata having a data structure indicating only the correspondence relationship is generated, the processing amount can be reduced and the processing speed can be improved.
  • multi-angle metadata can be converted into image frames. If it is generated for each group that is grouped by the gnolling determination means, instead of generating it every time, the process of recording the same information redundantly in the metadata of each video data is reduced, and the processing speed is reduced. Can be improved.
  • the sensing metadata is configured to be generated by the imaging device.
  • the sensing metadata is not limited to this configuration. ,.
  • Embodiments 1 and 2 the power of exemplifying grooving of images that have started to be captured at the same time by a plurality of imaging devices
  • images captured at different times by a single imaging device are used.
  • An example of grouping will be described.
  • FIG. 19 is a diagram showing an internal configuration of the additional information generating device and a configuration of the additional information generating system including the attached calorie information generating device in the embodiment of the present invention.
  • the additional information generation system shown in FIG. 19 includes an additional information generation device 1010 that groups images captured by a single imaging device, an imaging device 1020, a database 1030, and a video search device 1 040. Configured. In the following, an example will be described in which the additional information generation system divides videos composed of a plurality of images.
  • Additional information generation apparatus 1010 includes sensing metadata acquisition means 1101, focus plane metadata derivation means 1102, grouping determination means 1103, and metadata recording means 1104.
  • Sensing metadata acquisition means 1101 acquires sensor information relating to imaging conditions of the imaging device 1020, and sensing metadata relating to the position, azimuth, elevation angle, field angle, and focus distance of each imaging device. Data is retrieved through database 1030. In this embodiment, it is assumed that the sensing metadata is generated by the imaging device 1020. Details of the internal configuration of the imaging device 1020 and the sensing metadata will be described later.
  • the focus plane metadata deriving unit 1102 derives a focus plane including an image captured by each imaging device 1020 based on the acquired sensing metadata. The imaging device based on the sensing metadata A rectangle representing the imaging force plane in the real space of 1020 is calculated as a coordinate value. Details of the focus plane metadata will be described later.
  • the grouping determination unit 1103 performs gnope division of each image based on the positional relationship between the focus planes, and uses the focus plane derived by the focus plane metadata deriving unit 1102 to perform a predetermined determination. Based on the conditions, it is determined whether or not the image is an image of the same area.
  • the metadata recording means 1104 records the grouped result in association with the image as additional information.
  • the metadata recording means 1104 adds information associated with the image determined to have taken the same area. Output and record to the database 1030 as calometa data. Details of the additional metadata will be described later.
  • the additional information generation device 1010 is connected to the database 1030 in which the video data from the imaging device 1020 is stored, and based on sensing metadata acquired from the imaging device, a plurality of video images of the same subject. Additional metadata is generated as information related to data association and output to the database 1030.
  • the video search apparatus 1040 connected to the database 1030 can search for video data based on the attached calometadata.
  • FIG. 20 is a diagram showing an internal configuration of the imaging apparatus used in the attached calorie information generation system in the embodiment of the present invention.
  • the imaging device 1020 includes a lens group 1201, a CCD 1202, a drive circuit 1203, a timing signal generation unit 1204, a sampling unit 1205, an AZD conversion unit 1206, a video file generation unit 1207, a video address generation unit 1208, a video identifier generation unit 1209, and device information.
  • a sensor 1210, sensing metadata generation means 1211, and recording means 1212 are provided.
  • the CCD 1202 is driven in synchronism with the timing signal generated by the timing signal generation means 1204 connected to the drive circuit 1203, and samples the image signal of the subject image incident through the lens group 1201. Output to 1205. [0101]
  • the sampling means 1205 samples the image signal at a sampling rate specific to the CCD 1202.
  • the A / D conversion unit 1206 converts the image signal output from the CCD 1202 into digital image data and outputs the digital image data to the video file generation unit 1207.
  • the video address generation unit 1208 starts generating a video address in response to a signal from the timing signal generation unit 1204.
  • the video identifier generating means 1209 issues and assigns an identifier (for example, a file name or ID) for associating the video with sensing metadata described later.
  • the device information sensor 1210 includes a GPS receiver (Global Positioning System), a gyro sensor, an orientation sensor, a distance measurement sensor, and a field angle sensor.
  • the GPS receiver knows its position by receiving radio waves from the satellite.
  • the GPS receiver's 3D position (latitude, longitude, altitude) can be obtained.
  • the absolute position of the imaging device on the earth can be acquired.
  • a gyro sensor is generally called a three-axis acceleration sensor, and by utilizing the gravity of the earth, how much acceleration is applied in which axial direction as viewed from the sensor, in any axial direction. It can be detected as a numerical value how much, tilting, and shifting. By using this function, the tilt (azimuth angle and elevation angle) of the imaging device can be acquired.
  • the azimuth sensor is generally called an electronic compass, and can detect the east, west, south, and north directions of the earth by using the earth's geomagnetism. By combining the gyro sensor and the orientation sensor, the absolute orientation of the imaging device on the earth can be expressed.
  • the distance measuring sensor is a sensor that measures the distance to the subject.
  • the distance from the imaging device to the subject that is, the focus distance to focus on, can be determined by the time it takes for the imaging device to send infrared rays or ultrasonic waves toward the subject and receive the reflection. .
  • the field angle sensor can obtain the field angle from the focal length and the height of the CCD.
  • the focal length can be obtained by measuring the distance between the lens and the light receiving unit, and the height of the light receiving unit is unique to the imaging apparatus.
  • the device information sensor 1210 is based on the output request from the sensing metadata 1211. Outputs sensing information related to the position of the imaging device, reference azimuth, azimuth, elevation, angle of view, and focus distance from the PS receiver (Global Positioning System), gyro sensor, azimuth sensor, distance sensor, and angle sensor. To do.
  • the sensing metadata generation unit 1211 acquires sensing information from the device information sensor 1210 according to the video address generation timing from the video address generation unit 1208, generates sensing metadata, and outputs the sensing metadata to the recording unit 1212.
  • the device information sensor 1210 and the sensing metadata generation unit 1211 start operation in response to a signal from the timing signal generation unit 1204.
  • the sensing information may be acquired at the CCD sampling rate (l / 30 sec) or may be acquired every several frames.
  • FIG. 21 is a flowchart showing an operation procedure of the imaging apparatus used in the additional information generation system in the embodiment of the present invention.
  • step S1101 when a shooting start signal is received by pressing a predetermined switch of the imaging device body (step S1101), the imaging device 1020 starts video recording processing (step S1102), and the imaging device 1020 detects sensing. Start the metadata generation process (step S11
  • the timing signal generating means 1204 receives the shooting end signal, the imaging device 10 20 ends the video recording process and the sensing metadata generation process (step S11).
  • step S1102 the video recording process started in step S1102 and the sensing metadata generation process started in step S1103 will be described with reference to FIG. 22 and FIG.
  • FIG. 22 is a flowchart showing the video recording operation procedure in step S102.
  • the photographing start signal is acquired (step S1201)
  • the photographing operation is started by the operation instruction command from the timing signal generating means 1204 (step S1202).
  • Timing signal generating means In accordance with the instruction command from 1204, the video identifier generation means 1209 generates a video identifier (step S 1203).
  • the video electrical signal from the CCD 1202 is acquired (step S1204), the sampling means 1205 samples the acquired signal (step S1205), and the AZD conversion means 1206 converts it into digital image data (step S). 1206).
  • the video address generated by the video address generating means 1208 is acquired by an instruction command from the timing signal generating means 1204 (step S 1207), and the video file generating means 1207 generates a video file (step S1208). ). Further, the video identifier generated by the video identifier generating means 1209 is assigned (step S 1209), and the final video file is recorded in the recording means 1212 (step S 1210).
  • FIG. 23 is a flowchart showing the sensing metadata generation operation procedure of step S1103.
  • the sensing metadata generation unit 1211 acquires the video address generated by the video address generation unit 1208 (step S1302). Also, the video identifier generated by the video identifier generating means 1209 is acquired (step S1303). Further, the sensing metadata generation means 1211 obtains a video address, and simultaneously outputs a sensing information output request to the device information sensor 1210 to obtain information on the camera position, azimuth angle, elevation angle, field angle, and focus distance.
  • the camera position can be obtained from the GPS receiver, the azimuth and elevation angles can be obtained from the gyro sensor, the focus distance can be obtained from the distance measuring sensor, and the field angle can be obtained from the angle sensor. (Step S 1304).
  • the sensing metadata generation means 1211 records the camera position, azimuth, elevation, angle of view, and focus distance together with the acquired video identifier and video address, and generates and outputs sensing metadata (step S1305), and records in the recording means 1212 (step S1306)
  • FIG. 24 is a diagram schematically showing the data structure of the generated sensing metadata.
  • a series of video data composed of an arbitrary number of frames is given a video identifier, and the video data and sensing metadata uniquely correspond to this identifier.
  • the movie The minimum unit of image address is the sampling rate of the CCD 1202, that is, the frame.
  • “012345” which is information acquired from the video identifier generation means 1209, is input to the video identifier in FIG.
  • the video address “00: 00: 00: 01” includes the camera position “1, 0, 0” and the azimuth and elevation angles “each sensor information acquired from the device information sensor 1210 at the timing when the video address is acquired”.
  • the camera position is expressed by “x, y, z”, where X is latitude, y is longitude, and z is altitude (altitude above sea level).
  • the video address “00: 00: 00: 02” includes the camera position “1, 0, 0”, the azimuth angle and the elevation angle, which are sensor information acquired from the device information sensor 1210 at the timing when the video address is acquired. “90 degrees, 0 degrees”, angle of view “90 degrees”, and force distance “lm” are entered.
  • the video address “00: 00: 00: 03” includes the camera position “1, 0, 0”, which is each sensor information acquired from the device information sensor 1210 at the timing when the video address is acquired, an azimuth angle, and an elevation angle. “-90 degrees, 0 degrees”, angle of view “90 degrees” and focus distance “lm” are input.
  • FIG. 25 is a flowchart showing an additional information generating operation procedure of the additional information generating apparatus in the embodiment of the present invention.
  • the sensing metadata acquisition unit 1101 of the additional information generation device 1010 acquires all the sensing metadata of the video group captured by the imaging device 1020 (step S1401).
  • the focus plane metadata deriving unit 1102 derives focus plane metadata based on the acquired sensing metadata (step S1402).
  • the focus plane metadata deriving unit 1102 determines whether or not the derivation of the focus plane metadata has been completed for all the sensing metadata. If not, the operation for deriving the focus plane metadata in step S 1402 is repeated. On the other hand, when the derivation of the focus plane metadata has been completed for all the sensing metadata, the process proceeds to the operation of generating additional metadata (step S 1403). Next, the grooving determination unit 1103 generates attached calorie metadata based on the focus plane metadata acquired from the focus plane metadata deriving unit 1102 (step S 14 04).
  • the metadata recording unit 1 104 outputs the additional metadata acquired from the grouping determination unit 1 103 to the database 1030 side (step S 1405).
  • FIG. 26 is a diagram for explaining the focus plane.
  • the focus plane is a rectangular plane indicating an imaging region in focus, that is, a focus when photographing, and can be expressed by coordinate values (referred to as boundary coordinates) of four corners of the rectangle.
  • the distance from the imaging device (camera) to the focus plane is determined by the focus distance, that is, the focal length, and the size of the rectangle is determined by the angle of view of the camera.
  • the center of the rectangle is the focus point.
  • the focus plane metadata deriving unit 1102 acquires sensing metadata (step S 1501).
  • Sensing information power at any time of camera As shown in Fig. 26, at camera position (a, b, c), azimuth angle, elevation angle / 3 degrees, angle of view 2 ⁇ degrees, and focus distance L (m)
  • the camera orientation vector based on the camera position (a, b, c) can be obtained from the azimuth angle and the elevation angle / 3 degrees.
  • the orientation vector of the camera is (_sin co cos j3, cos a cos ⁇ , sin / 3).
  • the obtained camera orientation vector is defined as (e, f, g).
  • Camera orientation Vectonore (e, f, g) passes through the focus plane perpendicularly and becomes the normal vector of the focus plane (step S 1502).
  • an equation of a straight line passing through the camera position (a, b, c) and the focus point can be derived from the camera direction vector (e, f, g) and the camera position (a, b, c).
  • This linear equation can be expressed as (ez, fz, gz) using the parameter z.
  • the camera position is on the straight line.
  • the coordinates where the distance of (a, b, c) force is L can be derived as the focus point.
  • the equation of the focus plane can be derived from the normal vector (e, f, g) and the focus point (h, i, j). .
  • the distance from the camera position (a, b, c) to the boundary coordinates of the focus plane is os ⁇ .
  • the boundary coordinates exist on a sphere having a radius L os y centered at the camera position (a, b, c), and can be said to be coordinates on the focus plane obtained above.
  • the focus plane is The ratio of length to width is determined and used as a condition to solve the equation. Because z is constant (ie, the upper side of the plane is constant in height (z axis) and the lower side is also constant in height (z axis)), z can be placed in two straight lines zl and z2.
  • ( ⁇ , ⁇ , ⁇ ) ( ⁇ 2, ⁇ 2, ⁇ 1) ( ⁇ 3, ⁇ 3, ⁇ 2) ( ⁇ 4, ⁇ 4, ⁇ 2) is upper left (XI, ⁇ , ⁇ ) upper right ( ⁇ 2, ⁇ 2, ⁇ 1) Lower left ( ⁇ 3, ⁇ 3, ⁇ 2) Lower right ( ⁇ 4, ⁇ 4, ⁇ 2).
  • the focus plane metadata deriving unit 1102 adds the calculated boundary coordinate information of the four points to the sensing metadata for each video address, and generates the focus plane metadata (step S 1506). ).
  • the sensing metadata shown in FIG. 24 used in this description includes the camera position (1, 0, 0), azimuth angle. Elevation angle “_90 degrees, 0 degrees”, and angle of view of the video address “00: 00: 00: 01”. “90 degrees” and focus distance “lm”.
  • the azimuth angle 'elevation angle "_90 degrees, 0 degrees” is decomposed into x, y, ⁇ components of size 1, and the vector indicating the camera direction by the difference from the camera position (1,0,0) is ( -1, 0,0).
  • the vector indicating the direction of the camera is a normal vector of the focus plane.
  • the normal vector (_1,0,0) and camera position (1,0,0)
  • the normal vector is (-1,0,0) and the camera position (1,0,0)
  • a straight line equation passing through can be obtained.
  • the coordinates of the camera position (1, 0, 0) force, focus distance force, that is, the coordinates of the focus point on this straight line, that is, the coordinates of the focus point are (0 , 0,0).
  • the distance to the boundary coordinates on the focus plane is 1 os 45 °, that is, 2.
  • the boundary coordinates are on a sphere whose radius is 2 and whose center is the camera position (1,0,0), and on the focus plane.
  • FIG. 29 is a flowchart showing the additional metadata generation operation procedure of the additional information generation apparatus.
  • the grouping determination unit 1103 acquires the focus plane metadata information (equation) and boundary coordinates of all frames of all the images (step S 1601), and derives a combination N pattern of all frames (step S 1602). ).
  • FIG. 30 shows an image of a combination of all frames.
  • Figure 30 (b) shows the combination of all frames of video A consisting of frames 1 to 3 and video B consisting of frames 1 to 3 shown in Fig. 30 (a).
  • the pattern number N of the combination is initialized to 1 (step S1603), and the grouping determination means 1103 executes a grouping determination operation for the Nth pattern and generates additional metadata (step S1604). .
  • the grouping determination unit 103 outputs the generated additional metadata to the metadata recording unit 1104 (step S1605). Thereafter, the constant N is incremented by 1 (step S1606), and the gnoleping determination means 1103 determines whether or not there is a next combination pattern (Nth pattern) (step S1607). If there is a next combination pattern, the process returns to step S 1604 to repeat the additional metadata generation operation. On the other hand, if there is no next combination pattern, the additional metadata generation operation is terminated.
  • the grouping determination operation in step S1604 is an operation for grouping video data obtained by photographing the same subject from a plurality of photographed video data based on a predetermined determination condition.
  • images in which the focus planes intersect with each other are divided into the same group. That is, in Embodiment 3, “focus plane intersection determination” is performed as a grouping determination condition.
  • FIG. 31 is a diagram for explaining the intersection determination of the focus plane. As shown in the figure, the video data of the camera (imaging device) where the focus plane intersects is determined to be the video data capturing the same subject, and the video data where the focus plane does not intersect is different. It is determined that the video data has been shot.
  • FIG. 32 is a flowchart showing the grouping determination operation procedure of the additional information generating apparatus.
  • the gnoleping determination means 1103 determines whether or not the intersection line of the plane equation is within the boundary coordinates for all the acquired focus plane metadata (step SI 701). If the intersection line of the plane equation is within the boundary coordinates, the corresponding video identifier information and the video address representing the nth frame are added to the focus plane metadata to generate additional metadata (step S 1702). ).
  • the focus plane metadata in FIG. 28 has “012345” as the “video identifier” and “(0,3 / 5,4 / 5), (0, -3 / 5,4 / 5” as the “focus plane boundary coordinates”. ), (0, -3 / 5, -4 / 5), (0,3 / 5, _4 / 5) "is input as” focus plane equation ".
  • “video identifier” is “543210”
  • “focus plane boundary coordinates” are “(3 / 5,0,4 / 5), ( ⁇ 3 / 5,0,4 / 5”.
  • the video plane identifier “543210” is added to the focus plane metadata whose “video identifier” is “012345”.
  • the video plane identifier “012345” is added to the focus plane metadata whose “video identifier” is “543210” and generated as additional metadata.
  • FIG. 33 is a diagram schematically showing the data structure of the generated metadata. Additional information is recorded for each video address, including a material ID that can identify other video data of the same subject and a video address that can identify the relative position of the video data.
  • the item “additional information” derived above is added to the video address “00: 00: 00: 01” shown in FIG. 28, and “additional information” includes “material ID: 543210, video Address 00: 00: 00: 01 "is entered.
  • the video search device 1040 can search and extract video data obtained by photographing the same subject at different times.
  • the imaging device is configured to include sensing metadata acquisition means and focus plane metadata derivation means. Do it anyway.
  • the video identifier and the various metadata are measured using the video identifier.
  • the video identifier is obtained by streaming the various metadata and multiplexing the video data. May not be used.
  • the focus distance may be expanded or contracted according to the depth of field that is the range before and after the subject that appears to be in focus, and the focus plane is calculated for each focus distance to perform the gnoleping determination. Good.
  • videos taken at different times with a single camera can be grouped, for example, if photos and videos taken by general users are registered in the database, they can be grouped automatically by location where the subject is located.
  • the work burden when editing video can be greatly improved.
  • the force plane plane metadata shown in the example of grouping images using the focus plane can be used for purposes other than the image gnolling by giving each image the focus plane metadata.
  • the present invention assigns the position of the focus plane to each image as metadata, so that each image is classified according to the positional relationship of the focus plane. Since the processing load can be reduced compared to the method, The present invention has an effect that makes it possible to easily search and extract an image obtained by capturing a region with a low load and to add metadata to an image photographed by an imaging device, a metadata attaching method, and the like. Useful.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　本発明は、同一の領域を撮影した画像の検索及び抽出を低負荷且つ容易に行うことを可能にするためのものである。 　複数の撮像装置２０で撮影された画像をグループ分けするマルチアングル情報生成装置１０であって、撮像装置２０の撮影条件に関するセンサ情報を取得するセンシングメタデータ取得手段１０１と、取得したセンサ情報に基づいて、各撮像装置２０が撮影した画像を含むフォーカス平面を導出するフォーカス平面メタデータ導出手段１０２と、各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うグルーピング判定手段１０３と、グループ分けした結果をマルチアングル情報として前記画像に関連付けて記録するマルチアングルメタデータ記録手段１０４とを備える。

Description

明 細 書
メタデータ付与装置及びメタデータ付与方法
技術分野
[0001] 本発明は、撮像装置で撮影された画像にメタデータを付与するメタデータ付与装 置及びメタデータ付与方法に関する。
背景技術
[0002] 撮影画像をテーマ別に分類、管理する装置や手法については、従来、多数の提案 力 されている。その中には、画像分析により撮影画像を被写体別に分類する撮影 画像処理装置などがある（例えば、特許文献 1参照）。この装置によれば、例えば、デ ジタルカメラなどで撮影した静止画像データが、被写体別に自動的に分類、管理さ れる。
[0003] ところで、被写体別に撮影画像を分類したいというニーズが発生する状況は多々あ るが、静止画像以外にも、例えば、複数の場所に配置したカメラの映像を放送するス ポーッ中継番組などにおいては、ある決定的瞬間に関わる映像部分を複数の映像 データから抽出し、異なる角度から捉えた同じ被写体の映像（マルチアングル映像） として連続的に放送できるように編集したレ、場合などがある。
特許文献 1 :特開 2004— 356984号公報（第 6頁、図 1)
発明の開示
発明が解決しょうとする課題
[0004] し力 ながら、上記従来の画像分析による分類は、処理負荷が大きいため、複数の 画像フレームで構成される映像について、同じ被写体が撮影された映像部分を分類 、抽出するような目的には適用するのは現実的ではなレ、。例えば、 1秒あたり 30枚の 画像フレームで構成される映像では、 3台のカメラで撮影したそれぞれ 60秒の映像 力も所定の映像を分類、抽出する場合、 60 X 30 X 3 = 5400フレームの画像分析が 必要になる。
[0005] また、上記従来の画像分析による分類は、被写体の写り方、即ち、被写体の角度や 大きさが異なる画像の場合には補正処理が必要で、認識精度が良好でなレ、場合が あった。前述のスポーツ中継番組の例では、カメラが異なる位置に配置されているた め、被写体の写り方は必ず異なるものとなり、その点からも画像分析で映像の任意部 分を分類、抽出することは困難であった。
[0006] 従って、例えば、野球の試合放送において、ある選手がホームランを打った場面を さまざまな角度からの映像として連続的に放送したい場合、従来は手動で、すなわち 、 目視でそれぞれの映像を検索し、該当部分を抽出して繋ぎ合わせるという編集作 業が必要であった。
[0007] 本発明は、上記従来の事情に鑑みてなされたものであって、同一の領域を撮影し た画像の検索及び抽出を低負荷且つ容易に行うことを可能にするメタデータ付与装 置及びメタデータ付与方法を提供することを目的とする。
課題を解決するための手段
[0008] 本発明のメタデータ付与装置は、撮像装置で撮影された画像にメタデータを付与 するメタデータ付与装置であって、前記撮像装置の撮影条件に関するセンサ情報を 取得するセンシング情報取得手段と、取得したセンサ情報に基づいて、前記撮像さ れた画像の撮像面であるフォーカス平面の位置を導出するフォーカス平面導出手段 と、導出したフォーカス平面の位置を、前記撮像された画像にメタデータとして付与 するメタデータ付与手段と、を備える。上記構成によれば、各画像に、フォーカス平面 の位置をメタデータとして付与することにより、フォーカス平面の位置関係に基づいて 各画像のグノレープ分けを行えば、画像分析によりグループ分けを行う従来の手法と 比べて処理負荷を低減できる為、同一の領域を撮影した画像の検索及び抽出を低 負荷且つ容易に行うことが可能になる。
[0009] また、本発明のメタデータ付与装置は、各フォーカス平面の位置関係に基づいて、 各画像のグノレープ分けを行うグルーピング手段と、グループ分けした結果を付加情 報として前記画像に関連付けて記録する付加情報記録手段と、を備える。上記構成 によれば、撮影した画像を含むフォーカス平面を導出し、各フォーカス平面の位置関 係に基づいて各画像のグノレープ分けを行うことにより、画像分析によりグノレープ分け を行う従来の手法と比べて処理負荷を低減できる為、同一の領域を撮影した画像の 検索及び抽出を低負荷且つ容易に行うことが可能になる。 [0010] また、本発明のメタデータ付与装置は、グルーピング手段力 フォーカス平面が互 いに交差する画像を同一のグループに分けるものである。上記構成によれば、演算 により画像をグノレープ分けできる。
[0011] また、本発明のメタデータ付与装置は、グルーピング手段力 フォーカス平面の位 置情報を記憶した表に基づいて、当該位置情報にフォーカス平面が含まれる各画像 を同一のグループに分けるものである。上記構成によれば、各画像を同一のグルー プに分けるフォーカス平面の位置を予め決めておけば、演算によらずに、画像をグ ループ分けできる。
[0012] また、本発明のメタデータ付与方法は、撮像装置で撮影された画像にメタデータを 付与するメタデータ付与方法であって、前記撮像装置の撮影条件に関するセンサ情 報を取得するセンシング情報取得ステップと、取得したセンサ情報に基づいて、前記 撮像された画像の撮像面であるフォーカス平面の位置を導出するフォーカス平面導 出ステップと、導出したフォーカス平面の位置を、前記撮像された画像にメタデータと して付与するメタデータ付与ステップと、を有する。
[0013] また、本発明のメタデータ付与方法は、各フォーカス平面の位置関係に基づいて、 各画像のグノレープ分けを行うグルーピングステップと、グループ分けした結果を付加 情報として前記画像に関連付けて記録する付加情報記録ステップと、を有する。
[0014] また、本発明のメタデータ付与方法は、前記グルーピングステップが、フォーカス平 面が互いに交差する画像を同一のグループに分けるものである。
[0015] さらに、本発明のメタデータ付与方法は、前記グルーピングステップが、フォーカス 平面の位置情報を記憶した表に基づいて、当該位置情報にフォーカス平面が含ま れる各画像を同一のグループに分けるものである。
発明の効果
[0016] 本発明によれば、各画像に、フォーカス平面の位置をメタデータとして付与すること により、フォーカス平面の位置関係に基づいて各画像のグノレープ分けを行えば、画 像分析によりグノレープ分けを行う従来の手法と比べて処理負荷を低減、及びより高 精度で同一撮像領域、同一被写体を撮影してレ、る動画像のグノレーピングを実現でき る為、同一の領域を撮影した画像の検索及び抽出を低負荷且つ容易に行うことが可 肯 になる。
図面の簡単な説明
[図 1]本発明の実施の形態におけるマルチアングル情報生成装置の内部構成及び マルチアングル情報生成装置を含むマルチアングノレ情報生成システムの構成を示 す図
[図 2]本発明の実施の形態におけるマルチアングル情報生成システムで使用する撮 像装置の内部構成を示す図
[図 3]本発明の実施の形態におけるマルチアングル情報生成システムで使用する撮 像装置の動作手順を示すフローチャート
[図 4]撮像装置の映像記録動作手順を示すフローチャート
[図 5]撮像装置のセンシングメタデータ生成動作手順を示すフローチャート
[図 6]生成されるセンシングメタデータのデータ構造を模式的に示す図
[図 7]本発明の実施の形態におけるマルチアングル情報生成装置のマルチアングル 情報生成動作手順を示すフローチャート
[図 8]フォーカス平面について説明するための図
[図 9]マルチアングノレ情報生成装置のフォーカス平面導出動作手順を示すフローチ ヤート
[図 10]生成されるフォーカス平面メタデータのデータ構造を模式的に示す図
[図 11]マルチアングノレ情報生成装置のマルチアングルメタデータの生成動作手順を 示すフローチャート
[図 12]フォーカス平面の交差判定を説明するための図
[図 13]マルチアングノレ情報生成装置のグルーピング判定動作手順を示すフローチヤ ート
[図 14]生成されるマルチアングルメタデータのデータ構造を模式的に示す図
[図 15]フォーカス平面の所定領域内における存在判定を説明するための図
[図 16]複数の領域の位置情報を指定して生成するグノレーピングルールを説明するた めの図
[図 17]実施の形態 2の判定条件におけるマルチアングル情報生成装置のグノレーピン グ判定動作手順を示すフローチャート
[図 18]生成されるマルチアングルメタデータのデータ構造を模式的に示す図
[図 19]本発明の実施の形態 3における付加情報生成装置の内部構成及び付加情報 生成装置を含む付加情報生成システムの構成を示す図
[図 20]本発明の実施の形態 3における付加情報生成システムで使用する撮像装置 の内部構成を示す図
[図 21]本発明の実施の形態 3における付加情報生成システムで使用する撮像装置 の動作手順を示すフローチャート
[図 22]撮像装置の映像記録動作手順を示すフローチャート
[図 23]撮像装置のセンシングメタデータ生成動作手順を示すフローチャート
[図 24]生成されるセンシングメタデータのデータ構造を模式的に示す図
[図 25]本発明の実施の形態における付加情報生成装置の付加情報生成動作手順 を示すフローチャート
[図 26]フォーカス平面について説明するための図
[図 27]付加情報生成装置のフォーカス平面導出動作手順を示すフローチャート
[図 28]生成されるフォーカス平面メタデータのデータ構造を模式的に示す図
[図 29]付加情報生成装置の付カロメタデータの生成動作手順を示すフローチャート
[図 30]全フレームの組み合わせのイメージを示す図
[図 31]フォーカス平面の交差判定を説明するための図
[図 32]付加情報生成装置のグノレーピング判定動作手順を示すフローチャート
[図 33]生成される付カロメタデータのデータ構造を模式的に示す図
符号の説明
10 マルチアングル情報生成装置
20、 1020 撮像装置
30、 1030 データベース
40 マルチアングル映像検索装置
101、 1101 センシングメタデータ取得手段
102、 1102 フォーカス平面メタデータ導出手段 103、 1103 グルーピング判定手段
104 マノレチアングルメタデータ記録手段
201 レンズ群
202、 1202 CCD
203、 1203 駆動回路
204、 1204 タイミング信号発生手段
205、 1205 サンプリング手段
206、 1206 A/D変換手段
207、 1207 映像ファイル生成手段
208、 1208 映像アドレス生成手段
209、 1209 映像識別子生成手段
210、 1210 機器情報センサ
211、 1211 センシングメタデータ生成手段
212、 1212 記録手段
1010 付加情報生成装置
1040 映像検索装置
1104 メタデ -タ記録手段
発明を実施するための最良の形態
[0019] 以下、添付図面を参照しながら、本発明の実施の形態に係るメタデータ付与装置 について詳細に説明する。なお、実施の形態 1及び 2においては、メタデータ付与装 置をマルチアングル情報生成装置として実施する例を示し、実施の形態 3において は、メタデータ付与装置を付加情報生成装置として実施する例を示す。
[0020] [実施の形態 1]
図 1は、本発明の実施の形態におけるマルチアングル情報生成装置の内部構成及 びマルチアングル情報生成装置を含むマルチアングノレ情報生成システムの構成を 示す図である。図 1に示すマルチアングノレ情報生成システムは、複数の撮像装置で 撮影された画像をグループ分けするマルチアングル情報生成装置 10と、複数の撮 像装置 20 (20a〜20n)と、データベース 30と、マルチアングル映像検索装置 40とを 備えて構成される。以下では、マルチアングノレ情報生成システムが、複数の画像で 構成される映像をグループ分けする例について説明する。
[0021] マルチアングノレ情報生成装置 10は、センシングメタデータ取得手段 101、フォー力 ス平面メタデータ導出手段 102、グルーピング判定手段 103、マルチアングルメタデ ータ記録手段 104を備える。
[0022] センシングメタデータ取得手段 101は、撮像装置 20の撮影条件に関するセンサ情 報を取得するものであり、それぞれの撮像装置の位置、方位、仰角、画角、フォー力 ス距離に関わるセンシングメタデータを、データベース 30を介して取得する。尚、本 実施の形態では、センシングメタデータは撮像装置 20で生成されるものとする。撮像 装置 20の内部構成及びセンシングメタデータの詳細については後述する。
[0023] フォーカス平面メタデータ導出手段 102は、取得したセンシングメタデータに基づ レ、て、各撮像装置 20が撮影した画像の撮像面であるフォーカス平面を導出するもの であり、センシングメタデータに基づいて、撮像装置 20の実空間における撮影フォー カス平面を表す矩形を、座標値として算出する。フォーカス平面メタデータの詳細に ついては後述する。
[0024] グルーピング判定手段 103は、各フォーカス平面の位置関係に基づいて、各画像 のグノレープ分けを行うものであり、フォーカス平面メタデータ導出手段 102で導出し た撮像装置ごとのフォーカス平面を用レ、、所定の判定条件に基づいて、画像が同一 領域を撮影したものであるか否かの判定を行う。
[0025] マルチアングルメタデータ記録手段 104は、グループ分けした結果をマルチアング ル情報として画像に関連付けて記録するものであり、同一領域を撮影したものと判定 された画像について関連付けを行った情報を、マルチアングルメタデータとしてデー タベース 30側に出力、記録する。マルチアングルメタデータの詳細については後述 する。
[0026] マルチアングノレ情報生成装置 10は、複数の撮像装置 20からの映像データが格納 されるデータベース 30と接続し、撮像装置から取得するセンシングメタデータに基づ いて、同一時刻に同一の被写体を撮影した複数の映像データの関連付けに関わる 情報としてマルチアングルメタデータを生成し、データベース 30へ出力する。また、 データベース 30に接続するマルチアングノレ映像検索装置 40は、マルチアングルメタ データに基づいて映像データの検索を行うことができる。
[0027] 次に、撮像装置について説明する。図 2は、本発明の実施の形態におけるマルチ アングノレ情報生成システムで使用する撮像装置の内部構成を示す図である。撮像装 置 20は、レンズ群 201、 CCD202,駆動回路 203、タイミング信号発生手段 204、サ ンプリング手段 205、 A/D変換手段 206、映像ファイル生成手段 207、映像アドレス 生成手段 208、映像識別子生成手段 209、機器情報センサ 210、センシングメタデ ータ生成手段 211、記録手段 212を備える。
[0028] CCD202は、駆動回路 203に接続されているタイミング信号発生手段 204によって 発生されたタイミング信号に同期して駆動され、レンズ群 201を介して入射した被写 体像の画像信号をサンプリング手段 205へ出力する。
[0029] サンプリング手段 205は、 CCD202固有のサンプリングレートによって画像信号を サンプリングする。 A/D変換手段 206は、 CCD202より出力された画像信号をデジ タル画像データに変換して映像ファイル生成手段 207へ出力する。
[0030] 映像アドレス生成手段 208は、タイミング信号発生手段 204からの信号によって映 像アドレスの生成を開始する。映像識別子生成手段 209は、映像と後述するセンシ ングメタデータを関連付ける識別子 (例えばファイル名や ID)を発行、付与する。
[0031] 機器情報センサ 210は、 GPS受信機 (Global Positioning System),ジャイロセンサ、 方位センサ、測距センサ、画角センサで構成される。
[0032] GPS受信機は、衛星からの電波を受信することで、あら力じめ位置の分かっている
3つ以上の人工衛星からの距離を得ることにより、 GPS受信機自身の 3次元での位 置 (緯度 ·経度 ·高度)を求めることができる。この機能を利用することにより、撮像装 置の地球上での絶対位置を取得することができる。
[0033] ジャイロセンサは、一般的には 3軸加速度センサと呼ばれ、地球の重力を利用する ことにより、センサから見てどの軸方角にどのくらいの加速度が力かっている力、つま りどの軸方向にどのくらレ、傾レ、てレ、るのかを数値として検出することができる。この機 能を利用することにより、撮像装置の傾き (方位角、仰角）を取得することができる。
[0034] 方位センサは、一般的には電子コンパスと呼ばれ、地球の地磁気を利用することに よって、地球の東西南北の方角を検出することができる。ジャイロセンサと方位センサ を組み合わせることにより、地球上での撮像装置の絶対的な向きを表すことができる
[0035] 測距センサは、被写体までの距離を計測するセンサである。撮像装置側から赤外 線や超音波を被写体に向けて送出し、撮像装置がその反射を受け取るまでの時間 によって撮像装置から被写体までの距離、つまりピントを合わせるべきフォーカス距 離を求めることができる。
[0036] 画角センサは、焦点距離、 CCDの高さから画角を得ることができる。焦点距離は、 レンズと受光部との距離を計ることにより取得でき、受光部の高さは撮像装置固有の 物である。
[0037] 機器情報センサ 210は、センシングメタデータ 211からの出力要求に基づき、 GPS 受信機 (Global Positioning System),ジャイロセンサ、方位センサ、測距センサ、画角 センサから、撮像装置の位置、基準となる方位、方位角、仰角、画角、フォーカス距 離に関わるセンシング情報を出力する。センシングメタデータ生成手段 211は、映像 アドレス生成手段 208からの映像アドレス生成タイミングに従って、機器情報センサ 2 10よりセンシング情報を取得し、センシングメタデータを生成して記録手段 212へ出 力する。機器情報センサ 210及びセンシングメタデータ生成手段 211は、タイミング 信号発生手段 204からの信号によって動作を開始する。
[0038] 尚、センシング情報の生成及び出力は本願の主眼ではないのでセンサの動作に関 する詳細な説明は省略する。
[0039] 尚、センシング情報の取得は、 CCDのサンプリングレート（l/30sec)で行ってもよい し、数フレーム毎に取得してもよい。
[0040] 尚、室内による撮影の場合 GPSセンサが動作しない場合、手動により撮影場所の 位置情報を入力することもできる。この場合、図示せぬ入力手段により入力された位 置情報が機器情報センサに入力されるものとする。
[0041] ここで、上記構成の撮像装置のセンシングメタデータ生成動作について説明する。
図 3は、本発明の実施の形態におけるマルチアングノレ情報生成システムで使用する 撮像装置の動作手順を示すフローチャートである。 [0042] はじめに、撮像装置本体の所定のスィッチ押下などにより撮影開始信号を受信する と (ステップ S101)、撮像装置 20は映像記録処理を開始する (ステップ S102)と共に 、撮像装置 20はセンシングメタデータの生成処理を開始する (ステップ S103)。そし てタイミング信号発生手段 204が撮影終了信号を受信すると撮像装置 20は前記映 像記録処理とセンシングメタデータ生成処理を終了させる（ステップ S 104)。
[0043] ここで、ステップ S 102で開始した映像記録処理とステップ S 103で開始したセンシ ングメタデータ生成処理を図 4、図 5を用いて説明する。
[0044] 図 4は、ステップ S102の映像記録動作手順を示すフローチャートである。撮影開始 信号を取得すると (ステップ S201)、タイミング信号発生手段 204からの動作指示命 令により撮影動作が開始する (ステップ S202)。また、タイミング信号発生手段 204か らの指示命令により、映像識別子生成手段 209で映像識別子が生成される (ステップ S203)。
[0045] CCD202からの映像電気信号を取得し（ステップ S204)、サンプリング手段 205は 、取得信号のサンプリングを行い（ステップ S205)、 A/D変換手段 206がデジタル 画像データへの変換を行う（ステップ S 206)。
[0046] また、タイミング信号発生手段 204からの指示命令で映像アドレス生成手段 208が 生成した映像アドレスを取得して (ステップ S207)、映像ファイル生成手段 207で映 像ファイルが生成される（ステップ S208)。更に、映像識別子生成手段 209で生成し た映像識別子が付与され (ステップ S209)、最終的な映像ファイルが記録手段 212 に記録される（ステップ S 210)。
[0047] 図 5は、ステップ S103のセンシングメタデータ生成動作手順を示すフローチャート である。撮影開始信号を取得すると (ステップ S301)、センシングメタデータ生成手段 211は、映像アドレス生成手段 208で生成された映像アドレスを取得する（ステップ S 302)。また、映像識別子生成手段 209で生成した映像識別子を取得する (ステップ S303)。さらにセンシングメタデータ生成手段 211は映像アドレスを取得すると同時 に、機器情報センサ 210にセンシング情報の出力要求を出し、カメラの位置、方位角 、仰角、画角、フォーカス距離の情報を取得する。 GPS受信機からは、カメラの位置 が取得でき、ジャイロセンサからは方位角、仰角が取得でき、測距センサからはフォ 一カス距離が取得でき、画角センサからは画角が取得できる。 （ステップ S304)。
[0048] 次に、センシングメタデータ生成手段 211は、取得した映像識別子、映像アドレスと 共にカメラ位置、方位角、仰角、画角、フォーカス距離を記録し、センシングメタデー タを生成、出力し (ステップ S305)、記録手段 212に記録する（ステップ3306)。
[0049] 図 6は、生成されるセンシングメタデータのデータ構造を模式的に示す図である。任 意の数のフレームで構成される一連の映像データには映像識別子が付与され、この 識別子により、映像データとセンシングメタデータが一意に対応する。また、映像アド レス毎に、カメラ座標、方位角、仰角、画角、フォーカス距離が記録される。尚、映像 アドレスの最小単位は、 CCD202のサンプリングレート、つまりフレームである。例え ば図 6の映像識別子には映像識別子生成手段 209から取得した情報である「0123 45」が入力されている。また、映像アドレスには映像アドレス生成手段 208から取得し た情報である「00 : 00 : 00： 01」が入力されている。さらに映像アドレス「00 : 00 : 00 : 01」には、当該映像アドレスを取得したタイミングにおける機器情報センサ 210から 取得する各センサ情報であるカメラ位置「1 , 0, 0」と方位角、仰角「— 90度、 0度」と 画角「90度」とフォーカス距離「lm」が入力されている。尚、カメラ位置は「x、 y、 z」で 表現され、 Xは緯度、 yは経度、 zは高度 (海抜）を表す。実際ここに入力される値は G PS受信機が取得した緯度、経度、高度であるが、本実施の形態では説明の簡略化 のため、緯度 χ= 1，経度 y=0,高度 z = 0という値を得たと仮定する。また、次の映像 アドレスには映像アドレス生成手段 208から取得した情報である「00 : 00 : 00 : 02」が 入力されている。さらに映像アドレス「00 : 00 : 00 : 02」には、当該映像アドレスを取得 したタイミングにおける機器情報センサ 210から取得する各センサ情報であるカメラ 位置「1， 0， 0」と方位角、仰角「_ 90度、 0度」と画角「90度」とフォーカス距離「lm」 が入力されている。また、次の映像アドレスには映像アドレス生成手段 208から取得 した情報である「00 : 00 : 00 : 03」が入力されている。さらに映像アドレス「00 : 00 : 00 : 03」には、当該映像アドレスを取得したタイミングにおける機器情報センサ 210から 取得する各センサ情報であるカメラ位置「1 , 0, 0」と方位角、仰角「_ 90度、 0度」と 画角「90度」とフォーカス距離「lm」が入力されてレ、る。
[0050] 次に、上記構成のマルチアングノレ情報生成装置のマルチアングノレ情報生成動作 について説明する。図 7は、本発明の実施の形態におけるマルチアングノレ情報生成 装置のマルチアングノレ情報生成動作手順を示すフローチャートである。
[0051] はじめに、マルチアングル情報生成装置 10のセンシングメタデータ取得手段 101 は、複数の撮像装置 20で同時刻に撮影を行った映像群のセンシングメタデータをす ベて取得する (ステップ S401)。次に、フォーカス平面メタデータ導出手段 102は、 取得したセンシングメタデータに基づいて、フォーカス平面メタデータの導出を行う（ ステップ S402)。
[0052] 次に、フォーカス平面メタデータ導出手段 102は、すべてのセンシングメタデータに ついてフォーカス平面メタデータの導出が完了したか否かを判断し、完了していない 場合はステップ S402のフォーカス平面メタデータの導出動作を繰り返す。一方、す ベてのセンシングメタデータについてフォーカス平面メタデータの導出が完了してい る場合、次に、マルチアングルメタデータの生成動作に移行する (ステップ S403)。 次にグノレーピング判定手段 103は、フォーカス平面メタデータ導出手段 102から取 得したフォーカス平面メタデータに基づいて、マルチアングルメタデータの生成を行う (ステップ S404)。
[0053] 最後に、マルチアングルメタデータ記録手段 104は、グルーピング判定手段 103か ら取得したマルチアングルメタデータをデータベース 30側へ出力する（ステップ S40 5)。
[0054] ここで、ステップ S402のフォーカス平面メタデータ導出動作について図 8, 9を用い て説明する。図 8は、フォーカス平面について説明するための図である。フォーカス 平面とは、撮影を行う際に焦点、いわゆるピントを合わせた撮像領域を示す矩形の平 面であり、矩形の 4隅の座標値 (境界座標と称する）で表現することができる。図に示 すように、撮像装置 (カメラ）からフォーカス平面までの距離は、フォーカス距離、即ち 焦点距離で決定され、また、矩形の大きさは、カメラの画角で決定される。矩形の中 心はフォーカス点となる。
[0055] 図 9に示すマルチアングル情報生成装置のフォーカス平面導出動作手順を示すフ ローチャートを説明する。はじめに、フォーカス平面メタデータ導出手段 102は、セン シングメタデータを取得する（ステップ S501)。 [0056] 任意のカメラの任意時点におけるセンシング情報力 図 8に示すようにカメラ位置 (a ,b,c)、方位角ひ度、仰角 度、画角 2 τ /度、フォーカス距離 L(m)である場合、カメラ 位置 (a，b，c)を基点としたカメラの向きベクトルは、方位角ひ度、仰角 /3度から求める こと力 Sできる。前記センシング情報により、カメラの向きベクトルは（-sin ひ cos /3，cos a cos β ，sin /3 )となる。前記求められたカメラの向きベクトルを（e,f,g)とする。カメラ の向きべクトノレ（e，f,g)はフォーカス平面を垂直に貫くためフォーカス平面の法線べク トルとなる（ステップ S502)。
[0057] 次に、カメラ向きベクトル (e，f，g)とカメラ位置（a,b,c)から、カメラ位置（a,b,c)とフォー カス点を通る直線の方程式が導出できる。この直線の方程式は媒介変数 zを用いると (ez,fz，gz)と表すことができる。この直線の方程式から、当該直線上にあり、カメラ位置 (a,b,c)からの距離が Lである座標をフォーカス点として導出可能である。求めるため の式は L= (ez-a) 2+(fz-b) 2+(gz_c) 2となり、この式から媒介変数 zを導出する。 L=^(e z- a) 2+(fz- b) 2+(gz- c) 2を解くと、 z={(ae+bf+cg)土 (ae+bf+cg) 2 - (e+f+g)(a2+b2+c2- L2)} /(e+f+g)となり、フォーカス点は（ez，fz,gz)に上記求めた zを代入したものとなる（ステツ プ S503)。
[0058] 前記求めたフォーカス点を（h,i，j)とすると、法線ベクトル（e，f,g)とフォーカス点（h，i,j) よりフォーカス平面の方程式を導出することができる。フォーカス平面の方程式は ex+f y+gz=eh+fi+gjとなる（ステップ S504)。
[0059] 画角 2 γ度より、カメラ位置（a,b，c)力 フォーカス平面の境界座標までの距離はしん os γとなる。ここで境界座標は、カメラ位置（a,b，c)を中心とする半径 Lん os yの球上 に存在し、なおかつ上記で求めたフォーカス平面上に存在する座標であると言える。 カメラ位置（a，b，c)を中心とする半径 Lん os γの球の方程式は、（x_a) 2 +(y_b) 2 +(z_c) 2 =(L/cos γ )。である。
[0060] ここで、カメラが撮影する平面の特徴として、水平はずれなレ、（つまり、平面の上辺 は高さ（ζ軸）一定、下辺も高さ (ζ軸)一定）ということと、フォーカス平面は縦と横の長さ の比が決まってレ、るとレ、うことを方程式と解くための条件として用いる。 ζが一定である (つまり、平面の上辺は高さ（ζ軸）一定、下辺も高さ (ζ軸)一定)ことにより、 ζを 2つの値 zl，z2と置くことができる。これにより導き出される方程式は、 ex+fy+gzl=eh+fi+gj, ex+iy +gz2=eh+fi+gj, (x-a) 2 + (y-b) 2 +(zl_c) 2=(Lん os y† (x_a) 2 + (y-b) 2 +(z2- c) 2=(Lん os γ)2となる。
[0061] この 4つの方程式を解くと x,yの値をそれぞれ zl，z2で表した 4つの境界座標を導くこ とができる。まず、 zが zlの場合である ex+fy+gzl=eh+fi+gjと (X- a)2 +(y-b)2 +(zl- c)2=(L /cos y†について考える。簡単化のため、 eh+fi+gj- gzl=A， (zl- c)2=B, (L/cos y†=C と置くと + +8 1=八 -&)2 + _13)2 +8=じとなる。さらにこの 2つの方程式から xを消去 し、 A-ea=D, e (B- C)=E, e +f =F,_(2DF+2be2)=G， eV+E二 Hと置くと、 Fy2 +Gy+H=0 となり yの値は y=(-G土 G2 -4FH)となる。同様にして x=(A-f(-G土 G2 -4FH)/2F) を求めることができる。簡単化のため、求めた x，yをそれぞれ ΧΙ,ΥΙ ,Χ2,Υ2とする。
[0062] 次に ζが ζ2の場合である ex+fy+gz2=eh+fi+gj, (x-a) 2 + (y-b) 2 +(z2_c) 2=(Lん os γ fに ついても x,yを求める。ここでは、 z2の場合の導出方法は zlの場合と同様であるため 説明は省略する。求めた x，yをそれぞれ X3，Y3 ,Χ4,Υ4とする。よって 4つの境界座標 は (Χ1，Υ1，Ζ1) (Χ2,Υ2,Ζ1) (Χ3，Υ3,Ζ2) (Χ4，Υ4,Ζ2)となる。
[0063] ここで、フォーカス平面は横と縦の長さの比が決まっている（ここでは、横：縦 =P:Qと する）ことより、上辺の長さ：右辺の長さ = P:Q、下辺の長さ：左辺の長さ = P:Qを導くこ とができる。ここで模式的に (ΧΙ,ΥΙ,ΖΙ) (Χ2,Υ2,Ζ1) (Χ3,Υ3,Ζ2) (Χ4,Υ4，Ζ2)を左上 (XI ,ΥΙ,ΖΙ)右上 (Χ2,Υ2，Ζ1)左下 (Χ3,Υ3，Ζ2)右下 (Χ4，Υ4,Ζ2)とする。上辺の長さ = (XI -X2) +(Υ1-Υ2) 2、右辺の長さ = (Χ2- Χ4)2+(Υ2- Υ4)2+(Ζ1-Ζ2)2、下辺の長さ = (Χ3 -Χ4) +(Υ3-Υ4) 2、
Figure imgf000016_0001
(Χ1_Χ2)2+(Υ 1-Y2) 2： (Χ2— X4)2+(Y2— Y4)2+(Z1— Z2)2=P:Q、 (X3-X4) 2+(Y3_Y4) 2 : (Χ1_Χ3)2 +(Y1-Y3)2+(Z1-Z2)2=P:Qとなり、 2つの方程式を得ることができる。左上 (ΧΙ,ΥΙ,ΖΙ) 右上 (Χ2,Υ2，Ζ1)左下 (Χ3,Υ3，Ζ2)右下 (Χ4,Υ4，Ζ2)は zl,z2で表された値である。このた め、簡単化のための置き換えを元に戻すことにより、 (Χ1_Χ2)2+(Υ1_Υ2)2： (Χ2_ Χ4) +(Y2-Y4) 2+(Zl-Z2) 2=P:Q、 (X3-X4) 2+(Y3_Y4) 2： (X1-X3) +(Υ1-Υ3) +(Ζ1- Ζ2) 2=P:Q力 zl，z2についての連立方程式を得ることができ、 zl,z2を求めることがで きる。 zl,z2の式は、複雑なためここでは記載を省略する。求めた zl,z2を左上 (Χ1，Υ1, Zl)右上 (X2，Y2,Z1)左下 (Χ3，Υ3,Ζ2)右下 (Χ4，Υ4,Ζ2)に代入することにより、境界座 標を得ることができる。求めた境界座標を左上 (k,l，m)右上 (η,ο,ρ)左下 (q,r,s)右下 (t ,u,v)とする（ステップ S505)。
[0064] 最後に、フォーカス平面メタデータ導出手段 102は、算出した 4点の境界座標情報 を映像アドレス毎にセンシングメタデータに追記して、フォーカス平面メタデータとし て生成する（ステップ S506)。
[0065] ここで、実際に図 6のセンシングメタデータを用いて、フォーカス平面と境界座標の 導出方法を説明する。この説明で用いる図 6のセンシングメタデータは、映像アドレス 「00 : 00 : 00 : 01」のカメラ位置（1,0,0)、方位角.仰角「_ 90度、 0度」、画角「90度」 、フォーカス距離「lm」である。まず、方位角'仰角「— 90度、 0度」を大きさ 1の x,y,z 成分に分解し、カメラ位置（1,0,0)との差分によりカメラの向きを示すベクトルは (-1,0, 0)となる。このカメラの向きを示すベクトルはフォーカス平面の法線ベクトルとなる。
[0066] 次に法線べクトノレ (-1,0,0)とカメラ位置（1,0,0)より、法線ベクトルが（-1,0,0)でカメラ 位置（1,0,0)を通る直線の方程式を求めることができる。直線の方程式は y=0，z=0とな る。この直線上にあり、カメラ位置（ι,ο,ο)力 フォーカス距離力 である座標、つまりフ オーカス点の座標は、前記直線の方程式 y=0，z=0とフォーカス距離 = 1より (0,0,0)とな る。
[0067] 次にフォーカス点の座標（0,0,0)と法線ベクトル（-1,0,0)よりフォーカス平面の方程 式を導出する。フォーカス点の座標（0,0,0)と法線ベクトル (-1,0,0)よりフォーカス平 面の方程式は x=0となる。
[0068] また、画角が 90度であることからフォーカス平面上の境界座標までの距離は、 1ん os 45° 、つまり 2となる。ここで、境界座標は半径 2で中心をカメラ位置（1,0,0)とす る球上、かつフォーカス平面上にあると言える。半径 2で中心をカメラ位置（1,0,0)と
Figure imgf000017_0001
球の方程式 (x-l)2+y2+z2=2とフォーカス平面 の方程式 x=0より、 y2+z2=lを導くことができる。さらにカメラの映し出す画面サイズは縦 と横の比率が 4 : 3であるとすると、 z=4/3yとすることができ、 y2+z2=lと z=4/3yと解くこと により y= ± 3/5， z= ± 4/5を導くことができる。よって境界座標は（0,3/5,4/5) , (0,-3/5, 4/5) , (0,-3/5,-4/5) , (0,3/5,-4/5)となる。
[0069] 図 10は、生成されるフォーカス平面メタデータのデータ構造を模式的に示す図で ある。映像アドレス毎に、フォーカス平面境界座標及びフォーカス平面方程式が記録 されている。図 10では、図 6で示した映像アドレス「00 : 00 : 00 : 01」に上記で導出さ れた「フォーカス平面境界座標」と「フォーカス平面方程式」の項目が追加され、「フォ 一カス平面境界座標」には「 (0,3/5,4/5) , (0,-3/5,4/5) , (0,-3/5,-4/5)， (0,3/5,-4/ 5)」 、 「フォーカス平面方程式」には「x=0」が入力されてレ、る。
[0070] 次に、ステップ S404のマルチアングルメタデータの生成動作について図 11を用い て説明する。図 11は、マルチアングル情報生成装置のマルチアングルメタデータ生 成動作手順を示すフローチャートである。はじめに、定数 nを 1に初期化し (ステップ S 601)、グルーピング判定手段 103は、すべての映像の nフレーム目のフォーカス平 面メタデータの情報 (方程式、境界座標）を取得して (ステップ S602)、グルーピング 判定動作を実行する（ステップ S603)。次に、グノレーピング判定手段 103は、生成し たマルチアングルメタデータをマルチアングルメタデータ記録手段 104へ出力する（ ステップ S604)。その後、定数 nを 1だけインクリメントし (ステップ S605)、グルーピン グ判定手段 103は、次の映像フレーム（n番目のフレーム）があるか否かを判定する（ ステップ S606)。次のフレームがある場合はステップ S602へ戻り、マルチアングルメ タデータ生成動作を繰り返す。一方、次のフレームがない場合はマルチアングルメタ データ生成動作を終了する。
[0071] ここでステップ S603のグルーピング判定動作について図 12, 13を用いて説明する 。グルーピング判定動作とは、同一時刻に撮影した複数の映像データの中から、所 定の判定条件に基づレ、て、同一被写体を撮影した映像データをグノレープ分けする 動作である。実施の形態 1では、フォーカス平面が互いに交差する画像を同一のグ ループに分ける。すなわち、実施の形態 1では、グノレーピングの判定条件として、「フ オーカス平面の交差判定」を行う。図 12は、フォーカス平面の交差判定を説明するた めの図である。図に示すように、フォーカス平面が交差するカメラ (撮像装置）の映像 データは、同一の被写体を撮影している映像データであると判定し、フォーカス平面 が交差しない映像データは、異なる被写体を撮影している映像データであると判定 する。
[0072] 図 13は、マルチアングル情報生成装置のグノレーピング判定動作手順を示すフロー チャートである。はじめに、グノレーピング判定手段 103は、取得したすべてのフォー力 ス平面メタデータについて、平面方程式の交線が境界座標内にあるか否力を判定す る (ステップ S701)。そして、平面方程式の交線が境界座標内にある場合は、フォー カス平面メタデータに、該当する映像識別子情報と nフレーム目を表す映像アドレス を追記してマルチアングルメタデータとして生成する（ステップ S702)。
[0073] ここで、実際に図 10のフォーカス平面メタデータを用いて、グルーピング判定方法 を説明する。図 10のフォーカス平面メタデータには「映像識別子」として「012345」が 、 「フォーカス平面境界座標」として「（0,3/5,4/5) , (0,-3/5,4/5) , (0,-3/5,-4/5) , (0, 3/5,-4/5)」が、「フォーカス平面方程式」として「x=0」が入力されている。ここで別のフ オーカス平面メタデータとして「映像識別子」が「543210」、 「フォーカス平面境界座標 」が「（3/5,0,4/5)， (-3/5,0,4/5) , (-3/5,0,-4/5)， （3/5,0,-4/5)」、 「フォーカス平面 方程式」が「y=0」であるものが存在すると仮定する。まず、フォーカス平面の方程式は 「x=0」と「y=0」であるため、その交線の方程式は「x=0,y=0」となる。
[0074] 次に平面方程式の交線が境界座標内にあるか否かを判定する。求められた交線の 方程式「x=0，y=0」は 2平面「x=0」「y=0」の境界座標「（0,3/5,4/5)， (0,-3/5,4/5) , (0, -3/5,-4/5) , (0,3/5,-4/5)」と「（3/5, 0,4/5)， (-3/5,0,4/5) , (-3/5,0,-4/5) , (3/5,0, -4/5)」から表される境界範囲- 3/5≤x≤ 3/5、 _3/5≤y≤3/5、 _4/5≤z≤4/5をにお いて、 -4/5≤z≤4/5の間で x=0，y=0となり境界範囲- 3/5≤x≤3/5、 _3/5≤y≤3/5、 - 4/5≤z≤4/5の内部にあると判断できるため、この 2つのフォーカス平面は交差して いる、つまり同一の被写体を撮影している映像データであると判定し、「映像識別子」 が「012345」であるフォーカス平面メタデータには映像識別子「543210」を追記してマ ルチアングルメタデータとして生成する。また、「映像識別子」が「543210」であるフォ 一カス平面メタデータには映像識別子「012345」を追記してマルチアングルメタデー タとして生成する。
[0075] 図 14は、生成されるマルチアングルメタデータのデータ構造を模式的に示す図で ある。同一時刻に同じ被写体を撮影した他の映像データを特定可能な素材 IDと、映 像データの相対位置を特定可能な映像アドレスと、を含むマルチアングノレ情報が映 像アドレス毎に記録されている。図 14では、図 10で示した映像アドレス「00 : 00 : 00 : 01」に上記で導出された「マルチアングル情報」の項目が追加され、「マルチアング ル情報」には「素材 ID:543210、映像アドレス 00： 00： 00： 01」が入力されている。
[0076] 以上によりマルチアングルメタデータは、対応する映像データと関連付けして記録 されるので、マルチアングルメタデータを利用して、マルチアングル映像検索装置 40 により、同時刻に同じ被写体を撮影した映像データを検索して抽出することができる
[0077] なお、本実施の形態では、撮影装置とマルチアングル情報生成装置が別々である 構成例を示したが、撮影装置に、センシングメタデータ取得手段とフォーカス平面メタ データ導出手段を備えるように構成してもよい。
[0078] なお、本実施の形態では、映像識別子を用いて映像データと各種メタデータの対応 を計っている力 各種メタデータをストリーム化し、映像データに多重化することによ つて、映像識別子を使用しないようにしてもよい。
[0079] なお、グルーピング判定時には、ピントが合ったように見える被写体の前後の範囲 である被写界深度に従ってフォーカス距離を伸縮し、フォーカス距離毎にフォーカス 平面を算出してグノレーピング判定を行ってもよい。
[0080] したがって、マルチアングル映像の編集などを行う際の作業負担を大幅に改善する こと力 Sできる。
[0081] [実施の形態 2]
次に、上記のグルーピング判定動作にぉレ、て、別の判定条件でグルーピング判定 を行う場合の例について説明する。尚、マルチアングノレ情報生成装置及びマルチア ングル情報生成システムの構成、並びにマルチアングル情報生成動作手順にっレヽ ては、実施の形態 1のそれらと同じであるため、説明を省略する。
[0082] 実施の形態 2では、各画像を同一のグノレープに分けるフォーカス平面の位置情報 を記憶した表に基づいて、各画像のグループ分けを行う。すなわち、実施の形態 2で は、グノレーピング判定手段 103の内部に、グルーピングノレールを記述した表を有し、 この表に基づいて、「フォーカス平面の所定領域内における存在判定」を行う。図 15 は、フォーカス平面の所定領域内における存在判定を説明するための図である。図 に示すように、フォーカス平面が 3次元座標の範囲で設定する所定の領域内に存在 する映像データは、同一のグループに分ける映像データであると判定し、所定の領 域内に存在しない映像データは、異なるグノレープに分ける映像データであると判定 する。この際、フォーカス平面が交差しているか否かは関与しなレ、。このグルーピング 判定条件によれば、例えば、野球場の「センター付近」や「ライト付近」の被写体を撮 影している映像データというように、指定した領域の数だけ映像データのグループ分 け（グルーピング）を行うことができる。
[0083] 図 16は、複数の領域の位置情報を指定して生成するグルーピングノレールを説明 するための図である。図に示すように、 4種類の領域を設定することにより、映像デー タが 4種類に分類される。例えば、図 16では X座標力 S0≤x≤lの場合、 y座標力 ¾≤y ≤1、 z座標が 0≤ζ≤1となっており、名称はセンター付近となっている。また X座標が 2 ≤x≤3の場合、 y座標が 2≤y≤3、 z座標が 2≤z≤3となっており、名称はライト付近と なっている。
[0084] 図 17は、実施の形態 2の判定条件におけるマルチアングル情報生成装置のグノレ 一ビング判定動作手順を示すフローチャートである。はじめに、グルーピング判定手 段 103は、取得したすべてのフォーカス平面メタデータについて、平面の境界座標 がグノレーピングルールの領域内にあるか否かを判定する（ステップ S801)。そして、 グルーピングノレールの領域内にある場合は、フォーカス平面メタデータに、該当する 映像識別子情報などを追記してマルチアングルメタデータとして生成する (ステップ S 802)。
[0085] 実際に、図 10のフォーカス平面メタデータと図 16のグルーピングルールを用いて、 グルーピング判定をする方法を説明する。図 10のフォーカス平面メタデータには「映 像識別子」として「012345」力 「フォーカス平面境界座標」として「（0,3/5,4/5)， （0,- 3 /5,4/5) , (0,-3/5 -4/5) , (_1，3/5，_4/5)」が入力されている。ここで別のフォーカス 平面メタデータとして「映像識別子」が「543210」、 「フォーカス平面境界座標」が「（3/ 5,0,4/5)， (-3/5,0,4/5) , (-3/5,0,-4/5) , (3/5，0，_4/5)」であるものが存在すると仮 定する。まず、「映像識別子」が「012345」の、 「フォーカス平面境界座標」は「（0,3/5,4 /5) , (0,-3/5,4/5) , (0,-3/5,-4/5) , (-1,3/5,-4/5)」であるため、 0≤x≤ 1、 0≤y≤ 1 、 0≤ζ≤1に当てはまり、センター付近にグノレーピングされる。つぎに「映像識別子」 が「543210」の「フォーカス平面境界座標」は「 (3/5,0,4/5) , (-3/5,0,4/5) , (-3/5,0,- 4/5) , (3/5，0，-4/5)」であるため、 0≤x≤l、 0≤y≤l、 0≤z≤lに当てはまり、同じくセ ンター付近にグルーピングされる。よってこの 2つの映像データは同じグループに属 すると判定し、「映像識別子」が「012345」であるフォーカス平面メタデータには映像 識別子「543210」と名称「センター付近」を追記してマルチアングルメタデータとして生 成する。また「映像識別子」が「543210」であるフォーカス平面メタデータには映像識 別子「012345」と名称「センター付近」を追記してマルチアングルメタデータとして生成 する。
[0086] 図 18は、生成されるマルチアングルメタデータのデータ構造を模式的に示す図で ある。同一時刻に同じ被写体を撮影した他の映像データを特定可能な素材 IDと、相 対位置を特定可能な映像アドレスとを含むマルチアングル情報と、所定領域の名称 に関わる情報が映像アドレス毎に記録されている。図 18では、図 10で示した映像ァ ドレス「00： 00： 00： 01」に上記で導出された「マルチアングル情報」と「名称」の項目 が追加され、「マルチアングル情報」には「素材 ID:543201、映像アドレス 00 : 00 : 00 : 01」、「名称」には「センター付近」が入力されている。
[0087] 尚、上記の所定領域における存在判定では、フォーカス平面の境界座標の全てが 当該領域内に存在するか否かで判定してもよいし、少なくとも 1つの境界座標が当該 領域内に存在するか否かで判定してもよレ、。
[0088] 尚、上記の実施の形態において、グノレーピングルールを状況に応じて変化させて もよレ、。また、グノレーピングルールを記述した表をグルーピング判定手段内部ではな ぐ外部のデータベースに設け、グルーピング判定手段が外部の表を参照する構成 としてもよレ、。
[0089] 尚、上記の実施の形態において、センシングメタデータの生成は、センシング情報 が変化した場合のみメタデータを生成するようにすれば、処理量が削減され、処理速 度を向上させること力 Sできる。また、実際には近接する画像フレームのマルチアング ル情報は同じであることが多いと予測されるので、マルチアングルメタデータを画像フ レーム毎に生成するのではなぐ映像アドレスとマルチアングル情報との対応関係だ けを示すデータ構造のマルチアングルメタデータを生成すれば、処理量が削減され 、処理速度を向上させることができる。更に、マルチアングルメタデータを画像フレー ム毎に生成するのではなく、グノレーピング判定手段でグループ分けされたグループ 毎に生成するようにすれば、同じ情報をそれぞれの映像データのメタデータに重複し て記録する処理が削減され、処理速度を向上させることができる。
[0090] また、上記の実施の形態において、センシングメタデータは撮像装置で生成される 構成としたが、これにとらわれるものではなぐ例えば、撮像装置の外部からセンシン グメタデータを取得する構成としてもょレ、。
[0091] [実施の形態 3]
実施の形態 1、 2では、複数の撮像装置で同時刻に撮影を開始した画像をグルー ビングする例について説明した力 本実施の形態では、単一の撮像装置で異なる時 刻に撮影した画像をグルーピングする例について説明する。すなわち、実施の形態 1、 2では、全ての映像データの Nフレーム目について、画像が同一領域を撮影した ものであるか否かを判定していたのに対し、本実施の形態では、各映像データの全 てのフレームの組合せにっレ、て判定を行う。
[0092] 図 19は、本発明の実施の形態における付加情報生成装置の内部構成及び付カロ 情報生成装置を含む付加情報生成システムの構成を示す図である。図 19に示す付 加情報生成システムは、単一の撮像装置で撮影された画像をグループ分けする付 加情報生成装置 1010と、撮像装置 1020と、データベース 1030と、映像検索装置 1 040とを備えて構成される。以下では、付加情報生成システムが、複数の画像で構 成される映像をグループ分けする例について説明する。
[0093] 付加情報生成装置 1010は、センシングメタデータ取得手段 1101、フォーカス平 面メタデータ導出手段 1102、グルーピング判定手段 1103、メタデータ記録手段 11 04を備える。
[0094] センシングメタデータ取得手段 1101は、撮像装置 1020の撮影条件に関するセン サ情報を取得するものであり、それぞれの撮像装置の位置、方位、仰角、画角、フォ 一カス距離に関わるセンシングメタデータを、データベース 1030を介して取得する。 尚、本実施の形態では、センシングメタデータは撮像装置 1020で生成されるものと する。撮像装置 1020の内部構成及びセンシングメタデータの詳細については後述 する。 [0095] フォーカス平面メタデータ導出手段 1102は、取得したセンシングメタデータに基づ いて、各撮像装置 1020が撮影した画像を含むフォーカス平面を導出するものであり 、センシングメタデータに基づいて、撮像装置 1020の実空間における撮影フォー力 ス平面を表す矩形を、座標値として算出する。フォーカス平面メタデータの詳細につ いては後述する。
[0096] グルーピング判定手段 1103は、各フォーカス平面の位置関係に基づいて、各画 像のグノレープ分けを行うものであり、フォーカス平面メタデータ導出手段 1102で導 出したフォーカス平面を用い、所定の判定条件に基づいて、画像が同一領域を撮影 したものであるか否かの判定を行う。
[0097] メタデータ記録手段 1104は、グループ分けした結果を付加情報として画像に関連 付けて記録するものであり、同一領域を撮影したものと判定された画像について関連 付けを行った情報を、付カロメタデータとしてデータベース 1030側に出力、記録する。 付加メタデータの詳細については後述する。
[0098] 付加情報生成装置 1010は、撮像装置 1020からの映像データが格納されるデー タベース 1030と接続し、撮像装置から取得するセンシングメタデータに基づいて、同 一の被写体を撮影した複数の映像データの関連付けに関わる情報として付加メタデ ータを生成し、データベース 1030へ出力する。また、データベース 1030に接続する 映像検索装置 1040は、付カロメタデータに基づいて映像データの検索を行うことがで きる。
[0099] 次に、撮像装置について説明する。図 20は、本発明の実施の形態における付カロ 情報生成システムで使用する撮像装置の内部構成を示す図である。撮像装置 1020 は、レンズ群 1201、 CCD1202,駆動回路 1203、タイミング信号発生手段 1204、 サンプリング手段 1205、 AZD変換手段 1206、映像ファイル生成手段 1207、映像 アドレス生成手段 1208、映像識別子生成手段 1209、機器情報センサ 1210、セン シングメタデータ生成手段 1211、記録手段 1212を備える。
[0100] CCD1202は、駆動回路 1203に接続されているタイミング信号発生手段 1204に よって発生されたタイミング信号に同期して駆動され、レンズ群 1201を介して入射し た被写体像の画像信号をサンプリング手段 1205へ出力する。 [0101] サンプリング手段 1205は、 CCD1202固有のサンプリングレートによって画像信号 をサンプリングする。 A/D変換手段 1206は、 CCD1202より出力された画像信号を デジタル画像データに変換して映像ファイル生成手段 1207へ出力する。
[0102] 映像アドレス生成手段 1208は、タイミング信号発生手段 1204からの信号によって 映像アドレスの生成を開始する。映像識別子生成手段 1209は、映像と後述するセン シングメタデータを関連付ける識別子 (例えばファイル名や ID)を発行、付与する。
[0103] 機器情報センサ 1210は、 GPS受信機 (Global Positioning System),ジャイロセンサ 、方位センサ、測距センサ、画角センサで構成される。
[0104] GPS受信機は、衛星からの電波を受信することで、あら力じめ位置の分かっている
3つ以上の人工衛星からの距離を得ることにより、 GPS受信機自身の 3次元での位 置 (緯度 ·経度 ·高度）を求めることができる。この機能を利用することにより、撮像装 置の地球上での絶対位置を取得することができる。
[0105] ジャイロセンサは、一般的には 3軸加速度センサと呼ばれ、地球の重力を利用する ことにより、センサから見てどの軸方角にどのくらいの加速度が力かっているカ つま りどの軸方向にどのくらレ、傾レ、てレ、るのかを数値として検出することができる。この機 能を利用することにより、撮像装置の傾き (方位角、仰角）を取得することができる。
[0106] 方位センサは、一般的には電子コンパスと呼ばれ、地球の地磁気を利用することに よって、地球の東西南北の方角を検出することができる。ジャイロセンサと方位センサ を組み合わせることにより、地球上での撮像装置の絶対的な向きを表すことができる
[0107] 測距センサは、被写体までの距離を計測するセンサである。撮像装置側から赤外 線や超音波を被写体に向けて送出し、撮像装置がその反射を受け取るまでの時間 によって撮像装置から被写体までの距離、つまりピントを合わせるべきフォーカス距 離を求めることができる。
[0108] 画角センサは、焦点距離、 CCDの高さから画角を得ることができる。焦点距離は、 レンズと受光部との距離を計ることにより取得でき、受光部の高さは撮像装置固有の 物である。
[0109] 機器情報センサ 1210は、センシングメタデータ 1211からの出力要求に基づき、 G PS受信機 (Global Positioning System),ジャイロセンサ、方位センサ、測距センサ、画 角センサから、撮像装置の位置、基準となる方位、方位角、仰角、画角、フォーカス 距離に関わるセンシング情報を出力する。センシングメタデータ生成手段 1211は、 映像アドレス生成手段 1208からの映像アドレス生成タイミングに従って、機器情報セ ンサ 1210よりセンシング情報を取得し、センシングメタデータを生成して記録手段 12 12へ出力する。機器情報センサ 1210及びセンシングメタデータ生成手段 1211は、 タイミング信号発生手段 1204からの信号によって動作を開始する。
[0110] 尚、センシング情報の生成及び出力は本願の主眼ではないのでセンサの動作に関 する詳細な説明は省略する。
[0111] 尚、センシング情報の取得は、 CCDのサンプリングレート（l/30sec)で行ってもよい し、数フレーム毎に取得してもよい。
[0112] 尚、室内における撮影の場合 GPSセンサが動作しない場合、手動により撮影場所 の位置情報を入力することもできる。この場合、図示せぬ入力手段により入力された 位置情報が機器情報センサに入力されるものとする。
[0113] ここで、上記構成の撮像装置のセンシングメタデータ生成動作について説明する。
図 21は、本発明の実施の形態における付加情報生成システムで使用する撮像装置 の動作手順を示すフローチャートである。
[0114] はじめに、撮像装置本体の所定のスィッチ押下などにより撮影開始信号を受信する と (ステップ S 1101)、撮像装置 1020は映像記録処理を開始する（ステップ S 1102) と共に、撮像装置 1020はセンシングメタデータの生成処理を開始する（ステップ S11
03)。そしてタイミング信号発生手段 1204が撮影終了信号を受信すると撮像装置 10 20は前記映像記録処理とセンシングメタデータ生成処理を終了させる（ステップ S11
04)。
[0115] ここで、ステップ S1102で開始した映像記録処理とステップ S1103で開始したセン シングメタデータ生成処理を図 22、図 23を用いて説明する。
[0116] 図 22は、ステップ S102の映像記録動作手順を示すフローチャートである。撮影開 始信号を取得すると (ステップ S1201)、タイミング信号発生手段 1204からの動作指 示命令により撮影動作が開始する (ステップ S1202)。また、タイミング信号発生手段 1204からの指示命令により、映像識別子生成手段 1209で映像識別子が生成され る（ステップ S 1203)。
[0117] CCD1202からの映像電気信号を取得し（ステップ S1204)、サンプリング手段 12 05は、取得信号のサンプリングを行い（ステップ S1205)、 AZD変換手段 1206が デジタル画像データへの変換を行う（ステップ S 1206)。
[0118] また、タイミング信号発生手段 1204からの指示命令で映像アドレス生成手段 1208 が生成した映像アドレスを取得して（ステップ S 1207)、映像ファイル生成手段 1207 で映像ファイルが生成される（ステップ S1208)。更に、映像識別子生成手段 1209 で生成した映像識別子が付与され (ステップ S 1209)、最終的な映像ファイルが記録 手段 1212に記録される（ステップ S 1210)。
[0119] 図 23は、ステップ S1103のセンシングメタデータ生成動作手順を示すフローチヤ ートである。撮影開始信号を取得すると（ステップ S1301)、センシングメタデータ生 成手段 1211は、映像アドレス生成手段 1208で生成された映像アドレスを取得する（ ステップ S 1302)。また、映像識別子生成手段 1209で生成した映像識別子を取得 する（ステップ S1303)。さらにセンシングメタデータ生成手段 1211は映像アドレスを 取得すると同時に、機器情報センサ 1210にセンシング情報の出力要求を出し、カメ ラの位置、方位角、仰角、画角、フォーカス距離の情報を取得する。 GPS受信機から は、カメラの位置が取得でき、ジャイロセンサからは方位角、仰角が取得でき、測距セ ンサからはフォーカス距離が取得でき、画角センサからは画角が取得できる。 （ステツ プ S 1304)。
[0120] 次に、センシングメタデータ生成手段 1211は、取得した映像識別子、映像アドレス と共にカメラ位置、方位角、仰角、画角、フォーカス距離を記録し、センシングメタデ ータを生成、出力し (ステップ S1305)、記録手段 1212に記録する（ステップ S1306
) o
[0121] 図 24は、生成されるセンシングメタデータのデータ構造を模式的に示す図である。
任意の数のフレームで構成される一連の映像データには映像識別子が付与され、こ の識別子により、映像データとセンシングメタデータが一意に対応する。また、映像ァ ドレス毎に、カメラ座標、方位角、仰角、画角、フォーカス距離が記録される。尚、映 像アドレスの最小単位は、 CCD1202のサンプリングレート、つまりフレームである。 例えば図 24の映像識別子には映像識別子生成手段 1209から取得した情報である 「012345」が入力されている。また、映像アドレスには映像アドレス生成手段 1208 力も取得した情報である「00 :00:00： 01」が入力されてレ、る。さらに映像アドレス「00 :00:00:01」には、当該映像アドレスを取得したタイミングにおける機器情報センサ 1210から取得する各センサ情報であるカメラ位置「1， 0, 0」と方位角、仰角「_90 度、 0度」と画角「90度」とフォーカス距離「lm」が入力されている。尚、カメラ位置は「 x、 y、 z」で表現され、 Xは緯度、 yは経度、 zは高度 (海抜）を表す。実際ここに入力さ れる値は GPS受信機が取得した緯度、経度、高度であるが、本実施の形態では説明 の簡略化のため、緯度 x=l,経度 y=0，高度 z = 0という値を得たと仮定する。また、 次の映像アドレスには映像アドレス生成手段 1208から取得した情報である「00： 00： 00 :02」が入力されている。さらに映像アドレス「00:00:00:02」には、当該映像アド レスを取得したタイミングにおける機器情報センサ 1210から取得する各センサ情報 であるカメラ位置「1, 0, 0」と方位角、仰角「一 90度、 0度」と画角「90度」とフォー力 ス距離「lm」が入力されている。また、次の映像アドレスには映像アドレス生成手段 2 08から取得した情報である「00 :00:00: 03」が入力されてレ、る。さらに映像アドレス「 00:00:00: 03」には、当該映像アドレスを取得したタイミングにおける機器情報セン サ 1210から取得する各センサ情報であるカメラ位置「1， 0， 0」と方位角、仰角「-90 度、 0度」と画角「90度」とフォーカス距離「lm」が入力されてレ、る。
[0122] 次に、上記構成の付加情報生成装置の付加情報生成動作について説明する。図
25は、本発明の実施の形態における付加情報生成装置の付加情報生成動作手順 を示すフローチャートである。
[0123] はじめに、付加情報生成装置 1010のセンシングメタデータ取得手段 1101は、撮 像装置 1020で撮影を行った映像群のセンシングメタデータをすベて取得する（ステ ップ S1401)。次に、フォーカス平面メタデータ導出手段 1102は、取得したセンシン グメタデータに基づいて、フォーカス平面メタデータの導出を行う（ステップ S1402)。
[0124] 次に、フォーカス平面メタデータ導出手段 1102は、すべてのセンシングメタデータ についてフォーカス平面メタデータの導出が完了したか否かを判断し、完了していな い場合はステップ S 1402のフォーカス平面メタデータの導出動作を繰り返す。一方、 すべてのセンシングメタデータについてフォーカス平面メタデータの導出が完了して いる場合、次に、付加メタデータの生成動作に移行する (ステップ S 1403)。次にグ ルービング判定手段 1 103は、フォーカス平面メタデータ導出手段 1 102から取得し たフォーカス平面メタデータに基づいて、付カロメタデータの生成を行う（ステップ S 14 04)。
[0125] 最後に、メタデータ記録手段 1 104は、グルーピング判定手段 1 103から取得した 付加メタデータをデータベース 1030側へ出力する（ステップ S 1405)。
[0126] ここで、ステップ S 1402のフォーカス平面メタデータ導出動作について図 26 , 27を 用いて説明する。図 26は、フォーカス平面について説明するための図である。フォー カス平面とは、撮影を行う際に焦点、いわゆるピントを合わせた撮像領域を示す矩形 の平面であり、矩形の 4隅の座標値 (境界座標と称する）で表現することができる。図 に示すように、撮像装置 (カメラ）からフォーカス平面までの距離は、フォーカス距離、 即ち焦点距離で決定され、また、矩形の大きさは、カメラの画角で決定される。矩形 の中心はフォーカス点となる。
[0127] 図 27に示す付加情報生成装置のフォーカス平面導出動作手順を示すフローチヤ ートを説明する。はじめに、フォーカス平面メタデータ導出手段 1 102は、センシング メタデータを取得する（ステップ S 1501)。
[0128] カメラの任意時点におけるセンシング情報力 図 26に示すようにカメラ位置（a，b，c) 、方位角ひ度、仰角 /3度、画角 2 γ度、フォーカス距離 L(m)である場合、カメラ位置（ a，b，c)を基点としたカメラの向きベクトルは、方位角ひ度、仰角 /3度から求めることが できる。前記センシング情報により、カメラの向きベクトルは（_sin ひ cos j3 , cos a cos β ,sin /3 )となる。前記求められたカメラの向きベクトルを（e,f，g)とする。カメラの向き ベクトノレ（e,f,g)はフォーカス平面を垂直に貫くためフォーカス平面の法線ベクトルと なる（ステップ S 1502)。
[0129] 次に、カメラ向きベクトル (e，f，g)とカメラ位置（a,b,c)から、カメラ位置（a,b,c)とフォー カス点を通る直線の方程式が導出できる。この直線の方程式は媒介変数 zを用いると (ez,fz，gz)と表すことができる。この直線の方程式から、当該直線上にあり、カメラ位置 (a,b,c)力 の距離が Lである座標をフォーカス点として導出可能である。求めるため の式は L=^(ez-a) 2+(fe_b) 2+(gZ-C) 2となり、この式から媒介変数 zを導出する。 L=^(e z-a) 2+(fz-b) 2+(gz-c) 2を解くと、 z= { (ae+bf+cg)土 (ae+bf+cg) 2 -(e+f+g)(a +b2+c2-L2) } /(e+f+g)となり、フォーカス点は（ez，fz,gz)に上記求めた zを代入したものとなる（ステツ プ S 1503)。
[0130] 前記求めたフォーカス点を（h,i，j)とすると、法線ベクトル（e，f,g)とフォーカス点（h，i,j) よりフォーカス平面の方程式を導出することができる。フォーカス平面の方程式は ex+f y+gz=eh+fi+gjとなる（ステップ S 1504)。
[0131] 画角 2 γ度より、カメラ位置 (a,b，c)からフォーカス平面の境界座標までの距離はしん os γとなる。ここで境界座標は、カメラ位置（a,b，c)を中心とする半径 Lん os yの球上 に存在し、なおかつ上記で求めたフォーカス平面上に存在する座標であると言える。 カメラ位置（a，b，c)を中心とする半径 Lん os γの球の方程式は、（x_a) 2 +(y_b) 2 +(z_c) 2 =(L/cos y )"である。
[0132] ここで、カメラが撮影する平面の特徴として、水平はずれない（つまり、平面の上辺 は高さ（z軸）一定、下辺も高さ (z軸)一定）ということと、フォーカス平面は縦と横の長さ の比が決まってレ、るとレ、うことを方程式と解くための条件として用いる。 zが一定である (つまり、平面の上辺は高さ（z軸）一定、下辺も高さ (z軸)一定）ことにより、 zを 2つのィ直 zl，z2と置くことができる。これにより導き出される方程式は、 ex+fy+gzl=eh+fi+gj, ex+fy +gz2=eh+fi+gj, (x-a) 2 + (y-b) 2 +(zl_c) 2=(Lん os y† (x_a) 2 + (y-b) 2 +(z2- c) 2=(Lん os γ )2となる。
[0133] この 4つの方程式を解くと x,yの値をそれぞれ zl，z2で表した 4つの境界座標を導くこ とができる。まず、 zが zlの場合である ex+fy+gzl=eh+fi+gjと (X- a) 2 +(y-b) 2 +(zl- c) 2=(L /cos y†について考える。簡単化のため、 eh+fi+gj- gzl=A， (zl- c) 2=B, (L/cos y†=C と置くと + +8 1=八 -&) 2 + _13) 2 +8=じとなる。さらにこの 2つの方程式から xを消去 し、 A_ea=D, e (B- C)=E, e +f =F,_(2DF+2be2)=G， eV+E二 Hと置くと、 Fy 2 +Gy+H=0 となり yの値は y=(_G土 G 2 -4FH)となる。
Figure imgf000030_0001
2 _4FH)/2F) を求めることができる。簡単化のため、求めた x，yをそれぞれ X1，Y1 ,Χ2,Υ2とする。
[0134] 次に ζが ζ2の場合である ex+fy+gz2=eh+fi+gj, (x-a) 2 + (y-b) 2 +(z2_c) 2=(Lん os γ )2に ついても x,yを求める。ここでは、 z2の場合の導出方法は zlの場合と同様であるため 説明は省略する。求めた x，yをそれぞれ X3，Y3 ,Χ4,Υ4とする。よって 4つの境界座標 は (Χ1，Υ1，Ζ1) (Χ2,Υ2,Ζ1) (Χ3,Υ3,Ζ2) (Χ4，Υ4,Ζ2)となる。
[0135] ここで、フォーカス平面は横と縦の長さの比が決まっている（ここでは、横：縦 =P:Qと する）ことより、上辺の長さ：右辺の長さ = P:Q、下辺の長さ：左辺の長さ = P:Qを導くこ とができる。ここで模式的に (ΧΙ,ΥΙ,ΖΙ) (Χ2,Υ2,Ζ1) (Χ3,Υ3,Ζ2) (Χ4,Υ4，Ζ2)を左上 (XI ,ΥΙ,ΖΙ)右上 (Χ2,Υ2，Ζ1)左下 (Χ3,Υ3，Ζ2)右下 (Χ4，Υ4,Ζ2)とする。上辺の長さ = (Χ1 -Χ2) 2+(Υ1-Υ2) 2、右辺の長さ = (Χ2-Χ4) 2+(Υ2-Υ4) 2+(Ζ1-Ζ2) 2、下辺の長さ = (Χ3 -Χ4) 2+(Υ3-Υ4) 2、左辺の長さ = (Χ1-Χ3) 2+(Υ1-Υ3) 2+(Ζ1-Ζ2) 2より、 ^(Xl-X2) 2+(Υ 1-Y2) 2： (X2-X4) 2+(Y2-Y4) 2+(Z1-Z2) 2=P:Q、 (X3-X4) 2+(Y3_Y4) 2： (X1-X3) 2 +(Y1-Y3) 2+(Z1-Z2) 2=P:Qとなり、 2つの方程式を得ることができる。左上 (ΧΙ,ΥΙ,ΖΙ) 右上 (Χ2,Υ2，Ζ1)左下 (Χ3,Υ3，Ζ2)右下 (Χ4,Υ4，Ζ2)は zl,z2で表された値である。このた め、簡単化のための置き換えを元に戻すことにより、 ^(X1-X2) 2+(Y1-Y2) 2 : (X2- X4) 2+(Υ2-Υ4) 2+(Ζ1-Ζ2) 2=P:Q、 (Χ3-Χ4) 2+(Υ3-Υ4) 2： (X1-X3) 2+(Υ1_Υ3) 2+(Ζ1_ Z2) 2=P:Qから zl，z2についての連立方程式を得ることができ、 zl,z2を求めることがで きる。 zl,z2の式は、複雑なためここでは記載を省略する。求めた zl,z2を左上 (ΧΙ,ΥΙ, Zl)右上 (X2，Y2,Z1)左下 (Χ3，Υ3,Ζ2)右下 (Χ4，Υ4,Ζ2)に代入することにより、境界座 標を得ることができる。求めた境界座標を左上 (k,l，m)右上 (η,ο,ρ)左下 (q,r,s)右下 (t ,u,v)とする（ステップ S505)。
[0136] 最後に、フォーカス平面メタデータ導出手段 1102は、算出した 4点の境界座標情 報を映像アドレス毎にセンシングメタデータに追記して、フォーカス平面メタデータと して生成する（ステップ S 1506)。
[0137] ここで、実際に図 24のセンシングメタデータを用いて、フォーカス平面と境界座標 の導出方法を説明する。この説明で用いる図 24のセンシングメタデータは、映像アド レス「00 : 00 : 00 : 01」のカメラ位置（1, 0，0)、方位角.仰角「_ 90度、 0度」、画角「90 度」、フォーカス距離「lm」である。まず、方位角'仰角「_ 90度、 0度」を大きさ 1の x,y ,ζ成分に分解し、カメラ位置（1,0,0)との差分によりカメラの向きを示すベクトルは (-1， 0,0)となる。このカメラの向きを示すベクトルはフォーカス平面の法線ベクトルとなる。 [0138] 次に法線べクトノレ (_1，0，0)とカメラ位置（1,0,0)より、法線ベクトルが（-1,0,0)でカメラ 位置（1,0,0)を通る直線の方程式を求めることができる。直線の方程式は y=0，z=0とな る。この直線上にあり、カメラ位置（1，0，0)力 フォーカス距離力 である座標、つまりフ オーカス点の座標は、前記直線の方程式 y=0，z=0とフォーカス距離 = 1より (0,0,0)とな る。
[0139] 次にフォーカス点の座標（0，0，0)と法線べクトノレ（-1,0,0)よりフォーカス平面の方程 式を導出する。フォーカス点の座標（0，0，0)と法線ベクトル（-1,0,0)よりフォーカス平 面の方程式は x=0となる。
[0140] また、画角が 90度であることからフォーカス平面上の境界座標までの距離は、 1ん os 45° 、つまり 2となる。ここで、境界座標は半径 2で中心をカメラ位置（1,0,0)とす る球上、かつフォーカス平面上にあると言える。半径 2で中心をカメラ位置（1,0,0)と する球の方程式は (x-l)2+y2+z2=2である。球の方程式 (x-l)2+y2+z2=2とフォーカス平面 の方程式 x=0より、 y2+z2=lを導くことができる。さらにカメラの映し出す画面サイズは縦 と横の比率が 4 : 3であるとすると、 z=4/3yとすることができ、 y2+z2=lと z=4/3yと解くこと により y= ± 3/5， z= ± 4/5を導くことができる。よって境界座標は（0,3/5,4/5) , (0,-3/5, 4/5) , (0,-3/5,-4/5) , (0,3/5,-4/5)となる。
[0141] 図 28は、生成されるフォーカス平面メタデータのデータ構造を模式的に示す図で ある。映像アドレス毎に、フォーカス平面境界座標及びフォーカス平面方程式が記録 されている。図 28では、図 24で示した映像アドレス「00 : 00 : 00 : 01」に上記で導出 された「フォーカス平面境界座標」と「フォーカス平面方程式」の項目が追加され、「フ オーカス平面境界座標」には「（0,3/5,4/5)， (0 -3/5,4/5) , (0，- 3/5,- 4/5) , (0,3/5 - 4/5)」が、「フォーカス平面方程式」には「x=0」が入力されている。フォーカス平面メタ データを各画像に付与することにより、後述する画像のグルーピングが可能となる。
[0142] 次に、ステップ S 1404の付カロメタデータの生成動作について図 29を用いて説明す る。図 29は、付加情報生成装置の付加メタデータ生成動作手順を示すフローチヤ一 トである。はじめに、グルーピング判定手段 1103は、すべての映像の全フレームのフ オーカス平面メタデータの情報 (方程式）、境界座標を取得し (ステップ S 1601)、全 フレームの組み合わせ Nパターンを導出する（ステップ S 1602)。 [0143] 図 30は、全フレームの組み合わせのイメージを示す図である。図 30 (a)に示すフレ ーム 1〜3からなる映像 Aとフレーム 1〜3からなる映像 Bとの全フレームの組合せを図 30 (b)に示す。たとえば、映像 Aのフレーム 1については、映像 Bのフレーム 1との組 み合わせ（第 1パターン）、映像 Bのフレーム 2との組み合わせ（第 2パターン）、映像 B のフレーム 3との組み合わせ（第 3パターン）の 3パターンとなる。同様に、映像 Aのフ レーム 2につレ、ては第 4〜第 6パターン、映像 Aのフレーム 3につレ、ては第 7〜第 9パ ターンの組合せとなる。
[0144] 次に、組み合わせのパターン番号 Nを 1に初期化し（ステップ S 1603)、グルーピン グ判定手段 1103は、第 Nパターンについてグルーピング判定動作を実行し、付加メ タデータを生成する (ステップ S1604)。次に、グルーピング判定手段 103は、生成し た付加メタデータをメタデータ記録手段 1104へ出力する（ステップ S1605)。その後 、定数 Nを 1だけインクリメントし (ステップ S1606)、グノレーピング判定手段 1103は、 次の組み合わせパターン（第 Nパターン）があるか否かを判定する（ステップ S 1607) 。次の組み合わせパターンがある場合はステップ S 1604へ戻り、付加メタデータ生成 動作を繰り返す。一方、次の組み合わせパターンがない場合は付加メタデータ生成 動作を終了する。
[0145] ここでステップ S1604のグルーピング判定動作について図 31 , 32を用いて説明す る。グルーピング判定動作とは、撮影した複数の映像データの中から、所定の判定条 件に基づいて、同一被写体を撮影した映像データをグループ分けする動作である。 実施の形態 3では、フォーカス平面が互いに交差する画像を同一のグループに分け る。すなわち、実施の形態 3では、グルーピングの判定条件として、「フォーカス平面 の交差判定」を行う。図 31は、フォーカス平面の交差判定を説明するための図である 。図に示すように、フォーカス平面が交差するカメラ (撮像装置）の映像データは、同 一の被写体を撮影している映像データであると判定し、フォーカス平面が交差しない 映像データは、異なる被写体を撮影してレ、る映像データであると判定する。
[0146] 図 32は、付加情報生成装置のグルーピング判定動作手順を示すフローチャートで ある。はじめに、グノレーピング判定手段 1103は、取得したすべてのフォーカス平面メ タデータについて、平面方程式の交線が境界座標内にあるか否かを判定する (ステ ップ S I 701)。そして、平面方程式の交線が境界座標内にある場合は、フォーカス平 面メタデータに、該当する映像識別子情報と nフレーム目を表す映像アドレスを追記 して付加メタデータとして生成する（ステップ S 1702)。
[0147] ここで、実際に図 28のフォーカス平面メタデータを用いて、グルーピング判定方法 を説明する。図 28のフォーカス平面メタデータには「映像識別子」として「012345」が 、 「フォーカス平面境界座標」として「（0,3/5,4/5) , (0,-3/5,4/5) , (0,-3/5,-4/5) , (0, 3/5,_4/5)」が、「フォーカス平面方程式」として「x=0」が入力されている。ここで別のフ オーカス平面メタデータとして「映像識別子」が「543210」、 「フォーカス平面境界座標 」が「（3/5,0,4/5)， (-3/5,0,4/5) , (-3/5,0,-4/5)， （3/5,0,-4/5)」、 「フォーカス平面 方程式」が「y=0」であるものが存在すると仮定する。まず、フォーカス平面の方程式は 「x=0」と「y=0」であるため、その交線の方程式は「x=0,y=0」となる。
[0148] 次に平面方程式の交線が境界座標内にあるか否かを判定する。求められた交線の 方程式「x=0，y=0」は 2平面「x=0」「y=0」の境界座標「（0,3/5,4/5)， (0,-3/5,4/5) , (0, -3/5,-4/5) , (0,3/5,-4/5)」と「（3/5, 0,4/5)， (-3/5,0,4/5) , (-3/5,0,-4/5) , (3/5,0, -4/5)」から表される境界範囲- 3/5≤x≤ 3/5、 _3/5≤y≤3/5、 _4/5≤z≤4/5をにお いて、 -4/5≤z≤4/5の間で x=0，y=0となり境界範囲- 3/5≤x≤3/5、 _3/5≤y≤3/5、 - 4/5≤z≤4/5の内部にあると判断できるため、この 2つのフォーカス平面は交差して いる、つまり同一の被写体を撮影している映像データであると判定し、「映像識別子」 が「012345」であるフォーカス平面メタデータには映像識別子「543210」を追記して付 カロメタデータとして生成する。また、「映像識別子」が「543210」であるフォーカス平面 メタデータには映像識別子「012345」を追記して付加メタデータとして生成する。
[0149] 図 33は、生成されるメタデータのデータ構造を模式的に示す図である。同じ被写体 を撮影した他の映像データを特定可能な素材 IDと、映像データの相対位置を特定 可能な映像アドレスと、を含む付加情報が映像アドレス毎に記録されている。図 33で は、図 28で示した映像アドレス「00： 00： 00： 01」に上記で導出された「付加情報」の 項目が追加され、「付加情報」には「素材 ID:543210、映像アドレス 00： 00： 00： 01」が 入力されている。
[0150] 以上によりメタデータは、対応する映像データと関連付けして記録されるので、メタ データを利用して、映像検索装置 1040により、異なる時刻に同じ被写体を撮影した 映像データを検索して抽出することができる。
[0151] なお、本実施の形態では、撮影装置と付加情報生成装置が別々である構成例を示 したが、撮影装置に、センシングメタデータ取得手段とフォーカス平面メタデータ導出 手段を備えるように構成してもよレヽ。
[0152] なお、本実施の形態では、映像識別子を用いて映像データと各種メタデータの対 応を計っているが、各種メタデータをストリーム化し、映像データに多重化することに よって、映像識別子を使用しないようにしてもよい。
[0153] なお、グルーピング判定時には、ピントが合ったように見える被写体の前後の範囲 である被写界深度に従ってフォーカス距離を伸縮し、フォーカス距離毎にフォーカス 平面を算出してグノレーピング判定を行ってもよい。
[0154] したがって、単一のカメラで異なる時刻に撮影した映像をグルーピングできるため、 たとえば、一般ユーザが撮影した写真や映像をデータベースに登録すると、自動的 に被写体の存在する場所別にグルーピングできるため、映像の編集などを行う際の 作業負担を大幅に改善することができる。
[0155] なお、以上の説明では、フォーカス平面を用いて画像をグルーピングする例を示し た力 フォーカス平面メタデータを各画像に付与することにより、画像のグノレーピング 以外の用途にも利用可能である。
[0156] 本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲 を逸脱することなく様々な変更や修正をカ卩えることができることは当業者にとって明ら かである。
本出願は、 2005年 5月 30日出願の日本特許出願（特願 2005— 157179)、 2006年 5月 26日出願の日本特許出願（特願 2006-146909)に基づくものであり、その内容はここ に参照として取り込まれる。
産業上の利用可能性
[0157] 本発明は、各画像に、フォーカス平面の位置をメタデータとして付与することにより 、フォーカス平面の位置関係に基づいて各画像のグノレープ分けを行えば、画像分析 によりグノレープ分けを行う従来の手法と比べて処理負荷を低減できる為、同一の領 域を撮影した画像の検索及び抽出を低負荷且つ容易に行うことが可能になる効果を 有し、撮像装置で撮影された画像にメタデータを付与するメタデータ付与装置及びメ タデータ付与方法等に有用である。

Claims

請求の範囲
[1] 撮像装置で撮影された画像にメタデータを付与するメタデータ付与装置であって、 前記撮像装置の撮影条件に関するセンサ情報を取得するセンシング情報取得手 段と、
取得したセンサ情報に基づレ、て、前記撮像された画像の撮像面であるフォーカス 平面の位置を導出するフォーカス平面導出手段と、
導出したフォーカス平面の位置を、前記撮像された画像にメタデータとして付与す るメタデータ付与手段と、
を備えるメタデータ付与装置。
[2] 各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うグルーピ ング手段と、
グループ分けした結果を付加情報として前記画像に関連付けて記録する付加情報 記録手段と、
を備える請求項 1記載のメタデータ付与装置。
[3] 前記グルーピング手段は、フォーカス平面が互いに交差する画像を同一のグルー プに分ける請求項 2記載のメタデータ付与装置。
[4] 前記グルーピング手段は、フォーカス平面の位置情報を記憶した表に基づいて、 当該位置情報にフォーカス平面が含まれる各画像を同一のグノレープに分ける請求 項 2記載のメタデータ付与装置。
[5] 撮像装置で撮影された画像にメタデータを付与するメタデータ付与方法であって、 前記撮像装置の撮影条件に関するセンサ情報を取得するセンシング情報取得ステ ップと、
取得したセンサ情報に基づレ、て、前記撮像された画像の撮像面であるフォーカス 平面の位置を導出するフォーカス平面導出ステップと、
導出したフォーカス平面の位置を、前記撮像された画像にメタデータとして付与す るメタデータ付与ステップと、を有するメタデータ付与方法。
[6] 各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うグルーピ ングステップと、 グループ分けした結果を付加情報として前記画像に関連付けて記録する付加情報 記録ステップと、
を有する請求項 5記載のメタデータ付与方法。
[7] 前記グルーピングステップは、フォーカス平面が互いに交差する画像を同一のダル ープに分ける請求項 6記載のメタデータ付与方法。
[8] 前記グルーピングステップは、フォーカス平面の位置情報を記憶した表に基づいて
、当該位置情報にフォーカス平面が含まれる各画像を同一のグノレープに分ける請求 項 6記載のメタデータ付与方法。
PCT/JP2006/310782 2005-05-30 2006-05-30 メタデータ付与装置及びメタデータ付与方法 WO2006129664A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/915,947 US20090303348A1 (en) 2005-05-30 2006-05-30 Metadata adding apparatus and metadata adding method
EP06747010A EP1887795A1 (en) 2005-05-30 2006-05-30 Metadata adding apparatus and metadata adding method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005157179 2005-05-30
JP2005-157179 2005-05-30
JP2006-146909 2006-05-26
JP2006146909A JP2007013939A (ja) 2005-05-30 2006-05-26 メタデータ付与装置及びメタデータ付与方法

Publications (1)

Publication Number Publication Date
WO2006129664A1 true WO2006129664A1 (ja) 2006-12-07

Family

ID=37481593

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/310782 WO2006129664A1 (ja) 2005-05-30 2006-05-30 メタデータ付与装置及びメタデータ付与方法

Country Status (4)

Country Link
US (1) US20090303348A1 (ja)
EP (1) EP1887795A1 (ja)
JP (1) JP2007013939A (ja)
WO (1) WO2006129664A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908057A (zh) * 2009-06-04 2010-12-08 佳能株式会社 信息处理装置与信息处理方法
JP2012169844A (ja) * 2011-02-14 2012-09-06 Sony Corp 撮像装置、情報処理装置、及び撮像領域の共有判定方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7836093B2 (en) * 2007-12-11 2010-11-16 Eastman Kodak Company Image record trend identification for user profiles
JP5188201B2 (ja) 2008-02-25 2013-04-24 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
JP5024181B2 (ja) * 2008-05-21 2012-09-12 カシオ計算機株式会社 撮像装置、及び画像表示方法、画像表示プログラム
WO2010055638A1 (ja) * 2008-11-13 2010-05-20 パナソニック株式会社 映像データ作成装置、映像データ作成方法、および、映像データ作成用のプログラムとその記録媒体、集積回路
JP4560128B1 (ja) * 2009-08-13 2010-10-13 株式会社パスコ 地図画像統合データベース生成システム及び地図画像統合データベース生成プログラム
KR101786050B1 (ko) * 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 전송 방법 및 장치
JP5071535B2 (ja) * 2010-08-24 2012-11-14 日本電気株式会社 特徴情報付加システム、装置、方法およびプログラム
EP2887352A1 (en) * 2013-12-19 2015-06-24 Nokia Corporation Video editing
KR102189298B1 (ko) * 2014-03-21 2020-12-09 한국전자통신연구원 파노라마 영상 생성을 위한 시스템 및 방법
DE102014216702A1 (de) 2014-08-22 2016-02-25 Siemens Aktiengesellschaft Reformatierung unter Berücksichtigung der Anatomie eines zu untersuchenden Objekts
EP3016106A1 (en) * 2014-10-27 2016-05-04 Thomson Licensing Method and apparatus for preparing metadata for review
JP7303625B2 (ja) * 2018-12-18 2023-07-05 キヤノン株式会社 画像ファイル生成装置、画像ファイル生成方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11352601A (ja) * 1998-06-10 1999-12-24 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置
JP2003274343A (ja) * 2002-03-14 2003-09-26 Konica Corp カメラ、画像処理装置、及び画像処理方法
JP2004356984A (ja) 2003-05-29 2004-12-16 Casio Comput Co Ltd 撮影画像処理装置およびプログラム
JP2005086238A (ja) * 2003-09-04 2005-03-31 Casio Comput Co Ltd 画像撮影装置およびプログラム
JP2005157179A (ja) 2003-11-28 2005-06-16 Fuji Xerox Co Ltd 定着装置、およびそれを用いた画像形成装置
JP2006146909A (ja) 2004-11-15 2006-06-08 Heidelberger Druckmas Ag 電子制御システムにおける入力署名

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4764536B2 (ja) * 1998-11-17 2011-09-07 株式会社リコー 画像計測機器
US8538997B2 (en) * 2004-06-25 2013-09-17 Apple Inc. Methods and systems for managing data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11352601A (ja) * 1998-06-10 1999-12-24 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置
JP2003274343A (ja) * 2002-03-14 2003-09-26 Konica Corp カメラ、画像処理装置、及び画像処理方法
JP2004356984A (ja) 2003-05-29 2004-12-16 Casio Comput Co Ltd 撮影画像処理装置およびプログラム
JP2005086238A (ja) * 2003-09-04 2005-03-31 Casio Comput Co Ltd 画像撮影装置およびプログラム
JP2005157179A (ja) 2003-11-28 2005-06-16 Fuji Xerox Co Ltd 定着装置、およびそれを用いた画像形成装置
JP2006146909A (ja) 2004-11-15 2006-06-08 Heidelberger Druckmas Ag 電子制御システムにおける入力署名

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908057A (zh) * 2009-06-04 2010-12-08 佳能株式会社 信息处理装置与信息处理方法
JP2012169844A (ja) * 2011-02-14 2012-09-06 Sony Corp 撮像装置、情報処理装置、及び撮像領域の共有判定方法

Also Published As

Publication number Publication date
US20090303348A1 (en) 2009-12-10
EP1887795A1 (en) 2008-02-13
JP2007013939A (ja) 2007-01-18

Similar Documents

Publication Publication Date Title
WO2006129664A1 (ja) メタデータ付与装置及びメタデータ付与方法
JP4750859B2 (ja) データ処理装置、方法、記録媒体
US11315340B2 (en) Methods and systems for detecting and analyzing a region of interest from multiple points of view
US11830142B2 (en) Capture of raw augmented reality data and subsequent 3D mesh generation
JP2001290820A (ja) 映像収集装置、映像検索装置および映像収集検索システム
JP2008099268A (ja) 物理的な相対位置に基づく写真上のｉｄタギング装置および方法
KR101304454B1 (ko) 3d 갤러리 생성 장치 및 방법
WO2013093175A1 (en) A method, an apparatus and a computer program for determination of an audio track
KR101574636B1 (ko) 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템
JP2017201261A (ja) 形状情報生成システム
TW200806027A (en) Imaging/reproducing device
JP6305579B1 (ja) 撮影情報生成装置、撮影情報生成方法、撮像装置、フレームデータ検索装置及び自動追尾撮影システム
KR101296601B1 (ko) 지리 정보 파노라마 사진의 제작을 위한 카메라 제어 시스템 및 방법
JP2007188117A (ja) 崩壊地抽出方法、装置及びプログラム
CN101204088A (zh) 元数据添加装置和元数据添加方法
US11394882B2 (en) Display control device, display control method, and program
US11830213B2 (en) Remote measurements from a live video stream
JP6388532B2 (ja) 画像提供システムおよび画像提供方法
JPH10243263A (ja) 画像データ処理システムおよび画像処理装置
WO2020179439A1 (ja) 変位検出方法、撮影指示方法、変位検出装置及び撮影指示装置
GB2553659A (en) A System for creating an audio-visual recording of an event
JP2004260591A (ja) 立体映像表示装置
JP2003244488A (ja) 画像情報付加装置及びシステム
JP2008152374A (ja) 画像システム、撮影方位特定装置、撮影方位特定方法、プログラム
CN108347596B (zh) 一种基于反馈的激光引导扫描系统和方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680019174.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11915947

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2006747010

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006747010

Country of ref document: EP