WO2013103151A1 - 電子機器、情報生成方法、及び位置推定方法 - Google Patents

電子機器、情報生成方法、及び位置推定方法 Download PDF

Info

Publication number
WO2013103151A1
WO2013103151A1 PCT/JP2013/050009 JP2013050009W WO2013103151A1 WO 2013103151 A1 WO2013103151 A1 WO 2013103151A1 JP 2013050009 W JP2013050009 W JP 2013050009W WO 2013103151 A1 WO2013103151 A1 WO 2013103151A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
electronic device
rhythm information
moving image
dimensional
Prior art date
Application number
PCT/JP2013/050009
Other languages
English (en)
French (fr)
Inventor
知巳 高階
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Publication of WO2013103151A1 publication Critical patent/WO2013103151A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to an electronic device, an information generation method, and a position estimation method.
  • This application claims priority based on Japanese Patent Application No. 2012-000178 filed on January 4, 2012 and Japanese Patent Application No. 2012-000179 filed on January 4, 2012, the contents of which are incorporated herein by reference. Incorporate.
  • Patent Document 1 Conventionally, a technique for extracting a predetermined object (for example, a human face) from a moving image by pattern matching has been disclosed (for example, see Patent Document 1). According to Patent Document 1, an imaging area of a predetermined object can be shown on the display screen.
  • a predetermined object for example, a human face
  • Patent Document 1 has a problem in that the objects cannot be compared with each other because the movement of the objects is not digitized (indexed). Furthermore, since the objects cannot be compared with each other, various application processes (for example, object grouping based on the object similarity, imaging devices based on the object similarity based on each image capturing device) And the extraction of objects similar to the reference object) cannot be realized.
  • Patent Document 2 for example, tracking an object whose movement direction suddenly changes such as a reciprocating movement is not considered.
  • An object of one embodiment of the present invention is to provide an electronic device and an information generation method capable of extracting a numerical value (index) indicating the movement of an object that can easily compare the objects.
  • Another object is to provide an electronic device and a position estimation method capable of accurately estimating the position of an object that is a periodic movement such as a reciprocating motion and suddenly changes its traveling direction.
  • An electronic apparatus captures an object from a viewpoint different from that of the imaging unit in synchronization with imaging of the imaging unit that captures an object, a moving image captured by the imaging unit, and imaging of the imaging unit And a three-dimensional rhythm information generating unit that generates three-dimensional rhythm information indicating temporal changes of the object in three dimensions based on the moving image.
  • an information generation method in which an electronic device captures a moving image of an object, and the electronic device captures the moving image captured by the electronic device from a different viewpoint in synchronization with the imaging. Generating three-dimensional rhythm information indicating a temporal change of the object in three dimensions based on the moving image obtained by capturing the image.
  • An electronic apparatus generates an object extraction unit that extracts a specific object from each image frame of a moving image, and rhythm information that indicates a periodic movement of the object extracted by the object extraction unit
  • a rhythm information generation unit that performs, and an object position estimation unit that estimates the position of the object in the next image frame based on the rhythm information generated by the rhythm information generation unit and the position of the object in the current image frame; It is characterized by providing.
  • the position estimation method includes a step in which an electronic device extracts a specific object from each image frame of a moving image, and a rhythm in which the electronic device indicates a periodic movement of the extracted object. Generating information, and estimating the position of the object in the next image frame based on the generated rhythm information and the position of the object in the current image frame. It is characterized by.
  • a numerical value (three-dimensional rhythm information) indicating the object itself can be easily acquired from the object. Moreover, it is possible to easily compare objects using this numerical value. Furthermore, the comparison results between objects can be applied to various application processes (for example, object grouping based on object similarity, imaging device grouping based on object similarity by each imaging device, object similar to a reference object) Extraction).
  • FIG. 1 shows the structure of the rhythm information extraction system by the 1st Embodiment of this invention. It is a block diagram which shows the function structure of the electronic device by 1st Embodiment. It is explanatory drawing for demonstrating operation
  • FIG. 1 is a diagram showing a configuration of a rhythm information extraction system according to the present embodiment.
  • the rhythm information extraction system includes a plurality of electronic devices 1.
  • Each electronic device 1 includes an imaging unit that images a subject.
  • Each electronic device 1 images the object OBT as a subject from different viewpoints.
  • the eight electronic devices 1 image the object OBT from different viewpoints.
  • the object OBT in this example is a person and is moving on foot.
  • the distance between each electronic device 1 and the object OBT is substantially equal.
  • a code from a to h is assigned to each of the eight electronic devices 1 and described as electronic devices 1a, 1b, 1c, 1d, 1e, 1f, 1g, 1h. Note that items common to the electronic devices 1a to 1h are omitted from the symbols a to h and simply referred to as “electronic device 1” or “each electronic device 1”.
  • an XYZ orthogonal coordinate system is used in which the imaging direction of the electronic device 1g is the X direction, the imaging direction of the electronic device 1e orthogonal to the X direction is the Y direction, and the X direction and the direction orthogonal to the Y direction are the Z direction.
  • one electronic device 1a serving as a master transmits data indicating the start of imaging and data indicating the end of imaging to the other electronic devices 1b to 1h, so that eight electronic devices 1a are obtained.
  • ⁇ 1h captures a moving image of the object OBT in time synchronization (that is, simultaneously).
  • Each of the electronic devices 1b to 1h transmits the image data of the moving image captured by each of the electronic devices 1b to 1h to the electronic device 1a that is the master.
  • the electronic device 1a as the master calculates the parallax angle between the own device and each of the electronic devices 1b to 1h based on the position information of the own device and the position information of each of the electronic devices 1b to 1h.
  • the positional relationship between the electronic device 1a and the object OBT is set in advance.
  • the electronic device 1a may calculate the positional relationship between the electronic device 1a and the object OBT based on the imaging result.
  • the electronic device 1a generates a three-dimensional shape of the object OBT based on the plurality of moving images captured by each electronic device 1 and the parallax angles between the own device and each of the electronic devices 1b to 1h.
  • the electronic device 1a produces
  • the three-dimensional rhythm information is data indicating the periodic movement of the object OBT in three dimensions.
  • each electronic device 1 may be held by a user or may be stationary.
  • the user may hold the electronic device 1a that is the master, and the other electronic devices 1b to 1h may be deferred.
  • each user may hold each electronic device 1.
  • FIG. 2 is a block diagram illustrating a functional configuration of the electronic apparatus 1 according to the present embodiment.
  • the electronic device 1 includes a control unit 10, an imaging unit 11, a wireless unit 12, a position information acquisition unit 13, a storage unit 14, a display unit 15, and an operation unit 16.
  • the imaging unit 11 captures a subject (object OBT) and generates image data of a moving image or a still image.
  • the wireless unit 12 communicates with another electronic device 1 by, for example, a wireless LAN (Local Area Network).
  • the position information acquisition unit 13 includes a GPS (Global Positioning System) and acquires position information of the device itself.
  • the storage unit 14 includes a ROM (Read Only Memory) and a RAM (Random Access Memory), and stores various data.
  • the display unit 15 is, for example, a liquid crystal display or an organic EL panel, and displays an image or the like.
  • the operation unit 16 includes a touch panel or the like installed on the display unit 15 and receives an operation input from the user.
  • the operation unit 16 specifies the object OBT from the moving image captured by the imaging unit 11.
  • the operation unit 16 displays a moving image captured by the imaging unit 11 on the display unit 15 and accepts designation of the object OBT from the user. In other words, the user designates the target object OBT by touching the displayed moving image.
  • the control unit 10 controls and controls each unit of the electronic device 1, and a moving image receiving unit 101, an object extracting unit 102, a three-dimensional shape generating unit 103, a three-dimensional rhythm information generating unit 104, and a moving image transmission Unit 105 and a synchronization control unit 106.
  • the moving image receiving unit 101 receives moving image image data and position information of the transmission source electronic device 1 from another electronic device 1, and receives the received image data and position information.
  • the data is output to the object extraction unit 102.
  • the moving image received by the moving image receiving unit 101 is obtained by imaging the object OBT in time synchronization with the imaging of the imaging unit 11.
  • the object extraction unit 102 extracts the object OBT from the moving image image data captured by the imaging unit 11 and the moving image image data input from the moving image reception unit 101.
  • the object extraction unit 102 extracts a main subject (for example, a person or an animal) from a moving image by pattern matching or the like and sets it as an object OBT.
  • the object extraction unit 102 extracts the object OBT specified by the operation unit 16.
  • the object extraction unit 102 outputs the image data of the moving image, the data indicating the extracted object OBT, and the position information of each electronic device 1 to the three-dimensional shape generation unit 103.
  • the three-dimensional shape generation unit 103 generates a three-dimensional shape of the object OBT based on the image data of the moving image of each electronic device 1 and the position information of each electronic device 1. Specifically, the three-dimensional shape generation unit 103 calculates the parallax angle of each moving image based on the position information of each electronic device 1. Then, the three-dimensional shape generation unit 103 generates a three-dimensional shape of the object OBT by, for example, the visual volume intersection method based on the calculated parallax angle of each moving image. Then, the 3D shape generation unit 103 outputs the generated 3D shape data of the object OBT to the 3D rhythm information generation unit 104.
  • the three-dimensional rhythm information generation unit 104 generates a three-dimensional periodic movement of the object OBT as three-dimensional rhythm information indicating a temporal change of the object OBT, and writes the generated three-dimensional rhythm information in the storage unit 14. . Details of the method of generating the three-dimensional rhythm information will be described later.
  • the moving image transmission unit 105 transmits the image data of the moving image captured by the imaging unit 11 and the position information acquired by the position information acquisition unit 13 to the electronic device 1 that is the master when the device itself is not the master. To do.
  • the synchronization control unit 106 synchronizes the imaging of the electronic device 1 in the rhythm information extraction system when the device is the master. Specifically, the synchronization control unit 106 transmits data indicating the start of imaging to the other electronic device 1 to cause the other electronic device 1 to start imaging, and causes the imaging unit 11 of its own apparatus to start imaging. Then, the synchronization control unit 106 transmits data indicating the end of imaging to the other electronic device 1 to end the imaging to the other electronic device 1 and causes the imaging unit 11 of the own apparatus to end the imaging. When the synchronization control unit 106 receives data indicating the start of imaging from another electronic device 1 when the device itself is not the master, the synchronization control unit 106 causes the imaging unit 11 to start imaging. In addition, when receiving data indicating the end of imaging from the other electronic device 1, the synchronization control unit 106 ends imaging of the imaging unit 11.
  • FIGS. 3 to 7C are explanatory diagrams for explaining the operation of the three-dimensional rhythm information generation method according to the present embodiment.
  • the moving image Pa and the moving image Pc are moving images obtained by capturing the object OBT from different viewpoints in time synchronization.
  • the parallax angle with respect to the object OBT of the electronic device 1a and the electronic device 1c is 90 degrees.
  • Pa 1 shown in FIG. 3A is one frame (image frame) constituting the moving image Pa, and is captured by the electronic apparatus 1a at the moment when the person who is the subject shakes both hands and feet. is there.
  • Pa 3 shown in FIG. 3C is one frame (image frame) constituting the moving image Pa, and is captured by the electronic device 1a at the moment when the person who is the subject swings down both hands and feet. is there.
  • Pa 2 shown in FIG. 3B is one frame (image frame) between the image frame Pa 1 and the image frame Pa 3 .
  • Pc 1 shown in FIG. 3D is one frame (image frame) constituting the moving image Pc, and is captured by the electronic device 1c at the timing (same time) synchronized with the image frame Pa 1. It is.
  • Pc 3 shown in FIG. 3 (f) is a first frame constituting a moving image Pc (image frame), in which is captured by the electronic device 1c in the image frame Pa 3 synchronized timing (the same time) .
  • Pc 2 shown in FIG. 3 (e) is one frame (image frame) between the image frame Pc 1 and the image frame Pc 3 , and is synchronized with the image frame Pa 2 by the electronic device 1c at the same timing (same time). It was taken.
  • the object extraction unit 102 of the electronic device 1a extracts the object OBT from the moving image Pa and the moving image Pc, respectively.
  • the object extraction unit 102 extracts a person who is a subject from the moving images Pa (Pa 1 , Pa 2 , Pa 3 ) shown in FIGS. 3 (a) to 3 (c) as an object OBT.
  • a person as a subject is extracted as an object OBT from the moving images Pc (Pc 1 , Pc 2 , Pc 3 ).
  • the object extraction unit 102 of the electronic device 1a extracts a graphic indicating the area of the object OBT (hereinafter referred to as an object graphic) from each moving image (moving image Pa, Pc).
  • an object graphic a graphic indicating the area of the object OBT
  • the object extraction unit 102 from the moving image Pa (Pa 1 , Pa 2 , Pa 3 ), displays an object graphic (Ea 1 , Ea 1 , Ea 2 , Ea 3 ) are extracted.
  • Ea 1 shown in FIG. 4A is a circumscribed rectangle that circumscribes the object OBT extracted from the image frame Pa 1 shown in FIG. Ea 2 shown in FIG.
  • FIG. 4B is a circumscribed rectangle that circumscribes the object OBT extracted from the image frame Pa 2 shown in FIG.
  • Ea 3 shown in FIG. 4C is a circumscribed rectangle circumscribing the object OBT extracted from the image frame Pa 3 shown in FIG.
  • FIG. 4 (d) a comparison of the respective size of the circumscribed rectangle Ea 1, Ea 2, Ea 3 .
  • the object extraction unit 102 from the moving image Pc (Pc 1 , Pc 2 , Pc 3 ), shows an object graphic (Ec 1 , Ec 2 , Ec 3 ) are extracted.
  • Ec 1 shown in FIG. 5 (a) is a circumscribed rectangle circumscribing the object OBT extracted from the image frame Pc 1 shown in FIG. 3 (d).
  • Ec 2 shown in FIG. 5B is a circumscribed rectangle circumscribing the object OBT extracted from the image frame Pc 2 shown in FIG.
  • Ec 3 shown in FIG. 5C is a circumscribed rectangle that circumscribes the object OBT extracted from the image frame Pc 3 shown in FIG.
  • FIG. 5 (d) shows a comparison of the respective size of the circumscribed rectangle Ec 1, Ec 2, Ec 3 .
  • the shape of the object figure (circumscribed rectangle) extracted by the object extraction unit 102 Changes over time.
  • the three-dimensional shape generation unit 103 generates a three-dimensional shape of the object OBT.
  • the three-dimensional shape generation unit 103 generates a three-dimensional object graphic (E 1 , E 2 , E 3 ) indicating the region of the object OBT.
  • Figure 6 E 1 shown in (a) the circumscribed rectangle Ea 1 and 5 circumscribed cuboid that circumscribes the object OBT generated based on the circumscribing rectangles Ec 1 shown in (a) shown in FIG. 4 (a)
  • E 2 shown in FIG. 6B is a circumscribed cuboid circumscribing the object OBT generated based on the circumscribed rectangle Ea 2 shown in FIG. 4B and the circumscribed rectangle Ec 2 shown in FIG. 5B. It is.
  • E 3 shown in FIG. 6C is a circumscribed cuboid circumscribing the object OBT generated based on the circumscribed rectangle Ea 3 shown in FIG. 4C and the circumscribed rectangle Ec 3 shown in FIG. It is.
  • the three-dimensional shape generation unit 103 sets the length of the circumscribed rectangle (Ea 1 , Ea 2 , Ea 3 ) in the X direction as the length of the circumscribed cuboid (E 1 , E 2 , E 3 ),
  • the length of the circumscribed rectangle (Ec 1 , Ec 2 , Ec 3 ) in the Y direction is the length of the circumscribed rectangular parallelepiped (E 1 , E 2 , E 3 ) in the Y direction, and the circumscribed rectangle (Ea 1 , Ea 2 , Ea 3 )
  • the length in the Z direction of the circumscribed rectangle (Ec 1 , Ec 2 , Ec 3 ) is defined as the length in the Z direction of the circumscribed rectangular parallelepiped (E 1 , E
  • the three-dimensional rhythm information generation unit 104 includes a volume change amount, a length change amount of each side (in the case of a rectangular parallelepiped), and a length of each side of the object OBT extracted by the object extraction unit 102.
  • the change amount of the ratio (in the case of a rectangular parallelepiped), the change period of the volume, and the change period of each side (in the case of a rectangular parallelepiped) are generated as three-dimensional rhythm information indicating the temporal change of the object OBT.
  • the three-dimensional rhythm information is a numerical value (index) indicating the object itself because it indicates the temporal change of each object.
  • the three-dimensional rhythm information generation unit 104 acquires the value of one or more parameters from the parameters prm1 to prm12 exemplified below as the three-dimensional rhythm information.
  • the predetermined time in prm1 to prm12 is, for example, a time (for example, one period) based on the period of change in the shape of the three-dimensional object figure.
  • the X side is a side in the X direction
  • the Y side is a side in the Y direction
  • the Z side is a side in the Z direction.
  • prm1 is a difference between the maximum volume and the minimum volume of the three-dimensional object figure within a predetermined time.
  • prm2 is a volume ratio of the maximum volume and the minimum volume of the three-dimensional object figure within a predetermined time.
  • prm3-1 is a difference between the average volume and the maximum volume of the three-dimensional object figure within a predetermined time.
  • prm3-2 is a difference between the average volume and the minimum volume of the three-dimensional object figure within a predetermined time.
  • prm4-1 is the volume ratio of the average volume and the maximum volume of the three-dimensional object figure within a predetermined time.
  • prm4-2 is a volume ratio of the average volume and the minimum volume of the three-dimensional object figure within a predetermined time.
  • prm5 is a volume distribution state (eg, standard deviation) of the three-dimensional object figure within a predetermined time.
  • prm6 is a period of change in volume of the three-dimensional object figure within a predetermined time.
  • prm7-1 is the maximum change amount of the X side of the three-dimensional object figure within a predetermined time.
  • prm7-2 is the maximum change amount of the Y side of the three-dimensional object figure within a predetermined time.
  • prm7-3 is the maximum change amount of the Z side of the three-dimensional object figure within a predetermined time.
  • prm8-1 is a distribution state (eg, standard deviation) of the X side of the three-dimensional object figure within a predetermined time.
  • prm8-2 is a distribution state (eg, standard deviation) of the Y side of the three-dimensional object figure within a predetermined time.
  • prm8-3 is the distribution state (eg, standard deviation) of the Z side of the three-dimensional object figure within a predetermined time.
  • prm9-1 is a period of change of the X side of the three-dimensional object figure within a predetermined time.
  • prm9-2 is a change cycle of the Y side of the three-dimensional object figure within a predetermined time.
  • prm9-3 is a period of change of the Z side of the three-dimensional object figure within a predetermined time.
  • prm10 is the maximum amount of change in the XYZ ratio of the three-dimensional object figure within a predetermined time.
  • prm11 is an XYZ ratio distribution state (eg, standard deviation) of the three-dimensional object figure within a predetermined time.
  • prm12 is a period of change in the XYZ ratio of the three-dimensional object figure within
  • FIG. 7A is an example of a three-dimensional object figure sequentially generated by the three-dimensional shape generation unit 103.
  • the three-dimensional object figures E 1 , E 2 , E 3 shown in FIG. 7A indicate the three-dimensional object figure E 1 , the three-dimensional object figure E 2 , and the three-dimensional object figure E 3 shown in FIG.
  • “cycle” indicates a cycle of a change in the shape of a three-dimensional object figure of a subject (a person walking with a bag).
  • FIG. 7B shows the sizes of the three-dimensional object figures E 1 , E 2 , and E 3 measured by the three-dimensional shape generation unit 103.
  • the three-dimensional shape generation unit 103 calculates one or more predetermined parameters by calculating the length of each side of the three-dimensional object graphic, and a numerical value group including the calculated parameter values as elements, Generated as three-dimensional rhythm information of a subject (a person walking with a bag). For example, the three-dimensional shape generation unit 103 calculates parameters prm2, prm6, prm7-1, prm7-2, prm7-3, and prm10, and sets a numerical value group (prm2, prm6, prm7-1, prm7-2, prm7-3). , Prm10) is generated as the three-dimensional rhythm information of the subject (person walking with a bag).
  • the three-dimensional shape generation unit 103 may round the calculated parameter values as appropriate, or may substitute other values (scoring may be performed) so that the objects can be easily compared with each other later. ).
  • the three-dimensional shape generation unit 103 stores the acquired three-dimensional rhythm information in the storage unit 14. For example, as illustrated in FIG. 7C, the three-dimensional shape generation unit 103 stores the three-dimensional rhythm information in association with the identification information and the content.
  • the identification information is an index for specifying the three-dimensional rhythm information, and may be identification information for identifying an object related to the three-dimensional rhythm information, for example.
  • the content is information explaining the content of this three-dimensional rhythm information (or the content of this object), and is input by the user via the operation unit 16 provided in the electronic device 1, for example. .
  • FIG. 8 is a flowchart showing the procedure of the three-dimensional rhythm information generation process according to this embodiment.
  • the processing shown in this figure is performed by the electronic device 1a as a master.
  • the synchronization control unit 106 transmits data indicating the start of imaging to the other electronic devices 1b to 1h, and causes the imaging unit 11 to capture a moving image of the object OBT (step S101).
  • the synchronization control unit 106 transmits data indicating the end of imaging to the other electronic devices 1b to 1h in response to an instruction from the user via the operation unit 16, and stops imaging by the imaging unit 11.
  • the moving image receiving unit 101 receives the image data of the moving image of the object OBT imaged in synchronization with the imaging of the imaging unit 11 in step S101 and the position information of the transmission source electronic device 1 as another electronic device 1b. From 1h (step S102).
  • the object extraction unit 102 extracts object graphics of the object OBT from the moving image captured in step S101 and the moving image received in step S102 (step S103).
  • the three-dimensional shape generation unit 103 generates a three-dimensional shape (three-dimensional object graphic) of the object graphic extracted in step S103 based on the position information of each electronic device 1 (step S104).
  • the three-dimensional rhythm information generation unit 104 generates three-dimensional rhythm information based on the three-dimensional object graphic generated in step S104 (step S105), and writes the generated three-dimensional rhythm information in the storage unit 14. .
  • FIG. 9 is a flowchart illustrating a procedure of captured image transmission processing according to the present embodiment.
  • the processing shown in this figure is performed by electronic devices 1b to 1h other than the master.
  • the synchronization control unit 106 receives data indicating the start of imaging from the electronic device 1a as a master, the synchronization control unit 106 causes the imaging unit 11 to capture a moving image of the object OBT (step S201).
  • the synchronization control unit 106 stops imaging by the imaging unit 11.
  • the moving image transmission unit 105 transmits the image data of the moving image captured in step S201 and the position information of the device itself to the master electronic device 1a via the wireless unit 12 (step S202).
  • the object extraction unit 102 uses a rectangular parallelepiped as a three-dimensional object graphic.
  • another graphic such as a circumscribed sphere circumscribing the object OBT may be replaced with a rectangular parallelepiped and used as a three-dimensional object graphic.
  • the three-dimensional object graphic is a graphic other than a rectangular parallelepiped
  • the three-dimensional rhythm information generation unit 104 generates one or more parameters among the above-described parameters prm1 to prm6 as the three-dimensional rhythm information.
  • the object extraction unit 102 may extract an object graphic that indicates an object area that is a combination of an object of a main subject (a person in this example) and an object of another subject (a bag in this example).
  • three-dimensional rhythm information that is a numerical value indicating the object itself can be easily generated from the object.
  • objects can be easily compared using three-dimensional rhythm information represented by numerical values.
  • the comparison results between objects can be applied to various application processes (for example, object grouping based on object similarity, imaging device grouping based on object similarity by each imaging device, object similar to a reference object) Extraction).
  • the three-dimensional rhythm information is generated based on moving images captured by a plurality of electronic devices 1 having different viewpoints, for example, the object OBT that is a subject moves in a complicated manner.
  • highly accurate three-dimensional rhythm information can be generated.
  • one electronic device 2a serving as a master transmits data indicating the start of imaging and data indicating the end of imaging to the other electronic devices 2b to 2h, so that The electronic devices 2a to 2h take a moving image of the object OBT in time synchronization. And each electronic device 2 produces
  • Rhythm information is data indicating the periodic movement of the object OBT. Then, the electronic devices 2b to 2h transmit the extracted rhythm information and the position information indicating the position of the own device to the electronic device 2a that is a master.
  • the electronic device 2a as the master calculates the parallax angle between the own device and each of the electronic devices 2b to 2h based on the position information of the own device and the position information of each of the electronic devices 2b to 2h.
  • the positional relationship between the electronic device 2a and the object OBT is set in advance.
  • the electronic device 2a may calculate the positional relationship between the electronic device 2a and the object OBT based on the imaging result.
  • the electronic device 2a that is the master is a three-dimensional that indicates the periodic movement of the object OBT in three dimensions based on the rhythm information of each electronic device 2 and the parallax angle between the device itself and the other electronic device 2. Generate rhythm information.
  • FIG. 10 is a block diagram illustrating a functional configuration of the electronic device 2 according to the present embodiment.
  • the control unit 20 of the electronic device 2 includes an object extraction unit 201, a rhythm information generation unit 202, a rhythm information reception unit 203, a three-dimensional rhythm information generation unit 204, a rhythm information transmission unit 205, and a synchronization control unit 206. It is comprised including.
  • the object extraction unit 201 extracts the object OBT from the image data of the moving image captured by the imaging unit 11. For example, the object extraction unit 201 extracts a main subject (for example, a person or an animal) from a moving image by pattern matching or the like and sets it as an object OBT. Alternatively, the object extraction unit 201 extracts the object OBT specified by the operation unit 16. Further, the object extraction unit 201 extracts an object figure circumscribing the object OBT (in the present embodiment, a circumscribed rectangle). The object extraction unit 201 outputs the image data of the moving image and the data indicating the extracted object OBT to the rhythm information generation unit 202.
  • a main subject for example, a person or an animal
  • the object extraction unit 201 extracts the object OBT specified by the operation unit 16.
  • the object extraction unit 201 extracts an object figure circumscribing the object OBT (in the present embodiment, a circumscribed rectangle).
  • the object extraction unit 201 outputs the image data of the moving image and the data indicating the extracted
  • the rhythm information generation unit 202 extracts the periodic movement of the object OBT in the moving image as rhythm information indicating a temporal change of the object OBT. Specifically, the rhythm information generation unit 202 extracts one or more parameters from the parameters p1 to p12 exemplified below as rhythm information.
  • the predetermined time in p1 to p12 is, for example, a time (for example, one period) based on the period of change in the shape of the object graphic.
  • the X direction, the Y direction, and the Z direction in p7-1 to p12 are based on an object figure (a circumscribed rectangle in the present embodiment) extracted in the master device.
  • the electronic device 2a (or the electronic device facing the electronic device 2a) is used.
  • an electronic device 2c (or an electronic device) in which the horizontal direction of the moving image captured by the electronic device 2a is the X direction, the vertical direction of the moving image captured by the electronic device 2a is the Z direction, and the viewing angle is 90 degrees with respect to the electronic device 2a.
  • 2g) is the Y direction
  • the vertical direction of the moving image captured by the electronic device 2c (electronic device 2g) is the Z direction.
  • the areas at p1 to p6 may be projected onto the XZ plane or the YZ plane.
  • p1 is the difference between the maximum area and the minimum area of the object graphic within a predetermined time.
  • p2 is an area ratio between the maximum area and the minimum area of the object graphic within a predetermined time.
  • p3-1 is the difference between the average area and the maximum area of the object graphic within a predetermined time.
  • p3-2 is the difference between the average area and the minimum area of the object graphic within a predetermined time.
  • p4-1 is the area ratio between the average area and the maximum area of the object graphic within a predetermined time.
  • p4-2 is an area ratio between the average area and the minimum area of the object figure within a predetermined time.
  • p5 is the distribution state (eg, standard deviation) of the area of the object graphic within a predetermined time.
  • p6 is a period of change in the area of the object graphic within a predetermined time.
  • p7-1 is the maximum amount of change in the X direction of the object graphic within a predetermined time.
  • p7-2 is the maximum amount of change in the Y direction of the object graphic within a predetermined time.
  • p7-3 is the maximum amount of change in the Z direction of the object graphic within a predetermined time.
  • p8-1 is the distribution state (eg, standard deviation) of the object figure in the X direction within a predetermined time.
  • p8-2 is the distribution state (eg, standard deviation) of the object figure in the Y direction within a predetermined time.
  • p8-3 is the distribution state (eg, standard deviation) of the object figure in the Z direction within a predetermined time.
  • p9-1 is a period of change in the X direction of the object graphic within a predetermined time.
  • p9-2 is a cycle of a change in the Y direction of the object graphic within a predetermined time.
  • p9-3 is a period of change in the Z direction of the object graphic within a predetermined time.
  • p10 is the maximum amount of change in the XYZ direction ratio of the object graphic within a predetermined time.
  • p11 is the distribution state (eg, standard deviation) of the XYZ direction ratio of the object graphic within a predetermined time.
  • p12 is a cycle of change in the XYZ direction ratio of the object graphic within a predetermined time.
  • the rhythm information generation unit 202 When the own apparatus is the master, the rhythm information generation unit 202 outputs the input moving image image data and the rhythm information of the moving image object OBT to the three-dimensional rhythm information generation unit 204. Also, the rhythm information generation unit 202 outputs the extracted rhythm information to the rhythm information transmission unit 205 when the own apparatus is not the master.
  • the rhythm information receiving unit 203 receives rhythm information and position information of the other electronic device 2 from the other electronic device 2 via the wireless unit 12.
  • the rhythm information received by the rhythm information receiving unit 203 is generated from a moving image in which another electronic device 2 images the object OBT in time synchronization with the imaging of the imaging unit 11.
  • the rhythm information reception unit 203 outputs the received rhythm information and position information to the three-dimensional rhythm information generation unit 204.
  • the three-dimensional rhythm information generation unit 204 receives the rhythm information of the own device input from the rhythm information generation unit 202, the position information of the own device, and the other input by the rhythm information reception unit 203. Based on the rhythm information of the electronic device 2 and the position information of the other electronic device 2, three-dimensional rhythm information indicating the periodic movement of the object OBT in three dimensions is generated. Specifically, first, the three-dimensional rhythm information generation unit 204 acquires the position information of the own device from the position information acquisition unit 13, and based on the acquired position information of the own device and the position information of the other electronic device 2. Thus, the parallax angle between the device itself and the other electronic device 2 is calculated.
  • the three-dimensional rhythm information generation unit 204 generates three-dimensional rhythm information (based on the parallax angle between the own device and the other electronic device 2, the rhythm information of the own device, and the rhythm information of the other electronic device 2.
  • three-dimensional rhythm information based on the parallax angle between the own device and the other electronic device 2, the rhythm information of the own device, and the rhythm information of the other electronic device 2.
  • prm7 to prm12 One or more of the above-described prm7 to prm12 are generated, and the generated three-dimensional rhythm information is written in the storage unit 14.
  • the dimensional rhythm information generation unit 204 includes the rhythm information p7-1 of the own device (the maximum amount of change in the horizontal direction of the object figure within a predetermined time) and the rhythm information p7 of the other electronic device 2e at the position facing the own device. From ⁇ 1, prm7-1 (the maximum change amount of the X side of the three-dimensional object figure within a predetermined time) is calculated.
  • the three-dimensional rhythm information generation unit 204 calculates the average value (or maximum value) of the rhythm information p7-1 of its own device and the rhythm information p7-1 of the other electronic device 2e as prm7-1.
  • the three-dimensional rhythm information generation unit 204 of the electronic device 2a has the rhythm information p7-2 (maximum change in the horizontal direction of the object figure within a predetermined time) of the other device 2c whose viewing angle is 90 degrees with the own device. )
  • the rhythm information p7-2 of the other electronic device 2g whose viewing angle is 90 degrees
  • prm7-2 the maximum change amount of the Y side of the three-dimensional object figure within a predetermined time
  • the three-dimensional rhythm information generation unit 204 of the electronic device 2a has the rhythm information p7-3 (the maximum amount of change in the vertical direction of the object figure within a predetermined time) of the own device and the rhythm information p7 of the other electronic device 2e. -3, the rhythm information p7-3 of the other electronic device 2c, and the rhythm information p7-3 of the other electronic device 2g, prm7-3 (the maximum change amount of the Z side of the three-dimensional object figure within a predetermined time) ) Is calculated.
  • the rhythm information p7-3 the maximum amount of change in the vertical direction of the object figure within a predetermined time
  • the three-dimensional rhythm information generation unit 204 includes rhythm information p7-3 of its own device, rhythm information p7-3 of the other electronic device 2e, rhythm information p7-3 of the other electronic device 2c, and Then, the average value (or maximum value) of the rhythm information p7-3 of the other electronic device 2g is calculated as prm7-3.
  • the three-dimensional rhythm information generation unit 204 of the electronic device 2 that is the master has the rhythm information obtained from the own device, the rhythm information obtained from the electronic device 2 at a position facing the own device, and the viewing angle with respect to the own device.
  • the three-dimensional rhythm information may be generated using the rhythm information obtained from the electronic device 2 at another position. For example, if the electronic device 2a to electronic device 2h are present at the same position as the electronic device 1a to electronic device 1h in FIG.
  • the dimensional rhythm information generation unit 204 obtains rhythm information p7-1 (maximum amount of change in the horizontal direction of the object figure within a predetermined time) of the other electronic device 2b whose viewing angle is 45 degrees with the own device as the XZ plane and the YZ plane. Each value (calculated based on a viewing angle of 45 degrees and a distance to the object OBT) may be reflected when calculating prm7-1 and prm7-2.
  • the components serving as the axes may be obtained up to the first principal component, the second principal component, and the third principal component, and these may be used as X, Y, and Z.
  • a statistic S pi (t) may be plotted for each rhythm information R, and a principal component (first principal component, second principal component, third principal component) may be obtained for each rhythm information R, or representative The main component of the rhythm information R may be obtained and used as the main component in the other rhythm information R.
  • the statistic S pi (t) of the other rhythm information R is calculated using this principal component as a coefficient.
  • the mode in which the three axes in the three-dimensional rhythm information are statistically determined is effective when there are a plurality of rhythms that move in an oblique direction.
  • rhythm information transmission unit 205 When the rhythm information transmission unit 205 is not the master, when the rhythm information is input from the rhythm information generation unit 202, the rhythm information transmission unit 205 acquires the position information of the own device from the position information acquisition unit 13, and acquires the input rhythm information and The position information of the device itself is transmitted to the electronic device 2 as a master. Since the function of the synchronization control unit 206 is the same as the function of the synchronization control unit 106 in the first embodiment, a description thereof will be omitted.
  • FIG. 11 is a flowchart showing the procedure of the three-dimensional rhythm information generation process according to this embodiment.
  • the processing shown in this figure is performed by the electronic device 2a as a master.
  • the synchronization control unit 206 transmits data indicating the start of imaging to the other electronic devices 2b to 2h, and causes the imaging unit 11 to capture a moving image (step S301). Further, in response to an instruction from the user via the operation unit 16, the synchronization control unit 206 transmits data indicating the end of imaging to another electronic device 2 and stops imaging by the imaging unit 11.
  • the object extraction unit 201 extracts an object graphic of the object OBT from the moving image captured in step S301 (step S302).
  • the rhythm information generation unit 202 generates rhythm information of the object OBT based on the object graphic of the object OBT extracted in step S302 (step S303).
  • the rhythm information receiving unit 203 receives rhythm information and position information from the other electronic devices 2b to 2h (step S304).
  • This rhythm information is rhythm information of the object OBT generated from the moving images captured by the other electronic devices 2b to 2h in conjunction with the imaging in step S301.
  • the three-dimensional rhythm information generation unit 204 generates three-dimensional rhythm information based on the position information of each electronic device 2 and the rhythm information generated by each electronic device 2 (step S305). The dimensional rhythm information is written in the storage unit 14.
  • FIG. 12 is a flowchart illustrating a procedure of rhythm information transmission processing according to the present embodiment. The processing shown in this figure is performed by electronic devices 2b to 2h other than the master.
  • the synchronization control unit 206 receives data indicating the start of imaging from the electronic device 2a as a master, the synchronization control unit 206 causes the imaging unit 11 to capture a moving image (step S401).
  • the synchronization control unit 206 receives data indicating the end of imaging from the electronic device 2a as a master, the synchronization control unit 206 stops imaging by the imaging unit 11.
  • the object extraction unit 201 extracts an object graphic of the object OBT from the moving image captured in step S401 (step S402).
  • the rhythm information generation unit 202 generates rhythm information of the object OBT based on the object graphic of the object OBT extracted in step S402 (step S403).
  • the rhythm information transmission unit 205 transmits the rhythm information generated in step S403 and the position information of the own device to the electronic device 2a as a master (step S404).
  • the object extraction unit 201 uses a circumscribed rectangle as an object graphic.
  • another graphic such as a circumscribed circle circumscribing the object OBT may be replaced with the circumscribed rectangle as an object graphic.
  • the rhythm information generation unit 202 acquires one or more parameters from the parameters p1 to p6 described above as rhythm information.
  • the object extraction unit 201 may extract an object graphic that indicates an object area that is a combination of an object of a main subject (a person in the present example) and an object of another subject (a bag in this example).
  • each electronic device 2 generates rhythm information and synthesizes the generated rhythm information to generate three-dimensional rhythm information. Therefore, the same effect as that of the first embodiment is obtained.
  • the processing load on the electronic device 2a as the master can be reduced.
  • the electronic devices 2 since the electronic devices 2 generate rhythm information in parallel, the overall processing time can be shortened.
  • a program for realizing each step shown in FIG. 8, FIG. 9, FIG. 11 or FIG. 12 is recorded on a computer-readable recording medium, and the program recorded on this recording medium is read into a computer system, By executing this, processing for generating three-dimensional rhythm information may be performed.
  • the “computer system” may include an OS and hardware such as peripheral devices. Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • “Computer-readable recording medium” means a floppy (registered trademark) disk, a magneto-optical disk, an SD card, a writable non-volatile memory such as a flash memory, a portable medium such as a CD-ROM, and a computer system.
  • a built-in storage device such as a hard disk.
  • the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic DRAM)) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc., which hold programs for a certain period of time.
  • the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may be for realizing a part of the functions described above. Furthermore, what can implement
  • a plurality of electronic devices 1 generate three-dimensional rhythm information based on a plurality of moving images captured from different viewpoints.
  • one electronic device 1 (Or 2) may include a plurality of imaging units 11 having parallax.
  • the electronic device 1 (or 2) generates three-dimensional rhythm information based on a plurality of moving images captured by the imaging units 11 in time synchronization.
  • the parallax angle with respect to the object OBT of each electronic device 1 is calculated based on the position information of each electronic device 1.
  • the parallax angle of each electronic device 1 is the master electronic device 1 in advance. It may be set in advance.
  • FIG. 13 is a block diagram illustrating an example of a functional configuration of the electronic device 2001 according to the present embodiment.
  • the electronic device 2001 includes a control unit 2010, an imaging unit 2011, a storage unit 2012, a display unit 2013, and an operation unit 2014.
  • the imaging unit 2011 captures a subject and generates moving image or still image data.
  • the storage unit 2012 includes a ROM (Read Only Memory) and a RAM (Random Access Memory), and stores various data.
  • the storage unit 2012 stores image data of a moving image or a still image captured by the imaging unit 2011.
  • the storage unit 2012 stores the rhythm information of the object OBT in association with the moving image.
  • the display unit 2013 is, for example, a liquid crystal display or an organic EL (Electro-Luminescence) panel, and displays an image or the like.
  • the operation unit 2014 includes a touch panel installed on the display unit 2013 and receives an operation input from the user.
  • the operation unit 2014 designates a specific object (object OBT) in the moving image.
  • the specific object OBT is an object for which a position in a moving image is estimated.
  • the operation unit 2014 displays a moving image on the display unit 2013 and accepts designation of the object OBT from the user.
  • the user designates a specific object OBT by touching the object OBT of the displayed moving image.
  • the control unit 2010 controls each part of the electronic device 2001 in an integrated manner, and includes an object extraction unit 2101, a rhythm information generation unit 2102, and an object position estimation unit 2103.
  • the object extraction unit 2101 extracts the object OBT from the image data of the moving image.
  • the moving image may be captured by the imaging unit 2011 or may be stored in the storage unit 2012 in advance.
  • the object extraction unit 2101 extracts a specific object OBT specified by the operation unit 2014 from each image frame of the moving image by pattern matching.
  • the object extraction unit 2101 extracts a main subject (for example, a person or an animal) from each image frame of the moving image by pattern matching or the like to obtain an object OBT.
  • the object extraction unit 2101 outputs the image data of the moving image and the data indicating the coordinate position of the object OBT extracted in each image frame to the rhythm information generation unit 2102.
  • the object extracting unit 2101 performs pattern matching (tracking processing) locally on the basis of the input estimated position. Extract the OBT.
  • the current image frame is an image frame that is a processing target for extracting an object. That is, the object extraction unit 2101 performs pattern matching in the vicinity of the input estimated position (area where the distance from the estimated position is within a predetermined value) in the current image frame. As a result, the processing time is shortened compared to the case where the entire image frame is sequentially subjected to pattern matching.
  • the rhythm information generation unit 2102 generates the periodic movement of the object OBT extracted by the object extraction unit 2101 as rhythm information indicating a temporal change of the object OBT, and the generated rhythm information is added to the input moving image.
  • the data are written in the storage unit 2012 in association with each other.
  • the rhythm information generation unit 2102 generates rhythm information based on the position of the object OBT in each image frame. Details of the rhythm information generation method will be described later.
  • the object position estimation unit 2103 estimates the position of the object OBT in the next image frame of the moving image based on the rhythm information generated by the rhythm information generation unit 2102 and the position of the object OBT in the current image frame.
  • the next image frame is an image frame that is temporally after the current image frame. A method for estimating the position of the object OBT will be described later.
  • FIG. 14 is an explanatory diagram for explaining the operation of the rhythm information generation method according to the present embodiment.
  • the horizontal axis indicates the passage of time
  • t 1 to t 5 indicate time.
  • P 1 to P 5 are one frame (image frame) constituting the moving image P of the object OBT imaged by the electronic device 2001.
  • an XY coordinate system is defined with an X-axis direction as a horizontal direction in a rectangular image frame and a Y-axis direction as a direction orthogonal to the X-axis direction.
  • Coordinate position of the object OBT in the image frame P 1 at time t 1 is (x 1, y), the coordinate position of the object OBT in the image frame P 2 at time t 2 is (x 2, y), the time t coordinate position of the object OBT in third image frame P 3 is (x 3, y), the coordinate position of the object OBT in the image frame P 4 at time t 4 is (x 4, y), the time t 5 coordinate position of the object OBT in the image frame P 5 is (x 1, y).
  • the coordinate position of the object OBT in this embodiment is the coordinate position of the center of the object OBT.
  • the object OBT moves periodically with time t 1 to t 4 (t 5 to t 8 , t 9 to t 12 ,...) As one cycle. Specifically, the object OBT performs a reciprocating motion with the coordinates (x 1 , y) and the coordinates (x 3 , y) as endpoints.
  • FIG. 15 is an explanatory diagram for explaining the operation of the object position estimation method according to the present embodiment.
  • the horizontal axis indicates the passage of time.
  • a particle filter for example, M. Isard and A. Blake, “CONDENSATION-Conditional Density Propagation for Visual Tracking,” “International Journal of Computer Vision, Volume 29, Number 1, pp. 5) is used as an algorithm for tracking the object OBT. -28,1998.
  • Apply a case where the position of the object OBT in the image frame P n at the time t n is estimated will be described as an example.
  • the object position estimation unit 2103 holds the image of the object OBT in the initial state t 0 as a template T 0 (x, y). Further, the object position estimation unit 2103 calculates the weight W (i, t 0 ) in the initial state t 0 of each particle i based on the degree of matching between the template T 0 (x, y) and each particle i. .
  • a correlation function represented by the following equation [Equation 2] can be used.
  • I (x, y) is a pixel value of coordinates (x, y). This pixel value may represent either a grayscale image or a color image.
  • the coordinates of each particle i are represented as (px (i, t n-1 ), py (i, t n-1 )).
  • the object position estimation unit 2103 performs prediction based on the rhythm information according to the following equation [Equation 3] for each of the N particles regenerated in the resampling step, so that each particle i at the time t n calculate the coordinates (px (i, t n) , py (i, t n)).
  • equation [Formula 3] parameters pm9-1 and pm9-2 of rhythm information described later are used for ⁇ x and ⁇ y, respectively.
  • Wx and Wy values obtained by multiplying parameters pm7-1 and pm7-2 of rhythm information described later by coefficients, respectively.
  • ⁇ x and ⁇ y are 0, for example.
  • the object position estimation unit 2103 calculates the weight W (at the time t n of each particle i from the degree of matching between the template T 0 (x, y) and each particle i. i, t n ).
  • the correlation function represented by the above-described equation [Equation 2] can be used. Note that, instead of the suitability with the template T 0 (x, y) in the initial state, the suitability with the image of the object OBT at the time t n may be used.
  • the object position estimation unit 2103 uses the coordinates of each particle i obtained in the prediction step and the weight obtained in the weighting step to obtain an average position (x n ) obtained by weighting all the particles according to the following equation [Equation 4]. , Y n ).
  • the average position is the estimated position of the object OBT at time t n.
  • FIG. 16 is a flowchart illustrating a procedure of object position estimation processing according to the present embodiment.
  • the object extraction unit 2101 uses the first image frame of the moving image as the current image frame, and extracts the object OBT in the current image frame (step S2101).
  • the moving image may be captured by the image capturing unit 2011 or may be stored in advance in the storage unit 2012.
  • the rhythm information generation unit 2102 determines whether or not the object OBT for one cycle has been extracted (step S2102).
  • the rhythm information generation unit 2102 determines that the object OBT for one period has been extracted when the movement of the extracted object OBT has periodicity. If it is determined that the object OBT for one cycle has not been extracted (step S2102: No), the object extraction unit 2101 sets the next image frame as a processing target (current image frame) (step S2103), and proceeds to step S2101. Return.
  • the rhythm information generation unit 2102 generates rhythm information based on the extracted object OBT (step S2104). Then, the object position estimation unit 2103 sets the next image frame as a processing target (current image frame), and based on the generated rhythm information and the position of the object OBT in the previous image frame, the object in the current image frame The position of the OBT is estimated (step S2105). At this time, the object position estimation unit 2103 may display the estimated coordinate position of the object OBT on the display unit 2013 or may store it in the storage unit 2012.
  • the object extraction unit 2101 extracts the object OBT in the current image frame based on the position estimated by the object position estimation unit 2103 (step S2106). Specifically, the object extraction unit 2101 extracts an object OBT by performing pattern matching locally around the estimated position. Then, the object extraction unit 2101 determines whether or not the current image frame is the last image frame in the moving image (step S2107).
  • step S2107: No If the current image frame is not the last image frame (step S2107: No), the object extraction unit 2101 sets the next image frame as a processing target (current image frame) (step S2108), and returns to step S2105.
  • the rhythm information generation unit 2102 generates rhythm information based on the extracted object OBT (step S2109), and the generated rhythm information. Is stored in the storage unit 2012 in association with the moving image.
  • the electronic device 2001 estimates the position of the object OBT based on the rhythm information indicating the periodic movement of the object OBT.
  • the position of an object (object) that moves suddenly, such as a reciprocating motion can be accurately estimated.
  • the object extraction unit 2101 performs pattern matching locally at the position of the object OBT estimated by the object position estimation unit 2101 and extracts the object OBT. This eliminates the need to trace the entire image frame, thereby reducing the processing time for object extraction. Further, since the tracking accuracy of the object OBT is improved, the accuracy of rhythm information generation is also improved.
  • a program for executing each process of the electronic device 2001 according to an embodiment of the present invention is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. Accordingly, each process of the electronic device 2001 may be performed.
  • the embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
  • the coordinate position of the center of the object OBT is set as the coordinate position of the object OBT.
  • the coordinate position of another part of the object OBT such as the left end portion or the right end portion of the object OBT is set as the coordinate position of the object OBT. It is good also as a position.
  • the flowchart shown in FIG. 16 in the above-described embodiment shows the operation when the position of the object OBT is estimated based on the moving image after being picked up.
  • the present invention is not limited to this, and a moving image is picked up.
  • the position of the object OBT may be estimated inside.
  • rhythm information based on the coordinate position of the object OBT is generated.
  • rhythm information based on a circumscribed figure circumscribing the object OBT may be generated.
  • generation of rhythm information based on circumscribed figures will be described in detail with reference to FIGS. 17 to 19C. 17 to 19C are explanatory diagrams for explaining generation of rhythm information based on circumscribed figures.
  • the rhythm information generation unit 2102 is a change amount of the area of the circumscribed figure circumscribing the object extracted by the object extraction unit 2101, a change amount of the length of the long side or the short side, a change amount of the aspect ratio, a period of change of the area Using the period of change in length or the period of change in aspect ratio, rhythm information representing a temporal change pattern of the object is generated.
  • the rhythm information generation unit 2102 uses a value of one or more of parameters 1 to 12 (hereinafter referred to as pm1 to pm12) exemplified below to represent a rhythm that represents a temporal change pattern of the object. Generate information.
  • the predetermined time in pm1 to pm12 is, for example, a time (for example, one period) based on the period of change of the circumscribed rectangle.
  • the long side and the short side in pm7-1 to pm9-2 are determined based on the length of a certain reference time (for example, the beginning of one cycle).
  • the Y-axis direction (or X-axis direction) may be determined as the long side.
  • pm1 is the difference between the maximum area and the minimum area of the circumscribed rectangle within a predetermined time.
  • pm2 is an area ratio between the maximum area and the minimum area of the circumscribed rectangle within a predetermined time.
  • pm3-1 is the difference between the average area and the maximum area of the circumscribed rectangle within a predetermined time.
  • pm3-2 is the difference between the average area and the minimum area of the circumscribed rectangle within a predetermined time.
  • pm4-1 is the area ratio between the average area and the maximum area of the circumscribed rectangle within a predetermined time.
  • pm4-2 is an area ratio between the average area and the minimum area of the circumscribed rectangle within a predetermined time.
  • pm5 is a circumstance rectangle distribution state (eg, standard deviation) within a predetermined time.
  • pm6 is a period of change in the area of the circumscribed rectangle within a predetermined time.
  • pm7-1 is the maximum change amount of the long side of the circumscribed rectangle within a predetermined time.
  • pm7-2 is the maximum change amount of the short side of the circumscribed rectangle within a predetermined time.
  • pm8-1 is the distribution state (eg, standard deviation) of the long sides of the circumscribed rectangle within a predetermined time.
  • pm8-2 is the distribution state (eg, standard deviation) of the short sides of the circumscribed rectangle within a predetermined time.
  • pm9-1 is a period of change of the long side of the circumscribed rectangle within a predetermined time.
  • pm9-2 is a period of change of the short side of the circumscribed rectangle within a predetermined time.
  • pm10 is the maximum amount of change in the aspect ratio of the circumscribed rectangle within a predetermined time.
  • pm11 is a circumstance rectangle distribution state (eg, standard deviation) within a predetermined time.
  • pm12 is a period of change in the aspect ratio of the circumscribed rectangle within a predetermined time.
  • P 1 shown in FIG. 17A is one frame (image frame) constituting a moving image, and is captured at the moment when a person (object OBT 1 ) shakes both hands and feet.
  • P 3 shown in FIG. 17C is one frame (image frame) constituting a moving image, and is captured at the moment when a person (object OBT 1 ) swings down both hands and feet.
  • P 2 shown in FIG. 17 (b) is a one frame between P 1 and P 3 (image frame).
  • FIG. 18A is a circumscribed rectangle circumscribing the object OBT 1 in P 1 shown in FIG.
  • ER 2 shown in FIG. 18B is a circumscribed rectangle circumscribing the object OBT 1 in P 2 shown in FIG.
  • ER 3 shown in FIG. 18C is a circumscribed rectangle that circumscribes the object OBT 1 in P 3 shown in FIG.
  • FIG. 18 (d) is obtained by comparing the size of the circumscribed rectangle ER 1, ER 2, ER 3 .
  • the shape of the circumscribed rectangle that circumscribes the object changes according to the movement of the object.
  • the object extraction unit 2101 sequentially extracts the object OBT 1 from the moving images (P 1 , P 2 , P 3 ,...), And sequentially extracts the circumscribed figure circumscribing the object OBT 1 as shown in FIG. 19A.
  • FIG. 19B the size of the circumscribed rectangle to be sequentially extracted is calculated.
  • the “period” shown in FIG. 19A indicates the period of change in the shape of the circumscribed rectangle. That is, time t 1 to time t 4 (time t 5 to time t 8 , time t 9 to time t 12 ,...) Is one cycle.
  • the rhythm information generation unit 2102 calculates one or more predetermined parameters using the size of the circumscribed rectangle, and sets a numerical value group having the calculated values of the parameters as elements as a temporal change pattern of the object OBT 1.
  • Rhythm information representing For example, as shown in FIG. 19C, the rhythm information generation unit 2102 has an area ratio (pm2) between the maximum area and the minimum area of the circumscribed rectangle of the object OBT 1 , an area change period (pm6), and a maximum change amount on the long side.
  • the rhythm information may be obtained by appropriately rounding the value of each parameter for easy comparison later, or may be obtained by replacing the value of each parameter with another value (score May be used).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

　電子機器（１）は、オブジェクトを撮像する撮像部（１１）と、撮像部（１１）により撮像された動画像と、撮像部（１１）の撮像と同期して撮像部（１１）と異なる視点によりオブジェクトを撮像した動画像とに基づいて、３次元におけるオブジェクトの時間的な変化を示す３次元リズム情報を生成する３次元リズム情報生成部（１０４）とを備える。

Description

電子機器、情報生成方法、及び位置推定方法
　本発明は、電子機器、情報生成方法、及び位置推定方法に関する。
　本願は、２０１２年１月４日に出願された特願２０１２－０００１７８号、及び２０１２年１月４日に出願された特願２０１２－０００１７９号に基づき優先権を主張し、その内容をここに援用する。
　従来、動画像からパターンマッチングにより所定のオブジェクト（例えば人の顔）を抽出する技術が開示されている（例えば、特許文献１参照）。特許文献１によれば、表示画面上に所定のオブジェクトの撮像領域を示すことができる。
　また、現在、撮像部により撮像した画像から特徴領域を抽出し、抽出した特徴領域に基づいて被写体の動きを予測する技術が知られている（例えば、特許文献２参照）。
特開２００９－３１４６９号公報 特開２００８－２７６２１４号公報
　しかしながら、特許文献１に開示された技術では、オブジェクトの動きを数値化（指標化）していないので、オブジェクト同士を比較することができないという問題がある。
　更に、オブジェクト同士を比較することができないので、オブジェクト同士の比較結果を応用した種々の応用処理（例えば、オブジェクトの類似度に基づくオブジェクトのクループ化、各撮像機器によるオブジェクトの類似度に基づく撮像機器のクループ化、基準とするオブジェクトに類似するオブジェクトの抽出）を実現することができないという問題がある。
　また、特許文献２では、例えば往復運動等の進行方向が急に変わる動きをする物体を追跡することについては考慮されていなかった。
　本発明の一態様は、オブジェクト同士を簡便に比較可能な、オブジェクトの動きを示す数値（指標）を抽出することができる電子機器及び情報生成方法を提供することを目的とする。
　他の目的は、往復運動等の周期的な動きであって、急に進行方向の変わる動きをする物体の位置を精度良く推定することができる電子機器及び位置推定方法を提供することである。
　本発明の一態様である電子機器は、オブジェクトを撮像する撮像部と、前記撮像部により撮像された動画像と、前記撮像部の撮像と同期して前記撮像部と異なる視点により前記オブジェクトを撮像した動画像とに基づいて、３次元における前記オブジェクトの時間的な変化を示す３次元リズム情報を生成する３次元リズム情報生成部と、を備えることを特徴とする。
　本発明の他の態様である情報生成方法は、電子機器が、オブジェクトの動画像を撮像するステップと、前記電子機器が、前記撮像した動画像と、前記撮像と同期して異なる視点により前記オブジェクトを撮像した動画像とに基づいて、３次元における前記オブジェクトの時間的な変化を示す３次元リズム情報を生成するステップと、を有することを特徴とする。
　本発明の他の態様である電子機器は、動画像の各画像フレームから特定のオブジェクトを抽出するオブジェクト抽出部と、前記オブジェクト抽出部により抽出されたオブジェクトの周期的な動きを示すリズム情報を生成するリズム情報生成部と、前記リズム情報生成部により生成されたリズム情報と現在の画像フレームにおける前記オブジェクトの位置とに基づいて、次の画像フレームにおける前記オブジェクトの位置を推定するオブジェクト位置推定部と、を備えることを特徴とする。
　本発明の他の態様である位置推定方法は、電子機器が、動画像の各画像フレームから特定のオブジェクトを抽出するステップと、前記電子機器が、前記抽出したオブジェクトの周期的な動きを示すリズム情報を生成するステップと、前記電子機器が、前記生成したリズム情報と現在の画像フレームにおける前記オブジェクトの位置とに基づいて、次の画像フレームにおける前記オブジェクトの位置を推定するステップと、を有することを特徴とする。
　本発明の態様によれば、オブジェクト自体を示す数値（３次元リズム情報）をこのオブジェクトから簡便に取得することができる。また、この数値を用いてオブジェクト同士を簡便に比較することができる。
　更に、オブジェクト同士の比較結果を種々の応用処理（例えば、オブジェクトの類似度に基づくオブジェクトのクループ化、各撮像機器によるオブジェクトの類似度に基づく撮像機器のクループ化、基準とするオブジェクトに類似するオブジェクトの抽出）に活用することができる。
　また、本発明の態様によれば、周期的な動きであって、急に進行方向の変わる動きをする物体の位置を精度良く推定することができる。
本発明の第１の実施形態によるリズム情報抽出システムの構成を示す図である。 第１の実施形態による電子機器の機能構成を示すブロック図である。 第１の実施形態による３次元リズム情報生成方法の動作を説明するための説明図である。 第１の実施形態による３次元リズム情報生成方法の動作を説明するための説明図である。 第１の実施形態による３次元リズム情報生成方法の動作を説明するための説明図である。 第１の実施形態による３次元リズム情報生成方法の動作を説明するための説明図である。 第１の実施形態による３次元リズム情報生成方法の動作を説明するための説明図である。 第１の実施形態による３次元リズム情報生成方法の動作を説明するための説明図である。 第１の実施形態による３次元リズム情報生成方法の動作を説明するための説明図である。 第１の実施形態による３次元リズム情報生成処理の手順を示すフローチャートである。 第１の実施形態による撮像画像送信処理の手順を示すフローチャートである。 本発明の第２の実施形態による電子機器の機能構成を示すブロック図である。 第２の実施形態による３次元リズム情報生成処理の手順を示すフローチャートである。 第２の実施形態によるリズム情報送信処理の手順を示すフローチャートである。 本発明の第３の実施形態による電子機器の機能構成の一例を示すブロック図である。 第３の実施形態によるリズム情報生成方法の動作を説明するための説明図である。 第３の実施形態によるオブジェクト位置推定方法の動作を説明するための説明図である。 第３の実施形態によるオブジェクト位置推定処理の手順を示すフローチャートである。 外接図形に基づくリズム情報の生成について説明するための説明図である。 外接図形に基づくリズム情報の生成について説明するための説明図である。 外接図形に基づくリズム情報の生成について説明するための説明図である。 外接図形に基づくリズム情報の生成について説明するための説明図である。 外接図形に基づくリズム情報の生成について説明するための説明図である。
　以下、図面を参照しながら本発明の実施形態について詳しく説明する。
［第１の実施形態］
　図１は、本実施形態によるリズム情報抽出システムの構成を示す図である。
　リズム情報抽出システムは、複数の電子機器１を含んで構成される。各電子機器１は、被写体を撮像する撮像部を備える。各電子機器１は、被写体であるオブジェクトＯＢＴをそれぞれ異なる視点から撮像する。図示する例では、８台の電子機器１がそれぞれ異なる視点からオブジェクトＯＢＴを撮像している。
　本例におけるオブジェクトＯＢＴは、人物であり、歩いて移動している。各電子機器１とオブジェクトＯＢＴとの距離はほぼ等しい。
　以下、説明の便宜を図るため、８台の電子機器１のそれぞれに対しａからｈの符号を割り当て、電子機器１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈと記す。なお、各電子機器１ａ～１ｈに共通する事項については、ａ～ｈの符号を省略し、単に「電子機器１」又は「各電子機器１」と記す。
　オブジェクトＯＢＴに対する、電子機器１ａと電子機器１ｂとの視差角度、電子機器１ｂと電子機器１ｃとの視差角度、電子機器１ｃと電子機器１ｄとの視差角度、電子機器１ｄと電子機器１ｅとの視差角度、電子機器１ｅと電子機器１ｆとの視差角度、電子機器１ｆと電子機器１ｇとの視差角度、電子機器１ｇと電子機器１ｈとの視差角度、及び、電子機器１ｈと電子機器１ａとの視差角度はそれぞれ４５度である。
　以下、電子機器１ｇの撮像方向をＸ方向とし、Ｘ方向と直交する電子機器１ｅの撮像方向をＹ方向とし、Ｘ方向及びＹ方向と直交する方向をＺ方向とするＸＹＺ直交座標系を用いる。
　本リズム情報抽出システムでは、マスタとなる１台の電子機器１ａが、撮像開始を示すデータと撮像終了を示すデータとを他の電子機器１ｂ～１ｈに送信することにより、８台の電子機器１ａ～１ｈが時間的に同期して（すなわち、同時に）オブジェクトＯＢＴの動画像を撮像する。
　そして、各電子機器１ｂ～１ｈは、各々が撮像した動画像の画像データと自装置の位置情報とをマスタである電子機器１ａに送信する。マスタである電子機器１ａは、自装置の位置情報と各電子機器１ｂ～１ｈの位置情報とに基づいて、自装置と各電子機器１ｂ～１ｈとの視差角度をそれぞれ算出する。
　なお、電子機器１ａとオブジェクトＯＢＴとの位置関係は予め設定されている。或いは、電子機器１ａは、撮像結果に基づいて電子機器１ａとオブジェクトＯＢＴとの位置関係を算出してもよい。
　次に、電子機器１ａは、各電子機器１が撮像した複数の動画像と、自装置と各電子機器１ｂ～１ｈとの視差角度とに基づいて、オブジェクトＯＢＴの３次元形状を生成する。
　そして、電子機器１ａは、生成したオブジェクトＯＢＴの３次元形状に基づいて、オブジェクトＯＢＴの３次元リズム情報を生成する。３次元リズム情報とは、３次元におけるオブジェクトＯＢＴの周期的な動きを示すデータである。
　なお、図１では８台の電子機器１を示しているが、２台以上の電子機器１（例えば電子機器１ａと電子機器１ｃ）を備えていればよい。また、各電子機器１は、ユーザが保持していてもよく、据え置きでもよい。
　例えば、マスタである電子機器１ａをユーザが保持し、他の電子機器１ｂ～１ｈは据え置きにする等でもよい。或いは、各電子機器１を各ユーザがそれぞれ保持してもよい。
　図２は、本実施形態による電子機器１の機能構成を示すブロック図である。
　電子機器１は、制御部１０と、撮像部１１と、無線部１２と、位置情報取得部１３と、記憶部１４と、表示部１５と、操作部１６とを含んで構成される。
　撮像部１１は、被写体（オブジェクトＯＢＴ）を撮像して動画像又は静止画の画像データを生成する。
　無線部１２は、例えば、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等により他の電子機器１と通信する。
　位置情報取得部１３は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）を備え、自装置の位置情報を取得する。
　記憶部１４は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）から構成され、各種データを記憶する。
　表示部１５は、例えば液晶ディスプレイや有機ＥＬパネル等であり、画像等を表示する。
　操作部１６は、表示部１５上に設置されたタッチパネル等を備え、ユーザからの操作入力を受け付ける。例えば、操作部１６は、撮像部１１により撮像された動画像からオブジェクトＯＢＴを指定する。
　具体的には、操作部１６は、撮像部１１により撮像された動画像を表示部１５に表示して、ユーザからのオブジェクトＯＢＴの指定を受け付ける。換言すれば、ユーザは、表示された動画像上をタッチすることにより、対象となるオブジェクトＯＢＴを指定する。
　制御部１０は、電子機器１の各部を統括して制御し、動画像受信部１０１と、オブジェクト抽出部１０２と、３次元形状生成部１０３と、３次元リズム情報生成部１０４と、動画像送信部１０５と、同期制御部１０６とを含んで構成される。
　動画像受信部１０１は、自装置がマスタである場合に、他の電子機器１から動画像の画像データと送信元の電子機器１の位置情報を受信し、受信した画像データと位置情報とをオブジェクト抽出部１０２に出力する。動画像受信部１０１が受信する動画像は、撮像部１１の撮像と時間的に同期してオブジェクトＯＢＴを撮像したものである。
　オブジェクト抽出部１０２は、撮像部１１により撮像された動画像の画像データ及び動画像受信部１０１から入力された動画像の画像データそれぞれからオブジェクトＯＢＴを抽出する。
　例えば、オブジェクト抽出部１０２は、動画像から主な被写体（例えば、人物や動物等）をパターンマッチング等により抽出し、オブジェクトＯＢＴとする。或いは、オブジェクト抽出部１０２は、操作部１６により指定されたオブジェクトＯＢＴを抽出する。
　オブジェクト抽出部１０２は、動画像の画像データと抽出したオブジェクトＯＢＴを示すデータと各電子機器１の位置情報とを３次元形状生成部１０３に出力する。
　３次元形状生成部１０３は、各電子機器１の動画像の画像データと、各電子機器１の位置情報とに基づいて、オブジェクトＯＢＴの３次元形状を生成する。具体的には、３次元形状生成部１０３は、各電子機器１の位置情報に基づいて、各動画像の視差角度を算出する。
　そして、３次元形状生成部１０３は、算出した各動画像の視差角度に基づいて、例えば、視体積交差法によりオブジェクトＯＢＴの３次元形状を生成する。そして、３次元形状生成部１０３は、生成したオブジェクトＯＢＴの３次元形状のデータを３次元リズム情報生成部１０４に出力する。
　３次元リズム情報生成部１０４は、３次元におけるオブジェクトＯＢＴの周期的な動きを、オブジェクトＯＢＴの時間的な変化を示す３次元リズム情報として生成し、生成した３次元リズム情報を記憶部１４に書き込む。３次元リズム情報の生成方法の詳細については後述する。
　動画像送信部１０５は、自装置がマスタでない場合に、撮像部１１により撮像された動画像の画像データと、位置情報取得部１３により取得された位置情報とをマスタである電子機器１に送信する。
　同期制御部１０６は、自装置がマスタである場合に、リズム情報抽出システムにおける電子機器１の撮像を同期させる。具体的には、同期制御部１０６は、他の電子機器１に撮像開始を示すデータを送信して他の電子機器１に撮像を開始させるとともに自装置の撮像部１１に撮像を開始させる。
　そして、同期制御部１０６は、他の電子機器１に撮像終了を示すデータを送信して他の電子機器１に撮像を終了させるとともに自装置の撮像部１１に撮像を終了させる。
　また、同期制御部１０６は、自装置がマスタでない場合に、他の電子機器１から撮像開始を示すデータを受信すると、撮像部１１に撮像を開始させる。また、同期制御部１０６は、他の電子機器１から撮像終了を示すデータを受信すると、撮像部１１の撮像を終了させる。
　次に、図３から図７Ｃを参照して、３次元リズム情報の生成方法について説明する。図３から図７Ｃは、本実施形態による３次元リズム情報生成方法の動作を説明するための説明図である。
　以下、マスタである電子機器１ａが撮像した動画像Ｐａと、マスタでない他の電子機器１ｃが撮像した動画像ＰｃとからオブジェクトＯＢＴの３次元リズム情報を生成する場合を例に説明する。動画像Ｐａと動画像Ｐｃとは、時間的に同期して異なる視点からオブジェクトＯＢＴを撮像した動画像である。
　なお、電子機器１ａと電子機器１ｃのオブジェクトＯＢＴに対する視差角度は９０度である。
　図３（ａ）に示すＰａ１は、動画像Ｐａを構成する１コマ（画像フレーム）であって、被写体である人物が両手両足を大きく振っている瞬間に電子機器１ａにより撮像されたものである。図３（ｃ）に示すＰａ３は、動画像Ｐａを構成する１コマ（画像フレーム）であって、被写体である人物が両手両足を振り下ろしている瞬間に電子機器１ａにより撮像されたものである。図３（ｂ）に示すＰａ２は、画像フレームＰａ１と画像フレームＰａ３の間の１コマ（画像フレーム）である。
　また、図３（ｄ）に示すＰｃ１は、動画像Ｐｃを構成する１コマ（画像フレーム）であって、画像フレームＰａ１と同期したタイミング（同じ時刻）に電子機器１ｃにより撮像されたものである。図３（ｆ）に示すＰｃ３は、動画像Ｐｃを構成する１コマ（画像フレーム）であって、画像フレームＰａ３と同期したタイミング（同じ時刻）に電子機器１ｃにより撮像されたものである。図３（ｅ）に示すＰｃ２は、画像フレームＰｃ１と画像フレームＰｃ３の間の１コマ（画像フレーム）であって、画像フレームＰａ２と同期したタイミング（同じ時刻）に電子機器１ｃにより撮像されたものである。
　電子機器１ａのオブジェクト抽出部１０２は、動画像Ｐａと動画像ＰｃとからそれぞれオブジェクトＯＢＴを抽出する。
　例えば、オブジェクト抽出部１０２は、図３（ａ）～３（ｃ）に示す、動画像Ｐａ（Ｐａ１、Ｐａ２、Ｐａ３）から被写体である人物をオブジェクトＯＢＴとして抽出し、図３（ｄ）～３（ｆ）に示す、動画像Ｐｃ（Ｐｃ１、Ｐｃ２、Ｐｃ３）から被写体である人物をオブジェクトＯＢＴとして抽出する。
　そして、電子機器１ａのオブジェクト抽出部１０２は、各動画像（動画像Ｐａ、Ｐｃ）から、オブジェクトＯＢＴの領域を示す図形（以下、オブジェクト図形という）を抽出する。
　例えば、オブジェクト抽出部１０２は、図４（ａ）～４（ｃ）に示すように、動画像Ｐａ（Ｐａ１、Ｐａ２、Ｐａ３）から、オブジェクトＯＢＴの領域を示すオブジェクト図形（Ｅａ１、Ｅａ２、Ｅａ３）を抽出する。
　図４（ａ）に示すＥａ１は、図３（ａ）に示す画像フレームＰａ１から抽出したオブジェクトＯＢＴに外接する外接矩形である。図４（ｂ）に示すＥａ２は、図３（ｂ）に示す画像フレームＰａ２から抽出したオブジェクトＯＢＴに外接する外接矩形である。図４（ｃ）に示すＥａ３は、図３（ｃ）に示す画像フレームＰａ３から抽出したオブジェクトＯＢＴに外接する外接矩形である。
　なお、図４（ｄ）は、外接矩形Ｅａ１、Ｅａ２、Ｅａ３の各サイズを比較したものである。
　また、オブジェクト抽出部１０２は、図５（ａ）～５（ｃ）に示すように、動画像Ｐｃ（Ｐｃ１、Ｐｃ２、Ｐｃ３）から、オブジェクトＯＢＴの領域を示すオブジェクト図形（Ｅｃ１、Ｅｃ２、Ｅｃ３）を抽出する。
　図５（ａ）に示すＥｃ１は、図３（ｄ）に示す画像フレームＰｃ１から抽出したオブジェクトＯＢＴに外接する外接矩形である。図５（ｂ）に示すＥｃ２は、図３（ｅ）に示す画像フレームＰｃ２から抽出したオブジェクトＯＢＴに外接する外接矩形である。図５（ｃ）に示すＥｃ３は、図３（ｆ）に示す画像フレームＰｃ３から抽出したオブジェクトＯＢＴに外接する外接矩形である。
　なお、図５（ｄ）は、外接矩形Ｅｃ１、Ｅｃ２、Ｅｃ３の各サイズを比較したものである。
　図４（ｄ）及び図５（ｄ）に示すように、被写体の動きに応じてこの被写体に係るオブジェクトの領域が変化する場合、オブジェクト抽出部１０２によって抽出されるオブジェクト図形（外接矩形）の形状は、時間的に変化する。
　３次元形状生成部１０３は、オブジェクトＯＢＴの３次元形状を生成する。例えば、３次元形状生成部１０３は、オブジェクトＯＢＴの領域を示す３次元オブジェクト図形（Ｅ１、Ｅ２、Ｅ３）を生成する。
　図６（ａ）に示すＥ１は、図４（ａ）に示す外接矩形Ｅａ１と図５（ａ）に示す外接矩形Ｅｃ１とに基づいて生成されたオブジェクトＯＢＴに外接する外接長方体である。図６（ｂ）に示すＥ２は、図４（ｂ）に示す外接矩形Ｅａ２と図５（ｂ）に示す外接矩形Ｅｃ２とに基づいて生成されたオブジェクトＯＢＴに外接する外接長方体である。図６（ｃ）に示すＥ３は、図４（ｃ）に示す外接矩形Ｅａ３と図５（ｃ）に示す外接矩形Ｅｃ３とに基づいて生成されたオブジェクトＯＢＴに外接する外接長方体である。
　本例では、３次元形状生成部１０３は、外接矩形（Ｅａ１、Ｅａ２、Ｅａ３）のＸ方向の長さを外接直方体（Ｅ１、Ｅ２、Ｅ３）のＸ方向の長さとし、外接矩形（Ｅｃ１、Ｅｃ２、Ｅｃ３）のＹ方向の長さを外接直方体（Ｅ１、Ｅ２、Ｅ３）のＹ方向の長さとし、外接矩形（Ｅａ１、Ｅａ２、Ｅａ３）又は外接矩形（Ｅｃ１、Ｅｃ２、Ｅｃ３）のＺ方向の長さを外接直方体（Ｅ１、Ｅ２、Ｅ３）のＺ方向の長さとする。
　３次元リズム情報生成部１０４は、オブジェクト抽出部１０２によって抽出されたオブジェクトＯＢＴの３次元オブジェクト図形の体積の変化量、各辺の長さの変化量（直方体の場合）、各辺の長さの比の変化量（直方体の場合）、体積の変化の周期、各辺の変化の周期（直方体の場合）を、このオブジェクトＯＢＴの時間的な変化を示す３次元リズム情報として生成する。
　なお、３次元リズム情報は、オブジェクト個々の時間的な変化を示すものであるから、オブジェクト自体を示す数値（指標）でもある。
　３次元リズム情報生成部１０４は、３次元オブジェクト図形が直方体の場合、以下に例示するパラメータｐｒｍ１～ｐｒｍ１２のうち１つ以上のパラメータの値を３次元リズム情報として取得する。
　なお、ｐｒｍ１～ｐｒｍ１２における所定時間は、例えば、３次元オブジェクト図形の形状の変化の周期を基準とする時間（例えば１周期）である。また、Ｘ辺はＸ方向における辺であり、Ｙ辺はＹ方向における辺であり、Ｚ辺はＺ方向における辺である。
　ｐｒｍ１は、所定時間内における３次元オブジェクト図形の最大体積と最小体積の差である。
　ｐｒｍ２は、所定時間内における３次元オブジェクト図形の最大体積と最小体積の体積比である。
　ｐｒｍ３－１は、所定時間内における３次元オブジェクト図形の平均体積と最大体積の差である。
　ｐｒｍ３－２は、所定時間内における３次元オブジェクト図形の平均体積と最小体積の差である。
　ｐｒｍ４－１は、所定時間内における３次元オブジェクト図形の平均体積と最大体積の体積比である。
　ｐｒｍ４－２は、所定時間内における３次元オブジェクト図形の平均体積と最小体積の体積比である。
　ｐｒｍ５は、所定時間内における３次元オブジェクト図形の体積の分布状況（例：標準偏差）である。
　ｐｒｍ６は、所定時間内における３次元オブジェクト図形の体積の変化の周期である。
　ｐｒｍ７－１は、所定時間内における３次元オブジェクト図形のＸ辺の最大変化量である。
　ｐｒｍ７－２は、所定時間内における３次元オブジェクト図形のＹ辺の最大変化量である。
　ｐｒｍ７－３は、所定時間内における３次元オブジェクト図形のＺ辺の最大変化量である。
　ｐｒｍ８－１は、所定時間内における３次元オブジェクト図形のＸ辺の分布状況（例：標準偏差）である。
　ｐｒｍ８－２は、所定時間内における３次元オブジェクト図形のＹ辺の分布状況（例：標準偏差）である。
　ｐｒｍ８－３は、所定時間内における３次元オブジェクト図形のＺ辺の分布状況（例：標準偏差）である。
　ｐｒｍ９－１は、所定時間内における３次元オブジェクト図形のＸ辺の変化の周期である。
　ｐｒｍ９－２は、所定時間内における３次元オブジェクト図形のＹ辺の変化の周期である。
　ｐｒｍ９－３は、所定時間内における３次元オブジェクト図形のＺ辺の変化の周期である。
　ｐｒｍ１０は、所定時間内における３次元オブジェクト図形のＸＹＺ比の最大変化量である。
　ｐｒｍ１１は、所定時間内における３次元オブジェクト図形のＸＹＺ比の分布状況（例：標準偏差）である。
　ｐｒｍ１２は、所定時間内における３次元オブジェクト図形のＸＹＺ比の変化の周期である。
　以下、３次元リズム情報生成部１０４による３次元リズム情報の生成について、図７Ａ～７Ｃを用いて具体的に説明する。本図において横軸は時間経過を示し、ｔ１～ｔ５は時刻を示す。
　図７Ａは、３次元形状生成部１０３により逐次生成された３次元オブジェクト図形の一例である。図７Ａに示す３次元オブジェクト図形Ｅ１、Ｅ２、Ｅ３は、図６に示す３次元オブジェクト図形Ｅ１、３次元オブジェクト図形Ｅ２、３次元オブジェクト図形Ｅ３を示している。
　なお、「周期」は、被写体（鞄を持って歩いている人物）の３次元オブジェクト図形の形状の変化の周期を示している。即ち、鞄を持って歩いている人物は、時刻ｔ１～時刻ｔ４（時刻ｔ５～時刻ｔ８、時刻ｔ９～時刻ｔ１２、…）を１周期として周期的な動作をしている。
　また、図７Ｂは、３次元形状生成部１０３によって測定される３次元オブジェクト図形Ｅ１、Ｅ２、Ｅ３のサイズである。
　３次元形状生成部１０３は、３次元オブジェクト図形の各辺の長さを算出して予め決めておいた１つ以上のパラメータを算出し、算出した各パラメータの値を要素とする数値群を、被写体（鞄を持って歩いている人物）の３次元リズム情報として生成する。
　例えば、３次元形状生成部１０３は、パラメータｐｒｍ２、ｐｒｍ６、ｐｒｍ７－１、ｐｒｍ７－２、ｐｒｍ７－３、ｐｒｍ１０を算出し、数値群（ｐｒｍ２、ｐｒｍ６、ｐｒｍ７－１、ｐｒｍ７－２、ｐｒｍ７－３、ｐｒｍ１０）を、被写体（鞄を持って歩いている人物）の３次元リズム情報として生成する。
　なお、３次元形状生成部１０３は、後に、オブジェクト同士の比較をし易いように、算出した各パラメータの値を適宜丸めてもよいし、他の値に置き換えてもよい（スコア化してもよい）。
　３次元形状生成部１０３は、取得した３次元リズム情報を記憶部１４に記憶する。例えば、３次元形状生成部１０３は、図７Ｃに示すように、識別情報と内容に対応付けて３次元リズム情報を記憶する。
　なお、識別情報は、３次元リズム情報を特定するインデックスであって、例えば、この３次元リズム情報に係るオブジェクトを識別する識別情報であってもよい。
　また、内容は、この３次元リズム情報の内容（若しくは、このオブジェクトの内容）を説明する情報であって、例えば、電子機器１が備える操作部１６を介して、ユーザによって入力されたものである。
　図８は、本実施形態による３次元リズム情報生成処理の手順を示すフローチャートである。本図に示す処理は、マスタである電子機器１ａが行う。
　まず、同期制御部１０６が、撮像開始を示すデータを他の電子機器１ｂ～１ｈに送信するとともに、撮像部１１にオブジェクトＯＢＴの動画像を撮像させる（ステップＳ１０１）。
　また、同期制御部１０６は、操作部１６を介したユーザからの指示に応じて、撮像終了を示すデータを他の電子機器１ｂ～１ｈに送信するとともに、撮像部１１による撮像を停止する。
　次に、動画像受信部１０１が、ステップＳ１０１における撮像部１１の撮像と同期して撮像されたオブジェクトＯＢＴの動画像の画像データと送信元の電子機器１の位置情報とを他の電子機器１ｂ～１ｈから受信する（ステップＳ１０２）。
　次に、オブジェクト抽出部１０２が、ステップＳ１０１において撮像した動画像と、ステップＳ１０２において受信した動画像とからそれぞれオブジェクトＯＢＴのオブジェクト図形を抽出する（ステップＳ１０３）。
　次に、３次元形状生成部１０３が、各電子機器１の位置情報に基づいて、ステップＳ１０３において抽出されたオブジェクト図形の３次元形状（３次元オブジェクト図形）を生成する（ステップＳ１０４）。
　最後に、３次元リズム情報生成部１０４が、ステップＳ１０４において生成された３次元オブジェクト図形に基づいて、３次元リズム情報を生成し（ステップＳ１０５）、生成した３次元リズム情報を記憶部１４に書き込む。
　図９は、本実施形態による撮像画像送信処理の手順を示すフローチャートである。本図に示す処理は、マスタ以外の電子機器１ｂ～１ｈが行う。
　まず、同期制御部１０６が、撮像開始を示すデータをマスタである電子機器１ａから受信すると、撮像部１１にオブジェクトＯＢＴの動画像を撮像させる（ステップＳ２０１）。また、同期制御部１０６は、撮像終了を示すデータをマスタである電子機器１ａから受信すると、撮像部１１による撮像を停止する。
　次に、動画像送信部１０５が、ステップＳ２０１において撮像した動画像の画像データと、自装置の位置情報とをマスタである電子機器１ａへ無線部１２を介して送信する（ステップＳ２０２）。
　なお、本実施形態では、オブジェクト抽出部１０２は、直方体を３次元オブジェクト図形としたが、例えば、オブジェクトＯＢＴに外接する外接球等の他の図形を直方体に代えて３次元オブジェクト図形としてもよい。
　３次元リズム情報生成部１０４は、３次元オブジェクト図形が直方体以外の図形の場合、上述したパラメータｐｒｍ１～ｐｒｍ６のうち１つ以上のパラメータを３次元リズム情報として生成する。
　また、オブジェクト抽出部１０２は、主要被写体のオブジェクト（本例では人物）と他の被写体のオブジェクト（本例では鞄）とをあわせたオブジェクトの領域を示すオブジェクト図形を抽出してもよい。
　このように、本実施形態によれば、オブジェクト自体を示す数値である３次元リズム情報をこのオブジェクトから簡便に生成することができる。また、数値によって表される３次元リズム情報を用いてオブジェクト同士を簡便に比較することができる。
　更に、オブジェクト同士の比較結果を種々の応用処理（例えば、オブジェクトの類似度に基づくオブジェクトのクループ化、各撮像機器によるオブジェクトの類似度に基づく撮像機器のクループ化、基準とするオブジェクトに類似するオブジェクトの抽出）に活用することができる。
　ところで、オブジェクトＯＢＴを一方向からのみ撮像した場合には、オブジェクトＯＢＴの動きが複雑なときにはオブジェクトＯＢＴのリズム情報を正確に生成することができないことがある。
　本実施形態によれば、複数台の視点の異なる電子機器１が撮像した動画像に基づいて３次元リズム情報を生成しているため、例えば被写体であるオブジェクトＯＢＴが複雑な動きをした場合であっても、高精度な３次元リズム情報を生成することができる。
［第２の実施形態］
　次に、本発明の第２の実施形態について説明する。
　本実施形態によるリズム情報抽出システムでは、マスタとなる１台の電子機器２ａが、撮像開始を示すデータと撮像終了を示すデータとを他の電子機器２ｂ～２ｈに送信することにより、８台の電子機器２ａ～２ｈが時間的に同期してオブジェクトＯＢＴの動画像を撮像する。
　そして、各電子機器２は、各々が撮像した動画像からオブジェクトＯＢＴのリズム情報を生成する。リズム情報とは、オブジェクトＯＢＴの周期的な動きを示すデータである。
　そして、電子機器２ｂ～２ｈは、抽出したリズム情報と、自装置の位置を示す位置情報とをマスタである電子機器２ａに送信する。マスタである電子機器２ａは、自装置の位置情報と各電子機器２ｂ～２ｈの位置情報とに基づいて、自装置と各電子機器２ｂ～２ｈとの視差角度をそれぞれ算出する。
　なお、電子機器２ａとオブジェクトＯＢＴとの位置関係は予め設定されている。或いは、電子機器２ａは、撮像結果に基づいて電子機器２ａとオブジェクトＯＢＴとの位置関係を算出してもよい。
　そして、マスタである電子機器２ａは、各電子機器２のリズム情報と、自装置と他の電子機器２との視差角度とに基づいて、３次元におけるオブジェクトＯＢＴの周期的な動きを示す３次元リズム情報を生成する。
　図１０は、本実施形態による電子機器２の機能構成を示すブロック図である。本図において、図２に示す電子機器１と同一の部分には同一の符号を付し、その説明を省略する。
　電子機器２の制御部２０は、オブジェクト抽出部２０１と、リズム情報生成部２０２と、リズム情報受信部２０３と、３次元リズム情報生成部２０４と、リズム情報送信部２０５と、同期制御部２０６とを含んで構成される。
　オブジェクト抽出部２０１は、撮像部１１により撮像された動画像の画像データからオブジェクトＯＢＴを抽出する。
　例えば、オブジェクト抽出部２０１は、動画像から主な被写体（例えば、人物や動物等）をパターンマッチング等により抽出し、オブジェクトＯＢＴとする。或いは、オブジェクト抽出部２０１は、操作部１６により指定されたオブジェクトＯＢＴを抽出する。
　また、オブジェクト抽出部２０１は、オブジェクトＯＢＴに外接するオブジェクト図形（本実施形態では、外接矩形）を抽出する。オブジェクト抽出部２０１は、動画像の画像データと抽出したオブジェクトＯＢＴを示すデータとをリズム情報生成部２０２に出力する。
　リズム情報生成部２０２は、動画像におけるオブジェクトＯＢＴの周期的な動きを、オブジェクトＯＢＴの時間的な変化を示すリズム情報として抽出する。具体的には、リズム情報生成部２０２は、以下に例示するパラメータｐ１～ｐ１２のうち１つ以上のパラメータをリズム情報として抽出する。
　なお、ｐ１～ｐ１２における所定時間は、例えば、オブジェクト図形の形状の変化の周期を基準とする時間（例えば１周期）である。
　なお、ｐ７－１～ｐ１２におけるＸ方向、Ｙ方向、Ｚ方向は、マスタである装置において抽出したオブジェクト図形（本実施形態では、外接矩形）を基準とする。
　例えば、電子機器２ａ～電子機器２ｈが、図１の電子機器１ａ～電子機器１ｈと同じ位置に存在し、電子機器２ａがマスタである場合、電子機器２ａ（又は電子機器２ａに対向する電子機器２ｅ）が撮像した動画像の横方向をＸ方向、電子機器２ａが撮像した動画像の縦方向をＺ方向とし、電子機器２ａに対して視野角度が９０度である電子機器２ｃ（又は電子機器２ｇ）が撮像した動画像の横方向をＹ方向、電子機器２ｃ（電子機器２ｇ）が撮像した動画像の縦方向をＺ方向とする。
　なお、ｐ１～ｐ６における面積は、ＸＺ平面又はＹＺ平面に投射した面積としてもよい。
　ｐ１は、所定時間内におけるオブジェクト図形の最大面積と最小面積の差である。
　ｐ２は、所定時間内におけるオブジェクト図形の最大面積と最小面積の面積比である。
　ｐ３－１は、所定時間内におけるオブジェクト図形の平均面積と最大面積の差である。
　ｐ３－２は、所定時間内におけるオブジェクト図形の平均面積と最小面積の差である。
　ｐ４－１は、所定時間内におけるオブジェクト図形の平均面積と最大面積の面積比である。
　ｐ４－２は、所定時間内におけるオブジェクト図形の平均面積と最小面積の面積比である。
　ｐ５は、所定時間内におけるオブジェクト図形の面積の分布状況（例：標準偏差）である。
　ｐ６は、所定時間内におけるオブジェクト図形の面積の変化の周期である。
　ｐ７－１は、所定時間内におけるオブジェクト図形のＸ方向の最大変化量である。
　ｐ７－２は、所定時間内におけるオブジェクト図形のＹ方向の最大変化量である。
　ｐ７－３は、所定時間内におけるオブジェクト図形のＺ方向の最大変化量である。
　ｐ８－１は、所定時間内におけるオブジェクト図形のＸ方向の分布状況（例：標準偏差）である。
　ｐ８－２は、所定時間内におけるオブジェクト図形のＹ方向の分布状況（例：標準偏差）である。
　ｐ８－３は、所定時間内におけるオブジェクト図形のＺ方向の分布状況（例：標準偏差）である。
　ｐ９－１は、所定時間内におけるオブジェクト図形のＸ方向の変化の周期である。
　ｐ９－２は、所定時間内におけるオブジェクト図形のＹ方向の変化の周期である。
　ｐ９－３は、所定時間内におけるオブジェクト図形のＺ方向の変化の周期である。
　ｐ１０は、所定時間内におけるオブジェクト図形のＸＹＺ方向比の最大変化量である。
　ｐ１１は、所定時間内におけるオブジェクト図形のＸＹＺ方向比の分布状況（例：標準偏差）である。
　ｐ１２は、所定時間内におけるオブジェクト図形のＸＹＺ方向比の変化の周期である。
　リズム情報生成部２０２は、自装置がマスタである場合は、入力された動画像の画像データとこの動画像のオブジェクトＯＢＴのリズム情報とを３次元リズム情報生成部２０４に出力する。また、リズム情報生成部２０２は、自装置がマスタでない場合は、抽出したリズム情報をリズム情報送信部２０５に出力する。
　リズム情報受信部２０３は、自装置がマスタである場合、無線部１２を介して他の電子機器２からリズム情報と、この他の電子機器２の位置情報とを受信する。
　リズム情報受信部２０３が受信するリズム情報は、撮像部１１の撮像と時間的に同期して他の電子機器２がオブジェクトＯＢＴを撮像した動画像から生成されたものである。リズム情報受信部２０３は、受信したリズム情報と位置情報とを３次元リズム情報生成部２０４に出力する。
　３次元リズム情報生成部２０４は、自装置がマスタである場合、リズム情報生成部２０２から入力された自装置のリズム情報と、自装置の位置情報と、リズム情報受信部２０３により入力された他の電子機器２のリズム情報及びこの他の電子機器２の位置情報とに基づいて、３次元におけるオブジェクトＯＢＴの周期的な動きを示す３次元リズム情報を生成する。
　具体的には、まず、３次元リズム情報生成部２０４は、位置情報取得部１３から自装置の位置情報を取得し、取得した自装置の位置情報と他の電子機器２の位置情報とに基づいて、自装置と他の電子機器２との視差角度を算出する。
　そして、３次元リズム情報生成部２０４は、自装置と他の電子機器２との視差角度と、自装置のリズム情報と、他の電子機器２のリズム情報とに基づいて、３次元リズム情報（上述したｐｒｍ７～ｐｒｍ１２のうち１つ以上）を生成し、生成した３次元リズム情報を記憶部１４に書き込む。
　例えば、電子機器２ａ～電子機器２ｈが、図１の電子機器１ａ～電子機器１ｈと同じ位置に存在し、電子機器１ａと同じ位置にある電子機器２ａがマスタである場合、電子機器２ａの３次元リズム情報生成部２０４は、自装置のリズム情報ｐ７－１（所定時間内におけるオブジェクト図形の横方向の最大変化量）と、自装置に対向する位置にある他の電子機器２ｅのリズム情報ｐ７－１とから、ｐｒｍ７－１（所定時間内における３次元オブジェクト図形のＸ辺の最大変化量）を算出する。
　例えば、３次元リズム情報生成部２０４は、自装置のリズム情報ｐ７－１と他の電子機器２ｅのリズム情報ｐ７－１の平均値（又は、最大値）をｐｒｍ７－１として算出する。
　また例えば、電子機器２ａの３次元リズム情報生成部２０４は、自装置と視野角度が９０度である他の電子機器２ｃのリズム情報ｐ７－２（所定時間内におけるオブジェクト図形の横方向の最大変化量）と、同じく自装置と視野角度が９０度である他の電子機器２ｇのリズム情報ｐ７－２とから、ｐｒｍ７－２（所定時間内における３次元オブジェクト図形のＹ辺の最大変化量）を算出する。
　また例えば、電子機器２ａの３次元リズム情報生成部２０４は、自装置のリズム情報ｐ７－３（所定時間内におけるオブジェクト図形の縦方向の最大変化量）と、他の電子機器２ｅのリズム情報ｐ７－３と、他の電子機器２ｃのリズム情報ｐ７－３と、他の電子機器２ｇのリズム情報ｐ７－３とから、ｐｒｍ７－３（所定時間内における３次元オブジェクト図形のＺ辺の最大変化量）を算出する。
　具体的には、例えば、３次元リズム情報生成部２０４は、自装置のリズム情報ｐ７－３、他の電子機器２ｅのリズム情報ｐ７－３、他の電子機器２ｃのリズム情報ｐ７－３、及び、他の電子機器２ｇのリズム情報ｐ７－３の平均値（又は、最大値）をｐｒｍ７－３として算出する。
　なお、マスタである電子機器２の３次元リズム情報生成部２０４は、自装置から得たリズム情報、自装置に対向する位置にある電子機器２から得たリズム情報、自装置に対して視野角度が９０度である電子機器２から得たリズム情報に代えて、または、加えて、他の位置にある電子機器２から得たリズム情報を用いて、３次元リズム情報を生成してもよい。
　例えば、電子機器２ａ～電子機器２ｈが、図１の電子機器１ａ～電子機器１ｈと同じ位置に存在し、電子機器１ａと同じ位置にある電子機器２ａがマスタである場合、電子機器２ａの３次元リズム情報生成部２０４は、自装置と視野角度が４５度である他の電子機器２ｂのリズム情報ｐ７－１（所定時間内におけるオブジェクト図形の横方向の最大変化量）をＸＺ平面及びＹＺ平面に夫々投射したときの各値（視野角度４５度及びオブジェクトＯＢＴ迄の距離によって算出）を、ｐｒｍ７－１及びｐｒｍ７－２の算出時に反映させるようにしてもよい。
　なお、マスタである電子機器２の動画像を基準に３次元リズム情報における３軸を決定するのではなく、複数の電子機器２の動画像に基づいて統計的に３次元リズム情報における３軸を決定してもよい。
　つまり、時刻ｔにおけるカメラ方向ｉ（ｉ＝１，…，ｎ）のリズム情報Ｒの統計量Ｓｐｉ（ｔ）をｎ次元空間にプロットした場合、統計量Ｓｐｉ（ｔ）を時間方向ｔに広く分布させるような軸を見つけることができる。この軸となる成分を第１主成分、第２主成分、第３主成分迄求めて、これをＸ、Ｙ、Ｚとして用いてもよい。
　なお、リズム情報Ｒ毎に統計量Ｓｐｉ（ｔ）をプロットし、リズム情報Ｒ毎に主成分（第１主成分、第２主成分、第３主成分）を求めてもよいし、代表的なリズム情報Ｒの主成分を求め、他のリズム情報Ｒにおける主成分としてもよい。代表的なリズム情報Ｒの主成分を他のリズム情報Ｒにおける主成分とする場合、この主成分を係数として他のリズム情報Ｒの統計量Ｓｐｉ（ｔ）を算出する。
　上述の如く、３次元リズム情報における３軸を統計的に決定する態様の場合、斜め方向に動くリズムが複数あるときに有効である。
　リズム情報送信部２０５は、自装置がマスタでない場合、リズム情報生成部２０２からリズム情報が入力されると、位置情報取得部１３から自装置の位置情報を取得し、入力されたリズム情報と取得した自装置の位置情報とをマスタである電子機器２に送信する。
　同期制御部２０６の機能は、第１の実施形態における同期制御部１０６の機能と同様なため、説明を省略する。
　次に、図１１及び図１２を参照して、本実施形態における３次元リズム情報生成方法について説明する。図１１は、本実施形態による３次元リズム情報生成処理の手順を示すフローチャートである。本図に示す処理は、マスタである電子機器２ａが行う。
　まず、同期制御部２０６が、撮像開始を示すデータを他の電子機器２ｂ～２ｈに送信するとともに、撮像部１１に動画像を撮像させる（ステップＳ３０１）。
　また、同期制御部２０６は操作部１６を介したユーザからの指示に応じて、撮像終了を示すデータを他の電子機器２に送信するとともに、撮像部１１による撮像を停止する。
　次に、オブジェクト抽出部２０１が、ステップＳ３０１において撮像した動画像からオブジェクトＯＢＴのオブジェクト図形を抽出する（ステップＳ３０２）。
　次に、リズム情報生成部２０２が、ステップＳ３０２において抽出されたオブジェクトＯＢＴのオブジェクト図形に基づいて、オブジェクトＯＢＴのリズム情報を生成する（ステップＳ３０３）。
　次に、リズム情報受信部２０３が、他の電子機器２ｂ～２ｈからリズム情報と位置情報とを受信する（ステップＳ３０４）。このリズム情報は、ステップＳ３０１における撮像と連動して他の電子機器２ｂ～２ｈに撮像された動画像から生成されたオブジェクトＯＢＴのリズム情報である。
　次に、３次元リズム情報生成部２０４が、各電子機器２の位置情報と、各電子機器２が生成したリズム情報とに基づいて、３次元リズム情報を生成し（ステップＳ３０５）、生成した３次元リズム情報を記憶部１４に書き込む。
　図１２は、本実施形態によるリズム情報送信処理の手順を示すフローチャートである。
　本図に示す処理は、マスタ以外の電子機器２ｂ～２ｈが行う。
　まず、同期制御部２０６が、撮像開始を示すデータをマスタである電子機器２ａから受信すると、撮像部１１に動画像を撮像させる（ステップＳ４０１）。
　また、同期制御部２０６は、撮像終了を示すデータをマスタである電子機器２ａから受信すると、撮像部１１による撮像を停止する。
　次に、オブジェクト抽出部２０１が、ステップＳ４０１において撮像した動画像からオブジェクトＯＢＴのオブジェクト図形を抽出する（ステップＳ４０２）。
　次に、リズム情報生成部２０２が、ステップＳ４０２において抽出されたオブジェクトＯＢＴのオブジェクト図形に基づいて、オブジェクトＯＢＴのリズム情報を生成する（ステップＳ４０３）。
　最後に、リズム情報送信部２０５が、ステップＳ４０３において生成されたリズム情報と、自装置の位置情報とをマスタである電子機器２ａに送信する（ステップＳ４０４）。
　また、本実施形態では、オブジェクト抽出部２０１は、外接矩形をオブジェクト図形としたが、例えば、オブジェクトＯＢＴに外接する外接円等の他の図形を外接矩形に代えてオブジェクト図形としてもよい。リズム情報生成部２０２は、オブジェクト図形が外接矩形以外の図形の場合、上述したパラメータｐ１～ｐ６のうち１つ以上のパラメータをリズム情報として取得する。
　また、オブジェクト抽出部２０１は、主要被写体のオブジェクト（本例では人物）と他の被写体のオブジェクト（本例では鞄）をあわせたオブジェクトの領域を示すオブジェクト図形を抽出してもよい。
　このように、本実施形態によれば、各電子機器２がリズム情報を生成し、生成された各リズム情報を合成して３次元リズム情報を生成するため、第１の実施形態と同様の効果に加えて更に、マスタである電子機器２ａの処理負荷を軽減することができる。
　また、各電子機器２が並列してリズム情報を生成することにより、全体の処理時間を短縮することができる。
　また、図８、図９、図１１又は図１２に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、３次元リズム情報を生成する処理を行ってもよい。
　なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＳＤカード、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
　さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
　また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。
　ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
　また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
　さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
　以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
　例えば、上述した実施形態では、複数台の電子機器１（又は２）が、異なる視点から撮像した複数の動画像に基づいて３次元リズム情報を生成しているが、例えば１台の電子機器１（又は２）が視差のある複数の撮像部１１を備えてもよい。
　この場合、電子機器１（又は２）は、各撮像部１１が時間的に同期して撮像した複数の動画像に基づいて３次元リズム情報を生成する。
　また、上述した実施形態における図８、図９、図１１及び図１２に示すフローチャートは、撮像した後の動画像に基づいて３次元リズム情報を生成する場合の動作を示しているが、これに限られることなく、動画像を撮像中に３次元リズム情報を生成してもよい。
　また、上述した実施形態では、各電子機器１の位置情報に基づいて各電子機器１のオブジェクトＯＢＴに対する視差角度を算出しているが、予め各電子機器１の視差角度をマスタである電子機器１に予め設定しておいてもよい。
［第３の実施形態］
　次に、本発明の第３の実施形態について説明する。図１３は、本実施形態による電子機器２００１の機能構成の一例を示すブロック図である。
　電子機器２００１は、制御部２０１０と、撮像部２０１１と、記憶部２０１２と、表示部２０１３と、操作部２０１４とを含んで構成される。
　撮像部２０１１は、被写体を撮像して動画像又は静止画像の画像データを生成する。
　記憶部２０１２は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）から構成され、各種データを記憶する。例えば、記憶部２０１２は、撮像部２０１１により撮像された動画像又は静止画像の画像データを記憶する。また、記憶部２０１２は、オブジェクトＯＢＴのリズム情報を動画像と対応付けて記憶する。
　表示部２０１３は、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ‐Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等であり、画像等を表示する。
　操作部２０１４は、表示部２０１３上に設置されたタッチパネル等を備え、ユーザからの操作入力を受け付ける。例えば、操作部２０１４は、動画像における特定の物体（オブジェクトＯＢＴ）を指定する。特定のオブジェクトＯＢＴは、動画像における位置を推定する対象となるオブジェクトである。
　具体的には、操作部２０１４は、動画像を表示部２０１３に表示して、ユーザからのオブジェクトＯＢＴの指定を受け付ける。ユーザは、表示された動画像のオブジェクトＯＢＴ上をタッチすることにより、特定のオブジェクトＯＢＴを指定する。
　制御部２０１０は、電子機器２００１の各部を統括して制御し、オブジェクト抽出部２１０１と、リズム情報生成部２１０２と、オブジェクト位置推定部２１０３とを含んで構成される。
　オブジェクト抽出部２１０１は、動画像の画像データからオブジェクトＯＢＴを抽出する。動画像は、撮像部２０１１により撮像されたものでもよいし、記憶部２０１２に予め記憶されているものでもよい。
　例えば、オブジェクト抽出部２１０１は、操作部２０１４により指定された特定のオブジェクトＯＢＴを動画像の各画像フレームからパターンマッチングにより抽出する。
　或いは、オブジェクト抽出部２１０１は、動画像の各画像フレームから主な被写体（例えば、人物や動物等）をパターンマッチング等により抽出し、オブジェクトＯＢＴとする。
　そして、オブジェクト抽出部２１０１は、動画像の画像データと各画像フレームにおいて抽出したオブジェクトＯＢＴの座標位置を示すデータとをリズム情報生成部２１０２に出力する。
　また、オブジェクト抽出部２１０１は、オブジェクト位置推定部２１０３から現在の画像フレームにおけるオブジェクトＯＢＴの推定位置が入力された場合、入力された推定位置を基準に局所的にパターンマッチング（トラッキング処理）してオブジェクトＯＢＴを抽出する。現在の画像フレームとは、オブジェクトを抽出する処理対象となる画像フレームである。
　すなわち、オブジェクト抽出部２１０１は、現在の画像フレームのうち入力された推定位置周辺（推定位置からの距離が所定値以内の領域）においてパターンマッチングする。これにより、画像フレーム全体を順次パターンマッチングする場合と比べて処理時間が短縮される。
　リズム情報生成部２１０２は、オブジェクト抽出部２１０１により抽出されたオブジェクトＯＢＴの周期的な動きを、オブジェクトＯＢＴの時間的な変化を示すリズム情報として生成し、生成したリズム情報を入力された動画像に対応付けて記憶部２０１２に書き込む。
　例えば、リズム情報生成部２１０２は、各画像フレームにおけるオブジェクトＯＢＴの位置に基づいて、リズム情報を生成する。リズム情報の生成方法の詳細については後述する。
　オブジェクト位置推定部２１０３は、リズム情報生成部２１０２により生成されたリズム情報と現在の画像フレームにおけるオブジェクトＯＢＴの位置とに基づいて、動画像の次の画像フレームにおけるオブジェクトＯＢＴの位置を推定する。次の画像フレームとは、現在の画像フレームより時間的に後にある画像フレームである。オブジェクトＯＢＴの位置の推定方法については後述する。
　次に、図１４を参照して、リズム情報の生成方法について説明する。図１４は、本実施形態によるリズム情報生成方法の動作を説明するための説明図である。
　本図において横軸は時間経過を示し、ｔ１～ｔ５は時刻を示す。また、Ｐ１～Ｐ５は、電子機器２００１により撮像されたオブジェクトＯＢＴの動画像Ｐを構成する１コマ（画像フレーム）である。ここで、四角形の画像フレームにおける横方向をＸ軸方向とし、Ｘ軸方向に対して直交する方向をＹ軸方向としてＸＹ座標系を定める。
　時刻ｔ１の画像フレームＰ１におけるオブジェクトＯＢＴの座標位置は（ｘ１，ｙ）であり、時刻ｔ２の画像フレームＰ２におけるオブジェクトＯＢＴの座標位置は（ｘ２，ｙ）であり、時刻ｔ３の画像フレームＰ３におけるオブジェクトＯＢＴの座標位置は（ｘ３，ｙ）であり、時刻ｔ４の画像フレームＰ４におけるオブジェクトＯＢＴの座標位置は（ｘ４，ｙ）であり、時刻ｔ５の画像フレームＰ５におけるオブジェクトＯＢＴの座標位置は（ｘ１，ｙ）である。
　本実施形態におけるオブジェクトＯＢＴの座標位置は、オブジェクトＯＢＴの中心の座標位置である。動画像Ｐにおいて、オブジェクトＯＢＴは、時刻ｔ１～ｔ４（ｔ５～ｔ８，ｔ９～ｔ１２，…）を１周期として周期的な動きをしている。具体的には、オブジェクトＯＢＴは、座標（ｘ１，ｙ）と座標（ｘ３，ｙ）とを端点とする往復運動をしている。
　リズム情報生成部２１０２は、オブジェクトＯＢＴの動きｍ＝｛座標（ｘ１，ｙ）と座標（ｘ３，ｙ）とを端点とする往復運動を示すデータ｝とオブジェクトＯＢＴの速度ｖとを算出し、リズム情報ｒ（ｍ，ｖ）を生成する。
　次に、図１５を参照して、オブジェクトＯＢＴの位置の推定方法について説明する。図１５は、本実施形態によるオブジェクト位置推定方法の動作を説明するための説明図である。本図において横軸は時間経過を示す。
　本実施形態では、オブジェクトＯＢＴを追跡するアルゴリズムとしてパーティクルフィルタ（例えば、M.Isard and A.Blake, ”CONDENSATION - Conditional Density Propagation for VisualTracking,”International Journal of Computer Vision, Volume 29, Number 1, pp.5-28,1998.を参照）を適用する。
　以下、時刻ｔｎの画像フレームＰｎにおけるオブジェクトＯＢＴの位置を推定する場合を例に説明する。
　まず、初期状態ｔ０において、オブジェクト位置推定部２１０３は、公知の任意の手法を用いて、初期状態ｔ０の画像フレーム全体を対象としてオブジェクトＯＢＴの位置（ｘ０，ｙ０）を推定する。この段階の位置推定は、処理時間が多めにかかっても構わないので、十分な高精度で行っておくのがよい。
　オブジェクト位置推定部２１０３は、オブジェクトＯＢＴのこの推定位置から、次式［数１］にしたがって初期状態ｔ０におけるパーティクルｉ（但し、ｉ＝１，２，…，Ｎ）の座標（ｐｘ（ｉ，ｔ０），ｐｙ（ｉ，ｔ０））を計算する（パーティクルの生成）。なお、次式［数１］においてＮ（０，σ）は平均が０で分散がσ２の正規分布を表す。
Figure JPOXMLDOC01-appb-M000001
　また、オブジェクト位置推定部２１０３は、この初期状態ｔ０におけるオブジェクトＯＢＴの画像を、テンプレートＴ０（ｘ，ｙ）として保持しておく。
　さらに、オブジェクト位置推定部２１０３は、このテンプレートＴ０（ｘ，ｙ）と各パーティクルｉとの適合度に基づいて、各パーティクルｉの初期状態ｔ０における重みＷ（ｉ，ｔ０）を計算する。
　適合度としては、例えば、次式［数２］で表される相関関数を用いることができる。なお、次式［数２］においてＩ（ｘ，ｙ）は座標（ｘ，ｙ）の画素値である。この画素値は、グレースケール画像、カラー画像いずれを表すものであってもよい。
Figure JPOXMLDOC01-appb-M000002
　上記の初期状態の処理の後、次に、オブジェクト位置推定部２１０３は、以下に示すリサンプリング、予測、重み付け、観測の４ステップからなる一連の処理を、各時刻ｔｎ（但し、ｎ＝１，２，…）について逐次実行する。
［リサンプリング］
　オブジェクト位置推定部２１０３は、パーティクルｉの生成確率をＰ（ｉ，ｔｎ－１）＝Ｗ（ｉ，ｔｎ－１）／ΣＷ（ｉ，ｔｎ－１）として、Ｎ個のパーティクルを生成し直す。
　これら各パーティクルｉの座標を、（ｐｘ（ｉ，ｔｎ－１），ｐｙ（ｉ，ｔｎ－１））と表す。
［予測］
　オブジェクト位置推定部２１０３は、リサンプリングのステップで生成し直したＮ個のパーティクルのそれぞれについて、次式［数３］にしたがいリズム情報に基づく予測を行うことにより、時刻ｔｎにおける各パーティクルｉの座標（ｐｘ（ｉ，ｔｎ），ｐｙ（ｉ，ｔｎ））を計算する。
　なお、次式［数３］において、ωｘ，ωｙは、それぞれ後述するリズム情報のパラメータｐｍ９－１，ｐｍ９－２を用いる。また、Ｗｘ，Ｗｙは、それぞれ後述するリズム情報のパラメータｐｍ７－１，ｐｍ７－２に係数を乗じた値を用いる。また、θｘ，θｙは、例えば０である。
Figure JPOXMLDOC01-appb-M000003
［重み付け］
　オブジェクト位置推定部２１０３は、予測のステップで計算した各パーティクルｉの座標に基づいて、テンプレートＴ０（ｘ，ｙ）と各パーティクルｉとの適合度から各パーティクルｉの時刻ｔｎにおける重みＷ（ｉ，ｔｎ）を計算する。適合度としては、上述した式［数２］で表される相関関数を用いることができる。
　なお、初期状態のテンプレートＴ０（ｘ，ｙ）との適合度の代わりに、時刻ｔｎにおけるオブジェクトＯＢＴの画像との適合度を用いることとしてもよい。
［観測］
　オブジェクト位置推定部２１０３は、予測のステップで求めた各パーティクルｉの座標と重み付けのステップで求めた重みとを用いて、次式［数４］により全パーティクルについて重み付けをとった平均位置（ｘｎ，ｙｎ）を計算する。この平均位置が、時刻ｔｎにおけるオブジェクトＯＢＴの推定位置である。
Figure JPOXMLDOC01-appb-M000004
　次に、図１６を参照して、電子機器２００１によるオブジェクトＯＢＴの位置推定処理について説明する。図１６は、本実施形態によるオブジェクト位置推定処理の手順を示すフローチャートである。
　まず、オブジェクト抽出部２１０１が、動画像の最初の画像フレームを現在の画像フレームとし、現在の画像フレームにおけるオブジェクトＯＢＴを抽出する（ステップＳ２１０１）。
　動画像は、撮像部２０１１が撮像しているものでもよいし、記憶部２０１２が予め記憶しているものでもよい。
　次に、リズム情報生成部２１０２が、１周期分のオブジェクトＯＢＴを抽出したか否かを判定する（ステップＳ２１０２）。ここで、リズム情報生成部２１０２は、抽出したオブジェクトＯＢＴの動きに周期性がある場合に１周期分のオブジェクトＯＢＴを抽出したと判定する。
　１周期分のオブジェクトＯＢＴを抽出してないと判定した場合（ステップＳ２１０２：Ｎｏ）、オブジェクト抽出部２１０１は、次の画像フレームを処理対象（現在の画像フレーム）とし（ステップＳ２１０３）、ステップＳ２１０１へ戻る。
　一方、１周期分のオブジェクトＯＢＴを抽出した場合（ステップＳ２１０２：Ｙｅｓ）、リズム情報生成部２１０２は、抽出されたオブジェクトＯＢＴに基づいてリズム情報を生成する（ステップＳ２１０４）。
　そして、オブジェクト位置推定部２１０３が、次の画像フレームを処理対象（現在の画像フレーム）とし、生成されたリズム情報と前の画像フレームにおけるオブジェクトＯＢＴの位置とに基づいて、現在の画像フレームにおけるオブジェクトＯＢＴの位置を推定する（ステップＳ２１０５）。
　このとき、オブジェクト位置推定部２１０３は、推定したオブジェクトＯＢＴの座標位置を表示部２０１３に表示してもよいし、記憶部２０１２に記憶してもよい。
　次に、オブジェクト抽出部２１０１が、オブジェクト位置推定部２１０３により推定された位置に基づいて、現在の画像フレームにおけるオブジェクトＯＢＴを抽出する（ステップＳ２１０６）。具体的には、オブジェクト抽出部２１０１は、推定位置周辺において局所的にパターンマッチングしてオブジェクトＯＢＴを抽出する。
　そして、オブジェクト抽出部２１０１は、現在の画像フレームが動画像における最後の画像フレームであるか否かを判定する（ステップＳ２１０７）。
　現在の画像フレームが最後の画像フレームでない場合（ステップＳ２１０７：Ｎｏ）、オブジェクト抽出部２１０１は、次の画像フレームを処理対象（現在の画像フレーム）とし（ステップＳ２１０８）、ステップＳ２１０５へ戻る。
　一方、現在の画像フレームが最後の画像フレームである場合（ステップＳ２１０７：Ｙｅｓ）、リズム情報生成部２１０２が、抽出されたオブジェクトＯＢＴに基づいてリズム情報を生成し（ステップＳ２１０９）、生成したリズム情報を動画像に対応付けて記憶部２０１２に書き込み処理を終了する。
　このように、本実施形態によれば、電子機器２００１は、オブジェクトＯＢＴの周期的な動きを示すリズム情報に基づいて、オブジェクトＯＢＴの位置を推定している。これにより、例えば往復運動等の急に進行方向の変わる動きをするオブジェクト（物体）の位置を精度良く推定することができる。
　また、本実施形態によれば、オブジェクト抽出部２１０１は、オブジェクト位置推定部２１０１が推定したオブジェクトＯＢＴの位置において局所的にパターンマッチングを行い、オブジェクトＯＢＴを抽出している。
　これにより、画像フレーム全体をトレースする必要がなくなるため、オブジェクト抽出のための処理時間が短縮される。また、オブジェクトＯＢＴのトラッキング精度が向上するため、リズム情報生成の精度も向上する。
　なお、本発明の一実施形態による電子機器２００１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、電子機器２００１の各処理を行ってもよい。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　例えば、上述した実施形態では、オブジェクトＯＢＴの中心の座標位置をオブジェクトＯＢＴの座標位置としたが、例えばオブジェクトＯＢＴの左端部や右端部等のオブジェクトＯＢＴの他の部分の座標位置をオブジェクトＯＢＴの座標位置としてもよい。
　また、上述した実施形態における図１６に示すフローチャートは、撮像した後の動画像に基づいてオブジェクトＯＢＴの位置を推定する場合の動作を示しているが、これに限られることなく、動画像を撮像中にオブジェクトＯＢＴの位置を推定してもよい。
　また、上述した実施形態では、オブジェクトＯＢＴの座標位置に基づくリズム情報を生成しているが、例えば、オブジェクトＯＢＴに外接する外接図形に基づくリズム情報を生成してもよい。
　以下、図１７から図１９Ｃを用いて、外接図形に基づくリズム情報の生成について詳細に説明する。図１７から図１９Ｃは、外接図形に基づくリズム情報の生成について説明するための説明図である。
　リズム情報生成部２１０２は、オブジェクト抽出部２１０１により抽出されたオブジェクトに外接する外接図形の面積の変化量、長辺又は短辺の長さの変化量、縦横比の変化量、面積の変化の周期、長さの変化の周期、又は、縦横比の変化の周期を用いて、オブジェクトの時間的な変化のパターンを表すリズム情報を生成する。
　例えば、リズム情報生成部２１０２は、以下に例示するパラメータ１～１２（以下、ｐｍ１～ｐｍ１２と表記）のうち１つ以上のパラメータの値を用いて、オブジェクトの時間的な変化のパターンを表すリズム情報を生成する。
　なお、ｐｍ１～ｐｍ１２における所定時間は、例えば、外接矩形の変化の周期を基準とする時間（例えば１周期）である。
　また、ｐｍ７－１～ｐｍ９－２における長辺及び短辺は、ある基準時刻（例えば、１周期の最初）の長さに基づいて決定する。また、単に、便宜上、Ｙ軸方向（若しくはＸ軸方向）を長辺として決めておいてもよい。
（リズム情報を構成するパラメータ）
　ｐｍ１は、所定時間内における外接矩形の最大面積と最小面積の差である。
　ｐｍ２は、所定時間内における外接矩形の最大面積と最小面積の面積比である。
　ｐｍ３－１は、所定時間内における外接矩形の平均面積と最大面積の差である。
　ｐｍ３－２は、所定時間内における外接矩形の平均面積と最小面積の差である。
　ｐｍ４－１は、所定時間内における外接矩形の平均面積と最大面積の面積比である。
　ｐｍ４－２は、所定時間内における外接矩形の平均面積と最小面積の面積比である。
　ｐｍ５は、所定時間内における外接矩形の面積の分布状況（例：標準偏差）である。
　ｐｍ６は、所定時間内における外接矩形の面積の変化の周期である。
　ｐｍ７－１は、所定時間内における外接矩形の長辺の最大変化量である。
　ｐｍ７－２は、所定時間内における外接矩形の短辺の最大変化量である。
　ｐｍ８－１は、所定時間内における外接矩形の長辺の分布状況（例：標準偏差）である。
　ｐｍ８－２は、所定時間内における外接矩形の短辺の分布状況（例：標準偏差）である。
　ｐｍ９－１は、所定時間内における外接矩形の長辺の変化の周期である。
　ｐｍ９－２は、所定時間内における外接矩形の短辺の変化の周期である。
　ｐｍ１０は、所定時間内における外接矩形の縦横比の最大変化量である。
　ｐｍ１１は、所定時間内における外接矩形の縦横比の分布状況（例：標準偏差）である。
　ｐｍ１２は、所定時間内における外接矩形の縦横比の変化の周期である。
　以下、具体例を用いてリズム情報生成部２１０２によるリズム情報の生成について説明する。
　図１７（ａ）に示すＰ１は、動画像を構成する１コマ（画像フレーム）であって、人物（オブジェクトＯＢＴ１）が両手両足を大きく振っている瞬間に撮像されたものである。図１７（ｃ）に示すＰ３は、動画像を構成する１コマ（画像フレーム）であって、人物（オブジェクトＯＢＴ１）が両手両足を振り下ろしている瞬間に撮像されたものである。
　図１７（ｂ）に示すＰ２は、Ｐ１とＰ３の間の１コマ（画像フレーム）である。
　図１８（ａ）に示すＥＲ１は、図１７（ａ）に示すＰ１内のオブジェクトＯＢＴ１に外接する外接矩形である。図１８（ｂ）に示すＥＲ２は、図１７（ｂ）に示すＰ２内のオブジェクトＯＢＴ１に外接する外接矩形である。図１８（ｃ）に示すＥＲ３は、図１７（ｃ）に示すＰ３内のオブジェクトＯＢＴ１に外接する外接矩形である。
　なお、図１８（ｄ）は、外接矩形ＥＲ１、ＥＲ２、ＥＲ３の各サイズを比較したものである。図１８（ｄ）に示すように、オブジェクトの動きに応じてこのオブジェクトに外接する外接矩形の形状は変化する。
　オブジェクト抽出部２１０１は、動画像（Ｐ１、Ｐ２、Ｐ３、…）から、オブジェクトＯＢＴ１を逐次抽出し、図１９Ａに示すように、オブジェクトＯＢＴ１に外接する外接図形を逐次抽出し、図１９Ｂに示すように、逐次抽出する外接矩形のサイズを算出する。
　なお、図１９Ａに示す「周期」は、外接矩形の形状の変化の周期を示している。つまり、時刻ｔ１～時刻ｔ４（時刻ｔ５～時刻ｔ８、時刻ｔ９～時刻ｔ１２、…）が１周期である。
　リズム情報生成部２１０２は、外接矩形のサイズを用いて、所定の１つ以上のパラメータを算出し、算出した各パラメータの値を要素とする数値群を、オブジェクトＯＢＴ１の時間的な変化のパターンを表すリズム情報とする。
　例えば、リズム情報生成部２１０２は、図１９Ｃに示すように、オブジェクトＯＢＴ１の外接矩形の最大面積と最小面積の面積比（ｐｍ２）、面積の変化の周期（ｐｍ６）、長辺の最大変化量（ｐｍ７－１）、短辺の最大変化量（ｐｍ７－２）、縦横比の最大変化量（ｐｍ１０）の値を要素とする数値群を、オブジェクトＯＢＴ１の時間的な変化のパターンを表すリズム情報Ｒ１（ｐｍ２、ｐｍ６、ｐｍ７－１、ｐｍ７－２、ｐｍ１０）とする。
　なお、リズム情報は、後に、比較をし易いように、各パラメータの値を適宜丸めたものであってもよいし、各パラメータの値を他の値に置き換えたものであってもよい（スコア化してもよい）。
　１，２…電子機器　１０，２０…制御部　１１…撮像部　１２…無線部　１３…位置情報取得部　１４…記憶部　１５…表示部　１６…操作部　１０１…動画像受信部　１０２…オブジェクト抽出部　１０３…３次元形状生成部　１０４…３次元リズム情報生成部　１０５…動画像送信部　１０６…同期制御部　２０１…オブジェクト抽出部　２０２…リズム情報生成部　２０３…リズム情報受信部　２０４…３次元リズム情報生成部　２０５…リズム情報送信部　２０６…同期制御部。
　２００１…電子機器、２０１０…制御部、２０１１…撮像部、２０１２…記憶部、２０１３…表示部、２０１４…操作部、２１０１…オブジェクト抽出部、２１０２…リズム情報生成部、２１０３…オブジェクト位置推定部。

Claims (10)

  1. 　オブジェクトを撮像する撮像部と、
    　前記撮像部により撮像された動画像と、前記撮像部の撮像と同期して前記撮像部と異なる視点により前記オブジェクトを撮像した動画像とに基づいて、３次元における前記オブジェクトの時間的な変化を示す３次元リズム情報を生成する３次元リズム情報生成部と、
    　を備えることを特徴とする電子機器。
  2. 　請求項１に記載の電子機器において、
    　前記撮像部の撮像と同期して前記撮像部と異なる視点により前記オブジェクトを撮像した動画像を他の電子機器から受信する動画像受信部と、
    　前記撮像部により撮像された動画像及び前記動画像受信部により受信した動画像それぞれから前記オブジェクトを抽出するオブジェクト抽出部と、
    　前記オブジェクト抽出部により抽出されたオブジェクトの３次元形状を生成する３次元形状生成部と、
    　を備え、
    　前記３次元リズム情報生成部は、前記３次元形状生成部により生成された前記オブジェクトの３次元形状の周期的な動きを、前記３次元リズム情報として生成する
    　ことを特徴とする電子機器。
  3. 　請求項１に記載の電子機器において、
    　前記撮像部により撮像された動画像から前記オブジェクトを抽出するオブジェクト抽出部と、
    　前記オブジェクト抽出部により抽出された前記オブジェクトの周期的な動きを、前記オブジェクトの時間的な変化を示すリズム情報として生成するリズム情報生成部と、
    　前記撮像部の撮像と同期して前記撮像部と異なる視点により前記オブジェクトを撮像した動画像に基づいて生成された前記オブジェクトのリズム情報を受信するリズム情報受信部と、
    　を備え、
    　前記３次元リズム情報生成部は、前記リズム情報生成部により生成されたリズム情報と、前記リズム情報受信部により受信されたリズム情報とに基づいて、前記３次元リズム情報を生成する
    　ことを特徴とする電子機器。
  4. 　請求項２又は３に記載の電子機器において、
    　前記動画像から前記オブジェクトを指定する操作部を備え、
    　前記オブジェクト抽出部は、前記操作部により指定されたオブジェクトを抽出する
    　ことを特徴とする電子機器。
  5. 　請求項１から４のうちいずれか１項に記載の電子機器において、
    　前記撮像部に撮像させるとともに、撮像開始を示すデータを他の電子機器に送信することにより前記撮像部による撮像と同期して前記他の電子機器に撮像させる同期制御部
    　を備えることを特徴とする電子機器。
  6. 　電子機器が、オブジェクトの動画像を撮像するステップと、
    　前記電子機器が、前記撮像した動画像と、前記撮像と同期して異なる視点により前記オブジェクトを撮像した動画像とに基づいて、３次元における前記オブジェクトの時間的な変化を示す３次元リズム情報を生成するステップと、
    　を有することを特徴とする情報生成方法。
  7. 　動画像の各画像フレームから特定のオブジェクトを抽出するオブジェクト抽出部と、
    　前記オブジェクト抽出部により抽出されたオブジェクトの周期的な動きを示すリズム情報を生成するリズム情報生成部と、
    　前記リズム情報生成部により生成されたリズム情報と現在の画像フレームにおける前記オブジェクトの位置とに基づいて、次の画像フレームにおける前記オブジェクトの位置を推定するオブジェクト位置推定部と、
    　を備えることを特徴とする電子機器。
  8. 　請求項７に記載の電子機器において、
    　前記特定のオブジェクトを指定する操作部
    　を備えることを特徴とする電子機器。
  9. 　請求項７又は８に記載の電子機器において、
    　前記オブジェクト抽出部は、前記オブジェクト位置推定部により推定された前記オブジェクトの位置に基づいて、前記次の画像フレームから前記オブジェクトを抽出する
    　ことを特徴とする電子機器。
  10. 　電子機器が、動画像の各画像フレームから特定のオブジェクトを抽出するステップと、
    　前記電子機器が、前記抽出したオブジェクトの周期的な動きを示すリズム情報を生成するステップと、
    　前記電子機器が、前記生成したリズム情報と現在の画像フレームにおける前記オブジェクトの位置とに基づいて、次の画像フレームにおける前記オブジェクトの位置を推定するステップと、
    　を有することを特徴とする位置推定方法。
PCT/JP2013/050009 2012-01-04 2013-01-04 電子機器、情報生成方法、及び位置推定方法 WO2013103151A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-000178 2012-01-04
JP2012000178 2012-01-04
JP2012000179 2012-01-04
JP2012-000179 2012-01-04

Publications (1)

Publication Number Publication Date
WO2013103151A1 true WO2013103151A1 (ja) 2013-07-11

Family

ID=48745208

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/050009 WO2013103151A1 (ja) 2012-01-04 2013-01-04 電子機器、情報生成方法、及び位置推定方法

Country Status (1)

Country Link
WO (1) WO2013103151A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016538790A (ja) * 2013-08-21 2016-12-08 ジョーント・インコーポレイテッドＪａｕｎｔ Ｉｎｃ． カメラモジュールを含むカメラアレイ
JP2018097588A (ja) * 2016-12-13 2018-06-21 日本電信電話株式会社 ３次元空間特定装置、方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195595A (ja) * 1999-10-29 2001-07-19 Atr Media Integration & Communications Res Lab 感性表現システム
JP2003228701A (ja) * 2002-02-05 2003-08-15 Japan Science & Technology Corp 跛行診断システム
JP2004298285A (ja) * 2003-03-28 2004-10-28 Ntt Data Corp 歩行状態・歩行者属性判定装置および判定方法
WO2006013765A1 (ja) * 2004-08-03 2006-02-09 Matsushita Electric Industrial Co., Ltd. 人物判定装置及び人物検索追跡装置
JP2007121217A (ja) * 2005-10-31 2007-05-17 Advanced Telecommunication Research Institute International 身体動作解析装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195595A (ja) * 1999-10-29 2001-07-19 Atr Media Integration & Communications Res Lab 感性表現システム
JP2003228701A (ja) * 2002-02-05 2003-08-15 Japan Science & Technology Corp 跛行診断システム
JP2004298285A (ja) * 2003-03-28 2004-10-28 Ntt Data Corp 歩行状態・歩行者属性判定装置および判定方法
WO2006013765A1 (ja) * 2004-08-03 2006-02-09 Matsushita Electric Industrial Co., Ltd. 人物判定装置及び人物検索追跡装置
JP2007121217A (ja) * 2005-10-31 2007-05-17 Advanced Telecommunication Research Institute International 身体動作解析装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016538790A (ja) * 2013-08-21 2016-12-08 ジョーント・インコーポレイテッドＪａｕｎｔ Ｉｎｃ． カメラモジュールを含むカメラアレイ
JP2018097588A (ja) * 2016-12-13 2018-06-21 日本電信電話株式会社 ３次元空間特定装置、方法、及びプログラム

Similar Documents

Publication Publication Date Title
US10499002B2 (en) Information processing apparatus and information processing method
US10614581B2 (en) Deep image localization
CN109891189B (zh) 策划的摄影测量
US8471849B1 (en) Prioritization of display of portions of three-dimensional object models
US9406171B2 (en) Distributed aperture visual inertia navigation
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
CN109298629A (zh) 用于为自主和非自主位置意识提供鲁棒跟踪的容错
WO2013165440A1 (en) 3d reconstruction of human subject using a mobile device
US11816848B2 (en) Resilient dynamic projection mapping system and methods
US11721039B2 (en) Calibration-free instant motion tracking for augmented reality
US20160210761A1 (en) 3d reconstruction
JP2017102708A (ja) オブジェクト追跡装置及びそのプログラム
US11436790B2 (en) Passthrough visualization
CN113190120B (zh) 位姿获取方法、装置、电子设备及存储介质
CN111862150A (zh) 图像跟踪的方法、装置、ar设备和计算机设备
CN105809664B (zh) 生成三维图像的方法和装置
WO2013103151A1 (ja) 電子機器、情報生成方法、及び位置推定方法
US11694409B1 (en) Augmented reality using a split architecture
JP2020030613A (ja) 情報処理装置、データ算出プログラム、及びデータ算出方法
US11972549B2 (en) Frame selection for image matching in rapid target acquisition
US20230122185A1 (en) Determining relative position and orientation of cameras using hardware
CN115272574A (zh) 图像处理方法及其装置
JP2024538401A (ja) 対象物体の再測位方法および装置、記憶媒体並びに電子装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13733821

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13733821

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP