WO2022190652A1 - 撮像装置、追跡システム、および撮像方法 - Google Patents

撮像装置、追跡システム、および撮像方法 Download PDF

Info

Publication number
WO2022190652A1
WO2022190652A1 PCT/JP2022/001685 JP2022001685W WO2022190652A1 WO 2022190652 A1 WO2022190652 A1 WO 2022190652A1 JP 2022001685 W JP2022001685 W JP 2022001685W WO 2022190652 A1 WO2022190652 A1 WO 2022190652A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
imaging
feature
person
feature amount
Prior art date
Application number
PCT/JP2022/001685
Other languages
English (en)
French (fr)
Inventor
正浩 渡邉
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to KR1020237028412A priority Critical patent/KR20230155432A/ko
Priority to CN202280018411.6A priority patent/CN116941237A/zh
Publication of WO2022190652A1 publication Critical patent/WO2022190652A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present technology relates to an imaging device, a tracking system, and an imaging method, and more particularly to an imaging device, a tracking system, and an imaging method that identify an imaging target and track movement of the imaging target.
  • a movement trajectory of a person is obtained from an image captured by a surveillance camera and recorded, and the face of the person whose movement trajectory is obtained is identified from other persons whose faces are recognized by performing face recognition.
  • monitoring systems are known that are capable of
  • an imaging unit for monitoring, a human detection unit that detects a person from an image captured by the imaging unit, and a person detected by the human detection unit are analyzed on the image and moved.
  • a trajectory analyzing means for obtaining a trajectory and facial data that can be distinguished from other faces from the face detected by the human detecting means and for which the moving trajectory is obtained by the trajectory analyzing means, is obtained from the face on the image to determine the face.
  • face recognition means for recognition
  • recording means for recording the face data and the movement trajectories corresponding to the face data in association with identification codes that allow the face data of different persons to be mutually identified
  • face determination means for comparing the face data obtained by the face recognition means with the face data obtained by the face recognition means and determining whether or not the face data satisfies a predetermined condition; When the condition is satisfied, the movement trajectory corresponding to the face data obtained by the face recognition means is the identification code associated with the face data recorded in the recording means that matches the face data. associated and recorded in the recording means, and if the condition is not satisfied, the face data obtained by the face recognition means and the moving trajectory corresponding to the face data are added to the face data not yet associated with the face data.
  • a monitoring information collecting system has been proposed, comprising face data collecting means for recording in the recording means in association with an identification code.
  • the main purpose of the present technology is to provide an imaging device capable of increasing object detection accuracy while reducing the data bandwidth.
  • An imaging device includes an imaging unit that captures an image of an object, a feature amount extraction unit that extracts a plurality of feature amounts of the object captured by the imaging unit, and a priority of the plurality of feature amounts extracted by the feature amount extraction unit.
  • a priority determination unit that determines, a control unit that determines the feature amount according to the priority level and the allowable amount of the output destination, and an output unit that outputs the feature amount determined by the control unit.
  • the imaging unit can simultaneously image the object in the same area.
  • the imaging device may further include a movement direction calculation unit that calculates the movement direction of the object, and the output unit may output the characteristic amount and the movement direction in association with each other.
  • the priority determination unit has a privacy level setting unit that sets the privacy level of each of the feature amounts, and can determine the priority according to the privacy level.
  • the imaging device may further include an imaging position acquisition unit that acquires an imaging position and an imaging direction of the imaging unit, and the output unit may output the imaging position and the imaging direction.
  • the imaging device further includes an environment information acquisition unit that acquires environment information around the imaging device, and the control unit determines an output destination of the feature amount based on the environment information.
  • the imaging device further includes a state change information acquisition unit that acquires state change information of an output destination of the feature amount, and the control unit determines the output destination according to the state change information.
  • the imaging device may further include an emotion information acquisition unit that acquires emotion information related to the emotion of the object, and the output unit may link the feature amount and the emotion information and output them.
  • the imaging unit further includes a target selection unit that captures images of a plurality of objects and selects the object of interest from the plurality of objects captured by the imaging unit. It is also possible to extract a plurality of feature amounts of the selected object.
  • another imaging device includes an input unit for inputting a plurality of feature amounts of an object according to a priority and an allowable amount of input, and based on the feature amounts input by the input unit, , and a tracking unit for tracking the object.
  • a tracking system includes an imaging unit that images an object, a feature amount extraction unit that extracts a plurality of feature amounts of the object imaged by the imaging unit, and a plurality of the feature amounts extracted by the feature amount extraction unit.
  • a priority determination unit that determines the priority of the feature amount;
  • a transmission unit that transmits the feature amount according to the priority level and the allowable amount of the transmission destination;
  • a plurality of imaging devices each having a receiving unit for receiving the feature quantity according to the allowable amount and a tracking unit for tracking the object based on the feature quantity received by the receiving unit, wherein the plurality of the imaging devices The devices cooperate with each other to transmit and receive the feature quantity.
  • an image capturing method includes a step of capturing an image of an object, a step of extracting a plurality of feature amounts of the captured object, a step of determining priority of the plurality of extracted feature amounts, and determining the feature amount according to the height of and the allowable amount of the output destination; and outputting the determined feature amount.
  • another imaging method includes a step of inputting a plurality of feature amounts of an object according to a priority level and an allowable amount of input; and tracking.
  • the present technology it is possible to provide an imaging device capable of increasing object detection accuracy while reducing the data bandwidth.
  • the above effects are not necessarily limited, and together with the above effects or instead of the above effects, any of the effects shown in this specification or other effects that can be grasped from this specification may be played.
  • FIG. 1 is a schematic diagram showing a configuration example of a tracking system according to a first embodiment of the present technology
  • FIG. It is a block diagram showing an example of composition of an imaging device concerning a 1st embodiment of this art.
  • 6 is a flowchart showing an operation example of the imaging device according to the first embodiment of the present technology
  • 4A and 4B are images for explaining a tracking method by the tracking system according to the first embodiment of the present technology
  • 1 is a conceptual diagram showing list management by a tracking system according to a first embodiment of the present technology
  • 1 is a conceptual diagram for explaining a tracking method by a tracking system according to a first embodiment of the present technology
  • FIG. 7 is a sequence diagram showing an example of list distribution by the tracking system according to the second embodiment of the present technology
  • FIG. 7 is a conceptual diagram for explaining a tracking method by a tracking system according to a second embodiment of the present technology
  • 9 is a flow chart showing an example of a tracking method by a tracking system according to a second embodiment of the present technology
  • FIG. 11 is a conceptual diagram showing list management by a tracking system according to a third embodiment of the present technology
  • FIG. 11 is a sequence diagram showing an example of a tracking method by a tracking system according to a third embodiment of the present technology
  • FIG. 11 is a conceptual diagram for explaining a tracking method by a tracking system according to a fourth embodiment of the present technology
  • FIG. 1 is a schematic diagram showing a configuration example of a tracking system 10. As shown in FIG. Tracking system 10 can be applied to applications such as tracking suspicious people, traffic flow surveys, demo detection, and the like.
  • the tracking system 10 includes, as an example, a server 11 and cameras 12 that are a plurality of imaging devices that are communicatively connected to the server 11 .
  • a cloud server can be used as the server 11 .
  • each camera 12 includes an RGB camera and a depth camera, respectively, and can capture one or more objects. Further, in this embodiment, an example of using three cameras 12 (Cam1, Cam2, and Cam3) is shown, but the number of cameras 12 is not limited to this, and may be two or four. or more.
  • the tracking system 10 captures an object to be tracked by each of a plurality of cameras 12 (Cam1, Cam2, and Cam3), calculates the feature amount and three-dimensional movement direction vector of each object, and transmits the images from the captured camera 12 to the server. 11 to transmit the calculation result information.
  • Calculation of the feature amount and the moving direction vector can be performed using, for example, artificial intelligence (AI).
  • AI artificial intelligence
  • the server 11 that has received the calculation result information identifies the tracked target by comparing the feature quantity based on the calculation result information with the registered feature quantity, and sends the tracked target information to each camera 12 according to the movement direction of the tracked target. to send.
  • Each camera 12 cooperates with each other to transmit and receive the feature amount to track the tracked object. The details of this tracking method will be described later.
  • FIG. 2 is a block diagram showing a configuration example of the camera 12. As shown in FIG.
  • Examples of the camera 12 include an RGB camera, a depth camera (iTOF/dToF/Structured Light/Stereo/Active Stereo), a polarization camera, a DVS camera, a multispectral/IR camera, a high-speed vision camera, and an infrared camera. can be done.
  • the camera 12 includes, for example, an input unit 21 for inputting information received from the outside into a necessary configuration, an imaging unit 22 for imaging an object, and an imaging position and imaging direction of the imaging unit 22. It includes an imaging position acquisition unit 23 to acquire, a feature amount extraction unit 24 to extract a plurality of feature amounts of the object imaged by the imaging unit 22, and a movement direction calculation unit 25 to calculate the movement direction of the object.
  • the camera 12 also has a priority determination unit 27 that determines the priority of the plurality of feature values extracted by the feature value extraction unit 24, and determines the feature value according to the priority level and the allowable amount of the output destination.
  • a priority determination unit 27 that determines the priority of the plurality of feature values extracted by the feature value extraction unit 24, and determines the feature value according to the priority level and the allowable amount of the output destination.
  • an environment information acquisition unit 29 that acquires environmental information around the camera 12
  • a state change information acquisition unit 30 that acquires state change information of the camera 12 to which the feature amount is output
  • a control unit and an output unit 32 for outputting the feature quantity determined in 28 .
  • the camera 12 also includes a tracking unit 33 that tracks the object based on the feature amount input by the input unit 21, and a communication unit 34 that transmits and receives information to and from the outside. Furthermore, the camera 12 can include an emotion information acquisition unit 31 that acquires emotion information regarding the emotion of the object.
  • the input unit 21 can input a plurality of feature amounts of the object according to the level of priority and the allowable input amount.
  • the imaging unit 22 can include a target selection unit 41 that selects an object of interest from a plurality of objects imaged by the imaging unit 22 .
  • the imaging unit 22 can simultaneously image objects in the same area.
  • the feature amount extraction unit 24 can extract a plurality of feature amounts of the object selected by the object selection unit 41 .
  • the object selection unit 41 can also be provided as a component other than the imaging unit 22 in the camera 12 .
  • the priority determination unit 27 has a privacy level setting unit 26 that sets the level of privacy protection for each feature quantity.
  • the priority determination section 27 can determine priority according to the privacy level set by the privacy level setting section 26 .
  • the privacy level setting unit 26 has a function of switching between "handling" and “not handling” information with privacy concerns. Information indicating the privacy level is added to the feature amount.
  • the privacy level setting unit 26 also has a function of controlling whether or not to output the feature amount and the order of output according to the privacy level when outputting the feature amount.
  • the control unit 28 determines the output destination of the feature amount based on the environment information acquired by the environment information acquisition unit 29, and determines the output destination according to the state change information acquired by the state change information acquisition unit 30.
  • the environment information acquired by the environment information acquisition unit 29 includes latitude, longitude, time, direction, weather, temperature, humidity, airflow, SO 2 , CO, NOx, SPM, CO 2 , noise, and the like.
  • the state change information acquired by the state change information acquisition unit 30 includes information when the feature amount that can be acquired by the target camera 12 changes due to the feature amount detection algorithm replacement function, environmental changes (failure, It also includes information when the feature value cannot be acquired due to light/darkness, bad weather, low battery capacity, etc.).
  • the output unit 32 can output the imaging position and imaging direction acquired by the imaging position acquisition unit 23 .
  • the output unit 32 associates and outputs the feature amount and the movement direction calculated by the movement direction calculation unit 25, or associates and outputs the feature amount and emotion information acquired by the emotion information acquisition unit 31. ,can do.
  • the communication unit 34 transmits the feature amount according to the priority level and the allowable amount of the destination, and receives the feature amount according to the priority level and the receivable allowable amount. and a receiver 43 .
  • the feature values extracted by the RGB camera include the key parts positions and movement amounts of the static features of a person's face, hands, feet, fingerprints, physique, hair color, and eye color.
  • dynamic features of a person such as gait, voice, gesture, blink, movement direction vector, and the like can be mentioned.
  • the additional information includes the shape, color, pattern, movement amount of clothes or objects, belongings, accessories, shopping baskets, trolleys, and the like.
  • the feature values extracted by the depth camera include the amount of movement, shape, and reflectance (active method) of a person or object.
  • an RGB camera can acquire a two-dimensional movement amount
  • a depth camera capable of acquiring depth information can acquire a three-dimensional movement amount.
  • the polarized camera can extract the same feature quantity as the RGB camera, and can be used especially for subjects such as through glass or underwater.
  • a DVS camera can extract feature quantities such as the outline of a moving object and the position change of a high-brightness or low-brightness object.
  • a multispectral IR camera can extract features such as the vegetation index (NDVI).
  • NDVI vegetation index
  • a high-speed vision camera can extract feature quantities such as the movement amount and vector of an object, patterns and characters on a high-speed moving object.
  • an infrared camera can extract a feature quantity such as the temperature of a person or an object.
  • FIG. 3 is a flowchart showing an operation example of the camera 12. As shown in FIG. When the image capturing unit 22 of the camera 12 captures an image including an object, the following operations are started.
  • step S1 the feature amount extraction unit 24 extracts objects from the RGB image captured by the imaging unit 22.
  • step S2 the feature quantity extraction unit 24 extracts a plurality of feature quantities of each extracted object.
  • step S3 the moving direction calculator 25 calculates the moving direction vector of each corresponding object from the depth information.
  • step S4 the control unit 28 determines a feature amount from the extracted feature amount according to the level of priority and the allowable amount of the output destination. to pack.
  • step S5 the output unit 32 outputs the data packed by the number of objects to the outside. That is, the output unit 32 can output the feature amount determined by the control unit 28 to the outside.
  • FIG. 4 is an image for explaining the tracking method by the tracking system 10.
  • FIG. 4A shows an image captured by Cam1 of camera 12
  • FIG. 4B shows an image captured by Cam2 of camera 12
  • FIG. 4C shows an image captured by Cam3 of camera 12.
  • FIG. 4A shows an image captured by Cam1 of camera 12
  • FIG. 4B shows an image captured by Cam2 of camera 12
  • FIG. 4C shows an image captured by Cam3 of camera 12.
  • an image of Person 1 and Person 2 moving in the direction of Cam 1 (left direction in the figure) and Person 3 moving in the direction of Cam 3 (right direction in the figure) is captured by Cam 2.
  • Cam1 tracks persons 1 and 2 and Cam3 tracks person 3 based on the captured images.
  • FIG. 5 is a conceptual diagram showing list management by the tracking system 10. As shown in FIG. 5A shows a list of feature values managed by the host server 11, FIG. 5B shows a list of feature values managed by Cam1, FIG. 5C shows a list of feature values managed by Cam2, and FIG. 5D shows a list of feature values managed by Cam3. shows a list of features managed by .
  • the server 11 manages, for example, a list of feature amounts 1 to 8, which are all feature amounts of the tracked object.
  • Cam1 manages a list of feature amounts of the tracked object in the order of feature amounts 1, 3, 6, 2, 4, and 5 in order of priority.
  • the Cam 2 manages a list of feature amounts of the tracked object in the order of feature amounts 2, 1, 4, 5, 3, and 6 in order of priority.
  • the Cam 3 manages, for example, a list of feature amounts of the tracked object in the order of feature amounts 5, 2, 1, 3, 4, and 6 in order of priority.
  • FIG. 6 is a sequence diagram showing an example of list distribution by the tracking system 10.
  • FIG. 6 when the host server 11 manages the feature quantities, for example, the server 11 distributes lists of Cam1 and Cam3 to Cam2, and distributes lists of Cam2 to Cam1 and Cam3, respectively.
  • one camera 12 can handle a plurality of feature quantities extracted by the feature quantity extraction unit 24. These multiple feature quantities are managed in a list (prioritized feature quantity table) for each camera 12 as described above. Each camera 12 can independently determine the priority of a plurality of feature quantities in the list by the priority determination unit 27 .
  • the transmitting side (sending source) camera 12 compares the lists of the transmitting side and the receiving side (destination), and rearranges and outputs the transmission data according to the priority of the receiving side camera 12. can do.
  • each camera 12 rounds down the priority in descending order, and totals the feature values to be output for each object so as to fit within the restriction. Capacity can be adjusted.
  • each camera 12 is exchanged between the server 11 and the camera 12 or between the cameras 12 (between P2P) through communication at regular intervals or event communication that occurs when some kind of change occurs. It has a mechanism that can dynamically follow the state change of
  • FIG. 7 is a conceptual diagram for explaining the tracking method via the server 11 by the tracking system 10. As shown in FIG.
  • the tracking system 10 captures an image including the tracked objects Person 1, Person 2, and Person 3 with Cam2 of the camera 12, for example.
  • Cam2 extracts the feature values of each person 1, person 2, and person 3 from the captured image, calculates the three-dimensional movement direction vector, and converts the feature value and movement direction vector information for each person. to pack.
  • Cam 2 then transmits packing information for each person to server 11 .
  • the server 11 that has received the packing information collates the feature amount in the packing information for each person with the feature amount registered in the server 11 to identify the tracking target.
  • the server 11 registers the new feature amount in the server 11 and packs it. Based on the movement direction vector information in the information, it is determined that the movement destination of person 1 is in the direction of Cam1. If the feature amounts of person 2 and person 3 are already registered in the server 11, the server 11 determines that the feature amounts have already been registered in the server 11, and the moving direction vector in the packing information. Based on the information, it is determined that the destination of person 2 is in the direction of Cam1 and the destination of person 3 is in the direction of Cam3.
  • the server 11 transmits information of Person 1 and Person 2 to Cam 1 and information of Person 3 to Cam 3 according to the moving direction of the tracked object, and Cam 1 tracks (tracks) Person 1 and Person 2. ) and Cam3 tracks Person3.
  • Cam1 captures an image including person 1 and person 2
  • Cam3 captures an image including person 3.
  • Cam 1 extracts the feature amount of each person 1 and person 2 from the captured image, calculates a three-dimensional moving direction vector, and packs the feature amount and moving direction vector information for each person.
  • the Cam 3 extracts the feature quantity of the person 3 from the captured image, calculates a three-dimensional movement direction vector, and packs the feature quantity and movement direction vector information.
  • Cam1 sends packing information for each person to server 11
  • Cam3 sends packing information for person 3 to server 11.
  • the server 11 that has received the packing information collates the feature amount in the packing information for each person with the feature amount registered in the server 11 to identify the tracking target.
  • the feature values of Person 1 and Person 2 have already been registered in the server 11. Based on the moving direction vector information in the packing information, it is determined that the moving destination of person 1 is in the CamX direction and the moving destination of person 2 is in the CamY direction.
  • the server 11 determines that the feature amount of person 3 has been registered in the server 11. Based on the direction vector information, it is determined that the destination of the person 3 is the CamZ direction.
  • the server 11 transmits the information of the person 1, the person 2 and the person 3 to CamX, CamY and CamZ respectively according to the movement direction of the tracked object, and CamX tracks the person 1 and CamY tracks the person 2.
  • Track and CamZ tracks person 3.
  • the tracking system 10 can repeat these operations and track the tracked object by cooperation of a plurality of cameras 12 .
  • the tracking system 10 equipped with a plurality of cameras 12 can reduce the amount of transmitted and received data and reduce the load by using the feature amount.
  • the tracking system 10 can acquire data by switching to the camera 12 capable of recognizing a person or an object and acquiring a plurality of appropriate feature amounts.
  • the tracking system 10 can dynamically change the amount of communication between the cameras 12 with the priority list. Therefore, according to the tracking system 10, it is possible to increase the object detection accuracy while reducing the data bandwidth.
  • the tracking system 10 does not directly output individual face and body information using only feature amounts, it is possible to protect individual privacy.
  • the tracking system 10 since the tracking system 10 has movement direction vector information for each object (person), when tracking a plurality of persons photographed by a plurality of cameras 12, it is possible to switch to which camera 12 for each object. It is possible to reduce the weight of the determination processing. This also enables the tracking system 10 to increase the number of people that can be tracked. Since a plurality of cameras 12 are used to match a person based on the feature amount, there is no need to overlap the imaging areas of the cameras 12 .
  • FIG. 8 is a sequence diagram showing an example of list distribution by the tracking system according to this embodiment.
  • the tracking method according to the present embodiment differs from the tracking method according to the first embodiment in that information such as feature amounts is exchanged between the cameras 12 .
  • Other points of this embodiment are the same as those of the first embodiment.
  • Cam2 distributes lists of Cam1 and Cam3 to Cam1 and Cam3, respectively, and Cam1 and Cam3 distribute lists of Cam2 to Cam2, respectively. To distribute.
  • FIG. 9 is a conceptual diagram for explaining the tracking method by the tracking system according to this embodiment.
  • FIG. 10 is a flow chart showing an example of a tracking method by the tracking system according to this embodiment.
  • step S11 the Cam 2 of the camera 12 captures an image including the tracked objects PERSON 1, PERSON 2, and PERSON 3, and PERSON 1, PERSON 2, and PERSON 3 3 is detected.
  • Cam2 extracts the feature values of each person 1, person 2, and person 3 from the captured image, calculates the three-dimensional movement direction vector, and generates the feature value and movement direction vector information for each person. to pack.
  • Cam 2 then transmits packing information for each person to server 11 .
  • step S12 the server 11 or Cam 2 selects, for example, the person of interest 1 as a tracking target.
  • the server 11 that has received the packing information collates the feature amount in the packing information for each person with the feature amount registered in the server 11 to identify the tracking target.
  • the server 11 registers the new feature amount in the server 11 and packs it. Based on the movement direction vector information in the information, it is determined that the movement destination of person 1 is in the direction of Cam1. If the feature amounts of person 2 and person 3 are already registered in the server 11, the server 11 determines that the feature amounts have already been registered in the server 11, and the moving direction vector in the packing information. Based on the information, it is determined that the destination of person 2 is in the direction of Cam1 and the destination of person 3 is in the direction of Cam3. Then, the server 11 transmits the information of the selected person 1 to Cam2.
  • step S13 Cam2 marks and tracks person 1 based on the information on person 1 received from server 11.
  • step S14 Cam2 determines that the destination of person 1 is the direction of Cam1 based on the movement direction vector information in the packing information. Then, Cam2 transmits an instruction to switch the imaging camera to Cam1 and the information of Person 1 to Cam1.
  • Cam1 continues tracking person 1 in the same manner as Cam2. At this time, Cam 1 captures an image including person 1 . Next, Cam 1 extracts the feature amount of person 1 from the captured image and calculates a three-dimensional moving direction vector. Cam 1 determines a plurality of feature amounts from the extracted feature amounts according to the priority and the allowable amount of the output destination, and packs the determined feature amount of person 1 and the calculated moving direction vector information. Cam1 determines the destination camera 12 of the person 1 based on the moving direction vector information in the packing information. Then, the person 1, which is an object, is tracked based on the feature amount in the packing information. After that, Cam 1 transmits an instruction to switch the imaging camera and the information of the person 1 to the determined camera 12 .
  • the tracking method according to the present embodiment it is possible to increase the object detection accuracy while reducing the data band, similarly to the tracking method according to the first embodiment. Furthermore, according to the tracking method according to the present embodiment, since the plurality of cameras 12 can cooperate with each other without going through the server 11 to transmit and receive feature amounts, it is possible to automatically track the tracked object at a higher speed. can.
  • FIG. 11 is a conceptual diagram showing list management by the tracking system 10 according to this embodiment.
  • 11A shows a list of feature values managed by the host server 11
  • FIG. 11B shows a list of feature values managed by Cam1
  • FIG. 11C shows a list of feature values managed by Cam2
  • FIG. 11D shows a list of feature values managed by Cam3.
  • the tracking method according to the present embodiment differs from the tracking method according to the first embodiment in that the priority of feature amounts is determined according to the privacy level. Other points of this embodiment are the same as those of the first embodiment.
  • the server 11 manages, for example, a list in which feature amounts 1 to 8, which are all feature amounts of the tracked object, are associated with privacy levels.
  • features 1 to 3 and 6 to 8 are at privacy level 0
  • feature 4 is at privacy level 1
  • feature 5 is at privacy level 2.
  • Cam1 manages, for example, a list of feature amounts of the tracked object in the order of feature amounts 1, 3, 6, 2, 4, and 5 in order of priority.
  • Cam2 manages a list of feature amounts of the tracked object in the order of feature amounts 2, 1, 4, 5, 3, and 6 in order of priority, for example.
  • the Cam 3 manages a list of feature amounts of the object to be tracked, for example, in the order of feature amounts 5, 2, 1, 3, 4, and 6 in order of priority.
  • the feature quantity 4 of each of Cam1, Cam2, and Cam3 is privacy level 1
  • the feature quantity 5 is privacy level 2, respectively.
  • Features other than features 4 and 5 of Cam1, Cam2, and Cam3 have a privacy level of zero.
  • FIG. 12 is a sequence diagram showing an example of a tracking method by the tracking system according to this embodiment.
  • the information of person 1 acquired by Cam1 is not transmitted in the priority order of the list of Cam1.
  • the list is rearranged according to the priority and privacy level of the list of the receiving side Cam2 and then transmitted. If there is a limit to the data transmission/reception capacity, the data that appears in descending order of priority or privacy level is deleted and transmitted.
  • Cam2 compares the received information of Person 1 from Cam1 with the information of Person 1 acquired by Cam2 and determines whether they match. If they match, the person is assumed to be Person 1, and Cam2 tracks Person 1. If they do not match, the person is regarded as a different person from person 1, and is compared with another possible person acquired by Cam2.
  • Cam 2 sends the information of Person 1 after making a list sorted according to the priority and privacy level of the list on the receiving side Cam 3.
  • Cam3 compares the received information of person 1 from Cam2 with the information of person 1 acquired by Cam3 and determines whether they match. If there is a match, the person is assumed to be Person 1, and Cam3 continues tracking Person 1. If they do not match, the person is determined to be a different person from person 1, and is compared with another possible person acquired by Cam3.
  • the tracking method according to the present embodiment similarly to the tracking method according to the first embodiment, it is possible to increase the object detection accuracy while reducing the data bandwidth, and to reduce the weight of the judgment processing. can. Furthermore, according to the tracking method according to the present embodiment, since the feature amount to be transmitted is determined according to the privacy level, it is possible to further protect privacy.
  • FIG. 13 is a conceptual diagram for explaining the tracking method by the tracking system 10 according to this embodiment.
  • the tracking method according to this embodiment differs from the tracking method according to the first embodiment in that an object such as a person is tracked in consideration of the emotion information of a plurality of people. Other points of this embodiment are the same as those of the first embodiment.
  • the tracking system 10 captures an image including Person 1, Person 2, and Person 3 with Cam 1 of the camera 12, and uses Person 1 and Person 2 from the imaged image. , and the person 3, a three-dimensional movement direction vector is calculated, and emotion information is obtained. Also, an image including person 4, person 5, and person 6 is captured by Cam2, and the feature amount of person 4, person 5, and person 6 is extracted from the captured image, and the three-dimensional movement direction vector is calculated. Calculate and acquire emotional information.
  • the cam 3 captures an image containing people 7, 8, and 9, extracts the feature values of each of the people 7, 8, and 9 from the captured image, and calculates the three-dimensional movement direction vector. Calculate and acquire emotional information.
  • the tracking method according to the present embodiment it is possible to increase the object detection accuracy while reducing the data band, similarly to the tracking method according to the first embodiment. Furthermore, according to the tracking method according to the present embodiment, it is possible to grasp the flow of emotions in the entire place from the emotion information of a plurality of persons 1 to 9 acquired by Cam1, Cam2, and Cam3. Tracked objects can be tracked according to the overall emotional flow.
  • the present technology can have the following configuration.
  • an imaging unit that captures an image of an object; a feature quantity extraction unit for extracting a plurality of feature quantities of the object imaged by the imaging unit; a priority determining unit that determines priorities of the plurality of feature quantities extracted by the feature quantity extracting unit; a control unit that determines the feature amount according to the priority level and the allowable amount of the output destination; an output unit that outputs the feature amount determined by the control unit;
  • An imaging device comprising: (2) The imaging device according to (1), wherein the imaging unit simultaneously images the object in the same area. (3) further comprising a movement direction calculation unit that calculates the movement direction of the object, The imaging device according to (1) or (2), wherein the output unit associates and outputs the feature amount and the movement direction.
  • the priority determination unit has a privacy level setting unit that sets a privacy level of each of the feature amounts, and determines the priority according to the privacy level;
  • the imaging device according to 1. further comprising an imaging position acquisition unit that acquires an imaging position and an imaging direction of the imaging unit; The imaging device according to any one of (1) to (4), wherein the output unit outputs the imaging position and the imaging direction.
  • (6) further comprising an environment information acquisition unit that acquires environment information around the imaging device; The imaging apparatus according to any one of (1) to (5), wherein the control unit determines an output destination of the feature amount based on the environment information.
  • a state change information acquisition unit that acquires state change information of the output destination of the feature amount
  • the imaging apparatus according to any one of (1) to (6), wherein the control unit determines the output destination according to the state change information.
  • the imaging device according to any one of (1) to (7), wherein the output unit associates and outputs the feature amount and the emotion information.
  • the imaging unit captures a plurality of images of the object, further comprising a target selection unit that selects the object of interest from the plurality of objects captured by the imaging unit;
  • the imaging apparatus according to any one of (1) to (8), wherein the feature quantity extraction unit extracts a plurality of feature quantities of the object selected by the object selection unit.
  • an input unit for inputting a plurality of feature values of an object according to the priority level and the allowable amount of input; and a tracking unit that tracks the object based on the feature amount input by the input unit.
  • an imaging unit that captures an image of an object; a feature quantity extraction unit for extracting a plurality of feature quantities of the object imaged by the imaging unit; a priority determining unit that determines priorities of the plurality of feature quantities extracted by the feature quantity extracting unit; a transmitting unit that transmits the feature amount according to the priority level and the allowable amount of the destination; a receiving unit that receives the feature amount according to the priority level and the receivable allowable amount; a plurality of imaging devices having a tracking unit that tracks the object based on the feature amount received by the receiving unit; The tracking system, wherein the plurality of imaging devices cooperate with each other to transmit and receive the feature quantity.
  • An imaging method comprising: (13) a step of inputting a plurality of features of the object according to the priority level and the allowable amount of input; tracking the object based on the input feature quantity;
  • An imaging method comprising:
  • tracking system 11 server 12 camera (imaging device) 21 Input unit 22 Imaging unit 23 Imaging position acquisition unit 24 Feature amount extraction unit 25 Movement direction calculation unit 26 Privacy level setting unit 27 Priority determination unit 28 Control unit 29 Environment information acquisition unit 31 Emotion information acquisition unit 32 output unit 33 tracking unit 34 communication unit 41 target selection unit 42 transmission unit 43 reception unit

Abstract

データ帯域を軽量化しつつオブジェクトの検出精度を高めることができる撮像装置を提供すること。　撮像装置１２は、オブジェクトを撮像する撮像部２２と、撮像部２２で撮像したオブジェクトの特徴量を複数抽出する特徴量抽出部２４と、特徴量抽出部２４で抽出した複数の特徴量の優先度を決定する優先度決定部２７と、優先度の高さおよび出力先の許容量に応じて、特徴量を決定する制御部２８と、制御部２８で決定した特徴量を出力する出力部３２と、を備える。撮像装置１２は、オブジェクトの移動方向を演算する移動方向演算部２５をさらに備え、出力部３２は、特徴量と移動方向とを紐づけて出力することができる。

Description

撮像装置、追跡システム、および撮像方法
　本技術は、撮像装置、追跡システム、および撮像方法に関し、より詳細には、撮像対象を識別し、その撮像対象の移動を追跡する撮像装置、追跡システム、および撮像方法に関する。
　従来から、監視カメラに撮影された画像から人物の移動軌跡を求めて記録しておき、移動軌跡が求められる人物に対して顔認識を行うことにより、顔認識される他の人物と識別することが可能な監視システムが知られている。
　例えば、特許文献１では、監視用の撮像手段と、前記撮像手段で撮影される画像から人を検知する人検知手段と、前記人検知手段で検知された人を前記画像上で解析して移動軌跡を求める軌跡解析手段と、前記人検知手段で検知されるとともに前記軌跡解析手段で前記移動軌跡が求められる人の前記画像上の顔から他の顔と識別可能な顔データを求めて顔を認識する顔認識手段と、異なる人の前記顔データを互いに識別可能とする識別符号に関連付けて前記顔データと前記顔データに対応する前記移動軌跡を記録する記録手段と、前記記録手段に記録されている前記顔データに対して前記顔認識手段で求められた前記顔データを比較し、これら顔データが所定の条件を満たすか否かを判定する顏判定手段と、
　前記条件を満たす場合に、前記顔認識手段で求められた前記顔データに対応する前記移動軌跡を、当該顔データと一致する前記記録手段に記録された前記顔データに関連付けられた前記識別符号と関連付けて前記記録手段に記録し、前記条件を満たさない場合に、前記顔認識手段で求められた前記顔データおよび当該顔データに対応する前記移動軌跡に、未だ前記顔データに関連付けられていない前記識別符号を関連付けて前記記録手段に記録する顔データ取集手段と、を備える監視情報収集システム、が提案されている。
特開２０１８－９３２８３号公報
　しかしながら、特許文献１の技術では、撮像手段に記録するデータ量が大きくなり、撮像手段の相互間での通信速度が遅くなったり、データの受け渡しができなくなったりする可能性がある。また、特許文献１の技術では、データを受信する側の撮像手段の環境状況等に応じて、データを受け渡す撮像手段を決めることは想定されていないため、環境等の状況によっては、精度高くオブジェクトを検出することができない場合がある。
　そこで、本技術では、データ帯域を軽量化しつつオブジェクトの検出精度を高めることができる撮像装置を提供することを主目的とする。
　本技術に係る撮像装置は、オブジェクトを撮像する撮像部と、撮像部で撮像したオブジェクトの特徴量を複数抽出する特徴量抽出部と、特徴量抽出部で抽出した複数の特徴量の優先度を決定する優先度決定部と、優先度の高さおよび出力先の許容量に応じて、特徴量を決定する制御部と、制御部で決定した特徴量を出力する出力部と、を備える。前記撮像部は、同時に同一領域の前記オブジェクトを撮像することができる。
　本技術に係る撮像装置は、前記オブジェクトの移動方向を演算する移動方向演算部をさらに備え、前記出力部は、前記特徴量と前記移動方向とを紐づけて出力することもできる。前記優先度決定部は、それぞれの前記特徴量のプライバシレベルを設定するプライバシレベル設定部を有し、前記プライバシレベルに応じて前記優先度を決定することもできる。本技術に係る撮像装置は、前記撮像部の撮像位置および撮像方向を取得する撮像位置取得部をさらに備え、前記出力部は、前記撮像位置および前記撮像方向を出力することもできる。本技術に係る撮像装置は、前記撮像装置が設置される周囲の環境情報を取得する環境情報取得部をさらに備え、前記制御部は、前記環境情報に基づいて、前記特徴量の出力先を決定することもできる。本技術に係る撮像装置は、前記特徴量の出力先の状態変化情報を取得する状態変化情報取得部をさらに備え、前記制御部は、前記状態変化情報に応じて、前記出力先を決定することもできる。本技術に係る撮像装置は、前記オブジェクトの感情に関する感情情報を取得する感情情報取得部をさらに備え、前記出力部は、前記特徴量と前記感情情報とを紐づけて出力することもできる。前記撮像部は、前記オブジェクトを複数撮像し、前記撮像部で撮像した複数の前記オブジェクトから、注目する前記オブジェクトを選択する対象選択部をさらに備え、前記特徴量抽出部は、前記対象選択部で選択した前記オブジェクトの特徴量を複数抽出することもできる。
　また、本技術に係る別の撮像装置は、優先度の高さおよび入力可能な許容量に応じて、オブジェクトの複数の特徴量を入力する入力部と、入力部で入力した特徴量に基づいて、オブジェクトを追跡する追跡部と、を備える。
　また、本技術に係る追跡システムは、オブジェクトを撮像する撮像部と、前記撮像部で撮像した前記オブジェクトの特徴量を複数抽出する特徴量抽出部と、前記特徴量抽出部で抽出した複数の前記特徴量の優先度を決定する優先度決定部と、前記優先度の高さおよび送信先の許容量に応じて、前記特徴量を送信する送信部と、前記優先度の高さおよび受信可能な許容量に応じて、前記特徴量を受信する受信部と、前記受信部で受信した前記特徴量に基づいて、前記オブジェクトを追跡する追跡部と、を有する撮像装置を複数備え、複数の前記撮像装置は、互いに連携して前記特徴量を送受信する。
　また、本技術に係る撮像方法は、オブジェクトを撮像するステップと、撮像した前記オブジェクトの特徴量を複数抽出するステップと、抽出した複数の前記特徴量の優先度を決定するステップと、前記優先度の高さおよび出力先の許容量に応じて、前記特徴量を決定するステップと、決定した前記特徴量を出力するステップと、を含む。また、本技術に係る別の撮像方法は、優先度の高さおよび入力可能な許容量に応じて、オブジェクトの複数の特徴量を入力するステップと、入力した前記特徴量に基づいて、前記オブジェクトを追跡するステップと、を含む。
　本技術によれば、データ帯域を軽量化しつつオブジェクトの検出精度を高めることができる撮像装置を提供することができる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果又は本明細書から把握され得る他の効果が奏されてもよい。
本技術の第１実施形態に係る追跡システムの構成例を示す模式図である。 本技術の第１実施形態に係る撮像装置の構成例を示すブロック図である。 本技術の第１実施形態に係る撮像装置の動作例を示すフローチャートである。 本技術の第１実施形態に係る追跡システムによるトラッキング方法を説明するための画像である。 本技術の第１実施形態に係る追跡システムによるリスト管理を示す概念図である。 本技術の第１実施形態に係る追跡システムによるリスト配布の例を示すシーケンス図である。 本技術の第１実施形態に係る追跡システムによるトラッキング方法を説明するための概念図である。 本技術の第２実施形態に係る追跡システムによるリスト配布の例を示すシーケンス図である。 本技術の第２実施形態に係る追跡システムによるトラッキング方法を説明するための概念図である。 本技術の第２実施形態に係る追跡システムによるトラッキング方法の例を示すフローチャートである。 本技術の第３実施形態に係る追跡システムによるリスト管理を示す概念図である。 本技術の第３実施形態に係る追跡システムによるトラッキング方法の例を示すシーケンス図である。 本技術の第４実施形態に係る追跡システムによるトラッキング方法を説明するための概念図である。
　以下、本技術を実施するための好適な形態について図面を参照しながら説明する。以下に説明する実施形態は、本技術の代表的な実施形態の一例を示したものであり、いずれの実施形態も組み合わせることが可能である。また、これらにより本技術の範囲が狭く解釈されることはない。なお、説明は以下の順序で行う。
１．第１実施形態　
（１）追跡システム１０の構成例　
（２）カメラ１２の構成例　
（３）カメラ１２の動作例　
（４）追跡システム１０によるトラッキング方法　
２．第２実施形態　
３．第３実施形態　
４．第４実施形態　
１．第１実施形態
（１）追跡システム１０の構成例
　まず、図１を参照して、本技術の第１実施形態に係る追跡システム１０の構成例について説明する。図１は、追跡システム１０の構成例を示す模式図である。追跡システム１０は、怪しい人の追尾、交通量調査、デモ検出、等のアプリケーションに適用することができる。
　図１に示すように、追跡システム１０は、一例として、サーバ１１と、サーバ１１にそれぞれ通信接続される複数の撮像装置であるカメラ１２と、備えている。サーバ１１は、クラウドサーバを用いることができる。
　各カメラ１２は、一例として、それぞれRGBカメラおよびDepthカメラを備え、１つまたは複数のオブジェクトを撮像することができる。また、本実施形態では、カメラ１２を３台（Cam１、Cam２、Cam３）使用する例を示しているが、複数のカメラ１２の台数は、これに限らず２台であってもよく、４台以上であってもよい。
　追跡システム１０は、複数のカメラ１２（Cam１、Cam２、Cam３）のそれぞれで追跡対象のオブジェクトを撮像し、各オブジェクトの特徴量と３次元の移動方向ベクトルを演算して、撮像したカメラ１２からサーバ１１へ演算結果情報を送信する。特徴量および移動方向ベクトルの演算は、例えば、人工知能（ＡＩ）を用いて行うことができる。
　演算結果情報を受信したサーバ１１は、その演算結果情報による特徴量と登録済みの特徴量とを照合して追跡対象を特定し、追跡対象の移動方向に応じて各カメラ１２に追跡対象の情報を送信する。各カメラ１２は、互いに連携して特徴量を送受信して追跡対象を追跡（トラッキング）する。このトラッキング方法の詳細については、後述する。
（２）カメラ１２の構成例
　次に、図２を参照して、カメラ１２の構成例について説明する。図２は、カメラ１２の構成例を示すブロック図である。
　カメラ１２には、一例として、RGBカメラ、Depthカメラ（iTOF/dToF/Structured Light/Stereo/Active Stereo）、偏向カメラ、DVSカメラ、マルチスペクトル・IRカメラ、高速ビジョンカメラ、赤外線カメラ、等を用いることができる。
　図２に示すように、カメラ１２は、一例として、外部から受信した情報を必要な構成へ入力する入力部２１と、オブジェクトを撮像する撮像部２２と、撮像部２２の撮像位置および撮像方向を取得する撮像位置取得部２３と、撮像部２２で撮像したオブジェクトの特徴量を複数抽出する特徴量抽出部２４と、オブジェクトの移動方向を演算する移動方向演算部２５と、を備えている。
　また、カメラ１２は、特徴量抽出部２４で抽出した複数の特徴量の優先度を決定する優先度決定部２７と、優先度の高さおよび出力先の許容量に応じて、特徴量を決定する制御部２８と、カメラ１２が設置される周囲の環境情報を取得する環境情報取得部２９と、特徴量の出力先カメラ１２の状態変化情報を取得する状態変化情報取得部３０と、制御部２８で決定した特徴量を出力する出力部３２と、を備えている。
　また、カメラ１２は、入力部２１で入力した特徴量に基づいて、オブジェクトを追跡する追跡部３３と、外部と情報の送受信を行う通信部３４と、を備えている。さらに、カメラ１２は、オブジェクトの感情に関する感情情報を取得する感情情報取得部３１を備えることができる。
　入力部２１は、優先度の高さおよび入力可能な許容量に応じて、オブジェクトの複数の特徴量を入力することができる。
　撮像部２２は、撮像部２２で撮像した複数のオブジェクトから、注目するオブジェクトを選択する対象選択部４１を備えることができる。また、撮像部２２は、同時に同一領域のオブジェクトを撮像することができる。このとき、特徴量抽出部２４は、対象選択部４１で選択したオブジェクトの特徴量を複数抽出することができる。なお、対象選択部４１は、カメラ１２内の撮像部２２以外の構成として備えられることもできる。
　優先度決定部２７は、それぞれの特徴量のプライバシ保護のレベルを設定するプライバシレベル設定部２６を有している。優先度決定部２７は、プライバシレベル設定部２６で設定したプライバシレベルに応じて優先度を決定することができる。
　プライバシレベル設定部２６は、プライバシ懸念のある情報を「扱える」または「扱えない」を切り替える機能を有している。なお、特徴量にはプライバシレベルを示す情報が付加されている。プライバシレベル設定部２６は、特徴量を出力する際、プライバシレベルに従って出力可否やその順序を制御する機能も有している。
　制御部２８は、環境情報取得部２９により取得した環境情報に基づいて、特徴量の出力先を決定したり、状態変化情報取得部３０により取得した状態変化情報に応じて、出力先を決定したり、することができる。
　環境情報取得部２９が取得する環境情報としては、緯度、経度、時間、方向、天候、温度、湿度、気流、SO2、CO、NOx、SPM、CO2、騒音、等が挙げられる。
　状態変化情報取得部３０が取得する状態変化情報とは、特徴量検出アルゴリズム入れ替え機能により、対象となるカメラ１２で取得できる特徴量が変化した場合の情報や、そのカメラ１２の環境変化（故障、明暗、悪天候、バッテリ容量低下等）によって特徴量が取得できなくなった場合の情報等も含まれる。
　出力部３２は、撮像位置取得部２３により取得した撮像位置および撮像方向を出力することができる。また、出力部３２は、特徴量と移動方向演算部２５により演算した移動方向とを紐づけて出力したり、感情情報取得部３１により取得した特徴量と感情情報とを紐づけて出力したり、することができる。
　通信部３４は、優先度の高さおよび送信先の許容量に応じて、特徴量を送信する送信部４２と、優先度の高さおよび受信可能な許容量に応じて、特徴量を受信する受信部４３と、を有している。
　ここで、オブジェクトの特徴量の具体例について説明する。RGBカメラにより抽出する特徴量としては、人の静的な特徴の顔、手、足、指紋、体格、髪色、目色、のキーパーツ位置や移動量等が挙げられる。また、人の動的な特徴の歩容、声、しぐさ、瞬き、移動方向ベクトル、等が挙げられる。さらに、付加情報として、服または物体の形や色や柄や移動量、持ち物、アクセサリ、買い物かご、台車、等が挙げられる。
　また、Depthカメラにより抽出する特徴量としては、人または物体の移動量、形、および反射率（アクティブ方式）、等が挙げられる。なお、RGBカメラでも２次元の移動量は取得できるが、奥行情報が取得可能なDepthカメラは、３次元の移動量を取得することができる。
　上記の他、偏向カメラでは、RGBカメラと同様の特徴量を抽出することができ、特に、ガラス越しや水中等の被写体に用いることができる。DVSカメラでは、物体の移動物体の外形、高輝度または低輝度物体の位置変化、等の特徴量を抽出することができる。マルチスペクトル・IRカメラでは、植物の植生指数（NDVI）等の特徴量を抽出することができる。高速ビジョンカメラでは、物体の移動量やベクトル、高速移動物体上の模様や文字、等の特徴量を抽出することができる。また、赤外線カメラでは、人または物体の温度等の特徴量を抽出することができる。
（３）カメラ１２の動作例
　次に、図３を参照して、カメラ１２の動作例について説明する。図３は、カメラ１２の動作例を示すフローチャートである。カメラ１２の撮像部２２が、オブジェクトを含む画像を撮像すると、以下の動作を開始する。
　図３に示すように、ステップＳ１において、特徴量抽出部２４は、撮像部２２で撮像したRGB画像からオブジェクトを抽出する。
　ステップＳ２において、特徴量抽出部２４は、抽出した各オブジェクトから、そのオブジェクトの特徴量を複数抽出する。
　ステップＳ３において、移動方向演算部２５は、Depth情報から各対応するオブジェクトの移動方向ベクトルを演算する。
　ステップＳ４において、制御部２８は、抽出した特徴量から優先度の高さおよび出力先の許容量に応じて特徴量を決定し、決定した特徴量および演算した移動方向ベクトルの情報をオブジェクトごとにパッキングする。
　ステップＳ５において、出力部３２は、オブジェクトの数だけパッキングされたデータを外部へ出力する。すなわち、出力部３２は、制御部２８で決定した特徴量を外部へ出力することができる。
（４）追跡システム１０によるトラッキング方法
　次に、図４から図７を参照して、本実施形態に係る追跡システム１０によるトラッキング方法について説明する。図４は、追跡システム１０によるトラッキング方法を説明するための画像である。図４Ａはカメラ１２のCam１で撮像した画像を示し、図４Ｂはカメラ１２のCam２で撮像した画像を示し、図４Ｃはカメラ１２のCam３で撮像した画像を示している。
　本実施形態では、図４Ｂに示すように、人１および人２がCam１方向（図の左方向）に移動し、人３がCam３方向（図の右方向）に移動する画像をCam２で撮像し、その撮像した画像に基づいて、Cam１で人１および人２をトラッキングし、Cam３で人３をトラッキングする場合について説明する。
　図５および図６を参照して、追跡システム１０によるリスト管理について説明する。図５は、追跡システム１０によるリスト管理を示す概念図である。図５Ａはホストであるサーバ１１が管理する特徴量のリストを示し、図５ＢはCam１が管理する特徴量のリストを示し、図５ＣはCam２が管理する特徴量のリストを示し、図５ＤはCam３が管理する特徴量のリストを示している。
　図５Ａに示すように、サーバ１１は、例えば、追跡対象のオブジェクトの全特徴量である特徴量１から特徴量８までのリストを管理している。図５Ｂに示すように、Cam１は、例えば、追跡対象のオブジェクトの特徴量を、優先度順に、特徴量１、３、６、２、４、５の順序でリストを管理している。図５Ｃに示すように、Cam２は、例えば、追跡対象のオブジェクトの特徴量を、優先度順に、特徴量２、１、４、５、３、６の順序でリストを管理している。図５Ｄに示すように、Cam３は、例えば、追跡対象のオブジェクトの特徴量を、優先度順に、特徴量５、２、１、３、４、６の順序でリストを管理している。
　図６は、追跡システム１０によるリスト配布の例を示すシーケンス図である。図６に示すように、ホストであるサーバ１１が特徴量を管理する場合、例えば、サーバ１１が、Cam２にCam１およびCam３のリストを配布し、Cam１およびCam３にそれぞれCam２のリストを配布する。
　ここで、１つのカメラ１２は、特徴量抽出部２４で抽出した複数の特徴量を扱うことができる。それら複数の特徴量は、上記の通り、カメラ１２ごとにリスト（優先度付き特徴量テーブル）で管理されている。各カメラ１２は、それぞれ独自に優先度決定部２７によってリスト内の複数の特徴量の優先順位を決定することができる。
　送信側（送付元）カメラ１２は、特徴量を出力する際に、送信側と受信側（送付先）とのリストを比較し、受信側カメラ１２の優先度に従って、送信データを並べ替えて出力することができる。
　通信帯域等の制約やその他システム的な要請によって送受信容量が制限される場合、各カメラ１２は、優先度の低いものから順に切り捨てて、制約内に収まるようにオブジェクトごとに出力する特徴量の総容量を調整することができる。
　また、各カメラ１２が管理するリストは、サーバ１１とカメラ１２間またはカメラ１２同士間（P2P間）にて、一定間隔通信または何らかの変化が生じたときに発生するイベント通信によって交換され、カメラ１２の状態変化に動的に追従できる仕組みを有している。
　次に、図４および図７を参照して、追跡システム１０によるサーバ１１を介したトラッキング方法について説明する。図７は、追跡システム１０によるサーバ１１を介したトラッキング方法を説明するための概念図である。
　図４および図７に示すように、追跡システム１０は、例えば、カメラ１２のCam２で追跡対象のオブジェクトである人１、人２、および人３を含む画像を撮像する。次に、Cam２は、撮像した画像から人１、人２、および人３のそれぞれの特徴量を抽出し、３次元の移動方向ベクトルを演算して、特徴量および移動方向ベクトル情報を人ごとにパッキングする。そして、Cam２は、サーバ１１へ人ごとのパッキング情報を送信する。パッキング情報を受信したサーバ１１は、人ごとのパッキング情報内の特徴量とサーバ１１内に登録済の特徴量とを照合し、追跡対象を特定する。
　図７に示すように、照合の結果、人１の特徴量がサーバ１１内に未登録の新規な特徴量である場合、サーバ１１は、その新規な特徴量をサーバ１１内に登録し、パッキング情報内の移動方向ベクトル情報により、人１の移動先はCam１方向であると判定する。人２および人３の特徴量がサーバ１１内に登録済の特徴量である場合、サーバ１１は、それらの特徴量がサーバ１１内に登録済であると判定し、パッキング情報内の移動方向ベクトル情報により、人２の移動先はCam１方向で人３の移動先はCam３方向であると判定する。
　そして、サーバ１１は、追跡対象の移動方向に応じて、Cam１に人１および人２の情報を送信し、Cam３に人３の情報を送信して、Cam１が人１および人２を追跡（トラッキング）し、Cam３が人３をトラッキングする。
　Cam２の動作と同様に、Cam１で人１および人２を含む画像を撮像し、Cam３で人３を含む画像を撮像する。次に、Cam１は、撮像した画像から人１および人２のそれぞれの特徴量を抽出し、３次元の移動方向ベクトルを演算して、特徴量および移動方向ベクトル情報を人ごとにパッキングする。Cam３は、撮像した画像から人３の特徴量を抽出し、３次元の移動方向ベクトルを演算して、特徴量および移動方向ベクトル情報をパッキングする。
　そして、Cam１は、サーバ１１へ人ごとのパッキング情報を送信し、Cam３は、サーバ１１へ人３のパッキング情報を送信する。パッキング情報を受信したサーバ１１は、人ごとのパッキング情報内の特徴量とサーバ１１内に登録済の特徴量とを照合し、追跡対象を特定する。
　図７に示すように、照合の結果、人１および人２の特徴量がサーバ１１内に登録済であるため、サーバ１１は、人１および人２の特徴量がサーバ１１内に登録済であると判定し、パッキング情報内の移動方向ベクトル情報により、人１の移動先はCamＸ方向で人２の移動先はCamＹ方向であると判定する。
　同様に、照合の結果、人３の特徴量がサーバ１１内に登録済であるため、サーバ１１は、人３の特徴量がサーバ１１内に登録済であると判定し、パッキング情報内の移動方向ベクトル情報により、人３の移動先はCamＺ方向であると判定する。
　そして、サーバ１１は、追跡対象の移動方向に応じて、CamＸ、CamＹおよびCamＺに、それぞれ人１、人２および人３の情報を送信し、CamＸが人１をトラッキングし、CamＹが人２をトラッキングし、CamＺが人３をトラッキングする。追跡システム１０は、これらの動作を繰り返して、複数のカメラ１２の連携により、追跡対象をトラッキングすることができる。
　以上より、本実施形態に係る複数のカメラ１２を備えた追跡システム１０は、特徴量を使うことにより、送受信のデータ量を削減して負荷を低減することができる。また、追跡システム１０は、人や物体を認識し適切な複数の特徴量を取得できるカメラ１２に切り替えてデータを取得することができる。また、追跡システム１０は、優先度リストによりカメラ１２間の通信量をダイナミックに変更することが可能になる。したがって、追跡システム１０によれば、データ帯域を軽量化しつつオブジェクトの検出精度を高めることができる。
　さらに、追跡システム１０は、特徴量のみで個人の顔や体の情報を直接出力しないため、個人のプライバシを保護することができる。また、追跡システム１０は、オブジェクト（人）ごとに移動方向ベクトル情報を有しているため、複数のカメラ１２に写った複数の人をトラッキングする際、それぞれのオブジェクトごとにどのカメラ１２に切り替えるべきかの判断処理を軽量化することができる。これにより、追跡システム１０は、トラッキングできる人数を増やすことも可能となる。なお、特徴量を元に複数のカメラ１２で人物を照合するため、カメラ１２の撮像エリアをオーバーラップさせる必要がなくなる。
２．第２実施形態
　次に、図８から図１０を参照して、本技術の第２実施形態に係る追跡システムによるトラッキング方法について説明する。図８は、本実施形態に係る追跡システムによるリスト配布の例を示すシーケンス図である。本実施形態に係るトラッキング方法は、カメラ１２相互間で特徴量等の情報の受け渡しをする点で、第１実施形態に係るトラッキング方法と相違する。本実施形態のその他の点は、第１実施形態と同様である。
　図８に示すように、個々のカメラ１２が特徴量を管理する場合、例えば、Cam２が、Cam１およびCam３にそれぞれCam１およびCam３のリストを配布し、Cam１およびCam３が、それぞれCam２にCam２のリストを配布する。
　次に、図９および図１０を参照して、追跡システム１０による複数のカメラ１２相互のみの連携による自動追尾のトラッキング方法について説明する。図９は、本実施形態に係る追跡システムによるトラッキング方法を説明するための概念図である。図１０は、本実施形態に係る追跡システムによるトラッキング方法の例を示すフローチャートである。
　図９および図１０に示すように、ステップＳ１１において、カメラ１２のCam２は、追跡対象のオブジェクトである人１、人２、および人３を含む画像を撮像し、人１、人２、および人３を検出する。このとき、Cam２は、撮像した画像から人１、人２、および人３のそれぞれの特徴量を抽出し、３次元の移動方向ベクトルを演算して、特徴量および移動方向ベクトル情報を人ごとにパッキングする。そして、Cam２は、サーバ１１へ人ごとのパッキング情報を送信する。
　ステップＳ１２において、サーバ１１またはCam２は、例えば、注目する人１を追跡対象として選択する。このとき、パッキング情報を受信したサーバ１１は、人ごとのパッキング情報内の特徴量とサーバ１１内に登録済の特徴量とを照合し、追跡対象を特定する。
　図９に示すように、照合の結果、人１の特徴量がサーバ１１内に未登録の新規な特徴量である場合、サーバ１１は、その新規な特徴量をサーバ１１内に登録し、パッキング情報内の移動方向ベクトル情報により、人１の移動先はCam１方向であると判定する。人２および人３の特徴量がサーバ１１内に登録済の特徴量である場合、サーバ１１は、それらの特徴量がサーバ１１内に登録済であると判定し、パッキング情報内の移動方向ベクトル情報により、人２の移動先はCam１方向で人３の移動先はCam３方向であると判定する。そして、サーバ１１は、Cam２に選択した人１の情報を送信する。
　ステップＳ１３において、Cam２は、サーバ１１から受信した人１の情報に基づいて、人１をマークしてトラッキングする。
　ステップＳ１４において、Cam２は、パッキング情報内の移動方向ベクトル情報により、人１の移動先はCam１方向であると判定する。そして、Cam２は、Cam１に撮像カメラを切り替える指示および人１の情報をCam１へ伝達する。
　ステップＳ１５において、Cam１は、Cam２の動作と同様に、人１のトラッキングを継続する。このとき、Cam１は、人１を含む画像を撮像する。次に、Cam１は、撮像した画像から人１の特徴量を抽出し、３次元の移動方向ベクトルを演算する。Cam１は、抽出した特徴量から優先度の高さおよび出力先の許容量に応じて複数の特徴量を決定し、決定した人１の特徴量および演算した移動方向ベクトル情報をパッキングする。Cam１は、パッキング情報内の移動方向ベクトル情報により、人１の移動先のカメラ１２を判定する。そして、パッキング情報内の特徴量に基づいて、オブジェクトである人１を追跡する。その後、Cam１は、判定したカメラ１２に撮像カメラを切り替える指示および人１の情報を伝達する。
　以上より、本実施形態に係るトラッキング方法によれば、第１実施形態に係るトラッキング方法と同様に、データ帯域を軽量化しつつオブジェクトの検出精度を高めることができる。さらに、本実施形態に係るトラッキング方法によれば、複数のカメラ１２がサーバ１１を介さずに互いに連携して特徴量を送受信することができるため、より高速度に追跡対象を自動追尾することができる。
３．第３実施形態
　次に、図１１および図１２を参照して、本技術の第３実施形態に係る追跡システム１０によるトラッキング方法について説明する。図１１は、本実施形態に係る追跡システム１０によるリスト管理を示す概念図である。図１１Ａはホストであるサーバ１１が管理する特徴量のリストを示し、図１１ＢはCam１が管理する特徴量のリストを示し、図１１ＣはCam２が管理する特徴量のリストを示し、図１１ＤはCam３が管理する特徴量のリストを示している。本実施形態に係るトラッキング方法は、プライバシレベルに応じて特徴量の優先度を決定している点で、第１実施形態に係るトラッキング方法と相違する。本実施形態のその他の点は、第１実施形態と同様である。
　図１１Ａに示すように、サーバ１１は、例えば、追跡対象のオブジェクトの全特徴量である特徴量１から特徴量８までをプライバシレベルと対応させたリストを管理している。本実施形態では、特徴量１から３、６から８は、プライバシレベル０であり、特徴量４はプライバシレベル１、特徴量５はプライバシレベル２である。
　図１１Ｂに示すように、Cam１は、例えば、追跡対象のオブジェクトの特徴量を、優先度順に、特徴量１、３、６、２、４、５の順序でリストを管理している。図１１Ｃに示すように、Cam２は、例えば、追跡対象のオブジェクトの特徴量を、優先度順に、特徴量２、１、４、５、３、６の順序でリストを管理している。図１１Ｄに示すように、Cam３は、例えば、追跡対象のオブジェクトの特徴量を、優先度順に、特徴量５、２、１、３、４、６の順序でリストを管理している。そして、Cam１、Cam２およびCam３のそれぞれの特徴量４はプライバシレベル１であり、特徴量５はプライバシレベル２である。Cam１、Cam２およびCam３の特徴量４および５以外の特徴量は、プライバシレベル０である。
　図１２は、本実施形態に係る追跡システムによるトラッキング方法の例を示すシーケンス図である。
　図１２に示すように、例えば、カメラ１２のCam１からCam２へ人１の情報を送信する場合、Cam１が取得した人１の情報を、Cam１のリストの優先度順のまま送信するのではなく、受信側Cam２のリストの優先度およびプライバシレベルに応じて並べ替えたリストにしてから送信する。もし、データの送受信容量に制限がある場合は、優先度の低いものまたはプライバシレベルが高いものから順に出六するデータを削って送信する。
　Cam２は、受信したCam１からの人１の情報とCam２で取得した人１の情報とを照合して、一致するかどうかを判定する。一致した場合は、その人物が人１であるとして、Cam２で人１のトラッキングを行う。不一致の場合は、その人物が人１とは別人であるとして、Cam２で取得した他の可能性のある人物との照合を行う。
　その後、人１がCam２の撮像範囲からCam３方向へ移動する場合、Cam２は、受信側Cam３のリストの優先度およびプライバシレベルに応じて並べ替えたリストにしてから人１の情報を送信する。
　Cam３は、Cam２と同様に、受信したCam２からの人１の情報とCam３で取得した人１の情報とを照合して、一致するかどうかを判定する。一致した場合は、その人物が人１であるとして、Cam３で人１のトラッキングを継続する。不一致の場合は、その人物が人１とは別人であるとして、Cam３で取得した他の可能性のある人物との照合を行う。
　以上より、本実施形態に係るトラッキング方法によれば、第１実施形態に係るトラッキング方法と同様に、データ帯域を軽量化しつつオブジェクトの検出精度を高めることができ、判断処理を軽量化することができる。さらに、本実施形態に係るトラッキング方法によれば、プライバシレベルに応じて送信する特徴量を決定しているため、よりプライバシを保護することができる。
４．第４実施形態
　次に、図１３を参照して、本技術の第４実施形態に係る追跡システム１０によるトラッキング方法について説明する。図１３は、本実施形態に係る追跡システム１０によるトラッキング方法を説明するための概念図である。本実施形態に係るトラッキング方法は、複数人の感情情報を考慮して人等のオブジェクトをトラッキングしている点で、第１実施形態に係るトラッキング方法と相違する。本実施形態のその他の点は、第１実施形態と同様である。
　図１３に示すように、本実施形態に係る追跡システム１０は、例えば、カメラ１２のCam１で人１、人２、および人３を含む画像を撮像して、撮像した画像から人１、人２、および人３のそれぞれの特徴量を抽出し、３次元の移動方向ベクトルを演算し、感情情報を取得する。また、Cam２で人４、人５、および人６を含む画像を撮像して、撮像した画像から人４、人５、および人６のそれぞれの特徴量を抽出し、３次元の移動方向ベクトルを演算し、感情情報を取得する。さらに、Cam３で人７、人８、および人９を含む画像を撮像して、撮像した画像から人７、人８、および人９のそれぞれの特徴量を抽出し、３次元の移動方向ベクトルを演算し、感情情報を取得する。
　以上より、本実施形態に係るトラッキング方法によれば、第１実施形態に係るトラッキング方法と同様に、データ帯域を軽量化しつつオブジェクトの検出精度を高めることができる。さらに、本実施形態に係るトラッキング方法によれば、Cam１、Cam２およびCam３で取得した人１から人９の複数人の感情情報からその場全体の感情の流れを把握することができるため、その場全体の感情の流れに応じて、追跡対象をトラッキングすることができる。
　なお、本技術では、以下の構成を取ることができる。
（１）
　オブジェクトを撮像する撮像部と、
　前記撮像部で撮像した前記オブジェクトの特徴量を複数抽出する特徴量抽出部と、
　前記特徴量抽出部で抽出した複数の前記特徴量の優先度を決定する優先度決定部と、
　前記優先度の高さおよび出力先の許容量に応じて、前記特徴量を決定する制御部と、
　前記制御部で決定した前記特徴量を出力する出力部と、
を備える撮像装置。
（２）
　前記撮像部は、同時に同一領域の前記オブジェクトを撮像する、（１）に記載の撮像装置。
（３）
　前記オブジェクトの移動方向を演算する移動方向演算部をさらに備え、
　前記出力部は、前記特徴量と前記移動方向とを紐づけて出力する、（１）または（２）に記載の撮像装置。
（４）
　前記優先度決定部は、それぞれの前記特徴量のプライバシレベルを設定するプライバシレベル設定部を有し、前記プライバシレベルに応じて前記優先度を決定する、（１）から（３）のいずれか一つに記載の撮像装置。
（５）
　前記撮像部の撮像位置および撮像方向を取得する撮像位置取得部をさらに備え、
　前記出力部は、前記撮像位置および前記撮像方向を出力する、（１）から（４）のいずれか一つに記載の撮像装置。
（６）
　前記撮像装置が設置される周囲の環境情報を取得する環境情報取得部をさらに備え、
　前記制御部は、前記環境情報に基づいて、前記特徴量の出力先を決定する、（１）から（５）のいずれか一つに記載の撮像装置。
（７）
　前記特徴量の出力先の状態変化情報を取得する状態変化情報取得部をさらに備え、
　前記制御部は、前記状態変化情報に応じて、前記出力先を決定する、（１）から（６）のいずれか一つに記載の撮像装置。
（８）
　前記オブジェクトの感情に関する感情情報を取得する感情情報取得部をさらに備え、
　前記出力部は、前記特徴量と前記感情情報とを紐づけて出力する、（１）から（７）のいずれか一つに記載の撮像装置。
（９）
　前記撮像部は、前記オブジェクトを複数撮像し、
　前記撮像部で撮像した複数の前記オブジェクトから、注目する前記オブジェクトを選択する対象選択部をさらに備え、
　前記特徴量抽出部は、前記対象選択部で選択した前記オブジェクトの特徴量を複数抽出する、（１）から（８）のいずれか一つに記載の撮像装置。
（１０）
　優先度の高さおよび入力可能な許容量に応じて、オブジェクトの複数の特徴量を入力する入力部と、
　前記入力部で入力した前記特徴量に基づいて、前記オブジェクトを追跡する追跡部と、を備える撮像装置。
（１１）
　オブジェクトを撮像する撮像部と、
　前記撮像部で撮像した前記オブジェクトの特徴量を複数抽出する特徴量抽出部と、
　前記特徴量抽出部で抽出した複数の前記特徴量の優先度を決定する優先度決定部と、
　前記優先度の高さおよび送信先の許容量に応じて、前記特徴量を送信する送信部と、
　前記優先度の高さおよび受信可能な許容量に応じて、前記特徴量を受信する受信部と、
　前記受信部で受信した前記特徴量に基づいて、前記オブジェクトを追跡する追跡部と、を有する撮像装置を複数備え、
　複数の前記撮像装置は、互いに連携して前記特徴量を送受信する、追跡システム。
（１２）
　オブジェクトを撮像するステップと、
　撮像した前記オブジェクトの特徴量を複数抽出するステップと、
　抽出した複数の前記特徴量の優先度を決定するステップと、
　前記優先度の高さおよび出力先の許容量に応じて、前記特徴量を決定するステップと、
　決定した前記特徴量を出力するステップと、
を含む撮像方法。
（１３）
　優先度の高さおよび入力可能な許容量に応じて、オブジェクトの複数の特徴量を入力するステップと、
　入力した前記特徴量に基づいて、前記オブジェクトを追跡するステップと、
を含む撮像方法。
１０　追跡システム
１１　サーバ
１２　カメラ（撮像装置）
２１　入力部
２２　撮像部
２３　撮像位置取得部
２４　特徴量抽出部
２５　移動方向演算部
２６　プライバシレベル設定部
２７　優先度決定部
２８　制御部
２９　環境情報取得部
３０　状態変化情報取得部
３１　感情情報取得部
３２　出力部
３３　追跡部
３４　通信部
４１　対象選択部
４２　送信部
４３　受信部

Claims (13)

  1. 　オブジェクトを撮像する撮像部と、
    　前記撮像部で撮像した前記オブジェクトの特徴量を複数抽出する特徴量抽出部と、
    　前記特徴量抽出部で抽出した複数の前記特徴量の優先度を決定する優先度決定部と、
    　前記優先度の高さおよび出力先の許容量に応じて、前記特徴量を決定する制御部と、
    　前記制御部で決定した前記特徴量を出力する出力部と、
    を備える撮像装置。
  2. 　前記撮像部は、同時に同一領域の前記オブジェクトを撮像する、請求項１に記載の撮像装置。
  3. 　前記オブジェクトの移動方向を演算する移動方向演算部をさらに備え、
    　前記出力部は、前記特徴量と前記移動方向とを紐づけて出力する、請求項１に記載の撮像装置。
  4. 　前記優先度決定部は、それぞれの前記特徴量のプライバシレベルを設定するプライバシレベル設定部を有し、前記プライバシレベルに応じて前記優先度を決定する、請求項１に記載の撮像装置。
  5. 　前記撮像部の撮像位置および撮像方向を取得する撮像位置取得部をさらに備え、
    　前記出力部は、前記撮像位置および前記撮像方向を出力する、請求項１に記載の撮像装置。
  6. 　前記撮像装置が設置される周囲の環境情報を取得する環境情報取得部をさらに備え、
    　前記制御部は、前記環境情報に基づいて、前記特徴量の出力先を決定する、請求項１に記載の撮像装置。
  7. 　前記特徴量の出力先の状態変化情報を取得する状態変化情報取得部をさらに備え、
    　前記制御部は、前記状態変化情報に応じて、前記出力先を決定する、請求項１に記載の撮像装置。
  8. 　前記オブジェクトの感情に関する感情情報を取得する感情情報取得部をさらに備え、
    　前記出力部は、前記特徴量と前記感情情報とを紐づけて出力する、請求項１に記載の撮像装置。
  9. 　前記撮像部は、前記オブジェクトを複数撮像し、
    　前記撮像部で撮像した複数の前記オブジェクトから、注目する前記オブジェクトを選択する対象選択部をさらに備え、
    　前記特徴量抽出部は、前記対象選択部で選択した前記オブジェクトの特徴量を複数抽出する、請求項１に記載の撮像装置。
  10. 　優先度の高さおよび入力可能な許容量に応じて、オブジェクトの複数の特徴量を入力する入力部と、
    　前記入力部で入力した前記特徴量に基づいて、前記オブジェクトを追跡する追跡部と、を備える撮像装置。
  11. 　オブジェクトを撮像する撮像部と、
    　前記撮像部で撮像した前記オブジェクトの特徴量を複数抽出する特徴量抽出部と、
    　前記特徴量抽出部で抽出した複数の前記特徴量の優先度を決定する優先度決定部と、
    　前記優先度の高さおよび送信先の許容量に応じて、前記特徴量を送信する送信部と、
    　前記優先度の高さおよび受信可能な許容量に応じて、前記特徴量を受信する受信部と、
    　前記受信部で受信した前記特徴量に基づいて、前記オブジェクトを追跡する追跡部と、を有する撮像装置を複数備え、
    　複数の前記撮像装置は、互いに連携して前記特徴量を送受信する、追跡システム。
  12. 　オブジェクトを撮像するステップと、
    　撮像した前記オブジェクトの特徴量を複数抽出するステップと、
    　抽出した複数の前記特徴量の優先度を決定するステップと、
    　前記優先度の高さおよび出力先の許容量に応じて、前記特徴量を決定するステップと、
    　決定した前記特徴量を出力するステップと、
    を含む撮像方法。
  13. 　優先度の高さおよび入力可能な許容量に応じて、オブジェクトの複数の特徴量を入力するステップと、
    　入力した前記特徴量に基づいて、前記オブジェクトを追跡するステップと、
    を含む撮像方法。
PCT/JP2022/001685 2021-03-09 2022-01-19 撮像装置、追跡システム、および撮像方法 WO2022190652A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020237028412A KR20230155432A (ko) 2021-03-09 2022-01-19 촬상 장치, 추적 시스템 및 촬상 방법
CN202280018411.6A CN116941237A (zh) 2021-03-09 2022-01-19 成像装置、跟踪系统和成像方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-037678 2021-03-09
JP2021037678 2021-03-09

Publications (1)

Publication Number Publication Date
WO2022190652A1 true WO2022190652A1 (ja) 2022-09-15

Family

ID=83226589

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001685 WO2022190652A1 (ja) 2021-03-09 2022-01-19 撮像装置、追跡システム、および撮像方法

Country Status (4)

Country Link
KR (1) KR20230155432A (ja)
CN (1) CN116941237A (ja)
TW (1) TW202238439A (ja)
WO (1) WO2022190652A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016127563A (ja) * 2015-01-08 2016-07-11 パナソニックＩｐマネジメント株式会社 人物追尾システム及び人物追尾方法
JP2018005555A (ja) * 2016-07-01 2018-01-11 ソニー株式会社 画像処理装置、情報処理装置、および方法、並びにプログラム
JP2019016098A (ja) * 2017-07-05 2019-01-31 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6909575B2 (ja) 2016-11-30 2021-07-28 マクセル株式会社 監視情報収集システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016127563A (ja) * 2015-01-08 2016-07-11 パナソニックＩｐマネジメント株式会社 人物追尾システム及び人物追尾方法
JP2018005555A (ja) * 2016-07-01 2018-01-11 ソニー株式会社 画像処理装置、情報処理装置、および方法、並びにプログラム
JP2019016098A (ja) * 2017-07-05 2019-01-31 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
CN116941237A (zh) 2023-10-24
KR20230155432A (ko) 2023-11-10
TW202238439A (zh) 2022-10-01

Similar Documents

Publication Publication Date Title
KR101425170B1 (ko) 영상 촬영 장치의 객체 추적 장치 및 방법과 보안 관리 시스템의 객체 추적 장치
EP4105101A1 (en) Monitoring system, monitoring method, and monitoring device for railway train
JP4478510B2 (ja) カメラシステム、カメラ、及びカメラの制御方法
CN108566536B (zh) 基于可穿戴设备的特征采集分析系统
CN109614882A (zh) 一种基于人体姿态估计的暴力行为检测系统及方法
WO2018198373A1 (ja) 映像監視システム
US20110074970A1 (en) Image processing apparatus and image processing method
CN105279480A (zh) 视频分析的方法
Nguyen et al. Multiple camera coordination in a surveillance system
WO2008018423A1 (fr) Dispositif de vérification d'objets et procédé de vérification d'objets
CN103106393A (zh) 一种基于机器人平台的嵌入式人脸识别智能身份认证系统
CN107851320A (zh) 用于确定移动设备相对于主体的位置的设备和方法
CN109830078B (zh) 适用于狭小空间的智能行为分析方法及智能行为分析设备
JP4667508B2 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
KR101459024B1 (ko) 시설물 감시용 보안 시스템
RU2268497C2 (ru) Система и способ автоматизированного видеонаблюдения и распознавания объектов и ситуаций
CN103209303A (zh) 相机设备、通信系统和相机系统
KR101757884B1 (ko) 전장 상황 인식 기반 상황 정보 제공 장치 및 그 방법
CN113378616A (zh) 视频分析方法、视频分析的管理方法及相关设备
CN108540707A (zh) 人脸识别执法仪
CN110619276A (zh) 基于无人机移动监控的异常及暴力检测系统和方法
WO2022190652A1 (ja) 撮像装置、追跡システム、および撮像方法
Germa et al. Vision and RFID-based person tracking in crowds from a mobile robot
KR102108391B1 (ko) 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법
KR20150117935A (ko) 다중 구역에 대한 카메라 영상파일 통합 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22766620

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280018411.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18548583

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22766620

Country of ref document: EP

Kind code of ref document: A1