WO2021100502A1 - 割当制御装置、割当制御システム、及び割当制御方法 - Google Patents
割当制御装置、割当制御システム、及び割当制御方法 Download PDFInfo
- Publication number
- WO2021100502A1 WO2021100502A1 PCT/JP2020/041639 JP2020041639W WO2021100502A1 WO 2021100502 A1 WO2021100502 A1 WO 2021100502A1 JP 2020041639 W JP2020041639 W JP 2020041639W WO 2021100502 A1 WO2021100502 A1 WO 2021100502A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- allocation
- attribute
- processing unit
- unit
- imaging data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19617—Surveillance camera constructional details
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Definitions
- the present invention relates to an allocation control device, an allocation control system, and an allocation control method.
- Patent Documents 1 and 2 Conventionally, a system that uses image data captured by a camera for monitoring or the like has been known (see, for example, Patent Documents 1 and 2).
- the security system of Patent Document 1 switches cameras to be operated according to a change in the position of a moving object, and uses the data captured by one camera for display on a monitor.
- the surveillance camera system of Patent Document 2 generates a continuous panoramic image from the data captured by each of the plurality of cameras and displays it on the monitor.
- the image data captured by the camera contains various information according to the time zone and season in addition to the installation environment of the camera, and is used for various purposes other than display as well as display for various purposes. be able to.
- the present invention has been made to solve the above-mentioned problems, and to provide an allocation control device and an allocation control system that reduce the load on the processing unit and smoothly utilize the imaging data for various purposes.
- the purpose is to provide an allocation control device and an allocation control system that reduce the load on the processing unit and smoothly utilize the imaging data for various purposes.
- the allocation control device includes an allocation processing unit connected to a plurality of cameras and a plurality of specialized processes connected to the allocation processing unit and corresponding to any one of a plurality of preset types.
- the allocation processing unit is connected to each of a plurality of cameras on a one-to-one basis, and identifies which of the plurality of types of imaging data is input from the connected camera.
- a plurality of specific processing units that output the imaging data together with the type data indicating the specified type, and a specialized processing unit corresponding to the type indicated by the type data output from each of the plurality of specific processing units. It has an allocation unit that outputs the output imaging data.
- the allocation control device includes an allocation processing unit connected to a camera and a plurality of specialized processes connected to the allocation processing unit and corresponding to any one of a plurality of preset types. It has a unit, an attribute allocation unit connected to a plurality of specialized processing units, and a plurality of attribute processing units connected to the attribute allocation unit and corresponding to any of the plurality of attributes, and assigns processing.
- the unit is connected to the camera, identifies which of the plurality of types the imaging data input from the camera is, and outputs the imaging data together with the type data indicating the specified type.
- the specialized processing unit corresponding to the type indicated by the type data output from the specific processing unit has an allocation unit that outputs the imaging data output together with the type data, and the specialized processing unit has the imaging data from the allocation unit. Is output, it is determined which of the plurality of attributes in the type specified by the specific processing unit of the output source the imaging data is, and the attribute data indicating the determination result is output to the attribute allocation unit.
- the attribute allocation unit outputs the attribute data output from each of the plurality of specialized processing units to the attribute processing unit corresponding to the attribute indicated by the attribute data, and the attribute processing unit outputs the attribute data.
- the attribute data is output from the allocation unit, the process corresponding to the attribute data is executed.
- the allocation control system includes the above-mentioned allocation control device and an update processing device, and the specialized processing unit has an analysis processing program for determining attributes, and also determines imaging data and attributes.
- the analysis information including the result of the above is transmitted to the update processing unit, and the update processing device is based on the imaging data and the analysis information transmitted from the plurality of specialized processing units, and each of the plurality of specialized processing units is used.
- the analysis processing program is updated, and the updated analysis processing program is transmitted to each specialized processing unit.
- the allocation control device includes an allocation processing unit connected to a camera and a plurality of specialized processes connected to the allocation processing unit and corresponding to any one of a plurality of preset types.
- the allocation processing unit is connected to the camera, specifies the type of the main object included in the imaging data input from the camera as a type, and displays the imaging data together with the type data indicating the specified type. It has a specific processing unit for output, a specialized processing unit corresponding to the type indicated by the type data output from the specific processing unit, and an allocation unit for outputting the imaging data output together with the type data.
- the allocation control device includes an allocation processing unit connected to a camera and a plurality of specialized processes connected to the allocation processing unit and corresponding to any one of a plurality of preset types.
- the allocation processing unit is connected to the camera, specifies the main age group of the person included in the imaging data input from the camera as a type, and the imaging data together with the type data indicating the specified type. It has a specific processing unit that outputs the data, and a specialized processing unit that corresponds to the type indicated by the type data output from the specific processing unit, and an allocation unit that outputs the imaging data output together with the type data.
- the allocation control device is the above-mentioned allocation control device, and when the imaging data is output from the allocation unit, the specialized processing unit performs the identification processing of the output source of the imaging data. It determines which of the plurality of attributes in the type specified in the section is, and executes the process according to the determined attribute.
- the allocation control system includes the above-mentioned allocation control device and a display device, and the specialized processing unit displays a moving image or a still image according to the determined attribute on the display device. is there.
- the allocation control method is any of a plurality of types in which the imaging data input from the cameras is preset by the plurality of specific processing units connected to the plurality of cameras on a one-to-one basis.
- the imaging data is output together with the type data indicating the specified type, and the allocation unit connected to the plurality of specialized processing units corresponding to any of the plurality of types performs a plurality of specific processes.
- the imaging data output together with the type data is output to the specialized processing unit corresponding to the type indicated by the type data output from each unit.
- the specific processing unit connected to the camera specifies and specifies the type of the main object included in the image pickup data input from the camera as the type of the image pickup data.
- the type data that outputs the imaging data together with the type data indicating the type, and the allocation unit connected to the plurality of specialized processing units corresponding to any of the plurality of types is output from each of the plurality of specialized processing units.
- the imaging data output together with the type data is output to the specialized processing unit corresponding to the type indicated by.
- the specific processing unit and the specialized processing can be distributed to the parts. Therefore, it is possible to reduce the load on each processing unit and smoothly utilize the captured data for various purposes.
- FIG. 5 is an external view illustrating an air vehicle equipped with the allocation control system of FIG. 1.
- FIG. 1 shows the example which mounted the allocation control system of FIG. 1 on an air vehicle.
- explanatory drawing shows the example which applied the allocation control system of FIG. 1 to the facility such as a stadium.
- FIG. 1 shows the configuration example which applied the allocation control device of FIG.
- FIG. 7 It is explanatory drawing which shows the example which applied the allocation control system of FIG. 1 to a street. It is a block diagram which corresponded the allocation control system of FIG. 1 to the situation of FIG. It is a flowchart which illustrates the operation of the allocation control device of FIG. It is a block diagram which illustrated the structure of the allocation control device and the allocation control system which concerns on modification 1-1 of Embodiment 1 of this invention. It is a block diagram which illustrated the structure of the allocation control device and the allocation control system which concerns on modification 1-2 of Embodiment 1 of this invention. It is explanatory drawing which shows the example which applied the allocation control system of FIG. 13 to the intersection etc. in the city.
- the allocation control system 100 includes a plurality of cameras A1 to An (n is a natural number of 2 or more), an allocation control device 10, and an actuator unit 90.
- the actuator unit 90 is composed of a plurality of actuators X1 to Xk (k is a natural number of 2 or more) to be controlled by the allocation control device 10.
- a plurality of cameras A1 to An are pointed out without distinction, it is referred to as "camera A”.
- actuator X When a plurality of actuators X1 to Xk are referred to without distinction, they are referred to as "actuator X".
- Camera A has an image sensor such as CCD (Charge Coupled Devices) or CMOS (Complementary Metal Oxide Semiconductor) and captures moving images or still images.
- the camera A outputs the captured moving image or still image as imaging data to the allocation control device 10.
- the camera A of the first embodiment outputs the identification information indicating itself to the allocation control device 10.
- the actuator X is a device that operates based on an electric signal output from the allocation control device 10.
- a light emitting means including a light source such as an LED (light emission diode), a notification means including a speaker, or a driving means such as a motor is assumed.
- the allocation control device 10 includes an allocation processing unit 20 connected to a plurality of cameras A1 to An, and a plurality of specialized processing units C1 to Cm (m is 2 or more) corresponding to any one of a plurality of preset types. Natural number) and.
- the plurality of specialized processing units C1 to Cm are connected to the allocation processing unit 20.
- a plurality of specialized processing units C1 to Cm are referred to without distinction, they are referred to as "specialized processing unit C".
- the allocation processing unit 20 has a plurality of specific processing units B1 to Bn connected to each of the plurality of cameras A1 to An on a one-to-one basis.
- Each of the plurality of specific processing units B1 to Bn specifies which of the plurality of types the imaging data input from the connection-destination camera A is, and generates type data indicating the specified type. Then, each of the plurality of specific processing units B1 to Bn outputs the image pickup data related to the type identification to the allocation processing unit 20 together with the type data.
- specific processing unit B When a plurality of specific processing units B1 to Bn are referred to without distinction, it is referred to as "specific processing unit B".
- the specific processing unit B is equipped with AI (artificial intelligence) based on learning such as deep learning, and specifies the type of imaging data by guessing what the main object included in the imaging data is.
- the specific processing unit B like the specialized processing unit C described later, has a communication unit, a storage unit, and a control unit, although none of them is shown.
- the control unit is composed of, for example, a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit). Since the specific processing unit B has a smaller processing amount than the specialized processing unit C, it can be composed of members having lower performance than the specialized processing unit C.
- the allocation processing unit 20 outputs the imaging data output together with the type data to the specialized processing unit C corresponding to the type indicated by the type data output from each of the plurality of specific processing units B1 to Bn.
- the allocation unit 30 has m routes (options) for allocating the data input from one specific processing unit B to any of a plurality of specialized processing units C1 to Cm. ing. That is, the allocation unit 30 has n ⁇ m routes (options) for allocating the data input from the plurality of specific processing units B1 to Bn to any of the plurality of specialized processing units C1 to Cm.
- the allocation unit 30 is composed of a programmable logic device such as an FPGA (field-programmable gate array).
- the allocation program which is the logic program of the allocation unit 30, can be appropriately changed according to the use case.
- the type is a type of a main object included in the imaging data, and the main object includes an inanimate object such as an electric wire or a utility pole and a moving object such as an animal, a vehicle, or a flying object. ..
- the type may be set in the dimensions of "person” and "dog”. Further, for example, the type may be set for each person based on concepts such as "age group” and "operating state”. Further, for each type, a plurality of attributes that are further subdivided into types are set in advance. For example, attributes such as pigeons, crows, and bats are set for the type of bird.
- the specialized processing unit C performs image analysis specialized for any of a plurality of types. More specifically, the specialized processing unit C is equipped with an AI based on learning such as deep learning, and estimates which attribute the main object included in the imaging data is in the type that it specializes in.
- the specialized processing unit C determines which of the plurality of attributes in the type specified by the specific processing unit B of the output source. To do. Then, the specialized processing unit C executes a process according to the result of the determination, that is, a process according to the determined attribute.
- the content of the processing performed by the specialized processing unit C according to the attributes is preset in association with the attributes in the operation program of the specialized processing unit C and the like, and can be changed as appropriate.
- the specialized processing unit C outputs, for example, a control signal according to the determined attribute to one or a plurality of actuators X.
- the specialized processing unit C includes a first communication unit 41, a second communication unit 42, a storage unit 43, and a control unit 44.
- the first communication unit 41 is an input interface that inputs data output from the allocation unit 30 and passes it to the control unit 44.
- the second communication unit 42 is an interface for the control unit 44 to communicate with the actuator unit 90, the device connected to the network N, or the device connected wirelessly.
- the storage unit 43 has a memory means 43a and a storage means 43b.
- the memory means 43a is a volatile storage device that is configured by, for example, a RAM (Random Access Memory) and temporarily stores data.
- the storage means 43b is composed of a flash memory, an eMMC (embedded MultiMediaCard), an SSD (Solid State Drive), or the like.
- a learning program 431, an analysis processing program 432, and an update program 433 are illustrated as operation programs of the specialized processing unit C.
- the analysis processing program 432 is a program for executing processing related to attribute determination.
- the control unit 44 has a learning processing means 44a, an analysis processing means 44b, and an update processing means 44c.
- the control unit 44 functions as the learning processing means 44a by reading the learning program 431, functions as the analysis processing means 44b by reading the analysis processing program 432, and the update processing means by reading the update program 433.
- the control unit 44 is composed of a SoC (System-on-a-chip) including, for example, a CPU or a GPU.
- the learning processing means 44a generates the analysis processing program 432 by learning such as deep learning using the learning data.
- the analysis processing means 44b determines which of the plurality of attributes in the type specified by the specific processing unit B is the imaging data output from the allocation unit 30, and executes processing according to the determined attributes. To do.
- the analysis processing means 44b outputs the imaging data input from the allocation unit 30 and the analysis information including the determination result to the update processing device 80 via the second communication unit 42.
- the analysis processing means 44b stores the imaging data and the analysis information input from the allocation unit 30 in the storage means 43b.
- the update processing means 44c updates the analysis processing program 432 by learning based on the imaging data and the analysis information stored in the storage means 43b. Further, the update processing means 44c updates the analysis processing program 432 in the storage means 43b by the update analysis processing program 432 transmitted from the update processing device 80. However, the update processing means 44c may perform either the update process of the analysis processing program 432 based on its own learning or the update process of the analysis processing program 432 in cooperation with the update processing device 80. ..
- the plurality of specialized processing units C1 to Cm are connected to the update processing device 80 via a network N such as the Internet.
- the update processing device 80 is, for example, a cloud server based on cloud computing.
- Each of the plurality of specialized processing units C1 to Cm transmits the imaging data and analysis information input from the allocation unit 30 to the update processing device 80.
- the update processing device 80 stores the analysis processing program 432 of each specialized processing unit C.
- the update processing device 80 has a function of updating the analysis processing program 432 by learning based on the imaging data and the analysis information transmitted from the specialized processing unit C.
- the update processing device 80 executes the update of the analysis processing program 432 at predetermined time intervals or when the accumulated amount of data reaches a certain amount. Then, the update processing device 80 transmits the updated analysis processing program 432 to the specialized processing unit C at a preset timing.
- each specialized processing unit C can update the analysis processing program 432.
- the update processing device 80 is not limited to the cloud server, and may be a physical server such as a Web server.
- the update processing device 80 may be a desktop PC (Personal Computer), a notebook PC, a tablet PC, or the like.
- the specialized processing unit C and the update processing device 80 may perform wired communication, wireless communication, or a combination of wired and wireless communication.
- the update processing device 80 updates each analysis processing program 432 of the plurality of specialized processing units C based on the imaging data and analysis information transmitted from the plurality of specialized processing units C. Then, the update processing device 80 transmits the updated analysis processing program 432 to each specialized processing unit C. Therefore, when the updated analysis processing program 432 is transmitted from the update processing device 80, the specialized processing unit C can update the analysis processing program 432 in the storage unit 43 by the analysis processing program 432.
- the allocation control system 100 has four cameras A, the allocation control device 10 has four specific processing units B and five specialized processing units C, and the actuator unit 90 has five actuators X. An example is shown.
- the specialized processing unit C1 and the specialized processing unit C2 correspond to the type "bird", the specialized processing unit C3 and the specialized processing unit C4 correspond to the type "terrestrial animal”, and the specialized processing unit C5 corresponds to the type "human”. It shall be. Further, it is assumed that the actuator X1 is a light emitting means for emitting light, the actuators X2 and X3 are notification means for generating a sound disliked by animals, and the actuator X4 is a sound wave generating means for generating ultrasonic waves. Actuator X5 shall be a notification means for generating a sound or voice for warning.
- the specific processing unit B1 sets the type of the imaging data from the camera A1 to "terrestrial animal”
- the specific processing unit B2 sets the type of the imaging data from the camera A2 to "bird”
- the specific processing unit B3 sets the camera.
- An example is shown in which the type of imaging data from A3 is "bird” and the type of imaging data from camera A4 is "human” by the specific processing unit B4.
- the specialized processing unit C1 determines the attribute in the type "bird" of the imaging data input from the allocation unit 30. As an example, when the specialized processing unit C1 determines that the attribute of the imaging data is "pigeon”, it outputs a control signal instructing the actuator X1 to emit light. When the specialized processing unit C1 determines that the attribute of the imaging data is "crow”, the specialized processing unit C1 outputs a control signal instructing the generation of a warning sound to at least one of the actuators X2 and X3. At that time, the specialized processing unit C1 may grasp the position from the identification information of the camera A2 and output the control signal to the actuators X2 and X3 which are closer to the camera A2, for example.
- the specialized processing unit C3 determines the attribute in the type "terrestrial animal" of the imaging data input from the allocation unit 30. As an example, when the specialized processing unit C3 determines that the attribute of the imaging data is "raccoon dog", it outputs a control signal instructing the actuator X2 or X3 to notify the cry of a wolf or the like. Similarly, when the specialized processing unit C3 determines that the attribute of the imaging data is "masked palm civet", the specialized processing unit C3 outputs a control signal instructing the generation of ultrasonic waves to the actuator X4.
- the specialized processing unit C5 determines the attribute in the type "person" of the imaging data input from the allocation unit 30. As an example, when the specialized processing unit C3 determines that the attribute of the imaging data is "suspicious person", it outputs a control signal instructing the output of a warning sound or voice to the actuator X5.
- the processing performed by the specialized processing units C2 and C4 is the same as described above.
- the processing by the specialized processing unit C described above is an example, and does not indicate the optimum example.
- the actuator unit 90 may have an actuator X other than the above, such as an odor generating means for generating a specific odor and a blowing means for blowing wind on an object. That is, the processing by the specialized processing unit C and the actuator X can be changed as appropriate.
- the specialized processing unit C may operate the plurality of actuators X at the same time by outputting the control signals to the plurality of actuators X, such as outputting the control signals to both the actuators X1 and the actuators X2.
- the allocation control system 100 may cause the update processing device 80 to learn the reaction of a moving object to the operation of the actuator X from the imaging data or the analysis information of each specialized processing unit C. Then, the allocation control system 100 may upload the analysis processing program 432 of the specialized processing unit C by using the update processing device 80 so that the specialized processing unit C appropriately selects the optimum repulsion method.
- FIGS. 4 and 5 a drone in which six propellers P are mounted on the main body 510 is illustrated as the flying object 500.
- An example is shown in which the allocation control system 100 has four cameras A, the allocation control device 10 has four specific processing units B and three specialized processing units C, and the actuator unit 90 has nine actuators X. ing.
- Specialized processing unit C1 corresponds to the type "bird”
- specialized processing unit C2 corresponds to the type "person”
- specialized processing unit C3 corresponds to the type "obstacle”.
- the actuators Xa1 to Xa4 are light emitting means for emitting light
- the actuators Xb1 to Xb4 are notification means for generating sound or voice
- the actuator X5 is a driving means for controlling the operation of the motor M.
- the actuators Xb1 to Xb4 have a function of generating ultrasonic waves.
- the power supply device, various sensors, and the like are omitted.
- the specialized processing unit C1 is connected to the actuators Xa1 to Xa4, the actuators Xb1 to Xb4, and the actuator X5.
- the specialized processing unit C2 is connected to the actuators Xb1 to Xb4 and the actuator X5.
- the specialized processing unit C3 is connected to the actuator X5.
- the specific processing unit B1 sets the type of the imaged data from the camera A1 to "bird” and outputs the type data indicating the type "bird” to the allocation unit 30. Then, the allocation unit 30 outputs the imaging data to the specialized processing unit C1 based on the type data from the specific processing unit B1.
- the specialized processing unit C1 determines which of the attributes of the imaging data is a pigeon, a crow, a bat, or the like. For example, when the specialized processing unit C1 determines that the attribute of the imaging data is "bat”, it selects the actuator Xb1 which is the notification means closest to the camera A1 from the identification information of the camera A1, and selects the actuator Xb1 as the selected actuator Xb1. Outputs a control signal instructing the generation of ultrasonic waves.
- the specific processing unit B2 sets the type of the imaged data from the camera A2 to "obstacle” and outputs the type data indicating the type "obstacle” to the allocation unit 30.
- the allocation unit 30 outputs the imaging data to the specialized processing unit C3 based on the type data from the specific processing unit B2.
- the specialized processing unit C3 determines whether the attribute of the imaging data is an electric wire, a utility pole, or the like. Then, for example, the specialized processing unit C3 analyzes the imaging data to obtain the distance from the obstacle, and based on the obtained distance and the speed of the flying object 500, for example, to avoid the obstacle as necessary.
- the control signal is output to the actuator X5. As a result, it is possible to avoid a situation in which the flying object 500 collides with an obstacle.
- the specific processing unit B3 sets the type of the imaged data from the camera A3 to "person” and outputs the type data indicating the type "person” to the allocation unit 30.
- the allocation unit 30 outputs the imaging data to the specialized processing unit C2 based on the type data from the specific processing unit B3.
- the specialized processing unit C2 determines which of the attributes of the imaged data is "soccer", “baseball”, “kites”, and the like.
- the specialized processing unit C2 analyzes, for example, the movement of a ball or the like included in the imaging data, and selects the actuator Xb3, which is the notification means closest to the camera A3, from the identification information of the camera A3.
- the specialized processing unit C2 outputs a control signal instructing output such as a voice of attention to the selected actuator Xb3, if necessary.
- the specific processing unit B4 sets the type of the imaged data from the camera A3 to "bird” and outputs the type data indicating the type "bird” to the allocation unit 30. Then, the allocation unit 30 outputs the imaging data to the specialized processing unit C1 based on the type data from the specific processing unit B4, and the specialized processing unit C1 determines what the attribute of the imaging data is. For example, when the specialized processing unit C1 determines that the attribute of the imaging data is "pigeon”, it selects the actuator Xb4, which is the notification means closest to the camera A4, from the identification information of the camera A4, and selects the actuator Xb4 as the selected actuator Xb4. Outputs a control signal instructing light emission.
- the allocation control system 100 has six cameras A
- the allocation control device 10 has six specific processing units B and six specialized processing units C
- the actuator unit 90 has six actuators.
- An example having X is shown. It is assumed that the plurality of cameras A1 to A6 are fixed point cameras, and the plurality of actuators X1 to X6 are movable cameras that capture moving images or still images and generate imaging data, respectively.
- Specialized processing units C1 to C3 correspond to the type "ball", and specialized processing units C4 to C6 correspond to the type "person".
- Each specialized processing unit C controls the operation of one or a plurality of actuators X based on the analysis result of the imaging data.
- the specialized processing units C1 to C3 determine the position and movement of the ball as attributes by analyzing the imaging data. That is, the specialized processing units C1 to C3 select one or a plurality of actuators X to be controlled based on the position and movement of the ball included in the imaging data. Then, the specialized processing units C1 to C3 generate, for example, a control signal instructing an operation following the movement of the ball, and output the control signal to one or a plurality of selected actuators X.
- the specialized processing units C4 to C6 determine the number, position, movement, etc. of people as attributes by analyzing the imaging data. That is, the specialized processing units C4 to C6 select one or a plurality of actuators X to be controlled based on the number, position, movement, and the like of people included in the imaging data.
- the specialized processing units C4 to C6 indicate specific people such as “dense” indicating a state in which people are gathering, “falling” indicating a state in which a person is lying down, and an ace as attributes in the type "person”. Determine the "spot", the "warning” that indicates the situation where the referee is holding the card, and so on. These attributes may be set for each competition or event.
- the specialized processing unit C may select one or a plurality of actuators X by using the identification information of the camera A. That is, for example, a ball exists in the region R of FIG. 6, the imaging data of the camera A1 is output to the specialized processing unit C1 via the specific processing unit B1 and the allocation unit 30, and the imaging data of the camera A6 is specified. It is assumed that the data is output to the specialized processing unit C2 via the unit B6 and the allocation unit 30 (see the broken line arrow in FIG. 7). Then, it is assumed that the actuators X1, X2, and X3 are associated with the camera A1, and the actuators X4, X5, and X6 are associated with the camera A6.
- the specialized processing unit C1 may select at least one of the actuators X1, X2, and X3 based on the identification information of the camera A1.
- the specialized processing unit C2 may select at least one of the actuators X4, X5, and X6 based on the identification information of the camera A6.
- each specialized processing unit C may be provided with a function of comprehensively controlling the selection of the actuator X, and the selection of the actuator X may be comprehensively controlled separately from the plurality of specialized processing units C. May be provided with a processing unit to control.
- one or a plurality of actuators X are associated with each camera A in advance, and when a plurality of control signals are output to the actuator X at the same time, the actuator X determines the operation content from the plurality of control signals. You may. That is, in the example of FIG.
- the cameras A1 have actuators X6 and X1, the camera A2 has actuators X1 and X2, the camera A3 has actuators X2 and X3, the camera A4 has actuators X3 and X4, the camera A5 has actuators X4 and X5, and the camera A6. It is assumed that the actuators X5 and X6 are associated with the above. Then, in the situation of the broken line arrow in FIG. 7, control signals are output to the actuator X6 from both the specialized processing unit C1 and the specialized processing unit C2. Under such circumstances, the actuator X6 may operate by selecting either the control signal of the specialized processing unit C1 or the control signal of the specialized processing unit C2 based on a predetermined priority or the like.
- the actuator X6 may operate based on both the control signal of the specialized processing unit C1 and the control signal of the specialized processing unit C2. That is, when a plurality of control signals are output, the actuator X may perform predetermined arithmetic processing on the plurality of control signals to determine the degree of operation.
- the allocation control system 100 constitutes the image display system 400 together with the cameras A1 to A6, the actuator unit 90, the display control device 95, and the display device 99.
- the display control device 95 includes a selection unit 96 and a display processing unit 98.
- the selection unit 96 analyzes each of the imaging data output from the actuators X1 to X6, and selects the imaging data for display on the display device 99.
- the selection unit 96 includes analysis processing units Y1 to Y6 connected to the actuators X1 to X6 on a one-to-one basis, and selection processing units 97 connected to the analysis processing units Y1 to Y6.
- analysis processing units Y1 to Y6 are referred to without distinction, they are referred to as "analysis processing unit Y".
- the analysis processing unit Y analyzes the imaging data output from the actuator X and obtains an evaluation index indicating the importance of the imaging data. Then, the analysis processing unit Y outputs the imaging data used for the analysis to the selection processing unit 97 together with the obtained evaluation index.
- the analysis processing unit Y like the specialized processing unit C described above, has a communication unit, a storage unit, and a control unit, although none of them are shown.
- the control unit is composed of, for example, a CPU or a GPU.
- the calculation algorithm of the evaluation index may be selectively determined by the analysis processing unit Y according to the content of the imaging data, or may be set in advance according to the competition held at the facility.
- the selection processing unit 97 selects one or more imaging data based on the evaluation index output from each analysis processing unit Y, and outputs the selected imaging data to the display processing unit 98. That is, the selection processing unit 97 selects one imaging data at the time of one screen setting for displaying one screen on the display unit of the display device 99, and displays a plurality of screens on the display unit of the display device 99. Select multiple imaging data when setting multiple screens.
- the display processing unit 98 causes the display device 99 to display an image based on one or a plurality of captured data output from the selection processing unit 97. In the case of multi-screen setting, the priority is decided for each screen. Therefore, the display processing unit 98 sequentially allocates the imaging data having a high evaluation index to the screen having a high priority.
- the display processing unit 98 may acquire the image pickup data of the camera A from the specialized processing unit C via the network N. Then, the display processing unit 98 may switch the image to be displayed on the display device 99 to the image of the camera A under a predetermined situation such as a scene where there is no movement of a person or a ball.
- the display device 99 is composed of, for example, a liquid crystal display (Liquid Crystal Display), and displays various images on the display unit.
- the image display system 400 may be configured by incorporating the allocation control device 10 into the selection unit 96 of the display control device 95.
- FIG. 8 partially shows the configuration of the image display system 400.
- the specific processing units B7 to B12 specify a type such as "person” or "ball”
- the specialized processing units C7 to C12 are classified into one type such as "person” or "ball”.
- Perform specialized processing That is, in the configuration of FIG. 8, the specific processing unit B and the specialized processing unit C execute the same processing as the selection processing unit 97. Therefore, since the load can be distributed to the specific processing unit B and the specialized processing unit C, the load per processing unit can be reduced.
- FIG. 6 shows an example in which the camera is directed to the inside of the field, but the present invention is not limited to this, and at least one of the plurality of cameras A and the plurality of actuators X may be directed to the audience seat or the bench.
- .. 6 to 8 illustrate an image display system 400 including six cameras A and six actuators X, but the present invention is not limited to this, and the number of cameras A and the number of actuators X can be arbitrarily changed.
- the actuator unit 90 may include an actuator X other than the movable camera.
- the allocation control system 100 has six cameras A
- the allocation control device 10 has six specific processing units B and six specialized processing units C
- the actuator unit 90 has nine actuators.
- An example having X is shown.
- Specialized processing units C1 and C2 correspond to the type "automobile”
- specialized processing units C3 and C4 correspond to the type "person”
- specialized processing department C5 corresponds to the type "bicycle”
- specialized processing department C6 corresponds to the type "bicycle”. It shall correspond to the "ball”.
- the actuators X1, X2, X7, X8, X9 are lightning display boards including a light source such as an LED
- the actuators X3 to X6 are notification means including a speaker.
- the camera A1 and the actuator X1 are provided in the vicinity of the traffic light 160A.
- the display plate X1a of the actuator X1 is arranged so as to be visible from an automobile approaching the traffic light 160A.
- the camera A2 and the actuator X2 are provided in the vicinity of the traffic light 160B.
- the display plate X2a of the actuator X2 is arranged so as to be visible from the automobile approaching the traffic light 160B.
- the traffic light 161A and the traffic light 161B are arranged at each end of the pedestrian crossing and face each other.
- the monitoring warning unit 150A includes a housing 151 for accommodating the camera A3, the camera A4, the actuator X3, and the actuator X4, a leg portion 152 for supporting the housing 151, and an actuator X7 provided on the upper portion of the housing 151. have.
- the actuator X7 has a display plate X7a and a display plate X7b.
- the monitoring / warning unit 150B supports a first housing 151a accommodating the camera A5 and the actuator X5, a second housing 151b accommodating the camera A6 and the actuator X6, and the first housing 151a and the second housing 151b. It has a leg portion 152 and. Further, the monitoring / warning unit 150B has actuators X8 and X9 provided above the first housing 151a and the second housing 151b.
- the actuator X8 has a display plate X8a
- the actuator X9 has a display plate X9a.
- the specialized processing units C1 and C2 acquire the imaging data from the allocation unit 30, they determine the attribute in the type “automobile” of the imaging data. Attributes in the type “automobile” include “speed caution”, “inattentive driving”, “distracted driving”, “meandering driving”, and “no light at night”. For example, when the specialized processing unit C1 determines that the attribute of the data captured by the camera A1 is "no light at night", the specialized processing unit C1 sends a control signal instructing the display of a warning such as "Please turn on the light" to the actuator X1. Output. As a result, the actuator X1 causes the display board X1a to display a character or the like for calling attention.
- the control signal for instructing the voice output of the alert is also referred to as the alert signal.
- the specialized processing units C3 and C4 acquire the imaging data from the allocation unit 30, they determine the attributes of the imaging data type "person". Attributes of the type "person” include “children”, “people with canes”, “wheelchairs”, “running people”, “while smartphones”, “groups”, and “suspicious people”. For example, when the specialized processing unit C4 determines that the attribute of the image data captured by the camera A3 is "child”, the specialized processing unit C4 outputs a warning signal instructing the output of a voice such as "Be careful of the car” to the actuator X3. As a result, the actuator X3 outputs a voice calling attention.
- the specialized processing unit C5 acquires the imaging data from the allocation unit 30, it determines the attribute in the image data type "bicycle".
- the attributes of the type "bicycle” include “sidewalk”, “while smartphone”, “speed caution”, “meandering driving”, and “two-seater”.
- the attributes related to speed may be set stepwise, such as “high speed”, “medium speed”, and “low speed”.
- the specialized processing unit C5 which has determined that the attribute of the data captured by the camera A4 is "sidewalk", has a sound such as "Let's run on the bicycle running zone” or "Running on the sidewalk is prohibited”.
- a warning signal indicating output is output to the actuator X4.
- the actuator X4 outputs a voice for calling attention.
- the specialized processing unit C6 When the specialized processing unit C6 acquires the imaging data from the allocation unit 30, it determines the attribute in the imaging data type "ball".
- the attributes of the type "ball” are "bound”, which indicates the situation where a person is bouncing the ball by hand, “dribble”, which indicates the situation where a person is kicking the ball with the foot, and “dribble”, which indicates the situation where a person throws the ball by hand.
- There is a “throw” that indicates the situation.
- the specialized processing unit C6 determines that the attribute of the data captured by the camera A5 is "bound”
- the actuator sends a warning signal instructing the output of a voice such as "It is dangerous. Please hold it firmly with your hand.”
- the actuator X5 outputs a voice calling attention.
- each specialized processing unit C may output control signals to a plurality of actuators X.
- the main object included in the image data of the cameras A1 and A2 is usually an automobile. Therefore, when the type of data captured by the cameras A1 or A2 is specified as "person” or “ball”, special caution is required. Therefore, when the specialized processing unit C other than the type "automobile” inputs the imaging data by the cameras A1 or A2, it is preferable to reflect that in the processing of the actuator X.
- the specialized processing unit C3 may output a warning signal to the actuator X6 instructing the output of a voice such as "It is dangerous. Please return to the sidewalk.” When the image pickup data by the camera A2 is acquired.
- the specialized processing unit C3 may also output a control signal instructing the display of a warning such as "danger! To the actuator X9. Similar to the above, special processing may be set for the data captured by the other camera A according to the arrangement and the like.
- each specialized processing unit C acquires signal data indicating the status of each signal from the traffic signal controller 600 connected to the network N, and reflects the acquired signal data in the processing. You may let me. For example, when the traffic lights 161A and 161B are blue and the camera A2 captures a car heading for a pedestrian crossing at a tremendous speed, the specialized processing unit C1 or C2 instructs the output of a voice such as "Slow down!. It is advisable to output a warning signal to the actuator X2. However, the plurality of specialized processing units C may control the actuator unit 90 in cooperation with each other.
- a monitoring warning unit 150A or 150B including one or a plurality of cameras A and one or a plurality of actuators X is shown, but these are merely examples, and the arrangement, number, shape, etc. of the cameras A and the actuator X, etc. Is not limited to the example of FIG. The same applies to each of the other figures.
- the monitoring / warning unit 150A may be configured so that, for example, the actuator X7 can automatically or manually rotate around a straight line or the like along the leg portion 152.
- the monitoring / warning unit 150B may be configured so that, for example, the horizontal angle formed by the actuator X8 and the actuator X9 can be automatically or manually changed.
- the plurality of specific processing units B1 to Bn each input imaging data from the connected camera A (step S101).
- the plurality of specific processing units B1 to Bn each specify which of the plurality of types the input imaging data is (step S102).
- each of the plurality of specific processing units B1 to Bn outputs the imaging data related to the specification of the type to the allocation unit 30 together with the type data indicating the specified type (step S103).
- the allocation unit 30 allocates the imaging data to the specialized processing unit C based on the type data. That is, the allocation unit 30 outputs the imaging data output together with the type data to the specialized processing unit C corresponding to each of the type data output from each of the plurality of specific processing units B1 to Bn (step S104). ..
- the specialized processing unit C to which the imaging data is output from the allocation unit 30 determines which of the plurality of attributes of the type specified by the specific processing unit B of the output source is the imaging data (step S105). ). Then, the specialized processing unit C executes the processing according to the determined attribute. That is, for example, the specialized processing unit C selects one or a plurality of actuators X according to the determined attribute, and outputs a control signal to the selected one or a plurality of actuators X (step S106).
- a plurality of specific processing units B connected to the camera A specify the type of imaging data
- the allocation unit 30 is specified by the specific processing unit B.
- the imaging data is output to the specialized processing unit C corresponding to each type. Therefore, according to the allocation control device 10, the load can be distributed to the specific processing unit B and the specialized processing unit C, so that the load on each processing unit can be reduced and the imaging data can be smoothly utilized in various applications. be able to. That is, the allocation control device 10 can efficiently use the imaging data for the purpose according to the information contained in the imaging data.
- the specialized processing unit C determines which of the plurality of attributes the imaging data is, and executes processing according to the determined attributes.
- the specialized processing unit C may mainly perform image analysis on the imaged data for the specialized type. Therefore, by reducing the processing amount of the specialized processing unit C, it is possible to speed up the processing of the allocation control device 10 as a whole. That is, according to the allocation control device 10, a plurality of processes are distributed to each processing unit to reduce the load on each processing unit, thereby speeding up the entire processing, reducing the number of high-performance processing units, and reducing the cost. It can be reduced.
- the specialized processing unit C outputs a control signal according to the attribute of the imaging data based on the discrimination process to at least one of the plurality of actuators X to be controlled, and the actuator X operates according to the control signal. To execute. Therefore, according to the allocation control device 10, it is possible to realize a rapid operation of the actuator X according to the attribute of the imaging data.
- the plurality of specialized processing units C1 to Cm may include specialized processing units C corresponding to different types as described above. That is, the allocation control device 10 may include the specialized processing unit C corresponding to different types.
- the plurality of specialized processing units C1 to Cm may include two or more specialized processing units C corresponding to the same type. That is, in the allocation control device 10, some of the plurality of specialized processing units C1 to Cm may correspond to a common type. In this way, the allocation control device 10 uses a combination of specialized processing units C according to the installation environment of the camera A, such as relatively increasing the number of specialized processing units C corresponding to objects that frequently appear in the imaging data.
- the plurality of specialized processing units C1 to Cm may all correspond to different types. That is, in the allocation control device 10, all of the plurality of specialized processing units C1 to Cm may correspond to different types. Such a configuration is effective, for example, in a situation where the object included in the imaging data changes regularly or irregularly.
- the plurality of specialized processing units C1 to Cm may all correspond to the same type. That is, in the allocation control device 10, all of the plurality of specialized processing units C1 to Cm may correspond to the same type.
- the allocation control device 10 may have only the specialized processing unit C specializing in birds as a plurality of specialized processing units C.
- the allocation control device 10 may have only the specialized processing unit C specializing in terrestrial animals as a plurality of specialized processing units C. Good.
- the allocation control device 10 may have only the specialized processing unit C specializing in humans as a plurality of specialized processing units C. In this way, if only a plurality of specialized processing units C corresponding to the same type are included in the allocation control device 10 according to the installation environment of the camera A, there will be a specialized processing unit C that hardly functions. Since the situation can be avoided, waste can be eliminated and costs can be reduced.
- the allocation control system 100 of the first embodiment has an allocation control device 10 and a plurality of actuators X to be controlled by the allocation control device 10. Then, the specialized processing unit C outputs, for example, a control signal according to the discriminated attribute to at least one actuator X as a process according to the discriminating result of the imaging data. Therefore, according to the allocation control system 100, it is possible to realize a rapid operation of the actuator X according to the attribute of the imaging data.
- the allocation control system 100 has been described as including a plurality of cameras A1 to An.
- the allocation control system 100 is not limited to this, and the allocation control system 100 may be configured without a plurality of cameras A1 to An. Good. That is, the plurality of cameras A1 to An may have an external configuration of the allocation control system 100.
- the allocation control system 100 may include the update processing device 80, or may be configured without including the update processing device 80.
- the specialized processing unit C may have a function of determining the necessity of an operation command to the actuator X by analyzing the imaging data. That is, the specialized processing unit C may not output the control signal when it is determined that the operation command to the actuator X is unnecessary.
- the allocation control device 10 in the present modification 1-1 has a general update unit 50 that updates the analysis processing program 432 of each specialized processing unit C in cooperation with the update processing device 80. ing. Therefore, the update processing means 44c of each specialized processing unit C functions as a relay means between the general update unit 50 and the storage means 43b.
- the general update unit 50 and the update processing device 80 may perform wired communication, wireless communication, or a combination of wired and wireless communication.
- the allocation control device 10 of the present modification 1-1 further has a general renewal unit 50 connected to a plurality of specialized processing units C.
- the specialized processing unit C has an analysis processing program 432 related to attribute determination, and outputs imaging data and analysis information to the general update unit 50.
- the general update unit 50 transmits the imaging data and analysis information output from each of the plurality of specialized processing units C to the update processing device 80.
- the update processing device 80 updates each analysis processing program 432 of the plurality of specialized processing units C based on the imaging data and analysis information transmitted from the general updating unit 50, and the updated analysis processing program 432 is collectively updated. It is transmitted to the unit 50.
- the general update unit 50 delivers it to the specialized processing unit C corresponding to the attribute of the analysis processing program 432. That is, the update processing device 80 transmits the updated analysis processing program 432 to each specialized processing unit C via the general update unit 50. Therefore, when the specialized processing unit C acquires the updated analysis processing program 432 from the general updating unit 50, the analysis processing program 432 can update the analysis processing program 432 in the storage unit 43.
- each specialized processing unit C can be allocated to the general renewal unit 50, and the processing amount of each specialized processing unit C can be reduced. Therefore, the processing of the allocation control device 10 can be speeded up. Further, since the specifications of each specialized processing unit C can be lowered, the cost can be reduced.
- ⁇ Modification 1-2> In the above description, an example in which the allocation control system 100 has a plurality of cameras A is shown, but the allocation control system 100 of the present modification 1-2 has one camera A as shown in FIG. There is. That is, only one camera A is connected to the allocation control device 10 of the present modification 1-2.
- the allocation control device 10 has an allocation processing unit 20 connected to the camera A, and a plurality of specialized processing units C1 to Cm corresponding to any of a plurality of types.
- the plurality of specialized processing units C1 to Cm are connected to the allocation processing unit 20.
- the allocation processing unit 20 has a specific processing unit B connected to the camera A.
- the specific processing unit B identifies which of the plurality of types the imaging data input from the camera A is, and outputs the imaging data to the allocation unit 30 together with the type data indicating the specified type.
- the allocation unit 30 outputs the imaging data output together with the type data to the specialized processing unit C corresponding to the type data output from the specific processing unit B.
- the load can be distributed to the specific processing unit B and the specialized processing unit C also by the allocation control device 10 of the present modification 1-2, the load of each processing unit can be reduced and the imaging data can be captured. Can be used smoothly for various purposes. That is, according to the allocation control device 10, the use of the imaging data can be flexibly changed according to the information included in the imaging data, which changes from moment to moment.
- 14 and 15 exemplify a display device including a display processing unit 90a and a display unit 90b as the actuator X constituting the actuator unit 90.
- the imaging range of the camera A includes a standby area on the pedestrian crossing on the opposite side of the traffic light 161. The person H standing in the standby area can visually recognize the display unit 90b of the actuator X.
- the specific processing unit B identifies, as a type, the main age group of people included in the imaging data, that is, the age group to which the most people included in the imaging data belong. Therefore, the specific processing unit B specifies an age group such as 20's, 30's, 40's, 50's, 60's, 70's, 80's or more as a type. Therefore, each specialized processing unit C has a configuration corresponding to any one of a plurality of age groups.
- the age group is not limited to the 10-year-old unit as described above, and the age range may be narrowed or widened. Further, the age range may be set individually for each age group, and the age groups having different age ranges may be combined.
- the specialized processing unit C acquires the imaging data from the allocation unit 30 (step S111), it determines as an attribute whether or not the acquired imaging data includes a relatively large number of walking people (step S112). When it is determined that a relatively large number of walking people are included (step S112 / Yes), the specialized processing unit C causes the actuator X to display a music moving image corresponding to the specified age group (step S113). On the other hand, when the specialized processing unit C determines that a relatively large number of people waiting for a signal are included (step S112 / No), the actuator X displays a video advertisement corresponding to the specified age group (step S114). ..
- each specialized processing unit C has a condition that a relatively large number of walking people are included and a condition that the number of people included in the imaging data is equal to or more than the threshold value. Multiple attributes are set by the combination of.
- step S121 determines whether or not the number of people included in the imaging data is equal to or greater than a preset threshold value. Is determined (step S121). If the number of people is equal to or greater than the threshold value (step S121 / Yes), the specialized processing unit C causes the actuator X to display a music moving image having a relatively high importance (step S123). On the other hand, if the number of people is less than the threshold value (step S121 / No), the specialized processing unit C causes the actuator X to display a music moving image having a relatively low importance (step S124).
- the specialized processing unit C determines whether or not the number of people included in the imaging data is equal to or greater than a preset threshold value. Determine (step S122). If the number of people is equal to or greater than the threshold value (step S122 / Yes), the specialized processing unit C causes the actuator X to display a video advertisement having a relatively high importance (step S125). On the other hand, if the number of people is less than the threshold value (step S122 / No), the specialized processing unit C causes the actuator X to display a video advertisement having a relatively low importance (step S126).
- the threshold value in step S121 and the threshold value in step S122 may be the same value or different values. However, the threshold value regarding the number of people may be set more finely.
- the setting of the music video and the video advertisement corresponding to each condition is merely an example. That is, the allocation control device 10 may display various moving images or still images on the actuator X by setting according to the preference of the sponsor or the like.
- the specialized processing unit C may select a moving image or a still image with a classifier generated by learning such as deep learning, and display the selected moving image or a still image on the actuator X.
- the specific processing unit B may specify, as a type, whether or not a relatively large number of walking people are included in the imaging data.
- each specialized processing unit C corresponds to either the type "walking" or the type "waiting for a signal", and determines the age group as an attribute.
- the specialized processing unit C selects a moving image or a still image by referring to table information in which a plurality of age groups and a moving image to be displayed are associated with each other after determining an age group, and the selected moving image or the still image is used as an actuator. It may be displayed on X.
- the specialized processing unit C may select a moving image or a still image with a classifier generated by learning such as deep learning, and display the selected moving image or a still image on the actuator X.
- each specialized processing unit C may determine an attribute that combines the condition of the age group and the condition of whether or not the number of people included in the imaging data is equal to or greater than the threshold value.
- Embodiment 2 The configuration of the allocation control device and the allocation control system according to the second embodiment will be described with reference to FIG. The same reference numerals will be used for the components equivalent to those in the first embodiment described above, and the description thereof will be omitted.
- the allocation control system 200 includes a plurality of cameras A1 to An, an allocation control device 110, and an actuator unit 90.
- the allocation control device 110 has an allocation processing unit 20 including a plurality of specific processing units B1 to Bn and an allocation unit 30, and a plurality of specialized processing units C1 to Cm.
- the allocation control device 110 has an attribute allocation unit 70 connected to a plurality of specialized processing units C1 to Cm, and a plurality of attribute processing units D1 to Dk corresponding to any of the plurality of attributes. ..
- the plurality of attribute processing units D1 to Dk are connected to the attribute allocation unit 70.
- attribute processing unit D When a plurality of attribute processing units D1 to Dk are pointed out without distinction, they are referred to as "attribute processing unit D".
- the specialized processing unit C determines which of the plurality of attributes in the type specified by the specific processing unit B of the output source. Then, the specialized processing unit C of the first embodiment outputs the result of the determination, that is, the attribute data indicating the determined attribute to the attribute allocation unit 70.
- the attribute allocation unit 70 allocates the attribute data input from the plurality of specialized processing units C1 to Cm to any of the plurality of attribute processing units D1 to Dk. Have (options).
- the attribute allocation unit 70 outputs the attribute data output from each of the plurality of specialized processing units C to the attribute processing unit D corresponding to the attribute indicated by the attribute data.
- the attribute allocation unit 70 is composed of, for example, an FPGA.
- the attribute allocation program which is the logic program of the attribute allocation unit 70, can be appropriately changed according to the use case.
- the attribute processing unit D is associated with one attribute, that is, one attribute data, and when the attribute data is output from the attribute allocation unit 70, the processing corresponding to the attribute data is executed.
- the attribute processing unit D has a communication unit, a storage unit, and a control unit, although none of them is shown.
- the control unit is composed of, for example, a CPU or a GPU. Information indicating the processing associated with each attribute data is stored in the storage unit.
- the attribute processing unit D when the attribute data is output from the attribute allocation unit 70, the attribute processing unit D outputs a control signal indicating the processing associated with the attribute data in advance to the actuator X of the connection destination. ..
- the specialized processing unit C may output attribute data including additional information indicating the detailed control contents of the actuator X.
- the additional information is, for example, information indicating the volume, dialogue, etc. if the actuator X is a notification means, and information indicating brightness, emission color, etc. if the actuator X is a light emitting means.
- the attribute processing unit D generates a control signal based on the attribute data, and outputs the generated control signal to the transmission destination actuator X.
- the internal storage device of the attribute processing unit D may store table information in which each of the plurality of additional information is associated with the detailed control contents of the actuator X. In this case, the attribute processing unit D generates a control signal by comparing the additional information included in the attribute data with the table information.
- the specialized processing unit C may have a function of determining the necessity of an operation command to the actuator X by analyzing the imaging data. In this case, when the specialized processing unit C determines that the operation command to the actuator X is unnecessary, it is preferable not to output the attribute data. Alternatively, the specialized processing unit C may output attribute data including additional information indicating that the actuator X does not need to be controlled.
- the allocation control system 200 has four cameras A, the allocation control device 110 has four specific processing units B, five specialized processing units C, and k attribute processing units D, and an actuator unit.
- An example is shown in which 90 has k actuators X.
- the traffic signal controller 600 is connected to the network N so that each specialized processing unit C can acquire signal data indicating the status of the traffic signal (not shown) from the traffic signal controller 600. It has become.
- the specialized processing unit C1 and the specialized processing unit C2 correspond to the type "person”
- the specialized processing unit C3 corresponds to the type "bicycle”
- the specialized processing unit C4 corresponds to the type "ball”
- the specialized processing unit C4 corresponds to the type "ball”. It will be described as assuming that C5 corresponds to the type "automobile”. Further, it is assumed that the attribute processing unit Dk corresponds to the operation control via the network N, and the actuator Xk is arranged in the automobile passing through the monitoring area by the camera A and is a notification means for generating a sound or a voice. To do.
- the specialized processing units C1 and C2 acquire the imaging data from the allocation unit 30, they determine the attribute in the type "person" of the imaging data. For example, in a situation where the attribute processing unit D3 corresponds to the attribute "suspicious person” indicating a person with suspicious movement, the specialized processing unit C1 outputs the attribute data indicating the attribute "suspicious person” to the attribute allocation unit 70. It is assumed that the attribute allocation unit 70 outputs the attribute data to the attribute processing unit D3.
- the actuator X2 is a notification means capable of outputting audio
- the actuator X3 is an electric display board.
- the attribute processing unit D3 outputs a warning signal to the actuator X2 and outputs a control signal instructing the display of warning characters to the actuator X3.
- the specialized processing unit C3 acquires the imaging data from the allocation unit 30, it determines the attribute in the imaging data type "bicycle". For example, in a situation where the attribute processing unit D4 corresponds to the attribute "while smartphone", the specialized processing unit C3 outputs the attribute data indicating the attribute "bicycle” to the attribute allocation unit 70, and the attribute allocation unit 70 outputs the attribute data. Is output to the attribute processing unit D4.
- the actuator X1 is a notification means
- the attribute data indicating the attribute "while smartphone” is associated with a process of causing the actuator X1 to output a warning sound.
- the attribute processing unit D4 outputs a control signal instructing the output of the warning sound to the actuator X1.
- the specialized processing unit C4 When the specialized processing unit C4 acquires the imaging data from the allocation unit 30, it determines the attribute in the imaging data type "ball". For example, in a situation where the attribute processing unit D1 corresponds to the attribute "dribble", the specialized processing unit C4 outputs the attribute data indicating the attribute "dribble" to the attribute allocation unit 70, and the attribute allocation unit 70 outputs the attribute data. It is assumed that the data is output to the attribute processing unit D1.
- the actuator X3 is an electric light display board, and the attribute data indicating the attribute "dribble" is associated with a process of displaying a warning character on the actuator X3. In this case, the attribute processing unit D1 outputs a control signal instructing the display of the warning character to the actuator X3.
- the specialized processing unit C5 acquires the imaging data from the allocation unit 30, it determines the attribute in the type "automobile" of the imaging data. For example, in a situation where the attribute processing unit D2 corresponds to the attribute "serpentine operation", the specialized processing unit C4 outputs attribute data indicating the attribute "serpentine operation" to the attribute allocation unit 70, and the attribute allocation unit 70 corresponds to the attribute. It is assumed that the data is output to the attribute processing unit D2.
- the actuator X4 is an electric light display board attached around the traffic light
- the attribute data indicating the attribute "meandering operation” is associated with a process of displaying information recommending a break on the actuator X4. To do.
- the attribute processing unit D2 outputs a control signal instructing the display of information recommending a break to the actuator X4.
- the specialized processing unit C may acquire signal data from the traffic signal controller 600 and further subdivide the attributes based on the acquired signal data. For example, in a situation where a pedestrian tries to cross a pedestrian crossing when the traffic light on the pedestrian side is red, the specialized processing unit C sets the attribute of the imaging data to "danger". , The attribute discrimination process may be performed in cooperation with the traffic signal controller 600.
- a plurality of specialized processing units C may cooperate with each other to perform discrimination processing.
- the specialized processing unit C of the type "person” transmits current affairs information indicating that the attribute "child” has been determined to the specialized processing unit C of the type "bicycle”
- the specialized processing unit C of the type "bicycle” Cooperation such as using current affairs information to determine attributes can be considered.
- a specialized processing unit C of the type "traffic light” is provided in association with the camera A whose imaging range includes a traffic light, and the specialized processing unit C outputs current affairs information indicating the state of the traffic light to another specialized processing unit C. It may be.
- each specialized processing unit C can perform discrimination processing utilizing current affairs information from the specialized processing unit C of the type "traffic light". it can.
- the specialized processing unit C that determines that the pedestrian has jumped out onto the roadway may transmit the current affairs information to that effect to the specialized processing unit C of the type "automobile”. Then, the specialized processing unit C of the type "automobile” may output a control signal instructing the generation of sound or voice to the actuator Xk via the network through the attribute allocation unit 70 and the attribute processing unit Dk.
- the allocation processing unit 20 executes the processes of steps S101 to S104.
- the specialized processing unit C to which the imaging data is output from the allocation unit 30 determines which of the plurality of attributes in the type specified by the specific processing unit B of the output source. Step S105). Then, the specialized processing unit C outputs the attribute data indicating the determination result to the attribute allocation unit 70 (step S201).
- the attribute allocation unit 70 allocates the attribute data to any of a plurality of attribute processing units D1 to Dk. That is, the attribute allocation unit 70 outputs the attribute data to the attribute processing unit D corresponding to the attribute indicated by the attribute data output from each of the plurality of specialized processing units C (step S202).
- the attribute processing unit D executes processing according to the attribute data.
- the attribute processing unit D of the second embodiment generates a control signal corresponding to the attribute data as processing according to the attribute data, and outputs the generated control signal to at least one actuator X.
- the attribute processing unit D outputs, for example, a control signal instructing light emission to the actuator X, which is a light emitting means (step S203).
- the plurality of specific processing units B connected to the camera A specify the type of imaging data, and the allocation unit 30 is specified by the specific processing unit B.
- the imaging data is output to the specialized processing unit C corresponding to each type.
- the specialized processing unit C determines the attributes of the imaging data and outputs the attribute data indicating the determination result to the attribute allocation unit 70.
- the attribute allocation unit 70 outputs the attribute data to the attribute processing unit D corresponding to the attribute data, and the attribute processing unit D executes processing according to the attribute data.
- the load can be distributed to the specific processing unit B, the specialized processing unit C, and the attribute processing unit D, so that the load on each processing unit can be reduced and the imaging data can be used for various purposes. It can be used smoothly. That is, the specialized processing unit C of the second embodiment only needs to perform image analysis on the imaged data for the specialized type, and the instruction to the actuator X can be left to the attribute processing unit D. Then, by further reducing the processing amount of the specialized processing unit C and distributing the load, it is possible to speed up the processing of the allocation control device 10 as a whole.
- the attribute processing unit D outputs a control signal corresponding to the attribute data to at least one of a plurality of actuators X to be controlled, and the actuator X executes an operation according to the control signal. Therefore, according to the allocation control device 110, it is possible to realize a rapid operation of the actuator X according to the attribute of the imaging data.
- the allocation control system 200 of the second embodiment has an allocation control device 110 and a plurality of actuators X to be controlled by the allocation control device 110. Then, when the attribute data is output from the attribute allocation unit 70, the attribute processing unit D outputs a control signal corresponding to the attribute data to at least one actuator X, and the actuator X executes an operation according to the control signal. To do. Therefore, according to the allocation control system 200, it is possible to realize a rapid operation of the actuator X according to the attribute of the imaging data.
- the specialized processing unit C in the modified example 2-1 outputs the imaging data related to the discrimination to the attribute allocation unit 70 together with the attribute data indicating the result of the discrimination.
- the attribute allocation unit 70 in the present modification 2-1 allocates the imaging data to the attribute processing unit D corresponding to the attribute indicated by the attribute data. That is, the attribute allocation unit 70 outputs the imaging data output together with the attribute data to the attribute processing unit D corresponding to the attribute indicated by the attribute data output from each of the plurality of specialized processing units C.
- the attribute processing unit D of the present modification 2-1 has the same performance as the specialized processing unit C, and has the same functional configuration as the specialized processing unit C shown in FIG.
- the attribute processing unit D has a function of performing image analysis specialized for any one of a plurality of attributes in a specific type. That is, the attribute processing unit D is equipped with AI based on learning such as deep learning, and attributes are classified more finely by extracting the feature amount of the main object included in the imaging data.
- the attribute processing unit D analyzes the image pickup data and extracts the feature amount. Then, the attribute processing unit D generates a control signal according to the extracted feature amount, and outputs the generated control signal to at least one actuator X.
- the update processing device 80 of the present modification 2-1 stores the control program of each attribute processing unit D.
- the update processing device 80 updates the control program by learning based on the imaging data and the analysis result transmitted from the attribute processing unit D, and transmits the updated control program to the attribute processing unit D at a preset timing. As a result, each attribute processing unit D can update the control program.
- the attribute allocation unit 70 may output the attribute data together with the imaging data to the attribute processing unit D. Then, the attribute processing unit D may use the attribute data for the feature amount extraction process.
- the allocation control device 110 of the present modification 2-1 has the attribute processing unit D having an image analysis function. Therefore, since the attribute processing unit D can give a finer instruction to at least one actuator X according to the feature amount extracted from the imaging data, the actuator unit 90 can be made to perform a more significant operation. it can. Further, the update processing device 80 can utilize the analysis result of the specialized processing unit C and the analysis result of the attribute processing unit D for the update processing of the control programs of the specialized processing unit C and the attribute processing unit D, respectively. Therefore, it is possible to improve the update accuracy of the control program and to improve the efficiency of updating the control programs of the specialized processing unit C and the attribute processing unit D.
- the allocation control device 10 of the present modification 2-2 adopts a configuration in which each component is mounted on two substrates or a configuration in which two chips are used. More specifically, the allocation control device 110 has a first control device 110A having an allocation processing unit 20 and a plurality of specialized processing units C1 to Cm, an attribute allocation unit 70, and a plurality of attribute processing units D1 to Dk. It has a second control device 110B.
- the allocation control device 10 of the present modification 2-2 is composed of two parts, the first control device 110A and the second control device 110B. Therefore, the degree of freedom of arrangement is increased, and maintenance and management are facilitated, so that the convenience of the user is improved.
- the configuration of the modification 2-1 may be applied to the second control device 110B.
- Embodiment 3 A configuration example of the allocation control system according to the third embodiment of the present invention will be described with reference to FIG. 23.
- the allocation control system 300 according to the third embodiment may have a configuration having a plurality of allocation control devices 10 or a plurality of allocation control devices 110, or a configuration in which the allocation control device 10 and the allocation control device 110 are combined.
- FIG. 23 shows a configuration example in which the allocation control system 300 includes two allocation control devices 10, two allocation control devices 110, or an allocation control device 10 and an allocation control device 110.
- the allocation control device 10 and the allocation control device 110 are collectively referred to, the reference numerals are omitted and the term “allocation control device” is used.
- each specialized processing unit C is connected to the update processing device 80 via the network N.
- each attribute processing unit D is also connected to the update processing device 80 via the network N. That is, in the allocation control system 300, the imaging data output from the plurality of allocation control devices and the analysis results of each specialized processing unit C and the like can be aggregated in the update processing device 80.
- the update processing device 80 of the third embodiment analyzes the imaging data input from the plurality of allocation control devices, and reflects the analysis result in the update of the control program of the specialized processing unit C or the attribute processing unit D. it can. That is, the update processing device 80 updates each analysis processing program 432 of the plurality of specialized processing units C based on the imaging data and analysis information transmitted from the plurality of specialized processing units C of each allocation control device. To do. Then, the update processing device 80 transmits the updated analysis processing program 432 to each allocation control device. In the configuration of FIG. 21, the update processing device 80 has a plurality of attribute processing units D based on the imaging data and analysis result information transmitted from the plurality of attribute processing units D of each allocation control device. Update each analysis processing program of. Then, the update processing device 80 transmits the updated analysis processing program to each allocation control device.
- the allocation control system 300 has a larger amount of imaging data analyzed by the update processing device 80 than a configuration including only one allocation control device, so that the update accuracy of the control program by the update processing device 80 is improved. .. Therefore, the control program of the specialized processing unit C or the attribute processing unit D can be efficiently updated. Then, in the allocation control system 300, since the plurality of allocation control devices are connected to the update processing device 80 via the network N, for example, the imaging data and the imaging data from the plurality of allocation control devices whose installation locations are significantly different The analysis results and the like can also be collected in the update processing device 80 and utilized.
- FIG. 23 shows an example in which the allocation control system 300 includes the actuator unit 90, but the present invention is not limited to this, and the actuator unit 90 may be an external configuration of the allocation control system 300.
- the actuator unit 90 may be an external configuration of the allocation control system 300.
- Other configurations and alternative configurations are the same as those of the above-described embodiments 1 and 2, and other effects are also the same as those of the first and second embodiments.
- the actuator unit 90 includes, for example, one or a plurality of actuators X specializing in sound output, one or a plurality of actuators X specializing in sound output, one or a plurality of actuators X specializing in ultrasonic wave output, and the like. May have separately.
- the actuator unit 90 may separately have one or a plurality of actuators X including a light source such as an LED, one or a plurality of actuators X including a strobe, and the like.
- FIGS. 4 and 5 a drone equipped with six motors M and six propellers P is illustrated as the flying object 500, but the present invention is not limited to this.
- the aircraft body 500 may be a drone equipped with five or less or seven or more motors M and propellers P.
- the number and arrangement of each actuator X, the connection relationship between each specialized processing unit C and each actuator X, and the like are not limited to the configurations of FIGS. 4 and 5, and can be appropriately changed.
- the flying object 500 may be an airplane, a helicopter, an airship, a balloon, or the like.
- the attribute processing unit D and the actuator X are associated with each other on a one-to-one basis, but the present invention is not limited to this, and the attribute processing unit D controls the plurality of actuators X. It may be configured to output a signal. By doing so, it is possible to increase the variation of the output of the actuator unit 90 according to the attribute of the imaging data, such as performing the sound or voice notification and the light emission in combination.
- the update processing device 80 acquires type data from each specialized processing unit C, and depending on the appearance frequency of the type, the control program of the specialized processing unit C of the type having a low allocation frequency is used as the control program of the type having a high allocation frequency. It may be rewritten as. In this way, for example, when the camera A connected to the allocation control device is arranged in a place where there are many birds, the specialized processing unit C of the type “bird” can be increased ex post facto. Further, even when the object included in the imaging data changes depending on the day of the week, the time zone, or the like, an appropriate combination of the plurality of specialized processing units C can be realized in a timely manner.
- one or a plurality of cameras A are exemplified as devices for outputting data to the allocation control device, but the present invention is not limited to this, and the allocation control device includes various sensing devices as data output source devices.
- the device may be connected.
- the allocation control device may be configured to include one or a plurality of control units that perform arithmetic processing and the like using the sensing data output from the sensing device.
- the control unit includes, for example, a CPU or a GPU. That is, the allocation control device controls the operation of one or a plurality of actuators X by using the imaging data and the sensing data.
- the allocation control device may be configured to control the operation of one or a plurality of actuators X in cooperation with an external device to which various sensing devices are connected.
- the external device performs arithmetic processing and the like using sensing data output from various sensing devices.
- the allocation control device can also be applied to, for example, an automatic driving system of an automobile.
- the plurality of cameras A are arranged so as to image the inside or the outside of the automobile, respectively. Therefore, the plurality of cameras A output image pickup data including information such as traffic signs, traffic lights, white lines on the road surface, vehicles in front or behind, oncoming vehicles, motorcycles, bicycles, pedestrians, etc. to the allocation control device.
- the allocation control device controls the operation of various actuators X constituting the automobile based on the imaging data output from each of the plurality of cameras A.
- the allocation control device is connected to a sensing device such as a millimeter-wave radar or LiDAR (Light Detection And Ringing) as a data output source device, and performs arithmetic processing using the sensing data from these sensing devices. You may.
- the allocation control device controls the operation of various actuators X constituting the automobile by using the imaging data and the sensing data. Further, the allocation control device may control the operation of various actuators X constituting the automobile in cooperation with an external device to which a sensing device such as a millimeter wave radar or LiDAR is connected.
- the allocation control device may have a configuration capable of processing using GPS (Global Positioning System), and operates various actuators X constituting the automobile in cooperation with an external device that performs processing using GPS. You may control it.
- GPS Global Positioning System
- the plurality of specific processing units B constituting the allocation control device may be formed by one chip as, for example, a SoC. Further, the allocation control device may form the allocation processing unit 20 with one chip, or may form a plurality of specialized processing units C with one chip. Further, the allocation control device may be formed entirely by one chip. Regarding the configuration examples of FIGS. 18, 19, 21, and 22, the allocation control device may form a plurality of attribute processing units D with one chip, and the attribute allocation unit 70 and the plurality of attribute processing units. It may be formed with one chip in combination with D.
- the control unit of the specific processing unit B may be formed as a SoC including a CPU, a GPU, or the like. Further, the specific processing unit B may be mounted inside the camera A.
- the names of the types and attributes are illustrated in parentheses, but these are for convenience of explanation and do not limit each name.
- the alert line can also be changed as appropriate.
- 110 allocation control device 20 allocation processing unit, 30 allocation unit, 41 first communication unit, 42 second communication unit, 43 storage unit, 43a memory means, 43b storage means, 431 learning program, 432 analysis processing program, 433 Update program, 44 control unit, 44a learning processing means, 44b analysis processing means, 44c update processing means, 50 general update unit, 70 attribute allocation unit, 80 update processing device, 90 actuator unit, 90a display processing unit, 90b display unit, 95 display control device, 96 selection unit, 97 selection processing unit, 98 display processing unit, 99 display device, 100, 200, 300 allocation control system, 110A first control device, 110B second control device, 150A, 150B monitoring warning unit , 151 chassis, 151a first chassis, 151b second chassis, 152 legs, 160A, 160B, 161, 161A, 161B signal, 400 image display system, 500 flying object, 510 main body, 600 traffic signal controller, A, A1-An camera, B, B1-Bn specific processing unit, C, C1-Cm specialized processing unit, D, D,
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
複数のカメラに接続された割当処理部と、割当処理部に接続され、予め設定された複数の種別のうちの何れかに対応する複数の専門処理部と、を有する割当制御装置。割当処理部は、複数のカメラのそれぞれに1対1で接続されており、接続先のカメラから入力した撮像データが複数の種別のうちのどれであるかを特定し、特定した種別を示す種別データと共に当該撮像データを出力する複数の特定処理部を有する。また、割当処理部は、複数の特定処理部の各々から出力される種別データが示す種別に対応する専門処理部に、当該種別データと共に出力された撮像データを出力する割当部を有する。
Description
本発明は、割当制御装置、割当制御システム、及び割当制御方法に関する。
従来から、カメラによる撮像データを監視等に利用するシステムが知られている(例えば、特許文献1及び2参照)。特許文献1のセキュリティシステムは、移動物体の位置変化に応じて動作させるカメラを切り替え、1つのカメラによる撮像データをモニタへの表示に利用する。特許文献2の監視カメラシステムは、複数のカメラの各々による撮像データから連続した1枚のパノラマ画像を生成し、モニタに表示する。もっとも、カメラによる撮像データは、カメラの設置環境の他、時間帯及び時季などに応じた様々な情報を含んでおり、多様な用途での表示の他、表示以外の種々の用途にも使用することができる。
しかしながら、撮像データが内包する情報に応じてその用途を変更するとなると、プロセッサなどの処理部の負荷が非常に大きくなる。また昨今は、カメラによる撮像データの大容量化も含め、通信されるデータの量は増加の一途を辿っており、これに伴って処理部の負荷も増大している。そして今後、5G(第5世代移動通信システム)が普及すると、これまで以上に大量のデータの通信が行われるようになるため、処理部の処理負担は格段に大きくなる。すなわち、仮に従来の構成により、内包する情報に応じた撮像データの用途の切り替えを実現しようとすれば、処理部の負荷が増大するため、円滑に処理を進めることができない、という課題がある。さらに、6G(第6世代移動通信システム)、7G(第7世代移動通信システム)と、次世代移動通信システムが順次実現されていくと、これまでの構成で各種の処理を行うことが困難になると予想される。
本発明は、上述のような課題を解決するためになされたもので、処理部の負荷軽減を図り、撮像データを多様な用途で円滑に活用する割当制御装置及び割当制御システムを提供することを目的とする。
本発明の一態様に係る割当制御装置は、複数のカメラに接続された割当処理部と、割当処理部に接続され、予め設定された複数の種別のうちの何れかに対応する複数の専門処理部と、を有し、割当処理部は、複数のカメラのそれぞれに1対1で接続されており、接続先のカメラから入力した撮像データが複数の種別のうちのどれであるかを特定し、特定した種別を示す種別データと共に当該撮像データを出力する複数の特定処理部と、複数の特定処理部の各々から出力される種別データが示す種別に対応する専門処理部に、当該種別データと共に出力された撮像データを出力する割当部と、を有するものである。
また、本発明の一態様に係る割当制御装置は、カメラに接続された割当処理部と、割当処理部に接続され、予め設定された複数の種別のうちの何れかに対応する複数の専門処理部と、複数の専門処理部に接続された属性割当部と、属性割当部に接続されており、複数の属性のうちの何れかに対応する複数の属性処理部と、を有し、割当処理部は、カメラに接続されており、カメラから入力した撮像データが複数の種別のうちのどれであるかを特定し、特定した種別を示す種別データと共に当該撮像データを出力する特定処理部と、特定処理部から出力される種別データが示す種別に対応する専門処理部に、当該種別データと共に出力された撮像データを出力する割当部と、を有し、専門処理部は、割当部から撮像データが出力されたとき、当該撮像データが、出力元の特定処理部において特定された種別における複数の属性のうちのどれであるかを判別し、判別の結果を示す属性データを属性割当部に出力するものであり、属性割当部は、複数の専門処理部の各々から出力される属性データを、当該属性データが示す属性に対応する属性処理部へ出力するものであり、属性処理部は、属性割当部から属性データが出力されたとき、当該属性データに応じた処理を実行するものである。
本発明の一態様に係る割当制御システムは、上記の割当制御装置と、更新処理装置と、を有し、専門処理部は、属性の判別に関する解析処理プログラムを有すると共に、撮像データと属性の判別の結果を含む解析情報とを更新処理装置へ送信するものであり、更新処理装置は、複数の専門処理部から送信される撮像データ及び解析情報をもとに、複数の専門処理部のそれぞれの解析処理プログラムを更新し、更新した解析処理プログラムを各専門処理部へ送信するものである。
さらに、本発明の一態様に係る割当制御装置は、カメラに接続された割当処理部と、割当処理部に接続され、予め設定された複数の種別のうちの何れかに対応する複数の専門処理部と、を有し、割当処理部は、カメラに接続されており、カメラから入力した撮像データに含まれる主たる物体の種類を種別として特定し、特定した種別を示す種別データと共に当該撮像データを出力する特定処理部と、特定処理部から出力される種別データが示す種別に対応する専門処理部に、当該種別データと共に出力された撮像データを出力する割当部と、を有するものである。
また、本発明の一態様に係る割当制御装置は、カメラに接続された割当処理部と、割当処理部に接続され、予め設定された複数の種別のうちの何れかに対応する複数の専門処理部と、を有し、割当処理部は、カメラに接続されており、カメラから入力した撮像データに含まれる人の主たる年齢層を種別として特定し、特定した種別を示す種別データと共に当該撮像データを出力する特定処理部と、特定処理部から出力される種別データが示す種別に対応する専門処理部に、当該種別データと共に出力された撮像データを出力する割当部と、を有するものである。
加えて、本発明の一態様に係る割当制御装置は、前記の割当制御装置であって、専門処理部は、割当部から撮像データが出力されたとき、当該撮像データが、出力元の特定処理部において特定された種別における複数の属性のうちのどれであるかを判別し、判別した属性に応じた処理を実行するものである。
本発明の一態様に係る割当制御システムは、前記の割当制御装置と、表示装置と、を有し、専門処理部は、判別した属性に応じた動画又は静止画を表示装置に表示させるものである。
本発明の一態様に係る割当制御システムは、前記の割当制御装置と、表示装置と、を有し、専門処理部は、判別した属性に応じた動画又は静止画を表示装置に表示させるものである。
本発明の一態様に係る割当制御方法は、複数のカメラに1対1で接続された複数の特定処理部が、それぞれ、カメラから入力した撮像データが予め設定された複数の種別のうちのどれであるかを特定し、特定した種別を示す種別データと共に当該撮像データを出力し、複数の種別のうちの何れかに対応する複数の専門処理部に接続された割当部が、複数の特定処理部の各々から出力される種別データが示す種別に対応する専門処理部に、当該種別データと共に出力された撮像データを出力するようになっている。
また、本発明の一態様に係る割当制御方法は、カメラに接続された特定処理部が、カメラから入力した撮像データに含まれる主たる物体の種類を、当該撮像データの種別として特定し、特定した種別を示す種別データと共に当該撮像データを出力し、複数の種別のうちの何れかに対応する複数の専門処理部に接続された割当部が、複数の専門処理部の各々から出力される種別データが示す種別に対応する専門処理部に、当該種別データと共に出力された撮像データを出力するものである。
本発明によれば、カメラに接続された複数の特定処理部が撮像データの種別を特定し、割当部が種別に対応する専門処理部に撮像データを出力することから、特定処理部と専門処理部とに負荷を分散することができる。よって、各処理部の負荷軽減を図り、撮像データを多様な用途で円滑に活用することができる。
実施の形態1.
図1を参照して、実施の形態1の割当制御装置及び割当制御システムの構成について説明する。割当制御システム100は、複数のカメラA1~An(nは2以上の自然数)と、割当制御装置10と、アクチュエータ部90と、を有している。アクチュエータ部90は、割当制御装置10による制御対象となる複数のアクチュエータX1~Xk(kは2以上の自然数)により構成されている。複数のカメラA1~Anを区別せずに指す場合は「カメラA」という。複数のアクチュエータX1~Xkを区別せずに指す場合は「アクチュエータX」という。
図1を参照して、実施の形態1の割当制御装置及び割当制御システムの構成について説明する。割当制御システム100は、複数のカメラA1~An(nは2以上の自然数)と、割当制御装置10と、アクチュエータ部90と、を有している。アクチュエータ部90は、割当制御装置10による制御対象となる複数のアクチュエータX1~Xk(kは2以上の自然数)により構成されている。複数のカメラA1~Anを区別せずに指す場合は「カメラA」という。複数のアクチュエータX1~Xkを区別せずに指す場合は「アクチュエータX」という。
カメラAは、CCD(Charge Coupled Devices)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有し、動画又は静止画などを撮像するものである。カメラAは、撮像した動画又は静止画を撮像データとして割当制御装置10へ出力する。本実施の形態1のカメラAは、自身を示す識別情報を割当制御装置10へ出力するようになっている。
アクチュエータXは、割当制御装置10から出力される電気信号をもとに動作する機器である。アクチュエータXとしては、例えば、LED(light emitting diode)などの光源を含む発光手段、スピーカを含む報知手段、又はモータなどの駆動手段が想定される。
割当制御装置10は、複数のカメラA1~Anに接続された割当処理部20と、予め設定された複数の種別のうちの何れかに対応する複数の専門処理部C1~Cm(mは2以上の自然数)と、を有している。複数の専門処理部C1~Cmは、割当処理部20に接続されている。複数の専門処理部C1~Cmを区別せずに指す場合は「専門処理部C」という。
割当処理部20は、複数のカメラA1~Anのそれぞれに1対1で接続された複数の特定処理部B1~Bnを有している。複数の特定処理部B1~Bnは、それぞれ、接続先のカメラAから入力した撮像データが複数の種別のうちのどれであるかを特定し、特定した種別を示す種別データを生成する。そして、複数の特定処理部B1~Bnは、それぞれ、種別データと共に、種別の特定に係る撮像データを割当処理部20へ出力する。複数の特定処理部B1~Bnを区別せずに指す場合は「特定処理部B」という。
特定処理部Bは、ディープラーニング等の学習に基づくAI(人工知能)を搭載しており、撮像データに含まれる主たる物体が何であるかを推測することにより、撮像データの種別を特定する。特定処理部Bは、後述する専門処理部Cと同様、何れも図示しないが、通信部と記憶部と制御部とを有している。該制御部は、例えばCPU(Central Processing Unit)又はGPU(Graphics Processing Unit)により構成される。特定処理部Bは、専門処理部Cよりも処理量が少ないため、専門処理部Cよりも性能の低い部材により構成することができる。
また、割当処理部20は、複数の特定処理部B1~Bnの各々から出力される種別データが示す種別に対応する専門処理部Cに、当該種別データと共に出力された撮像データを出力する割当部30を有している。割当部30は、図1に破線で示すように、1つの特定処理部Bから入力したデータを複数の専門処理部C1~Cmのうちの何れかに割り当てるm通りのルート(選択肢)を有している。すなわち、割当部30は、複数の特定処理部B1~Bnから入力したデータを複数の専門処理部C1~Cmのうちの何れかに割り当てるn×m通りのルート(選択肢)を有している。割当部30は、FPGA(field-programmable gate array)などのプログラム可能なロジックデバイスにより構成される。割当部30のロジックプログラムである割当プログラムは、ユースケースに合わせて適宜変更することができる。
ここで、種別とは、撮像データに含まれる主たる物体の種類のことであり、主たる物体には、電線又は電柱などの不動物体と、動物、乗り物、又は飛行体などの移動物体とが含まれる。例えば、「人」「犬」という次元で種別を設定してもよい。また、例えば人につき「年齢層」「動作状態」などのような概念で種別を設定してもよい。さらに、各種別には、それぞれ、種別を更に細分化した複数の属性が予め設定されている。例えば、鳥という種別に対しては、ハト・カラス・コウモリなどの属性が設定される。
専門処理部Cは、複数の種別のうちの何れかに特化した画像解析を行うものである。より具体的に、専門処理部Cは、ディープラーニング等の学習に基づくAIを搭載しており、撮像データに含まれる主たる物体が、自身が専門とする種別におけるどの属性であるかを推測する。
すなわち、専門処理部Cは、割当部30から撮像データが出力されたとき、当該撮像データが、出力元の特定処理部Bにおいて特定された種別における複数の属性のうちのどれであるかを判別する。そして、専門処理部Cは、判別の結果に応じた処理、つまり判別した属性に応じた処理を実行する。専門処理部Cが属性に応じて行う処理の内容は、専門処理部Cの動作プログラムなどにおいて、属性に関連づけて予め設定されており、適宜変更することができる。専門処理部Cは、例えば、判別した属性に応じた制御信号を1又は複数のアクチュエータXへ出力する。
ここで、図2を参照し、専門処理部Cの具体的な構成例について説明する。図2に示すように、専門処理部Cは、第1通信部41と、第2通信部42と、記憶部43と、制御部44と、を有している。第1通信部41は、割当部30から出力されるデータを入力して制御部44に受け渡す入力インタフェースである。第2通信部42は、制御部44が、アクチュエータ部90、ネットワークNに接続された機器、又は無線により接続される機器との通信を行うためのインタフェースである。
記憶部43は、メモリ手段43aと、ストレージ手段43bと、を有している。メモリ手段43aは、例えばRAM(Random Access Memory)により構成され、データを一時記憶する揮発性の記憶装置である。ストレージ手段43bは、フラッシュメモリ、eMMC(embedded Multi Media Card)、又はSSD(Solid State Drive)などにより構成される。図2の例では、専門処理部Cの動作プログラムとして、学習プログラム431と、解析処理プログラム432と、更新プログラム433と、を例示している。解析処理プログラム432は、属性の判別に関する処理を実行するためのプログラムである。
制御部44は、学習処理手段44aと、解析処理手段44bと、更新処理手段44cと、を有している。換言すれば、制御部44は、学習プログラム431を読み込むことで学習処理手段44aとして機能し、解析処理プログラム432を読み込むことで解析処理手段44bとして機能し、更新プログラム433を読み込むことで更新処理手段44cとして機能する。制御部44は、例えばCPU又はGPUなどを含むSoC(System-on-a-chip)により構成される。
学習処理手段44aは、学習用データを用いたディープラーニング等の学習により解析処理プログラム432を生成する。解析処理手段44bは、割当部30から出力される撮像データが、特定処理部Bにおいて特定された種別における複数の属性のうちのどれであるかを判別し、判別した属性に応じた処理を実行する。解析処理手段44bは、割当部30から入力した撮像データと、判別の結果を含む解析情報とを、第2通信部42を介して更新処理装置80へ出力する。本実施の形態1において、解析処理手段44bは、割当部30から入力した撮像データ及び解析情報をストレージ手段43bに蓄積するようになっている。
更新処理手段44cは、ストレージ手段43bに蓄積された撮像データ及び解析情報に基づく学習により、解析処理プログラム432の更新を実行する。また、更新処理手段44cは、更新処理装置80から送信される更新用の解析処理プログラム432により、ストレージ手段43b内の解析処理プログラム432を更新する。もっとも、更新処理手段44cは、自身の学習に基づく解析処理プログラム432の更新処理、及び更新処理装置80との連携による解析処理プログラム432の更新処理のうちの何れかを行うものであってもよい。
本実施の形態1において、複数の専門処理部C1~Cmは、インターネットなどのネットワークNを介して更新処理装置80に接続されている。更新処理装置80は、例えば、クラウドコンピューティングに基づくクラウドサーバである。複数の専門処理部C1~Cmは、それぞれ、割当部30から入力した撮像データ及び解析情報を更新処理装置80へ送信するようになっている。
更新処理装置80は、各専門処理部Cの解析処理プログラム432を格納している。更新処理装置80は、専門処理部Cから送信される撮像データ及び解析情報に基づく学習により解析処理プログラム432を更新する機能を有している。更新処理装置80は、予め決められた時間ごと、又はデータの蓄積量が一定量に達したときなどに、解析処理プログラム432の更新を実行する。そして、更新処理装置80は、更新した解析処理プログラム432を、予め設定されたタイミングで専門処理部Cへ送信する。これにより、各専門処理部Cは、解析処理プログラム432のアップデートを行うことができる。もっとも、更新処理装置80は、クラウドサーバに限らず、Webサーバ等の物理サーバであってもよい。また、更新処理装置80は、デスクトップPC(Personal Computer)、ノートPC、又はタブレットPCなどであってもよい。専門処理部Cと更新処理装置80とは、有線による通信を行ってもよく、無線による通信を行ってもよく、有線と無線との組み合わせにより通信を行ってもよい。
すなわち、更新処理装置80は、複数の専門処理部Cから送信される撮像データ及び解析情報をもとに、複数の専門処理部Cのそれぞれの解析処理プログラム432を更新する。そして、更新処理装置80は、更新した解析処理プログラム432を各専門処理部Cへ送信する。よって、専門処理部Cは、更新処理装置80から更新された解析処理プログラム432が送信されたとき、当該解析処理プログラム432により記憶部43内の解析処理プログラム432をアップデートすることができる。
次に、図3を参照して、割当制御システム100の適用例について説明する。ここでは、割当制御システム100を田んぼ又は畑の監視及び管理に取り入れた例を説明する。図3では、割当制御システム100が4つのカメラAを有し、割当制御装置10が4つの特定処理部Bと5つの専門処理部Cとを有し、アクチュエータ部90が5つのアクチュエータXを有する例を示している。
そして、専門処理部C1及び専門処理部C2は種別「鳥」に対応し、専門処理部C3及び専門処理部C4は種別「陸生動物」に対応し、専門処理部C5は種別「人」に対応するものとする。また、アクチュエータX1は光を発する発光手段であり、アクチュエータX2及びX3は動物が嫌がる音を発生させる報知手段であり、アクチュエータX4は超音波を発生させる音波発生手段であるものとする。アクチュエータX5は警告のための音又は音声を発生させる報知手段であるものとする。
図3には、特定処理部B1がカメラA1からの撮像データの種別を「陸生動物」とし、特定処理部B2がカメラA2からの撮像データの種別を「鳥」とし、特定処理部B3がカメラA3からの撮像データの種別を「鳥」とし、特定処理部B4がカメラA4からの撮像データの種別を「人」とした例を示している。
かかる例の場合、専門処理部C1は、割当部30から入力した撮像データの種別「鳥」における属性を判別する。一例として、専門処理部C1は、撮像データの属性が「ハト」であると判別した場合、アクチュエータX1に発光を指示する制御信号を出力する。専門処理部C1は、撮像データの属性が「カラス」であると判別した場合、アクチュエータX2及びX3のうちの少なくとも一方に警告音の発生を指示する制御信号を出力する。その際、専門処理部C1は、例えば、カメラA2の識別情報からその位置を把握し、アクチュエータX2及びX3のうちでカメラA2に近い方に制御信号を出力してもよい。
専門処理部C3は、割当部30から入力した撮像データの種別「陸生動物」における属性を判別する。一例として、専門処理部C3は、撮像データの属性が「狸」であると判別した場合、アクチュエータX2又はX3に狼などの鳴き声の報知を指示する制御信号を出力する。同様に、専門処理部C3は、撮像データの属性が「ハクビシン」であると判別した場合、超音波の発生を指示する制御信号をアクチュエータX4へ出力する。
専門処理部C5は、割当部30から入力した撮像データの種別「人」における属性を判別する。一例として、専門処理部C3は、撮像データの属性が「不審者」であると判別した場合、警告用の音又は音声の出力を指示する制御信号をアクチュエータX5へ出力する。専門処理部C2及びC4が行う処理も上記同様である。
もっとも、上記の専門処理部Cによる処理は一例であり、最適な例を示している訳ではない。また、アクチュエータ部90は、特定の臭いを発生させる臭気発生手段、対象物に風を当てる送風手段など、上記以外のアクチュエータXを有していてもよい。すなわち、専門処理部Cによる処理及びアクチュエータXは、適宜変更することができる。加えて、専門処理部Cは、アクチュエータX1とアクチュエータX2との双方に制御信号を出力するなど、複数のアクチュエータXに制御信号を出力することで、同時に複数のアクチュエータXを動作させてもよい。
さらに、割当制御システム100は、更新処理装置80に、アクチュエータXの動作に対する移動物体の反応などを、撮像データ又は各専門処理部Cの解析情報から学習させてもよい。そして、割当制御システム100は、最適な撃退法を専門処理部Cが適宜選択するように、更新処理装置80を用いて専門処理部Cの解析処理プログラム432をアプロードしてもよい。
続いて、図4及び図5を参照して、割当制御システム100を飛行体に適用した例について説明する。図4及び図5では、飛行体500として、本体510に6つのプロペラPを搭載したドローンを例示している。そして、割当制御システム100が4つのカメラAを有し、割当制御装置10が4つの特定処理部Bと3つの専門処理部Cを有し、アクチュエータ部90が9つのアクチュエータXを有する例を示している。
専門処理部C1は種別「鳥」に対応し、専門処理部C2は種別「人」に対応し、専門処理部C3は種別「障害物」に対応するものとする。アクチュエータXa1~Xa4は光を発する発光手段であり、アクチュエータXb1~Xb4は音又は音声を発生させる報知手段であり、アクチュエータX5はモータMの動作を制御する駆動手段であるものとする。ここでは、便宜上、アクチュエータXb1~Xb4が超音波を発生させる機能を有するものとする。なお、図5では、電源装置及び各種センサなどは省略している。
図5の例において、専門処理部C1は、アクチュエータXa1~Xa4、アクチュエータXb1~Xb4、及びアクチュエータX5に接続されている。専門処理部C2は、アクチュエータXb1~Xb4及びアクチュエータX5に接続されている。専門処理部C3は、アクチュエータX5に接続されている。
仮に、特定処理部B1が、カメラA1からの撮像データの種別を「鳥」とし、種別「鳥」を示す種別データを割当部30へ出力したとする。すると、割当部30は、特定処理部B1からの種別データをもとに、当該撮像データを専門処理部C1へ出力する。専門処理部C1は、撮像データの属性がハト・カラス・コウモリなどのどれであるかを判別する。例えば、専門処理部C1は、撮像データの属性が「コウモリ」であると判別した場合、カメラA1の識別情報から、カメラA1に最も近い報知手段であるアクチュエータXb1を選定し、選定したアクチュエータXb1に超音波の発生を指示する制御信号を出力する。
特定処理部B2が、カメラA2からの撮像データの種別を「障害物」とし、種別「障害物」を示す種別データを割当部30へ出力したとする。すると、割当部30は、特定処理部B2からの種別データをもとに、当該撮像データを専門処理部C3へ出力する。専門処理部C3は、撮像データの属性が電線・電柱などのどれであるかを判別する。そして、専門処理部C3は、例えば、撮像データを解析して障害物からの距離を求めると共に、求めた距離と飛行体500の速度などに基づき、必要に応じて、障害物を回避するための制御信号をアクチュエータX5へ出力する。これにより、飛行体500が障害物に衝突するといった事態を回避することができる。
特定処理部B3が、カメラA3からの撮像データの種別を「人」とし、種別「人」を示す種別データを割当部30へ出力したとする。すると、割当部30は、特定処理部B3からの種別データをもとに、当該撮像データを専門処理部C2へ出力する。専門処理部C2は、撮像データの属性が「サッカー」「野球」「凧あげ」などのどれであるかを判別する。そして、専門処理部C2は、例えば、撮像データに含まれるボールなどの動きを解析すると共に、カメラA3の識別情報から、カメラA3に最も近い報知手段であるアクチュエータXb3を選定する。次いで、専門処理部C2は、必要に応じて、選定したアクチュエータXb3に、注意喚起の音声などの出力を指示する制御信号を出力する。
特定処理部B4が、カメラA3からの撮像データの種別を「鳥」とし、種別「鳥」を示す種別データを割当部30へ出力したとする。すると、割当部30は、特定処理部B4からの種別データをもとに、当該撮像データを専門処理部C1へ出力し、専門処理部C1は、撮像データの属性が何であるかを判別する。例えば、専門処理部C1は、撮像データの属性が「ハト」であると判別した場合、カメラA4の識別情報から、カメラA4に最も近い報知手段であるアクチュエータXb4を選定し、選定したアクチュエータXb4に発光を指示する制御信号を出力する。
次に、図6及び図7を参照して、割当制御システム100を競技場などの施設に適用した例について説明する。図6及び図7では、割当制御システム100が6つのカメラAを有し、割当制御装置10が6つの特定処理部Bと6つの専門処理部Cとを有し、アクチュエータ部90が6つのアクチュエータXを有する例を示している。複数のカメラA1~A6は定点カメラであり、複数のアクチュエータX1~X6は、それぞれ、動画又は静止画などを撮像して撮像データを生成する、可動式のカメラであるものとする。
専門処理部C1~C3は種別「ボール」に対応し、専門処理部C4~C6は種別「人」に対応するものとする。各専門処理部Cは、撮像データの解析結果をもとに、1又は複数のアクチュエータXの動作を制御する。専門処理部C1~C3は、撮像データを解析することにより、ボールの位置及び動き等を属性として判別する。すなわち、専門処理部C1~C3は、撮像データに含まれるボールの位置及び動き等をもとに、制御対象とする1又は複数のアクチュエータXを選定する。そして、専門処理部C1~C3は、例えば、ボールの動きに追従する動作を指示する制御信号を生成し、選定した1又は複数のアクチュエータXへ出力する。
専門処理部C4~C6は、撮像データを解析することにより、人の数、位置、及び動き等を属性として判別する。すなわち、専門処理部C4~C6は、撮像データに含まれる人の数、位置、及び動き等をもとに、制御対象とする1又は複数のアクチュエータXを選定する。専門処理部C4~C6は、種別「人」における属性として、例えば、人が集まっている状態を示す「密集」、人が倒れている状態を示す「転倒」、エースなどの特定の人を示す「スポット」、審判がカードを掲げている状況を示す「警告」などを判別する。こうした属性は、競技又はイベントごとに設定するとよい。
専門処理部Cは、カメラAの識別情報を利用して1又は複数のアクチュエータXを選定してもよい。すなわち、例えば、図6の領域Rにボールが存在しており、カメラA1の撮像データが特定処理部B1及び割当部30を介して専門処理部C1に出力され、カメラA6の撮像データが特定処理部B6及び割当部30を介して専門処理部C2に出力されたとする(図7の破線矢印参照)。そして、カメラA1にはアクチュエータX1、X2、及びX3が対応づけられ、カメラA6にはアクチュエータX4、X5、及びX6が対応づけられていたとする。このとき、専門処理部C1は、カメラA1の識別情報をもとに、アクチュエータX1、X2、及びX3のうちの少なくとも1つを選定してもよい。同様に、専門処理部C2は、カメラA6の識別情報をもとに、アクチュエータX4、X5、及びX6のうちの少なくとも1つを選定してもよい。
また、複数の専門処理部Cが連携することにより、各専門処理部Cの制御対象が状況に応じて都度切り替わるようにしてもよい。なお、複数の専門処理部Cのうちの1つに、アクチュエータXの選定を統括的に制御する機能を持たせてもよく、複数の専門処理部Cとは別に、アクチュエータXの選定を統括的に制御する処理部を設けてもよい。あるいは、各カメラAに予め1又は複数のアクチュエータXを対応づけておき、アクチュエータXに複数の制御信号が同時に出力された場合、当該アクチュエータXが、複数の制御信号から動作内容を決定するようにしてもよい。つまり、図6の例において、カメラA1にアクチュエータX6及びX1、カメラA2にアクチュエータX1及びX2、カメラA3にアクチュエータX2及びX3、カメラA4にアクチュエータX3及びX4、カメラA5にアクチュエータX4及びX5、カメラA6にアクチュエータX5及びX6が対応づけられていたとする。すると、図7の破線矢印の状況では、アクチュエータX6には専門処理部C1と専門処理部C2との双方から制御信号が出力されることになる。かかる状況下において、アクチュエータX6は、予め決められた優先度等をもとに、専門処理部C1の制御信号及び専門処理部C2の制御信号のうちの何れかを選んで動作してもよい。もしくは、アクチュエータX6は、専門処理部C1の制御信号及び専門処理部C2の制御信号の双方に基づいて動作してもよい。つまり、複数の制御信号が出力された場合、アクチュエータXは、複数の制御信号に所定の演算処理を施して動作の程度を決定してもよい。
図7の構成において、割当制御システム100は、カメラA1~A6、アクチュエータ部90、表示制御装置95、及び表示装置99と共に、画像表示システム400を構成している。表示制御装置95は、選定部96と、表示処理部98と、を有している。選定部96は、アクチュエータX1~X6から出力された撮像データのそれぞれを解析し、表示装置99への表示用の撮像データを選定する。選定部96は、アクチュエータX1~X6のそれぞれに1対1で接続された解析処理部Y1~Y6と、解析処理部Y1~Y6に接続された選定処理部97と、を有している。解析処理部Y1~Y6を区別せずに指す場合は「解析処理部Y」という。
解析処理部Yは、アクチュエータXから出力される撮像データを解析し、当該撮像データの重要度を示す評価指数を求める。そして、解析処理部Yは、求めた評価指数と共に、解析に用いた撮像データを選定処理部97へ出力する。解析処理部Yは、上述した専門処理部Cと同様、何れも図示しないが、通信部と記憶部と制御部とを有している。該制御部は、例えばCPU又はGPUにより構成される。評価指数の演算アルゴリズムは、解析処理部Yが撮像データの内容に応じて選択的に決定してもよく、施設で行われる競技に応じて予め設定してもよい。
選定処理部97は、各解析処理部Yから出力される評価指数をもとに、1又は複数の撮像データを選定し、選定した撮像データを表示処理部98へ出力する。すなわち、選定処理部97は、表示装置99の表示部上に1つの画面を表示させる1画面設定のときに1つの撮像データを選定し、表示装置99の表示部上に複数の画面を表示させるマルチ画面設定のときに複数の撮像データを選定する。
表示処理部98は、選定処理部97から出力される1又は複数の撮像データに基づく画像を表示装置99に表示させる。マルチ画面設定の場合は、画面ごとに優先度が決まっている。したがって、表示処理部98は、優先度の高い画面に評価指数の高い撮像データを順次割り当てる。ここで、表示処理部98は、専門処理部Cから、ネットワークNを介してカメラAの撮像データを取得するようにしてもよい。そして、表示処理部98は、人やボールの動きがない場面などの所定の状況下で、表示装置99に表示させる画像をカメラAの画像に切り替えてもよい。表示装置99は、例えば液晶ディスプレイ(Liquid Crystal Display)からなり、表示部に種々の画像を表示する。
ところで、画像表示システム400は、図8に示すように、表示制御装置95の選定部96に、割当制御装置10を採り入れて構成してもよい。図8では、画像表示システム400の構成を部分的に示している。かかる構成の場合、特定処理部B7~B12は、「人」又は「ボール」などの種別を特定し、専門処理部C7~C12は、「人」又は「ボール」などのうちの1つの種別に特化した処理を実行する。すなわち、図8の構成では、特定処理部Bと専門処理部Cとにより、選定処理部97と同様の処理を実行する。よって、特定処理部Bと専門処理部Cとに負荷を分散することができるため、1つの処理部あたりの負荷を軽減することができる。
図6では、フィールドの内側にカメラが向いている例を示したが、これに限らず、複数のカメラA及び複数のアクチュエータXのうちの少なくとも1つは、客席やベンチに向けられてもよい。図6~図8では、6つのカメラAと6つのアクチュエータXとを含む画像表示システム400を例示したが、これに限らず、カメラAの台数及びアクチュエータXの台数は任意に変更することができる。もっとも、アクチュエータ部90は、可動式のカメラ以外のアクチュエータXを含んでいてもよい。
次に、図9及び図10を参照して、割当制御システム100を街路に適用した例について説明する。図9及び図10では、割当制御システム100が6つのカメラAを有し、割当制御装置10が6つの特定処理部Bと6つの専門処理部Cとを有し、アクチュエータ部90が9つのアクチュエータXを有する例を示している。専門処理部C1及びC2は種別「自動車」に対応し、専門処理部C3及びC4は種別「人」に対応し、専門処理部C5は種別「自転車」に対応し、専門処理部C6は種別「ボール」に対応するものとする。アクチュエータX1、X2、X7、X8、X9は、LEDなどの光源を含む電光表示板であり、アクチュエータX3~X6は、スピーカを含む報知手段であるものとする。
図9の例において、カメラA1及びアクチュエータX1は、信号機160Aの近傍に設けられている。アクチュエータX1の表示板X1aは、信号機160Aに向かってくる自動車から視認できるよう配置されている。カメラA2及びアクチュエータX2は、信号機160Bの近傍に設けられている。アクチュエータX2の表示板X2aは、信号機160Bに向かってくる自動車から視認できるよう配置されている。信号機161Aと信号機161Bとは、横断歩道の各端部に配置され、互いに対向している。
監視警告ユニット150Aは、カメラA3、カメラA4、アクチュエータX3、及びアクチュエータX4を収容する筐体151と、筐体151を支持する脚部152と、筐体151の上部に設けられたアクチュエータX7と、を有している。アクチュエータX7は、表示板X7aと表示板X7bとを有している。
監視警告ユニット150Bは、カメラA5及びアクチュエータX5を収容する第1筐体151aと、カメラA6及びアクチュエータX6を収容する第2筐体151bと、第1筐体151a及び第2筐体151bを支持する脚部152と、を有している。また、監視警告ユニット150Bは、第1筐体151a及び第2筐体151bの上部に設けられたアクチュエータX8及びX9を有している。アクチュエータX8は表示板X8aを有し、アクチュエータX9は表示板X9aを有している。
かかる構成において、専門処理部C1及びC2は、割当部30から撮像データを取得すると、撮像データの種別「自動車」における属性を判別する。種別「自動車」における属性としては、「速度注意」「脇見運転」「ながら運転」「蛇行運転」「夜間における無灯火」などがある。例えば、専門処理部C1は、カメラA1による撮像データの属性が「夜間における無灯火」であると判別した場合、「ライトを付けてください」といった注意喚起の表示を指示する制御信号をアクチュエータX1へ出力する。これにより、アクチュエータX1は、表示板X1aに注意喚起の文字等を表示させる。以降では、注意喚起の音声出力を指示する制御信号のことを注意喚起信号ともいう。
専門処理部C3及びC4は、割当部30から撮像データを取得すると、撮像データの種別「人」における属性を判別する。種別「人」における属性としては、「子供」「杖をついている人」「車椅子」「走っている人」「ながらスマホ」「集団」「不審人物」などがある。例えば、専門処理部C4は、カメラA3による撮像データの属性が「子供」であると判別した場合、「車に注意しましょう」といった音声の出力を指示する注意喚起信号をアクチュエータX3へ出力する。これにより、アクチュエータX3は、注意喚起の音声を出力する。
専門処理部C5は、割当部30から撮像データを取得すると、撮像データの種別「自転車」における属性を判別する。種別「自転車」における属性としては、「歩道」「ながらスマホ」「速度注意」「蛇行運転」「2人乗り」などがある。なお、速度に関する属性は、「高速」「中速」「低速」といったように段階的に設定してもよい。ここで、図9の場所では自転車による歩道の走行が禁止されており、その旨の情報が各専門処理部Cに設定されているとする。かかる状況下で、カメラA4による撮像データの属性が「歩道」であると判別した専門処理部C5は、例えば「自転車走行帯を走りましょう」「歩道の走行は禁止されています」といった音声の出力を指示する注意喚起信号をアクチュエータX4へ出力する。これにより、アクチュエータX4は、注意喚起の音声を出力する。
専門処理部C6は、割当部30から撮像データを取得すると、撮像データの種別「ボール」における属性を判別する。種別「ボール」における属性としては、人が手でボールをバウンドさせている状況を示す「バウンド」、人が足でボールを蹴っている状況を示す「ドリブル」、人が手でボールを投げている状況を示す「投げ」などがある。例えば、専門処理部C6は、カメラA5による撮像データの属性が「バウンド」であると判別した場合、「危険です。しっかり手で持ってください。」といった音声の出力を指示する注意喚起信号をアクチュエータX5へ出力する。これにより、アクチュエータX5は、注意喚起の音声を出力する。
もっとも、各専門処理部Cは、複数のアクチュエータXに制御信号を出力してもよい。ところで、カメラA1及びA2の撮像データに含まれる主たる物体は、通常は自動車になると考えられる。そのため、カメラA1又はA2による撮像データの種別が「人」又は「ボール」などに特定された場合は、特に警戒が必要となる。そのため、種別「自動車」以外の専門処理部Cは、カメラA1又はA2による撮像データを入力した場合、そのことをアクチュエータXの処理に反映させるとよい。例えば、専門処理部C3は、カメラA2による撮像データを取得した場合、「危険です。歩道に戻ってください。」といった音声の出力を指示する注意喚起信号をアクチュエータX6へ出力してもよい。その際、専門処理部C3は、併せて、「危険!」といった注意喚起の表示を指示する制御信号をアクチュエータX9へ出力してもよい。他のカメラAによる撮像データにも、上記同様、配置などに応じた特別な処理を設定してもよい。
また、各専門処理部Cは、図10に例示するように、ネットワークNに接続された交通信号制御機600から、各信号機の状況を示す信号データを取得し、取得した信号データを処理に反映させてもよい。例えば、信号機161A及び161Bが青のときに、自動車が猛スピードで横断歩道に向かっている様子をカメラA2が捉えた場合、専門処理部C1又はC2が「スピード落とせ!」といった音声の出力を指示する注意喚起信号をアクチュエータX2に出力するとよい。もっとも、複数の専門処理部Cは、相互に連携してアクチュエータ部90の制御を行ってもよい。
図9では、1又は複数のカメラAと1又は複数のアクチュエータXを含む監視警告ユニット150A又は150Bを示したが、これらはあくまでも例示であり、カメラA及びアクチュエータXの配置、数、及び形状等は、図9の例に限定されない。他の各図についても同様である。なお、監視警告ユニット150Aは、例えば、アクチュエータX7が、脚部152に沿った直線等を軸として、自動又は手動で回転できるように構成してもよい。また、監視警告ユニット150Bは、例えば、アクチュエータX8とアクチュエータX9との水平方向における成す角が自動又は手動で変更できるように構成してもよい。
次に、図11のフローチャートを参照して、本実施の形態1の割当制御方法について説明する。まず、複数の特定処理部B1~Bnは、それぞれ、接続先のカメラAから撮像データを入力する(ステップS101)。次いで、複数の特定処理部B1~Bnは、それぞれ、入力した撮像データが複数の種別のうちのどれであるかを特定する(ステップS102)。そして、複数の特定処理部B1~Bnは、それぞれ、特定した種別を示す種別データと共に、種別の特定に係る撮像データを割当部30へ出力する(ステップS103)。
割当部30は、種別データに基づいて専門処理部Cに撮像データを割り当てる。すなわち、割当部30は、複数の特定処理部B1~Bnの各々から出力される種別データのそれぞれに対応する専門処理部Cに、当該種別データと共に出力された撮像データを出力する(ステップS104)。
割当部30から撮像データが出力された専門処理部Cは、当該撮像データが、出力元の特定処理部Bにおいて特定された種別における複数の属性のうちのどれであるかを判別する(ステップS105)。そして、専門処理部Cは、判別した属性に応じた処理を実行する。すなわち、専門処理部Cは、例えば、判別した属性に応じて1又は複数のアクチュエータXを選定し、選定した1又は複数のアクチュエータXへ制御信号を出力する(ステップS106)。
以上のように、本実施の形態1の割当制御装置10は、カメラAに接続された複数の特定処理部Bが撮像データの種別を特定し、割当部30が、特定処理部Bによって特定された種別に対応する専門処理部Cに撮像データを出力する。よって、割当制御装置10によれば、特定処理部Bと専門処理部Cとに負荷を分散することができるため、各処理部の負荷軽減を図り、撮像データを多様な用途で円滑に活用することができる。すなわち、割当制御装置10は、撮像データが内包する情報に応じた用途で、当該撮像データを効率よく使用することができる。
また、専門処理部Cは、割当部30から撮像データが出力されたとき、当該撮像データが複数の属性のうちのどれであるかを判別し、判別した属性に応じた処理を実行する。このように、専門処理部Cは、撮像データに対し、専門の種別についての画像解析を主として行えばよい。そのため、専門処理部Cの処理量の低減により、割当制御装置10の全体としての処理の迅速化を図ることができる。すなわち、割当制御装置10によれば、複数の処理を各処理部に分散させ、各処理部の負荷を軽減することにより、処理全体の迅速化を図ると共に、ハイパフォーマンスの処理部を減らし、コストの削減を図ることができる。さらに、専門処理部Cは、判別処理に基づく撮像データの属性に応じた制御信号を、制御対象となる複数のアクチュエータXのうちの少なくとも1つへ出力し、アクチュエータXが制御信号に応じた動作を実行する。よって、割当制御装置10によれば、撮像データの属性に応じたアクチュエータXの迅速な動作を実現することができる。
ここで、複数の専門処理部C1~Cmは、上記のように、互いに異なる種別に対応する専門処理部Cを含んでいてもよい。つまり、割当制御装置10は、互いに異なる種別に対応する専門処理部Cを含んでいてもよい。例えば、図3のように、複数の専門処理部C1~Cmは、同じ種別に対応する2以上の専門処理部Cを含んでいてもよい。すなわち、割当制御装置10は、複数の専門処理部C1~Cmのうちの幾つかが、共通の種別に対応するものであってよい。このように、割当制御装置10は、撮像データに出現する頻度の高い物体に対応する専門処理部Cを相対的に多くするなど、カメラAの設置環境等に応じて専門処理部Cの組み合わせを変更することができるため、1又は複数の割当制御装置10が機能していないといった状態を減らし、処理の遅延を回避することができる。また、複数の専門処理部C1~Cmは、全てが異なる種別に対応するものであってもよい。すなわち、割当制御装置10は、複数の専門処理部C1~Cmの全てが異なる種別に対応するものであってもよい。かかる構成は、例えば、撮像データに含まれる物体が定期的に又は不規則に変化するような状況下において有効である。
一方、複数の専門処理部C1~Cmは、全てが同じ種別に対応するものであってもよい。すなわち、割当制御装置10は、複数の専門処理部C1~Cmの全てが同じ種別に対応するものであってもよい。かかる構成は、例えば、様々な鳥が飛行体500の飛行の妨げとなっている状況等において有効である。このような状況下では、割当制御装置10が、複数の専門処理部Cとして、鳥を専門とする専門処理部Cだけを有するようにしてもよい。同様に、畑などにおいて、陸生動物による被害が主となる状況下では、割当制御装置10が、複数の専門処理部Cとして、陸生動物を専門とする専門処理部Cだけを有するようにしてもよい。また、イベント会場、駅構内、企業や金融機関の重要機密又は現金などの保管場所、百貨店、コンビニエンスストア、駐車場、公園、街角、又は交差点などにおいて、人だけを監視したい場合も想定される。このような場合は、割当制御装置10が、複数の専門処理部Cとして、人を専門とする専門処理部Cだけを有するようにしてもよい。このように、カメラAの設置環境等に合わせて、同じ種別に対応する複数の専門処理部Cだけを割当制御装置10に含めるようにすれば、ほとんど機能しない専門処理部Cが存在するような状況を回避することができるため、無駄を省き、コストの削減を図ることができる。
本実施の形態1の割当制御システム100は、割当制御装置10と、割当制御装置10による制御対象となる複数のアクチュエータXと、を有している。そして、専門処理部Cは、撮像データについての判別の結果に応じた処理として、例えば、判別した属性に応じた制御信号を少なくとも1つのアクチュエータXへ出力する。よって、割当制御システム100によれば、撮像データの属性に応じたアクチュエータXの迅速な動作を実現することができる。
ところで、上記では、割当制御システム100が複数のカメラA1~Anを含むものとして説明したが、これに限らず、割当制御システム100は、複数のカメラA1~Anを有さずに構成してもよい。つまり、複数のカメラA1~Anは、割当制御システム100の外部構成であってもよい。また、割当制御システム100は、更新処理装置80を含んでいてもよく、更新処理装置80を含めずに構成してもよい。加えて、専門処理部Cは、撮像データの解析により、アクチュエータXへの動作指令の要否を判定する機能を有していてもよい。つまり、専門処理部Cは、アクチュエータXへの動作指令が不要であると判定した場合、制御信号を出力しないようにしてもよい。
<変形例1-1>
図12に示すように、本変形例1-1における割当制御装置10は、更新処理装置80との連携により、各専門処理部Cの解析処理プログラム432の更新を行う統括更新部50を有している。したがって、各専門処理部Cの更新処理手段44cは、統括更新部50とストレージ手段43bとの中継手段として機能する。統括更新部50と更新処理装置80とは、有線による通信を行ってもよく、無線による通信を行ってもよく、有線と無線との組み合わせにより通信を行ってもよい。
図12に示すように、本変形例1-1における割当制御装置10は、更新処理装置80との連携により、各専門処理部Cの解析処理プログラム432の更新を行う統括更新部50を有している。したがって、各専門処理部Cの更新処理手段44cは、統括更新部50とストレージ手段43bとの中継手段として機能する。統括更新部50と更新処理装置80とは、有線による通信を行ってもよく、無線による通信を行ってもよく、有線と無線との組み合わせにより通信を行ってもよい。
すなわち、本変形例1-1の割当制御装置10は、複数の専門処理部Cに接続された統括更新部50をさらに有している。ここで、専門処理部Cは、属性の判別に関する解析処理プログラム432を有すると共に、撮像データ及び解析情報を統括更新部50へ出力するものである。統括更新部50は、複数の専門処理部Cの各々から出力される撮像データ及び解析情報を更新処理装置80へ送信するものである。更新処理装置80は、統括更新部50から送信される撮像データ及び解析情報をもとに、複数の専門処理部Cのそれぞれの解析処理プログラム432を更新し、更新した解析処理プログラム432を統括更新部50へ送信するものである。統括更新部50は、更新処理装置80から更新された解析処理プログラム432が送信されたとき、当該解析処理プログラム432の属性に対応する専門処理部Cへ受け渡すものである。つまり、更新処理装置80は、更新した解析処理プログラム432を、統括更新部50を介して各専門処理部Cへ送信する。よって、専門処理部Cは、統括更新部50から更新後の解析処理プログラム432を取得したとき、当該解析処理プログラム432により記憶部43内の解析処理プログラム432をアップデートすることができる。
このように、本変形例1-1の割当制御装置10によれば、各専門処理部Cの負荷の一部を統括更新部50に割り当て、各専門処理部Cの処理量を減らすことができるため、割当制御装置10の処理の迅速化を図ることができる。また、各専門処理部Cのスペックを下げることができるため、コストの削減を図ることができる。
<変形例1-2>
上記の説明では、割当制御システム100が複数のカメラAを有する例を示したが、本変形例1-2の割当制御システム100は、図13に示すように、1つのカメラAを有している。つまり、本変形例1-2の割当制御装置10には、カメラAが1つだけ接続されている。
上記の説明では、割当制御システム100が複数のカメラAを有する例を示したが、本変形例1-2の割当制御システム100は、図13に示すように、1つのカメラAを有している。つまり、本変形例1-2の割当制御装置10には、カメラAが1つだけ接続されている。
より具体的に、割当制御装置10は、カメラAに接続された割当処理部20と、複数の種別のうちの何れかに対応する複数の専門処理部C1~Cmと、を有している。複数の専門処理部C1~Cmは、割当処理部20に接続されている。割当処理部20は、カメラAに接続された特定処理部Bを有している。特定処理部Bは、カメラAから入力した撮像データが複数の種別のうちのどれであるかを特定し、特定した種別を示す種別データと共に当該撮像データを割当部30へ出力する。割当部30は、特定処理部Bから出力される種別データに対応する専門処理部Cに、当該種別データと共に出力された撮像データを出力する。
割当制御装置10及び割当制御システム100の他の構成及び割当制御方法の内容は、図1~図11を参照して説明したものと同様である。また、本変形例1-2の構成に、上述した変形例1-1の構成を適用することもできる。
以上のように、本変形例1-2の割当制御装置10によっても、特定処理部Bと専門処理部Cとに負荷を分散することができるため、各処理部の負荷軽減を図り、撮像データを多様な用途で円滑に活用することができる。すなわち、割当制御装置10によれば、時々刻々と変化する、撮像データが内包する情報に応じて、撮像データの用途を柔軟に変化させることができる。
ここで、図14~図17を参照して、本変形例1-2の割当制御システム100を街中の交差点等に適用した例について説明する。図14及び図15では、アクチュエータ部90を構成するアクチュエータXとして、表示処理部90aと表示部90bとを備えた表示装置を例示している。カメラAの撮像範囲には、横断歩道における、信号機161とは反対側の待機エリアが含まれている。該待機エリアに立っている人Hは、アクチュエータXの表示部90bを視認できるようになっている。
まず、図16のフローチャートを参照して、割当制御装置10による処理の一例を説明する。図16の例では、特定処理部Bが、種別として、撮像データに含まれる人の主たる年齢層、つまり撮像データに含まれる人が最も多く属する年齢層を特定する前提となっている。よって、特定処理部Bは、20歳代、30歳代、40歳代、50歳代、60歳代、70歳代、80歳代以上といった年齢層を、種別として特定する。したがって、各専門処理部Cは、それぞれ、複数の年齢層のうちの何れかに対応する構成となっている。もっとも、年齢層は、上記のような10歳単位に限らず、年齢の範囲を狭めてもよく、広げてもよい。また、年齢層ごとに年齢の範囲を個別に設定し、年齢の範囲が異なる年齢層を組み合わせた構成としてもよい。
専門処理部Cは、割当部30から撮像データを取得すると(ステップS111)、取得した撮像データに、歩行中の人が相対的に多く含まれるか否かを属性として判別する(ステップS112)。専門処理部Cは、歩行中の人が相対的に多く含まれると判別した場合(ステップS112/Yes)、特定された年齢層に応じた音楽動画をアクチュエータXに表示させる(ステップS113)。一方、専門処理部Cは、信号待ちの人が相対的に多く含まれると判別した場合(ステップS112/No)、特定された年齢層に応じた動画広告をアクチュエータXに表示させる(ステップS114)。
次に、図17のフローチャートを参照して、割当制御装置10による処理の他の例を説明する。図16と同等の工程については同一の符号を用いて説明は省略する。図17の例では、各専門処理部Cが、歩行中の人が相対的に多く含まれるか否かという条件と、撮像データに含まれる人の数が閾値以上であるか否かという条件との組み合わせにより、複数の属性が設定されている。
すなわち、専門処理部Cは、歩行中の人が相対的に多く含まれると判別した場合(ステップS112/Yes)、撮像データに含まれる人の数が予め設定された閾値以上であるか否かを判定する(ステップS121)。専門処理部Cは、人の数が閾値以上であれば(ステップS121/Yes)、重要度が相対的に高い音楽動画をアクチュエータXに表示させる(ステップS123)。一方、専門処理部Cは、人の数が閾値未満であれば(ステップS121/No)、重要度が相対的に低い音楽動画をアクチュエータXに表示させる(ステップS124)。
専門処理部Cは、歩行中の人が相対的に多く含まれないと判別した場合(ステップS112/No)、撮像データに含まれる人の数が予め設定された閾値以上であるか否かを判定する(ステップS122)。専門処理部Cは、人の数が閾値以上であれば(ステップS122/Yes)、重要度が相対的に高い動画広告をアクチュエータXに表示させる(ステップS125)。一方、専門処理部Cは、人の数が閾値未満であれば(ステップS122/No)、重要度が相対的に低い動画広告をアクチュエータXに表示させる(ステップS126)。なお、ステップS121の閾値と、ステップS122の閾値とは、同じ値であってもよく、異なる値であってもよい。もっとも、人の数に関する閾値は、さらに細かく設定してもよい。
図16及び図17を用いた説明において、各条件に対応づけた音楽動画及び動画広告の設定は、あくまでも一例である。すなわち、割当制御装置10は、スポンサーの嗜好などに合わせた設定により、種々の動画又は静止画をアクチュエータXに表示させてもよい。加えて、専門処理部Cは、ディープラーニング等の学習により生成した分類器で動画又は静止画を選定し、選定した動画又は静止画をアクチュエータXに表示させてもよい。
また、図16及び図17の例に限らず、例えば、特定処理部Bが、種別として、撮像データに歩行中の人が相対的に多く含まれるか否かを特定してもよい。この場合、各専門処理部Cは、それぞれ、種別「歩行中」及び種別「信号待ち中」のうちの何れかに対応し、年齢層を属性として判別することになる。例えば、専門処理部Cは、年齢層を判別した後、複数の年齢層と表示させる動画とを対応づけたテーブル情報を参照して動画又は静止画を選定し、選定した動画又は静止画をアクチュエータXに表示させてもよい。または、専門処理部Cは、ディープラーニング等の学習により生成した分類器で動画又は静止画を選定し、選定した動画又は静止画をアクチュエータXに表示させてもよい。もっとも、各専門処理部Cは、年齢層の条件と、撮像データに含まれる人の数が閾値以上であるか否かという条件とを組み合わせた属性を判別してもよい。
実施の形態2.
図18を参照して、実施の形態2の割当制御装置及び割当制御システムの構成について説明する。上述した実施の形態1と同等の構成部材については同一の符号を用いて説明は省略する。
図18を参照して、実施の形態2の割当制御装置及び割当制御システムの構成について説明する。上述した実施の形態1と同等の構成部材については同一の符号を用いて説明は省略する。
割当制御システム200は、複数のカメラA1~Anと、割当制御装置110と、アクチュエータ部90と、を有している。割当制御装置110は、複数の特定処理部B1~Bn及び割当部30を含む割当処理部20と、複数の専門処理部C1~Cmと、を有している。
割当制御装置110は、複数の専門処理部C1~Cmに接続された属性割当部70と、複数の属性のうちの何れかに対応する複数の属性処理部D1~Dkと、を有している。複数の属性処理部D1~Dkは、属性割当部70に接続されている。複数の属性処理部D1~Dkを区別せずに指す場合は「属性処理部D」という。
専門処理部Cは、割当部30から撮像データが出力されたとき、当該撮像データが、出力元の特定処理部Bにおいて特定された種別における複数の属性のうちのどれであるかを判別する。そして、本実施の形態1の専門処理部Cは、判別の結果、つまり判別した属性を示す属性データを属性割当部70へ出力する。
属性割当部70は、図18に破線で示すように、複数の専門処理部C1~Cmから入力した属性データを複数の属性処理部D1~Dkのうちの何れかに割り当てるm×k通りのルート(選択肢)を有している。属性割当部70は、複数の専門処理部Cの各々から出力される属性データを、当該属性データが示す属性に対応する属性処理部Dへ出力する。属性割当部70は、例えばFPGAにより構成される。属性割当部70のロジックプログラムである属性割当プログラムは、ユースケースに合わせて適宜変更することができる。
属性処理部Dは、1つの属性、つまり1つの属性データに対応づけられており、属性割当部70から属性データが出力されたとき、当該属性データに応じた処理を実行する。属性処理部Dは、上述した専門処理部Cと同様、何れも図示しないが、通信部と記憶部と制御部とを有している。該制御部は、例えばCPU又はGPUにより構成される。該記憶部には、各属性データに対応づけられた処理を示す情報が記憶されている。本実施の形態2において、属性処理部Dは、属性割当部70から属性データが出力されると、当該属性データに予め対応づけられた処理を示す制御信号を、接続先のアクチュエータXへ出力する。
ここで、専門処理部Cは、アクチュエータXの詳細な制御内容を示す付加情報を含む属性データを出力してもよい。付加情報は、例えば、アクチュエータXが報知手段であれば、音量・台詞などを示す情報となり、アクチュエータXが発光手段であれば、輝度・発光色などを示す情報となる。この場合、属性処理部Dは、属性データをもとに制御信号を生成し、生成した制御信号を送信先のアクチュエータXへ出力する。なお、属性処理部Dの内部記憶装置には、複数の付加情報の各々と、アクチュエータXの詳細な制御内容とを関連づけたテーブル情報を格納してもよい。この場合、属性処理部Dは、属性データに含まれる付加情報をテーブル情報に照らして制御信号を生成する。
ところで、専門処理部Cは、撮像データの解析により、アクチュエータXへの動作指令の要否を判定する機能を有していてもよい。この場合、専門処理部Cは、アクチュエータXへの動作指令が不要であると判定した場合、属性データを出力しないようにするとよい。もしくは、専門処理部Cは、アクチュエータXの制御不要を示す付加情報を含む属性データを出力してもよい。
次に、図19を参照して、割当制御システム200の適用例について説明する。ここでは、割当制御システム200を横断歩道周辺の監視に取り入れた例を説明する。図19では、割当制御システム200が4つのカメラAを有し、割当制御装置110が4つの特定処理部Bと5つの専門処理部Cとk個の属性処理部Dとを有し、アクチュエータ部90がk個のアクチュエータXを有する例を示している。図19の例では、ネットワークNに交通信号制御機600が接続されており、各専門処理部Cは、信号機(図示せず)の状況を示す信号データを交通信号制御機600から取得できるようになっている。
ここでは、専門処理部C1及び専門処理部C2が種別「人」に対応し、専門処理部C3が種別「自転車」に対応し、専門処理部C4が種別「ボール」に対応し、専門処理部C5が種別「自動車」に対応するものとして説明する。また、属性処理部Dkは、ネットワークNを介しての動作制御に対応し、アクチュエータXkは、カメラAによる監視エリアを通過する自動車に配置され、音又は音声を発生させる報知手段であることを想定する。
この例の場合、専門処理部C1及びC2は、割当部30から撮像データを取得すると、撮像データの種別「人」における属性を判別する。例えば、属性処理部D3が不審な動きの人を示す属性「不審人物」に対応している状況で、専門処理部C1が属性「不審人物」を示す属性データを属性割当部70へ出力し、属性割当部70が当該属性データを属性処理部D3へ出力したとする。ここで、アクチュエータX2は音声の出力が可能な報知手段であり、アクチュエータX3は電光表示板であるものとする。そして、属性「不審人物」を示す属性データには、アクチュエータX2に注意喚起の音声を出力させる処理、及びアクチュエータX3に警告用の文字を表示させる処理が対応づけられているとする。この場合、属性処理部D3は、注意喚起信号をアクチュエータX2へ出力すると共に、警告用の文字の表示を指示する制御信号をアクチュエータX3へ出力する。
専門処理部C3は、割当部30から撮像データを取得すると、撮像データの種別「自転車」における属性を判別する。例えば、属性処理部D4が属性「ながらスマホ」に対応している状況で、専門処理部C3が属性「自転車」を示す属性データを属性割当部70へ出力し、属性割当部70が当該属性データを属性処理部D4へ出力したとする。ここで、アクチュエータX1が報知手段であり、属性「ながらスマホ」を示す属性データには、アクチュエータX1に警告音を出力させる処理が対応づけられているとする。この場合、属性処理部D4は、警告音の出力を指示する制御信号をアクチュエータX1へ出力する。
専門処理部C4は、割当部30から撮像データを取得すると、撮像データの種別「ボール」における属性を判別する。例えば、属性処理部D1が属性「ドリブル」に対応している状況で、専門処理部C4が属性「ドリブル」を示す属性データを属性割当部70へ出力し、属性割当部70が当該属性データを属性処理部D1へ出力したとする。ここで、アクチュエータX3は電光表示板であり、属性「ドリブル」を示す属性データには、アクチュエータX3に警告用の文字を表示させる処理が対応づけられているとする。この場合、属性処理部D1は、警告用の文字の表示を指示する制御信号をアクチュエータX3へ出力する。
専門処理部C5は、割当部30から撮像データを取得すると、撮像データの種別「自動車」における属性を判別する。例えば、属性処理部D2が属性「蛇行運転」に対応している状況で、専門処理部C4が属性「蛇行運転」を示す属性データを属性割当部70へ出力し、属性割当部70が当該属性データを属性処理部D2へ出力したとする。ここで、アクチュエータX4が信号機の周囲に取り付けられた電光表示板であり、属性「蛇行運転」を示す属性データには、アクチュエータX4に休憩を推奨する情報を表示させる処理が対応づけられているとする。この場合、属性処理部D2は、休憩を推奨する情報の表示を指示する制御信号をアクチュエータX4へ出力する。
ここで、専門処理部Cは、交通信号制御機600から信号データを取得し、取得した信号データをもとに、更に属性を細分化してもよい。例えば、歩行者側の信号機が赤のときに歩行者が横断歩道を渡ろうとした状況下では、専門処理部Cが撮像データの属性を「危険」とする、といったように、専門処理部Cは、交通信号制御機600と連携して属性の判別処理を行ってもよい。
また、複数の専門処理部Cが相互に連携して判別処理を行うようにしてもよい。例えば、種別「人」の専門処理部Cが、種別「自転車」の専門処理部Cに対し、属性「子供」を判別した旨の時事情報を送信し、種別「自転車」の専門処理部Cが時事情報を属性の判別に用いる、といった連携が考えられる。さらに、撮像範囲に信号機が含まれるカメラAに関連づけて種別「信号機」の専門処理部Cを設け、当該専門処理部Cが信号機の状態を示す時事情報を他の専門処理部Cへ出力するようにしてもよい。このようにすれば、交通信号制御機600から信号データを取得しなくても、各専門処理部Cは、種別「信号機」の専門処理部Cからの時事情報を活かした判別処理を行うことができる。加えて、歩行者が車道に飛び出したことを判別した専門処理部Cが、その旨の時事情報を種別「自動車」の専門処理部Cへ送信するようにしてもよい。そして、種別「自動車」の専門処理部Cは、属性割当部70及び属性処理部Dkを通じ、ネットワークを介して、音又は音声の発生を指示する制御信号をアクチュエータXkに出力してもよい。
続いて、図20のフローチャートを参照して、本実施の形態2の割当制御方法について説明する。図11と同様の工程については、同一のステップ番号を付して説明は省略する。
まず、割当処理部20は、ステップS101~S104の処理を実行する。次いで、割当部30から撮像データが出力された専門処理部Cは、当該撮像データが、出力元の特定処理部Bにおいて特定された種別における複数の属性のうちのどれであるかを判別する(ステップS105)。そして、専門処理部Cは、判別の結果を示す属性データを属性割当部70に出力する(ステップS201)。
属性割当部70は、専門処理部Cから属性データが出力されると、当該属性データを複数の属性処理部D1~Dkのうちの何れかに割り当てる。つまり、属性割当部70は、複数の専門処理部Cの各々から出力される属性データが示す属性に対応する属性処理部Dに対し、当該属性データを出力する(ステップS202)。
属性処理部Dは、属性割当部70から属性データが出力されたとき、当該属性データに応じた処理を実行する。本実施の形態2の属性処理部Dは、属性データに応じた処理として、属性データに対応する制御信号を生成し、生成した制御信号を少なくとも1つのアクチュエータXへ出力する。属性処理部Dは、例えば、発光手段であるアクチュエータXに対し、発光を指示する制御信号を出力する(ステップS203)。
以上のように、本実施の形態2の割当制御装置110は、カメラAに接続された複数の特定処理部Bが撮像データの種別を特定し、割当部30が、特定処理部Bによって特定された種別に対応する専門処理部Cに撮像データを出力する。すると、専門処理部Cが、撮像データの属性について判別すると共に、判別の結果を示す属性データを属性割当部70へ出力する。そして、属性割当部70が属性データに対応する属性処理部Dへ当該属性データを出力し、属性処理部Dが属性データに応じた処理を実行する。よって、割当制御装置110によれば、特定処理部Bと専門処理部Cと属性処理部Dに負荷を分散することができるため、各処理部の負荷軽減を図り、撮像データを多様な用途で円滑に活用することができる。すなわち、本実施の形態2の専門処理部Cは、撮像データに対し、専門の種別についての画像解析だけを行えばよく、アクチュエータXに対する指示については、属性処理部Dに任せることができる。そして、専門処理部Cの処理量の更なる低減と負荷分散により、割当制御装置10の全体としての処理の迅速化を図ることができる。
また、属性処理部Dは、属性割当部70から属性データが出力されたとき、当該属性データに応じた制御信号を、制御対象となる複数のアクチュエータXのうちの少なくとも1つへ出力し、アクチュエータXが制御信号に応じた動作を実行する。よって、割当制御装置110によれば、撮像データの属性に応じたアクチュエータXの迅速な動作を実現することができる。
本実施の形態2の割当制御システム200は、割当制御装置110と、割当制御装置110による制御対象となる複数のアクチュエータXと、を有している。そして、属性処理部Dは、属性割当部70から属性データが出力されたとき、当該属性データに応じた制御信号を少なくとも1つのアクチュエータXへ出力し、アクチュエータXが制御信号に応じた動作を実行する。したがって、割当制御システム200によれば、撮像データの属性に応じたアクチュエータXの迅速な動作を実現することができる。
上述した実施の形態1で説明した代替構成及び変形例1-2の構成は、本実施の形態2の割当制御装置110及び割当制御システム200にも適用することができる。他の効果については、実施の形態1と同様である。
<変形例2-1>
次に、図21を参照して、変形例2-1に係る割当制御装置及び割当制御システムの構成例を説明する。本変形例2-1における専門処理部Cは、判別の結果を示す属性データと共に、判別に係る撮像データを属性割当部70に出力する。本変形例2-1における属性割当部70は、専門処理部Cから属性データ及び撮像データが出力されると、当該属性データが示す属性に対応する属性処理部Dに、当該撮像データを割り当てる。つまり、属性割当部70は、複数の専門処理部Cの各々から出力される属性データが示す属性に対応する属性処理部Dに対し、属性データと共に出力された撮像データを出力する。
次に、図21を参照して、変形例2-1に係る割当制御装置及び割当制御システムの構成例を説明する。本変形例2-1における専門処理部Cは、判別の結果を示す属性データと共に、判別に係る撮像データを属性割当部70に出力する。本変形例2-1における属性割当部70は、専門処理部Cから属性データ及び撮像データが出力されると、当該属性データが示す属性に対応する属性処理部Dに、当該撮像データを割り当てる。つまり、属性割当部70は、複数の専門処理部Cの各々から出力される属性データが示す属性に対応する属性処理部Dに対し、属性データと共に出力された撮像データを出力する。
本変形例2-1の属性処理部Dは、専門処理部Cと同程度の性能を有しており、図2に示す専門処理部Cと同様の機能的構成を備えている。属性処理部Dは、特定の種別における複数の属性のうちの何れかに特化した画像解析を行う機能を有している。すなわち、属性処理部Dは、ディープラーニング等の学習に基づくAIを搭載しており、撮像データに含まれる主たる物体の特徴量を抽出することで、属性をより細かく分類するものである。属性処理部Dは、属性割当部70から撮像データが出力されたとき、当該撮像データを解析して特徴量を抽出する。そして、属性処理部Dは、抽出した特徴量に応じた制御信号を生成し、生成した制御信号を少なくとも1つのアクチュエータXへ出力する。
本変形例2-1の更新処理装置80は、各属性処理部Dの制御プログラムを格納している。更新処理装置80は、属性処理部Dから送信される撮像データ及び解析結果等に基づく学習により制御プログラムを更新し、更新した制御プログラムを、予め設定されたタイミングで属性処理部Dへ送信する。これにより、各属性処理部Dは、制御プログラムのアップデートを行うことができる。
ところで、属性割当部70は、属性処理部Dに対し、撮像データと共に属性データを出力するようにしてもよい。そして、属性処理部Dは、特徴量の抽出処理に属性データを用いてもよい。
以上のように、本変形例2-1の割当制御装置110は、属性処理部Dに画像解析の機能をもたせている。よって、属性処理部Dは、少なくとも1つのアクチュエータXに対し、撮像データから抽出する特徴量に応じたより細かな指示を出すことができるため、アクチュエータ部90に、より有意な動作を実行させることができる。また、更新処理装置80は、専門処理部Cの解析結果と属性処理部Dの解析結果とを、専門処理部C及び属性処理部Dのそれぞれの制御プログラムの更新処理に活用することができる。そのため、制御プログラムの更新精度の向上を図ると共に、専門処理部C及び属性処理部Dの制御プログラムのアップデートの効率化を図ることができる。
<変形例2-2>
続いて、図22を参照して、変形例2-2に係る割当制御装置及び割当制御システムの構成例を説明する。すなわち、図18、図19、及び図21では、1つの基板に各構成部材が実装された割当制御装置110、又はワンチップで構成された割当制御装置110を想定しているが、これに限定されない。
続いて、図22を参照して、変形例2-2に係る割当制御装置及び割当制御システムの構成例を説明する。すなわち、図18、図19、及び図21では、1つの基板に各構成部材が実装された割当制御装置110、又はワンチップで構成された割当制御装置110を想定しているが、これに限定されない。
本変形例2-2の割当制御装置10は、各構成部材が2つの基板に実装された構成、又は2つのチップによる構成を採っている。より具体的に、割当制御装置110は、割当処理部20と複数の専門処理部C1~Cmとを有する第1制御装置110Aと、属性割当部70と複数の属性処理部D1~Dkとを有する第2制御装置110Bと、を有している。
以上のように、本変形例2-2の割当制御装置10は、第1制御装置110Aと第2制御装置110Bとの2つのパーツにより構成されている。よって、配置の自由度が増すと共に、保守及び管理が容易となるため、ユーザの利便性が向上する。もっとも、第2制御装置110Bには、変形例2-1の構成を適用してもよい。
実施の形態3.
図23を参照して、本発明の実施の形態3に係る割当制御システムの構成例について説明する。本実施の形態3における割当制御システム300は、割当制御装置10もしくは割当制御装置110を複数有する構成、又は割当制御装置10と割当制御装置110とを組み合わせた構成を採ることができる。図23では、割当制御システム300が、2つの割当制御装置10、2つの割当制御装置110、又は割当制御装置10と割当制御装置110とを有する構成例を示している。以降では、割当制御装置10と割当制御装置110とを総称する場合、符号を省略して「割当制御装置」と記載する。
図23を参照して、本発明の実施の形態3に係る割当制御システムの構成例について説明する。本実施の形態3における割当制御システム300は、割当制御装置10もしくは割当制御装置110を複数有する構成、又は割当制御装置10と割当制御装置110とを組み合わせた構成を採ることができる。図23では、割当制御システム300が、2つの割当制御装置10、2つの割当制御装置110、又は割当制御装置10と割当制御装置110とを有する構成例を示している。以降では、割当制御装置10と割当制御装置110とを総称する場合、符号を省略して「割当制御装置」と記載する。
割当制御システム300を構成する割当制御装置は、各専門処理部CがネットワークNを介して更新処理装置80に接続されている。変形例2-1の割当制御装置110の場合は、各属性処理部DもネットワークNを介して更新処理装置80に接続される。すなわち、割当制御システム300では、複数の割当制御装置から出力される撮像データ及び各専門処理部C等の解析結果を更新処理装置80に集約することができる。
本実施の形態3の更新処理装置80は、複数の割当制御装置から入力した撮像データを解析すると共に、解析した結果を専門処理部C又は属性処理部Dの制御プログラムの更新に反映させることができる。つまり、更新処理装置80は、各割当制御装置のそれぞれの複数の専門処理部Cから送信される撮像データ及び解析情報をもとに、複数の専門処理部Cのそれぞれの解析処理プログラム432を更新する。そして、更新処理装置80は、更新した解析処理プログラム432を各割当制御装置へ送信する。図21の構成にあっては、更新処理装置80は、各割当制御装置のそれぞれの複数の属性処理部Dから送信される撮像データ及び解析結果の情報をもとに、複数の属性処理部Dのそれぞれの解析処理プログラムを更新する。そして、更新処理装置80は、更新した解析処理プログラムを各割当制御装置へ送信する。
よって、割当制御システム300は、割当制御装置を1つだけ含む構成よりも、更新処理装置80が解析する撮像データの量が多くなることから、更新処理装置80による制御プログラムの更新精度が向上する。そのため、専門処理部C又は属性処理部Dの制御プログラムのアップデートを効率よく行うことができる。そして、割当制御システム300では、複数の割当制御装置が、ネットワークNを介して更新処理装置80に接続されるため、例えば、設置場所が大きく異なる複数の割当制御装置からの撮像データ及び撮像データの解析結果なども、更新処理装置80に集約し、活用することができる。
ところで、図23では、割当制御システム300が、アクチュエータ部90を含む例を示しているが、これに限定されず、アクチュエータ部90は、割当制御システム300の外部構成としてもよい。他の構成及び代替構成などは、上述した実施の形態1及び2と同様であり、他の効果についても、実施の形態1及び2と同様である。
上述した各実施の形態は、割当制御装置及び割当制御システムにおける好適な具体例であり、本発明の技術的範囲は、これらの態様に限定されるものではない。例えば、図4及び図5では、アクチュエータXb1~Xb4が、専門処理部Cからの制御信号に応じて、音又は音声だけでなく、超音波も出力できることを想定して説明したが、これに限定されない。アクチュエータ部90は、例えば、音の出力を専門とする1又は複数のアクチュエータX、音声の出力を専門とする1又は複数のアクチュエータX、超音波の出力を専門とする1又は複数のアクチュエータXなどを別々に有していてもよい。
図4及び図5では、アクチュエータXa1~Xa4が同質の発光手段であることを想定して説明したが、これに限定されない。アクチュエータ部90は、例えば、LEDなどの光源を含む1又は複数のアクチュエータX、ストロボを含む1又は複数のアクチュエータXなどを別々に有していてもよい。
図4及び図5では、飛行体500として、6つのモータMと6つのプロペラPとを搭載したドローンを例示したが、これに限定されない。飛行体500は、5つの以下又は7つ以上のモータM及びプロペラPを搭載したドローンであってよい。もっとも、各アクチュエータXの数及び配置、各専門処理部Cと各アクチュエータXとの接続関係などは、図4及び図5の構成に限定されず、適宜変更することができる。また、飛行体500は、飛行機、ヘリコプター、飛行船、又は気球などであってもよい。
図18、図19、図22では、属性処理部DとアクチュエータXとが1対1で対応づけられた例を示しているが、これに限らず、属性処理部Dが複数のアクチュエータXに制御信号を出力するように構成してもよい。このようにすれば、音又は音声の報知と発光とを組み合わせて行う等、撮像データの属性に応じたアクチュエータ部90の出力のバリエーションを増やすことができる。
更新処理装置80は、各専門処理部Cから種別データを取得し、種別の出現頻度等に応じて、割当頻度の低い種別の専門処理部Cの制御プログラムを、割当頻度の高い種別の制御プログラムに書き換えるようにしてもよい。このようにすれば、例えば、鳥の多い場所に割当制御装置に接続されたカメラAが配置された場合、種別「鳥」の専門処理部Cを事後的に増やすことができる。また、撮像データに含まれる物体が、曜日や時間帯などに応じて変化する場合にも、複数の専門処理部Cの適切な組み合わせを適時に実現することができる。
各実施の形態では、割当制御装置にデータを出力する機器として、1又は複数のカメラAを例示したが、これに限らず、割当制御装置には、データの出力元の機器として、各種のセンシングデバイスが接続されていてもよい。この場合、割当制御装置は、センシングデバイスから出力されるセンシングデータを用いた演算処理等を行う1又は複数の制御部を備えた構成を採るとよい。該制御部は、例えばCPU又はGPUを含んで構成される。すなわち、割当制御装置は、撮像データとセンシングデータとを用いて、1又は複数のアクチュエータXの動作を制御する。また、割当制御装置は、各種のセンシングデバイスが接続された外部機器と連携して、1又は複数のアクチュエータXの動作を制御するように構成してもよい。外部機器は、各種のセンシングデバイスから出力されるセンシングデータを用いた演算処理等を行うものである。
ここで、割当制御装置は、例えば、自動車の自動運転システムに適用することもできる。この場合、複数のカメラAは、それぞれ、自動車の内部又は外部を撮像するように配置される。したがって、複数のカメラAは、交通標識、信号機、路面の白線、前方又は後方の車両、対向車、自動二輪車、自転車、歩行者などの情報を含む撮像データを割当制御装置へ出力する。割当制御装置は、複数のカメラAのそれぞれから出力される撮像データに基づき、自動車を構成する各種のアクチュエータXの動作を制御する。割当制御装置は、データの出力元の機器として、ミリ波レーダ又はLiDAR(Light Detection And Ranging)などのセンシングデバイスが接続され、これらのセンシングデバイスからのセンシングデータを用いた演算処理等を行うようにしてもよい。この場合、割当制御装置は、撮像データとセンシングデータとを用いて、自動車を構成する各種のアクチュエータXの動作を制御する。また、割当制御装置は、ミリ波レーダ又はLiDARなどのセンシングデバイスが接続された外部機器と連携して、自動車を構成する各種のアクチュエータXの動作を制御してもよい。もっとも、割当制御装置は、GPS(Global Positioning System)を用いた処理が可能な構成としてもよく、GPSを用いた処理を行う外部機器と連携して、自動車を構成する各種のアクチュエータXの動作を制御してもよい。
ところで、割当制御装置を構成する複数の特定処理部Bは、例えばSoCとして1つのチップで形成してもよい。また、割当制御装置は、割当処理部20を1つのチップで形成してもよく、複数の専門処理部Cを1つのチップで形成してもよい。さらに、割当制御装置は、その全体を1つのチップで形成してもよい。図18、図19、図21、及び図22の構成例については、割当制御装置は、複数の属性処理部Dを1つのチップで形成してもよく、属性割当部70と複数の属性処理部Dとを組み合わせて1つのチップで形成してもよい。なお、特定処理部Bの制御部は、CPU又はGPUなどを含むSoCとして形成してもよい。また、特定処理部Bは、カメラAの内部に搭載されてもよい。各実施の形態では、種別及び属性の名称を括弧書きで例示したが、これらは説明の便宜上の記載であり、各名称を限定するものではない。注意喚起の台詞についても、適宜変更することができる。
10、110 割当制御装置、20 割当処理部、30 割当部、41 第1通信部、42 第2通信部、43 記憶部、43a メモリ手段、43b ストレージ手段、431 学習プログラム、432 解析処理プログラム、433 更新プログラム、44 制御部、44a 学習処理手段、44b 解析処理手段、44c 更新処理手段、50 統括更新部、70 属性割当部、80 更新処理装置、90 アクチュエータ部、90a 表示処理部、90b 表示部、95 表示制御装置、96 選定部、97 選定処理部、98 表示処理部、99 表示装置、100、200、300 割当制御システム、110A 第1制御装置、110B 第2制御装置、150A、150B 監視警告ユニット、151 筐体、151a 第1筐体、151b 第2筐体、152 脚部、160A、160B、161、161A、161B 信号機、400 画像表示システム、500 飛行体、510 本体、600 交通信号制御機、A、A1~An カメラ、B、B1~Bn 特定処理部、C、C1~Cm 専門処理部、D、D1~Dk 属性処理部、M モータ、N ネットワーク、P プロペラ、X、X1~Xk、Xa1~Xa4、Xb1~Xb4 アクチュエータ、X7a、X7b、X8a、X9a 表示板、Y、Y1~Y6 解析処理部。
Claims (35)
- 複数のカメラに接続された割当処理部と、
前記割当処理部に接続され、予め設定された複数の種別のうちの何れかに対応する複数の専門処理部と、を有し、
前記割当処理部は、
複数の前記カメラのそれぞれに1対1で接続されており、接続先の前記カメラから入力した撮像データが複数の前記種別のうちのどれであるかを特定し、特定した前記種別を示す種別データと共に当該撮像データを出力する複数の特定処理部と、
複数の前記特定処理部の各々から出力される前記種別データが示す前記種別に対応する前記専門処理部に、当該種別データと共に出力された前記撮像データを出力する割当部と、を有する、割当制御装置。 - 複数の前記専門処理部は、互いに異なる前記種別に対応する前記専門処理部を含む、請求項1に記載の割当制御装置。
- 複数の前記専門処理部は、全てが異なる前記種別に対応するものである、請求項1又は2に記載の割当制御装置。
- 複数の前記専門処理部は、同じ前記種別に対応する2以上の前記専門処理部を含む、請求項2に記載の割当制御装置。
- 前記専門処理部は、
前記割当部から前記撮像データが出力されたとき、当該撮像データが、出力元の前記特定処理部において特定された前記種別における複数の属性のうちのどれであるかを判別し、判別した前記属性に応じた処理を実行するものである、請求項1~4の何れか一項に記載の割当制御装置。 - 前記専門処理部は、
前記撮像データの前記属性に応じた制御信号を、制御対象となるアクチュエータへ出力するものである、請求項5に記載の割当制御装置。 - 複数の前記専門処理部に接続された属性割当部と、
前記属性割当部に接続されており、複数の属性のうちの何れかに対応する複数の属性処理部と、を有し、
前記専門処理部は、
前記割当部から前記撮像データが出力されたとき、当該撮像データが、出力元の前記特定処理部において特定された前記種別における複数の前記属性のうちのどれであるかを判別し、判別の結果を示す属性データを前記属性割当部に出力するものであり、
前記属性割当部は、
複数の前記専門処理部の各々から出力される前記属性データを、当該属性データが示す前記属性に対応する前記属性処理部へ出力するものであり、
前記属性処理部は、
前記属性割当部から前記属性データが出力されたとき、当該属性データに応じた処理を実行するものである、請求項1~4の何れか一項に記載の割当制御装置。 - 前記属性処理部は、
前記属性割当部から前記属性データが出力されたとき、当該属性データに応じた制御信号を、制御対象となるアクチュエータへ出力するものである、請求項7に記載の割当制御装置。 - 前記専門処理部は、
判別の結果を示す前記属性データと共に、判別に係る前記撮像データを、前記属性割当部に出力するものであり、
前記属性割当部は、
複数の前記専門処理部の各々から出力される前記属性データが示す前記属性に対応する前記属性処理部に、当該属性の判別に係る前記撮像データを出力するものであり、
前記属性処理部は、
前記属性割当部から前記撮像データが出力されたとき、当該撮像データを解析して特徴量を抽出し、抽出した前記特徴量に応じた制御信号を、制御対象となるアクチュエータへ出力するものである、請求項7に記載の割当制御装置。 - 前記専門処理部は、
前記属性の判別に関する解析処理プログラムを記憶する記憶部と、
前記撮像データと前記属性の判別の結果を含む解析情報とを、前記解析処理プログラムを更新する更新処理装置へ送信する制御部と、を有し、
前記制御部は、
前記更新処理装置から更新された前記解析処理プログラムが送信されたとき、当該解析処理プログラムにより前記記憶部内の前記解析処理プログラムをアップデートするものである、請求項5~9の何れか一項に記載の割当制御装置。 - 複数の前記専門処理部に接続された統括更新部をさらに有し、
前記専門処理部は、
前記属性の判別に関する解析処理プログラムを記憶する記憶部と、
前記撮像データと前記属性の判別の結果を含む解析情報とを前記統括更新部へ出力する制御部と、を有し、
前記統括更新部は、
複数の前記専門処理部の各々から出力される前記撮像データ及び前記解析情報を、前記解析処理プログラムを更新する更新処理装置へ送信すると共に、前記更新処理装置から更新された前記解析処理プログラムが送信されたとき、当該解析処理プログラムの前記属性に対応する前記専門処理部へ受け渡すものである、請求項5~9の何れか一項に記載の割当制御装置。 - 請求項5~9の何れか一項に記載の割当制御装置と、更新処理装置と、を有し、
前記専門処理部は、
前記属性の判別に関する解析処理プログラムを有すると共に、前記撮像データと前記属性の判別の結果を含む解析情報とを前記更新処理装置へ送信するものであり、
前記更新処理装置は、
複数の前記専門処理部から送信される前記撮像データ及び前記解析情報をもとに、複数の前記専門処理部のそれぞれの前記解析処理プログラムを更新し、更新した前記解析処理プログラムを各専門処理部へ送信するものである、割当制御システム。 - 請求項5~9の何れか一項に記載の割当制御装置と、更新処理装置と、を有し、
前記割当制御装置は、
複数の前記専門処理部に接続された統括更新部をさらに有し、
前記専門処理部は、
前記属性の判別に関する解析処理プログラムを有すると共に、前記撮像データと前記属性の判別の結果を含む解析情報とを前記統括更新部へ出力するものであり、
前記統括更新部は、
複数の前記専門処理部の各々から出力される前記撮像データ及び前記解析情報を前記更新処理装置へ送信するものであり、
前記更新処理装置は、
前記統括更新部から送信される前記撮像データ及び前記解析情報をもとに、複数の前記専門処理部のそれぞれの前記解析処理プログラムを更新し、更新した前記解析処理プログラムを前記統括更新部を介して各専門処理部へ送信するものである、割当制御システム。 - 請求項5~9の何れか一項に記載の割当制御装置を複数有すると共に、更新処理装置を有し、
前記専門処理部は、
前記属性の判別に関する解析処理プログラムを有すると共に、前記撮像データと前記属性の判別の結果を含む解析情報とを前記更新処理装置へ送信するものであり、
前記更新処理装置は、
各割当制御装置のそれぞれの複数の前記専門処理部から送信される前記撮像データ及び前記解析情報をもとに、複数の前記専門処理部のそれぞれの前記解析処理プログラムを更新し、更新した前記解析処理プログラムを各割当制御装置へ送信するものである、割当制御システム。 - 請求項5に記載の割当制御装置と、
前記割当制御装置による制御対象となる1又は複数のアクチュエータと、を有し、
前記専門処理部は、
前記撮像データの前記属性に応じた制御信号を1又は複数の前記アクチュエータへ出力するものである、割当制御システム。 - 請求項7に記載の割当制御装置と、
前記割当制御装置による制御対象となる1又は複数のアクチュエータと、を有し、
前記属性処理部は、
前記属性割当部から前記属性データが出力されたとき、当該属性データに応じた制御信号を1又は複数の前記アクチュエータへ出力するものである、割当制御システム。 - カメラに接続された割当処理部と、
前記割当処理部に接続され、予め設定された複数の種別のうちの何れかに対応する複数の専門処理部と、
複数の前記専門処理部に接続された属性割当部と、
前記属性割当部に接続されており、複数の属性のうちの何れかに対応する複数の属性処理部と、を有し、
前記割当処理部は、
前記カメラに接続されており、前記カメラから入力した撮像データが複数の前記種別のうちのどれであるかを特定し、特定した前記種別を示す種別データと共に当該撮像データを出力する特定処理部と、
前記特定処理部から出力される前記種別データが示す前記種別に対応する前記専門処理部に、当該種別データと共に出力された前記撮像データを出力する割当部と、を有し、
前記専門処理部は、
前記割当部から前記撮像データが出力されたとき、当該撮像データが、出力元の前記特定処理部において特定された前記種別における複数の前記属性のうちのどれであるかを判別し、判別の結果を示す属性データを前記属性割当部に出力するものであり、
前記属性割当部は、
複数の前記専門処理部の各々から出力される前記属性データを、当該属性データが示す前記属性に対応する前記属性処理部へ出力するものであり、
前記属性処理部は、
前記属性割当部から前記属性データが出力されたとき、当該属性データに応じた処理を実行するものである、割当制御装置。 - カメラに接続された割当処理部と、
前記割当処理部に接続され、予め設定された複数の種別のうちの何れかに対応する複数の専門処理部と、
複数の前記専門処理部に接続された統括更新部と、を有し、
前記割当処理部は、
前記カメラに接続されており、前記カメラから入力した撮像データが複数の前記種別のうちのどれであるかを特定し、特定した前記種別を示す種別データと共に当該撮像データを出力する特定処理部と、
前記特定処理部から出力される前記種別データが示す前記種別に対応する前記専門処理部に、当該種別データと共に出力された前記撮像データを出力する割当部と、を有し、
前記専門処理部は、
前記割当部から前記撮像データが出力されたとき、当該撮像データが、出力元の前記特定処理部において特定された前記種別における複数の属性のうちのどれであるかを判別し、判別した前記属性に応じた処理を実行する制御部と、
前記属性の判別に関する解析処理プログラムを記憶する記憶部と、
を有し、
前記制御部は、
前記撮像データと前記属性の判別の結果を含む解析情報とを前記統括更新部へ出力する機能を有し、
前記統括更新部は、
複数の前記専門処理部の各々から出力される前記撮像データ及び前記解析情報を、前記解析処理プログラムを更新する更新処理装置へ送信すると共に、前記更新処理装置から更新された前記解析処理プログラムが送信されたとき、当該解析処理プログラムの前記属性に対応する前記専門処理部へ受け渡すものである、割当制御装置。 - 請求項17に記載の割当制御装置と、
前記割当制御装置による制御対象となる1又は複数のアクチュエータと、を有し、
前記属性処理部は、
前記属性割当部から前記属性データが出力されたとき、当該属性データに応じた制御信号を1又は複数の前記アクチュエータへ出力するものである、割当制御システム。 - カメラに接続された割当処理部と、前記割当処理部に接続され、予め設定された複数の種別のうちの何れかに対応する複数の専門処理部と、複数の前記専門処理部に接続された統括更新部と、を有する割当制御装置と、
更新処理装置と、を有し、
前記割当処理部は、
前記カメラに接続されており、前記カメラから入力した撮像データが複数の前記種別のうちのどれであるかを特定し、特定した前記種別を示す種別データと共に当該撮像データを出力する特定処理部と、
前記特定処理部から出力される前記種別データが示す前記種別に対応する前記専門処理部に、当該種別データと共に出力された前記撮像データを出力する割当部と、を有し、
前記専門処理部は、
前記割当部から前記撮像データが出力されたとき、当該撮像データが、出力元の前記特定処理部において特定された前記種別における複数の属性のうちのどれであるかを判別し、判別した前記属性に応じた処理を実行するものであり、
前記属性の判別に関する解析処理プログラムを有すると共に、前記撮像データと前記属性の判別の結果を含む解析情報とを前記統括更新部へ出力するものであり、
前記統括更新部は、
複数の前記専門処理部の各々から出力される前記撮像データ及び前記解析情報を前記更新処理装置へ送信するものであり、
前記更新処理装置は、
前記統括更新部から送信される前記撮像データ及び前記解析情報をもとに、複数の前記専門処理部のそれぞれの前記解析処理プログラムを更新し、更新した前記解析処理プログラムを前記統括更新部を介して各専門処理部へ送信するものである、割当制御システム。 - カメラに接続された割当処理部と、
前記割当処理部に接続され、予め設定された複数の種別のうちの何れかに対応する複数の専門処理部と、を有し、
前記割当処理部は、
前記カメラに接続されており、前記カメラから入力した撮像データに含まれる主たる物体の種類を前記種別として特定し、特定した前記種別を示す種別データと共に当該撮像データを出力する特定処理部と、
前記特定処理部から出力される前記種別データが示す前記種別に対応する専門処理部に、当該種別データと共に出力された前記撮像データを出力する割当部と、を有するものである、割当制御装置。 - カメラに接続された割当処理部と、
前記割当処理部に接続され、予め設定された複数の種別のうちの何れかに対応する複数の専門処理部と、を有し、
前記割当処理部は、
前記カメラに接続されており、前記カメラから入力した撮像データに含まれる人の主たる年齢層を前記種別として特定し、特定した前記種別を示す種別データと共に当該撮像データを出力する特定処理部と、
前記特定処理部から出力される前記種別データが示す前記種別に対応する専門処理部に、当該種別データと共に出力された前記撮像データを出力する割当部と、を有するものである、割当制御装置。 - 前記専門処理部は、
前記割当部から前記撮像データが出力されたとき、当該撮像データが、出力元の前記特定処理部において特定された前記種別における複数の属性のうちのどれであるかを判別し、判別した前記属性に応じた処理を実行するものである、請求項22に記載の割当制御装置。 - 前記専門処理部は、
前記属性として、前記撮像データに歩行中の人が相対的に多く含まれるか否かを判別するものである、請求項23に記載の割当制御装置。 - 前記専門処理部は、
前記撮像データに歩行中の人が相対的に多く含まれると判別した場合、当該撮像データに含まれる人の数が第1閾値以上であるか否かを判定し、判定の結果に応じて異なる処理を実行するものである、請求項24に記載の割当制御装置。 - 前記専門処理部は、
前記撮像データに歩行中の人が相対的に多く含まれないと判別した場合、当該撮像データに含まれる人の数が第2閾値以上であるか否かを判定し、判定の結果に応じて異なる処理を実行するものである、請求項23又は24に記載の割当制御装置。 - カメラに接続された割当処理部と、
前記割当処理部に接続され、予め設定された複数の種別のうちの何れかに対応する複数の専門処理部と、を有し、
前記割当処理部は、
前記カメラに接続されており、前記カメラから入力した撮像データに歩行中の人が相対的に多く含まれるか否かを前記種別として特定し、特定した前記種別を示す種別データと共に当該撮像データを出力する特定処理部と、
前記特定処理部から出力される前記種別データが示す前記種別に対応する専門処理部に、当該種別データと共に出力された前記撮像データを出力する割当部と、を有するものである、割当制御装置。 - 前記専門処理部は、
前記割当部から前記撮像データが出力されたとき、当該撮像データが、出力元の前記特定処理部において特定された前記種別における複数の属性のうちのどれであるかを判別し、判別した前記属性に応じた処理を実行するものである、請求項27に記載の割当制御装置。 - 前記専門処理部は、
前記属性として、前記撮像データに含まれる人の主たる年齢層を判別するものである、請求項28に記載の割当制御装置。 - 前記専門処理部は、
前記撮像データに含まれる人の主たる年齢層を判別した後、当該撮像データに含まれる人の数が閾値以上であるか否かを判定し、判定の結果に応じて異なる処理を実行するものである、請求項28に記載の割当制御装置。 - 請求項23~26、28~30の何れか一項に記載の割当制御装置と、表示装置と、を有し、
前記専門処理部は、
判別した前記属性に応じた動画又は静止画を前記表示装置に表示させるものである、割当制御システム。 - 複数のカメラに1対1で接続された複数の特定処理部が、それぞれ、
前記カメラから入力した撮像データが予め設定された複数の種別のうちのどれであるかを特定し、
特定した前記種別を示す種別データと共に当該撮像データを出力し、
複数の前記種別のうちの何れかに対応する複数の専門処理部に接続された割当部が、
複数の前記特定処理部の各々から出力される前記種別データが示す前記種別に対応する前記専門処理部に、当該種別データと共に出力された前記撮像データを出力する、割当制御方法。 - カメラに接続された特定処理部が、
前記カメラから入力した撮像データに含まれる主たる物体の種類を、当該撮像データの種別として特定し、
特定した前記種別を示す種別データと共に当該撮像データを出力し、
複数の前記種別のうちの何れかに対応する複数の専門処理部に接続された割当部が、
前記特定処理部から出力される前記種別データが示す前記種別に対応する前記専門処理部に、当該種別データと共に出力された前記撮像データを出力する、割当制御方法。 - カメラに接続された特定処理部が、
前記カメラから入力した撮像データに含まれる人の主たる年齢層を、当該撮像データの種別として特定し、
特定した前記種別を示す種別データと共に当該撮像データを出力し、
複数の前記種別のうちの何れかに対応する複数の専門処理部に接続された割当部が、
前記特定処理部から出力される前記種別データが示す前記種別に対応する前記専門処理部に、当該種別データと共に出力された前記撮像データを出力する、割当制御方法。 - カメラに接続された特定処理部が、
前記カメラから入力した撮像データに歩行中の人が相対的に多く含まれるか否かを、当該撮像データの種別として特定し、
特定した前記種別を示す種別データと共に当該撮像データを出力し、
複数の前記種別のうちの何れかに対応する複数の専門処理部に接続された割当部が、
前記特定処理部から出力される前記種別データが示す前記種別に対応する前記専門処理部に、当該種別データと共に出力された前記撮像データを出力する、割当制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/774,640 US11842557B2 (en) | 2019-11-18 | 2020-11-08 | Assignment control apparatus, assignment control system, and assignment control method |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-207572 | 2019-11-18 | ||
JP2019207572A JP6703236B1 (ja) | 2019-11-18 | 2019-11-18 | 割当制御装置、割当制御システム、及び割当制御方法 |
JP2020-068708 | 2020-04-07 | ||
JP2020068708A JP6747704B1 (ja) | 2020-04-07 | 2020-04-07 | 割当制御装置、割当制御システム、及び割当制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021100502A1 true WO2021100502A1 (ja) | 2021-05-27 |
Family
ID=75981221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/041639 WO2021100502A1 (ja) | 2019-11-18 | 2020-11-08 | 割当制御装置、割当制御システム、及び割当制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11842557B2 (ja) |
WO (1) | WO2021100502A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7324791B2 (ja) * | 2021-03-09 | 2023-08-10 | 本田技研工業株式会社 | 画像収集システム、及び画像収集方法 |
US11895387B2 (en) * | 2022-07-08 | 2024-02-06 | I & EyeEnterprises, LLC | Modular camera that uses artificial intelligence to categorize photos |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005322952A (ja) * | 2004-05-06 | 2005-11-17 | Casio Comput Co Ltd | 画像管理システムおよびデジタルカメラおよび管理装置並びにそれらのプログラム |
JP2006085278A (ja) * | 2004-09-14 | 2006-03-30 | Sharp Corp | 画像処理システム、画像処理装置、アルゴリズム作成装置、画像検査装置、コンピュータを画像処理装置として機能させるためのプログラム、コンピュータをアルゴリズム作成装置として機能させるためのプログラム、および記録媒体 |
JP2010272109A (ja) * | 2009-04-20 | 2010-12-02 | Fujifilm Corp | 画像処理装置、画像処理方法およびプログラム |
JP2011164982A (ja) * | 2010-02-10 | 2011-08-25 | Hitachi Automotive Systems Ltd | 車載画像処理装置 |
CN104063150A (zh) * | 2014-06-30 | 2014-09-24 | 惠州Tcl移动通信有限公司 | 通过人脸识别进入对应场景模式的移动终端及其实现方法 |
JP2015001978A (ja) * | 2013-06-17 | 2015-01-05 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 把持された物体を用いたモーション認識方法及びその装置並びにシステム |
JP2015135552A (ja) * | 2014-01-16 | 2015-07-27 | 株式会社デンソー | 学習システム、車載装置、及び、サーバ |
US20170004380A1 (en) * | 2015-07-01 | 2017-01-05 | Mediatek Inc. | Object analyzing method and object analyzing system |
JP2017091232A (ja) * | 2015-11-11 | 2017-05-25 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
JP2017224935A (ja) * | 2016-06-14 | 2017-12-21 | 株式会社日立ソリューションズ | 物体検知評価システム及び物体検知評価方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7724962B2 (en) * | 2006-07-07 | 2010-05-25 | Siemens Corporation | Context adaptive approach in vehicle detection under various visibility conditions |
US20080232682A1 (en) * | 2007-03-19 | 2008-09-25 | Kumar Eswaran | System and method for identifying patterns |
US20120033123A1 (en) * | 2010-08-06 | 2012-02-09 | Nikon Corporation | Information control apparatus, data analyzing apparatus, signal, server, information control system, signal control apparatus, and program |
US9928605B2 (en) * | 2015-09-25 | 2018-03-27 | Intel Corporation | Real-time cascaded object recognition |
US10878219B2 (en) * | 2016-07-21 | 2020-12-29 | Siemens Healthcare Gmbh | Method and system for artificial intelligence based medical image segmentation |
US10490066B2 (en) * | 2016-12-29 | 2019-11-26 | X Development Llc | Dynamic traffic control |
US10878342B2 (en) * | 2017-03-30 | 2020-12-29 | Intel Corporation | Cloud assisted machine learning |
US10891485B2 (en) * | 2017-05-16 | 2021-01-12 | Google Llc | Image archival based on image categories |
CN107492099B (zh) * | 2017-08-28 | 2021-08-20 | 京东方科技集团股份有限公司 | 医学图像分析方法、医学图像分析系统以及存储介质 |
GB2575852B (en) * | 2018-07-26 | 2021-06-09 | Advanced Risc Mach Ltd | Image processing |
US10839230B2 (en) * | 2018-09-06 | 2020-11-17 | Ford Global Technologies, Llc | Multi-tier network for task-oriented deep neural network |
US11144749B1 (en) * | 2019-01-09 | 2021-10-12 | Idemia Identity & Security USA LLC | Classifying camera images to generate alerts |
-
2020
- 2020-11-08 WO PCT/JP2020/041639 patent/WO2021100502A1/ja active Application Filing
- 2020-11-08 US US17/774,640 patent/US11842557B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005322952A (ja) * | 2004-05-06 | 2005-11-17 | Casio Comput Co Ltd | 画像管理システムおよびデジタルカメラおよび管理装置並びにそれらのプログラム |
JP2006085278A (ja) * | 2004-09-14 | 2006-03-30 | Sharp Corp | 画像処理システム、画像処理装置、アルゴリズム作成装置、画像検査装置、コンピュータを画像処理装置として機能させるためのプログラム、コンピュータをアルゴリズム作成装置として機能させるためのプログラム、および記録媒体 |
JP2010272109A (ja) * | 2009-04-20 | 2010-12-02 | Fujifilm Corp | 画像処理装置、画像処理方法およびプログラム |
JP2011164982A (ja) * | 2010-02-10 | 2011-08-25 | Hitachi Automotive Systems Ltd | 車載画像処理装置 |
JP2015001978A (ja) * | 2013-06-17 | 2015-01-05 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 把持された物体を用いたモーション認識方法及びその装置並びにシステム |
JP2015135552A (ja) * | 2014-01-16 | 2015-07-27 | 株式会社デンソー | 学習システム、車載装置、及び、サーバ |
CN104063150A (zh) * | 2014-06-30 | 2014-09-24 | 惠州Tcl移动通信有限公司 | 通过人脸识别进入对应场景模式的移动终端及其实现方法 |
US20170004380A1 (en) * | 2015-07-01 | 2017-01-05 | Mediatek Inc. | Object analyzing method and object analyzing system |
JP2017091232A (ja) * | 2015-11-11 | 2017-05-25 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
JP2017224935A (ja) * | 2016-06-14 | 2017-12-21 | 株式会社日立ソリューションズ | 物体検知評価システム及び物体検知評価方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220392247A1 (en) | 2022-12-08 |
US11842557B2 (en) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10726687B2 (en) | Directed alert notification by autonomous-driving vehicle | |
US20200302161A1 (en) | Scenario recreation through object detection and 3d visualization in a multi-sensor environment | |
US11354913B1 (en) | Systems and methods for improving vehicle predictions using point representations of scene | |
US11155205B2 (en) | Communications for autonomous vehicles | |
WO2021100502A1 (ja) | 割当制御装置、割当制御システム、及び割当制御方法 | |
US20220137624A1 (en) | On-site notification from autonomous vehicle for traffic safety | |
JP2018084955A (ja) | 無人航空機 | |
US11094191B2 (en) | Distributed safety infrastructure for autonomous vehicles and methods of use | |
CN113261009A (zh) | 分层机器学习网络架构 | |
CN107450529A (zh) | 用于自动驾驶车辆的改进的物体检测 | |
US20200233422A1 (en) | Active off-vehicle notification to autonomous-driving vehicle | |
US20220373354A1 (en) | Automatic generation of vector map for vehicle navigation | |
CN110864913A (zh) | 车辆测试方法、装置、计算机设备及存储介质 | |
US20200142413A1 (en) | Configurable illumination on region of interest for autonomous driving | |
JP6703236B1 (ja) | 割当制御装置、割当制御システム、及び割当制御方法 | |
JP6747704B1 (ja) | 割当制御装置、割当制御システム、及び割当制御方法 | |
CN117649643A (zh) | 一种基于人工智能指示牌的交通预警方法及交通指示牌 | |
Trivedi et al. | Review paper on intelligent traffic control system using computer vision for smart city | |
US11961392B2 (en) | Worker-in-the-loop real time safety system for short-duration highway workzones | |
KR20200029652A (ko) | 카메라 기반의 차선 변경 가능 시점을 학습하는 방법 및 시스템, 그리고 차선 변경 가능 시점을 예측하는 방법 및 시스템 | |
US20220292749A1 (en) | Scene content and attention system | |
KR102676130B1 (ko) | 인공지능을 이용하여 객체를 트랙킹하는 고보 조명 시스템 | |
KR102648144B1 (ko) | 횡단보도용 스마트 신호등 안내 시스템 | |
JP7548429B2 (ja) | 街路灯システム及びプログラム | |
US20240246571A1 (en) | Mitigating outage of service provided by autonomous vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20889706 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20889706 Country of ref document: EP Kind code of ref document: A1 |