WO2022004412A1 - 情報処理装置、情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2022004412A1
WO2022004412A1 PCT/JP2021/023052 JP2021023052W WO2022004412A1 WO 2022004412 A1 WO2022004412 A1 WO 2022004412A1 JP 2021023052 W JP2021023052 W JP 2021023052W WO 2022004412 A1 WO2022004412 A1 WO 2022004412A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
sensor device
unit
information
service server
Prior art date
Application number
PCT/JP2021/023052
Other languages
English (en)
French (fr)
Inventor
博隆 石川
諭 渡辺
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to JP2022533849A priority Critical patent/JPWO2022004412A1/ja
Priority to US18/001,721 priority patent/US20230319397A1/en
Priority to CN202180045252.4A priority patent/CN116018814A/zh
Publication of WO2022004412A1 publication Critical patent/WO2022004412A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, for example, an information processing device, an information processing method, and a program capable of appropriately sharing processing according to a situation.
  • surveillance cameras and the like have been installed everywhere on the streets, and in-vehicle cameras that can capture the surrounding environment of the vehicle are also installed in the traveling vehicle, making it easy to capture images in various places. It is becoming possible to obtain it.
  • a surveillance camera or the like analyzes a captured image to detect a person or recognize a specific person.
  • Patent Document 1 proposes adjusting the complexity of a video stream based on the remaining battery power.
  • the information processing device of one aspect of the present technology includes a mode switching unit that switches modes according to at least one of the remaining battery level and heat, and the mode switching unit executes a predetermined process by the first device.
  • the mode is switched between the first mode and the second mode in which the predetermined process is executed by the second device.
  • the information processing method of one aspect of the present technology is a first mode in which the information processing apparatus executes a predetermined process in the first apparatus according to at least one of the remaining amount of the battery and the heat, and the second apparatus. To switch between the second mode for executing the predetermined process and the second mode.
  • a program of one aspect of the present technology comprises a first mode in which a computer performs a predetermined process in a first device depending on at least one of the remaining battery power or heat, and the predetermined device in the second device. The process of switching from the second mode for executing the process is executed.
  • the second mode for executing a predetermined process is switched.
  • the information processing device may be an independent device or an internal block constituting one device.
  • the program can be provided by transmitting via a transmission medium or by recording on a recording medium.
  • FIG. 1 is a system diagram showing a schematic functional configuration of the data distribution system 1 according to the embodiment of the present disclosure.
  • the data distribution system 1 according to the present embodiment includes a plurality of sensor devices 10a, 10b, 10c, a service server 20, a plurality of user devices 30a, 30b, 30c, and an authentication server. 40 can be mainly included.
  • Each of these devices is connected to a network (not shown) via, for example, a base station (not shown) (for example, a base station of a mobile phone, an access point of a wireless LAN (Local Area Network), etc.), so that data can be obtained.
  • the distribution system 1 will be constructed.
  • any method can be applied regardless of whether it is wired or wireless (for example, 5th generation communication system, WiFi (registered trademark), Bluetooth (registered trademark), etc.).
  • a communication method capable of stably transmitting a large amount of data at high speed can be used.
  • the sensor device 10 and the user device (request source) 30 included in the data distribution system 1 are not limited to three as shown in FIG. 1, but relate to the present embodiment.
  • the data distribution system 1 may include three or more of each. That is, the data distribution system 1 according to the present embodiment can manage a plurality of sensor devices 10, receive requests from a plurality of user devices 30, and transmit data to them. The outline of each device included in the data distribution system 1 according to the present embodiment will be described below.
  • the sensor device 10 acquires sensing data (for example, image, voice, etc.) of the installed surrounding environment, and distributes data (predetermined data) acquired from the acquired sensing data to the outside of the user device 30 or the like, which will be described later. Can be sent to the device. Further, it is desirable that the sensor device 10 is equipped with an AI (Artificial Intelligence) function, and the acquired sensing data is a request (delivery request) from the user based on the recognition model transmitted from the service server 20 described later. It is possible to recognize whether or not it corresponds to.
  • the sensor device 10 functions as an information processing device that handles sensing data.
  • the sensor device 10 is an image pickup device (camera) mounted on a moving body such as an automobile, an image pickup device mounted on a smartphone carried by a user, or an image pickup device such as a surveillance camera installed at home or a store.
  • the sensing data will be an image.
  • these image pickup devices collect light from a subject located in the surroundings to form an optical image on the image pickup surface, and convert the light image formed on the image pickup surface into an electrical image signal. By doing so, the image can be acquired.
  • moving objects are automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots (mobile robots), etc. It can be a construction machine, an agricultural machine (tractor), etc.
  • the sensor device 10 is not limited to the above-mentioned imaging device.
  • the sensor device 10 includes a depth sensor that measures the distance (depth) to the subject, a sound collecting device such as a microphone that collects the sound of the surrounding environment, a temperature sensor that measures the temperature and humidity of the surrounding environment, and a humidity sensor.
  • a water level sensor or the like that measures the water level of a river or the like may be used.
  • the internal configuration of the sensor device 10 is not basically limited as long as it has an interface (data transfer format, data transfer method, etc.) common to the data distribution system 1. Therefore, the data distribution system 1 according to the present embodiment can incorporate various sensor devices 10 having different specifications. The detailed configuration of the sensor device 10 will be described later.
  • the service server 20 is a computer that receives a distribution request requesting distribution of distribution data that can be generated from the sensing data from the user device 30 described later. Further, the service server 20 functions as an information processing device that exchanges data with the sensor device 10 and the user device 30 and processes the data.
  • the service server 20 can integrate a plurality of distribution requests (requests), generate a recognition model according to the distribution request, and transmit the generated recognition model to the sensor device 10 described above.
  • the recognition model will be used for recognition by the sensor device 10, and the details will be described later.
  • the service server 20 can also receive distribution data from the sensor device 10 and transmit the received distribution data to the user device 30 corresponding to the distribution request, if necessary.
  • the service server 20 can be realized by hardware such as a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random ACCESS Memory). The detailed configuration of the service server 20 will be described later.
  • the user device 30 is carried by the user or installed in the vicinity of the user, receives information input from the user, and transmits the received information to the service server 20 as a distribution request, or distribution data related to the distribution request. It is a terminal that can receive.
  • the user device 30 is an information processing device such as a tablet PC (Personal Computer), a smartphone, a mobile phone, a laptop PC, a mobile terminal such as a notebook PC, and a wearable device such as an HMD (Head Mounted Display). Can be done.
  • the user device 30 includes a display unit (not shown) that displays to the user, an operation unit (not shown) that accepts operations from the user, and a speaker (not shown) that outputs voice to the user. Omitted) etc. may be possessed.
  • an application (application) common to the data distribution system 1 or an application having specifications common to the service server 20 described above can be installed on the user device 30.
  • the user device 30 can generate and send a distribution request and receive distribution data having a format common to the data distribution system 1. ..
  • the user sends a delivery request to the service server 20 via the user device 30.
  • the delivery request includes information that specifies the content (data type) of the data requested by the user to be delivered.
  • the delivery request includes objects (eg, faces, people, animals, moving objects, texts, roads (sideways, crosswalks, road widths, signs, etc.), logos, barcodes, etc.) for which delivery is requested.
  • It may include object information consisting of information (data type) that specifies what information about the object (eg quantity, speed, position, state, age, gender, identified name, estimation result, etc.) is requested. can.
  • the delivery request can include data format information that specifies the data format (for example, image, text, etc.) of the delivery data. Further, the delivery request can include identification information (ID (identification)) of the user or the user device 30.
  • ID identification
  • the delivery request may include various data used when the service server 20 generates a recognition model (details will be described later).
  • the above distribution request has a data format common to the data distribution system 1.
  • the delivery request can include a character string or a number string corresponding to the object information or the data format information.
  • the corresponding character string or number string is determined in advance, and the database (not shown) is stored in the storage unit (not shown) owned by the service server 20. Store as.
  • the service server 20 can recognize the object information and the data format information corresponding to the character string or the like included in the delivery request by referring to the above database. Further, when the character string or the like corresponding to the object information and the data format information desired by the user does not exist in the database, the object information and the data format information may be directly described in the delivery request. .. Alternatively, in this case, a character string corresponding to the object information and data format information desired by the user may be newly determined, and the determined character string or the like may be described in the distribution request and the database.
  • the authentication server 40 receives the respective authentication information (ID) from the sensor device 10 and the service server 20, and each of these devices provides or is provided with the service by the data distribution system 1 according to the present embodiment. It is a computer that determines whether or not it has authority. Further, the authentication server 40 transmits a key for accessing the service, a command for providing the service, a command for providing the service, and the like to the authorized device.
  • ID authentication information
  • the authentication server 40 receives the respective authentication information (ID) from the sensor device 10 and the service server 20, and each of these devices provides or is provided with the service by the data distribution system 1 according to the present embodiment. It is a computer that determines whether or not it has authority. Further, the authentication server 40 transmits a key for accessing the service, a command for providing the service, a command for providing the service, and the like to the authorized device.
  • the above authentication information shall have a data format common to the data distribution system 1. That is, the authentication server 40 is used as an authentication API (Application Programming Interface), and can authenticate the sensor device 10 and the service server 20 and associate them with each other.
  • the data distribution system 1 secures the security of the data distribution system 1 by incorporating such an authentication server 40, and each sensor device 10 is connected to each user device 30 via the service server 20. Can be linked with.
  • the authentication server 40 can be realized by hardware such as a CPU, ROM, and RAM. The authentication server 40 may authenticate the user device 30.
  • the sensor device 10 and the service server 20 do not have to be realized by a single device, and various wired or wireless networks (not shown) are provided. It may be realized by a plurality of devices connected via and cooperate with each other.
  • FIG. 2 is a block diagram showing a functional configuration example of the sensor device 10 according to the present embodiment.
  • the sensor device 10 mainly includes a sensor unit 100, a positioning unit 110, a processing unit 130, a storage unit 160, and a communication unit 170.
  • each functional block of the sensor device 10 will be sequentially described.
  • the sensor unit 100 acquires the sensing data and outputs the acquired sensing data to the processing unit 130 described later.
  • the sensor unit 100 includes an image pickup optical system such as a photographing lens and a zoom lens that collects light emitted from a subject, and a CCD (Charge Coupled Device).
  • the sensor unit 100 will have an image pickup device such as CMOS (Complementary Metal Oxide Semiconductor).
  • the sensor unit 100 may be provided so as to be fixed in the sensor device 10, or may be provided in the sensor device 10 so as to be removable.
  • the sensor unit 100 may include a TOF (Time of Flight) sensor (not shown) as a depth sensor in addition to the image pickup device.
  • the TOF sensor can acquire shape information (depth information / image) such as the distance between the TOF sensor and the subject and unevenness by directly or indirectly measuring the return time of the reflected light from the subject. can.
  • the sensor unit 100 may include a sound collecting device (microphone), a temperature sensor, a pressure sensor, a humidity sensor, a wind direction / wind speed sensor, a sunshine sensor, a precipitation sensor, a water level sensor, and the like, and senses data from the surrounding environment. It is not particularly limited as long as it can be obtained.
  • the positioning unit 110 acquires the positioning data of the sensor device 10 when the sensing data corresponding to the distribution request is acquired, and outputs the acquired positioning data to the processing unit 130 (specifically, the data generation unit 144). ..
  • the positioning data is transmitted to the user device 30 by the distribution unit 146 of the processing unit 130, which will be described later, together with the distribution data.
  • the positioning unit 110 can be a GNSS (Global Navigation Satellite System) receiver or the like.
  • the positioning unit 110 can generate positioning data indicating the latitude and longitude of the current location of the sensor device 10 based on the signal from the GNSS satellite.
  • RFID Radio Frequency Identification
  • Wi-Fi access point and radio base station
  • the positioning unit 110 may not be provided in the sensor device 10.
  • the processing unit 130 has a function of processing the sensing data acquired by the sensor unit 100 and generating distribution data.
  • the processing unit 130 is realized by, for example, a processing circuit such as a CPU or GPU (Graphics Processing Unit), a ROM, a RAM, or the like.
  • the processing unit 130 includes an ID transmission unit 132, a key reception unit 134, a sensor data acquisition unit 136, a preprocessing unit 138, a model acquisition unit 140, and a recognition unit 142. And a data generation unit 144 and a distribution unit 146. The details of each functional unit included in the processing unit 130 will be described below.
  • the ID transmission unit 132 transmits the authentication information (ID) of the sensor device 10 to the authentication server 40 via the communication unit 170 described later.
  • the authentication information is used on the authentication server 40 when the sensor device 10 determines whether or not the sensor device 10 has the authority to provide the service by the data distribution system 1 according to the present embodiment.
  • the data distribution system 1 according to the present embodiment secures the security of the data distribution system 1 by such authentication.
  • the key receiving unit 134 receives a key that enables access to the service transmitted from the authentication server 40, a command for providing the service, and the like via the communication unit 170 described later, and receives the received key and the like. It is output to the model acquisition unit 140, which will be described later.
  • the model acquisition unit 140 can acquire a recognition model from the service server 20 by using the key or the like received by the key reception unit 134.
  • the sensor data acquisition unit 136 controls the sensor unit 100 to acquire the sensing data output from the sensor unit 100, and outputs the acquired sensing data to the preprocessing unit 138 or the recognition unit 142, which will be described later.
  • the preprocessing unit 138 outputs from the sensor data acquisition unit 136 according to the information included in the recognition model acquired by the model acquisition unit 140, which will be described later (for example, information on the teacher data used when generating the recognition model).
  • the preprocessed sensing data is preprocessed, and the preprocessed sensing data is output to the recognition unit 142 described later.
  • the recognition unit 142 recognizes whether or not the sensing data corresponds to the delivery request by using the recognition model corresponding to the delivery request obtained by machine learning. Therefore, by performing preprocessing so that the sensing data has a form close to the recognition model, it is possible to provide the recognition unit 142 with the sensing data suitable for the above recognition. As a result, according to the present embodiment, the recognition accuracy of the recognition unit 142 can be improved. The details of the pretreatment in the pretreatment unit 138 will be described later.
  • the model acquisition unit 140 acquires a recognition model corresponding to the distribution request from the service server 20 via the communication unit 170 described later, and outputs the acquired recognition model to the preprocessing unit 138 and the recognition unit 142.
  • the details of the recognition model will be described later.
  • the recognition unit 142 uses the AI function or the like to obtain the sensing data output from the sensor data acquisition unit 136 or the sensing preprocessed by the preprocessing unit 138 based on the recognition model output from the model acquisition unit 140. It is possible to recognize whether the data corresponds to the delivery request.
  • the recognition unit 142 can recognize, for example, whether or not the image as the sensing data includes the image of the object specified in the delivery request (in other words, the recognition of the object). Then, the recognition unit 142 outputs the recognition result to the data generation unit 144, which will be described later.
  • the recognition model can be obtained by machine learning in the service server 20, and can be, for example, feature information that characterizes the object obtained from data such as an image or voice of the object specified in the distribution request. Since the above-mentioned recognition is performed by the sensor device 10, the recognition can be performed immediately after the sensing data is acquired. The details of recognition by the recognition unit 142 will be described later.
  • the data generation unit 144 can process the sensing data according to the distribution request and generate the distribution data. For example, the data generation unit 144 can generate distribution data by extracting, abstracting, or converting only the data related to the object specified in the distribution request from the sensing data into text data.
  • the delivery data is at least one of the object attribute information, quantity information, position information, state information, operation information, surrounding environment information, and prediction information specified in the delivery request.
  • the data format of the distribution data can be image data, audio data, text data, or the like, and is not particularly limited. In this way, since the sensor device 10 processes the sensing data corresponding to the distribution request and generates the distribution data, the distribution can be realized in real time.
  • the data generation unit 144 does not generate and distribute the distribution data when the sensing data does not correspond to the distribution request. Therefore, according to the present embodiment, the load of data transmission can be reduced as compared with the case where the sensing data is transmitted regardless of whether or not the sensing data corresponds to the delivery request.
  • the data generation unit 144 can exclude, for example, information about privacy included in the sensing data (for example, imaging of a person to the extent that a person can be identified) from the distribution data. Further, the data generation unit 144 can mask the information regarding privacy on the distribution data, for example. By doing this, privacy protection is ensured. An example of such processing will be described later.
  • the distribution unit 146 distributes the distribution data generated by the data generation unit 144 described above to the user device 30 or the service server 20.
  • the distribution unit 146 can also distribute a plurality of different distribution data to the user device 30 or the service server 20.
  • the distribution unit 146 includes information on the date and time when the sensing data corresponding to the distribution data was acquired, information on the date and time when the distribution data was distributed, data type, data format, distribution amount, and distribution destination (for example,).
  • the recognition information of the user device 30) and the like are output.
  • the storage unit 160 stores programs, information, etc. for the processing unit 130 to execute various processes, and information obtained by the processing.
  • the storage unit 160 is realized by, for example, a storage device such as an HDD (Hard Disk Drive).
  • the communication unit 170 can send and receive information to and from an external device such as the service server 20.
  • the communication unit 170 can be said to be a communication interface having a function of transmitting and receiving data.
  • the communication unit 170 is realized by a communication device (not shown) such as a communication antenna, a transmission / reception circuit, and a port.
  • FIG. 3 is a block diagram showing a functional configuration example of the service server 20 according to the present embodiment.
  • the service server 20 mainly includes a processing unit 230, a storage unit 260, and a communication unit 270.
  • each functional block of the service server 20 will be sequentially described.
  • the processing unit 230 acquires a distribution request from the user device 30 via the communication unit 270 described later, generates a recognition model according to the acquired distribution request, and transmits the generated recognition model to the sensor device 10.
  • the processing unit 230 is realized by, for example, a processing circuit such as a CPU or GPU, a ROM, a RAM, or the like.
  • the processing unit 230 includes an ID transmission unit 232, a request reception unit 234, a capability information acquisition unit 236, a model generation unit 238, a model transmission unit 240, and a data acquisition unit. It mainly has a 242 and a distribution unit 246. The details of each functional unit included in the processing unit 230 will be described below.
  • the ID transmission unit 232 transmits the authentication information (ID) of the service server 20 to the authentication server 40 via the communication unit 270 described later.
  • the authentication information is used in the authentication server 40 when the service server 20 determines whether or not the service server 20 has the authority to provide the service by the data distribution system 1 according to the present embodiment.
  • the data distribution system 1 according to the present embodiment secures the security of the data distribution system 1 by such authentication.
  • the request reception unit 234 receives a distribution request from one or a plurality of user devices 30 via the communication unit 270 described later, and outputs the received distribution request to the model generation unit 238 described later.
  • the request reception unit 234 may integrate and output common delivery requests.
  • the capability information acquisition unit 236 acquires and acquires capability information indicating the sensing capability (sensing type, accuracy, position, range, particle size, etc.) and calculation capability of each sensor device 10 in advance via the communication unit 270 described later.
  • the generated capability information is output to the model generation unit 238, which will be described later. It is preferable that the capability information acquisition unit 236 reacquires the capability information when the function or the like of the sensor device 10 is updated.
  • a recognition model corresponding to the capability of each sensor device 10 is generated based on the capability information of each sensor device 10. Therefore, according to the present embodiment, it is recognized that the ability information is reacquired when the function of the sensor device 10 is updated so as to correspond to the ability of each sensor device 10 at the present time. You can update the model.
  • the model generation unit 238 generates a recognition model corresponding to the distribution request by machine learning according to the capacity of each sensor device 10 based on the distribution request from the request reception unit 234 and the capacity information from the capacity information acquisition unit 236. be able to. Further, the model generation unit 238 can output the generated recognition model to the model transmission unit 240, which will be described later.
  • model generation unit 238 may acquire data necessary for machine learning from the user device 30 or another server (not shown). Since the model generation unit 238 can generate a recognition model suitable for each sensor device 10, recognition in the sensor device 10 can be realized. Further, since it is possible to re-acquire the ability information and regenerate the recognition model when the function of the sensor device 10 is updated, the recognition model is dynamically changed and the recognition by the sensor device 10 is performed. Can be improved.
  • the model generation unit 238 may include information on the data used in the machine learning of the model generation unit 238 (for example, information on the teacher data used when generating the recognition model) in the recognition model. This information is used in the preprocessing unit 138 of the sensor device 10 when performing preprocessing so that the sensing data has a form close to the recognition model. Further, the model generation unit 238 relates to the setting of the sensor unit 100 of the sensor device 10 for acquiring the sensing data required to generate the distribution data specified in the distribution request based on the capability information of the sensor device 10. The setting information may be included in the recognition model.
  • the model generation unit 238 may be provided as a device separate from the service server 20, and is not particularly limited.
  • the model transmission unit 240 transmits the recognition model acquired from the model generation unit 238 described above to the sensor device 10 corresponding to each recognition model via the communication unit 270.
  • the data acquisition unit 242 acquires distribution data corresponding to the distribution request from the sensor device 10 via the communication unit 270 described later, and outputs the acquired distribution data to the distribution unit 246 described later.
  • the data acquisition unit 242 may not be provided.
  • the distribution unit 246 distributes the distribution data acquired by the data acquisition unit 242 described above to the user device 30 corresponding to the distribution request via the communication unit 270 described later.
  • the distribution unit 246 may not be provided.
  • the storage unit 260 stores programs, information, etc. for the processing unit 230 to execute various processes, and information obtained by the processing.
  • the storage unit 260 is realized by a storage device such as an HDD, for example.
  • the communication unit 270 can send and receive information to and from external devices such as the sensor device 10 and the user device 30.
  • the communication unit 270 can be said to be a communication interface having a function of transmitting and receiving data.
  • the communication unit 270 is realized by a communication device (not shown) such as a communication antenna, a transmission / reception circuit, and a port.
  • FIG. 4 is an explanatory diagram for explaining a generation example of the recognition model 310 according to the present embodiment
  • FIG. 5 is an explanatory diagram for explaining an example of distribution data according to the present embodiment
  • FIG. 6 is an explanatory diagram for explaining an example of the pretreatment according to the present embodiment.
  • the recognition model is generated by the model generation unit 238 of the service server 20.
  • the model generation unit 238 is assumed to have a supervised learner 238a such as a support vector regression or a deep neural network.
  • a plurality of teacher data 302-1 to 302-n which are information about the object to be delivered specified in the delivery request, are input to the learner 238a. Then, the learner 238a can generate a recognition model 310 used for recognition by the recognition unit 142 of the sensor device 10 by machine learning a plurality of input teacher data 302-1 to 302-n. can.
  • the learner 238a Since the plurality of sensor devices 10 have different sensing abilities and computing abilities, that is, different recognizable abilities, the learner 238a generates each recognition model 310 according to the above-mentioned ability information of each sensor device 10. It is preferable to do so. Therefore, even if a plurality of sensor devices 10 having various specifications are included, the recognition model 310 can be generated according to the capability of each sensor device 10, so that each sensor device 10 can perform recognition. ..
  • the learner 238a has, for example, teacher data 302-1 to each labeled with the objects 300-1 to 300-n specified in the delivery request for which delivery is requested. 302-n is input. Then, the learner 238a extracts the feature points and feature quantities of the object from the plurality of teacher data 302-1 to 302-n by machine learning using a convolutional neural network or the like. The information such as the feature points extracted in this way serves as a recognition model 310 for recognizing whether or not the information of the object is included in the sensing data acquired by each sensor device 10.
  • the recognition model 310 will be shown to explain the generation of the recognition model 310 according to the present embodiment. For example, when a distribution request from a user requests a search for a predetermined person (object) using an image (sensing data) acquired by the sensor device 10 (the distribution data is the position information of the predetermined person). If) is explained.
  • the service server 20 acquires a plurality of images of a predetermined person as a plurality of teacher data 302 used when generating the recognition model 310 from the user device 30 that has transmitted the distribution request or a server (not shown). Then, as shown in FIG. 4, the service server 20 assigns the acquired plurality of images (teacher data) 302-1 to 302-n to predetermined persons (objects) 300-1 to 300-n, respectively. Attach and input to the learner 238a. Further, the learner 238a is a predetermined person (object) from a plurality of images (teacher data) 302-1 to 302-n by machine learning using a plurality of images (teacher data) 302-1 to 302-n. Feature points and feature quantities of 300 images are extracted, and a recognition model 310 for recognizing an image of a predetermined person (object) 300 from an image (sensing data) is generated.
  • a predetermined person is generated by using the sensing data acquired by the sensor device 10 (here, the type of the sensing data is not particularly limited) in response to the distribution request from the user.
  • the learner 238a may generate a recognition model 310 according to the type of sensing data that can be acquired by each sensor device 10.
  • the learner 238a generates a recognition model 310 for recognizing an image of a predetermined person from the image for the sensor device 10 capable of acquiring the image, and acquires the environmental sound. Generates a recognition model 310 for recognizing the voice of a predetermined person from environmental sounds for the capable sensor device 10. Therefore, even if a plurality of sensor devices 10 having various specifications are included, the recognition model 310 can be generated according to the capability of each sensor device 10, so that each sensor device 10 can perform recognition. ..
  • the recognition model 310 may include information regarding the teacher data 302 used in machine learning.
  • the information regarding the teacher data 302 includes the type of the teacher data 302 (for example, image, sound, etc.) and the quality of the teacher data (distortion compensation level, pixel defect, white balance, image size, saturation, luminance, gamma). , Contrast, edge enhancement level, focus, exposure level, resolution, dynamic range, noise reduction level, etc.).
  • the information regarding the teacher data 302 is preprocessed by the preprocessing unit 138 of the sensor device 10 described above so that the acquired sensing data has a form close to the recognition model (specifically, the teacher data 302). Can be used when doing. By doing so, the recognition accuracy of the recognition unit 142 of the sensor device 10 can be improved.
  • the recognition model 310 includes setting information regarding the setting of the sensor unit 100 of the sensor device 10 for acquiring the sensing data required to generate the distribution data specified in the distribution request.
  • the setting information is a setting value (distortion compensation level, white balance, image size, saturation) of the sensor unit 100 according to the type of sensing data (for example, image, sound, etc.) and the quality of desired sensing data. , Brightness, gamma, contrast, edge enhancement level, focus, exposure level, resolution, dynamic range, noise reduction level, etc.).
  • Such setting information is used when setting the sensor unit 100, makes it possible to acquire sensing data according to the recognition model 310, and can improve the recognition accuracy of the recognition unit 142.
  • the learning device 238a may be provided on a server separate from the service server 20, and is not particularly limited. Further, the learning method in the learning device 238a is not limited to the above-mentioned method, and another method may be used.
  • the recognition model 310 is used by the recognition unit 142 of the sensor device 10 to recognize whether the sensing data or the preprocessed sensing data corresponds to the delivery request.
  • the recognition model 310 is used by the recognition unit 142 of the sensor device 10 to recognize whether the sensing data or the preprocessed sensing data corresponds to the delivery request.
  • a specific example will be shown to explain the recognition according to the present embodiment.
  • the distribution request from a user requests a search for a predetermined person (object) using an image (sensing data) acquired by the sensor device 10 (the distribution data is the position information of the predetermined person). Will be explained).
  • the sensor device 10 acquires an image from the sensor unit 100.
  • the recognition unit 142 refers to the recognition model 310 acquired from the service server 20, specifically, the feature points and feature quantities of the image of the predetermined person (object) 300, and makes the image acquired from the sensor unit 100. Recognize whether an image of a given person is included. That is, since the above-mentioned recognition is performed by the sensor device 10, the recognition can be performed immediately after the image is acquired.
  • each recognition model 310 is generated according to the ability information of each sensor device 10.
  • Each recognition is done.
  • a predetermined person (object) is created by using the sensing data acquired by the sensor device 10 (here, the type of sensing data is not particularly limited) in response to a distribution request from the user.
  • the recognition unit 142 of the sensor device 10 capable of acquiring an image recognizes an image of a predetermined person from the image based on the recognition model 310 and acquires an environmental sound.
  • the recognition unit 142 of the sensor device 10 capable of recognizing the voice of a predetermined person from the environmental sound based on the recognition model 310.
  • the recognition unit 142 may be provided in a device separate from the sensor device 10, and is not particularly limited. Further, the recognition method in the recognition unit 142 is not limited to the above-mentioned method, and another method may be used.
  • the data generation unit 144 of the sensor device 10 processes the sensing data in response to the distribution request and generates distribution data.
  • the distribution data can include at least one of the object attribute information, quantity information, position information, state information, operation information, surrounding environment information, and prediction information specified in the distribution request.
  • the distribution data can have a data format such as an image or text, and is not particularly limited. Further, it is preferable that the distribution data includes identification information of the user or the user device 30 who has transmitted the distribution request. That is, for example, the data generation unit 144 can extract, abstract, or convert only the data of the object specified in the distribution request from the sensing data as distribution data in response to the distribution request.
  • the data generation unit 144 can realize real-time distribution in which the sensing data corresponding to the distribution request is processed to generate the distribution data. Further, the data generation unit 144 does not generate and transmit the distribution data when the sensing data does not correspond to the distribution request. Therefore, according to the present embodiment, the load of data transmission can be reduced as compared with the case where the sensing data is transmitted regardless of whether or not the sensing data corresponds to the delivery request.
  • the data generation unit 144 can exclude information on privacy included in the sensing data (for example, imaging of a person to the extent that a person can be identified) from the distribution data. By doing this, privacy protection is ensured. More specifically, in the example shown at the top of FIG. 5, when the image A of the road is acquired as the sensing data corresponding to the distribution request, the data generation unit 144 may display a signboard sign specified in the distribution request. Only the pedestrian crossing is extracted to generate the distribution data A.
  • the data generation unit 144 indicates a sign on the road specified in the distribution request. And vehicles are extracted to generate distribution data B.
  • the data generation unit 144 when the road image C is acquired as the sensing data corresponding to the distribution request, the data generation unit 144 has a signboard signboard or a puddle specified in the distribution request. Only is extracted to generate distribution data C.
  • the data generation unit 144 uses the pedestrian crossing specified in the distribution request or the pedestrian crossing.
  • Distribution data D is generated by extracting only the crossing person.
  • the recognition unit 142 can recognize whether or not the sensing data corresponds to the delivery request by using the recognition model 310 obtained by machine learning. Then, in order to improve the recognition accuracy of the recognition unit 142, the preprocessing unit 138 of the sensor device 10 preliminarily arranges the sensing data to have a form close to the recognition model 310 based on the above-mentioned information regarding the teacher data. Perform processing. Specifically, the preprocessing unit 138 describes the format, distortion compensation level, pixel defect, white balance, image size, saturation, brightness, gamma, contrast, edge enhancement level, focus, exposure level, resolution, dynamic range, and noise reduction. Preprocessing is performed on the sensing data so that the level and the like are equivalent to the teacher data 302.
  • the preprocessing unit 138 when the sensor unit 100 of the sensor device 10 acquires each image as shown in the upper part of FIG. 6 as sensing data, the preprocessing unit 138 has the image quality size and focus as teacher data. Preprocessing is performed on each image in the upper part of FIG. 6 so as to be equivalent to 302. Then, the preprocessing unit 138 acquires each image as shown in the lower part of FIG. According to the present embodiment, in this way, the preprocessing unit 138 preprocesses the sensing data so as to have a data level equivalent to that of the teacher data 302 used when generating the recognition model 310. The accuracy of recognition by the recognition unit 142 can be further improved.
  • FIG. 7 is a sequence diagram showing an example of the information processing method according to the present embodiment.
  • step S1 the user device 30 receives the information input from the user and transmits the received information to the service server 20 as a distribution request.
  • step S2 the service server 20 receives the delivery request from the user device 30.
  • step S3 the service server 20 generates a recognition model based on the distribution request received in step S2 described above, and transmits the generated recognition model to each sensor device 10.
  • step S4 the sensor device 10 receives the recognition model from the service server 20. Further, in step S5, the sensor device 10 performs sensing and acquires sensing data. Further, in step S6, the sensor device 10 recognizes whether or not the sensing data acquired in step S5 described above corresponds to the delivery request based on the recognition model received in step S4 described above.
  • the sensor device 10 Based on the recognition that the sensing data corresponds to the distribution request in step S6 described above, the sensor device 10 processes the sensing data according to the distribution request and generates the distribution data. Further, in step S7, the sensor device 10 directly transmits the generated distribution data to the user device 30 related to the distribution request.
  • the distribution data may be transmitted from the sensor device 10 to the user device 30 via the service server 20 instead of being directly transmitted.
  • step S8 the user device 30 receives the distribution data transmitted from the sensor device 10.
  • the sensor device 10 includes an image pickup device (camera) mounted on a moving body such as an automobile, an image pickup device mounted on a smartphone carried by a user, a surveillance camera installed in a home, a store, or the like. An image pickup device or the like. If the sensor device 10 is powered by a battery, the capacity of the battery may be reduced and it may not function. In addition, the CPU or GPU that performs AI processing may have heat, and if the heat generation becomes severe, the sensor device 10 may not function normally.
  • the capacity of the battery of the sensor device 10 is below the threshold value, or when the heat generation amount of the processing unit 130 such as the CPU or GPU is above the threshold value, one of the processes performed by the sensor device 10.
  • the unit is switched so as to be performed by the service server 20.
  • a case where a part or all of the AI functions of the sensor device 10 are performed by the service server 20 will be described as an example.
  • the service server 20 performs a part of the processing of the sensor device 10, thereby suppressing the consumption of the battery of the sensor device 10 and the heat generation of the processing unit 130.
  • FIG. 8 shows a configuration example of the sensor device 10 by performing such processing.
  • the sensor device 10 shown in FIG. 8 is a configuration in which a portion required for the following description is added to the configuration of the sensor device 10 shown in FIG.
  • the sensor device 10 shown in FIG. 8 has a battery 180 that supplies electric power to each part of the sensor device 10, a remaining amount detecting unit 152 that detects the remaining amount of the battery 180, and a heat generation amount in the sensor device 10.
  • the heat detection unit 154 is added.
  • a mode switching control unit 156 that performs processing when switching modes, which will be described later, is also added.
  • FIG. 9 shows a configuration example of the service server 20 when a part of the processing on the sensor device 10 side can be performed on the service server 20 side as well.
  • the service server 20 shown in FIG. 9 has a configuration in which a recognition unit 248 and a preprocessing unit 250 are added to the configuration of the service server 20 shown in FIG.
  • the recognition unit 248 and the preprocessing unit 250 are functions that perform the same processing as the recognition unit 142 and the preprocessing unit 138 of the sensor device 10.
  • a mode switching control unit 252 that performs processing when switching modes, which will be described later, is also added.
  • the processing performed by the recognition unit 142 of the sensor device 10 is performed by the service server 20. To do it with. Further, when the capacity of the battery 180 is further reduced, the processing performed by the preprocessing unit 138 of the sensor device 10 is also performed by the service server 20.
  • the service server 20 is configured to include a recognition unit 248 and a preprocessing unit 250 as shown in FIG.
  • the sensor device 10 and the service shown in FIGS. 8 and 9 depend on what kind of function the sensor device 10 has and which of the functions of the sensor device 10 is performed on the service server 20 side. Since the configuration of the server 20 changes, the configuration examples shown in FIGS. 8 and 9 are examples and do not indicate limitations.
  • FIGS. 10 and 11 for an example of a case where a part of the processing of the sensor device 10 is performed on the service server 20 side according to the remaining amount of the battery 180 of the sensor device 10 and the heat generation amount of the processing unit 130. explain.
  • This sensor device priority mode is, for example, a mode in which processing using a recognition model is performed by the AI function of the sensor device 10.
  • the mode in which a part of the processing set to be performed on the sensor device 10 side on the service server 20 side is performed is described as the service server priority mode.
  • the service server priority mode is a mode in which the sensor device 10 and the service server 20 share the AI function of the sensor device 10 and perform processing using the recognition model.
  • FIG. 10 is a flowchart for explaining a process related to mode switching (mode transition) in a system composed of a sensor device 10 and a service server 20.
  • FIG. 11 is a diagram showing a shared state of functions of the sensor device 10 and the service server 20 in the sensor device priority mode and the service server priority mode.
  • step S11 it is determined whether the remaining amount of the battery 180 on the sensor device 10 side is equal to or less than the threshold value or the heat is equal to or more than the threshold value.
  • the remaining amount detection unit 152 of the sensor device 10 detects the remaining amount of the battery 180, and the mode switching control unit 156 determines whether or not the battery 180 is below the threshold value, and the heat detection unit 154 of the sensor device 10 determines.
  • the temperature inside the sensor device 10 is measured, and whether or not the temperature is equal to or higher than the threshold value is determined by the mode switching control unit 156.
  • the mode switching control unit 252 of the service server 20 can determine whether the remaining amount of the battery 180 is below the threshold value or whether the heat is above the threshold value.
  • the explanation will be continued by taking as an example the case where the remaining amount of the battery 180 and the heat of the processing unit 130 are monitored and the remaining amount and the heat are compared with the threshold values, respectively. However, either the remaining amount or the heat is used.
  • the present technique can also be applied when only one is monitored and the thresholds are compared. That is, in the present technology, the factors that trigger the mode switching may be one (remaining amount or heat) or two (remaining amount and heat). Further, the present technology can of course be applied even if there are two or more factors that trigger mode switching.
  • the heat detection unit 154 directly measures the temperature (calorific value) of the parts (parts related to the AI function) constituting the recognition unit 142 such as the CPU and GPU and the pretreatment unit 138, in other words, the CPU and GPU. It may be configured to measure only heat, or it may be configured to measure the temperature of the sensor device 10 (in this case, it is influenced not a little by the outside air temperature).
  • step S11 If it is determined in step S11 that the remaining amount of the battery 180 on the sensor device 10 side is not below the threshold value and the heat is not above the threshold value, the process proceeds to step S12 and the sensor device is processed.
  • Set to priority mode The upper part of FIG. 11 shows the case of the sensor device priority mode.
  • the sensor device 10 has a person detection function that executes a process of detecting a person.
  • This person detection function is an AI function that detects a person from an image captured by the sensor unit 100 based on a recognition model acquired by the model acquisition unit 140 by the preprocessing unit 138 and the recognition unit 142.
  • the sensor device 10 detects a person by analyzing the image obtained by the sensor unit 100, and the coordinates detected by the person are used as distribution data via the communication unit 170. Send to the service server 20.
  • the service server 20 acquires data related to the coordinates of the person transmitted from the sensor device 10 side by the data acquisition unit 242 via the communication unit 270.
  • the service server 20 processes data related to human coordinates in a predetermined application. For example, it is determined whether or not a person has invaded the area where entry is prohibited, and when it is determined that a person has invaded, a process of notifying a predetermined user device 30 is performed.
  • step S11 determines whether the remaining amount of the battery 180 on the sensor device 10 side is equal to or less than the threshold value and / or the heat is equal to or higher than the threshold value. If it is determined in step S11 that the remaining amount of the battery 180 on the sensor device 10 side is equal to or less than the threshold value and / or the heat is equal to or higher than the threshold value, the process proceeds to step S13.
  • Set to service server priority mode The lower part of FIG. 11 shows the service server priority mode.
  • the sensor device 10 side transmits the image data of the image captured by the sensor unit 100 to the service server 20.
  • the sensor device 10 does not perform processing in the preprocessing unit 138 or the recognition unit 142. By not executing the processing of the preprocessing unit 138 and the recognition unit 142, it is possible to suppress the power consumption of the battery 180 and the heat generation amount.
  • the service server 20 acquires image data from the sensor device 10 by the data acquisition unit 242 via the communication unit 270.
  • the service server 20 realizes the person detection function by the recognition unit 243 and the preprocessing unit 250
  • the image data acquired by the data acquisition unit 242 is supplied to the preprocessing unit 250.
  • the image data processed by the preprocessing unit 250 is supplied to the recognition unit 248.
  • the pre-processing unit 2501 and the recognition unit 248 realize the person detection function by executing the same processing as the pre-processing unit 138 and the recognition unit 142 on the sensor device 10 side.
  • the service server 20 detects a person by the person detection function, and when the person's coordinates are detected, the service server 20 supplies data related to the person's coordinates by an application.
  • the processing by the human detection function (AI function) of the sensor device 10 is performed.
  • the mode is switched so that it is performed on the service server 20 side.
  • the modes shown in FIG. 12 are three modes: a sensor device priority mode, a balance mode, and a service server priority mode.
  • the balanced mode is positioned as a mode between the sensor device priority mode and the service server priority mode.
  • the sensor device 10 includes an AI having a face detection function for detecting a human face from an image captured by the sensor unit 100 and a face recognition function for recognizing a face detected by the face detection function. The case where it has a function is shown.
  • the face detection function can be realized in the preprocessing unit 138 (FIG. 8), and can be provided as an AI function for extracting a region in which a face is captured from an image captured by the sensor unit 100.
  • the face recognition function is realized in the recognition unit 142 (FIG. 8), and whether or not the face detected by the face detection function (preprocessing unit 138) is, for example, a user A, a specific person. It is a function to specify, and can be provided as an AI function for performing face recognition.
  • the face detection function of the sensor device 10 detects the face from the image and outputs the face detection result. Further, the face recognition function of the sensor device 10 performs face recognition using the face detection result, and outputs the face recognition result. In the sensor device priority mode, such a series of processes is performed on the sensor device 10 side, and the final face recognition result is transmitted to the service server 20 side.
  • the service server 20 acquires data related to the face recognition result transmitted from the sensor device 10 side by the data acquisition unit 242 via the communication unit 270.
  • the service server 20 processes data related to the face recognition result in a predetermined application. For example, when the result of face recognition is the recognition result of user A, it is possible to perform processing such as unlocking the room or turning on the lighting.
  • the mode is switched to the balance mode.
  • the state of the balance mode is shown in the middle of FIG.
  • the processing related to the face recognition function of the sensor device 10 in other words, the processing performed by the recognition unit 142, is executed on the service server 20 side.
  • the service server 20 acquires the face detection result by the data acquisition unit 242.
  • the service server 20 performs face recognition by the face recognition function, in this case, the recognition unit 248 (FIG. 9).
  • the face recognition result recognized by the face recognition function of the service server 20 is supplied to the application.
  • the face recognition function on the sensor device 10 side (processing performed by the recognition unit 142 (FIG. 8)) is performed on the service server 20 side.
  • the sensor device 10 does not perform face recognition processing. Therefore, the sensor device 10 can reduce the power consumption of the battery 180 and the heat generation amount of the processing unit 130 at least by the amount that the face recognition is not performed.
  • the balance mode is a mode in which the processing by the AI function of the sensor device 10 is shared between the sensor device 10 and the service server 20.
  • the sensor device In the balanced mode, when it is determined that the remaining amount has returned to the threshold value or higher by charging or replacing the battery 180 of the sensor device 10, or when it is determined that the heat generation has subsided, the sensor device Return to focus mode.
  • the balance mode is changed to the service server priority mode.
  • the processing related to the face detection function of the sensor device 10 in other words, the processing performed by the preprocessing unit 138, is also executed on the service server 20 side.
  • the service server priority mode is a mode in which almost all the processing by the AI function on the sensor device 10 side is performed on the service server 20 side.
  • the sensor device 10 transmits the image data of the image captured by the sensor unit 100 to the service server 20.
  • the sensor device 10 does not perform processing in the preprocessing unit 138 or the recognition unit 142. By not executing the processing of the preprocessing unit 138 and the recognition unit 142, it is possible to suppress the power consumption of the battery 180 and the heat generation amount.
  • the service server 20 acquires image data from the sensor device 10 by the data acquisition unit 242 via the communication unit 270.
  • the service server 20 performs face detection by a face detection function, in this case, a preprocessing unit 250 (FIG. 9). Further, the service server 20 performs face recognition by the face recognition function, in this case, the recognition unit 248 (FIG. 9).
  • the face recognition result recognized by the face recognition function of the service server 20 is supplied to the application.
  • the face detection function (process performed by the preprocessing unit 138 (FIG. 8)) and the face recognition function (process performed by the recognition unit 142 (FIG. 8)) on the sensor device 10 side are performed on the service server 20 side. It is done in. In other words, the sensor device 10 does not perform face detection and face recognition processing. Therefore, the sensor device 10 can reduce the power consumption of the battery 180 and the heat generation amount of the processing unit 130 at least by the amount that the face detection and the face recognition are not performed.
  • the mode changes in the order of sensor device priority mode, balance mode, and service server priority mode has been described as an example, but the remaining amount has decreased significantly, the heat has risen sharply, etc.
  • the transition from the sensor device priority mode to the service server priority mode may be performed.
  • the application may be on the sensor device 10 side.
  • the sensor device 10 is equipped with an AI function (realized by the recognition unit 142 and the like), and the acquired sensing data is a request (delivery request) from the user based on the recognition model transmitted from the service server 2. ) Is applicable. Therefore, the application is mounted on the sensor device 10 itself, and the sensor device 10 recognizes whether or not the request from the user is satisfied from the sensing data acquired by the sensor device 10, and performs a process until the result is presented. You can also make it possible.
  • FIG. 13 is a diagram in the case of transitioning between the sensor device priority mode, the balance mode, and the service server priority mode, as in FIG. 12.
  • the sensor device 10 has a predetermined application, and in the sensor device priority mode, the AI of the face detection function and the face recognition function of the sensor device 10 is the same as in the case of FIG. The function performs face recognition. Further, processing until the face recognition result is processed by the application is performed on the sensor device 10 side.
  • face detection is performed by the face detection function of the sensor device 10 as in the case of the middle of FIG. 12, and the face detection result is the service server 20. Will be sent to.
  • the service server 20 activates the face recognition function and performs face recognition by the face recognition function.
  • the face recognition result recognized by the face recognition function of the service server 20 is transmitted to the sensor device 10.
  • the sensor device 10 processes the received face recognition result in the application.
  • the sensor device 10 transmits the image data obtained by the sensor unit 100 to the service server 20 as in the case shown in the lower part of FIG. ..
  • the service server 20 activates the face detection function and the face recognition function to perform face detection and face recognition.
  • the face recognition result recognized by the face recognition function of the service server 20 is transmitted to the sensor device 10.
  • the sensor device 10 processes the received face recognition result in the application.
  • the sensor device 10 can be configured to have an application as well, and in the sensor device priority mode, processing can be performed without interaction with the service server 20. Further, in the balance mode or the service server priority mode, the processing result in the service server 20 can be returned to the sensor device 10 side.
  • the middle part of FIG. 13 shows an example in which the face detection result is transmitted to the service server 20 and the face recognition result is transmitted to the sensor device 10.
  • the image data acquired by the sensor unit 100 may be transmitted from the sensor device 10 to the service server 20, and the service server 20 may have a face detection function and perform face detection. Further, the service server 20 may transmit the face detection result to the sensor device 10 so that the sensor device 10 can perform face recognition by the face recognition function.
  • FIG. 14 is a diagram for explaining an example when different processes are executed in different modes.
  • the example shown in FIG. 14 also shows an example in which the sensor device 10 includes an application, similar to the example shown in FIG.
  • the sensor device 10 activates the RGB person detection function to detect a person.
  • the RGB person detection function is an AI function that processes RGB (Red, Green, Blue) color images to detect people.
  • the sensor device priority mode that is, when the battery 180 has a remaining amount and the amount of heat generated is small, the sensor device 10 processes the color image acquired by the sensor unit 100 to detect a person and acquire the coordinates of the person. do. Further, the sensor device 10 processes the coordinates of a person in a predetermined application and executes a predetermined process.
  • the luminance person detection function is an AI function that detects a person using the luminance component of the image acquired by the sensor unit 100 and outputs the coordinates of the person according to the luminance to the application.
  • the image data of the color image acquired by the sensor unit 100 is transmitted to the service server 20.
  • the service server 20 activates the RGB person detection function and processes an image based on the received image data to detect a person.
  • the detected RGB human coordinates are transmitted from the service server 20 to the sensor device 10.
  • the application of the sensor device 10 also performs processing using the coordinates of the person in RGB from the service server 20. In this case, the sensor device 10 detects a person on a gray scale, simply detects a person, and complements the details using the coordinates of the person in RGB from the service server 20.
  • the processing load can be reduced and the power consumption of the battery 180 can be suppressed as compared with the case where the sensor device 10 detects a person using the RGB person detection function. ..
  • the power consumption of the battery 180 can be suppressed in the service server priority mode as in the service server priority mode as in the sensor device priority mode. Further, since it is considered that the heat generation is also reduced if the processing is reduced, the heat generation amount can be suppressed in the service server priority mode rather than in the sensor device priority mode.
  • the processing of the sensor device 10 is considered to have a lower processing load than in the sensor device priority mode, and the service server 20 side performs processing that supplements the reduced processing. It can also be configured to run.
  • the color image data captured by the sensor unit 100 is transmitted to the service server 20, and at the time of this transmission, encryption processing and compression processing are performed. Is also good. If this is done, the processing load due to the encryption process and the compression process may increase. For this reason, there is also an embodiment in which the color image data is not transmitted in the service server priority mode.
  • FIG. 15 is a diagram for explaining an example when different processes are executed in different modes.
  • the example shown in FIG. 15 also shows an example in which the sensor device 10 includes an application, similar to the example shown in FIG.
  • the sensor device 10 activates the person detection function to detect a person.
  • Data about the coordinates of the person detected by the person detection function is supplied to the application.
  • the sensor device 10 processes the coordinates of a person and executes a predetermined process in a predetermined application.
  • the sensor device 10 When transitioning from the sensor device priority mode to the service server priority mode, the sensor device 10 activates the difference calculation function and divides the processing according to the calculation result by the difference calculation function, as shown in the lower part of FIG.
  • the difference calculation function calculates the difference between the image 1 acquired by the sensor unit 100 at the time t1 and the image t0 acquired at the time t0 before the time t1.
  • the difference calculation function calculates the difference by comparing the predetermined frame with the frame one frame before. This difference can be used as an index showing how much there is a change between the situation imaged at time t0 and the situation imaged at time t1.
  • the difference when the difference is small, it can be estimated that the situation captured at time t1 does not change much from the situation captured at time t0. When it is determined that the situation has not changed so much, it is considered less necessary to obtain the detection result of the sensor device 10 as soon as possible. Therefore, when the difference calculated by the difference calculation function is small, the image data is transmitted to the service server 20, the person is detected by the person detection function on the service server 20, and the coordinates of the detected person are the sensors. It is supplied to the application of the device 10.
  • the sensor device 10 detects a person only when the difference is large, so that the power consumption of the battery 180 can be suppressed as compared with the case where the person is constantly detected, that is, in the sensor device priority mode. .. Further, since it is considered that the heat generation is also reduced if the processing is reduced, the heat generation amount can be suppressed in the service server priority mode rather than in the sensor device priority mode.
  • the sensor device 10 selects and executes either the process executed in the service server priority mode or the process reduced from the process. It can also be configured to.
  • FIG. 16 shows the API (Application Programming Interface) used when the specifications specified by the NICE (Network of Intelligent Camera Ecosystem) Alliance are applied on the right side of the figure.
  • API Application Programming Interface
  • step S101 the service server 20 issues an information request to the sensor device 10.
  • the sensor device 10 notifies the service server 20 of the information of the sensor device 10 in step S102.
  • an API called GetCapabilities is used.
  • GetCapabilities is an API for inquiring about the capabilities of the device, for example, whether it has the ability to shoot moving images and still images, whether it can handle W such as JPEG and H.264 as a format, and which Scene Mode is supported. It is an API for sending and receiving information.
  • the information of the sensor device 10 given and received using the API called GetCapabilities also includes the information of the remaining amount and heat (temperature) of the battery 180.
  • the remaining amount detection unit 152 detects the remaining amount of the battery 180, and sends information about the detected remaining amount to the service server 20 together with other information. do.
  • the heat detection unit 154 measures the heat (temperature) of the sensor device 10, and the information about the measured heat is also serviced together with other information. Send to server 20.
  • the service server 20 sets the mode.
  • the service server 20 receives information on the capability and status of the sensor device 10 from the sensor device 10, and sets an appropriate mode based on this information.
  • the mode to be set is the sensor device priority mode or the service server priority mode.
  • setting the mode includes setting the recognition model used by the recognition unit 142 (FIG. 8).
  • the AI function corresponding to the set mode is set.
  • an API called SetSceneMode is used.
  • the API called SetSceneMode is an API for setting the SceneMode
  • the SceneMode is a person detection, a moving object detection, and the like.
  • step S104 the sensor device 10 performs a detection process using the set recognition model. For example, as described with reference to FIG. 11, a process of detecting a person from an image acquired by the sensor unit 100 is executed.
  • step S105 the sensor device 10 transmits the information detected in the detection process to the service server 20.
  • the information transmitted is, for example, information about the coordinates of the detected person.
  • SetSceneMark is an API that transmits the information applied to the trigger when the trigger set in SetSceneMode is applied. For example, when person detection is set in SetSceneMode, meta information such as thumbnails and time stamps when a person is detected is transmitted.
  • step S104 and the process of notifying the detection result in step S105 are repeated. While the detection process and the notification process are repeated, the mode switching process described with reference to FIG. 10 is also performed.
  • the mode switching control unit 156 of the sensor device 10 determines that the remaining amount of the battery 180 is below the threshold value or the heat is above the threshold value in step S11 of the flowchart described with reference to FIG. It is determined to shift from the sensor device priority mode to the service server priority mode, and the mode transition is started.
  • step S111 information regarding the remaining amount of the battery 180 and the heat of the sensor device 10 is transmitted from the sensor device 10 to the service server 20 in order to start the mode transition.
  • the API for transmitting the information of the sensor device 10 from the sensor device 10 to the service server 20 for the start of such a mode transition is a communication undefined in the NICE standard. By newly defining an API for such communication in the NICE standard, it is possible to enable communication related to the start of mode transition in the NICE standard as well.
  • step S112 the service server 20 sets the mode for the sensor device 10.
  • the mode setting process in step S112 is basically the same as the mode setting process in step S103.
  • the service server 20 receives information on the remaining battery level and heat of the sensor device 10 from the sensor device 10, the service server 20 sets a mode suitable for the remaining battery level and heat.
  • the service server priority mode is set.
  • an API called SetSceneMode can be used.
  • the sensor device 10 transmits the image data acquired by the sensor unit 100 to the service server 20 to detect a person, as described with reference to FIG.
  • the mode is set to no processing. Further, the service server 20 side enters a mode in which the image data from the sensor device 10 is received and the person detection process is executed using the image data.
  • step S113 the sensor device 10 notifies the service server 20 of image data (image information).
  • image data image information
  • an API called SetSceneMark may be used, or an API called SetSceneData may be used.
  • SetSceneData is basically the same as SetSceneMark, except that SetSceneMark sends meta information, while SetSceneData sends the data itself.
  • step S114 the service server 20 performs a detection process using the image information transmitted from the sensor device 10.
  • the image information notification process in step S113 and the detection process in step S114 are repeated. By repeating the process, for example, the process of detecting a person is continuously performed.
  • step S121 the sensor device 10 notifies the service server 20 of the information of the sensor device 10.
  • This notification is a notification indicating that it cannot be continued.
  • the sensor device 10 is operating in the service server priority mode, if processing such as charging the battery 180 is not performed, the remaining amount of the battery 180 continues to decrease, and finally the remaining amount becomes inoperable. It may decrease.
  • the sensor device 10 notifies the service server 20 that it is likely to become inoperable before it becomes inoperable.
  • the service server 20 executes, for example, a process of notifying the administrator who manages the sensor device 10 of the state of the sensor device 10.
  • the API that sends a notification from the sensor device 10 to the service server 20 when it has become unable to operate normally or is likely to become unable to operate normally is undefined communication in the NICE standard.
  • FIG. 17 is a flowchart for explaining a process when an instruction (request) is issued from the sensor device 10 side to start the mode transition.
  • step S201 the remaining amount detection unit 152 of the sensor device 10 detects the remaining amount of the battery 180.
  • step S202 the heat detection unit 154 detects the heat of the sensor device 10 (heat of the CPU or GPU).
  • step S203 the mode switching control unit 156 determines whether or not the detected remaining amount is equal to or less than the threshold value, or whether or not the heat is equal to or greater than the threshold value.
  • the threshold value for the remaining amount and the threshold value for heat are different values. If it is determined in step S203 that the detected remaining amount is equal to or greater than the threshold value and the heat is equal to or less than the threshold value, the process is returned to step S201, and the subsequent processes are repeated.
  • step S203 it is described that it is determined whether or not the detected remaining amount is equal to or less than the threshold value, or whether or not the heat is equal to or greater than the threshold value.
  • the process of step S203 is executed in the service server priority mode, it is a process of determining whether or not the detected remaining amount is equal to or more than the threshold value and whether or not the heat is equal to or less than the threshold value. ..
  • a comparison is made with a threshold value suitable for the mode set at the time of processing in step S203, and a determination is made. Will be done. That is, the threshold value is set for each mode.
  • step S203 determines whether the detected remaining amount is equal to or less than the threshold value, or / and if it is determined that the heat is equal to or greater than the threshold value. If it is determined in step S203 that the detected remaining amount is equal to or less than the threshold value, or / and if it is determined that the heat is equal to or greater than the threshold value, the process proceeds to step S204.
  • step S204 the sensor device 10 issues a mode change request to the service server 20.
  • the service server 20 sets the changed mode in step S206.
  • the service server 20 side is, for example, in a state where recognition based on the recognition model executed by the sensor device 10 can be started, and the recognition model corresponding to the mode set for the sensor device 10. Is executed.
  • step S207 the sensor device 10 shifts to, for example, the service server priority mode by receiving the recognition model from the service server 20.
  • the processes of steps S204 to S207 correspond to the processes executed in steps S111 and S122 of FIG.
  • the sensor device 10 can be configured to issue a mode change request.
  • FIG. 18 is a flowchart for explaining a process when the service server 20 determines the start of the mode transition.
  • step S221 the remaining amount detection unit 152 of the sensor device 10 detects the remaining amount of the battery 180.
  • the heat detection unit 154 detects the heat of the sensor device 10 (heat of the CPU or GPU).
  • step S223 the mode switching control unit 156 determines whether or not the detected remaining amount has changed by the threshold value or more, or whether or not the heat has changed by the threshold value or more.
  • the processing of steps S221 to S223 is performed in a predetermined cycle. During the detection interval, it is determined whether or not the changed amount has changed by the threshold value or more.
  • step S223 if it is determined that the amount of change in the remaining amount of the battery 180 is not equal to or greater than the threshold value, and if it is determined that the amount of change in heat is not equal to or greater than the threshold value, the process is returned to step S221. Subsequent processing is repeated. On the other hand, if it is determined in step S223 that the amount of change in the remaining amount of the battery 180 is equal to or greater than the threshold value, or / and if it is determined that the amount of change in heat is equal to or greater than the threshold value, the process is performed in step S224. Is advanced.
  • step S224 the sensor device 10 transmits information on the remaining amount and heat to the service server 20.
  • information on the remaining amount of the battery 180 and heat is transmitted.
  • a trigger for transmitting information on the remaining amount and heat to the service server 20 it is assumed that the remaining amount and the amount of change in heat exceed a predetermined threshold value. By providing such a trigger, it is possible to prevent data from being frequently exchanged.
  • step S226 the mode switching control unit 252 of the service server 20 that has received the information from the sensor device 10 receives the information from the sensor device 10 when the remaining amount of the battery 180 of the sensor device 10 is equal to or less than the threshold value or the heat is equal to or higher than the threshold value. Determine if there is. If the service server 20 determines in step S226 that the remaining amount of the battery 180 of the sensor device 10 is not below the threshold value or the heat is not above the threshold value, the service server 20 does nothing as a process related to the mode transition and remains as it is. To maintain.
  • step S226 determines whether the remaining amount of the battery 180 of the sensor device 10 is equal to or less than the threshold value and / or the heat is equal to or greater than the threshold value. If it is determined in step S226 that the remaining amount of the battery 180 of the sensor device 10 is equal to or less than the threshold value and / or the heat is equal to or greater than the threshold value, the process proceeds to step S227. In step S227, the changed mode is set. The processing after step S227 is the same as the processing after step S206 (FIG. 17).
  • the sensor device 10 transmits information on the remaining battery level and information on heat to the service server 20 by a predetermined trigger, and determines whether or not to change the mode on the service server 20 side. Or, it can be configured to issue a mode change instruction based on the determination.
  • the sensor device 10 side detects the amount of change in the remaining amount of the battery 180, it is possible to observe the speed of decrease in the capacity of the battery 180. Such observation may be used to detect deterioration of the battery 180 and use it as information for maintenance. For example, when the amount of change in the battery 180 becomes large, it is possible to provide a mechanism for determining that the battery 180 has begun to deteriorate and notifying the administrator who manages the sensor device 10.
  • FIG. 19 is a flowchart for explaining a process when the service server 20 determines the start of the mode transition.
  • step S241 the remaining amount detection unit 152 of the sensor device 10 detects the remaining amount of the battery 180.
  • the heat detection unit 154 detects the heat of the sensor device 10 (heat of the CPU or GPU).
  • step S243 the detected remaining amount and heat information is transmitted to the service server 20.
  • the processing of steps S241 to S243 is repeated in a predetermined cycle. That is, the sensor device 10 transmits information on the remaining amount and heat to the service server 20 at predetermined cycles, and the service server 20 sends information on the remaining amount and heat of the sensor device 10 to the service server 20 at predetermined cycles. Receive information about.
  • step S244 the service server 20 that has received the information from the sensor device 10 determines in step S245 whether the remaining amount of the battery 180 of the sensor device 10 is equal to or less than the threshold value or the heat is equal to or greater than the threshold value. Since the processing after step S244 is the same as the processing after step S225 (FIG. 18), the description thereof will be omitted.
  • the sensor device 10 transmits information on the remaining battery level and information on heat to the service server 20 at a predetermined cycle, and determines whether or not to change the mode on the service server 20 side. Or, it can be configured to issue a mode change instruction based on the determination.
  • the processing can be divided according to the remaining amount of the battery 180 of the sensor device 10 and the heat generated by the CPU or the like, and the processing can be performed in an optimized state.
  • the shared processing can be the processing by the AI function.
  • the mode transition may occur depending on the remaining amount of the battery and the heat of the device as an example, but in addition to the remaining amount and heat, or the remaining amount is triggered by a trigger other than heat.
  • a mode transition may occur.
  • the mode may be switched according to the traffic of the communication network between the sensor device 10 and the service server 20.
  • the mode may be set so that the amount of data exchanged between the sensor device 10 and the service server 20 is reduced.
  • the processing load of the service server 20 may be a trigger for mode switching. Since the service server 20 exchanges data with a plurality of sensor devices 10 and performs processing, the processing load of the service server 20 may increase. When the processing load of the service server 20 becomes large, it can be applied to an embodiment in which a part of the processing performed on the service server 20 side is changed to the mode performed on the sensor device 10 side.
  • the remaining amount of memory resources and the remaining amount of storage on the service server 20 side may be used as a trigger for mode switching. It is possible to switch to a mode that reduces the processing load on the service server 20 side, such as when the remaining amount of memory resources or the remaining amount of storage of the service server 20 falls below a predetermined threshold, or the sensor device 10 or the service server. It is also possible to switch to a mode in which the memory or storage of a device other than 20 can be used.
  • the communication between the sensor device 10 and the service server 20 may be encrypted for privacy protection.
  • image data may be transmitted from the sensor device 10 to the service server 20, but the transmitted image data may be encrypted or compressed. You can also do it.
  • the series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed in the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 20 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • a CPU Central Processing Unit
  • ROM ReadOnlyMemory
  • RAM RandomAccessMemory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the storage unit 508 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 509 includes a network interface and the like.
  • the drive 510 drives a removable recording medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program stored in the storage unit 508 into the RAM 503 via the input / output interface 505 and the bus 504 and executes the above-mentioned series. Is processed.
  • the program executed by the computer (CPU 501) can be recorded and provided on a removable recording medium 511 as a package medium or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by mounting the removable recording medium 511 in the drive 510. Further, the program can be received by the communication unit 509 and installed in the storage unit 508 via a wired or wireless transmission medium. In addition, the program can be installed in the ROM 502 or the storage unit 508 in advance.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 21 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 has a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle outside information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the out-of-vehicle information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the image pickup unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver has fallen asleep.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on the information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
  • FIG. 22 is a diagram showing an example of the installation position of the image pickup unit 12031.
  • the image pickup unit 12031 has image pickup units 12101, 12102, 12103, 12104, and 12105.
  • the image pickup units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the image pickup unit 12101 provided in the front nose and the image pickup section 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the image pickup units 12102 and 12103 provided in the side mirror mainly acquire images of the side of the vehicle 12100.
  • the image pickup unit 12104 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the image pickup unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 22 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging range of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the image pickup units 12101 to 12104, a bird's-eye view image of the vehicle 12100 can be obtained.
  • At least one of the image pickup units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera including a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object in the image pickup range 12111 to 12114 based on the distance information obtained from the image pickup unit 12101 to 12104, and a temporal change of this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, electric poles, and other three-dimensional objects based on the distance information obtained from the image pickup units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the image pickup units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging unit 12101 to 12104.
  • pedestrian recognition is, for example, a procedure for extracting feature points in an image captured by an image pickup unit 12101 to 12104 as an infrared camera, and pattern matching processing is performed on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 determines the square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the system represents the entire device composed of a plurality of devices.
  • the present technology can also have the following configurations.
  • It has a mode switch that switches modes according to at least one of the remaining battery power and heat.
  • the mode switching unit is an information processing device that switches between a first mode in which a first device executes a predetermined process and a second mode in which the second device executes the predetermined process.
  • the mode switching unit sets the first mode when the remaining amount of the battery of the first device is equal to or higher than a predetermined threshold value and the heat of the first device is equal to or lower than a predetermined threshold value.
  • the second mode is set when the remaining battery level of the first device is equal to or less than a predetermined threshold value and / and when the heat of the first device is equal to or higher than a predetermined threshold value.
  • the information processing apparatus according to (2) (4)
  • the first mode is a mode in which the process by the AI function is executed by the first device
  • the second mode is a mode in which the process by the AI function is executed by the second device.
  • (5) The information processing apparatus according to (2), wherein the second mode is a mode in which processing by the AI function is executed by the first apparatus and the second apparatus.
  • the first device detects the remaining amount of the battery and the remaining amount is equal to or less than a predetermined threshold value, or detects the heat and the heat is equal to or more than a predetermined threshold value.
  • the information processing device according to any one of (1) to (5) above, which gives an instruction to switch modes to the device.
  • the first device detects the remaining amount of the battery and the heat at predetermined intervals, and transmits information about the remaining amount and the heat to the second device.
  • the information processing device according to any one of (1) to (5) above, wherein the second device determines whether or not to switch the mode based on the information on the remaining amount and the heat.
  • the first apparatus performs a second process in which the processing load is reduced as compared with the first process performed by the first apparatus in the first mode.
  • the second device is the information processing device according to any one of (1) to (7), which performs the first process performed by the first device.
  • the first apparatus has a reduced processing load as compared with the first processing performed by the first apparatus in the first mode, or the first processing.
  • the information processing apparatus according to any one of (1) to (8) above, wherein one of the processes of 2 is selectively switched and executed.
  • the information processing according to any one of (1) to (9), wherein the first device notifies the second device when the remaining battery level is reduced to a level at which the remaining battery level becomes unsustainable. Device.
  • the first device is a sensor device that performs sensing
  • the second device is a server that acquires information sensed by the sensor device.
  • the second device is described in any one of (1) to (10).
  • Information processing device (12) Information processing equipment Information for switching between a first mode in which a first device performs a predetermined process and a second mode in which the second device performs the predetermined process, depending on at least one of the remaining battery level and heat. Processing method. (13) On the computer A process of switching between a first mode in which a first device performs a predetermined process and a second mode in which the second device performs the predetermined process, depending on at least one of the remaining battery level and heat. A program to execute.
  • 1 data distribution system 2 service server, 10 sensor device, 20 service server, 30 user device, 40 authentication server, 100 sensor unit, 110 positioning unit, 130 processing unit, 132 ID transmission unit, 134 key receiver unit, 136 sensor data Acquisition unit, 138 pre-processing unit, 140 model acquisition unit, 142 recognition unit, 144 data generation unit, 146 distribution unit, 152 remaining amount detection unit, 154 heat detection unit, 156 mode switching control unit, 160 storage unit, 170 communication unit.
  • 180 battery 230 processing unit, 232 ID transmission unit, 234 request reception unit, 236 capacity information acquisition unit, 238 model generation unit, 240 model transmission unit, 242 data acquisition unit, 243 recognition unit, 246 distribution unit, 248 recognition unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本技術は、バッテリの残量に応じて、処理を適切に分担できるようにする情報処理装置、情報処理方法、並びにプログラムに関する。 バッテリの残量または熱の少なくとも一方に応じて、モードを切り替えるモード切替部を備え、モード切替部は、第1の装置で所定の処理を実行する第1のモードと、第2の装置で所定の処理を実行する第2のモードとを切り替える。所定の処理は、AI機能による処理である。本技術は、例えば、監視カメラと監視カメラからのデータを配信するサーバから構成されるシステムに適用できる。

Description

情報処理装置、情報処理方法、並びにプログラム
 本技術は、情報処理装置、情報処理方法、並びにプログラムに関し、例えば、状況に応じた処理の分担を適切に行えるようにした情報処理装置、情報処理方法、並びにプログラムに関する。
 近年、街頭のいたるところに監視カメラ等が設置され、さらに、走行する車両にも、当該車両の周囲環境を撮像することができる車載カメラが搭載されており、様々な場所における撮像画像を容易に取得することができるようになってきている。また、監視カメラなどでは撮影された画像を解析することで、人を検出したり、特定の人を認識したりすることも行われている。
 これらのカメラのうち、バッテリから電力が供給されるカメラの場合、バッテリの残量が少なくなると、処理を行えなくなる可能性がある。特許文献1では、バッテリ残量に基づき、ビデオストリームの複雑さを調整することが提案されている。
特開2017-212744号公報
 バッテリの容量が低下した場合や、発熱などにより機能が低下してしまう状況が発生することを防ぐことが望まれている。
 本技術は、このような状況に鑑みてなされたものであり、機能が低下してしまうような状況が発生したときに、機能が低下しないように処理を適切に分担して行うことができるようにするものである。
 本技術の一側面の情報処理装置は、バッテリの残量または熱の少なくとも一方に応じて、モードを切り替えるモード切替部を備え、前記モード切替部は、第1の装置で所定の処理を実行する第1のモードと、第2の装置で前記所定の処理を実行する第2のモードとを切り替える。
 本技術の一側面の情報処理方法は、情報処理装置が、バッテリの残量または熱の少なくとも一方に応じて、第1の装置で所定の処理を実行する第1のモードと、第2の装置で前記所定の処理を実行する第2のモードとを切り替える。
 本技術の一側面のプログラムは、コンピュータに、バッテリの残量または熱の少なくとも一方に応じて、第1の装置で所定の処理を実行する第1のモードと、第2の装置で前記所定の処理を実行する第2のモードとを切り替える処理を実行させる。
 本技術の一側面の情報処理装置、情報処理方法、並びにプログラムにおいては、バッテリの残量に応じて、第1の装置で所定の処理を実行する第1のモードと、第2の装置で前記所定の処理を実行する第2のモードとが切り替えられる。
 なお、情報処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
 また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
本技術を適用したデータ配信システムの一実施の形態の構成を示す図である。 センサデバイスの構成例を示す図である。 サービスサーバの構成例を示す図である。 認識モデルの生成について説明するための図である。 配信データの一例を示す図である。 前処理部が行う処理について説明するため図である。 情報処理方法の一例について説明するための図である。 センサデバイスの他の構成例を示す図である。 サービスサーバの他の構成例を示す図である。 モード切替の処理について説明するためのフローチャートである。 モード切替の一例を示す図である。 モード切替の一例を示す図である。 モード切替の一例を示す図である。 モード切替の一例を示す図である。 モード切替の一例を示す図である。 情報処理方法の一例について説明するためのフローチャートである。 モード切替の開始に係わる処理について説明するための図である。 モード切替の開始に係わる処理について説明するための図である。 モード切替の開始に係わる処理について説明するための図である。 パーソナルコンピュータの構成例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
 以下に、本技術を実施するための形態(以下、実施の形態という)について説明する。
 <データ配信システムの概略構成>
 図1を参照して、本開示の実施の形態に係るデータ配信システム1の構成例を説明する。図1は、本開示の実施の形態に係るデータ配信システム1の概略的な機能構成を示したシステム図である。詳細には、図1に示すように、本実施の形態に係るデータ配信システム1は、複数のセンサデバイス10a,10b,10c、サービスサーバ20、複数のユーザデバイス30a,30b,30c、および認証サーバ40を主に含むことができる。
 これらの各装置は、例えば、図示しない基地局等(例えば、携帯電話機の基地局、無線LAN(Local Area Network)のアクセスポイント等)を介してネットワーク(図示省略)に接続されることにより、データ配信システム1が構築されることとなる。なお、上記ネットワークで用いられる通信方式は、有線又は無線(例えば、第5世代通信システム、WiFi(登録商標)、Bluetooth(登録商標)等)を問わず任意の方式を適用することができるが、大容量のデータを安定して高速送信することができる通信方式を用いることができる。
 また、データ配信システム1に含まれるセンサデバイス10やユーザデバイス(要求元)30は、図1に図示されるようにそれぞれ3つであることに限定されるものではなく、本実施の形態に係るデータ配信システム1には、それぞれ3つ以上含まれていてもよい。すなわち、本実施の形態に係るデータ配信システム1は、複数のセンサデバイス10を管理し、複数のユーザデバイス30からの要求を受け付け、それらにデータを送信することができる。以下に、本実施の形態に係るデータ配信システム1に含まれる各装置の概略について説明する。
 <センサデバイス>
 センサデバイス10は、設置された周囲環境のセンシングデータ(例えば、画像、音声等)を取得し、取得したセンシングデータから取得される配信データ(所定のデータ)を、後述するユーザデバイス30等の外部装置に送信することができる。また、センサデバイス10は、AI(Artificial Intelligence)機能が搭載されていることが望ましく、後述するサービスサーバ20から送信された認識モデルに基づき、取得したセンシングデータが、ユーザからの要求(配信リクエスト)に該当するかどうかを認識することができる。センサデバイス10は、センシングデータを扱う情報処理装置として機能する。
 例えば、センサデバイス10は、自動車等の移動体に搭載された撮像装置(カメラ)や、ユーザの携帯するスマートフォンに搭載された撮像装置、自宅や店舗等に設置された監視カメラ等の撮像装置であることができ、この場合、センシングデータは画像となる。この場合、これら撮像装置は、設置された周囲に位置する被写体からの光を集光して撮像面に光像を形成し、撮像面に形成された光像を電気的な画像信号に変換することによって画像を取得することができる。
 なお、以下の説明においては、特段のことわりがない限りは、移動体とは、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット(移動ロボット)、建設機械、農業機械(トラクタ)等であることができる。
 また、センサデバイス10は、上述した撮像装置であることに限定されるものではない。例えば、センサデバイス10は、被写体までの距離(深さ)を計測する深度センサ、周囲環境の音を集音するマイクロフォン等の集音装置、周囲環境の温度及び湿度を計測する温度センサ及び湿度センサ、河川等の水位を測定する水位センサ等であってもよい。
 なお、センサデバイス10は、データ配信システム1に共通するインタフェース(データ転送形式、データ転送方法等)を持つものであれば、その内部構成については、基本的に限定されるものではない。従って、本実施の形態に係るデータ配信システム1は、仕様の異なる様々なセンサデバイス10を取り込むことができる。なお、センサデバイス10の詳細構成については後述する。
 <サービスサーバ>
 サービスサーバ20は、後述するユーザデバイス30から、上記センシングデータから生成され得る配信データの配信を要求する配信リクエストを受け付けるコンピュータである。またサービスサーバ20は、センサデバイス10やユーザデバイス30とデータの授受を行い、処理する情報処理装置として機能する。
 またサービスサーバ20は、複数の配信リクエスト(要求)を統合し、配信リクエストに応じた認識モデルを生成し、生成した認識モデルを上述したセンサデバイス10へ送信することができる。当該認識モデルは、センサデバイス10での認識に供されることとなるが、この詳細については後述する。
 また、サービスサーバ20は、必要に応じて、センサデバイス10から配信データを受信し、受信した配信データを、上記配信リクエストに該当するユーザデバイス30へ送信することもできる。例えば、サービスサーバ20は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random ACCESS Memory)等のハードウェアにより実現されることができる。なお、サービスサーバ20の詳細構成につては後述する。
 <ユーザデバイス>
 ユーザデバイス30は、ユーザによって携帯され、もしくは、ユーザの近傍に設置され、ユーザから入力された情報を受け付け、受け付けた当該情報を配信リクエストとしてサービスサーバ20へ送信したり、配信リクエストに係る配信データを受信したりすることができる端末である。例えば、ユーザデバイス30は、タブレット型PC(Personal Computer)、スマートフォン、携帯電話、ラップトップ型PC、ノート型PC等のモバイル端末、HMD(Head Mounted Display)等のウェアラブルデバイスなど情報処理装置とすることができる。
 さらに詳細には、ユーザデバイス30は、ユーザに向けて表示を行う表示部(図示省略)や、ユーザからの操作を受け付ける操作部(図示省略)や、ユーザに向けて音声出力を行うスピーカ(図示省略)等を有していてもよい。
 なお、ユーザデバイス30には、例えば、データ配信システム1に共通するアプリケーション(アプリ)、もしくは、上述したサービスサーバ20と共通する仕様を持つアプリケーションがインストールされることができる。ユーザデバイス30は、上述のようなアプリケーションがインストールされることにより、データ配信システム1に共通する形式等を持つ、配信リクエストを生成し、送信したり、配信データを受け取ったりすることが可能となる。
 ユーザは、ユーザデバイス30を介して、サービスサーバ20へ配信リクエストを送信する。当該配信リクエストは、ユーザが配信を要求するデータの内容(データタイプ)等を指定する情報を含む。例えば、当該配信リクエストは、配信を要求する対象となるオブジェクト(例えば、顔、人物、動物、移動体、テキスト、道路(歩道、横断歩道、道幅、標識等)、ロゴ、バーコード等)と、オブジェクトに関するどのような情報(例えば、数量、速度、位置、状態、年齢、性別、特定した名前、推定結果等)を要求するのかを指定する情報(データタイプ)とからなるオブジェクト情報を含むことができる。
 また、当該配信リクエストは、配信データのデータフォーマット(例えば、画像、テキスト等)を指定するデータフォーマット情報を含むことができる。さらに、当該配信リクエストは、ユーザもしくはユーザデバイス30の識別情報(ID(identification))を含むことができる。なお、上記配信リクエストには、サービスサーバ20で認識モデルを生成する際に利用される各種データが含まれていてもよい(詳細は後述する)。
 上記配信リクエストは、データ配信システム1に共通するデータ形式を持つ。例えば、配信リクエストは、オブジェクト情報やデータフォーマット情報に対応する文字列や数字列を含むことができる。この場合、ユーザから高い頻度で要求されるオブジェクト情報やデータフォーマット情報については、対応する文字列や数字列を予め決定し、サービスサーバ20が保有する記憶部(図示省略)にデータベース(図示省略)として格納する。
 そして、サービスサーバ20は、上記データベースを参照することにより、配信リクエストに含まれる文字列等に対応するオブジェクト情報及びデータフォーマット情報を認識することができる。また、ユーザが所望するオブジェクト情報及びデータフォーマット情報に対応する文字列等が上記データベースに存在しない場合には、これらオブジェクト情報及びデータフォーマット情報は、上記配信リクエスト内で直接的に記述されてもよい。もしくは、この場合、ユーザが所望するオブジェクト情報及びデータフォーマット情報に対応する文字列を新たに決定して、決定した文字列等を、上記配信リクエスト及び上記データベースに記述してもよい。
 <認証サーバ>
 認証サーバ40は、センサデバイス10やサービスサーバ20からそれぞれの認証情報(ID)を受信し、これらの各装置が、本実施の形態に係るデータ配信システム1によるサービスを提供する、もしくは提供される権限を有するか否かを判定するコンピュータである。さらに、認証サーバ40は、権限を有する装置に対して、サービスへのアクセスを可能にするキーや、サービスを提供するもしくはサービスを提供されるためのコマンド等を送信する。
 そして、上記認証情報は、データ配信システム1に共通するデータ形式を持つものとする。すなわち、認証サーバ40は、認証API(Application Programming Interface)として用いられ、センサデバイス10とサービスサーバ20とを認証し、互いに紐づけることができる。本実施の形態に係るデータ配信システム1は、このような認証サーバ40を組み込むことにより、当該データ配信システム1のセキュリティを確保し、各センサデバイス10を、サービスサーバ20を介して各ユーザデバイス30と紐づけることができる。また、認証サーバ40は、例えば、CPU、ROM、RAM等のハードウェアにより実現されることができる。なお、認証サーバ40は、ユーザデバイス30に対する認証を行ってもよい。
 なお、本実施の形態に係るデータ配信システム1においては、センサデバイス10やサービスサーバ20は、それぞれ単一の装置によって実現されていなくてもよく、有線又は無線の各種のネットワーク(図示省略)を介して接続され、互いに協働する複数の装置によって実現されてもよい。
 <センサデバイスの詳細構成例>
 次に、図2を参照して、本実施の形態に係るセンサデバイス10の詳細構成を説明する。図2は、本実施の形態に係るセンサデバイス10の機能構成例を示すブロック図である。詳細には、図2に示すように、センサデバイス10は、センサ部100と、測位部110と、処理部130と、記憶部160と、通信部170とを主に有する。以下に、センサデバイス10の各機能ブロックについて順次説明する。
 センサ部100は、センシングデータを取得し、取得したセンシングデータを後述する処理部130へ出力する。詳細には、センサデバイス10が撮像装置であった場合には、センサ部100は、被写体から発せられる光を集光する撮影レンズ及びズームレンズ等の撮像光学系、及び、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を有することとなる。
 なお、センサ部100は、センサデバイス10内に固定されるように設けられていてもよく、センサデバイス10に脱着可能に設けられていてもよい。
 また、センサ部100は、撮像装置の他にも、深度センサとしてTOF(Time of Flight)センサ(図示省略)を含んでいてもよい。TOFセンサは、被写体からの反射光の戻り時間を直接的又は間接的に計測することにより、TOFセンサと被写体との間の距離及び凹凸等の形状情報(深度情報/画像)を取得することができる。さらに、センサ部100は、集音装置(マイク)、温度センサ、気圧センサ、湿度センサ、風向風速センサ、日照センサ、降水量センサ、水位センサ等を含んでいてもよく、周囲環境からセンシングデータを取得することができれば特に限定されるものではない。
 測位部110は、配信リクエストに該当するセンシングデータが取得された際のセンサデバイス10の測位データを取得し、取得した測位データを、処理部130(詳細には、データ生成部144)に出力する。例えば、当該測位データは、配信データとともに、後述する処理部130の配信部146により、ユーザデバイス30へ送信されることとなる。
 測位部110は、具体的には、GNSS(Global Navigation Satellite System)受信機等であることができる。この場合、測位部110は、GNSS衛星からの信号に基づいて、センサデバイス10の現在地の緯度・経度を示す測位データを生成することができる。また、例えば、RFID(Radio Frequency Identification)、Wi-Fiのアクセスポイント、無線基地局の情報等からユーザの相対的な位置関係を検出することが可能なため、このような通信装置を上記測位部110として利用することも可能である。なお、測位部110は、センサデバイス10に設けられていなくてもよい。
 処理部130は、センサ部100が取得したセンシングデータを処理し、配信データを生成する機能を有する。処理部130は、例えば、CPUやGPU(Graphics Processing Unit)等の処理回路や、ROM、RAM等により実現される。詳細には、図2に示すように、処理部130は、ID送信部132と、key受信部134と、センサデータ取得部136と、前処理部138と、モデル取得部140と、認識部142と、データ生成部144と、配信部146とを主に有する。以下に、処理部130の有する各機能部の詳細について説明する。
 ID送信部132は、後述する通信部170を介して、センサデバイス10の認証情報(ID)を認証サーバ40に送信する。当該認証情報は、認証サーバ40にて、センサデバイス10が、本実施の形態に係るデータ配信システム1によるサービスを提供する権限を有するか否かを判定する際に用いられる。本実施の形態に係るデータ配信システム1は、このような認証により、当該データ配信システム1のセキュリティを確保している。
 key受信部134は、後述する通信部170を介して、認証サーバ40から送信されたサービスへのアクセスを可能にするキーや、サービスを提供するためのコマンド等を受信し、受信したキー等を後述するモデル取得部140へ出力する。当該モデル取得部140は、key受信部134で受信したキー等を用いて、サービスサーバ20から認識モデルを取得することができる。
 センサデータ取得部136は、センサ部100を制御して、センサ部100から出力されたセンシングデータを取得し、取得したセンシングデータを後述する前処理部138又は認識部142へ出力する。
 前処理部138は、後述するモデル取得部140が取得した認識モデルに含まれる情報(例えば、認識モデルを生成する際に用いた教師データに関する情報等)に応じて、センサデータ取得部136から出力されたセンシングデータを前処理して、前処理したセンシングデータを後述する認識部142へ出力する。
 詳細には、認識部142は、機械学習で得られた、配信リクエストに対応する認識モデルを用いて、センシングデータが当該配信リクエストに該当することになるかどうかを認識する。そこで、センシングデータが認識モデルに近い形態を持つように前処理を行うことにより、上記認識に好適なセンシングデータを認識部142に提供することができる。その結果、本実施の形態によれば、認識部142の認識の精度を向上させることができる。なお、前処理部138での前処理の詳細については、後述する。
 モデル取得部140は、後述する通信部170を介して、サービスサーバ20から、配信リクエストに対応する認識モデルを取得し、取得した認識モデルを前処理部138及び認識部142に出力する。なお、当該認識モデルの詳細については後述する。
 認識部142は、AI機能等を利用して、モデル取得部140から出力された認識モデルに基づき、センサデータ取得部136から出力されたセンシングデータ、もしくは、前処理部138で前処理されたセンシングデータが、配信リクエストに該当するかどうかを認識することができる。
 より具体的には、認識部142は、例えば、センシングデータとしての画像に、配信リクエストで指定されたオブジェクトの画像が含まれるかどうかを認識することができる(言い換えると、オブジェクトの認識)。そして、認識部142は、認識結果を後述するデータ生成部144に出力する。なお、当該認識モデルは、サービスサーバ20における機械学習で得られ、例えば、配信リクエストで指定されたオブジェクトの画像や音声等のデータから得られた当該オブジェクトを特徴づける特徴情報であることができる。上述のような認識をセンサデバイス10で行うことから、センシングデータの取得後すぐに認識を行うことができる。なお、認識部142における認識の詳細については後述する。
 データ生成部144は、上述した認識部142でセンシングデータが配信リクエストに該当すると認識された場合、当該センシングデータに対して当該配信リクエストに応じた処理を行い、配信データを生成することができる。例えば、データ生成部144は、センシングデータから配信リクエストで指定されたオブジェクトに関するデータのみを抽出したり、抽象化したり、テキストデータ化したりすることにより、配信データを生成することができる。
 より具体的には、当該配信データは、配信リクエストで指定された、オブジェクトの属性情報、数量情報、位置情報、状態情報、動作情報、周囲環境情報、及び、予測情報のうちの少なくとも1つの情報を含むことができる。さらに、配信データのデータフォーマットは、画像データ、音声データ、テキストデータ等であることができ、特に限定されるものではない。このように、センサデバイス10にて、配信リクエストに該当したセンシングデータを処理して、配信データを生成することから、リアルタイムで配信を実現することができる。
 また、データ生成部144は、センシングデータが配信リクエストに該当しない場合には、配信データを生成、配信することはない。従って、本実施の形態によれば、センシングデータが配信リクエストに該当するか否かに関係なくセンシングデータを送信する場合に比べて、データ送信の負荷を減らすことができる。
 さらに、データ生成部144は、例えば、配信データから、センシングデータに含まれるプライバシに関する情報(例えば、人物が特定できる程度の人物の撮像)を排除することができる。また、データ生成部144は、例えば、配信データ上で、プライバシに関する情報にマスクがかけることができる。このようにすることで、プライバシの保護を確保している。なお、このような処理の例については後述する。
 配信部146は、上述したデータ生成部144で生成した配信データを、ユーザデバイス30又はサービスサーバ20へ配信する。なお、配信部146は、複数の異なる配信データをユーザデバイス30又はサービスサーバ20へ配信することもできる。例えば、配信部146は、上記情報として、配信データに対応するセンシングデータが取得された際の日時の情報、配信データを配信した日時の情報、データタイプ、データフォーマット、配信量、配信先(例えばユーザデバイス30の認識情報)等を出力する。
 記憶部160は、処理部130が各種処理を実行するためのプログラム、情報等や、処理によって得た情報を格納する。記憶部160は、例えば、HDD(Hard Disk Drive)等の記憶装置により実現される。
 通信部170は、サービスサーバ20等の外部装置との間で情報の送受信を行うことができる。通信部170は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部170は、通信アンテナ、送受信回路やポート等の通信デバイス(図示省略)により実現される。
 <サービスサーバの詳細構成>
 次に、図3を参照して、本実施の形態に係るサービスサーバ20の詳細構成を説明する。図3は、本実施の形態に係るサービスサーバ20の機能構成例を示すブロック図である。詳細には、図3に示すように、サービスサーバ20は、処理部230と、記憶部260と、通信部270とを主に有する。以下に、サービスサーバ20の各機能ブロックについて順次説明する。
 処理部230は、後述する通信部270を介して、ユーザデバイス30から配信リクエストを取得し、取得した配信リクエストに応じた認識モデルを生成し、生成した認識モデルを、センサデバイス10へ送信したりする機能を有する。処理部230は、例えば、CPUやGPU等の処理回路や、ROM、RAM等により実現される。詳細には、図3に示すように、処理部230は、ID送信部232と、リクエスト受付部234と、能力情報取得部236と、モデル生成部238と、モデル送信部240と、データ取得部242と、配信部246とを主に有する。以下に、処理部230の有する各機能部の詳細について説明する。
 ID送信部232は、後述する通信部270を介して、サービスサーバ20の認証情報(ID)を認証サーバ40に送信する。当該認証情報は、認証サーバ40にて、サービスサーバ20が、本実施の形態に係るデータ配信システム1によるサービスを提供される権限を有するか否かを判定する際に用いられる。本実施の形態に係るデータ配信システム1は、このような認証により、当該データ配信システム1のセキュリティを確保している。
 リクエスト受付部234は、後述する通信部270を介して、1つ又は複数のユーザデバイス30から配信リクエストを受け付け、受け付けた配信リクエストを後述するモデル生成部238へ出力する。なお、リクエスト受付部234は、共通する配信リクエストについては、これらを統合して出力してもよい。
 能力情報取得部236は、後述する通信部270を介して、各センサデバイス10のセンシング能力(センシングの種別、精度、位置、範囲、粒度等)や演算能力を示す能力情報を予め取得し、取得した能力情報を後述するモデル生成部238に出力する。なお、能力情報取得部236は、センサデバイス10の機能等がアップデートされた際に、能力情報を再取得することが好ましい。
 そして、後述するモデル生成部238において、各センサデバイス10の能力情報に基づいて、各センサデバイス10の能力に応じた認識モデルが生成されることとなる。従って、本実施の形態によれば、センサデバイス10の機能等がアップデートされた際に能力情報を再取得するようにすることで、現時点の各センサデバイス10の能力に応じるものになるように認識モデルを更新することができる。
 モデル生成部238は、リクエスト受付部234からの配信リクエスト及び能力情報取得部236からの能力情報に基づき、各センサデバイス10の能力に応じて、配信リクエストに対応する認識モデルを機械学習により生成することができる。さらに、モデル生成部238は、生成した認識モデルを、後述するモデル送信部240に出力することができる。
 なお、モデル生成部238は、機械学習に必要なデータを、ユーザデバイス30又は図示しない他のサーバから取得してもよい。モデル生成部238は、各センサデバイス10に好適な認識モデルを生成することができることから、センサデバイス10における認識を実現することができる。また、センサデバイス10の機能等がアップデートされた際に能力情報を再取得し、認識モデルを再生成することも可能であることから、認識モデルを動的に変えて、センサデバイス10での認識を向上させることができる。
 また、モデル生成部238は、モデル生成部238の機械学習で用いたデータに関する情報(例えば、認識モデルを生成する際に用いた教師データに関する情報等)を、認識モデルに含ませてもよい。当該情報は、センサデバイス10の前処理部138において、センシングデータが認識モデルに近い形態を持つように前処理を行う際に用いられる。さらに、モデル生成部238は、センサデバイス10の能力情報に基づく、配信リクエストで指定された配信データを生成するために求められるセンシングデータを取得するための、センサデバイス10のセンサ部100の設定に関する設定情報を、認識モデルに含ませてもよい。なお、モデル生成部238はサービスサーバ20と別個の装置として設けられていてもよく、特に限定されるものではない。
 モデル送信部240は、上述したモデル生成部238から取得した認識モデルを、各認識モデルに対応するセンサデバイス10へ、通信部270を介して送信する。
 データ取得部242は、後述する通信部270を介して、センサデバイス10から配信リクエストに対応する配信データを取得し、取得した配信データを後述する配信部246に出力する。なお、センサデバイス10からユーザデバイス30へ直接配信データを送信する場合には、当該データ取得部242は設けられていなくてもよい。
 配信部246は、上述したデータ取得部242で取得した配信データを、後述する通信部270を介して、配信リクエストに該当するユーザデバイス30へ配信する。なお、センサデバイス10からユーザデバイス30へ直接配信データを送信する場合には、当該配信部246は設けられていなくてもよい。
 記憶部260は、処理部230が各種処理を実行するためのプログラム、情報等や、処理によって得た情報を格納する。なお、記憶部260は、例えば、HDD等の記憶装置により実現される。
 通信部270は、センサデバイス10、ユーザデバイス30等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部270は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部270は、通信アンテナ、送受信回路やポート等の通信デバイス(図示省略)により実現される。
 <本実施の形態に係る認識について>
 次に、図4から図6を参照して、本実施の形態に係る認識の一例について説明する。図4は、本実施の形態に係る認識モデル310の生成例を説明するための説明図であり、図5は、本実施の形態に係る配信データの例を説明するための説明図であり、図6は、本実施の形態に係る前処理の例を説明するための説明図である。
 本実施の形態に係る認識で用いられるモデルの生成について説明する。認識モデルは、上述したように、サービスサーバ20のモデル生成部238で生成される。上記モデル生成部238は、図4に示すように、例えば、サポートベクターレグレッションやディープニューラルネットワーク等の教師付き学習器238aを有するものとする。
 学習器238aには、例えば、配信リクエストで指定される配信を要求する対象となるオブジェクトに関する情報である複数の教師データ302-1~302-nが入力される。そして、当該学習器238aは、入力された複数の教師データ302-1~302-nを機械学習することにより、センサデバイス10の認識部142での認識で用いられる認識モデル310を生成することができる。
 複数のセンサデバイス10は、そのセンシング能力や演算能力が互いに異なり、すなわち、認識できる能力が互いに異なるため、学習器238aは、上述した各センサデバイス10の能力情報に応じて各認識モデル310を生成することが好ましい。従って、様々な仕様を持つ複数のセンサデバイス10が含まれていても、各センサデバイス10の能力に応じた認識モデル310を生成することができることから、各センサデバイス10で認識を行うことができる。
 より詳細には、上記学習器238aは、例えば、配信リクエストで指定される配信を要求する対象となるオブジェクト300-1~300-nでそれぞれラベル付けされた、当該オブジェクトに関する教師データ302-1~302-nが入力される。そして、学習器238aは、コンボリューショナルニューラルネットワーク等による機械学習により、複数の教師データ302-1~302-nから、当該オブジェクトの特徴点、特徴量を抽出する。このように抽出された特徴点等の情報が、各センサデバイス10で取得されたセンシングデータに当該オブジェクトの情報が含まれているかどうかを認識するための認識モデル310となる。
 ここで、具体例を示して、本実施の形態に係る認識モデル310の生成について説明する。例えば、ユーザからの配信リクエストにより、センサデバイス10で取得した画像(センシングデータ)を用いて、所定の人物(オブジェクト)を探索することを要求された場合(配信データは、所定の人物の位置情報となる場合)を説明する。
 サービスサーバ20は、上記配信リクエストを送信したユーザデバイス30又は図示しないサーバから、認識モデル310を生成する際に利用する複数の教師データ302として、所定の人物の複数の画像を取得する。そして、サービスサーバ20は、図4に示すように、取得した複数の画像(教師データ)302-1~302-nを、所定の人物(オブジェクト)300-1~300-nというラベルをそれぞれに付して、学習器238aに入力する。さらに、学習器238aは、複数の画像(教師データ)302-1~302-nを用いた機械学習により、複数の画像(教師データ)302-1~302-nから、所定の人物(オブジェクト)300の画像の特徴点、特徴量を抽出し、画像(センシングデータ)から所定の人物(オブジェクト)300の画像を認識するための認識モデル310を生成する。
 なお、上述の例と同様に、ユーザからの配信リクエストにより、センサデバイス10で取得したセンシングデータ(ここでは、特にセンシングデータの種別を限定していない)を用いて、所定の人物(オブジェクト)を探索することを要求された場合には、学習器238aは、各センサデバイス10で取得可能なセンシングデータの種別に応じて認識モデル310を生成してもよい。
 より具体的には、学習器238aは、画像を取得することが可能なセンサデバイス10のために画像から所定の人物の画像を認識するための認識モデル310を生成し、環境音を取得することが可能なセンサデバイス10のために環境音から所定の人物の音声を認識するための認識モデル310を生成する。従って、様々な仕様を持つ複数のセンサデバイス10が含まれていても、各センサデバイス10の能力に応じた認識モデル310を生成することができることから、各センサデバイス10で認識を行うことができる。
 また、上述したように、認識モデル310は、機械学習で用いた教師データ302に関する情報を含んでいてもよい。ここで、教師データ302に関する情報とは、教師データ302の種別(例えば、画像、音声等)や、教師データの品質(ひずみ補償レベル、画素欠陥、ホワイトバランス、画像サイズ、彩度、輝度、ガンマ、コントラスト、エッジ強調レベル、フォーカス、露出レベル、解像度、ダイナミックレンジ、ノイズリダクションレベル等)であることができる。
 このような教師データ302に関する情報は、先に説明したセンサデバイス10の前処理部138において、取得されたセンシングデータが認識モデル(詳細には教師データ302)に近い形態を持つように前処理を行う際に用いられることができる。このようにすることで、センサデバイス10の認識部142の認識の精度を向上させることができる。
 また、上述したように、認識モデル310は、配信リクエストで指定された配信データを生成するために求められるセンシングデータを取得するための、センサデバイス10のセンサ部100の設定に関する設定情報を含んでいてもよい。ここで、設定情報とは、センシングデータの種別(例えば、画像、音声等)や、所望するセンシングデータの品質に応じたセンサ部100の設定値(ひずみ補償レベル、ホワイトバランス、画像サイズ、彩度、輝度、ガンマ、コントラスト、エッジ強調レベル、フォーカス、露出レベル、解像度、ダイナミックレンジ、ノイズリダクションレベル等)であることができる。このような設定情報は、センサ部100の設定の際に用いられ、認識モデル310に応じたセンシングデータを取得することを可能にし、ひいては認識部142の認識の精度を向上させることができる。
 なお、学習器238aはサービスサーバ20と別個のサーバに設けられていてもよく、特に限定されるものではない。さらに、学習器238aにおける学習方法は、上述した方法に限定されるものではなく別の方法を用いてもよい。
 <認識モデルを用いた認識>
 次に、上述した認識モデル310を用いた認識について説明する。上述したように、認識モデル310は、センサデバイス10の認識部142で、センシングデータ、もしくは、前処理されたセンシングデータが、配信リクエストに該当するかどうかを認識する際に用いられる。ここで、具体例を示して、本実施の形態に係る認識ついて説明する。
 例えば、ユーザからの配信リクエストにより、センサデバイス10で取得した画像(センシングデータ)を用いて、所定の人物(オブジェクト)を探索することを要求された場合(配信データは、所定の人物の位置情報となる)を説明する。センサデバイス10は、センサ部100から画像を取得する。そして、認識部142は、サービスサーバ20から取得した認識モデル310、詳細には、所定の人物(オブジェクト)300の画像の特徴点、特徴量を参照して、センサ部100から取得した画像に、所定の人物の画像が含まれているかどうかを認識する。すなわち、上述のような認識をセンサデバイス10で行うことから、画像の取得後すぐに認識を行うことができる。
 上述したように、複数のセンサデバイス10は、そのセンシング能力や演算能力が互いに異なり、すなわち、認識できる能力が互いに異なるため、各センサデバイス10の能力情報に応じて、各認識モデル310を生成され、各認識が行われる。例えば、本実施の形態においては、ユーザからの配信リクエストにより、センサデバイス10で取得したセンシングデータ(ここでは、特にセンシングデータの種別を限定していない)を用いて、所定の人物(オブジェクト)を探索することを要求された場合には、画像を取得することが可能なセンサデバイス10の認識部142は、認識モデル310に基づいて、画像から所定の人物の画像を認識し、環境音を取得することが可能なセンサデバイス10の認識部142は、認識モデル310に基づいて、環境音から所定の人物の音声を認識する。
 なお、認識部142は、センサデバイス10と別個の装置に設けられていてもよく、特に限定されるものではない。さらに、認識部142における認識方法は、上述した方法に限定されるものではなく別の方法を用いてもよい。
 次に、図5を参照して、本実施の形態に係る配信データの例について説明する。上述したように、センサデバイス10のデータ生成部144は、センシングデータに対して当該配信リクエストに応じた処理を行い、配信データを生成する。当該配信データは、配信リクエストで指定された、オブジェクトの属性情報、数量情報、位置情報、状態情報、動作情報、周囲環境情報、及び、予測情報のうちの少なくとも1つの情報を含むことができる。
 また、当該配信データは、画像やテキスト等のデータフォーマットを持つことができ、特に限定されるものではない。さらに、配信データには、配信リクエストを送信したユーザもしくはユーザデバイス30の識別情報が含まれていることが好ましい。すなわち、例えば、データ生成部144は、配信リクエストに応じて、センシングデータから配信リクエストで指定されたオブジェクトのデータのみを配信データとして抽出したり、抽象化したり、テキストデータ化したりすることができる。
 このように、データ生成部144が、配信リクエストに該当したセンシングデータを処理して配信データを生成する、リアルタイムでの配信を実現することができる。また、データ生成部144は、センシングデータが配信リクエストに該当しない場合には、配信データを生成、送信することはない。従って、本実施の形態によれば、センシングデータが配信リクエストに該当するか否かに関係なくセンシングデータを送信する場合に比べて、データ送信の負荷を減らすことができる。
 また、データ生成部144は、配信データから、センシングデータに含まれるプライバシに関する情報(例えば、人物が特定できる程度の人物の撮像)を排除することができる。このようにすることで、プライバシの保護を確保にしている。より具体的には、図5の最上段に示される例では、データ生成部144は、配信リクエストに該当するセンシングデータとして道路の画像Aが取得された場合、配信リクエストで指定された看板標識や横断歩道のみを抽出して、配信データAを生成する。
 また、図5の上から2段目に示される例では、データ生成部144は、配信リクエストに該当するセンシングデータとして道路の画像Bが取得された場合、配信リクエストで指定された道路上の標識や車両のみを抽出して、配信データBを生成する。
 また、図5の上から3段目に示される例では、データ生成部144は、配信リクエストに該当するセンシングデータとして道路の画像Cが取得された場合、配信リクエストで指定された看板標識や水たまりのみを抽出して、配信データCを生成する。
 さらに、図5の最下段に示される例では、データ生成部144は、配信リクエストに該当するセンシングデータとして道路の画像Dが取得された場合、配信リクエストで指定された横断歩道や当該横断歩道を渡る人物のみを抽出して、配信データDを生成する。
 次に、図6を参照して、本実施の形態に係る前処理の例について説明する。上述したように、認識部142は、機械学習で得られた認識モデル310を用いて、センシングデータが配信リクエストに該当するかどうかを認識することができる。そして、認識部142での認識の精度を向上させるために、センサデバイス10の前処理部138は、上述した教師データに関する情報に基づいて、センシングデータが認識モデル310に近い形態を持つように前処理を行う。詳細には、前処理部138は、フォーマット、ひずみ補償レベル、画素欠陥、ホワイトバランス、画像サイズ、彩度、輝度、ガンマ、コントラスト、エッジ強調レベル、フォーカス、露出レベル、解像度、ダイナミックレンジ、ノイズリダクションレベル等が教師データ302と同等になるように、センシングデータに対して前処理を行う。
 より具体的には、例えば、センサデバイス10のセンサ部100で、図6の上段に示すような各画像をセンシングデータとして取得した場合には、前処理部138は、画質サイズ及びフォーカスが教師データ302と同等になるように、図6の上段の各画像に対して前処理を行う。そして、前処理部138は、図6の下段に示すような各画像を取得する。本実施の形態によれば、このように、前処理部138で、認識モデル310を生成する際に用いた教師データ302と同等のデータレベルを持つセンシングデータになるように前処理することにより、認識部142での認識の精度をより向上させることができる。
 次に、図7を参照して、本開示の実施の形態に係る情報処理方法について説明する。図7は、本実施の形態に係る情報処理方法の一例を示すシーケンス図である。
 ステップS1において、ユーザデバイス30は、ユーザから入力された情報を受け付け、受け付けた当該情報を配信リクエストとしてサービスサーバ20へ送信する。ステップS2において、サービスサーバ20は、ユーザデバイス30から配信リクエストを受信する。
 ステップS3において、サービスサーバ20は、上述したステップS2で受信した配信リクエストに基づいて、認識モデルを生成し、生成した認識モデルを各センサデバイス10へ送信する。
 ステップS4において、センサデバイス10は、サービスサーバ20から認識モデルを受信する。また、ステップS5において、センサデバイス10は、センシングを行い、センシングデータを取得する。さらに、ステップS6において、センサデバイス10は、上述したステップS4で受信した認識モデルに基づいて、上述したステップS5で取得したセンシングデータが配信リクエストに該当するかどうかを認識する。
 センサデバイス10は、上述したステップS6でセンシングデータが配信リクエストに該当すると認識したことに基づいて、当該センシングデータに対して配信リクエストに応じた処理を行い、配信データを生成する。さらに、ステップS7において、センサデバイス10は、生成した配信データを、配信リクエストに係るユーザデバイス30へ直接送信する。
 なお、他の実施の形態として、センサデバイス10からユーザデバイス30に、配信データが、直接送信されるのではなく、サービスサーバ20を介して送信されるようにしても良い。
 ステップS8において、ユーザデバイス30は、センサデバイス10から送信された配信データを受信する。
 以上説明したように、上述した本実施の形態によれば、様々なセンサデバイス10が取得したセンシングデータから得られる情報を様々なユーザが容易に利用することが可能なフレームワークを構築することができる。
 <モードの切り替え機能の追加>
 センサデバイス10は、上述したように、自動車等の移動体に搭載された撮像装置(カメラ)や、ユーザの携帯するスマートフォンに搭載された撮像装置、自宅や店舗等に設置された監視カメラ等の撮像装置などである。センサデバイス10が、バッテリで駆動しているような場合、バッテリの容量が減り、機能しなくなる可能性がある。また、AI処理するCPUやGPUが熱を持つ可能性もあり、発熱がひどくなると、センサデバイス10が正常に機能しなくなる可能性もある。
 センサデバイス10のバッテリの容量が、閾値以下になったような場合や、CPUやGPUといった処理部130の発熱量が閾値以上になったような場合、センサデバイス10で行われている処理の一部を、サービスサーバ20で行うように切り替える。ここでは、センサデバイス10のAI機能の一部、または全てが、サービスサーバ20で行われる場合を例に挙げて説明を続ける。
 センサデバイス10の処理の一部をサービスサーバ20で行うようにすることで、センサデバイス10のバッテリの消費を抑えたり、処理部130の発熱を抑えたりする処理について説明を加える。
 図8に、このような処理を行うでセンサデバイス10の構成例を示す。図8に示したセンサデバイス10は、以下の説明に必要とされる部分を、図2に示したセンサデバイス10の構成に追加した構成である。図8に示したセンサデバイス10は、センサデバイス10の各部に電力を供給するバッテリ180と、そのバッテリ180の残量を検知する残量検出部152と、センサデバイス10内の発熱量を検知する熱検出部154が追加された構成とされている。また、後述するモードを切り替えるときの処理を行うモード切替制御部156も追加された構成とされている。
 センサデバイス10側の処理の一部を、サービスサーバ20側でも行えるようにした場合のサービスサーバ20の構成例を図9に示す。図9に示したサービスサーバ20は、図3に示したサービスサーバ20の構成に、認識部248と前処理部250を追加した構成とされている。認識部248と前処理部250は、センサデバイス10の認識部142と前処理部138と同等の処理を行う機能である。また、後述するモードを切り替えるときの処理を行うモード切替制御部252も追加された構成とされている。
 ここでは、例えば、センサデバイス10のバッテリ180の容量が閾値以下になった場合やセンサデバイス10の発熱量が閾値以上になった場合、センサデバイス10の認識部142で行う処理を、サービスサーバ20で行うようにする。またさらにバッテリ180の容量が下がった場合、センサデバイス10の前処理部138で行う処理も、サービスサーバ20で行うようにする。このような場合を例に挙げて説明するため、サービスサーバ20は、図9に示したように、認識部248と前処理部250を備える構成とされている。
 センサデバイス10として、どのような機能を有しているか、またセンサデバイス10の機能のうち、どの機能をサービスサーバ20側で行わせるかにより、図8,図9に示したセンサデバイス10とサービスサーバ20の構成は変わるため、図8,図9に示した構成例は一例であり、限定を示すものではない。
 センサデバイス10のバッテリ180の残量や処理部130の発熱量に応じて、センサデバイス10の処理の一部を、サービスサーバ20側で行う場合の一例を、図10、図11を参照して説明する。
 以下の説明においては、センサデバイス10側で、センサデバイス10側で行うとして設定されている処理の全てを行うモードをセンサデバイス重点モードと記述する。このセンサデバイス重点モードは、例えば、センサデバイス10のAI機能で、認識モデルを用いた処理を行うモードである。
 サービスサーバ20側で、センサデバイス10側で行うとして設定されている処理の一部を行うモードをサービスサーバ重点モードと記述する。サービスサーバ重点モードはセンサデバイス10とサービスサーバ20で、センサデバイス10のAI機能を分担して、認識モデルを用いた処理を行うモードである。
 なおここでは、この2つのモードがある場合を例示して説明を続けるが、モードとしては複数設けても良い。2以上のモードを設けた場合については、図12を参照して後述する。
 図10は、センサデバイス10とサービスサーバ20から構成されシステムにおいて、モードの切替(モード遷移)に係わる処理について説明するためのフローチャートである。図11は、センサデバイス重点モードとサービスサーバ重点モードのときのセンサデバイス10とサービスサーバ20の機能の分担状態を表す図である。
 ステップS11において、センサデバイス10側のバッテリ180の残量が、閾値以下であるか、または熱が閾値以上であるかが判定される。センサデバイス10の残量検出部152により、バッテリ180の残量が検出され、閾値以下であるか否かがモード切替制御部156により判定される、また、センサデバイス10の熱検出部154により、センサデバイス10内の温度が計測され、その温度が閾値以上であるか否かが、モード切替制御部156により判定される。
 バッテリ180の残量が閾値以下であるかの判定や、熱が閾値以上であるかの判定は、後述するように、サービスサーバ20のモード切替制御部252で行うようにすることもできる。
 また、ここではバッテリ180の残量と処理部130の熱が監視され、残量と熱がそれぞれ閾値と比較される場合を例に挙げて説明を続けるが、残量と熱のうちのどちらか一方のみが監視され、閾値比較される場合にも、本技術を適用することはできる。すなわち、本技術は、モード切替のトリガとなる要因が、1つ(残量または熱)であっても良いし、2つ(残量と熱)であっても良い。さらに、本技術は、モード切替のトリガとなる要因が2以上であってももちろん適用できる。
 なお、熱検出部154は、CPUやGPUといった認識部142や前処理部138を構成する部位(AI機能に係わる部位)の温度(発熱量)を直接計測する、換言すれば、CPUやGPUの熱だけを計測するように構成しても良いし、センサデバイス10の温度を計測する(この場合、外気温の影響も少なからず受ける)ようにしても良い。
 ステップS11において、センサデバイス10側のバッテリ180の残量は、閾値以下にはなっていない、かつ熱も閾値以上にはなっていないと判定された場合、ステップS12に処理は進められ、センサデバイス重点モードに設定される。図11の上段は、センサデバイス重点モードのときを表している。
 センサデバイス10は、人を検出する処理を実行する人検出機能を有している。この人検出機能は、前処理部138や認識部142がモデル取得部140で取得された認識モデルに基づき、センサ部100で撮像された画像から人を検出するAI機能である。センサデバイス10は、センサデバイス重点モードのときには、センサ部100で得られた画像を解析することで、人を検出し、人が検出された座標を、配信データとして、通信部170を介して、サービスサーバ20に送信する。
 サービスサーバ20は、通信部270を介してデータ取得部242でセンサデバイス10側から送信されてきた人の座標に関するデータを取得する。サービスサーバ20は、所定のアプリケーションで人の座標に関するデータを処理する。例えば、進入禁止のエリアに人が侵入していないか否かを判定したり、侵入していると判定したときには、所定のユーザデバイス30に通知したりする処理が行われる。
 一方で、ステップS11において、センサデバイス10側のバッテリ180の残量は、閾値以下になった、または/および、熱が閾値以上にはなったと判定された場合、ステップS13に処理は進められ、サービスサーバ重点モードに設定される。図11の下段は、サービスサーバ重点モードのときを表す。
 センサデバイス重点モードから、サービスサーバ重点モードに切り替えられると、センサデバイス10側は、センサ部100で撮像された画像の画像データを、サービスサーバ20に送信する。サービスサーバ重点モードのときには、センサデバイス10は、前処理部138や認識部142における処理を行わない。前処理部138や認識部142の処理が実行されないことにより、バッテリ180の消費電力を抑制したり、発熱量を抑制したりすることができる。
 サービスサーバ20は、センサデバイス10からの画像データを、通信部270を介してデータ取得部242により取得する。サービスサーバ20が、人検出機能を、認識部243と前処理部250で実現する場合、データ取得部242で取得された画像データは、前処理部250に供給される。そして、前処理部250で処理された画像データは、認識部248に供給される。前処理部2501と認識部248は、センサデバイス10側の前処理部138と認識部142と同様の処理を実行することで、人検出機能を実現する。サービスサーバ20は、人検出機能により人を検出し、その人の座標を検出すると、その人の座標に関するデータを、アプリケーションで供給する。
 図11に示した例では、センサデバイス10のバッテリ180の残量が閾値以下になった場合や発熱量が閾値以上になった場合、センサデバイス10の人検出機能(AI機能)による処理が、サービスサーバ20側で行われるようにモードが切り替えられる。
 なお、サービスサーバ重点モードのとき、センサデバイス10のバッテリ180が充電されたり、交換されたりすることで、残量が閾値以上に戻ったと判定された場合や、発熱が収まったと判定された場合、センサデバイス重点モードに戻される。
 <複数のモード間での遷移>
 図12を参照して、3つのモードがある場合について説明を加える。図12に示したモードは、センサデバイス重点モード、バランスモード、サービスサーバ重点モードの3モードである。バランスモードは、センサデバイス重点モードとサービスサーバ重点モードの間のモードとの位置づけである。
 センサデバイス重点モードのとき、センサデバイス10では、センサ部100で撮像された画像から、人の顔を検出する顔検出機能と、顔検出機能により検出された顔を認識する顔認識機能からなるAI機能を有する場合を示している。
 例えば、顔検出機能は、前処理部138(図8)において実現されるようにし、センサ部100で撮像された画像から、顔が撮像されている領域を抽出するAI機能として設けることができる。また例えば、顔認識機能は、認識部142(図8)において実現されるようにし、顔検出機能(前処理部138)により検出された顔が、例えばユーザAであるか否か、特定の人物を特定する機能であり、顔認証を行うAI機能として設けることができる。
 センサデバイス重点モードのとき、センサデバイス10の顔検出機能により、画像から顔が検出され、顔検出結果が出力される。また、センサデバイス10の顔認識機能により、顔検出結果を用いて、顔認識が行われ、顔認識結果が出力される。このような一連の処理が、センサデバイス重点モードのときには、センサデバイス10側で行われ、最終的に出された顔認識結果が、サービスサーバ20側に送信される。
 サービスサーバ20は、通信部270を介してデータ取得部242でセンサデバイス10側から送信されてきた顔認識結果に関するデータを取得する。サービスサーバ20は、所定のアプリケーションで顔認識結果に関するデータを処理する。例えば、顔認識の結果が、ユーザAであるとの認識結果である場合、部屋の鍵を開ける、照明を付けるといった処理がなされるようにすることができる。
 センサデバイス10のセンサデバイス10側のバッテリ180の残量は、閾値以下になった、または熱が閾値以上にはなったと判定されると、バランスモードに切り替えられる。バランスモードの状態を、図12の中段に示す。図12の中段に示したように、バランスモードのときには、センサデバイス10の顔認識機能に関する処理、換言すれば、認識部142で行われる処理は、サービスサーバ20側で実行されるようになる。
 センサデバイス10側では、センサ部100で撮像された画像から、顔検出機能により、顔を検出するまでの処理が実行される。そして、顔検出結果が、サービスサーバ20に送信される。サービスサーバ20は、データ取得部242により顔検出結果を取得する。サービスサーバ20は、顔認識機能、この場合、認識部248(図9)により、顔認識を行う。サービスサーバ20の顔認識機能により認識された顔認識結果は、アプリケーションに供給される。
 バランスモードの場合、センサデバイス10側の顔認識機能(認識部142(図8)で行う処理)が、サービスサーバ20側で行われる。換言すれば、センサデバイス10は、顔認識の処理を行わない。よって、センサデバイス10は、顔認識を行わない分だけ少なくとも、バッテリ180の消費電力を低減したり、処理部130の発熱量を低減したりすることができる。
 このように、バランスモードは、センサデバイス10のAI機能で処理していたことを、センサデバイス10とサービスサーバ20で分担して行うようにするモードである。
 なお、バランスモードのとき、センサデバイス10のバッテリ180が充電されたり、交換されたりすることで、残量が閾値以上に戻った判定された場合や、発熱が収まったと判定された場合、センサデバイス重点モードに戻される。
 バランスモードのときからさらに、センサデバイス10側のバッテリ180の残量が下がった場合や、熱がより上がった場合などには、バランスモードからサービスサーバ重点モードに遷移する。
 サービスサーバ重点モードのときには、センサデバイス10の顔検出機能に関する処理、換言すれば、前処理部138で行われる処理も、サービスサーバ20側で実行されるようになる。さらに換言すると、サービスサーバ重点モードは、センサデバイス10側のAI機能による処理のうちのほぼ全ての処理が、サービスサーバ20側で行われるモードである。
 サービスサーバ重点モードの場合、センサデバイス10は、センサ部100で撮像された画像の画像データを、サービスサーバ20に送信する。サービスサーバ重点モードのときには、センサデバイス10は、前処理部138や認識部142における処理を行わない。前処理部138や認識部142の処理が実行されないことにより、バッテリ180の消費電力を抑制したり、発熱量を抑制したりすることができる。
 サービスサーバ20は、センサデバイス10からの画像データを、通信部270を介してデータ取得部242により取得する。サービスサーバ20は、顔検出機能、この場合、前処理部250(図9)により、顔検出を行う。さらに、サービスサーバ20は、顔認識機能、この場合、認識部248(図9)により、顔認識を行う。サービスサーバ20の顔認識機能により認識された顔認識結果は、アプリケーションに供給される。
 サービスサーバ重点モードの場合、センサデバイス10側の顔検出機能(前処理部138(図8)で行う処理)と顔認識機能(認識部142(図8)で行う処理)が、サービスサーバ20側で行われる。換言すれば、センサデバイス10は、顔検出と顔認識の処理を行わない。よって、センサデバイス10は、顔検出や顔認識を行わない分だけ少なくとも、バッテリ180の消費電力を低減したり、処理部130の発熱量を低減したりすることができる。
 なお、サービスサーバ重点モードのとき、センサデバイス10のバッテリ180が充電されたり、交換されたりすることで、残量が閾値以上に戻った判定された場合や、発熱が収まったと判定された場合、バランスモードまたはセンサデバイス重点モードに戻される。
 また、ここでは、センサデバイス重点モード、バランスモード、サービスサーバ重点モードの順で、モードが遷移する場合を例に挙げて説明したが、残量の減りが大きかったり、熱が急激に上がったりしたなどの場合、センサデバイス重点モードからサービスサーバ重点モードに遷移しても良い。
 <複数のモードの第2の遷移>
 アプリケーションは、センサデバイス10側にあっても良い。センサデバイス10は、上述したように、AI機能(認識部142など実現される)が搭載され、サービスサーバ2から送信された認識モデルに基づき、取得したセンシングデータが、ユーザからの要求(配信リクエスト)に該当するかどうかを認識することができる構成とされている。そこで、センサデバイス10自体にアプリケーションを搭載し、センサデバイス10で取得されたセンシングデータから、センサデバイス10で、ユーザからの要求に該当するかどうかを認識し、その結果を提示するまでの処理を行えるようにすることもできる。
 図13は、図12と同様に、センサデバイス重点モード、バランスモード、およびサービスサーバ重点モードを遷移する場合の図である。図13の上段に示したように、センサデバイス10は、所定のアプリケーションを有し、センサデバイス重点モードのときには、図12の場合と同じく、センサデバイス10が有する顔検出機能と顔認識機能のAI機能により、顔認識が行われる。さらに、アプリケーションにより顔認識結果が処理されるまでの処理が、センサデバイス10側で行われる。
 バランスモードのときには、図13の中段に示したように、図12の中段に示した場合と同じく、センサデバイス10が有する顔検出機能により顔検出が行われ、その顔検出結果が、サービスサーバ20に送信される。サービスサーバ20は、顔認識機能を起動させ、顔認識機能により、顔認識を行う。サービスサーバ20の顔認識機能により認識された顔認識結果は、センサデバイス10に送信される。センサデバイス10は、受信された顔認識結果を、アプリケーションで処理する。
 サービスサーバ重点モードのときには、図13の下段に示したように、図12の下段に示した場合と同じく、センサデバイス10は、センサ部100で得られた画像データを、サービスサーバ20に送信する。サービスサーバ20は、顔検出機能と顔認識機能を起動させ、顔検出と顔認識を行う。サービスサーバ20の顔認識機能により認識された顔認識結果は、センサデバイス10に送信される。センサデバイス10は、受信された顔認識結果を、アプリケーションで処理する。
 このように、センサデバイス10がアプリケーションも有するように構成し、センサデバイス重点モードのときには、サービスサーバ20とのやりとりなしで、処理が行われるようにすることもできる。また、バランスモードやサービスサーバ重点モードのときには、サービスサーバ20での処理結果が、センサデバイス10側に戻されるようにすることもできる。
 図13の中段では、顔検出結果が、サービスサーバ20に送信され、顔認識結果が、センサデバイス10に送信される例を示した。センサデバイス10からは、センサ部100で取得された画像データが、サービスサーバ20に送信され、サービスサーバ20は、顔検出機能を有し、顔検出を行うようにしても良い。また、サービスサーバ20は、顔検出結果を、センサデバイス10に送信し、センサデバイス10側で、顔認識機能により顔認識が行われるようにしても良い。
 <モードにより異なる処理を行う例>
 図14は、異なるモードのときには、異なる処理が実行されるときの一例を説明するための図である。図14に示した例も、図13に示した例と同じく、センサデバイス10がアプリケーションを備えている例を示す。
 図14の上段に示したように、センサデバイス重点モードのときには、センサデバイス10は、RGB人検出機能を起動させ、人検出を行う。RGB人検出機能は、RGB(Red、Green、Blue)のカラー画像を処理して、人検出を行うAI機能である。センサデバイス重点モード、すなわち、バッテリ180の残量があり、発熱量が少ないときには、センサデバイス10は、センサ部100で取得されたカラー画像を処理して、人を検出し、人の座標を取得する。またセンサデバイス10は、所定のアプリケーションで、人の座標を処理し、所定の処理を実行する。
 センサデバイス重点モードから、サービスサーバ重点モードに遷移した場合、図14の下段に示したように、センサデバイス10は、RGB人検出機能から、輝度人検出機能へとAI機能を切り替える。輝度人検出機能は、センサ部100で取得された画像の輝度成分を用いて、人検出を行い、輝度による人の座標をアプリケーションに出力するAI機能である。
 またセンサデバイス重点モードのときには、センサ部100で取得されたカラー画像の画像データは、サービスサーバ20に送信される。サービスサーバ20は、RGB人検出機能を起動し、受信された画像データに基づく画像を処理することで、人を検出する。検出されたRGBによる人の座標は、サービスサーバ20からセンサデバイス10に対して送信される。センサデバイス10のアプリケーションは、サービスサーバ20からのRGBによる人の座標も用いて処理を行う。この場合、センサデバイス10は、グレースケールで人検出を行い、簡易的に人を検出し、詳細はサービスサーバ20からのRGBによる人の座標を用いて補完する。
 センサデバイス10が、RGB人検出機能を用いて人検出を行うときよりも、輝度人検出機能を用いて人検出を行うときの方が、処理負担が軽減され、バッテリ180の消費電力を抑えられる。図14を参照して説明したようにモード遷移することで、センサデバイス重点モードのときよりも、サービスサーバ重点モードのときの方が、バッテリ180の消費電力を抑えることができる。また、発熱も、処理が軽減されれば、下がると考えられるため、センサデバイス重点モードのときよりも、サービスサーバ重点モードのときの方が、発熱量を抑えることができる。
 このように、サービスサーバ重点モードのときには、センサデバイス10の処理は、センサデバイス重点モードのときよりも処理負荷が低い処理とされ、サービスサーバ20側で、軽減された処理を補うような処理が実行されるように構成することもできる。
 なお、サービスサーバ重点モードのときは、センサ部100で撮像されたカラー画像のデータが、サービスサーバ20に送信されるが、この送信とき、暗号化の処理や圧縮の処理が行われるようにしても良い。このようにした場合、暗号化の処理や圧縮の処理による処理負荷が大きくなる可能性がある。このようなことから、サービスサーバ重点モードのときには、カラー画像のデータの送信を行わないという実施の形態もある。
 <モードにより異なる処理を行う他の例>
 図15は、異なるモードのときには、異なる処理が実行されるときの一例を説明するための図である。図15に示した例も、図14に示した例と同じく、センサデバイス10がアプリケーションを備えている例を示す。
 図15の上段に示したように、センサデバイス重点モードのときには、センサデバイス10は、人検出機能を起動させ、人検出を行う。人検出機能により検出された人の座標に関するデータは、アプリケーションに供給される。センサデバイス10は、所定のアプリケーションで、人の座標を処理し、所定の処理を実行する。
 センサデバイス重点モードから、サービスサーバ重点モードに遷移した場合、図15の下段に示したように、センサデバイス10は、差分算出機能を起動し、その差分算出機能による算出結果により、処理を分ける。差分算出機能は、時刻t1においてセンサ部100で取得された画像1と、時刻t1より前の時刻t0で取得された画像t0との差分を算出する。
 差分算出機能は、所定のフレームと1フレーム前のフレームを比較することで、差分を算出する。この差分は、時刻t0で撮像された状況と時刻t1で撮像された状況とで、どの程度の変化があったかを表す指標として用いることができる。
 この差分が大きい場合、時刻t0で撮像された状況から時刻t1で撮像された状況は大きく変化したと推定することができる。このように状況が変化したと判定されるときには、センサデバイス10での検出結果をできるだけ早く出すようにするのが良いと考えられる。よって、差分算出機能により算出された差分が大きい場合には、センサデバイス10側の人検出機能により人検出が行われ、検出された人の座標が、アプリケーションに供給されるようにする。
 一方で、差分が小さい場合、時刻t0で撮像された状況から時刻t1で撮像された状況はあまり変化していないと推定することができる。このように状況があまり変化していないと判定されるときには、センサデバイス10での検出結果をできるだけ早く出す必要性は低いと考えられる。よって、差分算出機能により算出された差分が小さい場合には、画像データをサービスサーバ20に送信し、サービスサーバ20側の人検出機能により人検出が行われ、検出された人の座標が、センサデバイス10のアプリケーションに供給されるようにする。
 サービスサーバ重点モードのときには、センサデバイス10は、差分が大きいときだけ人検出を行うため、常時人検出を行う場合、すなわちセンサデバイス重点モードのときよりも、バッテリ180の消費電力を抑えることができる。また、発熱も、処理が軽減されれば、下がると考えられるため、センサデバイス重点モードのときよりも、サービスサーバ重点モードのときの方が、発熱量を抑えることができる。
 このように、サービスサーバ重点モードのときには、センサデバイス10は、サービスサーバ重点モードのときに実行していた処理と、その処理よりも軽減された処理との、どちらかを選択して実行するように構成することもできる。
 <モード遷移に係わる処理>
 図16のフローチャートを参照し、センサデバイス10とサービスサーバ20との間で行われる処理についてさらに説明を加える。図16のフローチャートを参照した説明は、図11を参照して説明したようにモードが遷移する場合を例に挙げた説明とする。
 また、図16には、NICE(Network of Intelligent Camera Ecosystem)Allianceで規定されている仕様を適用したときに用いられるAPI(Application Programming Interface)を図中右側に記載してある。このことは、本技術は、NICE規格に基づいて処理を実行することが可能であることを示す記載であるが、NICE規格にのみに本技術の適用範囲が限定されることを示す記載ではない。すなわち、本技術は、NICE規格に適用することができるし、NICE規格以外の規格に対しても適用できる。
 ステップS101において、サービスサーバ20からセンサデバイス10に対して情報要求が出される。この要求に応じて、センサデバイス10は、ステップS102において、センサデバイス10の情報通知を、サービスサーバ20に対して行う。このステップS101とステップS102において実行されるセンサデバイス10に関する情報の授受を、NICE規格に基づいて行う場合、GetCapabilitiesというAPIが用いられる。
 GetCapabilitiesというAPIは、デバイスの能力を問い合わせるためのAPIであり、例えば、動画や静止画を撮影する能力があるか、フォーマットとしてJPEGやH.264などW扱えるか、どのSceneModeに対応しているかなどの情報を授受するためのAPIである。
 本技術を適用した場合、GetCapabilitiesというAPIを用いて授受されるセンサデバイス10の情報には、バッテリ180の残量や熱(温度)の情報も含まれる。センサデバイス10は、サービスサーバ20からGetCapabilitiesというAPIを受け取ったとき、残量検出部152でバッテリ180の残量を検出し、その検出された残量に関する情報を他の情報とともにサービスサーバ20に送付する。また、センサデバイス10は、サービスサーバ20からGetCapabilitiesというAPIを受け取ったとき、熱検出部154でセンサデバイス10の熱(温度)を測定し、その測定された熱に関する情報も、他の情報とともにサービスサーバ20に送付する。
 ステップS103において、サービスサーバ20は、モード設定を行う。サービスサーバ20は、センサデバイス10からのセンサデバイス10の能力や状態に関する情報を受信しており、この情報を元に、適切なモードを設定する。設定されるモードは、センサデバイス重点モード、またはサービスサーバ重点モードである。
 また、モードが設定されるとは、認識部142(図8)が用いる認識モデルが設定されることも含まれる。換言すれば、設定されるモードに対応するAI機能が設定される。
 ステップS103おいて実行されるモード設定に関する処理を、NICE規格に基づいて行う場合、SetSceneModeというAPIが用いられる。SetSceneModeというAPIは、SceneModeを設定するAPIであり、SceneModeは、人検出、動体検出などである。
 ステップS104において、センサデバイス10は、設定された認識モデルを用いた検出処理を行う。例えば図11を参照して説明したように、センサ部100で取得された画像から、人を検出する処理が実行される。
 ステップS105において、センサデバイス10は、検出処理で検出された情報を、サービスサーバ20に送信する。送信される情報は、例えば、検出された人の座標に関する情報である。
 ステップS105において実行される検出結果の通知を、NICE規格に基づいて行う場合、SetSceneMarkというAPIが用いられる。このSetSceneMarkというAPIは、SetSceneModeで設定したトリガにかかったときに、そのトリガにかかった情報を送信するAPIである。例えば、SetSceneModeで人検出が設定されていた場合、人が検出されたときのサムネイル、タイムスタンプなどのメタ情報が送信される。
 ステップS104における検出処理と、ステップS105の検出結果の通知の処理は、繰り返し行われる。検出処理と通知処理が繰り返し行われている一方で、図10を参照して説明したモード切替処理も行われている。図10を参照して説明したフローチャートのステップS11において、センサデバイス10のモード切替制御部156により、バッテリ180の残量が閾値以下になった、または熱が閾値以上になったと判定された場合、センサデバイス重点モードからサービスサーバ重点モードに移行すると決定され、モード遷移が開始される。
 このようなモード遷移の処理が開始されると、図15に示したフローチャートのステップS111において、センサデバイス10の情報が通知される。なお、モード遷移の処理の開始は、センサデバイス10側からの指示により行うか、サービスサーバ20側からの指示により行うかなど、複数の実施の形態があるため、詳細は後述する。
 ステップS111において、モード遷移の開始のために、センサデバイス10から、バッテリ180の残量やセンサデバイス10の熱に関する情報が、サービスサーバ20に対して送信される。このようなモード遷移の開始のために、センサデバイス10から、サービスサーバ20にセンサデバイス10の情報を送信するAPIについては、NICE規格では未定義の通信である。このような通信を行うAPIを、NICE規格に新たに定義することで、モード遷移の開始に係わる通信をNICE規格でも行えるようにすることができる。
 ステップS112において、サービスサーバ20は、センサデバイス10に対して、モード設定を行う。このステップS112におけるモード設定の処理は、ステップS103におけるモード設定の処理と基本的に同様に行われる。サービスサーバ20は、センサデバイス10からのセンサデバイス10のバッテリ残量や熱に関する情報を受信すると、そのバッテリ残量や熱のときに適したモードを設定する。図16に示した例では、ステップS112においては、サービスサーバ重点モードに設定される。ステップS112におけるモード設定に係わる処理を、NICE規格に基づいて行う場合、SetSceneModeというAPIを用いることができる。
 ステップS112において、サービスサーバ重点モードに切り替えられることにより、図11を参照して説明したように、センサデバイス10は、センサ部100で取得された画像データを、サービスサーバ20に送信し、人検出処理は行わないモードになる。また、サービスサーバ20側は、センサデバイス10からの画像データを受信し、その画像データを用いて人検出処理を実行するモードになる。
 ステップS113において、センサデバイス10は、サービスサーバ20に画像データ(画像情報)を通知する。この通知を、NICE規格に基づいて行う場合、SetSceneMarkというAPIを用いても良いし、SetSceneDataというAPIを用いても良い。SetSceneDataは、基本的には、SetSceneMarkと同様であるが、SetSceneMarkはメタ情報を送信するのに対して、SetSceneDataは、データそのものを送信するという点が異なる。
 ステップS114において、サービスサーバ20は、センサデバイス10から送信されてきた画像情報を用いた検出処理を行う。ステップS113における画像情報の通知の処理と、ステップS114における検出処理は、繰り返し行われる。繰り返し行われることで、例えば人検出の処理が継続的に行われる。
 ステップS121において、センサデバイス10は、サービスサーバ20に対してセンサデバイス10の情報を通知する。この通知は、継続不可能であることを示す通知である。センサデバイス10が、サービスサーバ重点モードで稼働しているとき、例えばバッテリ180が充電されるなどの処理が行われなければ、バッテリ180の残量は減り続け、最終的には稼働できない残量まで減ってしまう可能性がある。
 このように、センサデバイス10は、稼働不可能な状態となる前に、稼働不可能な状態になりそうだということを、サービスサーバ20に対して通知する。このような通知を受け、サービスサーバ20は、例えば、センサデバイス10を管理する管理者に、センサデバイス10の状態を通知する処理を実行する。
 なお、バッテリの残量が0になりそうなとき以外にも、熱が下がらない、さらに上がり続けているといったような場合にも通知が出されるようにすることができる。また、これら以外に、故障したとき、例えば、センサ部100により画像が撮影できなくなったときなどにも、通知が出せる状態であれば、通知を出すようにしても良い。
 このように、正常に稼働できない状態になった、正常に稼働できない状態になりそうだといったときに、センサデバイス10からサービスサーバ20に通知を出すAPIについては、NICE規格では未定義の通信である。このような通知を行うAPIを、NICE規格に新たに定義することで、稼働状態を継続することが不可能な状態であることを示す通知をNICE規格でも行えるようにすることができる。
 <モード遷移に係わる第1の処理について>
 モード遷移の開始に係わる第1の処理について説明する。図17は、モード遷移の開始を、センサデバイス10側から指示(要求)を出す場合の処理について説明するためのフローチャートである。
 ステップS201において、センサデバイス10の残量検出部152は、バッテリ180の残量を検知する。ステップS202において、熱検出部154は、センサデバイス10の熱(CPUやGPUの熱)を検知する。
 ステップS203において、モード切替制御部156は、検知された残量は、閾値以下であるか否か、または熱が閾値以上であるか否かを判定する。なお、残量に対する閾値と、熱に対する閾値は、異なる値である。ステップS203において、検知された残量は閾値以上であり、熱は閾値以下であると判定された場合、処理は、ステップS201に戻され、それ以降の処理が繰り返される。
 ステップS201乃至S203の処理は、所定の周期で繰り返し行われる。ここでは、センサデバイス重点モードのときに、ステップS203の処理が実行される場合を例に挙げて説明している。よって、ステップS203において、検知された残量は、閾値以下であるか否か、または熱が閾値以上であるか否かが判定されるとして説明している。サービスサーバ重点モードのときに、ステップS203の処理が実行される場合、検知された残量は、閾値以上であるか否か、また熱は閾値以下であるか否かが判定される処理となる。
 また、図12や図13を参照して説明したように、複数のモードがある場合、ステップS203の処理が行われる時点で設定されているモードに合った閾値との比較が行われ、判定が行われる。すなわち、閾値は、モード毎に設定されている。
 一方、ステップS203において、検知された残量は、閾値以下であると判定された場合、または/および、熱が閾値以上であると判定された場合、ステップS204に処理は進められる。
 ステップS204において、センサデバイス10は、サービスサーバ20に対して、モード変更の要求を出す。サービスサーバ20は、ステップS205において、センサデバイス10からのモード変更の要求を受け取ると、ステップS206において、変更後のモードを設定する。ステップS206においては、サービスサーバ20側は、例えば、センサデバイス10が実行していた認識モデルに基づく認識を開始できる状態にするとともに、センサデバイス10に対して、設定されたモードに対応する認識モデルを送信する処理が実行される。
 センサデバイス10は、ステップS207において、サービスサーバ20からの認識モデルを受信することで、例えばサービスサーバ重点モードへと遷移する。ステップS204乃至S207の処理は、図16のステップS111とステップS122において実行される処理に該当する。
 このように、センサデバイス10側で、モード変更の要求を出すように構成することができる。
 <モード遷移に係わる第2の処理について>
 モード遷移の開始に係わる第2の処理について説明する。図18は、モード遷移の開始を、サービスサーバ20側で判定する場合の処理について説明するためのフローチャートである。
 ステップS221において、センサデバイス10の残量検出部152は、バッテリ180の残量を検知する。ステップS222において、熱検出部154は、センサデバイス10の熱(CPUやGPUの熱)を検知する。
 ステップS223において、モード切替制御部156は、検知された残量が、閾値以上変化したか否か、または熱が閾値以上変化したか否かを判定する。ステップS221乃至S223の処理は、所定の周期で行われる。その検知間隔の間に、変化した変化量が、閾値以上変化したか否かが判定される。
 ステップS223においては、バッテリ180の残量の変化量が、閾値以上ではないと判定された場合、および熱の変化量も閾値以上ではないと判定された場合、ステップS221に処理が戻され、それ以降の処理が繰り返される。一方で、ステップS223において、バッテリ180の残量の変化量が、閾値以上であると判定された場合、または/および、熱の変化量が閾値以上であると判定された場合、ステップS224に処理が進められる。
 ステップS224において、センサデバイス10は、サービスサーバ20に対して、残量と熱に関する情報を送信する。このとき送信されるのは、バッテリ180の残量と、熱の情報である。ここでは、残量と熱に関する情報をサービスサーバ20に送信するトリガとして、残量や熱の変化量が所定の閾値以上になった場合としている。このようなトリガを設けることで、頻繁にデータの授受が行われることを防ぐことができる。
 センサデバイス10からの情報を、ステップS225において受信したサービスサーバ20のモード切替制御部252は、ステップS226において、センサデバイス10のバッテリ180の残量が閾値以下であるか、または熱が閾値以上であるかを判定する。ステップS226において、サービスサーバ20は、センサデバイス10のバッテリ180の残量は閾値以下ではなく、または熱も閾値以上ではないと判定した場合、モード遷移に関する処理としては何もせずに、そのままの状態を維持する。
 一方で、ステップS226において、センサデバイス10のバッテリ180の残量が閾値以下である、または/および、熱が閾値以上であると判定された場合、ステップS227に処理は進められる。ステップS227において、変更後のモードへの設定が行われる。ステップS227以降の処理は、ステップS206(図17)以降の処理と同様である。
 このように、センサデバイス10は、所定のトリガにより、サービスサーバ20に対して、バッテリの残量に関する情報と熱に関する情報を送信し、サービスサーバ20側で、モードを変更するか否かの判定や、その判定に基づきモード変更の指示を出すように構成することができる。
 このように、センサデバイス10側で、バッテリ180の残量の変化量を検知するようにした場合、バッテリ180の容量の減りの速さを観測することもできる。このような観測を利用し、バッテリ180の劣化を検出し、メンテナンス用の情報として用いるようにしても良い。例えば、バッテリ180の変化量が大きくなってきた場合、バッテリ180が劣化し始めていると判定し、センサデバイス10を管理する管理者に通知が出されるような仕組みを設けることも可能である。
 <モード遷移に係わる第3の処理について>
 モード遷移の開始に係わる第3の処理について説明する。図19は、モード遷移の開始を、サービスサーバ20側で判定する場合の処理について説明するためのフローチャートである。
 ステップS241において、センサデバイス10の残量検出部152は、バッテリ180の残量を検知する。ステップS242において、熱検出部154は、センサデバイス10の熱(CPUやGPUの熱)を検知する。
 ステップS243において、検知された残量と熱に関する情報が、サービスサーバ20に送信される。ステップS241乃至S243の処理は、所定の周期で繰り返し行われる。すなわち、センサデバイス10は、所定の周期毎に残量と熱に関する情報を、サービスサーバ20に送信し、サービスサーバ20は、所定の周期毎に、センサデバイス10のバッテリの残量とデバイスの熱に関する情報を受信する。
 ステップS244において、センサデバイス10からの情報を受信したサービスサーバ20は、ステップS245において、センサデバイス10のバッテリ180の残量が閾値以下であるか、または熱が閾値以上であるかを判定する。ステップS244以降の処理は、ステップS225(図18)以降の処理と同様であるため、説明は省略する。
 このように、センサデバイス10は、所定の周期で、サービスサーバ20に対して、バッテリの残量に関する情報と熱に関する情報を送信し、サービスサーバ20側で、モードを変更するか否かの判定や、その判定に基づきモード変更の指示を出すように構成することができる。
 このように、本技術によれば、センサデバイス10のバッテリ180の残量やCPUなどの発熱量に応じて、センサデバイス10側で主に処理を行うモードと、サービスサーバ20側で主に処理を行うモードとを切り替えることができる。換言すれば、本技術によれば、センサデバイス10のバッテリ180の残量やCPUなどの発熱に応じて、処理を分担し、その処理分担を最適化した状態で行うことができる。また、分担する処理は、AI機能による処理とすることができる。
 本技術によれば、センサデバイス10が突然バッテリ切れや発熱により、機能が停止してしまうようなことを防ぐことができる。また、仮に機能が停止してしまうような状態になるとしても、そのような状態になるまでの時間を長くすることができる。
 上述した実施の形態では、バッテリの残量とデバイスの熱に応じてモードの遷移が起こる場合を例に挙げて説明したが、残量や熱に加えて、または残量は熱以外のトリガによりモード遷移が起こるようにしても良い。例えば、センサデバイス10とサービスサーバ20間の通信ネットワークのトラフィックに応じて、モードの切り替えが行われるようにしても良い。例えば、通信ネットワークのトラフィックが混んでいる場合には、センサデバイス10とサービスサーバ20間で授受されるデータ量が減少するようなモードに設定されるようにすることもできる。
 また、サービスサーバ20の処理負荷が、モード切り替えのトリガとしても良い。サービスサーバ20は、複数のセンサデバイス10とデータの授受を行い、処理を行うため、サービスサーバ20の処理負荷が大きくなる可能性がある。サービスサーバ20の処理負荷が大きくなった場合には、サービスサーバ20側で行う処理の一部を、センサデバイス10側で行うモードに遷移するといった実施の形態にも適用できる。
 また、サービスサーバ20側のメモリのリソース残量やストレージの残量などを、モード切り替えのトリガとしても良い。サービスサーバ20のメモリのリソース残量やストレージの残量が、所定の閾値以下になった場合などサービスサーバ20側での処理負担を軽減するモードに切り替えられるようにしたり、センサデバイス10やサービスサーバ20以外の装置のメモリやストレージを用いることができるモードに切り替えられたりする構成とすることもできる。
 上述した実施の形態において、センサデバイス10とサービスサーバ20との通信は、プラバシー保護のために暗号化されて行われるようにすることもできる。例えば、サービスサーバ重点モードのときには、センサデバイス10から画像データがサービスサーバ20に送信されるときもあるが、この送信される画像データは、暗号化がかけられたり、圧縮処理がかけられたりするようにすることもできる。
 <記録媒体について>
 上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
 図20は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。コンピュータにおいて、CPU(Central Processing Unit)501、ROM(Read Only Memory)502、RAM(Random Access Memory)503は、バス504により相互に接続されている。バス504には、さらに、入出力インタフェース505が接続されている。入出力インタフェース505には、入力部506、出力部507、記憶部508、通信部509、及びドライブ510が接続されている。
 入力部506は、キーボード、マウス、マイクロフォンなどよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記憶部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインタフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体511を駆動する。
 以上のように構成されるコンピュータでは、CPU501が、例えば、記憶部508に記憶されているプログラムを、入出力インタフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
 コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
 コンピュータでは、プログラムは、リムーバブル記録媒体511をドライブ510に装着することにより、入出力インタフェース505を介して、記憶部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記憶部508にインストールすることができる。その他、プログラムは、ROM502や記憶部508に、あらかじめインストールしておくことができる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
 <移動体への応用例>
 本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図21は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
 車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図21に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
 駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
 ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
 撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
 車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
 マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12030に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
 音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図21の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
 図22は、撮像部12031の設置位置の例を示す図である。
 図22では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
 撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図22には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
 撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
 撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
 本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
 なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 なお、本技術は以下のような構成も取ることができる。
(1)
 バッテリの残量または熱の少なくとも一方に応じて、モードを切り替えるモード切替部を備え、
 前記モード切替部は、第1の装置で所定の処理を実行する第1のモードと、第2の装置で前記所定の処理を実行する第2のモードとを切り替える
 情報処理装置。
(2)
 前記所定の処理は、AI(Artificial Intelligence)機能による処理である
 前記(1)に記載の情報処理装置。
(3)
 前記モード切替部は、前記第1の装置のバッテリの残量が所定の閾値以上であり、かつ前記第1の装置の熱が所定の閾値以下である場合、前記第1のモードを設定し、前記第1の装置のバッテリの残量が所定の閾値以下である場合、または/および前記第1の装置の熱が所定の閾値以上である場合、前記第2のモードを設定する
 前記(1)または(2)に記載の情報処理装置。
(4)
 前記第1のモードは、前記第1の装置で、前記AI機能による処理を実行するモードであり、前記第2のモードは、前記第2の装置で、前記AI機能による処理を実行するモードである
 前記(2)に記載の情報処理装置。
(5)
 前記第2のモードは、前記第1の装置と前記第2の装置で前記AI機能による処理を実行するモードである
 前記(2)に記載の情報処理装置。
(6)
 前記第1の装置は、前記バッテリの残量を検知し、前記残量が所定の閾値以下である場合、または前記熱を検知し、前記熱が所定の閾値以上である場合、前記第2の装置に、モード切替の指示を出す
 前記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)
 前記第1の装置は、所定の周期毎に、前記バッテリの残量と前記熱を検知し、前記残量と前記熱に関する情報を、前記第2の装置に送信し、
 前記第2の装置は、前記残量と前記熱に関する情報に基づいて、前記モードを切り替えるか否かを判定する
 前記(1)乃至(5)のいずれかに記載の情報処理装置。
(8)
 前記第2のモードのとき、前記第1の装置は、前記第1のモードのときに前記第1の装置が行う第1の処理よりも処理負担が軽減された第2の処理を行い、前記第2の装置は、前記第1の装置が行う前記第1の処理を行う
 前記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)
 前記第2のモードのとき、前記第1の装置は、前記第1のモードのときに前記第1の装置が行う第1の処理、または前記第1の処理よりも処理負担が軽減された第2の処理のどちらかの処理を選択的に切り替えて実行する
 前記(1)乃至(8)のいずれかに記載の情報処理装置。
(10)
 前記バッテリの残量が継続不能な状態になるレベルまで減少した場合、前記第1の装置から前記第2の装置に通知が出される
 前記(1)乃至(9)のいずれかに記載の情報処理装置。
(11)
 前記第1の装置は、センシングを行うセンサデバイスであり、前記第2の装置は、前記センサデバイスによりセンシングされた情報を取得するサーバである
 前記(1)乃至(10)のいずれかに記載の情報処理装置。
(12)
 情報処理装置が、
 バッテリの残量または熱の少なくとも一方に応じて、第1の装置で所定の処理を実行する第1のモードと、第2の装置で前記所定の処理を実行する第2のモードとを切り替える
 情報処理方法。
(13)
 コンピュータに、
 バッテリの残量または熱の少なくとも一方に応じて、第1の装置で所定の処理を実行する第1のモードと、第2の装置で前記所定の処理を実行する第2のモードとを切り替える
 処理を実行させるためのプログラム。
 1 データ配信システム, 2 サービスサーバ, 10 センサデバイス, 20 サービスサーバ, 30 ユーザデバイス, 40 認証サーバ, 100 センサ部, 110 測位部, 130 処理部, 132 ID送信部, 134 key受信部, 136 センサデータ取得部, 138 前処理部, 140 モデル取得部, 142 認識部, 144 データ生成部, 146 配信部, 152 残量検出部, 154 熱検出部, 156 モード切替制御部, 160 記憶部, 170 通信部, 180 バッテリ, 230 処理部, 232 ID送信部, 234 リクエスト受付部, 236 能力情報取得部, 238 モデル生成部, 240 モデル送信部, 242 データ取得部, 243 認識部, 246 配信部, 248 認識部, 250 前処理部, 252 モード切替制御部, 260 記憶部, 270 通信部, 302 教師データ, 310 認識モデル

Claims (13)

  1.  バッテリの残量または熱の少なくとも一方に応じて、モードを切り替えるモード切替部を備え、
     前記モード切替部は、第1の装置で所定の処理を実行する第1のモードと、第2の装置で前記所定の処理を実行する第2のモードとを切り替える
     情報処理装置。
  2.  前記所定の処理は、AI(Artificial Intelligence)機能による処理である
     請求項1に記載の情報処理装置。
  3.  前記モード切替部は、前記第1の装置のバッテリの残量が所定の閾値以上であり、かつ前記第1の装置の熱が所定の閾値以下である場合、前記第1のモードを設定し、前記第1の装置のバッテリの残量が所定の閾値以下である場合、または/および前記第1の装置の熱が所定の閾値以上である場合、前記第2のモードを設定する
     請求項1に記載の情報処理装置。
  4.  前記第1のモードは、前記第1の装置で、前記AI機能による処理を実行するモードであり、前記第2のモードは、前記第2の装置で、前記AI機能による処理を実行するモードである
     請求項2に記載の情報処理装置。
  5.  前記第2のモードは、前記第1の装置と前記第2の装置で前記AI機能による処理を実行するモードである
     請求項2に記載の情報処理装置。
  6.  前記第1の装置は、前記バッテリの残量を検知し、前記残量が所定の閾値以下である場合、または前記熱を検知し、前記熱が所定の閾値以上である場合、前記第2の装置に、モード切替の指示を出す
     請求項1に記載の情報処理装置。
  7.  前記第1の装置は、所定の周期毎に、前記バッテリの残量と前記熱を検知し、前記残量と前記熱に関する情報を、前記第2の装置に送信し、
     前記第2の装置は、前記残量と前記熱に関する情報に基づいて、前記モードを切り替えるか否かを判定する
     請求項1に記載の情報処理装置。
  8.  前記第2のモードのとき、前記第1の装置は、前記第1のモードのときに前記第1の装置が行う第1の処理よりも処理負担が軽減された第2の処理を行い、前記第2の装置は、前記第1の装置が行う前記第1の処理を行う
     請求項1に記載の情報処理装置。
  9.  前記第2のモードのとき、前記第1の装置は、前記第1のモードのときに前記第1の装置が行う第1の処理、または前記第1の処理よりも処理負担が軽減された第2の処理のどちらかの処理を選択的に切り替えて実行する
     請求項1に記載の情報処理装置。
  10.  前記バッテリの残量が継続不能な状態になるレベルまで減少した場合、前記第1の装置から前記第2の装置に通知が出される
     請求項1に記載の情報処理装置。
  11.  前記第1の装置は、センシングを行うセンサデバイスであり、前記第2の装置は、前記センサデバイスによりセンシングされた情報を取得するサーバである
     請求項1に記載の情報処理装置。
  12.  情報処理装置が、
     バッテリの残量または熱の少なくとも一方に応じて、第1の装置で所定の処理を実行する第1のモードと、第2の装置で前記所定の処理を実行する第2のモードとを切り替える
     情報処理方法。
  13.  コンピュータに、
     バッテリの残量または熱の少なくとも一方に応じて、第1の装置で所定の処理を実行する第1のモードと、第2の装置で前記所定の処理を実行する第2のモードとを切り替える
     処理を実行させるためのプログラム。
PCT/JP2021/023052 2020-07-01 2021-06-17 情報処理装置、情報処理方法、並びにプログラム WO2022004412A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022533849A JPWO2022004412A1 (ja) 2020-07-01 2021-06-17
US18/001,721 US20230319397A1 (en) 2020-07-01 2021-06-17 Information processing apparatus, information processing method, and program
CN202180045252.4A CN116018814A (zh) 2020-07-01 2021-06-17 信息处理装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020113755 2020-07-01
JP2020-113755 2020-07-01

Publications (1)

Publication Number Publication Date
WO2022004412A1 true WO2022004412A1 (ja) 2022-01-06

Family

ID=79316085

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023052 WO2022004412A1 (ja) 2020-07-01 2021-06-17 情報処理装置、情報処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US20230319397A1 (ja)
JP (1) JPWO2022004412A1 (ja)
CN (1) CN116018814A (ja)
WO (1) WO2022004412A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021140652A1 (ja) * 2020-01-10 2021-07-15 日本電信電話株式会社 データ処理装置、データ処理方法、及びデータ処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010165265A (ja) * 2009-01-17 2010-07-29 Nec Corp サーバ処理分散装置、サーバ処理分散方法及びサーバ処理分散プログラム
JP2012239060A (ja) * 2011-05-12 2012-12-06 Nec Corp サービス提供システム、通信端末、プログラム及びサービス提供方法
JP2018132865A (ja) * 2017-02-14 2018-08-23 ソニーセミコンダクタソリューションズ株式会社 電子機器、電子機器の処理代行依頼方法および情報処理システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10009549B2 (en) * 2014-02-28 2018-06-26 The Board Of Trustees Of The Leland Stanford Junior University Imaging providing ratio pixel intensity
JP6270555B2 (ja) * 2014-03-07 2018-01-31 キヤノン株式会社 画像処理システム、撮像装置及びその制御方法
US10956770B1 (en) * 2017-11-14 2021-03-23 Snap Inc. Systems and methods for multi-device image processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010165265A (ja) * 2009-01-17 2010-07-29 Nec Corp サーバ処理分散装置、サーバ処理分散方法及びサーバ処理分散プログラム
JP2012239060A (ja) * 2011-05-12 2012-12-06 Nec Corp サービス提供システム、通信端末、プログラム及びサービス提供方法
JP2018132865A (ja) * 2017-02-14 2018-08-23 ソニーセミコンダクタソリューションズ株式会社 電子機器、電子機器の処理代行依頼方法および情報処理システム

Also Published As

Publication number Publication date
JPWO2022004412A1 (ja) 2022-01-06
CN116018814A (zh) 2023-04-25
US20230319397A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
US11606516B2 (en) Image processing device, image processing method, and image processing system
Kukkala et al. Advanced driver-assistance systems: A path toward autonomous vehicles
JP7420734B2 (ja) データ配信システム、センサデバイス及びサーバ
US20210142055A1 (en) Surveillance camera system looking at passing cars
US20200053297A1 (en) Image processing apparatus, image processing method, and program
US11427195B1 (en) Automatic collision detection, warning, avoidance and prevention in parked cars
JPWO2019039282A1 (ja) 画像処理装置および画像処理方法
WO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
US11659154B1 (en) Virtual horizontal stereo camera
KR20170050362A (ko) 차량운전 보조장치, 이를 포함하는 차량, 및 차량안전 시스템
US20220397675A1 (en) Imaging systems, devices and methods
JP7172603B2 (ja) 信号処理装置、信号処理方法、およびプログラム
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
WO2022004412A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
WO2020203240A1 (ja) 情報処理装置および情報処理方法
US11616932B1 (en) Car security camera triggering mechanism
WO2022004413A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
US20210248756A1 (en) Image processing apparatus, vehicle-mounted apparatus, image processing method, and program
CN113614782A (zh) 信息处理装置、信息处理方法和程序
WO2022190801A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び記録媒体
WO2023139943A1 (ja) 情報処理装置、情報処理システム、コンピュータ読み取り可能な記録媒体及び情報処理方法
EP3863282A1 (en) Image processing device, and image processing method and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21833785

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022533849

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21833785

Country of ref document: EP

Kind code of ref document: A1