TW202217730A - 資訊處理系統及資訊處理方法 - Google Patents

資訊處理系統及資訊處理方法 Download PDF

Info

Publication number
TW202217730A
TW202217730A TW110135086A TW110135086A TW202217730A TW 202217730 A TW202217730 A TW 202217730A TW 110135086 A TW110135086 A TW 110135086A TW 110135086 A TW110135086 A TW 110135086A TW 202217730 A TW202217730 A TW 202217730A
Authority
TW
Taiwan
Prior art keywords
mentioned
model
data
node
unit
Prior art date
Application number
TW110135086A
Other languages
English (en)
Inventor
下村宗弘
三好弘孝
小川佳美
熊谷嘉博
安藤秀樹
渡辺諭
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202217730A publication Critical patent/TW202217730A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/14—Charging, metering or billing arrangements for data wireline or wireless communications
    • H04L12/1432—Metric aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Neurology (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本揭示可根據各種使用案例靈活地變更功能。實施形態之資訊處理系統具備：感測器資料取得部，其取得由感測器取得之感測資料；處理部，其具備輸入上述感測資料而執行推理之推理器；及切換部，其根據使用案例而切換上述推理器。

Description

資訊處理系統及資訊處理方法
本揭示係關於一種資訊處理系統及資訊處理方法。
例如，考慮構建使用複數個感測器器件之監視系統，如於街上之各處配置監視相機，構建利用圖像進行監視之監視系統等。
然而，先前於此種監視系統中，假設由相機等感測器器件取得之感測資料僅由設置感測器器件之使用者個人使用，因確保安全之觀點或介面未共通化等，其他使用者難以使用。
因此，如下述專利文獻1所揭示，提出一種系統，其構建有各種使用者可容易地使用自各種感測器器件取得之感測資料而得之資訊的框架。
具體而言，專利文獻1中，藉由將感測資料之傳輸之介面共通化，而可於框架內活用不同規格之感測器器件、不同規格之使用者器件。又，專利文獻1中，揭示有並非始終自感測器器件對使用者器件送出感測資料，而僅將自使用者器件側請求之條件成立時之資料送出至使用者置側(例如，於監視圖像內特定人物出現之條件成立時，僅送出映出該人物之資料部分)，藉此謀求降低資料傳輸之負荷。
此處，為實現如專利文獻1所揭示之系統，即，可於框架內活用不同規格之感測器器件、不同規格之使用者器件，且僅將特定條件成立時之資料送出至使用者器件側，藉此謀求降低資料傳輸之負荷之系統，而制定有稱為NICE(Network of Intelligent Camera Ecosystem：智慧型相機生態系統網路)之規格。
作為該NICE規格，於NICE資料管線規範(Data Pipeline Specification)v1.0.1(10.8.2.JSON對象(Object))中，規定有感測器器件送出特定條件成立時之感測資料(「情景資料(SceneData)」)時之送出資料之格式。具體而言，該格式中，規定有送出感測資料中作為實際資料部之「情景資料」、與該「情景資料」之附加資料部，即包含表示該「情景資料」之類型(種類)之「情景資料類型(SceneDataType)」之資訊之稱為「情景標記(SceneMark)」之資料。 [先前技術文獻] [專利文獻]
專利文獻1：國際公開第2020/100922號公報 專利文獻2：日本專利特開2020-129390號公報 專利文獻3：日本專利特開2020-123379號公報
[發明所欲解決之問題]
然而，現狀之NICE規格中，未規定用以更換或更新作為推理器預先組入於器件側之模型之具體結構。因此，已導入模型之器件之用途受限，存在難以根據各種使用案例靈活地變更提供給使用者之功能之問題。
因此，本揭示中，提出一種可根據各種使用案例靈活地變更功能之資訊處理系統及資訊處理方法。 [解決問題之技術手段]
為解決上述問題，本揭示之一形態之資訊處理系統具備：感測器資料取得部，其取得由感測器取得之感測資料；處理部，其具備輸入上述感測資料而執行推理之推理器；及切換部，其根據使用案例而切換上述推理器。
以下，針對本揭示之實施形態，基於圖式詳細說明。另，以下之實施形態中，藉由對同一部位標註同一符號而省略重複說明。
又，按照以下所示之項目順序說明本揭示。 0.前言 1.第1實施形態 1.1 資訊處理系統之概略構成 1.2 感測器器件之詳細構成 1.3 服務伺服器之詳細構成 1.4 匯總伺服器之詳細構成 1.5 關於本實施形態之辨識 1.6 資訊處理方法 1.7 可下載AI模型之系統架構 1.8 器件之節點架構 1.9 全體動作概要 1.10 基本動作順序 1.11 情景模型對象之例 1.12 開始情景對象之例 1.13 模型資料之例 1.14 使用預設之AI模型時之動作順序例 1.15 下載AI模型使用時之動作順序例 1.16 變化例 1.17 其他變化例 1.18 總結 2.第2實施形態 2.1 加密對象之例 2.2 隱私對象之例 2.3 將模型資料加密時之動作順序例 2.4 總結 3.第3實施形態 3.1 安裝例 3.2 動作例 4. 硬體構成
0.前言 如上所述，預先組入有用以執行認證或推理之模型之器件中，難以更換已安裝之模型。因此，無法自導入模型完畢之器件獲得特定之結果，其用途受限，故難以根據各種使用案例靈活地變更對使用者提供之功能。又，為了更換功能而需要執行韌體之更新等，難以即時地實現與使用者等所要求之情景或服務等相應之適切之功能。
因此，以下之實施形態中，提出一種可根據使用案例即時地更換功能之資訊處理系統及資訊處理方法。由於可藉由更換功能而進行各種檢測或分析等，故可進行與使用案例相應之自由度較高之功能更換。
又，以下之實施形態中，可於安全狀態下更換功能。藉此，可保護資訊處理裝置免於資料洩露或篡改等，故可將與使用案例相應之功能更安心地提供給使用者。
例如，以下之實施形態中，執行機械學習等AI處理之器件可保持安全狀態，且自應用程式、伺服器或其他器件自由取得並安裝用以執行AI處理之AI模型或參數等。藉此，可提供能於需要時立即執行任意AI處理之結構。另，器件例如可具有以下能力：搭載相機、麥克風、溫度計或氣壓計等各種感測器，或自其他裝置等接收自該等而得之資訊，對藉此取得之資料執行AI處理，將其處理結果發送至應用程式、伺服器或其他器件。
藉由提供此種結構，不僅可配合使用案例或狀況，亦可配合應用程式、伺服器或其他器件所需之資料等，自由地追加或更換器件之功能。藉此，可配合使用案例或狀況等，與應用程式、伺服器或其他器件側之AI處理等聯用，作為系統全體以最佳之形式對使用者提供目標服務。
又，進行AI模型之再學習等時，亦可容易將再學習後之AI模型再配置於各器件。
1.第1實施形態 以下，針對本揭示之第1實施形態之資訊處理系統及資訊處理方法，參照圖式詳細地說明。
1.1 資訊處理系統之概略構成 首先，參照圖1，說明本實施形態之資訊處理系統之構成例。圖1係顯示本實施形態之資訊處理系統之概略功能構成之系統圖。
如圖1所示，本實施形態之資訊處理系統1可主要包含複數個感測器器件10a、10b、10c、服務伺服器20、複數個使用者器件30a、30b、30c、認證伺服器40、及匯總伺服器50。該等各裝置例如經由未圖示之基地台等(例如行動電話之基地台、無線LAN(Local Area Network：區域網路)之存取點等)連接於網路(省略圖示)，藉此構建資訊處理系統1。另，上述網路可使用之通信方式不拘有線或無線(例如，第5代通信系統、WiFi(註冊商標)、Bluetooth(註冊商標)等)，可應用任意方式，但期望使用可穩定地高速發送大容量資料之通信方式。又，資訊處理系統1所包含之感測器器件10或使用者器件(請求端)30並非於如圖1所圖示，限定於各為3個者，本實施形態之資訊處理系統1中亦可包含各為3個以上。即，本實施形態之資訊處理系統1可管理複數個感測器器件10，受理來自複數個使用者器件30之請求，對其等發送資料。以下，針對本實施形態之資訊處理系統1所含之各裝置之概要進行說明。
(感測器器件10) 感測器器件10可取得所設置之周圍環境之感測資料(例如圖像、聲音等)，將自取得之感測資料而得之配送資料(特定之資料)發送至使用者器件30等外部裝置。又，期望感測器器件10搭載有AI功能，可基於自服務伺服器20發送之機械學習模型(以下，稱為AI模型)，辨識取得之感測資料是否符合來自使用者之要求(配送請求)。另，本說明中，作為AI模型，例示對資料執行辨識處理之辨識模型，但不限定於此，可應用基於各種目的而學習之各種AI模型。
例如，感測器器件10可為搭載於汽車等移動體之攝像裝置(相機)、搭載於使用者攜帶之智慧型手機之攝像裝置、設置於自家或店鋪等之監視相機等攝像裝置，該情形時，感測資料為圖像。該情形時，該等攝像裝置將來自設置於周圍之被攝體之光聚光，於攝像面形成光像，將形成於攝像面之光像轉換為電性圖像信號，藉此可取得圖像。另，以下之說明中，只要無特別限定，則移動體可為汽車、電動汽車、混合動力汽車、機車、自行車、個人行動工具、飛機、無人機、船舶、機器人(移動機器人)、建設機械、農業機械(拖拉機)等。
又，本實施形態中，感測器器件10並非限定於上述攝像裝置。本實施形態中，例如感測器器件10亦可為測量與被攝體相隔之距離(深度)之深度感測器、收集周圍環境之聲音之麥克風等集音裝置、測量周圍環境之溫度及濕度之溫度感測器及濕度感測器、測定河川等之水位之水位感測器等。
另，本實施形態中，若感測器器件10為具有與資訊處理系統1共通之介面(資料傳輸形式、資料傳輸方法等)者，則其內部構成基本不受限。因此，本實施形態之資訊處理系統1可組入不同規格之各種感測器器件10。另，對於感測器器件10之詳細構成於下文敘述。
(服務伺服器20) 服務伺服器20為自使用者器件30受理要求配送可自上述感測資料產生之配送資料之配送請求之電腦。再者，服務伺服器20可將複數個配送請求(要求)整合，產生與配送請求相應之辨識模型，將產生之辨識模型發送至上述感測器器件10。又，服務伺服器20亦可視需要自感測器器件10接收配送資料，將接收到之配送資料發送至符合上述配送請求之使用者器件30。例如，服務伺服器20可由CPU(Central Processing Unit：中央處理單元)、ROM(Read Only Memory：唯讀記憶體)、RAM(Random Access Memory：隨機存取記憶體)等硬體實現。另，對於服務伺服器20之詳細構成於下文敘述。
(使用者器件30) 使用者器件30為如下之終端：由使用者攜帶，或設置於使用者附近，可受理自使用者輸入之資訊，將所受理之該資訊作為配送請求發送至服務伺服器20，或接收配送請求之配送資料。例如，使用者器件30亦可為平板型PC(Personal Computer：個人電腦)、智慧型手機、智慧型手錶、行動電話、膝上型PC、筆記型PC等移動終端、HMD(Head Mounted Display：頭戴式顯示器)等穿戴式裝置。又，使用者器件30亦可為遠距離操作搭載於車輛之ECU(Electronic Control Unit：電子控制單元)、無人機或機器人等之控制器等。再者，使用者器件30亦可具有向使用者進行顯示之顯示部(省略圖示)、受理來自使用者之操作之操作部(省略圖示)、或向使用者進行聲音輸出之揚聲器(省略圖示)等。
另，可對使用者器件30安裝例如與資訊處理系統1共通之應用程式(Application)、或具有與上述服務伺服器20共通之規格之應用程式。使用者器件30藉由安裝如上所述之應用程式，而具有與資訊處理系統1共通之形式等，可產生並發送配送請求，或接收配送資料。
另，本實施形態中，假設使用者不僅為個人，亦為如下者。例如，使用者可為地圖製作者、開店戰略制定者、道路管理局、社會基礎設施發展負責人等。更具體而言，藉由使用本實施形態所提供之服務，地圖製作者可不花費人力而進行詳細地圖之製作，開店戰略制定者可容易進行研討開店時之資訊收集。又，藉由使用上述服務，道路管理局可容易進行基於道路狀態、通行車型等之推測等之用以策定道路修繕計劃之資訊收集。再者，藉由使用上述服務，社會基礎設施發展負責人可藉由統計、分析駕駛傾向或事故原因，而研討應用於預防措施、車載資通訊。
且，使用者經由使用者器件30，向服務伺服器20發送配送請求。該配送請求包含指定使用者要求配送之資料之內容(資料類型)等之資訊。例如，該配送請求可包含對象資訊，該對象資訊包含成為要求配送之對象的對象(例如臉、人物、動物、移動體、文本、道路(人行道、人行橫道、道路寬度、標識等)、標誌、條碼等)；及指定要求對象相關之何種資訊(例如數量、速度、位置、狀態、年齡、性別、特定之姓名、推定結果等)之資訊(資料類型)。又，該配送請求可包含指定配送資料之資料格式(例如圖像、文本等)之資料格式資訊。再者，該配送請求可包含使用者或使用者器件30之識別資訊(ID(identification：識別))。另，本實施形態中，上述配送請求亦可包含有服務伺服器20產生識別模型時使用之各種資料。
本實施形態中，上述配送請求具有與資訊處理系統1共通之資料形式。例如，本實施形態中，配送請求可包含與對象資訊或資料格式資訊對應之文字串或數字串。該情形時，對於自使用者頻繁要求之對象資訊或資料格式資訊，預先決定對應之文字串或數字串，作為資料庫(省略圖示)存儲於服務伺服器20擁有之記憶部(省略圖示)。且，服務伺服器20藉由參照上述資料庫，可辨識與配送請求所含之文字串等對應之對象資訊及資料格式資訊。又，上述資料庫中不存在與使用者期望之對象資訊及資料格式資訊對應之文字串之情形時，亦可將該等對象資訊及資料格式資訊直接記述於上述配送請求內。或者，該情形時，亦可重新決定與使用者期望之對象資訊及資料格式資訊對應之文字串，將決定之文字串記述於上述配送請求及上述資料庫中。
(認證伺服器40) 認證伺服器40自感測器器件10或服務伺服器20接收各種認證資訊(ID)，且係判定該等各裝置是否提供本實施形態之資訊處理系統1之服務，或是否具有提供之權限之電腦。再者，認證伺服器40對具有權限之裝置發送可存取服務之密鑰、提供服務或著用以提供服務之指令等。且，上述認證資訊具有與資訊處理系統1共通之資料形式。即，認證伺服器40可作為認證API(Application Programming Interface：應用程式編程介面)使用，對感測器器件10與服務伺服器20進行認證，並將之互相建立關聯。本實施形態之資訊處理裝置1藉由組入此種認證伺服器40，可確保該資訊處理系統1之安全性，並將各感測器器件10經由服務伺服器20與各使用者器件30建立關聯。又，認證伺服器40例如可藉由CPU、ROM、RAM等硬體實現，可與匯總伺服器50協作。另，本實施形態中，認證伺服器40亦可進行針對使用者器件30之認證。
(匯總伺服器50) 匯總伺服器50係與上述認證伺服器40協作，按照每個使用者或使用者器件30，且每個感測器器件10，將配送資料之配送量匯總，基於該匯總等決定資料使用費用之電腦。再者，匯總伺服器50可經由服務伺服器20，與感測器器件10之管理者及各使用者之間進行資料使用費用之授受。例如，匯總伺服器50可由CPU、ROM、RAM等硬體實現。
另，本實施形態之資訊處理系統1中，感測器器件10或服務伺服器20各者可不由單一裝置實現，亦可由經由有線或無線之各種網路(省略圖示)連接，且互相協作之複數個裝置實現。又，本實施形態中，服務伺服器20、認證伺服器40及匯總伺服器50中之2個或全部亦可由一體之裝置實現。再者，本實施形態之資訊處理系統1亦可包含未圖示之其他伺服器等。
1.2 感測器器件之詳細構成 接著，參照圖2，說明本實施形態之感測器器件10之詳細構成。圖2係顯示本實施形態之感測器器件10之功能構成例之方塊圖。詳細而言，如圖2所示，感測器器件10主要具有感測器部100、測位部110、處理部130、記憶部160、及通信部170。以下，針對感測器器件10之各功能區塊依序說明。
(感測器部100) 感測器部100取得感測資料，將取得之感測資料輸出至處理部130。詳細而言，感測器器件10為攝像裝置之情形時，感測器部100具有將自被攝體發出之光聚光之攝影透鏡及變焦透鏡等攝像光學系統、及CCD(Charge Coupled Device：電荷耦合器件)或CMOS(Complementary Metal Oxide Semoconductor：互補金屬氧化物半導體)等攝像元件。另，本實施形態中，感測器部100可以固定於感測器器件10內之方式設置，亦可能裝卸地設置於感測器器件10。
又，本實施形態中，感測器部100除攝像裝置外，亦可包含TOF(Time of Flight：飛行時間)感測器(省略圖示)作為深度感測器。TOF感測器藉由直接或間接測量來自被攝體之反射光之返回時間，而可取得TOF感測器與被攝體之間之距離及凹凸等之形狀資訊(深度資訊/圖像)。再者，本實施形態中，感測器部100亦可包含集音裝置(麥克風)、溫度感測器、氣壓感測器、濕度感測器、風向風速感測器、日照感測器、降水量感測器、水位感測器等，只要可自周圍環境取得感測資料，則並非特別限定者。
(測位部110) 測位部110取得獲取符合配送請求之感測資料時之感測器器件10之測位資料，將取得之測位資料輸出至處理部130(詳細而言為資料產生部144)。例如，該測位資料與配送資料一起，藉由處理部130之配送部146，發送至使用者器件30。測位部110具體而言，可為GNSS(Global Navigation Satellite System：全球導航衛星系統)接收機等。該情形時，測位部110可基於來自GNSS衛星之信號，產生顯示感測器器件10之當前地之緯度、經度之測位資料。又，本實施形態中，例如可自RFID(Radio Frequency Identification：射頻識別)、Wi-Fi之存取點、無線基地台之資訊等檢測使用者之相對位置關係，故亦可使用此種通信裝置作為上述測位部110。另，本實施形態中，測位部110亦可不設置於感測器器件10。
(處理部130) 處理部130具有處理感測器部100取得之感測資料，產生配送資料之功能。再者，處理部130將要配送之配送資料之配送量匯總，將基於匯總之資訊發送至匯總伺服器50。處理部130例如由CPU或GPU(Graphics Processing Unit：圖形處理單元)等處理電路或ROM、RAM等實現。詳細而言，如圖2所示，處理部130主要具有ID發送部132、密鑰(key)接收部134、感測器資料取得部136、前處理部138、模型取得部140、辨識部142、資料產生部144、配送部146、匯總部148及匯總資訊發送部150。以下，針對處理部130具有之各功能部之細節進行說明。
~ID發送部132~ ID發送部132經由通信部170，將感測器器件10之認證資訊(ID)發送至認證伺服器40。該認證資訊於由認證伺服器40判定感測器器件10是否具有提供本實施形態之資訊處理系統1之服務之權限時使用。本實施形態之資訊處理系統1藉由此種認證，而確保該資訊處理系統1之安全性。
~密鑰接收部134~ 密鑰接收部134經由通信部170，接收可存取自認證伺服器40發送之服務之密鑰，或用以提供服務之指令等，並將接收到之密鑰等輸出至模型取得部140。該模型取得部140可使用由密鑰接收部134接收到之密鑰等，自服務伺服器20取得辨識模型。
~感測器資料取得部136~ 感測器資料取得部136控制感測器部100，取得自感測器部100輸出之感測資料，將取得之感測資料輸出至前處理部138或辨識部142。
~前處理部138~ 前處理部138根據模型取得部140取得之辨識模型所含之資訊(例如，產生辨識模型時使用之監督資料相關之資訊等)，對自感測器資料取得部136輸出之感測資料進行前處理，將經前處理後之感測資料輸出至辨識部142。詳細而言，辨識部142使用以機械學習而得之與配送請求對應之辨識模型，辨識感測資料是否符合該配送請求。因此，本實施形態中，藉由以使感測資料具有接近辨識模型之形態之方式進行前處理，而可對辨識部142提供適於上述辨識之感測資料。其結果，根據本實施形態，可提高辨識部142之辨識精度。
~模型取得部140~ 模型取得部140經由通信部170，自服務伺服器20取得與配送請求對應之辨識模型，將取得之辨識模型輸出至前處理部138及辨識部142。
~辨識部142~ 辨識部142可利用AI功能等，基於自模型取得部140輸出之辨識模型，辨識自感測器資料取得部136輸出之感測資料，或由前處理部138前處理後之感測資料是否符合配送請求。更具體而言，辨識部142例如可辨識作為感測資料之圖像中是否包含配送請求所指定之對象圖像(換言之，辨識對象)。且，辨識部142將辨識結果輸出至資料產生部144。另，該辨識模型可為將自可由服務伺服器20中之機械學習獲得，例如可自配送請求指定之對象圖像或聲音等資料獲得之該對象賦予特徵之特徵資訊。本實施形態中，因由感測器器件10進行如上所述之辨識，故可於取得感測資料後立即進行辨識。
~資料產生部144~ 資料產生部144於由上述辨識部142辨識出感測資料符合配送請求之情形時，可對該感測資料進行與該配送請求相應之處理，產生配送資料。例如，資料產生部144藉由自感測資料僅擷取由配送請求指定之對象相關之資料，或將其抽象化，或將其文本資料化，而產生配送資料。更具體而言，該配送資料可包含由配送請求指定之對象之屬性資訊、數量資訊、位置資訊、狀態資訊、動作資訊、周圍環境資訊及預測資訊中之至少一個資訊。再者，本實施形態中，配送資料之資料格式可為圖像資料、聲音資料、文本資料等，未特別限定。如此，本實施形態中，因由感測器器件10對符合配送請求之感測資料進行處理，產生配送資料，故可即時實現配送。又，本實施形態中，資料產生部144於感測資料不符合配送請求之情形時，不產生、配送配送資料。因此，根據本實施形態，與不論感測資料是否符合配送請求，皆發送感測資料之情形相比，可減少資料發送之負荷。
再者，本實施形態中，資料產生部144例如可將感測資料所含之隱私相關之資訊(例如，可特定人物之程度之人物之攝像)自配送資料排除。又，資料產生部144例如於配送資料上，屏蔽隱私相關之資訊。藉此，本實施形態中，可確保保護隱私。
~配送部146~ 配送部146將由上述資料產生部144產生之配送資料配送至使用者器件30或服務伺服器20。另，配送部146亦可將複數個不同之配送資料配送至使用者器件30或服務伺服器20。再者，配送部146將配送之配送資料之配送量等資訊輸出至匯總部148。例如，作為上述資訊，配送部146輸出取得與配送資料對應之感測資料時之時日資訊、配送配送資料時之時日資訊、資料類型、資料格式、配送量、配送目的地(例如，使用者器件30之辨識資訊)等。
~匯總部148~ 匯總部148例如按照每個使用者或使用者器件30，產生將配送資料之配送量匯總之匯總資訊，將其輸出至記憶部160。
~匯總資訊發送部150~ 匯總資訊發送部150於特定之時序(例如每隔1個月)，自記憶部160取得匯總資訊，將取得之匯總資訊發送至匯總伺服器50。匯總資訊發送部150例如發送取得與配送資料對應之感測資料時之時日資訊、配送配送資料之時日資訊、資料類型、資料格式、配送量、配送目的地(例如，使用者器件30之辨識資訊)、感測器器件10之識別資訊、感測器器件10之管理者之資訊等，作為匯總資訊。
(記憶部160) 記憶部160存儲用以使處理部130執行各種處理之程式、資訊等、或藉由處理而得之資訊。例如，記憶部160存儲上述匯總部148產生之匯總資訊。另，記憶部160例如由HDD(Hard Disk Drive：硬碟驅動器)等記憶裝置實現。
(通信部170) 通信部170可與服務伺服器20等外部裝置之間進行資訊收發。換言之，通信部170可謂具有進行資料收發之功能之通信介面。另，通信部170藉由通信天線、收發電路或收發埠等通信器件(省略圖示)實現。
1.3 服務伺服器之詳細構成 接著，參照圖3，說明本實施形態之服務伺服器20之詳細構成。圖3係顯示本實施形態之服務伺服器20之功能構成例之方塊圖。詳細而言，如圖3所示，服務伺服器20主要具有處理部230、記憶部260及通信部270。以下，針對服務伺服器20之各功能區塊依序說明。
(處理部230) 處理部230具有如下功能：經由通信部270自使用者器件30取得配送請求，產生與取得之配送請求對應之辨識模型，將產生之辨識模型發送至感測器器件10。處理部230例如由CPU或GPU等處理電路或ROM、RAM等實現。詳細而言，如圖3所示，處理部230主要具有ID發送部232、請求受理部234、能力資訊取得部236、模型產生部238、模型發送部240、資料取得部242及配送部246。以下，針對處理部230具有之各功能部之細節進行說明。
~ID發送部232~ ID發送部232經由通信部270，將服務伺服器20之認證資訊(ID)發送至認證伺服器40。該認證資訊於由認證伺服器40判定服務伺服器20是否具有提供本實施形態之資訊處理系統1之服務之權限時使用。本實施形態之資訊處理系統1藉由此種認證，確保該資訊處理系統1之安全性。
~請求受理部234~ 請求受理部234經由通信部270，自1個或複數個使用者器件30受理配送請求，將所受理之配送請求輸出至模型產生部238。另，對於共通之配送請求，請求受理部234亦可將該等整合輸出。
~能力資訊取得部236~ 能力資訊取得部236經由通信部270，預先取得顯示各感測器器件10之感測能力(感測之類別、精度、位置、範圍、粒度等)或運算能力之能力資訊，將取得之能力資訊輸出至模型產生部238。另，本實施形態中，較佳為能力資訊取得部236於感測器器件10之功能更新等時，再取得能力資訊。且，本實施形態中，模型產生部238中，基於各感測器器件10之能力資訊，產生與各感測器器件10之能力相應之辨識模型。因此，根據本實施形態，藉由於感測器器件10之功能更新等時再取得能力資訊，可更新辨識模型，以與當前時點之各感測器器件10之能力相應。
~模型產生部238~ 模型產生部238可基於來自請求受理部234之配送請求及來自能力資訊取得部236之能力資訊，根據各感測器器件10之能力，藉由機械學習產生與配送請求對應之辨識模型。再者，模型產生部238可將產生之辨識模型輸出至模型發送部240。另，模型產生部238亦可自使用者器件30或未圖示之其他伺服器取得機械學習所需之資料。本實施形態中，由於模型產生部238可產生適於各感測器器件10之辨識模型，故可實現感測器器件10之辨識。又，本實施形態中，由於亦可於感測器器件10之功能等更新時再取得能力資訊，再產生辨識模型，故可動態地改變辨識模型，提高感測器器件10之辨識。
又，模型產生部238亦可使辨識模型包含模型產生部238之機械學習使用之資料相關之資訊(例如，產生辨識模型時使用之監督資料相關之資訊等)。該資訊於感測器器件10之前處理部138中，以使感測資料具有接近辨識模型之形態之方式進行前處理時使用。再者，模型產生部238取得基於感測器器件10之能力資訊，且為了產生配送請求所指定之配送資料所求之感測資料，故亦可使辨識模型包含感測器器件10之感測器部100之設定相關之設定資訊。另，本實施形態中，模型產生部238亦可作為與服務伺服器20分開之裝置設置，未特別限定。
~模型發送部240~ 模型發送部240將自上述模型產生部238取得之辨識模型經由通信部270，發送至與各辨識模型對應之感測器器件10。
~資料取得部242~ 資料取得部242經由通信部270，自感測器器件10取得與配送請求對應之配送資料，將取得之配送資料輸出至配送部246。另，本實施形態中，自感測器器件10對使用者器件30直接發送配送資料之情形時，亦可不設置該資料取得部242。
~配送部246~ 配送部246將由上述資料取得部242取得之配送資料經由通信部270，配送至符合配送請求之使用者器件30。另，本實施形態中，自感測器器件10對使用者器件30直接發送配送資料之情形時，亦可不設置該配送部246。
(記憶部260) 記憶部260存儲用以使處理部230執行各種處理之程式、資訊等、或藉由處理而得之資訊。另，記憶部260例如由HDD等記憶裝置實現。
(通信部270) 通信部270可與感測器器件10、使用者器件30等外部裝置之間進行資訊收發。換言之，通信部270可謂具有進行資料收發之功能之通信介面。另，通信部270由通信天線、收發電路或收發埠等通信器件(省略圖示)實現。
1.4 匯總伺服器之詳細構成 接著，參照圖4，說明本實施形態之匯總伺服器50之詳細構成。圖4係顯示本實施形態之匯總伺服器50之功能構成例之方塊圖。詳細而言，如圖4所示，匯總伺服器50主要具有處理部530、記憶部560及通信部570。以下，針對匯總伺服器50之各功能區塊依序說明。
(處理部530) 處理部530對自感測器器件10發送之匯總資訊等進行處理，且具有進行基於匯總資訊等之資料使用費用之授受等處理之功能。處理部530例如由CPU等處理電路或ROM、RAM等實現。詳細而言，如圖4所示，處理部530主要具有匯總資訊取得部532與費用處理部534。以下，針對處理部530具有之各功能部之細節進行說明。
~匯總資訊取得部532~ 匯總資訊取得部532經由後述之通信部570，自各感測器器件10取得上述匯總資訊等，將取得之匯總資訊等輸出至後述之記憶部560。
~費用處理部534~ 費用處理部534可基於存儲於後述之記憶部560之匯總資訊等，決定資料使用費用，於匯總伺服器50與感測器器件10之管理者及服務伺服器20之間進行資料使用費用之授受。詳細而言，費用處理部534根據配送配送資料之配送量、與配送資料之每單位配送量之費用(例如，根據資料格式而定)，決定向服務伺服器20請求之資料使用費用。又，同樣地，費用處理部534決定向各感測器器件10支付之資料使用費用。本實施形態中，由於各感測器器件10之管理者可獲得資料使用費用，故亦可對各感測器器件10之管理者分配本實施形態之資訊處理系統1之服務之等價報酬。藉此，本實施形態中，由於提供感測資料之側亦可根據配送資料之配送量或價值獲得等價報酬，故可提高對本實施形態之資訊處理系統1之服務提供感測資料之積極性。
(記憶部560) 記憶部560存儲處理部530用以執行各種處理之程式、資訊等、或藉由處理而得之資訊。例如，記憶部560存儲自感測器器件10發送之匯總資訊。另，記憶部560例如由HDD等記憶裝置實現。
(通信部570) 通信部570可與感測器器件10等外部裝置之間進行資料收發。換言之，通信部570可謂具有進行資料收發之功能之通信介面。另，通信部570藉由通信天線、收發電路或收發埠等通信器件(省略圖示)實現。
1.5 關於本實施形態之辨識 接著，參照圖5，針對本實施形態之辨識之一例進行說明。圖5係用以說明本實施形態之辨識模型610之產生例之說明圖。
(辨識模型之產生) 首先，針對本實施形態之辨識所使用之模型之產生進行說明。辨識模型如上文所說明，由服務伺服器20之模型產生部238產生。上述模型產生部238如圖5所示，例如具有支持向量回歸或深度神經網路等之監督學習器238a。首先，對學習器238a輸入例如成為配送請求指定之要求配送之對象的對象相關之資訊，即複數個監督資料602-1~602-n。接著，該學習器238a藉由對輸入之複數個監督資料602-1~602-n進行機械學習，而可產生感測器器件10之辨識部142之辨識所使用之辨識模型610。本實施形態中，由於複數個感測器器件10之感測能力或運算能力互不相同，即，可辨識之能力互不相同，故較佳為學習器238a根據上述各感測器器件10之能力資訊產生各辨識模型610。因此，本實施形態中，即使包含具有各種規格之複數個感測器器件10，亦可產生與各感測器器件10之能力相應之辨識模型610，故可由各感測器器件10進行辨識。
更詳細而言，上述學習器238a被輸入例如於成為配送請求指定之要求配送之對象的對象600-1~600-n各者分別標註有標籤之該對象相關之監督資料602-1~602-n。且，學習器238a藉由循環神經網路等之機械學習，自複數個監督資料602-1~602-n擷取該對象之特徵點、特徵量。此種擷取出之特徵點等資訊為用以辨識由各感測器器件10取得之感測資訊中是否包含有該對象之資訊之辨識模型610。
此處，顯示具體例，針對本實施形態之辨識模型610之產生進行說明。例如，說明被要求根據來自使用者之配送請求，使用由感測器器件10取得之圖像(感測資料)搜索特定人物(對象)之情形(配送資料為特定人物之位置資訊之情形)。服務伺服器20自發送出上述配送請求之使用者器件30或未圖示之伺服器，取得特定人物之複數個圖像，作為產生辨識模型610時使用之複數個監督資料602。且，服務伺服器20如圖5所示，將取得之複數個圖像(監督資料)602-1～602-n分別標註特定人物(對象)600-1~600n之標籤，並輸入至學習器238a。再者，學習器238a藉由使用複數個圖像(監督資料)602-1~602-n之機械學習，自複數個圖像(監督資料)602-1~602-n擷取特定人物(對象)600之圖像之特徵點、特徵量，產生用以自圖像(感測資料)辨識特定人物(對象)600之圖像的辨識模型610。
另，本實施形態中，與上述例同樣，當被要求根據來自使用者之配送請求，使用由感測器器件10取得之感測資料(此處未特別限定感測資料之類別)搜索特定人物(對象)之情形時，學習器238a亦可根據可由各感測器器件10取得之感測資料之類別而產生辨識模型610。該情形時，更具體而言，學習器238a產生用以自圖像辨識特定人物之圖像之辨識模型610，用於可取得圖像之感測器器件10；產生用以自環境音辨識特定人物之聲音之辨識模型610，用於可取得環境音之感測器器件10。因此，本實施形態中，即使包含具有各種規格之複數個感測器器件10，亦可產生與各感測器器件10之能力相應之辨識模型610，故可由各感測器器件10進行辨識。
又，本實施形態中，例如於要求根據來自使用者之配送請求，使用由感測器器件10取得之圖像，搜索特定之貓(此處係命名為「小玉」之貓(類別為美國短毛貓))之情形時，學習器238a亦可產生與各感測器器件10之能力相應之辨識模型610。該情形時，更具體而言，學習器238a對於具有可取得具有高解析度之圖像之感測能力，且具有高運算能力之感測器器件10，產生用以自圖像辨識「小玉」之圖像之辨識模型610。又，學習器238a對於具有可取得具有中等程度之解析度之圖像之感測能力，且具有高運算能力之感測器器件10，產生用以自圖像辨識美國短毛貓(貓種類)之圖像之辨識模型610。此外，學習器238a對於具有可取得具有低解析度之圖像之感測能力，且具有低運算能力之感測器器件10，產生用以自圖像辨識貓之圖像之辨識模型610。因此，本實施形態中，即使包含具有各種規格之複數個感測器器件10，亦可產生與各感測器器件10之能力相應之辨識模型610，故可由各感測器器件10進行辨識。
又，本實施形態中，如上文所說明，辨識模型610亦可包含機械學習所使用之監督資料602相關之資訊。此處，監督資料602相關之資訊可為監督資料602之類別(例如圖像、聲音等)、或監督資料之品質(失真補償位準、像素缺陷、白平衡、圖像尺寸、彩度、亮度、灰度、對比度、邊緣加強位準、焦點、曝光位準、解析度、動態範圍、雜訊降低位準等)。此種監督資料602相關之資訊可於上文說明之感測器器件10之前處理部138中，以使取得之感測資料具有接近辨識模型(詳細而言為監督資料602)之形態之方式進行前處理時使用，藉此，本實施形態中，可提高感測器器件10之辨識部142之辨識精度，但對於其之細節於下文敘述。
又，本實施形態中，如上文所說明，辨識模型610亦可包含感測器器件10之感測器部100之設定相關之設定資訊，該設定資訊用以取得為了產生由配送請求指定之配送資料所求之感測資料。此處，設定資訊可為感測資料之類別(例如圖像、聲音等)、或與期望之感測資料之品質相應之感測器部100之設定值(失真補償位準、白平衡、圖像尺寸、彩度、亮度、灰度、對比度、邊緣加強位準、焦點、曝光位準、解析度、動態範圍、雜訊降低位準等)。本實施形態中，此種設定資訊於感測器部100之設定時使用，可取得與辨識模型610相應之感測資料，進而可提高辨識部142之辨識精度。
另，本實施形態中，學習器238a亦可設置於與服務伺服器20分開之伺服器，未特別限定。再者，本實施形態中，學習器238a之學習方法並非限定於上述方法，亦可使用其他方法。
(使用辨識模型之辨識) 接著，針對使用上述辨識模型610之辨識進行說明。如上文所說明，辨識模型610於以感測器器件10之辨識部142辨識感測資料或前處理後之感測資料是否符合配送請求時使用。此處，顯示具體例，對本實施形態之辨識進行說明。例如，說明要求根據來自使用者之配送請求，使用由感測器器件10取得之圖像(感測資料)，搜索特定人物(對象)之情形(配送資料為特定人物之位置資訊)。感測器器件10自感測器部100取得圖像。且，辨識部142參照自服務伺服器20取得之辨識模型610，詳細而言，特定人物(對象)600之圖像之特徵點，特徵量，辨識自感測器部100取得之圖像中是否包含有特定人物之圖像。即，本實施形態中，因由感測器器件10進行如上所述之辨識，故可於取得圖像後立即進行辨識。
本實施形態中，如上文所說明，由於複數個感測器器件10之感測能力或運算能力互不相同，即，可辨識之能力互不相同，故根據各感測器器件10之能力資訊，產生各辨識模型610，進行各辨識。例如，本實施形態中，要求根據來自使用者之配送請求，使用由感測器器件10取得之感測資料(此處，未特別限定感測資料之類別)，搜索特定人物(對象)之情形時，可取得圖像之感測器器件10之辨識部142基於辨識模型610，自圖像辨識特定人物之圖像，可取得環境音之感測器器件10之辨識部142基於辨識模型610，自環境音辨識特定人物之聲音。
又，另一例中，本實施形態中，要求根據來自使用者之配送請求，使用由感測器器件10取得之圖像，搜索特定之貓(此處，命名為「小玉」之貓(類別為美國短毛貓))之情形時，亦可如下述般進行辨識。具有可取得具有高解析度之圖像之感測能力，且具有高運算能力之感測器器件10之辨識部142基於辨識模型610，自圖像辨識「小玉」之圖像。又，具有可取得具有中等程度之解析度之圖像之感測能力，且具有高運算能力之感測器器件10之辨識部142基於辨識模型610，自圖像辨識美國短毛貓(貓種類)之圖像。再者，具有可取得具有低解析度之圖像之感測能力，且具有低運算能力之感測器器件10之辨識部142基於辨識模型610，自圖像辨識貓之圖像。如上所述，本實施形態中，即使包含具有各種規格之複數個感測器器件10，亦可由各感測器器件10進行辨識。
另，本實施形態中，辨識部142亦可設置於與感測器器件10分開之裝置，未特別限定。再者，本實施形態中，辨識部142之辨識方法並非限定於上述方法，亦可使用其他方法。
1.6 資訊處理方法 接著，參照圖6，針對本揭示之實施形態之資訊處理方法進行說明。圖6係顯示本實施形態之資訊處理方法之一例之順序圖。如圖6所示，本實施形態之資訊處理方法可主要包含步驟S101至步驟S111之複數個步驟。以下，針對本實施形態之資訊處理方法之該等各步驟之細節進行說明。
首先，使用者器件30受理自使用者輸入之資訊，將所受理之該資訊作為配送請求，發送至服務伺服器20(步驟S101)。
接著，服務伺服器20自使用者器件30接收配送請求(步驟S102)。且，服務伺服器20基於上述步驟S102中接收到之配送請求，產生辨識模型，將產生之辨識模型發送至各感測器器件10(步驟S103)。
接著，感測器器件10自服務伺服器20接收辨識模型(步驟S104)。又，感測器器件10進行感測，取得感測資料(步驟S105)。再者，感測器器件10基於上述步驟S104中接收到之辨識模型，辨識上述步驟S105中取得之感測資料是否符合配送請求(步驟S106)。且，感測器器件10基於上述步驟S106中辨識為感測資料符合配送請求，對該感測資料進行與配送請求相應之處理，產生配送資料。再者，感測器器件10將產生之配送資料直接發送至配送請求之使用者器件30(步驟S107)。
接著，使用者器件30接收自感測器器件10發送之配送資料(步驟S108)。本實施形態中，由於可自感測器器件10直接對使用者器件30發送配送資料，故可減少服務伺服器20之處理負荷，可避免服務伺服器20之運用成本增加。
又，感測器器件10基於上述步驟S107中之配送資料之配送，產生匯總資訊，將產生之匯總資訊發送至匯總伺服器50(步驟S109)。
接著，匯總伺服器50自感測器器件10接收匯總資訊(步驟S110)。再者，匯總伺服器50基於上述步驟S110中接收到之匯總資訊，進行費用處理(步驟S111)。且，結束本實施形態之資訊處理。
如上說明，根據上述之本實施形態，可構建各種使用者可容易使用能自各種感測器器件10取得之感測資料而得之資訊之框架。
1.7 可下載AI模型之系統架構 接著，針對本實施形態之資訊處理系統1中之系統架構，且依據NICE規格並且可對器件下載AI模型之系統架構，參照圖式詳細說明。圖7係顯示可對本實施形態之資訊處理系統中之可對器件下載AI模型之系統架構之概要例之方塊圖。另，本說明中，例示將AI模型之下載端設為感測器器件10之情形，但不限定於此，亦可為使用者器件30等而進行各種變化。又，依據NICE規格並非必須之構成，經由不依據NICE規格之介面對器件下載AI模型等之情形時，亦可應用本實施形態。
圖7所示之例中，例示2個感測器器件10A及10B作為感測器器件10，例示於系統架構上，感測器器件10A由處理部即處理部2200A與檢測部即感測器部2300A構成，感測器器件10B同樣由處理部即處理部2200B與檢測部即感測器部2300B構成之情形。另，以下之說明中，不區分各個處理部2200A及2200B之情形時，將其符號設為‘2200’。同樣地，不區分各個感測器部2300A及2300B之情形時，將其符號設為‘2300’。
如圖7所示，本實施形態之架構由應用程式2001、服務部2100、處理部2200、及感測器部2300構成，對感測器器件10提供使用應用程式2001之服務。本例中，感測器器件10例如具有積層有構成處理部2200之晶片、與構成感測器部2300之晶片之積層晶片構造，但並非限定於此。
(感測器部2300) 感測器部2300例如具備感測器2301、信號處理部2302、辨識部2303及推理部2304。
·感測器2301 感測器2301例如亦可為產生被攝體之彩色圖像或單色圖像之影像感測器、產生基於被攝體之亮度變化之圖像之EVS(Event-based Vision Sensor：基於視覺之感測器)、或產生表示與被攝體相隔之距離之圖像之測距感測器(亦稱為深度感測器)等產生圖像資料之感測器。但，不限定於此，感測器2301亦可應用收集周圍環境之聲音之麥克風等集音裝置、測量周圍環境之溫度及濕度之溫度感測器或濕度感測器、測量河川等之水位之水位感測器等各種感測器。
·信號處理部2302 信號處理部2302按照來自處理部2200之設定(Configuration)，對由感測器2301取得之感測資料執行特定之處理。例如，感測器2301為產生圖像資料之影像感測器之情形時，信號處理部2302對由感測器2301產生之圖像資料執行白平衡調整或失真修正等特定之處理。
·辨識部2303 辨識部2303對信號處理後之感測資料執行特定之辨識處理。例如，感測器2301為影像感測器之情形時，辨識部2303對自信號處理部2302輸出之圖像資料執行移動檢測或臉部區域之特定等特定之辨識處理。
·推理部2304 推理部2304例如為使用AI模型執行推理之推理器。該推理部2304例如亦可由DSP(Digital Signal Processor：數位信號處理器)或FPGA(Field-Programmable Gate Array：場可程式化閘陣列)等可程式化之信號處理部構成，使用自處理部2200輸入之或預設之AI模型及權重參數(Weight)，執行輸入自感測器2301輸出之感測及自辨識部2303輸出之辨識結果之推理，將藉此而得之推理結果輸出至處理部2200。另，圖7中，例示出推理部2304具備之AI模型之神經網路為CNN(Convolutional Neural Network：卷積神經網路)之情形，但不限定於此，亦可為使用DNN(Deep Neural Network：深度神經網路)、RNN(Recurrent Neural Network：循環神經網路)、GAN(Generative Adversarial Network：生成對抗網路)或自編碼器等各種神經網路之AI模型。
(處理部2200) 處理部2200例如具備CPU(Central Processing Unit)2201、信號處理部2202及推理部2203。
·CPU2201 CPU2201為控制處理部2200及感測器部2300之各部，且經由通信部170(參照圖20)與服務部2100進行指示或資料等之交換之資訊處理部。又，CPU2201按照自服務部2100設定之後述之情景模型，基於自感測器部2300輸入之資料(感測資料及推理結果)產生情景標記(SceneMark)，將其送出至服務部2100。另，本說明中，情景模型可為對器件等之設定全體，情景資料可為圖像或聲音等原始資料，情景標記可為與圖像或聲音等建立關聯之AI等之分析結果(例如元資料)。
·信號處理部2202 信號處理部2202對自感測器部2300輸入之資料(感測資料及推理結果)執行自動曝光控制、自動聚焦、自動白平衡調整、格式轉換等特定之處理，將其結果作為情景資料之一部分送出至服務部2100。
·推理部2203 推理部2203例如為使用AI模型執行推理之推理器，由DSP或FPGA(Field-Programmable Gate Array)等可程式化之信號處理部構成。推理部2203使用自後述之資源伺服器(AI Asset Service：AI資產服務)3200(參照後述之圖18)取得之或預設之AI模型及權重參數(Weight)，執行輸入自感測器部2300輸出之資料(感測資料及推理結果)之推理，將藉此而得之資料作為情景資料之一部分送出至服務部2100。另，圖7中，例示出推理部2203具備之AI模型之神經網路為CNN之情形，但不限定於此，亦可為使用DNN、RNN、GAN或自動編碼器等各種神經網路之AI模型。
(服務部2100) 服務部2100為將使用應用程式2001之服務經由特定之網路提供給處理部2200側之提供者，例如相當於圖1中之服務伺服器20。
該服務部2100例如由AI網路部2101、分析部2102、資料管線部2103A及2103B構成。另，以下之說明中，不區分各個資料管線部2103A及2103B之情形時，將其符號設為‘2103’。
·資料管線部2103 資料管線部2103例如亦可為對自處理部2200輸入之資料(情景標記及情景資料)依序執行格式轉換或類別分類等特定處理之任務集合。將執行特定處理後之資料輸入至分析部2102。
·分析部2102 分析部2102例如亦可為對由資料管線部2103處理後之資料(情景標記及情景資料)執行分析或簡易分析之處理部。例如，將自複數個感測器器件10取得之AI處理完畢之資料歸總進行分析之情形等時，分析部2102執行針對歸總之AI處理完畢之資料之分析或簡易分析。作為具體例，例如於分析由各感測器器件10所搭載之相機(感測器部100)等拍攝之車輛等之移動方向，並產生其統計之情形時，將統計結果(AI處理完畢之資料)自各感測器器件10發送至服務部2100。對此，服務部2100之分析部2102亦可基於各感測器器件10之位置資訊，分析來自各感測器器件10之統計結果，藉此產生如熱圖般之整合性分析結果。
·AI網路部2101 AI網路部2101為由1個以上AI模型構成，自網路上收集並整理某使用者所需之資訊，以可與其他使用者共用之方式提供策展服務之處理部。該AI網路部2101例如按照由應用程式2001指定之策展構成，組合1個以上AI模型，藉此執行針對自分析部2102輸入之資料及/或分析結果之處理。
1.8 器件之節點架構 接著，針對依據NICE規格之可更換AI模型之器件之節點架構，參照圖式詳細說明。圖8係顯示本實施形態之器件之節點架構之概要例之方塊圖。另，以下之說明中，作為可更換AI模型之器件，例示包含圖7之處理部2200及感測器部2300之感測器器件10，將其符號設為‘3000’。又，與使用圖7說明之系統架構同樣，依據NICE規格並非必須之構成，經由不依據NICE規格之介面對器件下載AI模型等之情形時，亦可應用本實施形態。
如圖8所示，本實施形態之器件(亦稱為資訊處理裝置)3000具備節點3010，作為用以實現使用AI模型之推理部2203或2304之構成。例如，基於共用記憶體型多處理器電腦系統之架構等設計器件3000之情形時，節點3010亦可為處理器與記憶體之對。
節點3010可安裝包含推理器之進程3011，該推理器包含：AI模型之模型資料或其權重參數(以下，亦總稱為參考資料(參考資料))3012、與TensorFlow(註冊商標)或Keras等用以使用參考資料3012執行推理之AI框架3013。因此，本實施形態中，提供用以實現可更換進程3011內之參考資料3012之構成。藉此，可根據使用案例即時地更換器件3000之功能。
1.9 全體動作概要 接著，針對本實施形態之資訊處理系統之全體動作之概要，參照圖式詳細地說明。
圖9係用以說明本實施形態之資訊處理系統之全體動作之概要之模式圖。如圖9所示，本實施形態之資訊處理系統1由安裝於1個以上之器件3000之節點3010A、3010B、3010C、……、應用程式/服務3100、及資源伺服器3200構成。
(步驟S1) 步驟S1中，使用應用程式2001之使用者(User)例如從自身之器件3000(例如，具備節點3010A之器件3000)存取應用程式/服務3100，要求使用應用程式2001。此處，作為例，以檢測貓為目的而要求使用應用程式2001。
應用程式/服務3100保持有列舉可提供給使用者之應用程式之應用程式列表2002。於應用程式列表2002中，登錄有可唯一識別能提供之應用程式之算法ID(Algorithm ID)、與各應用程式可實現者(服務內容)。
(步驟S2) 步驟S2中，被使用者要求使用應用程式2001之應用程式/服務3100根據該要求內容特定對使用者提供服務之應用程式之算法ID(AppID)，且進行對要求使用之使用者之器件3000或節點3010A詢問(獲取能力(GetCapabilities))處理能力相關之資訊(能力(Capabilities))。
(步驟S3) 步驟S3中，對於步驟S2之詢問，節點3010A或器件3000取得自身之處理能力相關之資訊，例如器件3000之型號、CPU之規格或記憶體容量等相關之器件資訊、預設或已下載之AI模型之版本及/或參數集、器件3000持有之框架相關之資訊、通信速度或帶寬等處理能力(例如資源)相關之資訊(能力)，將其結果通知給應用程式/服務3100。
(步驟S4) 步驟S4中，應用程式/服務3100向存儲可下載之模型資料及/或權重參數集即參考資料之資源伺服器(AI資產服務)3200通知步驟S2中特定出之算法ID(AppID)、與步驟S3中通知之處理能力相關之資訊(能力)。
資源伺服器3200保持有列舉可向器件3000提供之AI模型之模型列表3220。模型列表3220中，按照算法ID及處理能力相關之每個資訊(能力)，登錄有可提供之AI模型、使用限制相關之資訊(權限(Limitation))等。即，資源伺服器3200中，以模型列表3220管理且登錄學習完畢之模型資料及其權重參數。
(步驟S5) 步驟S5中，資源伺服器3200基於通知之算法ID(AppID)及處理能力相關之資訊(能力)，特定向使用者提供之AI模型、使用限制等(xxx、AAA、……)，將該等下載至應用程式/服務3100。即，資源伺服器3200根據使用案例，自模型列表3220特定並提供最佳之參考資料。
作為資源伺服器3200之最佳之參考資料之特定方法，例如亦可以模型列表3220管理由下載之參考資料處理之內容、可執行之器件之型號、處理量、AI模型之使用限制、AI模型之使用時間、AI模型之使用期間或使用地域、模型之版本等資訊，自所管理之資訊特定適於根據使用案例使用之器件3000之參考資料。
(步驟S6) 步驟S6中，應用程式/服務3100基於自資源伺服器3200取得之使用限制(AAA)，驗證要求使用應用程式2001之使用者是否具有該使用權限。
(步驟S7) 步驟S7中，應用程式/服務3100於步驟S6之驗證結果為使用者具有應用程式2001之使用權限之情形時，對使用者下載步驟S5中自資源伺服器3200取得之參考資料。
另，本例中，應用程式/服務3100可配置於上述之服務伺服器20(參照圖1)，亦可配置於器件3000(例如，圖1之感測器器件10)內。
又，本例中，已例示參考資料自資源伺服器3200經由應用程式/服務3100下載至節點3010之情形，但不限定於此，亦可自資源伺服器3200直接下載至節點3010。
1.10 基本動作順序 接著，針對NICE規格中，自應用程式2001或服務部2100側使器件3000之各節點3010執行使用AI模型之推理時之基本動作順序進行說明。圖10係顯示本實施形態之基本動作順序之一例之順序圖。另，以下之說明中，將對節點3010作出指示之側即應用程式2001及服務部2100總稱為應用程式/服務3100。該應用程式/服務3100例如亦可為相當於圖1之服務伺服器20之構成。
如圖10所示，基本動作由以下階段構成，即：應用程式/服務3100取得器件3000及/或節點3010之處理能力之能力取得階段P10、對節點3010設定情景模型之模型設定階段P20、使節點3010執行每個情景模型之AI處理之執行階段P30、及使節點3010結束AI處理之結束階段P40。
(能力取得階段P10) 能力取得階段P10中，首先，自應用程式/服務3100向節點3010通知用以向應用程式/服務3100報告器件3000及/或節點3010之處理能力之指示(獲取能力)(A11→N11)。對此，節點3010向應用程式/服務3100通知自身之處理能力相關之資訊(能力)(N12→A12)。
另，各器件3000之處理能力相關之資訊(能力)亦可藉由事前實施能力取得階段P10，而事前於應用程式/服務3100中進行管理。
(模型設定階段P20) 模型設定階段P20中，自應用程式/服務3100向節點3010通知使用哪個情景模型之指示(設置情景模型：SetSceneMode)(A21→N21)。
(執行階段P30) 執行階段P30中，首先，自應用程式/服務3100向節點3010通知用以開始使用由設置情景模型指定之AI模型之推理之指示(開始情景(StartScene))(A31→N31)。對此，於節點3010側，執行模型設定階段P20中由情景模型指定之參考資料之設置(N32→N33)。且，於節點3010側，基於由感測器部2300取得之資料，使用由情景模型指定之參考資料，產生情景標記及情景資料，將該等發送至應用程式/服務3100(N34→A34)。另，產生之情景標記及情景資料之發送目的地不限定於應用程式/服務3100，亦可為其他器件3000等。
(結束階段P40) 結束階段P40中，自應用程式/服務3100向節點3010通知用以結束使用AI模型之推理之指示(停止情景(StopScene))(A41→N41)。對此，於節點3010側，結束使用由情景模型指定之AI模型之推理。
1.11 情景模型對象之例 接著，針對NICE規格中，於圖10之模型設定階段P20，應用程式/服務3100為了對節點3010設定情景模型而發送之API(Application Programming Interface)對象之情景模型對象之例，於以下進行說明。
圖11係顯示係本實施形態之情景模型對象之一例之圖。如圖11所示，情景模型對象41可包含標籤參考資料列表(LabelRefDataList)42。又，標籤參考資料列表42可包含1個以上對象43，該等1個以上對象43包含標籤名稱(LabelName)441、參考資料列表442、參考資料443、處理階段444及附加屬性(Additional Properties)445。
(標籤名稱441) 標籤名稱441存儲顯示各對象43之標籤名之文字串。
(參考資料列表442) 參考資料列表442存儲用以自網路上下載AI模型及/或權重參數之資訊。圖12係顯示本實施形態之參考資料列表之一例之圖。如圖12所示，參考資料列表442可包含對象452，該對象452包含參考資料ID4621、參考資料端點(RefDataEndPoint)4622、加密4623、附加屬性4624。
參考資料ID4621存儲用以唯一識別下載對象即參考資料之識別碼。
參考資料端點4622存儲網路上配置成可下載之參考資料之位址資訊即端點(例如URL(Uniform Resource Locator：統一資源定位符))。因此，對節點3010追加、更新或切換AI模型之情形時，自由參考資料端點4622指定之端點下載參考資料，並將其組入於節點3010。
加密4623存儲用以特定將參考資料加密用之隱私對象之參考資訊。因此，下載之參考資料被加密之情形時，使用由加密4623特定之隱私對象，解除參考資料之加密。
附加屬性4624存儲附加之資訊。該附加屬性4624亦可出於各種目的而使用。
(參考資料443) 參考資料443存儲用以指定預設於器件3000或節點3010之參考資料之資訊。圖13係顯示本實施形態之參考資料之一例之圖。如圖13所示，參考資料443可包含對象453，該對象453包含參考資料ID(RefDataID)4631、參考資料4632、加密4633及附加屬性4634。
參考資料ID4631存儲用以唯一識別預設於器件3000或節點3010之參考資料之識別碼。
參考資料4632存儲用以指定預設於器件3000或節點3010之參考資料之資訊。因此，自應用程式/服務3100通知之由設置情景模型指定之情景模型為由參考資料ID4631之識別碼特定之情景模型之情形時，將預設之參考資料組入於節點3010。
加密4633存儲用以特定將參考資料加密用之隱私對象之參考資訊。因此，預設之參考資料被加密之情形時，使用由加密4633特定之隱私對象，解除參考資料之加密。
附加屬性4634存儲附加之資訊。該附加屬性4634亦可出於各種目的而使用。
(處理階段444) 處理階段444存儲用以特定於哪個處理步驟中使用參考資料之資訊。圖14係顯示本實施形態之處理階段之一例之圖。如圖14所示，作為由處理階段444定義之處理步驟，可列舉例如“客制化分析(Custom Analysis)”、“運動(Motion)”、“檢測(Detect)”、“辨識(Recognize)”、“敘述(Characterize)”等。但不限定於此，亦可定義各種處理步驟。
(附加屬性445) 附加屬性445存儲附加之資訊。該附加屬性445亦可出於各種目的而使用。
1.12 開始情景對象之例 接著，針對NICE規格中，圖10之執行階段P30中為了使節點3010執行情景模型而發送之API對象即開始情景對象之例，於以下進行說明。
圖15係顯示本實施形態之開始情景對象之一例之圖。如圖15所示，開始情景對象500可包含版本(Version)501、情景模型ID502、參考資料ID/參考資料列表ID503及附加屬性504。
(版本501) 版本501存儲由後述之情景模型ID特定之情景模型之版本資訊。
(情景模型ID502) 情景模型ID502存儲用以唯一識別情景模型之識別碼。
(參考資料ID/參考資料列表ID503) 參考資料ID/參考資料列表ID503存儲用以唯一識別作為執行對象之參考資料之識別碼。該參考資料ID/參考資料列表ID503為對現有之NICE規格追加之新的字段。另，例如於節點3010具備之參考資料為1個之情形時，參考資料ID/參考資料列表ID503亦可省略。
(附加屬性504) 附加屬性504存儲附加之資訊。該附加屬性504亦可出於各種目的而使用。
1.13 模型資料之例 圖16係顯示本實施形態之參考資料之模型資料之一例之圖。如圖16所示，模型資料70由標頭部71、與存儲有模型資料之主體部72構成，該標頭包含：模型資料之版本資訊(版本)、模型資料之名稱(Name)、用以唯一識別模型資料所採用之算法之識別碼(算法ID)、用以識別可導入該模型資料之AI平台之識別碼(PlatformID：平台ID)、顯示該模型資料之權限及使用規則之控制資訊(AccessControl：存取控制)、不可使用該模型資料之契約到期時日(Expiry：到期)、顯示可使用該模型資料之地域之資訊(Region：地域)、及該模型之性能(能力)。
1.14 使用預設之AI模型時之動作順序例 接著，針對NICE規格中，自應用程式/服務3100側使器件3000之各節點3010執行使用預設之AI模型之推理時之動作順序進行說明。圖17係顯示本實施形態中使用預設之AI模型時之動作順序之一例之順序圖。另，圖17以及下之說明中，為簡化說明，省略能力取得階段P10。又，以下之說明中，例示切換2個參考資料而使用之情形，但不限定於此，對於使用1個參考資料之情形，或切換3個以上參考資料而使用之情形時，亦可應用相同之動作順序。
(模型設定階段P20) 如圖17所示，本動作中，自應用程式/服務3100向節點3010通知使用哪個情景模型之指示(設置情景模型)(A101→N101)。於使用預設之AI模型之本例中，例如自應用程式/服務3100向節點3010通知指定情景模型ID=1之情景模型41(參照圖11)之設置情景模型。
(第1執行階段P30) 接著，自應用程式/服務3100向節點3010通知用以開始使用由設置情景模型指定之情景模型ID=1之情景模型中之參考資料ID=1(參照圖13)之預設參考資料之推理的指示(開始情景)(A102→N102)。
對此，節點3010執行由設置情景模型指定之情景模型ID=1之情景模型中之參考資料ID=1之預設參考資料的設置(N103→N104)。
且，節點3010基於由感測器部2300取得之資料，使用設置之參考資料產生情景標記及情景資料，將其等發送至應用程式/服務3100(N105→A105)。
(第1結束階段P40) 接著，自應用程式/服務3100向節點3010通知用以結束執行中之情景模型之指示(停止情景)(A106→N106)。對此，節點3010結束執行中之情景模型。
(第2執行階段P30) 接著，自應用程式/服務3100向節點3010通知用以開始使用由設置情景模型指定之情景模型ID=1之情景模型中之參考資料ID=2(參照圖13)之預設參考資料之推理的指示(開始情景)(A107→N107)。
對此，節點3010執行由設置情景模型指定之情景模型ID=1之情景模型中之參考資料ID=2之預設參考資料的設置(N108→N109)。
且，節點3010基於由感測器部2300取得之資料，使用設置之參考資料產生情景標記及情景資料，將其等發送至應用程式/服務3100(N110→A110)。
(第2結束階段P40) 接著，自應用程式/服務3100向節點3010通知用以結束執行中之情景模型之指示(停止情景)(A111→N111)。對此，節點3010結束執行中之情景模型。
1.15 下載AI模型使用時之動作順序例 接著，針對NICE規格中，自應用程式/服務3100側使裝置3000之各節點3010下載AI模型並執行推理時之動作順序進行說明。圖18係顯示本實施形態之下載AI模型時之動作順序之一例之順序圖。另，圖18及以下之說明中，為簡化說明，省略能力取得階段P10。又，以下之說明中，例示切換2個參考資料使用之情形，但不限定於此，對於使用1個參考資料之情形，或切換3個以上參考資料使用之情形，亦可應用相同之動作順序。再者，以下之說明中，對與圖17所示之動作順序相同之動作標註相同符號。
(模型設定階段P20) 如圖18所示，本動作中，自應用程式/服務3100向節點3010通知使用哪個情景模型之指示(設置情景模型)(A101→N101)。於下載AI模型而使用之本例中，例如與圖17同樣，自應用程式/服務3100向節點3010通知指定情景模型ID=1之情景模型41(參照圖11)之設置情景模型。
(第1執行階段P30) 接著，自應用程式/服務3100向節點3010通知用以開始使用由設置情景模型指定之情景模型ID=1之情景模型中之參考資料ID=1(參照圖12)之參考資料的推理之指示(開始情景)(A102→N102)。
對此，節點3010基於由設置情景模型指定之情景模型ID=1之情景模型中之參考資料列表ID=1之參考資料列表442中所存儲之參考資料端點4622(參照圖12)，存取資源伺服器(AI資產服務)3200中之端點3201(N131→E131)，下載存儲於該端點3201之參考資料列表ID=1之參考資料(E132→N132)。另，參考資料之下載例如亦可由圖2之模型取得部140執行(以下同樣)。
另，例如藉由過去執行之下載等，節點3010已保持有情景模型ID=1之情景模型中之參考資料列表ID=1(參照圖12)之參考資料之情形時，亦可省略自端點3201下載參考資料(N131→E131、E132→N132)。
且，節點3010執行自資源伺服器3200下載之參考資料之設置(N133→N134)。
接著，節點3010與圖17同樣，基於由感測器部2300取得之資料，使用設置之參考資料產生情景標記及情景資料，將其等發送至應用程式/服務3100(N105→A105)。
(第1結束階段P40) 接著，與圖17同樣，自應用程式/服務3100向節點3010通知用以結束執行中之情景模型之指示(停止情景)(A106→N106)，據此，節點3010結束執行中之情景模型。
(第2執行階段P30) 接著，自應用程式/服務3100向節點3010通知用以開始使用由設置情景模型指定之情景模型ID=1之情景模型中之參考資料列表ID=2(參照圖12)的參考資料之推理之指示(開始情景)(A107→N107)。
對此，節點3010基於由設置情景模型指定之情景模型ID=1之情景模型中之參考資料列表ID=2之參考資料列表442中所存儲之參考資料端點4622(參照圖12)，存取資源伺服器(AI資產服務)3200中之端點3202(N141→E141)，下載存儲於該端點3202之參考資料列表ID=1之參考資料(E142→N142)。
另，與上述同樣，例如藉由過去執行之下載等，節點3010已保持有情景模型ID=2之情景模型中之參考資料列表ID=1(參照圖12)之參考資料之情形時，亦可省略自端點3202下載參考資料(N131→E131、E132→N132)。
且，節點3010執行自資源伺服器3200下載之參考資料之設置(N143→N144)。
接著，節點3010與圖17同樣，基於由感測器部2300取得之資料，使用設置之參考資料產生情景標記及情景資料，將其等發送至應用程式/服務3100(N110→A110)。
(第1結束階段P40) 接著，與圖17同樣，自應用程式/服務3100向節點3010通知用以結束執行中之情景模型之指示(停止情景)(A111→N111)，據此，節點3010結束執行中之情景模型。
1.16 變化例 上述實施形態中，已例示出1個裝置3000具備1個節點3010之情形，但亦可如圖19所示，各裝置3000具備複數個節點3010-1、3010-2、……、3010-N(N為3以上之整數)。該情形時，情景模型可對每個節點3010設定。
圖20係顯示本實施形態之變化例之下載AI模型時之動作順序之一例之順序圖，且係顯示設定因每個節點而異之情景模型時之動作順序之一例之圖。另，圖20及以下之說明中，為簡化說明，省略能力驅動階段P10。又，以下之說明中，對與圖17或圖18所示之順序相同之動作，標註相同符號。
(模型設定階段P20) 如圖20所示，本例中，1個裝置3000具備2個節點3010-1及3010-2。因此，本變化例之動作中，自應用程式/服務3100向節點3010-1通知使用哪個情景模型之指示(設置情景模型)(A101a→N101a)，且自應用程式/服務3100向節點3010-2通知使用哪個情景模型之指示(設置情景模型)(A101b→N101b)。
(第1執行階段P30) 接著，自應用程式/服務3100向節點3010-1通知用以開始使用由設置情景模型指定之情景模型ID=1之情景模型中之參考資料列表ID=1(參照圖12)的參考資料之推理的指示(開始情景)(A102a→N102a)。
對此，節點3010-1基於由設置情景模型指定之情景模型ID=1之情景模型中之參考資料列表ID=1之參考資料列表442中所存儲之參考資料端點4622(參照圖12)，存取資源伺服器(AI資產服務)3200中之端點3201(N131a→E131a)，下載存儲於該端點3201之參考資料列表ID=1之參考資料(E132a→N132a)。
另，例如藉由過去執行之下載等，節點3010-1已保持有情景模型ID=1之情景模型中之參考資料列表ID=1(參照圖12)之參考資料之情形時，亦可省略自端點3201下載參考資料(N131a→E131a、E132a→N132a)。
且，節點3010-1執行自資源伺服器3200下載之參考資料之設置(N133a→N134a)。
接著，節點3010-1與圖17同樣，基於由感測器部2300取得之資料，使用經設置之參考資料而產生情景標記及情景資料，將其等發送至應用程式/服務3100(N105a→A105a)。
(第1結束階段P40) 接著，與圖17同樣，自應用程式/服務3100向節點3010-1通知用以結束執行中之情景模型之指示(停止情景)，據此，節點3010-1結束執行中之情景模型。
(第2執行階段P30) 又，自應用程式/服務3100向節點3010-2通知用以開始使用由設置情景模型指定之情景模型ID=1之情景模型中之參考資料列表ID=2(參照圖12)之參考資料進行推理的指示(開始情景)(A102b→N102b)。
對此，節點3010-2基於由設置情景模型指定之情景模型ID=1之情景模型中之參考資料列表ID=2之參考資料列表442中存儲之參考資料端點4622(參照圖12)，存取資源伺服器(AI資產服務)3200中之端點3202(N141b→E141b)，下載存儲於該端點3202之參考資料列表ID=1之參考資料(E142b→N142b)。
另，與上述同樣地，例如若因過去執行之下載等，從而節點3010-2已保持有情景模型ID=2之情景模型中之參考資料列表ID=1(參照圖12)之參考資料時，亦可省略自端點3202下載參考資料(N141b→E141b、E142b→N142b)。
且，節點3010-2執行自資源伺服器3200下載之參考資料之設置(N143b→N144b)。
接著，節點3010-2與圖17同樣，基於由感測器部2300取得之資料，使用設置之參考資料產生情景標記及情景資料，將其等發送至應用程式/服務3100(N110b→A110b)。
(第1結束階段P40) 接著，與圖17同樣，自應用程式/服務3100向節點3010-2通知用以結束執行中之情景模型之指示(停止情景)，據此，節點3010-2結束執行中之情景模型。
1.17 其他變化例 上述實施形態中，已例示應用程式/服務3100每次要切換AI模型時，對節點3010通知情景模型之開始指示(開始情景)，使其下載參考模型之情形，但不限定於此，亦可構成為應用程式/服務3100事前對節點3010或器件3000通知與假設之使用案例相應之參考資料，節點3010或器件3000事前下載好通知之參考資料，藉此根據使用案例之切換而迅速切換AI模型。
又，上述實施形態中，已例示應用程式/服務3100判斷是否對節點3010進行AI模型切換，於進行AI模型切換之情形時，對節點3010指示下載參考資料之情形，但不限定於此，例如亦可判斷網路上之其他器件3000或節點3010是否要進行AI模型切換，並通知參考資料之下載指示。或者，亦可由器件3000或節點3010自身判斷AI模型之切換，自發執行參考資料之下載或預設之AI模型之切換。即，根據使用案例切換節點3010之推理器之構成(切換部)亦可為器件3000或節點3010自身、應用程式/服務3100、網路上之其他裝置3000或節點3010之任一者，亦可為組入入器件3000或節點3010自身、應用程式/服務3100、網路上之其他器件3000或節點3010之任一者之構成。
是否進行AI模型切換之判斷例如可基於由搭載於感測器器件10之測位部110取得之位置資訊、溫度或濕度之變化、自圖像資料辨識或擷取之資訊、上次之AI模型之辨識結果等而執行。該判斷亦可於自感測器部2300接收感測資料之器件3000、應用程式/服務31000、資源伺服器3200及其他器件3000之任一者執行。
又，為了知曉自AI模型輸出之資料(情景資料)之輸出格式，亦可將該格式作為模式(schema)預先置於資源伺服器3200等，對自AI模型輸出之資料賦予用以識別輸出格式之識別碼。例如，亦可對與情景資料建立對應之情景標記設置名為Schema之字段，於該Schema字段存儲用以識別輸出格式之識別碼。該情形時，接收到情景標記及情景資料之應用程式/服務3100或其他器件3000可基於存儲於情景標記之Schema字段之識別碼，特定情景資料之格式。
又，亦可將自2個以上或所有AI模型輸出之資料(情景資料)設為共通之輸出格式。或者，亦可於器件3000或應用程式/服務3100等安裝將自AI模型輸出之資料(情景資料)設為共通之輸出格式之格式轉換部。
又，由資源伺服器3200管理之參考資料亦可使用由各節點3010獲得之情景標記及/或情景資料進行再學習。再學習後之參考資料例如可作為版本更新之參考資料，於資源伺服器3200中可下載地予以管理。
另，上述中，已例示將模型資料或權重參數之下載端設為資源伺服器3200之情形，但不限定於此，例如亦可設為網路上之其他器件3000。又，亦可構成為由網路上之其他器件3000執行上述應用程式/服務3100之功能。
又，本實施形態中，匯總伺服器50不僅對自感測資料取得之配送資料之配送產生資料使用費用，對AI模型之模型資料或其權重參數(參考資料)之配送亦產生資料使用費用。例如，匯總伺服器50亦可與上述認證伺服器40協作，按照每個使用者或使用者器件30，或按照每個感測器器件10，將參考資料之配送量匯總，基於該匯總等決定資料使用費用。
例如，可作為參考資料之配送端之服務伺服器20、感測器器件、使用者器件30與圖2所示之感測器器件10中之匯總部148同樣，可具備：匯總部，其按照參考資料之每個請求端匯總參考資料之配送量，產生匯總資訊；及匯總資訊發送部，其將每個請求端之匯總資訊發送至匯總伺服器50。對此，匯總伺服器50中之費用處理部534可基於參考資料之匯總資訊，決定每個請求端之資料使用費用，於配送端即器件之管理者與各請求端之間進行資料使用費用之授受。
1.18 總結 如上所述，根據本實施形態，器件3000可於任意時序下載模型資料或權重參數，將其安裝於節點3010。藉此，可根據使用案例即時地切換器件3000之功能，故可根據各種使用案例靈活地變更功能。
又，例如使用模型列表3220，按照算法ID及器件3000之處理能力相關之每個資訊(能力)管理可提供之AI模型，故可根據使用案例或器件3000提供最佳之參考資料。
又，例如，藉由使用模型列表3220管理AI模型之使用限制相關之資訊(權限)，可涉及各種服務，如切換為遵守使用器件3000之國家之法令之AI模型，或提供限時事件之AI模型等。
又，例如藉由使用應用程式列表2002管理AI模型之使用目的，可預先知曉各AI模型，故可根據使用者之要求提供適當之AI模型。
又，由於資源伺服器3200等中可管理涉及多方面之AI模型，故可選擇能輸出需要資料之適切之AI模型，並將其安裝於器件3000。
又，不限於資源伺服器3200，亦可自網路上之其他器件3000取得參考資料，故可提高對參考模型之設置場所之自由度。
又，參考資料不限於模型資料，亦可設為其之權重參數，故亦可以最低限度之資料更換進行AI模型之更換。
又，由於可基於感測資料判斷AI模型之更換或需要之AI模型，故於自己的器件3000、其他器件3000、應用程式/服務3100及資源伺服器3200之任一者中，皆可判斷AI模型之更換或切換。
又，由於可基於由GPS取得之位置資訊等判斷AI模型之更換或需要之AI模型，故亦可判定於器件3000之位置附近需要之AI模型或最佳之AI模型為哪個。
又，藉由將自AI模型輸出之資料(情景資料)之輸出格式設為共通之輸出格式，而可將對資料(情景資料)進行處理、分析或辨識之後段之構成共通化，故可減輕對資料(情景資料)之處理負荷。
又，由於管理參考資料之版本，故藉由再學習等更新AI模型之情形時，亦可提供最新的AI模型。
又，1台器件3000具備複數個節點3010之情形時，由於可按照每個節點3010更換或切換AI模型，故自由1個感測器2301取得之感測資料進行多方面推理之情形時，亦可根據情景等自由切換為適切之AI模型之組合。
又，藉由對情景標記追加Schema字段，管理自AI模型輸出之資料(情景資料)之輸出格式，而於對資料(情景資料)進行處理、分析或辨識之後段之構成中，可容易知曉輸出格式，故可減輕對資料(情景資料)之處理負荷。
又，藉由對情景標記追加Schema字段，管理自AI模型輸出之資料(情景資料)之輸出格式，而於更換或切換AI模型之情形時，於後段之構成中可容易得知輸出格式，故可減輕對資料(情景資料)之處理負荷。
又，例如藉由使用模型列表3220管理AI模型之使用限制相關之資訊(權限)，而可根據使用者判斷可否使用AI模型，故可根據相機之持有者或接收資料之人等使用案例，控制AI模型可否使用。
又，藉由設為可更換AI模型之構成，而可分時或並行處理產生面向特定使用者之資料(情景資料)，故同時使用之使用者之使用目的不同之情形時，亦可共用相同之器件3000。
又，藉由器件3000自身判斷是否需要下載AI模型，而可根據使用案例，更即時地切換AI模型。
2.第2實施形態 接著，針對本揭示之第2實施形態之資訊處理系統及資訊處理方法，參照圖式詳細地說明。
上述實施形態及其變化例中，亦可藉由加密或電子署名等，保護自資源伺服器3200或其他器件3000下載之參考資料。
此處，要將參考資料加密之情形時，該加密可使用預先分配至各器件3000之情景加密密鑰(SceneEncryptionKey)。又，該加密算法亦可採用依據NICE規格中之情景資料及情景標記之加密之算法。再者，加密格式可採用JEW(JSON Web 加密)緊湊型序列化(Compact Serialization)等格式。
2.1 加密對象之例 將用於加密之情景加密密鑰相關之資訊例如作為加密對象，存儲於情景模型對象中對象452內之加密4623(參照圖12)，或對象453內之加密4633(參照圖13)。
圖21係顯示本實施形態之加密對象之一例之圖。如圖21所示，加密4623(參照圖12)內或加密4633內之加密對象47可包含加密開啟(EncryptiOn)471、情景加密密鑰ID472、隱私伺服器端點(PrivacyServerEndPoint)473及附加屬性474。
加密開啟471存儲顯示參考資料是否加密之資訊。例如，加密開啟471中存儲有‘真(True)’之情形時，表示參考資料已加密，存儲有‘假(false)’之情形時，表示參考資料未加密。
情景加密密鑰ID472存儲用以辨識參考資料之加密所使用之隱私對象之識別碼。
隱私伺服器端點473存儲網路上配置成可下載之隱私對象之位址資訊即端點(例如URL)。解除參考資料之加密時，裝置3000自由隱私伺服器端點473指定之端點下載隱私對象，解除參考資料之加密。另，隱私對象之下載例如亦可由圖2之模型取得部140執行。
附加屬性474存儲附加之資訊。該附加屬性474亦可出於各種目的而使用。
2.2 隱私對象之例 圖22係顯示本實施形態之隱私對象之一例之圖。如圖22所示，隱私對象48可包含版本481、端點ID482、隱私對象ID(PrivacyObjectID)483、開始日期時間(StartDateTime)484、結束日期時間(EndDateTime)485、使用計數(UsageCount)486、存儲規則(StorageRule)487、輸出規則(ExportRule)488、屏蔽項目(MaskedItems)489、分析規則(AnalysisRule)490、加密491、Authentication(驗證)492、附加屬性493。
其中，加密491可包含kty(Key Type：密鑰類型)4912、alg(Algorithm)4913、k(Key Instance：密鑰實例)(亦稱為密鑰對象)4914、kid(密鑰ID)4915、附加屬性4916，作為對稱密鑰(SymmetricKey)對象4911。
kty4912存儲顯示情景加密密鑰之密鑰類型(Key type)之資訊。
alg4913存儲顯示用於加密之加密算法之資訊。
k4914存儲情景加密密鑰之密鑰實例(Key instance)(亦稱為密鑰對象)。
kid4915存儲與情景模型對象41(參照圖11)之加密4623(參照圖12)或加密4633(參照圖13)中之情景加密密鑰ID472(參照圖21)對應之識別碼(密鑰ID)。
附加屬性4916存儲附加之資訊。該附加屬性4916亦可出於各種目的而使用。
2.3 將模型資料加密時之動作順序例 針對將參考資料加密時之動作順序進行說明。圖23係顯示本實施形態之動作順序之一例之順序圖。另，圖23及以下之說明中，為簡化說明，省略能力驅動階段P10。又，以下之說明中，對與圖17或圖18所示之順序相同之動作，標註相同符號。
(模型設定階段P20) 如圖23所示，本動作中，與圖18同樣，自應用程式/服務3100向節點3010通知使用哪個情景模型之指示(設置情景模型)(A101→N101)。
(第1執行階段P30) 接著，自應用程式/服務3100向節點3010通知用以開始使用由設置情景模型指定之情景模型ID=1之情景模型中之參考資料列表ID=1(參照圖12)之參考資料之推理的指示(開始情景)(A102→N102)。
對此，節點3010基於情景模型對象41(參照圖11)之加密4623(參照圖12)中之隱私伺服器端點473(參照圖21)，存取資源伺服器3200中之隱私伺服器端點3211(N211→E211)，下載存儲於該隱私伺服器端點3211之情景加密密鑰ID與加密4623(參照圖12)中之情景加密密鑰ID472(參照圖21)一致的隱私對象48(E212→N212)。
接著，為了下載加密之參考資料，節點3010基於由設置情景模型指定之情景模型ID=1之情景模型中之參考資料列表ID=1之參考資料列表442中所存儲之參考資料端點4622(參照圖12)，存取資源伺服器3200中之端點(以下，為了與隱私伺服器端點3211區分，將其稱為參考資料端點)3101(N221→E221)。
由節點3010存取之參考資料端點3201對自節點3010要求之參考資料，使用資源伺服器3200之私密密鑰進行署名，且以情景加密密鑰加密(E222→E223)，將加密後之參考資料發送至節點3010(E224→E224)。
取得加密之參考資料之節點3010使用隱私對象48內之k4914(即情景加密密鑰)，解除參考資料之加密，且使用資源伺服器3200之證明書(Certificate)進行認證，藉此將已解除加密之參考資料設為有效(N231→N232)。
且，節點3010執行經有效化之參考資料之設置(N133→N134)。
接著，節點3010與圖17同樣，基於由感測器部2300取得之資料，使用設置之參考資料產生情景標記及情景資料，將其等發送至應用程式/服務3100(N105→A105)。
(第1結束階段P40) 接著，與圖17同樣，自應用程式/服務3100向節點3010通知用以結束執行中之情景模型之指示(停止情景)(A106→N106)，據此，節點3010結束執行中之情景模型。
2.4 總結 如上所述，根據本實施形態，將下載對象之參考資料署名並加密。藉此，可下載安全狀態之參考資料，可保護資訊處理裝置免於資料洩露或篡改等，故可更安心地對使用者提供與使用案例相應之功能。
由於除此以外之構成、動作及效果亦可與上述實施形態或其變化例相同，故此處省略詳細說明。
3. 第3實施形態 第3實施形態中，針對上述實施形態或其變化例之資訊處理系統1之安裝例進行說明。另，以下之說明中，例示將感測器器件10設為車載相機，將資訊處理系統1應用於進行級別2之駕駛支援之駕駛支援系統應用之情形。
3.1 安裝例 圖24係顯示本實施形態之資訊處理系統之安裝例之方塊圖。圖24所示之安裝例中，例示感測器器件10、服務伺服器20及資源伺服器60經由網路90連接，將對使用者提供服務之應用程式11安裝於感測器器件10之情形。
(感測器器件10) 如圖24所示，本安裝例中，感測器器件10除應用程式11外，亦具備處理部12、應用程式使用者介面(App UI)、操作系統(OS：Operating System)15、感測器部16及輸出部17。
該構成中，應用程式11為相當於上述之應用程式2001之駕駛支援應用程式。處理部12相當於上述之處理部2200，執行車間距離檢測、車道偏離檢測、道路暴怒駕駛(road rage)檢測、行人檢測等駕駛支援所需之各種辨識處理。感測器部16相當於上述之感測器部2300，產生拍攝車輛之前方、後方、側方等之圖像資料。
又，本安裝例中，處理部12具備器件狀態機器12a與資料管線13a。器件狀態機器12a具備認證順序12b，藉由依照該認證順序12b，而與資源伺服器60之認證部61之間執行使用者認證。資料管線13a具備可執行進程13c與轉換器13f之節點13b。節點13b相當於上述之節點3010。進程13c相當於上述之進程3011，可執行AI處理13d與情景標記產生13e。
此外，操作系統15係為了使感測器器件10動作而安裝之操作系統。應用程式使用者介面I14例如為受理來自使用者之指示輸入，或將前方相機影像或導航等各種資訊經由輸出部17提供給使用者之使用者介面。輸出部17以顯示器或揚聲器等構成，對使用者輸出來自應用程式介面14之資訊。
(資源伺服器60) 資源伺服器60相當於上述之資源伺服器3200，具備認證部61、MQTT協定62、使用者介面63、API閘道64、控制部65及記憶部67。另，記憶部67例如相當於上述之參考資料端點3201及/或隱私伺服器端點3211。
3.2 動作例 接著，針對圖24所示之資訊處理系統1之動作例進行說明。本安裝例中，啟動後，首先執行使用者認證。使用者認證中，根據來自應用程式11之依據NICE規格之API服務啟動請求，器件狀態機器12a按照認證順序12b存取資源伺服器60之認證部61，藉此與認證部61之間執行使用者認證。若該使用者認證成功，啟動完成，則節點13b將AI模型之更新請求發送至資源伺服器60。另，由於亦假設不更新AI模型之情形，故較佳為不論使用者認證是否成功，皆與應用程式11之啟動並行地啟動節點13b。且，節點13b亦可於啟動後產生進程13c與轉換器13f，移行至等待事件狀態。
將發送至資源伺服器60之AI模型之更新請求經由MQTT協定62輸入至控制部65。控制部65接收AI模型之更新請求後，例如確認安裝於節點13b之參考資料之版本，判定是否存在更新後之版本之參考資料。存在更新後之版本之參考資料之情形時，例如按照圖18所例示之動作順序，控制部65以下載更新後之版本之參考資料之方式指示節點13b(設置情景模型、開始情景模型)，節點13b自資源伺服器60之記憶部67取得更新後之版本之參考資料，將其安裝於進程13c。此時，於參考資料已加密之情形時，亦可執行圖23所示之動作順序。
其後，節點13b例如基於自感測器部16輸入之感測資料，檢測到裝置狀態變化後，向資源伺服器60通知器件狀態不一致，要求更新參考資料。對此，於資源伺服器60側，將AI模型之更新請求經由MQTT協定62輸入至控制部65，於控制部65中特定適應器件狀態變化之AI模型。且，例如按照圖18所例示之動作順序，控制部65以下載適應器件狀態變化之參考資料之方式指示節點13b(設置情景模型、開始情景模型)，節點13b取得由資源伺服器60之記憶部67指定之參考資料，將其安裝於進程13c。此時，於參考資料已加密之情形時，亦可執行圖23所示之動作順序。
另，本安裝例中，已例示感測器器件10對資源伺服器60要求更新參考資料之情形，但不限定於此，例如亦可由服務伺服器20對資源伺服器60要求更新感測器器件10中之參考資料。
4.硬體構成 上述實施形態及其變化例之感測器器件10、服務伺服器20、使用者器件30、認證伺服器40及匯總伺服器50例如可藉由如圖25所示之構成之電腦1000實現。圖25係顯示實現感測器器件10、服務伺服器20、使用者器件30、認證伺服器40及匯總伺服器50之功能之電腦1000之一例之硬體構成圖。電腦1000具有CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信介面1500及輸入輸出介面1600。電腦1000之各部藉由匯流排1050連接。
CPU1100基於存儲於ROM1300或HDD1400之程式動作，進行各部之控制。例如，CPU1100於RAM1200展開存儲於ROM1300或HDD1400之程式，執行與各種程式對應之處理。
ROM1300存儲電腦1000啟動時由CPU1100執行之BIOS(Basic Input Output System：基本輸入輸出系統)等啟動程式，或依存於電腦1000之硬體之程式等。
HDD1400為非暫時記錄由CPU1100執行之程式、及由該程式使用之資料等之電腦可讀取之記錄媒體。具體而言，HDD1400為記錄程式資料1450之一例即用以執行本揭示之各動作之程式之記錄媒體。
通信介面1500為電腦1000用以與外部網路1550(例如網際網路)連接之介面。例如，CPU1100經由通信介面1500，自其他機器接收資料，或向其他機器發送CPU1100產生之資料。
輸入輸出介面1600為包含上述之I/F部18之構成，為用以連接輸入輸出裝置1650與電腦1000之介面。例如，CPU1100經由輸入輸出介面1600，自鍵盤或滑鼠等輸入裝置接收資料。又，CPU1100經由輸入輸出介面1600，對顯示器、揚聲器或印表機等輸出器件發送資料。又，輸入輸出介面1600亦可作為讀取記錄於特定之記錄媒體(Media)之程式等之媒體介面發揮功能。媒體例如為DVD(Digital Versatile Disc：數位多功能光碟)、PD(Phase change rewritable Disk：相變可重寫磁碟)等光學記錄媒體、MO(Magneto-Optical disk：磁光碟)等光磁記錄媒體、磁帶媒體、磁性記錄媒體或半導體記憶體等。
例如，電腦1000作為上述之實施形態之感測器器件10、服務伺服器20、使用者器件30、認證伺服器40及匯總伺服器50發揮功能之情形時，電腦1000之CPU1100藉由執行加載於RAM1200上之程式，而實現感測器器件10、服務伺服器20、使用者器件30、認證伺服器40及匯總伺服器50之功能。又，於HDD1400中存儲本揭示之程式等。另，CPU1100自HDD1400讀取並執行程式資料1450，但作為其他例，亦可經由外部網路1550，自其他裝置取得該等程式。
以上，已針對本揭示之實施形態進行說明，但本揭示之技術性範圍並非如此限定於上述實施形態者，可於不脫離本揭示之主旨之範圍內進行各種變更。又，亦可適當組合跨及不同實施形態及變化例之構成要件。
又，本說明書所記載之各實施形態之效果僅為例示，並非限定者，亦可有其它效果。
另，本技術亦可採取如下之構成。 (1) 一種資訊處理系統，其具備： 感測器資料取得部，其取得由感測器取得之感測資料； 處理部，其具備輸入上述感測資料而執行推理之推理器；及 切換部，其根據使用案例而切換上述推理器。 (2) 如上述(1)之資訊處理系統，其進而具備： 模型取得部，其取得參考資料； 上述切換部藉由將上述推理器之參考資料更換為由上述模型取得部取得之上述參考資料，而切換上述推理器。 (3) 如上述(2)之資訊處理系統，其中 上述模型取得部經由特定之網路取得上述參考資料。 (4) 如上述(3)之資訊處理系統，其進而具備： 模型保持部，其配置於上述特定之網路上，保持1個以上之參考資料；且 上述模型取得部經由上述特定之網路，自上述模型保持部取得上述參考資料。 (5) 如上述(3)之資訊處理系統，其中 上述模型取得部自配置於上述特定之網路上、且與具備上述處理部之資訊處理裝置不同之其他資訊處理裝置取得上述參考資料。 (6) 如上述(2)至(5)中任一項之資訊處理系統，其中 上述參考資料包含構成上述推理器之模型資料、與設定於上述模型資料之權重參數中之至少一者。 (7) 如上述(2)至(6)中任一項之資訊處理系統，其進而具備： 匯總部，其按照每個器件將上述參考資料之配送量匯總，產生匯總資訊；及 費用處理部，其基於上述匯總資訊決定使用費用。 (8) 如上述(1)至(7)中任一項之資訊處理系統，其中 上述處理部根據具備上述處理部之資訊處理裝置之處理能力而切換上述推理器。 (9) 如上述(1)至(8)中任一項之資訊處理系統，其中 上述切換部基於對具備上述處理部之資訊處理裝置之使用者設定的參考資料之使用期限及使用地域中之至少一者，而切換上述推理器。 (10) 如上述(1)至(9)中任一項之資訊處理系統，其進而具備： 處理能力管理部，其管理具備上述處理部之資訊處理裝置之處理能力；且 上述切換部基於由上述處理能力管理部管理之具備上述處理部的上述資訊處理裝置之上述處理能力，而切換上述推理器。 (11) 如上述(1)至(10)中任一項之資訊處理系統，其中 上述感測器資料取得部進而取得具備上述處理部之資訊處理裝置之位置資訊， 上述切換部基於上述位置資訊而切換上述推理器。 (12) 如上述(1)至(11)中任一項之資訊處理系統，其中 上述推理器輸出之資料之輸出格式與上述處理部可能具備之其他推理器輸出之輸出格式共通。 (13) 如上述(1)至(11)中任一項之資訊處理系統，其進而具備： 轉換部，其將上述推理器輸出之資料之輸出格式轉換為特定之輸出格式。 (14) 如上述(1)至(13)中任一項之資訊處理系統，其中 上述處理部將用以識別上述推理器輸出之資料之輸出格式的識別資訊，與上述資料建立對應。 (15) 一種資訊處理系統，其具備： 模型取得部，其經由特定之網路取得加密之參考資料； 密鑰資訊取得部，其取得用以解除上述參考資料之加密的密鑰資訊；及 處理部，其使用上述密鑰資訊解除上述參考資料之加密，使用已解除上述加密之上述參考資料而構成推理器。 (16) 一種資訊處理系統，其係將器件、服務伺服器及資源伺服器經由特定之網路連接者，且 上述服務伺服器對上述器件之節點發送指示設定情景模型之設置情景模型， 上述服務伺服器對上述節點發送指示上述情景模型開始之開始情景， 上述節點自由上述開始情景指定之上述資源伺服器中之端點取得參考資料， 上述節點使用上述參考資料而設置推理器， 上述節點將上述推理器之推理結果發送至上述服務伺服器， 上述服務伺服器對上述節點發送指示上述情景模型結束之停止情景， 上述節點根據上述停止情景，而結束上述情景模型。 (17) 一種資訊處理系統，其係將器件、服務伺服器及資源伺服器經由特定之網路連接者，且 上述服務伺服器對上述器件之節點發送指示設定情景模型之設置情景模型， 上述服務伺服器對上述節點發送指示上述情景模型開始之開始情景， 上述節點自由上述情景模型指定之上述資源伺服器中之隱私伺服器端點取得隱私對象， 上述節點自由上述開始情景指定之上述資源伺服器中之參考資料端點取得加密之參考資料， 上述節點使用上述隱私對象，解除上述參考資料之加密， 上述節點使用解除上述加密後之上述參考資料而設置推理器， 上述節點將上述推理器之推理結果發送至上述服務伺服器， 上述服務伺服器對上述節點發送指示上述情景模型結束之停止情景， 上述節點根據上述停止情景，而結束上述情景模型。 (18) 一種資訊處理方法，其包含：取得由感測器取得之感測資料； 構成輸入上述感測資料而執行推理之推理器；及 根據使用案例而切換上述推理器。 (19) 一種資訊處理方法，其包含： 經由特定之網路取得加密之參考資料； 取得用以解除上述參考資料之加密之密鑰資訊； 使用上述密鑰資訊解除上述參考資料之加密；及 使用解除上述加密後之上述參考資料，構成推理器。 (20) 一種資訊處理方法，其係於器件、服務伺服器及資源伺服器經由特定之網路連接之資訊處理系統中執行者， 上述服務伺服器對上述器件之節點發送指示設定情景模型之設置情景模型， 上述服務伺服器對上述節點發送指示上述情景模型開始之開始情景， 上述節點自由上述開始情景指定之上述資源伺服器中之端點取得參考資料， 上述節點使用上述參考資料而設置推理器， 上述節點將上述推理器之推理結果發送至上述服務伺服器， 上述服務伺服器對上述節點發送指示上述情景模型結束之停止情景， 上述節點根據上述停止情景，而結束上述情景模型。 (21) 一種資訊處理方法，其係於器件、服務伺服器及資源伺服器經由特定之網路連接之資訊處理系統中執行者， 上述服務伺服器對上述器件之節點發送指示設定情景模型之設置情景模型， 上述服務伺服器對上述節點發送指示上述情景模型開始之開始情景， 上述節點自由上述情景模型指定之上述資源伺服器中之隱私伺服器端點取得隱私對象， 上述節點自由上述開始情景指定之上述資源伺服器中之參考資料端點取得加密之參考資料， 上述節點使用上述隱私對象，解除上述參考資料之加密， 上述節點使用解除上述加密後之上述參考資料而設置推理器， 上述節點將上述推理器之推理結果發送至上述服務伺服器， 上述服務伺服器對上述節點發送指示上述情景模型結束之停止情景， 上述節點根據上述停止情景，而結束上述情景模型。
1:資訊處理系統 10:感測器器件 10a:感測器器件 10b:感測器器件 10c:感測器器件 10A:感測器器件 10B:感測器器件 11:應用程式 12:處理部 12a:器件狀態機器 12b:認證順序 13a:資料管線 13b:節點 13c:進程 13d:AI處理 13e:產生情景標記 13f:轉換器 14:APP UI 15:操作系統 16:感測器部 17:輸出部 20:服務伺服器 30:使用者器件 30a:使用者器件 30b:使用者器件 30c:使用者器件 40:認證伺服器 41:情景模型對象 42:標籤參考資料列表 43:對象 47:加密對象 48:隱私對象 50:匯總伺服器 60:資源伺服器 61:認證部 62:MQTT協定 63:使用者介面 64:API閘道 65:控制部 67:記憶部 70:模型資料 71:標頭部 72:主體部 90:網路 100:感測器部 110:測位部 130:處理部 132:ID發送部 134:密鑰接收部 136:感測器資料取得部 138:前處理部 140:模型取得部 142:辨識部 144:資料產生部 146:配送部 148:匯總部 150:匯總資訊發送部 160:記憶部 170:通信部 230:處理部 232:ID發送部 234:請求受理部 236:能力資訊取得部 238:模型產生部 238a:學習器 240:模型發送部 242:資料取得部 246:配送部 260:記憶部 270:通信部 441:標籤名稱 442:參考資料列表 443:參考資料 444:處理階段 445:附加屬性 452:對象 453:對象 471:加密開啟 472:情景加密密鑰ID 473:隱私伺服器端點 474:附加屬性 481:版本 482:端點ID 483:隱私對象ID 484:開始日期時間 485:結束日期時間 486:使用計數 487:存儲規則 488:輸出規則 489:屏蔽項目 490:分析規則 491:加密 492:驗證 493:附加屬性 500:開始情景對象 501:版本 502:情景模型ID 503:參考資料ID/參考資列表ID 504:附加屬性 530:處理部 532:匯總資訊取得部 534:費用處理部 560:記憶部 570:通信部 600-1～600-n:對象 602-1～602-n:監督資料 610:模型辨識 1000:電腦 1100:CPU 1200:RAM 1300:ROM 1400:HDD 1450:程式資料 1500:通信介面 1550:外部網路 1600:輸入輸出介面 1650:輸入輸出裝置 2001:應用程式 2002:應用程式列表 2100:服務部 2101:AI網路部 2102:分析部 2103A:資料管線部 2103B:資料管線部 2200A:處理部 2200B:處理部 2201:CPU 2202:信號處理部 2203:推理部 2300A:感測器部 2300B:感測器部 2301:感測器 2302:信號處理部 2303:辨識部 2304:推理部 3000:器件 3010:節點 3010A:節點 3010B:節點 3010C:節點 3010-1～3010-N:節點 3011:進程 3012:參考資料 3013:AI框架 3100:應用程式/服務 3200:資源伺服器 3201:端點(參考資料端點) 3202:端點 3211:隱私伺服器端點 3220:模型列表 4621:參考資料 4622:參考資料端點 4623:加密開啟 4624:附加屬性 4631:紅色資料 4632:參考資料 4633:加密 4634:附加屬性 4911:對稱密鑰對象 4912:kty 4913:alg 4914:k 4915:kid 4916:附加屬性 P10:能力取得階段 P20:模型設定階段 P30:執行階段 P40:結束階段 S1～S7:步驟 S101～S111:步驟
圖1係顯示第1實施形態之資訊處理系統之概略功能構成之系統圖。 圖2係顯示第1實施形態之感測器器件10之功能構成例之方塊圖。 圖3係顯示第1實施形態之服務伺服器20之功能構成之方塊圖。 圖4係顯示第1實施形態之匯總伺服器50之功能構成例之方塊圖。 圖5係用以說明第1實施形態之辨識模型610之產生例之說明圖。 圖6係顯示第1實施形態之資訊處理方法之一例之順序圖。 圖7係顯示第1實施形態之資訊處理系統中可將AI(Artificial Intelligence：人工智慧)模型下載至器件之系統架構之概要例的方塊圖。 圖8係顯示第1實施形態之器件之節點架構之概要例之方塊圖。 圖9係用以說明第1實施形態之資訊處理系統之全體動作之概要之模式圖。 圖10係顯示第1實施形態之基本動作順序之一例之順序圖。 圖11係顯示第1實施形態之情景模型(SceneMode)對象之一例之圖。 圖12係顯示第1實施形態之參考資料列表(RefDataList)之一例之圖。 圖13係顯示第1實施形態之參考資料(RefData)之一例之圖。 圖14係顯示第1實施形態之處理階段(Processing Stage)之一例之圖。 圖15係顯示第1實施形態之開始情景(StartScene)對象之一例之圖。 圖16係顯示第1實施形態之參考資料中之模型資料之一例之圖。 圖17係顯示第1實施形態之使用預設之AI模型時之動作順序之一例之順序圖。 圖18係顯示第1實施形態之下載AI模型時之動作順序之一例之順序圖。 圖19係顯示第1實施形態之變化例之器件之節點架構之概要例之方塊圖。 圖20係顯示第1實施形態之變化例之下載AI模型時之動作順序之一例之順序圖。 圖21係顯示第2實施形態之加密(Encryption)對象之一例之圖。 圖22係顯示第2實施形態之隱私(Privacy)對象之一例之圖。 圖23係顯示第2實施形態之動作順序之一例之順序圖。 圖24係顯示第3實施形態之資訊處理系統之安裝例之方塊圖。 圖25係顯示實現本揭示之資訊處理裝置之功能之電腦之一例的硬體構成圖。
1:資訊處理系統
10a:感測器器件
10b:感測器器件
10c:感測器器件
20:服務伺服器
30a:使用者器件
30b:使用者器件
30c:使用者器件
40:認證伺服器
50:匯總伺服器

Claims (21)

  1. 一種資訊處理系統，其具備： 感測器資料取得部，其取得由感測器取得之感測資料； 處理部，其具備輸入上述感測資料而執行推理之推理器；及 切換部，其根據使用案例而切換上述推理器。
  2. 如請求項1之資訊處理系統，其進而具備： 模型取得部，其取得參考資料； 上述切換部藉由將上述推理器之參考資料更換為由上述模型取得部取得之上述參考資料，而切換上述推理器。
  3. 如請求項2之資訊處理系統，其中 上述模型取得部經由特定之網路取得上述參考資料。
  4. 如請求項3之資訊處理系統，其進而具備： 模型保持部，其配置於上述特定之網路上，保持1個以上之參考資料； 上述模型取得部經由上述特定之網路，自上述模型保持部取得上述參考資料。
  5. 如請求項3之資訊處理系統，其中 上述模型取得部自配置於上述特定網路上、且與具備上述處理部之資訊處理裝置不同之其他資訊處理裝置取得上述參考資料。
  6. 如請求項2之資訊處理系統，其中 上述參考資料包含構成上述推理器之模型資料、與設定於上述模型資料之權重參數中之至少一者。
  7. 如請求項2之資訊處理系統，其進而具備： 匯總部，其按照每個器件將上述參考資料之配送量匯總，產生匯總資訊；及 費用處理部，其基於上述匯總資訊決定使用費用。
  8. 如請求項1之資訊處理系統，其中 上述處理部根據具備上述處理部之資訊處理裝置之處理能力而切換上述推理器。
  9. 如請求項1之資訊處理系統，其中 上述切換部基於對具備上述處理部之資訊處理裝置之使用者設定的參考資料之使用期限及使用地域中之至少一者，而切換上述推理器。
  10. 如請求項1之資訊處理系統，其進而具備： 處理能力管理部，其管理具備上述處理部之資訊處理裝置之處理能力；且 上述切換部基於由上述處理能力管理部管理之具備上述處理部之上述資訊處理裝置之上述處理能力，而切換上述推理器。
  11. 如請求項1之資訊處理系統，其中 上述感測器資料取得部進而取得具備上述處理部之資訊處理裝置之位置資訊， 上述切換部基於上述位置資訊而切換上述推理器。
  12. 如請求項1之資訊處理系統，其中 上述推理器輸出之資料之輸出格式，與上述處理部可能具備之其他推理器輸出之輸出格式共通。
  13. 如請求項1之資訊處理系統，其進而具備： 轉換部，其將上述推理器輸出之資料之輸出格式轉換為特定之輸出格式。
  14. 如請求項1之資訊處理系統，其中 上述處理部將用以識別上述推理器輸出之資料之輸出格式的識別資訊，與上述資料建立對應。
  15. 一種資訊處理系統，其具備： 模型取得部，其經由特定之網路取得加密之參考資料； 密鑰資訊取得部，其取得用以解除上述參考資料之加密的密鑰資訊；及 處理部，其使用上述密鑰資訊解除上述參考資料之加密，使用解除上述加密後之上述參考資料而構成推理器。
  16. 一種資訊處理系統，其係將器件、服務伺服器及資源伺服器經由特定之網路連接者，且 上述服務伺服器對上述器件之節點發送指示設定情景模型之設置情景模型， 上述服務伺服器對上述節點發送指示上述情景模型開始之開始情景， 上述節點自由上述開始情景指定之上述資源伺服器中之端點取得參考資料， 上述節點使用上述參考資料而設置推理器， 上述節點將上述推理器之推理結果發送至上述服務伺服器， 上述服務伺服器對上述節點發送指示上述情景模型結束之停止情景， 上述節點根據上述停止情景，而結束上述情景模型。
  17. 一種資訊處理系統，其係將器件、服務伺服器及資源伺服器經由特定之網路連接者，且 上述服務伺服器對上述器件之節點發送指示設定情景模型之設置情景模型， 上述服務伺服器對上述節點發送指示上述情景模型開始之開始情景， 上述節點自由上述情景模型指定之上述資源伺服器中之隱私伺服器端點取得隱私對象， 上述節點自由上述開始情景指定之上述資源伺服器中之參考資料端點取得加密之參考資料， 上述節點使用上述隱私對象，解除上述參考資料之加密， 上述節點使用解除上述加密後之上述參考資料而設置推理器， 上述節點將上述推理器之推理結果發送至上述服務伺服器， 上述服務伺服器對上述節點發送指示上述情景模型結束之停止情景， 上述節點根據上述停止情景，而結束上述情景模型。
  18. 一種資訊處理方法，其包含： 取得由感測器取得之感測資料； 構成輸入上述感測資料而執行推理之推理器；及 根據使用案例而切換上述推理器。
  19. 一種資訊處理方法，其包含： 經由特定之網路取得加密之參考資料； 取得用以解除上述參考資料之加密之密鑰資訊； 使用上述密鑰資訊解除上述參考資料之加密；及 使用解除上述加密後之上述參考資料，構成推理器。
  20. 一種資訊處理方法，其係於將器件、服務伺服器及資源伺服器經由特定之網路連接之資訊處理系統中執行者，且 上述服務伺服器對上述器件之節點發送指示設定情景模型之設置情景模型， 上述服務伺服器對上述節點發送指示上述情景模型開始之開始情景， 上述節點自由上述開始情景指定之上述資源伺服器中之端點取得參考資料， 上述節點使用上述參考資料而設置推理器， 上述節點將上述推理器之推理結果發送至上述服務伺服器， 上述服務伺服器對上述節點發送指示上述情景模型結束之停止情景， 上述節點根據上述停止情景，而結束上述情景模型。
  21. 一種資訊處理方法，其係於將器件、服務伺服器及資源伺服器經由特定之網路連接之資訊處理系統中執行者，且 上述服務伺服器對上述器件之節點發送指示設定情景模型之設置情景模型， 上述服務伺服器對上述節點發送指示上述情景模型開始之開始情景， 上述節點自由上述情景模型指定之上述資源伺服器中之隱私伺服器端點取得隱私對象， 上述節點自由上述開始情景指定之上述資源伺服器中之參考資料端點取得加密之參考資料， 上述節點使用上述隱私對象，解除上述參考資料之加密， 上述節點使用解除上述加密後之上述參考資料而設置推理器， 上述節點將上述推理器之推理結果發送至上述服務伺服器， 上述服務伺服器對上述節點發送指示上述情景模型結束之停止情景， 上述節點根據上述停止情景，而結束上述情景模型。
TW110135086A 2020-09-29 2021-09-22 資訊處理系統及資訊處理方法 TW202217730A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063084776P 2020-09-29 2020-09-29
US63/084,776 2020-09-29

Publications (1)

Publication Number Publication Date
TW202217730A true TW202217730A (zh) 2022-05-01

Family

ID=80950125

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110135086A TW202217730A (zh) 2020-09-29 2021-09-22 資訊處理系統及資訊處理方法

Country Status (7)

Country Link
US (1) US20230368049A1 (zh)
EP (1) EP4224368A4 (zh)
JP (1) JPWO2022070781A1 (zh)
KR (1) KR20230079358A (zh)
CN (1) CN116249985A (zh)
TW (1) TW202217730A (zh)
WO (1) WO2022070781A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821006B (zh) * 2022-06-23 2022-09-20 盾钰（上海）互联网科技有限公司 交互式间接推理的孪生体态检测方法及系统
WO2024070609A1 (ja) * 2022-09-28 2024-04-04 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387794B2 (en) 2015-01-22 2019-08-20 Preferred Networks, Inc. Machine learning with model filtering and model mixing for edge devices in a heterogeneous environment
US9990587B2 (en) 2015-01-22 2018-06-05 Preferred Networks, Inc. Machine learning heterogeneous edge device, method, and system
WO2018084577A1 (en) * 2016-11-03 2018-05-11 Samsung Electronics Co., Ltd. Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
JP6756661B2 (ja) * 2017-04-28 2020-09-16 日立オートモティブシステムズ株式会社 車両電子制御装置
JP7089303B2 (ja) * 2018-10-10 2022-06-22 株式会社アクセル 推論装置、処理システム、推論方法及び推論プログラム
US20210264164A1 (en) * 2018-11-13 2021-08-26 Sony Semiconductor Solutions Corporation Data distribution system, sensor device, and server
US20200272899A1 (en) * 2019-02-22 2020-08-27 Ubotica Technologies Limited Systems and Methods for Deploying and Updating Neural Networks at the Edge of a Network

Also Published As

Publication number Publication date
EP4224368A1 (en) 2023-08-09
EP4224368A4 (en) 2024-05-22
WO2022070781A1 (ja) 2022-04-07
US20230368049A1 (en) 2023-11-16
CN116249985A (zh) 2023-06-09
JPWO2022070781A1 (zh) 2022-04-07
KR20230079358A (ko) 2023-06-07

Similar Documents

Publication Publication Date Title
US11593501B2 (en) System and method for using unique device identifiers to enhance security
US11622017B2 (en) Location based task execution for enhanced data access
US11516200B2 (en) Controlled token distribution to protect against malicious data and resource access
US9740988B1 (en) System and method for using unique device indentifiers to enhance security
US11924215B2 (en) Enhanced value component predictions using contextual machine-learning models
US11966856B2 (en) Enhanced validity modeling using machine-learning techniques
TW202217730A (zh) 資訊處理系統及資訊處理方法
US20210110417A1 (en) Dynamic bidding determination using machine-learning models
CN112997211A (zh) 数据分发系统、传感器装置和服务器
US11106806B1 (en) System and method to unlock digital content based on location-based parameters
US11734442B2 (en) System and method for using unique device identifiers to enhance security
US11843594B2 (en) Controlled token distribution to protect against malicious data and resource access
WO2024065100A1 (en) Systems and methods for enabling local sensing as a service in mobile networks
GB2563087A (en) Methods, systems and devices for image acquisition