JP6990060B2 - データ処理システム、データ処理方法およびプログラム - Google Patents
データ処理システム、データ処理方法およびプログラム Download PDFInfo
- Publication number
- JP6990060B2 JP6990060B2 JP2017147758A JP2017147758A JP6990060B2 JP 6990060 B2 JP6990060 B2 JP 6990060B2 JP 2017147758 A JP2017147758 A JP 2017147758A JP 2017147758 A JP2017147758 A JP 2017147758A JP 6990060 B2 JP6990060 B2 JP 6990060B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- recognition
- edge
- server
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Description
以下、発明を実施するための実施形態について説明する。
まず、データ処理端末110の構成例を図2に示す。データ処理端末110はCPU(Central Processing Unit)などのプロセッサ111、RAM(Random Access Memory)やROM(Read Only Memory)などのメモリ112、HDD(Hard Disk Drive)やSSD(Solid State Drive)などのストレージ113、カメラやマイクなどのセンサ114、入力デバイス、表示デバイスといった機器を接続するための機器I/F115、ネットワークを介して外部と通信を行う通信部116を備える。
続いて、本実施形態に係るエッジサーバ210の機能ブロック図を図5に示す。エッジサーバ210は、制御データ通信部211、ルーティング制御部212、通信部213、仮想マシン部214を備える。制御データ通信部211は、自分以外のエッジサーバ210と定期的に通信しており、各エッジサーバ210のネットワーク状況等を監視している。ルーティング制御部212は、制御データ通信部211の監視の結果に基づいて、通信部213が受け取ったデータのドメイン名を解釈し、データの目的地(IPアドレス)を決定する。なお、データの目的地とは、最終目的地だけではなく、ルーティングの経路上の目的地も含む。通信部213は、ルーティング制御部212が提供するIPアドレスに従い、データの送受信を行う。なお、制御データ通信部211と通信部213は、異なるネットワークで構成されていてもよい。制御データ通信部211においてネットワーク制御情報が受信できないと、通信部213で受け取ったデータの目的地あるいはそのルートが照会できないため、制御データ通信部211は、より信頼性の高いネットワークインフラを利用して接続されるのが望ましい。仮想マシン部214は、アプリケーションを実行することが可能な仮想計算資源であり、例えば、受信した画像認識データに対して人物の識別処理を行う。
次に、エッジサーバ群200におけるルーティングについて説明する。エッジサーバ210は、上述した通り必ずしも仮想マシン部214が存在するわけではないため、データサイズの大きい画像認識データを、データ処理端末のエンドポイントからできるだけ近い仮想マシン部214を持つエッジサーバで処理することが望ましい。
データ処理サーバ310は、例えばクラウドサービスなどを展開するデータセンターに設置され、図示しないが、データを送受信するための通信部、人物の性別・年齢などの属性情報を判断したり、人物の照合を行ったり、識別処理をする際に使用する特徴量辞書、仮想マシン部にロードする画像認識アプリケーション、エッジサーバ群200から送信される認識メタデータ等が保存される記憶部を備える。また、ルール制御部を備え、エッジサーバ群200のネットワーク情報、例えば、ネットワークの帯域、信頼度、連続接続時間等を収集し、その情報に基づいてルーティングのグローバルなルールを制御してもよい。
<追跡を行う場合>
第二の実施形態として、処理対象のデータが人物を含む画像であり、連続して同一人物を追跡するような場合を説明する。なお、処理対象のデータは、犬や猫等の動物の画像や非生物の画像であってもよいし、人物の声や動物の鳴き声等、生物の発する音声や、特徴的な音声を発する装置や車両等、非生物の音声を含む音声データ等、人物画像でなくても良い。
110…データ処理端末
111…CPU
112…メモリ
113…ストレージ
114…センサ
115…機器I/F
116…通信部
117…データ取得部
118…データ認識部
118a…上半身検出部
118b…上半身追跡部
118c…顔検出部
118d…顔追跡部
118e…データ整形部
119…データ切り出し部
120…特徴量抽出部
121…制御部
122…通信部
200…エッジサーバ群
210…エッジサーバ
211…制御データ通信部
212…ルーティング制御部
212aー212e…優先度テーブル
213…通信部
214…仮想マシン部
300…データ処理サーバ群
310…データ処理サーバ
Claims (11)
- データを入力するデータ取得部と、前記データ取得部にて取得したデータから特徴量を抽出する特徴量抽出部と、前記特徴量抽出部で抽出した特徴量と、前記データ取得部にて取得したデータの識別情報と、を含む認識データを送信する第1の通信部と、を備える1つ以上の情報処理端末と、 前記認識データを受信する第2の通信部を備える複数のエッジサーバと、前記複数のエッジサーバのうち、1つ以上のエッジサーバは、前記第2の通信部にて受信した認識データを用いて特徴量の識別処理を行い、その識別処理結果を前記認識データに付加し前記認識データ内の特徴量を破棄した認識メタデータを生成する仮想マシン部を備える認識サーバであり、前記複数のエッジサーバのうちの1つである第1のエッジサーバは、エッジサーバのネットワーク状況および、前記第1のエッジサーバと第1のエッジサーバ以外のエッジサーバ間の距離を取得する制御データ通信部と、前記制御データ通信部の通信結果に基づいて、接続先優先度を特定するための優先度テーブルを生成し、第2のエッジサーバを特定するルーティング制御部と、を備え、 前記認識メタデータを受信する第3の通信部と、受信した前記認識メタデータを記憶する記憶部と、を備える1つ以上のデータ処理サーバと、を備え、 前記第2の通信部は、さらに、認識データを送信、および認識メタデータを受信でき、 前記情報処理端末が送信した認識データが認識メタデータとなって前記データ処理サーバに到達するまでに、少なくとも1つ以上の認識サーバを通過する、データ処理システム。
- 1つ以上の情報端末と複数のエッジサーバと1つ以上のデータ処理サーバを有するデータ処理システムのデータ処理方法であって、 前記1つ以上の情報端末は、データを入力するデータ取得ステップと、前記データ取得ステップにて取得したデータから特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップで抽出した特徴量と、前記データ取得ステップにて入力したデータの識別情報と、を含む認識データを送信する第1の通信ステップと、を有し、 前記複数のエッジサーバは、前記認識データを受信する第2の通信ステップを有し、前記複数のエッジサーバのうち、1つ以上のエッジサーバは、前記第2の通信ステップにて受信した認識データを用いて特徴量の識別処理を行い、その識別処理結果を前記認識データに付加し前記認識データ内の特徴量を破棄した認識メタデータを生成する認識メタデータ生成ステップを有した認識サーバであり、 前記複数のエッジサーバのうちの1つである第1のエッジサーバは、エッジサーバのネットワーク状況および、前記第1のエッジサーバと第1のエッジサーバ以外のエッジサーバ間の距離を取得する制御データ通信ステップと、前記制御データ通信ステップの通信結果に基づいて、接続先優先度を特定するための優先度テーブルを生成し、第2のエッジサーバを特定するルーティング制御ステップと、を備え、 前記1つ以上のデータ処理サーバは、前記認識メタデータを受信する第3の通信ステップと、受信した前記認識メタデータを記憶する記憶ステップと、を有し、 前記第2の通信ステップは、さらに、認識データを送信、および認識メタデータを受信し、 前記情報端末が送信した認識データが認識メタデータとなって前記データ処理サーバに到達するまでに、少なくとも1つ以上の認識サーバを通過する、データ処理方法。
- 前記第1のエッジサーバが仮想マシン部を持たず、前記第1のエッジサーバの通信手段で認識データを受信した場合、前記制御データ通信ステップは、第1のエッジサーバ以外のエッジサーバが仮想マシン部を持つか否かの情報を取得し、前記ルーティング制御ステップは、仮想マシン部を持つか否かの情報に基づいて接続先優先度を特定するためのルーティングテーブルを生成し、第3のエッジサーバを特定し、前記ルーティング制御ステップで特定した第3のエッジサーバを目的地として設定する、請求項2に記載のデータ処理方法。
- 前記複数のエッジサーバのうちの1つである、仮想マシン部を持つ第4のエッジサーバは、第4のエッジサーバ以外のエッジサーバおよび前記データ処理サーバから、認識データの識別処理に利用する特徴量辞書を取得するステップと、取得した前記特徴量辞書を一時保持するステップと、を備える、請求項2または請求項3に記載のデータ処理方法。
- 前記データは画像である、請求項2から請求項4のいずれかに記載のデータ処理方法。
- 前記データは音声である、請求項2から請求項5のいずれか記載のデータ処理方法。
- データを入力するデータ取得部と、前記データ取得部にて取得したデータから特徴量を抽出する特徴量抽出部と、前記特徴量抽出部で抽出した特徴量と、前記データ取得部にて取得したデータの識別情報と、を含む認識データを送信する第1の通信部と、を備える1つ以上の情報処理端末と、 前記認識データを受信する第2の通信部を備える複数のエッジサーバと、前記複数のエッジサーバのうち、1つ以上のエッジサーバは、前記第2の通信部にて受信した認識データを用いて特徴量の識別処理を行い、その識別処理結果を前記認識データに付加し前記認識データ内の特徴量を破棄した認識メタデータを生成する仮想マシン部を備える認識サーバであり、 前記認識メタデータを受信する第3の通信部と、受信した前記認識メタデータを記憶する記憶部と、を備える1つ以上のデータ処理サーバと、を備え、 前記第2の通信部は、さらに、認識データを送信、および認識メタデータを受信でき、 前記情報処理端末が送信した認識データが認識メタデータとなって前記データ処理サーバに到達するまでに、少なくとも1つ以上の認識サーバを通過する、データ処理システムであって、 前記特徴量抽出部は、前記データ取得部にて取得したデータに対して識別番号を付与し、前記データ取得部にて取得したデータよりも前に取得した一定回数分のデータを、各々のデータに付与した識別番号と、各々のデータより算出された特徴量と、各々のデータから生成した認識データの送信先であるエッジサーバと、を関連付けて一時記憶し、前記データ取得部にて取得したデータの識別番号は、前記一時記憶の内容に基づき付与され、前記データ取得部にて取得したデータに付与された識別番号と、前記データ取得部にて取得したデータよりも前に取得したデータに同一の識別番号が付与されているデータが存在する場合、前記第1の通信部は、前記一時記憶の内容に基づいて、前記データ取得部にて取得したデータと同一の識別番号が付与されているデータから生成された認識データの送信先であるエッジサーバに、前記データ取得部にて取得したデータより生成された認識データを優先的に送信する、データ処理システム。
- 1つ以上の情報端末と複数のエッジサーバと1つ以上のデータ処理サーバを有するデータ処理システムのデータ処理方法であって、 前記1つ以上の情報端末は、データを入力するデータ取得ステップと、前記データ取得ステップにて取得したデータから特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップで抽出した特徴量と、前記データ取得ステップにて入力したデータの識別情報と、を含む認識データを送信する第1の通信ステップと、を有し、 前記複数のエッジサーバは、前記認識データを受信する第2の通信ステップを有し、前記複数のエッジサーバのうち、1つ以上のエッジサーバは、前記第2の通信ステップにて受信した認識データを用いて特徴量の識別処理を行い、その識別処理結果を前記認識データに付加し前記認識データ内の特徴量を破棄した認識メタデータを生成する認識メタデータ生成ステップを有した認識サーバであり、前記1つ以上のデータ処理サーバは、前記認識メタデータを受信する第3の通信ステップと、受信した前記認識メタデータを記憶する記憶ステップと、を有し、 前記第2の通信ステップは、さらに、認識データを送信、および認識メタデータを受信し、 前記情報端末が送信した認識データが認識メタデータとなって前記データ処理サーバに到達するまでに、少なくとも1つ以上の認識サーバを通過する、データ処理方法であって、 前記特徴量抽出ステップは、前記データ取得ステップにて取得したデータに対して識別番号を付与し、前記データ取得ステップにて取得したデータよりも前に取得した一定回数分のデータを、各々のデータに付与した識別番号と、各々のデータより算出された特徴量と、各々のデータから生成した認識データの送信先であるエッジサーバと、を関連付けて一時記憶し、前記データ取得ステップにて取得したデータの識別番号は、前記一時記憶の内容に基づき付与され、前記データ取得ステップにて取得したデータに付与された識別番号と、前記データ取得ステップにて取得したデータよりも前に取得したデータに同一の識別番号が付与されているデータが存在する場合、前記第1の通信ステップは、前記一時記憶の内容に基づいて、前記データ取得ステップにて取得したデータと同一の識別番号が付与されているデータから生成された認識データの送信先であるエッジサーバに、前記データ取得ステップにて取得したデータより生成された認識データを優先的に送信する、データ処理方法。
- 前記ルーティング制御ステップは、前記第2の通信ステップにて受信した認識データよりも前に受信した一定回数分のデータを、各々の認識データの送信先として特定されたエッジサーバと、各々の認識データに付与された識別番号と、を関連付けて一時記憶し、前記第2の通信ステップにて受信した認識データに付与された識別番号と、前記第2の通信ステップにて受信したデータよりも前に受信した認識データに同一の識別番号が付与されているデータが存在する場合、前記第2の通信ステップは、前記一時記憶の内容に基づいて、前記第2の通信ステップにて受信した認識データと同一の識別番号が付与されている認識データの送信先として特定されたエッジサーバに、前記第2の通信ステップにて受信した認識データを優先的に送信する、請求項3から請求項6、請求項8のいずれかに記載のデータ処理方法。
- 1つ以上の情報端末と複数のエッジサーバと1つ以上のデータ処理サーバを備えるデータ処理システムによって実行されるプログラムであって、 上記1つ以上の情報端末は、データを入力するデータ取得機能と、前記データ取得機能にて取得したデータから特徴量を抽出する特徴量抽出機能と、前記特徴量抽出機能で抽出した特徴量と、前記データ取得機能で入力したデータの識別情報と、を含む認識データを送信する第1の通信機能と、を備え、 前記複数のエッジサーバは、認識データを受信する第2の通信手段を備え、前記複数のエッジサーバのうち、1つ以上のエッジサーバは、前記第2の通信手段にて受信した認識データを用いて特徴量の識別処理を行い、その識別処理結果を前記認識データに付加し前記認識データ内の特徴量を破棄した認識メタデー
タを生成する認識メタデータ生成機能を備えた認識サーバであり、前記複数のエッジサーバのうちの1つである第1のエッジサーバは、エッジサーバのネットワーク状況および、前記第1のエッジサーバと第1のエッジサーバ以外のエッジサーバ間の距離を取得する制御データ通信機能と、前記制御データ通信機能の通信結果に基づいて、接続先優先度を特定するための優先度テーブルを生成し、第2のエッジサーバを特定するルーティング制御機能と、を備え、 前記1つ以上のデータ処理サーバは、認識メタデータを受信する第3の通信機能と、受信した前記認識メタデータを記憶する記憶機能と、を備え、 前記第2の通信手段は、さらに、認識データを送信、および認識メタデータを受信し、 前記情報端末が送信した認識データが認識メタデータとなって前記データ処理サーバに到達するまでに、少なくとも1つ以上の認識サーバを通過することをコンピュータに実現させる、データ処理プログラム。 - 1つ以上の情報端末と複数のエッジサーバと1つ以上のデータ処理サーバを有するデータ処理システムによって実行されるプログラムであって、 前記1つ以上の情報端末は、データを入力するデータ取得機能と、前記データ取得機能にて取得したデータから特徴量を抽出する特徴量抽出機能と、前記特徴量抽出機能で抽出した特徴量と、前記データ取得機能にて入力したデータの識別情報と、を含む認識データを送信する第1の通信機能と、を有し、 前記複数のエッジサーバは、前記認識データを受信する第2の通信機能を有し、前記複数のエッジサーバのうち、1つ以上のエッジサーバは、前記第2の通信ステップにて受信した認識データを用いて特徴量の識別処理を行い、その識別処理結果を前記認識データに付加し前記認識データ内の特徴量を破棄した認識メタデータを生成する認識メタデータ生成機能を有した認識サーバであり、前記1つ以上のデータ処理サーバは、前記認識メタデータを受信する第3の通信機能と、受信した前記認識メタデータを記憶する記憶機能と、を有し、 前記第2の通信機能は、さらに、認識データを送信、および認識メタデータを受信し、 前記情報端末が送信した認識データが認識メタデータとなって前記データ処理サーバに到達するまでに、少なくとも1つ以上の認識サーバを通過する、データ処理方法によって実行されるプログラムであって、 前記特徴量抽出機能は、前記データ取得機能にて取得したデータに対して識別番号を付与し、前記データ取得機能にて取得したデータよりも前に取得した一定回数分のデータを、各々のデータに付与した識別番号と、各々のデータより算出された特徴量と、各々のデータから生成した認識データの送信先であるエッジサーバと、を関連付けて一時記憶し、前記データ取得機能にて取得したデータの識別番号は、前記一時記憶の内容に基づき付与され、前記データ取得機能にて取得したデータに付与された識別番号と、前記データ取得機能にて取得したデータよりも前に取得したデータに同一の識別番号が付与されているデータが存在する場合、前記第1の通信機能は、前記一時記憶の内容に基づいて、前記データ取得機能にて取得したデータと同一の識別番号が付与されているデータから生成された認識データの送信先であるエッジサーバに、前記データ取得機能にて取得したデータより生成された認識データを優先的に送信することをコンピュータに実現させる、データ処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017147758A JP6990060B2 (ja) | 2017-07-31 | 2017-07-31 | データ処理システム、データ処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017147758A JP6990060B2 (ja) | 2017-07-31 | 2017-07-31 | データ処理システム、データ処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019028744A JP2019028744A (ja) | 2019-02-21 |
JP6990060B2 true JP6990060B2 (ja) | 2022-01-12 |
Family
ID=65478657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017147758A Active JP6990060B2 (ja) | 2017-07-31 | 2017-07-31 | データ処理システム、データ処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6990060B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020246649A1 (ko) * | 2019-06-07 | 2020-12-10 | 엘지전자 주식회사 | 엣지 컴퓨팅 디바이스에서 음성 인식 방법 |
JP6792112B1 (ja) * | 2020-06-23 | 2020-11-25 | 善郎 水野 | 画像解析通信装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016177444A (ja) | 2015-03-19 | 2016-10-06 | 株式会社リコー | 中継サーバ、終端サーバ、及び情報処理システム |
JP2017068627A (ja) | 2015-09-30 | 2017-04-06 | 株式会社東芝 | 画像処理端末及び画像処理サーバ |
-
2017
- 2017-07-31 JP JP2017147758A patent/JP6990060B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016177444A (ja) | 2015-03-19 | 2016-10-06 | 株式会社リコー | 中継サーバ、終端サーバ、及び情報処理システム |
JP2017068627A (ja) | 2015-09-30 | 2017-04-06 | 株式会社東芝 | 画像処理端末及び画像処理サーバ |
Also Published As
Publication number | Publication date |
---|---|
JP2019028744A (ja) | 2019-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230334369A1 (en) | Artificial intelligence delivery edge network | |
US9495385B2 (en) | Mixed media reality recognition using multiple specialized indexes | |
US8676810B2 (en) | Multiple index mixed media reality recognition using unequal priority indexes | |
JP4810420B2 (ja) | 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体 | |
EP4319054A2 (en) | Identifying legitimate websites to remove false positives from domain discovery analysis | |
US20130188864A1 (en) | Mixed Media Reality Recognition Using Multiple Specialized Indexes | |
US20140139690A1 (en) | Information processing apparatus, camera having communication function, and information processing method | |
US11283690B1 (en) | Systems and methods for multi-tier network adaptation and resource orchestration | |
JP6365915B2 (ja) | 応対装置、応対システム、応対方法、及び記録媒体 | |
US20200394448A1 (en) | Methods for more effectively moderating one or more images and devices thereof | |
US20140019427A1 (en) | Framework for context-aware systems and methods | |
KR20180128147A (ko) | 모바일 컨텍스트 정보 기반의 음식점 추천방법 및 그를 위한 장치 | |
CN110855648A (zh) | 一种网络攻击的预警控制方法及装置 | |
JP6990060B2 (ja) | データ処理システム、データ処理方法およびプログラム | |
US20150104065A1 (en) | Apparatus and method for recognizing object in image | |
KR20200136034A (ko) | 이미지 처리 방법, 장치, 단말 기기, 서버 및 시스템 | |
CN111126071B (zh) | 提问文本数据的确定方法、装置和客服群的数据处理方法 | |
US10963527B2 (en) | Associating user logs using geo-point density | |
JP2014016675A (ja) | 制御プログラム、情報処理装置およびシステム | |
CN115280314A (zh) | 基于模式的分类 | |
CN110069691A (zh) | 用于处理点击行为数据的方法和装置 | |
WO2019187107A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
US11290508B1 (en) | Automated caching and tabling layer for finding and swapping media content | |
JP6070338B2 (ja) | 多階層システムに含まれる処理システムの分類装置及び多階層システムに含まれる処理システムの分類プログラム並びに多階層システムに含まれる処理システムの分類方法 | |
KR102067079B1 (ko) | IoT에 기반한 주변 기기 탐색 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200612 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210625 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210823 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6990060 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |