JP6756456B2 - パケット廃棄システム及び方法 - Google Patents

パケット廃棄システム及び方法 Download PDF

Info

Publication number
JP6756456B2
JP6756456B2 JP2017143845A JP2017143845A JP6756456B2 JP 6756456 B2 JP6756456 B2 JP 6756456B2 JP 2017143845 A JP2017143845 A JP 2017143845A JP 2017143845 A JP2017143845 A JP 2017143845A JP 6756456 B2 JP6756456 B2 JP 6756456B2
Authority
JP
Japan
Prior art keywords
image information
information
packet
image
operating device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017143845A
Other languages
English (en)
Other versions
JP2019029697A (ja
Inventor
孝太郎 小野
孝太郎 小野
直樹 肥後
直樹 肥後
亮太 石橋
亮太 石橋
健 桑原
健 桑原
直樹 高谷
直樹 高谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2017143845A priority Critical patent/JP6756456B2/ja
Publication of JP2019029697A publication Critical patent/JP2019029697A/ja
Application granted granted Critical
Publication of JP6756456B2 publication Critical patent/JP6756456B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Small-Scale Networks (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、ネットワークを介して接続されているカメラのような画像情報送信装置、ロボットのような作動装置、サーバのような計算装置によって構成されるシステムにおける、画像情報送信装置から計算装置に送信される画像情報をパケット単位で廃棄するシステムおよびその方法に関する。
ネットワークとロボットを組み合わせることで、ロボット単体ではできないサービスの実現を目指すネットワークロボットの概念がある。ネットワークロボットでは、カメラ等のセンサから得られるロボットの動作環境の情報をクラウド上に集約することで、単体ロボットの機能向上だけではなく、ネットワークを介して複数のロボットを制御するための情報として活用できる。これまではローカルに配備されることが多かったロボットを制御する機能をクラウド上に集約して配備すれば、カメラ等のセンサから得られるロボットの動作環境の情報を活用した高度な制御機能を個々のロボットに実装する必要がなくなるため、個々のハードウェアのコストやメンテナンスにかかる保守運用コストを軽減しつつ、複数のロボットの高度な制御を利用したサービスを展開できる。
サービスの一例として、カメラをセンサとして装備する複数のロボットとクラウドサーバ間をネットワークで接続し、ロボットが設置された環境の画像情報をクラウドサーバに送信して画像認識処理させる、またその結果を利用してロボットを制御する場合を考えると、テキストベースの情報と比較してデータサイズの大きい画像情報がネットワーク上に大量に発生する。そのような場合でも、あらかじめ定められたトラフィックの基準量を超えないようにパケットを遅延させることでトラフィックを制御する技術として、トラフィックシェーピングがある（非特許文献１）。
他方、データサイズの大きい画像情報をデータ圧縮する既存技術としては、Ｈ．２６４のような動画像情報の圧縮符号化方式が挙げられる（非特許文献２）。Ｈ．２６４は動き補償、フレーム間予測、離散コサイン変換、エントロピー符号化などを組み合わせたアルゴリズムを利用して端末から送信する動画像情報を圧縮することで、実質的な性質を保ったままデータ量を減らした別のデータに変換する圧縮符号化方式である。Ｈ．２６４のような圧縮符号化方式は、画像情報の内容を見てキーフレームやその差分を決定しているため、画像情報そのものを処理する機能を具備することで初めて実施できる画像情報削減の方法の一つである。
特許第４９５３４２５号公報
"Traffic control and congestion control in B-ISDN", ITU-T, I.371, section 7.2.7 defines and discusses Traffic Shaping in B-ISDN "Advanced video coding for generic audiovisual services", ITU-T, H.264, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services - Coding of moving video, 2004
カメラをセンサとして装備する複数のロボットとクラウドサーバ間をネットワークで接続し、ロボットが設置された環境の画像情報をクラウドサーバに送信して画像認識処理させる、またその結果を利用してロボットを制御する場合、ロボットが振動したり高速に移動したりするとカメラで取得する画像情報の画像品質が悪化することがある。クラウドサーバで実施される画像認識においては、画像内の対象物をクラウドサーバが正しく認識できる程度の画像品質が画像に必要となり、その画像品質に満たない画像が送信されてきたとしても、画像認識には使用できない。したがって、劣悪な画像品質の画像情報はネットワークを介してロボット側からクラウドサーバ側に送信する必要はなく、送信することでネットワークの帯域圧迫とクラウドサーバの処理負荷増大が引き起こされる課題が生じる。また、ロボットが連続的に静止している場合の画像情報などの画像認識には使用できるものの、ロボット制御には影響を与えない画像情報もクラウドサーバに到達させる必要はないため、これらの情報の送信もネットワークの帯域圧迫とクラウドサーバの処理負荷増大を引き起こす課題を生じさせる。
一方で、画像品質の如何を問わずにロボット側からクラウドサーバ側に画像情報を送信し、画像内の対象物をクラウドサーバが正しく認識できない画像品質の画像情報を使用してクラウドサーバが画像認識をした場合、誤認識が発生する。誤認識した結果を用いてロボットを制御した場合、ロボットを利用する目的の作業が達成できない課題とロボットを利用する目的以外の動作、例えば安全上問題のあるような動作をする課題が生じる。
ロボット側から送信される画像内の対象物をクラウドサーバが正しく認識できない画像品質の画像情報をクラウドサーバ側に到達させないようにするためには、どのような場合の画像情報をクラウドサーバに到達させる必要があるかを判断する必要がある。トラフィックシェーピングのような既存技術では、あらかじめ定められたトラフィックの基準量に従ってパケットを遅延させるなどによりトラフィックを制御する点で、画像内の対象物をクラウドサーバが正しく認識できない画像品質の画像情報を選択的に削除することはできないため、そのままでは適用できない課題がある。Ｈ．２６４のような動画像情報を圧縮符号化する方式を用いる場合は、ロボットとクラウドサーバが接続されているネットワーク上に画像情報そのものを処理できる機能を具備する必要がある。パケット単位で断片化された画像情報から画像を再構成し、その内容を解析して再度圧縮処理をするためには処理時間が必要となり、ロボットが設置された環境についての画像認識処理のリアルタイム性を損なう課題が生じる。また、上記に示す高負荷な処理をネットワーク上で行わなければならない課題も生じる。
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、ネットワーク帯域の圧迫および計算装置の処理負荷増大を軽減できるパケット廃棄システム及び方法を提供することにある。
上記目的を達成するために、本願発明は、画像情報を送信する画像情報送信装置を有する作動装置と、ネットワークを介して作動装置から取得した画像情報に基づき画像処理を行う計算装置とを備えたネットワークシステムにおいて前記作動装置と前記計算装置との通信経路上に配置されたパケット廃棄システムであって、前記作動装置が前記計算装置に対して送信する自身の動作状態を示す状態情報及び前記計算装置が前記作動装置に対して送信する動作命令情報の何れか又はその組み合わせと、前記画像情報との対応関係に基づき、前記作動装置から前記計算装置に対して送信された前記画像情報を廃棄するかをパケット単位で判定し、この判定結果に基づき前記画像情報をパケット単位で廃棄するパケット廃棄手段を備えたことを特徴とする。
本発明のパケット廃棄システムにより、計算装置で実施される画像認識に使用できない画像情報のパケットが画像情報送信装置と計算装置間のネットワーク上で廃棄することができるため、パケット廃棄システムと計算装置間のネットワークにおいて、データサイズの大きい画像情報によるネットワーク帯域の圧迫および計算装置の処理負荷増大を軽減できる。
同時に、計算装置が画像品質に問題がある画像を使用して画像認識をした場合に生じる誤認識、またそれに起因するロボットを利用する目的の作業を達成するための動作命令を作成できない危険性とロボットを利用する目的以外の動作、例えば安全上問題のあるような動作命令を作成する危険性を軽減できる。
さらに、画像情報の削除は作動装置の状態を示す情報を使ってパケット単位で実施されるため、パケット単位で断片化された画像情報から画像を再構成し、その内容を解析して再度圧縮処理をするようなリアルタイム性を損ない、処理時間を要するような高負荷な処理を回避できる。つまり、ロボットが設置された環境についての画像認識処理のリアルタイム性を確保するとともに、ネットワーク上での処理を軽減できる。
本発明の前提となるネットワークシステムの構成図 本発明のパケット廃棄システムを導入したネットワーク構成図 作動装置と作業対象物が設置されるｘｙｚ空間の例 パケット廃棄システムの機能ブロック図 第１の実施の形態に係るパケット廃棄システムの動作シーケンス 第１の実施の形態に係る画像情報削除判定部の動作フロー 対応関係情報の一例 画像情報削除部の動作フロー パケット廃棄システムの機能ブロック図 第２の実施の形態に係るパケット廃棄システムの動作シーケンス 第２の実施の形態に係る画像情報削除判定部の動作フロー 対応関係情報の一例 第３の実施の形態に係るパケット廃棄システムの動作シーケンス 第３の実施の形態に係る画像情報削除判定部の動作フロー 第４の実施の形態に係るパケット廃棄システムの動作シーケンス 第４の実施の形態に係る画像情報削除判定部の動作フロー 画像情報削除部の動作フロー 第５の実施の形態に係るパケット廃棄システムの動作シーケンス 第５の実施の形態に係る画像情報削除判定部の動作フロー 第６の実施の形態に係るパケット廃棄システムの動作シーケンス 第６の実施の形態に係る画像情報削除判定部の動作フロー
本発明の一実施の形態に係るパケット廃棄システムについて図面を参照して説明する。まず図１及び図２を参照して本発明の概要について説明する。図１は前提となるネットワークシステムの構成図、図２はパケット廃棄システムを適用したネットワーク構成図である。
図１に示すように、ネットワークシステムは、ロボットのような作動装置１００、画像認識処理や画像認識処理を基にして作動装置１００に対する動作命令情報を作成・送信する計算装置２００を、ネットワーク３００に接続したものである。本発明に係るパケット廃棄システム４００は、図１に示すネットワークシステムに適用したものである。
図１及び図２において、作動装置１００は、作動装置１００の周囲を撮像した映像をリアルタイムの画像情報として送信する画像情報送信装置１１０と、作動装置１００の座標や移動速度などの状態情報を取得・送信する機能を持つ信号装置１２０と、計算装置２００から送信される動作命令情報を受信して作動装置１００を駆動させる運動装置１３０とを具備する。なお、画像情報送信装置１１０は、作動装置１００と一体に配置してもよいし、作動装置１００とは独立して配置してもよい。作動装置１００の映像情報送信装置１００から計算装置２００への画像情報の送信プロトコルは、従来周知の種々のものを用いることができる。
パケット廃棄システム４００は、画像情報送信装置１１０から送信される画像情報と信号装置１２０から送信される状態情報、計算装置２００から送信される動作命令情報を送受信できる機能と、状態情報・動作命令情報・状態継続時間を単独で、あるいはその組み合わせを利用して、画像情報送信装置１１０から送信される画像情報の送信可否を判定するための情報を参照する機能と、画像情報の送信可否を判定する機能と、画像情報の断片であるパケットを廃棄する機能とを具備したものである。なお、パケットとは、ＯＳＩ参照モデルのネットワーク層におけるパケットを意味する。パケットの典型的な例はＩＰパケットである。
パケット廃棄システム４００は、作動装置１００と計算装置２００との通信経路上に配置される。図２の例では、作動装置１００とパケット廃棄システム４００は第１ネットワーク３０１により通信可能に接続され、パケット廃棄システム４００と計算装置２００は第２ネットワーク３０２により通信可能に接続されている。
パケット廃棄システム４００は、例えばルータやゲートウェイ装置などのネットワーク装置としてのハードウェア、もしくは既存のネットワーク装置上で動作するソフトウェアのいずれで動作しても構わない。
パケット廃棄システム４００は、画像情報送信装置１１０から送信される画像情報のうち、作動装置１００の状態を示す情報を使って計算装置２００に到達させる必要のない画像情報をパケット単位で廃棄し、廃棄されなかった画像情報を当該システム４００から計算装置２００に送信することで、第２ネットワーク３０２に送信される画像情報を削減する。
パケット廃棄システム４００は、画像情報送信装置１１０から送信される画像情報のうち、作動装置１００の状態を示す情報を使って計算装置２００の誤認識を誘発する画像情報をパケット単位で廃棄し、廃棄されなかった画像情報を当該システム４００から計算装置２００に送信することで、計算装置２００で実施される画像認識処理に画像品質に問題のある画像情報が使用される事態を回避する。
パケット廃棄システム４００は、画像情報そのものを処理することで画像情報を削除するのではなく、作動装置１００の状態を示す情報を処理することで画像情報をパケット単位で廃棄する。したがって、パケット単位で断片化された画像情報から画像を再構成し、その内容を解析して再度圧縮処理をするようなリアルタイム性を損ない、処理時間を要する高負荷な処理を回避できる。
以下に本発明の実施の形態について詳述する。なお、以下の実施形態における作動装置１００はｘｙｚ空間上に設置されており、画像情報送信装置１１０を含む部分がｘｙｚ空間内を移動する。一方、作動装置１００が撮影や操作などの作業を実施する対象物である作業対象物はｘｙｚ空間上に固定して設置されているものとする。作動装置の例と作業対象物の例が設置されるｘｙｚ空間の例を図３に示す。
図３では作動装置１００の例として、カメラ搭載車１０１とカメラ付きロボットアーム１０２を挙げている。図３に示すカメラ搭載車１０１の場合、車載カメラ１１１が画像情報送信装置１１０に対応し、車載センサ１２１が信号装置１２０に対応し、モータ１３１が運動装置１３０に対応する。また図３に示すカメラ付きロボットアーム１０２の場合、アームに付設したＷｅｂカメラ１１２が画像情報送信装置１１０に対応し、軸センサ１２２が信号装置１２０に対応し、アクチュエータ１３２が運動装置１３０に対応する。また、図３では作業対象物として荷物１がｘｙｚ空間に配置されている。
［第１の実施の形態］
第１の実施の形態は、パケット廃棄システム４００が、信号装置１２０から送信される状態情報に基づいて画像情報送信装置１１０から送信される画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を計算装置２００に送信するものである。
図４に本実施の形態に係るパケット廃棄システムの機能ブロック図、図５にパケット廃棄システムのシーケンスチャート、図６に画像情報削除判定部の動作フロー、図７に記憶部に格納されている対応関係情報の一例、図８に画像情報削除部の動作フローを示す。
パケット廃棄システム４００は、図４に示すように、画像情報受信部４１０と、画像情報削除部４２０と、状態情報受信部４３０と、画像情報削除判定部４４０と、記憶部４５０と、画像情報送信部４６０とを備えている。
画像情報送信装置１１０は、図５に示すように、画像情報受信部４１０に画像情報を送信し、画像情報受信部４１０は画像情報削除部４２０に受信した画像情報を送信する。一方、信号装置１２０は状態情報受信部４３０に状態情報を送信し、状態情報受信部４３０は画像情報削除判定部４４０に受信した状態情報を送信する。
画像情報削除判定部４４０は図６に示す動作フローにしたがい、受信した状態情報の内容を確認し、当該状態時における画像情報の送信可否を判定するために、記憶部４５０に格納されているデータベースを参照する。画像情報削除判定部４４０は、記憶部４５０内部に保持されている状態情報と画像情報の送信可否の対応関係のデータベースを基に、画像情報の送信可否を判定し、その結果を画像情報削除部４２０に通知する。
上記対応関係を決定する要素である状態情報は六軸ロボットの各軸の位置座標や加速度などで特に規定しないが、ここでは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における画像情報送信装置１１０の三次元座標（ｘ，ｙ，ｚ）の変化率、すなわち時刻ｔにおける位置変化度Ｒｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）を用い、｜Ｒｔ｜とあらかじめ定めた閾値｜Ｒｓｈ｜の大小関係を画像情報の送信可否を判定する要素の一例として記載している。なお、信号装置１２０から送信されてくる状態情報の中にＲｔが含まれていればそれを利用する、あるいは信号装置１２０から送信されてくる状態情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＲｔを算出して利用しても構わない。
また本実施の形態では、位置変化度と画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部４５０に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
画像情報削除部４２０は、図８に示す動作フローにしたがい、上記通知に基づいて画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を画像情報送信部４６０に送信する。画像情報の送信可否通知を画像情報と同じ頻度、もしくは画像情報より高い頻度で受信する場合は、画像情報送信可否通知と同じタイムスタンプの画像情報のパケットに関して廃棄するかどうかを判定することになり、画像情報より低い頻度で画像情報送信可否通知を受信する場合は、保持している画像情報送信可否通知に従って画像情報のパケットに関して廃棄するかどうかを判定する。受信した画像情報送信可否通知は、新たに画像情報送信可否通知を受信するか、あらかじめ定めた保持時間の閾値を超えるまで保持され、上記の画像情報のパケットに関して廃棄するかどうかの判定に利用する。画像情報送信部４６０は受信した画像情報を計算装置２００に送信する。
以上により、画像情報そのものを処理することなくネットワーク上で流れる画像情報を削減できると同時に、計算装置２００で処理する画像情報量も削減でき、かつ計算装置２００で実施される画像認識における誤認識の危険性も軽減できる。
［第２の実施の形態］
第２の実施の形態は、パケット廃棄システム４００が、計算装置２００から送信される動作命令情報に基づいて画像情報送信装置１１０から送信される画像情報パケット単位で廃棄し、廃棄しなかった画像情報を計算装置２００に送信するものである。
図９に本実施の形態に係るパケット廃棄システムの機能ブロック図、図１０にパケット廃棄システムのシーケンスチャート、図１１に画像情報削除判定部の動作フロー、図１２に記憶部に格納されている対応関係情報の一例を示す。なお、画像情報削除部の動作フローは前述した図８と同様である。
パケット廃棄システム４００は、図９に示すように、画像情報受信部４１０と、画像情報削除部４２０と、状態情報受信部４３０と、画像情報削除判定部４４０と、記憶部４５０と、画像情報送信部４６０と、動作命令情報受信部４７０、動作命令情報送信部４８０と、状態情報送信部４９０とを備えている。
画像情報送信装置１１０は、図１０に示すように、画像情報受信部４１０に画像情報を送信し、画像情報受信部４１０は画像情報削除部４２０に受信した画像情報を送信する。一方、計算装置２００は動作命令情報受信部４７０に動作命令情報を送信し、動作命令情報受信部４７０は画像情報削除判定部４４０と動作命令情報送信部４８０に受信した動作命令情報を送信する。
画像情報削除判定部４４０は、図１１に示す動作フローにしたがい、受信した動作命令情報の内容を確認し、当該動作命令時における画像情報の送信可否を判定するために、記憶部４５０に格納されているデータベースを参照する。画像情報削除判定部４４０は、記憶部４５０内部に保持されている動作命令情報と画像情報の送信可否の対応関係のデータベースを基に、画像情報の送信可否を判定し、その結果を画像情報削除部４２０に通知する。
上記対応関係を決定する要素である動作命令情報は六軸ロボットの各軸の目的位置座標や加速度などで特に規定しないが、ここでは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における画像情報送信装置１１０の三次元座標（ｘ，ｙ，ｚ）の変化率の動作命令指示、すなわち時刻ｔにおける動作命令速度Ｖｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）を用い、｜Ｖｔ｜とあらかじめ定めた閾値｜Ｖｓｈ｜の大小関係を画像情報の送信可否を判定する要素の一例として記載している。なお、計算装置２００から送信されてくる動作命令情報の中にＶｔが含まれていればそれを利用する、あるいは計算装置２００から送信されてくる動作命令情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＶｔを算出して利用しても構わない。
また本実施の形態では、動作命令速度と画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部４５０に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
画像情報削除部４２０は、第１の実施の形態と同様に、図８に示す動作フローにしたがい、上記通知に基づいて画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を画像情報送信部４６０に送信する。画像情報の送信可否通知を画像情報と同じ頻度、もしくは画像情報より高い頻度で受信する場合は、画像情報送信可否通知と同じタイムスタンプの画像情報のパケットに関して廃棄するかどうかを判定することになり、画像情報より低い頻度で画像情報送信可否通知を受信する場合は、保持している画像情報送信可否通知に従って画像情報のパケットに関して廃棄するかどうかを判定する。受信した画像情報送信可否通知は、新たに画像情報送信可否通知を受信するか、あらかじめ定めた保持時間の閾値を超えるまで保持され、上記の画像情報のパケットに関して廃棄するかどうかの判定に利用する。画像情報送信部４６０と動作命令情報送信部４８０はそれぞれ、受信した画像情報を計算装置２００に、受信した動作命令情報を作動装置１００の運動装置１３０に送信する。
以上により、画像情報そのものを処理することなくネットワーク上で流れる画像情報を削減できると同時に、計算装置２００で処理する画像情報量も削減でき、かつ計算装置２００で実施される画像認識における誤認識、誤認識によって生じる動作命令情報の作成の危険性も軽減できる。
［第３の実施の形態］
第３の実施の形態は、パケット廃棄システム４００が、計算装置２００から送信される動作命令情報と作動装置１００の信号装置１２０から送信される状態情報の組み合わせに基づいて画像情報送信装置１１０から送信される画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を計算装置２００に送信するものである。
本実施の形態に係るパケット廃棄システムの機能ブロックは前述の図９に示すものと同じである。図１３にパケット廃棄システムのシーケンスチャート、図１４に画像情報削除判定部の動作フローを示す。なお、画像情報削除部の動作フローは前述した図８と同様である。
画像情報送信装置１１０は、図１３に示すように、画像情報受信部４１０に画像情報を送信し、画像情報受信部４１０は画像情報削除部４２０に受信した画像情報を送信する。一方、計算装置２００は動作命令情報受信部４７０に動作命令情報を送信し、動作命令情報受信部４７０は画像情報削除判定部４４０と動作命令情報送信部４８０に受信した動作命令情報を送信する。他方、信号装置１２０は状態情報受信部４３０に状態情報を送信し、状態情報受信部４３０は画像情報削除判定部４４０と状態情報送信部４９０に受信した状態情報を送信する。
画像情報削除判定部４４０は、図１４に示す動作フローにしたがい、受信した動作命令情報あるいは状態情報の内容を確認し、当該動作命令時あるいは状態時における画像情報の送信可否を判定するために、記憶部４５０に格納されているデータベースを参照する。画像情報削除判定部４４０は、記憶部４５０内部に保持されているデータベースを基に、画像情報の送信可否を判定し、その結果を画像情報削除部４２０に通知する。
画像情報の送信可否を判定する要素である動作命令情報あるいは状態情報は特に規定しないが、ここでは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における画像情報送信装置１１０の三次元座標（ｘ，ｙ，ｚ）の変化率の動作命令指示、すなわち時刻ｔにおける動作命令速度Ｖｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）、あるいは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における三次元座標（ｘ，ｙ，ｚ）の変化率、すなわち時刻ｔにおける位置変化度Ｒｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）を用い、｜Ｖｔ｜とあらかじめ定めた閾値｜Ｖｓｈ｜の大小関係、あるいは｜Ｒｔ｜とあらかじめ定めた閾値｜Ｒｓｈ｜の大小関係を画像情報の送信可否を判定する要素の一例として記載している。対応関係情報の一例としては、前述した図７及び図１２に記載したものが挙げられる。
なお、Ｖｔに関して、計算装置２００から送信されてくる動作命令情報の中にＶｔが含まれていればそれを利用する、あるいは計算装置２００から送信されてくる動作命令情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＶｔを算出して利用しても構わない。同様に、Ｒｔに関しても、信号装置１２０から送信されてくる状態情報の中にＲｔが含まれていればそれを利用する、あるいは信号装置１２０から送信されてくる状態情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＲｔを算出して利用しても構わない。
また本実施の形態では、動作命令速度あるいは位置変化度と画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部４５０に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
画像情報削除部４２０は、第１及び第２の実施の形態と同様に、図８に示す動作フローにしたがい、上記通知に基づいて画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を画像情報送信部４６０に送信する。画像情報の送信可否通知を画像情報と同じ頻度、もしくは画像情報より高い頻度で受信する場合は、画像情報送信可否通知と同じタイムスタンプの画像情報のパケットに関して廃棄するかどうかを判定することになり、画像情報より低い頻度で画像情報送信可否通知を受信する場合は、保持している画像情報送信可否通知に従って画像情報のパケットに関して廃棄するかどうかを判定する。受信した画像情報送信可否通知は、新たに画像情報送信可否通知を受信するか、あらかじめ定めた保持時間の閾値を超えるまで保持され、上記の画像情報のパケットに関して廃棄するかどうかの判定に利用する。
画像情報送信部４６０と動作命令情報送信部４８０、状態情報送信部４９０はそれぞれ、受信した画像情報と状態情報を計算装置２００に、受信した動作命令情報を作動装置１００の運動装置１３０に送信する。
以上により、画像情報そのものを処理することなくネットワーク上で流れる画像情報を削減できると同時に、計算装置２００で処理する画像情報量も削減でき、かつ計算装置２００で実施される画像認識における誤認識、誤認識によって生じる動作命令情報の作成の危険性も軽減できる。
［第４の実施の形態］
第４の実施の形態は、パケット廃棄システム４００が、作動装置１００の信号装置１２０から送信される状態情報の状態が継続する時間に基づいて画像情報送信装置１１０から送信される画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を計算装置２００に送信するものである。
本実施の形態に係るパケット廃棄システムの機能ブロックは前述の図４に示すものと同じである。図１５にパケット廃棄システムのシーケンスチャート、図１６に画像情報削除判定部の動作フロー、図１７に画像情報削除部の動作フローを示す。
画像情報送信装置１１０は、図１５に示すように、画像情報受信部４１０に画像情報を送信し、画像情報受信部４１０は画像情報削除部４２０に受信した画像情報を送信する。信号装置１２０は状態情報受信部４３０に状態情報を送信し、状態情報受信部４３０は画像情報削除判定部４４０に受信した状態情報を送信する。
画像情報削除判定部４４０は、図１６に示す動作フローにしたがい、受信した状態情報の内容を確認し、当該状態時における画像情報の送信方法を判定するために、記憶部４５０に格納されているデータベースを参照する。画像情報削除判定部４４０は、記憶部４５０内部に保持されている状態情報と画像情報の送信可否の対応関係のデータベースを基に、画像情報の送信方法を判定し、その結果を画像情報削除部４２０に通知する。
上記対応関係を決定する要素である状態情報は六軸ロボットの各軸の位置座標や加速度などで特に規定しないが、ここでは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における画像情報送信装置１１０の三次元座標（ｘ，ｙ，ｚ）の変化率、すなわち時刻ｔにおける位置変化度Ｒｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）を用い、｜Ｒｔ｜とあらかじめ定めた閾値｜Ｒｓｈ｜の大小関係を画像情報の送信可否を判定する要素の一例として記載している。信号装置１２０から送信されてくる状態情報の中にＲｔが含まれていればそれを利用する、あるいは信号装置１２０から送信されてくる状態情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＲｔを算出して利用しても構わない。
また本実施の形態では、位置変化度と画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部４５０に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
さらに、本実施の形態では、｜Ｒｔ｜とあらかじめ定めた閾値｜Ｒｓｈ’｜との大小関係が｜Ｒｔ｜＜｜Ｒｓｈ’｜となる状態で継続する時間ＴＲを画像情報削除判定部４４０が計測し、ＴＲとあらかじめ定めた閾値｜ＴＲｓｈ｜との大小関係を画像情報の送信可否を判定する要素の一例として記載している。
本実施の形態では、ＴＲと画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
画像情報削除部４２０は、図１７に示す動作フローにしたがい、上記通知に基づいて画像情報の送信方法を決定し、決定した方法に従って画像情報を画像情報送信部４６０に送信する。画像情報の送信方法の通知を画像情報と同じ頻度、もしくは画像情報より高い頻度で受信する場合は、画像情報の送信方法の通知と同じタイムスタンプの画像情報のパケットに関して送信方法を判定することになり、画像情報より低い頻度で画像情報の送信方法の通知を受信する場合は、保持している画像情報の送信方法の通知に従って画像情報のパケットに関して送信方法を判定する。受信した画像情報の送信方法の通知は、新たに画像情報の送信方法の通知を受信するか、あらかじめ定めた保持時間の閾値を超えるまで保持され、上記の画像情報のパケットに関する送信方法の判定に利用する。なお、本実施の形態では、方法１をパケット廃棄なしで送信、方法２を画像情報のパケットを廃棄とする２つの例を使って説明しているが、方法の数や内容については限定しない。
画像情報送信部４６０は受信した画像情報を計算装置２００に送信する。
以上により、画像情報そのものを処理することなくネットワーク上で流れる画像情報を削減できると同時に、計算装置２００で処理する画像情報量も削減できる。
［第５の実施の形態］
第５の実施の形態は、パケット廃棄システム４００が、計算装置２００から送信される動作命令情報に従った動作状態が継続する時間に基づいて画像情報送信装置１１０から送信される画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を計算装置２００に送信するものである。
本実施の形態に係るパケット廃棄システムの機能ブロックは前述の図９に示すものと同じである。図１８にパケット廃棄システムのシーケンスチャート、図１９に画像情報削除判定部の動作フローを示す。なお、画像情報削除部の動作フローは前述した図１７と同様である。
画像情報送信装置１１０は図９に示す画像情報受信部４１０に画像情報を送信し、画像情報受信部４１０は画像情報削除部４２０に受信した画像情報を送信する。一方、計算装置２００は動作命令情報受信部４７０に動作命令情報を送信し、動作命令情報受信部４７０は画像情報削除判定部４４０に受信した動作命令情報を送信する。
画像情報削除判定部４４０は、図１９に示す動作フローにしたがい、受信した動作命令情報の内容を確認し、当該動作命令時における画像情報の送信方法を判定するために、記憶部４５０に格納されているデータベースを参照する。画像情報削除判定部４４０は、記憶部４５０内部に保持されている動作命令情報と画像情報の送信方法の対応関係のデータベースを基に、画像情報の送信方法を判定し、その結果を画像情報削除部４２０に通知する。
上記対応関係を決定する要素である動作命令情報は六軸ロボットの各軸の目的位置座標や加速度などで特に規定しないが、ここでは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における画像情報送信装置１１０の三次元座標（ｘ，ｙ，ｚ）の変化率の動作命令指示、すなわち時刻ｔにおける動作命令速度Ｖｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）を用い、｜Ｖｔ｜とあらかじめ定めた閾値｜Ｖｓｈ｜の大小関係を画像情報の送信可否を判定する要素の一例として記載している。計算装置２００から送信されてくる動作命令情報の中にＶｔが含まれていればそれを利用する、あるいは計算装置２００から送信されてくる動作命令情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＶｔを算出して利用しても構わない。
また本実施の形態では、動作命令速度と画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
さらに、本実施の形態では、｜Ｖｔ｜とあらかじめ定めた閾値｜Ｖｓｈ’｜との大小関係が｜Ｖｔ｜＜｜Ｖｓｈ’｜となる状態で継続する時間ＴＶを画像情報削除判定部が計測し、ＴＶとあらかじめ定めた閾値｜ＴＶｓｈ｜との大小関係を画像情報の送信可否を判定する要素の一例として記載している。
本実施の形態では、ＴＶと画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
画像情報削除部４２０は、第４の実施の形態と同様に、図１７に示す動作フローにしたがい、上記通知に基づいて画像情報の送信方法を決定し、決定した方法に従って画像情報を画像情報送信部４６０に送信する。画像情報の送信方法の通知を画像情報と同じ頻度、もしくは画像情報より高い頻度で受信する場合は、画像情報の送信方法の通知と同じタイムスタンプの画像情報のパケットに関して送信方法を判定することになり、画像情報より低い頻度で画像情報の送信方法の通知を受信する場合は、保持している画像情報の送信方法の通知に従って画像情報のパケットに関して送信方法を判定する。受信した画像情報の送信方法の通知は、新たに画像情報の送信方法の通知を受信するか、あらかじめ定めた保持時間の閾値を超えるまで保持され、上記の画像情報のパケットに関する送信方法の判定に利用する。なお、本実施の形態では、方法１をパケット廃棄なしで送信、方法２を画像情報のパケットを廃棄とする２つの例を使って説明しているが、方法の数や内容については限定しない。
画像情報送信部４６０は受信した画像情報を計算装置２００に送信する。
以上により、画像情報そのものを処理することなくネットワーク上で流れる画像情報を削減できると同時に、計算装置２００で処理する画像情報量も削減できる。
［第６の実施の形態］
第６の実施の形態は、パケット廃棄システム４００が、計算装置２００から送信される動作命令情報に従った動作状態が継続する時間と作動装置１００の信号装置１２０から送信される状態情報が継続する時間の組み合わせに基づいて画像情報送信装置１１０から送信される画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を計算装置２００に送信するものである。
本実施の形態に係るパケット廃棄システムの機能ブロックは前述の図９に示すものと同じである。図２０にパケット廃棄システムのシーケンスチャート、図２１に画像情報削除判定部の動作フローを示す。なお、画像情報削除部の動作フローは前述した図１７と同様である。
画像情報送信装置１１０は、図２０に示すように、画像情報受信部４１０に画像情報を送信し、画像情報受信部４１０は画像情報削除部４２０に受信した画像情報を送信する。一方、計算装置２００は動作命令情報受信部４７０に動作命令情報を送信し、動作命令情報受信部４７０は画像情報削除判定部４４０に受信した動作命令情報を送信する。
画像情報削除判定部４４０は図２１に示す動作フローにしたがい、受信した動作命令情報あるいは状態情報の内容を確認し、当該動作命令時あるいは状態時における画像情報の送信方法を判定するために、記憶部４５０に格納されているデータベースを参照する。画像情報削除判定部４４０は、記憶部４５０内部に保持されているデータベースを基に、画像情報の送信方法を判定し、その結果を画像情報削除部４２０に通知する。
画像情報の送信可否を判定する要素である動作命令情報あるいは状態情報は特に規定しないが、ここでは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における画像情報送信装置１１０の三次元座標（ｘ，ｙ，ｚ）の変化率の動作命令指示、すなわち時刻ｔにおける動作命令速度Ｖｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）、あるいは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における三次元座標（ｘ，ｙ，ｚ）の変化率、すなわち時刻ｔにおける位置変化度Ｒｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）を用い、｜Ｖｔ｜とあらかじめ定めた閾値｜Ｖｓｈ｜の大小関係、あるいは｜Ｒｔ｜とあらかじめ定めた閾値｜Ｒｓｈ｜の大小関係を画像情報の送信方法、あるいは送信可否を判定する要素の一例として記載している。
なお、Ｖｔに関して、計算装置２００から送信されてくる動作命令情報の中にＶｔが含まれていればそれを利用する、あるいは計算装置２００から送信されてくる動作命令情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＶｔを算出して利用しても構わない。また、Ｒｔに関しても、信号装置２００から送信されてくる状態情報の中にＲｔが含まれていればそれを利用する、あるいは信号装置２００から送信されてくる状態情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＲｔを算出して利用しても構わない。
また本実施の形態では、動作命令速度あるいは位置変化度と画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部４５０に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
さらに、｜Ｖｔ｜とあらかじめ定めた閾値｜Ｖｓｈ’｜との大小関係が｜Ｖｔ｜＜｜Ｖｓｈ’｜となる状態で継続する時間ＴＶ、あるいは｜Ｒｔ｜とあらかじめ定めた閾値｜Ｒｓｈ’｜との大小関係が｜Ｒｔ｜＜｜Ｒｓｈ’｜となる状態で継続する時間ＴＲを画像情報削除判定部４４０が計測し、ＴＶあるいはＴＲとあらかじめ定めた閾値｜ＴＶｓｈ｜あるいは｜ＴＲｓｈ｜との大小関係を画像情報の送信方法、あるいは送信可否を判定する要素の一例として記載している。
本実施の形態では、ＴＶあるいはＴＲと画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部４５０に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
画像情報削除部４２０は、第４及び第５の実施の形態と同様に、図１７に示す動作フローにしたがい、上記通知に基づいて画像情報の送信方法あるいは送信可否を決定し、決定した方法に従って画像情報を画像情報送信部４６０に送信する。画像情報の送信方法の通知を画像情報と同じ頻度、もしくは画像情報より高い頻度で受信する場合は、画像情報の送信方法の通知と同じタイムスタンプの画像情報のパケットに関して送信方法を判定することになり、画像情報より低い頻度で画像情報の送信方法の通知を受信する場合は、保持している画像情報の送信方法の通知に従って画像情報のパケットに関して送信方法を判定する。受信した画像情報の送信方法の通知は、新たに画像情報の送信方法の通知を受信するか、あらかじめ定めた保持時間の閾値を超えるまで保持され、上記の画像情報のパケットに関する送信方法の判定に利用する。本実施の形態では、方法１をパケット廃棄なしで送信、方法２を画像情報のパケットを廃棄とする２つの例を使って説明しているが、方法の数や内容については限定しない。
画像情報送信部４６０は受信した画像情報を計算装置２００に送信する。
以上により、画像情報そのものを処理することなくネットワーク上で流れる画像情報を削減できると同時に、計算装置２００で処理する画像情報量も削減できる。
以上、本発明の実施の形態について詳述したが本発明はこれに限定されるものではない。例えば、上記実施の形態では、画像情報削除判定に際して、作動装置１００の動作状態を示す状態情報として位置情報（座標情報）や加速度情報を用いる場合を例示したが、他のパラメータであっても本発明を適用できる。同様に、画像情報削除判定に際して、計算装置２００から作動装置１００に送信される動作命令情報として目的位置情報（座標情報）や加速度情報を用いる場合を例示したが、他のパラメータであっても本発明を適用できる。
１００…作動装置
１１０…画像情報送信装置
１２０…信号装置
１３０…運動装置
２００…計算装置
３００，３０１，３０２…ネットワーク
４００…パケット廃棄システム
４１０…画像情報受信部
４２０…画像情報削除部
４３０…状態情報受信部
４４０…画像情報削除判定部
４５０…記憶部
４６０…画像情報送信部
４７０…動作命令情報受信部
４８０…動作命令情報送信部
４９０…状態情報送信部

Claims (6)

  1. 画像情報を送信する画像情報送信装置を有する作動装置と、ネットワークを介して作動装置から取得した画像情報に基づき画像処理を行う計算装置とを備えたネットワークシステムにおいて前記作動装置と前記計算装置との通信経路上に配置されたパケット廃棄システムであって、
    前記作動装置が前記計算装置に対して送信する自身の動作状態を示す状態情報及び前記計算装置が前記作動装置に対して送信する動作命令情報の何れか又はその組み合わせと、前記画像情報との対応関係に基づき、前記作動装置から前記計算装置に対して送信された前記画像情報を廃棄するかをパケット単位で判定し、この判定結果に基づき前記画像情報をパケット単位で廃棄するパケット廃棄手段を備えた
    ことを特徴とするパケット廃棄システム。
  2. 前記パケット廃棄手段は、前記状態情報から算出した前記作動装置の当該動作状態の継続時間及び前記動作命令情報から算出した前記作動装置の当該動作状態の継続情報の何れか又はその組み合わせに基づき、前記画像情報をパケット単位で廃棄する
    ことを特徴とする請求項１記載のパケット廃棄システム。
  3. 前記パケット廃棄手段は、前記状態情報に含まれる座標情報や加速度情報に基づき前記作動装置の速度情報を算出し、この速度情報に基づき動作状態の継続時間を算出する
    ことを特徴とする請求項２記載のパケット廃棄システム。
  4. 前記パケット廃棄手段は、前記動作命令情報に含まれる目的座標情報や加速度情報に基づき前記作動装置の速度情報を算出し、この速度情報に基づき動作状態の継続時間を算出する
    ことを特徴とする請求項２又は３記載のパケット廃棄システム。
  5. 前記パケット廃棄手段は、前記状態情報に含まれる座標情報や加速度情報から算出した前記作動装置の速度情報及び前記動作命令情報に含まれる目的座標や加速度から算出した前記作動装置の速度情報の何れか又はその組み合わせに基づき、前記画像情報をパケット単位で廃棄する
    ことを特徴とする請求項１記載のパケット廃棄システム。
  6. 画像情報を送信する画像情報送信装置を有する作動装置と、ネットワークを介して作動装置から取得した画像情報に基づき画像処理を行う計算装置とを備えたネットワークシステムにおいて前記作動装置と前記計算装置との通信経路上に配置されたパケット廃棄システムが画像情報に係るパケットを廃棄するパケット廃棄方法であって、
    前記作動装置が前記計算装置に対して送信する自身の動作状態を示す状態情報及び前記計算装置が前記作動装置に対して送信する動作命令情報の何れか又はその組み合わせと、前記画像情報との対応関係に基づき、前記作動装置から前記計算装置に対して送信された前記画像情報を廃棄するかをパケット単位で判定するステップと、
    この判定結果に基づき前記画像情報をパケット単位で廃棄するステップとを備えた
    ことを特徴とするパケット廃棄方法。
JP2017143845A 2017-07-25 2017-07-25 パケット廃棄システム及び方法 Active JP6756456B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017143845A JP6756456B2 (ja) 2017-07-25 2017-07-25 パケット廃棄システム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017143845A JP6756456B2 (ja) 2017-07-25 2017-07-25 パケット廃棄システム及び方法

Publications (2)

Publication Number Publication Date
JP2019029697A JP2019029697A (ja) 2019-02-21
JP6756456B2 true JP6756456B2 (ja) 2020-09-16

Family

ID=65476653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017143845A Active JP6756456B2 (ja) 2017-07-25 2017-07-25 パケット廃棄システム及び方法

Country Status (1)

Country Link
JP (1) JP6756456B2 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0888789A (ja) * 1994-09-19 1996-04-02 Fujitsu Ltd カメラ移動対応形制御方式
JP2003087170A (ja) * 2001-09-06 2003-03-20 Matsushita Electric Ind Co Ltd 画像配信システム
JP4087734B2 (ja) * 2003-04-01 2008-05-21 三菱電機株式会社 無線通信システム、無線ネットワーク制御装置、基地局および移動機
JP2007193690A (ja) * 2006-01-20 2007-08-02 Mitsubishi Electric Corp ストリームデータ配信システム、中継装置及び受信装置
JP2009118072A (ja) * 2007-11-05 2009-05-28 Ihi Corp 遠隔操作装置及び遠隔操作方法
JP5271737B2 (ja) * 2009-02-05 2013-08-21 株式会社日立製作所 データ収集システム，及び伝送制御装置
JP4911395B1 (ja) * 2010-09-28 2012-04-04 Ｎｅｃエンジニアリング株式会社 画像読取装置

Also Published As

Publication number Publication date
JP2019029697A (ja) 2019-02-21

Similar Documents

Publication Publication Date Title
JP7085525B2 (ja) 車両データで使用する動的データ圧縮システムおよび方法
CA2839436C (en) Method and apparatus for session bandwidth estimation and rate control
CN110248256B (zh) 数据的处理方法及装置、存储介质和电子装置
US20060078046A1 (en) Method and system for multi-path video delivery and distribution
US6952450B2 (en) Unequal error protection of video based on motion vector characteristics
US10063893B2 (en) Controlling the transmission of a video data stream over a network to a network user device
CN112601072B (zh) 视频业务质量评估的方法及装置
US11683510B2 (en) Method and devices for encoding and streaming a video sequence over a plurality of network connections
KR20140024478A (ko) 짧은 대기 시간의 전송 프로토콜을 위한 방법 및 시스템
CN111093083B (zh) 数据传输方法及装置
JP2005292879A (ja) 撮影情報サーバおよび撮影情報送信システム
JP6756456B2 (ja) パケット廃棄システム及び方法
EP3975133A1 (en) Processing of images captured by vehicle mounted cameras
US8788912B2 (en) Devices and method for processing data packets of a data stream and use of said devices
CN116800725A (zh) 数据处理方法及装置
US9363574B1 (en) Video throttling based on individual client delay
KR101612312B1 (ko) 데이터 처리속도 증가장치 및 그 방법
US9049350B2 (en) Imaging apparatus that transmits media data to reception apparatus, method of processing information, and storage medium
US11368389B2 (en) Data transfer method, data transfer device and program
WO2020048617A1 (en) Latency efficient streaming of video frames for machine vision over an ip network
CN107483220B (zh) 一种服务质量控制方法、装置及系统
CN109889766B (zh) 基于浏览器实现屏幕传输功能的方法
US20220038520A1 (en) Monitoring and Surveillance System Arranged for Processing Video Data Associated with a Vehicle, as well as Corresponding Devices and Method
Hui et al. Eleview: Remote intelligent elevator monitoring system
Hui et al. Remote video monitoring over the WWW

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200603

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200826

R150 Certificate of patent or registration of utility model

Ref document number: 6756456

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150