JP7491046B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP7491046B2 JP7491046B2 JP2020086362A JP2020086362A JP7491046B2 JP 7491046 B2 JP7491046 B2 JP 7491046B2 JP 2020086362 A JP2020086362 A JP 2020086362A JP 2020086362 A JP2020086362 A JP 2020086362A JP 7491046 B2 JP7491046 B2 JP 7491046B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- work machine
- remote operation
- operation mode
- designated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 49
- 238000003672 processing method Methods 0.000 title 1
- 238000007906 compression Methods 0.000 claims description 18
- 230000006835 compression Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 description 26
- 238000000034 method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000007613 environmental effect Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000010276 construction Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 239000004576 sand Substances 0.000 description 4
- 239000010720 hydraulic oil Substances 0.000 description 3
- 239000002689 soil Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000007873 sieving Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Civil Engineering (AREA)
- Mining & Mineral Resources (AREA)
- Structural Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
- Operation Control Of Excavators (AREA)
Description
本発明は、画像処理技術に関する。
現場の建設機械は無線ネットワークで接続されており、移動や旋回など車両本体が大きく動く場合、建設機械の動作に伴って、建設機械に付随するアンテナの向きや位置が変化する。これにより、無線基地局と建設機械の間の電波伝搬環境が変化し、瞬時的に回線容量が減少することによって、データの欠落が生じる可能性がある。データの欠落は、モニタ画像の視認性を低下させ、遠隔操作時の作業効率を低下させる。
そこで、建設機械の遠隔操作に際して、通信環境の変化に対して強靭な通信が可能となり、映像の乱れを削減し、操作時の作業効率を向上させるための技術が提案されている(例えば、特許文献1参照)。具体的には、映像エンコーダにより映像データが圧縮されて生成された第1データと、建設機械において駆動されているアクチュエータに応じて設定される補正データ生成率とから第2データが生成される。「補正データ生成率」は、第1データに対する補正データの割合である。「補正データ」とは、第1データを用いて補正のために生成されるデータである。そして、第1データおよび第2データを合わせた第3データが建設機械から操縦装置に送信され、当該操縦装置のモニタにより第3データが復号化されたうえで表示される。
しかし、油圧ショベル等の作業機械の作業アタッチメントが速く動作する場合など、作業機械およびその環境の様子を表わす動画像のフレーム間の差分が大きくなる状況では、映像エンコーダによる圧縮後の動画像データの量が一時的に多くなる。このため、回線容量の低下が生じていない場合であっても圧縮後の動画像データ量が過多となり、遠隔操作装置の画像出力装置に出力される動画像の不連続などが生じる可能性がある。
そこで、本発明は、動画像のフレーム間の差分が大きくなる状況であっても、遠隔操作装置の画像出力装置に出力される動画像の連続性の向上を図りうる装置等を提供することを目的とする。
本発明の画像処理装置は、
遠隔操作装置による作業機械の遠隔操作態様または前記作業機械の動作態様を検知するための状態検知要素と、
前記状態検知要素により検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様に基づき、撮像装置により撮像された前記作業機械およびその環境の撮像画像を表わす撮像画像のデータ量が閾値を超えるか否かを予測する画像予測要素と、
前記画像予測要素により前記撮像画像のデータ量が前記閾値を超えると予測されたことを要件として、前記撮像画像のうち第1指定画像領域を除く第2指定画像領域の指定周波数を超える高周波成分を除去する画像圧縮要素と、
を備えている。
遠隔操作装置による作業機械の遠隔操作態様または前記作業機械の動作態様を検知するための状態検知要素と、
前記状態検知要素により検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様に基づき、撮像装置により撮像された前記作業機械およびその環境の撮像画像を表わす撮像画像のデータ量が閾値を超えるか否かを予測する画像予測要素と、
前記画像予測要素により前記撮像画像のデータ量が前記閾値を超えると予測されたことを要件として、前記撮像画像のうち第1指定画像領域を除く第2指定画像領域の指定周波数を超える高周波成分を除去する画像圧縮要素と、
を備えている。
当該構成の画像処理装置によれば、遠隔操作装置による作業機械の遠隔操作態様または当該作業機械の動作態様の検知結果に鑑みて、撮像画像のデータ量が閾値を超えると予測される場合、撮像画像の第1指定画像領域を除く第2指定画像領域の指定周波数を超える高周波成分が除去される。これにより、撮像画像のデータ量の低減が図られるとともに、遠隔操作装置の画像出力装置に出力される画像の第1指定画像領域のフレーム間の連続性、ひいてはオペレータによる視認性の向上が図られる。
本発明の画像処理装置において、
前記画像予測要素が、入力画像としての前記撮像画像データに応じた一のフレームの撮像画像に対して、前記状態検知要素により検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様とに基づき、前記遠隔操作装置における前記作業機械の遠隔操作態様が当該作業機械およびその環境の様子を示す撮像画像に反映されるまでの第1遅れ時間、または、前記作業機械の動作態様が当該作業機械およびその環境の様子を示す撮像画像に反映されるまでの第2遅れ時間だけ後の撮像画像を予測画像として予測し、かつ、
当該入力画像と当該予測画像の差分が符号化された際のデータ量が前記閾値を超えるか否かを予測することが好ましい。
前記画像予測要素が、入力画像としての前記撮像画像データに応じた一のフレームの撮像画像に対して、前記状態検知要素により検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様とに基づき、前記遠隔操作装置における前記作業機械の遠隔操作態様が当該作業機械およびその環境の様子を示す撮像画像に反映されるまでの第1遅れ時間、または、前記作業機械の動作態様が当該作業機械およびその環境の様子を示す撮像画像に反映されるまでの第2遅れ時間だけ後の撮像画像を予測画像として予測し、かつ、
当該入力画像と当該予測画像の差分が符号化された際のデータ量が前記閾値を超えるか否かを予測することが好ましい。
当該構成の画像処理装置によれば、遠隔操作装置における作業機械の遠隔操作態様が、当該作業機械の動作態様に反映されるまでの第1遅れ時間、および/または、作業機械の動作態様が当該作業機械およびその環境の様子を示す撮像画像に反映されるまでの第2遅れ時間が勘案されることにより、当該入力画像と当該予測画像の差分が符号化された際のデータ量が閾値を超えるか否かが予測される。そして、当該符号化された際のデータ量が閾値を超えると予測される場合、前記のように、撮像画像の第1指定画像領域を除く第2指定画像領域の指定周波数を超える高周波成分が除去される。これにより、撮像画像のデータ量の低減が図られるとともに、遠隔操作装置の画像出力装置に出力される画像の第1指定画像領域のフレーム間の連続性、ひいてはオペレータによる視認性の向上が図られる。
本発明の画像処理装置において、
前記画像圧縮要素が、前記状態検知要素により検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様に基づき、前記撮像画像の一部を構成する前記第1指定画像領域を指定することが好ましい。
前記画像圧縮要素が、前記状態検知要素により検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様に基づき、前記撮像画像の一部を構成する前記第1指定画像領域を指定することが好ましい。
当該構成の画像処理装置によれば、フレーム間の差分が閾値を超えると予測される、すなわち、遠隔操作装置による作業機械の遠隔操作態様または作業機械の動作態様に鑑みて動きまたは変位量が比較的大きいと予測される物体(例えば、作業機械の一部または作業機械の周囲にある物体)が包含されるように撮像画像において第1指定画像領域が指定されうる。これにより、遠隔操作装置を構成する画像出力装置に出力される、動きまたは変位量が比較的大きいと予測される物体の視認性の向上、ひいては当該視認結果に基づく遠隔操作装置による作業機械の遠隔操作がオペレータにとって容易になる。
本発明の画像処理装置において、
前記画像圧縮要素が、前記作業機械の乗員室の内部に配置されている前記撮像装置により撮像された、前記乗員室を画定する窓枠を通じて前記乗員室の外部の様子を示す前記撮像画像において、前記窓枠により少なくとも部分的に画定されている画像領域を前記第1指定画像領域として指定することが好ましい。
前記画像圧縮要素が、前記作業機械の乗員室の内部に配置されている前記撮像装置により撮像された、前記乗員室を画定する窓枠を通じて前記乗員室の外部の様子を示す前記撮像画像において、前記窓枠により少なくとも部分的に画定されている画像領域を前記第1指定画像領域として指定することが好ましい。
当該構成の画像処理装置によれば、遠隔操作装置を構成する画像出力装置に出力される撮像画像において、乗員室を画定する窓枠により少なくとも部分的に画定されている画像領域に対してオペレータの注意が集中する蓋然性が高いことに鑑みて、当該オペレータの操作の円滑の観点から適当に遠隔操作装置の画像出力装置に出力される画像の連続性の向上が図られる。
(遠隔操作支援システムの構成)
図1に示されている遠隔操作支援システムは、遠隔操作支援サーバ10と、作業機械40を遠隔操作するための遠隔操作装置20と、により構成されている。遠隔操作支援サーバ10、遠隔操作装置20および作業機械40は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ10および遠隔操作装置20の相互通信ネットワークと、遠隔操作支援サーバ10および作業機械40の相互通信ネットワークと、は同一であってもよく相違していてもよい。
図1に示されている遠隔操作支援システムは、遠隔操作支援サーバ10と、作業機械40を遠隔操作するための遠隔操作装置20と、により構成されている。遠隔操作支援サーバ10、遠隔操作装置20および作業機械40は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ10および遠隔操作装置20の相互通信ネットワークと、遠隔操作支援サーバ10および作業機械40の相互通信ネットワークと、は同一であってもよく相違していてもよい。
(遠隔操作支援サーバの構成)
遠隔操作支援サーバ10は、データベース102と、第1支援処理要素121と、第2支援処理要素122と、を備えている。データベース102は、撮像画像データ等を記憶保持する。データベース102は、遠隔操作支援サーバ10とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
遠隔操作支援サーバ10は、データベース102と、第1支援処理要素121と、第2支援処理要素122と、を備えている。データベース102は、撮像画像データ等を記憶保持する。データベース102は、遠隔操作支援サーバ10とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
(遠隔操作装置の構成)
遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、画像出力装置221と、音響出力装置222と、遠隔無線通信機器224と、を備えている。
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体410を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構430を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)は作業機械40のアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)は作業機械40のバケットシリンダ446を動かすために操作される。
遠隔操作機構211を構成する各操作レバーは、例えば、図2に示されているように、オペレータが着座するためのシートStの周囲に配置されている。シートStは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
シートStの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図2に示されているシートStの左側フレームの前方に設けられている左側操作レバー2111が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図2に示されているシートStの右側フレームの前方に設けられている右側操作レバー2112が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
画像出力装置221は、例えば図2に示されているように、シートStの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212により構成されている。中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212のそれぞれの画面(画像表示領域)の形状およびサイズは同じであってもよく相違していてもよい。
図2に示されているように、中央画像出力装置2210の画面および左側画像出力装置2211の画面が傾斜角度θ1(例えば、120°≦θ1≦150°)をなすように、左側画像出力装置2211の右縁が、中央画像出力装置2210の左縁に隣接している。図2に示されているように、中央画像出力装置2210の画面および右側画像出力装置2212の画面が傾斜角度θ2(例えば、120°≦θ2≦150°)をなすように、右側画像出力装置2212の左縁が、中央画像出力装置2210の右縁に隣接している。当該傾斜角度θ1およびθ2は同じであっても相違していてもよい。
中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212のうち少なくとも1つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置2210が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。
音響出力装置222は、一または複数のスピーカーにより構成され、例えば図2に示されているように、シートStの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置2220、左側音響出力装置2221および右側音響出力装置2222により構成されている。中央音響出力装置2220、左側音響出力装置2221および右側音響出力装置2222のそれぞれの仕様は同じであってもよく相違していてもよい。
(作業機械の構成)
作業機械40は、実機制御装置400と、実機入力インターフェース41と、実機出力インターフェース42と、作業機構440と、を備えている。実機制御装置400は、画像処理装置30を備えている。画像処理装置30は、状態検知要素31と、画像予測要素32と、画像圧縮要素34と、を備えている。実機制御装置400および画像処理装置30の構成要素のそれぞれは、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械40は、実機制御装置400と、実機入力インターフェース41と、実機出力インターフェース42と、作業機構440と、を備えている。実機制御装置400は、画像処理装置30を備えている。画像処理装置30は、状態検知要素31と、画像予測要素32と、画像圧縮要素34と、を備えている。実機制御装置400および画像処理装置30の構成要素のそれぞれは、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械40は、例えばクローラショベル(建設機械)であり、図3に示されているように、クローラ式の下部走行体410と、下部走行体410に旋回機構430を介して旋回可能に搭載されている上部旋回体420と、を備えている。上部旋回体420の前方左側部にはキャブ424(運転室)が設けられている。上部旋回体420の前方中央部には作業機構440が設けられている。
実機入力インターフェース41は、実機操作機構411と、実機撮像装置412と、測位装置414と、を備えている。実機操作機構411は、キャブ424の内部に配置されたシートの周囲に遠隔操作機構211と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ424に設けられている。実機撮像装置412は、例えばキャブ424の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構440の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。測位装置414は、GPSおよび必要に応じてジャイロセンサ等により構成されている。
実機出力インターフェース42は、実機無線通信機器422を備えている。
図3に示されているように、作業機構としての作業機構440は、上部旋回体420に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されているバケット445と、を備えている。作業機構440には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444およびバケットシリンダ446が装着されている。
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体420との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
(機能)
前記構成の遠隔操作支援システムの基本機能について図4に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
前記構成の遠隔操作支援システムの基本機能について図4に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
遠隔操作装置20において、オペレータにより遠隔入力インターフェース210を通じた指定操作の有無が判定される(図4/STEP210)。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械40を指定するための遠隔入力インターフェース210におけるタップなどの操作である。当該判定結果が否定的である場合(図4/STEP210‥NO)、一連の処理が終了する。その一方、当該判定結果が肯定的である場合(図4/STEP210‥YES)、遠隔無線通信機器224を通じて、遠隔操作支援サーバ10に対して環境確認要求が送信される(図4/STEP212)。
遠隔操作支援サーバ10において、環境確認要求が受信された場合、第1支援処理要素121により当該環境確認要求が該当する作業機械40に対して送信される(図4/C10)。
作業機械40において、実機無線通信機器422を通じて環境確認要求が受信された場合(図4/C40)、実機制御装置400が実機撮像装置412を通じて撮像画像を取得する(図4/STEP410)。ここで、画像処理装置30により、詳細については後述される画像処理が実行される(図4/STEP300)。実機制御装置400により、実機無線通信機器422を通じて、当該画像処理が施された撮像画像データが遠隔操作装置10に対して送信される(図4/STEP412)。
遠隔操作支援サーバ10において、第1支援処理要素121により撮像画像データが受信された場合(図4/C11)、第2支援処理要素122により撮像画像に応じた環境画像データが遠隔操作装置20に対して送信される(図4/STEP110)。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。画像処理装置30が遠隔操作支援サーバ10により構成されている場合、撮像画像データが画像処理装置30により画像処理されることにより環境画像データが生成されてもよい。
遠隔操作装置20において、遠隔無線通信機器224を通じて環境画像データが受信された場合(図4/C21)、遠隔制御装置200により、環境画像データに応じた環境画像が画像出力装置221に出力される(図4/STEP214)。
これにより、例えば、図7に示されているように、キャブ424を画定する、右窓枠Q1、上窓枠Q2、左窓枠Q3および下窓枠Q4により構成されている窓枠を通じて、キャブ424の前方において、作業機構440の一部であるブーム441、アーム443および(バケット445による作業対象である)瓦礫または土砂の山が映り込んでいる環境画像が画像出力装置221に出力される。
遠隔操作装置20において、遠隔制御装置200により遠隔操作機構211の操作態様が認識され(図4/STEP216)、かつ、遠隔無線通信機器224を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ10に対して送信される(図4/STEP218)。
遠隔操作支援サーバ10において、第2支援処理要素122により当該遠隔操作指令が受信された場合、第1支援処理要素121により、当該遠隔操作指令が作業機械40に対して送信される(図4/C12)。
作業機械40において、実機制御装置400により、実機無線通信機器422を通じて操作指令が受信された場合(図4/C41)、作業機構440等の動作が制御される(図4/STEP414)。例えば、バケット445により作業機械40の前方の土をすくい、上部旋回体410を旋回させたうえでバケット445から土を落とす作業が実行される。
前記構成の画像処理装置30の画像処理機能(図4/STEP300参照)の詳細について図5に示されているフローチャートを用いて説明する。
画像処理装置30において、状態検知要素31により、作業機械40に搭載されている各種センサの出力信号に基づき、当該作業機械40の動作態様が認識または検知される(図5/STEP302)。これに代えて、状態検知要素31により、遠隔操作装置20との通信に基づき、遠隔操作機構211の操作態様が認識されてもよい(図4/STEP216参照)。
画像予測要素32により、作業機械40の動作態様に基づき、フレーム間予測を用いて前記撮像画像を符号化したときのデータ量が閾値を超えるか否かが判定される(図5/STEP304)。入力画像としての一のフレームの撮像画像に対して、予測画像としての第2遅れ時間τ2だけ後の他のフレームの撮像画像が作業機械40の動作態様に基づいて予測され、かつ、当該入力画像と当該予測画像の差分が符号化された際のデータ量が閾値を超えるか否かが判定される。第2遅れ時間τ2は、作業機械40の動作態様が当該作業機械40およびその環境の様子を示す撮像画像に反映されるまでの遅れ時間である。
入力画像としての一のフレームの撮像画像に対して、予測画像としての第1遅れ時間τ1だけ後の他のフレームの撮像画像が作業機械40の動作態様に基づいて予測され、かつ、当該入力画像と当該予測画像の差分が符号化された際のデータ量が閾値を超えるか否かが判定されてもよい。第1遅れ時間τ1は、遠隔操作装置20における作業機械40の遠隔操作態様が当該作業機械40およびその環境の様子を示す撮像画像に反映されるまでの遅れ時間である。
例えば、下部走行体410に対して上部旋回体420が旋回する場合、バケット445(作業部)で掬い上げた土砂を篩い落とす際に小刻みに当該バケット445が動く場合、および、作業機械40が下部走行体410の動作により移動している際に上部旋回体420が大きく振動する場合、入力画像と予測画像の差分が大きくなる。これらの場合、例えば図8Aに示されているように、時刻t1から時刻t2までの期間において、当該差分が符号化された際のデータ量(実線参照)が閾値(破線参照)を超える場合がある。時刻t1において撮像画像のデータ量が閾値を超えることは、第2遅れ時間τ2(または第1遅れ時間τ1)だけ前の時刻における作業機械40の動作態様(または遠隔操作機構211の操作態様)に基づいて予測されうる。
閾値は、作業機械40、遠隔操作支援サーバ10および遠隔操作装置20の間の撮像画像データの通信速度の高低、通信速度の安定性および/または通信料金に基づいて適応的にまたはあらかじめ設定されてもよい。
当該判定結果が否定的である場合(図5/STEP304‥No)、該判定結果が否定的である場合(図5/STEP304‥NO)、画像圧縮要素34により、撮像画像データが通常通り圧縮される(図5/STEP308)。
具体的には、図6Aに示されるように、実機撮像装置412により撮像された撮像画像に対して、パラメータ変更処理と、フレーム間予測による符号化処理を行う。
具体的には、図6Aに示されるように、実機撮像装置412により撮像された撮像画像に対して、パラメータ変更処理と、フレーム間予測による符号化処理を行う。
パラメータ変更処理は、撮像画像のデータ量を低減させる処理である。例えば、解像度を下げる(隣接する画素との平均化処理)、輝度を上げる(全画素を一様に白色に近づける)、輝度を下げる(全画素を一様に黒色に近づける)、コントラストを下げる、といった処理が行われる。
フレーム間予測は、入力画像に対して予測画像を作成し当該入力画像と当該予測画像の差分を符号化する処理である。
その一方、当該判定結果が肯定的である場合(図5/STEP304‥YES)、画像圧縮要素34により、撮像画像のデータ量が閾値以下になるように、当該撮像画像データが加工かつ圧縮される(図5/STEP306)。
具体的には、図6Bに示されるように、実機撮像装置412により撮像された撮像画像に対して、パラメータ変更処理と、高周波成分除去処理と、フレーム間予測による符号化処理を行う。パラメータ変更処理として、隣接する画素の平均化処理により解像度が下げられてもよい(例えば、解像度が3840*2160から1920*1080に変更される)。パラメータ変更処理として、全画素の輝度が一律に指定値だけ増加されてもよい。全画素が一様に白一色に近付くことで圧縮しやすくなる。パラメータ変更処理として、全画素の輝度が一律に指定値だけ低減されてもよい。全画素が一様に黒一色に近付くことで圧縮しやすくなる。パラメータ変更処理として、全画素のコントラストに一律に所定値1/Xが掛けられることにより、コントラストが低下されてもよい。パラメータ変更処理とフレーム間予測による符号化処理については図6Aに示される通常通りの圧縮処理と同様である。
高周波成分除去処理をするにあたって、まず、状態検知要素31により検知された作業機械40の動作態様に基づき、画像圧縮要素34により撮像画像の一部を構成する第1指定画像領域が指定される。例えば、作業機構440を動かしてバケット445により瓦礫等をある箇所からすくって他の箇所に置くという動作態様である場合、図8に示されているように、上窓枠Q2および下窓枠Q4のそれぞれにより上下部分が画定された略矩形状の境界線Cにより囲まれている、作業機構440の少なくとも一部および瓦礫または土砂の山objを含む画像領域が第1指定画像領域A1として指定される。撮像画像における第1指定領域A1の占有面積は、撮像画像のデータ量の閾値の超過量が大きくなるほど小さく設定されうる。
また、作業機構440を動かすことに加えて上部旋回体420を下部走行体410に対して左右に交互に旋回させながらバケット445により瓦礫等をある箇所からすくって他の箇所に置くという動作態様である場合、図10に示されているように、窓枠全体により全部が画定された境界線Cにより囲まれている、作業機構440の少なくとも一部および瓦礫または土砂の山objを含む図9よりも広い画像領域が第1指定画像領域A1として指定されてもよい。
さらに、上部旋回体420を下部走行体410に対して左方向に旋回させるという動作態様である場合、窓枠の内側の少なくとも一部の画像領域に加えて、左窓枠Q3の左側の画像領域が第1指定画像領域A1として指定されてもよい。同様に、上部旋回体420を下部走行体410に対して右方向に旋回させるという動作態様である場合、窓枠の内側の少なくとも一部の画像領域に加えて、右窓枠Q4の右側の画像領域が第1指定画像領域A1として指定されてもよい。
図11に示されているように、撮像画像において左窓枠Q3の左側などにトラックまたは作業員などの指定対象物体obj2が抽出された場合、当該指定対象物体obj2を囲む境界線C2の内側の画像領域が第1指定領域A12として指定されてもよい。図11においては、図9と同様に、上窓枠Q2および下窓枠Q4のそれぞれにより上下部分が画定された略矩形状の境界線C1により囲まれている、作業機構440の少なくとも一部および瓦礫または土砂の山obj1を含む画像領域が第1指定画像領域A11として指定されている。
そして、撮像画像の第1指定画像領域A1を除く第2指定画像領域A2の指定周波数を超える高周波成分が除去される。この際、例えば、DST(離散コサイン変換)、すなわち、画像を8×8ピクセルの領域に分割し、各分割領域において空間周波数変換したうえで、情報量の少ない高周波成分を除去する手法が用いられる。これにより、第1指定画像領域A1におけるコントラストは明確である一方、第2指定画像領域A2におけるコントラストが不明確な(ぼやけている)環境画像が、遠隔操作装置20において画像出力装置221に出力される(図4/STEP214、図9、図10および図11参照)。
(効果)
当該構成の遠隔操作支援システムを構成する画像処理装置30によれば、作業機械40の動作態様の検知結果に鑑みて、撮像画像のデータ量が閾値を超えると予測される場合、撮像画像の第1指定画像領域A1を除く第2指定画像領域A2の指定周波数を超える高周波成分が除去される(図5/STEP304‥YES→STEP306、図9、図10および図11参照)。これにより、例えば、図8Bに示されているように、時刻t1から時刻t2までの期間においても撮像画像のデータ量(実線参照)が閾値以下となるように、当該データ量の低減が図られる。そして、遠隔操作装置20の画像出力装置221に出力される環境画像の第1指定画像領域A1のフレーム間の連続性、ひいてはオペレータによる視認性の向上が図られる。
当該構成の遠隔操作支援システムを構成する画像処理装置30によれば、作業機械40の動作態様の検知結果に鑑みて、撮像画像のデータ量が閾値を超えると予測される場合、撮像画像の第1指定画像領域A1を除く第2指定画像領域A2の指定周波数を超える高周波成分が除去される(図5/STEP304‥YES→STEP306、図9、図10および図11参照)。これにより、例えば、図8Bに示されているように、時刻t1から時刻t2までの期間においても撮像画像のデータ量(実線参照)が閾値以下となるように、当該データ量の低減が図られる。そして、遠隔操作装置20の画像出力装置221に出力される環境画像の第1指定画像領域A1のフレーム間の連続性、ひいてはオペレータによる視認性の向上が図られる。
10‥遠隔操作支援サーバ、20‥遠隔操作装置、30‥画像処理装置、31‥状態検知要素、32‥画像予測要素、34‥画像圧縮要素、40‥作業機械、102‥データベース、121‥第1支援処理要素、122‥第2支援処理要素、200‥遠隔制御装置、210‥遠隔入力インターフェース、211‥遠隔操作機構、220‥遠隔出力インターフェース、221‥画像出力装置、222‥音響出力装置、400‥実機制御装置、410‥実機入力インターフェース、420‥実機出力インターフェース、424‥キャブ(運転室)、440‥作業機構、445‥バケット(作業部)。
Claims (5)
- 遠隔操作装置による作業機械の遠隔操作態様または前記作業機械の動作態様を検知するための状態検知要素と、
前記状態検知要素により検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様に基づき、撮像装置により撮像された前記作業機械およびその環境の撮像画像を表わす撮像画像のデータ量が閾値を超えるか否かを予測する画像予測要素と、
前記画像予測要素により前記撮像画像のデータ量が前記閾値を超えると予測されたことを要件として、前記撮像画像のうち第1指定画像領域を除く第2指定画像領域の指定周波数を超える高周波成分を除去する画像圧縮要素と、
を備えている
ことを備えていることを特徴とする画像処理装置。 - 請求項1記載の画像処理装置において、
前記画像予測要素が、入力画像としての前記撮像画像データに応じた一のフレームの撮像画像に対して、前記状態検知要素により検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様とに基づき、前記遠隔操作装置における前記作業機械の遠隔操作態様が当該作業機械およびその環境の様子を示す撮像画像に反映されるまでの第1遅れ時間、または、前記作業機械の動作態様が当該作業機械およびその環境の様子を示す撮像画像に反映されるまでの第2遅れ時間だけ後の撮像画像を予測画像として予測し、かつ、
前記入力画像と当該予測画像の差分が符号化された際のデータ量が前記閾値を超えるか否かを予測する
ことを特徴とする画像処理装置。 - 請求項1または2記載の画像処理装置において、
前記画像圧縮要素が、前記状態検知要素により検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様に基づき、前記撮像画像の一部を構成する前記第1指定画像領域を指定する
ことを特徴とする画像処理装置。 - 請求項3に記載の画像処理装置において、
前記画像圧縮要素が、前記作業機械の乗員室の内部に配置されている前記撮像装置により撮像された、前記乗員室を画定する窓枠を通じて前記乗員室の外部の様子を示す前記撮像画像において、前記窓枠により少なくとも部分的に画定されている画像領域を前記第1指定画像領域として指定する
ことを特徴とする画像処理装置。 - 遠隔操作装置による作業機械の遠隔操作態様または前記作業機械の動作態様を検知するための状態検知工程と、
前記状態検知工程において検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様に基づき、撮像装置により撮像された前記作業機械およびその環境の撮像画像を表わす撮像画像のデータ量が閾値を超えるか否かを予測する画像予測工程と、
前記画像予測工程において前記撮像画像のデータ量が前記閾値を超えると予測されたことを要件として、前記撮像画像のうち第1指定画像領域を除く第2指定画像領域の指定周波数を超える高周波成分を除去する画像圧縮工程と、を含む
ことを特徴とする画像処理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020086362A JP7491046B2 (ja) | 2020-05-15 | 2020-05-15 | 画像処理装置および画像処理方法 |
PCT/JP2021/017102 WO2021230093A1 (ja) | 2020-05-15 | 2021-04-28 | 画像処理装置および画像処理方法 |
CN202180035045.0A CN115552893A (zh) | 2020-05-15 | 2021-04-28 | 图像处理装置和图像处理方法 |
US17/921,138 US20230177732A1 (en) | 2020-05-15 | 2021-04-28 | Image processing device and image processing method |
EP21805082.1A EP4130403A4 (en) | 2020-05-15 | 2021-04-28 | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020086362A JP7491046B2 (ja) | 2020-05-15 | 2020-05-15 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021180468A JP2021180468A (ja) | 2021-11-18 |
JP7491046B2 true JP7491046B2 (ja) | 2024-05-28 |
Family
ID=78510583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020086362A Active JP7491046B2 (ja) | 2020-05-15 | 2020-05-15 | 画像処理装置および画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230177732A1 (ja) |
EP (1) | EP4130403A4 (ja) |
JP (1) | JP7491046B2 (ja) |
CN (1) | CN115552893A (ja) |
WO (1) | WO2021230093A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023172301A (ja) * | 2022-05-23 | 2023-12-06 | 日立建機株式会社 | 遠隔制御システム、遠隔操作型作業機械システム、および作業情報表示制御方法 |
JP2024080009A (ja) * | 2022-12-01 | 2024-06-13 | 株式会社小松製作所 | 操作システムおよび操作支援方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006282039A (ja) | 2005-04-01 | 2006-10-19 | Yamaha Motor Co Ltd | 無人ヘリコプタの画像送信装置 |
WO2015155878A1 (ja) | 2014-04-11 | 2015-10-15 | 株式会社日立製作所 | 遠隔操縦作業機 |
WO2020044834A1 (ja) | 2018-08-31 | 2020-03-05 | 株式会社小松製作所 | バケット高さ通知装置およびバケット高さ通知方法 |
WO2020090985A1 (ja) | 2018-10-31 | 2020-05-07 | 株式会社小松製作所 | 表示制御システムおよび表示制御方法 |
WO2020095830A1 (ja) | 2018-11-07 | 2020-05-14 | コベルコ建機株式会社 | 建設機械の遠隔操作装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006132265A (ja) * | 2004-11-09 | 2006-05-25 | Hitachi Constr Mach Co Ltd | 建設機械の遠隔無線操縦システム |
JP2007086298A (ja) * | 2005-09-21 | 2007-04-05 | Seiko Epson Corp | 画像表示装置、プロジェクションシステム、情報処理装置、画像表示装置の駆動方法、画像表示装置の駆動プログラム、記録媒体 |
WO2009044744A1 (ja) * | 2007-10-01 | 2009-04-09 | Sharp Kabushiki Kaisha | 画像符号化装置、画像符号化方法、画像符復号化システム |
JP2010199656A (ja) * | 2009-02-23 | 2010-09-09 | Panasonic Corp | 動画撮像装置 |
CN102647590A (zh) * | 2012-04-17 | 2012-08-22 | 华为终端有限公司 | 图像压缩方法和装置 |
JP5942861B2 (ja) * | 2013-01-11 | 2016-06-29 | オムロン株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP6396946B2 (ja) * | 2016-06-02 | 2018-09-26 | Hoya株式会社 | 画像処理装置および電子内視鏡システム |
JP6706171B2 (ja) | 2016-08-04 | 2020-06-03 | 日立建機株式会社 | 建設機械の遠隔操作システム |
JP6737253B2 (ja) * | 2017-09-05 | 2020-08-05 | 株式会社デンソー | 画像処理装置 |
JP7059662B2 (ja) * | 2018-02-02 | 2022-04-26 | トヨタ自動車株式会社 | 遠隔操作システム、及びその通信方法 |
-
2020
- 2020-05-15 JP JP2020086362A patent/JP7491046B2/ja active Active
-
2021
- 2021-04-28 EP EP21805082.1A patent/EP4130403A4/en active Pending
- 2021-04-28 WO PCT/JP2021/017102 patent/WO2021230093A1/ja unknown
- 2021-04-28 US US17/921,138 patent/US20230177732A1/en active Pending
- 2021-04-28 CN CN202180035045.0A patent/CN115552893A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006282039A (ja) | 2005-04-01 | 2006-10-19 | Yamaha Motor Co Ltd | 無人ヘリコプタの画像送信装置 |
WO2015155878A1 (ja) | 2014-04-11 | 2015-10-15 | 株式会社日立製作所 | 遠隔操縦作業機 |
WO2020044834A1 (ja) | 2018-08-31 | 2020-03-05 | 株式会社小松製作所 | バケット高さ通知装置およびバケット高さ通知方法 |
WO2020090985A1 (ja) | 2018-10-31 | 2020-05-07 | 株式会社小松製作所 | 表示制御システムおよび表示制御方法 |
WO2020095830A1 (ja) | 2018-11-07 | 2020-05-14 | コベルコ建機株式会社 | 建設機械の遠隔操作装置 |
Also Published As
Publication number | Publication date |
---|---|
US20230177732A1 (en) | 2023-06-08 |
WO2021230093A1 (ja) | 2021-11-18 |
JP2021180468A (ja) | 2021-11-18 |
EP4130403A4 (en) | 2023-09-13 |
CN115552893A (zh) | 2022-12-30 |
EP4130403A1 (en) | 2023-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6901605B2 (ja) | 油圧ショベル | |
US10717200B2 (en) | Surrounding monitoring device of work machine and method of monitoring surroundings of work machine | |
US11447928B2 (en) | Display system, display method, and remote control system | |
JP7491046B2 (ja) | 画像処理装置および画像処理方法 | |
JP6071786B2 (ja) | 作業機械の周囲監視装置 | |
JP2013253402A (ja) | 作業機械の周囲監視装置 | |
JP7376440B2 (ja) | 遠隔操作装置および遠隔操作システム | |
WO2021131161A1 (ja) | 作業支援サーバ、撮像装置の選択方法 | |
EP3788205A1 (en) | System and method for selectively displaying image data in a working machine | |
JP2021114757A (ja) | 作業機械の遠隔操作システム及び作業機械の遠隔操作方法 | |
AU2020322381B2 (en) | Display system, remote operation system, and display method | |
US20230050071A1 (en) | Work machine and remote control system for work machine | |
WO2023100533A1 (ja) | 画像表示システム、遠隔操作支援システムおよび画像表示方法 | |
WO2023140372A1 (ja) | 画像補正装置、画像補正方法、および遠隔操作システム | |
CN117043732A (zh) | 远程操作支援服务器及远程操作支援系统 | |
JP2023149698A (ja) | 作業機械及び遠隔操作型作業機械システム | |
JP2022144495A (ja) | 遠隔操作支援システムおよび遠隔操作支援方法 | |
WO2023228897A1 (ja) | 遠隔制御システム、遠隔操作型作業機械システム、および作業情報表示制御方法 | |
JP6188858B2 (ja) | 作業機械の周囲監視装置 | |
JP2024057361A (ja) | 作業支援装置および作業支援方法 | |
JP2021130973A (ja) | 情報提示システム | |
JP2024057362A (ja) | 作業支援システム、遠隔操作支援システム、作業支援方法および表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240429 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7491046 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |