JP7581995B2 - 撮像機能制御システムおよび撮像機能制御方法 - Google Patents

撮像機能制御システムおよび撮像機能制御方法 Download PDF

Info

Publication number
JP7581995B2
JP7581995B2 JP2021045532A JP2021045532A JP7581995B2 JP 7581995 B2 JP7581995 B2 JP 7581995B2 JP 2021045532 A JP2021045532 A JP 2021045532A JP 2021045532 A JP2021045532 A JP 2021045532A JP 7581995 B2 JP7581995 B2 JP 7581995B2
Authority
JP
Japan
Prior art keywords
remote
imaging
swing
real
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021045532A
Other languages
English (en)
Other versions
JP2022144491A (ja
Inventor
大輝 石田
涼太 羽馬
誠司 佐伯
洋一郎 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2021045532A priority Critical patent/JP7581995B2/ja
Priority to US17/591,744 priority patent/US20220303472A1/en
Priority to EP22158537.5A priority patent/EP4063571A3/en
Priority to CN202210249482.9A priority patent/CN115118874A/zh
Publication of JP2022144491A publication Critical patent/JP2022144491A/ja
Application granted granted Critical
Publication of JP7581995B2 publication Critical patent/JP7581995B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08—Superstructures; Supports for superstructures
    • E02F9/10—Supports for movable superstructures mounted on travelling or walking gears or on other superstructures
    • E02F9/12—Slewing or traversing gears
    • E02F9/121—Turntables, i.e. structure rotatable about 360°
    • E02F9/123—Drives or control devices specially adapted therefor
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2029—Controlling the position of implements in function of its load, e.g. modifying the attitude of implements in accordance to vehicle speed
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08—Superstructures; Supports for superstructures
    • E02F9/0858—Arrangement of component parts installed on superstructures not otherwise provided for, e.g. electric components, fenders, air-conditioning units
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2033—Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Guiding Agricultural Machines (AREA)

Description

本発明は、油圧ショベル等の作業機械に搭載されている実機撮像装置の撮像機能を制御する技術に関する。
オペレータが作業機械の作業状況を表わす遠隔画像を参照しながら、遠隔操作装置を用いて作業機械を操作する技術が提案されている（例えば、特許文献１参照）。オペレータが作業機械を遠隔操作する場合、オペレータが作業機械（実機）に搭乗したうえで実機操作する場合と比較して、当該オペレータにとっては作業機械の周囲の様子を把握する際の感覚が異なる。このため、オペレータとしては実機操作時と同様に、視線の先を様々に変化させて作業機械の周囲の様子を確認するため、当該作業機械に搭載されている実機撮像装置の向きを変化するようにシステムが構成されている。
特開２０１８－０２１３９５号公報
しかし、実機撮像装置のスイング機能の自由度が過度に高いまたは低い場合、当該実機撮像装置を通じて取得された撮像画像の変化態様が作業機械のカメラの表示倍率を大きくした設定を解除するのを失念してしまったりカメラの表示倍率が最小（初期）表示倍率に戻り切らなかったりすると、周囲の状況の把握に支障が生じてしまい、作業を行うのに必要な周囲の状況の把握が不十分となる。
そこで、本発明は、作業機械の状態に鑑みて、当該作業機械に搭載されている実機撮像装置の撮像機能を適当な形態で制御することにより、オペレータにとっての作業機械の周囲の様子を把握する利便性の向上を図りうるシステム等を提供することを目的とする。
本発明の撮像機能制御システムは、
作業機械の作業機構を動作させるために操作される遠隔操作機構を備える遠隔操作装置と、前記作業機械に搭載されて前記遠隔操作装置が備える遠隔画像出力装置に出力される前記作業機構の少なくとも一部を含む撮像画像を取得する実機撮像装置と、を備えた撮像機能制御システムであって、
前記遠隔操作装置に備えられて前記実機撮像装置の光軸方向を調整するためのスイング操作の操作態様を認識する遠隔制御装置と、
前記実機撮像装置の光軸方向を前記スイング操作の操作態様に応じた角度に変化させるスイング機能を発揮する撮像機能制御要素と、有しており、
前記撮像機能制御要素は、前記遠隔操作装置が操作されることで前記作業機構が動作される作業が行われている第１状態では、前記遠隔操作装置が操作されることで前記作業機構が動作される作業が行われていない第２状態よりも、前記スイング機能を制限する。
当該構成の撮像機能制御システムによれば、第１状態では第２状態と比較して、実機撮像装置のスイング機能が制限される。「スイング機能」とは、パン機能およびチルト機能のうち少なくとも一方の機能を意味する。すなわち、第１状態では第２状態と比較して、実機撮像装置がパン機能およびチルト機能の両方を有している場合には当該両方の機能のうち少なくともいずれか一方の機能が制限され、実機撮像装置がパン機能およびチルト機能のうちいずれか一方の機能のみを有している場合には当該一方の機能が制限される。この結果、遠隔画像出力装置に映り込む実空間領域の変化量が抑制される分だけ、第１状態においてオペレータの注意が散漫になって遠隔操作機構を通じた作業機械の操作に支障が生じる事態が回避されうる。
前記構成の撮像機能制御システムにおいて、
前記撮像機能制御要素が、前記第１状態において、前記スイング操作が停止された際に前記実機撮像装置の姿勢をスイング機能の発揮により前記スイング操作の開始時における前記実機撮像装置の姿勢である所定の初期姿勢に復帰させる一方、前記第２状態において、前記スイング操作が停止された際に前記実機撮像装置の姿勢をそのままに維持させる
ことが好ましい。
当該構成の撮像機能制御システムによれば、第１状態においてスイング操作が停止された場合、実機撮像装置の姿勢がスイング操作の開始時における当該実機撮像装置の姿勢である初期姿勢に戻される。この結果、実機撮像装置のスイング操作停止時の姿勢に応じた実空間領域の様子をオペレータに把握させた後、当該オペレータによるスイング操作を要せずに、実機撮像装置の初期姿勢に応じた実空間領域の様子をオペレータに把握させることができる。その一方、第２状態においてスイング操作が停止された場合、実機撮像装置の姿勢がそのまま維持される。この結果、作業機械の操作を停止している期間における任意のスイング操作態様に応じて実機撮像装置にスイング機能を発揮させ、当該実機撮像装置を通じて取得された撮像画像に映り込んでいる実空間領域の様子をオペレータに把握させることができる。
前記構成の撮像機能制御システムにおいて、
前記撮像機能制御要素が、前記第１状態において、前記スイング操作が停止された際に、前記実機撮像装置の姿勢が前記スイング操作の開始時における前記実機撮像装置の姿勢である所定の初期姿勢に復帰するまでの間、前記実機撮像装置を通じて取得された撮像画像を前記遠隔画像出力装置に断続的に出力させる、または、前記スイング操作の停止時の撮像画像を前記遠隔画像出力装置に継続的に出力させる
ことが好ましい。
当該構成の撮像機能制御システムによれば
第１状態において、スイング操作が停止された場合、実機撮像装置の姿勢が初期姿勢に戻される際の撮像画像が遠隔画像出力装置を通じて断続的に出力される（または操作停止時の撮像画像を継続的に出力させる）。この結果、スイング操作が停止されているにもかかわらず撮像画像が変化することへのオペレータの違和感が軽減されうる。
遠隔操作支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作支援システム（撮像機能制御システム）の機能に関する説明図。 作業環境画像に関する説明図。 実機撮像装置のスイング機能の制御態様に関する説明図。 他の実施形態における遠隔操作支援システム（撮像機能制御システム）の機能に関する説明図。
（遠隔操作支援システムの構成）
図１に示されている遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。
（遠隔操作支援サーバの構成）
遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。本実施形態では、遠隔操作支援サーバ１０が「撮像機能制御システム」を構成し、第２支援処理要素１２２が「撮像機能制御要素」を構成する。
（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、音響出力装置２２２と、遠隔無線通信機器２２４と、を備えている。
遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。
遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
左側操作レバー２１１１および右側操作レバー２１１２のそれぞれのオペレータにより把持される箇所には、後述するように実機撮像装置４１２のパン角度およびチルト角度のそれぞれを調節するためのパンスイッチＳＷ１およびチルトイッチＳＷ２のそれぞれが設けられている。左側操作レバー２１１１および右側操作レバー２１１２のうち一方のみに、パンスイッチＳＷ１およびチルトイッチＳＷ２の両方が設けられていてもよい。パンスイッチＳＷ１およびチルトイッチＳＷ２のそれぞれは、一定条件下でアクチュエータまたはばねなどの付勢要素によりその操作姿勢が初期操作姿勢に復帰されるように構成されている。実機撮像装置４１２がスイング機能としてパン機能およびチルト機能のうち一方しか有していない場合、パンスイッチＳＷ１およびチルトイッチＳＷ２のうち一方が省略されてもよい。
遠隔画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。
図２に示されているように、中央遠隔画像出力装置２２１０の画面および左側遠隔画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側遠隔画像出力装置２２１１の右縁が、中央遠隔画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央遠隔画像出力装置２２１０の画面および右側遠隔画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側遠隔画像出力装置２２１２の左縁が、中央遠隔画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。
中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。
音響出力装置２２２は、一または複数のスピーカーにより構成され、例えば図２に示されているように、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２により構成されている。中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。
（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、を備えている。実機制御装置４００は、画像処理装置３０を備えている。画像処理装置３０は、状態検知要素３１と、画像予測要素３２と、画像圧縮要素３４と、を備えている。実機制御装置４００および画像処理装置３０の構成要素のそれぞれは、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。
実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、測位装置４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。測位装置４１４は、ＧＰＳおよび必要に応じてジャイロセンサ等により構成されている。
実機出力インターフェース４２は、実機無線通信機器４２２を備えている。
図３に示されているように、作業機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
（機能）
前記構成の遠隔操作支援システムおよび撮像機能制御システムの機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
遠隔操作装置２０において、遠隔無線通信機器２２４を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１０）。例えば、オペレータにより遠隔入力インターフェース２１０を通じて指定操作があったことが、環境確認要求の送信開始要件として定められていてもよい。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。
遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。
作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４０）、実機制御装置４００により実機撮像装置４１２を通じて撮像画像が取得され、かつ、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４１０）。
遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１）、第２支援処理要素１２２により撮像画像に応じた環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。
遠隔操作装置２０において、遠隔無線通信機器２２４を通じて環境画像データが受信された場合（図４／Ｃ２１）、遠隔制御装置２００により、環境画像データに応じた環境画像が遠隔画像出力装置２２１に出力される（図４／ＳＴＥＰ２１２）。
これにより、例えば、図５に示されているように、キャブ４２４を画定する窓枠を通じて、キャブ４２４の前方において、作業機構４４０の一部であるブーム４４１、アーム４４３および（バケット４４５による作業対象である）瓦礫または土砂の山が映り込んでいる環境画像が遠隔画像出力装置２２１に出力される。
遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１のスイング操作態様が認識され、かつ、遠隔無線通信機器２２４を通じて、当該スイング操作態様に応じたスイング指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１４）。スイング操作態様は、左側操作レバー２１１１および右側操作レバー２１１２のそれぞれの把持箇所に設けられた、パンスイッチＳＷ１およびチルトイッチＳＷ２のそれぞれの操作姿勢により特定される（図２参照）。スイッチＳＷ１、ＳＷ２は、例えば、操作姿勢（操作量）を検出することができるスライドスイッチやレバー型スイッチであって、スチッチの一方側と他方側への操作量を検出するとともに、操作がなされない場合に中立位置になる。
パンスイッチＳＷ１の操作姿勢範囲［θp1，θp2］における任意の操作姿勢θpに応じて、実機撮像装置４１２のパン角度φpをパン角度範囲［φp1，φp2］におけるパン角度ｆp（θp）に制御するためのスイング指令が生成される。関数ｆpは、例えば、関係式（０１）により定義されている。
ｆp（θp）＝｛（φp2－φp1）／（θp2－θp1）｝（θp－θp1）＋φp1 ‥（０１）。
チルトイッチＳＷ２の操作姿勢範囲［θt1，θt2］における任意の操作姿勢θtに応じて、実機撮像装置４１２のチルト角度φtをチルト角度範囲［φt1，φt2］におけるチルト角度ｆt（θt）に制御するためのスイング指令が生成される。関数ｆtは、例えば、関係式（０２）により定義されている。
ｆt（θt）＝｛（φt2－φt1）／（θt2－θt1）｝（θt－θt1）＋φt1 ‥（０２）。
遠隔操作支援サーバ１０において、スイング指令が受信された場合、第２支援処理要素１２２（撮像機能制御要素）により、当該スイング指令が作業機械４０に対して送信される（図４／Ｃ１２）。
作業機械４０において、実機無線通信機器４２２を通じて通常スイング指令が受信された場合（図４／Ｃ４２）、実機制御装置４００により実機撮像装置４１２のスイング機能（正確には実機撮像装置４１２が有するパン駆動機構および／またはチルト駆動機構）が制御され、そのパン角度φpおよび／またはチルト角度φtが調節される（図４／ＳＴＥＰ４１２）。
これにより、実機撮像装置４１２を通じて取得される撮像画像、ひいては遠隔画像出力装置２２１において出力される環境画像に映り込んでいる実空間領域が変化する（図４／ＳＴＥＰ４１０→‥→ＳＴＥＰ２１２、図５参照）。例えば、実機撮像装置４１２のパン角度φpの制御により光軸方向が作業機械４０の前方から左斜め前方に変化する場合、環境画像に映り込んでいる実空間領域が作業機械４０の前方領域から左斜め前方領域に変化する。また、実機撮像装置４１２のチルト角度φtの制御により光軸方向が前方水平方向から前方斜め下方に変化する場合、環境画像に映り込んでいる実空間領域がそれまでよりも下方の領域に変化する。
遠隔操作装置２０において、遠隔制御装置２００により、スイング操作の停止の有無が判定される（図４／ＳＴＥＰ２１６）。例えば、パンスイッチＳＷ１およびチルトイッチＳＷ２のそれぞれの操作姿勢の変化量が閾値以下になった状態（パンスイッチＳＷ１およびチルトイッチＳＷ２のそれぞれが操作されていない状態）が指定期間にわたって継続したか否かに応じて、スイング操作が停止されたか否かが判定される。
当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１６‥ＹＥＳ）、遠隔制御装置２００により、スイング停止指令が遠隔操作支援サーバ１００に対して送信される（図４／ＳＴＥＰ２１８）。その一方、当該判定結果が否定的である場合（図４／ＳＴＥＰ２１６‥ＮＯ）、スイング停止指令が生成されることはなく後続の処理が実行される。
遠隔操作支援サーバ１０において、スイング停止指令が受信された場合（図４／Ｃ１４）、第２支援処理要素１２２により、作業機械４０との通信結果に基づき、当該作業機械４０の状態が判定される（図４／ＳＴＥＰ１２０）。「第１状態」は、作業機械４０が操作されうる状態（または作業機械４０が作業している状態）である。「第２状態」は、作業機械４０が操作されえない状態（または作業機械４０が作業を停止している状態）である。例えば、作業機械４０の実機操作機構４１１を構成する油圧遮断レバーが所定姿勢にあるか否かに応じて、当該作業機械４０の第１状態および第２状態が判別されてもよい。また、遠隔入力インターフェースとして油圧遮断レバーを模した遠隔油圧遮断レバーが所定姿勢にあるか否かに応じて、当該作業機械４０の第１状態および第２状態が判別されてもよい。
作業機械４０が第１状態にあると判定された場合（図４／ＳＴＥＰ１２０‥１）、第２支援処理要素１２２により、初期姿勢復帰指令が作業機械４０に対して送信される（図４／ＳＴＥＰ１２４）。その一方、作業機械４０が第２状態にあると判定された場合（図４／ＳＴＥＰ１２０‥２）、初期姿勢復帰指令が生成されることはなく後続の処理が実行される。
作業機械４０において、実機無線通信機器４２２を通じて初期姿勢復帰指令が受信された場合（図４／Ｃ４４）、実機制御装置４００により実機撮像装置４１２のスイング機能が制御され、そのパン角度φpおよび／またはチルト角度φtが初期角度または初期姿勢に調節される（図４／ＳＴＥＰ４１４）。
例えば、図６に示されているように、時刻ｔ＝ｔsにおいてスイング操作が開始され、時刻ｔ＝ｔ0においてスイング操作が停止され、時刻ｔ＝ｔ1においてスイング操作が再開され、時刻ｔ＝ｔ2においてスイング操作が停止された場合について考える。
この場合、作業機械４０の状態が第１状態であれば、図６に一点鎖線で示されているように、実機撮像装置４１２の姿勢φ＝（φp、φt）が、時刻ｔ＝ｔ0において初期姿勢φ0に復帰し、時刻ｔ＝ｔ1からパンスイッチＳＷ１および／またはチルトイッチＳＷ２の操作態様に応じて変化した後で時刻ｔ＝ｔ2において再び初期姿勢φ0に復帰するように制御される。このため、オペレータは時刻ｔ＝ｔ1におけるパンスイッチＳＷ１および／またはチルトイッチＳＷ２の操作開始により、実機撮像装置４１２の姿勢φを初期姿勢φ0から調節することになる。実機撮像装置４１２の姿勢φが初期姿勢φ0に復帰することに応じて、パンスイッチＳＷ１およびチルトイッチＳＷ２のそれぞれの操作姿勢θが初期操作姿勢θ0に復帰するように、第２支援処理要素１２２により、遠隔操作装置２０に対して初期姿勢復帰指令が送信されてもよい。
その一方、作業機械４０の状態が第２状態であれば、図６に二点鎖線で示されているように、実機撮像装置４１２の姿勢φ＝（φp、φt）が、時刻ｔ＝ｔ0においてそのままの姿勢φ（ｔ1）に維持され、時刻ｔ＝ｔ1からパンスイッチＳＷ１および／またはチルトイッチＳＷ２の操作態様に応じて変化した後で時刻ｔ＝ｔ2においてそのままの姿勢φ（ｔ2）に維持されるように制御される。このため、オペレータは時刻ｔ＝ｔ1におけるパンスイッチＳＷ１および／またはチルトイッチＳＷ２の操作再開により、実機撮像装置４１２の姿勢φを直前の操作停止時の姿勢φ（ｔ0）から調節することになる。
遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され、かつ、遠隔無線通信機器２２４を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２２０）。
遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１６）。
作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４６）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４２０）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。
（作用効果）
当該構成の遠隔操作支援システムを構成する撮像機能制御システムによれば、第１状態では第２状態と比較して、実機撮像装置４１２のスイング機能が制限される（図４／ＳＴＥＰ１２０‥１→ＳＴＥＰ１２４→Ｃ４４→ＳＴＥＰ４１４、図６参照）。
詳細には、作業機械４０が第１状態にある場合、パンスイッチＳＷ１およびチルトイッチＳＷ２の操作停止後、操作再開時の実機撮像装置４１２の姿勢φが初期姿勢φ0に制限される。この結果、実機撮像装置のスイング操作停止時の姿勢に応じた実空間領域の様子をオペレータに把握させた後、当該オペレータによる遠隔入力インターフェース２１（パンスイッチＳＷ１および／またはチルトイッチＳＷ２）を通じたスイング操作を要せずに、実機撮像装置の初期姿勢に応じた実空間領域の様子をオペレータに把握させることができる。
その一方、作業機械４０が第２状態にある場合、パンスイッチＳＷ１およびチルトイッチＳＷ２の操作停止後、操作再開時の実機撮像装置４１２の姿勢φが直前の操作停止時における姿勢φのままである。この結果、作業機械４０の操作を停止している期間においてオペレータによる遠隔入力インターフェース２１（パンスイッチＳＷ１および／またはチルトイッチＳＷ２）を通じた任意のスイング操作態様に応じて実機撮像装置４１２にスイング機能を発揮させ、当該実機撮像装置４１２を通じて取得された撮像画像に映り込んでいる実空間領域の様子をオペレータに把握させることができる。
（本発明の他の実施形態）
前記実施形態では、遠隔操作支援サーバ１０により撮像機能制御システムが構成され、かつ、第２支援処理要素１２２により撮像機能制御要素が構成されていたが、他の実施形態として、作業機械４０および／または遠隔操作装置２０により撮像機能制御システムが構成され、かつ、実機制御装置４００および／または遠隔制御装置２００により撮像機能制御要素が構成されていてもよい。
前記実施形態では、第２状態と比較して第１状態のほうが、遠隔操作装置２０におけるスイング操作再開時の実機撮像装置４１２の姿勢φが制限されるという形態でスイング機能が制限されたが、他の実施形態として、実機撮像装置４１２の姿勢φの調節幅および／または変化速度が制限されるという形態でスイング機能が制限されてもよい。
この場合、図４に示されているフローチャートに代えて図７に示されているフローチャートにしたがって一連の処理が実行されてもよい。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。図７において図４と共通する処理については同一符号を用いるとともにその説明を省略する。
遠隔操作支援サーバ１０において、スイング指令が受信された場合（図７／Ｃ１３）、第２支援処理要素１２２により、作業機械４０との通信結果に基づき、当該作業機械４０の状態が判定される（図７／ＳＴＥＰ１２０）。作業機械４０が「第１状態」にあると判定された場合（図７／ＳＴＥＰ１２０‥２）、第２支援処理要素１２２により、第１スイング指令が作業機械４０に対して送信される（図７／ＳＴＥＰ１２１）。その一方、作業機械４０が「第２状態」にあると判定された場合（図７／ＳＴＥＰ１２０‥２）、第２支援処理要素１２２により、第２スイング指令が作業機械４０に対して送信される（図７／ＳＴＥＰ１２２）。
作業機械４０において、実機無線通信機器４２２を通じて第２スイング指令が受信された場合（図７／Ｃ４２）、実機制御装置４００により実機撮像装置４１２のスイング機能が、パンスイッチＳＷ１および／またはチルトスイッチＳＷ２の操作態様に応じて通常態様で制御され、そのパン角度φpおよび／またはチルト角度φtが調節される（図７／ＳＴＥＰ４１２）。その一方、作業機械４０において、実機無線通信機器４２２を通じて第１スイング指令が受信された場合（図７／Ｃ４１）、実機制御装置４００により実機撮像装置４１２のスイング機能が、パンスイッチＳＷ１および／またはチルトスイッチＳＷ２の操作態様に応じているものの、通常態様よりも制限的な態様で制御される（図７／ＳＴＥＰ４１１）。この際、作業機械４０が第１状態である場合と比較して、実機撮像装置４１２の姿勢φの調節幅および／または変化速度が制限されるという形態でスイング機能が制限される。
第１状態において、スイング操作が停止された際に（図６の時刻ｔ＝ｔ0およびｔ＝ｔ2参照）、実機撮像装置４１２の姿勢φが所定の初期姿勢φ0に復帰するまでの間、実機撮像装置４１２を通じて取得された撮像画像または環境画像を遠隔出力インターフェース２２に断続的に出力させ、または、スイング操作の停止時の撮像画像を遠隔出力インターフェース２２に継続的に出力させてもよい。この結果、スイング操作が停止されているにもかかわらず撮像画像または環境画像が変化することへのオペレータの違和感が軽減されうる。
第１状態において、遠隔入力インターフェース２１（パンスイッチＳＷ１および／またはチルトイッチＳＷ２）を通じたスイング操作が入力された際に、実機撮像装置４１２の位置および／または姿勢がスイング機能の発揮により所定の使用位置および／または使用姿勢に制御されてもよい。これにより、作業機械４０による作業と並行して、オペレータがスイング操作を容易に行うことができる。
１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素（撮像機能制御要素）、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥遠隔画像出力装置、２２２‥遠隔音響出力装置、４００‥実機制御装置、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４２４‥キャブ（運転室）、４４０‥作業機構、４４５‥バケット（作業部）、ＳＷ１‥パンスイッチ、ＳＷ２‥チルトスイッチ。

Claims (4)

  1. 作業機械の作業機構を動作させるために操作される遠隔操作機構を備える遠隔操作装置と、前記作業機械に搭載され、前記遠隔操作装置が備える遠隔画像出力装置に出力される前記作業機構の少なくとも一部を含む撮像画像を取得する実機撮像装置と、を備えた撮像機能制御システムであって、
    前記遠隔操作装置に備えられて前記実機撮像装置の光軸方向を調整するためのスイング操作の操作態様を認識する遠隔制御装置と、
    前記実機撮像装置の光軸方向を前記スイング操作の操作態様に応じた角度に変化させるスイング機能を発揮する撮像機能制御要素と、有しており、
    前記撮像機能制御要素は、前記遠隔操作装置が操作されることで前記作業機構が動作される作業が行われている第１状態では、前記遠隔操作装置が操作されることで前記作業機構が動作される作業が行われていない第２状態よりも、前記スイング機能を制限する、
    撮像機能制御システム。
  2. 請求項１に記載の撮像機能制御システムにおいて、
    前記撮像機能制御要素が、前記第１状態において、前記スイング操作が停止された際に前記実機撮像装置の姿勢をスイング機能の発揮により前記スイング操作の開始時における前記実機撮像装置の姿勢である所定の初期姿勢に復帰させる一方、前記第２状態において、前記スイング操作が停止された際に前記実機撮像装置の姿勢をそのままに維持させる
    撮像機能制御システム。
  3. 請求項１に記載の撮像機能制御システムにおいて、
    前記撮像機能制御要素が、前記第１状態において、前記スイング操作が停止された際に、前記実機撮像装置の姿勢が前記スイング操作の開始時における前記実機撮像装置の姿勢である所定の初期姿勢に復帰するまでの間、前記実機撮像装置を通じて取得された撮像画像を前記遠隔画像出力装置に断続的に出力させる、または、前記スイング操作の停止時の撮像画像を前記遠隔画像出力装置に継続的に出力させる
    撮像機能制御システム。
  4. 作業機械に搭載され、前記作業機械の作業機構を動作させるために操作される遠隔操作機構を備える遠隔操作装置が備える遠隔画像出力装置に出力される前記作業機構の少なくとも一部を含む撮像画像を取得する実機撮像装置による撮像機能を制御する方法であって、
    演算処理装置が実行する工程として、前記遠隔操作装置に備えられた遠隔制御装置により前記実機撮像装置の光軸方向を調整するためのスイング操作の操作態様を認識する処理と、前記実機撮像装置の光軸方向を前記操作態様に応じた角度に変化させるスイング機能を発揮する撮像制御処理と、を含み、
    前記撮像制御処理が、前記遠隔操作機構が操作されることで前記作業機構が動作される作業が行われている第１状態では、前記遠隔操作機構が操作されることで前記作業機構が動作される作業が行われていない第２状態よりも、前記スイング機能を制限する工程
    を含んでいる撮像機能制御方法。
JP2021045532A 2021-03-19 2021-03-19 撮像機能制御システムおよび撮像機能制御方法 Active JP7581995B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021045532A JP7581995B2 (ja) 2021-03-19 2021-03-19 撮像機能制御システムおよび撮像機能制御方法
US17/591,744 US20220303472A1 (en) 2021-03-19 2022-02-03 Image capturing function control system and image capturing function control method
EP22158537.5A EP4063571A3 (en) 2021-03-19 2022-02-24 Image capturing function control system and image capturing function control method
CN202210249482.9A CN115118874A (zh) 2021-03-19 2022-03-14 拍摄功能控制系统和拍摄功能控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021045532A JP7581995B2 (ja) 2021-03-19 2021-03-19 撮像機能制御システムおよび撮像機能制御方法

Publications (2)

Publication Number Publication Date
JP2022144491A JP2022144491A (ja) 2022-10-03
JP7581995B2 true JP7581995B2 (ja) 2024-11-13

Family

ID=80449194

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021045532A Active JP7581995B2 (ja) 2021-03-19 2021-03-19 撮像機能制御システムおよび撮像機能制御方法

Country Status (4)

Country Link
US (1) US20220303472A1 (ja)
EP (1) EP4063571A3 (ja)
JP (1) JP7581995B2 (ja)
CN (1) CN115118874A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017115808A1 (ja) 2015-12-28 2017-07-06 住友建機株式会社 ショベル
JP2018053537A (ja) 2016-09-28 2018-04-05 日立建機株式会社 作業機械

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0820975A (ja) * 1994-07-11 1996-01-23 Hitachi Constr Mach Co Ltd 建設機械の監視装置
US20060224280A1 (en) * 2005-04-01 2006-10-05 Flanigan Thomas C Remote vehicle control systems
JP6777375B2 (ja) * 2015-03-05 2020-10-28 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
US9936133B2 (en) * 2015-08-19 2018-04-03 Harris Corporation Gimbaled camera object tracking system
JP6706171B2 (ja) 2016-08-04 2020-06-03 日立建機株式会社 建設機械の遠隔操作システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017115808A1 (ja) 2015-12-28 2017-07-06 住友建機株式会社 ショベル
JP2018053537A (ja) 2016-09-28 2018-04-05 日立建機株式会社 作業機械

Also Published As

Publication number Publication date
JP2022144491A (ja) 2022-10-03
CN115118874A (zh) 2022-09-27
EP4063571A3 (en) 2022-10-12
EP4063571A2 (en) 2022-09-28
US20220303472A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
JP7544198B2 (ja) 作業支援サーバおよび作業支援システム
JP7247769B2 (ja) 遠隔操作システム
JP7310338B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP7287045B2 (ja) 遠隔操作システム
US12509856B2 (en) Remote operation assistance server, remote operation assistance system, and remote operation assistance method
JP7679739B2 (ja) 遠隔操作支援装置、遠隔操作支援システムおよび遠隔操作支援方法
JP7376440B2 (ja) 遠隔操作装置および遠隔操作システム
US20230031436A1 (en) Remote operation assistance server, remote operation assistance system, and remote operation assistance method
EP4130400B1 (en) Remote operation assistance device and remote operation assistance method
JP7581995B2 (ja) 撮像機能制御システムおよび撮像機能制御方法
JP7581996B2 (ja) 遠隔操作支援システムおよび遠隔操作支援方法
JP7528892B2 (ja) 作業支援システムおよび作業支援複合システム
JP2021022827A (ja) 表示システム、遠隔操作システム、及び表示方法
JP2023103876A (ja) 遠隔操作支援システム
EP4692471A1 (en) Operation device and operation system
WO2024241830A1 (ja) 情報システムおよび操作装置
WO2024262318A1 (ja) 操作装置およびこれを備えた操作システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241014

R150 Certificate of patent or registration of utility model

Ref document number: 7581995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150