JPWO2018084146A1 - 作業機械用周辺監視システム - Google Patents

作業機械用周辺監視システム Download PDF

Info

Publication number
JPWO2018084146A1
JPWO2018084146A1 JP2018549017A JP2018549017A JPWO2018084146A1 JP WO2018084146 A1 JPWO2018084146 A1 JP WO2018084146A1 JP 2018549017 A JP2018549017 A JP 2018549017A JP 2018549017 A JP2018549017 A JP 2018549017A JP WO2018084146 A1 JPWO2018084146 A1 JP WO2018084146A1
Authority
JP
Japan
Prior art keywords
image
display
person
work machine
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018549017A
Other languages
English (en)
Other versions
JP7171436B2 (ja
Inventor
泉川　岳哉
岳哉 泉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo SHI Construction Machinery Co Ltd
Original Assignee
Sumitomo SHI Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo SHI Construction Machinery Co Ltd filed Critical Sumitomo SHI Construction Machinery Co Ltd
Publication of JPWO2018084146A1 publication Critical patent/JPWO2018084146A1/ja
Application granted granted Critical
Publication of JP7171436B2 publication Critical patent/JP7171436B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Structural Engineering (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

作業機械の周辺で人が検知された場合に、オペレータに検知された人の状態をより早く把握させることが可能な作業機械用周辺監視システムを提供する。そのため、一実施形態に係る作業機械用周辺監視システムは、作業機械画像と、作業機械画像の周囲に配置される周囲画像とを含む監視用画像を表示装置に表示させる表示制御部と、作業機械の周辺の所定領域内で人を検知する人検知部と、を備え、表示制御部は、人検知部により所定領域内で人が検知された場合、監視用画像における周辺画像の一部領域であって、作業機械画像よりも周辺画像に含まれる人に近い位置を中心とする、人が含まれる一部領域を拡大した拡大監視用画像を表示装置に表示させる。

Description

本発明は、作業機械用周辺監視システムに関する。
作業機械に取り付けられる周辺を撮像する撮像装置（カメラ）の撮像画像に基づき生成された監視用画像（例えば、作業機械の真上から見た俯瞰画像）を操縦席周辺のモニタに表示させる周辺監視装置が知られている（例えば、特許文献１参照）
特許文献１では、作業機械の周辺の所定領域内で人が検知された場合、監視用画像を広域表示から近傍表示に拡大表示させている。
特許第５３９５２６６号公報
しかしながら、特許文献１では、単純に作業機械を模式的に表した画像を中心として監視用画像を広域表示から近傍表示に拡大する。そのため、オペレータは、監視用画像における中央部の作業機械を模した画像の周辺に表示される、検知された人の状態を即座に把握できない可能性がある。
そこで、上記課題に鑑み、作業機械の周辺で人が検知された場合に、オペレータに検知された人の状態をより早く把握させることが可能な作業機械用周辺監視システムを提供することを目的とする。
上記目的を達成するため、本発明の一実施形態では、
作業機械のキャビン内に設けられる表示装置と、
前記作業機械の周辺を撮像する撮像装置と、
前記撮像装置の撮像画像に基づき前記作業機械の周辺画像を生成する画像生成部と、
前記作業機械を模式的に表す作業機械画像と、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周囲画像とを含む監視用画像を前記表示装置に表示させる表示制御部と、
前記作業機械の周辺の所定領域内で人を検知する人検知部と、を備え、
前記表示制御部は、前記人検知部により前記所定領域内で人が検知された場合、前記監視用画像における前記周辺画像の一部領域であって、前記作業機械画像よりも前記周辺画像に含まれる前記人に近い位置を中心とし、前記人が含まれる一部領域を拡大した拡大監視用画像を前記表示装置に表示させる、
作業機械用周辺監視システムが提供される。
上述の実施形態によれば、作業機械の周辺で人が検知された場合に、オペレータに検知された人の状態をより早く把握させることが可能な作業機械用周辺監視システムを提供することができる。
本実施形態に係る周辺監視システムが搭載される作業機械の一例を示す図である。 本実施形態に係る周辺監視システムの構成の一例を示す図である。 本実施形態に係る周辺監視システムの構成の他の例を示す図である。 表示装置に表示される監視用画像の一例を示す図である。 表示装置に表示される拡大監視用画像の第１例を説明する図である。 表示装置に表示される拡大監視用画像の第１例を説明する図である。 表示装置に表示される拡大監視用画像の第２例を説明する図である。 表示装置に表示される拡大監視用画像の第２例を説明する図である。 表示装置に表示される拡大監視用画像の第３例を説明する図である。 表示装置に表示される拡大監視用画像の第３例を説明する図である。 表示装置に表示される拡大監視用画像の第４例を説明する図である。 表示装置に表示される拡大監視用画像の第４例を説明する図である。 表示装置に表示される別視点監視用画像の一例を説明する図である。 表示装置に表示される部分別視点監視用画像の一例を説明する図である。 周辺監視システム（表示制御部）による処理の一例を概略的に示すフローチャートである。
以下、図面を参照して発明を実施するための形態について説明する。
［作業機械の構成］
まず、図１を参照して、本実施形態に係る周辺監視システム１００（図２参照）が搭載される作業機械について説明をする。
図１は、本実施形態に係る周辺監視システム１００が搭載される作業機械の一例を示す図であり、具体的には、ショベルの側面図である。
尚、本実施形態に係る周辺監視システム１００は、当然の如く、ショベル以外の作業機械、例えば、ホイールローダ、アスファルトフィニッシャ等に搭載されてもよい。
本実施形態に係るショベルは、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、作業装置としてのブーム４、アーム５、及びバケット６と、オペレータが搭乗するキャビン１０を備える。
下部走行体１は、例えば、左右１対のクローラを含み、それぞれのクローラが走行油圧モータ（不図示）で油圧駆動されることにより、ショベルを走行させる。
上部旋回体３は、旋回油圧モータ、或いは、電動機（共に不図示）等で駆動されることにより、下部走行体１に対して旋回する。
ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５、及びバケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。
キャビン１０は、オペレータが搭乗する操縦室であり、上部旋回体３の前部左側に搭載される。
また、本実施形態に係るショベルは、コントローラ３０と、撮像装置４０と、物体検知センサ４２と、表示装置５０を備える。
コントローラ３０は、ショベルの駆動制御を行う制御装置である。コントローラ３０は、キャビン１０内に搭載される。
撮像装置４０は、上部旋回体３の上部に取り付けられ、ショベルの周辺を撮像する。撮像装置４０は、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。
後方カメラ４０Ｂは、上部旋回体３の後端上部に取り付けられ、上部旋回体３の後方を撮像する。
左側方カメラ４０Ｌは、上部旋回体３の左端上部に取り付けられ、上部旋回体３の左側方を撮像する。
右側方カメラ４０Ｒは、上部旋回体３の右端上部に取り付けられ、上部旋回体３の右側方を撮像する。
物体検知センサ４２は、上部旋回体３の外側面等に取り付けられ、ショベルの周辺、具体的には、上部旋回体３の後方、左側方、及び、右側方にいる物体（障害物）を検知する。物体検知センサ４２により検知されうる物体には、人が含まれうる。具体的には、物体検知センサ４２は、上部旋回体３の後方の物体を検知するセンサと、上部旋回体３の左側方の物体を検知するセンサと、上部旋回体３の右側方の物体を検知するセンサの三つのセンサを含む態様であってよい。物体検知センサ４２には、例えば、検知波やレーザーをショベル（上部旋回体３）の周辺に出力し、その反射波や反射光を受信することにより、物体を検知可能な超音波センサ、ミリ波レーダ、ＬＩＤＡＲ（Light Detection and Ranging）等が含まれうる。物体検知センサ４２は、例えば、反射波や反射光の強度に基づき、検知された物体が人であるのか人以外の物体であるのかを判断することが可能である。また、物体検知センサ４２は、例えば、ステレオカメラであってもよい。
表示装置５０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０（後述する表示制御部３０２）による制御の下、オペレータに通知する各種画像情報を表示する。
［周辺監視システムの構成］
次に、図２Ａ，図２Ｂを参照して、周辺監視システム１００の構成について説明する。
図２Ａは、本実施形態に係る周辺監視システム１００の構成の一例を示すブロック図である。
本実施形態に係る周辺監視システム１００は、コントローラ３０、撮像装置４０、表示装置５０を含む。
コントローラ３０は、周辺監視システム１００における主たる制御処理を行う。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、ＣＰＵ，ＲＡＭ，ＲＯＭ，Ｉ／Ｏ等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、ＲＯＭに格納される各種プログラムをＣＰＵ上で実行することにより実現される機能部として、人検知部３０１、表示制御部３０２を含む。
撮像装置４０は、上述の如く、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、上部旋回体３の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲（画角）を有する。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、ショベルの運転中、所定周期（例えば、１／３０秒）毎に、撮像画像をコントローラ３０に出力し、撮像画像は、コントローラ３０に取り込まれる。
物体検知センサ４２は、ショベルの運転中、所定周期ごとに、上部旋回体３の周辺（具体的には、上部旋回体３の後方、左側方、及び、右側方の検知結果をコントローラ３０に出力し、検知結果は、コントローラ３０に取り込まれる。
表示装置５０は、撮像装置４０の撮像画像（スルー画像）や、コントローラ３０（表示制御部３０２）が撮像装置４０の撮像画像に基づき生成する周辺画像（例えば、後述する視点変換画像）等を表示する。
人検知部３０１は、撮像装置４０により撮像された撮像画像に基づき、ショベルの周辺の所定領域内、例えば、ショベルから所定距離Ｄ１（例えば、５メートル）以内の人を検知する。例えば、人検知部３０１は、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像画像内の人を認識すると共に、認識した人の実在位置（ショベルから認識した人までの距離Ｄ等）を特定することができる。
尚、図２Ｂ（本実施形態に係る周辺監視システム１００の構成の他の例を示すブロック図）に示すように、人検知部３０１は、物体検知センサ４２の検知結果に基づき、ショベル周辺の所定領域内の人を検知してもよい。このとき、人検知部３０１は、物体検知センサ４２の検知結果に含まれる反射波や反射光の強度やパターン等の特性に基づき、検知された物体が人であるか否かを判定することができる。また、人検知部３０１は、いわゆるセンサフュージョンによって、撮像装置４０により撮像された撮像画像と、物体検知センサ４２による検知結果の双方に基づき、監視対象である人を検知してもよい。
表示制御部３０２は、表示装置５０に各種情報画像を表示させる。例えば、表示制御部３０２は、撮像装置４０の撮像画像に基づき周辺画像を生成し、表示装置５０に表示させる。具体的には、表示制御部３０２は、周辺画像として、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像（仮想視点から見た画像）を生成し、表示装置５０に表示させる。また、表示制御部３０２は、周辺画像を表示装置５０に表示させる際、周辺画像に写る撮像装置４０の撮像範囲のショベルに対する相対位置関係を明示するため、ショベルを模式的に表すショベル画像（作業機械画像の一例）を併せて表示装置５０に表示させる。即ち、表示制御部３０２は、ショベル画像と、ショベルと撮像装置４０の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視用画像を生成し、表示装置５０に表示させる。以下、図３を参照して、表示装置５０の詳細と併せて、表示装置５０に表示される監視用画像について説明をする。
図３は、表示装置５０に表示される監視用画像の一例を示す図である。
図３に示すように、表示装置５０は、各種情報画像が表示される表示部５０Ａと、各種情報画像に表示される操作対象（例えば、操作ボタンアイコンやカーソル等）を操作するハードウェアによる操作部５０Ｂを含む。
本例では、表示部５０Ａには、監視用画像ＭＰだけでなく、ショベルの運転に関連する各種情報を提示する運転情報画像ＩＰが表示される。具体的には、表示部５０Ａの上半分には、監視用画像ＭＰが表示され、下半分には、運転情報画像ＩＰが表示される。
運転情報画像ＩＰは、日時表示領域ＩＰａ、走行モード表示領域ＩＰｂ、エンドアタッチメント表示領域ＩＰｃ、エンジン制御状態表示領域ＩＰｅ、エンジン作動時間表示領域ＩＰｆ、冷却水温表示領域ＩＰｇ、燃料残量表示領域ＩＰｈ、回転数モード表示領域ＩＰｉ、作動油温表示領域ＩＰｋ、カメラ画像表示領域ＩＰｍ、アラーム表示領域ＩＰｐ、及び向き表示アイコンＩＰｘを含む。
日時表示領域ＩＰａは、現在の日時を画像表示する領域である。本例では、デジタル表示が採用され、日付が２０１３年２月１９日であり、時刻が２３時５９分であることを示している。
走行モード表示領域ＩＰｂは、現在の走行モードを画像表示する領域である。走行モードは、可変容量ポンプを用いた走行用油圧モータの設定状態を表す。具体的には、走行モードは、低速モード及び高速モードを有する。低速モードは、「亀」を象ったマークで表示され、高速モードは「兎」を象ったマークで表示される。本例では、「亀」を象ったマークが表示されており、オペレータは、低速モードが設定されていることを認識できる。
エンドアタッチメント表示領域ＩＰｃは、現在装着されているエンドアタッチメントを表す画像を画像表示する領域である。ショベルに装着されるエンドアタッチメントには、バケット６の他、削岩機、グラップル、リフティングマグネットなど様々なエンドアタッチメントが含まれる。エンドアタッチメント表示領域ＩＰｃは、例えば、これらのエンドアタッチメントを象ったマークを表示する。本例では、削岩機を象ったマークが表示されており、オペレータは、削岩機がエンドアタッチメントとして取り付けられていることを認識できる。
エンジン制御状態表示領域ＩＰｅは、エンジンの制御状態を画像表示する領域である。本例では、オペレータは、エンジンの制御状態として「自動減速・自動停止モード」が選択されていることを認識できる。なお、「自動減速・自動停止モード」は、エンジン負荷が小さい状態の継続時間に応じて、エンジン回転数を自動的に低減し、さらにはエンジンを自動的に停止させる制御状態を意味する。その他、エンジンの制御状態には、「自動減速モード」、「自動停止モード」、「手動減速モード」等がある。
エンジン作動時間表示領域ＩＰｆは、エンジンの累積作動時間を画像表示する領域である。本例では、単位「ｈｒ（時）」を用いた値が表示される。
冷却水温表示領域ＩＰｇは、現在のエンジン冷却水の温度状態を画像表示する領域である。本例では、エンジン冷却水の温度状態を表すバーグラフが表示されている。なお、エンジン冷却水の温度は、エンジンに取り付けられる水温センサが出力するデータに基づき表示される。
具体的には、冷却水温表示領域ＩＰｇは、異常範囲表示ＩＰｇ１、注意範囲表示ＩＰｇ２、正常範囲表示ＩＰｇ３、セグメント表示ＩＰｇ４、及びアイコン表示ＩＰｇ５を含む。
異常範囲表示ＩＰｇ１、注意範囲表示ＩＰｇ２、正常範囲表示ＩＰｇ３は、それぞれ、エンジン冷却水の温度が異常高温状態、注意を要する状態、正常状態にあることをオペレータに知らせるための表示である。また、セグメント表示ＩＰｇ４は、エンジン冷却水の温度の高低をオペレータに知らせるための表示である。また、アイコン表示ＩＰｇ５は、異常範囲表示ＩＰｇ１、注意範囲表示ＩＰｇ２、正常範囲表示ＩＰｇ３、及びセグメント表示ＩＰｇ４がエンジン冷却水の温度に関する表示であることを表すシンボル図形等のアイコンである。
尚、アイコン表示ＩＰｇ５は、エンジン冷却水の温度に関する表示であることを表す文字情報であってもよい。
本例では、セグメント表示ＩＰｇ４は、点灯・消灯状態が個別に制御される８つのセグメントで構成され、冷却水温が高くなるほど点灯状態のセグメントの数が増加する。本例では、４つのセグメントが点灯状態となっている。また、セグメント表示ＩＰｇ４は、所定円の一部（円弧）を構成し、エンジン冷却水の温度の上下動に応じてその円弧の長さが伸縮するように表示される。また、本例では、それぞれのセグメントが表す温度の幅は同じであるが、セグメントごとに温度の幅を変えてもよい。
また、本例では、異常範囲表示ＩＰｇ１、注意範囲表示ＩＰｇ２、正常範囲表示ＩＰｇ３は、それぞれ、セグメント表示ＩＰｇ４の伸縮方向（所定円の円周方向）に沿うように並べて配置される円弧状の図形であり、赤色、黄色、緑色で表示される。また、セグメント表示ＩＰｇ４は、１番目（最下位）から６番目のセグメントが正常範囲に属し、７番目のセグメントが注意範囲に属し、８番目（最上位）のセグメントが異常範囲に属する。
尚、冷却水温表示領域ＩＰｇには、異常範囲表示ＩＰｇ１、注意範囲表示ＩＰｇ２、及び正常範囲表示ＩＰｇ３が円弧状の図形として表示される代わりに、異常レベル、注意レベル、正常レベルを表す文字、記号等がそれぞれの境界部分に表示してもよい。
また、異常範囲表示、注意範囲表示、正常範囲表示、セグメント表示、及び、アイコン表示を含む上述の構成は、燃料残量表示領域ＩＰｈ及び作動油温表示領域ＩＰｋにおいても同様に採用されうる。また、燃料残量表示領域ＩＰｈでは、異常範囲、注意範囲、及び正常範囲を表す円弧状の図形を表示する代わりに、「Ｆｕｌｌ（満タン状態）」を表す文字「Ｆ」又は黒丸（塗りつぶされた丸印）、「Ｅｍｐｔｙ（空状態）」を表す文字「Ｅ」又は白丸（塗りつぶされていない丸印）等がそれぞれの境界部分に表示されてもよい。
燃料残量表示領域ＩＰｈは、燃料タンクに貯蔵されている燃料の残量状態を画像表示する領域である。本例では、現在の燃料の残量状態を表すバーグラフが表示される。燃料残量表示領域ＩＰｈの燃料の残量は、燃料タンク内の燃料残量センサにより出力されるデータに基づき表示される。
回転数モード表示領域ＩＰｉは、現在の回転数モードを画像表示する領域である。回転数モードは、例えば、上述のＳＰモード、Ｈモード、Ａモード、及び、アイドリングモードの４つを含む。本例では、ＳＰモードを表す記号「ＳＰ」が表示されている。
作動油温表示領域ＩＰｋは、作動油タンク内の作動油の温度状態を画像表示する領域である。本例では、作動油の温度状態を表すバーグラフが表示されている。作動油温表示領域ＩＰｋの作動油の温度は、作動油タンク内の油温センサにより出力されるデータに基づき表示される。
尚、冷却水温表示領域ＩＰｇ、燃料残量表示領域ＩＰｈ、及び、作動油温表示領域ＩＰｋでは、バーグラフ表示の代わりに針表示が採用されてもよい。
カメラ画像表示領域ＩＰｍは、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び、右側方カメラ４０Ｒのうちの少なくとも一つの撮像画像（スルー画像）をそのまま表示する領域である。これにより、オペレータは、監視用画像ＭＰの他、撮像装置４０により撮像された撮像画像（スルー画像）をそのまま運転情報画像ＩＰ内で視認することができる。
例えば、カメラ画像表示領域ＩＰｍには、ショベルが稼働している間、常に後方カメラ４０Ｂにより撮像された撮像画像が表示されてよい。このとき、カメラ画像表示領域ＩＰｍの後方カメラ４０Ｂの撮像画像（スルー画像）は、望ましくは、鏡像で表示されるとよい。
また、本例では、カメラ画像表示領域ＩＰｍは、運転情報画像ＩＰの右側の３分の２程度の領域を占める。表示装置５０が運転席の右側前方に設置される環境において、運転席（オペレータ）に近い側に燃料残量表示領域ＩＰｈ等が表示され、運転席（オペレータ）から遠い側にカメラ画像表示領域ＩＰｍが表示されるようにして、全体的な視認性を高めるためである。但し、運転情報画像ＩＰにおける各表示領域のサイズ及び配置は、必要に応じて変更されてもよい。
また、カメラ画像表示領域ＩＰｍに表示される撮像画像は、タッチパネル式の表示部５０Ａに対するタッチ操作等や操作部５０Ｂに対する操作に応じて、表示される撮像画像の撮像元の撮像装置４０が切り替えられたり、撮像画像の拡大或いは縮小が行われたりしてもよい。例えば、オペレータは、操作部５０Ｂの十字ボタン５０Ｂａにより左右方向を指定する操作を行うことにより、カメラ画像表示領域ＩＰｍに表示される撮像画像（スルー画像）の撮像元の撮像装置４０（後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒ）を切り替え可能な態様であってよい。また、オペレータは、拡縮ボタン５０Ｂｂの上方向を指定するボタン及び下方向を指定するボタンのそれぞれを押圧操作することより、撮像画像を拡大させたり、縮小させたりすることが可能な態様であってよい。このとき、オペレータは、タッチパネル式の表示部５０Ａ上のカメラ画像表示領域ＩＰｍの任意の位置をタッチすることにより、位置を指定し、当該指定位置を中心として、拡大縮小を行うことができる。また、オペレータは、十字ボタン５０Ｂａによって、カーソルを動かし、カーソル位置を中心として、拡大縮小を行うことが可能な態様であってもよい。
アラーム表示領域ＩＰｐは、アラームを表示する領域である。本例では、電気系統異常が発生したことを表す警告メッセージがスルー画像上に重畳表示されている。また、本例では、アラーム表示領域ＩＰｐには、後方カメラ４０Ｂにより撮像された撮像画像がカメラ画像表示領域ＩＰｍに表示されないままレバー操作が行われた場合に、その旨を警告するアラームが表示される。また、アラーム表示領域ＩＰｐには、表示すべきアラームが存在しない場合、スルー画像がそのまま表示される。
向き表示アイコンＩＰｘは、運転情報画像ＩＰに表示される撮像画像（スルー画像）を撮像した撮像装置４０の向きとショベル（上部旋回体３のアタッチメント）の向きとの相対的関係を表すアイコンである。本例では、カメラ画像表示領域ＩＰｍに表示されるカメラ画像を撮像する撮像装置４０が後方カメラ４０Ｂであることを表す向き表示アイコンＩＰｘがカメラ画像表示領域ＩＰｍの右下隅に表示されている。
尚、向き表示アイコンＩＰｘは、カメラ画像表示領域ＩＰｍの下部中央、左下隅、右上隅、左上隅等、右下隅以外の位置に表示されてもよく、カメラ画像表示領域ＩＰｍの外部に表示されてもよい。
また、運転情報画像ＩＰは、上述の表示領域ＩＰａ〜ＩＰｋの一部を省略してもよいし、上述以外の表示領域を含んでもよい。例えば、運転情報画像ＩＰは、排ガスフィルタ（例えば、ディーゼル微粒子除去装置（ＤＰＦ：Diesel Particulate Filter）等）の詰まり具合を表示する排ガスフィルタ状態表示領域を含んでいてもよい。具体的には、排ガスフィルタ状態表示領域は、排ガスフィルタの許容最大使用時間に対する現在の使用時間の割合を表すバーグラフを表示してもよい。また、運転情報画像ＩＰは、作動油の温度状態の表示を省略してもよく、作動油の温度状態及び冷却水の温度状態の表示を省略してもよい。
また、カメラ画像表示領域ＩＰｍの下部には、上部旋回体３のカバー３ａの後端上縁の画像である車体画像としてのカバー画像ＩＰｑが含まれる。これにより、表示装置５０は、カメラ画像表示領域ＩＰｍに表示される物体とショベルとの間の距離感をオペレータがより容易に掴めるようにする。また、本実施例では、向き表示アイコンＩＰｘは、カバー画像ＩＰｑ上に重畳表示される。向き表示アイコンＩＰｘの背景色が常に同じになるようにしてその視認性を高めるためである。また、カメラ画像の見たい部分を表示アイコンＩＰｘが隠してしまうのを防止するためである。但し、向き表示アイコンＩＰｘは、カメラ画像表示領域ＩＰｍの外部に表示されてもよい。
また、図３に示すように、表示装置５０の表示部５０Ａの上半分の横長の長方形の領域（例えば、アスペクト比４：３の画面）には、上述の如く、ショベル画像ＣＧと、ショベル画像ＣＧの周囲に配置される周辺画像ＥＰとを含む監視用画像ＭＰが表示されている。これにより、オペレータは、周辺画像ＥＰに写っている人を含む物体と、ショベルとの位置関係を適切に把握することができる。
本例における周辺画像ＥＰは、ショベル周辺を真上から見た路面画像と、その路面画像の周りに配置される、ショベル周辺を水平方向に見た水平画像とを組み合わせた視点変換画像である。周辺画像（視点変換画像）は、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。以下、本実施形態における周辺画像は、上記路面画像と上記水平画像とを組み合わせた視点変換画像である前提で説明を続ける。
また、監視用画像には、ショベルからの距離Ｄが一定の位置を表す線分Ｌが重畳表示されてもよい。線分Ｌは、例えば、ショベルからの距離が所定距離Ｄ１よりも小さい所定距離Ｄ２の位置を表す。これにより、周辺画像に人を含む物体が写っている場合、ショベルからどの程度離れた位置にいるかを把握することができる。
また、監視用画像ＭＰは、上述した運転情報画像ＩＰのカメラ画像表示領域ＩＰｍと同様、タッチパネル式の表示部５０Ａに対するタッチ操作等や操作部５０Ｂに対する操作に応じて、監視用画像ＭＰの拡大或いは縮小が行われたりしてもよい。例えば、オペレータは、拡縮ボタン５０Ｂｂの上方向を指定するボタン及び下方向を指定するボタンのそれぞれを押圧操作することより、監視用画像を拡大させたり、縮小させたりすることが可能な態様であってよい。このとき、オペレータは、タッチパネル式の表示部５０Ａ上の監視用画像ＭＰの任意の位置をタッチすることにより、位置を指定し、当該指定位置を中心として、拡大縮小を行うことができる。また、オペレータは、十字ボタン５０Ｂａによって、カーソルを動かし、カーソル位置を中心として、拡大縮小を行うことが可能な態様であってもよい。
［監視用画像の表示態様の概要］
次に、表示制御部３０２の特徴的な機能について説明をする。
表示制御部３０２は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、検知された人がオペレータにより視認され易くなるように、監視用画像の表示態様を変更する。具体的には、表示制御部３０２は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、監視用画像を、該監視用画像内における検知された人の位置が、他の位置よりも重視（強調）される表示態様に変更する。
例えば、表示制御部３０２は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、検知された人が含まれる周辺画像の一部領域を拡大した画像（以下、「拡大監視用画像」と称する）を生成し、表示装置５０に表示させる。以下、拡大監視用画像と区別するため、人検知部３０１によりショベルの周辺の所定領域内で人が検知されていない場合の監視用画像（図３参照）を「通常監視用画像」と称する。例えば、表示制御部３０２は、通常監視用画像における周辺画像の一部領域であって、ショベル画像よりも周辺画像に含まれる検知された人に近い位置を中心とする、当該人が含まれる一部領域を拡大した拡大監視用画像を生成する。また、例えば、表示制御部３０２は、上記周辺画像の一部領域に合わせて、ショベル画像も拡大した拡大監視用画像を生成する。これにより、表示制御部３０２は、監視用画像において、検知された人に近い位置を中心として配置し、且つ、検知された人の位置を含む一部領域を拡大することで、検知された人の位置が他の位置よりも重視される表示態様の監視用画像を表示装置５０に表示させることができる。
尚、表示制御部３０２は、通常監視用画像の一部領域を切り出して拡大することにより、拡大監視用画像を生成してよい。また、表示制御部３０２は、撮像装置４０の撮像画像に基づき上記一部領域に対応する周辺画像（視点変換画像）を生成し、ショベル画像と結合することにより、拡大監視用画像を生成してもよい。
また、本例において、表示制御部３０２は、人検知部３０１により検知された人とショベルとの距離Ｄに応じて、監視用画像の表示態様の変更の仕様を変化させてもよい。例えば、表示制御部３０２は、人検知部３０１により検知された人とショベルとの距離Ｄが小さくなるほど、拡大監視用画像の通常監視用画像に対する拡大率を大きくしてよい。具体的には、表示制御部３０２は、人検知部３０１によりショベル周辺の所定領域内で検知された人とショベルとの距離Ｄが所定距離Ｄ２（Ｄ１＞Ｄ２）以下である場合、距離Ｄが所定距離Ｄ２以下でない場合よりも上記拡大率を大きくしてよい。これにより、検知された人がショベルに比較的接近している状況では、オペレータは、検知された人の状態をより把握し易くなり、検知された人の安全性を確実に確保することができる。一方、検知された人がショベルから比較的離れている状況では、拡大監視用画像に周辺画像のより多くの領域が含まれうるため、ショベル周辺全体の状態を把握しつつ、検知された人の状態を把握することが可能となり、今後の安全行動をとりやすくなる。
尚、本例において、表示制御部３０２は、監視用画像の検知された人を含む一部領域を拡大するが、通常監視用画像における検知された人に近い位置が画面の中心となるように、通常監視用画像の画面上における配置を変更するだけでもよい。また、本例において、表示制御部３０２は、表示装置５０の表示内容を通常監視用画像と拡大監視用画像との間で切り替える際、切替前の画像から切替後の画像に一気に切り替えてもよいし、モーフィング等の手法を用いて、切替前の画像から切替後の画像に連続的に変化させてもよい。
拡大監視用画像の詳細については、後述する（図４〜図７参照）。
また、例えば、表示制御部３０２は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、検知された人を視認し易い仮想視点から見たショベル周辺の周辺画像を含む監視用画像を生成し、表示装置５０に表示させる。つまり、表示制御部３０２は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、撮像装置４０の撮像画像に基づき、通常監視用画像と異なる仮想視点から見た視点変換画像（周辺画像）を含む監視用画像を生成し、表示装置５０に表示させる。具体的には、表示制御部３０２は、同じ仮想視点から見たショベル画像と、ショベルと撮像装置４０の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視用画像を生成してよい。以下、通常監視用画像と区別するため、当該監視用画像を「別視点監視用画像」と称する。
別視点監視用画像の詳細については、後述する（図８参照）。
また、例えば、表示制御部３０２は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、通常監視用画像の周辺画像のうちの人が含まれる一部領域に対応する別視点監視用画像（以下、「部分別視点監視用画像」と称する）を生成し、表示装置５０に表示させてもよい。このとき、部分別視点監視用画像には、検知された人とを含む周辺画像と、当該周辺画像に対応する大きさ及び位置関係で配置されるショベル画像の少なくとも一部とが含まれてよい。
部分別視点監視用画像の詳細については、後述する（図９参照）。
尚、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合に、監視用画像の表示態様が変更される機能は、オペレータによる操作によりＯＮ／ＯＦＦされうる態様であってよい。例えば、オペレータは、上述した表示部５０Ａのタッチパネル式の表示部５０Ａに表示されるソフトウェアによる操作対象（所定のアイコンボタン等）やハードウェアによる操作部５０Ｂ等に対する操作により、当該機能をＯＮ／ＯＦＦ可能であってよい。
［監視用画像の表示態様の詳細］
以下、図４〜図９を参照して、表示装置５０に表示される監視用画像の表示態様の変更の詳細について説明をする。
まず、図４は、表示装置５０に表示される拡大監視用画像の第１例を説明する図である。具体的には、図４Ａは、表示装置５０に表示される通常監視用画像であり、図４Ｂは、人検知部３０１により人が検知されることにより表示装置５０に表示される拡大監視用画像の第１例である。
図４Ａに示すように、監視用画像ＭＰ（通常監視用画像）における周辺画像ＥＰには、ショベル後方の線分Ｌよりショベルに近い位置、即ち、ショベル後方のショベルから所定距離Ｄ２以内の領域に、作業者Ｗ１が写っている。このような状況において、人検知部３０１は、当該作業者Ｗ１を検知すると、表示制御部３０２に人が検知された旨を通知する。これにより、表示制御部３０２は、上述の如く、監視用画像の表示態様を変化させる。
具体的には、図４Ｂに示すように、表示制御部３０２は、図４の監視用画像ＭＰ（通常監視用画像）において、ショベル画像ＣＧよりも周辺画像ＥＰに含まれる作業者Ｗ１に近い位置（本例では、作業者Ｗ１の位置）を中心とする、作業者Ｗ１を含む周辺画像ＥＰの一部領域Ａ１（図４Ａ参照）を拡大した監視用画像ＭＰ（拡大監視用画像）を生成し、表示装置５０に表示させる。また、本例では、表示制御部３０２は、周辺画像ＥＰの上記一部領域Ａ１に合わせて、ショベル画像ＣＧも同じ拡大率で拡大した拡大監視用画像を生成する。即ち、表示制御部３０２は、通常監視用画像における作業者Ｗ１の位置を中心とする、一部領域Ａ１を拡大した拡大監視用画像を生成し、表示装置５０に表示させる。
本例における表示装置５０に表示される拡大監視用画像の略中央には、作業者Ｗ１が位置する。そのため、オペレータは、人検知部３０１によりショベルの周辺の所定領域内で人（作業者Ｗ１）が検知された場合に、表示装置５０の表示内容（拡大監視用画像）を見て、検知された人（作業者Ｗ１）がどのような行動を行っているか等を容易に把握することができる。よって、オペレータによるショベルの操作時における安全性を高めることができる。また、本例では、ショベル画像の少なくとも一部が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１）とショベルとの相対的な位置関係を容易に把握することができる。また、本例では、通常監視用画像に対して、周辺画像と同じ拡大率で拡大されたショベル画像が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１）とショベルとの相対的な位置関係をより正確に把握することができる。
尚、通常監視用画像から拡大監視用画像への表示態様の変更仕様は、拡大監視用画像の中心がショベル画像より検知された人に近づく範囲で、表示装置５０のタッチパネル式の表示部５０Ａやハードウェアによる操作部５０Ｂを用いたオペレータの操作によって、適宜調整可能であってもよい。例えば、オペレータは、タッチパネル式の表示部５０Ａや操作部５０Ｂに対する操作により、拡大率や拡大監視用画像の中心をショベル画像ＣＧからずらし量（表示部５０ＡにおけるＸ軸方向及びＹ軸方向のずらし量）等の設定値を調整可能であってよい。また、例えば、オペレータは、表示部５０Ａに通常監視用画像が表示されている状態で、タッチパネル式の表示部５０Ａや操作部５０Ｂに対する操作によって、通常監視用画像を好みの中心位置で好みの拡大率に拡大させた上で、所定の確定操作を行うことにより、監視用拡大画像の中心位置及び拡大率を設定可能であってよく、人が検知されたエリア（後方、左側方、或いは、右側方）ごとに、複数の仕様を設定可能であってもよい。また、例えば、オペレータは、表示部５０Ａに拡大監視用画像が表示されている状態で、タッチパネル式の表示部５０Ａや操作部５０Ｂに対する操作により、拡大監視用画像に含まれる周辺画像ＥＰの範囲を、検知された人が含まれる範囲で適宜調整可能であってもよい。これにより、周辺監視システム１００は、オペレータによる好みにあった拡大監視用画像を表示装置５０に表示させることができる。以下、図５〜図７、図９の場合についても同様である。
続いて、図５は、表示装置５０に表示される拡大監視用画像の第２例を説明する図である。具体的には、図５Ａは、表示装置５０に表示される通常監視用画像であり、図５Ｂは、人検知部３０１により人が検知されることにより表示装置５０に表示される拡大監視用画像の第２例である。
尚、図５（図５Ａ，図５Ｂ）では、図４に表示される表示装置５０の表示部５０Ａ及び操作部５０Ｂ等は省略されているが、図３、図４の場合と同様、監視用画像（通常監視用画像及び拡大監視用画像）は、表示装置５０の表示部５０Ａに運転情報画像ＩＰと共に表示される態様であってよい。以下、図６〜図９の場合についても同様である。
図５Ａに示すように、通常監視用画像における周辺画像には、ショベル後方の線分Ｌよりショベルに近い位置、即ち、ショベル後方のショベルから所定距離Ｄ２以内の領域に、作業者Ｗ１が写っている。また、監視用画像における周辺画像には、ショベル右後側方の線分Ｌ付近、即ち、ショベル後側方のショベルから所定距離Ｄ２付近の領域に、作業者Ｗ２が写っている。このような状況において、人検知部３０１は、当該作業者Ｗ１，Ｗ２を検知すると、表示制御部３０２に人が検知された旨を通知する。これにより、表示制御部３０２は、上述の如く、監視用画像の表示態様を変化させる。
具体的には、図５Ｂに示すように、表示制御部３０２は、通常監視用画像において、ショベル画像ＣＧよりも周辺画像ＥＰに含まれる作業者Ｗ１，Ｗ２に近い位置（本例では、作業者Ｗ１，Ｗ２の位置で規定される図形の略図心位置、即ち、作業者Ｗ１，Ｗ２の位置を繋ぐ線分の略中点位置）を中心とする、作業者Ｗ１、Ｗ２を含む周辺画像ＥＰの一部領域Ａ２（図５Ａ参照）を拡大した拡大監視用画像を生成し、表示装置５０に表示させる。また、本例では、表示制御部３０２は、第１例と同様、周辺画像ＥＰの上記一部領域Ａ２に合わせて、ショベル画像ＣＧも同じ拡大率で拡大した拡大監視用画像を生成する。即ち、表示制御部３０２は、通常監視用画像における作業者Ｗ１，Ｗ２の位置を繋ぐ線分の略中点位置を中心とする、一部領域Ａ２をそのまま拡大した拡大監視用画像を生成し、表示装置５０に表示させる。
人検知部３０１により検知された２以上の人（作業者Ｗ１，Ｗ２）がショベルの後方寄りにいる場合や相互に近い位置にいる場合等において、表示装置５０に表示される拡大監視用画像に含まれる作業者Ｗ１，Ｗ２は、ショベル画像よりも中央寄りに位置する。そのため、オペレータは、人検知部３０１によりショベルの周辺の所定領域内で２以上の人（作業者Ｗ１，Ｗ２）が検知された場合に、表示装置５０の表示内容（拡大監視用画像）の中から中央寄りに配置される、検知された人（作業者Ｗ１，Ｗ２）を容易に認識できる。そして、オペレータは、検知された人（作業者Ｗ１，Ｗ２）がどのような行動を行っているか等を容易に把握することができる。また、本例では、検知された２以上の人（作業者Ｗ１，Ｗ２）が全て含まれるように拡大監視用画像が生成されるため、検知された２以上の人の全ての行動等を把握することができる。また、本例では、第１例と同様、ショベル画像の少なくとも一部が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１，Ｗ２）とショベルとの相対的な位置関係を容易に把握することができる。また、本例では、第１例と同様、通常監視用画像に対して、周辺画像と同じ拡大率で拡大されたショベル画像が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１，Ｗ２）とショベルとの相対的な位置関係をより正確に把握することができる。
尚、本例では、表示制御部３０２は、作業者Ｗ１，Ｗ２の位置で規定される図形の略図心位置を中心とする、作業者Ｗ１、Ｗ２を含む周辺画像ＥＰの一部領域Ａ２（図５Ａ参照）を拡大した拡大監視用画像を生成するが、当該態様に限定されない。即ち、拡大監視用画像（一部領域Ａ２）は、ショベル画像ＣＧよりも作業者Ｗ１，Ｗ２の位置で規定される図形の略図心位置に近い位置を中心とすればよい。
続いて、図６は、表示装置５０に表示される拡大監視用画像の第３例を説明する図である。具体的には、図６Ａは、表示装置５０に表示される通常監視用画像であり、図６Ｂは、人検知部３０１により人が検知されることにより表示装置５０に表示される拡大監視用画像の第３例である。
尚、図６Ａは、一点鎖線で囲まれる部分（一部領域Ａ３）の配置を除き、図５Ａと同様であるため、図５Ａと異なる部分を中心に説明を行う。
図６Ａに示すように、通常監視用画像のショベルの周辺の所定領域内に、図５Ａと同様、作業者Ｗ１，Ｗ２が写っている。このような状況において、人検知部３０１は、当該作業者Ｗ１，Ｗ２を検知すると、表示制御部３０２に人が検知された旨を通知する。これにより、表示制御部３０２は、上述の如く、監視用画像の表示態様を変化させる。
具体的には、図６Ｂに示すように、表示制御部３０２は、通常監視用画像において、ショベル画像ＣＧよりも周辺画像ＥＰに含まれる作業者Ｗ１，Ｗ２に近い位置（本例では、作業者Ｗ１，Ｗ２のうち、ショベルに最も近い位置にいる作業者Ｗ１）を中心とする、作業者Ｗ１、Ｗ２を含む周辺画像ＥＰの一部領域Ａ３（図６Ａ参照）を拡大した拡大監視用画像を生成し、表示装置５０に表示させる。また、本例では、表示制御部３０２は、第１例等と同様、周辺画像ＥＰの上記一部領域Ａ３に合わせて、ショベル画像ＣＧも同じ拡大率で拡大した拡大監視用画像を生成する。即ち、表示制御部３０２は、通常監視用画像における作業者Ｗ１の位置を中心とする、一部領域Ａ３をそのまま拡大した拡大監視用画像を生成し、表示装置５０に表示させる。
本例における表示装置５０に表示される拡大監視用画像の略中央には、人検知部３０１により検知された２以上の人（作業者Ｗ１，Ｗ２）のうちのショベルに最も近い作業者Ｗ１が位置する。そのため、オペレータは、人検知部３０１によりショベルの周辺の所定領域内で２以上の人（作業者Ｗ１，Ｗ２）が検知された場合に、表示装置５０の表示内容（拡大監視用画像）を確認することで、検知された２以上の人（作業者Ｗ１，Ｗ２）のうちの最もショベルの近くにいる人（作業者Ｗ１）を容易に認識できる。そして、オペレータは、最もショベルの近くにいる人（作業者Ｗ１）がどのような行動を行っているか等を容易に把握することができる。また、本例では、第２例と同様、検知された２以上の人が全て含まれるように拡大監視用画像が生成されるため、検知された２以上の人の全ての行動等を把握することができる。また、本例では、第１例等と同様、ショベル画像の少なくとも一部が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１，Ｗ２）とショベルとの相対的な位置関係を容易に把握することができる。また、本例では、第１例等と同様、通常監視用画像に対して、周辺画像と同じ拡大率で拡大されたショベル画像が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１，Ｗ２）とショベルとの相対的な位置関係をより正確に把握することができる。
続いて、図７は、表示装置５０に表示される拡大監視用画像の第４例を説明する図である。具体的には、図７Ａは、表示装置５０に表示される通常監視用画像であり、図７Ｂは、人検知部３０１により人が検知されることにより表示装置５０に表示される拡大監視用画像の第４例である。
尚、本例では、図７Ａ，７Ｂに示すように、表示装置５０は、縦長の長方形の画面（例えば、アスペクト比９：１６の画面）を有する。また、図７Ａは、表示装置５０が縦長の長方形の画面である点と、一点鎖線で囲まれる部分（一部領域Ａ４）の配置とを除き、図４Ａと同様であるため、図４Ａと異なる部分を中心に説明をする。
図７Ａに示すように、通常監視用画像における周辺画像には、図４Ａと同様、ショベルの周辺（後方）の所定領域内にいる作業者Ｗ１が写っている。このような状況において、人検知部３０１は、当該作業者Ｗ１を検知すると、表示制御部３０２に人が検知された旨を通知する。これにより、表示制御部３０２は、上述の如く、監視用画像の表示態様を変化させる。
具体的には、図７Ｂに示すように、表示制御部３０２は、通常監視用画像において、ショベル画像ＣＧよりも周辺画像ＥＰに含まれる作業者Ｗ１に近い位置（本例では、作業者Ｗ１の位置）を中心とする、作業者Ｗ１を含む周辺画像ＥＰの一部領域Ａ４を拡大した拡大監視用画像を生成し、表示装置５０に表示させる。また、本例では、表示制御部３０２は、線分Ｌよりショベル（ショベル画像）に近い近傍領域、即ち、ショベルから所定距離Ｄ２以内の近傍領域の全てが含まれる周辺画像ＥＰの一部領域Ａ４（図７Ａ参照）を拡大した拡大監視用画像を生成する。また、本例では、表示制御部３０２は、周辺画像ＥＰの上記一部領域Ａ４に合わせて、ショベル画像ＣＧも同じ拡大率で拡大した拡大監視用画像を生成する。即ち、表示制御部３０２は、通常監視用画像における作業者Ｗ１の位置を中心とし、周辺画像ＥＰにおけるショベルから所定距離Ｄ２以内の近傍領域の全てが含まれる、一部領域Ａ４をそのまま拡大した拡大監視用画像を生成し、表示装置５０に表示させる。
本例における表示装置５０に表示される拡大監視用画像の略中央には、第１例と同様、作業者Ｗ１が位置する。そのため、オペレータは、人検知部３０１によりショベルの周辺の所定領域内で人（作業者Ｗ１）が検知された場合に、表示装置５０の表示内容（拡大監視用画像）を見て、検知された人（作業者Ｗ１）がどのような行動を行っているか等を容易に把握することができる。また、本例では、第１例等と同様、ショベル画像の少なくとも一部が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１）とショベルとの相対的な位置関係を容易に把握することができる。また、本例では、第１例等と同様、通常監視用画像に対して、周辺画像と同じ拡大率で拡大されたショベル画像が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１）とショベルとの相対的な位置関係をより正確に把握することができる。また、本例では、ショベルから所定距離Ｄ２以内の近傍領域の全てが拡大監視用画像に含まれるため、オペレータは、ショベルに近接する近傍領域の状況を確認しつつ、検知された人の行動等を把握することができる。よって、オペレータによるショベルの操作時における安全性を更に高めることができる。
続いて、図８は、表示装置５０に表示される別視点監視用画像の一例を示す図である。以下、図８は、図４Ａの通常監視用画像から切り替えられた別視点監視用画像である前提で説明を進める。
図４Ａに示すように、通常監視用画像内の周辺画像のショベル（上部旋回体３）の後方に作業者Ｗ１が写っている状況において、人検知部３０１は、当該作業者Ｗ１を検知すると、表示制御部３０２に人が検知された旨を通知する。これにより、表示制御部３０２は、上述の如く、監視用画像の表示態様を変化させる。
具体的には、図８に示すように、表示制御部３０２は、撮像装置４０の撮像画像に基づき、ショベルの後方斜め上（本例の場合、ショベルの後方の水平面から４５度上方の角度方向。以下、図９についても同様）の仮想視点から見た視点変換画像としての周辺画像ＥＰを生成する。そして、表示制御部３０２は、当該周辺画像と同様のショベルの後方斜め上の仮想視点から見たショベル画像ＣＧと、ショベルと撮像装置４０の撮像範囲との相対位置関係と合わせてショベル画像ＣＧの周囲に配置される周辺画像ＥＰを含む別視点監視用画像を表示装置５０に表示させる。これにより、オペレータがショベルの後方斜め上から作業者とショベルを見た状態を仮想的に実現でできるため、オペレータは、ショベルの後方の検知された人（作業者Ｗ１）とショベルとの位置関係（距離感）を把握し易くなる。
また、表示制御部３０２は、ショベルの前方斜め上の仮想視点から見た視点変換画像としての周辺画像を含む別視点監視用画像を生成し、表示装置５０に表示させてもよい。これにより、オペレータがショベルの前方斜め上から検知された人（作業者Ｗ１）とショベルを見た状態を仮想的に実現でできるため、オペレータは、検知された人を含むショベルの後方の領域の視野が広がり、作業者の状況を把握し易くなる。
つまり、表示制御部３０２は、人検知部３０１によりショベルから見て相対的に後方にいる人が検知された場合、仮想視点の水平面に対する角度方向を真上から前方或いは後方にずらした斜め上方向から見た視点変換画像としての周辺画像を含む別視点監視用画像を生成し、表示装置５０に表示させてよい。これにより、周辺監視システム１００は、オペレータに対して、監視用画像における検知された人（作業者Ｗ１）の把握を促すことができる。具体的には、周辺監視システム１００は、仮想視点の水平面に対する角度方向をショベルから見て相対的に人が存在する側（本例の場合、後方）にずらすことにより、上述の如く、ショベルの後方の作業者とショベルとの位置関係（距離感）をオペレータに把握させ易くなる。また、周辺監視システム１００は、仮想視点の水平面に対する角度方向をショベルから見て相対的に人が存在する側（本例の場合、後方）にずらすことにより、作業者を含むショベルの後方の領域の視野が広がり、オペレータに検知された人の状況を把握させ易くなる。
また、同様に、表示制御部３０２は、人検知部３０１によりショベルから見て相対的に右方向或いは左方向にいる人が検知された場合、仮想視点の水平面に対する角度方向を真上から右方向或いは左方向にずらした斜め上方向から見た視点変換画像としての周辺画像を含む別視点監視用画像を生成し、表示装置５０に表示させてよい。これにより、周辺監視システム１００は、ショベルから見て相対的に後方にいる人が検知された場合と同様、オペレータに対して、監視用画像における検知された人（作業者Ｗ１）の把握を促すことができる。
尚、撮像装置４０は、ショベル（上部旋回体３）の前方を撮像するカメラ（前方カメラ）を含んでもよく、併せて、人検知部３０１は、ショベルの前方を含む所定領域内の人をｋ検知してよい。この場合、表示制御部３０２は、ショベルの周囲の水平方向３６０°の範囲を真上から見た俯瞰画像と水平画像とを組み合わせた周辺画像を含む通常監視用画像を生成してよい。そして、表示制御部３０２は、人検知部３０１によりショベルから見て相対的に前方にいる人が検知された場合、後方にいる人が検知された場合と同様、仮想視点の水平面に対する角度方向を真上から前方或いは後方にずらした斜め上方向から見た視点変換画像としての周辺画像を含む別視点監視用画像を生成し、表示装置５０に表示させてよい。これにより、周辺監視システム１００は、ショベルから見て相対的に後方にいる人が検知された場合と同様、オペレータに対して、監視用画像における検知された人（作業者Ｗ１）の把握を促すことができる。以下、部分別視点監視用画像の場合についても同様である。
続いて、図９は、表示装置５０に表示される部分別視点監視用画像の一例を示す図である。以下、図８は、図４Ａの通常監視用画像から切り替えられた別視点監視用画像である前提で説明を進める。
図４Ａに示すように、通常監視用画像内の周辺画像のショベル（上部旋回体３）の後方に作業者Ｗ１が写っている状況において、人検知部３０１は、当該作業者Ｗ１を検知すると、表示制御部３０２に人が検知された旨を通知する。これにより、表示制御部３０２は、上述の如く、監視用画像の表示態様を変化させる。
具体的には、図９に示すように、表示制御部３０２は、撮像装置４０の撮像画像に基づき、ショベルの後方斜め上の仮想視点から視点変換画像であって、通常監視用画像の検知された人のいる部分を含む一部領域に対応する視点変換画像としての周辺画像を生成する。そして、表示制御部３０２は、当該周辺画像と同様のショベル後方斜め上の仮想視点から見たショベル画像ＣＧの一部と、ショベルと撮像装置４０の撮像範囲との相対位置関係を合わせてショベル画像ＣＧ（の一部）の周囲に配置される周辺画像ＥＰを含む部分別視点監視用画像を表示装置５０に表示させる。これにより、別視点監視用画像の場合と同様、オペレータがショベルの後方斜め上から作業者とショベルを見た状態を仮想的に実現でできるため、オペレータは、ショベルの後方の検知された人（作業者Ｗ１）とショベルとの位置関係（距離感）を把握し易くなる。また、本例では、通常監視用画像内の検知された人が含まれる一部領域だけが部分別視点監視用画像として表示装置５０に表示されるため、オペレータは、検知された人の状況を更に把握し易くなる。
また、表示制御部３０２は、通常監視用画像の検知された人を含む一部領域をショベルの前方斜め上の仮想視点から見た視点変換画像としての周辺画像を含む部分別視点監視用画像を生成し、表示装置５０に表示させてもよい。これにより、別視点監視用画像の場合と同様、オペレータがショベルの前方斜め上から検知された人（作業者Ｗ１）とショベルを見た状態を仮想的に実現でできるため、検知された人を含むショベルの後方の領域の視野が広がり、オペレータは、作業者の状況を把握し易くなる。
つまり、表示制御部３０２は、人検知部３０１によりショベルから見て相対的に後方にいる人が検知された場合、仮想視点の水平面に対する角度方向を真上から前方或いは後方にずらした斜め上方向から見た視点変換画像であって、通常監視用画像の検知された人のいる部分を含む一部領域に対応する視点変換画像としての周辺画像を含む部分別視点監視用画像を生成し、表示装置５０に表示させてよい。これにより、周辺監視システム１００は、オペレータに対して、監視用画像における検知された人（作業者Ｗ１）の把握を更に促すことができる。
また、同様に、表示制御部３０２は、人検知部３０１によりショベルから見て相対的に右方向或いは左方向にいる人が検知された場合、仮想視点の水平面に対する角度方向を真上から右方向或いは左方向にずらした斜め上方向から見た視点変換画像であって、通常監視用画像の検知された人のいる部分を含む一部領域に対応する視点変換画像としての周辺画像を含む部分別視点監視用画像を生成し、表示装置５０に表示させてよい。これにより、周辺監視システム１００は、ショベルから見て相対的に後方にいる人が検知された場合と同様、オペレータに対して、監視用画像における検知された人（作業者Ｗ１）の把握を更に促すことができる。
尚、図９に示す部分別視点監視用画像は、図８の別視点監視用画像の一部領域Ａ２に対応する。そのため、表示制御部３０２は、撮像装置４０の撮像画像に基づき、別視点監視用画像を生成した後、生成した別視点変換画像の一部領域Ａ２を切り出して拡大することにより部分別視点監視用画像を生成してもよい。
［監視用画像の表示処理の詳細］
次に、図１０を参照して、本実施形態に係る周辺監視システム１００（表示制御部３０２）による監視用画像を表示装置５０に表示させる処理（表示処理）の処理フローについて説明をする。以下、拡大監視用画像、別視点監視用画像、及び、部分別視点監視用画像を総括的に「人検知時監視用画像」と称する場合がある。
図１０は、本実施形態に係る周辺監視システム１００（表示制御部３０２）による表示処理の一例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、オペレータによる所定の開始操作や所定の開始条件に応じて、表示装置５０への通常監視用画像、或いは、人検知時監視用画像の表示が開始されると、併せて開始され、所定時間間隔で繰り返し実行される。また、本フローチャートによる処理は、例えば、オペレータによる所定の終了操作や所定の終了条件に応じて、表示装置５０への監視用画像（通常監視用画像或いは人検知時監視用画像）の表示が終了されると、併せて、終了される。
ステップＳ１０１にて、表示制御部３０２は、人検知時に監視用画像の表示態様が変更される機能がＯＮされているか否かを判定する。表示制御部３０２は、当該機能がＯＮされている場合、ステップＳ１０２に進み、それ以外の場合、今回の処理を終了する。
ステップＳ１０２にて、表示制御部３０２は、人検知部３０１がショベルの周辺の所定領域内で人を検知したか否かを判定する。表示制御部３０２は、人検知部３０１が人を検知していない場合、ステップＳ１０４に進み、人を検知している場合、ステップＳ１０６に進む。
ステップＳ１０４にて、表示制御部３０２は、表示装置５０に通常監視用画像を表示させる。
一方、ステップＳ１０６にて、表示制御部３０２は、表示装置５０に人検知時監視用画像を表示させる。
尚、表示制御部３０２は、本ステップにおける処理により、拡大監視用画像、別視点監視用画像、及び、部分別視点監視用画像のうちの二以上の人検知時監視用画像からオペレータ等による前もっての選択操作に応じて選択される一の人検知時監視用画像を表示可能であってよい。また、表示制御部３０２は、本ステップの処理により、拡大監視用画像、別視点監視用画像、及び、部分別視点監視用画像のうちの何れか一つの人検知時監視用画像だけを表示装置５０に表示可能な態様であってもよい。
ステップＳ１０８にて、表示制御部３０２は、表示装置５０における前回の画像切替（通常監視用画像から人検知時監視用画像への画像切替、或いは、人検知時監視用画像から通常監視用画像への画像切替）から所定時間以上経過したかを判定する。表示制御部３０２は、表示装置５０における前回の画像切替から所定時間以上経過していない場合、本ステップの処理を繰り返し、前回の画面切替から所定時間以上経過している場合（或いは、本フローチャートによる処理の開始後、画面切替が行われていない場合）、ステップＳ１０２に戻り、本フローチャートによる処理を繰り返す。これにより、例えば、人がショベルの周辺の所定領域（ショベルから所定距離Ｄ１以内の領域）の境界部分に位置する場合等において、通常監視用画像と拡大監視用画像等との間で画面の内容が頻繁に切り替わるハンチングの発生を防止することができる。
［作用］
このように、本実施形態では、表示制御部３０２は、人検知部３０１により所定領域内で人が検知された場合、通常監視用画像における周辺画像の一部領域であって、ショベル画像よりも周辺画像に含まれる人に近い位置を中心とする、人が含まれる一部領域を拡大した拡大監視用画像を表示装置５０に表示させる。これにより、人検知部３０１によりショベルの周辺に人が検知された場合に、検知された人が含まれる部分が中央寄りに配置された拡大監視用画像が表示装置５０に表示される。そのため、オペレータは、表示装置５０の画面の中央寄りに表示される検知された人を容易に確認できると共に、検知された人の行動内容等の状態を容易に把握することができる。よって、周辺監視システム１００は、オペレータによるショベルの操作時における安全性を更に高めることができる。
また、本実施形態では、表示制御部３０２は、人検知部３０１により所定領域内で人が検知された場合、仮想視点の水平面に対する角度方向を真上からショベルに対して検知された人に近づく方向或いは離れる方向にずらした斜め上方向から見た視点変換画像としての周辺画像を含む別視点監視用画像を生成し、表示装置５０に表示させる。これにより、周辺監視システム１００は、上述の如く、オペレータに対して、監視用画像による検知された人の把握を促すことができる。よって、周辺監視システム１００は、オペレータによるショベルの操作時における安全性を更に高めることができる。
また、本実施形態では、表示制御部３０２は、人検知部３０１により所定領域内で人が検知された場合、仮想視点の水平面に対する角度方向を真上からショベルに対して検知された人に近づく方向或いは離れる方向にずらした斜め上方向から見た視点変換画像であって、通常監視用画像内の検知された人のいる部分を含む一部領域に対応する視点変換画像としての周辺画像を含む部分別視点監視用画像を生成し、表示装置５０に表示させる。これにより、周辺監視システム１００は、上述の如く、オペレータに対して、監視用画像による検知された人の把握を更に促すことができる。よって、周辺監視システム１００は、オペレータによるショベルの操作時における安全性を更に高めることができる。
尚、上述した、検知された人とショベルとの距離Ｄに応じて、監視用画像の表示態様の変更の仕様を変化させる他の態様として、表示制御部３０２は、拡大監視用画像として拡大表示させる、通常監視用画像の人を含む一部領域の中心を変化させてもよい。例えば、表示制御部３０２は、人とショベルとの距離Ｄが比較的小さい（例えば、距離Ｄが所定距離Ｄ２以下である）場合、通常監視用画像における周辺画像の一部領域であって、ショベル画像よりも周辺画像に含まれる人に近い位置を中心とする、人が含まれる一部領域を拡大した拡大監視用画像を表示装置５０に表示させる。一方、表示制御部３０２は、人とショベルとの距離Ｄが比較的大きい（例えば、距離Ｄが所定距離Ｄ２以下でない）場合、通常監視用画像におけるショベル画像を中心とする、人が含まれる一部領域を拡大した拡大監視用画像を表示装置５０に表示させる。これにより、検知された人がショベルと比較的接近している状況では、オペレータは、検知された人の状態をより把握し易くなり、検知された人の安全性を確実に確保することができる。一方、検知された人がショベルから比較的離れた状況では、オペレータは、ショベル周辺全体の状態を把握しつつ、検知された人の状態を把握することが可能となり、今後の安全行動をとりやすくなる。
また、本実施形態では、ショベル画像も周辺画像の一部領域に合わせて拡大した拡大監視用画像が生成されるが、周辺画像の一部領域だけを拡大し、ショベル画像を拡大しない拡大監視用画像が生成されてもよい。
また、本実施形態では、ショベル画像の少なくとも一部を含む拡大監視画像が生成されるが、例えば、ショベル画像を含まない拡大監視用画像が生成されてもよい。
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述した実施形態では、監視用画像内における検知された人の位置が、他の位置よりも重視（強調）される表示態様として、拡大監視用画像、別視点監視画像、及び、部分別視点監視用画像が例示されるが、これらには限定されない。例えば、表示制御部３０２は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、通常監視用画像における検知された人が含まれない領域に、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び、右側方カメラ４０Ｒのそれぞれの撮像画像のうちの検知された人が映っている撮像画像（スルー画像）をそのまま重畳して配置する監視用画像を生成し、表示装置５０に表示させてもよい。これにより、通常監視用画像における人が含まれる領域が強調されるため、オペレータは、検知された人の状況を把握し易くなると共に、検知された人が映るスルー画像を合わせて視認することができるため、オペレータは、検知された人の状況を更に把握し易くなる。
また、例えば、上述した実施形態では、コントローラ３０（周辺監視システム１００）は、監視対象として人を検知するが、人を含む或いは人以外の物体（例えば、ショベルの周辺の他の作業機械、車両、仮置きされている工材等）を検知してもよい。この場合、コントローラ３０（表示制御部３０２）は、監視対象の物体の検知の有無に応じて、上述と同様に、監視用画像の表示態様を変化させる。
尚、本願は、２０１６年１１月１日に出願した日本国特許出願２０１６−２１４７１４号に基づく優先権を主張するものであり、その日本国特許出願の全内容を本願に参照により援用する。
３０ コントローラ
３０１ 人検知部
３０２ 表示制御部
４０ 撮像装置
４０Ｂ 後方カメラ
４０Ｌ 左側方カメラ
４０Ｒ 右側方カメラ
５０ 表示装置
１００ 周辺監視システム（作業機械用周辺監視システム）
上記目的を達成するため、本発明の一実施形態では、
作業機械のキャビン内に設けられる表示装置と、
前記作業機械の周辺を撮像する撮像装置と、
前記撮像装置の撮像画像に基づき前記作業機械の周辺画像を生成すると共に、前記作業機械を模式的に表す作業機械画像と、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周辺画像とを含む監視用画像を前記表示装置に表示させる表示制御部と、を備え、
前記表示制御部は、前記監視用画像における前記周辺画像の一部領域であって、前記作業機械画像よりも前記周辺画像に含まれる所定の対象物に近い位置を中心とし且つ前記対象物が含まれる一部領域を拡大した拡大監視用画像を前記表示装置に表示させる、
作業機械用周辺監視システムが提供される。
ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５、及びバケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９により油圧駆動される。
物体検知センサ４２は、ショベルの運転中、所定周期ごとに、上部旋回体３の周辺（具体的には、上部旋回体３の後方、左側方、及び、右側方）の検知結果をコントローラ３０に出力し、検知結果は、コントローラ３０に取り込まれる。
また、カメラ画像表示領域ＩＰｍの下部には、上部旋回体３のカバーの後端上縁の画像である車体画像としてのカバー画像ＩＰｑが含まれる。これにより、表示装置５０は、カメラ画像表示領域ＩＰｍに表示される物体とショベルとの間の距離感をオペレータがより容易に掴めるようにする。また、本実施例では、向き表示アイコンＩＰｘは、カバー画像ＩＰｑ上に重畳表示される。向き表示アイコンＩＰｘの背景色が常に同じになるようにしてその視認性を高めるためである。また、カメラ画像の見たい部分を向き表示アイコンＩＰｘが隠してしまうのを防止するためである。但し、向き表示アイコンＩＰｘは、カメラ画像表示領域ＩＰｍの外部に表示されてもよい。
尚、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合に、監視用画像の表示態様が変更される機能は、オペレータによる操作によりＯＮ／ＯＦＦされうる態様であってよい。例えば、オペレータは、上述した表示装置５０のタッチパネル式の表示部５０Ａに表示されるソフトウェアによる操作対象（所定のアイコンボタン等）やハードウェアによる操作部５０Ｂ等に対する操作により、当該機能をＯＮ／ＯＦＦ可能であってよい。
尚、通常監視用画像から拡大監視用画像への表示態様の変更仕様は、拡大監視用画像の中心がショベル画像より検知された人に近づく範囲で、表示装置５０のタッチパネル式の表示部５０Ａやハードウェアによる操作部５０Ｂを用いたオペレータの操作によって、適宜調整可能であってもよい。例えば、オペレータは、タッチパネル式の表示部５０Ａや操作部５０Ｂに対する操作により、拡大率や拡大監視用画像の中心をショベル画像ＣＧからずらし量（表示部５０ＡにおけるＸ軸方向及びＹ軸方向のずらし量）等の設定値を調整可能であってよい。また、例えば、オペレータは、表示部５０Ａに通常監視用画像が表示されている状態で、タッチパネル式の表示部５０Ａや操作部５０Ｂに対する操作によって、通常監視用画像を好みの中心位置で好みの拡大率に拡大させた上で、所定の確定操作を行うことにより、拡大監視用画像の中心位置及び拡大率を設定可能であってよく、人が検知されたエリア（後方、左側方、或いは、右側方）ごとに、複数の仕様を設定可能であってもよい。また、例えば、オペレータは、表示部５０Ａに拡大監視用画像が表示されている状態で、タッチパネル式の表示部５０Ａや操作部５０Ｂに対する操作により、拡大監視用画像に含まれる周辺画像ＥＰの範囲を、検知された人が含まれる範囲で適宜調整可能であってもよい。これにより、周辺監視システム１００は、オペレータによる好みにあった拡大監視用画像を表示装置５０に表示させることができる。以下、図５〜図７、図９の場合についても同様である。
具体的には、図８に示すように、表示制御部３０２は、撮像装置４０の撮像画像に基づき、ショベルの後方斜め上（本例の場合、ショベルの後方の水平面から４５度上方の角度方向。以下、図９についても同様）の仮想視点から見た視点変換画像としての周辺画像ＥＰを生成する。そして、表示制御部３０２は、当該周辺画像と同様のショベルの後方斜め上の仮想視点から見たショベル画像ＣＧと、ショベルと撮像装置４０の撮像範囲との相対位置関係と合わせてショベル画像ＣＧの周囲に配置される周辺画像ＥＰを含む別視点監視用画像を表示装置５０に表示させる。これにより、オペレータがショベルの後方斜め上から作業者とショベルを見た状態を仮想的に実現できるため、オペレータは、ショベルの後方の検知された人（作業者Ｗ１）とショベルとの位置関係（距離感）を把握し易くなる。
また、表示制御部３０２は、ショベルの前方斜め上の仮想視点から見た視点変換画像としての周辺画像を含む別視点監視用画像を生成し、表示装置５０に表示させてもよい。これにより、オペレータがショベルの前方斜め上から検知された人（作業者Ｗ１）とショベルを見た状態を仮想的に実現できるため、オペレータは、検知された人を含むショベルの後方の領域の視野が広がり、作業者の状況を把握し易くなる。
尚、撮像装置４０は、ショベル（上部旋回体３）の前方を撮像するカメラ（前方カメラ）を含んでもよく、併せて、人検知部３０１は、ショベルの前方を含む所定領域内の人を検知してよい。この場合、表示制御部３０２は、ショベルの周囲の水平方向３６０°の範囲を真上から見た俯瞰画像と水平画像とを組み合わせた周辺画像を含む通常監視用画像を生成してよい。そして、表示制御部３０２は、人検知部３０１によりショベルから見て相対的に前方にいる人が検知された場合、後方にいる人が検知された場合と同様、仮想視点の水平面に対する角度方向を真上から前方或いは後方にずらした斜め上方向から見た視点変換画像としての周辺画像を含む別視点監視用画像を生成し、表示装置５０に表示させてよい。これにより、周辺監視システム１００は、ショベルから見て相対的に後方にいる人が検知された場合と同様、オペレータに対して、監視用画像における検知された人（作業者Ｗ１）の把握を促すことができる。以下、部分別視点監視用画像の場合についても同様である。
続いて、図９は、表示装置５０に表示される部分別視点監視用画像の一例を示す図である。以下、図９は、図４Ａの通常監視用画像から切り替えられた部分別視点監視用画像である前提で説明を進める。
具体的には、図９に示すように、表示制御部３０２は、撮像装置４０の撮像画像に基づき、ショベルの後方斜め上の仮想視点から視点変換画像であって、通常監視用画像の検知された人のいる部分を含む一部領域に対応する視点変換画像としての周辺画像を生成する。そして、表示制御部３０２は、当該周辺画像と同様のショベル後方斜め上の仮想視点から見たショベル画像ＣＧの一部と、ショベルと撮像装置４０の撮像範囲との相対位置関係を合わせてショベル画像ＣＧ（の一部）の周囲に配置される周辺画像ＥＰを含む部分別視点監視用画像を表示装置５０に表示させる。これにより、別視点監視用画像の場合と同様、オペレータがショベルの後方斜め上から作業者とショベルを見た状態を仮想的に実現できるため、オペレータは、ショベルの後方の検知された人（作業者Ｗ１）とショベルとの位置関係（距離感）を把握し易くなる。また、本例では、通常監視用画像内の検知された人が含まれる一部領域だけが部分別視点監視用画像として表示装置５０に表示されるため、オペレータは、検知された人の状況を更に把握し易くなる。
また、表示制御部３０２は、通常監視用画像の検知された人を含む一部領域をショベルの前方斜め上の仮想視点から見た視点変換画像としての周辺画像を含む部分別視点監視用画像を生成し、表示装置５０に表示させてもよい。これにより、別視点監視用画像の場合と同様、オペレータがショベルの前方斜め上から検知された人（作業者Ｗ１）とショベルを見た状態を仮想的に実現できるため、検知された人を含むショベルの後方の領域の視野が広がり、オペレータは、作業者の状況を把握し易くなる。

Claims (8)

  1. 作業機械のキャビン内に設けられる表示装置と、
    前記作業機械の周辺を撮像する撮像装置と、
    前記撮像装置の撮像画像に基づき前記作業機械の周辺画像を生成すると共に、前記作業機械を模式的に表す作業機械画像と、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周辺画像とを含む監視用画像を前記表示装置に表示させる表示制御部と、
    前記作業機械の周辺の所定領域内で人を検知する人検知部と、を備え、
    前記表示制御部は、前記人検知部により前記所定領域内で人が検知された場合、前記監視用画像における前記周辺画像の一部領域であって、前記作業機械画像よりも前記周辺画像に含まれる前記人に近い位置を中心とする、前記人が含まれる一部領域を拡大した拡大監視用画像を前記表示装置に表示させる、
    作業機械用周辺監視システム。
  2. 前記表示制御部は、前記人検知部により前記所定領域内で人が検知された場合、前記作業機械画像の少なくとも一部を含む前記拡大監視用画像を前記表示装置に表示させる、
    請求項１に記載の作業機械用周辺監視システム。
  3. 前記表示制御部は、前記人検知部により前記所定領域内で人が検知された場合、前記周辺画像に含まれる前記人の位置を中心とする前記一部領域を拡大した前記拡大監視用画像を前記表示装置に表示させる、
    請求項１又は２に記載の作業機械用周辺監視システム。
  4. 前記表示制御部は、前記人検知部により前記所定領域内で２以上の人が検知された場合、前記作業機械画像よりも、前記周辺画像に含まれる前記２以上の人の位置で規定される図形の略図心位置に近い位置を中心とする、前記２以上の人が含まれる前記一部領域を拡大した前記拡大監視用画像を前記表示装置に表示させる、
    請求項１又は２に記載の作業機械用周辺監視システム。
  5. 前記表示制御部は、前記人検知部により前記所定領域内で２以上の人が検知された場合、前記図形の略図心位置を中心とする、前記２以上の人が含まれる前記一部領域を拡大した前記拡大監視用画像を前記表示装置に表示させる、
    請求項４に記載の作業機械用周辺監視システム。
  6. 前記表示制御部は、前記人検知部により前記所定領域内で２以上の人が検知された場合、前記周辺画像に含まれる前記２以上の人のうちの前記作業機械に最も近い人の位置を中心とする前記一部領域を拡大した前記拡大監視用画像を前記表示装置に表示させる、
    請求項１又は２に記載の作業機械用周辺監視システム。
  7. 前記表示制御部は、前記人検知部により前記所定領域内で人が検知された場合、前記一部領域に合わせて前記作業機械画像も拡大した前記拡大監視用画像を前記表示装置に表示させる、
    請求項２に記載の作業機械用周辺監視システム。
  8. 前記表示制御部は、前記人検知部により前記所定領域内で人が検知された場合、前記周辺画像における前記作業機械から所定距離内の近傍領域の全てが含まれる前記一部領域を拡大した前記拡大監視用画像を前記表示装置に表示させる、
    請求項１乃至７の何れか一項に記載の作業機械用周辺監視システム。
JP2018549017A 2016-11-01 2017-10-31 作業機械用周辺監視システム、表示装置 Active JP7171436B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016214714 2016-11-01
JP2016214714 2016-11-01
PCT/JP2017/039339 WO2018084146A1 (ja) 2016-11-01 2017-10-31 作業機械用周辺監視システム

Publications (2)

Publication Number Publication Date
JPWO2018084146A1 true JPWO2018084146A1 (ja) 2019-09-19
JP7171436B2 JP7171436B2 (ja) 2022-11-15

Family

ID=62076199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018549017A Active JP7171436B2 (ja) 2016-11-01 2017-10-31 作業機械用周辺監視システム、表示装置

Country Status (6)

Country Link
US (1) US11047113B2 (ja)
EP (1) EP3537713B1 (ja)
JP (1) JP7171436B2 (ja)
KR (1) KR102256384B1 (ja)
CN (1) CN109314769B (ja)
WO (1) WO2018084146A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7155516B2 (ja) * 2017-12-20 2022-10-19 コベルコ建機株式会社 建設機械
JP7160702B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
JP2020148074A (ja) * 2019-03-15 2020-09-17 ヤンマーパワーテクノロジー株式会社 作業機械の接触防止装置
EP3960937A4 (en) * 2019-04-26 2022-06-22 Sumitomo Construction Machinery Co., Ltd. SHOVEL AND SAFETY EQUIPMENT CONFIRMATION SYSTEM FOR WORKSITE
EP3960543A4 (en) * 2019-04-26 2022-07-06 Sumitomo Construction Machinery Co., Ltd. DISPLAY DEVICE, SHOVEL, INFORMATION PROCESSING DEVICE
JP2020183623A (ja) * 2019-04-26 2020-11-12 住友建機株式会社 ショベル
JP7379866B2 (ja) * 2019-05-21 2023-11-15 コベルコ建機株式会社 作業機械
JP7096216B2 (ja) * 2019-08-21 2022-07-05 株式会社竹内製作所 作業用車両
CN113128742B (zh) * 2020-01-14 2024-03-22 中联重科股份有限公司 工程机械的施工方法、装置、可读存储介质和处理器
JPWO2022054345A1 (ja) 2020-09-14 2022-03-17
JP2022063383A (ja) * 2020-10-12 2022-04-22 ヤンマーホールディングス株式会社 作業車両
JP2024042407A (ja) * 2022-09-15 2024-03-28 株式会社小松製作所 作業機械の表示システム、作業機械、及び作業機械の表示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014183497A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2015184839A (ja) * 2014-03-21 2015-10-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1083076A3 (en) * 1999-09-07 2005-01-12 Mazda Motor Corporation Display apparatus for vehicle
JP4010444B2 (ja) * 2002-02-28 2007-11-21 シャープ株式会社 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム
US20030193562A1 (en) * 2002-04-15 2003-10-16 Corzillus Brian S. Natural vision-based video surveillance system
JP3982504B2 (ja) * 2004-01-23 2007-09-26 日産自動車株式会社 車両用暗視カメラ装置および表示装置
US8035531B2 (en) * 2005-10-31 2011-10-11 Toyota Jidosha Kabushiki Kaisha Parking support device
JP4707109B2 (ja) 2006-03-02 2011-06-22 アルパイン株式会社 複数カメラ撮影画像処理方法及び装置
TW200739125A (en) * 2006-04-14 2007-10-16 Quarton Inc Target searching device and image displaying method thereof
US8170787B2 (en) * 2008-04-15 2012-05-01 Caterpillar Inc. Vehicle collision avoidance system
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
JP5066198B2 (ja) * 2010-02-09 2012-11-07 住友建機株式会社 作業機械のモニタ装置
JP5604146B2 (ja) * 2010-03-25 2014-10-08 富士通テン株式会社 車載照明装置、画像処理装置、画像表示システム及び照明方法
EP2570556B1 (en) * 2010-06-18 2021-04-28 Hitachi Construction Machinery Co., Ltd. Device for monitoring area around work machine
JP5775283B2 (ja) * 2010-10-08 2015-09-09 住友建機株式会社 作業機械のモニタ装置
US9019347B2 (en) * 2011-10-13 2015-04-28 Aisin Seiki Kabushiki Kaisha Image generator
JP5888956B2 (ja) * 2011-12-13 2016-03-22 住友建機株式会社 ショベル及び該ショベルの周囲画像表示方法
WO2013105597A1 (ja) * 2012-01-12 2013-07-18 日立建機株式会社 自走式産業機械の周囲監視装置
KR20130097913A (ko) * 2012-02-27 2013-09-04 주식회사 경우시스테크 파노라마 영상이 제공되는 안전 시스템을 구비한 굴삭기
JP6029306B2 (ja) * 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
JP5988683B2 (ja) * 2012-05-15 2016-09-07 日立建機株式会社 自走式産業機械の表示装置
JP5814187B2 (ja) * 2012-06-07 2015-11-17 日立建機株式会社 自走式産業機械の表示装置
JP5938292B2 (ja) * 2012-08-03 2016-06-22 日立建機株式会社 運搬車両の監視装置
JP6029941B2 (ja) * 2012-11-08 2016-11-24 住友重機械工業株式会社 舗装機械用画像生成装置
CN102938827B (zh) * 2012-11-29 2016-05-11 深圳英飞拓科技股份有限公司 一种分层监控指挥系统及跨摄像头虚拟跟踪方法
JP2014110604A (ja) * 2012-12-04 2014-06-12 Denso Corp 車両周辺監視装置
EP2955914B1 (en) * 2013-02-08 2018-10-17 Hitachi Construction Machinery Co., Ltd. Surroundings monitoring device for slewing-type work machine
JP6456584B2 (ja) * 2013-03-19 2019-01-23 住友重機械工業株式会社 作業機械用周辺監視装置
JP6545430B2 (ja) * 2013-03-19 2019-07-17 住友重機械工業株式会社 ショベル
WO2015006916A1 (zh) * 2013-07-16 2015-01-22 北京机械设备研究所 适用于高层和超高层建筑火灾扑救消防车的控制方法
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
JP6204884B2 (ja) * 2014-07-25 2017-09-27 日立建機株式会社 旋回式作業機の周囲表示装置
JPWO2016157463A1 (ja) * 2015-03-31 2018-01-18 株式会社小松製作所 作業機械の周辺監視装置
US20160301863A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Image processing system for generating a surround-view image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014183497A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2015184839A (ja) * 2014-03-21 2015-10-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法

Also Published As

Publication number Publication date
WO2018084146A1 (ja) 2018-05-11
KR20190077246A (ko) 2019-07-03
EP3537713B1 (en) 2021-09-01
EP3537713A4 (en) 2019-10-16
US20190218754A1 (en) 2019-07-18
EP3537713A1 (en) 2019-09-11
KR102256384B1 (ko) 2021-05-25
JP7171436B2 (ja) 2022-11-15
CN109314769B (zh) 2022-06-07
CN109314769A (zh) 2019-02-05
US11047113B2 (en) 2021-06-29

Similar Documents

Publication Publication Date Title
WO2018084146A1 (ja) 作業機械用周辺監視システム
JP6216097B2 (ja) 作業機械の周辺監視装置
JP6427597B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP7108750B2 (ja) システムおよび方法
KR101843382B1 (ko) 크롤러식 작업 기계의 주변 감시 장치
JP6200121B2 (ja) 作業機械の周辺監視装置
JP5750344B2 (ja) 作業機の周囲監視装置
WO2019244574A1 (ja) 掘削機、情報処理装置
JP5341044B2 (ja) 作業機械の表示システム
JP2008163719A (ja) 作業機械の周囲監視装置
JP2016194237A (ja) 作業機械
KR20200133720A (ko) 쇼벨
JP2020183624A (ja) ショベル
JP2020183623A (ja) ショベル
JP6917167B2 (ja) 建設機械用俯瞰画像表示装置
EP3733982B1 (en) Shovel and output device of shovel
JP6980391B2 (ja) 作業機械用周辺監視システム
WO2021187082A1 (ja) 作業機械および作業機械の制御方法
JP7396987B2 (ja) ショベル
JP7399836B2 (ja) 作業車両
JP2023176830A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023129871A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
CN115362297A (zh) 工程机械的周边检测装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190325

A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20200715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221102

R150 Certificate of patent or registration of utility model

Ref document number: 7171436

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150