KR20140060321A - 작업기의 주위 감시 장치 - Google Patents

작업기의 주위 감시 장치 Download PDF

Info

Publication number
KR20140060321A
KR20140060321A KR1020147007785A KR20147007785A KR20140060321A KR 20140060321 A KR20140060321 A KR 20140060321A KR 1020147007785 A KR1020147007785 A KR 1020147007785A KR 20147007785 A KR20147007785 A KR 20147007785A KR 20140060321 A KR20140060321 A KR 20140060321A
Authority
KR
South Korea
Prior art keywords
image
camera
virtual viewpoint
display
range
Prior art date
Application number
KR1020147007785A
Other languages
English (en)
Inventor
히데후미 이시모토
Original Assignee
히다찌 겐끼 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 히다찌 겐끼 가부시키가이샤 filed Critical 히다찌 겐끼 가부시키가이샤
Publication of KR20140060321A publication Critical patent/KR20140060321A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Abstract

작업기의 주위 상황을 정확하면서도 또한 양호한 시인성으로 감시하여, 작업기의 안전성이나 작업 효율을 향상시키는 것을 목적으로 한다.
상부 선회체(5)에 복수대가 설치되어, 그 중 2대가 서로 시야 범위를 부분적으로 중복되도록 설치한 복수대의 카메라와, 각 카메라로 취득한 카메라 화상에 의거하여 상방 시점이 되도록 시점 변환된 가상 시점 화상을 생성하는 시점 변환부(23)와, 시점 변환부(23)가 생성한 복수의 가상 시점 화상을 각각에 대응한 표시 영역에 표시하도록 합성한 합성 화상을 생성하는 화상 합성부(24)와, 합성 화상을 제1 화상으로서, 각 카메라 중 어느 하나의 카메라가 촬영하고 있는 화상이며 가상 시점 화상 간의 경계선을 시야 내에 포함하는 화상을 제2 화상으로서, 제1 화상과 제2 화상을 포함하는 표시 화상을 생성하는 표시 화상 생성부(25)와, 표시 화상을 화면 상에 표시하는 모니터(14)를 구비하고 있다.

Description

작업기의 주위 감시 장치{SURROUNDINGS MONITORING DEVICE FOR WORK MACHINE}
본 발명은 작업기의 안전 확보 등을 위하여 설치되어, 작업기의 주위 상황을 감시하는 작업기의 주위 감시 장치에 관한 것이다.
작업기의 일례로서의 유압 셔블은, 자주식의 작업기이며, 크롤러식 또는 휠식의 주행 수단을 갖는 하부 주행체를 구비하고 있다. 하부 주행체에는 선회 장치를 개재하여 상부 선회체가 설치되어 있다. 상부 선회체에는 토사의 굴삭 등의 작업을 행하기 위한 작업 수단이 마련되어 있다. 이 작업 수단은, 상부 선회체에 부앙 동작 가능하게 연결한 붐과, 이 붐의 선단부에 상하 방향으로 회동 가능하게 연결한 아암을 구비하고 있고, 토사의 굴삭 등의 작업을 행하는 버킷이 어태치먼트로서, 아암의 선단부에 링크 기구를 통하여 연결되어 있다. 이들에 의해, 다관절 작업 기구를 구성하고 있다.
유압 셔블 등의 자주식 작업기에 있어서, 작업의 안전을 확보하여, 작업기의 조작성 향상을 도모하기 위해, 선회체의 주위 상황을 감시하는 주위 감시 장치를 설치한 것이 종래부터 사용되고 있다. 이 주위 감시 장치는, 카메라를 상부 선회체에 장착하는 동시에, 운전실에 있어서, 오퍼레이터(운전자)가 착석하는 운전실의 전방 위치에 모니터를 설치함으로써 구성하고 있다. 이 모니터에는 카메라가 촬영한 화상이 동화상 상태의 영상으로서 표시된다.
그런데, 카메라는 상부 선회체에 고정적으로 보유 지지되고 있으며, 그 시야 범위는 한정되어 있다. 작업 대상이 되는 전방 위치의 시야가 필요한 것은 당연한 것이지만, 상부 선회체의 후방 및 좌우의 양측방 시야를 얻기 위해, 상부 선회체에는 복수의 카메라를 장착하는 구성으로 하고 있다. 이에 의해, 상부 선회체의 대략 전체 둘레에 걸친 시야를 확보할 수 있어, 작업의 안전 확보 및 작업기 조작성의 향상을 도모하고 있다.
이러한 종류의 작업기의 주위 감시 장치가 특허 문헌 1에 개시되어 있다. 이 특허 문헌 1의 기술에서는, 유압 셔블의 우측 방향, 좌측 방향, 후방을 촬영하는 각 카메라를 설치하는 구성으로 하고 있으며, 각 카메라의 화상에 대하여 카메라의 시점을 상방으로 가상적으로 이동했을 때의 가상 시점 화상(부감 화상)을 표시하도록 하고 있다. 이 가상 시점 화상을 표시함으로써, 동적 또는 고정적인 장해물과 작업기까지의 거리를 정확하게 파악할 수 있다.
일본 특허 공개 제2008-248613호 공보
특허 문헌 1에서 나타낸 바와 같이, 작업기의 상방에 가상 시점을 둔 가상 시점 화상을 생성하여 표시함으로써, 장해물과 작업기까지의 거리를 한번에 정확하게 파악할 수 있다. 이에 의해, 작업기의 주위 상황을 오퍼레이터가 인식할 수 있게 되어, 작업의 안전성을 향상시키는 점에서 매우 높은 효과를 발휘한다. 특허 문헌 1에서는, 복수 카메라의 가상 시점 화상을 합성하여 파노라마 화상을 구성하고, 현재의 파노라마 화상과 과거의 파노라마 화상을 중첩함으로써, 표시용의 파노라마 화상을 생성하고 있다.
그런데, 파노라마 화상은 복수의 가상 시점 화상을 합성하여 생성되는 것이지만, 각 가상 시점 화상의 기초가 되는 화상은 다른 시야를 촬영하고 있는 카메라가 된다. 즉, 작업기 차체의 좌우 측방 및 후방을 시야로 하는 각각의 카메라가 촬영한 화상을 상방에 가상 시점을 두고 수평면으로 전개한 화상이 가상 시점 화상이 된다. 이때, 후방의 가상 시점 화상과 측방의 가상 시점 화상 사이의 경계부는, 후방 카메라와 측방 카메라에서 시야 범위가 부분적으로 중복되고 있다. 이에 의해, 가상 시점 화상에서 표시되지 않은 영역을 없애도록 하고 있다.
그러나 가상 시점 화상은, 경사 상방으로부터 촬영하고 있는 카메라의 시점을 상방에 가상적으로 설치한 경우에 수평면 방향으로 전개한 화상이며, 가상 시점 화상 간의 경계부에 입체물이 존재할 경우, 그 입체물의 상부(지면보다 높은 부분)가 가상 시점 화상으로부터 소실될 가능성이 있다. 이 경우에는, 가상 시점 화상을 합성하여 표시한 파노라마 화상에 있어서, 경계부에 위치하고 있는 입체물의 상부가 표시되지 않게 된다. 따라서, 실제로는 작업기의 근방에 고정적 또는 동적인 장해물이 존재함에도, 가상 시점 화상으로부터 장해물이 소실되어, 오퍼레이터는 장해물의 존재를 인식할 수 없게 된다. 이에 의해, 작업기의 주위 상황을 정확하게 감시할 수 없게 된다.
또한, 가상 시점 화상 간의 경계부에 장해물이 존재하고 있는 경우, 입체물의 전부가 아닌 일부가 가상 시점 화상에 표시되지 않게 되는 경우도 있다. 이 경우에는, 가상 시점 화상으로부터 장해물의 일부가 소실되지만, 일부는 가상 시점 화상에 출현하고 있는 상태가 된다. 단, 가상 시점 화상에는 장해물의 일부만이 표시되어 있고, 오퍼레이터는 가상 시점 화상을 주의하여 시인하고 있지 않으면, 역시 장해물의 존재를 간과하는 경우가 있다. 이에 의해, 오퍼레이터가 직감적으로 장해물의 존재를 파악할 수 없으므로, 작업기의 주위 상황을 충분히 감시할 수 없게 된다.
따라서, 본 발명은 작업기의 주위 상황을 정확하면서도 또한 양호한 시인성으로 감시하여, 작업기의 안전성이나 작업 효율을 향상시키는 것을 목적으로 한다.
이상의 과제를 해결하기 위해, 본 발명의 작업기의 주위 감시 장치는, 주행체에 대하여 선회 가능한 선회체에 프론트 작업기를 설치한 작업기의 주위를 감시하기 위한 작업기의 주위 감시 장치이며, 상기 선회체에 복수대가 설치되고, 그 중 2대가 서로 시야 범위를 부분적으로 중복되도록 설치한 복수대의 카메라와, 상기 각 카메라로 취득한 카메라 화상에 의거하여 상방 시점이 되도록 시점 변환한 가상 시점 화상을 생성하는 시점 변환부와, 상기 시점 변환부가 생성한 복수의 상기 가상 시점 화상을 각각에 대응한 표시 영역에 표시하도록 합성한 합성 화상을 생성하는 화상 합성부와, 상기 합성 화상을 제1 화상으로 하고, 상기 각 카메라 중 어느 하나의 카메라가 촬영하고 있는 화상이며 상기 가상 시점 화상 간의 경계선을 시야 내에 포함하는 화상을 제2 화상으로 하여, 상기 제1 화상과 상기 제2 화상의 양자를 포함하는 표시 화상을 생성하는 표시 화상 생성부와, 상기 표시 화상 생성부가 생성한 상기 표시 화상을 화면 상에 표시하는 모니터를 구비하고 있는 것을 특징으로 한다.
이 작업기의 주위 감시 장치에 의하면, 제1 화상과 제2 화상의 양자를 모니터에 표시함으로써, 가상 시점 화상의 경계부에 장해물이 존재하고 있음으로써 가상 시점 화상으로부터 장해물의 일부 또는 전부가 소실되었다고 해도, 장해물의 존재를 제2 화상에서 명확하게 인식할 수 있다. 이에 의해, 오퍼레이터에게 작업기의 주위 상황을 정확하면서도 또한 양호한 시인성으로 인식시킬 수 있어, 안전성이나 작업 효율을 향상시킬 수 있다.
또한, 상기 표시 화상 생성부는, 상기 제2 화상 중에서의 상기 각 가상 시점 화상의 표시 범위를 나타내는 가상 표시 범위를 상기 제2 화상에 대하여 중첩 표시를 하는 것을 특징으로 한다.
제2 화상의 표시계로, 각 가상 시점 화상의 범위를 가상 표시 범위로서 중첩 표시함으로써, 이 가상 표시 범위와 장해물의 관계에서, 장해물의 소실 가능성을 오퍼레이터는 명확하게 인식할 수 있다. 이에 의해, 작업기의 주위 상황을 보다 정확하면서도 또한 양호한 시인성으로 인식할 수 있어, 안전성이나 작업 효율을 향상시킬 수 있다.
또한, 상기 표시 화상 생성부는, 상기 제2 화상 중에서의 인접하는 상기 가상 시점 화상 간의 영역 중 입체물의 상부가 소실될 가능성이 있는 범위를 나타내는 소실 범위를 상기 제2 화상에 대하여 중첩 표시하는 것을 특징으로 한다.
제2 화상의 표시계로, 인접하는 가상 시점 화상 간의 영역 중 입체물이 소실될 가능성이 있는 범위를 나타내는 소실 범위로서 중첩 표시함으로써, 소실 범위 내에 장해물이 존재하고 있는지의 여부에 의해, 장해물의 소실 가능성을 오퍼레이터는 명확하게 인식할 수 있다. 이에 의해, 작업기의 주위 상황을 보다 정확하면서도 또한 양호한 시인성으로 인식할 수 있어, 안전성이나 작업 효율을 향상시킬 수 있다.
또한, 상기 표시 화상 생성부는, 상기 제2 화상 중에서의 상기 가상 표시 범위 및 인접하는 상기 가상 시점 화상 간의 영역 중 입체물의 상부가 소실될 가능성이 있는 범위를 나타내는 소실 범위를 상기 제2 화상에 대하여 중첩 표시하고, 상기 가상 표시 범위와 상기 소실 범위를 다른 표시 형식으로 표시시키는 것을 특징으로 한다.
제2 화상에 가상 표시 범위와 소실 범위의 양자를 표시함으로써, 가상 범위 및 소실 범위와 장해물의 관계를 더욱 명확하게 오퍼레이터는 인식할 수 있다. 이에 의해, 작업기의 주위 상황을 정확하면서도 또한 양호한 시인성으로 인식할 수 있어, 안전성이나 작업 효율을 향상시킬 수 있다.
또한, 상기 표시 화상 생성부는, 상기 제2 화상 중에서의 상기 가상 표시 범위와 인접하는 상기 가상 시점 화상 간의 영역 중 입체물의 상부가 소실될 가능성이 있는 범위를 나타내는 소실 범위 중 어느 한쪽 또는 양쪽을 상기 제2 화상에 대하여 중첩 표시하는 것을 가능하게 하여, 상기 가상 표시 범위와 상기 소실 범위의 양자를 중첩 표시할 때에는 이들을 다른 표시 형식으로 표시하고, 상기 가상 표시 범위와 상기 소실 범위 중 어느 한쪽을 표시하는 모드와 양자를 표시하는 모드와 모두 표시하지 않는 모드를 전환 가능하게 구성한 것을 특징으로 한다.
숙련도가 낮은 오퍼레이터이면, 가상 표시 범위와 소실 범위 중 어느 한쪽 또는 양쪽을 제2 화상에 중첩 표시함으로써, 장해물의 소실 가능성을 오퍼레이터에게 인식시키는 어시스트를 행할 수 있다. 한편, 숙련도가 높은 오퍼레이터이면, 가상 표시 범위와 소실 범위를 표시하지 않아도 장해물의 소실 가능성을 인식할 수 있고, 도리어 제2 화상의 시인성을 저하시킨다. 이로 인해, 오퍼레이터의 숙련도에 의해 최적인 표시 형태를 선택할 수 있다.
또한, 상기 카메라가 취득한 상기 카메라 화상에 의거하여 장해물을 검출하는 장해물 검출부를 구비하고, 상기 표시 화상 생성부는 상기 장해물 검출부가 검출한 상기 장해물의 주위에 형성하는 마크를 상기 제1 화상과 상기 제2 화상 중 어느 한쪽 또는 양쪽에 중첩 표시하는 것을 특징으로 한다.
장해물을 나타내는 마크를 제1 화상, 제2 화상에 중첩 표시함으로써, 가상 시점 화상으로부터 장해물이 부분적으로 소실되어도, 마크는 표시되어 있으므로, 이 마크에 의거하여 오퍼레이터는 장해물을 인식할 수 있다. 이에 의해, 오퍼레이터는 장해물을 확실하게 인식할 수 있어, 작업기의 주위 상황을 인식할 수 있다.
본 발명은 카메라가 촬영한 가상 시점 화상뿐만 아니라, 이 가상 시점 화상을 생성하기 위한 기초가 되는 카메라가 촬영한 화상을 모니터에 표시함으로써, 가상 시점 화상 간의 경계에 입체물이 존재함으로써 입체물의 상부가 소실되었다고 해도, 카메라의 화상으로부터 오퍼레이터는 장해물을 인식할 수 있다. 이에 의해, 작업기의 주위 상황을 정확하면서도 또한 양호한 시인성으로 오퍼레이터에게 인식시킬 수 있어, 작업의 안전성 및 작업 효율을 향상시킬 수 있다.
도 1은 작업기의 일례로서의 유압 셔블을 나타내는 외관도이다.
도 2는 유압 셔블의 정면도이다.
도 3은 버킷 감시 카메라의 화상이 선택되어 있을 때의 모니터의 일례를 나타내는 도면이다.
도 4는 표시 컨트롤러 및 이에 접속되는 각 부의 블록도이다.
도 5는 우측 방향 카메라의 화상이 선택되어 있을 때의 모니터의 일례를 나타내는 도면이다.
도 6은 후방 카메라의 화상이 선택되어 있을 때의 모니터의 일례를 나타내는 도면이다.
도 7은 좌측 카메라의 화상이 선택되어 있을 때의 모니터의 일례를 나타내는 도면이다.
도 8은 상부 선회체를 선회했을 때의 모니터의 화면 예를 나타내는 도면이다.
도 9는 각 패턴에 있어서의 카메라 스루 화상에 중첩 표시되는 내용을 나타내는 도면이다.
도 10은 패턴 A에 있어서의 모니터의 화면 예를 나타내는 도면이다.
도 11은 패턴 B에 있어서의 모니터의 화면 예를 나타내는 도면이다.
도 12는 패턴 C에 있어서의 모니터의 화면 예를 나타내는 도면이다.
도 13은 변형예에 있어서의 표시 컨트롤러 및 이에 접속되는 각 부의 블록도이다.
도 14는 변형예에 있어서의 패턴 D의 모니터의 화면 예를 나타내는 도면이다.
도 15는 변형예에 있어서의 패턴 A의 모니터의 화면 예를 나타내는 도면이다.
도 16은 변형예에 있어서의 패턴 B의 모니터의 화면 예를 나타내는 도면이다.
도 17은 변형예에 있어서의 패턴 C의 모니터의 화면 예를 나타내는 도면이다.
이하, 도면을 참조하여, 본 발명의 실시 형태에 대하여 설명한다. 이하에 있어서, 작업기로서 크롤러 주행 수단을 갖는 유압 셔블을 적용한 예를 설명하지만, 예를 들어 휠 로더 등의 유압 셔블 이외의 작업기를 적용할 수도 있다. 또한, 유압 셔블은 크롤러식의 주행 수단이 아닌, 휠식의 주행 수단을 갖고 있는 것이라도 된다.
도 1에 도시한 바와 같이, 유압 셔블(1)은 차체(2)와 프론트 작업기(3)를 갖고 구성하고 있다. 차체(2)는 하부 주행체(4)와 상부 선회체(5)를 갖고 있으며, 하부 주행체(4)와 상부 선회체(5) 사이에는 선회 장치가 설치되어 있다. 상부 선회체(5)에는 오퍼레이터가 탑승하여 유압 셔블(1)을 조작하기 위한 운전실(6)이 설치되어 있고, 또한 토사의 굴삭 등의 작업을 행하는 프론트 작업기(3)가 운전실(6)의 오른쪽에 있어서, 대략 늘어선 위치에 상부 선회체(5)에 설치되어 있다. 상부 선회체(5)에는, 운전실(6) 및 프론트 작업기(3)의 후방 위치에 건물(7) 등이 설치되어 있고, 최후단부에는 카운터 웨이트(8)가 설치되어 있다.
프론트 작업기(3)는 붐(10)과 아암(11)과 버킷(12)을 갖고 구성되는 토사의 굴삭 작업 수단이다. 붐(10)은 그 기단부가 상부 선회체(5)의 프레임에 연결 핀에 의해 축 지지되어서 부앙 동작 가능하게 되어 있다. 붐(10)의 선단부에는 아암(11)이 상하 방향으로 회동 가능하게 연결되어 있고, 붐(10)의 선단부에는 버킷(12)이 회동 가능하게 연결되어 있다. 붐(10)의 부앙 동작은 유압 실린더(10a)를 구동함으로써 행해진다. 또한, 아암(11)은 유압 실린더(11a)에 의해, 버킷(12)은 유압 실린더(12a)에 의해 구동된다.
오퍼레이터는, 운전실(6)에서 전방을 향한 상태에서 조작을 행하는 것이며, 상부 선회체(5)의 전방에는 충분히 넓은 시야가 확보되어 있다. 또한, 운전실(6)의 좌측에 있어서의 경사 전방의 시야도 확보되어 있다. 단, 좌측이라도, 경사 후방에 대해서는, 오퍼레이터는 뒤돌아보지 않으면 직접 시인할 수 없다. 또한, 운전실(6)의 우측에 있어서는, 프론트 작업기(3)가 설치되어 있고, 시야의 상당 부분이 붐(10)에 의해 방해되어, 실질적으로 육안에 의한 시인을 행할 수 없다.
또한, 상부 선회체(5)의 후방에 대해서는, 건물(7) 및 카운터 웨이트(8)가 위치하고 있으며, 오퍼레이터는 운전실(6)의 내부에서 뒤돌아보지 않으면 시야를 얻을 수 없다. 또한, 건물(7) 및 카운터 웨이트(8)의 상면은 높은 위치로 되어 있고, 오퍼레이터는 운전실(6)의 내부에서 뒤돌아보는 자세를 취했다고 해도, 시야가 얻어지는 것은 먼 위치이며, 상부 선회체(5)에 가까운 위치를 시인할 수 없다.
따라서, 상부 선회체(5)의 후방, 좌측 방향 및 우측 방향의 감시를 가능하게 하기 위해서, 감시용의 카메라(13B)[후방 카메라(13B)], 카메라(13R)[우측 방향 카메라(13R)], 카메라(13L)[좌측 방향 카메라(13L)]의 3대의 카메라를, 보조적으로 시야를 확보하기 위해 설치하고 있다. 즉, 카운터 웨이트(8)의 상면에 있어서, 좌우 대략 중간 위치에 후방 카메라(13B)를 설치하고, 건물(7)의 좌측 방향의 상면에는 좌측 방향 카메라(13L)를, 상부 선회체(5)의 우측 건물(7) 또는 탱크의 상면에 우측 방향 카메라(13R)를 설치하고 있다.
후방 카메라(13B)는 상부 선회체(5)의 후방의 넓은 범위의 화상을 취득하고, 이 후방 카메라(13B)와 좌측 방향 카메라(13L)와 우측 방향 카메라(13R)에 의해, 상부 선회체(5)의 운전실(6) 내부에서, 오퍼레이터가 무리 없는 자세로 얻을 수 있는 전방 시야를 제외한 대략 전체 둘레에 걸친 시야를 얻을 수 있게 된다. 또한, 아암(11)의 하부에는 버킷(12)을 시야로 하는 카메라(13F)[버킷 감시 카메라(13F)]가 설치되어 있다.
각 카메라(13B, 13R, 13L)의 렌즈 시야각과 그들 배치 위치에 의해, 적어도 각 렌즈의 시야 범위의 일부가 오버랩되도록 설정되어 있다. 구체적으로는, 후방 카메라(13B) 시야각의 좌우 양측 부분이 좌우 카메라(13R, 13L)의 시야각이 부분적으로 중복되도록 하고 있다. 이에 의해, 상부 선회체(5)의 주위에 있어서, 블라인드가 되는 부위가 없게 된다.
그리고 운전실(6)의 내부에는 모니터(14)가 설치되어 있고, 각 카메라(13B, 13R, 13L)로부터 취득한 화상이 모니터(14)에 동화상 상태로 하여 표시된다. 모니터(14)에는, 각 카메라(13B, 13R, 13L)로 취득한 카메라 화상이 그대로 화상(카메라 스루 화상)으로서 표시되고, 또한 상방 시점이 되도록 시점 변환된 화상(가상 시점 화상)으로서도 표시된다. 카메라 스루 화상과 가상 시점 화상은 1개의 화면으로 양자가 동시에 표시된다.
여기서, 후방 카메라(13B)를 예로 들면, 도 2에 도시한 바와 같이, 후방 카메라(13B)가 상부 선회체(5)의 후방에 대하여 각도 θ를 가진 경사 하방으로 대물 렌즈의 광축을 향하게 하고 있다. 이때에, 유압 셔블(1)의 하부 주행체(4)의 접지면을 L이라 하고, 이 접지면(L)에 대하여 각도 θ를 가진 카메라 화상을 얻을 수 있다. 이 접지면(L)을 가상 평면으로 한 가상 시점(VF)의 광축이 수직 방향(수평면과 직교하는 방향)이 되도록 좌표 변환한 화상이 가상 시점 화상으로서 생성된다. 즉, 가상 시점(VF)으로부터 접지면(L)을 내려다본 가상적인 화상이 가상 시점 화상이 된다.
이에 의해, 각도 θ를 가진 경사 상방으로부터의 카메라 화상이 가상 시점 화상(또는 부감 화상)으로 변환되어, 모니터(14)에 표시된다. 또한, 좌우의 양측 카메라(13R, 13L)도 후방 카메라(13B)와 마찬가지로, 접지면(L)에 대한 광축의 경사각은 θ로 한다. 후방 카메라(13B)는 상부 선회체(5)의 후방을 향하고 있는 것에 반해, 좌우의 카메라(13R, 13L)는 측방을 향하고 있다. 즉, 가상 평면으로서의 접지면(L)에 대한 후방 카메라(13B)의 방향과 좌우 양측의 카메라(13L, 13R)에서는 대략 90도 다르다. 즉, 각 카메라(13B, 13R, 13L)는 촬영하는 방향이 각각 90도 다르도록 하고 있다.
또한, 여기에서는, 카메라(13B, 13R, 13L)가 촬영하는 시야의 방향은 90도 다르도록 하고 있지만, 90도가 아니어도, 시야의 방향이 다르면 임의의 각도로 할 수 있다. 또한, 각 카메라(13B, 13R, 13L)는 상부 선회체(5)의 임의의 위치에 설치할 수 있다.
도 3은 모니터(14)의 구성을 나타내고 있다. 이 도면에 도시한 바와 같이, 모니터(14)는 화상이 표시되는 표시부(15)와 스위치를 설치한 입력부(16)를 갖고 구성하고 있다. 표시부(15)는 가상 시점 화상 표시 영역(17)과 카메라 스루 화상 표시 영역(18)을 갖고 있다. 가상 시점 화상 표시 영역(17)은 가상 시점 화상을 표시하는 영역이다. 가상 시점 화상은 제1 화상이며, 유압 셔블의 평면도를 도형화한 작업기 화상(17M)을 중앙 위치에 표시하고 있다. 작업기 화상(17M)의 주위 영역에는, 카메라(13B, 13R, 13L)로 취득한 카메라 화상에 의거하여 시점 변환한 가상 시점 화상이 표시된다.
가상 시점 화상은, 후방 카메라(13B)가 촬영한 카메라 화상에 의거하는 가상 시점 화상인 가상 시점 후방 화상(17B)과, 우측 방향 카메라(13R)로 촬영한 카메라 화상에 의거하는 가상 시점 화상인 가상 시점 우측 방향 화상(17R)과, 좌측 방향 카메라(13L)로 촬영한 카메라 화상에 의거하는 가상 시점 화상인 가상 시점 좌측 방향 화상(17L)을 갖고 있다. 그리고 가상 시점 후방 화상(17B)과 가상 시점 우측 방향 화상(17R) 사이에는 경계부로서의 경계 라인(19R), 가상 시점 후방 화상(17B)과 가상 시점 우측 방향 화상(17R) 사이에는 경계부로서의 경계 라인(19L)이 형성되어 있다.
한편, 카메라 스루 화상 표시 영역(18)에는 카메라 스루 화상이 표시된다. 카메라 스루 화상은 제2 화상이며, 후방 카메라(13B)와 우측 방향 카메라(13R)와 좌측 방향 카메라(13L) 중 어느 하나의 카메라가 촬영하고 있는 화상을 가상 시점으로 변환하지 않고 표시된다. 따라서, 카메라 스루 화상 표시 영역(18)에 표시되어 있는 카메라 스루 화상은 카메라가 촬영하고 있는 화상 바로 그것이 된다.
따라서, 모니터(14)에는 가상 시점 화상과 카메라 스루 화상이 표시된다. 모니터(14)에 표시 제어를 행하기 위한 표시 컨트롤러(20)를 도 4에 도시한다. 이 도면에 도시한 바와 같이, 표시 컨트롤러(20)는 기억 보유 지지부(21)와 화상 보정부(22)와 시점 변환부(23)와 화상 합성부(24)와 표시 화상 생성부(25)와 화상 정형부(26)를 갖고 구성하고 있다. 표시 컨트롤러(20)는 차체 제어부(31)를 구비한 차체 컨트롤러(30)와 접속되어 있고, 차체 컨트롤러(30)로부터 차체 정보를 취득한다.
기억 보유 지지부(21)는 카메라(13B, 13R, 13L)의 촬영 화각이나 렌즈 왜곡 등의 카메라 광학계 파라미터, 탑재 위치·자세 정보, 후술하는 가상 시점 화상으로 변환할 때의 가상 시점 정보, 표시 화상용의 작업기 화상(17M)이나 축척 값 등의 각종 정보를 기억하고 있다.
화상 보정부(22)는 각 카메라(13B, 13R, 13L, 13F)와 접속되어 있고, 각 카메라(13B, 13R, 13L, 13F)로부터 도입한 카메라 화상에 대하여, 기억 보유 지지부(21)에 기억되어 있는 카메라 광학계 파라미터 등에 의거하여, 수차 보정이나 콘트라스트 보정, 색조 보정 등의 화상 보정을 행한다. 이에 의해, 도입한 카메라 화상의 화질을 향상시키고 있다. 화상 보정부(22)가 보정 처리한 카메라 화상은 시점 변환부(23)와 화상 정형부(26)에 출력된다.
시점 변환부(23)는 화상 보정부(22)가 보정 처리한 각 카메라 화상에 의거하여, 이들의 카메라 화상을 상방 시점이 되도록 시점 변환을 행한다. 또한, 시점 변환을 행하는 것은, 후방 카메라(13B), 우측 방향 카메라(13R), 좌측 방향 카메라(13L)가 취득한 카메라 화상이며, 버킷 감시 카메라(13F)가 취득한 카메라 화상은 시점 변환의 처리를 행하지 않는다. 이 시점 변환 처리에 의해, 후방 및 좌우의 양측에 있어서의 가상 시점 후방 화상(17B), 가상 시점 우측 방향 화상(17R), 가상 시점 좌측 방향 화상(17L)이 생성된다.
모니터(14)의 가상 시점 화상 표시 영역(17)에는, 이들 3 방향의 가상 시점 후방 화상(17B), 가상 시점 우측 방향 화상(17R), 가상 시점 좌측 방향 화상(17L)을 위한 표시 영역이 할당되고, 이들의 화상은 각각에 할당된 표시 영역에 표시한다. 즉, 작업기 화상(17M)을 중심으로 하여 후방측 영역에 가상 시점 후방 화상(17B)을 할당하고, 좌측 영역에 가상 시점 좌측 방향 화상(17L)을 할당하고, 우측 영역에 가상 시점 우측 방향 화상(17R)을 할당한다.
가상 시점 후방 화상(17B), 가상 시점 우측 방향 화상(17R), 가상 시점 좌측 방향 화상(17L)의 할당은, 화상 합성부(24)가 행한다. 즉, 화상 합성부(24)는 시점 변환부(23)에 의해 시점 변환 처리가 행해진 가상 시점 후방 화상(17B), 가상 시점 우측 방향 화상(17R), 가상 시점 좌측 방향 화상(17L)을 각각의 영역에 할당하여 합성한다. 이에 의해, 가상 시점 화상이 생성된다. 또한, 전술한 바와 같이, 가상 시점 후방 화상(17B)과 가상 시점 우측 방향 화상(17R)의 경계부를 나타내는 경계 라인(19R), 가상 시점 후방 화상(17B)과 가상 시점 좌측 방향 화상(17L)의 경계부를 나타내는 경계 라인(19L)을 화상 위에 형성한다.
도 3에 도시한 바와 같이, 가상 시점 화상 표시 영역(17)에 표시되는 가상 시점 후방 화상(17B)과 가상 시점 우측 방향 화상(17R)과 가상 시점 좌측 방향 화상(17L)을 통합 표시한 가상 시점 화상에는 위험 존(Z1)과 주의 존(Z2)을 형성하고 있다. 위험 존(Z1)은 유압 셔블(1)과의 충돌을 피해야 할 대상인 장해물(동적 또는 고정적)과 접촉할 우려가 있는 원형의 영역을 나타내고 있다. 이 위험 존(Z1)은 표준적인 선회 자세에서의 프론트 작업기(3)의 아암(11)의 선단부 선회 범위에 의거하여 결정된다.
또한, 주의 존(Z2)은 위험 존(Z1)의 외측에 형성되는 원형의 영역 사이의 링 형상의 영역이며, 오퍼레이터에게 주의를 환기하기 위해 설치한 영역이다. 주의 존(Z2)의 외측 원형의 영역은 위험 존(Z1)의 원형의 대략 배의 반경을 갖는 영역으로서 결정된다. 여기에서는, 가상 시점 화상 표시 영역(17)의 표시 범위는 위험 존(Z1)의 범위와 거의 동등하게 하고 있지만, 위험 존(Z1)보다도 더 여유를 갖게 한 범위를 표시해도 된다.
도 4에 도시한 바와 같이, 화상 보정부(22)가 보정 처리한 카메라 화상은 화상 정형부(26)에 출력된다. 화상 정형부(26)에는 4매의 보정 처리된 카메라 화상[후방 카메라(13B), 좌측 방향 카메라(13L), 우측 방향 카메라(13R) 및 버킷 감시 카메라(13F)의 카메라 화상]이 입력되어 있고, 4매의 카메라 화상 중 어느 1매의 카메라 화상이 선택된다. 이 선택 작업은, 모니터(14)에 설치한 입력부(16)에 의해 행해진다.
즉, 도 3에 도시한 바와 같이, 입력부(16)는 4개의 스위치(16a, 16b, 16c, 16d, 16e)를 갖고 구성되어 있고, 이 중 스위치(16a)는 후술하는 패턴을 선택하기 위한 스위치가 된다. 또한, 스위치(16b)는 좌측 방향 카메라(13L)의 카메라 화상을 선택하기 위한 스위치이며, 스위치(16c)는 후방 카메라(13B)의 카메라 화상을 선택하기 위한 스위치이며, 스위치(16d)는 우측 방향 카메라(13R)의 카메라 화상을 선택하기 위한 스위치이며, 스위치(16e)는 버킷 감시 카메라(13F)의 카메라 화상을 선택하기 위한 스위치이다.
이들 스위치(16b 내지 16e)의 입력을 받아, 화상 정형부(26)는 각 카메라 화상 중 어느 1매의 카메라 화상을 선택한다. 화상 정형부(26)는 선택한 카메라 화상에 대하여 후술하는 가상 시점 범위와 소실 범위 중 어느 한쪽 또는 양쪽을 중첩 표시하는 화상 처리를 행한다. 가상 시점 범위와 소실 범위는 선택된 카메라 화상에 대하여 가이드 심볼로서 중첩 표시된다. 이 가이드 심볼의 패턴은 스위치(16a)에 의해 선택된다. 화상 정형부(26)가 처리한 카메라 화상은 카메라 스루 화상으로서 표시 화상 생성부(25)에 출력된다.
도 4에 도시한 바와 같이, 표시 화상 생성부(25)에는 화상 합성부(24)가 합성 처리한 가상 시점 화상 및 화상 정형부(26)가 처리한 카메라 스루 화상의 2개의 화상이 입력된다. 표시 화상 생성부(25)는 화상 합성부(24)가 3매의 화상[가상 시점 후방 화상(17B), 가상 시점 우측 방향 화상(17R), 가상 시점 좌측 방향 화상(17L)]을 합성한 가상 시점 화상의 중심에 작업기 화상(17M)을 배치하여 가상 시점 화상을 작성한다. 이 가상 시점 화상을 표시부(15)의 가상 시점 화상 표시 영역(17)에 표시한다.
또한, 화상 정형부(26)로부터 입력한 카메라 스루 화상을 카메라 스루 화상 표시 영역(18)에 표시한다. 이에 의해, 모니터(14)의 표시부(15)(표시 화면)의 상부와 하부에 가상 시점 화상과 카메라 스루 화상이 동시에 표시된다. 이들 가상 시점 화상과 카메라 스루 화상을 갖는 화상을 표시 화상으로서 모니터(14)의 표시부(15)에 출력한다. 표시부(15)는 이 표시 화상을 표시하도록 제어한다.
또한, 도 4에 도시한 바와 같이, 표시 컨트롤러(20)는 차체 컨트롤러(30)에 접속되어 있고, 차체 컨트롤러(30)의 차체 제어부(31)로부터 각종 차체 정보를 입력하고 있다. 유압 셔블(1)에는 붐(10), 아암(11) 및 버킷(12)의 각 유압 실린더(10a, 11a, 12a)가 설치되어 있고, 하부 주행체(4)를 구성하는 좌우의 주행 수단을 구동하기 위한 유압 모터와 상부 선회체(5)를 선회 구동하는 선회 모터가 설치되어 있다. 이들 유압 실린더, 유압 모터 및 선회 모터는 유압 작동기로서 총칭되는 것이며, 도 4에서는 이들을 유압 작동기군(32)로서 나타내고 있다.
또한, 운전실(6)의 내부에는 복수의 조작 레버를 갖는 조작 레버군(33)이 설치되어 있고, 오퍼레이터가 조작 레버군(33)을 구성하는 어느 하나의 조작 레버를 조작하면, 그 상방이 차체 제어부(31)에 도입되어, 차체 제어부(31)로부터의 명령에 의해 유압 작동기군(32)을 구성하는 각 유압 작동기가 구동된다. 또한, 조작 레버군(33)으로부터의 알림은 전기 신호로 직접 유압 작동기군(32)에 전달하는 구성을 채용할 수도 있지만, 명령은 유압 신호로 하여, 차체 제어부(31)에는 조작 레버의 조작량에 관한 신호만이 도입되도록 구성해도 된다.
또한, 차체 제어부(31)에는 붐(10), 아암(11) 및 버킷(12)의 상대 각도 및 상부 선회체(5)의 하부 주행체(4)에 대한 선회 각도를 검출하는 각도 검출기(34a, 34b, 34c, 34d)가 각도 검출기군(34)로서 설치되어 있다. 각도 검출기(34a)는 붐(10)의 회동 각도를, 각도 검출기(34b)는 아암(11)의 회동 각도를, 각도 검출기(34c)는 버킷(12)의 회동 각도를, 각도 검출기(34d)는 하부 주행체(4)에 대한 상부 선회체(5)의 선회 각도를 검출하고 있다. 또한, 속도 검출기(35a, 35)가 속도 검출기군(35)으로서 설치되어 있고, 하부 주행체(4)의 좌우 주행 모터(5a, 5b)의 회전 속도를 검출하고 있다.
차체 제어부(31)는 이들 유압 작동기군(32), 조작 레버군(33), 각도 검출기군(34), 속도 검출기군(35)으로부터 각종 정보를 취득하고 있으며, 이들은 차체 정보로서 표시 컨트롤러(20)에 출력된다. 표시 컨트롤러(20)는 차체 정보에 의거하여, 작업기의 자세 정보나 속도 정보, 조작 정보와 같은 각종 정보를 인식한다.
이상이 구성이다. 이어서, 동작에 대하여 설명한다. 운전실(6)에 탑승하는 오퍼레이터는, 도 3에 도시한 모니터(14)의 입력부(16)의 스위치(16a 내지 16e) 중 어느 하나의 스위치를 누른다. 전술한 바와 같이, 스위치(16b 내지 16e)는 각 카메라(13L, 13B, 13R, 13F)가 촬영하고 있는 카메라 화상 중 어느 하나를 카메라 스루 화상 표시 영역(18)에 표시하기 위해 설치하고 있다. 이로 인해, 스위치(16b 내지 16e)는 카메라(13L, 13B, 13R, 13F)와의 대응 관계를 시각적으로 명시하고 있다.
여기에서는, 스위치(16b 내지 16e)는 자신이 선택되어 있는 것을 점등에 의해 나타내는 중심 영역이 설치되어 있고, 이 영역을 중심으로 하여 상하 좌우 방향으로 4개의 영역으로 분할하고 있다. 그리고 각 영역의 방향은 카메라(13L, 13B, 13R, 13F)가 촬영하고 있는 화상을 선택하고 있는 것을 나타내고 있다. 스위치(16b)는 좌측 영역이 강조되어 있고, 이에 의해 좌측 방향 카메라(13L)가 촬영하고 있는 카메라 화상이 선택되어 있는 것을 나타내고 있다. 스위치(16c)는 하측 영역이 강조되어 있고, 이에 의해 후방 카메라(13B)가 촬영하고 있는 카메라 화상이 선택되어 있는 것을 나타내고 있다. 스위치(16d)는 우측 영역이 강조되어 있고, 이에 의해 우측 방향 카메라(13R)가 촬영하고 있는 카메라 화상이 선택되어 있는 것을 나타내고 있다. 스위치(16e)는 상측 영역이 강조되어 있고, 이에 의해 버킷 감시 카메라(13F)가 촬영하고 있는 카메라 화상이 선택되어 있는 것을 나타내고 있다.
전술한 바와 같이, 스위치(16b 내지 16e)의 중앙은 점등 가능하게 되어 있고, 오퍼레이터에 의해 어떠한 스위치(16b 내지 16e)가 선택되었는지를, 점등함으로써 명시하고 있다. 또한, 스위치(16b 내지 16e)가 대응하는 카메라 화상을 명시하는 방법은, 전술한 것에 한정되지 않고, 스위치(16b 내지 16e)와 카메라(13B, 13L, 13R, 13F)가 촬영하고 있는 화상의 관련성을 알 수 있는 것이면, 임의의 표시 형태를 채용할 수 있다.
도 3의 예에서는, 오퍼레이터는 스위치(16e)를 누르고 있다. 따라서, 버킷 감시 카메라(13F)가 선택되어 있는 것이 명시되고, 또한 스위치(16e)가 선택되어 있는 것이 중앙 부분을 점등함으로써 인식된다. 이 스위치(16e)가 선택된 것은 화상 정형부(26)에 출력된다.
표시 컨트롤러의 화상 보정부(22)에서는, 각 카메라(13B, 13R, 13L, 13F)가 촬영하고 있는 카메라 화상을 데이터로서 입력하고 있고, 이 카메라 화상에 대하여 보정 처리를 행한다. 보정 처리된 카메라(13B, 13R, 13F)의 카메라 화상에 대하여 시점 변환부(23)가 시점 변환 처리를 행하여, 가상 시점 후방 화상(17B), 가상 시점 우측 방향 화상(17R), 가상 시점 좌측 방향 화상(17L)을 생성한다. 그리고 화상 합성부(24)는 이들 가상 시점 후방 화상(17B), 가상 시점 우측 방향 화상(17R), 가상 시점 좌측 방향 화상(17L)을 합성 처리하여, 통합된 가상 시점 화상을 생성한다. 이 통합 처리된 가상 시점 화상에 대하여 표시 화상 생성부(25)는 중앙에 작업기 화상(17M)을 추가한다.
한편, 화상 정형부(26)는 화상 보정부(22)가 보정 처리한 카메라 화상 중, 스위치(16e)에 의해 특정되는 버킷 감시 카메라(13F)의 카메라 화상을 선택하여, 이 카메라 화상을 표시 화상 생성부(25)에 출력한다. 또한, 후술하는 바와 같이, 화상 정형부(26)는 카메라 화상에 대하여 가상 시점 범위와 소실 범위 중 어느 한쪽 또는 양쪽을 가이드 심볼로서 중첩 표시하는 것이 가능하게 되어 있지만, 버킷 감시 카메라(13F)의 카메라 화상이 선택되어 있을 때에는, 당해 중첩 표시의 처리는 행하지 않는다.
표시 화상 생성부(25)는 화상 합성부(24)가 통합하여 작업기 화상(17M)을 추가한 가상 시점 화상 및 화상 정형부(26)가 처리한 카메라 화상을 입력한다. 그리고 가상 시점 화상이 가상 시점 화상 표시 영역(17)에 표시된다. 즉, 작업기 화상(17M)을 중심으로 하여 가상 시점 좌측 방향 화상(17L)과 가상 시점 후방 화상(17B)과 가상 시점 우측 방향 화상(17R)을 합성한 가상 시점 화상이 가상 시점 화상 표시 영역(17)에 표시된다.
한편, 카메라 스루 화상 표시 영역(18)에는 버킷 감시 카메라(13F)가 촬영하고 있는 카메라 스루 화상이 표시된다. 이 카메라 스루 화상은 가상 시점 변환을 행하고 있지 않은, 버킷 감시 카메라(13F)가 촬영하고 있는 화상이 된다. 표시 화상 생성부(25)는 가상 시점 화상 및 카메라 스루 화상을 표시 화상으로서 표시부(15)에 출력한다. 표시부(15)는 이 표시 화상을 표시함으로써, 도 3에 도시한 바와 같은 화상이 화면 상에 표시된다.
이때, 입력부(16)를 구성하는 각 스위치(16a 내지 16e) 중, 스위치(16e)가 선택되어 있는 것이 시각적으로 명시된다. 그리고 이 스위치(16e)는 버킷 감시 카메라(13F)의 화상을 선택하고 있는 것을 나타내고 있으며, 이에 의해 오퍼레이터는 직감적으로 카메라 스루 화상 표시 영역(18)에 표시되어 있는 카메라 스루 화상은 버킷 감시 카메라(13F)가 촬영하고 있는 화상인 것을 인식할 수 있다.
이어서, 오퍼레이터가 스위치(16d)를 눌렀을 때에는, 이 스위치(16d)에 대응하는 카메라 스루 화상, 즉 우측 방향 카메라(13R)가 촬영하고 있는 카메라 화상이 카메라 스루 화상 표시 영역(18)에 표시되는 것이 인식된다. 스위치(16d)가 눌러졌을 때의 모니터(14)를 도 5에 도시한다. 도 6은, 오퍼레이터가 스위치(16c)를 눌렀을 때의 모니터(14)를 나타내고 있다. 이 경우에는, 스위치(16c)에 대응하는 카메라 스루 화상, 즉 후방 카메라(13B)가 촬영하고 있는 카메라 화상이 카메라 스루 화상 표시 영역(18)에 표시된다. 또한, 도 7은, 오퍼레이터가 스위치(16b)를 눌렀을 때에 모니터(14)를 나타내고 있다. 이 경우에는, 스위치(16b)에 대응하는 카메라 스루 화상, 즉 좌측 방향 카메라(13L)가 촬영하고 있는 카메라 화상이 카메라 스루 화상 표시 영역(18)에 표시된다.
도 5 내지 도 7의 가상 시점 화상 및 도 6의 카메라 스루 화상에는, 고정적 또는 동적인 장해물로서, 작업원(M)을 나타내고 있다. 여기에서는, 오퍼레이터는 후방 카메라(13B)를 선택하는 스위치(16c)를 누르고 있고, 도 6에 도시한 바와 같이 후방 카메라(13B)의 카메라 스루 화상이 카메라 스루 화상 표시 영역(18)에 표시되어 있다. 이 도면에 도시한 바와 같이, 유압 셔블(1)의 후방에 작업원(M)이 입지하고 있고, 카메라 스루 화상에는 작업원(M)이 비추어져 있다.
가상 시점 화상은 후방 카메라(13B) 및 좌우의 카메라(13R, 13L)의 시점을 가상적으로 상방에 설치했을 때에 수평면에서 전개한 화상이다. 도 6의 경우에는, 작업원(M)은 후방 카메라(13B)의 중앙측에 입지하고 있으며, 이로 인해 가상 시점 후방 화상(17B)에 작업원(M)이 수평면에서 전개된 형태로 표시되어 있다.
이 상태에서, 오퍼레이터는 조작 레버군(33)을 조작하여, 하부 주행체(4)에 대하여 상부 선회체(5)를 선회시킨다. 상부 선회체(5)를 선회시키면, 각 카메라(13B, 13R, 13L)가 촬영하는 시야가 변화된다. 도 8의 (a)는 최초의 선회하고 있지 않은 상태(즉, 도 6의 상태)를 나타내고 있지만, 상부 선회체(5)를 선회함으로써, 카메라 스루 화상 및 가상 시점 화상이 변화된다.
이 도 8의 (a)의 상태로부터 선회하여, 도 8의 (b)의 상태가 되고, 다시 선회하면 도 8의 (c)의 상태가 된다. 이에 의해, 카메라 스루 화상에서는 작업원(M)의 입지 위치가 중앙 근방의 위치로부터 좌측 단부를 향해 이동한다. 가상 시점 화상도 선회와 함께 변화된다. 도 7의 (a)의 상태에서는, 작업원(M)은 후방 카메라(13B)의 범위 내에 완전히 들어가 있으므로, 가상 시점 후방 화상(17B)에도 작업원(M)의 상(像)은 표시되어 있다.
한편, 선회를 행하는 동시에, 작업원(M)의 상은 경계 라인(19L)에 침입하고, 가상 시점 후방 화상(17B)으로부터 부분적으로 퇴출한다. 이에 의해, 가상 시점 화상으로부터는 작업원(M)의 상이 부분적으로 소실되게 된다. 가상 시점 화상은 시점을 가상적으로 상방에 설치했을 때에 수평면 방향으로 전개한 화상이 된다. 그렇다면, 후방 카메라(13B)와 좌측 방향 카메라(13L)의 시야 범위의 경계부에 작업원(M)이 위치하면, 가상 시점 화상으로서는, 그 상부가 소실되어 비추어지지 않게 된다. 이로 인해, 도 8의 (b)의 가상 시점 화상에 나타낸 바와 같이, 경계 라인(19L)에 위치하고 있는 작업원(M)은 거의 보이지 않게 되어 있다.
도 8의 (c)는, 도 8의 (b)로부터 더 선회한 경우이며, 가상 시점 후방 화상(17B)으로부터 작업원(M)의 상은 완전히 퇴출하고 있지만, 가상 시점 좌측 방향 화상(17L)에 작업원(M)의 상의 일부가 출현하고 있다. 단, 이 경우에도 작업원(M)의 상은 일부가 경계 라인(19L)에 걸쳐 있고, 그 일부는 소실되고 있다. 따라서, 작업원(M)의 위치에 따라서는, 그 상의 일부 또는 전부가 가상 시점 화상으로부터 소실된다. 이로 인해, 모니터(14)에 가상 시점 화상만이 표시되어 있는 경우에는, 작업원(M)의 위치에 의해, 그 상을 가상 시점 화상에서는 인식할 수 없게 된다.
또한, 여기에서는 상부 선회체(5)를 선회함으로써, 각 카메라(13B, 13R, 13F)의 시야에 대하여 작업원(M)이 이동하는 경우를 나타냈지만, 상부 선회체(5)를 선회시키지 않고, 작업원(M)이 이동한 경우에도 마찬가지로 가상 시점 화상으로부터 작업원(M)의 상이 일부 또는 전부가 소실되는 경우가 있다.
따라서, 가상 시점 화상만에 따라서는, 작업원(M)을 인식할 수 없는 경우가 있다. 따라서, 모니터(14)에는 가상 시점 화상뿐만 아니라, 가상 시점 변환을 행하고 있지 않은 후방 카메라(13B)가 촬영하고 있는 카메라 스루 화상을 표시하고 있다. 작업원(M)이 경계 라인(19L, 19R)에 위치함으로써, 가상 시점 화상으로부터는 작업원(M)의 상의 일부 또는 전부가 소실되는 경우가 있지만, 카메라 스루 화상은 가상 시점 변환을 행하고 있지 않은 미가공 화상이 된다. 이 카메라 스루 화상에는, 후방 카메라(13B)의 시야 범위 내이면, 작업원(M)이 명확하게 비추어지고 있다. 따라서, 가상 시점 화상에서는 작업원(M)의 상을 인식할 수 없어도, 카메라 스루 화상으로 작업원(M)을 명확하게 인식할 수 있다.
가상 시점 화상 표시 영역(17)에는 가상 시점 화상을 표시한다. 이에 의해, 유압 셔블(1)의 주위를 상부로부터 내려다본 화상이 얻어지기 때문에, 유압 셔블(1)과 장해물[고정부나 작업원(M) 등]의 위치 관계를 명시적으로 인식할 수 있다. 이로 인해, 유압 셔블(1)의 주위 상황을 적확하게 파악할 수 있으므로, 작업의 안전성을 양호하게 확보할 수 있다.
이때에, 가상 시점 화상에서는 경계 라인(19L, 19R)에 장해물이 위치하면, 그 입체물의 상부가 가상 시점 화상으로부터 소실되어, 인식할 수 없게 될 우려가 있다. 이로 인해, 가상 시점 화상을 생성하기 위한 카메라 화상을 그대로 카메라 스루 화상으로서 가상 시점 화상과 동시에 표시함으로써, 장해물의 소실이 발생되었다고 해도, 카메라 스루 화상으로 명확하게 장해물의 존재를 인식할 수 있다. 이에 의해, 작업기의 주위 상황을 정확하면서도 또한 양호한 시인성으로 오퍼레이터에게 인식시킬 수 있어, 작업의 안전성 및 작업 효율을 향상시킬 수 있다.
이어서, 모니터(14)의 입력부(16)를 구성하는 각 스위치 중 스위치(16a)를 눌렀을 경우에 대하여 설명한다. 스위치(16a)는 카메라 스루 화상에 중첩 표시하는 가상 시점 범위와 소실 범위를 표시시키는지 여부를 선택하기 위한 스위치이다. 오퍼레이터는 이 스위치(16a)를 누름으로써, 가상 시점 범위 및 소실 범위의 가이드 패턴의 표시 형태를 선택한다. 스위치(16a)를 누르면, 자신의 스위치가 눌러진 것을 나타내기 위해 스위치(16a)는 점등한다. 그리고 스위치(16a)를 누를 때마다 패턴의 전환을 행한다.
도 9는 가이드 패턴과 표시 내용의 관계를 나타내고 있다. 스위치(16a)를 1회 누를 때마다, 패턴 A, 패턴 B, 패턴 C, 패턴 D로 변화되고, 패턴 D일 때에 스위치(16a)를 누르면, 패턴 A로 복귀된다. 또한, 패턴 D가 선택되었을 때에는, 스위치(16a)를 점등시키지 않도록 하고 있다.
스위치(16a)의 누름에 의해 패턴 A가 선택되었을 때에는 가상 시점 범위만이 카메라 스루 화상에 중첩 표시되고, 패턴 B가 선택되었을 때에는 소실 범위만이 카메라 스루 화상에 중첩 표시되고, 패턴 C가 선택되었을 때에는 가상 시점 범위 및 소실 범위의 양자가 카메라 스루 화상에 중첩 표시되고, 패턴 D가 선택되었을 때에는 가상 시점 범위와 소실 범위 모두가 카메라 스루 화상에 중첩 표시되지 않는다.
스위치(16a)가 1회 눌러지면, 패턴 A가 선택된다. 즉, 가상 시점 범위만이 카메라 스루 화상에 중첩 표시된다. 표시 컨트롤러(20)의 화상 정형부(26)는 입력부(16)의 스위치(16a)의 누름에 의해, 패턴 A가 선택된 것을 인식한다. 화상 정형부(26)는 이에 의해 화상 보정부(22)로부터 보내지는 후방 카메라(13B)의 화상을 카메라 스루 화상으로서, 이 카메라 스루 화상에 가상 시점 범위를 중첩 표시한다.
도 10에 도시한 바와 같이, 가상 시점 범위(41)는 카메라 스루 화상의 표시 내용 중, 가상 시점 좌측 방향 화상(17L), 가상 시점 후방 화상(17B), 가상 시점 우측 방향 화상(17R)의 범위를 나타내고 있다. 가상 시점 화상은 시점을 상방에 가상적으로 설치했을 때에 있어서의 수평면으로 전개한 화상이며, 카메라 스루 화상의 표시계로 변환되면, 가상 시점 좌측 방향 화상(17L), 가상 시점 후방 화상(17B), 가상 시점 우측 방향 화상(17R)이 후방 카메라(13B)의 카메라 스루 화상에 비추어진다. 따라서, 카메라 스루 화상에 있어서의 가상 시점 범위(41)는, 가상 시점 좌측 방향 화상(17L)의 범위[가상 시점 좌측 방향 범위(41L)]와 가상 시점 후방 화상(17B)의 범위[가상 시점 후방 범위(41B)]와 가상 시점 우측 방향 화상(17R)[가상 시점 우측 방향 범위(41R)]을 갖고 있다.
도 10은 카메라 스루 화상에 후방 카메라(13B)가 촬영하고 있는 카메라 화상을 나타내고 있으며, 이 카메라 스루 화상의 중앙에 가상 시점 후방 범위(41B)가 형성되어 있고, 그 좌우의 가상 시점 좌측 방향 범위(41L) 및 가상 시점 우측 방향 범위(41R)의 일부가 형성되어 있다. 이 카메라 스루 화상과 각 가상 시점 범위(41)는 일정한 관계에 있으며, 미리 얻을 수 있다.
따라서, 화상 정형부(26)는 카메라 스루 화상에 가상 시점 후방 범위(41B), 가상 시점 우측 방향 범위(41R), 가상 시점 좌측 방향 범위(41L)를 가이드 패턴으로서 표시한다. 도 10에서는 파선으로 나타낸 영역이 가이드 패턴이 된다. 이에 의해, 오퍼레이터는 가이드 패턴을 시인함으로써, 카메라 스루 화상에 있어서의 가상 시점 후방 범위(41B), 가상 시점 우측 방향 범위(41R), 가상 시점 좌측 방향 범위(41L)를 시각적으로 인식할 수 있다.
이때, 작업원(M)이 가상 시점 화상 간의 경계 라인(19L, 19R)에 위치하면, 가상 시점 화상으로부터는 입체물의 상부가 소실되고, 가상 시점 화상으로부터 작업원(M)이 부분적 또는 전부가 소실되는 경우가 있다. 이때에, 가이드 패턴의 경계, 즉 가상 시점 후방 범위(41B)와 가상 시점 우측 방향 범위(41R) 사이, 또는 가상 시점 후방 범위(41B)와 가상 시점 좌측 방향 범위(41L) 사이의 경계에 작업원(M)이 위치하고 있는 것을, 카메라 스루 화상을 시인함으로써 파악할 수 있다. 도 10의 (a)에서는 작업원(M)은 카메라 스루 화상의 가상 시점 후방 범위(41B)에 들어가 있는 것을 가이드 패턴을 시인함으로써, 인식할 수 있다.
한편, 상부 선회체(5)를 선회시킴으로써, 도 10의 (b)에 도시한 바와 같이, 작업원(M)은 가상 시점 후방 범위(41B)로부터 퇴출시키고 있다. 오퍼레이터는 카메라 스루 화상의 가상 시점 후방 범위(41B)를 나타내는 가이드 패턴을 시인함으로써, 작업원(M)의 소실 가능성을 시각적으로 인식할 수 있다. 즉, 가상 시점 화상에서는 작업원(M)의 상은 거의 소실되고 있지만, 카메라 스루 화상에 의거하여, 작업원(M)이 경계 라인(19L)에 위치하고 있으므로, 부분적으로 작업원(M)의 상이 소실되고 있는 것이 오퍼레이터에게 인식된다.
도 10의 (c)에서는, 작업원(M)이 가상 시점 후방 범위(41B)로부터 완전히 벗어나 있지만, 가상 시점 좌측 방향 범위(41L)에는 일부가 출현하고 있는 것을 카메라 스루 화상의 가이드 패턴을 시인함으로써, 인식할 수 있다. 따라서, 가상 시점 후방 화상(17B)과 가상 시점 좌측 방향 화상(17L)의 경계 라인(19L)에 작업원(M)이 위치하고 있으며, 가상 시점 화상으로부터 작업원(M)이 소실될 우려가 있는 것을 오퍼레이터에게 인식시킬 수 있다.
이어서, 스위치(16a)를 눌렀을 때에, 패턴 B로 이행한다. 패턴 B에서는 소실 범위만이 표시된다. 소실 범위(42)는, 가상 시점 화상 간의 영역 중 입체물의 상부가 소실될 가능성이 있는 범위이며, 도 11에서는 소실 범위(42)에 작업원(M)이 위치했을 때에는, 가상 시점 화상으로부터 작업원(M)의 상의 일부가 소실된다. 소실 범위(42)는 가상 시점 범위(41)와 동일하게, 카메라 스루 화상 중에서 결정된 범위가 되어, 화상 정형부(26)는 카메라 스루 화상에 소실 범위(42)를 중첩 표시한다.
도 11의 (a)에 도시한 바와 같이, 카메라 스루 화상에 있어서, 작업원(M)이 소실 범위(42)에 위치하고 있지 않을 경우에는, 가상 시점 화상에도 작업원(M)이 소실되지 않고 표시되어 있다. 한편, 상부 선회체(5)를 선회함으로써, 카메라 스루 화상에 있어서의 작업원(M)의 위치가 변화되어, 작업원(M)은 카메라 스루 화상의 중앙 근방 위치로부터 좌측 단부를 향해 이동한다. 이때, 가상 시점 화상에서는 작업원(M)의 상은 경계 라인(19L)에 위치하고 있다. 이에 의해, 도 11의 (b)에 도시한 바와 같이, 가상 시점 화상에서는 작업원(M)의 대부분이 소실되고 있다.
이 상태로부터 다시 상부 선회체(5)를 선회하면, 카메라 스루 화상은 더욱 좌측 단부로 이동한다. 이때, 가상 시점 후방 화상(17B)으로부터는 작업원(M)은 완전히 소실되고 있지만, 가상 시점 좌측 방향 화상(17L)에 작업원(M)이 출현하고 있다. 카메라 스루 화상에 있어서는, 작업원(M)이 소실 범위(42)에 위치하고 있으며, 가상 시점 좌측 방향 화상(17L)에 작업원(M)의 상이 부분적으로 표시되어 있다. 따라서, 카메라 스루 화상에 소실 범위(42)를 중첩 표시함으로써, 가상 시점 화상으로부터 장해물[작업원(M)]이 소실될 가능성이 있는 것을, 오퍼레이터는 시각적으로 인식할 수 있다.
도 10에 도시한 가상 시점 범위(41)의 가이드 패턴과 도 11에 도시한 소실 범위(42)의 가이드 패턴은 표시 형태를 변화시키고 있다. 도 10 및 도 11에서는, 가상 시점 범위(41)의 가이드 패턴을 파선으로 나타내고, 소실 범위(42)의 가이드 패턴을 파선 중에 빗금으로 나타내고 있다. 가상 시점 범위(41)는 장해물이 가상 시점 화상 안에 들어가 있는지 여부를 나타내고 있으며, 소실 범위(42)는 장해물이 소실될 가능성이 있는 범위를 나타내고 있다. 따라서, 양자의 범위는 다른 것이며, 이들을 구별하기 위해 표시 형태를 변화하고 있다. 물론, 가이드 패턴의 표시 형태를 변화시키는 방법은, 도 10 및 도 11의 형태에 한정되지 않고, 임의의 방법을 이용할 수 있다.
이어서, 오퍼레이터가 스위치(16a)를 누르면, 패턴 C로 이행한다. 패턴 C에서는 가상 시점 범위(41)와 소실 범위(42)의 양자를 카메라 스루 화상에 중첩 표시하고 있다. 화상 정형부(26)는 가상 시점 범위(41)와 소실 범위(42)의 양자를 카메라 스루 화상에 중첩 표시한다. 소실 범위(42)는 가상 시점 좌측 방향 범위(41L)와 가상 시점 후방 범위(41B) 사이의 영역이며, 또한 가상 시점 후방 범위(41B)와 가상 시점 우측 방향 범위(41R) 사이의 영역이다. 따라서, 가상 시점 범위(41)와 소실 범위(42)에 의해 연속적인 영역이 형성된다.
전술한 경우와 마찬가지로, 여기에서도 가상 시점 범위(41)와 소실 범위(42)에서 가이드 패턴의 표시 형태를 변화시키고 있다. 이에 의해, 카메라 스루 화상에 있어서, 가상 시점 범위(41)와 소실 범위(42)의 각각의 영역을 시각적으로 구별하여 표시할 수 있다. 가상 시점 범위(41)와 소실 범위(42)를 다른 가이드 패턴으로 표시함으로써, 가상 시점 화상의 범위 및 장해물이 소실되는 범위를 시각적으로 인식할 수 있다.
가상 시점 범위(41)와 소실 범위(42)의 양자를 표시함으로써, 가상 시점 범위(41)의 장해물이 소실되지 않는 범위와 소실 범위(42)의 장해물이 소실될 가능성이 있는 범위를 시각적으로 오퍼레이터에게 인식시킬 수 있다. 이에 의해, 오퍼레이터는 많은 정보를 얻을 수 있고, 보다 정확하게 유압 셔블(1)의 주위 상황을 인식할 수 있다.
이어서, 오퍼레이터가 스위치(16a)를 누르면, 패턴 D로 이행한다. 이때, 스위치(16a)는 점등하지 않게 된다. 패턴 D는 가상 시점 범위(41)와 소실 범위(42)의 양자를 카메라 스루 화상에 표시하지 않는 모드가 된다. 따라서, 패턴 D의 경우에는, 화상 정형부(26)는 가이드 패턴을 중첩 표시하지 않고, 그대로 카메라 화상을 표시 화상 생성부(25)에 출력한다. 따라서, 이 경우에는, 가상 시점 범위(41)와 소실 범위(42)의 양자가 카메라 스루 화상에 표시되지 않으므로, 가이드 패턴에 의한 작업원(M)의 소실 가능성은 명시적으로는 표시되지 않는다.
단, 숙련도(익숙도)가 높은 오퍼레이터이면, 가상 시점 화상 및 카메라 스루 화상에 의거하여, 작업원(M)의 소실 가능성이 있는지를 판단할 수 있다. 이 경우에는, 카메라 스루 화상에 가이드 패턴을 표시하는 것은, 숙련도가 높은 오퍼레이터에게 있어서는 도리어 시인성을 저하시키는 요인이 된다. 이로 인해, 패턴 D를 선택함으로써, 가이드 패턴을 표시시키지 않고, 후방 카메라(13B)의 카메라 화상 바로 그 자체를 표시시킨다.
한편, 숙련도가 낮은 오퍼레이터는, 패턴 A, B 또는 C를 선택함으로써, 카메라 스루 화상에 가상 시점 범위(41), 소실 범위(42) 등의 가이드 패턴을 표시함으로써, 유압 셔블(1)의 주위 상황을 정확하면서도 또한 양호한 시인성으로 인식할 수 있게 된다. 따라서, 숙련도에 따라서, 표시시키는 형태(패턴)를 선택 가능하게 구성함으로써, 오퍼레이터의 기량 또는 지향에 따른 표시 형태를 선택할 수 있다.
이어서, 변형예에 대하여 설명한다. 본 변형예의 표시 컨트롤러(20)를 도 13에 나타낸다. 본 변형예의 표시 컨트롤러(20)는 도 4에서 나타낸 표시 컨트롤러(20)에 장해물 검출부(51)를 추가하고 있다. 그 밖의 구성은 도 4의 표시 컨트롤러(20)와 동일하다. 장해물 검출부(51)는 화상 보정부(22)의 후단에 설치하고 있고, 장해물 검출부(51)에서 장해 검출 처리를 행한 카메라 화상이 시점 변환부(23) 및 화상 정형부(26)에 출력된다.
장해물 검출부(51)는 화상 보정부(22)가 보정 처리한 카메라 화상으로부터 장해물(작업원이나 차량 등) 등의 특징점을 검출하고, 검출한 장해물의 주위에 마크(52)를 중첩 표시한다. 도 14는 패턴 D에 있어서의 가상 시점 화상 및 카메라 스루 화상에 표시되어 있는 작업원(M)에 타원형의 마크(52)를 중첩 표시하고 있다. 마크(52)는 장해물 주위에 형성되는 것이면, 타원형이 아닌, 원형 또는 사각형이라도 된다.
도 14의 (a)에 도시한 바와 같이, 가상 시점 화상 및 카메라 스루 화상의 작업원(M) 주위에 타원형의 마크(52)를 중첩 표시하고 있다. 이 상태로부터, 상부 선회체(5)가 선회하면, 도 14의 (b)에 도시한 바와 같이, 가상 시점 화상에서는 작업원(M)의 상이 경계 라인(19L)에 위치하고, 카메라 스루 화상에서는 작업원(M)이 화면 중앙으로부터 단부로 이동한다. 이때, 가상 시점 화상에서는 작업원(M)의 상의 대부분이 소실되고 있으므로, 작업원(M)의 상 자체는 인식하는 것이 곤란해지고 있다. 그러나 작업원(M)의 상 주위에는 마크(52)가 표시되어 있고, 작업원(M)의 상이 보이지 않게 되었다고 해도, 마크(52)는 표시되어 있으므로, 이 마크(52)에 의거하여 작업원(M)의 존재를 오퍼레이터는 인식할 수 있다. 또한, 카메라 스루 화상에도 작업원(M)의 주위에 마크(52)를 형성하고 있고, 오퍼레이터는 작업원(M)의 존재를 인식할 수 있다.
도 14의 (c)의 경우도 마찬가지이며, 가상 시점 후방 화상(17B)으로부터는 작업원(M)의 상은 완전히 퇴출하고 있고, 가상 시점 좌측 방향 화상(17L)의 일부에 작업원(M)의 상이 출현하고 있다. 따라서, 가상 시점 좌측 방향 화상(17L)에는 작업원(M)의 상이 부분적으로 표시되어 있고, 작업원(M)의 상 자체에서는 그 존재를 인식하는 것은 곤란하다. 이때, 마크(52)를 표시하고 있는 것으로, 작업원(M)의 존재를 오퍼레이터가 쉽게 인식할 수 있다. 또한, 카메라 스루 화상에도 작업원(M) 주위에 마크(52)를 형성하고 있으므로, 오퍼레이터는 그 존재를 인식할 수 있다.
또한, 도 15의 패턴 A일 때의 가상 시점 화상 및 카메라 스루 화상, 그리고 도 16의 패턴 B일 때의 가상 시점 화상 및 카메라 스루 화상, 또한 도 17의 패턴 C일 때의 가상 시점 화상 및 카메라 스루 화상에, 작업원(M)의 주위에 마크(52)를 형성함으로써, 오퍼레이터는 그 존재를 쉽게 인식할 수 있다. 또한, 마크(52)와 가상 시점 범위(41), 소실 범위(42)에 의거하여, 작업원(M)이 소실될 가능성을 쉽게 인식할 수 있다. 이에 의해, 오퍼레이터는 유압 셔블(1)의 주위 상황을 명확하게 인식할 수 있어, 작업의 안전성 확보 및 작업의 안전성 향상을 도모할 수 있다.
1 : 유압 셔블
3 : 프론트 작업기
4 : 하부 주행체
5 : 상부 선회체
6 : 운전실
10 : 붐
11 : 아암
12 : 버킷
13B : 후방 카메라
13L : 좌측 방향 카메라
13R : 우측 방향 카메라
13F : 버킷 감시 카메라
14 : 모니터
15 : 표시부
16 : 입력부
17B : 가상 시점 후방 화상
17L : 가상 시점 좌측 방향 화상
17R : 가상 시점 우측 방향 화상
16a 내지 16e : 스위치
17 : 가상 시점 화상 표시 영역
18 : 카메라 스루 화상 표시 영역
19L, 19R : 경계 라인
20 : 표시 컨트롤러
21 : 기억 보유 지지부
22 : 화상 보정부
23 : 시점 변환부
24 : 화상 합성부
25 : 표시 화상 생성부
26 : 화상 정형부
41 : 가상 시점 범위
41B : 가상 시점 후방 범위
41L : 가상 시점 좌측 방향 범위
41R : 가상 시점 우측 방향 범위
42 : 소실 범위
51 : 장해물 검출부
52 : 마크

Claims (6)

  1. 주행체에 대하여 선회 가능한 선회체에 프론트 작업기를 설치한 작업기의 주위를 감시하기 위한 작업기의 주위 감시 장치이며,
    상기 선회체에 복수대가 설치되어, 그 중 2대가 서로 시야 범위를 부분적으로 중복되도록 설치한 복수대의 카메라와,
    상기 각 카메라로 취득한 카메라 화상에 의거하여 상방 시점이 되도록 시점 변환한 가상 시점 화상을 생성하는 시점 변환부와,
    상기 시점 변환부가 생성한 복수의 상기 가상 시점 화상을 각각에 대응한 표시 영역에 표시하도록 합성한 합성 화상을 생성하는 화상 합성부와,
    상기 합성 화상을 제1 화상으로서, 상기 각 카메라 중 어느 하나의 카메라가 촬영하고 있는 화상이며 상기 가상 시점 화상 간의 경계선을 시야 내에 포함하는 화상을 제2 화상으로서, 상기 제1 화상과 상기 제2 화상의 양자를 포함하는 표시 화상을 생성하는 표시 화상 생성부와,
    상기 표시 화상 생성부가 생성한 상기 표시 화상을 화면 상에 표시하는 모니터를 포함하고,
    상기 모니터에 표시되는 상기 제1 화상은 상기 각 가상 시점 화상이 각각의 표시 영역에 할당된 것이며, 상기 제2 화상은 이 표시 영역 및 표시 영역 외의 화상의 소실 범위를 적어도 일부 포함하는 것을 특징으로 하는, 작업기의 주위 감시 장치.
  2. 제1항에 있어서, 상기 제1 화상으로서 표시되는 가상 시점 화상은 상기 작업기의 선회체 주위에 배치한 적어도 후방 및 좌우 측방의 카메라로 촬영한 화상을 상방 시점으로 변환한 가상 시점 후방 화상, 가상 시점 우측 방향 화상 및 가상 시점 좌측 방향 화상을 포함하는 합성 화상이며, 상기 모니터에는 상기 작업기를 표시하고, 이 작업기의 주위에 상기 각 카메라로 취득한 후방 가상 시점 화상의 표시 영역과 좌우의 측방 가상 시점 화상을 각각 설정한 경계선의 내부 영역에 표시하고, 상기 후방 가상 시점 화상과 각 측방 가상 시점 화상 사이의 경계선 외측의 화상은 표시 영역으로부터 소실시킨 소실 범위로 하고, 상기 제2 화상은 상기 소실 범위를 포함하는 카메라 화상인 것을 특징으로 하는, 작업기의 주위 감시 장치.
  3. 제2항에 있어서, 상기 모니터에 표시되는 상기 제2 화상에는, 상기 제1 화상으로서 상기 각 가상 시점 화상이 표시되어 있는 범위와, 상기 소실 범위 중 적어도 한쪽을 상기 모니터에 중첩 표시하는 구성으로 한 것을 특징으로 하는, 작업기의 주위 감시 장치.
  4. 제2항에 있어서, 상기 표시 화상 생성부는, 상기 제2 화상 중에서 상기 각 가상 시점 화상이 표시되어 있는 범위 및 상기 소실 범위를 각각 다른 표시 형식으로 표시시키는 것을 특징으로 하는, 작업기의 주위 감시 장치.
  5. 제2항에 있어서, 상기 표시 화상 생성부는, 상기 각 가상 시점 화상이 표시되어 있는 범위 또는 상기 소실 범위 중 어느 한쪽 또는 양쪽을 상기 제2 화상에 대하여 중첩 표시하는 것을 가능하게 하여, 상기 각 범위의 양쪽을 중첩 표시할 때에는 이들을 다른 표시 형식으로 표시하고, 상기 양 범위를 표시하는 모드와, 어느 한쪽의 범위를 표시하는 모드와, 어떠한 범위도 표시하지 않는 모드를 전환 가능하게 구성한 것을 특징으로 하는, 작업기의 주위 감시 장치.
  6. 제1항에 있어서, 상기 카메라가 취득한 상기 카메라 화상에 의거하여 장해물을 검출하는 장해물 검출부를 구비하고,
    상기 표시 화상 생성부는, 상기 장해물 검출부가 검출한 상기 장해물의 주위에 형성하는 마크를 상기 제1 화상과 상기 제2 화상 중 어느 한쪽 또는 양쪽에 중첩 표시하는 것을 특징으로 하는, 작업기의 주위 감시 장치.
KR1020147007785A 2011-09-16 2012-08-21 작업기의 주위 감시 장치 KR20140060321A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-202852 2011-09-16
JP2011202852A JP5750344B2 (ja) 2011-09-16 2011-09-16 作業機の周囲監視装置
PCT/JP2012/071033 WO2013038874A1 (ja) 2011-09-16 2012-08-21 作業機の周囲監視装置

Publications (1)

Publication Number Publication Date
KR20140060321A true KR20140060321A (ko) 2014-05-19

Family

ID=47883108

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147007785A KR20140060321A (ko) 2011-09-16 2012-08-21 작업기의 주위 감시 장치

Country Status (7)

Country Link
US (1) US20140354813A1 (ko)
EP (1) EP2757782A4 (ko)
JP (1) JP5750344B2 (ko)
KR (1) KR20140060321A (ko)
CN (1) CN103797789A (ko)
AU (1) AU2012309727A1 (ko)
WO (1) WO2013038874A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10927527B2 (en) 2015-09-30 2021-02-23 Komatsu Ltd. Periphery monitoring device for crawler-type working machine

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3041227A4 (en) * 2013-08-26 2017-05-24 Hitachi Construction Machinery Co., Ltd. Device for monitoring area around working machine
JP6262068B2 (ja) * 2014-04-25 2018-01-17 日立建機株式会社 車体近傍障害物報知システム
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
JP6204884B2 (ja) * 2014-07-25 2017-09-27 日立建機株式会社 旋回式作業機の周囲表示装置
EP3020868B1 (en) * 2014-11-14 2020-11-04 Caterpillar Inc. Machine of a kind comprising a body and an implement movable relative to the body with a system for assisting a user of the machine
US9667875B2 (en) 2015-01-21 2017-05-30 Caterpillar Inc. Vision system and method of monitoring surroundings of machine
US10017112B2 (en) * 2015-03-03 2018-07-10 Hitachi Construction Machinery Co., Ltd. Surroundings monitoring device of vehicle
KR102426631B1 (ko) * 2015-03-16 2022-07-28 현대두산인프라코어 주식회사 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치
CA2980693C (en) * 2015-03-31 2019-09-24 Komatsu Ltd. Working machine
WO2016157462A1 (ja) 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
WO2016157463A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
JPWO2016174754A1 (ja) * 2015-04-28 2018-02-15 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
JPWO2015125979A1 (ja) 2015-04-28 2018-02-15 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
DE102015010011B4 (de) * 2015-08-05 2020-03-19 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
JP6589468B2 (ja) * 2015-09-01 2019-10-16 株式会社タダノ 移動式クレーンの周囲表示装置
JP6401141B2 (ja) * 2015-10-15 2018-10-03 日立建機株式会社 車両周囲障害物検出装置
JP2017081238A (ja) 2015-10-23 2017-05-18 株式会社小松製作所 表示システムおよび作業車両
CN108026714A (zh) 2015-11-30 2018-05-11 住友重机械工业株式会社 施工机械用周边监视系统
EP3487750A4 (en) * 2016-07-20 2020-03-25 Prinoth Ltd TRACK VEHICLE WITH ROTARY TOP STRUCTURE AND RELATED METHODS
DE102016011354A1 (de) * 2016-09-20 2018-03-22 Liebherr-Werk Biberach Gmbh Steuerstand für einen Kran, Bagger und dergleichen
JP2018110328A (ja) 2017-01-04 2018-07-12 株式会社デンソーテン 画像処理装置および画像処理方法
KR102449834B1 (ko) * 2017-02-17 2022-09-29 스미도모쥬기가이고교 가부시키가이샤 작업기계용 주변감시 시스템
JP6805883B2 (ja) * 2017-02-28 2020-12-23 コベルコ建機株式会社 建設機械
JP6760163B2 (ja) * 2017-03-22 2020-09-23 コベルコ建機株式会社 建設機械
CN110998032A (zh) * 2017-07-31 2020-04-10 住友重机械工业株式会社 挖土机
JP6960802B2 (ja) * 2017-08-24 2021-11-05 日立建機株式会社 作業機械の周囲監視装置
US11173785B2 (en) 2017-12-01 2021-11-16 Caterpillar Inc. Operator assistance vision system
JP7155516B2 (ja) * 2017-12-20 2022-10-19 コベルコ建機株式会社 建設機械
WO2019189203A1 (ja) * 2018-03-26 2019-10-03 住友建機株式会社 ショベル
JP7147248B2 (ja) 2018-04-27 2022-10-05 株式会社タダノ クレーン車
US10883256B2 (en) * 2018-05-25 2021-01-05 Deere & Company Object responsive control system for a work machine
KR20210037607A (ko) * 2018-07-31 2021-04-06 스미토모 겐키 가부시키가이샤 쇼벨
US10829911B2 (en) * 2018-09-05 2020-11-10 Deere & Company Visual assistance and control system for a work machine
US11772556B2 (en) * 2018-10-31 2023-10-03 Komatsu Ltd. Display control system and display control method
JP7189008B2 (ja) * 2018-12-25 2022-12-13 Ｗｈｉｌｌ株式会社 電動モビリティ、表示装置、およびプログラム
JPWO2020196896A1 (ko) * 2019-03-28 2020-10-01
EP3951088A4 (en) * 2019-03-29 2022-06-08 Sumitomo Construction Machinery Co., Ltd. SHOVEL
WO2020218454A1 (ja) * 2019-04-26 2020-10-29 住友建機株式会社 表示装置、ショベル、情報処理装置
US20220213669A1 (en) * 2019-07-18 2022-07-07 Komatsu Ltd. Display system for work vehicle and display method for work vehicle
US11821167B2 (en) 2019-09-05 2023-11-21 Deere & Company Excavator with improved movement sensing
JP2021042638A (ja) * 2019-09-13 2021-03-18 株式会社小松製作所 作業機械の表示システムおよび作業機械の表示方法
JP7392422B2 (ja) * 2019-11-25 2023-12-06 コベルコ建機株式会社 作業支援サーバおよび作業支援システム
US11693411B2 (en) 2020-02-27 2023-07-04 Deere & Company Machine dump body control using object detection
CN112519679A (zh) * 2020-11-26 2021-03-19 哈尔滨北方防务装备股份有限公司 一种基于4g传输的双节履带车环境辅助观察系统
DE102021201014A1 (de) 2021-02-04 2022-08-04 Zf Friedrichshafen Ag Rundumsicht-Darstellung mit einer Fahrzeugansicht
CN112949435A (zh) * 2021-02-20 2021-06-11 中国铁建重工集团股份有限公司 一种掘锚机的影像监测系统
US11840823B2 (en) 2021-03-30 2023-12-12 Darrell Cobb Backhoe camera assembly
CN113401805A (zh) * 2021-05-14 2021-09-17 中联重科股份有限公司 用于起重机的控制方法、控制装置、处理器及起重机
JP2023176830A (ja) * 2022-06-01 2023-12-13 ヤンマーホールディングス株式会社 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2259220A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Method and apparatus for displaying image
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4776491B2 (ja) * 2006-10-06 2011-09-21 日立建機株式会社 作業機械の周囲監視装置
JP4803449B2 (ja) * 2006-11-17 2011-10-26 アイシン精機株式会社 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法
JP4847913B2 (ja) 2007-03-30 2011-12-28 日立建機株式会社 作業機械周辺監視装置
IL189251A0 (en) * 2008-02-05 2008-11-03 Ehud Gal A manned mobile platforms interactive virtual window vision system
JP4973564B2 (ja) * 2008-03-27 2012-07-11 三菱自動車工業株式会社 車両周辺表示装置
JP4977667B2 (ja) * 2008-09-02 2012-07-18 日立建機株式会社 作業機械の視野補助装置
JP4831374B2 (ja) * 2009-03-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法、及び運転支援プログラム
JP5108840B2 (ja) * 2009-07-29 2012-12-26 クラリオン株式会社 車両用周辺監視装置および車両用周辺画像表示方法
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP5397697B2 (ja) * 2010-03-12 2014-01-22 アイシン精機株式会社 画像制御装置
CN102291573A (zh) * 2011-08-30 2011-12-21 山推工程机械股份有限公司 一种工程机械全景作业监视方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10927527B2 (en) 2015-09-30 2021-02-23 Komatsu Ltd. Periphery monitoring device for crawler-type working machine

Also Published As

Publication number Publication date
JP5750344B2 (ja) 2015-07-22
JP2013066010A (ja) 2013-04-11
CN103797789A (zh) 2014-05-14
EP2757782A4 (en) 2015-04-15
WO2013038874A1 (ja) 2013-03-21
AU2012309727A1 (en) 2014-03-13
EP2757782A1 (en) 2014-07-23
US20140354813A1 (en) 2014-12-04

Similar Documents

Publication Publication Date Title
KR20140060321A (ko) 작업기의 주위 감시 장치
JP6167042B2 (ja) 自走式産業機械の周囲監視装置
JP6427597B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
US10145087B2 (en) Surroundings display device for swing working machine
US20140111648A1 (en) Device For Monitoring Area Around Working Machine
JP5269026B2 (ja) 作業機械の周囲監視装置
JP5961472B2 (ja) 作業機械の周囲監視装置
AU2016242761B2 (en) Working machine
JP5775283B2 (ja) 作業機械のモニタ装置
KR20170039615A (ko) 크롤러식 작업 기계의 주변 감시 장치
KR20190077246A (ko) 작업기계용 주변감시시스템
JP6756555B2 (ja) 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP2013253402A (ja) 作業機械の周囲監視装置
JP5996879B2 (ja) 作業機械の周囲監視装置
JP6139740B2 (ja) 作業機械の周囲監視装置
JP6713884B2 (ja) 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP2022072598A (ja) 作業車両の表示システムおよび作業車両の表示方法
WO2021090678A1 (ja) 作業機械の周囲監視装置
JP2023120743A (ja) 表示制御装置、及び遠隔操作装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid