KR101752613B1 - 작업 기계의 주변 감시 장치 - Google Patents

작업 기계의 주변 감시 장치 Download PDF

Info

Publication number
KR101752613B1
KR101752613B1 KR1020167003600A KR20167003600A KR101752613B1 KR 101752613 B1 KR101752613 B1 KR 101752613B1 KR 1020167003600 A KR1020167003600 A KR 1020167003600A KR 20167003600 A KR20167003600 A KR 20167003600A KR 101752613 B1 KR101752613 B1 KR 101752613B1
Authority
KR
South Korea
Prior art keywords
image
area
camera
display
displayed
Prior art date
Application number
KR1020167003600A
Other languages
English (en)
Other versions
KR20160033144A (ko
Inventor
모리타카 오타
요이치 고와타리
요시히로 이나노베
Original Assignee
히다찌 겐끼 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 히다찌 겐끼 가부시키가이샤 filed Critical 히다찌 겐끼 가부시키가이샤
Publication of KR20160033144A publication Critical patent/KR20160033144A/ko
Application granted granted Critical
Publication of KR101752613B1 publication Critical patent/KR101752613B1/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • G06K9/00—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

작업 기계의 주변 감시 장치는, 작업 기계의 주위 영상을 촬영하는 복수의 촬영 장치와, 복수의 촬영 장치의 각 촬영 화상을 상방 시점 화상으로 변환하고, 그것들에 기초하여 작업 기계 주위의 부감 화상을 생성하는 부감 화상 생성부와, 부감 화상 표시 영역에 부감 화상을 표시하는 표시부를 구비하고, 부감 화상 생성부는, 복수의 촬영 장치에 포함되는 제1 촬영 장치의 촬영 화상에 대한 제1 상방 시점 화상과, 복수의 촬영 장치에 포함되는 제2 촬영 장치의 촬영 화상에 대한 제2 상방 시점 화상과의 중복 영역에서의 부감 화상을 생성할 때, 가상 감시 대상의 높이에 기초하여, 제1 상방 시점 화상이 표시되는 제1 영역 및 제2 상방 시점 화상이 표시되는 제2 영역 중 적어도 한쪽과, 제1 및 제2 상방 시점 화상에 기초하는 합성 표시 화상이 표시되는 제3 영역을 설정한다.

Description

작업 기계의 주변 감시 장치{PERIPHERY MONITORING DEVICE FOR WORK MACHINE}
본 발명은 작업 기계에 탑재된 복수의 카메라에 의해 촬상된 복수의 화상으로부터 부감 화상을 합성하고, 그 부감 화상을 사용해서 주변 감시를 행하는 작업 기계의 주변 감시 장치에 관한 것이다.
종래, 작업 기계 주변을 촬상하는 복수의 카메라에 의해 촬상된 화상 각각을 부감 화상으로 변환하고, 그러한 부감 화상의 인접하는 화상을 격자 형상으로 서로 연결시켜서, 결합면에서 소실되는 높이가 있는 물체의 소실을 방지하고, 또한 동색 착시를 응용한 격자 형상으로 함으로써 명암 차가 두드러지지 않는 화상 생성 장치에 의한 조작 지원 시스템이 알려져 있다(예를 들어, 특허문헌 1 참조).
일본 특허 공개2012-109741호 공보
그런데, 부감 화상에서는 입체물의 화상은 카메라의 촬상 방향으로 쓰러지는 것 같은 화상이 된다. 그 때문에, 특허문헌 1에 기재된 바와 같이 합성 화상을 표시한 경우, 화상의 쓰러짐 방향이 카메라마다 상이하기 때문에, 입체물이 하나밖에 존재하지 않는 경우라도 2개의 쓰러짐 상이 표시된다. 그 때문에, 마치 2개의 물체가 존재하는 것처럼 보인다. 또한, 2개의 카메라로 촬상된 화상을 교대로 합성하므로, 촬상된 물체의 정보량(화소수)은, 반감 또는 저감되어버려 물체가 투명화된 화상으로 된다. 이러한 점에서, 운전자가, 감시 대상을 판별하기 어렵다는 문제가 발생한다.
본 발명의 제1 형태에 의하면, 작업 기계의 주변 감시 장치는, 작업 기계의 주위 영상을 촬영하는 복수의 촬영 장치와, 복수의 촬영 장치의 각 촬영 화상을 상방 시점 화상으로 변환하고, 그것들에 기초하여 작업 기계 주위의 부감 화상을 생성하는 부감 화상 생성부와, 부감 화상 표시 영역에 부감 화상을 표시하는 표시부를 구비하고, 부감 화상 생성부는, 복수의 촬영 장치에 포함되는 제1 촬영 장치의 촬영 화상에 대한 제1 상방 시점 화상과, 복수의 촬영 장치에 포함되는 제2 촬영 장치의 촬영 화상에 대한 제2 상방 시점 화상과의 중복 영역에서의 부감 화상을 생성할 때, 가상 감시 대상의 높이에 기초하여, 제1 상방 시점 화상이 표시되는 제1 영역 및 제2 상방 시점 화상이 표시되는 제2 영역 중 적어도 한쪽과, 제1 및 제2 상방 시점 화상에 기초하는 합성 표시 화상이 표시되는 제3 영역을 설정한다.
본 발명에 따르면, 중복 영역에서의 합성 화상 표시 영역을 종래보다도 좁게 할 수 있어, 주변 상황을 감시하기 쉬운 시인성이 우수한 주변 감시 장치를 제공할 수 있다.
도 1은 본 발명에 따른 주변 감시 장치가 탑재되는 작업 기계(유압 셔블(100))를 도시하는 도면이다.
도 2는 유압 셔블(100)에 탑재되는 주변 감시 장치(10)의 구성을 도시하는 블록도이다.
도 3은 차체(20)에 설치된 각 카메라(30a, 30b, 30c)의 촬영 가능 영역을 도시하는 도면이다.
도 4는 합성 화상 생성부(210)에서의 상방 시점 화상의 변환 처리를 설명하는 도면이다.
도 5는 표시 화상(e1 내지 e3)의 잘라내기를 설명하는 도면이다.
도 6은 부감 화상(300)에서의 표시 화상(e1 내지 e3) 및 중복 영역(c0, c1)을 도시하는 도면이다.
도 7은 쓰러짐 길이(N)를 설명하는 도면이다.
도 8은 영역 설정 라인(L1, L2)과 상의 소실을 설명하는 도면이다.
도 9는 중복 영역(c0, c1)에서의 합성 표시 영역(b6, b7)을 도시하는 도면이다.
도 10은 합성 표시 영역(b6, b7)에서의 표시 형태(묘화 기법)를 설명하는 도면이다.
도 11은 합성 표시 영역(b6)에서의 쓰러짐 상(Pa1, Pc1)을 도시하는 도면이다.
도 12는 합성 표시 영역(b6)의 설정 방법을 설명하는 도면이다.
도 13은 사각(z0)에 대한 합성 표시 영역의 설정 방법을 설명하는 도면이다.
도 14는 주변 감시 모니터(220)에서의 표시 영역을 설명하는 도면이다.
도 15는 감시 범위(E20)를 설정한 경우의 합성 표시 영역(b6, b7)을 도시하는 도면이다.
도 16은 덤프 트럭(2)을 모식적으로 도시한 사시도와, 주변 감시 장치에 의해 표시되는 범위를 도시하는 도면이다.
도 17은 주변 감시 모니터(220)에 표시된 부감 화상(300)을 도시하는 도면이다.
도 18은 변형예에서의 영역 설정 라인의 일례를 나타내는 도이다.
도 19는 사각(z3)에 대응해서 설정된 합성 표시 영역(b9)을 도시하는 도면이다.
도 20은 변형예에서의 합성 표시 영역(b9, b10, b11, b12)을 도시하는 도면이다.
도 21은 주변 감시 모니터(220)에서의 각 표시 영역을 도시하는 도면이다.
도 22는 상방 시점 화상(부감 화상)을 설명하는 도면이다.
이하, 도면을 참조하여 본 발명을 실시하기 위한 형태에 대해서 설명한다. 도 1은, 본 발명에 따른 주변 감시 장치가 탑재되는 작업 기계를 도시하는 도면이며, 유압 셔블(100)의 전체 사시도이다. 유압 셔블(100)은, 하부 주행체(13)와, 이 하부 주행체(13) 상에 선회 가능하게 설치된 상부 선회체(20)로 주로 구성되어 있다.
하부 주행체(13)는, 도시하지 않은 주행체 프레임에 서로 평행하게 위치하는 한 쌍의 크롤러(11, 11)를 갖고 있으며, 이들 각 크롤러(11, 11)에는, 각각의 크롤러 벨트를 구동해서 주행하기 위한 유압 구동식의 주행 모터(12)가 각각 설치되어 있다.
상부 선회체(20)는, 도시하지 않은 선회체 프레임 상에 설치된 엔진이나 배터리, 연료 탱크 등의 각종 기기류가 수용되는 엔진 실(21)과, 이 엔진 실(21)의 전방 좌측에 설치된 운전실(22)과, 이 운전실(22)의 우측으로부터 전방으로 연장되는 프론트 작업기(23)와, 이 프론트 작업기(23)와의 중량 밸런스를 도모하기 위해 엔진 실(21)의 후방에 설치된 카운터 웨이트(24)로 주로 구성되어 있다.
운전실(22)에는, 오퍼레이터가 탑승하는 캐빈(22a) 내에 프론트 작업기(23)를 조작하는 조작 레버나 계기류 등 이외에, 후술하는 주변 감시 모니터가 설치되어 있다. 프론트 작업기(23)는, 선회체 프레임측으로부터 전방으로 연장되는 붐(23a)과, 이 붐(23a)의 선단에 요동 가능하게 설치된 아암(23b)과, 이 아암(23b)의 선단에 요동 가능하게 설치된 버킷(23c)으로 주로 구성되어 있다. 이들 붐(23a), 아암(23b), 버킷(23c)은, 각각 유압으로 신축하는 붐 실린더(23d), 아암 실린더(23e), 버킷 실린더(23f)에 의해 각각 동작하도록 되어 있다.
엔진 실(21)의 양측과, 카운터 웨이트(24)의 상부에는, 각각의 방향을 연속해서 촬영하기 위한 3개의 카메라(30a, 30b, 30c)가 설치되어 있다. 카메라(30a)는, 상부 선회체(20)의 좌측 영역을, 180°의 화각으로 비스듬히 내려다보는 것처럼 연속적으로 촬영한다. 카메라(30b)는, 상부 선회체(20)의 우측 영역을, 180°의 화각으로 비스듬히 내려다보는 것처럼 연속적으로 촬영한다. 카메라(30c)는, 상부 선회체(20)의 후방 영역을, 180°의 화각으로 비스듬히 내려다보는 것처럼 연속적으로 촬영한다.
카메라(30a, 30b, 30c)는, 예를 들어 내구성이나 내후성 등이 우수한 CCD나 CMOS 등의 촬상 소자와 광각 렌즈를 구비한 광각 비디오 카메라 등으로 구성되어 있다. 또한, 이하의 설명에서는, 이들 각 카메라(30a, 30b, 30c)가 설치(탑재)되어 있는 상부 선회체(20)의 각 부를 통합해서 차체(20)라고 칭한다.
도 2는, 유압 셔블(100)에 탑재되는 주변 감시 장치(10)의 구성을 도시하는 블록도이다. 주변 감시 장치(10)는, 컨트롤러(200), 카메라(30a), 카메라(30b), 카메라(30c), 주변 감시 모니터(220)로 주로 구성되어 있다. 컨트롤러(200)는 합성 화상 생성부(210)를 갖고 있다. 각 카메라(30a, 30b, 30c)로 촬영된 각 화상(원화상)은, 컨트롤러(200)의 합성 화상 생성부(210)에 각각 입력된다. 합성 화상 생성부(210)는, 도시하지 않은 CPU나 RAM, ROM, 입출력 인터페이스 등을 구비한 화상 처리 LSI(하드웨어)로 구성되어 있고, ROM 등에 미리 기억된 각종 데이터나 전용의 화상 처리 프로그램 등에 의해 CPU가 상기 합성 화상 생성부(210)의 기능을 실현하도록 되어 있다.
합성 화상 생성부(210)는, 각 카메라(30a, 30b, 30c)로 촬영한 복수(3개)의 원화상으로부터 상방 시점 화상을, 예를 들어 30 프레임/초의 단위로 제작하고, 제작한 상방 시점 화상(동화상)을 출력한다. 구체적으로는, 각 카메라(30a, 30b, 30c)로부터 각각 원화상의 NTSC 등의 콤퍼짓 신호가 입력되면, 이 합성 화상 생성부(210)는, 이들 각 콤퍼짓 신호를 A/D 변환해서 RGB 신호로 디코딩하고 나서 각각 전용의 프레임 메모리에 축적한다. 그 후, 렌즈 왜곡 보정 처리를 행하고 나서 호모그래피 행렬에 의한 평면 사영 변환 처리나 삼차원 공간에서의 투영 처리 등의 공지된 화상 변환 처리에 의해 각 원화상을 그 상방으로 시점을 이동한 상방 시점 화상으로 변환 처리한다.
도 3은 차체(20)에 설치된 각 카메라(30a, 30b, 30c)의 촬영 가능 영역을 도시하는 도면이며, 차체(20) 및 그 주변 영역을 차체(20)의 상방으로부터 부감해서 본 도면이다. 차체 좌측의 직사각형 에어리어(E1)는 카메라(30a)의 촬영 가능 영역이다. 차체 우측방의 직사각형 에어리어(E2)는 카메라(30b)의 촬영 가능 영역이다. 차체 후방의 직사각형 에어리어(E3)는 카메라(30c)의 촬영 가능 영역이다.
직사각형 에어리어(E1)의 후단부 영역과 직사각형 에어리어(E3)의 좌측 단부 영역은 중복되어 있고, 이 중복 영역은 카메라(30a) 및 카메라(30c)에 의해 중복 촬영된다. 또한, 직사각형 에어리어(E2)의 후단부 영역과 직사각형 에어리어(E3)의 우측 단부 영역은 중복되어 있고, 이 중복 영역은 카메라(30b) 및 카메라(30c)에 의해 중복 촬영된다.
도 4는, 합성 화상 생성부(210)에서의 상방 시점 화상의 변환 처리를 설명하는 도면이다. 도 4의 (a)는 각 카메라(30a, 30b, 30c)로 촬영된 각 직사각형 에어리어(E1, E2, E3)의 원화상(31)의 일례를 나타낸 것이다. 각 카메라(30a, 30b, 30c)는, 좌우의 화각이 약 180°인 광각 렌즈로 촬영하므로, 촬영된 원화상(31)은, 일반적으로 격자선(32)으로 나타내는 바와 같이 중앙부가 확대되고 주변부가 축소되도록 왜곡되어 있다.
합성 화상 생성부(210)에서는, 원화상(31)에 대한 렌즈 왜곡 보정 처리가 행하여진다. 도 4의 (b)는 렌즈 왜곡 보정 처리 후의 보정 화상(33)이다. 보정 처리 후의 보정 화상(33)은, 지면(노면) 상의 종횡의 가상 좌표선(34)이 나타내는 바와 같이, 각 카메라(30a, 30b, 30c)의 시점에 의한 원근법에 따른 형태로 보정된다. 또한, 이 렌즈 왜곡 보정 처리는, 예를 들어 미리 메모리에 보존된 전용의 화소 변환 테이블, 즉, 변환 전의 화상을 구성하는 각 화소의 어드레스와 변환 후의 각 화소의 어드레스와의 대응 관계를 기재한 화소 변환 테이블을 사용한 화소 좌표 변환에 의해 행하여진다.
합성 화상 생성부(210)는, 렌즈 왜곡 보정 처리 후의 보정 화상(33)을, 또한 시점을 차체 상방으로 옮기는 시점 변환 처리를 행한다. 도 4의 (c)는 시점 변환 처리 후의 상방 시점 화상(35)을 도시하는 도면이다. 도 4의 (b)의 보정 화상(33)에서의 가상 좌표선(34)은, 격자 형상으로 직교하는 가상 직교 좌표선(36)으로 변환된다. 또한, 이 시점 변환 처리도, 미리 메모리에 보존된 전용의 화소 변환 테이블(시점 변환 처리용의 변환 테이블)을 사용한 화소 좌표 변환에 의해 행하여진다.
도 22는, 상방 시점 화상(부감 화상)을 설명하는 도면이다. 작업 기계 주위에 구비된 카메라에 의해 촬영된 영상에 화상 처리를 실시하여, 시점 위치를 가상적으로 상방 시점으로 변경한 영상을 얻는 시점 변환 기술은 주지이며, 이 시점 변환을 행하는 기준면에 대하여 실제 카메라 영상과 가상 카메라 영상의 대응을 취하는 것이다. 시점 변환 기술을 사용해서 복수 카메라로 촬영한 영상의 각각의 가상 시점을 동일한 위치로 하면, 복수 영상을 배열해서 표시했을 때 동일 시점으로부터 1개의 카메라로 촬영한 영상과 같이 표시되기 때문에 사용자는 표시 영상을 이해하기 쉽다.
도 22에서, 입체적인 촬영 대상인 인물(102)을 카메라(101)로 촬영하고, 그 촬영 화상을 상방 시점 화상으로 변환하면, 부호 103으로 나타내는 바와 같은 화상이 된다. 즉, 인물(102)의 촬영 화상은, 카메라(101)와 인물(102)을 연결한 연장선상으로 상이 변형되도록 지면 상에 투영되는 화상(103)(이하에서는 쓰러짐 상이라 칭함)으로 변환된다.
도 4로 돌아가서, 합성 화상 생성부(210)는, 제작된 각 상방 시점 화상(35)으로부터 실제로 표시하는 화상을 각각 잘라내고, 잘라낸 3개의 화상을 합성해서 차체(20)를 중심으로 하는 주위의 부감 화상(동화상)을 제작한다. 도 4의 (c)의 파선으로 둘러싼 직사각형 영역(e)은, 상방 시점 화상(35)에서의 잘라내기 영역을 나타내고 있다.
도 5에 도시한 바와 같이, 합성 화상 생성부(210)는, 직사각형 에어리어(E1, E2, E3)에 대응하는 3개의 상방 시점 화상(35L, 35R, 35B)으로부터 표시 화상(e1 내지 e3)을 각각 잘라낸다. 그리고, 합성 화상 생성부(210)는, 그들 표시 화상(e1 내지 e3)을 차체(20)에 대응하는 화상(G1)의 주위에 환상으로 서로 연결시켜서, 도 6에 도시한 바와 같은 하나의 연속된 부감 화상(300)을 제작하고, 그 화상 데이터를 프레임 메모리에 출력한다.
도 6에서, 해칭으로 나타낸 영역(c0)은, 표시 화상(e1)과 표시 화상(e3)과의 중복 영역을 나타낸다. 또한, 해칭으로 나타낸 영역(c1)은, 표시 화상(e2)과 표시 화상(e3)의 중복 영역을 나타낸다. 또한, 도 6에서는, 이해하기 쉽도록 표시 화상(e3)을 나타내는 프레임과 중복 영역(c0, c1)을 나타내는 프레임과의 사이에 간극을 두고 나타냈지만, 실제로는 이러한 간극은 발생하지 않는다.
중복 영역(c0)에서는, 카메라(30a)의 촬영 화상에 기초하는 표시 화상(e1)과 카메라(30c)의 촬영 화상에 기초하는 표시 화상(e3)이 존재한다. 마찬가지로, 중복 영역(c1)에서는, 카메라(30b)의 촬영 화상에 기초하는 표시 화상(e2)과 카메라(30c)의 촬영 화상에 기초하는 표시 화상(e3)이 존재한다.
여기서, 도 7을 사용하여, 상방 시점 화상인 표시 화상(e1 내지 e3)에서의 쓰러짐 상의 크기에 대해서 설명한다. 차체(20)에 탑재된 카메라(30(30a, 30b, 30c))의 높이(탑재 높이)를 H로 하고, 감시 대상의 높이를 h로 한다. 도 7에서는, 감시 대상으로서 인물이 그려져 있으며, 그 신장을 h로 하고 있다. 일반적으로, 감시 대상 높이(h)는, 주로 어떤 것을 감시 대상으로 하는가로 설정된다. 예를 들어, 인물이나 차량 등을 주된 감시 대상으로 하는 경우, 신장 1.7m의 인물을 상정하고, 이 인물의 가슴 정도의 높이까지를 표시할 수 있도록 감시 대상 높이(h)를 1.5m로 설정한다.
도 7에서, n은 카메라(30)로부터 감시 대상까지의 거리이다. 점 A는 직선 L10과 지면이 교차하는 점이다. 또한, 직선 L10은, 카메라(30)의 중심(촬상 소자와 광축의 교점)과 감시 대상 높이(h)의 입체물(인물)의 가슴을 연결하는 직선이다. 카메라(30)로 촬영된 입체물(인물)(P0)의 화상을 상방 시점 변환하면, 입체물(P0)의 상방 시점 화상은 상(P1)과 같이 표시된다. 이것은, 마치 높이 N인 입체물(P0)이 지면 상에 쓰러진 것 같은 상으로 되어 있다. 이하에서는, 점 A를 입체물(P0)의 쓰러짐 위치라 칭하고, 입체물(P0)의 위치(지면 상의 위치)로부터 점 A까지의 거리(N)를 쓰러짐 길이라 칭하기로 한다. 또한, 표시 화면에 표시되는 상(P1)을 쓰러짐 상이라 칭하기로 한다.
쓰러짐 길이(N)는, 도 7에 나타낸 산출식 「N=n·h/(H-h)」에 의해 산출할 수 있다. 예를 들어, H=2.0m, h=1.5m, n=3.0m로 한 경우, 쓰러짐 길이(N)는 N=9.0m가 된다.
상술한 바와 같이, 중복 영역(c0, c1)에서는 2종류의 표시 화상이 존재하므로, 2종류의 표시 화상을 사용한 다양한 표시 형태가 가능하고, 상술한 종래 기술에서는 2종류의 표시 화상을 격자 형상으로 배치해서 이중 상으로서 동시에 표시함으로써, 입체물의 화상이 표시 화상(e1, e2, e3)의 경계 근방(중복 영역의 경계 근방)에서의 소실을 방지하고 있다. 그러나, 동일 대상물에 대해서 2개의 화상을 동시에 표시한 경우, 그 동시에 표시하는 표시 영역이 넓으면 입체물의 수가 많아진다. 그 때문에, 다수의 이중 상이 표시되어, 입체물을 인식하기 어려워진다는 문제가 발생한다. 따라서, 본 실시 형태에서는, 경계 근방에서의 상의 소실을 방지함과 함께, 이중 상의 표시 영역을 가능한 한 좁게 함으로써, 감시 대상의 인식 용이함의 향상을 도모하였다.
도 8 내지 15는, 본 실시 형태에서의 이중 상 표시 영역(이하에서는 합성 표시 영역이라 칭함)의 설정 방법을 설명하는 도면이다. 먼저, 도 8에 도시한 바와 같이, 합성 표시 영역을 설정하기 위한 영역 설정 라인(L1, L2)을, 부감 화상(300)이 표시되는 표시 에어리어(E10)에 설정한다. 중복 영역(c0)은, 영역 설정 라인(L1)에 의해 양분되고, 중복 영역(c1)은 영역 설정 라인(L2)에 의해 양분된다.
도 8에 나타내는 예에서는, 영역 설정 라인(L1)은, 카메라(30a)와 카메라(30c)를 연결하는 선분(L20)의 수직 이등분선이며, 영역 설정 라인(L2)은, 카메라(30b)와 카메라(30c)를 연결하는 선분(L30)의 수직 이등분선이다. 영역 설정 라인(L1)은, 카메라(30a, 30c)로부터 등거리이므로, 영역 설정 라인(L1)보다도 카메라(30a)측의 중복 영역(c0)에서는 카메라(30a)에 의한 상이 카메라(30c)에 의한 상보다도 더 크고, 영역 설정 라인(L1)보다도 카메라(30c)측의 중복 영역(c0)에서는 카메라(30c)에 의한 상이 카메라(30a)에 의한 상보다도 더 크다. 그 때문에, 보다 큰 촬영 화상을 얻기 위해서는, 영역 설정 라인(L1)보다도 카메라(30a)측에서는 카메라(30a)에 의한 화상을 사용하는 것이 바람직하고, 영역 설정 라인(L1)보다도 카메라(30c)측에서는 카메라(30c)에 의한 화상을 사용하는 것이 바람직하다. 영역 설정 라인(L2)에 대해서도 마찬가지라고 할 수 있다.
물론, 영역 설정 라인(L1, L2)으로서는 상술한 수직 이등분선에 한정되는 것은 아니며, 예를 들어 영역 설정 라인(L1)의 경우에는 카메라(30a)와 카메라(30c)를 연결하는 선분(L20)과 교차하는 직선이면 되고, 영역 설정 라인(L2)의 경우에는 카메라(30b)와 카메라(30c)를 연결하는 선분(L30)과 교차하는 직선이면 된다. 또한, 카메라(30a)와 카메라(30c)를 연결하는 선분이란, 엄밀하게는 카메라(30a, 30c)의 각 광축과 각 촬상 소자의 교점을 연결하는 선분을 가리키지만, 카메라(30a)와 카메라(30c)를 연결하는 선분이라면 이것에 구애되지 않는다.
여기서, 본 실시 형태에서의 합성 표시 영역을 설명하기 전에, 영역 설정 라인(L1)이 카메라(30a)에 의한 감시 영역과 카메라(30c)에 의한 감시 영역을 나누는 경계선이고, 영역 설정 라인(L2)이 카메라(30b)에 의한 감시 영역과 카메라(30c)에 의한 감시 영역을 나누는 경계선이며, 후술하는 바와 같은 합성 표시 영역을 설치하지 않은 경우에 대해서 설명한다.
그 경우, 영역 설정 라인(L1, L2)의 근방에서는, 쓰러짐 상의 대부분이 소실되어 입체물의 발근처의 상밖에 표시되지 않게 된다. 또한, 영역(z0)은 영역 설정 라인(L1)보다도 카메라(30a)측의 영역인데, 영역(z0)은 카메라(30c)에 의한 촬영 화상밖에 없어, 카메라(30a)에 있어서는 촬영 불가능한 사각 영역으로 되어 있다. 마찬가지로, 영역(z1)은 영역 설정 라인(L2)보다도 카메라(30b)측의 영역인데, 영역(z1)은 카메라(30c)에 의한 촬영 화상밖에 없어, 카메라(30b)에 있어서는 촬영 불가능한 사각 영역으로 되어 있다. 여기에서는 영역(z0, z1)을 사각(z0, z1)이라 칭하기로 한다.
영역 설정 라인(L1)보다 상측의 표시 영역(E11)(사각(z0)은 제외함)에는, 카메라(30a)로 촬영된 화상에 기초하는 표시 화상(e1)이 표시된다. 또한, 영역 설정 라인(L2)보다 상측의 표시 영역(E21)(사각(z1)은 제외함)에는, 카메라(30b)로 촬영된 화상에 기초하는 표시 화상(e2)이 표시된다. 그리고, 영역 설정 라인(L1)과 영역 설정 라인(L2)의 사이의 표시 영역(E31)에는 카메라(30c)로 촬영된 화상에 기초하는 표시 화상(e3)이 표시된다.
예를 들어, 도 8에 도시하는 바와 같이 영역 설정 라인(L1)으로부터 이격된 위치(B1)에 입체물(인물)이 있는 경우, 상방 시점 화상으로서 표시되는 입체물의 쓰러짐 상은 부호 Pa2를 붙인 상과 같이 된다. 쓰러짐 상(Pa2)은, 카메라(30a)와 입체물을 연결하는 직선(L11)을 따라 쓰러지도록 표시된다. 그 쓰러짐 길이(N)는, 상술한 산출식 「N=n·h/(H-h)」에 의해 산출된다. 이 경우, 쓰러짐 상(Pa2)의 전체가 표시되어 있다.
한편, 영역 설정 라인(L1)의 근처 위치(B2)에 입체물이 있는 경우, 쓰러짐 상(Pc1)의 일부(발근처)만이 표시 영역(E31)에 표시되게 된다. 상술한 바와 같이, 중복 영역(c0)에는 표시 화상(e1)과 표시 화상(e3)이 존재하고, 위치(B2)에 있는 입체물에 대해서는 쓰러짐 상(Pa1)과 쓰러짐 상(Pc1)이 존재한다. 그러나, 영역 설정 라인(L1)을 설정하고, 표시 영역(E11)에 표시 화상(e1)을 표시하고, 표시 영역(E31)에 표시 화상(e3)을 표시하도록 표시 영역을 구분한 경우, 표시 영역(E11)과 표시 영역(E31)에 걸쳐 있는 쓰러짐 상(Pc1)의 경우에는 표시 영역(E11)측의 발근처 상만이 표시되고, 표시 영역(E31)측이 파선으로 나타내는 부분은 표시되지 않는다. 또한, 쓰러짐 상(Pa1)은 표시 화상(e1)에 있어서의 화상이므로, 표시 영역(E31)에는 표시되지 않는다. 그 때문에, 입체물(예를 들어 인물)이 화상(G1)으로 표시되는 차체(20)의 근처에 있는 것을 보지 못하게 될 우려가 있었다.
본 실시 형태에서는, 이러한 문제점을 해결하기 위해서, 도 9에 도시한 바와 같은 합성 표시 영역(b6, b7)을, 중복 영역(c0, c1)의 일부에 설치하도록 하였다. 합성 표시 영역(b6)에서는, 표시 화상(e1) 및 표시 화상(e3)의 양쪽을 소정의 표시 형태로 표시한다. 도 9에서는, 쓰러짐 상(Pa1, Pc1)의 양쪽이 합성 표시 영역(b6)에 표시되어 있다. 쓰러짐 상(Pa1)은 카메라(30a)와 위치(B2)를 연결하는 직선(L12)을 따라 쓰러져 있고, 쓰러짐 상(Pc1)은 카메라(30c)와 위치(B2)를 연결하는 직선(L13)을 따라 쓰러져 있다. 마찬가지로, 합성 표시 영역(b7)에서는, 표시 화상(e2) 및 표시 화상(e3)의 양쪽을 소정의 표시 형태로 표시한다.
또한, 합성 표시 영역(b6, b7)에서는, 도 10에 도시하는 바와 같은 합성 표시가 행하여진다. 도 10은 합성 표시 영역의 표시 형태(묘화 기법)의 일례를 나타낸 것으로, 2종류의 표시 화상이 체크 무늬로 배치되어 있다. 도 10의 (a)는 합성 표시 영역(b6)에서의 합성 표시 화상을 나타내고 있고, 표시 화상(e1)과 표시 화상(e3)이 체크 무늬로 배치되어 있다. 도 10의 (b)는 합성 표시 영역(b7)에서의 합성 표시 화상을 나타내고, 표시 화상(e2)과 표시 화상(e3)이 체크 무늬로 배치되어 있다. 체크 무늬로 배치되는 격자의 크기는 픽셀 단위로 임의로 설정할 수 있다.
도 10에 도시한 묘화 기법은 일례이다. 합성 표시 영역의 묘화 기법으로서는 다양한 것이 알려져 있으며, 어떤 묘화 기법도 적용할 수 있다. 예를 들어, 줄무늬 형상으로 배치해도 되고, 겹치는 화소간의 투과율(알파값)을 설정해서 알파 블렌드 처리를 행해도 된다. 즉, 합성 표시 영역에서는, 2개의 카메라로부터 출력된 화상 신호를 합성해서 생성되는 합성 화상이 표시된다.
도 11은, 도 10의 (a)에 나타내는 합성 표시 영역(b6)에서의 쓰러짐 상(Pa1, Pc1)을 나타낸 것이다. 또한, 파선은 쓰러짐 상(Pa1, Pc1)이 표시되는 영역을 나타내고 있으며, 실제의 표시 화상 상에는 표시되지 않는다. 도 11에서는, 쓰러짐 상(Pa1, Pc1)을 알기 쉽도록, 쓰러짐 상(Pa1)을 표시하고 있는 표시 화상(e1) 및 쓰러짐 상(Pc1)을 표시하고 있는 표시 화상(e3)만을 나타내고, 배경 화상의 표시는 생략하고 있다.
이어서, 도 12, 13을 참조하여 합성 표시 영역(b6, b7)의 설정 방법에 대해서 설명한다. 먼저, 중복 영역(c0)을 양분하는 영역 설정 라인(L1)과 중복 영역(c0)의 교점을 B4, B5로 한다. 여기에서는, 차체(20)를 나타내는 화상(G1)에 가까운 쪽의 교점을 B4로 하고, 화상(G1)으로부터 먼 쪽의 교점을 B5로 한다.
그리고, 교점(B4)의 위치에 가상 감시 대상을 배치한 경우의, 쓰러짐 상(Pa1)(카메라(30a)의 촬영 화상에 기초하는 상)과 쓰러짐 상(Pc1)(카메라(30c)의 촬영 화상에 기초하는 상)의 쓰러짐 길이(N)를 각각 산출한다. 마찬가지로, 교점(B5)의 위치에 가상 감시 대상을 배치한 경우의, 쓰러짐 상(Pa2)(카메라(30a)의 촬영 화상에 기초함)과 쓰러짐 상(Pc2)(카메라(30c)의 촬영 화상에 기초함)의 쓰러짐 길이(N)를 각각 산출한다. 여기서, 가상 감시 대상이란 미리 설정된 소정 높이의 입체물이며, 예를 들어 상술한 1.5m의 높이를 갖는 입체물이 가상 감시 대상으로 된다. 여기에서는, 이 높이(1.5m)를 기준 감시 높이라 칭한다.
도 12에서는, 쓰러짐 상(Pa1, Pa2, Pc1, Pc2)은 화살표로 표시되어 있고, 화살표의 선단이 가상 감시 대상의 가슴(기준 감시 높이의 정점)을 나타낸다. 그리고, 교점(B4), 화살표(Pc1)의 선단, 화살표(Pc2)의 선단, 화살표(Pa2)의 선단, 화살표(Pa1)의 선단, 교점(B4)의 순서대로 선분으로 연결하고, 그들 선분으로 둘러싸인 영역을 합성 표시 영역(b61)(합성 표시 영역(b6)의 일부)으로 한다. 합성 표시 영역(b61)은, 교점(B4)에서부터 교점(B5)까지의 영역 설정 라인(L1) 상에 가상 감시 대상을 배치하고, 그것들의 쓰러짐 상이 표시되는 영역에 상당하고 있다. 마찬가지로, 중복 영역(c1)과 영역 설정 라인(L2)의 교점(B6, B7)을 구하여, 마찬가지의 수순으로 합성 표시 영역(b71)(합성 표시 영역(b7)의 일부)을 설정한다.
상술한 바와 같이, 사각(z0)의 영역은 카메라(30a)로는 촬영 불가능한 영역이며, 사각(z1)의 영역은 카메라(30b)로는 촬영 불가능한 영역이다. 그 때문에, 사각(z0, z1)에 대해서도 합성 표시 영역을 각각 설정한다. 도 9에 나타내는 합성 표시 영역(b6)은, 상술한 합성 표시 영역(b61)에 사각(z0)에 관한 합성 표시 영역을 더한 것이다. 마찬가지로, 도 9에 나타내는 합성 표시 영역(b7)은, 상술한 합성 표시 영역(b71)에 사각(z1)에 관한 합성 표시 영역을 더한 것이다.
도 13은, 사각(z0)에 대한 합성 표시 영역의 설정 방법을 도시하는 도면이다. 사각(z0)은 카메라(30c)만에 의해 촬영할 수 있는 영역이므로, 사각(z0)과 중복 영역(c0)의 경계에 가상 감시 대상을 배치한 경우를 생각하고, 카메라(30c)의 촬영 화상에 기초하는 가상 감시 대상의 쓰러짐 상을 생각한다. 도 13에 나타내는 예에서는, 사각(z0)과 중복 영역(c0)의 경계 중에서 가장 차체(20)(화상(G1)으로 나타냄)에 가까운 위치(B8)와, 차체(20)로부터 가장 먼 점(B4)에 가상 감시 대상을 배치한다. 화살표(Pc1)는, 위치(B8)에 배치된 가상 감시 대상의 쓰러짐 상이며, 화살표(Pc2)는 위치(B4)에 배치된 가상 감시 대상의 쓰러짐 상이다. 그리고, 위치(B8), 화살표(Pc1)의 선단, 화살표(Pc2)의 선단, 위치(B4), 위치(B8)를 순서대로 연결해서 형성되는 영역을, 사각(z0)에 대한 합성 표시 영역(b62)으로 한다. 사각(z0)에 위치하는 가상 감시 대상의 가슴은, 모두 이 합성 표시 영역(b62)에 포함된다. 또한, 도시는 생략했지만, 사각(z1)에 대한 합성 표시 영역도, 합성 표시 영역(b62)과 마찬가지의 수순으로 설정할 수 있다.
도 14는, 주변 감시 모니터(220)에서의 표시 영역을 설명하는 도면이다. 차체(20)를 나타내는 화상(G1)의 주위에는, 카메라(30a)로 촬영된 화상에 기초하는 상방 시점 화상이 표시되는 표시 에어리어(S1), 카메라(30b)로 촬영된 화상에 기초하는 상방 시점 화상이 표시되는 표시 에어리어(S2), 카메라(30c)로 촬영된 화상에 기초하는 상방 시점 화상이 표시되는 표시 에어리어(S3) 및 합성 표시 영역(b6, b7)이 형성되어 있다. 또한, 파선으로 나타낸 영역 설정 라인(L1, L2)은 표시되지 않는다.
또한, 영역 설정 라인(L1, L2)으로서 화상(G1)의 코너를 지나는 직선을 설정하면, 상술한 사각(z0, z1)을 발생시키지 않는 것이 가능하다. 또한, 작업 기계에 있어서는, 차체(20) 주위의 소정 범위 내를 특별한 감시 범위로 설정하고, 인물 등이 부주의하게 그 감시 범위에 들어가지 않도록 감시하는 경우가 있다. 이러한 경우, 감시 범위 내에서는 감시 대상의 일부만이 표시되는 것을 피하기 위해, 감시 범위도 고려한 합성 표시 영역이 설정된다. 또한, 도 9에 나타낸 합성 표시 영역(b6, b7)은, 감시 범위를 표시 에어리어(E10)의 전역으로 한 경우에 상도한다.
도 15는, 화상(G1)의 좌측 코너 및 우측 코너를 지나도록 영역 설정 라인(L1, L2)을 설정하고, 또한 상술한 감시 범위를 화상(G1)의 주위에 설정한 경우의 합성 표시 영역(b6, b7)을 나타낸 것이다. E20은 감시 범위의 경계이며, 예를 들어 차체(20)(화상(G1))로부터 3.0m 이내를 감시 범위로 한다. 합성 표시 영역(b6)을 설정하는 경우에는, 영역 설정 라인(L1)과 중복 영역(c0)의 교점(B8)(중복 영역(c0)의 우측 상단 코너), 및 영역 설정 라인(L1)과 감시 범위(E20)와의 교점(B9)에 가상 감시 대상을 배치한다.
교점(B8)에 배치된 가상 감시 대상에 대하여, 카메라(30a)의 촬영 화상에 기초하는 쓰러짐 상(Pa1)(쓰러짐 위치)과, 카메라(30c)의 촬영 화상에 기초하는 쓰러짐 상(Pc1)(쓰러짐 위치)이 산출된다. 마찬가지로, 교점(B9)에 배치된 가상 감시 대상에 대하여, 카메라(30a)의 촬영 화상에 기초하는 쓰러짐 상(Pa2)(쓰러짐 위치)과, 카메라(30c)의 촬영 화상에 기초하는 쓰러짐 상(Pc2)(쓰러짐 위치)이 산출된다. 쓰러짐 상은 화살표로 나타냈다. 교점(B8), 화살표(Pc1)의 선단, 화살표(Pc2)의 선단, 화살표(Pa2)의 선단, 화살표(a1)의 선단 및 교점(B8)을 순서대로 선분으로 연결해서 생긴 영역이, 합성 표시 영역(b6)이다. 상세 설명은 생략하지만, 영역 설정 라인(L2)에 관한 합성 표시 영역(b7)에 대해서도 합성 표시 영역(b6)의 경우와 마찬가지의 수순으로 설정할 수 있다.
(변형예)
도 16 내지 21은, 본 발명을 덤프 트럭(2)의 주변 감시 장치에 적용한 경우를 설명하는 도면이다. 도 16, 17은 카메라 탑재 위치와 표시 범위(카메라에 의해 감시하는 범위)를 설명하는 도면이며, 도 16은, 덤프 트럭(2)을 모식적으로 도시한 사시도와, 주변 감시 장치에 의해 표시되는 범위를 도시하는 도면이다. 도 17은, 주변 감시 모니터(220)에 표시된 부감 화상(300)을 도시하는 도면이다.
도 16에 도시한 바와 같이, 덤프 트럭(2)에는 4개의 카메라(50a 내지 50d)가 탑재되어 있다. 구체적으로는, 차량 전방 주변을 촬영하는 카메라(50d), 차량 좌측 주변을 촬영하는 카메라(50a), 차량 우측 주변을 촬영하는 카메라(50b), 차량 후방 주변을 촬영하는 카메라(50c)를 구비하고 있다. 카메라(50a)로 촬영된 화상 중, 영역(R1)의 부분이 표시 화상(e1)으로서 주변 감시 모니터(220)에 표시된다. 마찬가지로, 카메라(50b)로 촬영된 화상 중 영역(R2)의 부분이 표시 화상(e2)이 되고, 카메라(50c)로 촬영된 화상 중 영역(R3)의 부분이 표시 화상(e3)이 되고, 카메라(50d)로 촬영된 화상 중 영역(R4)의 부분이 표시 화상(e4)이 된다.
도 17은, 주변 감시 모니터(220)에 표시된 부감 화상(300)을 도시하는 도면이다. 주변 감시 모니터 상에는 덤프 트럭(2)을 나타내는 화상(G2)이 표시되고, 그 주위에 표시 화상(e1 내지 e4)이 배치되어 있다. c2는 표시 화상(e1)과 표시 화상(e4)의 중복 영역이고, c3은 표시 화상(e1)과 표시 화상(e3)의 중복 영역이고, c4는 표시 화상(e2)과 표시 화상(e3)의 중복 영역이고, c5는 표시 화상(e2)과 표시 화상(e4)의 중복 영역이다.
도 18은, 변형예에서의 영역 설정 라인의 일례를 나타내는 도이다. 도 18의 변형예에서도, 상술한 도 8의 경우와 마찬가지로, 카메라간을 연결하는 선분의 수직 이등분선을 영역 설정 라인으로 하였다. 구체적으로는, 영역 설정 라인(L3)은 카메라(50a, 50d)간을 연결하는 선분(L40)의 수직 이등분선이며, 영역 설정 라인(L4)은 카메라(50a, 50c)간을 연결하는 선분(L50)의 수직 이등분선이며, 영역 설정 라인(L5)은 카메라(50b, 50c)간을 연결하는 선분(L20)의 수직 이등분선이며, 영역 설정 라인(L6)은 카메라(50b, 50d)간을 연결하는 선분(L30)의 수직 이등분선이다.
영역 설정 라인(L3)은, 중복 영역(c2)을 양분하고 있다. 또한, 영역 설정 라인(L3)의 카메라(50a)측에는, 카메라(50a)로는 촬영할 수 없는 사각(z2)이 발생하고 있다. 한편, 영역 설정 라인(L4 내지 L6)은, 중복 영역을 지나고 있지 않다. 영역 설정 라인(L4)은 카메라(50a)만이 촬영 가능한 영역을 지나고 있어, 영역 설정 라인(L4)의 카메라(50c)측에는 카메라(50c)로는 촬영 불가능한 사각(z3)이 발생하고 있다. 영역 설정 라인(L5)은 카메라(50b)만이 촬영 가능한 영역을 지나고 있어, 영역 설정 라인(L5)의 카메라(50c)측에는 카메라(50c)로는 촬영 불가능한 사각(z4)이 발생하고 있다. 영역 설정 라인(L6)은 카메라(50d)만이 촬영 가능한 영역을 지나고 있어, 영역 설정 라인(L6)의 카메라(50b)측에는 카메라(50b)로는 촬영 불가능한 사각(z5)이 발생하고 있다.
중복 영역(c2)을 양분하고 있는 영역 설정 라인(L3)에 대해서는, 중복 영역에서의 합성 표시 영역의 설정 방법은 도 12의 경우와 마찬가지로 행하고, 사각(z2)에 대해서는 도 13의 경우와 마찬가지로 행하면 된다. 또한, 사각(z3 내지 z5)이 발생하고 있는 영역 설정 라인(L4 내지 L6)에 대해서는, 도 13과 마찬가지로 하여 합성 표시 영역을 설정하면 된다. 예를 들어, 영역 설정 라인(L4)에 관한 사각(z3)의 경우의 합성 표시 영역을 도시하면, 도 19에 나타내는 바와 같이 된다.
도 19는, 사각(z3)에 대응해서 설정된 합성 표시 영역(b9)을 도시하는 도면이다. 사각(z3)은 카메라(50a)로밖에 촬영할 수 없는 영역이므로, 사각(z3)과 중복 영역(c3)의 경계에 가상 감시 대상을 배치한 경우를 생각한다. 사각(z3)과 중복 영역(c3)의 경계 중에서 가장 화상(G2)에 가까운 위치(B9)와, 화상(G2)으로부터 가장 먼 위치(B10)에 가상 감시 대상을 배치한다. 화살표(Pa1)는 위치(B9)에 배치된 가상 감시 대상의 쓰러짐 상이며, 화살표(Pa2)는 위치(B10)에 배치된 가상 감시 대상의 쓰러짐 상이다. 그리고, 위치(B9), 화살표(Pa1)의 선단, 화살표(Pa2)의 선단, 위치(B10), 위치(B9)를 순서대로 연결해서 형성되는 영역을, 사각(z3)에 대한 합성 표시 영역(b9)으로 한다.
또한, 도 15의 경우와 마찬가지의 감시 범위(E20)를 형성한 경우에는, 도 20에 도시하는 바와 같이 합성 표시 영역(b9, b10, b11, b12)이 설정된다. 도 21은, 주변 감시 모니터(220)에서의 각 표시 영역을 도시하는 도면이다. 덤프 트럭(2)을 나타내는 화상(G2)의 주위에는, 카메라(50a)로 촬영된 화상에 기초하는 상방 시점 화상이 표시되는 표시 에어리어(S5), 카메라(50c)로 촬영된 화상에 기초하는 상방 시점 화상이 표시되는 표시 에어리어(S6), 카메라(50b)로 촬영된 화상에 기초하는 상방 시점 화상이 표시되는 표시 에어리어(S7), 합성 표시 영역(b9, b10, b11, b12)이 형성되어 있다.
이상 설명한 바와 같이, 본 발명에 의한 작업 기계의 주변 감시 장치(10)는, 도 2, 5, 6에 도시한 바와 같이, 작업 기계(유압 셔블(100))의 주위 영상을 촬영하는 복수의 카메라(30a, 30b, 30c)와, 복수의 카메라(30a, 30b, 30c)의 각 촬영 화상을 상방 시점 화상인 표시 화상(e1 내지 e3)으로 변환하고, 그것들에 기초하여 작업 기계 주위의 부감 화상(300)을 생성하는 합성 화상 생성부(210)와, 표시 에어리어(E10)에 부감 화상(300)을 표시하는 주변 감시 모니터(220)를 구비한다. 그리고, 합성 화상 생성부(210)는, 카메라(30a)의 촬영 화상에 대한 표시 화상(e1)과 카메라(30c)의 촬영 화상에 대한 표시 화상(e3)과의 중복 영역(c0)에서의 부감 화상을 생성할 때, 가상 감시 대상의 높이(h)(도 7 참조)에 기초하여, 도 14에 도시한 바와 같이, 표시 화상(e1)이 표시되는 표시 에어리어(S1) 및 표시 화상(e3)이 표시되는 표시 에어리어(S3)와, 표시 화상(e1, e3)에 기초하는 합성 표시 화상이 표시되는 합성 표시 영역(b6)을 설정한다.
이와 같이, 합성 표시 영역(b6)을 설정함으로써, 감시 대상의 쓰러짐 상의 소실(상의 발근처를 제외한 대부분이 표시되지 않는 현상)을 방지할 수 있다. 또한, 가상 감시 대상의 높이(h)에 기초해서 쓰러짐 길이(N)를 산출해서 합성 표시 영역(b6)을 설정하고 있으므로, 도 9에 도시한 바와 같이, 감시 대상에 대하여 2개의 쓰러짐 상(Pa1), 상(Pc1)이 표시되는 합성 표시 영역(b6)의 범위를 좁게 억제할 수 있어, 사용자가 주변 상황을 감시하기 쉬운 표시를 제공할 수 있다.
또한, 도 12에 도시한 바와 같이, 합성 표시 영역(b61)은, 표시 에어리어(E10)에서의 카메라(30a)의 설치 위치와 카메라(30c)의 설치 위치를 연결하는 선분(L20)에 교차하는 영역 설정 라인(L1)과, 가상 감시 대상의 높이(h)에 기초하여 설정된다.
또한, 표시 에어리어(E10)의 내측에 감시 범위(E20)가 설정되는 경우에는, 합성 표시 영역(b6)은, 감시 범위(E20), 영역 설정 라인(L1) 및 가상 감시 대상의 높이(h)에 기초해서 설정된다. 그에 의해, 감시 범위(E20) 내의 감시가 용이해진다.
도 12에 도시하는 바와 같이 영역 설정 라인(L1)이 중복 영역(c0)을 통과하는 경우에는, 합성 표시 영역(b61)은, 가상 감시 대상을 영역 설정 라인(L1) 상에 배치한 경우의 표시 화상(e1, e3)에서의 쓰러짐 상에 기초하여 설정된다. 합성 표시 영역(b6)의 경계는, 영역 설정 라인(L1) 상의 위치(B4, B5)에 가상 감시 대상을 배치했을 때의 쓰러짐 상에 의해 설정되고, 가상 감시 대상을 영역 설정 라인(L1) 상에서 이동시키면, 쓰러짐 상은 합성 표시 영역(b6) 내를 이동한다.
한편, 도 19에 도시한 바와 같이, 영역 설정 라인(L4)이 표시 화상(e1)에서의 중복 영역(c3)을 제외한 영역을 통과하여, 영역 설정 라인(L4)과 중복 영역(c3)의 사이에 카메라(50c)에 의한 촬영이 불가능한 사각(z3)이 발생하는 경우에는, 합성 표시 영역(b9)은, 가상 감시 대상을 사각(z3)에 배치한 경우의 표시 화상(e1)에 있어서의 쓰러짐 상(Pa1, Pa2)에 기초하여 설정된다. 이 경우, 합성 표시 영역(b9)의 경계는, 사각(z3)과 중복 영역(c3)의 경계에 가상 감시 대상을 배치한 경우의 쓰러짐 상에 의해 설정된다.
또한, 상술한 실시 형태에서는, 카메라간을 연결하는 선분을 지나는 영역 설정 라인의 모두에 대해서 합성 표시 영역을 설정했지만, 반드시 모든 영역 설정 라인에 대하여 합성 표시 영역을 설정할 필요는 없다. 예를 들어, 도 1에 도시한 유압 셔블(100)의 경우, 운전실(22)의 캐빈(22a) 내에 탑승하고 있는 오퍼레이터는, 좌측 후방은 미러에 의해 비교적 시인하기 쉬우므로, 도 9에 나타내는 우측 후방의 중복 영역(c1)에만 합성 표시 영역(b7)을 설정하도록 해도 된다. 또한, 유압 셔블(100)을 사용한 실시 형태에서는, 좌우 및 후방의 3대의 카메라에 의한 화상의 합성 표시를 예로 들었지만, 이것에 구애받지 않고 덤프 트럭(2)의 예와 마찬가지로, 또한 전방에 카메라를 설치한 4대의 화상에 의한 합성 표시이어도 된다.
상술한 각 실시 형태는 각각 단독으로, 또는 조합해서 사용해도 된다. 각각의 실시 형태에서의 효과를 단독 또는 상승시켜 발휘할 수 있기 때문이다. 또한, 본 발명의 특징을 손상시키지 않는 한, 본 발명은 상기 실시 형태에 전혀 한정되는 것이 아니다.
다음의 우선권 기초 출원의 개시 내용은 인용문으로서 여기에 도입된다.
일본 특허 출원 2014년 제45075호(2014년 3월 7일 출원)
2 : 덤프 트럭 10 : 주변 감시 장치
30, 30a 내지 30c, 50a 내지 50d, 101 : 카메라
100 : 유압 셔블 200 : 컨트롤러
210 : 합성 화상 생성부 220 : 주변 감시 모니터
300 : 부감 화상
b6, b7, b9 내지 b12, b61, b62, b71 : 합성 표시 영역
c0, c1 내지 c5 : 중복 영역 e1 내지 e4 : 표시 화상
E20 : 감시 범위 L1 내지 L6 : 영역 설정 라인
L20, L30, L40, L50 : 선분
Pa1, Pa2, Pc1, Pc2 : 쓰러짐 상
S1 내지 S7 : 표시 에어리어 z0, z1 내지 z5 : 사각

Claims (5)

  1. 작업 기계의 주위 영상을 촬영하는 복수의 촬영 장치와,
    상기 복수의 촬영 장치의 각 촬영 화상을 상방 시점 화상으로 변환하고, 그것들에 기초하여 작업 기계 주위의 부감 화상을 생성하는 부감 화상 생성부와,
    부감 화상 표시 영역에 상기 부감 화상을 표시하는 표시부를 구비하고,
    상기 부감 화상 생성부는,
    상기 복수의 촬영 장치에 포함되는 제1 촬영 장치의 촬영 화상에 대한 제1 상방 시점 화상과, 상기 복수의 촬영 장치에 포함되는 제2 촬영 장치의 촬영 화상에 대한 제2 상방 시점 화상과의 중복 영역에서의 부감 화상을 생성할 때,
    가상 감시 대상의 높이에 기초하여, 상기 제1 상방 시점 화상이 표시되는 제1 영역 및 상기 제2 상방 시점 화상이 표시되는 제2 영역 중 적어도 한쪽과, 상기 제1 및 제2 상방 시점 화상에 기초하는 합성 표시 화상이 표시되는 제3 영역을 설정하고, 상기 제1 영역 및 상기 제2 영역에는 제3 영역 내에 존재하는 합성 표시 화상을 표시하지 않는, 작업 기계의 주변 감시 장치.
  2. 제1항에 있어서,
    상기 부감 화상 생성부는,
    상기 부감 화상 표시 영역에서의 상기 제1 촬영 장치의 설치 위치와 상기 제2 촬영 장치의 설치 위치를 연결하는 선분에 교차하는 영역 설정 라인과, 상기 가상 감시 대상의 높이에 기초하여, 상기 제3 영역을 설정하는, 작업 기계의 주변 감시 장치.
  3. 제2항에 있어서,
    상기 부감 화상 표시 영역의 내측에 감시 범위가 설정되고,
    상기 부감 화상 생성부는,
    상기 감시 범위, 상기 영역 설정 라인 및 상기 가상 감시 대상의 높이에 기초하여, 상기 중복 영역에서의 상기 제3 영역을 설정하는, 작업 기계의 주변 감시 장치.
  4. 제2항에 있어서,
    상기 영역 설정 라인이 상기 중복 영역을 통과하는 경우에는,
    상기 부감 화상 생성부는, 상기 가상 감시 대상을 상기 영역 설정 라인 상에 배치한 경우의 상기 제1 및 제2 상방 시점 화상에서의 쓰러짐 상에 기초하여, 상기 제3 영역을 설정하는, 작업 기계의 주변 감시 장치.
  5. 제2항에 있어서,
    상기 영역 설정 라인이 상기 제1 상방 시점 화상에서의 상기 중복 영역을 제외한 영역을 통과하여, 상기 영역 설정 라인과 상기 중복 영역과의 사이에 상기 제2 촬영 장치에 의한 촬영이 불가능한 사각 영역이 발생하는 경우에는,
    상기 부감 화상 생성부는, 상기 가상 감시 대상을 상기 사각 영역에 배치한 경우의 상기 제1 상방 시점 화상에서의 쓰러짐 상에 기초하여, 상기 제3 영역을 설정하는, 작업 기계의 주변 감시 장치.
KR1020167003600A 2014-03-07 2015-02-26 작업 기계의 주변 감시 장치 KR101752613B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2014-045075 2014-03-07
JP2014045075A JP6165085B2 (ja) 2014-03-07 2014-03-07 作業機械の周辺監視装置
PCT/JP2015/055668 WO2015133367A1 (ja) 2014-03-07 2015-02-26 作業機械の周辺監視装置

Publications (2)

Publication Number Publication Date
KR20160033144A KR20160033144A (ko) 2016-03-25
KR101752613B1 true KR101752613B1 (ko) 2017-06-29

Family

ID=54055176

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167003600A KR101752613B1 (ko) 2014-03-07 2015-02-26 작업 기계의 주변 감시 장치

Country Status (6)

Country Link
US (1) US10044933B2 (ko)
EP (1) EP3116223B1 (ko)
JP (1) JP6165085B2 (ko)
KR (1) KR101752613B1 (ko)
CN (1) CN105474636B (ko)
WO (1) WO2015133367A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8768583B2 (en) * 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
WO2016157463A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
US10157452B1 (en) 2015-09-28 2018-12-18 Amazon Technologies, Inc. Image processing system for image rectification
DE112015001236B4 (de) 2015-09-30 2021-02-04 Komatsu Ltd. Vorrichtung zum Überwachen der Umgebung einer Raupenketten-Arbeitsmaschine
KR102484103B1 (ko) * 2016-02-23 2023-01-04 현대두산인프라코어(주) 표시 시스템
JP6802008B2 (ja) * 2016-08-25 2020-12-16 キャタピラー エス エー アール エル 建設機械
US10339656B1 (en) * 2016-09-29 2019-07-02 Amazon Technologies, Inc. Inferring count of items using image
WO2018084146A1 (ja) * 2016-11-01 2018-05-11 住友建機株式会社 作業機械用周辺監視システム
KR102627093B1 (ko) * 2017-12-04 2024-01-18 스미도모쥬기가이고교 가부시키가이샤 주변감시장치
JP7255454B2 (ja) * 2019-11-07 2023-04-11 コベルコ建機株式会社 作業機械の周囲監視装置
US11167774B2 (en) * 2020-02-12 2021-11-09 Indiev, Inc Methods and systems for providing notifications and warnings
JP7322791B2 (ja) * 2020-03-31 2023-08-08 コベルコ建機株式会社 作業機械の周囲検知装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010147523A (ja) 2008-12-16 2010-07-01 Panasonic Corp 車両周囲の俯瞰画像生成装置
WO2010116801A1 (ja) 2009-04-06 2010-10-14 三洋電機株式会社 画像処理装置
WO2010137265A1 (ja) 2009-05-25 2010-12-02 パナソニック株式会社 車両周囲監視装置
JP2012109741A (ja) * 2010-11-16 2012-06-07 Sumitomo Heavy Ind Ltd 画像生成装置及び操作支援システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020033816A (ko) * 2000-07-19 2002-05-07 마츠시타 덴끼 산교 가부시키가이샤 감시시스템
JP4934308B2 (ja) 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
JP5124671B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
CN103649426B (zh) * 2012-01-27 2016-05-11 斗山英维高株式会社 建筑机械的操作安全性提高装置
US9558556B2 (en) * 2012-02-23 2017-01-31 Nissan Motor Co., Ltd. Three-dimensional object detection device
JP2013253402A (ja) * 2012-06-06 2013-12-19 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP5961472B2 (ja) * 2012-07-27 2016-08-02 日立建機株式会社 作業機械の周囲監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010147523A (ja) 2008-12-16 2010-07-01 Panasonic Corp 車両周囲の俯瞰画像生成装置
WO2010116801A1 (ja) 2009-04-06 2010-10-14 三洋電機株式会社 画像処理装置
WO2010137265A1 (ja) 2009-05-25 2010-12-02 パナソニック株式会社 車両周囲監視装置
JP2012109741A (ja) * 2010-11-16 2012-06-07 Sumitomo Heavy Ind Ltd 画像生成装置及び操作支援システム

Also Published As

Publication number Publication date
EP3116223A4 (en) 2017-11-29
US10044933B2 (en) 2018-08-07
CN105474636A (zh) 2016-04-06
JP6165085B2 (ja) 2017-07-19
KR20160033144A (ko) 2016-03-25
WO2015133367A1 (ja) 2015-09-11
JP2015171013A (ja) 2015-09-28
CN105474636B (zh) 2018-11-09
US20160205319A1 (en) 2016-07-14
EP3116223A1 (en) 2017-01-11
EP3116223B1 (en) 2019-01-30

Similar Documents

Publication Publication Date Title
KR101752613B1 (ko) 작업 기계의 주변 감시 장치
JP6029306B2 (ja) 作業機械用周辺監視装置
JP6386213B2 (ja) ショベル
JP6541734B2 (ja) ショベル
US20150009329A1 (en) Device for monitoring surroundings of machinery
JP6324665B2 (ja) 作業機械用周辺監視装置
JP6045865B2 (ja) ショベル
JP6740259B2 (ja) 作業機械
US10721397B2 (en) Image processing system using predefined stitching configurations
JP6378801B2 (ja) ショベル
JP5805574B2 (ja) 作業機械用周辺監視装置
JP6091821B2 (ja) ショベル
JP6257918B2 (ja) ショベル
JP2023078305A (ja) ショベル
JP6257919B2 (ja) ショベル
JP2018186575A (ja) ショベル
JP2019004484A (ja) ショベル
JP6295026B2 (ja) ショベル
JP7237882B2 (ja) ショベル
JP2019085870A (ja) ショベル及びショベル用周辺監視装置
JP2018186574A (ja) ショベル
JP2023169512A (ja) 監視システム、監視システムの制御方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant